Série AI One Em breve

AI One

Atenção e Transformers

Atenção e Transformers do zero, dentro de uma startup de Brasília que lê diários oficiais para construtoras e perdeu a licitação de R$ 14 milhões que o maior cliente queria, porque o edital dizia "requalificação viária" e a busca procurava "pavimentação". Atenção sobre o encoder-decoder, consulta, chave e valor, self-attention, várias cabeças, posição, o bloco Transformer, tokenização por BPE, um GPT pequeno treinado do zero, temperatura e hallucination, scaling, BERT, ajuste fino, extração de entidades, busca por significado e uma primeira olhada em modelos multimodais.

Receber a prévia → O que vem por aí Ver o sumário Ver outros livros
30capítulos
7partes
1projeto do início ao fim
Capa provisória de AI One — Volume 8 Em preparação
TransformersSelf-attentionGPTBERTBPEPyTorch
o que vem por aí

Uma ideia do conteúdo futuro

O livro ainda está em preparação. Abaixo está o projeto e o que ele pretende entregar — para você decidir se quer entrar na lista.

README.md

Busca e extração em diários oficiais, com um GPT pequeno treinado do zero.

Do self-attention ao GPT pequeno, lendo o diário oficial que ninguém lê.

  • Um projeto só: busca e extração em diários oficiais, com um GPT pequeno treinado do zero
  • Atenção escrita em NumPy antes de qualquer biblioteca
  • Um tokenizador BPE implementado à mão, e o R$ 1.234.567,89 que ele quebra
  • Temperatura, top-p e o CNPJ que não existe
  • BERT ajustado em CPU, comparado com o modelo simples que ele precisa vencer
sumário provisório

30 capítulos em 7 partes

Mapa do conteúdo futuro: partes e capítulos planejados. Alguns títulos ainda podem mudar até o lançamento — o caminho do livro já aparece aqui.

parte 01 O diário que ninguém lêCinco mil quinhentos e setenta municípios, uma licitação de R$ 14 milhões perdida e um encoder-decoder que esquece o começo do texto. 3 cap.
  1. 01
    Requalificação viária
  2. 02
    O gargalo
  3. 03
    Olhar para trás com pesos
parte 02 AtençãoConsulta, chave e valor, a raiz de d, cada palavra olhando para todas e a frase embaralhada que dá o mesmo resultado. 5 cap.
  1. 04
    Consulta, chave e valor
  2. 05
    Por que dividir pela raiz de d
  3. 06
    Cada palavra olha para todas
  4. 07
    Várias cabeças
  5. 08
    Onde fica cada palavra
parte 03 O bloco TransformerJunho de 2017, um bloco de cada vez, e as três formas de montar o mesmo tijolo. 3 cap.
  1. 09
    Junho de 2017
  2. 10
    Um bloco de cada vez
  3. 11
    Codificador, decodificador ou os dois
parte 04 TokensO que é um token, pares que se fundem, e um número com pontos e vírgula que nenhum tokenizador respeita. 3 cap.
  1. 12
    O que é um token
  2. 13
    Pares que se fundem
  3. 14
    Pontos, vírgulas e o ç decomposto
parte 05 Prever a próxima palavraBigramas, um GPT pequeno, a temperatura certa, o CNPJ que não existe e três modelos para medir a escala. 5 cap.
  1. 15
    Um modelo de linguagem de bigramas
  2. 16
    Um GPT pequeno
  3. 17
    Temperatura, top-k e top-p
  4. 18
    O CNPJ que não existe
  5. 19
    Escala
parte 06 Entender em vez de gerarEsconder palavras para aprender, ajustar para licitações, extrair objeto, valor e prazo, e buscar por significado. 5 cap.
  1. 20
    Esconder palavras para aprender
  2. 21
    Ajuste fino para licitações
  3. 22
    Objeto, valor, prazo
  4. 23
    Busca por significado
  5. 24
    Pré-treinar, ajustar, instruir
parte 07 Às sete da manhãContexto longo e conta longa, imagens em pedaços, o pipeline das sete e a renovação de 31 de maio. 6 cap.
  1. 25
    Contexto longo, conta longa
  2. 26
    Imagens em pedaços
  3. 27
    O pipeline das sete
  4. 28
    Avaliar o que o cliente não viu
  5. 29
    Trinta e um de maio
  6. 30
    Atenção é quase tudo
lista de espera

Receba a prévia de AI One — Volume 8

Deixe seu e-mail. Quando a prévia estiver pronta, enviaremos o link deste livro. Sem senha e sem outros envios da lista.

Usaremos seu e-mail apenas para enviar a prévia deste título. O e-mail de aviso terá um link para sair da lista.