Andrej Karpathy: Redes Neurais de Zero a Especialista (Zero to Hero)

📌 Sobre o que é este curso?

Criado por Andrej Karpathy (ex-diretor sênior de IA da Tesla e membro fundador da OpenAI), a série Neural Networks: Zero to Hero é amplamente aclamada pela comunidade de engenharia de IA como a melhor série de vídeos técnicos já produzida.

Karpathy não esconde a complexidade por trás de bibliotecas de alto nível: ele abre um editor de texto em branco e digita cada linha de código ao vivo. Você começará construindo um motor de diferenciação automática (micrograd) em Python puro, entenderá os gradientes matemáticos por trás do algoritmo de retropropagação e terminará construindo, treinando e gerando texto com um modelo GPT completo inspirado no artigo fundacional da OpenAI.

---

🎯 Para quem é recomendado?

• Desenvolvedores que desejam desmistificar o que acontece ‘por baixo dos panos’ no PyTorch e nos modelos GPT.
• Engenheiros que aprendem melhor vendo código real sendo escrito e depurado linha por linha.
• Qualquer pessoa que queira dominar a arquitetura Transformers com rigor absoluto e sem atalhos simplistas.

---

📚 Conteúdo Programático Principal

1. O que é Backpropagation?: Construção do micrograd, um motor de autograd em Python puro com 100 linhas de código.
2. O Modelo Makemore: Modelagem de linguagem com n-gramas e introdução a tensores no PyTorch.
3. Rede Neural Multicamadas (MLP): Inicialização de pesos, função de ativação tanh e curvas de aprendizado.
4. Normalização por Lote (BatchNorm): Diagnóstico e estabilização de dinâmicas internas de gradientes.
5. Construindo o nanoGPT: Implementação completa da arquitetura Transformers com blocos de autoatenção causal multi-cabeça.
6. Tokenização: Explicação do algoritmo Byte-Pair Encoding (BPE) utilizado no GPT-4.