Andrej Karpathy: Redes Neuronales de Cero a Experto (Zero to Hero)

📌 ¿De qué trata este curso?

Creado por Andrej Karpathy (exdirector de IA de Tesla y miembro fundador de OpenAI), Neural Networks: Zero to Hero es considerada por la comunidad mundial como la mejor serie educativa para entender cómo funcionan los modelos de lenguaje modernos desde sus primeros principios.

A diferencia de los cursos que se limitan a invocar funciones de alto nivel, Karpathy te guía para programar un motor de diferenciación automática (micrograd), redes multicapa con tensores (makemore), tokenizadores Byte-Pair Encoding (minbpe) y una implementación completa de GPT desde cero en Python y PyTorch.

Todos los videos, repositorios de código abierto y cuadernos interactivos son de acceso completamente gratuito.

---

🎯 ¿A quién está dirigido?

• Desarrolladores con experiencia intermedia en Python que desean comprender cada cálculo matricial dentro de un Transformer.
• Ingenieros que quieren desmitificar el funcionamiento interno del entrenamiento autorregresivo de modelos GPT.
• Estudiantes que aprenden mejor programando algoritmos desde cero sin depender de librerías prediseñadas.

---

📚 Plan de Estudios Principal

1. El Mecanismo de Retropropagación (micrograd): Construcción de un motor de cálculo automático y descenso de gradiente.
2. Modelos de Lenguaje Basados en Caracteres (makemore): Modelos n-gramas, redes neuronales multicapa e inicialización de pesos.
3. Normalización por Lotes (Batch Normalization): Estabilización del flujo de gradientes y funciones de activación.
4. Retropropagación Manual a Nivel de Tensor: Derivación a mano de cada derivada parcial sin usar autograd.
5. Construyendo GPT desde Cero: Arquitectura Transformer con auto-atención multicabezal (Multi-Head Attention).
6. Tokenización Moderna (minbpe): Cómo los algoritmos BPE comprimen texto crudo en secuencias de tokens.