Postulaciones abiertas hasta el 22 de junio
La tercera cohorte abre una ruta gratuita y meritocrática para personas con alto nivel técnico, iniciativa y disponibilidad real. Convocatoria abierta hasta el 22 de junio.
Aplicar a Cohorte 3Invitación de Leonardo González
Una invitación directa para talento técnico de Latinoamérica que quiere estudiar IA moderna desde papers, código, evaluación y criterio de ingeniería.
Ruta técnica
La Cohorte 3 profundiza en los fundamentos técnicos detrás de los sistemas modernos de IA: Transformers, mecanismos modernos de atención, arquitecturas Mamba e híbridas, modelos de difusión, pretraining, post-training, SFT, DPO, RL, inferencia, proveedores, tool use, agent harnesses y work orchestration.
La ruta técnica avanza desde los fundamentos de modelos hasta la construcción de sistemas: tokenización, embeddings, atención, arquitecturas generativas, entrenamiento, post-entrenamiento, comportamiento en inferencia, uso de herramientas, evaluación, reproducción de benchmarks, harnesses de agentes y orquestación de trabajo con sistemas como Symphony y OpenSymphony.
La cohorte incluye una nivelación con material crítico de C2 y una ruta central de lectura, implementación y evaluación. El foco es leer papers con criterio de ingeniería: entender sus mecanismos, reproducir sus benchmarks cuando sea posible, implementar ideas en código y convertir evidencia técnica en decisiones de diseño.
La evaluación se trabajará desde la comprensión y reproducción de benchmarks de papers: qué mide cada benchmark, qué claim soporta, qué ablations importan, qué tan reproducible es, qué sesgos o contaminaciones puede tener, y cómo adaptar esa disciplina a sistemas propios.
Cada Fellow o equipo desarrollará un artefacto final: una reproducción de benchmark, un experimento de arquitectura o inferencia, un harness de agentes, una especificación de orquestación de trabajo, o un sistema aplicado con evaluación rigurosa.
Plan semanal
Plan semanal de Cohorte 3, del método de lectura técnica al capstone final.
Pregunta central: ¿Cómo leemos papers como ingenieros?
Temas: Claims, mecanismos, supuestos, ablations, limitaciones, implementación real, evaluación, reproducibilidad e implicaciones de producción.
Entregable: Paper Card v1: resumen estructurado de una página con claim, mecanismo, evidencia, benchmark, ruta de implementación, riesgos y preguntas abiertas.
Pregunta central: ¿Qué hace que los LLMs modernos funcionen mecánicamente?
Temas: Tokenización, embeddings, arquitectura decoder-only, self-attention, Q/K/V, masking, RoPE, MHA, MQA, GQA, longitud de contexto, KV cache, prefill vs decode, memoria, latencia, throughput y costo de inferencia.
Entregable: Notebook mínimo de atención Transformer para hacer concretos attention, masking, RoPE, intuición de MHA/GQA y crecimiento del KV cache.
Pregunta central: ¿Son los Transformers la única base viable o una arquitectura dominante dentro de un espacio más amplio?
Temas: Límites de escalamiento de atención, MLA, sliding-window attention, atención global periódica, sparse attention, linear attention, DeltaNet/Kimi Delta-style attention, modelos de espacio de estado, Mamba, arquitecturas híbridas, FlashAttention, PagedAttention, prefix caching y tradeoffs de entrenamiento e inferencia.
Entregable: Memo de comparación arquitectónica e inferencia: comparar Transformer estándar, GQA/MLA, atención sliding/sparse, linear attention y Mamba/híbridos.
Pregunta central: ¿Qué enseñan los modelos de difusión que un ingeniero centrado solo en LLMs puede pasar por alto?
Temas: Denoising diffusion, intuición de score matching, latent diffusion, diffusion transformers, sistemas text-to-image/video/audio, conditioning, guidance y sampling.
Entregable: Walkthrough de difusión toy o generación guiada para alfabetización conceptual y de ingeniería.
Pregunta central: ¿Qué significa crear un foundation model?
Temas: Mezclas de datos, token budgets, escalamiento de cómputo, funciones objetivo, contaminación de datos, datos sintéticos, curriculum, filtrado y comportamiento de modelos base antes de instruction tuning.
Entregable: Crítica de plan de pretraining: dado un presupuesto hipotético de modelo, proponer datos, objetivo, evaluaciones y riesgos prioritarios.
Pregunta central: ¿Cómo se convierten los modelos base en asistentes, agentes y sistemas de razonamiento útiles?
Temas: Supervised fine-tuning, datos de preferencia, reward models, DPO, preference optimization, RLHF/RLAIF, recompensas verificables, post-training orientado a razonamiento y efectos de seguridad/comportamiento.
Entregable: Memo de decisión de post-training: para un comportamiento objetivo, elegir entre SFT, DPO, RL, prompting o tooling.
Pregunta central: ¿Qué cambia cuando un modelo se convierte en servicio?
Temas: Decoding, temperature, top-p, structured outputs, function/tool calling, streaming, latencia, throughput, batching, quantization, speculative decoding, manejo de contexto, APIs de proveedores, modelos hosted vs open-weight/locales, costo, confiabilidad, políticas de datos y observabilidad.
Entregable: Matriz de proveedores e inferencia: capacidades, restricciones, costos, latencia, tool support, structured output reliability, comportamiento de contexto y riesgos operacionales.
Pregunta central: ¿Cómo prueban sus claims los papers?
Temas: Datasets, splits, métricas, baselines, ablations, evaluación humana, LLM-as-judge, contaminación, varianza, leaderboard gaming y brechas de reproducibilidad.
Entregable: Benchmark Card: qué benchmark usa un paper, qué mide, qué claim soporta, qué limita la medición y qué haría falta para reproducirlo.
Pregunta central: ¿Podemos implementar una parte significativa de la evaluación de un paper?
Temas: Reproducción de subconjuntos de benchmarks, creación de eval harness mínimo, medición con múltiples corridas, sensibilidad a prompts, sensibilidad a modelo/proveedor, taxonomía de errores y reporte honesto de incertidumbre.
Entregable: Mini reproducción de benchmark: repo o notebook pequeño que reproduzca una parte significativa de la evaluación de un paper.
Pregunta central: ¿Qué es un agente cuando lo analizamos como sistema de ingeniería?
Temas: Model loop, interfaz de herramientas, estado, memoria, planificación, entorno, trazas, retries, aprobación humana, guardrails, sandboxing, failure modes y distinción entre harness, modelo y aplicación.
Entregable: Agent harness mínimo con tool calls, trazas, manejo de fallas y una tarea de evaluación.
Pregunta central: ¿Qué viene después del prompting y los agentes individuales?
Temas: Work item como superficie de control, issue tracker como state machine, workspaces aislados, agent runs durables, review y recovery, policy files, repo-specific instructions, CI, proof of work y supervisión humana al nivel del flujo de trabajo.
Entregable: Mini especificación de orquestación para el capstone: issues, estados, workspaces, políticas, review, retries y recovery.
Pregunta central: ¿Podemos construir algo respaldado por papers y medido con rigor?
Temas: Tracks posibles: fundamentos de modelos, post-training, reproducción de benchmarks, agent harnesses, work orchestration, AI for science/research.
Entregable: Artefacto funcional + plan de evaluación: prototipo, notebook, repo, harness, benchmark reproduction o sistema aplicado con una evaluación definida.
Pregunta central: ¿Qué queda como infraestructura para la Cohorte 4?
Temas: Criterio de cierre: profundidad técnica para entender el paper, el mecanismo, la evidencia, la brecha de implementación y las implicaciones de ingeniería.
Entregable: Demo, repo o notebook, Benchmark Card, eval report, failure analysis, decision memo y nota sobre qué deberían saber futuras cohortes.
