Construccion de Grandes Modelos de Lenguaje Desde Cero
Construcción de Grandes Modelos de Lenguaje Desde Cero
Raschka, Sebastian
El físico Richard P. Feynman afirmó: «No comprendo lo que no puedo crear». Inspirado en este principio, Sebastian Raschka ofrece en este libro una guía práctica y detallada para construir un modelo de lenguaje de gran tamaño ejecutable incluso en un portátil. Este libro analiza cada etapa del proceso, desde la planificación y codificación del modelo hasta su entrenamiento y aju...
Sinopsis
El físico Richard P. Feynman afirmó: «No comprendo lo que no puedo crear». Inspirado en este principio, Sebastian Raschka ofrece en este libro una guía práctica y detallada para construir un modelo de lenguaje de gran tamaño ejecutable incluso en un portátil. Este libro analiza cada etapa del proceso, desde la planificación y codificación del modelo hasta su entrenamiento y ajuste fino.
A través de un enfoque práctico y profundamente satisfactorio, explorarás los fundamentos de la inteligencia artificial generativa. Sin recurrir a bibliotecas de modelos de lenguaje existentes, programarás un modelo base desde cero, lo convertirás en un sistema de clasificación de texto y, finalmente, crearas un chatbot capaz de seguir instrucciones en conversaciones naturales. Lo comprenderás a fondo porque serás tú quien lo construya.
Con este libro aprenderás a:
* Planificar y codificar un modelo de lenguaje similar a GPT-2.
* Cargar y utilizar pesos preentrenados.
* Diseñar un flujo completo de entrenamiento.
* Ajustar un modelo de lenguaje para clasificar textos.
* Desarrollar modelos que puedan responder a instrucciones humanas.
Dirigido a lectores con conocimientos intermedios de Python y nociones básicas de 'machine learning' o ML (aprendizaje automático), este libro te permitirá crear y ejecutar un modelo de lenguaje de gran tamaño en un portátil moderno, con la opción de aprovechar la aceleración por GPU.
Índice
Prefacio Agradecimientos Sobre este libro Sobre el autor Sobre la ilustración de cubierta Capítulo 1: Comprender los modelos de lenguaje de gran tamaño Capítulo 2: Trabajar con datos de texto Capítulo 3: Codificar los mecanismos de atención Capítulo 4: Implementar un modelo GPT desde cero para generar texto Capítulo 5: Preentrenar con datos sin etiquetar Capítulo 6: Afinamiento para clasificación Capítulo 7: Afinamiento para seguir instrucciones Anexo A: Introducción a PyTorch Anexo B: Referencias y lecturas adicionales Anexo C: Soluciones a los ejercicios Anexo D: Añadiendo mejoras y extras al bucle de entrenamiento Anexo E: Ajuste fino eficiente en parámetros con LoRA Índice alfabético
Comentarios
Sé el primero en comentar este libroTambién te puede interesar
Otros libros del autor
