Ir al contenido principal

Databricks: Large Language Models: Foundation Models from the Ground Up

This course dives into the details of foundation models in large language models (LLMs). You will learn the innovations that led to the proliferation of transformer-based models, including BERT, GPT, and T5, and the key breakthroughs that led to applications such as ChatGPT. Additionally, you will gain understanding about the latest advances that continue to improve LLM functionality including Flash Attention, LoRa, AliBi, and PEFT methods.

Large Language Models: Foundation Models from the Ground Up
4 semanas
4–8 horas por semana
A tu ritmo
Avanza a tu ritmo
Gratis
Verificación opcional disponible

Hay una sesión disponible:

¡Ya se inscribieron 8,924! Una vez finalizada la sesión del curso, será archivadoAbre en una pestaña nueva.
Comienza el 19 abr
Termina el 1 jun
Inscríbete
Large Language Models: Foundation Models from the Ground Up

Sobre este curso

Omitir Sobre este curso

This course dives into the details of LLM foundation models. You will learn the innovations that led to the proliferation of transformer-based architectures, from encoder models (BERT), to decoder models (GPT), to encoder-decoder models (T5). You will also learn about the recent breakthroughs that led to applications like ChatGPT. You will gain understanding about the latest advances that continue to improve LLM functionality including Flash Attention, LoRa, AliBi, and PEFT methods. The course concludes with an overview of multi-modal LLM developments to address NLP problems involving a combination of text, audio, and visual components.

De un vistazo

  • Institution Databricks
  • Subject Informática
  • Level Advanced
  • Prerequisites

    • Intermediate-level experience with Python

    • Understanding of deep learning concepts and hands-on experience with PyTorch

    Completing the LLM: Application through Production course is highly recommended, but not strictly required prior to taking this course.

  • Language English
  • Video Transcript English
  • Associated programs
  • Associated skillsNatural Language Processing, Transfer Learning, Decision Making

Lo que aprenderás

Omitir Lo que aprenderás
  • Describe the components and theory behind foundation models, including the attention mechanism, encoder and decoder architectures.
  • Articulate the developments in the evolution of GPT models that were critical in the creation of popular LLMs like ChatGPT.
  • Explain and implement the latest advances that improve LLM functionality, including Fast Attention, AliBi, and PEFT methods.
  • Gain insights into multi-modal applications of Generative AI (GenAI) / LLMs involving a combination of text, audio, and visual elements.

Plan de estudios

Omitir Plan de estudios

  • Module 1 - Transformer Architecture: Attention & Transformer Fundamentals

  • Module 2 - Efficient Fine Tuning

  • Module 3 - Deployment and Hardware Considerations

  • Module 4 - Beyond Text-Based LLMs: Multi-Modality

¿Quién puede hacer este curso?

Lamentablemente, las personas residentes en uno o más de los siguientes países o regiones no podrán registrarse para este curso: Irán, Cuba y la región de Crimea en Ucrania. Si bien edX consiguió licencias de la Oficina de Control de Activos Extranjeros de los EE. UU. (U.S. Office of Foreign Assets Control, OFAC) para ofrecer nuestros cursos a personas en estos países y regiones, las licencias que hemos recibido no son lo suficientemente amplias como para permitirnos dictar este curso en todas las ubicaciones. edX lamenta profundamente que las sanciones estadounidenses impidan que ofrezcamos todos nuestros cursos a cualquier persona, sin importar dónde viva.

Este curso es parte del programa Large Language Models Professional Certificate

Más información 
Instrucción por expertos
2 cursos de capacitación
A tu ritmo
Avanza a tu ritmo
3 meses
4 - 9 horas semanales

Formas de realizar este curso

Elige tu camino al inscribirte.

Verified Track

Audit Track

Costo

99 US$

Free

Acceso a los materiales del curso

Ilimitado

Limitado

Caduca el 17 may

World class institutions and universities

Asistencia de edX

Certificado para compartir al finalizar

Tareas con calificación y exámenes

Visita la sección de Preguntas frecuentesen una pestaña nueva con preguntas frecuentes sobre estas modalidades.

¿Te interesa este curso para tu negocio o equipo?

Capacita a tus empleados en los temas más solicitados con edX para Negocios.
ComprarSolicitar información