การปรับจูนโมเดล Typhoon (LLM Fine Tuning)

เนื้อหาในหน้านี้เป็นเนื้อหาในการจัดอบรมสุดพิเศษ AI Bootcamp: LLM Fine Tuning and Deployment ที่ร่วมจัดระหว่างทีม Typhoon และ Float16 ความยาวหนึ่งวันเต็มๆ ทั้งภาคทฤษฎีและปฏิบัติ พวกเราได้ทำการบันทึกเนื้อหาการอบรมและรวบรวม Materials ต่างๆ ให้คุณสามารถรับชมและเรียนรู้ด้วยตัวเองได้ ทุกที่ ทุกเวลา

Requirements

พื้นฐานความรู้ที่ควรมีก่อนเรียน:

Python programming skills
Foundational knowledge of deep learning concepts
Familiarity with a Linux or Unix-like environment

Part 1: LLM Fine Tuning

วิดีโอการบรรยายภาคทฤษฎี

แนะนำให้กด Watch on YouTube ต่อ

สไลด์ประกอบการบรรยาย

👉 ดาวน์โหลดสไลด์

เนื้อหา

1. Intro to Typhoon LLMs and Fine Tuning

2. Preparing for Fine Tuning

3. Choosing The Right Fine Tuning Method

4. Intro to LLM Evaluation

5. Workshop Time 💻

Resources สำหรับรันช่วง Workshop

Fine-Tune Task: Sentiment Analysis

Workshop ที่ใช้สาธิตคือการ Fine Tune โมเดลสำหรับให้เหมาะกับงานประเภท Sentiment Analysis

Base Model ที่สาธิต: Typhoon2-Llama3.2-3b-instruct

Dataset ที่สาธิต: Wisesight Sentiment

Logging tool: WanDB.ai < กรุณาสมัครสร้างบัญชีของคุณเอง

Demo code: https://colab.float16.cloud/shared/fccac052-bootcamp-typhoon-x-float16-ai-bootcamp-llm-fine-tuning—deployment

สำหรับช่วงเช้าคือไฟล์ที่มีชื่อ Fine-Tuning

Part 2: Deployment

เนื้อหาในช่วงที่สอง

สอนการรวม LoRa Adapter ให้เข้ากับ Model Weight เดิมเพื่อให้สามารถใช้งาน Model Weight ได้กับ Library ได้เหมือน Model Weight ดั้งเดิม
สอนการแปลง Model Weight ปกติให้อยู่ในรูปของ GGUF เพื่อนำไปใช้งานกับ Application ยอดนิยมอย่างเช่น llama.cpp, Ollama, LMStudio และอื่น ๆ
สอนใช้งาน Structured Output หรือ JSON Output ให้เหมือนกับ Proprietary Model อย่าง ChatGPT, Claude หรือ Gemini