파인튜닝 – TildAlice

LoRA 논문 리뷰: 수십 GB 모델을 MB급 파라미터로 파인튜닝하는 Low-Rank Adaptation 완전 분석

2026년 01월 14일

LoRA fine-tunes 175B models with 0.01% trainable parameters. Math behind low-rank decomposition, GPT-3 results, and PyTorch implementation guide.

2025년 11월 28일

Fine-tune OpenAI Whisper for Korean speech: boost accuracy from 82% to 94% with custom datasets. Includes training code and benchmarks.

2025년 11월 17일

LoRA uses 60GB GPU, QLoRA needs 16GB, DoRA hits 12GB — same model quality. Here's the memory breakdown and when to pick each method.

2025년 11월 07일

RLHF, DPO, or KTO for LLM alignment? Compare training costs, data needs, and performance on real tasks to pick the right method.