LoRA 논문 리뷰: 수십 GB 모델을 MB급 파라미터로 파인튜닝하는 Low-Rank Adaptation 완전 분석

들어가며: 왜 LoRA가 필요한가?

GPT-3가 1,750억 개의 파라미터를 가진다는 사실은 이제 널리 알려져 있습니다. 이 모델을 특정 태스크에 맞게 풀 파인튜닝(Full Fine-tuning)한다면, 1,750억 개의 파라미터를 모두 업데이트해야 하고, 그 결과로 생성되는 체크포인트 하나가 수백 GB에 달합니다.

태스크가 10개라면? 수 TB의 저장 공간이 필요합니다. 이는 학계는 물론이고 대규모 인프라를 보유한 기업에서조차 심각한 병목입니다.

핵심 문제: 사전학습된 대형 언어모델(LLM)을 다양한 다운스트림 태스크에 효율적으로 적응시키면서, 풀 파인튜닝에 필적하는 성능을 달성할 수 있는가?

2021년 Microsoft Research에서 발표한 LoRA(Low-Rank Adaptation of Large Language Models) 논문은 이 질문에 대해 놀랍도록 우아한 해답을 제시합니다. 학습 가능한 파라미터 수를 최대 10,000배까지 줄이면서도 풀 파인튜닝과 동등하거나 더 나은 성능을 달성한 것입니다.

이 글에서는 LoRA 논문의 핵심 아이디어부터 수학적 원리, 실험 결과, 그리고 한계점과 후속 연구까지 깊이 있게 분석합니다.

논문 기본 정보

기존 방법론의 한계

LoRA 이전에도 파라미터 효율적 파인튜닝(PEFT)에 대한 연구는 활발했습니다. 대표적인 기존 방법론과 그 한계를 살펴보겠습니다.

Adapter Layers

Adapter 방법은 Transformer의 각 레이어에 작은 병목(bottleneck) 레이어를 삽입합니다. 사전학습된 가중치는 고정하고 삽입된 어댑터 레이어만 학습합니다.

한계점:
– 모델에 순차적인 레이어가 추가되므로, 추론 시 레이턴시(latency)가 증가
– 배치 크기가 작거나 시퀀스 길이가 짧은 온라인 추론 환경에서 특히 문제
– 논문에 따르면 Adapter는 단일 GPU에서 추론 레이턴시를 최대 20~30% 증가시킴

Prefix Tuning

Prefix Tuning은 입력 시퀀스 앞에 학습 가능한 가상 토큰(virtual tokens)을 추가하여 모델의 행동을 조절합니다.

한계점:
– 사용 가능한 시퀀스 길이가 줄어듦 (prefix가 차지하는 만큼)
– 최적화가 어려워 성능이 불안정
– 논문의 실험에서 prefix tuning은 여러 태스크에서 풀 파인튜닝 대비 성능이 떨어짐

기존 방법론 비교 요약

LoRA의 결정적 장점: 학습된 가중치를 기존 모델에 병합(merge)할 수 있어, 추론 시 추가 연산이 전혀 발생하지 않습니다.

핵심 아이디어: Low-Rank Hypothesis

과적응된 모델의 내재적 차원

LoRA의 이론적 기반은 Intrinsic Dimensionality 가설에서 출발합니다. Aghajanyan et al. (2020)의 연구에 따르면, 사전학습된 언어모델은 낮은 내재적 차원(low intrinsic dimension)을 가집니다.

이것이 의미하는 바는 명확합니다:

사전학습된 모델의 가중치 변화량 $Delta W$는 실제로는 매우 낮은 랭크(rank)를 가진다. 즉, 수백만 차원의 파라미터 공간에서 실제로 중요한 변화는 훨씬 작은 부분공간에서 일어난다.

수학적 정의

사전학습된 가중치 행렬 $W_0 in mathbb{R}^{d times k}$에 대해, 풀 파인튜닝은 다음과 같이 가중치를 업데이트합니다:

$$W = W_0 + Delta W$$

LoRA의 핵심 제안은 이 $Delta W$를 두 개의 저랭크 행렬의 곱으로 분해하는 것입니다:

$$Delta W = BA$$

여기서:
– $B in mathbb{R}^{d times r}$
– $A in mathbb{R}^{r times k}$
– $r ll min(d, k)$: 랭크(rank), 핵심 하이퍼파라미터

예를 들어, 원래 가중치 $W_0$가 $12288 times 12288$ 행렬이라면 약 1.5억 개의 파라미터입니다. 하지만 $r = 8$로 설정하면:

$$12288 times 8 + 8 times 12288 = 196,608$$

약 20만 개, 즉 원래의 0.13%만 학습하면 됩니다.

방법론 상세 분석

아키텍처: LoRA의 구조

Transformer의 Self-Attention 레이어에는 네 가지 가중치 행렬이 있습니다:

• $W_q$ (Query)
• $W_k$ (Key)
• $W_v$ (Value)
• $W_o$ (Output)

LoRA는 이 중 일부(또는 전부)에 저랭크 행렬 쌍 $(A, B)$를 추가합니다. 순전파(forward pass)는 다음과 같이 변경됩니다:

$$h = W_0 x + Delta W x = W_0 x + frac{alpha}{r} BAx$$

각 항의 의미:
– $W_0 x$: 사전학습된 가중치에 의한 원래 출력 (고정, 학습하지 않음)
– $BAx$: 저랭크 적응 경로에 의한 추가 출력 (학습 대상)
– $frac{alpha}{r}$: 스케일링 팩터. $alpha$는 상수, $r$은 랭크

초기화 전략

LoRA의 초기화는 매우 중요한 설계 선택입니다:

• $A$: 가우시안 랜덤 초기화 ($mathcal{N}(0, sigma^2)$)
• $B$: 영행렬(zero matrix)로 초기화

이렇게 하면 학습 시작 시점에서:

$$Delta W = BA = 0 cdot A = 0$$

핵심 설계 원리: 학습 시작 시 $Delta W = 0$이므로, 모델은 사전학습된 상태에서 출발합니다. 이는 학습 안정성을 크게 향상시킵니다.

스케일링 팩터 $frac{alpha}{r}$

$alpha$는 LoRA의 학습률을 간접적으로 조절하는 하이퍼파라미터입니다:

• $alpha$를 $r$로 나누어 스케일링하면, 랭크 $r$을 변경해도 학습률을 재튜닝할 필요가 줄어듦
• 일반적으로 $alpha$는 첫 번째 $r$ 값에서 튜닝한 후 고정
• 논문에서는 $alpha$를 첫 $r$ 값과 동일하게 설정하고, $r$만 변경하는 방식을 권장

추론 시 병합 (Merging)

LoRA의 가장 큰 실용적 장점은 추론 시 추가 비용이 0이라는 점입니다:

$$W = W_0 + frac{alpha}{r} BA$$

학습이 완료되면 $BA$를 미리 계산하여 $W_0$에 더해놓으면, 추론 시에는 일반적인 모델과 완전히 동일한 구조가 됩니다. 별도의 어댑터 레이어나 추가 연산이 필요하지 않습니다.

태스크를 전환할 때는:
1. 현재 LoRA 가중치를 빼고: $W_0 = W – frac{alpha}{r} B_1 A_1$
2. 새 LoRA 가중치를 더함: $W = W_0 + frac{alpha}{r} B_2 A_2$

이 과정의 메모리 오버헤드는 미미합니다.

학습 과정 요약

1. 사전학습된 모델 W₀ 로드 (고정)
2. 각 타겟 레이어에 A, B 행렬 초기화
   - A: 가우시안 랜덤
   - B: 영행렬
3. 순전파: h = W₀x + (α/r)BAx
4. 역전파: A, B만 그래디언트 업데이트
5. 학습 완료 후: W = W₀ + (α/r)BA 로 병합

어떤 가중치 행렬에 적용해야 하는가?

Transformer에는 Self-Attention의 $W_q, W_k, W_v, W_o$와 FFN(Feed-Forward Network)의 가중치 등 여러 행렬이 있습니다. LoRA를 어디에 적용하는 것이 최적일까요?

논문은 GPT-3 175B 모델에서 다양한 조합을 실험했습니다.

가중치 행렬 조합별 성능 (WikiSQL, MNLI-m)

핵심 발견: 동일한 파라미터 예산 하에서, 하나의 가중치 행렬에 높은 랭크를 적용하는 것보다 여러 행렬에 낮은 랭크를 분산하는 것이 더 효과적입니다. $W_q$와 $W_v$에 $r=4$로 적용한 것이 최적이었습니다.

이 결과는 직관적으로도 이해할 수 있습니다. 적응에 필요한 정보가 단일 행렬에 집중되기보다는 여러 행렬에 걸쳐 분포되어 있기 때문입니다.

랭크 $r$의 영향: 얼마나 낮아도 되는가?

LoRA에서 가장 중요한 하이퍼파라미터인 랭크 $r$에 대한 실험 결과는 놀랍습니다.

랭크별 성능 변화

놀라운 발견: $r = 1$에서도 이미 매우 경쟁력 있는 성능을 보입니다. 이는 $Delta W$가 극도로 낮은 내재적 랭크를 가진다는 가설을 강력히 뒷받침합니다.

$r$을 64까지 올려도 성능이 개선되지 않고 오히려 소폭 하락하는 것은, 불필요하게 높은 랭크가 과적합이나 노이즈를 유발할 수 있음을 시사합니다.

$Delta W$의 내재적 랭크 분석

논문은 서로 다른 $r$ 값으로 학습된 LoRA 가중치 간의 관계를 분석합니다. $r = 8$과 $r = 64$로 학습된 $Delta W$ 사이의 부분공간 유사도를 측정한 결과:

• $Delta W_q$: $r = 8$의 상위 방향들이 $r = 64$의 상위 부분공간에 강하게 포함됨
• $Delta W_v$: 마찬가지로 높은 부분공간 유사도

이는 실제로 유용한 적응 방향(adaptation direction)이 매우 적다는 것을 의미합니다.

실험 결과 분석

실험 설정

논문은 다음 세 가지 사전학습 모델에서 실험을 수행합니다:

RoBERTa 실험 결과 (GLUE 벤치마크)

핵심: LoRA는 0.3M 파라미터만으로 355M 전체를 학습하는 풀 파인튜닝(88.9)과 동일한 평균 성능을 달성했습니다. 이는 학습 파라미터의 0.08%에 불과합니다.

GPT-3 175B 실험 결과

GPT-3에서의 결과는 LoRA의 확장성을 입증합니다.

주목할 점:
– LoRA는 4.7M 파라미터(175B의 0.003%)로 풀 파인튜닝에 필적하는 성능
– SAMSum 요약 태스크에서는 풀 파인튜닝을 상회하는 성능
– Prefix 계열 방법론 대비 확실한 성능 우위

학습 효율성 비교

LoRA는 VRAM 사용량을 최대 2/3로 줄이고, 학습 처리량을 25% 향상시킵니다. 이는 그래디언트 계산이 필요한 파라미터 수가 크게 줄기 때문입니다.

$Delta W$와 $W$의 관계 분석

논문의 가장 흥미로운 분석 중 하나는 학습된 $Delta W$와 원래 가중치 $W$ 사이의 관계입니다.

방향성(Direction) 분석

$Delta W$의 주요 특이벡터(singular vector) 방향과 $W$의 상위 특이벡터 방향 사이의 관계를 분석하면:

• $Delta W$는 $W$의 상위 특이 방향을 강화(amplify)하는 경향
• 그러나 $Delta W$가 $W$의 상위 특이벡터 공간에 완전히 포함되지는 않음
• $r$이 작을수록 $Delta W$의 방향이 $W$의 상위 방향과 더 정렬됨

크기(Magnitude) 분석

$|Delta W|_F$와 $|W|_F$의 비율을 분석하면:

$$frac{|Delta W|_F}{|W|_F} approx 0.32 sim 0.66$$

이는 $Delta W$의 크기가 $W$에 비해 상당히 작지만 무시할 수 없는 수준임을 보여줍니다. 특히 $r$이 증가할수록 이 비율이 작아지는 경향이 있어, 높은 랭크에서는 노이즈가 추가되어 실질적인 적응 신호가 희석될 수 있음을 시사합니다.

구현 코드 예시

LoRA의 핵심 구현은 매우 간결합니다. PyTorch를 이용한 구현 예시입니다.

import torch
import torch.nn as nn
import torch.nn.functional as F


class LoRALayer(nn.Module):
    """LoRA를 적용한 Linear 레이어"""

    def __init__(
        self,
        in_features: int,
        out_features: int,
        rank: int = 4,
        alpha: float = 1.0,
    ):
        super().__init__()
        self.rank = rank
        self.alpha = alpha
        self.scaling = alpha / rank

        # 원래 가중치 (고정)
        self.linear = nn.Linear(in_features, out_features, bias=False)
        self.linear.weight.requires_grad = False

        # LoRA 저랭크 행렬
        self.lora_A = nn.Parameter(
            torch.randn(rank, in_features) * 0.01
        )  # 가우시안 초기화
        self.lora_B = nn.Parameter(
            torch.zeros(out_features, rank)
        )  # 영행렬 초기화

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # 원래 출력 + LoRA 경로
        original = self.linear(x)
        lora_out = (x @ self.lora_A.T @ self.lora_B.T) * self.scaling
        return original + lora_out

    def merge_weights(self):
        """학습 완료 후 가중치 병합 (추론 최적화)"""
        self.linear.weight.data += (
            self.lora_B @ self.lora_A * self.scaling
        )


# 사용 예시
layer = LoRALayer(
    in_features=768,
    out_features=768,
    rank=8,
    alpha=8.0
)

# 학습 가능한 파라미터 확인
total_params = sum(p.numel() for p in layer.parameters())
trainable_params = sum(
    p.numel() for p in layer.parameters() if p.requires_grad
)
print(f"전체 파라미터: {total_params:,}")
print(f"학습 파라미터: {trainable_params:,}")
print(f"비율: {trainable_params/total_params*100:.2f}%")
# 전체 파라미터: 601,344
# 학습 파라미터: 12,288
# 비율: 2.04%

실제로 Hugging Face의 PEFT 라이브러리를 사용하면 더 간편하게 적용할 수 있습니다.

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM

# 모델 로드
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")

# LoRA 설정
lora_config = LoraConfig(
    r=16,                          # 랭크
    lora_alpha=32,                 # 스케일링 팩터
    target_modules=["q_proj", "v_proj"],  # 적용 대상 레이어
    lora_dropout=0.05,             # 드롭아웃
    bias="none",                   # 바이어스 학습 여부
    task_type="CAUSAL_LM",         # 태스크 유형
)

# LoRA 적용
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# trainable params: 4,194,304 || all params: 6,742,609,920
# trainable%: 0.0622%

논문의 강점

1. 이론적 직관과 실용성의 조화

LoRA는 단순한 엔지니어링 트릭이 아닙니다. 내재적 차원(intrinsic dimensionality) 이론에 기반한 명확한 동기를 가지며, 동시에 실무에서 바로 적용할 수 있는 실용성을 갖추고 있습니다.

2. 추론 시 제로 오버헤드

기존 Adapter 방법론과 달리, 학습 후 가중치를 병합하면 추론 시 추가 연산이 전혀 없습니다. 이는 프로덕션 환경에서 결정적인 장점입니다.

3. 다중 태스크 효율성

하나의 사전학습 모델에 여러 LoRA 가중치를 교체하면서 사용할 수 있어, 다중 태스크 서빙이 매우 효율적입니다. 각 태스크별 체크포인트가 수 MB에 불과하므로 저장 비용도 극소화됩니다.

4. 철저한 Ablation Study

어떤 레이어에 적용할지, 랭크를 얼마로 설정할지, $Delta W$의 수학적 성질은 어떠한지 등 실무에 필요한 핵심 질문에 체계적으로 답합니다.

논문의 한계점

1. 최적 랭크 선택의 어려움

논문은 $r = 4$ 또는 $r = 8$이 대부분의 경우에 잘 작동한다고 보고하지만, 태스크에 따른 최적 랭크를 사전에 결정하는 원칙적 방법은 제시하지 않습니다. 실무에서는 여전히 하이퍼파라미터 탐색이 필요합니다.

2. 적용 대상 레이어 선택

논문은 Self-Attention의 $W_q, W_v$에 적용하는 것이 최적이라고 보고하지만, 이는 GPT-3 아키텍처에서의 결과입니다. 다른 아키텍처(예: MoE, SSM)에서도 같은 결론이 유효한지는 별도 검증이 필요합니다.

3. 다중 태스크 동시 학습

논문은 각 태스크에 대해 별도의 LoRA를 학습합니다. 여러 태스크를 동시에 학습하거나, LoRA 간의 조합(composition)에 대해서는 깊이 다루지 않습니다.

4. 매우 다른 도메인으로의 적응

LoRA의 저랭크 가정은 사전학습 데이터와 유사한 도메인으로의 적응에서 가장 잘 작동합니다. 사전학습 분포와 극단적으로 다른 도메인(예: 완전히 새로운 언어, 전문 과학 표기법)에서는 저랭크 가정이 성립하지 않을 수 있습니다.

5. FFN 레이어 미적용

논문의 주요 실험은 Attention 레이어에만 LoRA를 적용했습니다. FFN 레이어는 Transformer 파라미터의 약 2/3를 차지하는데, 이에 대한 분석이 제한적입니다.

후속 연구와 발전

LoRA는 이후 폭발적인 후속 연구를 촉발했습니다.

주요 후속 연구

LoRA의 영향력

LoRA는 단순히 학술적 기여를 넘어, LLM 생태계 전체에 깊은 영향을 미쳤습니다:

1. 오픈소스 커뮤니티: Stable Diffusion, LLaMA 등의 커뮤니티 파인튜닝이 LoRA 덕분에 대중화
2. 프로덕션 시스템: 하나의 기본 모델에 수천 개의 LoRA를 동적으로 로드하는 서빙 아키텍처 등장
3. 멀티모달 확장: 이미지 생성(Stable Diffusion LoRA), 음성, 비디오 모델에도 광범위하게 적용
4. 학습 프레임워크: Hugging Face PEFT, LLaMA-Factory 등 주요 프레임워크에 기본 통합

마무리

LoRA는 대형 언어모델 시대의 핵심 과제인 “효율적 적응” 문제에 대해 이론적으로 탄탄하고 실용적으로 우아한 해법을 제시한 논문입니다.

핵심 요약:

1. 아이디어: 가중치 변화량 $Delta W$를 저랭크 행렬의 곱 $BA$로 분해하여, 학습 파라미터를 극적으로 줄임
2. 성능: GPT-3 175B에서 학습 파라미터를 0.003%로 줄이면서 풀 파인튜닝과 동등하거나 우수한 성능 달성
3. 효율성: 학습 메모리 2/3 감소, 학습 속도 25% 향상, 추론 시 추가 비용 제로
4. 이론적 기여: 사전학습 모델의 적응에 필요한 변화가 극도로 낮은 내재적 차원을 가진다는 것을 실증
5. 실용적 가치: 다중 태스크 서빙, 빠른 태스크 전환, MB급 체크포인트 등 프로덕션 환경에서의 이점

LoRA가 던지는 근본적인 질문은 이것입니다: “사전학습된 모델이 이미 충분히 좋다면, 적응에 필요한 변화는 얼마나 작을 수 있는가?” 그리고 그 답은 놀랍도록 작습니다. 이 통찰은 LLM의 효율적 활용을 넘어, 딥러닝 모델의 내재적 구조에 대한 깊은 이해로 이어지고 있습니다.

LoRA 이후 수많은 변형과 개선이 제안되고 있지만, 원본 논문의 핵심 아이디어—저랭크 분해를 통한 효율적 적응—는 여전히 이 분야의 근간을 이루고 있습니다.