논문 리뷰

논문 리뷰기존 Adapter-based 방법과 달리 layer 사이에 새로운 adapter를 추가하는 게 아닌, low-rank decomposition 행렬을 기존 파라미터와 평행하게 배치하고 LoRA 모듈만 변경되도록 해 학습 비용을 획기적으로 줄이면서도 추론시 기존 파라미터와 병합해 추가적인 inference latency가 없게 할 수 있었다.이 뿐만 아니라 low-rank decomposition으로서 학습된 $\mathrm{\Delta }W$를 기존의 $W$와 비교해, Adaptation 과정에서 사전 학습에서 특별히 더 중요하진 않았지만 특정 task에서는 중요한 특징들을 학습하고 있다는 것을 보인 점이 더욱 흥미로웠다. 의문점1. Scaling factor $\frac{\alpha }{r}$은 왜 필요한가?..