ICLR 2022 (Poster). [Paper] [Page] [Github]Edward Hu, yelong shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu ChenMicrosoft Corporation06 Oct 2021연구 주제 및 주요 기여LoRA는 Fine-tuning의 비용을 줄이고자 고안된 Adapter-based methods 중 하나이다.Fine-tuning시 기존 Dense layer의 파라미터를 변경하지 않고, r차원으로 줄였다가 다시 복원하는 Low-Rank Adaptation을 추가해 학습하도록 제안했다.이는 추론시 기존 파라미터와 병합할 수 있기 때문에 Inference Latency의 ..
