PEFT1 LLM을 QLoRA로 파인 튜닝 하기 허깅페이스에서는 각종 AI모델을 쉽게 사용하도록 라이브러리를 제공하고 있는데, 개인용 PC(?) 수준에서도 LLM 모델을 테스트할 수 있도록 QLoRA로 LLM을 PEFT(Parameter Efficient Fine Tuning) 할 수 있는 방법을 제공하고 있다. QLoRA는 아래의 이미지로 설명된다. LoRA가 Base 모델의 네트워크는 그대로 둔 채, 추가 데이터 만을 학습하여 본래의 Network에 concatenation하는 것이라면, QLoRA는 여기에 더해 16bit Network Node를 4bit로 양자화하고, 부족한 메모리로 큰 모델을 Handling할 수 있도록 Paging(바이너리를 나누어 2차 저장 장치에 Swapping하는 것)을 추가한 것이다. 16비트를 4비트로 바꾸었으니 정.. 2023. 11. 24. 이전 1 다음
