GPT-31 [GPT-3] GPT-3 FineTuning 하기 잘 알려져 있다시피 GPT-3는 모델을 공개하지 않아서, Transfer Learnin에 의한 Fine Tuning이 어렵다. 하지만, P-Tuning 등으로 불리는 Prompt Encoder에서의 튜닝 기법으로 어느 정도 파인튜닝 모델을 만들어 낼 수 있다. 오죽하면 gpt-3의 논문제목은 "Language Models are Few-Shot Learners"이겠는가! 챗봇 딥러닝 - 초거대모델의 파인튜닝 방법 - P-tuning과 LoRA BERT 이후로 딥러닝 자연어처리는 사전훈련 모델(pre-trained model)이 기본이 되었습니다. 보통 위키피디아 같은 데이터로 사전훈련을 하면 언어의 기본적인 특징을 이해하게 됩니다. 그다음 개별 태 aidev.co.kr 몇일 전 Toward Data Sc.. 2023. 2. 19. 이전 1 다음
