ctransformer1 [LLM 개발] Colab에서 허깅페이스 오픈 모델 사용 Llama-2 이후로 오픈 모델이 쏟아져 나오는데, 개인들은 이 모델들을 마땅히 테스트해보기도 쉽지 않다. 구글 코랩은 오래전부터 NVidia T4를 기본 GPU로 제공하고 있고, 허깅페이스에서 오픈 소스 모델들을 활용할 수 있는 라이브러리들을 제공하고 있어서 간단한 테스트 정도는 해 볼 수 있다. 참고로, Colab의 런타임을 T4로 바꿔줘야 한다. 특히, Llama 모델을 C 언어로 인퍼런스하도록 한 llama.cpp와 GGML 덕분에 경량화하여 사용할 수 있다. ctransformer는 허깅페이스에서 제공하는 것은 아니지만 GGML을 활용하여 transformer 계열 모델들을 사용할 수 있게 해 준 것으로 경량화된 LLM을 손쉽게 사용할 수 있도록 해 준다. 현시점에서 지원하는 언어모델은 아래와 .. 2023. 10. 7. 이전 1 다음