LLaMa 7B 4비트1 [LLaMa] M1 Mac에 Meta LLaMa 동작시키기 메타에서 LLaMa 나온지도 2주가 넘었다. Weight를 메일로 받아야 하는데, 누군가가 토렌트에 뿌리는 바람에 쉽게 테스트 해 볼 수 있게 되었다. 정부가 정책이 있으면 시민은 대책이 있다고, LLaMa를 로컬에서 돌리려는 시도 몇일만에 무려 라스베리파이에까지 올리는 현자도 나타났다. 당연히 Apple Silicon 맥에서 돌리려는 시도가 있었고, 4비트 양자화까지 이어져서 누구나 시도해 볼 만한 상황이 되었다. 그래서 나도.. 1) LLaMa Model과 Weight 받기 Local에서 돌리는 스크립트의 깃들은 대체로 모델과 가중치가 이미 있다는 상황에서 기술되어 있다(다같이 배포했다가 메타에서 무슨 해코지를 당하겠..). 토렌트에서 받아도 되지만, 간단히 아래에 올린 모델로 받자. GitHub -.. 2023. 3. 14. 이전 1 다음
