본문 바로가기

분류 전체보기328

[LLaMa] M1 Mac에 Meta LLaMa 동작시키기 메타에서 LLaMa 나온지도 2주가 넘었다. Weight를 메일로 받아야 하는데, 누군가가 토렌트에 뿌리는 바람에 쉽게 테스트 해 볼 수 있게 되었다. 정부가 정책이 있으면 시민은 대책이 있다고, LLaMa를 로컬에서 돌리려는 시도 몇일만에 무려 라스베리파이에까지 올리는 현자도 나타났다. 당연히 Apple Silicon 맥에서 돌리려는 시도가 있었고, 4비트 양자화까지 이어져서 누구나 시도해 볼 만한 상황이 되었다. 그래서 나도.. 1) LLaMa Model과 Weight 받기 Local에서 돌리는 스크립트의 깃들은 대체로 모델과 가중치가 이미 있다는 상황에서 기술되어 있다(다같이 배포했다가 메타에서 무슨 해코지를 당하겠..). 토렌트에서 받아도 되지만, 간단히 아래에 올린 모델로 받자. GitHub -.. 2023. 3. 14.
[GPT-3] GPT-3 FineTuning 하기 잘 알려져 있다시피 GPT-3는 모델을 공개하지 않아서, Transfer Learnin에 의한 Fine Tuning이 어렵다. 하지만, P-Tuning 등으로 불리는 Prompt Encoder에서의 튜닝 기법으로 어느 정도 파인튜닝 모델을 만들어 낼 수 있다. 오죽하면 gpt-3의 논문제목은 "Language Models are Few-Shot Learners"이겠는가! 챗봇 딥러닝 - 초거대모델의 파인튜닝 방법 - P-tuning과 LoRA BERT 이후로 딥러닝 자연어처리는 사전훈련 모델(pre-trained model)이 기본이 되었습니다. 보통 위키피디아 같은 데이터로 사전훈련을 하면 언어의 기본적인 특징을 이해하게 됩니다. 그다음 개별 태 aidev.co.kr 몇일 전 Toward Data Sc.. 2023. 2. 19.
[하드웨어] NVSwitch, 인피니밴드, PIM, PNM 초거대AI가 주목받고 100B 이상의 파라미터 사용이 특이한 일이 아니면서부터 딥러닝학습을 위한 하드웨어에도 많은 관심이 쏟아진다. 무엇보다 시스템 반도체업체인 NVidia의 인프라는 SUPERPOD이라는 이름으로 수십, 수백의 GPU를 묶는 형태로 발전하고 있다. 반면, 메모리 반도체 영역에서도 메모리에 연산기능을 추가하면서 초거대 AI에 대응하고 있다. 시스템 반도체 업체의 대응 시스템반도체 업체라고 해봐야 NVidia를 말하는 것일텐데, NVidia는 A100, H100으로 반도체 성능을 높이는 한편, 이들을 네트워크로 묶어 SUPERPOD의 형태로 제공하고 있다. SUPERPOD은 NVSwitch와 인피니밴드 연결로 구분될 수 있다. 위는 NVSwitch의 구조를 나타내고 있는데, CPU(AMD .. 2023. 1. 29.
[하드웨어] AI를 위한 반도체 NPU 후려치기 최근 페이스북 포스팅에서 AI반도체의 방향에 관한 논쟁(?)을 접했다. 국가 단위로 투자한다면서 기껏(?) 인퍼런스 칩 만드는 업체들 불러다 놓았냐라는 얘기가 있었나보다. 초거대AI로 시장이 발전하고 있으니 대량학습이 가능한 훈련용 칩과 데이터 대역폭을 개선할 NoC(네트워크 반도체)에 역량을 집중해야 한다는... OpenAI나 구글과 싸우려면 그 방향이 맞겠지만, 개인적으로는 이제 그 쪽 승부는 이미 났고 추론을 얼마나 빨리 잘할 수 있느냐가 미국을 제외한 국가들에서 관심가져야 할 분야인 듯 싶다. 혹은 학습을 위해서도 새로운 칩 만드는데 투자하기 보다는 그 돈으로 구글이나 NVidia, 혹은 클라우드 업체의 인프라를 사용하는 것도 방법이다. 하지만, 인퍼런스 분야는 다르다. 지금이야 AI용처가 한정되.. 2023. 1. 29.
[자연어분석] BERT, Transformer, Self Attention 후려치기 솔직히 개념이 좀 와닿지 않아(여전히 그렇다), 계속 피해만 다녔는데 GPT3, ChatGPT의 붐으로 Foundation Model의 근간이 되는 Transformer를 개략적이라도 이해하지 않으면 안될 상황인 듯 해서 아주 브리프하게 후려쳐서 정리해보았다. 대략적인 메카니즘은 이해가 되지만, BERT에서 왜 굳이 Transformer Encoder Layer 위에 FFNN을 쌓고, 그걸 6층으로 다시 만들었는 지 등등의 철학은 여전히 오리무중이다. 하지만, 이제 Transformer 아는 척을 안 하면 밥벌어 먹기 힘든 시대가 결국 온 것 같아서 중심 개념만 정리해 본다. Transformer를 위해서는 Attention만 보면 되겠지만(오죽하면, 논문 제목도 'Attention is all you .. 2023. 1. 28.
[Google] Jeff Dean - 2022년 Google AI의 성과 요약 구글 리서치의 수석 과학자 Jeff Dean의 Google AI의 현재 상황 정리. 제대로 이해하려면 꼼꼼히 봐야겠지만, 언어, 이미지, 생성모델 관련해서 간단하게만 우선 메모. Language 단순히 정답을 내는 것이 아니라, 정답에 이르기까지의 추론적 사고를 할 수 있는 방법을 제시 2022년 4월에 Pathway에 기반한 5400억개의 파라미터를 지닌 PaLM(Pathway Language Model)을 출시 Chain of Thought Prompting: 모델이 논리적 사고를 따르고 보다 구조화되고 조직적이며 정확한 응답을 생성하도록 함 언어마다 롱테일 단어들이 있어서 모두 학습시키기 어려웠는데, 대규모 다국어 훈련 모델을 통해 새로운 언어를 학습 Prompt Design 기반으로 Tuning할.. 2023. 1. 24.

티스토리툴바