AI 빅데이터73 [LangChain] GPT로 Summary와 QA 해 보기 LangChain은 LLM을 App에서 활용할 수 있게 해 주는 도구다. GPT-3나 BLOOM과 같은 초거대AI에게 질의해서 결과를 가져와 App을 구성할 수 있다. LangChain의 컴퍼넌트들은 기회될 때 보기로 하고, 여기서는 간단한 예제만 실행해 보고자 한다. 예제는 안톤 체홉의 '개를 데리고 다니는 여인'의 pdf 파일을 불러다가 요약하고 질의를 해 보는 것이다. 우선 필요한 패키지들을 설치하고.. !pip install OpenAI langchain PyPDF2 tiktoken faiss-cpu grobid-client 환경을 setup 한다. import os os.environ["OPENAI_API_KEY"] = "너의 open ai key" # 체홉의 pdf를 가져와서 !wget htt.. 2023. 4. 21. [ChatGPT, Bard] LLM에게 영화 평점 추천 시키기 데이터분석을 처음 접하게 될 때, 영화 평점에 기반한 추천을 공부하게 된다. Collaboration Filtering 기법을 많이 사용하는 데, LLM 대화 서비스에서 코딩 없이 추천하는 방법을 소개한 글이 있어서 실제로 해 보니 그럴 듯하다. Can ChatGPT recommend movies with machine learning Fun journey to test ChatGPT’s limits in the context of recommendation towardsdatascience.com 우선 ChatGPT에게 우리 말로 물어봤다. 오, 그럴싸한데 헤더가 있으면 좋겠다. 이제 Jack이 Matrix를 좋아할 지 물어보자. 알았다. 대답하도록 해 주마. CF 로직을 ChatGPT에게 알려주고, .. 2023. 4. 19. [LLaMa] M1 Mac에 Meta LLaMa 동작시키기 메타에서 LLaMa 나온지도 2주가 넘었다. Weight를 메일로 받아야 하는데, 누군가가 토렌트에 뿌리는 바람에 쉽게 테스트 해 볼 수 있게 되었다. 정부가 정책이 있으면 시민은 대책이 있다고, LLaMa를 로컬에서 돌리려는 시도 몇일만에 무려 라스베리파이에까지 올리는 현자도 나타났다. 당연히 Apple Silicon 맥에서 돌리려는 시도가 있었고, 4비트 양자화까지 이어져서 누구나 시도해 볼 만한 상황이 되었다. 그래서 나도.. 1) LLaMa Model과 Weight 받기 Local에서 돌리는 스크립트의 깃들은 대체로 모델과 가중치가 이미 있다는 상황에서 기술되어 있다(다같이 배포했다가 메타에서 무슨 해코지를 당하겠..). 토렌트에서 받아도 되지만, 간단히 아래에 올린 모델로 받자. GitHub -.. 2023. 3. 14. [GPT-3] GPT-3 FineTuning 하기 잘 알려져 있다시피 GPT-3는 모델을 공개하지 않아서, Transfer Learnin에 의한 Fine Tuning이 어렵다. 하지만, P-Tuning 등으로 불리는 Prompt Encoder에서의 튜닝 기법으로 어느 정도 파인튜닝 모델을 만들어 낼 수 있다. 오죽하면 gpt-3의 논문제목은 "Language Models are Few-Shot Learners"이겠는가! 챗봇 딥러닝 - 초거대모델의 파인튜닝 방법 - P-tuning과 LoRA BERT 이후로 딥러닝 자연어처리는 사전훈련 모델(pre-trained model)이 기본이 되었습니다. 보통 위키피디아 같은 데이터로 사전훈련을 하면 언어의 기본적인 특징을 이해하게 됩니다. 그다음 개별 태 aidev.co.kr 몇일 전 Toward Data Sc.. 2023. 2. 19. [하드웨어] NVSwitch, 인피니밴드, PIM, PNM 초거대AI가 주목받고 100B 이상의 파라미터 사용이 특이한 일이 아니면서부터 딥러닝학습을 위한 하드웨어에도 많은 관심이 쏟아진다. 무엇보다 시스템 반도체업체인 NVidia의 인프라는 SUPERPOD이라는 이름으로 수십, 수백의 GPU를 묶는 형태로 발전하고 있다. 반면, 메모리 반도체 영역에서도 메모리에 연산기능을 추가하면서 초거대 AI에 대응하고 있다. 시스템 반도체 업체의 대응 시스템반도체 업체라고 해봐야 NVidia를 말하는 것일텐데, NVidia는 A100, H100으로 반도체 성능을 높이는 한편, 이들을 네트워크로 묶어 SUPERPOD의 형태로 제공하고 있다. SUPERPOD은 NVSwitch와 인피니밴드 연결로 구분될 수 있다. 위는 NVSwitch의 구조를 나타내고 있는데, CPU(AMD .. 2023. 1. 29. [하드웨어] AI를 위한 반도체 NPU 후려치기 최근 페이스북 포스팅에서 AI반도체의 방향에 관한 논쟁(?)을 접했다. 국가 단위로 투자한다면서 기껏(?) 인퍼런스 칩 만드는 업체들 불러다 놓았냐라는 얘기가 있었나보다. 초거대AI로 시장이 발전하고 있으니 대량학습이 가능한 훈련용 칩과 데이터 대역폭을 개선할 NoC(네트워크 반도체)에 역량을 집중해야 한다는... OpenAI나 구글과 싸우려면 그 방향이 맞겠지만, 개인적으로는 이제 그 쪽 승부는 이미 났고 추론을 얼마나 빨리 잘할 수 있느냐가 미국을 제외한 국가들에서 관심가져야 할 분야인 듯 싶다. 혹은 학습을 위해서도 새로운 칩 만드는데 투자하기 보다는 그 돈으로 구글이나 NVidia, 혹은 클라우드 업체의 인프라를 사용하는 것도 방법이다. 하지만, 인퍼런스 분야는 다르다. 지금이야 AI용처가 한정되.. 2023. 1. 29. 이전 1 2 3 4 5 6 ··· 13 다음
