AI 빅데이터/AI 동향17 [PaLM-2] VertexAI와 Neo4j로 영화 추천하기 Toward Data Science에 재미있는 코드가 올라와서 조금 수정해서 따라했다. 그래프DB 도구인 Neo4j의 컴퍼넌트인 APOC(A Package of Component)이 OpenAI API와 GCP Vertex AI API를 지원하면서 해당 플랫폼이 지원하는 LLM을 사용할 수 있게 된 것이다. 일반 데이터 베이스와 연동하면 드러나지 않는 데이터의 관계성이 그래프DB에서는 명시적으로 드러나 있으니 연관된 정보를 좀 더 잘 대답해 줄 수 있지 않을까 하는 아이디어에서 시작했다고. Integrate LLM workflows with Knowledge Graph using Neo4j and APOC OpenAI and VertexAI endpoints are now available as APOC.. 2023. 8. 15. [LangChain] Vertex AI의 PaLM으로 LangChain QA하기 지난번 포스팅에서는 OpenAI의 GPT-3.5로 QA 하는 보았다. [LangChain] GPT로 Summary와 QA 해 보기 LangChain은 LLM을 App에서 활용할 수 있게 해 주는 도구다. GPT-3나 BLOOM과 같은 초거대AI에게 질의해서 결과를 가져와 App을 구성할 수 있다. LangChain의 컴퍼넌트들은 기회될 때 보기로 하고, 여기서는 magoker.tistory.com GPT API는 요금이 발생하기 때문에 자유롭게 테스트하기 어렵다. Vertex AI의 PaLM은 아직(정보에 의하면 6월말까지는 확실히) 무료라고 한다. 마침 LangChain에서 VertexAI PaLM 지원을 해 주었기 때문에 LLM 애플리케이션에 도움이 될 듯하다. Google Cloud Platform.. 2023. 6. 25. [LangChain] GPT로 Summary와 QA 해 보기 LangChain은 LLM을 App에서 활용할 수 있게 해 주는 도구다. GPT-3나 BLOOM과 같은 초거대AI에게 질의해서 결과를 가져와 App을 구성할 수 있다. LangChain의 컴퍼넌트들은 기회될 때 보기로 하고, 여기서는 간단한 예제만 실행해 보고자 한다. 예제는 안톤 체홉의 '개를 데리고 다니는 여인'의 pdf 파일을 불러다가 요약하고 질의를 해 보는 것이다. 우선 필요한 패키지들을 설치하고.. !pip install OpenAI langchain PyPDF2 tiktoken faiss-cpu grobid-client 환경을 setup 한다. import os os.environ["OPENAI_API_KEY"] = "너의 open ai key" # 체홉의 pdf를 가져와서 !wget htt.. 2023. 4. 21. [ChatGPT, Bard] LLM에게 영화 평점 추천 시키기 데이터분석을 처음 접하게 될 때, 영화 평점에 기반한 추천을 공부하게 된다. Collaboration Filtering 기법을 많이 사용하는 데, LLM 대화 서비스에서 코딩 없이 추천하는 방법을 소개한 글이 있어서 실제로 해 보니 그럴 듯하다. Can ChatGPT recommend movies with machine learning Fun journey to test ChatGPT’s limits in the context of recommendation towardsdatascience.com 우선 ChatGPT에게 우리 말로 물어봤다. 오, 그럴싸한데 헤더가 있으면 좋겠다. 이제 Jack이 Matrix를 좋아할 지 물어보자. 알았다. 대답하도록 해 주마. CF 로직을 ChatGPT에게 알려주고, .. 2023. 4. 19. [LLaMa] M1 Mac에 Meta LLaMa 동작시키기 메타에서 LLaMa 나온지도 2주가 넘었다. Weight를 메일로 받아야 하는데, 누군가가 토렌트에 뿌리는 바람에 쉽게 테스트 해 볼 수 있게 되었다. 정부가 정책이 있으면 시민은 대책이 있다고, LLaMa를 로컬에서 돌리려는 시도 몇일만에 무려 라스베리파이에까지 올리는 현자도 나타났다. 당연히 Apple Silicon 맥에서 돌리려는 시도가 있었고, 4비트 양자화까지 이어져서 누구나 시도해 볼 만한 상황이 되었다. 그래서 나도.. 1) LLaMa Model과 Weight 받기 Local에서 돌리는 스크립트의 깃들은 대체로 모델과 가중치가 이미 있다는 상황에서 기술되어 있다(다같이 배포했다가 메타에서 무슨 해코지를 당하겠..). 토렌트에서 받아도 되지만, 간단히 아래에 올린 모델로 받자. GitHub -.. 2023. 3. 14. [GPT-3] GPT-3 FineTuning 하기 잘 알려져 있다시피 GPT-3는 모델을 공개하지 않아서, Transfer Learnin에 의한 Fine Tuning이 어렵다. 하지만, P-Tuning 등으로 불리는 Prompt Encoder에서의 튜닝 기법으로 어느 정도 파인튜닝 모델을 만들어 낼 수 있다. 오죽하면 gpt-3의 논문제목은 "Language Models are Few-Shot Learners"이겠는가! 챗봇 딥러닝 - 초거대모델의 파인튜닝 방법 - P-tuning과 LoRA BERT 이후로 딥러닝 자연어처리는 사전훈련 모델(pre-trained model)이 기본이 되었습니다. 보통 위키피디아 같은 데이터로 사전훈련을 하면 언어의 기본적인 특징을 이해하게 됩니다. 그다음 개별 태 aidev.co.kr 몇일 전 Toward Data Sc.. 2023. 2. 19. 이전 1 2 3 다음
