AI 빅데이터73 [Inference] WebGPU WebGPU가 크롬미움 113 버전부터 지원된다고 한다. 이게 뭔가 싶지만, 기존의 WebGL을 생각하면 쉬워진다. 구조를 이해할 필요는 없고, 단순하게 말하면 웹브라우저에서 GPU를 바로 액세스해서 브라우저에 더 빠르고 미려한 그래픽을 제공하겠다는 것이다. 그럼 고사양 게임 같은 것들도 브라우저 상에서 실행 가능하게 된다. 하지만, 큰 문제가 하나 있는데, WebGL이 30년도 더 된 OpenGL 라이브러리에 기초하고 있다는 것이다. 애플의 Metal, 마이크로소프트의 DirectX 12, AMD의 Vulkan과 같은 그래픽 라이브러리들은 OpenGL을 지원하지 않는다. WebGPU는 이와 같은 문제를 해결하는 새로운 표준으로 클라이언트 PC의 GPU 자원을 제대로 사용할 수 있도록 해 준다. GPU .. 2023. 10. 25. [LLM 개발] Colab에서 허깅페이스 오픈 모델 사용 Llama-2 이후로 오픈 모델이 쏟아져 나오는데, 개인들은 이 모델들을 마땅히 테스트해보기도 쉽지 않다. 구글 코랩은 오래전부터 NVidia T4를 기본 GPU로 제공하고 있고, 허깅페이스에서 오픈 소스 모델들을 활용할 수 있는 라이브러리들을 제공하고 있어서 간단한 테스트 정도는 해 볼 수 있다. 참고로, Colab의 런타임을 T4로 바꿔줘야 한다. 특히, Llama 모델을 C 언어로 인퍼런스하도록 한 llama.cpp와 GGML 덕분에 경량화하여 사용할 수 있다. ctransformer는 허깅페이스에서 제공하는 것은 아니지만 GGML을 활용하여 transformer 계열 모델들을 사용할 수 있게 해 준 것으로 경량화된 LLM을 손쉽게 사용할 수 있도록 해 준다. 현시점에서 지원하는 언어모델은 아래와 .. 2023. 10. 7. [GCP] Duet AI 설정 및 VSCode 연동 Google의 Duet AI는 Google Workspace 용과 Google Cloud Platform 용 두 가지가 있다. 데모는 주로 Workspace용이 많이 소개되는데, GCP의 이용성을 좋게 해주는 Duet AI는 현재까지 Preview여서 신청에 의해 현재까지는 무료로 사용할 수 있다. Duet AI | Google Cloud An always-on AI collaborator that provides help to users of all skill levels where they need it. cloud.google.com Wait-list 신청하면 약 1~3주에 승인되었다고 연락오는데, GCP내 Project에 Provision 절차가 있어서 승인 후 하루 뒤에 사용 가능하다. 사용 가.. 2023. 9. 27. [LangChain] VertexAI의 LLM으로 Web검색 연동하기 대체로 보유하고 있는 데이터베이스를 검색하여 Hallucination을 줄이는 예제가 많은데, LangChain은 Web 검색을 통해서도 대답을 할 수 있도록 구성되었다. 본 포스팅에서는 뉴욕타임즈에서 기사를 검색해 대답하는 형태의 간단한 예제를 구현해 본다. from langchain.retrievers.web_research import WebResearchRetriever from langchain.vectorstores import Chroma from langchain.embeddings import VertexAIEmbeddings from langchain.chat_models.vertexai import ChatVertexAI from langchain.utilities import Goo.. 2023. 8. 24. [PaLM-2] VertexAI와 Neo4j로 영화 추천하기 Toward Data Science에 재미있는 코드가 올라와서 조금 수정해서 따라했다. 그래프DB 도구인 Neo4j의 컴퍼넌트인 APOC(A Package of Component)이 OpenAI API와 GCP Vertex AI API를 지원하면서 해당 플랫폼이 지원하는 LLM을 사용할 수 있게 된 것이다. 일반 데이터 베이스와 연동하면 드러나지 않는 데이터의 관계성이 그래프DB에서는 명시적으로 드러나 있으니 연관된 정보를 좀 더 잘 대답해 줄 수 있지 않을까 하는 아이디어에서 시작했다고. Integrate LLM workflows with Knowledge Graph using Neo4j and APOC OpenAI and VertexAI endpoints are now available as APOC.. 2023. 8. 15. [LangChain] Vertex AI의 PaLM으로 LangChain QA하기 지난번 포스팅에서는 OpenAI의 GPT-3.5로 QA 하는 보았다. [LangChain] GPT로 Summary와 QA 해 보기 LangChain은 LLM을 App에서 활용할 수 있게 해 주는 도구다. GPT-3나 BLOOM과 같은 초거대AI에게 질의해서 결과를 가져와 App을 구성할 수 있다. LangChain의 컴퍼넌트들은 기회될 때 보기로 하고, 여기서는 magoker.tistory.com GPT API는 요금이 발생하기 때문에 자유롭게 테스트하기 어렵다. Vertex AI의 PaLM은 아직(정보에 의하면 6월말까지는 확실히) 무료라고 한다. 마침 LangChain에서 VertexAI PaLM 지원을 해 주었기 때문에 LLM 애플리케이션에 도움이 될 듯하다. Google Cloud Platform.. 2023. 6. 25. 이전 1 2 3 4 5 ··· 13 다음
