AI 빅데이터73 [자연어분석] BERT, Transformer, Self Attention 후려치기 솔직히 개념이 좀 와닿지 않아(여전히 그렇다), 계속 피해만 다녔는데 GPT3, ChatGPT의 붐으로 Foundation Model의 근간이 되는 Transformer를 개략적이라도 이해하지 않으면 안될 상황인 듯 해서 아주 브리프하게 후려쳐서 정리해보았다. 대략적인 메카니즘은 이해가 되지만, BERT에서 왜 굳이 Transformer Encoder Layer 위에 FFNN을 쌓고, 그걸 6층으로 다시 만들었는 지 등등의 철학은 여전히 오리무중이다. 하지만, 이제 Transformer 아는 척을 안 하면 밥벌어 먹기 힘든 시대가 결국 온 것 같아서 중심 개념만 정리해 본다. Transformer를 위해서는 Attention만 보면 되겠지만(오죽하면, 논문 제목도 'Attention is all you .. 2023. 1. 28. [Google] Jeff Dean - 2022년 Google AI의 성과 요약 구글 리서치의 수석 과학자 Jeff Dean의 Google AI의 현재 상황 정리. 제대로 이해하려면 꼼꼼히 봐야겠지만, 언어, 이미지, 생성모델 관련해서 간단하게만 우선 메모. Language 단순히 정답을 내는 것이 아니라, 정답에 이르기까지의 추론적 사고를 할 수 있는 방법을 제시 2022년 4월에 Pathway에 기반한 5400억개의 파라미터를 지닌 PaLM(Pathway Language Model)을 출시 Chain of Thought Prompting: 모델이 논리적 사고를 따르고 보다 구조화되고 조직적이며 정확한 응답을 생성하도록 함 언어마다 롱테일 단어들이 있어서 모두 학습시키기 어려웠는데, 대규모 다국어 훈련 모델을 통해 새로운 언어를 학습 Prompt Design 기반으로 Tuning할.. 2023. 1. 24. [데이터보안] LDP ( Local Differential Privacy) 데이터분석과 밀접하다면 밀접하지만, 딱히 데이터분석을 위한 것만은 아닌 기술 LDP(Local Differential Privacy, 지역 차등 프라이버시?). 이름만으로는 어떤 개념인지 아리송하다. 좀 이상하게 들릴 수 있지만, 아래 그림에서 사용자 인식을 위한 학습에서는 마지막 얼굴은 좀 어렵지만, 세번째 정도 노이즈가 섞인 데이터로 학습을 해도 얼굴 인식은 가능하다는 것이다. 그래도, 첫번째 이미지로 학습하는 것이 좋지 않나?라고 생각할 수 있는데, 여기에 데이터보안이라는 이슈가 걸린다. 기존의 모델에 새로운 데이터를 넣어 학습했는데 gradient가 많이 달라졌다면, 학습된 모델만 갖고도 누구의 데이터가 사용되었는지 아는 문제가 발생할 수도 있다는 것이다. 엄청 허황되게 들리지만, 이미 그런 연구.. 2023. 1. 20. [초거대 AI] Anthropic AI Claude Anthropic AI사가 ChatGPT와 유사한 대화 생성 모델 Claude를 공개했다. 창업자 Dario Amodei가 4년 이상 Open AI에서 근무하고, 구글에서부터 주로 AI윤리 관련된 업무를 해왔기 때문에, 방식은 ChatGPT와 유사하면서도 좀 더 윤리적인 답변을 내놓는다고 한다. ChatGPT vs Claude ChatGPT 구분 Claude Open AI - Sam Altman 개발사 - 대표 Anthropic AI - Dario Amodei (ex-Open AI) $1B (Microsoft) 투자 $70M (FTX, Alameta Research) 22. 11. 30 Release 22. 12. 17 (Closed Beta) GPT + 강화학습 학습 방법 GPT + 강화학습 175B .. 2023. 1. 12. Coatue의 AI2022: The Explosion 기술 투자 자문인 Coatue사가 작성한 Generative AI 관련 분석 기사를 요약 2022년은 그야말로 AI Moment. iPhone Moment에 비견되는 것으로 AI는 드디어 메인스트림이 되었다고 평가. 이에 대한 근거로 Generative AI에 의한 캄브리아기 대폭발 수준의 AI Application의 증가를 말함. AI Application 사례 Dream Studio : Stable Diffusion Model에 의한 이미지 생성 Stability.ai - Heavy Metal Rockers on Dinosaurs www.loom.com 이미지의 일부분을 표시하고, 그 안에 텍스트로 지정한 이미지를 삽입 Jasper로 텍스트 생성 텍스트의 일부만 작성하면 뒷 이야기를 작성 What’s.. 2023. 1. 9. [Git] Branch 만들어 commit하고 Push하기 Master나 Main Develop Branch에서 직접 작업하면 문제 생길 수가 있다. Branch에서 clone해서 다른 branch를 만들어 update하는 절차는 아래와 같다. 1) Branch 가져오기 > git clone -b develop --single-branch http://xxxx/yyyy.git 2) 새로운 Branch 생성 # kkkk branch 생성 > git checkout -b "kkkk" # 현재 git branch 확인 > git status On branch kkkk 3) Code 수정 후 Commit 하기 # 변경된 내용 추가 > git add . # account 확인 : GitLab의 내 id > git config user.name "my_id" # commi.. 2022. 7. 21. 이전 1 2 3 4 5 6 7 ··· 13 다음
