분류 전체보기321 [Basic] Step-by-Step 분류 Python 예제 데이터 분석한 지 너무 오래 되었는데, 조만간 다시 하게 될 것 같아 공부 중. 기초도 다 까먹어서 새롭다.. 하아.. Kaggle의 은행 이동 예측하는 예제로 다시 감을 잡기 시작한다. Binary Classification with a Bank Churn Dataset | Kaggle www.kaggle.com 전처리를 한다고 결과가 달라지는 예제가 아니긴 하지만, Step-by-Step으로 해 보기로 한다. import pandas as pd train = pd.read_csv("train.csv") train.hist(bins=25, figsize=(16, 10)) 문자형 변수(Gender, Geography)를 제외한 숫자형 변수들의 특징을 보면 CreditScore, Age, Balance, .. 2024. 2. 2. LLM을 QLoRA로 파인 튜닝 하기 허깅페이스에서는 각종 AI모델을 쉽게 사용하도록 라이브러리를 제공하고 있는데, 개인용 PC(?) 수준에서도 LLM 모델을 테스트할 수 있도록 QLoRA로 LLM을 PEFT(Parameter Efficient Fine Tuning) 할 수 있는 방법을 제공하고 있다. QLoRA는 아래의 이미지로 설명된다. LoRA가 Base 모델의 네트워크는 그대로 둔 채, 추가 데이터 만을 학습하여 본래의 Network에 concatenation하는 것이라면, QLoRA는 여기에 더해 16bit Network Node를 4bit로 양자화하고, 부족한 메모리로 큰 모델을 Handling할 수 있도록 Paging(바이너리를 나누어 2차 저장 장치에 Swapping하는 것)을 추가한 것이다. 16비트를 4비트로 바꾸었으니 정.. 2023. 11. 24. [대항해시대] 6장 - 노예무역: 근대 세계의 비극 노예무역에 관해서는 두 가지 견해가 있다. 널리 알려진대로 아프리카의 희생을 강조하는 것과, 아프리카의 '자율성'을 강조하는 소위 '수정주의' 견해다. 오해를 피하기 위해 부연하면, 두번째 견해는 유럽의 '죄악'을 면피하기 위한 것이 아니라 피해만 강조하다 아프리카인들이 무능력한 존재로 그려지는 것을 막기 위한 오히려 진보적인 것이다. 아프리카 인들 역시 모든 면에서 역사의 중요한 주체였지만, 이 주장의 위험성 또한 주지해야한다. 아프리카 내부의 노예제와 노예교역 토지 소유가 우선인 다른 문명과 달리 아프리카는 사람의 소유가 우선이었다. 즉, 어떤 땅이든 누군가가 농사를 짓고 잇지 않으면 다른 사람들이 그 땅을 경작하는 것이 허용된다. 지배자는 '사람'을 지배함으로써 생산물을 차지하였고, 아프리카 사회에.. 2023. 11. 7. 2023년 4분기의 영화들 블루 자이언트 Daum영화에서 자세한 내용을 확인하세요! movie.daum.net 가장 빛나는 별 블루 자이언트가 되어가는 색소폰 소년 미야모토 다이의 성장기. 여럿에서 극찬을 받지만, 만화책 이상의 감동을 뽑아내었다고 보긴 어려웠다. 이미 만화책이 탁월했다는 것이지, 영화가 부족했다는 뜻은 절대 아니다. ★★★★ 더 킬러 | 넷플릭스 공식 사이트 결정적 순간에 아슬아슬하게 타깃을 놓친 암살자. 사적인 감정은 없다면서도, 이 응징을 위해 국제적인 추격전에 뛰어든다. 그 여정에서 의뢰인들, 그리고 그 자신과의 싸움이 시작된다. www.netflix.com '정확히 예측하고 임기응변하지 않고 단계마다 득이 되는지만 자문'하는 연출이라는 이동진평론가에 공감 ★★★☆ 2023. 11. 5. [AI가속] TensorRT-LLM 지난 주(10월 3주차)에 NVidia에서 TensorRT LLM이라는 LLM을 위한 GPU 가속 라이브러리를 Release 하였다. 기존 A100 대비 약 5배, H100 대비해서는 약 2배 약간 못 미치게 성능 향상이 있다고 발표했다. 소프트웨어만으로 성능 향상을 볼 수 있는 것이라 안 쓸 이유가 크지 않은데, 주요하게 포함된 기술은 아래와 같다. Tensor Parallelism 쉽게 얘기해서 모델의 Tensor들을 나누어 GPU마다 할당하고 연산한 뒤에 다시 합하고 Synchronization하는 것이다. GPU 메모리를 상대적으로 덜 쓸 수 있다는 장점이 있지만, Sync 과정이 복잡할 수 있다. Pipeline Parallelism GPU마다 배치를 나누어서 학습하고, 이를 다시 Sync한다... 2023. 10. 25. [Inference] WebGPU WebGPU가 크롬미움 113 버전부터 지원된다고 한다. 이게 뭔가 싶지만, 기존의 WebGL을 생각하면 쉬워진다. 구조를 이해할 필요는 없고, 단순하게 말하면 웹브라우저에서 GPU를 바로 액세스해서 브라우저에 더 빠르고 미려한 그래픽을 제공하겠다는 것이다. 그럼 고사양 게임 같은 것들도 브라우저 상에서 실행 가능하게 된다. 하지만, 큰 문제가 하나 있는데, WebGL이 30년도 더 된 OpenGL 라이브러리에 기초하고 있다는 것이다. 애플의 Metal, 마이크로소프트의 DirectX 12, AMD의 Vulkan과 같은 그래픽 라이브러리들은 OpenGL을 지원하지 않는다. WebGPU는 이와 같은 문제를 해결하는 새로운 표준으로 클라이언트 PC의 GPU 자원을 제대로 사용할 수 있도록 해 준다. GPU .. 2023. 10. 25. 이전 1 2 3 4 5 6 ··· 54 다음
