본문 바로가기

분류 전체보기328

[GCP] GKE에 Jupyter Notebook 운영하고 GitHub로 사용자 관리 Jupyter Notebook은 로컬 환경이나 클라우드 환경에서 VM에 설치하여 많이 이용된다. 기업차원에서 이용한다면 매 사용자마다 노트북을 설치하는 것보다 쿠버네티스 환경에 Jupyter Notebook을 설치하고 여러 사용자가 이를 이용할 수 있다면 효율성을 높일 수 있다. 즉, 쿠버네티스 환경에서 Multi Tenant로 Jupyter Notebook을 이용하게 되는 것이다. Jupyter Notebook은 Multi Tenant를 위해 Jupyter Hub를 개발하였으며, 쿠버네티스 환경에서의 운영을 위해 아래와 같은 가이드도 제공하고 있다. Setup Kubernetes — Zero to JupyterHub with Kubernetes 0.0.1-set.by.chartpress document.. 2020. 7. 29.
[OSS] KNative로 컨테이너 Serverless로 서빙하기 쿠버네티스가 클라우드 관리의 표준이 되어가고 있지만, 쿠버네티스 관리 자체가 부담되기도 하며, 자동으로 컨테이너 로드 관리를 원할 때가 있다. 이를 테면, 소수의 노드를 여러 명이 번갈아 자신의 컨테이너를 사용해야 하는 환경이라면 매번 컨테이너 이미지를 올리거나 scale up/down하는 것이 번거로울 수 있다. 여러 AI 모델들을 올려 놓고 판매하는 장터가 생긴다면, 관리 없이 요청에 의해 각 컨테이너가 로드될 수 있다면 편리할 것이다. 적합한 예시였는지 확신하긴 어렵지만, Serverless는 이와 같이 서버 관리에 신경 쓰지 않고 컨테이너를 이용하기 위해(?, 자신 없음) 만들어졌다. GCP의 Cloud Run이나 AWS Fargate가 이러한 기능을 Managed Service로 구현해 놓은 것.. 2020. 7. 14.
[자연어처리] 간단하게 텍스트 감성 분류하기 CNN으로 SA(Sentimental Analysis)하는 건 김윤박사의 논문으로 유명해졌는데, 비전공자로써 알고리즘 이해하는 건 쉽지 않았다. 간단히 DNN 네트워크를 구성하고 감성분류하는 내용을 Keras로 따라해 보기로 했다. 유명한 아래 책의 4장에 있는 내용을 살짝만 바꿨다. 텐서플로와 머신러닝으로 시작하는 자연어 처리 본 서는 기존 자연어 처리 서적과는 다른 세 가지 특징을 가지고 있다. 첫째, 자연어 처리에 활용되는 개념적인 설명에서 끝나는 것이 아니라 모델 구현에 집중한다. 그뿐만 아니라 상용 서비스� www.yes24.com EDA하는 과정도 자세히 나와 있지만, 후려치는 AI알고리즘이니 데이터 읽기 -> 간단한 전처리 -> 토큰화 -> 임베딩으로 포함한 모델링 -> 테스트 부분으로만 볼.. 2020. 7. 13.
[OSS] Katib로 Hyper Parameter Tuning 하기 Katib는 아랍어로 '비서'라는 뜻이다. 머신러닝을 수행하는 일의 상당부분이 최적화 파라미터를 찾는 부분인데, 그것을 돈으로 자동으로 찾아 주는 것이라 보면 된다. AutoML은 Auto Feature Engineering, Neural Architecture Search, Hyper Parameter Optimization을 지원하는데 Katib는 후자 2개를 지원한다. 아직 NAS는 베타 상태이고, HPO만 테스트 해 보았는데 절차에 비해 사용은 그리 간단하지 않은 느낌이다. 준비할 것은 Kubeflow 설치와 YAML 파일 뿐이다. 설치는 이전 포스트에서 했고, YAML파일은 공식 사이트에서 MNIST 예제를 가져와서 적용해 보자. algorithmName: 부분의 random은 random se.. 2020. 6. 30.
[OSS] Mac에서 Kubeflow 설치하고 테스트하기 Kubeflow의 공식정의는 아래와 같다. "The Kubeflow project is dedicated to making deployments of machine learning (ML) workflows on Kubernetes simple, portable and scalable. Our goal is not to recreate other services, but to provide a straightforward way to deploy best-of-breed open-source systems for ML to diverse infrastructures. Anywhere you are running Kubernetes, you should be able to run Kubeflow" Kube.. 2020. 6. 29.
[카페] 디톡스 팡팡 식물 카페 가토(GATO) 요즘 대형 베이커리 카페가 인기입니다. 대형카페의 특징이라면 아무래도 많은 식물들로 플랜테리어 하는 것이 아닐까 싶습니다. 지난 번 소개한 김포 몬떼델피노도 그런 곳 중 하나였고요. [베이커리카페] 식물원 같은 김포 몬떼델피노 이제 마곡 밖에서도 인상적이었던 곳을 하나 둘 기록해 두려고 합니다. :D 대체로 유명한 곳들이 아닐까 싶어 많은 포스팅이 이미 있을 거라고 생각들긴 하네요 ㅎ 그 처음으로 김포에 올해 생긴 magoker.tistory.com 마곡엔 아직 대형 베이커리 카페는 없는데, 식물 카페는 있습니다. GATO가 그런 곳인데, 마곡의 카페 거리에 위치하고 있습니다. 스윽 보기만해도 정말 식물이 많죠? 하지만 천장 부분의 식물들은 인공 식물입니다. ^^; 윗부분을 빼고라도 많은 식물들이 있습니.. 2020. 6. 26.