AI 빅데이터73 [OSS] Katib로 Hyper Parameter Tuning 하기 Katib는 아랍어로 '비서'라는 뜻이다. 머신러닝을 수행하는 일의 상당부분이 최적화 파라미터를 찾는 부분인데, 그것을 돈으로 자동으로 찾아 주는 것이라 보면 된다. AutoML은 Auto Feature Engineering, Neural Architecture Search, Hyper Parameter Optimization을 지원하는데 Katib는 후자 2개를 지원한다. 아직 NAS는 베타 상태이고, HPO만 테스트 해 보았는데 절차에 비해 사용은 그리 간단하지 않은 느낌이다. 준비할 것은 Kubeflow 설치와 YAML 파일 뿐이다. 설치는 이전 포스트에서 했고, YAML파일은 공식 사이트에서 MNIST 예제를 가져와서 적용해 보자. algorithmName: 부분의 random은 random se.. 2020. 6. 30. [OSS] Mac에서 Kubeflow 설치하고 테스트하기 Kubeflow의 공식정의는 아래와 같다. "The Kubeflow project is dedicated to making deployments of machine learning (ML) workflows on Kubernetes simple, portable and scalable. Our goal is not to recreate other services, but to provide a straightforward way to deploy best-of-breed open-source systems for ML to diverse infrastructures. Anywhere you are running Kubernetes, you should be able to run Kubeflow" Kube.. 2020. 6. 29. [OSS] 맥에서 쿠버네티스 테스트하기 지난번에 GCP에서 쿠버네티스 활용을 테스트 했었다. [GCP] GKE로 쿠버네티스 운영하기 완전 기본 쿠버네티스가 컨테이너 운영의 기본이 된다는 건 이미 주지의 사실이지만 사실 개념대로 따라가기는 만만치 않았다. 개념적으로 이해 되도 활용가능한 수준으로 익힐 수 있을까 하다가 아주 기 magoker.tistory.com 유사하지만 좀 더 이해를 하고 싶어서 맥OS에서 쿠버네티스 서비스를 테스트해보고 싶었다. 도커만드는 과정은 위의 링크를 그대로 따라하면 된다. 다만 GCP를 쓰지 않을 테니 docker hub에 이미지를 push 하도록 했다. $ docker build -t xxxxxx/nodejs . $ docker push xxxxxx/nodejs 1) 맥용 쿠버네티스 설정 맥에서 Kubernete.. 2020. 6. 18. [GCP] Cloud Run과 Cloud Run on Anthos 19년 4월 Next 행사에서 구글은 Serverless 서비스인 Cloud Run을 소개했다. 말 그대로 서버 구성은 전혀 신경 쓰지 말고 서비스나 잘 만들어라~하는 서비스로 AWS Fargate와 유사하다. 그저 도커 Container를 만들어 GCR(Google Container Registry)에 등록하고 Cloud Run 메뉴에서 GCR의 위치만 알려주면 끝이다. 지난 포스팅에서 만든 hello, world를 출력하는 컨테이너를 만드는 것과 유사한데, 이번에는 Jupyter Notebook을 설치해서 실행하도록 하는 컨테이너를 만들었다. (Dockerfile은 생략) [GCP] GKE로 쿠버네티스 운영하기 완전 기본 쿠버네티스가 컨테이너 운영의 기본이 된다는 건 이미 주지의 사실이지만 사실 개념.. 2020. 6. 15. [영상인식] GAN과 AutoEncoder GAN(Genrative Adverserial Network)과 AE(Auto Encoder) 둘다 Generative 계열의 모델이다. Generative(생성)하다는 말 그대로 임의로 학습한 결과값과 원본 데이터를 판별자(Discriminator)에 넣어 두 가지가 얼추 유사할 때까지 Generator를 돌려 판별하기 힘든 수준의 학습 모델을 만든다는 것이다. 말로 하면 너무 어려운데 쉽게 풀어보자면 아래 그림과 같다. 생성 모델은 첫번째 그림처럼 엉성한 그림을 그리는 모델이다. 판별자 모델에 생성자가 그린 그림을 각각 훈련 시켜 두 모델이 얼마나 유사한지를 판단한다. 어처구니 없으니 가중치를 업데이트 해서 두번째 그림을 만들어본다. 사람 얼굴(?)이 나타났지만 여전히 어이 없어서 계속 가중치를 조절.. 2020. 6. 14. [OSS] Jupyter Lab을 Git과 연동하기 Jupyter Notebook은 ML개발에 거의 표준이 되어 있는 듯하다. Jupyter 자체만으로도 거의 완벽하지만, 많은 Extension들은 이용을 더욱 편리하게 해 준다. Git의 내용을 터미널이 아닌 Notebook에서 바로 Clone해서 Commit까지 해줄 수 있는 Jupyter Lab Git Extension도 그런 도구 중에 하나다. 아래에서 자세한 설명을 볼 수 있다. jupyterlab/jupyterlab-git A Git extension for JupyterLab. Contribute to jupyterlab/jupyterlab-git development by creating an account on GitHub. github.com Git Extension을 설치하기 위해서는 .. 2020. 6. 11. 이전 1 ··· 6 7 8 9 10 11 12 13 다음
