Kubernetes4 [OSS] Katib로 Hyper Parameter Tuning 하기 Katib는 아랍어로 '비서'라는 뜻이다. 머신러닝을 수행하는 일의 상당부분이 최적화 파라미터를 찾는 부분인데, 그것을 돈으로 자동으로 찾아 주는 것이라 보면 된다. AutoML은 Auto Feature Engineering, Neural Architecture Search, Hyper Parameter Optimization을 지원하는데 Katib는 후자 2개를 지원한다. 아직 NAS는 베타 상태이고, HPO만 테스트 해 보았는데 절차에 비해 사용은 그리 간단하지 않은 느낌이다. 준비할 것은 Kubeflow 설치와 YAML 파일 뿐이다. 설치는 이전 포스트에서 했고, YAML파일은 공식 사이트에서 MNIST 예제를 가져와서 적용해 보자. algorithmName: 부분의 random은 random se.. 2020. 6. 30. [OSS] Mac에서 Kubeflow 설치하고 테스트하기 Kubeflow의 공식정의는 아래와 같다. "The Kubeflow project is dedicated to making deployments of machine learning (ML) workflows on Kubernetes simple, portable and scalable. Our goal is not to recreate other services, but to provide a straightforward way to deploy best-of-breed open-source systems for ML to diverse infrastructures. Anywhere you are running Kubernetes, you should be able to run Kubeflow" Kube.. 2020. 6. 29. [GCP] GKE로 쿠버네티스 운영하기 완전 기본 쿠버네티스가 컨테이너 운영의 기본이 된다는 건 이미 주지의 사실이지만 사실 개념대로 따라가기는 만만치 않았다. 개념적으로 이해 되도 활용가능한 수준으로 익힐 수 있을까 하다가 아주 기본 적인 것을 한번 만들어 보기로 했다. 사실, 만든 것은 아니고 아래 조병욱님의 예제를 그대로 따라한 수준이다. 컨텐츠에 관한 모든 권리는 조병욱님에게 있음을 알린다. 쿠버네티스 #6 - 실제 서비스 배포해보기 쿠버네티스 #6 Replication Controller를 이용하여 서비스 배포하기 조대협 (http://bcho.tistory.com) 1. 도커 파일 만들기 node.js로 간단한 웹서버를 만들어서 도커로 패키징 해보자. 실습을 진행하기 위해서.. bcho.tistory.com 1) node.js 기반 webap.. 2020. 6. 9. [GCP] 터미널에서 kubectl 사용하기 GKE에서 Kubernetes 클러스터를 생성했다면, Cloud Shell에서 바로 Kubectl을 이용해 Kubernetes 환경에 접근할 수 있다. 하지만, Cloud Shell 환경은 설치된 라이브러리나 소프트웨어가 향후에 사라질 수 있기 때문에, 인스턴스를 만들어 SSH연결이나 터미널 클라이언트를 사용하곤 한다. 터미널 클라이언트의 사용은 아래의 내용을 참고하면 된다. 터미널에서 Putty 사용하기 kubectl을 사용하기 위해서는 google cloud sdk를 설치해야하는데, 설치 방법도 위의 내용을 참고하면 된다. kubectl의 설치는 아래와 같이 한다. sudo apt-get update && sudo apt-get install -y apt-transport-https curl -s h.. 2020. 3. 4. 이전 1 다음
