AI 빅데이터/Google Cloud Platform22 [GCP] AI Platform으로 Hyper Parameter Tuning 하기 AI 학습을 하다보면 Learning Rate와 같이 하이퍼 파라미터 값을 설정하는 것에 따라 성능의 차이가 발생한다. 전통적 방법으로는 여러 파라미터를 대입해가며 점차 가장 효율적인 값을 찾아가게 되는데 아무래도 시간이 많이 소요되고 결과에 대한 확신도 부족하게 된다. 그래서, 생긴 기법이 HPO(Hyper Parameter Optimization)인데 GCP에서는 AI Platform 상에 컨테이너를 올려 최적의 파라미터를 찾게 된다. 1) 모델 내 Hyper Parameter 설정 모듈 작성 2) 모델의 Dockerize 3) Docker Image Build 및 Upload 4) AI플랫폼에서 등록된 모델의 위치와 Hyper Parameter 범위를 설정하여 실행하는 순서로 진행하면 된다. 1) .. 2020. 3. 28. [GCP] TF 2.0 모델 Cloud Functions로 서빙하기 만들어 놓은 모델을 Serving하는 방법은 여러 가지가 있고, 간단하게는 아래와 같이 Flask를 이용하는 방법이 있다. [GCP] Flask로 TF 2.0 MNIST 모델 서빙하기 우선 TensorFlow 2.0을 설치하자. 머신에 직접 설치하거나 도커를 다운받아 사용, 혹은 구글 colab을 활용( https://www.tensorflow.org/install)하면 되는데, TensorFlow에서 권장하는대로 머신에 VirtualEnv를.. magoker.tistory.com 이러한 방법의 단점으로는 특정 서버에 Package를 깔아 사용해야 한다는 귀찮음인데, GCP에서는 Cloud Functions를 통해 Serverless로 테스트할 수 있는 방법을 제공한다. 게다가 이 방법은 가격까지 이득을.. 2020. 3. 26. [GCP] BigQuery로 외부에서 조직의 결제 정보 받아오기 GCP를 조직의 구성원들이 각기 다른 조직에서 다른 계정으로 사용하다보면, 관리가 제대로 되지 않을 수 있다. 아래 포스팅처럼 권한을 제어하는 것이 한가지 방법이고, 또 하나는 주기적으로 과금을 모니터링 해야 할 수도 있다. [GCP] Cloud IAM과 Cloud ID로 사용자 계정 권한 주기 AWS도 마찬가지지만 GCP도 Cloud IAM(Identity and Authentication Management)라는 조직관리도구를 갖고 있다. 이를 사용하면 조직원의 계정이 사용할 수 있는 리소스나 권한을 제한할 수 있고, 과금도 한 계정에.. ml-cloud.tistory.com 위 포스팅에서처럼 결제를 연결하게 되면 아래와 같이 하나로 묶여 관리할 수 있다. 그런데, 누구나 Google Console에.. 2020. 3. 4. [GCP] Cloud IAM과 Cloud ID로 사용자 계정 권한 주기 AWS도 마찬가지지만 GCP도 Cloud IAM(Identity and Authentication Management)라는 조직관리도구를 갖고 있다. 이를 사용하면 조직원의 계정이 사용할 수 있는 리소스나 권한을 제한할 수 있고, 과금도 한 계정에서 통합하여 관리할 수 있다. 누가 많이 혹은 사적으로 유용하는 지도 감시할 수 있고.. 한가지 선행조건은 관리 계정은 GSuite을 쓰거나 Cloud ID를 신청해서 사용해야 하는데, 많은 기업들이 이미 자체의 인트라넷과 조직에 투자를 해 두었기 때문에 GSuite으로 넘어간 국내 기업은 많지 않은 편이다. (MS Office365가 여전히 경쟁력이 있기도 하고) 그래서, Cloud ID를 사용하게 되는데 프리미엄 버전은 계정당 해마다 $6을 지불해야 한다. .. 2020. 3. 4. [GCP] 청구된 비용 환불 요청하기 GCP 학습 목적으로 Free-Tier를 신청해서 쓰곤하는데, 최근 GCP 한국 리젼 설치와 함께 계정 이동 요청을 받았다. 그 과정을 거치다보니 내계정으로 100불 가까이 청구된 것을 보고 부랴부랴 프로젝트와 결제계정을 닫았다. 하지만, 미납된 비용은 청구되었고, 그저 학습 목적으로 사용한 것이 아주 큰 돈은 아니지만 억울함이 이만저만이 아니었다. E-Mail을 통한 요청을 했는데, 확인 메일이 오지 않아 걱정을 하던차 채팅에 도전했다. 복잡하게 할 것 없이 GCP로 들어가 지원->채팅 지원을 선택하고 Billing ID와 어떤 문제인지 영어로 적으면(한글지원은 9시-5시 사이만 지원) 바로 채팅이 시작된다. 유료 계정으로 전환(12개월이 지나거나 Free Limit을 다 사용한 경우 물어봄)한다고 명.. 2020. 3. 4. [GCP] Argo로 Workflow 만들기 사실 Production 레벨로 가지 않으면, ML개발에 Workflow를 사용할 일은 많지 않다. 대부분 샘플데이터로 전처리 한후 그 데이터를 공유해서 각자 모델을 개발하게 되는데, Production Level에서는 계속 새로운 데이터가 발생하기 때문에 데이터 수집부터 배포까지 하나의 파이프라인으로 관리해야할 필요성이 생긴다. Argo는 컨테이너 기반으르 파이프라인을 구성해주는 도구로 Kubeflow에서도 Workflow Orchestration은 Argo를 사용한다. Kubeflow Pipeline Overview Argo 설치 curl -sSL -o /usr/local/bin/argo https://github.com/argoproj/argo/releases/download/v2.2.1/argo-.. 2020. 3. 4. 이전 1 2 3 4 다음
