AI 빅데이터73 [GCP] AI Platform으로 Hyper Parameter Tuning 하기 AI 학습을 하다보면 Learning Rate와 같이 하이퍼 파라미터 값을 설정하는 것에 따라 성능의 차이가 발생한다. 전통적 방법으로는 여러 파라미터를 대입해가며 점차 가장 효율적인 값을 찾아가게 되는데 아무래도 시간이 많이 소요되고 결과에 대한 확신도 부족하게 된다. 그래서, 생긴 기법이 HPO(Hyper Parameter Optimization)인데 GCP에서는 AI Platform 상에 컨테이너를 올려 최적의 파라미터를 찾게 된다. 1) 모델 내 Hyper Parameter 설정 모듈 작성 2) 모델의 Dockerize 3) Docker Image Build 및 Upload 4) AI플랫폼에서 등록된 모델의 위치와 Hyper Parameter 범위를 설정하여 실행하는 순서로 진행하면 된다. 1) .. 2020. 3. 28. [GCP] TF 2.0 모델 Cloud Functions로 서빙하기 만들어 놓은 모델을 Serving하는 방법은 여러 가지가 있고, 간단하게는 아래와 같이 Flask를 이용하는 방법이 있다. [GCP] Flask로 TF 2.0 MNIST 모델 서빙하기 우선 TensorFlow 2.0을 설치하자. 머신에 직접 설치하거나 도커를 다운받아 사용, 혹은 구글 colab을 활용( https://www.tensorflow.org/install)하면 되는데, TensorFlow에서 권장하는대로 머신에 VirtualEnv를.. magoker.tistory.com 이러한 방법의 단점으로는 특정 서버에 Package를 깔아 사용해야 한다는 귀찮음인데, GCP에서는 Cloud Functions를 통해 Serverless로 테스트할 수 있는 방법을 제공한다. 게다가 이 방법은 가격까지 이득을.. 2020. 3. 26. [GCP] BigQuery로 외부에서 조직의 결제 정보 받아오기 GCP를 조직의 구성원들이 각기 다른 조직에서 다른 계정으로 사용하다보면, 관리가 제대로 되지 않을 수 있다. 아래 포스팅처럼 권한을 제어하는 것이 한가지 방법이고, 또 하나는 주기적으로 과금을 모니터링 해야 할 수도 있다. [GCP] Cloud IAM과 Cloud ID로 사용자 계정 권한 주기 AWS도 마찬가지지만 GCP도 Cloud IAM(Identity and Authentication Management)라는 조직관리도구를 갖고 있다. 이를 사용하면 조직원의 계정이 사용할 수 있는 리소스나 권한을 제한할 수 있고, 과금도 한 계정에.. ml-cloud.tistory.com 위 포스팅에서처럼 결제를 연결하게 되면 아래와 같이 하나로 묶여 관리할 수 있다. 그런데, 누구나 Google Console에.. 2020. 3. 4. [GCP] Cloud IAM과 Cloud ID로 사용자 계정 권한 주기 AWS도 마찬가지지만 GCP도 Cloud IAM(Identity and Authentication Management)라는 조직관리도구를 갖고 있다. 이를 사용하면 조직원의 계정이 사용할 수 있는 리소스나 권한을 제한할 수 있고, 과금도 한 계정에서 통합하여 관리할 수 있다. 누가 많이 혹은 사적으로 유용하는 지도 감시할 수 있고.. 한가지 선행조건은 관리 계정은 GSuite을 쓰거나 Cloud ID를 신청해서 사용해야 하는데, 많은 기업들이 이미 자체의 인트라넷과 조직에 투자를 해 두었기 때문에 GSuite으로 넘어간 국내 기업은 많지 않은 편이다. (MS Office365가 여전히 경쟁력이 있기도 하고) 그래서, Cloud ID를 사용하게 되는데 프리미엄 버전은 계정당 해마다 $6을 지불해야 한다. .. 2020. 3. 4. [Azure] ML Studio 사용하기 2020 마이크로소프트 이그나이트 행사를 다녀와서, ML 디자이너라는 제품에 관심이 생겼다. ML 디자이너를 사용하기 위해서는 우선 ML Studio를 생성해야 한다. 마이크로소프트의 ML 프로덕트가 중구난방이었는데 최근에 https://ml.azure.com/ 으로 모두 통합하여 정리했다고 한다. ml.azure.com 으로 접근하면 당연히 azure 구독이 필요한데 azure는 1년 동안 무료로 사용 가능한 제품과 200불까지 유료 서비스를 사용할 수 있는 크레딧을 제공하는 체험 계정을 제공하고 있다. 무료 계정을 만들고 나면 ml.azure.com 에서 무료체험을 선택할 수 있다. Azure ML을 사용하기 위한 작업 영역을 만들면 시작 가능하다. ML을 사용하기 위한 일종의 컨테이너 환경을 구성한.. 2020. 3. 4. [OSS] AutoKeras로 자동학습(AutoML) 하기 최근 회사 업무를 하면서 AutoML을 조사할 일이 있었는데, AutoKeras가 작년말 정식 Release 되었다는 것을 알았다. AutoKeras는 Texas A&M에서 만든 것으로 많은 AutoML솔루션들이 Table 데이터 처리를 위한 최적의 머신러닝 모델을 찾아주는 것에 반해, Google AutoML과 마찬가지로 비정형 데이터까지 모델링 해 준다. AutoKeras는 무엇보다 설치가 간단하다. 기존에 사용하던 머신에 AutoKeras 패키지만 설치해 주면 잘 동작한다(설치조건: Tensorflow 2.1, Python 3.6). GPU 설정은 공통된 부분이고, 요즘은 AWS SageMaker나 GCP AI Platform에서 설정되어 나오니 크게 신경쓰지 않아도 된다. pip install a.. 2020. 3. 4. 이전 1 ··· 8 9 10 11 12 13 다음
