본문 바로가기

gcp16

[GCP] TFX를 Vertex AI에 활용하기 지난번에는 Kubeflow를 활용해 Vertex AI를 구성하는 것을 확인하였다. [GCP] Vertex AI 커스텀 모델 따라하기 21년 Google I/O에서 Machine Learning Platform인 Vertex AI를 출시했다. 기능상으로는 사실 AI Platform과 큰 차이를 모르겠다. 다만 약간 산만했던 AI Platform Pipeline이 좀 더 깔끔해졌고, API들이 고수준으.. magoker.tistory.com Pipeline만 구성해 주고 데이터 준비나 전처리, Serving 등을 직접한다면 위의 내용으로도 충분하겠지만, TFX의 Component들을 이용한다면 얻을 수 있는 이득들이 많이 있다. TFX 컴퍼넌트들의 구성은 아래와 같다. TensorFlow Data Valid.. 2021. 7. 12.
[GCP] Vertex AI 커스텀 모델 따라하기 21년 Google I/O에서 Machine Learning Platform인 Vertex AI를 출시했다. 기능상으로는 사실 AI Platform과 큰 차이를 모르겠다. 다만 약간 산만했던 AI Platform Pipeline이 좀 더 깔끔해졌고, API들이 고수준으로 바뀜에 따라 사용이 쉬워진 듯 하다. 차이점은 여기에 있지만, 사실 이제부터는 Vertex AI만 알면 될 것 같다. 예제는 미디움에 있는 아래 포스팅을 이용했다. Serverless Machine Learning Pipelines with Vertex AI: An Introduction There is this big problem for Data Scientists and ML Engineers that work at small co.. 2021. 6. 11.
[GCP] Cloud Run과 Cloud Run on Anthos 19년 4월 Next 행사에서 구글은 Serverless 서비스인 Cloud Run을 소개했다. 말 그대로 서버 구성은 전혀 신경 쓰지 말고 서비스나 잘 만들어라~하는 서비스로 AWS Fargate와 유사하다. 그저 도커 Container를 만들어 GCR(Google Container Registry)에 등록하고 Cloud Run 메뉴에서 GCR의 위치만 알려주면 끝이다. 지난 포스팅에서 만든 hello, world를 출력하는 컨테이너를 만드는 것과 유사한데, 이번에는 Jupyter Notebook을 설치해서 실행하도록 하는 컨테이너를 만들었다. (Dockerfile은 생략) [GCP] GKE로 쿠버네티스 운영하기 완전 기본 쿠버네티스가 컨테이너 운영의 기본이 된다는 건 이미 주지의 사실이지만 사실 개념.. 2020. 6. 15.
[GCP] GKE로 쿠버네티스 운영하기 완전 기본 쿠버네티스가 컨테이너 운영의 기본이 된다는 건 이미 주지의 사실이지만 사실 개념대로 따라가기는 만만치 않았다. 개념적으로 이해 되도 활용가능한 수준으로 익힐 수 있을까 하다가 아주 기본 적인 것을 한번 만들어 보기로 했다. 사실, 만든 것은 아니고 아래 조병욱님의 예제를 그대로 따라한 수준이다. 컨텐츠에 관한 모든 권리는 조병욱님에게 있음을 알린다. 쿠버네티스 #6 - 실제 서비스 배포해보기 쿠버네티스 #6 Replication Controller를 이용하여 서비스 배포하기 조대협 (http://bcho.tistory.com) 1. 도커 파일 만들기 node.js로 간단한 웹서버를 만들어서 도커로 패키징 해보자. 실습을 진행하기 위해서.. bcho.tistory.com 1) node.js 기반 webap.. 2020. 6. 9.
[GCP] Scheduler와 Cloud Function으로 노트북 인스턴스 스케줄링 AI를 개발하다보면 오랫동안 인스턴스를 켜 두어야 하는 경우가 있다. 혹은 깜박 있고 퇴근한다거나. 이럴 때 문제되는 것이 대부분의 AI인스턴스 가격들이 만만치 않다는 것이다. (V100 채용한 기본모델이 한시간에 4불 안팎) 켜둔 채 퇴근하고 아침에 출근하면 대략 7~8만원이 그냥 없어지는 것이다. GCP에서 Instance를 스케줄링을 해 주는 기능은 직접적으로 제공되고 있지 않지만, Cloud Function, Pub/Sub, Cloud Scheduler를 엮으면 (번거롭지만) 해결 가능하다. 위와 같은 구조인데, 우선 Cloud Scheduler의 명령을 Cloud Function으로 전달할 Topic을 Cloud Pub/Sub으로 만들어 두자. 간단히 test-run(시작), test-stop(.. 2020. 4. 22.
[GCP] What-If Tool Analysis 사용하기 작년에 구글에서 What If Tool(이하 WIT)을 소개하였다. 말 그대로 데이터가 바뀌면 (What-if) 어떻게 변할까를 그래픽으로 표현해 주는 것인데, 아직까지 경험으로는 Tensorboard의 확장판 정도로 이해된다. GCP의 AI Platform과 강하게 결합되어 있어서, AI Platform으로 모델을 배포한 뒤 What-if Tool의 라이브러리를 호출해 주는 것으로 사용할 수 있다. 아직 결과에 대한 해석은 충분하지 않으므로 해석하는 방법은 추후에 포스팅할 예정이다. 대상 모델은 Pima 인디언의 당뇨(diabetes)를 예측하는 모델이다. 우선 Keras로 모델 작성부터 끝내자. import pandas as pd from tensorflow.keras.models import Seq.. 2020. 4. 9.