본문 바로가기

Kubeflow Pipeline3

[GCP] TFX를 Vertex AI에 활용하기 지난번에는 Kubeflow를 활용해 Vertex AI를 구성하는 것을 확인하였다. [GCP] Vertex AI 커스텀 모델 따라하기 21년 Google I/O에서 Machine Learning Platform인 Vertex AI를 출시했다. 기능상으로는 사실 AI Platform과 큰 차이를 모르겠다. 다만 약간 산만했던 AI Platform Pipeline이 좀 더 깔끔해졌고, API들이 고수준으.. magoker.tistory.com Pipeline만 구성해 주고 데이터 준비나 전처리, Serving 등을 직접한다면 위의 내용으로도 충분하겠지만, TFX의 Component들을 이용한다면 얻을 수 있는 이득들이 많이 있다. TFX 컴퍼넌트들의 구성은 아래와 같다. TensorFlow Data Valid.. 2021. 7. 12.
[GCP] AI Platform에서 Pipeline 배포가 되지 않을 때 (수동배포) AI Platform에서 파이프라인을 만들려고 시도했는데, 기본 UI에서 파이프라인이 배포되지 않는다. Cluster까지는 제대로 생성되고, 생성된 클러스터에 Pipeline을 배포하려고 하니, "App Deployment Failed"라는 단순한 메시지만 출력시키고 아무것도 되지 않았다. 인터넷에서 Deployment Manager API를 설치하라느니, Resource Manager API를 설치하라느니 얘기가 있었지만, 수동으로 배포하는 길을 택했다. gcloud config set compute/region us-central1 gcloud config set compute/zone us-central1-a # cluster-1은 gcp에서 생성한 cluster name gcloud contain.. 2021. 7. 9.
[GCP] Vertex AI 커스텀 모델 따라하기 21년 Google I/O에서 Machine Learning Platform인 Vertex AI를 출시했다. 기능상으로는 사실 AI Platform과 큰 차이를 모르겠다. 다만 약간 산만했던 AI Platform Pipeline이 좀 더 깔끔해졌고, API들이 고수준으로 바뀜에 따라 사용이 쉬워진 듯 하다. 차이점은 여기에 있지만, 사실 이제부터는 Vertex AI만 알면 될 것 같다. 예제는 미디움에 있는 아래 포스팅을 이용했다. Serverless Machine Learning Pipelines with Vertex AI: An Introduction There is this big problem for Data Scientists and ML Engineers that work at small co.. 2021. 6. 11.