AI 빅데이터/Google Cloud Platform22 [GCP] Duet AI 설정 및 VSCode 연동 Google의 Duet AI는 Google Workspace 용과 Google Cloud Platform 용 두 가지가 있다. 데모는 주로 Workspace용이 많이 소개되는데, GCP의 이용성을 좋게 해주는 Duet AI는 현재까지 Preview여서 신청에 의해 현재까지는 무료로 사용할 수 있다. Duet AI | Google Cloud An always-on AI collaborator that provides help to users of all skill levels where they need it. cloud.google.com Wait-list 신청하면 약 1~3주에 승인되었다고 연락오는데, GCP내 Project에 Provision 절차가 있어서 승인 후 하루 뒤에 사용 가능하다. 사용 가.. 2023. 9. 27. [GCP] TFX를 Vertex AI에 활용하기 지난번에는 Kubeflow를 활용해 Vertex AI를 구성하는 것을 확인하였다. [GCP] Vertex AI 커스텀 모델 따라하기 21년 Google I/O에서 Machine Learning Platform인 Vertex AI를 출시했다. 기능상으로는 사실 AI Platform과 큰 차이를 모르겠다. 다만 약간 산만했던 AI Platform Pipeline이 좀 더 깔끔해졌고, API들이 고수준으.. magoker.tistory.com Pipeline만 구성해 주고 데이터 준비나 전처리, Serving 등을 직접한다면 위의 내용으로도 충분하겠지만, TFX의 Component들을 이용한다면 얻을 수 있는 이득들이 많이 있다. TFX 컴퍼넌트들의 구성은 아래와 같다. TensorFlow Data Valid.. 2021. 7. 12. [GCP] AI Platform에서 Pipeline 배포가 되지 않을 때 (수동배포) AI Platform에서 파이프라인을 만들려고 시도했는데, 기본 UI에서 파이프라인이 배포되지 않는다. Cluster까지는 제대로 생성되고, 생성된 클러스터에 Pipeline을 배포하려고 하니, "App Deployment Failed"라는 단순한 메시지만 출력시키고 아무것도 되지 않았다. 인터넷에서 Deployment Manager API를 설치하라느니, Resource Manager API를 설치하라느니 얘기가 있었지만, 수동으로 배포하는 길을 택했다. gcloud config set compute/region us-central1 gcloud config set compute/zone us-central1-a # cluster-1은 gcp에서 생성한 cluster name gcloud contain.. 2021. 7. 9. [GCP] Vertex AI 커스텀 모델 따라하기 21년 Google I/O에서 Machine Learning Platform인 Vertex AI를 출시했다. 기능상으로는 사실 AI Platform과 큰 차이를 모르겠다. 다만 약간 산만했던 AI Platform Pipeline이 좀 더 깔끔해졌고, API들이 고수준으로 바뀜에 따라 사용이 쉬워진 듯 하다. 차이점은 여기에 있지만, 사실 이제부터는 Vertex AI만 알면 될 것 같다. 예제는 미디움에 있는 아래 포스팅을 이용했다. Serverless Machine Learning Pipelines with Vertex AI: An Introduction There is this big problem for Data Scientists and ML Engineers that work at small co.. 2021. 6. 11. [GCP] GitLab으로 Jupyter Hub 연결해서 사용하기 지난 포스팅에서 Kubernetes Cluster안에 Jupyter Hub를 설치하고 GitHub Login을 사용하는 것까지 해 보았다. [GCP] GKE에 Jupyter Notebook 운영하고 GitHub로 사용자 관리 Jupyter Notebook은 로컬 환경이나 클라우드 환경에서 VM에 설치하여 많이 이용된다. 기업차원에서 이용한다면 매 사용자마다 노트북을 설치하는 것보다 쿠버네티스 환경에 Jupyter Notebook을 설치하고 magoker.tistory.com 그런데 이렇게 했을 때 문제가 GitHub에 올려 놓은 private git들을 Jupyter Hub에서 가져가려면 ssh 이용 설정을 해야한다는 것인데, 좀 귀찮은 작업이 된다. GitHub와 유사한 GitLab은 Local로 설치.. 2020. 7. 29. [GCP] GKE에 Jupyter Notebook 운영하고 GitHub로 사용자 관리 Jupyter Notebook은 로컬 환경이나 클라우드 환경에서 VM에 설치하여 많이 이용된다. 기업차원에서 이용한다면 매 사용자마다 노트북을 설치하는 것보다 쿠버네티스 환경에 Jupyter Notebook을 설치하고 여러 사용자가 이를 이용할 수 있다면 효율성을 높일 수 있다. 즉, 쿠버네티스 환경에서 Multi Tenant로 Jupyter Notebook을 이용하게 되는 것이다. Jupyter Notebook은 Multi Tenant를 위해 Jupyter Hub를 개발하였으며, 쿠버네티스 환경에서의 운영을 위해 아래와 같은 가이드도 제공하고 있다. Setup Kubernetes — Zero to JupyterHub with Kubernetes 0.0.1-set.by.chartpress document.. 2020. 7. 29. 이전 1 2 3 4 다음
