AI 빅데이터/Google Cloud Platform22 [GCP] Cloud Run과 Cloud Run on Anthos 19년 4월 Next 행사에서 구글은 Serverless 서비스인 Cloud Run을 소개했다. 말 그대로 서버 구성은 전혀 신경 쓰지 말고 서비스나 잘 만들어라~하는 서비스로 AWS Fargate와 유사하다. 그저 도커 Container를 만들어 GCR(Google Container Registry)에 등록하고 Cloud Run 메뉴에서 GCR의 위치만 알려주면 끝이다. 지난 포스팅에서 만든 hello, world를 출력하는 컨테이너를 만드는 것과 유사한데, 이번에는 Jupyter Notebook을 설치해서 실행하도록 하는 컨테이너를 만들었다. (Dockerfile은 생략) [GCP] GKE로 쿠버네티스 운영하기 완전 기본 쿠버네티스가 컨테이너 운영의 기본이 된다는 건 이미 주지의 사실이지만 사실 개념.. 2020. 6. 15. [GCP] GKE로 쿠버네티스 운영하기 완전 기본 쿠버네티스가 컨테이너 운영의 기본이 된다는 건 이미 주지의 사실이지만 사실 개념대로 따라가기는 만만치 않았다. 개념적으로 이해 되도 활용가능한 수준으로 익힐 수 있을까 하다가 아주 기본 적인 것을 한번 만들어 보기로 했다. 사실, 만든 것은 아니고 아래 조병욱님의 예제를 그대로 따라한 수준이다. 컨텐츠에 관한 모든 권리는 조병욱님에게 있음을 알린다. 쿠버네티스 #6 - 실제 서비스 배포해보기 쿠버네티스 #6 Replication Controller를 이용하여 서비스 배포하기 조대협 (http://bcho.tistory.com) 1. 도커 파일 만들기 node.js로 간단한 웹서버를 만들어서 도커로 패키징 해보자. 실습을 진행하기 위해서.. bcho.tistory.com 1) node.js 기반 webap.. 2020. 6. 9. [GCP] Scheduler와 Cloud Function으로 노트북 인스턴스 스케줄링 AI를 개발하다보면 오랫동안 인스턴스를 켜 두어야 하는 경우가 있다. 혹은 깜박 있고 퇴근한다거나. 이럴 때 문제되는 것이 대부분의 AI인스턴스 가격들이 만만치 않다는 것이다. (V100 채용한 기본모델이 한시간에 4불 안팎) 켜둔 채 퇴근하고 아침에 출근하면 대략 7~8만원이 그냥 없어지는 것이다. GCP에서 Instance를 스케줄링을 해 주는 기능은 직접적으로 제공되고 있지 않지만, Cloud Function, Pub/Sub, Cloud Scheduler를 엮으면 (번거롭지만) 해결 가능하다. 위와 같은 구조인데, 우선 Cloud Scheduler의 명령을 Cloud Function으로 전달할 Topic을 Cloud Pub/Sub으로 만들어 두자. 간단히 test-run(시작), test-stop(.. 2020. 4. 22. [GCP] Cloud Data Fusion과 AutoML로 코드 한 줄 없이 AI 하기 Google Cloud Blog에 코드 한 줄 없이 AI하기라는 재미있는 글이 올라와서 따라서 해 보았다. Azure의 ML Studio의 UI 기반 전처리가 구글에 왜 없을까하는 의문이 있었는데, 몰랐던 것 뿐이었다. Cloud Data Fusion은 19년 Next 행사에서도 이미 소개되어 있다. Turn your raw data into a machine learning model without Python or SQL | Google Cloud Blog How to build an entire ML pipeline, including data transformation and model training, without code cloud.google.com 사용된 예제는 뉴욕 소방청(Fire De.. 2020. 4. 21. [GCP] What-If Tool Analysis 사용하기 작년에 구글에서 What If Tool(이하 WIT)을 소개하였다. 말 그대로 데이터가 바뀌면 (What-if) 어떻게 변할까를 그래픽으로 표현해 주는 것인데, 아직까지 경험으로는 Tensorboard의 확장판 정도로 이해된다. GCP의 AI Platform과 강하게 결합되어 있어서, AI Platform으로 모델을 배포한 뒤 What-if Tool의 라이브러리를 호출해 주는 것으로 사용할 수 있다. 아직 결과에 대한 해석은 충분하지 않으므로 해석하는 방법은 추후에 포스팅할 예정이다. 대상 모델은 Pima 인디언의 당뇨(diabetes)를 예측하는 모델이다. 우선 Keras로 모델 작성부터 끝내자. import pandas as pd from tensorflow.keras.models import Seq.. 2020. 4. 9. [GCP] 리전 제한 설정하기 개인적으로 GCP를 쓰면 별다른 제약 없이 인스턴스를 만들면 되겠지만, 회사 특히 보안이 엄격한 데이터를 다루는 회사라면 이야기는 좀 달라진다. 우선 클라우드에 데이터를 옮기겠다는 자체가 많은 이해관계자를 설득시키는 일이기도 하고, 게다가 해외 리전을 쓰겠다고 하면 불가능에 가까울지도 모른다. 그럼에도 불구하고 해외 리전에서만 제공하는 자원, 이를테면 TPU를 활용해야 하는 경우가 있을 수 있어 특정 프로젝트는 리전을 열어주기도 해야한다. 우선, 조직(Organization)내의 모든 프로젝트를 서울리전만 쓰게 한다고 가정하면, GCP -> IAM -> 조직정책 -> GCP 리소스 위치 제한에서 커스텀화 해주면 된다. 커스텀값에 서울 리전을 가르키는 asia-northeast3-locations를 in:.. 2020. 4. 9. 이전 1 2 3 4 다음
