본문 바로가기

AI 빅데이터73

[GCP] GKE로 쿠버네티스 운영하기 완전 기본 쿠버네티스가 컨테이너 운영의 기본이 된다는 건 이미 주지의 사실이지만 사실 개념대로 따라가기는 만만치 않았다. 개념적으로 이해 되도 활용가능한 수준으로 익힐 수 있을까 하다가 아주 기본 적인 것을 한번 만들어 보기로 했다. 사실, 만든 것은 아니고 아래 조병욱님의 예제를 그대로 따라한 수준이다. 컨텐츠에 관한 모든 권리는 조병욱님에게 있음을 알린다. 쿠버네티스 #6 - 실제 서비스 배포해보기 쿠버네티스 #6 Replication Controller를 이용하여 서비스 배포하기 조대협 (http://bcho.tistory.com) 1. 도커 파일 만들기 node.js로 간단한 웹서버를 만들어서 도커로 패키징 해보자. 실습을 진행하기 위해서.. bcho.tistory.com 1) node.js 기반 webap.. 2020. 6. 9.
[가상화] WSL 2로 리눅스 쓰기 MS Windows 10은 WSL (Windows Subsystem for Linux) 1을 갖고 있었는데, 최근 2004버전 업데이트를 하면서 WSL 2가 정식으로 Release 되었다. WSL 1이 Linux Call을 해석해서 HyperVisor로 보내는 방식이었다면 WSL 2는 Linux가 직접 HyperVisor로 Call을 하는 방식으로바뀌어서 WSL 1의 문제점인 File I/O 속도를 높인 것이라고 한다. HyperVisor방식의 차이점은 아래 참조하면 된다. 반가상화 전가상화 하이퍼바이저가 가상머신의 호스트 서버 상 장치를 가상머신이 어떻게 이용할 수 있도록 하느냐에 대한 방식에 따라 "전가상화(Full Virtualization)"와 "반가상화(Half Virtualization)"로 .. 2020. 5. 31.
[GCP] Scheduler와 Cloud Function으로 노트북 인스턴스 스케줄링 AI를 개발하다보면 오랫동안 인스턴스를 켜 두어야 하는 경우가 있다. 혹은 깜박 있고 퇴근한다거나. 이럴 때 문제되는 것이 대부분의 AI인스턴스 가격들이 만만치 않다는 것이다. (V100 채용한 기본모델이 한시간에 4불 안팎) 켜둔 채 퇴근하고 아침에 출근하면 대략 7~8만원이 그냥 없어지는 것이다. GCP에서 Instance를 스케줄링을 해 주는 기능은 직접적으로 제공되고 있지 않지만, Cloud Function, Pub/Sub, Cloud Scheduler를 엮으면 (번거롭지만) 해결 가능하다. 위와 같은 구조인데, 우선 Cloud Scheduler의 명령을 Cloud Function으로 전달할 Topic을 Cloud Pub/Sub으로 만들어 두자. 간단히 test-run(시작), test-stop(.. 2020. 4. 22.
[GCP] Cloud Data Fusion과 AutoML로 코드 한 줄 없이 AI 하기 Google Cloud Blog에 코드 한 줄 없이 AI하기라는 재미있는 글이 올라와서 따라서 해 보았다. Azure의 ML Studio의 UI 기반 전처리가 구글에 왜 없을까하는 의문이 있었는데, 몰랐던 것 뿐이었다. Cloud Data Fusion은 19년 Next 행사에서도 이미 소개되어 있다. Turn your raw data into a machine learning model without Python or SQL | Google Cloud Blog How to build an entire ML pipeline, including data transformation and model training, without code cloud.google.com 사용된 예제는 뉴욕 소방청(Fire De.. 2020. 4. 21.
[GCP] What-If Tool Analysis 사용하기 작년에 구글에서 What If Tool(이하 WIT)을 소개하였다. 말 그대로 데이터가 바뀌면 (What-if) 어떻게 변할까를 그래픽으로 표현해 주는 것인데, 아직까지 경험으로는 Tensorboard의 확장판 정도로 이해된다. GCP의 AI Platform과 강하게 결합되어 있어서, AI Platform으로 모델을 배포한 뒤 What-if Tool의 라이브러리를 호출해 주는 것으로 사용할 수 있다. 아직 결과에 대한 해석은 충분하지 않으므로 해석하는 방법은 추후에 포스팅할 예정이다. 대상 모델은 Pima 인디언의 당뇨(diabetes)를 예측하는 모델이다. 우선 Keras로 모델 작성부터 끝내자. import pandas as pd from tensorflow.keras.models import Seq.. 2020. 4. 9.
[GCP] 리전 제한 설정하기 개인적으로 GCP를 쓰면 별다른 제약 없이 인스턴스를 만들면 되겠지만, 회사 특히 보안이 엄격한 데이터를 다루는 회사라면 이야기는 좀 달라진다. 우선 클라우드에 데이터를 옮기겠다는 자체가 많은 이해관계자를 설득시키는 일이기도 하고, 게다가 해외 리전을 쓰겠다고 하면 불가능에 가까울지도 모른다. 그럼에도 불구하고 해외 리전에서만 제공하는 자원, 이를테면 TPU를 활용해야 하는 경우가 있을 수 있어 특정 프로젝트는 리전을 열어주기도 해야한다. 우선, 조직(Organization)내의 모든 프로젝트를 서울리전만 쓰게 한다고 가정하면, GCP -> IAM -> 조직정책 -> GCP 리소스 위치 제한에서 커스텀화 해주면 된다. 커스텀값에 서울 리전을 가르키는 asia-northeast3-locations를 in:.. 2020. 4. 9.

티스토리툴바