AI 빅데이터/Google Cloud Platform22 [GCP] 터미널에서 kubectl 사용하기 GKE에서 Kubernetes 클러스터를 생성했다면, Cloud Shell에서 바로 Kubectl을 이용해 Kubernetes 환경에 접근할 수 있다. 하지만, Cloud Shell 환경은 설치된 라이브러리나 소프트웨어가 향후에 사라질 수 있기 때문에, 인스턴스를 만들어 SSH연결이나 터미널 클라이언트를 사용하곤 한다. 터미널 클라이언트의 사용은 아래의 내용을 참고하면 된다. 터미널에서 Putty 사용하기 kubectl을 사용하기 위해서는 google cloud sdk를 설치해야하는데, 설치 방법도 위의 내용을 참고하면 된다. kubectl의 설치는 아래와 같이 한다. sudo apt-get update && sudo apt-get install -y apt-transport-https curl -s h.. 2020. 3. 4. [GCP] Apache Beam 사용하기 대량의 데이터를 전처리하는 건 많은 시간이 소요된다. Cloud 상에서 가용한 자원들을 동적으로 할당해서 좀 더 빠르게 해줄 수 있으면 좋은데, 병렬처리라는 게 또 공부하려면 만만찮아서인지 GCP에는 Cloud Dataflow라는 서비스가 이를 대신해 준다. Cloud Dataflow는 병렬로 실행시키는 일종의 흐름을 제어하는 서비스이고, 어떤 형태로 병렬 처리할지 그 구조를 Pipeline 형태로 잡아 놓는 것이 Google이 기증한 ‘Apache Beam’이 된다. Apache Beam으로 형성된 Pipeline은 Local에서 ‘DirectRunner’를 통해 수행(병렬처리는 안됨)하거나, Apache Flink 혹은 Spark로도 실행할 수 있다. Beam의 예제로 자주 등장하는 단락 내에 단어 .. 2020. 3. 4. [GCP] Flask로 TF 2.0 MNIST 모델 서빙하기 우선 TensorFlow 2.0을 설치하자. 머신에 직접 설치하거나 도커를 다운받아 사용, 혹은 구글 colab을 활용( https://www.tensorflow.org/install)하면 되는데, TensorFlow에서 권장하는대로 머신에 VirtualEnv를 활용해서 설치하자 ( https://www.tensorflow.org/install/pip). 설치하는 김에 Flask도 같이 설치해보자. Compute Machine 하나를 생성(크게 부담 없는 예제라 g1 instance)하고, SSH를 연결하여 실행하면 된다. $ sudo apt update $ sudo apt install python3-dev python3-pip $ sudo pip3 install -U virtualenv # 굳이 sy.. 2020. 3. 4. [GCP] Putty Setup 하기 Google Cloud Platform의 Cloud Shell을 사용하다 보면, 특정 Package를 설치할 때 잘 되지 않는 경우가 있는데, Debian 리눅스를 기본 OS로 사용하기 때문인 것으로 보인다. 아마 다른 설치 방법도 있을텐데, 개인적으로는 GCC 7.0 설치하기를 몇번 실패하다가 결국 Ubuntu 인스턴스를 만들어 Putty로 연결해 한번에 성공하였다. 게다가, 아래 글을 보면 Cloud Shell의 사양이 낮아 개발용으로 사용하기엔 무리가 있다. https://jybaek.tistory.com/638 Putty를 사용하려면 SSH 설정을 해줘야 하는데, 몇 단계만 거치면 큰 무리없이 진행할 수 있다. 우선 Google Cloud와 Putty 간에 공유할 키를 만들어 내야 한다. Putt.. 2020. 3. 4. 이전 1 2 3 4 다음
