[GCP] Argo로 Workflow 만들기

사실 Production 레벨로 가지 않으면, ML개발에 Workflow를 사용할 일은 많지 않다. 대부분 샘플데이터로 전처리 한후 그 데이터를 공유해서 각자 모델을 개발하게 되는데, Production Level에서는 계속 새로운 데이터가 발생하기 때문에 데이터 수집부터 배포까지 하나의 파이프라인으로 관리해야할 필요성이 생긴다.

Argo는 컨테이너 기반으르 파이프라인을 구성해주는 도구로 Kubeflow에서도 Workflow Orchestration은 Argo를 사용한다.

Kubeflow Pipeline Overview

Argo 설치

curl -sSL -o /usr/local/bin/argo https://github.com/argoproj/argo/releases/download/v2.2.1/argo-linux-amd64
chmod +x /usr/local/bin/argo

Argo를 위와 같이 다운로드 받고, Controller와 UI를 kubectl을 통해 설치한다. GCP에서 kubectl의 설치는 아래를 따르면 된다.

터미널에서 Kubectl 사용하기

kubectl create ns argo
kubectl apply -n argo -f https://raw.githubusercontent.com/argoproj/argo/v2.2.1/manifests/install.yaml

Argo를 통해 간단한 ‘Hello World’예제를 실행해보자. 사용법은 아래와 같이 간단하다. submit은 지정된 yaml 파일을 workflow 만드는데 사용한다는 것이고 watch 파라미터는 외부의 yaml을 가져올 때 사용한다.

argo submit --watch 
https://raw.githubusercontent.com/argoproj/argo/master/examples/hello-world.yaml

‘argo list’ 명령으로 실행되고 있는 argo workflow들을 볼 수 있고, 컨테이너 기반으로 수행되는 것이므로 ‘kubectl get pod’으로 생성된 pod을 확인할 수 있다.

ryu.gcloud2@flask-test:~$ kubectl get pod
NAME                           READY   STATUS      RESTARTS   AGE
hello-world-ng6kn              0/2     Completed   0          23h

Argo는 UI를 통해서 파이프라인 생성의 결과를 좀 더 직관적으로 제공해준다. UI 실행을 위해서는 클러스터를 외부에서 접근할 수 있게 포트포워딩을 해 주어야 한다.

kubectl -n argo port-forward deployment/argo-ui 8001:8001

그런데, 위의 명령은 local computer에서 8001포트로 포워딩 받아 사용하는 경우여서, GCP를 통해 외부 접근을 열고 PC에서 접근하도록 하기 위해 argo-ui를 LoadBalancer 타입으로 업데이트하여 external IP를 가져올 수 있도록 해 주어야 한다. (이걸 안해줘서 엄청 헤맸다. ㅠ)

kubectl patch svc argo-ui -n argo -p '{"spec": {"type": "LoadBalancer"}}'

ryu.gcloud2@flask-test:~$ kubectl get svc argo-ui -n argo
NAME      TYPE           CLUSTER-IP    EXTERNAL-IP    PORT(S)        AGE
argo-ui   LoadBalancer   10.0.10.134   34.68.164.43   80:31707/TCP   24h

브라우저에서 EXTERNAL-IP 주소를 쳐 넣으면 아래와 같은 UI가 나타난다.

Argo UI

이제 Workflow 확인이 용이해졌으니, 복잡한(하지만, 간단히 순차적으로 출력하는) DAG(Directed Acyclic Graph) 형태의 Workflow를 만들어보고 확인해 본다.

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: dag-diamond-
spec:
  entrypoint: diamond
  templates:
  - name: echo
    inputs:
      parameters:
      - name: message
    container:
      image: alpine:3.7
      command: [echo, "{{inputs.parameters.message}}"]
  - name: diamond
    dag:
      tasks:
      - name: A
        template: echo
        arguments:
          parameters: [{name: message, value: A}]
      - name: B
        dependencies: [A]
        template: echo
        arguments:
          parameters: [{name: message, value: B}]
      - name: C
        dependencies: [A]
        template: echo
        arguments:
          parameters: [{name: message, value: C}]
      - name: D
        dependencies: [B, C]
        template: echo
        arguments:
          parameters: [{name: message, value: D}]

Argo UI에 생성된 workflow를 클릭하면 아래의 그림과 같이 순차적으로 workflow가 실행되었고, 각각의 결과는 LOGS버튼을 통해 확인할 수 있다.

DAG 실행 확인