티스토리

마고커

검색하기

블로그 홈

마고커

magoker.tistory.com/m

마곡 가볼만한 곳과 클라우드 AI 기술을 소개합니다.

구독자: 17

방명록 방문하기

주요 글 목록

[Git] Branch 만들어 commit하고 Push하기 Master나 Main Develop Branch에서 직접 작업하면 문제 생길 수가 있다. Branch에서 clone해서 다른 branch를 만들어 update하는 절차는 아래와 같다. 1) Branch 가져오기 > git clone -b develop --single-branch http://xxxx/yyyy.git 2) 새로운 Branch 생성 # kkkk branch 생성 > git checkout -b "kkkk" # 현재 git branch 확인 > git status On branch kkkk 3) Code 수정 후 Commit 하기 # 변경된 내용 추가 > git add . # account 확인 : GitLab의 내 id > git config user.name "my_id" # commi.. 공감수 1 댓글수 998 2022. 7. 21.
[OSS] KNative로 컨테이너 Serverless로 서빙하기 쿠버네티스가 클라우드 관리의 표준이 되어가고 있지만, 쿠버네티스 관리 자체가 부담되기도 하며, 자동으로 컨테이너 로드 관리를 원할 때가 있다. 이를 테면, 소수의 노드를 여러 명이 번갈아 자신의 컨테이너를 사용해야 하는 환경이라면 매번 컨테이너 이미지를 올리거나 scale up/down하는 것이 번거로울 수 있다. 여러 AI 모델들을 올려 놓고 판매하는 장터가 생긴다면, 관리 없이 요청에 의해 각 컨테이너가 로드될 수 있다면 편리할 것이다. 적합한 예시였는지 확신하긴 어렵지만, Serverless는 이와 같이 서버 관리에 신경 쓰지 않고 컨테이너를 이용하기 위해(?, 자신 없음) 만들어졌다. GCP의 Cloud Run이나 AWS Fargate가 이러한 기능을 Managed Service로 구현해 놓은 것.. 공감수 0 댓글수 0 2020. 7. 14.
[OSS] Katib로 Hyper Parameter Tuning 하기 Katib는 아랍어로 '비서'라는 뜻이다. 머신러닝을 수행하는 일의 상당부분이 최적화 파라미터를 찾는 부분인데, 그것을 돈으로 자동으로 찾아 주는 것이라 보면 된다. AutoML은 Auto Feature Engineering, Neural Architecture Search, Hyper Parameter Optimization을 지원하는데 Katib는 후자 2개를 지원한다. 아직 NAS는 베타 상태이고, HPO만 테스트 해 보았는데 절차에 비해 사용은 그리 간단하지 않은 느낌이다. 준비할 것은 Kubeflow 설치와 YAML 파일 뿐이다. 설치는 이전 포스트에서 했고, YAML파일은 공식 사이트에서 MNIST 예제를 가져와서 적용해 보자. algorithmName: 부분의 random은 random se.. 공감수 0 댓글수 0 2020. 6. 30.
[OSS] Mac에서 Kubeflow 설치하고 테스트하기 Kubeflow의 공식정의는 아래와 같다. "The Kubeflow project is dedicated to making deployments of machine learning (ML) workflows on Kubernetes simple, portable and scalable. Our goal is not to recreate other services, but to provide a straightforward way to deploy best-of-breed open-source systems for ML to diverse infrastructures. Anywhere you are running Kubernetes, you should be able to run Kubeflow" Kube.. 공감수 0 댓글수 2 2020. 6. 29.
[OSS] 맥에서 쿠버네티스 테스트하기 지난번에 GCP에서 쿠버네티스 활용을 테스트 했었다. [GCP] GKE로 쿠버네티스 운영하기 완전 기본 쿠버네티스가 컨테이너 운영의 기본이 된다는 건 이미 주지의 사실이지만 사실 개념대로 따라가기는 만만치 않았다. 개념적으로 이해 되도 활용가능한 수준으로 익힐 수 있을까 하다가 아주 기 magoker.tistory.com 유사하지만 좀 더 이해를 하고 싶어서 맥OS에서 쿠버네티스 서비스를 테스트해보고 싶었다. 도커만드는 과정은 위의 링크를 그대로 따라하면 된다. 다만 GCP를 쓰지 않을 테니 docker hub에 이미지를 push 하도록 했다. $ docker build -t xxxxxx/nodejs . $ docker push xxxxxx/nodejs 1) 맥용 쿠버네티스 설정 맥에서 Kubernete.. 공감수 1 댓글수 0 2020. 6. 18.
[OSS] Jupyter Lab을 Git과 연동하기 Jupyter Notebook은 ML개발에 거의 표준이 되어 있는 듯하다. Jupyter 자체만으로도 거의 완벽하지만, 많은 Extension들은 이용을 더욱 편리하게 해 준다. Git의 내용을 터미널이 아닌 Notebook에서 바로 Clone해서 Commit까지 해줄 수 있는 Jupyter Lab Git Extension도 그런 도구 중에 하나다. 아래에서 자세한 설명을 볼 수 있다. jupyterlab/jupyterlab-git A Git extension for JupyterLab. Contribute to jupyterlab/jupyterlab-git development by creating an account on GitHub. github.com Git Extension을 설치하기 위해서는 .. 공감수 0 댓글수 2 2020. 6. 11.
[가상화] WSL 2로 리눅스 쓰기 MS Windows 10은 WSL (Windows Subsystem for Linux) 1을 갖고 있었는데, 최근 2004버전 업데이트를 하면서 WSL 2가 정식으로 Release 되었다. WSL 1이 Linux Call을 해석해서 HyperVisor로 보내는 방식이었다면 WSL 2는 Linux가 직접 HyperVisor로 Call을 하는 방식으로바뀌어서 WSL 1의 문제점인 File I/O 속도를 높인 것이라고 한다. HyperVisor방식의 차이점은 아래 참조하면 된다. 반가상화 전가상화 하이퍼바이저가 가상머신의 호스트 서버 상 장치를 가상머신이 어떻게 이용할 수 있도록 하느냐에 대한 방식에 따라 "전가상화(Full Virtualization)"와 "반가상화(Half Virtualization)"로 .. 공감수 1 댓글수 0 2020. 5. 31.
[OSS] AutoKeras로 자동학습(AutoML) 하기 최근 회사 업무를 하면서 AutoML을 조사할 일이 있었는데, AutoKeras가 작년말 정식 Release 되었다는 것을 알았다. AutoKeras는 Texas A&M에서 만든 것으로 많은 AutoML솔루션들이 Table 데이터 처리를 위한 최적의 머신러닝 모델을 찾아주는 것에 반해, Google AutoML과 마찬가지로 비정형 데이터까지 모델링 해 준다. AutoKeras는 무엇보다 설치가 간단하다. 기존에 사용하던 머신에 AutoKeras 패키지만 설치해 주면 잘 동작한다(설치조건: Tensorflow 2.1, Python 3.6). GPU 설정은 공통된 부분이고, 요즘은 AWS SageMaker나 GCP AI Platform에서 설정되어 나오니 크게 신경쓰지 않아도 된다. pip install a.. 공감수 5 댓글수 0 2020. 3. 4.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.