본문 바로가기

분류 전체보기328

[Apple M1] Rosetta Terminal 실행과 Conda 설치 아직 M1에서는 많은 파이썬 라이브러리를 지원하지 않는다. Pandas를 포함해서.. 지난 포스팅에서 tensorflow와 jupyter 설치를 소개했는데, 결론적으로 안타깝게도 pandas는 tensorflow와 아직 함께 사용할 수 없다. tensorflow를 사용하지 않으면 rosetta와 conda를 이용해서 별도의 파이썬 환경을 실행하면 되는데, 딥러닝을 사용하지 않는 머신러닝 환경은 구성할 수 있다. 아니면 colab을 이용하든가. rosetta를 이용해 conda를 설치하려면 우선 rosetta용 터미널을 실행해야 하는데, 우선 Finder의 '이동' 메뉴로 간다. '유틸리티'를 선택하면 터미널이 있는데, 이를 오른 버튼을 눌러 '복제' 메뉴 선택으로 하나 더 만든다. 이름을 바꾸고(예. 로.. 2020. 12. 30.
[Apple M1] Apple 실리콘용 Tensorflow 실행하기 요 글로 유입이 많아서, 안내 드립니다. Apple에서 M1 Silicon에 맞추어 Tensorflow를 공개했고, 아래 포스팅을 이용하여 설치 가능합니다. 다만, tensorflow_text라든가 일부 패키지는 apple이 지원하지 않아 아직 사용 안되는 듯 합니다. [Apple M1] M1 칩용 Tensorflow 설치 (tistory.com) [Apple M1] M1 칩용 Tensorflow 설치 M1 Air를 사고 아래와 같이 삽질하면 Tensorflow를 설치하는 데 까지는 성공했으나, 성능에서 만족은 느낄 수 없었다. [Apple M1] Apple 실리콘용 Tensorflow 실행하기 높으신 분의 은혜로 출시일에 맞춰 주 magoker.tistory.com ------------ 높으신 분의 .. 2020. 12. 22.
[사회] 퇴직 이후의 삶 통계청의 2019년 퇴직 통계에 따르면 55~64세의 신중년은 49.4세에 평균적으로 가장 오래 일해 온 직장을 떠났다. 회사 폐업, 사업부진 등의 이유가 3분의 1 정도로 가장 많은데, 상당수가 중소 기업의 직장인이었을 것이라 추정할 수 있다.정년 퇴직은 7.1%로 거의 59세까지 일한 후 그만 둔다. 55~64세 중 가장 오래 일한 직업에서 퇴직 연령은 49.4세…55~79세 인구 절반이 연금 못 받아 “73세 취업 경험이 있는 55~64세 ‘신중년’이 인생에서 가장 오래 영위하던 직업을 그만둔 나이는 평균 49.4세인... biz.khan.co.kr 노동연구원 자료에 따르면 2004년에는 평균적으로 54.1세까지 일했으니, 지금보다는 5년 정도 더 오래 직장에서 일한 셈이다. 문제는 퇴직 이후의 삶.. 2020. 12. 21.
[파이썬 팁] Dictionary 행들을 DataFrame으로 바꾸기 가끔씩 컬럼 내의 데이터가 아래와 같이 Dictionary 형태의 String으로 된 경우가 있다. 컬럼의 데이터들을 Dictionary의 Key값으로 Column을 만들고, Value들을 각각의 Row로 만든다면 분석이 한결 편리해진다. 이럴 때는 간단히 key값만 column으로 뽑고, values들만 모아서 list로 만들어 준 다음에, 이 둘을 DataFrame 생성시 인자로 넘겨 주면 된다. import json import pandas as pd # Dictionary로 보이는 값들은 사실 String이다. Dictionary로 읽어들인다. df = data.apply(lambda x:json.loads(x['loc']), axis=1 ) df = pd.DataFrame(df, columns=.. 2020. 12. 7.
[데이터분석] 비전을 이용한 식물 분류 비전 기술은 불량을 찾아내기 위한 공정 검사에 많이 쓰인다. 비전 기술을 쉽게 따라하기 위해 Kaggle의 식물 분류 과제를 잘 정리한 노트북을 따라 실습해 보았다. Plant Seedlings Classification Determine the species of a seedling from an image www.kaggle.com 과제는 주어진 학습데이터를 12종의 식물분류로 학습하고 테스트 이미지 데이터가 어떤 식물인지 맞추는 것이다. MNIST의 이미지 인식 버전이고 식물 종류가 좀 더 많아졌다고 생각하면 된다. 참조한 노트북은 아래와 같이 잘 정리되어 있다. Plant Seedlings with CNN and Image Processing Explore and run machine learni.. 2020. 11. 8.
[데이터분석] Anomaly Detection을 위한 데이터 탐색 공정에서 이상치를 발견하거나, 금융 사기, 수요 예측 등 이상치 감지는 상당히 많이 쓰인다. 이상치가 있다는 건 기존의 데이터가 어느 정도 패턴을 가지고 있다는 뜻이기도 한데, 이번에는 데이터 분석을 통해 그 패턴이란 것이 존재하는 지를 찾기 위한 t-SNE를 본다. 다른 한편, 이상치라는 것이 상당히 unbalanced 데이터이기 때문에 학습이 제대로 되지 않는 경우가 많다. 이런 경우, 이상치의 개수를 늘려 학습하도록 하는 SMOTE를 적용해 볼 예정이다. 분석 예제는 Kaggle의 Credit Card Fraud Detection을 활용할 것이고, Credit Card Fraud Detection Anonymized credit card transactions labeled as fraudulent.. 2020. 11. 1.