본문 바로가기

AI 빅데이터/Python 테크틱과 팁7

[Python] Version Upgrade 하기 Python 의 낮은 Version을 사용하다보면 설치되지 않는 패키지가 있다. 이를테면 Langchain은 Python 3.9 이상을 요구한다. Python Version을 Upgrade하고 Jupyter에서 사용하기 위한 방법을 알아 본다. Python 업그레이드 현시점 최신버전인 12.3 기준으로,, > sudo apt update> sudo apt upgrade> sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev> wget https://www.python.. 2024. 4. 26.
[Zip] Starred Expression : Unzip하기 두개의 List를 묶어 Dictionary 형태로 만드려면 zip 함수를 사용하면 된다. word = ['Pierre', 'Vinken', ',', '61', 'years', 'old', ',', 'will', 'join', 'the', 'board', 'as', 'a', 'nonexecutive', 'director', 'Nov.', '29', '.'] tag_info = ['NNP', 'NNP', ',', 'CD', 'NNS', 'JJ', ',', 'MD', 'VB', 'DT', 'NN', 'IN', 'DT', 'JJ', 'NN', 'NNP', 'CD', '.'] tagged = dict(zip(word, tag_info)) print(tagged.items()) ==> dict_items([('Pi.. 2024. 3. 7.
[Apple M1] M1 칩용 Tensorflow 설치 M1 Air를 사고 아래와 같이 삽질하면 Tensorflow를 설치하는 데 까지는 성공했으나, 성능에서 만족은 느낄 수 없었다. [Apple M1] Apple 실리콘용 Tensorflow 실행하기 높으신 분의 은혜로 출시일에 맞춰 주문했고, 오늘 M1 맥북에어를 손에 넣었다(무려 램도 늘려 주셨다). 제일 관심 갔던 것은 아무래도 뉴럴칩으로 머신러닝이 가능하다는 것이었다. Accelerating Ten magoker.tistory.com 한동안 잊고 지내다가 혹시나 공식 발표가 있나 싶어서 검색해보니 Tensorflow 2.5부터는 비교적 쉽게 개발환경을 제공하고 있음을 알 수 있었다. 설치 순서는 아래와 같다. 그저 따라서 설치해보자 1) Xcode Command Line Tool 설치 xcode-se.. 2021. 10. 22.
[파이썬 팁] Apache Arrow로 Dataframe 빨리 읽기 Arrows는 Apache에서 만든 Python 도구로 Multi Thread로 파일을 읽어들인다고 한다. 상식적으로 여러 Thread에서 I/O를 병렬적으로 진행하면 오히려 느려질 것 같은데, 아무튼 빠르다. Columnar 저장 방식을 활용하고 기본 포맷으로 Parquet를 사용한다. 여러 포스팅들에서 다루고 있지만, row-based 방식에 비해 columnar는 컴퓨터가 다루기 쉬운 형태로 저장한다. Parquet는 사실상의 빅데이터 표준으로 자리 잡았고, 속도와 압축률이 무척 뛰어나다. 간단히, Arrow와 Pandas의 읽기 성능을 비교해보면 아래와 같다. 둘다 데이터분석에 활용하기 위한 Dataframe 형식으로 Load하였고, Arrow는 Parquet형식으로 읽어 dataframe으로 변.. 2021. 1. 7.
[Apple M1] Rosetta Terminal 실행과 Conda 설치 아직 M1에서는 많은 파이썬 라이브러리를 지원하지 않는다. Pandas를 포함해서.. 지난 포스팅에서 tensorflow와 jupyter 설치를 소개했는데, 결론적으로 안타깝게도 pandas는 tensorflow와 아직 함께 사용할 수 없다. tensorflow를 사용하지 않으면 rosetta와 conda를 이용해서 별도의 파이썬 환경을 실행하면 되는데, 딥러닝을 사용하지 않는 머신러닝 환경은 구성할 수 있다. 아니면 colab을 이용하든가. rosetta를 이용해 conda를 설치하려면 우선 rosetta용 터미널을 실행해야 하는데, 우선 Finder의 '이동' 메뉴로 간다. '유틸리티'를 선택하면 터미널이 있는데, 이를 오른 버튼을 눌러 '복제' 메뉴 선택으로 하나 더 만든다. 이름을 바꾸고(예. 로.. 2020. 12. 30.
[Apple M1] Apple 실리콘용 Tensorflow 실행하기 요 글로 유입이 많아서, 안내 드립니다. Apple에서 M1 Silicon에 맞추어 Tensorflow를 공개했고, 아래 포스팅을 이용하여 설치 가능합니다. 다만, tensorflow_text라든가 일부 패키지는 apple이 지원하지 않아 아직 사용 안되는 듯 합니다. [Apple M1] M1 칩용 Tensorflow 설치 (tistory.com) [Apple M1] M1 칩용 Tensorflow 설치 M1 Air를 사고 아래와 같이 삽질하면 Tensorflow를 설치하는 데 까지는 성공했으나, 성능에서 만족은 느낄 수 없었다. [Apple M1] Apple 실리콘용 Tensorflow 실행하기 높으신 분의 은혜로 출시일에 맞춰 주 magoker.tistory.com ------------ 높으신 분의 .. 2020. 12. 22.

티스토리툴바