퀀트/Python 3

pangres를 사용해서 pandas로 mysql에 upsert하기.

pangres 라이브러리를 사용하면, 보다 효율적으로 mysql의 기존 데이터 테이블을 upsert(수정과 추가) 할 수 있다. pandas의 to_sql 메서드로는 기존의 데이터를 다루는데 한계가 있었고, * to_sql 메서드의 if_exist 설정 시 발생하는 문제점 : if_exists: {‘fail’, ‘replace’, ‘append’} fail: ValueError 발생. replace: 이전 데이터가 삭제됨. append: 기존 데이터가 중복됨. 기존에는 이러한 문제를 해결하기 위해 추가적으로 수정해야할 데이터만 남기는 함수를 구현하거나, sqlalchemy 와 pymysql 두 가지 방식으로 쿼리문을 작성하며 upsert 했었다. 하지만, pangres 를 활용하면 좀 더 효율적으로 up..

퀀트/Python 2023.06.25

python Numpy 총정리

Numpy¶ 수치를 다루는 분야를 위한 파이썬 패키지. Numerical Python 의 약자이다. Array 또는 Matrix(행렬)와 같은 자료구조를 다룬다. Numpy 사용하기¶ 🔻Numpy 설치와 호출 In [1]: !pip install numpy import numpy as np 🔻특징 1. n차원 배열 ndarray 객체이다. 행렬 연산과 비슷한 성분별 계산이 가능하다. 빠르고 유연한 자료형이다. In [20]: # 배열 생성 data1 = [1, 2, 3, 4, 5] arr1 = np.array(data1) data2 = [[1, 2, 3, 4], [5, 6, 7, 8]] arr2 = np.array(data2) arr1, arr2 Out[20]: (array([1, 2, 3, 4, 5])..

퀀트/Python 2023.03.14

Anaconda 와 Jupyter Notebook 설치하여 Python 실행 환경 만들기

Anaconda jupyter notebook 과 python 패키지 사용 환경을 제공해주는 오픈소스 배포판이다. 패키지 관리 및 대규모 데이터 처리, 기계 학습, 예측 분석 등 많은 패키지가 포함되어 있다. Anaconda Navigator 설치 아나콘다 네비게이터 설치시 파이썬과 유용한 파이썬 패키지들도 포함되어 설치된다. 링크 : https://www.anaconda.com/products/distribution Anaconda | Anaconda Distribution Anaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single machine...

퀀트/Python 2023.03.07