[Python] 데이터프레임 데이터 Parquet(파케이)로 파일 저장하고 읽기

Parquet이란?빅데이터를 처리할 때 많은 시간과 비용이 들어가는데 Parquet을 사용하므로써 데이터를 압축시켜 빠르게 읽게 해줄 수 있는 파일 포맷이다. csv나 xlsx처럼 Parquet(파케이)도 .parquet 이라는 확장자명을 가지고 있다.  🌲Parquet(파케이)란? 컬럼기반 포맷 장점/구조/파일생성 및 열기어떻게 알게 되었나? 보통 수집한 데이터들은 정형데이터, 비정형데이터에 따라 RDB나 NoSQL로 저장했다. 그런데 데이터레이크를 만들면서 객체스토리지인 s3에 데이터를 저장해야했다. 사실 처음pearlluck.tistory.com 파케이에 대해 좀 더 설명하자면, Parquet 파일로 변환 후 저장하면 열 기반 형식으로 데이터가 저장된다.열 기반으로 저장한다는 의미는 테이블의 각 ..