[Python] Pandas의 DataFrame과 데이터베이스 직접 연동

32-영화진흥원 박스오피스 데이터 수집, 저장

[Python] Pandas의 DataFrame과 데이터베이스 직접 연동

SqlAlchemy 패키지를 활용하여 Pandas의 DataFrame과 데이터베이스를 직접 연동시키는 방법을 소개합니다.

[Python] pymysql을 활용한 MySQL연동

python 데이터베이스 연동 패키지인 pymysql을 활용하면 MySQL과 연동할 수 있습니다.

[Python 데이터 시각화] 코로나19 국내현황 집계하기

http://itpaper.co.kr/demo/covid19/all.php 페이지를 통해 JSON 데이터를 수집하여 그 결과를 지역별 딕셔너리로 구성하고 집계 결과를 생성한 후 각종 시각화 지표를 만드는 과정을 소개합니다. 이 포스팅에서 제시하는 시각화 결과물은 질병관리본부의 웹 페이지 결과물을...

[Python 데이터 시각화] 코로나19 선별진료소 분포 지도시각화

코로나19로 인한 사회적 거리두기가 시행되는 동안 갑작스럽게 얻은 휴가 아닌 휴가를 보냈었습니다. 그 동안 이 시국을 반영한 학습 예제를 만들어보고 싶다는 생각이 들어서 공공데이터 포털의 선별진료소 위치 데이터 파일을 내려받아...

[Python 데이터 시각화] SVG 파일을 활용한 지도 시각화

SVG(Scalable Vector Graphics)는 JPEG, PNG와 같은 그래픽 포맷(Graphic format)의 하나로서 벡터 기반이기 때문에 리사이징이 되어도 전혀 깨지지 않고 모든 해상도에서 자유자재로 활용할 수 있는 이미지 형식 입니다.

[Python 데이터 시각화] 공적마스크 판매정보 지도시각화

공공데이터포털에서는 코로나19 사태 이후 공적마스크 판매 정보를 OpenAPI 형태로 공개하고 있습니다. 이번 포스팅에서는 이 데이터를 requests 패키지를 활용하여 수집한 후 Folium 패키지를 통해 지도위에 시각화 하는 예제를 소개합니다.

[Python 데이터 시각화] folium 지도 시각화

파이썬에서 지도를 활용할 수 있도록 하는 패키지는 여러가지가 있지만, 그 중에서 가장 손쉽게 사용할 수 있는 패키지는 folium 입니다. 이 포스팅에서는 folium을 활용하여 지도위에 데이터를 시각화 하는 과정을 소개합니다.

[Python 데이터 수집] Selenium을 활용한 인스타그램 이미지 수집

파이썬 데이터 분석 관련 수업을 진행하면서 만난 패션회사에 근무하시는 수강생 분께서 인스타그램에서 특정 해시태그에 대한 이미지를 수집하는 업무를 매일 수행하고 있다는 말씀을 하셨습니다. 그 말을 듣고 수업시간에 인스타그램에서 이미지를 수집하고...

[Python 데이터 수집] Selienium을 활용한 쇼핑몰 장바구니 데이터 수집

Selienium을 활용하면 로그인을 해야만 접근 가능한 웹 페이지도 손쉽게 데이터를 수집할 수 있습니다. 이 포스팅에서는 샘플 쇼핑몰 웹 사이트에 저장되어 있는 장바구니에 담긴 상품의 총 합계 금액을 구하는 예제를 소개합니다....

[Python 데이터 수집] 이젠 아카데미 클럽 게시글 수집

로그인을 해야만 접근 할 수 있는 페이지나, 동적으로 화면이 변하는 웹 페이지로부터 컨텐츠를 수집하기 위해 사용되는 Selenium에 대해 알아 봅니다.

[Python 데이터 수집] 페이지번호를 활용한 쇼핑몰 상품 정보 수집

웹 사이트들은 많은량의 컨텐츠를 한번에 표시할 경우 로딩 시간이 오래 걸리는 현상을 방지하기 위해 일정 수량씩 데이터를 끊어서 노출합니다. 그리고 페이지 번호라는 기능을 통해 이 데이터들에 순차적으로 접근할 수 있는...

[Python 데이터 수집] 네이버 뉴스목록 수집

네이버 뉴스 메인 페이지에는 각 분야별로 최신 기사로 이동할 수 있는 링크가 노출되어 있습니다. 이 링크들을 통해 뉴스기사 본문에 대한 URL들을 수집하여 리스트를 만들고 리스트에 저장된 URL들에 대한 반복문을 수행하면서...

[Python 데이터 수집] 웹 페이지 컨텐츠 수집

파이썬의 requests 모듈은 웹 상에 공개되어 있는 컨텐츠는 어떤 형식이든지 수집할 수 있습니다. requests가 수집한 컨텐츠의 형식이 웹 페이지(HTML)인 경우 bs4 패키지의 BeautifulSoup 패키지를 사용하여 원하는 부분의 컨텐츠만 추려낼 수...

[Python 데이터 수집] BeautifulSoup 활용시의 CSS 선택자 정리

BeautilfulSoup은 bs4 패키지에 포함된 클래스로서 requests패키지를 통해 가져온 웹 페이지의 HTML 소스코드를 분석하여 원하는 영역만 추출하는 기능을 제공하는 패키지 입니다.

[Python 데이터 수집] 카카오 Open API (2) - 책,블로그 검색 연습문제

카카오개발자사이트에 로그인을 하고 난 후 발급받는 REST API Key를 사용하면 카카오 Open API를 통해 다음에서 제공되는 검색 결과를 수집할 수 있습니다.

[Python 데이터 수집] 카카오 Open API (1) - 이미지 검색

카카오개발자사이트에 로그인을 하고 난 후 발급받는 REST API Key를 사용하면 카카오 Open API를 통해 다음에서 제공되는 검색 결과를 수집할 수 있습니다.

[Python 데이터 수집] 영화진흥원 Open API를 통한 박스오피스 데이터 수집

OpenAPI란, 누구나 사용할 수 있도록 공개된 API로서 대부분의 OpenAPI는 데이터 교환 형식으로 JSON을 사용합니다.

[Python 데이터 수집] JSON 데이터 수집

JSON은 경량의 데이터 표현 형식으로 최근에는 웹, 모바일 등을 중심으로 서로 다른 플랫폼간의 데이터 교환을 위하여 활용되고 있는 사실상의 산업 표준 입니다. 특히 OpenAPI등을 통해 다른 곳에서 제공하는 데이터를 수집할...

[Python 데이터 수집] HTTP 통신을 활용한 웹 데이터 수집

Python의 requests 모듈을 사용하면 HTTP 통신을 사용하여 웹 페이지, Open API, 이미지 등 다양한 형식의 자원에 접근할 수 있습니다.

[Python 데이터 분석] 가설검정의 이해와 T-검정

통계기반 데이터 분석은 기술통계와 추론통계로 구분됩니다. 기술통계는 앞에서 소개한 데이터전처리, 정제 등을 포함한 데이터를 설명하기 위한 과정 전반을 의미하고 추론통계는 어떠한 가설을 검증하는 과정을 통해 예측을 하기 위한 데이터 분석을...

[Python 데이터 분석,시각화] 한국복지패널 데이터 분석 실습

한국복지패널은 빈곤층, 근로빈곤층, 차상위층등 다양한 계층의 규모 및 생활실태 변화를 동태적으로 파악함으로써 정책형성에 기여함과 동시에 정책지원에 따른 효과성을 제고하고자 하는 곳으로서 한국복지패널의 자료실에서 수집된 데이터들을 내려받아 볼 수 있습니다.

[Python 데이터 분석,시각화] mpg 데이터 실습

mpg데이터는 R의 ggplot2 패키지에 포함되어 있는 예제 데이터로 1998년, 2004년, 2008년도에 미국에서 생산되는 자동차 제조회사들의 자동차의 연비,구동방식 등을 조사한 데이터입니다. 이를 활용하여 지금까지 살펴본 데이터 분석의 기본 개념들과 시각화 방법을...

[Python 데이터 시각화] 서브플롯

Matplotlib은 서브플롯이라는 기능을 통해 하나의 그래픽 영역을 나누어 두 개 이상의 시각화 결과물을 하나의 화면에서 표현하는 기능을 제공합니다.