코코잼잼의 개발 도전

안녕하세요 코코잼잼입니다. 데이터 수집을 하는 과정에서 우리는 직접 CSV, JSON, EXCEL 형태의 파일을 사용할 수도 있지만, 웹 상에서 크롤링을 통해 데이터를 수집하는 방법도 있습니다. 이번 기회에 웹 상에서 데이터를 수집하는 방법을 알아보도록 하겠습니다. Web Crawling Web Crawling 이란? 웹 상에 존재하는 다양한 형태(이미지, 텍스트, API 등)의 정보(데이터)를 추출하고, 수집하는 것을 말합니다. 예를 들어 최근 트렌드를 알아보기 위해 특정 검색어에 따른 결과들에 어떤 단어들이 쓰이는지, 빈도 수나 이미지들을 코딩을 통해 웹사이트의 내용들을 싹 긁어와서 데이터로 활용할 수 있습니다. 이는 데이터 분석에서 매우 중요한 요소이므로 꼭 알아두었으면 합니다. 이번 글에서는 ["..

참고 이전글 [Python 실습 준비] 오픈API 활용하기(1) 오픈 API 요청키 생성 목차 1. Python 환경에서 불러오기 2. XML 3. JSON 4. DataFrame 변환 1. Python에서 불러오기 # 라이브러리 가져오기 import lxml import requests from bs4 import BeautifulSoup import pandas as pd import time import math service_key = '인증키 입력하기' # 인증키 url = f'http://openapi.seoul.go.kr:8088/{service_key}/xml/tbLnOpendataRtmsV/1/5/' # 인증키 포함 주소 2. XML # XML 생성하기 req = requests.get(..

Kaggle Competition에 이어 이번에는 오픈 API를 이용한 실습을 해보려고 한다. 오픈 API란 API는 Application Programming Interface의 약자로 [정의 및 프로토콜 집합을 사용하여 두 소프트웨어 구성 요소가 서로 통신할 수 있게 하는 메커니즘] 이다. 간단히 말해 프로그램들이 서로 상호작용하는 것을 도와주는 매개체라고 생각하면된다. 오픈 API란 이 API를 누구나 사용할 수 있도록 공개된 API이다. 데이터를 표준화하고 프로그래밍해 외부 소프트웨어 개발자나 사용자가 바로 개발에 활용할 수 있는 형태의 개방 형식이다. 개방된 오픈API를 이용해 다양하고 재미있는 서비스나 애플리케이션, 다양한 형태의 플랫폼을 개발할 수 있다. 실습을 위해서는 기본적으로 이러한 오..