코코잼잼의 개발 도전

안녕하세요 코코잼잼입니다. 데이터 수집을 하는 과정에서 우리는 직접 CSV, JSON, EXCEL 형태의 파일을 사용할 수도 있지만, 웹 상에서 크롤링을 통해 데이터를 수집하는 방법도 있습니다. 이번 기회에 웹 상에서 데이터를 수집하는 방법을 알아보도록 하겠습니다. Web Crawling Web Crawling 이란? 웹 상에 존재하는 다양한 형태(이미지, 텍스트, API 등)의 정보(데이터)를 추출하고, 수집하는 것을 말합니다. 예를 들어 최근 트렌드를 알아보기 위해 특정 검색어에 따른 결과들에 어떤 단어들이 쓰이는지, 빈도 수나 이미지들을 코딩을 통해 웹사이트의 내용들을 싹 긁어와서 데이터로 활용할 수 있습니다. 이는 데이터 분석에서 매우 중요한 요소이므로 꼭 알아두었으면 합니다. 이번 글에서는 ["..

참고 이전글 [Python 실습 준비] 오픈API 활용하기(1) 오픈 API 요청키 생성 목차 1. Python 환경에서 불러오기 2. XML 3. JSON 4. DataFrame 변환 1. Python에서 불러오기 # 라이브러리 가져오기 import lxml import requests from bs4 import BeautifulSoup import pandas as pd import time import math service_key = '인증키 입력하기' # 인증키 url = f'http://openapi.seoul.go.kr:8088/{service_key}/xml/tbLnOpendataRtmsV/1/5/' # 인증키 포함 주소 2. XML # XML 생성하기 req = requests.get(..

Kaggle Competition에 이어 이번에는 오픈 API를 이용한 실습을 해보려고 한다. 오픈 API란 API는 Application Programming Interface의 약자로 [정의 및 프로토콜 집합을 사용하여 두 소프트웨어 구성 요소가 서로 통신할 수 있게 하는 메커니즘] 이다. 간단히 말해 프로그램들이 서로 상호작용하는 것을 도와주는 매개체라고 생각하면된다. 오픈 API란 이 API를 누구나 사용할 수 있도록 공개된 API이다. 데이터를 표준화하고 프로그래밍해 외부 소프트웨어 개발자나 사용자가 바로 개발에 활용할 수 있는 형태의 개방 형식이다. 개방된 오픈API를 이용해 다양하고 재미있는 서비스나 애플리케이션, 다양한 형태의 플랫폼을 개발할 수 있다. 실습을 위해서는 기본적으로 이러한 오..

이전 글 이론 : [T-test] 독립표본과 대응표본의 평균 검정 실습 1 : [Python 통계 분석 실습] 1. Z-TEST & One-Sample T-TEST 실습의 과정과 목표 Python (Google colab) 사용 다시 한번 이론 정리 간단한 예제 코드로 분석해 보기 그래프 시각화 해보기 이 글의 내용과 예제코드의 출처는 연세 IT미래교육원의 수업 과정 중 정지훈 강사님의 교육을 바탕으로 작성되었습니다. 두 번째 실습 예제는 Independent-Sample(독립표본) T-Test에 대한 예제이다. 목차 두 평균의 비교 Independent Sample T-Test Independent Sample T-Test 예제 실습 1. 두 평균의 비교 두 집단의 평균 비교는 실무에서 자주 쓰이는 테..

본 블로그의 [T-test] 독립표본과 대응표본의 평균 검정 글에서 T-test의 개념에 대해 다뤄보았다. 이론을 공부했다면 예제 실습을 해 보는 것은 당연한 수순이라 생각한다. 따라서 앞선 이론을 바탕으로 Z-test, One-Sample T-test(단일 표폰 t-test), Independent_Sample T-test(독립표본 t-test), Paired_Sample T-test(대응표본 t-test) 등에 대해 실습해 보자. 실습의 과정과 목표 Python (Google colab) 사용 다시 한번 이론 정리 간단한 예제 코드로 분석해 보기 그래프 시각화 해보기 이 글의 내용과 예제코드의 출처는 연세 IT미래교육원의 수업 과정 중 정지훈 강사님의 교육을 바탕으로 작성되었습니다. 첫 실습 예제는 ..

파이썬을 공부하다 보니 어느새 첫 번째 슬럼프가 왔다. 기초 이론은 배웠다 생각하고 Kaggle의 Competiton을 진행해 보려는데 이게 무슨 일? 아~예 하나도 감이 안 온다... 대체 나는 무엇을 배운 것이었나? 그러던 중 하나의 글을 보게 되었다. https://kaggle-kr.tistory.com/32 [이유한님] 캐글 코리아 캐글 스터디 커널 커리큘럼 유한님이 이전에 공유해주신 캐글 커널 커리큘럼 정리본입니다. 다들 Keep Going 합시다!! 커리큘럼 참여 방법 필사적으로 필사하세요 커널의 A 부터 Z 까지 다 똑같이 따라 적기! 똑같이 3번적고 다 kaggle-kr.tistory.com 나에게 있어 지금 가장 큰 적은 조급함 인 것 같다. 위의 글에서 핵심은 필사적으로 필사하세요 커널..

Python을 공부하면서 배운 것들을 활용하여 머신러닝 대시보드를 개발해 보는 실습을 해보자. 이번 실습은 Pycharm (Python 3.9)에서 진행하였다. 목차 1. 사용한 모듈 2. 구상하기 3. Main 페이지가 될 app.py 파일 생성 4. Main 페이지에 들어갈 내용 만들기 5. EDA (탐색적 자료분석) 메뉴 6. ML(머신러닝) 학습 모델 생성 7. ML(머신러닝) 메뉴 8. 모든 페이지를 Main 페이지에 적용하기 9. 실습을 마치며 1. 사용한 모듈 Matplotlib과 Seaborn, Plotly를 이용하여 시각화 Streamlit을 활용한 웹 배포 Scikit-Learn을 활용한 머신러닝 모델 생성 그 외 pandas, joblib, os, numpy 활용 2. 구상하기 Str..

이번 글에서는 Streamlit의 기본적인 기능에 대해 알아보도록 하자. 각 명령어들의 자세한 옵션 및 설명은 Streamlit 홈페이지 (링크)에서 확인 가능하니 참고하도록 하자. 목차 강조 문구 제목 넣기 텍스트 넣기 Header SubHeader Markdown 색상이 들어간 텍스트 Feature ( Progress, Status 메시지 ) 텍스트 넣기 st.write( ) 도움말 확인 위젯 만들기 버튼 만들기 체크 박스 만들기 라디오 버튼 만들기 선택 박스 만들기 다중 선택 박스 만들기 슬라이더 만들기 데이터 불러오기 데이터 출력 각종 콘텐츠 출력 (이미지, 비디오, 오디오) 차트 출력 사이드바, 레이아웃 # -*- coding:UTF-8 -*- import streamlit as st impor..

1. Streamlit 소개 https://streamlit.io/ Streamlit • A faster way to build and share data apps Streamlit is an open-source app framework for Machine Learning and Data Science teams. Create beautiful web apps in minutes. streamlit.io Streamlit은 별다른 프론트엔드 작업 없이 순수 Python 스크립트 하나만으로 웹을 배포 / 공유할 수 있습니다. 2. GitHub Repository 만들기 https://github.com/ Streamlit은 GitHub와 연동하여 사용된다. GitHub에 Repository를 만들어 코..

Plotly 공식 홈페이지에서는 학습에 용이한 다양한 데이터셋을 제공한다. Plotly 제공 데이터셋 링크 : https://plotly.com/python-api-reference/generated/plotly.data.html plotly.data package — 5.14.1 documentation plotly.data package Built-in datasets for demonstration, educational and test purposes. plotly.data.carshare() Each row represents the availability of car-sharing services near the centroid of a zone in Montreal over a month-l..