코코잼잼의 개발 도전

출처 : https://www.kaggle.com/code/kashishrastogi/store-sales-analysis-time-serie 📝Store Sales Analysis⏳ Time Serie Explore and run machine learning code with Kaggle Notebooks | Using data from Store Sales - Time Series Forecasting www.kaggle.com Kaggle Competition Store Sales - Time Series Forecasting ( Use machine learning to predict grocery sales )의 Code 탭에서 Most Votes 순으로 정렬 두 번째에 있는 Code를 필사하..

파이썬을 공부하다 보니 어느새 첫 번째 슬럼프가 왔다. 기초 이론은 배웠다 생각하고 Kaggle의 Competiton을 진행해 보려는데 이게 무슨 일? 아~예 하나도 감이 안 온다... 대체 나는 무엇을 배운 것이었나? 그러던 중 하나의 글을 보게 되었다. https://kaggle-kr.tistory.com/32 [이유한님] 캐글 코리아 캐글 스터디 커널 커리큘럼 유한님이 이전에 공유해주신 캐글 커널 커리큘럼 정리본입니다. 다들 Keep Going 합시다!! 커리큘럼 참여 방법 필사적으로 필사하세요 커널의 A 부터 Z 까지 다 똑같이 따라 적기! 똑같이 3번적고 다 kaggle-kr.tistory.com 나에게 있어 지금 가장 큰 적은 조급함 인 것 같다. 위의 글에서 핵심은 필사적으로 필사하세요 커널..

1. 라이브러리 패키지 import 시키기 기본 패키지 numpy pandas os gc warnings 통계 분석 패키지 statsmodels.api skitlearn 시각화 패키지 matplotlib.pyplot seaborn plotly.express 기타 세부 설정 열 이름 표시 과학적 표기법 사용 안 함 경고메시지 비활성화 등 2. Google Drive 연결 및 데이터 불러오기 Google Drive 연결 데이터 불러오기 object타입을 DateTime으로 설정 및 Date Types 변환 불러온 Data 확인 3. 탐색적 자료 분석 ( EDA ) 데이터 전처리 : 임시 데이터 생성 결측값 처리 시각화를 통한 데이터 이해 상관분석을 통한 변수 간의 관계 파악 그룹핑 중간마다. shape를 사..

출처 : https://www.kaggle.com/code/ekrembayar/store-sales-ts-forecasting-a-comprehensive-guide/notebook Kaggle Competition Store Sales - Time Series Forecasting ( Use machine learning to predict grocery sales )의 Code 탭에서 Most Votes 순으로 정렬 제일 위에 있는 Code를 필사하면서 주석도 달아보고 해석하여 이해와 공부 # Packages # BASE # ------------------------------------------------------ import numpy as np import pandas as pd impor..

Python을 공부하면서 배운 것들을 활용하여 머신러닝 대시보드를 개발해 보는 실습을 해보자. 이번 실습은 Pycharm (Python 3.9)에서 진행하였다. 목차 1. 사용한 모듈 2. 구상하기 3. Main 페이지가 될 app.py 파일 생성 4. Main 페이지에 들어갈 내용 만들기 5. EDA (탐색적 자료분석) 메뉴 6. ML(머신러닝) 학습 모델 생성 7. ML(머신러닝) 메뉴 8. 모든 페이지를 Main 페이지에 적용하기 9. 실습을 마치며 1. 사용한 모듈 Matplotlib과 Seaborn, Plotly를 이용하여 시각화 Streamlit을 활용한 웹 배포 Scikit-Learn을 활용한 머신러닝 모델 생성 그 외 pandas, joblib, os, numpy 활용 2. 구상하기 Str..

이번 글에서는 Streamlit의 기본적인 기능에 대해 알아보도록 하자. 각 명령어들의 자세한 옵션 및 설명은 Streamlit 홈페이지 (링크)에서 확인 가능하니 참고하도록 하자. 목차 강조 문구 제목 넣기 텍스트 넣기 Header SubHeader Markdown 색상이 들어간 텍스트 Feature ( Progress, Status 메시지 ) 텍스트 넣기 st.write( ) 도움말 확인 위젯 만들기 버튼 만들기 체크 박스 만들기 라디오 버튼 만들기 선택 박스 만들기 다중 선택 박스 만들기 슬라이더 만들기 데이터 불러오기 데이터 출력 각종 콘텐츠 출력 (이미지, 비디오, 오디오) 차트 출력 사이드바, 레이아웃 # -*- coding:UTF-8 -*- import streamlit as st impor..

이번 글에서는 python의 sklearn 모듈의 pipeline에 대한 예제를 다뤄볼 예정이다. 앞의 글 [데이터 분석] Data Leakage Part 2. Pipeline architecture [데이터 분석] Data Leakage Part 3. sklearn.pipeline 을 참고하면 이해하는데 도움이 될 수 있다. 1. Pipeline 사용법 간단하게 ①변수선택 → ②표준화 → ③모형학습 3단계를 가정해 보자. 1) Pipeline을 사용하지 않았을 경우 기존 방식대로 위의 3단계를 수행할 경우 ①변수선택부터 ②표준화, ③모형학습까지 각각 하나하나 코딩해야 한다. # 필요한 라이브러리 불러오기 from sklearn.feature_selection import SelectKBest, f_cl..

1. Streamlit 소개 https://streamlit.io/ Streamlit • A faster way to build and share data apps Streamlit is an open-source app framework for Machine Learning and Data Science teams. Create beautiful web apps in minutes. streamlit.io Streamlit은 별다른 프론트엔드 작업 없이 순수 Python 스크립트 하나만으로 웹을 배포 / 공유할 수 있습니다. 2. GitHub Repository 만들기 https://github.com/ Streamlit은 GitHub와 연동하여 사용된다. GitHub에 Repository를 만들어 코..

Data Leakage Part 1. 글에서 Data Leakage의 발생과 문제점 감지 등에 대해 다루었다. 이번 글에서는 Data Leakage의 해결방안 중 하나인 Pipeline architecture에 대해 알아보겠다. 목차 1. Pipeline architecture 란 무엇인가? 2. Pipeline의 장점 3. Python에서 Scikt-Learn을 통한 Pipeline architecture 활용하기 (Scikit-Learn Machine Learning Pipeline) 1. Pipeline architecture 란 무엇인가? 머신러닝에서 Data Leakage에 빠지지 않기 위한 방법 중 하나로 Cross_Validated(교차 검증)이 있다. 교차 검증은 간단히 말해 모델 별로 전..

프로젝트의 시작 (2023.04.20 ~ 2023.05.17) Kaggle Competition : Store Sales - Time Series Forecasting ( Use machine learning to predict grocery sales ) 링크 : https://www.kaggle.com/competitions/store-sales-time-series-forecasting/overview Store Sales - Time Series Forecasting | Kaggle www.kaggle.com 1. 대회 목표 : 식료품 소매업체의 데이터로 매장 매출을 예측 ( 시계열 예측) 여러 매장에서 판매되는 수천 가지 품목의 판매 단가를 더 정확하게 예측하는 모델을 구축 날짜, 매장 및 품목..