End-to-End Process Data Preprocessing Data Preprocessing 종류 Data Restructuring Data Value Changes 데이터 정제(Cleaning Dirty Data) 데이터에서 잘못된 정보(오류), 누락된 값, 사용할 수 없는 데이터, 이상치 등을 식별하고 수정하거나 제거하는 과정입니다. 이 과정은 데이터의 정확성과 신뢰성을 확보하는 데 중요합니다. Missing Data Wrong Data Unusable Data Outliers 텍스트 데이터 전처리(Text Data Processing) 텍스트 데이터를 분석 가능한 … Read more
End-to-End Process 이 순서는 꼭 순차적일 필요는 없다. Objective Setting (목표 설정) 빅 데이터는 비즈니스 문제를 해결하는 해답과 인사이트를 제공할 수 있다. 하지만 빅 데이터는 제한적인 역할을 가지고 있다. 종종 비즈니스 관리, 투자 등이 문제를 해결하는 데에 필요할 수도 있다. Data Curation Data Curation이란? Data Curation의 어려움 대형 데이터 벤더 데이터 과학과 빅데이터 분석에 있어서, … Read more
matplotlib이란? 주요 그래프 유형 선 그래프(Line Plot): 데이터의 변화나 경향성을 시간의 흐름에 따라 보여줍니다. 막대 차트(Bar Chart): 범주별 값의 크기를 막대의 길이로 나타내어 비교합니다. 히스토그램(Histogram): 데이터의 분포를 나타내는 데 사용됩니다. 파이 차트(Pie Chart): 전체에 대한 각 부분의 비율을 보여줍니다. 산점도(Scatter Plot): 두 변수 간의 관계를 점으로 나타냅니다. 상자 그림(Box Plot): 데이터의 분포와 이상치를 요약하여 보여줍니다.
데이터 과학을 위한 파이썬 라이브러리 파이썬 라이브러리 시각화 라이브러리 라이브러리 설명 1. NumPy (Numerical Python) 2. SciPy (Scientific Python) 3. Pandas 4. SciKit-Learn (Sklearn) 5. Matplotlib 6. Seaborn NumPy 기초 기초 Creating an Array Creating a Sequence 배열 인덱싱 및 슬라이싱 배열 연산 배열 형태 변경 출력 1차원 배열 2차원 배열 3차원 이상의 배열 대규모 … Read more
End-to-End Process Data Analysis는 machine learning 사용, RDB 쿼리, text, images 등을 포함합니다. 빅 데이터의 제한된 역할 빅 데이터가 비즈니스 문제 해결에 있어 중요한 통찰력과 정보를 제공할 수는 있지만, 문제 해결의 전부는 아닙니다. 즉, 빅 데이터 분석을 통해 얻은 인사이트가 비즈니스 문제를 이해하고 방향성을 제시하는 데 도움이 될 수 있으나, 실제 문제를 해결하기 위해서는 그 … Read more