데이터 과학을 위한 통계_Chapter1_(2)

About this offer

Chapter1. 탐색적 데이터 분석_(2) 책 읽기 전.. 1.5 데이터 분포 탐색하기 “평균과 표준편차만 보고 데이터 전체를 안다고 할 수 있을까?” 답은 아님 (이게 무슨 말이냐햄..) 예를 들어 두 데이터가 평균과 표준편차가 비슷해도, A : █ █████ █████████ █████ █ B : ███ ███ ███ ███ 처럼 모양은 완전히 다를 수 있음 그래서 1.5에서는 분포의 모양을 직접 확인하는 방법이 등장함 책에서는 백분위수와 상자그림, 도수분포표와 히스토그램, 밀도 그림을 다룸 1.6 이진 데이터와 범주 데이터 탐색하기 “숫자가 아닌 데이터를 어떻게 요약할까?” 수치형은 평균을 계산할 수 있지만, 서울 + 부산 + 대구 ────────────── 3 같은 계산은 의미가 없음 그래서 개수(count), 비율(proportion), 최빈값(mode) 등이 중요해짐 그리고 여기서 기댓값(Expected Value) 과 확률(Probability) 도 나오는데, 지금은 처음부터 복잡한 확률수학이라고 겁먹지 말고: “여러 가능한 결과가 있을 때, 각 결과가 얼마나 자주/얼마나 가능하게 나타나는가?” 라는 관점으로 읽자햄 1.7 상관관계 두 변수가 같이 움직인다는 것은 정확히 무슨 뜻일까?” 그리고 반드시 기억할 전제: 상관관계가 있다고 해서 원인과 결과 관계라는 뜻은 아니다. 예를 들어 아이스크림 판매량과 물놀이 사고가 같이 증가한다고 해서: 아이스크림 ↓ 물놀이 사고 라고 할 수는 없어. 오 이거 강사님이 말씀하신 내용이다햄!! 둘 다 여름철 기온 같은 제3의 변수와 관계있을 수 있음 여기서는 특히 상관계수 숫자만 보지 말고 산점도(scatterplot) 를 같이 봐야 하는 이유를 생각하면서 읽기 1.8 두 개 이상의 변수 탐색하기 “변수의 종류가 다르면 어떤 그래프를 써야 할까?” 변수 조합 생각할 질문 수치형 × 수치형 둘이 같이 증가/감소하는가? 범주형 × 범주형 그룹별 비율이 다른가? 범주형 × 수치형 그룹마다 수치 분포가 다른가? 여러 변수 두 변수 관계가 제3의 변수에 따라 달라지는가? 1.9 마치며 데이터 하나를 받았을 때 어디서부터 EDA를 시작해야 하지? 데이터 확인 ↓ 변수의 종류 확인 ↓ 수치형 / 범주형 구분 ↓ 하나의 변수 탐색 ├─ 중심 ├─ 변이 └─ 분포 ↓ 두 변수 관계 탐색 ├─ 수치 × 수치 ├─ 범주 × 범주 └─ 범주 × 수치 ↓ 여러 변수 관계 확인 항상 느끼는 거지만 EDA도 너무 어렵다햄.. 이번 범위에서 특히 놓치지 않았으면 하는 4가지 통계량만 보지 말고 분포의 모양을 같이 본다. 변수의 자료형에 따라 적절한 요약·그래프가 달라진다. 상관계수 하나만 믿지 말고 산점도를 같이 본다. 관계가 있다고 해서 인과관계라고 결론 내리지 않는다. 책 읽는 중.. 1.5 데이터 분포 탐색하기 용어 정리 용어 영어 핵심 의미 백분위수 Percentile 데이터를 정렬했을 때 특정 비율에 해당하는 위치 사분위수 Quartile 데이터를 4등분하는 지점. Q1=25%, Q2=50%, Q3=75% 상자도표 Boxplot 중앙값, Q1, Q3, IQR, 이상치 등을 한눈에 보여주는 그래프 도수 Frequency 특정 값이나 구간에 데이터가 몇 개 있는지 도수분포표 Frequency Table 구간별 데이터 개수를 표로 정리한 것 구간 / 빈 Bin 연속된 수치 데이터를 일정 범위로 나눈 구간 히스토그램 Histogram 각 구간에 몇 개의 데이터가 있는지 막대로 표현 밀도 Density 특정 영역에 데이터가 상대적으로 얼마나 몰려 있는지 밀도 추정 Density Estimate 데이터가 어떤 분포 모양을 가지는지 부드러운 곡선으로 추정 커널밀도추정 KDE 각 데이터에 작은 커널을 놓고 합쳐 부드러운 밀도곡선을 만드는 방법 커널 Kernel KDE에서 각 데이터 위치에 놓는 작은 함수/언덕 대역폭 Bandwidth KDE 곡선을 얼마나 부드럽게 만들지 결정하는 값 헷갈리는 용어 및 질문 용어 핵심 의미 모멘트(Moment) 분포의 여러 특징을 수치적으로 표현하기 위한 개념 왜도(Skewness) 분포가 좌우 어느 방향으로 얼마나 비대칭인지 나타냄 양의 왜도 오른쪽 꼬리가 긴 분포 음의 왜도 왼쪽 꼬리가 긴 분포 첨도(Kurtosis) 분포의 꼬리와 극단값 특성을 나타내는 값 바이올린 플롯(Violin Plot) KDE를 좌우 대칭으로 표현해 분포의 모양과 밀도를 보여주는 그래프 모멘트 구조 1차 → 중심과 연결 2차 → 분산과 연결 3차 → 왜도 4차 → 첨도 더 읽을 거리 자료 연결되는 개념 Boxplot 가이드 보관본 상자도표, 중앙값, Q1·Q3, IQR, 수염, 이상치 Density Estimation in R 밀도추정, KDE, 분포의 모양 Basics of Histograms 히스토그램, bin, 구간 크기에 따른 그래프 변화 Box-plot with R Tutorial 상자도표를 실제 데이터로 그리는 방법 ⭐ Matthew Conlen – KDE 커널밀도추정, 커널, bandwidth를 직접 조절하며 이해 1.6 이진 데이터와 범주 데이터 탐색하기 용어 정리 용어 영어 핵심 의미 이진 데이터 Binary Data 가능한 값이 2개뿐인 데이터. 예: Yes/No 범주형 데이터 Categorical Data 값이 숫자 크기보다 그룹을 나타내는 데이터 비율 Proportion 전체 중 특정 범주가 차지하는 비중 최빈값 Mode 데이터에서 가장 자주 등장하는 값 기댓값 Expected Value 가능한 결과와 각 결과의 확률을 고려한 장기적인 평균값 확률 Probability 어떤 사건이 일어날 가능성을 0~1 사이로 나타낸 값 막대그래프 Bar Chart 범주별 개수나 비율을 막대로 비교하는 그래프 더 읽을 거리 자료 연결되는 개념 Misleading Graph 막대그래프·파이차트 해석, 축 조작, 왜곡된 시각화, 그래프를 비판적으로 보는 법 1.7 상관관계 용어 정리 용어 영어 핵심 의미 상관관계 Correlation 두 변수가 함께 변하는 정도 상관계수 Correlation Coefficient 두 변수의 선형적 관계를 -1~1 사이의 숫자로 표현 양의 상관관계 Positive Correlation X가 증가할 때 Y도 증가하는 경향 음의 상관관계 Negative Correlation X가 증가할 때 Y는 감소하는 경향 무상관 No Correlation 뚜렷한 선형 관계가 없는 상태 상관행렬 Correlation Matrix 여러 변수 사이의 상관계수를 표로 정리한 것 산점도 Scatterplot 두 수치형 변수의 값을 점으로 찍어 관계를 보는 그래프 히트맵 Heatmap 숫자의 크기를 색으로 표현하는 그래프 더 읽을 거리 자료 연결되는 개념 Freedman, Pisani & Purves – Statistics 상관계수, 양·음의 상관관계, 산점도, 상관관계 해석 상관관계 ≠ 인과관계 , 상관계수만으로 관계를 판단할 때의 주의점 1.8 두 개 이상의 변수 탐색하기 용어 정리 수치형 × 수치형 용어 영어 핵심 의미 산점도 Scatterplot 두 수치 변수의 관계를 점으로 표현 육각형 구간 그래프 Hexagonal Binning / Hexbin 좌표공간을 육각형으로 나누고 각 구간의 데이터 개수를 색으로 표현 등고선 도표 Contour Plot 같은 밀도를 가진 영역을 선으로 연결한 그래프 밀도 Density 특정 공간에 데이터가 얼마나 많이 몰려 있는가 범주형 × 범주형 용어 영어 핵심 의미 분할표 / 교차표 Contingency Table 두 범주형 변수의 조합별 개수를 표로 정리 교차표 Crosstab 범주 A와 범주 B가 함께 나타난 빈도를 나타냄 범주형 × 수치형 그래프 특징 Boxplot 중앙값·사분위수·이상치 비교 Violin Plot 분포의 밀도와 모양 비교 여러 변수 시각화 용어 영어 핵심 의미 다변량 분석 Multivariate Analysis 세 개 이상의 변수를 동시에 탐색 조건화 Conditioning 다른 변수의 값을 기준으로 데이터를 나눠 관계를 살펴봄 패싯 Facet 범주별로 그래프를 여러 개 나눠서 보여주는 방식 헷갈리는 용어 및 질문 더 읽을 거리 자료 연결되는 개념 Modern Data Science with R 여러 변수의 관계 탐색, 다변량 시각화, EDA ⭐ ggplot2: Elegant Graphics for Data Analysis Grammar of Graphics, 그래프 구성 요소, 변수에 따라 그래프 선택하기 Josef Fruehwald ggplot2 Tutorial ggplot2를 활용한 실제 시각화 작성 1.9 마치며 정리 데이터 │ ▼ 자료형 확인 │ ├─ 수치형 └─ 범주형 │ ▼ 변수 하나 탐색 │ ├─ 위치 │ ├─ 평균 │ └─ 중앙값 │ ├─ 변이 │ ├─ 표준편차 │ ├─ IQR │ └─ MAD │ └─ 분포 ├─ Boxplot ├─ Histogram └─ KDE │ ▼ 변수 두 개 이상 탐색 │ ├─ 수치 × 수치 │ ├─ Scatterplot │ ├─ Hexbin │ └─ Contour │ ├─ 범주 × 범주 │ └─ Crosstab │ └─ 범주 × 수치 ├─ Boxplot └─ Violin Plot │ ▼ 여러 변수 → Facet / Conditioning 책 읽은 후.. 퀴즈 총 10문제 중에 2문제를 틀렸다햄.. 2문제는 왜도 와 범주형 × 수치형 → 상자도표 에 대한 문제였다햄.. 범주형×수치형 그래프는 상자 도표로 왜 그리는지를 모르겠어서 이해하는데 조금 걸렸다햄..ᄒ 나의 생각 매 미션마다 EDA를 진행하지만.. 시각화를 하는데 어느 그래프가 적절할지 아직도 잘 모르겠다햄... 특히 여태 배운 그래프를 종류 하나가 아닌 여러가지를 합쳐서 만드는 방법도 있어서.. 적절하게 선택하는 방법이 어려운 것 같다햄..