[Statistics] 현업 데이터 특성과 예측 모형
데이터사이언스를 위한 통계학입문ⅠI https://pabi.smartlearn.io/courses/course-v1:POSTECH+DSB112+P2203/about 데이터사이언스를 위한 통계학입문Ⅱ pabi.smartlearn.io VI. 현업 데이터 특성과 예측 모형 6.1 데이터 수집-random의 의미 양질의 데이터를 확보하는 것이 중요 -> ’대표성’, ‘랜덤’ 데이터 좋은 표본 : 모집단의 특징을 가능한 정확하게 반영한 표본 -> 표본 추출에서 가장 중요한 문제는 대표성 있는 표본을 확보하는 것 전수조사 : 연구대상집단의 모든 데이터 수집 표본 조사 : 연구대상집단 일부 데이터 수집 군집표본추출(cluster sampling) : 각 군집이 동일한 특성을 갖고 있다고 하면 그 중 무작위로 clu..
[Statistics] 통계검정방법
데이터사이언스를 위한 통계학입문ⅠI https://pabi.smartlearn.io/courses/course-v1:POSTECH+DSB112+P2203/about 데이터사이언스를 위한 통계학입문Ⅱ pabi.smartlearn.io V. 통계검정방법 5.1 신뢰구간의 의미 신뢰구간 : 구간추정 - 실제 모수가 존재할 가능성이 높은 구간으로 추정 - 모평균, 모비율 등 모수를 포함할 확률 - 신뢰수준(Confidence level) : 구간에 모수u가 포함될 확률 - 일반적으로 100(1-a)%로 나타냄 95% 신뢰구간의 의미 1) 100번의 반복샘플링을 통해 얻은 평균과 편차로 계산한 100개의 신뢰구간 중 5개는 실제모평균(u)을 포함하고 있지 않는다. 2) 표본을 통해 얻은 95% 신뢰구간에 실제 모..
[Statistics] 빅데이터 분석에서 확률과 분포
데이터사이언스를 위한 통계학입문Ⅰ https://pabi.smartlearn.io/courses/course-v1:POSTECH+DSB111+P2203/about 데이터사이언스를 위한 통계학입문Ⅰ pabi.smartlearn.io IV. 빅데이터 분석에서 확률과 분포 4.1 확률의 기초개념 통계 : 데이터를 수집, 처리, 분석, 활용하는 지식 -> 실제 얻어진 데이터를 바탕으로 정보를 도출 확률 : 어떤 특정한 사건이 일어날 가능성을 0과 1사이의 값으로 나타낸 것 -> 관측하기 전에 있어서 가능성을 논하는 것 통계에서 필요한 확률 - 확률, 사건, 표본공간 확률 : 어떤 특정한 사건이 일어날 가능성을 0과 1사이의 값으로 나타낸 것 사건 : 표본공간에서 관심의 대상인 부분집합 표본공간 : 확률 실험의 ..
[Statistics] 데이터 시각화와 통계적 해석
데이터사이언스를 위한 통계학입문Ⅰ https://pabi.smartlearn.io/courses/course-v1:POSTECH+DSB111+P2203/about 데이터사이언스를 위한 통계학입문Ⅰ pabi.smartlearn.io III. 데이터 시각화와 통계적 해석 3.1 데이터 시각화 데이터 시각화 : 데이터 분석 결과를 쉽게 이해할 수 있도록 보여주는 것 데이터 분석 단계 수집 (Data Gathering) 정제 (Data Processing) 시각화 (Data Visualization) 예측모형/분석 (Data Analysis) 효과적인 데이터 시각화의 조건 어떤 메세지를 전달할 것인지 결정 (what) 핵심 내용을 제외한 나머지는 생략 최선의 표현 방법을 선택 (How) 단순, 명료하게 디자인 ..
[Statistics] 빅데이터 탐색의 첫걸음
데이터사이언스를 위한 통계학입문Ⅰ https://pabi.smartlearn.io/courses/course-v1:POSTECH+DSB111+P2203/about 데이터사이언스를 위한 통계학입문Ⅰ pabi.smartlearn.io II. 빅데이터 탐색의 첫걸음 2.1 데이터의 평균 (중심위치) 평균 - 데이터를 하나의 값으로 표현한 요약된 정보 (추정치) - 평균 = 데이터 값의 총 합 / 데이터 개수 평균을 다룰 때 주의할 점 - 평균은 혼자 존재하는 개념이 아니다. - 어떻게 표본선정을 하느냐에 때라 평균값에 영향을 미친다. 따라서 조사된 평균값이 모집단을 대표하는 통계치라고 할 수 있는지에 대한 고려가 필요 평균과 표본 산정 1. 편의 (Bias)가 적은가? - 표본을 추출할 때 표본으로부터 얻어지..
[Statistics] 데이터 과학과 통계
https://pabi.smartlearn.io/courses/course-v1:POSTECH+DSB111+P2203/about 데이터사이언스를 위한 통계학입문Ⅰ pabi.smartlearn.io 데이터사이언스를 위한 통계학입문Ⅰ 통계 기초가 부족한 것 같아서 청년 AI·Big Data 아카데미 온라인 기초과정 (MOOC) 에서 제공하는 '데이터사이언스를 위한 통계학입문Ⅰ' 강의를 들으며 통계학에 대한 기초를 다지기로 했다. I. 데이터 과학과 통계 1.1 데이터 과학이란 무엇인가 데이터 분석 (Data analytics) 데이터 분석에는 다음과 같은 것들이 포함되어 있다. 1. 데이터 큐레이션 (data curation) : 데이터 추출, 변환, sql, r python 2. 데이터 시각화 (data ..