오답노트

모델, 모델링 모델은 데이터로 부터 패턴을 찾아 수식으로 정리한 것이다. 모델링은 오차가 적은 모델을 만드는 과정이다. 목적 샘플을 가지고 전체를 추정하기위해 모델링을 한다. 패턴을 찾는 방법 패턴을 찾는 방법은 두 가지가 있다. 지도학습 (Supervised Learning) 비지도학습 (Unsupervised Learning) 지도학습 지도학습은 답을 알려주면서 패턴을 찾게하는 방식이다. 답에는 숫자형(Regression)과 범주형(Classification) 두가지가 있다. 비지도학습 비지도학습은 데이터 안에서 비슷한 데이터끼리 모아 패턴을 찾게하는 방식이다. 오차 오차는 데이터가 벗어난 정도를 나타낸다. 수식으로는 아래와 같이 나타낼 수 있다. 실제 값 = 모델 + 오차 이 오차를 최소화 하는 것..

Opening Day zoom을 통해서 AI 개발자 트랙과 DX 컨설턴트 트랙 모두가 모여 오리엔테이션을 가지게 되었다. 선남선녀의 MC분들이 진행을 맡으셨는데, 진행이 매끄러운 것을 보니 상당히 연습하신 듯하다.. 기본적으로 앞으로의 일정을 구체적으로 설명하는 오리엔테이션이 진행되었는데, 에이블 스쿨 1기 선배님들 중 KT 입사하신 두 분(AI 개발자, DX 컨설턴트 각 1분씩)의 에이블 스쿨 입교에 대한 축하 메시지도 있었다. 오랜만에 영상을 보며 저렇게 되고 싶다고 생각하게 되었다. 래퍼 unofficialboyy의 축사와 함께 기분 좋은 로고송으로 AIVLE School 첫날이 시작됐다! Git Git 강사님은 엄청 유명한 강사님이 오셨다. (IT 네임드도 모르는 나도 알 정도..) 하루 만에 g..

수치 → 수치 시각화 [matplotlib] scatter (산점도) plt.scatter(dataframe['feature'], dataframe['target']) # plt.scatter('feature', 'target', data = dataframe) plt.show() 수치화 [데이터 분석] 이변량 분석 - 수치 데이터와 수치 데이터 1 import scipy.stats as spst spst.pearsonr(dataframe['feature'], dataframe['target']) 수치 → 범주 [데이터 분석] 이변량 분석 - 수치 데이터와 범주 데이터 시각화 kdeplot (밀도함수 그래프) sns.kdeplot(x='feature', data = dataframe, hue ='targ..

시각화 시각화는 히스토그램과 밀도함수 그래프 각각 할 수 있다. 이 때는 범주별로 겹쳐서 출력 후 비교한다. 밀도함수 그래프 sns.kdeplot(x='Age', data = titanic, hue ='Survived', common_norm = False) plt.show() hue 옵션으로 범주를 설정해줘야 한다. 그리고 common_norm 옵션을 False로 해야 정확한 결과를 얻을 수 있다. common_norm이 True면 두 면적의 합이 1이 되게 한다. False를 입력하면 각 면적이 1이 되도록 출력한다. 표 해석은 다음과 같이 할 수 있다. 0세 부터 20세까지는 산 사람이 많고 약 30세부터 40세까지는 죽은 사람이 많다. 40세부터 60세까지는 산 사람이 조금 많고 60세부터 80세..

범주 데이터와 범주 데이터 범주 데이터와 범주 데이터를 비교하는 방법은 교차표를 만들어 각 범주마다 비율을 비교해보면 된다. 만약 비율의 차가 거의 없으면 상관관계가 적고, 차가 클수록 상관관계가 크다고 할 수 있다. 교차표 만들기 pandas의 crosstab함수를 사용해서 쉽게 만들 수 있다. 하지만 이때 normalize 옵션을 'index'로 지정해야한다. normalize 옵션이 'index'이면 행의 합이 1이다. pd.crosstab(titanic['Survived'], titanic['Embarked'], normalize = 'index') 시각화 boxplot 과 mosaic으로 표현할 수 있다. 여기서는 mosaic으로 표현하는 법을 알아보겠다. mosaic은 두 범주 데이터의 비율 ..

범주 데이터와 수치 데이터 비교 범주 데이터와 수치 데이터를 비교하는 방법은 평균을 비교하는 것이다. 하지만 평균은 실제와의 오차가 큰 경우가 존재하기에 무조건 신뢰할 수 있는 데이터는 아니다. 즉, 실제 값과 평균 값의 오차가 작을수록 신뢰할만한 데이터라고 할 수 있다. 표준 편차 한 집단에서 평균을 구할 때, 집단의 값들이 평균으로부터 얼마나 벗어나 있는지를 나타내는 값이다. 표본 평균 표본은 모집단에서 임의의 수 만큼 값을 선정하는 것이다. (Sampling) 표본 평균은 모집단에서부터 임의로 값들을 선정하여 평균을 계산하는 것을 의미한다. 이것은 모집단의 추정치가 된다. 하지만 처음 평균에 대한 신뢰도를 의심할 때와 마찬가지로 표본 평균과 모집단의 평균이 일치하기는 힘들다. 표준 오차 모집단의 평..

[데이터 분석] 이변량 분석 - 수치 데이터와 수치 데이터 1 [데이터 분석] 이변량 분석 - 수치 데이터 와 수치 데이터1 이변량 분석 이변량 분석은 두 변수에 대해서 상관관계가 어떤지 분석하는 것이다. 변수(x) -> 타겟(y) 을 가정했을 때 두 변수간 상관관계를 분석한다. 수치형 데이터와 수치형 데이터 분석 산점 dhjkl123.tistory.com 이전 포스트에서 상관계수에 따라 두 수치 데이터가 얼마나 관계가 강한지 그리고 그에 따른 한계도 알아보았다. 귀무가설과 대립가설 대립가설 : 새로운 주장이나 가능성이나 가설을 의미한다. 귀무가설 : 이미 존재하는 주장이나 사실을 의미한다. 상관계수를 100% 신뢰할 수 없지만 이 가설을 설득시키기 위해서는 기존의 주장에 예외가 있음을 증명해야 한다. ..

이변량 분석 이변량 분석은 두 변수에 대해서 상관관계가 어떤지 분석하는 것이다. 변수(x) -> 타겟(y) 을 가정했을 때 두 변수간 상관관계를 분석한다. 수치형 데이터와 수치형 데이터 분석 산점도 패턴 [matplotlib] scatter (산점도) [matplotlib] scatter (산점도) scatter 데이터를 표에 점을 찍어서 나타내는 그래프다. plt.scatter(시리즈, 시리즈]) plt.scatter('시리즈명', '시리즈명', data = 데이터프레임) plt.scatter(air['Temp'], air['Ozone']) # plt.scatter('Temp'.. dhjkl123.tistory.com 산점도에 대한 대략적인 설명은 위 링크에서 확인할 수 있다. 산점도는 명확한 패턴이 ..

scatter 데이터를 표에 점을 찍어서 나타내는 그래프다. plt.scatter(시리즈, 시리즈]) plt.scatter('시리즈명', '시리즈명', data = 데이터프레임) plt.scatter(air['Temp'], air['Ozone']) # plt.scatter('Temp', 'Ozone', data = air) plt.show()

pivot 행 데이터를 열 데이터로 회전 시키는 것을 pivot이라고 한다. 결과는 무식하게 회전시키진 않았지만, 비슷한 모양을 하고 있다. df.pivot("idx","col","val") 첫번째 인자는 행이 될 시리즈명 두번째 인자는 열이 될 시리즈명 세번째 인자는 행 과 열에 맞게 배치될 값이 될 시리즈명이다. import pandas as pd data = { "idx" : [1,2,1,2], "col" : ['col1','col1','col2','col2'], "val" : [20,30,40,50] } df = pd.DataFrame(data) display(df) display(df.pivot("idx","col","val"))