안녕하세요! Brightics 서포터즈 3기
입니다.
오늘은 DACON 물류 유통량 프로젝트의
데이터전처리2탄에 대해 소개해보도록 하겠습니다!
아직 개인미션 1탄과 2탄을 안 보셨다면 아래의 링크를 참고해주세요^0^
전체 Flow
오늘 소개해드릴 과정의 전체 Flow는 다음과 같습니다!
사실 일정 계획상 이번주에 모델링과 모델 비교를 진행했어야 하는데...
다른 서포터즈분들의 포스팅을 읽어보니 제 미션의 진도가 너무 빠른 것 같아서ㅎㅎ
진도를 맞추고자 전처리를 조금 더 고도화 해보도록 하겠습니다!!
Pre-processing
지난 시간에서는 문자형 변수 처리를 위해
Label Encoder와 One Hot Encoder 2가지 방법을 시도했었는데요
조금 더 전처리를 고도화하고자 문자형 변수 처리 이전에
이상치 제거와 정규화 과정을 거쳤습니다.
1) 이상치 제거
제가 사용하는 test.csv는 총 5개의 column으로 구성되어 있는데요!
그 중 index를 제외하고
Double
송하인_격자공간고유번호
Double
수하인_격자공간고유번호
String
물품_카테고리
Double
운송장_건수
이렇게 4개의 열을 다룰 예정입니다.
다만 송하인_고유번호와 수하인_고유번호는 고유의 번호이기 때문에
이상치 처리에는 적절하지 않아
운송장 건수 열에 대해 이상치를 처리할 예정입니다.
데이터 내 이상치를 처리하는 함수는 Brightics 내 총 3가지의 함수가 있습니다.
각자의 함수의 특징을 간단하게 비교하면 아래의 표와 같은 특성을 띕니다
|
방법
|
특징
|
|
Local Outlier Factor
|
- 밀도기반 이상치 탐색
- 산점도를 찍었을때, 주변보다 밀도가 낮은 경우 이상치로 분리
|
|
Tukey
|
- 사분위수 기반 (IQR = Q3 - Q1)
- 이상값 < (Q1 - multiplier * IQR)
& ( Q3 + multiplier * IQR ) < 이상값
|
|
Carling
|
- 사분위수 기반
- 이상값 < (Median - multiplier * IQR) &
( Median + multiplier * IQR)
|
저는 이 중에서 Local Outlier Factor를 사용해 이상치 제거 과정을 진행했습니다.
Input column으로 운송장_건수 열을 선택 후 run을 실행하면
결과값으로
이렇게 is_outlier라는 column이 생성됩니다!
이때 in이 아닌 out이 아웃라이어 값을 의미합니다.
Pie차트를 확인해보니 1000개의 행 중 총 10개의 행
즉, 1%가 out 값인 것을 확인할 수 있습니다.
분포를 확인했으니
Outlier Detection의 Remove Outliers 기능을 이용해
out값들을 모두 제거해주었습니다.
+)
정규화도 진행할까 고민했지만
제가 사용하는 4개의 열 중 3개는 모두 고유의 번호이기 때문에
정규화 과정이 불필요하다고 판단되어 생략했습니다ㅎㅎ
2) Select Column
다음으로 모델링에 필요한 column만 선택해주었습니다
index와 물품_카테고리를 제외한 4개의 열을 선택했습니다.
즉, 정리하자면
Data Load
Oulier Detection,
Label Encoder와 One Hot Encoder
Select Column
의 순서로 진행했습니다..!
2탄의 전처리 과정 사이에 추가했기 때문에
혹시나 헷갈리실까봐 한 번 더 정리해봤습니다^.^
정리
오늘은 데이터 전처리를 조금 더 추가해보았는데요
너무 내용이 짧은 것 같아 아쉽지만
다음주에는 꼭 모델링을 진행할 계획이기 때문에
약간 쉬어가는 느낌으로 생각해주세요ㅎㅎ
다음 포스팅에서는 꼭.!꼭! 분석 모델링과 가능하다면 모델 비교까지
포스팅하도록 하겠습니다
그럼 다음 포스팅으로 찾아뵙도록 하겠습니다!!!
감사합니다ㅎㅎ
* 본 포스팅은 삼성SDS Brightics 서포터즈 3기 활동의 일환으로 작성하였습니다.
#삼성SDSBrightics#삼성SDS#Brightics#Brightics서포터즈#Brightics서포터즈3기#BrighticsStudio#브라이틱스#모델링#데이터분석#코딩없이데이터분석#브라이틱스와함께하는데이터분석#노코드AI오픈소스#노코드AI
'삼성 SDS Brightics' 카테고리의 다른 글
| [삼성 SDS Brightics] 16. DACON 물류 유통량 예측_개인미션 5탄(모델평가) (1) | 2022.11.03 |
|---|---|
| [삼성 SDS Brightics] 15. DACON 물류 유통량 예측_개인미션 4탄(모델링) (0) | 2022.11.03 |
| [삼성 SDS Brightics] 13. DACON 물류 유통량 예측_개인미션 2탄(데이터전처리①) (0) | 2022.10.08 |
| [삼성 SDS Brightics] 12. DACON 물류 유통량 예측_개인미션1탄 (0) | 2022.10.06 |
| [삼성 SDS Brightics] 11 팀 영상 미션③ : 브월이네 세포들아 수고했어~! 영상 편집 End! (0) | 2022.09.28 |
