정형데이터 마이닝

안녕하세요. 터미네입니다.

이번 포스팅에서는 정형데이터 마이닝에 대해 알아보겠습니다.

 

데이터 마이닝이란

 

대용량 데이터에서 의미있는 데이터 패턴을 파악하거나

예측을 위해 데이터를 자동으로 분석 후

의사결정에 활용하는방법입니다.

 

언뜻 보면 통계분석이랑 비슷해보이지만 데이터마이닝만의 특성에 대해 설명하겠습니다.

 

1. 가설이나 가정에 따른 분석이나 검증, 통계학 전문가가 사용하는 도구가 아닙니다.

 

2. 다양한 수리 알고리즘을 이용해 DB의 데이터로부터 의미있는 정보를 찾아내는 방법 통칭을 통칭합니다.

 

3. 분석 대상이나 활용목적, 표현 방법이 다릅니다.

 

4. 사용하는 분야 매우 다양합니다.

 

5. 분석대상의 복잡성이나 중요도가 높으면 풍부한 경험을 가진 전문가에게 의뢰할 필요합니다.

 

 

 

데이터 마이닝하는 방법을 다섯단계로 설명드리겠습니다.

 

1단계 : 목적 설정

 

도입 목적을 분명히해야하고,

데이터마이닝을 통해 무엇을 왜 하는지

명확한 목적 설정을 해야합니다.

 

목적 정의 단계부터 시작. 목적은

이해 관계자 모두가 동의하고

이해 가능해야 비로소 협업이 가능할것입니다.

 

가능하면 1단계부터 전문가가 참여해서

확고한 목표를 수립하고 데이터를 정의하는 것이 좋겠죠?

 

2단계 : 데이터 준비

 

데이터 정제를 통해 데이터의 품질을 보장하고

필요하다면 보강해 데이터의 양을

충분히 확보해 데이터 마이닝 기법을

적용하는데 문제없도록 해야 합니다.

 

데이터가 쓰레기값이거나 의미없는 데이터로

아무리 마이닝 해봐야

의사결정에 도움이 될만한 결과를 도출할 수 없습니다.

 

3단계 : 가공

 

모델링 목적에 따라 목적변수를 정의하고

필요한 데이터를 데이터마이닝 시스템에

적용할 수 있도록 적합한 형식으로 가공합니다.

 

모델 개발단계에서 데이터 읽기,

데이터 마이닝에 시간이 많이 걸릴 수 있으니

스케줄 조정 및 관리가 절실히 필요합니다.

 

4단계 : 기법 적용

 

앞 단계를 거쳐 준비한 데이터와

데이터 마이닝 시스템을 활용해 목적하는 정보 추출합니다.

 

적용할 데이터 마이닝 기법은 1단계에서

이미 결정되서 변경없이 추진하는것이 가장 이상적이지만,

분명히 데이터 마이닝을 진행하는 과정에서

필연적으로 바뀌는 사항이 있을 것입니다.

 

이슈 있을시 유동적으로 대응해야합니다.

 

5단계 : 검증

 

마이닝으로 추출한 정보를 검증하는 단계입니다.

테스트 마케팅이나 과거 데이터 활용하여

결과가 적합하게 나왔는지 지속적으로 확인해야합니다.

 

 

검증단계가 완료되었으면

자동화 방안을 IT부서와 협의해

상시 데이터 마이닝 결과를 업무에 적용할 수 있도록

조치를 취하고 보고서를 작성해

경영진에게 기대효과를 알릴 수 있어야 합니다.

 

(경영진을 설득하는게 가장 큰 관건이겠네요 ^^)

 

데이터 마이닝을 할때는

고려할 사항이 너무 많아 쉽게할 수는 없겠지만,

회사업무를 보면서 수치화된 데이터가 있으면

그 데이터의 추이사항을 분류하는 연습을 해보실 수 있을거에요.

이에 대한 실습은 추후 링크를 남겨 공유해드리겠습니다.

 

여기까지 정형데이터 마이닝에 대해 간략하게 설명드렸습니다.

긴글 끝까지 읽어주셔서 대단히 감사드립니다.