SeSAC - 머신러닝 및 AI 기술 개요(2)

2023, Aug 21

에릭 시겔 - 빅데이터의 다음 단계는 예측 분석이다

https://product.kyobobook.co.kr/detail/S000001615430

나심 니콜라스 탈레브 - 블랙 스완

https://www.yes24.com/Product/Goods/3100233

머신러닝

기계학습?

만약, 작업 T에 대해 기준 P로 측정한 성능이 경험 E로 인해 향상되었다면 그 프로그램은 작업 T에 대해 기준 P의 관점에서 경험 E로 부터 “배웠다”라고 말할 수 있다. - Tom Mitchell

기계학습의 핵심

1. 표현(representation) : 기계학습 알고리즘이 어떻게 데이터의 특징을 잡아내도록 할지
2. 일반화(generalization) : 기계학습 알고리즘이 어떻게 이전에 보지 못한 데이터에서도 잘 작동하게 할지

기계학습의 종류

1. unsupervised learning(비지도학습)
2. supervised learning(지도학습)
3. reinforcement learning(강화학습)

데이터 리터러시(Data Literacy)

데이터 리터러시란?

• 데이터를 목적에 맞게 활용하는 데이터 해석 능력

1. 데이터 버넌스 & 데이터 인프라 등 문화 구축
2. 데이터 마인드 & 데이터 사고력 : 데이터로 생각하고, 받아들이는 태도
3. 데이터 리터러시 : 데이터를 말하듯 쓸 수 있는 힘(데이터 직관력, 데이터 공감력, 데이터 패턴파악 등)
4. 데이터 분석도구 & 기법 : 데이터 형태와 양, 분석 목적에 따라 활용
5. 데이터 기반 문제해결 : 정보와 자원으로 통찰하여 문제해결

데이터 리터러시 역량

1. 데이터 수집 : 필요한 데이터를 빠른시간 내 확보할 수 있는 능력
2. 데이터 관리 : 데이터를 분석이 가능한 형태로 구조화, 정제하는 능력
3. 데이터 가공 및 분석 : 데이터를 목적에 맞는 분석 방법을 사용해 의미 있는 결과를 도출하는 능력
4. 데이터 기획 : 데이터를 그래프, 차트 등의 시각화 형태로 표현하는 능력
5. 데이터 시각화 : 전반적인 데이터 간의 관계를 이해하고 데이터 활용을 위한 계획을 세우는 능력

분석

비즈니스 애널리틱스

1. 묘사 분석 : 어떤 일이 일어났는가?

• 과거 데이터를 통해 밝히는 묘사 분석(Descriptive Analytics)
• 과거에 발생한 일과 현재 발생한 일을 정확하게 살펴보는 것
• 단순히 소비자의 반응이 좋다, 나쁘다를 파악하는게 아닌 무엇을 좋아하거나 싫어하는지 까지 파악해야한다.

1. 진단 분석 : 왜 일어났는가?

• 발생한 현상에 대한 원인을 찾는 진단 분석(Diagnostic Analytics)
• 묘사 단계에서 찾아낸 분석 내용의 원인을 이해하는 과정
• 예를 들어 분기 별로 매출 차이가 발생했다면 그 이유가 무엇인지 데이터 기반으로 확인하는것

1. 예측 분석 : 무슨 일이 일어날 것인가?

• 앞으로 어떤 일이 생길지 예측하는 예측 분석(Predictive Analytics)
• 데이터를 통해 기업과 조직의 미래, 고객의 행동을 예측하는 과정

1. 처방 분석 : 우리는 무엇을 해야할 것인가?

• 예측 분석을 통해 예상할 수 있는 것들을 어떻게 만들어 낼 수 있는지 의사 결정에 도움을 주는 처방 분석(Prescriptive Analytics)
• 예측을 바탕으로 이뤄지는 최적화 과정
• 특정 시점에 어떤 액션을 취해야 고객의 이탈을 막는지, 어느 정도 예산을 분배하여 광고 효과를 최대화 할 수 있는지 등
• 4단계 분석 과정 중 가장 어렵다.

예측 분석

구글 독감 트렌드

• 구글 독감 트렌드는 기존의 역학 조사를 대체할 수 없다 https://brunch.co.kr/@hantol/29

블랙 스완

매우 드문 사건이지만 그 결과가 극도로 심각할 수 있는 예측 불가능한 사건

복합적인 사건들이 임의성과 예측 불가능성을 가지기 때문에 그것을 예측하고자 하는 노력은 필연적으로 실현 불가능하다. - 나심 탈레브

• 일부 사건들은 분명히 예측의 범위 밖에 존재하는 블랙스완과 같다.
• 그러나 대부분의 인간 행위는 상당히 규칙적이고 예측 가능하다.
• 대부분의 백조는 하얗다.

예측은 해석보다 우위에 있다.

많은 예측 분석 프로젝트는 미래를 예측하는 데 목적이 있는 것이지 세상을 이해하고 무엇이 그렇게 작동하게 만드는지 알아내는 것이 목적이 아니다.

예측 분석은 해결책을 찾아 제시하는 것에 목표를 두고 수행한다.

예측 분석 사회에서 살아남기 위한 가장 좋은 방법은 예측 모델의 목적, 기법, 한계를 이해하는 것이다.