LLM(AI)이 데이터 분석가를 대체할 수 있을까요?에 대한 주니어 분석가의 의견
by darami이 글은 2년차 데이터 분석가인 사람이 모은 정보와 부족한 사견을 담은 지극히 개인적인 글입니다.
목차
AI가 OOO를 대체할 수 있을까요?
는 약 8년간 가장 흔한 질문 중 하나가 아닐까 싶습니다.
이제 질릴 정도지만 그 누구도 명확하게 이야기할 수 없기 때문에 많은 사람들이 불안해하는 것 같습니다.
LLM(AI)이 데이터 분석가를 대체할 수 있을까요?
LLM이란? 거대 언어 모델(Large Language Model)의 약자로, 거대언어모델이라는 뜻이다. 언어모델(LM)을 더욱 확장한 개념으로 인간의 언어를 이해하고 생성하도록 훈련된 인공지능을 통칭한다. 출처 : 연합 인포맥스
또한 분석가들 사이에 핫하게 거론되는 주제입니다.
ChatGPT의 등장으로 인한 것은 물론이고, 데이터 분석 업무의 상당 부분을 대체할 수 있는 플랫폼과 툴 들이 나오면서 어떤 데이터 분석 역량을 키워야 하는가? 에 대한 의문과 불안이 고조된 탓인 것 같습니다.
특히 *LLM(Large Language Model)이 데이터 분석가를 대체하는 것 아닌가 하는 우려가 심심치 않게 들려오는 것을 알 수 있습니다. 이에 관련한 최근 뉴스들 한번 살펴볼까요?
최근 데이터 분석가를 섬뜩하게 하는 소식들 😉
1. 원티드의 슬랙봇, 데이터 볼트
( 2023. 11. 28 블로그 글 발행)
특히 지난번 원티드에서 한 개발자 분이 "데이터 분석가"를 안 뽑아줘서 만들어봤다는 천재 인턴 데이터 볼트(Data Bolt) 는 GPT의 Custom Instructions 기능을 활용해 슬랙봇으로 만들어졌습니다. 해당 봇을 태그하고 데이터를 요청하면 원티드 데이터에 맞는 쿼리를 작성해 주죠. 데이터 분석가에게 주어지는 간단한 Ad-hoc성 쿼리 작성을 대신해 줍니다.
2. AWS Quicksight의 Amazon Q
(2023.11.28 미리 보기 제공)
ChatGPT를 업무에 사용하는 데이터 분석가분들 중 "아, 보안상 이 친구가 회사 데이터를 가지고 있지 않아 다행이야, 데이터 주고 뭐 만들어 달라고 하면 알아서 해주던데"라고 생각하시던 분들이 있을지 모르겠습니다. 하지만 AWS 서버를 사용하고 있는 회사들에게는 이제 Amazon Q가 있습니다. Quicksight는 대시보드 툴이고, Amazon Q는 LLM을 기반으로 한 생성형 BI 도우미입니다.
Amazon Q는 선택한 시각적 개체에서 데이터 통찰력과 통계를 추출한 다음 LLM(대형 언어 모델)을 사용하여 여러 부분으로 스토리를 구축하고 데이터가 비즈니스에 어떤 의미를 가질 수 있는지 검토하고 특정 목표를 달성하기 위한 아이디어를 제안합니다. 출처 : AWS 뉴스 블로그
AWS에 따르면 예를 들어, Amazon Q에 영업 관리자가 “전반적인 영업 실적 추세를 알려줘" , "제품 및 지역별로 데이터를 분류해 줘", "매출 향상을 위한 몇 가지 전략을 제안해 줘", "지역별 판매 추세를 활용하여 수익을 증대할 수 있는 기회를 찾는 마케팅 전략을 작성해 줘"라고 말하면 데이터와 함께 해당 인사이트, 차트등을 전달해 준다고 합니다. Action Item까지 만들어준다니.. 회사에서 근무하고 있는데 직장 동료분께서 이 소식을 전달해 주셨을 때 섬뜩했던 기억이 아직 생생합니다.
심지어 "상위 제품(Top products)"과 같은 모호한 질문에도 대응이 가능하다고 합니다. 이렇게 말하면 Amazon Q는 아래 사진과 같이 매출별로 상품을 세분화해 고객 수별 상품, 이익별 상품에 대한 대안을 제시한다고 하네요.
3. Tableau GPT
(2023.3 태블로 컨퍼런스 당시 발표)
Tableau GPT 도 Amazon Q와 거의 비슷한 원리로 작동하지만, 보다 빠른 작년 3월 콘퍼런스에서 시연을 공개했습니다.
4. Amplitude등 PA 툴들의 끊임없는 발전
Amplitude Growth 플랜 이상을 쓰면 임팩트 분석 등 할 수 있는 것이 다양해지는 것을 알 수 있습니다. 개인적으로 SQL 쿼리를 100줄 이상 쳐야 하는 복잡한 계산을 할 때 "아.. 이거 앰플리튜드에 넣으면 클릭 몇 번이면 되는데.."라는 생각이 들 때가 종종 있었습니다. 다만 이런 PA(Product Analytics) 툴은 회사의 규모가 클수록 너무 비싸고, SQL을 치는 것에 비해 정확하지 않기 때문에 큰 회사들은 잘 쓰지 않는다는 이야기를 들었습니다. 그럴 테지만, 한편으로는 "아직 툴을 쓰는 것 보다 인간(데이터 분석가)이 싸서" 못 쓰는 것이라면, 툴은 결국 싸질 것이고, 그 과도기일 뿐 아닌가? 하는 생각이 들었습니다. 그리고 이러한 PA 툴 (GA, Amplitude 등)은 조금만 배우면 PM, 마케터 등 누구나 사용할 수 있기 때문에 대부분의 분석에 굳이 데이터 분석가가 있을 필요가 없습니다. 그것이 이 툴의 목적이기도 하고요. 또 Amplitude에서도 돈만 내면 SQL 칠 수 있기 때문에...
* 역사적으로 기계가 등장할 때 고비용으로 인간을 먼저 쓰고, 시간이 지날수록 기계가 보편화되는 수순에 따라...
"데이터분석가 대체론"에 대한 분석가들의 반응 유형
그렇다면 이러한 현황과 의문에 대한 분석가들의 반응/의견은 어떨까요?
제 개인적인 경험에 따르면 다음과 같이 분류할 수 있습니다. 각각은 MECE하지는 않고 개개인에 따라 중복된 의견을 가지곤 합니다. 제 마음대로 이름 붙여 (데이터 라벨링해) 보았습니다.
대체 불가론
[양적 감소론] 없어지지는 않고 현재의 10%~30% 정도로 줄지 않을까?
- 진짜 잘 하는 분석가들만 살아남을 거야.. (문제 정의하는 능력 등은 기계가 못하잖아)
[도메인론] AI는 도메인 지식이 없어서 안될 거야
- 그래서 도메인 하나를 파라고 하더라고
[LLM 한계론] 그럴리가, ChatGPT가 지금 얼마나 엉터린데!
- 그 결과를 어떻게 신뢰할 수 있겠어
대체 가능론
[직무 결합 및 변경론] 맞아..그래서 PM이나 DS(데이터 사이언티스트) 둘 중 하나로 길을 많이 틀더라고
- NLP나 데이터 엔지니어링 쪽으로 파고 있어 요즘.. 분석 원툴로는 안 되겠어.
- 러다이트 운동을 했던 노동자들 마음이 공감이 가더라니까
[LLM 대체론] 응 그럴것 같아.. 잠시 눈물 좀.. 😢 뭐 먹고살지?
- 대화 끊김
[에브리원데이터분석가론] 지금 모두가 엑셀 쓰듯이 모두가 데이터 분석가가 되는 시대가 올 거야
- 계산기 --> 엑셀 --> 데이터 분석 이런식으로 발전해 왔으니까, 툴은 더 쉬워질 거고
여러분은 어떤 의견을 가지고 계신가요? 때론 모든 의견에 동의하곤 합니다. (미래는 알 수 없으니까요.) 이럴 때는 역사에서 힌트를 얻어 보는 것도 좋은 전략이 될 것입니다.
전화 교환원의 예시
특히 저는 지금은 없어진 직업인 전화 교환원( switchboard operator) 이 떠오릅니다. 한때 여성들의 인기 직종이었지만 1971년 자동식 전화가 개발되어 전화 교환원 없이 사람이 직접 다이얼을 돌려 전화를 할 수 있게 되자 사라진 직업이죠.
1930년대 전화 교환원은 200명을 훌쩍 넘었으며, 일어 능숙, 보통 학교 졸업, 청각 예민, 나이/키 제한 등이 있는 취업하기 힘든(?) 직업이었다고 합니다. 전화 교환원의 역사를 그려보자면 아래와 같습니다.
대한민국 내에서는 약 70년간 존재하고 사라진 직업이라고 할 수 있습니다. 이때 스마트폰이나 AI의 대두를 이야기한다면 미친 사람 취급을 받았을 것입니다.
데이터 분석이란 무엇인가?
그렇다면 데이터 분석가(data analyst)도 자동식 전화와 같은 LLM의 등장으로 곧 사라질까요? 국내에서 "데이터 분석가"라는 이름으로 사람을 채용하기 시작한 것은 대략 알파고(2016) 전후로 알려져 있습니다. 보수적으로 2015년이라 잡고 계산하면 약 9년쯤이 되었군요. 그런데 이를 제대로 비교하려면 "데이터 분석"이란 무엇인지 정의하고 넘어가야 할 것 같습니다. "최초의 데이터 분석가"가 누구인가에 대한 의견은 너무 다양하여 아리스토텔레스부터 시작하기도 하더군요.
이에 대해 일반적으로 gartner의 4가지 프레임워크로 설명하곤합니다.
설명적 분석 (Descriptive analytics)
- BI 툴이나 대시보드를 활용하여 "무엇이 일어났나/나고 있나"에 대해 답합니다.
- 예시) 지난 분기에 상품 X에 얼마를 지출했습니까? 그리고 상품 Y의 가장 큰 공급자는 누구입니까?
- 필요한 기술 : BI 툴, 데이터 시각화, 대시보드를 해석하는 역량
진단 분석 (Diagnostic analytics)
- "왜 X가 일어났나요?" 에 답합니다.
- 예시) 매출이 지난 분기 대비 30% 감소한 이유는 무엇인가요?
- 필요한 기술 : 데이터 마이닝
예측 분석 (Predictive analytics)
- "무슨 일이 일어날까?"에 답합니다. 이 접근 방식은 예측(현재 상황의 비즈니스 상황에 대한 미래 예측)과 시뮬레이션(다양한 가능한 결과 모델링)에 기반합니다. 다만 그래서 어떻게 해야 하는가? 에는 답하지 않습니다.
- 예시) 제품 단가를 10% 올리면 구매 전환율은 어떻게 될까요? 등
- 필요한 기술 : 예측 모델링, 회귀 분석, 예측(forecastiong), 다변량 통계, 패턴 매칭과 ML 등
처방적 분석 (Prescriptive analytics)
- 결과를 달성할 수 있는 최선의 방법을 계산하는 것, 이에 따른 액션을 취하는 것을 목표로 합니다. 따라서 "우리는 무엇을 해야 하나요? 무엇에 집중해야 하나요?"와 같은 질문에 답합니다.
- 예시) 어떻게 하면 회원가입 수를 지난 분기 대비 10% 늘릴 수 있을까요?
- 필요한 기술 : 규칙 기반 적근 방식( rule-based approaches) , 최적화 기술( optimization techniques ) , 그래프 분석, 시뮬레이션, 복합 이벤트 처리, 추천 엔진 등
보통 예측 분석과 처방적 분석을 결합하는 것이 비즈니스 문제를 해결하고 현명한 결정을 내리는데 중요한 첫 번째 단계인 경우가 많습니다. 대부분 회사는 이 4가지 단계를 회사의 단계별로 진행하기 때문에, 이 프레임워크로 회사의 데이터 성숙도를 보여줄 수도 있습니다.
때문에 재직중인 회사의 데이터의 양이나 인프라가 충분히 갖추어지지 않은 경우 대부분 설명적 분석 (Descriptive analytics)이 업무의 대다수를 차지할 것이며, 이는 LLM이 가장 잘하는 분석 유형 중 하나입니다. 이 경우 데이터 분석가 입장에서는 단순 보고식 업무에 큰 회의감을 느낄 수 있습니다.
* 데이터가 없는데 처방적 분석을 요구받기도 합니다.
그렇다면 처방적 분석 (Prescriptive analytics)은 아직 괜찮을까요? 위에 설명했듯이, AWS에 따르면 Amazon Q는 "지역별 판매 추세를 활용하여 수익을 증대할 수 있는 기회를 찾는 마케팅 전략을 작성해 줘"와 같은 질문에 인사이트와 액션을 제공합니다.
아직은 기술적 측면이나, 비용적 측면에서 미흡하다고 해도, 인류는 기술과 비용을 끊임없이 개선해 왔기 때문에, 핵전쟁이 일어나지 않는 한 이 부분도 많이 개선되어 보편화될 것이라는 것이 부족한 제 생각입니다. 또 'AI는 도메인을 잘 모르니까'에 대한 도메인론도 회사 데이터와 도메인 관련 데이터를 학습시키면 될 것이기 때문에 그리 찬성하지는 않습니다. 다만.. 기계는 인간이라는 도메인에 대해서는 인간만큼 잘 알 수 없을 것입니다. 이 논의에서 빠진 것이 '다 인간이 하는 일'이라는 점인 것 같습니다.
결국 인간이 하는 것
"질문을 던지고, 분석 결과를 가지고 타인을 설득하여 액션 하게 하는 것"은 인간일 수밖에 없을 것 같습니다. 왜냐하면 대부분의 사업들은 인간의 행동을 변화시키고 싶어 하기 때문이죠.
그리고 그 '질문' , '설득' , '액션' 각각의 키워드가 생각보다 쉽지 않다는 것은 우리 모두 알고 있습니다.
따라서 우리는 "데이터 분석가" , "데이터 사이언티스트"라는 직무명보다는 인간의 역할에 집중해야 한다고 생각합니다. 데이터 분석가라는 직무가 사라지더라도 이 역할은 남을 것이기 때문입니다.
나름대로 프로세스를 정리해 보았습니다.
"주도성" , "이 분석을 신뢰할 수 있는가?" , "지금, 이걸, 내가 해야 하는가?"에 각각 yes를 받아야 다음 단계로 넘어가고, 최종 액션에 이를 수 있다고 생각합니다. 각각의 단계에는 모두 사람이 필요합니다.
따라서 세가지 키워드로 기계가 하지 못하는 인간의 역할을 정리할 수 있을 것입니다.
"주도성"
물론 그렇다고 해서 데이터 볼트가 데이터 분석가나 엔지니어를 완전히 대체할 수 있다는 의미는 아닙니다. 데이터 볼트는 학습된 정보를 바탕으로 데이터 분석을 더 원활하고 효율적으로 할 수 있도록 도울 뿐, 스스로 데이터를 분석하는 혜안을 갖고 있지는 않으니까요. - 출처 : 원티드랩 데이터 엔지니어 최종원 님
AI는 주도적으로 질문하고 분석하지 못합니다. 누군가가 시켜야 할 수 있습니다. 진짜 문제가 무엇인지, 자발적으로 탐구하고 분석하는 속성은 인간이 기계보다 월등히 우월합니다.
feat. 제가 주로 해 본 것은 자주 동료 직원들 옆에 가서 "어떤 문제를 풀고 계신가요?"를 물어보는 것이었습니다.
"신뢰"
AI가 하든 인간이 하든, 결국 분석 결과와 퀄리티에 대해 책임질 사람이 필요합니다.
또한 설명적 분석 -> 진단 분석 -> 예측 분석 -> 처방적 분석으로 갈수록 필요한 기술이 많아지고, 그 기술 숙련도에 따라 신뢰 수준이 달라질 것입니다.
feat. 이 분석 결과가 문제를 해결할 것이라고 타인을 설득하기 위해, (신뢰)를 높이기 위해 제가 해 본 것은
1) 데이터로 작은 성공 경험 만들기
2) 권력 편향 사용하기
3) 사람별로 다른 의사소통 방식 파악하고 이를 적용하려고 하기
4) 대표님을 먼저 설득하기
5) 계속 공부하기
등이 있습니다. 제일 어려운 것 같습니다.
"지금,이걸,내가?"
설득은 되었는데 액션으로는 안 갈 수 있습니다. 본인 업무의 우선순위에서 밀렸거나, 아니면 까먹었거나, 그냥 하기 싫거나 다양한 이유가 있을 수 있습니다.
feat. 제가 이 관문을 넘기 위해 해 본 것은
1) 데이터 회의 -> 데이터 토론회로 명칭 바꾸고 모두가 의견/가설/액션 아이템을 낼 수 있도록 하기
--> 본인의 참여도에 따라 "내 일/ 네 일"의 경계가 나누어질 수 있음으로 참여도 높이기 전략
2) 매번 토론회 후 액션 아이템 요약정리 후 공지 (까먹기 방지)
3) 제시한 액션 아이템의 액션 현황 함께 체크
본인이 제공한 분석 결과나 액션 아이템이 폐기되었는지, 진행되고 있는지, 폐기되었다면 왜 그렇게 되었는지 모르는 것만큼 답답한 일은 없을 것입니다. 폐기된 이유를 명확히 알면 분석가가 그 이유를 참고하여 분석을 개선할 수 있고, 모두가 합의한 액션이라면 병목 지점을 파악하고 빠르게 실행되는 데에 큰 도움이 됩니다.
4) 친해지기
사실 이렇게만 봐도 거쳐야 할 관문들이 참 많습니다. 따라서 "모두가 데이터 분석가가 되는 세상"을 꿈꾸는 사람도 많습니다.
"미래가 여기 있고, 데이터 중심입니다. Tableau GPT 및 RATH와 같은 도구는 단순히 인사이트를 제공하는 것이 아니라 모든 사람이 데이터 분석가가 될 수 있도록 인내심을 부여하는 것입니다." - 익명
지금은 인내심이 많이 필요합니다. 분석 결과를 가지고 설득하는 것도 힘들고, 그것이 액션으로 이어지기까지는 더 힘들기 때문에 모든 과정을 한 사람이 하면 참 좋을 것 같다는 생각이 듭니다. "주도성" 관문만 넘으면 될 테니까요. 하지만 풀고자 하는 문제가 클수록 혼자 하기는 어렵겠죠. 그래서 커뮤니케이션 능력, 커뮤니케이션 능력하는 것 같습니다.
그래서..? 결론은?
이 글은 제 스스로의 생각을 정리하는 글 이기도 했습니다. 저는 데이터 분석가라는 직업은 사라질지 몰라도, "데이터를 문제 해결의 도구로 활용하는 주도적이고 신뢰할만한 좋은 사람"에 대한 니즈는 인류 내내 이어질 것이라고 생각하고, 그런 사람이 되도록 노력해야겠다는 결론을 내렸습니다. 물론 그 기술적 도구에 대해 얼마나 배울 것인가에 대해서는 더 고민해 봐야겠지만요. 처방적 분석에 대해 흥미가 많으니 배우면 여러모로 좋을 것 같습니다.
긴 글 읽어주셔서 감사합니다. 의견이나 피드백이 있으시다면 댓글 달아주세요 환영합니다 :)
References
Can LLMs Replace Data Analysts? Building An LLM-Powered Analyst
천재 인턴 ‘데이터 볼트’를 소개합니다 🤖 | Interview. 원티드랩 데이터 엔지니어 최종원 (SQL, 쿼리, 생성 AI)
'데이터 분석' 카테고리의 다른 글
| 좋은 데이터 분석 보고서를 위한 체크리스트 _ 데이터 스토리텔링이란? (2) | 2024.04.07 |
|---|---|
| A/B 테스트, 다르게 보이는 모든 것들은 대체로 틀렸다 Part 2 (0) | 2023.09.12 |
| A/B 테스트는 왜 필요하고 어떻게 할까? Part 1 (0) | 2023.09.01 |
| 이벤트 로그 설계, Tracking plan만 짜면 되는 것 아니었나요? +Ampli Cli (0) | 2023.05.04 |
| 최소 5천만원 아낄 수 있는 Amplitude Scholarship이 있다고? + Personal Insight✨ (1) | 2023.04.09 |
블로그의 정보
다람
darami