25년 AI 시장의 변화
22년 말 ChatGPT가 세상에 나온 이후에 Tech Industry는 말할 것도 없고 대부분의 산업과 개인의 생활까지 많은 변화가 있었습니다. Listening Mind도 이러한 변화를 적극적으로 수용하면서 서비스에 LLM을 기반으로 한 Feature를 제공해 왔습니다. 예를 들면 패스파인더의 키워드 분류나 클러스터 파인더의 GPT 리뷰( 분석 보조 l GPT 리뷰 ) 같은 기능들입니다.
그런데 25년에 들어서면서 LLM을 서비스에 적용한다는 의미에 변화가 많아진 것 같습니다. 저는 두 가지로 변화의 의미를 설명할 수 있다고 생각합니다. 하나는 LLM이 Commodity 되었다는 부분이고 다른 하나는 Agent의 형태로 변화되고 있다는 부분입니다. 두 가지는 연결되어 있다고 볼 수도 있지만 지금 시점에서는 분리해서 보는 것이 더 타당하다고 생각됩니다.
- LLM의 Commodity화
- Commodity화 되었다는 의미는 “일반적으로 자원인 재화이며, 특히 완전하거나 상당한 대체성: 즉, 시장은 누가 생산했는지에 관계없이 재화의 사례를 동등하거나 거의 동등하게 취급한다. 일상재의 가격은 일반적으로 전체 시장의 함수로 결정된다.”라는 사전적으로 해석할 수 있습니다. 이 내용을 좀 더 자세하게 보면
- 첫째, 접근 비용이 급격히 낮아졌습니다. API 가격은 지속적으로 하락했고, 오픈소스 모델은 빠른 속도로 상용 수준에 근접하고 있습니다.
- 둘째, 상위 모델 간의 체감 성능 차이가 줄어들었습니다. 대부분의 실무 환경에서 “이 답변이 어떤 모델에서 나왔는지”를 구분하기는 점점 어려워지고 있습니다. 어떤 모델인지 중요하지도 않다고 생각합니다.
- 셋째, 대체 가능성이 높아졌습니다. 특정 모델에 장애가 발생해도 서비스는 다른 LLM으로 쉽게 전환해서 사용할 수 있습니다.
- 누구나 사용할 수 있는 서비스라는 뜻입니다. 이해하기 쉽게 예시를 들면 이제 LLM은 10년 전의 엑셀과 비슷하다고 생각해도 될 것 같다는 뜻입니다. 엑셀을 잘 다루는 사람과 못 다루는 사람이 있었던 것처럼 회사마다 사람마다 차이는 있을 수 있지만 기본적으로 모두에게 비슷한 성능을 제공하고 있습니다.
- Commodity화 되었다는 의미는 “일반적으로 자원인 재화이며, 특히 완전하거나 상당한 대체성: 즉, 시장은 누가 생산했는지에 관계없이 재화의 사례를 동등하거나 거의 동등하게 취급한다. 일상재의 가격은 일반적으로 전체 시장의 함수로 결정된다.”라는 사전적으로 해석할 수 있습니다. 이 내용을 좀 더 자세하게 보면
- Agent 형태의 서비스
- LLM의 성능으로 차별화가 어려워진 시점에 AI 서비스를 제공하는 회사들에서는 어떻게 차별점을 만들까를 고민하게 되었습니다. 여전히 LLM이 해결하지 못하는 문제들을 해결할 수 있는 모델을 만드는데 연구하고 노력하는 회사와 사람이 있는 것은 사실이지만 전반적인 시장은 성능 경쟁보다는 행동 설계에 가중치를 늘리고 있습니다. 왜 이런 현상이 나타나는 것일까요?
- 첫째는 LLM에 질문하고 답변을 주는 형태의 정보가 가치가 낮아졌습니다. 위에서 이야기한 것처럼 LLM 자체의 서비스는 엑셀 같아져서 누구나 접근할 수 있고 차별화가 낮습니다. 이런 측면에서 프롬프트 엔지니어링은 필요 없는 것은 아니지만 중요성은 떨어진다고 생각합니다.
- 두 번째는 사용자의 기대 수준이 높아졌습니다. 단순한 답변이나 요약 혹은 언어 구사 능력의 수준만으로 놀라는 시기도 있었지만, 이제는 자신의 업무나 정보 취득을 위한 업무를 더 정확하게 수행해 주기를 원합니다.
- 세 번째는 기술의 발전입니다. 초기 LLM에서는 여러 가지 이유로 구현이 어려웠던 추론, Workflow, RAG, Tool의 호출 같은 복잡한 작업이 가능하게 되었습니다. 대량의 데이터를 비교적 정확하게 Control 할 수 있게 되었고 절차적인 기술력도 높아지면서 행동을 설계하고 수행할 수 있게 되었습니다.
- LLM의 성능으로 차별화가 어려워진 시점에 AI 서비스를 제공하는 회사들에서는 어떻게 차별점을 만들까를 고민하게 되었습니다. 여전히 LLM이 해결하지 못하는 문제들을 해결할 수 있는 모델을 만드는데 연구하고 노력하는 회사와 사람이 있는 것은 사실이지만 전반적인 시장은 성능 경쟁보다는 행동 설계에 가중치를 늘리고 있습니다. 왜 이런 현상이 나타나는 것일까요?
Listening Mind의 Agent
Ascent Korea도 Tech Industry의 변화에 대해서 많은 고민이 있었습니다. 23년도에 ChatGPT가 시장에 확산하는 시점부터 고민해서 24년도에는 상당한 내용이 축적되어 서비스 주요 Feature로 LLM을 도입했습니다. Listening Mind의 생성형 AI 활용 | ListeningMind Blog
25년도에 하반기에 들어서면서부터는 Agent 형태의 서비스를 어떻게 도입하면 좋을지에 대해서 고민하게 되었습니다.
- Listening Mind를 위한 가장 효과적인 Agent
- 위에서도 언급했지만, Agent는 누군가의 문제를 대신해서 해결해 주는 형태이어야 한다고 생각합니다. Listening Mind의 사용자를 고려해 보면 어떤 문제를 대신 해결해 주어야 할까? 그리고 어떤 방식으로 제공해야 할까의 고민이 있었습니다. 근본적으로 우리 서비스를 사용하면서 가장 큰 허들이 무엇일까에 대한 고민이 있었습니다.
- 저희가 생각하는 사용자의 첫 번째 고민은 대규모 데이터를 어떻게 분석하는가 하고 생각합니다. 허블은 한국어 3.3억 개, 일본어 6.8억 개, 영어 11억 개를 서비스하고 있습니다. 관심 있는 키워드를 입력하는 것도 어렵지만 입력된 키워드를 분석하는 부분도 매우 어렵습니다. 인텐트 파인더, 패스파인더, 클러스터 파인더의 예를 들면 아래와 같습니다. 이런 문제를 해결하기 위해서 가장 필요한 Agent는 데이터가 어떻게 생겼는지를 분석해 주는 업무를 해결해 줘야 한다고 생각했습니다.
- 위에서도 언급했지만, Agent는 누군가의 문제를 대신해서 해결해 주는 형태이어야 한다고 생각합니다. Listening Mind의 사용자를 고려해 보면 어떤 문제를 대신 해결해 주어야 할까? 그리고 어떤 방식으로 제공해야 할까의 고민이 있었습니다. 근본적으로 우리 서비스를 사용하면서 가장 큰 허들이 무엇일까에 대한 고민이 있었습니다.
인텐트 파인더 ( 건조 외 22개 키워드 입력/ 234,253개 키워드 조회)
패스 파인더 (갤럭시 25 입력 , 327개 키워드 조회 )
클러스터 파인더 (무신사 입력, 4,357개 키워드 조회)
- Data가 어떻게 생겼는지를 분석해 준다는 것을 저희는 단순한 통계를 제공하는 것으로 생각하지는 않았습니다. Data를 바라보는 다양한 시각이 있을 수 있고 무엇이 중요한지에 따라 분석해야 할 지표가 바뀔 수 있다고 생각합니다. 그래서 기본적으로 파인더별로 가장 기초적이지만 중요하다고 생각되는 지표를 볼 수 있도록 하기로 결정했습니다.
Listening Mind를 위한 가장 효과적인 Agent 형태
- Agent를 활용하는 방법이 이미 여러 가지 형태로 존재합니다. 대화만으로 agent를 제공하게 하는 방법도 있고 옵션을 버튼 형태로 제공하는 방법도 있고 여러 가지 다양한 형태가 존재합니다. GUI에서 보이는 형태도 다양하지만, Context Data에 어떤 정보를 제공하는지도 다양한 것으로 알고 있습니다.
- 저희가 25년도 8월부터 MCP 형태로 유료 사용자분들은 Listening Mind의 Data를 활용해서 LLM을 이용하실 수 있도록 서비스를 제공하고 있습니다. 그런데 사용자 로그를 보면 사용 횟수나 빈도가 매우 높은 고객은 5%가 되지 않고 95%의 고객은 초기에 1~3회 사용하고 접속하지 않는 경향이 있었습니다. 질문하려면 내가 뭘 알아야 하는지 또는 무엇을 모르는지를 알아야 하는데 이 부분이 사용자마다 상이할 수 있다고 생각합니다.
- 그래서 저희는 첫 번째 질문은 Agent를 Click 하면 저희가 작성한 프롬프트와 조회 결과의 Data를 LLM에 전달해서 답변을 하게 했습니다. 이 시점까지도 저희는 사용자가 궁금한 부분이 무엇인지 정확히 알 수 없어서 아코디언 Tap 형태로 제목만 제공하고 사용자가 관심 있는 Data를 클릭해서 볼 수 있도록 했습니다. 다시 설명하면 첫 번째 대화는 저희가 준비한 Data와 프롬프트로 진행하고 요약 보고하는 형태로 제공합니다.
- 두 번째 질문부터는 사용자가 필요한 질문을 프롬프트에 작성해서 대화를 이어갈 수 있도록 하는데, 직전에 제공했던 Data와 LLM의 결과를 같이 LLM 서버에 전송함으로써 심화 질문을 하거나 같은 Data에서 다른 측면의 분석이 가능할 수 있도록 했습니다.
글을 맺으며
Listening Mind를 개발하고 서비스하는 입장에서 기술의 발전을 활용해서 가능하면 사용자의 서비스 이용 가치를 높일까 고민하고 있습니다. 최근 LLM의 시장 변화와 이에 따라서 성장하고 있는 AI Agent의 활용성에 대해서 많은 고민이 있었습니다.
저희는 첫 번째 Agent로 조회 결과를 분석해 주는 Agent를 만들었습니다. 이 Agent를 첫 번째로 선택한 이유는 파인더별로 대량 Data를 분석하는 데 사용자의 어려움이 있다고 생각했고 이 부분을 가능한 한 해결해 보고자 했습니다.
하지만 이번 Agent는 저희 회사에서도 처음 시도한 프로젝트이기 때문에 부족한 부분이 많다고 생각합니다. 향후 다양한 Agent를 제공하려고 합니다. 많은 질책과 다양한 의견을 주시면 열심히 서비스에 반영하겠습니다. 26년도 1월에 제공하는 각 파인더에 대해서는 다음 글에서 좀 더 자세히 설명할 수 있게 하겠습니다.