LLM 그리고 MCP와 Skills

LLM의 발전과 서비스 구조의 변화

우리가 살고 있는 시대는 AI의 시대라고 해도 과언이 아니라고 생각합니다. ChatGPT가 세상에 나온 지 아직 4년이 되지 않았지만 그동안 엄청난 기술의 발전이 있었고 이 기술의 발전은 우리의 삶과 산업을 모두 바꿔버렸습니다. 최근에 출시된 OpenAI나 Anthropic의 모델들을 사용해 보면 이제 AI로 할 수 없는 일이 뭘까 하는 생각마저 듭니다. 특히 Computer와 관련된 개발이나 디자인 또는 서비스 기획 같은 일들은 모두 인간을 대체할 수 있을 것처럼 보입니다. 실제로 저희 회사에서 일어나는 많은 일이 AI의 힘을 빌려 진행되거나 AI가 인간 대신 처리하고 있습니다.

저희가 제공하고 있는 서비스인 리스닝마인드도 이러한 기술의 발전과 환경 변화에 적응해야 할 필요성을 절실히 느끼고 있습니다. 서비스 자체에 AI를 적용해서 개발 과정을 단순하게 하거나 사용자가 원하는 정보를 손쉽게 사용할 수 있도록 서비스를 제공하고 있습니다. 현재 AI가 적용되어서 제공하고 있는 대표적인 서비스는 아래와 같습니다.

1. 저니파인더
2. CEP 파인더
3. AI 옵티마이저
4. 리스닝마인드 AI 에이전트

이 서비스들 외에도 Discovery 많은 Feature에서 LLM을 적용하고 있지만 서비스의 규모나 성격을 고려할 때 위 4개가 주요한 LLM 서비스라고 할 수 있습니다. 그런데 LLM으로 서비스를 제공하면서 몇 가지 발생하는 Issue가 있었습니다. Issue의 주요 원인은 LLM이 점점 좋아지고 점점 개인화되고 있다는 것입니다. 구체적으로 보면 아래와 같습니다.

1. LLM 발전을 빠르게 반영하기 어렵습니다. 서비스를 만들 때는 최신의 모델을 활용해서 서비스와 프로세스를 구축합니다. 그런데 이 작업이 빨리해도 2달은 걸리게 되는데 서비스가 완성될 즈음이면 필요 없는 프로세스가 생기고 예상하지 못한 기능이 발표됩니다. 한 모델에서 이런 일이 생기는 것도 보조를 맞추기 쉽지 않은데 Google, OpenAI, Anthropic 등 많은 기업이 경쟁적으로 발전하는 부분에 보조를 맞추기 쉽지 않습니다. 결과적으로 사용자에게 최선의 서비스를 제공하는 데 제약이 있습니다.
2. 개인 사용자의 LLM을 사용하는 것과 결과를 동일하게 만들기 어렵습니다. 1번의 기술적인 발전이 없다고 하더라도 현재 많이 사용되는 LLM 서비스들이 사용자의 Context를 저장하고 이를 활용해서 답변을 주고 있기 때문에 LLM API를 활용해서 서비스를 제공하는 업체 입장에서는 동일한 수준의 결과를 제공하는 데 한계가 따릅니다. 저 개인의 경우를 보면 리스닝마인드에서 제공하는 서비스의 프롬프트와 프로세스를 모두 활용할 수 있기 때문에 서비스에서도 사용해 보고 제 개인 계정의 LLM에서도 사용해 보는데 결과가 많이 다릅니다.
3. 정액제 LLM을 사용하는 것에 비해서 종량제 API를 사용할 경우, 상황과 조건에 따라 다르지만 많은 경우 토큰 비용이 20배 이상 차이 나는 경우도 있습니다. 이 부분은 저희가 새로운 서비스를 도입하고 새로운 Data를 제공하는 데 매우 불편한 상황이 됩니다. 좋은 것을 알지만 이 Feature가 활성화되면 비용 관리를 못할 수도 있다는 걱정이 새로운 서비스를 기획하고 제공하는 데 많은 고민을 하게 만듭니다.

MCP의 기능과 목적

그래서 2025년에 MCP를 제공하기로 결정했습니다. 구독하고 있는 LLM에 리스닝마인드의 Data를 연결해서 사용자가 원하는 결과를 얻도록 하자는 생각이었습니다. 그리고 우리는 개발의 방향을 온라인에서 사용되는 App이 최우선이 아니고 사용자의 Agent가 좋아하는 Data를 제공하는 것을 최우선으로 생각했습니다. 사용자가 리스닝마인드의 Data를 이용해서 결과를 받을 수 있는 내용은 사실 무궁무진합니다. Data를 제공하는 입장에서 어떤 목적을 위해서 어떤 Data를 제공할 것인지를 정하는 것이 쉬운 일은 아닙니다만 일단 시작은 현재 제공하고 있는 서비스에서 많이 사용하는 Data를 우선적으로 제공하고 있습니다. 아래는 현재 제공하고 있는 MCP Data 종류입니다.

(리스닝마인드 MCP 서버 – AI 툴 데이터 연동 | ListeningMind)

1. 연관 키워드 탐색 (쿼리 파인더 검색) : 하나 혹은 복수의 키워드를 입력하면 MCP에서는 이와 관련된 키워드를 최대 1,000개까지 조회하게 됩니다. 리스닝마인드의 쿼리 파인더를 조회해서 키워드를 불러온다고 생각하면 됩니다. 이 방법은 특정 키워드와 같이 검색되는 모든 키워드를 가지고 온다고 생각하면 됩니다. 브랜드로 생각하면 우리 브랜드와 같이 조회되는 키워드는 어떤 게 있고 어떤 키워드가 증가하거나 감소했을까를 확인할 수 있는 데이터입니다. 하지만 LLM에 이 데이터를 넣어서 분석하면 결과는 우리가 생각하는 것과 많이 다를 수 있습니다.
2. 검색 경로 분석 (패스 파인더 검색) : 특정 키워드를 중심으로 소비자가 검색 전후에 어떤 키워드를 탐색했는지 시퀀스 형태로 제공합니다. 패스파인더의 흐름은 기본적으로 사용자 의사결정의 순서가 되고 의도를 볼 수 있습니다. 현재 제공하는 패스파인더를 Data 형태로 제공합니다.
3. 키워드 클러스터 분석 (클러스터 파인더 분석) : 검색 경로 Data를 활용하여 사용자의 의도를 기반으로 만들어진 키워드 클러스터 정보를 제공합니다. 기본적으로 1,000개까지 호출 가능하지만 LLM에게 적절히 지시하면 현재 DB에 보유된 키워드를 관계 기준으로 모두 받아서 분석할 수 있습니다.
4. 키워드 상세 정보 (키워드 검색 정보 조회) : 위의 3개 API가 제공하는 정보는 키워드 자체와 키워드와 키워드의 관계 정보입니다. 하지만 개별 키워드에 대해서 이것보다는 훨씬 많은 정보가 제공되고 있고 이 정보를 활용해서 서비스를 구성하고 있습니다. 대표적인 정보가 검색량, 검색 의도 같은 정보입니다.
5. AI 개요 분석 정보 : 키워드를 입력하고 검색하면 AI Overview가 노출되는 경우에 이 정보를 수집합니다. 쿼리파인더 기준으로 키워드를 1,000개 호출하고 이 키워드의 검색 결과에 AIO가 있을 경우 AIO의 본문과 출처 등 모든 정보를 송출합니다. 분석해 보신 분들은 아시겠지만 AIO는 사실 검색 결과의 확장이자 요약입니다. 이 데이터를 LLM이 읽고 분석해 줄 수 있는 내용은 매우 광범위하고 깊습니다.
6. 이슈 키워드 조회 (Trend Finder 조회) : 구글 검색 결과에는 이 키워드가 조회되는 시점에 이슈라는 코드가 있습니다. 이 정보를 수집해서 Trend Finder라는 서비스로 제공하고 있는데 이 정보를 제공합니다. 최근에 어떤 키워드가 이슈인지 또는 특정 키워드와 관련된 이슈들은 어떤 것들이 있는지 확인할 수 있는 Data입니다.

알파 서비스를 포함하면 MCP를 제공한 지 1년이 넘었습니다. 아직은 50%가 안 되는 수준의 고객만이 MCP를 사용하고 있고 사용하시는 분들도 사용에 어려움이 있는 경우가 종종 있는 것으로 보입니다. 일반적인 질문들, 예를 들면 ‘검색량이 왜 늘었어?’ 또는 ‘최근에 냉장고와 관련해서 검색량이 늘어난 키워드는 뭐야?’처럼 LLM에게 질문을 하면 리스닝마인드의 데이터를 이용해서 쉽게 답변을 주지만 여기저기 흩어진 데이터를 모으고 이를 기반으로 다시 분석하고 그 결과를 정리해야 하는 것처럼 긴 작업은 답변이 만족스럽지 않을 수 있습니다. 제공되는 데이터를 충분히 이해하고 결과에 맞춰서 질문을 구성해야 하기 때문입니다.

Skills의 제공 범위와 목적

Skills를 절차적 지식이라고 하는 말에 공감합니다. 신입사원이 회사에 들어오면 사무실 활용 방법, Data 해결 방법, 해야 하는 일과 주의해야 할 점 같은 교육이 필요합니다. 지식이 많은 경우에는 필요 없을 수도 있지만 기초지식이나 문서 양식 같은 부분도 필요합니다. Skills를 절차적 지식이라고 하는 이유는 이와 같다고 생각합니다. 어떤 순서로 일을 해야 하고 어떤 Data를 사용해야 하는지 그리고 어떤 방법으로 분석해서 결과를 어떻게 보여줘야 하는지 같은 정보를 제공한다고 생각합니다. 평균적으로 보면 리스닝마인드의 Data가 어떻게 구성되어 있는지 그리고 그 Data로 어떤 일을 해야 하는지 또는 할 수 있는지 같은 정보는 Ascent AI가 가장 많이 가지고 있을 것이기 때문에 이를 바탕으로 Skills를 만들었습니다. Skills를 제공하는 목적은 아래와 같습니다.

1. 기본적인 활용 방법 제공입니다. ‘LLM 프롬프트에 이렇게 질문하면 이런 결과를 만들 수 있다’는 예시를 제공합니다. 기본적인 질문은 제공하는 스킬을 사용해서 좋은 결과를 만들 수 있습니다.
2. App으로 제공하기 어려운 Feature를 간단한 형태로 제공하려고 합니다. 절차가 많고 중간 결과를 사용자가 판단해서 선택하고 다시 분석하는 작업은 App의 사용성을 학습하는 것도 어려운 일입니다. 이런 복잡한 작업은 LLM을 활용하면 쉬운데 작업이 진행되는 동안 절차나 내용이 이해하기 어려우면 LLM에게 물어보고 판단하고 선택할 수 있기 때문에 상대적으로 용이합니다. 결과가 마음에 들지 않을 때 재작업하거나 수정하는 것도 LLM을 활용하면 훨씬 좋은 결과를 만들 수 있습니다.
3. 사용자의 업무 환경에 맞춰서 변경 사용할 수 있는 Base Tools로 사용할 수 있습니다. 스킬스의 실체를 보면 기본적으로 MD 파일입니다. 자연어로도 작성 가능합니다. 아무것도 없는 상황에서 Agent를 만들려고 하면 상당한 Know-how가 필요하지만 이미 만들어진 초벌이 있다면 누구나 쉽게 수정할 수 있다고 생각합니다. 앞에서 Skills를 절차적 지식이라고 했었는데 모든 회사는 자기 회사만의 절차적 지식이 있습니다. 각 조직에 축적된 절차적 지식은 완벽하지는 않지만 당연히 이유가 있을 것이고 필요하기 때문에 존재한다고 생각합니다. 검색 Data와 해당 조직의 축적된 절차적 지식을 잘 연결하면 업무를 효과적이고 효율적으로 진행할 수 있을 것이라고 기대하고 있습니다.

글을 마무리하며

이 글은 Skills를 만들어 제공하게 되면서 작성하게 되었습니다. Skills라는 Feature가 Anthropic을 통해서 시장에 소개되었고 지금은 보편화되어 있지만 리스닝마인드 입장에서는 왜 제공해야 하는지, 꼭 필요한지에 대한 고민이 있었습니다. 검색 Data를 분석한다는 것은 쉬운 일은 아니고 더군다나 이를 통해서 성과까지 만드는 데는 많은 노력이 필요합니다. 그리고 다양한 형태로 분석하고 해석해야 합니다. 현재 제공하는 리스닝마인드는 생각보다 초기 사용이 어렵습니다. 많은 버튼과 데이터 그리고 다양한 Feature가 자랑이지만 초기 사용자에게는 이런 다양한 기능과 데이터가 부담이 되고 있습니다. 그래서 MCP로 Data를 제공해서 사용하도록 유도했지만 이것도 한계가 있습니다. Skills는 이런 문제를 많이 해결해 줄 수 있을 것으로 기대하고 있습니다. 현재는 4개의 Skills만이 제공되고 있으나 사용자가 원하는 Skills를 추가로 제공할 계획이고 이를 통해서 발전하는 LLM의 혜택을 충분히 향유할 수 있도록 하려고 합니다. 다음 글로는 제공되고 있는 Skills에 대한 내용을 정리해 보도록 하겠습니다.