우리는 미래가 궁금합니다. 미래를 알 수 있다면 이에 대응할 수 있고 어쩌면 미래를 바꿀 수도 있기 때문에 예측하고 전략을 수립하고 계획을 세우고 싶습니다. 검색 Data 시장도 검색량을 예측하고 싶은 많은 요구가 있습니다. 이번에 ListeningMind에서 향후 3개월 검색량을 예측하는 서비스를 출시했습니다. 만들면서 그리고 서비스로 제공하면 고민했던 부분을 정리하고자 이 문서를 작성합니다.
검색량 예측 서비스는 어떤 서비스일까?
검색량 예측 서비스는 Query Finder에서 왼쪽 위의 AI 검색량 예측을 클릭하면 조회된 결과의 키워드 중에서 검색량 기준으로 상위 10개의 키워드에 대한 향후 3개월의 검색량을 예측해서 제공하고 있습니다. 검색량 상위 기준은 Default로 제공되는 기준이고 사용자의 목적에 따라 한 번에 10개까지 키워드를 선정해서 예측량을 볼 수 있습니다.
기본적으로 AI를 사용해서 예측하지만 사용하는 데이터는 각 키워드의 과거 48개월의 검색량과 수집된 SERP에 있는 일부 Signal을 활용하여 검색량을 예측합니다. 예를 들면 아래 화면은 “광안리”를 검색한 결과에서 AI 검색량 예측을 조회한 결과입니다.
점선으로 표시된 영역이 예측 결과입니다. 그리고 특정 키워드의 예측값이 산출된 근거를 알고 싶다면 우측의 예측 해설을 클릭하면 설명을 확인할 수 있습니다.
광안리 숙소는 지난 4년간 7월에 조회량이 가장 많았기 때문에 비슷한 패턴으로 7월의 검색량이 많을 것으로 예측한 것이라는 설명을 볼 수 있습니다.
지금 적용되고 있는 검색량 예측은 48개월 동안의 검색량 변화에서 보이는 추세를 반영하고 있습니다. 그리고 검색량의 특성상 계절성이나 주기적인 변화를 보이는 부분도 반영됩니다. 그리고 마지막으로 SERP에서 인지할 수 있는 트렌드, 유행 등이 반영된다고 생각하면 될 것 같습니다.
검색량 예측 서비스는 어떤 한계가 있을까?
그런데 검색량 예측을 한다는 게 다음 달 검색량을 맞출 수 있다는 말일까요? 우리가 Data Science project를 진행하면서 모델이 가진 예측력에 대한 평가도 하고 Feature Engineering을 통해서 예측을 설명하는 요인들을 찾고 있지만 사실 맞추기는 거의 불가능합니다. XGBoost나 LightGBM 같은 모델에 검색량과 이벤트 정보를 넣고 과거의 Data를 예측하는 모델을 만들어서 신뢰성을 평가하지만 이렇게 진행한 방법으로 미래의 검색량을 예측된 범위에서 맞추기는 어렵습니다. (이런 방법을 사용하지 않았다는 것이 아니라 사용했지만 여전히 한계가 있다는 뜻입니다.)
사회과학 모델에서 인과관계와 상관관계에 대한 논란은 항상 있었습니다. 자연 과학에서는 상관관계와 인과관계를 비교적 정확하게 분리할 수 있지만 사회과학에서는 이를 분리하기 어렵습니다. 이유는 특정 조건 또는 상황을 제외하고는 모두 같다는 전제가 있어야 이 변수가 상관관계인지 인과관계인지를 파악할 수 있는데 사회과학 분야는 다른 조건을 제어하기 어렵기 때문입니다. Correlation is not causation 이라는 표현이 이것을 이야기합니다.
특히 검색량은 사람의 마음과 욕망의 집합체이기 때문에 굉장히 복잡한 상호작용의 결과입니다. 게다가 사업자들은 기존의 Trend나 사회적 맥락 또는 대체재를 제안하기 위해서 큰 비용을 들여서 마케팅 활동을 하므로 과거의 상관 또는 인과관계가 지속되기는 어렵습니다. 그래서 예측값도 범위로 제공하고 이유를 설명하고 있는 것입니다. 결론적으로 이야기하면 저희가 제공하는 검색량 예측 서비스의 결과값은 맞을 확률이 높지 않습니다. 물론 변동성이 낮고 계절적 특성이 높은 키워드는 예측 확률이 높을 수 있습니다. 하지만 이슈나 유행으로 변동성이 커지거나 마케팅 활동을 적극적으로 진행해서 기존의 가정을 변동하는 하는 경우에는 예측 확률이 낮아진다고 할 수 있을 것입니다.
한계에도 불구하고 이 서비스를 만든 이유는 무엇일까?
키워드마다 예측 확률도 상이하고 미래의 검색량을 맞추기 어렵다는 것을 알면서 왜 검색량 서비스를 출시했을까요? AI와 Data Science가 발전하면서 예측 모델의 성능은 많이 향상되었습니다. 그렇지만 모든 키워드(세상의 모든 관심과 욕망)를 예측한다는 건 여전히 어려운 일입니다. 하지만 이번 프로젝트를 하면서 이 예측은 마케터에게 두 가지 의미가 있다고 생각했습니다.
첫째는 기준선으로서의 의미입니다. 과거의 Data 추세와 계절적인 요인들을 고려할 때 향후 3개월의 기준점을 가정할 수 있습니다. 과거에 우리가 한 마케팅 활동대로 하면 이 정도의 Traffic이 예상된다. 여기서 특별한 우리 활동이 없는데 실제 결과가 예측치 범위 밖으로 이동한다면 시장 또는 경쟁자의 변화가 있다고 가정할 수 있습니다.
두 번째는 마케터 입장에서는 이 Trend를 깨는 활동을 해야 합니다. 결국 마케팅 결과의 목표치가 될 수 있을 것 같습니다. 지금의 Trend도 마케팅 활동의 결과이겠으나 이 수준에서 머무를 것인지 아니면 이 수준에서 한 단계 올라갈 것인지 전략을 세우고 마케팅 활동을 수립하고 결과를 평가할 수 있을 것으로 생각됩니다. AI가 인지할 수 있는 추세의 변화가 있어야 합니다.
마케터는 검색량 예측이 맞기를 바라는 것이 아니라 이 예측치를 깨는 활동을 성과로 보여줘야 한다고 생각합니다.
글을 마무리하며
최근에 ListeningMind에 검색량 예측 서비스를 출시했습니다. 검색량이 검색하는 사람들의 마음과 욕망의 집합체이기 때문에 현실적으로 과학을 이용해서 맞추려는 목적으로 출시한 서비스는 아닙니다. 미래의 목표를 어떻게 잡을지에 대한 기준선이고 활동 결과에 대한 평가 지표가 될 수 있다고 생각합니다. 저희는 서비스에 더욱 많은 SERP의 Signal을 포함해서 구조적인 변화가 반영되어서 예측 확률을 높일 수 있도록 노력하겠지만 그런데도 이 서비스의 가치는 정확도가 아니고 기준선이 되어야 한다고 생각합니다. 어렵게 만든 서비스가 마케터의 업무에 도움이 될 수 있기를 기대합니다.