블로그 보유율의 거짓말

보유율의 거짓말

Adjust 고객사에서 Retention Rate과 특히 "Day 1" 지표는 캠페인의 성과를 측정에서 매우 중요한 데이터입니다. 그러나 널리 사용되는 이 지표의 정의와 계산법에 대해 아직 충분한 논의가 이루어지지 않았습니다.

KPI(핵심성과지표)라는 단어는 의미가 간단해 보일 수 있습니다. 그러나 사실 KPI는 매우 복잡한 개념으로, 여러 방식으로 정의되어 각기 다른 결과를 도출할 수 있습니다.

한 가지 사례로, 최근 타업체에서 Adjust로 서비스를 변경한 고객의 D1의 평균 Retention Rate이 급격하게 감소한 것을 발견했습니다.

해당 고객은 Adjust의 Retention Rate 계산법이 잘못되었다고 생각했습니다.

그러나 Adjust와 타 업체의 계산법은 모두 '올바른' 계산이며, 단지 'day(일)'의 정의가 달랐던 것으로 나타났습니다.

왜 이런 차이가 생기나요?

앱을 설치한 다음 날 유저가 'Retain'된 경우에 우리는 일반적으로 유저가 집에 가는 길에 앱을 설치하고, 그 다음 날 아침에 앱을 실행했다고 생각할 것입니다. 유저는 출근하며 같은 게임을 두 번 실행했을 수도 있고, 이틀 밤 연속으로 음식 배달 앱을 사용했을 수도 있습니다. 이는 유저가 2일 연속 앱을 실행한 상황을 생각하는 매우 직관적인 방식입니다. 'day(일)'는 유저의 위치와 시간대에 따라 달력상의 날짜로 정의됩니다.

바로 이러한 점에서 차이가 발생합니다.

모든 유저가 같은 단일 시간대에서 생활한다면, 'day(일)'의 정의는 매우 간단할 것입니다. 그러나 유저는 모두 각기 다른 시간대에 살고 있습니다. 전 세계의 유저를 대상으로 하는 경우 프로그래머들은 시간대라는 까다로운 문제 를 잘 고려해야 합니다. 유저는 또한 각기 다른 시간대를 여행하기도 합니다.

따라서, 개별 유저의 달력을 기준으로 하여 언제가 다음 날이고 언제를 유저 보유의 'D1'으로 간주해야 하는지를 결정하는 것은 거의 불가능하다고 보면 됩니다.

바로 이러한 이유에서 현재 모든 모바일 측정 파트너와 모바일 애널리틱스 제공자들은 개별 유저의 달력을 기준으로 삼지 않습니다. 문제가 너무 복잡해지기 때문입니다.

그러나 'day(일)'가 유저의 달력상의 날이 아니라면, 어트리뷰션 제공자들은 어떻게 이를 정의하는 것일까요?

하루의 차이

이 문제를 해결할 수 있는 방법 중 하나는 전 세계적으로 중앙화된 '표준일'을 사용하는 것입니다.

보통 애널리틱스 제공자들이 가장 널리 사용하는 방식으로, 협정 세계시(UTC)를 하루의 글로벌 기준으로 삼고 있습니다. 이는 유저가 앱을 실행한 시점이 UTC 시간대에서 어느 날이었는지만 확인하면 되기 때문에 아주 간단한 방법입니다.

그러나 앞서 살펴본 예와 표준시간대에서 하루의 정의가 어떻게 달라질까요?

유럽과 UTC 시간대의 시차는 몇 시간 밖에 차이 나지 않습니다. 썸머타임 등의 변수가 있긴 하지만 유럽의 경우 대부분의 국가와 UTC 간의 시차는 2시간 내외입니다.

그러나 유럽 외의 경우 시차가 어떻게 달라질까요?

뉴욕은 UTC보다 4~5시간 늦습니다. 유럽보다는 차이가 나지만 아직 큰 차이는 아니죠. 또한 뉴욕에서 이 시간대는 대부분 잠을 자는 시간이라 데이터에 큰 영향을 주지 않을 것입니다.

그러나 샌프란시스코는 UTC보다 7~8시간이 더 느립니다. 즉 샌프란시스코 시간으로 오후 5시 전에 앱을 실행하고 이후에 다시(심지어는 같은 시간대에) 앱을 연 경우, 해당 유저는 D1에 보유된 것으로 간주될 것입니다. Adjust가 원하는 바람직한 보유일 계산법은 아닌 것이죠.

반면에 중국은 UTC 시간보다 8시간이 빨라, UTC 시간으로 자정이 중국에서는 오전 8시입니다. 이 경우 아침에 앱을 실행하고 오후에 다시 실행한 유저는 D1에 보유된 것으로 간주될 것입니다.

따라서 이러한 정의는 "D1 보유"를 실질적으로 반영하지 못한다는 한계가 있습니다. 1개의 단일 시간대 내에서 보유율에 따라 캠페인 성과를 비교할 수 있긴 하지만, 이러한 정의를 글로벌 캠페인에 적용하면 큰 오류가 생길 것입니다.

게다가 고려해야 할 사항이 또 있습니다.

대부분의 측정 회사들은 맞춤화 서비스를 제공하고자 고객이 코호트의 'Global Day(글로벌 일)'를 UTC가 아닌 원하는 시간대로 선택할 수 있는 옵션을 제공합니다.

이러한 옵션을 제공한 이유는 고객이 day의 기준을 직접 정하면, 가장 현실적으로 '실제 일'을 반영할 수 있을 거란 생각에서였습니다.

그러나 Adjust로 서비스를 옮긴 고객의 예에서 알 수 있듯이, 이는 심각한 KPI 오류를 야기합니다.

대부분의 유저 베이스가 북미에 있는 중국 기반의 회사를 예로 들어보겠습니다. 이 회사는 중국 표준시를 '글로벌 일'로 정했습니다.

이로 인해 '자정'의 기준이 뉴욕의 낮 12시, 샌프란시스코의 오전 9시가 되었습니다.

앱의 사용이 가장 활발하게 일어나는 시간대를 인위적으로 2개의 day(일)로 구분해버리면 보유율이 막대하게 높아질 것입니다. 점심시간에 몇 분 간격으로 게임을 2번 실행한 유저가 갑자기 '보유된 유저'로 간주되어 버리는 것입니다.

이러한 방법으로 보유율을 계산하는 것은 정확하지 않을 뿐만 아니라 위험합니다. 이러한 접근법을 사용하는 모바일 측정 파트너가 고객에게 이에 따른 단점과 잠재적 데이터 문제에 대해 설명하지 않다면, 마케터들은 실제로는 가치가 없는 유저에게 예산을 과도하게 집행하게 될 수 있습니다.

Adjust의 해결법

이러한 문제를 해결하기 위해 Adjust는 지난 몇 년 동안 대안책을 강구해왔습니다.

"day(일)"를 달력상의 날짜가 바뀌는 것으로 간주하는 대신, Adjust는 하루를 '24시간'의 기간으로 정의했습니다.

이 정의에 따라 Adjust는 유저가 앱을 실행한 두 시점의 타임스탬프를 비교하여 두 시점 사이에 24시간 이상의 차이가 있는지를 결정할 수 있게 되었습니다.

즉, 시간대나 현지 시각과 관계없이 앱의 첫 실행 이후 24시간이 지난 이후에 앱을 다시 실행한 경우에만 해당 유저가 D1에 보유된 것으로 간주하는 것입니다.

이러한 접근법을 예외 없이 모든 유저에게 적용함으로써, 유의미하고 정확한 비교가 가능한 KPI를 도출할 수 있게 됩니다.

참 간단하죠?

낯설지만 꼭 필요한 변화

다른 모바일 측정 파트너를 사용하다 Adjust로 옮긴 고객들은 처음에 이러한 방식이 낯설 수 있습니다. 앞서 예시로 설명한 고객의 경우 D1 보유율이 50%에서 25%로 하락하게 되었습니다.

달력을 기준으로 D1에 보유된 것으로 간주된 유저들의 절반은 실질적으로는 설치 시점으로부터 24시간 이후에 다시 돌아오지 않았기 때문에 이는 타당한 수치입니다. 수치가 하락하는 것을 좋아하는 사람은 아무도 없습니다. 해당 고객이 걱정했던 것은 당연합니다.

하지만 수치에 연연하기보다는, 앱의 전반적인 생태계의 건전성과 성공이라는 공통된 목표 아래 분석과 마케팅 접근법을 동일하게 가져가는 것이 중요합니다. Adjust의 fraud suite와 마찬가지로, Adjust의 코호트 접근법은 그동안 예산을 축내던 허위 유저들을 가려내기 때문에 처음에 D1 보유율이 감소할 수 있습니다. 이는 나쁜 것이 아닙니다. 앞으로 더욱 객관적이고 실제 행동할 수 있는 통계 수치를 얻게 될 것이기 때문입니다. 그러나 인위적으로 부풀려진 보유율을 기준으로 UA 매니저의 성과금을 책정해왔다면 초반에 적응하는 데 어려움이 있을 수 있습니다.

결국은 가장 정확한 정보를 가진 마케터가 최고의 마케팅 결정을 내린다는 것을 기억해야 합니다. 모든 KPI의 원리를 이해하고, 시간대와 지리와 같은 요소를 고려한 KPI를 사용하면 분명히 이에 대한 보상이 따릅니다.

수치가 높으면 당연히 좋겠지만, 그보다 중요한 것은 수치의 정확성입니다. 바로 이러한 이유에서 Adjust는 차별화된 보유율 계산법을 사용하고 있습니다.

Adjust의 최신 소식을 받아보고 싶으신가요?