성과 측정 방식
클로저는 캠페인을 본 고객과 보지 않은 고객을 비교해 효과를 측정합니다. 캠페인이 없었어도 발생했을 구매를 캠페인 성과로 집계하지 않기 위해서입니다.
1. 대조군 비교
섹션 제목: “1. 대조군 비교”대조군이란?
섹션 제목: “대조군이란?”- 대조군은 캠페인 조건에 맞지만 의도적으로 소재를 노출하지 않은 방문자입니다.
- 온사이트 성과의 캠페인별 효과는 소재를 본 방문자와 보지 않은 방문자(대조군)의 구매 전환을 비교한 결과입니다.
- 효과는 두 집단의 구매 전환율 차이입니다.
2) 판정 표시
섹션 제목: “2) 판정 표시”표본이 적을 때 나타나는 차이는 우연일 수 있어, 클로저는 결과가 확실해질 때까지 판정을 보류합니다.
| 표시 | 설명 |
|---|---|
| 표본 쌓는 중 · 측정 중 | 비교할 만큼 방문이 아직 쌓이지 않았습니다. |
| 아직 확실하지 않아요 | 차이가 보이지만 아직 우연일 가능성을 배제할 수 없습니다. |
| 판정할 수 없어요 · 판정 한계 | 현재 조건으로는 결론을 낼 수 없습니다. |
| 성과 우수 · 성과 저조 등 | 대조군과 비교한 판정 결과입니다. |
2. 화면 용어
섹션 제목: “2. 화면 용어”이길 확률
섹션 제목: “이길 확률”- 두 소재(또는 캠페인과 대조군)를 비교했을 때 한쪽이 더 나을 확률입니다.
- 예를 들어 ’도전 소재가 이길 확률’은 도전 소재가 기존 대표 소재보다 성과가 좋을 확률을 의미합니다.
- 도전 소재가 더 낫다고 판단되면 교체 안건이 등록됩니다. 최종 결정은 운영자가 승인으로 내립니다.
표본(방문) · 표본(고객)
섹션 제목: “표본(방문) · 표본(고객)”- 비교에 사용된 수입니다. 온사이트는 방문 수, 첫구매·재구매(카카오 브랜드 메시지) 캠페인은 고객 수로 집계합니다.
- 안건 카드에는 ‘노출 · 대조’ 또는 ’도전 · 대표’처럼 두 집단의 표본이 나란히 표시됩니다.
표본 적음
섹션 제목: “표본 적음”- 숫자는 있지만 표본이 너무 적어 비율이 크게 흔들릴 수 있다는 의미입니다.
- 표본 적음이 표시된 숫자로는 성과의 좋고 나쁨을 판단하지 마세요.
기여 매출
섹션 제목: “기여 매출”- 온사이트에서는 소재를 클릭한 방문에서 발생한 주문의 금액입니다.
- 기여 매출은 대조군과 비교한 값이 아니므로 효과와 의미가 다릅니다. 기여 매출이 크다고 해서 효과가 크다는 의미는 아닙니다.
- 표의 기여 매출은 취소 주문을 포함한 값이며, 캠페인을 클릭하면 취소를 제외한 매출도 확인할 수 있습니다.
관찰형 · 인과 아님
섹션 제목: “관찰형 · 인과 아님”- 메시지 캠페인의 퍼널은 경향을 확인하는 지표이며, 효과 판단은 소재 비교 결과를 기준으로 합니다.
3. 해석 팁
섹션 제목: “3. 해석 팁”- 효과와 기여 매출이 서로 다른 방향을 보일 수 있습니다. 캠페인의 실제 효과는 효과 칸을 기준으로 확인해 주세요.
- 판정이 나오기 전에 캠페인을 비활성화하거나 변경하기보다는, 표본이 쌓일 때까지 기다려 보세요.
- 발송 직후의 메시지 캠페인은 구매를 관측하는 기간이 끝나지 않아 ’관측 중’으로 표시됩니다. 기간이 지나면 기여가 표시됩니다.