지표를 보기 전에 나를 빼라 — 내부 트래픽이 작은 서비스의 KPI를 오염시킨다

문제

청첩장 사이트의 KPI를 정리하다 멈췄다. 하루 방문 30, 그중 셋 중 하나가 나였다.

배포가 잘 됐는지 한 번, 프리뷰 링크를 다시 한 번, 모바일에서 또 한 번. 신랑신부는 자기 페이지를 백 번 들여다본다. 그 새로고침이 전부 "방문자 30"에 섞여 들어갔고, 나는 그 숫자를 진짜 하객의 관심으로 읽을 뻔했다.

규모가 클 때는 내 새로고침이 노이즈로 묻힌다. 작을 때는 내가 곧 신호다. 그래서 지표를 보기 전에, 측정자 자신을 먼저 빼야 한다.

어떤 트래픽이 나인가

출처	사용자로 오해되는 방식
본인 새로고침	방문/세션/PV 부풀림
내부 프리뷰 링크	배포 확인이 '관심'으로 집계
헬스체크·봇	항상 켜진 가짜 트래픽
테스트 자동화	전환 퍼널을 통과한 가짜 유저

그래서 분석을 시작하기 전에 가장 먼저 한 일은, 이 네 부류를 측정 시점에 플래그로 분리하는 것이었다. 나를 빼고 나서야 비로소 진짜 하객의 패턴 — 언제 몰리고 어디서 이탈하는지 — 가 숫자 위로 드러났다.

이건 측정 위생(measurement hygiene)이다. 분석을 시작하기 전, 데이터에서 측정자 자신을 제거하는 작업.

함정

• 나중에 빼면 된다 — 사후 필터는 추정이다. 측정 시점에 IP·세그먼트·플래그로 빼야 깨끗하다.
• 나 하나쯤은 오차범위 — 규모가 작으면 나 하나가 오차범위가 아니라 표본의 1/3이다.
• 숫자가 커서 좋다 — 부풀린 KPI는 자기기만이다. 작아도 진짜인 숫자가 결정에 쓸모 있다.
• self만 빼면 끝 — 헬스체크·봇·CI 트래픽도 같은 부류다. 제외 목록을 한곳에 둔다.

핵심

숫자를 믿기 전에 그 숫자에 내가 얼마나 섞였는지부터 의심한다. 작은 서비스에서 신뢰할 만한 KPI는 측정자 자신을 빼는 데서 시작한다.

관련

/notes/ad-metric-traps — 지표 정의가 분모·윈도우에서 갈리는 또 다른 오염 /essays/data-trust-two-sided — 숫자를 못 믿게 되는 구조와 신뢰 비용