문제

"세련된 디자인으로 바꿔줘", "모바일에서 잘 보이게 해줘" 같은 요청은 본질적으로 주관적이다. 사람이 매번 직관으로 평가하면 사이클이 사람 속도에 묶이고, 의사결정 근거도 흐릿하게 누적된다.

직관을 결정론적 평가로 바꿀 수 있는가?

의사결정

버린 선택지

  • 단일 평가자에게 전체 점수 받기: confirmation bias + 영역 누락 위험
  • 체크리스트로 끝내기: 가중치·BLOCKING·재평가 사이클 부재
  • 사람이 매번 직접 평가: 사람 속도, 일관성 ↓

채택

  • rubric 4-7축 분해 + 페르소나 N명 영역 분담 + 평균 4.5/5 임계 + BLOCKING 표시 + max 3 사이클
  • 각 영역마다 같은 패턴 재사용

산출물

5번의 quality-gate 사이클을 같은 코드 베이스에 같은 패턴으로 적용:

영역rubric 차원페르소나C1 → C3
디자인 톤9축디자이너·기획자·채용·엔지니어3.28 → 4.44
모바일 최적화8축디자이너·기획자·개발자2.75 → 4.75
콘텐츠 시드 (11편)12축라이터·전략가·검증자4.04 → 4.59
자동화 PoC PLAN6축SRE·법무·운영 사용자2.5 → v1/v2 분리 후 4.33
Essay 4편5축라이터·전략가·검증자3.58 → 4.66

임팩트

  • 누적 평균 상승: 사이클 시작 평균 2.5~4.0대 → 통과 4.5+
  • 객관화된 결정 근거: 각 점수에 "왜 이 점수인지" 코드 라인 인용 첨부
  • 재사용 가능한 패턴: 같은 rubric 구조 5번 재사용 → 영역 무관 통일 워크플로우
  • 숨은 BLOCKING 발견: 평균이 통과해도 한 항목이 3점이면 사용자 시각의 약점 → 통과 임계가 "모든 항목 ≥4" 조건을 포함하게 된 결정적 이유

회고

평균이 아니라 최저 항목이 통과를 결정한다는 게 가장 큰 깨달음. 한 항목이 3점이면 사용자가 그 한 항목에서 멈춘다. 평균은 사람의 시각이 아니라 시스템의 시각이다.

다음 보강: 페르소나 fatigue (같은 사람이 사이클 연속 평가 시 confirmation bias) 방지 메커니즘 — 페르소나 풀 rotation 고려.

관련: /notes/quality-gate-loop