CodeRabbit + Cubic 이중 자동 리뷰 — 노이즈인가 신호인가

두 리뷰어가 동시에

5/21에 CodeRabbit config(.coderabbit.yaml)를 추가했다. 사이드 프로젝트 홈레이더에서 이미 쓰던 도구. 이 사이트에도 도입.

문제는 이 사이트는 이미 Cubic AI가 자동 PR 리뷰를 달고 있었다는 것. PR을 올리면 두 개의 자동 리뷰가 동시에 달린다.

처음에는 직관적으로 "노이즈"라 생각했다. 같은 PR에 비슷한 지적이 두 번. 그런데 며칠 써보니 그림이 달라졌다.

두 리뷰어가 보는 게 다르다

CodeRabbit과 Cubic은 같은 코드를 보는데 다른 것에 집중한다.

CodeRabbit: 변경 라인 단위 리뷰. "이 함수 시그니처는 더 명확하게", "여기는 null check 누락", "타입 정의 위치는 다른 파일이 맞다"는 식의 구체적 지적.

Cubic: 변경 전체의 흐름 리뷰. "이 PR의 핵심 변경이 무엇인가", "사이드 이펙트는 어디", "테스트 누락"이라는 큰 그림 지적.

같은 코드를 보지만 시야가 다르다. 둘 다 자동인데도 겹치는 지적은 30-40% 정도다. 60-70%는 한쪽만 본 것.

신호 vs 노이즈를 가르는 기준

이중 리뷰가 신호인지 노이즈인지를 가르는 게 있다.

신호: 한쪽만 본 지적 + 양쪽이 같이 본 지적이 둘 다 가치 있을 때.

• 한쪽만 본 지적: 다른 한쪽의 사각지대를 보완한다.
• 양쪽 본 지적: 한 번 더 강조 신호 (둘 다 봤다는 건 진짜다).

노이즈: 두 리뷰가 같은 시야인데 표현만 다를 때.

• 두 리뷰가 다 변경 라인만 보면: 같은 지적의 다른 표현. 노이즈.
• 두 리뷰가 다 큰 그림만 보면: 같은 추상화 수준의 다른 표현. 노이즈.

CodeRabbit + Cubic은 시야가 명확히 다르다. 그래서 신호 쪽.

비용

두 자동 리뷰의 비용은 두 가지다.

리뷰 시간: 사람이 PR을 열 때 두 리뷰를 다 읽는 시간. 한 PR당 +1-2분.

대응 시간: 두 리뷰의 지적을 합산하면 1.5-2배. 한 리뷰만 있을 때보다 대응이 길어진다.

이게 가치 있는가? 이 사이트 같은 1인 운영 사이트에서는 가치 있다고 본다. 이유:

• 사람 리뷰어가 없다. 자동 리뷰가 유일한 외부 시야.
• 외부 시야가 한 종류면 같은 사각지대를 공유한다.
• 두 시야는 시야 자체의 다양성을 만든다.

회사 코드처럼 사람 리뷰어가 N명 있으면 이중 자동 리뷰는 과할 수 있다. 사람 리뷰가 큰 그림을 보고 자동 리뷰가 변경 라인을 보면 충분.

운영 팁

며칠 써본 결과 두 리뷰를 효율적으로 같이 쓰는 방법.

• CodeRabbit을 먼저 봄: 라인 단위 지적은 즉시 수정. push로 빠르게 회신.
• Cubic은 거리 두고 봄: 큰 그림 지적은 한 번 더 생각하고 답. PR 본문 보강 또는 별도 노트로 자산화.
• 겹치는 지적은 한 번만 답: 두 리뷰 모두에 같은 답 다는 건 시간 낭비. 한쪽에 답하고 다른 쪽에는 "위 답변 참조".
• 약한 지적은 reject: 자동 리뷰는 false positive가 있다. 모든 지적을 적용할 의무 없음. 약한 지적은 명시적으로 reject하고 이유 적기.

함정

• 자동 리뷰가 사람 리뷰를 대체한다 착각: 자동 리뷰는 변경 라인과 흐름을 본다. 제품 의도·UX·전략은 못 본다. 그건 사람.
• 자동 리뷰 지적 100% 적용: 자동 리뷰는 컨벤션 보수적이다. 의도적으로 컨벤션을 벗어난 경우도 "위반"으로 본다. 적용 vs reject 판단은 사람.
• 두 리뷰 결과를 단순 합산: 두 리뷰의 시야가 다르면 합산이 의미 없다. 시야 차이를 인식하고 각자 다른 가치로 활용.
• 이중 리뷰가 머지를 느리게 만듦: 두 리뷰 다 통과해야 머지하는 규칙으로 만들면 머지가 느려진다. 둘 다 참고용 — 머지 판단은 사람.
• 두 리뷰가 같은 모델이면: CodeRabbit과 Cubic이 같은 LLM 백엔드를 쓰면 시야가 같을 수 있다. 시야 차이가 보장된 도구 조합인지 확인 필요.

핵심

이중 자동 리뷰의 가치는 시야 차이에서 나온다. 시야가 같으면 노이즈, 다르면 신호. CodeRabbit(라인) + Cubic(흐름)은 다른 시야여서 신호.

관련

/notes/code-review-real-value — 코드 리뷰의 진짜 가치 /notes/codex-competition — 두 모델 경쟁의 일반화