AI가 쓴 코드를 믿는 법 — 검증과 테스트
돌아간다 ≠ 맞는다. 검증의 사다리 · 테스트 지렛대 · AI 리뷰 · 평가(evals)까지 — AI 코드에 대한 신뢰를 설계하는 법.
AI가 쓴 코드는 '틀리게'가 아니라 '그럴듯하게' 틀린다. 돌아간다 ≠ 맞는다 — 검증의 사다리, 테스트와 보상 해킹, 리뷰, 평가(Evals), 신뢰 다이얼까지 바이브 코딩의 속도를 지키는 검증 전략 프레젠테이션.
3분 요약
AI 코드는 무섭게 틀리지 않고, 그럴듯하게 틀립니다. "돌아간다"와 "맞다"는 다릅니다.

- "다 했어요"를 믿지 말고 증거를 받으세요
테스트 실행 결과 · 원본 로그 · 스크린샷 · 종료 코드. 보고가 아니라 출력을. - 테스트를 먼저 쓰게 하고, 채점 기준(테스트)은 사람이 지킵니다
AI는 통과를 위해 테스트를 고치기도 합니다. "테스트 파일은 수정 금지"를 명시하세요. - 경계값·오류·회귀를 콕 집어 요청하고, 리뷰는 새 세션에게
검증 강도는 작업 무게에 맞춥니다 — 일회용 스크립트와 팀 도구는 다릅니다.
지금 바로 써 보는 프롬프트
구현하기 전에 실패하는 테스트부터 써줘 — 경계값, 잘못된 입력, 빈 데이터 케이스 포함.
내가 테스트를 확인한 뒤에 구현하고, 구현 중에는 테스트 파일을 수정하지 마.
끝나면 실제 테스트 실행 출력을 그대로 보여줘.
이럴 때 다시 펼쳐 보세요
- AI가 만든 결과를 그대로 써도 될지 불안할 때
- "고쳤어요" 했는데 또 같은 버그가 날 때
- 팀 공용 도구로 키우기 전에
이런 순서로 이야기해요
- 무섭게 틀리지 않고, 그럴듯하게 틀립니다
- 미묘하게 틀리는 단골 패턴 도감
- 검증의 사다리 — 올라갈수록 사람은 편해집니다
- 보고받지 말고 증거를 받으세요
- 사다리 꼭대기 — 사람 없이 도는 검증
- 테스트 = 실행 가능한 스펙
- 테스트 먼저 시키기 — 에이전트와 TDD
- 테스트를 통과 못 하면 — 테스트를 고칩니다 — 방향키
- 방어 3종 — 채점 기준은 사람이 지킵니다
- "테스트도 짜줘"로는 해피 패스만 나옵니다
- 같은 세션에게 "네 코드 비판해봐"는 왜 약한가
- 사람은 기계가 못 보는 것만 봅니다
- 검증 강도는 작업의 무게에 맞춥니다
- AI 코드, 커밋 전 체크리스트
- 세 문장만 가져가세요
슬라이드
바이브 코딩 세미나 시리즈의 한 편입니다. 전체 슬라이드와 실습 자료는 세미나 사이트에서 볼 수 있어요.
댓글 0
첫 댓글을 남겨 주세요.
Google로 로그인하고 댓글 남기기