AI로 테스트 자동화 구축하기 — QA팀 지식을 Claude Code로 구조화한 사례

Photo by Ferenc Almasi on Unsplash

AI로 테스트 자동화 구축하기, TOKIUM의 QA팀 리더 니시다가 Claude Code로 테스트 설계 전체를 자동화한 이야기야.

배경: 반복되는 테스트 설계, 사람이 계속 하는 게 맞나?

TOKIUM에서 QA팀을 이끌고 있는 니시다는 매번 반복되는 테스트 설계 작업에서 문제를 느꼈어. 팀 안에 쌓인 노하우가 있는데, 그게 사람 머릿속에만 있고 문서로도, 시스템으로도 제대로 정리가 안 돼 있었던 거지. 새 기능이 나올 때마다 비슷한 설계를 처음부터 다시 하는 상황이 반복됐고, 이걸 어떻게 구조화할 수 없을까 고민하기 시작했어.

AI로 테스트 자동화 구축하기 — 하네스 엔지니어링 방식으로 접근했어

그가 주목한 건 "하네스 엔지니어링"이라는 개념이야. 프롬프트를 잘 쓰는 게 아니라, AI가 동작하는 환경 자체를 설계하는 방식이거든. 구체적으로는 Claude Code를 활용해서 지시 파일, 지식 베이스, 검증 로직, 워크플로우 정의 같은 외부 구조를 먼저 만들었어. QA팀이 실제로 쓰는 테스트 설계 패턴을 문서화해서 Claude가 참조할 수 있는 컨텍스트로 변환한 거야. 그러면 AI가 새 기능에 대한 테스트 케이스를 팀 기준에 맞게 뽑아낼 수 있게 돼.

단순히 "테스트 케이스 짜줘" 하고 프롬프트 날리는 게 아니라, 팀의 판단 기준과 체크포인트까지 구조에 녹여놨다는 게 핵심이야.

결과: 설계 시간 단축 + 지식 자산화

반복 설계 작업 시간이 눈에 띄게 줄었어. 더 중요한 건, 팀 안에 암묵적으로 있던 QA 노하우가 실제로 재사용 가능한 자산이 됐다는 거야. 새 팀원이 와도 AI 환경 안에 기준이 녹아 있으니까 온보딩 부담도 낮아졌어.

따라할 수 있는 포인트

• 지금 팀에서 반복하는 작업을 먼저 적어봐. 테스트 설계든, 코드 리뷰든, 문서 작성이든.
• 그 작업에서 쓰는 판단 기준을 텍스트로 정리해. 이게 하네스의 재료가 돼.
• Claude Code나 Cursor에 그 기준을 지시 파일(.md)로 넣어봐. 프롬프트보다 훨씬 일관된 결과 나와.
• 처음부터 완벽하게 만들려 하지 말고, 한 가지 케이스부터 구조화하는 게 빠르게 시작하는 방법이야.

AI로 테스트 자동화 구축하기, 결국 핵심은 AI한테 일 시키기 전에 "우리 팀의 기준"을 먼저 언어로 꺼내는 거야.

🔗 참고 링크

• 원본 출처: QAチームのナレッジを「ハーネス」にする — Claude Codeでテスト設計を自動化した話
• 관련 AI 툴: Claude Code · Cursor