AI 시대, QA가 바라본 새로운 풍경

사내 AI 해커톤에서 만든 전적 분석기

바이브 코딩의 일상화

최근 들어 바이브 코딩을 경험할 기회가 많아졌다. 개인적으로는 Claude Desktop을 작업 관리자로, Cursor를 실제 코딩과 이슈 수정 도구로 활용해 테스트 케이스 관리 툴을 제작하고 있다. 서버-클라이언트 구조의 기본 틀을 잡고 다양한 요구사항을 정리하면 Claude가 큰 작업 단위로 진행 상황을 관리해 주고, 코딩을 통한 기능 추가와 이슈 수정은 Cursor로 진행하는 것이 자연스러운 워크플로우가 되었다. 이제 어느 정도 동작하는 웹/앱을 만드는 데 반나절이면 충분하다. 기술적 구현은 더 이상 큰 장벽이 아니다. 진짜 중요한 것은 '무엇을 만들어 어떻게 사용할 것인가'라는 본질적인 질문이다.

해커톤에서 마주한 현실

최근 내가 속한 기술본부 조직에서 전원이 참여하는 AI 해커톤이 열렸다. 개발자와 기획자, 데이터 분석가 등 본부 내의 다양한 직군의 사람들이 모두 참여했다. 2시간 정도의 짧은 시간안에 산출물을 만들어야 했는데, 나는 앞서 테스트 케이스 툴을 만들 때와 동일한 환경(Claude Desktop + Cursor)으로 '오버워치 전적 계산기'를 만들었다. 처음부터 블리자드가 제공하는 API를 활용해 실제 플레이 데이터를 불러오라는 요구사항을 명확히 작성했다. 첫 결과물은 30분이 채 지나기 전에 확인할 수 있었다. 하지만 뭔가 이상했다. 더미 데이터를 마치 실제 데이터인 것처럼 그럴듯하게 보여주고 있었던 것이다. 내가 플레이하지 않은 날짜의 데이터가 버젓이 있어서 알아챌 수 있었지만, 그렇지 않았다면 완전히 속았을 것이다. 다시 API를 제대로 활용하라고 요구하자, 그제서야 블리자드 개발자 사이트에서 인증 과정을 거쳐야 한다고 알려준다. 해커톤이 끝나고 각자의 산출물을 발표하는 시간은 무척 흥미로웠다. 투표를 통해 순위를 정했는데, 기획자와 데이터 분석가 분들이 만든 산출물이 1등과 2등을 차지했다. 일상 생활 속에서 가려운 부분들을 해결해주는 작지만 아이디어 넘치는 산출물들이었다. 당장 제품화를 해도 충분할 정도의 완성도를 보이는 산출물도 많았다. 모두가 서로의 산출물에 놀라워하고, AI의 성능에 감탄을 아끼지 않았다. 짧은 시간이었지만 AI를 통한 개발을 가볍게 접해보는 목적으로 수행된 사내 해커톤이 모두에게 신선하고 즐거운 경험으로 다가왔던 것 같다.

새로운 검증의 시대

하지만 내게는 ‘이런 상황에서 QA는 어떤 일을 해야할까?’ 라는 고민이 떠나지 않았던 시간이기도했다. 이전처럼 일반적인 기대결과와 테스트 케이스만으로 내가 만든 전적 계산기를 검증해야 했다면 한계가 분명했을 것 같다. 지금 시대의 소프트웨어 테스터/QA에게는 AI가 만들어낸 산출물이 진실한지 검증하는 능력이 필수가 되었다. AI가 만들어내는 결과는 점점 정밀해 지고 있다. 때로는 정확하게 보이기도 한다. 하지만 진실하지 않을 수 있다. 이런 산출물들이 요구사항과 맥락에 실제로 부합하는 결과물인지 판단할 수 있는 능력이 필요하다. 이는 당연히 개발자들에게도 마찬가지로 요구되는 역량이다. 이렇게 산출물과 데이터의 위양성, 할루시네이션을 검증하는 것으로 전통적인 소프트웨어 QA의 수명은 조금 더 연장될 수 있을 것같다. AI가 만들어 내는 산출물의 참거짓을 사람이 판단하기 어려운 시대가 빠르게 도래할 것이다. 그럼 그때는 또 어떻게 해야할까?

변화하는 패러다임 속에서

전통적인 개발자, 기획자, QA의 포지션 구분은 과연 계속 필요할까?
소프트웨어 개발과 소비의 큰 패러다임 자체도 크게 바뀌지 않을까?
그런 상황에서 소프트웨어 품질은 무엇을 의미하게 될까?

하루가 멀다 하고 바뀌는 이런 환경에서 살아남기 위해서는 우선 최대한 많이 경험하는 것이 필요하다고 생각한다. 스스로 변하고 살아남기 위한 밑거름을 지금부터 차곡차곡 쌓아가야 하기 때문이다. AI가 기술을 구현하는 문턱을 한껏 낮춰버린 지금, 우리의 역할은 기술을 다루는 것에서 기술이 만들어낸 결과를 해석하고 검증하는 것으로 진화하고 있다. 예상치 못한 그 다음 단계는 더 빠르게 다가올 것이다. 이 변화의 물결 속에서 우리는 어떤 준비를 해야 할까? 그 답을 찾아가는 여정은 이미 시작된 것 같다.