[게임운영] ChatGPT로 VOC 500건 자동 분류·우선순위 매트릭스 1시간 안에 끝내기

◀ 이전 회차: [게임운영] Perplexity로 경쟁 게임 3종 분기 이벤트 트렌드·유저 반응 40분 안에 정리

1. 사건의 발단 (Case Study)

[게임운영] ChatGPT로 VOC 500건 자동 분류·우선순위 매트릭스 1시간 안에 끝내기

🎙️ 미니 인터뷰: 주간 회고 회의 1일 전, 라이브 운영자가 VOC 500건 분류·우선순위 매트릭스에 묶이는 순간

Q. 버그·결제·콘텐츠·운영 카테고리 4～5개니까 엑셀 필터로 키워드만 걸면 거의 다 걸러지는 거 아닌가요?

그게요... 막상 해보면 키워드로 거르는 게 절반밖에 안 돼요. 유저 글이 '뽑기 100번 했는데 픽업 안 떴어요'라고 오면 이게 결제인지, 콘텐츠 밸런스인지, 확률 운영 이슈인지 한 글에 3개가 다 걸려 있거든요. 거기에 욕설·이모지·맞춤법 오류까지 섞여서 키워드 자체가 안 잡히는 글이 30%는 돼요. 그래서 어차피 한 건씩 눈으로 읽고 한 건씩 라벨을 다는 작업으로 돌아와요. 그게 500건이고, 그것만 반나절이에요.

Q. 그러면 빈도 높은 카테고리 위에서부터 처리하면 우선순위는 자연스럽게 나오지 않나요?

정렬은 했는데요, 빈도만 보면 사고가 나요. 빈도는 결제 문의가 100건으로 가장 많아도, 심각도로 보면 신규 던전 버그 5건이 진짜 패치 1순위거든요. 결제는 환불 처리하면 끝이고, 던전 버그는 다음 점검에서 못 잡으면 다음 주 이벤트가 무너지니까요. 그래서 빈도 × 심각도 × 매출 영향 가중치를 매트릭스로 짜야 하는데, 그게 운영자 머리로 매주 500건에 일일이 점수 매기는 작업이에요. 매트릭스 표 하나 만드는 데 또 두 시간이고요.

Q. 매트릭스에 점수 매기는 건 결국 운영자 감각으로 추리는 영역 아닌가요?

솔직히 그게 가장 부담이에요... 카테고리 모호한 글이 30%고, 그걸 어느 카테고리에 넣을지·심각도 몇 점 줄지는 결국 제 손에서 결정되거든요. 그러다 보면 제 시각이 통계에 들어가요. 회의에서 개발팀이 '이건 왜 1순위인가요?' 물었을 때 '제가 보기엔...'으로 시작하면 그 자료는 거기서 신뢰가 한 번 깎여요. 500건 데이터인데 결론은 운영자 감각이라는 게 매번 마음에 걸려요. 객관적인 분류 기준이랑 같이 가야 회의가 빨라지거든요.

Q. 개발팀에 그냥 카테고리·빈도 표만 넘기면 되는 거 아닌가요?

그것도 한번 그렇게 해봤는데, 다음 날 또 부르세요. 개발팀에서 받는 인풋은 '뭐가 몇 건이다'가 아니라 '왜 1순위고, 다음 패치에 뭘 잡으면 이번 주 VOC가 얼마나 줄어드는지'까지예요. 지난주에 표만 넘겼다가 다음 날 '그래서 우리가 뭘 먼저 고치면 돼요?' 질문이 다시 와서, 그날 저녁에 한 건씩 다시 펼쳐서 패치 후보 Top 10 코멘트를 손으로 달았어요. 분류·매트릭스까지 가도, 마지막에 '이걸 고치면 이만큼 줄어든다'는 한 줄이 안 붙으면 개발팀이 못 움직여요.

Q. 그래서 이번 주는 어떻게 준비하고 계세요?

이번 주는요... 월요일 아침에 CS 시트 받아서 점심까지 카테고리 라벨링하고, 오후엔 매트릭스 점수 넣고, 저녁엔 개발팀 코멘트 다는 흐름이에요. 그러면 한 사이클이 하루 꽉 차고, 화요일 회고 회의 들어가요. 매주 이 하루를 다 쓰니까 다른 운영 업무가 밀려요. 이걸 500건 한 번에 던지고 '카테고리 분류 + 빈도×심각도 매트릭스 + 패치 반영 후보 Top 10까지 정리해줘'라고 할 수 있다면, 그 하루는 살 것 같아요.

[게임운영] ChatGPT로 VOC 500건 자동 분류·우선순위 매트릭스 1시간 안에 끝내기

2. 문제 해결을 위한 레시피 (Solution)

🩺 마스터의 진단

이번 사례의 병목은 두 갈래입니다. 첫째는 500건 VOC를 한 건씩 눈으로 읽고 카테고리 라벨링·심각도 점수·패치 후보 코멘트까지 손으로 다는 작업이 매주 하루를 잡아먹는다는 점입니다. CS 시트 받아서 분류만 반나절, 매트릭스 두 시간, 패치 코멘트가 또 저녁이라 화요일 회고 회의 직전까지 다른 운영 업무가 다 밀리는 구조입니다. 둘째는 카테고리가 모호한 30% 글과 심각도 점수화 단계에서 운영자 감각이 통계에 섞여 들어간다는 점입니다. 회의에서 '왜 1순위인가요?' 질문에 '제가 보기엔'으로 시작하면 자료 신뢰가 거기서 한 번 깎입니다.

ChatGPT 호출은 카테고리 정의·매트릭스 가중치를 프롬프트에 명시한 채 한 번에 분류·점수·Top 10·예상 효과까지 출력하는 방식으로, 하루 작업을 1시간으로 줄이는 동시에 분류 기준이 자료 안에 함께 명시돼 회의에서 객관 근거로 답할 수 있게 해 줍니다.

[Step 1] ChatGPT 접속 + VOC 시트 업로드

ChatGPT(chatgpt.com)에 접속해 새 대화창을 엽니다. CS팀에서 받은 한 주 VOC 시트(.xlsx, 500건 안팎)를 입력창 클립 아이콘으로 업로드합니다. 시트 첫 행은 헤더(접수일·플랫폼·유저 문의 본문·CS 메모)로 정리돼 있어야 ChatGPT가 열 이름을 인식합니다.

⚠️ 데이터 보안 안내: VOC 시트에는 유저 닉네임·계정 ID·결제 정보·CS 메모가 섞여 있을 수 있어요. 사내 정책상 외부 AI에 올릴 수 있는 범위인지 보안팀에 한 번 확인하고, 가능하면 닉네임·결제 ID·계정 ID 열은 마스킹하거나 삭제한 뒤 업로드하세요.

[Step 2] 분류 + 매트릭스 + 패치 후보 통합 프롬프트 호출

업로드 직후 아래 프롬프트를 입력창에 그대로 넣고 보냅니다. 카테고리 5종 분류·빈도×심각도 매트릭스 점수·다음 패치 반영 후보 Top 10이 한 호출에 표 3개로 나옵니다. 처리 시간은 500건 기준 2～4분입니다.

[역할]
너는 모바일 RPG '프로젝트 A'의 라이브 운영팀 분석 보조다. 주간 회고 회의에 들어갈 VOC 인풋 자료를 정리한다.

[입력 데이터]
방금 업로드한 한 주 VOC 시트(.xlsx). 열은 접수일·플랫폼(iOS/Android)·유저 문의 본문·CS 메모.

[분류 카테고리 5종 — 정의 명시]
- 버그: 게임 진행 차단·아이템 손실·UI 오작동 등 정상 동작에서 벗어난 문제
- 결제: 인앱 결제 실패·환불 요청·뽑기 확률·재화 차감 관련 문의
- 콘텐츠: 신규 던전·이벤트·밸런스·보상량에 대한 의견·불만
- 운영: 점검·롤백·공지·고객 응대 톤 관련 의견
- 기타: 위 4종에 안 들어가는 일반 문의·칭찬·제안

한 문의에 카테고리가 2개 이상 걸리면 '주(主) 카테고리' 1개와 '부(副) 카테고리' 1개로 표시. 모호한 글은 '모호' 플래그를 별도 열에 표시한다.

[출력 1 — 카테고리 분류표]
전체 건수 / 카테고리별 건수·비율 / 모호 플래그 건수

[출력 2 — 빈도×심각도 매트릭스]
카테고리별로 다음 3개 점수를 1~5점으로 산정:
- 빈도: 이번 주 접수 건수 기준
- 심각도: 게임 진행 차단·매출 직접 영향 정도
- 매출 영향: 결제 관련성·이탈 위험
총점 = 빈도 + (심각도 × 2) + 매출 영향. 심각도 가중치 2배인 이유는 진행 차단이 유저 이탈로 직결되기 때문.

[출력 3 — 다음 패치 반영 후보 Top 10]
총점 상위 10개 이슈를 표로 정리. 각 행에 '이슈 요약(20자)·카테고리·접수 건수·총점·근거 VOC 인용 1개'를 포함.

[톤]
- 표 형식으로만 출력. 본문 설명·서론·맺음말 금지
- 모호 분류는 모호 플래그로 표시하고 임의로 한쪽에 넣지 말 것
- 심각도·매출 영향 점수는 산정 근거를 점수 옆 괄호 안에 한 줄로 명시

[Step 3] 개발팀 전달용 코멘트 한 줄 보강

Top 10 패치 후보 표가 나오면, 같은 대화창에 후속 프롬프트를 한 번 더 보냅니다. 각 후보 옆에 '고치면 이번 주 VOC가 몇 건 줄어드는지' 한 줄 코멘트가 붙어 개발팀이 우선순위 회의에서 바로 인용할 수 있는 형태가 됩니다.

[추가 지시]
위 Top 10 표의 각 행 오른쪽에 '예상 효과' 열을 추가해줘. 한 줄 코멘트 형식이고 다음 세 가지를 한 문장 안에 담아.
- 이 이슈를 다음 패치에 잡으면 이번 주 같은 카테고리 VOC가 몇 건 줄어들지(접수 건수의 60~80% 범위로 추정)
- 어떤 유저층에게 영향이 큰지(과금 유저·신규 유저·복귀 유저 중 1~2개)
- 다음 점검 윈도우 안에 핫픽스 가능한지·정기 패치까지 미뤄야 하는지

[톤]
- 한 줄 18~24자 안에 자연스러운 한 호흡으로
- '~예상', '~으로 추정' 같은 명사형 어미 금지. 한 문장으로 끝내기
- ✅ 좋은 예: '신규 유저 30건 감소, 핫픽스 가능'
- ✅ 좋은 예: '과금 유저 환불 18건 감소, 정기 패치 권장'
- ❌ 나쁜 예: '신규 유저 영향 큰 이슈로 추정됨'
- ❌ 나쁜 예: '핫픽스 검토 필요한 상황'

3. 결과 (Result)

[게임운영] ChatGPT로 VOC 500건 자동 분류·우선순위 매트릭스 1시간 안에 끝내기

핵심 수치: 주간 VOC 500건 분류·매트릭스·패치 후보 정리: 하루 → 1시간
주요 특징:
- 1. 카테고리 5종 정의 + 모호 플래그 함께 출력 — 한 건씩 손 라벨링 줄임
- 1. 빈도×심각도×매출 영향 매트릭스 — 운영자 감각 의존 최소화
- 1. 패치 후보 Top 10 + 예상 효과 한 줄 — 개발팀 회의에서 그대로 인용 가능
시사점: VOC 분류는 단순 시간 단축이 아니라 분류 기준·심각도 산정 근거가 자료 안에 함께 출력되는 게 핵심입니다. 운영자 감각이 통계에 섞이던 영역을 카테고리 정의·점수 가중치가 받쳐 줍니다. 회의에서 '왜 1순위인가요?' 재질문이 돌아오지 않는 이유입니다.

4. 리뷰 (Review)

📊 AI 활용 비포 & 애프터 비교

단순히 요청했을 때와, 우리의 [마스터 프롬프트]를 사용했을 때의 결과물 차이를 확인해 보세요.

[게임운영] ChatGPT로 VOC 500건 자동 분류·우선순위 매트릭스 1시간 안에 끝내기

💡 Master's Secret: 결정적 차이를 만드는 프롬프트의 원리

[게임운영] ChatGPT로 VOC 500건 자동 분류·우선순위 매트릭스 1시간 안에 끝내기

💡 Master's TIP!

💡 카테고리 이름 5종만 던지지 않고 '버그=진행 차단/UI 오작동, 결제=뽑기 확률 포함' 식으로 정의를 함께 주면, 키워드만 보고 한쪽으로 몰리는 분류 실수가 절반으로 줄어듭니다. 모호 플래그를 별도 열로 받는 게 핵심인데, 30% 정도 나오는 경계 글을 운영자가 마지막에 손으로 확인할 수 있게 보존되기 때문입니다. 매트릭스에서 심각도 가중치 2배는 라이브 게임 운영의 실제 패치 우선순위와 일치합니다. 빈도 1위가 결제 100건이어도 진행 차단 5건이 패치 1순위가 되는 이유를 점수 구조로 명시한 것입니다.

💡 Top 10 표가 나온 직후 '예상 효과 한 줄'을 따로 요청해야 개발팀이 회의에서 그대로 인용할 수 있는 형태가 됩니다. 한 호출에 다 시키면 ChatGPT가 분류 표 만들기에 토큰을 다 써서 코멘트가 두루뭉술해지거든요. ❌ 예시까지 명시한 이유는, '핫픽스 검토 필요한 상황' 같은 명사형 어미로 도망가는 패턴을 차단하기 위함입니다. '몇 건 줄어드는지'를 60～80% 범위로 제한한 건 추정의 상한을 막아 회의 신뢰도를 지키기 위한 장치입니다.

💬 이수연 라이브 운영 매니저의 한마디

솔직히 처음엔 그냥 '카테고리 5종으로 분류해줘'라고 던졌어요. 그랬더니 결제랑 콘텐츠가 반반씩 섞이고 매트릭스도 빈도 위주로 나와서 '아 이건 회의에 못 가져가겠다' 싶었거든요. 그다음에 카테고리 정의랑 심각도 가중치를 프롬프트에 같이 명시했더니, 표 3개가 회의에 바로 띄울 수 있는 형태로 나오더라고요. 매주 하루가 1시간으로 줄어든 것도 컸지만, 회의에서 '카테고리 정의상 진행 차단이라 1순위'라고 답할 수 있게 된 게 진짜 달라진 부분이에요.