문제 발견의 순간
어느 날 오전, 구글 시트에 기록된 바이어 응답률이 평소보다 현저히 낮다는 것을 알았습니다. 분명 이메일을 보냈는데 왜 반응이 없을까요?
의심의 손가락이 가리킨 곳은 바로 '스팸함'이었습니다. 아마도 우리가 보낸 메일의 특정 요소들이 메일 필터링 시스템에 걸린 것 같았습니다.
Claude Code로 데이터 분석 시작
구글 시트에 저장된 지난 3개월간의 메일 기록(약 800건)과 응답 결과를 Claude Code로 분석해봤습니다.
Claude Code 분석 요청:
• 메일 제목의 단어 길이 분포
• 본문에 포함된 링크 개수
• 이미지 첨부 여부
• 수신 시간대별 스팸 분류율
• 특정 키워드 포함 여부
놀라운 발견
분석 결과, 세 가지 패턴이 눈에 띄었습니다.
1) 링크가 3개 이상이면 스팸율 85% 증가
우리가 보낸 메일에는 제품 링크, 회사 사이트, 포트폴리오 링크가 모두 포함되어 있었습니다. 메일 서버는 이를 의심 신호로 봤습니다.
2) 제목에 '긴급', '한정', '지금' 같은 단어가 있으면 필터링 확률 3배
마케팅 감각으로 작성한 제목들이 오히려 역효과를 낸 것입니다.
3) 밤 11시 이후 발송 메일은 아침 6시 이전 발송 메일보다 스팸 분류율 50% 높음
윈도우 디바이스의 자동 발송 스케줄이 원인이었습니다.
개선 작업
Claude Code로 메일 템플릿을 재설계했습니다.
개선 전 템플릿:
「안녕하세요. [지금 바로] 확인하세요!
링크1 / 링크2 / 링크3 / 링크4」
개선 후 템플릿:
「안녕하세요. 제품 정보를 공유합니다.
자세한 내용은 메일 본문을 참고해주세요.
(필요시 링크는 1개만 본문에 삽입)」
또한 발송 시간을 오전 8시~12시 사이로 조정하고, 자동 발송 봇의 간격을 30초씩 띄워 서버 부담을 줄였습니다.
결과
템플릿 개선 후 2주일 경과 시점:
• 스팸 분류율: 32% → 8%
• 바이어 응답률: 12% → 31%
• 메일 오픈율: 18% → 52%
가장 놀라웠던 점은 이 모든 개선이 코드 한 줄을 직접 짜지 않아도 가능했다는 것입니다. Claude Code가 데이터를 읽고, 패턴을 제시하고, 개선안을 제안한 것이고, 우리는 그 결과를 템플릿에 적용한 것뿐이었습니다.
핵심 배운 점
자동화는 단순히 반복 작업을 빠르게 하는 것이 아니었습니다. 숨겨진 문제를 발견하고, 그 원인을 데이터로 증명하고, 개선 방향을 제시하는 도구였습니다.
지금도 드림팀 봇들은 매주 새로운 바이어 메일 데이터를 분석하고 있습니다. 다음 발견이 무엇일지 기대됩니다.