이 글을 읽고 나면 세 가지가 정리돼요.
- ✅ A/B 테스트(AB 테스트) 뜻을 한 문장으로 설명할 수 있어요
- ✅ 가설부터 판정까지 어떤 순서로 진행하는지 알 수 있어요
- ✅ 결과를 믿어도 되는지 판단하는 기준을 알 수 있어요
광고 문구를 두 가지로 써 놓고 회의에서 어느 쪽이 나은지 의견이 갈릴 때가 있는데요. 목소리가 큰 쪽의 안이 채택되고 나면 그 선택이 맞았는지 확인할 방법이 남지 않습니다. 두 안을 실제 고객에게 나눠 보여 주고 숫자로 고르는 방법이 A/B 테스트예요.
이 글은 문구나 페이지를 숫자로 고르고 싶은 마케터를 위해 무엇을 비교할 수 있는지부터 가설 세우기에서 판정하기까지 다섯 단계 진행 순서, 판정 지표와 결과 해석을 도식으로 정리해요. 표본 수를 정하는 네 값과 다변량 테스트와의 차이, Google Ads 실험과 앱 마켓 상세 페이지 실험의 설정은 도식과 표로 비교하고, 이 방식이 맞지 않는 경우와 AI로 만든 소재를 비교하는 법까지 다뤄요.
#A/B 테스트는 무슨 뜻인가요?
A/B 테스트는 한 가지 요소만 다르게 만든 A안과 B안을 고객에게 무작위로 나눠 보여 주고, 미리 정한 지표로 어느 쪽 성과가 나은지 비교하는 실험입니다. AB 테스트라고 붙여 쓰기도 하고, 분할 테스트나 버킷 테스트라고 부르기도 해요.
보통 지금 쓰고 있는 안을 대조군(A)으로, 바꿔 본 안을 실험군(B)으로 둡니다. 두 안을 같은 기간에 동시에 내보내야 계절이나 요일 같은 바깥 조건이 양쪽에 똑같이 작용합니다. 그래야 성과 차이를 바꾼 요소의 영향으로 볼 수 있어요.
#왜 실험해 보고 골라야 하나요?
담당자의 예상과 고객의 반응이 자주 어긋나기 때문이에요. 회의에서 가장 반응이 좋았던 문구가 실제 광고에서는 클릭을 덜 받는 일이 드물지 않습니다.
- 🎯 근거: 고객의 실제 행동을 기준으로 안을 고를 수 있어요
- 🛡️ 위험: 전체에 적용하기 전에 일부 고객에게만 먼저 확인해요
- 📚 학습: 결과가 쌓이면 우리 고객이 무엇에 반응하는지 알게 되고, 다음 개선 방향도 분명해져요
구글과 넷플릭스 같은 서비스 기업이 화면을 바꾸기 전에 이 방법을 쓰는 것으로 잘 알려져 있고, 지금은 광고와 영상 플랫폼에도 기본 기능으로 들어가 있어요. Google Ads의 '실험'은 예산이나 트래픽을 기존 캠페인과 실험 캠페인에 나눠 변경의 영향을 비교하는 기능이에요. 유튜브의 제목 및 썸네일 테스트는 제목과 썸네일을 최대 3개까지 비교하게 해 줍니다.
#무엇을 테스트할 수 있나요?
고객이 보는 것 가운데 바꿀 수 있는 요소는 대부분 대상이 됩니다. 마케팅에서 자주 테스트하는 요소는 다음과 같아요.
- 📰 광고 소재: 첫 문구, 이미지, 영상의 첫 장면을 바꿔 봐요
- 🖱️ 랜딩페이지: 헤드라인, 버튼 문구와 위치, 신청 양식의 길이를 바꿔 봐요
- ✉️ 이메일: 제목, 발신자 이름, 발송 시각을 바꿔 봐요
- 💰 제안: 할인 방식, 무료 체험 기간, 가격 표시 방법을 바꿔 봐요
광고 소재를 구성 요소로 나눠 보는 방법은 광고 크리에이티브 뜻과 가설 만드는 법에서 다뤘습니다. 영상 광고에서는 첫 장면이 결과를 크게 좌우하는데, 이 첫 장면이 하는 일은 후킹 뜻과 후킹 문구 유형에서 따로 정리했어요.
#테스트는 어떤 순서로 진행하나요?
순서는 다섯 단계로 나눌 수 있는데, 결과를 보기 전에 정해 둘 것이 많아요.

- 가설을 세워요. '버튼 문구를 혜택 중심으로 바꾸면 신청 전환율이 오를 것이다'처럼 무엇을 바꾸면 어떤 지표가 움직일지 한 문장으로 적습니다.
- 바꿀 요소를 하나로 정해요. 문구와 이미지를 함께 바꾸면 어느 쪽 때문에 차이가 났는지 알 수 없어요.
- 고객을 무작위로 나눠요. 신규 고객에게 A안을, 기존 고객에게 B안을 보여 주면 안의 차이와 고객의 차이가 섞입니다.
- 판정 지표와 기간, 필요한 표본 수를 시작하기 전에 정해요.
- 정한 기간이 끝난 뒤에 결과를 읽고, 이긴 안을 적용하거나 다음 가설로 넘어가요.
Google Ads의 실험 공식 가이드도 명확한 가설을 먼저 세우고 변수를 한 번에 하나씩만 테스트하라고 안내하고 있어요.
#어떤 지표로 판정하나요?
가설에 적은 행동을 가장 직접 측정하는 지표 하나를 고릅니다. 광고 문구를 바꿨다면 클릭률(CTR)을, 신청 페이지를 바꿨다면 전환율(CVR)을 보는 식이에요.
지표를 여러 개 걸어 두고 좋게 나온 것만 고르면 우연히 생긴 차이를 성과로 착각하기 쉽습니다. 판정 지표는 하나로 두고, 나머지 데이터는 부작용이 없는지 확인하는 보조 지표로 쓰세요.
- 👍 클릭률이 오르고 전환율도 유지됐다면 바꾼 안을 적용할 근거가 돼요
- 👎 클릭률만 오르고 전환율이 떨어졌다면 기대와 다른 내용으로 클릭을 끌어온 것일 수 있어요

#결과는 어떻게 해석하나요?
두 안의 수치가 다르다고 곧바로 승패가 정해지지는 않아요. 같은 광고를 둘로 나눠 내보내도 수치는 조금씩 다르게 나오기 때문에, 그 차이가 우연으로도 생길 만한 크기인지부터 확인해야 합니다.
이때 쓰는 말이 통계적 유의성이에요. 두 안에 실제로는 차이가 없다고 가정했을 때 지금 같은 차이가 우연히 나올 가능성이 충분히 낮으면 '통계적으로 유의하다'고 말합니다. 관행적으로 그 기준을 5%로 잡는 경우가 많지만 정해진 법칙은 아니어서, 틀렸을 때 치르는 비용이 큰 결정일수록 더 엄격하게 잡아요.
유튜브의 제목·썸네일 테스트도 결과를 '최고의 옵션', '실적이 같음', '결과가 확실하지 않음' 가운데 하나로 보여 줍니다. 차이가 뚜렷하지 않으면 승자를 정하지 않는 것도 올바른 결론이라는 뜻이에요.
*단, 통계적으로 유의하다는 말이 차이가 크다는 뜻은 아니에요. 표본이 아주 많으면 사업에 의미 없는 작은 차이도 유의하게 나오므로, 차이의 크기가 적용할 만한 수준인지는 따로 판단해야 합니다.

#표본은 얼마나 모아야 하나요?
모든 테스트에 통하는 최소 인원은 없어요. 필요한 표본 수가 네 가지 값에 따라 달라지기 때문입니다.
- 📊 지금의 전환율: 전환이 드물게 일어날수록 더 많은 표본이 필요해요
- 🔍 찾으려는 차이의 크기: 작은 차이를 가려내려면 표본이 훨씬 많아져야 해요
- ⚖️ 유의 수준: 우연을 성과로 착각할 위험을 얼마나 허용할지 정한 값이에요
- 💪 검정력: 실제로 있는 차이를 놓치지 않을 확률이에요
이 값들을 넣으면 필요한 표본 수를 계산해 주는 도구가 여러 곳에 공개돼 있으니, 시작하기 전에 계산해서 기간과 함께 적어 두세요. 기간은 평일과 주말의 반응 차이가 양쪽에 고르게 담기도록 주 단위로 잡는 경우가 많습니다.

진행 중에 수치를 들여다보다가 유의하게 나온 순간에 멈추면 우연한 차이를 승리로 잘못 판정할 가능성이 커집니다. 미리 정한 기간과 표본을 채운 뒤에 판정하세요.
#다변량 테스트와는 무엇이 다른가요?
다변량 테스트는 여러 요소를 동시에 바꿔 가며 어떤 조합이 가장 좋은지 찾는 방법입니다. 헤드라인 두 가지와 이미지 두 가지를 테스트하면 조합이 네 개가 되고, 요소가 늘수록 조합 수가 빠르게 불어나요.

조합마다 표본을 채워야 해서 방문자가 많은 지면이 아니면 결론을 내기 어렵습니다. 안을 세 개 이상 놓고 비교하는 방식은 A/B/n 테스트라고 따로 부르는데, 이때도 안이 늘어난 만큼 표본이 더 필요해요.
#광고 플랫폼에서 실험을 돌릴 때는 무엇을 정하나요?
광고 플랫폼에서는 어떤 사람에게 어느 안을 보여 줄지 플랫폼의 알고리즘이 나누기 때문에, 실험을 만들 때 나누는 비율과 방식을 직접 골라야 해요. Google Ads 고객센터의 맞춤 실험 안내를 기준으로 정리하면 다음과 같습니다.
- ⚖️ 분할 비율: 기존 캠페인의 트래픽과 예산 가운데 실험에 줄 몫을 정하는데, 두 캠페인을 가장 공정하게 비교하려면 50%로 나누라고 권장해요.
- 🍪 분할 방식: 검색 캠페인은 사용자 단위로 나누는 쿠키 기반과 검색마다 다시 나누는 검색 기반 가운데 고를 수 있고, 디스플레이 캠페인은 항상 쿠키 기반으로 나눠요.
- 📅 개수: 캠페인 하나에 실험을 최대 5개까지 예약할 수 있지만, 한 번에 수행되는 실험은 하나뿐이에요.
- 👥 잠재고객 목록: 쿠키 기반으로 나누면서 잠재고객 목록을 쓴다면 목록 인원이 10,000명 이상이어야 결과가 정확하다고 안내해요.
| 구분 | 쿠키 기반 | 검색 기반 |
|---|---|---|
| 나누는 단위 | 사용자 | 검색 한 번 |
| 같은 사람이 보는 안 | 한 가지만 | 두 가지 모두 볼 수 있음 |
| Google의 안내 | 권장 방식 | 유의한 결과를 더 빨리 얻을 수 있음 |
맞춤 실험은 검색, 디스플레이, 동영상, 호텔 광고 캠페인에서만 만들 수 있고 앱이나 쇼핑 캠페인은 대상이 아니에요. 실험 중에 기존 캠페인을 일시중지하거나 종료하면 실험 캠페인의 노출도 멈추니, 기간 동안에는 기존 캠페인을 그대로 켜 두세요. 캠페인과 광고그룹, 학습 기간처럼 실험 설정 화면에서 마주치는 말은 광고 용어 총정리에 정리했어요.

#앱 마켓 상세 페이지도 실험할 수 있나요?
할 수 있어요. 앱을 알리는 팀이라면 설치 버튼을 누르기 전에 보는 스토어 상세 페이지가 첫 번째 실험 대상이에요. 애플은 App Store 제품 페이지 최적화로, 구글은 Play Console 스토어 등록정보 실험으로 이 기능을 제공하고, 두 공식 안내에 적힌 조건은 다음과 같아요.
| 구분 | App Store 제품 페이지 최적화 | Google Play 스토어 등록정보 실험 |
|---|---|---|
| 바꿀 수 있는 것 | 앱 아이콘, 스크린샷, 앱 미리보기 비디오 | 아이콘, 그래픽 이미지, 스크린샷, 앱 설명(현지화 실험) |
| 비교안 수 | 원래 페이지 외에 최대 3개 | 현재 등록정보 외에 최대 2개 |
| 기간 | 최대 90일 | 6개월이 지나면 자동으로 중지 |
| 판정 지표 | 처리별 전환율, 개선율, 신뢰도 | 순 사용자 설치·열기·사전 등록 클릭수 중 하나 |
애플은 비교안을 '처리'라고 불러요. 처리에 넣을 새 아이콘이나 스크린샷은 테스트를 게시하기 전에 앱 심사 승인을 받아야 하고, 테스트가 시작된 뒤에는 내용을 바꿀 수 없어요. 결과는 하나 이상의 처리가 90% 이상의 신뢰도로 기준과 차이를 보일 때까지 기다렸다가 적용하라고 권합니다. 구글도 변경 요인을 확실히 가리려면 한 번에 애셋 하나만 바꿔 테스트하라고 안내해요.
애플이 공개한 개발자 사례를 보면 실험 결과가 담당자의 예상과 어긋나는 일이 드물지 않아요.
- 🧠 두뇌 훈련 앱 Peak Brain Training은 로봇 모양 아이콘이 가장 잘될 거라는 가설로 아이콘 세 가지를 44일 동안 시험했어요. 원래 아이콘과 비교해 두뇌 모양 아이콘은 전환율이 8% 올랐고, 로봇 아이콘은 3.5% 낮았습니다
- 🎹 Simply Piano는 앱 미리보기 비디오를 첫 자리에 두면 스크린샷만 있을 때보다 전환율이 오를 거라고 봤지만, 12일 동안 테스트해 보니 비디오가 없는 원래 페이지의 성과가 더 높았어요
스토어 실험은 설치 전 페이지만 다룹니다. 설치한 뒤 앱 안의 화면이나 알림 문구를 사용자마다 다르게 보여 주려면 Firebase A/B Testing 같은 도구로 앱 안에서 그룹을 나눠야 해요. Firebase는 원격 구성, 푸시 메시지, 인앱 메시지를 실험 대상으로 지원합니다.
#실험이 맞지 않는 경우도 있나요?
있어요. 방문자나 노출이 적어서 기간 안에 표본을 채울 수 없다면 결과가 나와도 믿기 어렵습니다. 이럴 때는 고객 인터뷰나 사용성 관찰처럼 적은 인원으로도 배울 수 있는 방법이 더 잘 맞아요.
브랜드 이름이나 가격 체계처럼 고객마다 다르게 보여 주기 곤란한 결정에도 조심해서 써야 합니다. 차이가 없다는 결과가 나왔을 때도 실패로 볼 필요는 없는데, 그 요소가 성과를 좌우하지 않는다는 사실을 검증한 것이기 때문이에요.
#AI로 만든 소재는 어떻게 테스트하나요?
소재를 빨리 많이 만들 수 있게 될수록 테스트 설계가 더 중요해져요. 안이 수십 개로 늘어나면 한 안에 돌아가는 노출이 줄어서 어느 것도 결론에 닿지 못하기 때문입니다.
캐럿AI 같은 생성 도구로 소재를 만들 때는 제품 컷을 그대로 두고 첫 문구나 배경 가운데 한 가지만 바꾼 변형을 두세 개로 묶어 만드세요. 바뀐 요소가 하나여야 결과가 나왔을 때 무엇이 통했는지를 다음 소재에 옮겨 쓸 수 있어요.
#자주 묻는 질문
#AB 테스트와 A/B 테스트는 다른 말인가요?
같은 말이에요. 영어 A/B testing을 옮기면서 빗금을 살리거나 뺀 표기 차이일 뿐이고, 스플릿 테스트도 같은 뜻으로 쓰입니다.
#테스트는 얼마 동안 돌려야 하나요?
정해진 기간은 없고, 시작하기 전에 계산한 표본 수를 채우는 데 걸리는 시간이 기준이 됩니다. 요일에 따른 차이를 고르게 담으려고 주 단위로 맞추는 경우가 많아요.
#구글 옵티마이즈는 지금도 쓸 수 있나요?
쓸 수 없어요. Google 최적화 도구는 2023년 9월 30일에 지원이 종료됐고, 지금은 광고 플랫폼의 실험 기능이나 별도의 테스트 도구를 사용합니다.
#오늘 바로 해볼 것
- 지금 운영 중인 광고나 페이지에서 바꿔 보고 싶은 요소를 하나만 골라요.
- '무엇을 바꾸면 어떤 지표가 오른다'는 가설과 판정 지표를 한 문장으로 적어요.
- 필요한 표본 수와 기간을 계산해 적어 두고, 그 기간이 끝난 뒤에 결과를 열어 봐요.
※ 이 글은 2026년 10월 9일 기준으로 작성했어요. 플랫폼의 실험 기능과 명칭은 바뀔 수 있으니 각 공식 도움말에서 최신 내용을 확인하세요.








