Post

채용플랫폼 이용패턴 분석 팀프로젝트13 - A/B 테스트 체크리스트와 설계서 만들기

Posted
By Sun Hyuk Kim
10 min read

최종 분석 주제 : 채용 플랫폼 구직자 이탈 감소를 위한 검색 필터 A/B 테스트 제안

오늘 할 일

  • A/B 테스트 체크리스트와 설계서 만들기
    • A/B 테스트 표본 크기 검토
    • 실험 가설 재분류하기
    • A/B 테스트 진행할 실험 가설 선택하기
    • 실험 가설 피그마 UI 만들기
  • 보고서, PPT, colab 스토리라인 채우기 (계속)
    • 기업명 검토
    • 작업물 디자인 컬러 검토

오늘 한 일

  1. 팀프로젝트 컨셉 설정 : 기업 컬러(PPT 디자인) 논의
  2. 어제 멘토링에서 팀프로젝트에 유용한 내용 공유
  3. A/B 테스트 표본 크기 검토

내일 할 일

  • A/B 테스트 체크리스트와 설계서 만들기
    • 표본 크기 공식 포함한 A/B 테스트 전반적인 공부 및 공유
    • A/B 테스트 체크리스트 재검토
      • 실험 가설 재분류하기
      • A/B 테스트 진행할 실험 가설 선택하기
      • 지표들 다시확인해보기 (가드레일 등)
    • A/B 테스트 설계서 만들기
      • 실험 가설 피그마 UI 만들기
  • 보고서, PPT, colab 스토리라인 채우기 (계속)
    • 보고서 초안 작성
    • PPT 초안 작성

Issues & Challenges

팀프로젝트 컨셉 설정 : 기업명, 기업 컬러(PPT 디자인) 논의

  • 팀프로젝트 컨셉 기업명 : ‘스페이스 x 펀치’
  • 기업 컬러 (PPT 디자인)
    • Before : Coral
    • After : Teal
    • 배경 : Cream
    • 배경 대비 : 메인(Blue Grotto, Teal), 강조(Midnight Blue)

image.png

  • 시각화 컬러
    • teal: #008080
    • deep ocean: #015A67
    • terracotta: #E2725B
    • peach: #FFE5B4
    • turquoise: #40E0D0 or 40E0D0
    • light blue: #ADD8E6

image.png

어제 멘토링에서 팀프로젝트에 유용한 내용 공유

Q : PPT자료에서 가설 검증 후 결과에 따른 제안을 제시할때 항목별 차트정도만 보여줘도 충분한가?
A : 전달력만 충분하다면 OK. 발표의 핵심은 처음보는 사람도 이해할 수 있는 보고서를 작성하고 전달하는 것

Q : 보고서와 PPT자료에서 내부데이터 근거로만 작성을 할지, 외부자료(경쟁사, 트렌드)도 추가하는게 좋을지?

A : 정답은 없고 설정하기나름. 본 프로젝트에서는 경쟁사 혹은 동일 기능의 액션을 수행하는게 아니라면 내부데이터로만 보고서를 작성해도 무방하다고 판단

A : 외부자료를 깊게 사용할수록 역질문을 대비할 필요는 있음. 어느정도 수준에서 외부자료를 참고할지 생각해보기

A : 배경도입부에 외부배경이나 필터 기능 A/B 테스트 진행시 UI 벤치마킹 정도 등 프로젝트 메인주제에 영향을 주는 수준이 아니라면 큰 문제는 발생하지 않을것이라 판단

Q : A/B 테스트를 다변량 테스트로 진행하는데 ‘거리순’정렬기능을 B안(정렬기능)과 D안(B&C)에 넣어야하나? E안으로 해야하나?
A : 거리순 기능이 비록 정렬기능에 대한 액션이나, B안에 있는 remote와 stock 기능과 결이 다름
A : 결이다른 상태에서 A/B 테스트를 수행했을때 어떤것에 전환율에 영향있는지 파악하기 힘듬
A : 기존 B안과 다르게 E안으로 설정하는 것이 A/B 테스트 수행후 해석에 더 명확할것

Q : A/B 테스트 실험가설이 많아진다면 경우의 수도 늘어나는데, 가설을 너무 많이 설정한것이 문제가되는지?
A : 샘플 사이즈가 충분하다면 문제없다. 쿠팡 등 대형서비스 기업에서는 이미 수십개의 A/B테스트를 진행하는중
A : 다만, 표본이 일정해야하는 것도 고려할 필요는 있을것

Q : A/B 테스트 가드레일 지표가 적절한지?
A : 한달동안 평균 지원서 제출 횟수를 4건으로 설정했을때, 4건미만의 고객을 주목할 필요가있다
A : 한달동안 1건도 제출하지 않은 고객이 A/B 테스트 액션을 통해 한달동안 1건을 제출했다면 의미있는 결과라고 생각
A : 모든 고객이 동일한 패턴을 갖고있지않기에 고객을 세분화해서 볼 필요가 있다

A/B 테스트 표본 크기 검토

  • 실험 일정 : 한 달 (30일)
  • 채용 공고 조회 고유 유저 수 : 15,687명
  • 지원서 제출 고유 유저 수 : 9,608명
  • 전환율 : 61.2% (퍼널 채용공고조회 → 지원서 제출 전환율)

image.png

image.png

image.png

  • 일평균 고유 유저 방문자수 : 748명
  • 월평균 고유 유저 방문자수 : 2023.12월 3,300명 (월평균 최고 방문월 2022.01월 7,000명)
  • 논의사항
    • A/B 테스트 샘플 사이즈를 계산해보니 실험기간 동안 필요한 표본이 월평균 고유 유저 방문자수보다 적게 관찰됨
    • 지금 계산 기준으로는 다변량 테스트도 불가능하고 A/B 테스트 조차 불가능한 상황임
    • 계산을 적절하게 설계했는지 검토 필요
      • 각각 숫자들이 어떤 것을 의미하는 거고 왜 해야 하는지 명확히 구분하기
  • 조치사항
    • 실험 가설 재분류하기
      • 그중에서 분석결과를 제일 잘보여주는 실험 가설을 한 건만 선택해서 A/B 테스트 체크리스트 + 설계서 만들기
      • 제외된 가설들은 제안 부분에 전부 기재하기 (가설 수립 → 검증 → 결과 해석후 제안 → 여러 제안 중 한 건만 선택해서 A/B 테스트 체크리스트 + 설계서 만들기)

Reflection

  • 즐거운 월요일이 지나고나니 비대위를 선언하게되는 화요일이 기다리고있었다. 원인은 A/B 테스트 설계에 있었다. 우리가 A/B 테스트를 진행해본 경험이 없다보니, 어제 A/B 테스트 체크리스트를 작성했을때는 체크리스트에서 요구하는 부분을 팀프로젝트 내용으로 충분히 작성된것으로 이해했다. 그런데, 멘토링을 통해 체크리스트를 다시 점검할 필요가 있었고, 점검해보니 표본 크기나 가드레일 지표, 전환율 등 우리가 설정한 숫자들을 다시 생각해볼 필요가 있었다. 그래서 강사님께 요청을 드렸고, A/B 테스트를 좀 더 이해하고 진행할 필요성을 느꼈다. 재료는 전부 가지고있는데 폭탄요리를 만들고 있던것이다. 다행히 재료는 여전히 갖고있기에 한걸음만 더 정리가된다면 맛있는 요리를 완성할 수 있을것같다. 오늘 회의에서는 A/B 테스트 설계에 대해 협업하거나 보고받는 입장에서 팀원들에게 질문을 많이했는데, 다양한 관점에서 이야기가 나와서 진척과정은 더디지만 흥미로웠다. 가설 수립할때의 막막함보다는 재밌는 과정이라고 생각되며 내일나눌 이야기가 기대된다.
Data_analysis, Team_project2
Data_analysis
This post is licensed under CC BY 4.0 by the author.