채용플랫폼 이용패턴 분석 팀프로젝트14 - A/B 테스트 체크리스트와 설계서 마무리

최종 분석 주제 : 채용 플랫폼 구직자 이탈 감소를 위한 검색 필터 A/B 테스트 제안

오늘 할 일

• A/B 테스트 체크리스트와 설계서 만들기
  • 표본 크기 공식 포함한 A/B 테스트 전반적인 공부 및 공유
  • A/B 테스트 체크리스트 재검토
    • 실험 가설 재분류하기
    • A/B 테스트 진행할 실험 가설 선택하기
    • 지표들 다시확인해보기 (가드레일 등)
  • A/B 테스트 설계서 만들기
    • 실험 가설 피그마 UI 만들기
• 보고서, PPT, colab 스토리라인 채우기 (계속)
  • 보고서 초안 작성
  • PPT 초안 작성

오늘 한 일

1. A/B 테스트 체크리스트와 설계서 마무리
   • 실험 가설 재논의후 선정하기
   • 표본 크기 다시 생각해보기
   • 주요 지표 다시 확인해보기
   • A/B UI 디자인 완성하기

내일 할 일

• 보고서, PPT, colab 스토리라인 채우기 (계속)
  • 보고서 초안 작성
  • PPT 초안 작성

---

Issues & Challenges

A/B 테스트 체크리스트와 설계서 마무리

실험 가설 재논의후 선정하기

• 어제 A/B 테스트 설계를 명확하게 작성하지 못해서 강사님께 도움을 요청드렸고, 무려 손글씨로 한땀한땀 정성가득한 고민의 흔적들을 우리에게 전달해주셨고 오늘 또 방문하셔서 친절하게 설명까지 주신덕분에 A/B 테스트를 수월하게 진행할 수 있었다. (나중에 알게된사실인데 우리에게 설명을 더 잘보여주기위해 수차례 작성하시고 정리해서 새로 작성해주셔서 뭐라도 감사를 표해야할 것 같다)

• 배경 : 우리는 채용플랫폼의 월별 사용자 트래픽 수와 활성 유저 수(MAU)가 감소하는 추세를 통해 유저가 이탈하고 있다고 판단했고,
• 우리의 채용플랫폼을 이용하는 유저 중에서 구직자의 이탈감소를 위해 무엇을 해야할지 주목했다.
• 퍼널 : 우리는 채용플랫폼의 핵심가치를 지원서 제출로 판단하고, 퍼널을 ‘방문’ → ‘채용공고조회’ → ‘지원서 제출’ 3단계 여정으로 설정했다.
• 전환율 : 우리는 구직자 중에서 핵심가치를 도달하지 못한(지원서 제출에 도달하지 못한) 유저를 개선하기로 결정했고,

• 가설수립 : 채용 검색 필터 기능이 핵심가치(지원서 제출)를 도달하는데 중요한 역할이라고 판단하여 ‘필터별 구직자의 지원서 제출 전환율이 다를것이다’로 가설을 수립하였다.

  가. 유저가 지원서 제출로 도달하는데 ‘필터’의 역할이 중요하다고 생각하는 이유는 다음과 같다

  • 우리는 필터 기능이 구직자가 채용플랫폼에서 1) 구직활동을 하는데 필요한 정보를 2) 빠르고, 정확하게 선택할 수 있는 역할을 한다고 판단했다.
    1. 채용플랫폼에서 구직활동을 하는데 필요한 정보의 우선순위는 무엇일까?
       • (내부) 로그데이터에서 유저의 클릭빈도와 전환율을 통해 확인할 수 있다
         • 우리는 로그데이터 상 검색 필터 빈도를 통해 필터 기능이 구직자가 구직활동을 하는데 우선순위를 두고있다는 것을 확인할 수 있었다
       • (외부) 다른 채용플랫폼에서도 필터기능을 주목하는것을 확인할 수 있었다?
       • (외부) ㅇㅇ 설문조사 결과, 구직자들은 (사람인, 잡코리아, 원티드 등) 채용플랫폼에서 ㅇㅇㅇ기능을 중요하게 보는것으로 나왔다.
    2. 필터 기능에서 빠르고 정확하다는 기준은 무엇으로 판단할 수 있을까?
       • 빠르다
         • 필터 항목의 배치 (위치, 배열 순서 등)
         • 필터 항목의 개수 (너무 많지도 적지도 않은)
         • 필터 항목과 디자인의 정합성 (항목과 디자인이 적절한지?)
         • 기타
       • 정확하다
         • 용어의 가독성 (필터 항목을 유저가 쉽게 이해할 수 있는지)
         • 상위 카테고리 - 하위 카테고리 정합성 (대분류-중분류-소분류가 적절한지?)
         • 기타

  나. 가설 검증 결과 유저마다 필터별 선호도와 지원서 제출 전환율이 다르게 나온것을 확인하였고, 우리의 채용플랫폼에서 필터 기능의 문제점은 무엇인지 아래와같이 생각해봤다

  1. 필터 순서 변경
     • 필터 항목의 배치가 문제라고 판단 → 구직자가 필터를 빠르게 선택하지 못할것
       • 현재 필터 순서는 유저의 필터 사용률을 고려하지 않았다
     • 필터를 사용한 유저의 필터별 사용률과 지원서 제출률을 고려하여 필터 순서를 배치하는것이 적절하다고 판단
     • 필터 순서를 구직자의 이용 패턴을 고려하여 배치할 경우 필터 기능을 빠르게 선택하여 지원서 제출 전환율이 개선될 것으로 기대함
  2. 필터 세부분류 변경
     • 상위-하위 카테고리가 적절하지 않다고 판단 → 구직자가 필터를 정확하게 선택하지 못할것
     • 상위-하위 카테고리를 유저가 정확하게 이해할 수 있게 개선된다면, 필터 사용률이 증가하여 지원서 제출 전환율이 개선될 것으로 기대함
     • 아래와 같이 필터 세부분류 변경을 고려함
       1. Job(업무분야) 세부분류 변경(4개 조정)
          • 게임 개발 → 이미 상위 업무 분야인 SW개발과 HW개발 이 존재함, tag(산업) 필터 세부분류로 이동하는게 더 적절해보임
          • 운영 → CS (좀 더 명확한 분야명 표기)
          • 비즈니스 → 영업 (좀 더 명확한 분야명 표기)
          • 투자 → 제거
            • 필터를 사용한 유저는 74명으로 전체 필터링 이용 유저수의 0.005% 밖에 안됨 (74/15687)
            • job(채용공고) + application(지원서) 마스터 테이블 상으로도 0.0025% 유저만 투자 채용공고 지원한것으로 관찰됨
       2. career_type(경력) 세부분류 변경
          • 경력 채용 공고의 수가 압도적으로 많지만(92.4%) 경력 필터는 세분화되지 않아 경력1년차와 10년차의 검색조건이 동일함
          • ‘경력’을 1년이상경력, 3년이상경력, 5년이상경력, 7년이상경력 등 세분화 제안
  3. sort 변경 : 1구역(필터 기능)에 있는 remote나 stock 필터를 2구역(정렬 기능)으로 이동
     • 필터 항목의 개수(10개)가 너무 많다고 판단 → 구직자가 필터를 빠르게 선택하지 못할것
       • 채용플랫폼의 적절한필터수는? 리서치 필요
     • remote와 stock 필터 사용률이 낮고(각각 약 7%), 이진 선택 옵션이다
     • 필터를 삭제하는 것보다는, 분산해서 2구역(정렬 기능)으로 옮기는게 적절하다고 판단
     • remote와 stock 필터를 정렬 기능으로 옮긴다면 구직자가 필터를 빠르게 선택하여 지원서 제출 전환율이 개선될 것으로 기대함
  4. 거리순 정렬 기능 추가
     • 구직자가 필요한 기능이 구현되지 않았다고 판단 → 구직자가 구직활동을 하는데 있어 필요한 정보를 빠르게 선택하지 못할것
     • 우리의 채용플랫폼에서 ‘지역’ 필터는 구직자의 필터 사용률 3위에 해당됨
     • 구직자는 구직활동시 지역을 중요하게 생각하며, 구직자의 집과 가까운 곳을 선호할것
       • 리서치 추가조사 필요
     • 정렬 기능에 구직자 주소기반 거리순 기능이 추가된다면 구직활동시 거리순 기능 사용률이 n%를 기대하며 지원서 제출 전환율이 개선될 것으로 기대함
  5. IT 채용플랫폼 리브랜딩 (불가) : 비개발직군 관련 필터기능과 채용서비스 전부제거
     • 우리의 서비스에서 필터의 대부분이 IT에 특화되어있다.
     • 비개발직군 구직자가 우리의 채용플랫폼에서 필터기능을 사용하는데 전혀 고려되지않은 필터설계가 느껴진다 → 필터 사용률이 감소할 것
       • 하지만, 비개발직군 채용공고가 40% 가량 존재하여 리스크가 크다
  6. 필터 UI 변경 :

     • 필터 UI가 가독성이 떨어진다고 판단

       → 구직자가 필터를 빠르게(찾는 필터가 어디에 위치하는지) 선택하지 못할것

       → 구직자가 필터를 정확하게(상위-하위 카테고리를 쉽게 이해할 수 있는지) 선택하지 못할것

     • 우리 채용플랫폼의 검색 필터 UI는 우측 상단에 위치한 드롭다운 형식으로 특정 필터는 하위항목을 스크롤을 해야하는 번거로움이 있음
     • ‘활동 분야’ 필터나 ‘산업’ 필터 등 하위항목은 정합성이 떨어진다고 판단됨
     • 다른 채용플랫폼은 필터 UI를 어떻게 구성하고있나?
       • ‘사람인’은 중앙 상단에 스프레드 형식으로 상위-하위 카테고리를 펼쳐놓았음
     • 필터 UI를 중앙 상단에 스프레드 형식으로 변경함으로서 필터 사용률이 증가하여 지원서 제출 전환율이 개선될 것으로 기대함
• A/B 테스트 설계 : 우리는 채용플랫폼에서 ‘필터’역할의 중요성과 우리 서비스에서 필터 기능의 문제를 종합적으로 판단했을때, ‘필터 UI’가 지원서 제출로 도달하지 못하는 가장 큰 문제라고 판단하였고, 이를 개선하고자 필터 UI를 변경하여 A/B 테스트를 진행하고자 한다.
  • 적정 실험 샘플 사이즈
    • 2022년~2023년 월 평균 필터를 선택한 고유 유저 수 : 1,986명
    • 2022년~2023년 월 평균 필터를 선택한 고유 유저의 지원서 제출 전환율 : 36.81%

    

    

    

    

  • 실험 기간 : 2024년 11월 18일 (월) ~ 2024년 12월 23일 (월) 36일 동안 진행 예정
  • 그룹별 시안 (A안 / B안)

  ### A안

  필터가 드롭다운 형식으로 우측 상단에 위치해있는 기존안

  

  ### B안

  필터를 스프레드 형식으로 중앙 상단에 위치해있는 변경안

  

• 성과 판단 지표
  • 성공 지표 : 필터를 선택한 유저 대비 지원서 제출 전환율
  • 보조 지표 : 채용공고 조회 대비 필터를 사용한 유저
  • 가드레일 지표 : 유저들의 한 달 평균 지원서 제출 수가 4번 이하

Reflection

• 오늘 목표했던 A/B 테스트 체크리스트와 설계서를 마무리했다. 훌륭한 강사님과 팀원의 도움으로 성공적인 하루를 보냈다. 물론 상당히 긴시간동안 이야기를 나눴지만 이 과정들이 실무에서 적응하는데 밑거름이 된다고 생각한다. A/B 테스트 표본 크기부터, 실험 가설, 제안하는 변경 UI까지 강사님을 여러번 괴롭혔는데 흔쾌히 도움을 주셔서 감사하게 생각한다. A/B 테스트 설계서를 작성해보니 해당 기업의 데이터분석가 입장에서 관리자에게 제안서를 제출한 느낌이 들어 몰입도가 좋았고, 필터 UI까지 직접만들고 투표까지해보니 흥미로웠다. 고민했던 부분들도 해결이됐으니, 내일부터는 보고서와 PPT를 만드는데 집중하여 우리가 진행한 토론들을 잘 남기고자한다.