[에이블리] 데이터 분석가의 고민

많은 문제들 속에서  가장 중요한 문제가 무엇이고 해결하기 위해 무엇을 해야할지 등을 데이터를 통해 탐구합니다.

 

🔸가드레일 지표?

: 서비스나 제품의 건강 상태를 보호하기 위해 설정하는 지표

1) 특정 기능이나 실험으로 인해 의도치 않은 부정적 영향이 발생하지 않았는지 확인하는 안전장치 역할
2) A/B 테스트를 할 때, 실험 결과에서 반드시 유지해야 하는 핵심 지표 

 

즉, 성공 지표가 좋더라도 가드레일 지표에 이상이 생기면 실험을 중단하거나 기능을 보류해야합니다.

---

🔸가드레일 지표의 기능

1) 리스트 관리 : 새로운 시도가 서비스 전반에 미치는 부정적 영향ㅇ르 사전에 파악하고 방지합니다
2) 안정성 확보: 주요 지표가 흔들리지 않도록 보호하며, 장기적인 서비스 안정성을 유지하는데 기여합니다.
3) 균형 있는 의사결정 : 성공 지표에만 집중하여 발생할 수 있는 착각을 막고, 더 신중하고 균형 잡힌 의사결정을 돕습니다.

 

가드레일 지표가 실제로 조금 하락했더라도 , 그 하락이 통계적으로 유의미한 수준에 도달하지 않았다면,

이는 새로운 기능 때문에 지표가 망가졌다고 단정하기 어렵다고 보는데요 

 

여기서 우리는 통계적 유의성에 대해 알고 가야합니다.

---

🔸통계적 유의성이란

: 관찰된 결과가 우연히 발생했을 가능성이 매우 낮다는 것을 의미합니다

 

통계적 유의성 검정을 통해 만약 하락 폭이 너무 작아 우연히 발생했을 확률이 높다고 결론이 나면,

우리는 그 하락을 '통계적으로 유의미하지 않다'고 판단합니다.

  

에이블리의 데이터 분석가는  가드레일 지표에 열등성 검정을 적용하여

이 실험으로 인해 가드레일 지표가 일정수준이상으로 떨어지지 않는다면 비록 약간의 하락이 있더라고 괜찮다고 판단하겠다는 기준을 세운 것입니다. 

이러한 의사결정은 빠른 변화화 액션을 위해 경미한 리스크는 감수하고 다음 단계로 나아가는 실용적인 접근 방식이라 볼 수 있습니다.

 

+ 열등성 검정이란

열등성 검정(Inferiority Testing)
: 새로운 것이 기존 것보다 허용 가능한 수준 이상으로 나쁘지 않다는 것을 증명하는 것을 통계적으로 증명하는 데 사용되는 가설 검정 방법

목적
: 미리 정해놓은 허용가능한 수준(열등성 한계)이상으로 나쁘지 않다는 것을 보여주는 것

우월성 검정
: 새로운 방식이 더 좋다는 것을 입증

열등성 검정의 절차

1. 열등성 한계(Margin) 설정
: 먼저 '어느 정도까지의 하락은 허용할 수 있는가?'를 정량적으로 설정

2. 가설 설정:
귀무 가설(Null Hypothesis): '새로운 방식이 기존 방식보다 열등성 한계 이상으로 나쁘다'
대립 가설(Alternative Hypothesis): '새로운 방식이 기존 방식보다 열등성 한계 이상으로 나쁘지 않다'

3. 데이터 분석
: 실제 데이터를 바탕으로 통계 분석을 수행

4. 결론 도출
분석 결과가 귀무 가설을 기각하면, '대립 가설'이 참이 됩니다. 즉, "새로운 방식은 허용 가능한 수준 이상으로 열등하지 않다"고 결론 내립니다.

 

---

🔸가드레일 지표에 열등성 검정을 적용한 이유?

새로운 기능을 도입할 때, 핵심지표가 크게 상승한다면 가드레일 지표에 약간의 하락이 있더라도 그 리스크를 감수할 수 있습니다.

이때 열등성 검정은 다음과같은 판단을 돕습니다.

 

• 약간의 하락이 있더라도 이 하락이 우리가 정해놓은 '허용 가능한 수준'을 넘어서지 않았으니,
  다음 단계로 진행해도 된다는 합리적인 근거 제공
• 사소한 통계적 변동 때문에 비즈니스에 큰 임팩트를 줄 수 있는 실험을 중단하는 실수를 방지하고, 빠르고  효율적인 의사결정을 내릴 수 있게 된다.

---

🔸지표의 작은 하락 가능성에도 기대손실이 증가하는 문제가 발생했다면? 

가드레일 지표는 '절대적인 안전 지표'가 아닌, '전략적인 의사결정 도구'로 활용하는 에이블리

 

1. 비열등성 검정( Non-Inferiority Testing ) 도입 결정

'지표가 조금 떨어져도 그 하락 폭이 미리 정해둔 마진(NIM)을 넘어서지 않는다면 괜찮다.'고 판단하자는 결정

손해를 보더라도 전체적인 이득이 크다면 감수하겟다는 전략적인 태도입니다

 

여기서 비열등성 검정은 열등성 검정과 같은 개념입니다.

 

2. NIM(비열등성 마진) 설정의 중요성

NIM을 설정할 때 실험 기간, 기존 지표의 변동성 등 다양한 데이터를 분석하여

너무 보수적이지도, 너무 공격적이지도 않은 최적의 지점을 찾아야합니다.

그래야 가드레일 지표를 단순한 '위험 감지' 를 넘어 '전략적 성장'을 위한 도구 활용할 수 있기 때문입니다.

• NIM을 작게 설정하는 경우
  
  • 손실이 우려되어 지표를 보수적으로 설정한다
  • 이렇게 되면 가드레일 지표는 끌어올려야하는 지표가 됩니다
    즉, 핵심지표처럼 계속 개선을 해야하는 지표로 변질되어 본래의 기능인 '안전장치'역할을 못하고 오히려 
    실험의 속도를 늦추는 장애물이 됩니다
• NIM을 크게 설정
  • 실제 심각한 손실이 발생해도 시스템이 위험 신호를 보내지 않아 큰 문제가 발생할 수 있다.

 

참고 : https://ably-team.medium.com/%EC%84%9C%EB%B9%84%EC%8A%A4-%EA%B7%B8-%EC%9D%B4%EB%A9%B4%EC%9D%98-%EC%88%AB%EC%9E%90%EB%93%A4-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%B6%84%EC%84%9D%EA%B0%80%EC%9D%98-%EA%B3%A0%EB%AF%BC-6742097e96f2

서비스 그 이면의 숫자들 : 데이터 분석가의 고민