2014년 <뉴욕타임즈>에는 '피임법이 여러분의 기대를 저버릴 가능성은 얼마나 되는가?'란 제목의 기사가 실렸습니다. 이 기사를 작성한 그레고르 아이쉬(Gregor Aisch)와 빌 마시(Bill Marsh)는 '오래 피임할수록 피임에 실패할 확률이 높아진다'는 단순한 가정에서 시작했습니다. 이 개념을 뒷받침하기 위해 필자들은 15가지 피임법의 1년차 효능에 관한 기존 데이터를 살폈습니다. 그래픽 에디터였던 필자들은 이 데이터와 그들만의 계산법을 이용해 10년 동안 각 피임법을 이용하는데 따른 실패율을 차트 한 장으로 보여줬습니다. 사람들은 충격에 휩싸였는데요.

기사에 따르면 피임약 복용자의 1년 간 실패율은 9%였지만 10년 후 실패율은 61%까지 치솟았습니다. 콘돔은 훨씬 심각했는데요. 10년 뒤 86%로 나왔다고 합니다. 이처럼 장기간으로 보면 사람들이 피임을 시도하지 않을 때보다 피임을 시도할 때 임신 위험성이 훨씬 더 크다는 해석이 가능합니다. 이 기사는 소셜 미디어에서 급속도로 퍼졌습니다. 

위 그래프는 책 <수학의 쓸모>의 저자가 동일한 데이터를 이용해 <뉴욕타임스>의 계산 결과를 재현한 것이라고 하는데요. 다른 점은 9가지의 피임법만을 대상으로 작성됐다는 것뿐입니다. <뉴욕타임스>의 수치가 얼마나 높게 예측됐는지 보여줍니다. 

하지만 이 기사에는 치명적인 결함이 있었는데요.

잘못된 가정과 계산이 불러온 대참사

<뉴욕타임스>는 각 피임법에 대한 장기간 실패율을 계산하기 위해 이미 발표된 연구 데이터로부터 1년 동안 '전형적 사용시'의 실패율을 정했습니다. 예를 들어 피임약의 경우 9%였는데요. 이 수치는 원래 임상 시험이나 전국을 대표할 만한 여론조사에서 나온 데이터를 통해 계산한 값이었다고 합니다. 사실상 얻을 수 있는 최상의 추산치였죠. 이후 여러 해 동안 연속적으로 피임에 성공할 확률을 계산했는데요. 이들이 사용한 방법은 '복리 규칙'이었습니다. 

예 를들어 전형적인 피임약 복용자들은 첫해 피임에 성공할 확률이 91%였는데요. 이 수치를 바탕으로 복리규칙을 이용해 계산하면 다음과 같습니다. 

이대로 10년까지 가면 피임에 성공할 확률은 고작 39%로 매우 작아집니다. 따라서 피임약 복용자가 10년 동안 적어도 한 번 임신할 확률은 61%가 되는거죠. 

하지만 어떤 사람들은 원칙대로 피임법을 이용하지 않기 때문에 피임에 실패할 가능성이 높습니다. 또 어떤 사람은 원칙을 잘 따라서 연구 끝까지 피임에 성공할 가능성이 높을 수도 있죠. 사실 따지고 보면, 피임 연구에서 전형적인 이용자는 존재하지 않습니다. 오로지 전형적인 '집단'만이 있습니다. 따라서 피임연구를 제대로 하려면 1년 간의 평균을 가지고 10년 후를 추론하는 게 아니라, 한 피임법을 불규칙적으로 또는 일관적으로 사용하는 사람들의 전형적인 집단을 추적해야 합니다. 그 집단 안에 몇 명이 시간이 지나면 임신을 하는지 말이죠. 만약 규칙에 따르지 않는 피임약 복용자가 있다면 이미 임신을 해서 연구 대상에서 빠지기 때문에 오히려 피임 효과는 해가 갈수록 강해져야 합니다.  

똑똑한 기계는 똑똑한 사람이 필요하다

위 사례는 사소한 데이터 실수가 어떤 결과를 초래하는지 보여주는 사례입니다. 만약 이러한 데이터 실수가 자동으로 의사 결정을 내리는 AI 시스템에 들어간다면 어떤 일이 생길까요? 

2011년 아마존에는 발생생물학에 관한 고전인 <파리만들기(The Making of a Fly)>라는 책이 17권 올라와 있었는데요. 중고책 15권 중 가장 싼 것은 35.54달러였던 반면 새 책 2권 중 가장 싼 것이 2,300만 달러였습니다. 어쩌다 이런 일이 발생한 걸까요? 나중에 알고 보니, 이는 서로 다른 판매자가 이용하는 두 알고리즘이 상대 판매자의 행동에 관한 잘못된 가정 하에 값을 경쟁적으로 올리는 전쟁을 벌이고 있었기 때문입니다. 

이렇게 알고리즘은 자신들이 내린 의사결정의 중요성이나 자신들이 제작된 사업적인 맥락을 인식하지 못하고 있습니다. 그저 잘못된 가정을 세운 사람들이 프로그래밍한 대로 행동했을 뿐이죠. 안타깝게도 지구상에는 아직 가정이 옳은지 판단할 수 있는 기계는 존재하지 않습니다. 하지만 데이터 과학 분야에서 행해지는 계산 대다수는 한 두 종류의 가정을 필요로 한다고 하는데요. 따라서 기존의 가정이 타당한지 면밀히 살펴야 합니다. AI가 영리하다고 해도 가정이 틀렸다면 기계는 계속해서 잘못된 결정을 되풀이하고 그 결과가 기하급수적으로 확산될 수 있으니 말이죠. 

책 <수학의 쓸모>는 이렇게 수학과 데이터에 관한 문제를 푸느라 심사숙고한 사람들, 그리고 그 속에 담긴 수학적 아이디어에 대해 이야기합니다. 수학이 세상에 어떻게 적용되는지에 대한 어렵지 않은 스토리텔러입니다. 똑똑한 기계는 똑똑한 사람을 필요로 합니다. 이 책은 그 방법을 귀띔해주는 안내서입니다. 

##참고자료##

• 닉 폴슨,제임스 스콧, 수학의 쓸모(2020), 더퀘스트
• Gregor Aisch and Bill Marsh, “How Likely Is It That Birth Control Could Let You Down?” New York Times Sunday Review section, September 13, 2014. 12. 
• James Trussell, “Contraceptive Failure in the United States,” Contraception 83, no. 5(May 2011): 397~404.

함예솔 다른기사 보기