크레마클럽

수학자, 금융공학자, 데이터 과학자라는 무시무시한 타이틀을 가진 캐시 오닐이 자본주의 부역자(?) 신세로 전락하고 있는 데이터 과학의 이면을 고발한 책. (데이터 과학자의 본격 데이터 과학 디스) '월가점거 운동의 하위 조직인 대안금융그룹을 이끌고 있다'는 저자 소개가 심상치 않다. 좌파의 냄새가 솔솔(..)

좋은 면이 있으면 안 좋은 면도 존재하는 게 세상 만사의 이치. 수십억 인구를 절대 빈곤에서 해방시킨 자본주의가 우수한 사회 체제임은 분명하다. 하지만 역시나 단점은 존재한다. 유발 하라리는 '사피엔스'에서 자본주의의 단점을 이렇게 얘기했다.

"노예무역이 아프리카인을 향한 증오의 결과가 아니었던 것처럼, 현대의 동물산업도 악의를 기반으로 출발한 것이 아니었다. 이번에도 그 연료는 무관심이다." (486 페이지)

이 책의 저자 캐시 오닐은 '대량살상 수학무기(Weapons of Math Destruction)'라는 용어까지 만들어 가며 자본주의의 단점을 다시 한번 지적한다.

"대리 데이터가 진실인 것처럼 행세하는 위험한 상황이 발생하는 이유는 대부분의 데이터과학자가 거래 대상이 되는 사람들을 생각하지 않기 때문" (32 페이지)

여기 젖소의 정신건강을 연구하려는 과학자가 있다. '젖소의 행복 추구'와 '우유 생산 증가' 중 어떤 설명이 연구비를 타내기 쉬울까?

"소의 향정신성 약물에 대한 전 세계 시장의 수요는 매년 2억 5천만 달러에 이른다." - 사피엔스 (388 페이지)

데이터 과학이 흥하는 이유는 인류 행복 증진에 도움이 돼서가 아니라, 돈이 되기 때문이다. 결국 자본주의의 선택을 받은 데이터 과학이 (자본주의의 속성인) 효율에 매달리면서 자본주의의 비인간화가 더 가속화되고 있다는 것이 저자의 주장.

"데이터 경제에서 인간은 외부자이고 구닥다리이다. 반면 시스템은 자동으로 작동하도록 만들어진다. 그것이 바로 효율성이고, 그래서 수익 창출원이 된 것" (256 페이지)

불공정한 시스템

그리고 근거로 제시하는, 인과 또는 상관관계를 확신하기 어려운 대리 데이터에 의존해서 학업 성취도나 신용도는 물론, 심지어 재판 결과에까지 영향을 주는 다양한 평가 시스템들.

"우편번호 등 직무 능력과 직접적 상관관계가 없는 대체 혹은 대리 데이터를 근거로 직무수행능력의 통계적 연관성을 도출" (39 페이지)

"'우리가 누구인가'가 아니라 '우리가 무슨 행동을 하는가'에 따라 법의 심판을 받아야 한다." (53 페이지)

"외국 학생들을 거부한 입학사정 시스템 같은 모형들은 사람들을 배척한다. 그런 모형에 포함된 '과학'이 검증되지 않은 '가정'에 불과한데도" (207 페이지)

데이터 과학은 4차 산업혁명의 핵심 동력으로까지 부상해 인기몰이 중이며, 데이터로 세상을 먹어치운다는 구글, 아마존 등이 제법 근사하게 동작하고 있음에도, 저자의 지적은 그리 억지스러워 보이지 않는다. '최소 비용, 최대 이익'도 좋지만 그 과정에서 인간을 소외시키지 말자는, 이제는 흔해진 자본주의 담론이기 때문. 데이터 과학이 저자의 바람처럼 공정성과 도덕성의 균형을 회복하려면 어떻게 해야 할까? 저자가 강조한 건 피드백.

"통계 시스템에서 (데이터)양만큼 필수적인 것이 있다. 바로 피드백이다. 피드백은 시스템이 정상 항로에서 벗어날 경우, 이를 알려주는 장치" (22 페이지)

"실수는 학습의 기회가 된다. 단, 시스템이 실수에 대한 피드백을 받아들일 때만 그렇다." (258 페이지)

저자는 시스템이 실수를 정정할 수 있는 피드백이 존재하지 않거나, 악화가 양화를 몰아내는 부정적 피드백에 의해 '예측이 예측 내용을 스스로 실현하는 자기충족적 예측'이 강화되고 있다고 얘기한다.

"부정적인 피드백 루프가 활성화되기 시작... 대학 순위가 자기 강화적 특징을 갖는다" (97 페이지)

"경범죄가 경찰의 범죄 예측 모형에서 점점 더 많은 점을 차지하고, 이는 다시 경찰이 그 지역을 순찰하게 만든다. 이는 바로 유해한 피드백 루프가 활성화되는 전형적인 과정" (152 페이지)

한마디로 버핏이 사면 이유가 있을 거라는, 오를 거라는 생각으로 투자자들이 버핏이 산 주식을 따라 사기 시작하면 주가가 왜곡되는 식으로 시스템이 왜곡된다는 것.

"영향력 있는 디자이너들이 갈색이 내년을 지배할 유행 색이라고 판단해 갈색 옷을 제작하기 시작... 대중은 이 추세를 따라갈 것이다. 대중은 갈색 옷의 마케팅에 반응할 뿐, 자신의 선호에 대해 표현하지는 않는다." - 신호와 소음 (326 페이지)

사람이 먼저

해결책은 단순하다. 사람이 먼저라는 것.

"미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다. 우리는 더 나은 가치를 알고리즘에 포함시키고, 윤리적 지표를 따르는 빅데이터 모형을 창조해야 한다. 그렇게 하려면 가끔은 이익보다 공정성을 우선시해야 한다." (337 페이지)

이상하게 컴퓨터 분야에서는 (컴퓨터를 만든) 사람이 자주 소외당하는 것 같다. 너무 잘 동작하는 컴퓨터를 만들어버린 건가? 정보보안 분야에서 밥벌이를 하는 입장에서도 별로 낯설지 않은 주장.

"정보보호 기술은 관리자의 판단을 도와주는 제한적 전문가 시스템(Expert System)만을 제공... 정보보호는 제품이 아닌 전문가와 잘 구성된 절차에 의해 수행된다" - 네트워크 보안 실무 (20 페이지)

그저 저자의 주장이 미국에서 흥하기를 바라지만, 과연 자본주의가 가끔이라도 이익과 효율을 희생하려고 할까? 우리는 과연 그런 상황을 허용할 수 있을까? 나만 봐도 어떻게 하면 더 효율적으로 일 하고, 더 효율적으로 돈 벌까만 궁리 중인데(..)

데이터 과학이 부상하기 전에도 자본과 결합한 과학 덕에 탄생한 (총이나 내연기관 등) 수많은 문명의 이기들이 인류 진보를 도왔다. 하지만 당연하게도 모두가 그 혜택을 누리지는 못한다.

누군가는 총에 맞아 죽고, 누군가는 자동차에 의해 목숨을 잃는다. 나름 잘 동작하는 것처럼 보이는 알고리즘에 의해 누군가는 억울한 피해자가 된다. 그리고 우리 모두는 언제라도 그 운 나쁜 누군가가 될 수 있다. 운 나쁜 누군가가 되기 싫다면 문명을 거부하고 원시시대로 돌아가야 하는데, 할 수 있을까?

못할 것 같다. 나는 그 운 나쁜 누군가에 포함되지 않을 거라 생각하며 사는 게 최선일 듯. 아니면 긍정적인 피드백을 주고 받으며 조금씩이라도 나아지는 세상을 만들어 가거나.

추석 연휴의 마지막

2일동안 나름 열심히 읽었다.

'퀀트'라는 단어때문에 구입한 책이었는데, 책이 사회학일반의 분류 안에 있다는 것을

못 봤고, 시간을 안타깝게 허비했다.

책을 통해 얻은 나름의 소득?

1. 수학자이며 퀀트였고 데이터 과학자인 저자가 강조하는 것을 볼때

내가 생각한 것 이상으로 삶의 절대적으로 많은 부분이 수학적 모델로 표현이 가능하다

2. 인간을 둘러싼 데이터가 디지털로 쉽게 변환이 가능한 여러 환경속에서

분류를 당하는지도 모르게 분류를 당한다

3. 가장 최악은 어떤 기준인지도 모른다는 것이고, 그것에 대한 투쟁은 혼자의 힘으론 어렵다

4. 사회적인 논의가 필요하다

이 정도의 말을 듣기 위해 난 359페이지를 읽었는데, 제한된 에피소드와 반복적인 주장은 이 책을 지루하게 만들었다.

그나마, 내용 전개나 문장의 구성 자체는 나쁘지 않았기에 다 읽을수 있었던 것 같다.

순수한 마음으로 글쓴이의 입장에서 본다면, 그렇게 반복해서 말할만큼 인간에 대한 디지털적 분류가 심한가보다. 암튼 이런 책이다. 위의 1~4번 이외의 다른 것을 기대한 사람이라면 이 책은 읽을 필요가 없다.

1~4가 궁금하다면 읽어보는것도......뭐......

대학교수에서, 해지펀드의 퀀트(quant)로, 그러다 2008년 대침체 이후 금융에 수학이 저지르는 만행(?)에 대한 환멸을 갖게 된 후 월가점령그룹의 하위조직을 이끌게 된 수학자이자 데이터과학자, 캐시 오닐. 그녀는 수학이 학살의 무기로 이용되는 것을 대량학살무기(Weapons of Mass Destruction)에 빗대어 대량학살수학무기(Weapons of Math Destruction)이라는 용어를 만들고, 책에서는 WMD라고 지칭하고 있다(이 두 용어는 발음도 거의 비슷하다. 미국인들이 구분할 지 모르지만 한국인들은 거의 구분 정도로.

그럼 이 책이 무슨 얘기를 전하고자 하는 지 예상할 수 있다. 이른바 빅데이터에 기반한 수학적 모델이 후기자본주의 사회를 농단하는 상황에 대한 고발이다. 교사의 능력에 대해 대리 데이터를 이용해서 평가하고, 약탈적 금융자본에 논리와 약탈의 방법을 가르쳐주고, 대학을 평가라는 미명하에 줄 세우고, 알고리즘을 이용해 약탈적 광고를 통해 약자들을 노리고, 사람에 대한 평가가 아니라 그 사람이 속한 집단을 자의적으로 판단해서 예비 범죄자, 예비 신용불량자, 직장 부적격자로 판단하고, 직원들을 회사의 진정한 부속품으로 만들고… WMD는 이런 일들을 한다는 것이다.

사실 요즘 대학의 수학과가 각광을 받는다. 신입생 학력을 비교해 보았을 때 의대 다음이라는 얘기도 들리고, 국내의 연구비도 수학 관련 분야에 점점 많이 편성되고 있다. 바로 빅데이터 때문이다. 그게 바로 WMD에 기여할 수 있기 때문이라는 것은 그 이유의 부분집합이 된다. 수학자가 만들어내는 모형을 통해, 그리고 수집되는 데이터를 취사선택하는 과정을 통해, 아니면 취사선택해야만 하는데도 불구하고 무차별적으로 적용하는 바람에 수많은 사람들이 피해를 입는다. 더 큰 문제는 피해를 입은 사람이 자신이 무엇 때문에 그런 피해를 입었는지, 나아가 정작 피해를 입었는지도 알 수 없다는 것이다. WMD의 은밀한 속성이 그런 것이다.

“대다수 WMD는 모형에 현실을 반영해 수정하기보다는 원하는 현실을 창조한다. 관리자드은 모형이 계산한 점수가 이익을 증대시키기 위해 기꺼이 이용할 수 있을 만큼 충분한 근거를 갖추어서 인간이라면 망설일 결정을 쉽게 내일 수 있도록 도와준다고 생각한다. 비용을 절감하기 위해 직원들을 해고하면서 그 같은 결정에 대한 책임을 객관적인 숫자에 떠넘기는 것이다. 그들에게 숫자가 진실을 담고 있는가는 그다지 중요하지 않다.” (225쪽)

저자가 수학이 모형을 만드는 것, 빅테이터에 기반하여 마케팅을 하거나 정치활동을 하는 것에 대해 전면적으로 반대를 하는 것은 아니다(그녀도 수학자이고, 그것에 기반한 활동을 하고 있다). 수학이 WMD에 기여하는 것을 막아야 한다는 것이다. 플랫폼을 공개하고, 공정성을 위해서 효율성을 조금은 양보하고, 기업과 단체들의 빅데이터에 기반한 활동에 대해 감사를 실시해야 한다고 주장한다. 과연 그런 일이 쉽게 가능해질지 모를 일이지만, 은밀하지만 무차별적 학살이 될 수 있는 무기에 대한 통제가 반드시 필요한 것만은 사실이라 생각한다.

그러나 책을 펼치기 전에 기대는 좀더 정교한 논리를 기대했다. 주장을 떠받히는 정교한 논리가 있어야 선동이 아니라(이 책이 선동이라는 것은 아니다), 깨달음과 행동으로 나아가기에 더 큰 역할을 할 수 있다고 본다. 그러기에는 아직 WMD의 속살에 대한 파헤침이 부족한 것이 아닌가 하는 생각을 하게 된다. 물론 추측이다.

이책은

이 책의 저자인 캐시 오닐(CATHY O’NEIL)은 대학 수학과 종신 교수직을 그만두고 헤지펀드 디이 쇼의 퀀트(금융분석가)로 일한 후 IT업계에서 데이터과학자로서 활약했고 현재는 월가점거운동의 하위조직인 대안금융그룹을 이끌면서 자신의 경험을 바탕으로 빅데이터 모형의 위험성을 알리기 위해 이 책을 썼다고 합니다.

빅데이터(Big Data)란 ‘디지털 환경에서 생성되는 데이터로 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터’를 말하는데 인터넷이 생겨난 이후로 스마트폰의 발명과 SNS의 확장에 맞물려 단기간 내에 과거에 비해 데이터의 양이 엄청나게 폭증하고 데이터의 종류도 대단히 다양해져서 빅데이터를 논리적 알고리즘을 통해 가공한 다양한 빅데이터모형이 만들어 지게 되고 이 모형에 의해 야구경기에서의 수비패턴 및 입학이나 입사 사정 대출규제까지 이뤄진다고 합니다.

이책의내용

1. 대량살상 수학무기(Weapons of Math Destruction)의 정의

WMD는 이 책의 제목이자 주제이며 사실상 이 책이 말하는 모든 것이라고 생각됩니다. 저자는 빅데이터 모형 중에서도 인종차별, 빈부격차, 지역감정 등 인간이 가진 편견과 차별 의식을 그대로 코드화한 알고리즘을 사용하는 모형은 ‘대량살상무기(Weapons of Mass Destruction)’만큼 위험하다고 주장하고 이것들을 WMD라고 부릅니다.

2. 대량살상 수학무기(Weapons of Math Destruction)의 특징

이 책에서 말하는 WMD의 첫 번째 특징은 불투명성(비공개성)입니다. 2007년 한국계 미셸 리의 교육감 기용으로 국내서도 화제가 됐던 워싱턴 DC에서 2007년 시장으로 취임한 에이드리언 펜티가 개발한 알고리즘 기반 새로운 교사 평가 시스템인 ‘임팩트’에 의해 실패자라 분류된 205명의 교사들이 해고당한 것이 그 대표적인 사례인데, 하지만 정책 당국은 상세한 평가 기준 등은 공개하지 않았습니다. 이 책에서 소개된 WMD 중 상당수가 이처럼 적절한 피드백을 받지 못하고 있고 심지어 누군가 알고리즘을 들여다본다 하더라도 코드화된 알고리즘에 숨겨진 평가기준은 개발자를 제외하고는 그 누구도 이해하기 힘든 경우가 대부분 입니다.

둘째로 확장성을 드는데 빅데이터 모형은 수많은 데이터를 1~2초 안에 깔끔한 목록으로 정리할 수 있고 이런 효율성은 수익을 추구하는 기업에는 비용절감을 통한 수익극대를 기업을 모방하는 사회나 정부에는 효율을 높여주지만 개개인에게는 공정하지 않은 확장된 사회통제를 가하고 있습니다.

대표적 사례로 대출이나 신용카드 발급 등에서 중요한 평가 기준이 되는 신용평가점수를 들 수 있는데 WMD는 인종, 학력, 출신지는 물론 범죄기록, 언어 사용 능력 등 온갖 데이터를 마구잡이로 수집해 신용도를 예측하는 e점수를 산출하는데 교육 수준이 낮은 저소득층이나 이민자들이 높은 이율을 받는 등 차별적인 대출을 받게 되는 경우가 많았다고 합니다. 문제는 이 e점수가 대출뿐만 아니라 임대차 입사 데이팅까지 널리 쓰여 차별의 확산을 주도하고 있습니다.

세번째는 피해(불공정성)의 악순환이라고 말합니다. 사례로 국내에도 잘 알려진 미국 '유에스뉴스 앤드 월드 리포트'의 대학 순위를 사례로 들고 있는데 우리나라에도 최근 각종 대학평가가 우후죽순식으로 등장하고 각 대학들은 이러한 대학평가 기준에 맞춰서 입학사정이나 학과개편 등을 하고 있는 형편인데 그 기준을 보면서 이런 기준이 왜 필요하지 하며 고개를 가우뚱했던 기억이 납니다. 이외에도 일부 예외를 제외하면 ‘범죄 예측 프로그램’ 같은 WMD는“경제 전체적으로 보면 취약계층의 피를 빨아먹는 거머리”와 같이 피해의 악순환, 즉 ‘해로운 피드백 루프’라고 부르는데 이로 인해 고통받는 사람이 너무 많다고 합니다.

3. 한국사회에의 함의

현대는 정보화 및 대중의 시대이면서 그에 따른 데이터의 시대이기도 합니다. 문제는 그 데이터라는 것이 실체가 없는 전산상의 숫자에 불과하다는 점입니다. 한국사회도 요즘 국정원 댓글조작이니 여론조작이니 검색순위 조작이니 하는 논란이 큰 이슈가 되고 있습니다. 이런 여론이나 검색순위 등은 빅데이터로서 나타나게 되는데 우리도 그 위험성을 몸소 체험하고 있는 셈입니다.

이 책에서도 WMD가 민주주의를 위협하는 사례들이 나오는데 대표적으로 ‘마이크로 타기팅’의 경우 유권자 집단을 세분화해 원하는 정보를 제공하는 선거 전략으로 각광받고 있으나 선거 승패에 영향력이 큰 소수의 유권자에게만 주목함으로써 정보와 관심의 비대칭이 일어나고, 결국엔 민주주의를 해치게 된다고 합니다.

마치며

빅데이터 모형이나 정보불평등은 이미 우리가 실제 현실에서 체험하는 현상으로 WMD는 진짜 폭탄무기는 아니지만 오히려 실체가 보이지 않기에 그 위험을 체감하기 어려우면서 확장성이란 특성 때문에 그 이용이 날이 갈수록 폭증하고 그만큼 피해는 확산되 갈 것이라고 저자는 지적하면서 "만약 대량살상수학무기와 관료주의 메커니즘이 결합한다면 이의를 제기하거나 이를 무력화시키기란 사실상 불가능하다"고 강조하고 있습니다.

이 책은 출판사 소개글처럼 "공정성이란 가면을 쓰고 인간을 착취하며 진실을 왜곡하는 알고리즘의 비밀을 활짝 열어젖혔"다고 하며, "수학이 소외계층을 억압하고 불평등을 확대하는 데 이용되는 과정을 설득력 있게" 전개하고 있으므로 한국사회의 현실과 결부해서라도 꼭 한번 읽어 볼 필요가 있다고 생각됩니다.

저자가 대량살상수학무기(Weapons on Math Destruction)라 칭하는, 빅데이터를 기반으로 하는 수학적 알고리즘, 그 자체는 나빠서 없어져야 할 그런 것이 아니고, 또한 현실적으로도 앞으로 더 개발되고 사용될지언정 사라지지도 않을 것이다. 다만 세상 거의 모든 것이 그렇듯이 어떻게 사용하는냐에 따라 선을 이루는데 도움이 될 수도 그렇지  않을 수도 있는 것인데, 저자는 지금의 실태는 후자에 해당한다고 말한다.

현재 WMD의 문제는 불투명성, 확장성, 피해 이 세가지로 요약되는데, 우선

불투명성은 알고리즘의 구체적인 내용을 그 대상자들이 알 수 없다는 것이다. 즉, WMD에 의해서 어떤 부당한 대우나 조치를 받아도 대상자가 자신이 어떤 데이터를 기반으로 한 어떻게 짜여진 수학적 알고리즘에 의해서 그렇게 판단되어지는지 알 수없다는 것이다.  그러므로