갈수록 비인간화, 비민주화 되어 가는 기술 발전에 대한 경고

대량 살상 수학 무기/캐시 오닐/김정혜/흐름 출판/김상일 편집위원

갈수록 비인간화/비민주화 되어 가는 기술 발전에 대한 경고

 

제목부터가 신선하고 궁금증을 불러일으키는 캐시 오닐의 대량 살상 수학 무기는, 수학으로 학.석.박사를 모두 마치고 학계에서 평생을 보냈을 수도 있었던 전형적인 학자 타입인 저자가, 어느 순간 학자의 길을 버리고 비즈니스와 금융 세계에 뛰어들게 되면서 수학이 어떻게 유용하게, 인류의 유익을 위해서 사용될 수 있을까 고민하던 중, 예상치 않게 맞닥뜨리게 된 가공할 만한 현실을 아주 적나라하게 고발하면서도, 그렇다면 과연 대안이란 무엇일까를 독자들과 함께 고민해보고자 쓴 책입니다. 그 덕에 수학하고는 거리가 먼 저같은 독자들 또한 수학이 우리가 살아가는 현실을 왜곡해서 특정 소수의 이익에 부합하도록 창조해가는 능력이 있다는 사실을 배울 수 있었습니다. 대중들이 알지 못하는 기업을 이끌어가는 소수 CEO들과 전문가들의 세계에서 일어나는 잔인하고 끔찍한 일들을 정직하게 드러낸다는 것이 사실 쉬운 일은 아닙니다. 자칫 잘못하면 그가 속한 집단에서 매장될 수도 있기 때문입니다. 그렇기 때문에 저는 이 서평을 시작하기 전에 우선 저자인 캐시 오닐에게 감사를 표합니다. 오닐(을 비롯해서 기술의 발전이 어떻게 민주주의를 망가뜨리고 사회를 비인간화시켜가고 있는지에 대한 책을 낸 모든 저자들)의 용기와 정직이 아니었다면 이 책에 담긴 얘기들은 모두 묻혀 버렸을 것이고, 자기 유익만을 추구하는 소수의 손에 넘어간 수학은 아무런 반성도 없이 수많은 피해자와 약자들을 낳았을 것이기 때문입니다(사실 지금도 그런 일들이 비일비재하게 일어나고 있다는 것이 오닐의 진단이기도 합니다.).

 

이 책을 처음 접한 모든 분들은 일단 “대량 살상 수학 무기”라는 말 자체에 흥미를 느끼실 것입니다. 책의 원제목을 한글로 바꾸느라 약간 어색한 느낌이 들기는 하지만, 원제목은 2000년대 초반, 미국의 조지 부시 행정부가 사담 후세인의 이라크를 선제적으로 공격할 근거를 마련하기 위해서 후세인이 이라크 내륙에 대량 살상 무기(WMD: weapons of mass destruction)을 숨겨놓고 있다는 1급 정보가 있다는 사실을 대중에게 알림으로써 이라크 선제 공격의 근거를 마련하게 된 데서 유명해진 용어입니다. 캐시 오닐은 여기에 약간의 언어유희를 가미해서 책에서 자신이 밝혀내고자 하는 내용이 수학이 대량 살상 무기만큼이나 위험한 것일 수 있음을 강조하기 위해서 책의 제목을 WMD, 즉 대량 살상 수학 무기(weapons of math destruction)라고 붙인 것입니다. 책은 그 다루는 내용과 조직상 한가지 이야기만을 하지는 않습니다. 오히려 오닐은 사회 각 분야에서 어떻게 수학이 빅 데이터를 읽어내고 해석하는 알고리즘을 만들어내고, 그 알고리즘이 특정 소수의 이익만을 대변하는 도구가 되는지를 고발합니다. 오닐이 살펴보는 사회 각계에 닿는 WMD의 영향은 교육, 정치, 노동, 금융, 치안, 보험, 광고 등 아주 광범위합니다. 이 서평에서 그 모든 분야를 다 다루는 것은 책을 소개하는 목적에 부합하지도 않고, 자칫하면 너무 길어질 수 있기에 저는 오닐이 말하는 대량 살상 수학 무기의 세가지 특성, 즉 1. 불투명성, 2. 확장성, 3. 피해, 각각을 잘 드러내는 예로 교육, 노동, 그리고 치안 세 분야에 집중해서 서평을 써보도록 하겠습니다. 각각의 특성이 말하는 것이 무엇인지가 교육, 노동, 치안이라는 분야에서 대량 살상 수학 무기가 어떻게 쓰이고 있는지에 대한 오닐의 분석을 따라가다 보면 밝혀지게 될 것입니다. 그 이후에는 책이 가진 잠재적 약점에 대해서 간단히 서술한 후에 책에 대한 전체적인 평과 함께 서평을 마치도록 하겠습니다.

 

불투명한 알고리즘: 교사 평가 모델의 허상

 

대량 살상 수학 무기를 읽으면서 가장 먼저 기억해야 하는 것은, 모든 대량 살상 수학 무기들은 공통적으로 특정한 현실을 읽어내기 위한 모델이라는 것입니다. 특히 대량 살상 수학 무기는 통계와 수학이라는 도구를 가지고 현실을 이해하고 읽어내려는 모델입니다. 하지만 중요한 것은, 상식적으로 생각해도 모델이란 기본적으로 특정한 시각과 관점에서 현실을 설명하기 때문에 편향적일 수밖에 없다는 것입니다. 더군다나 대량 살상 수학 무기의 경우 그 특정한 시각과 관점이 많은 경우 현실을 제대로 읽어낼 만한 객관성을 담보할 수 없는 집단의 것일 경우가 많다는 것입니다. 더욱 심각한 것은, 그렇게 객관성을 담보할 수 없는, 혹은 바꿔 말하면 현실을 충실하게 반영할 생각은 전혀 꿈에도 없으며, 좋게 말하면 그저 누군가의 관심사, 나쁘게 말하면 재정적 이익을 대변할 수 있을 뿐이기만 한 모델들이 현실을 판단하는 잣대가 되며, 더 나아가서 현실을 창조해 가고 있는 세상에서 우리가 살고 있다는 것입니다. 교육 분야에서 이런 면은 극명하게 드러납니다.

 

2007년 워싱턴 DC의 시장으로 부임한 에이드리언 펜티는 부임하자마자 교육 개혁을 천명합니다. 왜냐하면 “당시 워싱턴에서 고등학교를 정규 과정 내 졸업하는 학생 비율이 50%를 가까스로 넘겼으며, 8학년의 경우 수학 성적이 학년 기준을 통과하는 학생의 비율이 8%에 불과했”기 때문입니다 (17). 교육 당국은 학생들의 교육 성취가 떨어지는 까닭을 교사들 탓으로 (별 근거도 없이!) 돌리면서, 교사들을 평가하기 위해서 평가 모델을 도입하고자 합니다. 그 일환으로 당시 미셸 리 교육감은 “임팩트”라는 교사 평가 모델을 만들어내고, 그 평가에 따라서 2009-2010년 평가 점수가 하위 2%에 해당하는 교사들을 무더기로 해고하게 됩니다. 그 다음 해에는 하위 5%인 206명의 교사들이 해고되게 됩니다.

 

여기까지만 보면 그다지 큰 문제는 없어 보입니다. 모든 과정이 공정해 보이고, 당연히 해야 할 일을 한 듯이 보이지요. 그런데 문제는, 임팩트 모델이 교사들을 평가하기 위해서 쓰는 방식이 과연 공정하냐는 데 있습니다. 오닐은 임팩트 모델 때문에 교사 자리에서 밀려난 사람의 실제 이야기를 독자들에게 합니다. 그 교사의 이름은 새러 와이사키이며, 그녀는 워싱턴의 맥팔랜드 중학교에서 가르치고 있었습니다. 문제는 와이사키가 학부모들과 선생님들, 학생들 모두에게 엄청나게 좋은 평가를 받고 있던 교사라는데 있습니다. 하지만 임팩트 평가 모델은 와이사키를 아주 형편없는 교사로 평가했고, 그 결과 와이사키는 쫓겨나고 말았습니다. 어느 쪽의 평가가 공정한 걸까요? 과연 임팩트 모델이 와이사키의 교사로서의 가치를 제대로 평가한 걸까요?

 

그런데 더 심각한 문제는 (그리고 이것이 바로 WMD의 첫번째 특성인 불투명함입니다.) 와이사키 주변 사람들의 평가와 임팩트 평가 모델 사이의 평가가 이렇게 엇갈리게 될 경우에 당연히 합리적으로 취해야 할 다음 수순은, 이렇게 상반되는 평가가 나온 원인이 무엇인지를 찾고, 임팩트 평가 모델이 왜 주변 사람들의 평가를 제대로 교사 평가 모델에 넣지 못했는지를 찾기 위해서 피드백을 취합하는 것일 텐데, 안타깝게도 현재 교육 평가에 관한 알고리즘을 통해서 만들어지는 평가 모델들에는 이렇게 투명하게 모델을 만들어내는 과정이 존재하지 않는다는 것입니다. 오닐의 말을 더 들어보겠습니다.

 

“(임팩트) 평가 시스템이 와이사키와 205명의 교사들에게 실패자라는 꼬리표를 붙이자 워싱턴 교육 당국은 그들을 모두 해고했다. 그런데 이 평가 시스템에는 이 같은 결정이 옳은지에 대해 사후에 학습하는 과정이 있을까? 없다. 시스템이 교사들을 실패자라고 확신하면, 평가는 그것으로 끝이다. 206명의 ‘나쁜’ 교사들은 교직을 떠나야 했다. 오직 성과가 부진한 무능한 교사들을 워싱턴 교육청의 교단에서 끌어내리는 것, 그 사실 하나만이 가치부가 모형(임팩트)의 효과성을 증명하는 것처럼 보였다. 이렇듯 WMD는 진실을 찾는 대신에 스스로 진실을 구현한다”(23).

 

이게 무슨 말일까요? WMD는 외부의 피드백을 받아들이지 않는다는 말입니다. 오직 임팩트 교사 평가 모델의 개발자들만이 평가에 어떤 기준을 썼는지, 또 앞으로는 어떤 기준을 쓸지에 대한 권한을 가지고 있습니다. 와이사키와 같은 교사들은 왜 자신이 주변 사람들의 교사로서의 자신에 대한 평가와 임팩트의 평가가 다른 지에 대해서 의문을 제기합니다. 그런 의문이 받아들여질 공간이 임팩트 모델에 존재하지 않는다는 말입니다. 임팩트 모델뿐만이 아니라 WMD들은 대부분 수학과 컴퓨터에 뛰어난 극소수의 개발자들이 자신들이 생각하기에 합리적이라고 보는 임의적 기준으로 만들어 내는데, 그 기준이 합리적이라는 근거는 어디에도 없습니다. 만약 그렇다면 외부의 피드백을 계속해서 들어야 할 텐데, 그런 피드백을 취합할 여지가 전혀 없는 것이 문제라는 말입니다. 그러므로 임팩트 같은 모델들은 수없이 많은 교사들을 해고하는 근거가 되지만, 그 근거가 무엇인지 정작 해고당한 당사자들이 소통하고자 한다면 전혀 소통이 가능하지 않다는 것입니다. 아주 비민주적이라는 말이죠. 힘과 권력은 오직 임팩트의 개발자들에게 있고, 평가를 당하는 이들은 그냥 아무 말 없이 그러한 평가를 받아들여야만 하는 겁니다. 독재도 이런 독재가 없습니다.

 

무차별적으로 확장하는 괴물: 스타벅스의 클로프닝 (clopening)을 둘러싼 논란

 

대량 살상 수학 무기(WMD)의 두번째 특징은 무작정 확장된다는 것입니다. 사람들에 대한 고려가 전혀 없이 말입니다. 첫번째 WMD의 특성이 비민주적인 것이었다면, 두번째 특성은 비인간적인 것입니다. 사람들에 대한 고려가 전혀 없다는 말은 사람들을 부품 취급한다는 말입니다. 이같은 현상은 특히 경제적 유익을 추구하는 기업의 행태에서 잘 나타납니다. 오닐은 가장 비근한 예로, 최근 미국의 직장인들 사이에 유행하는 클로프닝(clopening)이라는 말에 대해서 언급합니다. 클로프닝은 “상점이나 카페의 종업원이 밤늦게까지 일하다가 매장 문을 닫고 퇴근한 다음, 불과 몇 시간 후 새벽동도 트기 전에 다시 출근해서 매장 문을 여는 것을 가리키는 신조어”입니다 (208). 왜 클로프닝이 신조어가 될 정도로 미국의 직장 문화에서 일상화가 되어 가고 있는 걸까요?라는 질문이 오닐이 던지는 질문입니다. 그것은 직원들의 일정을 짤 때 기업들이 WMD를 사용해서 그렇게 하기 때문입니다. 단적으로 말하면 말이죠. 일정을 짜는 WMD 모델은 직원들이 인간으로서 최소한의 존엄을 지키는데 관심을 전혀 두지 않습니다. 기계가 사람들의 사정을 봐줄리는 없죠. 그 대신, WMD 모델은 어떻게 해야 최소의 직원들을 가지고 최대의 성과를 낼 수 있을까라는 질문에 답하기 위해서 사람들의 일정을 짭니다. 그리고 거기에는 그렇게 짜여진 일정에 따라서 일해야 하는 사람들이 “인간”이며, 인간은 기업의 유익을 최우선적인 목적에 두고 돌릴 수 있는 기계가 아니라는 고려가 빠져 있다는 겁니다. 그렇기 때문에 클로프닝처럼 각 직원의 사정을 봐주지 않고 오직 기업의 이윤 추구에 가장 적합한 방식으로 일정을 짜는 것이 가능해진다는 겁니다. 오닐의 얘기를 직접 들어보겠습니다.

 

“이같은 업무 방식의 최대 피해자는 스타벅스, 맥도날드, 월마트 같은 기업들에서 일하는 저임금 노동자들이다. 근무 일정 조정에 관한 통보가 적절히 이뤄지지 않기 때문에 이들의 피해는 더욱 커지고 있다. 많은 종업원이 수요일에 야간 근무를 하거나 금요일 혼잡한 시간대에 근무해야 한다는 사실을 겨우 하루 이틀 전에 통보받는다. 이런 일은 노동자들의 삶을 뒤죽박죽 엉키게 만든다. 특히 자녀가 있는 직원의 경우, 양육 문제 때문에 재앙과 같은 혼란에 빠질 수 있다”(209).

 

저 개인적으로 가장 충격적이었던 것은 이런 클로프닝을 통해서 우리 주변의 이웃들이 어떤 피해를 당하고 있는지를 구체적으로 설명하는 부분이었습니다. 오닐은 재닛 나바로라는 고학생 싱글맘의 이야기를 통해서 WMD의 폐해를 풀어냅니다. 나바로는 스타벅스에서 일하면서 대학을 다니고, 4살 짜리 아이를 홀로 키우고 있습니다. 하지만 클로프닝의 도입과 함께 나바로는 스타벅스에서 일하는 것 말고는 아무 것도 할 수 없게 되어버렸습니다. 놀라운 것은 이런 식의 일정이 갈수록 통상화 되어가고 있다는 것입니다. 기업이 이윤을 낼 수만 있다면 말이지요. 다행스럽다고 해야 할까요, 더 안타깝다고 해야 할까요. 오닐은 2014년 뉴욕 타임스가 스타벅스를 비롯한 기업들의 이런 클로프닝 행태를 고발했고, 기업들이 클로프닝을 없애겠다는 약속을 받아냈다고 적고 있습니다. 하지만 “1년 후 뉴욕 타임스는 후속 기사에서 스타벅스가 이런 목표를 달성하지 못했으며, 심지어 클로프닝 관행 조차 없애지 못했다고 고발했다”는 얘기를 전합니다(213). 무서운 것은, 단순히 스타벅스 뿐만이 아니라, 그리고 직원들의 일정을 짜는 일 뿐만이 아니라, 우리가 미처 상상하지도 못했던 부분까지, 우리의 관계, 우리의 성향, 우리의 사생활, 우리의 모든 것에 WMD가 그 손을 뻗어서 분석하고 있으며, 우리 중 어느 누구도 그 무차별적인 확산을 완벽하게 막아낼 힘이 있는 사람이 없다는 것입니다. 오닐은 앞으로도 WMD는 더욱 더 확산될 것이며, 확산될 수밖에 없다고 암울한 미래를 말하고 있습니다. 페이스북이나 구글은 우리 각 사람에게 어떻게 광고를 해야 물건을 팔 수 있을지를 목적으로 해서 지금도 불법이 아닌 한도 내에서 우리 각 개인의 정보를 가능한 한 많이 모으고 있습니다. 생각해 보면 너무나 당연합니다. 구글의 인공 지능이 바둑의 세계 고수를 이기는 시대, 무인 자동차가 곧 상용화될 시대, 이런 시대에 기업의 이윤을 위해서 사람의 모든 것을 분석해내고자 하는 WMD가 그 영향력을 끼치지 못할 곳이 없게 될 거라는 건 누구나 어렵지 않게 예상할 수 있습니다.

 

피해의 편향성: 범죄가 된 가난, 그리고 편향적 범죄 예측 모형

 

하지만 이런 WMD의 피해는 확률상 부자나 권력을 가진 사람들 보다는 가난한 이들과 약자들이 더 많이 입게 될 겁니다. 그것이 오닐이 이 책에서 주장하는 주된 논지 중에 하나입니다. 그리고 WMD는 거기에 아주 지대한 역할을 합니다. 왜냐하면 WMD를 만드는데 들어가는 돈은 부자들의 돈이기 쉽고, WMD의 목적은 권력자들에 의해서 정해지기 쉽기 때문입니다.

 

실상 이런 부분이 바로 WMD가 가지고 있는 세번째 문제점입니다. WMD는 효율성만을 고려해서 만들어지는 모델인데, 그 효율성은 항상 “누군가의” 효율성이고, 거기에는 공정함이 빠지게 되기 때문입니다. 오닐은 책 전체를 통해서 이런 면을 계속해서 강조합니다. 공정함, 정의 같은 개념들은 오직 인간만이 이해하고 고민하는 개념들이고, 모든 것들을 정량화시키지 않고는 그 능력을 나타낼 수 없는 WMD가 정의나 공정함을 정량화시키기는 쉽지 않다는 것입니다. 물론 애초에 정의나 공정함에 관심이 없기도 하고요. 앞서 얘기한 일정 관리 WMD에 관해서 이런 약점을 지적하는 오닐의 얘기를 들어보겠습니다.

 

“다른 많은 WMD와 마찬가지로 일정 관리 모형이 가진 문제의 근본적인 원인은 개발자들이 선택한 목표에 있다. 일정 관리 모형은 정의 구현이나 모두의 이익이 아니라 효율성과 수익성에 맞춰 최적화된다. 이는 자본주의의 본질이기도 하다. 기업에게 수익은 생명을 유지시켜주는 산소나 마찬가지다. 기업의 입장에서 볼 때 잠재적인 비용 절감 가능성을 거부하는 것은 지극히 어리석고, 부자연스러운 행위다. 그렇기 때문에 사회에는 대항 세력이 필요하다. 효율성의 오남용을 고발하고 기업들을 질책해 옳은 일을 하게 만드는 대항 세력 말이다”(219).

 

정의와 공정성에 대한 고민이 WMD에 전혀 반영되지 않기 때문에, WMD의 편향성은 자연히 부자와 강자들로 향하게 되고, 그들의 관점과 유익이 반영된 WMD가 만들어지게 된다는 것은 지금까지의 논의로 보면 당연한 얘기가 될 겁니다. 오닐은 특히 치안과 안전에 관해서 가난한 자들과 약자들이 심각한 피해를 입고 있음을 고발합니다. (물론 특별히 WMD가 이런 성향을 창조해낸 것은 아닙니다. 사실상 WMD가 존재하기 전에도 가난한 자들과 약자들은 항상 부자와 강자들의 먹잇감이었지요. WMD는 그런 현실을 더욱 강화시켜주며, 가난한 자들과 약자들로 하여금 자신들이 처한 상황에서 더욱 빠져 나오기 어렵게 만든다는 것이 오닐의 논지라고 보는게 더 정확할 겁니다.)

 

오늘날 알고리즘 개발자들은 치안과 관련해서 효과적으로 보이는 모델들을 속속 개발하고 있습니다. 그 중 하나가 필라델피아 서쪽의 레딩이라는 작은 도시의 경찰 당국이 사용하고 있는 프레드폴(PredPol)입니다. 프레드폴은 범죄 예측소프트웨어입니다. 이런 예측 소프트웨어들은 경찰 당국 입장에서 보면 아주 환영할 만합니다. 왜냐하면 범죄가 더 빈번하게 일어나는 지역을 예측해주고, 재정적 한계 때문에 점점 더 부족해지는 경찰력을 효율적으로 배치할 수 있게 도와주기 때문입니다. 하지만 제가 굵은 글씨로 표시해 놓았듯이, 이 WMD와 그와 비슷한 모델들의 치명적인 문제점은 예측소프트웨어라는데 있습니다. 왜 이게 문제일까요. 무엇보다도 예측은 예측 대상을 필요로 합니다. 즉 어떤 범죄를 예측하느냐를 사람이 넣어줘야 한다는 거죠. 그런데 여기서 어떤 범죄가 예측되어야 하냐는 데서 부자들이 짓는 범죄보다는, 가난한 사람들이 짓는 범죄가 예측의 대상으로 넣어진다는 겁니다. 오닐의 말을 들어보시죠.

 

“프레드폴은 개인에게 초점을 맞추지 않는다. 대신 지리적 데이터에 온전히 집중한다. 프레드폴이 활용하는 핵심 변인은 각 범죄의 유형과 발생 장소, 그리고 발생 시점이다. 이는 언뜻 보면 아주 공정한 것처럼 생각된다… 그러나 이런 곳에서 벌어지는 대부분의 범죄는 강도와 차량 절도같은 중대 범죄가 아니다. 바로 여기서 심각한 문제가 발생한다. 프레드폴 시스템을 적용할 때, 경찰들에게 선택권이 주어진다… 경찰들이 강도, 살인, 강간 같은 중범죄를 예방하기 위해 순찰을 도는 것일지라도, 우범 지대로 분류된 동네에서는 순찰 시간이 길어질 수밖에 없다. 아무리 작은 범죄라도 눈앞에서 벌어진다면 경찰이 어떻게 모른 척 할 수 있겠는가. 만약 순찰을 돌다가 기껏해야 16살로 보이는 미성년자 둘이 술을 마시는 장면을 목격한다면, 그들의 행위를 중단시키는 게 옳다. 그러다 보면 이런 경범죄가 경찰의 범죄 예측 모형에서 점점 더 많은 점을 차지하고, 이는 다시 경찰이 그 지역을 순찰하게 만든다. 이는 바로 유해한 피드백 루프가 활성화되는 전형적인 과정이다. 경찰 활동 자체가 새로운 데이터를 생성시키고, 이런 데이터가 다시 더 많은 경찰 활동을 정당화해준다. 그리고 교도소는 피해자가 없는 범죄(victimless crimes)를 저지른 수많은 범죄자들로 넘쳐나게 된다. 이런 범죄자들은 대부분 가난한 동네 출신이고, 또 대부분 흑인이거나 히스패닉계다”(152).

 

즉 경찰이 순찰을 도는 빈도가 빈번한 지역에서는 아무리 경한 범죄라고 해도 그 범죄들이 모두 프레드폴의 데이타 목록에 저장되게 되고, 이는 또 다시 그 지역을 더욱 우범 지역이 되게 만드는 악순환에 빠지게 만든다는 것입니다. 실상 경한 범죄들, 앞에서 얘기했던 16살짜리 미성년자 둘이 술을 마시는 것 같은 류의 범죄들은 부자들이 거주하는 지역에서도 충분히 자주 일어날 수 있는데, 경찰들은 그런 지역에는 자주 출동하지 않으니까, 실제 범죄가 일어나는 숫자보다 덜한 감시를 받게 된다는 거지요. 적어도 프레드폴 같은 WMD가 기록하는 데이터의 감시망을 벗어나게 됩니다. 다음에 나오는 오닐의 예리한 통찰은 그런 면을 잘 지적합니다.

 

“하지만 프레드폴이 예측한 범죄 다발 발생 구역에서 아주 멀리 떨어진 곳에서 일어나는 범죄들은, 다른 말로 부자들이 저지르는 범죄들은 어떨까? 21세기 들어 금융 세상의 왕들은 흥청망청 돈잔치를 벌였다. 그들은 거짓말을 했고, 고객들이 돈을 잃는다는 쪽에 수십억 달러를 배팅했으며, 금융 사기를 저질렀고, 신용평가기관들을 매수했다. 금융 세상에서 일어난 엄청난 범죄들로 인해 세계 경제는 거의 5년간 파탄의 길을 걸었다. 수백만 명의 사람들이 집과 일자리, 건강보험을 잃었다… 하지만 오늘날의 금융 세계는 업계의 막대한 부와 강력한 로비 활동에 힘입어 경찰의 사각 지대에 있다…. 내가 하고 싶은 말은 경찰은 어디에 관심을 기울일지 선택할 수 있다는 것이다. 오늘날 경찰들은 거의 오롯이 가난한 사람들에게 초점을 맞추고 있다… 데이터 과학자들은 경찰의 편향된 선택을 프레드폴처럼 사람들의 삶에 미치는 영향력이 갈수록 커지는 모형들에 그대로 주입했다”(157-159).

 

불투명함, 확장성, 그리고 피해. 이 세가지는 앞으로도 갈수록 WMD가 끼치게 되는 영향력이 커지면서 더욱 더 다방면으로 넓게, 깊게 우리의 삶에 파고들게 될 확률이 높습니다. 그러면 우리는 무엇을 해야 할까요.

 

희망은 어디에 있는가: 도덕적 상상력과 감시

 

마치 독버섯처럼 퍼지는 WMD의 마력에 맞설 수 있는 유일한 무기는, 오닐에 의하면 대항 세력을 만들어내는 것입니다. 대항 세력들은 알고리즘을 감시하게 될 겁니다. 그리고 알고리즘이 만들어질 때 들어가는 데이터와 기준을 평가하게 될 겁니다. 여기에 필요한 것이 바로 도덕적 상상력입니다. 우리에게는 변화하는 시대 상황에 맞춰서 옳고 그름이란 어떤 것인가를 상황에 맞게 제시할 사람들이 필요합니다. 그러한 도덕적 상상력의 발휘에 대해서, 오닐은 폴 윌모트가 알고리즘 개발자들을 위한 “히포크라테스 선서”를 작성한 것이 좋은 예가 될 수 있을 것이라고 말합니다. 선서의 일부를 발췌합니다.

•나는 내가 세상을 만드는 것이 아니며, 세상이 내 방정식을 따르지 않음을 명심하겠습니다.

•나는 내 모형을 사용하는 사람들이 그 정확성에 대해 거짓된 위안을 갖지 않도록 하겠습니다. 대신에 나는 모형에 이용된 가정과 간과된 점들을 밝히겠습니다.

•나는 내 일이 사회와 경제에 지대한 영향을 끼칠 수 있음을, 그런 영향의 상당 부분이 나의 이해 수준을 능가하는 것임을 명심하겠습니다.

 

이런 도덕적 상상력의 발휘와 함께, 정부 기관 또한 감시 기관을 만드는데 박차를 가해야 할 것입니다. 오닐은 그런 일이 하루 속히 일어나기를 촉구합니다. 그렇게 감시 기관을 만들고 대항 세력을 키운다고 해도 WMD가 끼치는 악영향을 모두 막아낼 수는 없을 것입니다. WMD의 두번째 속성이 말해주듯이, 계속해서 WMD는 우리의 삶 속에 깊숙이 파고들게 될 것이기 때문입니다. 대항 세력을 만드는 것이 이미 늦었습니다만, 그래도 지금이라도 그렇게 해야 합니다.

 

전체적인 평가와 잠재적 약점

 

전체적으로 오닐의 책은 현실을 고발하기 위해서 쓰여진 책입니다. 그러다보니 알고리즘으로 만들어지는 모델이 끼치는 악영향과 폐해만을 다루고 있습니다. 바로 그런 면이 때로는 이 책의 약점이 될 수도 있는 것 같습니다. 실제로 아마존의 여러 독자들이 오닐의 관점이 공정하지 못할 수도 있음을 지적하고 있었습니다. 한 예로, 오닐이 얘기하는 직원 건강 프로그램 (wellness program)의 경우, 오닐의 지적과는 달리, 사람들에게 도움을 줄 수 있는 면도 있을 거라는 지적이 있었습니다. 물론 모든 이들에게 특정 모델에 맞게 만들어진 프로그램을 강요한다면 거기에는 문제가 있겠지만 말입니다. 또 하나, 오닐의 책이 현실 고발에 초점을 맞춘 책이기 때문에 대안 제시가 약하다는 것도 약점이 될 수 있을 겁니다. 조금 호혜적으로 본다면, WMD의 폐해가 이제서야 밝혀지고 있기 때문에 대안 제시까지 한 사람에게 바라는 것은 조금 무리일 수도 있습니다. 하지만 그럼에도 불구하고, 오닐이 이번 책에서 현실을 고발하는 차원에서 책을 썼다면, 후속작으로는 오닐이 짧게 책의 말미에 언급하는 도덕적 상상력의 발휘가 구체적으로 실제 사례를 통해서 어떻게 나타날 수 있는지에 대해서 좀 더 자세한 언급이 필요한 것이 사실입니다.

 

신학을 공부하는 사람으로서, 저에게 이 책은 큰 도전을 주었습니다. 빠르게 변화하는 현실 앞에서, 신학은 계속해서 상황에 맞는 대안과 대답을 제시할 의무를 가진 학문입니다. 기술 발전이라는 영역에 대해서 신학적인 관점에서 접근하는 전문가가 거의 전무한 현 상황에서, 사람들과 함께 교회를 세우기 위해서, 그리고 WMD의 피해자가 된 사람들과 함께 대항 세력을 만들어 나가기 위해서 나는 어떤 일을 할 수 있을까라는 고민의 시발점을 오닐의 책이 찍어 주었습니다. 오닐의 후속작을 기대하면서, 그리고 앞서 지적한 잠재적 한계를 잘 보완한 후속작을 오닐이 내기를 바라면서 서평을 마칩니다.