크레마클럽

노사회학자 하워드 S. 베커의 『증거의 오류』는 증거 자체가 오류라는 책은 아니다(원제 자체가 그냥 “증거(Evidence)”다). 대신 사회과학 연구에서 증거를 수집하고 처리하는 데 있어서 오류에 빠질 수 있는 경우에 대한 경고이면서 제대로 된 데이터 수집, 증거 처리를 위한 조언이다. 말하자면, 사회과학이 제대로 대접받기 위해서 좀 제대로 하자는 충고라고 할 수 있다.

일단 베커는 자연과학에서의 연구 방법을 간단하게 정리하고 있다. 물리화학과 지질학의 연구에서 예를 찾고 있는데, 그건 어디서 찾든 그다지 다를 게 없다. 그가 얘기하고 싶은 것은 자연과학은 알고자 하는 것에 대한 데이터를 얻기 위해 각종 변수를 통제하기 위해 무척 애를 쓴다는 것이다. 단순히 자연과학이기 때문에 가능한 일이 아니라 정말 많은 것을 고려하면서 그것을 성취해낸다는 것이다. 그렇기 때문에 인정받을 수 있는 연구가 나온다는 것이다.

그렇다면 자연과학이라서 통제가 가능하고, 사회과학은 사람을 다루는 학문이기 때문에 그게 불가능한 것인가? 베커는 그렇지 않다고 단언한다. 물론 그런 측면이 있긴 하지만, 자연과학만큼의 노력도 하지 않고 그냥 인정해버리는 것은 문제가 있다고 지적한다. 그는 사회과학의 연구 방법을 자연과학의 연구 방식에서 따와서 린네의 방식(정량 연구)과 뷔퐁의 방식(정성 연구)으로 나누고 있는데(베커 자신은 정성적 연구 전통을 가지고 있다고 인정하고 있다), 어느 방식이든 데이트를 잘 다룸으로써, 데이터가 잘못 될 가능성을 인식함으로써, 잘 통제된 데이터를 만들어낼 수 있으며, 그것을 통해서 객관적인 결론을 내릴 수 있다고 보고 있다.

사회과학의 연구를 그냥 설문조사를 던지고, 그것을 통계 처리하여 결론을 내리는 것만으로 생각한다면 너무 단순히 생각하는 것이긴 하다. 하지만 많은 사회과학의 연구가 그런 방식을 무비판적으로 취하고 있는 것도 사실로 보인다. 그래서 할 때마다 다른 결과가 나오고, 또 연구자의 입맛에 맞게 결과를 주관적으로 해석하여 내놓는 경우도 허다하다. 그렇게 해서는 사회과학의 연구에 신뢰를 보낼 수가 없다.

베커가 자신의 연구 경험과 몇 가지 훌륭한 사례, 그리고 잘못된 사례 등을 통하여 데이터와 증거, 이론을 탐구한 것은 사회과학의 증거가 대부분 잘못되었다는 것을 얘기하고 싶은 것이 아니다. 사회학에 대한 깊은 애정을 가지고, 그 사회학이 사회의 구조를 이해하는 데, 앞으로 나아갈 방향을 잡는 데 유용한 학문이 되기를 바라는 것이다.

사실 이 책을 읽으며 다시 자연과학에 대해서도 생각해 봤다. 사회학자로서 자연과학의 방법과 그 노고에 긍정적이고, 그 방식에 대해 사회과학이 본받아야 한다는 식으로 쓰고 있지만, 실제 자연과학에서 이 사회학자가 말하는 방식만큼의 엄밀성을 띠고 있는지에 대한 반성이 필요하다. 우선 내 연구부터.

이 책에 대해서 말하기 전에 먼저 이 책의 저자에 대해서 말해야겠네요. 저자는 사회학을 공부하는 분들이라면 다들 아시겠지만 저명한 사회학자 중 한 분이에요. 그는 1928년 시카고에서 태어나서 23세의 나이에 시카고 대학에서 박사학위를 받았고 이후 25년간 노스웨스턴 대학교 사회학과 교수 등으로 재직하면서 미국의 사회학자로 사회행위이론을 사회변동론에 적용하여 미국의 이론사회학 발전에 크게 기여하였어요.

특히 이 책은 ‘아웃사이더(Outsiders)’를 통해 낙인 이론의 기초를 제공하며 사회학 권위자로 꼽히며 수많은 저서를 출간한 저자가 데이터를 활용한 수많은 주장에 얼마나 많은 오류가 도사리는지 짚어낸 책이에요. 이 책에는 이제 100세를 바라보는 저자의 70년에 걸친 연구의 경험을 바탕으로 데이터, 증거, 이론의 순환 구조를 체계적으로 정리하고 있어요.

사실 코로나 바이러스에 대한 수많은 뉴스와 가짜뉴스가 펼쳐지는 지금 이 시각에, 또 한 편으로는 국회의원 선거를 놓고 정당들 간 수많은 통계와 설문 조사 그리고 여론 조사가 쏟아지고 있죠. 또 각종 판매지수나 시장조사 그리고 통계 등 이를 토대로 한 다양한 보고서와 뉴스를 매일 접하게 돼요. 이처럼 현대사회에서 가장 가치중립적이고 객관적으로 여겨지는 ‘데이터’는 생각보다 중립적이지 않다는 것이 저자의 주장이에요.

즉 저자는 여론조사, 영화 박스오피스, 인구조사, 빅데이터 등 일상 속 많은 데이터는 생각과 행동을 결정하는 주요 잣대가 되지만 오류, 왜곡 가능성이 농후하다는 점은 쉽게 잊힌다고 지적해요. 이러한 현상을 분석하면서 저자는 연구자들이 데이터를 통해 기존 이론을 검증하고 뒤집는 데 어떤 어려움이 있는지를 살피면서, 통계나 설문 및 연구자료 등 데이터를 생산하는 연구자들이 오류를 줄일 수 있는 방법에 대한 논의를 이어가요.

이 책은 크게 1,2부로 나누어져 있는데요. 1부에 사회과학과 자연과학 분야에 쓰이는 연구방법과 데이터가 증거가 되기까지 과정을 이론적, 역사적 관점에서 설명하고, 2부에는 인구조사, 정부기관의 데이터 연구, 정성 연구의 한계점 등을 담고 있어요. 이 책에는 사회학 전반을 두루 살피고 있어서 일반인들에게 조금 생소한 유명 사회과학자들의 이름과 이론이 등장해 다소 어려운 부분도 있지만, 일상에서 흔히 접하는 예시를 통해서 일반 독자들에게는 데이터의 집계·생산 과정을 보여주어 데이터의 실체에 대한 이해를 높여주고 있어요.

요즘은 과히 어마어마하게 쏟아지는 데이터 속에서 의미 있는 통계나 증거를 찾아 내야 하는 시대라 하겠어요. 이 책은 미국 사회학의 대가가 그러한 시대적 흐름에 맞게 데이터를 수집 분석하여 사회 현상을 설명하는 방법을 알려주는 책으로 기대해요. 나아가 우리의 일상 생활에도 꼭 알아야 할 엄청난 시사점을 주는 책이라 생각해요.

데이터를 관리하고 논문을 정리할 일이 있어 궁금해 읽게 된 책이다. 영어 원제는 간단히 ＜Evidence＞로 2017년 발간된 최근작이다. 저자는 미국의 시카고 대학에서 박사 학위를 받은 사회학자로 이 분야의 최고 권위자라고 한다. 1928년생으로 무려 23세애 박사 학위를 취득했다고 하며 시카고에서 음악인으로 공연생활도 여러 해 했다고 한다.

책은 전체적으로 사회학 분야에서 어떻게 데이터를 수집하고 분석할지, 특히 발생 가능한 데이터의 오류에 관련해서 풍부한 예시와 함께 풀어내었다. 사회학 분야의 연구 방법론으로 역사적으로 정량적인 방법과 정성적인 방법이 있으며 각 방법에 따른 학파의 논쟁과 이견이 있어왔다는 점을 큰 줄거리로 해서 전개하고 있다. 데이터를 수집하는 방법은 현장조사, 설문, 면담 등이 있으며 저자는 현장조사를 즐겨하였다고 한다.

저자가 20세기 전반기부터 연구를 했기에 사회학 분야에 있어서 역사적으로 큰 획을 그었던 연구 방법에 대한 에피소드와 오류들이 풍부히 열거되었다. 특히 물리학의 위상이 과학으로서 지대했던 시대에 사회학 분야도 과학으로 인정받고자 노력하던 에피소드들이 재미있었다. 어떤 연구는 대중에게 알려진 것과는 달리 어떤 오류로 인해 연구 결과의 분석과 의미가 달라졌다고 하였는데, 설문같은 객관적으로 생각될 수 있는 자료조차도 응답시에 오류가 발생할 소지가 있으며 설문자나 면담자들의 태도에 따라서도 결과가 판이하게 달라질 수 있다는 점이 인상적이었다. 그래서 연구의 완성도를 높이기 위해서 설문자나 면담자들에게서 협조를 이끌어 내고 보상을 할지에 대해서도 고찰하라고 권유하고 있다.

또한 신생아의 이름 정보 같은 아주 간단한 데이타에서도 충분히 의미 있는 사회학적 연구를 수행할 수 있으며, 데이타를 수집하고 관리하는 데 있어 발생하는 오류 자체도 연구 주제가 될 수 있다는 점은 흥미로웠다.

전체적으로 사회학 연구의 대가가 후학들에게 데이타 수집, 관리, 분석에 있어 완성도를 높이기 위해 주의를 기울여야 할 역점에 대해 알려주는 심도 있는 책이었다.

오랜기간 손을 놨던 정량조사와 정성조사를 동시에 해야 할 업무가 닥쳐 선택한 책. 저자 하워드 S. 베커는 1946년 사회학 입문후 70년 넘게 연구하면서 고민한 점들을 이 책에 담았다. 크게 1부와 2부로 나뉘며, 1부에서는 데이터, 증거, 이론의 관계를 설명한 뒤, 정량연구와 정성연구의 차이와 특징을 밝힌다.

사회과학자들은 우연의 일치나 단독사건에 그치지 않는 진리를 발견했다고 주장하기 위해 데이터, 증거, 이론 3요소를 취합한다. 그들의 연구재료는 기계가 만든 기록, 설문조사 응답 기록, 업무중 생성된 기록, 면접조사 기록 등 물리적 객체로 이루어져있다. 정보를 기록으로 보존한 데이터는 어떤 주장을 뒷받침하는 증거가 된다. 사람들이 데이터의 타당성과 무게를 납득할 때만이 증거가 증거로 인정된다. 증거로 전환된 데이터는 어떤 이론의 구체적 사례에 대한 진술을 뒷받침한다. 데이터, 증거, 이론은 상호의존적인 순환 구조를 만들어낸다.

저자는 18세기 과학자인 카를 폰 린네와 조르주 루이 르클레르 드 뷔퐁이 제안한 지식의 2가지 고전적 모형을 소개한다. 린네는 연구에서 얻은 정보를 끼워 넣을 수 있는 종합 분류 체계를 제안했다. 반대로 뷔퐁은 분류 체계의 구축을 주요 작업으로 삼아야 한다고 주장했다. 린네는 연구 결과를 자신이 구축한 체계의 칸에 채워넣는 것을 과학자의 임무라고 생각했고, 뷔퐁은 새로운 사실이 밝혀질 때마다 새로운 칸을 지속적으로 만들어내는 것이 임무라고 생각했다.

린네의 절차는 정량적 연구 설계와 연결된다. 정량적 연구는 참고문헌을 통해 문제를 명확하게 서술하고, 특정 집단에 대해 조사를 하는 식의 방법을 택한다. 일반 선형 모형으로 불리며, 연구자가 여러가지 독립변수의 영향을 검증하는 방식으로 결과를 분석한다. 학업 성적이나 경제적 성과, 사회 계층이나 인종의 관계에 대한 연구가 그러한 방식을 택한다. 이러한 연구 설계는 현대 사회학의 표준적 방법론이 되었다. 설문을 통해 대량의 데이터를 수집하거나, 인구조사, 학교,경찰서,병원과 같은 조직에서 만든 통계자료 등을 활용한다. 설계된 조사연구의 실행과정에서 문제가 발생하더라도 연구자들은 계획을 쉽사리 바꾸지 못한다. 분석의 논리가 계획이 적절히 실행되느냐에 좌우되기 때문이다. 위와 같이 연구를 수행하면 주요변수에 초점을 맞출 수 있고, 수백 수천 명에 대한 정보를 수집하여 좀 더 광범위한 사례에 대해 일반화할 수 있다. 발견은 모든 데이터를 수집하고 이를 요약하는 과정이 끝날 때 찾아온다.

뷔퐁의 해결책은 정성적 연구와 연결된다. 세부사항의 미묘한 차이에 주의를 기울이며 데이터를 숫자보다 언어로 설명하는 연구를 설명할 때 '정성적'이란 단어를 사용한다. 정성적 연구자들은 대상의 활동에 참여하는 식으로 광범위하고 장기적인 현장 연구를 하거나, 공통 주제에 대해 장황하고 때로 즉흥적인 면접조사를 한다. 오늘 얻은 지식을 이용하여 내일 할 일의 틀과 방향을 잡는다. 논문/연구기금 심사위원회 등에 계획을 제출하는 것이 어렵다. 다른 연구자집단에 작업을 맡길 수도 없다. 결과가 나오리라는 것은 확신할 수 있어도 어떤 결과가 나올지 미리 짐작할 수 없다. 연구자가 전달하고자 하는 아이디어의 명확한 증거를 제공할 수 없다.

이렇게 보면 정성적 연구의 한계와 문제가 너무 커보인다. 그러나 저자는 일반적으로 정량적 연구에 더 많은 오류가 포함되어 있다고 말한다. 정성적 연구의 오류는 연구 도중에 발견하고 수정하기가 좀 더 쉽기 때문이다. 베커는 정량적 연구와 정성적 연구가 각각 장단점을 갖고 있으며 이들이 교차하고 서로를 관통할 때 흥미로운 발견의 가능성을 높인다고 생각한다. 두 분야 연구자 모두 해결해야할 문제는 타당성있고 무게있는 증거로 작용할 수 있는 데이터를 생성하는 것이라고 역설한다.

2부에서는 데이터 수집의 주체를 분류한 후, 다양한 주체가 수집한 데이터를 이론의 증거로 활용할 때 경계해야 할 오류를 소개한다.

첫번째, 인구조사에 대해 소개한다. 인구조사는 정량적 연구의 가장 우수한 사례이다. 인구조사 전문가들은 결과물을 오염시킬 결함을 제거하기 위해 애쓰지만, 작업을 완료하기 위해 타협을 받아들일 때가 있다. 그들은 불가피한 결함을 숨기지않고 공개하며, 인구조사자료를 증거로 사용할 때 주장해도 되는 내용과 주장해서는 안될 내용을 명기한다. 주거가 불명확한 노숙자 수를 정확히 산출하는 것은 불가능한 일이다. 나치 독일처럼 정치적 이유로 인구 조사 데이터를 왜곡하는 경우도 있다. 미국같은 다인종 국가에서 흔히 나타나는 오류는 특정 인종이 과소/과다산출되는 문제이다. 1960년대에는 젊은 흑인 남성을 실제보다 적게 산출했다. 혼혈 자녀에게 어머니의 인종을 할당하는 방식은 인디언 어린이 숫자를 실제보다 줄인다. 인구 과소산출은 정치적 파장을 낳는다. 정부 재정 분배가 필요한 것보다 축소되고 소수집단이라며 의견이 무시될 수 있기 때문이다. 1970년대 이전에는 푸에르토리코인, 멕시코계 미국인, 쿠바인이 자신들의 정체성을 밝힐 때 구체적인 나라 이름을 사용했지만, 세 공동체 지도자들이 '라티노'라는 범민족적 정체성을 창출함으로써 강력한 정치집단으로 부상하였다는 사례가 매우 흥미로웠다.

두번째, 공공기관에서 수집하는 데이터에 대해 소개한다. 정부조직은 데이터를 주기적으로 수집하며 조직이 하는 일을 체계적으로 기록한다. 데이터를 수집하는 사람들의 업무환경과 이해관계에 대해 살펴보면, 데이터 오류에 대한 단서를 찾을 수 있다. 에드윈 서덜랜드는 기업인들이 업무중 저지른 중대범죄를 고려하지 않은 범죄학자들의 연구들이 잘못됐다고 지적했다. 교도소에 들어가는 사람 중에 상류층은 2%도 안되는데, 이는 검사들의 선택에서 비롯되었다고 말한다. 그들은 형사처벌을 내리기보다 금전손실을 복구하는 일에 관심이 있고, 같은 클럽회원이거나 학교동창일지 모르는 사람들을 교도소로 보내는 것을 꺼림칙하게 생각한다는 것이다. 피터 모스코스는 연구를 통해 경찰 통계 이면의 현실을 보여준다. 마약범죄율이 높은 지역 경찰관들은 마약범죄율이 낮은 지역 경찰관들과 비교할 때 덜 중대하고도 입증하기 쉬운 혐의로 마약범죄자를 체포하는 경향이 있다. 마약집중지역의 체포는 교통위반딱지 떼기와 비슷해서, 범죄자 수가 늘어날 때 보다는 경찰관 수가 늘어날 때 크게 늘어난다. 제인 머서는 캘리포니아 아이들이 어떻게 정신지체로 낙인찍혔는지 조사하기 위해 지역 학교의 기록을 활용했다. 정신지체 판정을 내리는 인력과 관례가 존재했던 공립학교의 학생들만 정신지체로 낙인찍혔고 비슷한 수준의 사립학교 아이들은 정신지체 낙인을 피할 수 있었다. 표준화된 검사를 통해 비슷하게 낮은 점수를 받았더라도 백인 어린이는 소수인종 어린이보다 일반학급에 돌아갈 가능성이 높았다.

세번째, 고용인이 수집하는 데이터에 대해 소개한다. 고용된 면담자에게는 면접을 빨리 끝내서 더 많은 수의 면접을 하는 것이 이익일 때가 많다. 면담자는 면접대상을 짜증나게 하거나 서먹하게 하지 않으려고 지루한 질문이나 민망한 질문을 피하는 경우가 많다. 따라서 여과 질문을 포함시킬 때는 신중을 기해야 한다. 고용인 중에는 코딩하는 사람들도 있는데, 이들 역시 틀린 숫자를 넣거나 몇개를 빼먹는 실수를 할 수 있다. 따라서 분석 결과가 너무 이상할 때에는 raw data를 조사해야 한다. 설문지 자체의 특성이 응답자에게 특정한 방향의 답을 채워넣도록 유도할 수 있다. 따라서 동일한 정서를 반대 형태로 제시하는 질문을 넣거나, 질문 순서를 다르게 한 2가지 버전의 설문지를 준비하거나 하는 식으로 오류 방지 노력을 해야 한다.

마지막으로 정성연구에 나타날 수 있는 부정확성에 대해 설명한다. 여러 정성적 연구자들이 시간에 따른 변화를 간과하는 일이 많다. 과거와 현재상황의 차이를 사소한 편차로 생각하거나 예기치 못한 상황을 우연으로 간주하는 것이다. 현장에서의 중요한 발견은 예기치 못한 일을 관찰하고는 그 일이 어떻게 일어났는지 밝혀내려고 할 때 일어난다. 사회 지형의 변함없는 일부로 생각했던 것이 시간의 경과와 더불어 변화하면서 현재도 연구대상에 영향을 끼칠 정도로 바뀌고 있다는 것을 인식할 때 중요한 현상을 발견할 수 있다. 정성적 연구자가 저지르는 가장 큰 실수는 특정 장소의 특정 인물들을 바탕으로 한 아이디어를 비슷해 보이는 큰 집단에 일반화하는 것이다. 윌리엄 풋 화이트가 보스턴 빈민가를 연구한 후 다른 지역 빈민가도 똑같다는 식으로 주장한 것이 그 예이다. 겉보기에 비슷한 집단들이라 해도 내재된 특성을 통해 달라질 수 있는 요소를 찾아야 한다.

하워드 S. 베커가 수다스럽게 소개하는 여러가지 연구의 문제점, 실수, 고충, 일화는 매우 흥미롭고 재미있었다. 실제 설문조사나 면접조사를 수행할 때 꼭 확인하고 조심해야할 것들에 대해서도 배웠다. 그러나 이 책을 끝까지 읽고, 평범한 직장인인 나는 아연해진다. 정부 통계도, 유명한 대학 교수의 논문도 믿을 만한 것이 못된다면, 나는 대체 무엇을 믿어야 할까? 네이버에서 페이스북에서 지인의 카톡에서 마주치는 연구결과와 이론들을 어떻게 검증할까? 모든 연구결과의 raw data를 확인해볼 수도 없고, 설령 확인할 수 있다해도 참거짓을 검증할 방법을 모를 것이다. 지적으로 즐거운 책이나 의문과 좌절감이 남는다.

숫자는 싫어해도, 이상하게 데이터에는 관심이 많다. 요즘 빅데이터 시대라고 많이들 하는데, 데이터를 분석해 무언가의 흐름을 읽는 일은 참 매력적인 것 같다. 나는 개인적으로 데이터와는 거리가 먼 상담을 하고 있지만 아이러니하게도 상담 안에서도 데이터가 매우 중요하다.

데이터를 수집할 때는 대체로 연구를 많이 한다. 응답자가 어떤 질문에 대답을 해야 하는데, 그 대답에는 대체로 선택지가 있다. 그 선택지를 잘 설정하는 것이 분석하는데 큰 도움이 된다. 책에서는 선택 가능한 범위를 설정하여 선택지를 제시하는 것이 명확하다고 말한다. 데이터가 명확할수록 당연히 분석은 정확하겠지.

[우리가 오랫동안 격은 문제와 앞으로 겪을 문제] 라는 주제에 대해서 저자가 써 놓은 글이 인상적이다. 종교, 결혼여부를 예로 들고 있지만 그 외에도 많을 것 같다. 종교는 우리가 생각하는 불교, 기독교, 천주교 이외에 여러가지가 있다. 천주교는 의외로 간단하다고 말한다. 가톨릭교회에서 영세를 받은 사람은 누구나 천주교라고 말할 수 있다고 한다. 가장 복장한 건 유대교다. 유대교 안에도 여러가지가 있고, 유대교 안에도 사상이나 생각이 다 다르기 때문에 종교라는 카테고리 안에서 응답자를 나누기는 쉽지 않다는 것이다. 결혼도 마찬가지다. 우리는 기혼, 미혼 이외의 여러 형태의 결혼을 가지고 있기 때문이다.

책에 나오는 연구들은 매우 흥미롭다. 주제에 따른 데이터를 어떻게 활용했는지에 따라서 혹은 분석했는지에 따라서 결과가 다르다. 이렇게 분석해도, 저렇게 분석해도 결과는 나온다. 원하는 정답이 있다면 그 정답대로 분석도 가능하다는 뜻이다. 요즘 보면 하나의 자료를 가지고 도출해내는 결과가 달라 보는 사람으로 하여금 헷갈리게 만드는 경우가 많다. 저자가 말하는 증거의 오류다.

데이터 관리를 한 적이 있다. 여러 사람이 하나의 시스템에 정보를 넣으면 그것을 토대로 1차적으로는 실적을 뽑아내고 2차적으로는 분석을 하고, 3차적으로는 내년의 계획을 세우는 일이었다. 가장 중요한 건 여러 사람이 같은 기준을 가지고 시스템에 정보를 넣는 것이다. 그리고 빈 곳이 없도록 충실히 정보를 넣는 것이다. 그래야 유의미한 데이터가 나오고 유의미한 분석이 가능하다. 그래서 어떻게 정보를 넣을 것인지에 대한 교육과 매뉴얼이 중요하다.

이 책은 데이터에 관심이 있는 사람, 실제로 연구를 하거나 논문을 쓰는 사람에게 유용할 것 같다. 그리고 어떤 이유에서든 본인에게 유리하게 분석을 해서 내놓는 기자나 연구원들도 반성하는 차원에서 읽어보면 좋겠다. 데이터에 속지 말아야 하는 건 우리기 때문에 우리도 반드시 읽으면 좋겠다.