[데이터로 즐기는 20대 총선](5) 여론조사의 불편한 진실

[데이터로 즐기는 20대 총선](5) 여론조사의 불편한 진실

“ARS, 하루짜리, 응답률 10% 미만, 가중치가 큰 조사는 믿지 마라”

세계일보 2016-04-08 15:49:33

지난달 28일. 중앙선거여론조사 공정심의위원회의 홈페이지(www.nesdc.go.kr)에 20대 국회의원 총선과 관련한 같은 지역구 여론조사 3개가 잇따라 등록...

전문가들은 여론조사의 조사방법과 과다한 가중치 적용, 조사기간, 응답률 등에서 개선이 시급하다고 입을 모으고 있다. 이런 요소가 여론조사의 정확도를 좌우하기 때문이다.

연구 결과 △전화면접조사가 아닌 ARS조사 △하루 만에 완료된 조사 △응답률 10% 미만의 조사 △가중치 폭이 큰 조사는 그 정확도가 현저히 떨어지는 것으로 확인됐다.

숙명여자대 대학원 황다솜씨는 2015년 석사학위논문 <2014년 지방선거 전화여론조사 예측오차 분석>에서 2014년 5월17일부터 28일까지 동시지방선거 광역단체장의 전화여론조사 중 응답률 1% 미만과 전화조사 이외의 방법을 택한 조사를 제거한 150개의 여론조사를 대상으로 분석한 결과 이 같은 나타났다고 주장했다.

논문에 따르면 ARS방법으로 이뤄진 여론조사는 편향(오차) 비율이 무려 0.6364로 나타나 전화면접방식으로 이뤄진 조사(0.3846)보다 거의 2배 가까이 높은 것으로 조사됐다. 그만큼 오차가 크고 정확성이 떨어진다는 얘기다.

특히 △유선 ARS △유무선 ARS △유선 전화면접 △유무선 전화면접 가운데 유무선 전화면접이 가장 안정적이고 정확한 조사결과가 산출된다고 황씨는 주장했다. 

조사기간에 따른 편향도 상당했다. 하루 동안 조사한 여론조사의 경우 편향 비율이 0.5484로, 이틀 이상 조사한 경우(0.4118)보다 훨씬 높아 상대적으로 부정확하다는 지적이다. 특히 조사 기간이 하루에 그친 경우 당시 여론 조사에서 우위일 것으로 추정된 후보의 지지율 편향이 나타났다.

응답률과 가중치 부여도 여론조사의 품질을 좌우하는 요소로 꼽혔다. 응답률이 낮을수록, 가중치 비가 커질수록 편향 비율도 증가하는 것으로 나타났다.

황씨는 이에 따라 논문에서 “ARS조사보다는 전화면접조사, 하루보다는 이틀 이상의 기간 동안 수행한 조사, 응답률 10% 이상 조사, 가중치 폭이 작아질 수 있도록 할당된 범주별 표본 크기를 꼼꼼히 채우는 조사를 통해 더 정확한 조사결과를 얻을 수 있다”고 지적했다.   한편 허순영·장덕준의 연구(2014. 10)에 따르면 2012년 대통령선거 전화 여론조사의 평균 설문 문항수는 16개였고, 질문의 총 음절수는 1300개였다. 이를 다시 ARS 방식으로 환산할 경우 질문 음절수는 1114개로, 이에 따른 조사시간은 223초 정도가 소요됐던 것으로 추정됐다. 이에 따른 응답자 1인당 기회비용은 780원 수준이었다.