ARS 방식 여론조사의 문제점

최근 ARS(자동응답시스템) 여론조사의 신뢰도에 대한 논란이 커지면서, **한국조사협회(KORA)**는 ARS 방식의 여론조사를 금지해야 한다는 내용의 보도자료를 발표했습니다.(지난 11월 27일)
 

ARS조사가 가지는 주된 문제점은  ARS 조사의 응답률이 지나치게 낮아 조사 결과가 모집단을 제대로 대표하기 어렵다는 점입니다. 

최근에 발표된 여론조사의 조사 개요입니다. 

응답률이 3.5%입니다. 

응답률이 너무 낮을 뿐 아니라, 응답률 산출 방식에도 문제가 있어 보입니다. 

응답률은 ‘접촉 후 응답 완료 사례수’를 ‘접촉 후 거절 및 중도 이탈 사례수 + 응답 완료 사례수’로 나눈 비율로 계산됩니다.
그러나 ‘접촉 실패 사례수’(통화 중, 부재중, 접촉 안 됨)를 고려하지 않습니다.

• 현대의 스마트폰 환경에서는 모르는 번호는 스팸으로 간주하고 아예 전화를 받지 않는 경우가 많습니다.
•  
• 이 수치를 거절로 간주하면 응답률은 더 극단적으로 낮아집니다.
•  

응답률은 실제로는 더욱 낮게 추정될 수 있으며, 조사 결과의 신뢰도는 더욱 낮을 가능성이 있습니다. 

그렇다면, 이렇게 낮은 응답률은 어떤 문제가 있을까요? 

응답률이 낮을 때 발생하는 문제점

문제 1: 모집단 대표성 상실

• 응답률이 매우 낮으면 조사에 응답한 사람들과 응답하지 않은 사람들 간의 특성이 다를 가능성이 높습니다.
•  
• 예를 들어, ARS 조사에서 전화조사를 귀찮아하지 않고 끝까지 참여하는 5%의 사람들이 모집단 전체를 대표할 수 있는가? 하는 의문을 제기할 수 있습니다.

약간의 과장을 덧붙이면, 전화를 걸어온 상대 번호가 아는 번호인지 모르는 번호인지 확인가능한 현대 사회에서는 ARS 조사가 사실상 다음과 같은 모집단을 조사하는 셈입니다.

• “전화가 오면 모르는 번호라도 무조건 받는 사람” 혹은 “심심해서 아무 전화나 받는 사람” 
•  
• 이로인해, “이 여론조사는 정말 일반 대중을 대표하는가? 아니면 무슨 이유에선지 모르겠지만 끝까지 전화받는 사람들의 의견인가?" 라는 문제를 발생시킵니다. 

문제 2: 비응답 편향(Nonresponse Bias) 증가

• 비응답 편향이란, 조사 대상자 중 일부가 응답을 거부하거나 조사에 참여하지 않음으로써 발생하는 편향입니다.
•  
• 응답하지 않은 사람들의 특성이 응답한 사람들과 다를 경우, 조사 결과가 모집단 전체를 제대로 반영하지 못하게 됩니다.
•  
• 이로 인해 **체계적 오차(Systematic Error)**가 발생할 위험이 커집니다.

왜 비응답 편향이 발생하는가?

비응답 편향은 다음과 같은 이유로 발생합니다:

조사 대상자의 관심 부족

• 조사 주제에 관심이 없는 사람들이 응답을 거부하거나 회피할 가능성이 높습니다.
• 예: 기후변화에 관심이 없는 사람들은 기후 관련 설문조사를 무시할 수 있음.
•  

개인적 사유로 응답 회피

• 응답자들이 민감한 주제(예: 정치 성향, 소득 수준)에 대해 응답을 꺼리거나 부담을 느껴 회피합니다.
• 예: 세금 관련 설문조사에서 고소득층이 응답을 기피할 수 있음.

시간적·물리적 제약

• 바쁜 사람들은 여론조사나 설문조사에 응답할 시간이 부족할 수 있습니다.
• 예: 직장인은 전화 여론조사에 응답할 시간이 부족할 수 있음.

조사 방식의 문제

• 조사 방법(전화, 이메일, ARS 등)에 따라 특정 집단이 응답하기 더 어렵거나 귀찮아할 수 있습니다.
• 예: 고령층은 이메일 설문조사에 응답하기 어려울 수 있으며, 젊은 층은 ARS 전화를 받지 않을 가능성이 높습니다.

왜 ARS 여론조사를 여전히 사용하나?

ARS 여론조사가 계속 사용되는 이유는 비용이 매우 저렴하기 때문입니다.

전화면접조사는 전문 전화 조사원이 응답자와 직접 통화하는 방식으로, 응답률이 높고, 조사 결과의 신뢰도도 상대적으로 높습니다. 하지만 인건비와 공간비용이 많이 들어갑니다.

반면, ARS 조사는 자동화 시스템을 통해 매우 저렴하게 조사할 수 있지만, 응답률이 낮고 모집단을 제대로 대표하지 못해 신뢰도가 떨어질 가능성이 매우 높습니다. ARS 조사는 신뢰도보다 비용 절감이 우선시된 결과입니다.

여론조사 결과를 해석하실 때에는 위의 내용을 참고하셔서 비판적 사고를 가지고 살펴보시기를 바랍니다. 

위의 내용은 글쓴이의 과거의 지식을 기반으로 하여 쓴 글이며, 최신의 이론을 담고 있지는 않음. 이로인해 오류가 있을 수도 있으나 책임지지 않음.