제18대 대통령 선거를 앞두고 각 후보 진영 못지않게 바쁜 곳이 있다. 바로 여론조사기관이다. 각 언론사마다 또는 여론조사기관이 자체적으로 일반인을 대상으로 지지도를 조사해 하루가 멀다하고 조사결과를 발표하고 있다.
직접 조사를 하기도 하고 전화 또는 인터넷을 이용하는 등 조사방법은 다양하다. 하지만 조사방법이 다르고 발표기관이 달라도 항상 등장하는 문구가 있다. 바로 '신뢰도'와 '표본오차'다. 지지도에서도 접전을 벌이는 지역은 '±'로 표시되는 표본오차 범위 내에서 누가 앞선다는 식의 기사가 나오기도 한다.
신뢰도와 표본오차는 대선 등의 지지도 설문조사뿐 아니라 상품에 대한 호감도나 사회 변화 등에 대한 설문조사에서도 항상 등장한다. 신뢰도와 표본오차는 무엇이며, 어떻게 해석해야 하는 것일까.
온라인 리서치 전문사이트 '틸리언'을 운영하는 SK마케팅앤컴퍼니의 이영진 PM은 "설문조사는 기본적으로 통계를 바탕으로 한다"며 "모든 사람을 대신해 일부를 표본으로 뽑아 실시하기 때문에 어쩔 수 없이 나오는 오차범위가 있는데 이것이 표본오차"라고 설명했다.
설문조사는 그 방식과 하는 이유에 따라 모집단 인원이 달라지기는 하지만, 일반적으로 1000명을 기준으로 한다. 이럴 경우 이 설문조사의 신뢰수준은 95%, 표본오차는 ±3.1%포인트 정도가 된다.
이 표본오차는 전체 모수에서 뽑힌 사람의 크기에 따라 오차범위가 달라진다. 설문에 응한 사람이 많으면 많을수록 오차범위는 줄어든다. 설문조사 표본인원이 500명으로 줄어들면 표본오차는 ±4.4%포인트 정도가 된다.
표본인원을 어떻게 정하느냐에 따라서도 표본오차가 달라질 수 있다. 연령, 지역 등에 대한 안배를 하면 표본오차가 줄어들고 아무런 조건 없이 무작위로 하는 조사는 표본오차가 더 커진다. 이 PM은 "모집단을 맞추지 않은 조사는 틀릴 가능성이 높기 때문에 표본오차가 커질 수밖에 없다"고 설명했다.
신뢰도와 표본오차는 복잡한 계산식을 거쳐 나온다. 이 계산식에는 ▲샘플링 표본을 선정하는 데서 오는 오차 ▲샘플링 사이즈에서 오는 오차 ▲샘플링 에러값 등이 포함된다. 따라서 이를 사람의 힘으로 직접 계산하기는 어렵다.
표본오차를 줄이기 위해 샘플링의 안배를 맞추는 것이 중요하다. 과거에는 이를 맞추기 위해 샘플링 표본보다 더 많은 설문조사를 하곤 했다.
추가로 조사할 경우 제외시키는 기준은 일반적으로 선착순이다. 선거 설문조사일 경우에는 모집단이랑 가장 비슷한 수준에서 조정을 하게 된다. 성별, 연령, 거주지는 물론 부모, 고향 등 눈에 보이지 않는 것까지 감안하게 된다. 이러한 기준은 여론조사기관 고유의 노하우이기 때문에 기관마다 차이가 발생할 수도 있다.
하지만 최근에는 시스템의 발달과 인터넷을 통한 설문조사가 늘어나면서 샘플링 조건별로 인원이 차면 자동으로 설문조사가 마감되는 구조로 바뀌고 있다.
☞ 본 기사는 <머니위크>(www.moneyweek.co.kr) 제258호에 실린 기사입니다.