Alasan ilmiah di balik bervariasinya hasil survei

Biarpun hasilnya kerap tak seragam, menurut pakar psikometeri riset dan statistik Yahya Umar, bukan berarti lembaga survei tidak kredibel. Pasalnya, hasil survei sangat tergantung pada metodologi dan tolok ukur yang digunakan dalam menafsirkan data yang dikumpulkan dari responden. 

"Misalnya ketika survei yang ditanya itu pendapat orang kemudian perasaan orang dan persepsi orang, alat ukurnya rumit. Harus ngajak ahli psikologi itu. Membuat kuesionernya pun berbeda, begitu juga cara nanyanya," ujar Yahya dalam sebuah diskusi di kawasan Cikini, Jakarta Pusat, Selasa (26/3). 

Menurut Yahya, perbedaan pada pilihan kata dan orang yang mewawancara juga bisa sangat memengaruhi hasil survei. Meskipun, pertanyaan-pertanyaan yang diajukan saat mewawancarai para responden relatif tak jauh berbeda. 

"Meskipun orang itu sudah dilatih bagaimana cara nanya dan memilih kata-kata, ada yang sensitif dengan istilah tertentu, ada pula yang tidak. Nah, itu mempengaruhi hasil survei," katanya.

Hal senada juga diutarakan CEO Alvara Research Center Hasanuddin Ali. Menurut dia, setidaknya ada tiga faktor yang dapat membuat hasil survei berbeda satu dengan lainnya. Pertama, perbedaan momentum waktu pelaksanaan survei. 

"Karena jika momentumnya berbeda kemungkinan besar pun hasilnya akan berbeda. Misalnya survei itu punya tren, survei bulan Januari pasti berbeda dengan hasil bulan Maret," katanya.

Kedua, metode pengumpulan sampel yang digunakan. "Dari sisi metodelogi kalau samplingnya atau cara pengacakan samplingnya beda, pasti hasilnya berbeda," katanya. 

Terakhir, variabel pertanyaan yang diberikan kepada responden. "Untuk pertanyaannya, jika pertanyaan yang diajukan beda maka hasilnya berbeda. Nah, itu menjadi sumber kenapa hasil survei berbeda," katanya. 

Sebelumnya, hasil suvei yang dirilis Litbang Kompas terkait elektabilitas pasangan capres-cawapres menimbulkan polemik panjang. Di papan survei Litbang Kompas, elektabilitas Jokowi-Ma'ruf sebesar 49,2% sedangkan Prabowo-Sandi 37,4%. Selisih elektabilitas keduanya hanya 11,8%. 

Menurut Hasanuddin, jika masih dalam rentang margin of error, hasil survei tidak perlu dihebohkan. Ia pun berbagi trik menguji kredibilitas hasil survei. Salah satu cara yang bisa dilakukan ialah 
dengan melihat profil demografi responden yang dijadikan data sampel.

"Apakah komposisi gender, usia, ekonomi status sesuai dengan komposisi populasi penduduk di Indonesia. Agama, tingkat pendidikan dan lain-lain," katanya.  

Menurut dia, ketika data komposisi demografi tersebut tidak sesuai dengan realitas mayoritas penduduk di Indonesia, maka hasil survei akan lebih banyak meleset. "Ketika komposisi demografi bergeser sedikit saja dari populasi maka hasilnya pasti akan berbeda," ujarnya.

Pembelaan Litbang Kompas

Peneliti Litbang Kompas Toro Suryaningtyas membela hasil survei lembaganya. "Angka kami masih di batas margin of error lembaga survei yang lain. Contoh survei Charta Politika dengan margin of error lebih kurang 2,19%," katanya. 

Survei Charta Politika yang dirilis beberapa hari lalu menghasilkan data tingkat elektabilitas Jokowi-Ma'ruf sebesar 53,6% sedangkan Prabowo-Sandi sebesar 35,4%. Jika dikurangi besaran margin of error, maka tingkat elektabilitas Jokowi-Ma'ruf menjadi 51,41%.

Sedangkan margin of error Litbang Kompas sebesar 2,2%. Jika margin of error survei Litbang Kompas ditambahkan ke elektabilitas Jokowi-Ma'ruf, maka pasangan petahana mendapatkan elektabilitas sebesar 51,4%.

"Jadi kalau dibandingkan dengan yang lain kami sebetulnya tak jauh berbeda. Tetapi, karena pasangan 01 itu menjadi dibawah 50% itu kemudian yang ramai menjadi perbincangan," jelas Toro.

Toro menegaskan survei Litbang Kompas terbaru sangat akurat. Pasalnya, jumlah total responden yang diwawancara jauh lebih banyak dari lembaga survei lainnya.

"Ini jumlahnya 2.000 yang lalu 1.200. Jadi selisihnya 800. Dari komposisi ini saja, kami merasa survai kami yang terbaru lebih akurat jika dibandingkan yang sebelumnya," katanya.