Kalkulator ukuran sampel dan margin of error

Kalkulator ini menyelesaikan masalah klasik memperkirakan proporsi: berapa bagian populasi yang memiliki suatu ciri — puas dengan produk, memakai fitur, bersedia membayar. Untuk sampel acak sederhana dari populasi besar, ukurannya mengikuti rumus W. G. Cochran dalam “Sampling Techniques”:

Contoh: 95%, ±5 poin persen, p = 0,5. n₀ = 1,96² · 0,25 / 0,0025 = 384,2 — dibulatkan ke atas menjadi 385. Inilah “385 responden” yang terkenal di berbagai panduan: hanya berlaku untuk populasi besar dan pemilihan acak.

Koreksi populasi terbatas

Bila populasinya kecil — karyawan perusahaan, pelanggan satu paket, peserta webinar — setiap responden cukup banyak mengurangi ketidakpastian tentang yang tidak disurvei. Koreksi populasi terbatas memperhitungkan hal ini:

Untuk N = 1.000, 385 menjadi 278; untuk N = 10.000 menjadi 370; untuk N = 100.000 menjadi 383. Koreksi ini penting bila sampel melebihi 5% populasi; untuk audiens ratusan ribu orang hampir tidak mengubah apa-apa.

Margin of error survei yang sudah selesai

Masalah kebalikannya ada di tab “Margin of error”. Untuk proporsi teramati p̂ pada sampel n respons:

Faktor kedua adalah koreksi populasi terbatas yang sama; tanpa N nilainya satu. Interval normal ini buruk untuk n kecil dan proporsi mendekati 0 atau 100%: bisa melewati batas dan lebih jarang mencakup proporsi sebenarnya daripada yang dijanjikan. Karena itu kalkulator juga menampilkan interval Wilson, yang direkomendasikan Brown, Cai, dan DasGupta sebagai pengganti interval Wald:

Hasil kali p · (1 − p) mencapai puncak pada p = 0,5, yaitu 0,25. Pada p = 0,2 nilainya 0,16; pada p = 0,1, 0,09. Jadi bila Anda tahu sejak awal bahwa suatu ciri jarang, sampel yang dibutuhkan lebih kecil: pada p = 20%, kepercayaan 95%, dan ±5 poin persen, cukup 246 orang, bukan 385.

Namun kuesioner hampir selalu punya lebih dari satu pertanyaan dengan proporsi berbeda. Sampel yang dihitung untuk p = 0,2 memberi margin sekitar ±6,2 poin persen pada pertanyaan “50/50”. Karena itu survei direncanakan dengan p = 50%: margin yang dinyatakan terjamin untuk setiap pertanyaan dua pilihan. Gunakan proporsi lebih kecil hanya bila survei berpusat pada satu metrik yang tingkatnya sudah diketahui dari pengukuran sebelumnya.

Ingat juga subkelompok. Jika ingin membandingkan pengguna baru dan lama, Anda butuh ±5 poin persen di setiap subkelompok — 385 respons di masing-masing, bukan totalnya.

Ukuran sampel hanya mengendalikan galat acak. Representativitas adalah hal lain: sampel mirip populasi bila setiap anggota punya peluang yang diketahui dan lebih dari nol untuk disurvei. Rumus di atas mengasumsikan pemilihan acak sederhana, dan berapa pun jumlah respons tidak akan memperbaiki bias sistematis.

Seleksi diri pada survei di dalam produk

Survei di pop-up atau email dijawab oleh mereka yang mau. Pengguna aktif dan orang dengan perasaan kuat, ke arah mana pun, lebih sering menjawab. Mereka yang sudah meninggalkan produk tidak pernah melihat undangannya. Sampel seperti itu tidak acak, dan margin ±3 poin persen hanya formalitas: galat sebenarnya bisa jauh lebih besar dan tidak bisa diperkirakan dari respons itu sendiri. American Association for Public Opinion Research (AAPOR) secara khusus memperingatkan bahwa margin of error klasik kehilangan maknanya pada sampel online non-probabilitas.

Yang membantu dalam praktik:

• Acak siapa yang melihat undangan. Misalnya, satu dari setiap sepuluh pengguna yang mencapai langkah tertentu, bukan semuanya.
• Bertanya di momen yang tepat. Menanyakan nilai produk saat pertama login tidak berguna: orangnya belum melakukan apa-apa. Lebih baik setelah menyelesaikan langkah utama onboarding.
• Bandingkan yang menjawab dengan yang tidak berdasarkan data analitik: paket, umur akun, aktivitas. Bila kelompoknya sangat berbeda, beri bobot pada hasil atau setidaknya cantumkan catatannya.
• Pantau tingkat respons. Tingkat respons = respons / undangan. Makin rendah, makin besar risiko yang menjawab berbeda dari yang lain. Patokannya bergantung pada kanal dan audiens, jadi bandingkan dengan survei Anda sebelumnya.

Berapa undangan yang perlu dikirim

Jika Anda butuh 385 respons dan biasanya satu dari lima orang menjawab, tampilkan undangan ke 385 / 0,2 = 1.925 pengguna. Kalkulator menghitungnya otomatis. Jika undangan yang dibutuhkan melebihi jumlah orang di populasi, ubah metodenya, bukan sampelnya: persingkat survei, tambahkan pengingat, pilih momen lain.

• Mencampuradukkan persen dan poin persen. Margin ±5% pada kalkulator sampel berarti poin persen: proporsi 30% berarti “25 sampai 35%”, bukan “28,5 sampai 31,5%”.
• Menghitung untuk semua, tetapi menyimpulkan per segmen. Membandingkan kelompok butuh sampel memadai di tiap kelompok; menguji selisihnya adalah perhitungan lain, seperti uji A/B.
• Mempercayai margin padahal ada seleksi diri. Rumus hanya mencakup galat acak. Bias dari siapa yang menjawab tidak termasuk.
• Membulatkan ke bawah. Ukuran sampel selalu dibulatkan ke atas: 384,2 menjadi 385.
• Melupakan tingkat respons dan jawaban asal. Sebagian respons akan tidak lengkap atau asal-asalan. Tambahkan cadangan pada undangan.
• Menyamakan kepercayaan dengan ketelitian. 99% tidak membuat hasil lebih tepat — intervalnya melebar, dan sampel untuk margin yang sama naik sekitar 1,7 kali.

Jika survei dimaksudkan untuk membandingkan dua versi onboarding, hitung ukuran sampel untuk uji hipotesis, bukan margin — di kalkulator uji A/B.

1. Cochran W. G. Sampling Techniques. 3rd ed. Wiley, 1977 — ukuran sampel untuk proporsi dan koreksi populasi terbatas (bab 4).
2. Wilson E. B. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association, 22(158), 1927 — interval Wilson.
3. Brown L. D., Cai T. T., DasGupta A. Interval Estimation for a Binomial Proportion. Statistical Science, 16(2), 2001 — perbandingan interval untuk proporsi.
4. Groves R. M. et al. Survey Methodology. 2nd ed. Wiley, 2009 — galat cakupan, nonrespons, seleksi diri.
5. AAPOR. Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys — definisi tingkat respons; AAPOR Report on Online Panels, 2010 — tentang margin of error sampel non-probabilitas.