PAI · AAMAI · 2026
⌕
Aktuaria
Indonesia
CF2 · Materi 4.6

Sifat-Sifat Estimator

2026-02-21 Hard Bobot: 20–30% Miller et al. (2014) Bab 10.1–10.4; Hogg-McKean-Craig (2019) Bab 6.1–6.3, 7.1–7.3; Hogg-Tanis-Zimm (2015) Bab 5.5–5.6
CF2InferensiStatistikaEstimatorTakBiasEfisiensiKonsistensiKecukupanCramerRaoUMVUEInformasiFisher

📊 4.6 — Sifat-Sifat Estimator

≡Ringkasan Cepat›

Topik: Sifat-Sifat Estimator | Bobot: ~20–30% | Difficulty: Hard Ref: Miller et al. (2014) Bab 10.1–10.4; Hogg-McKean-Craig (2019) Bab 6.1–6.3, 7.1–7.3 | Prereq: 4.5 Estimasi Parameter, 4.2 Distribusi Sampel, 2.1 Variabel Acak Diskrit, 2.2 Variabel Acak Kontinu

Section 0 — Pemetaan Topik

Topik CF2Sub-topik IDSkill DiujiBobotDifficultyPrerequisiteConnected TopicsReferensi
Topik 4: Inferensi Statistik4.6Menentukan bias dan MSE estimator; membuktikan/menyangkal tak-bias; menghitung Informasi Fisher dan batas Cramér-Rao; membandingkan efisiensi dua estimator; menentukan konsistensi estimator; mengidentifikasi statistik cukup via faktorisasi20–30%Hard4.5 Estimasi Parameter, 4.2 Distribusi Sampel, 4.1 Penarikan Sampel Acak4.7 Selang Kepercayaan, 4.8 Uji Hipotesis, 2.3 Fungsi PembangkitMiller et al. (2014) Bab 10.1–10.4; Hogg-McKean-Craig (2019) Bab 6.1–6.3, 7.1–7.3; Hogg-Tanis-Zimm (2015) Bab 5.5–5.6

Section 1 — Intuisi

Bayangkan dua aktuaris yang masing-masing menciptakan rumus berbeda untuk mengestimasi rata-rata klaim dari sampel nasabah. Kedua rumus menggunakan data yang sama, tetapi memberikan angka yang berbeda. Pertanyaannya: estimator mana yang lebih baik? Inilah inti dari topik ini — kita tidak hanya ingin estimator yang “menghasilkan angka”, tetapi estimator yang memiliki sifat-sifat yang baik secara statistik.

Sifat pertama yang diperiksa adalah tak-bias (unbiasedness): apakah estimator “tepat sasaran” secara rata-rata? Jika kita ulangi proses sampling dan estimasi ribuan kali, apakah rata-rata semua estimasi mendekati nilai parameter yang sesungguhnya? Bayangkan pemanah: estimator tak-bias adalah pemanah yang rata-rata mengenai titik tengah sasaran, meski setiap panah mungkin meleset sedikit. Estimator yang bias selalu condong ke satu arah — seperti pemanah yang selalu terlalu ke kiri. Sifat kedua, efisiensi, menjawab: di antara semua estimator tak-bias, mana yang paling presisi (varians terkecil)? Kita ingin panah yang tidak hanya rata-rata di tengah, tetapi juga berkelompok serapat mungkin. Batas Cramér-Rao memberikan batas bawah teoritis untuk variansi estimator tak-bias — ini adalah tolok ukur untuk menentukan apakah suatu estimator sudah “seoptimal mungkin”.

Sifat konsistensi memiliki nuansa berbeda: ia adalah sifat asimtotik — apakah estimator konvergen ke nilai parameter yang benar ketika ukuran sampel n→∞n \to \infty? Ini sangat relevan untuk aktuaria yang bekerja dengan big data, di mana jumlah observasi bisa sangat besar. Sifat terakhir, kecukupan (sufficiency), menjawab pertanyaan tentang informasi: apakah suatu statistik merangkum semua informasi yang ada di dalam data tentang parameter yang dicari? Statistik cukup adalah ringkasan data yang tidak membuang satu pun informasi relevan tentang θ\theta.

Section 2 — Definisi Formal

ℹDefinisi Matematis›

Misalkan θ^=θ^(X1,…,Xn)\hat{\theta} = \hat{\theta}(X_1, \ldots, X_n) adalah estimator dari parameter θ\theta.

Bias:

b(θ^)=E[θ^]−θb(\hat{\theta}) = E[\hat{\theta}] - \theta

Estimator Tak-Bias: θ^\hat{\theta} dikatakan tak-bias (unbiased) jika:

E[θ^]=θuntuk semua θ∈ΘE[\hat{\theta}] = \theta \quad \text{untuk semua } \theta \in \Theta

Mean Squared Error (MSE):

MSE(θ^)=E ⁣[(θ^−θ)2]=Var(θ^)+[b(θ^)]2\text{MSE}(\hat{\theta}) = E\!\left[(\hat{\theta} - \theta)^2\right] = \text{Var}(\hat{\theta}) + \left[b(\hat{\theta})\right]^2

Informasi Fisher:

I(θ)=E ⁣[(∂ln⁡f(X;θ)∂θ)2]=−E ⁣[∂2ln⁡f(X;θ)∂θ2]I(\theta) = E\!\left[\left(\frac{\partial \ln f(X;\theta)}{\partial \theta}\right)^2\right] = -E\!\left[\frac{\partial^2 \ln f(X;\theta)}{\partial \theta^2}\right]

Batas Cramér-Rao: Untuk estimator tak-bias θ^\hat{\theta} dari sampel berukuran nn:

Var(θ^)≥1n I(θ)\text{Var}(\hat{\theta}) \geq \frac{1}{n\,I(\theta)}

Statistik Cukup: T=T(X1,…,Xn)T = T(X_1, \ldots, X_n) adalah statistik cukup (sufficient statistic) untuk θ\theta jika distribusi bersyarat (X1,…,Xn)∣T=t(X_1, \ldots, X_n) \mid T = t tidak bergantung pada θ\theta.

Variabel & Parameter

SimbolMaknaCatatan
θ^\hat{\theta}Estimator dari θ\theta — variabel acak (fungsi dari sampel)Bukan konstanta; nilainya bervariasi antarsampling
θ\thetaNilai parameter populasi yang sesungguhnya (tetap, tidak diketahui)Bukan variabel acak dalam inferensi frekuentis
b(θ^)b(\hat{\theta})Bias estimator: E[θ^]−θE[\hat{\theta}] - \thetaNol untuk estimator tak-bias
MSE(θ^)\text{MSE}(\hat{\theta})Mean squared error: gabungan bias dan variansi=Var(θ^)+[b(θ^)]2= \text{Var}(\hat{\theta}) + [b(\hat{\theta})]^2
I(θ)I(\theta)Informasi Fisher per observasiMengukur informasi yang dibawa satu observasi tentang θ\theta
In(θ)I_n(\theta)Informasi Fisher total dari sampel berukuran nnIn(θ)=n I(θ)I_n(\theta) = n\,I(\theta) untuk sampel iid
CR(θ)\text{CR}(\theta)Batas Cramér-Rao: 1/[n I(θ)]1/[n\,I(\theta)]Batas bawah variansi estimator tak-bias
e(θ^1,θ^2)e(\hat{\theta}_1, \hat{\theta}_2)Efisiensi relatif estimator θ^1\hat{\theta}_1 terhadap θ^2\hat{\theta}_2=Var(θ^2)/Var(θ^1)= \text{Var}(\hat{\theta}_2)/\text{Var}(\hat{\theta}_1)
T(X1,…,Xn)T(X_1,\ldots,X_n)Statistik (fungsi dari sampel)Statistik cukup jika merangkum semua info tentang θ\theta
ℓ(θ;x)\ell(\theta; x)Log-likelihood: ln⁡f(x;θ)\ln f(x;\theta)Digunakan dalam definisi Informasi Fisher
S(θ;x)S(\theta; x)Score function: ∂ℓ/∂θ\partial \ell / \partial \thetaE[S(θ;X)]=0E[S(\theta;X)] = 0 selalu untuk distribusi reguler
UMVUEUniformly Minimum Variance Unbiased EstimatorEstimator tak-bias dengan variansi terkecil seragam di semua θ\theta

Rumus Utama

MSE(θ^)=Var(θ^)+[b(θ^)]2\text{MSE}(\hat{\theta}) = \text{Var}(\hat{\theta}) + \left[b(\hat{\theta})\right]^2

Label: Dekomposisi Bias-Variansi MSE — MSE adalah jumlah variansi (penyebaran estimator di sekitar mean-nya) dan kuadrat bias (seberapa jauh mean estimator dari nilai benar θ\theta). Kedua komponen harus dievaluasi bersama saat membandingkan estimator.

I(θ)=−E ⁣[∂2ln⁡f(X;θ)∂θ2]I(\theta) = -E\!\left[\frac{\partial^2 \ln f(X;\theta)}{\partial \theta^2}\right]

Label: Informasi Fisher via Turunan Kedua — formula alternatif yang sering lebih mudah dihitung; berlaku di bawah kondisi regularitas (support tidak bergantung θ\theta, pertukaran diferensiasi dan integral valid).

Var(θ^)≥1n I(θ)\text{Var}(\hat{\theta}) \geq \frac{1}{n\,I(\theta)}

Label: Ketidaksamaan Cramér-Rao — batas bawah untuk variansi setiap estimator tak-bias; estimator yang mencapai batas ini disebut efisien (efficient).

e(θ^1,θ^2)=Var(θ^2)Var(θ^1)e(\hat{\theta}_1, \hat{\theta}_2) = \frac{\text{Var}(\hat{\theta}_2)}{\text{Var}(\hat{\theta}_1)}

Label: Efisiensi Relatif — jika e>1e > 1 maka θ^1\hat{\theta}_1 lebih efisien dari θ^2\hat{\theta}_2 (variansinya lebih kecil); jika e=1e = 1 keduanya sama efisien.

L(θ;x)=g(T(x),θ)⋅h(x)L(\theta; \mathbf{x}) = g(T(\mathbf{x}), \theta) \cdot h(\mathbf{x})

Label: Teorema Faktorisasi Neyman — T(x)T(\mathbf{x}) adalah statistik cukup untuk θ\theta jika dan hanya jika likelihood dapat difaktorkan menjadi produk fungsi yang bergantung pada data hanya melalui TT dan fungsi yang tidak bergantung pada θ\theta. Ini adalah alat utama untuk mengidentifikasi statistik cukup di CF2.

θ^n→Pθketika n→∞\hat{\theta}_n \xrightarrow{P} \theta \quad \text{ketika } n \to \infty

Label: Konsistensi (Konvergensi dalam Probabilitas) — estimator θ^n\hat{\theta}_n konsisten jika untuk setiap ε>0\varepsilon > 0: lim⁡n→∞P(∣θ^n−θ∣>ε)=0\lim_{n\to\infty} P(|\hat{\theta}_n - \theta| > \varepsilon) = 0.

Asumsi Eksplisit

  • Kondisi regularitas (untuk Cramér-Rao): Support f(x;θ)f(x;\theta) tidak bergantung pada θ\theta; ∂∂θ∫f(x;θ) dx=∫∂∂θf(x;θ) dx\frac{\partial}{\partial\theta}\int f(x;\theta)\,dx = \int \frac{\partial}{\partial\theta} f(x;\theta)\,dx valid (pertukaran diferensiasi-integral diijinkan).
  • iid: Observasi X1,…,XnX_1, \ldots, X_n iid dari f(x;θ)f(x;\theta), sehingga In(θ)=n I(θ)I_n(\theta) = n\,I(\theta).
  • Tak-bias: Batas Cramér-Rao hanya berlaku untuk estimator tak-bias. Untuk estimator bias, ada versi yang dimodifikasi.
  • Existensi momen: Untuk membuktikan konsistensi via Chebyshev, diperlukan E[θ^]E[\hat{\theta}] dan Var(θ^)\text{Var}(\hat{\theta}) terdefinisi dan Var(θ^)→0\text{Var}(\hat{\theta}) \to 0.

Section 3 — Jembatan Logika

◈Dari Definisi ke Rumus›

Mengapa MSE = Var + Bias²? Mulai dari definisi MSE=E[(θ^−θ)2]\text{MSE} = E[(\hat{\theta}-\theta)^2]. Tambahkan dan kurangkan E[θ^]E[\hat{\theta}]:

θ^−θ=(θ^−E[θ^])+(E[θ^]−θ)\hat{\theta} - \theta = (\hat{\theta} - E[\hat{\theta}]) + (E[\hat{\theta}] - \theta)

Kuadratkan dan ambil ekspektasi; suku silang menghilang karena E[\hat{\theta} - E[\hat{\theta}}] = 0, menyisakan:

MSE=E ⁣[(θ^−E[θ^])2]+(E[θ^]−θ)2=Var(θ^)+[b(θ^)]2\text{MSE} = E\!\left[(\hat{\theta} - E[\hat{\theta}])^2\right] + (E[\hat{\theta}] - \theta)^2 = \text{Var}(\hat{\theta}) + [b(\hat{\theta})]^2

Intuisi: MSE mengukur total error — ada dua penyebab error, yaitu ketidakpresisian (variansi) dan ketidaktepatan arah (bias). Trade-off keduanya penting: estimator dengan sedikit bias bisa memiliki MSE lebih kecil dari estimator tak-bias yang bervarians besar.

Mengapa Informasi Fisher mengukur “informasi”? Score function S(θ;x)=∂ln⁡f(x;θ)∂θS(\theta;x) = \frac{\partial \ln f(x;\theta)}{\partial\theta} mengukur seberapa cepat log-likelihood berubah ketika θ\theta berubah. Jika SS bervarians besar (log-likelihood sangat sensitif terhadap θ\theta), data sangat “informatif” tentang θ\theta — kita bisa membedakan nilai θ\theta yang berbeda dengan baik. Informasi Fisher I(θ)=Var(S(θ;X))=E[S2]I(\theta) = \text{Var}(S(\theta;X)) = E[S^2] adalah variansi score, yaitu ukuran formal dari sensitivitas ini.

Mengapa batas Cramér-Rao berlaku? Dari ketidaksamaan Cauchy-Schwarz diterapkan pada Cov(θ^,S(θ;X))\text{Cov}(\hat{\theta}, S(\theta;X)):

[Cov(θ^,S)]2≤Var(θ^)⋅Var(S)=Var(θ^)⋅I(θ)[\text{Cov}(\hat{\theta}, S)]^2 \leq \text{Var}(\hat{\theta}) \cdot \text{Var}(S) = \text{Var}(\hat{\theta}) \cdot I(\theta)

Untuk estimator tak-bias, Cov(θ^,S)=1\text{Cov}(\hat{\theta}, S) = 1 (dapat ditunjukkan dari kondisi regularitas), sehingga 1≤Var(θ^)⋅I(θ)1 \leq \text{Var}(\hat{\theta}) \cdot I(\theta), menghasilkan Var(θ^)≥1/I(θ)\text{Var}(\hat{\theta}) \geq 1/I(\theta).

◈Support dan Domain›
  • Kondisi regularitas adalah prasyarat mutlak untuk menggunakan Informasi Fisher dan batas Cramér-Rao. Distribusi U(0,θ)U(0,\theta) melanggar kondisi ini — batas Cramér-Rao tidak berlaku, dan MLE (X(n)X_{(n)}) memiliki variansi yang lebih kecil dari batas Cramér-Rao.
  • Statistik cukup terdefinisi untuk semua distribusi dari keluarga eksponensial (Bernoulli, Poisson, Normal, Gamma, Beta, dsb.) — statistik cukup minimal biasanya berupa ∑Xi\sum X_i atau (∑Xi,∑Xi2)(\sum X_i, \sum X_i^2).
  • Batas Cramér-Rao menggunakan In(θ)=n I(θ)I_n(\theta) = n\,I(\theta) untuk sampel iid — tanda nn sering terlupakan di exam.

Derivasi Dekomposisi MSE:

MSE(θ^)=E ⁣[(θ^−θ)2]\text{MSE}(\hat{\theta}) = E\!\left[(\hat{\theta} - \theta)^2\right]

Tulis θ^−θ=(θ^−μθ^)+(μθ^−θ)\hat{\theta} - \theta = (\hat{\theta} - \mu_{\hat{\theta}}) + (\mu_{\hat{\theta}} - \theta) di mana μθ^=E[θ^]\mu_{\hat{\theta}} = E[\hat{\theta}]:

=E ⁣[(θ^−μθ^)2+2(θ^−μθ^)(μθ^−θ)+(μθ^−θ)2]= E\!\left[(\hat{\theta} - \mu_{\hat{\theta}})^2 + 2(\hat{\theta} - \mu_{\hat{\theta}})(\mu_{\hat{\theta}} - \theta) + (\mu_{\hat{\theta}} - \theta)^2\right]

Suku tengah: 2(μθ^−θ) E[θ^−μθ^]=2(μθ^−θ)⋅0=02(\mu_{\hat{\theta}} - \theta)\,E[\hat{\theta} - \mu_{\hat{\theta}}] = 2(\mu_{\hat{\theta}} - \theta) \cdot 0 = 0. Maka:

MSE(θ^)=E ⁣[(θ^−μθ^)2]+(μθ^−θ)2=Var(θ^)+[b(θ^)]2\text{MSE}(\hat{\theta}) = E\!\left[(\hat{\theta} - \mu_{\hat{\theta}})^2\right] + (\mu_{\hat{\theta}} - \theta)^2 = \text{Var}(\hat{\theta}) + [b(\hat{\theta})]^2

Derivasi Informasi Fisher untuk distribusi Poisson:

Untuk X∼Poisson(λ)X \sim \text{Poisson}(\lambda), ln⁡f(x;λ)=xln⁡λ−λ−ln⁡x!\ln f(x;\lambda) = x\ln\lambda - \lambda - \ln x!

∂ln⁡f∂λ=xλ−1⇒∂2ln⁡f∂λ2=−xλ2\frac{\partial \ln f}{\partial \lambda} = \frac{x}{\lambda} - 1 \quad \Rightarrow \quad \frac{\partial^2 \ln f}{\partial \lambda^2} = -\frac{x}{\lambda^2} I(λ)=−E ⁣[−Xλ2]=E[X]λ2=λλ2=1λI(\lambda) = -E\!\left[-\frac{X}{\lambda^2}\right] = \frac{E[X]}{\lambda^2} = \frac{\lambda}{\lambda^2} = \frac{1}{\lambda}

Batas Cramér-Rao untuk sampel berukuran nn: Var(λ^)≥1n/λ=λn\text{Var}(\hat{\lambda}) \geq \dfrac{1}{n/\lambda} = \dfrac{\lambda}{n}

Cek: λ^=Xˉ\hat{\lambda} = \bar{X} tak-bias dan Var(Xˉ)=λ/n\text{Var}(\bar{X}) = \lambda/n — tepat sama dengan batas CR → Xˉ\bar{X} adalah estimator efisien untuk λ\lambda.

Teorema Faktorisasi untuk statistik cukup:

Untuk X1,…,Xn∼iidPoisson(λ)X_1, \ldots, X_n \overset{\text{iid}}{\sim} \text{Poisson}(\lambda):

L(λ;x)=∏i=1ne−λλxixi!=e−nλλ∑xi⋅1∏xi!⏟h(x)L(\lambda;\mathbf{x}) = \prod_{i=1}^n \frac{e^{-\lambda}\lambda^{x_i}}{x_i!} = e^{-n\lambda}\lambda^{\sum x_i} \cdot \underbrace{\frac{1}{\prod x_i!}}_{h(\mathbf{x})}

Faktor pertama g ⁣(∑xi,λ)=e−nλλ∑xig\!\left(\sum x_i, \lambda\right) = e^{-n\lambda}\lambda^{\sum x_i} hanya bergantung pada data melalui T=∑XiT = \sum X_i, dan h(x)=1/∏xi!h(\mathbf{x}) = 1/\prod x_i! tidak bergantung pada λ\lambda. Oleh teorema faktorisasi Neyman, T=∑XiT = \sum X_i adalah statistik cukup untuk λ\lambda.

✘Dilarang›
  1. Dilarang menerapkan batas Cramér-Rao pada estimator yang bias tanpa modifikasi, atau pada distribusi yang support-nya bergantung pada θ\theta (seperti U(0,θ)U(0,\theta)) — batas CR tidak berlaku dalam kasus-kasus ini, dan hasilnya akan memberi kesimpulan yang salah.
  2. Dilarang menyimpulkan bahwa estimator tak-bias pasti lebih baik dari estimator bias — dalam banyak situasi praktis, estimator dengan sedikit bias tetapi variansi jauh lebih kecil memiliki MSE lebih rendah dan lebih diinginkan.
  3. Dilarang mengidentifikasi statistik cukup hanya dari MLE atau estimator momen tanpa melakukan faktorisasi likelihood secara eksplisit — MLE sering merupakan fungsi dari statistik cukup, tetapi MLE itu sendiri tidak otomatis merupakan statistik cukup.

Section 4 — Contoh Soal

Soal A — Fundamental

Misalkan X1,X2,…,XnX_1, X_2, \ldots, X_n adalah sampel acak iid dari distribusi dengan mean μ\mu dan variansi σ2<∞\sigma^2 < \infty (keduanya tidak diketahui). Pertimbangkan dua estimator untuk μ\mu:

μ^1=Xˉ=1n∑i=1nXi,μ^2=X1+Xn2\hat{\mu}_1 = \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i, \qquad \hat{\mu}_2 = \frac{X_1 + X_n}{2}

(a) Tunjukkan bahwa μ^1\hat{\mu}_1 dan μ^2\hat{\mu}_2 keduanya tak-bias untuk μ\mu. (b) Hitung Var(μ^1)\text{Var}(\hat{\mu}_1) dan Var(μ^2)\text{Var}(\hat{\mu}_2). (c) Hitung MSE kedua estimator dan tentukan mana yang lebih efisien. (d) Hitung efisiensi relatif e(μ^1,μ^2)e(\hat{\mu}_1, \hat{\mu}_2).

✓Solusi Soal A›

1. Identifikasi Variabel

  • Populasi: distribusi dengan mean μ\mu (tidak diketahui) dan variansi σ2\sigma^2 (tidak diketahui)
  • XiX_i iid, sehingga E[Xi]=μE[X_i] = \mu, Var(Xi)=σ2\text{Var}(X_i) = \sigma^2, dan Cov(Xi,Xj)=0\text{Cov}(X_i, X_j) = 0 untuk i≠ji \neq j
  • Dua estimator: μ^1=Xˉ\hat{\mu}_1 = \bar{X} (menggunakan semua nn observasi), μ^2=(X1+Xn)/2\hat{\mu}_2 = (X_1 + X_n)/2 (hanya dua observasi)

2. Identifikasi Distribusi / Model

  • Tidak ada asumsi distribusi spesifik — hanya menggunakan linieritas ekspektasi dan sifat iid
  • MSE = Var + Bias² (karena kedua estimator akan terbukti tak-bias, MSE = Var)

3. Setup Persamaan

Tak-bias: E[μ^]=μE[\hat{\mu}] = \mu

Variansi: Var(aXi+bXj)=a2σ2+b2σ2\text{Var}(aX_i + bX_j) = a^2\sigma^2 + b^2\sigma^2 (karena independen)

4. Eksekusi Aljabar

(a) Tak-bias keduanya:

Untuk μ^1\hat{\mu}_1:

E[μ^1]=E ⁣[1n∑i=1nXi]=1n∑i=1nE[Xi]=1n⋅nμ=μ✓E[\hat{\mu}_1] = E\!\left[\frac{1}{n}\sum_{i=1}^n X_i\right] = \frac{1}{n}\sum_{i=1}^n E[X_i] = \frac{1}{n} \cdot n\mu = \mu \quad \checkmark

Untuk μ^2\hat{\mu}_2:

E[μ^2]=E ⁣[X1+Xn2]=E[X1]+E[Xn]2=μ+μ2=μ✓E[\hat{\mu}_2] = E\!\left[\frac{X_1 + X_n}{2}\right] = \frac{E[X_1] + E[X_n]}{2} = \frac{\mu + \mu}{2} = \mu \quad \checkmark

(b) Variansi masing-masing:

Untuk μ^1\hat{\mu}_1 (karena XiX_i iid):

Var(μ^1)=Var ⁣(1n∑i=1nXi)=1n2∑i=1nVar(Xi)=nσ2n2=σ2n\text{Var}(\hat{\mu}_1) = \text{Var}\!\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n^2}\sum_{i=1}^n \text{Var}(X_i) = \frac{n\sigma^2}{n^2} = \frac{\sigma^2}{n}

Untuk μ^2\hat{\mu}_2 (karena X1⊥XnX_1 \perp X_n):

Var(μ^2)=Var ⁣(X1+Xn2)=Var(X1)+Var(Xn)4=σ2+σ24=σ22\text{Var}(\hat{\mu}_2) = \text{Var}\!\left(\frac{X_1 + X_n}{2}\right) = \frac{\text{Var}(X_1) + \text{Var}(X_n)}{4} = \frac{\sigma^2 + \sigma^2}{4} = \frac{\sigma^2}{2}

(c) MSE dan perbandingan:

Karena kedua estimator tak-bias (b=0b = 0):

MSE(μ^1)=Var(μ^1)=σ2n\text{MSE}(\hat{\mu}_1) = \text{Var}(\hat{\mu}_1) = \frac{\sigma^2}{n} MSE(μ^2)=Var(μ^2)=σ22\text{MSE}(\hat{\mu}_2) = \text{Var}(\hat{\mu}_2) = \frac{\sigma^2}{2}

Untuk n≥3n \geq 3: σ2/n<σ2/2\sigma^2/n < \sigma^2/2, sehingga μ^1\hat{\mu}_1 lebih efisien dari μ^2\hat{\mu}_2.

(Untuk n=2n = 2: keduanya sama; untuk n=1n = 1: trivial, μ^1=μ^2=X1\hat{\mu}_1 = \hat{\mu}_2 = X_1.)

(d) Efisiensi relatif:

e(μ^1,μ^2)=Var(μ^2)Var(μ^1)=σ2/2σ2/n=n2e(\hat{\mu}_1, \hat{\mu}_2) = \frac{\text{Var}(\hat{\mu}_2)}{\text{Var}(\hat{\mu}_1)} = \frac{\sigma^2/2}{\sigma^2/n} = \frac{n}{2}

Untuk n=10n = 10: e=5e = 5, artinya μ^1\hat{\mu}_1 lima kali lebih efisien dari μ^2\hat{\mu}_2. Semakin besar nn, semakin besar keunggulan μ^1\hat{\mu}_1 — ini menunjukkan pentingnya menggunakan seluruh data.

5. Verification

  • e(μ^1,μ^2)=n/2≥1e(\hat{\mu}_1, \hat{\mu}_2) = n/2 \geq 1 untuk n≥2n \geq 2 ✓ (artinya μ^1\hat{\mu}_1 selalu minimal sama efisien)
  • Untuk n=2n = 2: e=1e = 1, kedua estimator sama efisien (keduanya menggunakan dua observasi yang sama) ✓
  • Var(μ^1)→0\text{Var}(\hat{\mu}_1) \to 0 saat n→∞n \to \infty: konsisten dengan konsistensi Xˉ\bar{X} ✓
▲Exam Tips — Soal A›
  • Target waktu: 6–8 menit
  • Common trap: Menghitung Var(μ^2)\text{Var}(\hat{\mu}_2) sebagai Var((X1+Xn)/2)=Var(X1+Xn)/2\text{Var}((X_1+X_n)/2) = \text{Var}(X_1+X_n)/2 — ingat bahwa variansi tidak linear: Var(cZ)=c2Var(Z)\text{Var}(cZ) = c^2\text{Var}(Z), sehingga harus dibagi 44 (bukan 22).
  • Shortcut efisiensi relatif: Untuk dua estimator tak-bias yang variansinya berbentuk σ2/a\sigma^2/a dan σ2/b\sigma^2/b, efisiensi relatifnya langsung b/ab/a — tidak perlu menulis σ2\sigma^2 secara eksplisit.

Soal B — Exam-Typical

Misalkan X1,X2,…,XnX_1, X_2, \ldots, X_n adalah sampel acak iid dari distribusi Eksponensial dengan PDF:

f(x;λ)=λe−λx,x>0,  λ>0f(x;\lambda) = \lambda e^{-\lambda x}, \quad x > 0,\; \lambda > 0

(a) Hitung Informasi Fisher I(λ)I(\lambda) per observasi. (b) Tunjukkan bahwa λ^=1/Xˉ\hat{\lambda} = 1/\bar{X} adalah MLE untuk λ\lambda. (c) Tentukan apakah 1/Xˉ1/\bar{X} memenuhi batas Cramér-Rao (apakah estimator ini efisien?). Gunakan fakta bahwa Var(1/Xˉ)≈λ2/n\text{Var}(1/\bar{X}) \approx \lambda^2/n untuk nn besar. (d) Tunjukkan bahwa T=∑i=1nXiT = \sum_{i=1}^n X_i adalah statistik cukup untuk λ\lambda menggunakan teorema faktorisasi.

✓Solusi Soal B›

1. Identifikasi Variabel

  • Xi∼iidExp(λ)X_i \overset{\text{iid}}{\sim} \text{Exp}(\lambda): kontinu, support (0,∞)(0,\infty), parameter λ>0\lambda > 0
  • E[X]=1/λE[X] = 1/\lambda, Var(X)=1/λ2\text{Var}(X) = 1/\lambda^2
  • Support tidak bergantung pada λ\lambda → kondisi regularitas terpenuhi → batas CR berlaku ✓

2. Identifikasi Distribusi / Model

  • Keluarga eksponensial satu parameter → statistik cukup berupa ∑Xi\sum X_i
  • MLE dari Eksponensial diketahui λ^=1/Xˉ\hat{\lambda} = 1/\bar{X}; perlu diverifikasi

3. Setup Persamaan

Log-likelihood untuk satu observasi: ln⁡f(x;λ)=ln⁡λ−λx\ln f(x;\lambda) = \ln\lambda - \lambda x

Informasi Fisher: I(λ)=−E ⁣[∂2ln⁡f(X;λ)∂λ2]I(\lambda) = -E\!\left[\frac{\partial^2 \ln f(X;\lambda)}{\partial\lambda^2}\right]

Batas CR: Var(λ^)≥1n I(λ)\text{Var}(\hat{\lambda}) \geq \dfrac{1}{n\,I(\lambda)}

4. Eksekusi Aljabar

(a) Informasi Fisher I(λ)I(\lambda):

∂ln⁡f∂λ=1λ−x\frac{\partial \ln f}{\partial \lambda} = \frac{1}{\lambda} - x ∂2ln⁡f∂λ2=−1λ2\frac{\partial^2 \ln f}{\partial \lambda^2} = -\frac{1}{\lambda^2} I(λ)=−E ⁣[−1λ2]=1λ2I(\lambda) = -E\!\left[-\frac{1}{\lambda^2}\right] = \frac{1}{\lambda^2}

(b) MLE untuk λ\lambda:

Log-likelihood sampel (mengabaikan konstanta terhadap λ\lambda):

ℓ(λ)=nln⁡λ−λ∑i=1nxi\ell(\lambda) = n\ln\lambda - \lambda\sum_{i=1}^n x_i dℓdλ=nλ−∑xi=0  ⟹  λ^MLE=n∑xi=1xˉ\frac{d\ell}{d\lambda} = \frac{n}{\lambda} - \sum x_i = 0 \implies \hat{\lambda}_{\text{MLE}} = \frac{n}{\sum x_i} = \frac{1}{\bar{x}}

Verifikasi: d2ℓdλ2=−n/λ2<0\frac{d^2\ell}{d\lambda^2} = -n/\lambda^2 < 0 ✓

(c) Apakah 1/Xˉ1/\bar{X} efisien?

Batas Cramér-Rao:

Var(λ^)≥1n I(λ)=1n⋅1/λ2=λ2n\text{Var}(\hat{\lambda}) \geq \frac{1}{n\,I(\lambda)} = \frac{1}{n \cdot 1/\lambda^2} = \frac{\lambda^2}{n}

Diberikan bahwa Var(1/Xˉ)≈λ2/n\text{Var}(1/\bar{X}) \approx \lambda^2/n untuk nn besar.

Perbandingan: Var(1/Xˉ)≈λ2/n=1n I(λ)\text{Var}(1/\bar{X}) \approx \lambda^2/n = \dfrac{1}{n\,I(\lambda)}

Kesimpulan: λ^=1/Xˉ\hat{\lambda} = 1/\bar{X} mencapai batas Cramér-Rao secara asimtotik — estimator ini efisien secara asimtotik.

Catatan: 1/Xˉ1/\bar{X} adalah estimator bias (karena E[1/Xˉ]≠1/E[Xˉ]E[1/\bar{X}] \neq 1/E[\bar{X}] untuk distribusi non-linear), sehingga secara teknis batas CR tidak langsung berlaku; perbandingan di atas bersifat asimtotik.

(d) Statistik cukup via faktorisasi Neyman:

L(λ;x)=∏i=1nλe−λxi=λnexp⁡ ⁣(−λ∑i=1nxi)L(\lambda;\mathbf{x}) = \prod_{i=1}^n \lambda e^{-\lambda x_i} = \lambda^n \exp\!\left(-\lambda \sum_{i=1}^n x_i\right)

Faktorkan:

L(λ;x)=λne−λT⏟g(T,λ)⋅1⏟h(x)L(\lambda;\mathbf{x}) = \underbrace{\lambda^n e^{-\lambda T}}_{g(T,\lambda)} \cdot \underbrace{1}_{h(\mathbf{x})}

di mana T=∑i=1nxiT = \sum_{i=1}^n x_i.

Faktor g(T,λ)=λne−λTg(T,\lambda) = \lambda^n e^{-\lambda T} hanya bergantung pada data melalui TT, dan h(x)=1h(\mathbf{x}) = 1 tidak bergantung pada λ\lambda. Oleh teorema faktorisasi Neyman, T=∑i=1nXiT = \sum_{i=1}^n X_i adalah statistik cukup untuk λ\lambda. ✓

5. Verification

  • I(λ)=1/λ2>0I(\lambda) = 1/\lambda^2 > 0 ✓ (informasi selalu positif)
  • λ^=1/Xˉ>0\hat{\lambda} = 1/\bar{X} > 0 karena Xˉ>0\bar{X} > 0 ✓ (berada dalam Θ=(0,∞)\Theta = (0,\infty))
  • Statistik cukup T=∑XiT = \sum X_i merupakan fungsi dari MLE (λ^=n/T\hat{\lambda} = n/T): ini tipikal — MLE biasanya merupakan fungsi dari statistik cukup ✓
▲Exam Tips — Soal B›
  • Target waktu: 10–12 menit
  • Common trap 1: Lupa faktor nn dalam batas CR: Var(θ^)≥1n I(θ)\text{Var}(\hat{\theta}) \geq \dfrac{1}{n\,I(\theta)}, bukan 1I(θ)\dfrac{1}{I(\theta)}. Satu nn ini sering terlupakan dan menghasilkan batas yang salah.
  • Common trap 2: Mengklaim 1/Xˉ1/\bar{X} adalah estimator tak-bias untuk λ\lambda. Ini salah — E[1/Xˉ]≠1/E[Xˉ]=λE[1/\bar{X}] \neq 1/E[\bar{X}] = \lambda karena fungsi 1/x1/x non-linear. Xˉ\bar{X} adalah estimator tak-bias untuk E[X]=1/λE[X] = 1/\lambda, bukan λ\lambda.
  • Shortcut Informasi Fisher: Untuk distribusi keluarga eksponensial satu parameter, I(θ)I(\theta) hampir selalu dihitung paling cepat via −E[∂2ℓ/∂θ2]-E[\partial^2\ell/\partial\theta^2] daripada E[(∂ℓ/∂θ)2]E[(\partial\ell/\partial\theta)^2].

Soal C — Challenging

Misalkan X1,…,XnX_1, \ldots, X_n adalah sampel acak iid dari distribusi Normal N(μ,σ2)N(\mu, \sigma^2) dengan σ2\sigma^2 diketahui. Pertimbangkan estimator untuk μ\mu:

μ^c=cXˉ,c∈R (konstanta)\hat{\mu}_c = c\bar{X}, \quad c \in \mathbb{R} \text{ (konstanta)}

(a) Hitung E[μ^c]E[\hat{\mu}_c] dan b(μ^c)b(\hat{\mu}_c) sebagai fungsi dari cc dan μ\mu. (b) Hitung MSE(μ^c)\text{MSE}(\hat{\mu}_c) sebagai fungsi dari cc, μ\mu, σ2\sigma^2, dan nn. (c) Tentukan nilai c∗c^* yang meminimalkan MSE(μ^c)\text{MSE}(\hat{\mu}_c). (d) Hitung Informasi Fisher I(μ)I(\mu) untuk distribusi Normal dan tunjukkan bahwa Xˉ\bar{X} adalah estimator yang efisien. (e) Bandingkan MSE(μ^c∗)\text{MSE}(\hat{\mu}_{c^*}) dengan MSE(Xˉ)\text{MSE}(\bar{X}) dan jelaskan mengapa estimator dengan c∗≠1c^* \neq 1 (yang bias) bisa mengalahkan Xˉ\bar{X} (yang tak-bias) dalam hal MSE.

✓Solusi Soal C›

1. Identifikasi Variabel

  • Xi∼iidN(μ,σ2)X_i \overset{\text{iid}}{\sim} N(\mu, \sigma^2), σ2\sigma^2 diketahui, μ∈R\mu \in \mathbb{R} tidak diketahui
  • Estimator satu keluarga: μ^c=cXˉ\hat{\mu}_c = c\bar{X} dengan parameter bebas cc
  • Kasus c=1c = 1: μ^1=Xˉ\hat{\mu}_1 = \bar{X} (MLE dan estimator tak-bias standar)

2. Identifikasi Distribusi / Model

  • Masalah minimisasi MSE atas keluarga estimator linear
  • Dekomposisi bias-variansi: MSE=Var+Bias2\text{MSE} = \text{Var} + \text{Bias}^2
  • Terdapat trade-off bias-variansi: c<1c < 1 mengurangi variansi tetapi menambah bias

3. Setup Persamaan

MSE(μ^c)=Var(cXˉ)+[E[cXˉ]−μ]2\text{MSE}(\hat{\mu}_c) = \text{Var}(c\bar{X}) + [E[c\bar{X}] - \mu]^2 ddcMSE(μ^c)=0\frac{d}{dc}\text{MSE}(\hat{\mu}_c) = 0

4. Eksekusi Aljabar

(a) Ekspektasi dan bias:

E[μ^c]=cE[Xˉ]=cμE[\hat{\mu}_c] = cE[\bar{X}] = c\mu b(μ^c)=E[μ^c]−μ=cμ−μ=(c−1)μb(\hat{\mu}_c) = E[\hat{\mu}_c] - \mu = c\mu - \mu = (c-1)\mu

Kasus c=1c = 1: b(μ^1)=0b(\hat{\mu}_1) = 0 (tak-bias). Kasus c≠1c \neq 1: bias bergantung pada nilai μ\mu sendiri.

(b) MSE sebagai fungsi cc:

Var(μ^c)=c2Var(Xˉ)=c2⋅σ2n\text{Var}(\hat{\mu}_c) = c^2\text{Var}(\bar{X}) = c^2 \cdot \frac{\sigma^2}{n} MSE(μ^c)=c2⋅σ2n+[(c−1)μ]2=c2σ2n+(c−1)2μ2\text{MSE}(\hat{\mu}_c) = c^2 \cdot \frac{\sigma^2}{n} + [(c-1)\mu]^2 = \frac{c^2\sigma^2}{n} + (c-1)^2\mu^2

(c) Minimisasi MSE — mencari c∗c^*:

ddcMSE=2cσ2n+2(c−1)μ2=0\frac{d}{dc}\text{MSE} = \frac{2c\sigma^2}{n} + 2(c-1)\mu^2 = 0 c(σ2n+μ2)=μ2c\left(\frac{\sigma^2}{n} + \mu^2\right) = \mu^2 c∗=μ2μ2+σ2/nc^* = \frac{\mu^2}{\mu^2 + \sigma^2/n}

Perhatikan: c∗<1c^* < 1 selalu (karena pembilang << penyebut), dan c∗→1c^* \to 1 saat n→∞n \to \infty atau σ2/n→0\sigma^2/n \to 0.

(d) Informasi Fisher dan efisiensi Xˉ\bar{X}:

Untuk X∼N(μ,σ2)X \sim N(\mu, \sigma^2), ln⁡f(x;μ)=−(x−μ)22σ2+konst\ln f(x;\mu) = -\frac{(x-\mu)^2}{2\sigma^2} + \text{konst}:

∂ln⁡f∂μ=x−μσ2,∂2ln⁡f∂μ2=−1σ2\frac{\partial \ln f}{\partial \mu} = \frac{x - \mu}{\sigma^2}, \quad \frac{\partial^2 \ln f}{\partial \mu^2} = -\frac{1}{\sigma^2} I(μ)=−E ⁣[−1σ2]=1σ2I(\mu) = -E\!\left[-\frac{1}{\sigma^2}\right] = \frac{1}{\sigma^2}

Batas Cramér-Rao: Var(μ^)≥1n I(μ)=σ2n\text{Var}(\hat{\mu}) \geq \dfrac{1}{n\,I(\mu)} = \dfrac{\sigma^2}{n}

Karena Var(Xˉ)=σ2/n\text{Var}(\bar{X}) = \sigma^2/n tepat sama dengan batas CR, Xˉ\bar{X} adalah estimator efisien untuk μ\mu. ✓

(e) Perbandingan MSE dan trade-off bias-variansi:

MSE(Xˉ)=σ2/n\text{MSE}(\bar{X}) = \sigma^2/n (tak-bias → MSE = Var = batas CR)

MSE(μ^c∗)=(c∗)2σ2n+(c∗−1)2μ2\text{MSE}(\hat{\mu}_{c^*}) = \dfrac{(c^*)^2\sigma^2}{n} + (c^*-1)^2\mu^2

Substitusi c∗=μ2/(μ2+σ2/n)c^* = \mu^2/(\mu^2 + \sigma^2/n):

MSE(μ^c∗)=μ2σ2/nμ2+σ2/n<σ2n=MSE(Xˉ)\text{MSE}(\hat{\mu}_{c^*}) = \frac{\mu^2\sigma^2/n}{\mu^2 + \sigma^2/n} < \frac{\sigma^2}{n} = \text{MSE}(\bar{X})

(dapat diverifikasi: pembilang μ2σ2/n<(μ2+σ2/n)⋅σ2/n\mu^2\sigma^2/n < (\mu^2+\sigma^2/n)\cdot\sigma^2/n iff 0<σ4/n20 < \sigma^4/n^2 ✓)

Interpretasi penting: μ^c∗\hat{\mu}_{c^*} memiliki MSE lebih kecil dari Xˉ\bar{X} meskipun bias! Ini karena mengurangi cc dari 1 ke c∗c^* mengurangi variansi lebih besar daripada peningkatan kuadrat bias. Namun, c∗c^* bergantung pada μ\mu yang tidak diketahui — estimator ini tidak dapat digunakan dalam praktik tanpa mengetahui μ\mu.

5. Verification

  • c∗∈(0,1)c^* \in (0,1) selalu ✓; c∗→1c^* \to 1 saat μ2≫σ2/n\mu^2 \gg \sigma^2/n (signal kuat → bias kecil relatif) ✓
  • Ketika μ=0\mu = 0: c∗=0c^* = 0, artinya μ^c∗=0\hat{\mu}_{c^*} = 0 — masuk akal karena estimator nol memiliki bias =μ=0= \mu = 0 (tak-bias!) dan variansi =0= 0
  • MSE(μ^c∗)<MSE(Xˉ)\text{MSE}(\hat{\mu}_{c^*}) < \text{MSE}(\bar{X}) walaupun Xˉ\bar{X} efisien: ini tidak kontradiksi karena Cramér-Rao hanya membatasi estimator tak-bias ✓
▲Exam Tips — Soal C›
  • Target waktu: 15–18 menit
  • Common trap 1: Mengklaim bahwa “efisien” berarti MSE terkecil dari semua estimator. Salah — efisien berarti variansi terkecil di antara estimator tak-bias. Estimator bias bisa memiliki MSE lebih kecil.
  • Common trap 2: Mengasumsikan c∗c^* konstan tanpa menyadari ia bergantung pada μ\mu (parameter yang tidak diketahui). Di exam, soal mungkin meminta “nilai cc yang meminimalkan MSE dalam hal μ\mu” — jawaban boleh mengandung μ\mu.
  • Insight kunci untuk exam: Batas Cramér-Rao hanya berlaku untuk estimator tak-bias. Jika soal membahas trade-off bias-variansi atau estimator yang “mengalahkan” MLE, kemungkinan besar melibatkan estimator bias yang dipilih dengan cermat.

Section 5 — Verifikasi & Sanity Check

✓Validasi Tak-Bias dan Bias›
  1. Cek E[θ^]=θE[\hat{\theta}] = \theta secara eksplisit menggunakan linieritas ekspektasi, bukan asumsi. Klaim “terlihat tak-bias” tanpa perhitungan tidak diterima.
  2. Untuk rata-rata sampel Xˉ\bar{X}: Selalu tak-bias untuk E[X]E[X] (dari iid, tidak memerlukan asumsi distribusi).
  3. Untuk variansi sampel S2=1n−1∑(Xi−Xˉ)2S^2 = \frac{1}{n-1}\sum(X_i-\bar{X})^2: Tak-bias untuk σ2\sigma^2 (faktor n−1n-1, bukan nn). Jika menggunakan 1n\frac{1}{n}, estimatornya bias dengan faktor (n−1)/n(n-1)/n.
  4. Bias dari fungsi non-linear: E[g(θ^)]≠g(E[θ^])=g(θ)E[g(\hat{\theta})] \neq g(E[\hat{\theta}]) = g(\theta) secara umum. Contoh: λ^=1/Xˉ\hat{\lambda} = 1/\bar{X} bias untuk λ\lambda meskipun Xˉ\bar{X} tak-bias untuk 1/λ1/\lambda.
✓Validasi Cramér-Rao›
  1. Cek kondisi regularitas sebelum menerapkan CR: Support tidak bergantung pada θ\theta? Jika θ\theta adalah batas support, CR tidak berlaku.
  2. Cek faktor nn: Batas CR untuk sampel ukuran nn adalah 1n I(θ)\dfrac{1}{n\,I(\theta)}. Sering ditulis juga sebagai 1In(θ)\dfrac{1}{I_n(\theta)} di mana In=nII_n = nI.
  3. Estimator efisien mencapai batas CR dengan persamaan: Var(θ^)=1/(n I(θ))\text{Var}(\hat{\theta}) = 1/(n\,I(\theta)). Jika Var(θ^)<1/(n I(θ))\text{Var}(\hat{\theta}) < 1/(n\,I(\theta)), ada kesalahan (baik di I(θ)I(\theta) maupun Var(θ^)\text{Var}(\hat{\theta})).
  4. Konsistensi Informasi Fisher: I(θ)>0I(\theta) > 0 selalu. Nilai negatif atau nol menandakan kesalahan derivasi.
✓Validasi Statistik Cukup›
  1. Faktorisasi Neyman: Pastikan faktor g(T(x),θ)g(T(\mathbf{x}), \theta) hanya bergantung pada θ\theta dan T(x)T(\mathbf{x}), dan h(x)h(\mathbf{x}) benar-benar bebas θ\theta.
  2. MLE sebagai fungsi dari statistik cukup: Jika θ^MLE\hat{\theta}_{\text{MLE}} adalah fungsi dari TT, ini konsisten dengan TT sebagai statistik cukup — namun tidak cukup untuk membuktikan kecukupan tanpa faktorisasi.
  3. Keluarga eksponensial: Untuk distribusi dalam keluarga eksponensial satu parameter, T=∑XiT = \sum X_i hampir selalu menjadi statistik cukup. Gunakan ini sebagai sanity check.

Metode Alternatif

Dua formula Informasi Fisher yang ekivalen: Formula I(θ)=E[S2]I(\theta) = E[S^2] dan I(θ)=−E[ℓ′′]I(\theta) = -E[\ell''] memberikan hasil yang sama di bawah kondisi regularitas. Di exam, pilih yang lebih mudah dihitung:

  • Gunakan I=−E[ℓ′′]I = -E[\ell''] ketika ∂2ℓ/∂θ2\partial^2 \ell/\partial\theta^2 adalah konstanta (tidak mengandung XX) — ekspektasi langsung hilang.
  • Gunakan I=E[(∂ℓ/∂θ)2]I = E[(\partial\ell/\partial\theta)^2] ketika lebih mudah menghitung kuadrat dari turunan pertama.

Contoh: Untuk Bernoulli(p)\text{Bernoulli}(p), ℓ=xln⁡p+(1−x)ln⁡(1−p)\ell = x\ln p + (1-x)\ln(1-p), turunan kedua ∂2ℓ/∂p2=−x/p2−(1−x)/(1−p)2\partial^2\ell/\partial p^2 = -x/p^2 - (1-x)/(1-p)^2, sehingga I(p)=E[X]/p2+E[1−X]/(1−p)2=1/p+1/(1−p)=1/[p(1−p)]I(p) = E[X]/p^2 + E[1-X]/(1-p)^2 = 1/p + 1/(1-p) = 1/[p(1-p)].

Konsistensi melalui Chebyshev: Untuk membuktikan konsistensi θ^n\hat{\theta}_n secara formal, cukup tunjukkan: (1) E[θ^n]→θE[\hat{\theta}_n] \to \theta (atau tak-bias untuk semua nn) dan (2) Var(θ^n)→0\text{Var}(\hat{\theta}_n) \to 0. Maka oleh ketidaksamaan Chebyshev, P(∣θ^n−θ∣>ε)≤Var(θ^n)/ε2→0P(|\hat{\theta}_n - \theta| > \varepsilon) \leq \text{Var}(\hat{\theta}_n)/\varepsilon^2 \to 0.

Section 6 — Visualisasi Mental

Diagram Bias-Variansi — Analogi Pemanah:

Bayangkan empat target panahan (diagram 2×22 \times 2):

  • Tak-bias + Variansi Kecil (estimator ideal): Semua panah berkerumun rapat tepat di tengah. Ini adalah UMVUE atau estimator efisien.
  • Tak-bias + Variansi Besar: Panah tersebar luas tetapi rata-rata tepat di tengah. Mean sampel dari distribusi dengan σ2\sigma^2 besar dan nn kecil.
  • Bias + Variansi Kecil: Panah berkerumun rapat tetapi selalu meleset ke satu arah (misalnya selalu terlalu tinggi). Estimator bias dengan c<1c < 1 dari Soal C.
  • Bias + Variansi Besar (estimator terburuk): Panah tersebar luas DAN selalu meleset. Estimator yang tidak konsisten.

MSE sebagai Jarak Rata-Rata ke Pusat Target: MSE adalah rata-rata jarak kuadrat dari panah ke pusat (nilai benar θ\theta). Dekomposisi MSE = Var + Bias² memisahkan dua penyebab: penyebaran antaranah (variansi) dan jarak pusat kelompok panah dari pusat target (bias).

Kurva Log-Likelihood dan Informasi Fisher:

Grafik ℓ(θ)\ell(\theta) vs θ\theta yang tajam (cembung dalam, kelengkungan besar negatif) ↔ Informasi Fisher besar ↔ Batas CR kecil ↔ Estimator presisi tinggi bisa dicapai. Grafik ℓ(θ)\ell(\theta) yang datar (kelengkungan hampir nol) ↔ Data tidak informatif tentang θ\theta ↔ Batas CR besar ↔ Estimasi inherently tidak presisi.

Hubungan Visual ↔ Rumus

Kelengkungan kurva log-likelihood di titik maksimum berkorespondensi dengan:

−ℓ′′(θ^)≈n I(θ)=1CR⟷ketajaman puncak log-likelihood-\ell''(\hat{\theta}) \approx n\,I(\theta) = \frac{1}{\text{CR}} \longleftrightarrow \text{ketajaman puncak log-likelihood}

Penyebaran distribusi sampling θ^\hat{\theta} (histogram dari ribuan replikasi) berkorespondensi dengan:

Var(θ^)≥1n I(θ)⟷lebar minimum histogram estimator\text{Var}(\hat{\theta}) \geq \frac{1}{n\,I(\theta)} \longleftrightarrow \text{lebar minimum histogram estimator}

Jarak rata-rata antara pusat histogram dan nilai θ\theta sejati berkorespondensi dengan:

b(θ^)=E[θ^]−θ⟷pergeseran horizontal pusat histogram dari θb(\hat{\theta}) = E[\hat{\theta}] - \theta \longleftrightarrow \text{pergeseran horizontal pusat histogram dari } \theta

Section 7 — Jebakan Umum

⬡Kesalahan Parametrisasi›

Kesalahan 1 — Faktor nn dalam batas CR: Batas Cramér-Rao untuk sampel ukuran nn adalah 1n I(θ)\dfrac{1}{n\,I(\theta)}, bukan 1I(θ)\dfrac{1}{I(\theta)}. Satu-satu observasi memiliki batas 1/I(θ)1/I(\theta); sampel nn observasi iid memiliki batas 1/(nI(θ))1/(nI(\theta)) — karena informasi total In=nII_n = nI. Menulis Var(θ^)≥1/I(θ)\text{Var}(\hat{\theta}) \geq 1/I(\theta) untuk estimasi dari nn observasi adalah error klasik di exam CF2.

Kesalahan 2 — Formula I(θ)I(\theta) dengan tanda: I(θ)=−E[∂2ℓ/∂θ2]I(\theta) = -E[\partial^2\ell/\partial\theta^2] — perhatikan tanda negatif di depan ekspektasi. Karena ∂2ℓ/∂θ2≤0\partial^2\ell/\partial\theta^2 \leq 0 di titik maksimum, nilai dalam kurung negatif, sehingga I(θ)>0I(\theta) > 0. Lupa tanda negatif menghasilkan I(θ)<0I(\theta) < 0, yang tidak mungkin secara fisik.

⬡Kesalahan Konseptual›
  1. “Efisien” ≠ “MSE terkecil dari semua estimator”. Efisien = variansi terkecil di antara estimator tak-bias. Estimator bias bisa memiliki MSE lebih rendah, seperti pada Soal C. Jangan klaim estimator efisien “optimal secara mutlak”.
  2. Konsistensi ≠ Tak-Bias. Estimator bisa konsisten tetapi bias untuk setiap nn finite (bias mengecil ke nol saat n→∞n\to\infty). Sebaliknya, estimator bisa tak-bias tetapi tidak konsisten (jika variansinya tidak mengecil).
  3. Statistik cukup bukan unik — statistik cukup minimal adalah yang terkecil. (∑Xi,n)(\sum X_i, n) juga statistik cukup untuk Poisson, tetapi lebih “boros” dari ∑Xi\sum X_i. Yang dievaluasi biasanya statistik cukup minimal.
  4. Batas Cramér-Rao tidak berlaku untuk U(0,θ)U(0,\theta). Karena batas support θ\theta bergantung pada parameter, kondisi regularitas dilanggar. MLE X(n)X_{(n)} memiliki Var=O(1/n2)\text{Var} = O(1/n^2), jauh lebih kecil dari batas CR yang tidak terdefinisi.
⬡Kesalahan Interpretasi Soal›
  • “Estimator efisien” spesifik berarti estimator yang mencapai batas Cramér-Rao (bukan sekadar “estimator yang baik”). Jika soal meminta membuktikan efisiensi, harus dihitung I(θ)I(\theta), dibandingkan batas CR dengan Var(θ^)\text{Var}(\hat{\theta}), dan ditunjukkan kesamaan.
  • “UMVUE” (Uniformly Minimum Variance Unbiased Estimator) berbeda dari “efisien” meskipun sering tumpang tindih. UMVUE berkaitan dengan teorema Rao-Blackwell dan statistik cukup lengkap — topik yang lebih lanjut dari sekadar mencapai batas CR.
  • “Konsisten” di soal hampir selalu mengacu pada konvergensi dalam probabilitas. Jangan konfusikan dengan konsistensi dalam estimasi Bayesian atau konsistensi skor.
  • Variansi S2S^2 vs σ^MLE2\hat{\sigma}^2_{\text{MLE}}: Soal yang menyebut “MLE variansi” mengacu pada σ^MLE2=1n∑(Xi−Xˉ)2\hat{\sigma}^2_{\text{MLE}} = \frac{1}{n}\sum(X_i-\bar{X})^2 (bias); soal yang menyebut “estimator tak-bias variansi” mengacu pada S2=1n−1∑(Xi−Xˉ)2S^2 = \frac{1}{n-1}\sum(X_i-\bar{X})^2.
▲Red Flags›
  • Soal menyebut “batas bawah variansi” atau “bound”: Langsung pikirkan Cramér-Rao → hitung I(θ)I(\theta) → hitung 1/(nI(θ))1/(nI(\theta)).
  • Soal meminta “buktikan estimator efisien”: Wajib menunjukkan Var(θ^)=1/(n I(θ))\text{Var}(\hat{\theta}) = 1/(n\,I(\theta)) secara eksplisit, bukan hanya mengklaim MLE bersifat efisien.
  • Distribusi dengan batas bergantung θ\theta (U(0,θ)U(0,\theta), distribusi triangular, dll.): Jangan gunakan CR; gunakan argumen order statistik.
  • Soal menyebut “statistik cukup” atau “sufficient”: Langsung aplikasikan teorema faktorisasi Neyman — faktorkan L(θ;x)=g(T,θ)⋅h(x)L(\theta;\mathbf{x}) = g(T,\theta)\cdot h(\mathbf{x}).
  • Soal membandingkan dua estimator tak-bias: Hitung efisiensi relatif e=Var(θ^2)/Var(θ^1)e = \text{Var}(\hat{\theta}_2)/\text{Var}(\hat{\theta}_1); jika keduanya tak-bias, MSE = Var sehingga perbandingan MSE = perbandingan Var.
  • Soal meminta “apakah estimator konsisten?”: Gunakan Chebyshev: cukup buktikan E[θ^n]→θE[\hat{\theta}_n] \to \theta dan Var(θ^n)→0\text{Var}(\hat{\theta}_n) \to 0 saat n→∞n \to \infty.

Section 8 — Ringkasan Eksekutif

≡Must-Remember›
  1. Dekomposisi MSE (selalu berlaku): MSE(θ^)=Var(θ^)+[b(θ^)]2,b(θ^)=E[θ^]−θ\text{MSE}(\hat{\theta}) = \text{Var}(\hat{\theta}) + \left[b(\hat{\theta})\right]^2, \quad b(\hat{\theta}) = E[\hat{\theta}] - \theta
  2. Informasi Fisher (dua formula ekivalen): I(θ)=E ⁣[(∂ln⁡f∂θ)2]=−E ⁣[∂2ln⁡f∂θ2]I(\theta) = E\!\left[\left(\frac{\partial \ln f}{\partial \theta}\right)^2\right] = -E\!\left[\frac{\partial^2 \ln f}{\partial \theta^2}\right]
  3. Batas Cramér-Rao (untuk estimator tak-bias, kondisi regularitas terpenuhi): Var(θ^)≥1n I(θ)\text{Var}(\hat{\theta}) \geq \frac{1}{n\,I(\theta)}
  4. Efisiensi relatif: e(θ^1,θ^2)=Var(θ^2)Var(θ^1)>1  ⟺  θ^1 lebih efisiene(\hat{\theta}_1, \hat{\theta}_2) = \frac{\text{Var}(\hat{\theta}_2)}{\text{Var}(\hat{\theta}_1)} > 1 \iff \hat{\theta}_1 \text{ lebih efisien}
  5. Teorema Faktorisasi Neyman (statistik cukup): L(θ;x)=g(T(x),θ)⋅h(x)  ⟺  T(x) statistik cukup untuk θL(\theta;\mathbf{x}) = g(T(\mathbf{x}), \theta) \cdot h(\mathbf{x}) \iff T(\mathbf{x}) \text{ statistik cukup untuk } \theta

Kapan Digunakan

  • Trigger keywords: “tak-bias”, “unbiased”, “bias”, “MSE”, “mean squared error”, “efisiensi”, “efisien”, “Cramér-Rao”, “informasi Fisher”, “variansi minimum”, “statistik cukup”, “sufficient statistic”, “faktorisasi”, “konsisten”.
  • Tipe skenario soal:
    • Diberikan estimator: hitung bias, variansi, MSE dan tentukan apakah tak-bias.
    • Hitung Informasi Fisher untuk distribusi tertentu dan tentukan batas CR.
    • Bandingkan dua estimator: hitung efisiensi relatif dan tentukan mana yang lebih baik.
    • Identifikasi statistik cukup menggunakan teorema faktorisasi.
    • Tunjukkan suatu estimator efisien dengan membandingkan variansinya terhadap batas CR.

Kapan TIDAK Boleh Digunakan

  • Batas Cramér-Rao TIDAK berlaku jika: (a) estimator bias, (b) support bergantung pada θ\theta, atau (c) kondisi regularitas pertukaran diferensiasi-integral tidak terpenuhi.
  • Perbandingan MSE saja tidak cukup untuk menyimpulkan satu estimator “lebih baik” tanpa konteks — estimator bias dengan MSE kecil mungkin tidak diinginkan jika properti asimtotik atau konsistensi diperlukan.
  • Jika distribusi di luar keluarga eksponensial: Pendekatan statistik cukup via faktorisasi masih berlaku, tetapi bentuknya mungkin tidak sesederhana ∑Xi\sum X_i.

Quick Decision Tree

graph TD
    A["Soal tentang kualitas estimator?"] --> B["Sifat apa yang ditanya?"]
    B --> C["Bias atau Tak-Bias?"]
    B --> D["MSE?"]
    B --> E["Efisiensi atau Cramér-Rao?"]
    B --> F["Statistik Cukup?"]
    B --> G["Konsistensi?"]
    C --> C1["Hitung E[theta-hat]<br>Bandingkan dengan theta<br>Bias = E[theta-hat] - theta"]
    D --> D1["MSE = Var + Bias^2<br>Hitung keduanya terpisah<br>lalu jumlahkan"]
    E --> E1["Cek kondisi regularitas<br>Support bergantung theta?"]
    E1 -->|"Tidak (reguler)"| E2["Hitung I(theta) = -E[d2 log f / d theta^2]<br>Batas CR = 1/(n I(theta))<br>Bandingkan dengan Var(theta-hat)"]
    E1 -->|"Ya (tidak reguler)"| E3["Batas CR tidak berlaku<br>Bandingkan MSE langsung"]
    F --> F1["Faktorkan L(theta; x)<br>= g(T, theta) * h(x)<br>T adalah statistik cukup"]
    G --> G1["Cek E[theta-hat] -> theta<br>DAN Var(theta-hat) -> 0<br>saat n -> inf via Chebyshev"]
❝Follow-up Options›
  1. “Berikan contoh soal Informasi Fisher untuk distribusi Bernoulli dan Gamma”
  2. “Jelaskan hubungan 4.6 Sifat-Sifat Estimator dengan 4.7 Selang Kepercayaan (peran variansi estimator dalam CI)”
  3. “Buat flashcard 1-halaman: rumus Informasi Fisher untuk distribusi umum CF2 (Poisson, Normal, Eksponensial, Binomial)”

📖 Ref: Miller et al. (2014) Bab 10.1–10.4; Hogg-McKean-Craig (2019) Bab 6.1–6.3, 7.1–7.3; Hogg-Tanis-Zimm (2015) Bab 5.5–5.6 | 🗓️ 2026-02-21 | #CF2 #Inferensi #SifatEstimator #TakBias #CramerRao #InformasiFisher #Kecukupan #Konsistensi