Ternyata, Intersep Tak Selalu Bermakna

Contoh Persamaan Regresi:

Y = 2 + 10X ……..(1)
Y = variabel respon; X = variabel prediktor/bebas
 

Angka 2 pada persamaan (1) biasanya disebut sebagai intersep, sedangkan angka 10 biasanya disebut sebagai slope. Pada umumnya, intersep diartikan sebagai nilai rata-rata Y bila nilai X sama dengan nol.

Sering ditemui di lapangan, para peneliti yang melakukan analisis data dengan regresi linier, baik sederhana maupun berganda, selalu “memaksa” untuk menginterpretasikan makna nilai intersep dari persamaan regresi yang didapatkan. Padahal, intersep tidak selalu dapat diartikan, apalagi jika tidak ada dukungan secara teori terhadap kasus yang sedang diteliti. Intersep sebenarnya merupakan komponen yang harus muncul agar nilai slope dapat dihitung. Apabila data pengamatan untuk variabel bebas/prediktor (variabel X) tidak mengikutkan nilai 0 (atau mendekati 0), maka peneliti perlu berhati-hati dalam memaknai intersep. Apabila tetap dipaksakan untuk memaknai intersep tanpa didukung oleh latar belakang keilmuan untuk kasus yang diteliti, dikuatirkan akan melanggar aturan dari penggunaan persamaan regresi, yaitu bahwa persamaan regresi tidak dapat digunakan untuk memprediksi nilai variabel respon (variabel Y) secara ekstrapolasi. Hal ini disebabkan karena kita tidak tahu apakah bentuk hubungan antara variabel respon dan prediktor juga masih berbentuk linier apabila nilai pengamatan variabel prediktor diperluas hingga mendekati nilai 0. Dalam hal ini, peneliti dituntut memahami secara lebih mendalam mengenai latar belakang keilmuan dari kasus yang diteliti. Biasanya, secara teoritis, para ahli suatu bidang ilmu telah menjelaskan mengenai peran intersep dalam ilmu tersebut. Misalnya dalam bidang eonomi, untuk penelitian mengenai biaya, intersep biasanya diartikan sebagai fixed cost, sedangkan slope diartikan sebagai variabel cost.

Daftar Pustaka:
1.Kutner,M.H., C.J. Nachtsheim dan J. Neter. 2004. APPLIED LINEAR REGRESSION MODELS. International Edition. The McGraw-Hill Companies,Inc. Singapore.
2.Literatur lain yang tidak dapat disebutkan satu-persatu.

Asumsi Kenormalan Pada Error Model Regresi Linier

Seperti yang telah diketahui bersama, model regresi mengasumsikan bahwa error menyebar mengikuti sebaran (distribusi) normal, dengan rata-rata nol dan simpangan baku tertentu. Pertanyaannya, bagaimanakah cara menguji asumsi kenormalan dari error model regresi. Setidaknya ada dua cara yang dapat dilakukan, yaitu dengan menggunakan statistik uji dan dengan grafis. Nah, sekarang kita diskusikan mengenai pengecekan asumsi kenormalan error model regesi dengan metode grafis.

Dalam praktek, error dari model regresi tidak dapat (atau sangat sulit) diketahui. Sebagai gantinya, kita dapat menguji asumsi kenormalan error model regresi dengan menggunakan nilai residual.
Terdapat beberapa alat yang bisa digunakan untuk memeriksa apakah residual menyebar normal atau tidak, misalnya dengan histogram, QQ-plot, dll. Disini hanya akan dibahas pemeriksaan kenormalan residual dengan histogram dan QQ-plot. Sedangkan data yang digunakan adalah data simulasi yang dibangkitkan (generated) dengan menggunakan software R. Dalam kasus ini dibangkitkan data yang menyebar Normal dengan rata-rata nol dan simpangan baku 1. Pembaca boleh membangkitkan sembarang data yang menyebar normal, asalkan memiliki rata-rata nol.

1. Menggunakan Histogram
Apabila residual mengikuti sebaran normal, maka bentuk histogram akan simetris/mendekati simetris (seimbang), dimana sebagian besar data akan terpusat ditengah-tengah histogram. Hal ini ditunjukkan dengan nilai-nilai frekuensi yang besar berada di tengah-tengah histogram. Perhatikan bahwa histogram terpusat di sekitar titik 0, yang menunjukkan bahwa residual memiliki rata-rata nol.

2. Menggunakan QQ-Plot (Quantile-Quantile Plot)
QQ plot akan membentuk plot antara nilai-nilai quantil teoritis (sumbu x) melawan nilai-nilai quantil yang didapat dari sampel (sumbu y). Apabila plot dari keduanya berbentuk linier (dapat didekati oleh garis lurus), maka hal ini merupakan indikasi bahwa residual menyebar normal. Pada gambar di bawah ini, plot dari keduanya berbentuk linier sehingga dapat didekati oleh garis lurus warna biru. Dengan demikian dapat dikatakan bahwa residual menyebar normal.
Seringkali ditemui bahwa ujung-ujung plot pada QQ-plot agak menyimpang dari garis lurus. Pembaca janganlah merasa bahwa hal tersebut adalah hal serius. Bila pola-pola titik yang terletak selain di ujung-ujung plot masih berbentuk linier, meskipun ujung-ujung plot agak menyimpang dari garis lurus, kita dapat mengatakan bahwa sebaran data (dalam hal ini residual) adalah menyebar normal.

Untuk mendapatkan tulisan ini beserta gambar grafiknya.

Daftar Pustaka:
1. Johnson, R.A. dan D.W. Wichern. 2002. APPLIED MULTIVARIATE STATISTICAL ANALYSIS. Fifth Edition. Prentice-Hall, Inc. New Jersey.
2. Kutner, M.H., C.J. Nachtsheim dan J. Neter. 2004. APPLIED LINEAR REGRESSION MODELS. International Edition. Fourth Edition. The McGraw-Hill Companies, Inc. Singapore.
3. Dan literatur-literatur lain.

Heteroskedastisitas

Salah satu asumsi regresi linier yang harus dipenuhi adalah homogenitas ragam dari error (homoskedastisitas; homoscedasticity). Homoskedastisitas berarti bahwa ragam dari error bersifat konstan. 

Salah satu statistik uji yang dapat digunakan untuk menguji apakah ragam dari error bersifat homoskedastik atau tidak adalah Breusch-Pagan Test.

Menurut Kutner, dkk (2004), uji ini mengasumsikan bahwa komponen error adalah independen dan tersebar normal. Selain itu, ragam dari error berhubungan dengan level dari variabel bebas X yang dirumuskan sebagai berikut:

ln sigma_sq = b0 + b1X1 + b2X2 + …

Untuk menghitung Breusch-Pagan Test, langkah yang harus dilakukan adalah melakukan regresi e_sq (sbg var terikat Y) terhadap variabel X (sebagai variabel independen, bebas). Kemudian mengambil nilai Jumlah Kuadrat Regresi (JKR) serta Jumlah Kuadrat Galatnya (JKG) untuk dimasukkan ke dalam rumus:

BP = (0.5*SSR) / ((JKG/n)^2)

BP mengikuti sebaran chi-square, dengan derajat bebas db = banyaknya var bebas yang diikutsertakan (tidak termasuk intersep).

Keterangan:

BP = nilai statistik uji Breusch-Pagan Test

ln = logaritma natural

sigma_sq = nilai ragam error

e_sq = error kuadrat.

Pada proses perhitungan, e_sq adalah nilai residual kuadrat dari model regresi Y = b0 + b1X1 + b2X2 + …

Daftar Pustaka:

Hothorn, T., A. Zeileis, G. Millo dan D. Mitchell. 2007. Breusch-Pagan Test help page. R Software.

Kutner, M.H., C.J. Nachtsheim dan J. Neter. 2004. Applied Linear Regression Models. Fourth Ed. The McGraw-Hill Company, Inc. New York.

Multikolinieritas

Multikolinieritas adalah suatu kondisi dimana terjadi korelasi yang kuat diantara variabel-variabel bebas (X) yang diikutsertakan dalam pembentukan model regresi linier. Jelas bahwa multikolinieritas adalah suatu kondisi yang menyalahi asumsi regresi linier. Tentu saja, multikolinieritas TIDAK MUNGKIN TERJADI apabila variabel bebas (X) yang diikutsertakan hanya satu.

Ciri-ciri yang sering ditemui apabila model regresi linier kita mengalami multikolinieritas adalah:

1. Terjadi perubahan yang berarti pada koefisien model regresi (misal nilainya menjadi lebih besar atau kecil) apabila dilakukan penambahan atau pengeluaran sebuah variabel bebas dari model regresi.
2. Diperoleh nilai R-square yang besar, sedangkan koefisien regresi tidak signifikan pada uji parsial.
3. Tanda (+ atau -) pada koefisien model regresi berlawanan dengan yang disebutkan dalam teori (atau logika). Misal, pada teori (atau logika) seharusnya b1 bertanda (+), namun yang diperoleh justru bertanda (-).
4. Nilai standard error untuk koefisien regresi menjadi lebih besar dari yang sebenarnya (overestimated)

Untuk mendeteksi apakah model regresi kita mengalami multikolinieritas, dapat diperiksa menggunakan VIF. VIF merupakan singkatan dari Variance Inflation Factor. Nilai VIF > 10 berarti telah terjadi multikolinieritas yang serius di dalam model regresi kita.

Daftar Pustaka:

Gujarati, D. 1991. Ekonometrika Dasar. Penerbit Erlangga. Jakarta.

Kutner, M.H., C.J. Nachtsheim dan J. Neter. 2004. Applied Linear Regression Models.         Fourth Ed. The McGraw-Hill Company, Inc. New York.

Analisis Regresi (Sebuah Pengantar)

 Salah satu teknik analisis data yang sedang ngetrend belakangan ini adalah regresi. Regresi adalah salah satu metode peramalan yang dikenal dalam statistic. dalam dunia pendidikan, regresi sangat sering digunakan oleh mahasiswa yang sedang menyelesaikan tugas akhir.

Analisis regresi berguna untuk mengetahui pengaruh antara variable bebas (yang juga dikenal dengan prediktor) yang disimbolkan dengan X dan variable terikat (yang juga dikenal dengan kriterium) yang disimbolkan dengan Y.

Istilah variable bebas dan variable terikat berasal dari matematika. Dalam penelitian, variable bebas adalah variable yang dimanipulasikan oleh peneliti. Misalnya seorang peneliti di bidang pendidikan yang mengkaji akibat dari berbagai metode pengajaran. Peneliti dapat menentukan metode (sebagai variable bebas) dengan menggunakan berbagai macam metode. Dalam bahasa yang lebih lugas, variable bebas adalah variable yang meramalkan sedangkan variable terikat adalah variable yang diramalkan. Variable terikat adalah akibat yang di duga mengikuti perubahan dari variable bebas.

Sebagai contoh, misalnya kita mengkaji tentang hubungan antara kecerdasan dan prestasi sekolah, maka kecerdasan adalah variable bebas dan prestasi sekolah adalah variable terikat. Jika kita meneliti hubungan antara merokok dan penyakit kanker, maka merokok adalah variable bebas dan penyakit kanker adalah variable terikat.

Dalam melakukan penentuan variable bebas dan variable terikat harus dilandasi dengan teori yang kuat. Hal ini karena statistic tidak dapat membedakan data yang memiliki teori dengan data yang tidak berteori. Jika data yang kita gunakan tidak memiliki landasan teori yang kuat, maka kesimpulan yang kita ambil akan sangat menyesatkan. Misalnya, kita memprediksi prestasi belajar dengan hasil panen padi. Secara statistic, bisa jadi prestasi belajar dipengaruhi oleh panen padi. Akan tetapi dalam kenyataannya, hasil analisis ini tidak dapat dibuktikan.

Model regresi bermacam-macam. Misalnya, regresi linear, regresi parabola, regresi hiperbola, regresi fungsi pangkat tiga dan lain-lain. Akan tetapi, regresi yang paling sering digunakan adalah regresi linear. model regresi linear dapat dituliskan dalam bentuk matematis sebagai berikut:

β0 = intersep Y untuk populasiβ0 = slope untuk populasi
ε = random error dalam Y untuk observasi ke-i

Dalam menentukan persamaan model regresi linear sederhana diperlukan metode tertentu. Metode yang paling sering digunakan adalah metode kuadrat terkecil (Least Square method). Pada dasarnya, least square method adalah metode meminimasi persamaan kuadrat. Dengan meminimasi persamaan kuadrat tersebut, maka akan didapatkan nilai untuk slope dan nilai untuk intersep yang akan membuat persamaan itu menjadi yang paling baik.

Misalnya, jika kita ingin meramal hubungan antara intelejensi dan prestasi belajar. Dengan menggunakan metode regresi linear sederhana, kita mendapatkan persamaan sebagai berikut:
Y = 2,55 + 0,93 (X) Maka 2,55 disebut intersep dan 0,93 disebut slope. Slope sebesar 0,93 berarti bahwa setiap peningkan 1 unit X (intelejensi), maka diperkirakan akan terjadi peningkatan sebesar 0,93 pada prestasi belajar. Nilai 2,55 melambangkan prestasi belajar. Kita bisa gunakan model regresi yang telah kita hasilkan tersebut untuk memprediksi prestasi belajar seorang anak apabila dia memiliki intelejensi tertentu.

Autokorelasi

Autokorelasi dalam konsep regresi linier berarti komponen error berkorelasi berdasarkan urutan waktu (pada data time-series) atau urutan ruang (pada data cross-sectional).

Contoh data timeseries (terdapat urutan waktu) misalnya pengaruh biaya iklan terhadap penjualan dari bulan januari hingga bulan desember. Sedangkan data cross-sectional adalah data yang tidak ada urutan waktu, misal pengaruh konsentrasi zat X terhadap kecepatan reaksi suatu senyawa kimia.

Untuk mendeteksi ada atau tidaknya autokorelasi, dapat dilakukan dengan menggunakan statistik uji Durbin-Watson. Apabila nilai D-W berada di sekitar angka 2, berarti model regresi kita aman dari kondisi autokorelasi.

Daftar Pustaka:

Gujarati, D. 1991. Ekonometrika Dasar. Penerbit Erlangga. Jakarta.

Kutner, M.H., C.J. Nachtsheim dan J. Neter. 2004.

Applied Linear Regression Models. Fourth Ed. The McGraw-Hill Company, Inc. New York.