ANALISIS DISKRIMINAN LINEAR

(Linear Discriminant Analysis)

Oleh: Fitri Ramadhini

ANALISIS DISKRIMINAN LINEAR , dalam Pembahasan kali ini, Jika ada prediktor X dan variabel kelas Y, regresi logistik memodelkan peluang bersyarat Y terhadap X atau  menggunakan fungsi logistik. Analisis diskriminan linear atau linear discriminant analysis (LDA) memodelkan distribusi X untuk masing-masing kelas Y dan kemudian menggunakan teorema Bayes, yaitu menentukan fungsi kepekatan dari masing-masing kelas yang kemudian digabungkan dengan informasi prior untuk menghasilkan peluang bersyarat kelas Y terhadap X atau . Suatu amatan akan dikelaskan pada kelas ke-k jika peluang bersyaratnya memiliki nilai terbesar dibanding kelas-kelas yang lainnya.

lihat juga :

ANALISIS REGRESI

ANALISIS KORELASI

ANALISIS TIME SERIES

Keunggulan LDA dibanding Regresi Logistik

James et al, 2013 menyatakan bahwa ada beberapa alasan memilih LDA dibanding regresi logistik dalam analisis klasifikasi, yaitu:

1. Ketika suatu kelas benar-benar terpisah, dugaan parameter model regresi logistik menjadi tidak stabil.
2. Jika banyaknya pengamatan kecil dan distribusi dari prediktor X mendekati normal pada setiap kelas, LDA menjadi lebih stabil dibanding model regresi logistik.
3. LDA lebih banyak digunakan jika variabel Y memiliki lebih dari dua kelas.

Teorema Bayes dalam Pengklasifikasian

Misal  merupakan peluang keseluruhan atau prior dari pengamatan kelas ke-, dengan . Nilai  memenuhi

yang dapat diduga dengan

dan  merupakan fungsi kepekatan X dari amatan kelas ke-k, dengan kata lain  relatif besar jika mempunyai peluang yang tinggi bahwa suatu pengamatan di kelas ke-k memiliki , dan  relatif kecil jika suatu pengamatan di kelas ke-k tidak memiliki , maka teorema Bayes dalam hal ini adalah (James et al, 2013):

Dengan  adalah posterior probability sebuah amatan dengan prediktor  merupakan amatan kelas ke-, yang berarti peluang suatu amatan merupakan kelas ke- jika diberikan prediktor  pada amatan tersebut. Hal ini berdasarkan konsep maximum a posteriori sebagai berikut (Sartono, 2018):

Untuk kasus dua kelas, misalnya kelas 0 dan kelas 1, maka:

 jika 

dan

 jika 

Prediksi dengan LDA (untuk )

    Jika suatu data memiliki 1 prediktor (), untuk mengklasifikasikan suatu amatan pada kelas ke- yang diberikan prediktor  dimana nilai  merupakan nilai terbesar, diperlukan dugaan terhadap . Fungsi kepekatan  dari amatan kelas ke-,  dengan 1 prediktor diasumsikan berdistribusi normal:

Dimana  dan  adalah rataan dan variansi dari parameter untuk kelas ke- serta  yang artinya antar kelas memiliki variansi yang homogen sehingga diperoleh:

Dengan menggunakan konsep maximum a posteriori,

Karena logaritma merupakan fungsi yang monoton naik, maka dapat juga dituliskan

Bayes Classifier akan mengklasifikasikan amatan  ke kelas  yang memaksimumkan nilai . Hal ini ekivalen dengan nilai terbesar dari

Metode LDA dilakukan dengan pendekatan dari Bayes Classifier dengan memasukkan dugaan dari parameter  dan  ke , yaitu:

Dengan

    : jumlah amatan kelas ke-, dengan 

    : jumlah seluruh amatan

Diperoleh

 adalah fungsi diskriminan. James et al, 2013 menyatakan bahwa kata ‘linear’ dalam LDA dari fungsi diskriminan  yang merupakan fungsi linear dari . LDA mengklasifikasikan amatan  ke kelas  yang memaksimumkan nilai .

Prediksi dengan LDA ( untuk )

    LDA dengan prediktor lebih dari satu mengasumsikan  berdistribusi multivariate normal sehingga:

Dengan  adalah vektor rataan, dan  adalah matriks varian-kovarian dengn 
(homogen) sehingga diperoleh (nilai dugaan parameter analog dengan mencari dugaan parameter LDA dengan ):

LDA mengklasifikasikan amatan  ke kelas  yang memaksimumkan nilai .