tugas ke 4 evaluasi program pendidikan

PENGUKURAN

Reza Aminy

reza@systemicgroup.com

s129002kl@yahoo.com

PENGUKURAN (1)

• Pengukuran adalah proses pemberian angka2 atau label kepada unit analisis untuk merepresentasikan atribut2 konsep. Proses ini seharusnya cukup dimengerti orang walau misalnya definisinya tidak dimengerti. Hal ini karena antara lain kita sering kali melakukan pengukuran.

• Contoh:
• Angka: “IP rotring/korelasi”
• Label: “restoran enak”, “restoran enak banget”

PENGUKURAN (2)

• Pengukuran sehari-hari vs. pengukuran dalam penelitian sosial  intuisi vs. aturan2 rinci

• Metode dan prosedur dalam penelitian harus dirinci dengan gamblang agar:
• orang-orang bisa menilai benar-ngawurnya penelitian kita
• penelitian bisa diulang orang lain.

PENGUKURAN (3)

• Dua langkah awal dalam proses pengukuran:
• Konseptualisasi
• Operasionalisasi

Proses Pengukuran: Konseptualisasi (1)

• Konseptualisasi adalah proses formulasi & penjelasan dari konsep.

• Sebuah konsep dapat mengacu pada kategori tunggal (misalnya “pria”) atau pada beberapa kategori (misalnya “gender”: pria, wanita, dll.). Nilai untuk tiap kategori harus beda.

• Banyak konsep yang tidak bisa langsung diamati. Misalnya mau ngukur kebohongan.

Proses Pengukuran: Konseptualisasi (2)

• Cek detak jantungnya, tekanan darah, breathing rate, dsb.

• Ini kemudian mengarah pada salah satu aspek konseptualisasi  analisa konsep yang kompleks menjadi komponen2/dimensi2:
• membantu membentuk pertanyaan penelitian dan hipotesis yang lebih ‘refined’
• sering menunjukkan perwujudan konkrit dari konsep

Proses Pengukuran: Konseptualisasi (3)

• Menentukan manifestasi2/perwujudan2 dari konsep ini merupakan langkah selanjutnya setelah konseptualisasi.

• From a language of concepts to a language of variables, dari yang abstrak ke yang lebih observable, dari conceptual definitions ke operational definitions.

Proses Pengukuran: Operasionalisasi (1)

• Contoh:
• “Pokoknya aplikasinya musti bagus”. Konsep “bagus” itu apa? Misalnya komponen2nya adalah informasi (complete, accurate, relevant, timely, appropriately displayed/CARTA), response time, processing time, availability, security features, navigability, dsb.
• efektif-efisien: input, output, waktu, dsb.

Proses Pengukuran: Operasionalisasi (2)

• Terlihat bahwa definisi operasional ini tergantung pada penerjemahan konsep dan penerjemahan ini diusahakan setepat mungkin  (cuma) indikator.

• Karena kadang2 ada error2 dikit atau tidak tepat 100%-nya penerjemahan konsep, seringkali digunakan multiple indicators.

• Membantu penerjemahan: relevant theory, good judgement, & creative insights.

Proses Pengukuran: Operasionalisasi (3)

• Tips bikin operational definition:
• Remember the conceptual definition
• Keep an open mind (be creative).
• Borrow from others. Good ideas for measures can be found in other studies or modified from other measures. Credit must be given.
• Anticipate difficulties.
• Remember the units of analysis.

Definisi operasional dalam penelitian sosial (1)

• Manipulasi terhadap variabel dan/atau pengukuran terhadap variabel

• Pengukuran (pengumpulan data):
• Verbal/self reports
• Observation
• Archival records

Definisi operasional dalam penelitian sosial (2)

• Verbal/self reports
• Respon terhadap stimulus. Stimulus bisa pertanyaan, bisa gambar, bisa barang, dsb. Respon bisa panjang atau pendek/isian jika tidak diberi pilihan jawaban, atau diberi pilihan jawaban dari dua sampai banyak.

Definisi operasional dalam penelitian sosial (3)

• Composite measures: jawaban sekian pertanyaan dijadikan indeks/skala.

• Karena kalo pertanyaannya berbeda jawaban beda, wording dalam pertanyaan sangat penting.

Definisi operasional dalam penelitian sosial (4)

• Contoh indeks 1: Hulk film score by Danny Elfman
• Scorereviews.com: ****
• Cinemusic.net: ****
• Filmtracks: **
• Unweighted score: (4 + 4 + 2)/3 = 3.3 (lebih ke: biasa)
• Bobot 1 = 10, bobot 2 = 10, bobot 3 = 1. Weighted score: (40 + 40 + 2)/(10 + 10 + 1) = 3.9 (lebih ke: bagus)

Definisi operasional dalam penelitian sosial (5)

• Contoh indeks 2: IP

• Contoh skala: Bagi saya makanan di fasilkom:
• Sangat enak (5)
• Enak (4)
• Biasa (3)
• Tidak enak (2)
• Sangat tidak enak (1)

• Misalnya hasilnya sekian: 1.) di atas atau di bawah mean teoretis, 2.) ada di kelas mana.

Definisi operasional dalam penelitian sosial (6)

• Observation
• Firsthand observation atau menggunakan kamera, recorder, log, dsb.

• Archival records
• Statistical records
• Public and private documents
• Mass communications, dsb.

Level of Measurement (1)

• Nominal measurement, Misalnya pria-wanita. Kategori2 harus exhaustive (ngga ada sisa) dan mutually exclusive (ngga ada irisan). Makin banyak kategori makin refined.

• Ordinal measurement, urutan misalnya makanan ngga enak, biasa, enakkk banget

• Interval measurement, misalnya suhu

• Ratio measurement, misalnya uang

Level of Measurement (2)

Information provided

Nomi-nal

Ordi-nal

Inter-val

Ratio

Classification

x

x

x

x

Rank order

x

x

x

Equal intervals

x

x

Nonarbitrary zero

x

Reliabilitas dan Validitas (1)

• Bagaimana mengukur kualitas dari definisi operasional yang dipilih?  reliability (reliabilitas, keterandalan) & validity (validitas, kesahihan).

Reliabilitas dan Validitas (2)

• Reliabilitas  stabilitas, konsistensi.
• Process & content: Apakah definisi operasional mengukur sesuatu secara konsisten, apapun yang diukur itu? Apakah jika pengukuran dilakukan dalam kondisi yang mirip, hasilnya akan sama?
• Apakah komponen respon/item konsisten satu dengan yang lain?

Reliabilitas dan Validitas (3)

• Validitas  kesesuaian antara definisi operasional dengan konsep yang mau diukur.
• Apakah definisi operasional benar2 merefleksikan konsep? Apakah pengukuran yang dilakukan benar2 mengukur apa yang mau diukur?

• Contoh: power test vs. speed test.

• Alat ukur yang tidak reliabel pasti tidak valid.
• Alat ukur yang reliabel belum tentu valid.

Reliabilitas dan Validitas (4)

• Internal validity: there are no errors internal to the design of the research project. It is used primarily in experimental research to talk about possible errors or alternative explanations of results that arise despite attempts to institute controls.

• External validity: a concern with the question of whether the results of a study can be generalized beyond the specific research context in which it was conducted; the ability to generalize findings from a specific setting and small group to a broad range of settings and people.

Reliabilitas dan Validitas (5)

• Ecological validity: a concern with the question of whether social scientific findings are applicable to people’s everyday natural social settings.

• Statistical validity: the correct statistical procedure is chosen and its assumptions are fully met. Contoh: MK A = 1 (3 orang), MK B = 2 (3 orang), MK C = 3 (1 orang). Rata2nya = 3 + 6 + 3 / 6 = 2. Level of measurement ordinal ngga bisa pake rata2.

Reliabilitas dan Validitas: Sumber2 Error (1)

• Observed value = true value + systematic error + random error

• True value adalah variasi yang sebenarnya yang mau diukur. Variasi yang tidak disebabkan karena perbedaan true value dari objek2/subjek2 yang diteliti  di-label sebagai error.

• Contoh: hasil tes untuk melihat penguasaan materi.

Reliabilitas dan Validitas: Sumber2 Error (2)

• Systematic error. Muncul dari faktor2 yang secara sistematis mempengeruhi proses pengukuran dan/atau konsep yang mau diukur.

• Contoh:
• Tes2 IQ berbahasa Inggris untuk orang Amerika kalo dikerjakan oleh orang non-Amerika.
• Hasil tes untuk melihat penguasaan materi: pokok bahasan dan tes ngga matched  skor rendah.

Reliabilitas dan Validitas: Sumber2 Error (3)

• Penting diperhatikan (!) dalam pengambilan data:
• Social facilitation  reactive measurement effect. Contoh: motret tanpa film.
• Social desirability effect, faking good-bad. Contoh: desa terbelakang yang mendapat bantuan pemerintah. “Apa pendapat Anda mengenai Indonesia?”
• Acquiescence response set  tidak mendapat jawaban yang sebenarnya. Efek social conformity? Jenis-jenis pengaruh? Contoh: capek di rapat atau capek menjawab pertanyaan. Aktivitas terganggu oleh telepon.

Reliabilitas dan Validitas: Sumber2 Error (4)

• Systematic errors differ from the true value of a variable by a constant amount, they bias measurements in a particular direction, underestimating or overestimating the true value, which affects their accuracy or validity. Because of their constancy, however, systematic errors do not adversely affect reliability.

Reliabilitas dan Validitas: Sumber2 Error (5)

• Random measurement error. It is the result of temporary, chance factors, such as transitory upswings and downswings in the health and mood of subjects and respondents, temporary variations in the administration or coding of a research measure, or momentary investor fatigue.

• Because they are unsystematic, random errors tend to cancel each other out with repeated measurements. Thus, they do not bias the measure in a particular direction.

Reliabilitas dan Validitas: Pengukuran Reliabilitas (1)

• Test-retest reliability. Mengukur subjek2/objek2 yang sama pada dua kesempatan yang berbeda. Scores dari pengukuran yang pertama dikorelasikan dengan scores pengukuran kedua  korelasi yang range-nya 0 (mengindikasikan pengukuran yang sama sekali tidak reliabel dan total random error) sampai 1 (mengindikasikan perfect reliability dengan random error 0). Untuk test-retest reliability, 0.8 boleh lah sebagai rule of thumb, korelasi di bawah 0.8 terlalu rendah.

• Permasalahan dengan test-retest reliability.

Reliabilitas dan Validitas: Pengukuran Reliabilitas (2)

• Split-half and internal consistency reliability/internal reliability. Karena mengukur konsep yang sama, items seharusnya konsisten/selaras/kompak yang berarti reliabilitasnya tinggi  item2 yang homogen, unidimensional.

• Items dari skala dibagi dua dan diperlakukan seperti dua pengukuran yang berbeda dst.

• Untuk konsep yang multidimensional, setiap dimensi misalnya diukur dengan a set of items yang homogen

Reliabilitas dan Validitas: Pengukuran Reliabilitas (3)

• Intercoder/Interrater reliability. Dengan asumsi penilai2 sudah cukup dilatih menggunakan alat, mustinya hasil penilaian sama. Contoh: nilai pesenam atau peloncat indah, jangan jauh2 beda nilainya. Aspek yang dinilai tidak sama?

• Hukum bilangan besar  objektif.

Reliabilitas dan Validitas: Pengukuran Reliabilitas (4)

• Cara-cara meningkatkan reliabilitas:
• Exploratory studies, preliminary interviews, ujicoba, terhadap subjek2/objek2 dengan karakteristik sama dengan target aktual.
• Menambah jumlah item. With repeated measurements, random errors will cancel out each other. Smakin besar jumlah sampel (sampai jumlah tertentu) yang representatif dengan populasi yang mau diukur, makin reliabel.
• Analisa item satu2. Item dengan nilai diskriminasi jelek dibuang; skor random atau ngga bisa membedakan subjek dilihat dari hal yang diukur. Corrected item-total correlation.
• Cek masalah pengadministrasian pengukuran, instruksi, dsb.

Reliabilitas dan Validitas: Pengukuran Validitas (1)

• Mengukur reliabilitas lebih gampang karena pengukuran ini independen terhadap content. “Apakah definisi operasional mengukur sesuatu secara konsisten, apapun yang diukur itu?”

• Validity cannot be assessed directly. If we knew a case’s true value on a variable independent of a given measure then there would be no need for the measure.

• Mengukur validitas:
• Secara subjektif mengevaluasi apakah definisi operasional benar2 mengukur apa yang mau diukur
• Membandingkan hasil pengukuran dengan hasil pengukuran lain, baik yang berhubungan atau tidak.

Reliabilitas dan Validitas: Pengukuran Validitas (2)

• Subjective validation. Dua pengukuran validitas berdasarkan evaluasi subjektif terhadap definisi operasional:
• Face validity
• Content validity.
• Dua2nya kurang diterima, tapi dapat membantu mengarahkan.

• Face validity: pertimbangan subjektif mengenai validitas (mengukur apa yang hendak diukur) berdasarkan yang tampak.

Reliabilitas dan Validitas: Pengukuran Validitas (3)

• Content validity: mengukur apakah semua aspek dari konsep sudah terukur. Contoh: pokok bahasan validitas dan reliabilitas tapi yang banyak ditanya adalah cara menghitung reliabilitas, misalnya ada konsep2 validitas yang tidak diujikan  content validity agak kurang.

• To demonstrate content validity, one must be able to identify clearly the components of the total domain and then show that the test items adequately represent these components.

Reliabilitas dan Validitas: Pengukuran Validitas (4)

• Criterion-related validation. Mengukur kemampuan suatu pengukuran sebagai indikator dari suatu tingkah laku atau sifat yang spesifik. Hal yang penting adalah keakuratan indikator. Contoh: intensi nyontek.

• Pengukuran dapat mengindikasikan posisinya saat ini atau di masa yang akan datang. Contoh: nilai NEM dengan kemungkinan masuk PTN.

Reliabilitas dan Validitas: Pengukuran Validitas (5)

• Concurrent validity. Contoh: pengukuran baru ketertarikan pada kuliah. Alat baru dites dengan data variabel absen/bolos. Liat perbedaan antara mahasiswa2 yang menurut pengukuran sangat tertarik pada kuliah dengan mahasiswa2 yang menurut pengukuran tidak tertarik pada kuliah, dalam hal bolos. Kalau tidak ada beda, jangan2 pengukuran baru tersebut gak valid.

• Predictive validity. Kalo variabel yang digunakan belum terjadi. Contoh: blum ada data bolos.

Reliabilitas dan Validitas: Pengukuran Validitas (6)

• Construct validation. Construct: a concept developed for scientific purposes.

• Construct validity, apakah alat sudah mengukur konsep/konstruk yang mau diukur?

• Construct validity is based upon an accumulation of research evidence.

Reliabilitas dan Validitas: Pengukuran Validitas (7)

• Empat jenis evidence yang biasa digunakan untuk menentukan construct validity:
• Correlations with related variables (variabel lain).
• Consistency across indicators and different methods of measurement (pengukuran lain). Satu konsep bisa saja diukur dengan berbagai alat (self-reports, observation, archival records). Kalo setiap alat konsisten pengukurannya (sama2 tinggi, sama2 sedang, sama2 rendah skornya), maka valid  convergent validity, karena converge on the same underlying concept.

Reliabilitas dan Validitas: Pengukuran Validitas (8)

• Correlations with unrelated variables. Korelasi dengan variabel lain musti jangan terlalu tinggi, kalo alat ngga jelas mengukur A atau B, validitasnya rendah; alat harus memperlihatkan bahwa ia mampu membedakan seseorang dalam konsep yang diukur  discriminant validity. Contoh: Zick Rubin’s love scale dan liking scale.
• Differences among known groups (pengukuran sama, subjek beda). Contoh: Dogmatism scale  score pengukuran dari kelompok orang yang dinilai close-minded harusnya beda dengan score pengukuran dari orang yang dinilai tidak close-minded.

Sumber Bahan

• Bryman, Alan. (2001). Social Research Methods. New York: Oxford University Press.

• Neuman, W. Lawrence. (2003). Social Research Methods: Qualitative and Quantitative Approaches. Fifth Edition. Singapore: Allyn and Bacon.

• Singleton Jr., Royce A. & Bruce C. Straits. (1999). Approaches to Social Research. Third edition. New York: Oxford University Press.