Data dan Informasi

Jumlah Kandidat selama ini
Mengenai hubungan dengan TOEIC® dan skor referensi
Menghubungkan Nilai CASEC untuk tingkat CEFR
Mengenai hubungan antara TOEFL iBT® dan skor referensi
Theses
IRT and CAT-related books

Jumlah Kandidat selama ini

Sejak beroperasi penuh di Oktober 2001, total akumulasi jumlah candidate / pengguna CASEC adalah 1,518,551 (per akhir Maret 2015).

Jumlah kandidat CASEC
(akumulasi angka dan figur tahun demi tahun).

Jumlah kandidat: 1,518,551 (per akhir Maret 2015).

Mengenai hubungan dengan TOEIC® dan skor referensi

Mengenai skor referensi TOEIC®

Ketika CASEC menampilkan hasilnya, skor referensi TOEIC® juga akan ditampilkan.
Perolehan skor referensi TOEIC®dari skor terakhir TOEIC® (yang dilaporkan sendiri) yang diambil dari kuesioner yang pernah dikerjakan oleh kandidat CASEC sebelumnya.

Metode Pengumpulan Data dan Bahan Analisa

CASEC meminta para kandidat untuk mengisi kuesioner sederhana sebelum tes. Hubungannya dengan total skor CASEC diperiksa dengan menghitung nilai TOEIC®masa lalu (dilaporkan sendiri) yang diambil dari kuesioner yang secara sukarela dikerjakan oleh kandidat di periode 1 Jan 2007 – 31 Dec 2009.
Apabila jumlah jawaban benar di bagian 1 – 3, yang terdiri dari pertanyaan pilihan ganda, adalah “0” untuk tes CASEC, dan skor tidak realistik TOEIC®diberikan untuk kuesioner tes CASEC, data tersebut dikeluarkan dari analisis kami.
Dan juga, untuk kandidat yang mengambil beberapa tes CASEC, hanya hasil terbaru yang digunakan.
Pada akhirnya, analisis dilakukan berdasarkan 19,167 set data.

Perbandingan table Skor CASEC dan skor referensi TOEIC®

Skor referensi TOEIC®berasal dari perhitungan skor TOEIC® setara untuk setiap skor CASEC berdasarkan dari hasil perhitungan tersebut. Dan juga, responden dengan deviasi dari 100 atau di bawahnya untuk skor referensi mereka dan perhitungan skor yang dilaporkan sendiri dari 72% total populasi survei.

Referensi: Grafik Penyebaran untuk total nilai CASEC dan nilai TOEIC® hasil pelaporan sendiri

Tersebarnya grafik di sebelah kanan menunjukkan hubungan antara total nilai CASEC dan nilaiTOEIC® hasil pelaporan sendiri bagi kandidat CASEC yang mana dia telah melaporkan nilai TOEIC® mereka pada saat tes.
Koefisien korelasi untuk total nilai CASEC in dan nilai TOEIC® hasil pelaporan sendiri adalah 0.84.

Referensi: Distribusi nilai TOEIC® hasil pelaporan sendiri dari total nilai grup CASEC

Berdasarkan total nilai CASEC, kandidat dibagi menjadi 10 grup: 0 – 100, 101 – 200... 901 – 1000.

Menghubungkan Nilai CASEC untuk tingkat CEFR

Mengenai CEFR

CEFR (Common European Framework of Reference) untuk Bahasa-Bahasa: Belajar, Mengajar, Penilaian (Dewan Eropa, 2001) menggambarkan kemampuan berbahasa asing di enam tingkat, dimulai dari A1 (pemula) ke C2 (yang paling mahir). Setiap tingkat didefinisikan dengan apa yang bisa dipelajari oleh pelajar dan mempraktekkan penggunaan bahasa asing di dunia nyata. CEFR dikembangkan oleh Dewan Eropa, dan sekarang diakui tidak saja hanya di Eropa tapi juga di berbagai belahan dunia sebagai salah satu standar internasional skala kemampuan berbahasa asing. Praktisi pengajaran bahasa menggunakan CEFR sebagai referensi untuk desain kurikulum bahasa, pengembangan materi dan perbandingan ujian-ujian yang berbeda seperti TOEIC® and TOEFL®. CEFR juga berguna untuk memperkerjakan dan melatih karyawan baru.

Corresponding ranges for CASEC and TOEFL iBT® reference Skors

Menghubungkan nilai CASEC ke CEFR

[ Prosedur ]

Kami mengikuti prosedur yang direkomendasikan dalam Relating Language Examinations ke CEFR untuk Bahasa-bahasa: Belajar, Mengajar, Manual Penilaian (CEFR) (Dewan Eropa, 2009).

(1) Sosialisasi (Anggota proyek dan panelis membiasakan diri mereka dengan CEFR dan prosedur yang berkaitan).
(2) Spesifikasi (analisis isi tes CASEC dan relevansinya dengan CEFR).
(3) Standarisasi Pelatihan dan Benchmarking (Melatih panelis untuk mengembangkan tingkat-tingkat CEFR).
(4) Standar Pengaturan (Panelis menghubungkan satu set CASEC ke tingkat-tingkat CEFR dan memutuskan garis perbatasan antara tingkat-tingkat).
(5) Validasi (Analisis dan Refleksi dari keseluruhan proses dan hasil).

Catatan: Kami memutuskan untuk tidak menyertakan Bagian 4 ke dalam proses yang berkaitan pada saat ini karena karakteristik dari format tes. Sementara CEFR mendefinisikan kemahiran berbahasa seorang pelajar Bahasa dapat menggunakan bahasa asing di situasi dunia nyata, tugas untuk bagian CASEC 4 adalah dikte parsial, di mana di layar komputer peserta tes diberikan beberapa kalimat dengan beberapa kata yang dihapus, mendengarkan kalimat-kalimat itu, dan mengetik apa yang mereka telah dengar. Bagian 4 tidak begitu mensimulasikan situasi dunia nyata.

[ Hasil ]

Detil Bagian

■Bagian 1: Pengetahuan Kosa Kata

Bagian 1 Skor	Tingkat CEFR	Deskripsi
195 ～ 250	B2 atau lebih tinggi	Memiliki berbagai kosa kata yang cukup untuk memahami teks-teks yang abstrak dan jelas pada topik-topik yang akrab dan asing yang biasanya ditemui dalam kehidupan pribadi, sosial, akademik dan kejuruan.
145 ～ 194	B1	Memiliki beberapa kosa kata yang cukup untuk memahami pesan umum dan detil-detil spesifik dalam interaksi yang berkelanjutan atau percakapan tentang topik-topik berkaitan dengan kehidupan sehari-harinya.
75 ～ 144	A2	Memiliki berbagai kosa kata yang cukup untuk memahami fungsi sosial sehari-hari dan transaksi hidup sehari-hari yang melibatkan situasi dan topik-topik yang sudah biasa.
0 ～ 74	A1 atau lebih rendah	Memiliki berbagai kosa kata yang cukup untuk memahami ungkapan dasar sehari-hari, informasi pribadi, kebutuhan konkrit, dan topik-topik yang biasa.

■Bagian 2: Pengetahuan mengenai Ekspresi Kalimat dan Penggunaannya

Bagian 2 Skor	Tingkat CEFR	Deskripsi
225 ～ 250	B2 atau lebih tinggi	Memiliki berbagai kosa kata yang cukup untuk memahami teks-teks yang abstrak dan jelas pada topik-topik yang akrab dan asing yang biasanya ditemui dalam kehidupan pribadi, sosial, akademik dan kejuruan.
165 ～ 224	B1	Memiliki beberapa kosa kata yang cukup untuk memahami pesan umum dan detil-detil spesifik dalam interaksi yang berkelanjutan atau percakapan tentang topik-topik berkaitan dengan kehidupan sehari-harinya.
85 ～ 164	A2	Memiliki berbagai kosa kata yang cukup untuk memahami fungsi sosial sehari-hari dan transaksi hidup sehari-hari yang melibatkan situasi dan topik-topik yang sudah biasa.
0 ～ 84	A1 atau lebih rendah	Memiliki berbagai kosa kata yang cukup untuk memahami ungkapan dasar sehari-hari, informasi pribadi, kebutuhan konkrit, dan topik-topik yang biasa.

■Bagian 3: Kemampuan Mendengar – Memahami Ide Utama

Bagian 3 Skor	Tingkat CEFR	Deskripsi
225 ～ 250	B2 atau lebih tinggi	Dapat memahami bahasa lisan standar, secara langsung ataupun siaran, topik yang biasa dan tidak biasanya ditemui di kehidupan pribadi, sosial, akademik atau kejuruan.
200 ～ 224	B1	Dapat memahami langsung informasi faktual tentang topik-topik umum atau yang berhubungan dengan pekerjaan, mengidentifikasi pesan-pesan umum dan detil-detil spesifik.
145 ～ 199	A2	Dapat memahami kalimat-kalimat dan ekspresi yang berkaitan dengan area-area yang prioritas (misalnya informasi pribadi dan keluarga, belanja, geografi lokal, ketenagakerjaan), dengan percakapan yang jelas dan perlahan-lahan diartikulasikan.
0 ～ 144	A1 atau lebih rendah	Dapat mengikuti percakapan yang sangat lambat dan yang hati-hati diartikulasi, dengan jeda panjang untuk dia mengasimilasi arti dan makna.

Referensi

Council of Europe. (2001). Common European Framework of Reference for Bahasas: learning, teaching, assessment. Cambridge: Cambridge University Press.
Council of Europe. (2009). Relating language examinations to the CEFR: Manual. Retrieved May 6, 2014, from http://www.coe.int/t/dg4/linguistic/Source/ManualRevision-proofread-FINAL_en.pdf

Mengenai hubungan antara TOEFL iBT® dan skor referensi

Mengenai Skor Referensi TOEFL iBT®

Skor referensi TOEFL iBT® diperoleh dengan menghitung skor TOEFL® terakhir (yang dilaporkan sendiri) yang diambil dari kuesioner sukarela yang dijawab sebelumnya oleh kandidat CASEC sewaktu mereka mengerjakan tes.
Skor TOEFL iBT® dilaporkan pada skala 0 – 120 poin. Skor CASEC dilaporkan pada skala 0 – 1000 poin.

Metode Pengumpulan Data dan Bahan Analisis

CASEC meminta para kandidat untuk mengisi kuesioner sederhana sebelum tes. Hubungannya dengan total skor CASEC yang diperoleh dengan menghitung skor TOEFL® terakhir (yang dilaporkan sendiri) yang diambil dari kuesioner sukarela yang dijawab sebelumnya oleh kandidat CASEC yang mana dikerjakan antara 1 Jan 2010 – 31 Des 2012 sewaktu mereka mengerjakan tes tersebut.
Jika skor TOEFL® yang tidak realistis diberikan untuk kuesioner dalam tes CASEC ini, maka data tersebut akan dikeluarkan dari analisis kami.
Data yang diperkirakan terdiri dari skor of TOEFL® PBT telah dikonversi ke skor TOEFL iBT® menurut Tabel Perbandingan Total Skor TOEFL yang diterbitkan oleh ETS.
Bagi kandidat yang mengambil tes CASEC berkali-kali, hanya hasil tes terakhir yang digunakan.
Pada akhirnya, analisis dilakukan berdasarkan 2,024 set data.

Tabel Perbandingan untuk Skor CASEC score dan skor referensi TOEFL IBT®

Tabel Perbandingan untuk Skor CASEC score dan skor referensi TOEFL IBT®
Skor Referensi TOEFL iBT® berasal dari perhitungan skor TOEFL setara dengan setiap skor CASEC. Untuk 450 poin skor CASEC dan di bawahnya, estimasi skor rata-rata TOEFL iBT® diperkirakan kurang lebih 45 poin.
Seandainya skor CASEC 950 poin atau di atasnya, estimasi skor TOEFL iBT® diperkirakan kurang lebih 100 poin atau lebih.
Hal ini dikarenakan skor TOEFL iBT® tersedia untuk kandidat-kandidat yang mendapatkan skor CASEC 450 poin atau kurang dan 950 poin atau lebih, maka data itu akurasi rendah.

Referensi: Grafik Penyebaran untuk total skor CASEC dan skor TOEFL®

Tersebarnya grafik di sebelah kanan menunjukkan hubungan antara total skor CASEC dan skor TOEFL® untuk kandidat CASEC yang melaporkan skor TOEFL® mereka pada saat tes.
Korelasi koefisien untuk total skor CASEC dan skor TOEFL® adalah 0.63.

Relationship between CASEC Skor and TOEFL® Skor

Referensi: Distribusi skor TOEFL® dari total skor grup CASEC

Berdasarkan total skor CASEC, kandidat-kandidat dibagi menjadi 10 grup: 0 - 100, 101 - 200, ... 901 - 1000.
Distribusi skor TOEFL® oleh grup ini ditunjukkan dalam diagram kotak di sebelah kanan.

Distribution of self-reported TOEFL® Skor by CASEC total Skor group

Tesis

Title:	Cases of CAT Adaptation and Effect Measurement in English Proficiency Measurement
Author:	Norio Hayashi (director of our company)
Journal title:	Measurement and Control
Publication matter:	Vol. 40(8) / pp. 572-575 / publication date: 20100810

Title:	Practical use of computerized adaptive testing in Japan -Development and operation of “CASEC”
Authors:	N. Hayashi, Y. Nogami, K. Maeda, and H. Ikeda
Name of Society:	ICP-2004 at Beijing, China. August 13th, 2004

Buku-buku yang berhubungan dengan IRT dan CAT

Judul	Pengarang
Introduction to Item Response Theory - New Analysis Method for Bahasa Test and Data	Kenji Otomo (JIEM consultant)
Item Response Theory [Introduction] - The Science of Testing and Measurement	Hideki Toyoda
Modern Test Theory	Hiroshi Ikeda (director and adviser of our company)
Item Response Theory - Basics and Application	Edited by Sukeyori Shiba
Applications of Item Response to Theory to Practical Testing Problems	FREDERIC M. LORD
Item Response Theory: Principles and Application	Ronald K. Hambleton, Hariharan Swaminathan
Fundamentals of Item Response Theory	Ronald K. Hambleton, Hariharan Swaminathan
Item Response Theory for Psychologists	SUSAN E. EMBRETSON, STEVEN P. REISE
Computerized Adaptive Testing: A Primer	HOWARD WAINER