TEKNIK EVALUASI

Bab ini membahas teknik evaluasi yang dapat digunakan untuk aplikasi yang di dalamnya terjadi interaksi antara manusia dan komputer. Evaluasi adalah suatu tes atas tingkat pengunaan dan fungsionalitas sistem yang dilakukan didalam laboratorium, di lapangan , atau didalam kolaborasi dengan pengguna. Yang dievaluasi pada interaksi manusia dan komputer adalah desain dan implementasinya. Evaluasi sebaiknya dilakukan dengan mempertimbangkan semua tahapan siklus hidup desain. Evaluasi memiliki tiga ujian utama, yaitu :

• Melihat seberapa jauh sistem berfungsi : desain sistem memungkinkan user melakukan tugas dengan lebih mudah. Hal ini tidak hanya membuat fungsionalitas yang sesuai dengan sistem. Tetapi juga membuat mudah untuk dicapai oleh user. User dapat melakukan aksi untuk melaksanakan tugas. Juga mencakup kesesuaian penggunaan sistem terhadap harapan user pada tugas tersebut. Evaluasi pada tahap ini meliputi pengukuran unjuk kerja dari user pada sistem, untuk melihat keefektifan sistem dalam mendukung tugas.

• Melihat efek interface bagi pengguna : mencakup aspek dari kemudahan sistem dipelajari, daya guna dan perilaku user. Penting juga untuk mengidentifikasi area desain yang berlebih dari user dengan menggunakan sejumlah informasi.

• Mengidentifikasi problem khusus yang tejadi pada sistem : ketika penggunaan suatu konteks memberikan hasil yang tidak diinginkan, atau terjadi kekacauan di antara user. Ini tentunya berhubungan dengan daya guna dan fungsionalitas dari desain  (bergantung pada sebab masalah). Tujuan ini merupakan aspek negatif dari desain. 

Ada dua jenis evaluasi, yaitu yang dilaksanakan pada kondisi laboratorium dan yang dilaksanakan di lapangan.

• Pada kondisi percobaan (laboratory): pengujian sistem ini dilakukan pada ruang percobaan dengan beberapa kondisi, di antaranya  :
• Laboratorium yang bagus biasanya memiliki fasilitas perekaman audio/visual yang baik, cermin dua arah. Komputer beserta perlengkapanya yang mungkin tidak ada pada lokasi kerja yang sebenarnya.
• Operator terbebas dari gangguan yang menghambat pekerjaan.
• Beberapa situasi hanya dapat dilakukan laboratorium, misalnya sistem yang akan digunakan ditempatkan pada lokasi yang berbahaya atau terpencil. Contoh, stasiun ruang angkasa.
• Dalam memanipulasi situasi untuk memecahkan masalah dan melihat pengguanaan prosedur atau membandingkan beberapa alternatif perancangan dengan situasi yang sebenarnya.
• Situasi pada laboratorium tidak dapat menggambarkan situasi ruang kerja yang sebenarnya dan terdapat orang-orang yang tidak bisa bekerja pada kondisi seperti di laboratorium.

• Dalam kondisi lokasi kerja yang sebenarnya: penggunaan pengujian sistem ini pada lokasi kerja sebenarnya mempunyai beberapa kondisi, di antaranya :
• Tingkat gangguan yang melebihi ambang batas, tingkat pergerakan yang tinggi dan interupsi yang tetap, seperti panggilan telepon yang menyebabkan observasi ini sulit dilakukan.
• Situasi yang lebih terbuka antara sistem dan pengguna, di mana kondisi ini tidak ditemukan pada kondisi di laboratorium.
• Observasi pada lokasi kerja yang sebenarnya adalah lebih baik dari pada di laboratorium sementara aneka gangguan yang terjadi pada lokasi ini digunakan sebagai situasi yang mewakili situasi sebenarnya dan digunakan untuk proses penyimpanan dan pengambilan selama tugas. 

Ada beberapa pendekatan evaluasi yang dilakukan seperti :

• Evaluating design
• Evaluating implementations
• Query techniques
• Physiological methods

Evaluasi Desain



Evaluasi ini dilakukan setelah proses perancangan. Evaluasi pertama terhadap sistem idealnya dilakukan sebelum implementasi dimulai. Jika perancangan dievaluasi, kesalahan dapat dihindari, karena perancangan dapat diperbaiki sebelumnya. Sejumlah metode dibuat untuk mengevaluasi perancangan sebelum implementasi. Evaluasi desain terdiri dari cognitive walkthrough, heuristic evaluation, dan review-based evaluation.
Evaluasi  Heuristik 



Evaluasi ini  di usulkan oleh Nielsen dan Molich, hampir  sama dengan cognitive walkthrough tetapi sedikit terstuktur dan sedikit terarah.  Heuristik  adalah guideline,  prinsip umum dan peraturan,  pengalaman yang bisa membantu suatu keputusan atau kritik atas suatu keputusan yang telah diambil, beberapa penilaian bebas tehadap suatu desain supaya kritik bisa memajukan potensi daya guna.  Penilaian terhadap suatu daya guna dari suatu sistem memiliki peringkat 75 % dibanding  tampilan sistem. Ada sepuluh dasar dari heuristik,  seperti :

• Visibilitas status sistem
• Kecocokan antara sistem dan dunia maya
• Control user dan kebebasan
• Konsisten dan standar
• Pencegahan kesalahan
• Pengenalan dan penarikan kembali
• Fleksibilitas dan efesiensi
• Berhubungan dengan keindahan dan desain minimalis
• Bantuan bagi user untuk mengenali, mendiagonis dan memperbaiki dari kesalahan.
• Help dan dokumentasi.

Tujuan dari evaluasi heuristik adalah untuk memperbaiki perancangan secara efektif. Evaluator melakukan evaluasi melalui kinerja dari serangkaian tugas dengan perancangan dan dilihat kesesuaiannya dengan kinerja setiap tingkatan. Jika ada kesalahan yang terdeteksi maka perancangan dapat ditinjau ulang guna memperbaiki masalah tersebut sebelum sampai pada tingkatan implemetasi. 
Diskon Usability Pengujian



• Hybrid kegunaan empiris pengujian dan evaluasi heuristik

• Memiliki 2 atau 3 berpikir-keras pengguna sesi dengan kertas atau prototipe-diproduksi secara paket

Cognitive  Walkthrough



Suatu usaha yang dilakukan untuk mengenalkan teori psikologi ke dalam bentuk informal dan subjektif. Dengan kata lain, usaha ini bertujuan untuk mengevaluasi perencanaan dengan melihat seberapa besar  dukungan yang diberikan ke pengguna guna mempelajari berbagai tugas yang diberikan. Pendekataan ini dikemukakan oleh Polson, dkk. Walkthrough dilaksanakan oleh perancang atau seorang ahli psikologi kognitif. Ahli bekerja melalui perancangan tugas tertentu, tahap demi tahap, mengindentifikasikan masalah yang berpotensi pada kriteria psikologi dan kemudian dibandingkan dengan proses dimana perancang software akan bekerja dengan coding pada kondisi yang berbeda, guna mengevaluasi untuk kerja setiap software.

Cognitive walkthrough harus menunjukan jika dan bagaimana interface merujuk user untuk membangkitkan tujuan yang benar dari pelaksanaan tugas yang diinginkan, dan memilih aksi yang diperlukan untuk  memenuhi setiap tujuan. Untuk melakukan cognitive walkthrough harus mempunyai informasi yang dibutuhkan.

• Deskripsi dari interface yang dibutuhkan itu.
• Deskripsi tugas, termasuk usaha yang benar untuk melakukannya dan stuktur tujuan untuk mendukungnya.

Dengan informasi ini maka evaluator dapat melakukan langkah walkthrough :

• Pilih tugas
• Deskripsi tujuan awal dari user
• Lakukan kegiatan/aksi yang tepat
• Analisis proses keputusan untuk setiap kegiatan.

Cognitive walkthrough berbasis formulir yang disediakan untuk merunjuk evaluator melalui sekumpulan pertanyaan yang berhubungan dengan tugas dan tujuan user. Cognitive walkthrough merupakan metode analisis yang dapat digunakan untuk fase perancangan awal maupun untuk mengevaluasi sistem, berisi informasi yang berhubungan dengan kemampuan belajar (learnability) dari interface. Jika digunakaan  diawal perancangan maka akan dapat mengidentifikasi masalah perancangan sebelum tahap prototype dan langsung difokuskan pada evalusi selanjutnya. Meskipun dirancang untuk digunakan oleh perancang sendiri tetapi juga memerlukan pengetahuan teori psikologi secara terminologi agar efektif.


Contoh :



Memprogram video dengan remote control. Misalkan akan memprogram video ke waktu dimulai jam 18.00 dan berakhir pada jam 19.15 pada saluran 4 pada tanggal 4. Maka tugas untuk hal tersebut adalah :

• Set waktu awal
• Set waktui akhir
• Set channel
• Set tanggal

Ini adalah tujuan dari user, memasukan pengalaman dan pengetahuan sebelumnya. Ekspresi diatas adalah pada tingkat tinggi, tidak diberikan detailnya pada level interface. Dengan melihat tujuan user yang diidentifikasi, setiap aksi akan digambarkan dengan tugas yang lengkap dan akan ditentukan apakah interface mendukung pembangkitan stuktur tujuan yang dibutuhkan untuk aksi yang lengkap. Setiap aksi dianalisis pada formulir walkthrough. Formulir menampilkan sejumlah pertanyaan yang dilakukan adalah melakukan penekanan tombol “Timed Recording”.
Langkah selanjutnya adalah membandingkan stuktur tujuan yang tersedia dengan struktur  tujuan pada langkah awal. Hal ini dilakukan dengan empat pertanyaan :

• Akankah user gagal untuk menambah tujuan yang diperlukan ?
•  Akankah user gagal untuk memidahkan tujuan yang tidak diinginkan ?
• Akankah user mengadopsi beberapa tujuan palsu bedasarkan interface ?
• Akankah user membatalkan tujuan yang masih dibutuhkan ?

Model  Pengguna( Pemodelan User )

Pada model pengguna pada interaksi manusia dan komputer  ada berbagai macam model pengguna seperti :

• User requitment model, yang berhubungan dengan kebutuhan user:
• Socio-techial model yang mewakili manusia dan persyarakatan teknis.
• Soft sistem methodology yang memperhatikan isu-isu yang ada di seputar manusia dan organisasi
• Participatory design yang mempersatukan user secara langsung dengan proses design.
• Cognitive model yang mempresentasikan user sistem interaktif.

• Cognitive model yang berhubungan dengan user sistem interaktif :
• Hierarachi model, yang mewakili tugas dan tujuan user.
• Linguistic model, yang mempresentasikan sistem tata bahasa user.
• Physical and device model yang mempresentasikan keahlian manusia.
• Cognitive architecture mendasari semua model di atas.

Seringkali persyaratan pengguna hanya fokus pada fungsionalitas dan mengabaikan daya guna dan aspektabilitas. Model persyaratan pengguna menambahkan hal ini dengan prndekataan socio-technical models, soft sistem, methodfology dan participatory design. 
Model Kognitif



Model kognitif  (cognitive model ) merupakan suatu model yang berhubungan dengan sistem interaktif yang memodelkan aspek pengguna, seperti pemahaman, pengetahuan, tujuan dan pemprosesan. Kategori umum dari model ini adalah komputasi, kinerja, selera komputasi, tanpa disertai pembagian yang jelas.

Banyak model yang menggunakan pemrosesan mental dimana user mencapai tujuan dengan memecahkan sub-tujuan secara devide and conquer. Pada bagian ini hanya akan dibahas dua model, yaitu GOMS (Goals Operators, Method and Selections),dan CCT (Cognitive Complexcity Theory). Berikut ini adalah contoh pembuatan laporan penjualan buku IMK. Untuk mencapai tujuan ini laporan dibagi menjadi beberapa sub-tujuan.

Terdapat beberapa isu penting jika dilakukan analisis penggunaan seperti :

• Dimana kita berhenti. Kita dapat berhenti mendekomposisi tugas jika menyangkut element pergerakan motorik menusia pada level yang lebih abstrak.
• Dimana kita memulai. Kita dapat memulai analisis pada poin yang berbeda pada hierarki goal tertentu.
• Apa yang harus dilakukan ketika ada beberapa solusi pemecahan masalah atau jika solusi terhadap dua masalah saling berhubungan.
• Apa yang harus dilakukan terhadap kesalahan yang terjadi.

GOMS



Model Goals , Operators, Method, Selections, diperkenalkan oleh Card, Moran dan Newell. Penjelasan adalah sebagai berikut :

• Goal adalah tujuan yang ingin dicapai oleh user.
• Operator merupakan level terendah analisis, terdiri atas tindakan dasar yang harus dilakukan user dalam menggunakan sistem.
• Method dimana ada beberapa cara untuk membagi tujuan kedalam beberapa sub-tujuan. Dekomposisi tujuan tersebut disebut sebagai method.
• Selection, merupakan pilihan terhadap method yang ada. GOMS tidak membiarkan pilihan menjadi random, namun lebih dapat diprediksi namun demikian secara umum hal tersebut berganntung pada usr, kondisi sistem dan detail tujuan. 

Sebagai contoh, user sam tidak pernah menggunakan L7-METHOD kecuali jika dia memainkan sebuah game yang bernama bloks. Dalam hal ini GOMS memasukannya aturan selection:

For a particular user :

• Rule 1 : select USE-MENU-METHOD unless another, rule appiles.
• Rule 2 : if the aplicatians is GAME, select CTRL-W-METHOD

Analisis GOMS umumnya terdiri dari satu tujuan tingkat tinggi yang kemudian didekomposisi menjadi deretan unit tugas (task) yang selanjutnya dapat dikomposisi lagi sampai pada level operator dasar. Dekomposisi tujuan antara tugas keseluruhan dan tugas unut melibatkan pemahaman terhadap strategi pemecahan masalah oleh user dan domain aplikasi secara detail. Bentuk deskripsi high-level-goal ini nantinya diadopsi selama proses analisis tugas.
            Analisis struktur tujuan GOMS dapat digunakan untuk mengukur kinerja. Ke dalam tumpukan stuktur tujuan dapat digunakan untuk mengetimasi kebutuhan memori jangka pendek. Pemilihan dapat diuji keadaan keakuratanya dengan jejak user dan perubahan respons. GOMS merupakan metode yang baik untuk medeskripsikan bagaimana seorang ahli melakukan pekerjaanya. Jika digabung dengan model fisik dan model perlengkapan maka akan dapat digunakan untuk memprediksi kinerja user dan aspek waktu eksekusi. 


 CCT



Cognitive Complexcity Theory diperkenalkan oleh Kieras dan Polson. CCT merupakan perluasan dari GOMS. CCT mengandung banyak prediksi atau yang juga sering disebut sebagai kemungkinan . pada CCT terdapart dua deskripsi paralel :

• User goal  : Berhubungan dengan aturan produksi. Aturan tersebut berbentuk “IF kondisi THEN aksi“ dan dipisahkan antara aturan untuk pemula yang sudah ahli.
  
  
  
  
  
• Sistem atau device  : berhungan dengan jaringan transisi tergenerasisasi yang sangat detail. Terdapat deskripsi yang luas dan jarintgan transisinya mencangkup semua model dialog.

State kondisi adalah pernyataan tentang isi memori kerja. Jika kondisi bernilai benar maka aturan produksi dijalankan. Sedangkan aksi dapat terdiri dari satu atau lebih aksi elementer yang mungkin mengubah memori kerja atau berupa aksi eksternal seperti keystroke.  Contohnya adalah tugas editing menggunakan editor “vi” UNIX untuk mengoreksi spasi antarkata.
Aturan CCT dapat menggambarkan rencana yang kompleks dibandingkan dengan hirarki sekuensial pada GOMS. Aktivitas yang continue dari semua aturan produksi memungkinkan untuk mempresentasikan rencana yang berkesinambungan. Sebagai contoh, pada CCT dapat dibuat satu set lainya untuk membuat the. Kedua jenis aturan produksi ini dapat aktif secara simultan sehingga memungkinkan si penulis menulis buku sambil minum teh.
Secara umum, semakin banyak aturan produksi dalam CCT maka akan semakin sulit suatu interface untuk dipelajari. Selain itu terdapat beberapa masalah pada CCT yaitu :

• Semakin detainya deskripsinya, ukuran deskripsi dari satu bagian interface dapat menjadi sangat besar. Lebih jauh, dimungkinkan terdapat beberapa cara untuk mempresentasikan prilaku user dan interasi yang sama sehingga mengakibatkan adanya perbedaan pada hasil pengukuran.

• Pemilihan notasi yang digunakan. Muncul pertanyaan kapan notasi tertentu yang dipilih menjadi suatu hal yang penting atau kritis. Seseorang dapat saja memilih untuk mempresentasikan sistem dengan notasi yang berbeda. Notasi yang berbeda dapat mengakibatkan perbedaan pengukuran. Contoh. Pada deskripsi sebelumnya (NOTE executing insert space) hanya digunakan untuk membuat rule INSERT- SPACE-DONE dijalankan pada waktu yang tepat. Disini tidak jelas sama sekali signifikansi kognitifnya.
  
  
• CCT adalah alat rekayasa dengan pengukuran kemudahan untuk dipelajari dan tingkat kesulitan secara garis besar digabung dengan deskripsi detail pelaku user.