Je to asi půl hodiny co jsem se vrátila ze své první OPRAVDOVÉ návštěvy usability labu a sice jako člověk, který testuje, nikoliv ten, kterého „mučí“ na druhé straně. A jsem z toho tak nadšená, že to musím samozřejmě okamžitě vypustit do světa. Jen upozorňuju, že spousta názorů tady je silně „laických“. O usability potažmo uživatelské testování se zajímám jen hodně rekreačně a i když právě absolvuju už druhý předmět s touto tématikou, musím říct, že jsem daleko od toho, abych byla schopná sama provést alespoň jeden bezproblémový test.

Celé toto testování bylo vrámci předmětu Y39TUR na ČVUT FEL. Cílem je podrobit vybraný testovaný objekt testu metodikou heuristické evaluace, kognitivního průchodu a v druhé polovině semestru konečně také uživatelskému testování. V minulých letech user testy prováděl každý sám a doma a co si budeme nalhávat, většina lidí si nějaké věci vymyslí a i tak se test doma nedá ani trochu srovnávat s tím v usability labu. Proto jsme byli tento rok rozděleni do skupin po čtyřech, dostali přířazený jeden synchronizační software a tři týdny času. Během toho bylo potřeba zarezervovat laboratoř a sehnat pět ochotných lidí, kteří se podrobí testu.

Námi testovaným programem byl Allways Sync a testovali jsme v Usability labu na ČVUT FEL na Karlově náměstí a k testování jsme používali software Morae. Na testování jsme měli něco kolem tří hodin a ze začátku to šlo po másle. Na každého účastníka nám vyšlo cca 25 minut a většina testů procházela hladce. Poslední dva se ale v úkolech pěkně vykoupali a jeden dokonce nedokončil. A při tom všem si člověk vlastně uvědomil, proč jsou ty user testy tak skvělé. Kdybych se sama na tu aplikaci podívala a zhodnotila ji, věřím že bych nepřišla ani na zlomek chyb a problémů, které jsme takhle odhalili. Ono opravdu každý program používá jinak a to co pro tři technicky zdatné lidi mohlo být nad slunce jasné, druzí dva neméně technicky šikovní tak úplně nezvládnou. Skvělým příkladem bylo, kdy minimálně jeden člověk aktivně používal možnost “Analyse” a v post-testovém dotazníku ji označil jako nejsilnější místo programu. Jiní na tuto možnost ani nešáhli, nevšimli si ji a když už ji použili, tak spíše omylem a pravděpodobně ani nevěděli, co od ní čekat.

Usability lab je rozdělená do dvou místností. V jedné koukáte asi tak do pěti monitoru naráz, abyste analyzovali co se teď zrovna děje v místnosti vedle. Ta je uzavřená, snímaná dvěma kamerami, plus je samozřejmě vidět výstup ze samotné obrazovky počítače. Tři lidi v jedné místnosti zapisují (observer room) jak nejrychleji to jde do speciálního logovacího programu (Morae Observer) a čtvrtý sedí vedle účastníka vedle a dělá takzvaného moderátora. Údajně je možné, aby moderátor seděl společně s ostatními v observer room a vedle komunikoval jen mikrofonem. To nám ale přišlo daleko horší, neosobnější a s pomalejší reakcí na uživatelovy akce, že jsme nakonec tuto možnost ani nezkoušeli.

První uživatelé šli hladce. Až u těch posledních dvou jsme opravdu poznali, zač je toho user test. Jednoho z nich jsem dokonce moderovala a jak jsem se dozvěděla, byla jsem na něj příliš měkká, nenechala ho v tom tolik vymáchat a až příliš moc mu nakonec poradila. Holt mi asi bylo líto člověka, který se potí v přehráté místnosti sledován dvěma kamerama a snažící se proniknout do naprosto neskutečně špatně navrhnutého software. Před testem jsme dělali pre-test dotazník a po testu zase post-test dotazník spíše ve formě dialogu nad aplikací, se kterou měl čerstvou zkušenost. Mohla bych o tom psát ještě dlouho, ale místo toho raději bodově zkusím shrnout takové nejzajímavější momenty, nové poznatky a to, co víme, že bychom příště udělali jinak a lépe (přičemž spousta věcí nám byla doporučena přímo cvičícím, který přišel na supervizi)

• Až na jednoho jsme měli štěstí na poměrně dost ukecané participanty. Opravdu komunikovali, říkali co si myslí a co hledají a dělají. A s takovýma se vždycky lépe pracuje
• Dost nás potrápil hardware. Počítače v usability labu pravděpodobně zažily druhou světovou válku a jejich výkon tomu odpovídal. Několikrát zamrzl při psaní textu do notepadu a obnovení trvalo klidně i minutu, dvě.
• Jak jsme se dozvěděli, je naprosto normální během testu měnit scénář, post a pre testové dotazníky. A občas se to opravdu může hodit
• Občas mají účastníci tendenci při post-testovém dotazníku místo toho jak by software využil on mluvit o tom, jak si myslí, že by se hodil ostatním lidem. Což samozřejmě nechceme a měli bychom ho vrátit zpátky na správnou kolej
• Vysledky celeho testu by se rozhodně neměla interpretovat jako „30 procent uživatelů reaguje takhle“. Stačí uvést počet participantů toho určitého testu. Ostatně kdo je schopný ve svém user testu nasimulovat alespoň trochu odpovídající vzorek lidstva
• Ve scénáři se vyplatí hodně zvýraznit klíčová slova. My měli názvy složek a souborů kurzívou, ale je pravda že jsou to přesně tato slova, ke kterým se uživatel pořád dokola vrací a kurzíva nestačí k tomu, aby mu hledání dostatečně zjednodušila
• Moderátor by měl do testu vstupovat minimálně a rozhodně nereagovat na nějaké ujištění, že uřivatel něco udělal/neudělal správně. Jako jsem to špatně dělala místy já :o) Občas jsem se zkrátka neudržela a myslím že mi dost uškodilo to, že jsem participanta znala osobně. Cizímu člověku bych neměla tendence tolik napovídat
• No a na konci ho samozřejmě ujistit v tom, že i když se v programu totálně ztratil, nebyl to jeho fail ale něco, co je pro nás naopak ohromně přínosné a fakt, že při tom pomohl objevit spoustu chyb
• Rozhodně by se nám hodilo, kdyby měl moderátor sluchátka nebo nějaký privátní způsob komunikace s druhou místností. Takhle jsme mohli z druhé strany do všeho vstupovat jen mikrofonem, který samozřejmě slyšel i účastník. A to ho může naopak ještě více znervóznit
• Skoro mi přijde, že vyhodnocování těchto dotazníků a testů je tak trochu psychologie a sociologie. Jak nás například cvičící upozornil a my to pak opravdu dvakrát viděli na vlastní kůži – participant se v programu totálně vykoupal, nevěděl jak ho používat ani jak splnit některé úkoly. Na konci ale stejně řekl, že by program klidně doporučil. Prý to dělají nekonfliktní lidé. Co je na tom pravdy, nevím, ale tady to docela sedělo
• Přístě bychom určitě vymysleli jinak scénář a to tak, aby bylo možné se z chyby dostat a klidně nějaký úkol přeskočit. Nám totiž na sebe poměrně dost navazovaly a ve chvíli, kdy jeden nedopadl dobře, nebylo jak navázat tím dalším i kdybychom ho chtěli přeskočit.

Zkrátka a dobře usability testování je větší sranda a větší věda, než jsem si myslela a než může na první pohled laikovi připadat a dost vážně uvažuju o tom, že ho nějakým dílem zkusím zapojit třeba do diplomky. Já si chci totiž ještě někdy toho moderátora zkusit znovu a lépe!

This entry was posted on Wednesday, April 20th, 2011 at 11:23 am and is filed under FEL ČVUT, Počítače. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.