Testování podzim 2016

Testovací design
Poznámky k průběhu testování
Specifika testovací skupiny

Testovací design

Sestavení testovací skupiny pro podzim 2016 bylo provedeno ve spolupráci ÚSTR s nakladatelství Fraus. Obě instituce díky své síti spolupracujících učitelů, respektive škol disponují množstvím kontaktů. S ohledem na rovnoměrné územní pokrytí a zastoupení různých typů škol byli oběma institucemi osloveni vybraní učitelé. Cílem bylo získat dvakrát 25 učitelů pro intenzivní testování aplikace v měsíci listopadu. Výslednou testovací skupinu tvořilo celkem 49 učitelů všech typů škol primárního a sekundárního vzdělávání (základní školy, střední odborné školy a gymnázia).

Obr. 1. Do podzimní testování historylab.cz se v roce 2016 zapojilo 49 učitelů.

Vybraní učitelé, kteří souhlasili s podmínkami testování, následně absolvovali úvodní seminář. Smyslem tohoto setkání bylo důkladné seznámení s cíli projektu, podrobné informace o struktuře testování a jeho obsahu a v neposlední řadě též technické zaškolení v práci s aplikací. Podrobné instrukce byly distribuovány ještě e-mailem a pro učitele byla zavedena helpline (e-mail i telefon) a administrativní podpora. Setkání bylo rozděleno po skupinách a uskutečnilo se na počátku listopadu (2. a 4. 11. 2016). Samotné testování bylo učiteli zahájeno tím, že si jednotlivé testovací případy, tj. použití jednotlivých cvičení se žáky, naplánovali prostřednictvím online plánovacího formuláře.

Učitelé dostali k dispozici 13 cvičení. Výběr případů testování probíhal podle několika principů. Všechny případy testování probíhaly od 7. do 30. 11. 2016. Každý učitel provedl nejméně 6 případů testování, přičemž testovací případy byly složeny z nejméně dvojího provedení každého typu práce (domácí úkol, skupinová práce v hodině, celá třída s učitelem v hodině) (viz kapitola 2.1 – Návod k použití aplikace pro práci s prameny). Učitel měl vyváženě testovat jednotlivé typy cvičení dle náročnosti, která byla zhruba stanovena podle širších typů cvičení. Většina pedagogů se držela doporučeného postupu: dvakrát popis, dvakrát srovnání a dvakrát pátrání či vyprávění. Ke každému případu vyplňoval učitel dotazník-protokol, v němž bezprostředně po realizaci zachytil průběh výuky. Ke každému cvičení byl doplněn odkaz na dotazník pro žáky, který měl zajistit zpětnou vazbu z jiné než učitelské perspektivy. Měl být vyplněn pouze v případě typu práce „domácí úkol”. Nejpozději do 30. 11. 2016 měli učitelé možnost vyplňovat profilový dotazník, který shrnoval závěry z testování v obecnější rovině než protokoly. Další důležitá data představovala vyplněná cvičení, jichž se na serveru sešlo 2659, z toho zhruba 1423 výstupů vzniklo jako domácí práce a 1236 jako práce ve škole. Po ukončení testovacího období se učitelé dále zúčastnili, opět po skupinách, seminářů, které byly zaměřeny na reflexi zkušeností. Setkání se odehrála 14. a 16. 12. 2016.

Výzkumnou strategií, kterou jsme pro tato setkání zvolili k získání zkušeností od pilotujících učitelů, byly ohniskové rozhovory (focus groups). Jedná se o kvalitativní skupinové rozhovory, při kterých se rozvíjí do hloubky témata výzkumu a zároveň se projevuje i skupinová dynamika.^[1] Účastníci ve vzájemné diskuzi detailněji popisovali konkrétní i obecné zkušenosti z výuky a také konfrontovali své názory na aplikaci. Díky tomu jsme byli schopni lépe chápat i rozdíly v užívání mezi různými typy učitelů.

Rozhovory jsme uskutečnili po vyhodnocení dotazníků, protokolů i jednotlivých cvičení. Z vyplněných cvičení a protokolů jsme si vytvořili přibližnou představu o užití aplikace ve školním prostředí, rozhovory se primárně zaměřily na kontext tohoto užití. Hlavním tématem rozhovorů byly zkušenosti učitelů s jednotlivými fotografiemi – jakým způsobem učitelé cvičení vybírali a které fotografie považují za přínosné, zaměřili jsme se i na funkčnost otázek, doprovázejících jednotlivá cvičení. Vycházeli jsme přitom z analýzy vyplněných cvičení, ve kterých například některé otázky často nebyly vyplněny vůbec, nebo jen částečně.

Další okruh otázek byl zaměřen na způsob, jakým byla cvičení do hodin zařazena, například jaký mají přístup k počítačům učitelé dějepisu nebo zda cvičení byla hodnocena (bodově, známkami atp.) a jaká byla kritéria takového hodnocení.

Celkem proběhlo pět rozhovorů, kterých se účastnilo obvykle deset učitelů, kteří byli rozděleni do skupin podle vyplnění závěrečných dotazníků. Na základě odpovědí jsme vytvořili škálu – „míru důrazu na dovednostní cíle výuky“, která zahrnovala představy učitelů o cílech dějepisu, četnost práce s fotografiemi a dalšími prameny v běžné výuce či preferovaný způsob práce v hodinách (výklad, skupinová práce, individuální práce). Ve skupinách byli spolu učitelé, kteří mají podobné představy o výuce a u kterých jsme předpokládali podobnou míru vstřícnosti k aplikaci. Rozdělení nebylo plně funkční, protože mezi skupinami byly jen malé rozdíly, ovšem ukázalo se, že míra zaměření se na znalosti (či naopak dovednosti) nesouvisí s délkou praxe učitelů a ani samotné rozhovory nepřinesly v jednotlivých skupinách odlišné výsledky. I učitelé s jinak odlišnými přístupy k výuce dějepisu se o aplikaci vyjadřovali velmi podobně.

V textu níže používáme i výsledky focus groups, které byly spojeny s druhým testováním na podzim 2017. Tohoto testování se zúčastnilo již jen deset učitelů. Byli to ti, kteří se dalšího testování účastnit chtěli a projevovali aplikaci po prvním testování podporu. Z tohoto důvodu nezahrnujeme do této analýzy výsledky jejich dotazníků – jedná se o příliš malou a specifickou skupinu. Sdílíme zde ale výsledky focus group, která proběhla 6. 10. 2017, protože tito učitelé mají dlouhodobější zkušenost s aplikací. Zajímalo nás proto především to, jak se mění reakce žáků, kteří mají možnost s ní pracovat častěji. Ohniskové rozhovory se ukázaly jako důležitý zdroj poznatků pro zkvalitnění jednotlivých cvičení, ale především pro promýšlení způsobů, jak aplikaci co nejlépe přizpůsobit školnímu prostředí a jak o ní komunikovat se samotnými učiteli.

Získaná data tedy sestávají z následujících souborů:

Od učitelů jsme získali

1. odpovědi do dotazníku-protokolu, který zachycuje bezprostřední zkušenost s jednotlivým cvičením Historylab (n=232);
2. profilový dotazník shrnující celkovou zkušenost s aplikací, ale zaměřující se též na osobnost učitele a jeho obecné postoje k výuce (n=49);
3. sérii záznamů focus groups se všemi učiteli (celkem 5 skupin v prvním kole testování, 1 skupina v druhém).

Ze strany žáků disponujeme odpověďmi žákovského dotazníku zaměřeného na bezprostřední zkušenost s vyplněným cvičením (n=2514). Od žáků a učitelů jsme pak získali samotná vyplněná cvičení (n=2659) a uživatelská data zachycující chování v aplikaci.

Poznámky k průběhu testování

Robustní testovací design předem obsahoval plán ještě v průběhu testování reagovat na předběžné výsledky. Předběžnou analýzu dotazníků, uživatelských dat a vyplněných cvičení jsme provedli zejména s ohledem na dramaturgii focus group. Výsledky analýzy těchto zejména kvantitativních dat nám pomohly identifikovat hlavní témata, kterým jsme řízeným rozhovorem s učiteli chtěli v souvislosti s testováním hlouběji porozumět, případně obsahovaly závěry, které jsme chtěli ověřit přímo s testovací skupinou.

Testovací design dále umožnil nejen vytvořit řadu rozsáhlých datových souborů, ale také je díky němu možné data částečně provázat do rozsáhlejších a analyticky výnosnějších celků. Po zvládnutí technických problémů spojených s některými dále popsanými organizačními problémy jsme pro další analýzu propojili výsledky profilového dotazníku a jednotlivých odpovědí dotazníku-protokolu. Tento soubor je založen na jednotlivých případech testování, tedy na každém jednom cvičení použitém jedním učitelem v typu „celá třída” a „práce ve skupinách”.

Část organizačních předpokladů první vlny testování se ukázala být mylná a způsobila problémy při zpracování dat. Ještě během testování se ukázalo, že plánovací online dotazník vyplněný na počátku testovacího období není dostatečně flexibilní vzhledem ke změnám ve výuce, resp. ve skutečném testovacím plánu. Učitelé jinými slovy často měnili datum či typ práce, avšak změnu nezanesli do formuláře či nenahlásili na helpline. Online plánovací formulář měl sloužit ke konečné identifikaci vyplněných cvičení jako hlavní zdroj harmonogramu, avšak ukázalo se, že jde o zdroj nespolehlivý. Souběžně s tímto problémem se také ukázalo, že jsme při plánování typů práce podcenili mnohotvárnou realitu školního prostředí. V některých případech byly typy kombinovány, tedy například k typu “celá třída” dostali chybějící žáci stejné cvičení ve stejné třídě za domácí úkol. V jiných případech aktivní žáci vyplnili cvičení znovu doma a podobně. Přestože jsme se snažili tyto neočekávané nepřesnosti v určení dat zvládnout sofistikovaným čištěním dat, jsou výsledné sady dat ne zcela spolehlivé. Hlavním principem pro čištění se stala série procedur, která měla za cíl nalézt výrazně se odchylující hodnoty (outliers), které byly vyřazeny. To se týká zejména doby vyplnění. V případě domácích úkolů lze totiž například očekávat, že aktivní vyplňování cvičení proběhlo v některých případech „na několikrát”, přestože bylo cvičení celou dobu spuštěno. Soustředěná práce na cvičení tedy neprobíhala doma po dobu dvou hodin, které dělí začátek a konec celého cvičení, ale podstatně kratší dobu. Mezitím cvičení zřejmě běželo pouze „naprázdno” na spuštěném počítači.

Specifika testovací skupiny

Je zřejmé, že dlouhodobější spolupráce s jednou z pořádajících institucí a ochota účastnit se testování za symbolickou finanční náhradu představují faktory, které vzorek učitelů mohly významně ovlivnit. Aplikace a její postupy však pochopitelně nejsou cíleny pouze na spolupracující učitele, ale na celou vzdělávací soustavu. Proto je třeba uchopit specifika testovací skupiny vzhledem k celku učitelů. Závěrečný dotazník pro testovací skupinu byl proto připraven na procedury, které by srovnání testovací skupiny s celou množinou učitelů dějepisu a příbuzných předmětů v ČR umožnily. Provést srovnání je díky tomu možné dvěma různými způsoby:

1. Replikací otázek z mezinárodního, reprezentativního dotazníkového šetření Talis^[2] (OECD) a též replikací otázek z dotazníkového šetření mezi učiteli „Stav výuky soudobých dějin” (ÚSTR a Factum Invenio 2012).^[3] Zařazením těchto otázek do závěrečného dotazníku můžeme srovnávat specifické postoje testujících učitelů s reprezentativním vzorkem učitelů obecně.
2. Samotná profilová část dotazníku byla společností Kalibro distribuována mezi větší skupinu jejich spolupracujících učitelů a stejné otázky tak byly paralelně, na jaře 2017, položeny širší skupině učitelů. Toto šetření lze považovat za census s celkem 474 odpověďmi.
3. Srovnáním s výsledky šetření České školní inspekce z roku 2016.^[4]

Reprezentativnost komparabilních otázek Talis a Stavu výuky je oproti Kalibro 2017 vyšší, replikován byl však malý rozsah otázek, a navíc se v případě Stavu výuky jednalo o časově vzdálené výsledky. Tyto úvahy nás vedly k přednostnímu využití šetření Kalibro 2017. Výběr výsledků prezentujeme dále.

Testovací skupina byla oproti ostatním v průměru mírně mladší a tvořil ji rovný podíl mužů a žen (jinak je mezi učiteli dějepisu téměř 2/3 žen). Testovací soubor byl dále složen z lidí s vyšším podílem postgraduálního vzdělání (4 % u celku vs. 13 % v testovací skupině) a také vyšší mírou ukončeného vzdělání v programu pro přípravu učitelů. Z hlediska vzdělávacích cílů spojovaných s dějepisem vykazovala skupina testovacích učitelů celkově jen mírné rozdíly. Mírně menší důraz kladou na posilování hrdosti na Českou republiku a faktografickou znalost. Pomůcky ve výuce využívá testovací skupina s podobnou frekvencí jako celek. Zatímco dobové textové dokumenty využívají učitelé zařazení do testování zhruba stejně často jako učitelé ostatní. Odlišnosti jsou patrné v častějším využití dobového tisku a dobových fotografií. Významným rozdílem z hlediska pomůcek pak je nižší frekvence použití učebnice. Zatímco mezi běžnými učiteli se učebnice používá v průměru každý týden, v případě testovací skupiny je to pouze ve zhruba měsíční frekvenci. Učitelé v testovací skupině také deklarují vyšší profesní sebevědomí a kladou větší důraz na moderní dějiny. Lze však shrnout, že ve většině sledovaných ukazatelů mimo vyjmenované nebylo možno pozorovat významný rozdíl, a proto mají výsledky poměrně dobrou míru reprezentativnosti pro celou skupinu českých učitelů dějepisu.

Poznámky

^[1] K metodologii ohniskových rozhovorů: DENZIN, Norman K.: Collecting and interpreting qualitative materials.  London 2008. MORGAN, David L.: Focus groups as qualitative research. London 1996. STEWART, David W. – SHAMDASANI, Prem N.: Focus groups: Theory and practice. London 2014.

^[2] TALIS 2013 Results. OECD Publishing, 2014. Dostupné z <http://www.oecd-ilibrary.org/education/talis-2013-results_9789264196261-en> Podle stavu ke dni 17. 10. 2017.

^[3] Stav výuky soudobých dějin. Výzkumná zpráva. Praha 2012. Dostupné z <http://www.ustrcr.cz/data/vyzkum-vyuky/vyzkumna-zprava.pdf>. Podle stavu ke dni 27. 4. 2015.

^[4] Česká školní inspekce, Výuka soudobých dějin na 2. stupni základních škol a na středních školách, Tematická zpráva (Praha 2016), s. 26.