Vyhodnocování výkonnosti počítačových systémů (NSWI131)

Základní informace

Proč předmět absolvovat

Charakter přednášky

Předpoklady

Hodnocení

Předběžný syllabus

Literatura

Základní informace (2011/2012)

Proč předmět absolvovat

Cílem předmětu je podat základní přehled o metodách používaných při vyhodnocování výkonnosti software, zejména metodách experimentálních.

To se může hodit:

• pro rozpoznání nedůvěryhodných výsledků měření; může se přitom jednat jak o komerční prezentace produktů, tak i o vyhodnocení nových řešení ve vědeckých článcích
• v praxi - pro práci v týmu kontroly kvality (návrh a implementace infrastruktury pro měření a vyhodnocování testů, implementace testů), pro technicko-manažerskou práci (výběr nejvhodnějších hotových systémů pro zadaný problém), i pro práci přímo ve vývoji sw (interpretace výsledků měření, spolupráce na návrhu experimentů)
• ve výzkumu - v (neteoretické) informatice je třeba nová řešení rigorózně experimentálně vyhodnotit; nároky na takové vyhodnocení výrazně stoupají s kvalitou konference / časopisu ; předmět zahrnuje základní metody používané v takovýchto experimentech a analýze jejich výsledků

Jiný pohled: studium na MFF dává relativně dobrý základ v matematice a navazující matematické statistice, zároveň však zahrnuje i technické znalosti počítačových systémů (architektura, operační systém, atd.). Pro vyhodnocování výkonnosti počítačových systémů je potřeba obojí. Vyhodnocování výkonnosti tedy poskytuje prostor pro praktické zužitkování - "prodání" - znalostí získaných v jiných předmětech na MFF, zejména ve statistice.

Charakter přednášky

Rozvržení předmětu je 2/0 (Zk), tj. přednáška jednou týdně 2 hodiny. Cvičení k předmětu není.

Přednáška je formou spíše přehledová a zahrnuje reálné příklady z akademické praxe - tedy vyhodnocování výkonnosti na příkladech z výzkumu, často výzkumu, na kterém se podílí nebo podíleli přednášející. Důraz je kladen na experimentální vyhodnocování (benchmarkování) a statistickou analýzu výsledků, včetně grafické analýzy (kreslení vhodných grafů), výrazně menší prostor je věnován simulacím a modelování. Přestože zmíněné a použité statistické metody někdy jdou i za rámec doporučených a povinných matematických předmětů informatického studia, předpokládá se pouze velmi povrchní pochopení těchto metod, nutné pro jejich správnou aplikaci. Zvládnutí předmětu není podmíněno matematickými znalostmi.

Z pohledu státních závěrečných zkoušek předmět pokrývá část požadavků okruhu 2 (Vestavěné systémy a systémy reálného času) studijního plánu Spolehlivé systémy v rámci oboru Softwarové systémy, konkrétně metriky výkonnosti počitačových systémů a jejich statistické vyhodnocování. Doplňuje i znalosti k požadavkům simulace a modelování výkonnosti a QPN (Queuing Petri Nets), kterými se však zabývají podrobněji jiné předměty.

Předpoklady

Předmět je navržen pro studenty posledního ročníku magisterského studia. Povinné předpoklady nejsou, pro účelné absolvování a získání ucelených znalostí pro vyhodnocování výkonnosti je vhodné absolvování těchto předmětů:

• Pravděpodobnostní metody (přednáší Prof. Antoch)
• Metody matematické statistiky (přednáší Dr. Hlávka)
• Pravděpodobnostní modely v informatice (přednáší Dr. Koubková)

Vhodné jsou též základní znalosti operačních systémů, architektury počítačů a způsobu fungování překladačů. Vhodná je zkušenost s nástroji pro hledání chyb, tracing a debugging v rozsahu předmětu Nástroje pro vývoj a vyhodnocování software. Pro praktickou aplikaci probíraných metod se hodí základní znalost statistického software - příklady na přednáškách používají projekt R.

Hodnocení

Zkouška se zaměří na pochopení probírané látky. Detailní znalost metrik výkonnosti a schopnosti jejich porovnání (např. spočítat průměrný čas v konkrétním výkonnostním experimentu - je třeba vybrat ten správný průměr). Aplikační znalost probíraných statistických metod. Interpretace výsledků těchto statistických metod, konkrétních vzorů na konkrétních grafech, atd. Forma zkoušky - písemná nebo ústní - bude zvolena podle počtu studentů.

Předběžný syllabus

Následuje předběžný syllabus předmětu, který upřesňuje syllabus ve fakultním systému. Jednotlivé body označují témata a přibližně korespondují s jednotlivými přednáškami, zejména však úvodní přednášky zahrnou více z těchto témat.

1. Informace o přednášce, organizační informace, podrobnější rozebrání cílů přednášky, zdroje.
2. Úvodní přehled metod vyhodnocování výkonnosti s motivačními příklady z (akademické) praxe.
3. Metriky výkonnosti počítačových systémů. Klasifikace metrik. Přehled používaných metrik.
4. Sumarizace nedeterministických metrik - metriky polohy (central tendency metrics).
5. Sumarizace nedeterministických metrik - metriky rozptýlenosti a chyb.
6. Porovnávání dvou alternativ - metody používané v informatice, vhodné metody.
7. Jednovýběrová grafická (exploratorní) analýza dat. Praktické příklady.
8. Vizualizace a prezentace dat. Pravidla, příklady, používané metody.
9. Techniky měření výkonnostních parametrů (jak se dostat k datům). Základní pojmy. Měření času.
10. Hardwarové čítače výkonnosti. Příklad použití. Pentium 4.
11. Aplikace pro výkonnostní testování (benchmarky). Charakterizace, přehled známých a používaných benchmarků.
12. Hledání souvislostí v datech, náhodné efekty - grafické metody, regrese, analýza rozptylu. Příklad.
13. Simulace ve vyhodnocování výkonnosti. Základní pojmy. Příklad.
14. Modelování ve vyhodnocování výkonnosti - základní pojmy a příklady. Queueing networks, Queueing Petri Nets.

Literatura

Zapsaní studenti budou mít přístup ke slajdům z přednášky, jejichž součástí bude vždy odkaz na zdroje ke konkrétnímu tématu. Tematický rozsah přednášky není vhodný pro samostudium - potřebných zdrojů je příliš a jdou do větších detailů než je nutné pro absolvování předmětu a reálné zvládnout, pokud se na obor nechcete přímo specializovat.

Většina témat je pokryta těmito knihami:

• Jain, R.: The Art of Computer Systems Performance Evaluation. Wiley, New York 1991.
• Lilja, D. J.: Measuring Computer Performance: A Practitioner's Guide. Cambridge University Press, 2000.

Příklady, jež jsou významnou součástí přednášky, vychází z publikovaných vědeckých článků. Odkazy na články jsou na slidech. Všechny články je možno získat v elektronické podobě - stažením z Internetu ze strojů v doméně MFF, případně prostřednictvím přednášejícího. Informace ze zmíněných knih jsou též rozšířeny o nové publikované poznatky a z on-line dostupných zdrojů.

Slajdy z přednášek