Zaawansowane uczenie maszynowe

To jest strona domowa przedmiotu Zaawansowane uczenie maszynowe (ZUM) prowadzonego na Wydziale Elektroniki i Technik Informacyjnych Politechniki Warszawskiej. Można tu znaleźć informacje organizacyjne oraz materiały pomocnicze.

Komentarze na temat zawartości tej strony i inne uwagi dotyczące przedmiotu proszę kierować pocztą.

O przedmiocie

Przedmiot kierowany jest do studentów studiów magisterskich, którzy mieli już wcześniej pierwszy kontakt z elementami teorii i podstawowymi algorytmami uczenia maszynowego. Ma on na celu poszerzenie oraz pogłębienie ich wiedzy w tym zakresie. Da on także okazję do zdobycia doświadczeń praktycznych dotyczących implementacji i stosowania algorytmów uczenia maszynowego do tworzenia modeli predykcyjnych. Zakres przedmiotu obejmuje wybrane nie-neuronowe algorytmy uczenia się stosowane do danych tabelarycznych. Bardziej szczegółowe informacje zawiera oficjalny konspekt przedmiotu.

Przedmiot jest kontynuacją przedmiotu Uczenie maszynowe (UMA), który jest prowadzony na studiach inżynierskich, lecz pełna rozłączność zakresów wykładów i eliminacja "przypominania" wybranych elementów treści UMA nie jest możliwa, gdyż wcześniejsza realizacja UMA nie jest ściśle wymagana.

Aktualności

Przedmiot nie jest realizowany w semestrze 24Z.

Aktualna realizacja

Zajęcia wykładowe prowadzone są w trybie stacjonarnym i odbywają się w terminie i miejscu określonym przez rozkład zajęć.

Realizacja projektu następuje samodzielnie w zespołach projektowych z możliwością korzystania z konsultacji.

We wszystkich sprawach nieuregulowanych tutaj mają zastosowanie ogólne zasady określone przez Regulamin Studiów PW oraz bieżące rozporządzenia i zalecenia władz PW.

Zasady oceniania

Ocena z przedmiotu ustalana jest na podstawie:

dwóch kolokwiów -- łącznie do 50 punktów,
projektu -- do 50 punktów.

Końcowa ocena jest wyznaczana na podstawie łącznej punktacji (0-100) przez zastosowanie standardowych progów.

Projekt

Informacje o projekcie zostaną ogłoszone do końca trzeciego tygodnia semestru.

Zasady realizacji projektu.
Wymagania i wskazówki techniczne do realizacji projektu.
Informacje o języku R. Jest to jedno z dwóch (obok języka Python) proponowanych środowisk realizacji projektu.

W kwestiach związanych z interpretacją tematów, zakresem wymagań oraz ewentualnych materiałów pomocniczych do projektu proszę zwracać się wyłącznie do odpowiednich prowadzących projekt.

Kolokwia

Zasady

Kolokwia mają charakter "pisemnego sprawdzianu z notatkami", co oznacza, że każdy uczestnik może korzystać z dowolnych własnych (przyniesionych ze sobą) materiałów na papierze (kartek, zeszytów, książek itp.), lecz nie może się nimi wymieniać z innymi osobami.
Pierwsze kolokwium odbywa się zazwyczaj w terminie wykładu 8, a drugie kolokwium -- zazwyczaj w terminie ostatniego wykładu w semestrze. Terminy kolokwiów będą potwierdzone z co najmniej dwutygodniowym wyprzedzeniem.
Kolokwium poprawkowe, na którym można poprawiać ocenę z jednego bądź obu kolokwiów, jest organizowane w ostatnich dniach semestru lub pierwszych dniach sesji. Udział w nim oznacza rezygnację z oceny uzyskanej wcześniej (z wyjątkiem sytuacji, gdy stosowanie tej zasady powodowałoby niezaliczenie przedmiotu).

Konsultacje

Stały dyżur: czwartek 11-12, pok. 24 -- bez umawiania się.
Inne terminy: -- możliwe po umówieniu się.

Plan wykładów (przybliżony)

Wykład	Temat
1	Informacje organizacyjne i wprowadzenie.
2-4	Przegląd/przypomnienie elementów teorii (PAC-uczenie, wymiar VC) i podstawowych algorytmów (drzewa decyzyjne, naiwny klasyfikator bayesowski, modele liniowe, las losowy, SVM, ocena jakości modeli).
5	Drugie spojrzenie na drzewa decyzyjne (przycinanie, obsługa brakujących wartości atrybutów, drzewa regresji, drzewa modeli).
6-7	Drugie spojrzenie na naiwny klasyfikator bayesowski (model wielomianowy, model dopełnieniowy). Drugie spojrzenie na modele liniowe (logarytm wiarygodności, regresja logistyczna, kalibracja predykcji probabilistycznych, regularyzacja). Drugie spojrzenie na algorytm SVM (postać dualna, funkcje jądrowe, SVM do regresji).
8	Kolokwium 1.
9	Drugie spojrzenie na modele zespołowe (bagging, boosting).
10	Koszty pomyłek, nierównoważone klasy, drugie spojrzenie na ocenę jakości modeli (dodatkowe miary jakości, procedury oceny, kryteria informacyjne).
11	Drugie spojrzenie na zadanie klasyfikacji (klasyfikacja wieloetykietowa, aktywne uczenie się, półnadzorowane uczenie się).
12	Grupowanie (k-środków, gęstościowe, ocena jakości).
13	Detekcja anomalii (klasyfikacja jednoklasowa, niepodobieństwo do sąsiadów, niepodobieństwo do grup).
14	Selekcja i transformacja atrybutów.
15	Kolokwium 2.

Slajdy do wykładów

Po każdym wykładzie będą tu zamieszczane slajdy odpowiadające jego treści.

Udostępniam również wstępne robocze wersje slajdów do przyszłych wykładów, należy jednak brać pod uwagę, że mogą być do nich jeszcze wprowadzane zmiany (poprawki, uzupełnienia, przesunięcia materiału).

Przegląd/przypomnienie podstawowych elementów teorii uczenia się (materiał uzupełniający do wykładu 2).
Przegląd/przypomnienie podstawowych algorytmów uczenia się (materiał uzupełniający do wykładów 2 i 3).
Przegląd/przypomnienie podstawowych metod oceny jakości modeli (materiał uzupełniający do wykładu 3).

Ćwiczenia sprawdzające

W trakcie semestru będą tu udostępniane ćwiczenia do (większości) wykładów, mające na celu ułatwienie weryfikacji zrozumienia ich treści i przygotowania się do kolokwiów.

Przykłady kodu w R

Jako zachętę do zapoznania się z właściwościami R jako języka programowania zamieszczam tu przykładowe pliki źródłowe ilustrujące niektóre z tych właściwości.

index.R (demonstracja indeksowania wektorów i tablic)
list.R (demonstracja list)
noloop.R (demonstracja możliwości unikania pętli)
scope.R (demonstracja leksykalnego zasięgu i domknięć)
lazy.R (demonstracja leniwej ewaluacji)
class.R (demonstracja klas i metod)
oper.R (demonstracja przeciążania operatorów)
quine.R (ciekawostka: demonstracja quine'ów)
tupper.R (ciekawostka: demonstracja formuły Tuppera)

Literatura

Literatura dotycząca szczegółowych zagadnień, w tym zwłaszcza tematów projektu, rekomendowana jest indywidualnie w ramach konsultacji. Tutaj zamieszczam tylko nieliczne wybrane książki, których zakres tematyczny w znacznym stopniu jest zgodny z zakresem przedmiotu.

Witten I. H., Frank E., Hall M. A., Pal, C. J. (2016). Data Mining: Practical Machine Learning Tools and Techniques (4th edition). Morgan Kaufmann.
Hastie, T., Tibshirani, R., Friedman, J. (2016). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd edition). Springer.
Mitchell, T. Machine Learning. McGraw-Hill, 1997,
Han J., Kamber M., Pei J. (2011). Data Mining: Concepts and Techniques (3rd edition). Morgan Kaufmann.
Koronacki J., Ćwik J. (2008). Statystyczne systemy uczące się. Oficyna Wydawnicza Exit.
Biecek P. (2014). Przewodnik po pakiecie R. Oficyna Wydawnicza GIS.
Cichosz P. (2015). Data Mining Algorithms: Explained Using R. Wiley.

Paweł Cichosz