Datu priekšapstrāde

Virsraksts	% no gala vērtējuma	Vērtējums
1. Patstāvīgais darbs	30,00% no gala vērtējuma	Ieskaite
Studējošie patstāvīgi izpilda praktiskos uzdevumus un iesniedz praktisko darbu atskaites e-studiju vidē.

Virsraksts	% no gala vērtējuma	Vērtējums
1. Pārbaudījums	70,00% no gala vērtējuma	10 balles
Izstrādāt projektu, kurā studējošie veic datu kopas datu priekšapstrādi. Projekta prezentēšana un rezultātu izvērtēšana.

Datu zinātnes pamatnosacījumi (L1). PACE stratēģija. Datu sagatavošana analīzei. Priekšapstrādes nozīme datu analīzē un mašīnmācīšanās procesos. No neapstrādātiem datiem līdz gataviem datiem: galvenie soļi un metodes. Datu tipi un formatēšana.

Datu priekšapstrādes pamati (P1). No izejas datiem līdz sagatavotiem datiem. Sākotnējā datu izpēte un analīze. Pazīmju izvērtēšana un sākotnējās problēmas.

Aprakstošā statistika kā kvalitātes kontrole (P2). Aprakstošās statistikas pamatjēdzieni un rādītāji. Datu aprakstīšanas un apkopošanas principi. Centrālās tendences un izkliedes rādītāju aprēķināšana un interpretācija. Datu sadalījuma, anomāliju un noviržu identificēšana. Aprakstošās statistikas izmantošana datu kvalitātes novērtēšanā un kontrolē.

Datu tipu konvertācija un kategoriju harmonizēšana (P4). Vienotu datu tipu un mērvienību nodrošināšana datu kopā. Datu normalizācijas un mērogošanas metodes. Kategorisko datu standartizēšana un harmonizēšana starp dažādiem datu avotiem. Kategoriju kodēšanas pieejas un to pielietojums statistiskajā analīzē un mašīnmācīšanās modeļos. Datu salīdzināmības, konsekvences un analīzes kvalitātes nodrošināšanas principi.

Jaunu grupu veidošana, filtrēšana un darbs ar datuma laukiem (P5). Jaunu mainīgo un riska grupu veidošana, izmantojot loģiskos nosacījumus un atvasinātos rādītājus. Datu filtrēšanas un atlases principi, izmantojot vienkāršos un paplašinātos filtrus. AND/OR loģikas pielietošana medicīnisku kritēriju definēšanā. Apraksts Darbs ar datuma laukiem un datumu formātu harmonizēšana. Vecuma, laika intervālu, sezonu un citu atvasinātu mainīgo aprēķināšana no datuma datiem. Datuma lauku kvalitātes pārbaude un praktiska izmantošana pacientu grupēšanā un datu analīzē.

Outliers un kļūdainu vērtību filtrēšana, datu kopu apvienošana (P6). Izlecošo vērtību (outliers) un kļūdainu datu identificēšanas principi. Loģisko robežvērtību, statistisko kritēriju (Z-score, IQR) un klīniskā konteksta izmantošana datu kvalitātes novērtēšanā. Neatbilstošu un ekstrēmu vērtību filtrēšana, klasificēšana un dokumentēšana. Apraksts Datu kopu apvienošanas pamatprincipi, kopīgo identifikatoru izmantošana un datu konsistences nodrošināšana. Dažādu datu apvienošanas veidu (join) pielietošana, dublikātu kontrole un apvienoto datu kvalitātes pārbaude.

Trūkstoši dati, dublikāti un konsistence (P3). Datu sakārtošanas prasmes. Datu pārveidošana un manipulēšana. Datu filtrēšana, atlase un grupēšana. Datu trūkumu identificēšana un aizpildīšana (imputācija). Dubultošanos un neatbilstošu vērtību novēršana. Datu kvalitātes nodrošināšanas metodes.

Datu samazināšana un balansēšana (P7). Augstas dimensionalitātes datu raksturojums un dimensiju samazināšanas metodes. Iezīmju atlases (Feature Selection) un iezīmju izvilkšanas (Feature Extraction) pieejas, to pielietojums statistiskajā analīzē un mašīnmācīšanā. Datu sadalīšanas principi reprezentatīvu izlašu veidošanai un modeļu apmācībai. Apraksts Datu balansēšanas nepieciešamība nelīdzsvarotu klašu gadījumā. Balansēšanas metodes, to priekšrocības un ierobežojumi medicīnas datu analīzē un prognozējošo modeļu izstrādē.

Apkopojums un nākamie soļi (P8). Datu priekšapstrādes procesa galveno posmu atkārtojums un sistematizēšana. Datu kvalitātes principu, biežāk sastopamo problēmu un to risināšanas pieeju apkopošana. Nozares datu iegūšanas resursi un publiski pieejamās datubāzes. Ievads statistikas programmatūrā, datu vizualizācijā un programmēšanas rīkos (Google Colab) datu apstrādei.

Praktiskā datu priekšapstrāde (P9). Pielietojumi reālajā dzīvē. Datu tīrīšana un transformācija reālos projektos. Datu sagatavošana gala rezultātu iegūšanai.

Sensitīvu datu apstrāde (P10). Sensitīvu datu veidi, to identificēšana un klasifikācija medicīnas un pētniecības datos. Personas datu aizsardzības principi, VDAR (GDPR) prasības un ētiskie aspekti darbā ar sensitīvu informāciju. Drošas datu glabāšanas, piekļuves kontroles un šifrēšanas pamatprincipi. Pseidonimizācijas un anonimizācijas metodes, to pielietojums un ierobežojumi. Sensitīvu datu aizsardzības risinājumi datu apstrādes, analīzes un koplietošanas procesos.

Projekts (P11). Datu kopas datu priekšapstrāde. Datu tīrīšana, transformācija un sagatavošana datu analīzei. Projekta prezentēšana, rezultātu izvērtēšana un iegūto prasmju pielietošana.

Projekts (P12). Datu kopas datu priekšapstrāde. Datu tīrīšana, transformācija un sagatavošana datu analīzei. Projekta prezentēšana, rezultātu izvērtēšana un iegūto prasmju pielietošana.