Opracowanie modeli ML

Usługi doradcze w zakresie działalności gospodarczej, w tym usługi badawcze i eksperymentalno-rozwojowe

Tryb zamówienia	Zapytanie ofertowe
Rodzaj zamówienia	Usługi
Tytuł	Opracowanie modeli ML
Zamawiający	Dostępne dla zalogowanych
Miejsce realizacji	Warszawa
Data publikacji	2024-09-20
Data składania ofert	27/09/2024, Godzina 23:59
Dokumenty do pobrania	Dostępne dla zalogowanych
Kod CPV	723100001 Usługi przetwarzania danych 722125176 Usługi opracowywania oprogramowania informatycznego 722124625 Usługi opracowywania oprogramowania matematycznego lub prognozującego 730000002 Usługi badawcze i eksperymentalno-rozwojowe oraz pokrewne usługi doradcze
Numer przetargu	5688756

<div>
 <h1>Opracowanie modeli ML</h1>

<h2>Załączniki</h2>
 <ul>
 <li><a href="https://bazakonkurencyjnosci.funduszeeuropejskie.gov.pl/api/files/1600898">SmartSite zapytanie ofertowe B+R final</a></li>
 <li><a href="https://bazakonkurencyjnosci.funduszeeuropejskie.gov.pl/api/files/1600899">Zal_1_Oferta_dHOST_200924_v1_</a></li>
 <li><a href="https://bazakonkurencyjnosci.funduszeeuropejskie.gov.pl/api/files/1600900">Zal_2_Osw_Kryteria_dostepu_dHOST_Zapytanie_200924_v1_</a></li>
 <li><a href="https://bazakonkurencyjnosci.funduszeeuropejskie.gov.pl/api/files/1600901">Zal_3_Osw_Brak_Powiazan_dHOST_Zapytanie_200924_v1_</a></li>
 <li><a href="https://bazakonkurencyjnosci.funduszeeuropejskie.gov.pl/api/files/1600902">Zal_4_Klauzula_IPR_dHOST_Zapytanie_200924_v1_</a></li>
 <li><a href="https://bazakonkurencyjnosci.funduszeeuropejskie.gov.pl/api/files/1600903">Zal_5_Klauzula_RODO_dHOST_Zapytanie_200924_v1_</a></li>
 </ul>
 
 <h2>Części zamówienia</h2>

<h3>Opracowanie modeli ML</h3>
 Przedmioty zamówienia
 Zgodnie z załącznikiem &quot;SmartSite zapytanie ofertowe B+R final&quot; przedmiot zamówienia obejmuje wykonanie, przez podmiot wybrany przez Zamawiającego („Wykonawca”), usług badawczych zgodnie z poniższym zakresem: 
1.	Opracowanie modeli ML generujących wnioski	Zamawiający pracuje nad systemem generującym wnioski, predykcje i sugestie akcji dla właścicieli serwisów www, na podstawie kilkudziesięciu metryk z kilkudziesięciu tysięcy serwisów www. Metryki zbierane są dobowo i zostaną przekazane Wykonawcy przez Zamawiającego przed rozpoczęciem realizacji zadania. 
W ramach pierwszej części należy opracować modele uczenia maszynowego generujące wnioski na podstawie korelacji metryk. 
Dane wejściowe: przed rozpoczęciem realizacji zadania Zamawiający dostarczy Wykonawcy przygotowane dane (uzupełnione braki, obsłużone obserwacje odstające, obliczone korelacja i VIF, one-hot-encoding) w postaci nie mniej niż 30 metryk z nie mniej niż 40 tys. serwisów www. 
1.1.	Zadania: 
i.	Opracowanie 10 nowych (tzn. innych od obecnie istniejących), precyzyjnych modeli uczenia maszynowego generujących wnioski na podstawie korelacji danych metryk serwisów www: 
-	przygotowanie modeli uczenia maszynowego; 
-	projektowanie nowatorskich (tzn. innych od obecnie istniejących) architektur sieci neuronowych, uwzględniających specyfikę danych z serwisów www; 
-	konfiguracja hiperparametrów modeli; 
-	dobór zmiennych objaśniających dla każdego modelu; 
-	implementacja nowych (tzn. innych od obecnie istniejących) technik regularyzacji i optymalizacji, dostosowanych do specyfiki zadania. 
ii.	Eksperymentalne badanie efektywności modeli w kontekście generowania wniosków dla serwisów www. Kluczowe działania: 
-	projektowanie i przeprowadzanie eksperymentów porównujących nowe modele z istniejącymi rozwiązaniami; 
-	opracowanie metryk ewaluacji, uwzględniających specyfikę generowanych wniosków; 
-	analiza zachowania modeli w różnych scenariuszach, w tym dla rzadkich kombinacji metryk dla nie mniej niż 20 wyselekcjonowanych pod kątem istotności korelacji metryk spośród nie mniej niż 30 metryk dla podzbioru 10 000 serwisów www. 
Ten etap prac ma charakter eksperymentalny i ma na celu lepsze zrozumienie zachowania opracowanych modeli oraz identyfikację obszarów wymagających dalszych badań. 
iii.	Trening modeli ML 
Trening modeli na danych ze zbioru treningowego (60%) i walidacyjnego (20%) pochodzących z nie mniej niż 40 tysięcy serwisów www, wykorzystując nie mniej niż 30 metryk dla każdego serwisu. 
1.2.	Oczekiwany rezultat: 
Modele uczenia maszynowego generujące wnioski dotyczące działania serwisów www z MAPE nie większym niż 20%. 
 
Wykonawca może opracowywać modele (wstępnie uruchamiać, testować hiperparametry, dobierać sieci neuronowe) na swoich komputerach, jednak finalny trening modeli oraz inferencja danych mają odbywać się na modelach osadzonych na serwerach dostarczonych przez Zamawiającego tak, aby oprogramowanie tworzone przez Zamawiającego miało dostęp do wyników działań modeli.	 
•	planowane rozpoczęcie prac: listopad 2025 
•	termin realizacji: 8 miesięcy 
 
2.	Opracowanie modeli ML generujących predykcje zdarzeń i predykcje zdarzeń w czasie	Zamawiający pracuje nad systemem generującym wnioski, predykcje i sugestie akcji dla właścicieli serwisów www, na podstawie kilkudziesięciu metryk z kilkudziesięciu tysięcy serwisów www. Metryki zbierane są dobowo i zostaną przekazane Wykonawcy przez Zamawiającego przed rozpoczęciem realizacji zadania. 
W ramach drugiej części należy opracować modele uczenia maszynowego generujące predykcje zdarzeń i predykcje zdarzeń w czasie na podstawie korelacji metryk. 
Dane wejściowe: przed rozpoczęciem realizacji Zadania nr 2 Zamawiający dostarczy Wykonawcy przygotowane dane (uzupełnione braki, obsłużone obserwacje odstające, obliczone korelacja i VIF, one-hot-encoding, wydzielone szeregi czasowe, zmienne objaśniane wybrane i rozdzielone między 6 kategorii) w postaci nie mniej niż 20 wyselekcjonowanych na podstawie istotności korelacji metryk spośród nie mniej niż 30 posiadanych metryk z nie mniej niż 40 tys. serwisów www. 
2.1. Zadania: 
i.	opracowanie 10 nowych (tzn. innych od obecnie istniejących) modeli ML generujących predykcje zdarzeń, również w czasie. 
-	przygotowanie 10 modeli ML generujących predykcje wydarzeń, również w czasie; 
-	projektowanie nowatorskich (tzn. innych od obecnie istniejących) architektur sieci neuronowych, uwzględniających specyfikę danych z serwisów; 
-	konfiguracja hiperparametrów modeli; 
-	dobór zmiennych objaśniających dla modeli; 
-	implementacja nowych (tzn. innych od obecnie istniejących) technik regularyzacji i optymalizacji, dostosowanych do specyfiki zadania predykcyjnego. 
ii.	Eksperymentalne badanie precyzji predykcji zdarzeń, również w czasie, modeli ML Kluczowe działania obejmą: 
-	projektowanie i przeprowadzanie eksperymentów porównujących nowe modele z istniejącymi rozwiązaniami; 
-	opracowanie metryk ewaluacji precyzji predykcji modeli; 
-	analiza działania modeli w różnych scenariuszach, 
-	analiza działania modeli dla rzadkich kombinacji metryk, 
-	użycie testu Diebolda-Mariano (DM) i testu Hansena do porównania prognoz, 
-	dla modeli generujących predykcje w czasie, badanie dla nie mniej niż 14 horyzontów czasowych od 1 do 14 dni. 
Etap ma charakter eksperymentalny i ma na celu lepsze zrozumienie zachowania opracowanych modeli oraz identyfikację obszarów wymagających dalszych badań. 
iii.	Trening modeli ML 
Przeprowadzenie treningu modeli na danych ze zbioru treningowego i walidacyjnego pochodzących z nie mniej niż 40 tysięcy serwisów www, wykorzystując nie mniej niż 20 wyselekcjonowanych na podstawie istotności korelacji metryk z ponad nie mniej niż 30 posiadanych metryk dla każdego serwisu. 
2.2. Oczekiwany rezultat: 
Modele uczenia maszynowego generujące predykcje zdarzeń i predykcje zdarzeń w czasie z MAPE nie większym niż 20%. 
 
Wykonawca może opracowywać modele (wstępnie uruchamiać, testować hiperparametry, dobierać sieci neuronowe) na swoich komputerach, jednak finalny trening modeli oraz inferencja danych mają odbywać się na modelach osadzonych na serwerach dostarczonych przez Zamawiającego tak, aby oprogramowanie tworzone przez Zamawiającego miało dostęp do wyników działań modeli.	 
•	planowany początek realizacji usługi: po zakończeniu Zadania 1 
•	termin realizacji: 8 miesięcy 
 
3.	Opracowanie modeli ML generujących sugestie akcji	Zamawiający pracuje nad systemem generującym wnioski, predykcje i sugestie akcji dla właścicieli serwisów www, na podstawie kilkudziesięciu metryk z kilkudziesięciu tysięcy serwisów www. Metryki zbierane są dobowo i zostaną przekazane Wykonawcy przez Zamawiającego przed rozpoczęciem realizacji zadania. 
W ramach Zadania nr 3 należy opracować modele uczenia maszynowego generujące sugestie akcji dla użytkowników na podstawie korelacji metryk. 
Dane wejściowe: przed rozpoczęciem realizacji Zadania nr 3 Zamawiający dostarczy Wykonawcy przygotowane dane (uzupełnione braki, obsłużone obserwacje odstające, obliczone korelacja i VIF, one-hot-encoding, wydzielone szeregi czasowe) w postaci 20 wyselekcjonowanych na podstawie istotności korelacji metryk spośród ponad nie mniej niż 30 posiadanych metryk z nie mniej niż 40 tys. serwisów www. Zamawiający dostarczy również opracowane przez siebie modele ML odnajdujące korelacje między akcjami użytkownika a metrykami serwisów www a co za tym idzie dostarczy listę metryk, dla której podzbioru należy opracować generowanie sugestii akcji. 
 
3.1. Zadania: 
i.	opracowanie 20 nowych (tzn. innych od obecnie istniejących) modeli o wysokiej trafności odnajdujących korelacje między akcjami użytkownika a metrykami serwisów www; 
-	analiza działania modeli odnajdujących korelacje między akcjami użytkownika a metrykami serwisów www i wybór zbioru sugestii akcji (nie mniej niż 20), które będą zmiennymi objaśnianymi w modelach generujących predykcje sugestii akcji; 
-	przygotowanie modeli ML generujących predykcje sugestii akcji (nie mniej niż 20 modeli); 
-	projektowanie nowatorskich (tzn. innych od obecnie istniejących) architektur sieci neuronowych, uwzględniających specyfikę danych z serwisów www; 
-	wstępna konfiguracja hiperparametrów modeli; 
-	dobór zmiennych objaśniających dla każdego modelu 
ii.	Eksperymentalne badanie precyzji predykcji sugestii akcji: 
-	analiza działania modeli w różnych scenariuszach na podzbiorze danych: nie mniej niż 20 wyselekcjonowanych na podst. istotności korelacji metryk z ponad nie mniej niż 30 posiadanych metryk dla 10 000 serwisów www; 
-	opracowanie metryk ewaluacji precyzji predykcji modeli; 
-	eksperymentalny dobór hiperparametrów modeli; 
-	iteracyjna ocena precyzji badanych modeli; 
-	użycie testu Diebolda-Mariano (DM) i testu Hansena, w celu porównania prognoz 
iii.	Trening modeli generujących predykcje sugestii akcji na podstawie metryk serwisów www. 
Przeprowadzenie treningu modeli na danych ze zbioru treningowego i walidacyjnego pochodzących z nie mniej niż 40 tys. serwisów www, wykorzystując 20 wyselekcjonowanych na podstawie istotności korelacji metryk z ponad nie mniej niż 30 posiadanych metryk dla każdego serwisu. 
3.2. Oczekiwany rezultat: 
Modele uczenia maszynowego generujące sugestie akcji dla użytkownika dla opracowanego podzbioru metryk wynikowych. Precyzja generowanych predykcji zmiany metryk wynikowych po wykonaniu sugerowanej akcji (MAPE) nie większa niż 20% 
 
Wykonawca może opracowywać modele (wstępnie uruchamiać, testować hiperparametry, dobierać sieci neuronowe) na swoich komputerach, jednak finalny trening modeli oraz inferencja danych mają odbywać się na modelach osadzonych na serwerach dostarczonych przez Zamawiającego tak, aby oprogramowanie tworzone przez Zamawiającego miało dostęp do wyników działań modeli.	 
•	planowany początek realizacji usługi: po zakończeniu Zadania 2 
•	termin realizacji: 8 miesięcy

<h2>Kryteria oceny</h2>
 Zgodnie z załącznikiem &quot;SmartSite zapytanie ofertowe B+R final&quot;: 
Kryterium: Cena netto – waga 100% 
Oferty otrzymują punkty zgodnie z następującym wzorem: 
Liczba punktów za cenę = ((Cena najniższa)/(Cena badanej oferty))x 100
 
 </div>