W ostatnich dniach pojawiły się doniesienia, że modele sztucznej inteligencji najlepiej radzą sobie z tekstami pisanymi po polsku. Media ogłosiły to niemal jako "złoty medal" dla naszego języka. Problem w tym, że wnioski wyciągnięto na wyrost.
Chodzi o badanie sprawdzające, jak AI radzi sobie z wyszukiwaniem konkretnej informacji w bardzo długich tekstach – zadaniu podobnym do użycia skrótu CTRL-F, tylko na ogromnych dokumentach. Rzeczywiście, w tym pojedynczym teście modele osiągnęły najlepszy wynik na polskich tekstach. Jest jednak ważny niuans: porównywano 26 różnych książek, a nie ten sam tekst przetłumaczony na 26 języków.
Dla angielskiego były to "Małe kobietki", dla hiszpańskiego "Don Kichot", a dla polskiego – trzeci tom "Nocy i dni". To zestawienie, jak zauważyła współautorka badania Marzena Karpińska w rozmowie z PAP, nie daje podstaw do prostego porównania. Po prostu Noce i Dnie mogły się okazać łatwiejsze do "przeskanowania" niż np. niemiecka "Czarodziejska góra". Innymi słowy: to nie język polski sam w sobie ułatwił AI zadanie.
Prawdziwa lekcja z tego badania jest inna: nawet przy tak prostym zadaniu żaden model nie osiągnął pełnej skuteczności. Tymczasem użytkownicy masowo powierzają AI firmowe dokumenty, maile i wrażliwe treści. Test pokazuje, że system potrafi błyszczeć, ale chwilę później popełnić szkolny błąd.
Wniosek? Warto korzystać, ale trzeba sprawdzać. Zadawać pytania drugi raz, weryfikować odpowiedzi i nie powierzać czatowi najważniejszych tajemnic. A nasz język – choć piękny – nie jest żadną "supermocą" dla modeli AI. Koniec i kropka.