Rozumienie języka naturalnego w platformach badawczych bibliotek — wnioski z testów wersji beta wyszukiwania w języku naturalnym EBSCO

Rozumienie języka naturalnego (NLU, ang. Natural Language Understanding) znajduje się na czele rozwoju sztucznej inteligencji (AI) w obszarze wyszukiwania informacji. Nowa funkcja w wersji beta w EBSCO Discovery Service (EDS) i EBSCOhost, nazwana Wyszukiwaniem w Języku Naturalnym (Natural Language Search), łączy możliwości analizy zapytań dzięki NLU z solidnym algorytmem wyszukiwania, który EBSCO opracowało na przestrzeni dekad testów i dostosowań do potrzeb badaczy. 

EBSCO wykorzystuje potencjał technologii NLU w platformach badawczych bibliotek, aby zwiększyć skuteczność badań i przekształcić doświadczenie badawcze użytkowników. Choć NLU stanowi technologię stojącą za nowym trybem wyszukiwania w języku naturalnym w EBSCO Discovery Service i EBSCOhost, tryb wyszukiwania zaawansowanego wciąż jest dostępny i nie wykorzystuje AI. Łącząc moc silnika wyszukiwania EBSCO z technologią NLU, firma koncentruje się na opracowaniu adaptacyjnego wyszukiwania, które uwzględnia preferencje i poziomy doświadczenia wszystkich użytkowników.

W sierpniu i wrześniu 2024 roku EBSCO przeprowadziło testy wersji beta nowego trybu wyszukiwania w języku naturalnym w EBSCO Discovery Service i EBSCOhost z udziałem 60 studentów studiów licencjackich oraz 30 zaawansowanych badaczy. Poniżej przedstawiono wyniki tego badania użytkowników.

Funkcja wyszukiwania w języku naturalnym (Natural Language Search) w EBSCO to zaawansowane rozwiązanie wykorzystujące technologię NLU (Natural Language Understanding) do dokładniejszej analizy zapytań użytkowników, dzięki czemu lepiej odzwierciedla ich intencje. Skutkuje to bardziej precyzyjnymi wynikami wyszukiwania, co jest szczególnie istotne dla badaczy potrzebujących szybkiego dostępu do konkretnych informacji. Dostępna w opcjach trybów wyszukiwania zaawansowanego, funkcja Natural Language Search uzupełnia tradycyjne metody wyszukiwania, interpretując i uwzględniając kwalifikatory oraz parametry wprowadzane przez użytkowników, bez konieczności „rozszyfrowywania” złożonych funkcji wyszukiwania na wczesnych etapach procesu badawczego. 

Jak zauważył jeden z respondentów:

„Byłem pod wrażeniem zakresu i trafności wyszukiwania w języku naturalnym, ponieważ wydobywało ono elementy, które nie były tak łatwo dostępne w tradycyjnym wyszukiwaniu słów kluczowych. Jednocześnie widziałem korzyść płynącą z algorytmu trafności EBSCO, ponieważ wyniki nie sprawiały wrażenia odizolowanego wyszukiwania semantycznego bez kontekstu. Myślę, że mniej doświadczeni użytkownicy skorzystają z łatwości użycia języka naturalnego, podczas gdy bardziej zaawansowani badacze będą mogli konstruować wyszukiwania, które nadal wykorzystują słowa kluczowe, metadane i wyszukiwanie semantyczne (a także odkrywać nowe obszary spoza ich specjalizacji).” 

– Uczestnik testów beta (badacz)

Podczas testów uczestnicy z grupy zaawansowanych użytkowników wypełniali ankietę, w której poproszono ich o wykonanie co najmniej trzech zapytań w języku naturalnym przy wyłączonym trybie wyszukiwania w języku naturalnym (Natural Language Search), a następnie jednego przy włączonym trybie. Uczestnicy zostali poproszeni o ocenę swoich pierwszych wrażeń w skali od 1 do 5, następnie o ocenę trafności wyników każdego wyszukiwania w tej samej skali, a na końcu o wskazanie, czy włączyliby tę funkcję, gdyby była dostępna. 

Podobnie wśród studentów studiów licencjackich przeprowadzono test A/B, w którym zapytanie w języku naturalnym zostało wykonane w tym samym interfejsie EDS — raz z włączonym trybem Natural Language Search, a raz z wyłączonym. Uczestnicy zostali poproszeni o ocenę swoich wrażeń, o ocenę trafności wyników w skali od 1 do 5, a na końcu o porównanie trybu Natural Language Search z innymi metodami wyszukiwania, z których wcześniej korzystali.

Zapytani o swoje wrażenia dotyczące wyszukiwania w języku naturalnym (Natural Language Search) — ogólne odczucia, trafność wyników oraz prawdopodobieństwo korzystania z tej funkcji — uczestnicy badania odpowiedzieli następująco:

• 57% badaczy miało pozytywne wrażenia dotyczące wyszukiwania w języku naturalnym, a 27% uznało, że zarówno tryb Natural Language Search, jak i tradycyjne wyszukiwanie są przydatne.
• Średnio 74% badaczy uznało wyszukiwanie w języku naturalnym za bardzo trafne.
• 67% studentów studiów licencjackich stwierdziło, że ich doświadczenie z wyszukiwaniem w języku naturalnym było lepsze niż w przypadku innych wyszukiwarek, z których wcześniej korzystali do celów badawczych.
• 87% studentów uznało, że łatwiej jest uzyskać wyniki wysokiej jakości, korzystając z wyszukiwania w języku naturalnym.
• Wśród zaawansowanych badaczy 63% zadeklarowało, że włączyłoby tryb wyszukiwania w języku naturalnym jako domyślny tryb wyszukiwania. 

Wspólnym wątkiem w opiniach było to, że wyszukiwanie w języku naturalnym ma potencjał, by uzupełniać tradycyjne metody wyszukiwania — szczególnie w przypadku zapytań zawierających pytania lub kwalifikatory, które mogą być lepiej obsługiwane w trybie Natural Language Search.

Gdy testerzy wersji beta wpisywali zapytania w formie pytań:

„Wydaje się bardzo przyjazne dla użytkownika, ponieważ nie wymaga znajomości zaawansowanych funkcji wyszukiwania, aby rozpocząć badania. Upraszcza proces wyszukiwania i sprawia, że jest on dostępny dla początkujących.” – Uczestnik testów beta (badacz)

Gdy testerzy używali zapytań bez operatorów logicznych (non-Boolean):

„Używałem rzeczywistych zapytań studentów college’u i byłem całkowicie zaskoczony, jak dobrze narzędzie AI potrafiło znaleźć trafne wyniki z niepoprawnie sformułowanych zapytań. Gdy używałem tych samych zapytań w tradycyjnym wyszukiwaniu z operatorami bliskości, często otrzymywałem 0 wyników. Na przykład zapytanie: ‘How does dehumanizing language affect us’ nie dało żadnych wyników, ale narzędzie AI znalazło wiele trafnych artykułów już na pierwszej stronie. Inny przykład: ‘factors in safety measures in high schools’ gun violence’ — 0 wyników w tradycyjnym wyszukiwaniu, ale narzędzie AI znalazło odpowiednie artykuły. W wielu innych przypadkach AI znajdowała istotne źródła, podczas gdy tradycyjne wyszukiwanie zwracało nieodpowiednie wyniki.” – Uczestnik testów beta (badacz) 

Respondenci ankiety podkreślali, że wyszukiwanie w języku naturalnym przyspiesza proces badawczy, zmniejszając stres związany z koniecznością stworzenia „idealnego” zapytania. Wielu z nich było „zachwyconych”, że tryb ten potrafił uchwycić kontekst ich

Na podstawie opinii testerów wersji beta EBSCO dostosowało próg trafności wyszukiwanych dokumentów, aby zmniejszyć liczbę nadmiernie licznych wyników na liście rezultatów. Firma pracuje również nad ulepszeniem sposobu, w jaki wyszukiwanie w języku naturalnym obsługuje zapytania typu Boolean, a także prowadzi bardziej zróżnicowane testy zapytań — obejmujące różne pytania i kwalifikatory, długie zapytania oraz wyszukiwania z negacją — w celu przetestowania granic nowego trybu wyszukiwania. 

Chociaż większość testów beta była przeprowadzana w języku angielskim, część użytkowników wyszukujących po francusku wyraziła chęć, aby wyszukiwanie w języku naturalnym automatycznie rozpoznawało język zapytania i nadawało większą wagę treściom w tym samym języku w wynikach. Innym spostrzeżeniem było to, że każdy uczestnik miał nieco inne rozumienie tego, czym jest „wyszukiwanie naturalne”, dlatego prowadzone są dalsze analizy dotyczące sposobu nazewnictwa i dokumentacji tej funkcji. 

Kwestia przejrzystości działania wyszukiwania w języku naturalnym była również często poruszana. 

„W przypadku wyszukiwania z operatorami logicznymi (Boolean) mogę nauczyć użytkowników, jak skonstruować skuteczne zapytanie lub jak poprawić błędne, stosując nowe terminy lub hasła przedmiotowe. Natomiast w przypadku wyszukiwania opartego na AI nie da się łatwo ustalić, dlaczego wyniki są trafne lub nietrafne. To główny problem pracy z czymś, co jest czarną skrzynką.” – Uczestnik testów beta (badacz)

Bibliotekarze chcą uzyskać większą jasność co do tego, jak działa analiza składniowa zapytań (parsing) i jakie rozszerzenia są stosowane, jeśli w ogóle. W związku z tym prowadzone są testy mające na celu wprowadzenie warstwy przejrzystości — tak, aby użytkownicy mogli zobaczyć, w jaki sposób zapytanie zostało przetworzone, czy wykorzystano AI do jego analizy, oraz by zbadać możliwości połączenia zalet tradycyjnego wyszukiwania z wyszukiwaniem w języku naturalnym. Choć wielu uczestników wciąż jest ostrożnych wobec obecnego stanu tej funkcji, większość z nich wyraziła nadzieję i chęć ponownego udziału w testach po wprowadzeniu dalszych ulepszeń. 

Większość zgodziła się, że wyszukiwanie w języku naturalnym ułatwi prowadzenie badań w bibliotekach początkującym użytkownikom. Jeden z uczestników powiedział: „Uważam, że to bardzo proste i intuicyjne — widzę w tym narzędzie niezwykle przydatne dla studentów”, podczas gdy inny dodał: „To rozwiązanie ułatwi studentom uzyskanie trafnych wyników bez konieczności nauki zaawansowanych technik wyszukiwania”. Jednocześnie większość zgodziła się, że tradycyjne wyszukiwanie pozostaje ich podstawowym narzędziem przy prowadzeniu i nauczaniu zaawansowanych badań.

Uzyskane od uczestników cenne opinie już teraz przyczyniają się do ulepszania trybu wyszukiwania. Ogólnie rzecz biorąc, tryb wyszukiwania w języku naturalnym wydaje się dobrze uzupełniać tradycyjny tryb wyszukiwania. Gdy użytkownik nie jest pewien, jak sformułować zapytanie, a bibliotekarz nie jest dostępny, funkcja wyszukiwania w języku naturalnym pomaga rozpocząć poszukiwania. Stwierdzono, że wyszukiwanie w języku naturalnym jest najbardziej pomocne przy prostych pytaniach lub takich, które zawierają kwalifikatory. Choć nadal istnieją obszary wymagające ulepszeń, funkcja ta już teraz poprawia wyniki w przypadku określonych zachowań wyszukiwania, których tradycyjne wyszukiwanie nie obsługuje dobrze. Z kolei wyszukiwanie tradycyjne pozostaje niezwykle skuteczne przy obsłudze zapytań logicznych (Boolean). Połączenie tych zalet w jednym doświadczeniu wyszukiwania, które może dostosować się do wszystkich wzorców wyszukiwania, a jednocześnie rozwijać dodatkowe korzyści, to kluczowa lekcja wyniesiona z tego projektu.

Innym ważnym wnioskiem jest obserwacja dotycząca sztucznej inteligencji jako takiej. Nadal istnieje wiele niepewności dotyczących tego, jak AI może być wykorzystywana w środowisku akademickim, a także jak dokładnie działa. Jak we wszystkich rozwiązaniach AI w EBSCO, zobowiązujemy się do tworzenia materiałów edukacyjnych, dokumentowania sposobu, w jaki wykorzystujemy AI, oraz do współpracy zarówno z wydawcami, jak i klientami w procesie kształtowania zrozumienia i właściwego zastosowania sztucznej inteligencji.

EBSCO uruchomiło program EBSCO AI Beta w czerwcu 2024 roku. Publikujemy streszczenia wykonawcze, takie jak to, dla każdego projektu, a także przygotowujemy artykuł naukowy koncentrujący się na tym, w jaki sposób nasza praca i wyniki wpisują się w szersze badania nad sztuczną inteligencją w środowisku akademickim — jego publikacja planowana jest na początek 2025 roku.