BERT najnowszy algorytm wyszukiwania Google Marcin Kordowski

Oceń Nas post

BERT to najnowszy algorytm wyszukiwania Google, stworzony w celu lepszego zrozumienia języka naturalnego. Google wprowadza największą zmianę w swoim systemie wyszukiwania od czasu wprowadzenia RankBrain prawie pięć lat temu. Firma powiedziała, że wpłynie to na 1 na 10 zapytań.

BERT zaczął działać w poprzednim tygodniu i niedługo będzie dostępny na całym świecie. Obecnie ogranicza się do zapytań w języku angielskim. W przyszłości rozszerzy się na inne języki zgodnie z mapą istotności tychże języków.

Wpłynie to również na polecane fragmenty czyli snippety. Google potwierdziło, że BERT będzie używany na całym świecie, we wszystkich językach, w polecanych fragmentach(snippetach).

Co to jest BERT?

BERT (Bidirectional Encoder Representations from Transformers) to algorytm opracowany przez Google w 2018 roku. Jest to model językowy oparty na architekturze Transformer, który został zaprojektowany do rozumienia kontekstu i semantyki języka naturalnego.

Tradycyjne modele językowe, takie jak Word2Vec czy GloVe, są trenowane na podstawie kontekstu jednokierunkowego, czyli analizują tylko kontekst poprzedzający dane słowo. Jednak BERT wykorzystuje bi-kierunkową analizę kontekstu, co oznacza, że uwzględnia zarówno kontekst poprzedzający, jak i kontekst następujący po danym słowie. Dzięki temu BERT jest w stanie lepiej rozumieć pełne znaczenie i zależności w zdaniach.

BERT jest trenowany na dużej ilości danych tekstowych, takich jak artykuły, książki czy strony internetowe. W wyniku tego procesu BERT uczy się reprezentacji słów, które mają bogaty kontekstowy sens. Następnie ten wstępnie wytrenowany model można dostosować do różnych zadań, takich jak klasyfikacja tekstu, rozpoznawanie nazw własnych czy tłumaczenie maszynowe.

Jedną z kluczowych cech BERT-a jest możliwość generowania tzw. “embeddingów”, czyli zanurzeń, które przypisują słowom i zdaniom wektorowe reprezentacje. Te reprezentacje można następnie wykorzystać do porównywania podobieństwa semantycznego między słowami, generowania rekomendacji lub do innych zadań przetwarzania języka naturalnego.

BERT zrewolucjonizował dziedzinę przetwarzania języka naturalnego, osiągając wyniki wyprzedzające poprzednie modele na wielu zadaniach. Jego elastyczność i zdolność do rozumienia kontekstu sprawiają, że BERT jest szeroko stosowany w dziedzinie analizy tekstu, tworzenia chatbotów, tłumaczenia maszynowego i innych zastosowań związanych z językiem naturalnym.

Najważniejsze cechy algorytmu BERT model (Bidirectional Encoder Representations from Transformers)

Najważniejsze cechy algorytmu BERT (Bidirectional Encoder Representations from Transformers) to:

Bi-kierunkowa analiza kontekstu: BERT analizuje zarówno kontekst poprzedzający, jak i kontekst następujący po danym słowie. Dzięki temu ma lepsze rozumienie kontekstu i zależności między słowami w zdaniu.
Transformer-based architecture: BERT wykorzystuje architekturę Transformer, która składa się z wielu warstw transformatorów. Te warstwy pozwalają na efektywne przetwarzanie sekwencji i naukę reprezentacji słów.
Pretraining na dużym zbiorze danych: BERT jest wstępnie trenowany na ogromnych zbiorach tekstowych, takich jak artykuły, książki czy strony internetowe. Taki trening umożliwia modelowi rozumienie szerokiego kontekstu języka naturalnego.
Fine-tuning na zadania specyficzne dla domeny: Po wstępnym treningu model BERT może być dostosowywany do różnych zadań, takich jak klasyfikacja tekstu, tłumaczenie maszynowe czy rozpoznawanie nazw własnych. Fine-tuning polega na dostosowywaniu wag modelu do konkretnego zadania, co poprawia jego wydajność.
Generowanie embeddingów: BERT generuje reprezentacje słów i zdań, nazywane embeddingami, które są wektorowymi reprezentacjami. Te zanurzenia można wykorzystać do porównywania podobieństwa semantycznego między słowami, generowania rekomendacji czy do innych zadań przetwarzania języka naturalnego.
Wyprzedzające wyniki: BERT osiągnął wyniki wyprzedzające wcześniejsze modele na wielu zadaniach przetwarzania języka naturalnego. Dzięki swojej zdolności do rozumienia kontekstu i semantyki języka, BERT stał się powszechnie stosowanym modelem w dziedzinie analizy tekstu i innych zastosowań związanych z językiem naturalnym.

Warto zauważyć, że BERT jest tylko jednym z wielu modeli opartych na architekturze Transformer i istnieją również inne warianty, takie jak GPT (Generative Pre-trained Transformer) czy Transformer-XL. Każdy z tych modeli ma swoje własne cechy i zastosowania w dziedzinie przetwarzania języka naturalnego.

Kiedy BERT jest stosowany ?

Google poinformował, że BERT pomaga lepiej zrozumieć niuanse i kontekst słów podczas wyszukiwania. Lepiej dopasowuje te zapytania do trafniejszych wyników. Algorytm opisuje również snippets, w podobny sposób.

Oto kilka przykładów zastosowania BERT w praktyce:

Klasyfikacja tekstu: BERT może być używany do klasyfikacji tekstowej, czyli przypisywania etykiet lub kategorii do danych tekstowych. Na przykład, można go zastosować do klasyfikacji sentymentu opinii klientów, analizy tonu w mediach społecznościowych lub klasyfikacji tematycznej artykułów.
Rozpoznawanie nazw własnych: BERT może być wykorzystany do rozpoznawania nazw własnych, takich jak imiona, miejsca, firmy itp., w tekście. Może to być przydatne w automatycznym oznaczaniu nazw własnych w artykułach, transkrypcji rozmów lub indeksowaniu dokumentów.
Tłumaczenie maszynowe: BERT może być wykorzystany do poprawy jakości tłumaczenia maszynowego. Poprzez uczenie się kontekstu i semantyki języka, BERT może pomóc w generowaniu bardziej precyzyjnych i zrozumiałych tłumaczeń.
Wyszukiwanie semantyczne: BERT może być stosowany do ulepszania systemów wyszukiwania, poprzez lepsze dopasowanie wyników do zapytań użytkowników. Dzięki analizie kontekstu, BERT może uwzględniać znaczenie semantyczne słów i zapewnić bardziej trafne wyniki wyszukiwania.
Analiza zależności między zdaniami: BERT może być używany do analizy zależności między dwoma zdaniami. Na przykład, można go wykorzystać do identyfikacji związku przyczynowo-skutkowego między dwoma zdaniem lub do rozpoznawania podobieństwa semantycznego między dwoma tekstami.

Te przykłady tylko zarysowują potencjalne zastosowania BERT. Algorytm ten jest bardzo elastyczny i może być dostosowywany do wielu różnych zadań związanych z przetwarzaniem języka naturalnego.

W jednym przykładzie Google powiedział, że szukając hasła „podróżujący z Brazylii do USA w 2019 roku potrzebują wizy”, słowo „do” i jego związek z innymi pytaniami są ważne dla zrozumienia znaczenia danego zdania. Wcześniej Google nie rozumiał znaczenia tego typu połączeń i zwracał wyniki dotyczące obywateli USA podróżujących do Brazylii. „Dzięki BERT wyszukiwarka jest w stanie uchwycić ten niuans i wiedzieć, że bardzo popularne słowo „do” ma tutaj duże znaczenie i jego zrozumienie może zapewnić znacznie bardziej trafny wynik dla tego typu zapytań” – wyjaśnił Google. Ostatecznie wyniki zapytania zmienia się jak widać na poniższym obrazku.

Kiedy jest stosowany BERT? — Poniższe przykłady mają charakter poglądowy i mogą nie działać w wynikach wyszukiwania na żywo.

BERT inny przykład

W innym przykładzie, wyszukiwanie „do estheticians stand a lot at work” Google powiedział, że poprzednio pasowałoby ono do terminu „stand-alone” ze słowem „stand” użytym w zapytaniu. Modele algorytmu firmy Google rozumieją, że „stand” jest związana z pojęciem wymagań pracy i wyświetla bardziej przydatną odpowiedź.

Być jak człowiek BERT

W poniższym przykładzie Google może zrozumieć zapytanie lepiej niż specjalista SEO, aby pokazać bardziej pasujący wynik wyszukiwania, “Can you get medicine for someone pharmacy”(Czy możesz dostać lekarstwo dla kogoś w aptece). Jak widać niuans istotny z punktu widzenia algorytmu, czyli rzeczywista intencja tego typu zapytania jest zupełnie inna niż dotychczasowo prezentował algorytm. Obecnie BERT wie, że chodzi o ty czy bliskie osoby mogą odebrać receptę.

Featured snippet

Oto przykład Google pokazującego bardziej odpowiedni snipet wyświetlony dla zapytania „Parking on a hill with no curb”(Parkowanie na wzgórzu bez krawężnika). W przeszłości takie zapytanie powodowało dezorientację systemów Google. Google powiedział: „Przywiązaliśmy zbyt dużą wagę do słowa„ krawężnik ” i zignorowaliśmy słowo„ nie ”, nie rozumiejąc, jak ważne było to słowo, aby odpowiednio zrozumieć to zapytanie.

BERT-Large co to jest?

BERT-Large to jedna z wersji modelu BERT (Bidirectional Encoder Representations from Transformers). Oryginalnie BERT został wprowadzony w dwóch rozmiarach: BERT-Base i BERT-Large.

BERT-Large to większa wersja modelu, która charakteryzuje się większą liczbą parametrów i większą zdolnością do modelowania języka. Oryginalny BERT Large ma aż 345 milionów parametrów, podczas gdy BERT-Base ma 110 milionów parametrów.

Dzięki większej liczbie parametrów BERT-Large jest w stanie nauczyć się bardziej szczegółowych reprezentacji języka i zrozumieć bardziej złożone konteksty w danych tekstowych. Jest to szczególnie przydatne w przypadku zadań, które wymagają głębokiego zrozumienia semantyki i kontekstu, takich jak tłumaczenie maszynowe na wysokim poziomie, analiza języka naturalnego na dużą skalę lub generowanie opisów obrazów.

Warto zauważyć, że BERT-Large jest bardziej wymagający obliczeniowo i pamięciowo niż BERT-Base ze względu na swoją większą liczbę parametrów. Dlatego też, w praktyce, zastosowanie BERT-Large może być ograniczone do zasobniejszych obliczeniowo środowisk lub zastosowań, które wymagają bardzo wysokiej jakości reprezentacji języka.

RankBrain nie jest martwy.

RankBrain to pierwszy użyty przez Google algorytm sztucznej inteligencji. Stworzony do rozumienia intencji zapytań w 2015 roku. Sprawdza zarówno zapytania, jak i zawartość stron internetowych w indeksie Google, aby lepiej zrozumieć znaczenie tych zapytań i ich kontekst. BERT nie zastępuje RankBrain, jest to dodatkowa metoda rozumienia treści i zapytań. Jest to dodatek do systemu rankingowego Google. RankBrain będzie wykorzystywany do innych zapytań, w których sprawdza się znakomicie. Gdy Google uzna, że zapytanie można lepiej zrozumieć za pomocą BERT, Google go zastosuje algorytm BERT. W praktyce pojedyncze zapytanie może wykorzystywać wiele metod do zrozumienia zapytania, w tym także BERT.

Google wyjaśnił, że jest wiele sposobów, dzięki którym może zrozumieć lepiej, kontekst w zapytaniu. Jeśli popełnisz błąd w pisowni, systemy sprawdzania pisowni pomagają Google w znalezieniu odpowiedniego słowa w poprawnej formie. Jeśli użyjesz słowa, które jest synonimem rzeczywistego słowa, Google może je dopasować używając odpowiednich algorytmów dających najlepszy test-owalny wynik. BERT to kolejny algorytm, którego Google używa do zrozumienia języka tak jak człowiek rozumie. W zależności od tego, czego szukasz, można lepiej wykorzystać dowolny dostępny algorytm lub kombinację tych algorytmów, aby lepiej zrozumieć zapytanie i uzyskać bardziej dopasowany wynik.

Czy możesz zoptymalizować sowją stronę pod kątem BERT lub RankBrain?

To mało prawdopodobne. Tak stwierdził Google. Podzielił się to informacją, że SEO nie dotyczy tych algorytmów, że SEO nie będzie miało na nie wpływu. To oznacza, że Google uznał że nie będziemy mogli ingerować w wyniki. Ich rekomendacja jest taka: “Pisz treść dla użytkowników, jak zawsze”. Google ma cel lepsze zrozumienie zapytania wyszukiwarki i lepsze dopasowanie go do trafniejszych wyników.

Podsumowanie

Osobiście nie zgadzam się z tym stwierdzeniem. Stwierdzenie że SEO nie poradzi sobie z tym i nie będzie mogło ingerować w proces nie jest prawdziwe. Stare SEO tak, nie będzie działało w tej materii. Nie ma narzędzi do tego. SEO oparte na silnych narzędziach analizujących wyniki wyszukiwania oraz treści wsparte algorytmami predykcyjnymi i uczącymi się jest w stanie rekomendować zmiany. Będzie mogło optymalizować nasze strony pod wybrane zapytania obsługiwane przez BERT czy RankBrain.

Ta aktualizacja jest bardzo ważna bo wpływa na 10% wszystkich zapytań. To duża zmiana. Warto teraz obserwować wyniki i raporty przygotowane przez specjalistów by lepiej rozumieć kierunek zmian.

Proponuje, aby sprawdzić, czy ruch na Twojej stronie zmieni się w przyszłym tygodniu.

Źródła:

Artykuł uaktualniony 4 miesiące

Marcin Kordowski

17 lat doświadczenie w Digital Marketing i SEO, wykładowca PW, trener, bloger i praktyk. Projekty w ponad 30 krajach, specjalizuje się w branży finansowej, medycznej i e-commerce.