Добавить семантический поиск на elasticsearch

Учебник серии на TXTAI (21 часть серии)

Эта статья является частью серии учебников на TXTAI платформа семантической поисковой платформы AI.

Часть 2 и часть 3 этой серии показали, как индексировать и поискать данные в TXTAI. Часть 2 Индексирована и обыскала обнимающий набор данных, часть 3, проиндексировал и искал внешний источник данных.

TXTAI – это модульная в дизайне, его компоненты могут быть использованы индивидуально. TXTAI имеет функцию сходства, которая работает над списками текста. Этот метод может быть интегрирован с любой внешней службой поиска, такой как API для отдыха, запрос SQL или что-то еще, что возвращает результаты текстовых поисков.

В этой статье мы возьмем одинаковую обнимающую набор данных для лица, используемого в части 2, индексируйте его в Elasticsearch и ранжируйте результаты поиска, используя функцию семантического сходства от TXTAI.

Установить TXTAI , наборы данных и Elasticsearch Отказ

# Install txtai, datasets and elasticsearch python client
pip install txtai datasets elasticsearch

# Download and extract elasticsearch
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.1-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.1-linux-x86_64.tar.gz
chown -R daemon:daemon elasticsearch-7.10.1

Начните экземпляр elasticsearch.

import os
from subprocess import Popen, PIPE, STDOUT

# Start and wait for server
server = Popen(['elasticsearch-7.10.1/bin/elasticsearch'], stdout=PIPE, stderr=STDOUT, preexec_fn=lambda: os.setuid(1))

sleep 30

Следующий блок загружает набор данных в elasticsearch.

from datasets import load_dataset

from elasticsearch import Elasticsearch, helpers

# Connect to ES instance
es = Elasticsearch(hosts=["http://localhost:9200"], timeout=60, retry_on_timeout=True)

# Load HF dataset
dataset = load_dataset("ag_news", split="train")["text"][:50000]

# Elasticsearch bulk buffer
buffer = []
rows = 0

for x, text in enumerate(dataset):
  # Article record
  article = {"_id": x, "_index": "articles", "title": text}

  # Buffer article
  buffer.append(article)

  # Increment number of articles processed
  rows += 1

  # Bulk load every 1000 records
  if rows % 1000 == 0:
    helpers.bulk(es, buffer)
    buffer = []

    print("Inserted {} articles".format(rows), end="\r")

if buffer:
  helpers.bulk(es, buffer)

print("Total articles inserted: {}".format(rows))

Total articles inserted: 50000

Elasticsearch – это поисковая система на основе токена. Запросы и документы проанализируются в токены, а наиболее актуальные совпадения документами запросов рассчитываются с использованием алгоритма оценки. Алгоритм оценки по умолчанию – BM25 Отказ Мощные запросы могут быть построены с помощью Богатый запрос синтаксис и Запрос DSL Отказ

В следующем разделе выполняется запрос на elasticsearch, находит 5 лучших совпадений и возвращает соответствующие документы, связанные с каждым матчм.

from IPython.display import display, HTML

def table(category, query, rows):
    html = """
    
    """

    html += "
[%s] %s
" % (category, query)
    for score, text in rows:
        html += "" % (score, text)
    html += "
Score
Text
%.4f
%s
"

    display(HTML(html))

def search(query, limit):
  query = {
      "size": limit,
      "query": {
          "query_string": {"query": query}
      }
  }

  results = []
  for result in es.search(index="articles", body=query)["hits"]["hits"]:
    source = result["_source"]
    results.append((min(result["_score"], 18) / 18, source["title"]))

  return results

limit = 3
query= "+yankees lose"
table("Elasticsearch", query, search(query, limit))

[Elasticsearch] + Yankees проигрывает

В таблице выше показаны результаты для запроса + Янки теряют Отказ Этот запрос требует токена янки . Поиск не понимает семантического значения запроса. Он возвращает наиболее актуальные результаты с этими двумя токенами.

В этом случае мы видим, результаты не снимают значение поиска. Давайте попробуем добавить семантическое сходство на поиск!

TXTAI имеет модуль сходства, который вычисляет сходство между запросом и списком строк. Конечно, TXTAI также может построить полный индекс, как показано в предыдущих статьях, но в этом случае мы просто будем использовать функцию сходства Ad-Hoc.

Ниже приведен код сходства и определяет функцию ранжирования для заказа результатов поиска на основе вычисленного сходства.

Ranksearch requies Elasticsearch для более широкого набора результатов, занимает результаты с использованием экземпляра сходства и возвращает TOP N результатов.

from txtai.pipeline import Similarity

def ranksearch(query, limit):
  results = [text for _, text in search(query, limit * 10)]
  return [(score, results[x]) for x, score in similarity(query, results)][:limit]

# Create similarity instance for re-ranking
similarity = Similarity("valhalla/distilbart-mnli-12-3")

Теперь давайте повторно запустите предыдущий поиск.

# Run the search
table("Elasticsearch + txtai", query, ranksearch(query, limit))

[Elasticsearch + TXTAI] + Янки теряют

Приведенные выше результаты делают гораздо лучшую работу по поиску результатов семантически похожи по смыслу запроса. Вместо того, чтобы просто найти матчи с янки и потерять он находит матчи, где Янки теряют Отказ

Эта комбинация эффективна и мощна. Он использует преимущества высокой производительности Elasticsearch AlseSearch при добавлении возможностей семантического поиска. У нас уже есть большой кластер Elasticsearch с TBS (или PBS) + данные и годы инженерных инвестиций, которые решают большинство случаев использования. Результаты поиска семантически рейтинга – это практический подход.

Теперь еще для некоторых примеров, сравнивающих результаты elasticsearch vs elasticsearch + txtai.

for query in ["good news +economy", "bad news +economy"]:
  table("Elasticsearch", query, search(query, limit))
  table("Elasticsearch + txtai", query, ranksearch(query, limit))

[ Elasticsearch] Хорошая новость + экономика

[ Elasticsearch + TXTAI] Хорошие новости + Экономика

[ Elasticsearch] Плохое новости + экономика

[ Elasticsearch + TXTAI] Плохое новости + экономика

Еще раз, когда Elasticsearch обычно возвращает результаты качества, иногда он будет соответствовать результатам, которые не являются семантически актуальными. Мощность семантического поиска заключается в том, что она не только найдет прямые совпадения, но соответствует тому же значению.

Учебник серии на TXTAI (21 часть серии)

Оригинал: “https://dev.to/neuml/add-semantic-search-to-elasticsearch-3ifb”