PGroonga対textsearch対pg_trgm

PostgreSQLは2つの全文検索モジュールを提供しています。textsearchとpg_trgmです。

textsearchモジュールはPostgreSQL組み込みの全文検索機能です。GiSTインデックスとGINインデックスをサポートしています。GiSTインデックスまたはGINインデックスを使うと全文検索性能を高めることができます。

pg_trgmモジュールはcontribモジュールです。pg_trgmは全文検索機能を提供します。pg_trgmもGiSTインデックスとGINインデックスをサポートしています。GiSTインデックスまたはGINインデックスを使うと全文検索機能を高めることができます。

このドキュメントはPGroongaとtextsearchとpg_trgmの違いを説明します。

特徴

各モジュールの特徴は次の通りです。

PGroonga

PGroongaは言語に特化した全文検索も言語に依存しない全文検索もどちらもサポートしています。PGroongaはデフォルトでは言語に依存しない全文検索を使います。通常、PGroongaはデフォルトで十分満足のいく全文検索結果を返します。

PGroongaはデフォルトで言語に依存しない全文検索を使うので、デフォルトですべての言語をサポートしています。ソースコードを変更する必要はありません。

「recheck」する必要がないのでPGroongaの検索は高速です。

PGroongaは更新中の検索をブロックしないので更新中も高速に検索できます。PGroongaは更新中も検索性能を落としません。

PGroongaは更新も高速です。

PGroongaはPostgreSQLに保存しているインデックス対象のテキストも保存しているのでインデックスサイズは大きいです。

textsearchモジュール

textsearchモジュールは言語に特化した全文検索を実装しています。英語の単語はステミングされます。「work」も「works」も「worked」もすべて「work」に変換します。ステミングは再現率を高めます。

言語に特化した全文検索はよりよい全文検索機能になるかもしれません。しかし、「言語に特化」しているということはだれかが「言語に特化」した処理を実装しなければいけないということです。PostgreSQL 9.6.1は英語やフランス語やロシア語と言った15の言語をサポートしています。しかし、日本語や中国語、韓国語を含むアジアの言語など多くの言語は未対応です。

textsearchモジュールは「recheck」する必要がないので検索は高速です。（重み機能を使う場合は「recheck」が必要です。）

textsearchモジュールは大きなテキストを扱うことができません。テキストの最大バイト数は1MiB - 1Bです。1MiB以上のテキストを追加した場合は次のエラーが発生します。

string is too long for tsvector (XXX bytes, max 1048575 bytes)

pg_trgmモジュール

pg_trgmモジュールは言語に依存しない全文検索を実装しています。しかし、pg_trgmはASCII以外の文字のサポートが無効になっています。つまり、デフォルトでは日本語や中国語といったアジアの言語はサポートしていないということです。ASCII以外の言語もサポートするにはcontrib/pg_trgm/trgm.h内の次の行をコメントアウトする必要があります。

#define KEEPONLYALNUM

Debianベースのシステムを使っている場合はC.UTF-8ロケールを使うことでpg_trgmのソースコードを変更しなくても非ASCII文字サポートを有効にできます。

pg_trgmモジュールは大量のドキュメントがマッチして各ドキュメントが長い場合は遅いです。なぜならpg_trgmはインデックスを使った検索のあとに「recheck」する必要があるからです。

概要

ベンチマーク

このセクションでは英語版Wikipediaを使ったベンチマーク結果を示します。ベンチマークスクリプトはpostgresql.shにあります。

概要

以下は全文検索インデックス作成のベンチマーク結果の概要です。

• PGroongaが一番速いモジュールです。

• pg_trgmはPGroongaよりも30%遅いです。

• textsearchはPGroongaよりも2倍遅いです。

以下は全文検索インデックスのサイズのベンチマーク結果の概要です。

• pg_trgmが一番小さいモジュールです。

• textsearchはpg_trgmよりも60%大きいです。

• PGroongaはpg_trgmよりも5倍大きいです。

以下は全文検索性能のベンチマーク結果の概要です。

• pg_trgmの全文検索性能は他のモジュールよりも圧倒的に悪いです。

• PGroongaとtextsearchの全文検索性能は同じくらいです。

• Groongaの全文検索機能はPGroonga・textsearchよりも10倍以上高速です。GroongaはPGroongaが使っている全文検索エンジンです。

以下はpg_trgmが遅すぎるのでpg_trgmを除いた全文検索性能のグラフです。

環境

以下はベンチマーク環境です。

バージョン

以下はソフトウェアのバージョンです。

データ

以下は対象データの統計情報です。

本文の最大バイト数が1MiB未満なのはtextsearchには重要なポイントです。もし、1MiB - 1B以上なら以下のエラーが発生してtextsearchのインデックスを作成できないからです。

string is too long for tsvector (1618908 bytes, max 1048575 bytes)

データロード

以下はデータロードのベンチマーク結果です。全文検索モジュールには依存しません。なぜならどのインデックスもまだ作られていないからです。

以下はデータをロードするSQLです。

COPY wikipedia FROM 'en-all-pages.csv' WITH CSV ENCODING 'utf8';

このCSVデータはen-all-pages.csv.xzからダウンロードできます。

以下はwikipediaテーブルを定義するSQLです。

CREATE TABLE wikipedia (
  id integer PRIMARY KEY,
  title text,
  text text
);

インデックス作成

以下は全文検索インデックス作成のベンチマーク結果です。

(*) このケースが発生したときのエラーメッセージは以下の通りです。

NOTICE:  word is too long to be indexed
DETAIL:  Words longer than 2047 characters are ignored.

PGroongaのインデックス定義は以下の通りです。

CREATE INDEX wikipedia_index_pgroonga ON wikipedia
 USING pgroonga (title, text);

textsearchのインデックス定義は以下の通りです。

CREATE INDEX wikipedia_index_textsearch ON wikipedia
 USING GIN (to_tsvector('english', title),
            to_tsvector('english', text));

pg_trgmのインデックス定義は以下の通りです。

CREATE INDEX wikipedia_index_pg_trgm ON wikipedia
 USING GIN (title gin_trgm_ops, text gin_trgm_ops);

全文検索

全文検索のベンチマーク結果は以下の通りです。

• 「Groonga」はpgroonga.command('select ...')の結果です。pgroonga.commandも参照してください。

• 「相対経過時間」は対象の経過時間と最速のケースの経過時間の比率です。大きいほど遅いです。

クエリー：「animation」

クエリー：「database」

クエリー：「PostgreSQL OR MySQL」

クエリー：「America」