PGroonga対pg_bigm

PostgreSQLはデフォルトではアルファベットベースではない言語の全文検索をサポートしていません。たとえば、日本語・中国語・韓国語といったアジアの言語の全文検索をサポートしていません。アジアの言語をサポートしたサードパーティーのモジュールがあります。PGroongaはそのうちのひとつです。他にもpg_bigmというモジュールがあります。textsearchのパーサーもあります。たとえば、zhparserは中国語用のパーサーで、textsearch_ja（メンテナンスされていません）は日本語用のパーサーです。

pg_bigmモジュールはpg_trgmモジュールと似ています。pg_trgmモジュールはデフォルトではアジアの言語をサポートしていませんが、pg_bigmはサポートしています。

このドキュメントはPGroongaとpg_bigmの違いを説明します。

特徴

各モジュールの特徴は次の通りです。

PGroonga

「recheck」する必要がないのでPGroongaの検索は高速です。

PGroongaは更新中の検索をブロックしないので更新中も高速に検索できます。PGroongaは更新中も検索性能を落としません。

PGroongaはアルファベットベースの言語とアジアの言語が混ざっている場合も高速です。PGroongaはデフォルトでN-gramベースの全文検索を使います。これはpg_bigmと似ています。なぜなら、pg_bigmは2-gram（N-gramのNが2のケース）を使っているからです。しかし、PGroongaは可変長サイズのN-gramを使っています。N-gramはアルファベットベースの言語では遅くなりがちです。これは、アルファベットの字種が少ないからです。字種はだいたい26（「a」から「z」までと他にいくつか）になります。字種が少ないと転置インデックスのポスティングリストが長くなりがちです。（転置インデックスに詳しくないとこの説明はピンとこないかもしれません。）PGroonga対textsearch対pg_trgmも参照してください。N-gramベースの全文検索であるpg_trgmが遅めなのがわかります。PGroongaは「私はPostgreSQLユーザーです。」というようにアルファベットベースの言語とアジアの言語が混ざっているときでもアルファベットベースの言語にはN-gramベースの全文検索ではなく単語ベースの全文検索を使います。

PGroongaは更新も高速です。

PGroongaはPostgreSQLに保存しているインデックス対象のテキストも保存しているのでインデックスサイズは大きいです。

PGroongaのインデックスはクラッシュセーフではありません。もし、クラッシュしてPGroongaのインデックスが壊れた場合はREINDEXを実行する必要があります。

pg_bigmモジュール

pg_bigmモジュールはクラッシュセーフです。なぜならGINを使っているからです。GINはクラッシュセーフです。

pg_bigmモジュールは大量のドキュメントがマッチして各ドキュメントが長い場合は遅いです。なぜならpg_bigmはインデックスを使った検索の後に「recheck」する必要があるからです。

概要

ベンチマーク

このセクションでは日本語版Wikipediaを使ったベンチマーク結果を示します。ベンチマークスクリプトはpostgresql.shにあります。

概要

以下は全文検索インデックス作成のベンチマーク結果の概要です。

• PGroongaが一番速いモジュールです。

• pg_bigmはPGroongaよりも約73%遅いです。

以下は全文検索インデックスのサイズのベンチマーク結果の概要です。

• pg_bigmが一番小さいモジュールです。

• PGroongaはpg_bigmよりも約2.3倍大きいです。

以下は全文検索性能のベンチマーク結果の概要です。

• pg_bigmの全文検索性能は他のモジュールよりも約50倍遅いです。ただし、「日本」（クエリーが2文字のケース）は遅くありません。

• PGroongaとGroongaの全文検索性能は似ています。ただし、「日本」（ヒット数が多いケース）ではGroongaの方が10倍高速です。

以下はpg_bigmが他のモジュールより約50倍遅いのでpg_bigmを除いた全文検索性能のグラフです。

環境

以下はベンチマーク環境です。

バージョン

以下はソフトウェアのバージョンです。

データ

以下は対象データの統計情報です。

データロード

以下はデータロードのベンチマーク結果です。全文検索モジュールには依存しません。なぜならどのインデックスもまだ作られていないからです。

以下はデータをロードするSQLです。

COPY wikipedia FROM 'ja-all-pages.csv' WITH CSV ENCODING 'utf8';

このCSVデータはja-all-pages.csv.xzからダウンロードできます。

以下はwikipediaテーブルを定義するSQLです。

CREATE TABLE wikipedia (
  id integer PRIMARY KEY,
  title text,
  text text
);

インデックス作成

以下は全文検索インデックス作成のベンチマーク結果です。

PGroongaのインデックス定義は以下の通りです。

CREATE INDEX wikipedia_index_pgroonga ON wikipedia
 USING pgroonga (title, text);

pg_bigmのインデックス定義は以下の通りです。

CREATE INDEX wikipedia_index_pg_bigm ON wikipedia
 USING GIN (title gin_bigm_ops, text gin_bigm_ops);

全文検索

全文検索のベンチマーク結果は以下の通りです。

• 「Groonga」はpgroonga.command('select ...')の結果です。pgroonga.commandも参照してください。

• 「相対経過時間」は対象の経過時間と最速のケースの経過時間の比率です。大きいほど遅いです。

クエリー：「テレビアニメ」

クエリー：「データベース」

クエリー：「PostgreSQL OR MySQL」

クエリー：「日本」