ウェブの出現と計算機環境の充実から次世代情報検索、情報分析へ
初出: 大学ジャーナル Vol.100(2012 年 7 月)
私たちは「ことば」を使うことで、コミュニケーションをとったり、思考をしたりしています。ところが、ことばを使う仕組みは、まだよくわかっていません。そんな「ことば」を０と１の組み合わせで成り立つコンピュータに理解させようと、研究を進めているのが黒橋禎夫先生。自然言語※１をいかにコンピュータに理解させるのか、そしてコンピュータに言葉を理解させることで可能になる自動翻訳や次世代情報検索、情報分析について、お聞きしました。
ウェブの出現と計算機環境の充実が自然言語処理を発展させた
16億文の日本語コーパス（検索が可能なテキスト・データ）、1億ページのウェブページから、コンピュータが言語の知識を自動獲得する仕組みを作っています。20年ほど前までは、人間が一つ一つの単語の意味や文法などをコンピュータに覚えさせていましたが、それでは埒があきませんし、新しく生まれた言葉や言葉の意味にも対応しきれません。そこで考え出したのが、計算機にたくさんの常識を与える方法です。「泳ぐ」という動詞であれば、「子どもが海で泳ぐ」「魚がスイスイ泳ぐ」「水着で泳ぐ」「クロールで泳ぐ」といった用例から“使い方”をどんどん学びます。 これが可能になったのは、大規模なテキスト・コーパスを持ったウェブが出現したから。コンピュータはウェブから用例を集めてクラスタリングし、文法や語彙、言葉同士の類似度などを自動で学習します。新しい語彙についても、「ググる」や「ようつべ」などの言葉を蓄積して認める仕組みを備えています。テキストの中にはもちろん誤った使われ方もありますが、ウェブには言語のリアリティがあるとも言われるほど多くのテキストがありますから、問題にはなりません。脳科学も進んでいますし、子どもの発達から読み解く方法もありますが、人間がどうやって言葉を使っているのかを解明するための一番の方法は、ウェブを観察することではといわれるほどです。
また、計算機パワーが飛躍的に伸びたことも計算機の自動学習を可能にさせました（※2図1）。現在では、1000CPUといった並列計算機を使うことができますから、16億文を解析してクラスタリングして知識を自動学習するのが１週間程度で可能です。10年前とは比べ物にならないスピードです。
ウェブの世界から膨大な対訳データを獲得自動翻訳はここまで進んでいる！
同様に、ウェブの出現によって翻訳知識の学習も進化しています。翻訳系の最大の問題は、ルールの積み重ねでやっていると、新しいルールや新しい語彙が出てきた時などに、それを全体に対応づけてメンテナンスすることが難しい点です。そこで出てきたのが、対訳文を用いた翻訳システムです。このシステムは大きく分けて２つの処理から成り立ちます。まず100万程度の対訳文を計算機に入れておき、文章間の対応関係を見つけておく。その上で、新しい文が入ってきた場合には構造を解析し、対訳文の中から使える部分をつなぎ合わせて翻訳するのです。 対訳文を用いた翻訳システムでは、システムが翻訳文の構造をしっかり考えていて、出力文は入力文の中の親子関係などをある程度保っています。翻訳がおかしい部分は、どんどん直していけば新しい知識となって完全自動でデータに組み込まれますから、精度がさらに上がる。このサイクルで、より良い翻訳システムになっていくのです。
次世代情報検索と情報分析
自然言語処理の上には２つのアプリケーション、検索と翻訳があります。
検索系については、私たちのところではTSUBAKIという検索エンジンを運用しています。キーワードを入力して検索するのはどの検索エンジンでもできますが、「高齢化社会で成長がみこめる市場」といった文章の意味まで考えて検索しようと思うと、クエリ（検索窓に入力する質問文）の処理が難しい。TSUBAKIは、こうした意図に合致した検索結果を出力するエンジンです。
仕組みとしては、まず自然言語解析に基づいて構造を考え、ユーザがクエリに入力した文章の構造的な関係と同じような構造関係を持つテキストをウェブ上で探します。それから、「市場」＝「マーケット」といった同義語を含めて展開していきます。 もう一つ、NICT（情報通信研究機構）ではWISDOMという検索エンジンを運用しています。ウェブにはウソや根拠がないもの、勘違いを含めて色々な情報がありますが、計算機にその信頼性を判断させるのは困難です。しかし、情報を分析するための多様な意見を見つけてきて示すことはできる。WISDOMには、ある意見に対して肯定か否定か、など、様々な意見やその割合、関連するキーワード、発信者の情報などを一覧で表示する機能があるのです（図2）。※１ 人間が日常の意思の疎通に用いる言語のこと。プログラミング言語など人工的に定義された言語と対比してこのように呼ばれる。※２ 用言とそれに関係する名詞を用言の用法ごとに整理したものは「格フレーム」と呼ばれる。16億文の日本語テキストから自動的に構築された「格フレーム」とその原文は、「格フレーム検索」（http://reed.kuee.kyoto-u.ac.jp/cf-search/）で検索することができる。
キャプション
- 図1 構築した格フレームの例
- 図2 情報の組織化
