JP4084816B2

JP4084816B2 - 依存構造情報処理装置、そのプログラム及び記録媒体

Info

Publication number: JP4084816B2
Application number: JP2005269419A
Authority: JP
Inventors: 隆伸大庭; 貴明堀; 篤中村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-09-16
Filing date: 2005-09-16
Publication date: 2008-04-30
Anticipated expiration: 2025-09-16
Also published as: JP2007080117A

Description

本発明は、依存構造を有する情報を処理する技術に関する。

極めて多くのもの・こと・情報に依存関係が成立しており、その構造を知ること、利用することは非常に有用なことである。例えば、路線図は各駅と線路の位置的関係を構造化したものであり言うまでもなく我々にとって有用なものとなっている。また、文は、複数の単語列（もしくは文節列）が所定の修飾構造（係り受け構造）をとることにより構成されている。さらに、文字は、各線の依存関係が表現されたものであり、その関係性の違いが文字の違いとなっている。
さて、こうした依存構造を、解析する技術や、また文字認識のように依存構造が何を表しているかを判定する認識技術は、対象とするものの構造を構成する各依存関係のパターンを統計的に学習することに基づいている（例えば、非特許文献１参照）。そして、ある解析対象となるデータが与えられると、各要素の関係性が求められ、全体としてどういった構造であるとみなすのが尤もらしいかを評価することにより、解析結果が得られる。
工藤拓、松本裕治、"相対的な係りやすさを考慮した日本語係り受け解析モデル、" IPSJ SIG Technical Report 2004-NL-162、 vol.2004、 No.73、 pp.205-212、 2004.

しかし、従来の技法では、データの全体が得られていない処理対象情報に対し、データの依存構造に基づく処理を適切に行うことが困難であった。以下にこの理由を述べる。
従来の技法は、処理対象情報の全体が得られていることを前提としたものである。しかしながら、依存関係を構成する一部の要素情報が不明もしくは未入力であるため、処理対象情報の一部しか得られない場合もある。例えば、カメラに映った文字が何という文字であるのかを判定する文字認識を例にとれば、カメラに文字全体が映っていない場合、すなわち、カメラに映った文字の一部が欠けている場合もある。このような場合、従来の技法では、データの欠落があるにもかかわらず、それがないものと仮定して全体の依存関係を評価するしかなかった。これは解析・認識エラーの原因となる。

本発明はこのような点に鑑みてなされたものであり、データの全体が得られていない処理対象情報に対し、データの依存構造に基づく処理を適切に行うことが可能な技術を提供することを目的とする。

本発明では上記課題を解決するために、所定の依存関係を持つ複数の明瞭な要素情報からなる学習データの当該要素情報の一部を置換情報に置換し、当該置換情報に所定の依存関係を持たせた置換学習データを置換学習データ記憶部に格納する。そして、依存構造学習部が、当該置換学習データを用いた学習処理によって依存構造を学習し、当該依存構造を示す依存構造情報を出力し、依存構造情報格納部に当該依存構造情報を格納する。
ここで、置換学習データは、要素情報の一部が置換情報に置換された情報である。この置換情報を、不明である要素情報としてみると、この置換学習データは、要素情報の一部が不明である情報の依存構造を学習するためのデータに相当する。そして、この置換学習データを用いた学習によって得られる依存構造は、データの全体が得られていない情報の依存構造を示すものとなる。その結果、データの全体が得られていない処理対象情報に対し、データの依存構造に基づく処理を適切に行うことが可能となる。なお「学習」とは、情報工学における学習を意味し、所定の参照データを用いた演算処理によって何らかの規則性を示すデータを生成する処理をいう。

また、本発明において好ましくは、処理対象情報格納部に要素情報の一部が不明である処理対象情報を格納し、依存構造解析部が、上述の依存構造情報を用いて処理対象情報の依存構造を解析し、その解析結果を示す解析結果情報を出力する。
上述のように、本発明の依存構造情報は、データの全体が得られていない情報の依存構造にも対応するものである。これにより、要素情報の一部が不明である処理対象情報に対しても、データの依存構造に基づく処理を適切に行うことが可能となる。
また、本発明において好ましくは、処理対象情報は、単語が逐次入力され、一部の単語が未入力のため不明である文であり、依存構造解析部は、新たに単語が入力されるたびに、当該単語を追加した文の依存構造を、依存構造情報を用いて解析し、その解析結果によって解析結果情報を更新する。

これにより、逐次入力される文の依存構造の解析を、単語が文境界まで入力される前に実行することが可能となる。その結果、処理の遅延を防ぐことができ、また、任意時刻までの入力における依存構造を抽出することができる。
また、このように逐次入力される処理対象情報としては、例えば、逐次入力される音声の認識結果を例示できる。本発明を逐次入力される音声の認識結果に適用することにより、音声認識結果の依存構造解析を高速に実現できる。

本発明では、所定の依存関係を持つ複数の明瞭な要素情報からなる学習データの当該要素情報の一部を置換情報に置換し、当該置換情報に所定の依存関係を持たせた置換学習データを用いて学習を行うこととしたため、データの全体が得られていない処理対象情報に対し、データの依存構造に基づく処理を適切に行うことが可能となる。

以下、本発明の実施の形態を図面を参照して説明する。
〔原理〕
本発明の核のひとつとなる要素に、未入手の要素情報（以下「未入手情報」という）と、入手済みの要素情報（以下「入手情報」という）との依存関係表現がある。以下、これについて説明する。
情報間に依存関係が存在するが、その一部の情報が未入手である場合を想定する。この場合、既に入手されている情報と依存関係にあるはずの情報が、未入手のため存在しないといった状況が生まれる。本発明では、このような場合にも依存関係（未入手情報と入手情報との依存関係）を表現し、依存構造の学習と解析及び認識を可能にする。

図１（ａ）〜（ｈ）は、本発明における未入手情報と入手情報との依存関係を説明するための概念図である。以下、この図を用い、未入手情報と入手情報との依存関係の表現について説明する。
統計的処理に基づく手法では、依存関係の種類や有無が学習され、それを表現したモデルが作られる。
本発明では、まず、全体の情報が得られているときの依存構造が得られているとする（図１（ａ）（ｂ））。ここでは、依存構造を依存関係の集合と定義し、依存関係は各情報間の関係性の種類や有無を表すものとする。また、図１では、各ノード（ノード１ａ，１ｂ，３ａ〜３ｃ等）が要素情報を表し、ノード間のリンク（ノード２等）が要素情報間の依存関係を示している。なお、図１（ａ）（ｂ）に示す依存構造は、従来技術において学習に用いられる（全ての要素情報が明瞭な）学習データそのものである。

ここで、図１（ａ）（ｂ）に示す依存構造から一部のノード１ａ，１ｂ，３ａ〜３ｃを削り取ると、その依存構造は、図１（ｃ）（ｄ）のようになる。この削り取られたノード１ａ，１ｂ，３ａ〜３ｃは、まさに未入手情報に相当する。本発明では、この削り取られたノード１ａ，１ｂ，３ａ〜３ｃの代わりに、メタシンボル（「置換情報」に相当）であるノード１ｃ，３ｄ，３ｅを配置する（図１（ｅ）（ｆ））。この際、削り取られた１つのノードを１つのメタシンボルで置換してもよく、削り取られた複数のノードを１つのメタシンボルで置換してもよい。また、メタシンボルは、図１（ｅ）のように、何ら属性を示さないノード１ｃ（何らかのノードがあるはずということを示すに過ぎないノード「Ｍ」）であってもよいし、図１（ｆ）のように、何らかの属性を示すノード３ｄ，３ｅ（「Ｌ」と「Ｒ」とは異なる属性を示す）であってもよい。

そして、このように置換されたノード１ｃ，３ｄ，３ｅと他のノードとのリンク、すなわち依存関係を持たせる（図１（ｇ）（ｈ））。例えば、ノード１ｃ，３ｄ，３ｅに置換されたノード１ａ，１ｂ及び３ａ〜３ｃの他のノードとのリンクを、そのままノード１ｃ，３ｄ，３ｅにつなぐ。これにより、未入力情報がある場合の依存関係を表現する。本発明では、このように表現される依存関係の情報を学習データ（「置換学習データ」）として用い、データの全体が得られていない情報の依存構造を学習する。すなわち、本発明では、未入手情報を扱う枠組みを用意することで、学習の段階で未入手情報と入手情報との依存関係を設定する。

以下に、ここまで述べた未入手情報がある場合の依存構造の学習データの生成方法を示す。
１．未入手情報がなく全体が観測されている依存構造を持つ学習データ（従来手法で用いられるデータそのもの）を用意する。
２．任意の（もしくは何らかのルールに則り）幾つかの要素情報を消去する。
３．消去した要素情報を置換情報に置き換える。なお、前述のように、置換情報としては、本来要素情報があるはずだということを示すに過ぎない情報や、本来存在する要素情報の属性を示す情報等を例示できる。
４．置換情報とその他の情報との依存関係を設定し（例えば、置換された要素情報とその他の情報との間にあった依存関係を、そのまま置換情報とその他の情報との間の依存関係として設定し）、このような依存構造を持つ情報群を置換学習データとする。なお、学習データと置換学習データとを区別することなく取り扱ってもよい。
この他、予め一部の要素情報が欠けたデータを用意し、その依存構造を人手で設定することも可能である。しかし、不足している情報をみてからでなければ、正確に依存関係を与えることができない場合もある。上記ように要素情報が全て知られている依存構造から一部の要素情報が知られていない情報の依存構造を生成する手法であれば、この問題を回避することができる。さらに、本来不足分の情報を観測しなければ関係がわからないものに対しても、学習データに登場するそのような事例の割合を反映した依存関係のモデルを学習することができる。
次に、解析処理（係り受け解析等）や認識処理（文字認識等）に本発明を適用した場合の概要について説明する。

＜解析処理に本発明を適用した場合＞
［学習手法］
解析処理の場合、まず、依存構造を表現した学習データを集める。次に、集めた学習データを構成する要素情報の一部を置換情報に置換し、置換された要素情報と同じ依存関係を当該置換情報に設定する。このように学習データの一部の要素情報を置換情報に置換したものを置換学習データと呼ぶ。学習データと置換学習データとが用意できたならば、次にそれらのデータから依存関係をモデル化する。この方法にはさまざまあるが、大まかには次のようなステップを踏む。

１．学習データ及び置換学習データのそれぞれについて、ある依存関係、もしくは複数の依存関係を為す要素間から得られる特徴量／素性（要素間の情報からなるベクトル値）を取得する。
２．特徴量／素性とそれが与えられたときの依存関係の種類や有無が学習データ中のより多くの事例で成り立つようにモデルを構成する。モデル構成には様々な方法がある。例えば、最尤推定法や最大エントロピー法といった確率モデルに基づく手法、ＳＶＭやブーステイングといった機械学習に基づく手法、そのほか、ニューラルネットワークなどが挙げられる。なお、モデルを構成するとは、各モデル構成手法におけるパラメータを設定することであり、その設定方法は、各手法で理論的に保証された手法が確立されている。

［解析手法］
以上のように構成されたモデルを用いて処理対象情報の依存構造を解析する。この解析は、大まかには次のようなステップを踏む。
１．解析対象となる処理対象情報が入力される。この処理対象情報の一部の要素情報が欠如していることもありうる。
２．解析対象となる処理対象情報から特徴量／素性を抽出する。
３．学習によりパラメータ設定されたモデルと得られた特徴量／素性から各依存関係の妥当性を評価し、全体として尤もらしい構造を依存構造の解析結果とする。

なお、場合によっては、学習データと置換学習データの両方から学習したモデルを用いて、未入手情報のない場合と、未入手情報のある場合とでの解析結果を比較する処理を加えることもできる。例えば、処理対象となる情報が与えられたときに、それ以上未入手情報がないのか判定がつかない場合がある。このようなときは、未入手情報があると仮定してメタシンボルを加えて解析した結果と、未入手情報がないと仮定して解析を行なった結果を比較することで、より尤もらしい方の結果を選択することで、未入手情報の有無まで評価できる。

＜認識処理に本発明を適用した場合＞
［学習手法］
認識処理の場合、まず、依存構造を表現した学習データを集める。ここで、認識処理における依存構造には、構造の依存関係だけではなく、その構造が表しているもの（正解値）との依存関係をも含む。これは文字認識で言うならば、「あ」という映像を形作る画素の位置関係等の依存関係だけではなく、この映像に映っているのは「あ」、この画像に映っているものは「い」というような対応を示す依存関係をも含むという意味である。

次に、集めた学習データを構成する要素情報の一部を置換情報に置換し、置換された要素情報と同じ依存構造を当該置換情報に設定する（これが「置換学習データ」に相当）。これは文字認識で言うならば、例えば、「あ」という映像を形作る画素の一部を置換情報に置換し、置換後の映像は「あ」であるという対応関係を設定することを意味する。また、場合によっては、情報の欠落に伴って正解値を変えてもよい。例えば、「あ」という映像を形作る画素の一部を置換情報に置換し、置換後の映像は「『あ』の一部」であるという対応関係を設定してもよい。

学習データと置換学習データとが用意できたならば、次にそれらのデータから依存関係をモデル化する。この学習は、大まかには次のようなステップを踏む。
１．学習データ及び置換学習データのそれぞれについて、特徴量／素性を抽出する。
２．同一の正解値を持つ依存構造に関して、特徴量の次元でのまとまりを表すようなモデルを構成する。正解値の数だけモデルが生成される。モデル構成には、解析処理の場合と同様、様々な手法を適用できる。
［認識手法］
１．認識対象となる処理対象情報が入力される。この処理対象情報の一部の要素情報が欠如していることもありうる。

２．認識対象となる処理対象情報から特徴量／素性を抽出する。
３．得られた特徴量／素性について、各正解値のモデルとの類似度を評価し、最もマッチしたモデルの正解値を認識結果とする。
〔第１の実施の形態〕
次に、本発明における第１の実施の形態について説明する。
本形態は、言語の係り受け解析処理に本発明を適用した形態である。係り受け解析は、単語列（もしくは文節列）が与えられた時に、それらの修飾関係を解析するものである。単語ｗが単語ｖを修飾しているとき、ｗがｖに係るといい、ｗ→ｖと表記する。このときｗ，ｖは係り受け関係にあるといい、特にｖをｗの主辞と呼ぶ。各単語（もしくは文節）が各要素情報にあたり、要素情報間の係り受け関係の有無が依存関係の有無にあたる。また、係り受け解析は、文全体に渡る係り受け構造を解析するものである。従って、本形態で解析対象となるのは文であり、入力は単語境界が記された文である。

なお、本形態では、現代法の一つである相対的な係りやすさを考慮した係り受け解析手法（「工藤拓、松本裕治、”相対的な係りやすさを考慮した日本語係り受け解析モデル、” IPSJ SIG Technical Report 2004-NL-162、 vol.2004、 No.73、 pp.205-212、 2004.」等参照）に本発明を適用した例を説明する。
＜構成＞
まず、本形態の処理を実行する依存構造情報処理装置１０の構成を説明する。
［ハードウェア構成］
図２は、本形態における依存構造情報処理装置１０のハードウェア構成を例示したブロック図である。

図２に例示するように、この例の依存構造情報処理装置１０は、ＣＰＵ（Central Processing Unit）１１、入力部１２、出力部１３、補助記憶装置１４、ＲＯＭ（Read Only Memory）１５、ＲＡＭ（Random Access Memory）１６及びバス１７を有している。
この例のＣＰＵ１１は、制御部１１ａ、演算部１１ｂ及びレジスタ１１ｃを有し、レジスタ１１ｃに読み込まれた各種プログラムに従って様々な演算処理を実行する。また、入力部１２は、データが入力される入力インターフェース、キーボード、マウス等であり、出力部１３は、データが出力される出力インターフェース等である。補助記憶装置１４は、例えば、ハードディスク、ＭＯ（Magneto-Optical disc）、半導体メモリ等であり、依存構造情報処理装置１０としてコンピュータを機能させるためのプログラムが格納されるプログラム領域１４ａ及び各種データが格納されるデータ領域１４ｂを有している。また、ＲＡＭ１６は、ＳＲＡＭ (Static Random Access Memory)、ＤＲＡＭ (Dynamic Random Access Memory)等であり、上記のプログラムが格納されるプログラム領域１６ａ及び各種データが格納されるデータ領域１６ｂを有している。また、バス１７は、ＣＰＵ１１、入力部１２、出力部１３、補助記憶装置１４、ＲＯＭ１５及びＲＡＭ１６を通信可能に接続する。なお、このようなハードウェアの具体例としては、例えば、パーソナルコンピュータの他、サーバ装置やワークステーション等を例示できる。

［ハードウェアとプログラムとの協働］
ＣＰＵ１１（図２）は、読み込まれたＯＳ（Operating System）プログラムに従い、補助記憶装置１４のプログラム領域１４ａに格納されている上述のプログラムをＲＡＭ１６のプログラム領域１６ａに書き込む。同様にＣＰＵ１１は、補助記憶装置１４のデータ領域１４ｂに格納されている各種データを、ＲＡＭ１６のデータ領域１６ｂに書き込む。そして、このプログラムやデータが書き込まれたＲＡＭ１６上のアドレスがＣＰＵ１１のレジスタ１１ｃに格納される。ＣＰＵ１１の制御部１１ｂは、レジスタ１１ｃに格納されたこれらのアドレスを順次読み出し、読み出したアドレスが示すＲＡＭ１６上の領域からプログラムやデータを読み出し、そのプログラムが示す演算を演算部１１ａに順次実行させ、その演算結果をレジスタ１１ｃに格納していく。

図３は、このようにＣＰＵ１１に上述のプログラムが読み込まれて実行されることにより構成される依存構造情報処理装置１０の機能構成を例示したブロック図である。なお、図３における矢印はデータの流れを示すが、制御部１０ｊに出入りするデータの流れに対応する矢印は省略してある。
図３に例示するように、本形態の依存構造情報処理装置１０は、学習データ記憶部１０ａ、置換学習データ生成部１０ｂ、置換学習データ記憶部１０ｃ、依存構造学習部１０ｄ、依存構造情報格納部１０ｅ、入力部１０ｆ、処理対象情報格納部１０ｇ、依存構造解析部１０ｈ、一時メモリ１０ｉ及び制御部１０ｊを有している。

ここで、学習データ記憶部１０ａ、置換学習データ記憶部１０ｃ、依存構造情報格納部１０ｅ、処理対象情報格納部１０ｇ及び一時メモリ１０ｉは、補助記憶装置１４、ＲＡＭ１６、レジスタ１１ｃ、その他のバッファメモリやキャッシュメモリ等の何れか、あるいはこれらを併用した記憶領域に相当する。また、置換学習データ生成部１０ｂ、依存構造学習部１０ｄ、依存構造解析部１０ｈ及び制御部１０ｊは、ＣＰＵ１１に上記のプログラムを実行させることにより構成されるものである。また、本形態の依存構造情報処理装置１０は、制御部１０ｊの制御のもと各処理を実行する。

＜処理＞
次に、本形態の依存構造情報処理装置１０が実行する処理を説明する。
［学習処理］
図４（ａ）は、本形態の依存構造情報処理装置１０の学習処理を説明するためのフローチャートである。以下、この図を用いて本形態の学習処理を説明する。
まず、前処理として、学習データ記憶部１０ａ（図３）に従来の係り受け解析処理で用いたのと同様な学習データを格納しておく。

図５（ａ）（ｂ）は、このような学習データ１００の１つを例示した図である。
この例の学習データ１００は、所定の依存関係を持つ複数の明瞭な単語（「要素情報」に相当）からなる。具体的には、図５の例の学習データ１００は、「私」「は」「彼」「が」「いる」「と」「思っ」「た」という単語と、それらの係り受け関係とを関連付けた情報である。すなわち、この例の学習データ１００は、それぞれ「ｗ_１」「ｗ_２」「ｗ_３」「ｗ_４」「ｗ_５」「ｗ_６」「ｗ_７」「ｗ_８」に対応付けられた「私」「は」「彼」「が」「いる」「と」「思っ」「た」という単語と、その係り先である主辞「ｗ_２」「ｗ_８」「ｗ_４」「ｗ_６」「ｗ_６」「ｗ_８」「ｗ_８」「−」とを関連付けたテーブルである。例えば、「私」は「は」に係るため、単語「ｗ_１」「私」に、主辞「ｗ_２（「は」に対応）」が関連付けられている。また、主辞が「−」とは係り先がないことを意味している。

学習処理が開始されると、まず、置換学習データ生成部１０ｂが、学習データ記憶部１０ａから学習データを順次読み込み、その単語の一部を置換情報に置換し、当該置換情報に所定の依存関係を持たせた置換学習データを生成する（ステップＳ１）。
置換学習データの例示：
図６及び図７は、本形態の置換学習データ１１０，１２０を例示した図である。
ここで、図６は、置換された単語の属性を示さない置換情報を用いて生成された置換学習データ１１０の例示である。すなわち、置換学習データ１１０は、図５の学習データ１００の単語「ｗ_３／彼」を置換情報「ｗ_３１／Ｗ」１１１に置換し、単語「ｗ_５／いる」を置換情報「ｗ_５１／Ｗ」１１２に置換したものであるが、これらの置換情報の「Ｗ」は、置換された単語（「ｗ_３／彼」や「ｗ_５／いる」）の属性を示すものではない。なお、置換学習データ１１０の置換情報「ｗ_３１／Ｗ」１１１は、置換した単語「ｗ_３／彼」と同じ主辞「ｗ_４」と関連付けられ、置換情報「ｗ_５１／Ｗ」１１２は、置換した単語「ｗ_５／いる」と同じ主辞「ｗ_６」と関連付けられている。

一方、図７は、置換された単語の属性の一部のみを示す置換情報を用いて生成された置換学習データ１２０を例示している。すなわち、置換学習データ１２０は、図５の学習データ１００の単語「ｗ_３／彼」を置換情報「ｗ_３１／Ｎ」１２１に置換し、単語「ｗ_６／と」を置換情報「ｗ_６１／Ｐ」１２２に置換したものである。ここで、置換情報の「Ｎ」は「名詞」を示し、「Ｐ」は「助詞」を示す。これは、それぞれ置換された単語「彼」及び「と」の属性の一部である「品詞」のみを示す置換情報を用いて置換学習データ１２０を生成したことに相当する。なお、置換学習データ１２０の置換情報「ｗ_３１／Ｎ」１２１は、置換した単語「ｗ_３／彼」と同じ主辞「ｗ_４」と関連付けられ、置換情報「ｗ_６１／Ｗ」１２２は、置換した単語「ｗ_６／と」と同じ主辞「ｗ_８」と関連付けられている。また、置換学習データ１２０では、学習データ１００で単語「ｗ_６」を主辞としていた単語「ｗ_４／が」「ｗ_５／いる」の主辞も「ｗ_６１」に置換される（置換学習データの例示の説明終わり）。

以上のように生成された置換学習データは、置換学習データ記憶部１０ｃに格納される（ステップＳ２）。そして、これらの処理により置換学習データ記憶部１０ｃに置換学習データが蓄積されると、次に、依存構造学習部１０ｄが、学習データ記憶部１０ａ及び置換学習データ記憶部１０ｃから学習データや置換学習データを読み込み、これらを用いた学習処理によって依存構造を決定する（ステップＳ３）。本形態の例の場合、依存構造学習部１０ｄは、この学習処理によって、単語或いは置換情報間の係り受け関係を特定するため依存構造情報を決定する。以下、この学習処理（ステップＳ３）の具体例を説明する。

学習処理（ステップＳ３）の具体例：
相対的な係りやすさを考慮した係り受け解析手法では、単語ｗ_ｉが係る可能性のある単語集合Ｃ_ｉが与えられたときに、その中から係り先ｗ_ｊ∈Ｃ_ｉを選択するという形式で解析が進む。この際、ある単語w_ｉがｗ_ｊ∈Ｃ_ｉに係る条件付確率は、

と表現され、これが最大となる係り先がｗ_ｊ∈Ｃ_ｉが単語w_ｉの係り先として最も信頼が高いと判断される。ここで、λは、最大エントロピー法でのモデル化に用いられるパラメータ列である。また、φ(<w_i,w_j>)は、単語w_ｉ，ｗ_ｊから得られる素性列（特徴量）であり、０，１の値で構成される素性ベクトルである。なお、素性としては、「見出し」「品詞」「品詞細分類」「活用」「活用形」「文頭」「文の主辞」「距離」等、或いはこれらの組合せを例示できる（例えば「Kiyotaka Uchimoto, Satoshi Sekine, Hitoshi Isahara, "Japanese Dependency Structure based on Maximum Entropy Models, "Proceedings of Computational Linguistics (ACL), pp. 196-203, 1999.」参照）。

本形態の学習処理では、上述した学習データや置換学習データを用い、上述のパラメータ列λを求める。なお、このパラメータ列λは、「単語或いは置換情報間の係り受け関係を特定するため依存構造情報」の一例であり、他の情報を依存構造情報としてもよい。
図４（ｂ）は、依存構造情報としてパラメータ列λを学習する場合の処理を説明するためのフローチャートである。以下、依存構造情報としてパラメータ列λを学習する場合の処理を説明する。

１．まず、依存構造学習部１０ｄが、学習データ記憶部１０ａ及び置換学習データ記憶部１０ｃから、学習データや置換学習データ（図５〜図７）を読み込む（ステップＳ５）。
２．依存構造学習部１０ｄは、読み込んだ学習データや置換学習データから式（１）における係り元ｗ_ｉとその正解係り先ｗ_ｊおよび係り先の候補の集合Ｃ_ｉを取り出す。依存構造学習部１０ｄは、これを元に素性ベクトルφを決定する（ステップＳ６）。
なお、置換情報から抽出される素性は、メタシンボルの値や、品詞なし、などである。
３．そして、依存構造学習部１０ｄは、得られた素性ベクトルφを全て用いて式（１）のパラメータ列λを決定する（ステップＳ７）。なお、パラメータ列λの決定には、反復スケーリング法やL‐BFGSといった準ニュートン法に基づく手法等を用いる（学習処理（ステップＳ３）の具体例の説明終わり）。
以上のように生成された依存構造情報（上記の例では「パラメータ列λ」）は、依存構造情報格納部１０ｅに出力され、そこに格納される（ステップＳ４）。

［解析処理］
図４（ｃ）は、本形態の依存構造情報処理装置１０の解析処理を説明するためのフローチャートである。以下、この図を用いて本形態の解析処理を説明する。
まず、入力部１０ｆに解析対象となる文書（「処理対象情報」に相当）が入力され（ステップＳ１１）、処理対象情報格納部１０ｇに格納される（ステップＳ１２）。この文書には、全ての単語が明瞭なものだけではなく、単語の一部が欠落しており不明であるものも含まれている。

次に、依存構造解析部１０ｈが、処理対象情報格納部１０ｇから解析対象となる文書を読み込み、さらに依存構造情報格納部１０ｅから依存構造情報（上記の例では「パラメータ列λ」）を読み込む。そして、依存構造解析部１０ｈは、依存構造情報を用いて解析対象となる文書の依存構造（本形態では係り受け関係）を解析し（ステップＳ１３）、その解析結果を示す解析結果情報を出力する（ステップＳ１４）。そして、全単語についての係り先が決定した段階で解析処理が終了する。
依存構造の解析処理（ステップＳ１３）の具体例：
前述のように、本形態では、単語（不明な単語を含む。この具体例において、以下同様。）ｗ_ｉが係る可能性のある単語の集合Ｃ_ｉが与えられたときに、その中から係り先ｗ_ｊ∈Ｃ_ｉを選択するという形式で解析を進める。すなわち、この例の依存構造解析部１０ｈは、処理対象情報格納部１０ｇから解析対象の文を読み込み、素性ベクトルφを算出する（例えば「Kiyotaka Uchimoto, Satoshi Sekine, Hitoshi Isahara, "Japanese Dependency Structure based on Maximum Entropy Models, "Proceedings of Computational Linguistics (ACL), pp. 196-203, 1999.」参照）。また、この例の依存構造解析部１０ｈは、依存構造情報格納部１０ｅから上述の学習処理によって得られたパラメータ列λ（「依存構造情報」に相当）を読み込む。そして、この例の依存構造解析部１０ｈは、得られた素性ベクトルφとパラメータ列λとを用い、式（１）に従って条件付確率P(w_i→w_j|C_i)を算出し、これが最大となる単語ｗ_ｊ∈Ｃ_ｉが単語ｗ_ｉに対して最も信頼の高い係り先であると判断する。つまり、

が単語ｗ_ｉに対して最も信頼の高い係り先であると判断する。ただし、実際には、構造全体のスコアが最大な係り受け構造を最適なものと判断する。なお、係り受け構造全体のスコアは、

である。ここで、ｖ_ｉは、単語ｗ_ｉの係り先の１つ（∈Ｃ_ｉ）を意味する。
ちなみに、単語集合Ｃ_ｉは、言語的な制約と係り先を決める単語の順番に依存する。日本語の係り受けにおける言語的制約は一般的に以下のように設定される。
・係り先は後方にある（後方一致性）。
・文の主辞を除いて、必ず係り先をひとつ持つ（係り先の唯一性）。
・後方一致性により、日本語における文の主辞とは文末の単語（文節）となる。
・係り関係は互いに交差しない（非交差性）。例えば、先頭の単語が４番目の単語に係るとき、２番目の単語は、５番目以降の単語には係らず、係り先が後方にあることも考慮すると必ず３番目か４番目の単語に係る。
次に解析する単語の順番であるが、本形態の例では、入力単語列の最も後方の単語から始め、順に先頭の単語ヘと進むものとする。これにより、日本語における制約とあわせて以下のような係り受けの解析アルゴリズム（例えば、「Satoshi Sekine, Kiyutaka Uchimoto, Hitoshi Isahara, "Backward Beam Search Algorithm for Dependency Analysis of Japanese," Proceedings of Computational Linguistics (ACL), pp.754-760, 200.」等参照）を適用することができる。図８に、この係り受け解析アルゴリズムを説明するための図を示す。なお、図８におけるｗ_ｉは、単語或いは置換情報であり、＜ｂ＞は文の境界を示すメタシンボルを意味し、文の最後の単語又は置換情報は、便宜上＜ｂ＞に係るものとする。また、本形態の一時メモリ１０ｉは、スコアと係り受け構造とを保存できるＮ個の記憶領域Ａと、任意の長さのデータを保存できる記憶領域Ｂとを持つものとする（図３）。

１．依存構造解析部１０ｈが、処理対象情報格納部１０ｇから読み込んだ処理対象情報である文（単語「w₁」,...,「w₆」からなる）を一時メモリ１０ｉの記憶領域Ａに格納する。日本語の場合、文末２語の係り先は決まっている。そこで、依存構造解析部１０ｈは、記憶領域Ａに格納した文書の文末２語の係り先を図８のステップＳ２１のように特定し、その係り受け構造を特定する情報（例えば、単語とその係り先の単語とを関連付けた情報）とそのスコアとを関連付けたテーブルである仮説情報（仮説１）を記憶領域Ａに格納する（ステップＳ２１）。なお、この時点でのスコアは任意の定数（図８の例では「１．００」）とする。

図９（ａ）は、この最初に生成される仮説情報１５０のデータ構成の例示である。この図に例示するように、この例の仮説情報１５０は、単語「w₁」,...,「w₆」と、その係り先である主辞の仮定と、その仮定を採った場合のスコアとを対応付けたテーブルである。図９（ａ）の例は、図８のステップＳ２１に対応するものであり、単語「ｗ_５」に主辞「ｗ_６」が、単語「ｗ_６」に＜ｂ＞が関連付けられている。また、この係り受け構造に対応するスコア「１．００」も関連付けられている。
２．次に、制御部１０ｊは、一時メモリ１０ｉの記憶領域Bを空にする。

３．その後、依存構造解析部１０ｈは、一時メモリ１０ｉの記憶領域Ａに保存されている全ての仮説情報が示す仮説情報に対して以下の４，５の処理を行う。
４．まず、依存構造解析部１０ｈは、すでに係り先が仮定されている単語のひとつ前に位置する単語（又は置換情報）ｗ_ｉの係り先となり得る全ての単語（又は置換情報）ｗ_ｊを、前述の言語的制約に基づいて選択し、単語（又は置換情報）ｗ_ｉの係り先の候補集合Ｃ_ｉとする。例えば、ステップＳ２１のように単語w₅までの係り先が仮定されていた場合、ひとつ前に位置する単語（又は置換情報）ｗ_４の係り先となり得る全ての単語（又は置換情報）ｗ_５，ｗ_６を、前述の言語的制約に基づいて選択し、ｗ_５，ｗ_６をＣ_４とする。

５．また、４で決定された全ての係り関係の可能性（w_i→w_j∈Ｃ_ｉ）に対し、以下の処理を行う。すなわち、依存構造解析部１０ｈは、依存構造情報格納部１０ｅから依存構造情報であるパラメータ列λを読み込み、前述の式（１）によって条件付確率P(w_i→w_j|C_i)を算出し、これをそれまでのスコアに乗じた値（新たなスコア）と、w_i→w_jを追加した係り受け構造を特定する情報とを関連付けたテーブルを仮説情報として一時メモリ１０ｉの記憶領域Bに追加保存する（ステップＳ２２，Ｓ２４）。
図９（ｂ−１）（ｂ−２）は、ステップＳ２２で生成された２つの仮説情報１５１，１５２のデータ構成を例示した図である。仮説情報１５１では、単語「ｗ_４」に主辞「ｗ_５」が、単語「ｗ_５」に主辞「ｗ_６」が、単語「ｗ_６」に＜ｂ＞が関連付けられ、さらに、この係り受け構造に対応するスコア「０．７０」が関連付けられている。また、仮説情報１５２では、単語「ｗ_４」に主辞「ｗ_６」が、単語「ｗ_５」に主辞「ｗ_６」が、単語「ｗ_６」に＜ｂ＞が関連付けられ、さらに、この係り受け構造に対応するスコア「０．３０」が関連付けられている。

６．その後、一時メモリ１０ｉの記憶領域Ａを空にする。
７．そして、一時メモリ１０ｉの記憶領域Ｂに保存されているもののうち、スコアが上位Ｎ位（図８の例ではＮ＝２）までの仮説情報を、一時メモリ１０ｉの記憶領域Ａに保存（仮説１，仮説２）する（ステップＳ２３，Ｓ２５）。
８．先頭の単語についての解析が終了していないなら２に戻る。そうでなければ、一時メモリ１０ｉの記憶領域Ａに格納されている仮説情報のうち最もスコアの値が高いものを選択し、その係り受け構造を解析結果とする（依存構造の解析処理（ステップＳ１３）の具体例の説明終わり）。

〔第２の実施の形態〕
次に、本発明における第２の実施の形態について説明する。
本形態は、第１の応用例であり、本発明を適用することにより、逐次的に入力される単語の逐次的係り受け解析を実現するものである。なお、以下では、第１の実施の形態との相違点を中心に説明し、第１の実施の形態と共通する事項（例えば、構成）については説明を省略する。
音声認識は音声を単語列表記に変換するだけに過ぎず、多くの場合、より詳しい意味的情報を付与することが求められる。これに関し、係り受け解析は、基本的でかつ主要な意味的情報を表現しており、汎用的な理解のために有力視される技術のひとつである。しかし、従来の係り受け解析技術は文単位の入力・解析を仮定しているため、逐次入力される音声の文境界が検出された後でなければ解析処理を行うことができない。このことは音声認識の実時間処理の消失であり、同時字幕や同時通訳といった実時間性を重視するアプリケーションや、よりヒューマンフレンドリーな対話の実現に向けて障害となる。これに対し、本発明を導入すると、未出単語との係り受け構造を表現することで、音声の入力に沿って、係り受け構造を逐次的に解析すること（逐次的係り受け解析）が可能となる。また、その構築過程において文境界を検出することも可能となる。以下、本発明を適用した逐次的係り受け解析処理を説明する。

数単語を読み込むたびに係り受け構造の解析結果を更新していき、その過程で文境界も検出する場合、入力の単位が文ではないので、係り先が存在しない場合もある。そのような文を不完全な文と呼ぶことにする。まず、不完全な文に対する係り受け構造を定義する。
完全な文に対する係り受け構造が図１０（ａ）のように与えられているとする。ただし、図１０（ａ）の＜ｂ＞は文境界を表すメタシンボルであり、最後の単語は便宜上＜ｂ＞に係るものとしている。このとき先頭３単語のみからなる不完全な文の構造を図１０（ｂ）のように表現するものとする。ここでメタシンボル＜ｃ＞は未出の単語を表しており、未出の単語との係り受けは＜ｃ＞に係るものとして表す。

この逐次係り受け解析処理の技術上核となるポイントは、メタシンボル＜ｃ＞を普通の単語と同等に扱う点、｛＜ｃ＞，＜ｂ＞｝∈Ｃ_ｉを許す点、係り先として＜ｂ＞が選ばれた場合にその＜ｂ＞の部位を文境界とみなす点である。すなわち、本形態では、完全な文書の一部の単語をメタシンボル＜ｂ＞＜ｃ＞（「置換情報」に相当）に置換した置換学習データをもモデル学習に使用する。具体的には、本形態の置換学習データ生成部１０ｂは、学習データ記憶部１０ａに記憶された学習データを先頭から数単語単位で抽出し、抽出されない残りの単語をメタシンボル＜ｃ＞で置き換え、文境界を＜ｂ＞と表し、それに元の文書と同様な係り受け関係を設定したものを順次置換学習データとする。すなわち、置換学習データには｛＜ｃ＞，＜ｂ＞｝∈Ｃ_ｉとなる係り受けが許可される。そして、第１の実施の形態と同様に、依存構造学習部１０ｄが、学習データ記憶部１０ａに格納された完全な文である学習データと、置換学習データ記憶部１０ｃに格納された置換学習データとを用い、最大エントロピー法のパラメータ列λ（「依存構造情報格納部」に相当）をL-BFGS等により求め、これを依存構造情報格納部１０ｅに格納する。これにより、完全な文からなる学習データのみを用いてモデルを学習した場合には不可能であった逐次係り受け解析処理が可能となる。

＜逐次係り受け解析処理の概要＞
図１１は、このようにして可能となる本形態の逐次係り受け解析処理の概要を説明するための図である。以下、図１１に沿って、この逐次係り受け解析処理の概要を説明する。
ａ）入力部１０ｆには、音声解析結果等によって得られた単語列（「処理対象情報」に相当）が逐次入力され、処理対象情報格納部１０ｇに格納されていく。依存構造解析部１０ｈは、まず、この処理対象情報格納部１０ｇに格納された単語列から最初の数単語（w₁,...,w₄）を読み込み。

ｂ）次に、依存構造解析部１０ｈは、依存構造情報格納部１０ｅに格納されたパラメータ列λ（「依存構造情報」に相当）を読み込む。そして、依存構造解析部１０ｈは、ａ）で読み込んだ数単語（w₁,...,w₄）の最後に＜ｃ＞を付加した単語列（w₁,...,w₄,<c>）を第１の実施の形態と同様、式（１）を用いて解析し、その解析結果情報を出力する。
ｃ）次に、依存構造解析部１０ｈは、処理対象情報格納部１０ｇから新たな単語列（w₅,w₆）を読み込み、以前の単語列（w₁,...,w₄,<c>）の＜ｃ＞を（＜ｂ＞）に置換し、新たな単語列（w₅,w₆）を付加した単語列（w₁,...,w₄,(),w₅,w₆）を生成する。なお、（＜ｂ＞）は文境界となる可能性のある地点を示す。

ｄ）さらに、依存構造解析部１０ｈは、この単語列（w₁,...,w₄,(),w₅,w₆）の最後に＜ｃ＞を追加した単語列（w₁,...,w₄,(),w₅,w₆,<c>）を生成し、この単語列（w₁,...,w₄,(),w₅,w₆,<c>）を第１の実施の形態と同様に式（１）を用いて解析する。
ｅ），ｆ）このとき、以前の＜ｃ＞を主辞としていた単語（w₂,w₄）は、再度係り先を固定し直す。その他の解析済み単語（w₁,w₃）については、係り先を再同定（しても、）しなくてもよい。
ここで（＜ｂ＞）に係る可能性がある単語（例えばw₄）については、＜ｂ＞∈Ｃ_ｉとする。同じく、＜ｃ＞に係る可能性がある単語（例えばw₄）については、＜ｃ＞∈Ｃ_ｉとする。その結果、単語w₄の例では、Ｃ_４＝｛,w₅,<c>｝となる。

ｇ）依存構造解析部１０ｈは、解析対象情報格納部１０ｇに新しい単語が存在する限り、ｃ）以降の処理を繰り返す。
＜逐次係り受け解析処理の詳細＞
次に、この逐次係り受け解析処理の詳細を説明する。
図１２及び図１３は、逐次係り受け解析処理の詳細を説明するためのフローチャートである。以下、この図に従って、本形態の逐次係り受け解析処理の詳細を説明する。
まず、依存構造解析部１０ｈは、変数Ｌに０を代入し、係り受け関係の仮説ｈ（単語と主辞とを対応付けたテーブル）と、そのスコアとの組の集合を示す変数Ｈに空集合φを代入し、これらを一時メモリ１０ｉに格納する（ステップＳ３１）。次に、依存構造解析部１０ｈは、前述のように入力部１０ｆから逐次入力され解析対象情報格納部１０ｇに格納された単語列のうちｍ単語文のセグメントを読み込み、それらをw_L+1,w_L+2,...,w_L+mとする（ステップＳ３２）。なお、これらは、Ｈの全要素に追加される。このとき、それらに対応する主辞は未定にしておく。ただし、Ｈ＝φのときは、仮説ｈをスコアが１で係り受け関係が全く未定のw₁,w₂,...,w_m（Ｌは必ず０）とし、このｈをＨに加える。また、ｍは自然数であり、読み込んだ単語の数である。次に、依存構造解析部１０ｈは、変数iにL+mを代入し、それを一時メモリ１０ｉに格納する（ステップＳ３３）。また、依存構造解析部１０ｈは、係り受け関係の仮説と、そのスコアとの組の集合を示す変数Ｇに空集合φを代入し、これを一時メモリ１０ｉに格納する（ステップＳ３４）。

次に、依存構造解析部１０ｈは、係り受け構造の仮説ｈ∈Ｈを選択し、それを示す仮説情報を一時メモリ１０ｉに格納する（ステップＳ３５）。次に、依存構造解析部１０ｈは、w_iの主辞が決まっていないか、決まっていてもw_iの主辞が＜ｃ＞かを判断する（ステップＳ３６）。ここで、w_iの主辞が決まっており、それが＜ｃ＞でなければステップＳ３５に戻る。一方、w_iの主辞が決まっていないか、決まっていてもw_iの主辞が＜ｃ＞であった場合、依存構造解析部１０ｈは、{,w_i+1,w_i+2,...,w_L+m,<c>}から、言語的制約と、仮説ｈの係り受け関係の間で矛盾が生じないようにC_iの要素を選出し、C_iを決定し、これを一時メモリ１０ｉに格納する（ステップＳ３７）。

次に、依存構造解析部１０ｈは、一時メモリ１０ｉに格納したC_iからw_iの１つの係り先候補ｖを選択する（ステップＳ３８）。そして、依存構造解析部１０ｈは、ステップＳ３５で選択した仮説ｈにw_i→ｖ（単語w_iと主辞ｖとの対応付けを示すレコード）を加えたものをｇとし、これを一時メモリ１０ｉに格納する（ステップＳ３９）。また、依存構造解析部１０ｈは、仮説ｈのスコアにP(w_i→v|C_i)を乗じたものをｇのスコアとし、これをｇに関連付けて一時メモリ１０ｉに格納する（ステップＳ４０）。そして、依存構造解析部１０ｈは、一時メモリ１０ｉに格納したｇとそのスコアとを、一時メモリ１０ｉに格納しておいたＧに追加し、この新たなＧを再び一時メモリ１０ｉに格納する（ステップＳ４１）。その後、依存構造解析部１０ｈは、全てのv∈C_iが選択済みであるか否かを判断する（ステップＳ４２）。ここで、全てのv∈C_iが選択済みでなければステップＳ３８の処理に戻る。一方、全てのv∈C_iが選択済みであれば、次に依存構造解析部１０ｈは、全ての係り受け構造の仮説h∈Hを選択済みであるか否かを判断する（ステップＳ４３）。ここで、全ての係り受け構造の仮説h∈Hが選択済みでなければ、ステップＳ３５に進む。一方、全ての係り受け構造の仮説h∈Hが選択済みであれば、依存構造解析部１０ｈは、一時メモリ１０ｉに格納されているＧを参照し、スコアが上位Ｎ位までのｇだけをＧに残し、その他のｇとそのスコアとを削除する。このように更新されたＧは一時メモリ１０ｉに格納される（ステップＳ４４）。次に、依存構造解析部１０ｈは、一時メモリ１０ｉに格納されているＧをＨに代入し、このＨを一時メモリ１０ｉに格納する（ステップＳ４５）。

次に、依存構造解析部１０ｈは、一時メモリ１０ｉに格納されている変数ｉが１であるか否かを判断する（ステップＳ４６）。ここで、ｉ＝１でなければ、ｉ‐１を新たなｉとして一時メモリ１０ｉに格納し、ステップＳ３４の処理に戻る。一方、ｉ＝１であれば、依存構造解析部１０ｈは、一時メモリ１０ｉに格納されている変数Ｌにｍを加算した値を新たなＬとし、これを一時メモリ１０ｉに格納する（ステップＳ４８）。
次に、依存構造解析部１０ｈは、解析対象情報格納部１０ｇを参照し、未解析のセグメントが存在するか否かを判断する（ステップＳ４９）。ここで、未解析のセグメントが存在すると判断された場合には、ステップＳ３２に戻る。一方、未解析のセグメントが存在しないと判断された場合には、依存構造解析部１０ｈは、一時メモリ１０ｉに格納されているＨを参照し、それが示す仮定のうちスコアが最大のものを選択し、それを解析結果として出力する（ステップＳ５０）。

＜実験結果＞
次に、本形態の逐次的係り受け解析手法の実験結果を示す。ここでは、本発明を利用した逐次的係り受け解析手法（以下、「提案法」と呼ぶ）と、文境界が完全に正しく与えられた場合の従来法とで係り受け解析精度を比較した。つまり、従来法において本実験での理論的な最大値が与えられる。
なお、提案法での複数単語入力の単位は音声のショートポーズで囲まれた区間（以下、「セグメント」と呼ぶ）とした。また、学習と解析には、CSJコーパスのコアデータを用いた。CSJコーパスには約660時間の講演音声が収録されており、うちコアセットと呼ばれるデータには、音声のトランスクリプト（発話をテキストに書き出したもの）や、その係り受け構造、音声のショートポーズの位置と長さ、文境界の位置などが記されている。そのコアセット全１７７講演中、１２講演をテストセットとし、残りの講演データを用いて学習を行い、式（１）のパラメータ列λを求めた。なお、提案法、従来法ともに素性ベクトルφには、前述した「見出し」「品詞」「品詞細分類」「活用」等を用いた。また、＜ｃ＞，＜ｂ＞は、単語の「見出し」の値として扱った。
そして、以下の２種類の係り受け解析実験を通し、提案法と従来法の比較を行った。

［実験１：テストセット講演データのトランスクリプト及び音声認識結果に対する係り受け解析］
トランスクリプトでの実験では、従来法と提案法とを係り受け精度で比較したほか、提案法の文境界検出精度として再現率／適合率／Ｆ値も算出した。また、音声認識は（文単位に切らずに）講演単位で行った。さらに、従来法における文境界は、トランスクリプトとのアライメント（認識結果と正解の単語列の対応）を採って与えている。つまり、提案法と従来法で解析した単語列は完全に一致する。さらに、音声認識結果の係り受け解析では、誤認識単語の存在のため係り受け精度を求めることができないので、再現率／適合率／Ｆ値で評価し、認識結果と係り関係の両方を正しく判定したものだけを正解とした。

なお、
係り受け精度（accuracy）＝係り先を正しく同定した単語数／単語総数
再現率（recall）＝正解数／正解データ内の要素総数
適合率（precision）＝正解数／解析結果データ内の要素総数
Ｆ値＝再現率と適合率の調和平均
である。
図１４（ａ）は、このトランスクリプト及び認識結果に対する係り受け解析の実験結果を示した表である。なお、係り先を持たない文の主辞については、＜ｂ＞を係り先に持つと判定できて正解とした。提案法は、途中で幾度となく＜ｃ＞との係り受け関係を評価しながら解析を進めていき、その中で文境界の検出も同時に行うという枠組みを有しているにも関わらず、文境界が完全に正しく与えられた従来法とほぼ同等の精度で解析できるという結果が得られた。しかも、誤認識が含まれる音声認識の結果に対しても同様に従来法と近い値を示している。若干、両者の差がひろがった理由は、誤認識により文境界検出の難易度が増したためと考えられる。

次に、提案法のトランスクリプトにおける文境界検出精度を図１４（ｂ）に示す。話し言葉の文境界検出としては十分高い値を示している。また、適合率に比ベ、再現率が高いことから、正解境界数よりもやや多めに文区切りと判定していることがわかる。しかし、それは、図１４（ａ）にあるように、全体の係り受け精度にはあまり影響していない程度となっている。
［実験２：文頭からＮ番目までのセグメントで構成される不完全な文もしくは完全な文に対する係り受け解析］
例えば、音声認識を用いたアプリケーションでは、発話の中に含まれる無音時間を観測し、この無音区間をもとに１回の発話の終了を仮定して、そこまでの認識結果を一文として、以後の係り受け解析等の処理を進めるような場合がある。しかし、実際は無音部位が文境界であるのはまれである。ここでは、上記のような場合を想定して、文頭からＮ番目のセグメントまでの入力をあたえ、それを提案法で解析した場合と、従来法で解析した場合を比較する。提案法では不完全な文であることを想定して処理を進めることが可能であり、この実験では、そういった＜ｃ＞を用いた係り受け予期モデルの導入の効果をみる。ここで、最後の単語の係り先に関して、提案法による解析では必ず＜ｃ＞に係るため入力が完全な文の場合は必然的に誤りが生じる。逆に、不完全な文を従来法で解析すると、完全な文が入力されたと仮定するので必ず最後の単語の係り先を＜ｂ＞と判定し、誤りとなる。なお、実験全体を通し、学習・解析においてフィラータグのついた単語を除外している。

図１４（ｃ）は、この実験における係り受け精度を示したグラフである。
不完全な文に対する解析が多く合まれるこの実験において、提案法では最大１０％程度の改善がみらた。これにより＜ｃ＞による未出単語との係り受けモデルを導入することの効果が確かめられた。
〔第３の実施の形態〕
次に、本発明における第３の実施の形態について説明する。
第３の実施の形態は、本発明を構文解析に適用した例である。以下では、第１の実施の形態との相違点を中心に説明する。

構文解析は、与えられた単語列の句構造を抽出するものであり、各単語と句の関係を構文木と呼ばれる木構造で表現するものである。図１５（ａ）は、このような構文解析によって得られた句構造を木構造で表現した例である。本形態では、単語や句が各要素情報であり、それらの関連が依存関係に対応する。そして構文木が依存構造である。従来は文単位の単語列で、かつ単語は全て既知でなければ構文解析ができなかったが、本発明を適用することにより、一部未知単語を含んでいても句構造を推定することが可能となる。以下、本形態の内容を説明する。
本形態の依存構造情報処理装置の構成は第１の実施の形態と同様である。以下では、図３を利用して本形態の処理を説明していく。

［学習処理］
１．前処理として、学習データ記憶部１０ａ（図３）に従来の構文解析で用いたのと同様な学習データを格納しておく。
図１５（ｂ）は、この学習データ記憶部１０ａに格納しておく学習データ２００の例示である。この例の学習データ２００は、図１５（ａ）の木構造に対応するものである。すなわち、この例の学習データ２００は、「学校」「に」「兄」「と」「行く」という５つの単語の句構造を表現している。ここで、「Ｎ」は名詞を、「Ｖ」は動詞を、「Ｐ」は助詞を、「ＮＰ」は名詞句を、「ＶＰ」は動詞句を、「ＰＰ」は前置詞句を、「Ｓ」は文を示す。そして、図１５（ａ）の木構造を示すテーブルを学習データ２００としている。具体的には、例えば「学校」という単語は、名詞で名詞句である。また、「に」という単語は、助詞である。そして、「学校」と「に」という２つの単語によって前置詞句を構成している。学習データ２００は、これを表すために、「学校」という単語を「Ｎ」「ＮＰ」に関連付け、「に」という単語を「Ｐ」に関連付け、さらに、これら２つの単語を同じ「ＰＰ」に関連付けている。すなわち、この例の学習データ２００は、要素の関連付けによって木構造を表現できるデータ構成となっている。

２．学習処理が開始されると、まず、置換学習データ生成部１０ｂが、学習データ記憶部１０ａから学習データを順次読み込み、その単語の一部を置換情報に置換し、当該置換情報に所定の依存関係を持たせた置換学習データを生成する。
図１６から図１８は、本形態の置換学習データ２０１〜２０３を例示した図である。
ここで、図１６は、置換された単語の属性を示さない置換情報を用いて生成された置換学習データ２０１の例示である。すなわち、置換学習データ２０１は、図１５の学習データ２００の単語「に」「兄」「と」を、対応関係を維持しつつ、３つの置換情報「Ｗ」「Ｗ」「Ｗ」に置換したものである。これらの置換情報「Ｗ」は、置換された単語「に」「兄」「と」の属性を示すものではない。また、図１７の置換学習データ２０２と比較すれば分かるように、語数によって句構造がどのように変化するのかを学習し、解析できるようになる。

また、図１８は、置換された単語の属性の一部のみを示す置換情報を用いて生成された置換学習データ２０３を例示している。すなわち、置換学習データ２０３は、図１５の学習データ２００の単語「に」「兄」「と」を、対応関係を維持しつつ、各品詞を示す置換情報「Ｐ」「Ｎ」「Ｐ」に置換したものである。このような置換学習データ２０３を用いることにより、単語の一部が不明であるがその品詞だけはわかっている文の構文解析を精度良く実現することができる。すなわち、本形態では、単語自体は不明であるが、不明なりにもその一部の情報が得られているときに、その内容を解析結果に反映させることも可能である。

以上のように生成された置換学習データは、置換学習データ記憶部１０ｃに送られ、そこに逐次格納される。
３．置換学習データが蓄積されると、次に、依存構造学習部１０ｄが、学習データ記憶部１０ａ及び置換学習データ記憶部１０ｃから学習データ及び置換学習データを読み込み、これらを用いた学習処理によって依存構造（構文木）を学習し、当該依存構造を示す依存構造情報を依存構造情報格納部１０ｅに出力し、そこに格納する。具体的には、依存構造学習部１０ｄは、構文木のあるシンボル（品詞或いは単語）が、それにすぐ下に接続しているシンボルが与えられているときに存在する条件付確率
P(X|AB)=C(X)／C(AB)
P(X|w)=C(X)／C(w)
を学習データ及び置換学習データから算出し、これを依存構造情報として依存構造情報格納部１０ｅに格納する。ただし、Ａ，Ｂ，Ｘは品詞のシンボルを表し、ｗは単語や置換情報のシンボル若しくは品詞のシンボルを表す。また、P(X|AB)とは、品詞Ａと品詞Ｂとが与えられているときに、それらが品詞Ｘを構成する条件付確率を示す。またP(X|w)とは、シンボルｗが品詞Ｘを構成する条件付確率を示す。さらに、Ｃ（Ｘ）及びＣ（ｗ）は、シンボルＸおよびｗが学習データ及び置換学習データに出現した回数を示し、C(AB)は、Ａ，Ｂと続く品詞が学習データ及び置換学習データに出現した回数を示す。なお、これらの条件付確率が、各置換情報に対応する品詞情報を特定するための情報に相当する。

［解析処理］
次に、本形態の解析処理について説明する。
１．まず、解析対象である処理対象情報が入力部１０ｆから入力され、これが処理対象情報格納部１０ｇに格納される。この例の処理対象情報は単語列であるが、特に文には限定されない。また、この単語列の一部に完全に明瞭でない単語が含まれているものとする。なお、完全に明瞭でない単語とは、品詞だけしか分からない単語や、それさえも不明な単語等を意味する。

２．依存構造解析部１０ｈは、処理対象情報格納部１０ｇから処理対象情報である単語列を読み込む。そして、その単語列が有する完全に明瞭でない単語を学習時に用いた置換情報に置換する。例えば、不明である単語をシンボル「Ｗ」に置換し、品詞が名詞であることのみが分かっている単語をシンボル「Ｎ」に置換する。
３.次に、依存構造解析部１０ｈは、この置換を行った単語列が採りうる木構造を仮定し、依存構造情報格納部１０ｅに格納された条件付確率（「依存構造情報」に相当）を用いて各仮定に対応するスコアを算出して一時メモリ１０ｉに格納していく。なお、この処理では、単語や品詞のシンボルそのものを素性として解析処理を実行する。そして、依存構造解析部１０ｈは、一時メモリ１０ｉに格納された各仮定のスコアを参照し、最もスコアが高い木構造を検索結果として選択し、それを特定する検索結果情報を出力する。

ちなみに、入力単語列が完全に明瞭な単語のみからなる場合には、通常の構文解析が行われる。
〔第４の実施の形態〕
次に、本発明における第４の実施の形態について説明する。
本形態は、文字認識処理に本発明を適用した例である。以下では、第１の実施の形態との相違点を中心に説明する。
文字認識は、文字が映った画像を入力とし、そこに映された文字が何という文字であるかを判定する技術である。例えば、カメラで文字を映したような場合、その映された文字は必ずしも文字全体が写っているとは限らない。画面のサイドで文字が切れている場合や、文字の上に物体がありその陰になって文字の一部しか映っていない場合もある。このように断片だけが映された文字を入力とした場合、従来技術では、文字全体が入力されたものと仮定して処理を行うことしかできなかった。特に、物体が文字の一部を隠しているときには、物体がノイズとなり認識結果に大きな影響を与えていた。

本発明をこの文字認識に適用した場合、このような問題を回避可能となる。例えば白黒画像で文字が映されている場合、ピクセル単位で格子状に画像を見ると、各行各列において白白白…黒黒黒…白白白のような白と黒の配列になっている。本形態では、このピクセル格子をピクセルの色を各要素とする画素情報の構成とその文字情報との依存構造に本発明を適用する。以下、本形態の内容を説明する。
本形態の依存構造情報処理装置の構成は第１の実施の形態と同様である。以下では、図３を利用して本形態の処理を説明していく。ここではHMMに基づく手法を説明する。なお、HMMとは、学習によって特徴量系列のパターンを記憶し、類似する特徴量系列の入力に対して高いスコアを付与するモデルである。

［学習処理］
１．前処理として、学習データ記憶部１０ａ（図３）に従来の文字解析で用いたのと同様な複数の画素（ピクセル）情報からなる画像情報と、その正解値とを関連付けた学習データを大量に格納しておく。
例えば、図１９（ａ）に例示するように、平仮名の「あ」の学習データとして複数種類の画像情報３０１ａ〜３０１ｃが用意され、これらの画像情報３０１ａ〜３０１ｃと、それらが平仮名の「あ」を示す旨の情報（「文字情報」に相当）とを関連付けた学習データを学習データ記憶部１０ａに格納しておく。なお、学習データの画像情報としては、画素情報の欠如がないものが望ましい。

図２０（ａ）は、学習データ記憶部１０ａに格納される学習データ３１０の画像情報３０２の例示である。この図に例示するように、画像情報３０２は、白或いは黒を示す複数の画素情報３０２ａによって構成されている。
図２１（ａ）は、学習データ記憶部１０ａに格納される学習データ３１０のデータ構成を例示した図である。この例の学習データ３１０は、画素の「座標」と「値（色を示す）」との組（画素情報）の集合からなる「画像情報」と、その画像に対応する「文字情報」と「部位」との組からなる「正解値」と、を関連付けたテーブルである。なお。「部位」とは、対応する「画像情報」が文字情報の示す文字のどの部位を示しているかを表す。図２１（ａ）の例では、「画像情報」が文字「Ｅ」の全部の部分を示していることを表している。

２．置換学習データ生成部１０ｂは、学習データ記憶部１０ａから学習データを読み込み、当該学習データが具備する画像情報の一部の画素情報を所定の置換情報に置換し、置換後の画像情報に、置換前の画像情報に関連付けられていた文字情報を関連付けた置換学習データを生成する。生成された置換学習データは、置換学習データ記憶部１０ｃに格納される。
図２０（ｂ）は、このような置換学習データの画像情報３０３を例示した図である。この図に例示するように、置換学習データの画像情報３０３は、学習データの画像情報３０２が有する画素情報３０２の一部を、一部の画素が映っていない（不明である）ことを表すメタシンボル「Ｍ」（置換情報３０５）に置換した情報である。なお、この例では、複数の画素情報３０２を１つの置換情報３０５に置換し、置換された画素情報の他の画素情報との依存関係を、そのまま１つの置換情報３０５に持たせている。

図２１（ｂ）は、本形態の置換学習データ３２０のデータ構成を例示した図である。この例の置換学習データ３２０は、図２１（ａ）の学習データ３１０の「画像情報」の「値」の一部をメタシンボル「Ｍ」（置換情報３２１）に置換し、「部位」を「右下」と書き換えた構成となる。
このような置換学習データを用いることで、認識する文字の一部が物体の裏に隠れていても、画面の端で切れていても、映っていない部分の影響を受けずに映っている部分だけで評価を行うことができる。また、置換学習データの画像情報が文字のどの部分であるかを「部位」の欄に設定しておくことにより、認識対象の画像に写っているものが、どの文字であるかだけではなく、その文字のどこの部分であるかをも認識することが可能となる。なお、隠れている箇所や大きさによって置換するメタシンボルを変えることも可能である。また、部位の欄を設けない構成であってもよい。

３．次に、依存構造学習部１０ｄは、学習データ記憶部１０ａ及び置換学習データ記憶部１０ｃから学習データ及び置換学習データを読み込み、それら全ての画像情報から特徴量を抽出する。なお、特徴量の抽出は、例えば、いくつかのピクセルの塊ごとにコサイン変換を取るなどして行う。そして、依存構造学習部１０ｄは、正解値毎に、得られた特徴量を用いてHMMパラメータを決定し、当該HMMパラメータを、特徴量と正解値（文字情報を含む）との対応関係を示す依存構造情報として依存構造情報格納部１０ｅに格納する。なお、HMMパラメータは、同じ正解値を持つデータごと作成される（図１９（ａ）参照）。仮に正解値がＮ種類であるとすると、各正解値に対応するＮ個のHMMパラメータが作成される。また、HMMパラメータの学習手順は多くの参考書に記されている。

［認識処理］
次に、本形態の認識処理について説明する。図１９（ｂ）は、本形態の認識処理の概要を示した概念図である。
１．まず、認識対象である処理対象情報が入力部１０ｆから入力され、これが処理対象情報格納部１０ｇに格納される。本形態の処理対象情報は画像情報であり、その一部の画素が欠損しているものも含む。
２．依存構造解析部１０ｈは、処理対象情報格納部１０ｇから処理対象情報である画像情報を読み込み、その画像情報から特徴量を抽出する。抽出した特徴量は、一旦、一時メモリ１０ｉに格納される。

３．次に依存構造解析部１０ｈは、依存構造情報格納部１０ｅから、依存構造情報であるHMMパラメータを読み込み、一時メモリ１０ｉから上述の特徴量を読み込む。そして、このHMMパラメータを用い、読み込んだ特徴量に対し、各正解値（「あ」「い」「う」…等）に対応するHMMのスコアを算出する。そして、最も高いスコアを示したHMMに対応する正解値（「あ」）を認識結果として出力する。また、例えば、図２１（ｂ）に対応するＨＭＭのスコアが最も高かったとすると、処理対象情報である画像情報は、文字「E」の「右下部分」である旨の認識結果を出力する。

実際は、映された画像の中に、文字が納まっているのか、収まっていたとしても一部がものの影に隠れているのかなどを事前には判定できない。そのため、そういった状況を仮定して置換情報を用いた場合の認識結果と、画像に文字が収まっているのを仮定して認識した結果のスコアを比較して最終的な認識結果を決めるという処理を行うなどとしてもよい。
なお、本発明は上述の各実施の形態に限定されるものではない。例えば、学習データから置換学習データを生成し、生成した置換学習データだけを用いた学習処理を行ってもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

本発明の利用分野としては、音声認識分野、漢字変換分野、文字認識分野等の様々な統計情報集計処理が必要とされる分野を例示できる。

図１（ａ）〜（ｈ）は、本発明における未入手情報と入手情報との依存関係を説明するための概念図である。図２は、第１の実施の形態における依存構造情報処理装置のハードウェア構成を例示したブロック図である。第１の実施の形態における依存構造情報処理装置の機能構成を例示したブロック図である。図４（ａ）は、本形態の依存構造情報処理装置の学習処理を説明するためのフローチャートである。図４（ｂ）は、依存構造情報を学習する処理を説明するためのフローチャートである。図５（ａ）（ｂ）は、第１の実施の形態の学習データを例示した図である。図６（ａ）（ｂ）は、第１の実施の形態の置換学習データを例示した図である。図７（ａ）（ｂ）は、第１の実施の形態の置換学習データを例示した図である。図８は、第１の実施の形態の係り受け解析アルゴリズムを説明するための図である。図９（ａ）（ｂ）（ｃ）は、仮説情報のデータ構成の例示である。図１０（ａ）は、完全な文に対する係り受け構造を説明するための図である。図１０（ｂ）は、不完全な文に対する係り受け構造を説明するための図である。図１１は、第２の実施の形態の逐次係り受け解析処理の概要を説明するための図である。図１２は、第２の実施の形態の逐次係り受け解析処理の詳細を説明するためのフローチャートである。図１３は、第２の実施の形態の逐次係り受け解析処理の詳細を説明するためのフローチャートである。図１４（ａ）は、このトランスクリプト及び認識結果に対する係り受け解析の実験結果を示した表である。図１４（ｂ）は、提案法のトランスクリプトにおける文境界検出精度を示した図である。図１４（ｃ）は、文頭からＮ番目までのセグメントで構成される不完全な文もしくは完全な文に対する係り受け解析実験における、係り受け精度を示したグラフである。図１５（ａ）は、構文解析によって得られた句構造を木構造で表現した例である。図１５（ｃ）は、第３の実施の形態の学習データ記憶部に格納しておく学習データの例示である。図１６（ａ）（ｂ）は、第３の実施の形態の置換学習データを例示した図である。図１７（ａ）（ｂ）は、第３の実施の形態の置換学習データを例示した図である。図１８（ａ）（ｂ）は、第３の実施の形態の置換学習データを例示した図である。図１９（ａ）は、第４の実施の形態の学習処理の概要を示した概念図である。図１９（ｂ）は、本形態の認識処理の概要を示した概念図である。図２０（ａ）は、第４の実施の形態の学習データ記憶部に格納される学習データの画像情報の例示である。図２０（ｂ）は、本形態の置換学習データの画像情報を例示した図である。図２１（ａ）は、第４の実施の形態の学習データ記憶部に格納される学習データのデータ構成を例示した図である。図２１（ｂ）は、本形態の置換学習データのデータ構成を例示した図である。

符号の説明

１０依存構造情報処理装置
１１０，１２０，２０１，２０２，２０３，３２０置換学習データ

Claims

依存構造を有する情報を処理する依存構造情報処理装置であって、
単語もしくは文節（以下、要素情報と記す）間の係り受け関係を示す、要素情報とその係り先の要素情報である主辞情報とを関連付けた学習データを格納する学習データ記憶部と、
上記学習データの要素情報の一部を置換情報に置換し、当該置換情報に対して置換元の要素情報に関連付けられていた主辞情報を関連付けた置換学習データを生成する置換学習データ生成部と、
上記学習データおよび置換学習データを読み込み、係り元要素情報とその正解係り先要素情報および係り先の候補の要素情報の集合から素性ベクトルを決定し、当該素性ベクトルを用い、ある要素情報が別の要素情報に係る可能性を表す統計モデルを示す式のパラメータ列を決定し、当該パラメータ列を、依存構造を示す依存構造情報として出力する依存構造学習部と、
上記依存構造情報を格納する依存構造情報格納部と、
を有することを特徴とする依存構造情報処理装置。
請求項１に記載の依存構造情報処理装置であって、
要素情報の一部が欠落した文章である処理対象情報を格納する処理対象情報格納部と、
上記処理対象情報を読み込み、素性ベクトルを算出し、上記依存構造情報を読み込み、得られた素性ベクトルと依存構造情報とを用いて上記統計モデルを示す式に従って、係り受け構造を解析結果として出力する依存構造解析部と、
を有することを特徴とする依存構造情報処理装置。
依存構造を有する情報を処理する依存構造情報処理装置であって、
単語もしくは文節（以下、要素情報と記す）間の係り受け関係を示す、要素情報とその係り先の要素情報である主辞情報とを関連付けた学習データを格納する学習データ記憶部と、
上記学習データの先頭から要素情報の一部を抽出し、抽出した一部の要素情報の最後に未出の要素情報を表すメタシンボルを付加した置換学習データを生成する置換学習データ生成部と、
上記学習データおよび置換学習データを読み込み、係り元要素情報とその正解係り先要素情報および係り先の候補の要素情報の集合から素性ベクトルを決定し、当該素性ベクトルを用い、ある要素情報が別の要素情報に係る可能性を表す統計モデルを示す式のパラメータ列を決定し、当該パラメータ列を、依存構造を示す依存構造情報として出力する依存構造学習部と、
上記依存構造情報を格納する依存構造情報格納部と、
を有することを特徴とする依存構造情報処理装置。
請求項３に記載の依存構造情報処理装置であって、
要素情報の列からなる処理対象情報を格納する処理対象情報格納部と、
上記処理対象情報の先頭から要素情報の一部の列を読み込み、当該一部の列の最後に上記メタシンボルを付加した第１の列に対して、第１の素性ベクトルを算出し、上記依存構造情報を読み込み、得られた第１の素性ベクトルと依存構造情報とを用いて上記統計モデルを示す式に従って、係り元要素情報に対する係り先要素情報が文境界を表すメタシンボルとなる場合を含めて、係り受け構造を解析し結果として出力するとともに、上記第１の列に対して、要素情報の列の次の一部の列を付加し、さらに、上記メタシンボルを最後に付加した第２の列に対して、同様に第２の素性ベクトルを算出し、得られた第２の素性ベクトルと依存構造情報とを用いて上記統計モデルを示す式に従って係り受け構造を解析し結果として出力する依存構造解析部と、
を有することを特徴とする依存構造情報処理装置。
請求項２または請求項４において、
上記統計モデルを示す式は、素性ベクトルを用いた、ある要素情報が別の要素情報に係る条件付確率を示す式であり、
上記依存構造解析部は、素性ベクトルと依存構造情報とを用いて上記条件付確率を示す式に従って条件付確率を算出し、当該確率が最大となる係り元要素情報に対する係り先要素情報を選択し、その係り受け構造を解析結果とする
ことを特徴とする依存構造情報処理装置。
請求項１から５の何れかに記載の依存構造情報処理装置としてコンピュータを機能させるためのプログラム。
請求項６に記載のプログラムを格納したコンピュータ読取り可能な記録媒体。