JP5891313B2 - 計算機、計算機システム、及びデータ管理方法 - Google Patents

Description

本発明は、記憶装置に格納される非構造データに対して認識処理を実行し、記憶装置に、認識処理の結果を含むメタデータを生成する計算機、システム、及び方法に関する。

非構造データからの情報抽出作業の自動化は、大量データを扱う多くの事業者から求められている。非構造データから情報を抽出するためには、画像認識、音声認識、及び文書構造認識といった技術が必要となる。さらに、大規模な記憶装置と認識システムとを連携させる仕組みも重要となる。

記憶装置と認識システムとを連携させる仕組みの一例としては、映像データ及び音声データを個別に処理し、オブジェクトデータとメタデータとを関連付けてデータベースに格納する方法が開示されている（例えば、特許文献１参照）。

特開２００１−１６７０９９号公報

しかし、特許文献１に開示されるシステムは、映像データ及び音声データ専用のシステムであって、文書等のデータ種別が異なるデータを格納する記憶装置と連動させ、文書も認識できるように構成することは困難である。

また、記憶装置と認識システムとを連携させる仕組みは、一般に複雑である。なぜならば、認識結果を格納するデータベース、データに対して認識が完了したことを通知する機能、大量のデータが同時に入力された場合のスループット、及び複数の認識システム間の連動等、多くの事項を考慮する必要があるためである。

本発明は、このような点に鑑みてなされたものであり、その目的は、記憶装置と任意の認識システムとを柔軟に連携させることが可能な装置、システム、及び方法を提供することにある。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、一定のデータ構造を有さない非構造データ及び一定のデータ構造を有する構造データを管理する計算機であって、前記計算機は、プロセッサ、前記プロセッサに接続されるメモリ、前記プロセッサに接続される記憶デバイス、及び前記プロセッサに接続されるＩ／Ｏインタフェースを備え、前記非構造データに対して、所定の辞書を用いて所定のデータ種別の認識処理を実行する少なくとも一つの認識部と、前記計算機が管理する前記構造データと統合可能なデータ構造であり、かつ、前記認識部が実行する認識処理の結果、前記認識部の識別情報、及び前記認識部が使用した辞書の識別情報を含む構造データを生成する複数の構造データ生成部と、前記非構造データに関連する前記構造データと、前記複数の構造データ生成部によって生成された前記構造データとを統合することによって、新たな構造データを生成する構造データ関連づけ処理部と、を備え、前記複数の構造データ生成部は、第１の構造データを生成する第１の構造データ生成部、及び第２の構造データを生成する第２の構造データ生成部を含み、前記構造データ関連づけ処理部は、前記第１の構造データ生成部から前記第１の構造データが入力された場合に、前記非構造データに関連する第３の構造データを取得し、前記取得された第３の構造データと、前記入力された第１の構造データとを統合することによって、第４の構造データを生成し、前記第４の構造データが格納された後に、前記第２の構造データ生成部から前記第２の構造データが入力された場合に、前記第４の構造データを取得し、前記取得された第４の構造データと、前記入力された第２の構造データとを統合することによって、第５の構造データを生成することを特徴とする。

本発明によれば、非構造データに対する認識処理の結果、認識処理の識別情報、及び認識処理に用いられた辞書の識別情報を含む構造データを生成することによって、検索システムとの連動、複数の認識システムの同時稼働、不要な認識処理の抑止、及び複数の認識システムから出力される認識結果の統合等、非構造データに対する認識処理の結果を用いた様々な制御が可能となる。

前述した以外の課題、構成及び効果は、以下の実施形態の説明によって明らかにされる。

本発明の実施例１における計算機システムの構成例を示す説明図である。 本発明の実施例１における関連情報の一例を示す説明図である。 本発明の実施例１におけるデータ格納処理を説明するフローチャートである。 本発明の実施例１における構造データの一例を示す説明図である。 本発明の実施例１におけるデータクローリング処理を説明するフローチャートである。 本発明の実施例１におけるデータ認識処理を説明するフローチャートである。 本発明の実施例１における構造化された認識結果が反映された構造データの一例を示す説明図である。 本発明の実施例１における構造化された認識結果の一例を示す説明図である。 本発明の実施例１における構造化された認識結果の一例を示す説明図である。 本発明の実施例１における構造データ関連づけ処理を説明するフローチャートである。 本発明の実施例１における複数の構造化された認識結果が反映された構造データの一例を示す説明図である。 本発明の実施例１における認識機能登録処理を説明するフローチャートである。 本発明の実施例２における非構造データ記憶装置の構成を説明するブロック図である。

以下、実施例を、図面を用いて説明する。

本実施例では、画像や音声を含む非構造データを格納する記憶装置の例を説明する。

図１は、本発明の実施例１における計算機システムの構成例を示す説明図である。

実施例１の計算機システムは、記憶サーバ３１、管理サーバ３２、映像サーバ３３、及び音声サーバ３４から構成される。記憶サーバ３１、管理サーバ３２、映像サーバ３３、及び音声サーバ３４は、中継装置３８を介して互いに接続される。なお、計算機システムは、ユーザ等が使用する端末を備えてもよい。

以下では、記憶サーバ３１、管理サーバ３２、映像サーバ３３、及び音声サーバ３４を区別しない場合、サーバとも記載する。

本実施例の記憶サーバ３１は、ＣＰＵ３５、メモリ３６、通信装置３７、及び記憶デバイス３９を有する。記憶デバイス３９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が考えられる。なお、記憶サーバ３１は、制御部、Ｉ／Ｏインタフェース、及び複数の記憶デバイスを有する外部ストレージ装置と接続されてもよい。

また、本実施例の管理サーバ３２、映像サーバ３３、及び音声サーバ３４は同一のハードウェア構成である。具体的には、管理サーバ３２、映像サーバ３３、及び音声サーバ３４は、ＣＰＵ３５、メモリ３６、通信装置３７を有する。

ＣＰＵ３５は、メモリ３６に格納されたプログラムを実行する。ＣＰＵ３５がプログラムを実行することによってサーバが備える機能を実現することができる。メモリ３６は、ＣＰＵ３５によって実行されるプログラム及び当該プログラムを実行するために必要な各種情報を格納する。通信装置３７は、他のサーバと通信するための装置である。通信装置３７は、例えば、ネットワークインタフェース等が考えられる。

ＣＰＵ３５によって実行されるプログラムは、通信装置３７を用いて、他のサーバと通信することによって、互いにデータを送受信する。

なお、記憶サーバ３１、管理サーバ３２、映像サーバ３３、及び音声サーバ３４のソフトウェア構成については後述する。

中継装置３８は、任意の装置からデータを受信し、他の装置に受信したデータを送信することによって、装置間のデータの送受信を中継する。なお、中継装置３８は、ＣＰＵ（図示省略）、メモリ（図示省略）、及び通信装置（図示省略）を有する。

記憶サーバ３１は、各種データを格納する計算機である。記憶サーバ３１のメモリ３６には、データ受付部２、記憶部３、データ参照部４、構造データ参照部５を実現するプログラムが格納される。また、記憶サーバ３１の記憶デバイス３９には、非構造データ５０、構造データ５１、及び関連情報５２が格納される。

データ受付部２は、ユーザ等から、記憶サーバ３１に格納するデータを受け付ける。記憶部３は、受け付けたデータを記憶デバイス３９に格納する。

データ参照部４は、ユーザ等からの指示にしたがって、記憶デバイス３９に格納された非構造データ５０を応答として返す。構造データ参照部５は、ユーザ等からの指示にしたがって、記憶デバイス３９に格納された構造データ５１を応答として返す。

非構造データ５０は、構造が定義されていないデータであり、データベースで容易に管理できないデータである。構造データ５１は、構造が定義されたデータあり、データベースで容易に管理可能な形式のデータである。なお、構造データ５１は、非構造データ５０のメタデータに対応する。

関連情報５２は、非構造データ５０及び構造データ５１との対応関係を管理する情報である。

管理サーバ３２は、記憶サーバ３１に格納されるデータを管理する計算機である。管理サーバ３２のメモリ３６には、クローリング処理部６、データ配信部７、音声フィルタ部８、音声認識部９、音声後処理部１０、映像フィルタ部１１、映像認識部１２、映像後処理部１３、認識結果受信部１４、構造データ関連づけ処理部１５、データ配信管理部１６、及び認識機能登録部１７を実現するプログラムが格納される。

クローリング処理部６は、記憶デバイス３９に格納される非構造データ５０の中から、処理対象の非構造データ５０を抽出する。データ配信部７は、抽出された非構造データ５０を、所定の認識機能部又は装置に送信する。

音声フィルタ部８は、非構造データ５０に対して音声データの認識処理を実行するか否かを判定する。音声認識部９は、非構造データ５０に対して音声データの認識処理を実行する。これによって、音声データの認識結果が出力される。音声後処理部１０は、音声認識部９から出力された音声データの認識結果を、構造データ５１に追加可能な形式のデータに変換する。

映像フィルタ部１１は、非構造データ５０に対して、映像データの認識処理を実行するか否かを判定する。映像認識部１２は、非構造データ５０に対して映像データの認識処理を実行する。これによって、映像データの認識結果が出力される。映像後処理部１３は、映像認識部１２から出力された映像データの認識結果を、構造データ５１に追加可能な形式のデータに変換する。

認識結果受信部１４は、音声後処理部１０及び映像後処理部１３から出力された認識結果を受信し、一時的に保持する。

構造データ関連づけ処理部１５は、非構造データ５０に対する認識結果を、現在格納される構造データ５１に反映する。

データ配信管理部１６は、データ配信部７がデータを配信する認識機能部を決定するための情報を管理する。

認識機能登録部１７は、新たに認識機能部を追加するための処理を実行する。

映像サーバ３３は、映像データの認識処理を実行する計算機である。映像サーバ３３のメモリ３６には、映像辞書部１９、及び映像認識処理部４２を実現するプログラムが格納される。

映像辞書部１９は、映像データの認識処理に用いる辞書を管理する。映像認識処理部４２は、映像データの認識処理を実行する。なお、映像データの認識処理は公知の技術を用いればよいため説明を省略する。

音声サーバ３４は、音声データの認識処理を実行する計算機である。音声サーバ３４のメモリ３６には、音声辞書部１８、及び音声認識処理部４３を実現するプログラムが格納される。

音声辞書部１８は、音声データの認識処理に用いる辞書を管理する。音声認識処理部４３は、音声データの認識処理を実行する。なお、音声データの認識処理は公知の技術を用いればよいため説明を省略する。

図２は、本発明の実施例１における関連情報５２の一例を示す説明図である。

関連情報５２は、非構造データ５０、及び非構造データ５０に対応づけられる構造データ５１を一元的に管理するための情報を格納する。具体的には、関連情報５２は、ＵＲＬ６１、非構造データパス６２、構造データパス６３、及び更新時刻６４を含む。

ＵＲＬ６１には、記憶サーバ３１に格納される非構造データ５０又は構造データ５１にアクセスする場合に用いるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）が格納される。

非構造データパス６２には、非構造データ５０が格納される記憶領域のパス名が格納される。構造データパス６３には、構造データ５１が格納される記憶領域のパス名が格納される。

本発明では、記憶サーバ３１は、関連情報５２を保持することによって、一つのＵＲＬと、非構造データ５０及び構造データ５１とを対応づけて管理することができる。

次に、本実施例における計算機システムの処理について説明する。本システムの処理は、データ格納処理、データ参照処理、構造データ参照処理、データクローリング処理、データ認識処理、構造データ関連づけ処理、及び認識機能登録処理の七つの処理に分けられる。

本実施例の特徴的な処理としては以下のような処理が実行される。

データ認識処理では、格納された非構造データ５０に対して、所定の認識処理が実行される。このとき、記憶サーバ３１及び管理サーバ３２は、互いに連携して、認識処理の結果を用いて、構造データを生成する。

構造データ関連づけ処理において、管理サーバ３２は、新たに生成された構造データを、非構造データ５０と対応関係のある構造データ５１に反映させる。

まず、本実施例におけるデータ格納処理について説明する。

図３は、本発明の実施例１におけるデータ格納処理を説明するフローチャートである。図４は、本発明の実施例１における構造データの一例を示す説明図である。

記憶サーバ３１は、外部のＰＣ又はサーバ等の外部装置から非構造データを受信すると、データ格納処理を開始する。

データ受付部２は、外部装置から中継装置３８を介して送信される非構造データを受信する（ステップＳ１０１）。データ受付部２は、例えば、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を用いて送信された非構造データを受信する。なお、本発明は非構造データの種類に限定されず、データ受付部２は、文書、画像、音声、及び動画等の任意のファイル（非構造データ）を受信することができる。

次に、データ受付部２は、受信した非構造データにアクセスするためのＵＲＬを生成する（ステップＳ１０２）。

ＵＲＬの生成方法としては、ＨＴＴＰで指定されたＵＲＬをそのまま利用する方法が考えられる。また、データ受付部２は、必要に応じて、送信されたファイルの名称、拡張子、及び時刻等を用いてＵＲＬを生成してもよい。この場合、例えば、「ｈｔｔｐ：／／ｓｅｒｖｅｒ／ｗａｖ／２０１２０４０１．ｗａｖ」のようなＵＲＬが生成される。

次に、記憶部３は、受信した非構造データを記憶デバイス３９に格納し（ステップＳ１０３）、また、関連情報５２を更新する（ステップＳ１０４）。その後、記憶サーバ３１は、処理を終了する。具体的には、以下のような処理が実行される。

記憶部３は、関連情報５２に新たなエントリを追加し、当該エントリのＵＲＬ６１にステップＳ１０２において生成されたＵＲＬを格納する。また、記憶部３は、追加されたエントリの非構造データパス６２に、受信した非構造データが格納されるパス名を格納し、更新時刻６４に、非構造データが格納された時刻を格納する。

このとき、構造データパス６３は、空欄のままである。これは、通常、非構造データが格納された時点では、構造データが含まれないためである。

ただし、データ受付部２は、非構造データとともに、任意の構造データを受け付けることも可能である。例えば、図４に示すような非構造データの所有者等の情報を含む構造データが、非構造データに付加されることが考えられる。この場合、ステップＳ１０３において、記憶部３は、非構造データ及び構造データをそれぞれ記憶デバイス３９に格納する。また、ステップＳ１０４において、記憶部３は、追加されたエントリの構造データパス６３に、構造データが格納されるパス名を格納する。

前述したようにデータ格納処理において、記憶部３は、ＵＲＬと対応づけて非構造データ５０を格納するため、以下のようなデータ参照処理及び構造データ参照処理が可能となる。

データ参照処理では、データ参照部４が、ユーザが指定したＵＲＬに基づいて、関連情報５２のＵＲＬ６１を参照して、指定されたＵＲＬに対応するエントリを検索する。さらに、データ参照部４は、検索されたエントリの非構造データパス６２を参照して非構造データ５０を取得し、ユーザに対して取得された非構造データ５０を返す。

構造データ参照動作では、構造データ参照部５が、ユーザが指定したＵＲＬに基づいて、関連情報５２のＵＲＬ６１を参照して、指定されたＵＲＬに対応するエントリを検索する。さらに、構造データ参照部５は、検索されたエントリの構造データパス６３を参照して構造データ５１を取得し、ユーザに対して取得された構造データ５１を返す。

例えば、ＨＴＴＰを用いて、要求されたＵＲＬに基づいて取得された非構造データ５０又は構造データ５１をユーザに返すように、システムを構成することができる。また、データ参照処理において、ＨＴＴＰを用いて非構造データ５０をユーザに返す場合、データ参照部４は、非構造データ５０のコンテンツ種別（データ種別）が付与されたＨＴＴＰヘッダとともに、非構造データ５０を返すようにシステムを構成することができる。また、ＨＴＴＰヘッダのみが要求された場合、データ参照部４は、非構造データ５０全体を返さず、コンテンツ種別のみを返すようにしてもよい。

次に、本実施例におけるデータクローリング処理を説明する。

図５は、本発明の実施例１におけるデータクローリング処理を説明するフローチャートである。

管理サーバ３２は、繰り返しデータクローリング処理を実行する。例えば、管理サーバ３２は、周期的、又は、ユーザ等から指示を受け付けた場合に、データクローリング処理を実行する。

クローリング処理部６は、記憶サーバ３１の記憶部３に問い合わせて、関連情報５２のＵＲＬ６１のリストを取得する（ステップＳ２０１）。すなわち、処理対象の非構造データ５０が抽出される。

本実施例では、新たに格納された非構造データ５０と対応づけられるＵＲＬ６１のみを抽出する対象とする。したがって、クローリング処理部６は、対象となる時刻を含めた問い合わせを行う。記憶部３は、当該問い合わせを受け付けると、関連情報５２に格納される更新時刻６４を参照して、最新のデータのＵＲＬ６１のみをリスト化し、クローリング処理部６にＵＲＬ６１のリストを送信する。

前述した問い合わせを行うために、クローリング処理部６は、ＵＲＬ６１のリストにおける最新の更新時刻６４を一時的に保持しておき、当該更新時刻６４以後の時刻であるＵＲＬ６１の問い合わせを行う。

なお、一定期間内に大量の非構造データが格納された場合、ＵＲＬ６１のリストが肥大化するケースが考えられる。この場合、記憶部３は、所定数のＵＲＬ６１のみを、更新時刻６４の古い順にリスト化するようにしてもよい。データクローリング処理は、後述するように、一定時間の待機した後に繰り返し実行されるため、一度に、対象となる全てのＵＲＬ６１をリスト化する必要はない。

次に、データ配信部７は、クローリング処理部６によって取得されたＵＲＬ６１のリストを、所定の認識機能部に配信する（ステップＳ２０２）。

ここで、認識機能部とは、認識処理を実行する機能部であり、フィルタ部、認識部、辞書部、及び後処理部から構成される。

フィルタ部は、ＵＲＬ６１に基づいて、非構造データ５０が認識対象であるか否かを判定する。

認識部は、ＵＲＬ６１に基づいて、記憶サーバ３１から非構造データ５０を取得し、辞書部が保持する辞書データを用いて、取得された非構造データ５０に対する認識処理を実行する。

後処理部は、認識結果を用いて構造データを生成する。すなわち、後処理部は、構造データを生成する機能部（構造データ生成部）に対応する。具体的には、後処理部は、非構造データ５０の内容を示す認識結果に基づいて、一定の構造を有するデータに変換し、当該データに認識処理固有のＩＤ及び使用された辞書のＩＤを付与することによって構造データを生成する。

本実施例では、認識結果はＸＭＬ形式のデータに変換されるものとするが、本発明はこれに限定されない。少なくとも一定の構造を有するデータ形式に変換できればよい。

具体的には、音声認識処理を行う音声認識機能部は、音声フィルタ部８、音声認識部９、音声認識処理部４３、音声辞書部１８、音声後処理部１０から構成され、また、映像認識処理を行う映像認識機能部は、映像フィルタ部１１、映像認識部１２、映像認識処理部４２、映像辞書部１９、及び映像後処理部１３から構成される。

本実施例では、ＵＲＬ６１を配信するためのメッセージモデルとして、パブリッシュ・サブスクライブモデルを用いる。具体的には、あらかじめ、購読者情報として、メッセージを配信する音声フィルタ部８と映像フィルタ部１１をデータ配信管理部１６に登録しておく。データ配信部７は、データ配信管理部１６に登録される購読者情報に基づいて、ＵＲＬ６１のリストをメッセージとして音声フィルタ部８及び映像フィルタ部１１に配信する。

最後に、クローリング処理部６は、一定時間待機し（ステップＳ２０３）、その後、ステップＳ２０１に戻り、同様の処理を実行する。

前述したデータクローリング処理によって、記憶デバイス３９に格納された非構造データ５０に対応づけられたＵＲＬ６１が、各認識機能部に通知される。また、当該処理によって、記憶サーバ３１に新規の非構造データが格納されるたびに、繰り返し、ＵＲＬ６１を配信することができるようになる。

次に、本実施例におけるデータ認識処理について説明する。

図６は、本発明の実施例１におけるデータ認識処理を説明するフローチャートである。図７は、本発明の実施例１における構造化された認識結果が反映された構造データの一例を示す説明図である。図８及び図９は、本発明の実施例１における構造化された認識結果の一例を示す説明図である。

各認識機能部は、ＵＲＬ６１のリストを受信すると処理を開始する。以下では、音声認識機能部及び映像認識機能部を例に説明する。

音声フィルタ部８及び映像フィルタ部１１は、データ配信部７から送信されたＵＲＬ６１のリストを受信する（ステップＳ３０１）。

前述したデータクローリング処理では、パブリッシュ・サブスクライブモデルを用いてＵＲＬ６１のリストが配信されるため、それぞれのフィルタ部は同一のＵＲＬ６１のリストを受信する。これによって、例えば、動画像データに対し、音声認識処理及び映像認識処理の複数の認識処理を実行することができる。

音声フィルタ部８及び映像フィルタ部１１は、ＵＲＬ６１のリストに含まれるＵＲＬ６１を一つ選択し、選択されたＵＲＬ６１に対して以下の処理を実行する。

次に、音声フィルタ部８及び映像フィルタ部１１は、選択されたＵＲＬ６１に対応する非構造データ５０の種別に基づいて、当該非構造データ５０が認識対象であるか否かを判定する（ステップＳ３０２）。

例えば、音声フィルタ部８及び映像フィルタ部１１は、ＵＲＬ６１の拡張子に基づいて、非構造データ５０のコンテンツ種別（データ種別）を判定することができる。このとき、音声フィルタ部８は、ＵＲＬ６１の末尾が「．ｗａｖ」又は「．ｍｐｇ」である非構造データ５０を認識対象として判定し、映像フィルタ部１１は、ＵＲＬの末尾が「．ｍｐｇ」である非構造データ５０を認識対象として判定する。

また、他の方法として、音声フィルタ部８及び映像フィルタ部１１は、ＵＲＬ６１に基づくデータ参照処理を実行することによって非構造データ５０のコンテンツ種別を取得し、取得された非構造データ５０の内容に基づいて、非構造データ５０が認識対象であるか否かを判定する。

また、他の方法としては、音声フィルタ部８及び映像フィルタ部１１は、ＵＲＬ６１に基づくデータ参照処理を実行することによって非構造データ５０を取得し、取得された非構造データ５０の解析結果に基づいて、非構造データ５０が認識対象であるか否かを判定する。なお、取得された非構造データ５０の解析方法としては、取得された非構造データ５０の先頭部等を解析して、当該非構造データ５０のコンテンツ種別を判定する方法が考えられる。

ステップＳ３０２において、ＵＲＬ６１に対応する非構造データ５０が認識対象でないと判定された場合、認識機能部は、処理を終了する。

ステップＳ３０２において、ＵＲＬ６１に対応する非構造データ５０が認識対象であると判定された場合、音声フィルタ部８及び映像フィルタ部１１は、ＵＲＬ６１に対応する非構造データ５０を取得する（ステップＳ３０３）。これは、前述した構造データ参照処理によって実現できる。

次に、音声フィルタ部８及び映像フィルタ部１１は、取得された非構造データ５０の内容を解析して、当該非構造データ５０が認識済みであるか否かを判定する（ステップＳ３０４）。

ここで、図７を用いて認識済みであるか否かを判定する方法の一例について説明する。図７は、図４に示す構造データに対して、後述する構造データ関連づけ処理が実行された後の構造データを示す。図４と図７とを比較すると、ｍｅｔａｉｎｆｏというタグが付与されていることが分かる。本実施例では、ｍｅｔａｉｎｆｏタグの部分に構造化された認識結果が追加される。

認識済みであるか否かを判定する最も簡単な方法としては、フィルタ部は、前述のタグを検出する方法が考えられる。しかし、前述のタグは、別の認識処理によって付与されたものである可能性があるため、正しい判定を行うには不十分である。

そこで、本実施例では、ｍｅｔａｉｎｆｏタグの中にあるｐｒｏｃｅｓｓｏｒ＿ｕｒｌタグに認識処理固有のＩＤを付与する。これによって、フィルタ部は、当該ＩＤに基づいて、認識済みであるか否かを判定する方法が考えられる。すなわち、フィルタ部は、構造データ５１に対応する認識処理固有のＩＤが含まれる場合、非構造データ５０が認識済みであると判定する。

また、他の方法としては、ｍｅｔａｉｎｆｏタグの内部のｐｒｏｃｅｓｓｅｄタグに認識処理が完了した時刻を付与する方法が考えられる。これによって、例えば、認識機能部の更新に伴って、再度、認識処理が実行されると、フィルタ部は、認識処理の完了時刻が認識機能部の更新時刻より以前の場合にのみ、非構造データ５０が認識対象であると判定する。

ステップＳ３０４において、非構造データ５０が認識済みであると判定された場合、認識機能部は、処理を終了する。

ステップＳ３０４において、非構造データ５０が認識済みでないと判定された場合、音声認識部９及び映像認識部１２は、ＵＲＬ６１に対応する非構造データ５０に対して認識処理を実行する（ステップＳ３０５）。

具体的には、音声認識部９は、音声認識処理部４３及び音声辞書部１８と連携して、非構造データ５０に対して音声認識処理を実行する。また、映像認識部１２は、映像認識処理部４２及び映像辞書部１９と連携して、非構造データ５０に対する映像認識処理を実行する。

ここで、音声認識処理では、音声データを受け付け、音声データの中に含まれる単語、当該単語の開始時刻及び終了時刻などが認識結果として出力される。また、映像認識処理では、映像データを受け付け、映像データの中に含まれる人物の名前、当該人物の出現時刻及び出現位置などが認識結果として出力される。

ここでは、一例として音声認識処理及び映像認識処理を取り上げたが、本発明は、文書、画像、音声、又は加速度センサ等から取得された非構造データを認識するための各種処理を適用することができる。

本実施例では、前述したように、管理サーバ３２の映像認識部１２と、映像サーバ３３の映像認識処理部４２とが連携して映像認識処理を実行し、管理サーバ３２の音声認識部９と、音声サーバ３４の音声認識処理部４３とが連携して音声認識処理を実行する。

一般に、映像認識処理及び音声認識処理は、メッセージ転送等の処理より処理時間が長いため、別のサーバが認識処理を実行することによってシステム全体の処理性能を落とさないようにするために、前述したようなシステム構成となっている。なお、管理サーバ３２自身が認識処理を実行するシステム構成であってもよい。

前述したシステム構成では、管理サーバ３２の音声認識部９は、データ参照処理を実行してＵＲＬ６１に対応する非構造データ５０を取得し、取得された非構造データ５０を音声サーバ３４に送信する。次に、音声サーバ３４上の音声認識処理部４３は、音声辞書部１８を用いて認識結果を生成し、生成された認識結果を管理サーバ３２に返す。管理サーバ３２の音声認識部９は、その認識結果を受信する。同様に、映像認識部１２も映像サーバ３３と連携し、映像認識処理部４２が映像辞書部１９を用いて認識結果を生成する。

次に、音声後処理部１０及び映像後処理部１３は、確認式処理の認識結果に対して、後処理を実行する（ステップＳ３０６）。

具体的には、音声後処理部１０と映像後処理部１３は、構造化された認識結果、認識処理固有のＩＤ、及び認識処理に用いられる辞書固有のＩＤを含む構造データを生成する。また、音声後処理部１０と映像後処理部１３は、構造データに、認識処理完了時刻を含めることもできる。

本実施例では、認識処理固有のＩＤとして認識処理を実行するサーバのＵＲＬを用いる。ここでは、音声サーバ３４のＵＲＬを「ｈｔｔｐ：／／ｓｏｕｎｄ．ｈｉｔａｃｈｉ．ｃｏｍ／」、映像サーバ３３のＵＲＬを「ｈｔｔｐ：／／ｖｉｄｅｏ．ｈｉｔａｃｈｉ．ｃｏｍ／」とする。また、認識処理固有のＩＤには、認識処理に用いられる辞書固有のＩＤを含めることもできる。認識処理に用いられる辞書もＵＲＬによって指定するようにシステムを構成した場合、音声辞書部１８が保持する辞書のＩＤである「ｔｖｎｅｗｓ」を含む認識処理固有のＩＤは、「ｈｔｔｐ：／／ｓｏｕｎｄ．ｈｉｔａｃｈｉ．ｃｏｍ／ｔｖｎｅｗｓ」のように決定される。

後述するように、元の構造データ５１に、生成された構造データが反映されることによって、ステップＳ３０４において、認識済みの非構造データ５０であるか否かを判定することができる。

また、各認識処理部から出力される認識結果は任意の形式でよいが、各認識後処理部は、後述の構造データ関連づけ処理部１５の構成を単純にするために、統一されたＸＭＬ形式の構造化データを生成する。音声後処理部１０が生成するＸＭＬ形式の構造データの一例を図８に示す。また、映像後処理部１３が生成するＸＭＬ形式の構造データの一例を図９に示す。

次に、音声後処理部１０及び映像後処理部１３は、認識結果受信部１４に、構造データを送信する（ステップＳ３０７）。

ここでは、複数の認識機能部から構造データを受信することができるようにするために、認識結果受信部１４はキューを備えるものとする。この場合、音声後処理部１０及び映像後処理部１３は、それぞれ、構造データが含まれるメッセージを、当該キューに送信する。また、当該キューに送信されるメッセージのヘッダには、認識処理において認識対象とされた非構造データ５０に対応するＵＲＬ６１が付与される。

前述のデータ認識処理によって、記憶サーバ３１に格納された非構造データ５０の認識結果を含む構造データが、認識結果受信部１４のキューに蓄積される。

また、本実施例では、複数の認識機能部の各々が、フィルタ部を備えることによって、必要な認識処理のみが実行される。

次に、本実施例における構造データ関連づけ処理を説明する。

図１０は、本発明の実施例１における構造データ関連づけ処理を説明するフローチャートである。図１１は、本発明の実施例１における複数の構造化された認識結果が反映された構造データの一例を示す説明図である。

まず、認識結果受信部１４は、キューに蓄積された構造データを取得する（ステップＳ４０１）。ここでは、音声データの認識結果を含む構造データが映像データの認識結果を含む構造データよりも早く受信された場合を想定する。この場合、図９のようなＸＭＬ形式の構造データがキューから取得される。

次に、構造データ関連づけ処理部１５は、構造データ参照処理を実行することによって、認識対象の非構造データ５０に対応するＵＲＬ６１を特定し、特定されたＵＲＬ６１に対応する構造データ５１を記憶サーバ３１から取得する（ステップＳ４０２）。ここでは、図５に示すような、認識結果が含まない構造データ５１が取得される。

次に、構造データ関連づけ処理部１５は、記憶サーバ３１から取得された構造データ５１と、取得された構造データとを統合する（ステップＳ４０３）。

具体的には、構造データ関連づけ処理部１５は、記憶サーバ３１から取得された構造データ５１の内部に、受信した構造データを埋め込むことによって、図７のような一つのＸＭＬ形式の構造データを生成する。図７の点線の枠で示した部分が埋め込まれた音声データの認識結果である。

ここで、受信した構造データを埋め込む方法としては、構造データ関連づけ処理部１５は、記憶サーバ３１から取得された構造データ５１を解析することによって、受信した構造データを埋め込む位置を特定する。例えば、所定のタグをキーとして、受信したデータを埋め込む位置を特定する方法が考えられる。なお、前述した方法は一例であって、本発明はこれに限定されない。

次に、構造データ関連づけ処理部１５は、記憶サーバ３１の記憶部３に、生成された構造データを送信し（ステップＳ４０４）、処理を終了する。

このとき、記憶部３は、受信した構造データを、新たな構造データとして、既存の構造データ５１に上書きする。

前述の構造データ関連づけ処理によって、非構造データ５０に対する認識処理の認識結果が、ＵＲＬ６１に対応づけられた構造データ５１として格納される。また、認識機能部から認識結果を受信するたびに、当該処理が繰り返し実行されるため、複数の認識結果を一つの構造データ５１に含めることが可能となる。

ここで、音声データの認識結果を受信した後に、映像データの認識結果が受信された場合には以下のような処理が実行される。

ステップＳ４０１において、構造データ関連づけ処理部１５は、図１０に示すようなＸＭＬ形式の構造データをキューから取得する。

ステップＳ４０２において、構造データ関連づけ処理部１５は、記憶サーバ３１から図８に示すような音声データの認識結果を含む構造データ５１を取得する。

ステップＳ４０３において、構造データ関連づけ処理部１５は、既存の構造データと、取得された構造データとを統合することによって、図１１に示すようなＸＭＬ形式の構造データを生成する。図１１の点線の枠で示した部分が埋め込まれた映像データの認識結果である。

ステップＳ４０４において、構造データ関連づけ処理部１５は、映像データの認識結果が埋め込まれた構造データを記憶サーバ３１に送信する。このとき、記憶サーバ３１は、受信した構造データを、既存の構造データ５１に上書きする。

前述のように、構造データ関連づけ処理が繰り返し実行されることによって、複数の認識結果が構造データ５１に統合される。

次に、本実施例における認識機能登録処理について説明する。

図１２は、本発明の実施例１における認識機能登録処理を説明するフローチャートである。

認識機能登録部１７は、追加される認識機能部を受信する（ステップＳ５０１）。具体的には、認識機能登録部１７は、所定の認識部を実現するためのプログラムを受信する。

ここで、認識機能部は、前述の音声認識機能部及び映像認識機能部と同様の構成によって実現される。すなわち、認識機能部は、フィルタ部、認識処理部、辞書部、及び後処理部から構成される。

次に、認識機能登録部１７は、受信したプログラムを管理サーバ３２のメモリ３６に格納することによって、認識処理部を追加する（ステップＳ５０２）。

次に、認識機能登録部１７は、受信したプログラムの識別情報を、データ配信管理部１６に通知し、当該プログラムによって実現される認識機能処理部をデータ配信部７から配信されるメッセージの購読者として登録し（ステップＳ５０３）、処理を終了する。

以上の処理によって、認識機能登録部１７は、任意の認識機能部を計算機システムに追加することができる。このとき、データ配信部７のメッセージ処理に、パブリッシュ・サブスクライブモデルを用いることによって、既存の認識処理部の処理には影響を与えないことを保証できる。

なお、データ認識処理では、後処理部が、構造データを生成しているが、本発明はこれに限定されない。例えば、以下のような変形例も考えられる。

ステップＳ３０６において、後処理部は、認識部から受信した認識結果から、構造化された認識結果を生成し、構造化された認識結果を含むメッセージを認識結果受信部１４に送信する。このとき、メッセージのヘッダには、ＵＲＬ６１、認識処理固有のＩＤ、辞書固有のＩＤ、及び認識処理完了時刻が付加される。この場合、認識結果受信部１４又は構造データ関連づけ処理部１５が、受信したメッセージから構造データを生成する。

なお、構造データ関連づけ処理では、キューに構造データが格納されるたびに、構造データ関連づけ処理部１５が、当該構造データと既存の構造データ５１とを統合していたが、本発明はこれに限定されない。例えば、予め、対象となる複数の認識機能部を登録しておき、全ての認識機能部から構造データを受信した場合に、構造データ関連づけ処理が開始されるようにしてもよい。この場合、構造データ関連づけ処理部１５は、一度に、複数の構造データと、既存の構造データ５１とを統合する。

実施例１によれば、記憶サーバ３１は、受信した非構造データを格納し、さらに、非構造データの内容を示す認識結果を、認識処理固有の情報及び辞書の情報と対応づけた上で、非構造データに付随する構造データとして格納する。これによって、非構造データに対する認識結果は、非構造データを参照するときに用いられると同一のＵＲＬと対応づけられた構造データとして管理することができる。

したがって、ＵＲＬを用いた記憶サーバ３１へのアクセス処理のみによって、認識結果を格納するデータベース機能、及び認識処理の完了を判定する機能を実現できる。

さらに、複数の認識機能部を連動させる場合に、認識結果の格納場所、及び複数の認識機能部間の対応関係の設計が不要となる。また、複数の認識機能部が同時に処理を実行するための計算機システムの処理性能を、各認識機能部の性能に応じて容易に制御できる。

さらに、非構造データを移動又は複製させる場合に、不必要な認識処理の実行を避けることができ、また、認識機能部を追加又は更新する場合にも、不必要な認識処理の実行を避けることができる。

さらに、複数の認識機能部を連動させる場合に、一つの非構造データに対し、複数の認識機能部から出力された認識結果を一つのＸＭＬ形式の構造データとして統合できる。

実施例１では、計算機システム全体として非構造データの記憶処理を実現していたが、実施例２では、一つの装置を用いて非構造データの記憶処理を実現する点が異なる。以下、実施例１との差異を中心に実施例２について説明する。

図１３は、本発明の実施例２における非構造データ記憶装置１の構成を説明するブロック図である。

非構造データ記憶装置１のハードゥエア構成は、記憶サーバ３１又は管理サーバ３２等と同一であり、ＣＰＵ（図示省略）、メモリ（図示省略）、通信装置（図示省略）、及び記憶デバイス（図示省略）を有する。

また、非構造データ記憶装置１は、データ受付部２、記憶部３、データ参照部４、構造データ参照部５、クローリング処理部６、データ配信部７、音声フィルタ部８、音声認識部９、音声後処理部１０、映像フィルタ部１１、映像認識部１２、映像後処理部１３、認識結果受信部１４、構造データ関連づけ処理部１５、データ配信管理部１６、認識機能登録部１７、音声辞書部１８、及び映像辞書部１９を備える。

ここで、映像認識部１２は、管理サーバ３２の映像認識部１２及び映像サーバ３３の映像認識処理部４２によって実現される機能を有する。同様に、音声認識部９は、管理サーバ３２の音声認識部９及び音声サーバ３４の音声認識処理部４３によって実現される機能を有する。

その他の構成は、実施例１と同一であるため説明を省略する。

非構造データ記憶装置１は、ユーザに対して、データ受付部２、データ参照部４、構造データ参照部５、及び認識機能登録部１７を操作するためのユーザインタフェースを提供する。

データ受付部２は、ユーザから非構造データを受け付けると、記憶部３と連携して、データ格納処理を実行する。また、データ参照部４は、ユーザから、ＵＲＬを含む非構造データの参照要求を受け付けると、データ参照処理を実行する。構造データ参照部５は、ユーザから、ＵＲＬを含む構造データの参照要求を受け付けると、構造データ参照処理を実行する。

また、クローリング処理部６及びデータ配信部７は、周期的又はユーザからの支持を受け付けると、データクローリング処理を実行する。具体的には、クローリング処理部６は、ＵＲＬのリストを生成し、データ配信部７に生成されたＵＲＬのリストを入力する。データ配信部７は、データ配信管理部１６に格納される購読者情報に基づいて、所定の認識機能部を構成するフィルタ部にＵＲＬのリストを入力する。図１３に示す例では、音声フィルタ部８又は映像フィルタ部１１の少なくともいずれかに、ＵＲＬのリストが入力される。これによって、データ認識処理が開始される。

音声フィルタ部８及び映像フィルタ部１１は、ＵＲＬに対応する非構造データ５０が認識対象であるか否かを判定し、また、当該非構造データ５０に対する認識処理が実行済みであるか否かを判定する。音声フィルタ部８及び映像フィルタ部１１は、前述の判定結果に基づいて、音声認識部９及び映像認識部１２に処理の実行を要求する。

音声認識部９は、音声辞書部１８と連携して、非構造データ５０に対する音声データの認識処理を実行し、認識結果を音声後処理部１０に入力する。また、映像認識部１２は、映像辞書部１９と連携して、非構造データ５０に対する映像データの認識処理を実行し、認識結果を映像後処理部１３に入力する。

音声後処理部１０は、認識結果、音声データの認識処理固有のＩＤ、及び処理の完了時刻を含む構造データを生成し、認識結果受信部１４に構造データを入力する。また、映像後処理部１３は、認識結果、映像データの認識処理固有のＩＤ、及び処理の完了時刻を含む構造データを生成し、認識結果受信部１４に構造データを入力する。

認識結果受信部１４は、構造データが入力されると、構造データ関連づけ処理部１５と連携して、構造データ関連づけ処理を実行する。このとき、構造データ関連づけ処理部１５は、入力された構造データが統合された新たな構造データを記憶部３に入力する。記憶部３は、入力された構造データを、既存の構造データ５１に上書きすることによって更新する。

認識機能登録部１７は、認識機能登録処理を実行することによって、非構造データ記憶装置１に新たな認識機能部を追加し、当該認識機能部へＵＲＬを配信するための購読者情報をデータ配信管理部１６に登録する。

なお、各処理の具体的な内容は実施例１と同一であるため説明を省略する。

なお、本発明において説明した計算機等の構成、処理部及び処理手段等は、それらの一部又は全部を、専用のハードウェアによって実現してもよい。また、本実施例で例示した種々のソフトウェアは、電磁的、電子的及び光学式等の種々の記録媒体（例えば、非一時的な記憶媒体）に格納可能であり、インターネット等の通信網を通じて、コンピュータにダウンロード可能である。

また、本発明は前述した実施形態に限定されるものではなく、様々な変形例が含まれる。本実施例では、非構造データを格納する計算機システムを想定したが、例えば、携帯機器に管理サーバ３２及び記憶サーバ３１の機能を備え、認識サーバをクラウド上に置くようにした携帯情報管理システムなど、様々な構成の装置、システムに適用することができる。

Claims (9)

1. 一定のデータ構造を有さない非構造データ及び一定のデータ構造を有する構造データを管理する計算機であって、
   前記計算機は、プロセッサ、前記プロセッサに接続されるメモリ、前記プロセッサに接続される記憶デバイス、及び前記プロセッサに接続されるＩ／Ｏインタフェースを備え、
   前記非構造データに対して、所定の辞書を用いて所定のデータ種別の認識処理を実行する少なくとも一つの認識部と、
   前記計算機が管理する前記構造データと統合可能なデータ構造であり、かつ、前記認識部が実行する認識処理の結果、前記認識部の識別情報、及び前記認識部が使用した辞書の識別情報を含む構造データを生成する複数の構造データ生成部と、
   前記非構造データに関連する前記構造データと、前記複数の構造データ生成部によって生成された前記構造データとを統合することによって、新たな構造データを生成する構造データ関連づけ処理部と、を備え、
   前記複数の構造データ生成部は、第１の構造データを生成する第１の構造データ生成部、及び第２の構造データを生成する第２の構造データ生成部を含み、
   前記構造データ関連づけ処理部は、
   前記第１の構造データ生成部から前記第１の構造データが入力された場合に、前記非構造データに関連する第３の構造データを取得し、
   前記取得された第３の構造データと、前記入力された第１の構造データとを統合することによって、第４の構造データを生成し、
   前記第４の構造データが格納された後に、前記第２の構造データ生成部から前記第２の構造データが入力された場合に、前記第４の構造データを取得し、
   前記取得された第４の構造データと、前記入力された第２の構造データとを統合することによって、第５の構造データを生成することを特徴とする計算機。
2. 請求項１に記載の計算機であって、
   認識処理の対象となるデータの種別に応じて、前記認識部は複数設けられ、
   前記計算機は、
   前記非構造データに関連する前記構造データを参照して、前記非構造データが所定のデータ種別の認識処理の対象であるか否かを判定する複数のフィルタ部を備え、
   前記複数のフィルタ部は、
   前記複数の認識部のいずれかに対応づけられ、
   前記構造データを参照して、前記非構造データが、前記対応づけられる認識部が対象とする所定のデータ種別を有するデータであるか否かを判定し、
   前記構造データを参照して、前記対応づけられる認識部が前記非構造データに対する認識処理を完了したか否かを判定することを特徴とする計算機。
3. 請求項２に記載の計算機であって、
   前記計算機は、
   前記複数の認識部のうち、処理対象となる前記非構造データを入力する前記少なくとも一つの認識部に関する入力情報を管理するデータ入力管理部と、
   前記入力情報を参照して、前記処理対象となる非構造データを入力する前記少なくとも一つの認識部を特定し、前記特定された認識部に、前記処理対象となる非構造データを入力するデータ入力部と、
   を備えることを特徴とする計算機。
4. 請求項１に記載の計算機であって、
   前記非構造データと、前記非構造データに関連する構造データとを対応づけて管理する記憶部を備え、
   前記記憶部は、前記構造データ関連づけ処理部が入力した新たな構造データを、前記非構造データと対応づけて格納することを特徴とする計算機。
5. 複数の計算機を備える計算機システムであって、
   前記複数の計算機の各々は、プロセッサ、前記プロセッサに接続されるメモリ、前記プロセッサに接続される記憶デバイス、及び前記プロセッサに接続されるＩ／Ｏインタフェースを備え、
   前記複数の計算機は、一定のデータ構造を有さない非構造データ及び一定のデータ構造を有する構造データを管理するストレージサーバと、前記非構造データに対する所定の処理の結果を含む構造データを生成する管理サーバとを含み、
   前記管理サーバは、
   前記非構造データに対して、所定の辞書を用いて所定のデータ種別の認識処理を実行する少なくとも一つの認識部と、
   前記ストレージサーバが管理する前記構造データと統合可能なデータ構造であり、かつ、前記認識部が実行する認識処理の結果、前記認識部の識別情報、及び前記認識部が使用した辞書の識別情報を含む構造データを生成する複数の構造データ生成部と、
   前記非構造データに関連する前記構造データと、前記複数の構造データ生成部によって生成された前記構造データとを統合することによって、新たな構造データを生成する構造データ関連づけ処理部と、を有し、
   前記複数の構造データ生成部は、第１の構造データを生成する第１の構造データ生成部、及び第２の構造データを生成する第２の構造データ生成部を含み、
   前記構造データ関連づけ処理部は、
   前記第１の構造データ生成部から前記第１の構造データが入力された場合に、前記非構造データに関連する第３の構造データを取得し、
   前記取得された第３の構造データと、前記入力された第１の構造データとを統合することによって、第４の構造データを生成し、
   前記第４の構造データが格納された後に、前記第２の構造データ生成部から前記第２の構造データが入力された場合に、前記第４の構造データを取得し、
   前記取得された第４の構造データと、前記入力された第２の構造データとを統合することによって、第５の構造データを生成することを特徴とする計算機システム。
6. 請求項５に記載の計算機システムであって、
   認識処理の対象となるデータの種別に応じて、前記認識部は複数設けられ、
   前記管理サーバは、前記非構造データに関連する前記構造データを参照して、前記非構造データが所定のデータ種別の認識処理の対象であるか否かを判定する複数のフィルタ部を有し、
   前記複数のフィルタ部は、
   前記複数の認識部のいずれかに対応づけられ、
   前記構造データを参照して、前記非構造データが、前記対応づけられる認識部が対象とする所定のデータ種別を有するデータであるか否かを判定し、
   前記構造データを参照して、前記対応づけられる認識部が前記非構造データに対する認識処理を完了したか否かを判定することを特徴とする計算機システム。
7. 請求項６に記載の計算機システムであって、
   前記管理サーバは、
   処理対象となる前記非構造データが入力される少なくとも一つの前記認識部に関する入力情報を管理するデータ入力管理部と、
   前記入力情報を参照して、前記処理対象となる非構造データを入力する少なくとも一つの認識部を特定し、前記特定された認識部に、前記処理対象となる非構造データを入力するデータ入力部と、を有することを特徴とする計算機システム。
8. 請求項５に記載の計算機システムであって、
   前記ストレージサーバは、前記非構造データと、前記非構造データに関連する構造データとを対応づけて管理する記憶部を有し、
   前記記憶部は、前記構造データ関連づけ処理部から前記新たな構造データが入力された場合に、前記新たな構造データを前記非構造データと対応づけて格納することを特徴とする計算機システム。
9. 一定のデータ構造を有さない非構造データ及び一定のデータ構造を有する構造データを管理する計算機におけるデータ管理方法であって、
   前記計算機は、プロセッサ、前記プロセッサに接続されるメモリ、前記プロセッサに接続される記憶デバイス、及び前記プロセッサに接続されるＩ／Ｏインタフェースを備え、
   前記方法は、
   前記プロセッサが、前記非構造データに対して、データ種別毎に、所定の辞書を用いた複数の認識処理を実行する第１のステップと、
   前記プロセッサが、前記複数の認識処理毎に、前記計算機が管理する前記構造データと統合可能なデータ構造であり、かつ、前記認識処理の結果、前記認識処理の識別情報、及び前記認識処理において用いられた辞書の識別情報を含む構造データを生成する第２のステップと、
   前記プロセッサが、前記非構造データに関連する前記構造データと、前記複数の認識処理に基づいて生成された前記構造データとを統合することによって、新たな構造データを生成する第３のステップと、
   前記プロセッサが、前記非構造データと、前記新たな構造データとを対応づけて格納する第４のステップと、を含み、
   前記複数の認識処理は、第１の認識処理、及び第２の認識処理を含み、
   前記第３のステップは、
   前記プロセッサが、前記第１の認識処理に基づいて生成された第１の構造データが入力された場合に、前記非構造データに関連する第３の構造データを取得するステップと、
   前記プロセッサが、前記取得された第３の構造データと、前記入力された第１の構造データとを統合することによって、第４の構造データを生成するステップと、
   前記プロセッサが、前記第４の構造データが格納された後に、前記第２の認識処理に基づいて生成された第２の構造データが入力された場合に、前記第４の構造データを取得するステップと、
   前記プロセッサが、前記取得された第４の構造データと、前記入力された第２の構造データとを統合することによって、第５の構造データを生成するステップと、を含むことを特徴とするデータ管理方法。

Images