JP6227418B2 - 画像認識装置、及び画像認識方法 - Google Patents

Description

本発明は、画像認識装置、及び画像認識方法に関する。

ジェスチャを判断する情報処理装置として、特許文献１に記載のような技術がある。特許文献１に記載の装置は、複数のジェスチャを、それぞれのジェスチャが描くパターンの開始位置から終了位置へのベクトルが類似するジェスチャ毎に分類してグループ化して管理し、ユーザがジェスチャを開始した開始座標が、いずれのグループの入力開始領域に含まれるかによって、入力領域に対して行われたジェスチャを特定するために検索を行う対象を限定するものである。

特開２０１３−９７６１０号公報

特許文献１に記載の装置は、類似するジェスチャのデータをグループ化しておくことにより、多数のジェスチャから、ユーザが任意の位置で開始したジェスチャを認識するのにかかる処理負荷を軽減するものである。ところで、同一又は類似するジェスチャは、使用する場面によっては異なる意味を有することがある。この場合、同一又は類似するジェスチャは、複数の意味を有することになる。この結果、ジェスチャの意味を管理するデータベースのデータ量が増えることにより、ジェスチャの意味を検索する処理の負荷が増大することになる。

本発明は、このような問題点を解決するためになされたものであり、ジェスチャの意味を検索する検索処理負荷を軽減し得る画像認識装置、画像認識方法を提供することを目的とする。

本発明に係る画像認識装置は、利用者の状況情報を取得する状況情報取得手段と、動作情報と、当該動作情報の意味とを対応付ける、複数の状況情報毎に規定された翻訳データベースの内、状況情報取得手段が取得した利用者の状況情報に対応する翻訳データベースを取得するデータベース管理手段と、撮影対象を画像データにして取得する画像取得手段と、データベース管理手段が取得した翻訳データベースを利用して、画像取得手段により取得された画像データに含まれる撮影対象の動作に対して翻訳を行う画像翻訳手段と、画像翻訳手段により翻訳された撮影対象の動作の翻訳結果を出力する結果出力手段と、を備える。

また、本発明に係る画像認識方法は、利用者の状況情報を取得する状況情報取得ステップと、動作情報と、当該動作情報の意味とを対応付ける、複数の状況情報毎に規定された翻訳データベースの内、状況情報取得ステップで取得した利用者の状況情報に対応する翻訳データベースを取得するデータベース管理ステップと、撮影対象を画像データにして取得する画像取得ステップと、データベース管理ステップで取得した翻訳データベースを利用して、画像取得ステップにより取得された画像データに含まれる撮影対象の動作に対して翻訳を行う画像翻訳ステップと、画像翻訳ステップにより翻訳された撮影対象の動作の翻訳結果を出力する結果出力ステップと、を備える。

このような画像認識装置、及び画像認識方法によれば、状況情報を取得した後に、動作情報と、当該動作情報の意味とを対応付ける、複数の状況情報毎に規定された翻訳データベースの内、状況情報取得ステップで取得した利用者の状況情報に対応する翻訳データベースを取得して、取得した翻訳データベースを用いて、撮影対象の動作の翻訳を行う。このように、画像認識装置、及び画像認識方法によれば、取得した状況情報に対応する翻訳データベースを取得して、取得した翻訳データベースを用いて、ジェスチャの意味を翻訳する。この場合、ジェスチャの意味を翻訳する際、不要なデータベースまで検索することがないので、ジェスチャの意味を検索する検索処理負荷を軽減させることができる。

本発明に係る画像認識装置では、利用者状況情報取得手段は、位置情報、音声情報、及び時刻情報の何れか少なくとも一つを状況情報として取得する、こととしてもよい。この構成によれば、位置情報、音声情報、及び時刻情報という、利用者の状況の変化を反映する情報を取得するので、利用者の状況に応じたデータベースを取得することができる。

本発明に係る画像認識装置では、データベース管理手段が取得した翻訳データベースを保持する翻訳データベース保持手段をさらに備え、状況情報取得手段は、状況情報を複数回取得し、データベース管理手段は、状況情報取得手段により取得された、最新の状況情報に対応しない翻訳データベースを保持している場合、当該翻訳データベースを、画像翻訳手段が翻訳する際に利用するデータベースから除外し、画像翻訳手段は、データベース管理手段により除外されていない翻訳データベースを利用して翻訳を行うこととしてもよい。この構成によれば、状況情報取得手段により取得された、最新の状況情報に対応しない翻訳データベースを利用対象から除外することにより、ジェスチャの意味を翻訳する時に、除外した翻訳データベースを用いることなく検索するので検索処理の負荷を軽減することができる。

本発明に係る画像認識装置では、データベース管理手段が取得した翻訳データベースを保持する翻訳データベース保持手段をさらに備え、データベース管理手段は、取得済みの翻訳データベースの内、画像翻訳手段による翻訳時の利用頻度が低い翻訳データベースを削除する、こととしてもよい。この構成によれば、利用可能性が低い翻訳データベースを削除するので、検索処理負荷を軽減するだけでなく、画像認識装置の記憶領域を有効活用することもできる。

本発明に係る画像認識装置では、利用対象となる翻訳データベースを示すデータベースリストを保持するデータベースリスト保持手段をさらに備え、データベース管理手段は、状況情報取得手段により取得された状況情報に対応する翻訳データベースの識別情報を、データベースリスト保持手段が保持するデータベースリストへ登録し、所定のタイミングでデータベースリストに登録されている翻訳データベースの識別情報の内、画像認識装置が保持していない翻訳データベースを外部装置から取得する、こととしてもよい。この構成によれば、データベースリストで状況情報に対応するデータベースの識別子を定義しておくことになる。よって、画像認識装置は、状況情報を取得する度に外部の装置へ翻訳データベースを取得することがないので、外部装置との通信負荷を軽減させることができる。

本発明に係る画像認識装置では、翻訳データベースを予め保持し、データベース管理手段は、予め保持している翻訳データベースの内、状況情報取得手段が取得した利用者の状況情報に対応する翻訳データベースを取得する、こととしてもよい。

本発明によれば、ジェスチャの意味を検索する検索処理負荷を軽減することができる。

本実施形態に係る情報システムの機能構成を示す図である。 本実施形態に係る端末のハードウェア構成を示す図である。 本実施形態に係るデータベースの構成及びデータ例を示す図である。 本実施形態に係るデータベースリストの構成及びデータ例を示す図である。 状況情報に対応するデータベースを取得する説明図である。 利用データベースリストの編集処理を示すフローチャートである。 利用データベースを更新する処理を示すフローチャートである。

以下、図面を参照しながら、本発明に係る実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

（情報処理システムの構成）
図１に本実施形態に係る情報処理システムを示す。本実施形態に係る情報処理システムは、端末１０（画像認識装置）とＤＢ（Database）管理サーバ３０（外部装置）とを有する。端末１０と、ＤＢ管理サーバ３０とは、有線あるいは無線によって接続されており、互いに情報の送受信を行うことができる。本実施形態に係る情報処理システムでは、端末１０が、その周囲状況（例えば、位置、音声、時刻等）を特定し、特定した状況で端末１０の利用者が行う可能性の高いジェスチャを解釈するために必要となるデータベースを保持していない場合に、ＤＢ管理サーバ３０へ当該データベースの取得要求をする。そして、端末１０は、当該データベースを取得し、当該データベースを保持する。そして、端末１０は、ジェスチャを翻訳するアプリケーション（ジェスチャ翻訳アプリケーション）を有し、当該アプリケーションを起動すると、保持しているデータベースを用いてジェスチャの意味を翻訳する。

端末１０は、例えば、携帯電話機やスマートフォンであるが、これに限るものではなく、パソコンや、そのほかタブレット端末などであってもよい。端末１０は、ジェスチャ入力部１１（画像取得手段）と、文章変換部１２（画像翻訳手段）と、変換結果出力部１３（結果出力手段）と、状況情報取得部１４（利用者状況情報取得手段）と、データベース管理部１５（データベース管理手段）と、通信制御部１６と、記憶部１７（データベースリスト保持手段、翻訳データベース保持手段）とを含んで構成されている。

ここで、端末１０のハードウェア構成を図２に示す。端末１０は、図２に示すように、１又は複数のＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、入力デバイスであるキーボード及びマウス等の入力装置１０４、ディスプレイ等の出力装置１０５、ネットワークカード等のデータ送受信デバイスである通信モジュール１０６、半導体メモリ等の補助記憶装置１０７などを含むコンピュータシステムとして構成されている。端末１０は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで入力装置１０４、出力装置１０５、通信モジュール１０６を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０７におけるデータの読み出し及び書き込みを行うことで実現される。

図１に戻り、ジェスチャ入力部１１は、手話者などの撮影対象者の動作を画像として取得する部分であり、例えばカメラである。

文章変換部１２は、ジェスチャ入力部１１により取得された撮影対象者の動作に基づいて、ジェスチャの意味を示す文章へ翻訳する部分である。具体的には、文章変換部１２は、ジェスチャ翻訳アプリケーションであり、複数の画像から撮影対象者の指、腕、または上体の動きを判別し、記憶部１７のデータベースを検索して判別した動きに対応する文章に翻訳する。

変換結果出力部１３は、文章変換部１２が翻訳した内容を出力する部分であり、例えば、ディスプレイである。

状況情報取得部１４は、端末１０の利用者の状況情報を取得する部分である。状況情報取得部１４は、端末１０の利用者の状況情報として、利用者による音声情報、端末１０の位置情報、時刻情報等を取得する。状況情報取得部１４は、具体的には、音声情報を取得する手段としては、マイク、位置情報を取得する手段としては、ＧＰＳ（Global Positioning System）、時刻情報を取得する手段としては、時計機能等である。

データベース管理部１５は、端末１０が保持するデータベースを管理する部分である。具体的に、データベース管理部１５は、端末１０が保持する状況情報とその状況情報に即したデータベースとを対応付けた情報を用いて、状況情報取得部１４が取得した状況情報に基づいて必要とするデータベースを特定する。

また、データベース管理部１５は、状況情報取得部１４が取得した状況情報に基づいて、利用データベースリスト２１を管理する。データベース管理部１５は、利用データベースリスト２１の管理として、状況情報に対応するデータベースの識別子の登録と、利用データベースリスト２１に登録済みのデータベースの識別子の除外を行う。

具体的に、状況情報に対応するデータベースの識別子の登録する場合には、データベース管理部１５は、状況情報に基づいて必要とするデータベース（即ち、利用対象となるデータベース）のデータベースＩＤを利用データベースリスト２１へ登録する。文章変換部１２は、利用データベースリスト２１を参照して、利用データベースリスト２１に登録されているデータベースを検索することにより動作の翻訳をする。

そして、利用データベースリスト２１に登録済みのデータベースの識別子の除外を行う場合には、利用データベースリスト２１に最新の状況情報に対応しないデータベースの識別子が登録されているとき、最新の状況情報に対応しないデータベースの識別子を利用データベースリスト２１から削除する。例えば、状況情報取得部１４が取得した位置情報が北海道を示す場合に、沖縄の方言に関するデータベースを保持しているとすると、使用する可能性が薄いので、沖縄の方言に関するデータベースを使用候補から除外する。ここで除外とは、文章変換部１２が意味を検索する時における、検索対象のデータベースから外すことを意味し、端末１０からデータベースを削除することではない。

このように、データベース管理部１５が最新の状況情報に対応しないデータベースの識別子を利用データベースリスト２１から削除するので、文章変換部１２が、最新の状況情報に対応しないデータベースを用いて翻訳することを防止することができ、検索処理負荷を軽減させることができる。

そして、データベース管理部１５は、所定のタイミング（例えば、ジェスチャ翻訳アプリケーションを起動するタイミング）で利用データベースリスト２１に登録されているデータベースの内で、端末１０が保持していないデータベースの取得要求をし、取得したデータベースを記憶部１７に記憶させる。

そして、データベース管理部１５は、所定のタイミング（例えば、ジェスチャ翻訳アプリケーションを起動するタイミング）で端末１０が保持しているデータベースの内、不要なデータベースを削除する。具体的には、データベース管理部１５は、利用データベースリスト２１から除外され、且つ文章変換部１２により検索されてから所定時間経過しているデータベースを、不要なデータベースであると判断し、当該データベースを削除する。

通信制御部１６は、データ（例えば、データベース）の送受信を行う部分である。具体的に、通信制御部１６は、ＤＢ管理サーバ３０にデータベースの取得要求をしたり、ＤＢ管理サーバ３０からデータベースを受信したりする。

記憶部１７は、各種データ（データベース等）を記憶する部分である。具体的に、記憶部１７は、ジェスチャの翻訳のためのデータベースの集合と利用データベースリスト２１を保持する。ジェスチャの翻訳のためのデータベースとして、汎用的な動作の翻訳に用いるデータベースである汎用データベース１８ａ、大阪に位置する場合における動作の翻訳に用いる大阪方言用データベース１８ｂ等を含む。また、記憶部１７は、端末１０の利用者の時間帯別行動を特定するために使用する、行動履歴情報を有する。ここで行動履歴情報とは、時刻に対応付けられた位置情報の履歴情報、や時刻に対応付けられた購買情報等の時刻に対応付けられた端末１０の利用者の動作を示す履歴情報をいう。

汎用データベース１８ａは、端末１０が予め保持しているデータベースである。大阪方言用データベース１８ｂは、状況情報取得部１４が状況情報として大阪に関する情報（例えば、大阪の位置情報）を取得した結果、端末１０がＤＢ管理サーバ３０から取得したデータベースである。

汎用データベース１８ａ及び大阪方言用データベース１８ｂ等の各データベースは、各データベースの識別子であるデータベースＩＤをそれぞれ有する。具体的には、汎用データベース１８ａは、データベースＩＤ０１を有し、大阪方言用データベース１８ｂは、データベースＩＤ０２を有する。また、汎用データベース１８ａ及び大阪方言用データベース１８ｂ等の各データベースは、最終検索時刻の情報も有する。この最終検索時刻は、文章変換部１２が直近に各データベースを検索した時刻である。

汎用データベース１８ａ及び大阪方言用データベース１８ｂは、それぞれジェスチャの動作を定義したデータベースであるジェスチャＤＢ１９及び、ジェスチャの動作に対応する意味を定義したデータベースである文章解釈ＤＢ２０を有する。この２つのデータベースにより、動作と、当該動作の意味とを対応付ける翻訳データベースを実現する。

ジェスチャＤＢ１９（ジェスチャＤＢ１９ａ、ジェスチャＤＢ１９ｂ等）は、手話者の動作を文章変換部１２に認識させるための動作のパターンを記述するデータベースである。これはジェスチャ翻訳のための一般的なデータベースである。

ジェスチャＤＢ１９のデータ例を図３（Ａ）に示す。図３（Ａ）に示すように、ジェスチャＤＢ１３は、「手の向き」と、「手の角度」と、「指の突起有無」と、「手の動きの情報」と、「ジェスチャＩＤ」とを有する。

例えば、ジェスチャＩＤが「０００００００１」であるジェスチャは、手の向きが正面であり、手の角度が０度（指先が上を向いた状態）であり、「指の突起有無」に基づき、親指のみ上がっていて、「動き」に基づき、手が止まっていることを示す。

文章解釈ＤＢ２０（文章解釈ＤＢ２０ａ、文章解釈ＤＢ２０ｂ等）は、文章変換部１２が、ジェスチャＤＢ１９を検索して、ある程度の動作を認識すると、その意味を解釈するためのデータベースである。ここには動作のパターンの識別子とその意味（意図）とが対応付けて記述されることになる。これも一般的なジェスチャ翻訳のためのデータベースである。

文章解釈ＤＢ２０のデータ例を図３（Ｂ）に示す。図３（Ｂ）に示すように、文章解釈ＤＢ２０は、「ジェスチャＩＤ」と「意味」とを有する。

図３（Ｂ）の例によれば、ジェスチャＩＤが「０００００００１」のジェスチャは、指文字で「あ」の意味であることを示す。このように、ジェスチャＤＢ１９と文章解釈ＤＢ２０とにより、ある動作に対応する意味を特定することができる。

大阪方言用データベース１８ｂや旅行用データベース１８ｃが有するジェスチャＤＢ（ジェスチャＤＢ１９ｂ、ジェスチャＤＢ１９ｃ）、文章解釈ＤＢ（文章解釈ＤＢ２０ｂ、文章解釈ＤＢ２０ｃ）のデータ構造は、それぞれ図３（Ａ）、図３（Ｂ）に示したデータ構造と同一であり、それぞれ保持するデータ自体が異なる。

例えば、汎用データベース１８ａにおいて、右親指及び人指し指で輪を作り左胸をあてる動作が「名札」という意味である場合に、大阪方言用データベース１８ｂでは、「名前」という意味で登録される。すなわち、ジェスチャＤＢ１９ａ及びジェスチャＤＢ１９ｂでは、右親指及び人指し指で輪を作って左胸をあてる動作が定義され、文章解釈ＤＢ２０ａでは、当該動作の意味が「名札」と定義され、文章解釈ＤＢ２０ｂでは、当該動作の意味が「名前」と定義される。

なお、大阪方言用データベース１８ｂのジェスチャＤＢ１９ｂにおいて、汎用データベース１８ａに定義されていない動作を定義してもよい。例えば、大阪方言独特のジェスチャとその意味を大阪方言用データベース１８ｂのジェスチャＤＢ１９ｂと文章解釈ＤＢ２０ｂで定義してもよい。

利用データベースリスト２１は、文章変換部１２が翻訳処理（ジェスチャの意味を翻訳する処理）をする際に利用する各データベースの識別子を保持している。利用データベースリスト２１のデータ例を図４に示す。図４に示すように、利用データベースリスト２１では、文章変換部１２が翻訳処理する際に利用するデータベースの識別子を保持する。図４の例では、少なくともデータベースＩＤが０１、０２のデータベースを、文章変換部１２による翻訳処理時に利用することを示している。

（ＤＢ管理サーバ）
続いて、図１に戻り、ＤＢ管理サーバ３０の説明を行う。ＤＢ管理サーバ３０は、状況情報毎に規定されている状況対応用のデータベース（例えば、大阪方言用データベース１８ｂ）を管理するサーバである。例えば、大阪方言用データベース１８ｂ、旅行用データベース１８ｃを保有する。

ＤＢ管理サーバ３０は、通信制御部３１も有する。当該通信制御部３１は、端末１０からのデータベースの取得要求を受信し、取得要求に応じたデータベースを端末１０へ送信する。

（データベースの管理方法）
次に、端末１０のデータベース管理部１５によるデータベースの管理方法を図５を用いて説明する。具体的には、状況情報取得部１４により取得された状況情報に基づいて必要となるデータベースを特定し、特定したデータベースの識別子を利用データベースリスト２１へ登録する例を中心に説明する。図５（Ａ）〜（Ｃ）に示すように、初期状態では、汎用データベース１８ａのみが利用データベースリスト２１に設定され、さらに端末１０は、汎用データベース１８ａを保持しているものとする。以下にケース１、ケース２、及びケース３に分けて説明する。

図５（Ａ）に記載のケース１は、状況情報取得部１４が取得した位置情報に対応するデータベースを追加するケースである。ケース１に示すように、状況情報取得部１４が、位置情報を取得し、その位置情報が大阪のホテルの位置を示すものである場合、データベース管理部１５は、追加データベースとして、大阪方言用データベース１８ｂ、旅行用データベース１８ｃが追加候補になると判断する。これは、データベース管理部１５において、大阪のホテルの位置と、大阪方言用データベース１８ｂとが対応付けられて定義され、大阪のホテルの位置と、旅行用データベース１８ｃとが対応付けられて定義されていることによる。

そして、データベース管理部１５は、利用データベースリスト２１を参照し、初期状態では、大阪方言用データベース１８ｂ及び旅行用データベース１８ｃが設定されていないため、利用データベースリスト２１に大阪方言用データベース１８ｂ及び旅行用データベース１８ｃを設定する。具体的には、データベース管理部１５は、大阪方言用データベース１８ｂ及び旅行用データベース１８ｃのデータベースＩＤを利用データベースリスト２１へ設定する。

図５（Ｂ）に記載のケース２は、状況情報取得部１４が取得した時刻情報に対応するデータベースを追加するケースである。ケース２に示すように、状況情報取得部１４が、時刻情報を取得し、その時刻が１０時である場合、例えば、端末１０で保持する購入履歴・滞在履歴情報により、１０時前後に買い物を行う傾向が示されるとき、データベース管理部１５は、買い物用データベース１８ｄが追加候補になると判断する。これは、データベース管理部１５において、１０時を示す時刻情報と、買い物用ＤＢ１８ｄとが対応付けられて定義されていることによる。

そして、データベース管理部１５は、利用データベースリスト２１を参照し、初期状態では、買い物用データベース１８ｄが設定されていないため、買い物用データベース１８ｄのデータベースＩＤを利用データベースリスト２１へ設定する。

図５（Ｃ）に記載のケース３は、状況情報取得部１４が取得した音声情報に対応するデータベースを追加するケースである。ケース３に示すように、状況情報取得部１４が、「ご注文はお決まりでしょうか」という音声情報を取得した場合、データベース管理部１５は、喫茶用データベース１８ｅが追加候補になると判断する。これは、データベース管理部１５において、「ご注文はお決まりでしょうか」という音声情報と、喫茶用データベース１８ｅとが対応付けられて定義されていることによる。

そして、データベース管理部１５は、利用データベースリスト２１を参照し、初期状態では、買い物用データベース１８ｄが設定されていないため、喫茶用データベース１８ｅのデータベースＩＤを利用データベースリスト２１へ設定する。

上述のケース１〜３のように、状況情報取得部１４が取得した状況情報に基づいて、追加すべきデータベースを特定し、当該データベースの識別情報を利用データベースリスト２１に登録しておくことにより、端末１０が保持しているデータベースの識別子と、利用データベースリスト２１に登録されているデータベース識別子とを比較することにより、追加対象のデータベース（ＤＢ管理サーバ３０に取得要求するデータベース）を特定することができる。

そして、データベース管理部１５は、所定のタイミング（例えば、ジェスチャ翻訳アプリケーションの起動等）で利用データベースリスト２１を参照し、端末１０が保持していないデータベースの取得要求をＤＢ管理サーバ３０に対して行い、追加対象のデータベースを取得する。

続いて、図６及び図７のフローチャートを用いて、本実施形態に係る端末１０で実行される処理及び動作を説明する。図６のフローチャートは、利用データベースリスト２１の編集処理のフローチャートであり、図７のフローチャートは、データベースの更新処理のフローチャートである。

（利用データベースリストの編集処理）
最初に、図６のフローチャートを用いて、利用データベースリスト２１の編集処理を説明する。ここでいう利用データベースリスト２１の編集処理とは、状況情報取得部１４が取得した状況情報に対応するデータベースを特定し、特定したデータベースの識別子を利用データベースリスト２１へ登録する処理をいう。

まず、状況情報取得部１４が、状況情報（例えば、位置情報、時刻情報）を取得する（ステップＳ１）。

次に、データベース管理部１５は、状況情報取得部１４が取得した状況情報に対応するデータベースを特定し、当該データベースを端末１０が保持しているか否かを判断した結果、データベースの構成を変更する必要がある場合（ステップＳ２；ＹＥＳ）、利用データベースリスト２１を編集し、状況情報に対応するデータベースの識別子を利用データベースリスト２１へ登録し（ステップＳ３）、処理を終了する。なお、状況情報取得部１４が取得した状況情報に対応するデータベースを特定し、当該データベースを端末１０が保持しているか否かを判断した結果、データベースの構成を変更する必要がない場合（ステップＳ２；ＮＯ）、利用データベースリスト２１を編集することなく、処理を終了する。

（利用データベースの更新処理）
次に、図７のフローチャートを用いて、利用データベースの更新処理を説明する。この処理は、利用データベースリスト２１に登録されているデータベース識別子と、端末１０が保持しているデータベースの識別子とを比較して、データベースの追加又は削除をする処理である。この利用データベースの更新処理は、例えば、ジェスチャ翻訳アプリケーションを起動するタイミングで実行する。

まず、データベース管理部１５は、利用データベースリスト２１を参照し（ステップＳ１１）、利用データベースを更新する（ステップＳ１２)。

ステップＳ１２の利用データベースの更新処理としては、端末１０が保持しているデータベースに含まれないデータベースが利用データベースリスト２１に含まれる場合に、そのデータベースの取得要求をＤＢ管理サーバ３０へ行い、データベースを取得する処理や、端末１０が保持しているデータベースの内、利用頻度が少ないデータベースを削除する処理が含まれる。

利用データベースを更新した後、ジェスチャ入力部１１が画像データを取得し（ステップＳ１３）、文章変換部１２がジェスチャ入力部１１により取得された撮影対象者の動作に基づいて、ジェスチャの意味を示す文章に翻訳し（ステップＳ１４）、変換結果出力部１３が、文章変換部１２により翻訳された内容を出力する（ステップＳ１５）。

（作用効果）
続いて、端末１０の作用効果について説明する。端末１０において、状況情報取得部１４が、利用者の状況情報を取得し、データベース管理部１５が、動作情報と、当該動作情報の意味とを対応付け、複数の状況情報毎に規定された翻訳データベースの内、状況情報取得部１４が取得した状況情報に対応する翻訳データベース（例えば、大阪方言用データベース１８ｂ）をＤＢ管理サーバ３０から取得する。そして、ジェスチャ入力部１１は、撮影対象を画像データにして取得し、文章変換部１２が、翻訳データベースを利用して、ジェスチャ入力部１１により取得された画像データに含まれる撮影対象の動作に対して翻訳を行う。変換結果出力部１３は、翻訳された撮影対象の動作の翻訳結果を出力する。

本実施形態の端末１０によれば、取得した状況情報に対応する翻訳データベースを取得して、取得した翻訳データベースを用いて、ジェスチャの意味を翻訳する。この場合、ジェスチャの意味を翻訳する際、不要なデータベース（状況情報に対応しないデータベース）まで検索することがないので、ジェスチャの意味を検索する検索処理負荷を軽減させることができる。すなわち、ジェスチャの意味を翻訳する際、状況情報に対応しないデータベースを含む全てのデータベースを検索対象とする場合に比べて、検索対象が少なくなるので検索処理負荷を軽減させることができる。なお、端末１０では、複数回状況情報を取得した後に翻訳する際、複数のデータベース（例えば、大阪方言用データベース１８ｂ、喫茶用データベース１８ｅ）を検索対象とすることもあるが、この場合でも全てのデータベースを検索対象とする場合に比べて、検索対象が少なくなるので検索処理負荷を軽減させることができる。

また、端末１０によれば、状況情報に対応する翻訳データベースが端末１０内に存在しない場合に、必要なデータベースだけＤＢ管理サーバ３０から取得する。このため、端末１０は、少ない通信量で翻訳することができる。

そして、文章変換部１２は、状況情報に対応するデータベースを検索することにより翻訳するため、様々な状況情報に対応する大量のデータを有するデータベースを検索して翻訳する場合と比べ、類似動作で異なる意味をもつ候補を検索対象から除外することができる。この結果、端末１０は、より適切な候補を選択することができる。

ＤＢ管理サーバ３０は、全ての状況別のデータベースを管理し、必要に応じて端末１０に対して状況に対応するデータベースを提供しているので、端末１０は、必要に応じて複数の状況情報に対応するデータベースを増やすことができる。

端末１０において、状況情報取得部１４は、位置情報、音声情報、及び時刻情報の何れか少なくとも一つを状況情報として取得する、こととしてもよい。この構成によれば、位置情報、音声情報、及び時刻情報という、利用者の状況の変化を反映する情報を取得するので、利用者の状況に応じたデータベースを取得することができる。

端末１０において、データベース管理部１５が取得した翻訳データベースを保持し、状況情報取得部１４は、状況情報を複数回取得し、データベース管理部１５は、状況情報取得部１４により取得された、最新の状況情報に対応しない翻訳データベースを保持している場合、当該翻訳データベースを、文章変換部１２が翻訳する際に利用するデータベースから除外し、文章変換部１２は、データベース管理部１５により除外されていない翻訳データベースを利用して翻訳を行うこととしてもよい。この構成によれば、状況情報取得部１４により取得された、最新の状況情報に対応しない翻訳データベースを利用対象から除外することにより、ジェスチャの意味を翻訳する時に、除外した翻訳データベースを用いないので検索処理の負荷を軽減することができる。

端末１０において、データベース管理部１５が取得した翻訳データベースを保持し、データベース管理部１５は、取得済みの翻訳データベースの内、文章変換部１２による翻訳時の利用頻度が低い翻訳データベースを削除する、こととしてもよい。この構成によれば、利用可能性が低い翻訳データベースを削除するので、検索処理負荷を軽減するだけでなく、端末１０の記憶領域を有効活用することもできる。

利用対象となるデータベースを示す利用データベースリスト２１を保持し、データベース管理部１５は、状況情報取得部１４により取得された状況情報に対応する翻訳データベースの識別情報を、利用データベースリスト２１へ登録し、所定のタイミングで利用データベースリスト２１に登録されている翻訳データベースの識別情報の内、端末１０が保持していない翻訳データベースをＤＢ管理サーバ３０から取得する、こととしてもよい。この構成によれば、利用データベースリスト２１で状況情報に対応するデータベースの識別子を定義しておくことになる。よって、端末１０は、状況情報を取得する度にＤＢ管理サーバ３０へ翻訳データベースを取得することがないので、ＤＢ管理サーバ３０との通信負荷を軽減させることができる。

上述の実施形態では、データベース管理部１５が、利用データベースリスト２１を参照して、ＤＢ管理サーバ３０から取得するデータベースを特定していたが、記憶部１７を参照し、ＤＢ管理サーバ３０から取得するデータベースを特定するようにしてもよい。

上述の実施形態では、汎用データベース１８ａを保持する場合について述べたが、汎用データベース１８ａを保持しなくてもよい。

上述の実施形態では、データベース管理部１５がＤＢ管理サーバ３０からデータベースを取得する場合について述べたが、予め端末１０が、複数のデータベースを保持し、端末１０が保持しているデータベースの内、状況情報に対応するデータベースを取得するようにしてもよい。具体的には、端末１０が、予め複数のデータベース（例えば、大阪方言用データベース１８ｂ、旅行用データベース１８ｃ等）を保持して、データベース管理部１５が、上記保持しているデータベースの内、状況情報に対応するデータベースを選択することによりデータベースを取得するようにしてもよい。

１０…端末、１１…ジェスチャ入力部、１２…文章変換部、１３…変換結果出力部、１４…状況情報取得部、１５…データベース管理部、１６…通信制御部、１７…データベース群、１８ａ…汎用データベース、１９…ジェスチャＤＢ、２０…文章解釈ＤＢ、２１…利用データベースリスト、３０…ＤＢ管理サーバ。

Claims (7)

1. 利用者の状況情報を取得する状況情報取得手段と、
   動作情報と、当該動作情報の意味とを対応付ける、複数の状況情報毎に規定された翻訳データベースの内、前記状況情報取得手段が取得した利用者の状況情報に対応する翻訳データベースを取得するデータベース管理手段と、
   撮影対象を画像データにして取得する画像取得手段と、
   前記データベース管理手段が取得した翻訳データベースを利用して、前記画像取得手段により取得された画像データに含まれる撮影対象の動作に対して翻訳を行う画像翻訳手段と、
   前記画像翻訳手段により翻訳された撮影対象の動作の翻訳結果を出力する結果出力手段と、
   前記データベース管理手段が取得した翻訳データベースを保持する翻訳データベース保持手段と、を備え、
   前記状況情報取得手段は、状況情報を複数回取得し、
   前記データベース管理手段は、前記状況情報取得手段により取得された、最新の状況情報に対応しない翻訳データベースを保持している場合、当該翻訳データベースを、前記画像翻訳手段が翻訳する際に利用するデータベースから除外し、
   前記画像翻訳手段は、前記データベース管理手段により除外されていない翻訳データベースを利用して翻訳を行う、画像認識装置。
2. 利用者の状況情報を取得する状況情報取得手段と、
   動作情報と、当該動作情報の意味とを対応付ける、複数の状況情報毎に規定された翻訳データベースの内、前記状況情報取得手段が取得した利用者の状況情報に対応する翻訳データベースを取得するデータベース管理手段と、
   撮影対象を画像データにして取得する画像取得手段と、
   前記データベース管理手段が取得した翻訳データベースを利用して、前記画像取得手段により取得された画像データに含まれる撮影対象の動作に対して翻訳を行う画像翻訳手段と、
   前記画像翻訳手段により翻訳された撮影対象の動作の翻訳結果を出力する結果出力手段と、
   利用対象となる翻訳データベースを示すデータベースリストを保持するデータベースリスト保持手段と、を備え、
   前記データベース管理手段は、前記状況情報取得手段により取得された状況情報に対応する翻訳データベースの識別情報を、前記データベースリスト保持手段が保持するデータベースリストへ登録し、所定のタイミングで前記データベースリストに登録されている翻訳データベースの識別情報の内、保持していない翻訳データベースを外部装置から取得する、画像認識装置。
3. 前記状況情報取得手段は、位置情報、音声情報、及び時刻情報の何れか少なくとも一つを状況情報として取得する、請求項１または２に記載の画像認識装置。
4. 前記データベース管理手段は、取得済みの翻訳データベースの内、前記画像翻訳手段による翻訳時の利用頻度が低い翻訳データベースを削除する、
   請求項１に記載の画像認識装置。
5. 前記画像認識装置は、前記翻訳データベースを予め保持し、
   前記データベース管理手段は、予め保持している翻訳データベースの内、前記状況情報取得手段が取得した利用者の状況情報に対応する翻訳データベースを取得する、
   請求項１または４に記載の画像認識装置。
6. 利用者の状況情報を取得する状況情報取得ステップと、
   動作情報と、当該動作情報の意味とを対応付ける、複数の状況情報毎に規定された翻訳データベースの内、前記状況情報取得ステップで取得した利用者の状況情報に対応する翻訳データベースを取得するデータベース管理ステップと、
   撮影対象を画像データにして取得する画像取得ステップと、
   前記データベース管理ステップで取得した翻訳データベースを利用して、前記画像取得ステップにより取得された画像データに含まれる撮影対象の動作に対して翻訳を行う画像翻訳ステップと、
   前記画像翻訳ステップにより翻訳された撮影対象の動作の翻訳結果を出力する結果出力ステップと、
   前記データベース管理ステップで取得した翻訳データベースを翻訳データベース保持手段に保持する保持ステップと、を備え、
   前記状況情報取得ステップは、状況情報を複数回取得し、
   前記データベース管理ステップは、前記状況情報取得ステップにより取得された、最新の状況情報に対応しない翻訳データベースを保持している場合、当該翻訳データベースを、前記画像翻訳ステップが翻訳する際に利用するデータベースから除外し、
   前記画像翻訳ステップは、前記データベース管理ステップにより除外されていない翻訳データベースを利用して翻訳を行う、画像認識方法。
7. 利用者の状況情報を取得する状況情報取得ステップと、
   動作情報と、当該動作情報の意味とを対応付ける、複数の状況情報毎に規定された翻訳データベースの内、前記状況情報取得ステップで取得した利用者の状況情報に対応する翻訳データベースを取得するデータベース管理ステップと、
   撮影対象を画像データにして取得する画像取得ステップと、
   前記データベース管理ステップで取得した翻訳データベースを利用して、前記画像取得ステップにより取得された画像データに含まれる撮影対象の動作に対して翻訳を行う画像翻訳ステップと、
   前記画像翻訳ステップにより翻訳された撮影対象の動作の翻訳結果を出力する結果出力ステップと、
   利用対象となる翻訳データベースを示すデータベースリストをデータベースリスト保持手段に保持する保持ステップと、を備え、
   前記データベース管理ステップは、前記状況情報取得ステップにより取得された状況情報に対応する翻訳データベースの識別情報を、前記データベースリスト保持手段が保持するデータベースリストへ登録し、所定のタイミングで前記データベースリストに登録されている翻訳データベースの識別情報の内、保持していない翻訳データベースを外部装置から取得する、画像認識方法。

Images