JP4755632B2 - アイテム認識装置及びアイテム認識方法 - Google Patents

Description

本発明は、空間共起情報を利用した空間アイテム認識装置及び空間アイテム認識方法に関する。

インターネットに代表される近年のネットワーク技術及びコンピュータ技術の発達により大量の画像データを蓄積し、ユーザの要求に応じて蓄積した画像データを検索してユーザに所望の画像を提示する画像検索システムを構築する試みが行われている（例えば、特許文献１）。このような画像検索システムでは、画像（キー画像）を検索キーとして入力し、入力された検索キー画像と類似した特徴を持つ画像を提示するものが多い。
また、ユーザの端末画面に３次元の仮想空間の画像を表示し、仮想空間内においてユーザが視点を移動することに応じて、仮想的な視野に入る仮想空間内のオブジェクトを画角や距離感の変化を伴ってユーザの端末画面に表示することにより、ユーザの興味を惹き、仮想空間に臨場感をもたせる試みが、例えばセカンドライフ等のサービスによって行われている（例えば非特許文献１）。
特開２００２−２４５０４８号公報 マイケル・リマズイスキー（他）著 中川 蘭丸 訳、セカンドライフ公式ガイド、インプレスＲ＆Ｄ版、２００７年０５月

画像検索の技術を活用し、入力された任意の画像をテキスト文で表現することができれば、セカンドライフ等のサービスに関連し、インターネットを用いた新たな利用分野を開拓することができる。具体的な方法としては、入力された画像からエッジ処理等により部分画像を切り出し、その部分画像を画像辞書で検索し、その部分画像に対応するテキスト情報を利用することが考えられるが、もともと画像検索においては、文字検索と異なり、完全一致することは稀であり、類似の概念が存在するために、切り出した部分画像に対応するテキスト情報を一意に決め難いという問題がある。

そこで画像辞書を用いた上記方法を補完するために、画像辞書に登録されたアイテムが同時に同一の画像に出現する共起度を、現在Ｗｅｂ上に存在する大量の画像情報から抽出蓄積した空間共起情報と、画像に付されたタイトルと、当該画像に含まれるアイテムとの関係について、その相関度を、現在Ｗｅｂ上に存在する大量の画像情報から抽出蓄積したタイトル／アイテム相関情報とを利用することで、前記の問題、即ち、「入力された任意の画像をテキスト文で表現する」という問題に対応することができる。

そこで、本発明は、複数のアイテムが同時に同一の画像に出現する共起度が登録されたアイテム共起辞書と、画像のタイトルを構成する名詞と当該画像に含まれるアイテムとの相関度が登録されたタイトル／アイテム相関辞書を利用して、入力された空間画像に含まれるアイテム名と当該空間画像のタイトル名をテキスト情報として出力することを目的とする。

本発明者は、既存のＷｅｂページから収集した画像に基づいて作成された、画像のタイトルと、当該画像に含まれるアイテムの出現に係る相互の連関性情報を活用することにより、入力された任意の画像をテキストで自動的に表現する装置及び方法を見出し、本発明を完成するに至った。

本発明は、具体的には次のようなものを提供する。
（１）空間画像の入力を受け付ける空間画像入力部と、前記空間画像から部分画像を取得する部分画像取得部と、前記部分画像から特徴情報を抽出する特徴情報抽出部と、画像辞書を用い、前記特徴情報に基づき前記部分画像に対応するアイテムの候補を取得する候補アイテム取得部と、アイテム共起度を用いて前記アイテムの候補からアイテムを決定するアイテム決定部と、前記決定されたアイテムのアイテム名を出力するアイテム名出力部と、を備える空間アイテム認識装置。

この発明によれば、空間画像に含まれるアイテムを、画像辞書とアイテム間の共起度を用いて決定できるので、入力された空間画像に含まれるアイテムを信頼度の高いテキスト情報として出力することができる。

（２）前記空間画像は動画像であり、前記部分画像は、前記動画像を構成する静止画像から取得することを特徴とする（１）に記載の空間アイテム認識装置。

この発明によれば、動画像についても、（１）と同様の効果を発揮することができる。

（３）前記アイテム決定部で用いる前記アイテム共起度は、２つの異なるアイテムが同一画像に出現することに係るものであることを特徴とする（１）から（２）のいずれかに記載の空間アイテム認識装置。

この発明によれば、２つの異なるアイテムの同時使用性、または同時存在性を考慮してアイテムを決定できるので、類似度による判定の曖昧性を補うことができる。

（４）前記アイテム決定部で用いる前記アイテム共起度は、前記アイテムの候補のうち類似度が高いアイテムを基準としたものであることを特徴とする（３）に記載の空間アイテム認識装置。

この発明によれば、アイテム間の共起度を利用してアイテム名を決定する際に、類似度の高いアイテムを基準にして類似度の低いアイテムを決定できるので、信頼度の高いアイテムの決定を行うことができる。

（５）前記アイテム決定部で用いる前記アイテム共起度は、同一のアイテムが複数個出現することに係るものであることを特徴とする（１）から（２）のいずれかに記載の空間アイテム認識装置。

この発明によれば、同一のアイテムが複数個同時に使用される可能性を考慮してアイテム決定ができるので、実情を考慮したアイテムの決定を行うことができる。

（６）前記アイテム決定部は、前記アイテムの候補の類似度と該アイテムの候補の共起度に基づいて決定される評価値に基づいてアイテムを決定することを特徴とする（１）から（５）のいずれかに記載の空間アイテム認識装置。

この発明によれば、アイテム候補の類似度と共起度の両方に基づいて決定される評価値に基づいてアイテムを決定するので、客観性のある信頼性の高い決定を行うことができる。

（７）前記アイテム決定部は、類似度の高い候補を持つアイテムの順にアイテムの決定を行うことを特徴とする（１）から（６）のいずれかに記載の空間アイテム認識装置。

この発明によれば、信頼度が高いアイテムから順にアイテムの決定をしていくので、すべてのアイテムの決定を信頼度高く行うことができる。

（８）前記アイテム決定部は、３以上のアイテムについて決定を行う場合、最初に２つのアイテムについて決定を行い、残りのアイテムを、前記決定されたアイテムのうち類似度の高い方を用いて決定される前記評価値に基づいて１つずつ決定することを特徴とする（７）に記載の空間アイテム認識装置。

この発明によれば、もっとも信頼度の高いアイテムを最初に決定し、そのうち類似度の高い方のアイテムを用いて決定される前記評価値に基づいて、他のアイテムを１つずつ決定していくので、決定方法がシンプルで、信頼度の高いアイテムの決定を行うことができる。

（９） 前記アイテム決定部は、３以上のアイテムについて決定を行う場合、最初に２つのアイテムについて決定を行い、残りのアイテムを、前記決定されたアイテムのうち類似度の高い方を用いて決定される前記評価値と、前記決定されたアイテムのうち類似度の低い方を用いて決定される前記評価値の両方に基づいて１つずつ決定することを特徴とする（７）に記載の空間アイテム認識装置。

この発明によれば、最初に決定されたアイテムのうち類似度の高い方のアイテムを用いて決定される前記評価値と類似度の低い方のアイテムを用いて決定される評価値の両方に基づいて決定するので、類似度の高い方のアイテムを用いて決定される前記評価値だけでは決定できないような場合においても、信頼度の高いアイテムの決定を行うことができる。

（１０）前記決定されたアイテムとタイトル候補名との相関度に基づき前記空間画像のタイトル名を決定するタイトル名決定部と、前記決定されたタイトル名を出力するタイトル名出力部と、を更に備える（１）から（９）のいずれかに記載の空間アイテム認識装置。

この発明によれば、空間画像に含まれるアイテムとタイトル候補名との相関度を考慮して信頼度の高い空間画像のタイトルを決定することができる。

（１１）前記タイトル名決定部は、前記決定されたアイテムが複数ある場合は、該アイテムのそれぞれとタイトル候補名との相関度の積に基づいて前記タイトル名を決定することを特徴とする請求項１０に記載の空間アイテム認識装置。

この発明によれば、アイテム数が増えても容易にタイトル名を決定することができる。

（１２）コンピュータを用いて、空間画像をテキスト情報に変換する方法であって、空間画像の入力を受け付ける空間画像入力ステップと、前記空間画像から部分画像を取得する部分画像取得ステップと、前記部分画像から特徴情報を抽出する特徴情報抽出ステップと、画像辞書を用い、前記特徴情報に基づき前記部分画像に対応するアイテムの候補を取得する候補アイテム取得ステップと、アイテム共起度を用いて前記アイテムの候補からアイテムを決定するアイテム決定ステップと、前記決定されたアイテムのアイテム名を出力するアイテム名出力ステップと、を含む空間アイテム認識方法。

この発明によれば、（１）に記載の発明が行う処理を、コンピュータを用いて行うことができるので、（１）と同様の効果を発揮することができる。

（１３）前記決定されたアイテムと、該アイテムとタイトル候補名との相関度に基づき前記空間画像のタイトル名を決定するタイトル名決定ステップと、前記決定されたタイトル名を出力するタイトル名出力ステップと、を更に含む（１２）に記載の空間アイテム認識方法。

この発明によれば、（１０）に記載の発明が行う処理を、コンピュータを用いて行うことができるので、（１０）と同様の効果を発揮することができる。

本発明によれば、画像辞書を用いるのみならず、アイテムの類似度とアイテム間の共起度を考慮してアイテム名を、アイテムとタイトル名の相関度を考慮してタイトル名を、それぞれ決定するので、入力された空間画像を信頼度の高いアイテム名とタイトル名のテキスト情報として出力することができる。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これらはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（第１の実施形態）

［全体図］
図１は、空間アイテム認識装置１が有する機能部分、当該機能を果たす上で利用するデータベース９〜１１、及び空間アイテム認識装置１への入力と出力との関係を示した全体図である。空間アイテム認識装置１は、空間画像情報の入力を受け付ける空間画像入力部２と、空間画像入力部２によって入力を受け付けた画像から部分画像を取得する部分画像取得部３と、部分画像取得部３によって取得された部分画像から特徴情報を抽出する特徴情報抽出部４と、特徴情報抽出部４によって抽出された特徴情報に基づき画像辞書ＤＢ９に記録された画像辞書を検索し、当該部分画像に係るアイテム候補名を取得する候補アイテム取得部５と、候補アイテム取得部５により取得されたアイテム候補名について、アイテム共起辞書ＤＢ１０に記録されたアイテム共起辞書を参照してアイテム名を決定するアイテム決定部６と、アイテム決定部６で決定されたアイテム名に基づきタイトル／アイテム相関辞書ＤＢ１１に記録されたタイトル／アイテム相関辞書を参照してタイトル名を決定するタイトル名決定部７と、それぞれ決定されたタイトル名とアイテム名を出力するタイトル名／アイテム名出力部８とを備える。なお、空間アイテム認識装置１には、空間画像情報１２が画像データとして入力され、タイトル名／アイテム名情報１３がテキストデータとして出力される。

［空間アイテム認識装置１のハードウェア構成］
図２は、本実施形態に係る空間アイテム認識装置１のハードウェア構成を示す図である。空間アイテム認識装置１は、制御装置３０を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１（マルチプロセッサ構成ではＣＰＵ３２等複数のＣＰＵが追加されてもよい）、バスライン２０、通信Ｉ／Ｆ（Ｉ／Ｆ：インターフェイス）３３、メインメモリ３４、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）３５、表示装置３６、Ｉ／Ｏコントローラ３７、並びにキーボード及びマウス等の入力装置３８を備える。

通信Ｉ／Ｆ３３は、空間アイテム認識装置１が、インターネット（図示せず）を介して空間画像情報を受け取る場合のネットワーク・アダプタである。通信Ｉ／Ｆ３３は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。ＢＩＯＳ３５は、空間アイテム認識装置１の起動時にＣＰＵ３１が実行するブートプログラムや、空間アイテム認識装置１のハードウェアに依存するプログラム等を記録する。

表示装置３６は、空間アイテム認識装置１による演算処理結果等の画面を表示するものであり、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。Ｉ／Ｏコントローラ３７には、ハードディスク３９、及び半導体メモリ４０等の記憶装置４１を接続することができる。入力装置３８は、空間アイテム認識装置１の管理者による入力の受け付けを行うものである。ハードディスク３９は、本ハードウェアを空間アイテム認識装置１として機能させるための各種プログラム、本発明の機能を実行するプログラム及び後述するテーブルを記憶する。

以上の例は、空間アイテム認識装置１のハードウェア構成について主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータを空間アイテム認識装置１として動作させることにより上記で説明した機能を実現することもできる。したがって、本発明において一実施形態として説明した空間アイテム認識装置１により実現される機能は、上述の方法を当該コンピュータにより実行することによって、あるいは、上述のプログラムを当該コンピュータに導入して実行することによっても実現可能である。

なお、本発明でいうコンピュータとは、記憶装置、制御装置等を備えた情報処理装置をいい、空間アイテム認識装置１は、記憶装置４１、制御装置３０等を備えた情報処理装置により構成され、この情報処理装置は、本発明のコンピュータの概念に含まれる。ここで、図１に示した、空間画像入力部２、部分画像取得部３、特徴情報抽出部４、候補アイテム取得部５、アイテム決定部６、タイトル名決定部７及びタイトル名／アイテム名出力部８には主として制御装置３０が、画像辞書ＤＢ９、アイテム共起辞書ＤＢ１０及びタイトル／アイテム相関辞書ＤＢ１１には記憶装置４１が、それぞれ対応する。

［画像及び部分画像］
図３は、空間画像入力部２が入力を受け付ける画像の一例である。

図４は、部分画像取得部３が上記画像から取得した部分画像の例である。（ａ）は長椅子タイプのソファー、（ｂ）はテーブルである。

［画像辞書］
図５は、候補アイテム取得部５で参照する画像辞書を示す図である。部分画像の特徴情報を記録した検索用タグと、当該特徴情報を有するアイテムのアイテム名やアイテム番号等のコンテンツが対応付けられて記録されている。特徴情報としては、例えば、アイテムの輪郭やアイテムを構成する色数等がある。画像辞書は、画像辞書ＤＢ９上に記録されている。

［アイテム共起辞書］
図６は、異なるアイテム間の共起関係を表すアイテム別共起度テーブルであって、アイテム共起辞書の一部を構成する。共起度とは、異なる２つのアイテムが同一の画像の中に出現する比率をいう。

例えば、母親が画像に出現しても乳児が画像に出現するとは限らないが、乳児が出現すると母親も出現する比率が高いように、アイテム番号ｉのアイテムｉとアイテム番号ｊのアイテムｊの２つのアイテムがある場合、アイテムｉが出現したときにアイテムｊが一緒に出現する比率ｋｉ＿ｊと、アイテムｊが出現したときにアイテムｉが一緒に出現する比率ｋｊ＿ｉは本来異なるものであるが、これらが異なる場合は、いずれか大きい方に合わせてｋｉ＿ｊ＝ｋｊ＿ｉとすることもできる。そのようにすると簡便な取り扱いが可能となるからである。本実施形態においては、ｋｉ＿ｊ＝ｋｊ＿ｉとすることを前提とする。アイテム別共起度テーブルは、アイテム共起辞書ＤＢ１０上に記録されている。

図７は、同一のアイテム間の共起関係を表すアイテム別複数共起度テーブルであって、アイテム共起辞書の一部を構成する。あるアイテムが１つ出現した場合に同一画像内に２つ目の同一アイテムが出現する比率を第２列目、あるアイテムが２つ出現した場合に同一画像内に３つ目の同一アイテムが出現する比率を第３列目というように、１つの画像内にｎ個の同一アイテムが出現した場合に、同じ画像内に、（ｎ＋１）個目の同一アイテムが出現する比率を（ｎ＋１）列目に表示している。但し、６個以上の場合については省略している。しかし、必要に応じて、必要な個数まで表示するようにしてもよい。アイテム別複数共起度テーブルは、アイテム共起辞書ＤＢ１０上に記録されている。

［タイトル／アイテム相関辞書］
図８は、Ｗｅｂ上に存在する画像のタイトルに含まれる名詞と、その画像に出現したアイテムとの相関度を示したタイトル名詞アイテム相関度テーブルである。縦軸は名詞番号、横軸は拡張アイテム番号として、両者の相関度を記載したものである。名詞番号は、名詞テーブル（図９）により、拡張アイテム番号は、拡張アイテム名テーブル（図１０）によりそれぞれ定義されている。タイトル名詞アイテム相関度テーブルは、タイトル／アイテム相関辞書ＤＢ１１上に記録されている。

［テーブル］
図９は、名詞とその名詞番号から構成される名詞テーブルである。タイトル名決定部７によってタイトル名を決定する際に参照される。

図１０は、拡張アイテム名とその拡張アイテム番号から構成される拡張アイテム名テーブルである。拡張アイテム名、拡張アイテム番号とは、同一のアイテムが複数個同時に同一画像に出現する可能性がある場合に、これらの複数個をまとめて１つの新たなアイテムとして取り扱うためにアイテム名とアイテム番号を付け、単品のアイテム名とアイテム番号とを合わせて、拡張アイテム名、拡張アイテム番号としたものである。

図１１は、候補アイテムテーブルであり、候補アイテム取得部５が、部分画像取得部３により取得された部分画像について、画像辞書を参照して取得した候補アイテムのアイテム名とアイテム番号と類似度が保有される。図１１（ａ）は、ある部分画像に対して４個の候補アイテムが取得され、それらのアイテム名が、アイテム４８、アイテム１１、アイテム５、アイテム６３であることを示している。同様に、図１１（ｂ）は、他の部分画像に対して４個の候補アイテム、図１１（ｃ）は、更に別の部分画像に対して３つの候補アイテムが取得されたことを示している。つまり、図１１は、１つの画像から取得された３つの部分画像について、画像辞書を参照して取得された候補アイテムを類似度の大きい順に表示したものである。なお、類似度とは、部分画像の持つ特徴情報と、画像辞書に登録されている特徴情報との似ている度合いである。

図１２は、候補アイテム取得部５により取得された候補アイテムをその類似度とアイテム間の共起度に基づいて評価を行い、アイテム名を決定する際に使用するアイテム名決定作業用テーブルである。詳しくは、処理フローの中で説明する。

図１３は、候補アイテムテーブルにおいて、アイテム名が決定された結果を表示した図である。部分画像αについてはアイテム４８、部分画像βについてはアイテム６５、部分画像γについてはアイテム７８にそれぞれ決定された様子を示している。

図１４は、同一のアイテムに係る部分画像が複数個ある場合の候補アイテムテーブルである。これらの部分画像について画像辞書を参照した結果、殆ど同じであるものの、一部は異なる候補アイテムが取得されている。部分画像によって画像が異なる上、類似度に基づく検索であるため、通常このような結果が予想される。
図１５は、図１４の候補アイテムテーブルに基づいて、アイテム名を決定する際に使用するアイテム名決定作業用テーブルである。詳しくは、処理フローの中で説明する。

図１６は、決定されたアイテム名を記載した決定アイテムテーブルと、それを拡張した拡張決定アイテムテーブルの関係を示す図である。同一のアイテムが複数個決定された場合は、その複数個を新たな１つのアイテムとみなして、アイテム名とアイテム番号を付ける。このときのアイテム番号の付け方は、拡張アイテム名テーブル（図１０）におけるアイテム番号の付け方と同様とし、アイテム名は、拡張アイテム名テーブル（図１０）を検索することによって決めればよい。

図１７は、タイトル名決定部７によってタイトル名を決定する際に使用するタイトル候補判定テーブルである。詳しくは、処理フローの中で説明する。

図１８は、決定されたタイトル名と拡張アイテム名をタイトル名／アイテム名出力部８が出力するタイトル名／アイテム名情報である。

［処理フロー］
図１９及び図２０に従って、空間アイテム認識装置１の処理フローについて説明する。特に断らない限り、以下の処理は、空間アイテム認識装置１の制御装置３０が行うものとする。まず、空間アイテム認識装置１が、空間画像の入力を受け付ける（Ｓ１０）。空間画像は静止画であっても動画であってもよい。画像の入力の受け付けは、静止画像の場合は１枚の静止画像、動画像の場合はその動画像を構成する複数枚の静止画像を１単位として行う。

次に、取得した画像から、エッジ処理により部分画像を切り出す（Ｓ２０）。静止画像であれば、１枚の画像から部分画像が切り出されるが、動画の場合は、１つの動画を構成する複数の静止画像から部分画像が切り出されることになる。そして、切り出した部分画像から特徴情報を抽出する（Ｓ３０）。特徴情報としては、部分画像の輪郭や部分画像の色数等がある。このような技術は公知であり、（例えば、特開２００６−１１４０５３参照）、このようにすることによって、画像に写った家具が、例えばソファーであることが認識できる。この画像の特徴量はテキストとして送信可能なので画像そのものを送信することに比べてデータ量が大幅に減少できる。

次に、画像辞書（図５）を参照し、すでに実用化されている類似画像検索技術に基づき、特徴情報の類似度が高い順にアイテム名とアイテム番号を取得する（Ｓ４０）。その際、可能性の低い候補を排除するために、類似度が一定の基準（例えば２０パーセント）以上のものを選ぶようにしてもよい。通常、複数個の候補アイテムが選ばれる（図１１参照）。この基準は、適宜変更して、最適なものにすればよい。類似画像検索では、検索の対象となる画像から視覚的な情報を数百次元の数値列データ（画像特徴量）で示し、データ同士の似ている度合い（類似度）を、画像特徴量ベクトル間の距離、即ち、この画像特徴量の違いとして評価する。

このようにして、１つの部分画像について候補アイテムが取得されると、類似度が高い順に候補アイテムテーブル（図１１）に登録し、同一画像に更に別の部分画像があれば（Ｓ５０：Ｎｏ）、同様の処理を行う（Ｓ２０〜Ｓ４０）。そしてすべての部分画像が切り出されると次の処理に移る（Ｓ５０：Ｙｅｓ）。

次に、各部分画像について取得された候補アイテムのうち、それぞれの最上位の類似度（最高類似度）を比較し、高い方から２つの候補アイテムを選ぶ。例えば、図１１において、部分画像αの最高類似度は０．９２、部分画像βの最高類似度は０．８８、部分画像γの最高類似度は０．７５であるので、部分画像αと部分画像βについて、アイテム別共起度テーブル（図６）を参照しながら、アイテム名の決定を行う。

具体的には、アイテム名決定作業用テーブル（図１２（ａ））に、候補アイテムテーブル（図１１）に登録された部分画像αと部分画像βの各候補アイテムのすべての組み合わせについてアイテム番号と類似度を記入し、更に、アイテム別共起度テーブル（図６）から、各アイテムの組み合わせに対応するアイテム共起度を記入する。

例えば、図１１（ａ）の最初の行には、部分画像αの最も類似度が高い候補アイテム４８のアイテム番号４８と類似度０．９２、部分画像βの最も類似度が高い候補アイテム１０３のアイテム番号１０３と類似度０．８８、及び両アイテムの共起度ｋ４８＿１０３が記入されている。そして評価値を、記入された２つの類似度と共起度の積として計算する（Ｓ６０）。つまり、ｐ４８＿１０３は、０．９２×０．８８×ｋ４８＿１０３によって計算される。

このようにして各アイテムの組み合わせについて評価値を求め、最も高い評価値となった組み合わせを、部分画像αと部分画像βの最も可能性の高いアイテムとして選ぶ（Ｓ７０）。この例においては、アイテム４８とアイテム６５の組み合わせが最も高い評価値となったと仮定している。

このようにして部分画像αと部分画像βのアイテム名を決定すると、次に、部分画像αと部分画像βについて決定されたアイテム名のどちらか一方を基準にして部分画像γのアイテム名を同様の方法で決定する（Ｓ８０、Ｓ９０）。どちらのアイテムを基準にするかは自由に決めてよいが、本実施形態においては、決定されたアイテムのうち、いずれか類似度の高い方を基準にすることとする。その方が、決定されたアイテムがより確実と考えられるからである。本例においては、アイテム４８の類似度は０．９２．アイテム６５の類似度は０．７５であるので、アイテム４８を基準にして部分画像γの候補アイテムの中から評価値が最も高くなるアイテムを選び決定する（Ｓ９０）。

この場合、部分画像αについてはアイテムが決定しているので、アイテム名決定作業用テーブルは図１２（ｂ）のようになる。評価値は、図１２（ａ）の場合と同様に計算される。但し、この場合、部分画像αについてはアイテム４８がすでに決定されているので、評価値の計算は、２つの類似度と共起度の積とせず、決定すべきアイテムの類似度と共起度の積、即ち、部分画像γの候補アイテムの類似度と共起度の積としてもよい。本例においては、アイテム４８とアイテム７８の組み合わせの評価値が最も高くなったものと仮定する。その結果、候補アイテムテーブルに登録された候補アイテムは図１３に太枠で示したように決定される。

更に、図１２（ｂ）における評価値の計算の結果、評価値が同一となった場合は、先に決定した部分画像αのアイテム４８と部分画像βのアイテム６５のうち、類似度の低いアイテム６５と、評価値が同一となった複数のアイテムについてアイテム名決定作業用テーブルを作成し、これに基づいて計算される評価値の高くなるアイテムを選ぶようにしてもよい。なお、それでも評価値が同一となる場合は、そのほかに決定されているアイテムがあれば、それらの中で類似度が高いアイテムを用いて同様の操作を行えばよい。

このようにして、切り出された各部分画像について作成された候補アイテムテーブル（図１１）に基づいてアイテム名を順次決定していき（Ｓ１００：Ｎｏ）、すべての部分画像についてアイテム名の決定が終了したら次の処理に移る（Ｓ１００：Ｙｅｓ）。この場合、アイテム名の決定は、最高類似度が高い候補アイテムを持つ部分画像から順次決定していく。こうすれば、信頼度の高い順番にアイテムの決定が行われるので、先に決定したアイテムで後のアイテムを決める上で誤差が少なくなるからである。

以上の例では、各部分画像に対する候補アイテムがすべて異なっている場合について説明したが、場合によっては、候補アイテムが同じ場合もありえる。同じアイテムが２つ部分画像として１つの画像内に出現した場合や、異なるアイテムに係る部分画像であっても、候補アイテムが偶然同一となるケースもある。その場合、アイテム別共起度テーブル（図６）には同一アイテム間の共起度が定義されていないのでアイテム別複数共起度テーブル（図７）を使用することになる。

そこで、図１４に従って、候補アイテムが同一となった場合について説明する。まず、図１２と同様の方法で、アイテム名決定作業用テーブル（図１５（ａ））に、候補アイテムテーブル（図１１）に登録された部分画像αと部分画像βの各候補アイテムのすべての組み合わせについてアイテム番号と類似度を記入する。次に、部分画像αと部分画像βの候補アイテムが異なる場合は、アイテム別共起度テーブル（図６）から、各アイテムの組み合わせに対応するアイテム共起度を記入する。

部分画像αと部分画像βの候補アイテムが同一となる場合は、アイテム別複数共起度テーブル（図７）から、アイテム複数共起度を記入する。例えば、部分画像αと部分画像βの候補アイテムがともにアイテム４８である場合、アイテム４８が１つ出現した場合において２個目が出現する比率である、ｒ４８＿２が用いられる。部分画像αと部分画像βの候補アイテムがともにアイテム１１である場合、同様にｒ１１＿２が用いられる。

そして評価値を、記入された２つの類似度と共起度の積として計算する（Ｓ６０）。つまり、ｐ４８＿４８は、０．９２×０．８８×ｒ４８＿２によって計算される。このようにして各アイテムの組み合わせについて評価値を求め、最も高い評価値となった組み合わせを、部分画像αと部分画像βの最も可能性の高いアイテムとして選ぶ（Ｓ７０）。この例においては、アイテム４８とアイテム４８の組み合わせが最も高い評価値となったと仮定している。

次に、類似の高い（０．９２）、部分画像αのアイテム４８に基づいて、部分画像γの候補アイテムの決定に進む。アイテム名決定作業用テーブル（図１５（ｂ））に、各候補アイテムの類似度と共起度を記入する。その際、アイテム４８同士となったところは、すでに、部分画像αと部分画像βがアイテム４８と決定されている上で、更に部分画像γがアイテム４８になる共起度であるので、アイテム４８が２つ出現した場合において３個目が出現する比率である、ｒ４８＿３が用いられる。そして評価値が計算され、最も高い評価値となったものを部分画像γのアイテムとして決定する（Ｓ９０）。

次に、図２０に従って、説明する。まず、各部分画像について決定されたアイテムを決定アイテムテーブル（図１６の左側）として作成し、それに基づいて、拡張決定アイテムテーブル（図１６の右側）を作成する（Ｓ１１０）。

次に、拡張決定アイテムテーブル（図１６の右側）の拡張アイテム番号に対応する列（タイトル名詞と拡張アイテムの相関度）をタイトル名詞アイテム相関度テーブル（図８）から抜き出し、タイトル候補判定テーブル（図１７）に記入する（Ｓ１２０）。本例では、部分画像αについてはアイテム４８、部分画像βについてはアイテム６５、部分画像γについてはアイテム７８がそれぞれ決定されているので、タイトル名詞アイテム相関度テーブル（図８）から拡張アイテム番号が４８、６５、７８の列を抜き出してタイトル候補判定テーブル（図１７）にセットしている。

次に、各名詞番号について各アイテムの相関度の積を評価値として計算する。その結果、評価値が最大となる名詞番号に対応する名詞を名詞テーブル（図９）から選び、タイトル名とする（Ｓ１３０）。このようにして、タイトル名が決定されると拡張アイテム名と併せて出力する（Ｓ１４０）。

このようにすることで、入力された空間画像について、画像辞書だけでは決定が困難なアイテムを、アイテム共起辞書を用いてより信頼度高く決定し、加えて、それらのアイテムと相関度の高い空間画像のタイトルを決定することができる。つまり、空間画像を入力すると、その画像に含まれるアイテムのアイテム名とその空間画像のタイトル名をテキストデータとして出力することができる。

（第２の実施形態）
第２の実施形態は、アイテム別共起度テーブル（図６）のアイテム共起度ｋｉ＿ｊが、アイテムｉが出現したときアイテムｊがともに出現する比率であるように作成されているものとする。これにより、ｋｉ＿ｊとｋｊ＿ｉは異なるものとなり、より厳密な利用が可能となる。以下、第１の実施形態と異なる部分のみ説明する。

［テーブル］
図２１は、図１２のアイテム名決定作業用テーブルの作成において、共起度の選択が２つのアイテムのどちらを基準として行うかを判断するようにしたものである。つまり、２つのアイテムの共起度を利用するとき、類似度が高いアイテムを基準として共起度を選ぶのである。理由は、類似度が高いアイテムの方が信頼性が高いアイテムであると考えられ、類似の低いアイテムが曖昧なアイテムであるので、決定順序としては、類似度の高いアイテムを基準として類似度の低いアイテムを決めるべきであり、類似度の低いアイテムを基準として類似度の高いアイテムを決めるべきではないからである。

したがって、図１２（ａ）と比べて、部分画像βの候補アイテムの類似度が部分画像αの候補アイテムの類似度より高い場合は、共起度の指標を入れ替えている。具体的には、アイテム番号１１と１０３、５と１０３、５と６５、６３と１０３、６３と６５、６３と９の６個である。図１２（ｂ）も同様に考えるが、本例においては、アイテム番号４８の類似度がアイテム番号７８、４３、１２３のいずれよりも高いので、第１の実施形態と変わらない。なお、アイテムが同一の場合、つまりｉ＝ｊの場合は、この考慮は不要である。

［処理フロー］
アイテム名決定作業用テーブル（図２１）は、類似度についてはアイテム名決定作業用テーブル（図１２（ａ））と同様に作成されるが、共起度については、２つのアイテムのうち類似度の高いアイテムに基づいてアイテム別共起度テーブル（図６）の行を選び、類似度の低いアイテムに基づいて列を選んで定まるアイテム共起度を記入する。
このようにすることで、より信頼度の高いアイテムの決定を行うことができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

本発明の実施形態の一例に係る空間アイテム認識装置１が有する機能部分、当該機能を果たす上で利用するデータベース９〜１１、及び空間アイテム認識装置１への入力と出力との関係を示した全体図である。 本発明の実施形態の一例に係る空間アイテム認識装置１のハードウェア構成を示す図である。 本発明の実施形態に係る空間画像入力部２が入力を受け付ける画像の一例である。 本発明の実施形態に係る部分画像取得部３が取得した部分画像の例である。 本発明の実施形態の一例に係る候補アイテム取得部５で参照する画像辞書を示す図である。 本発明の実施形態の一例に係る異なるアイテム間の共起関係を表すアイテム別共起度テーブルを示す図である。 本発明の実施形態の一例に係る同一のアイテム間の共起関係を表すアイテム別複数共起度テーブルを示す図である。 本発明の実施形態の一例に係るＷｅｂ上に存在する画像のタイトルに含まれる名詞と、その画像に出現したアイテムとの相関度を示したタイトル名詞アイテム相関度テーブルを示す図である。 本発明の実施形態の一例に係る名詞テーブルを示す図である。 本発明の実施形態の一例に係る拡張アイテム名テーブルを示す図である。 本発明の実施形態の一例に係る候補アイテムテーブルを示す図である。 本発明の第１の実施形態の一例に係るアイテム名を決定する際に使用するアイテム名決定作業用テーブルを示す図である。 本発明の実施形態の一例に係る候補アイテムテーブルについて、アイテム名が決定された様子を示す図である。 本発明の実施形態の一例に係る候補アイテムが重複する場合の候補アイテムテーブルを示す図である。 本発明の第１の実施形態の一例に係る候補アイテムが重複する場合にアイテム名を決定する際に使用するアイテム名決定作業用テーブルを示す図である。 本発明の実施形態の一例に係る決定アイテムテーブルと拡張決定アイテムテーブルの関係を示す図である。 本発明の実施形態の一例に係るタイトル名決定部７によってタイトル名を決定する際に使用するタイトル候補判定テーブルを示す図である。 本発明の実施形態の一例に係るタイトル名と拡張アイテム名をタイトル名／アイテム名出力部８が出力するタイトル名／アイテム名情報を示す図である。 本発明の実施形態の一例に係る空間アイテム認識装置１の処理のフローチャート（その１）である。 本発明の実施形態の一例に係る空間アイテム認識装置１の処理のフローチャート（その２）である。 本発明の第２の実施形態の一例に係るアイテム名を決定する際に使用するアイテム名決定作業用テーブルを示す図である。

符号の説明

１ 空間アイテム認識装置
２ 空間画像入力部
３ 部分画像取得部
４ 特徴情報抽出部
５ 候補アイテム取得部
６ アイテム決定部
７ タイトル名決定部
８ タイトル名／アイテム名出力部
９ 画像辞書ＤＢ
１０ アイテム共起辞書ＤＢ
１１ タイトル／アイテム相関辞書ＤＢ
１２ 空間画像情報
１３ タイトル名／アイテム名情報
２０ バスライン
３０ 制御装置
３１、３２ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
３３ 通信Ｉ／Ｆ（Ｉ／Ｆ：インターフェイス）
３４ メインメモリ
３５ ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）
３６ 表示装置
３７ Ｉ／Ｏコントローラ
３８ 入力装置
３９ ハードディスク
４０ 半導体メモリ
４１ 記憶装置

Claims (12)

1. 画像の入力を受け付ける画像入力部と、
   前記画像から部分画像を取得する部分画像取得部と、
   前記部分画像から特徴情報を抽出する特徴情報抽出部と、
   画像辞書を用い、前記特徴情報に基づき前記部分画像に対応するアイテムの候補を取得する候補アイテム取得部と、
   アイテム共起度を用いて前記アイテムの候補からアイテムを決定するアイテム決定部と、
   前記決定されたアイテムのアイテム名を出力するアイテム名出力部と、
   を備え、
   前記アイテム決定部で用いる前記アイテム共起度は、前記アイテムの候補のうち類似度が高いアイテムを基準としたものであるアイテム認識装置。
2. 前記画像は動画像であり、前記部分画像は、前記動画像を構成する静止画像から取得することを特徴とする請求項１に記載のアイテム認識装置。
3. 前記アイテム決定部で用いる前記アイテム共起度は、２つの異なるアイテムが同一画像に出現することに係るものであることを特徴とする請求項１から請求項２のいずれかに記載のアイテム認識装置。
4. 前記アイテム決定部で用いる前記アイテム共起度は、同一のアイテムが複数個出現することに係るものであることを特徴とする請求項１から請求項３のいずれかに記載のアイテム認識装置。
5. 前記アイテム決定部は、前記アイテムの候補の類似度と該アイテムの候補の共起度に基づいて決定される評価値に基づいてアイテムを決定することを特徴とする請求項１から請求項４のいずれかに記載のアイテム認識装置。
6. 前記アイテム決定部は、類似度の高い候補を持つアイテムの順にアイテムの決定を行うことを特徴とする請求項５に記載のアイテム認識装置。
7. 前記アイテム決定部は、３以上のアイテムについて決定を行う場合、最初に２つのアイテムについて決定を行い、残りのアイテムを、前記決定されたアイテムのうち類似度の高い方を用いて決定される前記評価値に基づいて１つずつ決定することを特徴とする請求項５または請求項６に記載のアイテム認識装置。
8. 前記アイテム決定部は、３以上のアイテムについて決定を行う場合、最初に２つのアイテムについて決定を行い、残りのアイテムを、前記決定されたアイテムのうち類似度の高い方を用いて決定される前記評価値と、前記決定されたアイテムのうち類似度の低い方を用いて決定される前記評価値の両方に基づいて１つずつ決定することを特徴とする請求項５または請求項６に記載のアイテム認識装置。
9. 前記決定されたアイテムとタイトル候補名との相関度に基づき前記画像のタイトル名を決定するタイトル名決定部と、
   前記決定されたタイトル名を出力するタイトル名出力部と、
   を更に備える請求項１から請求項８のいずれかに記載のアイテム認識装置。
10. 前記タイトル名決定部は、前記決定されたアイテムが複数ある場合は、該アイテムのそれぞれとタイトル候補名との相関度の積に基づいて前記タイトル名を決定することを特徴とする請求項９に記載のアイテム認識装置。
11. アイテム認識装置が画像をテキスト情報に変換する方法であって、前記アイテム認識装置が、
    画像の入力を受け付ける画像入力ステップと、
    前記画像から部分画像を取得する部分画像取得ステップと、
    前記部分画像から特徴情報を抽出する特徴情報抽出ステップと、
    画像辞書を用い、前記特徴情報に基づき前記部分画像に対応するアイテムの候補を取得する候補アイテム取得ステップと、
    前記アイテムの候補のうち類似度が高いアイテムを基準としてアイテム共起度を用いて前記アイテムの候補からアイテムを決定するアイテム決定ステップと、
    前記決定されたアイテムのアイテム名を出力するアイテム名出力ステップと、
    を実行する方法。
12. 前記アイテム認識装置が、
    前記決定されたアイテムと、該アイテムとタイトル候補名との相関度に基づき前記画像のタイトル名を決定するタイトル名決定ステップと、
    アイテム認識装置が前記決定されたタイトル名を出力するタイトル名出力ステップと、
    を更に実行する請求項１１に記載の方法。

Images