JPWO2014061222A1 - 情報処理装置、情報処理方法および情報処理用プログラム - Google Patents

Abstract

画像照合部８１は、検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出する。アクション情報判定部８２は、登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、その部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、その部分領域に対応するアクション情報を特定する。アクション情報実行部８３は、アクション情報に応じた情報処理を対象装置に実行させる。

Description

画像に応じた情報処理を行う情報処理装置、情報処理方法および情報処理用プログラムに関する。

近年、印刷された紙媒体を画像化することが行われている。このように画像化した情報は、端末等を用いて電子的に扱うことが可能になる。

特許文献１には、少なくとも２種類の媒体（例えば、第１媒体として印刷された用紙、第２媒体としてディジタルコンテンツ）を含む混合メディア書類を形成する混合メディア書類システムが記載されている。特許文献１に記載されたシステムは、インデックステーブルと共に構築されたコンテンツベースの検索データベースを含み、テキストベースのインデックスを用いてコンテンツを探索する。また、特許文献１に記載されたシステムでは、印刷書類から抽出されたオブジェクト間の２次元の幾何学的な位置関係がインデックステーブルに記憶され、書類の候補は、インデックステーブルから所与のデータを元に算出される。

なお、特許文献２には、画像から特徴点を抽出する方法が記載されている。また、特許文献３には、二つの連結領域の面積比がアフィン変換に対する不変量として算出されることが記載されている。

また、特許文献４には、検索キー画像と類似の特徴を持つ領域を含む画像を検索する画像検索装置が記載されている。特許文献４に記載された画像検索装置は、登録画像中の複数の領域について特徴量を抽出し、抽出した特徴量と検索キー画像から抽出した特徴量とを比較して、検索キー画像と類似した領域を含む類似画像を検索する。

特表２００９−５０６３９４号公報 ＷＯ２０１０／０５３１０９号公報 ＷＯ２００９／１１０４１０号公報 特開２００２−２４５０４８号公報

ところで、画像化して登録された登録画像は、電子的に扱うことができるため、登録画像中の一部を照合することも可能である。しかし、登録画像の一部を検索するために入力される検索画像のバリエーションは膨大であるため、その膨大なバリエーションの画像に基づいて実行する情報処理を一意に特定することは困難であった。

例えば、特許文献１に記載された方法は、印刷媒体及び仮想媒体双方の利点を利用可能にする方法であるが、特許文献１に記載された方法を用いても、検索対象（ドキュメントや画像）の部分的な領域に応じた所定のアクション（例えば、リンク先の表示、動画コンテンツの再生等）を行うことは困難である。

そこで、本発明は、登録画像の一部を示す画像情報が入力されたときに、その入力された画像情報に応じた情報処理を実行できる情報処理装置、情報処理方法および情報処理用プログラムを提供することを目的とする。

本発明による情報処理装置は、検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出する画像照合部と、登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、その部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、その部分領域に対応するアクション情報を特定するアクション情報判定部と、アクション情報に応じた情報処理を対象装置に実行させるアクション情報実行部とを備えたことを特徴とする。

本発明による情報処理方法は、検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出し、登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、その部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、部分領域に対応するアクション情報を特定し、アクション情報に応じた情報処理を対象装置に実行させることを特徴とする。

本発明による情報処理用プログラムは、コンピュータに、検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出する画像照合処理、登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、その部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、その部分領域に対応するアクション情報を特定するアクション情報判定処理、および、アクション情報に応じた情報処理を対象装置に実行させるアクション情報実行処理を実行させることを特徴とする。

本発明によれば、登録画像の一部を示す画像情報が入力されたときに、その入力された画像情報に応じた情報処理を実行できる。

本発明による画像部分領域抽出装置の第１の実施形態の構成例を示すブロック図である。 連結領域の例を示す説明図である。 登録処理の動作例を示すフローチャートである。 第１の実施形態の検索処理の動作例を示すフローチャートである。 対応特徴点を検出する動作例を示すフローチャートである。 対応領域を決定する動作例を示すフローチャートである。 連結対象ノードの例を示す説明図である。 連結対象ノード間に付加されたエッジの例を示す説明図である。 出力領域の例を示す説明図である。 画像部分領域抽出装置を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による画像部分領域抽出装置の第２の実施形態の構成例を示すブロック図である。 第２の実施形態の検索処理の動作例を示すフローチャートである。 対応特徴点対を検出する動作例を示すフローチャートである。 特徴点一致履歴を生成する例を示す説明図である。 対応領域を推定する動作例を示すフローチャートである。 出力領域を推定する動作例を示すフローチャートである。 情報処理装置の例を示すブロック図である。 第３の実施形態で示す情報処理装置の動作例を示すフローチャートである。 アクション情報を判定する動作例を示すフローチャートである。 本発明の情報処理装置の概要を示すブロックである。

次に、本発明を実施するための最良の形態を図面を参照して詳細に説明する。

実施形態１．
図１は、本発明による画像部分領域抽出装置の第１の実施形態の構成例を示すブロック図である。本実施形態の画像部分領域抽出装置は、登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点検出部２０４と、対応領域判定部２０５とを備えている。

これらの手段はそれぞれ概略次のように動作する。

登録画像特徴点生成部Ｒ２０１は、登録画像から特徴点を生成する。具体的には、登録画像特徴点生成部Ｒ２０１は、既知の方法を用いて登録画像から特徴点を生成する。登録画像特徴点生成部Ｒ２０１は、例えば、二値化または色空間クラスタリング等の方法を用いて、登録画像から連結領域を抽出し、各連結領域の重心点を抽出して特徴点としてもよい。連結領域とは、互いに同じ色に属すると判定された画素のうち互いに隣接関係にある画素を連結した領域であり、画像処理の分野においては既知の概念である。また、非連結領域とは、連結領域以外の領域である。

図２は、連結領域の例を示す説明図である。図２に示す例では、「Ａ」という文字が記載された画像５０から１つの連結領域５１が抽出され、その連結領域５１の重心点を特徴点５２として抽出したことを示す。また、図２に示す例では、「Ａ」という文字を形成する画素の集合が連結領域に相当する。

ただし、登録画像特徴点生成部Ｒ２０１が特徴点を抽出する方法は、上記方法に限定されない。登録画像特徴点生成部Ｒ２０１は、例えば、特許文献２に記載された登録画像特徴点抽出モジュールが特徴点を抽出する方法を利用してもよいし、特徴点を抽出する前にガウシアンフィルタ等のフィルタを適用してもよい。以下、登録画像特徴点生成部Ｒ２０１が連結領域の重心点を特徴点として抽出する方法を例に説明する。

登録画像特徴点配置生成部Ｒ２０２は、登録画像特徴点生成部Ｒ２０１により求められた特徴点から１つ以上の特徴点配置を生成する。具体的には、登録画像特徴点配置生成部Ｒ２０２は、既知の方法を用いて特徴点配置を生成する。ここで、特徴点配置とは、所定の規則に基づいて順序付けされた互いに近傍に存在する特徴点の集合を示す。

登録画像特徴点配置生成部Ｒ２０２は、例えば、特許文献２に記載された方法を用いて特徴点配置を生成してもよい。具体的には、登録画像特徴点配置生成部Ｒ２０２は、登録画像から抽出した各特徴点を注目特徴点とし、以下の手順に従って特徴点配置を生成してもよい。

まず、登録画像特徴点配置生成部Ｒ２０２は、登録画像から得られた特徴点（注目特徴点）の近傍に存在する特徴点群を求める。次に、登録画像特徴点配置生成部Ｒ２０２は、各注目特徴点から最近傍にある特徴点を第１要素として選択する。そして、登録画像特徴点配置生成部Ｒ２０２は、注目特徴点を端点として第１要素とした特徴点を通る半直線を想定し、その半直線を上記端点（注目特徴点）を中心に回転させる。このとき、登録画像特徴点配置生成部Ｒ２０２は、他の特徴点が半直線と交わる順に第２要素以降の特徴点を順次選択する。

登録画像特徴量生成部Ｒ２０３は、登録画像特徴点配置生成部Ｒ２０２によって生成された特徴点配置のそれぞれに対して、特徴量を計算する。ここで算出される特徴量は、幾何学的変換に不変な特徴量である。この特徴量を計算する方法の一例として、特許文献２に記載された不変量の計算方法が利用できる。

登録画像特徴量生成部Ｒ２０３は、特徴点配置内の特徴点に予め付与された順序と、幾何学的不変量を計算するための特徴点の順列とを１つ以上対応付け、対応付けられた各々の特徴点順列から不変量を計算してもよい。また、登録画像特徴量生成部Ｒ２０３は、複数の特徴点を結んで形成される１つ以上の三角形を生成し、各三角形の面積に基づいて算出された不変量を特徴量としてもよい。以下の説明では、上述する各三角形の面積に基づいて特徴量を計算する方法を、三角形に基づく不変量計算法と呼ぶ。

ただし、登録画像特徴量生成部Ｒ２０３が特徴量を計算する方法は、三角形に基づく不変量計算法に限定されない。登録画像特徴量生成部Ｒ２０３は、例えば、特許文献３に記載された方法を用いて特徴量を計算してもよい。具体的には、登録画像特徴量生成部Ｒ２０３は、特徴点を抽出するために登録画像特徴点生成部Ｒ２０１が抽出した各連結領域の面積比を特徴量としてもよい。

特許文献３に記載されているように、二つの連結領域の面積比は、アフィン変換に対する不変量である。例えば、登録画像が二値化されている場合、連結領域は黒画素の領域として表わされる。ここで、特徴点集合に含まれる特徴点の個数をｎとすると、以下に示す式ａ_１から式ａ_ｎを順に並べたものは、アフィン変換による変形に不変な性質を持つ特徴量になる。

（第１特徴点を計算する元である連結領域の黒画素数）／（第２特徴点を計算する元である連結領域の黒画素数） ・・・式ａ_１
（第２特徴点を計算する元である連結領域の黒画素数）／（第３特徴点を計算する元である連結領域の黒画素数） ・・・式ａ_２
・・・
（第ｎ−１特徴点を計算する元である連結領域の黒画素数）／（第ｎ特徴点を計算する元である連結領域の黒画素数） ・・・式ａ_ｎ−１
（第ｎ特徴点を計算する元である連結領域の黒画素数）／（第１特徴点を計算する元である連結領域の黒画素数） ・・・式ａ_ｎ

また、注目特徴点付近において局所的にアフィン変換で近似できる場合、式ａ_１から式ａ_ｎを順に並べて算出される特徴量は、射影変換に対しても擬似的に不変な性質を持つ特徴量になる。以下の説明では、連結領域の黒画素数の比により不変量（特徴量）を求める方法を、連結領域面積に基づく不変量計算法と呼ぶ。

なお、ここでは、二値化された登録画像を用いた場合を例示して連結領域面積に基づく不変量計算法を説明したが、用いられる登録画像は、二値化された登録画像に限定されない。例えば、色空間クラスタリング等の方法を用いて登録画像から連結領域が抽出されている場合、登録画像特徴量生成部Ｒ２０３は、クラスタ化された色空間に含まれる画素により連結領域が抽出されていると判断し、各連結領域の画素数の比により不変量（特徴量）を求めてもよい。

以上に述べた特徴量は、単独で用いられてもよいし、２つ以上の特徴量を組み合わせて用いられてもよい。以下の例では、三角形に基づく不変量計算法により求められる特徴量と、連結領域面積に基づく不変量計算法により求められる特徴量とを組み合わせて用いるものとし、両特徴量を組み合わせたものを、特徴点配置に対する特徴量、または、単に特徴量と記す。このように、登録画像について、注目特徴点ごとに特徴点配置に基づいて幾何学的変換に不変な特徴量が算出される。なお、登録画像特徴量生成部Ｒ２０３は、算出された特徴量を記憶する登録画像特徴量記憶装置（図示せず）を含んでいてもよい。この場合、登録画像特徴量生成部Ｒ２０３は、算出された特徴量を登録画像特徴量記憶装置に記憶する。

検索画像特徴点生成部Ｑ２０１は、検索画像から特徴点を生成する。検索画像特徴点生成部Ｑ２０１は、例えば、既知の方法で検索画像から特徴点を生成してもよいし、登録画像特徴点生成部Ｒ２０１が登録画像から特徴点を生成する方法と同一の方法を用いて特徴点を生成してもよい。ただし、検索画像特徴点生成部Ｑ２０１が特徴点を生成する方法は、これらの方法に限定されない。

検索画像特徴点配置生成部Ｑ２０２は、特徴点配置を生成する。検索画像特徴点配置生成部Ｑ２０２は、例えば、既知の方法で特徴点配置を生成してもよいし、登録画像特徴点配置生成部Ｒ２０２が特徴点から特徴点配置を生成する方法と同一の方法を用いて特徴点配置を生成してもよい。ただし、検索画像特徴点配置生成部Ｑ２０２が特徴点配置を生成する方法は、これらの方法に限定されない。

検索画像特徴量生成部Ｑ２０３は、検索画像特徴点配置生成部Ｑ２０２によって生成された特徴点配置のそれぞれに対して、特徴量を計算する。検索画像特徴量生成部Ｑ２０３は、登録画像特徴量生成部Ｒ２０３が特徴量を計算する方法と同一の方法を用いて特徴量を計算してもよい。ただし、検索画像特徴量生成部Ｑ２０３が特徴量を計算する方法は、この方法に限定されない。このように、検索画像についても、注目特徴点ごとに特徴点配置に基づいて幾何学的変換に不変な特徴量が算出される。

対応特徴点検出部２０４は、登録画像特徴量生成部Ｒ２０３が生成した特徴量と検索画像特徴量生成部Ｑ２０３が生成した特徴量を比較することで、各々の特徴量が生成された元となる特徴点配置同士が一致しているかどうかを判定する。

そして、対応特徴点検出部２０４は、この一致しているかどうかの判定結果を利用して、検索画像の特徴点に対応する特徴点（以下、対応特徴点と記す。）が登録画像のどこにあるか（すなわち、検索画像の特徴点が登録画像から抽出された特徴点のどれであるか）を検出する。この判定は、登録画像特徴量生成部Ｒ２０３で生成された特徴量と検索画像特徴量生成部Ｑ２０３で生成された特徴量のすべての組み合わせに対して行われるのが一例である。また、全ての特徴量の組合せに対して検出処理を行うのではなく、各特徴点に適切な索引を付与することで、検出処理を高速化してもよい。

対応領域判定部２０５は、対応特徴点検出部２０４にて検出された一致する特徴点配置を利用して、検索画像が登録画像中のどこに含まれているかを判定する。具体的には、対応領域判定部２０５は、対応特徴点により特定される登録画像中の部分領域を抽出する。

なお、対応特徴点検出部２０４および対応領域判定部２０５の詳細な動作については、後述される。

登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点検出部２０４と、対応領域判定部２０５とは、プログラム（画像部分領域抽出用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、画像部分領域抽出装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、登録画像特徴点生成部Ｒ２０１、登録画像特徴点配置生成部Ｒ２０２、登録画像特徴量生成部Ｒ２０３、検索画像特徴点生成部Ｑ２０１、検索画像特徴点配置生成部Ｑ２０２、検索画像特徴量生成部Ｑ２０３、対応特徴点検出部２０４および対応領域判定部２０５として動作してもよい。

また、登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点検出部２０４と、対応領域判定部２０５とは、それぞれが専用のハードウェアで実現されていてもよい。

また、本実施形態では、画像部分領域抽出装置で特徴量を算出する構成を例示しているが、他の装置で算出された登録画像の特徴量および検索画像の特徴量を画像部分領域抽出装置の対応特徴点検出部２０４が受信する構成であってもよい。この場合、画像部分領域抽出装置は、対応特徴点検出部２０４および対応領域判定部２０５を備えていればよい。また、予め算出した登録画像の特徴量を、画像部分領域抽出装置の記憶部（図示せず）に記憶しておいてもよい。

次に、本実施形態の動作を説明する。ここでは、画像部分領域抽出装置が行う処理を登録処理と検索処理の大きく２つに分けて説明する。

「登録処理」
図３は、登録処理の動作例を示すフローチャートである。登録処理は、検索処理に先立って行われる処理であり、検索処理に必要な特徴量のデータを生成する処理である。図３を参照すると、登録処理は、登録画像特徴点生成処理（ステップＳＲ２０１）、登録画像特徴点配置生成処理（ステップＳＲ２０２）、登録画像特徴量生成処理（ステップＳＲ２０３）から構成される。

まず、登録画像特徴点生成部Ｒ２０１は、登録画像から特徴点を抽出する（ステップＳＲ２０１）。次に、登録画像特徴点配置生成部Ｒ２０２は、登録画像特徴点生成部Ｒ２０１が生成した特徴点をもとに１つ以上の特徴点配置を生成する（ステップＳＲ２０２）。そして、登録画像特徴量生成部Ｒ２０３は、登録画像特徴点配置生成部Ｒ２０２が生成した１つ以上の特徴点配置それぞれの特徴量を計算する（ステップＳＲ２０３）。

「検索処理」
図４は、本実施形態の検索処理の動作例を示すフローチャートである。検索処理は、検索画像から特徴量を計算し、その特徴量を登録画像から計算された特徴量と比較することにより、登録画像中から検索画像に相当する部分を判定する処理である。図４を参照すると、検索処理は、検索画像特徴点生成処理（ステップＳＱ２０１）、検索画像特徴点配置生成処理（ステップＳＱ２０２）、検索画像特徴量生成処理（ステップＳＱ２０３）、対応特徴点検出処理（ステップＳＱ２０４）、対応領域決定処理（ステップＳＱ２０５）から構成される。

まず、検索画像特徴点生成部Ｑ２０１は、検索画像から特徴点を抽出する（ステップＳＱ２０１）。次に、検索画像特徴点配置生成部Ｑ２０２は、検索画像特徴点生成部Ｑ２０１が生成した特徴点をもとに１つ以上の特徴点配置を生成する（ステップＳＱ２０２）。そして、検索画像特徴量生成部Ｑ２０３は、検索画像特徴点配置生成部Ｑ２０２が生成した１つ以上の特徴点配置それぞれの特徴量を計算する（ステップＳＱ２０３）。

次に、対応特徴点検出部２０４は、対応特徴点を検出する（ステップＳＱ２０４）。具体的には、対応特徴点検出部２０４は、検索画像中の特徴点に対応する登録画像中の特徴点を検出する。以下、図５を参照し、対応特徴点を検出する処理を詳述する。図５は、対応特徴点を検出するステップＳＱ２０４の動作例を示すフローチャートである。

図５を参照すると、対応特徴点を検出する処理は、特徴量比較処理（ステップＳＱ２０４１）、特徴量一致判定処理（ステップＳＱ２０４２）、特徴点一致回数カウント処理（ステップＳＱ２０４３）から構成される。登録画像特徴量生成部Ｒ２０３が生成した特徴量（以下、登録画像特徴量と呼ぶ。）と検索画像特徴量生成部Ｑ２０３が生成した特徴量（以下、検索画像特徴量と呼ぶ。）のすべての組み合わせについて、以下に述べるステップＳＱ２０４の処理が個別に行われる。

ステップＳＱ２０４では、まず、対応特徴点検出部２０４は、登録画像特徴量と検索画像特徴量の組み合わせを比較する。対応特徴点検出部２０４は、例えば、２乗距離、市街地距離、ベクトル内積などの既知の方法で、登録画像特徴量と検索画像特徴量の距離を求めてもよい（ステップＳＱ２０４１）。また、対応特徴点検出部２０４は、以下に示す方法で登録画像特徴量と検索画像特徴量の距離を求めてもよい。この距離が近いほど、両特徴量の一致度合いが高いと言える。

まず、対応特徴点検出部２０４は、比較する特徴量を表す対応する要素（例えば、ベクトルの要素）ごとに差分を算出し、差分の絶対値が予め定められた範囲内にある場合には、距離に１を加算し、差分の絶対値が予め定められた範囲内にない場合には、０を加算する。対応特徴点検出部２０４は、すべての要素についてこれらの処理を繰り返すことで距離を算出する。この場合、算出される値が大きいほど距離が近く、より両特徴量の一致度合いが高いと言える。

対応特徴点検出部２０４は、上述した方法を複数組み合わせて、登録画像特徴量と検索画像特徴量の距離を算出してもよい。例えば、不変量特徴量と面積比特徴量をあわせて用いる場合、対応特徴点検出部２０４は、不変量特徴量については２乗距離を計算し、面積比特徴量については要素ごとに差分を取る方法で距離を計算してもよい。

次に、対応特徴点検出部２０４は、登録画像特徴量と検索画像特徴量が一致しているかどうかを判定する（ステップＳＱ２０４２）。すなわち、対応特徴点検出部２０４は、登録画像特徴量と検索画像特徴量の一致度合いを比較する。登録画像特徴量と検索画像特徴量が一致すると判定された場合（ステップＳＱ２０４２における「一致」）、ステップＳＱ２０４３の処理が行われ、登録画像特徴量と検索画像特徴量が一致しないと判定された場合（ステップＳＱ２０４２における「不一致」）、ステップＳＱ２０４３の処理が省略される。

対応特徴点検出部２０４は、例えば、ステップＳＱ２０４１にて計算された距離が予め定められた閾値未満、または閾値以下の値の場合に、特徴量が一致すると判定してもよい。また、特徴量が複数の種類の特徴量から算出されている場合、対応特徴点検出部２０４は、少なくとも１つまたは予め指定された種類数の特徴量が一致したときに特徴量全体が一致していると判定してもよいし、すべての種類の特徴量が一致したときに特徴量全体が一致していると判定してもよい。

次に、対応特徴点検出部２０４は、一致した特徴点の一致回数を加算する（ステップＳＱ２０４３）。対応特徴点検出部２０４は、特徴量を求める元となった特徴点配置中の特徴点ごとに一致回数を加算してもよい。また、対応特徴点検出部２０４は、登録画像特徴量を求める元となった特徴点配置を生成した際の注目特徴点ごとに一致回数を加算してもよい。なお、特徴点の一致回数の初期値は、初期化処理で０に設定しておくこととする。以下の説明では、特徴量を求める元となった特徴点配置中の特徴点ごとに一致回数が加算されるものとする。なお、特徴点は、複数の特徴点配置によって共有されることから、特徴点の一致回数は複数加算されることになる。

次に、対応領域判定部２０５は、対応領域を決定する（ステップＳＱ２０５）。具体的には、対応領域判定部２０５は、検索画像に対応する登録画像中の領域を対応領域として決定する。以下、図６を参照し、対応領域を決定する処理を詳述する。図６は、対応領域を決定するステップＳＱ２０５の動作例を示すフローチャートである。

図６を参照すると、対応領域を決定する処理は、連結対象ノード抽出処理（ステップＳＱ２０５１）、特徴点連結処理（ステップＳＱ２０５２）、連結グラフ検出処理（ステップＳＱ２０５３）、出力領域決定処理（ステップＳＱ２０５４）から構成される。

対応領域判定部２０５は、予め定められた一定以上の一致回数を持つ特徴点を連結対象ノードとして登録画像から抽出する（ステップＳＱ２０５１）。ここで、ノードとは、グラフ理論で用いられる用語である。本実施形態では、特徴点がノードとみなされる。また、対応領域判定部２０５が抽出する連結対象ノードは、対応特徴点の中でも検索画像中の特徴点との一致度合いがより高い特徴点であるといえる。そのため、対応領域判定部２０５は、対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点を連結対象ノードとして抽出していると言うことができる。

図７は、連結対象ノードの例を示す説明図である。図７に示す例では、黒丸の部分が連結対象ノードを示し、白丸の部分が非連結対象ノードを示す。ここで、非連結対象ノードとは、特徴点（ノード）のうち、連結対象ノードと判定されなかったノードを示す。

次に、対応領域判定部２０５は、連結対象ノードの間の距離が互いに近い場合に、それらの連結対象ノード間にエッジを付加する（ステップＳＱ２０５２）。ここで、エッジとは、グラフ理論で用いられる用語であり、ノード間を結ぶ線のことを意味する。また、以下の説明では、このエッジのことをグラフと称することもある。

対応領域判定部２０５は、連結対象ノード間の距離が予め定められた閾値よりも小さい場合に、その連結対象ノード間にエッジを付加してもよい。また、対応領域判定部２０５は、各連結対象ノードが含まれる連結領域の距離が予め定められた閾値よりも小さい場合に、その連結対象ノード間にエッジを付加してもよい。ここで、連結領域Ｃ１に属する画素をｐ１とし、連結領域Ｃ２に属する画素をｐ２としたとき、連結領域Ｃ１と連結領域Ｃ２の距離ｄｉｓｔ（ｐ１，ｐ２）は、例えば、以下に示す式１で算出される。なお、ｐ１およびｐ２は、各連結領域から任意に選択される画素である。

図８は、ノード連結処理によって連結対象ノード間に付加されたエッジの例を示す説明図である。図８に例示するエッジは、図７に例示する連結対象ノード間を結ぶようにそれぞれ付加されている。

次に、対応領域判定部２０５は、ステップＳＱ２０５２で生成されたグラフの中から、連結グラフを１つ以上検出する（ステップＳＱ２０５３）。ここで、連結グラフとは、互いにエッジで接続された一続きのノードとエッジの組み合わせを意味する。なお、グラフ理論において既知の方法である深さ優先探索を行うことにより、１つ以上の連結グラフが検出されることが知られている。そこで、対応領域判定部２０５は、深さ優先探索を行うことで、連結グラフを検出してもよい。図８に示す例では、２つの連結グラフが検出される。

次に、対応領域判定部２０５は、ステップＳＱ２０５３で検出された連結グラフから、出力する領域を決定する（ステップＳＱ２０５４）。例えば、連結グラフＧ_ｋ（ｋは１以上の整数）内のノードｊ（ｊは整数）を含む連結領域の外接矩形の四隅座標を（ｘ_{ｍｉｎ＿ｊ（ｋ）}，ｙ_{ｍｉｎ＿ｊ（ｋ）}）、（ｘ_{ｍａｘ＿ｊ（ｋ）}，ｙ_{ｍｉｎ＿ｊ（ｋ）}）、（ｘ_{ｍｉｎ＿ｊ（ｋ）}，ｙ_{ｍａｘ＿ｊ（ｋ）}）、（ｘ_{ｍａｘ＿ｊ（ｋ）}，ｙ_{ｍａｘ＿ｊ（ｋ）}）とする。このとき、対応領域判定部２０５は、出力する領域を（ｘ_{ｍｉｎ＿ｍｉｎ（ｋ）}，ｙ_{ｍｉｎ＿ｍｉｎ（ｋ）}）および（ｘ_{ｍａｘ＿ｍａｘ（ｋ）}，ｙ_{ｍａｘ＿ｍａｘ（ｋ）}）を対角の頂点とする矩形領域と決定すればよい。ここで、頂点の座標は、以下の条件を満たす。

図９は、出力領域の例を示す説明図である。図９に例示する点線の矩形は、各連結領域の外接矩形を示している。また、図９に例示する破線の矩形は、図８に例示する２つの連結グラフから決定された２つの出力領域を示している。

なお、上記説明では、連結領域に外接する領域を、四隅の座標で特定可能な矩形で表わす場合を例示した。他にも連結領域に外接する領域を、ノードｊを中心とした半径ｒ（ｒは０以上の実数）の円で表わすことも可能である。なお、ｒ＝０の場合、上述の説明において、ｘ_{ｍｉｎ＿ｊ（ｋ）}＝ｘ_{ｍａｘ＿ｊ（ｋ）}かつｙ_{ｍｉｎ＿ｊ（ｋ）}＝_{ｙｍａｘ＿ｊ（ｋ）}と同義である。

また、対応領域判定部２０５が出力領域を決定する方法は、上記方法に限定されない。対応領域判定部２０５は、連結グラフに属する各ノードを含む連結領域の外接矩形領域の和領域、または、ノードｊを中心とした半径ｒ（ｒは０以上の実数）の円領域の和領域を出力領域としてもよい。

また、複数の出力領域が得られる場合、対応領域判定部２０５は、各出力領域の確からしさを示す指標を利用して出力領域を決定してもよい。出力領域の確からしさを示す指標として、例えば、出力領域の面積、出力領域に含まれる連結対象ノード数、出力領域に含まれる特徴点数、出力領域中の特徴点（または連結対象ノード）の特徴点一致回数の最大値、出力領域中の特徴点（または連結対象ノード）の特徴点一致回数の総和などが挙げられる。複数の出力領域が得られる場合、対応領域判定部２０５は、これらの指標がより大きい（多い）ほどより確からしいと判断し、これらの指標に基づいてより確からしい出力領域を選択してもよい。

このように、対応領域判定部２０５は、エッジにより結ばれる連結対象ノードを特定することによって連結領域を特定し、その連結領域から導かれる領域を登録画像中の部分領域として抽出することになる。

以上のように、本実施形態によれば、対応特徴点検出部２０４が、登録画像特徴量と検索画像特徴量との一致度合いを比較して対応特徴点を検出し、対応領域判定部２０５が、検出された対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出する。よって、解像度や撮影角度が登録画像と異なる検索画像を用いても、その検索画像に対応する部分領域を登録画像から抽出できる。

具体的には、対応特徴点検出部２０４が、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出し、対応領域判定部２０５が、一致回数が予め定めた回数以上の対応特徴点を連結対象ノードとし、その連結対象ノードにより特定される登録画像中の部分領域を抽出すればよい。

すなわち、本実施形態では、登録画像と検索画像のそれぞれに対して連結領域の重心から特徴点配置が求められる。また、特徴点およびその特徴点に対応する連結領域の配置から幾何学的変換に不変な特徴量を計算し、登録画像特徴量と検索画像特徴量とを比較する。これにより、登録画像内で検索画像に対応する特徴点が検出され、それら特徴点の情報を統合して出力領域が求められる。

よって、注目窓を設定することなく検索画像に相当する領域を登録画像中から求めることができるので、登録画像と検索画像の間に大きさや撮影角度のバリエーションがあっても、部分的な領域の画像照合が可能になる。

なお、図１０は、本実施形態の画像部分領域抽出装置を実現可能な情報処理システムの構成例を示すブロック図である。図１０に例示する情報処理システム１は、例えばＣＰＵなどに代表される演算装置６（以下、単にＣＰＵ６と呼ぶ。）と、記憶媒体７とから構成されている。また、情報処理システム１は、入出力インターフェイス８や表示デバイス９を備えていても良い。

ＣＰＵ６は、上述する各種手段を実装した各種ソフトウェア・プログラム（コンピュータ・プログラム）を実行することにより、情報処理システム１の全体的な動作を司る。

記憶媒体７は、各種ソフトウェア・プログラムとその実行に必要なデータを格納するための記憶媒体である。

入出力インターフェイス８は、情報処理システム１の外部とデータ通信を行う際に用いられる。通信されるデータの例としては、情報処理システム１外部で生成された特徴点配置データや、照合結果出力データが挙げられるが、これらに限られない。

入出力インターフェイス８は、少なくともＣＰＵ６との通信ができればよく、例えば、外部からの信号を伝達できる通信線を接続するコネクタや、無線信号を受信する機器などが用いられる。または、情報処理システム１の内部の信号伝達経路の一部をそのまま入出力インターフェイス８として用いてもよい。また、入出力インターフェイス８の別の一例として、表示デバイス９またはスピーカ（図示せず）等のユーザインターフェース機器がある。

表示デバイス９は、情報処理システム１が実行する画像照合の結果を表示するためのデバイスであり、例えばディスプレイ装置である。図１０には、表示デバイス９を記載しているが、画像部分領域抽出装置に必ずしも必須の構成要素ではない。

実施形態２．
次に、本発明による画像部分領域抽出装置の第２の実施形態を説明する。図１１は、本発明による画像部分領域抽出装置の第２の実施形態の構成例を示すブロック図である。本実施形態の画像部分領域抽出装置は、登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点対検出部３０４と、対応領域推定部３０５とを備えている。

すなわち、本実施形態の画像部分領域抽出装置は、対応特徴点検出部２０４および対応領域判定部２０５の代わりに、対応特徴点対検出部３０４および対応領域推定部３０５を備えている点において、第１の実施形態の画像部分領域抽出装置と異なる。本実施形態の説明では、第１の実施形態と異なる点を中心に説明する。

対応特徴点対検出部３０４は、対応特徴点検出部２０４が持つ機能に加えて、一致すると判定された検索画像中の特徴点と登録画像中の特徴点の組み合わせ（ペア）を記憶媒体（図示せず）に格納する機能を有する。以下、一致すると判定された検索画像中の特徴点と登録画像中の特徴点の組み合わせのことを、特徴点一致履歴と記す。

対応領域推定部３０５は、対応領域判定部２０５が持つ機能に加え、対応特徴点対検出部３０４にて検出された一致する特徴点配置から幾何変換パラメータ（ホモグラフィ行列、アフィン変換パラメータなど）を推定し、推定された幾何変換パラメータと検索画像のサイズとから対応領域を推定する。

なお、登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点対検出部３０４と、対応領域推定部３０５とは、プログラム（画像部分領域抽出用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

また、第１の実施形態と同様、登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点対検出部３０４と、対応領域推定部３０５とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態の画像部分領域抽出装置の動作を説明する。本実施形態の画像部分領域抽出装置が行う処理も、登録処理と検索処理の大きく２つに分けられるが、登録処理は第１の実施形態と同様のため、検索処理について説明する。

図１２は、本実施形態の検索処理の動作例を示すフローチャートである。図１２を参照すると、本実施形態では、対応特徴点検出処理ＳＱ２０４が対応特徴点対検出処理ＳＱ３０４に置き換わり、対応領域決定処理ＳＱ２０５が対応領域推定処理ＳＱ３０５に置き換わっている点において、第１の実施形態と異なる。

図１３は、対応特徴点対を検出するステップＳＱ３０４の動作例を示すフローチャートである。図１３を参照すると、ステップＳＱ３０４が第１の実施形態のステップＳＱ２０４と異なっているのは、特徴点一致回数カウント処理ＳＱ２０４３の後に、特徴点一致履歴格納処理ＳＱ３０４３が追加されている点である。

対応特徴点対検出部３０４は、ステップＳＱ２０４２で特徴量が一致したと判定された場合に、一致した各特徴量を示す特徴点を用いて特徴点一致履歴を生成する（ステップＳＱ３０４３）。対応特徴点対検出部３０４は、このとき、特徴量を求める元となった特徴点配置の各特徴点が一致したと判断してもよい。そして、対応特徴点対検出部３０４は、登録画像特徴量を求める元になった特徴点配置に含まれる特徴点と、検索画像特徴量を求める元になった特徴点配置に含まれる特徴点について、対応する各特徴点を対にした特徴点一致履歴を生成してもよい。

図１４は、特徴点一致履歴を生成する例を示す説明図である。図１４に示す例では、Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６の順に順序付けられている特徴点の特徴点配置が登録画像中に存在し、Ｑ１、Ｑ２、Ｑ３、Ｑ４、Ｑ５、Ｑ６の順に順序付けられている特徴点の特徴点配置が検索画像中に存在しているものとする。ここで、両特徴点配置が一致したと判定された場合、対応特徴点対検出部３０４は、Ｒ１とＱ１、Ｒ２とＱ２、Ｒ３とＱ３、Ｒ４とＱ４、Ｒ５とＱ５、Ｒ６とＱ６をそれぞれ特徴点対として検出して、特徴点一致履歴を生成してもよい。

また、対応特徴点対検出部３０４は、登録画像特徴量を求める元となった特徴点配置を生成した際の注目特徴点が一致したと判断してもよい。このとき、対応特徴点対検出部３０４は、登録画像特徴量を求める元となった特徴点配置に含まれる注目特徴点と、検索画像特徴量を求める元となった特徴点配置に含まれる注目特徴点を対にした特徴点一致履歴を生成してもよい。

以下の説明では、対応特徴点対検出部３０４が特徴量を求める元となった特徴点配置の各特徴点が一致したと判断して特徴点一致履歴を生成する場合を例に説明する。

図１５は、対応領域を推定するステップＳＱ３０５の動作例を示すフローチャートである。図１５を参照すると、ステップＳＱ３０５が第１の実施形態のステップＳＱ２０５と異なっているのは、出力領域決定処理ＳＱ２０５４が出力領域推定処理ＳＱ３０５４に置き換わっている点である。

図１６は、出力領域を推定するステップＳＱ３０５４の動作例を示すフローチャートである。図１６を参照すると、まず、対応領域推定部３０５は、後述する条件を満たす特徴点対を特徴点一致履歴から複数選択する（ステップＳＱ３０５４１）。幾何変換パラメータとしてホモグラフィ行列を採用する場合、対応領域推定部３０５は、特徴点対を４対以上選択すればよく、アフィン変換パラメータを採用する場合は、特徴点対を３対以上選択すればよい。ここでは、幾何変換パラメータとしてホモグラフィ行列を採用し、選択する特徴点対の数を４とする。特徴点を選択する際に満たすべき条件は、以下の条件である。

・特徴点対として選択される特徴点は、それぞれ同一の連結グラフに属している。
・同一の連結グラフにそれぞれ属する特徴点対が５対以上ある場合は、ランダムに４対を選択する。

次に、対応領域推定部３０５は、幾何変換パラメータを計算する（ステップＳＱ３０５４２）。ホモグラフィ行列Ｈは、登録画像の位置（ｘｒ，ｙｒ）と検索画像の位置（ｘｑ，ｙｑ）との間の関係を表す３×３行列であり、具体的には以下に示す式２を満たす。

上記に示す式２において、αは、（ｘｒ，ｙｒ）と（ｘｑ，ｙｑ）の値に応じて定まる定数である。選択された４つの特徴点対の各特徴点の座標を利用すれば、連立方程式を解くことにより、ホモグラフィ行列が求められる。５つ以上の特徴点対が選択された場合は、最小二乗法などによりホモグラフィ行列を求めることができる。

次に、対応領域推定部３０５は、幾何変換パラメータの評価値を計算する（ステップＳＱ３０５４３）。対応領域推定部３０５は、例えば、検索画像のすべての特徴点をホモグラフィ行列により登録画像に投影する。そして、対応領域推定部３０５は、投影された特徴点の中で予め定められた値よりも小さい、またはその値以下の距離の中に登録画像から計算された特徴点が存在するかを検出し、検出された特徴点の個数を評価値としてもよい。

また、対応領域推定部３０５は、検索画像から求められるすべての連結領域またはその外接矩形領域を投影し、投影された位置に存在する登録画像中の部分画像と比較してもよい。このとき、対応領域推定部３０５は、一致するか否かを既知の方法で判定し、一致した領域の数を評価値としてもよい。

対応領域推定部３０５は、例えば、特徴量を検出した後で距離の計算等を行い、その距離が一定の値よりも小さいまたは一定の値以下の場合に一致すると判定してもよい。また、対応領域推定部３０５は、正規化相関を用いて一致するか否かを判定してもよい。以上のことからも、このように算出される評価値は、用いられる幾何変換パラメータの確からしさを示していると言える。

次に、対応領域推定部３０５は、計算された評価値がこれまでに計算された評価値の中で最大か否かを、過去の計算履歴をもとに判定する（ステップＳＱ３０５４４）。計算された評価値が過去の最大値を上回っている場合（ステップＳ３０５４４におけるＹｅｓ）、対応領域推定部３０５は、評価値の最大値を置き換えた上でホモグラフィ行列の値を保持する（ステップＳＱ３０５４５）。一方、計算された評価値が過去の最大値を上回っていない場合（ステップＳＱ３０５４４におけるＮｏ）、ステップＳＱ３０５４６の処理に進む。

次に、対応領域推定部３０５は、評価値の計算を終了するか否かを判定する（ステップＳＱ３０５４６）。対応領域推定部３０５は、評価値の計算回数が予め定められた回数を超えた場合に、評価値の計算を終了すると判定してもよい。また、対応領域推定部３０５は、評価値が予め定められた値を上回ったまたは予め定められた値以上の場合に、評価値の計算を終了すると判定してもよい。ただし、評価値の計算を終了するか否かを判定する方法は、これらの方法に限定されない。このように算出された評価値は、評価値の計算を行う条件のもとに、幾何変換パラメータが検索画像を登録画像に変換する確からしさが最も高いものと言える。

評価値の計算を終了しないと判定した場合（ステップＳＱ３０５４６におけるＮｏ）、ステップＳＱ３０５４１以降の処理が繰り返される。一方、評価値の計算を終了すると判定した場合（ステップＳＱ３０５４６におけるＹｅｓ）、対応領域推定部３０５は、検索画像に相当する登録画像中の位置を推定し、出力領域とする（ステップＳＱ５０５４７）。すなわち、対応領域推定部３０５は、算出したホモグラフィ行列に基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出する。具体的には、対応領域推定部３０５は、評価値が最大になったホモグラフィ行列の値を用いて、検索画像の領域を登録画像中に投影する。例えば、検索画像が長方形の場合は、検索画像の四隅座標をホモグラフィ行列で投影し、投影された４点で決定される四角形が出力領域になる。

以上のように、本実施形態によれば、対応特徴点対検出部３０４が、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、一致した各特徴量の特徴点を用いて特徴点一致履歴を生成する。そして、対応領域推定部３０５が、特徴点一致履歴を用いて幾何変換パラメータ（ホモグラフィ行列）を算出し、算出したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出する。

すなわち、本実施形態では、推定されたホモグラフィ行列と検索画像の領域を利用して出力領域を求めるように構成されている。よって、第１の実施形態の効果に加え、特徴点一致判定に漏れが多い場合でも、検索画像に相当する大きさの出力領域を安定的に得ることができる。

なお、第１の実施形態および第２の実施形態では、説明の都合上、検索画像と照合する登録画像が決まっている（すなわち登録画像が１枚である）場合を例に説明したが、登録画像が複数枚存在する場合も、容易に拡張が可能である。

例えば、登録画像が複数枚存在する場合、対応領域判定部２０５は、各登録画像について出力領域を決定し、各出力領域の確からしさを示す指標が最も大きい登録画像をもとに決定した部分領域を選択してもよい。

また、上述した画像部分領域抽出装置の構成や動作は、実施方法の一例を示したものであり、発明の原理を損なわない範囲で、構成や動作の順序を変更することが可能である。また、登録処理と検索処理のすべてを必ずしも同一の装置で行う必要はない。例えば、装置Ａで一部の処理を行い、装置Ｂが装置Ａの出力結果を入出力インターフェイスを介して受信し、その後の処理を装置Ｂで行うように構成することも可能である。

以下、具体的な実施形態により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。ここでは、上述した画像部分領域抽出装置を、情報処理装置に応用する第３の実施形態について説明する。以下に説明する情報処理装置は、予め登録された画像（登録画像）中の部分領域ごとに、対象とする装置に実行させる情報処理を表す情報（以下、アクション情報と記す。）を定義しておき、その部分領域に対応する画像を受けとると、その部分領域に対応する情報処理を実行させるものである。なお、以下の説明では、受け取る画像のことを検索画像と記すこともある。また、対象とする装置は、情報処理装置そのものであってもよく、情報処理装置とは異なる他の装置であってもよい。

図１７は、部分領域を抽出して各種情報処理を行う情報処理装置の例を示すブロック図である。本実施形態の情報処理装置は、画像照合部４１と、アクション情報判定部４２と、アクション情報実行部４３とを備えている。なお、情報処理装置は、中間情報記憶部４４を備えていてもよい。

中間情報記憶部４４は、登録画像中の部分領域を特定する情報（以下、部分領域情報と記す。）と、対象とする装置に実行させる情報処理を表す情報（アクション情報）とを対応付けた情報を記憶する。以下、部分領域情報とアクション情報とを対応付けた情報を中間情報と記すこともある。すなわち、中間情報とは、予め定められた部分領域に関する情報とアクション情報とを関連付けた情報ということもできる。

例えば、部分領域を長方形領域とする場合、部分領域情報には、長方形領域を特定する四隅座標が設定される。また、登録画像を等分割で分割する際の水平方向ブロック幅および垂直方向ブロック幅を部分領域情報として用いてもよい。さらに、登録画像を等分割する際の水平方向ブロック数および垂直方向ブロック数を部分領域情報として用いてもよい。他にも、画像の水平解像度、垂直解像度、分割ブロック数等を部分領域情報として用いることができるが、部分領域情報の内容は、これらの内容に限定されない。

また、アクション情報には、対象とする装置が実行する情報処理を識別できる内容であれば、任意の情報を用いることができる。例えば、対象とする装置に録画予約の機能を実行させる場合、アクション情報には、「録画予約の機能を実行」という情報処理の内容そのものの情報を設定してもよく、「録画予約の機能を実行するための実行ボタンを表示する」といった具体的な機能を示す情報を設定してもよい。

以下、アクション情報の具体例を説明する。ブラウザ表示を実行させる場合、アクション情報には、表示するＵＲＬを設定することが考えられる。また、動画や静止画、音声などを出力する処理を実行させる場合、アクション情報には、情報処理装置内部に記憶されたファイル名（動画、静止画、音声を保存するファイル名）を設定することが考えられる。また、アクション情報には、情報処理装置内又は情報処理装置外に存在するアプリケーションの操作や、実行コマンドなどを設定してもよい。

例えば、アクション情報にファイル名が指定された場合、後述するアクション情報実行部４３は、拡張子の種類に基づいて使用するアプリケーションを実行してもよい。また、実行するアプリケーションをＸＭＬタグと対応付け、ＸＭＬタグとファイル名とを明示的に組み合わせたものをアクション情報としてもよい。

例えば、アクション情報に「<app1> filename.xxx </app1> 」と設定した場合、<app1>に対応付けられたアプリケーションを用いて“filename.xxx”を開く、というアクションを実行できる。同様に、<phone> を電話をかけるアプリケーションと関連付けておけば、例えばアクション情報に「<phone> xx-xxxx-xxxx </phone> 」と設定することで、電話番号“xx-xxxx-xxxx”に電話をかける、というアクションを指定することができる。同様に、<email> をメール作成用アプリケーションと関連付けておけば、例えばアクション情報に「<email> xxx@xxx.xxx.xx </email> 」という形式で電子メールアドレスを設定しておくことで、電子メールを作成するアプリケーションを実行できる。さらに、この場合、宛先フィールドへ宛先メールアドレス（xxx@xxx.xxx.xx）を自動入力するアクションを実行することもできる。

なお、一つの部分領域情報に関連付けられるアクション情報は複数あってもよい。また、一つのアクション情報は、複数の部分領域情報から関連付けられていてもよい。

また、アクション情報には、アクション情報実行部４３が情報処理を実行させるための条件を設定しておいてもよい。例えば、処理を実行させる対象の装置が所定の場所（例えば、店舗内など）に存在するときに限って情報処理を実行させることを示す条件をアクション情報に設定してもよい。

中間情報記憶部４４は、例えば、磁気ディスク等により実現される。また、情報処理装置自身が、中間情報記憶部４４を備えていてもよい。

画像照合部４１は、登録画像中から検索画像に相当する部分的な領域を検出する。すなわち、画像照合部４１は、検索画像と登録画像とを照合して、検索画像に対応する登録画像中の部分領域を検出する。画像照合部４１は、部分領域を１つのみ検出してもよく、複数の部分領域を検出してもよい。

画像照合部４１は、第１の実施形態または第２の実施形態で説明した画像部分領域抽出装置を用いて、検索画像に対応する登録画像中の部分領域を検出してもよい。すなわち、画像照合部４１は、登録画像特徴量と検索画像特徴量との一致度合いを比較して対応特徴点を検出し、検出された対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出してもよい。

ただし、本実施形態では、画像照合部４１は、検索画像に対応する登録画像中の部分領域を、第１の実施形態または第２の実施形態で説明した方法以外を用いて検出してもよい。ただし、第１の実施形態または第２の実施形態で説明した方法を用いる方が、解像度や撮影角度が登録画像と異なる検索画像を用いても、その検索画像に対応する部分領域を登録画像から抽出できるため、より好ましい。

以下の説明では、画像照合部４１が、第１の実施形態の画像部分領域抽出装置が部分領域を抽出する方法を用いるものとする。具体的には、画像照合部４１は、登録画像特徴量と検索画像特徴量とが一致する場合に対応特徴点の回数を算出して、登録画像から連結対象ノードを抽出する。そして、画像照合部４１は、連結対象ノードから連結グラフを生成し、連結グラフ内のノードｊ（ｊは整数）を含む連結領域の外接矩形の四隅座標を（ｘ_{ｍｉｎ＿ｊ（ｋ）}，ｙ_{ｍｉｎ＿ｊ（ｋ）}）、（ｘ_{ｍａｘ＿ｊ（ｋ）}，ｙ_{ｍｉｎ＿ｊ（ｋ）}）、（ｘ_{ｍｉｎ＿ｊ（ｋ）}，ｙ_{ｍａｘ＿ｊ（ｋ）}）、（ｘ_{ｍａｘ＿ｊ（ｋ）}，ｙ_{ｍａｘ＿ｊ（ｋ）}）とする。このとき、画像照合部４１は、出力する領域を（ｘ_{ｍｉｎ＿ｍｉｎ（ｋ）}，ｙ_{ｍｉｎ＿ｍｉｎ（ｋ）}）および（ｘ_{ｍａｘ＿ｍａｘ（ｋ）}，ｙ_{ｍａｘ＿ｍａｘ（ｋ）}）を対角の頂点とする矩形領域を出力する。なお、Ｋ_ｍａｘを部分領域の個数としたとき、ｋは１≦ｋ≦Ｋ_ｍａｘを満たす整数である。

上述した通り、部分領域を抽出する方法は、第１の実施形態または第２の実施形態の画像部分領域抽出装置が部分領域を抽出する方法に限定されない。画像照合部４１は、例えば既知の文書画像レイアウト解析等により自動的に部分領域を指定してもよい。

アクション情報判定部４２は、画像照合部４１が照合結果として出力した情報と、中間情報（すなわち、部分領域情報及びアクション情報）を利用して、情報処理装置がどのような情報処理を行うかを判定する。具体的には、アクション情報判定部４２は、部分領域情報により特定される部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、その部分領域に対応するアクション情報を特定する。なお、アクション情報を特定する処理の詳細は、後述される。

アクション情報実行部４３は、アクション情報判定部４２によって特定されたアクション情報を実行する。具体的には、アクション情報実行部４３は、特定されたアクション情報に応じた処理内容を、対象とする装置に実行させる。

なお、画像照合部４１と、アクション情報判定部４２と、アクション情報実行部４３とはプログラム（情報処理実行プログラム）に従って動作するコンピュータのＣＰＵによって実現されてもよい。また、画像照合部４１と、アクション情報判定部４２と、アクション情報実行部４３とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態の動作を説明する。図１８は、本実施形態の情報処理装置の動作例を示すフローチャートである。図１８を参照すると、本実施形態の情報処理装置の動作は、画像照合処理（ステップＳ４１）、アクション情報判定処理（ステップＳ４２）、アクション情報実行処理（ステップＳ４３）から構成される。

まず、画像照合部４１は、検索画像に対応する登録画像中の部分領域を検出する（ステップＳ４１）。画像照合部４１は、例えば、第１の実施形態または第２の実施形態の画像部分領域抽出装置が行う処理を流用することができる。

次に、アクション情報判定部４２は、アクション情報の判定を行う（ステップＳ４２）。図１９は、アクション情報を判定する動作例を示すフローチャートである。アクション情報を判定する処理は、領域一致スコア計算処理（ステップＳ４２１）と、最大領域一致スコアが算出された部分領域を特定する部分領域特定処理（ステップＳ４２２）とから構成される。

ここで、領域一致スコアとは、中間情報の部分領域情報により特定される部分領域（以下、中間情報部分領域と記すこともある。）と、画像照合部４１が検出した領域（以下、画像照合部分領域と記す。）との一致度合いを示す。

まず、アクション情報判定部４２は、画像照合部４１から入力される部分領域（画像照合部分領域）と、中間情報により特定される部分領域（中間情報部分領域）のすべての組み合わせについて、領域一致スコアを計算する（ステップＳ４２１）。

例えば、画像照合部分領域ｋ（１≦ｋ≦Ｋ_ｍａｘ：ただし、Ｋ_ｍａｘは、画像照合部分領域の数）と、中間情報部分領域ｃ（１≦ｃ≦Ｃ_ｍａｘ：ただし、Ｃ_ｍａｘは、中間情報により特定される部分領域の数）の領域一致度をｒｅｇ＿ｍａｔｃｈ（ｋ，ｃ）とすると、領域一致度は、例えば、以下に示す式３で定義される。

ｒｅｇ＿ｍａｔｃｈ（ｋ，ｃ）
＝（（画像照合部分領域ｋと中間情報部分領域ｃの共通部分の面積）／
（画像照合部分領域ｋと中間情報部分領域ｃの和領域の面積）） （式３）

次に、アクション情報判定部４２は、ｒｅｇ＿ｍａｔｃｈ（ｋ，ｃ）が最大になるｋとｃの値を求める（ステップＳ４２２）。このためには、すべてのｋとｃの組み合わせに関して算出したｒｅｇ＿ｍａｔｃｈ（ｋ，ｃ）の値を記憶媒体（図示せず）に保持しておけばよい。ｒｅｇ＿ｍａｔｃｈ（ｋ，ｃ）が最大になるｋとｃの値を、それぞれｋａ、ｃａとする。すなわち、アクション情報判定部４２は、中間情報部分領域ｃのうち、画像照合部分領域ｋとの一致度合いが最も高いものを選択する。

次に、アクション情報実行部４３は、中間情報部分領域ｃａに対応するアクション情報によって表わされる情報処理を実行する（ステップＳ４３）。アクション情報実行部４３は、アクション情報に従って、例えば、次のような情報処理を行う。

例えば、アクション情報にＵＲＬが設定されている場合、アクション情報実行部４３は、情報処理装置の内部もしくは外部にインストールされたブラウザ等のソフトウェアを起動し、指定されたＵＲＬに存在するコンテンツを呼び出してもよい。

また、例えば、アクション情報に情報処理装置内部または外部のファイル名（動画ファイル、静止画ファイル、音声ファイル、テキストファイルなど）が設定されている場合、アクション情報実行部４３は、必要に応じて各種ブラウザ、ビューア等を起動し、適切なソフトウェアを起動し、設定されたファイルを呼び出してもよい。

また、情報処理装置がユーザインターフェース機器を備えている場合、アクション情報実行部４３が、その機器を利用して画像を表示したり、音声を出力したりすることも可能である。画像の表示処理や音声の出力処理等をする場合、画像や音声の種類だけでなく、それらの処理範囲を指定する情報（例えば、画像の表示範囲、音声の再生・終了位置など）が関連付けられていれば、アクション情報実行部４３は、指定された情報に応じた情報処理を行ってもよい。

また、例えば、アクション情報に情報処理装置内または情報処理装置外に存在するアプリケーションの操作コマンドまたは実行コマンドが設定されている場合、アクション情報実行部４３は、その操作コマンドまたは実行コマンドを実行してもよい。

また、アクション情報に情報処理を実行させるための条件が設定されている場合、アクション情報実行部４３は、設定された条件を満たしている時に対象の装置に情報処理を実行させてもよい。

以上のように、本実施形態によれば、画像照合部４１が、検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出する。アクション情報判定部４２が、中間情報の部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択する。ここで用いられる中間情報は、部分領域情報とアクション情報とを対応付けたものであるため、アクション情報判定部４２が、その部分領域に対応するアクション情報を特定する。そして、アクション情報実行部４３が、アクション情報に応じた情報処理を対象とする装置に実行させる。よって、登録画像の一部を示す画像情報が入力されたときに、その入力された画像情報に応じた情報処理を実行できる。

例えば、特許文献１に記載されたシステムを用いたとしても、位置に応じて提示する情報を決定することはできない。しかし、本実施形態の情報処理装置は、入力された検索画像に対応する登録画像中の位置を自動で判定するので、判定された位置（すなわち、部分領域）に対応づけられた情報処理を行うことが可能になる。

なお、本実施形態では、第１の実施形態または第２の実施形態で説明した画像部分領域抽出装置が部分領域を検出する方法を用いて、画像照合部４１が部分領域（矩形領域）を出力する場合を例に説明した。この場合、アクション情報判定部４２は、出力された部分領域と中間情報に含まれる部分領域との重複する割合を比較することになる。

一方、画像照合部４１は、部分領域を出力する代わりに、特徴点（連結対象ノード）を出力するようにしてもよい。この場合、アクション情報判定部４２は、連結対象ノードの各座標値と各中間情報部分領域ｃとを比較し、各中間情報部分領域ｃに連結対象ノードがいくつ存在するかをカウントしてもよい。そして、アクション情報判定部４２は、そのカウント値が最も大きい部分領域を選択してもよい。なお、カウント方法は任意であり、例えば、領域に含まれる特徴点ごとにカウント値を１ずつ増加させてもよく、カウント対象とする特徴点を特定してカウントを行ってもよい。

このような構成にした場合、第１の実施形態または第２の実施形態で説明した画像部分領域抽出装置が部分領域を検出する方法を用いる際、少なくとも第１の実施形態におけるステップＳＱ２０５２およびステップＳＱ２０５３の処理は不要になる。また、領域に含まれる特徴点ごとに１ずつ増加させる場合、対応領域を決定する処理（ステップＳＱ２０５の処理）が不要になる。

また、本実施形態では、説明の都合上、検索画像と照合する登録画像が決まっている（すなわち登録画像が１枚である）場合を例に説明したが、登録画像が複数枚存在する場合も、容易に拡張が可能である。

例えば、登録画像が複数枚存在する場合、画像照合部４１は、登録画像特徴量と検索画像特徴量との一致度合い（例えば、領域一致スコア）の最大値を各登録画像について算出し、その最大値が最も大きい登録画像から部分領域を出力すればよい。また、検索画像と照合する適切な登録画像を、他の既知の画像認識手法や画像検索手法を利用して判定しておき、適切と判定された登録画像から部分領域を出力してもよい。

次に、第３の実施形態の変形例を説明する。第３の実施形態では、画像照合部４１によって出力される部分領域が中間情報記憶部４４に格納された中間情報により特定される部分領域のどれであるかを判定する方法を説明した。すなわち、第３の実施形態では、画像照合部４１によって出力される情報が部分領域であり、かつ、中間情報記憶部４４には部分領域を特定するための中間情報が格納されているため、アクション情報判定部４２は、両部分領域の一致度合いを比較してアクション情報を特定していた。

本変形例では、中間情報記憶部４４は、登録画像中の部分領域を特定するための識別子を中間情報に格納しておくものとする。以下、登録画像中の部分領域を特定するための識別子を部分領域ＩＤと記す。さらに、画像照合部４１は、登録画像から検索画像に相当する領域を検出した際、検出した領域に対応する部分領域ＩＤを出力するものとする。この場合、画像照合部４１は、中間情報に含まれる部分領域ＩＤを参照し、登録画像と検索画像とを照合した結果得られた登録画像中の部分領域が、どの部分領域ＩＤに対応するか判定する機構を備えていればよい。

具体的には、画像照合部４１は、検出した部分領域から中間情報に含まれる部分領域ＩＤが一意に特定できる場合、その部分領域ＩＤを出力すればよい。また、検出した部分領域から特定される部分領域ＩＤが複数存在する場合、画像照合部４１は、例えば、上述する式３に示す方法と同様に、各部分領域との面積の一致度合いを算出し、より一致度合いの高い部分領域の部分領域ＩＤを出力してもよい。

画像照合部４１が照合結果として部分領域ＩＤを出力することで、アクション情報判定部４２は、その部分領域ＩＤに対応するアクション情報（より詳しくは、その部分領域ＩＤで特定される部分領域情報に対応付けられたアクション情報）を特定できる。

また、中間情報記憶部４４は、中間情報の部分領域ＩＤごとに画像または特徴量の少なくともいずれかを分割して格納し、画像照合部４１が、これらの画像または特徴量を用いて、画像を照合してもよい。すなわち、画像照合部４１が、検索画像と分割画像とを照合して、検出した登録画像中の領域に対応する部分領域ＩＤを出力し、アクション情報判定部４２が、その部分領域ＩＤに対応するアクション情報を特定してもよい。以下、登録画像を分割した個々の画像のことを分割画像と記す。分割画像は、登録画像中の部分領域を特定するために用いられる画像であり、部分領域ＩＤにより特定される部分領域と同一の範囲の画像であってもよく、異なっていてもよい。

具体的には、中間情報記憶部４４は、部分領域ＩＤで特定される部分領域と同一の領域に含まれる画像を分割画像として格納してもよい。また、中間情報記憶部４４は、この分割画像中の一部の画像を分割画像として格納してもよい。なお、特定の部分を抽出する方法として、例えば、既知の文書画像レイアウト解析等の技術を利用することができる。このように登録する画像を小さくすることにより、格納するデータ量を抑えることができる。

また、中間情報記憶部４４は、部分領域ＩＤで特定される部分領域を広げた領域に含まれる画像を分割画像として格納してもよい。なお、領域を広げる方法は任意であり、例えば、部分領域を全体的に広げるようにしてもよい。このように、部分領域ＩＤで特定される部分領域に隣接する領域を含む画像を利用することで、照合する精度を向上できる。

また、中間情報記憶部４４は、格納する分割画像と同様に、画像照合部４１が照合に用いる特徴量を格納しておいてもよい。すなわち、部分領域ＩＤで特定される部分領域と同一の領域に含まれる画像の特徴量を格納しておいてもよく、部分領域よりも大きい領域または小さい領域に含まれる画像の特徴量を格納しておいてもよい。この場合の特徴量は、画像照合部４１が照合に用いる特徴量と同様に計算しておけばよい。

この場合、画像照合部４１が、格納された特徴量と検索画像中の特徴量とを照合して、検出した登録画像中の領域に対応する部分領域ＩＤを出力し、アクション情報判定部４２が、その部分領域ＩＤに対応するアクション情報を特定すればよい。

なお、このような情報を中間情報記憶部４４に格納する場合、例えば、中間情報生成部（図示せず）が、中間情報に含まれる部分領域ごとに、画像内を参照しながら分割画像または特徴量を決定し、決定した分割画像または特徴量に部分領域ＩＤを付加して中間情報記憶部４４に自動的に格納するようにしてもよい。もしくは、画像照合部４１が照合する画像または特徴量の単位を予め定めておき、その単位の画像または特徴量を中間情報の部分領域と対応付けるようにしてもよい。

このように、１枚の大きな登録画像を、例えば、部分領域相当の複数の小さな登録画像に分割して中間情報記憶部４４に格納しておき、画像照合部４１が分割した各画像またはその画像から算出される特徴量を利用して画像を照合してもよい。なお、第１の実施形態または第２の実施形態で示した方法を用いることで、解像度や撮影角度が登録画像と異なる検索画像を用いても、その検索画像に対応する部分領域を登録画像から抽出できるため、全体の登録画像から位置を特定する方が、より好ましい。

なお、部分領域ＩＤを中間情報に含めて中間情報記憶部４４が明示的に記憶しておいてもよい。また、中間情報記憶部４４に中間情報を記憶させる順番や、中間情報として格納するファイルの格納順を、部分領域ＩＤとして暗黙のうちに利用してもよい。また、中間情報として記憶する画像または特徴量に付加する部分領域ＩＤについても同様である。

次に、第３の実施形態の情報処理装置を利用する場面の具体例を説明する。

＜具体例１＞
まず、第３の実施形態の情報処理装置をリモートコントロール装置として動作させる場合の具体例を説明する。第１の具体例では、テレビジョンガイド誌の番組表（以下、単に番組表と記す。）を表わす登録画像の各部分領域にアクション情報を設定したときの動作例を説明する。

番組表を登録画像として利用する場合、番組単位にブロック化したものを部分領域とし、その部分領域を示す部分領域情報に、録画予約やチャンネル変更指示、ＶｏＤ（Video On Demand ）視聴用のコンテンツ購入指示などのアクション情報を対応付けることができる。ここでは、中間情報記憶部４４は、録画予約を実行させるアクション情報、ビデオオンデマンド視聴要求を実行させるアクション情報、および、ビデオコンテンツ購入処理を実行させるアクション情報の少なくとも１つ以上のアクション情報を記憶しているものとする。

情報処理装置が番組表の一部を撮影した画像を受け取ると、画像照合部４１は、登録画像中の部分領域（すなわち、対象番組）を特定する。アクション情報判定部４２は、情報処理装置内部のタイマによる計時時刻と、特定された部分領域内の対象番組の放送時刻を比較する。

対象番組の放送時間が計時時刻内である場合、アクション情報判定部４２は、チャンネル変更を行うための操作画面を表示すると判断してもよい。また、対象番組の放送時間が計時時刻より後である場合、アクション情報判定部４２は、その対象番組を録画予約するための操作画面を表示すると判断してもよい。また、対象番組の放送時間が計時時刻より後である場合、アクション情報判定部４２は、ビデオオンデマンド視聴要求を行うための操作画面を表示すると判断してもよいし、その対象番組のビデオコンテンツの購入や照会を行うための操作画面を表示すると判断してもよい。

このような判定処理を行うためには、アクション情報に、計時時刻と放送時刻との比較処理、および、その比較結果による情報処理内容が含まれていればよい。アクション情報実行部４３は、アクション情報判定部４２によって判定されたアクション情報に応じて情報処理を実行することになる。

＜具体例２＞
次に、第３の実施形態の情報処理装置を新聞記事の内容を提示する装置として動作させる場合の具体例を説明する。第２の具体例では、新聞記事を示す登録画像の各部分領域にアクション情報を設定したときの動作例を説明する。新聞記事を登録画像として利用する場合、新聞記事の単位にブロック化したものを部分領域とし、その部分領域を表わす部分領域情報にアクション情報を対応付けることができる。具体的には、アクション情報として、新聞の記事を読みあげることや、動画データの再生指示、ｗｅｂ上に存在する関連ページの表示を実行させる情報処理を設定できる。

情報処理装置が新聞記事の一部を撮影した画像を受け取ると、画像照合部４１は、登録画像中の部分領域（すなわち、対象記事）を特定する。アクション情報判定部４２は、部分領域にブロック化した記事が含まれると判定した場合、その部分領域を表わす部分領域情報に対応するアクション情報を特定する。このとき、アクション情報判定部４２は、ユーザに読み上げデータがあることを示す画面を表示すると判断してもよい。この場合、アクション情報実行部４３は、画面を表示し、表示されたアクション（読み上げ）の実行をユーザが指示したときに、音声再生を開始して記事の読み上げを行う。

また、アクション情報に動画が指定されている場合、アクション情報判定部４２は、ユーザに動画があることを示す画面を表示すると判断してもよい。この場合、アクション情報実行部４３は、その動画を再生する。

また、対象記事が広告の場合、アクション情報にショッピングサイトへのリンクを設定しておいてもよい。例えば、その広告を撮影した画像を受け取った場合、アクション情報判定部４２は、ショッピングサイトへのリンクを示す画面を表示すると判断し、アクション情報実行部４３が、ブラウザを起動してそのショッピングサイトを表示するようにしてもよい。

＜具体例３＞
次に、第３の実施形態の情報処理装置を、書籍を扱う本屋や図書館などで用いられる端末装置として動作させる場合の具体例を説明する。第３の具体例では、本（雑誌など）の表紙や背表紙を示す登録画像の各部分領域にアクション情報を設定したときの動作例を説明する。本の表紙や背表紙を登録画像として利用する場合、本を識別可能な部分をブロック化したものを部分領域とし、その部分領域を表わす部分領域情報にアクション情報を対応付けることができる。

具体的には、アクション情報として、本の中身を閲覧するための情報処理を設定できる。なお、本具体例では、端末装置が店舗内または施設内の無線エリアで接続されているものとし、アクション情報には、無線エリア内でのみアクション情報に応じた処理を実行可能である旨が設定されているものとする。

例えば、情報処理装置が本の表紙や背表紙の一部を撮影した画像を受け取ると、画像照合部４１は、登録画像中の部分領域を特定する。アクション情報判定部４２は、部分領域に本の表紙や背表紙の一部が含まれると判定した場合、その部分領域を表わす部分領域情報に対応するアクション情報を特定する。具体的には、アクション情報判定部４２は、その画像から本を特定し、その本の中身を表示すると判断してもよい。この場合、アクション情報実行部４３は、端末が無線エリア内にある場合にのみ、その本の内容を表示するようにしてもよい。また、情報処理装置が貸出処理または購入処理の完了を確認できた場合、アクション情報実行部４３は、端末が無線エリア内から出た場合でも、その本の内容を表示できるようにしてもよい。

＜具体例４＞
次に、第３の実施形態の情報処理装置を、観光地情報を表示する端末装置として動作させる場合の具体例を説明する。第４の具体例では、観光地に設けられた看板に表示される観光地マップを示す登録画像の各部分領域にアクション情報を設定したときの動作例を説明する。観光地マップを登録画像として利用する場合、観光地を表示しているエリアや説明個所などの部分をブロック化したものを部分領域とし、その部分領域を表わす部分領域情報にアクション情報を対応付けることができる。具体的には、アクション情報として、観光地情報を表示するための情報処理を設定できる。

情報処理装置が観光地マップの一部を撮影した画像を受け取ると、画像照合部４１は、登録画像中の部分領域（すなわち、観光地情報）を特定する。アクション情報判定部４２は、部分領域にブロック化した記事が含まれると判定した場合、その部分領域を表わす部分領域情報に対応するアクション情報を特定する。このとき、アクション情報判定部４２は、観光地情報を提示すると判断してもよい。この場合、アクション情報実行部４３は、登録された観光地情報を画面に表示したり、動画データを再生したりする処理を行う。

なお、看板に表示される観光地マップを撮影する場合、看板が大きいことが想定されることから、撮影される画像の解像度や大きさも様々であることが想定される。しかし、第１の実施形態または第２の実施形態の画像部分領域抽出装置を用いることにより、適切に部分領域を特定できるため、その部分領域を利用した情報処理も適切に行うことが可能になる。

図２０は、本発明の情報処理装置の概要を示すブロック図である。本発明の情報処理装置は、検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出する画像照合部８１（例えば、画像照合部４１）と、登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、その部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合い（例えば、領域一致スコア）が最も高い部分領域を選択し、その部分領域に対応するアクション情報を特定するアクション情報判定部８２（例えば、アクション情報判定部４２）と、アクション情報に応じた情報処理を対象装置に実行させるアクション情報実行部８３（例えば、アクション情報実行部４３）とを備えている。

そのような構成により、登録画像の一部を示す画像情報が入力されたときに、その入力された画像情報に応じた情報処理を実行できる。

具体的には、画像照合部８１は、検索画像に対応する登録画像中の領域を出力してもよい。そして、アクション情報判定部８２は、特定された部分領域の中に出力された領域が重複する割合を一致度合いとして算出し、その一致度合いが最も高い部分領域を選択してもよい。

一方、画像照合部８１は、検索画像に対応する登録画像中の特徴点（例えば、連結対象ノード）を出力してもよい。このとき、アクション情報判定部８２は、特定された部分領域の中に出力された特徴点が含まれている数を一致度合いとして算出し、その一致度合いが最も高い部分領域を選択してもよい。

また、中間情報が、部分領域情報として部分領域を特定する部分領域ＩＤを含んでいてもよい。このとき、画像照合部８１は、検出した登録画像中の領域に対応する部分領域ＩＤを出力し、アクション情報判定部８２は、部分領域ＩＤに対応するアクション情報を特定してもよい。

さらに、中間情報が、登録画像を分割した分割画像と部分領域ＩＤとを対応付けた部分領域情報を含んでいてもよい。このとき、画像照合部８１は、検索画像と分割画像とを照合して、検出した登録画像中の領域に対応する部分領域ＩＤを出力してもよい。

また、中間情報は、録画予約を実行させるアクション情報、ビデオオンデマンド視聴要求を実行させるアクション情報、および、ビデオコンテンツ購入処理を実行させるアクション情報の少なくとも一つ以上のアクション情報を含んでいてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出する画像照合部と、登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、当該部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、当該部分領域に対応するアクション情報を特定するアクション情報判定部と、前記アクション情報に応じた情報処理を前記対象装置に実行させるアクション情報実行部とを備えたことを特徴とする情報処理装置。

（付記２）画像照合部は、検索画像に対応する登録画像中の領域を出力し、アクション情報判定部は、特定された部分領域の中に出力された領域が重複する割合を一致度合いとして算出し、当該一致度合いが最も高い部分領域を選択する付記１記載の情報処理装置。

（付記３）画像照合部は、検索画像に対応する登録画像中の特徴点を出力し、アクション情報判定部は、特定された部分領域の中に出力された特徴点が含まれている数を一致度合いとして算出し、当該一致度合いが最も高い部分領域を選択する付記１記載の情報処理装置。

（付記４）中間情報は、部分領域情報として部分領域を特定する部分領域ＩＤを含み、画像照合部は、検出した登録画像中の領域に対応する部分領域ＩＤを出力し、アクション情報判定部は、前記部分領域ＩＤに対応するアクション情報を特定する付記１から付記３のうちのいずれか１つに記載の情報処理装置。

（付記５）中間情報は、登録画像を分割した分割画像と部分領域ＩＤとを対応付けた部分領域情報を含み、画像照合部は、検索画像と前記分割画像とを照合して、検出した登録画像中の領域に対応する部分領域ＩＤを出力する付記４記載の情報処理装置。

（付記６）中間情報は、録画予約を実行させるアクション情報、ビデオオンデマンド視聴要求を実行させるアクション情報、および、ビデオコンテンツ購入処理を実行させるアクション情報の少なくとも一つ以上のアクション情報を含む付記１から付記５のうちのいずれか１つに記載の情報処理装置。

（付記７）検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出し、登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、当該部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、前記部分領域に対応するアクション情報を特定し、前記アクション情報に応じた情報処理を前記対象装置に実行させることを特徴とする情報処理方法。

（付記８）検索画像に対応する登録画像中の領域を出力し、特定された部分領域の中に出力された領域が重複する割合を一致度合いとして算出し、当該一致度合いが最も高い部分領域を選択する付記７記載の情報処理方法。

（付記９）検索画像に対応する登録画像中の特徴点を出力し、特定された部分領域の中に出力された特徴点が含まれている数を一致度合いとして算出し、当該一致度合いが最も高い部分領域を選択する付記７記載の情報処理方法。

（付記１０）中間情報は、部分領域情報として部分領域を特定する部分領域ＩＤを含み、検出した登録画像中の領域に対応する部分領域ＩＤを出力し、前記部分領域ＩＤに対応するアクション情報を特定する付記７から付記９のうちのいずれか１つに記載の情報処理方法。

（付記１１）中間情報は、登録画像を分割した分割画像と部分領域ＩＤとを対応付けた部分領域情報を含み、検索画像と前記分割画像とを照合して、検出した登録画像中の領域に対応する部分領域ＩＤを出力する付記１０記載の情報処理方法。

（付記１２）中間情報は、録画予約を実行させるアクション情報、ビデオオンデマンド視聴要求を実行させるアクション情報、および、ビデオコンテンツ購入処理を実行させるアクション情報の少なくとも一つ以上のアクション情報を含む付記７から付記１１のうちのいずれか１つに記載の情報処理方法。

（付記１３）コンピュータに、検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出する画像照合処理、登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、当該部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、当該部分領域に対応するアクション情報を特定するアクション情報判定処理、および、前記アクション情報に応じた情報処理を前記対象装置に実行させるアクション情報実行処理を実行させるための情報処理用プログラム。

（付記１４）コンピュータに、画像照合処理で、検索画像に対応する登録画像中の領域を出力させ、アクション情報判定処理で、特定された部分領域の中に出力された領域が重複する割合を一致度合いとして算出させ、当該一致度合いが最も高い部分領域を選択させる付記１３記載の情報処理用プログラム。

（付記１５）コンピュータに、画像照合処理で、検索画像に対応する登録画像中の特徴点を出力させ、アクション情報判定処理で、特定された部分領域の中に出力された特徴点が含まれている数を一致度合いとして算出させ、当該一致度合いが最も高い部分領域を選択させる付記１３記載の情報処理用プログラム。

（付記１６）中間情報は、部分領域情報として部分領域を特定する部分領域ＩＤを含み、画像照合処理で、検出した登録画像中の領域に対応する部分領域ＩＤを出力させ、アクション情報判定処理で、前記部分領域ＩＤに対応するアクション情報を特定させる付記１３から付記１５のうちのいずれか１つに記載の情報処理用プログラム。

（付記１７）中間情報は、登録画像を分割した分割画像と部分領域ＩＤとを対応付けた部分領域情報を含み、画像照合処理で、検索画像と前記分割画像とを照合して、検出した登録画像中の領域に対応する部分領域ＩＤを出力させる付記１６記載の情報処理用プログラム。

（付記１８）中間情報は、録画予約を実行させるアクション情報、ビデオオンデマンド視聴要求を実行させるアクション情報、および、ビデオコンテンツ購入処理を実行させるアクション情報の少なくとも一つ以上のアクション情報を含む付記１３から付記１７のうちのいずれか１つに記載の情報処理用プログラム。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１２年１０月１８日に出願された日本特許出願２０１２−２３０８８６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、各種誌面中からユーザが写したコンテンツをキーに情報処理を実行する情報処理装置一般に適用できる。

例えば、新聞や雑誌の記事、各種広告、説明資料等、文字が記載されている実世界中の物体（紙、板など）からデジタル情報を検索する情報処理装置に適用可能である。さらに、テレビガイド誌から録画予約、ビデオ視聴、ビデオコンテンツ購入をしたりする情報処理装置といった用途に適用できる。また、郵便物、宅配便等の画像から郵便物を特定することができる情報処理装置にも適用可能である。さらに、郵便物や宅配便等に記される宛名領域や差出人領域を認識する装置にも利用可能である。

１ 情報処理システム
Ｒ２０１ 登録画像特徴点生成部
Ｒ２０２ 登録画像特徴点配置生成部
Ｒ２０３ 登録画像特徴量生成部
Ｑ２０１ 検索画像特徴点生成部
Ｑ２０２ 検索画像特徴点配置生成部
Ｑ２０３ 検索画像特徴量生成部
２０４ 対応特徴点検出部
２０５ 対応領域判定部
３０４ 対応特徴点対検出部
３０５ 対応領域推定部
４１ 画像照合部
４２ アクション情報判定部
４３ アクション情報実行部
４４ 中間情報記憶部

Claims (10)

1. 検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出する画像照合部と、
   登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、当該部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、当該部分領域に対応するアクション情報を特定するアクション情報判定部と、
   前記アクション情報に応じた情報処理を前記対象装置に実行させるアクション情報実行部とを備えた
   ことを特徴とする情報処理装置。
2. 画像照合部は、検索画像に対応する登録画像中の領域を出力し、
   アクション情報判定部は、特定された部分領域の中に出力された領域が重複する割合を一致度合いとして算出し、当該一致度合いが最も高い部分領域を選択する
   請求項１記載の情報処理装置。
3. 画像照合部は、検索画像に対応する登録画像中の特徴点を出力し、
   アクション情報判定部は、特定された部分領域の中に出力された特徴点が含まれている数を一致度合いとして算出し、当該一致度合いが最も高い部分領域を選択する
   請求項１記載の情報処理装置。
4. 中間情報は、部分領域情報として部分領域を特定する部分領域ＩＤを含み、
   画像照合部は、検出した登録画像中の領域に対応する部分領域ＩＤを出力し、
   アクション情報判定部は、前記部分領域ＩＤに対応するアクション情報を特定する
   請求項１から請求項３のうちのいずれか１項に記載の情報処理装置。
5. 中間情報は、登録画像を分割した分割画像と部分領域ＩＤとを対応付けた部分領域情報を含み、
   画像照合部は、検索画像と前記分割画像とを照合して、検出した登録画像中の領域に対応する部分領域ＩＤを出力する
   請求項４記載の情報処理装置。
6. 中間情報は、録画予約を実行させるアクション情報、ビデオオンデマンド視聴要求を実行させるアクション情報、および、ビデオコンテンツ購入処理を実行させるアクション情報の少なくとも一つ以上のアクション情報を含む
   請求項１から請求項５のうちのいずれか１項に記載の情報処理装置。
7. 検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出し、
   登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、当該部分領域情報をもとに部分領域を特定し、
   特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、
   前記部分領域に対応するアクション情報を特定し、
   前記アクション情報に応じた情報処理を前記対象装置に実行させる
   ことを特徴とする情報処理方法。
8. 検索画像に対応する登録画像中の領域を出力し、
   特定された部分領域の中に出力された領域が重複する割合を一致度合いとして算出し、当該一致度合いが最も高い部分領域を選択する
   請求項７記載の情報処理方法。
9. コンピュータに、
   検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出する画像照合処理、
   登録画像中の部分領域を特定する情報である部分領域情報と、対象装置に実行させる情報処理を表すアクション情報とを対応付けた情報である中間情報から、当該部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、当該部分領域に対応するアクション情報を特定するアクション情報判定処理、および、
   前記アクション情報に応じた情報処理を前記対象装置に実行させるアクション情報実行処理
   を実行させるための情報処理用プログラム。
10. コンピュータに、
    画像照合処理で、検索画像に対応する登録画像中の領域を出力させ、
    アクション情報判定処理で、特定された部分領域の中に出力された領域が重複する割合を一致度合いとして算出させ、当該一致度合いが最も高い部分領域を選択させる
    請求項９記載の情報処理用プログラム。

Images