JP6835665B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、撮像した画像から撮像対象を高精度に判定できる特徴情報を算出可能な情報処理装置及びプログラムに関する。

画像から対象を判定する技術は、配布や提示が容易な媒体に記載されたアナログ情報からデジタル情報に変換させることが可能であり、利用者の利便性を向上させることができる。当該技術としては、以下の非特許文献１のものが公開されている。非特許文献１では、画像から特徴点を検出し、特徴点周辺から特徴量を算出した上で、事前に蓄積しておいた特徴量と比較することによって、対象の種類および相対的な位置関係を特定する。

一方、上記のような特徴点及び特徴量に基づく判定に関してさらに、精度を向上させる技術としては、以下の特許文献１のようなものが公開されている。特許文献１では、撮像画像中の撮影対象物について、撮影装置の光軸回りにおける回転角度を求め、この回転角度に基づいて、特徴点抽出手段が算出したオリエンテーション情報と、事前に保存されたオリエンテーション情報との座標系を揃えたとき、両オリエンテーション情報が所定のずれ角度範囲内に収まる特徴点同士を、対比すべき特徴点として設定することで精度を向上させる。

特開２０１４−１０９８４１号公報

D. G. Lowe, ``Object recognition from local scale-invariant Features,'' Proc. of IEEE International Conference on Computer Vision (ICCV), pp.1150-1157, 1999.

しかしながら、以上のような非特許文献１や特許文献１といった従来技術には、認識できる角度や距離が限定されているという課題があった。

具体的には、斜めから撮像した場合、射影歪みによって特徴量が変化することで、事前に登録している特徴量と一致判定できなってしまうと判定処理が全く機能しないという課題がある。また、撮像対象が遠くから撮像された場合でも、特徴量算出に用いられる部分領域が相対的に広くなってしまうため、特徴量が変化し、事前に登録している特徴量（撮像対象が近くから事前に撮像されることによって、相対的に狭い領域から得られた特徴量）と一致判定できなくなってしまうと判定処理が全く機能しないという課題がある。さらに、立体形状に関しては、従来手法が前提とする平面仮定が成立しないため、視点によっては特徴点配置が推定できず認識できないという課題がある。

本発明の目的は、上記従来技術の課題に鑑み、撮像した画像から撮像対象を高精度に判定できる特徴情報を算出可能な情報処理装置及びプログラムを提供することにある。

上記目的を達成するため、本発明は情報処理装置であって、撮像画像より、当該撮像画像の全部又は一部における撮像対象を、当該撮像画像を得たカメラに対して正面化する補正情報を得る補正部と、前記補正情報を前記撮像画像に適用したうえで前記撮像画像の特徴情報を算出する算出部と、を備えることを特徴とする。また、コンピュータを前記情報処理装置として機能させるプログラムであることを特徴とする。

本発明によれば、補正情報の利用によって、撮像した画像から撮像対象を高精度に判定できる特徴情報を算出することができる。

一実施形態に係る情報処理装置の機能ブロック図である。 パッチの模式例を示す図である。 補正画像に関する模式例を示す図である。 特徴量算出の第二実施形態を説明するための模式例を示す図である。 複数の平面部分で構成されている撮像対象を判定する模式例を示す図である。

図１は、一実施形態に係る情報処理装置の機能ブロック図である。情報処理装置10は、撮像部1、補正部2、算出部3、判定部4、記憶部5及び取得部6を備える。ユーザが拡張現実による重畳表示を行うために情報処理装置10を持ってその場で直接に撮像を行うような実施形態等においては、情報処理装置10としては撮像部1を備える任意の情報端末を利用することができる。また、情報処理装置10としては携帯端末の他、タブレット型端末、デスクトップ型又はラップトップ型のコンピュータその他を利用することができる。また、撮像部1以外の一部若しくは全てをサーバーに設置し、情報を適宜通信でやり取りしてもよい。

図１にも示されているように、当該各部の概略的な処理内容は次の通りである。撮像部1は撮像を行い、得られた撮像画像を補正部2及び算出部3へと出力する。補正部2は当該撮像画像を補正するための補正情報を生成して、得られた補正情報を算出部3へと出力する。補正部2ではまた、当該補正情報を得る際に、実施形態によっては取得部6で取得した姿勢情報と記憶部5を参照して得られるテーブル情報とを利用するようにしてもよい。なお、テーブル情報とは、撮像部1の姿勢情報とこれに対応する補正情報との組として構成される情報であり、その詳細は後述する。

算出部3は上記得られた補正情報を撮像画像に適用して補正画像を得たうえで、当該補正画像から特徴情報（各特徴点における特徴量の情報）を算出して判定部4へと出力する。ここで、詳細を後述する各実施形態に応じて、補正画像は１つのみの画像で構成されていてもよいし、撮像画像の各部分領域（すなわち、その詳細を後述する「パッチ」としての部分領域）ごとにそれぞれ補正画像を得ることで、複数の画像として構成されていてもよい。

算出部3ではまた、詳細を後述する別の実施形態においては、補正画像を得ることなく特徴情報を算出してもよい。この場合、撮像画像より特徴点の座標を算出したうえで、当該特徴点座標に上記得られた補正情報を適用して得られる複数の点座標を利用して、撮像画像より各特徴点における特徴量を算出することができる。

判定部4は算出部3より得られた特徴情報（撮像部1で得たクエリ画像としての撮像画像の特徴情報に相当）と、記憶部5に予め記憶されている所定の複数の撮像対象の特徴情報（各リファレンス画像の特徴情報に相当）と、を比較し、特徴情報が類似しているものとして撮像画像が記憶部5の所定の複数の撮像対象のうちいずれに該当するかを判定結果として出力する。

記憶部5は、判定部4が上記の判定を行うために参照する所定の複数の撮像対象の各リファレンス画像から予め算出された特徴情報（算出部3における特徴情報と同種の特徴情報）を記憶しておく。記憶部5はまた、取得部6が利用される実施形態においては、テーブル情報を記憶しておくことで当該テーブル情報を補正部2へと参照に供する。取得部6は、撮像部1の姿勢情報を取得して補正部2へと出力する。なお、取得部6と記憶部5において記憶するテーブル情報とは、これらを利用しない実施形態においては省略可能である。

以下、図１の各部の詳細を説明する。

撮像部1は、撮像対象を撮像して、その撮像画像を補正部2及び算出部3へ出力する。撮像対象には判定部4によって判定される予め既知の対象が含まれるよう、ユーザ等が撮像部1により撮像を行う。撮像部1を実現するハードウェアとしては、携帯端末に標準装備されることの多いデジタルカメラ等を用いることができる。

補正部2は、相対的位置関係による補正として、撮像画像における撮像対象の面における法線ベクトルの向きと撮像部1（カメラ）の光軸の向きとを一致させるような補正を実現する変換係数を算出し、当該変換係数を補正情報として算出部3へと出力する。当該変換係数は具体的には、拡張現実その他のコンピュータグラフィック等の分野において周知のホモグラフィ行列（平面射影変換行列）として与えることができ、当該変換係数によって実現される補正は当該ホモグラフィ行列による画像の座標変換とすることができる。以下、補正部2による当該変換係数の算出の第一実施形態及び第二実施形態を順に説明する。

第一実施形態は相対的位置関係の推定として撮像画像における奥行情報を利用するものであり、具体的には以下の（手順１）〜（手順３）によって変換係数を算出することができる。

まず、（手順１）では撮像画像から各画素位置ごとに、あるいは一定割合で間引いた画素位置ごとに、その奥行情報を算出する。当該奥行情報は、拡張現実その他のコンピュータグラフィック等の分野において周知の点群（point cloud）データの形で、撮像部1を構成するカメラ中心からの奥行を空間座標で表現するものである。

撮像情報からの奥行算出については、任意の既存手法又はその組み合わせを利用できる。例えば運動視差や、以下の非特許文献２に開示されるマルコフランダムフィールド（Markov Random Field）、以下の非特許文献３に開示されるニューラルネットワークを利用した既存手法などが利用できる。あるいは、撮像部1（カメラ）が複数存在する場合はステレオ視差を利用してもよい。赤外線パターンの照射その他に基づく奥行センサを利用する構成も可能である。

[非特許文献２]DA. Saxena and et. al. ``Make3D: Learning 3D Scene Structure from a Single Still Image,'' IEEE Transactions of Pattern Analysis and Machine Intelligence (PAMI), 2008.
[非特許文献３]D. Eigen and et. al. ``Depth Map Prediction from a Single Image using a Multi-Scale Deep Network,'' Advances in Neural Information Processing Systems, No. 27, pp.2366-2374, 2014.

次に、（手順２）として、所定の3点以上の3次元点座標で3次元パッチを選択したうえで、当該パッチから法線ベクトルを算出する。ここで、3次元パッチを選択するための点は、後述する図２の[2]の例のように、（対応する画像内の2次元座標位置において）所定に区切った点を用いればよい。（手順２）では具体的には例えば、以下の（手法２A）又は（手法２B）のいずれかで法線ベクトルを算出すればよい。

（手法２A）では、パッチを単一平面と仮定して最小二乗法で法線ベクトルを求めてもよい。すなわち、全ての奥行情報（3次元空間位置が与えられた点群データ）に最もフィットする平面を最小二乗法で求めて、当該平面の法線ベクトルを求めてもよい。

（手法２B）では、次の事情を考慮することで、より単純だが高速な手法を用いることもできる。すなわち、後段側にある判定部4において特徴情報を用いて厳密な判定（高精度な判定）が実施されるため、補正部2での補正情報の精度は必ずしも厳密さは求められず、算出部3で算出される特徴情報が記憶部5に保持されている特徴情報により近づくよう補正できれば精度向上の観点から補正部2の目的は達成されるという事情である。具体的に例えば、パッチ内の任意の3次元ベクトルを２つ選択し、両ベクトルの外積（ベクトル解析学においてベクトル積として周知の外積）で法線ベクトルを算出することにより、上記の(手法２A)で求まるのと概ね同等の法線ベクトルを高速に算出することができる。

なお、（手法2B）では、（手法２A）における単一平面の仮定を設けることなく、パッチごとに法線ベクトル算出するようにしてもよい。

ここで、（手法２A）及び（手法２B）における共通事項として、パッチ選択においては、撮像対象以外を誤って選択してしまう過誤を排除する処理として、撮像対象の法線分布を利用した処理を適用するようにしてもよい。当該排除処理が適用されたパッチは後段側の処理、特に算出部3における特徴情報の算出対象となる領域から除外される。

例えば、撮像対象において隣接する法線ベクトルの変分（ベクトル差）を除外するか否かの基準とし、撮像画像の奥行情報から算出した正規化法線ベクトル（単位長さとすることで方向の違いのみを互いに比較するようにした法線ベクトル）の変分が所定制約を満たしているかを判定条件とする。すなわち、パッチから算出した正規化法線ベクトルの変分が当該所定制約を満たさない場合、当該領域は撮像対象ではないとして後段の処理対象から除外する。

例えば、撮像対象が平面領域を含むことが予め既知である場合は、正規化法線ベクトルが一意となる制約が既知であるため、正規化法線ベクトルの一次微分が０であることを判定条件とする。別の例として、円柱形状など撮像対象に半径が一定な曲面を含む場合は、正規化法線ベクトルの変分が一意となる制約が既知であるため、法線ベクトルの二次微分が0であることを判定条件とする。

ここで、図２に模式例を示すように、上記における正規化法線ベクトルの変分を求めるための隣接パッチは、撮像画像（2次元の画像領域）を所定手法で区切ったものとして、予め定義しておけばよい。図２の例では[1]に示すように、撮像画像は例えば横800画素×縦600画素（当該画素数は不図示）であるものとし、この場合に隣接パッチを定義するための所定手法の区切り方の例が[2]に示されている。すなわち、当該矩形領域をなす撮像画像領域を横方向に8等分且つ縦方向に6等分して得られる合計48個の正方形画素領域（横100画素×縦100画素）に関してそれぞれ、右上頂点と左下頂点との間に辺を設けて2個のパッチ（三角形）へと分割し、合計96個の所定のパッチをその隣接パッチ（上下方向の隣接関係及び左右方向の隣接関係）と共に定義しておくことができる。

当該隣接関係の定義されたパッチ上で隣接パッチにおいて上記のように一次微分を法線ベクトル差として求め、その大きさに対する閾値判定により平面領域を構成しないパッチを除外することができる。さらに同様に、当該ベクトル差の隣接パッチ間におけるベクトル差をさらに求めることで上記の二次微分に該当するものを求めることができ、その大きさに対する閾値判定により半径が一定の曲面を構成しないパッチを除外することができる。なお、一次微分や二次微分を求めるための隣接パッチをいずれとするかは、所定手法の区切りと共に所定設定を設けておけばよい。例えばラスタスキャン順に隣接するもの（行が変更される箇所は除く）を隣接パッチとしてもよい。

なお、図２の[2]の例やその他の任意の所定のパッチ区切り定義においては、各パッチ（三角形）の正規化法線ベクトルを求めるに際して、その向きが撮像部1のカメラ中心から遠ざかる方向又は近づく方向のいずれかに統一されて全てのパッチの正規化法線ベクトルが算出されるように、所定区切りの各パッチにおいて外積を計算するためのベクトルを、当該三角形を構成する所定の2辺（方向付き）として定めておけばよい。当該定めておくことにより同一平面を構成する２つの隣接パッチであるにも関わらず、正規化法線ベクトルが互いに逆向きに算出されてしまうことを防止できる。あるいは同様に、２つの隣接パッチ間で正規化法線ベクトルのなす角θ（ここで、角θは0度≦θ≦180度で評価する）が90度を超える場合は、一方の正規化法線ベクトルを逆向きとして角θが90度以下となるようにしてもよい。

また、上記の一次微分及び二次微分の評価は、上記の角θに対する閾値判定で評価するようにしてもよい。すなわち、角θが閾値判定で0度に等しいと判定できる際は、一次微分が0であるものと判定してもよい。また、角θが閾値判定で所定値α（＞0度）に等しいと判定できる際は、二次微分が0であるものとして判定してもよい。

また、（手法２A）及び（手法２B）における共通事項として、パッチ選択において図２の[2]の例のように所定のパッチ区切り定義を設けておいたうえで、各パッチ内で奥行値（カメラ中心からの3次元距離）が所定の統計処理によって外れ値と判定される画素は法線ベクトルを計算するための頂点からは除外するようにしてもよい。当該判定され除外された頂点があった場合は、当該パッチ内の当該除外された頂点に（2次元画像内の距離で）最も近く、且つ、上記の所定の統計処理によって外れ値とは判定されなかったものを代用の頂点とすればよい。

さらに、（手法２A）及び（手法２B）における共通事項として、パッチ選択において図２の[2]の例のように所定のパッチ区切り定義におけるパッチサイズ（区切りの粒度）を、（手順１）で求めた奥行情報のばらつきに応じたものとしてもよい。当該ばらつきは、奥行情報を構成している3次元空間座標の分散などで評価すればよく、所定の統計手法で外れ値と判定されるものを予め除外したうえで当該分散を評価してもよい。例えば、閾値判定でばらつきが大きいと判定される場合はパッチサイズが小さい第一の所定区切りを利用し、閾値判定でばらつきが小さいと判定される場合はパッチサイズが大きい第二の所定区切りを利用するようにしてもよい。こうして、ばらつきが大きい場合は撮像対象の形状変動が大きいことが想定されるため細かいパッチを利用するようにし、ばらつきが小さい場合は撮像対象の形状変動が小さいことが想定されるため大きいパッチを利用することで、撮像対象の形状に適したサイズのパッチを利用することができる。

最後に、（手順３）として、以上のように（手順２）で求めた法線ベクトルの向きを、撮像部1を構成するカメラの光軸の向きへと変換するような変換係数を周知のホモグラフィ行列として算出し、補正情報として出力する。

ここで、前述の（手法２A）を適用した場合、又は同様に（手法２B）を単一パッチ仮定のもとで適用した場合であれば、単一の代表的な法線から求めた補正情報を、撮像画像全体に適用されるべきものとして出力すればよい。また、前述の（手法２B）を各パッチにつき法線ベクトルを求めることで適用した場合であれば、各パッチの法線ベクトルから求めた補正情報を当該パッチに適用されるべきものとして出力すればよい。すなわち、後者の場合、補正情報はパッチごとにそれぞれ出力されることとなる。

以上、補正部2による変換係数の算出の第一実施形態を説明したので、次いでその第二実施形態を説明する。

第二実施形態では、相対的位置関係の推定として撮像部1の姿勢を取得できるセンサ等で構成された取得部6を利用する。ただし、撮像対象の姿勢は法線以外の軸で回転しないことを前提とする。例えば、撮像対象は所定の壁（その法線方向が予め既知である所定姿勢の平面）に配置された平面状のポスターであることは事前に既知であるものとし、ポスターの種類（模様及びサイズ）と、当該平面をなす壁において当該ポスターがどのような位置及び向きで貼られているか、が未知であるものとする。

具体的には、事前準備として、撮像部1の姿勢をジャイロセンサー等で構成された取得部6によって取得するとともに撮像対象に対する相対的姿勢を算出し、ジャイロセンサー等で取得した姿勢および撮像対象に対する相対的姿勢を関連付けたものを前述のテーブル情報として記憶部5に記憶しておく。そして、利用時には、取得部6で撮像部1の姿勢を取得し、対応する相対的姿勢を記憶部5のテーブル情報から読み出し、読みだした相対的姿勢から撮像情報を補正する。

例えば、事前準備として撮像対象の設置個所にマーカー等（拡張現実の分野において周知の正方マーカー等）を設置し、マーカーを撮像し相対的姿勢（すなわち、撮像部1のカメラと撮像対象との間の相対的姿勢）を算出するとともに、当該時点での取得部6を構成するジャイロセンサー等の値（すなわち、撮像部1のカメラの光軸の絶対的姿勢に相当）との組をテーブル情報（ルックアップテーブル）として記憶する。当該記憶の際には、利用時に撮像すると想定される角度や距離の視点を隈なく記憶することが望ましい。

そして、利用時には撮像対象のみを設置しておき、取得部6を構成するジャイロセンサー等の値をキーとしてテーブル情報から対応する相対的姿勢を取得し、撮像画像に適用するべきものとしての補正情報を出力すればよい。従って、テーブル情報における相対的姿勢は、第一実施形態と同じくホモグラフィ行列の形式で記憶しておけばよい。

当該第二実施形態では、撮像対象が予めその絶対的姿勢（法線方向）が固定された平面上に配置される必要があるというデメリット（撮像対象は複数種類あってよいが、いずれも所定平面上に配置されている必要があるというデメリット）と引き換えに、第一実施形態と比較して奥行情報を推定する必要がないというメリットと、事前準備における判定が容易なマーカーで求めた高精度な補正が適用可能というメリットとが得られる。また、特徴に乏しい撮像対象でも補正できるため、判定部4において大幅な精度向上が期待できる。

なお、取得部6は、所定の軸数のジャイロセンサ、方位センサ、重力センサ、傾斜センサ等のいずれかまたはこれらの組み合わせで構成されることにより、既存手法に即して撮像部1の絶対的姿勢を表すセンサ値を取得することができる。なお、当該絶対的姿勢は、垂直方向（重力方向）の区別に加えて方位（東西南北）の区別をも含むものとしてセンサ値によって取得されてもよいし、垂直方向の区別のみを含むものとしてセンサ値によって取得されてもよい。垂直方向の区別のみが含まれるセンサ値を取得する場合は、撮像部1を用いての撮像対象の撮像は当該垂直方向まわりのみで姿勢変化する制約を設けておくことが好ましい。例えば、撮像対象は垂直な壁に配置されているものとし、ユーザは撮像部1を用いて当該壁上の撮像対象を正面（所定方位）から撮像するが、当該撮像の際の水平方向の向き（上側から見下ろすように撮像する、あるいは下側から見上げるように撮像するという水平方向の向き）のみが変動しうる（すなわち、水平方向の向きの自由度を許容する）ような制約を設けておくことが好ましい。同様に、当該絶対的姿勢は、方位（東西南北）の区別のみを含むものとしてセンサ値によって取得されるものとし、撮像対象は垂直な壁上に配置されており、ユーザによる撮像は必ず水平方向を向くようにするが方位の自由度は許容するというような制約を設けておいてもよい。

算出部3は、補正情報に基づいて撮像画像から特徴量を算出する。特徴量算出の第一実施形態では、撮像画像に補正情報を適用し（すなわち、ホモグラフィ行列による座標変換を適用し）撮像対象が正対するような状態となった補正画像を得たうえで、当該補正画像から特徴量を算出する。図３は当該補正画像を得ることの模式例を示す図であり、[1]に撮像画像の例が、[2]にその補正画像の例が示されている。図３の例において撮像対象は「撮像対象」との文字が描かれたポスターであり、[1]では極めて傾斜した状態で当該ポスターが撮像されていることが見て取れる。従来技術においては、このように極めて傾斜した状態の撮像対象は、その特徴量が少ない場合は特に特徴量に基づく判定が困難であったが、本願発明においてはこれを[2]に示すように正対する状態の補正画像へと変換するので、予め[3]に示されるように記憶部5において同じく正対する状態で算出された特徴量との間の照合判定が可能（後述する判定部4において可能）となる。

また、特徴量算出の第二実施形態では、特徴算出の座標に補正情報を適用し特徴算出座標が記憶部5に保持された座標（正対状態での座標）に該当するように補正した上で特徴量を算出してもよい。第二実施形態では補正画像を得ることなく、図３を用いて説明した第一実施形態と同様の判定精度向上の効果が得られるようになる。

図４は特徴量算出の第二実施形態を説明するための模式例を示す図である。ここで、[1]に示すように、各種の特徴量の中には、黒丸（●）で示す特徴点と、その周辺に白丸（○）で示す当該特徴点を基準として画像座標上で所定配置にある複数の点（図４では模式例として４点が矩形状に配置されている）と、から点のペアを抽出し、その輝度の大小比較結果に基づいて特徴量が算出されるものがある。このような特徴量として、既存手法のBRIEF特徴量やBRISK特徴量などが挙げられ、特徴量の種類に応じて特徴点を基準とした所定配置にある点を用いて所定手法で特徴量が算出される。（なお、図４の例では[1],[2]のそれぞれの枠内において局所特徴量としての特徴量を算出するための点のペアを構成する模式例を示しているが、これは黒丸（●）で示す特徴点の局所近傍領域の付近を拡大した状態で示すものであり、[1],[2]の枠が必ずしも画像全体に対応しているわけではない。）

従って、撮像対象が傾いている場合、正対するように補正した状態で[1]のような所定の点配置から特徴量が算出されるようにすればよいこととなる。この場合、傾いた撮像対象が撮像されている撮像画像においては、[1]の所定の点配置は、[2]に例示するような形で歪んで配置されていることとなる。従って、傾いて撮像されている撮像画像においては、当該撮像画像から直接、黒丸（●）で示す特徴点を抽出したうえで、白丸（○）で示す[2]のような歪みを反映した複数の所定点の画素値を求めれば、[1]で示す正対した状態と同様の特徴量が計算可能となる。第二実施形態ではこのように、補正情報の適用により、[2]に示すように傾斜した状態の撮像画像から直接、[1]に示す正対した状態の補正画像に対応する座標位置を算出し、正対した状態に相当する特徴量を撮像画像そのものを正対状態に補正することなく算出することが可能である。

以上、第一又は第二実施形態により算出部3において算出された特徴量は特徴情報として判定部4へ出力する。当該算出する特徴量には、第二実施形態で説明したものの他、第一実施形態ではさらにSIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)などの既存手法も利用できる。

なお、算出部3では第一及び第二実施形態のいずれにおいても、前段側の補正部2において画像全体単位ではなく、その部分領域としてのパッチ単位で補正情報を得ている場合には、当該パッチごとに対応する補正情報を適用したうえで、パッチごとに特徴情報を算出し、全てのパッチから算出された特徴情報を当初の撮像画像から得られた特徴情報として判定部4へと出力する。例えばパッチP1,P2, ..., Pnから特徴情報f1,f2, ..., fnが得られた場合、当該全ての特徴情報f1,f2, ..., fnが判定部4へと出力される。（ここで、特徴情報f1,f2, ..., fnの各々は、各パッチにおける１つ以上の特徴点の特徴量として構成されてよい。）

また、算出部3では第一及び第二実施形態のいずれにおいても、補正情報におけるホモグラフィ行列による変換が閾値判定で小さいと判定される場合、すなわち、閾値判定で当初の撮像画像（全体又は各パッチ）がほぼ正対している状態にあると判定される場合には、補正情報の適用を省略して、そのまま特徴情報を算出するようにしてもよい。すなわち、補正情報を適用せずともほぼ正対しているような状況においては、判定部4で十分な精度が得られるような特徴情報をそのままの撮像画像から算出することができるので、補正情報を適用しないようにすることで高速化を図ることができる。

記憶部5は、事前にそれぞれの撮像対象から特徴量を算出し、撮像対象情報（判定部4で判定結果として出力するための撮像対象の種別等を特定する情報）ととともに特徴情報として記憶しておく。当該記憶しておく特徴量は算出部3と同一種類の手法によって算出される特徴量を用いる。また前述の通り、取得部6が利用される実施形態において記憶部5ではさらにテーブル情報として、取得部6が取得する撮像部1の絶対的姿勢に該当するセンサ値と、各センサ値に対応して撮像部1のカメラの光軸向きを撮像対象の法線向きへと変換するようなホモグラフィ行列としての補正情報とを記憶しておく。

判定部4は、算出部3で算出された特徴情報と記憶部5に記憶された特徴情報とを比較することで撮像対象を判定し、判定結果としての撮像対象情報を出力する。すなわち、記憶部5で記憶されている1つ以上の所定の撮像対象のいずれに、撮像画像内の対象が該当するのかを特定する。

ここで、特徴情報同士を比較する際には、各種の周知手法を利用することができ、例えば、RANSAC(Random Sample Consensus)等により、特徴情報を構成している各特徴量をそれぞれ個別にマッチングすることを試みながら外れ値を排除することで、全体として最もマッチングしているものを特定する手法を用いてもよい。あるいは、BoVW（Bag of Visual words）のヒストグラム同士の類似度を算出してもよい。

以上、本発明によれば補正情報の適用により、撮像対象が傾いている場合であっても当該撮像対象が正対した状態において得られるであろう特徴情報が算出可能となり、判定部4による判定を行うことが可能となる。

以下、本発明における説明上の補足的事項を述べる。

（１）追加的な実施形態として、撮像対象情報に相対的な位置関係を含めることもできる。まず、補正情報H2における特徴情報（補正情報H2を適用した補正画像から算出部3で算出される特徴情報）の4点以上の特徴点座標と、当該特徴に対応する記憶部5の特徴情報における4点以上の特徴点座標との対応関係から、ホモグラフィ行列としての補正情報H1を算出する。当該算出は判定部4で判定処理を行ってからさらに追加処理として行うようにすればよい。当該算出される特徴情報H1はすなわち、補正情報の適用で撮像対象を正対した状態と、記憶部5に記憶されている撮像対象と、を同一平面上においてそのサイズ、位置及び回転の変換で対応付けるホモグラフィ行列に相当する。

次に、補正部2で既に算出している補正情報H2を取得する。記憶部5に記憶されている（リファレンス画像における）撮像対象の画像座標xと、（クエリ画像としての）撮像画像の画像座標x'とは、変換式x=H1*H2*x'で対応付けられることにより、撮像対象と撮像部1との相対的姿勢情報Hを、撮像対象と補正情報との相対的姿勢情報H1および補正情報と撮像画像との相対的姿勢情報H2の積（H=H1*H2）として算出することができる。

当該算出することの応用例として、撮像画像における撮像対象に所定の関連情報を（当該撮像対象と位置、サイズ、姿勢を整合させたうえで）重畳表示する場合に、関連情報を相対的姿勢情報Hに基づいて射影変換し撮像部1の出力する撮像画像と合成することで、当該重畳表示が可能となる。当該重畳表示する機能部は図１では省略されているが、情報処理装置10は当該機能部をさらに備えていてもよい。当該重畳表示により、情報処理装置10を用いての拡張現実表示が可能となる。また、図３の[1]の例のように撮像対象が極端に傾いているような場合であっても、判定部4で当該撮像対象を判定し、判定された撮像対象の種類に応じた所定情報を撮像画像上に重畳表示することが可能となる。また、当該重畳表示するための関連情報は、判定部4で判定された撮像対象に応じた所定の情報を例えば三次元立体モデルなどの形式で記憶部5に予め記憶しておき、当該記憶している情報に前述の積（H=H1*H2）に基づく変換を施したうえで撮像画像における撮像対象の位置に重畳させるようにすればよい。

（２）記憶部5にそのリファレンスとしての特徴情報が記憶され撮像部1で撮像される撮像対象が、向きが互いに異なる複数の平面部分で構成されている場合であっても、本発明によれば補正部2において複数のパッチごとに補正情報を算出する実施形態の適用により、各平面部分をそれぞれ正対した状態に補正して得られるのと同等の特徴情報が算出可能であるため、当該撮像対象を判定部4で判定することが可能である。この場合、記憶部5に記憶しておくリファレンスとしての特徴情報は、複数の平面部分をそれぞれ正対した状態において算出されたものであることが好ましい。例えば、当該複数の平面部分で構成される撮像対象の「展開図」を正面から撮像したうえで算出される特徴情報を記憶しておくことが好ましい。

図５に、当該複数の平面部分で構成されている撮像対象を判定する模式例を示す。[1]に示すように撮像対象は直方体状であり、互いに向きの異なる上面R1、前面R2及び側面R3を少なくとも有している。この場合、補正部2によるパッチごとの補正情報の適用により、上面R1、前面R2及び側面R3についてそれぞれ、[2]に示すように正対状態CR1,CR2,CR3で算出されるのと同等の特徴情報を算出部3において算出することができる。（なお、上面R1、前面R2及び側面R3に関してそれぞれ、１つ以上のパッチで補正情報が適用されることで結果的に[2]に示すような状態に相当する特徴情報が算出可能となる。）一方、[3]に示すように当該直方体状の撮像対象に関して、記憶部5ではその展開図Dにおいて算出される特徴情報を記憶しておくことが好ましく、当該展開図Dにおいてそれぞれ正対した状態にある上面D1、前面D2及び側面D3から特徴情報を算出し、記憶しておけばよい。

なお、図５の例では撮像対象が向きの異なる平面で構成される場合を示したが、曲面を含んで撮像対象の面が構成される場合においても同様に、本発明によるパッチ単位の補正情報の適用により、当該撮像対象の判定が可能である。曲面を含む場合も、図５の[3]の例と同様に展開図に相当する正対状態で求まる特徴情報を記憶部5に記憶しておくことが好ましい。

（３）情報処理装置10は一般的な構成のコンピュータとして実現可能である。すなわち、CPU（中央演算装置）、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって情報処理装置10を構成することができる。さらに、図１に示す情報処理装置10の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等（GPUを含む）において実現するようにしてもよい。撮像部1は、当該ハードウェアとしてのカメラによって実現できる。

10…情報処理装置、1…撮像部、2…補正部、3…算出部、4…判定部、5…記憶部、6…取得部

Claims (9)

1. 撮像画像より、当該撮像画像の全部又は一部における撮像対象を、当該撮像画像を得たカメラに対して正面化する補正情報を得る補正部と、
   前記補正情報を前記撮像画像に適用したうえで前記撮像画像の特徴情報を算出する算出部と、を備え、
   前記補正部では、前記撮像画像より求まる奥行情報を構成している各空間座標点から3点以上選択して形成されるパッチを複数形成し、各パッチにおける法線に基づいて前記補正情報を得ており、
   前記算出部では、前記各パッチにおける法線ベクトルの隣接パッチ間における変化に基づいて、前記撮像画像の特徴情報を算出する領域から除外するパッチを決定することを特徴とする情報処理装置。
2. 前記算出部では、前記隣接パッチ間における法線ベクトルの方向変動、又は当該方向変動の隣接パッチ間における変動が閾値条件を満たすものとして、前記撮像画像の特徴情報を算出する領域から除外するパッチを決定する請求項１に記載の情報処理装置。
3. 撮像画像より、当該撮像画像の全部又は一部における撮像対象を、当該撮像画像を得たカメラに対して正面化する補正情報を得る補正部と、
   前記補正情報を用いて前記撮像画像の特徴情報を算出する算出部と、を備え、
   前記算出部では、特徴点に対して所定配置関係にある点の画素値から算出される特徴量として特徴点ごとに特徴情報を算出し、前記撮像画像における特徴点につきそれぞれ、当該所定配置関係に前記補正情報を適用して得られる補正された配置関係にある点であって且つ前記撮像画像に属する点の画素値から前記特徴量を算出することで、前記補正情報を前記撮像画像の領域には適用しないことを特徴とする情報処理装置。
4. 前記補正部では、前記撮像対象のなす面の法線の方向と、前記撮像画像を得たカメラの光軸の方向と、を互いに変換する関係として前記補正情報を得ることを特徴とする請求項１ないし３のいずれかに記載の情報処理装置。
5. 前記補正部では、ホモグラフィ行列として前記補正情報を得ることを特徴とする請求項１ないし４のいずれかに記載の情報処理装置。
6. 前記補正部では、前記撮像画像を得たカメラの姿勢に対して、予め定められている各カメラ姿勢と各カメラ姿勢に対応する補正情報との対応表を参照することにより、前記正面化する補正情報を得ることを特徴とする請求項１ないし５のいずれかに記載の情報処理装置。
7. 前記算出された特徴情報と、所定の複数の撮像対象につき予め記憶されている特徴情報とを照合することにより、前記撮像画像における撮像対象が前記所定の複数の撮像対象のいずれに該当するかを判定する判定部をさらに備えることを特徴とする請求項１ないし６のいずれかに記載の情報処理装置。
8. さらに、前記補正情報の適用で正面化された補正画像における撮像対象の位置座標と、当該撮像対象について予め用意されているリファレンス画像における撮像対象の位置座標と、を変換する関係を求め、当該関係及び前記補正情報に基づいて前記撮像画像において前記判定された撮像対象に対する所定情報の重畳を行うことを特徴とする請求項７に記載の情報処理装置。
9. コンピュータを請求項１ないし８のいずれかに記載の情報処理装置として機能させることを特徴とするプログラム。