JP6168601B2 - 画像変換装置 - Google Patents

Description

本発明は、複数平面に対して任意の角度から撮影された複数のカメラ画像を、当該平面に対して垂直上方から撮影された俯瞰画像に変換する画像変換装置に係り、特に、複数のカメラ画像の各平面に対する高精度な平行化に好適な画像変換装置に関する。

画像の平行化とは、３次元空間において平面に対して斜めの角度から撮影されたカメラ画像を、平面に対して垂直上方から撮影された俯瞰画像へ変換する技術である。これは、撮影対象が２次元平面ではあるものの、３次元空間における平面の幾何情報を復元しているという点で３次元復元技術の一種と捉えられる。平行化によりカメラ画像の平面に対する撮影姿勢が得られるため、CGを現実空間に重ね合わせて表示するARシステムへの応用が可能である。

特許文献１には、カメラ画像と平面図とのマッチングを利用する方式が開示されている。具体的には、平面上に存在する既知の幾何形状とカメラ画像内との対応を利用して、最少４組の点対応から平面図へ変換するホモグラフィ行列を計算する。例えば、正方形のマーカーを平面上に事前に設置することで、正方形の４頂点に関して平面図上の座標とカメラ画像上のピクセル座標とで対応をとることで容易に平行化が実施できる。

特許文献２には、平面上に存在する平行線を検出する方式が開示されている。具体的には、平面上に存在する最少２組の平行線を検出することで、平面図上の無限遠直線に相当するカメラ画像中の消失線の位置を計算し、カメラの内部パラメータの情報と合わせることで平面図を得る。これは、カメラ画像中の消失線とカメラの内部パラメータとから平面の法線方向が復元できることを利用している。

以上のように、平面上に存在する特定の幾何模様を利用する方式が画像の平行化として一般的であり、一枚のカメラ画像から平行化が可能である。その反面、対象の平面がその上に特定の幾何形状や平行線が存在するものに限定されるという課題がある。

非特許文献１には、多視点で撮影された各カメラ画像間のホモグラフィ行列から平行化を行う方式が開示されている。これは、カメラ画像を複数枚用いるという点で特許文献１，２の方式とは大きく異なる。

具体的には、平行化に用いるパラメータ（平行化パラメータ）と各カメラ画像間のホモグラフィ行列とに関してコスト関数を定義し、各ホモグラフィ行列を入力としてそれを最小化することにより、平行化に用いるパラメータが推定される。平行化パラメータは、撮影時のカメラ座標系のZ軸を平面垂直方向へ回転させる2自由度の回転行列により構成される。ホモグラフィ行列は、各画像から抽出されたSIFT等の局所特徴量に基づく対応点マッチングから計算される。

この方式は、平面に関する事前情報を用いず、カメラ画像間のマッチングのみを利用しているため、例えば、平面上に存在する模様が未知の環境を対象としたARシステムへの応用が考えられる。但し、カメラ画像の枚数が少ない場合、もしくは各カメラ画像間のマッチングの精度が悪い場合に、平行化の精度が低いという課題がある。

例えば、人工建造物のような直交性の強い３次元環境において、直交関係にある２つの平面を平行化の対象とした場合に、両平面に対して不十分な精度で平行化を実施した結果、推定された両平面に対する平行化パラメータが直交の関係を満たさなくなる。

このような技術課題に対して、本発明の発明者等は、相対角度が既知である複数平面を平行化の基準とした場合に、各平面に対して推定される各平行化パラメータが既知の角度となる制約を利用することで、複数のカメラ画像を各平面に対して高精度に平行化できる画像変換装置を発明し、特許出願（特許文献３）した。

特開２００６−１４６７６０号公報 特許第４６１７９９３号公報 特願２０１３−１７７１１５号

A. Ruiz, P. E. L. de Teruel, and L. Fernandez. Practical planar metric rectification. In Proc. BMVC 2006, 2006. Hartley Richard and Zissermain Andrew: Multiple View Geometry in Computer Vision. Cambridge University Press. 2001.

特許文献３では、平面間の角度が既知の複数平面に対して、平面間の角度制約を利用することで平行化の精度を向上させることができる一方で、角度制約に活用できる画像（リファレンス画像）がコーナ画像に限定されるのみならず、複数のコーナ画像が入力された場合でも、リファレンス画像として選択された一のコーナ画像に基づく角度制約を活用できるのみで、他のコーナ画像に基づく角度制約は活用できないという課題があった。

本発明の目的は、上述の技術課題を解決し、平面間の角度が既知である複数平面に対して、複数のコーナ画像が入力された場合に、リファレンス画像がコーナ画像に限定されず、入力された全てのコーナ画像に基づく角度制約を利用して、複数のカメラ画像を各平面に対して高精度に平行化できる画像変換装置を提供することにある。

上記の目的を達成するために、本発明は、相対角度が既知の複数平面に対して多視点のカメラ画像を平行化する画像変換装置において、各カメラ画像から特徴点を検出する特徴点検出手段と、各カメラ画像間で特徴点マッチングを実行して対応点を検出する対応点検出手段と、各カメラ画像間の対応点集合に基づいて、同一平面間のホモグラフィ行列を計算するホモグラフィ行列計算手段と、各カメラ画像間の接続関係を表現するグラフを生成するホモグラフィグラフ生成手段と、カメラ画像の集合からリファレンス画像を選択するリファレンス画像選択手段と、リファレンス画像を当該リファレンス画像と同一の平面を撮影した各カメラ画像へ変換するリファレンスホモグラフィ行列を計算するリファレンスホモグラフィ行列計算手段と、複数平面の映った複数のコーナ画像を当該コーナ画像によりリファレンス画像の平面と接続されている別の平面を撮影した各カメラ画像に変換するコーナホモグラフィ行列計算手段と、複数平面に対してリファレンス画像において定義される平行化パラメータを、コーナ画像における平行化パラメータに変換する処理を用いて、リファレンスホモグラフィ行列集合およびコーナホモグラフィ行列集合から平行化パラメータを推定する平行化パラメータ推定手段とを具備した。

本発明によれば、以下のような効果が達成される。

(1)平面間の角度が既知の複数平面に対する多視点のカメラ画像の平行化を実施する際に、存在する全てのコーナ画像に基づく角度制約の利用が可能となるため、高精度の平行化が実施できる。
例えば、各コーナ画像の撮影対象領域が狭い場合に、従来の平行化方式では一枚のコーナ画像に基づく弱い角度制約しか利用できないのに対して、本発明によれば複数枚のコーナ画像に基づき、平面間に対して強い角度制約を加えることができるので、より高精度な平行化が可能になる。

(2)リファレンス画像がコーナ画像に限定されないので、一平面の平行化においてコーナ画像以外がリファレンス画像として最適である場合に、より高精度な平行化が可能になる。

本発明が適用されるカメラ画像の撮影環境およびARシステムの構成を模式的に表現した図である。 各カメラ画像から検出される特徴点の例を示した図である。 ２つのカメラ画像における特徴点の検出例を示した図である。 ２つのカメラ画像間での対応点検出ならびにホモグラフィ行列Hs，Hbの計算例を示した図である。 ５つのカメラ画像Ica1〜Ica5の撮影範囲を説明するための図である。 ５つのカメラ画像Ica1〜Ica5を入力とした場合に各カメラ画像間で得られる画像間ホモグラフィ行列の一例を示した図である。 図５の各カメラ画像Icaをノード、画像間ホモグラフィ行列をエッジとした双方向の有効グラフを表現した図である。 平面Pbに関する有効グラフを示した図である。 リファレンス画像を他のカメラ画像へ変換するリファレンスホモグラフィ行列の例を示した図である。 平面Psに関する有効グラフを示した図である。 コーナ画像を他のカメラ画像へ変換するコーナホモグラフィ行列の例を示した図である。 リファレンスホモグラフィ行列集合およびコーナホモグラフィ行列集合を一つのグラフで表現した図である。 リファレンス画像としてコーナ画像のカメラ画像が選択された場合のホモグラフィグラフを示した図である。 平面間の角度が既知の複数平面に対してカメラ画像を平行化させる方法を示した図である。 リファンレス画像に対して定義される平面Psの平行化パラメータを、コーナ画像における平面Psの平行化パラメータへ変換する処理を説明する図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明が適用されるカメラ画像の撮影環境およびARシステムの構成を模式的に表現した図であり、複数の平面Pb，Psが既知の角度θで交差し、様々なカメラ姿勢で撮影される複数のカメラ画像には、平面Pb，Psの少なくとも一方が映っており、両平面が映ったカメラ画像も複数毎存在する。なお、各カメラの撮影方向は、各カメラを模したシンボルマークの向きにかかわらず、各シンボルを起点として記述されている矢印方向（→）であるものとする。

各カメラ画像は、１ないし複数台のカメラで撮影された静止画であっても、あるいは１ないし複数台のビデオカメラで撮影された動画から切り出されたフレーム画像であっても良い。カメラ画像を出力するカメラも、デジタルカメラ、WEBカメラあるいは携帯電話端末に搭載されているカメラモジュール等のいずれであっても良い。ただし、各カメラの焦点距離や光軸のずれ、歪みパラメータ等の内部パラメータは、全てのカメラについて事前のキャリブレーションにより既知であるものとする。

ARシステムは、画像変換装置１、データベース２およびディスプレイ３により構成され、前記画像変換装置１は、平面Pbおよび／または平面Psを任意の角度から撮影した複数のカメラ画像を、平面Pb，Psの映った複数のカメラ画像に基づいて、平面Pbおよび／または平面Psの垂直上方から撮影された平行化画像（俯瞰画像）に変換する平行化機能を備える。

データベース２は、ハードディスクやフラッシュメモリ等の不揮発性メモリストレージ、あるいはPCの主記憶装置に一般的に使用される揮発性メモリにより構成され、少なくともカメラの内部パラメータが記録されており、加えて重畳表示されるCGのモデルが記録されていても良い。本発明では、後に詳述するように、平面上の特定の幾何形状を利用する一般的な方式とは異なり、多視点で撮影された各カメラ画像間の関係性のみを利用する方式に基づいて画像の平行化が行われるため、データベースには平面に関する情報が記録されている必要はない。

ディスプレイ３は、テレビやモニタ用のディスプレイに限定されず、ヘッドマウントディスプレイであっても良い。また、携帯電話端末のように、カメラ、ディスプレイおよびデータベースが一つの筐体を共有する構成であっても良い。ディスプレイ２の表示コンテンツとしては、各視点からのカメラ画像の平行化に基づく俯瞰図や、平面に対する撮影姿勢に基づくCGキャラクターなどが挙げられる。

画像変換装置１は、汎用のコンピュータやサーバ（スマートフォン、PDA等の情報端末を含む）に各機能を実現するアプリケーション（プログラム）を実装することで構成しても良いし、あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。

画像変換装置１において、カメラ画像インタフェース１０には、相対角度θが既知の２平面Pb，Psを任意の方向から撮影したカメラ画像Icaが入力される。特徴点検出部１１は、各カメラ画像Icaから特徴点を検出して、その局所特徴量を取得する。

図２は、各カメラ画像Icaから検出される特徴点の例を示した図であり、図３は、２つのカメラ画像Ica1，Ica2における特徴点の検出例を示した図である。ここでは便宜上、平面Pbから検出される特徴点が「×」印で表現され、平面Psから検出される特徴点が「○」印で表現されているが、各カメラ画像Icaから検出される特徴点の局所特徴量が、平面Pb，Psのいずれに属するかに応じて特異的であることを示唆するものではない。

対応点検出部１２は、全てのカメラ画像間で特徴点同士の対応点マッチングを実行して対応点（特徴点ペア）を検出する。対応点マッチングは、SURF、SIFT、ORB等の局所特徴量を抽出し、その距離に基づいて行う。マッチングの精度向上のために、局所特徴量間の距離に基づいてマッチング結果をソートし、距離が閾値以下のマッチングのみを用いても良い。もしくは、距離が１番目に近いものと２番目に近いものとを探索し、それらの距離の比（２番目との距離に対する1番目との距離）が閾値以下のものを用いてもよい。

さらに、計算コストを低減するため、対応点マッチングを一部のカメラ画像については省略してもよい。例えば、カメラ画像が逐次的に入力されるシステムにおいては、最新のカメラ画像のマッチング対象を、直前に入力された数枚のカメラ画像に限定しても良い。

ホモグラフィグラフ生成部１３は、特徴点が検出された平面ごとに、同一平面間の画像間ホモグラフィ行列を生成すると共に、当該画像間ホモグラフィ行列に基づいて、各カメラ画像間の接続関係を表現するホモグラフィグラフを生成する。

図４は、任意の２つのカメラ画像間での対応点検出ならびに平面Pb，Psごとに計算される画像間ホモグラフィ行列H^b、H^sの一例を示した図である。

ホモグラフィ行列Hは、最少４組の対応点から最小二乗法により計算できる。本実施例では便宜上、カメラ画像Icaとはカメラの内部パラメータAおよび実際のカメラ画像xを用いて、Ica=A-1・xにより表される正規化カメラ画像を指すものとする。２つのカメラ画像Icai，Icajの関係は、ホモグラフィ行列Hijにより次式(1)で表現できる。

ホモグラフィ行列Hは、各特徴点の属する平面が既知であれば、その情報を利用して平面ごとに計算できるが、本実施例では、各特徴点の所属平面が未知である場合を想定し、以下のようにしてRANSAC等のロバスト推定を用いて平面ごとに計算される。

ホモグラフィグラフ生成部１３において、第１計算部１３ａは、初めに各カメラ画像間の対応点集合からホモグラフィ行列を計算し、インライア判定された対応点のホモグラフィ行列を、２平面Pb，Psの一方（ここでは、平面Pbとする）に関する画像間ホモグラフィ行列H^bとして取得する。

本実施例では、最小二乗法によるホモグラフィ行列計算を繰り返すことで、外れ値の影響を受けてないホモグラフィ行列が出力される。すなわち、初めに全ての対応点から一部をサンプリングする。次いで、最小二乗法によりホモグラフィ行列を推定して、そのスコアを計算する。そして、これらの処理を全て、もしくは一部のサンプリングの組み合わせに対して繰り返し、一番高いスコアを持つホモグラフィ行列が画像間ホモグラフィ行列H^bとされる。

第２計算部１３ｂは、前記画像間ホモグラフィ行列の計算においてアウトライア判定された残りの対応点を対象にホモグラフィ行列を計算し、インライア判定された対応点のホモグラフィ行列を他方の平面（ここでは、平面Psとする）に関する画像間ホモグラフィ行列H^sとして取得する。このようなホモグラフィ行列の計算は、マッチングの取れたカメラ画像の全ての組み合わせに対して行われる。

ここで、図５に示したように、一方の平面Pbしか映っていないカメラ画像Ica1、２平面Pb，Psのいずれもが映っているカメラ画像（コーナ画像）Ica2，Ica3，Ica4および他方の平面Psしか映っていないカメラ画像Ica5の計５枚のカメラ画像に注目する。

図６は、前記５つのカメラ画像Ica1〜Ica5を入力とした場合に各カメラ画像間で得られる画像間ホモグラフィ行列H^s，H^bの一例を示している。図７は、図６の各カメラ画像Icaをノード、画像間ホモグラフィ行列をエッジとした双方向の有効グラフを示しており、グラフの上半分が平面Psに関するもの、下半分が平面Pbに関するものである。ただし、Hji^-1により接続される逆方向のエッジに関しては図示が省略されている。

リファレンス画像選択部１４は、前記カメラ画像Icaの集合から、前記画像間ホモグラフィ行列H^b、H^sの計算結果に基づいてリファレンス画像Irefを選択する。

リファレンス画像Irefは、ホモグラフィグラフ中の全てのカメラ画像の中から一定の基準の従って任意に選択できる。例えば、接続しているノードの数や、接続しているエッジの重みであるホモグラフィ行列の信頼度を指標として選択できる。あるいは、カメラ画像中の特徴点やロバスト推定で判定されたインライアの数を指標として選択しても良い。さらには、カメラ画像の入力順序に基づいて選択しても良い。ここでは、カメラ画像Ica1が選択されたものとして説明を続ける。

次いで、選択されたリファレンス画像Irefとホモグラフィグラフの接続関係に従って、各カメラ画像が以下の３種類に分類される。ここでは、コーナ画像が平面Psのカメラ画像および平面Pbのカメラ画像のいずれにも属している点に注意されたい。

(1)リファレンス画像Ica1と同じ平面Pbに属する画像：Ica1，Ica2，Ica3，Ica4
(2)平面間の境界部分が写っているコーナ画像：Ica2，Ica3，Ica4
(3)リファレンス画像Ica1と既知の角度を成す平面Psに属する画像：Ica2，Ica3，Ica4，Ica5

ホモグラフィ行列計算部１５は、リファレンス画像Irefを当該リファレンス画像Irefと同一の平面を撮影した各カメラ画像（リファレンス画像を除く、コーナ画像を含む）に変換するリファレンスホモグラフィ行列を再計算し、リファレンスホモグラフィ行列集合として平行化パラメータ推定部１６へ与えるリファレンスホモグラフィ行列計算部１５ａを含む。

ホモグラフィ行列計算部１５はさらに、各コーナ画像をリファレンス画像Irefの平面と接続されている別の平面を撮影した各カメラ画像（コーナ画像を除く）へ変換するコーナホモグラフィ行列を再計算し、コーナホモグラフィ行列集合として平行化パラメータ推定部１６へ与えるコーナホモグラフィ行列計算部１５ｂを含む。

前記リファレンスホモグラフィ行列計算部１５ａでは、初めに図７の有効グラフからリファレンス画像Irefの属する平面（ここでは、Pb）に関連するグラフが抽出される。図８は平面Pbに関して抽出されたグラフである。

次いで、ホモグラフィグラフの接続関係に従ってリファレンス画像Irefから、当該リファレンス画像Irefと同一の平面を撮影した各カメラ画像への経路が探索され、リファレンス画像Irefを各カメラ画像へ変換するホモグラフィ行列が、経路中の各エッジに紐付くホモグラフィ行列の積により求められる。

図８を例にすれば、リファレンス画像Iref（Ica1）からカメラ画像Ica2への経路は、Ica1→Ica2の第１経路と、Ica1→Ica3→Ica2の第２経路と、Ica1→Ica4→Ica3→Ica2の第３経路との計３通りの経路がある。ここで、第1経路に関しては、リファレンス画像Irefをカメラ画像Ica2へ変換するホモグラフィ行列H^b ₁₂が次式(2)により得られる。

同様に、第２および第３経路については、ホモグラフィ行列H^b ₁₂がそれぞれ次式(3)，(4)により得られる。

ここで得られたホモグラフィ行列H^b ₁₂は、リファレンスホモグラフィ行列として、平行化パラメータ推定部１６へ提供されるリファレンスホモグラフィ行列集合に加えられる。

なお、全通りの経路で得られたホモグラフィ行列H^b ₁₂について、経路の冗長性を考慮していずれも集合に加えても良く、もしくはいずれかのみを集合に加えても良い。例えば、カメラ間の移動距離を重みとして各エッジに割り当て、最長経路もしくは最短経路を選択してもよい。

以上の処理を他のカメラ画像についても適用することで、H^b ₁₂，H^b ₁₃およびH^b ₁₄というリファレンスホモグラフィ行列の集合が得られる。すなわち、図８のグラフから図９のグラフが得られる。

前記コーナホモグラフィ行列計算部１５ｂでは、初めに前記図７の有効グラフから、リファレンス画像Irefと既知の角度を成す別の平面に属するカメラ画像に関連するホモグラフィグラフが各コーナ画像について抽出される。図７では３つのコーナ画像が存在するため、ここでは図１０に示した３つのグラフが得られる。

次いで、ホモグラフィグラフの接続関係に従って、各コーナ画像から、リファレンス画像Irefの所属平面Pbと接続されている別の平面Psを撮影した各カメラ画像（コーナ画像を除く）への経路が探索され、コーナ画像を各カメラ画像へ変換するホモグラフィ行列が、経路中の各エッジに紐付くホモグラフィ行列の積として求められる。

ホモグラフィ行列の計算方法は、上記のリファレンスホモグラフィ行列計算部１５ａによる計算方法と同様であり、ここでは図１１に示したように、コーナ画像Ica2を各カメラ画像Ica3，Ica5，Ica4へ変換するホモグラフィ行列H^s ₂₃，H^s ₂₅，H^s ₂₄、コーナ画像Ica3を各カメラ画像Ica2，Ica5，Ica4へ変換するホモグラフィ行列H^s ₃₂，H^s ₃₅，H^s ₃₄およびコーナ画像Ica4を各カメラ画像Ica2，Ica5，Ica3へ変換するホモグラフィ行列H^s ₄₂，H^s ₄₅，H^s ₄₃が計算される。

これらのホモグラフィ行列は、コーナホモグラフィ行列として、平行化パラメータ推定部１６へ提供されるコーナホモグラフィ行列集合に加えられる。

平行化パラメータ推定部１６は、平面間の角度が既知の複数平面に対してリファレンス画像において定義される平行化パラメータを、コーナ画像における平行化パラメータに変換する処理を用いて、リファレンスホモグラフィ行列集合およびコーナホモグラフィ行列集合から平行化パラメータを推定する。

前記ホモグラフィ行列計算部１５から与えられるリファレンスホモグラフィ行列集合およびコーナホモグラフィ行列集合は、図１２に示した一つのグラフで表現できる。平行化パラメータの推定は、このグラフに基づいて行われる。相対角度が既知である複数平面に対する平行化パラメータの推定方法は、前記特許文献３に詳しい。

なお、リファレンス画像としてコーナ画像のカメラ画像Ica2が選択された場合は、前記図７のグラフから図１３のグラフが得られる。この場合でも、平面Pbのカメラ画像がリファレンス画像として選択された際の手順と同様にして、このグラフに基づいて平行化パラメータの推定が行われる。

また、特許文献３によれば、図１４に示すように相対角度が既知（ここでは、直角）の２平面Pb，Psの各平行化パラメータR^b，R^sは、いずれも共通の回転パラメータφ1、φ2及びφ3を用いて次式(5-1)，(5-2)により求まる。

本実施例では、図１２に示すグラフ構造に基づいてコスト関数を定義し、最適化計算によりコスト関数を最小にするパラメータ値としてφ1、φ2およびφ3が求められる。最適化計算としては、関数の匂配情報を利用せず、関数値のみから最適化が可能な滑降シンプレックス法を用いることができる。

コスト関数の定義に際し、リファンレス画像Irefに対して定義される平面Psの平行化パラメータを、コーナ画像における平面Psの平行化パラメータへ変換する処理を導入する。以下、図１５を参照しながら説明する。

非特許文献２によれば、平面Pbに対するリファレンス画像の平行化パラメータR^b ₁を用いて、リファレンス画像（カメラ画像Ica1）x1と平行化画像xとの間には次式(6)の関係式が成り立つ。なお、カメラ画像は便宜上、内部パラメータAとカメラのピクセル画像mとを用いてx=A^-1 mにより表される正規化カメラ画像を指すものとする。

さらに、コーナ画像Ica2とリファレンス画像Ica1との間のホモグラフィ行列H^b ₁₂を用いて、コーナ画像（Ica2）x2と平行化画像xとの間には次式(7)の関係式が成り立つ。

このとき、平面Pbを世界座標系におけるZ=0と仮定すれば、ホモグラフィ行列H₁₂R₁ ^bから、カメラ画像Ica2の平面Pbに対する回転および並進の各パラメータを復元できる。これは、カメラ姿勢を推定するARシステムにおいては一般的な計算であるため説明を省略する。

ここで得られる回転行列は、コーナ画像Ica2における平面Pbの平行化パラメータであり、以後、Rot (H₁₂R₁ ^b)と表現する。平面Psは平面Pbに対して直交しているため、平面Psの平行化パラメータR₂ ^sは次式(8)により得られる。

以上の処理により、リファレンス画像の平面Pbの平行化パラメータと、リファレンス画像と対象のコーナ画像との間のホモグラフィ行列とを用いて、コーナ画像における平面Pbの平行化パラメータを計算できる。

コスト関数e(φ1，φ2，φ3)は、図１２に示したグラフの接続関係およびホモグラフィ行列を用いて計算される。具体的には、次式(9)で定義される平行化パラメータe_R(R)を用いて、次式(10)により計算される。ただし、式(9)の各行列成分aは、回転行列Rが対象平面に対するリファレンスカメラ（リファレンス画像を撮影したカメラ）の位置・姿勢を示すときに、(1，1)成分a11=1，（2，2）成分a22=1，(1，2)成分a12=0，（2，1）成分a21=0となる。

αおよびβは各平面のコスト値の重み係数であり、各平面のカメラ画像の枚数やホモグラフィ行列の信頼度を用いても良い。

なお、上記の実施形態では、本発明を相対角度が既知の２平面への適用を例にして説明したが、本発明はこれのみに限定されるものではなく、３平面以上で構成される環境にも同様に適用できる。この際、最小化するコスト関数は各平面のコスト値の総和として定義される。

１…画像変換装置，２…データベース，３…ディスプレイ，１０…カメラ画像インタフェース，１１…特徴点検出部，１２…対応点検出部，１３…ホモグラフィグラフ生成部，１４…リファレンス画像選択部，１５…ホモグラフィ行列計算部，１６…平行化パラメータ計算部

Claims (24)

1. 相対角度が既知の複数平面に対して多視点のカメラ画像を平行化する画像変換装置において、
   各カメラ画像から特徴点を検出する特徴点検出手段と、
   各カメラ画像間で特徴点マッチングを実行して対応点を検出する対応点検出手段と、
   各カメラ画像間の対応点集合に基づいて、同一平面間のホモグラフィ行列を計算するホモグラフィ行列計算手段と、
   前記ホモグラフィ行列に基づいて、各カメラ画像間の接続関係を表現するグラフを生成するホモグラフィグラフ生成手段と、
   カメラ画像の集合からリファレンス画像を選択するリファレンス画像選択手段と、
   前記ホモグラフィグラフに基づいて、リファレンス画像を当該リファレンス画像と同一の平面を撮影した各カメラ画像へ変換するリファレンスホモグラフィ行列を計算するリファレンスホモグラフィ行列計算手段と、
   前記ホモグラフィグラフに基づいて、複数平面の映った複数のコーナ画像を当該コーナ画像によりリファレンス画像の平面と接続されている別の平面を撮影した各カメラ画像に変換するコーナホモグラフィ行列計算手段と、
   前記複数平面に対してリファレンス画像において定義される平行化パラメータを、コーナ画像における平行化パラメータに変換する処理を用いて、リファレンスホモグラフィ行列集合およびコーナホモグラフィ行列集合から平行化パラメータを推定する平行化パラメータ推定手段とを具備したことを特徴とする画像変換装置。
2. 前記ホモグラフィ行列計算手段は、各平面をロバスト推定により判別することを特徴とする請求項１に記載の画像変換装置。
3. 前記ホモグラフィ行列計算手段は、カメラ画像をノード、ホモグラフィ行列をエッジとした双方向の有効グラフにおける経路探索に基づいてホモグラフィ行列を再計算することを特徴とする請求項１または２に記載の画像変換装置。
4. 前記リファレンス画像選択手段は、前記グラフ上での接続ノード数を指標としてリファレンス画像を選択することを特徴とする請求項１ないし３のいずれかに記載の画像変換装置。
5. 前記リファレンス画像選択手段は、前記グラフ上で接続されているエッジの重みであるホモグラフィ行列の信頼度を指標としてリファレンス画像を選択することを特徴とする請求項１ないし３のいずれかに記載の画像変換装置。
6. 前記リファレンス画像選択手段は、カメラ画像中の特徴点数を指標としてリファレンス画像を選択することを特徴とする請求項１ないし３のいずれかに記載の画像変換装置。
7. 前記リファレンス画像選択手段は、カメラ画像中の対応点のインライア数を指標としてリファレンス画像を選択することを特徴とする請求項１ないし３のいずれかに記載の画像変換装置。
8. 前記リファレンス画像選択手段は、カメラ画像の入力順序を指標としてリファレンス画像を選択することを特徴とする請求項１ないし３のいずれかに記載の画像変換装置。
9. 前記リファレンスホモグラフィ行列計算手段は、ホモグラフィグラフからリファレンス画像の属する平面に関するグラフを抽出する手段を含むことを特徴とする請求項１ないし８のいずれかに記載の画像変換装置。
10. 前記リファレンスホモグラフィ行列計算手段は、前記抽出されたグラフにおいて、リファレンス画像を任意のカメラ画像へ変換する経路が複数存在する場合に、複数の経路いずれについてもホモグラフィ行列を再計算することを特徴とする請求項９に記載の画像変換装置。
11. 前記リファレンスホモグラフィ行列計算手段は、前記抽出されたグラフにおいて、リファレンス画像を任意のカメラ画像へ変換する経路が複数存在する場合に、エッジの本数に基づいて経路探索を行い、得られた経路のホモグラフィ行列のみを再計算することを特徴とする請求項９に記載の画像変換装置。
12. 前記リファレンスホモグラフィ行列計算手段は、前記抽出されたグラフにおいて、リファレンス画像を任意のカメラ画像へ変換する経路が複数存在する場合に、カメラ間の移動距離に基づいて経路探索を行い、得られた経路のホモグラフィ行列のみを再計算することを特徴とする請求項９に記載の画像変換装置。
13. 前記コーナホモグラフィ行列計算手段は、ホモグラフィグラフからリファレンス画像と既知の角度を成す別の平面に属する画像に関連するグラフを抽出する手段を含むことを特徴とする請求項１ないし１２のいずれかに記載の画像変換装置。
14. 前記コーナホモグラフィ行列計算手段は、前記抽出されたグラフにおいて、コーナ画像を任意のカメラ画像へ変換する経路が複数存在する場合に、複数の経路いずれについてもホモグラフィ行列を再計算することを特徴とする請求項１３に記載の画像変換装置。
15. 前記コーナホモグラフィ行列計算手段は、前記抽出されたグラフにおいて、コーナ画像を任意のカメラ画像へ変換する経路が複数存在する場合に、エッジの本数に基づいて経路探索を行い、得られた経路のホモグラフィ行列のみを再計算することを特徴とする請求項１３に記載の画像変換装置。
16. 前記コーナホモグラフィ行列計算手段は、前記抽出されたグラフにおいて、コーナ画像を任意のカメラ画像へ変換する経路が複数存在する場合に、カメラ間の移動距離に基づいて経路探索を行い、得られた経路のホモグラフィ行列のみを再計算することを特徴とする請求項１３に記載の画像変換装置。
17. 前記平行化パラメータ推定手段は、リファレンス画像を平行化画像に変換するホモグラフィ行列を平行化パラメータとして推定することを特徴とする請求項１ないし１６のいずれかに記載の画像変換装置。
18. 前記平行化パラメータ推定手段は、３次元の世界座標系における３軸の回転行列により定義される平行化パラメータを推定することを特徴とする請求項１ないし１６のいずれかに記載の画像変換装置。
19. 前記平行化パラメータ推定手段は、平行化パラメータと、リファレンス画像をコーナ画像に変換するホモグラフィ行列と、コーナ画像をそれ以外の他のカメラ画像に変換するホモグラフィ行列と、で定義されるコスト関数を最小化することで平行化パラメータを推定することを特徴とする請求項１ないし１８のいずれかに記載の画像変換装置。
20. 前記平行化パラメータ推定手段は、
    平行化パラメータ、リファレンスホモグラフィ行列およびコーナホモグラフィ行列から計算される行列と、(1，1)成分および（2，2）成分に1を、(1，2)成分および（2，1）成分に0を有する行列との差分として定義されるコスト関数を最小化することにより平行化パラメータを推定することを特徴とする請求項１ないし１９のいずれかに記載の画像変換装置。
21. 前記平行化パラメータ推定手段は、コスト関数値を計算する際に、平行化パラメータおよびリファレンスホモグラフィ行列に基づいて、コーナ画像に対応するカメラの、世界座標系における位置姿勢を計算し、回転成分のみ取り出すことを特徴とする請求項１ないし１９のいずれかに記載の画像変換装置。
22. 前記平行化パラメータ推定手段は、平面毎に定義されるコスト関数の重み付き和を最小化することにより平行化パラメータを推定することを特徴とする請求項１ないし１９のいずれかに記載の画像変換装置。
23. 前記平行化パラメータ推定手段は、平面毎のカメラ画像の枚数に基づく値を係数として、平面毎に定義されるコスト関数の重み付き和を最小化することにより平行化パラメータを推定することを特徴とする請求項１ないし１９のいずれかに記載の画像変換装置。
24. 前記平行化パラメータ推定手段は、平面毎のホモグラフィ行列の信頼度に基づく値を係数として、平面毎に定義されるコスト関数の重み付き和を最小化することにより平行化パラメータを推定することを特徴とする請求項１ないし１９のいずれかに記載の画像変換装置。