JP4874693B2 - 画像処理装置及びその処理方法 - Google Patents

Description

本発明は画像処理装置及びその処理方法に関する。詳しくは、対象物に対して撮影装置が相対的に移動する場合の動的画像を追跡して、撮影装置又は対象物の座標を測定する画像処理装置及びその処理方法に関する。

相対的な移動をしながら、対象物を連続的に撮影して、撮影装置の位置を測定する技術はあった。しかしながら、実際に自動車等の移動体に撮影装置を搭載したり、人が手に持って撮影を行うと、自動車や人の揺動のため、必ずしも安定した画像が得られるものではなく、フレーム毎に上下動、傾き等を修正する必要があり、また、撮影装置と対象物の間に例えば他の自動車、人、飛鳥、落葉等が入って、特徴点がその陰に隠れて消滅したり、再度復活したりする場合もある。また、三次元空間での動きが二次元画像上では見え難い場合もある。したがって、このような撮影装置の揺動の処理、消失・再現する特徴点の処理と共に三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要となっている。他方、静止した対象物を静止した撮影装置で撮影する場合には、高精度、自動的に対応点探索、計測を行う三次元計測技術が開示されている。（特許文献１参照）

特開２００３−２６４８５２号公報（段落００１８〜００７３、図１〜図１１等）

動画像から撮影装置または対象物の三次元座標を測定するには、２枚以上の各動画像上で相互に対応する特徴点すなわち対象物上の同一点（以下、対応特徴点という）を求め、これを追跡する必要がある。しかしながら、かかる対応特徴点を求める際に、例えば三次元的に奥行き方向に移動した場合などは、二次元的に見ると移動したように見えず、三次元空間的に奥行きに差のある２本以上の線によって画像上に交点として認識されるいわゆる、擬似特徴点、擬似基準点と称される点については、正しい誤対応除去ができないことになる。また、従来の動画像解析では、二次元的な点の移動の評価を基本としており、三次元的な点の移動について評価しているものは見出されないが、正しい誤対応除去ができないと、結果的に三次元座標の計測精度が悪くなり、信頼性が低下する。

そこで、上記静止した対象物を静止した撮影装置で撮影する技術を、そのいずれか一方又は双方が移動する場合に発展適用させて、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような、動画像等の時系列的に変化する撮影画像の場合においても、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる技術を提供することが必要とされている。

本発明は、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る画像処理装置１００は、例えば図２に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得部２と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部３と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部４と、一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択部６と、ステレオ画像選択部６で選択されたステレオ画像の相互に対応付けられた特徴点（対象物上の同一点を表す）である対応特徴点を用いて、標定および三次元計測を行なう標定処理・三次元計測部７と、ステレオ画像から三次元計測により求められた対応特徴点の三次元座標を撮影画像に逆投影する逆投影部８１と、撮影画像について、対応特徴点の座標と逆投影された対応特徴点の座標との残差を算出する残差算出部８２と、残差算出部８２で算出された残差に基づいて、対応特徴点の三次元計測への適否を判定する対応点適否判定部８３と、対応点適否判定部８３で不適切と判定された対応特徴点を削除する誤対応点削除部８４とを備え、標定処理・三次元計測部７は、対応特徴点から誤対応点削除部８４により削除された対応特徴点を除いて、再度標定および三次元計測を行なう。

ここにおいて、相対的に移動する対象物とは、典型的には対象物又は撮影装置のいずれか一方が移動し他方が静止した状態で撮影されるが、両者が共に移動する状態で撮影されても良い。すなわち、両者が相対的に移動する状態で撮影されれば良い。隣り合う３以上の画像が重複部分を共有することにより、特徴点の追跡が可能になる。重複し合う画像数は多い程、計測座標精度を向上できるので望ましいが、例えば１０以上が好ましく、５０以上であれば更に好ましい。時系列的に撮影した一連の撮影画像とは、時間の経過に伴って順次取得された撮影画像であり、ビデオカメラで連続的に撮影された動画像のフレームから抽出された画像でも良く、単体カメラで適当な時間間隔で順次撮影された画像でも良い。また、動画像のフレームのうち全てのフレームから取得しても良く、数フレーム置きに取得しても良い。また、特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、相互に対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、特徴点を順次対応付け、追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。また、特徴点は時間の経過と共に新規発生、消滅、再現するものであり、このため一連の撮影画像中、相互に対応付けられた特徴点は少なくとも３以上の撮影画像にあれば良い。また、ステレオ画像の選択は、一連の撮影画像について対応特徴点を反映して位置、倍率、傾きを補正した補正画像から選択するのが好ましいが、取得された原画像から選択しても標定処理及び三次元計測で相互に対応付けられるので、それでも良い。また、標定とは撮影装置の撮影位置と傾き算定する処理であり、三次元計測とは各特徴点の三次元座標を算定する処理である。また、逆投影される撮影画像は必ずしもステレオ画像として選択された画像でなくても良い。また、対応特徴点の三次元計測への適否とは、三次元座標計測の精度を劣化させるような特徴点（したがって標定にも悪影響を及ぼすような特徴点でもある）である誤対応点を不適切として除く意図で判定される。なお、誤対応点には、本来対応していないのに誤って対応付けされた特徴点の他に、撮影対象物と異なる動きをする物に付された特徴点、擬似特徴点、擬似基準点等も含まれる。

このように構成すると、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような動画像等の時系列的に変化する撮影画像の場合においても、不適切な特徴点や対応点を除去して三次元計測ができるので、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置を提供できる。

また、本発明の第２の態様は、第１の態様に係る画像処理装置において、標定処理・三次元計測部７は、ステレオ画像選択部６で選択されたステレオ画像として、基線長がほぼ等しい複数のステレオ画像からの計測値を統計処理して対応特徴点の三次元座標を求める。ここにおいて、基線長とはステレオ画像を撮影した撮影装置の光軸間距離を称する。このように構成すると、統計処理を用いて、三次元座標を高精度化できる。

また、本発明の第３の態様は、第１又は２の態様に係る画像処理装置において、対応点適否判定部８３は、残差算出部８２で算出された残差が所定の閾値を超える場合に対応特徴点を不適切と判定する。ここにおいて、所定の閾値は例えば３σとする。このように構成すると、不適切な特徴点を所定の閾値を用いて自動的に除去できる。

また、本発明の第４の態様は、第３の態様に係る画像処理装置において、所定の閾値は、対応点適否判定部８３での判定回数毎に可変とする。このように構成すると、例えば判定回数を重ねるにつれて、閾値を小さくして精度を高めるなど柔軟に対処可能である。

また、本発明の第５の態様は、第１又は２の態様に係る画像処理装置において、対応点適否判定部８３は、残差算出部８２で算出された残差の時系列データに基づいて対応特徴点の適否を判定する。このように構成すると、誤対応点は時系列データのいずれかの時点で残差が大きく表れる可能性が高く、これら誤対応点を検出するのに有効である。

また、本発明の第６の態様は、第５の態様に係る画像処理装置において、対応点適否判定部８３は、残差の時系列データにおいて、残差が異常に大きいデータを含む対応特徴点が見出された場合に、当該対応特徴点を不適切と判定する。

また、本発明の第７の態様は、第５の態様に係る画像処理装置において、対応点適否判定部８３は、残差の時系列データに基づいて、対応特徴点が移動中の点であるか否かを判定する。このように構成すると、対応特徴点が移動中の点である場合の解析に役立てられる。

また、本発明の第８の態様に係る画像処理方法は、例えば図３に示すように、相対的に移動する対象物を、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程（Ｓ１００）と、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程（Ｓ１１０）と、一連の撮影画像について特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程（Ｓ１２０）と、一連の撮影画像からステレオ画像を選択するステレオ画像選択工程（Ｓ１４０）と、ステレオ画像選択工程（Ｓ１４０）で選択されたステレオ画像の対応特徴点を用いて、標定を行なう第１の標定工程（Ｓ１５０）と、第１の標定工程（Ｓ１５０）の標定結果を用いて三次元計測を行なう第１の三次元計測工程（Ｓ１６０）と、ステレオ画像から三次元計測工程（Ｓ１６０）で求められた対応特徴点の三次元座標を撮影画像に逆投影する逆投影工程（Ｓ１７０）と、撮影画像について、対応特徴点の座標と逆投影された対応特徴点の座標との残差を算出する残差算出工程（Ｓ１７５）と、残差算出工程（Ｓ１７５）で算出された残差に基づいて、対応特徴点の三次元計測への適否を判定する対応点適否判定工程（Ｓ１８５）と、対応点適否判定工程（Ｓ１８５）で不適切と判定された対応特徴点を削除する誤対応点削除工程（Ｓ１９０）と、対応特徴点から誤対応点削除工程（Ｓ１９０）で削除された対応特徴点を除いて、再度標定を行なう第２の標定工程（Ｓ１５０）と、第２の標定工程（Ｓ１５０）の標定結果を用いて三次元計測を行なう第２の三次元計測工程（Ｓ１６０）とを備える。

このように構成すると、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような動画像等の時系列的に変化する撮影画像の場合においても、不適切な特徴点や対応点を除去して三次元計測ができるので、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理方法を提供できる。

また、本発明の第９の態様は、第８の態様に係る画像処理方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラムの発明である。

本発明によれば、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供できる。

以下に図面に基づき本発明の実施の形態について説明する。

［第１の実施の形態］
図１は本実施の形態における概念を説明するための図である。自動車にカメラを装着し、時間すなわち自動車の位置を少しずつ変えて対象物である市街地を撮影し、これら複数の撮影画像における追跡結果から、カメラの位置座標すなわち自動車の軌跡を求める例である。これによりカーナビゲーションに自動車の位置を連続的に表示可能になるが、ＧＰＳ電波を受信できない区間で補完的に利用される意義も大きい。以下の実施の形態では、撮影画像において、誤って対応付けされた特徴点、動きのある特徴点、揺らぎの大きい特徴点等の誤対応点については、カメラの位置座標を求めるのに不適当であるため除去する。なお、第１の実施の形態では、残差算出部で算出された残差の時系列データに基づいて特徴点を不適切と判定する例を説明する。

図２に本実施の形態における画像処理装置１００の構成例を示す。図において、１は画像処理装置１００の各部を制御して、画像処理装置として機能せしめる制御部であり、具体的には、撮影画像取得部２への撮影画像取得の指示、特徴抽出部３への特徴点抽出実行の指示、特徴点追跡部４への追跡実行の指示、演算処理部５へのステレオ画像選択指示、標定・三次元計測実行指示、対応特徴点の評価・削除処理の指示等を行う。

２は動画像等の時系列的に変化する撮影画像を順次取得する撮影画像取得部であり、撮影画像の取得の他に特徴抽出部３への出力、画像メモリ１０への撮影画像の保存等を行う。なお、自己の撮影装置で撮影を行なわず、他の撮影装置から通信により撮影画像を取得しても良い。３は順次取得した撮影画像から特徴点を抽出する特徴抽出部であり、撮影画像取得部２より入力された撮影画像からの特徴点の抽出、抽出された特徴点の特徴点追跡部４への出力等を行う。４は特徴抽出部３より入力された特徴点に対応する対応点（厳密には確定するまでは候補対応点というが、本実施の形態では候補対応点を含めて対応点ということとする）を探索し、特徴点の追跡を行う特徴点追跡部であり、追跡処理の他に、追跡結果の対応点情報メモリ９への出力、対応点の配置の判断と特徴抽出部３への特徴点の新設指示等を行う。特徴点追跡部４において特徴点が対応付けられた、すなわち対応特徴点が付された一連の撮影画像は、倍率、揺らぎ、傾きが補正された補正画像として、取得された原画像と共に画像メモリ１０に記憶される。

５は演算処理部で、ステレオ画像選択部６と標定処理・三次元計測部７と対応点評価除去部８とを有する。ステレオ画像選択部６は特徴抽出部３及び特徴点追跡部４において対応特徴点が付された一連の画像からステレオ画像を選択する。標定処理・三次元計測部７はステレオ画像選択部６で選択されたステレオ画像を用いて標定計算、三次元計測を実行するもので、その他に、標定結果及び三次元計測結果の表示部１１への出力、外部へ標定結果及び三次元計測結果の出力等を行う。標定計算、三次元計測を行なうためのステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できる。対応点評価除去部８は三次元計測結果を用いて、誤って対応付けられた特徴点、移動や揺らぎを伴う不安定な特徴点等の誤対応点、すなわち三次元計測に不適切な特徴点や対応点を除去する。対応点評価除去部８は、ステレオ画像の三次元計測により求められた対応特徴点の三次元座標を撮影画像に逆投影する逆投影部８１、撮影画像において、対応特徴点の座標と逆投影された対応特徴点の座標との残差を算出する残差算出部８２、残差算出部８２で算出された残差に基づいて、対応特徴点の三次元計測への適否を判定する対応点適否判定部８３、対応点適否判定部８３で不適切と判定された対応特徴点を削除する誤対応点削除部８４とを備える。対応点評価除去部８にて不適切な対応特徴点が除去された一連の画像から、再度、ステレオ画像選択部６によりステレオ画像が選択され、再度、標定処理・三次元計測部７において、標定計算、三次元計測が実行される。

１１は演算処理部５により標定処理又は三次元計測された対象物の画像や撮影した位置の軌跡を平面的又は立体的に表示する表示部、９は特徴点とその対応点（候補対応点を含む）に関する情報を記憶する対応点情報メモリ、１０は撮影画像、補正画像、その他の画像を記憶する画像メモリである。対応点情報メモリ９、画像メモリ１０には、特徴点追跡時、対応点評価・除去時、ステレオ画像選択時、標定計算や三次元計測時等、必要に応じて随時参照され、また書き込みされる。

図３に第１の実施の形態における画像処理方法のフロー例を示す。まず、撮影画像取得部２において、相対的に移動する対象物について、動画像等の時系列的に変化する一連の撮影画像を取得する（Ｓ１００：撮影画像取得工程）。一連の撮影画像は隣り合う３以上の画像が重複部分を共有するように取得する。自己の撮影カメラで画像を撮影して取得しても良く、他の撮影装置で撮影した画像を通信回線を介して取得しても良い。制御部１は撮影画像取得部１から動画像等の時系列的に変化する撮影画像を順次特徴抽出部３に供給する。本実施の形態では自動車に撮影カメラを装着し、移動しながら撮影するので、撮影画像は時間的又は空間的に少しずつ変化する撮影画像であり、画像の大部分で対象物が共通である。特徴抽出部３では、時系列的に撮影されたいずれかの撮影画像から特徴点を抽出し（Ｓ１１０：特徴抽出工程）、抽出された特徴点データは特徴点追跡部４に供給され、対応点情報メモリ９に記憶される。特徴点追跡部４において、一連の撮影画像について、特徴点に対応する対応点を探索し、対応付け、特徴点の追跡が行なわれる（Ｓ１２０：特徴点追跡工程）。特徴点の追跡は、第１の画像の特徴点に対して第２の画像の対応する対応点を探索し、対応付けられると次に第２の画像の対応点を新たな特徴点として第３の画像の対応する対応点を探索し、対応付け、特徴点を順次追跡していく。ここでは一連の撮影画像において相互に対応付けられた特徴点を対応特徴点と称する。対応特徴点データは対応点情報メモリ９に記憶される。また、対応特徴点が付された撮影画像は、倍率、揺らぎ、傾きが補正された補正画像として、画像メモリ１０に記憶される（Ｓ１２５）。なお、特徴抽出部３で抽出された特徴点データ及び特徴点追跡部４で対応付けられた対応特徴点データがリアルタイムに順次演算処理部５に供給されれば、移動中の移動体（自動車等）で、早期に標定処理、三次元計測を行ない、ナビゲータに反映できる可能性も高くなる。

次に、対応特徴点が付された一連の撮影画像からステレオ画像が選択される（Ｓ１４０：ステレオ画像選択工程）。一連の画像は対応特徴点を反映して倍率、揺らぎ、傾きが補正された補正画像を用いるのが好ましいが、取得された原画像から選択しても次の標定処理及び三次元計測で相互に対応付けられるので、それでも良い。ここでは、補正画像を用いるものとする。

図４にステレオ画像選択の例を示す。この例では取得画像から数画像離れた画像をステレオ画像として選択しており、対をなす２画像間のフレーム間隔を一定にすれば基線長がほぼ一定に保たれるので好ましい。なお、選択されるステレオ画像は１対以上で良いが、多数のステレオ画像を用いて平均化等の統計処理を行うことにより精度を向上できるので、ここでは、追跡処理した多数の撮影画像を用いてステレオ画像を選択し、統計処理を行うものとする。

図３に戻り、ステレオ画像選択部６で選択されたステレオ画像の対応特徴点を用いて、標定処理・三次元計測部７で標定処理と三次元計測が行なわれる。標定処理では、選択されたステレオ画像について、特徴点と対応点の座標を用いて、相互標定を行い、撮影カメラの撮影位置と傾きが算定される（Ｓ１５０：第１の標定工程）。ステレオ画像同士の接続標定も行われる。なお、仮にステレオ画像が設定できなかった撮影画像に対しては、単写真標定を行うことにより撮影カメラの撮影位置と傾きを算出可能である。続けて、その標定結果を用いて三次元計測により各特徴点の三次元座標が算定される（Ｓ１６０：第１の三次元計測工程）。三次元計測は、例えば標定処理で求めた撮影カメラの位置と傾き（外部標定要素）を初期値とし、バンドル調整を行うことによって求める。これにより、三次元座標だけでなく、さらに正確な撮影カメラの位置と傾きも求まる。

次に、対応点評価除去部８において、三次元計測結果を用いて、誤って対応付けられた特徴点、移動や揺らぎを伴う不安定な特徴点等の誤対応点を除去する。まず、逆投影部８１で、ステレオ画像について三次元計測工程で求められた対応特徴点の三次元座標を撮影画像に逆投影する（Ｓ１７０：逆投影工程）。逆投影は、基本的には後述する共線条件式（５）に基づいて行われる。次に、残差算出部８２で、対応特徴点が付された一連の撮影画像について、対応特徴点の座標と逆投影された対応特徴点の座標との残差を算出する（Ｓ１７５：残差算出工程）。ここで、全体の残差が設定した閾値より小さくなっているか否かを判定する（Ｓ１８０）。この値が設定した閾値以下であれば、三次元座標が確定し（Ｓ１９５）、処理を終了する。そうでなければ、次に進み、対応点適否判定部８３で、残差算出部８２で算出された残差に基づいて残差評価を行なう、すなわち、対応特徴点の三次元計測への適否を判定する（Ｓ１８５：対応点適否判定工程）。次に、誤対応点削除部８４で、対応点適否判定部８３で不適切と判定された対応特徴点を削除する（Ｓ１９０：誤対応点削除工程）。

次に、再びステレオ画像選択工程（Ｓ１４０）に戻り、対応特徴点から誤対応点除去部８で削除された対応特徴点を除いて、ステレオ画像選択（Ｓ１４０）、再度の標定が行なわれ（Ｓ１５０：第２の標定工程）、続けて、その標定結果を用いて再度の三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。第２の標定工程及び第２の三次元計測工程では、誤対応点、すなわち検出された不適切な対応特徴点を除いて行なわれるので、より高精度の標定がなされ、三次元座標が算出される。このループの処理（Ｓ１４０〜Ｓ１９０）を繰り返すことにより、計測精度を向上することができる。全体の残差が閾値以下になるまでループの処理を繰り返す。これにより、三次元座標が確定し（Ｓ１９５）、計測を終了する。
以下に、必要に応じ、各工程について説明する。

［特徴点抽出］
特徴抽出部３では各撮影画像から特徴点を抽出する（Ｓ１１０、図５参照）。典型的には初期フレームでは全画面から抽出を行い、次のフレームからは、初期フレームと重複しない新たな画面領域から抽出が行われる。初期フレームにおける特徴点の抽出には、例えばＭＯＲＡＶＥＣオペレータ（Ｈ． Ｐ． Ｍｏｒａｖｅｃ． Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｖｉｓｕａｌ Ｏｂｓｔａｃｌｅ Ａｖｏｉｄａｎｃｅ． Ｐｒｏｃ． ５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｐｐ． ５８４， １９７７．）や、Ｈａｒｉｓｓ，Ｐｒｅｓｓｙ，Ｓｕｓａｎなどのオペレータを適宜採用できる。

［追跡処理］
図５に特徴点追跡の処理フロー例を示す。特徴点追跡部４では、特徴抽出処理により選点された各特徴点を追跡処理する（Ｓ１２０）。すなわち、特徴点に対応する候補対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。画面相対移動量とは撮影カメラと撮影対象間の画面上での相対的移動量であり、移動ベクトルとは二次元の撮影画像上における各特徴点の相対的移動ベクトルをいう。特徴点の追跡にあたり、まず、隣接撮影画像についてテンプレートマッチングを行い（Ｓ１３）、特徴点に対応する候補対応点を求める。これにより各特徴点の移動ベクトルが求められる。また、隣接撮影画像を用いて射影変換することにより（Ｓ１５）、撮影カメラに対する画面相対移動量が求められる。すなわち、フレーム間の全体的な移動は、時間的に非常に短いことから、射影変換によりほぼ近似できるものとの仮定をおき、射影変換により画面相対移動量を推定する。次に、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、移動ベクトルの良否を判断する（Ｓ１４）。そして、異常な動きを示す誤対応と思われる候補対応点を除去する（Ｓ１６）。工程Ｓ１５とＳ１６を繰り返すことにより射影変換の精度が向上する。

次に、候補対応点の配置判断を行う（Ｓ１７）。すなわち、撮影画像上での特徴点、対応点の配置を確認する。もし、特徴点の配置が極端に偏ってしまって空白部分が生じた場合などには、新たに生じた空白部分に存在する点を新たな特徴点として特徴抽出部３に新設を指示する。そして、再度特徴抽出（Ｓ１１０）に戻り、順次新たな隣接画像について特徴抽出（Ｓ１１０）と追跡処理（Ｓ１２０）をリアルタイムに繰り返す。もし、一連の撮影画像について特徴抽出が済んでいれば、テンプレートマッチング（Ｓ１３）に戻り、事後的に一括して、順次新たな隣接画像について追跡処理（Ｓ１２０）が行われる。

特徴点の追跡に、例えばテンプレートマッチングを使用する（Ｓ１３）。取得された撮影画像から隣接画像を順次選択してステレオペアとし、例えばＳＳＤＡ（Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ：逐次残差）法などの手法によりステレオマッチングを行い、対応点を求める（Ｓ１３）。ＳＳＤＡ法とは、残差を用いて類似度を決定するもので、部分的な行列の残差が最小となる位置が対応点として求められる。ＳＳＤＡテンプレートマッチングは、テンプレートマッチングとしては比較的高速であり、ハード化も容易と考えられる。また、正規化相関法などの他の方式を採用することもできる。テンプレートマッチングには、テンプレートサイズと探索範囲を最適に選択することが大事であり、探索範囲については、ビデオカメラのフレームレート、移動速度などを基に最適な設定とする。

撮影画面中に、走行中の自動車、人、飛鳥、落葉などの動くものに特徴点が付与された場合、またカメラの揺動が激しい場合などに誤対応点が生じ得る。カメラの揺動については射影変換で補正可能である。他方、撮影対象物と異なる動きをするものは誤対応点を生じさせる。したがって物体などの動きにより生じた誤対応点を除去することにより、特徴点（対応点、候補対応点を含む）の信頼性を向上し、ミスマッチングの判定の精度を向上し、ビデオカメラの大きな動揺にも対応が可能となる。

［相互標定処理］
次に、標定計算について説明する。
図６は相互標定を説明するための図である。モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ_１、Ｙ軸の回転角φ_１、右側のカメラのＺ軸の回転角κ_２、Ｙ軸の回転角φ_２、Ｘ軸の回転角ω_２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要はない。

まず、以下の共面条件式（１）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。

上述の条件にすると、共面条件式（１）は式（２）のように変形され、式（２）を解けば各パラメータが求まる。
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（３）、（４）が成り立つ。

これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ_１、φ_１、κ_２、φ_２、ω_２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（３）、（４）により求め、観測方程式をたてる。
（ｉｉｉ）最小二乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｖ）までの操作を収束するまで繰り返す。
収束した場合、更に接続標定を行なう。これは、各モデル間の傾き、縮尺を統一して同一座標系とする処理である。

この処理を行なう場合、以下の式であらわされる接続較差を算出する。
ΔＸ_ｊ＝（Ｘ_ｊｒ−Ｘ_ｊｌ）／（Ｚ_０−Ｚ_ｊｌ）
ΔＹ_ｊ＝（Ｙ_ｊｒ−Ｙ_ｊｌ）／（Ｚ_０−Ｚ_ｊｌ）
ΔＺ_ｊ＝（Ｚ_ｊｒ−Ｚ_ｊｌ）／（Ｚ_０−Ｚ_ｊｌ）
ΔＤ_ｊ＝√（ΔＸ_ｊ ^２＋ΔＹ_ｊ ^２）
（ΔＸ_ｊｌΔＹ_ｊｌΔＺ_ｊｌ））：統一された座標系の第ｊ番目の左モデル
（ΔＸ_ｊｒΔＹ_ｊｒΔＺ_ｊｒ）：統一された座標系の第ｊ番目の右モデル
ΔＺｊおよびΔＤｊが０．０００５（１／２０００）以下なら接続標定が正常に行われたとみなされる。正常に行われなかった場合は、標定結果表示でエラーを出力しどこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して（ｉｉ）〜（ｖ）までの上記計算を繰り返す。だめなら標定点の配置変更を行なう。

〔バンドル調整〕
次に三次元計測に用いるバンドル調整について説明する。バンドル調整は、（５）式に示すように対象空間座標（Ｘ，Ｙ，Ｚ）とその画像座標（ｘ，ｙ）、及び投影中心（Ｘ_０，Ｙ_０，Ｚ_０）が同一直線上に存在するという共線条件式を基本としている。

（５）式に基づき、全ての対象空間点について観測方程式を作成し、撮影時のカメラの位置と傾きである外部標定要素と対象空間座標について、最小二乗法によって同時解を求める。この場合、（５）式は非線形方程式なので、外部標定要素及び対象空間点、カメラの焦点距離の初期値が必要であるが、外部標定要素及び対象空間点の初期値として、標定処理で求められた値を使用する。また、カメラの焦点距離の初期値として、撮影時の焦点距離の概略値を入力する。三次元計測から、カメラの位置、姿勢がわかったので対応点の三次元座標が例えば前方交会法により算出される

図７は、三次元計測の結果を例示する図であり、左側面下方に略直線状に並んだ点が求められた撮影位置を示し、立体図中に散乱している少し小さなプロットが三次元座標値が与えられた特徴対応点を示している。

［対応点の評価・除去］
前述の対応点追跡部４における追跡処理により、全てのフレームに対して、特徴点の対応付けがされていることになる。しかし、これらの対応付けは２次元的な解析によるものであり、実際には擬似特徴点、擬似基準点のような不適切な特徴点や対応点が含まれるおそれがある。
そこで本実施の形態ではかかる擬似特徴点、擬似基準点、誤って対応付けされた特徴点、撮影対象物と異なる動きをする物に付された特徴点等、三次元計測に不適切な特徴点や対応点（対応特徴点）、すなわち誤対応点の除去を行なう。これらの不適切な対応特徴点の除去は、標定処理及び三次元計測処理の結果を用いて、対応点評価除去部８において、図３の逆投影工程（Ｓ１７０）〜誤対応点等削除工程（Ｓ１９０）で行なわれる。

［逆投影］
逆投影部８１において、三次元計測工程（Ｓ１６０）で求められた対応特徴点の三次元座標を撮影画像に逆投影する（Ｓ１７０）。逆投影は、基本的には共線条件式（５）に代入することにより行われる。共線条件式は、対象空間座標（Ｘ，Ｙ，Ｚ）とその画像座標（ｘ，ｙ）、及び投影中心（Ｘ_０，Ｙ_０，Ｚ_０）が同一直線上に存在するという共線条件式（５）を基本としている。また、逆投影の投影中心（Ｘ_０，Ｙ_０，Ｚ_０）として、三次元計測工程（Ｓ１６０）で求められた撮影装置の位置が用いられる。

［残差算出］
次に、残差算出部８２で、対応特徴点が付された一連の撮影画像について、対応特徴点の座標と逆投影された対応特徴点の座標との残差を算出する（Ｓ１７５）。残差については、たとえば全体の平均二乗誤差σを求め、この値の例えば３倍（３σ）を閾値とする。この場合、ループ処理（Ｓ１４０〜Ｓ１９０）を繰り返してすべての閾値が３σを下回った時点で終了とする。なおこれらの統計的な性質が使えるだけの特徴点数が必要であるが、一連の撮影画像から多数のステレオ画像を選択して処理することにより十分可能である。

〔対応点適否判定（残差評価）〕
三次元計測の結果には、誤対応点、すなわち不適切な特徴点や対応点が含まれている可能性がある。もし三次元計測に不適切な特徴点や対応点があれば、時系列データのいずれかの残差に反映される可能性が高いと推測される。そこで、残差計測の結果から、画像上の残差が大きいものを取り除くことにより誤対応点を除去する（Ｓ１８５〜Ｓ１９０）。

本実施の形態では、残差算出部で算出された残差の時系列データに基づいて特徴点を不適切と判定する例を説明する。対応特徴点の除去は、例えば、ある対応特徴点に注目し、その点の画像上残差の時系列変化を調べることにより行う。本実施の形態では、一連の撮影画像が時系列的に変化しているので、これら一連の撮影画像について残差をプロットすれば、残差の時系列データを得ることができる。

図８に残差の時系列変化の第１の例（点Ｐａの例）を示す。第１の例は、対応特徴点Ｐａが、ステレオペアＡ，Ｂに挟まれるフレームにおいてステレオペアＡ，Ｂ間の中央ほど残差が大きい場合を示す。
この場合、左右のステレオペアＡ，Ｂの時点で残差が小さいが、実際は擬似特徴点などの誤対応点と考えられる。したがってこのステレオペアＡ，Ｂとその間にあるフレーム上の対応点はＡＢ間の全期間で除去される。

図９に残差の時系列変化の第２の例（点Ｐｂの例）を示す。第２の例は、対応特徴点Ｐｂが、ステレオペアＡ，Ｂに挟まれるフレームにおいてところどころで残差が大きい場合を示す。
この場合、ステレオペアＡ，Ｂに挟まれるフレームのうち残差が大きいフレームだけ対応点を除去することになるが、残差が大きいフレームが極端に多い点については第１の例とおなじく対応点はＡ，Ｂ間の全期間で除去される。具体的には、ステレオペアＡ，Ｂ間の６割以上で残差が大きくかつ連続性がない（たとえば１秒以上連続したものがない）場合には第１の例と同じく対応点はＡ，Ｂ間の全期間で除去される。

図１０に残差の時系列変化の第３の例（点Ｐｃの例）を示す。第３の例は、対応特徴点Ｐｃが、ステレオペアＡ，Ｂに挟まれるフレームにおいてＡ，Ｂどちらかのステレオ画像に近づくほど残差が大きくなる場合を示す。
この場合、対応点は三次元的に移動していたか擬似基準点であったと考えられ、誤対応点として除去する。ただし、残差が非常に小さいフレームが連続する場合は（たとえば１秒以上連続した場合）、この期間では移動していないと判定できるので、その部分については除去しない。

図１１に残差の時系列変化の第４の例（点Ｐｄの例）を示す。第４の例は、対応特徴点Ｐｄが、ステレオペアＡ，Ｂに挟まれないフレームにおいてステレオペアから離れるほど残差が大きくなる場合を示す。
この場合、ステレオペアＡ，Ｂ上の対応点とステレオペアＡ，Ｂに挟まれるフレーム上の対応点に問題はない。しかしそれ以外のフレーム上の残差が大きい点については除去する。

本実施の形態ではこのように種々の残差の時系列パターンに対応して適切な残差除去のアルゴリズムを設定し適用することができる。またこのアルゴリズムをプログラム化しておけば自動的に不適切な対応特徴点を除去できる。

［再度の標定処理・三次元計測］
次に、対応点評価除去部８で削除された対応特徴点を除いて、再度、ステレオ画像選択（Ｓ１４０）、標定（Ｓ１５０：第２の標定工程）、三次元計測が行なわれる（Ｓ１６０：第２の三次元計測工程）。これらの工程では、検出された誤対応点、すなわち不適切な対応特徴点を除いて処理が行なわれ、全体の残差が閾値以下になるまで繰り返されるので、高精度の三次元座標が算出される。
以上より、本実施の形態によれば、三次元計測に不適切な特徴点や対応点を特定し削除する処理が必要とされるような動画像等の時系列的に変化する撮影画像の場合においても、不適切な特徴点や対応点を除去して三次元計測ができるので、動画像等の時系列的に変化する撮影画像から、撮影装置の撮影位置、姿勢又は対象物の座標を精度良く計測できる画像処理装置及びその処理方法を提供できる。

［第２の実施の形態］
第１の実施の形態では、特徴点適否判定部は、残差算出部で算出された残差の時系列データに基づいて前記特徴点を不適切と判定する例を説明したが、本実施の形態では、前記残差算出部で算出された残差が所定の閾値を超える場合に前記特徴点を不適切と判定する例を示す。残差は、たとえば全体の平均二乗誤差σを求め、この値の３倍（３σ）を閾値とする。より高精度な結果を求める場合は、２σまで閾値を下げても良い。また、特徴点適否判定部での判定回数を重ねるにつれて、閾値を小さくして精度を高めることも可能である。このように閾値で判定する場合には、時系列データを参照するまでもなく、自動的に残差の大きい対応特徴点を一律に削除できる。典型的には、いずれかの時点でかかる閾値を超える対応特徴点が見出された場合には、全撮影画像から当該対応特徴点を削除するが、例えば３回連続して閾値を超えた場合に削除する、閾値を超えた近くの対応特徴点のみ削除する等、除去条件を適宜定めることも可能である。その他の点では第１の実施の形態と同様である。

〔第３の実施の形態〕
本実施の形態は、対応特徴点を削除するだけでなく、残差の大きい対応特徴点を多数有する撮影画像を画像ごと除去する例である。したがって、いずれかの撮影画像について、残差の大きい対応特徴点が多数見出された場合には、当該画像自体を一連の撮影画像から削除して、ステレオ画像選択、標定、三次元計測を含むループ処理を行なう。揺らぎや瞬時の動き等により特徴点全体が不安定になる画像が生じた場合に、その特徴点を除いて三次元計測の信頼度を高めるためである。その他の点では第１の実施の形態と同様である。

［第４の実施の形態］
本実施の形態は、残差算出部で算出された残差の時系列データに基づいて移動している対応特徴点を抽出する例を示す。残差が時系列に一定の傾向で安定に推移している対応特徴点は、移動している特徴点であると判断する。例えば、一定の割合で残差が増加又は減少する特徴点、緩やかな周期で残差が変化する特徴点等である。これらの特徴点については、例えばステレオ画像間における移動体の座標差（距離）を一定値に仮定する等により、移動体の三次元座標の軌跡を推測することも可能である。その他の点では第１の実施の形態と同様である。

［第５の実施の形態］
第１の実施の形態では、三次元座標の算定において、複数のステレオ画像から求められた三次元座標を統計処理して各特徴点の三次元座標を算定し、これを撮影画像上に逆投影して残差を求めたが、本実施の形態では、個別のステレオ画像から求められた三次元座標を撮影画像上に逆投影して残差を求める。この場合、第１の実施の形態に比して残差は表れ難いが、例えば基線長を十分に取れば、不安定な特徴点は残差が現れ易いので、不適切な特徴点を除去可能である。その他の点では第１の実施の形態と同様である。

［第６の実施の形態］
本実施の形態では、ステレオ画像選択部は、ステレオ画像の基線長と三次元座標の測定精度との関係を表す対応表を有し、対応表から要求精度を満たす基線長となるようにステレオ画像を選択する例を示す。測定精度は基線長に依存するので、要求精度に合わせてステレオ画像の基線長を決めることにより、要求に合った三次元計測結果を提供できる。その他の点では第１の実施の形態と同様である。

［第７の実施の形態］
第１の実施の形態では、撮影対象が静止状態で、撮影装置が移動する例について説明したが、本実施の形態は撮影装置が静止状態で、撮影対象が移動する例である。この場合においても、本来の対象物の他に、撮影装置と対象物の間に動くものが割り込んだり、撮影装置に揺動が生じる場合があり、特徴点を追跡し、動画像等の順次少しずつ変化する撮影画像における対象物に係る特徴点の三次元座標を求めることができる。また、対象物自体が回転するようなものであれば、その特徴点が消失と復活を繰り返すので、本発明を適用可能である。また、複数の対象物が異なる動きをする場合もあり、このような場合についてもそれぞれの対象物について本発明を適用可能である。

また、本発明は、以上の実施の形態に記載の画像処理方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムは制御部１の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。

以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。

例えば、以上の実施の形態では、対象物又は撮影装置の一方が移動し、他方が静止している状態で撮影画像を取得する例について説明したが、両者とも移動する場合に本発明を適用しても良い。例えば、一方の移動速度・方向が一定の場合など十分適用可能である。また、追跡処理における異常値の除去が省略されていたとしても、本発明における残差計測を用いて、不適切な特徴点の除去が可能である。また、追跡処理において予め移動ベクトルの差異から、特異な特徴点を除去してから、本発明の残差計測を適用しても良い。また、特徴点の抽出にＭＯＲＡＶＥＣオペレータを、テンプレートマッチングにＳＳＤＡテンプレートマッチングを使用する例を説明したが、他のオペレータ、テンプレートマッチング法を使用しても良い。また、使用するステレオ画像の数、基線長、特徴点の数等は適宜選択可能である。

本発明は動画像を用いた撮影装置又は撮影対象の位置座標の計測等に使用される。

第１の実施の形態の概念を説明するための図である。 第１の実施の形態における画像処理装置の構成例を示すブロック図である。 第１の実施の形態における画像処理方法のフロー例を示す図である。 ステレオ画像選択の例を示す図である。 特徴点追跡の処理フロー例を示す図である。 相互標定を説明するための図である。 三次元計測の結果を例示する図である。 残差の時系列変化の第１の例を示す図である。 残差の時系列変化の第２の例を示す図である。 残差の時系列変化の第３の例を示す図である。 残差の時系列変化の第４の例を示す図である。

符号の説明

１ 制御部
２ 撮影画像取得部
３ 特徴抽出部
４ 特徴点追跡部
５ 演算処理部
６ ステレオ画像選択部
７ 標定処理・三次元計測部
８ 対応点評価除去部
９ 対応点情報メモリ
１０ 画像メモリ
１１ 表示部
８１ 逆投影部
８２ 残差算出部
８３ 対応点適否判定部
８４ 誤対応点削除部
１００ 画像処理装置

Claims (9)

1. 対象物を撮影した撮影画像であって、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する、前記対象物に対して相対的に移動する撮影画像取得部と；
   前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出部と；
   前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡部と；
   前記一連の撮影画像から対をなす画像であるステレオ画像を選択するステレオ画像選択部と；
   前記ステレオ画像選択部で選択されたステレオ画像の前記相互に対応付けられた特徴点である対応特徴点を用いて、標定および三次元計測を行なう標定処理・三次元計測部と；
   前記標定処理・三次元計測部において前記三次元計測により求められた前記対応特徴点の三次元座標を前記特徴点追跡部にて特徴点が追跡された前記一連の撮影画像の各撮影画像に逆投影する逆投影部と；
   前記各撮影画像について、前記特徴点追跡部で求められた対応特徴点の撮影画像上の座標と前記逆投影部において逆投影された対応特徴点の撮影画像上の座標との残差を算出する残差算出部と；
   前記残差算出部で算出された残差の時系列データに基づいて、前記対応特徴点の三次元計測への適否を判定する対応点適否判定部と；
   前記対応点適否判定部で不適切と判定された対応特徴点を削除する誤対応点削除部とを備え；
   前記標定処理・三次元計測部は、前記対応特徴点から前記誤対応点削除部により削除された対応特徴点を除いて、再度標定および三次元計測を行なう；
   画像処理装置。
2. 前記標定処理・三次元計測部は、前記ステレオ画像選択部で選択されたステレオ画像として、基線長がほぼ等しい複数のステレオ画像からの計測値を統計処理して前記対応特徴点の三次元座標を求める；
   請求項１に記載の画像処理装置。
3. 前記対応点適否判定部は、前記残差算出部で算出された残差が所定の閾値を超える場合に前記対応特徴点を不適切と判定する；
   請求項１又は請求項２に記載の画像処理装置。
4. 前記所定の閾値は、前記対応点適否判定部での判定回数毎に可変とする；
   請求項３に記載の画像処理装置。
5. 前記対応点適否判定部は、前記残差算出部で算出された残差の時系列データに基づいて前記対応特徴点の適否を判定する；
   請求項１又は請求項２に記載の画像処理装置。
6. 前記対応点適否判定部は、前記残差の時系列データにおいて、残差が異常に大きいデータを含む対応特徴点が見出された場合に、当該対応特徴点を不適切と判定する；
   請求項５に記載の画像処理装置。
7. 前記対応点適否判定部は、前記残差の時系列データに基づいて、前記対応特徴点が移動中の点であるか否かを判定する；
   請求項５に記載の画像処理装置。
8. 撮影画像を取得する撮影画像取得部に対して相対的に移動する対象物を撮影した撮影画像であって、隣り合う３以上の画像が重複部分を共有するように時系列的に撮影した一連の撮影画像を取得する撮影画像取得工程と；
   前記時系列的に撮影されたいずれかの撮影画像から特徴点を抽出する特徴抽出工程と；
   前記一連の撮影画像について前記特徴点を追跡し、特徴点を相互に対応付ける特徴点追跡工程と；
   前記一連の撮影画像からステレオ画像を選択するステレオ画像選択工程と；
   前記ステレオ画像選択工程で選択されたステレオ画像の前記対応特徴点を用いて、標定を行なう第１の標定工程と；
   前記第１の標定工程の標定結果を用いて三次元計測を行なう第１の三次元計測工程と；
   前記ステレオ画像から前記第１の三次元計測工程で求められた前記対応特徴点の三次元座標を前記特徴点追跡工程にて特徴点が追跡された前記一連の撮影画像の各撮影画像に逆投影する逆投影工程と；
   前記各撮影画像について、前記特徴点追跡工程で求められた対応特徴点の撮影画像上の座標と前記逆投影工程において逆投影された対応特徴点の撮影画像上の座標との残差を算出する残差算出工程と；
   前記残差算出工程で算出された残差の時系列データに基づいて、前記対応特徴点の三次元計測への適否を判定する対応点適否判定工程と；
   前記対応点適否判定工程で不適切と判定された対応特徴点を削除する誤対応点削除工程と；
   前記対応特徴点から前記誤対応点削除工程で削除された対応特徴点を除いて、再度標定を行なう第２の標定工程と；
   前記第２の標定工程の標定結果を用いて三次元計測を行なう第２の三次元計測工程とを備える；
   画像処理方法。
9. 請求項８に記載の画像処理方法をコンピュータに実行させるためのコンピュータ読み取り可能なプログラム。