JP4214238B2 - 連動する複数の画像撮像装置を用いる画像処理方法及び装置 - Google Patents

Description

本発明は、連動する複数の画像撮像装置を用いる画像処理方法及び装置であって、とくに画像の変形や画像の動き量を計測するための画像処理方法及び装置に関するものである。

一般に、画像の動き量を検出する方法としては、画像の動き量を画素の明度変化から高速に計算できる明度勾配法や、画像間の明度差の絶対値和や２乗和を利用し、特徴が一致する場所を探索するパターンマッチング等の方法がある。図６にパターンマッチングによる動き量検出の例を示し、入力画像１とこれと異なる時間に得られた入力画像２（例えば、次フレームの画像）との間の特徴が一致する場所を探し、この一致する場所を利用してパターンマッチングを行い、動き量Δｘを検出している。

上記で述べたいずれの方法を用いるとしても、画像内に手がかりとなる特徴が必要である。そのため、特徴のない低コントラストな画像では動き量を検出することは出来ない。

解決すべき問題としては、例えば空の画像のような手がかりとなる特徴のない低コントラストの画像においては、明度勾配法やパターンマッチング等のいずれの手法でも動き量を検出できないという問題がある。例えば、図７に例を示すように、画像撮像装置Ａ ２０１で取得する画像には樹木や地形が写っているため、それを手がかりとして動き量を検出することができる。ところが画像撮像装置Ｂ ２０２で取得する空の画像は低コントラストで手がかりとなる特徴がないため動き量を検出することが出来ない。特に微小目標発見のためには画像を拡大する必要があるため、より狭視野になり、特徴を捉えにくくなる。モーションセンサを用いれば動き量を検出することが可能だが、検出精度には限界があり、また高精度のモーションセンサは高価であるためコスト面での問題も生じる。

本発明は、上記で述べた問題を解決するため、複数の画像撮像装置のうちの少なくとも一つの画像撮像装置から得られた画像に対する処理結果の情報を利用して、前記少なくとも一つの画像撮像装置以外の画像撮像装置から得られる画像を処理し、画像の動き量や変形量を検出可能とした画像処理方法及び装置を提供することを目的とする。

また、本発明は、前記画像の動き量の情報を利用し、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行うことのできる画像処理方法及び装置を提供することをもう一つの目的とする。

本発明のその他の目的や新規な特徴は後述の実施の形態において明らかにする。

上記目的を達成するために、本発明に係る画像処理方法は、複数の画像撮像装置から同時又はほぼ同時刻と見なせる画像と前記画像撮像装置の互いの配置に関わる情報とを取得し、
前記複数の画像撮像装置のうちの少なくとも一つの画像撮像装置から得られた画像に対する処理結果の情報を利用して、前記少なくとも一つの画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整することを特徴としている。

前記画像処理方法において、ある画像撮像装置から得られる画像の動き量又は変形量を基に、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用して、時系列の画像に対する画像処理を行ってもよい。

前記画像処理方法において、ある画像撮像装置から得られる画像の動き量又は変形量を基に、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用し、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行ってもよい。

本発明に係る画像処理装置の第１の態様は、複数の画像撮像装置から同時に画像を取得することができ、前記複数の画像撮像装置は互いに固定されて連接されており、前記複数の画像撮像装置のうちの少なくとも１台の画像撮像装置の画像に対する処理結果の情報を利用して、前記少なくとも１台の画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整する機能を有することを特徴としている。

本発明に係る画像処理装置の第２の態様は、前記画像処理装置において、複数の画像撮像装置から同時に画像を取得することができ、前記複数の画像撮像装置の互いの配置に関わる情報を取得する手段を有し、前記複数の画像撮像装置のうちの少なくとも１台の画像撮像装置の画像に対する処理結果の情報を利用して、前記少なくとも１台の画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整する機能を有することを特徴としている。

前記画像処理装置の第１又は第２の態様において、ある画像撮像装置から得られる画像の動き量又は変形量から、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用して、時系列の画像に対する画像処理を行ってもよい。さらに、前記推定した画像の動き量又は変形量の情報を利用し、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行ってもよい。

本発明によれば、以下に記載されているような効果を奏する。
（１） 複数の画像撮像装置同士の位置関係の情報を利用し、それぞれの画像撮像装置で撮像した画像の動き量又は変形量を別の画像撮像装置で撮像した画像の動き量に互いに変換することができる。よって、いずれかの画像撮像装置で撮像した画像について動き量又は変形量を求めることができれば、十分な特徴を有しておらず単独では動き量又は変形量を求めることができない画像の動き量も求めることが可能となる。つまり、動き量又は変形量を求めるための十分な特徴を有していない低コントラスト画像の動き量又は変形量を求めることができる。
（２） 求めた動き量又は変形量を利用して、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合等の画像処理を行うことができる。

以下、本発明を実施するための最良の形態として、画像処理方法及び装置の実施の形態を図面に従って説明する。

（実施の形態１）
図１及び図２で本発明に係る連動する複数の画像撮像装置を用いる画像処理方法及び装置の実施の形態１を説明する。図１に示すように、連動する複数の画像撮像装置を用いる画像処理装置は、画像撮像装置（カメラ）Ａ ２０１、画像撮像装置（カメラ）Ｂ ２０２、パラメータ取得手段４０３及び処理部４０５を備えている。図２のように、画像撮像装置Ａ ２０１及び画像撮像装置Ｂ ２０２は共に可動プラットホーム２０５上に固定されて互いに連接状態にあり、それぞれ同時、もしくはほぼ同時刻に撮像した画像Ａと画像Ｂを出力するものである。画像撮像装置Ａ ２０１からの入力画像Ａ ４０１はパラメータ取得手段４０３に出力され、画像撮像装置Ｂ ２０２からの入力画像Ｂ ４０２は処理部４０５に出力される。

図２のように、画像撮像装置Ａ ２０１は立木等の手がかりとなる情報（例えば、立木等を含む地形情報）があって動き量を検出できる画像を撮像し、画像撮像装置Ｂ ２０２は空の画像のような手がかりとなる特徴のない低コントラストの画像を撮像しているものとする。この場合、画像撮像装置Ａと画像撮像装置Ｂの位置関係は固定され既知であるため、画像撮像装置Ａで取得した画像の動き量Ａを変換して、画像撮像装置Ｂで取得した画像の動き量Ｂを算出することが可能となる。このような関係を利用してパラメータ取得手段４０３は入力画像Ａ ４０１から入力画像Ｂ ４０２を画像処理するために必要なパラメータＢ ４０４（具体的には入力画像Ａの動き量（又は変形量）等を入力画像Ｂの動き量（又は変形量）等に変換した量）を算出することができる。処理部４０５はこのパラメータＢを用いて画像Ｂに画像処理を施し、処理結果として出力する。

この実施の形態１によれば、次の通りの効果を得ることができる。

(1) 画像撮像装置Ａ ２０１及び画像撮像装置Ｂ ２０２から同時又はほぼ同時刻と見なせる入力画像Ａ及び入力画像Ｂを受け、かつそれら画像撮像装置が互いに連接、固定されている（つまり位置関係が既知である）ことを前提として、一方の画像撮像装置Ａ ２０１から得られた入力画像Ａに対する処理結果の情報を利用して、他方の画像撮像装置Ｂ ２０２から得られる入力画像Ｂを処理するパラメータを調整することができる。

(2) 具体的に言えば、入力画像Ａから入力画像Ｂを画像処理するために必要なパラメータＢ ４０４（具体的には入力画像Ａの動き量（又は変形量）等を入力画像Ｂの動き量（又は変形量）等に変換した量）を、パラメータ取得手段４０３によって算出することができる。

(3) 処理部４０５の処理結果として、例えば、動き量又は変形量を求めるための十分な特徴を有していない低コントラスト画像の動き量又は変形量を求めることができる。

（実施の形態２）
図３は、本発明に係る連動する複数の画像撮像装置を用いる画像処理方法及び装置の実施の形態２を示す。この場合、パラメータＢ ４０４を算出する際に必要となる画像撮像装置Ａ ２０１と画像撮像装置Ｂ ２０２の位置関係を取得するための配置情報取得手段５０１を有している。また、入力画像Ａ ４０１から入力画像Ｂ ４０２を画像処理するために必要なパラメータＢ ４０４を算出するパラメータ取得手段４０３は、入力画像Ａの動き量等のパラメータＡ ５０３を計算するためのパラメータ計算手段５０２と、配置情報取得手段５０１で取得した画像撮像装置Ａ ２０１と画像撮像装置Ｂ ２０２の配置情報からパラメータＡ ５０３をパラメータＢ ４０４に変換するパラメータ変換手段５０４とを有する。

この場合、画像撮像装置Ａ ２０１と画像撮像装置Ｂ ２０２の位置関係が可変調整可能な場合であっても、配置情報取得手段５０１によって、画像撮像装置Ａ ２０１と画像撮像装置Ｂ ２０２の位置関係を得ることで、前記パラメータＢ ４０４を算出可能である。例えば、典型的な動作においては、撮像開始前に、画像撮像装置Ａ ２０１を第１の撮像対象の方向に向け、画像撮像装置Ｂ ２０２を第２の撮像対象の方向（第１の撮像対象の方向とは通常異なる方向となる）に向け、両画像撮像装置の位置関係を初期値として配置情報取得手段５０１に操作者が入力し、以後両画像撮像装置の位置関係を固定、連接状態として両画像撮像装置を一体的に移動させる。

なお、その他の構成は前述した実施の形態１と同様であり、同一又は相当部分に同一符号を付して説明を省略する。

この実施の形態２によれば、実施の形態１の効果に加えて、配置情報取得手段５０１を設けることによって、画像撮像装置Ａ ２０１と画像撮像装置Ｂ ２０２の位置関係を任意に設定できる利点がある。

（実施の形態３）
図４は、本発明に係る連動する複数の画像撮像装置を用いる画像処理方法及び装置の実施の形態３を示す。この場合、パラメータ計算手段５０２内に動き量検出手段６０６を有し、画像撮像装置Ａから入力される時系列の入力画像Ａ ４０１に対して連続するフレーム間の動き量をパラメータＡ ５０３として出力する。

動き量検出手段６０６は、バッファ６０２−１，６０２−２、画像ワープ手段６０３、及び動き残差検出手段６０４を有する。画像撮像装置Ａから入力される時系列の入力画像Ａ ４０１は、バッファ６０２−１を介して動き残差検出手段６０４の一方の入力端子に加えられ、同時に１フレーム遅延させる遅延手段６０１、バッファ６０２−２、画像ワープ手段６０３を介して動き残差検出手段６０４の他方の入力端子に加えられる。動き残差検出手段６０４の両方の入力端子間の動き量の差は動き量推定の暫定値６０５として画像ワープ手段６０３に加えられる。

従って、現時点の入力画像と１フレーム前の入力画像との間の動き量は、動き残差検出手段６０４の両入力端子間の残差検出と画像ワープ手段６０３による所定量の画像ワープとを、前記残差が少なくなるように任意の回数反復処理し、最終的な動き量が動き量検出手段６０６からパラメータＡ ５０３として出力される。

そして、パラメータＡ ５０３をパラメータ変換手段５０４で変換したパラメータＢ ４０４を用いて、画像撮像装置Ｂから入力される時系列の画像に対して、対応するフレームに対する画像処理を処理部４０５で行う。

なお、その他の構成は前述した実施の形態２と同様であり、同一又は相当部分に同一符号を付して説明を省略する。

この実施の形態３によれば、実施の形態１，２の効果に加えて、入力画像Ａ ４０１の連続するフレームを得て、入力画像Ｂ ４０２の連続するフレームの画像処理が可能である。

（実施の形態４）
図５は、本発明に係る連動する複数の画像撮像装置を用いる画像処理方法及び装置の実施の形態４を示す。前記パラメータＢを利用して、画像撮像装置Ｂ ２０２から入力される時系列の画像に対して、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行うことができるが、図５の実施の形態４では、画像の融合の一例として、貼り合わせ処理の場合を示す。

貼り合わせ処理を行う処理部７０１は、バッファ更新手段７０２と、統合画像バッファ７０３とを有している。そして、バッファ更新手段７０２は、画像撮像装置Ｂ ２０２から入力された入力画像Ｂ ４０２を一時保持し、パラメータＢ ４０４から生成した書き出し先のアドレス情報に基づき、統合画像バッファ７０３が保持する１フレーム前までの統合画像と情報をやり取りしながら、更新を行う。統合画像バッファ７０３は保存されている統合画像を出力画像として出力する。

なお、その他の構成は前述した実施の形態３と同様であり、同一又は相当部分に同一符号を付して説明を省略する。

この実施の形態４によれば、実施の形態１，２，３の効果に加えて、入力画像Ｂに適用するパラメータＢを利用して貼り合わせ処理を行う処理部７０１で統合画像を作成し、出力することが可能である。

なお、入力画像Ｂに適用するパラメータＢを利用して入力画像Ｂを画像処理する処理部は、実施の形態４で例示した画像の融合の他に、画像の安定化、画像積分によるノイズ除去、移動目標検出のいずれか又は全部の処理を行う構成であってもよい。

上記各実施の形態では、主として画像の動き量に着目して説明したが、撮像対象物が変形するような場合には、変形量に着目して画像処理を行うことができる。

また、本発明は、画像撮像装置が３台以上の場合にも適用可能であり、３台以上の画像撮像装置のうちの少なくとも一つの画像撮像装置から得られた画像に対する処理結果の情報を利用して、前記少なくとも一つの画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整可能である。

以上本発明の実施の形態について説明してきたが、本発明はこれに限定されることなく請求項の記載の範囲内において各種の変形、変更が可能なことは当業者には自明であろう。

本発明に係る連動する複数の画像撮像装置を用いる画像処理方法及び装置の実施の形態１を示す処理ブロック図である。 前記実施の形態１の説明図である。 本発明の実施の形態２を示す処理ブロック図である。 本発明の実施の形態３を示す処理ブロック図である。 本発明の実施の形態４を示す処理ブロック図である。 パターンマッチングで動き量を検出する例を示す説明図である。 低コントラストな画像からは動き量が検出できない例を示す説明図である。

符号の説明

２０１ 画像撮像装置Ａ
２０２ 画像撮像装置Ｂ
４０１ 入力画像Ａ
４０２ 入力画像Ｂ
４０３ パラメータ取得手段
４０４ パラメータＢ
４０５，７０１ 処理部
５０１ 配置情報取得手段
５０２ パラメータ計算手段
５０３ パラメータＡ
５０４ パラメータ変換手段
６０１ 遅延手段
６０２−１，６０２−２，７０２ バッファ
６０３ 画像ワープ手段
６０４ 動き残差検出手段
６０５ 動き量推定の暫定値
６０６ 動き量検出手段
７０３ 統合画像バッファ

Claims (7)

1. 複数の画像撮像装置から同時又はほぼ同時刻と見なせる画像と前記画像撮像装置の互いの配置に関わる情報とを取得し、
   前記複数の画像撮像装置のうちの少なくとも一つの画像撮像装置から得られた画像に対する処理結果の情報を利用して、前記少なくとも一つの画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整することを特徴とする画像処理方法。
2. ある画像撮像装置から得られる画像の変形量又は動き量を基に、他の画像撮像装置から得られる画像の変形量又は動き量を推定し、その推定した画像の動き量又は変形量の情報を利用して、時系列の画像に対する画像処理を行う請求項１記載の画像処理方法。
3. ある画像撮像装置から得られる画像の動き量又は変形量を基に、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用し、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行う請求項２記載の画像処理方法。
4. 複数の画像撮像装置から同時に画像を取得することができ、前記複数の画像撮像装置は互いに固定されて連接されており、前記複数の画像撮像装置のうちの少なくとも１台の画像撮像装置の画像に対する処理結果の情報を利用して、前記少なくとも１台の画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整する機能を有することを特徴とする画像処理装置。
5. 複数の画像撮像装置から同時に画像を取得することができ、前記複数の画像撮像装置の互いの配置に関わる情報を取得する手段を有し、前記複数の画像撮像装置のうちの少なくとも１台の画像撮像装置の画像に対する処理結果の情報を利用して、前記少なくとも１台の画像撮像装置以外の画像撮像装置から得られる画像を処理するパラメータを調整する機能を有することを特徴とする画像処理装置。
6. ある画像撮像装置から得られる画像の動き量又は変形量から、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用して、時系列の画像に対する画像処理を行う請求項４又は５記載の画像処理装置。
7. ある画像撮像装置から得られる画像の動き量又は変形量から、他の画像撮像装置から得られる画像の動き量又は変形量を推定し、その推定した画像の動き量又は変形量の情報を利用し、画像の安定化、画像積分によるノイズ除去、移動目標の検出、画像の融合のどれか又は全て含む処理を行う請求項６記載の画像処理装置。

Images