JP3103478B2 - 複眼撮像装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の符号化装置や画
像触れ補正装置に必要な動きベクトル検出手段を備えた
複眼撮像装置に関する。

【０００２】

【従来の技術】時系列に撮像された画像信号から撮像さ
れた被写体の移動量を求める動きベクトル検出方法は、
画像の符号化装置や画像触れ補正装置等に必要不可欠な
ものである。そのベクトル検出方法としては、米国特許
第３８９０４６２号明細書や特公昭６０−４６８７８号
公報に記載された時空間高勾配法、相関演算に基づく相
関法やブロックマッチング法（テンプレートマッチング
法）等が知られている。これらの手法のうち時空間高勾
配法については、B.K.P. Horn 氏らによって、Artifici
al Intelligence 17,p.185〜203(1981) で詳しく論じら
れており、また、ブロックマッチング法については、尾
上守夫氏らによって、情報処理 Vol.17,No.7,p.634〜64
0 July 1976 で詳しく論じられている。以下、これらの
動きベクトル検出方法について簡単に説明する。

【０００３】まず、時空間勾配法について説明する。時
刻ｔにおける画像上の点（ｘ，ｙ）の輝度をｄ（ｘ，
ｙ，ｔ）、微小時間δｔ経過後のその点の位置を（ｘ＋
δｘ，ｙ＋δｙ）とすると、ｄ（ｘ，ｙ，ｔ）は、 ｄ（ｘ，ｙ，ｔ）＝ｄ（ｘ＋δｘ，ｙ＋δｙ，ｔ＋δ
ｔ） で表される。

【０００４】今、ｄ（ｘ＋δｘ，ｙ＋δｙ，ｔ＋δｔ）
をテーラー展開すると

【０００５】

【数１】 を得、この式の高次の項を省略すると、

【０００６】

【数２】 が導かれる。ここで、

【０００７】

【数３】 とすると、

【０００８】

【数４】 が成り立ち、

【０００９】

【数５】 とすると、最終的に

【００１０】

【数６】 を得ることができる。このとき、（ｕ，ｖ）は画面上で
の画素の移動量に相当する。

【００１１】したがって、ｖ＝φが解っている場合（例
えば、横方向の動きしかない場合）には、

【００１２】

【数７】 となり、ｕを求めることができる。

【００１３】また、時空間勾配法を用いた例としては、
例えば、上記特公昭６０−４６８７８号公報に記載され
ているように、画像の任意位置に対応する画像信号レベ
ルの勾配ｅを求め、さらにその任意位置に対応する画像
信号レベルの一定時間における変化ｄを求めることによ
って、ｄ／ｅの値から一定時間における上記任意位置の
画像の移動量を求めるものがある。

【００１４】次に、ブロックマッチング法について説明
する。ブロックマッチング法は、移動ベクトル抽出の対
象となる時系列に撮像された２つのフレームのうち、一
方のフレームを適当な大きさの複数のブロック（例え
ば、８画素×８ライン）に分割し、その分割されたブロ
ック毎に、各ブロックの画素と他方のフレーム（あるい
はフィールド）における一定範囲の画素とのずれを計算
し、このずれ量の絶対値の和が最小となる他方のフレー
ム（あるいはフィールド）におけるブロックの位置を探
査する方法である。すなわち、このブロックマッチング
法では、各フレームにおける各ブロックの相対的なずれ
がそのブロックの動きベクトルを表すものとなる。

【００１５】従来の複眼撮像装置では、上述の各動きベ
クトル検出方法のいずれかが用いられて、各カメラ毎に
所定の時刻におけるフレーム間の画像の動きベクトルが
検出される。すなわち、カメラによって時系列に入力さ
れた画像信号から、所定の時刻間におけるフレーム間で
対応点が求められ、その対応点における画像の動きベク
トルが各カメラ毎に抽出される。なお、上述の各動きベ
クトル検出方法は、いずれのものも画像の動きを検出す
る画像間での対応点の存在が前提とされている。

【００１６】

【発明が解決しようとする課題】上述の従来の複眼撮像
装置では、各カメラ毎に所定のフレーム間の画像の動き
ベクトルが検出される。そのため、一方のカメラでしか
見えない部分や一方のカメラで撮像された画像信号に雑
音が混入して画像が乱れたりした場合については、正し
い動きベクトルを検出することができない。このような
検出方法に基づいて画像の符号化や画像触れ補正を行な
う従来の撮像装置には、信頼性に乏しいという問題点が
ある。

【００１７】本発明の目的は、各カメラから得られた各
画像から、各カメラ毎に自己相関的に動きベクトルを抽
出するとともに、各画像に関して相互関係的に動きベク
トルを抽出して、それぞれ抽出した動きベクトルから最
終的な動きベクトルを決定する、装置の信頼性の向上を
図った複眼撮像装置を提供することにある。

【００１８】

【課題を解決するための手段】本発明の複眼撮像装置
は、所定の輻輳角に設定され、所望の被写体を撮像する
複数の撮像手段と、前記各撮像手段毎に設けられ、前記
撮像手段によって時系列的に得られる画像から所定のフ
レーム間における前記被写体の動きベクトルをそれぞれ
抽出する複数の動きベクトル抽出手段と、前記各撮像手
段によって得られる各画像から、前記所定のフレーム間
における前記被写体の立体視差を抽出する立体視差抽出
手段と、前記立体視差抽出手段によって時系列的に抽出
された立体視差から、前記所定のフレーム間における前
記被写体の立体視差動きベクトルを抽出する立体視差動
きベクトル抽出手段と、前記各動きベクトル抽出手段に
よって抽出されたそれぞれの動きベクトルおよび前記立
体視差動きベクトル抽出手段によって抽出された立体視
差動きベクトルに基づいて、前記所定のフレーム間にお
ける前記被写体の最終的な動きベクトルを決定する動き
ベクトル決定手段とを有することを特徴とする。

【００１９】上記の場合、前記各動きベクトル抽出手段
によって抽出された動きベクトルを第１の動きベクトル
とし、前記立体視差動きベクトル抽出手段によって抽出
された立体視差動きベクトルを、前記所定の輻輳角に基
づいて、前記各第１の動きベクトルに対応する第２の動
きベクトルに変換する変換手段をさらに有し、前記動き
ベクトル決定手段が、前記各動きベクトル抽出手段によ
って抽出された第１の動きベクトルおよび前記変換手段
によって変換された第２の動きベクトルに基づいて、前
記所定のフレーム間における前記被写体の最終的な動き
ベクトルを決定するように構成されてもよい。この場
合、前記動きベクトル決定手段は、前記各動きベクトル
抽出手段毎に設けられ、前記動きベクトル抽出手段によ
ってそれぞれ抽出された第１の動きベクトルと前記変換
手段によって変換された第２の動きベクトルが一致する
かを検討する比較検討手段と、前記各比較検討手段によ
って検討された結果に基づいて前記第１の動きベクトル
と前記第２の動きベクトルを統合する統合手段とで構成
され、前記統合手段は、前記各第１の動きベクトルと前
記第２の動きベクトルがそれぞれ一致する場合には、前
記第１および第２の動きベクトルの平均値、あるいは加
重平均を取り、前記各第１の動きベクトルのいずれか１
つと前記第２の動きベクトルが一致する場合には、該一
致した第１の動きベクトルと前記第２の動きベクトルに
ついて平均値、あるいは加重平均を取り、前記第２の動
きベクトルが前記各第１の動きベクトルのいずれとも一
致しない場合においては、前記第１の動きベクトルのい
ずれかを採用するように構成されてもよい。また、前記
立体視差動きベクトル抽出手段によって抽出された立体
視差動きベクトルを第２の動きベクトルとし、前記各動
きベクトル抽出手段によって抽出された動きベクトルを
前記第２の動きベクトルに対応する第１の動きベクトル
に変換する変換手段をさらに有し、前記動きベクトル決
定手段が、前記変換手段によって変換された第１の動き
ベクトルおよび前記立体視差動きベクトル抽出手段によ
って抽出された第２の動きベクトルに基づいて、前記所
定のフレーム間における前記被写体の最終的な動きベク
トルを決定するように構成されてもよい。さらに、前記
動きベクトル決定手段は、前記各動きベクトル抽出手段
毎に設け られ、前記第１の動きベクトルと前記第２の動
きベクトルが一致するかを検討する比較検討手段と、前
記各比較検討手段によって検討された結果に基づいて前
記第１の動きベクトルと前記第２の動きベクトルを統合
する統合手段とを有してもよい。

【００２０】上述のいずれの場合も、前記動きベクトル
抽出手段、前記立体視差抽出手段および前記立体視差動
きベクトル抽出手段における前記動きベクトル、前記立
体視差および前記立体視差動きベクトルの抽出は、前記
撮像手段から時系列的に得られる画像、あるいは、前記
各撮像手段から得られる各画像から共通する領域を抽出
し、該抽出した共通する領域の相対的なずれ量を求める
ことによって行なわれてもよい。

【００２１】

【作用】従来の複眼撮像装置では、各撮像手段毎に画像
の動きベクトルが求められていた。これに対し、上述の
如く構成される本発明の複眼撮像装置では、各撮像手段
毎に第１の動きベクトルをそれぞれ求め、さらに、各撮
像手段から得られる画像の立体視差から立体視差動きベ
クトルを求めて、その求めた立体視差動きベクトルを各
撮像手段の輻輳角に基づいて上記各第１の動きベクトル
に対応する第２の動きベクトルにそれぞれ変換し、その
第１および第２の動きベクトルから最終的な動きベクト
ルが求められるので、一方のカメラでしか見えない部分
や一方のカメラで撮像された画像信号に雑音が混入して
画像が乱れたりした場合においても、他方のカメラから
得られる第１の動きベクトルと立体視差から得られる第
２の動きベクトルから正しい動きベクトルを検出するこ
とができる。

【００２２】また、本発明の複眼撮像装置では、動きベ
クトル抽出手段、立体視差抽出手段および立体視差動き
ベクトル抽出手段における動きベクトル、立体視差およ
び立体視差動きベクトルの抽出は、撮像手段から時系列
的に得られる画像、あるいは各撮像手段から得られる各
画像からその共通する領域を抽出し、該抽出した共通す
る領域の相対的なずれ量を求めることによって行なわれ
る。

【００２３】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００２４】図１は、本発明の第１の実施例の複眼撮像
装置の動きベクトルを検出する部分の概略構成を示すブ
ロック図である。

【００２５】本実施例の複眼撮像装置は、カメラ（Ｌ）
１およびカメラ（Ｒ）２の２台のカメラから時系列に得
られる２枚の画像から、対象とする被写体の動きベクト
ルを抽出する動きベクトル検出手段が備えられたもので
ある。この複眼撮像装置では、カメラ（Ｌ）１から得ら
れる第１の画像動きベクトル、カメラ（Ｒ）２から得ら
れる第２の画像動きベクトル、および左右のカメラの立
体視差から得られる第３の画像動きベクトルのそれぞれ
から対象とする被写体の動きベクトルが求められる。

【００２６】上記複眼撮像装置の動きベクトル検出手段
は、時間遅れ処理部３０，３１，３２、Ｌ画像動きベク
トル抽出部４、Ｒ画像動きベクトル抽出部５、立体視差
抽出部６、比較検討部７，８、変換部９，１０、立体視
差動きベクトル抽出部１１、総合部１２とで構成されて
いる。以下、上記各構成部について説明する。

【００２７】各時間遅れ処理部３０，３１は、カメラ
（Ｌ）１およびカメラ（Ｒ）２から得られた時刻ｔにお
ける画像信号２０，２１についてそれぞれΔｔ分の時間
遅れ処理を行ない、時刻（ｔ＋Δｔ）にその画像信号２
０，２１に関する画像信号３００，３１０をそれぞれ送
出する。また、時間遅れ処理部３２は、後述する立体視
差抽出部６から送出される距離情報６０についてΔｔ分
の時間遅れ処理を行ない、時刻（ｔ＋Δｔ）にその距離
情報６０に関する距離情報３２０を送出する。

【００２８】Ｌ画像動きベクトル抽出部４は、時間遅れ
処理部３０から送出された画像信号３００とカメラ
（Ｌ）１から送出された画像信号２０とをそれぞれ入力
とし、時刻ｔから時刻（ｔ＋Δｔ）の間におけるカメラ
（Ｌ）１に関する画像動きベクトルを抽出し、Ｌ画像動
きベクトル４０を送出する。同様に、Ｒ画像動きベクト
ル抽出部５は、時間遅れ処理部３１から送出された画像
信号３１０とカメラ（Ｒ）２から送出された画像信号２
１とをそれぞれ入力とし、時刻ｔから時刻（ｔ＋Δｔ）
の間におけるカメラ（Ｒ）２に関する画像動きベクトル
を抽出し、Ｒ画像動きベクトル情報５０を送出する。上
記各動きベクトル抽出部では、このように２入力ライン
のうちの一方に時間遅れ処理を施すことにより、処理速
度を速くし、しかも使用メモリ量を少なくしている。

【００２９】立体視差抽出部６は、時刻ｔにおけるカメ
ラ（Ｌ）１から送出された画像信号２０およびカメラ
（Ｒ）２から送出された画像信号２１をそれぞれ入力と
し、各画像信号２０，２１に関する立体視差を抽出して
距離情報６０を送出する。この送出される距離情報６０
には、立体視差から求められる距離情報はもとより、立
体視差と三角測量のパラメータや画素の輝度情報等も含
まれている。

【００３０】立体視差動きベクトル抽出部１１は、立体
視差抽出部６から送出された時刻ｔにおける距離情報６
０と時間遅れ処理部３２から送出された時刻（ｔ＋Δ
ｔ）における距離情報３２０を入力とし、カメラ（Ｌ）
１およびカメラ（Ｒ）２から送出された２つの画像から
相互相関的に画像動きベクトルを抽出し、立体視差動き
ベクトル１１０，１１１を送出する。

【００３１】変換部９，１０は、立体視差動きベクトル
抽出部１１から送出された立体視差動きベクトル１１
０，１１１をそれぞれ入力とし、各立体視差動きベクト
ル情報１１０，１１１を各カメラの輻輳角に応じた動き
ベクトルに変換し、動きベクトル９０，１００をそれぞ
れ送出する。

【００３２】比較検討部７は、Ｌ画像動きベクトル抽出
部４から送出されたＬ画像動きベクトル４０と変換部９
から送出された動きベクトル９０とを入力とし、これら
の動きベクトルを比較して互いに等しい部分と等しくな
い部分とを区別するラベル付けを行ない、このラベル情
報を付加したＬ画像動きベクトル情報７０を送出する。
同様に、比較検討部８は、Ｒ画像動きベクトル抽出部５
から送出されたＲ画像動きベクトル５０と変換部１０か
ら送出された動きベクトル１００を入力とし、これらの
動きベクトル情報に関するラベル情報を有するＲ画像動
きベクトル情報８０を送出する。

【００３３】統合部１２は、各比較検討部７，８から送
出されたＬ画像動きベクトル情報７０およびＲ画像動き
ベクトル情報８０を入力とし、最終的な動きベクトル情
報１２０を送出する。

【００３４】なお、上述した動きベクトル検出手段で
は、カメラ（Ｌ）１およびカメラ（Ｒ）２から得られる
２つの画像は、その各画素が表示画面上で相対的に一致
するものである。また、左右の画像の比較、およびそれ
ぞれの画像における各時刻における画像の比較は、それ
ぞれ相対的に一致する画素間で行なわれる。

【００３５】次に、上述の複眼撮像装置の動作について
詳しく説明する。

【００３６】上述の複眼撮像装置では、カメラ（Ｌ）１
およびカメラ（Ｒ）２がそれぞれ所定の輻輳角に設定さ
れて所望する被写体の撮像が行なわれる。カメラ（Ｌ）
１およびカメラ（Ｒ）２で被写体が撮像されると、カメ
ラ（Ｌ）１からは、時刻ｔにおける画像信号２０が時間
遅れ処理部３０、Ｌ画像動きベクトル抽出部４および立
体視差抽出部６にそれぞれ入力され、また、カメラ
（Ｒ）２からは、時刻ｔにおける画像信号２１が時間遅
れ処理部３１、Ｒ画像動きベクトル抽出部５および立体
視差抽出部６にそれぞれ入力される。

【００３７】画像信号２０が入力された時間遅れ処理部
３０では、この画像信号２０に対してΔｔ分の時間遅れ
処理が行なわれて、時刻（ｔ＋Δｔ）にその画像信号２
０が画像信号３００として送出される。同様にして、画
像信号２１が入力された時間遅れ処理部３１では、時刻
（ｔ＋Δｔ）にその画像信号２１が画像信号３１０とし
て送出される。

【００３８】上記各時間遅れ処理部３０，３１からそれ
ぞれ送出された各画像信号３００，３１０は、それぞれ
Ｌ画像動きベクトル抽出部４およびＲ画像動きベクトル
抽出部５に入力される。このとき、Ｌ画像動きベクトル
抽出部４およびＲ画像動きベクトル抽出部５には、カメ
ラ（Ｌ）１およびカメラ（Ｒ）２から画像信号２０およ
び画像信号２１がそれぞれ入力されている。

【００３９】すなわち、Ｌ画像動きベクトル抽出部４に
は、時刻（ｔ＋Δｔ）に時間遅れ処理部３０から送出さ
れた画像信号３００（すなわち、時刻ｔにカメラ（Ｌ）
１から送出された画像信号）と時刻（ｔ＋Δｔ）にカメ
ラ（Ｌ）１から送出された画像信号とが同時に入力され
ており、Ｒ画像動きベクトル抽出部５には、時刻（ｔ＋
Δｔ）に時間遅れ処理部３１から送出された画像信号３
１０（すなわち、時刻ｔにカメラ（Ｒ）２から送出され
た画像信号）と時刻（ｔ＋Δｔ）にカメラ（Ｒ）２から
送出された画像信号とが同時に入力されている。

【００４０】時刻ｔにおける画像および時刻（ｔ＋Δ
ｔ）における画像がそれぞれ入力されたＬ画像動きベク
トル抽出部４およびＲ画像動きベクトル抽出部５では、
時刻ｔから時刻（ｔ＋Δｔ）の間の画像動きベクトルが
それぞれ抽出される。以下、このＬ画像動きベクトル抽
出部４およびＲ画像動きベクトル抽出部５における画像
動きベクトルの抽出について詳しく説明する。

【００４１】図２は、画像動きベクトルの抽出を説明す
るための模式図で、Ｍ×Ｍ画素の画像からＮ×Ｎ画素の
テンプレート画像を切り出したものである。

【００４２】Ｌ画像動きベクトル抽出部４およびＲ画像
動きベクトル抽出部５における画像動きベクトルの抽出
は、双方同様な処理によって行なわれるので、ここでは
Ｌ画像動きベクトル抽出部４のみについて説明する。

【００４３】Ｌ画像動きベクトル抽出部４における画像
動きベクトルの抽出は、図２に示すように、時刻ｔにお
けるＭ×Ｍ画素の画像（画像信号２０）の所定位置から
Ｎ×Ｎ画素のテンプレート画像を切り出し、この切り出
したテンプレート画像を時刻（ｔ＋Δｔ）におけるＭ×
Ｍ画素の画像（画像信号３００）内の探索領域範囲（Ｍ
−Ｎ＋１）² 上で動かし、切り出されたテンプレート画
像の各画素と上記探索領域範囲（Ｍ−Ｎ＋１）² 内の各
画素との差（絶対値）の総和が一番小さくなる位置を求
めることによって行なわれる。すなわち、以下の式によ
って与えられる残差Ｒ（ａ，ｂ）が最小となるテンプレ
ート画像の位置（中心画素の位置）を求めることによっ
て行なわれる。

【００４４】

【数８】 上記式において、（ａ，ｂ）は、Ｍ×Ｍ画素の画像にお
けるテンプレート画像の左上位置を示し、

【００４５】

【外１】 は、時刻（ｔ＋Δｔ）の画像（画像信号３００）におけ
る上記テンプレート画像の移動位置を示し、Ｔt（ｉ，
ｊ）は、時刻ｔの画像（画像信号２０）におけるテンプ
レート画像の位置を示す。

【００４６】ここで、簡単な例として物体が横方向に移
動したものを挙げる。

【００４７】図３は、画像動きベクトルの抽出を行なう
際の各時刻における被写体の移動を表す図で、（Ａ）は
時刻ｔにおける画像、（Ｂ）は時刻（ｔ＋Δｔ）におけ
る画像を示す。また、図４は、図３における被写体の移
動に基づいて抽出された画像動きベクトルを各テンプレ
ート画像毎に矢印で表した図である。

【００４８】図３に示すように被写体が横方向に移動す
る場合、まず図３（Ａ）に示す画像を所定の大きさで分
割し（ここでは、１２分割される）、テンプレート画像
を設定する。次いで、図３（Ａ）の画像上に形成された
各テンプレート画像のうちからまず１つを選択して切り
出し、その切り出したテンプレート画像を図３（Ｂ）の
画像上の特定の探索領域範囲上で動かし、上述した式１
の残差Ｒ（ａ，ｂ）が最小となるテンプレート画像の位
置を求める。このような処理を各テンプレート画像につ
いて行なう。

【００４９】上述のようにして、式１の残差Ｒ（ａ，
ｂ）が最小となる各テンプレート画像の位置が求まる
と、各テンプレート画像において、Ｔt（ｉ，ｊ）から

【００５０】

【外２】 へ矢印を各画素毎に引けば、図４に示すように簡単に画
像動きベクトルを矢印で表すことができる。なお、図４
では、Ｔt（ｉ，ｊ）をテンプレート画像の中心座標と
して矢印が表示されている。

【００５１】以上のようにして抽出された画像動きベク
トルは、Ｌ画像動きベクトル抽出部４およびＲ画像動き
ベクトル抽出部５からそれぞれＬ画像動きベクトル４０
およびＲ画像動きベクトル５０として送出される。

【００５２】上述の複眼撮像装置において、上記各カメ
ラ１，２から送出された画像信号２０，２１は、ともに
立体視差抽出部６にも入力される。以下、立体視差抽出
部６における立体視差の抽出について説明する。

【００５３】各カメラ１，２から画像信号２０，２１が
それぞれ入力された立体視差抽出部６では、入力された
各画像信号２０，２１から時刻ｔにおける左右の２つの
画像の立体視差が抽出される。

【００５４】上記立体視差の抽出は、上述した式１を用
いた手法と同じ方法で求めることができる。但し、上述
した式１を用いた手法では、一方のカメラから入力され
る画像について画像移動ベクトルが抽出されていたが、
ここでは、各カメラ１，２からそれぞれ入力される２つ
の画像から以下に示す式２を用いて立体視差が抽出され
る。

【００５５】すなわち、カメラ（Ｌ）１およびカメラ
（Ｒ）２のそれぞれから画像信号２０および画像信号２
１が入力されると、画像信号２１から得られる画像（以
下、Ｒ画像という）からテンプレート画像を切り出し、
この切り出されたテンプレート画像を画像信号２０から
得られる画像（以下、Ｌ画像という）内の探索領域範囲
上で動かし、以下の式によって与えられる残差Ｒ（ａ，
ｂ）が最小となるテンプレート画像の位置（ここでは、
テンプレート画像の中心画素の位置）を求めることによ
って行なわれる。なお、ここでは基準となるテンプレー
ト画像が切り出される画像をＲ画像としているが、反対
にＬ画像を基準にしてもよい。

【００５６】

【数９】 上記のようにして求められたＲ画像におけるテンプレー
ト画像の中心画素の位置とＬ画像におけるテンプレート
画像の中心画素の位置は、Ｒ画像とＬ画像のそれぞれ対
応する点を表していることから、この対応する点をそれ
ぞれ（ＸR，ＹR）および（ＸL，ＹL）とすると、立体視
差（Ｕ，Ｖ）は、 （Ｕ，Ｖ）＝（ＸR，ＹR）−（ＸL，ＹL） で表される。このようにして、立体視差を求めることが
できる。

【００５７】なお、上記立体視差は、式２の代わりに以
下に示す式を用いて求めてもよい。

【００５８】

【数１０】 以上のようにして立体視差が求められると、さらに、立
体視差抽出部６では、三角測量の原理に基づいて、求め
た立体視差から立体物の距離情報が求められ距離情報６
０が送出される。なお、このとき送出される距離情報６
０は、計算された画素間の距離情報はもとより、立体視
差と三角測量とから得られるパラメータや画素の輝度情
報等も含くまれている。

【００５９】立体視差抽出部６から送出された距離情報
６０は、時間遅れ処理部３２に入力されるとともに、立
体視差動きベクトル抽出部１１に入力される。

【００６０】立体視差抽出部６から距離情報６０が入力
された時間遅れ処理部３２では、上述した時間遅れ処理
部３０，３１と同様にしてΔｔ分の時間遅れ処理が行な
われ、時刻（ｔ＋Δｔ）に距離情報６０が距離情報３２
０として立体視差動きベクトル抽出部１１へ送出され
る。

【００６１】時間遅れ処理部３２から距離情報３２０が
送出された立体視差動きベクトル抽出部１１では、時刻
ｔにおける距離情報（すなわち、距離情報３２０）と時
刻（ｔ＋Δｔ）における距離情報（すなわち、立体視差
抽出部６から直接入力される時刻（ｔ＋Δｔ）における
距離情報６０）から画像動きベクトルが抽出される。以
下、この立体視差動きベクトル抽出部１１における画像
動きベクトルの抽出について説明する。

【００６２】上記画像動きベクトルの抽出は、上述した
式１を用いた手法と同じ方法で求めることができる。但
し、ここでは、以下に示す式を用いて画像動きベクトル
が抽出される。

【００６３】

【数１１】 上記式４において、Ｐは画素（ｉ，ｊ）の時刻ｔにおけ
る輝度値、Ｑは距離情報を示すもので、画素ｉ，ｊはレ
ンズ中心、あるいは何等かの原点からの距離

【００６４】

【数１２】 である。

【００６５】上述したように立体視差抽出部６から送出
された距離情報６０には、Ｒ画像およびＬ画像における
各画像間の対応する各画素間の距離（立体視差）情報お
よび各時刻の画像における各画素の輝度情報等の画像情
報が含まれており、立体視差動きベクトル抽出部１１で
は、その距離情報および輝度情報によって、時刻ｔから
時刻（ｔ＋Δｔ）の間の立体情報を用いた画像動きベク
トルが抽出される。

【００６６】すなわち、式４の第１項によって各画素の
輝度値の比較が行なわれ、第２項によって距離情報（立
体視差）の比較が行なわれ、これらの絶対値が最小とな
るＲ’（ａ，ｂ）を求めることによって画像動きベクト
ルが抽出される。

【００６７】上述のようにして、立体視差動きベクトル
抽出部１１によってＲ画像とＬ画像の立体画像に関する
時刻ｔから時刻（ｔ＋Δｔ）における画像動きベクトル
が抽出されると、立体視差動きベクトル抽出部１１から
各変換部９，１０へそれぞれ立体視差画像動きベクトル
１１０，１１１が送出される。

【００６８】各立体視差画像動きベクトル１１０，１１
１が各変換部９，１０にそれぞれ入力されると、各変換
部９，１０では、Ｒ画像とＬ画像の立体画像に関する立
体視差画像動きベクトルをＲ画像に関するものおよびＬ
画像に関するものに変換する処理が行なわれる。以下、
その変換部における変換処理について説明する。

【００６９】図５は、変換部９，１０における変換処理
を説明するための図で、図１に示すカメラの輻輳角を示
す状態図である。

【００７０】各変換部９，１０は、図５に示すように、
カメラ（Ｌ）１およびカメラ（Ｒ）２における輻輳角か
ら変換処理を行なうものであって、その変換方法には以
下に示す２つの例が考られる。

【００７１】１つの方法は、図５に示すカメラの輻輳角
θが小さく、基線中心から被写体までの距離Ｚがレンズ
の焦点距離に比べて非常に大きな場合に用いられるもの
で、単に画像動きベクトルの大きさを変換して近似する
方法である。この方法では、以下の式が用いられる。

【００７２】

【数１３】 もう１つの方法は、各画素の距離情報に基づいて画像動
きベクトルの大きさを変換して近似する方法で、以下の
式が用いられる。

【００７３】

【数１４】 後者の場合は、例えば、上記式を

【００７４】

【数１５】 で表し、（ω，φ，χ）をＸ・Ｙ・Ｚ軸の３軸の周りの
回転角とし、

【００７５】

【外３】 を並進分として各画素の距離情報に基づいて変換するこ
とによって近似が行なわれる。

【００７６】図６は、変換部の変換処理による画像動き
ベクトルの変化を表す図で、上述の各手法のいずれかを
用いて画像動きベクトル１１０，１１１の大きさを変換
した際の画像動きベクトルを図４と同様に表したもので
ある。この変換部では、上述のようにして、立体画像か
ら得られた動きベクトルがＲ画像およびＬ画像のそれぞ
れに対応する動きベクトルに変換されて、図６に示すよ
うになる。

【００７７】以上のようにして各変換部９，１０で変換
処理が行なわれると、各変換部９，１０からは、Ｌ画像
およびＲ画像に対応する動きベクトル９０および動きベ
クトル１００が比較検討部７、８へそれぞれ送出され
る。

【００７８】動きベクトル９０，１００がそれぞれ送出
された各比較検討部では、上記各変換部で変換されたＲ
画像およびＬ画像に関する動きベクトル（相互関係的に
求めた画像動きベクトル）と、Ｒ画像およびＬ画像毎に
抽出された画像動きベクトル（自己相関的に求めた画像
動きベクトル）との比較が行なわれ、一致する部分およ
び一致しない部分にそれぞれ所定のラベルが付けられ
る。

【００７９】すなわち、比較検討部７においては、Ｌ画
像動きベクトル抽出部４から送出されたＬ画像動きベク
トル４０と変換部９から送出された動きベクトル９０の
間で各テンプレート画像毎に比較が行なわれ、上記ラベ
ル付けが行なわれる。同様にして、比較検討部８におい
ては、Ｒ画像動きベクトル５０と動きベクトル１００の
間で各テンプレート画像毎に比較が行なわれてラベル付
けが行なわれる。

【００８０】図７は、１例として一致する部分にＴ’、
一致しない部分にＦ’のラベル付けをしたもので、
（Ａ）は比較検討部７におけるラベル付け、（Ｂ）は比
較検討部８におけるラベル付けを表す。

【００８１】図７に示すように、各比較検討部７，８で
ラベル付けが行なわれると、比較検討部７からは、Ｌ画
像動きベクトル４０および動きベクトル９０とともに図
７（Ａ）のラベル情報が統合部１２へ送出され（Ｌ画像
動きベクトル情報７０）、比較検討部８からは、Ｒ画像
動きベクトル５０および動きベクトル１００とともに図
７（Ｂ）のラベル情報が統合部１２へ送出される（Ｒ画
像動きベクトル情報８０）。

【００８２】統合部１２にＬ画像動きベクトル情報７０
およびＲ画像動きベクトル情報８０がそれぞれ送出され
ると、この統合部１２では、ラベル情報に基づいて最終
的画像動きベクトルが以下のようにして求められる。

【００８３】まず、Ｌ画像動きベクトル情報７０および
Ｒ画像動きベクトル情報８０にそれぞれ付加されている
ラベル情報をそれぞれ対応するテンプレート画像毎に比
較する（ここでは、図７（Ａ）と図７（Ｂ）のラベルを
比較する）。

【００８４】上記比較の結果、対応するテンプレート画
像のラベルが双方共にＴ’の場合については、各画像動
きベクトル７０，８０の平均値、あるいは加重平均を取
って最終的な画像動きベクトルを求める。このとき、画
像動きベクトルから換算される画素の距離情報や輝度情
報も平均、あるいは加重平均等によって決定される。

【００８５】また、対応するテンプレート画像のうち、
一方のラベルがＴ’、他方のラベルがＦ’の場合につい
ては、Ｔ’のラベルが付けられた方の画像動きベクトル
を採用し、双方のラベルがＦ’の場合については、どち
らか一方の画像動きベクトル（例えば、画像動きベクト
ル７０）を採用して最終的な画像動きベクトルを求め
る。

【００８６】なお、上記どちらか一方の画像動きベクト
ルを採用する場合においては、今回は保留とし次回の時
刻における結果が得られた時点で最終画像動きベクトル
を求めることにしてもよい。

【００８７】上述のように、各テンプレート画像毎にＲ
画像およびＬ画像から得られた立体視差に基づく画像動
きベクトルと、各Ｒ・Ｌ画像毎に抽出された画像動きベ
クトルとを所定の大きさのテンプレート画像毎に比較
し、立体視差に基づく画像動きベクトルとい一致する部
分を優先して選択することにより、最終的な画像動きベ
クトルが求めれる。

【００８８】以上のように、本実施例の複眼撮像装置の
動きベクトル検出手段では、上述した各処理を所定のフ
レーム間で行なうことによって、画像動きベクトルが求
められる。

【００８９】なお、上述した第１の実施例の複眼撮像装
置では、Ｒ画像およびＬ画像の立体視差から抽出された
立体視差画像動きベクトルを、カメラの輻輳角に応じて
Ｒ画像のものとＬ画像のものに変換し、その変換した画
像動きベクトルと各カメラ毎に抽出されたＲ画像および
Ｌ画像のそれぞれの画像動きベクトルとの比較が行なわ
れているが、これとは反対に、Ｒ画像およびＬ画像のそ
れぞれから画像動きベクトルを抽出し、抽出された２つ
の画像動きベクトルをそれぞれカメラの輻輳角に応じて
立体視差画像動きベクトルに変換し、その変換された立
体視差画像動きベクトルと、Ｒ画像およびＬ画像の立体
視差から抽出された立体視差画像動きベクトルとの比較
を行なって最終的な動きベクトルを求めることもでき
る。以下に、その複眼撮像装置の実施例を説明する。

【００９０】図８は、本発明の第２の実施例の複眼撮像
装置の動きベクトルを検出する部分の概略構成を示すブ
ロック図である。

【００９１】本実施例の複眼撮像装置は、図１に示した
第１の実施例の複眼撮像装置における各変換部９，１０
の代わりに変換部９１，９２が各画像動きベクトル４
０，５０のラインに対してそれぞれ設けられたものであ
る。このこと以外は、第１の実施例の複眼撮像装置と同
様のものである。なお、図８において、図１と同様の構
成部については同じ番号を付している。

【００９２】本実施例の複眼撮像装置では、第１の実施
例の場合と同様、Ｌ画像動きベクトル抽出部４からＬ画
像動きベクトル４０が送出され、Ｌ画像動きベクトル抽
出部５からＲ画像動きベクトル５０が送出され、立体視
差動きベクトル抽出部１１から立体視差画像動きベクト
ル１１０，１１１が送出される。

【００９３】Ｌ画像動きベクトル抽出部４から送出され
たＬ画像動きベクトル４０は変換部９１に入力され、Ｒ
画像動きベクトル抽出部５から送出されたＲ画像動きベ
クトル５０は変換部９２に入力される。また、立体視差
動きベクトル抽出部１１から送出された立体視差画像動
きベクトル１１０，１１１は、それぞれ比較検討部７，
８に入力される。

【００９４】Ｌ画像動きベクトル４０が入力された変換
部９１では、第１の実施例の変換部９における変換処理
と同様の方法によって、Ｌ画像動きベクトル４０が第１
の実施例の場合とは反対に立体視差動きベクトルに変換
されて、立体視差動きベクトル４１が比較検討部７へ送
出される。同様に、Ｒ画像動きベクトル５０が入力され
た変換部９２では、Ｒ画像動きベクトル５０が第１の実
施例の場合とは反対に立体視差動きベクトルに変換され
て、立体視差動きベクトル５１が比較検討部８へ送出さ
れる。

【００９５】図９は、このときの変換処理の様子を図６
と同様に表したものである。図６および図９から分かる
ように、本実施例の変換部９１，９２における変換処理
では、第１の実施例の場合とは反対の変換処理が行なわ
れる。

【００９６】立体視差画像動きベクトル４１が比較検討
部７に入力されると、比較検討部７では、立体視差画像
動きベクトル抽出部１１から送出された立体視差動きベ
クトル１１０と上記立体視差動きベクトル４１との比較
が第１の実施例の場合と同様に行なわれて各テンプレー
ト毎にラベルが付けられ、立体視差画像動きベクトル４
１および立体視差画像動きベクトル１１０にラベル情報
が付加されたもの（立体視差動きベクトル情報７１０）
が統合部１２へ送出される。同様にして、比較検討部８
からは、立体視差動きベクトル５１および立体視差動き
ベクトル１１１にラベル情報が付加されたもの（立体視
差動きベクトル情報７２０）が統合部１２へ送出され
る。

【００９７】比較検討部７から送出された立体視差動き
ベクトル情報７１０および比較検討部８から送出された
立体視差動きベクトル情報７２０がそれぞれ統合部１２
に入力されると、この統合部１２では、第１の実施例の
場合と同様にして入力された立体視差画像動きベクトル
情報について処理が行なわれ、最終的な画像動きベクト
ルが求められる。

【００９８】以上のように、本実施例の複眼撮像装置で
は、第１の実施例の複眼撮像装置と概略逆の変換処理が
行なわれる。

【００９９】なお、本発明の複眼撮像装置の各動きベク
トル抽出部における２枚の画像（異なる２つの時刻にお
ける画像、あるいはＲ画像とＬ画像のこと）の対応点の
抽出にはテンプレートマッチング法が用いられている
が、この各動きベクトル抽出部では単に対応点の抽出が
できればよく、テンプレートマッチング法とは別の抽出
方法が用いられてもよい。

【０１００】例えば、後述する特願平４−２８８３７１
号公報に記載されているような複数画像の対応点抽出方
法、あるいは後述する特願平４−３４３９９４号公報に
記載されているような複数画像の対応点抽出方法が用い
られてもよい。

【０１０１】なお、上記特願平４−３４３９９４号公報
に記載された複数画像の対応点抽出方法を用いた場合に
は、立体視差動きベクトル抽出部において、協調法の適
用する空間を３次元的にして適用する。ただし、ここで
いう３次元は、エピポーララインにそった軸を２軸、原
点からの距離を１軸とした３次元方向を意味するもので
ある。図１０に、その３次元空間と興奮性領域を示す。

【０１０２】（１）特願平４−２８８３７１号公報に記
載された複数画像の対応点抽出方法について、上記公報
に記載された複数画像の対応点抽出方法は、２枚の２値
画像からそれぞれ抽出した２本のエピポーララインから
形成される視差画面上の各交点で、この２枚の２値画像
の実画像に基づく興奮性結合および抑制性結合をもつ局
所演算を行なうことにより視差ラインを得て、この２枚
の２値画像の対応点を抽出する際に、各２値画像の互い
に隣り合う実画素の間に、実画素間の連続性を示す仮想
画素をそれぞれ設け、仮想画素に基づく興奮性結像およ
び抑制性結像をもつ局所演算を、実画像に基づく興奮性
結像および抑制性結像をもつ局所演算と平行して行なっ
て対応点を抽出するものである。。

【０１０３】（２）特願平４−３４３９９４号公報に記
載された複数画像の対応点抽出方法について、上記公報
に記載された複数画像の対応点抽出方法は、２枚の２値
画像からそれぞれ抽出した２本のエピポーララインから
形成される視差画像上の各交点で、この２枚の２値画像
の実画像に基づく興奮性結合および抑制性結合をもつ局
所演算を行なうことにより視差ラインを得て、この２枚
の２値画像の対応点を抽出する際に、複数の視差画面に
わたる実画素に基づく興奮性結合および抑制性結合をも
つ局所演算をも行なって対応点を抽出するものである。
また、複数の視差画面にわたる実画像に基づく興奮性結
合および抑制性結合をもつ局所演算では、中心とする視
差画面から遠く離れた視差画面ほど興奮性結合の範囲お
よび抑制性結合の範囲をそれぞれ小さくする。

【０１０４】

【発明の効果】本発明は以上説明したように構成されて
いるので、以下に記載するような効果を奏する。

【０１０５】本発明によれば、各カメラ毎に抽出された
動きベクトルと、各カメラによって撮像された画像の立
体視差に基づいて抽出された立体視差動きベクトルとか
ら最終的な動きベクトルが求められるので、一方のカメ
ラでしか見えない部分や一方のカメラで撮像された画像
信号に雑音が混入して画像が乱れたりした場合において
も、他方のカメラから得られる動きベクトルと立体視差
動きベクトルから正しい動きベクトルを検出することが
できる。よって、画像の符号化や画像触れ補正をより正
確に行なうことができ、装置の信頼性が向上するという
効果がある。

【０１０６】また、動きベクトル、立体視差および立体
視差動きベクトルの抽出が、各画像が所定の大きさの複
数の領域に分割されて行なわれるので、装置の動きベク
トルの抽出の信頼性が向上するという効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例の複眼撮像装置の概略構
成を示すブロック図である。

【図２】画像動きベクトルの抽出を説明するための模式
図で、Ｍ×Ｍ画素の画像からＮ×Ｎ画素のテンプレート
画像を切り出したものである。

【図３】画像動きベクトルの抽出を行なう際の各時刻に
おける被写体の移動を表す図で、（Ａ）は時刻ｔにおけ
る画像、（Ｂ）は時刻（ｔ＋Δｔ）における画像を示
す。

【図４】図３における被写体の移動に基づいて抽出され
た画像動きベクトルを各テンプレート画像毎に矢印で表
した図である。

【図５】変換部９，１０における変換処理を説明するた
めの図で、図１に示すカメラの輻輳角を示す状態図であ
る。

【図６】変換部の変換処理による画像動きベクトルの変
化を表す図である。

【図７】１例として一致する部分にＴ’、一致しない部
分にＦ’のラベル付けをしたもので、（Ａ）は比較検討
部７におけるラベル付け、（Ｂ）は比較検討部８におけ
るラベル付けを表す。

【図８】本発明の第２の実施例の複眼撮像装置も概略構
成を示すブロック図である。

【図９】図８に示す複眼撮像装置の交換部の変換処理に
よる画像動きベクトルの変化を表す図である。

【図１０】３次元空間と興奮性領域を示す図である。

【符号の説明】

１ カメラ（Ｌ） ２ カメラ（Ｒ） ４ Ｌ画像動きベクトル抽出部 ５ Ｒ画像動きベクトル抽出部 ６ 立体視差抽出部 ７，８ 比較検討部 ９，１０ 変換部 １１ 立体視差動きベクトル抽出部 １２ 統合部 ２０，２１，３００，３１０ 画像信号 ３０，３１，３２ 時間遅れ処理部 ４０ Ｌ画像動きベクトル ５０ Ｒ画像動きベクトル

───────────────────────────────────────────────────── フロントページの続き (72)発明者 矢野 光太郎 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (72)発明者 真継 優和 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (56)参考文献 特開 平７−262375（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G01C 3/06 - 3/08 H04N 5/232 - 7/46 H04N 7/32

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 所定の輻輳角に設定され、所望の被写体
   を撮像する複数の撮像手段と、 前記各撮像手段毎に設けられ、前記撮像手段によって時
   系列的に得られる画像から所定のフレーム間における前
   記被写体の動きベクトルをそれぞれ抽出する複数の動き
   ベクトル抽出手段と、 前記各撮像手段によって得られる各画像から、前記所定
   のフレーム間における前記被写体の立体視差を抽出する
   立体視差抽出手段と、前記立体視差抽出手段によって時系列的に抽出された立
   体視差から、前記所定のフレーム間における前記被写体
   の立体視差動きベクトルを抽出する立体視差動きベクト
   ル抽出手段と、 前記各動きベクトル抽出手段によって抽出されたそれぞ
   れの動きベクトルおよび前記立体視差動きベクトル抽出
   手段によって抽出された立体視差動きベクトルに基づい
   て、前記所定のフレーム間における前記被写体の最終的
   な動きベクトルを決定する動きベクトル決定手段とを有
   することを特徴とする複眼撮像装置。
2. 【請求項２】 請求項１に記載の複眼撮像装置におい
   て、前記 各動きベクトル抽出手段によって抽出された動きベ
   クトルを第１の動きベクトルとし、 前記立体視差動きベクトル抽出手段によって抽出された
   立体視差動きベクトルを、前記所定の輻輳角に基づい
   て、前記各第１の動きベクトルに対応する第２の動きベ
   クトルに変換する変換手段をさらに有し、前記動きベクトル決定手段が、 前記各動きベクトル抽出
   手段によって抽出された第１の動きベクトルおよび前記
   変換手段によって変換された第２の動きベクトルに基づ
   いて、前記所定のフレーム間における前記被写体の最終
   的な動きベクトルを決定するように構成されていること
   を特徴とする複眼撮像装置。
3. 【請求項３】 請求項２に記載の複眼撮像装置におい
   て、前記 動きベクトル決定手段は、前記各動きベクトル抽出
   手段毎に設けられ、前記動きベクトル抽出手段によって
   それぞれ抽出された第１の動きベクトルと前記変換手段
   によって変換された第２の動きベクトルが一致するかを
   検討する比較検討手段と、前記各比較検討手段によって
   検討された結果に基づいて前記第１の動きベクトルと前
   記第２の動きベクトルを統合する統合手段とで構成さ
   れ、 前記統合手段は、前記各第１の動きベクトルと前記第２
   の動きベクトルがそれぞれ一致する場合には、前記第１
   および第２の動きベクトルの平均値、あるいは加重平均
   を取り、前記各第１の動きベクトルのいずれか１つと前
   記第２の動きベクトルが一致する場合には、該一致した
   第１の動きベクトルと前記第２の動きベクトルについて
   平均値、あるいは加重平均を取り、前記第２の動きベク
   トルが前記各第１の動きベクトルのいずれとも一致しな
   い場合においては、前記第１の動きベクトルのいずれか
   を採用することを特徴とする複眼撮像装置。
4. 【請求項４】 請求項１に記載の複眼撮像装置におい
   て、 前記立体視差動きベクトル抽出手段によって抽出された
   立体視差動きベクトルを第２の動きベクトルとし、 前記各動きベクトル抽出手段によって抽出された動きベ
   クトルを前記第２の動きベクトルに対応する第１の動き
   ベクトルに変換する変換手段をさらに有し、 前記動きベクトル決定手段が、前記変換手段によって変
   換された第１の動きベクトルおよび前記立体視差動きベ
   クトル抽出手段によって抽出された第２の動きベクトル
   に基づいて、前記所定のフレーム間における前記被写体
   の最終的な動きベクトルを決定するように構成されてい
   ることを特徴とする複眼撮像装置。
5. 【請求項５】 請求項２または４に記載の複眼撮像装置
   において、 前記動きベクトル決定手段は、前記各動きベクトル抽出
   手段毎に設けられ、前記第１の動きベクトルと前記第２
   の動きベクトルが一致するかを検討する比較検討手段
   と、前記各比較検討手段によって検討された結果に基づ
   いて前記第１の動きベクトルと前記第２の動きベクトル
   を統合する統合手段とを有することを特徴とする複眼撮
   像装置。
6. 【請求項６】 請求項１ないし請求項５のいずれか１項
   に記載の複眼撮像装置において、 前記動きベクトル抽出手段、前記立体視差抽出手段およ
   び前記立体視差動きベクトル抽出手段における前記動き
   ベクトル、前記立体視差および前記立体視差動きベクト
   ルの抽出は、前記撮像手段から時系列的に得られる画
   像、あるいは、前 記各撮像手段から得られる各画像から
   共通する領域を抽出し、該抽出した共通する領域の相対
   的なずれ量を求めることによって行なわれることを特徴
   とする複眼撮像装置。