JPH08329110A

JPH08329110A - 画像処理方法

Info

Publication number: JPH08329110A
Application number: JP7137664A
Authority: JP
Inventors: Mutsuko Nichogi; 睦子二梃木; Katsuhiro Kanamori; 克洋金森
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-06-05
Filing date: 1995-06-05
Publication date: 1996-12-13

Abstract

(57)【要約】【目的】本発明は、テンプレートとして設定した画像
と同じ絵柄の領域を同一あるいは他の画像内で探索する
方法に係り、対応領域の探索の誤りを低減することを目
的とする。【構成】演算装置において、奥行き算出手段５０５は
分解能の低い奥行き画像から物体の奥行きを求め、次に
テンプレート探索手段５１１は使用画像適応的変更手段
５１０を用いて分解能の高い奥行き画像を求める。この
とき、探索前に予めテンプレートの大きさを評価するテ
ンプレート評価手段５０８と探索後に探索した結果を評
価する複数の探索評価手段５１２、５１３、５１４を設
け、評価が悪かった場合テンプレートサイズを大きくし
て評価が良くなるまで探索を繰り返すことにより対応領
域の探索の誤りを低減し、小さいブロックで精度の高い
奥行き画像を生成することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テンプレートとして設
定した画像と同じ絵柄の領域を同一あるいは他の画像内
で探索する方法に係り、例えばステレオ画像であれば両
画像における対応点及び対応領域の探索に相当し３次元
情報を得ることができ、例えば時系列画像であれば動き
ベクトルを得ることができる画像処理方法に関するもの
である。

【０００２】

【従来の技術】従来、テンプレートとして設定した画像
と同じか最も似ている絵柄の領域を、同一あるいは他の
画像内で、ある相関の評価尺度値のもとに探索する手法
が考案されている。例えば、ステレオ画像から奥行きを
算出する場合には、物体を異なる方向から撮影した２枚
の画像において対応する領域を決定することで視差が決
まり奥行きを算出することができる。しかし、これらの
２枚の画像は異なる方向から撮影されていることから、
物体の同じ部分でも見え方が違っていたり、互いの画像
で死角になる箇所が発生したりするため対応する領域を
決定することは難しい。また、時系列画像においても、
時間が変化することにより照明が変化したり、対象物が
動くことから形状やカメラからの見え方が異なるため、
正確に対応する領域を決定することは難しい。

【０００３】このように同じか最も似ている絵柄の領域
をある相関の評価尺度のもとに探索する従来の画像処理
方法として例えば特開平４ー１３８５７９号公報記載の
方法が知られている。

【０００４】以下、従来の画像処理方法について説明す
る。ＣＣＤカメラにより２つの位置から測定した左右の
２次元画像のうち、右画像の一点に注目しその点を中心
とするブロック領域をテンプレートとして設定する。そ
して、もう一方の左画像においてエピポーララインと呼
ばれる直線上を探索して相関演算を行いそのブロックに
対応する領域を求める。画像のエッジ部分を重視して探
索を行なうために、テンプレートと探索領域の両方にフ
ィルタをかける。相関演算は評価尺度として右画像のテ
ンプレートブロック内の輝度値あるいはフィルタをかけ
た出力値と左画像の探索領域内の対応候補であるブロッ
ク内の輝度値あるいはフィルタをかけた出力値の差の絶
対値を用い、この評価尺度が小さいほど２つのブロック
の類似度が高い。探索領域内の各対応候補のブロックで
評価尺度を演算し、評価尺度が最も小さい対応候補ブロ
ックを対応領域と決定する。

【０００５】

【発明が解決しようとする課題】一般に、テンプレート
とするブロックのサイズが適切なサイズより小さいと得
られた対応領域が誤りである可能性が高くなるが、ブロ
ックのサイズが大きすぎると一つのブロックに異なる性
質の領域が混在し、正しい対応領域を得ることが難しく
なる。例えば、ステレオ画像であれば一つのブロックに
異なる視差をもつ領域が存在し、時系列画像であれば一
つのブロック内に異なる運動を行う物体が複数存在す
る。

【０００６】しかしながら、上記の従来方法では、ブロ
ックサイズを決定する手段がないため、どのブロックも
その性質を無視して均一なサイズで探索を行ない、得ら
れた対応領域に誤りが多くばらつきがあった。ブロック
の大きさを均一に大きく設定しておくと、例えばステレ
オ画像から奥行き画像を得る場合、奥行き画像の分解能
が悪くなり、特に奥行き画像から奥行きにより対象物を
抽出する場合には、大ざっぱな抽出しかできない。この
場合に、逆にブロックを小さくすると、今度は奥行き誤
差が大きくなり、本来同じ奥行きにある物体でも得られ
る奥行き値がばらつくため、対象物を抽出することがで
きない。

【０００７】また、上記の従来方法では評価尺度が最も
小さいブロックを対応領域と決定するため、あるブロッ
クサイズで対応領域を決定した際にそれが誤りであるか
を判定する手段がなかった。特に、死角や対象物が動く
ことにより注目領域が両画像に映っていない場合は本来
は対応領域が存在しないにもかかわらず、解が得られて
しまうという問題があった。

【０００８】更に、画像の局所的な変位を反映する高周
波数成分を重視して探索を行なうために、例えば、エッ
ジ強調フィルタをかけた画像で対応領域の探索を行う
と、テクスチャのあるブロックでは対応領域が正確に探
索されやすいが、テクスチャが無いブロックでは対応領
域が誤りであることが多い。

【０００９】本発明は上記従来技術の課題を解決するも
ので、第一に得られた対応領域が誤りでないかを判定
し、特に、死角や対象物が動くことにより注目領域が両
画像に映っていない場合に発生する対応領域が存在しな
いブロックを判定し、第二にテンプレートの対応領域を
探索する際に適切なブロックサイズを決定して対応領域
の探索の誤りを低減し、第三に特にステレオ法において
は、小さいブロックでも対応領域の誤りが低減され各ブ
ロック毎の奥行きのばらつきが減少し、第四にステレオ
法で対象物を奥行き画像から抽出する場合には奥行き画
像から一画素精度で対象物を抽出し、第五に対応領域の
探索演算時間を減少する画像処理方法を提供することを
目的とする。

【００１０】

【課題を解決するための手段】この目的を達成するため
に本発明は、第一にテンプレートの大きさが対応領域の
探索を行なうのに十分であるかを探索前に判定してテン
プレートサイズを予め調整しておき、更に探索後に探索
した結果を評価して得られた解が誤りであるかを判定
し、評価が悪かった場合テンプレートのサイズを大きく
し再びテンプレート探索を評価が良くなるまで繰り返
す。探索前のテンプレートの大きさの判定には、テンプ
レート内のテクスチャが十分であるかという評価規準を
用い、探索後の評価には、相関の評価尺度をテンプレー
トのサイズで正規化した値を用いて評価するか、あるい
は相関の評価尺度の探索空間における平均値と極値の比
を用いて評価するか、あるいは両方の評価手段を用い
る。探索前と探索後の評価はどちらか一方でもよいし、
両方を行なってもよい。

【００１１】第二に特にステレオ画像においては、カメ
ラの画像を大まかに分割したブロックをテンプレートと
して対応する領域を探索画像において探索し、各ブロッ
クの対応領域から視差及び奥行きの算出を画像全体で行
い分解能の低い奥行き画像を生成し、画像中に含まれる
物体の奥行きを予め求め、次にカメラの画像を細かく分
割したブロックをテンプレートとして対応する領域を探
索画像において探索して該当ブロック内の物体の視差を
求め、算出した視差が予め求めた前記物体の奥行きに近
いかどうかを評価し、評価が悪かった場合テンプレート
のサイズを大きくし再びテンプレート探索を評価が良く
なるまで繰り返す。このとき、探索前の評価や探索後の
評価として挙げた上記他の評価手段を組み合わせてもよ
い。以上の手段を各ブロックで施すことにより奥行き画
像を得る。

【００１２】第三にステレオ法の場合には例えば第二の
解決手段で得られた奥行き画像を用いて奥行きにより対
象物を切り出し、対象物の輪郭を追跡して、輪郭に位置
するブロックでテンプレートと対応ブロックの画素毎の
輝度値の差分を行い差分値が大きい画素を対象物領域か
ら除くことで対象物抽出画像を得る。

【００１３】第四にテンプレートの対応領域を探索する
際に、テンプレート内の画像のテクスチャが多い場合は
フィルタによりエッジ部分を強調した画像を用い、テク
スチャが少ない場合はフィルタをかけない輝度画像を用
い、テンプレートの性質によって探索に使用する画像を
適応的に変更する。

【００１４】第五に、画像内に存在する物体の奥行き範
囲が予めわかっている場合には、まず奥行きにより視差
の探索範囲を限定し、更にエピポーラ拘束条件から最小
限度の長さの線分上のみを探索する。

【００１５】

【作用】本発明は上記方法によって、第一にテンプレー
トの大きさが対応領域の探索を行なうのに十分であるか
を探索前に判定しておき、または探索後にテンプレート
を探索した結果を評価し、あるいはこれら両方の評価を
行なうことにより、得られた対応領域が誤りでないかを
判定することができる。特に、死角や対象物が動くこと
により注目領域が両画像に映っていない場合に発生する
対応領域が存在しないブロックを判定することができ
る。

【００１６】更に、評価が悪かった場合テンプレートの
サイズを大きくし再びテンプレート探索を評価が良くな
るまで繰り返すことにより適切なブロックサイズで対応
領域の探索を行なった解を得られるため、対応領域の探
索の誤りを低減することができる。

【００１７】第二に特にステレオ法においては、カメラ
の画像を大まかに分割したブロックをテンプレートとし
て得られた対応領域から視差及び奥行きの算出を画像全
体で行い分解能の低い奥行き画像を生成し画像中に含ま
れる物体の奥行きを予め求め、次にカメラの画像を細か
く分割したブロックをテンプレートとして対応する領域
を探索画像において探索して該当ブロック内の物体の視
差を求め、算出した視差が予め求めた物体の奥行きに近
いかを評価し、評価が悪かった場合テンプレートのサイ
ズを大きくし再びテンプレート探索を評価が良くなるま
で繰り返して奥行き画像を得ることにより、小さいブロ
ックでも対応領域の誤りが低減され各ブロック毎の奥行
きのばらつきが減少し、奥行き検出精度を向上すること
ができる。また、対象物をこの奥行き画像から抽出する
際に、対象物の抽出分解能を向上することができる。

【００１８】第三にステレオ法で対象物を奥行き画像か
ら抽出する場合には第二の解決手段で得られた細かい分
解能の奥行き画像を用いて奥行きにより対象物を切り出
し、対象物の輪郭を追跡して、輪郭に位置するブロック
でテンプレートと対応ブロックの画素毎の輝度値の差分
を行い差分値が大きい画素を対象物領域から除くことに
より、奥行き画像から一画素精度で対象物を抽出するこ
とができる。

【００１９】第四にテンプレートの対応領域を探索する
際に、テンプレート内の画像のテクスチャが多い場合は
フィルタによりエッジ部分を強調した画像を用い、テク
スチャが少ない場合はフィルタをかけない輝度画像を用
いてテンプレートの性質によって探索に使用する画像を
適応的に変更することにより、対応領域の探索の誤りを
低減することができる。

【００２０】第五に、画像内に存在する物体の奥行き範
囲が予めわかっている場合にはまず奥行きにより視差の
探索範囲を限定し、更にエピポーラ拘束から最小限度の
長さの線分上のみを探索することにより、演算時間を減
少するとともに、範囲が限定されるため対応領域の探索
の誤りを低減することができる。

【００２１】

【実施例】

（実施例１）以下、本発明の一実施例について、図面を
参照しながら説明する。

【００２２】図１は本発明の一実施例における画像処理
方法を実施するための装置構成を示すブロック図であ
る。図１において、１０１はカメラの制御及び画像処理
を行なう演算装置、１０２は演算装置１０１によって制
御されるカメラ、１０３はステレオ画像を１台のカメラ
で撮像するための光学系、１０４はカメラからのアナロ
グデータをデジタルデータに変換するＡ／Ｄ変換器、１
０５は画像データを記憶する画像メモリ、１０６は画像
を表示するディスプレイユニット、１０７はキーボード
ターミナルである。

【００２３】以上のように構成された装置について、そ
の動作を説明する。まず、キーボードターミナル１０７
から演算装置１０１に指示を与えると、カメラ１０２が
画像データを撮像する。Ａ／Ｄ変換器１０４はカメラ１
０２の信号をデジタル信号に変換し、この信号は画像メ
モリ１０５に画像信号として一時的に記憶され、画像信
号は演算装置１０１により処理され、処理画像はディス
プレイユニット１０６で表示される。

【００２４】次に、光学系１０３について説明する。図
２は光学系１０３を説明するための概念図である。光学
系１０３はミラー２０１、２０２、２０４、２０５から
構成される。ステレオ画像のうち右画像は、ミラー２０
１、２０２に反射して撮像面２０３に撮像され、左画像
はミラー２０４、２０５に反射して撮像面２０６に撮像
される。光学系１０３により実際のカメラの撮像面２０
３、２９６に得られた画像は、２台の仮想カメラ２０
７、２０９で撮像される画像２０８、２１０と同等とな
る。仮想カメラ２０７、２０９は輻輳が付いている。

【００２５】次に、カメラ１０２について説明する。図
３はカメラ１０２の幾何学的配置図である。３次元空間
上の点Ｐの右仮想カメラ及び左仮想カメラへの投影点Ｐ
ｌ及びＰｒは、エピポーラ平面という一平面上に乗って
おり、右仮想カメラの投影点Ｐｒに対応する左仮想カメ
ラの投影点Ｐｌはエピポーラ平面と左仮想カメラの画像
平面との交線（エピポーラライン）上にあるという拘束
条件がある。

【００２６】本実施例では光学系１０３を用いることに
よりステレオ画像をカメラ一台で撮像することができ、
Ａ／Ｄ変換器も一台でよい。しかし、前記ステレオ画像
をそれぞれカメラ２台で撮像してもよいことはいうまで
もない。

【００２７】図４はカメラ２台で撮像する場合の装置構
成ブロック図である。図４において、１０１はカメラの
制御及び画像処理を行なう演算装置、４０１、４０２は
演算装置１０１によって制御される２台のカメラ、４０
３、４０４はカメラからのアナログデータをデジタルデ
ータに変換するＡ／Ｄ変換器、１０５は画像データを記
憶する画像メモリ、１０６は画像を表示するディスプレ
イユニット、１０７はキーボードターミナルである。

【００２８】以上のように構成された装置について、そ
の動作を説明する。まず、キーボードターミナル１０７
から演算装置１０１に指示を与えると、カメラ４０１、
４０２が画像データを同期して撮像する。Ａ／Ｄ変換器
４０３、４０４はカメラ４０１、４０２の信号をデジタ
ル信号に変換し、この信号は画像メモリ１０５に画像信
号として一時的に記憶され、画像信号は演算装置１０１
により処理され、処理画像はディスプレイユニット１０
６で表示される。

【００２９】図５は上記図４の構成の装置における演算
装置１０１での画像処理方法のブロック図である。本実
施例では、ステレオ画像から手前にある対象物の奥行き
を求め、奥行きにより対象物と背景を分離する処理を行
なう。

【００３０】図５において５０１は右カメラ４０１の画
像を大まかに分割したブロックをテンプレートとして入
力する拡大テンプレート入力手段、５０２は画像内に存
在する物体の奥行き範囲が予めわかっている場合に左カ
メラ４０２の画像で視差の探索範囲を限定し更にエピポ
ーラ拘束を用いることで最小限度の長さの線分上のみを
探索するように探索領域を設定する拡大テンプレート用
探索領域入力手段、５０３は対応領域を探索する際にテ
ンプレート内の画像のテクスチャが多い場合はフィルタ
によりエッジ部分を強調した画像を用いテクスチャが少
ない場合はフィルタをかけない輝度画像を用いてテンプ
レートの性質によって探索に使用する画像を変更する拡
大テンプレート用使用画像適応的変更手段、５０４は拡
大テンプレート用使用画像適応的変更手段５０３で選択
された画像を用いて拡大テンプレート入力手段５０１で
入力された大きいサイズのテンプレートに対応する領域
を拡大テンプレート用探索領域入力手段５０２で入力さ
れた探索画像において探索する拡大テンプレート探索手
段、５０５は拡大テンプレート探索手段５０４で得られ
た各ブロックの対応領域から視差及び奥行きの算出を画
像全体で行い分解能の低い奥行き画像を生成し画像中に
含まれる物体の奥行きを求める奥行き算出手段、５０６
は右カメラ４０１の画像を細かく分割したブロックをテ
ンプレートとするテンプレート入力手段、５０７はテン
プレート入力手段５０６で入力された小さいサイズのテ
ンプレートに対する探索領域を画像内に存在する物体の
奥行き範囲が予めわかっている場合に視差の探索範囲を
限定し更にエピポーラ拘束を用いることで最小限度の長
さの線分上のみを探索するように探索領域を設定する探
索領域入力手段、５０８はテンプレート入力手段５０６
で入力されたテンプレートの大きさが対応領域の探索を
行なうのに十分であるかをテクスチャが十分であるかと
いう規準のもとに判定するテンプレート評価手段、５０
９はテンプレート評価手段５０８の結果に基づいてテン
プレートのサイズを決定するテンプレートサイズ決定手
段、５１０は対応領域を探索する際にテンプレート内の
画像のテクスチャが多い場合はフィルタによりエッジ部
分を強調した画像を用いテクスチャが少ない場合はフィ
ルタをかけない輝度画像を用いてテンプレートの性質に
よって探索に使用する画像を変更する使用画像適応的変
更手段、５１１は使用画像適応的変更手段５１０で選択
された画像を用いてテンプレート入力手段５０６で入力
された小さいサイズのテンプレートに対応する領域を探
索領域入力手段５０７で入力された探索画像において探
索して該当ブロック内の物体の視差を求めるテンプレー
ト探索手段、５１２は相関の評価尺度の探索空間におけ
る平均値と極値の比を用いて評価するものである探索評
価手段Ａ、５１３は奥行き算出手段で算出した物体の奥
行きに近いかどうかを評価する探索評価手段Ｂ、５１４
は相関の評価尺度をテンプレートのサイズで正規化した
値を用いて評価する探索評価手段Ｃ、５１５は評価が悪
かった場合テンプレートのサイズを大きくし再びテンプ
レート探索手段５１１を用いることを評価が良くなるま
で繰り返すテンプレートサイズ繰り返し処理手段、５１
６は取得した細かい分解能の奥行き画像を用いて奥行き
により対象物を切り出す対象物抽出画像生成手段、５１
７は前記対象物抽出画像で対象物の輪郭を追跡する輪郭
追跡手段、５１８は前記輪郭に位置するブロックでテン
プレートと対応ブロックの画素毎の輝度値の差分を行い
差分値が大きい画素を対象物領域から除く画素差分手段
である。

【００３１】以上のように構成された画像処理方法にお
いて、対照物を背景画像から分離する背景分離処理を行
い、その中でテンプレート入力手段５０６からテンプレ
ートサイズ繰り返し処理手段５１５までにおいてブロッ
ク毎視差算出処理を行なう。以下、背景分離処理ついて
図６を用いてその動作を説明する。図６は、本実施例の
画像処理方法の流れ図である。

【００３２】まず手順６０１では、拡大テンプレート入
力手段５０１により右カメラ４０１の画像を大まかに分
割したブロックをテンプレートとして入力し、拡大テン
プレート用探索領域入力手段５０２により画像内に存在
する物体の奥行き範囲が予めわかっている場合に左カメ
ラ４０２の画像で視差の探索範囲を限定し更にエピポー
ラ拘束を用いることで最小限度の長さの線分上のみを探
索するように探索領域を設定する。図７は右カメラ４０
１の画像上の点Ｐｒの対応点を探索する際の探索領域を
説明するための図である。点Ｐｒ７０５と画像上で同じ
Ｙ座標値をもつ点の対応点はすべて左画像上でエピポー
ラライン７０３上に存在する。ここで対象物が存在する
奥行き範囲が予めわかっている場合には、左画像上のＸ
座標値を限定することができるので、探索範囲７０４の
みを探索すればよい。次に拡大テンプレート用使用画像
適応的変更手段５０３により対応領域を探索する際にテ
ンプレート内の画像のテクスチャが多い場合はフィルタ
によりエッジ部分を強調したテンプレートと探索画像を
用いテクスチャが少ない場合はフィルタをかけない輝度
画像のテンプレートと探索画像を用いて以降の探索を行
なうと決定する。このように、テンプレートの性質によ
って探索に使用する画像を変更する。例えば、人物の頭
部のようにテクスチャがないブロックではフィルタをか
けない輝度画像を用いる。さらに、拡大テンプレート探
索手段５０４により拡大テンプレート用使用画像適応的
変更手段５０３で選択された画像を用いて拡大テンプレ
ート入力手段５０１で入力された大きいサイズのテンプ
レートに対応する領域を拡大テンプレート用探索領域入
力手段５０２で入力された探索画像において探索する。
図８は拡大テンプレート探索手段５０４の動作を説明す
るための図である。８０１は点Ｐｒ，８０２はテンプレ
ートとして設定したブロック、８０３は拡大テンプレー
ト用探索領域、８０４は取得された対応領域である。本
手順により拡大テンプレート探索手段５０４で得られた
各ブロックの対応領域から視差及び奥行きの算出を画像
全体で行い分解能の低い奥行き画像を生成する。図９は
分解能の低い奥行き画像の模式図である。暗いブロック
ほど奥行きが手前である。

【００３３】手順６０２では、奥行き算出手段５０５に
より手順６０１で取得された奥行き画像中に含まれる物
体の奥行きを求める。本実施例では、画像内に対象物と
背景のみが映っている画像を対象としているため、対象
物の奥行き値と背景の奥行き値を得ることができる。２
つの奥行き値はＸ軸を奥行き、Ｙ軸をブロック数である
ヒストグラムを作成し、ヒストグラムの谷と山を検出す
ることにより求められる。図１０に奥行きのヒストグラ
ムを示す。このとき、奥行きによって物体を分類する２
つのカテゴリを設定し、対象物カテゴリは対象物の奥行
き値に近い領域が属し、背景カテゴリには背景の奥行き
値に近い領域が属すると定義する。

【００３４】手順６０３では、テンプレート入力手段５
０６により右カメラ４０１の画像を今度は細かく分割し
たブロックをテンプレートとする。そして、各ブロック
毎に対応領域を左カメラ４０２の画像上で探索し、得ら
れた探索領域の位置からブロック内の物体の視差が得ら
れ、得られた視差が２つのカテゴリのどちらに入るか、
あるいはどちらにも入らないかを判定する。各ブロック
毎の処理が画像全体のブロックにおいて終了することに
より奥行き画像が得られるか、あるいは右カメラ４０１
の画像上の各ブロックが対象物カテゴリ、背景カテゴリ
あるいはどちらのカテゴリにも属さないと判断される。
奥行き画像かカテゴリの判定かは画像処理の目的により
選択すればよい。

【００３５】手順６０４では、対象物抽出画像生成手段
５１６により手順６０３で得られた分解能の高い奥行き
画像を用いて奥行きにより対象物を切り出す。手順６０
３でカテゴリの判定が得られていれば、対象物カテゴリ
に属するブロックのみを抽出することにより画像から対
象物を切り出す。対象物を抽出した画像は２値化され、
対象物抽出画像と呼ぶ。次に輪郭追跡手段５１７により
前記対象物抽出画像で対象物の輪郭を追跡する。

【００３６】手順６０５では、画素差分手段５１８によ
り前記輪郭に位置するブロックでテンプレートと対応ブ
ロックの画素毎の輝度値の差分を行い差分値が大きい画
素を対象物カテゴリから除く。図１１は画素差分を説明
するための図である。同図（ａ）は取得された奥行き画
像、同図（ｂ）は右仮想カメラの画像、同図（ｃ）は左
仮想カメラの画像を示す。１１０２は輪郭上に存在する
ブロックであり、このうちのあるブロック１１０３は手
前にある対象物と背景の両方を含んでいるがブロック１
１０３は対象物カテゴリであると判定されている。１１
０６は奥行き画像における注目ブロック１１０３を算出
する際に用いたテンプレート、１１０７は対応探索の結
果得られた対応領域である。テンプレート１１０６と対
応領域１１０７の各画素毎に差分値をとると背景に相当
する画素の差分値は大きい。したがって、差分値の大き
い画素のみを対象物カテゴリから除く。対象物カテゴリ
に属する画素を画像上で対象物の存在する領域と判断す
る。例えば、テンプレート１１０６の画素１１０８と対
応領域１１０７の画素１１０９の輝度値の差分をとり、
差分値が大きい場合は、注目ブロック１１０３の対応す
る画素１１１０を対象物カテゴリから除く。本手順によ
りブロックの分解能ではなく一画素分解能で対象物を右
カメラ４０１の画像から抽出することができる。

【００３７】次に、手順６０３で各ブロック毎に行なわ
れるブロック毎視差算出処理の流れについてさらに詳細
に説明する。図１２は、手順６０３におけるブロック毎
視差算出処理の流れ図である。

【００３８】手順１２０１では、テンプレート入力手段
５０６により右カメラ４０１の画像を細かく分割したブ
ロックを順にテンプレートとして設定し、ブロックのサ
イズをテンプレートサイズの初期値とする。探索領域入
力手段５０７はテンプレート入力手段５０６で入力され
た小さいサイズのテンプレートに対する探索領域を画像
内に存在する物体の奥行き範囲が予めわかっている場合
に視差の探索範囲を限定し更にエピポーラ拘束を用いる
ことで最小限度の長さの線分上のみを探索するように探
索領域を設定する。

【００３９】手順１２０２では、テンプレート評価手段
５０８によりテンプレート入力手段５０６で入力された
テンプレートの大きさが対応領域の探索を行なうのに十
分であるかをテクスチャが十分であるかという規準のも
とに判定し、テンプレートサイズ決定手段５０９により
テンプレート評価手段５０８の結果に基づいてテンプレ
ートのサイズを順次大きくし評価規準をクリアしたとき
のテンプレートサイズで以降の対応点探索処理を行なう
と決定する。テンプレート内にテクスチャが十分である
かどうかの判断は、テンプレート内の画像に対してソー
ベルの１次微分オペレータを施し、得られた１次微分値
の和をテンプレートを求め、和が予め決められたしきい
値よりも大きければテクスチャが十分であると判断す
る。

【００４０】手順１２０３では、使用画像適応的変更手
段５１０により対応領域を探索する際にテンプレート内
の画像のテクスチャが多い場合はフィルタによりエッジ
部分を強調したテンプレートと探索領域を用い、テクス
チャが少ない場合はフィルタをかけない輝度画像のテン
プレートと探索領域を用いて以降の探索を行なうと決定
する。このように、テンプレートの性質によって探索に
使用する画像を変更し、テンプレート探索手段５１１は
使用画像適応的変更手段５１０で選択された画像を用い
てテンプレート入力手段５０６で入力された小さいサイ
ズのテンプレートに対応する領域を探索領域入力手段５
０７で入力された探索画像において探索して該当ブロッ
ク内の物体の視差を求める。図１３は対応領域探索の説
明図である。１３０１は点Ｐｒ，１３０２はこれから視
差を求める注目ブロック、１３０３は注目ブロック１３
０２の視差を求めるために領域探索に使用するテンプレ
ート、１３０４は探索領域、１３０５は得られた対応領
域である。

【００４１】手順１２０４では、探索評価手段Ａ５１２
により相関の評価尺度の探索空間における平均値と極値
の比を用いて評価する。平均値と極値の比は極値を平均
値で割った値を用いてそれを評価値とする。図１４に探
索評価手段Ａの説明図を示す。評価値が予め与えられた
しきい値よりも小さければ、図１４に示すように極値が
十分明確であるため、探索の誤りが少ないと判断し次の
手順へ進むが、しきい値よりも大きければ、図１５に示
すように極値が明確でないため、次にブロックサイズが
大き過ぎるかどうかを判断し、ブロックサイズが大き過
ぎる場合はこれ以上ブロックサイズを大きくしても一つ
のテンプレート内に異なる性質の領域が存在する可能性
が高くなるため探索を中止し、注目ブロックは解が得ら
れない領域であると判断する。従って、２つのカテゴリ
のうちどちらにも属さない。一方ブロックサイズが大き
過ぎなければ、テンプレートサイズ繰り返し処理手段５
１５によりテンプレートのサイズを大きくし再びテンプ
レート探索手段５１１を行なう。例えば、図１３に示す
ようにテンプレートサイズをテンプレート１３０６のよ
うに大きくし、再び探索領域１３０４において探索を行
なう。

【００４２】以上の手順を手順５０４で探索評価手段Ａ
５１２の評価がクリアされるまで繰り返す。

【００４３】手順１２０５では、探索評価手段Ｂ５１３
により奥行き算出手段５０５で算出した物体の奥行き値
を中心とするカテゴリのどちらに入るかを判断する。ど
ちらにも入らない場合は、次にブロックサイズが大き過
ぎるかどうかを判断し、大き過ぎる場合はこれ以上ブロ
ックサイズを大きくしても一つのテンプレート内に異な
る性質の領域が存在する可能性が高くなるため探索を中
止し、注目ブロックは解が得られない領域であると判断
する。従って、２つのカテゴリのうちどちらにも属さな
い。一方ブロックサイズが大きすぎなければ、テンプレ
ートサイズ繰り返し処理手段５１５によりテンプレート
のサイズを大きくし再びテンプレート探索手段５１１を
行なう。

【００４４】以上の手順を手順１２０４で探索評価手段
Ａ５１２、探索評価手段Ｂ５１３の評価がクリアされる
まで繰り返す。

【００４５】手順１２０６で、手順１２０５において対
象物カテゴリに属すると判断されたブロックのみを探索
評価手段Ｃ５１４により相関の評価尺度をテンプレート
のサイズで正規化した値が予め決められたしきい値より
も小さいかを判定する。評価値が小さい場合、テンプレ
ートと対応候補領域の相関の評価尺度が十分小さいため
類似度が高いと判断され注目ブロックは対象物カテゴリ
に属すると判断されるが、評価値が大きい場合、テンプ
レートと対応候補領域の類似度が低く、このとき注目ブ
ロックは左右両カメラに撮像されていない死角の領域
か、または、ノイズや画像の歪みやテクスチャの少なさ
により対応領域の探索が非常に難しい領域であると判断
し、どちらのカテゴリにも属さないと判断する。あるい
は、背景カテゴリであると判断する。

【００４６】なお、手順１２０６で用いた探索評価手段
Ｃ５１４は、別の用い方として、探索評価手段Ｂ５１２
の前で評価し、評価が悪かった場合には、次にブロック
サイズが大きすぎるかどうかを判断し、大きすぎる場合
はこれ以上ブロックサイズを大きくしても一つのテンプ
レート内に異なる性質の領域が存在する可能性が高くな
るため探索を中止し、注目ブロックは解が得られない領
域であると判断する。従って、２つのカテゴリのうちど
ちらにも属さないとする。一方ブロックサイズが大きす
ぎなければ、テンプレートサイズ繰り返し処理手段５１
５はテンプレートのサイズを大きくし再びテンプレート
探索手段５１１を行なう。以上の手順を手順５０４で探
索評価手段Ａ５１２、探索評価手段Ｃ５１４の評価がク
リアされるまで繰り返す。

【００４７】以上の手順により右カメラ４０１の画像内
の細かい全ブロックに対し、奥行きあるいは所属カテゴ
リを得ることができる。

【００４８】なお、ここまで図４の構成で説明したが、
図１の構成においても、図４の右カメラ４０１と左カメ
ラ４０２をそれぞれ図１のカメラ１０２の幾何学的配置
図である図３の右仮想カメラ３０１と左仮想カメラ３０
２に置き換えれば同様の作用効果があることは言うまで
もない。

【００４９】以上のように本実施例によれば、第一にテ
ンプレートの大きさが対応領域の探索を行なうのに十分
であるかを探索前に判定しておき、または探索後にテン
プレートを探索した結果を評価し、あるいはこれら両方
の評価を行なうことにより、得られた対応領域が誤りで
ないかを判定することができる。特に、死角や対象物が
動くことにより注目領域が両画像に映っていない場合に
発生する対応領域が存在しないブロックを判定すること
ができる。

【００５０】更に、評価が悪かった場合テンプレートの
サイズを大きくし再びテンプレート探索を評価が良くな
るまで繰り返すことにより適切なブロックサイズで対応
領域の探索を行なった解を得られるため、対応領域の探
索の誤りを低減することができる。

【００５１】第二に特にステレオ法においては、カメラ
の画像を大まかに分割したブロックをテンプレートとし
て得られた対応領域から視差及び奥行きの算出を画像全
体で行い分解能の低い奥行き画像を生成し画像中に含ま
れる物体の奥行きを予め求め、次にカメラの画像を細か
く分割したブロックをテンプレートとして対応する領域
を探索画像において探索して該当ブロック内の物体の視
差を求め、算出した視差が予め求めた物体の奥行きに近
いかを評価し、評価が悪かった場合テンプレートのサイ
ズを大きくし再びテンプレート探索を評価が良くなるま
で繰り返して奥行き画像を得ることにより、小さいブロ
ックでも対応領域の誤りが低減され各ブロック毎の奥行
きのばらつきが減少し、奥行き検出精度を向上すること
ができる。また、対象物をこの奥行き画像から抽出する
際に、対象物の抽出分解能を向上することができる。

【００５２】第三にステレオ法で対象物を奥行き画像か
ら抽出する場合には第二の解決手段で得られた細かい分
解能の奥行き画像を用いて奥行きにより対象物を切り出
し、対象物の輪郭を追跡して、輪郭に位置するブロック
でテンプレートと対応ブロックの画素毎の輝度値の差分
を行い差分値が大きい画素を対象物領域から除くことに
より、奥行き画像から一画素精度で対象物を抽出するこ
とができる。

【００５３】第四にテンプレートの対応領域を探索する
際に、テンプレート内の画像のテクスチャが多い場合は
フィルタによりエッジ部分を強調した画像を用い、テク
スチャが少ない場合はフィルタをかけない輝度画像を用
いてテンプレートの性質によって探索に使用する画像を
適応的に変更することにより、対応領域の探索の誤りを
低減することができる。

【００５４】第五に、画像内に存在する物体の奥行き範
囲が予めわかっている場合にはまず奥行きにより視差の
探索範囲を限定し、更にエピポーラ拘束から最小限度の
長さの線分上のみを探索することにより、演算時間を減
少するとともに、範囲が限定されるため対応領域の探索
の誤りを低減することができる。

【００５５】

【発明の効果】以上のように本発明は、第一に得られた
対応領域が誤りでないかを判定し、特に、死角や対象物
が動くことにより注目領域が両画像に映っていない場合
に発生する対応領域が存在しないブロックを判定し、第
二にテンプレートの対応領域を探索する際に適切なブロ
ックサイズを決定して対応領域の探索の誤りを低減し、
第三に特にステレオ法においては、小さいブロックでも
対応領域の誤りが低減され各ブロック毎の奥行きのばら
つきが減少し、第四にステレオ法で対象物を奥行き画像
から抽出する場合には奥行き画像から一画素精度で対象
物を抽出し、第五に対応領域の探索演算時間を減少する
ことができる優れた画像処理方法を実現できるものであ
る。

【図面の簡単な説明】

【図１】本発明の一実施例における画像処理方法を実施
するための装置の構成図

【図２】本発明の一実施例における光学系を示す図

【図３】本発明の一実施例におけるカメラの幾何学的配
置図

【図４】本発明の一実施例における画像処理方法を実施
するための装置の第２の構成図

【図５】本発明の一実施例における画像処理方法のブロ
ック結線図

【図６】本発明の一実施例における画像処理方法の流れ
図

【図７】本発明の一実施例における探索領域設定を示す
図

【図８】本発明の一実施例における拡大テンプレートの
対応領域探索を示す図

【図９】本発明の一実施例における分解能の低い奥行き
画像を示す図

【図１０】本発明の一実施例における奥行きヒストグラ
ムを示す図

【図１１】本発明の一実施例における画素差分を示す図

【図１２】本発明の一実施例におけるブロック毎視差算
出処理の流れ図

【図１３】本発明の一実施例における対応領域探索を示
す図

【図１４】本発明の一実施例における探索評価手段Ａの
評価が高い場合を示す図

【図１５】本発明の一実施例における探索評価手段Ａの
評価が低い場合を示す図

【符号の説明】

１０１演算装置１０２カメラ１０３光学系１０４Ａ／Ｄ変換器１０５画像メモリ１０６ディスプレイユニット１０７キーボードターミナル

Claims

【特許請求の範囲】

【請求項１】テンプレートとなる画像を入力するテン
プレート入力工程と、探索領域となる画像を入力する探
索領域入力工程と、前記テンプレート入力工程で入力さ
れた前記テンプレートに対応する領域を前記探索領域入
力工程で入力された探索画像において探索するテンプレ
ート探索工程と、探索した結果が予め決められた条件を
満たすかどうかを評価する探索評価工程と、前記条件を
満たさなかった場合は前記テンプレートのサイズを大き
くして再び前記テンプレート探索工程を用いることを前
記条件を満たすまで繰り返すテンプレートサイズ繰り返
し処理工程とを具備することを特徴とする画像処理方
法。
【請求項２】テンプレートとなる画像を入力するテン
プレート入力工程と、探索領域となる画像を入力する探
索領域入力工程と、前記テンプレート入力工程で入力さ
れた前記テンプレートの大きさが対応領域の探索を行な
うのに十分であるかを判定するテンプレート評価工程
と、前記テンプレート評価工程の結果に基づいて前記テ
ンプレートのサイズを決定するテンプレートサイズ決定
工程と、前記テンプレートサイズ決定工程で決定された
前記テンプレートに対応する領域を前記探索画像入力工
程で入力された探索画像において探索するテンプレート
探索工程とを具備することを特徴とする画像処理方法。
【請求項３】テンプレートとなる画像を入力するテン
プレート入力工程と、探索領域となる画像を入力する探
索領域入力工程と、前記テンプレート入力工程で入力さ
れたテンプレートの大きさが対応領域の探索を行なうの
に十分であるかを判定するテンプレート評価工程と、前
記テンプレート評価工程の結果に基づいてテンプレート
のサイズを決定するテンプレートサイズ決定工程と、前
記テンプレートサイズ決定工程で決定されたテンプレー
トに対応する領域を前記探索領域入力工程で入力された
探索画像において探索するテンプレート探索工程と、探
索した結果が予め決められた条件を満たすかどうかを評
価する探索評価工程と、前記条件を満たさなかった場合
は前記テンプレートのサイズを大きくして再び前記テン
プレート探索工程を用いることを前記条件を満たすまで
繰り返すテンプレートサイズ繰り返し処理工程とを具備
する画像処理方法。
【請求項４】探索評価工程が相関の評価尺度をテンプ
レートのサイズで正規化した値を用いて評価するもので
ある請求項１または３記載の画像処理方法。
【請求項５】探索評価工程が相関の評価尺度の探索空
間における平均値と極値の比を用いて評価するものであ
る請求項１または３記載の画像処理方法。
【請求項６】第１の画像を第１の大きさに分割したブ
ロックをテンプレートとして入力する拡大テンプレート
入力工程と、第２の画像で探索領域を設定する拡大テン
プレート用探索領域入力工程と、前記拡大テンプレート
入力工程で入力された第１の大きさのテンプレートに対
応する領域を前記拡大テンプレート用探索領域入力工程
で入力された探索画像において探索する拡大テンプレー
ト探索工程と、前記拡大テンプレート探索工程で得られ
た各ブロックの対応領域から視差及び奥行きの算出を画
像全体で行い、第１の分解能の奥行き画像を生成して画
像中に含まれる物体の奥行きを求める奥行き算出工程
と、前記第１の画像を前記第１の大きさよりも小さい第
２の大きさに分割したブロックをテンプレートとして入
力するテンプレート入力工程と、前記テンプレート入力
工程で入力された前記第２の大きさのテンプレートに対
する探索領域となる画像を前記第２の画像で探索領域を
設定する探索領域入力工程と、前記テンプレート入力工
程で入力された前記第２の大きさのテンプレートに対応
する領域を前記探索領域入力工程で入力された探索画像
において探索して該当ブロック内の物体の視差を求める
テンプレート探索工程と、前記該当ブロック内の物体の
視差が前記奥行き算出工程で算出した画像内に存在する
物体の奥行きに近いかどうかを評価して前記第１の分解
能よりも細かい第２の分解能で奥行き画像を求める探索
評価工程と、前記条件を満たさなかった場合は前記テン
プレートのサイズを大きくして再び前記テンプレート探
索工程を用いることを前記条件を満たすまで繰り返すテ
ンプレートサイズ繰り返し処理工程とを具備することを
特徴とする画像処理方法。
【請求項７】第１の画像を第１の大きさに分割したブ
ロックをテンプレートとして入力する拡大テンプレート
入力工程と、第２の画像で探索領域を設定する拡大テン
プレート用探索領域入力工程と、前記拡大テンプレート
入力工程で入力された第１の大きさのテンプレートに対
応する領域を前記拡大テンプレート用探索領域入力工程
で入力された探索画像において探索する拡大テンプレー
ト探索工程と、前記拡大テンプレート探索工程で得られ
た各ブロックの対応領域から視差及び奥行きの算出を画
像全体で行い、第１の分解能の奥行き画像を生成して画
像中に含まれる物体の奥行きを求める奥行き算出工程
と、前記第１の画像を前記第１の大きさよりも小さい第
２の大きさに分割したブロックをテンプレートとして入
力するテンプレート入力工程と、前記テンプレート入力
工程で入力された前記第２の大きさのテンプレートに対
する探索領域となる画像を前記第２の画像で探索領域を
設定する探索領域入力工程と、前記テンプレート入力工
程で入力された前記第２の大きさのテンプレートの大き
さが対応領域の探索を行なうのに十分であるかを判定す
るテンプレート評価工程と、前記テンプレート評価工程
の結果に基づいてテンプレートのサイズを決定するテン
プレートサイズ決定工程と、前記テンプレートサイズ決
定工程で決定されたテンプレートに対応する領域を前記
探索領域入力工程で入力された探索画像において探索し
て該当ブロック内の物体の視差を求めるテンプレート探
索工程と、前記該当ブロック内の物体の視差が前記奥行
き算出工程で算出した画像内に存在する物体の奥行きに
近いかどうかを評価して前記第１の分解能よりも細かい
第２の分解能で奥行き画像を求める探索評価工程と、前
記条件を満たさなかった場合は前記テンプレートのサイ
ズを大きくして再び前記テンプレート探索工程を用いる
ことを前記条件を満たすまで繰り返すテンプレートサイ
ズ繰り返し処理工程とを具備することを特徴とする画像
処理方法。
【請求項８】第２の分解能の奥行き画像を用いて奥行
きにより対象物を切り出す対象物抽出画像生成工程と、
前記対象物抽出画像で対象物の輪郭を追跡する輪郭追跡
工程と、前記輪郭に位置する第２の大きさのブロックで
画素毎の差分を行い差分値が大きい画素を対象物領域か
ら除く画素差分工程を具備することを特徴とする請求項
６または７記載の画像処理方法。
【請求項９】テンプレート評価工程がテンプレート内
のテクスチャが十分であるかを評価規準とする請求項２
ないし請求項５のいずれか記載の画像処理方法。
【請求項１０】テンプレート評価工程がテンプレート
内のテクスチャが十分であるかを評価規準とする請求項
６、７または８のいずれか記載の画像処理方法。
【請求項１１】テンプレート探索工程で対応領域を探
索する際にテンプレート内の画像のテクスチャが多い場
合はフィルタによりエッジ部分を強調した画像を用いて
テクスチャが少ない場合はフィルタをかけない輝度画像
を用いる如く、探索に使用する画像を変更する使用画像
適応的変更工程を具備する請求項１ないし請求項５のい
ずれかまたは請求項９記載の画像処理方法。
【請求項１２】拡大テンプレート探索工程とテンプレ
ート探索工程の少なくとも一方で対応領域を探索する際
に、テンプレート内の画像のテクスチャが多い場合はフ
ィルタによりエッジ部分を強調した画像を用いてテクス
チャが少ない場合はフィルタをかけない輝度画像を用い
る如く、探索に使用する画像を変更する使用画像適応的
変更工程を具備する請求項６、７、８または１０記載の
画像処理方法。
【請求項１３】探索領域入力工程が、画像内に存在す
る物体の奥行き範囲が予めわかっている場合に視差の探
索範囲を限定し、更にエピポーラ拘束を用いることで最
小限度の長さの線分上を探索するものである６、７、
８、１０または１２記載の画像処理方法。