WO2006121088A1

WO2006121088A1 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: WO2006121088A1
Application number: PCT/JP2006/309420
Authority: WO
Inventors: Hidekazu Iwaki; Akio Kosaka; Takashi Miyoshi
Original assignee: Olympus Corporation
Priority date: 2005-05-10
Filing date: 2006-05-10
Publication date: 2006-11-16
Also published as: EP1901225A1; US20080089557A1

Abstract

　撮像した画像を処理し、先行車両等の所定の物体までの距離を演算する場合に、演算処理の負荷を軽減し、高速に距離情報を出力することができ、かつ撮像する画像に含まれるさまざまな情報を多面的に処理する。　上記目的を達成するため、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段で生成した前記画像の中で処理を行うべき領域を設定する処理領域設定手段と、前記処理領域設定手段で設定した前記領域に対して所定の処理演算を行う処理演算手段と、を備えた。

Description

明細書

画像処理装置、画像処理方法および画像処理プログラム

技術分野

[0001] 本発明は、所定の視野を撮像して生成する画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関する。

背景技術

[0002] 従来、自動車等の車両に搭載され、自車両の前方を走行する先行車両を撮像した画像を処理し、自車両から先行車両までの距離を検出する車間距離検出装置が知られている (たとえば、特許文献 1参照)。この車間距離検出装置は、画像上で先行車両を捕捉するために、画像内の所定位置に複数の測距用ウィンドウを設定し、この設定した各測距用ウィンドウ内で画像を処理して任意の対象物までの距離を演算し、演算した結果と測距用ウィンドウの位置情報とをもとに先行車両の撮像位置を認識している。

[0003] また、自車両の走行時に、進行方向の道路の路面状況を検知する目的で、車両の進行方向を撮像し、この撮像した画像に対して所定の対象物の認識を行う技術も知られている（たとえば、特許文献 2を参照)。この技術では、撮像した画像を用いて、自車両が走行する道路上にある白線等の走行路区分線や中央分離帯等の走行路区分帯の認識を行う。

[0004] 特許文献 1：特許第 2635246号公報

特許文献 2：特許第 3290318号公報

発明の開示

発明が解決しょうとする課題

[0005] ところで、上記特許文献 1に記載された従来技術では、撮像位置が不明な先行車両を捕捉するため、測距用ウィンドウは画像のほぼ全域をカバーするように設定する必要があった。この結果、画像のほぼ全域を処理して距離演算を行うので、演算処理の負荷が大きぐ処理時間が力かるという問題があった。

[0006] また、上記特許文献 2に記載された従来技術では、処理内容が白線などの認識に特化されて、るため、撮像する画像に含まれるさまざまな情報を多面的に処理することができな力た。

[0007] 本発明は、上記に鑑みてなされたものであって、撮像した画像を処理し、先行車両等の所定の物体までの距離を演算する場合に、演算処理の負荷を軽減し、高速に距離情報を出力することができ、かつ撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

課題を解決するための手段

[0008] 上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、所定の視野を撮像して画像を生成する撮像手段と、前記撮像手段で生成した前記画像の中で処理を行うべき領域を設定する処理領域設定手段と、前記処理領域設定手段で設定した前記領域に対して所定の処理演算を行う処理演算手段と、を備えたことを特徴とする。

[0009] また、上記発明にお!/ヽて、前記撮像手段で生成した前記画像に含まれる画像信号群に基づいて、前記視野内に含まれる物体が占める領域と該物体の種別とを識別する識別手段をさらに備え、前記処理領域設定手段は、前記識別手段の識別結果に基づ!、て、前記物体までの距離を演算する演算範囲を設定する演算範囲設定手段を有し、前記処理演算手段は、前記演算範囲設定手段が設定した前記演算範囲における距離演算を行う距離演算手段を有するとしてもよい。

[0010] また、上記発明において、前記識別手段は、前記画像信号群に基づいて、前記物体の前記視野内における縦方向の境界を示す縦方向情報と前記物体の前記視野内における横方向の境界を示す横方向情報とを求め、該縦方向情報と該横方向情報とを組み合わせて前記物体が前記視野内にぉ、て占める領域を識別するとしてもよい。

[0011] また、上記発明において、前記識別手段は、前記視野内において前記物体が占める領域に基づヽて、該物体の種別を識別するとしてもよ、。

[0012] また、上記発明にお!/、て、前記演算範囲設定手段は、前記識別手段が識別した前記物体の種別のうち、前記視野内において所定の種別の物体が占める領域に基づ V、て、前記演算範囲を設定することを特徴とするとしてもよ!/、。

[0013] また、上記発明において、前記演算範囲設定手段は、前記視野内において前記識別手段によって識別された前記物体が占める領域に所定の余裕領域を加えた領域に対応する前記演算範囲を設定するとしてもよい。

[0014] また、上記発明において、前記撮像手段は、第 1の光路を介して撮像した第 1の前記画像信号群と、第 2の光路を介して撮像した第 2の前記画像信号群とを生成し、前記処理演算手段は、前記第 2の画像信号群の中から前記第 1の画像信号群の任意の画像信号と整合する画像信号を検出し、該検出した画像信号における前記任意の画像信号力もの移動量に基づ、て前記物体までの距離を演算するとしてもよ、。

[0015] また、上記発明において、前記識別手段は、前記第 1の画像信号群および前記第 2の画像信号群の、ずれか一方に基づ、て、前記物体が前記視野内にお!、て占める領域と該物体の種別とを識別するとしてもよ、。

[0016] また、上記発明にお!/ヽて、前記撮像手段で撮像した撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した距離を含む距離情報を生成する距離情報生成手段と、前記距離情報生成手段で生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択手段と、をさらに備え、前記処理演算手段は、前記処理選択手段で選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理手段を有するとしてちょい。

[0017] また、上記発明にお!/、て、前記処理領域設定手段は、前記距離情報生成手段で生成した距離情報を前記画像に重畳して成る距離画像を生成し、この生成した距離画像に基づいて、前記撮像位置力ゝらの距離が所定の範囲内にある前記画像の構成点の組ごとに異なる閉領域を設定する距離画像生成手段を有するとしてもよい。

[0018] また、上記発明にお!/、て、前記処理選択手段は、前記距離画像生成手段で設定した閉領域ごとに画像処理手法を選択するとしてもよ！/ヽ。

[0019] また、上記発明において、前記距離画像生成手段で設定した閉領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えてもよい。

[0020] また、上記発明にお!/、て、前記処理選択手段における画像処理手法の選択方法を変更する選択方法変更手段をさらに備えてもよい。

[0021] また、上記発明におヽて、前記撮像手段で生成した画像を該画像に係る時刻情報とともに記憶する記憶手段と、前記撮像手段で撮像した画像から画像処理を行う対象物を検知する対象物検知手段と、前記撮像手段の撮像位置から前記対象物検知手段で検知した対象物までの距離を算出する距離算出手段と、前記記憶手段で記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測手段と、をさらに備え、前記処理領域設定手段は、前記位置予測手段における予測結果に基づいて画像処理を行う処理領域を設定し、前記処理演算手段は、前記処理領域設定手段で設定した処理領域に対して所定の画像処理を行う画像処理手段を有するとしてちょい。

[0022] また、上記発明にお、て、前記位置予測手段における予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成手段をさらに備え、前記処理領域設定手段は、前記モデル形成手段で形成した前記三次元空間モデルを前記画像に射影することによって前記処理領域を設定するとしてもよい。

[0023] また、上記発明にお!/ヽて、前記処理領域設定手段で設定した処理領域に対して行う画像処理の手法を変更する処理変更手段をさらに備えてもよい。

[0024] また、上記発明にお!/、て、前記対象物検知手段で検知した対象物の時間経過に伴う三次元的な動きを時系列的に重畳して成る画像を表示出力する出力手段をさらに備えてもよい。

[0025] また、上記発明にお、て、前記移動体の位置または速度を含む移動状況を検知する移動状況検知手段をさらに備え、前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の位置または速度を用いるとしてもよ、。

[0026] また、上記発明にお、て、前記移動体の位置を含む移動状況を検知する移動状況検知手段と、前記移動体が移動する領域の周辺を含む三次元地図情報を記憶する地図情報記憶手段と、をさらに備え、前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の現在位置周辺の地図情報を前記地図情報記憶手段から読み出して参照するとしてちょい。

[0027] また、上記発明にお、て、前記移動体外部の外的情報を検知する外的情報検知手段をさらに備え、前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記外的情報検知手段で検知した前記移動体外部の情報を用いるとしてもよい。

[0028] また、上記発明において、前記撮像手段は、一対の撮像光学系と、前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、を有してちよい。

[0029] また、上記発明において、前記撮像手段は、一対の導光光学系と、各導光光学系に対する撮像領域を有し各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子と、を備えてもよい。

[0030] また、上記発明において、当該画像処理装置は、車両に搭載されるとしてもよい。

[0031] 本発明の別な態様に係る画像処理方法は、所定の視野を撮像して画像を生成する撮像ステップと、前記撮像ステップで生成した前記画像の中で処理を行うべき領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した前記領域に対して所定の処理演算を行う処理演算ステップと、を含むことを特徴とする。

[0032] また、上記発明にお、て、前記撮像ステップで生成した前記画像に含まれる画像信号群に基づ、て、前記視野内にぉ、て前記物体が占める領域と該物体の種別とを識別する識別ステップをさらに含み、前記処理領域設定ステップは、前記識別ステップの識別結果に基づいて、前記物体までの距離を演算する演算範囲を設定し、前記処理演算ステップは、前記処理領域設定ステップで設定した前記演算範囲における距離演算を行うとしてもよい。

[0033] また、上記発明におヽて、前記撮像ステップで撮像した撮像位置カゝら前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した距離を含む距離情報を生成する距離情報生成ステップと、前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、をさらに含み、前記処理演算ステップは、前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行うとしてもよい。

[0034] また、上記発明におヽて、前記撮像ステップで生成した画像を該画像に係る時刻情報とともに記憶する記憶ステップと、前記撮像ステップで撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、前記対象物検知ステップで対象物を検知した場合、前記撮像ステップでの撮像位置から前記対象物までの距離を算出する距離算出ステップと、前記記憶ステップで記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、をさらに含み、前記処理領域設定ステップは、前記位置予測ステップにおける予測結果に基づ、て画像処理を行う処理領域を設定し、前記処理演算ステップは、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行うとしてもよい。

[0035] 本発明のさらに別な態様に係る画像処理プログラムは、所定の視野を撮像して画像を生成する撮像部によって生成された画像に対して画像処理を施す画像処理プログラムであって、前記画像の中で処理を行うべき領域を設定する処理領域設定ステツプと、前記処理領域設定ステップで設定した前記領域に対して所定の処理演算を行う処理演算ステップと、を含むことを特徴とする。

[0036] また、上記発明にお!/ヽて、前記撮像部で生成した前記画像に含まれる画像信号群に基づ!/、て、前記視野内にお!、て前記物体が占める領域と該物体の種別とを識別する識別ステップをさらに含み、前記処理領域設定ステップは、前記識別ステップの識別結果に基づいて、前記物体までの距離を演算する演算範囲を設定し、前記処理演算ステップは、前記処理領域設定ステップで設定した前記演算範囲における距離演算を行うとしてもよい。

[0037] また、上記発明にお!/ヽて、前記撮像部の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した距離を含む距離情報を生成する距離情報生成ステップと、前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、をさらに含み、前記処理演算ステップは、前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行うとしてもよい。

[0038] また、上記発明におヽて、前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶ステップと、前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記対象物までの距離を算出する距離算出ステップと、前記記憶ステップで記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、をさらに含み、前記処理領域設定ステップは、前記位置予測ステップにおける予測結果に基づいて画像処理を行う処理領域を設定し、前記処理演算ステップは、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行うとしてもよ、。

発明の効果

[0039] 本発明によれば、撮像した画像を処理し、先行車両等の所定の物体までの距離を演算する場合に、演算処理の負荷を軽減し、高速に距離情報を出力することができ、かつ撮像する画像に含まれるさまざまな情報を多面的に処理し得る画像処理装置、画像処理方法および画像処理プログラムを提供することができる。

図面の簡単な説明

[0040] [図 1]図 1は、本発明の実施の形態 1に係る画像処理装置の構成を示すブロック図である。

[図 2]図 2は、図 1に示す画像処理装置において距離情報を出力するまでの処理手順を示すフローチャートである。

[図 3]図 3は、ステレオカメラを用いた撮像処理を概念的に示す説明図である。

[図 4]図 4は、レクティフィケーシヨン処理前の左右画像領域の対応を示す説明図である。

[図 5]図 5は、レクティフィケーシヨン処理後の左右画像領域の対応を示す説明図である。

[図 6]図 6は、図 2に示す識別処理の処理手順を示すフローチャートである。

[図 7]図 7は、図 1に示す画像処理装置の撮像部が撮像した画像の一例を示す図である。

[図 8]図 8は、縦方向エッジ抽出フィルタの一例を示す図である。

[図 9]図 9は、横方向エッジ抽出フィルタの一例を示す図である。

[図 10]図 10は、図 8に示す縦方向エッジ抽出フィルタによってエッジを抽出した結果の一例を示す図である。

[図 11]図 11は、図 9に示す横方向エッジ抽出フィルタによってエッジを抽出した結果の一例を示す図である。

[図 12]図 12は、図 10および図 11に示すエッジ抽出画像を合成した結果を示す図である。

[図 13]図 13は、図 6に示す領域分割処理で出力される結果の一例を示す図である。

[図 14]図 14は、図 6に示す物体識別処理で行うテンプレートマッチングを説明する図である。

[図 15]図 15は、図 6に示す識別処理で出力される結果の一例を示す図である。

[図 16]図 16は、図 2に示す演算範囲設定処理の処理手順を示すフローチャートである。

[図 17]図 17は、図 16に示す演算範囲設定において余裕領域を付加する処理を説明する図である。

[図 18]図 18は、図 16に示す演算範囲設定処理で出力される結果の一例を示す図である。

[図 19]図 19は、図 2に示す距離演算処理で出力される結果の一例を示す図である。

[図 20]図 20は、図 2に示す処理のタイミングを説明するタイムチャートである。

[図 21]図 21は、本発明の実施の形態 2に係る画像処理装置の構成を示すブロック図である。

[図 22]図 22は、本発明の実施の形態 3に係る画像処理装置の構成を示すブロック図である。 [図 23]図 23は、本発明の実施の形態 3に係る画像処理方法の概要を示すフローチヤートである。

[図 24]図 24は、距離画像の出力例を示す図である。

[図 25]図 25は、選択する画像処理手法の一例として、距離に応じた物体認識の対応関係を示す図である。

[図 26]図 26は、道路検知に関する画像処理を行った場合の表示例を示す図である図 27]図 27は、白線検知に関する画像処理を行った場合の表示例を示す図である図 28]図 28は、車両検知に関する画像処理を行った場合の表示例を示す図である図 29]図 29は、人物検知に関する画像処理を行った場合の表示例を示す図である図 30]図 30は、標識検知に関する画像処理を行った場合の表示例を示す図である図 31]図 31は、空の検知に関する画像処理を行った場合の表示例を示す図である。図 32]図 32は、本発明の実施の形態 4に係る画像処理装置の構成を示すブロック図である。

図 33]図 33は、本発明の実施の形態 4に係る画像処理方法の概要を示すフローチヤートである。

図 34]図 34は、車両の未来位置の予測処理を視覚的に示す説明図である。

図 35]図 35は、処理領域の一設定例を示す図である。

図 36]図 36は、画像処理の一例を示す図である。

図 37]図 37は、本発明の実施の形態 5に係る画像処理装置の構成を示すブロック図である。

図 38]図 38は、本発明の実施の形態 5に係る画像処理方法の概要を示すフローチヤートである。

図 39]図 39は、本発明の実施の形態 5に係る画像処理装置における画像の出力例を示す図である。

[図 40]図 40は、自車両走行可能域を表す三次元空間モデルの形成例を示す図である。

[図 41]図 41は、画像に自車両走行可能域を表す三次元空間モデルを射影した場合の表示例を示す図である。

[図 42]図 42は、先行車両走行可能域を表す三次元空間モデルの形成例を示す図である。

[図 43]図 43は、画像に先行車両走行可能域を表す三次元空間モデルを射影した場合の表示例を示す図である。

[図 44]図 44は、本発明の実施の形態 5の一変形例に係る画像処理装置の構成を示すブロック図である。

[図 45]図 45は、本発明の実施の形態 6に係る画像処理装置の一部構成を示すプロック図である。

[図 46]図 46は、図 45に示す撮像部が撮像する画像の一例を示す図である。

符号の説明

1、 2、 3、 4、 5、 6 画像処理装置

10 撮像部

11a 右カメラ

l ib 左カメラ

12a, 12b レンズ

13a, 13b 撮像素子

14a, 14b AZD変換部

15a, 15b フレームメモリ

17、 116、 601 画像

20、 220、 320、 420、 520 画像解析部

21 処理制御部

22 識別部

22a, 22b エッジ抽出画像 c エッジ統合画像

d 領域分割画像

演算範囲設定部

a 演算範囲情報

距離演算部

メモリ

、 130、 330、 430 制御部出力部

、 350、 450 記憶部

画像情報

テンプレート情報

, 53a, 53b 識別情報

, 54a 距離情報

移動状況検知部

外的情報検知部

0 撮像部

1 カメラ

2 レンズ

3 撮像素子

AZD変換部

5 フレームメモリ

6a 右画像

6b 左画像

9 ステレオアダプタ

9a, 119b, 119c, 119d ミラー、 423、 3220 処理領域設定部、 3230、 4240 処理演算部レーダ 301 距離画像

321 距離情報生成部

322 距離画像生成部

323、 424 画像処理部

331 処理選択部

351 画像データ

352 距離情報

353 画像処理手法

354、 454 テンプレート

401、 402、 403、 404、 405、 406、 501、 502、 503、 602、 603 表示画像

421 対象物検知部

422 距離算出部

423 処理領域設定部

425 空間モデル形成部

451 画像データ

452、 452 、452 距離時刻情報

n-l n

453 処理内容

455 モデル原型

601 画像

C、 Cl、 C2、 Ca、 Cb 車両

D 処理領域

HI 人

Mdl、Md2 三次元空間モデル

Rd 路面

Sig 信号機

発明を実施するための最良の形態

以下、添付図面を参照して本発明を実施するための最良の形態（以後、「実施の形態」と称する)を詳細に説明する。 [0043] (実施の形態 1)

図 1は、本発明の実施の形態 1に係る画像処理装置の構成を示すブロック図である。図 1に示す画像処理装置 1は電子的な装置であり、所定の撮像視野を有し、撮像視野に対応する画像を撮像し画像信号群を生成する撮像部 10と、撮像部 10が生成した画像信号群を解析する画像解析部 20と、画像処理装置 1の全体の処理および動作を制御する制御部 30と、距離情報を含む各種情報を出力する出力部 40と、距離情報を含む各種情報を記憶する記憶部 50とを備える。撮像部 10、画像解析部 20 、出力部 40および記憶部 50は、制御部 30に電気的に接続される。なお、この接続の形態は、有線に限らず無線も含む。

[0044] 撮像部 10は、複眼のステレオカメラであり、左右に並んで配置された右カメラ 11aと左カメラ l ibとを備える。右カメラ 11aは、レンズ 12aと、撮像素子 13aと、アナログ Z デジタル (AZD)変換部 14aと、フレームメモリ 15aとを備える。レンズ 12aは、所定の撮像視野内に位置する任意の物体力もの光を撮像素子 13a上に集光する。撮像素子 13aは、 CCDあるいは CMOS等の撮像素子であり、レンズ 12aが集光した物体からの光を光信号として検知し、アナログ信号である電気信号に変換し、出力する。 A /D変換部 14aは、撮像素子 13aが出力したアナログ信号をデジタル信号に変換し、出力する。フレームメモリ 15aは、 AZD変換部 14aが出力したデジタル信号を記憶し、 1枚の撮像画像に対応するデジタル信号群を、撮像視野に対応した画像信号群である画像情報として随時出力する。一方、左カメラ l ibは、右カメラ 11aと同様の構成を有し、レンズ 12bと、撮像素子 13bと、 AZD変換部 14bと、フレームメモリ 15bとを備える。左カメラ l ibの各構成部位は、右カメラ 11aの対応する各構成部位と同様の機能を備える。

[0045] 撮像部 10が備える一対の撮像光学系としてのレンズ 12a, 12bは、光軸を平行にし、距離 Lだけ離れて位置する。撮像素子 13a, 13bは、それぞれレンズ 12a, 12bから光軸上で距離 fだけ離れて位置する。右カメラ 11aおよび左カメラ l ibは、同一の物体を互いに異なる位置力も異なる光路を介して撮像する。なお、レンズ 12a, 12bは、通常は複数のレンズを組み合わせて構成され、たとえばディストーション等のレンズの収差を良好に補正した状態にある。 [0046] 画像解析部 20は、画像処理を制御する処理制御部 21と、撮像した物体が撮像視野内にお!、て占める領域とこの物体の種別とを識別する識別部 22と、この識別結果に基づいて距離演算部 24が処理する演算範囲を設定する演算範囲設定手段 23と、画像信号群を処理して撮像した物体までの距離を演算する距離演算部 24と、画像解析部 20の各構成部位が出力する各種情報を一時的に記憶するメモリ 25と、を備える。ここで、演算範囲設定部 23は、撮像部 10で生成した画像の中で処理を行うベき領域を設定する処理領域設定部 230の一部をなす。また、距離算出部 24は、処理領域設定部 230で設定した処理領域に対して所定の処理演算を行う処理演算部 24 0の一部をなす。

[0047] 距離演算部 24は、右カメラ 11aが出力する右画像信号群の中から、左カメラ l ibが出力する左画像信号群の中の任意の左画像信号と整合する右画像信号を検出し、この検出した右画像信号の、対応する左画像信号からの距離である移動量に基づいて、撮像視野内に位置する物体までの距離を演算する。換言すると、演算部 21は、右カメラ 11aが生成した右画像信号群と、左カメラ l ibが生成した左画像信号群とを、それぞれの撮像光学系の光軸の位置を基準に重ね合わせ、左画像信号群の中の任意の左画像信号と、これに最も整合する右画像信号群の中の右画像信号とを検出し、対応する左画像信号から右画像信号までの撮像素子上での距離である移動量 Iを求め、三角測量の原理に基づく以下の（1)式を利用し、たとえば図 1における撮像部 10から車両 Cまでの距離 Rを演算する。なお、移動量 Iは、撮像素子の画素数と画素ピッチとをもとに求めるとよい。

R=f-L/I · ' · (1)

距離演算部 24は、演算範囲内の任意の画像信号に対応する物体までの距離を演算し、演算した物体までの距離と画像内の物体の位置とを対応させ距離情報を作成する。なお、ここでは簡単のため、平行ステレオで説明した力光軸が角度を持って交差したり、焦点距離がおのおの違う、撮像素子とレンズの位置関係が異なる等をキヤリブレーシヨンし、レクティフィケーシヨンにより補正し、演算処理による平行ステレオを実現しても良い。

[0048] 制御部 30は、記憶部 50が記憶する処理プログラムを実行する CPUを備え、撮像部 10、画像解析部 20、出力部 40および記憶部 50が行う各種処理および動作を制御する。

[0049] 出力部 40は、距離情報を含む各種情報を出力する。たとえば、出力部 40は、液晶ディスプレイ、有機 EL (Electroluminescence)ディスプレイ等の表示装置を備え、撮像部 10が撮像した画像等、各種の表示可能な情報を距離情報とともに表示する。さらに、スピーカ一等の音声出力装置を備え、距離情報や距離情報に基づく警告等、各種音声情報を出力するように構成してもよ、。

[0050] 記憶部 50は、所定の OSを起動するプログラムや画像処理プログラム等の各種情報が予め記憶された ROMと、各処理の演算パラメータや各構成部位に入出力される各種情報等を記憶する RAMとを備える。さらに、記憶部 50は、撮像部 10が撮像した画像情報 51、識別部 22が物体の種別を識別するために使用するテンプレート情報 52、識別部 22が識別した物体の領域および種別の情報である識別情報 53、距離演算部 24が演算し作成した距離情報 54を記憶する。

[0051] なお、上述した画像処理プログラムは、ハードディスク、フレキシブルディスク、 CD

-ROM, CD-R, CD-RW, DVD-ROM, DVD±R、 DVD士 RW、 DVD-R AM、 MOディスク、 PCカード、 xDピクチャーカード、スマートメディア等のコンビユータ読み取り可能な記録媒体に記録して広く流通させることも可能である。

[0052] つぎに、画像処理装置 1が実行する処理について、図 2のフローチャートにしたがつて説明する。図 2は、画像処理装置 1が、撮像した画像に対応する距離情報を出力するまでの処理手順を示すフローチャートである。

[0053] 図 2に示すように、撮像部 10が、所定の視野を撮像し、生成した画像信号群を画像情報として画像解析部 20に出力する撮像処理を行う (ステップ S101)。具体的には、撮像部 10の右カメラ 11aおよび左カメラ l ibでは、制御部 30の制御のもと、レンズ 1 2aおよび 12bをそれぞれ用いて所定の視野角に含まれる領域力光を集光する。

[0054] レンズ 12aおよび 12bが集光した光は、撮像素子 13aおよび 13bの面上にそれぞれ結像して電気信号 (アナログ信号）に変換される。撮像素子 13aおよび 13bが出力するアナログ信号は、 AZD変換部 14aおよび 14bでそれぞれデジタル信号に変換され、この変換されたデジタル信号の各々を、フレームメモリ 15aおよび 15bがー時的に格納する。フレームメモリ 15aおよび 15bがそれぞれ一時的に格納したデジタル信号は、所定時間経過後、画像解析部 20に送出される。

[0055] 図 3は、複眼のステレオカメラによる撮像処理を概念的に示す説明図である。同図では、右カメラ 11aの光軸 zと左カメラ l ibの光軸 zが平行な場合を示している。この a b

場合、左カメラ固有の座標系（左カメラ座標系）に対応する左画像領域 Iの点 Aに対 b b 応する点が、右カメラ固有の座標系（右カメラ座標系）に対応する右画像領域 I a内の直線 _α (ェピポーラ線）上に存在している。なお、図 3では左カメラ l ibを基準として

E

、右カメラ 11aにおける対応点を探索する場合を図示しているが、これとは反対に右カメラ 1 laを基準とすることもできる。

[0056] ステップ S101の撮像処理の後、識別部 22が、この画像情報を参照し、所定の物体が占める領域とこの物体の種別とを識別し、識別した物体の領域と種別とを対応させた識別情報を作成する識別処理を行う (ステップ S103)。つぎに、演算範囲設定部 23が、この識別情報を参照し、距離演算を行う演算範囲を設定する演算範囲設定処理を行う（ステップ S 105)。

[0057] その後、距離演算部 24が、設定された演算範囲に対応する画像信号群に基づいて物体までの距離を演算し、演算した距離と画像上の物体の位置とを対応させた距離情報を生成し、制御部 30に出力する距離演算処理を行う (ステップ S107)。

[0058] ところで、このステップ S 107における距離演算を行うためには、まず左右のカメラ座標系を用いて撮像した視野内の全ての画素点または一部の画素点の座標値を算出するが、これに先立って、左右のカメラ座標系における座標値の算出と、座標値間の対応付け (対応点探索)とを行う。この対応点探索によって三次元を再構成する場合には、基準とする方の画像を通過する任意の直線上に位置する画素点が、他方の画像にぉ、ても同一直線上に位置することが望ま、（ェピポーラ拘束条件)。しかし、このェピポーラ拘束条件は常に満足されているとは限らず、たとえば図 4に示すステレオ画像領域 I の

ab 場合、基準とする左画像領域 Iの

b 点 Aに

b 対応する右画像領域 Iの a 点は直線 α 上に存在する一方、左画像領域 Iの点 Βに対応する右画像領域 Iの点

A b b a は直線 α 上に存在する。

Β

[0059] このようにェピポーラ拘束条件が満足されない場合には、探索範囲を絞り切ることができず、対応点を探索する際の計算量が膨大になってしまう。そのような場合には

、画像解析部 20が、予め左右のカメラ座標系を正規ィ匕して、ェピポーラ拘束条件を満足するような状態に変換する処理 (レクティフィケーシヨン処理)を行う。図 5は、このレクティフィケーシヨン処理後の左右画像領域の対応関係を示すものである。この図

5に示すようにェピポーラ拘束条件が満足されていれば、探索範囲をェピポーラ線 a に絞って探索することができるので、対応点探索に要する計算量を少なくすることが

E

できる。

[0060] ここで対応点探索法の一例を説明する。まず、基準とする左画像領域 Iにお、て、 b 注目する画素点近傍に局所領域を設け、この局所領域と同様の領域を右画像領域 I の対応するェピポーラ線 α 上に設ける。そして、右画像領域 Iの局所領域をェピポ a E a

ーラ線 α 上で走査しながら、左画像領域 Iの局所領域との類似度が最も高い局所

E b

領域を探索する。この探索の結果、類似度が最も高い局所領域の中心点を左画像領域 Iの画素点の対応点とする。

b

[0061] この対応点探索の際に用いる類似度として、局所領域内の画素点間の差の絶対値の和（SAD : Sum of Absolute Difference)、局所領域内の画素点間の差の 2乗和（SS D : Sum of Squared Difference)、または局所領域内の画素点間の正規化相互相関（ NCC : Normalized Cross Correlation)を適用することができる。これらのうち、 SADまたは SSDを適用する場合には、最小値をとる点を類似度が最も高い点とする一方、 NCCを適用する場合には、最大値をとる点を類似度が最も高い点とする。

[0062] 以上説明したステップ S107に続いて、制御部 30は、この距離情報およびこの距離情報に基づく所定の距離情報を出力部 40に出力し (ステップ S109)、一連の処理を終了する。なお、制御部 30は、各処理ステップで生成された情報である画像情報 51 、識別情報 53および距離情報 54を記憶部 50に随時記憶する。また、メモリ 25は、各処理ステップで入出力される情報を一時的に記憶し、画像解析部 20の各構成部位は、メモリ 25を介して情報を入出力する。

[0063] なお、上述した一連の処理では、識別情報 53が記憶する時系列の識別情報をもとに所定の物体が占める領域を予測することによって、識別処理を適宜スキップして処理サイクルの高速ィ匕をは力つてもよい。また、上述した一連の処理は、たとえば、この画像処理装置 1が搭載される車両の搭乗者等力も所定の処理終了あるいは中断の指示がない限り、継続して繰り返す。

[0064] つぎに、図 2に示したステップ S103の識別処理について説明する。図 6は、識別処理の処理手順を示すフローチャートである。図 6に示すように、識別部 22が、撮像部 10が生成した画像情報を参照し、物体に対応する領域とこれ以外の領域とに分割する領域分割処理を行い (ステップ S 122)、物体の種別を識別し、識別した物体の領域と種別とを対応させた識別情報を作成する物体識別処理を行い (ステップ S124) 、識別情報を出力し (ステップ S126)、ステップ S103にリターンする。

[0065] ステップ S 122に示した領域分割処理では、識別部 22が、撮像部 10の右カメラ 11a もしくは左カメラ 1 lbが撮像した画像をもとに、任意の領域の境界であるエッジを抽出したエッジ抽出画像を生成する。具体的に、識別部 22は、たとえば、図 7に示す画像 17をもとに、図 8および図 9に示すエッジ抽出フィルタ Fl, F2を用いてエッジを抽出し、図 10および図 11に示すエッジ抽出画像 22a, 22bを生成する。

[0066] 図 8は、識別部 22が用いる縦方向エッジ抽出フィルタの一例を示す図である。図 8 に示す縦方向エッジ抽出フィルタ F1は、 5 X 5画素の領域を同時にフィルタリングする 5 X 5オペレータである。この縦方向エッジ抽出フィルタ F1は、縦方向のエッジに対して抽出感度が最も高ぐ横方向のエッジに対して抽出感度をもたない。一方、図 9 は、識別部 22が用いる横方向エッジ抽出フィルタの一例を示す図である。図 9に示す横方向エッジ抽出フィルタ F2は、横方向のエッジに対して抽出感度が最も高ぐ縦方向のエッジに対して抽出感度をもたな、。

[0067] 図 10は、識別部 22が縦方向エッジ抽出フィルタ F1によって画像 17から抽出したェッジを示す図である。図 10に示すエッジ抽出画像 22aでは、実線で表すエッジが、縦方向エッジ抽出フィルタ F 1によって抽出した縦方向のエッジを示し、点線で表すエッジが、縦方向エッジ抽出フィルタ F 1によって抽出した縦方向以外のエッジを示している。なお、縦方向エッジ抽出フィルタ F1によって抽出できない横方向のエッジは、エッジ抽出画像 22aに示されていない。

[0068] 一方、図 11は、識別部 22が横方向エッジ抽出フィルタ F2によって画像 17から抽出したエッジを示す図である。図 11に示すエッジ抽出画像 22bでは、実線で表すェッジが、横方向エッジ抽出フィルタ F2によって抽出した横方向のエッジ示し、点線で表すエッジが、横方向エッジ抽出フィルタ F2によって抽出した横方向以外のエッジを示している。なお、横方向エッジ抽出フィルタ F2によって抽出できない縦方向のエツジは、エッジ抽出画像 22bに示されていない。

[0069] 識別部 22は、縦方向情報であるエッジ抽出画像 22aと横方向情報であるエッジ抽出画像 22bとを合成し、図 12に示すように、エッジ統合画像 22cを作成する。さらに、識別部 22は、エッジ統合画像 22cをもとに、図 13に示すように、エッジがつくる閉曲線で囲まれた領域とこれ以外の領域とに領域を分割した画像である領域分割画像 2 2dを作成する。なお、領域分割画像 22dでは、閉曲線で囲まれた領域である領域 Sa 1, Sa2および Sbが斜線で示されている。

[0070] 一方、ステップ S 124に示した物体識別処理で、識別部 22は、領域分割画像をもとに、閉曲線で囲まれた領域を所定の物体に対応する領域と認識し、この領域に対応する物体の種別を識別する。このとき、識別部 22は、テンプレート情報 52が格納する所定の物体の典型的なパターンを表現した複数のテンプレートを参照し、物体に対応する領域とテンプレートとを順次照合し、最も相関の高いテンプレート、もしくは所定値以上の相関係数を示すテンプレートが表現する物体をこの領域に対応する物体として識別するテンプレートマッチングを行、、この識別した物体の領域と種別とを対応させた識別情報を作成する。

[0071] 具体的に、識別部 22は、図 14に示すように、領域分割画像 22d内の物体に対応する領域として分割した領域 Sal, Sa2および Sbに順次テンプレートを重ね合わせ、各領域に最も相関の高いテンプレートとして車両テンプレート 52ecl、 52ec2および人物テンプレート 52ehを選択する。この結果、識別部 22は、領域 Sal, Sa2に対応する物体が車両であると識別し、領域 Sbに対応する物体が人であると識別する。そして、識別部 22は、図 15に示すように、物体の領域と種別とを対応させた識別情報 53 aを作成する。なお、識別部 22は、識別情報として作成した車両領域 Sac 1, Sac2および人領域 Sbhに対して個別のラベルを設定し、この設定したラベルによって各領域を認識するようにしてもよ、。

[0072] つぎに、図 2に示したステップ S105の演算範囲設定処理について説明する。図 16 は、演算範囲設定処理の処理手順を示すフローチャートである。図 16に示すように、演算範囲設定部 23が、識別情報を参照し、物体に対応する領域に所定の余裕領域を付加する識別情報処理を行、 (ステップ S 142)、この余裕領域を付加した領域を、距離演算部 24が行う距離演算の演算範囲に設定する演算範囲設定を行い (ステツプ S144)、設定した演算範囲の情報を出力し (ステップ S146)、ステップ S105にリターンする。

[0073] ステップ S 142に示した識別情報処理で、演算範囲設定部 23は、図 17に示すように、識別情報 53a内の車両領域 Sacl, Sac2および人領域 Sbhに対して必要に応じて余裕領域を付カ卩し、新たに車両領域 Sacbl, Sacb2および人領域 Sbhbとして領域を設定した識別情報 53bを作成する。この余裕領域は、領域分割画像 22d作成時の領域分割の境界部分に関する微小誤差を吸収する、あるいは撮影時と処理時の時間遅れに基づ、て識別すべき物体自体の動きや変形に対する領域の補正を吸収する等の目的に基づいて付加する領域である。さらに、演算範囲設定部 23は、図 18 に示すように、識別情報 53bの領域 Sacbl, Sacb2および Sbhbに対する距離演算の演算範囲を、それぞれ演算範囲 23acl, 23ac2および 23bhと設定し、演算範囲情報 23aを作成する。

[0074] つぎに、図 2に示したステップ S107の距離演算処理の中で、距離演算部 24が作成する距離情報の一例について説明する。図 19は、図 7に示した画像 17をもとに、図 18に示した演算範囲情報 23aに対応して距離演算部 24が作成した距離情報 54a の一例を示す図である。距離情報 54aは、距離演算結果 54acl, 54ac2および 54b h力それぞれ演算範囲 23acl, 23ac2および 23bhに対応する距離演算の結果を表す。また、各距離演算結果は、図 19に示すように、距離演算部 24が、それぞれ対応する演算範囲内を所定のマトリクス状の小領域に分割し、この分割した小領域ごとに対応する物体までの平均距離を演算した結果を数値で示して!/ヽる。この各距離演算結果で示される数値は、所定の単位系で距離を表した数値であって、たとえばメートル単位で表した数値である。なお、距離演算結果 54acl, 54ac2および 54bhは、それぞれ画像 17の車両 CI, C2および人 HIまでの距離を表している。なお、このマトリタス状の小領域の分割は、距離演算処理能力と処理スピードの関係に基づいて設定したり、識別すべき物体に対する分解能 (解像度）に基づいて設定したりしてよい。

[0075] 以上説明したこの実施の形態 1に係る画像処理装置 1は、画像情報から所定の物体に対応する領域を抽出し、この抽出した領域に限定して距離演算を行うため、画像情報のすべての画像信号に対して距離演算を行う従来の画像処理装置と比べ、距離演算の処理の負荷を軽減し、距離演算に要する時間を短縮することができる。この結果、画像処理装置 1は、画像を取得して力距離情報を出力するまでに要する処理時間を短縮し、高速に距離情報を出力することができる。

[0076] なお、画像処理装置 1が実行する処理について、図 2に示した一連の処理を逐次実行するように説明したが、実際には、ノィプライン処理によって、複数の処理を並行して実行することが好ましい。このパイプライン処理の一例を図 20で説明する。図 20は、図 2に示した一連の処理のタイミングを示すタイムチャートである。図 20に示す撮像期間 Tl、識別期間 Τ2、設定期間 Τ3、演算期間 Τ4および出力期間 Τ5は、それぞれ図 2に示した撮像処理、識別処理、演算範囲設定処理、距離演算処理および距離情報出力の各処理を実行する時間に対応する。第 1処理サイクルは、時刻 tl で撮像処理を開始し、撮像期間 T1から出力期間 T5までの一連の処理期間を経て距離情報を出力する。通常、次の第 2処理サイクルは、第 1処理サイクルの距離情報の出力を待って処理を開始する力ノィプライン処理によって、この出力を待たずに時刻 t2で撮像処理を開始する。この場合、時刻 t2は、第 1処理サイクルの撮像処理が終了した時刻であって、第 1処理サイクルの撮像処理と第 2処理サイクルの撮像処理とは連続して行われる。撮像処理以外の各処理も同様に、第 1処理サイクルで処理が終了した直後に第 2処理サイクルで同じ処理が開始される。また、第 3処理サイクル以降でも、同様のタイミングで各処理が実行され、一連の処理が繰り返される。この結果、繰り返し距離情報を出力する場合、出力周期を短縮することができ、一層高 V、頻度で距離情報を出力することができる。

[0077] また、演算処理を高速化する手法として、画像処理装置 1では、さらに各種の手法が適用できる。たとえば、画像情報として扱う色の数を減らして演算処理を高速化する手法が適用できる。この手法は、 RGB3原色の各色で扱う階調数を減らし、階調に係るビット数であるデータ数を減らして演算処理を高速ィ匕することができる。

[0078] また、画像情報として扱う画像信号の数を減らして演算処理を高速化する手法も適用できる。この手法は、たとえば、画像情報から所定の間隔で画像信号を抽出し、演算処理に供する画像信号の数を減らして演算処理を高速化することができる手法であって、高精細に画像を認識する必要がな、場合等に有効な手法である。

[0079] さらに、画像情報として扱う画像信号の数を減らす手段として、撮像領域を縮小することも有効である。たとえば、自車両が高速道路を走行する場合、自車両力も比較的遠距離にある先行車両や障害物等の検知が重要であり、比較的近距離にある物体を検知する必要性が低いことが多い。この場合、画像を撮像する段階もしくは画像を処理する段階で、撮像視野の周辺にマスクをかける等の手段によって画像情報を削減し、演算処理に供する画像信号の数を減らして演算処理を高速化することができる。

[0080] また、処理の繰り返しを高速化する手法として、画像処理装置 1における識別部 22 および演算範囲設定部 23に対応する処理機構を 2系統備え、この 2系統の処理機構が、並行して識別処理および演算範囲設定処理を実行するようにしてもよい。この場合、 2系統の処理機構のそれぞれを右カメラおよび左カメラに対応させ、対応するカメラが生成する画像情報をもとに、各系統の処理機構が、並行して識別処理および演算範囲設定処理を実行することによって、処理の繰り返しを高速化することができる。

[0081] さらに、上述した画像処理装置 1において、所定の物体を識別する方法として、画像情報力もエッジを抽出して領域分割し、テンプレートマッチングによって物体の種別を識別するようにしたが、この方法に限らず、各種の領域分割方法やパターンの識別方法が適用できる。

[0082] たとえば、領域分割の方法として、ハフ変換 (Hough transform)を利用し、画像情報力も直線ある、は所定の曲線を検出して物体の輪郭を抽出するようにしてもょ、。また、濃度分布、濃度勾配、色の階調等の特徴から、クラスタリング (Clustering)手法を利用して領域分割するようにしてもょヽ。

[0083] さらに、物体の識別方法として、たとえば、後方力見る輪郭において多くの車両が左右の対象性を有することを利用して、画像情報において左右対称な領域を抽出し、その領域を車両に対応する領域と判断するようにしてもょヽ。

[0084] また、時系列の複数枚の画像情報カゝら特徴点を抽出し、異なる時刻の対応する特徴点を比較し、変動が同じ傾向にある特徴点をグループィ匕し、グループ化した周辺の領域が着目すべき物体に対応する領域と判断した上で、グループ化した特徴点の分布の変形の大きさを識別し、車両等の剛体であるか、人等の非剛体であるかを判断するようにしてちょい。

[0085] さらに、画像情報の中の色や濃度等の分布力アスファルト、土、砂利等の路面に相当する領域を概略抽出し、路面の領域に別の異なる特徴を有する領域が現れた場合に、その領域を障害物に対応する領域と判断するようにしてもよい。なお、領域分割処理等の前処理を省略し、テンプレートマッチングだけで物体を識別するようにしてちよい。

[0086] (実施の形態 2)

つぎに、本発明の実施の形態 2について説明する。上述した実施の形態 1では、撮像部 10からの画像信号群を処理して撮像した物体までの距離を検出するようにしていたが、この実施の形態 2では、撮像視野内に位置する物体までの距離をレーダで検出するようにしている。

[0087] 図 21は、本発明の実施の形態 2に係る画像処理装置の構成を示すブロック図である。図 21に示す画像処理装置 2は、上述した実施の形態 1に係る画像処理装置 1〖こさらにレーダ 260を備える。また、画像解析部 220は、処理制御部 21と、識別部 22と、演算範囲設定部 23 (処理領域設定部 230の一部）と、メモリ 25とを備える。さらに、制御部 30に代えて、さらにレーダ 260を制御する機能を有した制御部 130を備える。その他の構成は、実施の形態 1と同じであり、同一構成部分には同一符号を付している。

[0088] レーダ 260は、所定の発信波を送信し、この発信波が物体表面で反射した反射波を受信し、発信状態および受信状態をもとに、レーダ 260から発信波を反射した物体までの距離と、その物体が位置する方向とを検出する。レーダ 260は、発信波の発信角度、反射波の入射角度、反射波の受信強度、発信波を発信してから反射波を受信するまでの時間、受信波および反射波における周波数変化をもとに、発信波を反射した物体までの距離および方向を検出する。レーダ 260は、撮像部 10の撮像視野内に位置する物体までの距離を、その物体が位置する方向とともに制御部 130に出力する。レーダ 260は、送信波として、たとえば、レーザ光、赤外光、ミリ波、マイクロ波、超音波などを送信する。

[0089] この実施の形態 2に係る画像処理装置 2では、撮像部 10からの画像情報を処理して距離を演算する代わりにレーダ 260により距離を検出するため、一層高速かつ高精度に距離情報を取得できる。

[0090] なお、画像処理装置 2では、撮像部 10によって撮像された画像信号群における位置関係とレーダ 260の検出範囲における位置関係との整合は、以下のように予め求めたうえで各処理を行う。たとえば、画像処理装置 2は、形状が既知の物体に対して、撮像部 10による撮像処理およびレーダ 260による検出処理を行い、撮像部 10およびレーダ 260のそれぞれによって処理した既知の物体の位置を求める。その後、画像処理装置 2は、最小 2乗法などを用いて、撮像部 10およびレーダ 260のそれぞれによって処理した既知の物体の位置の関係を求め、撮像部 10によって撮像された画像信号群における位置関係とレーダ 260の検出範囲における位置関係とを整合する

[0091] また、画像処理装置 2では、撮像部 10の撮像原点とレーダ 260の検出原点とがずれている場合があっても、撮像点および検出点カゝら画像処理装置 2までの距離が十分に離れた場合であれば、撮像原点と検出原点とがほぼ重なっているものとみなすことができる。さらに、撮像部 10によって撮像された画像信号群における位置関係とレーダ 260の検出範囲における位置関係との整合が正確に行われている場合には、幾何変換によって、撮像原点と検出原点とのずれを補正することも可能である。

[0092] なお、画像処理装置 2では、撮像部 10によって撮像された画像信号群の各画像信号が位置する画素行に、レーダ 260の各レーダ検出点が所定間隔で位置するように設定するとよい。また、このように各レーダ検出点が設定されない場合、各画像信号の近傍に位置する複数のレーダ検出点をもとに、一次補間法などを用いて各画像信号と同一画素行にレーダ検出点の補間点を求め、この補間点を用いて検出処理を行うようにすればよい。

[0093] (実施の形態 3)

図 22は、本発明の実施の形態 3に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置 3は、所定の視野を撮像する撮像部 10、この撮像部 1 0が生成した画像を解析する画像解析部 320、画像処理装置 3の動作制御を行う制御部 330、画像や文字等の情報を表示出力する出力部 40、および各種データを記憶する記憶部 350を有する。なお、画像処理装置 3において、上記実施の形態 1に係る画像処理装置 1と同一構成部分には同一符号を付している。

[0094] 画像解析部 320は、撮像部 10が撮像する視野に含まれる画像の全ての構成点または一部の構成点 (画素点)までの撮像部 10からの距離を含む距離情報を生成する距離情報生成部 321、この距離情報生成部 321で生成した距離情報と撮像部 10で撮像した画像データとを用いて三次元的な距離画像を生成する距離画像生成部 32 2、および距離情報と距離画像とを用いて画像処理を行う画像処理部 323を有する。ここで、距離画像生成部 322は、撮像部 10で生成した画像の中で処理を行うべき領域を設定する処理領域設定部 3220の一部をなす。また、画像処理部 323は、処理領域設定部 3220で設定した処理領域に対して所定の処理演算を行う処理演算部 3 230の一部をなす。また、画像解析部 320は、後述する各種処理を行う上で必要な種々のパラメータを算出する機能 (キャリブレーション機能）と、画像を生成する際、必要に応じて補正処理 (レクティフィケーシヨン処理)を行う機能を備えて!/、る。

[0095] 制御部 330は、画像の全ての構成点または一部の構成点の距離情報に対応して画像処理部 323が行うべき画像処理手法を複数の画像処理手法の中から選択する処理選択部 331を有する。

[0096] 記憶部 350は、撮像部 10において撮像した画像データ 351、この画像データ 351 の全ての構成点または一部の構成点の距離情報 352、処理選択部 331において選択対象となる画像処理手法 353、および画像中の物体認識の際に用いるさまざまな物体 (車両、人物、路面、白線、標識等)のパターンを画素点単位で表現したテンプレート 354を記憶、格納する。

[0097] 以上の構成を有する画像処理装置 3が実行する画像処理方法について、図 23〖こ示すフローチャートを参照して詳細に説明する。まず、撮像部 10が、所定の視野を撮像して画像を生成する撮像処理を行う (ステップ S301)。

[0098] ステップ S301の撮像処理の後、画像解析部 320内の距離情報生成部 321は、画像の全ての構成点または一部の構成点までの距離を算出し、この算出した全ての構成点または一部の構成点までの距離を含む距離情報を生成する (ステップ S303)。より具体的には、距離情報生成部 321が、左右のカメラ座標系を用いて撮像した視野内の全ての画素点または一部の画素点の座標値を算出する。続いて、距離情報生成部 321は、算出した画素点の座標値 (X, y, z)を用いて車両最前面力も撮像された点までの距離 Rを算出する。ここで、カメラ座標系における車両最前面の位置は、予め実測しておく必要がある。その後、距離情報生成部 321は、算出した画像の全ての画素点または一部の画素点の座標値 (X, y, z)および距離 Rを、対応する画像と関連付けて距離情報を生成し、記憶部 350に格納する。

[0099] 続くステップ S305では、距離画像生成部 322が、ステップ S 303で生成した距離情報をステップ S301で生成した画像に重畳することによって距離画像を生成する。図 24は、出力部 40における距離画像の表示出力例を示す図である。同図に示す距離画像 301は、濃淡の度合いによって撮像部 10からの距離を表現しており、遠方ほど濃く表示されている。

[0100] その後、制御部 30内の処理選択部 331は、記憶部 350で格納する画像処理手法 353の中から、画像内の各点に対し、ステップ S303で求めた距離情報に応じて画像処理部 323が実行する画像処理手法の選択を行う（ステップ S307)。画像処理部 32 3は、ステップ S307で処理選択部 331が選択した画像処理手法にしたがって画像処理を行う（ステップ S309)。この際に画像処理部 323は、処理選択部 331が選択した画像処理手法を記憶部 350から読み出し、この読み出した画像処理手法に基づく画像処理を行う。

[0101] 図 25は、処理選択部 331が距離情報に応じて選択する画像処理手法の一例を示す図である。同図に示す対応表 81では、ステップ S303で算出した画像の全ての構成点または一部の構成点までの距離に応じて認識すべき対象物と、各距離帯域で所定の対象物を認識した場合に実際に適用される画像処理手法の対応を示している。以下、この対応表 81を参照して、画像処理部 323が距離情報に対応して適用する画像処理手法を具体的に説明する。

[0102] まず、ステップ S303における距離情報生成処理の結果、撮像部 10からの距離が 0 〜50mの範囲（以後、「距離範囲 0〜50m」と表現する）にある画素点の組に対しては、路面の検知を行う。この路面検知の際には、距離範囲 0〜50mにある画素点の組を一つの閉領域として取り扱ヽ、この閉領域が路面に対応する画像を構成して、るかどうかを調べる。より具体的には、記憶部 350のテンプレート 354に予め記憶しておいた路面に関するパターンと、距離画像 301内の画素点のうち距離範囲 0〜50m の範囲にある画素点力も構成されるパターンとを比較することによって、両者の相関を調べる（テンプレートマッチング）。このテンプレートマッチングの結果、路面のパターンと所定の相関関係を満たすパターンを距離画像 301内で検知した場合には、そのパターンから路面の状況を認識する。ここでいう路面の状況とは、たとえば路面の曲がり具合 (直進力カーブ力や路面上の凍結の有無等である。なお、図 25の他の検知範囲に係る画像処理手法においても、ここで説明したのと同様のテンプレートマツチングを行うことにより、各検知範囲に応じた対象物の検知、認識を行う。

[0103] 図 26は、距離範囲 0〜50mで路面を検知した場合に画像処理部 323が行う画像処理手法の一例を示す図である。同図に示す表示画像 401は、路面を検知した結果として、自車両が走行している路面が直進していることを表示している。なお、検知した路面がカーブを描いている路面であると認識した場合には、「ノヽンドルを切ってくださ!/、」等のメッセージを表示出力するようにしてもよ!、。

[0104] 次に、距離範囲 10〜50mにある画像構成点に対しては、白線の有無を検知し、白線を検知した場合には、自車両の走行レーンの把握を行う。この場合、自車両が走行レーンを逸脱しそうになつたときには、その旨報知する。図 27は、距離範囲 10〜5 Omで白線検知を行った結果、走行レーンを逸脱する方向に自車両が走行しつつあることを検知した場合の出力部 40における表示例を示す図である。同図に示す表示画像 402は、画像処理部 323における判断結果として、検知している白線の向きまたはパターン力自車両の進行方向に対して正常でないと判断した場合の出力部 40 における表示例を示しており、「レーンを外れます、右へ」という警告メッセージを表示している。この警告メッセージの表示に合わせて、同じ内容を音声で出力したり、警告音を発生したりしてもよい。なお、ここでは走行路区分線として白線を例にとって説明を行ったが、白線以外の走行路区分線 (たとえば黄線)を検知してもよい。

[0105] 距離範囲が 30〜70mの範囲にある画像構成点に対しては、先行する車両の検知を行い、先行車両を検知した場合には警告の発生等の処理を施す。図 28は、撮像部 10力も 40m前方に車両を検知した場合の出力部 40の表示例を示す図である。同図に示す表示画像 403では、対象物である車両に閉領域を明示するウィンドウを画面上に設けることにより、搭乗者が対象物を判別しやすくするとともに、「ブレーキをかけてください」という警告を出力している。なお、この場合を含む以下の全ての距離範囲においても、上記距離範囲における処理と同様、メッセージの表示と同時に音や音声メッセージの出力を行うことができる。

[0106] 距離範囲が 50〜： LOOmの範囲にある画像構成点に対しては、人物（または障害物 )の検知を行い、検知した場合には警告の発生等の処理を行う。図 29は、撮像部 10 力 70m前方で人が道路を横断して、るのを検出し、「回避が必要です」と!、うメッセージを表示する場合の表示画像 404を示して、る。

[0107] 距離範囲が 70〜 150mの範囲にある画像構成点に対しては、信号等の道路標識の検知を行い、検知した場合には標識の種別等の認識を少なくとも行う。図 30に示す表示画像 405では、撮像部 10から 120m先に信号があることを検知し、その信号に注意喚起のためのウィンドウを設けるとともに、「信号あります」というメッセージを表示した場合を示している。信号の検知時には、同時に信号の色を検知し、たとえば信号が赤の場合には、ブレーキの準備を促すようなメッセージを出力してもよい。

[0108] 最後に、撮像部 10からの距離が 150mより遠方の範囲にある画像構成点に対しては空の検知を行い、空の色、輝度、雲の量などを認識する。図 31に示す表示画像 4 06は、距離範囲が 150m以遠の空を検知した結果、進行方向は雲が多くて暗くなつてくると判断し、自車両のライト点灯を促すメッセージを表示した場合を示して、る。空の状況判断としては、他にも雨粒を検知してワイパーの作動を促すメッセージを表示出力したりすることも可能である。

[0109] なお、以上説明した対応表 81に示す検知範囲と画像処理手法との対応はあくまでも一例を示したものに過ぎない。たとえば、対応表 81では、一つの検知範囲で一つの画像処理を行う場合を示して!/、るが、一つの検知範囲で複数の画像処理を実行するように設定することもできる。この場合には、たとえば検知範囲 0〜50mにおいて路面検知と人物検知を行い、検知した対象物に応じた画像処理を行うようにする。

[0110] また、以上の説明では、一つの画像内で一つの画像処理を施した場合について説明したが、実際には表示画像内の異なる視野領域において、検知範囲に応じた別の画像処理を同時に実行することも可能である。

[0111] さらに、対応表 81以外の検知範囲と画像処理手法の組み合わせを記憶部 350の画像処理手法 353に複数記憶しておき、距離情報を時系列に並べたときの任意の画素点の変位を算出して求められる自車両の速度や、路面や空を検知することによつて把握することができる走行領域の現況 (たとえば天候や昼夜の区別など）、あるいはブレーキを掛けて力車両が停止するまでの距離 (制動距離)などのさまざまな条件に応じて最適な組み合わせに変更するようにしてもよい。この際には、画像処理装置 3内に別に設けられる選択方法変更手段が、処理選択部 331における画像処理手法の選択方法を変更する。

[0112] この一例として、自車両の速度に応じて検知範囲と画像処理手法の組み合わせを変更する場合を説明する。この場合、同じ画像処理手法を適用する検知範囲の上限と下限が一定の割合だけ異なるものを複数用意して記憶部 350で記憶しておく。たとえば、上述した対応表 81は、自車両が所定の中速帯域で走行しているときに適用されるものとする。このとき、自車両がより高速帯域で走行していれば、各検知範囲の上限と下限の値が対応表 81よりも一定の割合だけ大きくなる組み合わせに変更する (たとえば、対応表 81適用時よりも自車両が高速で走行している場合には、路面検知の上限を 50mよりも所定の割合だけ大きくする)。他方、自車両がより低速帯域で走行して、れば、各検知範囲の上限と下限の値が一定の割合だけ小さ、組み合わせに変更する。これにより、自車両の走行速度に応じて最適な画像処理を行うことが可能となる。

[0113] 以上説明した本発明の実施の形態 3によれば、撮像した画像をもとに生成した画像の全ての構成点または一部の構成点までの距離情報と距離画像とを用いてその画像の全ての構成点または一部の構成点までの距離に応じた画像処理手法を選択し、この選択した画像処理手法を適用することによって、撮像する画像に含まれるさまざまな情報を多面的に処理することが可能となる。

[0114] (実施の形態 4)

図 32は、本発明の実施の形態 4に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置 4は、所定の視野を撮像する撮像部 10、この撮像部 1 0が生成した画像を解析する画像解析部 420、画像処理装置 4の動作制御を行う制御部 430、画像や文字等の情報を表示出力する出力部 40、および各種データを記憶する記憶部 450を有する。なお、画像処理装置 4において、上記実施の形態 1〖こ係る画像処理装置 1と同一構成部分には同一符号を付している。

[0115] 画像解析部 420は、撮像部 10で撮像した画像の中から所定の対象物を検知する対象物検知部 421、撮像部 10が撮像する視野領域に含まれる対象物までの撮像部 10からの距離を算出する距離算出部 422、撮像した画像内で画像処理の対象となる処理領域を設定する処理領域設定部 423、および処理領域設定部 423で設定した処理領域に対して所定の画像処理を行う画像処理部 424を有する。ここで、画像処理部 424は、処理領域設定部 423で設定した処理領域に対して所定の処理演算を行う処理演算部 4240の一部をなす。

[0116] 制御部 430は、対象物検知部 421で検知した対象物の未来位置を予測する位置予測部 431を有する。

[0117] 記憶部 450は、撮像部 10において撮像した画像データ 451、画像データ 451の視野内に含まれる撮像対象までの距離情報と画像データ 451に係る時刻情報とを含む距離時刻情報 452、画像処理部 424における画像処理の具体的な手法である処理内容 453、および画像中の物体認識の際に用いるさまざまな物体 (車両、人物、路面、白線、標識等）の形状パターンを画素点単位で表現したテンプレート 454を記憶、格納する。

[0118] 以上の構成を有する画像処理装置 4が実行する画像処理方法について、図 33〖こ示すフローチャートを参照して詳細に説明する。まず、撮像部 10が、所定の視野を撮像して画像を生成する撮像処理を行う (ステップ S401)。なお、フレームメモリ 15a および 15bがそれぞれ一時的に格納したデジタル信号は、所定時間経過後、画像解析部 420に送出されるが、この際には、撮像した画像に係る時刻情報も一緒に画像解析部 420に送出される。

[0119] 次に、対象物検知部 421が、ステップ S401で生成した画像を用いて画像処理の対象となる対象物の検知を行う (ステップ S403)。対象物を検知する際には、記憶部 450のテンプレート 454内に格納されているさまざまな物体の形状パターン（車両、人物、路面、白線、標識、信号機等)の中から対象物の形状パターンを読み出し、画像内のパターンと比較することによって両者の相関を調べる（テンプレートマッチング )。以後の説明においては、説明の便宜上先行する車両 Cを対象物とするが、これはあくまでも一例に過ぎない。

[0120] ステップ S403におけるテンプレートマッチングの結果、対象物である車両 Cに類似するパターンを検知した場合には、距離算出部 422が車両 Cまでの距離を算出する (ステップ S405)。距離算出部 422は、まず左右のカメラ座標系を用いて撮像した視野内の車両 Cを構成する点の全ての座標値または一部の座標値を算出する。続ヽて、距離算出部 422は、算出した画素点の座標値 (x,y,z)を用いて車両最前面から撮像された点までの距離 Rを算出する。なお、カメラ座標系における車両最前面の位置は、予め実測しておく。その後、各構成点までの距離を平均することにより、車両 C までの距離を求めて記憶部 450に記憶、格納する。

[0121] ところで、距離算出部 422の距離算出能力は計算時間を増加するにつれて向上する。このため、たとえば距離算出部 422が繰り返し法によって測距精度が向上する処理を行う場合、繰り返しの初期の段階で撮像対象までの距離が近、場合にはその段階で距離算出を中止する一方、繰り返しの初期の段階で撮像対象までの距離が遠い場合には所定の精度が得られるまで距離算出処理を繰り返す。

[0122] なお、撮像部 10で生成した画像データ 451を構成する視野全域に対し、距離算出部 422で生成した距離等の情報を重畳することによって距離画像 (図 24を参照)を生成してちょい。

[0123] ステップ S405に続いて、位置予測部 431が、車両 Cの距離時刻情報 452 (時刻 t ： nは正の整数）と、この距離時刻情報 452における時刻 tよりも所定時間 A tだけ前の時刻 t =t—A tにおける車両 Cの距離時刻情報 452 とを用いることにより、時 π - 1 n n— 1

刻 t力所定時間 A t経過した後の時刻 t (=t + A t)における車両 Cの位置 (未来 n n+1 n

位置）を予測する（ステップ S407)。

[0124] 図 34は、このステップ S407における予測処理の結果を視覚的に示す図である。同図に示す表示画像 501では、各々異なる 3つの時刻 t 、t、および t における車両

n-1 n n+1

Cの画像 C 、C、および C を重畳して表示している。これらの画像のうち、画像 c

n-1 n n+1 n - と画像 Cはすでに撮像した画像データ 451を用いて表示する。これに対して車両 C

1 n

の予測未来位置である画像 C は次のように生成する。まず、画像 C と画像 Cの対

n+1 n-1 n 応点を結んでベクトル (移動ベクトル)を作成する。その後、ベクトルの長さがそれぞれ 2倍となるように各ベクトルを延長する（図 34では、延長分を破線で表示)。この延長したベクトルの終点を結んで車両の輪郭を形成することによって画像 C を生成す

n+1

る。ここで車両の輪郭を形成する際には、隣接するベクトルの終点間に適当な補間処理を施す。なお、図 34では車両の代表的な点の移動ベクトルのみを表示している力車両を構成する画素点ごとに移動ベクトルを全て求めることによって三次元ォプティカルフローを形成してもよ!/、。

[0125] 以上説明したステップ S407では、二つの距離時刻情報を用いて画像を生成し、対象物の未来位置を予測したが、この予測処理は車両 Cの自車両に対する相対速度が一定であると仮定して、この相対速度を算出していることに相当する。この意味で表示画像 501は、車両 Cと自車両が同じ方向に直進し、車両 Cの路面に対する速さが自車両の路面に対する速さよりも小さ、場合を示して、る。

[0126] 続くステップ S409では、処理領域設定部 423が、車両 Cの予測未来位置に相当する画像 C を用いて画像処理を行う処理領域を設定する。図 35は、このステップ S

n+1

409で設定した処理領域の一設定例を示す図である。同図に示す表示画像 502にお!、て、処理領域 Dはステップ S407で求めた車両 Cの予測未来位置（画像 C )を

n+1 含む。このステップ S407では、相対速度が一定であるという前提のもとに未来位置の予測処理を行ったが、実際の車両 Cおよび自車両の動きが必ずしも予測した通りになるとは限らない。このため、処理領域 Dの設定に際しては、予測未来位置を含むとともに、その予測未来位置力も所定範囲の誤差を含むように設定する。なお、処理領域 Dの境界は画面上で明示しなくてもょ、。

[0127] このステップ S409の後、処理領域 Dに対して所定の画像処理を行う（ステップ S41 D o図 36は、画像処理の一例を示す図である。同図に示す表示画像 503では、処理領域 D内で車両 Cを検出したため自車両に近づいてきていると判断し、「ブレーキをかけてくださ!/、」 t\、うメッセージを表示して、る。このメッセージの表示に合わせて警告音または警告メッセージを出力部 40が有するスピーカから出力してもよい。

[0128] 他の画像処理としては、たとえば車両 Cがステップ S407で予測した位置を含む処理領域を逸脱した場合には、その逸脱した内容に応じたメッセージを出力部 40の画面上で表示したり、警告音または警告メッセージを出力したりしてもよい。

[0129] また、自車両から処理領域までの距離に応じて画像処理の手法を変更してもよいし、自車両の走行状況 (速度、加速度、ハンドル操作時の操舵角等）に応じて画像処理の手法を変更してもよい。このように変更を行う際には、制御部 430に設けられる処理変更部力記憶部 450で記憶する処理内容 453を参照することによって画像処理手法の変更を行う。

[0130] 以上説明した本発明の実施の形態 4によれば、撮像位置から検知した対象物までの距離を算出し、対象物を含む複数の画像のうち、少なくとも二つの異なる時刻に撮像された画像に含まれる対象物までの距離を用いて所定時間経過後の対象物の自車両に対する相対位置を予測し、この予測結果に基づヽて画像処理を行う処理領域を設定し、この設定した処理領域に対して所定の画像処理を行うことにより、撮像する画像内に含まれるさまざまな情報を多面的に処理することが可能となる。

[0131] また、この実施の形態 4によれば、 3次元移動ベクトルを用いて対象物である車両の未来位置を予測し、この予測結果に基づヽて画像処理を行う処理領域を設定することにより、所定の画像処理を行う処理領域を狭めることができ、迅速かつ効率的な画像処理を実現することが可能となる。

[0132] 本実施の形態 4では、異なる二つの時刻における対象物までの距離を利用してその対象物の未来位置の予測を行った力それら二つの時刻とは異なる時刻における対象物までの距離をさらに用いることにより、各点の 2次差分を算出して対象物の自車両に対する相対加速度を求めることができ、対象物の未来位置をより正確に予測することが可能となる。

[0133] また、 GPS (Global Positioning System)と自車両の現在位置または自車速度とを用いることにより、 GPSが記憶する三次元地図情報を参照して距離時刻情報等の補正を行うとともに、動体判別の処理が容易になる。この結果、より精度の高い未来位置の予測が可能となり、画像処理装置の信頼性を一段と向上させることができる。なお、この場合には、記憶部 450が三次元地図情報を記憶する三次元地図情報記憶部としての機能を有する構成とすればよ!、。

[0134] なお、本実施の形態 4に係る画像処理装置に、処理領域に対する画像処理の手法を変更する処理変更手段を具備させてもょ、。このような処理変更手段を具備させることにより、たとえば空の検知結果力把握できる天候や昼夜の区別に応じて各処理領域の処理内容の変更を行うことが可能となる。なお、外部からの入力によって処理領域を変更可能な構成にしてもょ、。

[0135] また、本実施の形態 4においても、テンプレートマッチングによって対象物の検知を行う代わりに、撮像対象の距離時刻情報に基づいて対象物のセグメントを求めることによって対象物を検知してもよいし、テクスチャやエッジ抽出による領域分割法や、クラスタ分析に基づく統計的パターン認識法等を用いて対象物を検知してもよい。

[0136] (実施の形態 5)

本発明の実施の形態 5は、撮像する画像内で検知した対象物の未来位置を予測し、この予測結果を用いて三次元空間モデルを形成し、この形成した三次元空間モデルを撮像した画像に射影することによって処理領域の設定を行ヽ、この処理領域に対して所定の画像処理を施すことを特徴とする。

[0137] 図 37は、本発明の実施の形態 5に係る画像処理装置の構成を示すブロック図である。同図に示す画像処理装置 5は、上記実施の形態 4に係る画像処理装置 4と同様の構成を有している。すなわち、画像処理装置 5は、撮像部 10、画像解析部 520、制御部 430、出力部 40、および記憶部 550を有する。このため、画像処理装置 4と同じ機能構成を有する部位にっ、ては、同一の符号を付してある。

[0138] 画像解析部 520は、対象物検知部 421、距離算出部 422、処理領域設定部 423、および画像処理部 424 (処理演算部 4240の一部）に加えて、画像に対して射影する三次元空間モデルを形成するモデル形成部 425を有する。また、記憶部 550は、画像データ 451、距離時刻情報 452、処理内容 453、およびテンプレート 454にカ卩えて、画像に対して射影する三次元空間モデルを形成する際の原型となるモデル原型 4 55を記憶、格納している。

[0139] 以上の構成を有する画像処理装置 2が行う画像処理方法について、図 38に示すフローチャートを参照して説明する。まず、撮像部 ₁₀が、所定の視野を撮像して画像を生成する撮像処理を行う（ステップ S501)。その後、対象物検知部 421が、画像処理の対象となる対象物の検知をテンプレートマッチングによって行う（ステップ S503)。このステップ S503で対象物を検知した場合には、距離算出部 422がその対象物までの距離算出処理 (ステップ S505)を行う。図 39は、以上のステップ S501〜S505 を行った結果として得られる画像の表示例を示す図である。同図に示す画像 601は、自車両が走行する車線に隣接する車線を車両 Ca等が先行して走行し、前方に交差点が近づきつつある場合を表示している。この交差点では自車両の進行方向と直交する方向に車両 Cbが走行しており、その交差点付近には信号機 Sigが設置されている。

[0140] なお、ここまでのステップ S 501、 S503、および S505は、本発明の実施の形態 1に係る画像処理方法のステップ S401、 S403、および S405とそれぞれ同じ処理であり、その詳細は、上記実施の形態 4で説明した通りである。

[0141] ステップ S505に続いて、位置予測部 431が、ステップ S505で求めた対象物の距離時刻情報 452 (時刻 t： nは正の整数）と、この距離時刻情報 452における時刻 t よりも所定時間 Δ tだけ前の時刻 t =t — Δ tにおける対象物の距離時刻情報 452

n— 1 n n- とを用いることにより、時刻 t力も所定時間 A t経過した後の時刻 t (=t + A t)にお

1 n n+1 n

ける対象物の位置 (未来位置）を予測する (ステップ S507)。たとえば画像 601の場合には、隣接する車線を走行する車両 Caや交差点付近を走行する車両 Cbの未来位置を予測してもよいし、路面 Rdや信号機 Sigなどを対象物として、それらの未来位置を予測してもよい。

[0142] この後、モデル形成部 425は、対象物の予測未来位置等の情報から、その対象物に関する三次元空間モデルを形成する (ステップ S509)。図 40は、三次元空間モデルの一形成例を示す説明図である。同図に示す三次元空間モデル Mdlは、自車両が所定時間内に走行可能な領域（自車両走行可能域)を示すものである。この場合、検知する対象物は路面 Rdであり、モデル形成部 425は路面 Rdの未来位置の予測結果に加えて、記憶部 550に格納されているモデル原型 455を用いることにより、図 40に示す三次元空間モデル Md 1を形成する。

[0143] 続いて処理領域設定部 423が、ステップ S509で形成された三次元空間モデル M dlを撮像部 10で撮像された画像に射影することによって処理領域を設定する (ステップ S511)。図 41に示す表示画像 602は、撮像部 10で撮像された画像に三次元空間モデル Mdl (自車両走行可能域)を射影した場合の表示例を示す図である。

[0144] 図 42は、ステップ S509における三次元空間モデルの別な形成例を示す図である。同図においては、隣接するレーンを走行する車両 Caを対象物とし、この車両 Caの所定時間内の走行可能領域 (先行車両走行可能域）に関する三次元空間モデル M d2を形成した場合を示している。この三次元空間モデル Md2では、先行する車両 C aが直進する場合に加えて自車両の走行レーンに車線変更する場合も考慮して形成したものである。図 43は、撮像部 10で撮像された画像に対して三次元空間モデル M dlおよび Md2を射影することによって処理領域を設定したときの表示例を示す図である。この図 43に示す表示画像 603のように、一つの画像に対して複数の三次元空間モデルを射影して処理領域を設定してもよ!/、。

[0145] ステップ S511の後、画像処理部 424は、処理対象領域に対して所定の画像処理を行う（ステップ S 513)。表示画像 603の場合、自車両走行可能域を表す三次元空間モデル Mdlと先行車両走行可能域を表す三次元空間モデル Md2とは一部重なり合っている。そこで、自車両走行可能域 (Mdl)内に車両 Caが進入して来るのを検知した場合には、その後処理として出力部 40から警告メッセージや警告音を発生する処理を行う。また、車両 Caが先行車両走行可能域 (Md2)から外れる進路を取り始めたと検知した場合にも、その旨を出力部 40によって報知する。

[0146] 以上説明した本発明の実施の形態 5によれば、撮像位置から検知した対象物までの距離を算出し、対象物を含む複数の画像のうち、少なくとも二つの異なる時刻に撮像された画像に含まれる対象物までの距離を用いて所定時間経過後の対象物の自車両に対する相対位置を予測し、この予測結果とともに自車両の現在状況および自車両が移動する周囲の現在状況のうち少なくともいずれかを用いて三次元空間モデルを形成し、この形成した三次元空間モデルを前記画像に射影することによって画像処理を行う処理領域を設定し、この設定した処理領域に対して所定の画像処理を行うことにより、撮像する画像内に含まれるさまざまな情報を多面的に処理することが可能となる。

[0147] また、この実施の形態 5によれば、 3次元移動ベクトルを用いて対象物の未来位置を予測し、この予測結果に基づく三次元空間モデルを形成して処理領域を設定することにより、対象物を検知して所定の画像処理を行う範囲 (処理領域)を狭めることができ、上記実施の形態 1と同様、迅速かつ効率的な画像処理を実現することが可能となる。

[0148] なお、上述したステップ S509における三次元空間モデルの形成に際しては、ステップ S 501の意味での対象物以外の物体 (非対象物）、自車両の移動状況 (速度、加速度等)、または自車両外部の外的情報 (路面状況、天候等)などを検知し、その検知結果をモデル形成処理に利用するようにしてもよい。この際には、図 44に示す画像処理装置 6のように、自車両の移動状況を検知する移動状況検知部 60と、自車両外部の外的情報を検知する外的情報検知部 70と、をさらに設けらればよい。移動状況検知部 60および外的情報検知部 70は、検知すべき内容に応じて、各種センサ等を用いて実現される。なお、画像処理装置 6の他の構成は、画像処理装置 5の構成と同じである。

[0149] (実施の形態 6)

つぎに、本発明の実施の形態 6について説明する。上述した実施の形態 1〜5では、右カメラ 11aおよび左カメラ l ibの 2台のカメラによってステレオ画像を撮像する構成としていたが、この実施の形態 6では、一対の導光光学系と、各導光光学系に対応する撮像領域を有し、各導光光学系が導いた光信号を各撮像領域において電気信号に変換する撮像素子によってステレオ画像を撮像するようにしている。

[0150] 図 45は、本発明の実施の形態 6に係る画像処理装置の一部構成を示すブロック図である。図 45に示す撮像部 110は、上述した画像処理装置 1等における撮像部 10 に代わり、この実施の形態 6に係る画像処理装置が備える撮像部である。図 45に示す以外の画像処理装置の構成は、上述した実施の形態 1〜5のいずれかと同じである。

[0151] 撮像部 110は、撮像部 10の右カメラ 11aあるいは左カメラ l ibと同様の構成および機能を有した撮像装置としてのカメラ 111を備える。カメラ 111は、レンズ 112と、撮像素子 113と、 AZD変換部 114と、フレームメモリ 115とを備える。さらに、撮像部 110 は、カメラ 111の前方に、ミラー 119a〜119dによって構成された一対の導光光学系としてのステレオアダプタ 119を備える。ステレオアダプタ 119は、図 45に示すように、ミラー 119a, 119bを組として反射面を略平行に対向して備え、ミラー 119c, 119d を別の組として反射面を略平行に対向して備える。ステレオアダプタ 119は、この 2組の一対のミラー系を、レンズ 112の光軸を基準に左右対称に隣接して備える。

[0152] 撮像部 110は、撮像視野内に位置する物体力もの光をステレオアダプタ 119の左右 2組のミラー系で受光し、撮像光学系としてのレンズ 112で集光し、撮像素子 113 で撮像する。このとき、図 46に示すように、撮像素子 113は、ミラー 119a, 119bによる右の組のミラー系を介した右画像 116aと、ミラー 119c, 119dによる左の組のミラ一系を介した左画像 116bとを、左右にずらした全く重ならなヽ撮像領域で撮像する (このようなステレオアダプタを用いた技術は、たとえば、特開平 8— 171151号公報に開示されている）。

[0153] この実施の形態 6に係る撮像部 110では、ステレオアダプタを備えた 1台のカメラでステレオ画像を撮像するため、 2台のカメラでステレオ画像を撮像する場合に比べ、撮像部を簡易化してコンパクトにできるとともに、機械的強度を増強し、左右の画像を相対的に常に安定した状態で撮像することができる。さらに、左右の画像を、共通のレンズおよび撮像素子を使用して撮像するため、固体差に起因するばらつきを抑え、キャリブレーションの手間や、位置合わせ等の組み立ての煩雑さを軽減できる。

[0154] なお、ステレオアダプタの構成として、図 45では、平面鏡を略平行に対向して組み合わせた例を示したが、さらにレンズ群を組み合わせて構成してもよぐまた、凸面鏡や凹面鏡等、曲率を有した反射鏡を組み合わせて構成してもよぐ反射鏡の代わりにプリズムで反射面を構成してもよヽ。 [0155] また、図 46に示すように、この実施の形態 6では、左右の画像を全く重ならないように撮像した力左右の画像の一部ないし全部が重なるようにし、たとえば、受光部に設けたシャッター等により左右で受光する光を順次切り換えて撮像し、わずかな時間差をもって撮像した左右の画像をステレオ画像として画像処理に供してもよい。

[0156] さらに、この実施の形態 6では、左右の画像を左右に位置をずらして撮像する構成としたが、たとえば、ステレオアダプタの平面鏡を略直交に組み合わせて構成し、左右の画像を上下に位置をずらして撮像するようにしてもょ、。

[0157] (その他の実施の形態）

ここまで、本発明の好ましい実施の形態を詳述してきたが、本発明は上記実施の形態 1〜6によって限定されるものではない。たとえば、実施の形態 1〜5における撮像部 10、または実施の形態 6における撮像部 110の構成について、一対のカメラあるいはステレオアダプタの受光部力左右に並んで配置されるとして説明した力上下に並んで配置される構成としてもよぐまた、斜め方向に並んで配置される構成としてちょい。

[0158] さらに、撮像部のステレオカメラとしてより多眼のステレオカメラ、たとえば 3眼ステレォカメラ、または 4眼ステレオカメラを構成してもよい。 3眼または 4眼ステレオカメラを用いると、 3次元再構成処理などにおいて、より信頼度が高ぐ安定した処理結果が得られることが知られている（富田文明，「高機能 3次元視覚システム VW」，情報処理学会誌「情報処理」， Vol. 42, No. 4, pp. 370-375 (2001).等を参照)。特に、複数のカメラを 2方向の基線長を持つように配置すると、より複雑なシーンで 3次元再構成が可能になることが知られている。また、 1つの基線長方向にカメラを複数台配置すると、いわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度なステレオ計測が可能となる。

[0159] また、撮像部のカメラとして、複眼であるステレオカメラの代わりに単眼のカメラを用いてもよい。その場合には、シエイプフロムフォーカス（shape from focus)法、シエイプフロムケノオーカス (shape from defocus 法、シェィプフロムモーション shape from m otion)法、シエイプフロムシェーディング（shape from shading)法等の 3次元再構成技術を適用することにより、撮像視野内にある物体までの距離を演算することができる。 [0160] ここで、シエイプフロムフォーカス法とは、最もよく合焦したときのフォーカス位置から距離を求める方法である。また、シエイプフロムデフォーカス法とは、合焦距離の異なる複数の画像力も相対的なボケ量を求め、ボケ量と距離との相関関係をもとに距離を求める方法である。また、シエイプフロムモーション法とは、時間的に連続する複数の画像における所定の特徴点の移動軌跡をもとに物体までの距離を求める方法である。また、シエイプフロムシェーディング法とは、画像における陰影、対象となる物体の反射特性および光源情報をもとに物体までの距離を求める方法である。

[0161] なお、本発明に係る画像処理装置は、四輪自動車以外の車両、たとえば電動車椅子等に搭載することが可能である。また、車両以外にも、人やロボット等の移動体に搭載することもできる。さらに、画像処理装置全体が移動体に搭載されなくてもよぐたとえば、撮像部および出力部が移動体に搭載され、その他の構成部位が移動体の外に構成され、これらの間を無線通信で接続してもよい。

[0162] 以上の説明からも明らかなように、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的事項を逸脱しな、範囲内にお、て種々の設計変更等を施すことが可能である。

産業上の利用可能性

[0163] 以上のように、本発明に係る画像処理装置、画像処理方法および画像処理プログラムは、自車両の前方を撮像することによって自車両の前方を走行する先行車両や自車両の先方にある対象物を認識するのに有用であり、特に、車載用として好適である。

Claims

請求の範囲

[1] 所定の視野を撮像して画像を生成する撮像手段と、

前記撮像手段で生成した前記画像の中で処理を行うべき領域を設定する処理領域設定手段と、

前記処理領域設定手段で設定した前記領域に対して所定の処理演算を行う処理演算手段と、

を備えたことを特徴とする画像処理装置。

[2] 前記撮像手段で生成した前記画像に含まれる画像信号群に基づ！ヽて、前記視野内に含まれる物体が占める領域と該物体の種別とを識別する識別手段をさらに備え前記処理領域設定手段は、前記識別手段の識別結果に基づいて、前記物体までの距離を演算する演算範囲を設定する演算範囲設定手段を有し、

前記処理演算手段は、前記演算範囲設定手段が設定した前記演算範囲における距離演算を行う距離演算手段を有することを特徴とする請求項 1に記載の画像処理装置。

[3] 前記識別手段は、前記画像信号群に基づいて、前記物体の前記視野内における縦方向の境界を示す縦方向情報と前記物体の前記視野内における横方向の境界を示す横方向情報とを求め、該縦方向情報と該横方向情報とを組み合わせて前記物体が前記視野内にぉ、て占める領域を識別することを特徴とする請求項 2に記載の画像処理装置。

[4] 前記識別手段は、前記視野内において前記物体が占める領域に基づいて、該物体の種別を識別することを特徴とする請求項 2に記載の画像処理装置。

[5] 前記演算範囲設定手段は、前記識別手段が識別した前記物体の種別のうち、前記視野内にぉ、て所定の種別の物体が占める領域に基づ、て、前記演算範囲を設定することを特徴とする請求項 2に記載の画像処理装置。

[6] 前記演算範囲設定手段は、前記視野内において前記識別手段によって識別された前記物体が占める領域に所定の余裕領域を加えた領域に対応する前記演算範囲を設定することを特徴とする請求項 2に記載の画像処理装置。

[7] 前記撮像手段は、第 1の光路を介して撮像した第 1の前記画像信号群と、第 2の光路を介して撮像した第 2の前記画像信号群とを生成し、

前記処理演算手段は、前記第 2の画像信号群の中から前記第 1の画像信号群の任意の画像信号と整合する画像信号を検出し、該検出した画像信号における前記任意の画像信号力の移動量に基づいて前記物体までの距離を演算することを特徴とする請求項 2に記載の画像処理装置。

[8] 前記識別手段は、前記第 1の画像信号群および前記第 2の画像信号群の、ずれか一方に基づ、て、前記物体が前記視野内にぉ、て占める領域と該物体の種別とを識別することを特徴とする請求項 7に記載の画像処理装置。

[9] 前記撮像手段で撮像した撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した距離を含む距離情報を生成する距離情報生成手段と、

前記距離情報生成手段で生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択手段と、

をさらに備え、

前記処理演算手段は、前記処理選択手段で選択した画像処理手法を適用して前記画像に対する画像処理を行う画像処理手段を有することを特徴とする請求項 1〖こ記載の画像処理装置。

[10] 前記処理領域設定手段は、前記距離情報生成手段で生成した距離情報を前記画像に重畳して成る距離画像を生成し、この生成した距離画像に基づいて、前記撮像位置力の距離が所定の範囲内にある前記画像の構成点の組ごとに異なる閉領域を設定する距離画像生成手段を有することを特徴とする請求項 9に記載の画像処理装置。

[11] 前記処理選択手段は、前記距離画像生成手段で設定した閉領域ごとに画像処理手法を選択することを特徴とする請求項 10に記載の画像処理装置。

[12] 前記距離画像生成手段で設定した閉領域ごとに所定の対象物の検知を行う対象物検知手段をさらに備えたことを特徴とする請求項 10に記載の画像処理装置。

[13] 前記処理選択手段における画像処理手法の選択方法を変更する選択方法変更手段をさらに備えたことを特徴とする請求項 9に記載の画像処理装置。

[14] 前記撮像手段で生成した画像を該画像に係る時刻情報とともに記憶する記憶手段と、

前記撮像手段で撮像した画像から画像処理を行う対象物を検知する対象物検知手段と、

前記撮像手段の撮像位置から前記対象物検知手段で検知した対象物までの距離を算出する距離算出手段と、

前記記憶手段で記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測手段と、

をさらに備え、

前記処理領域設定手段は、前記位置予測手段における予測結果に基づ!ヽて画像処理を行う処理領域を設定し、

前記処理演算手段は、前記処理領域設定手段で設定した処理領域に対して所定の画像処理を行う画像処理手段を有することを特徴とする請求項 1に記載の画像処理装置。

[15] 前記位置予測手段における予測結果を用いて前記画像に射影する三次元空間モデルを形成するモデル形成手段をさらに備え、

前記処理領域設定手段は、前記モデル形成手段で形成した前記三次元空間モデルを前記画像に射影することによって前記処理領域を設定することを特徴とする請求項 14に記載の画像処理装置。

[16] 前記処理領域設定手段で設定した処理領域に対して行う画像処理の手法を変更する処理変更手段をさらに備えたことを特徴とする請求項 14に記載の画像処理装置

[17] 前記対象物検知手段で検知した対象物の時間経過に伴う三次元的な動きを時系列的に重畳して成る画像を表示出力する出力手段をさらに備えたことを特徴とする請求項 14に記載の画像処理装置。

[18] 前記移動体の位置または速度を含む移動状況を検知する移動状況検知手段をさらに備え、

前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の位置または速度を用いることを特徴とする請求項 14に記載の画像処理装置。

[19] 前記移動体の位置を含む移動状況を検知する移動状況検知手段と、

前記移動体が移動する領域の周辺を含む三次元地図情報を記憶する地図情報記憶手段と、をさらに備え、

前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記移動状況検知手段で検知した前記移動体の現在位置周辺の地図情報を前記地図情報記憶手段から読み出して参照することを特徴とする請求項 14に記載の画像処理装置。

[20] 前記移動体外部の外的情報を検知する外的情報検知手段をさらに備え、

前記位置予測手段は、前記移動体に対する前記対象物の相対位置を予測するに際して、前記外的情報検知手段で検知した前記移動体外部の情報を用いることを特徴とする請求項 14に記載の画像処理装置。

[21] 前記撮像手段は、

一対の撮像光学系と、

前記一対の撮像光学系の各々が出力する光信号を電気信号に変換する一対の撮像素子と、

を有することを特徴とする請求項 1に記載の画像処理装置。

[22] 前記撮像手段は、

一対の導光光学系と、

各導光光学系に対する撮像領域を有し各導光光学系が導いた光信号を各撮像領域におヽて電気信号に変換する撮像素子と、

を備えたことを特徴とする請求項 1に記載の画像処理装置。

[23] 当該画像処理装置は、車両に搭載されることを特徴とする請求項 1に記載の画像処理装置。

[24] 所定の視野を撮像して画像を生成する撮像ステップと、

前記撮像ステップで生成した前記画像の中で処理を行うべき領域を設定する処理領域設定ステップと、

前記処理領域設定ステップで設定した前記領域に対して所定の処理演算を行う処理演算ステップと、

を含むことを特徴とする画像処理方法。

[25] 前記撮像ステップで生成した前記画像に含まれる画像信号群に基づヽて、前記視野内において前記物体が占める領域と該物体の種別とを識別する識別ステップをさらに含み、

前記処理領域設定ステップは、前記識別ステップの識別結果に基づいて、前記物体までの距離を演算する演算範囲を設定し、

前記処理演算ステップは、前記処理領域設定ステップで設定した前記演算範囲における距離演算を行うことを特徴とする請求項 24に記載の画像処理方法。

[26] 前記撮像ステップで撮像した撮像位置カゝら前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した距離を含む距離情報を生成する距離情報生成ステップと、

前記距離情報生成ステップで生成した距離情報に対応する画像処理手法を複数の画像処理手法の中から選択する処理選択ステップと、

をさらに含み、

前記処理演算ステップは、前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行うことを特徴とする請求項 24に記載の画像処理方法。

[27] 前記撮像ステップで生成した画像を該画像に係る時刻情報とともに記憶する記憶ステップと、

前記撮像ステップで撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、

前記対象物検知ステップで対象物を検知した場合、前記撮像ステップでの撮像位置力も前記対象物までの距離を算出する距離算出ステップと、前記記憶ステップで記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、

をさらに含み、

前記処理領域設定ステップは、前記位置予測ステップにおける予測結果に基づヽて画像処理を行う処理領域を設定し、

前記処理演算ステップは、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行うことを特徴とする請求項 24に記載の画像処理方法。

[28] 所定の視野を撮像して画像を生成する撮像部によって生成された画像に対して画像処理を施す画像処理プログラムであって、

前記画像の中で処理を行うべき領域を設定する処理領域設定ステップと、前記処理領域設定ステップで設定した前記領域に対して所定の処理演算を行う処理演算ステップと、

を含むことを特徴とする画像処理プログラム。

[29] 前記撮像部で生成した前記画像に含まれる画像信号群に基づ！ヽて、前記視野内にお、て前記物体が占める領域と該物体の種別とを識別する識別ステップ

をさらに含み、

前記処理演算ステップは、前記処理領域設定ステップで設定した前記演算範囲における距離演算を行うことを特徴とする請求項 28に記載の画像処理プログラム。

[30] 前記撮像部の撮像位置から前記画像を構成する全ての構成点または一部の構成点までの距離を算出し、この算出した距離を含む距離情報を生成する距離情報生成ステップと、

をさらに含み、前記処理演算ステップは、前記処理選択ステップで選択した画像処理手法を適用して前記画像に対する画像処理を行うことを特徴とする請求項 28に記載の画像処理プログラム。

前記撮像部で生成した画像を該画像に係る時刻情報とともに記憶する記憶ステツプと、

前記撮像部で撮像した画像から画像処理を行う対象物を検知する対象物検知ステップと、

前記対象物検知ステップで対象物を検知した場合、前記撮像部の撮像位置から前記対象物までの距離を算出する距離算出ステップと、

前記記憶ステップで記憶した画像のうち、異なる時刻に撮像した少なくとも二つの画像を抽出し、この抽出した少なくとも二つの画像と各画像における前記対象物までの距離とを用いて所定時間経過後の前記移動体に対する前記対象物の相対位置を予測する位置予測ステップと、

をさらに含み、

前記処理演算ステップは、前記処理領域設定ステップで設定した処理領域に対して所定の画像処理を行うことを特徴とする請求項 28に記載の画像処理プログラム。