JP3167752B2 - 車輌用距離検出装置 - Google Patents
車輌用距離検出装置Info
- Publication number
- JP3167752B2 JP3167752B2 JP27431591A JP27431591A JP3167752B2 JP 3167752 B2 JP3167752 B2 JP 3167752B2 JP 27431591 A JP27431591 A JP 27431591A JP 27431591 A JP27431591 A JP 27431591A JP 3167752 B2 JP3167752 B2 JP 3167752B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- images
- minimum value
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、車外の設定範囲内の対
象を撮像し、この撮像画像から距離を検出する車輌用距
離検出装置に関する。
象を撮像し、この撮像画像から距離を検出する車輌用距
離検出装置に関する。
【０００２】
【従来の技術】人や物を運ぶ手段の１つである自動車等
の車輌は、その利便性と快適性から現代社会においてな
くてはならない存在となっている。そこで、自動車の持
つ優れた点を犠牲にすることなく、自動的に事故を回避
することのできる技術の開発が従来より進められてい
る。
の車輌は、その利便性と快適性から現代社会においてな
くてはならない存在となっている。そこで、自動車の持
つ優れた点を犠牲にすることなく、自動的に事故を回避
することのできる技術の開発が従来より進められてい
る。
【０００３】自動車の衝突を自動的に回避するために
は、走行の障害となる物体を検出することがまず第一に
重要であり、既に、レーダー、超音波、レーザーレーダ
ーなどを用いて障害物を検出する装置が実用化されてい
る。
は、走行の障害となる物体を検出することがまず第一に
重要であり、既に、レーダー、超音波、レーザーレーダ
ーなどを用いて障害物を検出する装置が実用化されてい
る。
【０００４】しかしながら、走行していく道筋を認識し
ながら、その道筋にある障害物を検出し、障害物までの
距離や速度を求める過程は複雑であり、これを実時間で
行なうことはかなりの困難を伴い、上述のレーダー、超
音波、レーザーレーダーなどを用いた装置では、特定の
方向に存在する物体しか検出できない。
ながら、その道筋にある障害物を検出し、障害物までの
距離や速度を求める過程は複雑であり、これを実時間で
行なうことはかなりの困難を伴い、上述のレーダー、超
音波、レーザーレーダーなどを用いた装置では、特定の
方向に存在する物体しか検出できない。
【０００５】一方、自動車の走行には、検出した障害物
が道路上の何処に存在しているのかを知る必要があり、
この点において、これらの装置では十分な情報は得られ
ない欠点がある。また、道路にはカーブなどもあり、カ
ーブに沿って広い範囲の障害物を検出する必要があり、
上述の装置のように特定方向の障害物のみを検出するの
では、不十分である。
が道路上の何処に存在しているのかを知る必要があり、
この点において、これらの装置では十分な情報は得られ
ない欠点がある。また、道路にはカーブなどもあり、カ
ーブに沿って広い範囲の障害物を検出する必要があり、
上述の装置のように特定方向の障害物のみを検出するの
では、不十分である。
【０００６】従って、最近では、車輌に搭載したカメラ
等により車外の対象風景を撮像し、この撮像した画像を
画像処理して車輌から対象物までの距離を求める計測技
術が有力な手段として採用されるようになった。
等により車外の対象風景を撮像し、この撮像した画像を
画像処理して車輌から対象物までの距離を求める計測技
術が有力な手段として採用されるようになった。
【０００７】この画像による距離計測技術は、単眼視像
からカメラ位置との関係を用いて対象物までの距離を推
定する技術と、複数のカメラにより、あるいは１つのカ
メラの位置を変えることにより複数の画像を撮像し、三
角測量の原理で対象物までの距離を求める技術とに大別
される。
からカメラ位置との関係を用いて対象物までの距離を推
定する技術と、複数のカメラにより、あるいは１つのカ
メラの位置を変えることにより複数の画像を撮像し、三
角測量の原理で対象物までの距離を求める技術とに大別
される。
【０００８】単眼視像による技術は、２次元画像から、
例えば、白線は白く細長く平面上に存在する等の特徴を
持つ対象物を抽出し、カメラの位置を仮定して距離を求
めるため、処理量も少なくコスト的にも有利である。
例えば、白線は白く細長く平面上に存在する等の特徴を
持つ対象物を抽出し、カメラの位置を仮定して距離を求
めるため、処理量も少なくコスト的にも有利である。
【０００９】例えば、特開平１−２４２９１６号公報に
は、１台のＴＶカメラを車内のフロントウインド中央上
部付近に取り付け、これから得られる画像を用いて、画
像中のあるサーベイ・ライン上の輝度分布パターンや、
２次元的な輝度分布パターンから障害物や道路の白線を
検出し、ＴＶカメラの取り付け位置や、方向、視野など
のパラメータから、障害物や白線の３次元位置を推定す
る技術が開示されている。
は、１台のＴＶカメラを車内のフロントウインド中央上
部付近に取り付け、これから得られる画像を用いて、画
像中のあるサーベイ・ライン上の輝度分布パターンや、
２次元的な輝度分布パターンから障害物や道路の白線を
検出し、ＴＶカメラの取り付け位置や、方向、視野など
のパラメータから、障害物や白線の３次元位置を推定す
る技術が開示されている。
【００１０】しかしながら、実際の道路上で撮影される
画像には、周囲の建物や木々などの様々な物体や背景が
写っており、この様な２次元画像の中から、前方車や対
向車、歩行者、電柱、道路の白線などの様々な対象物を
的確に検出することは困難であり、また、道路面に凹凸
がある場合や車輌がピッチングしている場合には、ＴＶ
カメラのパラメータから白線や障害物の３次元位置を推
定する際に、３次元位置の推定に大きな誤差を生じる次
点がある。
画像には、周囲の建物や木々などの様々な物体や背景が
写っており、この様な２次元画像の中から、前方車や対
向車、歩行者、電柱、道路の白線などの様々な対象物を
的確に検出することは困難であり、また、道路面に凹凸
がある場合や車輌がピッチングしている場合には、ＴＶ
カメラのパラメータから白線や障害物の３次元位置を推
定する際に、３次元位置の推定に大きな誤差を生じる次
点がある。
【００１１】すなわち、単眼視像による方法では、走行
中の前方風景には多くの類似した物体が存在するため、
２次元画像のみから正しく対象物を抽出できるとは限ら
ず、また、車輌のピッチング、急な坂道等の道路の勾配
如何によっては、カメラ位置の仮定が常に正しいとは言
えず、結局、認識結果が曖昧になるおそれがある。
中の前方風景には多くの類似した物体が存在するため、
２次元画像のみから正しく対象物を抽出できるとは限ら
ず、また、車輌のピッチング、急な坂道等の道路の勾配
如何によっては、カメラ位置の仮定が常に正しいとは言
えず、結局、認識結果が曖昧になるおそれがある。
【００１２】一方、複数の画像から三角測量の原理で距
離を求める技術は、左右画像における同一物体の位置の
相対的なずれから距離を求めるので、正確な距離を求め
ることができる。
離を求める技術は、左右画像における同一物体の位置の
相対的なずれから距離を求めるので、正確な距離を求め
ることができる。
【００１３】例えば、特開昭５９−１９７８１６号公報
には、２台のＴＶカメラを車輌前方に取り付け、各々の
ＴＶカメラの画像について、２次元的な輝度分布パター
ンから障害物を検出し、次に、２つの画像上における障
害物の位置のずれを求め、三角測量の原理によって障害
物の３次元位置を算出する方法が公開されている。
には、２台のＴＶカメラを車輌前方に取り付け、各々の
ＴＶカメラの画像について、２次元的な輝度分布パター
ンから障害物を検出し、次に、２つの画像上における障
害物の位置のずれを求め、三角測量の原理によって障害
物の３次元位置を算出する方法が公開されている。
【００１４】また、第２２回機械技術研究所研究講演会
資料（’８９．１０．２０）には、２台のＴＶカメラを
車輌前方の左右端に取り付け、まず、各々の画像を空間
微分して明暗変化点のみを抽出し、片方のカメラの画像
の走査を所定時間だけ遅延させてもう一方の画像と重ね
合わせ、２つの画像で一致する部分のうち、白線が持つ
輝度分布パターンの特徴やその幅の値から白線だけを抽
出し、遅延させた時間と三角測量の原理から抽出された
白線までの距離を算出する。そして、このような処理
を、遅延させる時間を連続的に変化させて行なうことに
より、近距離から遠距離までの白線の３次元位置を算出
する技術が提示されている。
資料（’８９．１０．２０）には、２台のＴＶカメラを
車輌前方の左右端に取り付け、まず、各々の画像を空間
微分して明暗変化点のみを抽出し、片方のカメラの画像
の走査を所定時間だけ遅延させてもう一方の画像と重ね
合わせ、２つの画像で一致する部分のうち、白線が持つ
輝度分布パターンの特徴やその幅の値から白線だけを抽
出し、遅延させた時間と三角測量の原理から抽出された
白線までの距離を算出する。そして、このような処理
を、遅延させる時間を連続的に変化させて行なうことに
より、近距離から遠距離までの白線の３次元位置を算出
する技術が提示されている。
【００１５】さらに、自動車技術誌（Ｖol. ４４ ＮO.
４ １９９０，Ｐ５４−５９）には、２台のカメラを車
輌前方の左右端に取り付け、各々のＴＶカメラの画像に
ついて２次元ウィンドウ内の輝度分布パターンから白線
を検出し、次に、左右の画像上における白線の位置のず
れを求め、三角測量の原理によって白線の３次元位置を
算出する技術が提示されている。
４ １９９０，Ｐ５４−５９）には、２台のカメラを車
輌前方の左右端に取り付け、各々のＴＶカメラの画像に
ついて２次元ウィンドウ内の輝度分布パターンから白線
を検出し、次に、左右の画像上における白線の位置のず
れを求め、三角測量の原理によって白線の３次元位置を
算出する技術が提示されている。
【００１６】
【発明が解決しようとする課題】以上の先行技術のよう
に、２台のＴＶカメラを用い、三角測量の原理によって
３次元位置を算出すれば、大きな誤差の発生は防止でき
る。しかしながら、これらの技術によっても、様々な物
体や背景が写っている２次元画像の中から、対象とする
白線や障害物を輝度分布パターンのみによって検出する
のは困難であり、３次元画像を用いることが極めて有利
なものとなるが、左右の画像のマッチングを繰り返して
行わなければならないことから処理量が膨大なものとな
り、処理速度の低下を招く。
に、２台のＴＶカメラを用い、三角測量の原理によって
３次元位置を算出すれば、大きな誤差の発生は防止でき
る。しかしながら、これらの技術によっても、様々な物
体や背景が写っている２次元画像の中から、対象とする
白線や障害物を輝度分布パターンのみによって検出する
のは困難であり、３次元画像を用いることが極めて有利
なものとなるが、左右の画像のマッチングを繰り返して
行わなければならないことから処理量が膨大なものとな
り、処理速度の低下を招く。
【００１７】これに対処するに、処理量を減らして、二
値化、エッジ検出、さらには、高度な特徴点の抽出、ウ
ィンドウの設定等、情報量の低下を伴う前処理を行なわ
ざるを得ず、距離が計測されるのは、二値化され得た物
体、エッジ等の特徴点の部分、或いはウィンドウ内のみ
であった。
値化、エッジ検出、さらには、高度な特徴点の抽出、ウ
ィンドウの設定等、情報量の低下を伴う前処理を行なわ
ざるを得ず、距離が計測されるのは、二値化され得た物
体、エッジ等の特徴点の部分、或いはウィンドウ内のみ
であった。
【００１８】従って、従来では、画像のなかの特定の部
分をあらかじめ抽出し、その部分の距離を求めるという
ように、情報量の低下を犠牲にして処理速度を高速化し
ており、人や電信柱、白線や道路端等の必要とされる対
象が排除されてしまうおそれがある。
分をあらかじめ抽出し、その部分の距離を求めるという
ように、情報量の低下を犠牲にして処理速度を高速化し
ており、人や電信柱、白線や道路端等の必要とされる対
象が排除されてしまうおそれがある。
【００１９】本発明は上記事情に鑑みてなされたもの
で、撮像した画像から、情報量を低下させることなく、
しかも高速に、画像全体に渡る距離分布を求めることの
できる車輌用距離検出装置を提供することを目的とす
る。
で、撮像した画像から、情報量を低下させることなく、
しかも高速に、画像全体に渡る距離分布を求めることの
できる車輌用距離検出装置を提供することを目的とす
る。
【００２０】
【課題を解決するための手段】第１の発明による車輌用
距離検出装置は、車外の設定範囲内の対象に対し、互い
に異なる方向から複数枚の画像を撮像する撮像系を備
え、上記撮像系で撮像した複数枚の画像を処理して画像
全体に渡る距離分布を出力する画像処理手段に、上記撮
像系で撮像した複数枚の画像の所定の領域毎に一致度を
計算する一致度計算部と、上記一致度計算部で計算した
一致度の最小値及び最大値を検出する最小・最大値検出
部と、上記最小・最大値検出部で検出した一致度の最小
値と最大値との差が規定値以上である場合に、該最小値
に基づいて、上記複数枚の画像の対応する画素位置のず
れ量を上記距離分布に係わる情報として決定するずれ量
決定部とを備えたものである。
距離検出装置は、車外の設定範囲内の対象に対し、互い
に異なる方向から複数枚の画像を撮像する撮像系を備
え、上記撮像系で撮像した複数枚の画像を処理して画像
全体に渡る距離分布を出力する画像処理手段に、上記撮
像系で撮像した複数枚の画像の所定の領域毎に一致度を
計算する一致度計算部と、上記一致度計算部で計算した
一致度の最小値及び最大値を検出する最小・最大値検出
部と、上記最小・最大値検出部で検出した一致度の最小
値と最大値との差が規定値以上である場合に、該最小値
に基づいて、上記複数枚の画像の対応する画素位置のず
れ量を上記距離分布に係わる情報として決定するずれ量
決定部とを備えたものである。
【００２１】第２の発明による車輌用距離検出装置は、
車外の設定範囲内の対象に対し、互いに異なる方向から
複数枚の画像を撮像する撮像系を備え、上記撮像系で撮
像した複数枚の画像を処理して画像全体に渡る距離分布
を出力する画像処理手段に、上記撮像系で撮像した複数
枚の画像の所定の領域毎に一致度を計算する一致度計算
部と、上記一致度計算部で計算した一致度の最小値を検
出する最小値検出部と、上記最小値検出部で検出した一
致度の最小値が所定値以下の場合に、該最小値に基づい
て、上記複数枚の画像の対応する画素位置のずれ量を上
記距離分布に係わる情報として決定するずれ量決定部と
を備えたものである。
車外の設定範囲内の対象に対し、互いに異なる方向から
複数枚の画像を撮像する撮像系を備え、上記撮像系で撮
像した複数枚の画像を処理して画像全体に渡る距離分布
を出力する画像処理手段に、上記撮像系で撮像した複数
枚の画像の所定の領域毎に一致度を計算する一致度計算
部と、上記一致度計算部で計算した一致度の最小値を検
出する最小値検出部と、上記最小値検出部で検出した一
致度の最小値が所定値以下の場合に、該最小値に基づい
て、上記複数枚の画像の対応する画素位置のずれ量を上
記距離分布に係わる情報として決定するずれ量決定部と
を備えたものである。
【００２２】第３の発明による車輌用距離検出装置は、
車外の設定範囲内の対象に対し、互いに異なる方向から
複数枚の画像を撮像する撮像系を備え、上記撮像系で撮
像した複数枚の画像を処理して画像全体に渡る距離分布
を出力する画像処理手段に、上記撮像系で撮像した複数
枚の画像を、所定の輝度階調を有するデジタル画像に変
換する画像変換部と、上記画像変換部で変換した複数枚
のデジタル画像の所定の領域毎に一致度を計算する一致
度計算部と、上記一致度計算部で計算した一致度の最小
値を検出する最小値検出部と、上記複数枚のデジタル画
像のうちの所定の画像の微小部分の輝度変化が所定値以
上の場合に、上記最小値検出部で検出した一致度の最小
値に基づいて、上記複数枚のデジタル画像の対応する画
素位置のずれ量を上記距離分布に係わる情報として決定
するずれ量決定部とを備えたものである。
車外の設定範囲内の対象に対し、互いに異なる方向から
複数枚の画像を撮像する撮像系を備え、上記撮像系で撮
像した複数枚の画像を処理して画像全体に渡る距離分布
を出力する画像処理手段に、上記撮像系で撮像した複数
枚の画像を、所定の輝度階調を有するデジタル画像に変
換する画像変換部と、上記画像変換部で変換した複数枚
のデジタル画像の所定の領域毎に一致度を計算する一致
度計算部と、上記一致度計算部で計算した一致度の最小
値を検出する最小値検出部と、上記複数枚のデジタル画
像のうちの所定の画像の微小部分の輝度変化が所定値以
上の場合に、上記最小値検出部で検出した一致度の最小
値に基づいて、上記複数枚のデジタル画像の対応する画
素位置のずれ量を上記距離分布に係わる情報として決定
するずれ量決定部とを備えたものである。
【００２３】第４の発明による車輌用距離検出装置は、
車外の設定範囲内の対象に対し、互いに異なる方向から
複数枚の画像を撮像する撮像系と、上記撮像系で撮像し
た複数枚の画像を、所定の輝度階調を有するデジタル画
像に変換する画像変換部と、上記画像変換部で変換した
複数枚のデジタル画像の所定の領域毎に一致度を計算す
る一致度計算部と、上記一致度計算部で計算した一致度
の最小値に基づいて、上記複数枚のデジタル画像の対応
する画素位置のずれ量を距離情報として決定するずれ量
決定部とを有するもので、上記画像変換部は、上記デジ
タル画像の画像全体を記憶する低速の画像メモリを備
え、上記一致度計算部は、上記画像メモリに記憶された
画像の一部を取り出して記憶する高速のバッファメモリ
を備えたものである。
車外の設定範囲内の対象に対し、互いに異なる方向から
複数枚の画像を撮像する撮像系と、上記撮像系で撮像し
た複数枚の画像を、所定の輝度階調を有するデジタル画
像に変換する画像変換部と、上記画像変換部で変換した
複数枚のデジタル画像の所定の領域毎に一致度を計算す
る一致度計算部と、上記一致度計算部で計算した一致度
の最小値に基づいて、上記複数枚のデジタル画像の対応
する画素位置のずれ量を距離情報として決定するずれ量
決定部とを有するもので、上記画像変換部は、上記デジ
タル画像の画像全体を記憶する低速の画像メモリを備
え、上記一致度計算部は、上記画像メモリに記憶された
画像の一部を取り出して記憶する高速のバッファメモリ
を備えたものである。
【００２４】第５の発明による車輌用距離検出装置は、
２つの撮像手段により撮像された一対の２次元画像に基
づいて画像全体に渡る距離分布を求める車輌用距離検出
装置において、上記一対の２次元画像の複数のラインの
それぞれにおいて、一方の２次元画像における所定ライ
ン上の小領域に対して、他方の２次元画像の上記所定ラ
インに対応するライン上においてシティブロック距離が
最小となる画素位置のずれ量を上記小領域に係わる距離
情報として決定することにより、画像全体に渡る距離分
布を求める画像処理手段を具備するものである。第６の
発明による車輌用距離検出装置は、２つの撮像手段によ
り撮像された一対の２次元画像に基づいて画像全体に渡
る距離分布を求める車輌用距離検出装置において、一方
の２次元画像における所定の小領域に対して、他方の２
次元画像における複数の比較領域のそれぞれと順次シテ
ィブロック距離を算出し、該シティブロック距離が最小
となる比較領域のずれ量を上記所定小領域に係わる距離
情報として決定する画像処理手段を有するもので、上記
画像処理手段は、上記所定小領域とそれぞれの比較領域
の対応する画素同士の輝度差の絶対値を求める複数の絶
対値演算器と、該絶対値演算器にピラミッド状に接続さ
れ上記複数の絶対値を段階的に加算してシティブロック
距離を演算する複数段の加算器とを備えてなり、上記所
定小領域と上記複数の比較領域とのシティブロック距離
をパイプライン処理にて順次算出するシティブロック距
離計算回路を具備するものである。第７の発明による車
輌用距離検出装置は、第６の発明による車輌用距離検出
装置において、上記画像処理手段は、上記シティブロッ
ク距離計算回路によるパイプライン処理と並行して、上
記シティブロック距離計算回路から出力される上記所定
小領域に対応する複数のシティブロック距離の最小値を
抽出する最小値検出回路を具備するものである。
２つの撮像手段により撮像された一対の２次元画像に基
づいて画像全体に渡る距離分布を求める車輌用距離検出
装置において、上記一対の２次元画像の複数のラインの
それぞれにおいて、一方の２次元画像における所定ライ
ン上の小領域に対して、他方の２次元画像の上記所定ラ
インに対応するライン上においてシティブロック距離が
最小となる画素位置のずれ量を上記小領域に係わる距離
情報として決定することにより、画像全体に渡る距離分
布を求める画像処理手段を具備するものである。第６の
発明による車輌用距離検出装置は、２つの撮像手段によ
り撮像された一対の２次元画像に基づいて画像全体に渡
る距離分布を求める車輌用距離検出装置において、一方
の２次元画像における所定の小領域に対して、他方の２
次元画像における複数の比較領域のそれぞれと順次シテ
ィブロック距離を算出し、該シティブロック距離が最小
となる比較領域のずれ量を上記所定小領域に係わる距離
情報として決定する画像処理手段を有するもので、上記
画像処理手段は、上記所定小領域とそれぞれの比較領域
の対応する画素同士の輝度差の絶対値を求める複数の絶
対値演算器と、該絶対値演算器にピラミッド状に接続さ
れ上記複数の絶対値を段階的に加算してシティブロック
距離を演算する複数段の加算器とを備えてなり、上記所
定小領域と上記複数の比較領域とのシティブロック距離
をパイプライン処理にて順次算出するシティブロック距
離計算回路を具備するものである。第７の発明による車
輌用距離検出装置は、第６の発明による車輌用距離検出
装置において、上記画像処理手段は、上記シティブロッ
ク距離計算回路によるパイプライン処理と並行して、上
記シティブロック距離計算回路から出力される上記所定
小領域に対応する複数のシティブロック距離の最小値を
抽出する最小値検出回路を具備するものである。
【００２５】
【作用】第１の発明では、車外の設定範囲内の対象に対
して互いに異なる方向から複数枚の画像を撮像し、この
撮像した複数枚の画像の所定の領域毎に一致度を計算
し、一致度の最小値及び最大値を検出する。そして、検
出した一致度の最小値と最大値との差が規定値以上であ
る場合に、検出した一致度の最小値に基づいて、複数枚
の画像の対応する画素位置のずれ量を距離分布に係わる
情報として決定する。
して互いに異なる方向から複数枚の画像を撮像し、この
撮像した複数枚の画像の所定の領域毎に一致度を計算
し、一致度の最小値及び最大値を検出する。そして、検
出した一致度の最小値と最大値との差が規定値以上であ
る場合に、検出した一致度の最小値に基づいて、複数枚
の画像の対応する画素位置のずれ量を距離分布に係わる
情報として決定する。
【００２６】第２の発明では、車外の設定範囲内の対象
に対して互いに異なる方向から複数枚の画像を撮像し、
この撮像した複数枚の画像の所定の領域毎に一致度を計
算し、一致度の最小値を検出する。そして、検出した一
致度の最小値が所定値以下の場合に、検出した一致度の
最小値に基づいて、複数枚の画像の対応する画素位置の
ずれ量を距離分布に係わる情報として決定する。
に対して互いに異なる方向から複数枚の画像を撮像し、
この撮像した複数枚の画像の所定の領域毎に一致度を計
算し、一致度の最小値を検出する。そして、検出した一
致度の最小値が所定値以下の場合に、検出した一致度の
最小値に基づいて、複数枚の画像の対応する画素位置の
ずれ量を距離分布に係わる情報として決定する。
【００２７】第３の発明では、車外の設定範囲内の対象
に対して互いに異なる方向から複数枚の画像を撮像し、
この撮像した複数枚の画像を所定の輝度階調を有するデ
ジタル画像に変換し、これらの複数枚のデジタル画像の
所定の領域毎に一致度を計算し、一致度の最小値を検出
する。そして、複数枚のデジタル画像のうちの所定の画
像の微小部分の輝度変化が所定値以上の場合に、検出し
た一致度の最小値に基づいて、複数枚のデジタル画像の
対応する画素位置のずれ量を距離分布に係わる情報とし
て決定する。
に対して互いに異なる方向から複数枚の画像を撮像し、
この撮像した複数枚の画像を所定の輝度階調を有するデ
ジタル画像に変換し、これらの複数枚のデジタル画像の
所定の領域毎に一致度を計算し、一致度の最小値を検出
する。そして、複数枚のデジタル画像のうちの所定の画
像の微小部分の輝度変化が所定値以上の場合に、検出し
た一致度の最小値に基づいて、複数枚のデジタル画像の
対応する画素位置のずれ量を距離分布に係わる情報とし
て決定する。
【００２８】第４の発明では、車外の設定範囲内の対象
に対して互いに異なる方向から複数枚の画像を撮像し、
この撮像した複数枚の画像を所定の輝度階調を有するデ
ジタル画像に変換して画像全体を低速の画像メモリに記
憶する。そして、画像メモリに記憶された画像の一部を
高速のバッファメモリに記憶して所定の領域毎に一致度
を計算し、一致度の最小値に基づいて複数枚のデジタル
画像の対応する画素位置のずれ量を距離情報として決定
する。
に対して互いに異なる方向から複数枚の画像を撮像し、
この撮像した複数枚の画像を所定の輝度階調を有するデ
ジタル画像に変換して画像全体を低速の画像メモリに記
憶する。そして、画像メモリに記憶された画像の一部を
高速のバッファメモリに記憶して所定の領域毎に一致度
を計算し、一致度の最小値に基づいて複数枚のデジタル
画像の対応する画素位置のずれ量を距離情報として決定
する。
【００２９】第５の発明では、２つの撮像手段により撮
像された一対の２次元画像の複数のラインのそれぞれに
おいて、一方の２次元画像における所定ライン上の小領
域に対して、他方の２次元画像の対応するライン上にお
いてシティブロック距離が最小となる画素位置のずれ量
を小領域に係わる距離情報として決定することにより、
画像全体に渡る距離分布を求める。第６の発明では、２
つの撮像手段により撮像された一対の２次元画像に対
し、一方の２次元画像における所定の小領域と他方の２
次元画像における複数の比較領域とでそれぞれ順次シテ
ィブロック距離を算出する際、絶対値演算器で所定小領
域とそれぞれの比較領域の対応する画素同士の輝度差の
絶対値を求め、絶対値演算器にピラミッド状に接続され
る複数段の加算器で複数の絶対値を段階的に加算するこ
とによりパイプライン処理を行い、シティブロック距離
を高速に算出する。そして、シティブロック距離が最小
となる比較領域のずれ量を所定小領域に係わる距離情報
として決定する。第７の発明では、第６の発明におい
て、シティブロック距離計算回路から出力される所定小
領域に対応する複数のシティブロック距離の最小値を抽
出する処理を、シティブロック距離計算回路によるパイ
プライン処理と並行して最小値検出回路で行うことによ
り更なる高速化を図り、所定小領域に係わる距離情報を
高速に決定することを可能とする。
像された一対の２次元画像の複数のラインのそれぞれに
おいて、一方の２次元画像における所定ライン上の小領
域に対して、他方の２次元画像の対応するライン上にお
いてシティブロック距離が最小となる画素位置のずれ量
を小領域に係わる距離情報として決定することにより、
画像全体に渡る距離分布を求める。第６の発明では、２
つの撮像手段により撮像された一対の２次元画像に対
し、一方の２次元画像における所定の小領域と他方の２
次元画像における複数の比較領域とでそれぞれ順次シテ
ィブロック距離を算出する際、絶対値演算器で所定小領
域とそれぞれの比較領域の対応する画素同士の輝度差の
絶対値を求め、絶対値演算器にピラミッド状に接続され
る複数段の加算器で複数の絶対値を段階的に加算するこ
とによりパイプライン処理を行い、シティブロック距離
を高速に算出する。そして、シティブロック距離が最小
となる比較領域のずれ量を所定小領域に係わる距離情報
として決定する。第７の発明では、第６の発明におい
て、シティブロック距離計算回路から出力される所定小
領域に対応する複数のシティブロック距離の最小値を抽
出する処理を、シティブロック距離計算回路によるパイ
プライン処理と並行して最小値検出回路で行うことによ
り更なる高速化を図り、所定小領域に係わる距離情報を
高速に決定することを可能とする。
【００３０】
【実施例】以下、図面を参照して本発明の実施例を説明
する。図面は本発明の一実施例を示し、図１は距離検出
装置の回路ブロック図、図２は距離検出装置の全体構成
図、図３は車輌の正面図、図４は距離検出装置の動作を
示すフローチャート、図５はカメラと被写体との関係を
示す説明図、図６は視野角の説明図、図７は遠距離の上
下視野角を示す説明図、図８は近距離の上下視野角を示
す説明図、図９はシフトレジスタ内の保存順序を示す説
明図、図１０はシティブロック距離計算回路の説明図、
図１１は最小値検出回路のブロック図、図１２はシティ
ブロック距離計算回路の動作を示すタイミングチャー
ト、図１３はずれ量決定部の動作を示すタイミングチャ
ート、図１４は全体の動作を示すタイミングチャートで
ある。
する。図面は本発明の一実施例を示し、図１は距離検出
装置の回路ブロック図、図２は距離検出装置の全体構成
図、図３は車輌の正面図、図４は距離検出装置の動作を
示すフローチャート、図５はカメラと被写体との関係を
示す説明図、図６は視野角の説明図、図７は遠距離の上
下視野角を示す説明図、図８は近距離の上下視野角を示
す説明図、図９はシフトレジスタ内の保存順序を示す説
明図、図１０はシティブロック距離計算回路の説明図、
図１１は最小値検出回路のブロック図、図１２はシティ
ブロック距離計算回路の動作を示すタイミングチャー
ト、図１３はずれ量決定部の動作を示すタイミングチャ
ート、図１４は全体の動作を示すタイミングチャートで
ある。
【００３１】［構 成］ 図２において、符号１は自動車などの車輌であり、この
車輌１に、車外の設置範囲内の対象を撮像して距離を検
出する距離検出装置２が搭載されている。この距離検出
装置２は、例えば図示しない道路・障害物認識装置など
に接続されて障害物監視装置を構成し、運転者に対する
警告、車体の自動衝突回避等の動作を行なうようになっ
ている。
車輌１に、車外の設置範囲内の対象を撮像して距離を検
出する距離検出装置２が搭載されている。この距離検出
装置２は、例えば図示しない道路・障害物認識装置など
に接続されて障害物監視装置を構成し、運転者に対する
警告、車体の自動衝突回避等の動作を行なうようになっ
ている。
【００３２】上記距離検出装置２は、車外の設定範囲内
の対象を撮像する撮像系としてのステレオ光学系１０
と、このステレオ光学系１０によって撮像した画像を処
理し、３次元の距離情報を算出する画像処理手段として
のステレオ画像処理装置２０とを備えており、このステ
レオ画像処理装置２０で算出した３次元距離情報が道路
・障害物認識装置などに取り込まれ、道路形状及び車輌
１に対する障害物が認識される。
の対象を撮像する撮像系としてのステレオ光学系１０
と、このステレオ光学系１０によって撮像した画像を処
理し、３次元の距離情報を算出する画像処理手段として
のステレオ画像処理装置２０とを備えており、このステ
レオ画像処理装置２０で算出した３次元距離情報が道路
・障害物認識装置などに取り込まれ、道路形状及び車輌
１に対する障害物が認識される。
【００３３】上記ステレオ光学系１０は、例えば電荷結
合素子（ＣＣＤ）等の固体撮像素子を用いたカメラによ
り構成され、図３に示すように、遠距離の左右画像用と
しての２台のＣＣＤカメラ１１ａ，１１ｂ（代表してＣ
ＣＤカメラ１１と表記する場合もある）が、それぞれ車
室内の天井前方に取り付けられるとともに、近距離の左
右画像用としての２台のＣＣＤカメラ１２ａ，１２ｂ
（代表してＣＣＤカメラ１２と表記する場合もある）
が、それぞれ、遠距離用のＣＣＤカメラ１１ａ，１１ｂ
の内側に取り付けられている。
合素子（ＣＣＤ）等の固体撮像素子を用いたカメラによ
り構成され、図３に示すように、遠距離の左右画像用と
しての２台のＣＣＤカメラ１１ａ，１１ｂ（代表してＣ
ＣＤカメラ１１と表記する場合もある）が、それぞれ車
室内の天井前方に取り付けられるとともに、近距離の左
右画像用としての２台のＣＣＤカメラ１２ａ，１２ｂ
（代表してＣＣＤカメラ１２と表記する場合もある）
が、それぞれ、遠距離用のＣＣＤカメラ１１ａ，１１ｂ
の内側に取り付けられている。
【００３４】上記ステレオ光学系１０として、直近から
例えば１００ｍ遠方までの距離計測を行なう場合、車室
内のＣＣＤカメラ１１、１２の取付位置を、例えば、車
輌１のボンネット先端から２ｍとすると、実際には前方
２ｍから１００ｍまでの位置を計測できれば良い。
例えば１００ｍ遠方までの距離計測を行なう場合、車室
内のＣＣＤカメラ１１、１２の取付位置を、例えば、車
輌１のボンネット先端から２ｍとすると、実際には前方
２ｍから１００ｍまでの位置を計測できれば良い。
【００３５】すなわち、図５に示すように、遠距離用の
２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとし
て、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄに
ある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂ
の焦点距離を共にｆとすると、点Ｐの像は、それぞれの
カメラについて焦点位置からｆだけ離れた投影面に写
る。
２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとし
て、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄに
ある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂ
の焦点距離を共にｆとすると、点Ｐの像は、それぞれの
カメラについて焦点位置からｆだけ離れた投影面に写
る。
【００３６】このとき、右のＣＣＤカメラ１１ｂにおけ
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋ｘとなり、このｘをずれ量とする
と、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求め
ることができる。
る像の位置から左のＣＣＤカメラ１１ａにおける像の位
置までの距離は、ｒ＋ｘとなり、このｘをずれ量とする
と、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求め
ることができる。
【００３７】 Ｄ＝ｒ・ｆ／ｘ （１） 例えば、車輌１が１００ｋｍ／ｈで走行中、１００ｍ遠
方の静止物体の距離と相対速度を検出する場合には、ひ
とつの物体に対し複数の画素の距離分布が得られるた
め、それらを平均することにより精度の高い距離が得ら
れるが、最悪の場合を考慮すると、０．３秒の間の走行
距離、約９ｍで少なくともずれ量ｘが１画素分変化しな
ければならない。
方の静止物体の距離と相対速度を検出する場合には、ひ
とつの物体に対し複数の画素の距離分布が得られるた
め、それらを平均することにより精度の高い距離が得ら
れるが、最悪の場合を考慮すると、０．３秒の間の走行
距離、約９ｍで少なくともずれ量ｘが１画素分変化しな
ければならない。
【００３８】従って、距離Ｄ０においてずれ量ｘがΔｘ
だけ変化したときの距離の変化量ΔＤは、上記（１）式
より導かれる以下の（２）式で表すことができる。
だけ変化したときの距離の変化量ΔＤは、上記（１）式
より導かれる以下の（２）式で表すことができる。
【００３９】 ΔＤ＝−Ｄ０2 ／（ｒ・ｆ）・Δｘ （２） ここで、上記ＣＣＤカメラ１１，１２のＣＣＤ素子の有
効面積を、ブラック領域を除いて例えば８ｍｍ（Ｈ）×
６ｍｍ（Ｖ）とし、ＣＣＤ素子の１画素の大きさを１１
μｍ×１３μｍとすると、横方向の画素数は７２７とな
る。但し、画像を取り込む際の横方向分割数としては、
処理上の扱い易さから５１２画素とすると、ＣＣＤ面上
での１画素の長さは８ｍｍ／５１２×１０００＝１５．
６μｍとなり、これらの値を上記（２）式に代入してｒ
・ｆ値を求めると、ｒ・ｆ＝１７３ｃｍ2 になる。
効面積を、ブラック領域を除いて例えば８ｍｍ（Ｈ）×
６ｍｍ（Ｖ）とし、ＣＣＤ素子の１画素の大きさを１１
μｍ×１３μｍとすると、横方向の画素数は７２７とな
る。但し、画像を取り込む際の横方向分割数としては、
処理上の扱い易さから５１２画素とすると、ＣＣＤ面上
での１画素の長さは８ｍｍ／５１２×１０００＝１５．
６μｍとなり、これらの値を上記（２）式に代入してｒ
・ｆ値を求めると、ｒ・ｆ＝１７３ｃｍ2 になる。
【００４０】焦点距離ｆは必要とする視野角θとＣＣＤ
素子の実際の距離計測幅とから求められる。この視野角
θは、例えば高速道路における８０ｋｍ／ｈ設計の特例
値である曲率半径２３０ｍの道路を走行中、１００ｍ先
までを視界に含めることができるものであるとすると、
図６に示すように、視野角θは、ｒ＝２３０，ｌ＝１０
０として、θ＝ｓｉｎ -1 （ｌ／ｒ）より、θ＝２５°が
求められる。
素子の実際の距離計測幅とから求められる。この視野角
θは、例えば高速道路における８０ｋｍ／ｈ設計の特例
値である曲率半径２３０ｍの道路を走行中、１００ｍ先
までを視界に含めることができるものであるとすると、
図６に示すように、視野角θは、ｒ＝２３０，ｌ＝１０
０として、θ＝ｓｉｎ -1 （ｌ／ｒ）より、θ＝２５°が
求められる。
【００４１】前述したように、ＣＣＤ素子の有効幅は８
mmであるが、実際に距離を計測できるのは、有効幅から
領域探索する幅を除いたものとなり、視野角、最短検出
距離、処理時間等を総合的に考慮して、探索する幅を例
えば１００画素とすると、距離を計測できる幅は６．３
ｍｍとなる。
mmであるが、実際に距離を計測できるのは、有効幅から
領域探索する幅を除いたものとなり、視野角、最短検出
距離、処理時間等を総合的に考慮して、探索する幅を例
えば１００画素とすると、距離を計測できる幅は６．３
ｍｍとなる。
【００４２】従って、焦点距離ｆは、ｆ＝６．３ｍｍ／
（２・ｔａｎ（２５／２））＝１４．２ｍｍとなるが、
この値に近く入手の容易な焦点距離ｆ＝１６ｍｍのレン
ズを採用すると、２つのカメラの間隔ｒは、ｒ＝１７３
ｃｍ2 ／１．６ｃｍ＝１０８ｃｍとなる。
（２・ｔａｎ（２５／２））＝１４．２ｍｍとなるが、
この値に近く入手の容易な焦点距離ｆ＝１６ｍｍのレン
ズを採用すると、２つのカメラの間隔ｒは、ｒ＝１７３
ｃｍ2 ／１．６ｃｍ＝１０８ｃｍとなる。
【００４３】その結果、最短測定距離は、上記（１）式
より、Ｄ＝１７３ｃｍ2 ／（１００×１５．６μｍ）＝
１１．１ｍとなり、仮に２ｍまで測定しようとしても、
ｘ＝１７３ｃｍ2 ／２ｍ＝８６５０μｍ＝５５４画素と
なり、１画面の幅を超えてしまうことがわかる。
より、Ｄ＝１７３ｃｍ2 ／（１００×１５．６μｍ）＝
１１．１ｍとなり、仮に２ｍまで測定しようとしても、
ｘ＝１７３ｃｍ2 ／２ｍ＝８６５０μｍ＝５５４画素と
なり、１画面の幅を超えてしまうことがわかる。
【００４４】そこで、近距離用の２台のＣＣＤカメラ１
２ａ，１２ｂにより、２ｍの距離でずれ量ｘが１００画
素になるようなｒ・ｆ値を上記（１）式より計算する
と、ｒ・ｆ＝１００×１５．６μｍ×２ｍ＝３１．２ｃ
ｍ2 となる。この近距離用のＣＣＤカメラ１２ａ，１２
ｂで測定可能な最長距離として１０画素ずれるときの距
離を考えると、Ｄ＝３１．２ｃｍ2 ／（１０×１５．６
μｍ）＝２０ｍとなる。従って、遠距離用のＣＣＤカメ
ラ１１ａ，１１ｂと近距離用のＣＤカメラ１２ａ，１２
ｂによる測定範囲は、１１．１ｍから２０ｍでオーバー
ラップし、この遠距離用及び近距離用の２組のカメラで
２ｍから１００ｍ遠方まで計測できることがわかる。
２ａ，１２ｂにより、２ｍの距離でずれ量ｘが１００画
素になるようなｒ・ｆ値を上記（１）式より計算する
と、ｒ・ｆ＝１００×１５．６μｍ×２ｍ＝３１．２ｃ
ｍ2 となる。この近距離用のＣＣＤカメラ１２ａ，１２
ｂで測定可能な最長距離として１０画素ずれるときの距
離を考えると、Ｄ＝３１．２ｃｍ2 ／（１０×１５．６
μｍ）＝２０ｍとなる。従って、遠距離用のＣＣＤカメ
ラ１１ａ，１１ｂと近距離用のＣＤカメラ１２ａ，１２
ｂによる測定範囲は、１１．１ｍから２０ｍでオーバー
ラップし、この遠距離用及び近距離用の２組のカメラで
２ｍから１００ｍ遠方まで計測できることがわかる。
【００４５】次に、上下方向の視野角について説明す
る。高さ方向の視野は水平な道路において、遠距離用の
ＣＣＤカメラ１１ａ，１１ｂの最短測定距離ｌmin であ
る１１．１ｍの地点において、地上から例えば１．５ｍ
の高さｈupまで視野に入るようにすると、ＣＣＤカメラ
１１ａ，１１ｂの取付位置ｈ0 を地上から１．２ｍとし
て、図７から明かなように、遠距離用では、仰角α＝ｔ
ａｎ -1 （ｈup−ｈ0 ／ｌmin ）＝１．５°、伏角β＝ｔ
ａｎ -1 （ｈ0 ／ｌmin ）＝６．２°になる。
る。高さ方向の視野は水平な道路において、遠距離用の
ＣＣＤカメラ１１ａ，１１ｂの最短測定距離ｌmin であ
る１１．１ｍの地点において、地上から例えば１．５ｍ
の高さｈupまで視野に入るようにすると、ＣＣＤカメラ
１１ａ，１１ｂの取付位置ｈ0 を地上から１．２ｍとし
て、図７から明かなように、遠距離用では、仰角α＝ｔ
ａｎ -1 （ｈup−ｈ0 ／ｌmin ）＝１．５°、伏角β＝ｔ
ａｎ -1 （ｈ0 ／ｌmin ）＝６．２°になる。
【００４６】この遠距離用のＣＣＤカメラ１１ａ，１１
ｂの焦点距離ｆが１６ｍｍであることと、ＣＣＤ素子の
縦方向の画素間隔が１３μｍであることから、１画面の
縦方向の画素数を求めると１８４画素になり、ピッチン
グの影響を考慮すると２００画素となる。
ｂの焦点距離ｆが１６ｍｍであることと、ＣＣＤ素子の
縦方向の画素間隔が１３μｍであることから、１画面の
縦方向の画素数を求めると１８４画素になり、ピッチン
グの影響を考慮すると２００画素となる。
【００４７】同様に、近距離用のＣＣＤカメラ１２ａ，
１２ｂの最短測定距離ｌmin である２．０ｍの地点にお
いて、地上から１．５ｍの高さｈupまで視野に入るよう
にすると、近距離用のＣＣＤカメラ１２ａ，１２ｂの取
付位置ｈ0 は、遠距離用と同様に地上から１．２ｍであ
り、図８から明かなように、近距離用では、仰角α＝
８．５°、伏角β＝３１°となる。
１２ｂの最短測定距離ｌmin である２．０ｍの地点にお
いて、地上から１．５ｍの高さｈupまで視野に入るよう
にすると、近距離用のＣＣＤカメラ１２ａ，１２ｂの取
付位置ｈ0 は、遠距離用と同様に地上から１．２ｍであ
り、図８から明かなように、近距離用では、仰角α＝
８．５°、伏角β＝３１°となる。
【００４８】この場合においても、処理を簡単にするた
め遠距離用と同じく縦方向を２００画素にすると、近距
離用のＣＣＤカメラ１２ａ，１２ｂでは、焦点距離ｆ＝
５．５ｍｍ以下のレンズを用いることになるが、歪がな
く入手の容易なｆ＝６ｍｍのレンズを採用すると、この
レンズの２ｍ前方で視野に入る物体の高さは１．４２ｍ
となる。また、横方向の視野角θは６７°となり、近距
離用の２台のＣＣＤカメラ１２ａ，１２ｂの間隔ｒは、
ｒ＝３１．２ｃｍ2 ／０．６ｃｍ＝５２ｃｍとなる。
め遠距離用と同じく縦方向を２００画素にすると、近距
離用のＣＣＤカメラ１２ａ，１２ｂでは、焦点距離ｆ＝
５．５ｍｍ以下のレンズを用いることになるが、歪がな
く入手の容易なｆ＝６ｍｍのレンズを採用すると、この
レンズの２ｍ前方で視野に入る物体の高さは１．４２ｍ
となる。また、横方向の視野角θは６７°となり、近距
離用の２台のＣＣＤカメラ１２ａ，１２ｂの間隔ｒは、
ｒ＝３１．２ｃｍ2 ／０．６ｃｍ＝５２ｃｍとなる。
【００４９】一方、左右画像のずれ量ｘを検出するに
は、左右画像における同一物体の像を見つけ出す必要が
あり、本発明では、次に述べるステレオ画像処理装置２
０において、画像を小領域に分割し、それぞれの小領域
内の輝度あるいは色のパターンを左右画像で比較して一
致する領域を見つけ出し、全画面に渡って距離分布を求
める。従って、従来のように、エッジ、線分、特殊な形
など、何らかの特徴を抽出し、それらの特徴が一致する
部分を見つけ出すことによる情報量の低下を避けること
ができる。
は、左右画像における同一物体の像を見つけ出す必要が
あり、本発明では、次に述べるステレオ画像処理装置２
０において、画像を小領域に分割し、それぞれの小領域
内の輝度あるいは色のパターンを左右画像で比較して一
致する領域を見つけ出し、全画面に渡って距離分布を求
める。従って、従来のように、エッジ、線分、特殊な形
など、何らかの特徴を抽出し、それらの特徴が一致する
部分を見つけ出すことによる情報量の低下を避けること
ができる。
【００５０】左右画像の一致度は、右画像、左画像のｉ
番目画素の輝度（色を用いても良い）を、それぞれ、Ａ
ｉ、Ｂｉとすると、例えば、以下の（３）式に示すシテ
ィブロック距離Ｈによって評価することができ、平均値
の採用による情報量の低下もなく、乗算がないことから
演算速度を向上させることができる。
番目画素の輝度（色を用いても良い）を、それぞれ、Ａ
ｉ、Ｂｉとすると、例えば、以下の（３）式に示すシテ
ィブロック距離Ｈによって評価することができ、平均値
の採用による情報量の低下もなく、乗算がないことから
演算速度を向上させることができる。
【００５１】 Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （３） また、分割すべき小領域の大きさとしては、大きすぎる
と、その領域内に遠方物体と近くの物体が混在する可能
性が高くなり、検出される距離が曖昧になる。画像の距
離分布を得るためにも領域は小さい方が良いが、小さす
ぎると、一致度を調べるための情報量が不足する。
と、その領域内に遠方物体と近くの物体が混在する可能
性が高くなり、検出される距離が曖昧になる。画像の距
離分布を得るためにも領域は小さい方が良いが、小さす
ぎると、一致度を調べるための情報量が不足する。
【００５２】このため、例えば、１００ｍ先にある幅
１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含ま
れないように、４つに分割される画素数を領域横幅の最
大値とすると、上記ステレオ光学系１０に対して４画素
となる。この値を基準に最適な画素数を実際の画像で試
行した結果、縦横共に４画素となる。
１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含ま
れないように、４つに分割される画素数を領域横幅の最
大値とすると、上記ステレオ光学系１０に対して４画素
となる。この値を基準に最適な画素数を実際の画像で試
行した結果、縦横共に４画素となる。
【００５３】以下の説明では、画像を４×４の小領域で
分割して左右画像の一致度を調べるものとし、ステレオ
光学系１０は、遠距離用のＣＣＤカメラ１１ａ，１１ｂ
で代表するものとする。
分割して左右画像の一致度を調べるものとし、ステレオ
光学系１０は、遠距離用のＣＣＤカメラ１１ａ，１１ｂ
で代表するものとする。
【００５４】図１に示すように、ステレオ画像処理装置
２０は、上記ステレオ光学系１０で撮像したアナログ画
像をデジタル画像に変換する画像変換部３０、この画像
変換部３０からの画像データに対し、左右画像のずれ量
ｘを決定するためのシティブロック距離Ｈを画素を一つ
ずつずらしながら次々と計算する一致度計算部としての
シティブロック距離計算部４０、シティブロック距離Ｈ
の最小値ＨMIN 及び最大値ＨMAX を検出する最小・最大
値検出部５０、この最小・最大値検出部５０で得られた
最小値ＨMIN が左右小領域の一致を示すものであるか否
かをチェックしてずれ量ｘを決定するずれ量決定部６０
を備えている。
２０は、上記ステレオ光学系１０で撮像したアナログ画
像をデジタル画像に変換する画像変換部３０、この画像
変換部３０からの画像データに対し、左右画像のずれ量
ｘを決定するためのシティブロック距離Ｈを画素を一つ
ずつずらしながら次々と計算する一致度計算部としての
シティブロック距離計算部４０、シティブロック距離Ｈ
の最小値ＨMIN 及び最大値ＨMAX を検出する最小・最大
値検出部５０、この最小・最大値検出部５０で得られた
最小値ＨMIN が左右小領域の一致を示すものであるか否
かをチェックしてずれ量ｘを決定するずれ量決定部６０
を備えている。
【００５５】上記画像変換部３０では、左右画像用のＣ
ＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ
３１ａ，３１ｂが備えられ、各Ａ／Ｄコンバータ３１
ａ，３１ｂに、データテーブルとしてのルックアップテ
ーブル（ＬＵＴ）３２ａ，３２ｂ、上記ＣＣＤカメラ１
１ａ，１１ｂで撮像した画像を記憶する画像メモリ３３
ａ，３３ｂが、それぞれ接続されている。
ＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ
３１ａ，３１ｂが備えられ、各Ａ／Ｄコンバータ３１
ａ，３１ｂに、データテーブルとしてのルックアップテ
ーブル（ＬＵＴ）３２ａ，３２ｂ、上記ＣＣＤカメラ１
１ａ，１１ｂで撮像した画像を記憶する画像メモリ３３
ａ，３３ｂが、それぞれ接続されている。
【００５６】Ａ／Ｄコンバータ３１ａ，３１ｂは、例え
ば８ビットの分解能を有し、左右のＣＣＤカメラ１１
ａ，１１ｂからのアナログ画像を、所定の輝度階調を有
するデジタル画像に変換する。すなわち、処理の高速化
のため画像の二値化を行なうと、左右画像の一致度を計
算するための情報が著しく失われるため、例えば２５６
階調のグレースケールに変換するのである。
ば８ビットの分解能を有し、左右のＣＣＤカメラ１１
ａ，１１ｂからのアナログ画像を、所定の輝度階調を有
するデジタル画像に変換する。すなわち、処理の高速化
のため画像の二値化を行なうと、左右画像の一致度を計
算するための情報が著しく失われるため、例えば２５６
階調のグレースケールに変換するのである。
【００５７】また、ＬＵＴ３２ａ，３２ｂはＲＯＭ上に
構成され、上記Ａ／Ｄコンバータ３１ａ，３１ｂでデジ
タル量に変換された画像に対し、低輝度部分のコントラ
ストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの
特性の違いを補正する。そして、ＬＵＴ３２ａ，３２ｂ
で変換された信号は、一旦、画像メモリ３３ａ，３３ｂ
に記憶される。
構成され、上記Ａ／Ｄコンバータ３１ａ，３１ｂでデジ
タル量に変換された画像に対し、低輝度部分のコントラ
ストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの
特性の違いを補正する。そして、ＬＵＴ３２ａ，３２ｂ
で変換された信号は、一旦、画像メモリ３３ａ，３３ｂ
に記憶される。
【００５８】上記画像メモリ３３ａ，３３ｂは、後述す
るように、シティブロック距離計算部４０で画像の一部
を繰り返し取り出して処理するため、比較的低速のメモ
リから構成することができ、コスト低減を図ることがで
きる。
るように、シティブロック距離計算部４０で画像の一部
を繰り返し取り出して処理するため、比較的低速のメモ
リから構成することができ、コスト低減を図ることがで
きる。
【００５９】上記シティブロック距離計算部４０では、
上記画像変換部３０の左画像用の画像メモリ３３ａに、
共通バス８０を介して２組の入力バッファメモリ４１
ａ，４１ｂが接続されるとともに、右画像用の画像メモ
リ３３ｂに、共通バス８０を介して２組の入力バッファ
メモリ４２ａ，４２ｂが接続されている。
上記画像変換部３０の左画像用の画像メモリ３３ａに、
共通バス８０を介して２組の入力バッファメモリ４１
ａ，４１ｂが接続されるとともに、右画像用の画像メモ
リ３３ｂに、共通バス８０を介して２組の入力バッファ
メモリ４２ａ，４２ｂが接続されている。
【００６０】上記左画像用の各入力バッファメモリ４１
ａ，４１ｂには、２組の例えば８段構成のシフトレジス
タ４３ａ，４３ｂが接続され、右画像用の各入力バッフ
ァメモリ４２ａ，４２ｂには、同様に、２組の例えば８
段構成のシフトレジスタ４４ａ，４４ｂが接続されてい
る。さらに、これら４組のシフトレジスタ４３ａ，４３
ｂ，４４ａ，４４ｂには、シティブロック距離を計算す
るシティブロック距離計算回路４５が接続されている。
ａ，４１ｂには、２組の例えば８段構成のシフトレジス
タ４３ａ，４３ｂが接続され、右画像用の各入力バッフ
ァメモリ４２ａ，４２ｂには、同様に、２組の例えば８
段構成のシフトレジスタ４４ａ，４４ｂが接続されてい
る。さらに、これら４組のシフトレジスタ４３ａ，４３
ｂ，４４ａ，４４ｂには、シティブロック距離を計算す
るシティブロック距離計算回路４５が接続されている。
【００６１】また、上記右画像用のシフトレジスタ４４
ａ、４４ｂには、後述するずれ量決定部６０の２組の１
０段構成のシフトレジスタ６４ａ，６４ｂが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Ｈの計算の終わった古いデータはこれらのシフ
トレジスタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の
際に用いられる。
ａ、４４ｂには、後述するずれ量決定部６０の２組の１
０段構成のシフトレジスタ６４ａ，６４ｂが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Ｈの計算の終わった古いデータはこれらのシフ
トレジスタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の
際に用いられる。
【００６２】また、シティブロック距離計算回路４５
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速ＣＭＯＳ型演算器４６を組み合わせており、図１
０に詳細が示されるように、演算器４６を１６個ピラミ
ッド状に接続したパイプライン構造で、例えば８画素分
を同時に入力して計算するようになっている。このピラ
ミッド型構造の初段は、絶対値演算器、２段〜４段は、
それぞれ、第１加算器、第２加算器、第３加算器を構成
し、最終段は総和加算器となっている。
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速ＣＭＯＳ型演算器４６を組み合わせており、図１
０に詳細が示されるように、演算器４６を１６個ピラミ
ッド状に接続したパイプライン構造で、例えば８画素分
を同時に入力して計算するようになっている。このピラ
ミッド型構造の初段は、絶対値演算器、２段〜４段は、
それぞれ、第１加算器、第２加算器、第３加算器を構成
し、最終段は総和加算器となっている。
【００６３】尚、図１０においては、絶対値計算と１，
２段目の加算器は半分のみ表示している。
２段目の加算器は半分のみ表示している。
【００６４】また、上記各入力バッファメモリ４１ａ，
４１ｂ，４２ａ，４２ｂは、シティブロック距離計算の
速度に応じた比較的小容量の高速タイプであり、入出力
が分離し、クロック発生回路８５から供給されるクロッ
クに従って、＃１アドレスコントローラ８６によって発
生されるアドレスが共通に与えられる。また、４組のシ
フトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂとの転送
は、＃２アドレスコントローラ８７によって制御され
る。
４１ｂ，４２ａ，４２ｂは、シティブロック距離計算の
速度に応じた比較的小容量の高速タイプであり、入出力
が分離し、クロック発生回路８５から供給されるクロッ
クに従って、＃１アドレスコントローラ８６によって発
生されるアドレスが共通に与えられる。また、４組のシ
フトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂとの転送
は、＃２アドレスコントローラ８７によって制御され
る。
【００６５】尚、シティブロック距離Ｈの計算をコンピ
ュータのソフトウエアで行なう場合、右画像の一つの小
領域に対して左画像の小領域を次々に探索し、これを右
画像の小領域全部について行なう必要があり、この計算
を例えば０．０８秒で行なうとすると、一画素当たり例
えば５ステップのプログラムで、５００ＭＩＰＳ（Mega
Instruction Per Second ）の能力が要求される。これ
は現在の一般的なシスク（ＣＩＳＣ）タイプのマイクロ
プロセッサでは実現不可能な数字であり、リスク（ＲＩ
ＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳ
Ｐ）、あるいは、並列プロセッサなどを用いなければな
らなくなる。
ュータのソフトウエアで行なう場合、右画像の一つの小
領域に対して左画像の小領域を次々に探索し、これを右
画像の小領域全部について行なう必要があり、この計算
を例えば０．０８秒で行なうとすると、一画素当たり例
えば５ステップのプログラムで、５００ＭＩＰＳ（Mega
Instruction Per Second ）の能力が要求される。これ
は現在の一般的なシスク（ＣＩＳＣ）タイプのマイクロ
プロセッサでは実現不可能な数字であり、リスク（ＲＩ
ＳＣ）プロセッサ、デジタルシグナルプロセッサ（ＤＳ
Ｐ）、あるいは、並列プロセッサなどを用いなければな
らなくなる。
【００６６】上記最小・最大値検出部５０は、シティブ
ロック距離Ｈの最小値ＨMIN を検出する最小値検出回路
５１とシティブロック距離Ｈの最大値ＨMAX を検出する
最大値検出回路５２とを備えており、上記シティブロッ
ク距離計算回路４５で使用する演算器４６を最小値、最
大値検出用として２個使用した構成となっており、シテ
ィブロック距離Ｈの出力と同期が取られるようになって
いる。
ロック距離Ｈの最小値ＨMIN を検出する最小値検出回路
５１とシティブロック距離Ｈの最大値ＨMAX を検出する
最大値検出回路５２とを備えており、上記シティブロッ
ク距離計算回路４５で使用する演算器４６を最小値、最
大値検出用として２個使用した構成となっており、シテ
ィブロック距離Ｈの出力と同期が取られるようになって
いる。
【００６７】図１１に示すように、最小値検出回路５１
は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６
ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃから
なる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッ
チ５５を接続して構成され、シティブロック距離計算回
路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５
３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６
の出力の最上位ビット（ＭＳＢ）がラッチ５４に出力さ
れる。このラッチ５４の出力は、Ｂレジスタ４６ｂ及び
Ｄラッチ５５に出力され、演算器４６での最小値計算の
途中の値が、Ｂレジスタ４６ｂに保存されるとともに、
そのときのずれ量ｘがＤラッチ５５に保存されるように
なっている。
は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６
ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃから
なる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッ
チ５５を接続して構成され、シティブロック距離計算回
路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５
３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６
の出力の最上位ビット（ＭＳＢ）がラッチ５４に出力さ
れる。このラッチ５４の出力は、Ｂレジスタ４６ｂ及び
Ｄラッチ５５に出力され、演算器４６での最小値計算の
途中の値が、Ｂレジスタ４６ｂに保存されるとともに、
そのときのずれ量ｘがＤラッチ５５に保存されるように
なっている。
【００６８】尚、最大値検出回路５２については、論理
が逆になることと、ずれ量ｘを保存しないこと以外は、
最小値検出回路５１と同様の構成である。
が逆になることと、ずれ量ｘを保存しないこと以外は、
最小値検出回路５１と同様の構成である。
【００６９】前述したようにシティブロック距離Ｈは、
一つの右画像小領域に対し、左画像小領域を１画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Ｈの値が出力される毎に、これまでの値の最大
値ＨMAX 、最小値ＨMIN と比較、更新することによっ
て、最後のシティブロック距離Ｈの出力とほぼ同時に、
その小領域におけるシティブロック距離Ｈの最大値ＨMA
X 、最小値ＨMIN が求まるようになっている。
一つの右画像小領域に対し、左画像小領域を１画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Ｈの値が出力される毎に、これまでの値の最大
値ＨMAX 、最小値ＨMIN と比較、更新することによっ
て、最後のシティブロック距離Ｈの出力とほぼ同時に、
その小領域におけるシティブロック距離Ｈの最大値ＨMA
X 、最小値ＨMIN が求まるようになっている。
【００７０】上記ずれ量決定部６０は、比較的小規模の
ＲＩＳＣプロセッサとして構成され、演算器６１を中心
として、２本の１６ビット幅データバス６２ａ，６２
ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値と
してのしきい値Ｈa を保持するラッチ６３ｂ、第２の規
定値としてのしきい値Ｈb を保持するラッチ６３ｃ、第
３の規定値としてのしきい値Ｈc を保持するラッチ６３
ｄ、右画像の輝度データを保持する２組のシフトレジス
タ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘ
または”０”を出力するスイッチ回路６５、そして出力
された結果を一時保存する出力バッファメモリ６６ａ，
６６ｂ、回路の動作タイミングや演算器６１の機能の制
御プログラムが書き込まれた１６ビット幅のＲＯＭ６７
が備えられている。
ＲＩＳＣプロセッサとして構成され、演算器６１を中心
として、２本の１６ビット幅データバス６２ａ，６２
ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値と
してのしきい値Ｈa を保持するラッチ６３ｂ、第２の規
定値としてのしきい値Ｈb を保持するラッチ６３ｃ、第
３の規定値としてのしきい値Ｈc を保持するラッチ６３
ｄ、右画像の輝度データを保持する２組のシフトレジス
タ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘ
または”０”を出力するスイッチ回路６５、そして出力
された結果を一時保存する出力バッファメモリ６６ａ，
６６ｂ、回路の動作タイミングや演算器６１の機能の制
御プログラムが書き込まれた１６ビット幅のＲＯＭ６７
が備えられている。
【００７１】上記演算器６１は、ＡＬＵ７０を中心とし
て、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７
３、及び、セレクタ７４からなり、上記データバス６２
ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接
続されるとともに、上記データバス６２ｂ（以下、Ｂバ
ス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ
７０の演算結果で上記スイッチ回路６５を作動し、ずれ
量ｘまたは“０”が上記出力バッファメモリ６６ａ，６
６ｂに格納されるようになっている。
て、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７
３、及び、セレクタ７４からなり、上記データバス６２
ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接
続されるとともに、上記データバス６２ｂ（以下、Ｂバ
ス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ
７０の演算結果で上記スイッチ回路６５を作動し、ずれ
量ｘまたは“０”が上記出力バッファメモリ６６ａ，６
６ｂに格納されるようになっている。
【００７２】上記Ａバス６２ａには、各しきい値Ｈa 、
Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、
上記最大値検出回路５２が接続され、上記Ｂバス６２ｂ
には、上記最小値検出回路５１が接続されている。さら
に、上記Ａバス６２ａ及びＢバス６２ｂには、上記各シ
フトレジスタ６４ａ，６４ｂが接続されている。
Ｈb 、Ｈc を保持するラッチ６３ｂ，６３ｃ，６３ｄ、
上記最大値検出回路５２が接続され、上記Ｂバス６２ｂ
には、上記最小値検出回路５１が接続されている。さら
に、上記Ａバス６２ａ及びＢバス６２ｂには、上記各シ
フトレジスタ６４ａ，６４ｂが接続されている。
【００７３】また、上記スイッチ回路６５には、上記演
算器６１が接続されるとともに、上記ラッチ６３ａを介
して上記最小値検出回路５１が接続され、後述する３つ
のチェック条件が演算器６１で判定され、その判定結果
に応じて上記出力バッファメモリ６６ａ，６６ｂへの出
力が切り換えられる。
算器６１が接続されるとともに、上記ラッチ６３ａを介
して上記最小値検出回路５１が接続され、後述する３つ
のチェック条件が演算器６１で判定され、その判定結果
に応じて上記出力バッファメモリ６６ａ，６６ｂへの出
力が切り換えられる。
【００７４】このずれ量決定部６０では、得られたシテ
ィブロック距離Ｈの最小値ＨMIN が本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ６６ａ，６６ｂ
の対応する画素の位置にずれ量ｘを出力する。
ィブロック距離Ｈの最小値ＨMIN が本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ６６ａ，６６ｂ
の対応する画素の位置にずれ量ｘを出力する。
【００７５】すなわち、シティブロック距離Ｈが最小と
なるずれ量が求めるずれ量ｘとなる訳であるが、以下の
３つのチェック条件を満足した場合にずれ量ｘを出力
し、満足しない場合には、データを採用せずに“０”を
出力する。
なるずれ量が求めるずれ量ｘとなる訳であるが、以下の
３つのチェック条件を満足した場合にずれ量ｘを出力
し、満足しない場合には、データを採用せずに“０”を
出力する。
【００７６】（１）ＨMIN ≦Ｈa （ＨMIN ＞Ｈa のとき
には距離を検出できず。） （２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMIN の近傍の
値との差でなく、最大値ＨMAX との差をチェック対象と
することにより、曲面などの緩やかに輝度の変わる物体
に対しても距離検出が行なえる。） （３）右画像の小領域内の横方向の隣接画素間の輝度差
＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Ｈc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。）尚、このずれ量決
定の処理も、通常のマイクロプロセッサでソフト的に行
おうとすると、例えば２７ＭＩＰＳの速さが必要とな
り、実行不可能である。
には距離を検出できず。） （２）ＨMAX −ＨMIN ≧Ｈb （得られた最小値ＨMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値ＨMIN の近傍の
値との差でなく、最大値ＨMAX との差をチェック対象と
することにより、曲面などの緩やかに輝度の変わる物体
に対しても距離検出が行なえる。） （３）右画像の小領域内の横方向の隣接画素間の輝度差
＞Ｈc （しきい値Ｈc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Ｈc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。）尚、このずれ量決
定の処理も、通常のマイクロプロセッサでソフト的に行
おうとすると、例えば２７ＭＩＰＳの速さが必要とな
り、実行不可能である。
【００７７】以上のずれ量決定部６０から出力される最
終結果である距離分布情報は、道路・障害物認識装置な
どの外部装置へのインターフェースとなるデュアルポー
トメモリ９０へ共通バス８０を介して書き込まれる。
終結果である距離分布情報は、道路・障害物認識装置な
どの外部装置へのインターフェースとなるデュアルポー
トメモリ９０へ共通バス８０を介して書き込まれる。
【００７８】［動 作］ 次に、図４に示すフローチャートに従って、ステレオ画
像処理装置２０を中心として本実施例の動作を説明す
る。
像処理装置２０を中心として本実施例の動作を説明す
る。
【００７９】まず、ステップS101で左右のＣＣＤカメラ
１１ａ，１１ｂによって撮像した画像を入力すると、ス
テップS102で、入力した画像をＡ／Ｄ変換した後、ＬＵ
Ｔ３２ａ，３２ｂで補正し、画像メモリ３３ａ，３３ｂ
に記憶する。
１１ａ，１１ｂによって撮像した画像を入力すると、ス
テップS102で、入力した画像をＡ／Ｄ変換した後、ＬＵ
Ｔ３２ａ，３２ｂで補正し、画像メモリ３３ａ，３３ｂ
に記憶する。
【００８０】これらの画像メモリ３３ａ，３３ｂに記憶
される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素
子の全ラインのうち、その後の処理に必要なラインのみ
であり、例えば０．１秒に１回の割合（テレビ画像で３
枚に１枚の割合）で書き換えられる。
される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素
子の全ラインのうち、その後の処理に必要なラインのみ
であり、例えば０．１秒に１回の割合（テレビ画像で３
枚に１枚の割合）で書き換えられる。
【００８１】次に、ステップS103へ進むと、左右画像用
の画像メモリ３３ａ，３３ｂから入力バッファメモリ４
１ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介し
て、例えば４ラインずつ左右画像データが読み込まれ、
読み込んだ左右画像のマッチング、すなわち一致度の評
価が行なわれる。
の画像メモリ３３ａ，３３ｂから入力バッファメモリ４
１ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介し
て、例えば４ラインずつ左右画像データが読み込まれ、
読み込んだ左右画像のマッチング、すなわち一致度の評
価が行なわれる。
【００８２】その際、左右の画像毎に、上記画像メモリ
３３ａ，３３ｂから上記入力バッファメモリ４１ａ，４
１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジ
スタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み
動作とが交互に行なわれる。例えば、左画像では、画像
メモリ３３ａから一方の入力バッファメモリ４１ａに画
像データが読み込まれている間に、他方の入力バッファ
メモリ４１ｂからシフトレジスタ４３ｂへ読み込んだ画
像データの書き出しが行なわれ、右画像では、画像メモ
リ３３ｂから一方の入力バッファメモリ４２ａに画像デ
ータが読み込まれている間に、他方の入力バッファメモ
リ４２ｂからシフトレジスタ４４ｂへ読み込んだ画像デ
ータの書き出しが行なわれる。
３３ａ，３３ｂから上記入力バッファメモリ４１ａ，４
１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジ
スタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み
動作とが交互に行なわれる。例えば、左画像では、画像
メモリ３３ａから一方の入力バッファメモリ４１ａに画
像データが読み込まれている間に、他方の入力バッファ
メモリ４１ｂからシフトレジスタ４３ｂへ読み込んだ画
像データの書き出しが行なわれ、右画像では、画像メモ
リ３３ｂから一方の入力バッファメモリ４２ａに画像デ
ータが読み込まれている間に、他方の入力バッファメモ
リ４２ｂからシフトレジスタ４４ｂへ読み込んだ画像デ
ータの書き出しが行なわれる。
【００８３】そして、図９に示すように、上記シフトレ
ジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４
×４画素の小領域の画像データ（１，１）…（４，４）
が保存され、一方のシフトレジスタ４３ａ（４４ａ）に
は１、２ラインのデータが、もう一方のシフトレジスタ
４３ｂ（４４ｂ）には３、４ラインのデータが、それぞ
れ１画素毎に奇数ライン、偶数ラインの順序で入る。
ジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４
×４画素の小領域の画像データ（１，１）…（４，４）
が保存され、一方のシフトレジスタ４３ａ（４４ａ）に
は１、２ラインのデータが、もう一方のシフトレジスタ
４３ｂ（４４ｂ）には３、４ラインのデータが、それぞ
れ１画素毎に奇数ライン、偶数ラインの順序で入る。
【００８４】上記各シフトレジスタ４３ａ，４３ｂ，４
４ａ，４４ｂは、それぞれが独立した転送ラインを持
ち、４×４画素のデータは例えば８クロックで転送され
る。そして、これらのシフトレジスタ４３ａ，４３ｂ，
４４ａ，４４ｂは、８段のうちの偶数段の内容を同時に
シティブロック距離計算回路４５に出力し、シティブロ
ック距離Ｈの計算が始まると、右画像のデータはシフト
レジスタ４４ａ，４４ｂ内に保持されて、クロック毎に
奇数ライン、偶数ラインのデータが交互に出力され、一
方、左画像のデータはシフトレジスタ４３ａ，４３ｂに
転送され続け、奇数ライン、偶数ラインのデータが交互
に出力されつつ、２クロック毎に１画素分右のほうにず
れたデータに置き換わっていく。この動作を、例えば１
００画素分ずれるまで（２００クロック）繰り返す。
４ａ，４４ｂは、それぞれが独立した転送ラインを持
ち、４×４画素のデータは例えば８クロックで転送され
る。そして、これらのシフトレジスタ４３ａ，４３ｂ，
４４ａ，４４ｂは、８段のうちの偶数段の内容を同時に
シティブロック距離計算回路４５に出力し、シティブロ
ック距離Ｈの計算が始まると、右画像のデータはシフト
レジスタ４４ａ，４４ｂ内に保持されて、クロック毎に
奇数ライン、偶数ラインのデータが交互に出力され、一
方、左画像のデータはシフトレジスタ４３ａ，４３ｂに
転送され続け、奇数ライン、偶数ラインのデータが交互
に出力されつつ、２クロック毎に１画素分右のほうにず
れたデータに置き換わっていく。この動作を、例えば１
００画素分ずれるまで（２００クロック）繰り返す。
【００８５】その後、一つの小領域に対する転送が終了
すると、＃２アドレスコントローラ８７内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容（次
の４×４画素の小領域の先頭アドレス）がセットされ、
次の小領域の処理が始まる。シティブロック距離計算回
路４５では、図１２のタイミングチャートに示すよう
に、まず、ピラミッド型構造初段の絶対値演算器に８画
素分のデータを入力し、左右画像の輝度差の絶対値を計
算する。すなわち、右画素の輝度から対応する左画素の
輝度を引き算し、結果が負になった場合、演算命令を変
えることにより、引く方と引かれる方を逆にして再び引
き算を行なうことにより、絶対値の計算を行なう。従っ
て、初段では引き算を２回行なう場合がある。
すると、＃２アドレスコントローラ８７内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容（次
の４×４画素の小領域の先頭アドレス）がセットされ、
次の小領域の処理が始まる。シティブロック距離計算回
路４５では、図１２のタイミングチャートに示すよう
に、まず、ピラミッド型構造初段の絶対値演算器に８画
素分のデータを入力し、左右画像の輝度差の絶対値を計
算する。すなわち、右画素の輝度から対応する左画素の
輝度を引き算し、結果が負になった場合、演算命令を変
えることにより、引く方と引かれる方を逆にして再び引
き算を行なうことにより、絶対値の計算を行なう。従っ
て、初段では引き算を２回行なう場合がある。
【００８６】次いで、初段を通過すると、２段目から４
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のシティブロック距離Ｈを２クロッ
ク毎に最小・最大値検出部５０へ出力する。
段目までの第１ないし第３加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする１６画素分のシティブロック距離Ｈを２クロッ
ク毎に最小・最大値検出部５０へ出力する。
【００８７】次に、ステップS104へ進み、上記ステップ
S103で算出したシティブロック距離Ｈの最大値ＨMAX 、
最小値ＨMIN を検出する。前述したように、この最大値
ＨMAX の検出と最小値ＨMIN の検出とは、互いに論理が
逆になることと、ずれ量を保存しないこと以外は、全く
同じであるため、以下、代表して最小値ＨMIN の検出に
ついて説明する。
S103で算出したシティブロック距離Ｈの最大値ＨMAX 、
最小値ＨMIN を検出する。前述したように、この最大値
ＨMAX の検出と最小値ＨMIN の検出とは、互いに論理が
逆になることと、ずれ量を保存しないこと以外は、全く
同じであるため、以下、代表して最小値ＨMIN の検出に
ついて説明する。
【００８８】まず、最初に出力されてきたシティブロッ
ク距離Ｈ（ずれ量ｘ＝０）が、図１１に示す最小値検出
回路５１のＣラッチ５３を介して、演算器４６のＢレジ
スタ４６ｂに入力される。次のクロックで出力されてき
たシティブロック距離Ｈ（ずれ量ｘ＝１）は、Ｃラッチ
５３と演算器４６のＡレジスタ４６ａとに入れられ、演
算器４６では、同時に、Ｂレジスタ４６ｂとの比較演算
が始まる。
ク距離Ｈ（ずれ量ｘ＝０）が、図１１に示す最小値検出
回路５１のＣラッチ５３を介して、演算器４６のＢレジ
スタ４６ｂに入力される。次のクロックで出力されてき
たシティブロック距離Ｈ（ずれ量ｘ＝１）は、Ｃラッチ
５３と演算器４６のＡレジスタ４６ａとに入れられ、演
算器４６では、同時に、Ｂレジスタ４６ｂとの比較演算
が始まる。
【００８９】上記演算器４６での比較演算の結果、Ｂレ
ジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方
が小さければ、次のクロックのときに、Ｃラッチ５３の
内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ
４６ｂに送られ、このときのずれ量ｘがＤラッチ５５に
保存される。このクロックで同時に、次のシティブロッ
ク距離Ｈ（ずれ量ｘ＝２）がＡレジスタ４６ａとＣラッ
チ５３に入れられ、再び比較演算が始まる。
ジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方
が小さければ、次のクロックのときに、Ｃラッチ５３の
内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ
４６ｂに送られ、このときのずれ量ｘがＤラッチ５５に
保存される。このクロックで同時に、次のシティブロッ
ク距離Ｈ（ずれ量ｘ＝２）がＡレジスタ４６ａとＣラッ
チ５３に入れられ、再び比較演算が始まる。
【００９０】このようにして、計算途中での最小値が常
にＢレジスタ４６ｂに、そのときのずれ量ｘがＤラッチ
５５に保存されながら、ずれ量ｘが１００になるまで計
算が続けられる。計算が終了すると（最後のシティブロ
ック距離Ｈが出力されてから１クロック後）、Ｂレジス
タ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読
み込まれる。
にＢレジスタ４６ｂに、そのときのずれ量ｘがＤラッチ
５５に保存されながら、ずれ量ｘが１００になるまで計
算が続けられる。計算が終了すると（最後のシティブロ
ック距離Ｈが出力されてから１クロック後）、Ｂレジス
タ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読
み込まれる。
【００９１】この間に、前述したシティブロック距離計
算回路４５では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Ｈを計算するのに、例えば４クロックかかる
が、パイプライン構造をとっているため、２クロック毎
に新たな計算結果が得られる。
算回路４５では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Ｈを計算するのに、例えば４クロックかかる
が、パイプライン構造をとっているため、２クロック毎
に新たな計算結果が得られる。
【００９２】ステップS105では、上記ステップ104 でシ
ティブロック距離Ｈの最小値ＨMIN、最大値ＨMAX が確
定すると、ずれ量決定部６０にて、前述した３つの条件
がチェックされ、ずれ量ｘが決定される。
ティブロック距離Ｈの最小値ＨMIN、最大値ＨMAX が確
定すると、ずれ量決定部６０にて、前述した３つの条件
がチェックされ、ずれ量ｘが決定される。
【００９３】すなわち、図１３のタイミングチャートに
示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算
器６１のＢレジスタ７２にラッチされるとともに、この
Ｂレジスタ７２の値と比較されるしきい値Ｈa がＡバス
６２ａを介してＡレジスタ７１にラッチされる。そして
ＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小
値ＨMIN の方が大きければ、スイッチ回路６５がリセッ
トされ、以後のチェックの如何に係わらず常に０が出力
されるようになる。
示すように、Ｂバス６２ｂを介して最小値ＨMIN が演算
器６１のＢレジスタ７２にラッチされるとともに、この
Ｂレジスタ７２の値と比較されるしきい値Ｈa がＡバス
６２ａを介してＡレジスタ７１にラッチされる。そして
ＡＬＵ７０で両者が比較され、しきい値Ｈa よりも最小
値ＨMIN の方が大きければ、スイッチ回路６５がリセッ
トされ、以後のチェックの如何に係わらず常に０が出力
されるようになる。
【００９４】次に、Ａレジスタ７１に最大値ＨMAX がラ
ッチされ、このＡレジスタ７１にラッチされた最大値Ｈ
MAX とＢレジスタ７２に保存されている最小値ＨMIN と
の差が計算されて、その結果がＦレジスタ７３に出力さ
れる。次のクロックでＡレジスタ７１にしきい値Ｈb が
ラッチされ、Ｆレジスタ７３の値と比較される。Ａレジ
スタ７１にラッチされたしきい値Ｈb よりもＦレジスタ
７３の内容の方が小さければ同様にスイッチ回路６５が
リセットされる。
ッチされ、このＡレジスタ７１にラッチされた最大値Ｈ
MAX とＢレジスタ７２に保存されている最小値ＨMIN と
の差が計算されて、その結果がＦレジスタ７３に出力さ
れる。次のクロックでＡレジスタ７１にしきい値Ｈb が
ラッチされ、Ｆレジスタ７３の値と比較される。Ａレジ
スタ７１にラッチされたしきい値Ｈb よりもＦレジスタ
７３の内容の方が小さければ同様にスイッチ回路６５が
リセットされる。
【００９５】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている２組のシ
フトレジスタ６４ａ，６４ｂは１０段構成であり、それ
ぞれ、シティブロック距離計算部４０の１，２ライン用
のシフトレジスタ４４ａと、３，４ライン用のシフトレ
ジスタ４４ｂの後段に接続されている。上記シフトレジ
スタ６４ａ，６４ｂの出力は最後の段とその２つ手前の
段から取り出され、それぞれが、Ａバス６２ａとＢバス
６２ｂとに出力される。
の計算が始まる。輝度データが保存されている２組のシ
フトレジスタ６４ａ，６４ｂは１０段構成であり、それ
ぞれ、シティブロック距離計算部４０の１，２ライン用
のシフトレジスタ４４ａと、３，４ライン用のシフトレ
ジスタ４４ｂの後段に接続されている。上記シフトレジ
スタ６４ａ，６４ｂの出力は最後の段とその２つ手前の
段から取り出され、それぞれが、Ａバス６２ａとＢバス
６２ｂとに出力される。
【００９６】輝度差の計算が始まるとき、上記シフトレ
ジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第４
行第１列の輝度データと、今回の小領域の第１行第１列
の輝度データとが、演算器６１のＡレジスタ７１とＢレ
ジスタ７２とにラッチされる。
ジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第４
行第１列の輝度データと、今回の小領域の第１行第１列
の輝度データとが、演算器６１のＡレジスタ７１とＢレ
ジスタ７２とにラッチされる。
【００９７】そして、Ａレジスタ７１の内容とＢレジス
タ７２の内容の差の絶対値が計算され、結果がＦレジス
タ７３に保存される。次のクロックでＡレジスタ７１に
しきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較
される。
タ７２の内容の差の絶対値が計算され、結果がＦレジス
タ７３に保存される。次のクロックでＡレジスタ７１に
しきい値Ｈc がラッチされ、Ｆレジスタ７３の値と比較
される。
【００９８】上記演算器６１での比較結果、Ａレジスタ
の内容（しきい値Ｈc ）よりもＦレジスタ７３の内容
（輝度差の絶対値）のほうが大きければ、上記スイッチ
回路６５からずれ量ｘあるいは”０”が出力され、、Ａ
レジスタの内容よりもＦレジスタ７３の内容のほうが小
さければ”０”が出力されて、出力バッファメモリ６６
ａ，６６ｂの該当する小領域の第１行第１列に当たる位
置に書き込まれる。
の内容（しきい値Ｈc ）よりもＦレジスタ７３の内容
（輝度差の絶対値）のほうが大きければ、上記スイッチ
回路６５からずれ量ｘあるいは”０”が出力され、、Ａ
レジスタの内容よりもＦレジスタ７３の内容のほうが小
さければ”０”が出力されて、出力バッファメモリ６６
ａ，６６ｂの該当する小領域の第１行第１列に当たる位
置に書き込まれる。
【００９９】上記演算器６１で隣接画素間の輝度差とし
きい値Ｈc との比較が行なわれている間に、シフトレジ
スタ６４ａ，６４ｂは１段シフトする。そして今度は、
前回の小領域の第４行第２列と、今回の小領域の第１行
第２列の輝度データに対して計算を始める。このように
して小領域の第１列、第２列に対し交互に計算を行なっ
た後、第３列、第４列に対して同様に計算を進める。
きい値Ｈc との比較が行なわれている間に、シフトレジ
スタ６４ａ，６４ｂは１段シフトする。そして今度は、
前回の小領域の第４行第２列と、今回の小領域の第１行
第２列の輝度データに対して計算を始める。このように
して小領域の第１列、第２列に対し交互に計算を行なっ
た後、第３列、第４列に対して同様に計算を進める。
【０１００】計算中は、シフトレジスタ６４ａ，６４ｂ
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが２
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第４行のデータが留
められる。
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが２
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第４行のデータが留
められる。
【０１０１】このように、ずれ量決定のための計算中に
次のデータをＡバス６２ａ，Ｂバス６２ｂに用意した
り、結果の書き込みを行なうため、計算に必要な２クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値ＨMIN 、最大値ＨMAX のチェックを含め
ても、例えば４３クロックで全ての計算が終了し、一つ
の小領域に対して、シティブロック距離Ｈの最小値ＨMI
N 、最大値ＨMAX を求めるのに要する時間は充分に余裕
があり、さらに機能を追加することも可能である。
次のデータをＡバス６２ａ，Ｂバス６２ｂに用意した
り、結果の書き込みを行なうため、計算に必要な２クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値ＨMIN 、最大値ＨMAX のチェックを含め
ても、例えば４３クロックで全ての計算が終了し、一つ
の小領域に対して、シティブロック距離Ｈの最小値ＨMI
N 、最大値ＨMAX を求めるのに要する時間は充分に余裕
があり、さらに機能を追加することも可能である。
【０１０２】そして、ずれ量ｘが決定されると、ステッ
プS106で、出力バッファメモリ６６ａ，６６ｂからデュ
アルポートメモリ９０へ、ずれ量ｘを距離分布情報とし
て出力し、ステレオ画像処理装置２０における処理が終
了する。
プS106で、出力バッファメモリ６６ａ，６６ｂからデュ
アルポートメモリ９０へ、ずれ量ｘを距離分布情報とし
て出力し、ステレオ画像処理装置２０における処理が終
了する。
【０１０３】この出力バッファメモリ６６ａ，６６ｂ
は、前述した入力バッファメモリ４１ａ，４１ｂ，４３
ａ，４３ｂと同様、例えば４ライン分の容量があり、２
組の一方に書き込んでいる間にもう一方から上記デュア
ルポートメモリ９０へ距離分布情報を送り出す。
は、前述した入力バッファメモリ４１ａ，４１ｂ，４３
ａ，４３ｂと同様、例えば４ライン分の容量があり、２
組の一方に書き込んでいる間にもう一方から上記デュア
ルポートメモリ９０へ距離分布情報を送り出す。
【０１０４】上記デュアルポートメモリ９０へ書き込ま
れた距離分布情報からは、ＣＣＤカメラ１１，１２の取
付け位置と焦点距離などのレンズパラメータとから、各
画素に対応する物体のＸＹＺ空間における３次元位置を
算出することができ、情報量の低下なく車外の対象物ま
での距離を正確に検出することができる。
れた距離分布情報からは、ＣＣＤカメラ１１，１２の取
付け位置と焦点距離などのレンズパラメータとから、各
画素に対応する物体のＸＹＺ空間における３次元位置を
算出することができ、情報量の低下なく車外の対象物ま
での距離を正確に検出することができる。
【０１０５】尚、上記ずれ量ｘによる距離分布情報から
ＸＹＺ空間における３次元位置への計算は、ステレオ画
像処理装置２０内で処理しても良く、ステレオ画像処理
装置２０から外部に出力されるデータ形式は、接続する
外部装置との兼ね合いで定めれば良い。
ＸＹＺ空間における３次元位置への計算は、ステレオ画
像処理装置２０内で処理しても良く、ステレオ画像処理
装置２０から外部に出力されるデータ形式は、接続する
外部装置との兼ね合いで定めれば良い。
【０１０６】最後に、ステレオ画像処理装置２０のシス
テム全体のタイミングについて、図１４に示すタイミン
グチャートに従って説明する。
テム全体のタイミングについて、図１４に示すタイミン
グチャートに従って説明する。
【０１０７】まず初めに、同期を取っている左右のＣＣ
Ｄカメラ１１ａ，１１ｂからのフィールド信号を０．１
秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，
３３ｂに書き込む。
Ｄカメラ１１ａ，１１ｂからのフィールド信号を０．１
秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，
３３ｂに書き込む。
【０１０８】次に、取り込み終了信号を受けて、４ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に３ブロック転送する。
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に３ブロック転送する。
【０１０９】この間に、一方の入出力バッファメモリに
対してずれ量ｘの計算が行われる。そして、ずれ量ｘの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。
対してずれ量ｘの計算が行われる。そして、ずれ量ｘの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。
【０１１０】一つの右画像の４×４画素の小領域に対す
るシティブロック距離Ｈの計算は、左画像について１０
０画素ずらしながら計算するため、１００回行われる。
一つの領域のシティブロック距離Ｈが計算されている間
に、その前の領域のずれ量ｘが各チェックを経て距離分
布として出力される。
るシティブロック距離Ｈの計算は、左画像について１０
０画素ずらしながら計算するため、１００回行われる。
一つの領域のシティブロック距離Ｈが計算されている間
に、その前の領域のずれ量ｘが各チェックを経て距離分
布として出力される。
【０１１１】処理すべきライン数を２００とすると４ラ
イン分の処理を５０回繰り返すことになり、計算の開始
時に最初のデータを転送するための４ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの４ライン分の処理時間と、計８ライン分の処理時間
がさらに必要となる。
イン分の処理を５０回繰り返すことになり、計算の開始
時に最初のデータを転送するための４ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの４ライン分の処理時間と、計８ライン分の処理時間
がさらに必要となる。
【０１１２】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、０．０７６秒である。
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、０．０７６秒である。
【０１１３】
【発明の効果】以上説明したように本発明によれば、撮
像した画像から、情報量を低下させることなく、しかも
高速に、画像全体に渡る距離分布を求めることができる
ため、その距離分布を利用することにより、例えば、道
路端や白線の３次元位置と周囲の立体物の３次元位置と
を同時に検出することができ、走行の妨げとなる障害物
の位置や動きを考慮した、より高度な障害物回避を実現
することができるなど優れた効果が得られる。
像した画像から、情報量を低下させることなく、しかも
高速に、画像全体に渡る距離分布を求めることができる
ため、その距離分布を利用することにより、例えば、道
路端や白線の３次元位置と周囲の立体物の３次元位置と
を同時に検出することができ、走行の妨げとなる障害物
の位置や動きを考慮した、より高度な障害物回避を実現
することができるなど優れた効果が得られる。
【図１】距離検出装置の回路ブロック図
【図２】距離検出装置の全体構成図
【図３】車輌の正面図
【図４】距離検出装置の動作を示すフローチャート
【図５】カメラと被写体との関係を示す説明図
【図６】視野角の説明図
【図７】遠距離の上下視野角を示す説明図
【図８】近距離の上下視野角を示す説明図
【図９】シフトレジスタ内の保存順序を示す説明図
【図１０】シティブロック距離計算回路の説明図
【図１１】最小値検出回路のブロック図
【図１２】シティブロック距離計算回路の動作を示すタ
イミングチャート
イミングチャート
【図１３】ずれ量決定部の動作を示すタイミングチャー
ト
ト
【図１４】全体の動作を示すタイミングチャート
１ 車輌 ２ 距離検出装置 １０ ステレオ光学系 １１ 遠距離用ＣＣＤカメラ １２ 近距離用ＣＣＤカメラ ２０ ステレオ画像処理装置 ３０ 画像変換部 ３２ａ ルックアップテーブル ３２ｂ ルックアップテーブル ３３ａ 画像メモリ ３３ｂ 画像メモリ ４０ シティブロック距離計算部 ４１ａ 入力バッファメモリ ４１ｂ 入力バッファメモリ ４２ａ 入力バッファメモリ ４２ｂ 入力バッファメモリ ５０ 最小・最大値検出部 ６０ ずれ量決定部 ６６ａ 出力バッファメモリ ６６ｂ 出力バッファメモリ
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G08G 1/16 G06T 7/20 G08G 1/04
Claims (7)
- 【請求項１】 車外の設定範囲内の対象に対し、互いに
異なる方向から複数枚の画像を撮像する撮像系を備え、 上記撮像系で撮像した複数枚の画像を処理して画像全体
に渡る距離分布を出力する画像処理手段に、 上記撮像系で撮像した複数枚の画像の所定の領域毎に一
致度を計算する一致度計算部と、上記一致度計算部で計算した一致度の最小値及び最大値
を検出する最小・最大値検出部と、 上記最小・最大値検出部で検出した一致度の最小値と最
大値との差が規定値以上である場合に、 該最小値に基づ
いて、上記複数枚の画像の対応する画素位置のずれ量を
上記距離分布に係わる情報として決定するずれ量決定部
とを備えたことを特徴とする車輌用距離検出装置。 - 【請求項２】 車外の設定範囲内の対象に対し、互いに
異なる方向から複数枚の画像を撮像する撮像系を備え、 上記撮像系で撮像した複数枚の画像を処理して画像全体
に渡る距離分布を出力する画像処理手段に、上記撮像系で撮像した複数枚の 画像の所定の領域毎に一
致度を計算する一致度計算部と、 上記一致度計算部で計算した一致度の最小値を検出する
最小値検出部と、 上記最小値検出部で検出した一致度の最小値が所定値以
下の場合に、該最小値に基づいて、上記複数枚の画像の
対応する画素位置のずれ量を上記距離分布に係わる情報
として決定するずれ量決定部とを備えたことを特徴とす
る車輌用距離検出装置。 - 【請求項３】 車外の設定範囲内の対象に対し、互いに
異なる方向から複数枚の画像を撮像する撮像系を備え、 上記撮像系で撮像した複数枚の画像を処理して画像全体
に渡る距離分布を出力する画像処理手段に、 上記撮像系で撮像した複数枚の画像を、所定の輝度階調
を有するデジタル画像 に変換する画像変換部と、 上記画像変換部で変換した複数枚のデジタル画像の所定
の領域毎に一致度を計算する一致度計算部と、 上記一致度計算部で計算した一致度の最小値を検出する
最小値検出部と、 上記複数枚のデジタル画像のうちの所定の画像の微小部
分の輝度変化が所定値以上の場合に、上記最小値検出部
で検出した一致度の最小値に基づいて、上記複数枚のデ
ジタル画像の対応する画素位置のずれ量を上記距離分布
に係わる情報として決定するずれ量決定部とを備えたこ
とを特徴とする 車輌用距離検出装置。 - 【請求項４】 車外の設定範囲内の対象に対し、互いに
異なる方向から複数枚の画像を撮像する撮像系と、 上記撮像系で撮像した複数枚の画像を、所定の輝度階調
を有するデジタル画像に変換する画像変換部と、 上記画像変換部で変換した複数枚の画像の所定の領域毎
に一致度を計算する一致度計算部と、 上記一致度計算部で計算した一致度の最小値に基づい
て、上記複数枚のデジタル画像の対応する画素位置のず
れ量を距離情報として決定するずれ量決定部とを有する
もので、 上記画像変換部は、上記デジタル画像の画像全体を記憶
する低速の画像メモリを備え、 上記一致度計算部は、上記画像メモリに記憶された画像
の一部を取り出して記憶する高速のバッファメモリを備
えたことを特徴とする 車輌用距離検出装置。 - 【請求項５】 ２つの撮像手段により撮像された一対の
２次元画像に基づいて画像全体に渡る距離分布を求める
車輌用距離検出装置において、 上記一対の２次元画像の複数のラインのそれぞれにおい
て、一方の２次元画像における所定ライン上の小領域に
対して、他方の２次元画像の上記所定ラインに対応する
ライン上においてシティブロック距離が最小となる画素
位置のずれ量を上記小領域に係わる距離情報として決定
することにより、画像全体に渡る距離分布を求める画像
処理手段を具備することを特徴とする車輌用距離検出装
置。 - 【請求項６】 ２つの撮像手段により撮像された一対の
２次元画像に基づいて画像全体に渡る距離分布を求める
車輌用距離検出装置において、 一方の２次元画像における所定の小領域に対して、他方
の２次元画像における複数の比較領域のそれぞれと順次
シティブロック距離を算出し、該シティブロック距離が
最小となる比較領域のずれ量を上記所定小領域に係わる
距離情報として決定する画像処理手段を有するもので、 上記画像処理手段は、上記所定小領域とそれぞれの比較
領域の対応する画素同士の輝度差の絶対値を求める複数
の絶対値演算器と、該絶対値演算器にピラミッド状に接
続され上記複数の絶対値を段階的に加算してシティブロ
ック距離を演算する複数段の加算器とを備えてなり、上
記所定小領域と上記複数の比較領域とのシティブロック
距離をパイプライン処理にて順次算出するシティブロッ
ク距離計算回路を具備することを特徴とする車輌用距離
検出装置。 - 【請求項７】 上記画像処理手段は、上記シティブロッ
ク距離計算回路によるパイプライン処理と並行して、上
記シティブロック距離計算回路から出力される上記所定
小領域に対応する複数のシティブロック距離の最小値を
抽出する最小値検出回路を具備することを特徴とする請
求項６記載の車輌用距離検出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27431591A JP3167752B2 (ja) | 1991-10-22 | 1991-10-22 | 車輌用距離検出装置 |
| US07/960,688 US5307136A (en) | 1991-10-22 | 1992-10-14 | Distance detection system for vehicles |
| GB9221783A GB2261339B (en) | 1991-10-22 | 1992-10-16 | Distance detection system for vehicle |
| DE4235619A DE4235619C2 (de) | 1991-10-22 | 1992-10-22 | Entfernungsbestimmungseinrichtung für Automobile |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27431591A JP3167752B2 (ja) | 1991-10-22 | 1991-10-22 | 車輌用距離検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05114099A JPH05114099A (ja) | 1993-05-07 |
| JP3167752B2 true JP3167752B2 (ja) | 2001-05-21 |
Family
ID=17539940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27431591A Expired - Lifetime JP3167752B2 (ja) | 1991-10-22 | 1991-10-22 | 車輌用距離検出装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5307136A (ja) |
| JP (1) | JP3167752B2 (ja) |
| DE (1) | DE4235619C2 (ja) |
| GB (1) | GB2261339B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6566004B1 (en) | 2000-08-31 | 2003-05-20 | General Motors Corporation | Fuel cell with variable porosity gas distribution layers |
| US8309265B2 (en) | 2003-09-12 | 2012-11-13 | Hitachi, Ltd. | Electrolyte membrane for fuel cells, its production and fuel cell using the same |
Families Citing this family (242)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3110095B2 (ja) * | 1991-09-20 | 2000-11-20 | 富士通株式会社 | 測距方法及び測距装置 |
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| US5515448A (en) * | 1992-07-28 | 1996-05-07 | Yazaki Corporation | Distance measuring apparatus of a target tracking type |
| JP3365799B2 (ja) * | 1992-11-24 | 2003-01-14 | オリンパス光学工業株式会社 | 距離・速度測定装置 |
| US6498620B2 (en) | 1993-02-26 | 2002-12-24 | Donnelly Corporation | Vision system for a vehicle including an image capture device and a display system having a long focal length |
| US5910854A (en) | 1993-02-26 | 1999-06-08 | Donnelly Corporation | Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices |
| US6822563B2 (en) * | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US7339149B1 (en) * | 1993-02-26 | 2008-03-04 | Donnelly Corporation | Vehicle headlight control using imaging sensor |
| US5670935A (en) | 1993-02-26 | 1997-09-23 | Donnelly Corporation | Rearview vision system for vehicle including panoramic view |
| JP3468428B2 (ja) * | 1993-03-24 | 2003-11-17 | 富士重工業株式会社 | 車輌用距離検出装置 |
| JPH06300581A (ja) * | 1993-04-15 | 1994-10-28 | Fuji Heavy Ind Ltd | 車輛の軌道追従制御装置 |
| US5983161A (en) | 1993-08-11 | 1999-11-09 | Lemelson; Jerome H. | GPS vehicle collision avoidance warning and control system and method |
| US6553130B1 (en) | 1993-08-11 | 2003-04-22 | Jerome H. Lemelson | Motor vehicle warning and control system and method |
| US5586063A (en) * | 1993-09-01 | 1996-12-17 | Hardin; Larry C. | Optical range and speed detection system |
| JP3452075B2 (ja) * | 1993-10-27 | 2003-09-29 | 富士重工業株式会社 | 車輌用距離検出装置 |
| JPH07120256A (ja) * | 1993-10-27 | 1995-05-12 | Fuji Heavy Ind Ltd | 車輌用距離検出装置 |
| JP3452076B2 (ja) * | 1993-10-27 | 2003-09-29 | 富士重工業株式会社 | 車輌用距離検出装置 |
| JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
| JPH07189795A (ja) * | 1993-12-28 | 1995-07-28 | Hitachi Ltd | 自動車の制御装置及び制御方法 |
| JP3205477B2 (ja) * | 1994-02-17 | 2001-09-04 | 富士フイルムマイクロデバイス株式会社 | 車間距離検出装置 |
| US5668663A (en) | 1994-05-05 | 1997-09-16 | Donnelly Corporation | Electrochromic mirrors and devices |
| US6343810B1 (en) | 1994-05-23 | 2002-02-05 | Automotive Technologies International Inc. | Side impact airbag system with anticipatory sensor |
| US6755273B2 (en) | 1994-05-23 | 2004-06-29 | Automotive Technologies International, Inc. | Combined airbag inflation and occupant displacement enabling method and apparatus |
| US7359782B2 (en) * | 1994-05-23 | 2008-04-15 | Automotive Technologies International, Inc. | Vehicular impact reactive system and method |
| US6918459B2 (en) * | 1994-05-23 | 2005-07-19 | Automotive Technologies International, Inc. | Method and apparatus for deploying airbags |
| US6749218B2 (en) | 1994-05-23 | 2004-06-15 | Automotive Technologies International, Inc. | Externally deployed airbag system |
| US6623033B2 (en) | 1994-05-23 | 2003-09-23 | Automotive Technologies International, Inc. | Airbag inflation control system and method |
| GB2289786B (en) | 1994-05-23 | 1998-09-16 | Automotive Tech Int | Side impact airbag system with anticipatory sensor |
| JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
| EP0877944A4 (en) * | 1995-01-18 | 1999-04-21 | Larry C Hardin | DISTANCE AND SPEED CALCULATION OPTICAL SYSTEM |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US5777563A (en) * | 1995-10-10 | 1998-07-07 | Chrysler Corporation | Method and assembly for object detection by a vehicle |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| JP3866328B2 (ja) * | 1996-06-06 | 2007-01-10 | 富士重工業株式会社 | 車両周辺立体物認識装置 |
| US6550949B1 (en) * | 1996-06-13 | 2003-04-22 | Gentex Corporation | Systems and components for enhancing rear vision from a vehicle |
| US5680123A (en) * | 1996-08-06 | 1997-10-21 | Lee; Gul Nam | Vehicle monitoring system |
| EP0901105A1 (en) | 1997-08-05 | 1999-03-10 | Canon Kabushiki Kaisha | Image processing apparatus |
| DE69823116D1 (de) | 1997-08-05 | 2004-05-19 | Canon Kk | Bildverarbeitungsverfahren und -gerät |
| US6647146B1 (en) | 1997-08-05 | 2003-11-11 | Canon Kabushiki Kaisha | Image processing apparatus |
| US8294975B2 (en) | 1997-08-25 | 2012-10-23 | Donnelly Corporation | Automotive rearview mirror assembly |
| US6172613B1 (en) | 1998-02-18 | 2001-01-09 | Donnelly Corporation | Rearview mirror assembly incorporating vehicle information display |
| US6124886A (en) | 1997-08-25 | 2000-09-26 | Donnelly Corporation | Modular rearview mirror assembly |
| US6326613B1 (en) | 1998-01-07 | 2001-12-04 | Donnelly Corporation | Vehicle interior mirror assembly adapted for containing a rain sensor |
| JP3880702B2 (ja) * | 1997-09-11 | 2007-02-14 | 富士重工業株式会社 | 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム |
| KR20010033768A (ko) * | 1997-12-31 | 2001-04-25 | 프레데릭 티. 바우어 | 자동차 영상장치 |
| US8288711B2 (en) | 1998-01-07 | 2012-10-16 | Donnelly Corporation | Interior rearview mirror system with forwardly-viewing camera and a control |
| US6445287B1 (en) | 2000-02-28 | 2002-09-03 | Donnelly Corporation | Tire inflation assistance monitoring system |
| US6477464B2 (en) | 2000-03-09 | 2002-11-05 | Donnelly Corporation | Complete mirror-based global-positioning system (GPS) navigation solution |
| US6693517B2 (en) | 2000-04-21 | 2004-02-17 | Donnelly Corporation | Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants |
| US6329925B1 (en) | 1999-11-24 | 2001-12-11 | Donnelly Corporation | Rearview mirror assembly with added feature modular display |
| JP3452794B2 (ja) * | 1998-05-12 | 2003-09-29 | 三菱電機株式会社 | 視程測定装置 |
| JP3284190B2 (ja) | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | ステレオカメラの画像補正装置 |
| JP3444192B2 (ja) * | 1998-05-21 | 2003-09-08 | 日産自動車株式会社 | 撮像環境推定装置 |
| JPH11353565A (ja) * | 1998-06-09 | 1999-12-24 | Yazaki Corp | 車両用衝突警報方法及び装置 |
| JP3307335B2 (ja) * | 1998-07-22 | 2002-07-24 | 日本電気株式会社 | 車両領域検出装置及び車両領域検定方法 |
| DE19934670B4 (de) * | 1999-05-26 | 2004-07-08 | Robert Bosch Gmbh | Objektdetektionssystem |
| EP1103004A1 (de) | 1999-05-26 | 2001-05-30 | Robert Bosch Gmbh | Objektdetektionssystem |
| JP3587506B2 (ja) | 1999-08-30 | 2004-11-10 | 富士重工業株式会社 | ステレオカメラの調整装置 |
| JP3280001B2 (ja) | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
| JP3263931B2 (ja) | 1999-09-22 | 2002-03-11 | 富士重工業株式会社 | ステレオマッチング装置 |
| JP3287465B2 (ja) * | 1999-09-22 | 2002-06-04 | 富士重工業株式会社 | ステレオ画像処理装置 |
| JP3352655B2 (ja) | 1999-09-22 | 2002-12-03 | 富士重工業株式会社 | 車線認識装置 |
| JP3255360B2 (ja) | 1999-09-22 | 2002-02-12 | 富士重工業株式会社 | 距離データの検査方法およびその検査装置 |
| EP1094337B1 (en) * | 1999-10-21 | 2004-03-17 | Matsushita Electric Industrial Co., Ltd. | Parking assistance system |
| US7167796B2 (en) | 2000-03-09 | 2007-01-23 | Donnelly Corporation | Vehicle navigation system for use with a telematics system |
| EP1263626A2 (en) | 2000-03-02 | 2002-12-11 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
| WO2007053710A2 (en) | 2005-11-01 | 2007-05-10 | Donnelly Corporation | Interior rearview mirror with display |
| US7370983B2 (en) | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
| US7004593B2 (en) | 2002-06-06 | 2006-02-28 | Donnelly Corporation | Interior rearview mirror system with compass |
| US6396408B2 (en) | 2000-03-31 | 2002-05-28 | Donnelly Corporation | Digital electrochromic circuit with a vehicle network |
| JP2002216113A (ja) * | 2001-01-16 | 2002-08-02 | Fujitsu Ten Ltd | 物体認識装置 |
| US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
| ATE363413T1 (de) | 2001-01-23 | 2007-06-15 | Donnelly Corp | Verbessertes fahrzeugbeleuchtungssystem |
| US7255451B2 (en) | 2002-09-20 | 2007-08-14 | Donnelly Corporation | Electro-optic mirror cell |
| US6424273B1 (en) | 2001-03-30 | 2002-07-23 | Koninklijke Philips Electronics N.V. | System to aid a driver to determine whether to change lanes |
| US6882287B2 (en) | 2001-07-31 | 2005-04-19 | Donnelly Corporation | Automotive lane change aid |
| US7697027B2 (en) | 2001-07-31 | 2010-04-13 | Donnelly Corporation | Vehicular video system |
| DE10141220A1 (de) * | 2001-08-23 | 2003-04-10 | Valeo Schalter & Sensoren Gmbh | Umfelderkennungssystem |
| US20030076981A1 (en) * | 2001-10-18 | 2003-04-24 | Smith Gregory Hugh | Method for operating a pre-crash sensing system in a vehicle having a counter-measure system |
| US6775605B2 (en) | 2001-11-29 | 2004-08-10 | Ford Global Technologies, Llc | Remote sensing based pre-crash threat assessment system |
| US6819991B2 (en) * | 2001-11-29 | 2004-11-16 | Ford Global Technologies, Llc | Vehicle sensing based pre-crash threat assessment system |
| US7158870B2 (en) * | 2002-01-24 | 2007-01-02 | Ford Global Technologies, Llc | Post collision restraints control module |
| US6831572B2 (en) | 2002-01-29 | 2004-12-14 | Ford Global Technologies, Llc | Rear collision warning system |
| US6721659B2 (en) | 2002-02-01 | 2004-04-13 | Ford Global Technologies, Llc | Collision warning and safety countermeasure system |
| US6519519B1 (en) | 2002-02-01 | 2003-02-11 | Ford Global Technologies, Inc. | Passive countermeasure methods |
| US6498972B1 (en) | 2002-02-13 | 2002-12-24 | Ford Global Technologies, Inc. | Method for operating a pre-crash sensing system in a vehicle having a countermeasure system |
| US7009500B2 (en) | 2002-02-13 | 2006-03-07 | Ford Global Technologies, Llc | Method for operating a pre-crash sensing system in a vehicle having a countermeasure system using stereo cameras |
| US6918674B2 (en) | 2002-05-03 | 2005-07-19 | Donnelly Corporation | Vehicle rearview mirror system |
| EP1504276B1 (en) | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Object detection system for vehicle |
| US7329013B2 (en) | 2002-06-06 | 2008-02-12 | Donnelly Corporation | Interior rearview mirror system with compass |
| JP2004037239A (ja) | 2002-07-03 | 2004-02-05 | Fuji Heavy Ind Ltd | 同一対象物判断方法および装置、並びに、位置ずれ補正方法および装置 |
| JP3895238B2 (ja) * | 2002-08-28 | 2007-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
| WO2004103772A2 (en) | 2003-05-19 | 2004-12-02 | Donnelly Corporation | Mirror assembly for vehicle |
| US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
| AU2003278863A1 (en) | 2002-09-20 | 2004-04-08 | Donnelly Corporation | Mirror reflective element assembly |
| JP4364566B2 (ja) | 2003-07-04 | 2009-11-18 | 富士重工業株式会社 | 車両制動装置 |
| JP4402400B2 (ja) | 2003-08-28 | 2010-01-20 | オリンパス株式会社 | 物体認識装置 |
| US7446924B2 (en) | 2003-10-02 | 2008-11-04 | Donnelly Corporation | Mirror reflective element assembly including electronic component |
| US7308341B2 (en) | 2003-10-14 | 2007-12-11 | Donnelly Corporation | Vehicle communication system |
| US7356408B2 (en) | 2003-10-17 | 2008-04-08 | Fuji Jukogyo Kabushiki Kaisha | Information display apparatus and information display method |
| JP4638143B2 (ja) * | 2003-12-26 | 2011-02-23 | 富士重工業株式会社 | 車両用運転支援装置 |
| US7526103B2 (en) * | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| JP5405741B2 (ja) | 2004-07-26 | 2014-02-05 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | 道路使用弱者保護システム |
| US7697749B2 (en) | 2004-08-09 | 2010-04-13 | Fuji Jukogyo Kabushiki Kaisha | Stereo image processing device |
| US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
| US20060111841A1 (en) * | 2004-11-19 | 2006-05-25 | Jiun-Yuan Tseng | Method and apparatus for obstacle avoidance with camera vision |
| US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
| JP4480083B2 (ja) | 2005-02-23 | 2010-06-16 | アイシン精機株式会社 | 物体認識装置 |
| US7231288B2 (en) * | 2005-03-15 | 2007-06-12 | Visteon Global Technologies, Inc. | System to determine distance to a lead vehicle |
| US7656432B2 (en) * | 2005-03-30 | 2010-02-02 | Hoya Corporation | Method and apparatus for photographing moving object |
| US7626749B2 (en) | 2005-05-16 | 2009-12-01 | Donnelly Corporation | Vehicle mirror assembly with indicia at reflective element |
| JP4600760B2 (ja) | 2005-06-27 | 2010-12-15 | アイシン精機株式会社 | 障害物検出装置 |
| US7488083B2 (en) * | 2005-08-22 | 2009-02-10 | Gentex Corporation | Vehicular rearview components and assemblies |
| JP4426535B2 (ja) * | 2006-01-17 | 2010-03-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| JP4725391B2 (ja) * | 2006-03-29 | 2011-07-13 | 株式会社デンソー | 車両用視程測定装置、及び運転支援装置 |
| JP4638370B2 (ja) | 2006-03-29 | 2011-02-23 | 富士重工業株式会社 | 車線逸脱防止装置 |
| JP2007334760A (ja) * | 2006-06-16 | 2007-12-27 | Auto Network Gijutsu Kenkyusho:Kk | ドライブレコーダ |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| EP3624086B1 (en) | 2007-01-25 | 2025-07-09 | Magna Electronics Inc. | Radar sensing system for vehicle |
| JP4914234B2 (ja) | 2007-01-31 | 2012-04-11 | 富士重工業株式会社 | 先行車両検出装置 |
| JP4914233B2 (ja) | 2007-01-31 | 2012-04-11 | 富士重工業株式会社 | 車外監視装置 |
| ITPR20070006A1 (it) * | 2007-02-08 | 2008-08-09 | Techimp S P A | Procedimento per elaborare dati relativi a un'attivita di scariche elettriche parziali |
| JP4748082B2 (ja) * | 2007-02-23 | 2011-08-17 | トヨタ自動車株式会社 | 車両用周辺監視装置及び車両用周辺監視方法 |
| JP5221886B2 (ja) | 2007-03-07 | 2013-06-26 | 富士重工業株式会社 | 物体検出装置 |
| JP4987573B2 (ja) | 2007-06-01 | 2012-07-25 | 富士重工業株式会社 | 車外監視装置 |
| JP4933962B2 (ja) | 2007-06-22 | 2012-05-16 | 富士重工業株式会社 | 分岐路進入判定装置 |
| US7914187B2 (en) | 2007-07-12 | 2011-03-29 | Magna Electronics Inc. | Automatic lighting system with adaptive alignment function |
| US8017898B2 (en) | 2007-08-17 | 2011-09-13 | Magna Electronics Inc. | Vehicular imaging system in an automatic headlamp control system |
| EP2191457B1 (en) | 2007-09-11 | 2014-12-10 | Magna Electronics | Imaging system for vehicle |
| FR2921027B1 (fr) * | 2007-09-17 | 2010-02-26 | Valeo Vision | Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique |
| US8446470B2 (en) | 2007-10-04 | 2013-05-21 | Magna Electronics, Inc. | Combined RGB and IR imaging sensor |
| JP4856612B2 (ja) | 2007-10-29 | 2012-01-18 | 富士重工業株式会社 | 物体検出装置 |
| JP4856611B2 (ja) | 2007-10-29 | 2012-01-18 | 富士重工業株式会社 | 物体検出装置 |
| CN101451835B (zh) * | 2007-12-07 | 2010-09-01 | 聂劲松 | 一种较差能见度天气条件下汽车防撞方法 |
| JP4856656B2 (ja) | 2008-01-22 | 2012-01-18 | 富士重工業株式会社 | 車両検出装置 |
| JP4956452B2 (ja) | 2008-01-25 | 2012-06-20 | 富士重工業株式会社 | 車両用環境認識装置 |
| JP4876080B2 (ja) | 2008-01-25 | 2012-02-15 | 富士重工業株式会社 | 環境認識装置 |
| JP5137617B2 (ja) | 2008-02-27 | 2013-02-06 | 富士重工業株式会社 | 操舵支援装置 |
| JP5073548B2 (ja) | 2008-03-27 | 2012-11-14 | 富士重工業株式会社 | 車両用環境認識装置および先行車追従制御システム |
| US8154418B2 (en) | 2008-03-31 | 2012-04-10 | Magna Mirrors Of America, Inc. | Interior rearview mirror system |
| US20090259399A1 (en) * | 2008-04-15 | 2009-10-15 | Caterpillar Inc. | Obstacle detection method and system |
| US8280621B2 (en) | 2008-04-15 | 2012-10-02 | Caterpillar Inc. | Vehicle collision avoidance system |
| US8170787B2 (en) * | 2008-04-15 | 2012-05-01 | Caterpillar Inc. | Vehicle collision avoidance system |
| US20100020170A1 (en) | 2008-07-24 | 2010-01-28 | Higgins-Luthman Michael J | Vehicle Imaging System |
| US9487144B2 (en) | 2008-10-16 | 2016-11-08 | Magna Mirrors Of America, Inc. | Interior mirror assembly with display |
| DE102009000550B4 (de) * | 2009-02-02 | 2018-10-04 | Ford Global Technologies, Llc | Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs |
| US8466960B2 (en) * | 2009-02-16 | 2013-06-18 | Ricoh Company, Ltd. | Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus |
| WO2010099416A1 (en) | 2009-02-27 | 2010-09-02 | Magna Electronics | Alert system for vehicle |
| US8376595B2 (en) | 2009-05-15 | 2013-02-19 | Magna Electronics, Inc. | Automatic headlamp control |
| US9495876B2 (en) | 2009-07-27 | 2016-11-15 | Magna Electronics Inc. | Vehicular camera with on-board microcontroller |
| WO2011014482A1 (en) | 2009-07-27 | 2011-02-03 | Magna Electronics Inc. | Parking assist system |
| US9041806B2 (en) | 2009-09-01 | 2015-05-26 | Magna Electronics Inc. | Imaging and display system for vehicle |
| US8890955B2 (en) | 2010-02-10 | 2014-11-18 | Magna Mirrors Of America, Inc. | Adaptable wireless vehicle vision system based on wireless communication error |
| US9117123B2 (en) | 2010-07-05 | 2015-08-25 | Magna Electronics Inc. | Vehicular rear view camera display system with lifecheck function |
| KR101207903B1 (ko) * | 2010-10-11 | 2012-12-04 | 국방과학연구소 | 자율 이동 차량용 장애물 정보 제공장치 및 그 방법 |
| DE112011103834B4 (de) | 2010-11-19 | 2026-03-26 | Magna Electronics, Inc. | Spurhalteassistent und Spurzentrierung |
| US9900522B2 (en) | 2010-12-01 | 2018-02-20 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
| US9264672B2 (en) | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
| WO2012103193A1 (en) | 2011-01-26 | 2012-08-02 | Magna Electronics Inc. | Rear vision system with trailer angle detection |
| JP5693994B2 (ja) | 2011-02-16 | 2015-04-01 | 富士重工業株式会社 | 車両検出装置 |
| JP5830876B2 (ja) * | 2011-02-18 | 2015-12-09 | 富士通株式会社 | 距離算出プログラム、距離算出方法及び距離算出装置 |
| US9194943B2 (en) | 2011-04-12 | 2015-11-24 | Magna Electronics Inc. | Step filter for estimating distance in a time-of-flight ranging system |
| US9357208B2 (en) | 2011-04-25 | 2016-05-31 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
| US9547795B2 (en) | 2011-04-25 | 2017-01-17 | Magna Electronics Inc. | Image processing method for detecting objects using relative motion |
| WO2012145822A1 (en) | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
| US10793067B2 (en) | 2011-07-26 | 2020-10-06 | Magna Electronics Inc. | Imaging system for vehicle |
| WO2013019707A1 (en) | 2011-08-01 | 2013-02-07 | Magna Electronics Inc. | Vehicle camera alignment system |
| DE112012003931T5 (de) | 2011-09-21 | 2014-07-10 | Magna Electronics, Inc. | Bildverarbeitungssystem für ein Kraftfahrzeug mit Bilddatenübertragung undStromversorgung über ein Koaxialkabel |
| US9681062B2 (en) | 2011-09-26 | 2017-06-13 | Magna Electronics Inc. | Vehicle camera image quality improvement in poor visibility conditions by contrast amplification |
| US9146898B2 (en) | 2011-10-27 | 2015-09-29 | Magna Electronics Inc. | Driver assist system with algorithm switching |
| US9491451B2 (en) | 2011-11-15 | 2016-11-08 | Magna Electronics Inc. | Calibration system and method for vehicular surround vision system |
| US10099614B2 (en) | 2011-11-28 | 2018-10-16 | Magna Electronics Inc. | Vision system for vehicle |
| US9762880B2 (en) | 2011-12-09 | 2017-09-12 | Magna Electronics Inc. | Vehicle vision system with customized display |
| US10008002B2 (en) * | 2012-02-28 | 2018-06-26 | NXP Canada, Inc. | Single-camera distance estimation |
| US8694224B2 (en) | 2012-03-01 | 2014-04-08 | Magna Electronics Inc. | Vehicle yaw rate correction |
| US10609335B2 (en) | 2012-03-23 | 2020-03-31 | Magna Electronics Inc. | Vehicle vision system with accelerated object confirmation |
| US8824733B2 (en) | 2012-03-26 | 2014-09-02 | Tk Holdings Inc. | Range-cued object segmentation system and method |
| US8768007B2 (en) | 2012-03-26 | 2014-07-01 | Tk Holdings Inc. | Method of filtering an image |
| WO2013158592A2 (en) | 2012-04-16 | 2013-10-24 | Magna Electronics, Inc. | Vehicle vision system with reduced image color data processing by use of dithering |
| US10089537B2 (en) | 2012-05-18 | 2018-10-02 | Magna Electronics Inc. | Vehicle vision system with front and rear camera integration |
| US9340227B2 (en) | 2012-08-14 | 2016-05-17 | Magna Electronics Inc. | Vehicle lane keep assist system |
| DE102013217430B4 (de) | 2012-09-04 | 2026-02-26 | Magna Electronics, Inc. | Fahrerassistenzsystem für ein Kraftfahrzeug |
| US9446713B2 (en) | 2012-09-26 | 2016-09-20 | Magna Electronics Inc. | Trailer angle detection system |
| US9558409B2 (en) | 2012-09-26 | 2017-01-31 | Magna Electronics Inc. | Vehicle vision system with trailer angle detection |
| US9723272B2 (en) | 2012-10-05 | 2017-08-01 | Magna Electronics Inc. | Multi-camera image stitching calibration system |
| US9955136B2 (en) * | 2012-10-22 | 2018-04-24 | Yamaha Hatsudoki Kabushiki Kaisha | Distance measuring device and vehicle provided therewith |
| WO2014070448A1 (en) | 2012-10-31 | 2014-05-08 | Tk Holdings, Inc. | Vehicular path sensing system and method |
| US9090234B2 (en) | 2012-11-19 | 2015-07-28 | Magna Electronics Inc. | Braking control system for vehicle |
| US9743002B2 (en) | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
| US10025994B2 (en) | 2012-12-04 | 2018-07-17 | Magna Electronics Inc. | Vehicle vision system utilizing corner detection |
| US9481301B2 (en) | 2012-12-05 | 2016-11-01 | Magna Electronics Inc. | Vehicle vision system utilizing camera synchronization |
| US20140168415A1 (en) | 2012-12-07 | 2014-06-19 | Magna Electronics Inc. | Vehicle vision system with micro lens array |
| US9092986B2 (en) | 2013-02-04 | 2015-07-28 | Magna Electronics Inc. | Vehicular vision system |
| US20140218529A1 (en) | 2013-02-04 | 2014-08-07 | Magna Electronics Inc. | Vehicle data recording system |
| JP5982298B2 (ja) | 2013-02-21 | 2016-08-31 | シャープ株式会社 | 障害物検出装置および障害物検出方法 |
| US10179543B2 (en) | 2013-02-27 | 2019-01-15 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
| US9688200B2 (en) | 2013-03-04 | 2017-06-27 | Magna Electronics Inc. | Calibration system and method for multi-camera vision system |
| WO2014152470A2 (en) | 2013-03-15 | 2014-09-25 | Tk Holdings, Inc. | Path sensing using structured lighting |
| US10027930B2 (en) | 2013-03-29 | 2018-07-17 | Magna Electronics Inc. | Spectral filtering for vehicular driver assistance systems |
| US9327693B2 (en) | 2013-04-10 | 2016-05-03 | Magna Electronics Inc. | Rear collision avoidance system for vehicle |
| US10232797B2 (en) | 2013-04-29 | 2019-03-19 | Magna Electronics Inc. | Rear vision system for vehicle with dual purpose signal lines |
| US9508014B2 (en) | 2013-05-06 | 2016-11-29 | Magna Electronics Inc. | Vehicular multi-camera vision system |
| US9205776B2 (en) | 2013-05-21 | 2015-12-08 | Magna Electronics Inc. | Vehicle vision system using kinematic model of vehicle motion |
| US9563951B2 (en) | 2013-05-21 | 2017-02-07 | Magna Electronics Inc. | Vehicle vision system with targetless camera calibration |
| US10567705B2 (en) | 2013-06-10 | 2020-02-18 | Magna Electronics Inc. | Coaxial cable with bidirectional data transmission |
| US9260095B2 (en) | 2013-06-19 | 2016-02-16 | Magna Electronics Inc. | Vehicle vision system with collision mitigation |
| US20140375476A1 (en) | 2013-06-24 | 2014-12-25 | Magna Electronics Inc. | Vehicle alert system |
| US9619716B2 (en) | 2013-08-12 | 2017-04-11 | Magna Electronics Inc. | Vehicle vision system with image classification |
| US10326969B2 (en) | 2013-08-12 | 2019-06-18 | Magna Electronics Inc. | Vehicle vision system with reduction of temporal noise in images |
| US9988047B2 (en) | 2013-12-12 | 2018-06-05 | Magna Electronics Inc. | Vehicle control system with traffic driving control |
| US10160382B2 (en) | 2014-02-04 | 2018-12-25 | Magna Electronics Inc. | Trailer backup assist system |
| US9623878B2 (en) | 2014-04-02 | 2017-04-18 | Magna Electronics Inc. | Personalized driver assistance system for vehicle |
| US9916660B2 (en) | 2015-01-16 | 2018-03-13 | Magna Electronics Inc. | Vehicle vision system with calibration algorithm |
| US10286855B2 (en) | 2015-03-23 | 2019-05-14 | Magna Electronics Inc. | Vehicle vision system with video compression |
| US10946799B2 (en) | 2015-04-21 | 2021-03-16 | Magna Electronics Inc. | Vehicle vision system with overlay calibration |
| US10819943B2 (en) | 2015-05-07 | 2020-10-27 | Magna Electronics Inc. | Vehicle vision system with incident recording function |
| FR3038733B1 (fr) * | 2015-07-10 | 2019-07-26 | Renault S.A.S | Systeme de detection par sources d'impulsions lumineuses de la distance entre un vehicule automobile et une cible |
| US10078789B2 (en) | 2015-07-17 | 2018-09-18 | Magna Electronics Inc. | Vehicle parking assist system with vision-based parking space detection |
| US10086870B2 (en) | 2015-08-18 | 2018-10-02 | Magna Electronics Inc. | Trailer parking assist system for vehicle |
| US10875403B2 (en) | 2015-10-27 | 2020-12-29 | Magna Electronics Inc. | Vehicle vision system with enhanced night vision |
| US11285878B2 (en) | 2015-12-17 | 2022-03-29 | Magna Electronics Inc. | Vehicle vision system with camera line power filter |
| US11277558B2 (en) | 2016-02-01 | 2022-03-15 | Magna Electronics Inc. | Vehicle vision system with master-slave camera configuration |
| US11433809B2 (en) | 2016-02-02 | 2022-09-06 | Magna Electronics Inc. | Vehicle vision system with smart camera video output |
| US10132971B2 (en) | 2016-03-04 | 2018-11-20 | Magna Electronics Inc. | Vehicle camera with multiple spectral filters |
| US10055651B2 (en) | 2016-03-08 | 2018-08-21 | Magna Electronics Inc. | Vehicle vision system with enhanced lane tracking |
| JP2017220051A (ja) | 2016-06-08 | 2017-12-14 | ソニー株式会社 | 画像処理装置、画像処理方法、および車両 |
| US11108992B2 (en) | 2016-06-08 | 2021-08-31 | Sony Corporation | Imaging control device and method, and vehicle |
| JP6922169B2 (ja) | 2016-08-24 | 2021-08-18 | ソニーグループ株式会社 | 情報処理装置および方法、車両、並びに情報処理システム |
| US10311314B2 (en) * | 2016-11-23 | 2019-06-04 | Ford Global Technologies, Llc | Detection of lane-splitting motorcycles |
| JP6789888B2 (ja) * | 2017-06-15 | 2020-11-25 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| CN110785789A (zh) | 2017-06-27 | 2020-02-11 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| US10534253B2 (en) | 2017-11-10 | 2020-01-14 | Denso Corporation | Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle |
| JP7106855B2 (ja) | 2017-11-10 | 2022-07-27 | 株式会社デンソー | カメラモジュール |
| US10661725B2 (en) | 2017-11-10 | 2020-05-26 | Denso Corporation | Camera module |
| US10232800B1 (en) | 2017-11-10 | 2019-03-19 | Denson Corporation | Camera module |
| US10627606B2 (en) | 2017-11-10 | 2020-04-21 | Denso Corporation | Camera module |
| US10406995B2 (en) | 2017-11-10 | 2019-09-10 | Denso Corporation | Camera module |
| US11364992B2 (en) * | 2018-10-23 | 2022-06-21 | The Boeing Company | Aligning aircraft with runway centerline during takeoff |
| US11172219B2 (en) | 2019-12-30 | 2021-11-09 | Texas Instruments Incorporated | Alternating frame processing operation with predicted frame comparisons for high safety level use |
| US11968639B2 (en) | 2020-11-11 | 2024-04-23 | Magna Electronics Inc. | Vehicular control system with synchronized communication between control units |
| CN117824505B (zh) * | 2024-03-05 | 2024-05-07 | 四川京炜交通工程技术有限公司 | 一种公路护栏梁板中心离地高度快速检测装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3684374A (en) * | 1970-07-29 | 1972-08-15 | Humphrey Res Ass | Focus detector |
| US3901595A (en) * | 1974-02-13 | 1975-08-26 | Bendix Corp | Parallel line scanning system for stereomapping |
| US4206365A (en) * | 1976-01-17 | 1980-06-03 | Ernst Leitz Wetzlar Gmbh | Optical correlator |
| USRE32886E (en) * | 1976-06-14 | 1989-03-14 | Honeywell, Inc. | Digital auto focus |
| JPS54126023A (en) * | 1978-03-23 | 1979-09-29 | Canon Inc | Optical device |
| JPS59182688A (ja) * | 1983-03-31 | 1984-10-17 | Toshiba Corp | ステレオ視処理装置 |
| JPS59197816A (ja) * | 1983-04-25 | 1984-11-09 | Nippon Denso Co Ltd | 車間距離検出装置 |
| GB2148648A (en) * | 1983-10-25 | 1985-05-30 | Audim Sa | Time disparity discriminator; correlation |
| US4695959A (en) * | 1984-04-06 | 1987-09-22 | Honeywell Inc. | Passive range measurement apparatus and method |
| US4916302A (en) * | 1985-02-09 | 1990-04-10 | Canon Kabushiki Kaisha | Apparatus for and method of measuring distances to objects present in a plurality of directions |
| US4695156A (en) * | 1986-07-03 | 1987-09-22 | Westinghouse Electric Corp. | Range finding method and apparatus |
| JPH01229211A (ja) * | 1988-03-10 | 1989-09-12 | Fuji Photo Film Co Ltd | 位相差検出装置 |
| JP2662583B2 (ja) * | 1988-03-24 | 1997-10-15 | アイシン精機株式会社 | 車上距離検出装置 |
| NL8900056A (nl) * | 1989-01-11 | 1990-08-01 | Philips Nv | Werkwijze voor het visueel weergeven van een deel van een topografische kaart, alsmede inrichting geschikt voor een dergelijke werkwijze. |
| KR930004880B1 (ko) * | 1989-03-07 | 1993-06-09 | 미쓰비시 덴끼 가부시기가이샤 | 추미식 차간거리 측정장치 |
| US5146228A (en) * | 1990-01-24 | 1992-09-08 | The Johns Hopkins University | Coherent correlation addition for increasing match information in scene matching navigation systems |
-
1991
- 1991-10-22 JP JP27431591A patent/JP3167752B2/ja not_active Expired - Lifetime
-
1992
- 1992-10-14 US US07/960,688 patent/US5307136A/en not_active Expired - Lifetime
- 1992-10-16 GB GB9221783A patent/GB2261339B/en not_active Expired - Fee Related
- 1992-10-22 DE DE4235619A patent/DE4235619C2/de not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6566004B1 (en) | 2000-08-31 | 2003-05-20 | General Motors Corporation | Fuel cell with variable porosity gas distribution layers |
| US8309265B2 (en) | 2003-09-12 | 2012-11-13 | Hitachi, Ltd. | Electrolyte membrane for fuel cells, its production and fuel cell using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05114099A (ja) | 1993-05-07 |
| DE4235619A1 (de) | 1993-04-29 |
| GB2261339B (en) | 1996-04-03 |
| DE4235619C2 (de) | 1997-05-15 |
| GB9221783D0 (en) | 1992-12-02 |
| US5307136A (en) | 1994-04-26 |
| GB2261339A (en) | 1993-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3167752B2 (ja) | 車輌用距離検出装置 | |
| JP3468428B2 (ja) | 車輌用距離検出装置 | |
| JP3324821B2 (ja) | 車輌用車外監視装置 | |
| US5410346A (en) | System for monitoring condition outside vehicle using imaged picture by a plurality of television cameras | |
| US8340896B2 (en) | Road shape recognition device | |
| JP4956452B2 (ja) | 車両用環境認識装置 | |
| JP4275378B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| JP2022152922A (ja) | 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体 | |
| JP2009110173A (ja) | 物体検出装置 | |
| JP3709879B2 (ja) | ステレオ画像処理装置 | |
| JPH10269362A (ja) | 物体認識方法およびその装置 | |
| JP3348939B2 (ja) | 車輌用距離検出装置 | |
| JP5189556B2 (ja) | 車線検出装置 | |
| JP3465531B2 (ja) | 物体認識方法およびその装置 | |
| JP2006072757A (ja) | 物体検出装置 | |
| JP2001243456A (ja) | 障害物検出装置及び障害物検出方法 | |
| JP3452075B2 (ja) | 車輌用距離検出装置 | |
| JP4956099B2 (ja) | 壁検出装置 | |
| JPH0757200A (ja) | 走路認識装置および走路認識方法 | |
| JP3452076B2 (ja) | 車輌用距離検出装置 | |
| JP3022033B2 (ja) | 画像追尾装置 | |
| JP4397164B2 (ja) | 障害物検出装置及び障害物検出方法 | |
| JP2876493B2 (ja) | 車両動態計測方法 | |
| JPH06273171A (ja) | 車輌用距離検出装置 | |
| JPH07120256A (ja) | 車輌用距離検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080309 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090309 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090309 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 11 |