JP3468428B2 - 車輌用距離検出装置 - Google Patents

車輌用距離検出装置

Info

Publication number
JP3468428B2
JP3468428B2 JP32880293A JP32880293A JP3468428B2 JP 3468428 B2 JP3468428 B2 JP 3468428B2 JP 32880293 A JP32880293 A JP 32880293A JP 32880293 A JP32880293 A JP 32880293A JP 3468428 B2 JP3468428 B2 JP 3468428B2
Authority
JP
Japan
Prior art keywords
image
vehicle
shutter speed
memory
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32880293A
Other languages
English (en)
Other versions
JPH072022A (ja
Inventor
勝之 喜瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP32880293A priority Critical patent/JP3468428B2/ja
Priority to US08/198,570 priority patent/US5535144A/en
Priority to GB9702167A priority patent/GB2307612B/en
Priority to DE4447788A priority patent/DE4447788B4/de
Priority to GB9405734A priority patent/GB2280810B/en
Priority to DE4410064A priority patent/DE4410064C2/de
Publication of JPH072022A publication Critical patent/JPH072022A/ja
Priority to US08/598,637 priority patent/US5650944A/en
Application granted granted Critical
Publication of JP3468428B2 publication Critical patent/JP3468428B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K31/00Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
    • B60K31/0008Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/72Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using ultrasonic, sonic or infrasonic waves
    • G01S1/74Details
    • G01S1/75Transmitters
    • G01S1/753Signal details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0077Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0096Synchronisation or controlling aspects

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、撮像系の感度を調整し
て適正な画像信号にすることにより、距離検出の精度を
向上する車輌用距離検出装置に関する。
【0002】
【従来の技術】人や物を運ぶ手段の1つである自動車等
の車輌は、その利便性と快適性から現代社会においてな
くてはならない存在となっている。そこで、自動車の持
つ優れた点を犠牲にすることなく、自動的に事故を回避
することのできる技術の開発が従来より進められてい
る。
【0003】自動車の衝突を自動的に回避するために
は、走行の障害となる物体を検出することがまず第一に
重要であり、一方、自動車の走行には、検出した障害物
が道路上の何処に存在しているのかを知る必要がある。
【0004】従って、最近では、電荷結合素子(CC
D)等の固体撮像素子を用いたカメラ等を車輌に搭載し
て車外の対象風景を撮像し、この撮像した画像を画像処
理して車輌から対象物までの距離を求める計測技術が有
力な手段として採用されるようになっており、例えば、
特開昭59−197816号公報には、2台のTVカメ
ラを車輌前方に取り付け、各々のTVカメラの画像につ
いて、2次元的な輝度分布パターンから障害物を検出
し、次に、2つの画像上における障害物の位置のずれを
求め、三角測量の原理によって障害物の3次元位置を算
出する、いわゆるステレオ法による車間距離検出装置が
開示されている。
【0005】この場合、前記ステレオ法のような2台以
上のカメラを使用して左右画像における同一物体の位置
の相対的なずれから距離を求める技術では、左右画像の
マッチングを取る際に、各カメラ間で感度のばらつきが
あると左右画像で輝度差が生じ、距離検出の精度が低下
する。
【0006】このため、従来では、図26に示すよう
に、オートアイリスレンズ100を備えたCCDカメラ
101を使用して絞りを自動調整するものが多く、この
オートアイリスレンズ100は、レンズ内に絞り制御回
路と絞り駆動用モータを内蔵し、明るいとき振幅大、暗
いとき振幅小のアイリス信号をCCDカメラ101から
絞り制御回路に与えると、振幅が所定範囲になるように
絞りを自動調整するようになっている。
【0007】尚、特開平1−188178号公報には、
走行路及び後続車輌等の走行に関する画像情報の信号値
が予め設定された基準値よりも大であることが比較手段
において検出されたときには、補正手段がこの大である
信号値を有する特定領域、すなわち高輝度領域の信号値
を所定の値に設定して、輝度補正を行なうことにより、
夜間の走行時においても、後続車のヘッドランプによる
眩惑を防止して後続車を確実に捕らえることのできる車
輌用画像情報表示装置が開示されている。
【0008】
【発明が解決しようとする課題】しかしながら、複数の
カメラを用いて左右画像における同一物体の位置の相対
的なずれから距離を求める場合にオートアイリスレンズ
を使用すると、同一アイリス信号でも、絞り量、絞りの
開く時間に固体差があるため、左右画像に僅かな輝度差
を生じて距離検出誤差の原因となる。さらに、オートア
イリスによるカメラの感度調整では、応答速度が遅く、
逆光や真昼の非常に照度の高い状態からトンネル内に進
入したときのように、急激に照度が変化するような状態
に対応することができない。
【0009】本発明は前記事情に鑑みてなされたもの
で、車外の対象を撮像する撮像手段の感度を適切に維持
することにより、外界の照度変化にも迅速に対応して適
正な画像を得、距離検出の精度を向上することのできる
車輌用距離検出装置を提供することを目的としている。
【0010】
【課題を解決するための手段】第1の発明は、車輌に搭
載した撮像系によって車外の対象を撮像して画像メモリ
に記録し、この画像メモリに記録した画像データを処理
して画像全体に渡る距離分布を算出する車輌用距離検出
装置において、前記撮像系で撮像した画像をサンプルす
るため、前記画像メモリと並列に接続したメモリと、前
記メモリに記録した画像を複数の領域に分割し、各領域
毎の画像データの平均値と現在のシャッタースピードと
をパラメータとして各領域毎の適切なシャッタースピー
ドレベルをマップ検索により設定し、設定した領域毎の
シャッタースピードレベルの総和から前記撮像系のシャ
ッタースピードを制御することにより、車外の照度変化
に対応して適正な画像を撮像できるよう前記撮像系の感
度を調整する感度調整手段とを備えたことを特徴とす
る。
【0011】第2の発明は、車輌に搭載した撮像系によ
って車外の対象を撮像して画像メモリに記録し、この画
像メモリに記録した画像データを処理して画像全体に渡
る距離分布を算出する車輌用距離検出装置において、前
記撮像系で撮像した画像をサンプルするため、前記画像
メモリと並列に接続したメモリと、前記メモリに記録し
た画像に対して特定の領域を設定し、この特定の領域の
画像データから作成したヒストグラムのうちの最大及び
最小の分類の度数に基づいて現在のシャッタースピード
レベルに対する制御量を演算して適切なシャッタースピ
ードレベルを設定し、設定したシャッタースピードレベ
ルで前記撮像系のシャッタースピードを制御することに
より、車外の照度変化に対応して適正な画像を撮像でき
るよう前記撮像系の感度を調整する感度調整手段とを備
えたことを特徴とする。
【0012】
【0013】
【作用】第1の発明では、車輌に搭載した撮像系で撮像
した画像を、画像メモリと並列に接続したメモリに記録
してサンプルし、このサンプルした画像を複数の領域に
分割し、各領域毎の画像データの平均値と現在のシャッ
タースピードとをパラメータとして各領域毎の適切なシ
ャッタースピードレベルをマップ検索により設定し、設
定した領域毎のシャッタースピードレベルの総和から
像系のシャッタースピードを制御することにより、車外
の照度変化に対応して適正な画像を撮像できるよう撮
系の感度を調整する。
【0014】第2の発明では、車輌に搭載した撮像系で
撮像した画像を、画像メモリと並列に接続したメモリに
記録し、このメモリに記録した画像に対して特定の領域
を設定し、この特定の領域の画像データから作成したヒ
ストグラムの最大及び最小の分類の度数に基づいて現在
のシャッタースピードレベルに対する制御量を演算して
適切なシャッタースピードレベルを設定し、設定したシ
ャッタースピードレベルで撮像系のシャッタースピード
を制御することにより、車外の照度変化に対応して適正
な画像を撮像できるよう撮像系の感度を調整する。
【0015】
【0016】
【実施例】以下、図面を参照して本発明の実施例を説明
する。図1〜図23は本発明の第1実施例に係わり、図
1は車輌用距離検出装置の回路構成図、図2は距離検出
装置の全体構成図、図3は車輌の正面図、図4はカメラ
と被写体との関係を示す説明図、図5は分割領域例を示
す説明図、図6は特定領域例を示す説明図、図7は領域
毎の平均値例を示す説明図、図8は領域Iに対するシャ
ッタースピード変更マップを示す説明図、図9は領域I
Iに対するシャッタースピード変更マップを示す説明
図、図10は領域IIIに対するシャッタースピード変
更マップを示す説明図、図11は領域IV,Vに対する
シャッタースピード変更マップを示す説明図、図12は
領域VI,VIIに対するシャッタースピード変更マッ
プを示す説明図、図13はシティブロック距離計算回路
の説明図、図14は最小値検出回路のブロック図、図1
5はシャッタースピード制御処理のフローチャート、図
16は平均化処理のフローチャート、図17は距離検出
処理のフローチャート、図18はシフトレジスタ内の保
存順序を示す説明図、図19はシティブロック距離計算
回路の動作を示すタイミングチャート、図20はずれ量
決定部の動作を示すタイミングチャート、図21は全体
の動作を示すタイミングチャート、図22は車載のCC
Dカメラで撮像した画像の例を示す説明図、図23は距
離画像の例を示す説明図である。
【0017】図2において、符号1は自動車などの車輌
であり、この車輌1に、車外の設置範囲内の対象を撮像
して距離を検出する距離検出装置2が搭載されている。
この距離検出装置2は、例えば図示しない道路・障害物
認識装置などに接続されて障害物監視装置を構成し、運
転者に対する警告、車体の自動衝突回避等の動作を行な
うようになっている。
【0018】前記距離検出装置2は、車外の対象を撮像
する撮像系としてのステレオ光学系10と、このステレ
オ光学系10の感度を調整して適正な画像を撮像できる
よう制御するためのシャッタースピード制御装置15
と、前記ステレオ光学系10によって撮像した画像を処
理し、画像全体に渡る距離分布を算出するステレオ画像
処理装置20とを備えており、このステレオ画像処理装
置20で算出した3次元の距離情報が、例えば道路・障
害物認識装置等に取り込まれ、道路形状及び車輌1に対
する障害物が認識される。
【0019】前記ステレオ光学系10は、例えば電荷結
合素子(CCD)等の固体撮像素子を用いたカメラによ
り構成され、図3に示すように、遠距離の左右画像用と
しての2台のCCDカメラ11a,11b(代表してC
CDカメラ11と表記する場合もある)が、それぞれ車
室内の天井前方に一定の間隔をもって取り付けられると
ともに、近距離の左右画像用としての2台のCCDカメ
ラ12a,12b(代表してCCDカメラ12と表記す
る場合もある)が、それぞれ、遠距離用のCCDカメラ
11a,11bの内側に一定の間隔をもって取り付けら
れている。
【0020】前記ステレオ光学系10として、直近から
例えば100m遠方までの距離計測を行なう場合、車室
内のCCDカメラ11,12の取付位置を、例えば、車
輌1のボンネット先端から2mとすると、実際には前方
2mから100mまでの位置を計測できれば良い。
【0021】すなわち、図4に示すように、遠距離用の
2台のCCDカメラ11a、11bの取付間隔をrとし
て、2台のカメラ11a,11bの設置面から距離Dに
ある点Pを撮影する場合、2台のカメラ11a,11b
の焦点距離を共にfとすると、点Pの像は、それぞれの
カメラについて焦点位置からfだけ離れた投影面に写
る。
【0022】このとき、右のCCDカメラ11bにおけ
る像の位置から左のCCDカメラ11aにおける像の位
置までの距離は、r+xとなり、このxをずれ量とする
と、点Pまでの距離Dは、ずれ量xから以下の式で求め
ることができる。 D=r・f/x (1)
【0023】この左右画像のずれ量xを検出するには、
左右画像における同一物体の像を見つけ出す必要があ
り、次に述べるステレオ画像処理装置20では、画像を
小領域に分割し、それぞれの小領域内の輝度あるいは色
のパターンを左右画像で比較して一致する領域を見つけ
出し、全画面に渡って距離分布を求める。すなわち、従
来のように、エッジ、線分、特殊な形等、何らかの特徴
を抽出し、それらの特徴が一致する部分を見つけ出すこ
とによる情報量の低下を避けるのである。
【0024】左右画像の一致度は、右画像、左画像のi
番目画素の輝度(色を用いても良い)を、それぞれ、A
i、Biとすると、例えば、以下の(2)式に示すシテ
ィブロック距離Hによって評価することができ、平均値
を減算することによる情報量の低下もなく、乗算がない
ことから演算速度を向上させることができる。 H=Σ|Ai−Bi| (2)
【0025】また、分割すべき小領域の大きさとして
は、大きすぎると、その領域内に遠方物体と近くの物体
が混在する可能性が高くなり、検出される距離が曖昧に
なる。画像の距離分布を得るためにも領域は小さい方が
良いが、小さすぎると、一致度を調べるための情報量が
不足する。
【0026】このため、例えば、100m先にある幅
1.7mの車輌が、隣の車線の車輌と同じ領域内に含ま
れないように、4つに分割される画素数を領域横幅の最
大値とすると、前記ステレオ光学系10に対して4画素
となる。この値を基準に最適な画素数を実際の画像で試
行した結果、縦横共に4画素となる。
【0027】以下の説明では、画像を4×4の小領域で
分割して左右画像の一致度を調べるものとし、ステレオ
光学系10は、遠距離用のCCDカメラ11で代表する
ものとする。
【0028】図1に示すように、ステレオ画像処理装置
20は、前記ステレオ光学系10で撮像したアナログ画
像をデジタル画像に変換する画像変換部30、この画像
変換部30からの画像データに対し、左右画像のずれ量
xを決定するためのシティブロック距離Hを画素を一つ
ずつずらしながら次々と計算する一致度計算部としての
シティブロック距離計算部40、シティブロック距離H
の最小値HMIN 及び最大値HMAX を検出する最小・最大
値検出部50、この最小・最大値検出部50で得られた
最小値HMIN が左右小領域の一致を示すものであるか否
かをチェックしてずれ量xを決定するずれ量決定部60
を備えている。
【0029】前記画像変換部30には、左右画像用のC
CDカメラ11a,11bに対応してA/Dコンバータ
31a,31bが備えられ、各CCDカメラ11a,1
1bからのアナログ信号が、各A/Dコンバータ31
a,31bでデジタル信号に変換され、さらに、各A/
Dコンバータ31a,31bの出力がルックアップテー
ブル(LUT)32a,32bに入力されるようになっ
ている。
【0030】前記A/Dコンバータ31a,31bは、
例えば8ビットの分解能を有し、CCDカメラ11から
のアナログ画像を、所定の輝度階調を有するデジタル画
像に変換する。すなわち、処理の高速化のため画像の二
値化を行なうと、左右画像の一致度を計算するための情
報が著しく失われるため、例えば256階調のグレース
ケールに変換するのである。
【0031】また、前記LUT32a,32bはROM
上に構成され、前記各A/Dコンバータ31a,31b
でデジタル量に変換されたデジタル画像のデータのビッ
ト数と同じビット数のアドレスをそれぞれ有し、入力デ
ータと等しいアドレスの内容に、輝度補正やCCDアン
プの固有ゲインの補正を施したデータが書き込まれてい
る。従って、例えば8ビットの画像データを、前記LU
T32a,32bのアドレスとして与えると、低輝度部
分のコントラストを上げたり、左右のCCDカメラ11
a,11bの特性の違いを補正した8ビットのデータを
読み出すことができる。
【0032】そして、LUT32a,32bで変換され
たデジタル画像信号は、後述する#1アドレスコントロ
ーラ86によってアドレス指定され、画像メモリ33
a,33b(以下、代表して画像メモリ33と記す場合
もある)に記録されるとともに、シャッタースピード制
御装置15のデュアルポートメモリ16にサンプル画像
として記録される。尚、後述するように、前記画像メモ
リ33は、シティブロック距離計算部40で画像の一部
を繰り返し取り出して処理するため、比較的低速のメモ
リから構成することができ、コスト低減を図ることがで
きる。
【0033】ここで、前記シャッタースピード制御装置
15について説明する。前記シャッタースピード制御装
置15は、#1アドレスコントローラ86によってアド
レス指定されるデュアルポートメモリ16と、前記CC
Dカメラ11a,11bのシャッタースピードを制御す
ることにより、車外の照度変化に対応して適正な画像を
撮像できるよう感度を調整する感度調整手段としてのマ
イクロコンピュータ等からなるCCDコントローラ17
とから構成されており、前記デュアルポートメモリ16
に記録されたサンプル画像に基づいて、CCDコントロ
ーラ17で現在の各CCDカメラ11a,11bのシャ
ッタースピードが適切か否かを判断し、適切でないと判
断した場合、各CCDカメラ11a,11bのシャッタ
ースピードを変更して左右の感度差をなくすよう調整す
る。
【0034】サンプル画像に基づいて現在のシャッター
スピードが適切か否かを判断するには、どこの空間を処
理するのかといった領域を決定し、さらに、どのような
データ処理を行なうのかを決定する必要がある。詳細に
は、以下に示すように、領域についての項目と、データ
処理についての項目とを組み合わせることにより、処理
手法を決定する。 [1]領域 (1)全領域 … サンプルした画像データ全
体 (2)分割領域 … サンプルした画像を数領域
に分割(例えば、図5に示すように、領域I〜VIIに
分割) (3)特定領域 … サンプルした画像のある特
定領域(例えば、図6参照) [2]データ処理 (1)単純平均 … 当該領域内の全データの単
純平均 (2)MIN・MAX法 … 当該領域内の最小値・最大
値を検出 (3)ヒストグラム法 … 当該領域内のヒストグラム
を取る
【0035】本実施例では、[1]の領域について
(2)の分割領域を採用し、また、[2]のデータ処理
について(1)の単純平均を採用した場合について説明
する。図5に示す各領域は、 ○領域I … ほぼ全域が空の領域 ○領域II … 道路表面の比較的遠方の領域 ○領域III … 道路表面の比較的近傍の領域 ○領域IV・V … 自車輌が走行している左右の
車線 ○領域VI・VII … 自車輌が走行している車線を
示す白線データが存在する領域 を意味し、これらの7つの各領域に対し、各領域毎に、
輝度データの単純平均とシャッタースピードとをパラメ
ータとして、適切なシャッタースピードレベルを予め実
験等により求めておく。そして、各領域に対して求めた
適切なシャッタースピードレベルのデータを、各領域毎
に、輝度の平均値とシャッタースピードとをパラメータ
とするシャッタースピード変更マップにストアしてお
く。
【0036】従って、現在のシャッタースピード及びサ
ンプル画像の対応する各領域の輝度データを単純平均し
た値がわかれば、前記シャッタースピード変更マップを
参照することにより適切なシャッタースピードレベルを
知ることができ、左右のCCDカメラ11a,11bの
シャッタースピードを適切な値に制御することによっ
て、例えば、逆光や真昼の非常に照度の高い状態からト
ンネル内に進入したときのように、急激に照度が変化す
るような状態においても、リアルタイムに感度を調整す
ることができ、しかも、左右のCCDカメラ間にずれを
生じることがない。また、夜にも対応することができ
る。
【0037】例えば、現在のシャッタースピードが1/
1000secであるとき、各領域の画像データの平均
値が、図7に示すような値になっているとすると、図8
〜図12に示す各領域のシャッタースピード変更マップ
から、各領域が要求するシャッタースピードレベルSS
L(I)〜SSL(VII)は、以下の通りとなる。 SSL(I) =+1 SSL(II) =−1 SSL(III)=0 SSL(IV) =−1 SSL(V) =−1 SSL(VI) =0 SSL(VII)=0 これらのシャッタースピードレベルSSL(I)〜SS
L(VII)の総和ΣSSLを取ると、ΣSSL=−2
となり、現在のシャッタースピード1/1000sec
を2レベル下げた1/250secのシャッタースピー
ドが適正なシャッタースピードとなる。
【0038】一方、ステレオ画像処理装置20のシティ
ブロック距離計算部40では、前記画像変換部30の左
画像用の画像メモリ33aに、共通バス80を介して2
組の入力バッファメモリ41a,41bが接続されると
ともに、右画像用の画像メモリ33bに、共通バス80
を介して2組の入力バッファメモリ42a,42bが接
続されている。
【0039】前記各入力バッファメモリ41a,41
b,42a,42bは、シティブロック距離計算の速度
に応じた比較的小容量の入出力が分離した高速タイプで
あり、これらの入力バッファメモリ41a,41b,4
2a,42b、画像メモリ33a,33b、及び、前述
したシャッタースピード制御装置15のデュアルポート
メモリ16に、クロック発生回路85から供給されるク
ロックに従って#1アドレスコントローラ86から発生
されるアドレスが共通に与えられる。
【0040】前記左画像用の各入力バッファメモリ41
a,41bには、2組の例えば8段構成のシフトレジス
タ43a,43bが接続され、右画像用の各入力バッフ
ァメモリ42a,42bには、同様に、2組の例えば8
段構成のシフトレジスタ44a,44bが接続されてい
る。さらに、これら4組のシフトレジスタ43a,43
b,44a,44bには、シティブロック距離を計算す
るシティブロック距離計算回路45が接続されており、
これら4組のシフトレジスタ43a,43b,44a,
44bと前記各入力バッファメモリ41a,41b,4
2a,42bとの間のデータ転送は、#2アドレスコン
トローラ87によって制御される。
【0041】また、前記右画像用のシフトレジスタ44
a、44bには、後述するずれ量決定部60の2組の1
0段構成のシフトレジスタ64a,64bが接続されて
おり、次の小領域のデータ転送が始まると、シティブロ
ック距離Hの計算の終わった古いデータはこれらのシフ
トレジスタ64a,64bに送られ、ずれ量xの決定の
際に用いられる。
【0042】また、シティブロック距離計算回路45
は、加減算器に入出力ラッチをつなげてワンチップ化し
た高速CMOS型演算器46を組み合わせており、図1
3に詳細が示されるように、演算器46を16個ピラミ
ッド状に接続したパイプライン構造で、例えば8画素分
を同時に入力して計算するようになっている。このピラ
ミッド型構造の初段は、絶対値演算器、2段〜4段は、
それぞれ、第1加算器、第2加算器、第3加算器を構成
し、最終段は総和加算器となっている。
【0043】尚、図13においては、絶対値計算と1,
2段目の加算器は半分のみ表示している。
【0044】このシティブロック距離Hの計算をコンピ
ュータのソフトウエアで行なう場合、右画像の一つの小
領域に対して左画像の小領域を次々に探索し、これを右
画像の小領域全部について行なう必要があり、この計算
を例えば0.08秒で行なうとすると、一画素当たり例
えば5ステップのプログラムで、500MIPS(Mega
Instruction Per Second )の能力が要求される。これ
は現在の一般的なシスク(CISC)タイプのマイクロ
プロセッサでは実現不可能な数字であり、リスク(RI
SC)プロセッサ、デジタルシグナルプロセッサ(DS
P)、あるいは、並列プロセッサなどを用いなければな
らなくなる。
【0045】前記最小・最大値検出部50は、シティブ
ロック距離Hの最小値HMIN を検出する最小値検出回路
51とシティブロック距離Hの最大値HMAX を検出する
最大値検出回路52とを備えており、前記シティブロッ
ク距離計算回路45で使用する演算器46を最小値、最
大値検出用として2個使用した構成となっており、シテ
ィブロック距離Hの出力と同期が取られるようになって
いる。
【0046】図14に示すように、最小値検出回路51
は、具体的には、Aレジスタ46a、Bレジスタ46
b、及び、算術論理演算ユニット(ALU)46cから
なる演算器46に、Cラッチ53,ラッチ54,Dラッ
チ55を接続して構成され、シティブロック距離計算回
路45からの出力が、Aレジスタ46aと、Cラッチ5
3を介してBレジスタ46bとに入力され、ALU46
の出力の最上位ビット(MSB)がラッチ54に出力さ
れる。このラッチ54の出力は、Bレジスタ46b及び
Dラッチ55に出力され、演算器46での最小値計算の
途中の値が、Bレジスタ46bに保存されるとともに、
そのときのずれ量xがDラッチ55に保存されるように
なっている。
【0047】尚、最大値検出回路52については、論理
が逆になることと、ずれ量xを保存しないこと以外は、
最小値検出回路51と同様の構成である。
【0048】前述したようにシティブロック距離Hは、
一つの右画像小領域に対し、左画像小領域を1画素ずつ
ずらしながら順次計算されていく。そこで、シティブロ
ック距離Hの値が出力される毎に、これまでの値の最大
値HMAX 、最小値HMIN と比較、更新することによっ
て、最後のシティブロック距離Hの出力とほぼ同時に、
その小領域におけるシティブロック距離Hの最大値HMA
X 、最小値HMIN が求まるようになっている。
【0049】前記ずれ量決定部60は、比較的小規模の
RISCプロセッサとして構成され、演算器61を中心
として、2本の16ビット幅データバス62a,62
b、ずれ量xを保持するラッチ63a、第1の規定値と
してのしきい値HA を保持するラッチ63b、第2の規
定値としてのしきい値HB を保持するラッチ63c、第
3の規定値としてのしきい値HC を保持するラッチ63
d、右画像の輝度データを保持する2組のシフトレジス
タ64a,64b、演算器61の出力を受けてずれ量x
または”0”を出力するスイッチ回路65、そして出力
された結果を一時保存する出力バッファメモリ66a,
66b、回路の動作タイミングや演算器61の機能の制
御プログラムが書き込まれた16ビット幅のROM67
が備えられている。
【0050】前記演算器61は、ALU70を中心とし
て、Aレジスタ71、Bレジスタ72、Fレジスタ7
3、及び、セレクタ74からなり、前記データバス62
a(以下、Aバス62aとする)にAレジスタ71が接
続されるとともに、前記データバス62b(以下、Bバ
ス62bとする)にBレジスタ72が接続され、ALU
70の演算結果で前記スイッチ回路65を作動し、ずれ
量xまたは“0”が前記出力バッファメモリ66a,6
6bに格納されるようになっている。
【0051】前記Aバス62aには、各しきい値HA 、
HB 、HC を保持するラッチ63b,63c,63d、
前記最大値検出回路52が接続され、前記Bバス62b
には、前記最小値検出回路51が接続されている。さら
に、前記Aバス62a及びBバス62bには、前記各シ
フトレジスタ64a,64bが接続されている。
【0052】また、前記スイッチ回路65には、前記演
算器61が接続されるとともに、前記ラッチ63aを介
して前記最小値検出回路51が接続され、後述する3つ
のチェック条件が演算器61で判定され、その判定結果
に応じて前記出力バッファメモリ66a,66bへの出
力が切り換えられる。
【0053】このずれ量決定部60では、得られたシテ
ィブロック距離Hの最小値HMIN が本当に左右小領域の
一致を示しているものかどうかチェックを行い、条件を
満たしたもののみ、出力バッファメモリ66a,66b
の対応する画素の位置にずれ量xを出力する。
【0054】すなわち、シティブロック距離Hが最小と
なるずれ量が求めるずれ量xとなる訳であるが、以下の
3つのチェック条件を満足した場合にずれ量xを出力
し、満足しない場合には、データを採用せずに“0”を
出力する。
【0055】(1)HMIN ≦HA (HMIN >HA のとき
には距離を検出できず。) (2)HMAX −HMIN ≧HB (得られた最小値HMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値HMINの近傍の
値との差でなく、最大値HMAX との差をチェック対象と
することにより、曲面などの緩やかに輝度の変わる物体
に対しても距離検出が行なえる。) (3)右画像の小領域内の横方向の隣接画素間の輝度差
>HC (しきい値HC を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値HC は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。) 尚、このずれ量決定の処理も、通常のマイクロプロセッ
サでソフト的に行おうとすると、例えば27MIPSの
速さが必要となり、実行不可能である。
【0056】以上のずれ量決定部60から出力される最
終結果である距離分布情報は、道路・障害物認識装置な
どの外部装置へのインターフェースとなるデュアルポー
トメモリ90へ共通バス80を介して書き込まれる。
【0057】次に、距離検出装置2の動作について説明
する。
【0058】図17は、ステレオ画像処理装置20にお
ける距離検出処理のフローチャートであり、まず、ステ
ップS301で左右のCCDカメラ11a,11bによって
撮像した画像を入力すると、ステップS302で、A/Dコ
ンバータ31a,31bにより、入力したアナログ画像
をデジタル量にA/D変換する。このA/D変換された
画像データは、LUT32a,32bで、低輝度部分の
コントラスト増強、左右のCCDカメラ11a,11b
の特性補償等が行なわれ、画像メモリ33a,33bに
記録されるとともに、シャッタースピード制御装置15
のデュアルポートメモリ16にサンプル画像として記録
される。前記画像メモリ33a,33bに記憶される画
像は、CCDカメラ11a,11bのCCD素子の全ラ
インのうち、その後の処理に必要なラインのみであり、
例えば0.1秒に1回の割合(テレビ画像で3枚に1枚
の割合)で書き換えられる。
【0059】このとき、前記シャッタースピード制御装
置15では、デュアルポートメモリ16に記録されたサ
ンプル画像を調べて左右のCCDカメラ11a,11b
のシャッタースピードが適切なものであるか否かを判断
し、シャタースピードが適切でない場合、シャッタース
ピードを適切な値に変更する。すなわち、走行状態にお
ける外界照度が大きく変化した場合においても、左右の
CCDカメラ11a,11bの感度が適切に調整され、
前記画像メモリ33a,33bには、左右のCCDカメ
ラ11a,11bの感度差のない画像が記録される。
【0060】ここで、前記シャッタースピード制御装置
15によるシャッタースピード制御処理について、図1
5及び図16のフローチャートに従って説明する。
【0061】図15は、CCDコントローラ17におけ
るメインルーチンであり、ステップS101で初期化を行な
うと、ステップS102で、デュアルポートメモリ16から
サンプル画像を入力し、ステップS103で、データ処理の
サブルーチンを実行して画像データの平均化処理を行な
い、適切なシャッタースピードを計算する。次いで、ス
テップS104へ進んで計算したシャッタースピードを出力
すると、前述のステップS102へ戻り、同様の過程を繰り
返す。
【0062】前記ステップS103におけるデータ処理のサ
ブルーチンは、図16に示され、ステップS201〜S207の
各ステップで、図5に示す各領域I,II,III,I
V,V,VI,VIIにおける画像データを平均化し、
その平均値と、現在のシャッタースピードとをパラメー
タとして、図8〜図12に示す各領域毎のシャッタース
ピード変更マップを参照し、各シャッタースピードレベ
ルSSL(I),SSL(II),SSL(III),
SSL(IV),SSL(V),SSL(VI),SS
L(VII)を求めた後、ステップS208へ進み、求めた
シャッタースピードレベルSSL(I)〜SSL(VI
I)の総和ΣSSLを計算してメインルーチンへ戻る。
【0063】以上のようにして適切なシャッタースピー
ドに制御され、左右のCCDカメラ11a,11bの感
度調整がなされた状態で撮像された画像が各画像メモリ
33a,33bに記録されると、ステレオ画像処理装置
20における距離検出処理のステップS303で、左右画像
用の画像メモリ33a,33bから入力バッファメモリ
41a,41b,42a,42bへ、共通バス80を介
して、例えば4ラインずつ左右画像データが読み込ま
れ、読み込んだ左右画像のマッチング、すなわち一致度
の評価が行なわれる。
【0064】その際、左右の画像毎に、前記画像メモリ
33a,33bから前記入力バッファメモリ41a,4
1b,42a,42bへの読み込み動作と、シフトレジ
スタ43a,43b,44a,44bに対する書き込み
動作とが交互に行なわれる。例えば、左画像では、画像
メモリ33aから一方の入力バッファメモリ41aに画
像データが読み込まれている間に、他方の入力バッファ
メモリ41bからシフトレジスタ43bへ読み込んだ画
像データの書き出しが行なわれ、右画像では、画像メモ
リ33bから一方の入力バッファメモリ42aに画像デ
ータが読み込まれている間に、他方の入力バッファメモ
リ42bからシフトレジスタ44bへ読み込んだ画像デ
ータの書き出しが行なわれる。
【0065】そして、図18に示すように、前記シフト
レジスタ43a,43b,44a,44bには、左右の
4×4画素の小領域の画像データ(1,1)…(4,
4)が保存され、一方のシフトレジスタ43a(44
a)には1、2ラインのデータが、もう一方のシフトレ
ジスタ43b(44b)には3、4ラインのデータが、
それぞれ1画素毎に奇数ライン、偶数ラインの順序で入
る。
【0066】前記各シフトレジスタ43a,43b,4
4a,44bは、それぞれが独立した転送ラインを持
ち、4×4画素のデータは例えば8クロックで転送され
る。そして、これらのシフトレジスタ43a,43b,
44a,44bは、8段のうちの偶数段の内容を同時に
シティブロック距離計算回路45に出力し、シティブロ
ック距離Hの計算が始まると、右画像のデータはシフト
レジスタ44a,44b内に保持されて、クロック毎に
奇数ライン、偶数ラインのデータが交互に出力され、一
方、左画像のデータはシフトレジスタ43a,43bに
転送され続け、奇数ライン、偶数ラインのデータが交互
に出力されつつ、2クロック毎に1画素分右のほうにず
れたデータに置き換わっていく。この動作を、例えば1
00画素分ずれるまで(200クロック)繰り返す。
【0067】その後、一つの小領域に対する転送が終了
すると、#2アドレスコントローラ87内の左画像用ア
ドレスカウンタに右画像用アドレスカウンタの内容(次
の4×4画素の小領域の先頭アドレス)がセットされ、
次の小領域の処理が始まる。シティブロック距離計算回
路45では、図19のタイミングチャートに示すよう
に、まず、ピラミッド型構造初段の絶対値演算器に8画
素分のデータを入力し、左右画像の輝度差の絶対値を計
算する。すなわち、右画素の輝度から対応する左画素の
輝度を引き算し、結果が負になった場合、演算命令を変
えることにより、引く方と引かれる方を逆にして再び引
き算を行なうことにより、絶対値の計算を行なう。従っ
て、初段では引き算を2回行なう場合がある。
【0068】次いで、初段を通過すると、2段目から4
段目までの第1ないし第3加算器で二つの同時入力デー
タを加算して出力する。そして、最終段の総和加算器で
二つの連続するデータを加え合わせて総和を計算し、必
要とする16画素分のシティブロック距離Hを2クロッ
ク毎に最小・最大値検出部50へ出力する。
【0069】次に、ステップS304へ進み、前記ステップ
S303で算出したシティブロック距離Hの最大値HMAX 、
最小値HMIN を検出する。前述したように、この最大値
HMAX の検出と最小値HMIN の検出とは、互いに論理が
逆になることと、ずれ量を保存しないこと以外は、全く
同じであるため、以下、代表して最小値HMIN の検出に
ついて説明する。
【0070】まず、最初に出力されてきたシティブロッ
ク距離H(ずれ量x=0)が、図14に示す最小値検出
回路51のCラッチ53を介して、演算器46のBレジ
スタ46bに入力される。次のクロックで出力されてき
たシティブロック距離H(ずれ量x=1)は、Cラッチ
53と演算器46のAレジスタ46aとに入れられ、演
算器46では、同時に、Bレジスタ46bとの比較演算
が始まる。
【0071】前記演算器46での比較演算の結果、Bレ
ジスタ46bの内容よりもAレジスタ46aの内容の方
が小さければ、次のクロックのときに、Cラッチ53の
内容(すなわちAレジスタ46aの内容)がBレジスタ
46bに送られ、このときのずれ量xがDラッチ55に
保存される。このクロックで同時に、次のシティブロッ
ク距離H(ずれ量x=2)がAレジスタ46aとCラッ
チ53に入れられ、再び比較演算が始まる。
【0072】このようにして、計算途中での最小値が常
にBレジスタ46bに、そのときのずれ量xがDラッチ
55に保存されながら、ずれ量xが100になるまで計
算が続けられる。計算が終了すると(最後のシティブロ
ック距離Hが出力されてから1クロック後)、Bレジス
タ46bとDラッチ55の内容はずれ量決定部60に読
み込まれる。
【0073】この間に、前述したシティブロック距離計
算回路45では次の小領域の初期値が読み込まれ、時間
の無駄を生じないようになっており、一つのシティブロ
ック距離Hを計算するのに、例えば4クロックかかる
が、パイプライン構造をとっているため、2クロック毎
に新たな計算結果が得られる。
【0074】ステップS305では、前記ステップS304でシ
ティブロック距離Hの最小値HMIN、最大値HMAX が確
定すると、ずれ量決定部60にて、前述した3つの条件
がチェックされ、ずれ量xが決定される。
【0075】すなわち、図20のタイミングチャートに
示すように、Bバス62bを介して最小値HMIN が演算
器61のBレジスタ72にラッチされるとともに、この
Bレジスタ72の値と比較されるしきい値HA がAバス
62aを介してAレジスタ71にラッチされる。そして
ALU70で両者が比較され、しきい値HA よりも最小
値HMIN の方が大きければ、スイッチ回路65がリセッ
トされ、以後のチェックの如何に係わらず常に0が出力
されるようになる。
【0076】次に、Aレジスタ71に最大値HMAX がラ
ッチされ、このAレジスタ71にラッチされた最大値H
MAX とBレジスタ72に保存されている最小値HMIN と
の差が計算されて、その結果がFレジスタ73に出力さ
れる。次のクロックでAレジスタ71にしきい値HB が
ラッチされ、Fレジスタ73の値と比較される。Aレジ
スタ71にラッチされたしきい値HB よりもFレジスタ
73の内容の方が小さければ同様にスイッチ回路65が
リセットされる。
【0077】次のクロックからは、隣接画素間の輝度差
の計算が始まる。輝度データが保存されている2組のシ
フトレジスタ64a,64bは10段構成であり、それ
ぞれ、シティブロック距離計算部40の1,2ライン用
のシフトレジスタ44aと、3,4ライン用のシフトレ
ジスタ44bの後段に接続されている。前記シフトレジ
スタ64a,64bの出力は最後の段とその2つ手前の
段から取り出され、それぞれが、Aバス62aとBバス
62bとに出力される。
【0078】輝度差の計算が始まるとき、前記シフトレ
ジスタ64a,64bの各段には小領域中の各場所の輝
度データが保持されており、初めに前回の小領域の第4
行第1列の輝度データと、今回の小領域の第1行第1列
の輝度データとが、演算器61のAレジスタ71とBレ
ジスタ72とにラッチされる。
【0079】そして、Aレジスタ71の内容とBレジス
タ72の内容の差の絶対値が計算され、結果がFレジス
タ73に保存される。次のクロックでAレジスタ71に
しきい値HC がラッチされ、Fレジスタ73の値と比較
される。
【0080】前記演算器61での比較結果、Aレジスタ
の内容(しきい値HC )よりもFレジスタ73の内容
(輝度差の絶対値)のほうが大きければ、前記スイッチ
回路65からずれ量xあるいは”0”が出力され、Aレ
ジスタの内容よりもFレジスタ73の内容のほうが小さ
ければ”0”が出力されて、出力バッファメモリ66
a,66bの該当する小領域の第1行第1列に当たる位
置に書き込まれる。
【0081】前記演算器61で隣接画素間の輝度差とし
きい値HC との比較が行なわれている間に、シフトレジ
スタ64a,64bは1段シフトする。そして今度は、
前回の小領域の第4行第2列と、今回の小領域の第1行
第2列の輝度データに対して計算を始める。このように
して小領域の第1列、第2列に対し交互に計算を行なっ
た後、第3列、第4列に対して同様に計算を進める。
【0082】計算中は、シフトレジスタ64a,64b
の最終段と最初の段がつながってリングレジスタになっ
ており、小領域全体を計算した後にシフトクロックが2
回追加されるとレジスタの内容が計算前の状態に戻り、
次の小領域の輝度データが転送され終わったときに、最
終段とその前の段に今回の小領域の第4行のデータが留
められる。
【0083】このように、ずれ量決定のための計算中に
次のデータをAバス62a,Bバス62bに用意した
り、結果の書き込みを行なうため、計算に必要な2クロ
ックのみで一つのデータが処理される。この結果、初め
に行なう最小値HMIN 、最大値HMAX のチェックを含め
ても、例えば43クロックで全ての計算が終了する。す
なわち、一つの小領域に対して、シティブロック距離H
の最小値HMIN 、最大値HMAX を求めるのに要する時間
は充分に余裕があり、さらに機能を追加することも可能
である。
【0084】そして、ずれ量xが決定されると、ステッ
プS306で、出力バッファメモリ66a,66bからデュ
アルポートメモリ90へ、ずれ量xを距離分布情報とし
て出力し、ステレオ画像処理装置20における処理が終
了する。前記出力バッファメモリ66a,66bは、前
述した入力バッファメモリ41a,41b,42a,4
2bと同様、例えば4ライン分の容量があり、2組の一
方に書き込んでいる間にもう一方から前記デュアルポー
トメモリ90へ距離分布情報を送り出す。
【0085】次に、ステレオ画像処理装置20のシステ
ム全体のタイミングについて、図21に示すタイミング
チャートに従って説明する。
【0086】まず初めに、同期を取っている左右のCC
Dカメラ11a,11bからのフィールド信号を0.1
秒毎(3画面に1画面の割合)に、画像メモリ33a,
33bに書き込む。
【0087】次に、取り込み終了信号を受けて、4ライ
ン毎のブロック転送が始まる。この転送は、右画像、左
画像、結果の距離分布像の順に3ブロック転送する。
【0088】この間に、一方の入出力バッファメモリに
対してずれ量xの計算が行われる。そして、ずれ量xの
計算時間を考慮し、所定時間待機してからもう一方の入
出力バッファメモリに対して転送を始める。
【0089】一つの右画像の4×4画素の小領域に対す
るシティブロック距離Hの計算は、左画像について10
0画素ずらしながら計算するため、100回行われる。
一つの領域のシティブロック距離Hが計算されている間
に、その前の領域のずれ量xが各チェックを経て距離分
布として出力される。
【0090】処理すべきライン数を200とすると4ラ
イン分の処理を50回繰り返すことになり、計算の開始
時に最初のデータを転送するための4ライン分の処理時
間、計算終了後に最後の結果を画像認識部に転送するた
めの4ライン分の処理時間と、計8ライン分の処理時間
がさらに必要となる。
【0091】最初の入力画像ラインの転送を開始してか
ら最後の距離分布を転送し終わるまでの時間は、実際の
回路動作の結果、0.076秒である。
【0092】以上説明したステレオ画像処理装置20か
ら出力される距離分布情報は、画像のような形態をして
おり(距離画像)、左右2台のCCDカメラ11a,1
1bで撮影した画像、例えば図22に示すような画像
(図22は片方のカメラで撮像した画像を示す)を前記
ステレオ画像処理装置20で処理すると、図23のよう
な画像となる。
【0093】図23に示す画像例では、画像サイズは横
400画素×縦200画素であり、距離データを持って
いるのは黒点の部分で、これは図22の画像の各画素の
うち、左右方向に隣合う画素間で明暗変化が大きい部分
である。画像上の座標系は、図23に示すように、左上
隅を原点として横方向をi座標軸,縦方向をj座標軸と
し、単位は画素である。
【0094】この場合、図22に示す画像は、シャッタ
ースピード制御装置15により、左右のCCDカメラ1
1a,11bのシャッタースピードを適切な値に制御し
て撮像した画像であり、この画像を記録した画像メモリ
33のデータを処理して得られる図23の距離画像は、
照度が急激に変化するような状況であっても、正確な距
離分布を示すものとなっている。
【0095】そして、この距離画像からは、CCDカメ
ラ11の取付け位置と焦点距離などのレンズパラメータ
を用いて各画素に対応する物体のXYZ空間における3
次元位置を算出することができ、情報量の低下なく車外
の対象物までの距離を正確に検出することができる。
【0096】尚、前記ずれ量xによる距離分布情報から
XYZ空間における3次元位置への計算は、ステレオ画
像処理装置20内で処理しても良く、ステレオ画像処理
装置20から外部に出力されるデータ形式は、接続する
外部装置との兼ね合いで定めれば良い。
【0097】図24及び図25は本発明の第2実施例に
係わり、図24は特定領域内の輝度ヒストグラムを示す
説明図、図25はヒストグラムによるデータ処理のフロ
ーチャートである。
【0098】本実施例は、前述の第1実施例のCCDコ
ントローラ17によるシャッタースピード制御処理にお
いて、ステップS103のデータ処理を変更するもであり、
前述したように、サンプル画像に基づいて現在のシャッ
タースピードが適正か否かを判断する際に、特定領域
(図6参照)内のデータからヒストグラムを作成する処
理手法を採用するものである。
【0099】この場合、特定領域としては自車の走行線
及び障害物の認識にとって最も重要な領域を設定し、こ
の特定領域に対し、図24に示すような輝度のヒストグ
ラムを作成して現在のシャッタースピードレベルが適正
であるか否かを判断する。以下、図25のフローチャー
トに従って本実施例におけるデータ処理について説明す
る。
【0100】まず、全サンプル数n、各画素の階調デー
タを分類する輝度の幅c、時間t、シャッタースピード
レベル数Lとして特定領域を探索し、図24に示すよう
なヒストグラムを作成すると、ステップS301で、ヒスト
グラムの最大の分類の度数(暗い部分の度数)Fi(t)
を演算し、ステップS302で、ヒストグラムの最小の分類
の度数(明るい部分の度数)Fj(t)を演算する。
【0101】次に、ステップS303へ進み、最大の分類の
度数Fi(t)と最小の分類の度数Fj(t)との差を演算す
ることにより特定領域における輝度の分布を調べ、これ
を現在のシャッタースピードが適正であるか否かを表わ
す評価関数Fi-j(t)としてステップS304へ進む。
【0102】ステップS304では、前記ステップS303で演
算した評価関数Fi-j(t)からシャッタースピードレベ
ル制御量ΔSSL(t)を演算する。このシャッタースピ
ードレベル制御量ΔSSL(t)は、シャッタースピード
レベル数Lに対する比率として求められ、以下に示すよ
うに、評価関数Fi-j(t)が特定領域のどの辺に分布し
ているかに応じ、予め実験等によって求められた適正な
値に決定される。 Fi-j(t)<−n/2 → ΔSSL(t)= L/2 −n/2≦Fi-j(t)<−n/4 → ΔSSL(t)= L/4 −n/4≦Fi-j(t)<−n/8 → ΔSSL(t)= L/8 : : : : n/8≦Fi-j(t)< n/4 → ΔSSL(t)=−L/8 n/4≦Fi-j(t)< n/2 → ΔSSL(t)=−L/4 n/2≦Fi-j(t) → ΔSSL(t)=−L/2
【0103】以上のシャッタースピードレベル制御量Δ
SSL(t)は、評価関数Fi-j(t)の値をパラメータと
するテーブル検索あるいは条件判断を伴う演算によって
行なわれ、シャッタースピードレベル制御量ΔSSL
(t)が決定されると、ステップS305で、以下の(3)式
に示すように時間tのシャッタースピードレベルSSL
(t)に決定したシャッタースピードレベル制御量ΔSS
L(t)を加算し、時間t+1のシャッタースピードレベ
ルSSL(t+1)を求める。 SSL(t+1)=SSL(t)+ΔSSL(t) (3) そして、このシャッタースピードレベルSSL(t+1)
により、現在のシャッタースピードが適切でない場合に
はシャッタースピードが何段階か上下されて適正化され
る。
【0104】従って、前述の第1実施例同様、照度が急
激に変化するような状況に対しても、左右のCCDカメ
ラ11a,11bの感度差のない画像が得られ、正確な
距離分布が得られるが、本実施例においては、特定領域
のみを探索するため、前述の第1実施例に対し、より処
理速度を早くすることができるという利点がある。
【0105】
【発明の効果】以上説明したように本発明によれば、車
外の対象を撮像する撮像手段の感度を適切に維持し、外
界の照度変化にも迅速に対応して適正な画像を得ること
ができ、距離検出の精度を向上することができる等優れ
た効果が得られる。
【図面の簡単な説明】
【図1】図1〜図23は本発明の第1実施例に係わり、
図1は車輌用距離検出装置の回路構成図
【図2】距離検出装置の全体構成図
【図3】車輌の正面図
【図4】カメラと被写体との関係を示す説明図
【図5】分割領域例を示す説明図
【図6】特定領域例を示す説明図
【図7】領域毎の平均値例を示す説明図
【図8】領域Iに対するシャッタースピード変更マップ
を示す説明図
【図9】領域IIに対するシャッタースピード変更マッ
プを示す説明図
【図10】領域IIIに対するシャッタースピード変更
マップを示す説明図
【図11】領域IV,Vに対するシャッタースピード変
更マップを示す説明図
【図12】領域VI,VIIに対するシャッタースピー
ド変更マップを示す説明図
【図13】シティブロック距離計算回路の説明図
【図14】最小値検出回路のブロック図
【図15】シャッタースピード制御処理のフローチャー
【図16】平均化処理のフローチャート
【図17】距離検出処理のフローチャート
【図18】シフトレジスタ内の保存順序を示す説明図
【図19】シティブロック距離計算回路の動作を示すタ
イミングチャート
【図20】ずれ量決定部の動作を示すタイミングチャー
【図21】全体の動作を示すタイミングチャート
【図22】車載のCCDカメラで撮像した画像の例を示
す説明図
【図23】距離画像の例を示す説明図
【図24】図24及び図25は本発明の第2実施例に係
わり、図24は特定領域内の輝度ヒストグラムを示す説
明図
【図25】ヒストグラムによるデータ処理のフローチャ
ート
【図26】従来の感度調節機構を示す説明図
【符号の説明】
10 ステレオ光学系(撮像系) 16 デュアルポートメモリ(メモリ) 17 CCDコントローラ(感度調整手段) 33 画像メモリ

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 車輌に搭載した撮像系によって車外の対
    象を撮像して画像メモリに記録し、この画像メモリに記
    録した画像データを処理して画像全体に渡る距離分布を
    算出する車輌用距離検出装置において、 前記撮像系で撮像した画像をサンプルするため、前記画
    像メモリと並列に接続したメモリと、 前記メモリに記録した画像を複数の領域に分割し、各領
    域毎の画像データの平均値と現在のシャッタースピード
    とをパラメータとして各領域毎の適切なシャッタースピ
    ードレベルをマップ検索により設定し、設定した領域毎
    のシャッタースピードレベルの総和から前記撮像系のシ
    ャッタースピードを制御することにより、車外の照度変
    化に対応して適正な画像を撮像できるよう前記撮像系の
    感度を調整する感度調整手段とを備えたことを特徴とす
    る車輌用距離検出装置。
  2. 【請求項2】 車輌に搭載した撮像系によって車外の対
    象を撮像して画像メモリに記録し、この画像メモリに記
    録した画像データを処理して画像全体に渡る距離分布を
    算出する車輌用距離検出装置において、 前記撮像系で撮像した画像をサンプルするため、前記画
    像メモリと並列に接続したメモリと、 前記メモリに記録した画像に対して特定の領域を設定
    し、この特定の領域の画像データから作成したヒストグ
    ラムの最大及び最小の分類の度数に基づいて現在のシャ
    ッタースピードレベルに対する制御量を演算して適切な
    シャッタースピードレベルを設定し、設定したシャッタ
    ースピードレベルで前記撮像系のシャッタースピードを
    制御することにより、車外の照度変化に対応して適正な
    画像を撮像できるよう前記撮像系の感度を調整する感度
    調整手段とを備えたことを特徴とする 車輌用距離検出装
    置。
JP32880293A 1993-03-24 1993-12-24 車輌用距離検出装置 Expired - Fee Related JP3468428B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP32880293A JP3468428B2 (ja) 1993-03-24 1993-12-24 車輌用距離検出装置
US08/198,570 US5535144A (en) 1993-03-24 1994-02-18 Distance detection method and system using a stereoscopical imaging apparatus
DE4447788A DE4447788B4 (de) 1993-03-24 1994-03-23 Verfahren zum Steuern der Verschlußgeschwindigkeit einer stereoskopischen Abbildungsvorrichtung, insbesondere bei einem System zur Abstandserkennung
GB9405734A GB2280810B (en) 1993-03-24 1994-03-23 Distance detecting method and system
GB9702167A GB2307612B (en) 1993-03-24 1994-03-23 Distance detecting method and system
DE4410064A DE4410064C2 (de) 1993-03-24 1994-03-23 Verfahren und Vorrichtung zur Abstandserkennung
US08/598,637 US5650944A (en) 1993-03-24 1996-02-13 Shutter speed control method and system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP5-65498 1993-03-24
JP6549893 1993-03-24
JP32880293A JP3468428B2 (ja) 1993-03-24 1993-12-24 車輌用距離検出装置

Publications (2)

Publication Number Publication Date
JPH072022A JPH072022A (ja) 1995-01-06
JP3468428B2 true JP3468428B2 (ja) 2003-11-17

Family

ID=26406643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32880293A Expired - Fee Related JP3468428B2 (ja) 1993-03-24 1993-12-24 車輌用距離検出装置

Country Status (4)

Country Link
US (2) US5535144A (ja)
JP (1) JP3468428B2 (ja)
DE (2) DE4410064C2 (ja)
GB (1) GB2280810B (ja)

Families Citing this family (205)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) * 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
JP3468428B2 (ja) * 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
BE1008236A3 (nl) * 1994-04-08 1996-02-20 Traficon Nv Verkeersbewakingsinrichting.
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
GB2338134B (en) * 1995-02-22 2000-02-16 Asahi Optical Co Ltd Distance measuring apparatus
FR2730829B1 (fr) * 1995-02-22 2003-06-06 Asahi Optical Co Ltd Dispositif de mesure de distance
DE19507956C2 (de) * 1995-03-07 2002-11-07 Daimler Chrysler Ag Einrichtung zur Bestimmung des Fahrzeugabstandes von einer seitlichen Fahrbahnmarkierung
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP3369368B2 (ja) * 1995-10-11 2003-01-20 富士通株式会社 画像処理装置
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
DE69736764T2 (de) * 1996-08-28 2007-01-25 Matsushita Electric Industrial Co., Ltd., Kadoma Lokales Positionierungsgerät und Verfahren dafür
DE19736051A1 (de) * 1997-08-20 1999-02-25 Bosch Gmbh Robert Kameraaufbau zur Aufnahme und Verfahren zur Auswertung von Bildern
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US6115651A (en) * 1998-01-15 2000-09-05 Cruz; Diogenes J. Large vehicle blindspot monitor
JP4021026B2 (ja) * 1998-01-29 2007-12-12 富士重工業株式会社 ステレオ画像処理システム
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US6384790B2 (en) 1998-06-15 2002-05-07 Ppg Industries Ohio, Inc. Antenna on-glass
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
EP1038734B1 (en) * 1998-10-08 2019-05-15 Panasonic Intellectual Property Corporation of America Driving assisting device and recording medium
JP3807583B2 (ja) * 1999-04-19 2006-08-09 本田技研工業株式会社 道路領域判定装置
JP3587506B2 (ja) * 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
JP4233723B2 (ja) * 2000-02-28 2009-03-04 本田技研工業株式会社 障害物検出装置、障害物検出方法、及び障害物検出プログラムを記録した記録媒体
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
WO2001064481A2 (en) 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US7195381B2 (en) 2001-01-23 2007-03-27 Donnelly Corporation Vehicle interior LED lighting system
US6396408B2 (en) 2000-03-31 2002-05-28 Donnelly Corporation Digital electrochromic circuit with a vehicle network
DE10031590B4 (de) * 2000-06-29 2007-10-04 Volkswagen Aktiengesellschaft Adaptive Rückfahrkamera
JP4953498B2 (ja) * 2000-07-12 2012-06-13 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
JP3920769B2 (ja) * 2000-08-17 2007-05-30 株式会社日立製作所 車両用計測制御装置
JP3736346B2 (ja) * 2000-12-26 2006-01-18 日産自動車株式会社 車線検出装置
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
US20020134151A1 (en) * 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
US7697027B2 (en) 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US7004606B2 (en) * 2002-04-23 2006-02-28 Donnelly Corporation Automatic headlamp control
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
AU2003237424A1 (en) 2002-06-06 2003-12-22 Donnelly Corporation Interior rearview mirror system with compass
US20060061008A1 (en) 2004-09-14 2006-03-23 Lee Karner Mounting assembly for vehicle interior mirror
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
US10144353B2 (en) 2002-08-21 2018-12-04 Magna Electronics Inc. Multi-camera vision system for a vehicle
JP4176430B2 (ja) * 2002-09-18 2008-11-05 富士重工業株式会社 車外監視装置、及び、この車外監視装置を備えた走行制御装置
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
EP1543358A2 (en) 2002-09-20 2005-06-22 Donnelly Corporation Mirror reflective element assembly
KR100488728B1 (ko) * 2003-05-15 2005-05-11 현대자동차주식회사 자동차의 2중 노출 카메라 시스템 및 영상 취득방법
US7289037B2 (en) 2003-05-19 2007-10-30 Donnelly Corporation Mirror assembly for vehicle
JPWO2004106858A1 (ja) * 2003-05-29 2006-07-20 オリンパス株式会社 ステレオカメラシステム及びステレオ光学モジュール
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4545503B2 (ja) * 2004-07-14 2010-09-15 オリンパス株式会社 画像生成装置およびその方法
US7774112B2 (en) * 2004-09-27 2010-08-10 Teledyne Technologies Incorporated System and method for flight data recording
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
DE102005015603A1 (de) * 2005-04-05 2006-10-12 Dr.Ing.H.C. F. Porsche Ag Verfahren zum Erkennen der Lichtverhältnisse in der Umgebung eines Fahrzeugs und Vorrichtung zum Steuern eines Fahrzeugscheinwerfers und einer Fahrzeugleuchte
US7626749B2 (en) 2005-05-16 2009-12-01 Donnelly Corporation Vehicle mirror assembly with indicia at reflective element
CN101535087B (zh) 2005-11-01 2013-05-15 唐纳利公司 具有显示装置的内部后视镜
KR101011507B1 (ko) 2006-03-09 2011-01-31 젠텍스 코포레이션 고강도 디스플레이를 포함하는 차량 후사경 조립체
JP4619981B2 (ja) * 2006-04-10 2011-01-26 富士重工業株式会社 画像認識装置
WO2007124502A2 (en) * 2006-04-21 2007-11-01 Sarnoff Corporation Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
KR100809233B1 (ko) * 2006-06-12 2008-03-05 삼성전기주식회사 이미지 센서의 자동 노출 제어 장치 및 방법
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
JP4398969B2 (ja) * 2006-11-07 2010-01-13 富士フイルム株式会社 多眼撮影装置および多眼撮影装置における露出設定方法並びにプログラム
US8013780B2 (en) 2007-01-25 2011-09-06 Magna Electronics Inc. Radar sensing system for vehicle
US7914187B2 (en) 2007-07-12 2011-03-29 Magna Electronics Inc. Automatic lighting system with adaptive alignment function
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
US8451107B2 (en) 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
WO2009046268A1 (en) 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
JP4433045B2 (ja) 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4433046B2 (ja) 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4389999B2 (ja) 2007-12-26 2009-12-24 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4856656B2 (ja) * 2008-01-22 2012-01-18 富士重工業株式会社 車両検出装置
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US20100020170A1 (en) 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
US8284250B2 (en) * 2009-01-16 2012-10-09 Microsoft Corporation Determining trigger rate for a digital camera
EP2401176B1 (en) 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle
US8376595B2 (en) 2009-05-15 2013-02-19 Magna Electronics, Inc. Automatic headlamp control
WO2011014497A1 (en) 2009-07-27 2011-02-03 Magna Electronics Inc. Vehicular camera with on-board microcontroller
US8874317B2 (en) 2009-07-27 2014-10-28 Magna Electronics Inc. Parking assist system
EP2473871B1 (en) 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
US8890955B2 (en) 2010-02-10 2014-11-18 Magna Mirrors Of America, Inc. Adaptable wireless vehicle vision system based on wireless communication error
JP5662046B2 (ja) * 2010-03-31 2015-01-28 パナソニック デバイスSunx株式会社 変位センサ
US9117123B2 (en) 2010-07-05 2015-08-25 Magna Electronics Inc. Vehicular rear view camera display system with lifecheck function
US8851880B2 (en) 2010-07-06 2014-10-07 Faurecia Interior Systems, Inc. Powder slush molding process and equipment
DE112011103834T8 (de) 2010-11-19 2013-09-12 Magna Electronics, Inc. Spurhalteassistent und Spurzentrierung
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
US9085261B2 (en) 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
US9194943B2 (en) 2011-04-12 2015-11-24 Magna Electronics Inc. Step filter for estimating distance in a time-of-flight ranging system
US9834153B2 (en) 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145818A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145819A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
KR20130005107A (ko) * 2011-07-05 2013-01-15 현대자동차주식회사 차간거리 자동 가변 시스템 및 그 방법
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
WO2013019707A1 (en) 2011-08-01 2013-02-07 Magna Electronics Inc. Vehicle camera alignment system
US20140218535A1 (en) 2011-09-21 2014-08-07 Magna Electronics Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
US9681062B2 (en) 2011-09-26 2017-06-13 Magna Electronics Inc. Vehicle camera image quality improvement in poor visibility conditions by contrast amplification
US9146898B2 (en) 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
US9491451B2 (en) 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US10071687B2 (en) 2011-11-28 2018-09-11 Magna Electronics Inc. Vision system for vehicle
WO2013086249A2 (en) 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
WO2013126715A2 (en) 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
US8694224B2 (en) 2012-03-01 2014-04-08 Magna Electronics Inc. Vehicle yaw rate correction
US10609335B2 (en) 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
WO2013158592A2 (en) 2012-04-16 2013-10-24 Magna Electronics, Inc. Vehicle vision system with reduced image color data processing by use of dithering
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
US10089537B2 (en) 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
TW201348038A (zh) * 2012-05-31 2013-12-01 Yottastor Information Technology Inc 行車警示系統
US9340227B2 (en) 2012-08-14 2016-05-17 Magna Electronics Inc. Vehicle lane keep assist system
DE102013217430A1 (de) 2012-09-04 2014-03-06 Magna Electronics, Inc. Fahrerassistenzsystem für ein Kraftfahrzeug
US9558409B2 (en) 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US9090234B2 (en) 2012-11-19 2015-07-28 Magna Electronics Inc. Braking control system for vehicle
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
JP6155609B2 (ja) * 2012-11-22 2017-07-05 株式会社リコー 視差算出装置及びプログラム
US10025994B2 (en) 2012-12-04 2018-07-17 Magna Electronics Inc. Vehicle vision system utilizing corner detection
US9481301B2 (en) 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
KR101463448B1 (ko) * 2012-12-10 2014-11-21 주식회사 넥서스에너지 차간거리 유지방법
US20140218529A1 (en) 2013-02-04 2014-08-07 Magna Electronics Inc. Vehicle data recording system
US9092986B2 (en) 2013-02-04 2015-07-28 Magna Electronics Inc. Vehicular vision system
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US9688200B2 (en) 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
KR101881346B1 (ko) 2013-03-15 2018-07-24 젠텍스 코포레이션 디스플레이 미러 어셈블리
US10027930B2 (en) 2013-03-29 2018-07-17 Magna Electronics Inc. Spectral filtering for vehicular driver assistance systems
US9327693B2 (en) 2013-04-10 2016-05-03 Magna Electronics Inc. Rear collision avoidance system for vehicle
US10232797B2 (en) 2013-04-29 2019-03-19 Magna Electronics Inc. Rear vision system for vehicle with dual purpose signal lines
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US9205776B2 (en) 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US10567705B2 (en) 2013-06-10 2020-02-18 Magna Electronics Inc. Coaxial cable with bidirectional data transmission
US9260095B2 (en) 2013-06-19 2016-02-16 Magna Electronics Inc. Vehicle vision system with collision mitigation
US20140375476A1 (en) 2013-06-24 2014-12-25 Magna Electronics Inc. Vehicle alert system
US9619716B2 (en) 2013-08-12 2017-04-11 Magna Electronics Inc. Vehicle vision system with image classification
US10326969B2 (en) 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
EP3049286B1 (en) 2013-09-24 2018-05-09 Gentex Corporation Display mirror assembly
US9499139B2 (en) 2013-12-05 2016-11-22 Magna Electronics Inc. Vehicle monitoring system
US9988047B2 (en) 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
US10160382B2 (en) 2014-02-04 2018-12-25 Magna Electronics Inc. Trailer backup assist system
EP3106919B1 (en) * 2014-02-14 2021-03-17 Hitachi Automotive Systems, Ltd. Stereo camera
EP3119643B1 (en) 2014-03-21 2018-05-23 Gentex Corporation Tri-modal display mirror assembly
EP3126195B1 (en) 2014-04-01 2019-06-05 Gentex Corporation Automatic display mirror assembly
US9623878B2 (en) 2014-04-02 2017-04-18 Magna Electronics Inc. Personalized driver assistance system for vehicle
DE112015001741T5 (de) * 2014-04-08 2016-12-29 Tk Holdings Inc. System und Verfahren für Nachtvisionsobjektdetektion und Fahrerassistenz
US9487235B2 (en) 2014-04-10 2016-11-08 Magna Electronics Inc. Vehicle control system with adaptive wheel angle correction
US9925980B2 (en) 2014-09-17 2018-03-27 Magna Electronics Inc. Vehicle collision avoidance system with enhanced pedestrian avoidance
US9694751B2 (en) 2014-09-19 2017-07-04 Gentex Corporation Rearview assembly
EP3215398B1 (en) 2014-11-07 2019-01-09 Gentex Corporation Full display mirror actuator
DE102014222900A1 (de) 2014-11-10 2016-05-12 Bombardier Transportation Gmbh Betrieb eines Schienenfahrzeugs mit einem Bilderzeugungssystem
CN107000649B (zh) 2014-11-13 2020-04-14 金泰克斯公司 具有显示装置的后视镜系统
KR101997815B1 (ko) 2014-12-03 2019-07-08 젠텍스 코포레이션 디스플레이 미러 어셈블리
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
US9978135B2 (en) * 2015-02-27 2018-05-22 Cognex Corporation Detecting object presence on a target surface
EP3286038A4 (en) 2015-04-20 2018-04-25 Gentex Corporation Rearview assembly with applique
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
US10819943B2 (en) 2015-05-07 2020-10-27 Magna Electronics Inc. Vehicle vision system with incident recording function
WO2016187215A1 (en) 2015-05-18 2016-11-24 Gentex Corporation Full display rearview device
EP3310618A4 (en) 2015-06-22 2018-07-04 Gentex Corporation System and method for processing streamed video images to correct for flicker of amplitude-modulated lights
US10078789B2 (en) 2015-07-17 2018-09-18 Magna Electronics Inc. Vehicle parking assist system with vision-based parking space detection
US10086870B2 (en) 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
JP6677474B2 (ja) * 2015-09-29 2020-04-08 日立オートモティブシステムズ株式会社 周辺認識装置
US10875403B2 (en) 2015-10-27 2020-12-29 Magna Electronics Inc. Vehicle vision system with enhanced night vision
CN108349436B (zh) 2015-10-30 2019-12-20 金泰克斯公司 后视装置
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
US10685623B2 (en) 2015-10-30 2020-06-16 Gentex Corporation Toggle paddle
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
US10144419B2 (en) 2015-11-23 2018-12-04 Magna Electronics Inc. Vehicle dynamic control system for emergency handling
JP6623729B2 (ja) * 2015-12-04 2019-12-25 株式会社ソシオネクスト 測距システム、移動体及び部品
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
US10132971B2 (en) 2016-03-04 2018-11-20 Magna Electronics Inc. Vehicle camera with multiple spectral filters
US10055651B2 (en) 2016-03-08 2018-08-21 Magna Electronics Inc. Vehicle vision system with enhanced lane tracking
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US11009347B2 (en) * 2016-05-26 2021-05-18 Symbol Technologies, Llc Arrangement for, and method of, determining a distance to a target to be read by image capture over a range of working distances
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
CN109952231B (zh) 2016-12-30 2023-07-14 金泰克斯公司 具有按需侦察视图的全显示镜
CN110312641A (zh) 2017-03-17 2019-10-08 金泰克斯公司 双显示倒车摄像系统
US11968639B2 (en) 2020-11-11 2024-04-23 Magna Electronics Inc. Vehicular control system with synchronized communication between control units
CN113188546B (zh) * 2021-04-30 2022-09-06 成都市微泊科技有限公司 基于图像识别与人行航位推算的室内定位导航方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59197816A (ja) * 1983-04-25 1984-11-09 Nippon Denso Co Ltd 車間距離検出装置
GB2147169B (en) * 1983-08-09 1987-09-30 Konishiroku Photo Ind Rangefinder
US4916302A (en) * 1985-02-09 1990-04-10 Canon Kabushiki Kaisha Apparatus for and method of measuring distances to objects present in a plurality of directions
JPS62155140A (ja) * 1985-12-27 1987-07-10 Aisin Warner Ltd 車両制御用道路画像入力方式
JPH0789059B2 (ja) * 1987-01-14 1995-09-27 株式会社日立製作所 視覚センサシステム
JPS63314618A (ja) * 1987-06-17 1988-12-22 Nissan Motor Co Ltd 自律走行車両制御装置
US4872051A (en) * 1987-10-01 1989-10-03 Environmental Research Institute Of Michigan Collision avoidance alarm system
JP2556541B2 (ja) * 1988-01-22 1996-11-20 日産自動車株式会社 車両用画像情報表示装置
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
US5161632A (en) * 1990-06-01 1992-11-10 Mitsubishi Denki K.K. Tracking control device for a vehicle
DE69121369T2 (de) * 1990-11-30 1997-01-09 Honda Motor Co Ltd Steuervorrichtung für einen sich selbständig bewegenden Körper und Verfahren zur Auswertung der Daten davon
JPH04313199A (ja) * 1991-03-20 1992-11-05 Mitsubishi Electric Corp 車間距離検出装置
JP2768042B2 (ja) * 1991-05-14 1998-06-25 三菱電機株式会社 距離測定装置
EP0528433B1 (en) * 1991-08-21 2002-03-06 Canon Kabushiki Kaisha Video camera provided with a plurality of photographing modes
JP3167752B2 (ja) * 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JP3468428B2 (ja) * 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置

Also Published As

Publication number Publication date
GB2280810B (en) 1997-08-06
JPH072022A (ja) 1995-01-06
GB9405734D0 (en) 1994-05-11
DE4410064C2 (de) 1999-02-25
US5650944A (en) 1997-07-22
DE4447788B4 (de) 2013-05-23
US5535144A (en) 1996-07-09
GB2280810A (en) 1995-02-08
DE4410064A1 (de) 1994-09-29

Similar Documents

Publication Publication Date Title
JP3468428B2 (ja) 車輌用距離検出装置
JP3167752B2 (ja) 車輌用距離検出装置
JP4856612B2 (ja) 物体検出装置
JP3280001B2 (ja) ステレオ画像の位置ずれ調整装置
US6373518B1 (en) Image correction apparatus for stereo camera
JP2001069402A (ja) ステレオカメラの調整装置
JPH05265547A (ja) 車輌用車外監視装置
JP3287465B2 (ja) ステレオ画像処理装置
JP3348939B2 (ja) 車輌用距離検出装置
JP2007018451A (ja) 道路区画線検出装置
JPH07120257A (ja) 車輌用距離検出装置
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
JPH06273171A (ja) 車輌用距離検出装置
JPH07120256A (ja) 車輌用距離検出装置
JP4130601B2 (ja) 対象物認識装置および対象物認識方法
JPH07120255A (ja) 車輌用距離検出装置
JPH11219493A (ja) 交通情報処理方法
JP4316710B2 (ja) 車外監視装置
JP4995555B2 (ja) 画像処理装置
JP4204818B2 (ja) 画像処理装置
JP2876493B2 (ja) 車両動態計測方法
JP4052299B2 (ja) カメラ式車両感知器における露光制御方法及び装置
JPH07121795A (ja) 車輌用車外監視装置
JPH06266825A (ja) 画像追尾装置
JP4794764B2 (ja) 車外監視装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100905

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees