JPH05201298A - 車両周辺監視装置 - Google Patents

車両周辺監視装置

Info

Publication number
JPH05201298A
JPH05201298A JP4170559A JP17055992A JPH05201298A JP H05201298 A JPH05201298 A JP H05201298A JP 4170559 A JP4170559 A JP 4170559A JP 17055992 A JP17055992 A JP 17055992A JP H05201298 A JPH05201298 A JP H05201298A
Authority
JP
Japan
Prior art keywords
bright spot
bright
vehicle
road surface
reference data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4170559A
Other languages
English (en)
Other versions
JP2901112B2 (ja
Inventor
Masato Nakajima
真人 中島
Junichi Yamaguchi
順一 山口
Hironari Akita
裕也 秋田
Yoshihiro Tsuji
喜博 辻
Kazuyuki Sasaki
一幸 佐々木
Naoto Ishikawa
直人 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP4170559A priority Critical patent/JP2901112B2/ja
Publication of JPH05201298A publication Critical patent/JPH05201298A/ja
Priority to US08/468,231 priority patent/US6285778B1/en
Application granted granted Critical
Publication of JP2901112B2 publication Critical patent/JP2901112B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

(57)【要約】 【目的】 障害物や溝或いは人の大きさ及び位置、更に
溝の深さなどを検出することによって、車両運転におけ
るドライバーの安全確認を十分に支援できる車両周辺監
視装置を提供することを目的とする。 【構成】 パターン光投光器３が、レーザ光入射に対し
投影面に正方格子状に輝点マトリクスを投影する。撮像
機４がこの輝点マトリクスの輝点パターンを撮像する。
データ処理部１０が撮像機から得られる画像を処理する
ことによって障害物や溝あるいは人等の存在を検知す
る。進路検出手段８が検出した車両の進路に基づいて車
両の進路を予測し、車両と障害物等との接触あるいは衝
突を事前に検知する。ブザー、音声合成装置、ディスプ
レイ装置によって、運転者に障害物等の存在、車両と障
害物等との接触予想地点などを知らせる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は車両周辺監視装置にかか
り、より詳細には、自動車などの車両の周辺を監視して
車両運転におけるドライバーの安全確認を支援するのに
有効に適用される車両周辺監視装置に関するものであ
る。
【０００２】
【従来の技術】従来、自動車などの車両の周辺を監視す
る装置として、超音波送波器から出射された超音波が障
害物により反射され、受波器に戻るまでの時間を計測
し、物体までの距離を検出することによって、障害物の
存在を検知する装置があった。
【０００３】また、自動車の例えば後部屋根の上にテレ
ビカメラを取り付け、自動車が例えば後退する際に、テ
レビモニタにより運転者に注目領域の映像を提供する方
法があった。
【０００４】
【発明が解決しようとする課題】上記した従来装置のう
ち超音波送受波器を用いた装置は、障害物や溝の位置及
び大きさ、更に溝の深さを検出できない。このため、ド
ライバーが車両を運転する際の車両周辺における安全確
認を十分に支援することができないという問題がある。
【０００５】一方、テレビモニタを用いた方法において
は、障害物や溝によっては、それらと平地とを判別しに
くい場合がある。特に、夜間においては、十分な照明が
ない場合、障害物等を確認できないことがある。
【０００６】よって本発明は、上述した従来の問題点に
鑑み、障害物や溝或いは人の大きさ及び位置、更に溝の
深さなどを検出することによって、車両運転におけるド
ライバーの安全確認を十分に支援できる車両周辺監視装
置を提供することを課題としている。
【０００７】
【課題を解決するための手段】上記課題を解決するため
本発明により成された車両周辺監視装置は、レーザ光入
射により監視領域に輝点パターンを投影するパターン光
投光器と、該輝点パターンを撮像する撮像機と、該撮像
機から得られる画像を処理して障害物や溝あるいは人等
の存在を検知するデータ処理部とを備えることを特徴と
している。
【０００８】前記データ処理部は、平坦路面に投影され
た輝点パターンを撮像した前記撮像機からの画像信号に
よる画素データから輝点パターンを抽出して各輝点座標
を含む参照データを作成する参照データ作成手段と、検
査路面に投影された輝点パターンを撮像した前記撮像機
からの画像信号による画素データに基づいて抽出した輝
点と前記参照データの各輝点を対比して障害物や溝ある
いは人等の存在を検知する検知手段と、前記パターン光
投光器及び撮像機の路面からの高さ変化により前記参照
データを補正する高さ補正手段、あるいは、検査路面に
投影された輝点パターンを撮像した前記撮像機からの画
像信号による画素データから輝点以外の背景の明るさの
参照データの背景の明るさに対する変化量によって当該
画素データの輝度を補正する輝度補正手段とを有するこ
とを特徴としている。
【０００９】前記車両周辺監視装置は、車両の進路を検
出する進路検出手段を更に備え、該進路検出手段によっ
て検出した進路に基づいて車両の進路を予測し、車両と
障害物等との接触あるいは衝突を事前に検知することを
特徴としている。
【００１０】前記車両周辺監視装置は、運転者に障害物
等の存在、車両と障害物等との接触予想地点などを知ら
せるブザー、音声合成装置、ディスプレイ装置のうち少
なくとも１つを備えることを特徴としている。
【００１１】
【作用】上記構成において、パターン光投光器は、レー
ザ光入射に対し投影面（実施例では監視領域としての地
面を示す）に正方格子状に輝点マトリクスを投影する。
監視領域内に障害物や溝あるいは人等が存在すると、そ
れらに投影された輝点の三次元位置が変化し、その際、
撮像機から得られる輝点投影画像は局所的に乱れが生
じ、その乱れ具合いを演算処理することによって障害物
等の大きさや位置が検出される。
【００１２】また、パターン光投光器及び撮像機の路面
からの高さが変化したとき、参照データを補正できるよ
うになっているので、乗員や荷物によって車両の沈み込
みが生じても、誤りなく障害物や溝あるいは人等を検出
することができる。輝点以外の背景の明るさが変化した
とき、その変化量によって検査路面の画素データの輝度
を補正できるようになっているので、ブレーキランプの
明かりなどによって輝度が上がることによる輝点の誤り
検出を防止することができる。
【００１３】またこの際、ディスプレイ装置により障害
物等の大きさや位置が表示され、あるいは同時にブザー
等により警告する。更に、車両の進路の検出に基づいて
車両の進路を予測し、車両が障害物等と接触または衝突
する地点を上記ディスプレイ装置に示し警告を発する。
【００１４】
【実施例】以下、本発明の実施例を図面とともに説明す
る。図１は本考案による車両周辺監視装置の一実施例を
示す図であり、同図において、１はレーザ光源、２はレ
ーザ光源１を駆動するレーザ光源駆動装置、３はレーザ
光源１からレーザ光１ａを入力し、この入力したレーザ
光１ａにより監視領域に輝点マトリクスを投影するパタ
ーン光投光素子、４は輝点マトリクスを撮影する撮像機
としてのＣＣＤカメラ、５はＣＣＤカメラ４から得られ
る映像信号を一時的に蓄えるフレームメモリ、６は予め
定めたプログラムに従って動作するコンピュータによっ
て構成されるデータ処理部、７は障害物等がない平坦な
地面の場合の画像データを参照データとして予め記憶し
た参照データ記憶部、８はハンドルの操舵角度を検出す
る舵角検出器、９は警報音を発するブザー、１０はディ
スプレイ装置である。
【００１５】上記パターン光投光素子３としては、図２
（ａ）に示すようなファイバグレイティング（ＦＧ）１
３や、図２（ｂ）に示すようなマルチビームプロジェク
タ（ＭＢＰ）２３が適用される。
【００１６】図２（ａ）のＦＧ１３は、直径が数十μ
ｍ、長さ１０mmの光ファイバを１００本程度シート状に
並べそれを２枚直交して重ね合わせたものである。この
ＦＧ１３にレーザ光源１が発生するレーザ光１ａを入射
すると、レーザ光は個々の光ファイバの焦点で集光した
後、球面波となり干渉しつつ広がって行き、その結果、
投影面には正方格子状に輝点マトリクス１４が投影され
る。
【００１７】図２（ｂ）のＭＢＰ２３は、薄い透明なプ
レートにマイクロレンズを多数集積したものであり、レ
ーザ光源１から入射されたレーザ光１ａはＭＢＰ２３に
より多重ビームとなり、投影面に正方格子状に輝点マト
リクス１４が投影される。
【００１８】以上の構成により、パターン光投光素子３
（ＦＧ１３またはＭＢＰ２３）により監視領域に投影さ
れた輝点マトリクス１４がＣＣＤカメラ４によって撮像
され、ＣＣＤカメラ４から得られる映像信号はフレーム
メモリ５に一時的に蓄えられた後、データ処理部６に取
り込まれる。データ処理部６は、フレームメモリ５から
得られる画像データと、参照データ記憶部７に予め記憶
された参照データとを比較することによって、ＣＣＤカ
メラ４のイメージプレーン４ｂ上での輝点の移動量を求
める。
【００１９】図３は図１について上述した実施例におけ
る光学配置を示し、ＣＣＤカメラ４のレンズ４ａを原点
にして、パターン光投光素子３をｙ軸上で距離ｄの位置
に、イメージプレーン４ｂをＺ軸上で距離Ｉの位置にそ
れぞれ配置する。この光学配置において、監視領域４ｃ
（ＣＣＤカメラの視野）が障害物等のない平坦な地面
（路面）であるとき点Ｐn （Ｘn ，Ｙn ，０）に投影さ
れる輝点は、監視領域４ｃ内に物体Ｏが存在することに
よって、物体Ｏ上の点ＰB （ＸB ，ＹB ，ＺB ）に投影
される。これによって、この輝点を撮像するＣＣＤカメ
ラ４のイメージプレーン４ｂ上では、図中の点Ｐn （Ｘ
n ，Ｙn ，０）に対応する点Ａ（ｕ，ｖ）が、点Ｐ
B （ＸB ，ＹB ，ＺB ）に対応する点Ｂ（ｕ，ｖ＋δ）
に移動する。すなわち、輝点が一定の方向に移動する。
【００２０】従って、点Ａの位置と点Ｂの位置との距離
を求めることによって移動量δが検出される。データ処
理部６はまた、上記距離ｄ及びＩと、監視領域４ｃから
ｙ軸までの距離ｈと、ＣＣＤカメラ光軸と監視領域４ｃ
の法線となす角θと、上記移動量δとを用いて演算処理
することによって、輝点の三次元位置〔図３においては
点ＰB （ＸB ，ＹB ，ＺB ）〕を検出する。そして、入
力画像における全ての輝点について三次元位置を検出
し、三次元位置の変化した輝点について演算処理を施す
ことによって、障害物や溝あるいは人等のおおよその大
きさや位置を検出し、この検出結果によってディスプレ
イ装置１０に表示を行う。
【００２１】図４は、パターン光投光素子３、レーザ光
源１及びＣＣＤカメラ４により構成したセンサ部Ｓを、
自動車の後部において地面の法線に対し角度θで固定し
た場合の設置の一例を示す。
【００２２】以上概略説明したデータ処理部６における
処理は、大別して、図５及び図６のフローチャートに示
す基準画面データ（参照データ）の作成処理と障害物検
出処理とからなる。
【００２３】参照データ作成処理においては、図５のフ
ローチャートに示すように、ステップＳ１において、Ｃ
ＣＤカメラ４が撮像して出力する輝点マトリクス１４の
画像信号を入力し、これを例えば５１２×５１２ピクセ
ル、輝度０〜２５５階調の画素データに変換してフレー
ムメモリ５に一時的に蓄える。フレームメモリ５に一時
的に蓄えられた画素データは、ステップＳ２においてデ
ータ処理部６において先ず輝点抽出を行う。その後、ス
テップＳ３において、輝点重心の座標位置を決定する処
理が行われる。更にその後、ステップＳ４において、輝
点の明るさを決定する処理、すなわち、検査時の輝点抽
出のためのしきい値を決定する処理を行ってからステッ
プＳ５に進んで明るさ補正の際に必要な背景輝度データ
を求める。
【００２４】上記ステップＳ２の輝点抽出処理は、図７
に示すような監視領域内の輝点投影画像の図８に示すよ
うな一走査線上の輝度をしきい値と比較して輝点を抽出
するためのもので、この処理においては、先ずフレーム
メモリ５の各画素データについて、画素の階調値が予め
設定されたしきい値より大きければその値を残し、小さ
ければその画素の階調値を零にする。上述した処理は１
画素づつずらして全ての画素について行い、この処理に
よって、図９に示すような画素のかたまり（輝点）が抽
出される。
【００２５】なお、各輝点間の輝度の差が大きく、固定
のしきい値では輝点の抽出ができない場合には、図１０
に示すようなある画素を中心にしたｍ×ｎピクセルの窓
内の輝度平均値を求め、この平均値をしきい値としてそ
の画素を残すか否かを決定し、他の画素についても同様
の処理でしきい値を求めて、画素毎に異なるしきい値で
輝点を抽出するようにすればよい。
【００２６】次に、上記ステップＳ３の処理、すなわ
ち、輝点重心の座標位置を決定する処理について説明す
る。この決定処理においては、例えば図１１に示すよう
な輝点の重心座標（Ｕ，Ｖ）を輝点内の各画素の輝点の
座標から輝度の重みを付けた重心位置を求める。
【００２７】その後のステップＳ４の処理、すなわち、
輝点の明るさ（輝度しきい値）を決定する処理について
説明する。この処理においては、輝点を構成する画素の
例えば最小値を輝点の重心の明るさとする。図１１に示
した輝点では、Ｉ（min ）＝５０であるから、輝点重心
の明るさは５０である。
【００２８】上述のような処理を行うことにより、図１
２に示すように、各輝点のNo. に対する輝点重心とその
輝度並びに背景データ（位置、輝度）とからなる最終基
準輝点データ（参照データ）が得られ、これが参照デー
タ記憶部７に記憶される。上述した図５のフローチャー
トの実行により、データ処理部６は、平坦路面に投影さ
れた輝点パターンを撮像した前記撮像機からの画像信号
による画素データから各輝点座標、各輝度しきい値、背
景データを含む参照データを作成する参照データ作成手
段として働く。
【００２９】上記障害物検出処理においては、図６のフ
ローチャートに示すように、先ずステップＳ１１におい
て参照データ記憶部７から参照データを取り込む処理を
行う。そして、続くステップＳ１２においてセンサの高
さ変化に対する補正処理を行う。その後、ステップＳ１
３において画像を取り込む処理を行ってからステップＳ
１４に進み、ここで取り込んだ画像に付いて背景の明る
さに対する変化の検出・補正処理を行う。更にステップ
Ｓ１５に進んで移動スポットの抽出処理を行う。続いて
ステップＳ１６で各スポットの三次元座標位置の計算処
理、ステップＳ１７で監視領域を二次元的に表示する処
理、ステップＳ１８で舵角値取り込み処理、ステップＳ
１９で車両進路予測処理、ステップＳ２０で障害物との
衝突予測処理、ステップＳ２１で表示処理を行ってステ
ップＳ１３に戻る。
【００３０】上記ステップＳ１２のセンサの高さ変化に
対する補正処理は次の理由で行う。すなわち、上述した
三次元位置点ＰB （ＸB ，ＹB ，ＺB ）を計測するため
に距離ｈと共に使用するイメージプレーン４ｂ上の三次
元座標からなる参照データを取り込むが、この参照デー
タとしては、車両の高さｈの再現性などを考慮し、車両
に重量物が乗っていない場合の座標を用いる。このため
に平坦路面上の各輝点のイメージプレーン４ｂ上の三次
元座標からなる参照データを記憶しておき、各計測時の
基準値とする。そして、実際の走行状態における凹凸路
面の三次元計測では、重量物を一切乗せないで求めた各
輝点の基準値に対する計測時の輝点座標のずれより各輝
点の三次元座標を求めることになる。
【００３１】しかし、実走行においては車両に乗員、荷
物などが乗り、これらの総重量は数十ｋｇ〜数百ｋｇと
なり、その結果車両は数ｃｍ沈み込むことになる。ま
た、車両は一様に沈み込むわけでなく重量物の配置によ
りかなり傾斜して沈み込むことになる。
【００３２】周辺監視装置は図４について上述したよう
に車両に固定されているので、荷重による車両の沈み込
みに伴って路面の監視領域４ｃに近づくことになる。こ
の場合、周辺監視装置から見れば、ＣＣＤレンズ４ａか
らｈの距離にあった領域４ｃが車両の沈み込んだ分だけ
上方にせり出した状態になるので、路面全体が数ｃｍせ
り出したと周辺監視装置は判断する。ここで、車載重量
が大きければ車両の沈み込みも大きく、その結果監視装
置は車両走行に問題ある高さの凸面があるとして誤警報
を発することになる。
【００３３】このようなことを解消するには、乗員、荷
物などが乗った状態でまず略平坦と考えられる路面で車
両沈み込みによる路面せり出し量を計測すればよい。こ
のためには、図１５に示すように、検出エリアの四隅の
輝点１，２，３及び４の移動量より四隅の輝点の路面せ
り出し量を求め、これより直線近似で各輝点のせり出し
量を算出できる。これらの検出されたせり出し量は車両
の沈み込みにより発生したものであり、実際の路面凹凸
の三次元座標を求める際の補正値となる。
【００３４】実際の計測時には、各輝点から求まる路面
の三次元座標に対して上記補正値を用いて補正（補正値
を引く）することで車両の沈み込みを補正した正確な三
次元座標が求まる。
【００３５】上述した例では、監視領域４ｃの四隅の輝
点１乃至４について補正値を求めたが、車両の沈み込み
に比べて車両の傾斜が小さければ、監視領域４ｃ内の一
点、例えば輝点５の路面高さを求めこの値を全ての輝点
に対して補正値として用いることができる。いずれにし
ても乗員などを乗せた状態で平坦路面において数点の輝
点から求まる三次元座標を計測時の車両沈み込みの補正
値として使用すればよい。
【００３６】上記ステップＳ１２のセンサの高さ変化に
対する補正処理は、具体的には、図１４のフローチャー
トによって実行される。図１４のフローチャートにおい
て、ステップＳ１２ａ及び１２ｂにおいてドアが閉じか
つイグニッションスイッチがオンしていることが検出さ
れたとき、ステップＳ１２ｃにおいて補正データ取り込
みスイッチがオンであるか否を判定し、この判定がＮＯ
の時にはステップＳ１２ｄにおいて車速が５ｋｍ／ｈと
４０ｋｍ／ｈとの間にあることを確認する。
【００３７】この確認の結果、車速が５ｋｍ／ｈと４０
ｋｍ／ｈとの間にあるときには、ステップＳ１２ｅにお
いて数カ所の輝点移動量より監視領域が平坦であるかを
算出し、ステップＳ１２ｆで平坦であると判断すると、
ステップＳ１２ｇにおいて数カ所の輝点移動量より車両
沈み込み補正データを算出する。補正データ取り込みス
イッチがオンされ、ステップＳ１２ｃの判定がＹＥＳに
なったときにはステップＳ１２ｇに進んで数カ所の輝点
移動量より車両沈み込み補正データを算出してからその
後のステップに進む。図１４のフローチャートの実行に
より、データ処理部６は、撮像機の路面からの高さ変化
により前記参照データを補正する高さ補正手段として働
く。
【００３８】また、補正値の取り込みのタイミングとし
ては運転者が平坦路面であることを確認してスイッチ操
作などのマニアル操作で行ってもよいし、また上述のよ
うに空気抵抗などが車両に影響を与えない程度の低速
（例えば５〜４０ｋｍ／ｈ）で一定速度走行時に監視装
置で検出された路面が略平坦であると処理装置が判断で
きれば、その場合処理装置が自動で補正値を取り込んで
もよい。これ以外にも処理装置が平坦路面と判断できる
場合はその時点で補正値を取り込めばよい。
【００３９】上記ステップＳ１３における画像取り込み
処理では、図７に示すような監視領域４ｃ内の輝点投影
画像の取り込みを行う。ＣＣＤカメラ４が撮像して出力
する画像信号の一走査線分を図８に示したが、輝点及び
背景の明るさが一様でないため、輝点を検出するための
輝度しきい値は同図に破線で示すようなしきい値（各輝
点毎に異なった値）となっている。この輝度しきい値
は、上述したように参照データの一部として予め記憶さ
れている。
【００４０】上記ステップＳ１４における画像について
背景の明るさに対する変化の検出及び輝度しきい値の補
正処理は次の理由で行う。今、輝度投影画像を取り込ん
で輝点の移動量を求め、障害物などの検出を行おうとす
る際、まず取り込んだ画像から輝点を抽出しなければな
らない。このとき、自車のブレーキランプや他車のヘッ
ドライトの光によって監視領域４ｃ内が照らされると、
図１５に示すように輝度分布が変化し、予め記憶した輝
度しきい値では輝点を抽出できなくなる。この場合、障
害物検出不能若しくは大きな検出誤差が生じる。
【００４１】このようなことを解消するためには、輝点
投影画像を取り込んで輝点の移動量を求める際に、予め
参照データに記録した背景位置に相当する画素の輝度を
求める。次に、求めた数点の背景輝度値より輝度しきい
値に対する補正係数を算出する。この補正係数に基づい
て参照データの輝度しきい値を補正し、輝点の抽出を行
う。
【００４２】具体的には、例えば図１６に示すように、
監視領域４ｃ内の輝点のうち最も左上の輝点と最も右下
の輝点について着目し、この２つの輝点周辺の背景と思
われる画素（×印）の輝度データを基に、下式（１）に
示すように補正係数Ａ（ｕ座標方向の輝度傾斜）を求め
る。参照データの各輝点の輝度しきい値は下式（２）に
よって補正される。
【数１】
【００４３】上記式中、 Ａ ：補正係数 ｕLU ：最も左上の輝点周辺の所定画素のｕ座標 ＩLU ：最も左上の輝点周辺の所定画素の輝度 ｕRL ：最も右下の輝点周辺の所定画素のｕ座標 ＩRL ：最も右下の輝点周辺の所定画素の輝度 Ｔｈ'(i)：ｉ番目の輝点の補正後の輝度しきい値 Ｔｈ(i)：ｉ番目の輝点の補正前の輝度しきい値 ｕ(i) ：ｉ番目の輝点のｕ座標 ＩBK ：参照データ取得時の背景輝度
【００４４】以上説明したステップＳ１４の実行によ
り、データ処理部６は、検査路面に投影された輝点パタ
ーンを撮像した前記撮像機からの画像信号による画素デ
ータから輝点以外の背景の明るさの参照データの背景の
明るさに対する変化量によって当該画素データの輝点抽
出のための輝度しきい値を補正する。
【００４５】その後の上記ステップＳ１５における移動
スポットの抽出は、各輝点毎に求めた補正後の輝度しき
い値Ｔｈ’によって各輝点ついて行われる。そして、ス
テップＳ１６において、抽出された輝点座標と参照デー
タの輝点座標により各輝点の移動量を求め障害物の三次
元位置を算出する。なお、上述したステップＳ１４にお
ける補正係数の算出方法としては、一般的な補間法など
が利用できる。また、全輝点について各輝点周辺の背景
の輝度データを用いて補正すれば処理時間は遅くなるも
のの、精度のよい補正が行える。
【００４６】上述のようにして抽出した輝点を構成する
画素により各輝点の重心座標を求めることでイメージプ
レーン４ｃ上での各輝点座標が求まる。各輝点座標の算
出は、平坦路面における基準値を求める場合も、凹凸路
面などを対象とした三次元計測時にも適用される。上記
輝点座標の算出はＣＣＤカメラの全画素（例えば５１２
×５１２）出力が計算対象となるため計算時間が長くな
る。計測前の平坦路を対象とした基準値取りの場合は問
題ないが、計測時には計測速度が遅いという問題があ
る。
【００４７】図３及び図４に示した幾何学的レイアウト
において、イメージプレーン４ｂ上における各輝点座標
は、平坦路面の場合の点Ａ（ｕ，ｖ）に対し路面に凹凸
があると輝点座標Ｂ（ｕ，ｖ＋δ）は一定方向にのみ移
動する。図の場合、輝点の移動方向はｖ方向のみであ
り、路面が凸の場合ｖの正の向きに、凹の場合ｖの負の
方向にそれぞれ移動する。この性質を利用して以下のよ
うにして三次元座標の算出を高速化することができる。
【００４８】図１８において、Ａ（ｕ，ｖ）は平坦路面
上のある輝点に対応する点を示す。枠Ｆは三次元座標計
測時の走査領域を示し、サブ領域＋Ｓ1 ，−Ｓ2 は実走
行状態で問題となる路面凹凸の大きさより設定できる。
例えば一般乗用車の場合、平坦路面上1.5 ｍ、路面下0.
5 ｍなどと設定し、これに対応して＋Ｓ1 ，−Ｓ2 をそ
れぞれ設定できる。なお、同図に示されている点は全て
各輝点の重心位置を表しており、ｖ方向において隣接す
る輝点間の距離は、上記のような条件下で輝点が移動し
ても重なり合うことがないように設定されている。ま
た、同図においては、スペースの有効利用のため各輝点
がｕ方向において１つおきになるように配置されたパタ
ーンとなっている。
【００４９】次に計測時においては、各輝点について、
上記走査領域についてのみ輝点座標を求めればよい。輝
点座標の求め方は、例えば所定しきい値以上の画素が輝
点を構成しているとして、この輝点の重心又は幾何学的
中心などを算出すればよい。
【００５０】具体的には、図１７に示すように、参照デ
ータの輝点重心と同一ライン上において、Ｖ1 ，Ｖ2 を
検出し、この検出したＶ1 ，Ｖ2 により輝点重心（Ｖ1
＋Ｖ 2 ）／２を求め、重心間の距離によって輝点の移動
量ΔＶを求める。なお、同一ライン上に輝点が存在しな
ければ、上下ラインを走査する。また、Ｖ1 ，Ｖ2 の検
出は基準輝点の輝度しきい値Ｉの大小により検出する。
走査領域の幅Ｗは一画素ライン分でも良いし、検出精度
向上を考慮し、数画素ライン、例えば５画素ラインとし
てもよい。なお、上記例では検出速度を速めるために重
心表を幾何学的中心座標におきかえて求めているが、精
度を上げるためには、上述の参照データ作成時の重心座
標検出方法の方がよい。
【００５１】以上説明したように、計測時、設定した走
査領域についてのみ輝度座標を求めればよいので、計測
の高速化が実現できる。
【００５２】また、図１９は、監視領域４ｃ内に壁及び
溝がある場合の輝点の三次元位置検出結果をディスプレ
イ装置１０に表示した例を示し、図中、Ｏ1 は壁、Ｏ2
は溝である。
【００５３】次に、舵角検出器８を用いた場合の監視方
法について説明する。実施例においては、舵角検出器８
によって検出した舵角を用いて自動車の進路を予測する
ことによって自動車の移動軌跡を求め、その軌跡を障害
物等が示される監視領域４ｃの二次元マップに重ねるこ
とにより、車体が障害物等に接触または衝突することを
事前に検知し、発音手段としてのスピーカ９に、ブザー
音などの警告音やデータ処理部６内に構成した音声合成
手段によって形成した警告メッセージを発生させたり、
ディスプレイ装置１０に表示を行わせることによって運
転者に警告する。
【００５４】図２０は、自動車の車体Ｂｏのエッヂが壁
Ｏ1 のような障害物に接触する地点及びタイヤＴが溝Ｏ
2 に落ちる地点をディスプレイ装置１０に表示した一例
を示す。図２０に示す自動車の後退では、データ処理部
６がＣＣＤカメラ４から次々に得られる画像を処理する
ことによって、監視領域４ｃ内における障害物Ｏ1 及び
溝Ｏ2 がほぼ実時間で検知され、また、舵角検出器８か
ら得られる舵角を用いた自動車の進路予測により障害物
等との接触を事前に警告することによって、ドライバー
の安全確認を効果的に支援することができる。
【００５５】なお、上述した図示実施例では、自動車の
軌跡を求めるために舵角検出器８によるハンドルの操舵
角の検出信号を用いているが、これに代えて、例えばジ
ャイロからなる回転角速度センサや方位センサなどを設
け、これらのセンサからの信号を処理して自動車の進行
方向を検出すると共に、その後の進路を予測するように
してもよい。
【００５６】また、上述した実施例では、監視領域にお
ける障害物や溝等の存在を自動車の運転者に知らせる場
合について説明したが、工場などにおける無人搬送車や
組み立て工程等における産業用ロボットなどに本発明を
応用できる。
【００５７】
【発明の効果】以上説明したように本発明によれば、車
両の周辺における障害物や溝あるいは人の存在を短時間
に検知し、その際、大きさだけでなく位置をも示し、車
両の進路を検出して車両が障害物と接触あるいは衝突す
る地点やタイヤが溝に落ちる地点を示しているので、車
両周辺における車両運転の安全確認を十分に支援でき
る。特に、夜間、監視領域に十分な照明がない場合にお
いては、目視による安全確認に勝る効果が期待できる。
【００５８】また、乗員や荷物によって車両が沈み込ん
でも、誤りなく障害物や溝あるいは人等を検出すること
ができと共に、ブレーキランプの明かりなどによって輝
度が上がっても輝点の誤り検出が生じないようになって
いる。
【００５９】更に、障害物などの検知のとき、ディスプ
レイ装置により障害物等の大きさや位置が表示され、あ
るいは同時にブザー等により警告し、かつ車両の進路の
検出に基づいて車両の進路を予測し、車両が障害物等と
接触または衝突する地点を上記ディスプレイ装置に示し
警告を発する。
【図面の簡単な説明】
【図１】本発明における車両周辺監視装置の一実施例を
示す図である。
【図２】パターン光投光素子としてのファイバグレイテ
ィング及びマルチビームプロジェクタを示す図である。
【図３】図１の装置の光学配置の詳細を示す図である。
【図４】図１の装置のパターン投光素子、レーザ光源、
ＣＣＤカメラにより構成されるセンサ部の設置例を示す
図である。
【図５】図１中のデータ処理部が行う一処理を示すフロ
ーチャートである。
【図６】図１中のデータ処理部が行う他の処理を示すフ
ローチャートである。
【図７】監視領域内の輝点投影画像を示す図である。
【図８】一走査線上の輝度分布を示す図である。
【図９】輝点抽出処理によって得られる輝点の画素デー
タを示す図である。
【図１０】フレームメモリ内の画素データを示す図であ
る。
【図１１】輝点重心の求め方を説明するための図であ
る。
【図１２】作成された参照データを示す図である。
【図１３】高さ補正の仕方を説明するための図である。
【図１４】高さ補正処理の具体的な処理を示すフローチ
ャートである。
【図１５】輝度補正の必要性を説明するための図であ
る。
【図１６】輝度補正の仕方を説明するための図である。
【図１７】三次元座標計測時の走査領域における輝点重
心及び移動距離の求め方を説明する図ある。
【図１８】走査領域の設定の仕方を説明する図である。
【図１９】輝点の三次元位置検出結果の表示例を示す図
である。
【図２０】車両の周辺監視を行った結果の表示の一例を
示す図である。
【符号の説明】
１ レーザ光源 ３ パターン光投光器 ４ 撮像機 ６ データ処理部（参照データ作成手段、検知
手段、高さ補正手段、輝度補正手段） ８ 舵角検出器（進路検出手段） ９ ブザー、音声合成装置（スピーカ） １０ ディスプレイ装置
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成４年８月２５日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正内容】
【００３０】上記ステップＳ１２のセンサの高さ変化に
対する補正処理は次の理由で行う。すなわち、上述した
三次元位置点ＰB （ＸB ，ＹB ，ＺB ）を計測するため
に距離ｈと共に使用するイメージプレーン４ｂ上の二次
元座標からなる参照データを取り込むが、この参照デー
タとしては、車両の高さｈの再現性などを考慮し、車両
に重量物が乗っていない場合の値を用いる。このために
平坦路面上の各輝点のイメージプレーン４ｂ上の二次元
座標からなる参照データを記憶しておき、各計測時の基
準値とする。そして、実際の走行状態における凹凸路面
の三次元計測では、重量物を一切乗せないで求めた各輝
点の基準値に対する計測時の輝点座標のずれより各輝点
の三次元座標を求めることになる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正内容】
【００３３】このようなことを解消するには、乗員、荷
物などが乗った状態でまず略平坦と考えられる路面で車
両沈み込みによる路面せり出し量を計測すればよい。こ
のためには、図１３に示すように、検出エリアの四隅の
輝点１，２，３及び４の移動量より四隅の輝点の路面せ
り出し量を求め、これより直線近似で各輝点のせり出し
量を算出できる。これらの検出されたせり出し量は車両
の沈み込みにより発生したものであり、実際の路面凹凸
の三次元座標を求める際の補正値となる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正内容】
【００５０】具体的には、図１７に示すように、参照デ
ータの輝点重心と同一ライン上において、Ｖ1 ，Ｖ2 を
検出し、この検出したＶ1 ，Ｖ2 により輝点重心（Ｖ1
＋Ｖ 2 ）／２を求め、重心間の距離によって輝点の移動
量ΔＶを求める。なお、同一ライン上に輝点が存在しな
ければ、上下ラインを走査する。また、Ｖ1 ，Ｖ2 の検
出は基準輝点の輝度しきい値Ｉの大小により検出する。
走査領域の幅Ｗは一画素ライン分でも良いし、検出精度
向上を考慮し、数画素ライン、例えば５画素ラインとし
てもよい。なお、上記例では検出速度を速めるために重
心座標を幾何学的中心座標におきかえて求めているが、
精度を上げるためには、上述の参照データ作成時の重心
座標検出方法の方がよい。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 辻 喜博 静岡県裾野市御宿1500 矢崎総業株式会社 内 (72)発明者 佐々木 一幸 静岡県裾野市御宿1500 矢崎総業株式会社 内 (72)発明者 石川 直人 静岡県裾野市御宿1500 矢崎総業株式会社 内

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 レーザ光入射により監視領域に輝点パタ
    ーンを投影するパターン光投光器と、 該輝点パターンを撮像する撮像機と、 該撮像機から得られる画像を処理して障害物や溝あるい
    は人等の存在を検知するデータ処理部とを備えることを
    特徴とする車両周辺監視装置。
  2. 【請求項２】 前記データ処理部は、平坦路面に投影さ
    れた輝点パターンを撮像した前記撮像機からの画像信号
    による画素データから輝点パターンを抽出して各輝点座
    標を含む参照データを作成する参照データ作成手段と、
    検査路面に投影された輝点パターンを撮像した前記撮像
    機からの画像信号による画素データに基づいて抽出した
    輝点と前記参照データの各輝点を対比して障害物や溝あ
    るいは人等の存在を検知する検知手段と、前記撮像機の
    路面からの高さ変化により前記参照データを補正する高
    さ補正手段とを有することを特徴とする請求項１記載の
    車両周辺監視装置。
  3. 【請求項３】 前記データ処理部は、平坦路面に投影さ
    れた輝点パターンを撮像した前記撮像機からの画像信号
    による画素データから輝点パターンを抽出して各輝点座
    標を含む参照データを作成する参照データ作成手段と、
    検査路面に投影された輝点パターンを撮像した前記撮像
    機からの画像信号による画素データに基づいて抽出した
    輝点と前記参照データの各輝点を対比して障害物や溝あ
    るいは人等の存在を検知する検知手段と、検査路面に投
    影された輝点パターンを撮像した前記撮像機からの画像
    信号による画素データから輝点以外の背景の明るさの参
    照データの背景の明るさに対する変化量によって当該画
    素データの輝度を補正する輝度補正手段とを有すること
    を特徴とする請求項１記載の車両周辺監視装置。
  4. 【請求項４】 前記データ処理部は、平坦路面に投影さ
    れた輝点パターンを撮像した前記撮像機からの画像信号
    による画素データから輝点パターンを抽出して各輝点座
    標を含む参照データを作成する参照データ作成手段と、
    検査路面に投影された輝点パターンを撮像した前記撮像
    機からの画像信号による画素データに基づいて抽出した
    輝点と前記参照データの各輝点を対比して障害物や溝あ
    るいは人等の存在を検知する検知手段と、前記撮像機の
    路面からの高さ変化により前記参照データを補正する高
    さ補正手段と、検査路面に投影された輝点パターンを撮
    像した前記撮像機からの画像信号による画素データから
    輝点以外の背景の明るさの参照データの背景の明るさに
    対する変化量によって当該画素データの輝度を補正する
    輝度補正手段とを有することを特徴とする請求項１記載
    の車両周辺監視装置。
  5. 【請求項５】 自動車の進路を検出する進路検出手段を
    備え、 該進路検出手段によって検出した進路に基づいて自動車
    の進路を予測し、車両と障害物等との接触あるいは衝突
    を事前に検知することを特徴とする請求項１乃至４のい
    ずれかに記載の車両周辺監視装置。
  6. 【請求項６】 運転者に障害物等の存在、自動車と障害
    物等との接触予想地点などを知らせるブザー、音声合成
    装置、ディスプレイ装置のうち少なくとも１つを備える
    ことを特徴とする請求項１乃至５のいずれかに記載の車
    両周辺監視装置。
JP4170559A 1991-09-19 1992-06-29 車両周辺監視装置 Expired - Fee Related JP2901112B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP4170559A JP2901112B2 (ja) 1991-09-19 1992-06-29 車両周辺監視装置
US08/468,231 US6285778B1 (en) 1991-09-19 1995-06-06 Vehicle surroundings monitor with obstacle avoidance lighting

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP23955191 1991-09-19
JP3-239551 1991-09-19
JP4170559A JP2901112B2 (ja) 1991-09-19 1992-06-29 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JPH05201298A true JPH05201298A (ja) 1993-08-10
JP2901112B2 JP2901112B2 (ja) 1999-06-07

Family

ID=26493521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4170559A Expired - Fee Related JP2901112B2 (ja) 1991-09-19 1992-06-29 車両周辺監視装置

Country Status (2)

Country Link
US (1) US6285778B1 (ja)
JP (1) JP2901112B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
JP2004276807A (ja) * 2003-03-17 2004-10-07 Denso Corp 車両の後退駐車支援装置
JP2004345554A (ja) * 2003-05-23 2004-12-09 Clarion Co Ltd 車両後方モニタ装置及び車両後方モニタシステム
JP2005145301A (ja) * 2003-11-17 2005-06-09 Denso Corp 車両の運転支援装置
JP2007278951A (ja) * 2006-04-10 2007-10-25 Alpine Electronics Inc 車体挙動測定装置
JP2009230372A (ja) * 2008-03-21 2009-10-08 Honda Motor Co Ltd 車両走行支援装置、車両、車両走行支援プログラム
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US10789850B2 (en) 2016-05-10 2020-09-29 Mitsubishi Electric Corporation Obstacle detection device, driving assistance system, and obstacle detection method
US11383700B2 (en) 2018-12-03 2022-07-12 Nissan Motor Co., Ltd. Vehicle travel control device and vehicle travel control method for parking

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
GB9804112D0 (en) * 1998-02-27 1998-04-22 Lucas Ind Plc Road profile prediction
DE60004121T2 (de) * 1999-03-19 2004-04-15 Yazaki Corp. Rückblickeinrichtung für ein Fahrzeug
JP3807583B2 (ja) * 1999-04-19 2006-08-09 本田技研工業株式会社 道路領域判定装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
US8412377B2 (en) 2000-01-24 2013-04-02 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US8788092B2 (en) 2000-01-24 2014-07-22 Irobot Corporation Obstacle following sensor scheme for a mobile robot
US6956348B2 (en) 2004-01-28 2005-10-18 Irobot Corporation Debris sensor for cleaning apparatus
EP1158803A3 (en) * 2000-05-24 2003-12-10 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a display image
US6999602B2 (en) * 2000-06-30 2006-02-14 Matsushita Electric Industrial Co., Ltd. Image generation for assistance of drivers of vehicles
US6601669B1 (en) * 2000-10-06 2003-08-05 Continental Teves, Inc. Safety interlock system for motor vehicles
US7571511B2 (en) 2002-01-03 2009-08-11 Irobot Corporation Autonomous floor-cleaning robot
US6690134B1 (en) 2001-01-24 2004-02-10 Irobot Corporation Method and system for robot localization and confinement
US20020134151A1 (en) * 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US7634341B2 (en) * 2001-03-07 2009-12-15 1138037 Ontario Ltd. (“Alirt”) Detecting device and method of using same
US8396592B2 (en) 2001-06-12 2013-03-12 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US7663333B2 (en) 2001-06-12 2010-02-16 Irobot Corporation Method and system for multi-mode coverage for an autonomous robot
US7697027B2 (en) 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
US9128486B2 (en) 2002-01-24 2015-09-08 Irobot Corporation Navigational control system for a robotic device
JP4161584B2 (ja) * 2002-02-07 2008-10-08 トヨタ自動車株式会社 移動体用安全装置
US7287884B2 (en) * 2002-02-07 2007-10-30 Toyota Jidosha Kabushiki Kaisha Vehicle operation supporting device and vehicle operation supporting system
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
ATE321689T1 (de) * 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US10110795B2 (en) 2002-06-04 2018-10-23 General Electric Company Video system and method for data communication
US20150235094A1 (en) 2014-02-17 2015-08-20 General Electric Company Vehicle imaging system and method
US8428778B2 (en) 2002-09-13 2013-04-23 Irobot Corporation Navigational control system for a robotic device
US8386081B2 (en) 2002-09-13 2013-02-26 Irobot Corporation Navigational control system for a robotic device
KR100471268B1 (ko) * 2002-10-28 2005-03-10 현대자동차주식회사 차간거리 측정 방법
US20040086153A1 (en) * 2002-10-30 2004-05-06 Yichang Tsai Methods and systems for recognizing road signs in a digital image
US6919819B1 (en) * 2003-02-14 2005-07-19 Power Data Communication Co., Ltd. Sunshade board
DE10323915A1 (de) * 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
US7916898B2 (en) * 2003-09-15 2011-03-29 Deere & Company Method and system for identifying an edge of a crop
US7332890B2 (en) 2004-01-21 2008-02-19 Irobot Corporation Autonomous robot auto-docking and energy management systems and methods
JP4258413B2 (ja) * 2004-03-26 2009-04-30 三菱ふそうトラック・バス株式会社 車両走行状態判定装置
US7289019B1 (en) * 2004-05-13 2007-10-30 Jon Kertes Vehicle avoidance collision system
US9140716B2 (en) * 2004-06-07 2015-09-22 Sharp Kabushiki Kaisha Display system for vehicle and vehicle
JP2008508572A (ja) 2004-06-24 2008-03-21 アイロボット コーポレーション 携帯ロボットのプログラミングおよび診断ツール
US7706917B1 (en) 2004-07-07 2010-04-27 Irobot Corporation Celestial navigation system for an autonomous robot
US8972052B2 (en) 2004-07-07 2015-03-03 Irobot Corporation Celestial navigation system for an autonomous vehicle
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
US7620476B2 (en) 2005-02-18 2009-11-17 Irobot Corporation Autonomous surface cleaning robot for dry cleaning
US8392021B2 (en) 2005-02-18 2013-03-05 Irobot Corporation Autonomous surface cleaning robot for wet cleaning
ES2346343T3 (es) 2005-02-18 2010-10-14 Irobot Corporation Robot autonomo de limpieza de superficies para una limpieza en seco y en mojado.
US8930023B2 (en) 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
EP1876829A4 (en) * 2005-04-28 2010-06-09 Aisin Seiki SYSTEM FOR MONITORING THE PERIPHERY OF A VEHICLE
EP2544065B1 (en) 2005-12-02 2017-02-08 iRobot Corporation Robot system
EP1969438B1 (en) 2005-12-02 2009-09-09 iRobot Corporation Modular robot
KR101300493B1 (ko) 2005-12-02 2013-09-02 아이로보트 코퍼레이션 커버리지 로봇 이동성
EP2816434A3 (en) 2005-12-02 2015-01-28 iRobot Corporation Autonomous coverage robot
ES2706729T3 (es) 2005-12-02 2019-04-01 Irobot Corp Sistema de robot
EP2394553B1 (en) 2006-05-19 2016-04-20 iRobot Corporation Removing debris from cleaning robots
US8417383B2 (en) 2006-05-31 2013-04-09 Irobot Corporation Detecting robot stasis
US7720260B2 (en) * 2006-09-13 2010-05-18 Ford Motor Company Object detection system and method
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
EP2084491A2 (en) 2006-11-21 2009-08-05 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
EP3031375B1 (en) 2007-05-09 2021-11-03 iRobot Corporation Compact autonomous coverage robot
DE102007022523A1 (de) 2007-05-14 2008-11-20 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
DE102007022524A1 (de) * 2007-05-14 2008-11-20 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
JP5299282B2 (ja) * 2007-11-13 2013-09-25 富士通株式会社 画像補正装置
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
JP2010071881A (ja) * 2008-09-19 2010-04-02 Denso Corp 障害物検知システム
US8935055B2 (en) * 2009-01-23 2015-01-13 Robert Bosch Gmbh Method and apparatus for vehicle with adaptive lighting system
DE102010039092B4 (de) * 2009-09-02 2020-10-22 Robert Bosch Gmbh Verfahren und Steuergerät zum Ermitteln eines Abstandes eines Objektes von einem Fahrzeug
CN105147193B (zh) 2010-02-16 2018-06-12 艾罗伯特公司 真空吸尘器毛刷
GB2473338A (en) * 2010-09-02 2011-03-09 Julian Stevens Terrain visualization device with light emitter projecting contrast pattern
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
WO2012145818A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2012145822A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
US9491450B2 (en) 2011-08-01 2016-11-08 Magna Electronic Inc. Vehicle camera alignment system
WO2013043661A1 (en) 2011-09-21 2013-03-28 Magna Electronics, Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
US9491451B2 (en) 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US10099614B2 (en) 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
WO2013126715A2 (en) 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation
DE102012005851A1 (de) * 2012-03-22 2013-09-26 Connaught Electronics Ltd. Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor der Anwesenheit einesObjekts in der Umgebung des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
CN102923215A (zh) * 2012-10-17 2013-02-13 安鹏铖 在地面投射栅格的轻便交通工具安全辅助方案
WO2014070448A1 (en) 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US9688200B2 (en) 2013-03-04 2017-06-27 Magna Electronics Inc. Calibration system and method for multi-camera vision system
WO2014152470A2 (en) * 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
US8823552B1 (en) * 2013-04-04 2014-09-02 GM Global Technology Operations LLC Vehicle with apparatus for generating and displaying a predefined light pattern
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US9205776B2 (en) 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
MX349227B (es) * 2014-02-24 2017-07-19 Nissan Motor Dispositivo de calculo de ubicacion local y metodo de calculo de ubicacion local.
MX349024B (es) 2014-02-24 2017-07-07 Nissan Motor Dispositivo de calculo de la ubicacion propia y metodo de calculo de la ubicacion propia.
CN106062849B (zh) * 2014-02-24 2017-07-04 日产自动车株式会社 自己位置计算装置及自己位置计算方法
TWI595457B (zh) * 2014-12-02 2017-08-11 Metal Ind Res And Dev Centre Anti-collision three-dimensional depth sensing system and its operation method
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
CN104729459A (zh) * 2015-04-10 2015-06-24 武汉工程大学 基于ARM-Linux系统的行车测距防撞预警装置
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
DE102015115239A1 (de) * 2015-09-10 2017-03-16 Hella Kgaa Hueck & Co. Fahrzeug mit Lichtprojektionssystem und Verfahren zur Beurteilung der Topographie einer Bodenoberfläche
WO2017056374A1 (ja) 2015-09-29 2017-04-06 ソニー株式会社 被害低減装置、被害低減方法およびプログラム
US11228700B2 (en) 2015-10-07 2022-01-18 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view
KR101724921B1 (ko) * 2015-10-08 2017-04-07 현대자동차주식회사 파워 테일 게이트 제어 장치 및 그 방법
JP6603094B2 (ja) * 2015-10-20 2019-11-06 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
US10187590B2 (en) 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
CN105425809B (zh) * 2015-12-02 2018-01-23 深圳市易飞行科技有限公司 一种无人机避障方法及系统
KR101759138B1 (ko) * 2015-12-10 2017-07-18 현대자동차주식회사 차량의 후방 카메라를 이용한 테일 게이트 제어 장치 및 방법
DE102015121952A1 (de) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
CN105549616B (zh) * 2016-01-05 2018-02-16 深圳市易飞行科技有限公司 一种基于激光阵列的多轴无人机避障系统及其避障方法
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
US10926756B2 (en) 2016-02-23 2021-02-23 Deka Products Limited Partnership Mobility device
US10908045B2 (en) 2016-02-23 2021-02-02 Deka Products Limited Partnership Mobility device
US11399995B2 (en) 2016-02-23 2022-08-02 Deka Products Limited Partnership Mobility device
MX2018010241A (es) * 2016-02-23 2019-06-06 Deka Products Lp Sistema de control de dispositivo de movilidad.
US10652489B2 (en) 2016-03-14 2020-05-12 Insightness Ag Vision sensor, a method of vision sensing, and a depth sensor assembly
DK4043982T3 (da) 2016-04-14 2024-01-29 Deka Products Lp Brugerkontrolanordning fra en transportør
US10300859B2 (en) 2016-06-10 2019-05-28 Magna Electronics Inc. Multi-sensor interior mirror device with image adjustment
DE102016010373B4 (de) * 2016-08-26 2024-02-01 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Erkennung des Öffnungszustands eines Garagentores
FR3057827B1 (fr) * 2016-10-26 2019-12-27 Valeo Schalter Und Sensoren Gmbh Systeme de detection d'obstacle sur une chaussee de circulation
DE102018002273A1 (de) 2017-04-07 2018-10-11 Sew-Eurodrive Gmbh & Co Kg Verfahren zum Betreiben eines auf einem Boden verfahrbaren Fahrzeugs und System zur Durchführung eines Verfahrens
US11135987B2 (en) * 2017-08-22 2021-10-05 Sony Corporation Information processing device, information processing method, and vehicle
JP6637936B2 (ja) * 2017-09-14 2020-01-29 株式会社Ｓｕｂａｒｕ 車両の路面判定装置
DE102018103060B3 (de) * 2018-02-12 2019-01-24 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Lageschätzung einer Wand und zum Aktivieren einer aktiven Triangulation eines Matrixscheinwerfersystems eines Kraftfahrzeugs
EP3803736A1 (en) 2018-06-07 2021-04-14 DEKA Products Limited Partnership System and method for distributed utility service execution
CN109798449B (zh) * 2018-12-20 2021-08-10 国能大渡河沙坪发电有限公司 基于机器视觉单元神经网络的供水系统巡检方法及系统
US20220101509A1 (en) * 2019-01-30 2022-03-31 Nec Corporation Deterioration diagnostic device, deterioration diagnostic system, deterioration diagnostic method, and recording medium
CN110147106A (zh) * 2019-05-29 2019-08-20 福建（泉州）哈工大工程技术研究院 具激光和视觉融合避障系统的智能移动服务机器人
KR20190087355A (ko) * 2019-07-05 2019-07-24 엘지전자 주식회사 영역별 인체 활동 데이터를 이용하여 주행하는 청소로봇 및 청소로봇을 주행시키는 방법
WO2021035399A1 (zh) * 2019-08-23 2021-03-04 尤中乾 玩具车
CN112977393B (zh) * 2021-04-22 2024-01-12 周宇 自动驾驶防撞避免装置及其方法
CN113327388A (zh) * 2021-05-28 2021-08-31 北京环境特性研究所 基于深度学习的伪装型目标监测报警装置及方法
CN113279921B (zh) * 2021-06-30 2022-03-25 常州安塔歌电子科技有限公司 采用激光照明的视频风电叶片净空距离测量方法与系统
DE102021129984A1 (de) 2021-11-17 2023-05-17 Valeo Schalter Und Sensoren Gmbh Parkassistenzsystem, parkeinrichtung und verfahren

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6338056A (ja) * 1986-08-01 1988-02-18 Hitachi Ltd 自動車用事故防止装置
JPH01240811A (ja) * 1988-03-23 1989-09-26 Alpine Electron Inc 車両用の距離判別装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4278142A (en) * 1978-05-08 1981-07-14 Agency Of Industrial Science And Technology Automatic guidance system for vehicles
US4634879A (en) * 1985-03-21 1987-01-06 General Electric Company Method and system for determining surface profile information
JPS63314618A (ja) * 1987-06-17 1988-12-22 Nissan Motor Co Ltd 自律走行車両制御装置
US4833469A (en) * 1987-08-03 1989-05-23 David Constant V Obstacle proximity detector for moving vehicles and method for use thereof
US5136512A (en) * 1988-06-26 1992-08-04 Cubic Defense Systems, Inc. Ground collision avoidance system
US4948258A (en) * 1988-06-27 1990-08-14 Harbor Branch Oceanographic Institute, Inc. Structured illumination surface profiling and ranging systems and methods
US4954962A (en) * 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
US5148322A (en) * 1989-11-09 1992-09-15 Omron Tateisi Electronics Co. Micro aspherical lens and fabricating method therefor and optical device
JPH03201110A (ja) * 1989-12-28 1991-09-03 Toyota Central Res & Dev Lab Inc 自律走行車の位置方位検出装置
IT1240974B (it) * 1990-07-05 1993-12-27 Fiat Ricerche Metodo e apparecchiatura per evitare la collisione di un autoveicolo contro ostacoli.
US5347456A (en) * 1991-05-22 1994-09-13 The Regents Of The University Of California Intelligent roadway reference system for vehicle lateral guidance and control
JPH0554276A (ja) * 1991-08-23 1993-03-05 Matsushita Electric Ind Co Ltd 障害物検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6338056A (ja) * 1986-08-01 1988-02-18 Hitachi Ltd 自動車用事故防止装置
JPH01240811A (ja) * 1988-03-23 1989-09-26 Alpine Electron Inc 車両用の距離判別装置

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US8842176B2 (en) 1996-05-22 2014-09-23 Donnelly Corporation Automatic vehicle exterior light control
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9171217B2 (en) 2002-05-03 2015-10-27 Magna Electronics Inc. Vision system for vehicle
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
JP2004276807A (ja) * 2003-03-17 2004-10-07 Denso Corp 車両の後退駐車支援装置
JP2004345554A (ja) * 2003-05-23 2004-12-09 Clarion Co Ltd 車両後方モニタ装置及び車両後方モニタシステム
JP2005145301A (ja) * 2003-11-17 2005-06-09 Denso Corp 車両の運転支援装置
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US9428192B2 (en) 2004-04-15 2016-08-30 Magna Electronics Inc. Vision system for vehicle
US9191634B2 (en) 2004-04-15 2015-11-17 Magna Electronics Inc. Vision system for vehicle
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US11503253B2 (en) 2004-04-15 2022-11-15 Magna Electronics Inc. Vehicular control system with traffic lane detection
US11847836B2 (en) 2004-04-15 2023-12-19 Magna Electronics Inc. Vehicular control system with road curvature determination
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
US8818042B2 (en) 2004-04-15 2014-08-26 Magna Electronics Inc. Driver assistance system for vehicle
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US10735695B2 (en) 2004-04-15 2020-08-04 Magna Electronics Inc. Vehicular control system with traffic lane detection
JP2007278951A (ja) * 2006-04-10 2007-10-25 Alpine Electronics Inc 車体挙動測定装置
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
JP2009230372A (ja) * 2008-03-21 2009-10-08 Honda Motor Co Ltd 車両走行支援装置、車両、車両走行支援プログラム
US10789850B2 (en) 2016-05-10 2020-09-29 Mitsubishi Electric Corporation Obstacle detection device, driving assistance system, and obstacle detection method
US11383700B2 (en) 2018-12-03 2022-07-12 Nissan Motor Co., Ltd. Vehicle travel control device and vehicle travel control method for parking

Also Published As

Publication number Publication date
JP2901112B2 (ja) 1999-06-07
US6285778B1 (en) 2001-09-04

Similar Documents

Publication Publication Date Title
JP2901112B2 (ja) 車両周辺監視装置
JP3263699B2 (ja) 走行環境監視装置
JP5421072B2 (ja) 接近物体検知システム
JP3739693B2 (ja) 画像認識装置
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
US6327536B1 (en) Vehicle environment monitoring system
US7233233B2 (en) Vehicle surroundings monitoring apparatus
US6690011B2 (en) Infrared image-processing apparatus
US7489805B2 (en) Vehicle surroundings monitoring apparatus
US7483549B2 (en) Vehicle surroundings monitoring apparatus
US7969466B2 (en) Vehicle surroundings monitoring apparatus
JPH05265547A (ja) 車輌用車外監視装置
JPH06325298A (ja) 車両周辺監視装置
JP2008222153A (ja) 合流支援装置
US7526104B2 (en) Vehicle surroundings monitoring apparatus
JP2003329439A (ja) 距離検出装置
US7515737B2 (en) Vehicle surroundings monitoring apparatus
JPH0687377A (ja) 車両周辺監視装置
JPH07225893A (ja) 車間距離制御装置
JP2002036987A (ja) 車両周囲監視装置
JP4397573B2 (ja) 画像処理装置
JP3919975B2 (ja) 車両の周辺監視装置
JP5192007B2 (ja) 車両の周辺監視装置
JP2593520Y2 (ja) 車両周辺監視装置
JP4567072B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990216

LAPS Cancellation because of no payment of annual fees