JPH09326032A - 車両周辺立体物認識装置 - Google Patents

車両周辺立体物認識装置

Info

Publication number
JPH09326032A
JPH09326032A JP8144438A JP14443896A JPH09326032A JP H09326032 A JPH09326032 A JP H09326032A JP 8144438 A JP8144438 A JP 8144438A JP 14443896 A JP14443896 A JP 14443896A JP H09326032 A JPH09326032 A JP H09326032A
Authority
JP
Japan
Prior art keywords
vehicle
dimensional object
position information
dimensional
movement amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8144438A
Other languages
English (en)
Other versions
JP3866328B2 (ja
Inventor
Takayuki Sogawa
能之 十川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Priority to JP14443896A priority Critical patent/JP3866328B2/ja
Priority to US08/856,805 priority patent/US6169572B1/en
Priority to GB9711530A priority patent/GB2313971B/en
Priority to DE19723963A priority patent/DE19723963C2/de
Publication of JPH09326032A publication Critical patent/JPH09326032A/ja
Priority to US09/648,740 priority patent/US6661449B1/en
Application granted granted Critical
Publication of JP3866328B2 publication Critical patent/JP3866328B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Navigation (AREA)

Abstract

(57)【要約】 【課題】 車両周辺の広い範囲で立体物の認識を行なう
ことができる車両周辺立体物認識装置を提供する。 【解決手段】ステレオ光学系３によって撮像したステレ
オ画像対から画像全体に渡る３次元の距離分布をステレ
オ画像処理部１１で算出して、立体物認識部１２で距離
分布情報から立体物を認識し車両との相対位置を演算す
る。また、舵角センサ４と後輪回転数センサ５で車両の
移動量を検出する。立体物位置情報認識部１３は、相対
位置情報と、車両の移動量を基に、記憶部１４に前回記
憶しておいた車両周辺の立体物位置情報を更新して新た
な車両周辺の立体物位置情報を演算して接触判定出力部
２０に出力し、接触判定出力部２０は、この車両周辺の
立体物位置情報を基に予め記憶してある自車両の外形形
状から立体物と車両との接触の可能性を判定して結果を
表示部７に出力させる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、自動車の運転支援
装置や自律走行車の自律走行制御装置に用いる車両周辺
立体物認識装置に関する。
【０００２】
【従来の技術】従来、自動車等の車両においては、塀、
ガードレール、電柱、駐車車両等が多数存在する狭路を
通過する際の運転者の感覚を補うものとして、例えば、
コーナーポールや、棒状の部材が障害物に触れるとスイ
ッチがオンする接触式スイッチからなる触覚センサ等を
車体に取り付ける場合があり、これにより、車幅や左右
障害物との間の隙間を確認することができる。
【０００３】また、車両の側面や四隅に超音波センサを
取り付け、超音波を発射して障害物からの反射波を受信
することにより距離を計測し、計測した距離を運転者に
知らせる技術等が開発されている。
【０００４】さらに最近では、周辺の障害物の形状や障
害物までの距離を検出する装置として、先に本出願人に
よって提出された特開平５−１１４０９９号公報に示す
ような、複数のＣＣＤカメラによるステレオ画像認識装
置を用いた車両周辺の立体物認識装置があり、その検出
結果を運転者に報知する運転支援装置が開発されてい
る。このステレオ画像認識装置を用いた車両周辺の立体
物認識装置では、障害物の方向や形状が細かく認識でき
る上、障害物までの距離も正確に求められる。
【０００５】一方、自律走行車では、走行中に障害物と
の衝突や接触を避けるために、赤外線センサや超音波セ
ンサを利用して障害物の有無を検出し、走行方向に障害
物が有る場合には車両を停止させるなどの走行制御を行
なうものがある。
【０００６】この自律走行車においても、近年、車両周
辺の立体物認識装置として上述のステレオ画像認識装置
を用い、同時に多数の障害物の有無や方向、形状を認識
し、車両が障害物と接触の可能性がある場合に、車両を
停止させたり、障害物の無い方向へ車両を走行制御する
技術が開発されている。
【０００７】
【発明が解決しようとする課題】ところで、上述のステ
レオ画像認識装置を用いた車両周辺の立体物認識装置で
は、立体物の認識は、カメラ視野に入っている範囲のも
ののみが認識可能なため、例えば車両前方に向けてカメ
ラが取り付けられている場合、車両前方のカメラ視野に
入っている範囲の立体物の認識は行なえるが、車両側方
に存在する立体物等、カメラ視野から外れた部分の立体
物の認識は行なえないといった問題がある。
【０００８】このため、車両が旋回するような場合で車
両側方等の立体物を認識する必要がある際には、運転者
に対する運転支援を有効に行なうことができない。これ
に対処するため、車両側方を視野とするカメラあるいは
立体物認識装置を付加して車両側方等にある立体物を認
識できるようにすることが考えられるが、カメラ、装置
の取り付け場所を新たに確保する必要が発生したり、ま
た、大幅なコストアップを生じてしまう。
【０００９】同様に、自律走行車においても、操舵を伴
う走行の場合には、前方のみならず側方の立体物の有無
や距離を把握すれば、より質の高い走行制御を行なうこ
とができる。特に自律走行車は、例えば、床面掃除のよ
うな作業を行ないながら走行するものがあり、立体物位
置の把握範囲が狭いと立体物きわの作業ができない等の
影響がでる場合がある。そして、車両周辺の広い範囲で
立体物の認識を行なおうとすると、それだけ多くのカメ
ラ、立体物認識装置を取り付けなければならず、取り付
け場所の問題、コストアップの問題が生じる。
【００１０】本発明は上記事情に鑑みてなされたもの
で、カメラあるいは立体物認識装置を特別に付加するこ
となく、車両周辺の広い範囲で立体物の認識を行なうこ
とができる車両周辺立体物認識装置を提供することを目
的とする。
【００１１】
【課題を解決するための手段】上記目的を達成するため
請求項１記載の本発明による車両周辺立体物認識装置
は、車両周辺の物体を検出し、その物体の方向、物体ま
での距離分布を検出する物体検出手段と、上記物体検出
手段で検出した物体までの距離分布から立体物を認識
し、車両との相対位置を演算する立体物認識手段と、車
両の旋回および前後方向の移動量を検出する車両移動量
検出手段と、車両周辺の立体物位置情報を記憶する位置
情報記憶手段と、上記車両移動量検出手段からの車両移
動量と上記立体物認識手段からの相対位置とを基に上記
位置情報記憶手段に記憶していた車両周辺の立体物位置
情報を更新して新たな車両周辺の立体物位置情報を演算
する立体物位置情報演算手段とを備えたものである。
【００１２】また、請求項２記載の本発明による車両周
辺立体物認識装置は、請求項１記載の車両周辺立体物認
識装置において、上記物体検出手段は、車外の対象を異
なる視点から撮像したステレオ画像対を処理して画像全
体に渡る三次元の距離分布を算出するものである。
【００１３】さらに、請求項３記載の本発明による車両
周辺立体物認識装置は、請求項１記載の車両周辺立体物
認識装置において、上記物体検出手段は、撮像方向を変
化させてステレオ画像を撮像し、撮像したステレオ画像
対を撮像方向の変化量に応じて補正処理して画像全体に
渡る三次元の距離分布を算出するものである。
【００１４】また、請求項４記載の本発明による車両周
辺立体物認識装置は、請求項１，２，３のいずれか一に
記載の車両周辺立体物認識装置において、上記車両移動
量検出手段は、車両の舵角と車輪回転数とを検出して車
両の旋回角および前後方向の移動量を算出するものであ
る。
【００１５】さらに、請求項５記載の本発明による車両
周辺立体物認識装置は、請求項１，２，３のいずれか一
に記載の車両周辺立体物認識装置において、上記車両移
動量検出手段は、車両に設けられた左右一対の車輪の回
転数を検出して車両の旋回角および前後方向の移動量を
算出するものである。
【００１６】また、請求項６記載の本発明による車両周
辺立体物認識装置は、請求項１、２、３、４、５のいず
れか一に記載の車両周辺立体物認識装置において、上記
立体物位置情報演算手段は、上記位置情報記憶手段に記
憶していた車両周辺の立体物位置情報を、上記車両移動
量検出手段で検出した車両の旋回および前後方向の移動
量で移動させるとともに、上記立体物認識手段からの車
両と立体物との相対位置の情報を加え更新して新たな車
両周辺の立体物位置情報を演算するものである。
【００１７】すなわち、請求項１記載の本発明による車
両周辺立体物認識装置は、物体検出手段で、車両周辺の
物体を検出し、その物体の方向、物体までの距離分布を
検出し、立体物認識手段で、上記物体検出手段で検出し
た物体までの距離分布から立体物を認識し、車両との相
対位置を演算し、車両移動量検出手段で、車両の旋回お
よび前後方向の移動量を検出する。そして、立体物位置
情報演算手段は、上記車両移動量検出手段からの車両移
動量と上記立体物認識手段からの相対位置とを基に位置
情報記憶手段に記憶していた車両周辺の立体物位置情報
を更新して新たな車両周辺の立体物位置情報を演算す
る。
【００１８】また、請求項２記載の本発明による車両周
辺立体物認識装置は、請求項１記載の車両周辺立体物認
識装置において、上記物体検出手段は、車外の対象を異
なる視点から撮像したステレオ画像対を処理して画像全
体に渡る三次元の距離分布を算出する。
【００１９】さらに、請求項３記載の本発明による車両
周辺立体物認識装置は、請求項１記載の車両周辺立体物
認識装置において、上記物体検出手段は、撮像方向を変
化させてステレオ画像を撮像し、撮像したステレオ画像
対を撮像方向の変化量に応じて補正処理して画像全体に
渡る三次元の距離分布を算出する。
【００２０】また、請求項４記載の本発明による車両周
辺立体物認識装置は、請求項１，２，３のいずれか一に
記載の車両周辺立体物認識装置において、上記車両移動
量検出手段は、車両の舵角と車輪回転数とを検出して車
両の旋回角および前後方向の移動量を算出する。
【００２１】さらに、請求項５記載の本発明による車両
周辺立体物認識装置は、請求項１，２，３のいずれか一
に記載の車両周辺立体物認識装置において、上記車両移
動量検出手段は、車両に設けられた左右一対の車輪の回
転数を検出して車両の旋回角および前後方向の移動量を
算出する。
【００２２】また、請求項６記載の本発明による車両周
辺立体物認識装置は、請求項１、２、３、４、５のいず
れか一に記載の車両周辺立体物認識装置において、上記
立体物位置情報演算手段は、上記位置情報記憶手段に記
憶していた車両周辺の立体物位置情報を、上記車両移動
量検出手段で検出した車両の旋回および前後方向の移動
量で移動させるとともに、上記立体物認識手段からの車
両と立体物との相対位置の情報を加え更新して新たな車
両周辺の立体物位置情報を演算する。
【００２３】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図７は本発明の実施の形態
１に係り、図１は運転支援装置の機能ブロック図、図２
は車両側面からみた運転支援装置の全体構成図、図３は
車両上面からみた運転支援装置の全体構成図、図４は車
両周辺の立体物位置情報の説明図、図５は前回の立体物
位置情報を移動させる際の説明図、図６は運転支援制御
での各接触危険度判定設定線の説明図、図７は運転支援
制御のフローチャートである。尚、本発明の実施の形態
１は、車両としての自動車に搭載された運転支援装置
が、本発明の車両周辺立体物認識装置で求めた車両周辺
の立体物位置情報を基に、運転支援制御の一例としての
障害物との接触防止を図るものであり、特に車両周辺立
体物認識装置について以下詳述する。
【００２４】図２および図３において、符号１は車両と
しての自動車を示し、この自動車１に、塀、ガードレー
ル、電柱、駐車車両等の障害物が存在する狭路での障害
物との接触可能性を判断し、その判断結果を表示するこ
とにより、運転者の負担を軽減して安全を確保する運転
支援装置２が搭載されている。
【００２５】上記運転支援装置２は、車外の設定範囲内
の対象を撮像する撮像系としてのステレオ光学系３で撮
像した自車両の走行方向（車両前方）の画像と、車両移
動量検出手段としての舵角センサ４で検出した舵角と、
同じく車両移動量検出手段としての後輪回転数センサ５
で検出した後輪回転数（後輪移動量；車両の前後方向移
動量を後輪移動量で代表させる。従って、車両の前後方
向移動量を正確に求められるのであれば、前輪移動量で
あっても良い。）を制御装置６に入力して、この制御装
置６が、狭路侵入の可否の判定や、車両周辺の障害物と
の接触防止を図る機能を達成すべく表示部７に出力する
ように構成されている。
【００２６】上記ステレオ光学系３は、例えば電荷結合
素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤ
カメラからなり、左右のＣＣＤカメラ３Ｌ，３Ｒが、そ
れぞれ車室内の天井前方に一定の間隔をもって取り付け
られ、車外の対象を異なる視点からステレオ撮像するよ
うになっている。
【００２７】上記制御装置６は、車両周辺立体物認識部
１０と接触判定出力部２０とで主要に構成され、上記ス
テレオ光学系３で撮像した画像と、上記舵角センサ４で
検出した舵角と、上記後輪回転数センサ５で検出した後
輪回転数（後輪移動量）が上記車両周辺立体物認識部１
０に入力され、この車両周辺立体物認識部１０で車両周
辺の立体物位置情報を演算し、上記接触判定出力部２０
が、上記車両周辺立体物認識部１０からの立体物位置情
報を基に自車両と障害物との接触の可能性を判定して必
要に応じて上記表示部７に出力するように構成されてい
る。
【００２８】上記表示部７は、ランプや発光ダイオード
等からなる複数の発光物で形成され車体の左右フェンダ
上端に配設される表示部７ＦＬ，７ＦＲと、インストル
メントパネル内に設けられて表示する表示部７ＩＬ，７
ＩＲと、運転席側に比較して車体位置を把握し難い助手
席側のサイドミラー近傍に配設される表示部７Ｓとから
なり、上記制御装置６の上記接触判定出力部２０からの
出力信号を受けて所定に動作されるようになっている。
例えば、上記各表示部７ＦＬ，７ＦＲ，７ＩＬ，７Ｉ
Ｒ，７Ｓは、それぞれ赤、黄、緑色を発光できるように
形成され、接触すると判断した場合には赤色、運転者の
ハンドル操作によっては接触の虞があると判断した場合
には黄色、立体物と自車両との間隔が十分にあり接触の
虞がないと判断した場合には緑色が、該当する表示部に
より点滅あるいは点灯表示されるようになっている。こ
のように表示することにより、狭路走行に際し、自車両
と障害物との接触可能性に係わる情報を、視認性良く且
つ安価な構成で表示することができ、運転者の負担を軽
減して接触事故等を未然に回避することができるばかり
でなく、車両位置感覚の学習を補助して安全運転の促進
を図ることができる。
【００２９】上記制御装置６の車両周辺立体物認識部１
０は、さらに、ステレオ画像処理部１１、立体物認識部
１２、立体物位置情報演算部１３および記憶部１４で主
に構成されている。
【００３０】上記ステレオ画像処理部１１は、上記ステ
レオ光学系３で撮像した１組のステレオ画像対に対し、
対応する位置のずれ量から三角測量の原理によって画像
全体に渡る距離情報を求める処理を行なって、三次元の
距離分布を表す距離画像を生成し上記立体物認識部１２
に出力するもので、上記ステレオ光学系３と上記ステレ
オ画像処理部１１で物体検出手段を構成している。
【００３１】また、上記ステレオ画像処理部１１では、
例えば、画像を小領域に分割し、それぞれの小領域内の
輝度あるいは色のパターンを左右画像で比較して一致す
る領域を見つけ出すことにより、小領域毎の距離分布を
全画面に渡って求めるようになっており、左右画像の一
致度評価すなわちステレオマッチングは、右画像、左画
像のｉ番目画素の輝度（色を用いても良い）を、それぞ
れ、Ａｉ、Ｂｉとすると、以下の（１）式に示すシティ
ブロック距離Ｈに基づいて行われ、左右画像の各小領域
間のシティブロック距離Ｈの最小値が所定の条件を満た
すとき、互いの小領域が対応すると判断することができ
る。 Ｈ＝Σ｜Ａｉ−Ｂｉ｜ …（１） 上記ステレオ画像処理部１１から出力される画像のよう
な形態をした距離分布情報、すなわち、距離画像は、所
定の画像サイズ（例えば横４００画素×縦２００画素）
を有し、以下、距離画像の座標系は、左上隅を原点とし
て横方向をｉ座標軸，縦方向をｊ座標軸とし、単位は画
素として定める。
【００３２】上記立体物認識部１２は、立体物認識手段
として形成されており、距離画像から前方に存在する他
の車両や障害物等の複数の物体を検出して、その位置と
大きさを算出し、検出した物体の輪郭像を抽出するよう
になっている。
【００３３】この場合、上記立体物認識部１２では、物
体の３次元的な位置情報を利用し、道路と物体の区別は
道路表面からの高さによって行い、物体と背景の区別は
距離の値によって行う。そのため、上記立体物認識部１
２では、まず、上記ステレオ画像処理部１１からの距離
画像の座標系を、自車（車両１）を取り巻く実空間の座
標系に変換し、検出した立体物に対し、位置や大きさを
計算するようになっている。
【００３４】すなわち、実空間の座標系を車両１固定で
車両１を中心（原点を車両中央の真下の道路面）とした
直交座標系とし、Ｘ軸を車両１の左右方向の軸、Ｙ軸を
車両１の前後方向の軸、Ｚ軸を車両１の上下方向の軸と
すると、ＸＹ平面（Ｚ＝０）は、道路が平坦な場合、道
路面と一致することになり、画像中の距離情報（ｉ，
ｊ）から被写体の３次元位置（Ｘ，Ｙ，Ｚ）を算出する
には、以下の（２），（３）式により座標変換を行う。 Ｚ＝ＣＨ−Ｙ×ＰＷ×（ｊ−ＪＶ） …（２） Ｘ＝ｒ／２−ρ＋Ｙ×ＰＷ×（ｉ−ＩＶ） …（３） ここで、ＣＨ ：ＣＣＤカメラの取付け高さ ＰＷ ：１画素当たりの視野角 ＪＶ，ＩＶ：車両１の真正面の無限遠点の画像上の座標 ｒ：２台のＣＣＤカメラの取付間隔 ρ：２台のＣＣＤカメラの取付間隔の中心と車両中心と
のずれ また、実空間の３次元座標（Ｘ，Ｙ，Ｚ）から画像上の
位置（ｉ，ｊ）を算出する式も、上記（２），（３）式
を変形し、次のようになる。 ｊ＝（ＣＨ−Ｚ）／（Ｙ×ＰＷ）＋ＪＶ …（４） ｉ＝（Ｘ−ｒ／２＋ρ）／（Ｙ×ＰＷ）＋ＩＶ …（５） また、上記立体物認識部１２では、立体物認識を、駐車
車両等の障害物の物体認識と側壁検出とで別々に行なう
ようになっており、物体認識では、上記ステレオ画像処
理部１１からの距離画像を、格子状に所定の間隔（例え
ば、８〜２０画素間隔）で区分し、各領域毎に、走行の
障害となる可能性のある立体物のデータのみを選別し、
その検出距離を算出する。すなわち、画像を多数の領域
に分割して物体を探すことにより、複数の物体を同時に
検出することができるようになっている。
【００３５】各領域における被写体は、画像上の座標
（ｉ，ｊ）と距離データＹから、前述の（２），（３）
式を使って実空間の３次元位置（Ｘ，Ｙ，Ｚ）が算出さ
れ、さらに、距離Ｙに於ける被写体の道路表面からの高
さＨは、道路表面の高さをＺｒとすると、次の（６）式
で計算することができるが、前述したように実空間の座
標系が設定されているため、車両１に特別な傾きや上下
移動が無い限り、Ｚｒ＝０．０ｍと設定することができ
る。 Ｈ＝Ｚ−Ｚｒ …（６） 高さＨが０．１ｍ程度以下の被写体は、道路上の白線や
汚れ、影などであり、走行の障害になる物体ではないと
考えられるため、この被写体のデータは棄却する。ま
た、車両の高さより上にある被写体も、歩道橋や標識な
どと考えられるので棄却し、走行上の障害となる立体物
のデータのみを選別する。これにより、２次元の画像上
で物体が道路などと重なり合っていても、道路表面から
の高さによってデータを区別し、障害となる物体のみを
検出できる。
【００３６】次に、このようにして抽出された立体物の
データに対して、予め設定された距離Ｙの区間に含まれ
るデータの個数を数え、距離Ｙを横軸とするヒストグラ
ムを作成する。検出物体に対するヒストグラムで設定す
る距離Ｙの区間の長さや区間の個数は、距離Ｙの検出限
界や精度および検出対象の物体の形状などを考慮して決
定する。
【００３７】上記ヒストグラムにおいては、入力される
距離画像中の距離データには、誤って検出された値も存
在するので、実際には物体の存在しない位置にも多少の
データが現れる。しかし、ある程度の大きさの物体があ
ると、その位置の度数は大きな値を示し、一方、物体が
何も存在しない場合には、誤った距離データのみによっ
て発生する度数は小さな値となる。
【００３８】従って、作成されたヒストグラムの度数
が、予め設定した判定値以上かつ最大値をとる区間があ
れば、その区間に物体が存在すると判断し、度数の最大
値が判定値以下の場合は、物体が存在しないと判断する
ことにより、画像のデータに多少のノイズが含まれてい
る場合においても、ノイズの影響を最小限にして物体を
検出できる。
【００３９】物体が存在すると判断されると、検出され
た区間と、その前後に隣接する区間に含まれている立体
物のデータの距離Ｙの平均値を計算し、この値を物体ま
での距離と見なす。このような物体までの距離検出の処
理を全領域について行った後、各領域の物体の検出距離
を調べ、隣接する領域において物体までの検出距離の差
異が設定値以下の場合は同一の物体と見なし、一方、設
定値以上の場合は別々の物体と見なす。このようにデー
タを区別することにより、複数の物体とその距離、存在
領域を背景と区別して検出することができ、さらに、２
次元の画像上で複数の物体が重なり合って写っている場
合においても、各々の物体の距離の違いによって、それ
らを区別して検出できる。
【００４０】そして、さらに上述の検出された各々の物
体について、３次元空間で、検出物体を包含する直方体
状の３次元空間領域すなわち３次元ウインドウを設定
し、この設定した３次元ウインドウが２次元の画像上で
どのように見えるかを計算し、ウインドウ輪郭線の内側
を２次元ウインドウとして、この中のデータのみを検出
対象とする。
【００４１】上記２次元ウインドウ内の各データを順次
サーベイし、３次元ウインドウに含まれるデータのみを
選別し、検出した物体の輪郭像を抽出する処理を行い、
検出物体の自車両１との位置関係を検出するのである。
【００４２】上記３次元ウインドウから上記２次元ウイ
ンドウを求めるには、３次元ウィンドウの８個の頂点の
各座標（Ｘｎ，Ｙｎ，Ｚｎ）から、前述の（４），
（５）式を用いて画像上の座標（ｉｎ，ｊｎ）を計算
し、これらの点を包絡する多角形を計算して行なわれ
る。
【００４３】一方、上記立体物認識部１２での側壁検出
は、側壁と道路との区別を道路表面からの高さによって
行い、側壁と遠方の背景との区別を、前後方向と横方向
の距離によって行うことにより、側壁が存在すると推定
される周辺のデータのみを抽出し、続いて側壁のデータ
は水平方向に直線的に並んでいる特徴に注目してこれを
ハフ変換によって検出し、位置を求めることにより行な
われる。
【００４４】すなわち、上記距離分布の情報の中から予
め設定された道路表面より上にあるデータのみを抽出
し、抽出した立体物データの中から、予め設定された側
壁の探索領域内のデータのみを抽出し、これをハフ変換
で処理して側壁の有無と側壁の位置を示す直線式とを検
出する。また、側壁の位置を示す直線式に基づいて、側
壁が存在すると推定される側壁候補領域を設定し、この
側壁候補領域内の立体物データの分布状態から側壁の前
後端の位置を検出する。
【００４５】詳細には、側壁は立体物の一種であるか
ら、まず、道路表面より上にある立体物のデータを距離
画像の中から抽出する。この際、高さＨが０．１ｍ程度
以下の立体物は、前述したように、道路上の白線や汚
れ、影等と考えられるため、この立体物のデータは棄却
する。また、車両の高さより上にある立体物も、歩道橋
や標識等と考えられるので棄却し、道路上の立体物のデ
ータのみを選別する。
【００４６】また、画面に写っている広範囲の立体物の
データが抽出されるが、これら全てを処理することは合
理的でないため、側壁を探索する領域に制限を設ける。
【００４７】この場合、道路を通常走行している場合に
は、側壁は車両１の左側と右側に、車両１と概ね平行に
存在する。一方、遠くの側壁は、距離データの精度の面
から検出が困難になり、且つ、検出の必要性も小さい。
そこで、これらを考慮し、左側と右側の２つの探索領域
を設定し、左側と右側の側壁を別々に検出して行く。
【００４８】各探索領域に含まれる立体物データを抽出
するには、抽出された各データの被写体の３次元位置
（Ｘ，Ｙ座標）を計算し、この３次元位置（Ｘ，Ｙ座
標）と各探索領域とを、それぞれ比較して判定する。
【００４９】画像上の探索領域内にも、目的とする側壁
の他に様々な立体物が存在する。さらに、距離画像には
ノイズ状の偽データも含まれており、実際には物体が存
在しない空間にデータのみが分散して存在する。この中
で側壁は、そのデータが直線状に並んでいる特徴があ
る。そこで、ハフ変換を使用してデータの列の直線式を
検出することによって側壁の検出を行う。
【００５０】このハフ変換による直線式の検出について
説明すると、まず、立体物データＰi （座標Ｘi ，Ｙi
）に対し、このデータＰi の点を通る直線Ｆi を想定
する。この直線の式は、以下の（７）式で示される。 Ｘ＝ａｆi ×Ｙ＋ｂｆi …（７） 次に、縦軸が上記（７）式の傾きａｆ、横軸が切片ｂｆ
のパラメータ空間を設定し、上記（７）式のパラメータ
ａｆi ，ｂｆi に相当する位置に投票を行う。
【００５１】ここで、傾きａｆi の値は、前述したよう
に側壁は車両１と概ね平行と考えられるため、一般道路
では、例えば±２０゜( ａｆi ：±０．３６）程度の範
囲で変化させれば実用上十分である。また、切片ｂｆi
の値は、左側の側壁を検出する場合、車両１の左脇であ
る例えばＸ＝−１ｍから−１０ｍ程度の範囲、右側の側
壁を検出する場合には、例えばＸ＝＋１ｍから＋１０ｍ
程度の範囲に制限する。このように、制限範囲を例えば
±１０ｍ程度にするのは、あまり遠く離れた側壁の検出
は実用面の必要性が小さいためである。
【００５２】このような制限により、パラメータ空間上
で投票が行われる範囲は矩形領域となり、この矩形領域
はさらに格子状に分割されて各格子毎に投票される。上
記（７）式の傾きａｆi は、所定の変化範囲内（例えば
±１０゜〜±２０゜）であり、格子間隔Δａｆ毎に順次
変化させて設定する。切片ｂｆi は、設定された傾きａ
ｆi と立体物データＰi の座標（Ｘi ，Ｙi ）を上記
（７）式に代入して算出され、これが上記制限範囲内で
あればパラメータ空間の該当する格子に投票される。
【００５３】検出される側壁の位置、すなわち直線式の
傾きと切片の検出精度は、格子間隔Δａｆ，Δｂｆによ
って決定され、格子間隔Δａｆ，Δｂｆの設定は、側壁
の情報を利用する外部装置側の要求に基づいて行われ
る。
【００５４】以上のようにして探索領域内の全立体物デ
ータに対してパラメータ空間への投票を行う際、直線的
に並んだデータが存在すると、このデータの列と一致す
るように設定した直線のパラメータａｆi,ｂｆi に相当
するパラメータ空間の格子は多くの得票を得て、左右の
投票領域毎に局所極大値が現れる。
【００５５】側壁が存在し、明確な立体物データの列が
あるとパラメータ空間の局所極大値は大きな値を示し、
一方、側壁が無く、複数の物体が分散して存在する状態
では局所極大値は小さい値を示す。従って、パラメータ
空間の左右の投票領域毎に局所極大値を検出し、検出し
た局所極大値が判定値以上であれば側壁が存在すると判
定することができる。判定値は設定する探索領域の大き
さや格子の間隔等を考慮して設定する。
【００５６】次に、側壁有りと判定された場合には、側
壁の前後端の位置を検出する。これは、側壁の存在が推
定される直線を中心として、幅０．３ｍ〜１．０ｍ程度
の領域を側壁候補領域として定め、この領域を、さらに
Ｙ方向に区分して、上記探索領域内の立体物データを順
次サーベイし、側壁候補領域内にあるデータのみを抽出
した後、区分毎に立体物データの個数をカウントし、ヒ
ストグラムを作成することにより行なう。そして、この
ヒストグラムは側壁が存在する部分では大きな度数を示
すため、度数が判定値以上の区分を検出することによっ
て、この範囲に側壁が存在すると判断することができ、
その両端の３次元位置を計算して側壁の前後端位置とす
るのである。
【００５７】以上のようにして、距離画像から道路上の
各物体の位置、形状等のパラメータが求められるように
なっており、前記立体物位置情報演算部１３にそのパラ
メータが読み込まれる。
【００５８】上記立体物位置情報演算部１３は、立体物
位置情報演算手段として形成され、前記舵角センサ４で
検出した舵角と、前記後輪回転数センサ５で検出した後
輪回転数（後輪移動量）と、上記立体物認識部１２から
の情報を基に、位置情報記憶手段としての記憶部１４に
前回記憶しておいた車両周辺の立体物位置情報を更新し
て新たな車両周辺の立体物位置情報を演算するようにな
っている。
【００５９】上記車両周辺の立体物位置情報は、図４に
示すように、ＸＹ平面上に予め設定した自車両を中心と
する領域ＱＲＳＴ内の立体物の位置情報であり、今回演
算して得た上記立体物認識部１２からの情報（領域ＰＱ
Ｒ内の情報）と、前回までに得た上記立体物認識部１２
からの情報とで形成されている。
【００６０】すなわち、前回演算して上記記憶部１４に
記憶しておいた立体物位置情報の領域Ｑ' Ｒ' Ｓ' Ｔ'
から、今回、車両が移動して（移動量Ｍ）、新たに上記
立体物認識部１２から領域ＰＱＲの相対位置情報を得る
と、前回の立体物位置情報の領域Ｑ' Ｒ' Ｓ' Ｔ' の情
報を上記移動量Ｍだけ移動し、今回の車両位置に対する
情報になるように更新するとともに、この更新した前回
の立体物位置情報の領域Ｑ' Ｒ' Ｓ' Ｔ' の情報から、
記憶領域外に出たもののデータ（領域ＴＳＳ'Ｔ' のデ
ータ）と、新たに得た領域ＰＱＲの相対位置情報に重複
する領域ＰＥＦのデータとを消去し、上記領域ＰＱＲの
相対位置情報を追加して今回の立体物位置情報の領域Ｑ
ＲＳＴを形成するようになっている。この今回の立体物
位置情報のデータは再び上記記憶部１４に記憶されると
ともに、前記接触判定出力部２０に出力される。尚、図
４では、解りやすくするため、車両が前進移動する場合
で示しているが、車両が旋回移動する場合等でも同様に
して今回の立体物位置情報が求められる。
【００６１】このように、本発明の実施の形態１の車両
周辺立体物認識部１０によれば、従来のような車両前方
での立体物の位置が認識できることはもちろん、一旦車
両前方で認識された立体物は車両の移動に伴って車両側
方になってしまった場合でもその位置を把握することが
でき、他にカメラあるいは立体物認識装置を特別に付加
することなく、車両周辺の広い範囲で立体物の認識を行
なうことができるようになっている。
【００６２】ここで、検出した車両の移動量を基に、前
回の立体物位置情報を移動させるには、例えば、以下の
算出式によって行なう。
【００６３】図５において、車両が直進する場合、Ａ点
（ｘa ，ｙa ）にある物体はＢ点（ｘb ，ｙb ）に相対
的に移動する（ｘa ＝ｘb ）。ここで、舵角をδとする
と、直進走行時はδ＝０であり、後輪移動量をΔＭとし
て、ｙb ＝ｙa −ΔＭとなる。すなわち、直進走行時で
は、座標（ｘold ，ｙold ）で示す前回の立体物位置情
報は、座標（ｘnew ，ｙnew ）で示す今回の新たな立体
物位置情報に以下の２式により移動される。 ｘnew ＝ｘold …（８） ｙnew ＝ｙold −ΔＭ …（９） 尚、上記舵角δは、厳密に０でなくとも、予め設定して
おいた範囲内の値であれば直進走行とみなすようになっ
ている。この設定範囲は、車速等のパラメータにより可
変設定されるものであっても良い。
【００６４】また、車両が旋回する場合（δ≠０の場
合）、Ｂ点（ｘb ，ｙb ）にある物体はＣ点（ｘC ，ｙ
C ）に相対的に移動する。この旋回の中心座標ＰC （Ｘ
CE，ＹCE）は、ＸCEを舵角δによる車両諸元に基づいて
予め設定しておいたテーブルの参照により求める（ｆ
（δ）で示す）ものとして、 ＸCE＝ｆ（δ） …（１０） ＹCE＝（車輪軸までのオフセット）＝０ …（１１） となる。
【００６５】さらに、旋回の回転角θc は、カメラ位置
から左後輪までのＸ方向のオフセットをＸW として、 θc ＝ΔＭ／（ＸCE−ＸW ） …（１２） で算出される。
【００６６】上記中心座標ＰC （ＸCE，ＹCE）、旋回角
θc を用いて、旋回走行時では、座標（ｘold ，ｙold
）で示す前回の立体物位置情報は、座標（ｘnew ，ｙn
ew ）で示す今回の新たな立体物位置情報に以下のよう
に移動される。 ｒ＝（（ｘold −ＸCE）2 ＋（ｙold −ＹCE）2 ）1/2 ａ＝arctan（（ｙold −ＹCE）／（ｘold −ＸCE）） とすると、 ｘnew ＝ｒ×cos （ａ＋θc ）＋ＸCE …（１３） ｙnew ＝ｒ×sin （ａ＋θc ）＋ＹCE …（１４） 上記接触判定出力部２０は、上記立体物位置情報演算部
１３からの車両周辺の立体物位置情報を基に、予め記憶
してある自車両の外形形状から、立体物と車両との接触
の可能性を判定して、結果を前記表示部７に出力させる
ようになっている。
【００６７】すなわち、図６に示すように、車両１の左
右両側部に、左側接触危険度判定設定線ＬＡ，右側接触
危険度判定設定線ＲＡを設定し、この判定設定線ＬＡと
判定設定線ＲＡより内側に立体物が存在する際には、立
体物は障害物であり接触すると判定して各表示部７Ｆ
Ｌ，７ＦＲ，７ＩＬ，７ＩＲの中から該当するものを選
択して、赤色光を点滅あるいは点灯させる。例えば、車
両中心線より左側に障害物がある際には、車体の左フェ
ンダ上端の表示部７ＦＬとインストルメントパネル内の
表示部７ＩＬを選択して、赤色光を点滅あるいは点灯さ
せる。逆に、車両中心線より右側に障害物がある際に
は、車体の右フェンダ上端の表示部７ＦＲとインストル
メントパネル内の表示部７ＩＲを選択して、赤色光を点
滅あるいは点灯させる。
【００６８】さらに、上記左側接触危険度判定設定線Ｌ
Ａ，右側接触危険度判定設定線ＲＡの外側には左側接触
危険度判定設定線ＬＢ，右側接触危険度判定設定線ＲＢ
が設定され、上記判定設定線ＬＡと上記判定設定線ＬＢ
の間に障害物が存在する際には、運転者のハンドル操作
によっては接触の虞があると判定して、車体の左フェン
ダ上端の表示部７ＦＬとインストルメントパネル内の表
示部７ＩＬを選択して、黄色光を点滅あるいは点灯させ
る。また、上記判定設定線ＲＡと上記判定設定線ＲＢの
間に障害物が存在する際には、運転者のハンドル操作に
よっては接触の虞があると判定して、車体の右フェンダ
上端の表示部７ＦＲとインストルメントパネル内の表示
部７ＩＲを選択して、黄色光を点滅あるいは点灯させ
る。
【００６９】また、上記左側接触危険度判定設定線Ｌ
Ｂ，右側接触危険度判定設定線ＲＢの外側にのみ障害物
が存在する場合は、障害物と自車両との間隔が十分にあ
り接触のおそれがないと判定して緑色光を表示するよう
になっている。
【００７０】上記各接触危険度判定設定線ＬＡ，ＲＡ，
ＬＢ，ＲＢは、図６では直線に設定する例を示している
が、直線に限ることなく曲線（例えば、車両前方に進む
につれて次第に広がるような曲線）等であってもよく、
現在の車両速度、舵角により可変可能に設定できるよう
にしても良い。
【００７１】次に、上記車両１の運転支援装置２による
運転支援制御を、図７のフローチャートで説明する。こ
のプログラムは、一定時間毎あるいは車両の一定移動量
毎に実行されるもので、まず、ステップ（以下「Ｓ」と
略称）１０１で、舵角センサ４から舵角δを読み込み、
後輪回転数センサ５から後輪回転数を後輪移動量ΔＭに
変換して読み込み、また、車両周辺立体物認識部１０の
記憶部１４から前回の立体物位置情報を読み込む。
【００７２】次いで、Ｓ１０２に進み、舵角δの値から
旋回状態か直進状態かを判定し、直進状態の場合にはＳ
１０３に進み、旋回状態の場合にはＳ１０４に進む。
【００７３】上記Ｓ１０２で直進状態と判定してＳ１０
３に進むと、前回の立体物位置情報に後輪移動量ΔＭを
加算して（前記（８）式，（９）式に基づく処理を行な
って）、Ｓ１０６に進む。
【００７４】一方、上記Ｓ１０２で旋回状態と判定して
Ｓ１０４に進むと、舵角δ、後輪移動量ΔＭから旋回中
心ＰC 、旋回角θc を算出し（前記（１０）式，（１
１）式，（１２）式に基づく算出）、Ｓ１０５に進んで
前回の立体物位置情報を上記旋回中心ＰC を中心に旋回
角θc 回転させ（前記（１３）式，（１４）式に基づく
処理を行なって）、Ｓ１０６に進む。
【００７５】上記Ｓ１０３あるいは上記Ｓ１０５からＳ
１０６に進むと、前回の立体物位置情報の中で、上記Ｓ
１０３あるいは上記Ｓ１０５の処理により記憶領域外に
出たもののデータの消去を行なう。
【００７６】次いで、Ｓ１０７に進み、前回の立体物位
置情報の中で、上記Ｓ１０３あるいは上記Ｓ１０５の処
理により立体物の新たな相対位置情報と重複するデータ
を消去する。
【００７７】次に、Ｓ１０８に進み、ステレオ光学系３
で撮像した画像を車両周辺立体物認識部１０のステレオ
画像処理部１１、立体物認識部１２で処理して立体物の
新たな相対位置情報として読み込み、Ｓ１０９に進ん
で、上記Ｓ１０７で形成した前回の立体物位置情報に上
記新たな相対位置情報を加え記憶する。この立体物位置
情報が今回更新された新たな車両周辺の立体物位置情報
である。すなわち、上記Ｓ１０２〜上記Ｓ１０８で行な
われる処理は立体物位置情報演算部１３と記憶部１４と
で行なう処理になっている。
【００７８】次いで、Ｓ１１０に進み、上記Ｓ１０９の
処理により最終的に設定した今回の新たな車両周辺の立
体物位置情報を基に、予め記憶してある自車両の外形形
状から、立体物と車両との接触の可能性を判定し、Ｓ１
１１に進んで、上記Ｓ１１０の判定結果に応じて表示部
７に信号出力する。すなわち、上記Ｓ１１０および上記
Ｓ１１１が接触判定出力部２０で行なわれる処理であ
る。
【００７９】尚、記憶された今回の新たな車両周辺の立
体物位置情報は、次回制御プログラムが実行される際に
は、前回の立体物位置情報として読み込まれ処理され
る。
【００８０】このように本発明の実施の形態１の車両周
辺立体物認識部１０によれば、従来のような車両前方で
の立体物の位置が認識できることはもちろん、一旦車両
前方で認識された立体物が車両の移動に伴って車両側方
になってしまった場合でもその位置を把握することがで
きるため、車両前方に存在する障害物に対する運転支援
はもちろん、車両側方に存在する障害物に対する運転支
援も容易に行なうことが可能である。
【００８１】次に、図８〜図１１は本発明の実施の形態
２に係り、図８は運転支援装置の機能ブロック図、図９
は車両側面からみた運転支援装置の全体構成図、図１０
は車両上面からみた運転支援装置の全体構成図、図１１
は運転支援制御のフローチャートである。尚、本発明の
実施の形態２は、車両移動量検出手段として左後輪回転
数センサと右後輪回転数センサを用いて舵角センサを用
いずに形成したことが前記発明の実施の形態１と異な
る。
【００８２】すなわち、図８〜図１０に示すように、左
後輪には左後輪回転数センサ５が、右後輪には右後輪回
転数センサ２５が設けられ、制御装置６に、それぞれ左
後輪回転数（左後輪移動量）と右後輪回転数（右後輪移
動量）とが入力されるようになっている。そして、上記
制御装置６の車両周辺立体物認識部１０の立体物位置情
報演算手段としての立体物位置情報演算部２６に、上記
左右後輪移動量が入力され、これら左右後輪移動量と、
立体物認識部１２からの情報を基に、記憶部１４に前回
記憶しておいた車両周辺の立体物位置情報を更新して新
たな車両周辺の立体物位置情報を演算し出力するように
なっている。
【００８３】上記立体物位置情報演算部２６は、前記発
明の実施の形態１での立体物位置情報演算部１３と略同
様の機能を有するものであるが、左右後輪移動量が入力
されるようになっているため、前回の立体物位置情報を
移動させる際は、以下のように行なうものである。
【００８４】図５において、車両が直進する場合、Ａ点
（ｘa ，ｙa ）にある物体はＢ点（ｘb ，ｙb ）に相対
的に移動する（ｘa ＝ｘb ）。ここで、左後輪移動量
（変化量）をΔＭＬ，右後輪移動量（変化量）をΔＭＲ
とすると、直進時では、ΔＭＬ＝ΔＭＲであり、ｙb ＝
ｙa −ΔＭＲとなる。すなわち、直進走行時では、座標
（ｘold ，ｙold ）で示す前回の立体物位置情報は、座
標（ｘnew ，ｙnew ）で示す今回の新たな立体物位置情
報に以下の２式により移動される。 ｘnew ＝ｘold …（１５） ｙnew ＝ｙold −ΔＭＲ …（１６） また、車両が旋回する場合、Ｂ点（ｘb ，ｙb ）にある
物体はＣ点（ｘC ，ｙC ）に相対的に移動する。この旋
回の中心座標ＰC （ＸCE，ＹCE）は、 ＸCE＝（ΔＭＲ＋ΔＭＬ）／（ΔＭＲ−ΔＭＬ）×（車輪トレッド）／２ …（１７） ＹCE＝（車輪軸までのオフセット）＝０ …（１８） となる。
【００８５】さらに、旋回の回転角θc は、 θc ＝（ΔＭＲ−ΔＭＬ）／（車輪トレッド） …（１９） で算出される。
【００８６】上記中心座標ＰC （ＸCE，ＹCE）、旋回角
θc を用いて、旋回走行時では、座標（ｘold ，ｙold
）で示す前回の立体物位置情報は、座標（ｘnew ，ｙn
ew ）で示す今回の新たな立体物位置情報に、前記（１
３）式，（１４）式で移動される。
【００８７】次に、本発明の実施の形態２による運転支
援装置２による運転支援制御を、図１１のフローチャー
トで説明する。まず、Ｓ２０１で、左後輪回転数センサ
５から左後輪回転数を左後輪移動量ΔＭＬに変換して読
み込み、右後輪回転数センサ２５から右後輪回転数を右
後輪移動量ΔＭＲに変換して読み込み、また、車両周辺
立体物認識部１０の記憶部１４から前回の立体物位置情
報を読み込む。
【００８８】次いで、Ｓ２０２に進み、左右後輪移動量
ΔＭＬ，ΔＭＲから旋回状態か直進状態かを判定し、直
進状態の場合にはＳ２０３に進み、旋回状態の場合には
Ｓ２０４に進む。
【００８９】上記Ｓ２０２で直進状態と判定してＳ２０
３に進むと、前回の立体物位置情報に後輪移動量ΔＭＬ
を加算して（前記（１５）式，（１６）式に基づく処理
を行なって）、Ｓ１０６に進む。一方、上記Ｓ２０２で
旋回状態と判定してＳ２０４に進むと、左右後輪移動量
ΔＭＬ，ΔＭＲから旋回中心ＰC 、旋回角θc を算出し
（前記（１７）式，（１８）式，（１９）式に基づく算
出）、Ｓ１０５に進んで前回の立体物位置情報を上記旋
回中心ＰC を中心に旋回角θc 回転させ（前記（１３）
式，（１４）式に基づく処理を行なって）、Ｓ１０６に
進む。以下Ｓ１０６以降、前記発明の実施の形態１と同
様の処理ルーチンとなる。
【００９０】このように、本発明の実施の形態２によれ
ば、前記発明の実施の形態１の効果に加え、舵角センサ
を用いずとも車両周辺立体物認識部が形成でき、さらに
コストダウンを図ることができる。
【００９１】次に、図１２〜図１６は本発明の実施の形
態３に係り、図１２は自律走行制御装置の機能ブロック
図、図１３は車両側面からみた自律走行制御装置の全体
構成図、図１４は車両上面からみた自律走行制御装置の
全体構成図、図１５は車両周辺の立体物位置情報の説明
図、図１６は自律走行制御のフローチャートである。
【００９２】尚、本発明の実施の形態３は、車両として
の自律走行車に前記発明の実施の形態２で説明した車両
周辺立体物認識部１０を搭載し、この車両周辺立体物認
識部１０からの立体物位置情報を基に、車両停止、障害
物回避等の走行制御を行なわせるようにしたものであ
る。
【００９３】すなわち、符号３０は車両としての自律走
行車を示し、この自律走行車３０には、例えば、車両後
部下側にモーア等の作業装置３１が設けられている。ま
た、車両前部下側にキャスタ等の小車輪３２が設けら
れ、車両の略中央の左右両脇には駆動輪３３（左側駆動
輪３３Ｌ、右側駆動輪３３Ｒ）が設けられており、この
駆動輪が、車両に搭載された自律走行制御装置３５によ
り制御される駆動モータ３４（左側駆動モータ３４Ｌ，
右側駆動モータ３４Ｒ）により駆動され、上記作業装置
３１により、走行しながら芝刈り等の作業ができるよう
に構成されている。
【００９４】さらに、上記自律走行車３０には、前記発
明の実施の形態２の如く、前方を撮像するステレオ光学
系３（左側ＣＣＤカメラ３Ｌ，右側ＣＣＤカメラ３Ｒ）
が配設されるとともに、左駆動輪には左駆動輪回転数セ
ンサ５が、右駆動輪には右駆動輪回転数センサ２５が設
けられており、これらステレオ光学系３、左駆動輪回転
数センサ５、右駆動輪回転数センサ２５は、上記自律走
行制御装置３５に接続されている。
【００９５】上記自律走行制御装置３５は、車両周辺立
体物認識部１０と、この車両周辺立体物認識部１０から
の立体物位置情報を基に、車両停止、障害物回避等の走
行制御を行なわせる走行制御部３８とから主に構成され
ている。
【００９６】上記車両周辺立体物認識部１０は、前記発
明の実施の形態２で説明したものと同様のもので、立体
物位置情報演算部２６に、左右駆動輪移動量が入力さ
れ、これら左右駆動輪移動量と、立体物認識部１２から
の情報（相対位置情報）を基に、記憶部１４に前回記憶
しておいた車両周辺の立体物位置情報を更新して新たな
車両周辺の立体物位置情報を演算し出力するようになっ
ている。
【００９７】上記車両周辺立体物認識部１０で形成され
る車両周辺の立体物位置情報は、図１５に示すように、
ＸＹ平面上に予め設定した自車両を中心とする領域ＱＲ
ＳＴ（前記発明の実施の形態１に対応して示す）内の立
体物の位置情報で、物体の車両との相対位置が、Ａ点
（ｘa ，ｙa ）からＢ点（ｘb ，ｙb ）に移動するよう
な直進走行時は、前記（１５）式，（１６）式に基づき
前回の位置情報を移動させ、また、Ｂ点（ｘb ，ｙb ）
からＣ点（ｘC ，ｙC ）に移動するような旋回走行時
は、前記（１３）式，（１４）式に基づき前回の位置情
報を移動させ、その後、記憶領域外に出たもののデータ
と、新たに得たデータ（カメラ視野）に重複するデータ
とを消去し、新たに得たカメラ視野の相対位置情報を追
加して今回の新たな立体物位置情報を形成するようにな
っている。
【００９８】上記走行制御部３８は、上記立体物位置情
報演算部２６からの車両周辺の立体物位置情報を基に、
予め記憶してある自車両の外形形状から、自車両が停止
すべき状態か否か判定して、自車両が停止すべき状態と
判定した際には上記駆動モータ３４を停止制御して車両
を停止させる一方、自車両は停止すべき状態ではないが
障害物を回避しなければならない状態であると判定した
際には上記駆動モータ３４を障害物回避制御して障害物
を回避させる。この障害物回避制御は、例えば、障害物
とは左右反対側の駆動モータ（左側駆動モータ３４Ｌあ
るいは右側駆動モータ３４Ｒ）を演算した速度に減速さ
せることにより行なう。
【００９９】次に、上記自律走行車３０の自律走行制御
装置３５による自律走行制御を、図１６のフローチャー
トで説明する。尚、この図からも明らかなように、Ｓ２
０１〜Ｓ１０９までの処理は前記発明の実施の形態２と
同様であるので、それ以降、Ｓ３０１以降の走行制御部
３８で行なわれる処理を説明する。また、前記発明の実
施の形態２に於けるＳ２０１，Ｓ２０３，Ｓ２０４の
“後輪”は、“駆動輪”に読み替える。
【０１００】Ｓ３０１では、立体物位置情報演算部２６
からの車両周辺の立体物位置情報を基に、予め記憶して
ある自車両の外形形状から、自車両が停止すべき状態か
否かの判定を行なう。
【０１０１】そして、上記Ｓ３０１で、障害物が自車両
に接近して停止する必要があると判定するとＳ３０２に
進み、上記駆動モータ３４を停止制御して（車両停止制
御ＯＮして）車両を停止させる。
【０１０２】一方、上記Ｓ３０１で、停止する必要はな
いと判定するとＳ３０３に進み、車両停止制御ＯＦＦと
して、Ｓ３０４に進み、立体物位置情報演算部２６から
の車両周辺の立体物位置情報を基に、予め記憶してある
自車両の外形形状から、自車両が障害物を回避すべきか
否かの判定を行なう。
【０１０３】上記Ｓ３０４で障害物を回避する必要があ
ると判定すると、Ｓ３０５に進み、障害物とは左右反対
側の駆動モータ（左側駆動モータ３４Ｌあるいは右側駆
動モータ３４Ｒ）の速度（減速した速度）を演算し、こ
の速度になるように、上記左右反対側の駆動モータを減
速制御（障害物回避制御ＯＮ）して、プログラムを終了
する。
【０１０４】一方、上記Ｓ３０４で障害物を回避する必
要がないと判定すると、そのまま走行制御を続け、この
プログラムを終了する。
【０１０５】このように、自律走行車においても、車両
周辺立体物認識部１０を用いることにより、他にカメラ
あるいは立体物認識装置を特別に付加することなく、車
両周辺の広い範囲で立体物の認識を行なうことができる
ため、車両前方の立体物による停止や回避等の自律走行
制御を有効に行なうことが可能である。
【０１０６】また、自律走行制御が立体物に沿った走行
を行なう機能を有している場合であっても、その機能に
使用できることはいうまでもない。
【０１０７】さらに、自律走行車は、芝刈り以外の作業
車、例えば、床面清掃作業ロボット車両等で広く応用で
き、床面清掃作業ロボット車両に応用した場合、壁際に
沿った掃除等が容易にできる。
【０１０８】次に、図１７〜図２１は本発明の実施の形
態４に係り、図１７は自律走行制御装置の機能ブロック
図、図１８は車両側面からみた自律走行制御装置の全体
構成図、図１９は車両上面からみた自律走行制御装置の
全体構成図、図２０は車両周辺の立体物位置情報の説明
図、図２１は自律走行制御のフローチャートである。
【０１０９】尚、本発明の実施の形態４は、車両として
の自律走行車に、設定角度範囲で回動自在なＣＣＤカメ
ラを設け、車両進行方向以外の画像も得られるように
し、この車両進行方向以外の画像を処理して得た立体物
との相対位置情報を基に、立体物位置情報を得ることが
できるようにしたことが、前記発明の実施の形態３とは
異なるので、以下、この異なる部分のみ説明する。
【０１１０】すなわち、符号４０は車両としての自律走
行車を示し、この自律走行車４０の前側上部に、水平に
回動自在な回転台４１が設けられ、この回転台４１の上
にステレオ光学系３が固定されている。
【０１１１】上記回転台４１は、回転台モータ４２と連
結され、この回転台モータ４２は、自律走行制御装置４
５の走行制御部４６により制御され回動されるようにな
っている。
【０１１２】上記回転台４１の回転角α（車両正面を基
準０°とした角度）は、回転台角度センサ４３により検
出され、上記自律走行制御装置４５の車両周辺立体物認
識部４７を構成する立体物認識部４８に入力されるよう
に形成されている。
【０１１３】上記自律走行制御装置４５の上記車両周辺
立体物認識部４７は、前記発明の実施の形態３の車両周
辺立体物認識部１０に対応するもので、上記立体物認識
部４８が異なっており、他の部分は同様のものである。
【０１１４】上記立体物認識部４８は、前記発明の実施
の形態３の立体物認識部１２と同様にステレオ画像処理
部１１から出力された距離画像から道路上の各物体の位
置、形状等のパラメータを求めるとともに、上記回転台
角度センサ４３からの上記回転台４１の回転角αを加味
して、車両から見た立体物の相対位置座標を計算し、こ
の相対位置情報を立体物位置情報演算部２６に出力する
ようになっている。
【０１１５】すなわち、図２０に示すように、上記ステ
レオ光学系３を通じて得られる画像は、車両正面に対し
て可変に撮像されるため、この可変にされた量（上記回
転台４１の回転角）を検出して補正することで、上記立
体物位置情報演算部２６において、自車両を中心とする
立体物の位置情報に追加できるようにするのである。
【０１１６】また、上記走行制御部４６は、前記発明の
実施の形態３の走行制御部３８と同様に上記立体物位置
情報演算部２６からの車両周辺の立体物位置情報を基
に、予め記憶してある自車両の外形形状から、車両の停
止、あるいは、車両の障害物回避を制御するとともに、
上記回転台モータ４２を駆動制御して上記ステレオ光学
系３を一定の速度で左右に回動運動させるようになって
いる。尚、上記回転台モータ４２の駆動制御は、右に旋
回する場合は右に、左に旋回する場合は左にカメラ視野
を向けるようにするものであっても良い。
【０１１７】次に、上記自律走行車４０の自律走行制御
装置４５による自律走行制御を、図２１のフローチャー
トで説明する。尚、この図からも明らかなように、上記
自律走行制御装置４５による自律走行制御は、前記発明
の実施の形態３の自律走行制御のＳ１０８の処理を、Ｓ
４０１に変更したものである。
【０１１８】すなわち、Ｓ１０７で前回の立体物位置情
報の中で、新たな相対位置情報と重複するデータを消去
した後、Ｓ４０１に進み、車両周辺立体物認識部４７の
立体物位置情報演算部２６では、回転台４１の回転角α
で補正（立体物認識部４８での処理）された新たな相対
位置情報を読み込む。そして、Ｓ１０９以降に進む。
【０１１９】このように、本発明の実施の形態４では、
前記発明の実施の形態３で得られる効果に加え、カメラ
視野が左右に回動されるため、さらに広いカメラ視野が
得られ、より確実な立体物の把握ができる。
【０１２０】尚、上記各発明の実施の形態では、ＣＣＤ
カメラで得られる画像を基に車両周辺の立体物を認識す
るものであるが、画像ではなく、例えばスキャン式レー
ザレーダや超音波センサから得られる立体物の位置情報
を基に車両周辺立体物認識装置を構成してもよい。
【０１２１】また、上記各発明の実施の形態では、説明
に直交座標を用いているが、極座標であってもよい。
【０１２２】
【発明の効果】以上説明したように本発明によれば、一
旦検出された車両周辺の立体物の位置情報は記憶され、
車両の移動に応じて逐次更新されて保持されるので、カ
メラ、センサ等の検出手段あるいは立体物認識装置を特
別に付加することなく、車両周辺の広い範囲で立体物の
認識を行なうことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による運転支援装置の機
能ブロック図
【図２】本発明の実施の形態１による車両側面からみた
運転支援装置の全体構成図
【図３】本発明の実施の形態１による車両上面からみた
運転支援装置の全体構成図
【図４】本発明の実施の形態１による車両周辺の立体物
位置情報の説明図
【図５】本発明の実施の形態１による前回の立体物位置
情報を移動させる際の説明図
【図６】本発明の実施の形態１による運転支援制御での
各接触危険度判定設定線の説明図
【図７】本発明の実施の形態１による運転支援制御のフ
ローチャート
【図８】本発明の実施の形態２による運転支援装置の機
能ブロック図
【図９】本発明の実施の形態２による車両側面からみた
運転支援装置の全体構成図
【図１０】本発明の実施の形態２による車両上面からみ
た運転支援装置の全体構成図
【図１１】本発明の実施の形態２による運転支援制御の
フローチャート
【図１２】本発明の実施の形態３による自律走行制御装
置の機能ブロック図
【図１３】本発明の実施の形態３による車両側面からみ
た自律走行制御装置の全体構成図
【図１４】本発明の実施の形態３による車両上面からみ
た自律走行制御装置の全体構成図
【図１５】本発明の実施の形態３による車両周辺の立体
物位置情報の説明図
【図１６】本発明の実施の形態３による自律走行制御の
フローチャート
【図１７】本発明の実施の形態４による自律走行制御装
置の機能ブロック図
【図１８】本発明の実施の形態４による車両側面からみ
た自律走行制御装置の全体構成図
【図１９】本発明の実施の形態４による車両上面からみ
た自律走行制御装置の全体構成図
【図２０】本発明の実施の形態４による車両周辺の立体
物位置情報の説明図
【図２１】本発明の実施の形態４による自律走行制御の
フローチャート
【符号の説明】
１ 自動車（車両） ２ 運転支援装置 ３ ステレオ光学系（物体検出手段） ４ 舵角センサ（車両移動量検出手段） ５ 後輪回転数センサ（車両移動量検出手段） ６ 制御装置 ７ 表示部 １０ 車両周辺立体物認識部 １１ ステレオ画像処理部（物体検出手段） １２ 立体物認識部（立体物認識手段） １３ 立体物位置情報演算部（立体物位置情報演算手
段） １４ 記憶部（位置情報記憶手段） ２０ 接触判定出力部
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０５Ｄ 1/02 Ｇ０５Ｄ 1/02 Ｓ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 車両周辺の物体を検出し、その物体の方
    向、物体までの距離分布を検出する物体検出手段と、上
    記物体検出手段で検出した物体までの距離分布から立体
    物を認識し、車両との相対位置を演算する立体物認識手
    段と、車両の旋回および前後方向の移動量を検出する車
    両移動量検出手段と、車両周辺の立体物位置情報を記憶
    する位置情報記憶手段と、上記車両移動量検出手段から
    の車両移動量と上記立体物認識手段からの相対位置とを
    基に上記位置情報記憶手段に記憶していた車両周辺の立
    体物位置情報を更新して新たな車両周辺の立体物位置情
    報を演算する立体物位置情報演算手段とを備えたことを
    特徴とする車両周辺立体物認識装置。
  2. 【請求項２】 上記物体検出手段は、車外の対象を異な
    る視点から撮像したステレオ画像対を処理して画像全体
    に渡る三次元の距離分布を算出することを特徴とする請
    求項１記載の車両周辺立体物認識装置。
  3. 【請求項３】 上記物体検出手段は、撮像方向を変化さ
    せてステレオ画像を撮像し、撮像したステレオ画像対を
    撮像方向の変化量に応じて補正処理して画像全体に渡る
    三次元の距離分布を算出することを特徴とする請求項１
    記載の車両周辺立体物認識装置。
  4. 【請求項４】 上記車両移動量検出手段は、車両の舵角
    と車輪回転数とを検出して車両の旋回角および前後方向
    の移動量を算出することを特徴とする請求項１，２，３
    のいずれか一に記載の車両周辺立体物認識装置。
  5. 【請求項５】 上記車両移動量検出手段は、車両に設け
    られた左右一対の車輪の回転数を検出して車両の旋回角
    および前後方向の移動量を算出することを特徴とする請
    求項１，２，３のいずれか一に記載の車両周辺立体物認
    識装置。
  6. 【請求項６】 上記立体物位置情報演算手段は、上記位
    置情報記憶手段に記憶していた車両周辺の立体物位置情
    報を、上記車両移動量検出手段で検出した車両の旋回お
    よび前後方向の移動量で移動させるとともに、上記立体
    物認識手段からの車両と立体物との相対位置の情報を加
    え更新して新たな車両周辺の立体物位置情報を演算する
    ことを特徴とする請求項１、２、３、４、５のいずれか
    一に記載の車両周辺立体物認識装置。
JP14443896A 1996-06-06 1996-06-06 車両周辺立体物認識装置 Expired - Fee Related JP3866328B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP14443896A JP3866328B2 (ja) 1996-06-06 1996-06-06 車両周辺立体物認識装置
US08/856,805 US6169572B1 (en) 1996-06-06 1997-05-15 Object recognizing apparatus for vehicle and the method thereof
GB9711530A GB2313971B (en) 1996-06-06 1997-06-05 Object locating apparatus and method for a vehicle
DE19723963A DE19723963C2 (de) 1996-06-06 1997-06-06 Objekterkennungsvorrichtung und -verfahren für Fahrzeuge
US09/648,740 US6661449B1 (en) 1996-06-06 2000-08-28 Object recognizing apparatus for vehicle and the method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14443896A JP3866328B2 (ja) 1996-06-06 1996-06-06 車両周辺立体物認識装置

Publications (2)

Publication Number Publication Date
JPH09326032A true JPH09326032A (ja) 1997-12-16
JP3866328B2 JP3866328B2 (ja) 2007-01-10

Family

ID=15362220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14443896A Expired - Fee Related JP3866328B2 (ja) 1996-06-06 1996-06-06 車両周辺立体物認識装置

Country Status (4)

Country Link
US (2) US6169572B1 (ja)
JP (1) JP3866328B2 (ja)
DE (1) DE19723963C2 (ja)
GB (1) GB2313971B (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11316122A (ja) * 1998-05-06 1999-11-16 Fujitsu Ten Ltd 画像測距装置
JP2001023091A (ja) * 1999-07-07 2001-01-26 Honda Motor Co Ltd 車両の画像表示装置
JP2004103018A (ja) * 2003-09-02 2004-04-02 Honda Motor Co Ltd 車両の周辺監視装置
KR100446636B1 (ko) * 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
JP2007112317A (ja) * 2005-10-21 2007-05-10 Fujitsu Ten Ltd 接触回避支援装置
JP2007199965A (ja) * 2006-01-25 2007-08-09 Matsushita Electric Works Ltd 自律移動装置
JP2008242795A (ja) * 2007-03-27 2008-10-09 Honda Motor Co Ltd 障害物検知装置
US7571026B2 (en) 2006-12-20 2009-08-04 Honda Motor Co., Ltd. Mobile apparatus, and control method thereof, control program and supervisory system therefor
US8019475B2 (en) 2007-04-06 2011-09-13 Honda Motor Co., Ltd. Routing apparatus for autonomous mobile unit
JP2014102743A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 報知制御方法、報知制御装置および報知制御プログラム
US8793069B2 (en) 2008-04-03 2014-07-29 Honda Motor Co., Ltd. Object recognition system for autonomous mobile body
JP2016513804A (ja) * 2013-03-15 2016-05-16 ウーバー テクノロジーズ，インコーポレイテッド ロボット用多重知覚ステレオ視のための方法、システム、および装置
US9952317B2 (en) 2016-05-27 2018-04-24 Uber Technologies, Inc. Vehicle sensor calibration system
US10281923B2 (en) 2016-03-03 2019-05-07 Uber Technologies, Inc. Planar-beam, light detection and ranging system
US10338225B2 (en) 2015-12-15 2019-07-02 Uber Technologies, Inc. Dynamic LIDAR sensor controller
US10479376B2 (en) 2017-03-23 2019-11-19 Uatc, Llc Dynamic sensor selection for self-driving vehicles
WO2020110248A1 (ja) * 2018-11-29 2020-06-04 本田技研工業株式会社 作業機、作業機の制御方法及びプログラム
US10746858B2 (en) 2017-08-17 2020-08-18 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10775488B2 (en) 2017-08-17 2020-09-15 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10914820B2 (en) 2018-01-31 2021-02-09 Uatc, Llc Sensor assembly for vehicles

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3516856B2 (ja) * 1998-01-30 2004-04-05 富士重工業株式会社 車外監視装置
JPH11296229A (ja) * 1998-02-13 1999-10-29 Komatsu Ltd 車両の誘導装置
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
CN1132750C (zh) * 1998-10-08 2003-12-31 松下电器产业株式会社 驾驶操作辅助器及记录媒体
GB2344884A (en) * 1998-12-18 2000-06-21 Notetry Ltd Light Detection Apparatus - eg for a robotic cleaning device
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
JP3349121B2 (ja) * 1999-09-22 2002-11-20 富士重工業株式会社 ステレオカメラの取付構造
DE19949409A1 (de) * 1999-10-13 2001-04-19 Bosch Gmbh Robert Verfahren und Vorrichtung zur Objektdetektierung
JP2001195699A (ja) * 2000-01-14 2001-07-19 Yazaki Corp 車両用周辺監視装置及び、車両用衝突危険判断処理プログラムを記録した記録媒体
US6515597B1 (en) * 2000-01-31 2003-02-04 Matsushita Electric Industrial Co. Ltd. Vicinity display for car
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
DE10103870B4 (de) * 2001-01-30 2004-02-05 Daimlerchrysler Ag Verfahren zur Bilderkennung bei Kraftfahrzeugen
US6733950B2 (en) * 2001-03-14 2004-05-11 General Electric Company Limited play data storage media and method for limiting access to data thereon
GB2375251B (en) 2001-04-30 2003-03-05 Infrared Integrated Syst Ltd The location of events in a three dimensional space under surveillance
DE10133761A1 (de) * 2001-07-11 2003-01-30 Vitronic Dr Ing Stein Bildvera Verfahren und Vorrichtung zur virtuellen Lagebestimmung eines Fahrzeugaufbaus
JP3764086B2 (ja) * 2001-10-29 2006-04-05 本田技研工業株式会社 車両用情報提供装置
JP3880837B2 (ja) * 2001-11-02 2007-02-14 富士重工業株式会社 車外監視装置
JP2003150936A (ja) * 2001-11-08 2003-05-23 Fuji Heavy Ind Ltd 画像処理装置および画像処理方法
JP2005526971A (ja) * 2002-04-19 2005-09-08 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． 車両安全装置
JP4023228B2 (ja) * 2002-06-19 2007-12-19 日産自動車株式会社 車載用障害物検知装置
DE10240018B4 (de) * 2002-08-27 2016-09-15 Volkswagen Ag Verfahren und Vorrichtung zur Erzeugung eines Warnsignals vor einer Notmaßnahme eines Fahrerassistenzsystems eines Fahrzeugs
DE10246652B4 (de) * 2002-10-07 2012-06-06 Donnelly Hohe Gmbh & Co. Kg Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug
DE10258287A1 (de) * 2002-12-13 2004-06-24 Robert Bosch Gmbh Verfahren und Einrichtung zur Objektdetekrierung
US7437226B2 (en) 2003-08-20 2008-10-14 Samsung Electronics Co., Ltd. Method of constructing artificial mark for autonomous driving, apparatus and method of determining position of intelligent system using artificial mark and intelligent system employing the same
US20050259240A1 (en) * 2003-09-18 2005-11-24 Goren David P Optical navigation of vehicles
JP3941770B2 (ja) * 2003-10-28 2007-07-04 株式会社デンソー 衝突可能性判定装置
WO2005060640A2 (en) 2003-12-15 2005-07-07 Sarnoff Corporation Method and apparatus for object tracking prior to imminent collision detection
EP2765533A1 (en) * 2004-07-26 2014-08-13 Automotive Systems Laboratory, Inc. Vulnerable road user protection system
DE102004042281A1 (de) * 2004-09-01 2006-03-02 Daimlerchrysler Ag Hilfsvorrichtung für das Handhaben eines Fahrzeugs
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
WO2006065563A2 (en) * 2004-12-14 2006-06-22 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
EP1846136A2 (en) * 2005-02-04 2007-10-24 Donaldson Company, Inc. Aerosol separator
US7231288B2 (en) * 2005-03-15 2007-06-12 Visteon Global Technologies, Inc. System to determine distance to a lead vehicle
FR2893173B1 (fr) * 2005-11-10 2008-01-18 Valeo Vision Sa Procede d'evaluation, par un vehicule automobile, des caracteristiques d'un element frontal.
US8381982B2 (en) * 2005-12-03 2013-02-26 Sky-Trax, Inc. Method and apparatus for managing and controlling manned and automated utility vehicles
US20070170315A1 (en) * 2006-01-20 2007-07-26 Gedalyahu Manor Method of detecting obstacles on railways and preventing train accidents
JP4724043B2 (ja) * 2006-05-17 2011-07-13 トヨタ自動車株式会社 対象物認識装置
US8210435B2 (en) * 2008-01-14 2012-07-03 Sky-Trax, Inc. Optical position marker apparatus
US8565913B2 (en) * 2008-02-01 2013-10-22 Sky-Trax, Inc. Apparatus and method for asset tracking
JP4377439B1 (ja) * 2008-06-12 2009-12-02 本田技研工業株式会社 車両周辺監視装置
US8346468B2 (en) * 2008-07-08 2013-01-01 Sky-Trax Incorporated Method and apparatus for collision avoidance
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
US8755634B2 (en) * 2009-08-12 2014-06-17 Nec Corporation Obstacle detection device and method and obstacle detection system
DE102011118161B3 (de) 2011-11-10 2013-03-28 Audi Ag Verfahren zur Positionsbestimmung
US9762880B2 (en) 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US8768007B2 (en) 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
US8824733B2 (en) 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
US8781721B2 (en) 2012-06-06 2014-07-15 Google Inc. Obstacle evaluation technique
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
US9135798B2 (en) * 2012-09-01 2015-09-15 Honda Motor Co., Ltd. Vehicle periphery monitoring device
WO2014070448A1 (en) 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method
WO2014152470A2 (en) 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
US9099004B2 (en) 2013-09-12 2015-08-04 Robert Bosch Gmbh Object differentiation warning system
US9604642B2 (en) * 2014-04-29 2017-03-28 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Positioning autonomous vehicles based on field of view
JP6292097B2 (ja) * 2014-10-22 2018-03-14 株式会社デンソー 側方測距センサ診断装置
BE1023147B1 (nl) * 2015-07-03 2016-12-01 Cnh Industrial Belgium Nv Controller voor een werkvoertuig
JP6950170B2 (ja) * 2016-11-30 2021-10-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
US10331960B2 (en) 2017-05-10 2019-06-25 Fotonation Limited Methods for detecting, identifying and displaying object information with a multi-camera vision system
US10740627B2 (en) 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
US11615566B2 (en) 2017-05-10 2023-03-28 Fotonation Limited Multi-camera vehicle vision system and method
US10386856B2 (en) 2017-06-29 2019-08-20 Uber Technologies, Inc. Autonomous vehicle collision mitigation systems and methods
US10065638B1 (en) 2017-08-03 2018-09-04 Uber Technologies, Inc. Multi-model switching on a collision mitigation system
CN107985200B (zh) * 2017-11-13 2020-11-13 西南交通大学 一种载重货车右转弯安全预警方法
WO2019100011A1 (en) 2017-11-17 2019-05-23 Divine Logic, Inc. Systems and methods for tracking items
EP3776129A4 (en) * 2018-04-03 2021-12-22 SharkNinja Operating LLC FLIGHT TIME SENSOR SYSTEM INTENDED FOR ROBOTIC NAVIGATION AND LOCATION PROCESS IMPLEMENTING SUCH A SYSTEM
US11565698B2 (en) * 2018-04-16 2023-01-31 Mitsubishi Electric Cornoration Obstacle detection apparatus, automatic braking apparatus using obstacle detection apparatus, obstacle detection method, and automatic braking method using obstacle detection method
JP2022044155A (ja) * 2020-09-07 2022-03-17 株式会社Subaru 画像処理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1605315A (en) * 1959-07-12 1989-07-19 Ferranti Ltd Improvements relating to targetlocating apparatus for aircraft
US4590569A (en) * 1983-10-14 1986-05-20 Navigation Sciences Inc. Navigation system including an integrated electronic chart display
FR2725031B1 (fr) * 1984-12-10 1996-11-15 Dassault Electronique Dispositif pour recreer une image dynamique, a partir d'un radar
US4833475A (en) * 1986-01-27 1989-05-23 Raytheon Company Raster scan radar with true motion memory
JP2646146B2 (ja) * 1990-03-28 1997-08-25 三菱電機株式会社 車間距離制御装置
JP3167752B2 (ja) * 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP3431962B2 (ja) * 1993-09-17 2003-07-28 本田技研工業株式会社 走行区分線認識装置を備えた自動走行車両
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
ATE219165T1 (de) * 1995-12-14 2002-06-15 Imperial College Film- oder schicht-abscheidung und pulver herstellung

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11316122A (ja) * 1998-05-06 1999-11-16 Fujitsu Ten Ltd 画像測距装置
JP2001023091A (ja) * 1999-07-07 2001-01-26 Honda Motor Co Ltd 車両の画像表示装置
KR100446636B1 (ko) * 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
JP2004103018A (ja) * 2003-09-02 2004-04-02 Honda Motor Co Ltd 車両の周辺監視装置
JP2007112317A (ja) * 2005-10-21 2007-05-10 Fujitsu Ten Ltd 接触回避支援装置
JP2007199965A (ja) * 2006-01-25 2007-08-09 Matsushita Electric Works Ltd 自律移動装置
US7571026B2 (en) 2006-12-20 2009-08-04 Honda Motor Co., Ltd. Mobile apparatus, and control method thereof, control program and supervisory system therefor
JP2008242795A (ja) * 2007-03-27 2008-10-09 Honda Motor Co Ltd 障害物検知装置
US8019475B2 (en) 2007-04-06 2011-09-13 Honda Motor Co., Ltd. Routing apparatus for autonomous mobile unit
US8793069B2 (en) 2008-04-03 2014-07-29 Honda Motor Co., Ltd. Object recognition system for autonomous mobile body
JP2014102743A (ja) * 2012-11-21 2014-06-05 Fujitsu Ltd 報知制御方法、報知制御装置および報知制御プログラム
US9524644B2 (en) 2012-11-21 2016-12-20 Fujitsu Limited Notification control method and notification control device
JP2016513804A (ja) * 2013-03-15 2016-05-16 ウーバー テクノロジーズ，インコーポレイテッド ロボット用多重知覚ステレオ視のための方法、システム、および装置
US10412368B2 (en) 2013-03-15 2019-09-10 Uber Technologies, Inc. Methods, systems, and apparatus for multi-sensory stereo vision for robotics
US11740355B2 (en) 2015-12-15 2023-08-29 Uatc, Llc Adjustable beam pattern for LIDAR sensor
US10677925B2 (en) 2015-12-15 2020-06-09 Uatc, Llc Adjustable beam pattern for lidar sensor
US10338225B2 (en) 2015-12-15 2019-07-02 Uber Technologies, Inc. Dynamic LIDAR sensor controller
US10281923B2 (en) 2016-03-03 2019-05-07 Uber Technologies, Inc. Planar-beam, light detection and ranging system
US10942524B2 (en) 2016-03-03 2021-03-09 Uatc, Llc Planar-beam, light detection and ranging system
US11604475B2 (en) 2016-03-03 2023-03-14 Uatc, Llc Planar-beam, light detection and ranging system
US10718856B2 (en) 2016-05-27 2020-07-21 Uatc, Llc Vehicle sensor calibration system
US11009594B2 (en) 2016-05-27 2021-05-18 Uatc, Llc Vehicle sensor calibration system
US9952317B2 (en) 2016-05-27 2018-04-24 Uber Technologies, Inc. Vehicle sensor calibration system
US10479376B2 (en) 2017-03-23 2019-11-19 Uatc, Llc Dynamic sensor selection for self-driving vehicles
US10746858B2 (en) 2017-08-17 2020-08-18 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10775488B2 (en) 2017-08-17 2020-09-15 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10914820B2 (en) 2018-01-31 2021-02-09 Uatc, Llc Sensor assembly for vehicles
US11747448B2 (en) 2018-01-31 2023-09-05 Uatc, Llc Sensor assembly for vehicles
WO2020110248A1 (ja) * 2018-11-29 2020-06-04 本田技研工業株式会社 作業機、作業機の制御方法及びプログラム
JPWO2020110248A1 (ja) * 2018-11-29 2021-12-23 本田技研工業株式会社 作業機、作業機の制御方法及びプログラム

Also Published As

Publication number Publication date
US6661449B1 (en) 2003-12-09
DE19723963A1 (de) 1997-12-11
JP3866328B2 (ja) 2007-01-10
GB9711530D0 (en) 1997-07-30
GB2313971A (en) 1997-12-10
GB2313971B (en) 1998-08-05
DE19723963C2 (de) 2001-09-06
US6169572B1 (en) 2001-01-02

Similar Documents

Publication Publication Date Title
JP3866328B2 (ja) 車両周辺立体物認識装置
JP3349060B2 (ja) 車外監視装置
JP3516856B2 (ja) 車外監視装置
JP3951465B2 (ja) 駐車補助装置
JP3337197B2 (ja) 車外監視装置
US20200074192A1 (en) Vehicle-Mounted Image Processing Device
JP3895238B2 (ja) 障害物検出装置及びその方法
JPH1139596A (ja) 車外監視装置
CN112327878B (zh) 一种基于tof摄像头的障碍物分类避障控制方法
US9121717B1 (en) Collision avoidance for vehicle control
US20060192660A1 (en) Vehicle surrounding monitoring device
EP3226207B1 (en) Automatic operation vehicle
JPH07192199A (ja) 車輌用走行案内装置
JP2002352397A (ja) 車両用運転支援装置
CN105830131A (zh) 用于检测行人相对于车辆轨迹的侧向位置的装置
JPH10283462A (ja) 車外監視装置
CN111862108A (zh) 图像处理装置及图像处理方法
US10054952B2 (en) Automatic operation vehicle
JPH09106500A (ja) 車輌の運転支援装置
JPH1069598A (ja) 車両の衝突防止装置
JP3440956B2 (ja) 車両用走行路検出装置
WO2022004494A1 (ja) 産業車両
JP2019089636A (ja) 安全装置
JP3612821B2 (ja) 車載用距離測定装置
JP3586938B2 (ja) 車載用距離測定装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040510

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040616

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20040716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061005

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101013

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111013

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121013

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121013

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131013

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees