JP4271720B1 - 車両周辺監視装置 - Google Patents

車両周辺監視装置 Download PDF

Info

Publication number
JP4271720B1
JP4271720B1 JP2008113859A JP2008113859A JP4271720B1 JP 4271720 B1 JP4271720 B1 JP 4271720B1 JP 2008113859 A JP2008113859 A JP 2008113859A JP 2008113859 A JP2008113859 A JP 2008113859A JP 4271720 B1 JP4271720 B1 JP 4271720B1
Authority
JP
Japan
Prior art keywords
time
vehicle
periphery monitoring
object area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008113859A
Other languages
English (en)
Other versions
JP2009265883A (ja
Inventor
伸治 長岡
英樹 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2008113859A priority Critical patent/JP4271720B1/ja
Priority to US12/936,426 priority patent/US8184862B2/en
Priority to EP09735411A priority patent/EP2273470A4/en
Priority to PCT/JP2009/000043 priority patent/WO2009130827A1/ja
Priority to CN2009801130230A priority patent/CN102007521B/zh
Application granted granted Critical
Publication of JP4271720B1 publication Critical patent/JP4271720B1/ja
Publication of JP2009265883A publication Critical patent/JP2009265883A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

【課題】対象物が動いている場合でもこの対象物の位置を高精度で測定することができる装置を提供する。
【解決手段】車両周辺監視装置10によれば、指定期間ΔTだけ離れている2つの時刻の間での対象物領域のサイズの変化率Rate(t)が算出される。指定期間ΔTは対象物が同一であることが確認されうる程度に画像における対象物の形状または姿勢が類似するまたは一致するように定められた時間である。このため、画像における対象物の姿勢または形状が指定期間ΔTまたはその近傍範囲の時間を周期として変化するように動いている同一対象物のサイズの変化率Rate(t)が高精度で算出される。そして、対象物領域の指定期間ΔTにわたるサイズの変化率Rate(t)を基礎とすることにより、対象物が動いている場合でも車両1から対象物までの距離または位置が高精度で測定されうる
【選択図】 図5

Description

本発明は、車載の撮像装置を通じて得られた画像を用いて、この車両の周辺を監視する装置に関する。
車両に搭載されているカメラにより異なる2つの時刻において撮像された画像に基づき、歩行者等の対象物の実空間位置を測定し、当該測定結果に基づいて車両と対象物との接触可能性の高低を判定する技術が提案されている(特許文献1参照)。車両が移動することにより車両に対する対象物の相対位置が変化するため、撮像画像における対象物のサイズが変化することを利用して、この対象物の実空間位置が測定されている。
特開2007−213561号公報
しかし、対象物が動いている場合、撮像画像における当該対象物の形状または姿勢が変化するため、異なる対象物であると誤認識されてしまい、この対象物が距離測定対象から除外される可能性がある。
そこで、本発明は、対象物が動いている場合でもこの対象物の位置を高精度で測定することができる装置を提供することを解決課題とする。
第1発明の車両周辺監視装置は、車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する装置であって、前記画像において対象物が存在する領域を対象物領域として設定する第1処理要素と、前記対象物の標準的な運動周期または半運動周期に等しい指定期間だけ離れた2つの時刻の間での前記対象物領域のサイズの変化率を算出し、前記指定期間と前記対象物領域のサイズの変化率とに基づいて前記車両から前記対象物までの距離を測定する第2処理要素とを備えていることを特徴とする。
第1発明の車両周辺監視装置によれば、対象物の標準的な運動周期または半運動周期に等しい指定期間指定期間だけ離れている2つの時刻の間での対象物領域のサイズの変化率が算出される。このため、画像における対象物の姿勢または形状が指定期間またはその近傍範囲の時間を周期または半周期として変化するように動いている同一対象物のサイズの変化率が高精度で算出される。そして、対象物領域の指定期間にわたるサイズの変化率を基礎とすることにより、対象物が動いている場合でも車両から対象物までの距離または位置が高精度で測定されうる。なお、撮像装置を通じて得られた画像とは、撮像画像そのもののほか、撮像画像に画像処理が施されることにより得られる画像を包含する概念である。
第2発明の車両周辺監視装置は、第1発明の車両周辺監視装置において、前記第1処理要素が前記対象物の種類を判定し、前記対象物の種類に基づき、前記対象物の標準的な運動周期または半運動周期を記憶装置から読み取った上で前記指定期間として設定することを特徴とする。
第2発明の車両周辺監視装置によれば、複数種類の対象物のそれぞれがその種類区分に応じて異なる運動周期で動いている場合でも、車両から各種類の対象物までの距離または位置が高精度で測定されうる。
第3発明の車両周辺監視装置は、第1発明の車両周辺監視装置において、前記第1処理要素が第1時刻における前記対象物領域が拡大されることにより得られる拡大対象物領域と、前記第1時刻よりも前記指定期間だけ後の第2時刻における前記対象物領域との相関度を評価し、前記第2処理要素が、前記相関度が最高となったときの前記第1時刻における前記対象物領域の拡大率を前記対象物領域のサイズの変化率として算出することを特徴とする。
第3発明の車両周辺監視装置によれば、第1時刻における対象物領域(以下、適宜「第1対象物領域」という。)が拡大されて得られた拡大対象物領域と、第1時刻よりも指定期間だけ後の第2時刻における対象物領域(以下、適宜「第2対象物領域」という。)との相関度が最高になったときの当該拡大率が対象物領域のサイズの変化率として算出される。第2対象物領域との相関度が最高になったときの拡大対象物領域は、第1時刻から指定期間が経過した第2時刻における第1対象物領域の予測または推測未来像に相当する。そして、前記のように当該変化率および指定期間を基礎とすることにより、対象物が動いている場合でも車両から対象物までの距離または位置が高精度で測定されうる。
第4発明の車両周辺監視装置は、第1発明の車両周辺監視装置において、前記第1処理要素が複数の基準時刻のそれぞれにおける前記対象物領域が拡大されることにより得られた各拡大対象物領域と、前記複数の基準時刻よりも後の第2時刻における前記対象物領域との相関度を評価し、前記複数の基準時刻のうち、前記相関度が最高になる前記拡大対象物領域が得られる第1時刻と前記第2時刻との時間間隔を前記指定期間として設定することを特徴とする。
第4発明の車両周辺監視装置によれば、基準時刻における対象物領域(以下、適宜「基準対象物領域」という。)が拡大されることにより得られた拡大対象物領域と、第2時刻における基準対象物領域(以下、適宜「第2対象物領域」という。)との相関度が評価される。そして、複数の基準時刻のうち、第2対象物領域との相関度が最高となるような拡大対象物領域が得られた第1時刻と、第2時刻と野間隔が指定期間として設定される。これにより、異なる2つの時刻の間で対象物が同一であることが確認されうる程度に画像における対象物の形状または姿勢が類似するまたは一致するように指定期間が設定されうる。
第5発明の車両周辺監視装置は、第4発明の車両周辺監視装置において、前記第1処理要素が、前記第1時刻および前記第1時刻と異なる前記基準時刻の間における前記対象物領域のサイズの変化率が許容範囲内であること要件として前記第1時刻および前記第2時刻の時間間隔を前記指定期間として設定することを特徴とする。
第5発明の車両周辺監視装置によれば、第1時刻と、第1時刻とは異なる基準時刻との間で対象物領域のサイズの変化率が許容範囲内であることを要件として第1時刻と第2時刻との間隔が指定期間として設定される。これにより、対象物領域のサイズの変化率が許容範囲から外れている状態、すなわち、異なる時刻における対象物領域のそれぞれに異なる対象物が存在する可能性が高い状態にもかかわらず、当該対象物領域のサイズの変化率に基づいて指定期間が設定されること、さらには、車両から対象物までの距離の測定精度が著しく低下することが回避されうる。
本発明の車両周辺監視装置の実施形態について図面を用いて説明する。
図1に示されている車両(四輪自動車)1には、車両周辺監視装置10と、単一の赤外線カメラ(撮像装置)11が搭載されている。なお、赤外線カメラ11に代えて可視光等、他の波長領域に感度が調節されたカメラが撮像装置として採用されてもよい。図1に示されているように原点Oが車両1の前側に位置し、X軸、Y軸およびZ軸のそれぞれが車両1の左右方向、上下方向および前後方向のそれぞれに延びるように実空間座標系が定義されている。赤外線カメラ11は車両1の前方を撮像するために、車両1の前側に取り付けられている。また、図2に示されているように車両1には、車両1のヨーレート、速度およびブレーキの状態のそれぞれに応じた信号を出力するヨーレートセンサ13、速度センサ14およびブレーキセンサ15等の種々のセンサが搭載されている。さらに、図2に示されているように車両1には音声出力装置16および画像出力装置17が搭載されている。画像出力装置17としては、車両1のフロントウィンドウに画像を表示するHUD(ヘッドアップディスプレイ)のほか、車両1の走行状況を示す表示計またはナビゲーション装置を構成するディスプレイ装置等が採用されてもよい。
車両周辺監視装置10は赤外線カメラ11を通じて得られた画像を用いて車両1の周辺を監視する装置である。車両周辺監視装置10はコンピュータ(CPU,ROM,RAMならびにI/O回路およびA/D変換回路等の電子回路等により構成されている。)により構成されている。車両周辺監視装置10には、赤外線カメラ11、ヨーレートセンサ13、車速センサ14およびブレーキセンサ15等から出力されたアナログ信号がA/D変換回路を介してデジタル化されて入力される。当該入力データに基づき、メモリに格納されている「車両周辺監視プログラム」にしたがって、人間や他車両などの対象物の存在を認識する処理、車両1と認識した対象物との接触可能性の高低を判定する処理、および、この判定結果に応じて音声を音声出力装置16に出力させたり、画像を画像出力装置17に出力させたりする処理が当該コンピュータにより実行される。なお、プログラムは任意のタイミングでサーバからネットワークや衛星を介して車載コンピュータに配信または放送され、そのRAM等の記憶装置に格納されてもよい。車両周辺監視装置10は一のECUにより構成されていてもよいが、分散制御システムを構成する複数のECUにより構成されていてもよい。
車両周辺監視装置10は図2に示されているように第1処理要素110と、第2処理要素120とを備えている。第1処理要素110は赤外線カメラ11を通じて得られた車両1の周辺状況を表わす画像において対象物が存在する領域を対象物領域として設定する。第2処理要素120は後述する指定期間だけ離れた2つの時刻の間での対象物領域のサイズの変化率を算出し、指定期間と対象物領域のサイズの変化率とに基づいて車両1から対象物までの距離を測定する。
前記構成の車両1および車両周辺監視装置10の機能について説明する。まず、第1処理要素110が赤外線カメラ11を通じて得られた画像に基づき、対象物領域を設定する。具体的には、赤外線カメラ11の出力信号である赤外線画像がA/D変換されることによりグレースケール画像が取得される(図3/S002)。また、グレースケール画像が2値化処理されることにより2値化画像が取得される(図3/S004)。2値化処理は、グレースケール画像を構成する各画素をその輝度が閾値以上であるか否かに応じて「1」(白)および「0」(黒)に区分する処理である。グレースケール画像および2値化画像はそれぞれ別の画像メモリに記憶される。さらに、2値化画像の高輝度領域を構成する「1」に区分されたまとまった画素群が、画像の縦方向(y方向)に1画素分の幅を有して横方向(x方向)延在するラインに分類され、各ラインがその位置(画像における2次元位置)の座標と長さ(画素数)とからなるランレングスデータに変換される(図3/S006)。そして、このランレングスデータにより表されるラインのうち、画像縦方向に重なりを有するライン群のそれぞれにラベル(識別子)が付され(図3/S008)、当該ライン群が対象物として検出される(図3/S010)。これにより、図4(a)に示されているように2値化画像において斜線で示されているような対象物(2値化対象物)が検出される。対象物には人間(歩行者)などの生物のほか、他車両などの人口構造物も含まれる。なお、同一物体の複数の局所部分が対象物として認識される場合もある。
また、第1処理要素110により、対象物の追跡処理、すなわち、演算処理周期ごとに検出された対象物が同一であるか否かを判定する処理が実行される(図3/S012)。たとえば、特開2001−6096号公報に記載されている手法にしたがって時刻k−1およびkのそれぞれの2値化画像において検出された対象物の形状やサイズ、グレースケール画像における輝度分布の相関性などに基づいて実行されうる。そして、これら対象物が同一であると判定された場合、時刻kにおける対象物のラベルが時刻k−1における対象物のラベルと同じラベルに変更される。
さらに、第1処理要素110により、2値化画像における対象物の重心位置および外接四角形の配置態様に基づき、グレースケール画像において対象物を表わす領域が「対象物領域」として設定される(図3/S014)。具体的には、まず、現在時刻kにおける車両1の周辺状況を表わすグレースケール画像において、対象物を基準として配置された複数のマスクが設定される。これにより、たとえば図4(a)に斜線で示されているように対象物の上下方向に並んで配置された複数の矩形状のマスクai+(i=1,2,‥)およびaj-(j=1,2,‥)が設定される。当該複数のマスクは、対象物の重心または中心を通り、画像において上下方向に延びる基準ライン(一点鎖線)の上に中心位置を有するように配置されている。また、過去時刻k−1における車両1の周辺状況を表わすグレースケール画像において当該複数のマスクai+およびaj-のそれぞれとの相関度が閾値以上となるマスクが探索される。これにより、たとえば図4(b)に示されているような過去画像において、現在画像における複数のマスクai+およびaj-との相関度が閾値以上のマスクai+およびaj-が探索される。そして、対象物と、当該複数のマスクのうち、過去時刻k−1および現在時刻kにおける対象物(または基準ライン)との位置関係が同一またはほぼ同一の連続するマスクとを含む領域が各時刻における対象物領域として設定される。これにより、たとえば図4(b)に示されているように対象物およびその下方に連続して配置されたマスクa1-〜a4-とを包含する、二重枠で囲まれている矩形状の領域が対象物領域として設定される。
さらに、第2処理要素120により、対象物領域のサイズ(対象物領域の縦幅、横幅または面積により表わされる。)の変化率Rateが算出される(図3/S016)。具体的には、まず第1時刻t1における対象物領域(第1対象物領域)A(t1)が拡大されることによって得られた拡大対象物領域EAが得られる(図3/S026)。これにより、たとえば図5上段に示されている第1対象物領域A(t1)が複数の比率γ1、‥、γi、‥、γn(1<γ1<‥<γi<‥<γn)のそれぞれで拡大され、図5中段に示されている拡大対象物領域EA(γ1)、‥、EA(γi)、‥、EA(γn)が得られる。また、複数の拡大対象物領域EAのそれぞれと、第1時刻t1よりも後の第2時刻t2における対象物領域(第2対象物領域)A(t2)との相関度が評価され、第2対象物領域A(t2)との相関度が最高になる拡大対象物領域EAの第1対象物領域A1からの拡大率が対象物領域Aのサイズの変化率Rate(t)(t=t2)として算出される。これにより、たとえば図5中段に示されている拡大対象物領域EA(γ1)、‥、EA(γi)、‥、EA(γn)のそれぞれのうち、図5下段に示されている第2対象物領域A(t2)との相関度が最高になる拡大対象物領域EA(γi)の当該拡大率γiが対象物領域Aのサイズの変化率Rate(t)(>1)として算出される。また、第2画像領域A(t2)が複数の比率で縮小されることにより複数の縮小対象物領域が得られ、当該複数の縮小対象物領域のうち第1対象物領域A(t1)との相関度が最高になる縮小対象物領域の第2対象物領域からの縮小率の逆数が対象物領域Aのサイズの変化率Rate(t)(>1)として算出されてもよい。
第1時刻t1は第2時刻t2よりも指定期間ΔTだけ前の時刻である。指定期間ΔTは対象物が同一であることが確認されうる程度に画像における対象物の形状または姿勢が類似するまたは一致するように定められた期間である。具体的には、対象物が人間である場合、指定期間ΔTは人間の標準的な歩行周期または半歩行周期に一致するように設定されている。たとえば図6に示されているように画像において認識される対象物としての人間(正面向き)の形状または姿勢が時刻t=t0、t0+α、t0+2α、t0+3α、t0+4α(α>0)と変化するにしたがって変化する場合、当該形状または姿勢がほぼ同一になる時刻t=t0およびt0+4αの時間間隔である「4α」が指定期間として設定かつ記憶装置に格納されている。また、たとえば図7に示されているように画像において認識される対象物としての人間(横向き)の形状または姿勢が時刻t=t0、t0+β、t0+2β(β>0)と変化するにしたがって変化する場合、当該形状または姿勢がほぼ同一になる時刻t=t0およびt0+2βの時間間隔である「2β」が指定期間として設定かつ記憶装置に格納されている。
さらに、ヨーレートセンサ13および速度センサ14のそれぞれの出力に基づき、車両1の速度およびヨーレートが測定され、ヨーレートの測定値が積分されることにより、車両1の回頭角(方位角)が算出される(図3/S018)。また、変化率Rate(t)に加え、車両1の速度v(t)および指定期間ΔTに基づき、車両1の速度v(t)と比較して対象物の速度が無視しうる程度に小さいとみなして、式(1)にしたがって車両1から対象物までの距離Z(t)が測定される(図3/S020)。
Z(t)=Rate(t)v(t)Δt/(1−Rate(t))‥(1)
また、車両周辺監視装置10により、車両1から対象物までの距離Z(t)に基づき、この対象物の実空間位置P(t)=(X(t),Y(t),Z(t))として算定される(図3/S022)。具体的には、車両1から各対象物までの補正後の距離Z(t)と、赤外線カメラ11の焦点距離fと、撮像画像における対象物に対応した領域の画像座標x(t)およびy(t)とに基づき、式(2)にしたがって実空間座標系におけるX座標X(t)およびY座標Y(t)が算定される。撮像画像の中心、右方向および下方向のそれぞれが、画像座標系における原点o、+x方向および+y方向として定義されている。また、ヨーレートセンサ15の出力に基づいて測定される回頭角に基づき、各対象物の実空間位置(X(t),Y(t),Z(t))が回頭角補正される。
X(t)=x(t)・Z(t)/f,
Y(t)=y(t)・Z(t)/f ‥(2)
また、異なる時刻における各対象物の実空間位置P(t)に基づき、たとえば特開2001−6096号公報に記載された衝突可能性の判定手法にしたがって、車両1と各対象物との接触可能性の高低または有無が判定される(図3/S024)。そして、車両1と対象物との接触可能性が高いと判定された場合(図3/S024‥YES)、「第1制御処理」が実行される(図3/S026)。具体的には、当該接触可能性の判定結果に応じた音声および画像(当該対象物を強調表示するためのフレームなど)のそれぞれが音声出力装置16および画像出力装置17のそれぞれを通じて出力される。なお、当該音声および画像のうち一方のみが出力されてもよい。また、車両1のステアリング装置、ブレーキ装置およびアクセル装置のうち一部または全部がアクチュエータにより操作され、車両1の走行挙動が操作される場合、音声および画像出力に加えてまたは代えて車両挙動が制御される。具体的には、車両1との接触可能性が高いと判定された対象物との接触を回避するように、または、回避が容易になるように車両1のステアリング装置、ブレーキ装置およびアクセル装置のうち一部または全部の動作が車両制御ユニット(図示略)により制御されてもよい。たとえば、運転者によるアクセルペダルの必要踏力が、対象物との接触を回避する必要がない通常の場合よりも大きくなるようにアクセル装置を制御して加速しにくくする。また、車両1と対象物との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行いうるようにする。さらに、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両1の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、対象物との接触を避けるための車両1の運転が容易になる。また、ブレーキセンサ15の出力に基づいて運転者による車両1のブレーキが操作されていないことが確認されたこと、または、速度センサ14または加速度センサ(図示略)の出力に基づいて車両1の減速度が閾値以下であることが確認されたことを要件として第1制御処理が実行されてもよい。
一方、車両1と対象物との接触可能性が低いと判定された場合(図3/S024‥NO)、「第2制御処理」が実行される(図3/S028)。具体的には、当該接触可能性の判定結果に応じた音声および画像のそれぞれが、第1制御処理とは異なる形態で音声出力装置16および画像出力装置17のそれぞれを通じて出力される。また、第1制御処理よりも弱い力によって車両挙動が制御される。なお、第2制御処理は省略されてもよい。
前記機能を発揮する車両周辺監視装置10によれば、指定期間ΔTだけ離れている2つの時刻の間での対象物領域のサイズの変化率Rate(t)が算出される(図3/S016参照)。具体的には、第1時刻t1における対象物領域(第1対象物領域)A(t1)が拡大されて得られた拡大対象物領域EA(γi)と、第1時刻t1よりも指定期間ΔTだけ後の第2時刻t2における対象物領域(第2対象物領域)A(t2)との相関度が最高になったときの当該拡大率が対象物領域Aのサイズの変化率Rate(t)として算出される(図5参照)。第2対象物領域A(t2)との相関度が最高になったときの拡大対象物領域EA(γi)は、第1時刻t1から指定期間ΔTが経過した第2時刻t2における第1対象物領域A(t1)の予測または推測未来像に相当する。指定期間ΔTは、前記のように対象物が同一であることが確認されうる程度に画像における対象物の形状または姿勢が類似するまたは一致するように定められた時間である。具体的には、対象物が人間である場合、指定期間ΔTは人間の標準的な歩行周期(約1秒)または半歩行周期に一致するように設定されている(図6、図7参照)。このため、画像における対象物の姿勢または形状が指定期間ΔTまたはその近傍範囲の時間を周期として変化するように動いている同一対象物のサイズの変化率Rate(t)が高精度で算出される。そして、対象物領域の指定期間ΔTにわたるサイズの変化率Rate(t)を基礎とすることにより、対象物が動いている場合でも車両1から対象物までの距離Z(t)または位置P(t)が高精度で測定されうる(図3/S020,S022,図5参照)。
なお、第1処理要素110が対象物の種類を判定し、この対象物の種類に基づき、対象物の標準的な運動周期または半運動周期を記憶装置から読み取った上で指定期間として設定してもよい。たとえば、2値化画像における対象物の形状と、記憶装置に格納されている複数の形状パターンとのマッチング等の手法にしたがってこの対象物の種類が判定されうる。当該構成によれば、複数種類の対象物(人間、鹿等の動物)のそれぞれがその種類区分に応じて異なる運動周期で動いている場合でも、車両1から各種類の対象物までの距離または位置が高精度で測定されうる。
また、第1処理要素110が複数の基準時刻のそれぞれにおける対象物領域が拡大されることにより得られた各拡大対象物領域と、複数の基準時刻よりも後の第2時刻における対象物領域との相関度を評価し、複数の基準時刻のうち、相関度が最高になる拡大対象物領域が得られる第1時刻t1と、前記の第2時刻t2との時間間隔を指定期間ΔTとして設定してもよい。当該構成によれば、異なる2つの時刻の間で対象物が同一であることが確認されうる程度に画像における対象物の形状または姿勢が類似するまたは一致するように指定期間ΔTが設定されうる(図6、図7参照)。
さらに、第1処理要素110が、第1時刻t1および第1時刻t1と異なる基準時刻の間における対象物領域のサイズの変化率Rateが許容範囲内であること要件として第1時刻t1および第2時刻t2の時間間隔を指定期間ΔTとして設定してもよい。当該構成によれば、対象物領域のサイズの変化率が許容範囲から外れている状態、すなわち、異なる時刻における対象物領域のそれぞれに異なる対象物が存在する可能性が高い状態にもかかわらず、当該対象物領域のサイズの変化率に基づいて指定期間が設定されること、さらには、車両1から対象物までの距離の測定精度が著しく低下することが回避されうる。
本発明の車両の構成説明図 本発明の車両周辺監視装置の構成説明図 本発明の車両周辺監視装置の機能を示すフローチャート 対象物領域の設定方法に関する説明図 対象物領域のサイズの変化率の算出方法に関する説明図 指定期間に関する説明図 指定期間に関する説明図
符号の説明
1‥車両、10‥車両周辺監視装置、11‥赤外線カメラ(撮像装置)

Claims (5)

  1. 車両に搭載されている一の撮像装置を通じて得られた前記車両の周辺状況を表わす画像を用いて前記車両の周辺を監視する装置であって、
    前記画像において対象物が存在する領域を対象物領域として設定する第1処理要素と、
    前記対象物の標準的な運動周期または半運動周期に等しい指定期間だけ離れた2つの時刻の間での前記対象物領域のサイズの変化率を算出し、前記指定期間と前記対象物領域のサイズの変化率とに基づいて前記車両から前記対象物までの距離を測定する第2処理要素とを備えていることを特徴とする車両周辺監視装置。
  2. 請求項1記載の車両周辺監視装置において、
    前記第1処理要素が前記対象物の種類を判定し、前記対象物の種類に基づき、前記対象物の標準的な運動周期または半運動周期を記憶装置から読み取った上で前記指定期間として設定することを特徴とする車両周辺監視装置。
  3. 請求項1記載の車両周辺監視装置において、
    前記第1処理要素が第1時刻における前記対象物領域が拡大されることにより得られる拡大対象物領域と、前記第1時刻よりも前記指定期間だけ後の第2時刻における前記対象物領域との相関度を評価し、
    前記第2処理要素が、前記相関度が最高となったときの前記第1時刻における前記対象物領域の拡大率を前記対象物領域のサイズの変化率として算出することを特徴とする車両周辺監視装置。
  4. 請求項1記載の車両周辺監視装置において、
    前記第1処理要素が複数の基準時刻のそれぞれにおける前記対象物領域が拡大されることにより得られた各拡大対象物領域と、前記複数の基準時刻よりも後の第2時刻における前記対象物領域との相関度を評価し、前記複数の基準時刻のうち、前記相関度が最高になる前記拡大対象物領域が得られる第1時刻と前記第2時刻との時間間隔を前記指定期間として設定することを特徴とする車両周辺監視装置。
  5. 請求項4記載の車両周辺監視装置において、
    前記第1処理要素が、前記第1時刻および前記第1時刻と異なる前記基準時刻の間における前記対象物領域のサイズの変化率が許容範囲内であること要件として前記第1時刻および前記第2時刻の時間間隔を前記指定期間として設定することを特徴とする車両周辺監視装置。
JP2008113859A 2008-04-24 2008-04-24 車両周辺監視装置 Expired - Fee Related JP4271720B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008113859A JP4271720B1 (ja) 2008-04-24 2008-04-24 車両周辺監視装置
US12/936,426 US8184862B2 (en) 2008-04-24 2009-01-08 Vehicle periphery monitoring apparatus
EP09735411A EP2273470A4 (en) 2008-04-24 2009-01-08 APPARATUS FOR MONITORING VEHICLE PERIPHERY
PCT/JP2009/000043 WO2009130827A1 (ja) 2008-04-24 2009-01-08 車両周辺監視装置
CN2009801130230A CN102007521B (zh) 2008-04-24 2009-01-08 车辆周围监测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008113859A JP4271720B1 (ja) 2008-04-24 2008-04-24 車両周辺監視装置

Publications (2)

Publication Number Publication Date
JP4271720B1 true JP4271720B1 (ja) 2009-06-03
JP2009265883A JP2009265883A (ja) 2009-11-12

Family

ID=40821509

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008113859A Expired - Fee Related JP4271720B1 (ja) 2008-04-24 2008-04-24 車両周辺監視装置

Country Status (5)

Country Link
US (1) US8184862B2 (ja)
EP (1) EP2273470A4 (ja)
JP (1) JP4271720B1 (ja)
CN (1) CN102007521B (ja)
WO (1) WO2009130827A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985957A (zh) * 2010-07-09 2013-03-20 本田技研工业株式会社 车辆周围监测装置
WO2022061725A1 (zh) * 2020-09-25 2022-03-31 华为技术有限公司 交通元素的观测方法和装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024353A (ja) * 2009-07-16 2011-02-03 Aisin Aw Co Ltd 案内装置、案内方法、及び案内プログラム
CN102985958B (zh) 2010-08-31 2015-04-01 本田技研工业株式会社 车辆周围监测装置
US9185388B2 (en) * 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
JP5603835B2 (ja) * 2011-06-27 2014-10-08 クラリオン株式会社 車両周囲監視装置
SE536536C2 (sv) * 2012-06-11 2014-02-11 Varningssystem
WO2014024336A1 (ja) * 2012-08-09 2014-02-13 トヨタ自動車株式会社 物体検出装置及び運転支援装置
JP6564577B2 (ja) * 2015-02-16 2019-08-21 修一 田山 自動車における近接体警報知装置
JP6564576B2 (ja) * 2015-02-16 2019-08-21 修一 田山 自動車における近接体警報知装置
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
US11238292B2 (en) * 2019-11-26 2022-02-01 Toyota Research Institute, Inc. Systems and methods for determining the direction of an object in an image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0769332B2 (ja) * 1989-04-20 1995-07-26 富士通株式会社 走者のピッチの計測方式
JP4267171B2 (ja) * 1999-05-10 2009-05-27 本田技研工業株式会社 歩行者検知装置
CN1383000A (zh) * 2001-04-24 2002-12-04 徐建俊 可与摄象结合监测目标距离的装置及方法
JP2005316607A (ja) * 2004-04-27 2005-11-10 Toyota Motor Corp 画像処理装置及び画像処理方法
US7483549B2 (en) * 2004-11-30 2009-01-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
CN100369073C (zh) * 2005-12-06 2008-02-13 北京工业大学 基于视频技术的路侧停车场管理系统
JP4970926B2 (ja) * 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置
CN1928892A (zh) * 2006-09-20 2007-03-14 王枚 一种车牌定位识别、车标定位识别及车型识别的方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985957A (zh) * 2010-07-09 2013-03-20 本田技研工业株式会社 车辆周围监测装置
CN102985957B (zh) * 2010-07-09 2015-03-04 本田技研工业株式会社 车辆周围监测装置
WO2022061725A1 (zh) * 2020-09-25 2022-03-31 华为技术有限公司 交通元素的观测方法和装置

Also Published As

Publication number Publication date
CN102007521A (zh) 2011-04-06
EP2273470A4 (en) 2011-09-28
WO2009130827A1 (ja) 2009-10-29
US20110064275A1 (en) 2011-03-17
CN102007521B (zh) 2013-10-16
US8184862B2 (en) 2012-05-22
JP2009265883A (ja) 2009-11-12
EP2273470A1 (en) 2011-01-12

Similar Documents

Publication Publication Date Title
JP4271720B1 (ja) 車両周辺監視装置
JP4173901B2 (ja) 車両周辺監視装置
JP4486997B2 (ja) 車両周辺監視装置
JP4521642B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
US9073484B2 (en) Surrounding area monitoring apparatus for vehicle
US8189868B2 (en) Vehicle periphery monitoring device
EP2352136A1 (en) System for monitoring the area around a vehicle
WO2011108217A1 (ja) 車両の周辺監視装置
JP2007310706A (ja) 車両周辺監視装置
JP2007129560A (ja) 物体検出装置
US8174578B2 (en) Vehicle periphery monitoring device
JP4823753B2 (ja) 車両の周辺監視装置
JP2010049635A (ja) 車両周辺監視装置
JP4590654B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4694441B2 (ja) 車両周辺監視システム
JP2008084138A (ja) 車両の周辺監視装置および周辺監視用プログラム
JP4743797B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
JP4972073B2 (ja) 環境認識装置
JP4496383B2 (ja) 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム
JP2008042779A5 (ja)

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4271720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140306

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees