JP6595219B2 - 物体報知装置および物体報知方法 - Google Patents

物体報知装置および物体報知方法 Download PDF

Info

Publication number
JP6595219B2
JP6595219B2 JP2015116073A JP2015116073A JP6595219B2 JP 6595219 B2 JP6595219 B2 JP 6595219B2 JP 2015116073 A JP2015116073 A JP 2015116073A JP 2015116073 A JP2015116073 A JP 2015116073A JP 6595219 B2 JP6595219 B2 JP 6595219B2
Authority
JP
Japan
Prior art keywords
vehicle
notification
notification information
moving
stationary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015116073A
Other languages
English (en)
Other versions
JP2017004181A (ja
Inventor
周樹 村角
裕生 松本
茂人 竹内
明英 藤尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2015116073A priority Critical patent/JP6595219B2/ja
Priority to US15/137,206 priority patent/US10005392B2/en
Publication of JP2017004181A publication Critical patent/JP2017004181A/ja
Application granted granted Critical
Publication of JP6595219B2 publication Critical patent/JP6595219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • B62D15/0295Steering assistants using warnings or proposing actions to the driver without influencing the steering system by overlaying a vehicle path based on present steering angle over an image without processing that image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen

Description

本発明は、物体報知装置および物体報知方法に関する。
従来、車両などの移動体において撮像された画像を用い、車両周辺に存在する車両と接触する可能性のある物体を検出し、検出した物体を運転者へ報知する物体報知装置が知られている。
また、かかる物体報知装置として、検出された複数の物体の中で運転者に対して知らしめるべき優先順位に基づいて強調度合を変更して報知するものがある(たとえば、特許文献1参照)。
特開2007−87337号公報
しかしながら、上記した技術では、検出したすべての物体を報知しており、報知する情報が多すぎるために、運転者が危険度の高い報知対象物を見落としてしまう可能性がある。
本発明は、上記に鑑みてなされたものであって、危険度の高い報知対象物を確実に報知することができる物体報知装置および物体報知方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、検出部と、選択部と、報知情報生成部とを備える。検出部は、移動体上で撮像された複数の画像から物体を検出する。選択部は、前記検出部で検出された前記物体の中から移動物体および前記移動体に接触する可能性のある静止物体を選択する。報知情報生成部は、前記選択部によって選択された前記物体の報知情報を生成する。
本発明によれば、危険度の高い報知対象物を確実に報知することができる物体報知装置および物体報知方法を提供することができる。
図1は、本実施形態に係る物体報知方法の概略を示す図である。 図2は、本実施形態に係る物体報知装置のブロック図である。 図3は、重畳画像の一例を示す図である。 図4は、警告シンボルの一例を示す図である。 図5は、警告シンボルの表示態様変更の一例を示す図である。 図6は、警告音の一例を示す図である。 図7は、物体報知装置が実行する処理手順を示すフローチャートである。
以下に、本発明に係る物体報知装置および物体報知方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下の実施形態では、移動体が車両である場合について説明するが、移動体は、電車や船舶、飛行機といったものであってもよい。
図1は、本発明の実施形態に係る物体報知方法の概略を示す図である。また、同図に示すディスプレイ2に表示された画像は、本実施形態に係る重畳画像を簡略化したものである。
同図に示したように、物体報知装置1は、車両100に搭載されている。また、車両100には、車両100の後方を撮像するカメラ3と、ディスプレイ2(報知部)とが搭載されている。なお、同図では、車両100が矢印20方向へ真っすぐに後進する場面を示している。そして、車両100の進行方向上には、静止物体30a、30bが存在している。なお、以下では、複数の静止物体をまとめて静止物体30と記載する場合がある。
また、同図に示したように、ディスプレイ2には、カメラ3によって撮像された画像と、物体報知装置1によって生成された画像とが重畳された重畳画像2aが表示される。重畳画像2aの静止物体30a、30bは、カメラ3によって撮像された画像である。一方、重畳画像2aの予測線40と、警告シンボル50とは、物体報知装置1によって生成された画像である。
ここで、予測線40とは、帯状となる車両100の予測軌跡の両端、すなわち、予測軌跡の境界線であり、たとえば、一対の線である。なお、以下の説明では、一対の予測線40で挟まれた領域を「予測線40の内側」と、その他の領域を「予測線40の外側」と記載することがある。
また、警告シンボル50とは、報知対象物である静止物体30aを強調する図形や文字である。本実施形態では、警告シンボル50が、報知対象物を囲む枠の底辺に相当する線である場合について説明するが、警告シンボル50を報知対象物を囲む枠としたり、文字や図形としたりしてもよい。
さらに、警告シンボル50を所定の周期で点滅させることとしてもよい。なお、以下の説明においては、ディスプレイ2の下辺に近いほど、車両100に近い位置を表示し、上辺に近いほど車両100から遠い位置であることを表示していることとする。
同図に示したように、車両100が矢印20方向に真っすぐ後進した場合に、車両100と最初に接触する静止物体30は、車両100の走行範囲内で、かつ、車両100に最も近い静止物体30aである。
したがって、この場合、車両100の運転者は、静止物体30aに対して最も注意する必要がある。すなわち、車両100は、静止物体30bと接触するよりも先に静止物体30aと接触することから、運転者に対して静止物体30aの存在を優先して報知すべきである。
そこで、本実施形態では、静止物体30a、30bの中で最も接触する可能性の高い静止物体30aを選択し、選択された静止物体30aの存在のみを運転者へ報知することとした。
すなわち、物体報知装置1は、車両100の走行範囲内に複数の静止物体が存在した場合には、接触する可能性が最も高い静止物体のみを選択して報知することで、報知情報を最小限に抑え、必要な情報を確実に運転者へ報知することができる。
つまり、物体報知装置1は、運転者に報知する報知情報を最小限に抑えたことで、静止物体が複数存在した場合に、運転者が、どれが一番危険な静止物体かを瞬時に判断することを補助し、報知情報による運転の支援を適切に行うことができる。
次に、物体報知装置1の内部構成について図2を用いて説明する。図2は、本実施形態に係る物体報知装置1の構成を示すブロック図である。なお、図2では、本実施形態の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。
同図に示すように、物体報知装置1は、制御部11と、記憶部12とを備えている。また、物体報知装置1には、ディスプレイ2と、カメラ3とが接続されている。なお、ディスプレイ2およびカメラ3の一方または双方を物体報知装置1に含めることとしてもよい。
制御部11は、たとえばCPU(Central Processing Unit)であり、物体報知装置1の全体制御を行う。また、制御部11は、取得部11aと、進路算出部11bと、検出部11cと、選択部11dと、報知情報生成部11eとを備えている。そして、記憶部12は、画像情報12aを記憶している。
カメラ3は、たとえば車両100後部に搭載されたバックカメラであり、車両100の後方を撮像する。カメラ3は、設定されたフレームレートに応じて撮像画像を取得部11aへと出力する。なお、カメラ3の設置位置は、車両100後部に限定されるものではなく、撮像領域も車両後方に限定されるものではない。
取得部11aは、たとえば入力ポートであり、カメラ3によって撮像された撮像画像を取得する。取得部11aは、取得した撮像画像を報知情報生成部11eへ、また、記憶部12に画像情報12aとしてそれぞれ出力する。
記憶部12は、たとえばRAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。
画像情報12aは、取得部11aを介してカメラ3から入力された複数フレームの撮像画像である。なお、画像情報12aは、進路算出部11bおよび検出部11cへ出力される。
進路算出部11bは、画像情報12aに基づいて車両100の進路、すなわち、予測軌跡を算出する。具体的には、進路算出部11bは、画像情報12aに含まれる時系列に並んだ複数フレームの画像から、同一特徴点を結んだ移動ベクトル(オプティカルフロー)を抽出し、抽出したオプティカルフローに基づいて車両100の進路を予測する。
つまり、車両100の予測軌跡はステアリング切れ角によって決まり、異なったステアリング切れ角では異なった予測軌跡となる。したがって、最新のオプティカルフローから車両100の最新の予測軌跡を算出することが可能であり、さらに最新の予測軌跡から最新のステアリング切れ角を算出することができる。
したがって、オプティカルフローに基づき最新のステアリング切れ角を推定し、かかるステアリング切れ角で進行した場合の車両100の予測軌跡をステアリング角をパラメータとする演算処理によって算出することができる。
そして、進路算出部11bは、予測した進路および車両100の幅に基づいて車両100の予測軌跡を算出する。なお、かかる予測軌跡の境界線が、上記した一対の予測線40である(図1参照)。進路算出部11bは、算出した予測軌跡を含んだ「予測軌跡情報」を、選択部11dへ出力する。
なお、一対の予測線40の幅は、車両100の幅に対応するが、車両100の幅よりも広くするなど、調整が可能である。また、進路算出部11bは、予測線40を、画像情報12aに基づいて算出する代わりに、たとえば、ステアリングセンサ(図示せず)によって検出されたステアリング切れ角に基づいて算出することとしてもよい。
検出部11cは、画像情報12aに基づいて静止物体や移動物体といった物体を検出する。具体的には、検出部11cは、画像情報12aから、たとえば前述したオプティカルフローに基づいて物体を検出する。
たとえば、他のオプティカルフローと長さや向きが異なるものがあれば、かかる物体を移動物体とし、その他の物体を静止物体と判定することができる。このように、検出部11cは、静止物体および移動物体の双方を検出する。なお、静止物体と移動物体とを並列に動作する独立した処理部で別々に検出することとしてもよい。
また、検出部11cは、物体を検出した場合に、検出された物体と車両100との距離を含む物体の位置情報と、検出された物体が静止物体か移動物体であるかの区分とを関連付けた情報である「物体情報」を選択部11dへ出力する。
選択部11dは、検出部11cで検出された物体の中から報知対象とする物体を選択する。具体的には、選択部11dは、進路算出部11bから予測軌跡情報を、検出部11cから物体情報を、それぞれ取得する。
そして、選択部11dは、後述する手順で報知対象とする物体を選択し、選択した物体に関する情報である「選択物体情報」を報知情報生成部11eへ出力する。なお、選択部11dは、進路算出部11bから受け取った予測軌跡情報についても報知情報生成部11eへ出力する。
選択部11dは、検出された物体が移動物体であった場合には、検出された移動物体をすべて選択する。一方、検出部11cで検出された物体が静止物体であった場合には、選択部11dは、検出された静止物体の物体情報と、上記した予測軌跡情報とを照合する。そして、検出された静止物体の中で、予測軌跡内にある静止物体を選択する。
すなわち、移動物体は動きが予測しづらいので、車両100に接触する危険が高いと見做して、すべてを報知対象とする。一方、静止物体は予測軌跡内にあるもののみを報知対象とすることで、運転者に危険度の高い報知対象物を確実に報知することができる。また、検出された静止物体の中で予測軌跡内にある車両100と最も近い静止物体を選択することにしてもよい。
言い換えると、予測軌跡の外側に存在する静止物体、もしくは、予測軌跡の内側であっても、車両100からの距離が二番目以降に近い静止物体は選択されず、報知の対象とはならない。
すなわち、選択部11dは、検出された静止物体の中で、車両100と最初に接触する可能性の高い静止物体を選択することで、運転者が、一番危険な静止物体を瞬時に判断することを補助する。
また、選択部11dは、同距離に複数の移動物体が検出された場合には、同距離に存在する複数の移動物体の中から、あらかじめ定められた数(たとえば2〜3つ)の移動物体を選択する。これは、一度に報知する情報を制限することで、必要以上の報知情報で運転者の判断が妨げられることを防ぐためである。
なお、かかる制限を静止物体に適用することとしてもよい。このようにすることで、最も近い静止物体と同距離に複数の移動物体がある場合に、報知対象とする移動物体の数を制限することができる。また、最も近い静止物体が多数ある場合に、報知対象とする静止物体の数を制限することもできる。
また、選択部11dは、車両100が停止した場合に、たとえば、検出された静止物体の選択をいったん解除する一方、検出された移動物体の選択は継続し、車両100が移動を開始した場合に、静止物体の選択を再開することとしてもよい。
これは、車両100が停止している場合には、車両100と静止物体とはいずれも静止しており、接触する可能性がないため、静止物体を報知する必要がないためである。
報知情報生成部11eは、カメラ3で撮像された画像と、上記した予測線40や警告シンボル50(図1参照)といった生成画像とを重畳させた重畳画像を生成する。具体的には、報知情報生成部11eは、取得部11aを介してカメラ3で撮像された画像を取得するとともに、選択部11dから、上記した選択物体情報と、進路算出部11bが算出した予測軌跡情報とを取得する。
そして、報知情報生成部11eは、進路算出部11bが算出した予測軌跡情報に含まれる予測線40と、選択部11dによって選択された物体を強調する枠や線といった警告シンボル50とを、カメラ3で撮像された画像に重畳した重畳画像を生成する。
また、報知情報生成部11eは、運転者に対し、検出された物体の存在を報知するための警告音を生成する。かかる警告音は、車両100と選択部11dによって選択された物体との距離に応じて変更されるが、車両100のギアリバース時に発生するパルス音とは異なる音である。
このように、ギアリバース時と異なる音とすることで、運転者の誤認識を防止することができる。なお、警告シンボル50の点滅周期と、警告音の周期とを連動させることとしてもよい。この点については、警告音の詳細とともに図6を用いて後述する。
このように、報知情報生成部11eは、運転者に対して視覚的に警告する重畳画像と、聴覚的に警告する警告音とをディスプレイ2へ出力する。ディスプレイ2は、たとえば、スピーカ付きの液晶ディスプレイであり、報知情報生成部11eで生成された重畳画像を表示すとともに、警告音を発生させる。
なお、ディスプレイ2が音声出力機能を有していない場合には、報知情報生成部11eは、車両100に搭載されているアンプ(図示せず)や、スピーカ(図示せず)へ警告音を出力することとすればよい。
次に、本実施形態に係る物体報知装置1が出力する重畳画像について、図3を用いて説明する。図3は、重畳画像の一例を示す図である。同図に示すように、重畳画像2aには、予測線40と、車幅線45と、静止物体30c、30d、30eと、移動物体31a、31bとが含まれる。なお、以下では、複数の移動物体をまとめて移動物体31と記載する場合がある。
ここで、車幅線45とは、現在の車両100の向きにおける車幅を示す一対の線である。なお、同図では、車幅線45を破線で表示した場合を例示しているが、予測線40と見分けがつけば、表示態様は問わない。また、予測線40が示すように、同図には、車両100が右方向へバックする場面を示している。
また、同図に示すように、重畳画像2aには、静止物体30dに対応する警告シンボル50dと、移動物体31aに対応する警告シンボル50aと、移動物体31bに対応する警告シンボル50bとが表示されている。
ここで、各警告シンボル50は、警告対象となる物体を囲む枠の底辺に相当する。これは、枠の底辺の位置が各物体との距離に対応するからであり、底辺を強調することで、運転者が物体との距離感をつかみやすくなるためである。なお、底辺以外の枠(同図に破線で示した部分)は、底辺よりも目立たないように表示してもよいし、表示しないようにしてもよい。
同図に示すように、静止物体30cは、検出された物体の中で車両100と最も近い位置に存在している。しかし、予測線40の外側に位置している静止物体30であるために、報知の対象とはならない。
また、静止物体30eは、予測線40の内側に位置しているものの、静止物体30dよりも車両100から遠くに位置している静止物体30である。一方、静止物体30dは、予測線40の内側でかつ、車両100の最も近くに位置している静止物体30である。
このため、上述したように、物体報知装置1は、複数の静止物体30の中から、報知対象として静止物体30dを選択するので、静止物体30dを囲う枠の底辺に警告シンボル50dが表示される。
一方、上述したように、物体報知装置1は、検出された移動物体31を、すべて報知対象とする。これは、検出した移動物体31が移動方向や移動速度を急に変えることで、車両100と急速に接近し接触する可能性があるので、移動物体31を検出した時点で報知することが好ましいためである。そのため、検出された移動物体31は、予測軌跡の内外や、移動物体31の移動方向に関わらず報知対象とする。
したがって、同図に示したように、予測線40の外側に位置する移動物体31a、予測線40の内側に位置する移動物体31bは、いずれも報知対象となる。そのため、移動物体31a、31bを囲う枠の底辺にそれぞれ警告シンボル50a、50bが表示される。
次に、報知情報生成部11eによって生成される報知情報について、図4〜図6を用いてさらに詳細に説明する。図4は、警告シンボル50の一例を示す図である。なお、図4では、車両150が撮像された場合に、警告シンボル50が車両150のどの位置に表示されるかを示している。
同図に示す直方体70は、車両150全体を覆うように、検出部11cによって算出される。直方体70は、カメラ3の撮像方向と直交した面60を含み、かかる面60は、カメラ3と車両150とが最も近接している車両150上の点(たとえば、バンパー)を含む。なお、直方体70は、車両150よりも大きめに生成することとしてもよい。
ここで、同図に示す底辺51は、面60が路面と交差する線である。上述したように、警告シンボル50(図3参照)のうち、底辺51を強調して表示することとしたので、運転者は、車両150などの物体との距離感をつかみやすくなる。
このことにより、たとえば、複数の警告シンボル50がある場合に、運転者は、複数の報知物体の位置関係を瞬時に把握することができる。
次に、警告シンボル50の表示態様を距離に応じて変更する例について図5を用いて説明する。図5は、警告シンボル50の表示態様変更の一例を示す図である。なお、同図では、移動物体31を例にあげているが、検出されたすべての物体に同様の表示態様を適用するものとする。また、図4に示した車幅線45は説明を簡略化するために省略している。
同図に示すように、重畳画像2aには、予測線40と、車両100と物体との距離を示す補助線41a、41bとが表示されている。たとえば、補助線41aは、車両100から0.5メートルの位置を示す線であり、補助線41bは、車両100から2.0メートルの位置を示す線である。
また、重畳画像2aには、予測線40の内側に、移動物体31f、31g、31hと、各移動物体にそれぞれ対応する警告シンボル50f、50g、50hとがそれぞれ表示されている。
同図に示すように移動物体31fは、車両100と補助線41aとの間(たとえば0〜0.5メートルの間)に、移動物体31gは、補助線41aと41bとの間(たとえば0.5〜2.0メートルの間)、移動物体31hは、補助線41bより離れた位置(たとえば2.0メートル以上)にある。
上記した報知情報生成部11eは、検出した物体の距離に応じて警告画像の底辺の色を変更した報知情報を生成する。この際、車両と物体との距離が近いほど、運転者の注意を引く色であることが好ましい。これは、車両と検出された物体が接触する可能性が高いためである。
そこで、報知情報生成部11eは、たとえば、0〜0.5メートルの間に位置する移動物体31fの警告シンボル50fの底辺を赤色で、0.5〜2.0メートルの間に位置する移動物体31gの警告シンボル50gの底辺をオレンジ色で、2.0メートル以上離れた場所に位置する移動物体31hの警告シンボル50hの底辺を緑色で、それぞれ表示する旨の報知情報を生成する。
このように、物体との距離に基づいて警告画像の底辺の色を変更して報知することで、俯瞰的に物体との距離を捉えやすく、かつ物体との距離を警告シンボル50の色によっても瞬時に判断することができる。なお、距離が近いほど、警告シンボル50の底辺の太さや幅を大きくするなどしてもよい。
このように、図5では、物体との距離に応じて警告シンボル50の表示態様を変更する場合について説明したが、通常は、物体までの距離を、カメラ3を始点にして算出している。しかし、カメラ3の設置位置とカメラ3の撮像方向上の車両100の先端(たとえばリアバンパの先端)とが大きく離れていると、物体との相対距離を誤認識させかねない。
そこで、本実施形態にかかる物体報知装置1は、物体との位置関係を運転者により明確に認識させるために、物体までの距離の始点をカメラ3の設置位置から、カメラ3の撮像方向上の車両100の先端へと変更することができる。
たとえば、カメラ3の設置位置とカメラ3の撮像方向上の車両100の先端との距離を補正値として記憶部12へ記憶しておき、進路算出部11bや、検出部11cが、かかる補正値を用いて算出した距離を補正することとすれば、物体までの距離の始点をカメラ3の撮像方向上の車両100の先端とすることができる。
これにより、物体が車両100に接触するまでの距離を正確に反映した重畳画像2aを生成することが可能となり、運転の支援を適切に行うことができる。
次に、上記した報知情報生成部11eが生成する警告音の一例について図6を用いて説明する。図6は、警告音の一例を示す図である。なお、同図に示す「T」は、たとえば2秒であるが、任意の秒数とすることができる。
同図に示したように、たとえば、報知情報生成部11eは、車両100と検出された物体との距離が0.5〜2.0メートルの間であった場合には、たとえば、時間Tの間に警告シンボル50を3回点滅させ、「ピ」という警告音を2回発生させる。
一方、報知情報生成部11eは、車両100と物体との距離が0〜0.5メートルの間であった場合には、たとえば、時間Tの間に警告シンボル50を5回点滅させ、「ピ」という警告音を5回発生させる。
このように、警告シンボル50と警告音を連動させつつ、車両100と物体との距離に応じ、警告シンボル50の点滅周期や、警告音の発生タイミングを変更することで、運転者の視覚のみならず聴覚によっても物体の存在と、車両100と物体との距離を認識させることができる。
また、物体との距離に応じて警告音を変化させることとしたので、車両100の運転者は、ディスプレイ2を目視せずとも、警告音によって物体の存在と物体との距離を認識することができる。
なお、図6では、警告シンボル50の点滅周期を変更する場合について説明したが、たとえば、ディスプレイ2の枠などに発光体を設け、かかる発光体を点滅させることとしてもよい。
次に、物体報知装置1によって実行される物体報知処理について図7を用いて説明する。図7は、物体報知装置1が実行する物体報知処理手順を示すフローチャートである。
図7に示したように、取得部11aが、カメラ3によって撮像された画像を取得すると(ステップS101)、検出部11cは、画像における物体の有無を判定する(ステップS102)。そして、検出部11cが物体を検出しなかった場合には(ステップS102,No)、処理を終了する。
一方、検出部11cが物体を検出した場合には(ステップS102,Yes)、検出部11cは、検出された物体が静止物体か否かを判定する(ステップS103)。
なお、検出された物体が静止物体ではないと判定された場合には(ステップS103,No)、検出された物体は移動物体であるので、すべて報知の対象となるため、ステップS106以降の処理を実行する。
一方、検出された物体が静止物体と判定された場合には(ステップS103,Yes)、選択部11dは、静止物体の位置が車両100の走行予測軌跡内であるか否かを判定する(ステップS104)。なお、検出された静止物体が車両100の走行予測軌跡の外側に位置していた場合には(ステップS104,No)、処理を終了する。
一方、検出された静止物体が車両100の走行予測軌跡内であった場合には(ステップS104,Yes)、選択部11dは、走行予測軌跡内で検出された静止物体の中から車両100に最も近い物体を選択する(ステップS105)。
そして、報知情報生成部11eは、ステップS105で選択された静止物体およびすべての移動物体と、車両100との距離に基づいて報知情報を生成する(ステップS106)。そして、ディスプレイ2で報知情報を報知し(ステップS107)、処理を終了する。
上述してきたように本実施形態に係る物体報知装置は、検出部と、選択部と、報知情報生成部とを備える。検出部は、移動体上で撮像された複数の画像から物体を検出する。選択部は、検出部で検出された前記物体の中から移動物体および前記移動体に接触する可能性のある静止物体を選択する。そして、報知情報生成部は、選択部によって選択された物体の報知情報を生成する。
したがって、本実施形態に係る物体報知装置によれば、危険度の高い報知対象物を確実に報知することができる。
ところで、上述した実施形態では、車両が後進する場合を例に挙げたが、これに限られるものではない。すなわち、車両の前進時であっても適用可能である。たとえば、車両の前進時に車両前方に存在する報知対象物を報知することもできる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な様態は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲および、その均等物によって定義される統括的な発明の概念の精神または範囲から逸脱することなく、様々な変化が可能である。
1 物体報知装置
2 ディスプレイ
2a 重畳画像
3 カメラ
11 制御部
11a 取得部
11b 進路算出部
11c 検出部
11d 選択部
11e 報知情報生成部
12 記憶部
12a 画像情報
30 静止物体
31 移動物体
40 予測線
45 車幅線
50 警告シンボル
51 底辺
100、150 車両

Claims (5)

  1. 移動体上で撮像された複数の画像から物体を検出する検出部と、
    前記検出部で検出された前記物体の中から移動物体および前記移動体に接触する可能性のある静止物体を選択する選択部と、
    前記選択部によって選択された前記物体の報知情報を生成する報知情報生成部と
    を備え、
    前記報知情報生成部は、
    前記検出部によって検出された前記物体を枠で囲うとともに、前記枠の底辺を前記底辺以外の部分よりも強調した前記報知情報を生成すること
    を特徴とする物体報知装置。
  2. 前記選択部は、
    前記移動体の移動方向かつ移動範囲内に存在する前記静止物体を選択すること
    を特徴とする請求項1に記載の物体報知装置。
  3. 前記選択部は、
    前記検出部で検出された前記物体が複数存在した場合に、複数の前記物体の中からあらかじめ定められた数の前記物体を選択すること
    を特徴とする請求項1または2に記載の物体報知装置。
  4. 前記報知情報生成部は、
    前記検出部によって検出された前記物体と前記移動体との距離に基づいて前記底辺の表示態様を変更した前記報知情報を生成すること
    を特徴とする請求項1〜3のいずれか一つに記載の物体報知装置。
  5. 移動体上で撮像された複数の画像から物体を検出する検出工程と、
    前記検出工程で検出された前記物体の中から移動物体および前記移動体に接触する可能性のある静止物体を選択する選択工程と、
    前記選択工程によって選択された前記物体の報知情報を生成する報知情報生成工程と
    を含み、
    前記報知情報生成工程は、
    前記検出工程によって検出された前記物体を枠で囲うとともに、前記枠の底辺を前記底辺以外の部分よりも強調した前記報知情報を生成すること
    を特徴とする物体報知方法。
JP2015116073A 2015-06-08 2015-06-08 物体報知装置および物体報知方法 Active JP6595219B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015116073A JP6595219B2 (ja) 2015-06-08 2015-06-08 物体報知装置および物体報知方法
US15/137,206 US10005392B2 (en) 2015-06-08 2016-04-25 Object alarm device and object alarm method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015116073A JP6595219B2 (ja) 2015-06-08 2015-06-08 物体報知装置および物体報知方法

Publications (2)

Publication Number Publication Date
JP2017004181A JP2017004181A (ja) 2017-01-05
JP6595219B2 true JP6595219B2 (ja) 2019-10-23

Family

ID=57451655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015116073A Active JP6595219B2 (ja) 2015-06-08 2015-06-08 物体報知装置および物体報知方法

Country Status (2)

Country Link
US (1) US10005392B2 (ja)
JP (1) JP6595219B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10703299B2 (en) * 2010-04-19 2020-07-07 SMR Patents S.à.r.l. Rear view mirror simulation
JP6673191B2 (ja) * 2016-12-27 2020-03-25 トヨタ自動車株式会社 警報出力装置
WO2018151280A1 (ja) * 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム
JP2019139389A (ja) * 2018-02-07 2019-08-22 パイオニア株式会社 表示制御装置、表示制御方法及びプログラム
JP2019179511A (ja) * 2018-03-30 2019-10-17 パナソニックIpマネジメント株式会社 運転支援システム、情報処理装置及び運転支援方法
JP7298456B2 (ja) * 2019-11-29 2023-06-27 トヨタ自動車株式会社 車両用表示制御装置、車両用表示制御方法、及び車両用表示制御プログラム
CN111619447A (zh) * 2020-05-14 2020-09-04 吴韵驰 一种大型车辆动态监控预警系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4729229B2 (ja) * 2000-04-07 2011-07-20 三井化学株式会社 高耐熱老化性熱可塑性エラストマー組成物
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
JP2007087337A (ja) * 2005-09-26 2007-04-05 Toyota Motor Corp 車輌周囲情報表示装置
JP5483535B2 (ja) 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
DE102009029439A1 (de) 2009-09-14 2011-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
JP2011150475A (ja) * 2010-01-20 2011-08-04 Toyota Motor Corp 周辺監視装置
JP5192007B2 (ja) * 2010-03-12 2013-05-08 本田技研工業株式会社 車両の周辺監視装置
US8611598B2 (en) * 2011-07-26 2013-12-17 Harman International (China) Holdings Co., Ltd. Vehicle obstacle detection system
US9393908B2 (en) * 2011-11-01 2016-07-19 Aisin Seiki Kabushiki Kaisha Obstacle alarm device
US20150187019A1 (en) * 2013-12-31 2015-07-02 Hartford Fire Insurance Company Systems and method for autonomous vehicle data processing

Also Published As

Publication number Publication date
JP2017004181A (ja) 2017-01-05
US20160355131A1 (en) 2016-12-08
US10005392B2 (en) 2018-06-26

Similar Documents

Publication Publication Date Title
JP6595219B2 (ja) 物体報知装置および物体報知方法
JP6635188B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
JP5741173B2 (ja) 画像表示装置、及び、画像表示方法
JP6394281B2 (ja) 車載注意喚起システム、報知制御装置
JP5406328B2 (ja) 車両用表示装置、その制御方法及びプログラム
JP2015049842A (ja) 注意喚起表示装置及び注意喚起表示方法
JP5480925B2 (ja) 車両周辺監視装置
JP2010108264A (ja) 車両周辺監視装置
WO2015015919A1 (ja) 車両周辺監視装置
JP6330341B2 (ja) 運転支援装置
JP2015207163A (ja) 状態推定装置、および状態推定プログラム
JP2015225546A (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
JP2010026601A (ja) 車両周辺監視装置
JPWO2016042733A1 (ja) 電子ミラー装置
JP2017187846A (ja) 車両用装置、車両用プログラム
JP5172482B2 (ja) 車両周辺監視装置
JP5465223B2 (ja) 車両の運転支援装置
KR101438921B1 (ko) 차량 주변의 이동체 경보 장치 및 방법
JP2018148530A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2013134597A (ja) 障害物警報装置
JP4615061B2 (ja) 車両周辺監視装置
JP4995778B2 (ja) 車両周辺監視装置
JP5529097B2 (ja) 車両の運転支援装置
JP2015156191A (ja) 警報装置及びプログラム
JP2007249324A (ja) 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺システムの構成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190926

R150 Certificate of patent or registration of utility model

Ref document number: 6595219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250