JP7263733B2 - 車両用障害物報知装置 - Google Patents

車両用障害物報知装置 Download PDF

Info

Publication number
JP7263733B2
JP7263733B2 JP2018202209A JP2018202209A JP7263733B2 JP 7263733 B2 JP7263733 B2 JP 7263733B2 JP 2018202209 A JP2018202209 A JP 2018202209A JP 2018202209 A JP2018202209 A JP 2018202209A JP 7263733 B2 JP7263733 B2 JP 7263733B2
Authority
JP
Japan
Prior art keywords
obstacle
vehicle
line
sight
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018202209A
Other languages
English (en)
Other versions
JP2020067979A (ja
Inventor
智志 安江
樹博 加藤
智史 山道
寛 平岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018202209A priority Critical patent/JP7263733B2/ja
Priority to CN201910812328.6A priority patent/CN111098783B/zh
Priority to US16/661,134 priority patent/US11040658B2/en
Publication of JP2020067979A publication Critical patent/JP2020067979A/ja
Application granted granted Critical
Publication of JP7263733B2 publication Critical patent/JP7263733B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本発明は、車両用障害物報知装置に関する。
特許文献1には、ドライバの視線方向に障害物の位置とドライバの視線方向とを表示させる運転支援装置が開示されている。この特許文献1の技術では、ドライバが視線方向を移動させると、移動先に障害物の位置とドライバの視線方向が表示される。
特開2007-304712号公報
ところで、自動で走行可能な自動運転車両では、自車両の周辺の障害物が検知されていることを把握することで安心できる反面、特許文献1のように乗員が視線方向を変えても表示されると煩わしさを感じることがある。
本発明は上記事実を考慮し、自動運転時における安心感と快適性の両立を図ることができる車両用障害物報知装置を得ることを目的とする。
請求項1に記載の車両用障害物報知装置は、車両の周囲の障害物を検知する障害物検知部と、運転席に着座した乗員の視線方向を検知する視線検知部と、車両の自動運転時において、前記視線検知部によって検知された乗員の視線が障害物に向けられた場合にのみ、該障害物の存在を表示及び音声の少なくとも一方により乗員に知らせる報知部と、を有し、障害物と乗員の視線方向とが一致していない場合、前記報知部による該障害物の存在の報知を行わない
請求項1に記載の車両用障害物報知装置では、障害物検知部によって車両の周囲の障害物が検知される。また、視線検知部によって運転席に着座した乗員の視線方向が検知される。さらに、自動運転時には、報知部によって障害物の存在を表示及び音声の少なくとも一方によって乗員に知らせる。これにより、自動運転時に障害物が正しく検知されていることを乗員が把握することができ、安心感を得ることができる。
また、報知部は、乗員の視線が障害物に向けられた場合に障害物の存在を乗員に知らせるように構成されている。これにより、乗員が障害物の存在を気にしている場合のみ知らされるので、煩わしさを感じにくい。
請求項2に記載の車両用障害物報知装置は、請求項1において、前記報知部は、車内と車外とを隔成するウインドシールドに障害物の強調表示を行うことで乗員に障害物の存在を知らせる表示装置を含んで構成されており、前記表示装置は、障害物の種類に応じて表示マークを変更する。
請求項2に記載の車両用障害物報知装置では、障害物の種類に応じて表示マークが変わることで、障害物の種類が正しく検知されていることを把握できる。
請求項3に記載の車両用障害物報知装置は、請求項1又は2において、前記報知部は、前記障害物検知部によって検知された障害物のうち、特定の障害物だけを乗員に知らせる。
請求項3に記載の車両用障害物報知装置では、例えば、特定の障害物として、歩行者や自車両の側方を走行中の車両だけを乗員に知らせることができる。これにより、自車両の前方を走行中の車両など乗員に知らせる必要性が低い障害物についての報知を省略することができる。
請求項4に記載の車両用障害物報知装置は、請求項1~3の何れか1項において、前記報知部は、指向性スピーカを含んで構成されており、前記指向性スピーカから運転席に着座した乗員へ向けて障害物の情報を出力させる。
請求項4に記載の車両用障害物報知装置では、指向性スピーカから乗員へ障害物の情報が出力されるため、運転席に着座した乗員のみが障害物の情報を把握することができる。
請求項5に記載の車両用障害物報知装置は、請求項1~3の何れか1項において、前記報知部は、前記障害物検知部によって検知された障害物の位置にマークを表示させる。
以上説明したように、請求項1に記載の車両用障害物報知装置によれば、自動運転時における安心感と快適性の両立を図ることができる。
請求項2に記載の車両用障害物報知装置によれば、自動運転時における乗員の安心感を向上させることができる。
請求項3に記載の車両用障害物報知装置によれば、自動運転時における快適性を向上させることができる。
請求項4に記載の車両用障害物報知装置によれば、障害物の情報が必要な乗員にのみ障害物の情報を知らせることができる。
第1実施形態に係る車両用障害物報知装置を備えた車両の車室前部を車室側から見た概略図である。 図1の状態から乗員の視線方向が変えられた状態を示す概略図である。 第1実施形態に係る車両用障害物報知装置を備えた車両の車室前部を車両幅方向から見た概略側面図である。 第1実施形態に係る車両用障害物報知装置のハードウェア構成を示すブロック図である。 第1実施形態に係る車両用障害物報知装置を構成するECUのハードウェア構成を示すブロック図である。 第1実施形態に係る車両用通知システムの機能構成を示すブロック図である。 第1実施形態に係る報知処理の流れを示すフローチャートである。 変形例に係る報知処理の流れを示すフローチャートである。 第2実施形態に係る車両用障害物報知装置を備えた車両の車室前部を車室側から見た概略図である。
<第1実施形態>
第1実施形態に係る車両用障害物報知装置10について、図面を参照して説明する。なお、図面の寸法比率は、説明の便宜上、誇張されており、実際の寸法比率とは異なる場合がある。また、各図に適宜記す矢印FR、矢印UP及び矢印LHは、車両の前方向、上方向及び幅方向の左側をそれぞれ示している。以下、単に前後、上下、左右の方向を用いて説明する場合は、特に断りのない限り、車両前後方向の前後、車両上下方向の上下、車両前方向を向いた場合の左右を示すものとする。
<第1実施形態>
図1に示されるように、本実施形態に係る車両用障害物報知装置10が搭載された車両12における車室内の前部には、車内と車外とを隔成するウインドシールド14が設けられている。ウインドシールド14は、ガラスや透明樹脂など透明の部材で形成されており、車室内の乗員がウインドシールド14を通じて車外の景色を視認できるように構成されている。
ここで、本実施形態の車両12は、自動で走行可能な、所謂自動運転車両であり、乗員が運転する手動運転モードと、自動走行する自動運転モードとの間で切替可能に構成されている。
ウインドシールド14の車両幅方向両側にはフロントピラー16が設けられている。フロントピラー16は、車両上下方向に延在されており、このフロントピラー16の車両後方側にはフロントサイドガラス18が設けられている。
ウインドシールド14における下端部の車内側には、インストルメントパネル22が設けられている。そして、図3に示されるように、インストルメントパネル22の車両下方側には、報知部としての表示装置23が設けられている。
表示装置23は、映像を出力する映像出力部24と、映像出力部24から出力された映像をウインドシールド14へ反射させるミラー26とを含んで構成されている。ここで、ミラー26は、図示しない回動軸に取り付けられており、回動軸の回動によってミラー26の角度が変更される。そして、ミラー26の角度を変更させることで、映像出力部24から出力された映像をウインドシールド14の任意の領域へ投影することができるように構成されている。
図1に示されるように、ウインドシールド14にはマークM1が表示されている。マークM1は、表示装置23によって表示されており、車外の歩行者Pを囲むように略枠状に表示されている。なお、このときの運転者(乗員)の視線方向は、矢印L1で示す方向となっている。すなわち、運転者の視線方向が歩行者Pに向けられている場合にマークM1を表示させることで、歩行者Pが強調表示され、運転者に障害物である歩行者Pの存在を知らせるように構成されている。
また、図2に示されるように、運転者の視線方向が歩行者Pから前方の車両Vに向けられた場合、表示装置23(図3)によってマークM2が表示される。このマークM2は、車両Vを囲むように略枠状に表示されている。すなわち、運転者の視線方向が車両Vに向けられている場合にマークM2を表示させることで、車両Vが強調表示され、運転者に障害物である車両Vの存在を知らせるように構成されている。
図4は、車両用障害物報知装置10のハードウェア構成を示すブロック図である。この図4に示されるように、車両用障害物報知装置10は、ECU(Electronic Control Unit)20、表示装置23、視線検知装置28、指向性スピーカ30、周辺検知センサ32及び光学カメラ34を含んで構成されている。
ECU20は、図1に示されるように、車両12の前部に設けられており、制御部として機能している。そして、図4に示されるように、このECU20に対して、表示装置23、視線検知装置28、報知部としての指向性スピーカ30、周辺検知センサ32及び光学カメラ34が電気的に接続されている。
表示装置23は、上述したように、映像出力部24とミラー26とを含んで構成されており、ECU20からの信号によって映像出力部24から強調表示用のマークが出力される。また、ECU20からの信号によってミラー26の角度が調整される。
視線検知装置28は、運転席に着座した乗員の視線方向を検知する。この視線検知装置28としては、例えば、インストルメントパネル22又は天井部に取り付けられて乗員の顔を撮像するカメラなどを用いることができる。この他に、乗員が装着するメガネ型のウェアラブル機器などを用いてもよい。
指向性スピーカ30は、車室内に設けられており、ECU20からの信号により音声を出力する。また、本実施形態の指向性スピーカ30は、指向性を有するスピーカが用いられており、運転者へ向けて音声が出力されるように構成されている。このため、運転席以外の座席に着座している乗員には指向性スピーカ30から出力される音声が聞こえない、又はほとんど聞こえない。
周辺検知センサ32は、車両12に設けられており、車両12の周辺を検知するセンサである。この周辺検知センサ32としては、ミリ波レーダ、超音波センサ及びレーザレーダの少なくとも一つを含んで構成されている。光学カメラ34は、車両12の前方を撮像するカメラであり、車両12の前方に存在する障害物を撮像することで認識する。
図5は、車両用障害物報知装置10を構成するECU20のハードウェア構成を示すブロック図である。この図5に示されるように、ECU20は、CPU(Central Processing Unit:プロセッサ)36、ROM(Read Only Memory)38、RAM(Random Access Memory)40、ストレージ42、GPS受信機44及び通信インタフェース46を含んで構成されている。各構成は、バス47を介して相互に通信可能に接続されている。
CPU36は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU36は、ROM38又はストレージ42からプログラムを読み出し、RAM40を作業領域としてプログラムを実行する。CPU36は、ROM38又はストレージ42に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ROM38は、各種プログラムおよび各種データを格納する。RAM40は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ42は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。
GPS受信機44は、GPS方式に基づく信号を複数の衛星から受信し、信号の到着時間差から、車両(自車)12の位置を特定する。通信インタフェース46は、ECU20がサーバ及び他の機器と通信するためのインタフェースであり、たとえば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)などの規格が用いられる。
車両用障害物報知装置10は、図4及び図5に示されるハードウェア資源を用いて、各種の機能を実現する。車両用障害物報知装置10が実現する機能構成について図6を参照して説明する。
図6に示されるように、車両用障害物報知装置10は、機能構成として、受信部48、障害物検知部50、視線検知部52、判断部54及び出力部56を備えている。各機能構成は、ECU20のCPU36がROM38又はストレージ42に記憶されたプログラムを読み出し、実行することにより実現される。
受信部48は、視線検知装置28から送信された乗員の視線方向に関するデータを受信する。また、受信部48は、周辺検知センサ32、光学カメラ34及び他の機器から送信された車両12の周辺の障害物に関するデータを受信する。
障害物検知部50は、受信部48で受信されたデータに基づいて障害物の方向、距離及び障害物の種類などを検知する。視線検知部52は、視線検知装置28から受信したデータに基づいて、乗員の視線方向を検知する。
判断部54は、障害物検知部50で検知された障害物の位置と、視線検知部52で検知された乗員の視線方向とから、乗員が障害物の方向に視線を向けているかについて判断する。すなわち、乗員の視線方向の先に障害物が存在する場合、乗員が障害物に視線を向けていると判断する。
出力部56は、障害物の存在を表示及び音声の少なくとも一方の方法により乗員に知らせる。具体的には、表示装置23によってウインドシールド14に障害物を強調表示させる方法、及び、指向性スピーカ30から乗員へ障害物の情報を音声で出力させる方法の少なくとも一方の方法により乗員に障害物の存在を知らせる。
次に、本実施形態の車両用障害物報知装置10による報知処理の流れについて、図7のフローチャートを参照して説明する。例えば、CPU36がROM38又はストレージ42からプログラムを読み出して、RAM40に展開して実行することによって報知処理が行われる。
図7には、乗員に対して障害物を強調表示させる際の報知処理の流れの一例が示されている。この図7に示されるように、CPU36は、ステップS102で自動運転がONになったか否かを判断する。例えば、乗員の操作によって車両の自動運転が開始されると、自動運転が開始されたことがECU20に伝達され、この信号によって自動運転がONになったと判断してもよい。
CPU36は、ステップS102で自動運転がONになったと判断された場合、ステップS104の処理へ移行する。また、CPU36は、ステップS102で自動運転がONになったと判断されなかった場合、すなわち、自動運転がOFFであると判断された場合、繰り返しステップS102の処理を行う。
CPU36は、ステップS104で車両周辺の障害物を検知する。ここでは、障害物検知部50の機能により、周辺検知センサ32及び光学カメラ34からの信号に基づいて、障害物の位置及び種類を検知する。図1の状態では、歩行者P及び車両Vが障害物として検知される。
図7に示されるように、CPU36は、ステップS106で乗員の視線方向を検知する。ここでは、視線検知部52の機能により、視線検知装置28からの信号に基づいて乗員の視線方向を検知する。
CPU36は、ステップS108で障害物と視線方向とが一致しているか否かについて判断する。具体的には、ステップS104で検知された障害物の位置と、ステップS106で検知された乗員の視線方向とから、乗員が障害物の方向に視線を向けているかについて判断する。そして、乗員の視線方向の先に障害物が存在する場合、CPU36は、乗員が障害物に視線を向けていると判断してステップS110の処理へ移行する。また、障害物と視線方向とが一致していない場合、CPU36は、通知処理を終了させる。例えば、図1の状態では、矢印L1に示されるように、乗員の視線方向の先に歩行者Pが存在する。このため、CPU36は、乗員が障害物(歩行者P)に視線を向けていると判断してステップS110の処理へ移行する。
図7に示されるように、CPU36は、ステップS110で障害物を強調表示させる。すなわち、出力部56の機能により、表示装置23の映像出力部24から映像を出力させ、ミラー26で反射させることで、図1に示されるように、歩行者Pを囲むようにマークM1を表示させる。
以上のように、本実施形態では、乗員の視線が障害物に向けられた場合に、障害物の存在を強調表示させることで乗員に知らせる。
(作用)
次に、本実施形態の作用を説明する。
本実施形態の車両用障害物報知装置10では、上述したように、障害物検知部50によって車両12の周囲の障害物が検知される。また、視線検知部52によって運転席に着座した乗員の視線方向が検知され、自動運転時には、表示装置23によって障害物の存在を乗員に知らせる。これにより、自動運転時に障害物が正しく検知されていることを乗員が把握することができ、安心感を得ることができる。
また、表示装置23は、乗員の視線が障害物に向けられた場合に障害物の存在を乗員に知らせるように構成されている。これにより、乗員が障害物の存在を気にしている場合のみ知らされるので、煩わしさを感じにくい。この結果、自動運転時における安心感と快適性の両立を図ることができる。
なお、本実施形態の報知処理では、障害物を強調表示させることで乗員に障害物の存在を知らせたが、これに限定されない。例えば、図8に示されるような報知処理を行ってもよい。
(変形例)
図8には、乗員に対して障害物を音声で通知させる際の報知処理の流れの一例が示されている。この図8に示されるように、CPU36は、ステップS202で自動運転がONになったか否かを判断する。
CPU36は、ステップS202で自動運転がONになったと判断された場合、ステップS204の処理へ移行する。また、CPU36は、ステップS202で自動運転がONになったと判断されなかった場合、すなわち、自動運転がOFFであると判断された場合、繰り返しステップS202の処理を行う。
CPU36は、ステップS204で車両周辺の障害物を検知する。また、CPU36は、ステップS206で乗員の視線方向を検知する。ここでは、視線検知部52の機能により、視線検知装置28からの信号に基づいて乗員の視線方向を検知する。
CPU36は、ステップS208で障害物と視線方向とが一致しているか否かについて判断する。図7のフローチャートにおけるステップS108と同様の方法で判断される。そして、CPU36は、乗員が障害物に視線を向けていると判断してステップS210の処理へ移行する。また、障害物と視線方向とが一致していない場合、CPU36は、通知処理を終了させる。
CPU36は、ステップS210で障害物を音声で通知させる。すなわち、CPU36は、出力部56の機能により、指向性スピーカ30から乗員へ向けて障害物の情報を出力させる。
以上のように、本変形例では、乗員の視線が障害物に向けられた場合に、障害物の存在を音声で通知させることで乗員に知らせる。このように、指向性スピーカ30から乗員へ障害物の情報を出力させることで、運転席に着座した乗員のみが障害物の情報を把握することができる。すなわち、障害物の情報が必要な乗員にのみ障害物の情報を知らせることができる。
なお、ステップS210では、音声で通知させると共に、表示装置23によって強調表示させてもよい。
<第2実施形態>
次に、第2実施形態に係る車両用障害物報知装置について説明する。なお、第1実施形態と同様の構成については同じ符号を付し、適宜説明を省略する。
図9に示されるように、本実施形態の車両用障害物報知装置60では、障害物の種類に応じて表示マークが変更されている点で第1実施形態と異なる。また、その他の構成は第1実施形態と同様である。
本実施形態では、矢印L3で示すように、乗員の視線方向が車外の歩行者Pに向けられている場合に、ウインドシールド14にマークM3が表示される。マークM3は、表示装置23によって表示されており、車外の歩行者Pの頭上に矢印状のアイコンとして表示される。すなわち、運転者の視線方向が歩行者Pに向けられている場合にマークM3を表示させることで、歩行者Pが強調表示され、運転者に障害物の存在を知らせるように構成されている。
一方、乗員の視線方向が車両Vに向けられた場合には、第1実施形態と同様のマークM2が表示される(図2参照)。このように、本実施形態では、障害物の種類に応じて表示マークを変更する。
なお、本実施形態における報知処理の流れについては、第1実施形態と同様に図7及び図8に示されたフローチャートを用いることができる。すなわち、図7のステップS104では、CPU36は、障害物の種類について検知する。また、ステップS110では、CPU36は、表示装置23によって障害物を強調表示させる際に、障害物の種類に応じて強調表示させるマークを変更する。
(作用)
次に、本実施形態の作用を説明する。
本実施形態の車両用障害物報知装置60では、障害物の種類に応じて表示マークが変わることで、障害物の種類が正しく検知されていることを乗員が把握できる。この結果、自動運転時における乗員の安心感を向上させることができる。その他の作用については第1実施形態と同様である。
以上、実施形態及び変形例について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、歩行者及び周囲の車両を障害物として検知したが、この他の障害物を検知して乗員に知らせるようにしてもよい。路面上の落下物、及び工事現場の領域などを障害物として検知させてもよい。
また、検知された障害物のうち、特定の障害物だけを乗員に知らせるようにしてもよい。例えば、特定の障害物として、歩行者や自車両の側方を走行中の車両だけを乗員に知らせるようにしてもよい。この場合、前方を走行する車両については、乗員の視線が向けられている場合でも強調表示させない。これにより、乗員へ知らせる必要性が低い障害物について乗員へ報知を行わないことで、自動運転時における快適性を向上させることができる。
さらに、上記実施形態では、表示装置23によってウインドシールド14にマークを表示させたが、これに限定されず、他の方法で強調表示を行ってもよい。例えば、ウインドシールド14の前面に透明液晶ディスプレイを設け、この透明液晶ディスプレイにマークを表示させるようにしてもよい。
さらに、上記実施形態では、ウインドシールド14に強調表示を行うことについて説明したが、これに加えて、フロントサイドガラス18にも強調表示を行うようにしてもよい。例えば、フロントサイドガラス18に透明液晶ディスプレイを設け、乗員がフロントサイドガラス18を通じて車外の障害物へ視線を向けた場合に、フロントサイドガラス18にマークを表示させるようにしてもよい。
さらに、上記実施形態でCPU36がソフトウェア(プログラム)を読み込んで実行した処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)などの製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが例示される。また、上記処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせなど)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
さらに、上記実施形態では、ストレージ42を記録部としたが、これに限定されない。例えば、CD(Compact Disk)、DVD(Digital Versatile Disk)、及びUSB(Universal Serial Bus)メモリなどの記録媒体を記録部としてもよい。
10 車両用障害物報知装置
12 車両
14 ウインドシールド
23 表示装置(報知部)
30 指向性スピーカ(報知部)
50 障害物検知部
52 視線検知部
P 歩行者(障害物)
V 車両(障害物)

Claims (5)

  1. 車両の周囲の障害物を検知する障害物検知部と、
    運転席に着座した乗員の視線方向を検知する視線検知部と、
    車両の自動運転時において、前記視線検知部によって検知された乗員の視線が障害物に向けられた場合にのみ、該障害物の存在を表示及び音声の少なくとも一方により乗員に知らせる報知部と、
    を有し、
    障害物と乗員の視線方向とが一致していない場合、前記報知部による該障害物の存在の報知を行わない車両用障害物報知装置。
  2. 前記報知部は、車内と車外とを隔成するウインドシールドに障害物の強調表示を行うことで乗員に障害物の存在を知らせる表示装置を含んで構成されており、
    前記表示装置は、障害物の種類に応じて表示マークを変更する請求項1に記載の車両用障害物報知装置。
  3. 前記報知部は、前記障害物検知部によって検知された障害物のうち、特定の障害物だけを乗員に知らせる請求項1又は2に記載の車両用障害物報知装置。
  4. 前記報知部は、指向性スピーカを含んで構成されており、
    前記指向性スピーカから運転席に着座した乗員へ向けて障害物の情報を出力させる請求項1~3の何れか1項に記載の車両用障害物報知装置。
  5. 前記報知部は、前記障害物検知部によって検知された障害物の位置にマークを表示させる請求項1~3の何れか1項に記載の車両用障害物報知装置。
JP2018202209A 2018-10-26 2018-10-26 車両用障害物報知装置 Active JP7263733B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018202209A JP7263733B2 (ja) 2018-10-26 2018-10-26 車両用障害物報知装置
CN201910812328.6A CN111098783B (zh) 2018-10-26 2019-08-30 车辆用障碍物通知装置
US16/661,134 US11040658B2 (en) 2018-10-26 2019-10-23 Vehicle obstacle informing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018202209A JP7263733B2 (ja) 2018-10-26 2018-10-26 車両用障害物報知装置

Publications (2)

Publication Number Publication Date
JP2020067979A JP2020067979A (ja) 2020-04-30
JP7263733B2 true JP7263733B2 (ja) 2023-04-25

Family

ID=70325027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018202209A Active JP7263733B2 (ja) 2018-10-26 2018-10-26 車両用障害物報知装置

Country Status (3)

Country Link
US (1) US11040658B2 (ja)
JP (1) JP7263733B2 (ja)
CN (1) CN111098783B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11203295B2 (en) * 2017-04-14 2021-12-21 Panasonic Automotive Svstems Company of America, Division of Panasonic Corporation of North America Rearview head up display
JP7440237B2 (ja) 2019-10-16 2024-02-28 トヨタ自動車株式会社 表示装置
JP7234990B2 (ja) * 2020-04-04 2023-03-08 株式会社三洋物産 遊技機
JP7234992B2 (ja) * 2020-04-04 2023-03-08 株式会社三洋物産 遊技機
JP7234991B2 (ja) * 2020-04-04 2023-03-08 株式会社三洋物産 遊技機
JP7234993B2 (ja) * 2020-04-04 2023-03-08 株式会社三洋物産 遊技機
JP7234994B2 (ja) * 2020-04-04 2023-03-08 株式会社三洋物産 遊技機
CN115122910B (zh) * 2021-03-29 2024-09-24 本田技研工业株式会社 车辆用显示装置
JP7517252B2 (ja) * 2021-06-04 2024-07-17 トヨタ自動車株式会社 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007105792A1 (ja) 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
JP2010191666A (ja) 2009-02-18 2010-09-02 Honda Motor Co Ltd 車両の周辺監視装置
JP2012058827A (ja) 2010-09-06 2012-03-22 Denso Corp 運転支援装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230132A (ja) * 1993-02-03 1994-08-19 Nissan Motor Co Ltd 車両用障害物検出装置
JP2002216299A (ja) * 2001-01-17 2002-08-02 Alpine Electronics Inc 障害物通知装置
JP2004130893A (ja) * 2002-10-09 2004-04-30 Fujitsu Ten Ltd 車両障害物検出確認装置
JP2006219077A (ja) 2005-02-14 2006-08-24 Denso Corp 危険個所、障害物等の呼称運転支援装置
JP4683192B2 (ja) * 2005-02-15 2011-05-11 株式会社デンソー 車両用死角監視装置及び車両用運転支援システム
JP4867463B2 (ja) 2006-05-09 2012-02-01 株式会社デンソー 運転支援装置
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP6230132B2 (ja) * 2015-12-21 2017-11-15 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御プログラム、及びゲーム制御装置
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
KR102064223B1 (ko) * 2017-07-12 2020-02-11 엘지전자 주식회사 차량용 주행 시스템 및 차량
KR102436962B1 (ko) * 2017-09-19 2022-08-29 삼성전자주식회사 운송 장치에 구비된 전자 장치 및 이의 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007105792A1 (ja) 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
JP2010191666A (ja) 2009-02-18 2010-09-02 Honda Motor Co Ltd 車両の周辺監視装置
JP2012058827A (ja) 2010-09-06 2012-03-22 Denso Corp 運転支援装置

Also Published As

Publication number Publication date
CN111098783A (zh) 2020-05-05
US20200130580A1 (en) 2020-04-30
JP2020067979A (ja) 2020-04-30
US11040658B2 (en) 2021-06-22
CN111098783B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
JP7263733B2 (ja) 車両用障害物報知装置
JP4134939B2 (ja) 車両周辺表示制御装置
JP5160564B2 (ja) 車両情報表示装置
JP6447468B2 (ja) 運転支援装置
JP4883977B2 (ja) 車両用画像表示装置
JP4846426B2 (ja) 車両周囲監視装置
JP6623906B2 (ja) 車両用表示装置及び車両用表示方法
JP5601930B2 (ja) 車両用表示装置
JP2006227811A (ja) 運転支援装置
JP6922919B2 (ja) 運転支援装置および方法、移動体、並びにプログラム
JP2008221906A (ja) 車両損傷箇所報知システム
JP2005088717A (ja) 自動車用警告装置
JP2010143250A (ja) 後方視認装置
CN113232659B (zh) 死角信息取得装置及方法、车辆及记录了程序的记录介质
JP2009015547A (ja) 運転支援装置および方法、並びに、プログラム
JP2017094922A (ja) 周辺監視装置
JP6954069B2 (ja) 車両用注意喚起装置
US11062149B2 (en) System and method for recording images reflected from a visor
JP2010003086A (ja) ドライブレコーダー
JP2013161440A (ja) 車両周辺監視装置
JP3951559B2 (ja) 車両の表示装置
JP7187949B2 (ja) 拘束装置制御システム
JP7299193B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP7272007B2 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
CN112734981A (zh) 车辆用周围监控装置和车辆用周围监控方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230327

R151 Written notification of patent or utility model registration

Ref document number: 7263733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151