JP6445607B2 - 車両の表示システム及び車両の表示システムの制御方法 - Google Patents

車両の表示システム及び車両の表示システムの制御方法 Download PDF

Info

Publication number
JP6445607B2
JP6445607B2 JP2017050343A JP2017050343A JP6445607B2 JP 6445607 B2 JP6445607 B2 JP 6445607B2 JP 2017050343 A JP2017050343 A JP 2017050343A JP 2017050343 A JP2017050343 A JP 2017050343A JP 6445607 B2 JP6445607 B2 JP 6445607B2
Authority
JP
Japan
Prior art keywords
vehicle
display
distortion
driver
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017050343A
Other languages
English (en)
Other versions
JP2018154153A (ja
Inventor
瑠一 澄川
瑠一 澄川
能英瑠 佐藤
能英瑠 佐藤
武史 鳥居
武史 鳥居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017050343A priority Critical patent/JP6445607B2/ja
Priority to CN201810139593.8A priority patent/CN108621940B/zh
Priority to US15/898,279 priority patent/US10169885B2/en
Publication of JP2018154153A publication Critical patent/JP2018154153A/ja
Application granted granted Critical
Publication of JP6445607B2 publication Critical patent/JP6445607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両の表示システム及び車両の表示システムの制御方法に関する。
従来、例えば下記の特許文献1には、表示ガラスパネルの両面に画像を表示できるようし、表示ガラスパネルの外側の面には、車両の周囲に知らせるためのメッセージが表示されることが記載されている。
また、近時では、顔の画像情報に基づいて人の状態を認識する技術が一般的となっている。例えば、下記の非特許文献1には、顔認識により運転中のドライバの状態を監視する技術が記載されている。
特開2007−52719号公報
丸山 勇人、松岡 敦子、"ドライバーモニタシステムの紹介"、2012年11月、OKIテクニカルレビュー 第220号 Vol.79 No.2
しかしながら、上記特許文献に記載された技術では、表示ガラスパネルの外側に表示されるメッセージが誰に向けて発したメッセージであるかを判別することは困難である
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、表示を視認するどの対象に向けたメッセージなのかを確実に判別することが可能な、新規かつ改良された車両の表示システム及び車両の表示システムの制御方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、車両に設けられた表示装置と、前記車両の車外に存在する対象の位置を取得する位置取得部と、少なくとも前記表示装置の表示面の傾斜及び曲面と前記対象の位置とを使用して、前記車外に存在する前記対象の位置から視認される画像であって前記表示面に表示される画像の歪みを補正する歪補正処理部と、を備える、車両の表示システムが提供される。
前記歪補正処理部は、前記対象が複数存在する場合は、複数の前記対象の位置に応じて、前記表示装置により表示する画像の歪みを補正するものであっても良い。
また、前記歪補正処理部は、複数の前記対象の距離が所定値よりも小さい場合は、複数の前記対象の中間位置を前記対象の位置として、前記表示装置により表示する画像の歪みを補正するものであっても良い。
また、前記歪補正処理部は、複数の前記対象の距離が所定値以上の場合は、複数の前記対象のうち前記車両に近い前記対象の位置に応じて、前記表示装置により表示する画像の歪みを補正するものであっても良い。
また、ドライバが車外の前記対象を認識したか否かを判定するドライバ認識判定部を備え、前記歪補正処理部は、前記ドライバが車外の前記対象を認識した場合は、前記対象の位置に応じて、前記表示装置により表示する画像の歪みを補正するものであっても良い。
また、前記歪補正処理部は、前記ドライバが車外の前記対象を認識していない場合は、前記ドライバの位置に応じて、前記表示装置により表示する画像の歪みを補正することを特徴とするものであっても良い。
また、前記歪補正処理部は、前記ドライバの位置に応じて前記表示装置により表示する画像の歪みを補正した後、所定時間が経過した場合は、前記対象の位置に応じて前記表示装置により表示する画像の歪みを補正するものであっても良い。
また、前記表示装置による表示を制御し、前記歪補正処理部によって歪みが補正された画像を表示する制御を行う表示制御部を更に備えるものであっても良い。
また、上記課題を解決するために、本発明の別の観点によれば、車両に設けられた表示装置を有する車両の表示システムの制御方法であって、前記車両の車外に存在する視認する対象の位置を取得するステップと、少なくとも前記表示装置の表示面の傾斜及び曲面と対象の位置とを使用して、前記車外に存在する前記対象の位置から視認される画像であって前記表示面に表示される画像の歪みを補正するステップと、を備える、車両の表示システムの制御方法が提供される。
本発明によれば、表示を視認するどの対象に向けたメッセージなのかを確実に判別することが可能となる。
本発明の一実施形態に係る車両システムの構成を示す模式図である。 自発光中間膜を用いたHUD装置を示す模式図である。 ドライバセンサがドライバを撮影している状態を示す模式図である。 ドライバの顔領域に基づいて、顔が向いている角度等を算出する様子を示す模式図である。 表示を見せたい対象を車両内のドライバとして歪みを補正した場合を示す模式図である。 図8に示す対象Aに向けて歪みを補正した例を示す模式図である。 図8に示す対象Bに向けて歪みを補正した例を示す模式図である。 車両外に存在する対象A、対象Bと車両との位置関係を示す模式図である。 対象が複数存在する場合の歪み補正の例を示す模式図である。 対象が複数存在する場合の歪み補正の例を示す模式図である。 対象が複数存在する場合の歪み補正の例を示す模式図である。 ドライバが車両外の対象に気付いたか否かを判定する手法を示す模式図である。 本実施形態に係る車両システムで行われる処理を示すフローチャートである。 対象が複数存在する場合の歪み補正の例を示す模式図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図1は、本発明の一実施形態に係る車両の表示システム1000の構成を示す模式図である。車両の表示システム1000は、基本的には自動車などの車両に構成されるシステムである。図1に示すように、車両の表示システム1000は、車外センサ100、ドライバセンサ200、制御装置400、HUD装置500、スピーカ600、シート振動部700を有して構成されている。
車外センサ100は、ステレオカメラ、単眼カメラ、ミリ波レーダ、赤外線センサ等から構成され、自車両周辺の人や車両などの位置、速度を測定する。車外センサ100がステレオカメラから構成される場合、ステレオカメラは、CCDセンサ、CMOSセンサ等の撮像素子を有する左右1対のカメラを有して構成され、車両外の外部環境を撮像し、撮像した画像情報を制御装置400へ送る。一例として、ステレオカメラは、色情報を取得可能なカラーカメラから構成され、車両のフロントガラスの上部に設置される。
HUD(Head− up Display)装置500は、人間の視野に直接情報を映し出す表示装置であって、自動車のフロントガラスやリアガラスなどのガラス上に実像を表示する。HUDは虚像を表示する装置が一般的に知られているが、本実施形態では、実像を映し出す表示装置を用いる。HUD装置500は、実像を表示しているため、視野角がほぼ360°あり、車内外から表示を視認することが可能である。
HUD装置500として、より具体的には、図2に示すような自発光中間膜510を用いる装置を用いることができる。この場合、車両のフロントガラス、リアガラス等において、表裏の2枚のガラス520で挟むように自発光中間膜510を配置する。自発光中間膜510には発光材料が含まれており、車内に設置するプロジェクター530からレーザ光を照射すると、照射された部分が発光し、文字や画像が表示される。表示物は全角度からの視認性を有し、運転席以外の席や、車両外部からも視認することができる。なお、HUD装置500は、自発光タイプのデバイスを車両のガラスに配置することで構成することもできる。この場合、例えば有機EL素子を用いた透明スクリーン、または透過型液晶装置等を用いることもできる。また、表示デバイスとして、HUD装置500以外のデバイスを用いても良く、例えばインパネに設置した大型液晶装置やLED表示装置などを用いても良い。なお、以下では、表示装置として車両の窓部(ガラス)に表示を行うHUD装置500を例に挙げて説明するが、本発明に係る表示装置はこれに限定されるものではなく、車両の内部又は外部に設けられた表示装置の全ての態様を含む。例えば、本実施形態に係る表示装置は、車両外部の窓部以外(ボディーなど)に設けられていても良く、車両内部の窓部以外(インパネ、座席など)に設けられていても良い。また、車両の内部に設けられた表示装置と車両の外部に設けられた表示装置は一体であっても良いし、別体であっても良い。
ドライバセンサ200は、カメラ、視線センサ、モーションセンサ等から構成され、ドライバ(運転者)の頭や腕の動き、視線方向などを測定する。ドライバセンサ200がカメラから構成される場合、カメラが撮像した画像を画像処理することで、頭や腕の動き、視線方向などを取得する。ドライバセンサ200が視線センサから構成される場合、角膜反射法などの方法により視線検出を行う。着座センサ300は、車両内の各座席に設けられ、座席に人が座ったか否かを判定する。スピーカ600は、HUD装置500によって車両の内外へ警告を表示する際に、車両の内外へ警告音を発生させる。シート振動部700は、車両の座席に設けられ、HUD装置500によって車両内へ警告を表示する際に、座席を振動することでドライバ、同乗者へ警告を行う。
制御装置400は、車外センサ100、ドライバセンサ200等が検出した情報に基づいて、HUD装置500による表示を制御する。このため、制御装置400は、環境情報取得部402、ドライバ情報取得部404、歪補正処理部406、環境状態判定部407、距離判定部410、ドライバ認識判定部412、HUD制御部(表示制御部)414を有している。なお、制御装置400の各構成要素は、回路(ハードウェア)、またはCPUなどの中央演算処理装置とこれを機能させるためのプログラム(ソフトウェア)によって構成されることができる。
環境情報取得部(位置取得部)402は、車外センサ100を構成するステレオカメラの左右1組のカメラによって撮像した左右1組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって対象物までの距離情報を生成して取得することができる。同時に、環境情報取得部402は、画像情報から被写体の位置情報を取得することができる。また、環境情報取得部402は、三角測量の原理によって生成した距離情報に対して、周知のグルーピング処理を行い、グルーピング処理した距離情報を予め設定しておいた三次元的な立体物データ等と比較することにより、立体物データや白線データ等を検出する。これにより、制御装置300は、人物、他車両、一時停止の標識、停止線、ETCゲートなどを認識することもできる。
また、環境情報取得部402は、三角測量の原理によって生成した人物、他車両との距離情報を用いて、人物や他車両との距離の変化量、相対速度を算出することができる。距離の変化量は、単位時間ごとに検知されるフレーム画像間の距離を積算することにより求めることができる。また、相対速度は、単位時間ごとに検知される距離を当該単位時間で割ることにより求めることができる。
このように、環境情報取得部402は、車外センサ100から得られる車両外の画像情報を取得して画像分析処理を行い、画像情報を分析して車両外の環境情報を取得する。
図3は、ドライバセンサ200がカメラから構成される場合に、ドライバセンサ200がドライバを撮影している状態を示す模式図である。図3に示すように、ドライバセンサ200は、一例としてステアリングコラムの上部に設置される。
ドライバセンサ200がカメラから構成される場合、ドライバセンサ200によって撮影された画像は、制御装置400に入力される。ドライバ情報取得部404は、入力画像からエッジ検出、顔検出等の画像処理技術を用いてドライバの顔領域を取得し、顔領域に基づいて顔向きを取得する。
図4は、検出されたドライバの顔領域10に基づいて、顔が向いている角度等を算出する様子を示す模式図である。画像情報から得られるドライバの顔領域10に基づいて、ドライバの顔向きが予め定めた領域を外れているか否かをモニタリングすることで、脇見の可能性を判定することができる。なお、ドライバの顔領域10は、目、鼻、口など顔の各部位の特徴点の位置情報から設定できる。また、顔向きは、一例として、正面から見た時の目の間隔を基準とし、この基準と画像情報から得られる目の間隔とを比較することで推定することができる。画像情報から得られる目の間隔が基準値よりも小さい程、顔向きが正面から横向きにずれていると判断できる。
図4の右下には、検知結果20を示している。検知結果20には、縦軸に「顔の上下方向の角度」、横軸に「顔の左右方向の角度」を表示しており、×印30は検知された顔向きを示している。検知結果20において斜線を付した中央部の矩形は、ドライバが正面を向いていると判断する正面領域22を示し、検知された顔向き(×印30)が正面領域22から左右の脇見領域24に変化した場合、脇見の可能性があると判定する。正面領域22と脇見領域24を区別するしきい値は左右±20°程度とすることができるが、適宜変更可能である。
制御装置400の環境状態判定部407は、環境情報取得部402が取得した環境情報に基づいて、車両外の環境情報を判定する。特に、環境状態判定部407は、車両外の対象として人物の状態を判定することができる。距離判定部410は、環境情報取得部402が取得した距離情報に基づいて、車両外の対象と車両との距離、対象同士の距離の大きさを判定する。ドライバ認識判定部412は、環境情報取得部402が取得した車両外の対象(人物)の位置と、ドライバ情報取得部404が取得したドライバの顔向き(又は視線)の方向に基づいて、ドライバが対象に気付いたか否かを判定する。
歪補正処理部406は、HUD装置500による表示を視認する対象の位置に応じて、HUD装置500により表示する画像の歪みを補正する処理を行う。HUD制御部(表示制御部)414は、HUD装置500による表示を制御し、歪補正処理部406によって補正された画像をHUD装置500に表示するための処理を行う。HUD制御部414は、環境状態判定部407、距離判定部410、ドライバ認識判定部412の判定結果に基づいて、HUD装置500による表示を制御することができる。
本実施形態では、HUD装置500により、車両周辺の状況に応じて車内外の誰を対象とした表示なのかが分かるように表示を行う。この際、車両のフロントガラスの傾きや歪みに対し、表示を見せたい対象に向けて表示が見やすくなるように画像を補正する。これにより、表示を見せたい対象以外からは画像が歪んで表示されるため、車内外の誰に向けた表示なのかを容易に判断できる。
また、表示を見せたい対象が複数存在する場合は、対象同士位置の中心地点に向けて歪みを補正して車外表示を行う。但し、対象同士の距離が離れている場合は、距離が近い対象に向けて優先的に車外表示をする。
更に、ドライバセンサ200が検出した情報に基づいて、ドライバが対象に気付いていない場合は、表示を見せたい対象をドライバとし、ドライバ向けに歪みを補正した画像を表示する。ドライバが対象に気付いた場合は、車両外の対象に向けて歪みを補正した画像を表示する。
図5〜図7は、歪補正処理部406により車両内外の対象に向けて歪みを補正した例を示す模式図である。また、図8は、車両外に存在する対象A、対象Bと車両との位置関係を示す模式図である。なお、図8では対象A、対象Bの双方を図示しているが、対象A、対象Bのいずれか一方のみが存在するものとする。図5は、表示を見せたい対象を車両内のドライバとして歪みを補正した場合を示す模式図である。図5に示すように、元の表示図形40が正方形であるものとすると、フロントガラス110の傾斜、曲面と、ドライバの位置とに合わせて、表示図形40の歪みを補正した画像42をフロントガラス110に表示する。図5に示すように、フロントガラス110の傾斜によってフロントガラス110の上部ほどドライバに近くなるため、フロントガラス110の上部ほど画像42の横幅が小さくなるように表示図形40が補正される。また、フロントガラス110の曲面によって発生する表示図形10の歪みが補正される。これにより、ドライバは、フロントガラス110に表示された画像12を視認すると、表示図形10と同様に正方形の図形として認識することができる。
図6は、図8に示す対象Aに向けて歪みを補正した例を示す模式図である。図6に示すように、元の表示図形40が正方形であるものとすると、フロントガラス110の傾斜、曲面と、対象Aの位置とに合わせて、表示図形10の歪みを補正した画像44がフロントガラス110に表示される。これにより、対象Aが画像44を見た場合に、対象Bは、フロントガラス110の傾斜、曲面による歪みが補正された状態で画像44を視認することができ、表示図形40と同様に正方形の図形として認識することができる。特に、画像44では、右上の領域A1が右上方向に伸びた形状とされているため、フロントガラス110の傾斜による表示図形40の歪みを補正することができる。従って、歪みが補正された画像44を視認した対象Aは、画像44が自身に向けた表示であると認識できる。一方、対象A以外の位置から画像44を見ると、元の表示図形40が不自然に歪んで見えるため、対象A以外の対象は、画像44が自身に向けた表示でないと認識できる。
図7は、図8に示す対象Bに向けて歪みを補正した例を示す模式図である。図7に示すように、元の表示図形40が正方形であるものとすると、フロントガラス110の傾斜、曲面と、対象Bの位置とに合わせて、表示図形40の歪みを補正した画像46がフロントガラス110に表示される。これにより、対象Bが画像46を見た場合に、対象Bは、フロントガラス110の傾斜、曲面による歪みが補正された状態で元の表示図形40を視認することができ、表示図形40と同様に正方形の図形として認識することができる。特に、画像46では、左上の領域A2が左上方向に伸びた形状とされているため、フロントガラス110の傾斜による表示図形40の歪みを補正することができる。従って、歪みが補正された画像46を視認した対象Bは、画像46が自身に向けた表示であると認識できる。一方、対象B以外の位置から画像46を見ると、元の表示図形40が不自然に歪んで見えるため、対象B以外の対象は、画像16が自身に向けた表示でないと認識できる。
図9、図10及び図14は、対象が複数存在する場合の歪み補正の例を示す模式図である。ここで、図9は、対象として対象Aと対象Bの2人が存在する例を示しており、対象Aと対象Bとの間の距離Ls[m]が所定のしきい値Y[m]よりも小さい場合を示している。図9に示すように、対象Aと対象Bの距離が比較的小さい場合は、対象Aと対象Bの中間地点Cに向けて歪みを補正する。つまり、元の表示図形40が正方形であるものとすると、フロントガラス110の傾斜、曲面と中間地点Cの位置に合わせて表示図形40の歪みを補正した画像をフロントガラス110に表示する。図14は、対象として対象Aと対象Bと対象Cの3人が存在する例を示しており、3人のうち最も離れている対象Aと対象Bとの間の距離Ls[m]が所定のしきい値Y[m]よりも小さい場合を示している。図14に示すように、3人以上の対象が存在する場合においても、最も離れている対象同士の距離が比較的小さい場合は、対象A、対象B、及び対象Cの中間地点Dに向けて歪みを補正する。つまり、元の表示図形40が正方形であるものとすると、フロントガラス110の傾斜、曲面と中間地点Dの位置に合わせて表示図形40の歪みを補正した画像をフロントガラス110に表示する。
図10は、対象として対象Aと対象Bの2人が存在する例を示しており、対象Aと対象Bとの間の距離Lsが所定のしきい値Y[m]以上の場合を示している。図10に示すように、対象Aと対象Bの距離が比較的大きい場合は、車両700との距離が近い対象Aに向けて歪みを補正する。つまり、元の表示図形40が正方形であるものとすると、フロントガラス110の傾斜、曲面と対象Aの位置に合わせて表示図形40の歪みを補正した画像をフロントガラス110に表示する。
図11は、歪補正処理部406が歪みを補正する際に用いるテーブル800を示す模式図である。図11に示すように、対象の位置に応じて、フロントガラス110のx方向(水平方向)、y方向(フロントガラス110の傾斜に沿った上方向)の補正量がテーブル800によって予め規定されている。対象の位置に応じて、元の表示図形10をテーブル800の補正量に基づいて伸縮させることで、歪みを補正した画像42、画像44、画像46を得ることができる。なお、図11に示すテーブル800の補正値として、フロントガラス110の傾斜、形状(曲率)に関するデータを既知の値として、対象の位置に応じて歪みが最も少なくなる値を予め求めておく。
図12は、ドライバが車両外の対象50に気付いたか否かを判定する手法を示す模式図であって、車両の上方からフロントガラス110を見た状態を示している。図12において、フロントガラス110は、任意の高さの水平面に沿った断面を示している。図12に示すように、車外センサ100により車両外の対象50が検出されると、ドライバの目の位置Eと対象50を結ぶ直線L1が定まる。一方、ドライバ情報取得部404によりドライバの顔向き、又は視線方向を取得することで、顔向きまたは視線方向を示す直線L2が定まる。直線L1の方向と直線L2の方向が一致した場合、または直線L1の方向を中心とする所定角度の範囲に直線L2が含まれる場合、ドライバが車両外の対象50に気付いたと判断できる。なお、ドライバの目の位置Eは、平均的な値をデフォルトとして用いても良いし、ドライバセンサ200をステレオカメラから構成することで、三角測量の原理により取得しても良い。
次に、図13のフローチャートに基づいて、本実施形態に係る車両の表示システム1000で行われる処理について説明する。図13に示す処理は、制御装置400の各構成要素によって行われ、所定の制御周期毎に繰り返し行われる。先ず、ステップS10では、車外センサ100から得られる情報に基づいて、環境情報取得部402が対象までの距離と方向を取得する。ここでは、例えば車両の走行中に併走する他車両を対象として距離と方向を取得する。次のステップS12では、環境情報判定部407が、対象が複数であるか否かを判定し、対象が複数の場合はステップS14へ進む。一方、ステップS12で対象が1つの場合は、ステップS16へ進む。
ステップS16では、ドライバ認識判定部412が、ドライバが対象に気付いているか否かを判定し、ドライバが対象に気付いている場合はステップS18へ進む。ステップS18では、ドライバが対象に気付いているため、対象に向けて歪み補正を行った画像を表示する。この際、併走する他車両に対し、例えば「走行注意」等の警告表示を行うことができる。一方、ステップS16でドライバが対象に気付いていない場合は、ステップS20へ進む。ステップS20では、所定時間(t1秒間)の間だけドライバ向けに歪み補正を行った表示を行う。この際、ドライバに対し、例えば「他車両に注意」等の警告表示を行うことができる。ステップS20の後はステップS18へ進む。
ステップS12からステップS14へ進んだ場合は、対象が複数存在するため、ステップS14において、距離判定部410が対象同士の距離が近いか否かを判定する。具体的には、距離Ls[m]と所定のしきい値Y[m]とを比較し、Ls<Yであるか否かを判定する。そして、ステップS14でLs<Yの場合はステップS22へ進み、Ls≧Yの場合はステップS24へ進む。
ステップS24へ進んだ場合、ステップS24では、ドライバ認識判定部412が、ドライバが対象に気付いているか否かを判定し、ドライバが対象に気付いている場合はステップS26へ進む。ステップS26では、ドライバが対象に気付いているため、複数の対象のうち距離が近い対象に向けて歪み補正を行った画像を表示する。一方、ステップS24でドライバが対象に気付いていない場合は、ステップS28へ進む。ステップS28では、所定時間(t1秒間)の間だけドライバ向けに歪み補正を行った表示を行う。ステップS28の後はステップS26へ進む。
ステップS22へ進んだ場合、ステップS22では、ドライバ認識判定部412が、ドライバが対象に気付いているか否かを判定し、ドライバが対象に気付いている場合はステップS30へ進む。ステップS30では、ドライバが対象に気付いているため、複数の対象の中間位置に向けて歪み補正を行った画像を表示する。一方、ステップS22でドライバが対象に気付いていない場合は、ステップS32へ進む。ステップS32では、所定時間(t1秒間)の間だけドライバ向けに歪み補正を行った表示を行う。ステップS32の後はステップS30へ進む。
ステップS18,S26,S30の後はステップS34へ進む。ステップS34では、対象との距離が離れたか否かを判定する。具体的には、ステップS34では、距離判定部410が、対象が車両のガラスの表示を認識しない程度まで遠く離れたか否かを判定する。そして、ステップS34で対象との距離が離れた場合は、ステップS36へ進み、HUD表示を終了した後、本制御周期での処理を終了する(END)。一方、ステップS34で対象との距離が離れていない場合は、表示を終了することなく、本制御周期での処理を終了する(END)。本制御周期での処理が終了した後は、ステップS10に戻り、次の制御周期での処理が引き続き行われる。
以上説明したように本実施形態によれば、車両のHUD装置500の表示を視認する対象の位置に応じて、表示の歪みを補正するようにした。これにより、表示を見せたい対象に向けて表示が見やすくなるように画像が補正され、表示を見せたい対象以外からは画像が歪んで表示されるため、車内外の誰に向けた表示なのかを容易に判断できる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
100 装置
402 環境情報取得部
406 歪補正処理部
412 ドライバ認識判定部
414 HUD制御部
500 HUD装置

Claims (9)

  1. 車両に設けられた表示装置と、
    前記車両の車外に存在する対象の位置を取得する位置取得部と、
    少なくとも前記表示装置の表示面の傾斜及び曲面と前記対象の位置とを使用して、前記車外に存在する前記対象の位置から視認される画像であって前記表示面に表示される画像の歪みを補正する歪補正処理部と、
    を備えることを特徴とする、車両の表示システム。
  2. 前記歪補正処理部は、前記対象が複数存在する場合は、複数の前記対象の位置に応じて、前記表示装置により表示する画像の歪みを補正することを特徴とする、請求項1に記載の車両の表示システム。
  3. 前記歪補正処理部は、複数の前記対象の距離が所定値よりも小さい場合は、複数の前記対象の中間位置を前記対象の位置として、前記表示装置により表示する画像の歪みを補正することを特徴とする、請求項2に記載の車両の表示システム。
  4. 前記歪補正処理部は、複数の前記対象の距離が所定値以上の場合は、複数の前記対象のうち前記車両に近い前記対象の位置に応じて、前記表示装置により表示する画像の歪みを補正することを特徴とする、請求項2に記載の車両の表示システム。
  5. ドライバが車外の前記対象を認識したか否かを判定するドライバ認識判定部を備え、
    前記歪補正処理部は、前記ドライバが車外の前記対象を認識した場合は、前記対象の位置に応じて、前記表示装置により表示する画像の歪みを補正することを特徴とする、請求項1〜4のいずれかに記載の車両の表示システム。
  6. 前記歪補正処理部は、前記ドライバが車外の前記対象を認識していない場合は、前記ドライバの位置に応じて、前記表示装置により表示する画像の歪みを補正することを特徴とする、請求項5に記載の車両の表示システム。
  7. 前記歪補正処理部は、前記ドライバの位置に応じて前記表示装置により表示する画像の歪みを補正した後、所定時間が経過した場合は、前記対象の位置に応じて前記表示装置により表示する画像の歪みを補正することを特徴とする、請求項6に記載の車両の表示システム。
  8. 前記表示装置による表示を制御し、前記歪補正処理部によって歪みが補正された画像を表示する制御を行う表示制御部を更に備えることを特徴とする、請求項1〜7のいずれかに記載の車両の表示システム。
  9. 車両に設けられた表示装置を有する車両の表示システムの制御方法であって、
    前記車両の車外に存在する視認する対象の位置を取得するステップと、
    少なくとも前記表示装置の表示面の傾斜及び曲面と対象の位置とを使用して、前記車外に存在する前記対象の位置から視認される画像であって前記表示面に表示される画像の歪みを補正するステップと、
    を備えることを特徴とする、車両の表示システムの制御方法。
JP2017050343A 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法 Active JP6445607B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017050343A JP6445607B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法
CN201810139593.8A CN108621940B (zh) 2017-03-15 2018-02-11 车辆的显示系统及车辆的显示系统的控制方法
US15/898,279 US10169885B2 (en) 2017-03-15 2018-02-16 Vehicle display system and method of controlling vehicle display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017050343A JP6445607B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Publications (2)

Publication Number Publication Date
JP2018154153A JP2018154153A (ja) 2018-10-04
JP6445607B2 true JP6445607B2 (ja) 2018-12-26

Family

ID=63520210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017050343A Active JP6445607B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Country Status (3)

Country Link
US (1) US10169885B2 (ja)
JP (1) JP6445607B2 (ja)
CN (1) CN108621940B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101777518B1 (ko) * 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
JP6975003B2 (ja) * 2017-09-29 2021-12-01 株式会社デンソー 周辺監視装置およびその校正方法
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
JP7005112B2 (ja) * 2018-03-05 2022-01-21 矢崎総業株式会社 表示システム、及び、車載システム
CN112823101B (zh) * 2018-10-23 2024-09-20 麦克赛尔株式会社 平视显示器系统
CN109455141A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 随转弯角度自动调节的电子后视镜系统
CN109455142A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 视野融合型全景电子后视镜系统
KR102699149B1 (ko) * 2019-05-07 2024-08-27 현대자동차주식회사 돌출형 내비게이션을 기반으로 자원을 공유한 차량 정보 커뮤니케이션 시스템 및 그에 따른 운영 방법
KR20210096449A (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
JP7357284B2 (ja) * 2020-02-12 2023-10-06 パナソニックIpマネジメント株式会社 描画システム、表示システム、移動体、描画方法及びプログラム
CN113815623B (zh) * 2020-06-11 2023-08-08 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置
JPWO2022130864A1 (ja) * 2020-12-16 2022-06-23
EP4269153A4 (en) * 2021-03-02 2024-07-10 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR PROJECTING AN IMAGE ONTO THE WINDSHIELD OF A VEHICLE AND OPERATING METHOD THEREFOR

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135037A (ja) * 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
JP4740689B2 (ja) * 2005-08-19 2011-08-03 エイディシーテクノロジー株式会社 車載用画像表示装置及び車載用装置
JP2007324643A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd 画像投射装置及び画像投射スクリーン及び画像表示システム
JP2010257249A (ja) * 2009-04-24 2010-11-11 Autonetworks Technologies Ltd 車載防犯装置
US9495876B2 (en) * 2009-07-27 2016-11-15 Magna Electronics Inc. Vehicular camera with on-board microcontroller
TWI549515B (zh) * 2011-10-18 2016-09-11 揚明光學股份有限公司 車用投影系統
JP2014199385A (ja) * 2013-03-15 2014-10-23 日本精機株式会社 表示装置及びその表示方法
JP6032219B2 (ja) * 2014-01-24 2016-11-24 トヨタ自動車株式会社 運転支援装置
JP2015177486A (ja) * 2014-03-18 2015-10-05 カシオ計算機株式会社 投影装置及びプログラム
WO2015186488A1 (ja) * 2014-06-03 2015-12-10 矢崎総業株式会社 車両用投影表示装置
KR101629577B1 (ko) * 2014-12-10 2016-06-13 현대오트론 주식회사 카메라를 이용한 모니터링 방법 및 장치
JP6091586B1 (ja) * 2015-11-12 2017-03-08 三菱電機株式会社 車両用画像処理装置および車両用画像処理システム

Also Published As

Publication number Publication date
US10169885B2 (en) 2019-01-01
CN108621940A (zh) 2018-10-09
US20180268564A1 (en) 2018-09-20
JP2018154153A (ja) 2018-10-04
CN108621940B (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
JP6445607B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6470335B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6470334B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
CN108621941B (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP6453929B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP6655036B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US8536995B2 (en) Information display apparatus and information display method
US20190111844A1 (en) Vehicle device, and non-transitory tangible computer readable medium
JP6512475B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP6669053B2 (ja) ヘッドアップディスプレイシステム
US10289904B2 (en) Vehicle display system and method of controlling vehicle display system
JP2007008382A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP2019148491A (ja) 乗員監視装置
JP2017056909A (ja) 車両用画像表示装置
JP2008037118A (ja) 車両用表示装置
JP7057893B2 (ja) 視認状態判定装置
JP2013026798A (ja) 画像表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181129

R150 Certificate of patent or registration of utility model

Ref document number: 6445607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250