JP6626069B2 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP6626069B2
JP6626069B2 JP2017216975A JP2017216975A JP6626069B2 JP 6626069 B2 JP6626069 B2 JP 6626069B2 JP 2017216975 A JP2017216975 A JP 2017216975A JP 2017216975 A JP2017216975 A JP 2017216975A JP 6626069 B2 JP6626069 B2 JP 6626069B2
Authority
JP
Japan
Prior art keywords
vehicle
intersection
base point
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017216975A
Other languages
English (en)
Other versions
JP2019086479A (ja
Inventor
伴丈 若月
伴丈 若月
一賀 小笠原
一賀 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2017216975A priority Critical patent/JP6626069B2/ja
Priority to US16/177,261 priority patent/US10870350B2/en
Priority to DE102018218955.2A priority patent/DE102018218955B4/de
Priority to CN201811323094.0A priority patent/CN109927552B/zh
Publication of JP2019086479A publication Critical patent/JP2019086479A/ja
Application granted granted Critical
Publication of JP6626069B2 publication Critical patent/JP6626069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • B60K2360/334
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver

Description

本発明は、車両用表示装置に関する。
近年、自動車等の車両には、ヘッドアップディスプレイ(HUD:Head Up Display)等の車両用表示装置を搭載するものがある。車両用表示装置には、表示器に表示される表示画像を反射ミラー等の光学系を介してウインドシールドに投影することで、運転者に虚像として視認させるものがある。例えば、特許文献1では、交差点の像に重畳する矢印図形を分かり易く表示するために、撮影した道路の画像から白線を画像認識することで道路幅を取得し、道路幅に合わせて矢印図形の長さや太さを変更している。また、特許文献1では、現在位置から案内対象の交差点までの距離に応じて矢印図形の形状自体を変えている。
特開2016−90344号公報
しかしながら、上記特許文献1では、道路が平坦でなく起伏があると、交差点の像に重畳する矢印図形が道路から浮いた状態になってしまい、矢印図形が指し示す位置が実際の交差点の位置とずれてしまうことから、運転者が曲がるべき道を誤認する可能性がある。
本発明は、運転者が曲がるべき道の誤認を低減することができる車両用表示装置を提供することを目的とする。
上記目的を達成するため、本発明に係る車両用表示装置は、車両の運転者の前方に表示画像を投影し、前記車両前方の実風景に前記表示画像を重畳して表示する車両用表示装置であって、前記運転者の視点位置を検出する視点位置検出手段と、前記車両前方の実風景を撮像して得られる前方画像から、前記車両前方に延びる車線を挟む一対の着色線の3次元座標を複数取得する3次元座標取得手段と、各前記着色線に沿って複数の前記3次元座標が連続する方向に仮想線をそれぞれ生成する仮想線生成手段と、前記車両前方の指標までの距離情報に基づいて、いずれか一方の前記仮想線上に基点を決定する基点決定手段と、前記基点と前記基点より前記車両側に向かう各前記仮想線上に複数設定される頂点により規定される有限要素モデルが一対の前記仮想線間に複数配列された3次元モデルを生成する3次元モデル生成手段と、前記表示画像の元となる原表示画像を前記3次元モデルに貼り付けてテクスチャマッピングを行い、前記3次元モデルを前記運転者の視点位置から見た際の画像を前記表示画像として表示させる表示制御手段と、を備えることを特徴とする。
また、上記車両用表示装置において、前記指標は、交差点であり、前記基点決定手段は、目的地までの誘導経路のうち、前記交差点における車両の右左折情報、及び、前記交差点の中心までの距離情報に基づいて、前記車両の右側の前記仮想線または左側の前記仮想線のいずれか一方に基点を決定する、ことが好ましい。
また、上記車両用表示装置において、前記基点決定手段は、前記車両が左折する場合、前記交差点の中心までの距離に基づいて、前記車両の左側の前記仮想線上に前記基点を決定し、前記車両が右折する場合、前記交差点の中心までの距離に前記交差点から右折方向に延びる車線の幅を加算した前記交差点までの距離に基づいて、前記車両の右側の前記仮想線上に前記基点を決定する、ことが好ましい。
また、上記車両用表示装置において、前記基点決定手段は、前記車両が右折する場合、前記交差点の中心までの距離に基づいて、前記車両の右側の前記仮想線上に前記基点を決定し、前記車両が左折する場合、前記交差点の中心までの距離に前記交差点から左折方向に延びる車線の幅を加算した前記交差点までの距離に基づいて、前記車両の左側の前記仮想線上に前記基点を決定する、ことが好ましい。
本発明に係る車両用表示装置によれば、運転者が曲がるべき道の誤認を低減することができる、という効果を奏する。
図1は、実施形態に係る車両用表示装置を搭載した車両の概略構成を示す模式図である。 図2は、実施形態に係る車両用表示装置の概略構成を示すブロック図である。 図3は、実施形態に係る車両用表示装置の動作例を示すフローチャート図である。 図4は、実施形態に係る車両用表示装置におけるアイポイント検出の説明図である。 図5は、実施形態に係る車両用表示装置における白線のポイント位置検出の説明図である。 図6は、実施形態に係る車両用表示装置における誘導経路情報の説明図である。 図7は、実施形態に係る車両用表示装置における白線の補間式の説明図である。 図8は、実施形態に係る車両用表示装置における基点位置の説明図である。 図9は、実施形態に係る車両用表示装置における左折時の基点位置の説明図である。 図10は、実施形態に係る車両用表示装置における右折時の基点位置の説明図である。 図11は、実施形態に係る車両用表示装置における道路形状モデルの説明図である。 図12は、実施形態に係る車両用表示装置における道路形状モデルの説明図である。 図13は、実施形態に係る車両用表示装置における表示画像の一例を示す図である。 図14は、実施形態に係る車両用表示装置における表示画像の一例を示す図である。 図15は、実施形態の変形例に係る車両用表示装置における道路形状モデルの説明図である。
以下に、本発明の実施形態に係る車両用表示装置について図面を参照しながら詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。また、下記の実施形態における構成要素は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
[実施形態]
図1に示す本実施形態に係る車両用表示装置1は、例えば、自動車等の車両100に搭載されるHUDである。車両用表示装置1は、装置本体4から車両100のウインドシールド104に表示画像を投影し、ウインドシールド104に投影された表示画像に対応する虚像Sを、車両100の運転者Dの視点位置(アイポイントEP)から視認させるものである。ウインドシールド104は、半透過性を有し、装置本体4から入射する表示光Lを運転者DのアイポイントEPに向けて反射する。アイポイントEPは、運転席106に着座した運転者Dの視点位置である。運転者Dは、ウインドシールド104に投影される表示画像を車両100の進行方向における前方に存在する虚像Sとして視認することができる。表示画像は、装置本体4において、表示器41に表示され、光学系42で反射されてウインドシールド104に投影される。本実施形態における車両用表示装置1は、運転者カメラ2と、車両前方カメラ3と、装置本体4と、ナビゲーション装置5とを含んで構成される。
運転者カメラ2は、車両100の車室内に配置され、運転者Dの顔部を連続して撮像するものである。運転者カメラ2は、視点位置検出手段を構成する。運転者カメラ2は、例えば単眼式のカメラであり、車室内のステアリングコラム105の上部で、かつ運転者Dから見てステアリングホイール101の背後に配置される。運転者カメラ2は、通信線16を介して装置本体4に接続され、撮像した画像を運転者画像20として装置本体4に逐次出力する。運転者画像20は、例えば図4に示すように、運転者Dの顔部を正面視した静止画である。なお、運転者画像20は、動画であってもよい。
車両前方カメラ3は、車両100の車室内に配置され、ウインドシールド104を通して車両前方の実風景を連続して撮像するものである。車両前方カメラ3は、例えば、いわゆるステレオカメラであり、車室内のルーフ103やバックミラー(不図示)に配置される。車両前方カメラ3は、通信線15を介して装置本体4に接続され、撮像した画像を前方画像21として装置本体4に逐次出力する。前方画像21は、例えば図5に示すように、車両前方の実風景を撮像して得られる静止画である。なお、前方画像21は、動画であってもよい。
装置本体4は、表示画像をウインドシールド104に投影するものである。装置本体4は、例えば車両100のインストルメントパネル102の内側に配置されている。インストルメントパネル102の上面には、開口102aが設けられている。装置本体4は、開口102aを介してウインドシールド104に向けて表示光Lを照射することで表示画像を投影する。
ナビゲーション装置5は、いわゆるカーナビであり、車両100の運転者Dに対して自車両の位置や周辺の詳細な地図情報や、目的地への誘導経路情報等を提供する。ナビゲーション装置5は、GPS(Global Positioning System)衛星からの情報等に基づいて自車両の位置を取得する。また、ナビゲーション装置5は、誘導経路情報等を、内部のメモリ(不図示)から読み出したり、通信によって外部から取得する。ナビゲーション装置5は、通信線17を介して制御部13に接続され、誘導経路情報等を要求に応じて制御部13に出力する。
本実施形態における装置本体4は、図2に示すように、白線位置検出部11と、視点位置検出部12と、制御部13と、画像投影部14とを含んで構成される。白線位置検出部11、視点位置検出部12、及び制御部13は、例えば、CPU(Central Processing Unit)、メモリ、及び各種インタフェース等を有するマイクロコントローラ上で機能する部分である。
白線位置検出部11は、3次元座標取得手段であり、入力される前方画像21に基づいて、車両前方に延びる車線22を挟む一対の白線23L(23),23R(23)から複数のポイント位置L0〜Ln,R0〜Rn(n:整数、以下同様)を検出(抽出)するものである。車線22は、例えば対面通行における左側通行区分であり、一方通行における通行区分である。車線22は、図5に示すように、例えば車両前方の交差点Fで車線44と交差する。前方画像21における白線は、例えば白線23のように交差点Fで途切れる場合や、水平方向に沿って車線44を挟む白線もある。そこで、白線位置検出部11は、例えば画像認識処理により前方画像21から全ての白線を検出した後、車両100の進行方向に沿って車両前方に直線状または略直線状(曲線状も含む)に延びる白線群を特定し、当該白線群から複数のポイント位置L0〜Ln,R0〜Rnを抽出する。複数のポイント位置L0〜Ln,R0〜Rnは、車両前方カメラ3の位置を座標原点とする3次元座標で表され、例えばL0(x,y,z)〜Ln(x,y,z),R0(x,y,z)〜Rn(x,y,z)で表される。白線位置検出部11は、複数のポイント位置L0(x,y,z)〜Ln(x,y,z),R0(x,y,z)〜Rn(x,y,z)を制御部13に出力する。
視点位置検出部12は、入力される運転者画像20に基づいて、運転者DのアイポイントEPを検出するものである。視点位置検出部12は、視点位置検出手段を構成する。視点位置検出部12は、例えば、運転者画像20における運転者Dの顔部の眉間の位置に基づいて運転者DのアイポイントEPを検出する。アイポイントEPは、例えば、運転者カメラ2の位置を座標原点とする3次元座標(アイポイントEP(x,y,z))で表される。視点位置検出部12は、アイポイントEP(x,y,z)を制御部13に出力する。
制御部13は、運転者カメラ2、車両前方カメラ3、ナビゲーション装置5、白線位置検出部11、視点位置検出部12、及び画像投影部14との間で通信可能に接続され、これら各部を制御するものである。本実施形態における制御部13は、仮想線生成手段としての機能と、基点決定手段としての機能と、3次元モデル生成手段としての機能と、表示制御手段としての機能とを備える。
制御部13は、仮想線生成手段として、各白線23L,23Rに沿って複数の3次元座標が連続する方向に仮想線をそれぞれ生成する機能を有する。制御部13は、白線23L,23Rの複数のポイント位置L0(x,y,z)〜Ln(x,y,z),R0(x,y,z)〜Rn(x,y,z)を入力する。制御部13は、図7に示すように、白線23Lに沿って複数のポイント位置L0(x,y,z)〜Ln(x,y,z)が連続する方向に、仮想線として補間式43L(43)を生成する。また、制御部13は、白線23Rに沿って複数のポイント位置R0(x,y,z)〜Rn(x,y,z)が連続する方向に補間式43R(43)を生成する。本実施形態における補間式43は、例えば線形補間、ラグランジェ補間、スプライト補間等で構成されるが、これらに限定されるものではない。
制御部13は、基点決定手段として、車両前方の指標までの距離情報に基づいて、図8に示すように、いずれか一方の補間式43L,43R上に基点BPを決定する機能を有する。ここで指標は、例えば目的地までの誘導経路上の交差点Fである。交差点Fは、広義には、十字路、T字路その他2以上の道路が交わる場合における当該2以上の道路(歩道と車道の区別のある道路においては、車道)の交わる部分である。交差点Fは、車線22と車線44とが交差する場所であって、車両前方直近の右折または左折する部分である。車両前方の指標までの距離情報は、図6に示すように、例えば車両100の前方先端から交差点Fの中心Cまでの距離Gである。基点BPは、後述する道路形状モデル45の基準点であり、3次元座標(基点BP(x,y,z))で表される。基点BPは、車両100の右折時と左折時とで異なる補間式43上に決定される。すなわち、右折時の基点BPは補間式43R上に決定され、左折時の基点BPは補間式43L上に決定される。制御部13は、目的地までの誘導経路のうち、交差点Fにおける車両100の右左折情報、及び、交差点Fの中心Cまでの距離情報に基づいて、車両100の右側の補間式43Rまたは左側の補間式43Lのいずれか一方に基点BPを決定する。交差点Fにおける車両100の右左折情報は、ナビゲーション装置5から入力される誘導経路情報に含まれており、例えば図12に示すような誘導図形26を有する原表示画像25である。原表示画像25は、重畳表示する情報であり、表示器41に表示される表示画像の元となるものである。交差点Fの中心Cまでの距離情報は、ナビゲーション装置5から入力される誘導経路情報に含まれる。制御部13は、図9に示すように、車両100が左折する場合、交差点Fの中心Cまでの距離Gに基づいて、車両100の左側の補間式43L上に基点BPL(BP)を決定する。一方、制御部13は、図10に示すように、車両100が右折する場合、交差点Fの中心Cまでの距離Gに交差点Fから右折方向に延びる車線44の幅Wを加算した交差点Fまでの距離(G+W)に基づいて、車両100の右側の補間式43R上に基点BPR(BP)を決定する。基点BPLと基点BPRは、車線44が一方通行である場合、いずれも交差点Fの中心Cまでの距離Gで決定されるが、車線44が対面通行である場合には、互いに異なる距離Gと距離(G+W)で決定される。ここで車線44の幅Wは、例えば道路構造令における車線幅の最小値であり、2.75mである。車線44の幅Wは、例えばナビゲーション装置5から取得されるが、これに限定されるものではない。
制御部13は、3次元モデル生成手段として、図11に示すように、有限要素モデル45aが一対の補間式43L,43R間に複数配列された道路形状モデル45を生成する機能を有する。有限要素モデル45aは、基点BPと、基点BPより車両100側に向かう各補間式43L,43R上に複数設定される頂点VL1(x,y,z)〜VLn(x,y,z),VR1(x,y,z)〜VLn(x,y,z)により規定されるものであり、例えば板ポリゴンである。道路形状モデル45は、基点BPを基準にして、仮想空間に形成される3次元(3D)モデルである。本実施形態における道路形状モデル45は、補間式43L上に設定される頂点VL1(x,y,z)が基点BPLとなる。一方、補間式43R上に設定される頂点VR1(x,y,z)が基点BPRとなる。
制御部13は、表示制御手段として、図12及び図13に示すように、原表示画像25を道路形状モデル45に貼り付けてテクスチャマッピングを行い、道路形状モデル45を運転者DのアイポイントEPから見た際の画像(平面画像)を表示画像25aとして画像投影部14から投影させる機能を有する。制御部13は、テクスチャマッピングされた道路形状モデル45に対して透視投影変換を行って平面画像である表示画像25aを生成する。また、制御部13は、ウインドシールド104及び光学系42に起因する虚像Sの歪みを相殺するように、表示器41が表示する表示画像25aを逆に歪ませる。制御部13は、表示画像25aを画像投影部14に出力する。
画像投影部14は、ウインドシールド104に表示画像25aを投影する。画像投影部14は、表示器41と、光学系42とを含んで構成される。表示器41は、不図示の液晶表示部及びバックライトを有する。液晶表示部は、例えば、TFT−LCD(Thin Film Transistor−Liquid Crystal Display)等で構成される。バックライトは、液晶表示部の背面側から光を照射して、液晶表示部に表示された画像を光学系42に向けて投影する。光学系42は、表示器41から投影された画像をウインドシールド104に向けて反射する。光学系42により反射された画像は、ウインドシールド104によって運転者Dに向けて投影される。
次に、本実施形態に係る車両用表示装置1の動作について図3を参照して説明する。本処理は、車両100の始動(例えば、イグニッションスイッチON)と共に実行され、車両100の停止(例えば、イグニッションスイッチOFF)と共に終了するが、これに限定されるものではない。また、図示の各ステップは、図示の順に限定されるものではない。
まず、ステップS1では、視点位置検出部12は、運転者画像20から、運転者DのアイポイントEP(x,y,z)を検出する。視点位置検出部12は、検出した運転者DのアイポイントEP(x,y,z)を制御部13に出力する。
次に、ステップS2では、白線位置検出部11は、前方画像21から、白線23L,23Rの複数のポイント位置L0(x,y,z)〜Ln(x,y,z),R0(x,y,z)〜Rn(x,y,z)を検出する。白線位置検出部11は、例えば、前方画像21において、白線23L,23Rを特定し、各白線23L,23R上の複数の点をポイント位置L0〜L5,R0〜R5としてサンプリングする。白線位置検出部11は、車両100から各ポイント位置L0〜L5,R0〜R5までの距離を求め、各ポイント位置L0〜L5,R0〜R5の3次元座標を検出する。白線位置検出部11は、検出したポイント位置L0(x,y,z)〜L5(x,y,z)、R0(x,y,z)〜R5(x,y,z)を制御部13に出力する。
次に、ステップS3では、制御部13は、ナビゲーション装置5から誘導経路情報を取得する。この誘導経路情報には、少なくとも交差点Fの右左折情報、交差点Fの中心Cまでの距離情報が含まれる。
次に、ステップS4では、制御部13は、白線23L,23Rの複数のポイント位置L0(x,y,z)〜Ln(x,y,z)、R0(x,y,z)〜Rn(x,y,z)から、白線23L,23Rの補間式43L,43Rを生成する。
次に、ステップS5では、制御部13は、誘導経路情報と白線23L,23Rの補間式43L,43Rから、基点BPL,BPRを求める。
次に、ステップS6では、制御部13は、白線23L,23Rの補間式43L,43Rと基点BPL,BPRから道路形状モデル45を生成する。制御部13は、基点BPと、基点BPより車両100側に向かう各補間式43L,43R上に複数設定される頂点VL1(x,y,z)〜VL6(x,y,z),VR1(x,y,z)〜VL6(x,y,z)により有限要素モデル45aを規定する。制御部13は、複数の有限要素モデル45aを一対の補間式43L,43R間に配列して道路形状モデル45を生成する。なお、補間式43L,43Rが曲線である場合、頂点VL,VRの数を増やせば、曲線に近くなる。
次に、ステップS7では、制御部13は、道路形状モデル45に対して、誘導経路情報に基づくテクスチャを貼り付ける。制御部13は、原表示画像25を道路形状モデル45に貼り付けてテクスチャマッピングを行う。
次に、ステップS8では、制御部13は、テクスチャマッピングされた道路形状モデル45の透視投影変換を行う。制御部13は、図13に示すように、道路形状モデル45を運転者DのアイポイントEPから見た際の画像を表示画像25aとする。
ステップS9では、制御部13は、ウインドシールド104に投影する表示画像25aの歪みの補正を行い、画像投影部14により実風景に重畳して表示させる。
以上のように、本実施形態に係る車両用表示装置1は、車両前方に延びる一対の白線23L,23Rと交差点Fまでの距離Gに基づいて基点BPを決定し、基点BPを基準に道路形状モデル45を生成し、原表示画像25をテクスチャマッピングした道路形状モデル45に対して透視投影変換を行って表示画像25aを生成する。これにより、例えば、図14に示すように、車両前方の道路に下り傾斜があっても、表示画像25aが指示する方向と、実風景における交差点Fの右折方向または左折方向と合わせることが可能となり、運転者Dが曲がるべき道の誤認を低減することができる。また、車両用表示装置1は、前方画像21から、車両前方に延びる車線22を挟む一対の白線23L,23Rのポイント位置L0(x,y,z)〜Ln(x,y,z),R0(x,y,z)〜Rn(x,y,z)を取得する。これにより、車両前方の道路形状を容易に認識することが可能となる。また、車両用表示装置1は、各白線23L,23Rに沿って複数のポイント位置L0(x,y,z)〜Ln(x,y,z),R0(x,y,z)〜Rn(x,y,z)が連続する方向に補間式43L,43Rを生成する。これにより、例えば白線23L,23Rが途切れている交差点F上であっても基点BPを容易に決定することができる。また、車両用表示装置1は、車両前方の交差点Fまでの距離情報に基づいて、いずれか一方の補間式43上に基点BPを決定するので、道路形状モデル45の基準となる基点BPを交差点Fに合わせて精度よく決定することができる。また、車両用表示装置1は、基点BPと、複数設定される頂点VL1(x,y,z)〜VLn(x,y,z),VR1(x,y,z)〜VLn(x,y,z)により規定される有限要素モデル45aが一対の補間式43L,43R間に複数配列された道路形状モデル45を生成する。これにより、重畳表示する情報ごとに新たな3次元モデルを生成する必要がなくなり、重畳描画処理の共通化を図ることができる。その結果、開発費を抑えることができ、装置のローコスト化を図ることができる。また、車両用表示装置1は、原表示画像25を道路形状モデル45に貼り付けてテクスチャマッピングを行い、道路形状モデル45を運転者DのアイポイントEPから見た際の画像を表示画像25aとして表示させる。これにより、重畳表示する情報を道路形状モデル45に貼り付けるだけで済むので、例えば表示画像25aの変更が容易になる。
また、本実施形態に係る車両用表示装置1は、目的地までの誘導経路のうち、交差点Fにおける車両100の右左折情報、及び、交差点Fまでの距離情報に基づいて、車両100の右側の補間式43Rまたは左側の補間式43Lのいずれか一方に基点BPを決定する。これにより、車両前方の道路に起伏があっても、実風景に合わせて精度よく道路形状モデル45を生成することができる。
また、本実施形態に係る車両用表示装置1は、車両100が左折する場合、交差点Fの中心Cまでの距離Gに基づいて、車両100の左側の補間式43L上に基点BPLを決定し、右折する場合、交差点Fの中心Cまでの距離Gに交差点Fから右折方向に延びる車線44の幅Wを加算した交差点Fまでの距離に基づいて、車両100の右側の補間式43R上に基点BPRを決定する。これにより、交差点Fから右折方向に延びる車線44が対面通行であっても、実風景に合わせて精度よく道路形状モデル45を生成することができる。
なお、上記実施形態では、車両100の交通環境が左側通行を前提としているが、これに限定されるものではない。右側通行では、制御部13は、車両100が右折する場合、交差点Fの中心Cまでの距離Gに基づいて、車両100の右側の補間式43R上に基点BPRを決定する。一方、車両100が左折する場合、交差点Fの中心Cまでの距離Gに交差点Fから左折方向に延びる車線44の幅Wを加算した交差点Fまでの距離に基づいて、車両100の左側の補間式43L上に基点BPLを決定する。このように構成することで、車両100の交通環境が右側通行であっても、上述した車両用表示装置1と同様の効果を得ることができる。
また、上記実施形態では、道路形状モデル45に対して、誘導図形26を有する原表示画像25をテクスチャとして貼り付けているが、これに限定されるものではなく、例えば、図15に示す停止可能距離27を有する原表示画像25であってもよい。停止可能距離27は、車両100が停止するために必要な距離であり、水平方向に延在する棒状の図形で表されたものである。この場合、車両100の走行速度に応じて基点BPの位置を決定し、道路形状モデル45を生成することで、車両前方の道路に起伏があっても、精度よく停止可能距離27を表示することが可能となる。
また、上記実施形態では、車両前方の指標までの距離情報は、車両100の前方先端から交差点Fの中心Cまでの距離Gであると説明したが、これに限定されるものではなく、指標までの距離を誤差なく得られる値であればよい。例えば、車両前方カメラ3から指標までの距離であってもよい。
また、上記実施形態では、車両前方カメラ3は、いわゆるステレオカメラ等の複眼式のカメラであるが、これに限定されるものではなく、単眼カメラでもよい。すなわち、白線23L,23Rの複数のポイント位置L0(x,y,z)〜Ln(x,y,z),R0(x,y,z)〜Rn(x,y,z)の検出が可能であれば、単眼カメラであってもよい。
また、上記実施形態では、制御部13は、表示画像25aを、画像投影部14により実風景に重畳して表示しているが、車線22上の道路標示(不図示)と重ならない位置に配置することが好ましい。
また、上記実施形態では、白線位置検出部11は、前方画像21から、車両前方に延びる白線23を検出しているが、これに限定されるものではなく、黄線(黄色線)であってもよいし、白線と黄線の組み合わせであってもよい。白線及び黄線は、実線であっても、破線であってもよいし、それらの組み合わせであってもよい。
また、上記実施形態では、運転者カメラ2及び車両前方カメラ3は、それぞれが有線により装置本体4に接続されているが、無線により接続されていてもよい。これにより、配線作業が不要となる。
また、上記実施形態では、制御部13は、ナビゲーション装置5から原表示画像25を取得しているが、これに限定されるものではない。例えば、制御部13が無線通信により外部から誘導経路情報等を取得するように構成されていてもよい。
また、上記実施形態では、制御部13は、白線検知を行って道路形状モデル45を生成しているが、これに限定されるものではない。制御部13は、例えばナビゲーション装置5から道路形状データを取得し、当該道路形状データと交差点Fまでの距離情報に基づいて、道路形状モデル45を生成してもよい。この場合、例えば傾斜計により車両100の傾斜角度を取得し、透視投影変換時に傾斜角度に基づいてアイポイントEPの視線角度を調整することで実現することが可能となる。
1 車両用表示装置
2 運転者カメラ
3 車両前方カメラ
4 装置本体
5 ナビゲーション装置
11 白線位置検出部
12 視点位置検出部
13 制御部
14 画像投影部
20 運転者画像
21 前方画像
22,44 車線
23,23L,23R 白線
25 原表示画像
25a 表示画像
26 誘導図形
43,43L,43R 補間式
45 道路形状モデル
45a 有限要素モデル
100 車両
104 ウインドシールド
BP,BPL,BPR 基点
D 運転者
F 交差点
EP アイポイント
S 虚像

Claims (4)

  1. 車両の運転者の前方に表示画像を投影し、前記車両前方の実風景に前記表示画像を重畳して表示する車両用表示装置であって、
    前記運転者の視点位置を検出する視点位置検出手段と、
    前記車両前方の実風景を撮像して得られる前方画像から、前記車両前方に延びる車線を挟む一対の着色線の3次元座標を複数取得する3次元座標取得手段と、
    各前記着色線に沿って複数の前記3次元座標が連続する方向に仮想線をそれぞれ生成する仮想線生成手段と、
    前記車両前方の指標までの距離情報に基づいて、いずれか一方の前記仮想線上に基点を決定する基点決定手段と、
    前記基点と前記基点より前記車両側に向かう各前記仮想線上に複数設定される頂点により規定される有限要素モデルが一対の前記仮想線間に複数配列された3次元モデルを生成する3次元モデル生成手段と、
    前記表示画像の元となる原表示画像を前記3次元モデルに貼り付けてテクスチャマッピングを行い、前記3次元モデルを前記運転者の視点位置から見た際の画像を前記表示画像として表示させる表示制御手段と、
    を備えることを特徴とする車両用表示装置。
  2. 前記指標は、
    交差点であり、
    前記基点決定手段は、
    目的地までの誘導経路のうち、前記交差点における車両の右左折情報、及び、前記交差点までの距離情報に基づいて、前記車両の右側の前記仮想線または左側の前記仮想線のいずれか一方に基点を決定する、
    請求項1に記載の車両用表示装置。
  3. 前記基点決定手段は、
    前記車両が左折する場合、前記交差点の中心までの距離に基づいて、前記車両の左側の前記仮想線上に前記基点を決定し、
    前記車両が右折する場合、前記交差点の中心までの距離に前記交差点から右折方向に延びる車線の幅を加算した前記交差点までの距離に基づいて、前記車両の右側の前記仮想線上に前記基点を決定する、
    請求項2に記載の車両用表示装置。
  4. 前記基点決定手段は、
    前記車両が右折する場合、前記交差点の中心までの距離に基づいて、前記車両の右側の前記仮想線上に前記基点を決定し、
    前記車両が左折する場合、前記交差点の中心までの距離に前記交差点から左折方向に延びる車線の幅を加算した前記交差点までの距離に基づいて、前記車両の左側の前記仮想線上に前記基点を決定する、
    請求項2に記載の車両用表示装置。
JP2017216975A 2017-11-10 2017-11-10 車両用表示装置 Active JP6626069B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017216975A JP6626069B2 (ja) 2017-11-10 2017-11-10 車両用表示装置
US16/177,261 US10870350B2 (en) 2017-11-10 2018-10-31 Vehicle display device for overlapping display image on real landscape
DE102018218955.2A DE102018218955B4 (de) 2017-11-10 2018-11-07 Fahrzeuganzeigevorrichtung
CN201811323094.0A CN109927552B (zh) 2017-11-10 2018-11-08 车辆用显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017216975A JP6626069B2 (ja) 2017-11-10 2017-11-10 車両用表示装置

Publications (2)

Publication Number Publication Date
JP2019086479A JP2019086479A (ja) 2019-06-06
JP6626069B2 true JP6626069B2 (ja) 2019-12-25

Family

ID=66335840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017216975A Active JP6626069B2 (ja) 2017-11-10 2017-11-10 車両用表示装置

Country Status (4)

Country Link
US (1) US10870350B2 (ja)
JP (1) JP6626069B2 (ja)
CN (1) CN109927552B (ja)
DE (1) DE102018218955B4 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018147066A1 (ja) * 2017-02-08 2018-08-16 株式会社デンソー 車両用表示制御装置
KR20200044212A (ko) * 2018-10-11 2020-04-29 현대자동차주식회사 차량의 표시 제어 장치 및 방법
US11350042B2 (en) 2020-04-08 2022-05-31 Gopro, Inc. Field variable tone mapping for 360 content
US11562576B2 (en) * 2020-08-05 2023-01-24 GM Global Technology Operations LLC Dynamic adjustment of augmented reality image
DE102020130227A1 (de) 2020-11-16 2022-05-19 Bayerische Motoren Werke Aktiengesellschaft Anzeigesystem zur Anzeige eines Bildes in einem Innenraum eines Kraftfahrzeuges sowie hiermit ausgestattetes Kraftfahrzeug
CN113627273B (zh) * 2021-07-19 2023-05-26 成都圭目机器人有限公司 一种基于视觉的高速公路里程桩号定位方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07257228A (ja) * 1994-03-18 1995-10-09 Nissan Motor Co Ltd 車両用表示装置
JPH10274537A (ja) * 1997-03-31 1998-10-13 Toyota Motor Corp 車両用案内表示装置
JP4609695B2 (ja) * 2003-10-21 2011-01-12 日本精機株式会社 車両用表示装置
US8521411B2 (en) * 2004-06-03 2013-08-27 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
EP1798648B1 (en) * 2005-12-13 2017-03-15 Sumitomo Rubber Industries, Ltd. Method for pneumatic tire simulation
JP4819553B2 (ja) * 2006-04-04 2011-11-24 クラリオン株式会社 ナビゲーション装置
JP2008309529A (ja) 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP5327025B2 (ja) * 2009-12-03 2013-10-30 アイシン・エィ・ダブリュ株式会社 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP5502448B2 (ja) * 2009-12-17 2014-05-28 富士重工業株式会社 路面形状認識装置
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
DE102011006347B4 (de) * 2011-03-29 2023-02-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von grafischen Fahrhinweisen
KR20120113579A (ko) * 2011-04-05 2012-10-15 현대자동차주식회사 길안내 정보의 윈드쉴드 표시 장치 및 그 방법
JP5935636B2 (ja) * 2012-09-28 2016-06-15 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
JP6524417B2 (ja) * 2014-02-05 2019-06-05 パナソニックIpマネジメント株式会社 車両用表示装置および車両用表示装置の表示方法
US9677898B2 (en) * 2014-06-17 2017-06-13 Think Ware Corporation Electronic apparatus and control method thereof
EP3150443B1 (en) * 2014-07-01 2019-08-21 Nissan Motor Co., Ltd Display device for vehicle and display method for vehicle
JP2016090344A (ja) 2014-10-31 2016-05-23 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、及びナビゲーションプログラム
EP3072710B1 (en) * 2015-03-24 2018-03-28 LG Electronics Inc. Vehicle, mobile terminal and method for controlling the same
JP6265179B2 (ja) * 2015-08-03 2018-01-24 トヨタ自動車株式会社 表示装置
JP6512449B2 (ja) * 2016-01-20 2019-05-15 パナソニックIpマネジメント株式会社 表示装置
JP6669569B2 (ja) * 2016-04-04 2020-03-18 アルパイン株式会社 車両用周辺監視装置

Also Published As

Publication number Publication date
US20190143816A1 (en) 2019-05-16
CN109927552A (zh) 2019-06-25
DE102018218955B4 (de) 2024-03-28
JP2019086479A (ja) 2019-06-06
DE102018218955A1 (de) 2019-05-16
US10870350B2 (en) 2020-12-22
CN109927552B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
JP6626069B2 (ja) 車両用表示装置
JP6700623B2 (ja) 走行支援装置及びコンピュータプログラム
US11535155B2 (en) Superimposed-image display device and computer program
KR101558353B1 (ko) 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
WO2019097755A1 (ja) 表示装置及びコンピュータプログラム
US11525694B2 (en) Superimposed-image display device and computer program
CN110001400B (zh) 车辆用显示装置
US20190080496A1 (en) Vehicle display device and display control method
US20120235805A1 (en) Information display apparatus and information display method
EP1961613A2 (en) Driving support method and driving support device
CN103140377A (zh) 用于在显示装置上显示图像的方法和驾驶员辅助系统
JP4784572B2 (ja) 運転支援方法及び運転支援装置
JP2007102691A (ja) 車両用視界支援装置
JP7151073B2 (ja) 表示装置及びコンピュータプログラム
KR20150055183A (ko) 헤드업 디스플레이를 이용한 차선 표시 장치 및 방법
WO2018173512A1 (ja) 車両用表示制御装置及び車両用表示ユニット
CN109421535B (zh) 车辆用显示装置和显示控制方法
WO2016088151A1 (ja) 車載用表示装置、車両及び表示方法
JP7313896B2 (ja) 車両用表示装置
JP6984341B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2019117581A (ja) 車両
US20240101138A1 (en) Display system
TWM521172U (zh) 行車導航裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191128

R150 Certificate of patent or registration of utility model

Ref document number: 6626069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250