JP5267727B2 - 画像位置調整装置 - Google Patents

画像位置調整装置 Download PDF

Info

Publication number
JP5267727B2
JP5267727B2 JP2012504228A JP2012504228A JP5267727B2 JP 5267727 B2 JP5267727 B2 JP 5267727B2 JP 2012504228 A JP2012504228 A JP 2012504228A JP 2012504228 A JP2012504228 A JP 2012504228A JP 5267727 B2 JP5267727 B2 JP 5267727B2
Authority
JP
Japan
Prior art keywords
light
image
line
infrared light
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012504228A
Other languages
English (en)
Other versions
JPWO2011111201A1 (ja
Inventor
光 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JPWO2011111201A1 publication Critical patent/JPWO2011111201A1/ja
Application granted granted Critical
Publication of JP5267727B2 publication Critical patent/JP5267727B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50Instruments characterised by their means of attachment to or integration in the vehicle
    • B60K35/53Movable instruments, e.g. slidable
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50Instruments characterised by their means of attachment to or integration in the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00Dashboards
    • B60K37/20Dashboard panels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Description

本発明は、利用者の視線位置に応じて画像の位置を調整する画像位置調整装置に関する。
従来、利用者の視線位置に応じて画像の位置を調整する画像位置調整装置として、例えば特許文献1に記載されたものが知られている。特許文献1には、運転者の視界内に画像を映し出すHUD[Head Up Display]装置において、画像表示用の可視光を出射する可視光源と、赤外光を出射する赤外光源と、赤外光により運転者の視線位置を検出する視線位置検出手段と、を備え、検出した運転者の視線位置に応じて画像の位置を調整するものが記載されている。
特開2008−155720号公報
ところで、前述のような画像位置調整機能を備えたHUD装置は車両の車室内に設けられるため、装置の大きさに応じて車室内のスペースが狭められてしまう。このため、装置の更なる小型化が望まれている。
そこで、本発明は、小型化を図ることができる画像位置調整装置を提供することを目的とする。
上記課題を解決するため、本発明に係る画像位置調整装置は、可視光及び赤外光を出射する光源部と、可視光を反射させると共に、赤外光を透過させる第1の可動反射手段と、第1の可動反射手段を透過した赤外光を反射する第2の可動反射手段と、第1の可動反射手段が反射した可視光により画像が表示される表示手段と、第2の可動反射手段で反射された赤外光を利用者に反射した反射光を用いて利用者を撮像することで利用者の視線位置を検出する視線位置検出手段と、を備え、視線位置検出手段の検出した視線位置に応じて画像の位置を調整することを特徴とする。
本発明に係る画像位置調整装置によれば、利用者を撮像して視線位置を検出し、視線位置に応じて画像の位置を見やすい位置に調整することができるので、利用者に対する利便性の向上を図ることができる。しかも、この画像位置調整装置では、画像表示に用いられる可視光と利用者の視線位置の検出に用いられる赤外光とを同一の光源部から出射する構成とすることで、画像表示用の可視光源部と視線位置検出用の赤外光源部とを別々の場所に設ける場合と比べて装置の小型化を図ることできる。
また、本発明に係る画像位置調整装置においては、赤外光はレーザ光であることが好ましい。
この画像位置調整装置によれば、白熱光等と比べて外乱光の影響を受けにくいレーザ光により視線位置を検出することで、誤検出の発生を抑制できるので、視線位置の検出に係る信頼性の向上を図ることができる。
また、本発明に係る画像位置調整装置においては、可視光及び赤外光を第1の可動反射手段に向けて反射させる第3の可動反射手段を更に備えたことが好ましい。
この画像位置調整装置によれば、赤外光は第3の可動反射手段及び第2の可動反射手段によって二重に反射されるので、第3の可動反射手段の可動範囲及び第2の可動反射手段の可動範囲に応じた広い範囲に赤外光の投射範囲を拡大することができる。従って、この画像位置調整装置によれば、利用者に対する赤外光の投射範囲が拡大されるので、広範囲で利用者を撮像でき、利用者の視線位置の検出に係る信頼性の向上を図ることができる。
本発明によれば画像位置調整装置の小型化を図ることができる。
本発明に係るHUD装置の第1の実施形態を示す図である。 運転者の3次元画像情報の取得を説明するための図である。 第1の実施形態に係るHUD装置の制御の流れを示すフローチャートである。 本発明に係るHUD装置の第2の実施形態を示す図である。
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。
[第1の実施形態]
図1に示されるように、第1の実施形態に係るHUD[Head Up Display]装置1は、車速情報や道路形状情報等の画像Gを運転者Dの視界内でウインドシールドガラスFに表示する装置である。HUD装置1は、画像Gの位置を調整する画像位置調整装置としての機能を有している。HUD装置1は、車両のインストルメントパネル内部に設けられている。
HUD装置1は、光源部2、光学系3、及びCMOS[Complementary Metal Oxide Semiconductor]センサ4を備えている。さらに、HUD装置1は、第1の画像処理部5、第2の画像処理部6、制御部7、及び駆動部8を備えている。
光源部2は、レーザ光Lを出射するレーザ光源を有している。レーザ光Lには、可視光RGB及び赤外光IRの波長成分が含まれる。光源部2から出射されたレーザ光Lは、光学系3を介してウインドシールドガラスFに投射される。ウインドシールドガラスFは、請求の範囲に記載の表示手段として機能する。
光学系3は、固定ミラー10、第1のスキャナミラー11、可動コールドミラー12、及び第2のスキャナミラー13から構成されている。固定ミラー10は、光源部2から出射されたレーザ光Lを第1のスキャナミラー11に向けて反射する。
第1のスキャナミラー11は、固定ミラー10で反射されたレーザ光Lを可動コールドミラー12に向けて反射させる平面ミラーである。第1のスキャナミラー11は、その反射面と平行且つ互いに直交する二つの回転軸L1,L2を有している。第1のスキャナミラー11は、回転軸L1,L2を中心に回動して反射角度を変えることで、レーザ光Lの走査を行う。第1のスキャナミラー11は、可動コールドミラー12に反射されたレーザ光Lの可視光RGBが2次元の画像Gを描けるように走査を行う。第1のスキャナミラー11は、請求の範囲に記載の第3の可動反射手段として機能する。
可動コールドミラー12は、可視光RGBをウインドシールドガラスFに向けて反射させると共に、赤外光IRを透過させる平板状のコールドミラーである。可動コールドミラー12は、その反射面に平行な回転軸Mを有している。可動コールドミラー12は、回転軸Mを中心に揺動して反射角度を変えることで、可視光RGBによってウインドシールドガラスFに投影される画像Gの上下方向(図1の矢印A方向)の位置を調整する。可動コールドミラー12は、請求の範囲に記載の第1の可動反射手段として機能する。
第2のスキャナミラー13は、可動コールドミラー12を透過した赤外光IRをウインドシールドガラスFに向けて反射させる平面ミラーである。第2のスキャナミラー13は、可動コールドミラー12の背面側に配置されている。第2のスキャナミラー13は、その反射面と平行且つ互いに直交する二つの回転軸N1,N2を有している。第2のスキャナミラー13は、回転軸N1,N2を中心に回動して反射角度を変えることで、赤外光IRの投射範囲を拡大させる。図1の破線Rは、赤外光IRの投射範囲を示している。第2のスキャナミラー13は、請求の範囲に記載の第2の可動反射手段として機能する。
第2のスキャナミラー13で反射された赤外光IRは、ウインドシールドガラスFで再び反射され、運転者Dに向かって投射される。運転者Dに対して投射された赤外光IRの一部は、運転者Dの表面で反射されて反射光となり、更にウインドシールドガラスFで反射されて第2のスキャナミラー13側に戻ってくる。
CMOSセンサ4は、赤外光IRを検出する撮像素子である。CMOSセンサ4は、インストルメントパネルの内部で第2のスキャナミラー13の近辺に配置されている。また、CMOSセンサ4は、第1の画像処理部5と電気的に接続されている。CMOSセンサ4は、運転者Dの表面で反射された赤外光IR(反射光)を検出することで運転者Dの撮像を行う。CMOSセンサ4は、撮像した運転者Dに関する情報を撮像信号として第1の画像処理部5に出力する。
第1の画像処理部5は、画像処理によって運転者Dの視線位置を検出する。ここで、第1の画像処理部5における運転者Dの視線位置を検出について図面を参照して説明する。図1及び図2に示されるように、第1の画像処理部5は、CMOSセンサ4及び制御部7と電気的に接続されている。第1の画像処理部5は、制御部7から入力される発光信号に基づいて光源部2におけるレーザ光Lすなわち赤外光IRの発光タイミングtを取得する。また、第1の画像処理部5は、CMOSセンサ4の撮像信号から赤外光IRの受光タイミングtを取得する。そして、第1の画像処理部5は、赤外光IRの発光タイミングtと受光タイミングtとの差Δtから、深さ方向(運転者Dに対する赤外光IRの進行方向)の画像情報を算出する。第1の画像処理部5は、CMOSセンサ4の撮像信号に含まれる運転者Dの2次元画像情報と算出した深さ方向の画像情報とから運転者Dの3次元画像情報を取得する。第1の画像処理部5は、運転者Dの3次元画像情報に基づいて運転者Dの視線位置を検出する。運転者Dの視線位置は、例えば運転者Dの顔の向きから検出される。第1の画像処理部5は、検出した運転者Dの視線位置に関する情報を視線位置信号として制御部7に出力する。
第2の画像処理部6は、ウインドシールドガラスFに投影される画像内容を生成する。第2の画像処理部6は図示しない車両制御用ECU[Electronic Control Unit]と電気的に接続されており、車両制御用ECUから入力された車速情報や道路形状情報に応じて画像内容を生成する。第2の画像処理部6は、生成した画像内容に関する画像信号を制御部7及び駆動部8に出力する。
制御部7は、HUD装置1を統括的な制御を行う。制御部7は、第1の画像処理部5、第2の画像処理部6、及び駆動部8と電気的に接続されている。制御部7は、駆動部8を介して光源部2の光の出射制御を行う。また、制御部7は、第1のスキャナミラー11、可動コールドミラー12、及び第2のスキャナミラー13と電気的に接続されている。制御部7は、第1のスキャナミラー11、可動コールドミラー12、及び第2のスキャナミラー13の駆動制御を行う。制御部7は、第2の画像処理部6の画像信号に応じてミラー11〜13の駆動制御を行う。また、制御部7は、駆動部8による光源部2の光の出射制御に同期させてミラー11〜13の駆動制御を行う。
制御部7は、第1の画像処理部5の視線位置信号に基づいて、画像Gの位置の調整が必要か否かを判定する。制御部7は、運転者Dにとって見やすい位置にするため画像Gの位置の調整が必要であると判定した場合、運転者Dの視線位置に追従して画像Gの位置を移動させるための追従演算を行う。制御部7は、追従演算の結果に応じて可動コールドミラー12を駆動させることにより、ウインドシールドガラスFに投影される画像Gの位置を調整する。また、制御部7は、第1の画像処理部5の視線位置信号に基づいて、運転者Dの目に光が直接入らないようにするための投射禁止エリアを設定する。
駆動部8は、制御部7の制御信号及び第2の画像処理部6の画像信号に基づいて光源部2の駆動制御を行う。駆動部8は、光源部2の出射開始及び停止に関する出射制御やレーザ光の変調制御を行う。駆動部8は、制御部7の設定した投射禁止エリアにレーザ光が投射されないように制御する。
次に、第1の実施形態に係るHUD装置1の制御の流れについて図面を参照して説明する。
図3に示されるように、まず、このHUD装置1では、駆動部8により光源部2からレーザ光Lが出射される(S1)。このとき、駆動部8は、投射禁止エリアが予め設定されている場合、投射禁止エリアにレーザ光が投射されないように制御する。制御部7は、レーザ光Lの出射に応じて第1のスキャナミラー11及び第2のスキャナミラー13の駆動制御を行う(S2)。これによって、レーザ光Lは第1のスキャナミラー11で走査され、走査されたレーザ光Lのうち可動コールドミラー12で反射された可視光RGBがウインドシールドガラスFに到達することで画像が投影される(S3)。
一方、赤外光IRは、第2のスキャナミラー13の駆動によって投射範囲が拡大され、ウインドシールドガラスFで反射された後、広い範囲で運転者Dに投射される。運転者Dに投射された赤外光IRの一部は、運転者Dの表面で反射されてウインドシールドガラスFに到達し、更にウインドシールドガラスFで反射されてCMOSセンサ4に検出される。第1の画像処理部5は、制御部7の発光信号及びCMOSセンサ4の撮像信号に基づいて運転者Dの3次元画像情報を取得する。第1の画像処理部5は、運転者Dの視線位置を検出する(S4)。
その後、制御部7は、第1の画像処理部5の視線位置信号に基づいて、画像の位置の調整が必要か否かを判定する(S5)。制御部7は、画像の位置の調整は必要ではないと判定した場合、処理を終了してS1に戻り、画像Gの投影を続ける。
制御部7は、画像の位置の調整が必要であると判定した場合、運転者Dの視線位置に追従して画像Gの位置を移動させるための追従演算を行う(S6)。制御部7は、追従演算の結果に応じて可動コールドミラー12を駆動させることにより、ウインドシールドガラスFに投影される画像Gの位置を調整する(S7)。続いて、制御部7は、第1の画像処理部5の視線位置信号に基づいて、運転者Dの目に光が直接入らないようにするための投射禁止エリアを設定する(S8)。その後、処理を終了してS1に戻る。
次に、上述した第1の実施形態に係るHUD装置1の作用効果について説明する。
第1の実施形態に係るHUD装置1によれば、赤外光IRを用いて運転者Dを撮像して視線位置を検出し、この視線位置に応じて画像Gの位置を見やすい位置に調整することができるので、運転者Dに対する利便性の向上を図ることができる。しかも、画像表示に用いられる可視光RGBと視線位置の検出に用いられる赤外光IRとを同一の光源部2から出射する構成とすることで、画像表示用の可視光源部と視線位置検出用の赤外光源部とを別々の場所に設ける場合と比べて装置の小型化を図ることできる。
また、このHUD装置1では、赤外光IRを出射する光源部2にレーザ光源を採用し、白熱光等と比べて外乱光の影響を受けにくいレーザ光により視線位置を検出するので、視線位置の誤検出の発生を抑制でき、視線位置の検出に係る信頼性の向上を図ることができる。
さらに、このHUD装置1によれば、赤外光IRが第1のスキャナミラー11と第2のスキャナミラー13とによって二重に反射されるので、第1のスキャナミラー11の可動範囲及び第2のスキャナミラー13の可動範囲に応じた広い範囲に赤外光IRの投射範囲を拡大することができる。これにより、このHUD装置1では、運転者Dを撮像可能な範囲が大きく拡大されるので、運転者の姿勢等をも認識することが可能になり、運転者の視線位置の誤検出の発生を避けることができる。しかも、このHUD装置1では、運転者Dの3次元画像情報に基づいて運転者Dの視線位置を検出するので、2次元画像情報に基づいて視線位置を検出する場合と比べて、より信頼性の高い検出結果を得ることができる。従って、このHUD装置1によれば、運転者Dの視線位置の検出に係る信頼性の向上を図ることができる。
また、このHUD装置1では、赤外光IRにより運転者Dを撮像可能な範囲が大きく拡大されるので、運転者の目の付近を投射禁止エリアとして赤外光IRの投射を禁止しても、運転者の姿勢や顔の向きから視線位置を精度良く検出することが可能となる。従って、このHUD装置1によれば、運転者の目に赤外光IRが投射されることにより運転者に不快感を与えることを避けることができる。
また、このHUD装置1によれば、CMOSセンサ4を含めた構成部品を全てインストルメントパネルの内部等に収容することができるので、車室内のデザイン性の向上及び小型化に有利である。
[第2の実施形態]
図4に示されるように、第2の実施形態に係るHUD装置20は、第1の実施形態に係るHUD装置1と比べて光源部及び駆動部の構成とCMOSセンサの位置とが異なっている。
第2の実施形態に係るHUD装置20の光源部30は、IR光源31、BL光源32、及びRED光源33の3つのレーザ光源を有している。IR光源31は、赤外光を出射するレーザ光源である。IR光源31は、第1の駆動部21と電気的に接続されている。IR光源31から出射された赤外光は、非線形光学結晶34によって赤外光IRと緑色光GRとに分けられる。
非線形光学結晶34によって分けられた赤外光IRは、ホットミラー35によって第1の光変調器37に向かって反射される。ホットミラー35は、赤外光IRを反射して緑色光GRを透過する。第1の光変調器37は、赤外光IRの変調や赤外光IRの出射と停止との切り替えを行うものである。第1の光変調器37から出射された赤外光IRは、第1の全反射ミラー39により固定ミラー10に向かって反射される。
一方、非線形光学結晶34によって分けられた緑色光GRは、ホットミラー35を透過して第2の全反射ミラー36により第2の光変調器38に向かって反射される。第2の光変調器38は、緑色光GRの変調や緑色光GRの出射と停止との切り替えを行うものである。第2の光変調器38から出射された緑色光GRは、第2のコールドミラー40により固定ミラー10に向かって反射される。第2のコールドミラー40は、第1の全反射ミラー39と固定ミラー10との間に配置されている。第1の全反射ミラー39により反射された赤外光IRは、第2のコールドミラー40を透過した後に緑色光GRと合波される。すなわち、第2のコールドミラー40を透過した赤外光IRと第2のコールドミラー40により反射された緑色光GRとは、同一の光路を進行する。
BL光源32は、青色光BLを出射するレーザ光源である。BL光源32は、第2の駆動部22と電気的に接続されている。BL光源32から出射された青色光BLは、青色光用ミラー41により固定ミラー10に向かって反射される。青色光用ミラー41は、第2のコールドミラー40と固定ミラー10との間に配置されている。青色光用ミラー41は、青色光BLを反射すると共に赤外光IR及び緑色光GRを透過する。第2の青色光用ミラー41により反射された青色光BLは、青色光用ミラー41を透過した後に赤外光IR及び緑色光GRと合波される。
RED光源33は、赤色光REDを出射するレーザ光源である。RED光源33は、第3の駆動部23と電気的に接続されている。RED光源33から出射された赤色光REDは、赤色光用ミラー42により固定ミラー10に向かって反射される。赤色光用ミラー42は、第2のコールドミラー40と固定ミラー10との間に配置されている。赤色光用ミラー42は、赤色光REDを反射すると共に赤外光IR、青色光BL、及び緑色光GRを透過する。赤色光用ミラー42により反射された赤色光REDは、赤色光用ミラー42を透過した後に赤外光IR、青色光BL、及び緑色光GRと合波される。
以上のように構成された光源部30では、赤外光IRと可視光RGB(赤色光RED、青色光BL、及び緑色光GR)が合波され、赤外光IR及び可視光RGBを含むレーザ光Lが出射される。レーザ光Lの可視光RGBの波長は、第1の駆動部21、第2の駆動部22、及び第3の駆動部23による各光源31〜33の制御や光変調器37,38における赤外光IR及び緑色光GRの出射及び停止の切り替えによって決定される。例えば、可視光RGBの波長の制御において、緑色光GRの出射が不要な場合には、IR光源31を停止させるのではなく、第2の光変調器38により緑色光GRの出射を停止することにより、視線検出用の赤外光IRを出射した状態で可視光RGBの波長制御を実現することができる。
第2の実施形態に係るCMOSセンサ24は、車室内のバックミラー付近に配置されている。換言すると、CMOSセンサ24は、運転者Dの前側で斜め上方の位置に配置されている。このような位置に配置されたCMOSセンサ24は、運転者Dの表面で反射された赤外光IRを直接検出することで運転者Dの撮像を行う。
上述した第2の実施形態に係るHUD装置20によれば、装置全体がインストルメントパネルの内部に収容されないことを除いて、第1の実施形態に係るHUD装置1とほぼ同様の効果を得ることができる。また、このHUD装置20によれば、IR光源31の光を非線形光学結晶34によって赤外光IRと緑色光GRとに分けているので、赤外光用の光源と緑色光用の光源とを別々に設ける場合と比べて光源の数を少なくすることができる。さらに、このHUD装置20では、CMOSセンサ24が運転者Dの表面で反射された赤外光IRを直接検出するので、高精度な運転者Dの撮像を行うことができ、運転者Dの視線位置の検出に係る信頼性の向上を図ることができる。
本発明は、上述した実施形態に限定されるものではない。
例えば、光源部の構成は上述したものに限られない。光源部の有する光源はレーザ光源に限られず、LED[Light Emitting Diode]や指向性を高めた白色電球等を光源として採用しても良い。また、必ずしも運転者Dの3次元画像情報を取得する必要はなく、2次元画像に基づいて運転者Dの視線位置を検出する態様であっても良い。
本発明は利用者の視線位置に応じて画像の位置を調整する画像位置調整装置に利用可能である。
1,20…HUD装置(画像位置調整装置) 2,30…光源部 3…光学系 4,24…CMOSセンサ 5…第1の画像処理部(視線位置検出手段) 6…第2の画像処理部 7…制御部 8…駆動部 10…固定ミラー 11…第1のスキャナミラー(第3の可動反射手段) 12…可動コールドミラー(第1の可動反射手段) 13…第2のスキャナミラー(第2の可動反射手段) D…運転者(利用者) F…ウインドシールドガラス(表示手段) L…レーザ光 GR…緑色光 BL…青色光 RED…赤色光 RGB…可視光

Claims (4)

  1. 可視光及び赤外光を出射する光源部と、
    前記可視光を反射させると共に、前記赤外光を透過させる第1の可動反射手段と、
    前記第1の可動反射手段を透過した前記赤外光を反射させる第2の可動反射手段と、
    前記第1の可動反射手段が反射した前記可視光により画像が表示される表示手段と、
    前記第2の可動反射手段で反射された前記赤外光を利用者に反射した反射光を用いて前記利用者を撮像することにより前記利用者の視線位置を検出する視線位置検出手段と、
    を備え、
    前記視線位置検出手段は、前記利用者の2次元画像情報を取得する撮像素子を有し、前記赤外光の発光タイミングと前記反射光の受光タイミングとの差から前記利用者の深さ方向の画像情報を算出し、前記利用者の深さ方向の画像情報と前記撮像素子の取得した前記利用者の2次元画像情報とに基づいて前記利用者の3次元画像情報を取得し、前記利用者の3次元画像情報に基づいて前記利用者の視線位置を検出し、
    前記視線位置検出手段の検出した前記視線位置に応じて前記画像の位置を調整することを特徴とする画像位置調整装置。
  2. 前記赤外光はレーザ光であることを特徴とする請求項1に記載の画像位置調整装置。
  3. 前記視線位置検出手段の検出した前記視線位置に応じて前記第1の可動反射手段の反射角度を変更することで前記画像の位置を調整することを特徴とする請求項1又は請求項2に記載の画像位置調整装置。
  4. 前記可視光及び前記赤外光を前記第1の可動反射手段に向けて反射させる第3の可動反射手段を更に備えたことを特徴とする請求項1〜3のうちいずれか一項に記載の画像位置調整装置。
JP2012504228A 2010-03-11 2010-03-11 画像位置調整装置 Expired - Fee Related JP5267727B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/054092 WO2011111201A1 (ja) 2010-03-11 2010-03-11 画像位置調整装置

Publications (2)

Publication Number Publication Date
JPWO2011111201A1 JPWO2011111201A1 (ja) 2013-06-27
JP5267727B2 true JP5267727B2 (ja) 2013-08-21

Family

ID=44563043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012504228A Expired - Fee Related JP5267727B2 (ja) 2010-03-11 2010-03-11 画像位置調整装置

Country Status (5)

Country Link
US (1) US8878843B2 (ja)
EP (1) EP2546087B1 (ja)
JP (1) JP5267727B2 (ja)
CN (1) CN102791509B (ja)
WO (1) WO2011111201A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261316B2 (en) 2015-11-10 2019-04-16 Hyundai Autron Co., Ltd. Head-up display control apparatus and method

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213185B1 (en) * 2012-01-06 2015-12-15 Google Inc. Display scaling based on movement of a head-mounted display
JP5988074B2 (ja) * 2012-01-27 2016-09-07 日本精機株式会社 車両用ヘッドアップディスプレイ装置およびそのセルフチェック方法
JP5953985B2 (ja) * 2012-06-29 2016-07-20 株式会社Jvcケンウッド 車両用表示装置
FR2994284B1 (fr) * 2012-08-06 2015-07-17 Johnson Contr Automotive Elect Dispositif d'affichage, notamment pour vehicule automobile
GB2509180B (en) 2012-12-21 2015-04-08 Two Trees Photonics Ltd Projector
EP2871843B1 (en) * 2013-11-12 2019-05-29 LG Electronics Inc. -1- Digital device and method for processing three dimensional image thereof
KR101518932B1 (ko) 2013-12-18 2015-05-11 현대자동차 주식회사 차량용 디스플레이 장치
KR101526424B1 (ko) * 2013-12-18 2015-06-05 현대자동차 주식회사 차량용 헤드 업 디스플레이 검사장치 및 그 방법
JP6260345B2 (ja) * 2014-01-06 2018-01-17 株式会社Jvcケンウッド 中間像形成部及びそれを用いた画像表示装置
CN104978011B (zh) * 2014-04-02 2018-07-06 联想(北京)有限公司 电子设备及其控制方法
CN103943033B (zh) 2014-04-02 2017-02-15 京东方科技集团股份有限公司 一种透明显示设备
GB2525653A (en) * 2014-05-01 2015-11-04 Jaguar Land Rover Ltd Apparatus and method for providing information within a vehicle
US9360668B2 (en) * 2014-08-07 2016-06-07 Continental Automotive Systems, Inc. Dynamically calibrated head-up display
CN109094461B (zh) * 2015-02-05 2021-09-10 广西荷美新能源车辆科技有限公司 汽车装置及汽车控制方法
TWI554785B (zh) * 2015-03-19 2016-10-21 尚立光電股份有限公司 具不對稱稜鏡之顯示裝置及其抬頭顯示裝置
WO2016171651A1 (en) * 2015-04-20 2016-10-27 Hewlett-Packard Development Company, L.P. Tunable filters
JP2017097759A (ja) * 2015-11-27 2017-06-01 株式会社デンソー 視線方向検出装置、及び視線方向検出システム
WO2017110942A1 (ja) * 2015-12-24 2017-06-29 京セラ株式会社 車両用ヘッドアップディスプレイシステム
US9919600B2 (en) 2016-02-27 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle information display systems
CN106226910A (zh) * 2016-09-08 2016-12-14 邹文韬 Hud系统及其影像调整方法
US20190012552A1 (en) * 2017-07-06 2019-01-10 Yves Lambert Hidden driver monitoring
EP3655282B1 (en) * 2017-07-18 2023-02-15 Corning Incorporated Vehicle interior system comprising a cold formed complexly curved glass article
KR101786581B1 (ko) 2017-08-09 2017-10-19 현대오트론 주식회사 헤드업 디스플레이의 표시 제어 장치
JP7124065B2 (ja) 2017-09-12 2022-08-23 コーニング インコーポレイテッド デッドフロントガラスのための触覚エレメントおよびその製造方法
US11065960B2 (en) 2017-09-13 2021-07-20 Corning Incorporated Curved vehicle displays
TWI844520B (zh) 2017-10-10 2024-06-11 美商康寧公司 具有改善可靠性的彎曲的覆蓋玻璃的車輛內部系統及其形成方法
JP6652544B2 (ja) * 2017-11-27 2020-02-26 矢崎総業株式会社 メータ装置及びそれを備えたメータユニット
CN108231010B (zh) * 2017-12-20 2020-05-05 中国航空工业集团公司洛阳电光设备研究所 一种多功能平显系统控制装置
JP7037760B2 (ja) * 2018-03-16 2022-03-17 株式会社リコー 画像投写装置及び移動体
FR3073054A1 (fr) * 2018-03-20 2019-05-03 Continental Automotive France Systeme optique a affichage tete-haute et camera integree
FR3073053A1 (fr) * 2018-03-20 2019-05-03 Continental Automotive France Systeme optique a affichage tete-haute et eclairage integre
JP7215838B2 (ja) * 2018-06-15 2023-01-31 株式会社小糸製作所 光学ユニットおよび車両用前照灯
JP7026325B2 (ja) * 2018-06-21 2022-02-28 パナソニックIpマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び移動体
GB2575658B (en) * 2018-07-18 2020-12-23 Envisics Ltd Head-up display
CN109493305A (zh) * 2018-08-28 2019-03-19 初速度(苏州)科技有限公司 一种人眼视线与前景图像叠加的方法及系统
CN109633901A (zh) * 2018-12-09 2019-04-16 中国航空工业集团公司洛阳电光设备研究所 一种汽车平显像源构型及像源调整机构
US11131117B2 (en) * 2019-03-12 2021-09-28 Magna Closures Inc. Electromagnetic-based sensor with cold mirror cover
JP7127590B2 (ja) * 2019-03-26 2022-08-30 株式会社Jvcケンウッド 虚像表示装置
WO2020203989A1 (ja) * 2019-03-29 2020-10-08 積水化学工業株式会社 合わせガラス、及び車両システム
EP3950630A4 (en) * 2019-03-29 2022-12-21 Sekisui Chemical Co., Ltd. LAMINATED GLASS AND VEHICLE SYSTEM
US11205083B2 (en) * 2019-04-02 2021-12-21 Magna Electronics Inc. Vehicular driver monitoring system
CN110027410B (zh) * 2019-04-16 2021-06-01 深圳市尼欧科技有限公司 车载抬头显示的显示方法及装置
CN115152203A (zh) * 2020-02-21 2022-10-04 麦克赛尔株式会社 信息显示装置
CN114567758A (zh) * 2022-03-10 2022-05-31 深圳市超越智能电子有限公司 一种汽车360度全景视频处理系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008155720A (ja) * 2006-12-22 2008-07-10 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
JP2009145846A (ja) * 2007-12-18 2009-07-02 Honda Motor Co Ltd 投射型画像表示装置
JP2009163084A (ja) * 2008-01-09 2009-07-23 Toshiba Corp 表示装置及び移動体
JP2009244869A (ja) * 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
JP3855439B2 (ja) 1998-03-17 2006-12-13 いすゞ自動車株式会社 夜間運転視界支援装置
JP4682470B2 (ja) 2001-07-16 2011-05-11 株式会社デンソー スキャン型ディスプレイ装置
JP2009196473A (ja) 2008-02-20 2009-09-03 Denso Corp 車両用ヘッドアップディスプレイ装置
JP2009292409A (ja) 2008-06-09 2009-12-17 Yazaki Corp ヘッドアップディスプレイ装置
CN101488030A (zh) * 2009-02-10 2009-07-22 深圳Tcl新技术有限公司 显示屏调整装置以及方法
KR101613133B1 (ko) * 2009-05-14 2016-04-18 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008155720A (ja) * 2006-12-22 2008-07-10 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
JP2009145846A (ja) * 2007-12-18 2009-07-02 Honda Motor Co Ltd 投射型画像表示装置
JP2009163084A (ja) * 2008-01-09 2009-07-23 Toshiba Corp 表示装置及び移動体
JP2009244869A (ja) * 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261316B2 (en) 2015-11-10 2019-04-16 Hyundai Autron Co., Ltd. Head-up display control apparatus and method

Also Published As

Publication number Publication date
JPWO2011111201A1 (ja) 2013-06-27
EP2546087B1 (en) 2018-10-24
WO2011111201A1 (ja) 2011-09-15
US8878843B2 (en) 2014-11-04
EP2546087A4 (en) 2018-01-17
EP2546087A1 (en) 2013-01-16
CN102791509B (zh) 2015-02-25
US20130044138A1 (en) 2013-02-21
CN102791509A (zh) 2012-11-21

Similar Documents

Publication Publication Date Title
JP5267727B2 (ja) 画像位置調整装置
KR102089036B1 (ko) 정보 디스플레이 장치, 정보 제공 시스템, 이동체 디바이스, 정보 디스플레이 방법 및 기록 매체
US10546561B2 (en) Display device, mobile device, display method, and recording medium
JP6175589B2 (ja) 投写型表示装置及び投写表示方法
JP5392276B2 (ja) 虚像表示装置
US10061992B2 (en) Image display system
CN109891299B (zh) 虚像显示光学系统及图像显示装置
US20180218711A1 (en) Display device
KR20190015552A (ko) 표시 장치, 이동체 장치, 표시 장치의 제조 방법, 및 표시 방법
US10845592B2 (en) Head-up display, vehicle apparatus, display method, and recording medium
JP2014010409A (ja) 投射型ディスプレイ装置
JP6674793B2 (ja) 運転支援情報表示装置
US20140320952A1 (en) Head-Up Display Device
JP2021015166A (ja) ヘッドアップディスプレイ及びそのキャリブレーション方法
US10962767B2 (en) Optical scanning device, image display apparatus, and movable object
JP6569318B2 (ja) 光走査装置
JP2009006968A (ja) 車両用表示装置
JP2018146761A (ja) 表示装置及び投影装置
WO2013145153A1 (ja) 画像描画装置
JP2019174519A (ja) 表示装置、表示システム、移動体、表示輝度制御方法およびプログラム
WO2021172333A1 (ja) 車両用表示装置
JP2017116627A (ja) ヘッドアップディスプレイ装置、及び制御方法
JP2021119065A (ja) ヘッドアップディスプレイ装置
JP2017151145A (ja) 光源装置および投影装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R151 Written notification of patent or utility model registration

Ref document number: 5267727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees