JP7105174B2 - 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム - Google Patents

通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム Download PDF

Info

Publication number
JP7105174B2
JP7105174B2 JP2018207588A JP2018207588A JP7105174B2 JP 7105174 B2 JP7105174 B2 JP 7105174B2 JP 2018207588 A JP2018207588 A JP 2018207588A JP 2018207588 A JP2018207588 A JP 2018207588A JP 7105174 B2 JP7105174 B2 JP 7105174B2
Authority
JP
Japan
Prior art keywords
communication
user
image
eye
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018207588A
Other languages
English (en)
Other versions
JP2020072460A (ja
Inventor
薫 草深
直 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2018207588A priority Critical patent/JP7105174B2/ja
Priority to US17/285,081 priority patent/US12010289B2/en
Priority to CN201980069304.4A priority patent/CN112889275B/zh
Priority to EP19877714.6A priority patent/EP3876529B1/en
Priority to PCT/JP2019/042126 priority patent/WO2020090713A1/ja
Publication of JP2020072460A publication Critical patent/JP2020072460A/ja
Application granted granted Critical
Publication of JP7105174B2 publication Critical patent/JP7105174B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/23—Optical features of instruments using reflectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136—Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラムに関する。
従来、眼鏡を用いずに３次元表示を行うために、表示パネルから出射された光の一部を右眼に到達させ、表示パネルから出射された光の他の一部を左眼に到達させる光学素子を備える３次元表示装置が知られている（特許文献１参照）。
特開２００１－１６６２５９号公報
利用者がヘッドアップディスプレイによって投影された画像の虚像を適切に視認するために、利用者の眼の位置に適切に画像光が到達することが望まれている。
本開示は、利用者に適切な虚像を視認させることができる通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラムを提供する。
本開示の通信ヘッドアップディスプレイシステムは、通信機器と、ヘッドアップディスプレイとを備える。前記通信機器は、第１コントローラと、第１通信部とを含む。第１コントローラは、センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定する。前記第１通信部は、前記第１コントローラによって推定された前記位置を送信する。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射器と、第２通信部と、を含む。前記表示パネルは、視差画像を表示する。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定する。前記反射器は、前記光学素子によって伝播方向が規定された画像光を反射する。前記反射器は、反射素子と、駆動装置とを有する。前記反射素子は、前記画像光を反射する。前記駆動装置は、前記反射素子によって反射された画像光が前記眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させる。前記通信機器は、実空間における複数の異なる位置に移動可能に設置される。前記センサは、前記複数の異なる位置のそれぞれで前記利用者を撮像することによって複数の撮像画像を生成する撮像素子である。前記第１コントローラは、複数の前記撮像画像それぞれにおける前記利用者の体の少なくとも一部の像の位置と、前記利用者を撮像したときの前記撮像素子の複数の異なる位置とに基づいて、実空間における前記眼の位置を推定する。
本開示の通信機器は、ヘッドアップディスプレイと通信可能である。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射素子と、駆動装置とを含む。前記表示パネルは、視差画像を表示する。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定する。前記反射素子は、前記画像光を反射する。前記駆動装置は、前記反射素子の位置および姿勢の少なくとも一方を変化させる。前記通信機器は、撮像素子と、コントローラと、第通信部と、を備える。前記撮像素子は、利用者を撮像した撮像画像を生成する。前記コントローラは、前記撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成する。前記第１通信部は、前記位置情報を、前記駆動装置の制御に使用するため前記ヘッドアップディスプレイに送信する。前記通信機器は、実空間における複数の異なる位置に移動可能に設置される。前記撮像素子は、前記複数の異なる位置のそれぞれで前記利用者を撮像することによって複数の撮像画像を生成する。前記コントローラは、複数の前記撮像画像それぞれにおける前記利用者の体の少なくとも一部の像の位置と、前記利用者を撮像したときの前記撮像素子の複数の異なる位置とに基づいて、実空間における前記眼の位置を推定する。
本開示の移動体は、通信ヘッドアップディスプレイシステムと、取付部とを備える。前記通信ヘッドアップディスプレイシステムは、通信機器と、ヘッドアップディスプレイとを備える。前記通信機器は、第１コントローラと、第１通信部とを含む。第１コントローラは、センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定する。前記第１通信部は、前記第１コントローラによって推定された前記位置を送信する。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射器と、第２通信部と、を含む。前記表示パネルは、視差画像を表示する。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定する。前記反射器は、前記光学素子によって伝播方向が規定された画像光を反射する。前記反射器は、反射素子と、駆動装置とを有する。前記反射素子は、前記画像光を反射する。前記駆動装置は、前記反射素子によって反射された画像光が前記眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させる。前記取付部は、前記通信機器を移動可能に取付ける。前記通信機器は、前記取付部の複数の異なる位置に移動可能に設置される。前記センサは、前記複数の異なる位置のそれぞれで前記利用者を撮像することによって複数の撮像画像を生成する撮像素子である。前記第１コントローラは、複数の前記撮像画像それぞれにおける前記利用者の体の少なくとも一部の像の位置と、前記利用者を撮像したときの前記撮像素子の複数の異なる位置とに基づいて、実空間における前記眼の位置を推定する。
本開示のプログラムは、撮像素子と、コントローラと、通信部とを備える通信機器が実行するプログラムである。前記通信機器はヘッドアップディスプレイと通信する。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射器とを含む。前記表示パネルは、視差画像を表示する。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定する。反射器は、反射素子と、駆動装置とを有する。前記反射素子は、前記画像光を反射する。前記駆動装置は、前記反射素子の位置および姿勢の少なくとも一方を変化させる。前記コントローラは、前記撮像素子が、利用者を撮像することによって生成した撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成するよう制御する。前記コントローラは、前記通信部が、反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置に前記位置情報を送信するよう制御する。前記通信機器は、実空間における複数の異なる位置に移動可能に設置される。前記撮像素子は、前記複数の異なる位置のそれぞれで前記利用者を撮像することによって複数の撮像画像を生成する。前記コントローラは、複数の前記撮像画像それぞれにおける前記利用者の体の少なくとも一部の像の位置と、前記利用者を撮像したときの前記撮像素子の複数の異なる位置とに基づいて、実空間における前記眼の位置を推定する。
本開示の一実施形態によれば、利用者に適切な虚像を視認させることが可能となる。
移動体に搭載された通信ヘッドアップディスプレイシステムの例を示す図である。 図１に示す通信機器が移動する前の状態を示す図である。 図１に示す通信機器が移動した後の状態を示す図である。 図１に示す通信機器およびヘッドアップディスプレイの概略構成を示す図である。 図４に示す表示パネルを奥行方向から見た例を示す図である。 図４に示すパララックスバリアを奥行方向から見た例を示す図である。 図１に示す虚像と利用者の眼との関係を説明するための図である。 図４に示す第１コントローラの処理フローの一例を示すフローチャートである。 利用者が表示パネルを直接視認する場合の、３次元表示装置と利用者の眼との位置関係を示す図である。 光学素子をレンチキュラレンズとした場合の３次元表示装置の概略構成図である。
以下、本開示の一実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものであり、図面上の寸法比率等は現実のものとは必ずしも一致していない。
本開示の一実施形態にかかる通信ヘッドアップディスプレイシステム（通信ＨＵＤ（ＨＵＤ：Head Up Display）システム）１００は、図１に示すように、通信機器１と、ヘッドアップディスプレイ（ＨＵＤ）２とを備える。通信ＨＵＤシステム１００は、移動体２０に搭載されてよい。
本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
通信機器１は、利用者の両眼を撮像可能に配置される。通信機器１は、移動体２０に移動可能に取り付けられてよい。例えば、通信ＨＵＤシステム１００が移動体２０に搭載される構成において、通信機器１を移動体２０に取付ける取付部２０１は、図２に示すように、ステアリングホイール２０２に固定して設置されてよい。通信機器１は、取付部２０１がステアリングホイール２０２に固定して設置されている構成において、該ステアリングホイール２０２が回転することによって、図３に示すように、回転前の位置とは異なる位置に移動する。すなわち、取付部２０１は、通信機器１を取り付けたまま、実空間における複数の異なる位置に移動可能である。
通信機器１は、汎用の無線通信端末、例えば、携帯電話、スマートフォン、タブレット端末等を採用しうる。図４に示すように、通信機器１は、撮像光学系１０と、撮像素子１１と、第１コントローラ（コントローラ）１２と、メモリ１３と、第１通信部（通信部）１４とを含む。
撮像光学系１０は、１つ以上のレンズを含んで構成される。撮像光学系１０は、撮像光学系１０の光軸が撮像素子１１の撮像面に垂直となるように配置されている。撮像光学系１０は、被写体から入射した光を撮像素子１１の撮像面において被写体像として結像させる。
撮像素子（センサ）１１は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子１１は、撮像光学系１０によって結像された像を電気信号に変換することによって撮像画像を生成し、出力する。具体的には、撮像素子１１は、利用者を、実空間において所定の位置にある所定の物体とともに撮像することによって撮像画像を生成し、出力する。撮像素子１１は、通信機器１が異なる位置にある状態でそれぞれ複数の撮像画像を生成し、出力してよい。例えば、上述したように通信機器１が、図２に示したようにステアリングホイール２０２に取付けられ、該ステアリングホイール２０２が自動または手動により回転されることにより通信機器１が移動して、撮像素子１１が複数の撮像画像を生成しうる。該ステアリングホイール２０２が回転前の状態にあるときに、撮像素子１１は、第１の撮像画像を生成し、出力してよい。そして、図３に示すように、ステアリングホイール２０２が利用者によって回転され、回転後の状態にあるときに撮像素子１１は、第２の撮像画像を生成し、出力してよい。
第１コントローラ１２は、通信機器１の各構成要素に接続され、各構成要素を制御しうる。第１コントローラ１２によって制御される構成要素は、撮像素子１１、メモリ１３、および第１通信部１４を含む。第１コントローラ１２は、１以上のプロセッサを含んでよい。第１コントローラ１２は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。第１コントローラ１２は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。
第１コントローラ１２の詳細については追って説明する。
メモリ１３は、例えばＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）など、任意の記憶デバイスにより構成される。メモリ１３は、第１コントローラ１２によって処理された各種情報を記憶する。
例えば、メモリ１３は、セキュリティ情報を記憶する。セキュリティ情報は、他の装置への接続を可能にするための認証に用いられる、通信機器１を一意に識別するための識別情報を含んでよい。通信機器１が、例えば、複数の利用者によって共有されるタブレット端末のような機器である場合、セキュリティ情報は、各利用者を一意に識別するための識別情報を含んでよい。
例えば、メモリ１３は、利用者の眼の位置を示す位置情報を記憶してよい。メモリ１３は、反射素子３１の位置および姿勢の少なくとも１つを示す駆動情報を記憶してよい。
第１通信部１４は、３次元表示装置５と通信可能である。第１通信部１４と３次元表示装置５との通信において用いられる通信方式は、近距離無線通信規格または携帯電話網へ接続する無線通信規格であってよいし、有線通信規格であってよい。近距離の無線通信規格は、例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、ＮＦＣ（Near Field Communication）、等を含んでよい。携帯電話網へ接続する無線通信規格は、例えば、ＬＴＥ（Long Term Evolution）、第４世代移動通信システムまたは第５世代移動通信システム等を含んでよい。
第１通信部１４は、第１通信モジュール１４１と、第２通信モジュール１４２とを含んでよい。第１通信モジュール１４１は、通信機器１とＨＵＤ２との間の通信を確立するために、ＨＵＤ２とセキュリティ情報を交換する。さらに、第１通信モジュール１４１は、ＨＵＤ２に通信機器１または該通信機器１の利用者を識別するための識別情報を送信してよい。第２通信モジュール１４２は、ＨＵＤ２に位置情報を送信してよい。具体的には、第１通信モジュール１４１が、ＮＦＣの通信規格を用いてＨＵＤ２との間でセキュリティ情報を交換する。ＨＵＤ２によるセキュリティ情報に基づく認証を経て、通信機器１とＨＵＤ２との接続が確立されると、第２通信モジュール１４２が、ＷｉＦｉを用いて各種情報を送信してよい。これにより、通信機器１は、盗聴されることが困難なＮＦＣ通信規格によりＨＵＤ２との間でセキュリティ情報を交換することによって安全に通信を確立してから、汎用的なＷｉＦｉの通信規格により各種情報を送受信することができる。通信機器１とＨＵＤ２との間で交換するセキュリティ情報には、ＷｉＦi通信の暗号化キーを含んでよい。
これに限られず、第１通信モジュール１４１および第２通信モジュール１４２は、それぞれ任意の通信規格を用いて通信してよい。第１通信モジュール１４１および第２通信モジュール１４２は、同じ通信規格を用いて通信してよい。
ＨＵＤ２は、１つ以上の反射器３と、光学部材４と、３次元表示装置５とを含みうる。
反射器３は、３次元表示装置５から射出された画像光を、光学部材４の所定領域に向けて反射させる。所定領域は、該所定領域で反射した画像光が利用者の眼の方に向かう領域である。所定領域は、光学部材４に対する利用者の眼の方向、および光学部材４への画像光の入射方向によって定まりうる。１つ以上の反射器３は、１つ以上の反射素子３１と、駆動装置３２とを含む。
反射素子３１それぞれは、ミラーであってよい。反射素子３１がミラーである場合、例えば、ミラーは凹面鏡としてよい。図１において、１つ以上の反射素子３１は、１つのミラーとして表示している。しかし、これに限られず、１つ以上の反射素子３１は、１つ以上のミラーを組み合わせて構成してよい。
駆動装置３２は、利用者の眼の位置に基づいて、反射素子３１を駆動して、該反射素子３１の位置および姿勢の少なくとも一方を変化させる。具体的には、駆動装置３２は、通信機能を有し、通信機器１から位置情報を受信する。駆動装置３２は、通信機器１から直接、位置情報を受信してよい。駆動装置３２は、位置情報で示される眼の位置から、利用者の眼の位置に画像光が到達するような反射素子３１の位置および姿勢の少なくとも一方を算出する。駆動装置３２は、反射素子３１を駆動して、該反射素子３１の位置および姿勢の少なくとも一方が算出した値となるように制御する。
光学部材４は、３次元表示装置５から射出され、１つ以上の反射器３によって反射された画像光を、利用者の左眼（第１眼）および右眼（第２眼）に向けて反射させる。例えば、移動体２０のウインドシールドは、光学部材４として兼用されてよい。したがって、ＨＵＤ２は、光路Ｌに沿って、３次元表示装置５から射出された光を、利用者の左眼および右眼まで進行させる。利用者は、光路Ｌに沿って到達した光を虚像Ｖとして視認しうる。
図４に示すように、３次元表示装置５は、照射器５１と、表示パネル５２と、光学素子としてのパララックスバリア５３と、第２通信部５４と、第２コントローラ５５とを含むことができる。ＨＵＤ２が移動体２０に搭載される構成において、３次元表示装置５は、移動体２０のダッシュボードに収容されてよい。
照射器５１は、表示パネル５２を面的に照射しうる。照射器５１は、光源、導光板、拡散板、拡散シート等を含んでよい。照射器５１は、光源により照射光を出射し、導光板、拡散板、拡散シート等により照射光を表示パネル５２の面方向に均一化する。そして、照射器５１は均一化された光を表示パネル５２の方に出射しうる。
表示パネル５２は、例えば透過型の液晶表示パネルなどの表示パネルを採用しうる。表示パネル５２としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。表示パネル５２として、自発光型の表示パネルを使用した場合、３次元表示装置５は照射器５１を備えなくてよい。表示パネル５２を液晶パネルとして説明する。
図５に示すように、表示パネル５２は、面状に形成されたアクティブエリアＡ上に複数の区画領域を有する。アクティブエリアＡは、視差画像を表示する。視差画像は、後述する左眼画像（第１画像）と左眼画像に対して視差を有する右眼画像（第２画像）とを含む。区画領域は、第１方向および第１方向に直交する第２方向に区画された領域である。第１方向および第２方向に直交する方向は第３方向と称される。第１方向は水平方向と称されてよい。第２方向は鉛直方向と称されてよい。第３方向は奥行方向と称されてよい。しかし、第１方向、第２方向、および第３方向はそれぞれこれらに限られない。図４～図６、図９、および図１０において、第１方向はｘ軸方向として表され、第２方向はｙ軸方向として表され、第３方向はｚ軸方向として表される。図１および図７において、利用者の右眼および左眼を通る直線の方向である眼間方向はｕ軸方向として表され、利用者の前後方向はｗ軸方向として表され、ならびにｕ軸方向およびｗ軸方向に垂直な高さ方向はｖ軸方向として表される。
区画領域の各々には、１つのサブピクセルが対応する。したがって、アクティブエリアＡは、水平方向および鉛直方向に沿って格子状に配列された複数のサブピクセルを備える。
各サブピクセルは、Ｒ（Red），Ｇ（Green），Ｂ（Blue）のいずれかの色に対応し、Ｒ，Ｇ，Ｂの３つのサブピクセルを一組として１ピクセルを構成することができる。１ピクセルは、１画素と称されうる。表示パネル５２としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。表示パネル５２として、自発光型の表示パネルを使用した場合、３次元表示装置５は照射器５１を備えなくてよい。
上述のようにアクティブエリアＡに配列された複数のサブピクセルはサブピクセル群Ｐｇを構成する。サブピクセル群Ｐｇは、水平方向に繰り返して配列される。サブピクセル群Ｐｇは、鉛直方向に同じ位置に配列すること、および、ずらして配列することができる。例えば、サブピクセル群Ｐｇは、鉛直方向においては、水平方向に１サブピクセル分ずれた位置に隣接して繰り返して配列することができる。サブピクセル群Ｐｇは、所定の行および列のサブピクセルを含む。具体的には、サブピクセル群Ｐｇは、鉛直方向にｂ個（ｂ行）、水平方向に２×ｎ個（２×ｎ列）、連続して配列された（２×ｎ×ｂ）個のサブピクセルＰ１～Ｐ（２×ｎ×ｂ）を含む。図５に示す例では、ｎ＝６、ｂ＝１である。アクティブエリアＡには、鉛直方向に１個、水平方向に１２個、連続して配列された１２個のサブピクセルＰ１～Ｐ１２を含むサブピクセル群Ｐｇが配置される。図５に示す例では、一部のサブピクセル群Ｐｇに符号を付している。
サブピクセル群Ｐｇは、後述する第２コントローラ５５が視差画像を表示するための制御を行う最小単位である。サブピクセル群Ｐｇに含まれる各サブピクセルは、識別情報Ｐ１～Ｐ（２×ｎ×ｂ）で識別される。全てのサブピクセル群Ｐｇの同じ識別情報を有するサブピクセルＰ１～Ｐ（２×ｎ×ｂ）は、第２コントローラ５５によって同時に制御される。例えば、第２コントローラ５５は、サブピクセルＰ１に表示させる視差画像を左眼画像から右眼画像に切り替える場合、全てのサブピクセル群ＰｇにおけるサブピクセルＰ１に表示させる視差画像を左眼画像から右眼画像に同時的に切り替えられる。
パララックスバリア５３は、図４に示したように、アクティブエリアＡに沿う平面により形成され、アクティブエリアＡから所定距離（ギャップ）ｇ、離れて配置される。パララックスバリア５３は、表示パネル５２に対して照射器５１の反対側に位置してよい。パララックスバリア５３は、表示パネル５２の照射器５１側に位置してよい。
パララックスバリア５３は、図６に示すように、面内の所定方向に伸びる複数の帯状領域である透光領域５３１ごとに、サブピクセルから射出される画像光の伝播方向を規定する。具体的には、パララックスバリア５３は、複数の、画像光を減光させる減光領域５３２を有する。複数の減光領域５３２は、互いに隣接する該減光領域５３２の間の透光領域５３１を画定する。透光領域５３１は、減光領域５３２に比べて光透過率が高い。減光領域５３２は、透光領域５３１に比べて光透過率が低い。透光領域５３１と減光領域５３２とは、アクティブエリアＡに沿う所定方向に延び、所定方向と直交する方向に繰り返し交互に配列される。所定方向は、例えばサブピクセルの対角線に沿う方向である。所定方向は、例えば、第１方向にａ個のサブピクセルを横切る間に、第２方向にｂ個のサブピクセルを横切る方向（ａ，ｂは互いの素の正の整数）としうる。また、所定方向は、第２方向としてもよい。
このように、パララックスバリア５３がアクティブエリアＡに配列されたサブピクセルから射出された画像光の伝播方向を規定することによって、図７に示すように、利用者の眼が視認可能な、アクティブエリアＡの領域に対応する第１虚像Ｖ１の領域が定まる。以降において、利用者の眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は可視領域Ｖａと称される。利用者の左眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は左可視領域ＶａＬ（第１可視領域）と称される。利用者の右眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は右可視領域ＶａＲ（第２可視領域）と称される。
透光領域５３１の水平方向における配置間隔である虚像バリアピッチＶＢｐおよび虚像ギャップＶｇは、適視距離Ｖｄを用いた次の式（１）および式（２）が成り立つように規定される。虚像バリアピッチＶＢｐは、減光領域５３２の虚像Ｖ２の、第１方向に対応する方向の配置間隔である。虚像ギャップＶｇは、第２虚像Ｖ２と第１虚像Ｖ１との間の距離である。式（１）および式（２）において、虚像バリア開口幅ＶＢｗは、第２虚像Ｖ２における透光領域５３１の幅に対応する幅である。適視距離Ｖｄは、通信機器１から受信した位置情報が示す利用者の右眼および左眼それぞれの位置とパララックスバリア５３の虚像Ｖ２との間の距離である。眼間距離Ｅは、右眼と左眼との間の距離である。眼間距離Ｅは、例えば、産業技術総合研究所の研究によって算出された値である６１．１ｍｍ～６４．４ｍｍであってよい。ＶＨｐは、サブピクセルの虚像の水平方向の長さである。ＶＨｐは、第１虚像Ｖ１におけるサブピクセル虚像の、第１方向に対応する方向の長さである。
Ｅ：Ｖｄ＝（ｎ×ＶＨｐ）：Ｖｇ 式（１）
Ｖｄ：ＶＢｐ＝（Ｖｄｖ＋Ｖｇ）：（２×ｎ×ＶＨｐ） 式（２）
表示パネル５２のアクティブエリアＡから射出された画像光の一部は、透光領域５３１を透過し、１つ以上の反射器３を介して光学部材４に到達する。さらに光学部材４に到達した画像光は光学部材４に反射されて利用者の眼に到達する。これにより、利用者の眼は光学部材４の前方にアクティブエリアＡに表示された視差画像の虚像である第１虚像Ｖ１を認識する。本願において前方は、利用者からみて光学部材４の方向である。前方は、移動体２０の通常移動する方向である。
したがって、利用者は、見かけ上、第２虚像Ｖ２を介して第１虚像Ｖ１を視認するかのごとく視差画像を認識するが、実際にはパララックスバリア５３の虚像である第２虚像Ｖ２を認識しない。
第２通信部５４は、通信機器１と通信可能である。第２通信部５４は第３通信モジュール５４１および第４通信モジュール５４２を含む。第３通信モジュール５４１は、通信機器１の第１通信モジュール１４１と同じ通信規格を用いて、第１通信モジュール１４１と通信可能である。第４通信モジュール５４２は、通信機器１の第２通信モジュール１４２と同じ通信規格を用いて、第２通信モジュール１４２と通信可能である。
具体的には、第３通信モジュール５４１は、第１通信モジュール１４１との間でセキュリティ情報を交換する。セキュリティ情報に基づく認証の後、第４通信モジュール５４２は、第３通信モジュール５４１が第１通信モジュール１４１との接続を確立した後に、第２通信モジュール１４２との接続を確立する。第４通信モジュール５４２は、第２通信モジュール１４２との接続を確立すると第２通信モジュール１４２から各種情報を受信する。上述したように、各種情報は、例えば、位置情報を含んでよい。
第２コントローラ５５は、ＨＵＤ２の各構成要素に接続され、各構成要素を制御しうる。第２コントローラ５５によって制御される構成要素は、照射器５１、表示パネル５２、第２通信部５４を含む。第２コントローラ５５は、１以上のプロセッサを含んでよい。第２コントローラ５５は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、ＡＳＩＣを含んでよい。プロセッサは、ＰＬＤを含んでよい。ＰＬＤは、ＦＰＧＡを含んでよい。第２コントローラ５５は、１つまたは複数のプロセッサが協働するＳｏＣ、およびＳｉＰのいずれかであってよい。
通信ＨＵＤシステム１００は、視差画像を表示する動作を開始する前に、利用者に３次元画像の虚像を視認させるための初期設定を行う。利用者の眼の位置に応じて、通信ＨＵＤシステム１００が画像光を到達させる位置は異なる。通信ＨＵＤシステム１００は、利用者の眼の位置に応じて、利用者が適切に３次元画像を視認するために、眼の位置の推定、反射素子３１の駆動制御、可視領域Ｖａの判定を行う。
＜眼の位置の推定＞
第１コントローラ１２は、撮像素子１１によって生成された利用者の両眼の像を含む撮像画像から左眼および右眼の位置を推定してよい。
眼の位置を推定する方法の一例として、第１コントローラ１２は、撮像素子１１によって生成された単一の撮像画像に含まれる所定の物体の像と、眼の像との位置関係に基づいて、実空間における眼の位置を推定してよい。通信機器１が移動体２０内部に取付けられる構成において、所定の物体は、移動体２０に対して固定して取付けられている物体であって、例えば、運転席のヘッドレスト、サイドウィンドウのフレーム等である。
例えば、第１コントローラ１２は、撮像画像上の各位置に対応付けて、該位置に対応する実空間の位置から所定の物体の像の位置までの距離および方向を予め対応付けてメモリ１３に記憶させてよい。このような構成において、第１コントローラ１２は、撮像画像から眼を抽出する。第１コントローラ１２は、撮像画像における眼の位置に対応してメモリ１３に記憶されている、該位置に対応する実空間の位置から所定の物体の像の位置までの距離および方向を抽出する。第１コントローラ１２は、所定の物体の像の位置までの距離および方向に基づいて、実空間における位置を推定しうる。
第１コントローラ１２は、撮像素子１１によって生成された単一の撮像画像における利用者の体の少なくとも一部の像および所定の物体の像の位置と、実空間における所定の物体の位置に基づいて、実空間における眼の位置を推定する。身体の一部は、例えば、頭の頂部、肩、耳等であってよい。
眼の位置を推定する方法の他の例として、第１コントローラ１２は、通信機器１が異なる位置にある状態で撮像素子１１によってそれぞれ生成された複数の撮像画像に基づいて眼の位置を推定してよい。第１コントローラ１２が、複数の撮像画像に基づいて眼の位置を推定する構成において、上述したようにステアリングホイール２０２に取付けられている通信機器１の位置は、該ステアリングホイール２０２の回転に伴って変更されうる。具体的には、第１コントローラ１２は、ステアリングホイール２０２が回転する前の第１の位置を示す情報をメモリ１３に記憶させる。撮像素子１１は、通信機器１が第１の位置にある状態で利用者を撮像することによって第１の撮像画像を生成する。ステアリングホイール２０２が回転して、通信機器１が第１の位置とは異なる第２の位置で停止すると、第１コントローラ１２は、第２の位置を示す情報をメモリ１３に記憶させる。撮像素子１１は、通信機器１が第２の位置にある状態で利用者を撮像することによって第２の撮像画像を生成する。第１コントローラ１２は、第１の撮像画像および第２の撮像画像上それぞれの眼の位置と、実空間における第１の位置および第２の位置とに基づいて、オプティカルフロー法により、３次元空間における眼の位置を推定する。
第１コントローラ１２は、推定した眼の位置を示す位置情報を生成する。第１コントローラ１２は、第１通信部１４が位置情報をＨＵＤ２に送信するよう制御する。
＜反射器の駆動制御＞
第１通信部１４から送信された位置情報をＨＵＤ２の第２通信部５４が受信すると、ＨＵＤ２の駆動装置３２は、位置情報が示す高さ方向（ｗ軸方向）の眼の位置に基づいて反射素子３１を駆動する。既に説明したように、３次元表示装置５から射出された画像光は、反射素子３１によって光学部材４の所定領域に向けて反射される。そして、光学部材４の所定領域に到達した画像光は、利用者の眼の位置に向けて光学部材４によって反射される。利用者の眼の位置は、利用者、該利用者の座高等の身体的特徴、利用者の着座姿勢によって異なる。駆動装置３２は、利用者の眼の位置に基づいて、該眼の位置に画像光が到達するような、反射素子３１の位置および姿勢の少なくとも１つを判定する。駆動装置３２は、反射素子３１が判定した位置および姿勢となるように駆動する。
駆動装置３２は、高さ方向の眼の位置ではなく、眼間方向または前後方向の位置に基づいて反射素子３１の位置および姿勢の少なくとも１つを判定してもよい。第１コントローラ１２は、高さ方向、眼間方向、前後方向のいずれか２つ以上の眼の位置に基づいて駆動情報を生成してよい。駆動装置３２は、該駆動情報に基づいて反射素子３１の位置および姿勢の少なくとも１つを判定してよい。
＜表示パネルの制御＞
ＨＵＤ２の第２通信部５４が位置情報を受信すると、第２コントローラ５５は、利用者の眼の位置に基づいて、眼間距離Ｅおよび３次元表示装置５の特性を用いて、左可視領域ＶａＬおよび右可視領域ＶａＲを判定する。３次元表示装置５の特性は、上述した虚像バリアピッチＶＢｐ、虚像ギャップＶｇ、および第１虚像Ｖ１の画像ピッチ（２×ｎ×ＶＨｐ）である。ＨＵＤ２の第２コントローラ５５は、左可視領域ＶａＬおよび右可視領域ＶａＲを判定すると、左可視領域ＶａＬおよび右可視領域ＶａＲに基づいて、アクティブエリアＡの一部に左眼画像を表示させ、アクティブエリアＡの残りの一部に右眼画像を表示する。具体的には、第２コントローラ５５は、左可視領域ＶａＬに所定割合（例えば、５０％）より多くが含まれるサブピクセルに左眼画像を表示する。第２コントローラ５５は、右可視領域ＶａＲに所定割合より多くが含まれるサブピクセルに右眼画像を表示する。これにより、利用者の左眼が左眼画像の虚像を所定割合より多く視認し、右眼が右眼画像の虚像を所定割合より多く視認する。上述したように、右眼画像および左眼画像は互いに視差を有する視差画像であるため、利用者は３次元画像の虚像を視認することができる。
＜メモリへの情報の記憶＞
第１コントローラ１２は、眼の位置を推定すると、眼の位置を示す位置情報をメモリ１３に記憶させてもよい。このような構成において、第１コントローラ１２は、第１通信部１４がＨＵＤ２との接続を確立したときにメモリ１３に位置情報が記憶されている場合、該位置情報をＨＵＤ２に送信する。これにより、ＨＵＤ２の第２コントローラ５５は、第１通信部１４から受信した位置情報に基づいて可視領域Ｖａを判定する。また、駆動装置３２は、第１通信部１４から受信した位置情報に基づいて、反射素子３１の位置および姿勢の少なくとも一方を判定する。これにより、第１コントローラ１２は、一度眼の位置を推定する処理を実行すれば、利用者が２回目以降にＨＵＤシステム１００の利用を開始するとき、眼の位置を推定する処理を省略することができる。
＜＜第１コントローラの処理フロー＞＞
続いて、通信機器１の第１コントローラ１２が実行する処理について、図８を参照して詳細に説明する。
まず、第１コントローラ１２は、第１通信モジュール１４１がセキュリティ情報をＨＵＤ２の第３通信モジュール５４１に送信するよう制御する（ステップＳ１１）。
第１コントローラ１２は、ステップＳ１１で送信されたセキュリティ情報に基づき第１通信モジュール１４１が第３通信モジュール５４１との接続を確立すると、第２通信モジュール１４２に第４通信モジュール５４２との接続を確立させる（ステップＳ１２）。
第１コントローラ１２は、撮像素子１１によって撮像された撮像画像を取得する（ステップＳ１３）。
ステップＳ１３で撮像画像が取得されると、第１コントローラ１２は、撮像画像に基づいて、利用者の眼の位置を推定する（ステップＳ１４）。
ステップＳ１４で眼の位置が推定されると、第１コントローラ１２は、眼の位置を示す位置情報をＨＵＤ２に送信する（ステップＳ１５）。
上述した実施形態に係る通信機器１として、携帯電話、スマートフォン、タブレット端末等の情報処理装置が採用可能である。このような情報処理装置は、実施形態に係る通信機器１の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させることで実現可能である。
以上説明したように、本実施形態では、駆動装置３２は、反射素子３１によって反射された画像光が眼の位置に到達するように反射素子３１の位置および姿勢の少なくとも一方を変化させる。このため、例えば、利用者自身または利用者の位置姿勢が変わることによって眼の位置が変わっても、画像光は眼の位置に到達することができる。したがって、利用者は、適切に３次元表示装置５によって表示された視差画像を視認しうる。
本実施形態では、第１コントローラ１２は、高さ方向の眼の位置を推定し、駆動装置３２は、高さ方向の眼の位置に基づいて反射素子３１の位置および姿勢の少なくとも一方を変化させる。例えば、利用者が所定の座席に着座した状態で、３次元表示装置５が用いられる場合、利用者が変わると、画像光が到達すべき眼の位置は、他の方向より高さ方向に大きく変わる。このため、高さ方向の眼の位置に基づいて反射素子３１を変化させれば、利用者が３次元表示装置５によって表示された視差画像を視認しにくくなることが大きく低減されうる。
本実施形態では、撮像画像における眼の像および所定の物体の像の位置と、実空間における所定の物体の位置に基づいて、実空間における眼の位置を推定する。このため、第１コントローラ１２は、複数の撮像画像を用いることなく、単一の撮像画像を用いて眼の位置を推定することできる。したがって、通信ＨＵＤシステム１００の設定にあたって、通信機器１の位置の変更前後でそれぞれ撮像画像を生成する必要がなく、より簡易に通信ＨＵＤシステム１００が設定されうる。
本実施形態では、第１通信部１４が、ＨＵＤ２との接続を確立したときにメモリ１３に位置情報が記憶されている場合、第１コントローラ１２は、第１通信部１４が位置情報をＨＵＤ２に送信するよう制御する。このため、利用者がＨＵＤシステム１００の利用を開始するたびに、撮像素子１１が撮像画像を生成し、第１コントローラ１２が眼の位置を推定することを行わなくても、既に記憶されている利用者の眼の位置をＨＵＤ２に送信しうる。これにより、通信機器１の負荷を低減しうる。
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
例えば、図９に示すように、３次元表示装置５は、表示パネル５２から射出した画像光がパララックスバリア５３の透光領域５３１を透過して、反射器３および光学部材４を介さずに、直接、利用者の眼に到達するように、配置されてもよい。このような構成においては、上述した構成と同様に、第２コントローラ５５は、第２通信部５４によって受信した可視領域情報に基づいて、アクティブエリアＡの一部に左眼画像を表示させ、アクティブエリアＡの残りの一部に右眼画像を表示する。具体的には、第２コントローラ５５は、可視領域情報が示すアクティブエリアＡ上の左可視領域５３２ａＬに所定割合（例えば、５０％）より多くが含まれるサブピクセルに左眼画像を表示する。第２コントローラ５５は、可視領域情報が示す右可視領域５３２ａＲに所定割合より多くが含まれるサブピクセルに右眼画像を表示する。これにより、利用者の左眼が左眼画像の虚像を右眼画像の虚像より多く視認し、右眼が右眼画像の虚像を左眼画像の虚像より多く視認する。上述したように、右眼画像および左眼画像は互いに視差を有する視差画像であるため、利用者は３次元画像を視認する。
例えば、上述の実施形態では、駆動装置３２が反射素子３１の位置および姿勢の少なくとも一方を判定するとしたが、この限りではない。通信機器１の第１コントローラ１２が、眼の位置に基づいて反射素子３１の位置および姿勢を判定してよい。このような構成において、第１コントローラ１２は、反射素子３１の位置および姿勢を示す駆動情報を生成して、第１通信部１４に送信させてよい。駆動装置３２は、第１通信部１４から送信された駆動情報に基づいて反射素子３１を駆動してよい。
例えば、上述の実施形態では、ＨＵＤ２の第２コントローラ５５が左可視領域ＶａＬおよび右可視領域ＶａＲを判定したが、この限りではない。通信機器１の第１コントローラ１２が、眼の位置に基づいて、眼間距離Ｅおよび３次元表示装置５の特性を用いて、左可視領域ＶａＬおよび右可視領域ＶａＲを判定してよい。このような構成において、第１コントローラ１２は、左可視領域ＶａＬおよび右可視領域ＶａＲを示す可視領域情報を生成して、第１通信部１４に送信させてよい。ＨＵＤ２の第２コントローラ５５は、第１通信部１４から送信された駆動情報に基づいて表示パネル５２に視差画像を表示してよい。
例えば、実施形態では、光学素子がパララックスバリア５３であるとしたが、これに限られない。例えば、図１０に示すように、光学素子は、レンチキュラレンズ６２４であってもよい。この場合、レンチキュラレンズ６２４は、垂直方向に延びるシリンドリカルレンズ６２５を、平面上に水平方向に配列して構成される。レンチキュラレンズ６２４は、パララックスバリア５３と同様に、一部のサブピクセルを出射した画像光を、利用者の左眼の位置に伝搬させ、他の一部のサブピクセルを出射した画像光を、利用者の右眼の位置に伝搬させる。
１ 通信機器
２ ヘッドアップディスプレイ
３ 反射器
４ 光学部材
５ ３次元表示装置
１０ 撮像光学系
１１ 撮像素子
１２ 第１コントローラ
１３ メモリ
１４ 第１通信部
２０ 移動体
３１ 反射素子
３２ 駆動装置
５１ 照射器
５２ 表示パネル
５３ パララックスバリア
５４ 第２通信部
５５ 第２コントローラ
５６ レンチキュラレンズ
１４１ 第１通信モジュール
１４２ 第４通信モジュール
２０１ 取付部
２０２ ステアリングホイール
５４１ 第３通信モジュール
５４２ 第４通信モジュール
５６１ シリンドリカルレンズ
５３１ 透光領域
５３２ 減光領域
Ａ アクティブエリア
Ｖ１ 第１虚像
Ｖ２ 第２虚像
ＶａＬ 左可視領域
ＶａＲ 右可視領域
ＶｂＬ 左減光領域
ＶｂＲ 右減光領域
５２ａＬ 左可視領域
５２ａＲ 右可視領域
１００ 通信ヘッドアップディスプレイシステム

Claims (10)

  1. センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定する第１コントローラ、および前記第１コントローラによって推定された前記位置を送信する第１通信部を含む通信機器と、
    視差画像を表示する表示パネル、前記視差画像から射出した画像光の伝播方向を規定する光学素子、前記光学素子によって伝播方向が規定された画像光を反射する反射器、および、前記通信機器から前記眼の位置を受信可能な第２通信部を含むヘッドアップディスプレイと、
    を備え、
    前記反射器は、
    前記画像光を反射する反射素子と、
    前記反射素子によって反射された画像光が前記第２通信部により取得した前記眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置と、を有 し、
    前記通信機器は、実空間における複数の異なる位置に移動可能に設置され、前記センサは、前記複数の異なる位置のそれぞれで前記利用者を撮像することによって複数の撮像画像を生成する撮像素子であり、
    前記第１コントローラは、複数の前記撮像画像それぞれにおける前記利用者の体の少なくとも一部の像の位置と、前記利用者を撮像したときの前記撮像素子の複数の異なる位置とに基づいて、実空間における前記眼の位置を推定する 、通信ヘッドアップディスプレイシステム。
  2. 前記通信機器は、
    前記眼の位置を示す位置情報を記憶するメモリをさらに備え、
    前記第１通信部が、前記ヘッドアップディスプレイとの接続を確立したときに前記メモリに前記位置情報が記憶されている場合、前記第１コントローラは、前記第１通信部が前記位置情報を前記ヘッドアップディスプレイに送信するよう制御する、請求項１に記載の通信ヘッドアップディスプレイシステム。
  3. 前記第１通信部は、
    前記ヘッドアップディスプレイに前記通信機器または該通信機器の利用者を識別するための識別情報を送信する第１通信モジュールと、
    前記ヘッドアップディスプレイに前記位置情報を送信する第２通信モジュールと、を含み、
    前記第２通信部は、
    前記第１通信モジュールから前記識別情報を受信する第３通信モジュールと、
    前記第２通信モジュールから前記位置情報を受信する第４通信モジュールと、を含み、
    前記第１コントローラは、前記第１通信モジュールと前記第３通信モジュールとの通信が確立した後に、前記第２通信モジュールに第４通信モジュールとの接続を確立させる、請求項２に記載の通信ヘッドアップディスプレイシステム。
  4. 前記ヘッドアップディスプレイは、
    前記駆動装置が前記反射素子の位置および姿勢の少なくとも一方を変化させた後、前記利用者の眼の位置に基づいて、前記視差画像における前記利用者の第１眼に視認させるための第１画像を表示させるサブピクセルと、前記視差画像における前記利用者の第２眼に視認させるための第２画像を表示させるサブピクセルとを判定する第２コントローラを備える、請求項１から３のいずれか一項に記載の通信ヘッドアップディスプレイシステム。
  5. 前記利用者が乗り込む移動体に備わっている通信ヘッドアップディスプレイシステムであって、
    前記通信機器は、前記移動体の可動部に取り付けられている、請求項１から４のいずれか一項に記載の通信ヘッドアップディスプレイシステム。
  6. 前記移動体は、車両である、請求項５に記載の通信ヘッドアップディスプレイシステム。
  7. 前記可動部は、ステアリングホイールである、請求項６に記載の通信ヘッドアップディスプレイシステム。
  8. ヘッドアップディスプレイと通信可能である通信機器であって、前記ヘッドアップディスプレイは、視差画像を表示する表示パネル、前記視差画像から射出した画像光の伝播方向を規定する光学素子、前記光学素子によって伝播方向が規定された画像光を反射する反射器とを含み、前記反射器は、画像光を反射する反射素子と、前記反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置を含み、
    利用者を撮像した撮像画像を生成する撮像素子と、
    前記撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成するコントローラと、
    前記位置情報を、前記駆動装置の制御に使用するため前記ヘッドアップディスプレイに送信する通信部と、
    を備え 、
    前記通信機器は、実空間における複数の異なる位置に移動可能に設置され、前記撮像素子は、前記複数の異なる位置のそれぞれで前記利用者を撮像することによって複数の撮像画像を生成し、
    前記コントローラは、複数の前記撮像画像それぞれにおける前記利用者の体の少なくとも一部の像の位置と、前記利用者を撮像したときの前記撮像素子の複数の異なる位置とに基づいて、実空間における前記眼の位置を推定する、 通信機器。
  9. センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定する第１コントローラ、および前記第１コントローラによって推定された前記位置を送信する第１通信部を含む通信機器と、
    視差画像を表示する表示パネルと、前記視差画像から射出した画像光の伝播方向を規定する光学素子と、前記光学素子によって伝播方向が規定された画像光を反射する反射器とを含むヘッドアップディスプレイと、含み、前記反射器は、前記画像光を反射する反射素子と、前記反射素子によって反射された画像光が利用者の眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置と、
    を有する通信ヘッドアップディスプレイシステムと、
    前記通信機器を移動可能に取付ける取付部と、
    を備え 、
    前記通信機器は、前記取付部の複数の異なる位置に移動可能に設置され、前記センサは、前記複数の異なる位置のそれぞれで前記利用者を撮像することによって複数の撮像画像を生成する撮像素子であり、
    前記第１コントローラは、複数の前記撮像画像それぞれにおける前記利用者の体の少なくとも一部の像の位置と、前記利用者を撮像したときの前記撮像素子の複数の異なる位置とに基づいて、実空間における前記眼の位置を推定する、 移動体。
  10. 撮像素子と、コントローラと、通信部とを備える通信機器の前記コントローラが実行するプログラムであって、前記通信機器はヘッドアップディスプレイと通信し、前記ヘッドアップディスプレイは、視差画像を表示する表示パネルと、前記視差画像から射出した画像光の伝播方向を規定する光学素子と、前記光学素子によって伝播方向が規定された画像光を反射する反射器とを含み、前記反射器は、画像光を反射する反射素子と、前記反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置を含み、
    前記コントローラが、
    前記撮像素子が、利用者を撮像することによって生成した撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成し、
    前記通信部が、前記駆動装置の制御に使用するため前記位置情報を前記ヘッドアップディスプレイに送信するよう制御するためのプログラム であり、
    前記通信機器は、実空間における複数の異なる位置に移動可能に設置され、前記撮像素子は、前記複数の異なる位置のそれぞれで前記利用者を撮像することによって複数の撮像画像を生成し、
    前記コントローラは、複数の前記撮像画像それぞれにおける前記利用者の体の少なくとも一部の像の位置と、前記利用者を撮像したときの前記撮像素子の複数の異なる位置とに基づいて、実空間における前記眼の位置を推定する、プログラム 。
JP2018207588A 2018-11-02 2018-11-02 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム Active JP7105174B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018207588A JP7105174B2 (ja) 2018-11-02 2018-11-02 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム
US17/285,081 US12010289B2 (en) 2018-11-02 2019-10-28 Communication head-up display system, communication device, mobile body, and non-transitory computer-readable medium
CN201980069304.4A CN112889275B (zh) 2018-11-02 2019-10-28 通信平视显示器系统、通信设备、移动体以及程序
EP19877714.6A EP3876529B1 (en) 2018-11-02 2019-10-28 Communication head up display system, communication device, mobile body, and program
PCT/JP2019/042126 WO2020090713A1 (ja) 2018-11-02 2019-10-28 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018207588A JP7105174B2 (ja) 2018-11-02 2018-11-02 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020072460A JP2020072460A (ja) 2020-05-07
JP7105174B2 true JP7105174B2 (ja) 2022-07-22

Family

ID=70463677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018207588A Active JP7105174B2 (ja) 2018-11-02 2018-11-02 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム

Country Status (4)

Country Link
EP (1) EP3876529B1 (ja)
JP (1) JP7105174B2 (ja)
CN (1) CN112889275B (ja)
WO (1) WO2020090713A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005247224A (ja) 2004-03-05 2005-09-15 Sumitomo Electric Ind Ltd 車両用表示装置
JP2014010418A (ja) 2012-07-03 2014-01-20 Yazaki Corp 立体表示装置及び立体表示方法
JP2017009628A (ja) 2015-06-16 2017-01-12 株式会社リコー 光走査装置
JP2018090170A (ja) 2016-12-06 2018-06-14 株式会社デンソー ヘッドアップディスプレイシステム
WO2018199185A1 (ja) 2017-04-26 2018-11-01 京セラ株式会社 表示装置、表示システム、および移動体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7190518B1 (en) * 1996-01-22 2007-03-13 3Ality, Inc. Systems for and methods of three dimensional viewing
JP3668116B2 (ja) 1999-09-24 2005-07-06 三洋電機株式会社 眼鏡無し立体映像表示装置
JP2015215509A (ja) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 表示装置、表示方法およびプログラム
JP6677385B2 (ja) * 2015-01-22 2020-04-08 天馬微電子有限公司 立体表示装置及び視差画像補正方法
CN108292045B (zh) * 2016-02-12 2020-11-06 麦克赛尔株式会社 车辆用影像显示装置
CN110235049A (zh) * 2017-02-06 2019-09-13 三菱电机株式会社 立体显示装置及平视显示器
JP6848698B2 (ja) 2017-05-31 2021-03-24 トヨタ自動車株式会社 車両
JP6968676B2 (ja) * 2017-12-06 2021-11-17 矢崎総業株式会社 車両用表示装置
KR102586619B1 (ko) * 2018-09-28 2023-10-11 현대자동차주식회사 차량 및 차량의 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005247224A (ja) 2004-03-05 2005-09-15 Sumitomo Electric Ind Ltd 車両用表示装置
JP2014010418A (ja) 2012-07-03 2014-01-20 Yazaki Corp 立体表示装置及び立体表示方法
JP2017009628A (ja) 2015-06-16 2017-01-12 株式会社リコー 光走査装置
JP2018090170A (ja) 2016-12-06 2018-06-14 株式会社デンソー ヘッドアップディスプレイシステム
WO2018199185A1 (ja) 2017-04-26 2018-11-01 京セラ株式会社 表示装置、表示システム、および移動体

Also Published As

Publication number Publication date
JP2020072460A (ja) 2020-05-07
CN112889275B (zh) 2023-06-16
US20210356751A1 (en) 2021-11-18
WO2020090713A1 (ja) 2020-05-07
EP3876529A4 (en) 2022-05-11
EP3876529B1 (en) 2024-03-27
EP3876529A1 (en) 2021-09-08
CN112889275A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN113039785A (zh) 三维显示装置、三维显示系统、平视显示器以及移动体
WO2021106688A1 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体
JP7105174B2 (ja) 通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラム
JP7274392B2 (ja) カメラ、ヘッドアップディスプレイシステム、及び移動体
JP7284053B2 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、移動体及びヘッドアップディスプレイの設計方法
CN112889274B (zh) 三维显示装置、平视显示器、移动体以及程序
US12010289B2 (en) Communication head-up display system, communication device, mobile body, and non-transitory computer-readable medium
JP7034052B2 (ja) 無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラム
JP7337153B2 (ja) ヘッドアップディスプレイシステムおよび移動体
JP7346587B2 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体
JP7441333B2 (ja) ３次元表示装置、画像表示システムおよび移動体
JP7250666B2 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム及び移動体
JP7332449B2 (ja) ヘッドアップディスプレイモジュール、ヘッドアップディスプレイシステム及び移動体
WO2021106665A1 (ja) ヘッドアップディスプレイシステムおよび移動体
WO2020256154A1 (ja) ３次元表示装置、３次元表示システム、および移動体

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R150 Certificate of patent or registration of utility model

Ref document number: 7105174

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150