JP7034052B2 - 無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラム - Google Patents

Description

本開示は、無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラム
に関する。

従来、眼鏡を用いずに３次元表示を行うために、表示パネルから出射された光の一部を右眼に到達させ、表示パネルから出射された光の他の一部を左眼に到達させる光学素子を備える３次元表示装置が知られている（特許文献１参照）。

特開２００１－１６６２５９号公報

利用者がヘッドアップディスプレイによって投影された画像の虚像を適切に視認するために、利用者の眼の位置に適切に画像光が到達することが望まれている。

本開示は、利用者に適切な虚像を視認させることができる無線通信ヘッドアップディスプレイシステム、無線通信機器、移動体、およびプログラムを提供する。

本開示の無線通信ヘッドアップディスプレイシステムは、無線通信機器と、ヘッドアップディスプレイと、を備える。前記無線通信機器は、撮像素子と、第１コントローラと、第１通信モジュールと、を含む。前記撮像素子は、撮像画像を生成する。前記第１コントローラは、前記撮像画像に基づいて、利用者の眼の位置を推定する。前記第１通信モジュールは、前記第１コントローラにより推定された前記利用者の眼の位置を送信する。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、光学系と、第２コントローラと、を含む。前記表示パネルは、視差画像を表示する。前記光学素子は、前記表示パネルから射出した画像光の伝播方向を規定する。前記光学系は、前記光学素子により伝播方向を規定された前記画像光を前記利用者の眼の方向に向けて投影する。前記第２通信モジュールは、前記第１通信モジュールから前記眼の位置を受信する。第２コントローラは、前記第２通信モジュールにより受信した前記眼の位置に基づいて、前記表示パネルに表示させる視差画像を制御する。

本開示の無線通信機器は、撮像素子と、コントローラと、通信モジュールとを備える。前記撮像素子は、撮像画像を生成する。前記コントローラは、前記撮像画像に基づいて、利用者の眼の位置を推定する。前記通信モジュールは、前記利用者の眼の位置を示す位置情報をヘッドアップディスプレイに送信する。

本開示の移動体は、無線通信ヘッドアップディスプレイシステムを備える。無線通信ヘッドアップディスプレイシステムは、無線通信機器と、ヘッドアップディスプレイと、を備える。前記無線通信機器は、撮像素子と、第１コントローラと、第１通信モジュールと、を含む。前記撮像素子は、撮像画像を生成する。前記第１コントローラは、前記撮像画像に基づいて、利用者の眼の位置を推定する。前記第１通信モジュールは、前記第１コントローラにより推定された前記利用者の眼の位置を送信する。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、光学系と、第２コントローラと、を含む。前記表示パネルは、視差画像を表示する。前記光学素子は、前記表示パネルから射出した画像光の伝播方向を規定する。前記光学系は、前記光学素子により伝播方向を規定された前記画像光を前記利用者の眼の方向に向けて投影する。前記第２通信モジュールは、前記第１通信モジュールから前記眼の位置を受信する。第２コントローラは、前記第２通信モジュールにより受信した前記眼の位置に基づいて、前記表示パネルに表示させる視差画像を制御する。

本開示のプログラムは、撮像素子と、コントローラと、通信モジュールとを備える無線通信機器が実行する。前記コントローラは、前記撮像素子が、撮像画像を生成させ、前記撮像画像に基づいて、利用者の眼の位置を推定するよう制御する。前記コントローラは、前記通信モジュールが前記利用者の眼の位置を示す位置情報をヘッドアップディスプレイに送信するよう制御する。

本開示の一実施形態によれば、利用者に適切な虚像を視認させることが可能となる。

移動体に搭載された無線通信ヘッドアップディスプレイシステムの例を示す図である。 図１に示す無線通信機器およびヘッドアップディスプレイの概略構成を示す図である。 図２に示す表示パネルを奥行方向から見た例を示す図である。 図２に示すパララックスバリアを奥行方向から見た例を示す図である。 図１に示す虚像と利用者の眼との関係を説明するための図である。 図３に示す第１コントローラの処理フローの第１例を示すフローチャートである。 図３に示す第１コントローラの処理フローの第２例を示すフローチャートである。 図３に示す第１コントローラの処理フローの第３例を示すフローチャートである。 利用者が表示パネルを直接視認する場合の、３次元表示装置と利用者の眼との位置関係を示す図である。 光学素子をレンチキュラレンズとした場合の３次元表示装置の概略構成図である。

以下、本開示の一実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものであり、図面上の寸法比率等は現実のものとは必ずしも一致していない。

本開示の一実施形態にかかる無線通信ヘッドアップディスプレイ（ＨＵＤ：Head Up Display）システム１００は、図１に示すように、無線通信機器１と、ヘッドアップディスプレイ（ＨＵＤ：Head Up Display）２とを備える。通信ＨＵＤシステム１００は、移動体２０に搭載されてよい。

本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。

無線通信機器１は、汎用の無線通信端末、例えば、携帯電話、スマートフォン、タブレット端末等を採用しうる。無線通信機器１は、撮像光学系１０と、撮像素子１１と、第１コントローラ（コントローラ）１２と、モーションセンサ１３と、第１通信モジュール（通信モジュール）１４とを含む。

無線通信機器１は、撮像光学系１０の撮像素子１１とは反対側に利用者の両眼が位置するように配置される。通信ＨＵＤシステム１００が移動体２０に搭載される場合、無線通信機器１は、例えば、ルームミラーに取り付けられてよい。無線通信機器１は、例えば、移動体２０のダッシュボード上に取付けられてよい。無線通信機器１は、センターパネルに取り付けられてよい。無線通信機器１は、該ステアリングホイールの支持部に取り付けられてよい。

撮像光学系１０は、１つ以上のレンズを含んで構成される。撮像光学系１０は、撮像光学系１０の光軸が撮像素子１１の撮像面に垂直となるように配置されている。撮像光学系１０は、被写体から入射した光を撮像素子１１の撮像面において被写体像として結像させる。

撮像素子１１は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子１１は、撮像光学系１０によって結像された像を画像情報に変換することによって画像を生成する。

第１コントローラ１２は、無線通信機器１の各構成要素に接続され、各構成要素を制御しうる。第１コントローラ１２によって制御される構成要素は、撮像素子１１、第１コントローラ１２、モーションセンサ１３、および第１通信モジュール１４を含む。第１コントローラ１２は、例えばプロセッサとして構成される。第１コントローラ１２は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。第１コントローラ１２は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。

第１コントローラ１２の詳細については追って説明する。

モーションセンサ１３は、該モーションセンサ１３を備える無線通信機器１の運動を表すパラメータを検出する。モーションセンサ１３は、例えば、加速度センサ、角加速度センサである。運動を表すパラメータは、例えば、加速度、加速度の時間変化、角加速度、および角加速度の時間変化を含む。

第１通信モジュール１４は、３次元表示装置５と通信可能である。第１通信モジュール１４と３次元表示装置５との通信において用いられる通信方式は、近距離無線通信規格または携帯電話網へ接続する無線通信規格であってよいし、有線通信規格であってよい。近距離の無線通信規格は、例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、ＮＦＣ（Near Field Communication）等を含んでよい。携帯電話網へ接続する無線通信規格は、例えば、ＬＴＥ（Long Term Evolution）、第４世代移動通信システムまたは第５世代移動通信システム等を含んでよい。

ＨＵＤ２は、１つ以上の反射器３と、光学部材４と、３次元表示装置５とを含みうる。反射器３および光学部材４を光学系ともいう。

反射器３は、３次元表示装置５から射出された画像光を、光学部材４の所定領域に向けて反射させる。所定領域は、該所定領域で反射した画像光が利用者の眼の方に向かう領域である。所定領域は、光学部材４に対する利用者の眼の方向、および光学部材４への画像光の入射方向によって定まりうる。反射器３は、１つ以上の反射素子を含む。

反射素子それぞれは、ミラーであってよい。反射素子がミラーである場合、例えば、ミラーは凹面鏡としてよい。図１において、１つ以上の反射素子は、１つのミラーとして表示している。しかし、これに限られず、１つ以上の反射素子は、１つ以上のミラーを組み合わせて構成してよい。

光学部材４は、３次元表示装置５から射出され、１つ以上の反射器３によって反射された画像光を、利用者の左眼（第１眼）および右眼（第２眼）に向けて反射させる。例えば、移動体２０のウインドシールドは、光学部材４として兼用されてよい。したがって、ＨＵＤ２は、光路Ｌに沿って、３次元表示装置５から射出された光を、利用者の左眼および右眼まで進行させる。利用者は、光路Ｌに沿って到達した光を虚像Ｖとして視認しうる。

図２に示すように、３次元表示装置５は、第２通信モジュール５４と、第２コントローラ５５と、照射器５１と、表示パネル５２と、光学素子としてのパララックスバリア５３とを含むことができる。ＨＵＤ２が移動体２０に搭載される構成において、３次元表示装置５は、移動体２０のクラスタに取り付けられてよい。

第２通信モジュール５４は、無線通信機器１の第１通信モジュール１４と同じ通信規格を用いて、第１通信モジュール１４と通信可能である。第２通信モジュール５４は、第１通信モジュール１４から送信された各種情報を受信する。

第２コントローラ５５は、ＨＵＤ２の各構成要素に接続され、各構成要素を制御しうる。第２コントローラ５５によって制御される構成要素は、照射器５１、表示パネル５２、第２通信モジュール５４を含む。第２コントローラ５５は、１以上のプロセッサを含んでよい。第２コントローラ５５は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、ＡＳＩＣを含んでよい。プロセッサは、ＰＬＤを含んでよい。ＰＬＤは、ＦＰＧＡを含んでよい。第２コントローラ５５は、１つまたは複数のプロセッサが協働するＳｏＣ、およびＳｉＰのいずれかであってよい。

照射器５１は、表示パネル５２を面的に照射しうる。照射器５１は、光源、導光板、拡散板、拡散シート等を含んでよい。照射器５１は、光源により照射光を出射し、導光板、拡散板、拡散シート等により照射光を表示パネル５２の面方向に均一化する。そして、照射器５１は均一化された光を表示パネル５２の方に出射しうる。

表示パネル５２は、例えば透過型の液晶表示パネルなどの表示パネルを採用しうる。表示パネル５２としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。表示パネル５２として、自発光型の表示パネルを使用した場合、３次元表示装置５は照射器５１を備えなくてよい。表示パネル５２を液晶パネルとして説明する。

図３に示すように、表示パネル５２は、面状に形成されたアクティブエリアＡ上に複数の区画領域を有する。アクティブエリアＡは、視差画像を表示する。視差画像は、後述する左眼画像（第１画像）と左眼画像に対して視差を有する右眼画像（第２画像）とを含む。区画領域は、第１方向および第１方向に直交する第２方向に区画された領域である。第１方向および第２方向に直交する方向は第３方向と称される。第１方向は水平方向と称されてよい。第２方向は鉛直方向と称されてよい。第３方向は奥行方向と称されてよい。しかし、第１方向、第２方向、および第３方向はそれぞれこれらに限られない。図２から図４、図９、および図１０において、第１方向はｘ軸方向として表され、第２方向はｙ軸方向として表され、第３方向はｚ軸方向として表される。図１および図５において、利用者の右眼および左眼を通る直線の方向である眼間方向はｕ軸方向として表され、利用者の前後方向はｗ軸方向として表され、ならびにｕ軸方向およびｗ軸方向に垂直な高さ方向はｖ軸方向として表される。

区画領域の各々には、１つのサブピクセルが対応する。したがって、アクティブエリアＡは、水平方向および鉛直方向に沿って格子状に配列された複数のサブピクセルを備える。

各サブピクセルは、Ｒ（Red），Ｇ（Green），Ｂ（Blue）のいずれかの色に対応し、Ｒ，Ｇ，Ｂの３つのサブピクセルを一組として１ピクセルを構成することができる。１ピクセルは、１画素と称されうる。水平方向は、例えば、１ピクセルを構成する複数のサブピクセルが並ぶ方向である。鉛直方向は、例えば、同じ色のサブピクセルが並ぶ方向である。表示パネル５２としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。表示パネル５２として、自発光型の表示パネルを使用した場合、３次元表示装置５は照射器５１を備えなくてよい。

上述のようにアクティブエリアＡに配列された複数のサブピクセルはサブピクセル群Ｐｇを構成する。サブピクセル群Ｐｇは、水平方向に繰り返して配列される。サブピクセル群Ｐｇは、鉛直方向に同じ位置に配列すること、および、ずらして配列することができる。例えば、サブピクセル群Ｐｇは、鉛直方向においては、水平方向に１サブピクセル分ずれた位置に隣接して繰り返して配列することができる。サブピクセル群Ｐｇは、所定の行および列のサブピクセルを含む。具体的には、サブピクセル群Ｐｇは、鉛直方向にｂ個（ｂ行）、水平方向に２×ｎ個（２×ｎ列）、連続して配列された（２×ｎ×ｂ）個のサブピクセルＰ１～Ｐ（２×ｎ×ｂ）を含む。図３に示す例では、ｎ＝６、ｂ＝１である。アクティブエリアＡには、鉛直方向に１個、水平方向に１２個、連続して配列された１２個のサブピクセルＰ１～Ｐ１２を含むサブピクセル群Ｐｇが配置される。図３に示す例では、一部のサブピクセル群Ｐｇに符号を付している。

サブピクセル群Ｐｇは、後述する第２コントローラ５５が画像を表示するための制御を行う最小単位である。サブピクセル群Ｐｇに含まれる各サブピクセルは、識別情報Ｐ１～Ｐ（２×ｎ×ｂ）で識別される。全てのサブピクセル群Ｐｇの同じ識別情報を有するサブピクセルＰ１～Ｐ（２×ｎ×ｂ）は、第２コントローラ５５によって同時に制御される。例えば、第２コントローラ５５は、サブピクセルＰ１に表示させる画像を左眼画像から右眼画像に切り替える場合、全てのサブピクセル群ＰｇにおけるサブピクセルＰ１に表示させる画像を左眼画像から右眼画像に同時的に切り替えられる。

パララックスバリア５３は、図２に示したように、アクティブエリアＡに沿う平面により形成され、アクティブエリアＡから所定距離（ギャップ）ｇ、離れて配置される。パララックスバリア５３は、表示パネル５２に対して照射器５１の反対側に位置してよい。パララックスバリア５３は、表示パネル５２の照射器５１側に位置してよい。

パララックスバリア５３は、図４に示すように、面内の所定方向に伸びる複数の帯状領域である透光領域５３１ごとに、サブピクセルから射出される画像光の伝播方向を規定する。具体的には、パララックスバリア５３は、複数の、画像光を減光させる減光領域５３２を有する。複数の減光領域５３２は、互いに隣接する該減光領域５３２の間の透光領域５３１を画定する。透光領域５３１は、減光領域５３２に比べて光透過率が高い。減光領域５３２は、透光領域５３１に比べて光透過率が低い。透光領域５３１と減光領域５３２とは、アクティブエリアＡに沿う所定方向に延び、所定方向と直交する方向に繰り返し交互に配列される。所定方向は、例えばサブピクセルの対角線に沿う方向である。所定方向は、例えば、第１方向にａ個のサブピクセルを横切る間に、第２方向にｂ個のサブピクセルを横切る方向（ａ，ｂは互いの素の正の整数）としうる。また、所定方向は、第２方向としてもよい。

このように、パララックスバリア５３がアクティブエリアＡに配列されたサブピクセルから射出された画像光の伝播方向を規定することによって、図５に示すように、利用者の眼が視認可能なアクティブエリアＡ上の領域に対応する第１虚像Ｖ１の領域が定まる。以降において、利用者の眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は可視領域Ｖａと称される。利用者の左眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は左可視領域ＶａＬ（第１可視領域）と称される。利用者の右眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は右可視領域ＶａＲ（第２可視領域）と称される。

虚像バリアピッチＶＢｐおよびギャップＶｇは、適視距離Ｖｄを用いた次の式（１）および式（２）が成り立つように規定される。虚像バリアピッチＶＢｐは、減光領域５３２の第２虚像Ｖ２の、第１方向に対応する方向の配置間隔である。虚像ギャップＶｇは、第２虚像Ｖ２と第１虚像Ｖ１との間の距離である。適視距離Ｖｄは、無線通信機器１から受信した位置情報が示す利用者の右眼および左眼それぞれの位置とパララックスバリア５３の虚像Ｖ２との間の距離である。式（１）および式（２）において、虚像バリア開口幅ＶＢｗは、第２虚像Ｖ２における透光領域５３１の幅に対応する幅である。眼間距離Ｅは、右眼と左眼との間の距離である。眼間距離Ｅは、例えば、産業技術総合研究所の研究によって算出された値である６１．１ｍｍ～６４．４ｍｍであってよい。ＶＨｐは、サブピクセルの虚像の水平方向の長さである。ＶＨｐは、第１虚像Ｖ１におけるサブピクセル虚像の、第１方向に対応する方向の長さである。
Ｅ：Ｖｄ＝（ｎ×ＶＨｐ）：Ｖｇ 式（１）
Ｖｄ：ＶＢｐ＝（Ｖｄｖ＋Ｖｇ）：（２×ｎ×ＶＨｐ） 式（２）

表示パネル５２のアクティブエリアＡから射出された画像光の一部は、透光領域５３１を透過し、１つ以上の反射器３を介して光学部材４に到達する。さらに光学部材４に到達した画像光は光学部材４に反射されて利用者の眼に到達する。これにより、利用者の眼は光学部材４の前方にアクティブエリアＡに表示された視差画像の虚像である第１虚像Ｖ１を認識する。本願において前方は、利用者からみて光学部材４の方向である。前方は、移動体２０の通常移動する方向である。

したがって、利用者は、見かけ上、第２虚像Ｖ２を介して第１虚像Ｖ１を視認するかのごとく視差画像を認識する。

既に説明したように、通信ＨＵＤシステム１００が画像光を到達させる位置は、利用者の眼の位置に応じて異なる。通信ＨＵＤシステム１００は、３次元画像を表示している間に、利用者が適切に３次元画像を視認できるように、撮像画像の生成、眼の位置の推定、可視領域Ｖａの判定を行う。以降において、撮像画像の生成、眼の位置の推定、および可視領域Ｖａの判定について詳細に説明する。

＜第１例＞
（撮像画像の生成）
第１コントローラ１２は、表示パネル５２が視差画像の表示を開始すると、所定の時間間隔で、撮像素子１１に利用者の両眼の像を含む撮像画像を生成させてよい。

（眼の位置の推定）
第１コントローラ１２は、撮像素子１１によって生成された撮像画像から眼の位置を推定してよい。例えば、第１コントローラ１２は、撮像素子１１によって生成された単一の画像に含まれる所定の物体の像と、眼の像との位置関係に基づいて、実空間における眼の位置を推定してよい。無線通信機器１が移動体２０内部に取付けられる構成において、所定の物体は、移動体２０に対して固定して取付けられている物体であって、例えば、運転席のヘッドレスト、サイドウィンドウのフレーム等である。

例えば、第１コントローラ１２は、撮像画像上の各位置に対応付けて、該位置に対応する実空間の位置から所定の物体の像の位置までの距離および方向を予め対応付けてメモリに記憶させてよい。このような構成において、第１コントローラ１２は、撮像画像から眼を抽出する。第１コントローラ１２は、撮像画像における眼の位置に対応してメモリに記憶されている、該位置に対応する実空間の位置から所定の物体の像の位置までの距離および方向を抽出する。第１コントローラ１２は、所定の物体の像の位置までの距離および方向に基づいて、実空間における位置を推定しうる。

第１コントローラ１２は、撮像素子１１によって生成された単一の画像に含まれる所定の物体の像と、利用者の身体の一部の像との位置関係に基づいて、実空間における眼の位置を推定してよい。身体の一部は、例えば、頭の頂部、肩、耳等であってよい。このような構成において、第１コントローラ１２は、所定の物体の像と、利用者の身体の一部の像との位置関係に基づいて、実空間における身体の一部の位置を推定してよい。第１コントローラ１２は、身体の一部と眼との相対的な位置関係に基づいて、実空間における眼の位置を推定してよい。

第１コントローラ１２は、推定した眼の位置を示す位置情報を生成する。第１コントローラ１２は、第１通信モジュール１４が位置情報をＨＵＤ２に送信するよう制御する。

（表示パネルの制御）
ＨＵＤ２の第２通信モジュール５４が位置情報を受信すると、第２コントローラ５５は、利用者の眼の位置に基づいて、眼間距離Ｅおよび３次元表示装置５の特性を用いて、左可視領域ＶａＬおよび右可視領域ＶａＲを判定する。３次元表示装置５の特性は、上述した虚像バリアピッチＶＢｐ、虚像ギャップＶｇ、および第１虚像Ｖ１の画像ピッチ（２×ｎ×ＶＨｐ）である。ＨＵＤ２の第２コントローラ５５は、左可視領域ＶａＬおよび右可視領域ＶａＲを判定すると、左可視領域ＶａＬおよび右可視領域ＶａＲに基づいて、アクティブエリアＡの一部に左眼画像を表示させ、アクティブエリアＡの残りの一部に右眼画像を表示する。具体的には、第２コントローラ５５は、左可視領域ＶａＬに所定割合（例えば、５０％）より多くが含まれるサブピクセルに左眼画像を表示する。第２コントローラ５５は、右可視領域ＶａＲに所定割合より多くが含まれるサブピクセルに右眼画像を表示する。これにより、利用者の左眼が左眼画像の虚像を所定割合より多く視認し、右眼が右眼画像の虚像を所定割合より多く視認する。上述したように、右眼画像および左眼画像は互いに視差を有する視差画像であるため、利用者は３次元画像の虚像を視認する。

＜第２例＞
（撮像画像の生成）
第１コントローラ１２は、モーションセンサ１３によって検出された、無線通信機器１の運動を表すパラメータに基づいて、撮像素子１１に画像を生成させてよい。上述したように、運動を表すパラメータは、例えば、加速度、加速度の時間変化、角加速度、角加速度の時間変化を含む。第１コントローラ１２は、運動を表すパラメータが閾値未満であるか否かを判定してよい。第１コントローラ１２は、運動を表すパラメータが閾値未満であると判定すると、第１周期で撮像素子１１に画像を生成させる。第１コントローラ１２は、運動を表すパラメータが閾値以上であると判定すると、第１周期より短い第２周期で撮像素子１１に画像を生成させてよい。閾値は、運動を表すパラメータが該閾値未満であると、利用者の眼の位置が変化する頻度が、該閾値以上である場合に比べて少ないと見込まれる値である。閾値は、予めの実験等によって設定されうる。第１コントローラ１２は、運動を表すパラメータが大きいほど短い周期で撮像素子１１に画像を生成させてもよい。

第２例における眼の位置の推定、および表示パネルの制御は、第１例と同じである。
＜第３例＞
（撮像画像の生成）
第１コントローラ１２は、モーションセンサ１３によって検出された、無線通信機器１の運動を表すパラメータに基づいて、撮像素子１１に画像を生成させてよい。例えば、第１コントローラ１２は、運動を表すパラメータが閾値以上であるか否かを判定してよい。第１コントローラ１２は、運動を表すパラメータが閾値以上であると判定すると、撮像素子１１に画像を生成させてよい。

第３例における眼の位置の推定、および表示パネルの制御は、第１例と同じである。

＜第１例における処理フロー＞
続いて、無線通信機器１の第１コントローラ１２が第１例において実行する動作について、図６を参照して詳細に説明する。第１コントローラ１２は、ＨＵＤ２に処理を開始するための開始指示が入力されると処理を開始する。

まず、第１コントローラ１２は、前回の撮像から所定の時間が経過したか否かを判定する（ステップＳ１１）。

第１コントローラ１２は、前回の撮像から所定の時間が経過したと判定すると、撮像素子１１に画像を生成させる（ステップＳ１２）。

第１コントローラ１２は、撮像素子１１によって撮像された画像を取得する（ステップＳ１３）。

ステップＳ１３で画像が取得されると、第１コントローラ１２は、画像に基づいて、利用者の眼の位置を推定する（ステップＳ１４）。

ステップＳ１４で眼の位置が推定されると、第１コントローラ１２は、眼の位置を示す位置情報をＨＵＤ２に送信する（ステップＳ１５）。

第１コントローラ１２は、無線通信機器１の動作を終了させるための動作終了指示が入力されたか否かを判定する（ステップＳ１６）。

ステップＳ１６で終了指示が入力されたと判定されると、第１コントローラ１２は、処理を終了する。ステップＳ１６で終了指示が入力されていないと判定されると、第１コントローラ１２は、ステップＳ１１に戻って処理を繰り返す。

＜第２例における処理フロー＞
続いて、無線通信機器１の第１コントローラ１２が第２例において実行する動作について、図７を参照して詳細に説明する。

まず、第１コントローラ１２は、モーションセンサ１３が推定した無線通信機器１の運動を表すパラメータを取得する（ステップＳ２１）。

ステップＳ２１で運動を表すパラメータが取得されると、第１コントローラ１２は、運動を表すパラメータが所定の閾値未満であるか否かを判定する（ステップＳ２２）。

ステップＳ２２で運動を表すパラメータが所定の閾値未満であると判定されると、第１コントローラ１２は、前回、撮像素子１１が画像を生成してから第１周期が経過したか否かを判定する（ステップＳ２３）。

ステップＳ２３で第１周期が経過していないと判定された場合、第１コントローラ１２は、第１周期が経過するまでステップＳ２３の処理を繰り返す。

ステップＳ２２で運動を表すパラメータが所定の閾値以上であると判定されると、第１コントローラ１２は、前回、撮像素子１１が画像を生成してから第２周期が経過したか否かを判定する（ステップＳ２４）。

ステップＳ２４で第２周期が経過していないと判定された場合、第１コントローラ１２は、第２周期が経過するまでステップＳ２４の処理を繰り返す。

ステップＳ２３で第１周期が経過したと判定されると、又はステップＳ２４で第２周期が経過したと判定されると、第１コントローラ１２は、撮像素子１１に画像を生成させる（ステップＳ２５）。

第１コントローラ１２は、撮像素子１１によって生成された撮像画像を取得する（ステップＳ２６）。

ステップＳ２６で撮像画像が取得されると、第１コントローラ１２は、撮像画像に基づいて、利用者の眼の位置を推定する（ステップＳ２７）。

ステップＳ１４で眼の位置が推定されると、第１コントローラ１２は、眼の位置を示す位置情報をＨＵＤ２に送信する（ステップＳ２８）。

第１コントローラ１２は、無線通信機器１の動作を終了させるための終了指示が入力されたか否かを判定する（ステップＳ２９）。

ステップＳ２９で動作終了指示が入力されたと判定されると、第１コントローラ１２は、処理を終了する。ステップＳ２９で動作終了指示が入力されていないと判定されると、第１コントローラ１２は、ステップＳ２１に戻って処理を繰り返す。

＜第３例における処理フロー＞
続いて、無線通信機器１の第１コントローラ１２が第３例において実行する動作について、図８を参照して詳細に説明する。

まず、第１コントローラ１２は、モーションセンサ１３から運動を表すパラメータを取得する（ステップＳ３１）。

第１コントローラ１２は、モーションセンサ１３から運動を表すパラメータを取得すると、運動を表すパラメータが閾値以上であるか否かを判定する（ステップＳ３２）。

ステップＳ３２で運動を表すパラメータが閾値以上であると判定された場合、第１コントローラ１２は、撮像素子１１に撮像画像を生成させる（ステップＳ３３）。

ステップＳ３３で撮像画像が生成されると、第１コントローラ１２は、ステップＳ３４からＳ３７までの処理を行う。ステップＳ３３からＳ３７までの処理は、第１例におけるステップＳ１３からＳ１６までの処理と同じである。

上述した実施形態に係る無線通信機器１として、携帯電話、スマートフォン、タブレット端末等の情報処理装置が採用可能である。このような情報処理装置は、実施形態に係る無線通信機器１の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させることで実現可能である。

以上説明したように、本実施形態では、無線通信機器１は、撮像画像に基づいて、利用者の眼の位置を推定する。ＨＵＤ２は、無線通信機器１によって推定された眼の位置に基づいて、表示パネル５２に表示させる視差画像を制御する。このため、例えば、利用者の眼の位置が変わっても、画像光は適切に眼の位置に到達することができる。したがって、利用者は、適切に３次元画像を視認しうる。

本実施形態では、第１コントローラ１２は、所定の周期で撮像素子１１に撮像画像を生成させ、撮像画像に基づいて利用者の眼の位置を推定する。このため、ＨＵＤ２の通常動作中に、初期設定において推定された利用者の眼の位置が変化しても、新たに撮像された画像に基づいて現在の利用者の眼の位置が推定されうる。したがって、ＨＵＤ２は、現在の利用者の眼の位置に基づいて、適切に表示パネル５２に視差画像を表示させうる。この結果、利用者は、眼の位置が変化しても適切に３次元画像を視認しうる。

本実施形態では、第１コントローラ１２は、運動を表すパラメータに基づく周期で、撮像素子１１に撮像画像を生成させる。指標が示す無線通信機器１の動作は、該無線通信機器１が置かれている移動体２０の動作に関連する。移動体２０の動作は、移動体２０に搭乗している利用者の動作に関連する。このため、運動を表すパラメータ、例えば加速度が高ければ、利用者の眼の位置が移動している可能性が高い。したがって、第１コントローラ１２は、運動を表すパラメータに基づく周期で、撮像素子１１に撮像画像を生成させることによって、変化している可能性に応じた頻度で眼の位置を推定しうる。この結果、第１コントローラ１２は、撮像素子１１の制御に要する負荷を抑えつつ、眼の位置の変化を適切に推定しうる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。

例えば、図９に示すように、３次元表示装置５は、表示パネル５２から射出した画像光がパララックスバリア５３の透光領域５３１を透過して、反射器３および光学部材４を介さずに、直接、利用者の眼に到達するように、配置されてもよい。このような構成においては、上述した構成と同様に、第２コントローラ５５は、第２通信モジュール５４によって受信した可視領域情報に基づいて、アクティブエリアＡの一部に左眼画像を表示させ、アクティブエリアＡの残りの一部に右眼画像を表示する。具体的には、第２コントローラ５５は、可視領域情報が示すアクティブエリアＡ上の左可視領域５２ａＬに所定割合（例えば、５０％）より多くが含まれるサブピクセルに左眼画像を表示する。第２コントローラ５５は、可視領域情報が示す右可視領域５２ａＲに所定割合より多くが含まれるサブピクセルに右眼画像を表示する。これにより、利用者の左眼が左眼画像の虚像を右眼画像の虚像より多く視認し、右眼が右眼画像の虚像を左眼画像の虚像より多く視認する。上述したように、右眼画像および左眼画像は互いに視差を有する視差画像である。したがって、利用者は３次元画像を視認する。

例えば、上述の実施形態では、ＨＵＤ２の第２コントローラ５５が左可視領域ＶａＬおよび右可視領域ＶａＲを判定したが、この限りではない。無線通信機器１の第１コントローラ１２が、眼の位置に基づいて、眼間距離Ｅおよび３次元表示装置５の特性を用いて、左可視領域ＶａＬおよび右可視領域ＶａＲを判定してよい。このような構成において、第１コントローラ１２は、左可視領域ＶａＬおよび右可視領域ＶａＲを示す可視領域情報を生成して、第１通信モジュール１４に送信させてよい。ＨＵＤ２の第２コントローラ５５は、第１通信モジュール１４から送信された駆動情報に基づいて表示パネル５２に画像を表示してよい。

例えば、上述の実施形態では、光学素子がパララックスバリア５３であるとしたが、これに限られない。例えば、図１０に示すように、光学素子は、レンチキュラレンズ５６であってもよい。この場合、レンチキュラレンズ６２４は、垂直方向に延びるシリンドリカルレンズ５６１を、平面上に水平方向に配列して構成される。レンチキュラレンズ５６は、パララックスバリア５３と同様に、一部のサブピクセルを出射した画像光を、利用者の左眼の位置に伝搬させ、他の一部のサブピクセルを出射した画像光を、利用者の右眼の位置に伝搬させる。

１ 無線通信機器
２ ヘッドアップディスプレイ
３ 反射器
４ 光学部材
５ ３次元表示装置
１０ 撮像光学系
１１ 撮像素子
１２ 第１コントローラ
１３ モーションセンサ
１４ 第１通信モジュール
２０ 移動体
５１ 照射器
５２ 表示パネル
５３ パララックスバリア
５４ 第２通信モジュール
５５ 第２コントローラ
５６ レンチキュラレンズ
５３１ 透光領域
５３２ 減光領域
５６１ シリンドリカルレンズ
Ａ アクティブエリア
Ｖ１ 第１虚像
Ｖ２ 第２虚像
ＶａＬ 左可視領域
ＶａＲ 右可視領域
ＶｂＬ 左遮光領域
ＶｂＲ 右遮光領域
５２ａＬ 左可視領域
５２ａＲ 右可視領域
１００ 無線通信ヘッドアップディスプレイシステム

Claims (6)

1. 無線通信機器と、ヘッドアップディスプレイと、を備える無線通信ヘッドアップディスプレイシステムであって、
   前記無線通信機器は、
   該無線通信機器の運動を表すパラメータを検出するモーションセンサと、
   撮像画像を生成する撮像素子と、
   前記運動を表すパラメータに基づいて、前記撮像素子に前記撮像画像を生成させ、前記撮像画像に基づいて、利用者の眼の位置を推定する第１コントローラと、
   前記第１コントローラにより推定された前記利用者の眼の位置を送信する第１通信モジュールと、を含み、
   前記ヘッドアップディスプレイは、
   視差画像を表示する表示パネルと、
   前記表示パネルから射出した画像光の伝播方向を規定する光学素子と、
   前記光学素子により伝播方向を規定された前記画像光を前記利用者の眼の方向に向けて投影する光学系と、
   前記第１通信モジュールから前記眼の位置を受信する第２通信モジュールと、
   前記第２通信モジュールにより受信した前記眼の位置に基づいて、前記表示パネルに表示させる視差画像を制御する第２コントローラと、を含む
   無線通信ヘッドアップディスプレイシステム。
2. 前記第１コントローラは、前記運動を表すパラメータが閾値未満である場合に、第１周期で前記撮像素子に前記撮像画像を生成させ、前記運動を表すパラメータが閾値以上である場合に、前記第１周期より短い第２周期で前記撮像素子に前記撮像画像を生成させる、請求項１に記載の無線通信ヘッドアップディスプレイシステム。
3. 前記第１コントローラは、前記運動を表すパラメータが閾値以上である場合に、前記撮像素子に前記撮像画像を生成させ、前記運動を表すパラメータが閾値未満である場合に、前記撮像素子に前記撮像画像を生成させない、請求項１に記載の無線通信ヘッドアップディスプレイシステム。
4. 無線通信機器であって、
   該無線通信機器の運動を表すパラメータを検出するモーションセンサと、
   撮像画像を生成する撮像素子と、
   前記運動を表すパラメータに基づいて、前記撮像素子に前記撮像画像を生成させ、前記撮像画像に基づいて、利用者の眼の位置を推定するコントローラと、
   前記利用者の眼の位置を示す位置情報を、該位置情報に基づいて視差画像を表示するヘッドアップディスプレイに送信する通信モジュールと、
   を備える無線通信機器。
5. 無線通信機器と、ヘッドアップディスプレイと、を含む無線通信ヘッドアップディスプレイシステムを備える移動体であって、
   前記無線通信機器は、
   該無線通信機器の運動を表すパラメータを検出するモーションセンサと、
   撮像画像を生成する撮像素子と、
   前記運動を表すパラメータに基づいて、前記撮像素子に前記撮像画像を生成させ、前記撮像画像に基づいて、利用者の眼の位置を推定する第１コントローラと、
   前記第１コントローラにより推定された前記利用者の眼の位置を送信する第１通信モジュールと、を含み、
   前記ヘッドアップディスプレイは、
   視差画像を表示する表示パネルと、
   前記表示パネルから射出した画像光の伝播方向を規定する光学素子と、
   前記光学素子により伝播方向を規定された前記画像光を前記利用者の眼の方向に向けて投影する光学系と、
   前記第１コントローラによって推定された前記眼の位置を受信する第２通信モジュールと、
   前記第２通信モジュールにより受信した前記眼の位置に基づいて、前記表示パネルに表示させる視差画像を制御する第２コントローラと、を有する３次元表示装置と、
   前記光学素子によって伝播方向が規定された画像光を前記利用者の方に反射する反射器と、
   を含む
   移動体。
6. 無線通信機器と、ヘッドアップディスプレイと、を備える無線通信ヘッドアップディスプレイシステムの無線通信機器が実行するプログラムであって、
   前記無線通信機器は、該無線通信機器の運動を表すパラメータを検出するモーションセンサと、撮像素子と、コントローラと、通信モジュールとを備え、
   前記コントローラが、
   前記運動を表すパラメータに基づいて、前記撮像素子に撮像画像を生成させ、前記撮像画像に基づいて、利用者の眼の位置を推定し、
   前記通信モジュールが前記利用者の眼の位置を示す位置情報を、該位置情報に基づいて視差画像を表示する前記ヘッドアップディスプレイに送信するよう制御するためのプログラム。

Images