JP6799507B2 - ３次元投影装置、３次元投影システム、および移動体 - Google Patents

Description

本開示は、３次元投影装置、３次元投影システム、および移動体に関する。

従来、移動体の運転者等の対象者に虚像を視認させる技術が知られている。例えば特許文献１には、周囲の明るさに応じて光源の光量を制御する技術が開示されている。

特開２０１５−１６８３８２号公報

対象者に３次元画像の虚像を視認させる技術の利便性を向上させることが望まれている。

本開示の目的は、対象者に３次元画像の虚像を視認させる技術の利便性を向上させる３次元投影装置、３次元投影システム、および移動体を提供することにある。

本開示の３次元投影装置は、表示部と、光学素子と、光学部材と、制御部とを備える。前記表示部は、第１方向および前記第１方向に略直交する第２方向に沿って格子状に配列された複数のサブピクセルを有する表示面を含む。前記光学素子は、前記表示面上の第２方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する。前記光学部材は、前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する。前記制御部は、対象者の眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する。

本開示の３次元投影システムは、検出装置と、３次元投影装置とを備える。前記検出装置は、対象者の眼の位置を検出する。前記３次元投影装置は、表示部と、光学素子と、光学部材と、制御部とを含む。前記表示部は、第１方向および前記第１方向に略直交する第２方向に沿って格子状に配列された複数のサブピクセルを有する表示面を含む。前記光学素子は、前記表示面上の第２方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する。前記光学部材は、前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する。前記制御部は、前記検出装置から前記眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する。

本開示の移動体は、３次元投影システムを備える。前記３次元投影システムは、検出装置と、３次元投影装置とを備える。前記検出装置は、対象者の眼の位置を検出する。前記３次元投影装置は、表示部と、光学素子と、光学部材と、制御部とを含む。前記表示部は、第１方向および前記第１方向に略直交する第２方向に沿って格子状に配列された複数のサブピクセルを有する表示面を含む。前記光学素子は、前記表示面上の第２方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する。前記光学部材は、前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する。前記制御部は、前記検出装置から前記眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する。

本開示の一実施形態によれば、対象者に３次元画像の虚像を視認させる技術の利便性を向上させることが可能となる。

図１は、本発明の一実施形態に係る移動体に搭載された３次元投影システムを示す図である。 図２は、図１に示す３次元投影装置の概略構成を示す図である。 図３は、図２に示す表示部を表示面の法線方向から見た図である。 図４は、図２に示すパララックスバリアを遮光面の法線方向から見た図である。 図５は、図２に示す表示部およびパララックスバリアをパララックスバリア側から見た図である。 図６は、対象者の眼と虚像との関係を示す模式図である。 図７は、補正情報の例を示す図である。 図８は、基準位置および対象者の両眼の位置の一例を示す図である。 図９は、基準位置および対象者の両眼の位置の他の例を示す図である。 図１０は、３次元表示装置が重み係数を決定する処理フローの一例を示すフローチャートである。 図１１は、３次元表示装置が３次元画像を投影する処理フローの一例を示すフローチャートである。

以下、本開示の実施形態について、図面を参照しながら詳細に説明がされる。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

（移動体）
図１を参照して、本開示の一実施形態に係る移動体１０について説明がされる。移動体１０は、３次元投影システム１００を搭載しうる。３次元投影システム１００は、検出装置１１と、３次元投影装置１２とを備える。図１において、利用者の両眼を結ぶ方向はｘ軸方向、鉛直方向はｙ軸方向、ｘ軸方向およびｙ軸方向に直交する方向はｚ軸方向として示される。

本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

検出装置１１は、対象者１３の眼の位置を検出し、検出した眼の位置を３次元投影装置１２に送信しうる。検出装置１１の位置は、移動体１０の内部および外部において任意である。例えば、検出装置１１は、移動体１０のダッシュボード内に位置しうる。検出装置１１は、例えば有線、無線、およびＣＡＮ（Controller Area Network）等を介して眼の位置を示す情報を３次元投影装置１２へ出力してよい。

検出装置１１は、撮像装置を含んでよい。撮像装置は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像装置は、対象者１３の顔を撮像可能である。撮像装置の撮像範囲は、少なくとも後述するアイボックス１６を含む。対象者１３は、例えば移動体１０の運転者等を含んでよい。

検出装置１１は、撮像装置によって生成された撮像画像に基づいて、実空間における対象者１３の両眼の位置を検出しうる。実空間における対象者１３の両眼の位置の検出には、撮像画像を用いる任意のアルゴリズムが採用可能である。例えば、検出装置１１は、撮像画像上の対象者１３の顔の位置、顔の向き、および顔の大きさの組み合わせと、実空間における対象者１３の両眼の位置と、を対応付けた対応情報を予め記憶しうる。対応情報は、例えば実験またはシミュレーションによって決定可能である。対応情報は、例えばルックアップテーブルとして記憶されてよい。検出装置１１は、撮像画像上の対象者１３の顔の位置、顔の向き、および顔の大きさを検出しうる。顔および眼の検出には、例えばパターンマッチングを用いる手法、または撮像画像上の対象者１３の特徴点を抽出する手法等が採用可能である。検出装置１１は、検出された撮像画像上の対象者１３の顔の位置、顔の向き、および顔の大きさの組み合わせに対応しうる、実空間における対象者１３の両眼の位置を、対応情報から抽出しうる。検出装置１１は、抽出された位置を、実空間における対象者１３の両眼の位置として検出しうる。

検出装置１１は、撮像装置を含まず、撮像装置に接続されていてよい。検出装置１１は、撮像装置からの信号を入力する入力端子を含んでよい。この場合、撮像装置は、入力端子に直接的に接続されてよい。検出装置１１は、共有のネットワークを介して入力端子に間接的に接続されてよい。検出装置１１は、入力端子に入力された映像信号から対象者１３の眼の位置を検出してよい。

検出装置１１は、例えば、センサを含んでよい。センサは、超音波センサまたは光センサ等であってよい。検出装置１１は、センサによって対象者１３の頭部の位置を検出し、頭部の位置に基づいて、対象者１３の眼の位置を検出してよい。検出装置１１は、２つ以上のセンサによって、対象者１３の眼の位置を三次元空間の座標として検出してよい。

３次元投影装置１２は、例えば移動体１０の対象者１３に虚像１４を視認させる。虚像１４は、第１虚像１４ａと第２虚像１４ｂとを含みうる。第１虚像１４ａは、後述する表示部２０が表示する画像の虚像である。第２虚像１４ｂは、後述するパララックスバリア２１の虚像である。一実施形態において３次元投影装置１２は、移動体１０が備えた第１光学部材１５の所定領域に向かって、後述する画像光を射出しうる。射出された画像光は、第１光学部材１５の所定領域で反射され、対象者１３の眼に到達する。これにより、３次元投影装置１２はヘッドアップディスプレイとして機能しうる。一実施形態において、第１光学部材１５はウィンドシールドであってよい。他の実施形態において、第１光学部材１５はコンバイナであってよい。

３次元投影装置１２の位置は、移動体１０の内部および外部において任意である。例えば、３次元投影装置１２は、移動体１０のダッシュボード内に位置しうる。３次元投影装置１２は、移動体１０に備えられた第１光学部材１５に画像を投影しうる。具体的には、３次元投影装置１２は、第１光学部材１５の所定領域に向かって画像光を出射してよい。

第１光学部材１５は、３次元投影装置１２からの画像光を所定領域で反射しうる。第１光学部材１５の所定領域で反射された画像光は、アイボックス１６に到達する。アイボックス１６は、例えば対象者１３の体格、姿勢、および姿勢の変化等を考慮して、対象者１３の眼が存在しうると想定される実空間上の領域である。アイボックス１６の形状は任意である。アイボックス１６は、平面的または立体的な領域を含んでよい。図１に示す実線の矢印は、３次元投影装置１２から出射される画像光の一部がアイボックス１６まで到達する経路を示す。以下、画像光が進む経路を光路ともいう。対象者１３は、アイボックス１６内に眼が存在する場合、アイボックス１６に到達する画像光によって、虚像１４を視認可能である。虚像１４は、例えば移動体１０よりも前方に視認されうる。

第１光学部材１５は、ウィンドシールドおよびコンバイナ等を含んでよい。３次元投影装置１２が第１光学部材１５を有すると、３次元投影装置１２はヘッドアップディスプレイを構成しうる。

（画像投影装置）
図２を参照して、３次元投影装置１２について詳細に説明がされる。３次元投影装置１２は、３次元表示装置１７と、１つ以上の第２光学部材１８（光学部材）と、を備える。図２は、３次元投影装置１２が２つの第２光学部材１８ａ、１８ｂを備える構成を例示している。図２は、３次元投影装置１２の構成の例を模式的に示している。例えば、３次元投影装置１２および３次元投影装置１２の各構成要素の、大きさ、形状、および配置等は、図２に示す例に限定されない。

（第２光学部材）
第２光学部材１８は、３次元表示装置１７が備える表示部２０の表示面２０１に表示された画像を第１光学部材１５に投影し、当該画像の第１虚像１４ａを対象者１３に視認させる。第２光学部材１８は、３次元表示装置１７が備えるパララックスバリア２１を第１光学部材１５に投影し、当該パララックスバリア２１の第２虚像１４ｂを対象者１３に視認させる。

具体的には、第２光学部材１８は、３次元表示装置１７から出射された光を３次元投影装置１２の外部に到達させる。図２に示す例において、第２光学部材１８ａおよび１８ｂが、３次元表示装置１７から出射された光を３次元投影装置１２の外部に到達させる。第２光学部材１８は、レンズまたはミラーを含んでよい。例えば、第２光学部材１８ａおよび１８ｂそれぞれは、ミラーを含んでよい。第２光学部材１８ａおよび１８ｂの少なくとも一方は、レンズを含んでよい。第２光学部材１８ａおよび１８ｂの一方がミラーであり、他方がレンズであってよい。図２に示す一点破線の矢印は、３次元表示装置１７から出射された光の一部が、第２光学部材１８ａおよび１８ｂによって反射され、３次元投影装置１２の筐体に設けられた窓部を通過し、３次元投影装置１２の外部まで到達する経路を示す。３次元投影装置１２の外部に到達した光は第１光学部材１５の所定領域に到達しうる。

第２光学部材１８は、３次元表示装置１７に表示された画像を拡大する拡大光学系として機能してよい。例えば、第２光学部材１８ａおよび１８ｂの少なくとも一方は、光が到達する面の少なくとも一部に凸面形状または凹面形状を有するミラーであってよい。第２光学部材１８ａおよび１８ｂの少なくとも一方は、光が入射または出射する面の少なくとも一部に凸面形状または凹面形状を有するレンズであってよい。凸面形状および凹面形状の少なくとも一部は、球面形状または非球面形状であってよい。

（３次元表示装置）
図２を参照して、３次元表示装置１７について詳細に説明がされる。３次元表示装置１７は、３次元投影装置１２の内部に配置されてよい。３次元表示装置１７は、照射器１９と、表示部２０と、パララックスバリア２１（光学素子）と、通信部２２と、記憶部２３と、制御部２４とを備える。図２は、３次元表示装置１７の構成の例を模式的に示している。例えば、３次元表示装置１７および３次元表示装置１７の各構成要素の、大きさ、形状、および配置等は、図２に示される例に限られない。

表示部２０は、表示素子である。表示部２０は、例えば透過型の液晶表示パネルなどの表示パネルを採用しうる。表示部２０は、図３に示すように、板状の表示面２０１上に、第１方向および第１方向に略直交する第２方向に区画された複数の区画領域を有する。第１方向は水平方向と称されてよい。第２方向は鉛直方向と称されてよい。しかし、第１方向および第２方向はそれぞれこれらに限られない。図面において、第１方向はｕ軸方向として表され、第２方向はｖ軸方向として表される。表示面２０１に表示された画像のｕ軸方向は、当該画像の第１虚像１４ａにおけるｘ軸方向に対応しうる。

区画領域の各々には、１つのサブピクセルが対応する。したがって、表示面２０１は、水平方向および鉛直方向に沿って格子状に配列された複数のサブピクセルを備える。各サブピクセルはＲ，Ｇ，Ｂの各色に対応し、Ｒ，Ｇ，Ｂの３つのサブピクセルを一組として１ピクセルを構成することができる。１ピクセルは、１画素と称されうる。水平方向は、例えば、１ピクセルを構成する複数のサブピクセルが並ぶ方向である。鉛直方向は、例えば、同じ色のサブピクセルが並ぶ方向である。表示部２０としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。表示部２０として、自発光型の表示パネルを使用した場合、３次元表示装置１７は照射器１９を備えなくてよい。

上述のように表示面２０１に配列された複数のサブピクセルはサブピクセル群Ｐｇを構成する。サブピクセル群Ｐｇは、右サブピクセル群Ｐｇｒ（第１サブピクセル群）および左サブピクセル群Ｐｇｌ（第２サブピクセル群）を含む。右サブピクセル群Ｐｇｒおよび左サブピクセル群Ｐｇｌは、水平方向に互いに隣接して配置される。複数のサブピクセル群Ｐｇは、水平方向に隣接して、繰り返して配列される。

右サブピクセル群Ｐｇｒは、所定の列のサブピクセルを含む。具体的には、右サブピクセル群Ｐｇｒは、鉛直方向に連続して配列され、水平方向に所定数、連続した列の右眼画像（第１画像）が表示されるサブピクセルを含む。左サブピクセル群Ｐｇｌは、所定の列のサブピクセルを含む。具体的には、左サブピクセル群Ｐｇｌは、鉛直方向に連続して配列され、水平方向に所定数、連続した列の左眼画像（第２画像）が表示されるサブピクセルを含む。右眼画像は、対象者１３の右眼（第１の眼）に視認させるための画像である。左眼画像は、対象者１３の左眼（第２の眼）に視認させるための画像である。

図３に示す例では、表示面２０１には、水平方向に連続して配列された４列のサブピクセルを含む左サブピクセル群Ｐｇｌが配置される。表示面２０１には、左サブピクセル群Ｐｇｌの水平方向に隣接して、水平方向に連続して配列された４列のサブピクセルを含む右サブピクセル群Ｐｇｒが配置される。

パララックスバリア２１は、図４に示すように、鉛直方向に伸びる複数の帯状領域である開口領域２１ｂごとに、サブピクセルから射出される画像光の伝播方向である光線方向を規定しうる。パララックスバリア２１がサブピクセルから射出される画像光を規定することによって、対象者１３の眼に到達する画像光を射出するサブピクセルが位置する表示面２０１上の領域が定まる。

具体的には、パララックスバリア２１は、図２に示したように、表示面２０１に沿う平面により形成され、表示面２０１から所定距離（ギャップ）ｇ、離れて配置される。パララックスバリア２１は、表示部２０に対して照射器１９の反対側に位置しうる。パララックスバリア２１は、表示部２０の照射器１９側に位置しうる。

パララックスバリア２１は、図４に示したように、複数の、画像光を遮光する遮光面２１ａを有する。複数の遮光面２１ａは、互いに隣接する該遮光面２１ａの間の開口領域２１ｂを画定しうる。開口領域２１ｂは、遮光面２１ａに比べて光透過率が高い。遮光面２１ａは、開口領域２１ｂに比べて光透過率が低い。開口領域２１ｂは、パララックスバリア２１に入射しうる光を透過させる部分である。開口領域２１ｂは、第１所定値以上の透過率で光を透過させてよい。第１所定値は、例えば１００％であってよいし、１００％に近い値であってよい。遮光面２１ａは、パララックスバリア２１に入射しうる光を遮って透過させない部分である。言い換えれば、遮光面２１ａは、表示部２０に表示される画像を遮る。遮光面２１ａは、第２所定値以下の透過率で光を遮ってよい。第２所定値は、例えば０％であってよいし、０％に近い値であってよい。

開口領域２１ｂと遮光面２１ａとは、表示面２０１に沿う鉛直方向に延び、水平方向に繰り返し交互に配列される。開口領域２１ｂは、サブピクセルから射出される画像光の光線方向を規定しうる。

パララックスバリア２１は、液晶シャッターで構成されてよい。液晶シャッターは、印加する電圧に応じて光の透過率を制御しうる。液晶シャッターは、複数の画素で構成され、各画素における光の透過率を制御してよい。液晶シャッターは、光の透過率が高い領域または光の透過率が低い領域を任意の形状に形成してうる。パララックスバリア２１が液晶シャッターで構成される場合、開口領域２０ｂは、第１所定値以上の透過率を有する領域としてよい。パララックスバリア２１が液晶シャッターで構成される場合、遮光面２１ａは、第２所定値以下の透過率を有する領域としてよい。

表示部２０の表示面３２１から射出された画像光は、一部がパララックスバリア２１を透過し、第２光学部材１８ａ、１８ｂを介して第１光学部材１５に到達しうる。さらに画像光は第１光学部材１５に反射されて対象者１３の眼に到達しうる。これにより、対象者１３の眼は第１光学部材１５の前方に表示部２０の第１虚像１４ａを認識しうる。本願において前方は、対象者１３からみて第１光学部材１５の方向である。前方は、移動体１０の通常移動する方向である。また、パララックスバリア２１は、第１光学部材１５の前方であって第１虚像１４ａの第１光学部材１５側に第２虚像１４ｂをつくる。図５に示すように、対象者１３は、見かけ上、第１虚像１４ａの位置に表示部２０が存在し、第２虚像１４ｂの位置にパララックスバリア２１が存在するかのように、画像を視認しうる。

図５は、対象者１３から観察しうる表示部２０の第１虚像１４ａの各サブピクセルを示す。符号Ｌが付されたサブピクセルは左眼画像の虚像を表示する。符号Ｒが付されたサブピクセルは右眼画像の虚像を表示する。さらに、図５は、対象者１３の左眼から観察される第１虚像１４ａの左眼の可視領域１４ａａおよび不可視領域１４ａｂを示す。

図６を参照して、さらに詳細に説明がされる。可視領域１４ａａは、表示面２０１から射出され、パララックスバリア２１の開口領域２１ｂを透過した画像光が左眼に到達することによって、左眼が視認する第１虚像１４ａの領域である。不可視領域１４ａｂは、表示面２０１から射出された画像光がパララックスバリア２１の遮光面２１ａで遮光されるために、左眼が画像光を視認できない第１虚像１４ａの領域である。このとき、利用者の右眼は、第１虚像１４ａにおける左眼の可視領域１４ａａを視認しない。利用者の右眼は、第１虚像１４ａにおいて右眼画像の虚像を表示する左眼の不可視領域１４ａｂを視認しうる。したがって、対象者１３の右眼は、右眼画像を視認し、左眼画像を視認しない。

このように、対象者１３の右眼は右眼画像を視認しうる。対象者１３の左眼は左眼画像を視認しうる。したがって、左眼画像と右眼画像との間に視差がある場合、対象者１３は３次元画像を視認しうる。

通信部２２は、外部装置と通信可能なインタフェースを含んでよい。外部装置は、例えば検出装置１１を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１ａＡに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２１ａを含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

記憶部２３は、一時記憶装置および二次記憶装置を含んでよい。記憶部２３は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、およびＢＤ（Blu-ray（登録商標） Disc）等を含んでよい。記憶部２３は、３次元表示装置１７の動作に必要な種々の情報およびプログラムを記憶しうる。

例えば、記憶部２３は、実空間上の複数の位置にそれぞれ対応する複数の補正情報を記憶してよい。以下、当該複数の位置それぞれを、基準位置ともいう。補正情報の詳細については後述する。図７は、実空間上のｎ個の基準位置にそれぞれ対応するｎ個の補正情報Ｐ１からＰｎを示す。ｎ個の基準位置それぞれは、移動体１０における任意の位置を原点とする３次元直交座標または３次元極座標で示されてよい。各補正情報に対応する実空間上の基準位置は、アイボックス１６の内部または外部に存在してよい。例えば、アイボックス１６が六面体である場合、当該複数の基準位置は、当該六面体における８つの頂点の位置を含んでよい。当該複数の基準位置は、アイボックス１６を包含しうる、アイボックス１６よりも大きい第１の六面体における８つの頂点の位置を含んでよい。当該複数の基準位置は、アイボックス１６に包含される、アイボックス１６よりも小さい第２の六面体における８つの頂点の位置を含んでよい。アイボックス１６の内部に、複数の第２の六面体が含まれてよい。当該複数の基準位置は、第１の六面体または第２の六面体の内部または辺上の任意の位置を含んでよい。一例において、記憶部２３は、アイボックス１６の内部に存在する複数の基準位置にそれぞれ対応する複数の補正情報を記憶してよい。

補正情報の詳細について説明がされる。上述したように、第１光学部材１５で反射してアイボックス１６へ到達する画像光によって、対象者１３は表示部２０に表示されている画像の虚像１４を視認可能である。第１光学部材１５の表面形状は、例えば取り付けられる移動体１０に応じて設計され、必ずしも平面形状ではない。さらに、第１光学部材１５が移動体１０に取り付けられると、移動体１０の剛性によって第１光学部材１５に対して曲げまたはねじり等の力が加わり、第１光学部材１５が歪み得る。このため、対象者１３によって視認される虚像１４の形状は、当該虚像１４を視認する対象者１３の眼の位置に応じて歪みうる。

補正情報は、対象者１３の眼の位置に応じて、第１虚像１４ａおよび第２虚像１４ｂの形状の歪みを補正するために用いられる。補正情報は、第１虚像１４ａおよび第２虚像１４ｂの形状の歪みを低減させるように、表示部２０に表示させる画像を変形させる情報を含んでよい。例えば、補正情報は、表示部２０に表示される画像上の複数の特徴点それぞれのシフト量を示す情報を含んでよい。画像上における複数の特徴点の配置は、任意に定められてよい。例えば、複数の特徴点は、任意の間隔をあけて格子状に配列されてよい。複数の特徴点は、画像を表示する複数の画素に対応してよい。当該補正情報を用いた補正によって、表示部２０に表示される画像は、例えば当該画像上の複数の特徴点それぞれが当該補正情報に示されるシフト量だけ移動するように変形されうる。例えば、当該補正情報を用いた補正によって、表示部２０に表示される当該画像が、均一または不均一に変形して、表示部２０に表示され得る。補正情報に基づき変形された画像の画像光によって、対象者１３は、歪みを低減させた虚像１４を視認可能である。補正情報は、例えば実験またはシミュレーションにより決定可能である。

制御部２４は、１つ以上のプロセッサを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部２４は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。

制御部２４は、照射器１９、表示部２０、パララックスバリア２１の動作を制御しうる。例えば、制御部２４は、照射器１９の駆動電力を制御して、照射器２９を発光させうる。制御部２４は、表示部２０に画像を表示させうる。画像は、文字または図形を含んでよい。制御部２４は、パララックスバリア２１を構成する液晶シャッターに印加する電圧を制御して、パララックスバリア２１における光の透過率を制御しうる。制御部２４が表示部２０およびパララックスバリア２１をそれぞれ制御する処理については追って詳細に説明がされる。

制御部２４は、通信部２２を介して検出装置１１から、対象者１３の眼の位置に関する情報を取得しうる。制御部２４は、検出装置１１が備える撮像装置から撮像画像を取得しうる。この場合、制御部２４は、取得された撮像画像に基づいて、実空間における対象者１３の両眼の位置を検出しうる。

制御部２４は、取得された情報が示す眼の位置に応じて、表示部２０に表示させる右眼画像、左眼画像を動的に補正しうる。制御部２４は、眼の位置に応じてパララックスバリア２１を動的に補正しうる。画像を補正するためのアルゴリズムとして、任意のアルゴリズムが採用可能である。以下、制御部２４がアルゴリズムを用いて画像を補正する例について具体的に説明する。

概略として、制御部２４は、アルゴリズムを用いて、対象者１３の右眼の位置に対応する第１補正情報と、対象者１３の左眼の位置に対応する第２補正情報とを決定しうる。制御部２４は、第１補正情報に基づいて右眼画像を補正しうる。制御部２４は、第２補正情報に基づいて左眼画像を補正しうる。制御部２４は、第１補正情報と第２補正情報とに基づいて第３補正情報を生成しうる。制御部２４は、生成された第３補正情報に基づいて、パララックスバリア２１を動的に補正しうる。以下、具体的に説明がされる。

制御部２４は、対象者１３の右眼の位置に対応する第１補正情報を決定しうる。例えば、制御部２４は、第１補正情報を、記憶部２３に記憶された複数の補正情報の中から選択することによって決定してよい。あるいは、制御部２４は、第１補正情報を、２つ以上の補正情報に基づいて生成することによって決定してよい。第１補正情報の生成には、任意のアルゴリズムが採用可能である。

例えば図８において、それぞれ補正情報が対応付けられた８つの基準位置を頂点とする六面体の内部に、対象者１３の右眼Ｅ_Ｒが位置している。かかる場合、制御部２４は、右眼Ｅ_Ｒの近傍に存在する当該８つの補正情報のうち２つ以上の補正情報に基づいて、右眼Ｅ_Ｒの位置に対応する第１補正情報を内挿により生成しうる。

例えば図９において、それぞれ補正情報が対応付けられた８つの基準位置を頂点とする六面体の外部に、対象者１３の右眼Ｅ_Ｒが位置している。かかる場合、制御部２４は、右眼Ｅ_Ｒの近傍に存在する当該８つの補正情報のうち２つ以上の補正情報に基づいて、右眼Ｅ_Ｒの位置に対応する第１補正情報を外挿により生成しうる。

かかる構成によれば、内挿または外挿によって第１補正情報が生成される。このため、補正情報を記憶すべき基準位置の数が低減可能であり、記憶部２３に記憶すべき補正情報の情報量が低減可能である。

制御部２４は、対象者１３の左眼の位置に対応する第２補正情報を決定しうる。例えば、制御部２４は、対象者１３の左眼の位置に対応する第２補正情報を、記憶部２３に記憶された複数の補正情報の中から選択することによって決定してよい。あるいは、制御部２４は、対象者１３の左眼の位置に対応する第２補正情報を、２つ以上の補正情報に基づいて生成することによって決定してよい。第２補正情報の生成は、上述した第１補正情報の生成と同様にして行われてよい。例えば図８に示すように、対象者１３の左眼Ｅ_Ｌが六面体の内部に位置する場合、制御部２４は、左眼Ｅ_Ｌの位置に対応する第２補正情報を内挿により生成しうる。例えば図９に示すように、対象者１３の左眼Ｅ_Ｌが六面体の外部に位置する場合、制御部２４は、左眼Ｅ_Ｌの位置に対応する第２補正情報を外挿により生成しうる。

制御部２４は、第１補正情報と、第２補正情報とに基づいて第３補正情報を生成しうる。第３補正情報の生成には、任意のアルゴリズムが採用可能であってよい。例えば、制御部２４は、第１補正情報および第２補正情報それぞれに重み付けを行い、第３補正情報を生成しうる。具体的には、第３補正情報に示される、画像上の特徴点のシフト量Ｓ３は、次式（１）で決定される。
Ｓ３＝α×Ｓ１＋（１−α）×Ｓ２ 式（１）
式（１）において、αは、０以上１以下の値を示す重み係数を示す。Ｓ１は、第１補正情報に示される、当該特徴点のシフト量を示す。Ｓ２は、第２補正情報に示される、当該特徴点のシフト量を示す。例えば、重み係数α＝０．３、ある特徴点のシフト量Ｓ１＝＋１０、および当該特徴点のシフト量Ｓ２＝−１０である場合、第３補正情報に示される当該特徴点のシフト量Ｓ３は、Ｓ３＝０．３×（＋１０）＋０．７×（−１０）＝−４となる。

重み係数αは、０以上１以下の範囲で任意に定められてよい。例えば、重み係数αは、予め定められてよい。あるいは、重み係数αは、対象者１３の優位眼を考慮して決定されてよい。

対象者１３の優位眼を考慮した重み係数αの決定は、例えば、対象者１３が移動体１０を運転するより前に行われてよい。以下に、重み係数αの決定方法が説明される。制御部２４は、検出装置１１から両眼の位置に関する情報を取得しうる。制御部２４は、取得された情報が示す両眼の位置に基づいて、第１補正情報および第２補正情報を決定しうる。制御部２４は、重み係数αを初期値に設定しうる。制御部２４は、第１補正情報、第２補正情報、および重み係数αに基づいて、第３補正情報を生成しうる。制御部２４は、生成された第３補正情報を用いて補正した基準画像を表示部２０に表示させる。基準画像は、重み係数αを決定するために予め用意された画像である。基準画像として、任意の画像が採用可能である。例えば、基準画像は、正方形、円、または格子状に並んだ複数の線等を含んでよい。

制御部２４は、例えば、第１虚像１４ａとして表示された基準画像を観察した対象者１３による操作に応じて、重み係数αを変化させる。重み係数αを変化させた場合、制御部２４は、第１補正情報、第２補正情報、および変化後の重み係数αに基づいて、第３補正情報を新たに生成しうる。制御部２４は、新たに生成された第３補正情報を用いて補正された基準画像を表示部２０に表示させる。重み係数αの変化、および新たに生成される第３補正情報を用いて補正された基準画像の表示は、操作に応じて複数回実行されてよい。制御部２４は、例えば対象者１３による操作に応じて、重み係数αを確定し、記憶部２３に記憶しうる。

上述のように重み係数αが確定された後、例えば対象者１３が移動体１０を運転する場合に、制御部２４は、表示部２０に表示させる表示画像を対象者１３の両眼の位置に応じて動的に補正しうる。具体的には、制御部２４は、対象者１３の両眼の位置に対応する第１補正情報および第２補正情報と、確定された重み係数αと、に基づいて第３補正情報を生成しうる。制御部２４は、第１補正情報および第２補正情報を用いて、表示部２０に表示する表示画像を動的に補正しうる。制御部２４は、決定された第３補正情報に基づいて、パララックスバリア２１を補正する。表示画像は、任意の情報または画像を含んでよい。例えば、表示画像は、移動体１０の走行速度、予測進路、走行路の制限速度、標識情報、ルートガイド等の運転支援画像、および歩行者等の障害物を示す画像等を含んでよい。

虚像１４の歪みが最も小さいと対象者１３が知覚しうるような重み係数αは、対象者１３の優位眼および非優位眼の映像合成比率に応じて異なる。対象者１３は、例えば両眼で基準画像の虚像１４を視認しながら重み係数αを変化させることによって、虚像１４の歪みが最も小さいと知覚したときの重み係数αを記憶部２３に記憶させることができる。かかる構成によれば、対象者１３の優位眼を考慮した重み係数αによって表示画像が補正される。このため、対象者１３によって知覚される虚像１４の歪みが低減され、虚像１４の視認性が向上する。対象者１３に虚像１４を視認させる技術の利便性が向上する。

制御部２４は、第１補正情報に基づいて右眼画像を補正しうる。制御部２４は、補正された右眼画像を、右サブピクセル群Ｐｇｒを構成する各サブピクセルに表示させる。制御部２４は、第２補正情報に基づいて左眼画像を補正しうる。制御部２４は、補正された左眼画像を、左サブピクセル群Ｐｇｌを構成する各サブピクセルに表示させうる。

制御部２４は、第３補正情報に基づいてパララックスバリア２１を補正しうる。具体的には、制御部２４は、第３補正情報に基づいて、パララックスバリア２１を構成する液晶シャッターを制御しうる。さらに具体的には、パララックスバリア２１の遮光面２１ａを構成する部分を変更するように液晶シャッターを制御しうる。

上述した重み係数αを決定する３次元投影装置１２の動作について図１０のフローチャートを参照して説明がされる。本動作は、例えば対象者１３が移動体１０を運転するより前に行われてよい。

ステップＳ１００：制御部２４は、通信部２２を介して検出装置１１から、対象者１３の眼の位置に関する情報を取得する。

ステップＳ１０１：制御部２４は、対象者１３の右眼の位置に対応する第１補正情報と、左眼の位置に対応する第２補正情報とを決定する。

ステップＳ１０２：制御部２４は、重み係数αを初期値に設定する。

ステップＳ１０３：制御部２４は、第１補正情報、第２補正情報、および重み係数αに基づいて、第３補正情報を生成する。

ステップＳ１０４：制御部２４は、第１補正情報に基づいて右基準画像を補正する。制御部２４は、第２補正情報に基づいて左基準画像を補正する。

ステップＳ１０５：制御部２４は、補正した右基準画像を、右サブピクセル群Ｐｇｒを構成するサブピクセルに表示させる。制御部２４は、補正した左基準画像を、左サブピクセル群Ｐｇｌを構成するサブピクセルに表示させる。

ステップＳ１０６：制御部２４は、第３補正情報に基づいてパララックスバリア２１を補正する。

ステップＳ１０７：制御部２４は、例えば対象者１３による操作を検出すると、重み係数αを変化させるか否かを決定する。重み係数αを変化させると決定した場合（ステップＳ１０７−Ｙｅｓ）、プロセスはステップＳ１０８に進む。一方、重み係数αを変化させないと決定した場合（ステップＳ１０７−Ｎｏ）、プロセスはステップＳ１０９に進む。

ステップＳ１０８：制御部２４は、例えばステップＳ１０７での操作に応じて、重み係数αを変化させる。その後、プロセスはステップＳ１０３に戻る。

ステップＳ１０９：制御部２４は、例えばステップＳ１０７の操作に応じて、重み係数αを確定し、記憶部２３に記憶する。その後、プロセスは終了する。

図１１を参照して、上述した第１アルゴリズムが採用される構成において、表示画像を対象者１３の両眼の位置に応じて動的に補正する３次元投影装置１２の動作について説明する。本動作は、例えば対象者１３が移動体１０を運転している間に繰り返し行われてよい。

ステップＳ２００：制御部２４は、通信部２２を介して検出装置１１から、対象者１３の眼の位置に関する情報を取得する。

ステップＳ２０１：制御部２４は、対象者１３の右眼の位置に対応する第１補正情報と、左眼の位置に対応する第２補正情報とを決定する。

ステップＳ２０２：制御部２４は、第１補正情報、第２補正情報、および記憶部２３に記憶された重み係数αに基づいて、第３補正情報を生成する。

ステップＳ２０３：制御部２４は、第１補正情報および第２補正情報に基づいてそれぞれ右眼画像および左眼画像を補正する。

ステップＳ２０４：制御部２４は、補正された右眼画像および左眼画像を、それぞれ左サブピクセル群Ｐｇｌを構成するサブピクセル、および右サブピクセル群Ｐｇｒを構成するサブピクセルに表示させる。

ステップＳ２０５：制御部２４は、第３補正情報に基づいてパララックスバリア２１を補正する。その後、プロセスは終了する。

以上、本実施形態によれば、３次元投影装置１２は、表示面２０１に表示させる画像と、パララックスバリア２１とを対象者１３の眼の位置に応じて補正する。このため、移動体１０の形状に起因して第１虚像１４ａおよび第２虚像１４ｂに発生しうる、対象者１３の眼の位置に応じた歪みが補正される。したがって、対象者１３は、歪みが低減された３次元画像の虚像１４を視認することができる。

本実施形態によれば、３次元投影装置１２は、右眼の位置に対応する第１補正情報に基づいて右眼画像を補正し、左眼の位置に対応する第２補正情報に基づいて左眼画像を補正する。このため、対象者１３は、各眼の位置に対応してそれぞれ歪みが低減された画像を視認することができる。したがって、対象者１３は、歪みが低減された３次元画像の虚像１４を視認することができる。

本実施形態によれば、３次元投影装置１２は、第１補正情報と、第２補正情報と、重み係数αとを用いて生成した第３補正情報に基づいてパララックスバリア２１を補正する。利用者の両眼がともに視認するパララックスバリア２１は右眼および左眼の位置に基づいて補正される。このため、歪みが低減された右眼画像および左眼画像が、いずれも歪みが低減されたパララックスバリア２１によって遮光または透過される。したがって、対象者１３の右眼は歪みが低減された右眼画像を視認することができる。左眼は歪みが低減された左眼画像を視認することができる。

本実施形態によれば、３次元投影装置１２は、対象者１３の優位眼に基づいて重み係数αを決定する。このため、対象者１３の優位眼を考慮した重み係数αによって画像が補正される。したがって、対象者１３によって知覚される虚像１４の歪みが低減され、虚像１４の視認性が向上する。

上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。従って、本開示は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。

例えば、上述した一実施形態において、表示部２０に表示される画像上の複数の特徴点それぞれのシフト量を示す情報を含む補正情報を用いて、当該画像を変形させることによって当該画像が補正された。しかしながら、補正情報の内容および画像を補正する処理は、上述した構成に限られない。

例えば、制御部２４は、表示部２０に表示させる画像を、テクスチャ画像としてポリゴンに投影してよい。ポリゴンに対するテクスチャ画像の投影には、任意のアルゴリズムが採用可能であってよい。例えば、ポリゴンに対するテクスチャ画像の投影は、テクスチャ画像上のテクスチャ座標と、ポリゴン上の複数の頂点と、の対応関係を示すマッピング情報を用いて行われてよい。ポリゴンの形状は、任意に定められてよい。マッピング情報は、任意に定められてよい。制御部２４は、テクスチャ画像が投影されたポリゴンを、例えば３次元仮想空間内に配置する。制御部２４は、仮想カメラを視点として、当該ポリゴンを含む当該仮想空間内の領域を眺めた画像を、表示部２０に表示させる。かかる構成によれば、上述した一実施形態と同様に、対象者１３は、表示部２０に表示させた画像の虚像１４を視認可能である。

ポリゴンが用いられる上述の構成において、補正情報は、虚像１４の形状の歪みを低減させるように、マッピング情報を変化させる情報を含んでよい。例えば、補正情報は、テクスチャ画像上のテクスチャ座標に対応するポリゴン上の頂点を、他の頂点に変更する情報を含んでよい。例えば、当該補正情報を用いた補正によって、ポリゴンに投影されるテクスチャ画像は、均一または不均一に変形して、表示部２０に表示され得る。補正情報に基づき変形されたテクスチャ画像の画像光によって、対象者１３は、上述した一実施形態と同様に、歪みを低減させた虚像１４を視認可能である。マッピング情報を変化させる処理は、例えば制御部２４が専用のハードウェアを包含することによって高速に実行可能である。専用のハードウェアは、例えばグラフィックアクセラレータを含んでよい。かかる構成によれば、表示部２０に表示させる画像の補正処理が高速化する。このため、例えば対象者１３の両眼の位置が変化する場合に、両眼の位置の変化に対する虚像１４の歪みの低減が高速に行われる。対象者１３に虚像１４を視認させる技術の利便性がさらに向上する。

ポリゴンが用いられる上述の構成において、補正情報は、虚像１４の形状の歪みを低減させるように、ポリゴンの形状を変化させる情報を含んでよい。例えば、当該補正情報を用いた補正によって、ポリゴンに投影されるテクスチャ画像は、均一または不均一に変形して、表示部２０に表示され得る。補正情報に基づき変形されたテクスチャ画像の画像光によって、対象者１３は、上述した一実施形態と同様に、歪みを低減させた虚像１４を視認可能である。ポリゴンの形状を変化させる処理は、例えば制御部２４が専用のハードウェアを包含することによって高速に実行可能である。専用のハードウェアは、例えばグラフィックアクセラレータを含んでよい。かかる構成によれば、表示部２０に表示させる画像の補正処理が高速化する。このため、例えば対象者１３の両眼の位置が変化する場合に、両眼の位置の変化に対する虚像１４の歪みの低減が高速に行われる。対象者１３に虚像１４を視認させる技術の利便性がさらに向上する。

１０ 移動体
１１ 検出装置
１２ ３次元投影装置
１３ 対象者
１４ 虚像
１４ａ 第１虚像
１４ｂ 第２虚像
１４ａａ 第１虚像の可視領域
１４ａｂ 第１虚像の不可視領域
１５ 第１光学部材
１６ アイボックス
１７ ３次元表示装置
１８、１８ａ、１８ｂ 第２光学部材
１９ 照射器
２０ 表示部
２１ パララックスバリア
２１ａ 遮光面
２１ｂ 開口領域
２３ 表示部
２４ 通信部
２５ 記憶部
２６ 制御部
１００ ３次元投影システム
２０１ 表示面

Claims (11)

1. 第１方向および前記第１方向に略直交する第２方向に沿って格子状に配列された複数のサブピクセルを有する表示面を含む表示部と、
   前記表示面上の第２方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する光学素子と、
   前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する光学部材と、
   対象者の眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する制御部と、
   を備える３次元投影装置。
2. 前記制御部は、前記対象者の第１の眼の位置に対応する第１補正情報に基づいて前記第１の眼に視認させる第１画像を補正し、前記対象者の第２の眼の位置に対応する第２補正情報に基づいて前記第２の眼に視認させる第２画像を補正する、請求項１に記載の３次元投影装置。
3. 前記制御部は、前記第１補正情報と前記第２補正情報とに基づいて前記光学素子を補正する、請求項２に記載の３次元投影装置。
4. 前記制御部は、前記第１補正情報と、前記第２補正情報と、重み係数とを用いて生成した第３補正情報に基づいて前記光学素子を補正する、請求項３に記載の３次元投影装置。
5. 前記制御部は、対象者の優位眼に基づいて前記重み係数を決定する請求項４に記載の３次元投影装置。
6. 実空間上の複数の基準位置にそれぞれ対応する複数の補正情報を記憶する記憶部を更に備え、
   前記制御部は、
   第１補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択し、または２つ以上の前記補正情報に基づいて生成し、
   第２補正情報を、前記記憶部に記憶された複数の前記補正情報の中から選択し、または２つ以上の前記補正情報に基づいて生成する請求項２から５のいずれか一項に記載の３次元投影装置。
7. 前記表示面は、テクスチャ画像が投影されたポリゴンを仮想カメラから眺めた画像を表示し、
   前記制御部は、前記ポリゴンを前記対象者の両眼の位置に応じて補正する、請求項１から６のいずれか一項に記載の３次元投影装置。
8. 前記制御部は、前記テクスチャ画像上のテクスチャ座標と、前記ポリゴン上の複数の頂点と、の対応関係を示すマッピング情報を変化させることによって、前記ポリゴンを補正する、請求項７に記載の３次元投影装置。
9. 前記制御部は、前記ポリゴンの形状を変化させることによって、前記ポリゴンを補正する、請求項７または８に記載の３次元投影装置。
10. 対象者の眼の位置を検出する検出装置と、
    第１方向および前記第１方向に略直交する第２方向に沿って格子状に配列された複数のサブピクセルを有する表示面を含む表示部と、前記表示面上の第２方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する光学素子と、前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する光学部材と、前記検出装置から前記眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する制御部と、を含む３次元投影装置と、
    を備える３次元投影システム。
11. 対象者の眼の位置を検出する検出装置と、第１方向および前記第１方向に略直交する第２方向に沿って格子状に配列された複数のサブピクセルを有する表示面を備える表示部と、前記表示面上の第２方向に延びる複数の帯状領域ごとに、前記サブピクセルから射出される画像光の光線方向を規定する光学素子と、前記光学素子によって光線方向が規定された前記画像光を、前記表示面の虚像が形成されるように投影する光学部材と、前記検出装置から前記眼の位置に関する情報を取得し、前記表示面に表示させる画像と、前記光学素子とを前記眼の位置に応じて補正する制御部と、を有する３次元投影装置
    を含む３次元投影システムを備える移動体。

Images