JP7480602B2

JP7480602B2 - 表示システム、電子機器、移動体及び表示方法

Info

Publication number: JP7480602B2
Application number: JP2020104225A
Authority: JP
Inventors: ジェフリーエリック; 哲夫河本; ウィットマイアーマンフレッド; 洋右谷川; クマーアナンダバイラバサミーアナンド
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2019-12-31
Filing date: 2020-06-17
Publication date: 2024-05-10
Anticipated expiration: 2040-06-17
Also published as: JP2021110920A

Description

本発明は、表示システム、電子機器、移動体及び表示方法等に関する。

透明スクリーン等に画像を表示することで、ユーザーの視界に情報を重ねて表示するヘッドアップディスプレイが知られている。このようなヘッドアップディスプレイとＡＲ技術を組み合わせることで、前走車又は道路等の実オブジェクトに対して仮想オブジェクトが追従するように、仮想オブジェクトをヘッドアップディスプレイに表示させることができる。ＡＲはAugmented Realityの略である。

特許文献１に開示される技術では、低周波帯域の姿勢変化を画像処理により補正し、高周波帯域の姿勢変化を投影光学ユニットで補正する。高周波帯域の姿勢変化を投影光学ユニットで補正することで、車両の姿勢変化が生じる場合において、虚像が実像に対して正しい位置に重畳されるように投影画像の位置が修正される。

特許文献２に開示される技術では、歪み補正部が、一定時間前から現時点までの間にジャイロセンサーから出力される姿勢信号と、予測器とを用いて、後段の表示ずれ補正部が画像の表示位置を補正するときの補正量を、予測計算する。そして、歪み補正部が、予測された補正量の分ずれた位置にある表示領域に表示位置を対応させ直して、画像の歪み補正を行い、表示ずれ補正部が、歪み補正された画像の表示位置を補正する。表示ずれ補正部が表示位置を補正することで、車両の姿勢変化に生じる場合において、虚像が実像に対して正しい位置に重畳されるように投影画像の位置が修正される。

特開２０１９－９８７５６号公報特開２０１９－１７９２１４号公報

ＡＲ技術を用いるヘッドアップディスプレイでは、センサー出力を取得し、そのセンサー出力を用いて仮想オブジェクトをレンダリングし、レンダリング画像をワープ処理し、ワープ処理後の画像をヘッドアップディスプレイに表示する。このような表示システムにおいて、レンダリングに用いられるセンサー出力のサンプリング時点から、ヘッドアップディスプレイに表示されるまでに時間があるため、その間に生じた車両等の動きは仮想オブジェクトの表示位置に反映されていない。このため、レンダリングされた仮想オブジェクトと、表示時点での実オブジェクトとの間に位置ずれが生じるが、このようなレイテンシーによる位置ずれを出来るだけ小さくすることが望ましいという課題がある。

本開示の一態様は、実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示システムであって、前記仮想オブジェクトを含むレンダリング画像を生成するレンダリング画像生成部と、前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算するパラメーター演算部と、前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、を含み、前記ワープ処理部は、前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う表示システムに関係する。

また本開示の他の態様は、上記に記載の表示システムを含む電子機器に関係する。

また本開示の更に他の態様は、上記に記載の表示システムを含む移動体に関係する。

また本開示の更に他の態様は、実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示方法であって、前記仮想オブジェクトを含むレンダリング画像を生成することと、前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算することと、前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成することと、を含み、前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う表示方法に関係する。

ＨＵＤによるＡＲ表示の例。ピッチ変位又は垂直変位による表示位置ずれの説明図。本実施形態のレイテンシー補償を説明する図。従来技術における表示システムの構成例。従来技術における表示システムの処理フロー。本実施形態における表示システムの構成例。トラッキング処理部の詳細な処理フロー。表示システムの処理フロー。表示システムの第１詳細構成例。表示システムの第２詳細構成例。第２詳細構成例における表示システムの処理フロー。本実施形態におけるワープ処理の説明図。移動体等のトラッキング情報と、そのトラッキング情報に基づくレイテンシー補償との対応を示す図。補償手法を実現するレイテンシー補償パラメーターの例。トラッキング情報からレイテンシー補償パラメーターを演算する手法を説明する図。電子機器の構成例。移動体の例。

以下、本開示の好適な実施形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された内容を不当に限定するものではなく、本実施形態で説明される構成の全てが必須構成要件であるとは限らない。

１．表示システム
図１は、ＨＵＤによるＡＲ表示の例である。ＨＵＤはヘッドアップディスプレイの略語であり、ＡＲは拡張現実の略語である。以下では、自動車３０にＨＵＤを搭載した例を主に説明するが、本実施形態のＨＵＤは、飛行機、船舶又は二輪車等の様々な移動体に搭載されてもよい。

図１には、ドライバーがＨＵＤを介して見るＡＲ表示を示している。ドライバーは、フロントガラスを通して、前走車１０、前走車１０が走る道路、及びそれらの周囲の風景を見ている。またドライバーは、ＨＵＤがフロントガラスの表示領域４０内に投影した虚像を見ており、その虚像は、ドライバーからは、実空間に重なる仮想オブジェクト２０として見える。表示領域４０は、ＨＵＤが虚像を投影可能な範囲を示しており、この表示領域４０内において仮想オブジェクト２０が表示される。図１における仮想オブジェクト２０は、ＡＲの表示オブジェクトであり、前走車１０又は道路に対して表示位置が追従するように表示される。即ち、ＨＵＤは、ドライバーから見た前走車１０又は道路と仮想オブジェクト２０との相対的な位置関係が変わらないように、仮想オブジェクト２０を表示しようとする。

ＨＵＤの表示システムは、Ｌｉｄａｒ等のセンサーを用いて前走車１０等をトラッキングし、そのトラッキング結果に基づいて仮想オブジェクト２０をレンダリングし、そのレンダリング画像をワープ処理してＨＵＤに表示させる。このとき、センサーがサンプリングしたタイミングから、仮想オブジェクト２０をＨＵＤに表示するタイミングまでの間に、トラッキング処理、レンダリング処理、ワープ処理、又はデータ通信等による遅延がある。このような処理又は通信等によって発生する遅延を、レイテンシーと呼ぶ。

レイテンシーは、仮想オブジェクト２０と前走車１０等との位置ずれの原因となる。即ち、表示システムが仮想オブジェクト２０をレンダリングしたときの前走車１０等の位置と、実際に仮想オブジェクト２０がＨＵＤに表示されるときの前走車１０等の位置とがずれていることによって、仮想オブジェクト２０と前走車１０等とがずれて表示されてしまう。例えば、レンダリング処理において、未来の表示タイミングにおける前走車１０等の位置を予測したとしても、その予測時点から表示までに時間があるため、予測した前走車１０等の位置と、実際に仮想オブジェクト２０がＨＵＤに表示されるときの前走車１０等の位置とがずれる可能性がある。

図２に、一例として、ピッチ変位又は垂直変位による表示位置ずれの説明図を示す。ｘｙｚは自動車３０に固定された座標系である。ｚ方向は自動車の進行方向であり、ｘ方向とｙ方向はｚ方向に直交し且つ互いに直交する。ｙ方向が鉛直方向に一致したとき、ｘ方向は水平方向であり、ｙ方向は垂直方向又は上下方向である。ｙ方向が鉛直方向に一致しないような自動車の姿勢となっているとき、ｘ方向とｙ方向は水平垂直に一致しないが、以下では便宜的にｘ方向を水平方向とも呼び、ｙ方向を垂直方向又は上下方向とも呼ぶこととする。図に示す矢印方向を正方向とし、方向の正負を明示したい場合には＋ｘ方向、－ｘ方向等と記載する。

図２の１段目図は、仮想オブジェクト２１と実オブジェクト１１との位置ずれがない状態を示している。実オブジェクト１１は、実空間に存在するオブジェクトであって、且つＡＲ表示のトラッキング対象となっているオブジェクトのことである。例えば図１の前走車１０等が実オブジェクトである。ＨＵＤの投影ユニット３６がフロントガラス３５に虚像を投影し、その虚像が仮想オブジェクト２１としてドライバーの目５０に見える。

図２の２段目図は、フロントガラス３５及び投影ユニット３６が＋ｙ方向にＷＳＭだけシフトしたときの、仮想オブジェクト２１と実オブジェクト１１との位置ずれを示している。垂直シフトＷＳＭは、自動車３０のピッチ回転又は垂直シフトによって生じる。ピッチ回転はｘ方向に平行な軸を中心とする回転であり、垂直シフトは、ｙ方向における平行移動である。ＨＵＤの表示システムが仮想オブジェクト２１をレンダリングしたときには１段目図の状態が想定されているが、ＨＵＤに表示されるまでの間に時間があるため、その時間内に垂直シフトＷＳＭが生じると、その垂直シフトＷＳＭはレンダリング画像に反映されていないことになる。このため、フロントガラス３５等の垂直シフトＷＳＭによって仮想オブジェクト２１の表示位置が＋ｙ方向にシフトし、実オブジェクト１１に対して仮想オブジェクト２１が＋ｙ方向にずれて見える。例えば、自動車３０が道路の凹凸によってピッチ運動を繰り返した場合には、実オブジェクト１１に対して仮想オブジェクト２１が上下に揺れるように、ずれて見えることになる。

図２の３段目図は、ドライバーの目５０が＋ｙ方向にＤＥＭだけシフトしたときの、仮想オブジェクト２１と実オブジェクト１１との位置ずれを示している。フロントガラス３５は移動しないが、フロントガラス３５に対して目５０が＋ｙ方向にシフトするため、仮想オブジェクト２１の表示位置が－ｙ方向にシフトする。このため、実オブジェクト１１に対して仮想オブジェクト２１が－ｙ方向にずれて見える。

図２の４段目図は、実オブジェクト１１が－ｙ方向にＲＪＭだけシフトしたときの、仮想オブジェクト２１と実オブジェクト１１との位置ずれを示している。フロントガラス３５及び目５０は移動しないため仮想オブジェクト２１の表示位置はシフトしないが、実オブジェクト１１が－ｙ方向にシフトするため、実オブジェクト１１に対して仮想オブジェクト２１が＋ｙ方向にずれて見える。

図３は、本実施形態のレイテンシー補償を説明する図である。図３には、ドライバーから見た仮想オブジェクト２１、実オブジェクト１１及び仮想オブジェクト２１を示している。図３の左図は、ドライバーから見て実オブジェクト１１と仮想オブジェクト２１の表示位置が一致している状態である。図３の中図に示すように、ドライバーが頭を左上に動かした場合、実オブジェクト１１が左上にＭＶだけシフトする。仮想オブジェクト２１の表示位置は変わらないので、実オブジェクト１１と仮想オブジェクト２１がＭＶだけずれる。図３の右図に示すように、本実施形態では、レイテンシーによるシフト量ＭＶを補償することで、実オブジェクト１１と仮想オブジェクト２１の表示位置を一致させる。このようなレイテンシー補償を行うことで、ドライバーが頭を左上に動かしたときに左図から右図の状態に移行し、中図のような位置ずれ状態を避けることができる。詳細については後述するが、本実施形態では表示タイミングにできるだけ近いワープ処理においてレイテンシー補償を行うことで、出来るだけレイテンシーによる位置ずれを小さくする。

ＨＵＤの表示システムにおいて、どのようなレイテンシーが存在するかを考えるために、従来技術における典型的な表示システムと、その表示システムにおいて発生するレイテンシーと、を説明する。

図４は、従来技術における表示システム９０の構成例である。表示システム９０はセンサー６５と処理装置６０とＨＵＤコントローラー７０とＨＵＤ８０とを含む。

センサー６５は、自動車、ドライバー又は実オブジェクトの位置、姿勢又はモーションを検出するセンサーである。

処理装置２７０は、センサーインターフェース６１とトラッキング処理部６２とレンダリング画像生成部６３とを含む。センサーインターフェース６１は、センサー６５の出力信号を受信するインターフェース回路である。トラッキング処理部６２は、ＣＰＵにより構成され、センサー６５の出力信号に基づいて、自動車、ドライバー又は実オブジェクトの位置、姿勢又はモーションをトラッキングする。レンダリング画像生成部６３は、ＧＰＵにより構成され、自動車、ドライバー又は実オブジェクトのトラッキング情報に基づいて、実オブジェクトに追従して表示されるように仮想オブジェクトをレンダリングする。

ＨＵＤコントローラー７０は、レンダリング画像をワープ処理するワープ処理部７１を含む。ＨＵＤ８０は、ワープ処理後の画像を表示するディスプレイ８１を含む。ディスプレイ８１は、液晶表示装置等の表示装置である。ディスプレイ８１に表示された画像が光学系によってフロントガラスに投影されることで、レンダリング画像の仮想オブジェクトが表示される。

図５に、表示システム９０の処理フローを示す。ここではセンサー６５としてＩＭＵとカメラを用いる例を示す。ＩＭＵは、カメラのフレームレートに比べて十分速いサンプリングレートでセンシングを行っている。Ｔｃｋ、Ｔｃｋ＋１、Ｔｃｋ＋２は、カメラの露出タイミングを示している。即ち、カメラによって得られる画像は、タイミングＴｃｋ等における実オブジェクトの位置を示す。画像信号処理は、カメラの露出終了後に行われる処理であり、イメージセンサーからの信号読み出し、及び現像処理等を含む。

トラッキング処理部６２は、ビジュアル慣性オドメトリにより、画像信号処理後の画像から実オブジェクトの位置をトラッキングする。この段階では、カメラの露出タイミングｔｃｋにおける実オブジェクトの位置が検出される。トラッキング処理部６２は、ビジュアル慣性オドメトリが終了した後のタイミングｔｏｄにおけるＩＭＵの出力信号と、ビジュアル慣性オドメトリの結果とに基づいて、慣性オドメトリにより実オブジェクトの位置をトラッキングする。この処理によって、カメラの露出タイミングｔｃｋから慣性オドメトリのタイミングｔｏｄまでのレイテンシーが補償され、タイミングｔｏｄにおける実オブジェクトの位置が検出されることになる。

レンダリング画像生成部６３は、慣性オドメトリにより検出された実オブジェクトに対応させた位置に、仮想オブジェクトをレンダリングし、そのレンダリング画像をワープ処理部７１に出力する。このとき、レンダリング画像生成部６３を構成するＧＰＵからＨＵＤコントローラー７０へのデータ通信時間が発生する。ワープ処理部７１は、レンダリング画像に対するワープ処理を行い、ワープ処理後の画像がＨＵＤ８０に表示される。第１ライン～最終ラインはディスプレイ８１の水平走査ラインであり、１ラインずつ走査される。このため１フレームの画像表示には、第１ライン～最終ラインを走査する時間が必要であるが、ここでは第１ラインの表示を行うタイミングを代表として表示タイミングｔｄｐとする。

ＨＵＤ８０に表示される仮想オブジェクトは、タイミングｔｏｄにおける実オブジェクトの位置に対応している。このため、タイミングｔｏｄから表示タイミングｔｄｐまでのレイテンシーが存在しており、この期間における自動車、ドライバー又は実オブジェクトのモーションによって実オブジェクトと仮想オブジェクトにずれが発生する可能性がある。

以上のように、表示タイミングｔｄｐより前に検出されたトラッキング情報を用いてレンダリングされた仮想オブジェクトを表示することで、トラッキング情報を検出したタイミングから表示タイミングｔｄｐまでのレイテンシーによって表示位置ずれが生じるという課題がある。

上記特許文献１では、画像データ等の通信時間よりも姿勢データの計測時間を短くし、その姿勢データを用いて投影光学ユニットが高周波領域での補正を行うことで、通信時間による実像と投影画像との位置ずれを抑制する。しかし、投影光学ユニットを制御するためのデータ処理時間、及び構成部材の作動時間が必要であることから、その時間によって生じる位置ずれは依然として残る。

また、上述した特許文献２では、表示の直近で表示ずれ補正を行う構成として、歪み補正の後段で表示ずれ補正を行う構成が示されている。この構成では、歪み補正の段階では、予測された補正量によって歪み補正の対応付けが変更されている。後段で位置ずれを補正した後に、正しい歪み補正が再現されるように、その補正とは逆方向に歪み補正をずらしている。このため、歪み補正において予測された補正量と、後段の表示ずれ補正において用いられる補正量とが異なっていた場合には、表示ずれ補正後の歪み画像が、正しい歪み補正画像にならない。

図６は、本実施形態における表示システム１００の構成例である。表示システム１００は、センサー５００の出力信号に基づいて、実オブジェクトに対応した仮想オブジェクトをＨＵＤ４００に表示させる。表示システム１００はトラッキング処理部１１０とレンダリング画像生成部１２０とワープ処理部１３０とパラメーター演算部１４０とを含む。なお、表示システム１００は図６の構成に限定されず、例えばトラッキング処理部１１０が表示システム１００の外部に設けられてもよいし、或いはセンサー５００とＨＵＤ４００が表示システム１００に含まれる構成としてもよい。表示システム１００のハードウェア構成例については後述する。

センサー５００は、移動体、観者又は実オブジェクトの位置、姿勢又はモーションを検出するセンサーである。センサー５００は移動体に設けられており、例えばＬｉｄａｒ、ＩＭＵ、カメラ、アイトラキングセンサー又はヘッドトラッキングセンサー等を含む。Ｌｉｄａｒは、Light Detection and Rangingの略であり、ｚマップのような３次元情報を取得するセンサーである。ＩＭＵは、Inertial Measurement Unitの略であり、一軸又は複数軸のモーションを検出するセンサーである。ＩＭＵは、例えば加速度センサー、ジャイロセンサー、又はそれらの組み合わせによって構成される。カメラは、２次元情報である画像を撮像するセンサーである。アイトラキングセンサーは、観者の目の位置、視線方向又はそれら両方を検出するセンサーである。ヘッドトラッキングセンサーは、観者の頭部の位置、姿勢又はそれら両方を検出するセンサーである。

移動体は、ＨＵＤ４００、観者及びセンサー５００を載せて実空間内を移動する物体であり、例えば自動車、二輪車、飛行機又は船舶等である。観者は、ＨＵＤ４００に投影される虚像を見るユーザーであり、移動体の操縦者又は搭乗者である。実オブジェクトは、実空間内に存在する物体である。実オブジェクトは、移動体、観者又は実オブジェクトの位置又は姿勢が変動したときに、観者から見たＨＵＤ表示領域内における実オブジェクトの位置又は姿勢が変動するような物体であればよい。

トラッキング処理部１１０は、センサー５００の出力信号に基づいて、移動体、観者又は実オブジェクトの位置、姿勢又はモーションをトラッキングし、その結果をトラッキング情報として出力する。例えば、トラッキング処理部１１０は、Ｌｉｄａｒからの２次元測距情報又はカメラからの２次元画像に基づいて、実オブジェクトをトラッキングする。またトラッキング処理部１１０は、ＩＭＵからの加速度又は角速度の情報に基づいて、自動車をトラッキングする。またトラッキング処理部１１０は、アイトラキングセンサーからの目の位置又は視線方向の情報に基づいて、ドライバーの目をトラッキングする。

トラッキング情報は、移動体、観者又は実オブジェクトの位置、姿勢又はモーションを示す情報であれば、どのような形態の情報であってもよい。例えば、トラッキング情報は、実空間における位置を示す座標、姿勢を示す角度、平行移動を示すベクトル、又は回転を示す角速度等である。或いは、トラッキング情報は、上記実空間における座標等を画像上における座標、角度、ベクトル又は角速度等に換算した情報であってもよい。トラッキング情報は、移動体の第１トラッキング情報、観者の第２トラッキング情報、及び実オブジェクトの第３トラッキング情報を含む。但し、トラッキング情報は、第１～第３トラッキング情報のうち少なくとも１つを含んでいればよく、例えば観者の第２トラッキング情報が省略されてもよい。

レンダリング画像生成部１２０は、移動体、観者又は実オブジェクトのトラッキング情報に基づいて仮想オブジェクトをレンダリングし、仮想オブジェクトを含むレンダリング画像を出力する。具体的には、レンダリング画像生成部１２０は、ＨＵＤ４００の表示領域において実オブジェクトの見える位置を求め、その実オブジェクトの位置に対応した位置に仮想オブジェクトをレンダリングする。

パラメーター演算部１４０は、トラッキング情報に基づいてレイテンシー補償パラメーターを求め、ワープ処理に用いられるワープパラメーターをレイテンシー補償パラメーターに基づいて補正し、補正後ワープパラメーターを出力する。ここで用いられるトラッキング情報は、レンダリング処理に用いられるトラッキング情報よりも後にサンプリングされたものである。レイテンシーを最小限にする観点から、パラメーター演算の直前又はできるだけ近いタイミングで取得されたトラッキング情報を用いることが、望ましい。

レイテンシー補償パラメーターは、レンダリング画像における仮想オブジェクトの位置と、表示タイミングにおける仮想オブジェクトの位置との差を補償するパラメーターである。レイテンシー補償パラメーターは、画像データ上におけるシフト量又は回転角度を示す。より具体的には、レイテンシー補償パラメーターは、ワープ処理前の歪んでいない画像におけるシフト量又は回転角度を示す。

ワープパラメーターは、ワープ処理における座標変換のパラメーターであり、ワープ処理における入力画像の座標と出力画像の座標とを対応付けるパラメーターである。ワープパラメーターは、例えば入力画像と出力画像の間の座標変換を表したマトリックス又はテーブルである。

ワープ処理部１３０は、湾曲したスクリーンにレンダリング画像が投影されたときに歪んでいない画像となるように、レンダリング画像をワープ処理する。具体的には、ワープ処理部１３０は、パラメーター演算部１４０が出力した補正後ワープパラメーターを用いてレンダリング画像を座標変換することで、表示画像を生成する。この座標変換は、スクリーンの湾曲による画像歪みをキャンセルするような座標変換である。表示画像は、ＨＵＤ４００の表示パネルに表示される画像であり、その表示パネルに表示された表示画像が投影ユニットによってスクリーンに投影されることで、歪みのない虚像として表示される。

ＨＵＤ４００は、スクリーンに虚像を投影するための投影ユニットを含む。投影ユニットは、表示画像を表示する表示パネルと、表示パネルに表示された表示画像を虚像としてスクリーンに投影する光学系と、を含む。スクリーンは移動体のウィンドスクリーン等である。或いは、ＨＵＤ４００は専用のスクリーンを含み、そのスクリーンに虚像が投影されてもよい。

図７に、トラッキング処理部１１０の詳細な処理フローを示し、図８に、表示システム１００の処理フローを示す。なお、図７に示すトラッキング処理は一例であって、実オブジェクト等をトラッキングする手法はこれに限定されない。また、トラッキング処理に用いられるセンサーも、採用する手法に応じて選択されればよい。

図８に示すセンサーの動作は図５で説明した通りである。トラッキング処理部１１０は、タイミングｔｃｋにおいてカメラが撮像した画像ＩＭＧ（ｔｃｋ）と、タイミングｔｃｋにおいてＩＭＵがサンプリングした移動体のモーション情報ＭＴＩ（ｔｃｋ）とに基づいて、ビジュアル慣性オドメトリ処理１１１を行い、タイミングｔｃｋにおける実オブジェクトと移動体の位置及び姿勢Ｐｒ（ｔｃｋ）を推定する。

トラッキング処理部１１０は、位置及び姿勢Ｐｒ（ｔｃｋ）と、タイミングｔｎｏｗ１においてＩＭＵがサンプリングした移動体のモーション情報ＭＴＩ（ｔｎｏｗ１）とに基づいて、慣性オドメトリ処理１１２を行い、タイミングｔｎｏｗ１における実オブジェクトと移動体の位置及び姿勢Ｐｃ（ｔｃｋ，ｔｎｏｗ１）を推定する。ｔｎｏｗ１は、ｔｃｋより後であり、且つ慣性オドメトリ処理１１２の開始前である。より望ましくは、ｔｎｏｗ１は、ビジュアル慣性オドメトリ処理１１１の終了後、且つ慣性オドメトリ処理１１２の開始前である。

トラッキング処理部１１０は、位置及び姿勢Ｐｃ（ｔｃｋ，ｔｎｏｗ１）に基づいて予測処理１１３を行い、ｔｎｏｗ１より後のタイミングｔｆｕｔｕｒｅにおける実オブジェクトと移動体の位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｆｕｔｕｒｅ）を予測する。図８では、ｔｆｕｔｕｒｅ＝ｔｄｐとし、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）を予測する例を示す。ｔｄｐはＨＵＤの表示タイミングである。予測処理１１３は、例えば、時系列に得られる位置及び姿勢Ｐｃの微分値に基づいて、未来の位置及び姿勢Ｐｐを予測する。

レンダリング画像生成部１２０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）に基づいて仮想オブジェクトをレンダリングし、レンダリング画像を出力する。仮に、このレンダリング画像をそのままＨＵＤ４００に表示させたとすると、位置及び姿勢Ｐｐが示す実オブジェクトの位置に対応して仮想オブジェクトが表示されることになる。

ここで、予測された位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）は、ｔｃｋ、ｔｎｏｗ１における情報を用いて予測されたものであり、ｔｄｐにおける実際のセンサー出力に基づく位置ではない。即ち、ｔｎｏｗ１とｔｄｐの間に生じた実際の動きが、予測処理１１３により予測された動きと異なった場合には、仮想オブジェクトと実オブジェクトの間にレイテンシーによる位置ずれが生じ得る。即ち、図８の例で補償対象となるレイテンシーは、ｔｎｏｗ１とｔｄｐの間の処理時間によるレイテンシーである。なお補償対象となるレイテンシーは、これに限定されない。例えば慣性オドメトリと予測処理を省略し、Ｐｒ（ｔｃｋ）を用いてレンダリング処理を行った場合、ｔｃｋとｔｄｐの間の処理時間によるレイテンシーが補償対象となる。

本実施形態では、上記のレイテンシーによる位置ずれを以下のようにして補償する。トラッキング処理部１１０は、タイミングｔｃｋ＋１においてカメラが撮像した画像ＩＭＧ（ｔｃｋ＋１）と、タイミングｔｃｋ＋１においてＩＭＵがサンプリングした移動体のモーション情報ＭＴＩ（ｔｃｋ＋１）とに基づいて、ビジュアル慣性オドメトリ処理１１１を行い、タイミングｔｃｋ＋１における実オブジェクトと移動体の位置及び姿勢Ｐｒ（ｔｃｋ＋１）を推定する。ｔｃｋ＋１は、ｔｃｋの次のカメラ露出タイミングである。

トラッキング処理部１１０は、位置及び姿勢Ｐｒ（ｔｃｋ＋１）と、タイミングｔｎｏｗ２においてＩＭＵがサンプリングした移動体のモーション情報ＭＴＩ（ｔｎｏｗ２）とに基づいて、慣性オドメトリ処理１１２を行い、タイミングｔｎｏｗ２における実オブジェクトと移動体の位置及び姿勢Ｐｃ（ｔｃｋ＋１，ｔｎｏｗ２）を推定する。

トラッキング処理部１１０は、位置及び姿勢Ｐｃ（ｔｃｋ＋１，ｔｎｏｗ２）に基づいて予測処理１１３を行い、ｔｄｐにおける実オブジェクトと移動体の位置及び姿勢Ｐｐ（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）を予測する。

パラメーター演算部１４０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）と位置及び姿勢Ｐｐ（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）に基づいてレイテンシー補償パラメーターを求める。具体的には、パラメーター演算部１４０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）と位置及び姿勢Ｐｐ（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）の差による仮想オブジェクトの位置ずれをキャンセルするようなレイテンシー補償パラメーターを求める。パラメーター演算部１４０は、レイテンシー補償パラメーターを用いてワープパラメーターを補正し、補正後ワープパラメーターを出力する。

ワープ処理部１３０は、補正後ワープパラメーターを用いてレンダリング画像をワープ処理し、表示画像を生成する。ワープ処理部１３０は、ＨＵＤ４００の表示パネルにおける第１ラインから最終ラインまでの走査タイミングに応じて、第１ラインから最終ラインのワープ処理を順次に行い、そのワープ処理後の各ラインのデータを走査タイミングに合わせて順次にＨＵＤ４００に出力する。図８では、第１ラインの表示タイミングをｔｄｐとしたが、ｔｄｐは、第１ラインから最終ラインを表示するまでのフレーム期間における任意のタイミングであってよい。

以上の本実施形態によれば、ワープ処理部１３０は、ワープ処理において、表示領域における仮想オブジェクトの位置をレイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う。

このようにすれば、ｔｎｏｗ１とｔｄｐの間のレンダリング処理等によるレイテンシーによって発生する仮想オブジェクトの位置ずれが、レイテンシー補償パラメーターに基づいて補償される。表示の直前に行われるワープ処理においてレイテンシー補償を行うことで、残存するレイテンシーを最小限にできるため、実オブジェクトに対する仮想オブジェクトの追従性が高いＡＲ表示を実現できる。また特許文献１のような光学的な補償機構を用いず、本実施形態では画像データ処理によってレイテンシー補償を行うので、投影ユニット等の構成を変更することなくレイテンシー補償を実現できる。また特許文献２のように歪み補正の後に表示ずれ補正するのではなく、本実施形態ではワープ処理において一体としてレイテンシー補償を行うので、正確な歪み補正とレイテンシー補償とを実現できる。

また本実施形態では、レンダリング画像生成部１２０は、第１タイミングにおけるトラッキング情報に基づいてレンダリング画像を生成する。パラメーター演算部１４０は、第１タイミングより後で且つ画像の表示タイミングｔｄｐより前の第２タイミングにおけるトラッキング情報と、第１タイミングにおけるトラッキング情報とに基づいて、レイテンシー補償パラメーターを演算する。図８の例では、ｔｎｏｗ１が第１タイミングに相当し、ｔｎｏｗ２が第２タイミングに相当する。

このようにすれば、第１タイミングと表示タイミングの間のレイテンシーが、第２タイミングと表示タイミングの間のレイテンシーに短縮されるので、レイテンシーによる位置ずれが削減される。図８の例を用いて説明すると、ワープパラメーターを補正するレイテンシー補償パラメーターは、ｔｎｏｗ１より後のｔｎｏｗ２においてＩＭＵがサンプリングしたモーション情報が反映されている。このレイテンシー補償パラメーターによって仮想オブジェクトの表示位置が補正されることで、ｔｎｏｗ１とｔｄｐの間のレイテンシーが、ｔｎｏｗ２とｔｄｐの間のレイテンシーに短縮されることになる。ワープ処理はＨＵＤ表示の直前に行われる処理であることから、ｔｎｏｗ２はｔｄｐに近いタイミングとなっており、可能な限りレイテンシーを小さくして、レイテンシーによる仮想オブジェクトの表示位置ずれを小さくできる。

また本実施形態では、パラメーター演算部１４０は、表示領域の湾曲に応じた座標変換のワープパラメーターをレイテンシー補償パラメーターに基づいて補正することで、補正後ワープパラメーターを出力する。ワープ処理部１３０は、補正後ワープパラメーターを用いてワープ処理を行うことで、レイテンシー補償処理を行う。

このように、レイテンシー補償パラメーターに基づく補正後ワープパラメーターを用いてワープ処理を行うことで、ワープ処理においてレイテンシー補償を行うことができる。例えば、レイテンシー補償の画像処理をワープ処理とは別に行う構成も考えられるが、レイテンシー補償の画像処理の分だけ処理負荷が重くなり、またレイテンシー補償後にワープ処理を行うことによって、ワープ処理のレイテンシーが残存してしまう。本実施形態では、レイテンシー補償とワープ処理が一体になることで、処理負荷の増加を抑えつつ、レイテンシーを最小限にできる。

また本実施形態では、トラッキング情報は、移動体の進行方向に垂直な第１軸変位及び第２軸変位の少なくとも１つを含む変位を示す情報である。進行方向はｚ方向に対応し、第１軸はｘ方向の軸に対応し、第２軸はｙ方向の軸に対応する。パラメーター演算部１４０は、上記変位により生じる仮想オブジェクトの位置の誤差を補正することで補正後ワープパラメーターを出力する。

レイテンシー補償では、短期間に生じる位置又は姿勢の変化を補償するが、短期間に生じる位置又は姿勢の変化としては移動体又は観者の揺れの影響が大きいと考えられる。移動体又は観者が揺れた場合、観者が表示領域を通して見る実オブジェクトはシフト変位すると考えられる。本実施形態によれば、移動体の進行方向に垂直な第１軸変位及び第２軸変位により生じる仮想オブジェクトの位置の誤差が補正されるので、移動体又は観者の揺れによる表示位置ずれを補償できる。

また本実施形態では、移動体の進行方向に垂直な第１軸変位及び第２軸変位のうち、移動体の上下方向における変位が第２軸変位である。このとき、トラッキング情報は、移動体のピッチ変位によるＨＵＤ４００又は観者の第２軸変位を示す情報を含む。パラメーター演算部１４０は、上記第２軸変位により生じる仮想オブジェクトの位置の誤差を補正することで補正後ワープパラメーターを出力する。

上述した移動体の揺れとしてピッチ変位が想定されるが、移動体のピッチ変位はＨＵＤのスクリーン又は観者の第２軸変位を生じさせる。このＨＵＤのスクリーン又は観者の第２軸変位は、観者が表示領域を通して見る実オブジェクトに第２軸方向のシフト変位を生じさせる。本実施形態によれば、ＨＵＤのスクリーン又は観者の第２軸変位により生じる仮想オブジェクトの位置の誤差が補正されるので、移動体のピッチ変位による表示位置ずれを補償できる。

また本実施形態では、ワープ処理部１３０は、ワープ処理において、表示領域における仮想オブジェクトの回転及びスケールの少なくとも１つをレイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う。

このように、シフト変位のレイテンシー補償だけでなく、回転又はスケールのレイテンシー補償を行ってもよい。スケールは、仮想オブジェクトを縮小又はズームすることである。本実施形態によれば、レイテンシーによる仮想オブジェクトの回転誤差、スケール誤差又はその両方が補償されるので、より追従性が高いＡＲ表示を実現できる。

また本実施形態では、トラッキング処理部１１０は、移動体のモーションを検出するモーションセンサーの出力信号に基づいてトラッキング情報を生成する。パラメーター演算部１４０は、モーションセンサーの出力信号に基づくトラッキング情報を用いてレイテンシー補償パラメーターを演算する。モーションセンサーは、例えば上述したＩＭＵであるが、これに限定されず、移動体の加速度、速度、位置、角速度又は姿勢を検出するセンサーであればよい。

上述したように、レイテンシー補償の対象として移動体の揺れの影響が考えられる。本実施形態によれば、移動体のモーションを検出するモーションセンサーの出力信号に基づくトラッキング情報を用いてレイテンシー補償パラメーターが演算されるので、移動体の揺れによる仮想オブジェクトの位置ずれが補償される。

２．第１詳細構成例
以下、表示システム１００のハードウェア構成を２例説明するが、表示システム１００のハードウェア構成はそれらに限定されない。

図９は、表示システム１００の第１詳細構成例である。表示システム１００は処理装置１５０とＨＵＤコントローラー１６０とを含む。処理装置１５０は、例えばＳｏＣにより構成され、インターフェース１５１とトラッキング処理部１１０とレンダリング画像生成部１２０とパラメーター演算部１４０と記憶部１４５とを含む。ＳｏＣはSystem on Chipの略である。ＨＵＤコントローラー１６０は、例えば集積回路装置により構成され、ワープ処理部１３０を含む。なお、既に説明した構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

インターフェース１５１は、センサー５００の出力信号を処理装置１５０に入力するためのインターフェースである。インターフェース１５１は、例えばセンサー５００の出力信号を受信する受信回路である。或いは、インターフェース１５１は、センサー５００の出力信号が入力される端子であってもよい。その場合、端子に入力されたセンサー５００の出力信号が、トラッキング処理部１１０を構成するプロセッサーに入力され、そのプロセッサーがセンサー５００の出力信号を受信処理する。

トラッキング処理部１１０は、センサー５００の出力信号に基づいてトラッキング処理を行う。レンダリング画像生成部１２０は、トラッキング処理部１１０が出力するトラッキング情報に基づいて仮想オブジェクトをレンダリングする。トラッキング処理部１１０及びレンダリング画像生成部１２０は、ＣＰＵ又はＧＰＵ等のプロセッサーにより構成される。ＣＰＵはCentral Processing Unitの略である。ＧＰＵはGraphical Processing Unitの略である。トラッキング処理部１１０及びレンダリング画像生成部１２０は、１つのプロセッサーで実現されてもよいし、それぞれ個別のプロセッサーで実現されてもよい。

記憶部１４５は、ＲＡＭ又は不揮発性メモリー等の半導体メモリーであり、レイテンシー補償前のワープパラメーターを記憶する。ＲＡＭはRandom Access Memoryの略である。上述したように、ワープパラメーターはマトリックス又はテーブルである。ワープパラメーターは、フォワードマップパラメーター又はインバースマップパラメーターのいずれであってもよい。フォワードマップパラメーターは、入力画像の各画素と、その各画素に対応した移動先座標とを対応付けるパラメーター、或いは、入力画像の各画素と、その各画素に対応した移動先座標への相対移動量とを対応付けるパラメーターである。インバースマップパラメーターは、出力画像の各画素と、その各画素に対応した参照元座標とを対応付けるパラメーター、或いは、出力画像の各画素と、その各画素に対応した参照元座標からの相対移動量とを対応付けるパラメーターである。

パラメーター演算部１４０は、トラッキング情報に基づいてレイテンシー補償パラメーターを求め、記憶部１４５から読み出したワープパラメーターをレイテンシー補償パラメーターに基づいて補正し、補正後ワープパラメーターを出力する。パラメーター演算部１４０は、トラッキング処理部１１０及びレンダリング画像生成部１２０のプロセッサーと同一プロセッサーにより実現されてもよいし、或いはそれとは別のプロセッサーにより実現されてもよい。

ワープ処理部１３０は、補正後ワープパラメーターを用いてレンダリング画像をワープ処理することで、表示画像を生成する。ワープ処理部１３０はロジック回路により構成され、例えば自動配置配線されたゲートアレイ又は自動配線されたスタンダードセルアレイ等により構成される。ＨＵＤ４００はディスプレイ４１０を含み、表示画像をディスプレイ４１０に表示させる。ディスプレイ４１０は、液晶表示装置等の表示装置である。ＨＵＤ４００は不図示の投影光学ユニットを含む。投影光学ユニットが、ディスプレイ４１０に表示された画像をスクリーンに投影することで、仮想オブジェクトを実空間に重ねて表示する。

本実施形態によれば、表示システム１００は、レンダリング画像生成部１２０及びパラメーター演算部１４０を有する処理装置１５０と、ワープ処理部１３０を有するＨＵＤコントローラー１６０と、を含む。

このようにすれば、レイテンシー補償パラメーターの演算と補正後ワープパラメーターの演算を、ＳｏＣである処理装置１５０に行わせることができる。これにより、レイテンシー補償を行うための回路をＨＵＤコントローラー１６０に追加する必要がなく、ＨＵＤコントローラー１６０の回路規模を増加させることなくレイテンシー補償を実現できる。

また本実施形態では、処理装置１５０は、実オブジェクトの２次元情報又は３次元情報を取得する第１センサー、移動体のモーションを検出する第２センサー、及び観者の視点又は視線方向を検出する第３センサーの少なくとも１つであるセンサー５００の出力信号が入力されるインターフェース１５１を含む。図６で説明したセンサー５００の例において、Ｌｉｄａｒ又はカメラが第１センサーに対応し、ＩＭＵが第２センサーに対応し、アイトラキングセンサーが第３センサーに対応する。パラメーター演算部１４０は、センサー５００の出力信号に基づくトラッキング情報を用いてレイテンシー補償パラメーターを演算する。

レイテンシーによる仮想オブジェクトの位置ずれは、実オブジェクト、移動体又は観者の位置又は姿勢の変化によって生じる。本実施形態によれば、センサー５００は、実オブジェクト、移動体又は観者のうち少なくとも１つに関する位置又は姿勢の変化を検出できる。そして、パラメーター演算部１４０が、センサー５００の出力信号に基づくトラッキング情報を用いてレイテンシー補償パラメーターを演算することで、実オブジェクト、移動体又は観者の位置又は姿勢の変化によって生じる仮想オブジェクトの位置ずれを、補償できる。

また本実施形態では、ワープ処理部１３０は、ワープ処理の対象フレームを示すフレーム情報をパラメーター演算部１４０に出力する。パラメーター演算部１４０は、フレーム情報に基づいて、対象フレームに対応したレイテンシーのレイテンシー補償パラメーターを演算する。

図８で説明したように、パラメーター演算部１４０は、慣性オドメトリのタイミングｔｎｏｗ１と表示タイミングｔｄｐの間のレイテンシーに対応したレイテンシー補償パラメーターを求める。図９の構成では、ワープ処理部１３０がＨＵＤコントローラー１６０に設けられ、パラメーター演算部１４０が処理装置１５０に設けられている。このため、パラメーター演算部１４０は、ワープ処理部１３０がどのフレームのワープ処理を行っているのかの情報をもらわないと、表示タイミングｔｄｐを知ることができない。本実施形態によれば、ワープ処理部１３０は、ワープ処理の対象フレームを示すフレーム情報をパラメーター演算部１４０に出力するので、パラメーター演算部１４０が表示タイミングｔｄｐを知ることができる。

３．第２詳細構成例
図１０は、表示システム１００の第２詳細構成例である。図１０では、処理装置１５０は、インターフェース１５１とトラッキング処理部１１０とレンダリング画像生成部１２０とを含む。ＨＵＤコントローラー１６０は、インターフェース１６１とワープ処理部１３０とパラメーター演算部１４０と記憶部１４５とを含む。なお、既に説明した構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。

センサー５００は、レンダリング用のトラッキング情報を求めるためのレンダリング用センサー５１０と、レイテンシー補償パラメーターを求めるためのレイテンシー補償用センサー５２０と、を含む。レンダリング用センサー５１０は、例えばＬｉｄａｒ、ＩＭＵ、及びカメラを含む。レイテンシー補償用センサー５２０は、例えばＩＭＵ及びヘッドトラッキングセンサーを含む。なお、レンダリング用センサー５１０とレイテンシー補償用センサー５２０が含むセンサーの種類は、上記に限定されず、移動体、観者又は実オブジェクトの位置、姿勢又はモーションを検出するセンサーであればよい。レイテンシー補償用センサー５２０とレンダリング用センサー５１０は別のセンサーであって、同種のセンサーを含む場合であっても、その同種のセンサーがレイテンシー補償用センサー５２０とレンダリング用センサー５１０に個別に設けられる。

レンダリング画像生成部１２０は、レンダリング画像と共に、トラッキング処理部１１０が取得したトラッキング情報を、ＨＵＤコントローラー１６０に出力する。

インターフェース１６１は、処理装置１５０から送信されるレンダリング画像及びトラッキング情報と、レイテンシー補償用センサー５２０の出力信号とを、ＨＵＤコントローラー１６０に入力するためのインターフェースである。インターフェース１６１は、例えばレンダリング画像、トラッキング情報及びレイテンシー補償用センサー５２０の出力信号を受信する受信回路である。或いは、インターフェース１６１は、レンダリング画像及びトラッキング情報を受信する受信回路と、レイテンシー補償用センサー５２０の出力信号が入力される端子と、であってもよい。その場合、端子に入力されたレイテンシー補償用センサー５２０の出力信号が、パラメーター演算部１４０に入力され、パラメーター演算部１４０がレイテンシー補償用センサー５２０の出力信号を受信処理する。

パラメーター演算部１４０は、処理装置１５０からレンダリング画像と共に送信されたトラッキング情報と、レイテンシー補償用センサー５２０の出力信号とに基づいてレイテンシー補償パラメーターを求める。パラメーター演算部１４０は、記憶部１４５から読み出したワープパラメーターをレイテンシー補償パラメーターに基づいて補正し、補正後ワープパラメーターを出力する。

ワープ処理部１３０は、補正後ワープパラメーターを用いてレンダリング画像をワープ処理することで、表示画像を生成する。ワープ処理部１３０及びパラメーター演算部１４０はロジック回路により構成され、例えば自動配置配線されたゲートアレイ又は自動配線されたスタンダードセルアレイ等により構成される。

図１１に、第２詳細構成例における表示システム１００の処理フローを示す。なお、図１１に示す処理フローは一例であって、例えばレンダリング又はレイテンシー補償に用いるトラッキング手法は図８に限定されない。また、トラッキングに用いるセンサーも、採用するトラッキング手法に応じて選択されればよい。

図１１では、ＩＭＵ１及びカメラがレンダリング用センサー５１０であり、ＩＭＵ２がレイテンシー補償用センサー５２０である。タイミングｔｎｏｗ２でサンプリングされたＩＭＵ２の出力信号が、レイテンシー補償に用いられる。

具体的には、トラッキング処理部１１０は、ビジュアル慣性オドメトリ処理により位置及び姿勢Ｐｒ（ｔｃｋ＋１）を推定する。レンダリング画像生成部１２０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）に基づいてレンダリングしたレンダリング画像と共に、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）及び位置及び姿勢Ｐｒ（ｔｃｋ＋１）をＨＵＤコントローラー１６０に出力する。

パラメーター演算部１４０は、インターフェース１６１を介して入力される位置及び姿勢Ｐｒ（ｔｃｋ＋１）と、タイミングｔｎｏｗ２においてＩＭＵ２がサンプリングした移動体のモーション情報ＭＴＩ’（ｔｎｏｗ２）とに基づいて、慣性オドメトリ処理を行い、タイミングｔｎｏｗ２における実オブジェクトと移動体の位置及び姿勢Ｐｃ’（ｔｃｋ＋１，ｔｎｏｗ２）を推定する。

パラメーター演算部１４０は、位置及び姿勢Ｐｃ’（ｔｃｋ＋１，ｔｎｏｗ２）に基づいて予測処理を行い、ｔｄｐにおける実オブジェクトと移動体の位置及び姿勢Ｐｐ’（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）を予測する。

パラメーター演算部１４０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）と位置及び姿勢Ｐｐ’（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）に基づいてレイテンシー補償パラメーターを求める。具体的には、パラメーター演算部１４０は、位置及び姿勢Ｐｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）と位置及び姿勢Ｐｐ’（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）の差による仮想オブジェクトの位置ずれをキャンセルするようなレイテンシー補償パラメーターを求める。パラメーター演算部１４０は、レイテンシー補償パラメーターを用いてワープパラメーターを補正し、補正後ワープパラメーターを出力する。

ワープ処理部１３０は、補正後ワープパラメーターを用いてレンダリング画像をワープ処理し、表示画像を生成する。

本実施形態によれば、表示システム１００は、レンダリング画像生成部１２０を有する処理装置１５０と、パラメーター演算部１４０及びワープ処理部１３０を有するＨＵＤコントローラー１６０と、を含む。

このようにすれば、レイテンシー補償パラメーターの演算と補正後ワープパラメーターの演算を、ＨＵＤコントローラー１６０に行わせることができる。レイテンシー補償パラメーターの演算と補正後ワープパラメーターの演算を処理装置１５０に行わせる場合に比べて、補正後ワープパラメーターをＨＵＤコントローラー１６０に送信する通信時間が不要であるため、より表示タイミングｔｄｐに近いタイミングのセンサー出力を用いてレイテンシー補償できる。

また本実施形態では、処理装置１５０は、レンダリング用センサー５１０の出力信号が入力される第１インターフェースを含む。図１０においてインターフェース１５１が第１インターフェースに対応する。レンダリング画像生成部１２０は、レンダリング用センサー５１０の出力信号に基づくトラッキング情報に基づいて、レンダリング画像を生成する。ＨＵＤコントローラー１６０は、レンダリング用センサー５１０とは別のレイテンシー補償用センサー５２０の出力信号と、レンダリング画像とが入力される第２インターフェースを含む。図１０においてインターフェース１６１が第２インターフェースに対応する。パラメーター演算部１４０は、レイテンシー補償用センサー５２０の出力信号に基づいて、レイテンシー補償パラメーターを演算する。

このようにすれば、パラメーター演算部１４０が任意のタイミングでレイテンシー補償用センサー５２０の出力信号を取得できるので、表示タイミングｔｄｐに出来るだけ近いタイミングのレイテンシー補償用センサー５２０の出力信号を取得し、レイテンシー補償パラメーターを演算できる。

また本実施形態では、レンダリング画像生成部１２０は、第１タイミングにおけるトラッキング情報に基づいてレンダリング画像を生成し、レンダリング画像と共に第１タイミングにおけるトラッキング情報をＨＵＤコントローラー１６０に出力する。図１１において、第１タイミングはｔｎｏｗ１に対応し、第１タイミングにおけるトラッキング情報はＰｐ（ｔｃｋ，ｔｎｏｗ１，ｔｄｐ）に対応する。パラメーター演算部１４０は、画像の表示タイミングｔｄｐに対応し且つ第１タイミングより後の第２タイミングにおけるトラッキング情報と、第１タイミングにおけるトラッキング情報とに基づいて、レイテンシー補償パラメーターを演算する。図１１において、第２タイミングはｔｎｏｗ２に対応し、第２タイミングにおけるトラッキング情報はＰｐ’（ｔｃｋ＋１，ｔｎｏｗ２，ｔｄｐ）に対応する。

このようにすれば、第１タイミングと表示タイミングの間のレイテンシーが、第２タイミングと表示タイミングの間のレイテンシーに短縮されるので、レイテンシーによる位置ずれが削減される。図１１の例を用いて説明すると、ワープパラメーターを補正するレイテンシー補償パラメーターは、ｔｎｏｗ１より後のｔｎｏｗ２においてＩＭＵ２がサンプリングしたモーション情報が反映されている。このレイテンシー補償パラメーターによって仮想オブジェクトの表示位置が補正されることで、ｔｎｏｗ１とｔｄｐの間のレイテンシーが、ｔｎｏｗ２とｔｄｐの間のレイテンシーに短縮されることになる。

４．ワープ処理
以下、インバースワープを例にワープ処理の詳細を説明する。但し、ワープ処理はフォワードワープ又はインバースワープのいずれであってもよく、ワープ処理部１３０はフォワードワープエンジン又はインバースワープエンジンのいずれであってもよい。フォワードワープとは、ワープエンジンに対する入力画像の各画素を、出力画像における任意の位置に移動させる変換である。フォワードワープエンジンとは、フォワードワープの機能を有するワープエンジンである。インバースワープとは、ワープエンジンの出力画像の各画素を、入力画像における任意の位置の画素から求める変換である。インバースワープエンジンとは、インバースワープの機能を有するワープエンジンである。

図１２は、本実施形態におけるワープ処理の説明図である。入力画像はレンダリング画像である。出力画像は、ＨＵＤの液晶表示パネル等に表示される表示画像である。（ｘｓｒｃ，ｙｓｒｃ）は入力画像における水平方向の位置と垂直方向の位置を示す。（ｘｄｓｔ，ｙｄｓｔ）は出力画像における水平方向の位置と垂直方向の位置を示す。

レイテンシー補償パラメーターを用いたワープパラメーターの補正をｇ（）で表すと、レイテンシー補償画像における位置は下式（１）のように表される。
（ｘｌａｔ，ｙｌａｔ）＝ｇ（ｘｓｒｃ，ｙｓｒｃ）・・・（１）

スクリーンの湾曲に応じたワープパラメーターによる歪み補正をｆ（）と表すと、出力画像における位置は下式（２）のように表される。
（ｘｄｓｔ，ｙｄｓｔ）＝ｆ（ｘｌａｔ，ｙｌａｔ）・・・（２）

上式（１）（２）より、入力画像と出力画像の間の座標変換は下式（３）のように表される。
（ｘｄｓｔ，ｙｄｓｔ）＝ｆ・ｇ（ｘｓｒｃ，ｙｓｒｃ）・・・（３）

インバースワープは上式（３）の逆変換を用いるので、下式（４）のようになる。
（ｘｓｒｃ，ｙｓｒｃ）＝ｇ^－１・ｆ^－１（ｘｄｓｔ，ｙｄｓｔ）・・・（４）

本実施形態では、パラメーター演算部１４０が、レイテンシー補償パラメーターｇ^－１を求め、ｇ^－１・ｆ^－１を演算することでワープパラメーターｆ^－１を補正し、補正後ワープパラメーターｇ^－１・ｆ^－１を出力する。ワープ処理部１３０は、補正後ワープパラメーターｇ^－１・ｆ^－１を用いて上式（４）のワープ処理を行うことで、出力画像を生成する。

図１３は、移動体等のトラッキング情報と、そのトラッキング情報に基づくレイテンシー補償との対応を示す図である。ここでは、トラッキング情報として６軸のモーション情報が得られるとする。

ヨー変位Δαは、垂直方向であるｙ方向に平行な軸を回転軸とする回転変位である。ヨー変位Δαは、観者がスクリーンを通してみた実オブジェクトに、水平シフトを生じさせる。水平シフトは、水平方向であるｘ方向のシフトである。このため、レイテンシー補償の手法は水平シフトとなる。

ピッチ変位Δβは、水平方向であるｘ方向に平行な軸を回転軸とする回転変位である。ピッチ変位Δβは、観者がスクリーンを通してみた実オブジェクトに、垂直シフトを生じさせる。垂直シフトは、垂直方向であるｙ方向のシフトである。このため、レイテンシー補償の手法は垂直シフトとなる。

ロール変位Δγは、移動体の前後方向であるｚ方向に平行な軸を回転軸とする回転変位である。ロール変位Δγは、観者がスクリーンを通してみた実オブジェクトに、回転を生じさせる。このため、レイテンシー補償の手法は回転となる。

水平シフトΔｘは、ｘ方向のシフトであり、観者がスクリーンを通してみた実オブジェクトに、水平シフトを生じさせる。このため、レイテンシー補償の手法は水平シフトとなる。

垂直シフトΔｙは、ｙ方向のシフトであり、観者がスクリーンを通してみた実オブジェクトに、垂直シフトを生じさせる。このため、レイテンシー補償の手法は垂直シフトとなる。

前後シフトΔｚは、ｚ方向のシフトであり、観者がスクリーンを通してみた実オブジェクトに、縮小又は拡大を生じさせる。このため、レイテンシー補償の手法は縮小又はズームとなる。

図１４に、上記補償手法を実現するレイテンシー補償パラメーターの例を示す。図１４に示す式の右辺のマトリックスが図１２で説明したｇ^－１に対応する。ｍ１３は水平シフトを示し、ｍ２３は垂直シフトを示す。ｍ１２は水平スキューを示す。水平スキューは、矩形を平行四辺形に歪ませるような変換であるが、ここでは回転の近似として用いている。ｍ１１は水平スケールを示し、ｍ２２は垂直スケールを示す。ｍ１１とｍ２２は縮小又はズームに相当する。

例えば垂直シフトのみ発生した場合を考えると、ｍ１１＝ｍ２２＝１、ｍ１２＝ｍ１３＝０である。このとき、図１４の式は下式（５）となる。
（ｘｓｒｃ，ｙｓｒｃ）＝（ｘｌａｔ，ｙｌａｔ＋ｍ２３）・・・（５）

図１２において、歪み補正の逆変換ｆ^－１（）は（ｘｄｓｔ，ｙｄｓｔ）を（ｘｌａｔ，ｙｌａｔ）に移動させる。上式（５）は、この移動量を、ｍ２３だけ垂直方向にシフトさせることに相当し、そのシフトによってレイテンシー補償が実現されている。

図１５は、トラッキング情報からレイテンシー補償パラメーターを演算する手法を説明する図である。

ヨー、ロール及びピッチの回転中心、観者の頭部、ＨＵＤスクリーン、及び実オブジェクトの幾何学的な位置関係から、移動体、観者又は実オブジェクトに生じた変位を、スクリーン上のシフト量又は回転角度に換算できる。そして、そのシフト量又は回転角度から図１４の右辺のマトリックスを決定できる。

図１５では、図１４において垂直シフトを示すｍ２３を例に、トラッキング情報からレイテンシー補償パラメーターを求める手法を説明する。ここでは、トラッキング情報として、移動体３２のピッチ変位Δβ及び垂直シフトΔｙｍと、観者５２の垂直シフトΔｙｐとを用いる例を説明する。

ピッチの回転中心ＰＴＣとスクリーン３４との距離をＤＣＦとすると、移動体３２のピッチ変位Δβは、スクリーン３４をＤＣＦ×Δβだけ垂直シフトさせる。また移動体３２の垂直シフトΔｙｍは、スクリーン３４をΔｙｍだけ垂直シフトさせる。これらを合計すると、スクリーン３４の垂直シフト量はＤＣＦ×Δβ＋Δｙｍである。観者５２の頭部と実オブジェクト１２が動かないと仮定すると、例えばスクリーン３４が＋（ＤＣＦ×Δβ＋Δｙｍ）だけ上がったとき、観者から見たスクリーン３４上の実オブジェクト１２の位置は、スクリーン３４に対して相対的に－（ＤＣＦ×Δβ＋Δｙｍ）だけ下がって見える。従って、この場合のレイテンシー補償パラメーターはｍ２３＝－（ＤＣＦ×Δβ＋Δｙｍ）となる。

観者５２の頭部と実オブジェクト１２との距離をＤＰＴとし、スクリーン３４と実オブジェクト１２との距離をＤＦＴとする。スクリーン３４と実オブジェクト１２が動かないと仮定すると、例えば観者が＋Δｙｐだけ上がったとき、観者５２から見たスクリーン３４上の実オブジェクト１２の位置は、スクリーン３４に対して相対的に＋（ＤＦＴ／ＤＰＴ）×Δｙｐだけ上がって見える。実オブジェクト１２が十分遠くにあると仮定すれば、ＤＦＴ／ＤＰＴ＝１と近似できるので、実オブジェクト１２の垂直シフト量はΔｙｐである。従って、この場合のレイテンシー補償パラメーターはｍ２３＝Δｙｐとなる。

本実施形態によれば、表示システム１００は記憶部１４５を含み、記憶部１４５は、表示画像における座標と、その座標の移動先を示す移動量とを対応づけるテーブルをワープパラメーターとして記憶する。パラメーター演算部１４０は、テーブルの移動量をレイテンシー補償パラメーターに基づいてシフトし、移動量がシフトされたテーブルを補償後ワープパラメーターとして出力する。

図１２の例では、ｆ^－１（）がテーブルとして記憶部１４５に記憶される。図１４及び上式（５）で説明した例では、（ｘｄｓｔ，ｙｄｓｔ）を（ｘｌａｔ，ｙｌａｔ）に移動させるテーブルの移動量が、例えばｍ２３だけ垂直方向にシフトされる。即ち、（ｘｄｓｔ，ｙｄｓｔ）を（ｘｌａｔ，ｙｌａｔ＋ｍ２３）に移動させるテーブルに補正される。

或いは、記憶部１４５は、表示画像における座標を、移動先の座標に変換する変換式のパラメーターをワープパラメーターとして記憶してもよい。パラメーター演算部１４０は、移動先の座標をレイテンシー補償パラメーターに基づいてシフトし、移動先の座標がシフトされた変換式のパラメーターを補償後ワープパラメーターとして出力する。

変換式は例えば多項式であり、その多項式の係数が変換式のパラメーターとして記憶部１４５に記憶される。図１２の例では、ｆ^－１（）を示す変換式のパラメーターが記憶部１４５に記憶される。図１４及び上式（５）で説明した例では、（ｘｄｓｔ，ｙｄｓｔ）を（ｘｌａｔ，ｙｌａｔ）に移動させる変換式の移動量が、例えばｍ２３だけ垂直方向にシフトされる。即ち、（ｘｄｓｔ，ｙｄｓｔ）を（ｘｌａｔ，ｙｌａｔ＋ｍ２３）に移動させる変換式に補正される。

５．電子機器、移動体
図１６は、本実施形態の表示システム１００を含む電子機器３００の構成例である。電子機器３００は、表示システム１００、記憶装置３５０、操作装置３６０、通信装置３７０、ヘッドアップディスプレイ４００、センサー５００を含む。表示システム１００は処理装置１５０、ＨＵＤコントローラー１６０を含む。

処理装置１５０は、仮想オブジェクトをレンダリングしたレンダリング画像をＨＵＤコントローラー１６０に出力する。また処理装置１５０は、記憶装置３５０に記憶された画像データ、又は通信装置３７０が受信した画像データと、仮想オブジェクトとを合成したレンダリング画像を、ＨＵＤコントローラー１６０に出力してもよい。ＨＵＤコントローラー１６０は、レンダリング画像に対するワープ処理と共にレイテンシー補償を行う。またＨＵＤコントローラー１６０は表示タイミング制御等を行う。ヘッドアップディスプレイ４００は、ＨＵＤコントローラー１６０から転送された画像データと、ＨＵＤコントローラー１６０による表示タイミング制御に基づいて、表示パネルを駆動し、表示パネルに画像を表示させる。表示パネルは、例えば液晶表示パネル、或いはＥＬ表示パネル等である。ヘッドアップディスプレイ４００は、表示パネルに表示された画像を投影光学ユニットによりスクリーンに投影する。記憶装置３５０は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置３６０は、電子機器３００をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置３７０は、例えば有線通信を行う装置、或いは無線通信を行う装置である。有線通信は、例えばＬＡＮ、又はＵＳＢ等である。無線通信は、例えば無線ＬＡＮや、無線近接通信等である。

本実施形態の回路装置を含む電子機器としては、車載用の電子機器、工場設備等の表示端末、ロボットに搭載された表示装置、又は情報処理装置等の種々の機器を想定できる。車載用の電子機器は、例えばメーターパネル等である。情報処理装置は例えばＰＣ等である。

図１７は、本実施形態の表示システム１００を含む移動体の例である。移動体は、表示システム１００、ヘッドアップディスプレイ４００、センサー５００を含む。表示システム１００は、処理装置１５０、ＨＵＤコントローラー１６０を含む。表示システム１００は、例えばＥＣＵ（Electronic Control Unit）内に設けられ、ＥＣＵに処理装置１５０とＨＵＤコントローラー１６０が組み込まれる。なおＨＵＤコントローラー１６０はヘッドアップディスプレイ４００に組み込まれてもよい。本実施形態の表示システム１００は、例えば、車、飛行機、バイク、自転車、或いは船舶等の種々の移動体に組み込むことができる。移動体は、例えばエンジンやモーター等の駆動機構、ハンドルや舵等の操舵機構、各種の電子機器を備えて、地上や空や海上を移動する機器又は装置である。図１７は移動体の具体例としての自動車２０６を概略的に示している。自動車２０６は車体２０７と車輪２０９を有する。上記のＥＣＵは、ドライバーによる操作に基づいて、エンジン、ブレーキ又は操舵等を制御することで自動車２０６の走行を制御する。ヘッドアップディスプレイ４００は透明スクリーンを有し、その透明スクリーンは運転席とフロントガラスの間に設置される。或いは、ヘッドアップディスプレイは、フロントガラスを透明スクリーンとして用い、フロントガラスに画像を投影してもよい。ヘッドアップディスプレイ４００は、ＡＲ表示を行うと共に、例えば自動車２０６のメーターパネルとして機能してもよい。

以上に説明した本実施形態の表示システムは、実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示システムである。表示システムは、レンダリング画像生成部とパラメーター演算部とワープ処理部とを含む。レンダリング画像生成部は、仮想オブジェクトを含むレンダリング画像を生成する。パラメーター演算部は、ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、ヘッドアップディスプレイの観者の第２トラッキング情報、及び実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算する。ワープ処理部は、レンダリング画像を表示領域の湾曲に応じて座標変換するワープ処理を行い、表示領域に表示される表示画像を生成する。ワープ処理部は、ワープ処理において、表示領域における仮想オブジェクトの位置をレイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う。

このようにすれば、レンダリング処理レイテンシーを含むレイテンシーによって発生する仮想オブジェクトの位置ずれが、レイテンシー補償パラメーターに基づいて補償される。表示の直前に行われるワープ処理においてレイテンシー補償を行うことで、残存するレイテンシーを最小限にできるため、実オブジェクトに対する仮想オブジェクトの追従性が高いＡＲ表示を実現できる。

また本実施形態では、レンダリング画像生成部は、第１タイミングにおけるトラッキング情報に基づいてレンダリング画像を生成してもよい。パラメーター演算部は、第１タイミングより後で且つ表示画像の表示タイミングより前の第２タイミングにおけるトラッキング情報と、第１タイミングにおけるトラッキング情報とに基づいて、レイテンシー補償パラメーターを演算してもよい。

このようにすれば、第１タイミングと表示タイミングの間のレイテンシーが、第１タイミングより後の第２タイミングと表示タイミングの間のレイテンシーに短縮されるので、レイテンシーによる位置ずれが削減される。

また本実施形態では、パラメーター演算部は、表示領域の湾曲に応じた座標変換のワープパラメーターをレイテンシー補償パラメーターに基づいて補正することで、補正後ワープパラメーターを出力してもよい。ワープ処理部は、補正後ワープパラメーターを用いてワープ処理を行うことで、レイテンシー補償処理を行ってもよい。

このように、レイテンシー補償パラメーターに基づく補正後ワープパラメーターを用いてワープ処理を行うことで、ワープ処理においてレイテンシー補償を行うことができる。

また本実施形態では、トラッキング情報は、移動体の進行方向に垂直な第１軸変位及び第２軸変位の少なくとも１つを含む変位を示す情報であってもよい。パラメーター演算部は、変位により生じる仮想オブジェクトの位置の誤差を補正することで補正後ワープパラメーターを出力してもよい。

また本実施形態では、移動体の進行方向に垂直な第１軸変位及び第２軸変位のうち、移動体の上下方向における変位が第２軸変位であってもよい。このとき、トラッキング情報は、移動体のピッチ変位によるヘッドアップディスプレイ又は観者の第２軸変位を示す情報であってもよい。パラメーター演算部は、第２軸変位により生じる仮想オブジェクトの位置の誤差を補正することで補正後ワープパラメーターを出力してもよい。

上述した移動体の揺れとしてピッチ変位が想定されるが、移動体のピッチ変位はヘッドアップディスプレイのスクリーン又は観者の第２軸変位を生じさせる。このヘッドアップディスプレイのスクリーン又は観者の第２軸変位は、観者が表示領域を通して見る実オブジェクトに第２軸方向のシフト変位を生じさせる。本実施形態によれば、ヘッドアップディスプレイのスクリーン又は観者の第２軸変位により生じる仮想オブジェクトの位置の誤差が補正されるので、移動体のピッチ変位による表示位置ずれを補償できる。

また本実施形態では、表示システムは、表示画像における座標と、座標の移動先を示す移動量とを対応づけるテーブルをワープパラメーターとして記憶する記憶部を含んでもよい。パラメーター演算部は、テーブルの移動量をレイテンシー補償パラメーターに基づいてシフトし、移動量がシフトされたテーブルを補正後ワープパラメーターとして出力してもよい。

このようにすれば、テーブルの移動量がレイテンシー補償パラメーターに基づいてシフトされ、その補正されたテーブルによりワープ処理が行われることで、レイテンシー補償が実現される。

また本実施形態では、表示システムは、表示画像における座標を、移動先の座標に変換する変換式のパラメーターをワープパラメーターとして記憶する記憶部を含んでもよい。パラメーター演算部は、移動先の座標をレイテンシー補償パラメーターに基づいてシフトし、移動先の座標がシフトされた変換式のパラメーターを補正後ワープパラメーターとして出力してもよい。

このようにすれば、変換式の移動先の座標がレイテンシー補償パラメーターに基づいてシフトされ、その補正された変換式によりワープ処理が行われることで、レイテンシー補償が実現される。

また本実施形態では、ワープ処理部は、ワープ処理において、表示領域における仮想オブジェクトの回転及びスケールの少なくとも１つをレイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行ってもよい。

また本実施形態では、表示システムは、移動体のモーションを検出するモーションセンサーの出力信号に基づいてトラッキング情報を生成するトラッキング処理部を含んでもよい。パラメーター演算部は、モーションセンサーの出力信号に基づくトラッキング情報を用いてレイテンシー補償パラメーターを演算してもよい。

また本実施形態では、表示システムは、レンダリング画像生成部及びパラメーター演算部を有する処理装置と、ワープ処理部を有するヘッドアップディスプレイコントローラーと、を含んでもよい。

このようにすれば、レイテンシー補償パラメーターの演算と補正後ワープパラメーターの演算を、処理装置に行わせることができる。これにより、レイテンシー補償を行うための回路をヘッドアップディスプレイコントローラーに追加する必要がなく、ヘッドアップディスプレイコントローラーの回路規模を増加させることなくレイテンシー補償を実現できる。

また本実施形態では、処理装置はインターフェースを含んでもよい。インターフェースは、実オブジェクトの２次元情報又は３次元情報を取得する第１センサー、移動体のモーションを検出する第２センサー、及び観者の視点又は視線方向を検出する第３センサーの少なくとも１つであるセンサーの出力信号が入力されてもよい。パラメーター演算部は、センサーの出力信号に基づくトラッキング情報を用いてレイテンシー補償パラメーターを演算してもよい。

レイテンシーによる仮想オブジェクトの位置ずれは、実オブジェクト、移動体又は観者の位置又は姿勢の変化によって生じる。本実施形態によれば、センサーは、実オブジェクト、移動体又は観者のうち少なくとも１つに関する位置又は姿勢の変化を検出できる。そして、パラメーター演算部が、センサーの出力信号に基づくトラッキング情報を用いてレイテンシー補償パラメーターを演算することで、実オブジェクト、移動体又は観者の位置又は姿勢の変化によって生じる仮想オブジェクトの位置ずれを、補償できる。

また本実施形態では、ワープ処理部は、ワープ処理の対象フレームを示すフレーム情報をパラメーター演算部に出力してもよい。パラメーター演算部は、フレーム情報に基づいて、対象フレームに対応したレイテンシーのレイテンシー補償パラメーターを演算してもよい。

本実施形態の構成では、処理装置に設けられたパラメーター演算部は、ヘッドアップディスプレイコントローラーに設けられたワープ処理部がどのフレームのワープ処理を行っているのかの情報をもらわないと、表示タイミングを知ることができない。本実施形態によれば、ワープ処理部は、ワープ処理の対象フレームを示すフレーム情報をパラメーター演算部に出力するので、パラメーター演算部が表示タイミングを知ることができる。

また本実施形態では、表示システムは、レンダリング画像生成部を有する処理装置と、パラメーター演算部及びワープ処理部を有するヘッドアップディスプレイコントローラーと、を含んでもよい。

このようにすれば、レイテンシー補償パラメーターの演算と補正後ワープパラメーターの演算を、ヘッドアップディスプレイコントローラーに行わせることができる。レイテンシー補償パラメーターの演算と補正後ワープパラメーターの演算を処理装置に行わせる場合に比べて、補正後ワープパラメーターをヘッドアップディスプレイコントローラーに送信する通信時間が不要であるため、より表示タイミングに近いタイミングのセンサー出力を用いてレイテンシー補償できる。

また本実施形態では、処理装置は、レンダリング用センサーの出力信号が入力される第１インターフェースを含んでもよい。レンダリング画像生成部は、レンダリング用センサーの出力信号に基づくトラッキング情報に基づいて、レンダリング画像を生成してもよい。ヘッドアップディスプレイコントローラーは、レンダリング用センサーとは別のレイテンシー補償用センサーの出力信号と、レンダリング画像とが入力される第２インターフェースを含んでもよい。パラメーター演算部は、レイテンシー補償用センサーの出力信号に基づいて、レイテンシー補償パラメーターを演算してもよい。

このようにすれば、パラメーター演算部が任意のタイミングでレイテンシー補償用センサーの出力信号を取得できるので、表示タイミングに出来るだけ近いタイミングのレイテンシー補償用センサーの出力信号を取得し、レイテンシー補償パラメーターを演算できる。

また本実施形態では、レンダリング画像生成部は、第１タイミングにおけるトラッキング情報に基づいてレンダリング画像を生成し、レンダリング画像と共に第１タイミングにおけるトラッキング情報をヘッドアップディスプレイコントローラーに出力してもよい。パラメーター演算部は、表示画像の表示タイミングに対応し且つ第１タイミングより後の第２タイミングにおけるトラッキング情報と、第１タイミングにおけるトラッキング情報とに基づいて、レイテンシー補償パラメーターを演算してもよい。

また本実施形態の電子機器は、上記のいずれかに記載の表示システムを含む。

また本実施形態の移動体は、上記のいずれかに記載の表示システムを含む。

また本実施形態の表示方法は、実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示方法である。表示方法は、仮想オブジェクトを含むレンダリング画像を生成することを含む。表示方法は、ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、ヘッドアップディスプレイの観者の第２トラッキング情報、及び実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算することを含む。表示方法は、レンダリング画像を表示領域の湾曲に応じて座標変換するワープ処理を行い、表示領域に表示される表示画像を生成することを含む。この表示方法のワープ処理において、表示領域における仮想オブジェクトの位置をレイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行う。

なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。またセンサー、ヘッドアップディスプレイ、処理装置、ヘッドアップディスプレイコントローラー、表示システム、電子機器及び移動体等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０…前走車、１１，１２…実オブジェクト、２０，２１…仮想オブジェクト、３０…自動車、３２…移動体、３４…スクリーン、３５…フロントガラス、３６…投影ユニット、４０…表示領域、５０…目、５２…観者、１００…表示システム、１１０…トラッキング処理部、１１１…ビジュアル慣性オドメトリ処理、１１２…慣性オドメトリ処理、１１３…予測処理、１２０…レンダリング画像生成部、１３０…ワープ処理部、１４０…パラメーター演算部、１４５…記憶部、１５０…処理装置、１５１…インターフェース、１６０…ＨＵＤコントローラー、１６１…インターフェース、２０６…自動車、２７０…処理装置、３００…電子機器、３５０…記憶装置、３６０…操作装置、３７０…通信装置、４００…ヘッドアップディスプレイ、４１０…ディスプレイ、５００…センサー、５１０…レンダリング用センサー、５２０…レイテンシー補償用センサー

Claims

実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示システムであって、
前記仮想オブジェクトを含むレンダリング画像を生成するレンダリング画像生成部と、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算するパラメーター演算部と、
前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、
を含み、
前記ワープ処理部は、
前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行い、
前記パラメーター演算部は、
前記実オブジェクトの２次元情報又は３次元情報を取得する第１センサー、前記移動体のモーションを検出する第２センサー、及び前記観者の視点又は視線方向を検出する第３センサーの少なくとも１つであるセンサーの出力信号に基づく前記トラッキング情報を用いて前記レイテンシー補償パラメーターを演算することを特徴とする表示システム。
請求項１に記載の表示システムにおいて、
前記レンダリング画像生成部、前記パラメーター演算部、及び前記センサーの出力信号が入力されるインターフェースを有する処理装置と、
前記ワープ処理部を有するヘッドアップディスプレイコントローラーと、
を含むことを特徴とする表示システム。
実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示システムであって、
前記仮想オブジェクトを含むレンダリング画像を生成するレンダリング画像生成部と、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算するパラメーター演算部と、
前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、
を含み、
前記ワープ処理部は、
前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行い、
前記ワープ処理の対象フレームを示すフレーム情報を前記パラメーター演算部に出力し、
前記パラメーター演算部は、
前記フレーム情報に基づいて、前記対象フレームに対応した前記レイテンシーの前記レイテンシー補償パラメーターを演算することを特徴とする表示システム。
請求項３に記載の表示システムにおいて、
前記レンダリング画像生成部及び前記パラメーター演算部を有する処理装置と、
前記ワープ処理部を有するヘッドアップディスプレイコントローラーと、
を含むことを特徴とする表示システム。
実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示システムであって、
前記仮想オブジェクトを含むレンダリング画像を生成するレンダリング画像生成部と、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算するパラメーター演算部と、
前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、
を含み、
前記ワープ処理部は、
前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行い、
前記レンダリング画像生成部は、
レンダリング用センサーの出力信号に基づく前記トラッキング情報に基づいて、前記レンダリング画像を生成し、
前記パラメーター演算部は、
前記レンダリング用センサーとは別のレイテンシー補償用センサーの出力信号に基づいて、前記レイテンシー補償パラメーターを演算することを特徴とする表示システム。
請求項５に記載の表示システムにおいて、
前記レンダリング画像生成部、及び前記レンダリング用センサーの出力信号が入力される第１インターフェースを有する処理装置と、
前記パラメーター演算部、前記ワープ処理部、及び前記レイテンシー補償用センサーの出力信号と前記レンダリング画像とが入力される第２インターフェースを有するヘッドアップディスプレイコントローラーと、
を含むことを特徴とする表示システム。
実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示システムであって、
前記仮想オブジェクトを含むレンダリング画像を生成するレンダリング画像生成部と、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算するパラメーター演算部と、
前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成するワープ処理部と、
を含み、
前記ワープ処理部は、
前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行い、
前記レンダリング画像生成部は、
第１タイミングにおける前記トラッキング情報に基づいて前記レンダリング画像を生成し、前記レンダリング画像と共に前記第１タイミングにおける前記トラッキング情報を出力し、
前記パラメーター演算部は、
前記表示画像の表示タイミングに対応し且つ前記第１タイミングより後の第２タイミングにおける前記トラッキング情報と、前記第１タイミングにおける前記トラッキング情報とに基づいて、前記レイテンシー補償パラメーターを演算することを特徴とする表示システム。
請求項７に記載の表示システムにおいて、
前記レンダリング画像生成部を有する処理装置と、
前記パラメーター演算部及び前記ワープ処理部を有するヘッドアップディスプレイコントローラーと、
を含むことを特徴とする表示システム。
請求項１乃至６のいずれか一項に記載の表示システムにおいて、
前記レンダリング画像生成部は、
第１タイミングにおける前記トラッキング情報に基づいて前記レンダリング画像を生成し、
前記パラメーター演算部は、
前記第１タイミングより後で且つ前記表示画像の表示タイミングより前の第２タイミングにおける前記トラッキング情報と、前記第１タイミングにおける前記トラッキング情報とに基づいて、前記レイテンシー補償パラメーターを演算することを特徴とする表示システム。
請求項１乃至９のいずれか一項に記載の表示システムにおいて、
前記パラメーター演算部は、
前記表示領域の湾曲に応じた前記座標変換のワープパラメーターを前記レイテンシー補償パラメーターに基づいて補正することで、補正後ワープパラメーターを出力し、
前記ワープ処理部は、
前記補正後ワープパラメーターを用いて前記ワープ処理を行うことで、前記レイテンシー補償処理を行うことを特徴とする表示システム。
請求項１０に記載の表示システムにおいて、
前記トラッキング情報は、
前記移動体の進行方向に垂直な第１軸変位及び第２軸変位の少なくとも１つを含む変位を示す情報であり、
前記パラメーター演算部は、
前記変位により生じる前記仮想オブジェクトの位置の誤差を補正することで前記補正後ワープパラメーターを出力することを特徴とする表示システム。
請求項１０に記載の表示システムにおいて、
前記移動体の進行方向に垂直な第１軸変位及び第２軸変位のうち、前記移動体の上下方向における変位が前記第２軸変位であるとき、
前記トラッキング情報は、
前記移動体のピッチ変位による前記ヘッドアップディスプレイ又は前記観者の前記第２軸変位を示す情報であり、
前記パラメーター演算部は、
前記第２軸変位により生じる前記仮想オブジェクトの位置の誤差を補正することで前記補正後ワープパラメーターを出力することを特徴とする表示システム。
請求項１０乃至１２のいずれか一項に記載の表示システムにおいて、
前記表示画像における座標と、前記座標の移動先を示す移動量とを対応づけるテーブルをワープパラメーターとして記憶する記憶部を含み、
前記パラメーター演算部は、
前記テーブルの前記移動量を前記レイテンシー補償パラメーターに基づいてシフトし、前記移動量がシフトされた前記テーブルを前記補正後ワープパラメーターとして出力することを特徴とする表示システム。
請求項１０乃至１２のいずれか一項に記載の表示システムにおいて、
前記表示画像における座標を、移動先の座標に変換する変換式のパラメーターをワープパラメーターとして記憶する記憶部を含み、
前記パラメーター演算部は、
前記移動先の座標を前記レイテンシー補償パラメーターに基づいてシフトし、前記移動先の座標がシフトされた前記変換式のパラメーターを前記補正後ワープパラメーターとして出力することを特徴とする表示システム。
請求項１乃至１４のいずれか一項に記載の表示システムにおいて、
前記ワープ処理部は、
前記ワープ処理において、前記表示領域における前記仮想オブジェクトの回転及びスケールの少なくとも１つを前記レイテンシー補償パラメーターに基づいて補償する前記レイテンシー補償処理を行うことを特徴とする表示システム。
請求項１乃至１５のいずれか一項に記載の表示システムにおいて、
前記移動体のモーションを検出するモーションセンサーの出力信号に基づいて前記トラッキング情報を生成するトラッキング処理部を含み、
前記パラメーター演算部は、
前記モーションセンサーの出力信号に基づく前記トラッキング情報を用いて前記レイテンシー補償パラメーターを演算することを特徴とする表示システム。
請求項１乃至１６のいずれか一項に記載の表示システムを含むことを特徴とする電子機器。
請求項１乃至１６のいずれか一項に記載の表示システムを含むことを特徴とする移動体。
実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示方法であって、
前記仮想オブジェクトを含むレンダリング画像を生成することと、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算することと、
前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成することと、
を含み、
前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行い、
前記レイテンシー補償パラメーターの演算において、前記実オブジェクトの２次元情報又は３次元情報を取得する第１センサー、前記移動体のモーションを検出する第２センサー、及び前記観者の視点又は視線方向を検出する第３センサーの少なくとも１つであるセンサーの出力信号に基づく前記トラッキング情報を用いて前記レイテンシー補償パラメーターを演算することを特徴とする表示方法。
実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示方法であって、
前記仮想オブジェクトを含むレンダリング画像を生成することと、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算することと、
前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成することと、
を含み、
前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行い、前記ワープ処理の対象フレームを示すフレーム情報を出力し、
前記レイテンシー補償パラメーターの演算において、前記フレーム情報に基づいて、前記対象フレームに対応した前記レイテンシーの前記レイテンシー補償パラメーターを演算することを特徴とする表示方法。
実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示方法であって、
前記仮想オブジェクトを含むレンダリング画像を生成することと、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算することと、
前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成することと、
を含み、
前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行い、
前記レンダリング画像の生成において、レンダリング用センサーの出力信号に基づく前記トラッキング情報に基づいて、前記レンダリング画像を生成し、
前記レイテンシー補償パラメーターの演算において、前記レンダリング用センサーとは別のレイテンシー補償用センサーの出力信号に基づいて、前記レイテンシー補償パラメーターを演算することを特徴とする表示方法。
実空間の実オブジェクトに対応する仮想オブジェクトを表示領域に表示するヘッドアップディスプレイの表示方法であって、
前記仮想オブジェクトを含むレンダリング画像を生成することと、
前記ヘッドアップディスプレイが搭載される移動体の第１トラッキング情報、前記ヘッドアップディスプレイの観者の第２トラッキング情報、及び前記実オブジェクトの第３トラッキング情報の少なくとも１つであるトラッキング情報に基づいて、前記レンダリング画像のレンダリング処理レイテンシーを含むレイテンシーを補償するレイテンシー補償パラメーターを、演算することと、
前記レンダリング画像を前記表示領域の湾曲に応じて座標変換するワープ処理を行い、前記表示領域に表示される表示画像を生成することと、
を含み、
前記ワープ処理において、前記表示領域における前記仮想オブジェクトの位置を前記レイテンシー補償パラメーターに基づいて補償するレイテンシー補償処理を行い、
前記レンダリング画像の生成において、第１タイミングにおける前記トラッキング情報に基づいて前記レンダリング画像を生成し、前記レンダリング画像と共に前記第１タイミングにおける前記トラッキング情報を出力し、
前記レイテンシー補償パラメーターの演算において、前記表示画像の表示タイミングに対応し且つ前記第１タイミングより後の第２タイミングにおける前記トラッキング情報と、前記第１タイミングにおける前記トラッキング情報とに基づいて、前記レイテンシー補償パラメーターを演算することを特徴とする表示方法。