JP6890306B2 - 画像形成システム、画像補正システム、画像表示システム、移動体、画像形成方法、及びプログラム - Google Patents

Description

本開示は、一般に画像形成システム、画像補正システム、画像表示システム、移動体、画像形成方法、及びプログラムに関し、より詳細には、画像を形成する画像形成部を備えた画像形成システム、画像補正システム、画像表示システム、移動体、画像形成方法、及びプログラムに関する。

対象空間に虚像を投影する映像表示システムとして、特許文献１に記載のヘッドアップディスプレイ装置が知られている。このヘッドアップディスプレイ装置は、表示器から出力された表示光を車両のフロントガラスに照射することで、ユーザに、表示器の表示画像の虚像を車両の前方の実景と重ねて視認させている。

このヘッドアップディスプレイ装置は、車両振動入力部と、表示制御部と、を備えている。車両振動入力部には、車両の振動情報（すなわち車両の姿勢情報）が入力される。表示制御部は、振動情報に基づいて表示画像を補正することで、虚像の表示位置を補正する。より詳細には、表示制御部は、表示画像を第１のレイヤーに描画した後、第１のレイヤーに描画された表示画像の表示位置を、車両の振動を相殺する方向に移動させる。なお、第１のレイヤーは、表示器の表示面に対応して仮想的に設けられた面である。この結果、車両が振動しても、虚像の表示位置が、実景中の対象物に対して所定の位置関係を保つように補正される。

特開２０１７−１３５９０号公報

上記のヘッドアップディスプレイ装置では、振動情報に基づく表示画像の表示位置の補正は、表示画像を描画する描画処理にて実行される。このため、表示部の表示遅延（例えば数フレーム分の遅延）が発生し易い。また、表示画像の表示位置をずらす補正を行うと、ずらした分、表示画像が表示面の外に切れる。この画像切れを低減するには、表示画像を描画するときに、描画可能な描画範囲を狭い範囲に制限する必要がある。

本開示は、上記事由に鑑みて、表示画像の表示遅延を低減し、かつ表示画像の描画範囲の制限を低減することができる画像形成システム、画像補正システム、画像表示システム、移動体、画像形成方法、及びプログラムを提供することを目的とする。

本開示の一態様に係る画像形成システムは、画像を形成する画像形成部を備えた画像形成システムである。画像形成システムは、第１補正部と、第２補正部と、を有する。前記第１補正部は、前記画像形成部で形成された前記画像を表示する表示部が設けられると共に前記表示部の出力光を投光することで前記画像に対応する虚像を対象空間に形成する投影部が設けられた本体部の姿勢変化である第１姿勢変化を表す第１姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第１補正処理を実行する。前記第２補正部は、前記本体部の姿勢変化であって第１姿勢変化よりも変化速度の速い第２姿勢変化を表す第２姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第２補正処理を、前記第１補正部による前記第１補正処理の実行タイミングよりも後のタイミングで実行し、当該第２補正処理を実行した前記画像を前記表示部に出力する。前記第１補正処理では、前記第１補正部は、前記第１姿勢信号に基づいて、前記画像を描画することで前記虚像の表示位置を補正する。前記第２補正処理では、前記第２補正部は、前記第２姿勢信号に基づいて、前記表示部の表示面における前記画像の表示位置をずらすことで前記虚像の表示位置を補正する。前記第２補正部は、前記画像に前記第２補正処理とは別の歪み補正処理を更に実行する。前記歪み補正処理は、前記第２補正処理の後に実行される。前記第２補正部は、バッファと、補正部本体と、を備える。前記バッファは、前記画像を保存する。前記補正部本体は、前記バッファで保存された前記画像に前記第２補正処理を実行し、前記第２補正処理を実行した画像を前記表示部に出力する。前記補正部本体は、描画バッファと、ラインバッファと、を備える。前記描画バッファは、１画面分のサイズを有し前記バッファから出力された前記画像を保存する。前記ラインバッファは、前記描画バッファから読み出された画像を保存する。前記描画バッファは、保存した前記画像を読み出すとき、読出開始位置を基準にした１画面分の画像を小領域画像ずつ読み出し、前記小領域画像の集まりが、前記１画面分の画像を規定する。前記ラインバッファは、前記描画バッファから読み出された前記小領域画像を記憶し、歪み補正処理した後に１行分ずつ前記表示部に出力する。前記描画バッファは、前記第２姿勢信号に基づいて前記本体部の前記第２姿勢変化を検出し、検出した前記第２姿勢変化による前記虚像と実景とのずれを相殺するように前記読出開始位置を変化させることで、前記第２補正処理を実行する。
本開示の一態様に係る画像補正システムは、上記の一態様に係る画像形成システムと、前記第１姿勢信号を出力する第１検出部と、前記第２姿勢信号を出力する第２検出部と、を備える。
本開示の一態様に係る画像表示システムは、上記の一態様に係る画像形成システムと、前記画像形成部で形成された前記画像を表示する表示部と、を備えている。

本開示の一態様に係る移動体は、上記の一態様に係る画像表示システムと、前記表示部の出力光を投影することで前記画像に対応する虚像を対象空間に形成する投影部とを有する映像表示システムを移動体本体に備える。

本開示の一態様に係る画像形成方法は、画像を形成する画像形成処理を含む画像形成方法である。画像形成方法は、第１補正処理と、第２補正処理と、を含む。前記第１補正処理は、前記画像形成処理において形成された前記画像を表示する表示部が設けられると共に前記表示部の出力光を投影することで前記画像に対応する虚像を対象空間に形成する投影部が設けられた本体部の姿勢変化である第１姿勢変化を表す第１姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する。前記第２補正処理は、前記本体部の姿勢変化であって前記第１姿勢変化よりも変化速度の速い第２姿勢変化を表す第２姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する。前記第２補正処理は、前記第１補正処理の実行タイミングよりも後のタイミングで実行され、当該第２補正処理が実行された前記画像は前記表示部に出力される。前記第１補正処理では、前記第１姿勢信号に基づいて、前記画像を描画することで前記虚像の表示位置を補正する。前記第２補正処理では、前記第２姿勢信号に基づいて、前記表示部の表示面における前記画像の表示位置をずらすことで前記虚像の表示位置を補正する。前記画像に前記第２補正処理とは別の歪み補正処理が更に実行される。前記歪み補正処理は、前記第２補正処理の後に実行される。前記画像形成方法は、出力処理を含む。前記出力処理は、前記画像をバッファに保存し、前記バッファで保存された前記画像に前記第２補正処理を実行し、前記第２補正処理を実行した画像を前記表示部に出力する。前記出力処理は、１画面分のサイズを有する描画バッファに前記バッファから出力された前記画像を保存し、前記描画バッファから読み出された画像をラインバッファに保存する。前記描画バッファは、保存した前記画像を読み出すとき、読出開始位置を基準にした１画面分の画像を小領域画像ずつ読み出し、前記小領域画像の集まりが、前記１画面分の画像を規定する。前記ラインバッファは、前記描画バッファから読み出された前記小領域画像を記憶し、歪み補正処理した後に１行分ずつ前記表示部に出力する。前記描画バッファは、前記第２姿勢信号に基づいて前記本体部の前記第２姿勢変化を検出し、検出した前記第２姿勢変化による前記虚像と実景とのずれを相殺するように前記読出開始位置を変化させることで、前記第２補正処理を実行する。

本開示の一態様に係るプログラムは、コンピュータに、上記の一態様に係る画像形成方法を実行させるためのプログラムである。

本開示は、表示画像の表示遅延を低減し、かつ表示画像の描画範囲の制限を低減することができる、という利点がある。

図１は、本実施形態に係る映像表示システムの構成を示す概念図である。 図２は、同上の映像表示システムを備える自動車の概念図である。 図３は、同上の映像表示システムを用いた場合の運転者の視野を示す概念図である。 図４は、同上の映像表示システムの画像表示部の構成を示すブロック図である。 図５Ａは、本体部に姿勢変化が無い場合の３次元仮想空間での画像の描画方法を説明する概念図、図５Ｂは、本体部に姿勢変化が無い場合の運転者の視野を示す概念図である。 図６Ａは、本体部に第１姿勢変化が生じた場合の３次元仮想空間での画像の描画方法を説明する概念図、図６Ｂは、本体部に第１姿勢変化が生じた場合の運転者の視野を示す概念図である。 図７は、振動補正処理及び歪み補正処理の処理方法を説明する概念図である。 図８は、振動補正処理での変化量（振動量）と補正量との関係の一例を示すグラフである。 図９は、表示部の変形例を示す概念図である。

（実施形態）
（１）概要
本実施形態に係る映像表示システム１０は、図１及び図２に示すように、例えば、移動体本体としての自動車１００に用いられるヘッドアップディスプレイ（ＨＵＤ：Head-Up Display）である。本実施形態では、映像表示システム１０と、映像表示システム１０が設けられた自動車１００（移動体本体）と、を含む全体を移動体とする。

映像表示システム１０は、自動車１００のウインドシールド１０１に下方から画像を投影するように、自動車１００の車室内に配置されている。図２の例では、ウインドシールド１０１の下方のダッシュボード１０２内に、映像表示システム１０が配置されている。映像表示システム１０からウインドシールド１０１に画像が投影されると、ユーザ（運転者）２００は、ウインドシールド１０１に投影された画像を、自動車１００の前方（車外）に設定された対象空間４００内に表示された虚像３００として視認する。

ここでいう「虚像」は、映像表示システム１０から出射される画像光がウインドシールド１０１等の反射物にて発散するとき、その発散光線によって、実際に物体があるように結ばれる像を意味する。また、ウインドシールド１０１は、画像７００が投影される投影対象物である。

そのため、自動車１００を運転しているユーザ２００は、図３に示すように、自動車１００の前方に広がる実景に重ねて、映像表示システム１０にて投影される虚像３００を見ることができる。したがって、映像表示システム１０によれば、種々の運転支援情報を虚像３００として実景と重ねて表示して、ユーザ２００に視認させることができる。運転支援情報は、例えば、車速情報、ナビゲーション情報、歩行者情報、前方車両情報、車線逸脱情報、及び車両コンディション情報等である。これにより、ユーザ２００は、ウインドシールド１０１の前方に視線を向けた状態から僅かな視線移動だけで、運転支援情報を視覚的に取得することができる。

対象空間４００に表示される虚像３００は、例えば、ナビゲーション情報として自動車１００の進行方向を示す情報であり、路面６００上に右折又は左折を示す矢印である。この種の虚像３００は、拡張現実（ＡＲ：Augmented Reality）技術を用いて表示される画像であって、ユーザ２００から見た実景（路面６００、建物、周辺車両、及び歩行者等）における特定の位置に重畳して表示される。

対象空間４００に表示される虚像３００は、映像表示システム１０の光軸５００に交差する仮想面５０１上に形成される。光軸５００は、自動車１００の前方の対象空間４００において、自動車１００の前方の路面６００に沿っている。虚像３００が形成される仮想面５０１は、路面６００に対して略垂直である。例えば、路面６００が水平面である場合には、虚像３００は鉛直面に沿って表示される。

映像表示システム１０は、図１に示すように、画像表示部２と、投影部３と、本体部１と、を備えている。画像表示部２は、表示面２０ａを有し、表示面２０ａに画像７００を表示する。投影部３は、画像表示部２の出力光により、画像７００に対応する虚像３００（図２参照）を対象空間４００（図２参照）に投影する投影処理を実行する。本体部１には、これら画像表示部２及び投影部３が設けられている。

このような本体部１が自動車１００に搭載された状態では、例えば、路面６００の状況、及び自動車１００の加減速等に起因して、本体部１の姿勢が自動車１００の姿勢と共に変化する。具体的には、例えば、自動車１００が減速等により前傾姿勢になれば本体部１も前傾姿勢となり、自動車１００が加速等により後傾姿勢になれば本体部１も後傾姿勢になる。映像表示システム１０の本体部１の姿勢が変化すると、虚像３００と実景との相対的な配置関係が変化する。そのため、例えば、本体部１の姿勢が変化した場合に、虚像３００は、ユーザ２００から見た実景において本来重畳すべき特定の位置からずれた位置に表示される。

そこで、映像表示システム１０は、図４に示すように、本体部１の姿勢変化に応じて、虚像３００が実景の本来重畳すべき特定の位置に表示されるように、対象空間４００での虚像３００の表示位置を補正する第１補正部４１及び第２補正部４２を備えている。第１補正部４１は、本体部１の姿勢変化である第１姿勢変化に応じて、虚像３００の表示位置を補正する第１補正処理を実行する。第２補正部４２は、本体部１の姿勢変化である第２姿勢変化に応じて、虚像３００の表示位置を補正する第２補正処理を実行する。第２補正部４２は、第１補正部による第１補正処理の実行タイミングとは異なるタイミングで第２補正処理を実行する。なお、第２姿勢変化は、第１姿勢変化よりも変化速度の速い姿勢変化である。

第１姿勢変化とは、本体部１の姿勢変化の変化速度が比較的遅い姿勢変化である。つまり、第１姿勢変化とは、第１周波数未満の周波数の振動（姿勢変化）である。換言すれば、第１姿勢変化とは、本体部１の姿勢変化の発生頻度が第１閾値よりも低い姿勢変化である。さらに換言すれば、第１姿勢変化とは、本体部１の姿勢変化後の姿勢が一定時間継続するような本体部１の姿勢変化である。このような第１姿勢変化は、例えば、自動車１００の加減速による姿勢変化などである。

第２姿勢変化とは、本体部１の姿勢変化の変化速度が比較的速い姿勢変化である。第２姿勢変化と第１姿勢変化とを比べると、第２姿勢変化は、第１姿勢変化の変化速度よりも速い姿勢変化である。つまり、第２姿勢変化とは、本体部１における第２周波数以上の周波数の振動（姿勢変化）である。換言すれば、第２姿勢変化とは、本体部１の姿勢変化の発生頻度が第２閾値よりも高い姿勢変化である。さらに換言すれば、第２姿勢変化とは、時間経過に伴って本体部１の姿勢が変化するような本体部１の姿勢変化である。このような第２姿勢変化は、例えば、自動車１００が凸凹道を走行したときの自動車１００の上下動に伴って生じる。上記の第１周波数及び第２周波数は、互いに同じ値であってもよく、異なる値であってもよい。上記の第１閾値及び第２閾値は、互いに同じ値であってもよく、異なる値であってもよい。

これにより、本体部１の姿勢変化に応じて、虚像３００の表示位置が補正される。そのため、例えば、自動車１００に第１姿勢変化又は第２姿勢変化を生じても、映像表示システム１０は、虚像３００を、ユーザ２００から見た実景において本来重畳すべき特定の位置に重畳して表示することが可能である。

そして、映像表示システム１０では、第１補正部４１及び第２補正部４２は、自動車１００の姿勢変化の種類（第１姿勢変化又は第２姿勢変化）に応じて、使い分けられている。したがって、自動車１００の姿勢変化に連動して本体部１に様々な姿勢変化が生じた場合でも、姿勢変化の種類（第１姿勢変化又は第２姿勢変化）に応じて、画像表示部２での複数の処理段階の中の適した処理段階で、虚像３００の表示位置を補正できる。

例えば、第２姿勢変化に対する虚像３００の表示位置の補正処理は、リアルタイム性が要求されるため、リアルタイムで処理可能な処理段階で実行される。第１姿勢変化に対する虚像３００の表示位置の補正処理は、リアルタイム性が要求されないため、補正処理の際に画像７００の描画範囲が制限され難い処理段階で実行される。その結果、本体部１の姿勢変化に応じて虚像３００の表示位置を補正するとき、虚像３００の表示遅延を低減し、かつ虚像３００に対応する画像７００の描画範囲の制限を低減できる、という利点がある。

（２）構成
映像表示システム１０は、図１に示すように、本体部１と、画像表示部２と、投影部３と、振動センサ５と、ローパスフィルタ６と、ハイパスフィルタ７と、を備えている。振動センサ５とローパスフィルタ６とで、本体部１の第１姿勢変化を検出して第１姿勢信号として出力する第１検出部が構成されている。振動センサ５とハイパスフィルタ７とで、本体部１の第２姿勢変化を検出して第２姿勢信号として出力する第２検出部が構成されている。

本体部１は、例えば、筐体にて構成されている。本体部１内には、画像表示部２、投影部３、振動センサ５、ローパスフィルタ６及びハイパスフィルタ７が収容（実装）されている。本体部１は、図２に示すように、自動車１００のダッシュボード１０２内に固定される。本体部１は、筐体でなく、例えば、フレーム又は板材等であってもよい。なお、画像表示部２は、後述のように、表示部２０と、画像形成部２１と、を備えるが、表示部２０及び画像形成部２１のうち、画像形成部２１は、本体部１に設けられても設けられなくてもよい。

振動センサ５は、本体部１に加わる振動を検出するセンサであり、本体部１に加わる振動を検出することで、本体部１の第１姿勢変化及び第２姿勢変化を検出している。すなわち、本体部１に加わる振動には、第１周波数未満の周波数の振動（第１姿勢変化の情報）と、第２周波数以上の周波数の振動（第２姿勢変化の情報）とが含まれている。本体部１は自動車１００に固定されているため、本体部１に加わる振動は、自動車１００に加わる振動と実質的に同じである。このため、振動センサ５は、自動車１００に加わる振動を検出することで、本体部１に加わる振動を検出する。振動センサ５は、自動車１００に加わる振動の情報として、例えば自動車１００の振動で変化する自動車１００のピッチ角を検出する。振動センサ５は、検出した振動に応じた信号をローパスフィルタ６及びハイパスフィルタ７に出力する。

ローパスフィルタ６は、振動センサ５から出力された信号のうち、第１周波数以上の周波数の信号成分は通過させず、第１周波数未満の周波数の信号成分（すなわち第１姿勢変化を表す信号）を通過させる。そして、ローパスフィルタ６は、通過させた信号（信号成分）を第１姿勢信号として画像表示部２に出力する。ハイパスフィルタ７は、振動センサ５から出力された信号のうち、第２周波数未満の周波数の信号成分は通過させず、第２周波数以上の周波数の信号成分（すなわち第２姿勢変化を表す信号）を通過させる。そして、ハイパスフィルタ７は、通過させた信号（信号成分）を第２姿勢信号として画像表示部２に出力する。第１姿勢信号は、本体部１の第１姿勢変化を表す姿勢信号である。第２姿勢信号は、本体部１の第２姿勢変化を表す姿勢信号である。振動センサ５は、例えばジャイロセンサ（角速度センサ）である。なお、振動センサ５は、ジャイロセンサに限定されず、例えば加速度センサでもよい。

画像表示部２は、表示面２０ａを有し、表示面２０ａに画像７００を表示し、表示した画像７００を表す光を投影部３に向けて照射する。画像表示部２は、図１に示すように、表示部２０と、画像形成部２１と、を有している。表示部２０は、画像７００を表示する表示処理を実行し、表示した画像７００を表す光を表示部２０の前方に照射する。画像形成部２１は、表示部２０に表示される画像７００を形成する画像形成処理を実行する。本実施形態では、画像７００は、自動車１００の目的地までの走行経路を案内するために、自動車１００が走行する路面上に表示される矢印を表す画像である。以下、画像７００を、矢印画像７００とも記載する。したがって、虚像３００も矢印を表す像である（図３参照）。

より詳細には、画像形成部２１は、自動車１００に搭載されたナビゲーション装置からナビゲーション情報を取得する。ナビゲーション情報は、例えば、自動車１００が向かう目的地までの走行経路、及び、直近の交差点までの距離などのナビゲーション情報である。そして、画像形成部２１は、取得したナビゲーション情報に基づいて、自動車１００が走行経路上の直近の交差点に一定距離まで接近したと判定すると、上記の交差点での進行方向を案内するための矢印画像７００を形成する。その際、矢印画像７００は、その虚像３００が対象空間４００内の既定位置（例えば上記の交差点内で矢印が道路に沿って重なる位置）４０１に表示されるように形成される。そして、画像形成部２１は、形成した矢印画像７００を表示部２０に出力する。これにより、本体部１に姿勢変化が生じていなければ、矢印画像７００の虚像３００は、対象空間４００の既定位置（例えば上記の交差点内で矢印が道路に沿って重なる位置）４０１に表示される。

また、画像形成部２１は、ローパスフィルタ６からの第１姿勢信号及びハイパスフィルタ７からの第２姿勢信号を取得することで、本体部１の第１姿勢変化及び第２姿勢変化に関する姿勢情報を取得する。本体部１に姿勢変化が生じた場合は、虚像３００と実景との相対的な配置関係が変化するため、対象空間４００において、虚像３００が、実景における本体重畳すべき特定の位置（例えば交差点）からずれた位置に表示される。例えば、自動車１００が後傾姿勢になると、ユーザ２００の視線が上がり、ユーザ２００から見た実景が相対的に下方に移動する。この結果、対象空間４００内において、虚像３００が、交差点よりも上がった位置に表示される。このため、画像形成部２１は、取得した姿勢情報に基づいて表示面２０ａでの画像７００の表示位置を補正することで、対象空間４００において、虚像３００の表示位置を、既定位置４０１から、交差点内で矢印が道路に沿って重なる位置へと補正する。

投影部３は、画像表示部２の表示面２０ａからの出力光により、画像７００に対応する虚像３００を対象空間４００に投影する。本実施形態では、映像表示システム１０は上述したようにヘッドアップディスプレイであるため、投影部３は、ウインドシールド１０１（図２参照）に画像７００を投影する。

投影部３は、図１に示すように、第１ミラー３１と、第２ミラー３２と、を有している。第１ミラー３１及び第２ミラー３２は、画像表示部２から、出力光の光路上に、第１ミラー３１、第２ミラー３２の順で配置されている。より詳細には、第１ミラー３１は、画像表示部２の出力光が入射するように、画像表示部２の表示面２０ａの上方に配置されている。第１ミラー３１は、画像表示部２の出力光を、第２ミラー３２に向けて反射する。第２ミラー３２は、第１ミラー３１で反射された画像表示部２の出力光が入射するような位置（例えば第１ミラー３１の前方下側の位置）に配置されている。第２ミラー３２は、第１ミラー３１で反射された画像表示部２の出力光を、上方（すなわちウインドシールド１０１）に向けて反射する。第１ミラー３１は、例えば凸面鏡であり、第２ミラー３２は、例えば凹面鏡である。

この構成により、投影部３は、画像表示部２の表示面２０ａに表示された画像７００を、適当な大きさに拡大又は縮小して、投影画像としてウインドシールド１０１に投影する。この結果、対象空間４００に虚像３００が表示される。つまり、自動車１００を運転しているユーザ２００の視野内では、映像表示システム１０から投影された画像７００の虚像３００が、自動車１００の前方に広がる実景に重ねて表示される。

図４を参照して、画像形成部２１及び表示部２０について詳しく説明する。

画像形成部２１は、図４に示すように、描画部２４と、補正部２５と、を備えている。描画部２４は、表示部２０に表示される画像７００（図１参照）を描画する描画処理を実行する。描画部２４は、描画部本体２４１と、描画バッファ２４２と、を備えている。描画部本体２４１は、画像７００を形成し、描画バッファ２４２は、描画部本体２４１で描画された画像７００を一時的に保存して補正部２５に出力する。補正部２５は、描画部２４で描画された画像７００に各種の補正を行う補正処理を実行して、補正処理した画像７００を表示部２０に出力する。

本実施形態では、描画部本体２４１は、画像形成部２１が取得した上記のナビゲーション情報に基づいて、上述のように、交差点での進行方向を案内するための画像（矢印画像）７００を描画する。

また、描画部本体２４１は、ローパスフィルタ６からの第１姿勢信号に基づいて、本体部１の第１姿勢変化による虚像３００と実景とのずれを相殺するように、画像７００を補正する。この画像７００の補正処理（第１補正処理）は、画像７００の描画時に実行される。より詳細には、描画部本体２４１は、ローパスフィルタ６からの第１姿勢信号に基づいて、本体部１に第１姿勢変化が生じたと判定する。このように判定したとき、描画部本体２４１は、本体部１の第１姿勢変化による虚像３００と実景とのずれが相殺されるように画像７００を描画することで、画像７００を補正する。これにより、本体部１に第１姿勢変化が生じても、対象空間４００において、虚像３００が、ユーザ２００から見た実景における本来重畳すべき特定の位置（例えば交差点内で矢印が道路に沿って重なる位置）に位置に表示される。

このように、描画部本体２４１は、第１姿勢信号に基づいて、本体部１の第１姿勢変化に応じて、虚像３００の表示位置を補正する補正処理（第１補正処理）を画像７００に実行する。本実施形態では、描画部本体２４１（したがって描画部２４）が、本体部１の第１姿勢変化に応じて虚像３００の表示位置を補正する第１補正部４１として機能している。

より詳細には、描画部本体２４１は、画像７００を描画するときは、まず、対象空間４００に対応した３次元仮想空間内で、画像７００に対応した３次元画像を描画する。そして、描画部本体２４１は、描画した３次元画像を、３次元仮想空間内の所定の射影面に射影することで２次元画像に変換し、この２次元画像を画像７００とする。また、描画部本体２４１は、画像７００の描画時に画像を補正するときは、上記の３次元仮想空間内で上記の３次元画像を描画したときに、上記の３次元画像の位置及び／又は角度を補正することで、画像７００を補正する。

このように、本体部１の第１姿勢変化に対する虚像３００の表示位置の補正処理（すなわちリアルタイム性が要求されない補正処理）は、画像７００の描画時に実行される。これにより、画像７００を表示面２０ａに表示したときに、画像７００の一部が表示面２０ａの外に切れること（すなわち画像切れ）を抑制できる。すなわち、リアルタイム性よりも画像切れを低減することができる。この結果、画像７００の描画範囲が制限されることを低減できる。

補正部２５は、図４に示すように、映像補正部２５１と、出力バッファ２５２（バッファ）と、振動歪み補正部２５３（補正部本体）と、を備えている。

映像補正部２５１は、描画バッファ２４２から出力された画像（すなわち描画部２４で描画された画像）７００に色調補正処理を行う。色調補正処理とは、画像７００の各部（画素）の色を調整する補正処理である。より詳細には、映像補正部２５１は、描画部２４で描画された画像７００の各部の色を、定められた色となるように補正する。例えば、描画部２４で描画された画像７００において、白色と定められた部分に赤味がかっている場合は、その赤味がかかった部分を白色に補正する。映像補正部２５１は、色調補正した画像７００を出力バッファ２５２に出力する。

出力バッファ２５２は、映像補正部２５１から出力された画像７００を一時的に保存して振動歪み補正部２５３に出力する。

振動歪み補正部２５３は、出力バッファ２５２から出力された画像（すなわち描画部２４で描画された画像）７００に、振動補正処理（第２補正処理）及び歪み補正処理を実行する。振動歪み補正部２５３は、補正した画像７００を表示部２０に出力する。

振動補正処理（第２補正処理）では、振動歪み補正部２５３は、ハイパスフィルタ７からの第２姿勢信号に基づいて、本体部１の第２姿勢変化による虚像３００と実景とのずれを相殺するように、出力バッファ２５２から出力された画像７００を補正する。より詳細には、振動歪み補正部２５３は、ハイパスフィルタ７からの第２姿勢信号に基づいて、本体部１に振動（すなわち第２姿勢変化）が生じたと判定する。このように判定したとき、振動歪み補正部２５３は、本体部１の振動による虚像３００と実景とのずれを相殺するように、出力バッファ２５２から出力された画像７００を補正する。この補正処理では、画像７００が表示面２０ａに表示されたとき、画像７００が所定方向（本体部１の振動による虚像３００と実景とのずれを相殺する方向）にずれて表示されるように、画像７００を補正する。このように、振動歪み補正部２５３は、第２姿勢信号に基づいて、虚像３００の表示位置を補正する補正処理（第２補正処理）を画像７００に実行する。本実施形態では、振動歪み補正部２５３（したがって補正部２５）が、本体部１の第２姿勢変化に応じて虚像３００の表示位置を補正する第２補正部４２として機能している。

この振動補正処理により、本体部１に第２姿勢変化が生じても、対象空間４００において、虚像３００が、ユーザ２００から見た実景における本来重畳すべき特定の位置（例えば交差点内で矢印が道路に沿って重なる位置）に表示される。このように、補正部２５は、本体部１の第２姿勢変化に応じて虚像３００の表示位置を補正する第２補正部４２としても機能している。

歪み補正処理では、振動歪み補正部２５３は、ウインドシールド１０１及び投影部３での反射で虚像３００に生じる歪みが無くなるように、出力バッファ２５２から出力された画像７００を補正する。本実施形態では、歪み補正処理は、振動補正処理の後に実行される。すなわち、振動補正処理及び歪み補正処理は、この順で連続して行われる。

このように、本体部１の第２姿勢変化に対する虚像３００の表示位置の補正処理（すなわちリアルタイム性が要求される補正処理）は、出力バッファ２５２の後段かつ表示部２０の前段（すなわち画像形成過程の最終段）で実行される。これにより、表示部２０での表示遅延を低減して、本体部１の第２姿勢変化に対する虚像３００の表示位置の補正処理を実行することができる。

画像形成部２１の画像形成処理は、画像７００の形成に際して順次実行される複数のステップを含む。複数のステップの各々は、描画部本体２４１、描画バッファ２４２、映像補正部２５１、出力バッファ２５２、及び振動歪み補正部２５３の各々の処理に対応している。第１補正部４１及び第２補正部４２は、上記の複数のステップのうちの異なるステップ（描画部本体２４１の処理に対応するステップ、振動歪み補正部２５３の処理に対応するステップ）で第１補正処理及び第２補正処理を実行している。つまり、第１補正部４１は、描画部本体２４１の処理に対応するステップで第１補正処理を実行する。第２補正部４２は、振動歪み補正部２５３の処理に対応するステップで第２補正処理を実行する。このように、第１補正処理及び第２補正処理が、異なるステップで実行されることで、第１補正処理及び第２補正処理をそれらの特性（例えばリアルタイム性の有無）に合わせた処理段階で実行することができる。

描画部２４及び補正部２５はそれぞれ、例えば、ＣＰＵ（Central Processing Unit）
及びメモリを主構成とするマイクロコンピュータにて構成されている。言い換えれば、描画部２４及び補正部２５はそれぞれ、ＣＰＵ及びメモリを有するコンピュータにて実現されており、ＣＰＵがメモリに格納されているプログラムを実行することにより、コンピュータ（プロセッサ）が描画部２４又は補正部２５として機能する。描画部２４のプログラムは描画部２４のメモリに予め記録され、補正部２５のプログラムは補正部２５のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的記録媒体に記録されて提供されてもよい。

表示部２０は、図４に示すように、液晶パネル２０１、光源装置２０２、及び表示制御部２０３を有している。液晶パネル２０１は、画像形成部２１で形成された画像７００を表示する。光源装置２０２は、液晶パネル２０１に表示された画像７００を表す光を液晶パネル２０１の前方に照らし出す。表示制御部２０３は、液晶パネル２０１及び光源装置２０２を制御する。

液晶パネル２０１は、例えばＬＣＤ（Liquid Crystal Display）である。液晶パネル２０１は、光源装置２０２の前方に配置されている。液晶パネル２０１の前面（すなわち光源装置２０２とは反対側の表面）が、表示面２０ａを構成する。表示面２０ａに画像７００が表示される。

光源装置２０２は、液晶パネル２０１のバックライトとして用いられる。光源装置２０２の出力光は、液晶パネル２０１を透過して表示面２０ａから出力される。光源装置２０２は、発光ダイオード又はレーザダイオード等の固体発光素子を用いて、液晶パネル２０１の背面の略全域に光を照射する面光源である。

表示制御部２０３は、画像形成部２１から表示部２０に出力された画像７００に基づいて、液晶パネル２０１を駆動することで、表示面２０ａに画像７００を表示させる。また、表示制御部２０３は、光源装置２０２を点灯させて、液晶パネル２０１に表示された画像７００を液晶パネル２０１の前方に照らし出す。このとき液晶パネル２０１の前方に照らし出された光は、液晶パネル２０１に表示された画像７００を反映した光である。したがって、液晶パネル２０１に表示された画像は、光源装置２０２の出力光によって、液晶パネル２０１の前方に投影される。

表示制御部２０３は、例えば、ＣＰＵ（Central Processing Unit）及びメモリを主構
成とするマイクロコンピュータ（プロセッサ）にて構成されている。言い換えれば、表示制御部２０３は、ＣＰＵ及びメモリを有するコンピュータにて実現されており、ＣＰＵがメモリに格納されているプログラムを実行することにより、コンピュータが表示制御部２０３として機能する。プログラムは、表示制御部２０３のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的記録媒体に記録されて提供されてもよい。

このように構成された映像表示システム１０によれば、本体部１の姿勢変化に応じて対象空間４００での虚像３００の表示位置を補正するときに、虚像３００に対応する画像７００の表示遅延を低減し、かつ画像７００の描画範囲の制限を低減することができる。より詳細には、本体部１の姿勢変化に応じて対象空間４００での虚像３００の表示位置を補正するとき、その補正処理は、本体部１の第１姿勢変化に対する第１補正処理と、本体部１の第２姿勢変化に対する第２補正処理とに分けて実行される。このため、リアルタイム性が要求される第２補正処理は、第２補正処理による表示遅延を低減可能な処理段階で実行でき、リアルタイム性が要求されない第１補正処理は、第１補正処理による描画範囲の制限を低減可能な別の処理段階で実行することができる。

（３）描画部の補正処理（すなわち第１補正部の補正処理）の詳細
図５Ａ〜図６Ｂを参照して、描画部２４の補正処理（すなわち第１補正部４１の補正処理）について詳しく説明する。

まず、描画部２４による画像７００の描画方法について説明する。描画部２４では、描画部本体２４１が画像７００を描画する。描画部本体２４１は、図５Ａに示すように、画像７００を描画するための３次元仮想空間７０を有している。３次元仮想空間７０は、描画部本体２４１に備えられた所定の記憶装置内に設定されている。

３次元仮想空間７０は、対象空間４００に対応している。３次元仮想空間７０には、仮想的な光軸７１、射影面７２、仮想的な路面７４、既定位置７５が設定されている。仮想的な光軸７１、射影面７２、仮想的な路面７４、及び既定位置７５はそれぞれ、対象空間４００での光軸５００、仮想面５０１、路面６００、及び既定位置４０１に対応している。したがって、射影面７２は、仮想的な光軸７１に実質的に直交している。

描画部本体２４１は、図５Ａに示すように、まず、３次元仮想空間７０内で、画像７００に対する３次元画像７３を描画する。その際、３次元画像７３は、３次元仮想空間７０内の既定位置７５に位置され、かつ仮想的な路面７４と所定の配置関係（例えば平行になる関係）を保つように配置される。そして、描画部本体２４１は、描画した３次元画像７３を、３次元仮想空間７０内の射影面７２に射影することで、２次元画像に変換する。この２次元画像が画像７００になる。

このように描画された画像７００の虚像３００は、図５Ｂに示すように、自動車１００の姿勢変化が無ければ、対象空間４００の既定位置４０１（すなわち交差点内で矢印が道路に沿って重なる位置）に表示される。

そして、本体部１に第１姿勢変化が生じると、ユーザ２００の視線が例えば上に上がり、ユーザ２００から見た実景が相対的に下に移動する。この結果、対象空間４００内において、虚像３００が、交差点よりも上がった位置に表示される（図６Ｂの３００Ｘ参照）。

このように、本体部１に第１姿勢変化が生じた場合、描画部本体２４１は、本体部１の第１姿勢変化による虚像３００と実景とずれを相殺するように画像７００を描画することで、虚像３００の表示位置を補正する。より詳細には、描画部本体２４１は、３次元仮想空間７０内で３次元画像７３を描画するとき、本体部１の第１姿勢変化による虚像３００と実景とのずれを相殺するように、３次元画像を既定位置７５から例えば下方にずれた位置７６に描画する（図６Ａ参照）。なお、図６Ａでは、補正前の３次元画像７３には、参照符号に「Ｘ」を付し、補正後の３次元画像７３には、参照符号に「Ｙ」を付している。

そして、描画部本体２４１は、描画した（補正後の）３次元画像７３Ｙを、３次元仮想空間７０内の射影面７２に射影して、２次元画像に変換する。この２次元画像が、補正された画像７００になる。このように補正された画像７００の虚像３００Ｙは、図６Ｂに示すように、対象空間４００内の既定位置４０１から例えば下方にずれた位置（交差点内で矢印が道路に沿って重なる位置）に表示される。なお、図６Ｂでは、補正前の虚像３００には、参照符号に「Ｘ」を付し、補正後の虚像３００には、参照符号に「Ｙ」を付している。

（４）振動歪み補正部の補正処理（すなわち第２補正部の補正処理）の詳細
図７及び図８を参照して、振動歪み補正部２５３の補正処理（すなわち第２補正部４２の補正処理）について詳しく説明する。

なお、図７では、振動補正処理及び歪み補正処理が実行される前の画像７００及び画像７００中の矢印部分７１０には、参照符号にＸが付されている。また、振動補正処理及び歪み補正処理が実行された後の画像７００及び画像７００中の矢印部分７１０には、参照符号にＹが付されている。

振動歪み補正部２５３は、出力バッファ２５２から出力された画像７００に対し、振動補正処理を実行した後、歪み補正処理を実行する。振動補正処理及び歪み補正処理は、この順で連続して実行される。振動補正処理では、本体部１の第２姿勢変化による虚像３００と実景とのずれが補正される。歪み補正処理では、ウインドシールド１０１及び投影部３での反射による虚像３００の歪みが補正される。

振動歪み補正部２５３は、図７に示すように、描画バッファ８０と、ラインバッファ８１と、を有している。

描画バッファ８０は、出力バッファ２５２から出力された画像７００を一時的に保存する。描画バッファ８０は、描画バッファ８０から画像７００を読み出すときの読出開始位置Ｐ１を変更可能である。例えば、読出開始位置Ｐ１を画像７００の左上角部（基準位置）に設定すると、描画バッファ８０からは、画像７００の左上角部を基準にして１画面分の画像が読み出される。この場合、読み出された画像７００は、構図がずれないで読み出される。

一方、読出開始位置Ｐ１が画像７００の左上角部よりも上にずれた位置Ｐ１ａに変更されると、描画バッファ８０からは、読出開始位置Ｐ１ａを基準にして一画面分の画像が読み出される。この場合、読み出された画像７００は、読出開始位置Ｐ１ａが上方にずれた分、構図が下方にずれた画像になる。この結果、画像７００Ｙが表示面２０ａに表示されると、画像７００Ｙ中の矢印部分７１０が下方にずれて表示される。逆に、読出開始位置Ｐ１が画像７００の左上角部よりも下にずれた位置に設定されると、画像７００が表示面２０ａに表示されたとき、画像７００Ｙ中の矢印部分７１０Ｙが上方にずれて表示される。

描画バッファ８０から画像７００が読み出されるときは、画像７００は、数行分の画像領域である小領域画像７０１毎に読み出される。ここで、小領域画像７０１の集まりが、一画面分の画像７００を構成する。

ラインバッファ８１は、数行分の画像領域である小領域画像７０１を保存可能な記憶装置である。ラインバッファ８１は、描画バッファ８０から読み出された小領域画像７０１を一時的に保存し、歪み補正処理の後、小領域画像７０１のうちの１行分の画像ずつ表示制御部２０３に出力する。

振動歪み補正部２５３は、出力バッファ２５２から出力された画像７００Ｘを、描画バッファ８０に一時的に保存する。そして、振動歪み補正部２５３は、描画バッファ８０に保存された画像７００Ｘを、指定された読出開始位置Ｐ１から小領域画像７０１ずつ読み出し、読み出した小領域画像７０１をラインバッファ８１に一時的に保存する。そして、振動歪み補正部２５３は、ラインバッファ８１に保存された小領域画像７０１に歪み補正処理を実行して、ラインバッファ８１から、小領域画像７０１を構成する複数行の画像を１行分の画像ずつ読み出して、表示部２０に出力する。そして、表示部２０に、振動補正処理及び歪み補正処理された画像７００Ｙが表示される。

その際、振動歪み補正部２５３は、振動センサ５からの第２姿勢信号に基づいて、本体部１の第２姿勢変化のピッチ角を検出し、このピッチ角による虚像３００と実景とのずれを相殺するように、読出開始位置Ｐ１を変化させる。例えば、ピッチ角が本体部１を後傾姿勢にする場合は、虚像３００が対象空間４００内の既定位置４０１よりも下方に表示されるように読出開始位置Ｐ１を画像７００の左上角部よりも上方の位置Ｐ１ａに変更する。この読出開始位置Ｐ１ａから画像７００が読み出されることで、振動補正処理が実行されている。すなわち、補正後の画像７００Ｙが表示部２０に表示されたとき、画像７００Ｙ中の矢印部分７１０Ｙの表示位置は、補正前の画像７００Ｘ中の矢印部分７１０Ｘの表示位置よりも下方に補正される。これにより、本体部１の振動による虚像３００と実景とのずれが補正される。

なお、読出開始位置Ｐ１が画像７００の左上角部からずれた位置に変更されると、画像７００の構図がずれるため、画像７００において画像が無い部分７００ｓが生じるが、その画像無し部分７００ｓは、例えば黒色画像として表示してもよい。また、歪み補正処理により画像が無い部分が生じる場合があるが、この場合の画像無し部分７００ｔも、例えば黒色画像として表示してもよい。

このように、振動歪み補正処理は、出力バッファ２５２の後段で表示部２０の前段で実行される。このため、表示部２０での表示遅延を抑制できる。また、画像７００に歪み補正処理を行うときに、画像７００は、描画バッファ８０からラインバッファ８１に小領域画像７０１ずつ読み出されて、小領域画像７０１ずつ歪み補正処理が行われて、表示部２０に出力される。このため、ラインバッファ８１から表示部２０への画像出力の遅延を更に抑制でき、この結果、表示部２０での表示遅延を更に抑制できる。

なお、上記の振動補正処理では、画像７００の表示位置を補正するときの補正量（ずれ量）Ｈ１は、本体部１の第２姿勢変化の変化量（ピッチ角）α１の大きさに対して、非線形であってもよい。この場合は、補正量Ｈ１は、図８に示すように、変化量α１の大きさに応じて変化する。例えば、変化量α１が所定値未満のとき（すなわち変化量α１が比較的小さいとき）は、補正量Ｈ１を比較的小さく又はゼロ（実質的にゼロ）にし、変化量α１が所定値以上のときは、補正量Ｈ１を変化量α１に比例させてもよい。これにより、自動車１００のアイドリング時のように本体部１の第２姿勢変化の変化量α１が比較的小さいときは、振動補正処理を行わず、本体部１の第２姿勢変化の変化量α１がある程度大きいときだけ、振動補正処理を行うことができる。これにより、自動車１００のアイドリング時の小さな振動に対しては、虚像３００の表示位置を補正しないようにできる。なお、補正量Ｈ１を変化量α１に対して、常に線形に変化させてもよい。

上記の説明では、本体部１の第２姿勢変化は、自動車１００のピッチ方向の変化であったが、自動車１００のヨー方向の変化でもよい。この場合は、読出開始位置Ｐ１は、自動車１００のヨー角に応じて左右に変動される。そして、画像７００を表示部２０に表示したとき、画像７００中の矢印部分７１０の表示位置が、補正前の画像７００中の矢印部分７１０よりも左右方向にずれた位置に補正される。また、本体部１の第２姿勢変化は、ロール方向の変化であってもよい。この場合は、読出開始位置Ｐ１に対して、ロール角に応じて回転させるように画像７００が読み出される。そして、画像７００が表示部２０に表示されたとき、画像７００中の矢印部分７１０は、補正前の画像７００中の矢印部分７１０に対して回転した位置に補正される。なお、ヨー方向とは、自動車１００の上下方向の軸線周りの方向であり、ヨー角とは、ヨー方向の回転角である。ロール方向とは、自動車１００の前後方向の軸線周りの方向であり、ロール角とは、ロール方向の回転角である。

また、上記の説明では、歪み補正処理を小領域画像７０１毎に実行したが、画像７００毎に実行してもよい。この場合は、ラインバッファ８１を、１画面分の画像を一時的に保存可能な描画バッファに変更し、その描画バッファ上で歪み補正処理が実行される。

（５）変形例
上記の実施形態は、本開示の様々な実施形態の一つに過ぎない。上記の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。さらに、上記の実施形態に係る態様は、単体の映像表示システムで具現化されることに限らない。例えば、映像表示システム１０を備える移動体、映像表示システム１０を用いた映像表示方法で、上記の実施形態に係る態様が具現化されてもよい。また、上記の映像表示方法をコンピュータに実行させるためのプログラム、このプログラムを記憶した非一時的記憶媒体等で、上記の実施形態に係る態様が具現化されてもよい。以下に説明する変形例は、適宜組み合わせて適用可能である。

上記の実施形態では、１つの振動センサ５で、本体部１の第１姿勢変化及び第２姿勢変化の両方を検出し、２つのフィルタ６，７で、検出した第１姿勢変化及び第２姿勢変化を別々の姿勢信号に分離して出力したが、このように限定されない。例えば、振動センサ５を、第１振動センサ（第１検出部）と第２振動センサ（第２検出部）との２つのセンサに分けて設けてもよい。第１振動センサは、本体部１の第１姿勢変化を検出し、検出した第１姿勢変化を第１姿勢信号として出力する。第２振動センサは、本体部１の第２姿勢変化を検出し、検出した第２姿勢変化を第２姿勢信号として出力する。この場合は、ローパスフィルタ６及びハイパスフィルタ７は省略される。

また、投影部３は、少なくとも光学素子を有していればよく、第１ミラー３１及び第２ミラー３２の２つのミラーを有することは必須でなく、ミラーを１つのみ、又は３つ以上有していてもよい。さらに、投影部３は、例えばレンズ等、ミラー以外の光学部品を有していてもよい。

また、映像表示システム１０は、自動車１００の進行方向の前方に設定された対象空間４００に虚像３００を投影する構成に限らず、例えば、自動車１００の進行方向の側方、後方、又は上方等に虚像３００を投影してもよい。

また、映像表示システム１０は、自動車１００に用いられるヘッドアップディスプレイに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車１００以外の移動体本体にも適用可能である。さらに、映像表示システム１０は、移動体に限らず、例えば、アミューズメント施設で用いられてもよい。また、映像表示システム１０は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。また、映像表示システム１０は、例えば、電子ビューファインダ等として、デジタルカメラ等の機器に組み込まれて使用されてもよい。

また、本実施形態では、描画部２４、補正部２５及び表示制御部２０３は、互いに異なるＣＰＵ及びメモリで構成されるが、１つのＣＰＵ及び１つのメモリを、描画部２４、補正部２５及び表示制御部２０３で共用してもよい。また、１つのＣＰＵ及び１つのメモリを、描画部２４、補正部２５及び表示制御部２０３のうちの何れか２つで共有してもよい。

また、描画部２４は、ＣＰＵで構成される代わりに、ＧＰＵ（Graphics Processing Unit）で構成されてもよい。また、補正部２５は、ＣＰＵで構成される代わりに、ＦＰＧＡ（field-programmablegate array）で構成されてもよい。

また、本実施形態では、振動歪み補正部２５３（したがって補正部２５）は、本体部１の第２姿勢変化に対する補正処理を実行する補正部として用いられたが、このように限定されない。例えば、振動歪み補正部２５３は、本体部１の姿勢変化（すなわち第１姿勢変化及び第２姿勢変化に分けられていない姿勢変化）に対する補正処理を実行する補正部として用いられてもよい。

また、上記の実施形態では、表示部２０は、液晶パネル２０１を備えた構成であったが、このような構成に限定されない。表示部２０は、図９に示すように、表示部２０の表示面２０ａの背面（すなわち背後）からレーザ光を走査して画像７００を形成するように構成されてもよい。

より詳細には、表示部２０は、拡散透過型のスクリーン９０と、スクリーン９０に対してスクリーン９０の背後から光を照射する照射部９１と、を有している。照射部９１は、走査型の光照射部であって、スクリーン９０に対して光Ｋ１を照射する。これにより、スクリーン９０の前面又は背面（ここでは前面）からなる表示面２０ａには、照射部９１からの光Ｋ１によって画像７００が描画され、スクリーン９０を透過する光Ｋ１により、対象空間４００に虚像３００（図２参照）が形成される。

照射部９１は、光（例えばレーザ光）Ｋ１を出力する光源９１１と、光源９１１からの光Ｋ１を走査する走査部９１２と、レンズ９１３と、を有している。光源９１１は、光Ｋ１を出力するレーザモジュールからなる。走査部９１２は、光源９１１からの光Ｋ１を反射してレンズ９１３を介してスクリーン９０に照射する。その際、走査部９１２は、光Ｋ１の反射方向を変化させることで、スクリーン９０の表示面２０ａに照射される光を表示面２０ａ上で走査する。ここで、走査部９１２は、表示面２０ａの縦方向及び横方向に対し、二次元的に光Ｋ１を走査する、ラスタスキャン（Raster Scan)を行う。つまり、走査部９１２は、表示面２０ａに形成される輝点を走査することで、表示面２０ａに二次元の画像（例えば画像７００）を形成する。輝点は、光Ｋ１がスクリーン９０の表示面２０ａで交わる点である。走査部９１２は、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）技術を用いた微小な走査ミラーを有している。つまり、走査部９１２は、光Ｋ１を反射する光学素子（ミラー部）を含み、光学素子を回転させることで、光源９１１からの光Ｋ１を、光学素子の回転角度（振れ角）に応じた向きに反射する。これにより、走査部９１２は、光源９１１からの光Ｋ１を走査する。この走査部９１２は、光学素子を、互いに直交する２軸を中心に回転させることで、二次元的に光Ｋ１を走査するラスタスキャンを実現する。

（まとめ）
第１の態様に係る画像形成システムは、画像を形成する画像形成部（２１）を備えた画像形成システムである。画像形成システムは、第１補正部（４１）と、第２補正部（４２）と、を有する。第１補正部（４１）は、画像形成部（２１）で形成された画像（７００）を表示する表示部（２０）が設けられると共に表示部（２０）の出力光を投光することで画像（７００）に対応する虚像（３００）を対象空間（４００）に形成する投影部（３）が設けられた本体部（１）の姿勢変化である第１姿勢変化を表す第１姿勢信号に基づいて、対象空間（４００）での虚像（３００）の表示位置を補正する第１補正処理を実行する。第２補正部（４２）は、本体部（１）の姿勢変化であって第１姿勢変化よりも変化速度の速い第２姿勢変化を表す第２姿勢信号に基づいて、対象空間（４００）での虚像（３００）の表示位置を補正する第２補正処理を、第１補正部（４１）による第１補正処理の実行タイミングとは異なるタイミングで実行する。

この構成によれば、本体部（１）の姿勢変化に応じて対象空間（４００）での虚像（３００）の表示位置を補正するときに、虚像（３００）に対応する画像（７００）の表示遅延を低減し、かつ画像（７００）の描画範囲の制限を低減することができる。より詳細には、本体部（１）の姿勢変化に応じて対象空間（４００）での虚像（３００）の表示位置を補正するとき、その補正処理は、第１補正処理と、第２補正処理とに分けて実行される。第１補正処理は、本体部（１）の姿勢変化である第１姿勢変化に対する補正処理であり、第２補正処理は、本体部（１）の姿勢変化であって第１姿勢変化よりも変化速度の速い第２姿勢変化に対する補正処理である。第２補正処理は、第１補正部（４１）による第１補正処理の実行タイミングとは異なるタイミングで実行される。このため、リアルタイム性が要求される第２補正処理は、第２補正処理による表示遅延を低減可能な処理で実行できる。また、リアルタイム性が要求されない第１補正処理は、第１補正処理による描画範囲の制限を低減可能な別の処理で実行することができる。

第２の態様に係る画像形成システムでは、第１の態様において、第２補正部（４２）は、画像（７００）に第２補正処理とは別の歪み補正処理を更に実行する。

この構成によれば、第２補正部（４２）は、歪み補正処理を行う補正部と兼用することができる。これにより、第２補正処理と歪み補正処理とを一緒に行うことができ、処理効率を向上することができる。

第３の態様に係る画像形成システムでは、第１又は第２の態様において、第２補正部（４２）は、バッファ（２５２）と、補正部本体（２５３）と、を備える。バッファ（２５２）は、画像（７００）を保存する。補正部本体（２５３）は、バッファ（２５２）で保存された画像（７００）に第２補正処理を実行し、第２補正処理を実行した画像（７００）を表示部（２０）に出力する。

この構成によれば、バッファ（２５２）の後段かつ表示部（２０）の前段で第２補正処理が行われる。このため、第２補正処理による表示部（２０）の表示遅延をより一層低減することができる。

第４の態様に係る画像形成システムは、第２の態様において、前記歪み補正処理は、前記第２補正処理の後に実行される。

第５の態様に係る画像形成システムでは、第３の態様において、補正部本体（２５３）は、描画バッファ（８０）と、ラインバッファ（８１）と、を備えている。描画バッファ（８０）は、１画面分のサイズを有しバッファ（２５２）から出力された画像（７００）を保存する。ラインバッファ（８１）は、描画バッファ（８０）から読み出された画像を保存する。描画バッファ（８０）は、保存した画像（７００）を読み出すとき、読出開始位置（Ｐ１）を基準にした１画面分の画像を小領域画像（７０１）ずつ読み出し、小領域画像（７０１）の集まりが、上記１画面分の画像を規定する。ラインバッファ（８１）は、描画バッファ（８０）から読み出された小領域画像（７０１）を記憶し、歪み補正処理した後に１行分ずつ表示部（２０）に出力する。描画バッファ（８０）は、第２姿勢信号に基づいて本体部（１）の第２姿勢変化を検出し、検出した第２姿勢変化による虚像（３００）と実景とのずれを相殺するように読出開始位置（Ｐ１）を変化させることで、第２補正処理を実行する。
第６の態様に係る画像形成システムでは、第１〜５のいずれか１つの態様において、画像形成部（２１）は、描画部本体（２４１）を備えている。描画部本体（２４１）は、画像（７００）を形成し、第１姿勢信号に基づいて本体部（１）の第１姿勢変化による虚像（３００）と実景とのずれを相殺するように、画像（７００）を補正する。描画部本体（２４１）は、第１補正部（４１）として機能する。
第７の態様に係る画像形成システムでは、第６の態様において、描画部本体（２４１）は、対象空間（４００）に対応する３次元仮想空間（７０）が設定された記憶装置を有する。描画部本体（２４１）は、３次元仮想空間（７０）内で画像（７００）に対応する３次元画像（７３）を描画し、描画した画像（７３）を３次元仮想空間（７０）内の所定の射影面（７２）に射影することで画像（７００）を形成する。描画部本体（２４１）は、本体部（１）に第１姿勢変化が生じた場合、本体部（１）の第１姿勢変化による虚像（３００）と実景とずれを相殺するように、３次元画像（７３）を描画することで、虚像（３００）の表示位置を補正する。
第８の態様に係る画像形成システムでは、第１〜７のいずれか１つの態様において、第２補正部（４２）は、第２補正処理において画像（７００）の表示位置を補正するときの補正量（Ｈ１）を決定するものである。補正量（Ｈ１）は、本体部（１）の第２姿勢変化の変化量（α１）の大きさに対して、非線形である。
第９の態様に係る画像形成システムでは、第８の態様において、第２補正部（４２）は、変化量（α１）が所定値未満のときは、補正量（Ｈ１）は実質的にゼロであり、変化量（α１）が所定値以上のときは、補正量（Ｈ１）は変化量（α１）に比例するように、補正量（Ｈ１）を決定する。
第１０の態様に係る画像形成システムでは、第８又は第９の態様において、変化量（α１）は、本体部（１）の第２姿勢変化のピッチ方向、ヨー方向、又はロール方向の変化である。
第１１の態様に係る画像形成システムは、第１〜１０のいずれか１つの態様の画像形成システムと、第１姿勢信号を出力する第１検出部と、第２姿勢信号を出力する第２検出部と、を備える。
この構成によれば、第１姿勢信号を出力する第１検出部（５，６）と、第２姿勢信号を出力する第２検出部（５，７）とを備えた画像形成示システムを提供することができる。
第１２の態様に係る画像形成示システムは、第１１の態様において、振動センサ（５）と、ローパスフィルタ（６）と、ハイパスフィルタ（７）と、を備えている。振動センサ（５）は、本体部（１）に加わる振動を検出する。ローパスフィルタ（６）は、振動センサ（５）から出力された信号のうち、第１周波数以上の周波数の信号成分は通過させず、第１周波数未満の周波数の信号成分を通過させる。ハイパスフィルタ（７）は、振動センサ（５）から出力された信号のうち、第２周波数未満の周波数の信号成分は通過させず、第２周波数以上の周波数の信号成分を通過させる。第１検出部（５，６）は、振動センサ（５）及びローパスフィルタ（６）によって構成されている。第２検出部（５，７）は、振動センサ（５）及びハイパスフィルタ（７）によって構成されている。
第１３の態様に係る画像表示システム（１０）は、第１〜１０のいずれか１つの態様の画像形成システムと、画像形成部（２１）で形成された画像（７００）を表示する表示部（２０）と、を備えている。

第１４の態様に係る移動体は、第１３の態様の画像表示システム（１０）と、表示部（２０）の出力光を投影することで画像（７００）に対応する虚像（３００）を対象空間（４００）に形成する投影部（３）とを有する画像表示システム（１０）を移動体本体（１００）に備える。

この構成によれば、上記の効果を奏する画像表示システムを移動体で実施することができる。

第１５の態様に係る画像形成方法は、画像を形成する画像形成処理を含む画像形成方法である。画像形成方法は、第１補正処理と、第２補正処理と、を含む。第１補正処理は、前記画像形成処理において形成された画像（７００）を表示する表示部（２０）が設けられると共に表示部（２０）の出力光を投影することで画像（７００）に対応する虚像（３００）を対象空間（４００）に形成する投影部（３）が設けられた本体部（１）の姿勢変化である第１姿勢変化を表す第１姿勢信号に基づいて、対象空間（４００）での虚像（３００）の表示位置を補正する。第２補正処理は、本体部（１）の姿勢変化であって第１姿勢信号よりも変化速度が速い第２姿勢変化を表す第２姿勢信号に基づいて、対象空間（４００）での虚像（３００）の表示位置を補正する。第１補正処理及び第２補正処理を、互いに異なるタイミングで実行する。

この方法によれば、本体部（１）の姿勢変化に応じて対象空間（４００）での虚像（３００）の表示位置を補正するときに、虚像（３００）に対応する画像（７００）の表示遅延を低減し、かつ画像（７００）の描画範囲の制限を低減することができる。より詳細には、本体部（１）の姿勢変化に応じて対象空間（４００）での虚像（３００）の表示位置を補正するとき、その補正処理は、第１補正処理と、第２補正処理とに分けて実行される。第１補正処理は、本体部（１）の姿勢変化である第１姿勢変化に対する補正処理である。第２補正処理は、本体部（１）の姿勢変化であって第１姿勢変化よりも変化速度の速い第２姿勢変化に対する補正処理である。第２補正処理は、第１補正部（４１）による第１補正処理の実行タイミングとは異なるタイミングで実行される。このため、リアルタイム性が要求される第２補正処理は、第２補正処理による表示遅延を低減可能な処理で実行し、リアルタイム性が要求されない第１補正処理は、第１補正処理による描画範囲の制限を低減可能な別の処理で実行することができる。

第１６の態様に係るプログラムは、コンピュータに、第１５の態様の画像形成方法を実行させる。

このプログラムによれば、汎用のコンピュータを用いた場合でも、本体部（１）の姿勢変化に応じて虚像（３００）の表示位置を補正するときに、画像（７００）の表示遅延を低減し、かつ画像（７００）の描画範囲の制限を低減することができる。

１ 本体部
３ 投影部
５ 振動センサ（第１センサ、第２センサ）
６ ローパスフィルタ
７ ハイパスフィルタ
１０ 映像表示システム
２０ 表示部
２１ 画像形成部
２４ 描画部
２５ 補正部
４１ 第１補正部
４２ 第２補正部
１００ 自動車（移動体本体）
２５２ 出力バッファ（バッファ）
２５３ 振動歪み補正部（補正部本体）
３００ 虚像
４００ 対象空間
７００ 画像

Claims (12)

1. 画像を形成する画像形成部を備えた画像形成システムであって、
   前記画像形成部は、
   前記画像形成部で形成された前記画像を表示する表示部が設けられると共に前記表示部の出力光を投影することで前記画像に対応する虚像を対象空間に形成する投影部が設けられた本体部の姿勢変化である第１姿勢変化を表す第１姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第１補正処理を実行する第１補正部と、
   前記本体部の姿勢変化であって前記第１姿勢変化よりも変化速度の速い第２姿勢変化を表す第２姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第２補正処理を、前記第１補正部による前記第１補正処理の実行タイミングよりも後のタイミングで実行し、当該第２補正処理を実行した前記画像を前記表示部に出力する第２補正部と、を有し、
   前記第１補正処理では、前記第１補正部は、前記第１姿勢信号に基づいて、前記画像を描画することで前記虚像の表示位置を補正し、
   前記第２補正処理では、前記第２補正部は、前記第２姿勢信号に基づいて、前記表示部の表示面における前記画像の表示位置をずらすことで前記虚像の表示位置を補正し、
   前記第２補正部は、前記画像に前記第２補正処理とは別の歪み補正処理を更に実行し、
   前記歪み補正処理は、前記第２補正処理の後に実行され、
   前記第２補正部は、
   前記画像を保存するバッファと、
   前記バッファで保存された前記画像に前記第２補正処理を実行し、前記第２補正処理を実行した画像を前記表示部に出力する補正部本体と、を備え、
   前記補正部本体は、
   １画面分のサイズを有し前記バッファから出力された前記画像を保存する描画バッファと、
   前記描画バッファから読み出された画像を保存するラインバッファと、を備え、
   前記描画バッファは、保存した前記画像を読み出すとき、読出開始位置を基準にした１画面分の画像を小領域画像ずつ読み出し、前記小領域画像の集まりが、前記１画面分の画像を規定し、
   前記ラインバッファは、前記描画バッファから読み出された前記小領域画像を記憶し、歪み補正処理した後に１行分ずつ前記表示部に出力し、
   前記描画バッファは、前記第２姿勢信号に基づいて前記本体部の前記第２姿勢変化を検出し、検出した前記第２姿勢変化による前記虚像と実景とのずれを相殺するように前記読出開始位置を変化させることで、前記第２補正処理を実行する、
   画像形成システム。
2. 前記画像形成部は、
   前記画像を形成し、前記第１姿勢信号に基づいて前記本体部の前記第１姿勢変化による前記虚像と実景とのずれを相殺するように、前記画像を補正する描画部本体を備え、
   前記描画部本体が前記第１補正部として機能する、
   請求項１に記載の画像形成システム。
3. 前記描画部本体は、前記対象空間に対応する３次元仮想空間が設定された記憶装置を有し、
   前記描画部本体は、
   前記３次元仮想空間内で、前記画像に対応する３次元画像を描画し、描画した３次元画像を前記３次元仮想空間内の所定の射影面に射影することで前記画像を形成し、
   前記本体部に前記第１姿勢変化が生じた場合、前記本体部の前記第１姿勢変化による前記虚像と実景とずれを相殺するように、前記３次元画像を描画することで、前記虚像の表示位置を補正する、
   請求項２に記載の画像形成システム。
4. 前記第２補正部は、前記第２補正処理において前記画像の表示位置を補正するときの補正量を決定するものであり、
   前記補正量は、前記本体部の前記第２姿勢変化の変化量の大きさに対して、非線形である、
   請求項１〜３のいずれか１項に記載の画像形成システム。
5. 前記第２補正部は、前記変化量が所定値未満のときは、前記補正量は実質的にゼロであり、前記変化量が所定値以上のときは、前記補正量は前記変化量に比例するように、前記補正量を決定する、
   請求項４に記載の画像形成システム。
6. 前記変化量は、前記本体部の前記第２姿勢変化のピッチ方向、ヨー方向、又はロール方向の変化である、
   請求項４又は５に記載の画像形成システム。
7. 請求項１〜６のいずれか１項に記載の画像形成システムと、
   前記第１姿勢信号を出力する第１検出部と、
   前記第２姿勢信号を出力する第２検出部と、を備える、
   画像補正システム。
8. 前記本体部に加わる振動を検出する振動センサと、
   前記振動センサから出力された信号のうち、第１周波数以上の周波数の信号成分は通過させず、前記第１周波数未満の周波数の信号成分を通過させるローパスフィルタと、
   前記振動センサから出力された信号のうち、第２周波数未満の周波数の信号成分は通過
   させず、第２周波数以上の周波数の信号成分を通過させるハイパスフィルタと、を備え、
   前記第１検出部は、前記振動センサ及び前記ローパスフィルタによって構成され、
   前記第２検出部は、前記振動センサ及び前記ハイパスフィルタによって構成されている、
   請求項７に記載の画像補正システム。
9. 請求項１〜６のいずれか１項に記載の画像形成システムと、
   前記画像形成部で形成された前記画像を表示する表示部と、を備えている、
   画像表示システム。
10. 請求項９に記載の画像表示システムと、
    前記表示部の出力光を投影することで前記画像に対応する虚像を対象空間に形成する投影部とを有する画像表示システムを移動体本体に備える
    移動体。
11. 画像を形成する画像形成処理を含む画像形成方法であって、
    前記画像形成処理は、
    前記画像形成処理において形成された前記画像を表示する表示部が設けられると共に前記表示部の出力光を投影することで前記画像に対応する虚像を対象空間に形成する投影部が設けられた本体部の姿勢変化である第１姿勢変化を表す第１姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第１補正処理と、
    前記本体部の姿勢変化であって前記第１姿勢変化よりも変化速度の速い第２姿勢変化を表す第２姿勢信号に基づいて、前記対象空間での前記虚像の表示位置を補正する第２補正処理と、を含み、
    前記第２補正処理は、前記第１補正処理の実行タイミングよりも後のタイミングで実行され、当該第２補正処理が実行された前記画像は前記表示部に出力され、
    前記第１補正処理では、前記第１姿勢信号に基づいて、前記画像を描画することで前記虚像の表示位置を補正し、
    前記第２補正処理では、前記第２姿勢信号に基づいて、前記表示部の表示面における前記画像の表示位置をずらすことで前記虚像の表示位置を補正し、
    前記画像に前記第２補正処理とは別の歪み補正処理が更に実行され、
    前記歪み補正処理は、前記第２補正処理の後に実行され、
    前記画像をバッファに保存し、前記バッファで保存された前記画像に前記第２補正処理を実行し、前記第２補正処理を実行した画像を前記表示部に出力する出力処理を含み
    前記出力処理は、
    １画面分のサイズを有する描画バッファに前記バッファから出力された前記画像を保存し、
    前記描画バッファから読み出された画像をラインバッファに保存し、
    前記描画バッファは、保存した前記画像を読み出すとき、読出開始位置を基準にした１画面分の画像を小領域画像ずつ読み出し、前記小領域画像の集まりが、前記１画面分の画像を規定し、
    前記ラインバッファは、前記描画バッファから読み出された前記小領域画像を記憶し、歪み補正処理した後に１行分ずつ前記表示部に出力し、
    前記描画バッファは、前記第２姿勢信号に基づいて前記本体部の前記第２姿勢変化を検出し、検出した前記第２姿勢変化による前記虚像と実景とのずれを相殺するように前記読出開始位置を変化させることで、前記第２補正処理を実行する、
    画像形成方法。
12. コンピュータに、
    請求項１１に記載の画像形成方法を実行させるためのプログラム。

Images