JP2024076738A - 画像表示装置、画像表示装置の制御方法 - Google Patents

Abstract

【課題】撮像から表示までの時間をより適切に制御する。【解決手段】画像表示装置は、撮像手段と、第１の表示モードでは、前記撮像手段により取得された第１の撮像画像と、前記第１の撮像画像よりも前の時点で前記撮像手段により取得された第２の撮像画像に基づく第１の画像とを合成した第２の画像を生成する合成手段と、前記第１の表示モードでは、前記第２の画像を表示し、第２の表示モードでは、前記第１の撮像画像に基づく第３の画像を表示する表示手段と、前記第１の表示モードと前記第２の表示モードとで、前記表示手段を制御する同期信号の基準を異ならせる処理手段と、を有する。【選択図】図１

Description

本発明は、画像表示装置、画像表示装置の制御方法に関する。

近年、リアルタイムかつシームレスに、現実世界と仮想世界とを融合させる技術として、複合現実感技術、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術には、例えば、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用したＭＲシステムがある。ＭＲシステムでは、ユーザの瞳位置から観察される被写体と略一致する被写体をＨＭＤ内蔵の撮像ユニットが撮像する。そして、その撮像による画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）が重畳された合成画像がユーザに提示されることによって、ユーザがＭＲ空間を体験することができる。

ＭＲシステムは、撮像画像およびセンサ情報などを用いた演算処理によって、ＨＭＤの位置姿勢を算出する。このとき、撮像ユニットおよび各センサは、可能な限り、互いに同期した状態で動作することが望ましい。また、撮像ユニットと表示ユニットが非同期で動作すると、撮像から表示までの遅延時間がフレーム毎に変動したり、撮像周期と表示周期の違いによってフレームの重複または欠落が生じたりするため、ユーザに違和感を与える原因となり得る。

特許文献１には、撮像部で撮像画像を取得した時におけるレンズユニットの光学特性に応じて、表示部に供給する表示画像信号の位相を制御する技術が開示されている。

特開２０１６－４０９０２号公報

ＭＲシステムでは、ＣＧ画像のレンダリングなどの高負荷処理を、コンピュータ装置に内蔵された高性能な外部装置（グラフィックボードなど）で行うことがある。特許文献１では、撮像部の動作周期に表示部の動作を同期させているが、それらの外部装置の動作周期を撮像部の動作周期に同期させることは困難である。また、特許文献１では、撮像画像に対する処理の時間の変動に合わせて、表示部へ供給する表示画像信号の位相が制御されるため、撮像から表示までの遅延時間がフレーム毎に変動してしまう。

そこで、本発明は、撮像から表示までの時間をより適切に制御する技術の提供を目的とする。

本発明の１つの態様は、
撮像手段と、
第１の表示モードでは、前記撮像手段により取得された第１の撮像画像と、前記第１の撮像画像よりも前の時点で前記撮像手段により取得された第２の撮像画像に基づく第１の画像とを合成した第２の画像を生成する合成手段と、
前記第１の表示モードでは、前記第２の画像を表示し、第２の表示モードでは、前記第１の撮像画像に基づく第３の画像を表示する表示手段と、
前記第１の表示モードと前記第２の表示モードとで、前記表示手段を制御する同期信号
の基準を異ならせる処理手段と、
を有することを特徴とする画像表示装置である。

本発明の１つの態様は、
撮像手段と表示手段を有する画像表示装置の制御方法であって、
第１の表示モードでは、前記撮像手段により取得された第１の撮像画像と、前記第１の撮像画像よりも前の時点で前記撮像手段により取得された第２の撮像画像に基づく第１の画像とを合成した第２の画像を生成する合成ステップと、
前記第１の表示モードでは、前記第２の画像を表示し、第２の表示モードでは、前記第１の撮像画像に基づく第３の画像を表示するように、前記表示手段を制御する表示制御ステップと、
前記第１の表示モードと前記第２の表示モードとで、前記表示手段を制御する同期信号の基準を異ならせる処理ステップと、
を有することを特徴とする画像表示装置の制御方法である。

本発明によれば、撮像から表示までの遅延を適切に制御することができる。

実施形態１に係るＭＲシステムの構成例を示す図である。 実施形態１に係る合成画像の生成を説明する図である。 実施形態１に係るＨＭＤと画像処理装置の機能構成例を説明する図である。 実施形態１に係る動作同期を説明する図である。 実施形態１に係る時間整合モードの概要を説明する図である。 実施形態１に係る遅延低減モードの概要を説明する図である。 実施形態１に係る時間整合モードの遅延時間制御を説明する図である。 実施形態１に係る時間整合モードの遅延時間制御を説明する図である。 実施形態１に係る遅延低減モードの遅延時間制御を説明する図である。 実施形態１に係る遅延低減モードの遅延時間制御を説明する図である。 実施形態１に係る処理部の処理を示すフローチャートである。 実施形態２に係るＭＲシステムの構成例を示す図である。 実施形態３に係る携帯端末の機能構成例である。 変形例１に係るＨＭＤと画像処理装置の構成例を示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜実施形態１＞
図１を参照して、実施形態１に係るＭＲシステムの構成例について説明する。図１に示すように、ＭＲシステムは、ＨＭＤ１０１、コントローラ１０２、コンピュータ装置１０３を有する。

ＨＭＤ１０１は、頭部に装着可能な表示装置（画像表示装置）である。ＨＭＤ１０１は、現実空間を撮像する撮像部を有する。ＨＭＤ１０１は、ＨＭＤ１０１の位置姿勢に関するセンサデータを取得するセンサを有する。ＨＭＤ１０１は、複合現実空間（現実空間と仮想空間とを融合した空間）の画像を表示する表示部を有する。

ＨＭＤ１０１は、複数のデバイスを同期させて制御可能な制御装置でもある。ＨＭＤ１０１は、撮像画像（現実空間を撮像した画像）と、センサデータとをコントローラ１０２に送信する。また、ＨＭＤ１０１は、複合現実空間の画像をコントローラ１０２から取得して、表示部に表示することもできる。これにより、ＨＭＤ１０１を頭部に装着したユーザの眼前には、複合現実空間の画像が提示される。

ＨＭＤ１０１は、コントローラ１０２から供給された電力により動作してもよいし、ＨＭＤ１０１に装着されたバッテリーから供給された電力により動作してもよい。つまり、ＨＭＤ１０１に電力を供給する方法は、特定の方法に限らない。

図１では、ＨＭＤ１０１とコントローラ１０２との間を有線により接続している。しかし、ＨＭＤ１０１とコントローラ１０２とは、無線により接続されていてもよいし、無線と有線との組み合わせにより接続されていてもよい。つまり、ＨＭＤ１０１とコントローラ１０２との間の接続は、任意の方法により実現されていてもよい。

コントローラ１０２は、ＨＭＤ１０１から送信された撮像画像に様々な画像処理（解像度変換、色空間変換、ＨＭＤ１０１が有する撮像部の光学系の歪み補正、および符号化などの少なくともいずれか）を施す。そして、コントローラ１０２は、画像処理を施した撮像画像と、ＨＭＤ１０１から送信されたセンサデータとをコンピュータ装置１０３に送信する。また、コントローラ１０２は、コンピュータ装置１０３から送信された複合現実空間の画像に画像処理を施す。コントローラ１０２は、画像処理を施した複合現実空間の画像をＨＭＤ１０１に送信する。

コンピュータ装置１０３は、コントローラ１０２から取得した撮像画像およびセンサデータに基づき、ＨＭＤ１０１の位置姿勢（ＨＭＤ１０１が有する撮像部の位置姿勢）を詳細に算出する。そして、コンピュータ装置１０３は、算出した位置姿勢のＨＭＤ１０１から見た仮想空間を表す画像を、仮想空間の画像として生成する。その後、コンピュータ装置１０３は、仮想空間の画像と撮像画像との合成画像（複合現実空間の画像）を生成する。コンピュータ装置１０３は、合成画像をコントローラ１０２に送信する。

図２を参照して、撮像画像と仮想空間の画像とを合成した合成画像を生成する処理について説明する。撮像画像２０１には、現実空間に人工的に配したマーカ２０２が写っている（含まれている）ものとする。なお、図２では、説明を簡単にするためにマーカの数を１としているが、実際には、撮像画像２０１には複数のマーカが含まれていてもよい。

コンピュータ装置１０３は、撮像画像２０１におけるマーカ２０２を抽出する。コンピュータ装置１０３は、マーカ２０２の位置姿勢、およびコントローラ１０２から取得したセンサデータに基づき、ＨＭＤ１０１の位置姿勢を算出する。そして、コンピュータ装置１０３は、算出した位置姿勢のＨＭＤ１０１から見た仮想空間を表す画像２０３（仮想空間の画像２０３）を生成する。仮想空間の画像２０３には、仮想物体２０４が含まれている。

その後、コンピュータ装置１０３は、撮像画像２０１と仮想空間の画像２０３とを合成することによって、合成画像である複合現実空間の画像２０５を生成する。コンピュータ装置１０３は、画像２０５をＨＭＤ１０１に送信する。なお、コンピュータ装置１０３は、合成の際に、３次元空間上の奥行きに関する情報または／および仮想物体の透明度に関する情報を利用してもよい。コンピュータ装置１０３は、これらの情報に基づき、現実物体と仮想物体との前後関係を考慮した合成画像、または半透明状態の仮想物体を合成した合成画像を生成してもよい。なお、後述するが、ＭＲシステム（ＨＭＤ１０１）に設定さ
れた表示モードによっては、ＨＭＤ１０１が撮像画像と仮想空間の画像とを合成する処理を実行してもよい。

図１では、コンピュータ装置１０３とコントローラ１０２とを別個の装置としているが、コンピュータ装置１０３とコントローラ１０２とを一体化させてもよい。実施形態１では、コンピュータ装置１０３とコントローラ１０２が一体化している形態について説明する。以下では、コンピュータ装置１０３とコントローラ１０２とを一体化させた装置である「画像処理装置１０４」について説明する。

なお、ＨＭＤ１０１の撮像部では、様々な要因（画素数、画質、ノイズ、センササイズ、消費電力、コストなど）を鑑み、ローリングシャッター方式の撮像素子とグローバルシャッター方式の撮像素子を使い分けて使用してもよい。また、ＨＭＤ１０１の撮像部では、用途に応じてそれらの撮像素子を組み合わせて使用することができる。例えば、仮想空間の画像と合成する撮像画像の撮像には、より高画質な画像が取得可能なローリングシャッター方式の撮像素子を用いてもよい。一方、マーカの撮像には、「像流れ」のないグローバルシャッター方式の撮像素子を用いてもよい。なお、「像流れ」とは、走査方向のライン毎に露光処理が順次開始されるローリングシャッター方式の動作原理に起因して発生する現象である。具体的には、「像流れ」とは、各ラインの露光のタイミングに時間的なズレが生じることにより、露光時間中に撮像部や被写体が動いた際に被写体が流れるように変形して記録される現象として知られている。グローバルシャッター方式では、全ライン同時に露光処理が行われるため、各ラインの露光タイミングに時間的なズレが生じず、「像流れ」は発生しない。

次に、図３のブロック図を用いて、ＨＭＤ１０１および画像処理装置１０４のそれぞれの機能構成例について説明する。

（ＨＭＤについて）
ＨＭＤ１０１は、撮像装置３００、姿勢センサ３０３、表示部３０４、制御部３０５、生成部３０６、処理部３０７、処理部３０８、インターフェース３０９を有する。

なお、以下では、撮像画像に対する画像処理を「撮像画像処理」と呼ぶ。また、仮想空間の画像または合成画像（仮想空間の画像と撮像画像とを合成した画像）に対する画像処理を「表示画像処理」と呼ぶ。画像処理は、例えば、解像度変換、色空間変換、光学系の歪み補正、および符号化などの少なくともいずれかの処理である。

撮像装置３００は、撮像部３０１と撮像部３０２を有する。撮像部３０１は、現実空間を撮像することによって、撮像画像を取得する。撮像部３０１は、左眼用の撮像素子と右眼用の撮像素子とを有する。左眼用の撮像素子は、ＨＭＤ１０１のユーザの左眼に対応する現実空間の動画像を撮像する。左眼用の撮像素子は、撮像した動画像における各フレームの画像（撮像画像）を出力する。右眼用の撮像素子は、ＨＭＤ１０１のユーザの右眼に対応する現実空間の動画像を撮像する。右眼用の撮像素子は、撮像した動画像における各フレームの画像（撮像画像）を出力する。つまり、撮像部３０１は、視差（ＨＭＤ１０１のユーザの左眼および右眼のそれぞれの位置と略一致した視差）を有するステレオ画像を撮像画像として取得する。なお、ＭＲシステム用のＨＭＤにおいて、撮像部３０１の撮像範囲の中心光軸が、ＨＭＤのユーザの視線方向に略一致するように配置されることが好ましい。

左眼用の撮像素子および右眼用の撮像素子のそれぞれは、光学系と撮像デバイスとを有する。外界から入射する光は、光学系を介して撮像デバイスに進む。撮像デバイスは、入射した光に応じた画像を、撮像画像として出力する。撮像部３０１の撮像デバイスとして
は、「ローリングシャッター方式」の撮像素子が使用できる。撮像部３０１が有する複数の撮像素子は、生成部３０６から同期信号（同期指示；同期信号のパルス）を取得するたびに露光を開始し、１フレーム分の露光時間が経過すると露光を終了する。撮像部３０１は、露光終了後に撮像画像を出力するとともに、撮像画像の出力開始タイミング（画像出力タイミング）を示す同期信号を出力する。

撮像部３０２は、例えば、撮像装置３００（ＨＭＤ１０１）の位置姿勢の取得に用いる現実空間の画像を撮像するための複数の撮像素子（左眼用の撮像素子および右眼用の撮像素子などを含む）を有する。撮像部３０２は、視差を有するステレオ画像を撮像画像として取得する。複数の撮像素子のそれぞれは、現実空間の動画像を撮像して、動画像における各フレームの画像（撮像画像）を出力する。撮像部３０２が有するそれぞれの撮像素子は、光学系と撮像デバイスとを有する。外界から入射した光は光学系を介して撮像デバイスに入射する。撮像デバイスは、入射した光に応じた画像を撮像画像として出力する。撮像部３０２の撮像デバイスとしては、「グローバルシャッター方式」の撮像素子が使用できる。撮像部３０２が有する複数の撮像素子は、生成部３０６から同期信号（同期指示；同期信号のパルス）を取得するたびに露光を開始し、１フレーム分の露光時間が経過すると露光を終了する。撮像部３０２は、露光終了後に撮像画像を出力するとともに、撮像画像の出力開始タイミング（画像出力タイミング）を示す同期信号も出力する。

また、実施形態１では、撮像部３０１の右眼用の撮像素子の位置姿勢と撮像部３０２の右眼用の撮像素子の位置姿勢とは、略同一の位置姿勢であるとする。撮像部３０１の左眼用の撮像素子の位置姿勢と撮像部３０２の左眼用の撮像素子の位置姿勢とは、略同一の位置姿勢であるとする。このため、実施形態１では、撮像部３０１の位置姿勢は、撮像部３０２の位置姿勢と同一であるとする。

姿勢センサ３０３は、生成部３０６から同期信号（同期指示）を取得するたびに、ＨＭＤ１０１の位置姿勢を算出するために、必要な各種データ（センサデータ）を取得する。姿勢センサ３０３は、取得したセンサデータを出力する。姿勢センサ３０３は、磁気センサ、超音波センサ、加速度センサ、および角速度センサなどのうち少なくともいずれかを含む。

表示部３０４は、右眼用の表示部（右眼の前に配置される表示部）と左眼用の表示部（左眼の前に配置される表示部）とを有する。左眼用の複合現実空間の画像は、左眼用の表示部に表示される。右眼用の複合現実空間の画像は、右眼用の表示部に表示される。左眼用の表示部および右眼用の表示部はそれぞれ、表示光学系と表示素子とを有する。

表示光学系には、自由曲面プリズムなどの偏心光学系を使用してもよい。また、表示光学系には、通常の共軸光学系または、ズーム機構を有する光学系を使用してもよい。表示素子には、例えば、小型の液晶ディスプレイ、有機ＥＬディスプレイ、または、ＭＥＭＳによる網膜スキャンタイプのデバイスなどを使用できる。表示素子に表示された画像の光は、表示光学系を介してユーザの眼に入射する。

制御部３０５は、インターフェース３０９を介して、画像処理装置１０４から取得した合成画像の同期信号、または仮想空間の画像（ＣＧ画像）の同期信号を検出する。制御部３０５は、各種処理に要する処理時間（処理時間の変化）に応じて、生成部３０６による同期信号の生成を制御する。また、制御部３０５は、表示部３０４の表示の制御（表示制御）を行うこともできる。

生成部３０６は、制御部３０５が検出した同期信号に基づき、撮像部３０１に供給する同期信号、および、撮像部３０２に供給する同期信号を生成する。生成部３０６は、制御
部３０５が検出した同期信号に基づき、姿勢センサ３０３に供給する同期信号を生成する。

処理部３０７は、撮像部３０１が取得した撮像画像、および撮像部３０２が取得した撮像画像に撮像画像処理を施す。

処理部３０８は、ＭＲシステム（ＨＭＤ１０１および画像処理装置１０４）に設定された表示モードに応じた処理を実施する。ここで、ＭＲシステムは、時間整合モードと遅延低減モードのいずれかの表示モードに設定される。時間整合モードは、撮像画像が含む現実物体と仮想空間の画像が含む仮想物体とを、遅延低減モードよりも違和感が少なく合成することが可能な表示モードである。遅延低減モードは、撮像から、その撮像により得た撮像画像を含む画像の表示までの時間が時間整合モードよりも短い表示モードである。

時間整合モードでは、処理部３０８は、画像処理装置１０４から取得した合成画像に表示画像処理を施す。遅延低減モードでは、処理部３０８は、画像処理装置１０４から取得した仮想空間の画像と、撮像部３０１が取得した撮像画像とを合成した合成画像を生成する。この場合には、処理部３０８は、生成した合成画像に表示画像処理を施す。いずれの表示モードにおいても、処理部３０８は、表示画像処理を施した合成画像を表示画像として表示部３０４に送信する。

さらに、処理部３０８は、ＭＲシステムに設定されている表示モードに応じて、表示部３０４に送信する表示画像（表示映像）の同期信号を生成する（切り替える）。具体的には、時間整合モードでは、処理部３０８は、画像処理装置１０４から取得する合成画像の同期信号を基準とするような、表示画像の同期信号（表示部３０４を制御する同期信号）を生成する。一方で、処理部３０８は、遅延低減モードでは、処理部３０７が撮像画像処理を施した後の撮像画像の同期信号を基準とするような、表示画像の同期信号を生成する。

撮像部３０１から出力された撮像画像、撮像部３０２から出力された撮像画像、および、姿勢センサ３０３から出力されたセンサデータのそれぞれは、インターフェース３０９を介して画像処理装置１０４に送信される。

なお、以下では、特段の説明がない限り、「撮像画像」とは、「撮像部３０１から出力された撮像画像」を示すものとする。しかし、以下の説明における「撮像画像」の全部または一部は、「撮像部３０２から出力された撮像画像」であってもよい。例えば、撮像部３０１（ＨＭＤ１０１）の位置姿勢を算出するために、「撮像部３０２から出力された撮像画像」を用いて、その他の用途には「撮像部３０１から出力された撮像画像」を用いてもよい。

（画像処理装置について）
画像処理装置１０４は、インターフェース３１０、処理部３１１、生成部３１２、コンテンツＤＢ３１３、描画部３１４、処理部３１５、設定部３１６を有する。画像処理装置１０４は、インターフェース３１０を介して、ＨＭＤ１０１から送信された撮像画像およびセンサデータを取得する。

処理部３１１は、ＨＭＤ１０１から取得した撮像画像に撮像画像処理を施す。

ここで、ＨＭＤ１０１と画像処理装置１０４の処理性能に応じて、撮像画像処理のうち、処理部３０７と処理部３１１とのそれぞれに割り当てる処理を変えることが可能である。例えば、ＨＭＤ１０１の処理性能が十分でない場合には、処理部３１１に撮像画像処理
の全てを割り当てることが考えられる。さらには、ＨＭＤ１０１と画像処理装置１０４の処理性能と、２つの表示モードとの組み合わせによって、処理部３０７と処理部３１１の処理の割り当てを変えることも可能である。例えば、ＨＭＤ１０１の処理性能が十分でなく、遅延低減モードが選択されている場合には、見た目の画質に影響する最低限の画像処理のみを処理部３０７で実施するような割り当てが考えられる。この場合には、例えば、ＨＭＤ１０１の位置姿勢の算出（位置合わせ）のための前処理を処理部３１１で実施するような割り当てが行われる。一方で、ＨＭＤ１０１が十分な処理性能を有している場合には、遅延低減モードであっても撮像画像処理の全てを処理部３０７で実施するような割り当ても可能である。

生成部３１２は、撮像画像処理が行われた撮像画像（例えば、撮像部３０１が取得した左眼用の撮像画像と右眼用の撮像画像、または、撮像部３０２から出力された撮像画像）から、マーカを抽出（認識）する。そして、生成部３１２は、マーカの位置姿勢と、ＨＭＤ１０１から取得したセンサデータとに基づき、撮像部３０１における左眼用の撮像素子および右眼用の撮像素子のそれぞれの位置姿勢（＝ＨＭＤ１０１の位置姿勢）を算出する。画像におけるマーカの位置姿勢とセンサ（画像を撮像した撮像部と共にＨＭＤに備わったセンサ）が計測したセンサデータとに基づき、撮像部の位置姿勢を算出する方法については、周知であるため、この技術に関する説明は省略する。

コンテンツＤＢ（データベース）３１３は、仮想空間の画像を描画するために必要な各種のデータ（仮想空間データ）を格納する。仮想空間データは、例えば、仮想物体を規定するデータ（例えば、仮想物体の幾何形状、色、質感、および位置姿勢などを規定するデータ）を含む。また、仮想空間データは、例えば、仮想空間中に配置される光源を規定するデータ（例えば、光源の種類および位置姿勢などを規定するデータ）を含む。

描画部３１４は、コンテンツＤＢ３１３に格納されている仮想空間データを用いて、仮想空間を描画（構築）する。描画部３１４は、生成部３１２が算出した位置姿勢の左眼用の撮像素子（視点）から見た仮想空間を表す画像Ｌを生成する。また、描画部３１４は、生成部３１２が算出した位置姿勢の右眼用の撮像素子（視点）から見た仮想空間を表す画像Ｒを生成する。

そして、時間整合モードでは、描画部３１４は、仮想空間の画像Ｌと左眼用の撮像素子が取得した撮像画像とを合成した画像を、左眼用の複合現実空間の合成画像ＣＬとして生成する。さらに、描画部３１４は、仮想空間の画像Ｒと右眼用の撮像素子が取得した撮像画像とを合成した画像を、右眼用の複合現実空間の合成画像ＣＲとして生成する。

一方で、遅延低減モードでは、描画部３１４は、生成した仮想空間の画像Ｌと仮想空間の画像Ｒを出力する。

処理部３１５は、描画部３１４が生成した合成画像ＣＬおよび合成画像ＣＲに、表示画像処理を施す。そして、処理部３１５は、表示画像処理を施した合成画像ＣＬおよび合成画像ＣＲを、インターフェース３１０を介してＨＭＤ１０１に対して送信する。なお、処理部３１５は、仮想空間の画像Ｌおよび仮想空間の画像Ｒに対して、表示画像処理を施してもよい。

ここで、処理部３０８と処理部３１５のそれぞれへの表示画像処理の割り当ては、撮像画像処理の割り当てと同様に、ＨＭＤ１０１と画像処理装置１０４の処理性能と、２つの表示モードとの組み合わせに応じて、変更することが可能である。

設定部３１６は、ＭＲシステム（ＨＭＤ１０１および画像処理装置１０４）の動作にお
いて用いられる表示モードや各種のパラメータを設定する。

（動作同期について）
次に、図４を参照して、本実施形態に係る表示部３０４、撮像部３０１、撮像部３０２、姿勢センサ３０３の同期動作について説明する。図４において、横軸は時間（時刻）を表す。ここでは、撮像部３０１においてローリングシャッター方式の撮像素子により撮像が行われている。以下では、撮像画像のライン毎の露光時間のズレを考慮して、撮像部３０２および姿勢センサ３０３に供給する同期信号を生成する生成処理について説明する。

以降では、「撮像部ＣＡ」は「撮像部３０１」であり、「撮像部ＣＢ」は「撮像部３０２」であるとして説明を行う。

制御部３０５は、インターフェース３０９を介して、画像処理装置１０４から取得した画像（画像データ）の同期信号（合成画像の同期信号、または仮想空間の画像の同期信号）を検出する。以降、画像処理装置１０４から取得した「合成画像の同期信号、または仮想空間の画像の同期信号」を「同期信号ＳＳ」と呼ぶ。

制御部３０５は、同期信号ＳＳを検出すると、予め設定された同期基準タイミングに応じて生成部３０６を制御する。ここで、同期基準タイミングとは、撮像部ＣＡと撮像部ＣＢと姿勢センサ３０３との３つを同期させるタイミングである。制御部３０５は、同期基準タイミングに応じて、撮像部ＣＡに供給する同期信号ＳＣＡ、撮像部ＣＢに供給する同期信号ＳＣＢ、および姿勢センサ３０３に供給する同期信号ＳＡＳを生成する。これにより、撮像部ＣＡ、撮像部ＣＢ、および姿勢センサ３０３は、互いに同期して動作可能となる。

（第１の場合）
ここで、撮像部ＣＡの露光時間と撮像部ＣＢの露光時間とが等しく、かつ、制御部３０５に「同期基準タイミングを、撮像部ＣＡの撮像による撮像画像の先頭ラインの露光開始時刻（露光期間の開始時刻）とする」と設定されている第１の場合を想定する。この場合には、生成部３０６は、同期信号の検出タイミングからオフセット時間４０１の経過後に「撮像部ＣＡの露光開始を制御するための同期信号ＳＣＡ（外部同期入力）」を生成（出力）する。撮像部ＣＡは、生成された同期信号ＳＣＡを取得すると露光を開始する。撮像部ＣＡは、露光により撮像された各ラインのデータを、自身の出力（同期出力）のタイミングに応じて出力する。

また、生成部３０６は、同期信号ＳＳの検出タイミングからオフセット時間４０４の経過後に「撮像部ＣＢの露光開始を制御するための同期信号ＳＣＢ（外部同期入力）」を生成（出力）する。撮像部ＣＢは、生成された同期信号ＳＣＢを取得すると露光を開始し、その後、露光により撮像された各ラインのデータを、自身の出力（出力）のタイミングに応じて出力する。

さらに、生成部３０６は、同期信号ＳＳの検出タイミングからオフセット時間４０７の経過後に「姿勢センサ３０３による位置姿勢の計測開始（計測タイミング）を制御するための同期信号ＳＡＳ（外部同期入力）」を生成（出力）する。姿勢センサ３０３は、生成された同期信号ＳＡＳを取得すると位置姿勢の計測（データ取得）を開始し、その後、計測された位置姿勢（センサデータ）を出力する。

ここで、オフセット時間４０１，４０４および４０７は、撮像部ＣＡの露光開始時刻と撮像部ＣＢの露光開始時刻と姿勢センサによる位置姿勢の計測開始時刻とが一致するように、制御部３０５により制御されている。このため、オフセット時間４０１，４０４およ
び４０７の関係は、撮像部ＣＡおよびＣＢそれぞれの同期信号の取得から露光の開始までの時間と、姿勢センサ３０３の同期信号ＳＡＳの取得からデータの取得の開始までの時間との相対的な関係により決定できる。

（第２の場合）
また、撮像部ＣＡの露光時間と撮像部ＣＢの露光時間とが等しく、かつ、制御部３０５に「同期基準タイミングを、撮像部ＣＡの撮像による撮像画像の中央ラインの露光中心時刻（露光期間の中心時刻）とする」と設定されている第２の場合を想定する。この場合、生成部３０６は、同期信号ＳＳの検出タイミングからオフセット時間４０２の経過後に、同期信号ＳＣＡを生成する。また、生成部３０６は、同期信号ＳＳの検出タイミングからオフセット時間４０５の経過後に、同期信号ＳＣＢを生成する。また生成部３０６は、同期信号ＳＳの検出タイミングからオフセット時間４０８の経過後に、同期信号ＳＡＳを生成する。ここで、オフセット時間４０２，４０５および４０８は、撮像部ＣＡの露光期間の中心時刻と撮像部ＣＢの露光期間の中心時刻と姿勢センサによる位置姿勢の計測期間の中心時刻が一致するように、制御部３０５により制御されている。

（第３の場合）
また、撮像部ＣＡの露光時間と撮像部ＣＢの露光時間とが等しく、かつ、制御部３０５に「同期基準タイミングを撮像部ＣＡの撮像による撮像画像の最終ラインの露光終了時刻（露光期間の終了時刻）」と設定されている第３の場合を想定する。この場合、生成部３０６、同期信号ＳＳの検出タイミングからオフセット時間４０３の経過後に、同期信号ＳＣＡを生成する。また、生成部３０６は、同期信号ＳＳの検出タイミングからオフセット時間４０６の経過後に、同期信号ＳＣＢを生成する。また、生成部３０６は、同期信号ＳＳの検出タイミングからオフセット時間４０９の経過後に、同期信号ＳＡＳを生成する。ここで、オフセット時間４０３，４０６および４０９は、撮像部ＣＡの最終ラインの露光終了時刻と撮像部ＣＢの最終ラインの露光終了時刻と姿勢センサによる位置姿勢の計測終了時刻とが一致するように、制御部３０５により制御されている。

このように、制御部３０５は、「設定された同期基準タイミングに基づき、撮像部ＣＡ、撮像部ＣＢ、および姿勢センサに供給する同期信号を生成する」ように生成部３０６を制御している。

制御部３０５は、他の任意の同期基準タイミング（最終ラインの露光開始時刻、または先頭ラインの露光終了時刻など）が設定されている場合であっても、各種設定内容に基づき、撮像部ＣＡ、撮像部ＣＢおよび姿勢センサに関するオフセット時間を調整できる。このことにより、ＭＲシステムは、撮像部ＣＡ、撮像部ＣＢおよび姿勢センサの同期動作を適切に行うことが可能である。

（表示モードの概要について）
次に、実施形態１に係る２つの表示モード（時間整合モードおよび遅延低減モード）の概要について、図５および図６を用いて説明する。図５および図６において横軸は、時間の変化（時刻）を示す。

図５は、時間整合モードについて説明する図である。後述のように、（１）～（６）の順に処理が開始する。なお、以下では、フレームｆ（Ｎ）の撮像画像を合成に用いる場合について説明するが、フレームｆ（Ｎ＋１）以降の撮像画像についても同様の処理が行われる。

（１）撮像部ＣＡは、フレームｆ（Ｎ）の撮像画像を取得する。

（２）処理部３０７および処理部３１１は、前処理（生成部３１２で位置姿勢を算出するために必要な処理）を含む撮像画像処理を、フレームｆ（Ｎ）の撮像画像に施す。この処理では、インターフェース３０９とインターフェース３１０における伝送遅延を加えた遅延時間が経過する。

（３）生成部３１２は、フレームｆ（Ｎ）の撮像画像（撮像画像に含まれるマーカの位置姿勢）とセンサデータ（フレームｆ（Ｎ）の撮像画像の撮像が行われた時点でのセンサデータ）に基づき、ＨＭＤ１０１の位置姿勢を算出する。

（４）描画部３１４は、フレームｆ（Ｎ）の撮像画像に基づき算出された位置姿勢に基づき、仮想空間の画像を描画する。以下、フレームｆ（Ｎ）の撮像画像に基づき算出された位置姿勢に基づく仮想空間の画像を「フレームｆ（Ｎ）の仮想空間の画像」と呼ぶ。そして、描画部３１４は、フレームｆ（Ｎ）の仮想空間の画像とフレームｆ（Ｎ）の撮像画像とを合成することによって、合成画像を生成する。

ここで、時間整合モードでは、仮想空間の画像を描画するための位置姿勢の算出に用いる撮像画像と、合成画像において背景として用いる撮像画像との両方に、同一画像であるフレームｆ（Ｎ）の撮像画像を用いる。したがって、背景を表す撮像画像と仮想空間の画像の時間的整合性が一致するため、合成画像において背景と仮想空間の位置関係のズレを抑えることが可能となる。

（５）処理部３０８および処理部３１５は、描画部３１４により生成された合成画像に表示画像処理を施す。以下では、処理部３０８および処理部３１５をあわせて「処理部群」と呼ぶ。処理部群は、合成画像を表示画像として表示部３０４に送信する。

（６）表示部３０４は、表示画像を表示する。

このとき、フレームｆ（Ｎ）の撮像画像の撮像期間の中心時刻から、表示画像の表示期間の中心時刻までの時間は、遅延時間Ｔ（Ｎ）で表される。

図６は、遅延低減モードを説明する図である。後述のように、（１）～（８）の順に処理が開始する。なお、以下では、フレームｆ（Ｎ＋４）の撮像画像を合成に用いる場合について説明するが、フレームｆ（Ｎ＋３）以前およびｆ（Ｎ＋５）以降の撮像画像についても同様の処理が行われる。

（１）撮像部ＣＡは、フレームｆ（Ｎ）の撮像画像を取得する。

（２）処理部３０７および処理部３１１は、前処理（生成部３１２で位置姿勢を算出するために必要な処理）を含む撮像画像処理を、フレームｆ（Ｎ）の撮像画像に施す。ここでは、インターフェース３０９とインターフェース３１０における伝送遅延を加えた遅延時間が経過する。

（３）生成部３１２は、フレームｆ（Ｎ）の撮像画像とセンサデータ（フレームｆ（Ｎ）の撮像画像の撮像が行われた時点でのセンサデータ）に基づき、ＨＭＤ１０１の位置姿勢を算出する。

（４）描画部３１４では、算出された位置姿勢に基づき、フレームｆ（Ｎ）の仮想空間の画像を描画する。

（５）処理部群（処理部３０８および処理部３１５）は、過去のセンサデータ（フレー
ムｆ（Ｎ）の撮像画像の撮像が行われた時点でのセンサデータ）と現在のセンサデータとの変化量に基づき、ＨＭＤ１０１の位置姿勢の変化を推定する。具体的には、処理部群は、フレームｆ（Ｎ）の撮像画像の撮像が行われた時点から現在までのＨＭＤ１０１の位置姿勢の変化を推定する。

さらに、処理部群は、推定した位置姿勢の変化の量に応じた幾何変換（ＣＧ画像処理）を、フレームｆ（Ｎ）の仮想空間の画像に実行する。具体的には、処理部群は、推定した位置姿勢の変化の量に応じて、フレームｆ（Ｎ）の仮想空間の画像における仮想物体を移動させる。

（６）そして、処理部群は、処理部３０７での処理後の時点における最新のフレームｆ（Ｎ＋４）の撮像画像と、幾何変換実施後のフレームｆ（Ｎ）の仮想空間の画像とを合成する。

遅延低減モードにおいては、仮想空間の画像を描画するための位置姿勢の算出に用いた撮像画像と、合成画像に背景として用いる撮像画像が同一画像（同一のフレームの撮像画像）ではない。すなわち、フレームｆ（Ｎ＋４）よりも過去のフレームｆ（Ｎ）の撮像画像に対応する位置姿勢から生成された仮想空間の画像に対し、ＨＭＤ１０１の動き推定（予測）を用いた幾何変換が行われる。このことにより、フレームｆ（Ｎ＋４）の撮像画像が取得されてから、フレームｆ（Ｎ＋４）の撮像画像を含む合成画像が表示されるまでの遅延時間が低減できる。

（７）処理部３０８は、生成された合成画像に表示画像処理を施す。

（８）表示部３０４は、表示画像処理などの遅延時間の経過後に、合成画像を表示する。

このとき、フレームｆ（Ｎ＋４）の撮像画像の撮像期間の中心時刻から、表示画像の表示期間の中心時刻までの時間を、遅延時間Ｔ（Ｎ＋４）と表す。ここで、図５の時間整合モードにおける遅延時間Ｔ（Ｎ）に対して、図６の遅延低減モードにおける遅延時間Ｔ（Ｎ＋４）は大幅に短い。つまり、遅延低減モードでは、時間整合モードに比較して、撮像から表示までの時間が低減されている。

（遅延時間制御について）
次に、本実施形態に係る２つの表示モードにおける遅延時間制御（撮像から表示までの時間の制御）について説明する。時間整合モードについては図７および図８を用いて説明する。遅延低減モードについては図９および図１０を用いて説明する。

図７は、時間整合モードにおいて、撮像部ＣＡのオフセット制御（オフセット時間を制御すること）を行わない場合の遅延時間を説明する図である。後述のように、（１）～（７）の順に処理が開始する。

（１）制御部３０５は、画像処理装置１０４から取得した合成画像（複合現実空間の画像）の同期信号ＳＳを検出すると、生成部３０６でのオフセット制御を行わずに（同期信号ＳＳを検出すると直ぐに）同期信号ＳＣＡ（外部同期入力）を生成する。

なお、同期信号ＳＣＢおよびＳＡＳの生成では、図４のように、撮像部ＣＡの任意の露光タイミング（同期基準タイミング）に、撮像部ＣＢの露光タイミングと姿勢センサ３０３のデータ取得タイミングとが一致するように、オフセット制御が行われる。なお、同期信号ＳＣＢ、およびＳＡＳ（外部同期入力）の生成については、以降の図８～図１０の説
明についても同様に、オフセット制御が行われる。

（２）撮像部ＣＡは、同期信号ＳＣＡ（外部同期入力）を取得すると、設定された露光時間の経過後に、フレームｆ（Ｎ）の撮像画像（画像）および同期信号を出力する。

（３）処理部３０７および処理部３１１は、前処理を含む撮像画像処理をフレームｆ（Ｎ）の撮像画像に施す。このとき、インターフェース３０９とインターフェース３１０における伝送遅延を加えた遅延時間が経過する。

（４）生成部３１２は、フレームｆ（Ｎ）の撮像画像とセンサデータを用いて、ＨＭＤ１０１の位置姿勢を算出する。

（５）描画部３１４は、算出された位置姿勢に基づきフレームｆ（Ｎ）の仮想空間の画像（ＣＧ画像）を描画して、フレームｆ（Ｎ）の仮想空間の画像とフレームｆ（Ｎ）の撮像画像とを合成する。この描画処理は、例えば、画像処理装置１０４（コンピュータ装置１０３）のグラフィックボードの動作周期で実行される。位置姿勢算出が完了してから仮想空間の画像の描画開始までの時間は、処理待ち時間ＰＴ（Ｎ）として遅延時間に加算される。

（６）処理部群は、描画部３１４で生成された合成画像に表示画像処理を行う。処理部群は、合成画像を表示画像として表示部３０４に送信する。

（７）表示部３０４は、表示画像処理などの遅延時間の経過後に、表示画像を表示する。

ここでは、処理タイミングの説明を容易にするため、処理部３１５での画像処理を行わないものとしている。すなわち、描画部３１４で合成画像が生成されてから制御部３０５で同期信号が検出されるまでの遅延時間を、インターフェース５１０およびインターフェース５０９の伝送遅延のみとし、ほぼ無視できる時間として扱っている。

このとき、フレームｆ（Ｎ）の撮像画像の露光期間（撮像期間）の中心時刻から、表示画像の表示期間の中心時刻までの時間は遅延時間Ｔ（Ｎ）で表される。

図８は、時間整合モードにおいて撮像部ＣＡのオフセット制御を行う場合の遅延時間を説明する図である。

（１）制御部３０５は、画像処理装置１０４から取得した合成画像（複合現実空間の画像）の同期信号ＳＳを検出すると、生成部３０６でオフセット時間８０１の経過後に同期信号ＳＣＡ（外部同期入力）を生成する。

ここで、オフセット時間８０１は、生成部３１２においてフレームｆ（Ｎ）の位置姿勢算出が完了してから仮想空間の画像（ＣＧ画像）の描画開始までの時間である処理待ち時間ＰＴ（Ｎ）を低減するように制御される。例えば、各ブロックにおける画像の同期信号の出力の周期を監視する（モニタする）ことで、各ブロックにおける処理時間の変化や伝送遅延の変化をリアルタイムに検出することができる。このため、制御部３０５は、各ブロックにおける画像の同期信号の出力の周期の変化量に応じて、オフセット時間８０１の大きさを調整する。

以降の処理（撮像部ＣＡ以降の処理）は、図７を用いて説明したものと同じである。

フレームｆ（Ｎ）の位置姿勢算出が完了してから仮想空間の画像の描画開始までの処理待ち時間ＰＴ（Ｎ）は、オフセット時間８０１の制御により低減される。このため、図７の撮像部ＣＡのオフセット制御を行わない場合の遅延時間Ｔ（Ｎ）に対して、図８の撮像部ＣＡのオフセット制御を行う場合の遅延時間Ｔ（Ｎ）は低減されている。

図９は、遅延低減モードにおいて表示部３０４への外部同期入力の切り替えを行わない場合の遅延時間を説明する図である。後述のように、（１）～（７）の順に処理が開始する。表示部３０４への外部同期入力の切り替えを行わない場合とは、表示部３０４の同期信号の基準が、撮像画像処理後の撮像画像の同期信号でない場合である。表示部３０４への外部同期入力の切り替えを行う場合とは、表示部３０４の同期信号の基準が、撮像画像処理後の撮像画像の同期信号である場合である。

（１）制御部３０５が、仮想空間の画像の同期信号ＳＳ（画像処理装置１０４から取得した画像の同期信号）を検出すると、生成部３０６は、オフセット時間９０１の経過後に同期信号ＳＣＡ（外部同期入力）を生成する。ここで、オフセット時間９０１は、生成部３１２においてフレームｆ（Ｎ）の位置姿勢算出が完了してから仮想空間の画像の描画開始までの時間である処理待ち時間ＰＴ（Ｎ）を低減するように制御される。

（２）撮像部ＣＡは、同期信号ＳＣＡ（外部同期入力）を取得すると、設定された露光時間の経過後に、フレームｆ（Ｎ）の撮像画像および同期信号を出力する。

（３）処理部３０７および処理部３１１は、撮像画像処理をフレームｆ（Ｎ）の撮像画像に施す。

（４）生成部３１２は、フレームｆ（Ｎ）の撮像画像とセンサデータに基づき、ＨＭＤ１０１の位置姿勢を算出する。

（５）描画部３１４は、算出されたＨＭＤ１０１の位置姿勢に基づき、仮想空間の画像を描画する。ここで、位置姿勢の算出が完了してから仮想空間の画像の描画開始までの処理待ち時間ＰＴ（Ｎ）は、オフセット時間９０１の制御により低減されている。

（６）処理部群は、過去のセンサデータ（描画部３１４で仮想空間の画像を描画するための位置姿勢の算出に用いられたセンサデータ）と現在のセンサデータとの変化量に基づき、ＨＭＤ１０１の位置姿勢の変化を推定する。処理部群は、仮想空間の画像に対して、位置姿勢の変化量に応じた幾何変換（ＣＧ画像処理）を実行する。

そして、処理部群は、幾何変換後のフレームｆ（Ｎ）の仮想空間の画像の同期信号に従って、フレームｆ（Ｎ）の仮想空間の画像と、その同期信号のタイミングにおいて最新の撮像画像処理済みの撮像画像との合成を開始する。本例では、最新の撮像画像処理済みの撮像画像は、フレームｆ（Ｎ＋２）の撮像画像である。処理部群は、その２つの画像を合成した合成画像に対して表示画像処理を実施する。処理部群は、合成画像を表示画像として表示部３０４に送信する。

（７）表示部３０４は、表示画像処理などの遅延時間の経過後に、表示画像を表示する。つまり、表示部３０４に入力される同期信号も、幾何変換後のフレームｆ（Ｎ）の仮想空間の画像の同期信号を基準として生成される。

このとき、フレームｆ（Ｎ＋２）の撮像画像の露光期間（撮像期間）の中心時刻から、表示画像（合成画像）の表示期間の中心時刻までの時間は、遅延時間Ｔ（Ｎ＋２）で表される。

図１０は、遅延低減モードにおいて表示部３０４への外部同期入力の切り替えを行う場合の遅延時間を説明する図である。後述のように、（１）～（７）の順に処理が開始する。

（１）制御部３０５が、仮想空間の画像の同期信号ＳＳを検出すると、生成部３０６は、オフセット時間１００１の経過後に同期信号ＳＣＡを生成する。ここで、オフセット時間１００１は、生成部３１２においてフレームｆ（Ｎ）の位置姿勢算出が完了してから仮想空間の画像の描画開始までの時間である処理待ち時間ＰＴ（Ｎ）が低減するように制御される。

（２）撮像部ＣＡは、同期信号ＳＳ（外部同期入力）を取得すると、設定された露光時間の経過後に撮像画像および同期信号を出力する。

（３）処理部３０７および処理部３１１は、撮像画像に撮像画像処理を施す。このとき、インターフェース３０９とインターフェース３１０における伝送遅延を加えた遅延時間が経過する。

（４）生成部３１２は、撮像画像とセンサデータを用いて、ＨＭＤ１０１の位置姿勢を算出する。

（５）描画部３１４は、算出された位置姿勢に基づき、フレームｆ（Ｎ）の仮想空間の画像（ＣＧ画像）を描画する。ここで、フレームｆ（Ｎ）の位置姿勢の算出が完了してから仮想空間の画像の描画開始までの処理待ち時間ＰＴ（Ｎ）は、オフセット時間１００１の制御により低減されている。

（６）処理部群は、描画部３１４でフレームｆ（Ｎ）の仮想空間の画像を描画するための位置姿勢の算出に用いられた過去のセンサデータと、現在のセンサデータとの変化に基づきＨＭＤ１０１の位置姿勢の変化を推定する。処理部群は、フレームｆ（Ｎ）の仮想空間の画像に対して、位置姿勢の変化量に応じた幾何変換（ＣＧ画像処理）を実行する。

そして、処理部群は、撮像画像処理後のフレームｆ（Ｎ＋３）の撮像画像の同期信号に従って（同期信号に応じたタイミングで）、フレームｆ（Ｎ）の仮想空間の画像と、当該撮像画像との合成を開始する。これによれば、１つの撮像画像に対する撮像画像処理後にすぐに、その撮像画像を用いた合成が行われるため、より撮像から表示までの時間を低減することが可能になる。処理部群は、２つの画像を合成した合成画像に対して表示画像処理を施す。処理部群は、合成画像を表示画像として表示部３０４に送信する。

（７）表示部３０４は、表示画像処理などの遅延時間の経過後に、表示画像を表示する。つまり、表示部３０４に入力される同期信号も、フレームｆ（Ｎ＋３）の撮像画像の同期信号を基準として生成される。

このとき、フレームｆ（Ｎ＋３）の撮像画像の撮像期間の中心時刻から、フレームｆ（Ｎ＋３）の表示画像の表示期間の中心時刻までの時間は遅延時間Ｔ（Ｎ＋３）で表される。ここで、図９の表示部への外部同期入力の切り替えを行わない場合の遅延時間Ｔ（Ｎ＋２）に対して、図１０の表示部への外部同期入力の切り替えを行う場合の遅延時間Ｔ（Ｎ＋３）は低減されている。このように遅延低減モードでは、処理部３０８において、表示部３０４への外部同期信号の基準となる信号を、撮像画像処理後の撮像画像の同期信号へ切り替えることにより、遅延低減の効果はさらに大きくなる。

図１１のフローチャートを参照して、本実施形態に係る表示部３０４に出力する同期信号の基準の切替制御を含む処理（処理部３０８の処理）について説明する。

ステップＳ１１０１では、処理部３０８は、ＭＲシステム（設定部３１６）に設定されている表示モード（以降、設定されている表示モードを「設定モード」と呼ぶ）を判定（確認）する。

ステップＳ１１０２では、処理部３０８は、設定モードが変更されたか否かを判定する。この判定の結果、設定モードが変更されたと判定された場合には、ステップＳ１１０３に進む。一方、設定モードが変更されていないと判定された場合には、ステップＳ１１０５に進む。

ステップＳ１１０３では、処理部３０８は、表示部３０４の表示画像として黒画像を出力する。ここで、表示部３０４は、表示画像の同期信号の切り替えタイミングにおける表示画像の乱れをユーザが観察しないようにするために、黒画像を表示する。しかし、表示画像の乱れは表示モードの切り替えタイミングでのみ発生する。このため、表示への影響が軽微であることから、黒画像の表示（ステップＳ１１０３の処理）は必ずしも必要な処理ではない。

ステップＳ１１０４では、処理部３０８は、設定モードが時間整合モードであるか否かを判定する。この判定の結果、設定モードとして時間整合モードが設定されていると判定された場合には、ステップＳ１１０６に進む。一方、時間整合モードではなく、遅延低減モードが設定モードとして設定されていると判定された場合には、ステップＳ１１０７に進む。

ステップＳ１１０５では、処理部３０８は、設定モードが遅延低減モードであるか否かを判定する。この判定の結果、遅延低減モードが設定モードとして設定されていると判定された場合には、ステップＳ１１０８に進む。一方、遅延低減モードではなく、時間整合モードが設定モードとして設定されていると判定された場合には、ステップＳ１１０９に進む。

ステップＳ１１０６では、処理部３０８は、表示部３０４に出力する表示画像の同期信号の基準を、描画部３１４により描画された合成画像（ここでは、画像処理装置１０４の処理部３１５で表示画像処理が実施された後の合成画像）の同期信号に切り替える。これによれば、時間整合モードでは、合成画像の同期信号を基準として表示部３０４が動作するため、画像処理装置１０４からの合成画像の取得と表示部３０４による表示画像（合成画像）の表示とが同期して行われることが可能になる。この結果、画像処理装置１０４から合成画像を取得した後に、表示部３０４に表示画像を低遅延で表示することが可能になる。

ステップＳ１１０７では、処理部３０８は、表示部３０４に出力する表示画像の同期信号の基準を、撮像画像（ここでは、処理部３０７で撮像画像処理が実施された後の撮像画像）の同期信号に切り替える。これによれば、遅延低減モードでは、処理部３０７で撮像画像処理が実施された後の撮像画像の同期信号を基準として表示部３０４が動作する。このため、画像処理装置１０４からの撮像画像処理の終了（撮像画像の出力）と表示部３０４による表示画像（合成画像）の表示とが同期して行われることが可能になる。この結果、撮像画像処理の終了後に、表示部３０４に表示画像を低遅延で表示することが可能になる。

ステップＳ１１０８では、処理部３０８は、撮像画像（処理部３０７で撮像画像処理が
実施された後の撮像画像）と、仮想空間の画像（描画部３１４で描画され、処理部群で幾何変換が実施された後の仮想空間の画像）との合成画像を生成する。このとき、処理部３０８は、図１０を用いて説明したように、処理部３０７で撮像画像処理が実施された後の撮像画像の同期信号を基準として、合成画像を生成する。

ステップＳ１１０９では、処理部３０８は、合成画像に対して表示画像処理を行う。

ステップＳ１１１０では、処理部３０８は、表示画像処理が実施された後の合成画像を表示画像として表示部３０４に出力する。

このように、実施形態１では、時間整合モードと遅延低減モードの２つの表示モードにおいて、表示部３０４に出力する表示画像の同期信号の基準を異ならせる。このことにより、それぞれの表示モードにおける撮像から表示までの遅延時間を制御し、短くすることが可能となる。また、ＭＲシステムは、描画部で描画された合成画像、または仮想空間の画像の同期信号を基準に、撮像部ＣＡ、撮像部ＣＢ、および姿勢センサに供給する同期信号を生成する。このことにより、遅延時間のフレーム毎の変動および、撮像周期と表示周期の違いによる長秒周期でのフレームの重複や欠落を防ぐことができる。このように、ユーザに違和感を与える原因となり得る遅延時間をより短くして、さらにフレームの重複や欠落によるカクツキを抑えることにより、ユーザはよりリアリティの高いＭＲ体験が可能となる。

＜実施形態２＞
実施形態２では、仮想空間の画像の描画を外部装置１２０１により実行する構成について説明する。なお、外部装置１２０１の代わりに、または、外部装置１２０１とともに、レンダリングサーバ１２０２を用いてもよい。外部装置１２０１、およびレンダリングサーバ１２０２は性能差こそあるものの、両者で実行される処理内容は同じである。以下では、外部装置１２０１が仮想空間の画像の描画を実行する場合について説明を行う。

なお、実施形態２を含む以降の各実施形態では、実施形態１との差分について説明し、以下で特に説明しない限りは、実施形態１と同様であるものとする。

図１２を参照して、ＭＲシステムの機能構成例について説明する。

（ＨＭＤについて）
まず、実施形態２に係るＨＭＤ１０１について説明する。なお、以下では、実施形態１に係るＨＭＤ１０１と異なる部分についてのみ説明する。

制御部３０５は、外部装置１２０１から取得した画像（合成画像、または仮想空間の画像）の同期信号ＳＳを検出する。そして、制御部３０５は、通信に起因する伝送遅延、および各種処理に要する処理時間の変化に応じて、生成部３０６が行う同期信号の生成を制御する。

処理部１２０３は、撮像部３０１および撮像部３０２により取得された撮像画像に対して撮像画像処理を施す。

処理部１２０４は、ＭＲシステムに設定された表示モードに応じた処理を実施する。時間整合モードでは、処理部１２０４は、外部装置１２０１から取得した合成画像に対して表示画像処理を施す。遅延低減モードでは、処理部１２０４は、外部装置１２０１から取得した仮想空間の画像と、撮像部３０１で取得された撮像画像とを合成した合成画像を生成した後に、合成画像に対して表示画像処理を施す。

さらに、処理部１２０４は、ＭＲシステムに設定された表示モードに応じて、表示部３０４に送信する表示画像の同期信号を切り替える。時間整合モードでは、処理部１２０４は、表示部３０４に出力する表示画像の同期信号の基準を、インターフェース３０９を介して外部装置１２０１から取得した合成画像の同期信号とする。遅延低減モードでは、処理部１２０４は、表示部３０４に出力する表示画像の同期信号の基準を、撮像部３０１により取得された撮像画像（ここでは、処理部１２０３で撮像画像処理が実施された後の撮像画像）の同期信号とする。

インターフェース３０９は、外部装置１２０１との通信を行う。時間整合モードでは、合成画像の生成のために必要となる各種情報に加えて、撮像部３０１により取得された撮像画像、および、生成部３１２により算出された位置姿勢の情報が、インターフェース３０９を介して外部装置１２０１に送信される。遅延低減モードでは、外部装置１２０１において仮想空間の画像を生成するために必要となる各種情報に加え、生成部３１２により算出された位置姿勢の情報が、インターフェース３０９を介して外部装置１２０１に送信される。

（外部装置について）
続いて、外部装置１２０１について説明する。外部装置１２０１は、ＨＭＤ１０１からのレンダリング命令に基づき、合成画像の生成、および仮想空間の画像の描画を行うことができる。外部装置１２０１は、ＨＭＤ１０１が有する描画性能よりも高い性能を有している。

インターフェース１２０５は、ＨＭＤ１０１との通信を行う。

コンテンツＤＢ（データベース）１２０６には、仮想空間の画像を描画するために必要な各種のデータ（仮想空間データ）が格納されている。

描画部１２０７は、コンテンツＤＢ１２０６に保存されている仮想空間データを用いて仮想空間の画像を描画（構築）する。そして、描画部１２０７は、仮想空間の画像Ｌおよび仮想空間の画像Ｒを生成する。そして、時間整合モードでは、描画部１２０７は、仮想空間の画像Ｌと左眼用の撮像素子が取得した撮像画像とを合成した合成画像を、左眼用の複合現実空間の合成画像ＣＬとして生成する。さらに、時間整合モードでは、描画部１２０７は、仮想空間の画像Ｒと右眼用の撮像素子が取得した撮像画像とを合成した合成画像を、右眼用の複合現実空間の合成画像ＣＲとして生成する。一方、遅延低減モードでは、描画部１２０７は、生成した仮想空間の画像Ｌと仮想空間の画像Ｒを出力する。

なお、ＨＭＤ１０１、外部装置１２０１、およびレンダリングサーバ１２０２のうち、描画処理（仮想空間の画像の生成、または合成画像の生成）を行う装置が選択可能であってもよい。例えば、ＭＲシステムは、使用するコンテンツ、必要な描画性能、または要求される遅延時間などに応じて、描画処理を行う装置を選択してもよい。

このように、本実施形態においても時間整合モードと遅延低減モードとで、表示部３０４に出力する表示画像の同期信号の基準となる信号を切り替える。このことにより、それぞれの表示モードにおける撮像から表示までの遅延時間を制御して、遅延時間を短くすることが可能となる。さらに、ＨＭＤを、外部装置およびレンダリングサーバと組み合わせてＭＲシステムを実現することが可能となり、ＭＲシステムの拡張性を高め、利便性を向上させることができる。

＜実施形態３＞
実施形態１および実施形態２では、ＨＭＤ１０１を用いたＭＲシステムの構成例について説明を行った。ここで、ＨＭＤの代わりに、「撮像部、姿勢センサ、および表示部」を有する携帯端末（スマートフォンまたはタブレットなど）を用いてもよい。この場合には、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；拡張現実感）アプリケーションを用いることができる。携帯端末を利用した機能構成例について、図１３の構成図を用いて説明する。

携帯端末１３０１は、携帯型のデバイス（スマートフォンまたはタブレット端末など）である。

撮像部１３０２は、現実空間を撮像した撮像画像を取得する。撮像部１３０２は、露光開始から１フレーム分の露光時間が経過することによって露光が終了すると、撮像画像を出力する。このとき、撮像部１３０２は、撮像画像の出力開始タイミング（画像出力タイミング）を示す同期信号も出力する。

姿勢センサ１３０３は、携帯端末１３０１の位置姿勢を算出するために必要な各種データ（センサデータ）を計測して、計測したセンサデータを出力する。

表示部１３０４は、表示素子である。表示素子は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含む。

処理部１３０５は、撮像部１３０２が取得した撮像画像に撮像画像処理を施す。

処理部１３０６は、ＡＲアプリケーションの表示モードに応じた処理を実施する。

第１に、描画部１３０９が描画した仮想空間の画像と、撮像部１３０２が取得した撮像画像とを合成する表示モードでは、描画部１３０９が合成画像を生成する。この表示モードでは、処理部１３０６は、描画部１３０９により生成された合成画像に表示画像処理を施す。このとき、処理部１３０６は、表示部１３０４に出力する表示画像の同期信号の基準を、描画部１３０９で合成された合成画像の同期信号とする。なお、この表示モードでは、実施形態１の時間整合モードと同様に、描画部１３０９は、或る時点のフレームの撮像画像（撮像部１３０２が取得した撮像画像）と、その撮像画像に基づく仮想空間の画像（描画部１３０９が描画した仮想空間の画像）とを合成する。

第２に、レンダリングサーバ１２０２が描画した仮想空間の画像と、撮像部１３０２が取得した撮像画像とを合成する表示モードでは、処理部１３０６は、この２つの画像を合成して合成画像を生成する。そして、処理部１３０６は、合成画像に表示画像処理を施す。このとき、処理部１３０６は、表示部１３０４に出力する表示画像の同期信号の基準を、撮像部１３０２により取得された撮像画像（ここでは処理部１３０５で撮像画像処理が実施された後の撮像画像）の同期信号とする。なお、この表示モードでは、実施形態１の遅延低減モードと同様に、処理部１３０６は、或る時点のフレームの撮像画像と、そのフレームより前の時点のフレームの撮像画像に基づく仮想空間の画像（レンダリングサーバ１２０２が描画した画像）とを合成する。

第３に、撮像部１３０２が取得した撮像画像を、表示部１３０４でスルー表示（リアルタイム表示）を行う表示モードでは、処理部１３０６は、処理部１３０５で撮像画像処理が実施された後の撮像画像に表示画像処理を施す。このとき、処理部１３０６は、表示部１３０４に出力する表示画像の同期信号の基準を、撮像部１３０２により取得された撮像画像（ここでは処理部１３０５で撮像画像処理が実施された後の撮像画像）の同期信号とする。

生成部１３０７は、処理部１３０５が撮像画像処理を行った撮像画像と、および姿勢センサが取得したセンサデータとに基づき、撮像部１３０２の位置姿勢を算出する。

コンテンツＤＢ（データベース）１３０８には、仮想空間の画像を描画するために必要な各種のデータ（仮想空間データ）が保存されている。

描画部１３０９において描画された仮想空間の画像と、撮像部１３０２が取得した撮像画像を合成する表示モードでは、描画部１３０９は、コンテンツＤＢ１３０８に保存されている仮想空間データを用いて仮想空間を描画（構築）する。そして、描画部１３０９は、生成部１３０７が算出した位置姿勢の撮像部１３０２（視点）から見た仮想空間の画像を生成する。その後、描画部１３０９は、仮想空間の画像と撮像画像とを合成した合成画像を生成する。

設定部１３１０は、携帯端末１３０１の動作において用いられる表示モード、および各種のパラメータを設定する。

インターフェース１３１１は、レンダリングサーバ１２０２との通信を行うためのインターフェースである。インターフェース１３１１には、レンダリングサーバ１２０２で仮想空間の画像を生成するために必要となる各種情報に加え、生成部１３０７で算出された位置姿勢情報が送信される。

レンダリングサーバ１２０２は、携帯端末１３０１からのレンダリング命令に基づき、仮想空間の画像を描画する。レンダリングサーバ１２０２は、図１２に示す外部装置１２０１と同様に、インターフェース、コンテンツＤＢ（データベース）、描画部を有する。

このように、本実施形態においても携帯端末の表示モードに応じて、表示部１３０４に出力する表示画像の同期信号の基準を切り替えることにより、それぞれの表示モードにおける撮像から表示までの遅延時間を短くすることが可能となる。

＜変形例１＞
図３に示すＨＭＤ１０１および画像処理装置１０４における各機能部は、ハードウェアにより実装されていてもよい。ＨＭＤ１０１および画像処理装置１０４における一部の機能部は、ソフトウェア（コンピュータプログラム）で実装されていてもよい。

例えば、ＨＭＤ１０１において、撮像部３０１、撮像部３０２、姿勢センサ３０３、表示部３０４、およびインターフェース３０９は、ハードウェアで実装されてもよい。ＨＭＤ１０１のうちの残りの機能部は、ソフトウェアで実装してもよい。この場合には、このソフトウェアは、ＨＭＤ１０１が有するメモリに格納される。そして、ＨＭＤ１０１が有するプロセッサがソフトウェアを実行することで、機能部の機能を実現することができる。

このようなＨＭＤ１０１のハードウェア構成例について、図１４Ａのブロック図を用いて説明する。プロセッサ１４１０は、ＲＡＭ１４２０に格納されているコンピュータプログラムおよびデータを用いて各種の処理を実行する。これにより、プロセッサ１４１０は、ＨＭＤ１０１全体の動作制御を行うとともに、ＨＭＤ１０１が行うものとして説明した各処理を実行もしくは制御する。

ＲＡＭ１４２０は、不揮発性メモリ１４３０からロードされた情報（コンピュータプログラムおよびデータ）を格納するためのエリア、および、インターフェース１４７０を介
して画像処理装置１０４から取得した情報を格納するためのエリアを有する。さらに、ＲＡＭ１４２０は、プロセッサ１４１０が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ１４２０は、各種のエリアを適宜提供することができる。

不揮発性メモリ１４３０には、ＨＭＤ１０１の動作をプロセッサ１４１０に実行もしくは制御させるためのコンピュータプログラムおよびデータが保存されている。不揮発性メモリ１４３０には、ＨＭＤ１０１の機能部（撮像部３０１、撮像部３０２、姿勢センサ３０３、表示部３０４、インターフェース３０９を除く）の機能をＣＰＵ１４０１に実行させるためのコンピュータプログラムが保存されている。不揮発性メモリ１４３０に保存されているコンピュータプログラムおよびデータは、プロセッサ１４１０による制御に従って適宜ＲＡＭ１４２０にロードされ、プロセッサ１４１０による処理の対象となる。

撮像部１４４０は、上記の撮像部３０１および撮像部３０２を含む。姿勢センサ１４５０は、上記の姿勢センサ３０３を含む。表示部１４６０は、上記の表示部３０４を含む。インターフェース１４７０は、上記のインターフェース３０９を含む。プロセッサ１４１０、ＲＡＭ１４２０、不揮発性メモリ１４３０、撮像部１４４０、姿勢センサ１４５０、表示部１４６０、およびインターフェース１４７０はいずれも、バス１４８０に接続されている。なお、図１４Ａに示した構成は、ＨＭＤ１０１に適用可能な構成の一例であり、適宜変更および変形が可能である。

また、画像処理装置１０４におけるインターフェース３１０およびコンテンツＤＢ３１３を除く各機能部に対応するソフトウェアを実行可能なコンピュータ装置を、画像処理装置１０４に適用可能である。画像処理装置１０４に適用可能なコンピュータ装置のハードウェア構成例について、図１４Ｂのブロック図を用いて説明する。

ＣＰＵ１４０１は、ＲＡＭ１４０２およびＲＯＭ１４０３に格納されているコンピュータプログラムおよびデータを用いて各種の処理を実行する。これによりＣＰＵ１４０１は、コンピュータ装置全体の動作制御を行うとともに、コンピュータ装置を適用した画像処理装置１０４が行うものとして上述した各処理を実行もしくは制御する。

ＲＡＭ１４０２は、ＲＯＭ１４０３および外部記憶装置１４０６からロードされたコンピュータプログラムおよびデータを格納するためのエリアを有する。ＲＡＭ１４０２は、インターフェース１４０７を介してＨＭＤ１０１から取得したデータを格納するためのエリアを有する。また、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ１４０２は各種のエリアを適宜提供することができる。ＲＯＭ１４０３には、コンピュータ装置の設定データおよび起動プログラムなどが格納されている。

操作部１４０４は、キーボード、マウス、またはタッチパネルなどのユーザインターフェスである。操作部１４０４は、ユーザが操作することで各種の指示をＣＰＵ１４０１に対して入力することができる。

表示部１４０５は、液晶画面またはタッチパネル画面などを含む。表示部１４０５は、ＣＰＵ１４０１による処理結果を、画像または文字などで表現して表示することができる。なお、表示部１４０５は、画像または文字などを投影する投影装置（プロジェクタなど）であってもよい。

外部記憶装置１４０６は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）が保存されている。また、外部記憶装置１４０６には、図３に示した画像処理装置１０４の各機能部（インタ
ーフェース３１０、コンテンツＤＢ３１３は除く）の機能をＣＰＵ１４０１に実行させるためのコンピュータプログラムおよびデータが保存されている。また、外部記憶装置１４０６は、上記のコンテンツＤＢ３１３を有する。

外部記憶装置１４０６に保存されているコンピュータプログラムおよびデータは、ＣＰＵ１４０１による制御に従って適宜ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理の対象となる。

インターフェース１４０７は、ＨＭＤ１０１とのデータ通信を行うための通信インターフェースであり、上記のインターフェース３１０として機能する。つまり、本コンピュータ装置は、インターフェース１４０７を介してＨＭＤ１０１との間のデータ通信を行う。

ＣＰＵ１４０１、ＲＡＭ１４０２、ＲＯＭ１４０３、操作部１４０４、表示部１４０５、外部記憶装置１４０６、およびインターフェース１４０７のいずれも、バス１４０８に接続されている。なお、図１４Ｂに示した構成は、画像処理装置１０４に適用可能な構成の一例であり、適宜変更（変形）が可能である。

また、図１２に示したＨＭＤ１０１における各機能部についても、図３の構成と同様にハードウェアで実装してもよいし、一部の機能部をソフトウェア（コンピュータプログラム）で実装してもよい。

＜変形例２＞
上記の各実施形態では、撮像部（ＨＭＤ）の位置姿勢を算出するために、現実空間に人工的に配したマーカを用いた。しかし、マーカに加えてもしくは代えて、現実空間において存在する自然特徴（例えば、椅子もしくは机などの家具の角、または風景を構成する建物や車等の角など）を用いて撮像部の位置姿勢を算出してもよい。

また、図３、図１２に示したＭＲシステムの構成は一例であり、例えば、ＨＭＤ１０１が行うものとして上述した各処理を複数の装置で分担して実行してもよいし、画像処理装置１０４が行うものとして上述した各処理を複数の装置で分担して実行してもよい。

また、頭部装着型の表示装置の代わりに、スマートフォンなどの「撮像部、姿勢センサ、および表示部を有する携帯デバイス」を用いてもよい。また、頭部装着型の表示装置に加えて、このような携帯デバイスをＭＲシステムに加えてもよい。このような場合には、画像処理装置１０４は、頭部装着型の表示装置の位置姿勢に応じた複合現実空間の画像を生成して、頭部装着型の表示装置に複合現実空間の画像を配信する。さらに、画像処理装置１０４は、携帯デバイスの位置姿勢に応じた複合現実空間の画像を生成して、携帯デバイスに複合現実空間の画像を配信する。なお、複合現実空間の画像の生成方法は、上記の実施形態の通りである。

また、ＨＭＤ１０１と画像処理装置１０４とを一体化させてもよい。頭部装着型の表示装置の代わりに、上記の携帯デバイスと画像処理装置１０４とを一体化させてもよい。

また、上記の実施形態では、姿勢センサ３０３はＨＭＤ１０１が有しているものとして説明したが、これに限られない。例えば、ＨＭＤ１０１は、ＨＭＤ１０１のユーザの周囲に設置した客観カメラの撮像画像から必要な情報を得てもよい。

また、上記の各実施形態において使用した数値、演算方法、および処理の実行タイミングなどは、具体的な説明を行うために一例として挙げたものであり、各実施形態がこれらの一例に限定されることを意図したものではない。

また、上記において、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」は、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」と読み替えてもよい。逆に、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」は、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」と読み替えてもよい。このため、矛盾が生じない限り、「Ａ以上」という表現は、「ＡまたはＡよりも大きい（高い；長い；多い）」と置き換えてもよいし、「Ａよりも大きい（高い；長い；多い）」と読み替えてよく、置き換えてもよい。一方で、「Ａ以下」という表現は、「ＡまたはＡよりも小さい（低い；短い；少ない）」と置き換えてもよいし、「Ａよりも小さい（低い；短い；少ない）」と置き換えても読み替えてもよい。そして、「Ａよりも大きい（高い；長い；多い）」は、「Ａ以上」と読み替えてもよく、「Ａよりも小さい（低い；短い；少ない）」は「Ａ以下」と読み替えてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上記の実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
撮像手段と、
第１の表示モードでは、前記撮像手段により取得された第１の撮像画像と、前記第１の撮像画像よりも前の時点で前記撮像手段により取得された第２の撮像画像に基づく第１の画像とを合成した第２の画像を生成する合成手段と、
前記第１の表示モードでは、前記第２の画像を表示し、第２の表示モードでは、前記第１の撮像画像に基づく第３の画像を表示する表示手段と、
前記第１の表示モードと前記第２の表示モードとで、前記表示手段を制御する同期信号の基準を異ならせる処理手段と、
を有することを特徴とする画像表示装置。
（構成２）
前記画像表示装置は、外部装置と接続されており、
前記第３の画像は、前記外部装置から取得した画像である、
ことを特徴とする構成１に記載の画像表示装置。
（構成３）
前記第１の画像は、前記外部装置が生成した画像である、
ことを特徴とする構成２に記載の画像表示装置。
（構成４）
前記第２の表示モードでは、前記第１の撮像画像に基づき生成された第４の画像と、前記第１の撮像画像とを合成して前記第３の画像を生成する生成手段をさらに有する、
ことを特徴とする構成１に記載の画像表示装置。
（構成５）
前記合成手段は、前記第１の表示モードでは、前記第１の撮像画像の同期信号に応じたタイミングで、前記第１の撮像画像と前記第１の画像とを合成し、
前記処理手段は、前記第１の表示モードでは、前記表示手段を制御する同期信号の基準として、前記第１の撮像画像の同期信号を用いる、
ことを特徴とする構成１から４のいずれかに記載の画像表示装置。
（構成６）
前記処理手段は、前記第２の表示モードでは、前記表示手段を制御する同期信号の基準として、前記第３の画像の同期信号を用いる、
ことを特徴とする構成１から５のいずれかに記載の画像表示装置。
（構成７）
前記第１の画像の同期信号および前記第３の画像の同期信号のいずれかに基づき、前記撮像手段を制御する同期信号を生成する制御手段をさらに有する、
ことを特徴とする構成１から６のいずれかに記載の画像表示装置。
（構成８）
前記撮像手段は、第１の撮像手段と第２の撮像手段とを有し、
前記制御手段は、前記第１の画像の同期信号および前記第３の画像の同期信号のいずれかに基づき、前記第１の撮像手段と前記第２の撮像手段とが同期するように、前記第１の撮像手段を制御する第１の同期信号および前記第２の撮像手段を制御する第２の同期信号を生成する、
ことを特徴とする構成７に記載の画像表示装置。
（構成９）
前記制御手段は、前記第１の撮像手段の露光タイミングと、前記第２の撮像手段の露光タイミングとが一致するように、前記第１の同期信号および前記第２の同期信号を生成する、
ことを特徴とする構成８に記載の画像表示装置。
（構成１０）
センサを有し、
前記制御手段は、前記第１の画像の同期信号および前記第３の画像の同期信号のいずれかに基づき、前記撮像手段と前記センサとが同期するように、前記センサを制御する同期信号を生成する、
ことを特徴とする構成７から９のいずれかに記載の画像表示装置。
（構成１１）
前記制御手段は、前記撮像手段の露光タイミングと前記センサの計測タイミングとが一致するように、前記撮像手段を制御するための同期信号、および、前記センサを制御するための同期信号を生成する、
ことを特徴とする構成１０に記載の画像表示装置。
（構成１２）
前記第１の画像は、前記第２の撮像画像に基づく仮想空間の画像であり、
前記第３の画像は、前記第１の撮像画像に基づく仮想空間の画像と前記第１の撮像画像とを合成した画像である、
ことを特徴とする構成１から１１のいずれかに記載の画像表示装置。
（構成１３）
前記画像表示装置は、ユーザの頭部に装着可能な表示装置である、
ことを特徴とする構成１から１２のいずれかに記載の画像表示装置。
（方法）
撮像手段と表示手段を有する画像表示装置の制御方法であって、
第１の表示モードでは、前記撮像手段により取得された第１の撮像画像と、前記第１の撮像画像よりも前の時点で前記撮像手段により取得された第２の撮像画像に基づく第１の画像とを合成した第２の画像を生成する合成ステップと、
前記第１の表示モードでは、前記第２の画像を表示し、第２の表示モードでは、前記第１の撮像画像に基づく第３の画像を表示するように、前記表示手段を制御する表示制御ステップと、
前記第１の表示モードと前記第２の表示モードとで、前記表示手段を制御する同期信号の基準を異ならせる処理ステップと、
を有することを特徴とする画像表示装置の制御方法。
（プログラム）
コンピュータを、構成１から１３のいずれかに記載された画像表示装置の各手段として機能させるためのプログラム。

１０１：ＨＭＤ、３００：撮像装置、３０１：撮像部、３０２：撮像部、
３０４：表示部、３０７：処理部、３０８：処理部

Claims (15)

1. 撮像手段と、
   第１の表示モードでは、前記撮像手段により取得された第１の撮像画像と、前記第１の撮像画像よりも前の時点で前記撮像手段により取得された第２の撮像画像に基づく第１の画像とを合成した第２の画像を生成する合成手段と、
   前記第１の表示モードでは、前記第２の画像を表示し、第２の表示モードでは、前記第１の撮像画像に基づく第３の画像を表示する表示手段と、
   前記第１の表示モードと前記第２の表示モードとで、前記表示手段を制御する同期信号の基準を異ならせる処理手段と、
   を有することを特徴とする画像表示装置。
2. 前記画像表示装置は、外部装置と接続されており、
   前記第３の画像は、前記外部装置から取得した画像である、
   ことを特徴とする請求項１に記載の画像表示装置。
3. 前記第１の画像は、前記外部装置が生成した画像である、
   ことを特徴とする請求項２に記載の画像表示装置。
4. 前記第２の表示モードでは、前記第１の撮像画像に基づき生成された第４の画像と、前記第１の撮像画像とを合成して前記第３の画像を生成する生成手段をさらに有する、
   ことを特徴とする請求項１に記載の画像表示装置。
5. 前記合成手段は、前記第１の表示モードでは、前記第１の撮像画像の同期信号に応じたタイミングで、前記第１の撮像画像と前記第１の画像とを合成し、
   前記処理手段は、前記第１の表示モードでは、前記表示手段を制御する同期信号の基準として、前記第１の撮像画像の同期信号を用いる、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像表示装置。
6. 前記処理手段は、前記第２の表示モードでは、前記表示手段を制御する同期信号の基準として、前記第３の画像の同期信号を用いる、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像表示装置。
7. 前記第１の画像の同期信号および前記第３の画像の同期信号のいずれかに基づき、前記撮像手段を制御する同期信号を生成する制御手段をさらに有する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像表示装置。
8. 前記撮像手段は、第１の撮像手段と第２の撮像手段とを有し、
   前記制御手段は、前記第１の画像の同期信号および前記第３の画像の同期信号のいずれかに基づき、前記第１の撮像手段と前記第２の撮像手段とが同期するように、前記第１の撮像手段を制御する第１の同期信号および前記第２の撮像手段を制御する第２の同期信号を生成する、
   ことを特徴とする請求項７に記載の画像表示装置。
9. 前記制御手段は、前記第１の撮像手段の露光タイミングと、前記第２の撮像手段の露光タイミングとが一致するように、前記第１の同期信号および前記第２の同期信号を生成する、
   ことを特徴とする請求項８に記載の画像表示装置。
10. センサを有し、
    前記制御手段は、前記第１の画像の同期信号および前記第３の画像の同期信号のいずれかに基づき、前記撮像手段と前記センサとが同期するように、前記センサを制御する同期信号を生成する、
    ことを特徴とする請求項７に記載の画像表示装置。
11. 前記制御手段は、前記撮像手段の露光タイミングと前記センサの計測タイミングとが一致するように、前記撮像手段を制御するための同期信号、および、前記センサを制御するための同期信号を生成する、
    ことを特徴とする請求項１０に記載の画像表示装置。
12. 前記第１の画像は、前記第２の撮像画像に基づく仮想空間の画像であり、
    前記第３の画像は、前記第１の撮像画像に基づく仮想空間の画像と前記第１の撮像画像とを合成した画像である、
    ことを特徴とする請求項１から４のいずれか１項に記載の画像表示装置。
13. 前記画像表示装置は、ユーザの頭部に装着可能な表示装置である、
    ことを特徴とする請求項１から４のいずれか１項に記載の画像表示装置。
14. 撮像手段と表示手段を有する画像表示装置の制御方法であって、
    第１の表示モードでは、前記撮像手段により取得された第１の撮像画像と、前記第１の撮像画像よりも前の時点で前記撮像手段により取得された第２の撮像画像に基づく第１の画像とを合成した第２の画像を生成する合成ステップと、
    前記第１の表示モードでは、前記第２の画像を表示し、第２の表示モードでは、前記第１の撮像画像に基づく第３の画像を表示するように、前記表示手段を制御する表示制御ステップと、
    前記第１の表示モードと前記第２の表示モードとで、前記表示手段を制御する同期信号の基準を異ならせる処理ステップと、
    を有することを特徴とする画像表示装置の制御方法。
15. コンピュータを、請求項１から４のいずれか１項に記載された画像表示装置の各手段として機能させるためのプログラム。

Images