JP7357554B2

JP7357554B2 - 同期制御装置、同期制御装置の制御方法、システム

Info

Publication number: JP7357554B2
Application number: JP2020009447A
Authority: JP
Inventors: 佳樹梶田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-01-23
Filing date: 2020-01-23
Publication date: 2023-10-06
Anticipated expiration: 2040-01-23
Also published as: US11526010B2; JP2021117057A; US20210231950A1

Description

本発明は、複合現実感提示技術に関するものである。

近年、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）技術が知られている。ＭＲ技術の一つとして、ビデオシースルー型ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ：以下、必要に応じて「ＨＭＤ」と称する）を利用したＭＲシステムがある。ＭＲシステムでは、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をＨＭＤ内臓の撮像ユニットで撮像し、その撮像画像にＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ装着者に提示することによりＭＲ空間を体験させることができる。

ＭＲシステムでは、撮像画像や各種センサ情報を用いた演算処理を行うことによりＨＭＤの位置姿勢を求めるが、撮像ユニットや各種センサは可能な限り同期した状態で動作させることが望ましい。例えば、複数の撮像ユニットに対して共通の駆動信号・同期信号を供給することにより同期をとる技術が以下の特許文献１に開示されている。また、露光時間の長さが異なる複数の撮像ユニットに対し、露光時間の重心を合わせることにより同期をとる技術が以下の特許文献２に開示されている。

特開２０００－３４１７１９号公報特開２００６－００５６０８号公報

しかしながら、上記従来の技術では次のような課題があった。特許文献１および特許文献２に代表される構成では、撮像ユニット間の同期に限定されている。ＭＲシステムのように、撮像部に加えて各種センサを扱うシステムにおいては、撮像ユニットと各種センサが非同期で動作すると、十分な演算精度が得られない可能性があり、その場合、撮像画像とＣＧとの間における位置ズレが生じる可能性がある。本発明では、撮像部および姿勢センサを同期をとって動作させるための技術を提供する。

本発明の一様態は、同期制御装置であって、
第１の撮像部からの画像出力の開始タイミングを示す開始信号の検出タイミングと同期タイミングの基準との間の時間、第２の撮像部が第１同期信号を受けてから露光を開始するまでに要する時間、前記第２の撮像部の１フレーム分の露光時間、に基づく第１オフセットを設定する第１設定手段と、
前記開始信号の検出タイミングと同期タイミングの基準との間の時間、センサが第２同期信号を受けてから計測を開始するまでに要する時間、に基づく第２オフセットを設定する第２設定手段と、
前記開始信号を検知すると、前記開始信号の検出タイミングから前記第１オフセット後に前記第１同期信号を生成し、該生成した第１同期信号を前記第２の撮像部に供給する第１供給手段と、
前記開始信号を検知すると、前記開始信号の検出タイミングから前記第２オフセット後に前記第２同期信号を生成し、該生成した第２同期信号を前記センサに供給する第２供給手段と
を備えることを特徴とする。

本発明の構成によれば、撮像部および姿勢センサを同期をとって動作させることができる。

ＭＲシステムの構成例を示す図。撮像画像と仮想空間の画像とから合成画像を生成する処理を説明する図。撮像部および姿勢センサの動作タイミングを説明する図。外部同期入力による撮像部と姿勢センサの同期について説明する図。ＨＭＤ１０１および画像処理装置１０４のそれぞれの機能構成例を示すブロック図。（ａ）は、生成部５０６が撮像部５０２に供給する同期信号の生成例を示す図、（ｂ）は、撮像部１への外部同期入力を基準とした場合の、撮像部２への外部同期入力の生成について示す図。撮像部５０１、撮像部５０２、姿勢センサ５０３の同期動作を説明する図。ＨＭＤ１０１による撮像部５０１、撮像部５０２、姿勢センサ５０３の同期動作制御のフローチャート。ＨＭＤ１０１および画像処理装置１０４のそれぞれの機能構成例を示す図。撮像部５０２や姿勢センサ５０３に供給する同期信号を生成する生成処理を説明する図。撮像部２や姿勢センサに供給する同期信号を生成する生成処理を説明する図。撮像部２や姿勢センサに供給する同期信号を生成する生成処理を説明する図。撮像部２や姿勢センサに供給する同期信号を生成する生成処理を説明する図。ＨＭＤ１０１による撮像部５０１、撮像部５０２、姿勢センサ５０３の同期動作制御のフローチャート。（ａ）は、ＨＭＤ１０１のハードウェア構成例を示すブロック図、（ｂ）は、コンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
先ず、本実施形態に係るＭＲシステムの構成例について図１を用いて説明する。図１に示す如く、本実施形態に係るＭＲシステムは、頭部装着型表示装置の一例であるＨＭＤ１０１と、ＨＭＤ１０１に表示する複合現実空間（現実空間と仮想空間とを融合した空間）の画像を生成するコンピュータ装置１０３と、ＨＭＤ１０１とコンピュータ装置１０３とを仲介するコントローラ１０２と、を有する。

先ず、ＨＭＤ１０１について説明する。ＨＭＤ１０１は、現実空間を撮像する撮像部と、自装置の位置姿勢を計測（計測処理）するセンサと、画像処理装置１０４から送信された複合現実空間の画像を表示する表示部と、を有する。ＨＭＤ１０１は、これらの複数のデバイスの同期制御装置としても機能する。ＨＭＤ１０１は、撮像部によって撮像された撮像画像と、センサによって計測された自装置の位置姿勢と、をコントローラ１０２に送信する。またＨＭＤ１０１は、該撮像画像および該位置姿勢に基づいてコンピュータ装置１０３が生成した複合現実空間の画像をコントローラ１０２から受信して表示部に表示する。これによりＨＭＤ１０１を頭部に装着したユーザの眼前には複合現実空間の画像が提示されることになる。

ＨＭＤ１０１は、コントローラ１０２から供給された電源で動作しても良いし、自装置が有するバッテリーから供給された電源で動作しても良い。つまり、ＨＭＤ１０１に電源を供給する方法は特定の方法に限らない。

図１では、ＨＭＤ１０１とコントローラ１０２との間を有線で接続している。しかし、ＨＭＤ１０１とコントローラ１０２との間の接続形態は有線に限らず、無線であっても良いし、無線と有線との組み合わせであっても良い。つまり、ＨＭＤ１０１とコントローラ１０２との間の接続形態は特定の接続形態に限らない。

次に、コントローラ１０２について説明する。コントローラ１０２は、ＨＭＤ１０１から送信された撮像画像に対して様々な画像処理（解像度変換、色空間変換、ＨＭＤ１０１が有する撮像部の光学系の歪み補正、符号化等）を行う。そしてコントローラ１０２は、画像処理済みの撮像画像と、ＨＭＤ１０１から送信された位置姿勢と、をコンピュータ装置１０３に送信する。また、コントローラ１０２は、コンピュータ装置１０３から送信された複合現実空間の画像に対して同様の画像処理を行ってＨＭＤ１０１に送信する。

次に、コンピュータ装置１０３について説明する。コンピュータ装置１０３は、コントローラ１０２から受信した撮像画像および位置姿勢に基づいてＨＭＤ１０１の位置姿勢（ＨＭＤ１０１が有する撮像部の位置姿勢）を求め、該求めた位置姿勢を有する視点から見た仮想空間の画像を生成する。そしてコンピュータ装置１０３は、仮想空間の画像と、コントローラ１０２を介してＨＭＤ１０１から送信された撮像画像と、の合成画像（複合現実空間の画像）を生成し、該生成した合成画像をコントローラ１０２に対して送信する。

ここで、撮像画像と仮想空間の画像とから合成画像を生成する処理について、図２を用いて説明する。撮像画像２０１には、現実空間中に人工的に配したマーカ２０２（図２では説明を簡単にするためにマーカの数を１としているが、実際には複数含まれることになる）が含まれている。コンピュータ装置１０３は、撮像画像２０１からマーカ２０２を抽出し、該抽出したマーカ２０２およびコントローラ１０２から受信した位置姿勢に基づいてＨＭＤ１０１の位置姿勢を求める。そしてコンピュータ装置１０３は、該求めた位置姿勢を有する視点から見た仮想空間の画像２０３を生成する。該画像２０３には仮想物体２０４が含まれている。そしてコンピュータ装置１０３は、撮像画像２０１と仮想空間の画像２０３とを合成した合成画像である複合現実空間の画像２０５を生成し、該生成した画像２０５をＨＭＤ１０１に対して送信する。なお、撮像画像と仮想空間の画像とを合成する際、３次元空間上の奥行きに関する情報や仮想物体の透明度に関する情報を利用することで、現実物体と仮想物体との前後関係を考慮した合成画像や仮想物体を半透明状態で合成した合成画像を生成することができる。

図１では、コンピュータ装置１０３とコントローラ１０２とを別個の装置としているが、コンピュータ装置１０３とコントローラ１０２とを一体化させても良い。本実施形態では、コンピュータ装置１０３とコントローラ１０２とを一体化させた形態について説明する。以下では、コンピュータ装置１０３とコントローラ１０２とを一体化させた装置を画像処理装置１０４とする。

ＨＭＤの撮像部には、画素数、画質、ノイズ、センササイズ、消費電力、コスト等の様々な要因を鑑み、ローリングシャッター方式の撮像素子とグローバルシャッター方式の撮像素子を使い分けたり、用途に応じてそれらを組み合わせて使用することができる。例えば、仮想空間の画像と合成する撮像画像の撮像には、より高画質な画像が取得可能なローリングシャッター方式の撮像素子を用い、マーカの撮像には、像流れのないグローバルシャッター方式の撮像素子を用いる構成が挙げられる。像流れとは、走査方向のライン毎に順次露光処理が開始されるローリングシャッター方式の動作原理に起因して発生する現象である。具体的には、図３に示すように、各ラインの露光のタイミングに時間的なズレが生じることにより、露光時間中に撮像部や被写体が動いた際に被写体が流れるように変形して記録される現象として知られている。図３において横軸は時間を示しており、「露光時間（ローリング）」は、ローリングシャッター方式の撮像素子で撮像される各ラインの露光時間を示している。「露光時間（グローバル）」は、グローバルシャッター方式の撮像素子で撮像される各ラインの露光時間を示している。グローバルシャッター方式の場合には、全ライン同時に露光処理が行われるため、各ラインの露光タイミングに時間的なズレが生じず、像流れは発生しない。

図３に示す如く、撮像部が外部同期入力（外部同期入力信号）を受けると、露光開始までの処理時間ｔ_{Ｅｘｐ＿Ｒｅａｄｙ}後に各画素の露光が開始され、撮像部に設定された露光時間ｔ_Ｅｘｐの間、各画素の露光が行われる。各ラインの露光終了からｔ_{Ｉｍｇ＿Ｏｕｔ}後に、撮像部から同期信号（同期出力、同期出力信号）と画像信号（画像出力）の出力が開始される。図３に示すように、グローバルシャッター方式の撮像部の場合は、外部同期入力が入力される時間ｔ_{Ｓｙｎｃ＿Ｉｎ}から露光開始時間ｔ_{Ｅｘｐ＿Ｓｔａｒｔ}までの時間、露光中心時間ｔ_{Ｅｘｐ＿Ｃｅｎｔｅｒ}、露光終了時間ｔ_{Ｅｘｐ＿Ｅｎｄ}は撮像素子ごとの固有の値として一意に決定する。一方で、ローリングシャッター方式の撮像部の場合は、どのラインの露光時間を基準とするかによって、先頭ラインと最終ラインの露光開始タイミングの差分Δｔ_{Ｅｘｐ＿Ｓｔａｒｔ}に相当する範囲で露光開始時間、露光中心時間、露光終了時間は異なる値を取り得る。

ＨＭＤの位置姿勢を計測するセンサ（姿勢センサ）についても同様に、外部同期入力を受けると、計測開始までの処理時間ｔ_{Ｓｅｎｓ＿Ｒｅａｄｙ}後に位置姿勢の計測（データ取得）が開始され、計測終了から時間ｔ_{Ｓｅｎｓ＿Ｏｕｔ}後に、位置姿勢の出力（データ出力）が開始される。

図４は、外部同期入力による撮像部と姿勢センサの同期について説明する図である。図４では、ローリングシャッター方式の撮像部１、グローバルシャッター方式の撮像部２、姿勢センサに対して、時間ｔ_{Ｓｙｎｃ＿Ｉｎ}に共通の外部同期入力を与えることにより、デバイス間の同期を行っている。図３で説明したように、撮像部１、撮像部２、姿勢センサはそれぞれ固有の処理時間を有しているため、外部同期入力に対して、実際に撮像部で露光が行われる時間や、姿勢センサで計測が行われる時間にはズレが生じる。例えば、撮像部１または撮像部２の露光中心時間を基準に考えた場合、姿勢センサによる位置姿勢の計測時間はｔ_{Ｓｅｎｓ＿Ｍｅａｓ}に、撮像部１の露光中心時間はｔ_{Ｅｘｐ＿Ｃｅｎｔｅｒ＿ＣＡＭ１}に、撮像部２の露光中心時間はｔ_{Ｅｘｐ＿Ｃｅｎｔｅｒ＿ＣＡＭ２}となり、一致していない。

ここで、仮想空間の画像と合成する撮像画像の取得に撮像部１を用い、マーカの撮像に撮像部２を用いる構成について考える。仮想空間の画像は、撮像部２で取得したマーカの撮像画像と姿勢センサで取得した位置姿勢とに基づいて生成されるため、両者の取得タイミングのズレによる誤差の影響が生じることとなる。さらに、撮像部１で取得した撮像画像の取得タイミング自体も、撮像部２による撮像画像の取得タイミングや姿勢センサによる位置姿勢の取得タイミングと異なるため、撮像画像に重畳された仮想空間の画像の位置精度への影響はさらに大きくなる。このことからＭＲシステムにおいては、撮像部１の露光タイミング、撮像部２の露光タイミング、姿勢センサによる位置姿勢の取得タイミング、がより高い精度で一致するようにそれぞれの同期動作を行うことが好ましいと言える。

次に、ＨＭＤ１０１および画像処理装置１０４のそれぞれの機能構成例について、図５のブロック図を用いて説明する。先ず、ＨＭＤ１０１について説明する。撮像部５０１は、仮想空間の画像と合成する現実空間の画像を撮像するためのもので、左眼用の撮像部と右眼用の撮像部とを有する。左眼用の撮像部は、ＨＭＤ１０１の装着者の左眼に対応する現実空間の動画像を撮像し、該左眼用の撮像部からは該動画像における各フレームの画像（撮像画像）が出力される。右眼用の撮像部は、ＨＭＤ１０１の装着者の右眼に対応する現実空間の動画像を撮像し、該右眼用の撮像部からは該動画像における各フレームの画像（撮像画像）が出力される。つまり撮像部５０１は、ＨＭＤ１０１の装着者の左眼、右眼のそれぞれの位置と略一致した視差を有するステレオ画像としての撮像画像を取得する。なお、ＭＲシステム用のＨＭＤにおいては、撮像部の撮像範囲の中心光軸が、ＨＭＤの装着者の視線方向に略一致するように配置されることが好ましい。

左眼用の撮像部および右眼用の撮像部のそれぞれは、光学系と撮像デバイスとを有する。外界から入光した光は光学系を介して撮像デバイスに入光し、該撮像デバイスは該入光した光に応じた画像を撮像画像として出力する。撮像部５０１の撮像デバイスとしては、ローリングシャッター方式の撮像素子が使用される。撮像部５０１は定期的に撮像画像を出力するとともに、該撮像画像の出力開始タイミング（画像出力タイミング）を示す同期信号も出力する。

撮像部５０２は、現実空間中に配されるマーカを撮像するための複数の撮像部を有し、視差を有するステレオ画像としての撮像画像を取得する。それぞれの撮像部は、現実空間の動画像を撮像し、該動画像における各フレームの画像（撮像画像）を出力する。撮像部５０２が有するそれぞれの撮像部は、光学系と撮像デバイスとを有する。外界から入光した光は光学系を介して撮像デバイスに入光し、該撮像デバイスは該入光した光に応じた画像を撮像画像として出力する。撮像部５０２の撮像デバイスとしては、グローバルシャッター方式の撮像素子が使用される。撮像部５０２が有する複数の撮像部は、生成部５０６から同期信号を受けるたびに露光を開始し、１フレーム分の露光時間が経過すると露光を終了する。

姿勢センサ５０３は、生成部５０６から同期信号を受けるたびに、自装置の位置姿勢を計測し、該計測した位置姿勢を出力する。姿勢センサ５０３は、磁気センサ、超音波センサ、加速度センサ、角速度センサなどにより実装される。

表示部５０４は右眼用の表示部と左眼用の表示部とを有する。Ｉ／Ｆ５０８を介して画像処理装置１０４から受信した左眼用の複合現実空間の画像は左眼用の表示部に表示され、Ｉ／Ｆ５０８を介して画像処理装置１０４から受信した右眼用の複合現実空間の画像は右眼用の表示部に表示される。左眼用の表示部および右眼用の表示部は何れも、表示光学系と表示素子とを有する。表示光学系は、自由曲面プリズムなどの偏心光学系のみならず、通常の共軸光学系や、ズーム機構を有する光学系を使用してもよい。表示素子は、例えば、小型の液晶ディスプレイや有機ＥＬディスプレイ、ＭＥＭＳによる網膜スキャンタイプのデバイスなどが使用される。表示素子に表示された画像からの光は、表示光学系を介してＨＭＤ１０１の装着者の目に入光する。

検出部５０５は、撮像部５０１から出力される同期信号（撮像部５０１からの画像出力の開始タイミングを示す信号）を検出し、該同期信号を検出すると、その旨を生成部５０６に通知する。

生成部５０６は検出部５０５から通知を受けると、検出部５０５が検出した同期信号に基づいて、撮像部５０２および姿勢センサ５０３に供給する同期信号を生成し、該生成した同期信号を撮像部５０２および姿勢センサ５０３に供給する。設定部５０７は、ＨＭＤ１０１の動作において用いられる各種のパラメータの設定を行う。

撮像部５０１から出力された撮像画像、撮像部５０２から出力された撮像画像、姿勢センサ５０３から出力された位置姿勢、は何れも、Ｉ／Ｆ５０８を介して画像処理装置１０４に対して送信される。

次に、画像処理装置１０４について説明する。画像処理装置１０４は、ＨＭＤ１０１から送信された撮像画像および位置姿勢を、Ｉ／Ｆ５０９を介して受信する。処理部５１０は、Ｉ／Ｆ５０９を介してＨＭＤ１０１から受信した撮像画像に対して各種の画像処理を施す。

生成部５１１は、処理部５１０が画像処理を行った左眼用の撮像画像と右眼用の撮像画像とからマーカを抽出（認識）する。そして生成部５１１は、該マーカと、Ｉ／Ｆ５０９を介してＨＭＤ１０１から受信した位置姿勢と、に基づいて、左眼用の撮像部および右眼用の撮像部のそれぞれの位置姿勢を求める。画像中のマーカと該画像を撮像した撮像部と共にＨＭＤに備わっているセンサが計測した位置姿勢とに基づいて該撮像部の位置姿勢を求めるための処理については周知であるため、この技術に関する説明は省略する。

コンテンツＤＢ（データベース）５１２には、仮想空間の画像を描画するために必要な各種のデータ（仮想空間データ）が保存されている。仮想空間データには、例えば、仮想空間を構成する各仮想物体を規定するデータ（例えば、仮想物体の幾何形状、色、質感、配置位置姿勢等を規定するデータ）が含まれている。また、仮想空間データには、例えば、仮想空間中に配置される光源を規定するデータ（例えば、光源の種類や位置姿勢等を規定するデータ）が含まれている。

合成部５１３は、コンテンツＤＢ５１２に保存されている仮想空間データを用いて仮想空間を構築する。そして合成部５１３は、生成部５１１が求めた左眼用の撮像部の位置姿勢を有する視点から見た仮想空間の画像Ｌを生成する。また合成部５１３は、生成部５１１が求めた右眼用の撮像部の位置姿勢を有する視点から見た仮想空間の画像Ｒを生成する。そして合成部５１３は、仮想空間の画像Ｌと左眼用の撮像部による撮像画像とを合成した合成画像Ｌを、左眼用の複合現実空間の画像Ｌとして生成する。また合成部５１３は、仮想空間の画像Ｒと右眼用の撮像部による撮像画像とを合成した合成画像Ｒを、右眼用の複合現実空間の画像Ｒとして生成する。

処理部５１４は、合成部５１３が生成した複合現実空間の画像Ｌおよび複合現実空間の画像Ｒのそれぞれに対して各種の画像処理を施す。そして処理部５１４は、画像処理を施した複合現実空間の画像Ｌ及び複合現実空間の画像Ｒを、Ｉ／Ｆ５０９を介してＨＭＤ１０１に対して送信する。設定部５１５は、画像処理装置１０４の動作において用いられる各種のパラメータの設定を行う。

次に、生成部５０６が撮像部５０２に供給する同期信号の生成例について、図６（ａ）を用いて説明する。以降の説明では、「撮像部１」は撮像部５０１に対応しており、「撮像部２」は撮像部５０２に対応しているものとする。図６において横軸は時間である。

検出部５０５は、撮像部１からの同期信号（同期出力）を検出すると、その旨を生成部５０６に通知する。生成部５０６は、該通知を受けると、同期信号の検出タイミングからオフセット６０１後に「撮像部２の露光開始を制御するための同期信号（外部同期入力）」を生成する。ここで、同期信号の検出タイミングから「撮像部１の該検出タイミングの次のフレームの露光時間における中心時間（露光中心時間）」までの時間をｔ６１、撮像部２に固有の「露光開始までの処理時間」をｔ６２、撮像部２の１フレーム分の露光時間をｔ６３とする。このとき、オフセット６０１は以下の式に従って求めることができる。

オフセット６０１＝ｔ６１－ｔ６２－ｔ６３／２
このようなオフセット６０１は設定部５１５が予め求めて設定しているものとする。なお、設定部５１５は、オフセット６０１を定期的もしくは不定期的に求めて設定するようにしてもよい。そして生成部５０６は、このようにして生成された「撮像部２の露光開始を制御するための同期信号」を、撮像部２に対して供給する。

撮像部２は、このようにして生成された「撮像部２の露光開始を制御するための同期信号」を受けると露光を開始する。その露光時間の中心時間は、撮像部１の露光時間における中心時間と一致するので、結果として撮像部１と撮像部２とは同期して露光することになる。つまり生成部５０６は、撮像部１の露光時間の中心時間と撮像部２の露光時間の中心時間とが一致するように、撮像部２に供給する同期信号を生成する。

したがって、同期動作を行わせたいデバイス群の中に外部同期入力の機能を持たないデバイスが含まれていたとしても、該デバイスを同期動作の基準とすることによって、デバイス間の同期動作を実現できるというメリットがある。

図６（ｂ）は、撮像部１への外部同期入力を基準とした場合の、撮像部２への外部同期入力の生成について示している。ＨＭＤ１０１は、撮像部１への外部同期入力を検出すると、オフセット６０１’後に撮像部２への外部同期入力を生成する。ここで、撮像部１への外部同期入力の検出タイミングから「撮像部１の該検出タイミングの次のフレームの露光時間における中心時間」までの時間をｔ６４とすると、オフセット６０１’は以下の式に従って求めることができる。

オフセット６０１’＝ｔ６４－ｔ６２－ｔ６３／２
以上の説明では、同期動作における同期タイミングを撮像部１の露光時間における中心時間としたが、本実施形態における同期タイミングの設定はその限りではなく、露光時間中の任意のタイミングとすることが可能である。また、以降の説明では、図６（ａ）の撮像部１からの同期信号を基準とした場合の同期動作について説明を行うが、図６（ｂ）の撮像部１への外部同期入力を基準とした場合でも同様に同期動作の実現が可能である。

本実施形態に係る撮像部５０１、撮像部５０２、姿勢センサ５０３の同期動作について、図７を用いて説明する。図７において横軸は時間である。

検出部５０５は、撮像部１からの同期信号（同期出力）を検出すると、その旨を生成部５０６に通知する。生成部５０６は、該通知を受けると、同期信号の検出タイミングからオフセット７０１後に「撮像部２の露光開始を制御するための同期信号（外部同期入力）」を生成する。オフセット７０１は、上記のオフセット６０１と同様にして設定部５１５によって設定されたものである。撮像部２は、このようにして生成された「撮像部２の露光開始を制御するための同期信号」を受けると露光を開始し、該露光により撮像された各ラインのデータを、自装置の同期出力に応じて出力する。

また、生成部５０６は、上記の通知を受けると、同期信号の検出タイミングからオフセット７０２後に「姿勢センサ５０３による位置姿勢の計測開始を制御するための同期信号（外部同期入力）」を生成する。オフセット７０２は、上記の時間ｔ６１と、「姿勢センサ５０３が外部同期入力を受けてから位置姿勢の計測を開始するまでの処理時間ｔ_{Ｓｅｎｓ＿Ｒｅａｄｙ}」と、を用いて以下の式に従って求めることができる。

オフセット７０２＝ｔ６１－ｔ_{Ｓｅｎｓ＿Ｒｅａｄｙ}
このようなオフセット７０２は設定部５１５が予め求めて設定しているものとする。そして生成部５０６は、このようにして生成された「姿勢センサ５０３による位置姿勢の計測開始を制御するための同期信号」を姿勢センサ５０３に供給する。姿勢センサ５０３は、このようにして生成された「姿勢センサ５０３による位置姿勢の計測開始を制御するための同期信号」を受けると、位置姿勢の計測（データ取得）を開始する。つまり生成部５０６は撮像部１の露光時間の中心時間と撮像部２の露光時間の中心時間と姿勢センサ５０３によるデータ取得のタイミング（計測タイミング）とが一致するように、撮像部２に供給する同期信号及び姿勢センサ５０３に供給する同期信号を生成する。

本実施形態に係るＨＭＤ１０１による撮像部５０１、撮像部５０２、姿勢センサ５０３の同期動作制御について、図８のフローチャートに従って説明する。検出部５０５が、撮像部５０１からの同期信号（同期出力）を検出すると、その旨を生成部５０６に通知し、処理はステップＳ８０１を介してステップＳ８０２に進む。一方、検出部５０５が、撮像部５０１からの同期信号（同期出力）を検出していない場合には、処理はステップＳ８０１で待機する。

ステップＳ８０２では、生成部５０６は、検出部５０５からの通知を受けると、同期信号の検出タイミングからオフセット７０１後に「撮像部５０２に供給する同期信号」を生成し、該生成した同期信号を撮像部５０２に供給する。さらに生成部５０６は、同期信号の検出タイミングからオフセット７０２後に「姿勢センサ５０３に供給する同期信号」を生成し、該生成した同期信号を姿勢センサ５０３に供給する。

このように、本実施形態では、撮像部５０１からの同期信号、あるいは撮像部５０１への外部同期入力の検出タイミングに基づいて、撮像部５０１、撮像部５０２、姿勢センサ５０３の同期動作を実現することが可能となる。デバイス毎の処理時間等を考慮することで、露光時間中の任意のタイミングに各デバイスの撮像およびデータ取得タイミングを一致させることができる。そのため、撮像画像と仮想空間の画像との間における位置ズレのない、よりリアリティの高いＭＲ体験を可能にする。また、撮像部５０１が外部同期入力機能を持たない場合においても、同期動作を実現することが可能であり、デバイス選定の幅を拡げることができるというメリットもある。

［第２の実施形態］
本実施形態を含む以降の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。第１の実施形態では、撮像部５０１からの同期信号の検出タイミングを基準に、デバイス毎の処理時間等を考慮した各デバイスへの同期信号の生成を行う構成について説明した。本実施形態では、撮像部５０１や撮像部５０２の露光時間の設定変更や同期タイミングの設定変更が行われる場合におけるデバイス間の同期動作を行う構成について説明する。

まず、ＨＭＤ１０１および画像処理装置１０４のそれぞれの機能構成例について、図９のブロック図を用いて説明する。生成部５０６は、同期制御部９０１からの制御に基づき、撮像部５０２に供給する同期信号および姿勢センサ５０３に供給する同期信号を生成する。

同期制御部９０１は、設定部５１５による撮像部５０１や撮像部５０２の露光時間の設定変更に応じて、生成部５０６による同期信号の生成を制御する。また同期制御部９０１は、撮像部５０２や姿勢センサ５０３に供給する同期信号の生成タイミングを撮像部５０１の露光時間内のどの時間（どのラインに対する時間）と同期させるのかの設定変更に応じて、生成部５０６による同期信号の生成を制御する。

次に、ローリングシャッター方式の撮像素子により撮像される撮像画像のライン毎の露光時間のズレを考慮して、撮像部５０２や姿勢センサ５０３に供給する同期信号を生成する生成処理について、図１０を用いて説明する。

検出部５０５は、撮像部１からの同期信号（同期出力）を検出すると、その旨を生成部５０６に通知する。生成部５０６は、該通知を受けると、同期制御部９０１による制御の元、該同期信号の検出タイミングに応じて、撮像部２に供給する同期信号および姿勢センサ５０３に供給する同期信号を生成する。

ここで、撮像部１の露光時間と撮像部２の露光時間とが等しく、かつ設定部５１５により「同期タイミングの基準を撮像部１による撮像画像の先頭ラインの露光開始時間」と設定したとする。この場合、生成部５０６は、同期信号の検出タイミングからオフセット１００１後に「撮像部２の露光開始を制御するための同期信号（外部同期入力）」を生成する。オフセット１００１は、同期信号の検出タイミングから「撮像部１による撮像画像の先頭ラインの露光開始時間」までの時間から時間ｔ６２を減算した結果として求めることができる。また生成部５０６は、同期信号の検出タイミングからオフセット１００４後に「姿勢センサによる位置姿勢の計測開始を制御するための同期信号（外部同期入力）」を生成する。オフセット１００４は、同期信号の検出タイミングから「撮像部１による撮像画像の先頭ラインの露光開始時間」までの時間から処理時間ｔ_{Ｓｅｎｓ＿Ｒｅａｄｙ}を減算した結果として求めることができる。

また、撮像部１の露光時間と撮像部２の露光時間とが等しく、かつ設定部５１５により「同期タイミングの基準を撮像部１による撮像画像の中央ラインの露光中心時間」と設定したとする。この場合、生成部５０６は、同期信号の検出タイミングからオフセット１００２後に「撮像部２の露光開始を制御するための同期信号（外部同期入力）」を生成する。オフセット１００２は、同期信号の検出タイミングから「撮像部１による撮像画像の中央ラインの露光開始時間」までの時間から時間ｔ６２を減算した結果として求めることができる。また生成部５０６は、同期信号の検出タイミングからオフセット１００５後に「姿勢センサによる位置姿勢の計測開始を制御するための同期信号（外部同期入力）」を生成する。オフセット１００５は、同期信号の検出タイミングから「撮像部１による撮像画像の中央ラインの露光開始時間」までの時間から処理時間ｔ_{Ｓｅｎｓ＿Ｒｅａｄｙ}を減算した結果として求めることができる。

また、撮像部１の露光時間と撮像部２の露光時間とが等しく、かつ設定部５１５により「同期タイミングの基準を撮像部１による撮像画像の最終ラインの露光終了時間」と設定したとする。この場合、生成部５０６は、同期信号の検出タイミングからオフセット１００３後に「撮像部２の露光開始を制御するための同期信号（外部同期入力）」を生成する。オフセット１００３は、同期信号の検出タイミングから「撮像部１による撮像画像の最終ラインの露光開始時間」までの時間から時間ｔ６２を減算した結果として求めることができる。また生成部５０６は、同期信号の検出タイミングからオフセット１００６後に「姿勢センサによる位置姿勢の計測開始を制御するための同期信号（外部同期入力）」を生成する。オフセット１００６は、同期信号の検出タイミングから「撮像部１による撮像画像の最終ラインの露光開始時間」までの時間から処理時間ｔ_{Ｓｅｎｓ＿Ｒｅａｄｙ}を減算した結果として求めることができる。

このように、同期制御部９０１は、撮像部２や姿勢センサに供給する同期信号が同期タイミングの基準に応じたオフセットに基づいて生成されるように、同期タイミングの基準に応じたオフセットを生成部５０６に供給している。

その他、最終ラインの露光開始時間や先頭ラインの露光終了時間といった任意のタイミングに対しても、設定部５１５による各種設定内容に基づき、撮像部２や姿勢センサに対するオフセットを調整することにより、同期動作を行うことが可能である。

次に、ローリングシャッター方式の撮像素子により撮像される撮像画像において中央ラインの露光中心時間を同期タイミングの基準にして、撮像部２や姿勢センサに供給する同期信号を生成する生成処理について、図１１を用いて説明する。

検出部５０５が、撮像部１から（Ｎ－１）フレーム目の撮像画像（フレーム（Ｎ－１））に対応する同期信号が出力されたことを検出すると、生成部５０６は、オフセット１１０１後に「撮像部２の露光開始（フレームＮ撮像用）を制御するための同期信号（外部同期入力）」を生成して撮像部２に供給する。オフセット１１０１は、図１０を用いて説明した算出方法（「同期タイミングの基準を撮像部１による撮像画像の中央ラインの露光中心時間」とした場合におけるオフセット算出方法）で求めることができる。また、生成部５０６は、検出部５０５が、撮像部１からフレーム（Ｎ－１）に対応する同期信号が出力されたことを検出すると、オフセット１１０４後に「姿勢センサによる位置姿勢の計測開始（フレームＮ用）を制御するための同期信号（外部同期入力）」を生成して姿勢センサに供給する。オフセット１１０４は、図１０を用いて説明した算出方法（「同期タイミングの基準を撮像部１による撮像画像の中央ラインの露光中心時間」とした場合におけるオフセット算出方法）で求めることができる。

ここで、検出部５０５がフレーム（Ｎ－１）に対応する同期信号を検出してからフレームＮに対応する同期信号を検出するまでの間に、設定部５１５が撮像部２の露光時間を変更する設定（設定変更２）を行ったとする。

このとき、検出部５０５が、撮像部１からフレームＮに対応する同期信号が出力されたことを検出すると、生成部５０６は、オフセット１１０２後に「撮像部２の露光開始（フレーム（Ｎ＋１）撮像用）を制御するための同期信号（外部同期入力）」を生成して撮像部２に供給する。オフセット１１０２は、オフセット１１０１と同様の方法でもって求めることができる。また、生成部５０６は、検出部５０５が、撮像部１からフレームＮに対応する同期信号が出力されたことを検出すると、オフセット１１０４後に「姿勢センサによる位置姿勢の計測開始（フレーム（Ｎ＋１）用）を制御するための同期信号（外部同期入力）」を生成して姿勢センサに供給する。

また、検出部５０５がフレームＮに対応する同期信号を検出してからフレーム（Ｎ＋１）に対応する同期信号を検出するまでの間に、設定部５１５が撮像部１の露光時間を変更する設定（設定変更１）を行ったとする。

このとき、検出部５０５が、撮像部１からフレーム（Ｎ＋１）に対応する同期信号が出力されたことを検出すると、生成部５０６は、オフセット１１０３後に「撮像部２の露光開始（フレーム（Ｎ＋２）撮像用）を制御するための同期信号（外部同期入力）」を生成して撮像部２に供給する。オフセット１１０３は、オフセット１１０１と同様の方法でもって求めることができる。また、生成部５０６は、検出部５０５が、撮像部１からフレーム（Ｎ＋１）に対応する同期信号が出力されたことを検出すると、オフセット１１０５後に「姿勢センサによる位置姿勢の計測開始（フレーム（Ｎ＋２）用）を制御するための同期信号（外部同期入力）」を生成して姿勢センサに供給する。オフセット１１０５は、オフセット１１０４と同様の方法でもって求めることができる。

以降は、設定部５１５による設定変更は行われていないので、オフセットの切り替えは発生しない。このように、同期制御部９０１は、撮像部２や姿勢センサに供給する同期信号が、設定部５１５による撮像部の露光時間の設定変更に応じたオフセットに基づいて生成されるように、該オフセットを求めて生成部５０６に供給している。

以上の処理を行うことにより、設定変更が行われた際にも、撮像部１の露光中心時間と、撮像部２の露光中心時間と、姿勢センサのデータ取得タイミングと、が一致した同期動作を実現することが可能となる。

次に、ローリングシャッター方式の撮像素子により撮像される撮像画像において先頭ラインの露光開始時間を同期タイミングの基準にして、撮像部２や姿勢センサに供給する同期信号を生成する生成処理について、図１２を用いて説明する。

検出部５０５が、撮像部１からフレーム（Ｎ－１）に対応する同期信号が出力されたことを検出すると、生成部５０６は、オフセット１２０１後に「撮像部２の露光開始（フレームＮ撮像用）を制御するための同期信号（外部同期入力）」を生成して撮像部２に供給する。オフセット１２０１は、図１０を用いて説明した算出方法（「同期タイミングの基準を撮像部１による撮像画像の先頭ラインの露光開始時間」とした場合におけるオフセット算出方法）で求めることができる。また、生成部５０６は、検出部５０５が、撮像部１からフレーム（Ｎ－１）に対応する同期信号が出力されたことを検出すると、オフセット１２０３後に「姿勢センサによる位置姿勢の計測開始（フレームＮ用）を制御するための同期信号（外部同期入力）」を生成して姿勢センサに供給する。オフセット１２０３は、図１０を用いて説明した算出方法（「同期タイミングの基準を撮像部１による撮像画像の先頭ラインの露光開始時間」とした場合におけるオフセット算出方法）で求めることができる。

設定変更２が行われても、撮像部１の露光開始時間と、撮像部２の外部同期入力から露光開始時間までの処理時間と、の関係は変わらないため、オフセットの変更は不要である。

よって、検出部５０５が、撮像部１からフレームＮに対応する同期信号が出力されたことを検出すると、生成部５０６は、オフセット１２０１後に「撮像部２の露光開始（フレーム（Ｎ＋１）撮像用）を制御するための同期信号（外部同期入力）」を生成して撮像部２に供給する。また、生成部５０６は、検出部５０５が、撮像部１からフレームＮに対応する同期信号が出力されたことを検出すると、オフセット１２０３後に「姿勢センサによる位置姿勢の計測開始（フレーム（Ｎ＋１）用）を制御するための同期信号（外部同期入力）」を生成して姿勢センサに供給する。

このとき、検出部５０５が、撮像部１からフレーム（Ｎ＋１）に対応する同期信号が出力されたことを検出すると、生成部５０６は、オフセット１２０２後に「撮像部２の露光開始（フレーム（Ｎ＋２）撮像用）を制御するための同期信号（外部同期入力）」を生成して撮像部２に供給する。オフセット１２０２は、オフセット１２０１と同様の方法でもって求めることができる。また、生成部５０６は、検出部５０５が、撮像部１からフレーム（Ｎ＋１）に対応する同期信号が出力されたことを検出すると、オフセット１２０４後に「姿勢センサによる位置姿勢の計測開始（フレーム（Ｎ＋２）用）を制御するための同期信号（外部同期入力）」を生成して姿勢センサに供給する。オフセット１２０４は、オフセット１２０３と同様の方法でもって求めることができる。

以降は、設定部５１５による設定変更は行われていないので、オフセットの切り替えは発生しない。このように、同期制御部９０１は、撮像部２や姿勢センサに供給する同期信号が、設定部５１５による撮像部の露光時間の設定変更に応じたオフセットに基づいて生成されるように、該オフセットを生成部５０６に供給している。

以上の処理を行うことで、設定変更が行われた際にも、撮像部１による撮像画像の先頭ラインの露光開始時間と、撮像部２による撮像画像の先頭ラインの露光開始時間と、姿勢センサのデータ取得タイミングと、が一致した同期動作を実現することが可能となる。

また、ここで注目すべきは、同期タイミングを露光開始時間に設定した場合、撮像部１の露光時間の設定変更１が行われた時のみ、撮像部２および姿勢センサへの外部同期入力を生成するためのオフセットの変更が行われるという点である。これは、先頭ラインの時のみに限らず、任意ラインの露光開始時間に同期タイミングを設定した時も同様である。このことを利用することにより、設定変更が行われた際のオフセット変更処理を簡易化し、ＨＭＤ１０１の処理負荷や回路規模を削減することも可能になる。

次に、ローリングシャッター方式の撮像素子により撮像される撮像画像において中央ラインの露光終了時間を同期タイミングの基準にして、撮像部２や姿勢センサに供給する同期信号を生成する生成処理について、図１３を用いて説明する。

検出部５０５が、撮像部１からフレーム（Ｎ－１）に対応する同期信号が出力されたことを検出すると、生成部５０６は、オフセット１３０１後に「撮像部２の露光開始（フレームＮ撮像用）を制御するための同期信号（外部同期入力）」を生成して撮像部２に供給する。オフセット１３０１は、「撮像部１の同期信号の検出タイミングから撮像部１による撮像画像において中央ラインの露光終了時間までの時間」から「撮像部２の露光時間」および「時間ｔ６２」を引いた結果として求めることができる。また、生成部５０６は、検出部５０５が、撮像部１からフレーム（Ｎ－１）に対応する同期信号が出力されたことを検出すると、オフセット１３０３後に「姿勢センサによる位置姿勢の計測開始（フレームＮ用）を制御するための同期信号（外部同期入力）」を生成して姿勢センサに供給する。オフセット１３０３は、「撮像部１の同期信号の検出タイミングから撮像部１による撮像画像において中央ラインの露光終了時間までの時間」から「処理時間ｔ_{Ｓｅｎｓ＿Ｒｅａｄｙ}」を引いた結果として求めることができる。

このとき、検出部５０５が、撮像部１からフレームＮに対応する同期信号が出力されたことを検出すると、生成部５０６は、オフセット１３０２後に「撮像部２の露光開始（フレーム（Ｎ＋１）撮像用）を制御するための同期信号（外部同期入力）」を生成して撮像部２に供給する。オフセット１３０２はオフセット１３０１と同様にして求めることができる。また、生成部５０６は、検出部５０５が、撮像部１からフレームＮに対応する同期信号が出力されたことを検出すると、オフセット１３０３後に「姿勢センサによる位置姿勢の計測開始（フレーム（Ｎ＋１）用）を制御するための同期信号（外部同期入力）」を生成して姿勢センサに供給する。

このとき、検出部５０５が、撮像部１からフレーム（Ｎ＋１）に対応する同期信号が出力されたことを検出すると、生成部５０６は、オフセット１３０２後に「撮像部２の露光開始（フレーム（Ｎ＋２）撮像用）を制御するための同期信号（外部同期入力）」を生成して撮像部２に供給する。また、生成部５０６は、検出部５０５が、撮像部１からフレーム（Ｎ＋１）に対応する同期信号が出力されたことを検出すると、オフセット１３０３後に「姿勢センサによる位置姿勢の計測開始（フレーム（Ｎ＋２）用）を制御するための同期信号（外部同期入力）」を生成して姿勢センサに供給する。

以上の処理を行うことで、設定変更が行われた際にも、撮像部１による撮像画像の中央ラインの露光終了時間と、撮像部２による撮像画像の中央ラインの露光終了時間と、姿勢センサのデータ取得タイミングと、が一致した同期動作を実現することが可能となる。

ここで注目すべきは、同期タイミングを露光終了時間に設定した場合、撮像部２への露光時間の設定変更２が行われた時のみ、撮像部２への外部同期入力を生成するためのオフセットの変更が行われるという点である。加えて、同期タイミングを露光終了時間に設定した場合、姿勢センサへの外部同期入力を生成するためのオフセットの変更は行われない。これは、中央ラインの時のみに限らず、任意ラインの露光終了時間に同期タイミングを設定した時も同様である。このことを利用することにより、設定変更が行われた際のオフセット変更処理を簡易化し、ＨＭＤ１０１の処理負荷や回路規模を削減することも可能になる。

さらに、同期タイミングを露光終了時間に設定した場合、撮像部２の同期出力および画像出力と、姿勢センサのデータ出力の周期が、撮像部１の同期出力および画像出力の周期と同期して一定になるというメリットがある。これは、中央ラインの時のみに限らず、任意ラインの露光終了時間に同期タイミングを設定した時も同様である。

例えば、図１１および図１２においては、撮像部１への設定変更１および撮像部２への設定変更２が行われた際に、撮像部２の同期出力および画像出力や姿勢センサのデータ出力の周期が変動していることが確認できる。撮像画像の出力が一定周期でない場合、後段の撮像画像処理部として、そのような出力周期に対応したＩＣ（Integrated Circuit）を選択する必要が生じたりする。また、別途フレームメモリ等を追加して、画像周期を一定に調整する必要が生じたりする。一方で図１３のように、撮像画像の出力が一定周期の場合には、後段の撮像画像処理部の選択肢の幅を拡げ、さらに周期調整のためのフレームメモリが不要となる。

本実施形態に係るＨＭＤ１０１による撮像部５０１、撮像部５０２、姿勢センサ５０３の同期動作制御について、図１４のフローチャートに従って説明する。ステップＳ１４０１では、同期制御部９０１は、上記のような設定変更が設定部５１５によりなされたか否かを判断する。

この判断の結果、上記のような設定変更が設定部５１５によりなされた場合には、処理はステップＳ１４０２に進む。一方、上記のような設定変更が設定部５１５によりなされていない場合には、処理はステップＳ１４０７に進む。

ステップＳ１４０２では、同期制御部９０１は、どの撮像部による撮像画像のどのラインを同期タイミングの基準とするのかの設定を、設定部５１５から取得する。ステップＳ１４０３では、同期制御部９０１は、露光時間内におけるどの時間を同期タイミングの基準とするのかの設定を、設定部５１５から取得する。

ステップＳ１４０４では、同期制御部９０１は、撮像部１の設定（少なくともオフセットを求めるために必要な撮像部１に係るパラメータを含む）を、設定部５１５から取得する。図１３で説明したように、同期タイミングの基準ラインに変更がなく、基準露光時間が露光終了時間の場合には、撮像部１の露光時間設定はオフセットの決定に影響しないため、ステップＳ１４０４における取得処理は省略してもよい。

ステップＳ１４０５では、同期制御部９０１は、撮像部２の設定（少なくともオフセットを求めるために必要な撮像部２に係るパラメータを含む）を、設定部５１５から取得する。図１２で説明したように、同期タイミングの基準ラインに変更がなく、基準開始時間が露光開始時間の場合には、撮像部２の露光時間設定はオフセットの決定に影響しないため、ステップＳ１４０５における取得処理は省略してもよい。

ステップＳ１４０６では、同期制御部９０１は、ステップＳ１４０２～Ｓ１４０６で取得した情報に基づいて上記の処理を行うことで、撮像部２に対応するオフセットおよび姿勢センサに対応するオフセットを求める。

ステップＳ１４０７では、検出部５０５は、撮像部５０１からの同期信号（同期出力）を検出したか否かを判断する。この判断の結果、撮像部５０１からの同期信号（同期出力）を検出した場合には、処理はステップＳ１４０８に進む。一方、撮像部５０１からの同期信号（同期出力）を検出していない場合には、処理はステップＳ１４０１に進む。

ステップＳ１４０８では、生成部５０６は、撮像部５０１からの同期信号（同期出力）を受けた旨の通知を検出部５０５から受けると、同期信号の検出タイミングから、撮像部２に対応するオフセット後に「撮像部５０２に供給する同期信号」を生成し、該生成した同期信号を撮像部５０２に供給する。さらに生成部５０６は、同期信号の検出タイミングから、姿勢センサ５０３に対応するオフセット後に「姿勢センサ５０３に供給する同期信号」を生成し、該生成した同期信号を姿勢センサ５０３に供給する。

このように、本実施形態でも、撮像部５０１、撮像部５０２、姿勢センサ５０３の同期動作を実現することが可能となる。さらに、撮像部５０１や撮像部５０２の露光時間の設定変更や同期タイミングの設定変更にも対応することができる。露光時間中の任意のタイミングに各デバイスの撮像およびデータ取得タイミングを一致させることにより、撮像画像と仮想空間の画像との間における位置ズレのない、よりリアリティの高いＭＲ体験を可能にする。

［第３の実施形態］
図５，９に示したＨＭＤ１０１および画像処理装置１０４における各機能部はハードウェアで実装しても良いし、一部の機能部をソフトウェア（コンピュータプログラム）で実装しても良い。

後者の場合、ＨＭＤ１０１においては、撮像部５０１、撮像部５０２、姿勢センサ５０３、表示部５０４、Ｉ／Ｆ５０８についてはハードウェアで実装し、残りの機能部についてはソフトウェアで実装しても良い。この場合、このソフトウェアは、ＨＭＤ１０１が有するメモリに格納され、ＨＭＤ１０１が有するプロセッサが該ソフトウェアを実行することで、対応する機能部の機能を実現させることができる。

このようなＨＭＤ１０１のハードウェア構成例について、図１５（ａ）のブロック図を用いて説明する。プロセッサ１５１０は、ＲＡＭ１５２０に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりプロセッサ１５１０は、ＨＭＤ１０１全体の動作制御を行うとともに、ＨＭＤ１０１が行うものとして上述した各処理を実行もしくは制御する。

ＲＡＭ１５２０は、不揮発性メモリ１５３０からロードされたコンピュータプログラムやデータを格納するためのエリアや、Ｉ／Ｆ１５７０を介して画像処理装置１０４から受信したデータを格納するためのエリアを有する。さらにＲＡＭ１５２０は、プロセッサ１５１０が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１５２０は、各種のエリアを適宜提供することができる。

不揮発性メモリ１５３０は、上記のＨＭＤ１０１の動作をプロセッサ１５１０に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。不揮発性メモリ１５３０に保存されているコンピュータプログラムには、図５，９に示したＨＭＤ１０１の機能部（撮像部５０１、撮像部５０２、姿勢センサ５０３、表示部５０４、Ｉ／Ｆ５０８は除く）の機能をＣＰＵ１５０１に実行させるためのコンピュータプログラムが含まれている。不揮発性メモリ１５３０に保存されているコンピュータプログラムやデータは、プロセッサ１５１０による制御に従って適宜ＲＡＭ１５２０にロードされ、プロセッサ１５１０による処理対象となる。

撮像部１５４０は、上記の撮像部５０１および撮像部５０２を含む。姿勢センサ１５５０は、上記の姿勢センサ５０３を含む。表示部１５６０は、上記の表示部５０４を含む。Ｉ／Ｆ１５７０は、上記のＩ／Ｆ５０８を含む。プロセッサ１５１０、ＲＡＭ１５２０、不揮発性メモリ１５３０、撮像部１５４０、姿勢センサ１５５０、表示部１５６０、Ｉ／Ｆ１５７０は何れも、バス１５８０に接続されている。なお、図１５（ａ）に示した構成は、ＨＭＤ１０１に適用可能な構成の一例であり、適宜変更／変形が可能である。

また、画像処理装置１０４については、Ｉ／Ｆ５０９、コンテンツＤＢ５１２を除く各機能部に対応するソフトウェアを実行可能なコンピュータ装置であれば、該画像処理装置１０４に適用可能である。画像処理装置１０４に適用可能なコンピュータ装置のハードウェア構成例について、図１５（ｂ）のブロック図を用いて説明する。

ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１５０１は、コンピュータ装置全体の動作制御を行うと共に、コンピュータ装置を適用した画像処理装置１０４が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ１５０２は、ＲＯＭ１５０３や外部記憶装置１５０６からロードされたコンピュータプログラムやデータを格納するためのエリアや、Ｉ／Ｆ１５０７を介してＨＭＤ１０１から受信したデータを格納するためのエリアを有する。またＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１５０２は各種のエリアを適宜提供することができる。ＲＯＭ１５０３には、コンピュータ装置の設定データや起動プログラムなどが格納されている。

操作部１５０４は、キーボード、マウス、タッチパネルなどのユーザインターフェスであり、ユーザが操作することで各種の指示をＣＰＵ１５０１に対して入力することができる。

表示部１５０５は、液晶画面やタッチパネル画面などにより構成されており、ＣＰＵ１５０１による処理結果を画像や文字などでもって表示することができる。なお、表示部１５０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

外部記憶装置１５０６は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置１５０６には、ＯＳ（オペレーティングシステム）が保存されている。また、外部記憶装置１５０６には、図５，９に示した画像処理装置１０４の各機能部（Ｉ／Ｆ５０９、コンテンツＤＢ５１２は除く）の機能をＣＰＵ１５０１に実行させるためのコンピュータプログラムやデータが保存されている。また外部記憶装置１５０６には、上記のコンテンツＤＢ５１２も保存されている。

外部記憶装置１５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。

Ｉ／Ｆ１５０７は、ＨＭＤ１０１とのデータ通信を行うための通信インターフェースであり、上記のＩ／Ｆ５０９として機能する。つまり本コンピュータ装置は、Ｉ／Ｆ１５０７を介してＨＭＤ１０１との間のデータ通信を行う。

ＣＰＵ１５０１、ＲＡＭ１５０２、ＲＯＭ１５０３、操作部１５０４、表示部１５０５、外部記憶装置１５０６、Ｉ／Ｆ１５０７は何れも、バス１５０８に接続されている。なお、図１５（ｂ）に示した構成は、画像処理装置１０４に適用可能な構成の一例であり、適宜変更／変形が可能である。

［第４の実施形態］
上記の各実施形態では、撮像部の位置姿勢を求めるために、現実空間中に人工的に配したマーカを用いた。しかし、マーカに加えて若しくは代えて、現実空間中に元来存在する自然特徴（例えば、椅子や机等の家具の角、風景を構成する建物や車等の角）を用いて撮像部の位置姿勢を求めても良い。

また、図５，９に示したＭＲシステムの構成は一例であり、例えば、ＨＭＤ１０１が行うものとして上述した各処理を複数の装置で分担して実行しても良いし、画像処理装置１０４が行うものとして上述した各処理を複数の装置で分担して実行しても良い。

また、頭部装着型表示装置の代わりに、スマートフォンなどの「１つ以上の撮像部、姿勢センサ、表示部を有する携帯デバイス」を用いても良い。また、頭部装着型表示装置に加えてこのような携帯デバイスをＭＲシステムに加えても良い。このような場合、画像処理装置１０４は頭部装着型表示装置の位置姿勢に応じた複合現実空間の画像を生成して該頭部装着型表示装置に配信し、携帯デバイスの位置姿勢に応じた複合現実空間の画像を生成して該携帯デバイスに配信する。複合現実空間の画像の生成方法は上記の実施形態の通りである。また例えば、スマートフォンでは、撮像部で撮像した画像から検出された特徴量（自然特徴、ＱＲコード（登録商標）等）に基づいて、ＡＲ（拡張現実）情報を映像に重畳して表示するアプリケーションが存在する。このとき、姿勢センサによって検知されるスマートフォン自体の姿勢情報を、ＡＲの表示形態に反映させる場合もある。このような場合、スマートフォンが同期制御装置となって、上記の各実施形態のように、撮像部の露光時間に合わせて他のデバイスを同させることで、精度の高い同期処理を実現することができる。

また、ＨＭＤ１０１と画像処理装置１０４とを一体化させても良いし、頭部装着型表示装置の代わりに、上記の携帯デバイスと画像処理装置１０４とを一体化させても良い。

また、上記の実施形態では、姿勢センサ５０３はＨＭＤ１０１が有しているものとして説明したが、これに限らず、例えば、ＨＭＤ１０１の装着者の周囲に設置した客観カメラの撮像画像から必要な情報を得る構成でもよい。

また、上記の各実施形態において使用した数値、演算方法、処理の実行タイミング等は、具体的な説明を行うために一例として挙げたものであり、各実施形態がこれらの一例に限定されることを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：ＨＭＤ１０４：画像処理装置

Claims

同期制御装置であって、
第１の撮像部からの画像出力の開始タイミングを示す開始信号の検出タイミングと同期タイミングの基準との間の時間、第２の撮像部が第１同期信号を受けてから露光を開始するまでに要する時間、前記第２の撮像部の１フレーム分の露光時間、に基づく第１オフセットを設定する第１設定手段と、
前記開始信号の検出タイミングと同期タイミングの基準との間の時間、センサが第２同期信号を受けてから計測を開始するまでに要する時間、に基づく第２オフセットを設定する第２設定手段と、
前記開始信号を検知すると、前記開始信号の検出タイミングから前記第１オフセット後に前記第１同期信号を生成し、該生成した第１同期信号を前記第２の撮像部に供給する第１供給手段と、
前記開始信号を検知すると、前記開始信号の検出タイミングから前記第２オフセット後に前記第２同期信号を生成し、該生成した第２同期信号を前記センサに供給する第２供給手段と
を備えることを特徴とする同期制御装置。
前記第１の撮像部は第１のシャッター方式で撮像を行い、前記第２の撮像部は、前記第１のシャッター方式とは異なる第２のシャッター方式で撮像を行うことを特徴とする請求項１に記載の同期制御装置。
前記第１の撮像部は、同期信号の入力機能を有していないデバイスであることを特徴とする請求項１に記載の同期制御装置。
前記第１設定手段は、前記第１の撮像部の露光時間もしくは前記第２の撮像部の露光時間が変更されると、変更後の露光時間に基づいて前記第１オフセットを求めることを特徴とする請求項１に記載の同期制御装置。
前記開始信号の検出タイミングと同期タイミングの基準との間の時間をｔ６１、前記第２の撮像部が前記第１同期信号を受けてから露光を開始するまでに要する時間をｔ６２、前記第２の撮像部の１フレーム分の露光時間をｔ６３とすると、前記第１設定手段は、（ｔ６１－ｔ６２－ｔ６３／２）を前記第１オフセットとして設定することを特徴とする請求項１に記載の同期制御装置。
前記第２設定手段は、前記第１の撮像部の露光時間もしくは前記第２の撮像部の露光時間が変更されると、変更後の露光時間に基づいて前記第２オフセットを求めることを特徴とする請求項１に記載の同期制御装置。
前記開始信号の検出タイミングと同期タイミングの基準との間の時間をｔ６１、前記センサが前記第２同期信号を受けてから計測を開始するまでに要する時間をｔ６４とすると、前記第２設定手段は、（ｔ６１－ｔ６４）を前記第２オフセットとして設定することを特徴とする請求項１に記載の同期制御装置。
更に、
前記第２の撮像部により撮像された撮像画像および前記センサにより計測された位置姿勢に基づいて生成された仮想空間の画像と、前記第１の撮像部により撮像された撮像画像と、の合成画像を取得する取得手段と、
前記合成画像を表示する表示手段と
を備えることを特徴とする請求項１ないし７の何れか１項に記載の同期制御装置。
前記同期タイミングの基準は、前記第１の撮像部による撮像画像の先頭ラインの露光開始時間、前記第１の撮像部による撮像画像の中央ラインの露光中心時間、前記第１の撮像部による撮像画像の最終ラインの露光終了時間、のいずれかであることを特徴とする請求項１，３，５の何れか１項に記載の同期制御装置。
前記同期制御装置は、前記第１の撮像部、前記第２の撮像部、前記センサを有する頭部装着型表示装置であることを特徴とする請求項１ないし９の何れか１項に記載の同期制御装置。
前記第１のシャッター方式はローリングシャッター方式であり、前記第２のシャッター方式はグローバルシャッター方式であることを特徴とする請求項２に記載の同期制御装置。
同期制御装置の制御方法であって、
前記同期制御装置の第１設定手段が、第１の撮像部からの画像出力の開始タイミングを示す開始信号の検出タイミングと同期タイミングの基準との間の時間、第２の撮像部が第１同期信号を受けてから露光を開始するまでに要する時間、前記第２の撮像部の１フレーム分の露光時間、に基づく第１オフセットを設定する第１設定工程と、
前記同期制御装置の第２設定手段が、前記開始信号の検出タイミングと同期タイミングの基準との間の時間、センサが第２同期信号を受けてから計測を開始するまでに要する時間、に基づく第２オフセットを設定する第２設定工程と、
前記同期制御装置の第１供給手段が、前記開始信号を検知すると、前記開始信号の検出タイミングから前記第１オフセット後に前記第１同期信号を生成し、該生成した第１同期信号を前記第２の撮像部に供給する第１供給工程と、
前記同期制御装置の第２供給手段が、前記開始信号を検知すると、前記開始信号の検出のタイミングから前記第２オフセット後に前記第２同期信号を生成し、該生成した第２同期信号を前記センサに供給する第２供給工程と
を備えることを特徴とする同期制御装置の制御方法。
同期制御装置と、画像処理装置と、を有するシステムであって、
前記同期制御装置は、
第１の撮像部からの画像出力の開始タイミングを示す開始信号の検出タイミングと同期タイミングの基準との間の時間、第２の撮像部が第１同期信号を受けてから露光を開始するまでに要する時間、前記第２の撮像部の１フレーム分の露光時間、に基づく第１オフセットを設定する第１設定手段と、
前記開始信号の検出タイミングと同期タイミングの基準との間の時間、センサが第２同期信号を受けてから計測を開始するまでに要する時間、に基づく第２オフセットを設定する第２設定手段と、
前記開始信号を検知すると、前記開始信号の検出タイミングから前記第１オフセット後に前記第１同期信号を生成し、該生成した第１同期信号を前記第２の撮像部に供給する第１供給手段と、
前記開始信号を検知すると、前記開始信号の検出タイミングから前記第２オフセット後に前記第２同期信号を生成し、該生成した第２同期信号を前記センサに供給する第２供給手段と
を備え、
前記画像処理装置は、
前記第１の撮像部により撮像された撮像画像と、前記第１同期信号を受けたことに応じて前記第２の撮像部が撮像した撮像画像と、前記第２同期信号を受けたことに応じて前記センサが計測した位置姿勢と、を前記同期制御装置から取得する取得手段と、
前記第２の撮像部が撮像した撮像画像と前記センサが計測した位置姿勢とに基づいて仮想空間の画像を生成し、該生成した仮想空間の画像と前記第１の撮像部が撮像した撮像画像との合成画像を生成する手段と、
前記合成画像を前記同期制御装置に出力する手段と
を備える
ことを特徴とするシステム。
前記同期制御装置は、前記第１の撮像部、前記第２の撮像部、前記センサ、前記合成画像を表示する表示部、を有する頭部装着型表示装置であることを特徴とする請求項１３に記載のシステム。