JP6855313B2 - 画像表示システム、画像表示装置および画像表示方法 - Google Patents

Description

本発明は、複数の画像データ同士の同期をとるための技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術を利用した画像表示システムが知られている。このような画像表示システムでは、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像して撮像映像を得るものが知られている。この画像表示システムでは、得られた撮像映像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ内部パネルに表示する。ＨＭＤ装着者は、ＨＭＤ内部パネルに表示される、ＣＧが重畳表示された画像を観察する。

その際、撮像映像を相互に時間同期することが重要となる場合もある。例えば、ユーザが立体視可能なＨＭＤでは、左眼と右眼とのそれぞれに対応して同時に２つの撮像映像を撮像し、それぞれの撮像映像について異なる画像処理を実行したり、ＣＧの重畳処理を行う外部装置へと送信する場合がある。

しかしながら、左眼と右眼とに対応する撮像映像に対して異なる画像処理を行ったり、外部の装置へと送信する場合、画像処理に起因する遅延時間が異なったり、通信状況によって送信に要する時間が異なる場合がある。特許文献１は、複数の映像入力に対し異なる画像処理を行う場合にも、複数の映像同士が同期できるように、撮像が行われた時刻をタイムスタンプ情報として発行する画像処理装置を開示する。特許文献１に記載された画像処理装置は、発行されたタイムスタンプ情報を撮像映像に含まれる画像に直接埋め込むことによって映像の同期をとっている。このようにタイムスタンプ情報を撮像映像に含まれる画像に埋め込むことで、タイムスタンプ情報を撮像映像とは別個に記憶して両者を関連付けるという処理が不要となり、画像処理装置にかかる負荷を小さくすることができる。

特開２００８−１６７３４８

しかし、複数の映像同士の同期をとるための情報としてタイムスタンプ情報を用い、撮像映像に含まれる画像に直接タイムスタンプ情報を埋め込む方法では、タイムスタンプ情報を埋め込むことで、画像の画質が劣化する。従って、ユーザに対して劣化した画像を表示せざるを得ず、複合現実感が損なわれるおそれがある。

上記課題を解決するために、本発明は、現実空間を第１の撮像手段で撮像した第１の画像データ、第２の画像データと、第２の撮像手段で撮像した第３の画像データ、第４の画像データと、を取得する取得手段と、前記取得した第１から第４の画像データそれぞれに対して、前記第１から第４の画像データ同士の同期をとるための情報を、各画像データを構成する画素のうち少なくとも１つの画素のデータに埋め込む埋め込み手段と、前記第１から第４の画像データそれぞれに埋め込まれた同期をとるための情報に基づいて、前記第１から第４の画像データ同士の同期をとる同期手段と、前記同期のとられた第１の画像データと第３の画像データとに基づいて前記第２の画像データおよび第４の画像データに重畳させるＣＧの位置を算出する算出手段と、前記算出された位置に基づいて、前記第２の画像データおよび第４の画像データにＣＧを重畳させて第１の合成画像データおよび第２の合成画像データを生成する生成手段と、前記生成された第１の合成画像データおよび第２の合成画像データを第１の表示部と第２の表示部に表示する表示手段と、を有し、前記埋め込み手段は、前記第１の合成画像データおよび第２の合成画像データが前記第１の表示部および第２の表示部に表示される際に相対的に視認性の低い領域に含まれる画素に対応する前記第１から第４の画像データ上の画素に前記同期を取るための情報を埋め込むことを特徴とする。

本発明によれば、複数入力される撮像映像を同期化するためにタイムスタンプ情報を埋め込んだ場合にも、画質の劣化を軽減し、違和感のない複合現実感をユーザに提供することができる。

画像表示システムの機能ブロック図。 タイムスタンプ情報付与の詳細を説明するためのタイミングチャート。 撮像映像に対する遅延処理を表す機能ブロック図。 タイムスタンプ埋め込み部の機能ブロック図。 タイムスタンプ埋め込み部の動作を示すタイミングチャート。 画像同期部の機能ブロック図。 タイムスタンプ情報解析部の動作を示すフローチャート。 ＨＭＤの表示部の説明図。 プリズム体を通じてユーザが見る映像の説明図。 第２実施形態の表示部の機能ブロック図。 グラデーション処理された映像の説明図。 第３実施形態の表示部の機能ブロック図 （ａ）は合成画像の説明図、（ｂ）はプリズム体を通じてユーザが見る映像の説明図。 （ａ）はタイムスタンプ情報が埋め込まれる領域の説明図、（ｂ）は歪み補正の詳細を表す説明図。

[第１実施形態]
以下、本発明の第１実施形態を、図面を参照しつつ詳細に説明する。
図１に、本発明の一実施形態による画像表示システムの機能ブロック図を示す。図示されるように、画像表示システムは、撮像部１０、画像処理部１１、画像合成部１２および表示部１３を有する。撮像部１０はそれぞれユーザの左眼および右眼の位置に対応して設けられた２つのカメラ１０１、１０２を有し、これらのカメラが撮像を行って撮像映像１、２をそれぞれ生成する。画像処理部１１は、撮像映像に対して画像処理を行う。画像合成部１２は、撮像映像１、２の内容に応じて撮像映像１、２に重畳するＣＧデータの位置を演算してそれぞれ表示映像を生成する。表示部１３は、ＣＧが合成された撮像映像１、２を、それぞれユーザの左眼と右眼に対応する２つのディスプレイ１３１、１３２に表示する。

撮像部１０、画像処理部１１、および表示部１３は、本画像表示システムにおける画像表示装置に相当するヘッドマウントディスプレイ（以下、ＨＭＤ）に備えられている。一方、画像処理部１２は、画像表示装置（ＰＣ）に備えられている。ＨＭＤと画像処理装置は、互いに有線方式または無線方式により接続され、それぞれＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア構成を備える。そして、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有しており、ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。以上の構成により、撮像部１０を含むＨＭＤを頭部に装着したユーザは、現実空間を撮影された映像にＣＧを重畳した映像をＨＭＤ内部のディスプレイを通じて観察することができ、現実と仮想世界とがリアルタイムに融合した複合現実感を体感することができる。

本実施形態では、２つのカメラ１０１、１０２は、視差を有する２つの撮像映像１、２をそれぞれ撮像する。画像処理部１１は、撮像映像１、２に各種画像処理を実行し、かつ、画像処理された撮像映像１、２に撮像時刻を表すタイムスタンプ情報の埋め込み処理を行う。画像合成部１２は、タイムスタンプ情報が埋め込まれた撮像映像１、２にＣＧを合成する画像合成処理を行う。

表示部１３は、ＣＧが合成された撮像映像１、２をそれぞれディスプレイ１３１、１３２に表示する。このように表示することで、ユーザの左眼および右眼に視差に応じた異なる映像が表示され、立体視および複合現実感の体験が可能となる。

以下、本実施形態の画像表示システムの各機能部の詳細を説明する。撮像部１０は、１０〜１００ｍｓの周期でフレームごとに現実空間における被写体像を撮影する、ＣＣＤやＣＭＯＳ等の半導体素子を用いたカメラ１０１、１０２を有する。カメラ１０１、１０２は、互いに異なるカメラデバイスであってもよく、また、異なるフレームレートで動作してもよい。

本実施形態では、説明の簡素化のためにカメラ１０１、１０２共に６０Ｈｚ（１６．６７ｍｓ周期）で撮影を行うものとして説明する。カメラ１０１は、撮像した画像とともに垂直同期信号、水平同期信号、ブランキング信号などの１画面分の映像の表示期間を示す信号を撮像映像１として出力する。同様に、カメラ１０２は、撮像した画像とともに垂直同期信号、水平同期信号、ブランキング信号などの１画面分の映像の表示期間を示す信号を撮像映像２として出力する。

画像処理部１１は、撮像映像１、２をカメラ１０１、１０２より取得する。そして、撮像映像１、２のそれぞれについて、垂直同期信号により映像のフレーム始まりを検知し、水平同期信号により１フレーム中の画像におけるラインの始まりを検知し、ブランキング信号により有効画像領域であるかを検知する。また、画像処理部１１は、複数の映像の同期をとるための情報（タイムスタンプ情報）を生成するタイムスタンプ生成部１１０と、撮像映像１、２のそれぞれに対してタイムスタンプ情報を付与するタイムスタンプ付与部１１１、１１２を有する。

以下、カメラ１０１から出力されて画像処理部１１に入力される撮像映像１に対する処理について説明する。タイムスタンプ生成部１１０は、常に内部で時刻を計測する。時刻の計測方法としては、内部にカウンタを持ち規定サイクルをカウントする方法や、ＣＰＵなどの処理装置などを使用したタイマー、外部からの基準信号などでカウントアップされるＩＤ情報などの方法が挙げられるが、これらに限定されるわけではない。

画像処理部１１に入力される撮像映像１とタイムスタンプ生成部１１０の出力とはタイムスタンプ付与部１１１に入力される。タイムスタンプ付与部１１１は、入力される撮像映像１に応じてタイムスタンプ生成部１１０よりタイムスタンプ情報を取得し、撮像映像１にタイムスタンプ情報を付与する。なお、タイムスタンプ付与部１１１は、撮像映像１に対してタイムスタンプ情報を付与するが、これは、後述する“埋め込み”とは異なり、タイムスタンプ情報を撮像映像の各フレームに付帯させる（紐付ける）ものである。

タイムスタンプ付与部１１１からの撮像映像１の出力およびタイムスタンプ情報の出力は、それぞれ２分岐される。撮像映像１の一方の出力は、画像補正部１１１４に入力される。撮像映像１の他方の出力は、画像補正部１１１５に入力される。同様に、タイムスタンプ付与部１１２から出力されるタイムスタンプ情報の一方の出力は画像補正部１１２４に入力され、他方の出力は画像補正部１１２５に入力される。
一方の撮像映像はＣＧを合成して合成映像を生成する際の背景として用いられ、他方の撮像画像はマーカ、自然特徴等を検出してカメラ１０１、１０２（すなわちＨＭＤ）の位置姿勢を計算するための画像として用いられる。このようにそれぞれ用途が異なることから、撮像映像１、２を２分岐させている。つまり、用途が異なる複数の撮像画像には適した画像処理も異なることから、上記のとおり、分離生成して異なる画像処理を施すようにしている。
本実施形態では、撮像映像１、２の各フレーム画像を２分岐させる際、背景用画像と位置姿勢算出用画像とは同じ画像であると説明する。すなわち、撮像映像１のフレーム画像については、その背景用画像も位置姿勢算出用画像も元の撮像映像１のフレーム画像と同じであり、撮像映像２に関しても同様である。ただし、背景用画像と位置姿勢算出用画像とは同じ画像である必要はなく、画角や解像度を異ならせるようにしてもよい。

画像補正部１１１４で画像補正処理された撮像映像１の出力は、色変換処理を行う色変換部１１１６に入力される。色変換部１１１６で色変換処理された撮像映像１の出力は、タイムスタンプ埋め込み部１１１８に入力される。なお、タイムスタンプ付与部１１１によって撮像映像に対してタイムスタンプ情報が付与（紐付け）されてから、タイムスタンプ埋め込み部１１１８に入力されるまで、撮像映像に対してタイムスタンプ情報は紐付けされたままである。そして、タイムスタンプ埋め込み部１１１８は、色変換処理された撮像映像１に対してタイムスタンプ情報を埋め込んで画像合成部１２に出力する。

撮像映像１の他方の出力およびタイムスタンプ情報の他方の出力に対しては、画像補正部１１１５、色変換部１１１７およびタイムスタンプ埋め込み部１１１９で同様の処理がなされる。また、カメラ１０２から出力されて画像処理部１１に入力される撮像映像２に対する処理は撮像映像１と同様であるので説明は省略する。なお、本実施形態では、カメラ１０１および１０２に対してそれぞれ同一の画像処理を行っているが、異なる画像処理を行うこともできる。

図２に、タイムスタンプ付与部１１１、１１２におけるタイムスタンプ情報付与の詳細を説明するためのタイミングチャートを示す。この図では、タイムスタンプ生成部１１０は、実時間５ｍｓごとにカウントアップすることで時刻の計測をしているものとして説明する。図２には撮像映像１の垂直同期信号および撮像映像２の垂直同期信号も示される。撮像映像１の垂直同期信号は、信号の立ち上がりを基準にフレームの切り替わりを示しており、次の立ち上がりまでの期間は１６．６７ｍｓである。このとき、タイムスタンプ付与部１１２は、撮像映像１の垂直同期信号の立ち上がりを検知し、その時点におけるタイムスタンプ生成部１１０で生成したタイムスタンプ情報を取得する。撮像映像２についても同様である。

撮像映像１の垂直同期信号の立ち上がり時点ではタイムスタンプ情報は“２”であり、次の垂直同期信号の立ち上がりでは“５”である。以降、このようにして、タイムスタンプ付与部１１１は、撮像映像１の垂直同期信号の立ち上がりのタイミングにおけるタイムスタンプ生成部１１０からの入力情報をタイムスタンプ情報として発行する。タイムスタンプ付与部１１２は、撮像映像２に対して、上述の撮像映像１に対する処理と同様の動作を行う。

このように、タイムスタンプ付与部１１１、１１２は、入力される撮像映像１のタイミングに応じてタイムスタンプ生成部１１０よりタイムスタンプ情報を取得し、撮像映像１、撮像映像２にそれぞれタイムスタンプ情報を発行する。そして、タイムスタンプ付与部１１１は、タイムスタンプ情報を撮像映像の各フレームに紐付ける（付帯させる）。なお、本実施形態においては、タイムスタンプ付与部１１１、１１２が撮像映像１の垂直同期信号の立ち上がりに応じてタイムスタンプ情報を更新する構成について説明した。しかし、タイムスタンプ付与部１１１、１１２の構成はこれに限定されるものではない。例えば水平同期信号に応じてタイムスタンプ情報を更新してもよい。また、撮像映像１、２のどちらかについて入力される垂直同期信号に応じてタイムスタンプ情報を更新するなどしてもよい。従って、タイムスタンプ付与部１１１、１１２は、入力される撮像映像１、２のタイミングを判別できる任意の手段を用いることができる。

以下、撮像映像１に対して、画像補正部１１１４、１１１５、色変換部１１１６、１１１７、タイムスタンプ埋め込み部１１１８、１１１９により実行される処理を説明する。なお、撮像映像２に対して画像補正部１１２４、１１２５、色変換部１１２６、１１２７、タイムスタンプ埋め込み部１１２８、１１２９により実行される処理は、撮像映像１に対して実行される処理と同様であるので説明を省略する。

図３は、画像補正部１１１４、１１１５によって行われる撮像映像に対する遅延処理を表す機能ブロック図である。

図３において、画像補正部１１１４のブロック３１１〜３１３とブロック３１４〜３１５は、それぞれ、入力される撮像映像１に対して画像補正処理を行う。ここでの画像補正処理とは、カメラの画素の欠損を補正するカメラ１０１、１０２の画素配列がベイヤー配列のカメラである場合はベイヤーデータからＲＧＢ信号を生成するベイヤー補間処理、撮像の光学特性を補正するシェーディング補正などである。

これらの画像補正処理の内容自体には特に制限はないことから、本実施形態においては、各ブロック３１１〜３１５における画像補正処理は、それぞれ単に処理Ａ〜Ｅとして記載し、その処理内容については説明を省略する。また、画像補正部１１１４と画像補正部１１１５とでは異なる画像補正処理を行うものとして説明を行う。

画像補正部１１１４のブロック３１１と画像補正部１１１５のブロック３１４には、ともに図３において撮像映像１が入力される。図中では入力される撮像映像１をＤ１として示す。同様に、図中では、ブロック３１１〜３１５により処理Ａ〜Ｅがそれぞれ行われた撮像映像１がそれぞれＤａ〜Ｄｅとして示される。
一方、画像補正部１１１４のブロック３２１と画像補正部１１１５のブロック３２４には、ともに図３においてＴとして示されるタイムスタンプ情報が入力される。

ブロック３１１は、撮像映像１に対して処理Ａを実行し、処理Ａが実行された撮像映像１を出力する。同様に、ブロック３１２〜３１５は、入力された撮像映像１に対して処理Ｂ〜Ｅをそれぞれ実行して撮像映像１を出力する。この際、各ブロック３１１〜３１５で処理Ａ〜処理Ｅを実行すると、処理内容に応じて処理時間の遅延がそれぞれ発生する。

図３のブロック３２１〜３２５は、それぞれブロック３１１〜３１５から処理Ａ〜Ｅの遅延情報を受け取り、受け取った遅延情報に基づいてタイムスタンプ情報Ｔを出力する。例えば、ブロック３１１における処理Ａによる遅延情報が１ｍｓである場合、ブロック３２１は遅延情報（１ｍｓ）を受け取り、タイムスタンプＴを１ｍｓだけ遅延させた上でブロック３２２へと出力する。これにより、ブロック３１１において１ｍｓの遅延が発生しても、タイムスタンプ情報Ｔも１ｍｓ遅延してから出力されるため、タイムスタンプ情報Ｔは映像１と紐付された状態のままとなる。

画像補正部１１１４および１１１５は、補正処理を実行するブロック数が異なり、また、実行する補正処理の内容も異なるので、発生する遅延時間も相異なる。しかしながら、本実施形態では、上述したように、各ブロック３２１〜３２５において遅延情報処理を実行する。これにより、タイムスタンプ付与部１１１によって撮像映像に対してタイムスタンプ情報が付与されてから、タイムスタンプ埋め込み部１１１８に入力されるまで、タイムスタンプ情報Ｔは映像に紐付けされたままとなる。
色変換部１１１６、１１１７は、入力される撮像映像のＲＧＢ成分をＹＵＶ成分へと変更する演算処理を行い、色空間の変換を行う。ＲＧＢからＹＵＶの変換に関しては例えば以下のような式を用いて実現する。
Y = 0.299×R ＋ 0.587×G ＋ 0.114×B
U = −0.169×R − 0.331×G ＋ 0.500×B
V = 0.500×R − 0.419×G − 0.081×B

ここで、一般的に、Ｙは輝度信号、ＵとＶは色差信号と表現される。また、人間の眼は輝度信号の変化に対しては敏感であるが、色差信号の変化には鈍感であるため、色変換部１１１６、１１１７においてはＵＶデータを圧縮したＹＵＶ４２２フォーマットやＹＵＶ４１１フォーマットなどの演算を行う構成としてもよい。

次に、タイムスタンプ埋め込み部１１１８により、画像処理の施された撮像映像１、２に対してタイムスタンプの埋め込みを行う。画像処理を実行する前に撮像映像のデータにタイムスタンプを埋め込んでしまうと、画像処理によって画素のデータ（画素値）が変更されるため、画像処理後のタイミングでタイムスタンプの埋め込みを行う。タイムスタンプ埋め込み部１１１８について詳細に説明する。図４にタイムスタンプ埋め込み部１１１８の詳細な機能ブロック図を示す。なお、タイムスタンプ埋め込み部１１１９も同様の構成であるので説明は省略する。

タイムスタンプ埋め込み部１１１８は、ラインカウンタ４０１、ピクセルカウンタ４０２、埋め込み判定部４０３、埋め込み実行部４０４を有する。ラインカウンタ４０１には垂直同期信号および水平同期信号が入力され、撮像映像１に含まれる画像における垂直方向の画素位置がカウントされる。ピクセルカウンタ４０２には水平同期信号が入力され、水平方向の画素位置がカウントされる。埋め込み判定部４０３にはラインカウンタ４０１とピクセルカウンタ４０２の出力がそれぞれ入力される。埋め込み判定部４０３は、これらの入力に応じて求められる入力ピクセル位置に基づいて、タイムスタンプ情報の埋め込み位置を識別し、埋め込み実行部に対して埋め込み許可信号を発行する。また、埋め込み判定部４０３は、垂直同期信号および水平同期信号を出力する。

埋め込み実行部４０４は、埋め込み判定部４０３から入力される埋め込み許可信号に応じて、撮像映像１に対して識別された埋め込み位置にタイムスタンプ情報を埋め込む。ここで、上述のように人間の眼は色差信号の変化には鈍感である。このことから、本実施形態では、撮像映像１を構成する画像における所定の画素におけるＵＶ変換後の色差信号Ｕ／Ｖに対してタイムスタンプ情報の埋め込み処理を行う。しかし、タイムスタンプ情報の埋め込み先はこの形態に限定されるものではなく、例えばＲＧＢ信号等の他の信号にタイムスタンプ情報を埋め込んでもよい。

埋め込み許可信号が発行される垂直方向および水平方向の画素位置によって、撮像映像１に対するタイムスタンプ情報を埋め込む画素が選択される。撮像映像１におけるタイムスタンプ情報を埋め込む画素の位置は、ディスプレイ１３１、１３２を通じてユーザに表示される画像においてユーザにとって相対的に視認性が低い位置、あるいは視認されない位置となるように定められる。その詳細は後述する。

図５に、タイムスタンプ埋め込み部１１１８におけるタイムスタンプ情報の埋め込み処理のタイミングチャートを示す。図中において、ラインカウント値、ピクセルカウント値は、ラインカウンタ４０１およびピクセルカウンタ４０２から出力されるカウント値をそれぞれ示す。
入力色差信号は、色変換部１１１６から入力されるＹＵＶ信号のうち、色差信号であるＵＶ信号を示している。また、タイムスタンプ情報Ｔは、色変換部１１１６を通じて入力される情報である。このとき、埋め込み判定部４０３から出力される埋め込み許可信号は、図５のように変化するものとする。

本実施形態における埋め込み許可信号は、４ｂｉｔの信号であり、タイムスタンプ情報Ｔと同じｂｉｔ幅を持っている。埋め込み実行部４０４は、埋め込み許可信号を２進法で表したときの各ｂｉｔを、タイムスタンプ情報の各ｂｉｔを入力色差信号に埋め込むためのイネーブル信号として認識する。具体的には、埋め込み許可信号が０ｘ１である場合には、タイムスタンプ情報Ｔを２進法で表したときの第１ｂｉｔによって入力色差信号の最下位ｂｉｔを置換して出力色差信号を生成する。同様に、埋め込み許可信号が０ｘ２、０ｘ４および０ｘ８である場合には、それぞれタイムスタンプ情報Ｔを２進法で表したときの第２ｂｉｔ、第３ｂｉｔおよび第４ｂｉｔによって入力色差信号の最下位ｂｉｔを置換して出力色差信号を生成する。

以下、図５を参照して上記処理の詳細を説明する。図５において、タイムスタンプ情報Ｔ＝０ｘＡ（２進法表記では１０１０）であり、その第１ｂｉｔは０、第２ｂｉｔは１、第３ｂｉｔは０、第４ｂｉｔは０である。
埋め込み許可信号が“０ｘ１”のとき、埋め込み実行部４０４は、この埋め込み許可信号を、タイムスタンプ情報Ｔを表す４ｂｉｔ信号のうち第１ｂｉｔを入力色差信号に埋め込むためのイネーブル信号とみなす。埋め込み許可信号が“０ｘ１”のときの入力色差信号は０ｘ６Ｄであり、その最下位ｂｉｔは「１」である。従って、最下位ｂｉｔの「１」をタイムスタンプ情報Ｔの第１ｂｉｔである「０」で置き換える。その結果として、入力色差信号の値である０ｘ６Ｄは１デクリメントされて０ｘ６Ｃに変更され、この値が出力色差信号として出力される。

埋め込み許可信号が“０ｘ２”のとき、埋め込み実行部４０４は、この埋め込み許可信号を、タイムスタンプ情報Ｔを表す４ｂｉｔ信号のうち第２ｂｉｔを入力色差信号に埋め込むためのイネーブル信号とみなす。埋め込み許可信号が“０ｘ２”のときの入力色差信号は０ｘ８Ｆであり、その最下位ｂｉｔは「１」である。従って、最下位ｂｉｔの「１」をタイムスタンプ情報Ｔの第２ｂｉｔである「１」で置き換える。その結果として、入力色差信号の値である０ｘ８Ｆは変更されず、入力色差信号が出力色差信号としてそのまま出力される。

埋め込み許可信号が“０ｘ４”のとき、埋め込み実行部４０４は、この埋め込み許可信号を、タイムスタンプ情報Ｔを表す４ｂｉｔ信号のうち第３ｂｉｔを入力色差信号に埋め込むためのイネーブル信号とみなす。埋め込み許可信号が“０ｘ４”のときの入力色差信号は０ｘ６Ｆであり、その最下位ｂｉｔは「１」である。従って、最下位ｂｉｔの「１」をタイムスタンプ情報Ｔの第３ｂｉｔである「０」で置き換える。その結果として、入力色差信号の値である０ｘ６Ｆはデクリメントされて０ｘ６Ｅに変更され、この値が出力色差信号として出力される。

埋め込み許可信号が“０ｘ８”のとき、埋め込み実行部４０４は、この埋め込み許可信号を、タイムスタンプ情報Ｔを表す４ｂｉｔ信号のうち第４ｂｉｔを入力色差信号に埋め込むためのイネーブル信号とみなす。埋め込み許可信号が“０ｘ８”のときの入力色差信号は０ｘ８Ｅであり、その最下位ｂｉｔは「０」である。従って、最下位ｂｉｔの「０」をタイムスタンプ情報Ｔの第４ｂｉｔである「１」で置き換える。その結果として、入力色差信号の値である０ｘ８Ｅはインクリメントされて０ｘ８Ｆに変更され、この値が出力色差信号として出力される。

このようにして、出力色差信号０ｘ６Ｃ、０ｘ８Ｆ、０ｘ６Ｅ、０ｘ８Ｆの最下位ｂｉｔに、「１０１０」というタイムスタンプ情報Ｔが埋め込まれる。なお、このタイムスタンプ情報Ｔを埋め込む処理によって入力色差信号が「１」だけデクリメントまたはインクリメントされる場合があり、結果として画質は劣化する。しかしながら、入力色差信号は最大でも「１」しか変化しないので、入力色差信号が表す色が激しく変化することはなく、画質の劣化を抑制したうえでタイムスタンプ情報を入力色差信号に埋め込むことができる。

このようにして、画像処理部１１によりタイムスタンプ情報が埋め込まれた撮像映像１、２は、外部Ｉ／Ｆを介して画像処理装置に送信される。そして、画像処理装置の画像合成部１２は、ＨＭＤより送信された埋め込まれた撮像映像１、２を外部Ｉ／Ｆを介して受信、取得する。

次に、画像合成部１２における、撮像映像１、２に対する処理を説明する。画像合成部１２では、画像処理部１１から入力される撮像映像１、２に対してＣＧを重畳し、表示映像として出力する。図１に示されるように、画像合成部１２は、異なるタイミングで入力される複数の撮像映像に対して同期処理を行う画像同期部１２１、同期化された複数の撮像映像を解析することでＣＧ描画位置を計算するＣＧ描画位置演算部１２２を有する。また、画像合成部１２は、演算されたＣＧ描画位置に応じて該当のＣＧコンテンツを重畳するＣＧ合成部１２３をも有する。画像同期部１２１は、ＨＭＤと画像処理装置との通信経路の通信状況等により、撮像映像１、２の入力タイミングが異なるものとなった場合に、それぞれの画像内部に埋め込まれたタイムスタンプ情報を比較することによって画像間の同期をとる処理を行う。

図６に、画像同期部１２１の機能ブロック図を示す。画像同期部１２１は、撮像映像１に埋め込まれているタイムスタンプ情報を分離するタイムスタンプ情報分離部６０１、６０２を有する。また、画像同期部１２１は、分離された複数のタイムスタンプ情報を解析して画像（撮像映像の各フレーム）の転送を制御するタイムスタンプ情報解析部６０３をも有する。更に、画像同期部１２１は、撮像映像をバッファリングするフレームバッファ６０４、６０５と、要求に応じてフレームバッファへのライト・リードを制御するメモリコントローラ６０６、６０７を有する。

以下、画像処理部１１から入力される撮像映像１、２に対するタイムスタンプ情報分離部６０１、６０２、タイムスタンプ情報解析部６０３、フレームバッファ６０４、６０５、メモリコントローラ６０６、６０７による処理を説明する。
タイムスタンプ情報分離部６０１は、入力される撮像映像１を構成する画像の上述した埋め込み位置にある画素における上述した出力色差信号からタイムスタンプ情報を分離して復元する。

具体的には、図５に示されるように埋め込み許可信号で指定される埋め込み実行期間におけるラインカウント値から垂直方向の画素位置を求め、ピクセルカウント値水平方向の画素位置を求める。上述したようにタイムスタンプ情報の値は「１０１０」であり、この値は、ラインカウント値が０ｘ０で、ラインカウンタ値が０ｘ７７Ｃ、０ｘ７７Ｄ、０ｘ７７Ｅおよび０ｘ７７Ｆである位置の画素に埋め込まれている。従って、画像の垂直方向の一番下ラインでかつ水平方向に１７９２〜１７９５番目の画素のそれぞれの色差信号における第１ｂｉｔから、入力されるタイムスタンプ情報Ｔの値「１０１０」を求めることができる。
このようにタイムスタンプ情報を復元した後に、色差信号の最下位ｂｉｔを例えばすべて「１」にするか、または「０」にしてもよく、あるいは、タイムスタンプ情報を復元した後の色差信号をそのまま用いるようにしてもよい。

タイムスタンプ情報分離部６０１は、タイムスタンプ情報と画像データを分離した後に、メモリコントローラ６０６に対して画像のライト要求を発行して画像データを送るとともに、タイムスタンプ情報をタイムスタンプ情報解析部６０３へと送る。メモリコントローラ６０６は、画像ライト要求に応じてフレームバッファ６０４にライト処理を行う。
タイムスタンプ情報分離部６０２は、入力される撮像映像２に対して、タイムスタンプ情報解析部６０３、フレームバッファ６０５、メモリコントローラ６０７を通じて同様の処理を行う。

タイムスタンプ情報解析部６０３は、タイムスタンプ情報分離部６０１から入力されるタイムスタンプ情報に基づいてメモリコントローラ６０６に対して画像リード要求を発行する。これに応じてメモリコントローラ６０６はフレームバッファ６０４に対してリード処理を行う。また、タイムスタンプ情報解析部６０３は、タイムスタンプ情報分離部６０２から入力されるタイムスタンプ情報に基づいてメモリコントローラ６０７に対して画像リード要求を発行する。これに応じてメモリコントローラ６０７はフレームバッファ６０５に対してリード処理を行う。

図７に、タイムスタンプ情報解析部６０３の動作を示すフローチャートを示す。タイムスタンプ情報解析部６０３は、入力された複数のタイムスタンプを、時間を基準として並び替えるソート処理を行う（Ｓ７０１）。このとき、一番古いタイムスタンプ情報を基準として、内部のカウンタ値の初期値を設定する（Ｓ７０２）。本実施形態では、タイムスタンプ情報の最小値をカウンタの初期値として設定する。

次に、Ｓ７０２で設定された初期値から内部カウンタの動作を開始する（Ｓ７０３）。このときのカウンタは、画像処理部１１に含まれるタイムスタンプ生成部１１０と同周期のカウンタとする。ソートされたタイムスタンプ情報の最小値から内部カウンタのカウンタ値との比較を開始し（Ｓ７０４）、カウンタ値とタイムスタンプ情報が一致していた場合（Ｓ７０４：Ｙ）、リード要求を発行し（Ｓ７０５）、Ｓ７０６に進む。その他の場合（Ｓ７０４：Ｎ）、再度Ｓ７０４を実行する。

Ｓ７０６では、すべてのリード要求が発行済みであるかを判定する（Ｓ７０６）。すべてのリード要求が発行済みではない場合（Ｓ７０６：Ｎ）、再度Ｓ７０６を実行する。すべてのリード要求が発行済みである場合（Ｓ７０６：Ｙ）、処理を終了する。このようなステップを毎フレームごとに実行することで、タイムスタンプ情報解析部６０３は、異なるタイミングで入力される複数の撮像映像同士の時間のずれを正しく設定することが可能となる。
以上のようにして、本実施形態では、撮像映像１の背景用画像、位置姿勢算出用画像、撮像映像２の背景用画像、位置姿勢算出用画像の４つの画像について、正しく画像同士の同期がとられるようになる。

図１に戻ると、ＣＧ描画位置演算部１２２は、入力される複数の撮像映像の画像（撮像映像１の位置姿勢用画像および撮像映像２の位置姿勢用画像）を解析し、ＨＭＤの位置姿勢を推定すると共に、ＣＧの描画位置を算出する演算を行う。この計算は複数の撮像映像から求めるので、互いの映像の時間関係が正確に判明しているほど、描画位置算出の精度が向上する。本実施形態の場合、上記のとおり正しく同期がとれているため、精度よくＨＭＤの位置姿勢を推定することができる。
本実施形態では、撮像映像１の位置姿勢用画像および撮像映像２の位置姿勢用画像は、タイムスタンプ情報を参照して正しいタイミングで入力されているので、ＣＧ描画位置演算部１２２は高い精度でＣＧ描画位置を求めることが可能となる。

ＣＧ合成部１２３は、ＣＧ描画位置演算部１２２で求められた描画位置情報に基づいて撮像映像１、２の背景用画像に対してＣＧを描画し画像の合成処理を行うことで合成画像を生成する。この際、ＣＧ合成部１２３は、ＣＧ描画位置を算出する際に用いた位置算出用画像と同期のとれた撮像映像１、２の背景用画像にＣＧを描画する。
従って、撮像映像の背景用画像に対してＣＧを意図した位置に配置して合成画像を生成することができ、撮像映像の背景用画像の任意の位置にＣＧコンテンツを正しいタイミングで配置した複合現実映像（合成画像）を形成することができる。

画像合成部１２によって生成された合成画像のデータ（合成画像データ）は、画像処理装置からＨＭＤへと送信される。そして、ＨＭＤに設けられた表示部１３は、画像合成部１２によってＣＧが合成された映像を、液晶ディスプレイや有機ＥＬディスプレイなどの表示パネルを用いたディスプレイ１３１、１３２に表示する。

次に、タイムスタンプ情報埋め込み部１１１８および１１１９で行われる、タイムスタンプ情報を埋め込む画素を選択する処理について詳細に説明する。
図８に、表示部１３の説明図を示す。表示部１３は、ユーザの左眼ＥＬおよび右眼ＥＲの前方にそれぞれ配置されて、ほぼ長方形の表示領域を有するディスプレイ１３１、１３２を有する。なお、ディスプレイ１３１、１３２はユーザの顔とほぼ平行に配置されるが、説明の都合上、図８ではディスプレイ１３１、１３２をいずれもユーザの顔に垂直に配置し拡大して示す。

ディスプレイ１３１と左眼ＥＬ、ディスプレイ１３２と右眼ＥＲの間には、それぞれ左眼用のプリズム体１１Ｌと右眼用のプリズム体１１Ｒとが配置されている。これらプリズム体１１Ｌとプリズム体１１Ｒとにより光学素子が構成される。プリズム体１１Ｌは、図示されるように略四角柱の形状であって、ユーザの顔に対向する４つの角部をそれぞれ有する。４つの角部のうち、ユーザの鼻に近接する角部は、ユーザがＨＭＤを装着した際に鼻と干渉しないように、ユーザの鼻の形状に合わせてその表示領域を減少させた部分を有する。この実施形態では、ユーザの鼻に近接する角部を切断して表示領域を減少するものとした。

このように切断された部分は、図８において裁頭部１２Ｌとして示される。なお、この実施形態では、表示部１３におけるディスプレイ１３１、１３２をユーザの鼻と干渉しないようにその表示領域を減少させているが、ユーザの眼窩等、ユーザの顔における任意の部分についても、干渉を避ける形状として表示領域を減少させることができる。

同様に、プリズム体１１Ｒも略四角柱の形状であって、ユーザの顔に対向する４つの角部をそれぞれ有する。４つの角部のうち、ユーザの鼻に近接する角部は、ユーザがＨＭＤを装着した際に鼻とぶつからないようにユーザの鼻の形状に合わせて切断されている。このように切断された部分は、図８において裁頭部１２Ｒとして示される。

なお、ユーザの鼻の形状にあわせて切断された裁頭部１２Ｌ、１２Ｒの領域は、「鼻逃げ」とも呼称される。本実施形態においては、左眼に対応するディスプレイ１３１では、ほぼ長方形の形状である表示領域のうち右下の領域が鼻逃げ領域となる。また、右眼に対応するディスプレイ１３２では、ほぼ長方形の形状である表示領域のうち左下の領域が鼻逃げ領域となる。

プリズム体１１Ｌおよび１１Ｒにより、ディスプレイ１３１、１３２から入射した光束はユーザの眼ＥＬおよびＥＲに導かれる。しかし、プリズム体１１Ｌ、１１Ｒの裁頭部１２Ｌ、１２Ｒは、上述のようにプリズム体１１Ｌ、１１Ｒの一部を切断して形成されているので、ディスプレイ１３１、１３２から裁頭部１２Ｌ、１２Ｒに入射した光束はユーザの眼には導かれない。従って、ディスプレイ１３１、１３２において裁頭部１２Ｌ、１２Ｒに対応する、ユーザの鼻側に近接した部分にあたる映像は、ユーザの鼻に向かうにつれてなだらかに減光する。

以上のことから、ディスプレイ１３１、１３２に表示される映像において、裁頭部１２Ｌ、１２Ｒに対応する領域の映像は、ユーザが視認しにくいか、またはユーザが視認できない領域となる。なお、本明細書では、ユーザが視認できない領域および視認しにくい領域を合わせて、相対的に視認性の低い領域と記載する。逆に、相対的に視認性の高い領域とは表示領域の中央等である。本実施形態においては、タイムスタンプ情報を、相対的に視認性が低い領域となる裁頭部１２Ｌ、１２Ｒの領域に相当する画像データ上の領域に埋め込む。

図９は、本実施形態におけるプリズム体１１Ｌ、１１Ｒを通じてユーザが見る映像の説明図である。図中において、映像９０１は、ディスプレイ１３１に表示されてユーザの左眼がプリズム体を通して観察する映像である。鼻逃げ領域９０５は、ディスプレイ１３１から裁頭部１２Ｌを通過した光束がユーザの左眼ＥＬに導かれないことからユーザの鼻に近接する端部に向かって減光している領域である。本実施形態において、タイムスタンプ情報は、鼻逃げ領域９０５に対応する、撮像映像１において映像９０１の右下の領域９０３で示される位置の画素に埋め込まれる。

図９において、映像９０２は、ディスプレイ１３２に表示されてユーザの右眼がプリズム体を通して観察する映像である。鼻逃げ領域９０６は、ディスプレイ１３１から裁頭部１２Ｒを通過した光束がユーザの右眼ＥＬに導かれないことからユーザの鼻に近接する端部に向かって減光している領域である。本実施形態において、タイムスタンプ情報は、鼻逃げ領域９０６に対応する映像９０２の左下の領域９０４で示される画素位置に埋め込まれる。
このように、タイムスタンプ情報を埋め込んだことで画質が劣化しても、その領域をユーザにとって相対的に視認性が低い位置に配置することができる。

以上説明したように、本実施形態では、撮像映像を構成する画像においてタイムスタンプ情報が埋め込まれる領域は、その位置が、ディスプレイ１３１、１３２でユーザにとって相対的に視認性が低い鼻逃げ領域に対応するように選択および設定される。これによって、タイムスタンプ情報を埋め込んだことで画質が劣化した領域を、視認性が低くユーザが複合現実感を体験する上で視覚的に重要性の低い位置に配置することができる。従って、入力される撮像映像１、２の同期化によるＣＧ描画位置の精度向上を図りながら、ユーザに対しては違和感なく複合現実感を提供することができる。

また、人間の眼にとって鈍感である色差信号にタイムスタンプ情報を埋め込んでいるので、画質の劣化の程度をより軽減することができる。
なお、本実施形態では、画像処理部１１において、カメラ１０１、１０２の２つのカメラからの映像を更に２つに分岐している。しかし、ＨＭＤにカメラを４つ配置することで、このような分岐を行わないようにしてもよい。

［第２実施形態］
本発明の第２実施形態を図１０、図１１を参照して説明する。図１０は、本発明の第２実施形態のＨＭＤにおける表示部１３の機能ブロック図である。図１１は、第２実施形態においてプリズム体を通してユーザが見る、グラデーション処理された映像の説明図である。第２実施形態では、表示部１３以外の構成は第１実施形態と同様であるため詳細な説明は省略する。第２実施形態においては、表示部１３に、左右の視差画像をユーザが自然に観察できるようにするためのグラデーション処理部１００１および１００２が追加されている。

本実施形態は、ディスプレイ１３１、１３２により左右の眼に異なる画角の映像を表示させて、一部の画角のみ左右の眼で重なるように観察させることで、被写体を立体視できるようにしている。しかしながら、このような構成では単眼領域と両眼領域の境界部が目立ってしまい自然な観察ができないという現象が発生する。この現象は、左右の眼の視野闘争により、片眼には画像が表示されるが、もう片方の眼には画像が表示されずディスプレイのパネルの非表示部などの黒部が見えてしまうことで生じてしまう。そのため、本実施形態では、グラデーション処理部を設けて、表示される映像に対してグラデーション処理を実行することで黒部を目立たないようにする。

グラデーション処理部１００１には、撮像映像１の各フレームの画像にＣＧが重畳された合成画像が画像合成部１２から入力される。グラデーション処理部１００１は、入力された合成画像に対してグラデーション処理を行う。
同様に、グラデーション処理部１００２には、撮像映像２の各フレームの画像にＣＧが重畳された合成画像が画像合成部１２から入力される。グラデーション処理部１００２は、入力された合成画像に対してグラデーション処理を行う。

図１１の映像９０１は、ディスプレイ１３１に表示され、ユーザの左眼がプリズム体を通して観察する映像である。映像９０２は、ディスプレイ１３２に表示され、ユーザの右眼がプリズム体を通して観察する映像である。このような映像９０１、９０２をユーザが観察すると、ユーザの頭の中で映像９０１、９０２が融合されて、一部領域で重複するように観察される。しかし、その際、映像９０１の左端の一部は左眼だけで観察される単眼領域、映像９０２の右端の一部は右眼だけで観察される単眼領域となり、重複して観察される重複領域との境界が目立ってしまうという問題がある。そこで、図１１に示すように、境界部に接する位置にグラデーション領域１１０１、１１０２を設けて、この境界部の影響を軽減する。

グラデーション領域１１０１は、ＣＧが重畳された撮像映像１に対してグラデーション処理部１００１によりグラデーション処理が行われた領域である。
グラデーション処理部１００１は、ユーザが両眼で立体視する際に重複領域と単眼領域との境界に接する内側の領域に相当する、左眼の映像９０１の右端部にグラデーション処理を行う。このグラデーション処理によって、映像９０１の内部から右端に向かってなだらかに映像の輝度が落とされる。

図１１の映像９０２は、ディスプレイ１３２に表示され、ユーザの右眼がプリズム体を通して観察する映像である。グラデーション領域１１０３は、ＣＧが描画された撮像映像２に対してグラデーション処理部１００２によりグラデーション処理が行われた領域である。
グラデーション処理部１００２は、ユーザが両眼で立体視する際に重複領域と単眼領域との境界に接する内側の領域に相当する、右眼の映像９０２の左端部にグラデーション処理を行う。このグラデーション処理によって、映像９０２の内部から左端に向かってなだらかに映像の輝度が落とされる。

第２実施形態において、グラデーション処理部１００１、１００２は、映像のグラデーション領域の水平位置に応じて０％から１００％までゲイン値を線形に変化させ、そのゲイン値を映像の画素値にかけ合わせる。これにより、グラデーション領域１１０１および１１０３の画素値を得る。本実施形態においては、グラデーション処理部１００１、１００２はグラデーション領域の水平位置に応じて輝度値を変化させるが、これに限らず、垂直位置に対してもゲイン値を変化させ、ゲイン値を非線形に変化させてもよい。

また、本実施形態において、タイムスタンプ情報埋め込み部１１１８、１１１９で埋め込まれるタイムスタンプ情報は、グラデーション領域１１０１および１１０３内の位置に埋め込まれる。図１０においては、撮像映像１に対するタイムスタンプ情報は、左眼の映像９０１の左端部の埋め込み領域１１０２の１以上の画素に埋め込まれる。同様に、撮像映像２に対するタイムスタンプ情報は、右眼の映像９０２の左端部の埋め込み領域１１０４の１以上の画素に埋め込まれる。これら埋め込み領域１１０２、１１０４は、表示部に表示される合成画像において輝度の減少した領域であり、ユーザにとって相対的に視認性の低い領域となっている。

以上説明したように、本実施形態では、撮像映像を構成する画像においてタイムスタンプ情報が埋め込まれる領域は、その位置が、ディスプレイ１３１、１３２でユーザにとって相対的に視認性が低いグラデーション領域に対応するように設定される。なお、本実施形態では、重複領域と単眼領域との境界に接する内側の領域にグラデーション領域を設定したが、境界の外側の領域にグラデーション領域を設定してもよいし、その両方に設定してもよい。すなわち、本実施形態は重複領域と単眼領域との境界に接する領域にグラデーション処理を実行する際に広く適用できるものである。

［第３実施形態］
本発明の第３実施形態を図１２、図１３に従って説明する。
図１２は、第３実施形態のＨＭＤにおける表示部１３の機能ブロック図である。
第３実施形態では、表示部１３以外の構成は第１実施形態と同様であるため詳細な説明は省略する。第３実施形態においては、光学歪みを生じる光学部材としてのプリズム体１１Ｌおよび１１Ｒの光学歪みを補正するための表示歪み補正部１２０１および１２０２が表示部１３に設けられている。

表示歪み補正部１２０１には、撮像映像１の各フレームの画像にＣＧが重畳された合成画像が画像合成部１２から入力される。表示歪み補正部１２０１は、合成画像に対して表示歪み補正処理を行う。
同様に、表示歪み補正部１２０２には、撮像映像２の各フレームの画像にＣＧが重畳された合成画像が画像合成部１２から入力される。表示歪み補正部１２０２は、合成画像に対して表示歪み補正処理を行う。

図１３（ａ）は、本実施形態における撮像映像１のフレーム画像にＣＧが重畳された合成画像の説明図、図１３（ｂ）は、プリズム体１１Ｌを通じてユーザが見る映像の説明図である。プリズム体１１Ｌを通過した映像には、光学的に糸巻型の歪みが生じる。説明のために、図１３（ａ）では、格子状の複数の線分の合成映像１３０１が表示されている。このような合成映像１３０１をそのままディスプレイ１３１に表示したときにユーザがプリズム体１１Ｌを通じて視認する映像を図１３（ｂ）に示す。図中の映像９０１の格子の歪みに示されるように、ユーザが視認する映像では、各辺の中央位置近傍が映像の中心に向かって拡大されて歪んだものとなる。

特に、図１３（ａ）においてＬ１で示される、合成画像１３０１の下辺中央部で映像の下端からある程度離れた位置にある線分は、図１３（ｂ）においては、撮像映像１の下辺の中央部で映像の下端近傍にある上に凸の曲線として表示される。一方、図１３（ａ）においてＬ２で示される、撮像映像１の下辺の中央部で映像の下端近傍にある線分は、ユーザには観察されない。このように、プリズム体１１Ｌ、１１Ｒにおいては、光学歪みによって表示領域内から外れる領域が生じる。

図１４（ａ）は、本実施形態における合成映像１４０１における、タイムスタンプ埋め込み部１１１８によってタイムスタンプ情報の埋め込み領域１４０２の説明図である。図示されるように、埋め込み領域１４０２は、光学歪みによって表示領域内から外れる領域に配置され、具体的には、図１３（ａ）におけるＬ２の近傍の位置に設定される。従って、プリズム体１１Ｌを通じてユーザが見る映像には埋め込み領域１４０２は表示されない。

図１４（ｂ）は、表示歪み補正部１２０１によって表示歪み補正を行うときの歪み補正の詳細を表す説明図である。表示歪み補正部１２０１による歪み補正は、図１３（ｂ）に示されるように、プリズム体１１Ｌによる歪みが補償するように樽型に画面を歪ませる。従って、表示歪み補正部１２０１による歪み補正では、図１４（ｂ）のように合成映像１４０３の中心部付近が周囲の辺に向かって拡大される。また、合成映像１４０３の各辺の中央部近傍は画面外に向かって凸になるように歪められる。その結果、埋め込み領域１４０２は、図１４（ｂ）においてはユーザに表示される領域外に移動されている。なお、表示歪み補正部１２０２による表示歪み補正についても同様である。

このように、本実施形態では、表示歪み補正部１２０１はプリズム体１１Ｌの糸巻型の光学歪みを補償するように合成映像（合成画像）を歪ませ、結果として歪みのない映像をユーザに表示する。その結果、埋め込み領域１４０２は、ユーザには表示されなくなっている。なお、プリズム体１１Ｒについても同様にして、タイムスタンプ情報が埋め込まれる領域の位置を設定する。表示光学系の光学歪み補正自体は公知の技術であるので、その詳細な説明は省く。

また、本実施形態において、プリズム体１１Ｌ、１１Ｒの歪みとして糸巻型の歪みを説明した。しかし、プリズム体１１Ｌ、１１Ｒの歪みはこれに限定されない。いずれの場合においても、表示歪み補正部１２０１は、プリズム体１１Ｌ、１１Ｒの光学的な歪みを補償するように画面を歪ませる。そして、タイムスタンプ情報が埋め込まれる領域の全体または少なくとも一部は、ユーザに表示される画像において表示領域外となる位置に設定される。

以上のように、第１〜第３実施形態では、撮像映像においてタイムスタンプ情報が埋め込まれる位置は、ユーザに表示される画像において特定の位置となるように任意に設定できる。この特定の位置は、ユーザに視認されないかまたは視認性が低い位置、あるいは、ユーザが複合現実感を体験する上で視覚的に重要性の低い位置とすることができる。従って、複数入力される撮像映像同士を同期化してＣＧ描画位置の精度向上を図りながら、ユーザに対しては違和感なく複合現実感を提供できる。

Claims (19)

1. 現実空間を第１の撮像手段で撮像した第１の画像データ、第２の画像データと、第２の撮像手段で撮像した第３の画像データ、第４の画像データと、を取得する取得手段と、
   前記取得した第１から第４の画像データそれぞれに対して、前記第１から第４の画像データ同士の同期をとるための情報を、各画像データを構成する画素のうち少なくとも１つの画素のデータに埋め込む埋め込み手段と、
   前記第１から第４の画像データそれぞれに埋め込まれた同期をとるための情報に基づいて、前記第１から第４の画像データ同士の同期をとる同期手段と、
   前記同期のとられた第１の画像データと第３の画像データとに基づいて前記第２の画像データおよび第４の画像データに重畳させるＣＧの位置を算出する算出手段と、
   前記算出された位置に基づいて、前記第２の画像データおよび第４の画像データにＣＧを重畳させて第１の合成画像データおよび第２の合成画像データを生成する生成手段と、前記生成された第１の合成画像データおよび第２の合成画像データを第１の表示部と第２の表示部に表示する表示手段と、を有し、
   前記埋め込み手段は、前記第１の合成画像データおよび第２の合成画像データが前記第１の表示部および第２の表示部に表示される際に相対的に視認性の低い領域に含まれる画素に対応する前記第１から第４の画像データ上の画素に前記同期を取るための情報を埋め込むことを特徴とする、
   画像表示システム。
2. 前記第１から第４の画像データそれぞれについて、輝度信号と色差信号とを生成する色変換手段を更に有し、
   前記埋め込み手段は、前記第１から第４の画像データの前記少なくとも１つの画素について、前記色差信号のデータと前記同期を取るための情報とを置換することを特徴とする、
   請求項１に記載の画像表示システム。
3. 前記埋め込み手段は、前記第１から第４の画像データそれぞれの複数の画素に、前記同期を取るための情報を埋め込むことを特徴とする、
   請求項１に記載の画像表示システム。
4. 前記同期を取るための情報として、時刻に関する情報を生成する生成手段を更に有し、前記生成手段は、前記取得手段が前記第１から第４の画像データを取得したタイミングに係る時刻に関する情報を生成することを特徴とする、
   請求項１〜３のいずれかに記載の画像表示システム。
5. 前記取得した第１から第４の画像データに対して画像処理を実行する画像処理手段を更に有し、
   前記画像処理手段は、前記画像処理の実行に伴う遅延に応じて、前記同期を取るための情報を遅延させる遅延処理を実行し、
   前記埋め込み手段は、前記遅延処理された同期を取るための情報を埋め込むことを特徴とする、
   請求項１〜４のいずれかに記載の画像表示システム。
6. 前記表示手段は、ユーザの頭部に装着して使用される画像表示装置に設けられていることを特徴とする、
   請求項１〜５のいずれかに記載の画像表示システム。
7. 前記第１の合成画像データおよび第２の合成画像データを前記第１の表示部および第２の表示部に表示するための光学系を更に有し、
   前記埋め込み手段は、前記相対的に視認性の低い領域として前記光学系の角部が切断された領域を通過して表示される領域に含まれる画素に対応する前記第１から第４の画像データ上の画素に前記同期を取るための情報を埋め込むことを特徴とする、
   請求項１〜６のいずれかに記載の画像表示システム。
8. 前記光学系が切断された角部は、ユーザの鼻と干渉する部分であることを特徴とする、
   請求項７に記載の画像表示システム。
9. 前記第１の合成画像データおよび第２の合成画像データにグラデーション処理を実行するグラデーション処理手段を更に有し、
   前記埋め込み手段は、前記相対的に視認性の低い領域として前記グラデーション処理が実行された領域に含まれる画素に対応する前記第１から第４の画像データ上の画素に前記同期を取るための情報を埋め込むことを特徴とする、
   請求項１〜５のいずれかに記載の画像表示システム。
10. 前記表示手段は、前記グラデーション処理が実行された第１の合成画像データおよび第２の合成画像データの一部を互いに重複させて表示することを特徴とする、
    請求項９に記載の画像表示システム。
11. 前記第１の合成画像データおよび第２の合成画像データを前記第１の表示部および第２の表示部に表示する際の光学歪みを補正する補正手段を更に有し、
    前記埋め込み手段は、前記相対的に視認性の低い領域として前記光学歪みの補正によって表示領域に含まれなくなる領域に含まれる画素に対応する前記第１から第４の画像データ上の画素に前記同期を取るための情報を埋め込むことを特徴とする、
    請求項１〜５のいずれかに記載の画像表示システム。
12. 前記第１の撮像手段はユーザの左眼に対応した撮像手段であり、前記第２の撮像手段はユーザの右眼に対応した撮像手段であることを特徴とする、
    請求項１〜１１のいずれかに記載の画像表示システム。
13. 前記第１の撮像手段および前記第２の撮像手段は、前記表示手段が備えられている画像表示装置に設けられていることを特徴とする、
    請求項１２に記載の画像表示システム。
14. 前記埋め込み手段は、前記少なくとも１つの画素のデータの最下位ビットのデータと、前記同期をとるための情報とを、置換することを特徴とする、
    請求項１に記載の画像表示システム。
15. 前記同期手段は、前記第１から第４の画像データそれぞれに埋め込まれた同期をとるための情報を、前記第１から第４の画像データから分離する分離手段を有することを特徴とする、
    請求項１に記載の画像表示システム。
16. 現実空間を第１の撮像手段で撮像した第１の画像データ、第２の画像データと、第２の撮像手段で撮像した第３の画像データ、第４の画像データと、を取得する取得手段と、
    前記取得した第１から第４の画像データそれぞれに対して、前記第１から第４の画像データ同士の同期をとるための情報を、各画像データを構成する画素のうち少なくとも１つの画素のデータに埋め込む埋め込み手段と、
    前記同期をとるための情報が埋め込まれた第１から第４の画像データを画像処理装置に送信する送信手段と、
    前記画像処理装置について、前記第１から第４の画像データそれぞれに埋め込まれた同期をとるための情報に基づいて、生成された第１の合成画像データおよび第２の合成画像データを受信する受信手段と、
    前記受信された第１の合成画像データおよび第２の合成画像データを第１の表示部と第２の表示部に表示する表示手段と、を有し、
    前記埋め込み手段は、前記第１の合成画像データおよび第２の合成画像データが前記第１の表示部および第２の表示部に表示される際に相対的に視認性の低い領域に含まれる画素に対応する前記第１から第４の画像データ上の画素に前記同期を取るための情報を埋め込むことを特徴とする、
    画像表示装置。
17. 前記埋め込み手段は、前記第１から第４の画像データそれぞれの複数の画素に、前記同期を取るための情報を埋め込むことを特徴とする、
    請求項１６に記載の画像表示装置。
18. 前記同期を取るための情報として、時刻に関する情報を生成する生成手段を更に有し、前記生成手段は、前記取得手段が前記第１から第４の画像データを取得したタイミングに係る時刻に関する情報を生成することを特徴とする、
    請求項１６または１７に記載の画像表示装置。
19. 現実空間を第１の撮像手段で撮像した第１の画像データ、第２の画像データと、第２の撮像手段で撮像した第３の画像データ、第４の画像データと、を取得するステップと、
    前記取得した第１から第４の画像データそれぞれに対して、前記第１から第４の画像データ同士の同期をとるための情報を、各画像データを構成する画素のうち少なくとも１つの画素のデータに埋め込むステップと、
    前記第１から第４の画像データそれぞれに埋め込まれた同期をとるための情報に基づいて、前記第１から第４の画像データ同士の同期をとるステップと、
    前記同期のとられた第１の画像データと第３の画像データとに基づいて前記第２の画像データおよび第４の画像データに重畳させるＣＧの位置を算出するステップと、
    前記算出された位置に基づいて、前記第２の画像データおよび第４の画像データにＣＧを重畳させて第１の合成画像データおよび第２の合成画像データを生成するステップと、前記生成された第１の合成画像データおよび第２の合成画像データを第１の表示部と第２の表示部に表示するステップと、を有し、
    前記埋め込むステップでは、前記第１の合成画像データおよび第２の合成画像データが前記第１の表示部および第２の表示部に表示される際に相対的に視認性の低い領域に含まれる画素に対応する前記第１から第４の画像データ上の画素に前記同期を取るための情報を埋め込むことを特徴とする、
    画像表示方法。

Images