JP5113426B2 - 頭部装着型表示装置、及びその制御方法 - Google Patents

Description

本発明は、画像の表示技術に関するものである。

近年、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに次のような技術が知られている。即ち、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像する。そして、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ装着者の眼前に提示する。

図１２は、一般的なビデオシースルー型複合現実システム（以下、単にシステム）の機能構成を示すブロック図である。以下では、図１２を用いて、一般的なシステムについて説明する。

図１２に示す如く、システムは、画像処理装置１２０２とビデオシースルー型ＨＭＤ１２０１とで構成されている。

ビデオシースルー型ＨＭＤ１２０１は、撮像部１２０３、表示部１２０４、三次元位置センサ１２０５、Ｉ／Ｆ（インターフェース）１２０６により構成されている。画像処理装置１２０２は、一般にはパソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置であって、Ｉ／Ｆ１２０７、位置姿勢情報生成部１２０８、ＣＧ描画合成部１２１０により構成されている。

先ず、ビデオシースルー型ＨＭＤ１２０１を構成する上記各部について説明する。

撮像部１２０３は、ビデオシースルー型ＨＭＤ１２０１を頭部に装着する装着者の視点位置と略一致する位置から、視線方向に略一致する方向に見える外界の画像（現実空間画像）を撮像する。撮像部１２０３は、一般にはステレオ画像を生成するために、右目用、左目用のそれぞれについて設けられるものであり、撮像素子、光学系、画像処理を行うためのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）から構成される。

表示部１２０４は、画像処理装置１２０２から送出されたＭＲ画像を表示する。表示部１２０４についても、右目用、左目用のそれぞれについて設けられるものであり、表示デバイス、光学系から構成される。表示デバイスには、小型の液晶ディスプレイやＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）による網膜スキャンタイプのデバイスが用いられる。

三次元位置センサ１２０５は、自身の位置姿勢を計測するためのものであり、磁気センサやジャイロセンサ（加速度、角速度）が使用される。

Ｉ／Ｆ１２０６は、ビデオシースルー型ＨＭＤ１２０１と画像処理装置１２０２とを繋ぐためのものである。撮像部１２０３が撮像した画像や、三次元位置センサ１２０５が計測した結果はこのＩ／Ｆ１２０６を介して画像処理装置１２０２に転送される。また、画像処理装置１２０２側で生成したＭＲ画像はこのＩ／Ｆ１２０６を介してビデオシースルー型ＨＭＤ１２０１に入力される。Ｉ／Ｆ１２０６には、リアルタイム性が求められかつ大容量の伝送が可能な、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバ、に対応するコネクタが使用される。

次に、画像処理装置１２０２を構成する上記各部について説明する。

Ｉ／Ｆ１２０７は、画像処理装置１２０２とビデオシースルー型ＨＭＤ１２０１とを繋ぐためのものである。撮像部１２０３が撮像した画像や、三次元位置センサ１２０５が計測した結果はこのＩ／Ｆ１２０７を介して画像処理装置１２０２に転送される。また、画像処理装置１２０２側で生成したＭＲ画像はこのＩ／Ｆ１２０７を介してビデオシースルー型ＨＭＤ１２０１に入力される。

位置姿勢情報生成部１２０８は、ビデオシースルー型ＨＭＤ１２０１から受け取った、三次元位置センサ１２０５が計測した結果に基づいて、ビデオシースルー型ＨＭＤ１２０１の装着者の視点の位置姿勢を示す位置姿勢情報を求める。もちろん、このほかにも、撮像部１２０３が撮像した画像中に写っているマーカなどを用いて、視点の位置姿勢情報を生成する方法を用いても良い。

コンテンツ１２０９は、仮想空間を構成する各仮想物体に係るデータを記憶している記憶装置である。

ＣＧ描画合成部１２１０は、コンテンツ１２０９に記憶されたデータに従った仮想空間を、位置姿勢情報生成部１２０８が生成した位置姿勢情報が示す位置姿勢を有する視点から見た画像（ＣＧ）を生成する。そしてＣＧ描画合成部１２１０は、Ｉ／Ｆ１２０７を介してビデオシースルー型ＨＭＤ１２０１から受けた画像上にこのＣＧを合成したＭＲ画像を生成する。そして生成したＭＲ画像をＩ／Ｆ１２０７を介してビデオシースルー型ＨＭＤ１２０１に送出する。

以上説明した構成により、ビデオシースルー型ＨＭＤ１２０１の装着者は、現実世界と仮想世界とがリアルタイムかつシームレスに融合した複合現実世界を体験することができる。

ビデオシースルー型ＨＭＤを用いる上記システムでは、ＨＭＤと画像処理装置との間の通信にエラーが発生した場合であっても、装着者の視界を確保することが重要である。特に、画像の伝送に無線方式を採用した場合には、使用環境や装置間の距離によっては、エラーの発生頻度が大きくなる。通信エラーが発生した場合、赤外線による映像伝送時に搬送波がなくなってから一定時間前のフレームを静止画像として表示するとともに、併せて警告メッセージを表示する手法が提案されている（特許文献１）。

また、次のような手法も提案されている。即ち、複数カメラによる立体動画像表示システムにおいて、復号エラー発生時に他方のチャンネルに記憶されている画像データの一部または全体を、エラーの発生したチャンネルにも転送する制御を行う。そして、エラーが発生した画像データの一部または全体を補間して表示する（特許文献２）。
特開平５−７６０７８号公報 特開平７−３２２３０２号公報

しかしながら上述した従来技術には、以下のような問題があった。

無線画像伝送時にエラーが発生して画像の伝送が困難になった場合、単に正常に受け取った前フレームの画像を表示すると、装着者が移動している場合には、実際に外界がどうなっているかがわからない、即ち、使用者の視界の確保が困難になる問題がある。

また、別の従来例のように補間処理を行う場合も、エラーの発生量や頻度が大きくなると、同一画像やステレオ画像もしくは前フレームを用いたとしても画像の復元が困難になり、同じく装着者の視界を確保することが困難となる。

本発明は以上の問題に鑑みて成されたものであり、観察者の両眼に対して画像を提示する場合に、あるフレームの画像にエラー箇所が生じても、係るエラー箇所をより簡便且つ容易に修正し、好適な画像を提供するための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の頭部装着型表示装置は以下の構成を備える。

即ち、観察者の眼前に画像を表示する頭部装着型表示装置であって、
観察者の一方の目に対して画像を提示するための提示部と、他方の目に対して画像を提示する為の提示部とを有し、
それぞれの前記提示部は、
フレームの画像を順次、入力する入力手段と、
前記入力手段が入力したフレームの画像にエラー箇所が存在するか否かを判断する判断手段と、
前記フレームの画像にエラー箇所は存在しないと前記判断手段が判断した場合には、当該フレームの画像を表示部に表示させ、前記フレームの画像にエラー箇所が存在すると前記判断手段が判断した場合には、当該フレームの画像として他方の前記提示部が有する前記入力手段が入力したフレームの画像を前記表示部に表示させる表示制御手段と
を備えることを特徴とする。

本発明の構成によれば、観察者の両眼に対して画像を提示する場合に、あるフレームの画像にエラー箇所が生じても、係るエラー箇所をより容易に修正し、好適な画像を提供することができる。

以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
図１は、本実施形態に係るシステムの機能構成を示すブロック図である。図１に示す如く、本実施形態に係るシステムは、ＰＣ（パーソナルコンピュータ）等のコンピュータに代表される画像処理装置１０２と、頭部装着型表示装置の一例としてのビデオシースルー型ＨＭＤ１０１と、で構成されている。そして画像処理装置１０２とビデオシースルー型ＨＭＤ１０１とは、無線で互いに通信を行う。

先ず、ビデオシースルー型ＨＭＤ１０１について説明する。

撮像部１０３は、ビデオシースルー型ＨＭＤ１０１を頭部に装着した観察者の目（左目、右目の何れでも良い）に近い位置に、観察者の視線方向に向けて取り付けられたものである。撮像部１０３は、動画像を撮像するビデオカメラ（撮像装置）であり、撮像した各フレームの画像（現実空間画像）は後段のＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）生成部１１４、無線Ｉ／Ｆ１０４に順次送出される。無線Ｉ／Ｆ１０４は、撮像部１０３から受けた各フレームの画像を順次無線で画像処理装置１０２に対して送信する。

詳しくは後述するが、画像処理装置１０２からは現実空間画像上に仮想空間画像が重畳されたＭＲ画像（合成画像）が送信されるので、無線Ｉ／Ｆ１０４はこの送信されたＭＲ画像を受信（入力）し、後段のエラー検出部１０９、補間部１１２に送出する。

補間部１１２は無線Ｉ／Ｆ１０４から合成画像を受ける毎に、受けた合成画像をフレームバッファ１１３に格納する。

一方、エラー検出部１０９は、無線Ｉ／Ｆ１０４から受けた合成画像中にエラー箇所（エラー領域）が存在するか否かをチェック（判断）する。係るチェックには、パリティチェック、チェックサム、Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ（ＣＲＣ）等の一般的なエラーチェック手法を用いればよい。そして係るチェックの結果を後段のエラー領域・頻度判定部１１０に送出する。

エラー領域・頻度判定部１１０は先ず、エラー検出部１０９による判断の結果を参照する。そしてエラー検出部１０９がエラー箇所を検出していない場合には、その旨をセレクタ１１１に通知する。一方、エラー検出部１０９がエラー箇所を検出した場合には、係る判断の処理の過程で得られる「エラー箇所のサイズ」と、「過去のフレームの画像に対してエラー検出部１０９が判断した結果」とを用いて、後述する判断処理を行う。係る判断処理では次のような判断処理を行う。即ち、現フレームの合成画像を１つ前のフレームの合成画像に置き換えることで現フレームの合成画像におけるエラー箇所を修正（補間）するか、エラー箇所をその周囲の画素群を用いて修正するのか、エラー箇所の修正は不可能であるのか、を判断する。そしてその判断結果を後段のセレクタ１１１に通知する。

セレクタ１１１は、エラー検出部１０９がエラー箇所を検出していない旨をエラー領域・頻度判定部１１０から受けた場合には、補間部１１２に、フレームバッファ１１３に格納されている現フレームの合成画像を読み出すよう指示する。補間部１１２は係る指示に従って合成画像を読み出し、セレクタ１１１に送出する。そしてセレクタ１１１は、この合成画像を表示部１１５に送出する。

また、エラー箇所を修正するために、現フレームの合成画像を１つ前のフレームの合成画像に置き換える旨をエラー領域・頻度判定部１１０から受けた場合、セレクタ１１１は次のように動作する。先ず補間部１１２に、フレームバッファ１１３に格納されている現フレームよりも１つ前のフレームの合成画像を読み出すよう指示する。補間部１１２は係る指示に従って合成画像を読み出し、セレクタ１１１に送出する。そしてセレクタ１１１は、この合成画像を表示部１１５に送出する。

また、エラー箇所をその周囲の画素群を用いて修正する旨をエラー領域・頻度判定部１１０から受けた場合には、セレクタ１１１は次のように動作する。先ず補間部１１２に、フレームバッファ１１３に格納されている現フレームの合成画像を読み出すよう指示する。補間部１１２は係る指示に従って合成画像を読み出し、後述する処理で、係る合成画像中のエラー箇所を修正する。そして修正後の合成画像はセレクタ１１１に送出されるので、セレクタ１１１は、この合成画像を表示部１１５に送出する。

また、エラー箇所の修正は不可能である旨をエラー領域・頻度判定部１１０から受けた場合には、セレクタ１１１は次のように動作する。即ち、セレクタ１１１はＯＳＤ生成部１１４に指示し、ＯＳＤ生成部１１４が現フレームの現実空間画像として撮像部１０３から取得した現実空間画像上に、警告を示すメッセージ情報を重畳させる。係るメッセージ情報は、例えば、仮想空間画像を合成できない旨を示すテキスト文である。もちろん、メッセージ情報には様々な形態が考えられ、これに限定するものではない。そしてセレクタ１１１は、メッセージ情報が重畳された現実空間画像を表示部１１５に送出する。

表示部１１５は、セレクタ１１１から画像を受けるとこれを表示する。表示部１１５は、ビデオシースルー型ＨＭＤ１０１を頭部に装着した観察者の眼前に位置するように、ビデオシースルー型ＨＭＤ１０１に取り付けられたものである。従ってビデオシースルー型ＨＭＤ１０１を頭部に装着した観察者の眼前には、セレクタ１１１から送出された画像が表示されることになる。

次に、画像処理装置１０２について説明する。

無線Ｉ／Ｆ１０５は、無線Ｉ／Ｆ１０４から送信された各フレームの画像を受信すると、これを順次、後段の位置姿勢情報生成部１０６に送出する。

位置姿勢情報生成部１０６は、無線Ｉ／Ｆ１０５から受けた画像を用いて、ビデオシースルー型ＨＭＤ１０１の位置姿勢情報を求める。画像を用いて位置姿勢情報を求めるための処理については後述する。そして、この求めた位置姿勢情報は後段のＣＧ描画合成部１０７に送出される。

コンテンツ１０８は、仮想空間を構成する各仮想物体に係るデータの集合を記憶する記憶装置である。このデータは、例えば、各仮想物体の初期位置姿勢データや、仮想物体がポリゴンで構成されている場合には、各ポリゴンの法線ベクトルデータや色データ、ポリゴンを構成する各頂点の座標値データなどにより構成されている。

ＣＧ描画合成部１０７は、係るコンテンツ１０８に記憶されたデータに従った仮想空間を、位置姿勢情報生成部１０６から受けた位置姿勢情報が示す位置姿勢を有する視点から見た画像を仮想空間画像として生成する。そして生成した仮想空間画像を、無線Ｉ／Ｆ１０５から受けた現実空間画像上に重畳した合成画像を上記ＭＲ画像として生成する。そしてＣＧ描画合成部１０７は、生成したＭＲ画像を無線Ｉ／Ｆ１０５に送出するので、無線Ｉ／Ｆ１０５は係るＭＲ画像を無線でビデオシースルー型ＨＭＤ１０１に対して送信する。

図２は、ビデオシースルー型ＨＭＤ１０１が行う処理のフローチャートである。なお、図２に示したフローチャートに従った処理は、１フレーム分のＭＲ画像を表示部１１５に表示させるための処理であり、実際には、係る処理を繰り返し行う。これにより、複数フレームのＭＲ画像を表示部１１５に表示させることができる。なお、以下では説明上、注目フレーム（２フレーム目以降）のＭＲ画像を表示部１１５に表示させる場合について説明する。

ステップＳ２０１では、撮像部１０３は自身の位置から撮像方向に見える現実空間の撮像を行うことで注目フレームの画像を得る。そして係る画像を無線Ｉ／Ｆ１０４、ＯＳＤ生成部１１４に送出する。

ステップＳ２０２では、無線Ｉ／Ｆ１０４は、ステップＳ２０１で取得した注目フレームの画像を無線で画像処理装置１０２に対して送信する。

画像処理装置１０２は、ステップＳ２０２で送信された画像を用いて上述の処理を行い、注目フレームにおけるＭＲ画像を生成し、無線Ｉ／Ｆ１０５を介して無線でビデオシースルー型ＨＭＤ１０１に送信する。

従ってステップＳ２０７では、無線Ｉ／Ｆ１０４は、画像処理装置１０２から送信された、注目フレームにおけるＭＲ画像を受信する。そして受信したＭＲ画像を、エラー検出部１０９と補間部１１２とに送出する。補間部１１２は係る注目フレームにおけるＭＲ画像をフレームバッファ１１３に格納する。

ステップＳ２０８では、エラー検出部１０９は、注目フレームにおけるＭＲ画像中にエラー箇所があったか否かを判断する。そして係る判断の結果をエラー領域・頻度判定部１１０に通知する。係る判断の結果、エラー箇所があった場合には処理をステップＳ２０９に進め、エラー箇所がなかった場合には処理をステップＳ２１６に進める。

ステップＳ２０８からステップＳ２１６に移行した場合、ステップＳ２１６では、エラー領域・頻度判定部１１０は、エラー検出部１０９がエラー箇所を検出していない旨をセレクタ１１１に通知する。セレクタ１１１は、補間部１１２に、フレームバッファ１１３に格納されている注目フレームにおけるＭＲ画像を読み出すよう指示する。補間部１１２は係る指示に従って注目フレームにおけるＭＲ画像を読み出し、セレクタ１１１に送出する。そしてセレクタ１１１は、このＭＲ画像を表示部１１５に送出する。

一方、ステップＳ２０９では、エラー領域・頻度判定部１１０は、ステップＳ２０８で検出されたエラー箇所を修正するか否か（修正可能か否か）を判断する。

ここで、係る判断処理の詳細について説明する。エラー領域・頻度判定部１１０は、エラー検出部１０９がエラー箇所を検出する処理の過程で得られる「エラー箇所のサイズ」と、「過去のフレームの画像に対してエラー検出部１０９が判断した結果」とを参照する。そして、「エラー箇所のサイズ」が予め定められた閾値以上であるのか否かを判断する。また、注目フレームよりも過去のフレーム（本実施形態では１フレーム前）のＭＲ画像に対してエラー検出部１０９が「エラー箇所有り」と判断したか否かを判断する。ここで、エラー検出部１０９による過去のフレームに対する判断結果は、エラー検出部１０９自身が保持しているものとする。

係る判断の結果、「エラー箇所のサイズ」が予め定められた閾値以上であり、且つ注目フレームより１フレーム前のＭＲ画像に対してエラー検出部１０９が「エラー箇所有り」と判断した場合には、「エラー箇所の修正は不可能」と判断する。

また、「エラー箇所のサイズ」が上記閾値以上で、且つ注目フレームの１フレーム前のＭＲ画像に対してエラー検出部１０９が「エラー箇所無し」と判断した（条件１）場合には、注目フレームのＭＲ画像を１フレーム前のＭＲ画像に置き換える、と判断する。

また、「エラー箇所のサイズ」が上記閾値より小さく、且つ注目フレームの１フレーム前のＭＲ画像に対してエラー検出部１０９が「エラー箇所有り」と判断した（条件２）場合には、エラー箇所をその周囲の画素群を用いて修正する、と判断する。

このようにして、注目フレームにおけるＭＲ画像にエラー箇所がある場合には、係るエラー箇所を修正することが可能であるか否か、可能である場合にはどのようにして修正するのかを判断することができる。なお、「エラー箇所のサイズ」が上記閾値より小さく、且つ注目フレームの１フレーム前のＭＲ画像に対してエラー検出部１０９が「エラー箇所無し」と判断した場合には、どのような方法でエラー箇所を修正しても良い。

以上説明した、エラー領域・頻度判定部１１０による判断結果は後段のセレクタ１１１に送出される。

セレクタ１１１が「エラー箇所の修正は不可能」である旨をエラー領域・頻度判定部１１０から受けた場合には、処理をステップＳ２１０を介してステップＳ２１２に進める。

ステップＳ２１２では先ず、セレクタ１１１はＯＳＤ生成部１１４に指示し、ＯＳＤ生成部１１４が注目フレームにおける現実空間画像として撮像部１０３から取得した現実空間画像上に、警告を示すメッセージ情報を重畳させる。そしてセレクタ１１１は、メッセージ情報が重畳された現実空間画像を表示部１１５に送出する。そしてステップＳ２１６では、表示部１１５は、メッセージ情報が重畳された現実空間画像を表示する。

また、上記（条件１）が満たされた場合には処理をステップＳ２１０を介してステップＳ２１５に進める。

ステップＳ２１５では、セレクタ１１１は先ず補間部１１２に、フレームバッファ１１３に格納されている注目フレームよりも１つ前のフレームのＭＲ画像を読み出すよう指示する。補間部１１２は係る指示に従ってＭＲ画像を読み出し、セレクタ１１１に送出する。そしてセレクタ１１１は、このＭＲ画像を表示部１１５に送出する。そしてステップＳ２１６では、表示部１１５は、注目フレームよりも１つ前のフレームにおけるＭＲ画像を、注目フレームにおけるＭＲ画像として表示する。

また、上記（条件２）が満たされた場合には処理をステップＳ２１０を介してステップＳ２１４に進める。

ステップＳ２１４では、セレクタ１１１先ず補間部１１２に、フレームバッファ１１３に格納されている注目フレームにおけるＭＲ画像を読み出すよう指示する。補間部１１２は係る指示に従ってＭＲ画像を読み出し、後述する処理で、係るＭＲ画像中のエラー箇所を修正する（修正処理）。そして修正後のＭＲ画像はセレクタ１１１に送出されるので、セレクタ１１１は、このＭＲ画像を表示部１１５に送出する。そしてステップＳ２１６では、表示部１１５は、エラー箇所がその周囲の画素群を用いて修正されたＭＲ画像を、注目フレームにおけるＭＲ画像として表示する。

次に、上記位置姿勢情報生成部１０６が、現実空間画像から、撮像部１０３の位置姿勢情報を生成するための処理について説明する。図３は、撮像部１０３により撮像される現実空間の一例を示す図である。図３において３０３はマーカで、様々な情報がコード化された２次元バーコードが記されており、その周囲には枠が記されている。係るマーカ３０３は、図３では現実物体としてのテーブル３０２の上に配されている。そして３０１は、このような現実空間を撮像部１０３によって撮像することで得られる現実空間画像を示す。

撮像部１０３が係る現実空間画像３０１を撮像し、撮像した係る現実空間画像３０１を無線Ｉ／Ｆ１０４、１０５を介して位置姿勢情報生成部１０６に送出すると、位置姿勢情報生成部１０６は先ず、現実空間画像３０１中におけるマーカ３０３を検出する。そして検出したマーカ３０３に記されている２次元バーコードを解析し、係る２次元バーコードの識別情報を認識する。画像処理装置１０２側には、識別情報に対応するマーカの３次元座標位置が予め記憶されているので、係る処理によって識別情報が認識されると、対応する３次元座標位置が特定できる。そして、現実空間画像３０１上のマーカ３０３の座標位置と係る３次元座標位置とを用いれば、後は写真測量などの分野で周知の技術を用いれば、撮像部１０３の位置姿勢情報を生成することができる。なお、マーカ３０３は複数個用いても良い。また、マーカ３０３の代わりに、例えば、画像中のエッジ３０４を用いても良い。また、マーカ３０３として用いることができるものは、２次元バーコードが記されたものに限定するものではなく、例えば、カラーマーカや、ＬＥＤ等の発光素子のような方向性のないマーカを用いても良い。このようにマーカ３０３の代わりに用いることができるものについては様々なものが考え得る。また、これら列挙したものを適宜組み合わせて用いても良い。なお、位置姿勢情報生成部１０６が行う上記処理については周知の技術であるので、これ以上の説明は省略する。

図４は、ビデオシースルー型ＨＭＤ１０１と画像処理装置１０２との間で送受信される画像の例を示す図である。

図４において４０３は撮像部１０３が撮像した現実空間画像であり、係る現実空間画像は画像処理装置１０２側に送信される。画像処理装置１０２は係る現実空間画像上に仮想空間画像を重畳したＭＲ画像４０４を生成し、ビデオシースルー型ＨＭＤ１０１に送信する。ここで、係る送信時に、送信したＭＲ画像にエラー箇所が生じ、エラーＭＲ画像４０５がビデオシースルー型ＨＭＤ１０１側で受信されたものとする。４０５に示す如く、エラーＭＲ画像４０５中におけるエラー箇所（黒で塗りつぶした領域）のサイズは大きく、係るエラー箇所をその周囲の画素群で修正することは困難である。更に、係るエラーＭＲ画像４０５の１つ前のフレームにおける画像でもエラー箇所が存在したとする。この場合、ビデオシースルー型ＨＭＤ１０１は、現実空間画像４０３上に警告を示すメッセージ情報を重畳させた画像４０６を生成し、表示する。

図５は、注目フレームのＭＲ画像を１フレーム前のＭＲ画像に置き換える処理を説明する図である。図５において５０２は注目フレームにおけるＭＲ画像であり、エラー箇所を含む。係るエラー箇所のサイズが上記閾値以上で、且つ注目フレームの１フレーム前のＭＲ画像５０３にはエラー箇所がない場合、ＭＲ画像５０２の代わりにＭＲ画像５０３を表示する。

このような方法は、フレーム間で画像の内容に大きな動きがない場合、即ち、撮像部１０３の動き量が小さい場合には、効果的である。このような場合には、観察者の右目に対して提示するＭＲ画像と左目に対して提示するＭＲ画像との間のズレは小さくなり、ステレオ感が損なわれることもないため、観察者に対して違和感のないＭＲ画像を提供することができる。

図６は、エラー箇所をその周囲の画素群を用いて修正する処理を説明する図である。
図６において領域６０２内にエラー箇所が存在しているものとする。６０３はエラー箇所としての画素であり、係る画素６０３を修正するためにその近傍の８画素６０４を用いる。係る修正では、例えば、８画素６０４のそれぞれの画素値の平均値を求め、係る平均値を画素６０３の画素値として設定する。係る処理の負担の軽減を目的に、垂直方向、水平方向のいずれかの隣接した２画素の画素値の平均値を画素６０３の画素値として設定しても良い。

図６では、エラー箇所としての画素が一つの場合を示しているが、複数の隣接した画素がまとまってエラー箇所を形成している場合にも同様の処理を行えばよい。即ち、エラー箇所に隣接する画素群の画素値の平均値を求め、「エラー箇所を形成する画素」と「エラー箇所に隣接する非エラー箇所を構成する画素」との最短距離に応じて平均値に重み付けしたものを「エラー箇所を形成する画素」の画素値として設定する。

このように、エラー箇所を構成する画素の画素値を修正する方法には様々な手法があり、何れかに限定するものではない。

［第２の実施形態］
本実施形態では、エラー箇所の修正方法として、注目フレームのＭＲ画像を他方の目に対して生成されたＭＲ画像に置き換えることでエラー箇所を修正するか、エラー箇所をその周囲の画素群を用いて修正するか、の何れかの手法を用いる。

図７は、本実施形態に係るシステムの機能構成例を示す図である。図７に示す如く、本実施形態に係るシステムは、画像処理装置７０２とビデオシースルー型ＨＭＤ７０１と、で構成されている。画像処理装置７０２の基本的な動作については図１に示した画像処理装置１０２と同じであり、以下では画像処理装置７０２については第１の実施形態と異なる点について説明する。

先ず、ビデオシースルー型ＨＭＤ７０１について説明する。図７に示す如く、ビデオシースルー型ＨＭＤ７０１は、ビデオシースルー型ＨＭＤ７０１を頭部に装着する観察者の右目に対して画像を提示する提示部と、左目に対して画像を提示する提示部とを有する。なお、図７に示したビデオシースルー型ＨＭＤ７０１の構成において、観察者の右目に対して画像を提示するための構成については参照番号にＲを付し、左目に対して画像を提示する為の構成については参照番号にＬを付している。そして、Ｒ、Ｌを除いた参照番号が同じものについては同じ動作を行うものとする。従って以下では一方側の目に対して画像を提示するための構成について説明するが、同様の説明は他方側の目に対して画像を提示する為の構成についても当てはめることができる。

三次元位置センサ７０４は、自身の位置姿勢を計測するためのものである。三次元位置センサ７０４に適用可能なセンサについては様々なものがあり、特にするものではない。三次元位置センサ７０４が計測した位置姿勢情報は無線Ｉ／Ｆ７０５に送出される。

撮像部７０３Ｒは上記撮像部１０３と同様の撮像動作を行う。即ち、各フレームの現実空間画像を撮像し、順次、後段の無線Ｉ／Ｆ７０５に送出する。

無線Ｉ／Ｆ７０５は、三次元位置センサ７０４から受けた位置姿勢情報と、撮像部７０３Ｒ（７０３Ｌ）から受けた現実空間画像を画像処理装置７０２に対して無線で送信する。

画像処理装置７０２側では、無線Ｉ／Ｆ７０６は、ビデオシースルー型ＨＭＤ７０１から送信された現実空間画像と位置姿勢情報とを後段のＣＧ描画合成部７０８に送出する。

ＣＧ描画合成部７０８は、無線Ｉ／Ｆ７０６から受けた位置姿勢情報が示す位置姿勢に、予め計測された三次元位置センサ７０４と撮像部７０３Ｒとの位置姿勢関係を加えることで、撮像部７０３Ｒの位置姿勢を求める。そして、求めた位置姿勢を有する視点から見た、コンテンツ１０８に記憶されたデータに基づく仮想空間、の画像を生成し、撮像部７０３Ｒが撮像した現実空間画像上に重畳することで、右目用のＭＲ画像を生成する。左目用のＭＲ画像の生成についても同様にして行う。そして右目用のＭＲ画像、左目用のＭＲ画像を無線Ｉ／Ｆ７０６に送出する。無線Ｉ／Ｆ７０６はこれら２つのＭＲ画像を個別に若しくは１つのストリームとしてビデオシースルー型ＨＭＤ７０１に送信する。

無線Ｉ／Ｆ７０５は、画像処理装置７０２から送信された右目用のＭＲ画像、左目用のＭＲ画像を受信すると、それぞれエラー検出部７１０Ｒ、エラー検出部７１０Ｌに送出する。また、右目用のＭＲ画像、左目用のＭＲ画像は補間部７１３にも送出される。

エラー検出部７１０Ｒは、上記エラー検出部１０９と同じ処理を行い、ＭＲ画像中におけるエラー箇所の有無を検出する。

エラー領域・頻度判定部７１１Ｒは先ず、エラー検出部７１０Ｒによる判断の結果を参照する。そしてエラー検出部７１０Ｒがエラー箇所を検出していない場合には、その旨をセレクタ７１２Ｒに通知する。一方、エラー検出部７１０Ｒがエラー箇所を検出した場合には、係る判断の処理の過程で得られる「エラー箇所のサイズ」と、「過去のフレームの画像に対してエラー検出部７１０Ｒが判断した結果」とを用いて、後述する判断処理を行う。係る判断処理では次のような判断処理を行う。即ち、現フレームの右目用のＭＲ画像を、同フレームの左目用のＭＲ画像に置き換えることで現フレームの右目用のＭＲ画像におけるエラー箇所を修正するか、エラー箇所をその周囲の画素群を用いて修正するか、エラー箇所の修正は不可能か、を判断する。そしてその判断結果を後段のセレクタ７１２Ｒに通知する。

セレクタ７１２Ｒは、エラー検出部７１０Ｒがエラー箇所を検出していない旨をエラー領域・頻度判定部７１１Ｒから受けた場合は、補間部７１３が無線Ｉ／Ｆ７０５から受信した「現フレームにおける右目用のＭＲ画像」を取得し、表示部７１５Ｒに送出する。

また、エラー箇所を修正するために、現フレームの右目用のＭＲ画像を、同フレームの左目用のＭＲ画像に置き換える旨をエラー領域・頻度判定部７１１Ｒから受けた場合、セレクタ７１２Ｒは次のように動作する。即ち、補間部７１３から「現フレームにおける左目用のＭＲ画像」を取得し、表示部７１５Ｒに送出する。

また、エラー箇所をその周囲の画素群を用いて修正する旨をエラー領域・頻度判定部７１１Ｒから受けた場合には、セレクタ７１２Ｒは次のように動作する。即ち、補間部７１３が無線Ｉ／Ｆ７０５から受信した「現フレームにおける右目用のＭＲ画像」を取得し、第１の実施形態と同様にして、係るエラー箇所を修正する。そして修正後のＭＲ画像を表示部７１５Ｒに送出する。

また、エラー箇所の修正は不可能である旨をエラー領域・頻度判定部７１１Ｒから受けた場合には、セレクタ７１２Ｒは次のように動作する。即ち、セレクタ７１２ＲはＯＳＤ生成部７１４に指示し、ＯＳＤ生成部７１４が現フレームの現実空間画像として撮像部７０３Ｒから取得した現実空間画像上に、警告を示すメッセージ情報を重畳させる。そしてセレクタ７１２Ｒは、メッセージ情報が重畳された現実空間画像を表示部７１５Ｒに送出する。

表示部７１５Ｒは、セレクタ７１２Ｒから画像を受けるとこれを表示する。表示部７１５Ｒは、ビデオシースルー型ＨＭＤ７０１を頭部に装着した観察者の眼前（右目）に位置するように、ビデオシースルー型ＨＭＤ７０１に取り付けられたものである。従ってビデオシースルー型ＨＭＤ７０１を頭部に装着した観察者の眼前（右目）には、セレクタ７１２Ｒから送出された画像が表示されることになる。

図８は、ビデオシースルー型ＨＭＤ７０１が行う処理のフローチャートである。なお、図８に示したフローチャートに従った処理は、１フレーム分のＭＲ画像を表示部７１５Ｒに表示させるための処理であり、実際には、係る処理を繰り返し行う。これにより、複数フレームのＭＲ画像を表示部７１５Ｒに表示させることができる。また、１フレーム分のＭＲ画像を表示部７１５Ｌに表示させるための処理についても同じ処理を行う。なお、以下では説明上、注目フレーム（２フレーム目以降）の右目用のＭＲ画像を表示部７１５Ｒに表示させる場合について説明する。

ステップＳ８０１では、撮像部７０３Ｒは自身の位置から撮像方向に見える現実空間の撮像を行うことで注目フレームの画像を得る。そして係る画像を無線Ｉ／Ｆ７０５、ＯＳＤ生成部７１４Ｒに送出する。

ステップＳ８０２では、三次元位置センサ７０４は、自身の位置姿勢を計測するので、その計測結果を位置姿勢情報として無線Ｉ／Ｆ７０５に送出する。

ステップＳ８０３では、無線Ｉ／Ｆ７０５は、ステップＳ８０１で取得した注目フレームの画像、ステップＳ８０２で取得した位置姿勢情報、を無線で画像処理装置７０２に対して送信する。

画像処理装置７０２は、上述の処理を行うことで注目フレームにおける右目用のＭＲ画像を生成し、無線Ｉ／Ｆ７０６を介して無線でビデオシースルー型ＨＭＤ７０１に送信する。

従ってステップＳ８０９では、無線Ｉ／Ｆ７０５は、画像処理装置７０２から送信された注目フレームにおける右目用のＭＲ画像を受信する。そして受信したＭＲ画像を、エラー検出部７１０Ｒと補間部７１３とに送出する。

ステップＳ８１０では、エラー検出部７１０Ｒは、注目フレームにおける右目用のＭＲ画像中にエラー箇所があったか否かを判断する。そして係る判断の結果をエラー領域・頻度判定部７１１Ｒに通知する。係る判断の結果、エラー箇所があった場合には処理をステップＳ８１１に進め、エラー箇所がなかった場合には処理をステップＳ８１８に進める。

ステップＳ８１０からステップＳ８１８に移行した場合、ステップＳ８１８では、エラー領域・頻度判定部７１１Ｒは、エラー検出部７１０Ｒがエラー箇所を検出していない旨をセレクタ７１２Ｒに通知する。セレクタ７１２Ｒは、補間部７１３が無線Ｉ／Ｆ７０５から受信した「注目フレームにおける右目用のＭＲ画像」を取得し、表示部７１５Ｒに送出する。

一方、ステップＳ８１１では、エラー領域・頻度判定部７１１Ｒは、ステップＳ８１０で検出されたエラー箇所を修正するか否か（修正可能か否か）を判断する。

ここで、係る判断処理の詳細について説明する。エラー領域・頻度判定部７１１Ｒは、エラー検出部７１０Ｒがエラー箇所を検出する処理の過程で得られる「エラー箇所のサイズ」と、「過去のフレームの画像に対してエラー検出部７１０Ｒが判断した結果」とを参照する。そして、「エラー箇所のサイズ」が予め定められた閾値以上であるのか否かを判断する。また、注目フレームよりも過去のフレーム（本実施形態では１フレーム前）のＭＲ画像に対してエラー検出部７１０Ｒが「エラー箇所有り」と判断したか否かを判断する。ここで、エラー検出部７１０Ｒによる過去のフレームに対する判断結果は、エラー検出部７１０Ｒ自身が保持しているものとする。

係る判断の結果、「エラー箇所のサイズ」が予め定められた閾値以上であり、且つ注目フレームより１フレーム前のＭＲ画像に対してエラー検出部７１０Ｒが「エラー箇所有り」と判断した場合には、「エラー箇所の修正は不可能」と判断する。

また、「エラー箇所のサイズ」が上記閾値以上であると判断した（条件３）場合には、注目フレームにおける右目用のＭＲ画像を、注目フレームにおける左目用のＭＲ画像に置き換える、と判断する。

また、「エラー箇所のサイズ」が上記閾値より小さいと判断した（条件４）場合には、エラー箇所をその周囲の画素群を用いて修正する、と判断する。

このようにして、注目フレームにおけるＭＲ画像にエラー箇所がある場合には、係るエラー箇所を修正することが可能であるか否か、可能である場合にはどのようにして修正するのかを判断することができる。

以上説明した、エラー領域・頻度判定部７１１Ｒによる判断結果は後段のセレクタ７１２Ｒに送出される。

セレクタ７１２Ｒが「エラー箇所の修正は不可能」旨をエラー領域・頻度判定部７１１Ｒから受けた場合には、処理をステップＳ８１２を介してステップＳ８１４に進める。

ステップＳ８１４では先ず、セレクタ７１２ＲはＯＳＤ生成部７１４Ｒに指示し、ＯＳＤ生成部７１４Ｒが注目フレームにおける現実空間画像として撮像部７０３Ｒから取得した現実空間画像上に、警告を示すメッセージ情報を重畳させる。そしてセレクタ７１２Ｒは、メッセージ情報が重畳された現実空間画像を表示部７１５Ｒに送出する。そしてステップＳ８１８では、表示部７１５Ｒは、メッセージ情報が重畳された現実空間画像を表示する。

また、上記（条件３）が満たされた場合には処理をステップＳ８１２を介してステップＳ８１７に進める。

ステップＳ８１７では、セレクタ７１２Ｒは、補間部７１３から「注目フレームにおける左目用のＭＲ画像」を取得し、表示部７１５Ｒに送出する。そしてステップＳ８１８では、表示部７１５Ｒは、注目フレームにおける左目用のＭＲ画像を、注目フレームにおける右目用のＭＲ画像として表示する。

また、上記（条件４）が満たされた場合には処理をステップＳ８１２を介してステップＳ８１６に進める。

ステップＳ８１６では、セレクタ７１２Ｒは、補間部７１３が無線Ｉ／Ｆ７０５から受信した「現フレームにおける右目用のＭＲ画像」を取得し、第１の実施形態と同様にして、係るエラー箇所を修正する。そして修正後のＭＲ画像を表示部７１５Ｒに送出する。そしてステップＳ８１８では、表示部１１５は、エラー箇所がその周囲の画素群を用いて修正されたＭＲ画像を、注目フレームにおける右目用のＭＲ画像として表示する。

図９は、一方の目に対するＭＲ画像中のエラー箇所を修正するために、係るＭＲ画像を、他方の目に対するＭＲ画像に置き換える処理を説明する図である。図９において９０１Ｌは左目用の各フレームのＭＲ画像であり、９０１Ｒは右目用の各フレームのＭＲ画像である。ここで、左目用のＭＲ画像９０２にエラー箇所が検出されたとする。そして、係るエラー箇所のサイズが予め定められた閾値以上であるとする。この場合、各フレーム９０１Ｒのうち対応するフレームのＭＲ画像９０３を、左目用のＭＲ画像９０２の代わりに表示する。左右の目に対して同じＭＲ画像が表示されるため、ステレオ画像による奥行き感は得られないが、第１の実施形態のように過去のフレームのＭＲ画像をバッファリングする必要がないため、回路構成上は安価かつ簡単な構成となる。

［第３の実施形態］
図１０は、本実施形態に係るシステムの機能構成例を示すブロック図である。図１０に示す如く、本実施形態に係るシステムは、画像処理装置１００２とビデオシースルー型ＨＭＤ１００１とで構成されており、それぞれは無線で通信する。係る点については第１，２の実施形態と同じである。

先ず、ビデオシースルー型ＨＭＤ１００１について説明する。

三次元位置センサ１００５は、図７に示した三次元位置センサ７０４と同様のものであり、自身の位置姿勢を計測し、その結果を位置姿勢情報として後段の位置姿勢情報生成部１００６に送出する。

位置姿勢情報生成部１００６は、係る位置姿勢情報が示す位置姿勢に、予め計測した三次元位置センサ１００５と撮像部１００３との位置姿勢関係を加えることで、撮像部１００３の位置姿勢を求める。そして、求めた位置姿勢を示す位置姿勢情報を無線Ｉ／Ｆ１００７に送出する。

一方、撮像部１００３は、図１に示した撮像部１０３と同様のものであり、各フレームの現実空間画像を撮像する。撮像された各フレームの現実空間画像は順次、フレームバッファ１００４に送出される。

無線Ｉ／Ｆ１００７は、位置姿勢情報生成部１００６から受けた位置姿勢情報を、無線で画像処理装置１００２に対して送信する。

画像処理装置１００２側では、無線Ｉ／Ｆ１００８は、無線Ｉ／Ｆ１００７により送信された位置姿勢情報を受信すると、これを後段のＣＧ描画部１０１０に送出する。

ＣＧ描画部１０１０は、無線Ｉ／Ｆ１００８から受けた位置姿勢情報が示す位置姿勢を有する視点から見た、コンテンツ１０８に記憶されたデータに基づく仮想空間の画像（仮想空間画像）を生成し、生成した仮想空間画像を無線Ｉ／Ｆ１００８に送出する。無線Ｉ／Ｆ１００８はこの仮想空間画像をビデオシースルー型ＨＭＤ１００１に送信する。

無線Ｉ／Ｆ１００７は、画像処理装置１００２から送信された仮想空間画像をエラー検出部１０１２、補間部１０１５に送出する。

補間部１０１５は無線Ｉ／Ｆ１００７から仮想空間画像を受ける毎に、受けた仮想空間画像をフレームバッファ１０１６に格納する。

一方、エラー検出部１０１２は、図１に示したエラー検出部１０９と同様であり、無線Ｉ／Ｆ１００７から受けた仮想空間画像中にエラー箇所（エラー領域）が存在するか否かをチェック（判断）する。そして係るチェックの結果を後段のエラー領域・頻度判定部１０１３に送出する。

エラー領域・頻度判定部１０１３は先ず、エラー検出部１０１２による判断の結果を参照する。そしてエラー検出部１０１２がエラー箇所を検出していない場合には、その旨をセレクタ１０１４に通知する。一方、エラー検出部１０１２がエラー箇所を検出した場合には、係る判断の処理の過程で得られる「エラー箇所のサイズ」と、「過去のフレームの画像に対してエラー検出部１０１２が判断した結果」とを用いて、判断処理を行う。係る判断処理では次のような判断処理を行う。即ち、現フレームの仮想空間画像を１つ前のフレームの仮想空間画像に置き換えることで現フレームの仮想空間画像におけるエラー箇所を修正するか、エラー箇所をその周囲の画素群を用いて修正するのか、エラー箇所の修正は不可能であるのか、を判断する。そしてその判断結果を後段のセレクタ１０１４に通知する。

セレクタ１０１４は、エラー検出部１０１２がエラー箇所を検出していない旨をエラー領域・頻度判定部１０１３から受けた場合には、補間部１０１５に、フレームバッファ１０１６に格納されている現フレームの仮想空間画像を読み出すよう指示する。補間部１０１５は係る指示に従って仮想空間画像を読み出し、セレクタ１０１４に送出する。そしてセレクタ１０１４は、この仮想空間画像を後段の画像合成部１０１７に送出する。

また、エラー箇所を修正するために、現フレームの仮想空間画像を１つ前のフレームの仮想空間画像に置き換える旨をエラー領域・頻度判定部１０１３から受けた場合、セレクタ１０１４は次のように動作する。先ず補間部１０１５に、フレームバッファ１０１６に格納されている現フレームよりも１つ前のフレームの仮想空間画像を読み出すよう指示する。補間部１０１５は係る指示に従って仮想空間画像を読み出し、セレクタ１０１４に送出する。そしてセレクタ１０１４は、この仮想空間画像を後段の画像合成部１０１７に送出する。

また、エラー箇所をその周囲の画素群を用いて修正する旨をエラー領域・頻度判定部１０１３から受けた場合には、セレクタ１０１４は次のように動作する。先ず補間部１０１５に、フレームバッファ１０１６に格納されている現フレームの仮想空間画像を読み出すよう指示する。補間部１０１５は係る指示に従って仮想空間画像を読み出し、図１の補間部１１２と同様にして、係る仮想空間画像中のエラー箇所を修正する。そして修正後の仮想空間画像はセレクタ１０１４に送出されるので、セレクタ１０１４は、この仮想空間画像を後段の画像合成部１０１７に送出する。

また、エラー箇所の修正は不可能である旨をエラー領域・頻度判定部１０１３から受けた場合には、セレクタ１０１４は次のように動作する。即ち、セレクタ１０１４はＯＳＤ生成部１０１８に指示し、ＯＳＤ生成部１０１８が現フレームの現実空間画像としてフレームバッファ１００４から取得した現実空間画像上に、警告を示すメッセージ情報を重畳させる。そしてセレクタ１０１４は、メッセージ情報が重畳された現実空間画像を後段の画像合成部１０１７に送出する。

画像合成部１０１７は、セレクタ１０１４からメッセージ情報が重畳された現実空間画像を受けた場合にはこれをそのまま後段の表示部１０１９に送出する。一方、セレクタ１０１４から仮想空間画像を受けた場合には、この仮想空間画像を、この仮想空間画像と同じフレームの現実空間画像としてフレームバッファ１００４に保持されている現実空間画像上に合成することで、ＭＲ画像を生成する。そしてこのＭＲ画像を表示部１０１９に送出する。

ここで、ＯＳＤ生成部１０１８は、画像処理装置１００２の位置姿勢、及びこの位置姿勢からどれだけずれれば三次元位置センサ１００５による計測ができなくなるのかを示す範囲情報を保持している。位置姿勢情報生成部１００６は三次元位置センサ１００５から位置姿勢情報を受けると、これをＯＳＤ生成部１０１８に通知している。ＯＳＤ生成部１０１８は通知された位置姿勢情報が示す位置姿勢から画像処理装置１００２の位置姿勢を差し引いた差分が、上記範囲情報が示す範囲内に収まっているか否かを判断する。そして、収まっていない場合には、より画像処理装置１００２に近づくように観察者に促すメッセージ情報を画像合成部１０１７に送出する。

従って、画像合成部１０１７は、係るメッセージ情報を受けると、表示部１０１９に送出する対象の画像上に係るメッセージ情報を重畳させる。

表示部１０１９は、図１に示した表示部１１５と同様のものであり、画像合成部１０１７から画像を受けるとこれを表示する。

図１１は、ビデオシースルー型ＨＭＤ１００１が行う処理のフローチャートである。なお、図１１に示したフローチャートに従った処理は、１フレーム分のＭＲ画像を表示部１０１９に表示させるための処理であり、実際には、係る処理を繰り返し行う。これにより、複数フレームのＭＲ画像を表示部１０１９に表示させることができる。なお、以下では説明上、注目フレーム（２フレーム目以降）のＭＲ画像を表示部１０１９に表示させる場合について説明する。

ステップＳ１１０１では、撮像部１００３は自身の位置から撮像方向に見える現実空間の撮像を行うことで注目フレームの画像を得る。そして係る画像をフレームバッファ１００４に送出する。

ステップＳ１１０２では、三次元位置センサ１００５は、自身の位置姿勢を計測し、その結果としての位置姿勢情報を位置姿勢情報生成部１００６に送出する。

ステップＳ１１０３では、位置姿勢情報生成部１００６は上述のように、撮像部１００３の位置姿勢を示す位置姿勢情報を生成する。

ステップＳ１１０４では、無線Ｉ／Ｆ１００７は、ステップＳ１１０３で求めた位置姿勢情報を無線で画像処理装置１００２に対して送信する。

画像処理装置１００２は、ステップＳ１１０４で送信された位置姿勢情報を用いて注目フレームにおける仮想空間画像を生成し、無線Ｉ／Ｆ１００８を介して無線でビデオシースルー型ＨＭＤ１００１に送信する。

従ってステップＳ１１０５では、無線Ｉ／Ｆ１００７は、画像処理装置１００２から送信された、注目フレームにおける仮想空間画像を受信する。そして受信した仮想空間画像を、エラー検出部１０１２と補間部１０１５とに送出する。補間部１０１５は係る注目フレームにおける仮想空間画像をフレームバッファ１０１６に格納する。

ステップＳ１１０６では、エラー検出部１０１２は、注目フレームにおける仮想空間画像中にエラー箇所があったか否かを判断する。そして係る判断の結果をエラー領域・頻度判定部１０１３に通知する。係る判断の結果、エラー箇所があった場合には処理をステップＳ１１０７に進め、エラー箇所がなかった場合には処理をステップＳ１１１２に進める。

ステップＳ１１１２では、エラー領域・頻度判定部１０１３は、エラー検出部１０１２がエラー箇所を検出していない旨をセレクタ１０１４に通知する。セレクタ１０１４は、補間部１０１５に、フレームバッファ１０１６に格納されている注目フレームにおける仮想空間画像を読み出すよう指示する。補間部１０１５は係る指示に従って注目フレームにおける仮想空間画像を読み出し、セレクタ１０１４に送出する。そしてセレクタ１０１４は、この画像合成部１０１７に送出する。画像合成部１０１７は、セレクタ１０１４から受けた仮想空間画像を、この仮想空間画像と同じフレームの現実空間画像としてフレームバッファ１００４に保持されている現実空間画像上に合成することで、ＭＲ画像を生成する。

次にステップＳ１１１５では、ＯＳＤ生成部１０１８は、位置姿勢情報生成部１００６から通知された位置姿勢情報が示す位置姿勢から画像処理装置１００２の位置姿勢を差し引いた差分が、上記範囲情報が示す範囲内に収まっているか否かを判断する。そして、収まっている場合には処理をステップＳ１１１７に進めるのであるが、収まっていない場合には処理をステップＳ１１１６に進める。ステップＳ１１１６では、ＯＳＤ生成部１０１８は、観察者により画像処理装置１００２に近づくように促すメッセージ情報を画像合成部１０１７に送出する。

ステップＳ１１１７では、画像合成部１０１７は、ステップＳ１１１２で生成したＭＲ画像を表示部１０１９に送出する。しかし、「観察者により画像処理装置１００２に近づくように促すメッセージ情報」を受けている場合には、更にこのメッセージ情報を重畳したＭＲ画像を表示部１０１９に送出する。

一方、ステップＳ１１０７では、エラー領域・頻度判定部１０１３は、ステップＳ１１０６で検出されたエラー箇所を修正するか否か（修正可能か否か）を、第１の実施形態と同様にして判断する。エラー領域・頻度判定部１０１３による判断結果は後段のセレクタ１０１４に送出される。

セレクタ１０１４が「エラー箇所の修正は不可能」である旨をエラー領域・頻度判定部１０１３から受けた場合には、処理をステップＳ１１０８を介してステップＳ１１０９に進める。

ステップＳ１１０９では先ず、セレクタ１０１４はＯＳＤ生成部１０１８に指示し、ＯＳＤ生成部１０１８が注目フレームにおける現実空間画像としてフレームバッファ１００４から取得した現実空間画像上に、警告を示すメッセージ情報を重畳させる。そしてセレクタ１０１４は、メッセージ情報が重畳された現実空間画像を画像合成部１０１７に送出する。

また、上記（条件１）が満たされた場合には処理をステップＳ１１０８を介してステップＳ１１１０に進める。

ステップＳ１１１０では、セレクタ１０１４は先ず補間部１０１５に、フレームバッファ１０１６に格納されている注目フレームよりも１つ前のフレームの仮想空間画像を読み出すよう指示する。補間部１０１５は係る指示に従って仮想空間画像を読み出し、セレクタ１０１４に送出する。そしてセレクタ１０１４は、この仮想空間画像を画像合成部１０１７に送出する。

ステップＳ１１１３では、画像合成部１０１７は、セレクタ１０１４から受けた仮想空間画像を、この仮想空間画像と同じフレームの現実空間画像としてフレームバッファ１００４に保持されている現実空間画像上に合成することで、ＭＲ画像を生成する。

また、上記（条件２）が満たされた場合には処理をステップＳ１１０８を介してステップＳ１１１１に進める。

ステップＳ１１１１では、セレクタ１０１４先ず補間部１０１５に、フレームバッファ１０１６に格納されている注目フレームにおける仮想空間画像を読み出すよう指示する。補間部１０１５は係る指示に従って仮想空間画像を読み出し、第１の実施形態と同様にして、係る仮想空間画像中のエラー箇所を修正する。そして修正後の仮想空間画像はセレクタ１０１４に送出されるので、セレクタ１０１４は、この仮想空間画像を画像合成部１０１７に送出する。

ステップＳ１１１４では、画像合成部１０１７は、セレクタ１０１４から受けた仮想空間画像を、この仮想空間画像と同じフレームの現実空間画像としてフレームバッファ１００４に保持されている現実空間画像上に合成することで、ＭＲ画像を生成する。

次にステップＳ１１１５、Ｓ１１１６では上述の通りの処理を行う。

ステップＳ１１１７では、画像合成部１０１７は、ステップＳ１１１３若しくはステップＳ１１１４で生成したＭＲ画像、若しくはステップＳ１１０９で生成した現実空間画像を表示部１０１９に送出する。しかし、「観察者により画像処理装置１００２に近づくように促すメッセージ情報」を受けている場合には、更にこのメッセージ情報を重畳してから表示部１０１９に送出する。

［第４の実施形態］
本実施形態では、仮想空間画像（ＣＧ）についてエラーを検出した場合には、係る仮想空間画像の描画は行わない。ＭＲのアプリケーションにおいて、正常に描画されないＣＧは、現実空間画像上において邪魔となる。従って、ＣＧにエラーが検出された場合には、係るＣＧの描画は行わない。

図１３は、本実施形態に係るシステムの機能構成例を示すブロック図である。図１３に示す如く、本実施形態に係るシステムは、ＣＧ描画装置１３０３、画像処理装置１３０２、ビデオシースルー型ＨＭＤ１３０１、により構成されている。

先ず、ビデオシースルー型ＨＭＤ１３０１について説明する。

撮像部１３０４は、第１の実施形態で説明した撮像部１０３と同じものであり、現実空間の動画像を撮像する。撮像した各フレームの現実空間画像は画像処理装置１３０２に送出される。

表示部１３０５は、画像処理装置１３０２から送出される画像を表示するためのものである。

ジャイロセンサ１３０６は、周知の通り、自身の位置姿勢を計測するためのものである。もちろん、ジャイロセンサ１３０６以外のセンサを用いても良い。ジャイロセンサ１３０６による計測結果としての位置姿勢情報は、画像処理装置１３０２に送出される。

次に、画像処理装置１３０２について説明する。

位置姿勢情報生成部１３０７は、図１に示した位置姿勢情報生成部１０６と同様のものであり、撮像部１３０４から送出された現実空間画像を用いて、撮像部１３０４の位置姿勢を示す位置姿勢情報を生成する。そして生成した位置姿勢情報を、ＣＧ描画装置１３０３に対して送出する。

ＣＧ描画装置１３０３は、この位置姿勢情報を用いて仮想空間画像を生成する。係る生成処理については上記実施形態で既に説明しているので、ここではその説明は省略する。そしてＣＧ描画装置１３０３は生成した仮想空間画像を画像処理装置１３０２に対して送出する。

ＣＧ／実写合成部１３０８は、ＣＧ描画装置１３０３から送出された仮想空間画像を受信すると、この仮想空間画像と同じフレームの現実空間画像と合成する。即ち、画像処理装置１３０２は、ビデオシースルー型ＨＭＤ１３０１から送出された現実空間画像を数フレーム分保持している。そして、ＣＧ描画装置１３０３から仮想空間画像を受信すると、保持している数フレーム分の現実空間画像のうち、この仮想空間画像と同じフレームの現実空間画像を取得する。そして、この取得した現実空間画像と、ＣＧ描画装置１３０３から受信した仮想空間画像とを合成する。対応するフレームを特定するための技術については周知の技術であるので、これについての説明は省略する。

一方、ＣＧ描画装置１３０３から送信された仮想空間画像は異常判定部１３０９にも入力される。

異常判定部１３０９は、ＣＧ描画装置１３０３から受けた仮想空間画像にエラーが存在するか否かを判断する。係る判断には様々な方法がある。

例えば、ＣＧ描画装置１３０３から順次送出される仮想空間画像を数フレーム分保持しておき、受信した仮想空間画像が数フレームに渡って別段変化がない場合、エラーが存在していると判断する。画像間における変化の検出技術については周知の技術である。例えば、画像内の特定のオブジェクトの画像内における動き量がある閾値以下である場合、画像間における変化がないと判断する。

また、ＣＧ描画装置１３０３側で、仮想空間画像にタイムコードなど、各フレームの画像を識別するための識別情報を埋め込んでおき、異常判定部１３０９は仮想空間画像を受信するとこの識別情報を参照する。そして参照した識別情報が不連続であっる場合には、エラーが存在していると判断する。

また、ジャイロセンサ１３０６による計測値に、予め測定された撮像部１３０４とジャイロセンサ１３０６との位置姿勢関係を加えた結果のフレーム間の変化量と、ＣＧ描画装置１３０３から受信した仮想空間画像のフレーム間の変化量との差Δを求める。そして求めた差が予め定められた閾値以上であれば、ビデオシースルー型ＨＭＤ１３０１の動きと、ＣＧ描画装置１３０３側で作成された仮想空間画像の動きとが不一致であると判断することができる。従ってこのような場合には、エラーが存在すると判断する。

もちろん、エラーが存在するか否かの検出方法についてはこれに限定するものではない。

画像スイッチ１３１０は、異常判定部１３０９による判定結果を受け、エラーが存在する場合には撮像部１３０４から受けた現実空間画像を表示部１３０５に送出する。一方、エラーが存在しない場合には、ＣＧ／実写合成部１３０８が生成したＭＲ画像を表示部１３０５に送出する。このようにして、異常判定部１３０９による判断結果に基づいた表示制御を行う。なお、表示する画像はいきなり切り替わるのではなく、徐々にフェードイン／アウトさせるようにしても良い。

また、画像スイッチ１３１０を省略し、異常判定部１３０９による判定結果に応じて、現実空間画像と仮想空間画像との合成比率を制御しても良い。例えば、上記Δの絶対値が大きいほど、現実空間画像の比率が高い合成を行い、上記Δの絶対値が小さいほど、現実空間画像と仮想空間画像との合成比率を同じにする。

また、図１３では、画像処理装置１３０２とＣＧ描画装置１３０３とを別個の装置としているが、同じ装置内におけるものとしてもよい。これは何れの実施形態でも同じで、どの装置にどの機能を持たせるのか、更に別個の装置を設けるのかについては、設計者が適宜決めることであり、何れのケースでも、実質的には同じである。

図１４は、異常判定部１３０９の機能構成例を示すブロック図である。

画像用ＦＩＦＯ１３１１には、過去数フレーム分の仮想空間画像を保持することができる。

比較器１３１２は、最新のフレームとして入力した仮想空間画像と、画像用ＦＩＦＯ１３１１に保持されている１つ前のフレームにおける仮想空間画像とを用いて、画像間の動きベクトルを求め、求めたベクトルのデータを後段の判定器１３９０に送出する。

動き判定器１３１３は、ジャイロセンサ１３０６から順次送出される位置姿勢情報間の差分を求め、その差分値を上記判定器１３９０に送出する。

判定器１３９０は、比較器１３１２からベクトルと、動き判定器１３１３からの差分値とを比較し、その差が閾値以上であるのか否かを判定する。そして閾値以上である場合には、エラーが存在すると判断し、その旨を異常判定結果として出力する。

［第５の実施形態］
本実施形態では、仮想空間画像と現実空間画像との合成画像にエラーを検出した場合には、合成画像の代わりに現実空間画像を表示する。

図１５は、本実施形態に係るシステムの機能構成例を示すブロック図である。図１５に示す如く、本実施形態に係るシステムは、ビデオシースルー型ＨＭＤ１４０１と、画像処理装置１４０２と、で構成されている。なお、図１４に示した各部のうち、図１３に示したものと同じものについては同じ参照番号を付けており、その説明は省略する。

先ず、ビデオシースルー型ＨＭＤ１４０１について説明する。

撮像部１３０４による現実空間画像は画像処理装置１４０２に送信される。ＣＧ描画合成部１４０３は、位置姿勢情報生成部１３０７が生成した位置姿勢情報が示す位置姿勢を有する視点から見える仮想空間画像を生成する。そして生成した仮想空間画像を、ビデオシースルー型ＨＭＤ１４０１から送信された現実空間画像上に合成したＭＲ画像を生成する。そして生成したＭＲ画像をビデオシースルー型ＨＭＤ１４０１に返信する。

異常判定部１４０９は、画像処理装置１４０２から送信されたＭＲ画像にエラーが存在するか否かを、第４の実施形態と同様にして判断する。

そしてその判断結果は画像スイッチ１４１０に入力される。画像スイッチ１４１０には画像処理装置１４０２から送信されたＭＲ画像も入力されると共に、撮像部１３０４からの現実空間画像も入力される。画像スイッチ１４１０は、異常判定部１４０９による判断結果を参照し、エラーが存在する場合には現実空間画像を表示部１３０５に送出し、エラーが存在しない場合にはＭＲ画像を表示部１３０５に送出する。

図１６は、異常判定部１４０９の機能構成例を示すブロック図である。

画像用ＦＩＦＯ１４１１には画像処理装置１４０２から送出されたＭＲ画像が数フレーム分保持される。比較器１４１２は、最新のフレームにおけるＭＲ画像と、画像用ＦＩＦＯ１４１１に保持されている１つ前のフレームにおけるＭＲ画像との比較を行い、画像のずれ量を求める。係る処理については第４の実施形態で説明したとおりである。

そして係る比較の結果、ずれ量が閾値以上であれば、エラーが存在すると判断し、その旨を出力する。

なお、以上説明した各実施形態は適宜組み合わせて使用しても良い。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係るシステムの機能構成を示すブロック図である。 ビデオシースルー型ＨＭＤ１０１が行う処理のフローチャートである。 撮像部１０３により撮像される現実空間の一例を示す図である。 ビデオシースルー型ＨＭＤ１０１と画像処理装置１０２との間で送受信される画像の例を示す図である。 注目フレームのＭＲ画像を１フレーム前のＭＲ画像に置き換える処理を説明する図である。 エラー箇所をその周囲の画素群を用いて修正する処理を説明する図である。 本発明の第２の実施形態に係るシステムの機能構成例を示す図である。 ビデオシースルー型ＨＭＤ７０１が行う処理のフローチャートである。 一方の目に対するＭＲ画像中のエラー箇所を修正するために、係るＭＲ画像を、他方の目に対するＭＲ画像に置き換える処理を説明する図である。 本発明の第３の実施形態に係るシステムの機能構成例を示すブロック図である。 ビデオシースルー型ＨＭＤ１００１が行う処理のフローチャートである。 一般的なビデオシースルー型複合現実システム（以下、単にシステム）の機能構成を示すブロック図である。 本発明の第４の実施形態に係るシステムの機能構成例を示すブロック図である。 異常判定部１３０９の機能構成例を示すブロック図である。 本発明の第５の実施形態に係るシステムの機能構成例を示すブロック図である。 異常判定部１４０９の機能構成例を示すブロック図である。

Claims (4)

1. 観察者の眼前に画像を表示する頭部装着型表示装置であって、
   観察者の一方の目に対して画像を提示するための提示部と、他方の目に対して画像を提示する為の提示部とを有し、
   それぞれの前記提示部は、
   フレームの画像を順次、入力する入力手段と、
   前記入力手段が入力したフレームの画像にエラー箇所が存在するか否かを判断する判断手段と、
   前記フレームの画像にエラー箇所は存在しないと前記判断手段が判断した場合には、当該フレームの画像を表示部に表示させ、前記フレームの画像にエラー箇所が存在すると前記判断手段が判断した場合には、当該フレームの画像として他方の前記提示部が有する前記入力手段が入力したフレームの画像を前記表示部に表示させる表示制御手段と
   を備えることを特徴とする頭部装着型表示装置。
2. 前記表示制御手段は、前記フレームの画像上に警告を示すメッセージ情報を重畳させた合成画像を前記それぞれの提示部に表示させることを特徴とする請求項１に記載の頭部装着型表示装置。
3. 前記判断手段は、パリティチェック、チェックサム、Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ（ＣＲＣ）を含む手法を用いてエラー箇所の有無を判断することを特徴とする請求項１に記載の頭部装着型表示装置。
4. 観察者の眼前に画像を表示する頭部装着型表示装置の制御方法であって、
   前記頭部装着型表示装置は、観察者の一方の目に対して画像を提示するための提示部と、他方の目に対して画像を提示する為の提示部とを有し、
   それぞれの前記提示部が、
   フレームの画像を順次、入力する入力工程と、
   前記入力工程で入力したフレームの画像にエラー箇所が存在するか否かを判断する判断工程と、
   前記フレームの画像にエラー箇所は存在しないと前記判断工程で判断した場合には、当該フレームの画像を表示部に表示させ、前記フレームの画像にエラー箇所が存在すると前記判断工程で判断した場合には、前記フレームの画像として他方の前記提示部が有する前記入力工程で入力したフレームの画像を前記表示部に表示させる表示制御工程と
   を行うことを特徴とする頭部装着型表示装置の制御方法。

Images