JP6397243B2 - 表示装置、制御方法、及びプログラム - Google Patents

Description

本発明は、表示する画像を切り替える表示装置に関する。

近年、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として、複合現実感（ＭＲ、Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が注目されている。ＭＲシステムでは、頭部装着型の表示装置が用いられる場合があり、例えば、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が利用される。ビデオシースルーＨＭＤを利用するＭＲシステムでは、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する映像がカメラ等により撮像される。ＨＭＤ装着者は、この撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像（以後、「ＭＲ画像」と呼ぶ。）を観察することができる。

ＭＲシステムでは、画像フレームの伝送エラーが発生すると、ＨＭＤ装着者の視界が確保されなくなる場合があり、又は、ＨＭＤ装着者が違和感を覚えることとなる場合がある。これに対して、特許文献１には、画像フレームの伝送エラーが発生した際に、ＨＭＤで表示する画像をＭＲ画像から撮像画像に切り替える技術が記載されている。また、特許文献２には、右目用又は左目用画像データのいずれかで伝送エラーが生じた場合に、ＨＭＤ装着者の動き量に基づいて、直前の画像とエラーの生じていない側の画像とのいずれか一方を用いて補間画像を生成し、ＨＭＤで表示する技術が記載されている。

特開２００８−３００９８３号公報 特開２００８−３０６６０２号公報

画像データの伝送に無線通信を使用する場合、周囲環境の変化等により通信環境が不安定となり、長期間に渡って伝送エラーが断続的に頻繁に発生することがある。これに対して、特許文献１及び特許文献２のような技術では、伝送エラーが頻発すると、正常なＭＲ画像と他の画像（撮像画像または補間画像）とでＨＭＤ表示画像が頻繁に切り替わることとなる。このようにＨＭＤ表示画像が画像フレーム単位で頻繁に切り替わると、ＨＭＤ装着者に違和感または不快感を与えるとともに、ＨＭＤ装着者の眼の疲労を招くという課題があった。また、この課題はＨＭＤに限ったことではなく、ＭＲシステムにおける表示装置全般において生じうる。

本発明は上記課題に鑑みなされたものであり、通信品質の状態に応じて観察するのに適した画像表示の切り替えを行うことを可能とする技術を提供することを目的とする。

上記目的を達成するため、本発明の表示装置は、撮像により第１の画像を取得する取得手段と、前記第１の画像に基づいて生成された第２の画像を外部装置から受信する受信手段と、前記外部装置との通信における通信品質を判断する判断手段と、前記判断手段による判断の結果、前記通信品質の劣化の程度を示す値が第１の閾値を超えるまで前記第２の画像を表示部に表示させ、当該第１の閾値を超えた場合に前記第１の画像を表示部に表示させるように制御する表示制御手段と、を有し、前記表示制御手段は、前記通信品質の劣化の程度を示す値が前記第１の閾値を超えてから当該第１の閾値より低い第２の閾値を下回るまで前記第１の画像を表示させ、前記通信品質の劣化の程度を示す値は、前記表示制御手段によって画像を表示するタイミングに応じたタイミングまでに前記第２の画像の受信が完了しなかった第２の頻度を含む、ことを特徴とする。

本発明によれば、通信品質の状態に応じて観察するのに適した画像表示の切り替えを行うことを可能とすることができる。

無線ＭＲシステムの構成例を示す図。 ＨＭＤの機能構成例を示すブロック図。 画像処理装置の機能構成例を示すブロック図。 ＨＭＤが実行する処理の流れの例を示すフローチャート。 通信品質とＨＭＤの動作との対応関係の例を示す図。 ＨＭＤの別の機能構成例を示すブロック図。 通信品質と通信制御との関係を説明するための図。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜＜実施形態１＞＞
（システム構成）
図１に、ビデオシースルーＨＭＤを利用した無線ＭＲシステムの構成例を示す。本実施形態に係る無線ＭＲシステムは、無線通信機能を有するＨＭＤ１０１−１〜１０１−３並びに無線ルータ１０２、及び無線ルータ１０２と例えば有線で接続される画像処理装置１０３−１〜１０３−３とを含む。なお、以下の説明では、ＭＲ画像などの画像を表示する装置として、頭部装着型の表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）を用いるものとするが、これに限られない。すなわち、例えば、ＨＭＤに代えて、ハンドヘルド型の表示装置又は携帯電話等が用いられてもよい。

ＨＭＤ１０１−１〜１０１−３は、無線ルータ１０２と無線接続されており、無線ルータ１０２を介して画像処理装置１０３−１〜１０３−３との間で通信を行う。この無線接続で用いられる無線方式は、例えば、ＩＥＥＥ８０２．１１ａｃ、又はＩＥＥＥ８０２．１１ａｄ等の任意の無線通信方式である。また、無線ルータ１０２と画像処理装置１０３−１〜１０３−３との間の接続には、Ｅｔｈｅｒｎｅｔ（登録商標）等の有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）が用いられる。

本実施形態の無線ＭＲシステムでは、ＨＭＤ１０１−Ｎ（Ｎは１〜３の整数）は、装着者の瞳位置と略一致した位置で撮像した撮像画像を画像処理装置１０３−Ｎに送信する。そして、画像処理装置１０３−Ｎは、受信した撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳したＭＲ画像を生成し、ＨＭＤ１０１−Ｎに送信する。ＨＭＤ１０１−Ｎは、画像処理装置１０３−Ｎから送信されたＭＲ画像をＨＭＤ装着者に提示する。これにより、ＨＭＤ装着者にＭＲ空間が提示される。

なお、本実施形態では、ＨＭＤ１０１−ＮのＭＲ画像生成処理を画像処理装置１０３−Ｎが行うものとし、無線ルータ１０２はＨＭＤ１０１−Ｎと画像処理装置１０３−Ｎとの間の通信をルーティングするものとする。また、本実施形態では、撮像画像にＣＧを重畳するＭＲ画像生成処理を画像処理装置が行うものとするが、画像処理装置１０３−ＮはＨＭＤ１０１−ＮにＣＧのみを送信し、ＨＭＤ１０１−ＮでＣＧを撮像画像に重畳することでＭＲ画像を生成してもよい。なお、本実施形態では、ＨＭＤと画像処理装置の数を３（すなわち、１≦Ｎ≦３）としたが、任意の台数のＨＭＤに対して、以下の議論を適用することができる。

（装置構成）
図２に、ＨＭＤ１０１−Ｎの機能構成例を示す。ＨＭＤ１０１−Ｎは、例えば、撮像部２０１、無線通信部２０２、アンテナ２０３、撮像画像バッファ２０４、ＭＲ画像バッファ２０５、表示画像選択部２０６、通信品質判定部２０７、及び表示部２０８を有する。

撮像部２０１は、所定のフレームレートで撮像を行って撮像画像を取得する撮像部である。撮像部２０１は、例えば、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する映像を撮像する。そして、撮像部２０１は、撮像画像に画像フレーム番号を付与して撮像画像データを生成し、無線通信部２０２と撮像画像バッファ２０４に出力する。なお、付与する画像フレーム番号は、例えば撮像毎にインクリメントされる。

無線通信部２０２は、撮像部２０１から出力される撮像画像データにＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）等のエラー検出符号を付加した撮像画像パケットを生成する。そして、無線通信部２０２は、この撮像画像パケットに対して、使用する無線通信方式に応じた変調処理を行うことで無線信号を生成し、アンテナ２０３を介して無線ルータ１０２へその無線信号を送信する。これにより、撮像画像パケットが無線ルータ１０２を介して画像処理装置１０３−Ｎに送信される。また、無線通信部２０２は、画像処理装置１０３−Ｎから無線ルータ１０２を介して送信されたＭＲ画像パケットを、アンテナ２０３によって受信する。

なお、無線通信部２０２は、ＭＲ画像そのものが含まれたＭＲ画像パケットを受信してもよいし、ＭＲ画像を構成するための画像（例えばＣＧ）を含むパケット受信してもよい。ここで、ＭＲ画像を構成するための画像を含むパケットを受信した場合は、不図示のＭＲ画像構成部が、受信したパケットから抽出した画像と撮像画像とから、ＭＲ画像を形成する。また、この場合は、無線通信部２０２は、撮像部２０１が撮像した画像ではなく、不図示の位置姿勢検出部が検出したＨＭＤ１０１−Ｎの位置及び姿勢の情報を、画像処理装置１０３−Ｎへ送信してもよい。このようにして、ＨＭＤ１０１−Ｎは、無線通信部２０２を用いて、ＭＲ画像そのもの又はＭＲ画像を構成するための画像を含むパケットを受信して、その受信したパケットに含まれる画像に基づいてＭＲ画像を取得する。取得されたＭＲ画像は、ＭＲ画像バッファ２０５に格納される。

また、後述するように、ＭＲ画像パケットには、撮像画像パケットと同様にＣＲＣ等のエラー検出符号が付加されており、無線通信部２０２は、受信データのエラーを検出することが可能である。無線通信部２０２は受信したＭＲ画像パケットにエラーを検出した場合、通信品質判定部２０７にエラーが検出されたことを示す情報を出力する。

撮像画像バッファ２０４は、撮像部２０１が撮像した撮像画像を保持しておくバッファである。撮像画像バッファ２０４は、例えば表示画像選択部２０６の読み出し指示に基づいて動作し、指定された画像フレーム番号に対応する撮像画像を、表示画像選択部２０６に出力する。ＭＲ画像バッファ２０５は、無線通信部２０２が受信したパケットに含まれるＭＲ画像またはＭＲ画像を構成するための画像を保持するバッファである。ＭＲ画像バッファ２０５は、例えば表示画像選択部２０６の読み出し指示に基づいて動作し、指定された画像フレーム番号に対応するＭＲ画像を表示画像選択部２０６に出力する。

なお、周囲の通信環境が混み合っている等の原因により通信に遅延が発生した場合、表示画像選択部２０６の指定した画像フレーム番号に対応するＭＲ画像のバッファへの格納が間に合わない場合がある。すなわち、ＭＲ画像を表示する（又は表示ＭＲ画像を選択する）タイミングに対して、パケットを受信してＭＲ画像を抽出してＭＲ画像バッファに格納するなどの処理に要する時間だけ前の段階で、パケットの受信が完了しないことが生じうる。この場合、ＭＲ画像バッファ２０５は、指定された画像フレーム番号に最も近い画像フレーム番号に対応するＭＲ画像を表示画像選択部２０６に出力する。すなわち、通信遅延が発生した場合、ＭＲ画像バッファ２０５は、それまでに格納したＭＲ画像の内、最新のＭＲ画像を表示画像選択部２０６に出力する。また、ＭＲ画像バッファ２０５は、指定された画像フレーム番号に対応するＭＲ画像が格納されていない場合は、通信遅延が発生したと判定し、通信遅延が発生したことを通信品質判定部２０７に通知する。

なお、通信遅延が発生したか否かは、無線通信部２０２によって判定されてもよい。無線通信部２０２は、例えば、あるタイミングで表示されるべきＭＲ画像に関するパケットの受信が、そのタイミングより上述の各処理に要する時間だけ早い時点で完了したかによって、そのＭＲ画像に関するパケットについて通信遅延が発生したかを判定する。

表示画像選択部２０６は、通信品質判定部２０７の判定結果に基づいて、撮像画像バッファ２０４とＭＲ画像バッファ２０５のいずれか一方から画像を読み出し、表示部２０８に出力する。表示画像選択部２０６は、例えば、通信品質が安定して良好な状態にあると通信品質判定部２０７が判定した場合には、ＭＲ画像バッファ２０５の画像を読み出して表示部２０８に出力する。一方、表示画像選択部２０６は、例えば、通信品質が良好でない状態にあると通信品質判定部２０７が判定した場合には、撮像画像バッファ２０４の画像を読み出して表示部２０８に出力する。なお、表示画像選択部２０６は、撮像部２０１のフレームレートと同じフレームレートで所定タイミング毎に画像読み出し、画像出力を行う。また、表示画像選択部２０６は、撮像部２０１が画像フレーム番号Ｍ（Ｍは整数）の撮像画像データ生成処理を完了した所定時間後に、画像フレーム番号Ｍの画像読み出しを行う。この所定時間は、例えば、ＨＭＤ１０１−Ｎと画像処理装置１０３−Ｎと通信に掛かる時間、及び画像処理装置１０３−ＮのＭＲ画像生成処理に掛かる時間に基づいて決定される。

通信品質判定部２０７は、無線通信部２０２から出力される受信データのエラー検出結果と、ＭＲ画像バッファ２０５から出力される通信遅延検出結果に基づいて、通信品質が安定して良好であるか否かを評価し、その結果を表示画像選択部２０６に出力する。詳細は後述するが、通信品質判定部２０７は、例えば、所定時間当たりのエラーまたは通信遅延発生回数のような、通信品質の劣化の程度を示す値を測定し、これらと所定の閾値との比較を行うことで、通信品質が安定して良好であるかの評価を行う。

表示部２０８は、例えば、装着者の瞳位置と略一致した位置に備え付けられ、表示画像選択部２０６の出力する画像を表示することで装着者にＭＲ画像を提示するディスプレイである。なお、上述した各機能部は、ハードウェア又はソフトウェアとしてＨＭＤに実装されている。ＨＭＤは、図２に不図示のＣＰＵや、ＲＯＭ、ＲＡＭ等のメモリを備えている。表示画像選択部２０６や通信品質判定部２０７がソフトウェアとして実装される場合、これらの機能に対応するプログラムがＲＯＭに記憶されることになる。そして、ＣＰＵがそれらのプログラムを実行することによりその機能が実行される。

続いて、画像処理装置１０３−Ｎの構成例について、図３を参照しながら説明する。画像処理装置１０３−Ｎは、例えば、有線通信部３０１、位置姿勢検出部３０２、ＣＧ生成部３０３、及びＭＲ画像生成部３０４を有する。

有線通信部３０１は、例えば無線ルータ１０２との間で有線接続を確立し、無線ルータ１０２からＨＭＤ１０１−Ｎが送信した撮像画像データを受信して、位置姿勢検出部３０２とＭＲ画像生成部３０４に出力する。また、有線通信部３０１は、ＭＲ画像生成部３０４が生成するＭＲ画像データを無線ルータ１０２へ送信する。なお、有線通信部３０１は、ＭＲ画像データにＣＲＣ等のエラー検出符号を付加したＭＲ画像パケットを生成して、無線ルータ１０２へ送信してもよいし、無線ルータ１０２がＭＲ画像データからＭＲ画像パケットを生成してもよい。ＭＲ画像パケットは、無線ルータ１０２からＨＭＤ１０１−Ｎへ、無線で送信される。

位置姿勢検出部３０２は、ＨＭＤ１０１−Ｎの撮像画像データから、ＨＭＤ１０１−Ｎの位置姿勢を検出し、ＣＧ生成部３０３に出力する。位置姿勢検出部３０２は、例えば、現実空間中の既知の位置に複数の指標を配置し、撮像画像上における指標の座標を検出する方法により、ＨＭＤ１０１―Ｎの位置姿勢を検出する。ここで、複数の指標は、それぞれが異なる色を有する円形状のマーカによって構成されてもよいし、それぞれが異なる特徴を有する自然特徴等の特徴点によって構成されてもよい。また、ある程度の面積を有する四角形領域によって形成されるような四角形指標を、指標として用いることもできる。すなわち、指標は、撮像画像上における指標の座標が検出可能であって、かつ、いずれの指標であるかが識別可能であるような指標であれば、どのようなものが用いられてもよい。なお、位置姿勢検出部３０２は、例えばＨＭＤ１０１−ＮからＨＭＤ１０１−Ｎの位置姿勢情報を受信することにより、ＨＭＤ１０１−Ｎの位置及び姿勢を検出してもよい。

ＣＧ生成部３０３は、仮想空間中の仮想物体に関するデータが保存されたデータベースをその内部に有する。ＣＧ生成部３０３は、データベースに保存されているデータに基づいて、位置姿勢検出部３０２から入力されるＨＭＤ１０１−Ｎの位置及び姿勢から仮想物体を見た場合のＣＧを生成し、ＭＲ画像生成部３０４に出力する。ＭＲ画像生成部３０４は、ＨＭＤ１０１−Ｎの撮像画像に、ＣＧ生成部３０３から入力されたＣＧを重畳することによりＭＲ画像を生成する。そして、ＭＲ画像生成部３０４は、撮像画像と同じ画像フレーム番号を付与してＭＲ画像データを生成し、有線通信部３０１に出力する。

なお、画像処理装置１０３−Ｎが、ＭＲ画像ではなく、ＨＭＤ１０１−Ｎで形成されるＭＲ画像を構成するための画像（例えばＣＧ）をＨＭＤ１０１−Ｎに送信する場合は、ＨＭＤ１０１−Ｎから撮像画像が送信されない場合がある。この場合、位置姿勢検出部３０２は、例えばＨＭＤ１０１−ＮからＨＭＤ１０１−Ｎの位置姿勢情報を受信することにより、ＨＭＤ１０１−Ｎの位置及び姿勢を検出する。そして、ＣＧ生成部３０３は、上述のようにして、ＨＭＤ１０１−Ｎの位置及び姿勢から仮想物体を見た場合のＣＧを生成して、有線通信部３０１を介して、その生成したＣＧをＨＭＤ１０１−Ｎへ送信する。なお、この場合には、ＭＲ画像生成部３０４は省略される。

なお、上述の各機能部は、ハードウェア又はソフトウェアとして画像処理装置に実装される。画像処理装置は、図３に不図示のＣＰＵや、ＲＯＭ、ＲＡＭ等のメモリを備えている。位置姿勢検出部３０２やＣＧ生成部３０３やＭＲ画像生成部３０４がソフトウェアとして実装される場合、これらの機能に対応するプログラムがＲＯＭに記憶されることになる。そして、ＣＰＵがそれらのプログラムを実行することにより、その機能が実行される。

（処理の流れ）
続いて、無線ＭＲシステムにおけるＨＭＤ１０１−Ｎの動作を、図４のフローチャートを参照しながら説明する。なお、図４のフローチャートは、１画像フレーム分の処理に対応し、ＨＭＤ１０１−Ｎは、所定のフレームレートでこの処理を繰り返して実行する。図４のフローチャートの各ステップは、例えば、ＨＭＤのメモリにストアされたプログラムを、ＨＭＤが備えるＣＰＵが実行することにより処理される。

図４の処理では、まず、撮像部２０１が撮像を実行して撮像画像を取得する（Ｓ４０１）。そして、無線通信部２０２は、撮像画像を含む撮像画像パケットを生成して、無線ルータ１０２を介して画像処理装置１０３−Ｎへその撮像画像パケットを送信する（Ｓ４０２）。そして、無線通信部２０２は、画像処理装置１０３−Ｎから送信されるＭＲ画像パケットを無線ルータ１０２から受信する（Ｓ４０３）。なお、ＨＭＤ１０１−Ｎは、Ｓ４０２において、撮像を実行した場合のＨＭＤ１０１−Ｎの位置姿勢情報を画像処理装置１０３−Ｎへ送信してもよい。さらに、ＨＭＤ１０１−Ｎは、Ｓ４０３において、画像処理装置１０３−Ｎから、ＭＲ画像そのものではなく、ＭＲ画像を構成するための画像を含むパケットを受信し、そのＭＲ画像を構成するための画像と撮像画像とに基づいてＭＲ画像を取得してもよい。

続いて、通信品質判定部２０７は、Ｓ４０３においてＭＲ画像またはＭＲ画像を構成するための画像を受信する際の、無線通信における通信品質が良好な状態か良好でない状態かの評価を行う（Ｓ４０４〜Ｓ４０７、Ｓ４０９〜Ｓ４１０）。ここで、通信品質が良好な状態であるか否かの評価には、通信品質の劣化の程度を示す値が用いられる。通信品質の劣化の程度を示す値は、例えば、受信した信号にエラー（誤り）が生じた頻度と、画像の表示タイミングより所定の処理に要する時間だけ前のタイミングでパケットの受信が完了しない程度の通信遅延が生じた頻度との少なくともいずれかを含む。なお、当然のことながら、これら以外の値が、通信品質の劣化の程度を示す値として用いられてもよい。

通信品質判定部２０７は、通信品質の劣化の程度を示す値が、第１の閾値を超えて通信品質が劣化していると判定すると、その後、その劣化の程度を示す値が第１の閾値より低い第２の閾値より小さくなるまで、通信品質が良好な状態でないと評価する。すなわち、通信品質判定部２０７が２つの閾値を用いることにより、通信品質の劣化の程度を示す値が第１の閾値を超えた後は、通信品質の劣化の程度が十分に低くなるまで、通信品質が良好でない状態が維持されていると評価する。これにより、ＨＭＤ１０１−Ｎにおいて、頻繁に表示画像が切り替えられることを防ぐことができる。

この処理の詳細について、通信品質の劣化の程度を示す値として、受信した信号にエラーが生じた頻度と、通信遅延が生じた頻度とが用いられる場合の例を示したものが、図４のＳ４０４〜Ｓ４０７、Ｓ４０９〜Ｓ４１０に相当する。ここでは、通信品質判定部２０７は、まず、無線通信部２０２が出力する受信データのエラー検出結果と、ＭＲ画像バッファ２０５が出力する通信遅延検出結果とに基づいて、エラー発生頻度と通信遅延発生頻度を測定する（Ｓ４０４）。なお、無線通信部２０２は、エラー検出が可能な任意の手法でエラーを検出すれば足り、例えば、ＩＥＥＥ８０２．１１規格のＭＡＣフレームに含まれるＦＣＳ（Ｆｒａｍｅ Ｃｈｅｃｋ Ｓｅｑｕｅｎｃｅ）等を用いて、エラーを検出してもよい。

通信品質判定部２０７は、例えば、１０秒当たりに発生したＣＲＣエラー検出数をエラー発生頻度と、１０秒当たりに発生した遅延発生数を遅延発生頻度とを測定する。なお、ここでのエラー発生頻度をＥとし、遅延発生頻度をＤとする。なお、通信品質判定部２０７は、１０秒間ではなく、他の所定期間におけるエラー発生数、遅延発生数から、エラー発生頻度Ｅ及び遅延発生頻度Ｄを算出してもよい。

通信品質判定部２０７は、続いて、表示部２０８が前のフレームを表示したときに、通信品質が良好な状態であると判定していたかを判定する（Ｓ４０５）。すなわち、通信品質判定部２０７は、前のフレームの表示時において、通信品質の劣化の程度を示す値が第１の閾値を超えた後に第２の閾値を下回っていないような、通信品質が良好でない状態であるか否か、を判定する。そして、通信品質判定部２０７は、前のフレームの表示時に通信品質が良好な状態であった場合（Ｓ４０５でＹＥＳ）は、処理をＳ４０６へ進める。

Ｓ４０６において、通信品質判定部２０７は、エラー発生頻度Ｅがエラー発生頻度の第１の閾値Ｅｔｈ１より小さいか否か、及び通信遅延発生頻度Ｄが通信遅延発生頻度の第１の閾値Ｄｔｈ１より小さいか否かの判定を行う。なお、エラー発生頻度の第１の閾値Ｅｔｈ１と通信遅延発生頻度の第１の閾値Ｄｔｈ１は任意に設定可能である。例えば、第１の閾値は、ＨＭＤ装着者に違和感または不快感を与える、またはＨＭＤ装着者の眼に疲労を与えるエラー／通信遅延発生頻度の下限値、またはそれ以下の値に設定されうる。

そして、通信品質判定部２０７は、エラー発生頻度Ｅと通信遅延発生頻度Ｄとが共に第１の閾値より小さい場合（Ｓ４０６でＹＥＳ）は、処理をＳ４０７に進める。そして、この場合、通信品質判定部２０７は、前のフレームの表示時の通信品質が良好な状態にあり、かつ、エラー発生頻度Ｅと通信遅延発生頻度Ｄとが共に閾値よりも小さいため、通信品質が良好な状態が維持されていると判定する（Ｓ４０７）。このため、この場合には、表示画像選択部２０６は、ＭＲ画像バッファ２０５からＭＲ画像を読み出し、表示部２０８にそのＭＲ画像出力する（Ｓ４０８）。

一方、エラー発生頻度Ｅと通信遅延発生頻度Ｄとの少なくともいずれかが第１の閾値以上である場合（Ｓ４０６でＮＯ）は、通信品質判定部２０７は、処理をＳ４１０へ進める。この場合、通信品質判定部２０７は、前のフレームの表示時の通信品質は良好な状態にあったものの、現在において、通信品質の劣化の程度を示す値が第１の閾値を超えたため、通信品質が良好でない状態に入ったと判定する（Ｓ４１０）。したがって、この場合には、表示画像選択部２０６は、撮像画像バッファ２０４から撮像画像を読み出し、表示部２０８にその撮像画像を出力する（Ｓ４１１）。

Ｓ４０５に戻り、通信品質判定部２０７は、前のフレームの表示時に通信品質が良好な状態でないと判定した場合（Ｓ４０５でＮＯ）、処理をＳ４０９へ進める。Ｓ４０９では、エラー発生頻度Ｅがエラー発生頻度の第２の閾値Ｅｔｈ２以上であるか否か、及び通信遅延発生頻度Ｄが通信遅延発生頻度の第２の閾値Ｄｔｈ２以上であるか否かの判定を行う。なお、この第２の閾値は、通信品質の状態の判定にヒステリシスを持たせ、判定結果が頻繁に変わることを抑制するためのものであり、判定結果が頻繁に変わらないように、第１の閾値より低い値として適宜設定されうる。

Ｓ４０９の判定は、前のフレーム表示時に通信品質が良好でない状態、すなわち、通信品質の劣化の程度を示す値が第１の閾値を超えてから、いまだに第２の閾値を下回っていない状態に行われる。このため、Ｓ４０９の判定において、通信品質の劣化の程度を示す値が第２の閾値を下回ると、通信品質判定部２０７は、それにより、通信品質の状態は良好な状態へ移ったと判定することができる。このため、エラー発生頻度Ｅと通信遅延発生頻度Ｄとがともに第２の閾値よりも小さい場合（Ｓ４０９でＮＯ）は、通信品質判定部２０７は、通信品質が良好な状態になったと判定する（Ｓ４０７）。このため、この場合には、表示画像選択部２０６は、ＭＲ画像バッファ２０５からＭＲ画像を読み出し、表示部２０８にそのＭＲ画像出力する（Ｓ４０８）。

一方、エラー発生頻度Ｅと通信遅延発生頻度Ｄとの少なくともいずれかが第２の閾値以上である場合（Ｓ４０９でＹＥＳ）は、通信品質の劣化の程度を示す値が第１の閾値を超えてから第２の閾値を下回らない状態が維持されていることとなる。したがって、通信品質判定部２０７は、この場合には通信品質が良好でない状態であると判定する（Ｓ４１０）。このため、表示画像選択部２０６は、この場合には撮像画像バッファ２０４から撮像画像を読み出し、表示部２０８にその撮像画像を出力する（Ｓ４１１）。

ＨＭＤ１０１−Ｎにおける、エラー発生頻度または通信遅延発生頻度と、通信品質の状態の判定結果、そして表示される画像との関係を、図５を用いて説明する。なお、図５では、エラー発生頻度と通信遅延発生頻度とをまとめて１つの軸に表しているが、実際には、これらは異なる指標であるため、エラー発生頻度と通信遅延発生頻度とのそれぞれに対して個別に閾値が設定され、個別にその閾値との比較が実行される。

図５では、期間５０１において、エラー／通信遅延発生頻度が第１の閾値を下回っている。また、期間５０１の始点において、エラー／通信遅延発生頻度が第２の閾値を下回っているため、前のフレーム表示時における通信品質の状態は良好な状態であったと判定できる。このため、ＨＭＤ１０１−Ｎでは、図４の処理において、Ｓ４０５でＹＥＳ、かつ、Ｓ４０６でＹＥＳと判定され、その結果、通信品質が良好な状態と判定され（Ｓ４０７）、表示部２０８にはＭＲ画像が表示される（Ｓ４０８）。

一方、タイミング５０２において、エラー／通信遅延発生頻度が第１の閾値を上回ったものとする。この場合、ＨＭＤ１０１−Ｎでは、図４の処理において、Ｓ４０５でＹＥＳ、かつ、Ｓ４０６でＮＯと判定され、その結果、通信品質が良好でない状態と判定され（Ｓ４１０）、表示部２０８には撮像画像が表示されるようになる（Ｓ４１１）。

期間５０３では、前のフレームの表示時の通信品質の状態が、通信品質の劣化の程度を示す値が第１の閾値を超えた後、第２の閾値を下回る前の状態であるため、良好でない状態であると判定できる。また、期間５０３では、エラー／通信遅延発生頻度が第２の閾値を下回っていない。このため、ＨＭＤ１０１−Ｎでは、図４の処理において、Ｓ４０５でＮＯ、かつ、Ｓ４０９でＹＥＳと判定され、その結果、通信品質通信品質が良好でない状態と判定され（Ｓ４１０）、表示部２０８には撮像画像が表示され続ける（Ｓ４１１）。すなわち、期間５０３では、エラー／通信遅延発生頻度が第１の閾値を下回る場合においても、通信品質が良好でない状態であると判定する。この動作により、エラー／通信遅延発生頻度が第１の閾値付近で揺らいでいる場合に、ＨＭＤ表示画像が撮像画像とＭＲ画像との間で頻繁に切り替わることを防ぐことができる。

その後、タイミング５０４において、エラー／通信遅延発生頻度が第２の閾値を下回ったものとする。この場合、ＨＭＤ１０１−Ｎでは、図４の処理において、Ｓ４０５でＮＯ、かつ、Ｓ４０９でＮＯと判定され、その結果、通信品質が良好な状態と判定され（Ｓ４０７）、表示部２０８にはＭＲ画像が表示される（Ｓ４０８）。その後、期間５０５において、エラー／通信遅延発生頻度が再び第１の閾値を上回るまで、通信品質が良好な状態と判定され（Ｓ４０７）、表示部２０８にはＭＲ画像が表示される（Ｓ４０８）。

このように、本実施形態のＨＭＤ１０１−Ｎは、エラー／通信遅延発生頻度が第１の閾値を上回り、ＨＭＤ装着者に違和感または不快感を与える、又はＨＭＤ装着者の眼に疲労を与える通信状態となった場合に、撮像画像をＨＭＤ装着者に提示する。さらに、本実施形態のＨＭＤ１０１−Ｎは、通信状態を判定するための閾値として第１の閾値に加えて第２の閾値を設定し、その判定にヒステリシスを持たせることで、判定結果及びＨＭＤ表示画像が頻繁に切り替わることを抑制する。これにより、通信状態が不安定となった場合におけるＨＭＤ表示画像の頻繁な切り替わりを抑制し、ＨＭＤ装着者に与える違和感や不快感、及び眼の疲労を軽減することができる。

なお、本実施形態では、エラー発生頻度と通信遅延発生頻度とそれらの第１の閾値及び第２の閾値との比較結果に基づいて通信品質の状態を判定し、ＨＭＤ表示画像を切り替える構成とした。しかしながら、この判定において、エラー発生頻度と通信遅延発生頻度とのいずれか一方のみが用いられてもよい。また、通信品質の劣化の程度を示す値は、エラー発生頻度と通信遅延発生頻度とに限定されない。例えば、受信信号強度や受信信号のＥＶＭ（Ｅｒｒｏｒ Ｖｅｃｔｏｒ Ｍａｇｎｉｔｕｄｅ）等を用いて、通信品質の劣化の程度を示す値が特定されてもよい。なお、上述の説明で、エラー発生頻度と通信遅延発生頻度とを共に用いたように、複数の通信品質の劣化の程度を示す値が同時に用いられてもよいし、いずれか１つが用いられてもよい。

また、本実施形態では、ＨＭＤ１０１−Ｎは、通信品質が良好な状態である場合は、ＭＲ画像がエラーを含んでいたとしても、そのＭＲ画像を表示部２０８で表示するが、これに限られない。例えば、通信品質が良好な状態である間は、特許文献２に記載の技術等を用いて補間画像を生成して、その補間画像を表示するようにしてもよい。

また、通信品質が良好な状態でなくなった場合、ＨＭＤ１０１−Ｎは、通信品質が良好でない状態であること、又は撮像画像を表示していることを、表示部２０８に表示することによりＨＭＤ装着者に通知してもよい。この場合、ＨＭＤ１０１−Ｎは、さらにＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）生成部を有し、通信品質判定部２０７の判定結果に基づいてメッセージや識別マークを生成し、撮像画像に重畳させてもよい。また、ＨＭＤ１０１−Ｎは、通信品質が良好でない状態であると判定した場合、その状態と判定した原因を表示部２０８に表示して、ＨＭＤ装着者に通知してもよい。なお、表示される原因は、例えば、エラー発生頻度と通信遅延発生頻度とのいずれが第１の閾値を超えたか、すなわち、通信品質の劣化の程度を示す値のうち、どの値に起因して通信品質が良好でないと判定したか、などの情報でありうる。このように、通信品質が良好な状態でないことと、その原因との少なくともいずれかをＨＭＤ装着者に通知することにより、ＨＭＤ装着者にその対策を促すことができる。

また、本実施形態では、ビデオシースルーＨＭＤを利用したＭＲシステムについて説明したが、光学シースルーＨＭＤが使用されてもよい。

＜＜実施形態２＞＞
実施形態１では、エラー／通信遅延発生頻度と、それらの第１の閾値及び第２の閾値との比較を行うことで通信状態の判定を行い、判定結果に基づいてＭＲ画像と撮像画像のいずれかをＨＭＤ表示画像として選択する例について説明した。本実施形態では、さらに、エラー／通信遅延発生頻度のそれぞれに対して第３の閾値（第１の閾値＞第３の閾値≧第２の閾値）を設定する。そして、エラー／通信遅延発生頻度が第３の閾値を上回る場合には、エラー／通信遅延発生頻度を低減するように通信制御を行うことにより、ＨＭＤ表示画像の撮像画像への切り替わりを抑制して、ＨＭＤ装着者に可能な限りＭＲ画像を提示する。

（システム構成）
本実施形態に係る無線ＭＲシステムの構成は、実施形態１と同様であるため、説明を省略する。

（装置構成）
図６に、本実施形態に係るＨＭＤ１０１−Ｎの機能構成例を示す。なお、実施形態１のＨＭＤ１０１−Ｎの機能構成例を示す図２と同様のブロックについては同一の符号を付与して説明を省略する。図６において、通信品質判定部２０７は、実施形態１の動作に加えて、エラー／通信遅延発生頻度とそれら第３の閾値との比較を行う。そして、エラー／通信遅延発生頻度がそれら第３の閾値を上回る場合、通信制御の変更が必要と判定し、その旨を通信制御パケット生成部６０１に出力する。

通信制御パケット生成部６０１は、通信品質判定部２０７から出力される判定結果に基づいて、無線ルータ１０２に対して通信制御の変更を指示する通信制御パケットを生成し、無線通信部２０２に出力する。本実施形態では、通信制御パケット生成部６０１は、所定周期毎に通信制御パケットを生成するものとするが、通信制御を変更するときのみ通信制御パケットを生成するようにしてもよい。無線通信部２０２は、実施形態１の動作に加えて、通信制御パケット生成部６０１から出力される通信制御パケットを、無線ルータ１０２に送信する。ここで、通信制御の変更は、例えば、変調方式と誤り訂正符号との少なくともいずれかを変更すること、又は送信データの優先度を変更することを含む。

無線ルータ１０２は、ＨＭＤ１０１−Ｎから通信制御パケットを受信した場合、その内容に応じて、ＨＭＤ１０１−Ｎに送信するＭＲ画像パケットに関する通信制御の内容を変更する。ここで、無線ルータ１０２は、例えば、８０２．１１ａｃに準拠した無線通信方式と、８０２．１１ｅに準拠したＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）方式とを用いるものとする。

無線ルータ１０２は、ＨＭＤ１０１−１〜ＨＭＤ１０１−３のそれぞれに送信したＭＲ画像パケットの変調に使用したＭＣＳ（Ｍｏｄｕｌａｔｉｏｎ ａｎｄ Ｃｏｄｉｎｇ Ｓｃｈｅｍｅ）のインデックスを記憶する。そして、ＨＭＤ１０１−Ｎから変調方式と誤り訂正符号との少なくともいずれかを変更するよう通知を受けた場合、ＨＭＤ１０１−Ｎに送信するＭＲ画像パケットの変調に使用するＭＣＳインデックスを変更するように通信制御を行う。すなわち、ＭＣＳインデックスが変更されると、変調方式と誤り訂正符号との少なくともいずれかが変更される。なお、ＭＣＳインデックスが低いほど、通信速度は低速になるが誤り耐性が強くなり、ＭＣＳインデックスが高いほど、誤り耐性は低くなるが通信速度が高速になる。このため、無線ルータ１０２は、例えば、エラー発生頻度を下げるようにＨＭＤ１０１−Ｎから通知を受けた場合には、ＭＣＳインデックスを下げるように制御を行う。

また、ＨＭＤ１０１−Ｎから通信遅延発生頻度を下げるように送信優先度の変更指示を受けた場合には、ＨＭＤ１０１−Ｎへ送信するＭＲ画像パケットの送信優先度を上げるように制御を行う。送信優先度は、例えば、ＨＭＤ１０１−Ｎに送信するＭＲ画像パケットのアクセスカテゴリやＴＸＯＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｏｐｐｒｏｔｕｎｉｔｙ）ｌｉｍｉｔを変更することにより、変更される。本実施形態では、無線ルータ１０２は、アクセスカテゴリを変更することで送信優先度を変更するものとするが、ＭＲ画像パケットの送信待ち時間を変更可能な方法であれば、他の任意の方法を用いることもできる。

上述の無線ルータ１０２の動作により、ＨＭＤ１０１−Ｎの受信するＭＲ画像パケットのエラー／通信遅延発生頻度を制御することができる。なお、８０２．１１ａｃと同様の自律分散型の無線通信方式である８０２．１１ａ／ｂ／ｇ／ｎを使用する場合においても、上述の動作によりエラー／通信遅延発生頻度を制御することが可能である。

本実施形態における、通信品質と通信制御との関係について、図７を参照して説明する。なお、図７では、エラー発生頻度と通信遅延発生頻度とをまとめて１つの軸に表しているが、実際には、これらは異なる指標であるため、エラー発生頻度と通信遅延発生頻度とのそれぞれに対して個別に閾値が設定され、個別にその閾値との比較が行われる。

図７では、期間７０１において、エラー／通信遅延発生頻度が第３の閾値を下回っている。このため、ＨＭＤ１０１−Ｎは、通信制御を現状で維持すべきことを示す通信制御パケットを生成し、無線ルータ１０２に送信する。無線ルータ１０２は、受信した通信制御パケットに基づいて動作し、期間７０１では、ＨＭＤ１０１−Ｎに送信するＭＲ画像パケットの変調方式と誤り訂正符号との少なくともいずれかと送信優先度との変更を行わない。

期間７０２では、エラー／通信遅延発生頻度が第３の閾値を上回っている。このため、ＨＭＤ１０１−Ｎは、通信制御の変更を通知する通信制御パケットを生成し、無線ルータ１０２に送信する。ＨＭＤ１０１−Ｎは、例えば、エラー発生頻度がエラー発生頻度の第３の閾値を上回る場合には、変調方式と誤り訂正符号との少なくともいずれかの変更を通知する通信制御パケットを生成する。また、ＨＭＤ１０１−Ｎは、例えば、通信遅延発生頻度が通信遅延発生頻度の第３の閾値を上回る場合には、送信優先度の変更を通知する通信制御パケットを生成する。無線ルータ１０２は、ＨＭＤ１０１−Ｎから受信した通信制御パケットに応じて、通信制御を行う。すなわち、無線ルータ１０２は、例えば、ＨＭＤ１０１−Ｎに送信するＭＲ画像パケットの変調方式と誤り訂正符号との少なくともいずれか若しくは優先度、またはその両方を変更する。すなわち、無線ルータ１０２は、エラー／通信遅延発生頻度が第１の閾値を超えないように、通信制御を行う。なお、通信制御を行ったにも関わらず、エラー／通信遅延発生頻度が第１の閾値を超えてしまった場合には、実施形態１と同様に、ＨＭＤ表示画像の切り替えを行う。

期間７０３では、エラー／通信遅延発生頻度が第３の閾値を下回るため、ＨＭＤ１０１−Ｎは期間７０１と同様の通信制御へと戻すことを示す通信制御パケットを生成し、無線ルータ１０２に送信する。無線ルータ１０２は、受信した通信制御パケットに基づいて、期間７０１と同様の変調方式及び誤り訂正符号と送信優先度とを用いて、ＨＭＤ１０１−ＮにＭＲ画像パケットを送信する。

上述のＨＭＤ１０１−Ｎ及び無線ルータ１０２の動作により、エラー／通信遅延発生頻度が第３の閾値を上回る場合、エラー／通信遅延発生頻度が第１の閾値を上回る前に通信制御を変更することができる。これにより、エラー／通信遅延発生頻度を低減し、ＨＭＤ表示画像が撮像画像へと切り替わる確率を抑えることができる。

なお、本実施形態では、ＨＭＤ１０１−Ｎ及び無線ルータ１０２が自律分散型の無線通信方式である８０２．１１ａｃを使用するものとして説明を行った。しかしながら、８０２．１１ａｄ等のように、ＴＤＭＡ（Ｔｉｍｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式を用いる無線通信方式が使用されてもよい。この場合、ＭＣＳを変更することによって、エラー発生頻度を制御することができる。また、パケット送信の時間割り当てを変更すれことにより、通信遅延発生頻度を制御することもできる。

また、本実施形態では、エラー／通信遅延発生頻度が第３の閾値を上回る場合、無線ルータ１０２の送信するＭＲ画像パケットの通信制御を行うものとした。しかしながら、エラー／通信遅延発生頻度が第３の閾値を上回る通信状況においては、ＨＭＤ１０１−Ｎの送信する撮像画像パケットにもエラー／通信遅延が発生する場合がある。このため、ＨＭＤ１０１−Ｎの送信する撮像画像パケットに対しても、上述の通信制御を行うようにしてもよい。

また、本実施形態ではエラー発生頻度と通信遅延発生頻度とそれらの第３の閾値との比較結果に基づいて通信品質の状態を判定し、通信制御を行うものとしたが、エラー発生頻度と通信遅延発生頻度のいずれか一方のみを用いるようにしてもよい。また、通信品質の状態の判定指標は、これらに限定されるものではなく、受信信号強度や受信信号のＥＶＭ等が用いられてもよい。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１：撮像部、２０２：無線通信部、２０６：表示画像選択部、２０７：通信品質判定部、２０８：表示部

Claims (11)

1. 撮像により第１の画像を取得する取得手段と、
   前記第１の画像に基づいて生成された第２の画像を外部装置から受信する受信手段と、
   前記外部装置との通信における通信品質を判断する判断手段と、
   前記判断手段による判断の結果、前記通信品質の劣化の程度を示す値が第１の閾値を超えるまで前記第２の画像を表示部に表示させ、当該第１の閾値を超えた場合に前記第１の画像を表示部に表示させるように制御する表示制御手段と、
   を有し、
   前記表示制御手段は、前記通信品質の劣化の程度を示す値が前記第１の閾値を超えてから当該第１の閾値より低い第２の閾値を下回るまで前記第１の画像を表示させ、
   前記通信品質の劣化の程度を示す値は、前記表示制御手段によって画像を表示するタイミングに応じたタイミングまでに前記第２の画像の受信が完了しなかった第２の頻度を含む、
   ことを特徴とする表示装置。
2. 前記通信品質の劣化の程度を示す値は、前記第２の画像を受信する際の通信においてエラーが生じた第１の頻度を含む、
   ことを特徴とする請求項１に記載の表示装置。
3. 前記第１の頻度が前記第１の閾値より低い第３の閾値を超えた場合に、前記第２の画像を受信する際に用いられる変調方式と誤り訂正符号との少なくともいずれかを、前記第１の頻度を下げるように変更する変更手段をさらに有する、
   ことを特徴とする請求項２に記載の表示装置。
4. 前記第１の画像または他の情報を前記他の装置に宛てて送信する送信手段をさらに有し、
   前記変更手段は、さらに、前記第１の頻度が前記第３の閾値を超えた場合に、前記第１の画像または他の情報を送信する際の変調方式と誤り訂正符号との少なくともいずれかを変更する、
   ことを特徴とする請求項３に記載の表示装置。
5. 前記第２の頻度が前記第１の閾値より低い第３の閾値を超えた場合に、前記第２の画像を送信する際の優先度を、前記第２の頻度を下げるように変更する変更手段をさらに有する、
   ことを特徴とする請求項１から４のいずれか１項に記載の表示装置。
6. 前記第１の画像または他の情報を前記外部装置に宛てて送信する送信手段をさらに有し、
   前記変更手段は、さらに、前記第２の頻度が前記第３の閾値を超えた場合に、前記第１の画像または他の情報を送信する際の優先度を変更する、
   ことを特徴とする請求項５に記載の表示装置。
7. 前記表示制御手段は、前記通信品質が良好でない状態にあると判断された場合に、さらに、前記通信品質が良好でない状態にあることを示す情報を表示させる、
   ことを特徴とする請求項１から６のいずれか１項に記載の表示装置。
8. 前記表示制御手段は、前記通信品質が良好でない状態にあると判断された場合に、さらに、前記通信品質が良好でない状態にあると判断された原因を示す情報を表示させる、
   ことを特徴とする請求項７に記載の表示装置。
9. 前記表示装置は、頭部装着型の表示装置である、
   ことを特徴とする請求項１から８のいずれか１項に記載の表示装置。
10. 撮像により第１の画像を取得する取得手段と、前記第１の画像に基づいて生成された第２の画像を外部装置から受信する受信手段とを有する表示装置の制御方法であって、
    判断手段が、前記外部装置との通信における通信品質を判断する判断工程と、
    表示制御手段が、前記判断工程における判断の結果、前記通信品質の劣化の程度を示す値が第１の閾値を超えるまで前記第２の画像を表示部に表示させ、当該第１の閾値を超えた場合に前記第１の画像を表示部に表示させるように制御する表示制御工程と、
    を有し、
    前記表示制御工程では、前記通信品質の劣化の程度を示す値が前記第１の閾値を超えてから当該第１の閾値より低い第２の閾値を下回るまで前記第１の画像を表示させ、
    前記通信品質の劣化の程度を示す値は、前記表示制御手段によって画像を表示するタイミングに応じたタイミングまでに前記第２の画像の受信が完了しなかった第２の頻度を含む、
    ことを特徴とする制御方法。
11. 撮像により第１の画像を取得する取得手段と、前記第１の画像に基づいて生成された第２の画像を外部装置から受信する受信手段とを有する表示装置に備えられたコンピュータに、請求項１０に記載の制御方法を実行させるためのプログラム。

Images