JP4912224B2 - 画像表示システム、及びその制御方法 - Google Patents

Description

本発明は、画像の表示技術に関するものである。

現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。頭部装着型表示装置を利用したＭＲシステムでは、次のようにして装着者にＭＲ空間を提示する。

即ち、頭部装着型表示装置に実装した撮像ユニットによって取得された、若しくは外部より入力された現実空間画像にＣＧ画像を合成し、頭部装着型表示装置の表示ユニットで合成画像を表示することで、装着者にＭＲ空間を提示する。合成画像を左目用画像、右目用画像として別系統で生成し、それぞれ左目用表示ユニット、右目用表示ユニットに表示することにより、装着者にステレオ動画像を提供することが可能である。

従来から、ステレオ動画像データの伝送中にエラーが生じた際、エラーが発生している側の画像データの一部または全体を、エラーの発生している側の１つ前の画像データの一部または全体で置き換えて補間を行う方法が提案されている。また、ステレオ動画像データの伝送中にエラーが生じた際、エラーが発生している側の画像データの一部または全体を、エラーの発生していない側の画像データの一部または全体で置き換えて補間を行う方法も提案されている。

図１０Ａ〜図１０Ｃを用いて、スレテオ動画像データの伝送中にエラーが生じた場合における、従来の対処方法について説明する（特許文献１）。

図１０Ａは、Ｌ３のフレームにエラーが生じた場合について説明する図である。

図１０ＡにおいてＲ１，Ｒ２，Ｒ３，Ｒ４…は右目用の動画像を構成する各フレーム１４０１Ｒを表し、Ｌ１，Ｌ２，Ｌ３，Ｌ４…は左目用の動画像を構成する各フレーム１４０１Ｌを表している。ここで、それぞれのストリーム１４０１Ｒ、１４０１Ｌの伝送中に、１４０２で示す如く、Ｌ３のフレームの伝送にエラーが生じたとする。この場合、それぞれのフレームの画像を再生しても、左目に対して表示する動画像には画像の乱れやコマ落ちが発生し、ユーザにとって違和感のあるステレオ動画像が再生されてしまう。

図１０Ｂは、Ｌ３のフレームを、対応する右側のフレームＲ３（画像１４０３）に置き換える処理を説明する図である。図１０Ｃは、Ｌ３のフレームをその直前のフレームＬ２（画像１４０４）に置き換える処理を説明する図である。係る処理により、画像の乱れを抑え、コマ落ちを解消することができる。
特登録０３３３２５７５号（図２、段落００４８）

しかしながら上述した従来技術には以下のような問題があった。

ステレオカメラによる立体動画像を表示するシステムにおいて、図１０Ｃに示すように、エラー画像のフレームを前フレームＬ２に置き換える方法では、フレーム間で画像の内容に大きな差があると（カメラが大きく動いてしまうと）、使用者に違和感を与える。

また図１０Ｂに示す如く、エラー画像のフレームを、反対側の目に対するストリーム中の対応するフレームで置き換える方法では、次のような問題がある。即ち、フレーム間で画像の内容にあまり差がない場合、即ち、動きが小さい場合、それぞれの目に対して対応するストリームを再生すると、ステレオ感を損失することになる。

本発明は以上の問題に鑑みてなされたものであり、ユーザの左右の目に対して動画像を提供する場合に、フレームにエラーが発生しても、係るフレームの修正を、簡便なシステム構成で容易に行うための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像表示システムは以下の構成を備える。

即ち、観察者の一方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、他方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、を有する画像表示システムであって、
それぞれの前記画像提示部は、
各フレームの現実空間画像を入力する入力手段と、
前記現実空間画像を撮像したときの位置姿勢を取得する取得手段と、
前記取得手段が取得した位置姿勢に基づいて仮想空間画像を生成し、前記入力手段が入力した現実空間画像と合成することで、合成画像を生成する生成手段と、
前記生成手段が生成した合成画像を送出する送出手段と、
前記送出された合成画像を受信する受信手段と、
前記受信手段が受信した注目フレームの合成画像のデータにエラーが発生しているか否かを判断する判断手段と、
前記注目フレームの合成画像のデータにエラーが発生していないと前記判断手段が判断した場合には、前記注目フレームの合成画像を表示し、
前記注目フレームの合成画像のデータにエラーが発生していると前記判断手段が判断した場合には、前記注目フレームにおける動き量を示す参照値を求め、
前記参照値が予め定められた閾値よりも小さい場合には、前記注目フレームにおける合成画像を前記注目フレームの直前のフレームにおける合成画像を用いて修正した合成画像を表示し、
前記参照値が前記閾値以上である場合には、前記注目フレームにおける合成画像を表示する表示手段と
を備える
ことを特徴とする。

本発明の目的を達成するために、例えば、本発明の画像表示システムの制御方法は以下の構成を備える。

即ち、観察者の一方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、他方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、を有する画像表示システムの制御方法であって、
それぞれの前記画像提示部が、
各フレームの現実空間画像を入力する入力工程と、
前記現実空間画像を撮像したときの位置姿勢を取得する取得工程と、
前記取得工程で取得した位置姿勢に基づいて仮想空間画像を生成し、前記入力工程で入力した現実空間画像と合成することで、合成画像を生成する生成工程と、
前記生成工程で生成した合成画像を送出する送出工程と、
前記送出された合成画像を受信する受信工程と、
前記受信工程で受信した注目フレームの合成画像のデータにエラーが発生しているか否かを判断する判断工程と、
前記注目フレームの合成画像のデータにエラーが発生していないと前記判断工程で判断した場合には、前記注目フレームの合成画像を表示し、
前記注目フレームの合成画像のデータにエラーが発生していると前記判断工程で判断した場合には、前記注目フレームにおける動き量を示す参照値を求め、
前記参照値が予め定められた閾値よりも小さい場合には、前記注目フレームにおける合成画像を前記注目フレームの直前のフレームにおける合成画像を用いて修正した合成画像を表示し、
前記参照値が前記閾値以上である場合には、前記注目フレームにおける合成画像を表示する表示工程と
を備える
ことを特徴とする。

本発明の構成によれば、ユーザの左右の目に対して動画像を提供する場合に、フレームにエラーが発生しても、係るフレームの修正を、簡便なシステム構成で容易に行うことができる。

以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
図１は、本実施形態に係る画像表示システムの機能構成例を示すブロック図である。図１に示す如く、本実施形態に係るシステムは、画像出力部１０１、画像処理部１０２、画像表示部１０３により構成されている。尚、画像出力部１０１と画像表示部１０３により、頭部装着型表示装置は構成される。以下、各部について詳細に説明する。

なお、以下の説明において、参照番号にＲが付いているものは、頭部装着型表示装置を頭部に装着した観察者（以下、単に観察者と呼称する）の右目に対して画像を提示するための画像提示部を構成する構成要素を示す。同様に、参照番号にＬが付いているものは、頭部装着型表示装置を頭部に装着した観察者の左目に対して画像を提示するための画像提示部を構成する構成要素を示す。従って、Ｒ、Ｌを除いた参照番号が同じものは同じ動作を行うものとする。従って以下の説明において、一方側の目に対して画像を提示するための構成についての説明は、他方側の目に対して画像を提示する為の構成についても同様に当てはめることができる。

先ず、画像出力部１０１について説明する。

画像出力部１０１は、右目画像出力部１０４Ｒ、左目画像出力部１０４Ｌにより構成されている。

左目画像出力部１０４Ｌは、観察者の左目に対して提示する現実空間画像（左目用の現実空間画像）をフレーム毎に取得し、順次、画像処理部１０２に送出する。

右目画像出力部１０４Ｒは、観察者の右目に対して提示する現実空間画像（右目用現実空間画像）をフレーム毎に取得し、順次、画像処理部１０２に送出する。

なお、左目画像出力部１０４Ｌ、右目画像出力部１０４Ｒがどこから現実空間画像を取得するのかについては特に限定するものではない。例えば、画像出力部１０１を接続したネットワークに接続されているサーバ装置や、ＣＤ−ＲＯＭなどの記録媒体から情報を読み取る装置、ハードディスク装置、或いは撮像デバイスなどから取得する。

なお、本実施形態では、左目画像出力部１０４Ｌ、右目画像出力部１０４Ｒはそれぞれ別個に画像を出力している。しかし、左目画像出力部１０４Ｌから出力される現実空間画像と、右目画像出力部１０４Ｒから出力される現実空間画像と、を１つのストリーム内に含めて画像処理部１０２に送出するようにしても良い。

次に、画像処理部１０２について説明する。画像処理部１０２は、位置情報生成部１０５、位置情報管理部１０６、画像合成部１０７、により構成されている。

位置情報生成部１０５は、左目画像出力部１０４Ｌから左目用の現実空間画像を取得すると、係る現実空間画像を用いて、観察者の左目の位置姿勢情報を求める。係る位置姿勢情報を求める処理については後述する。そして求めた位置姿勢情報を後段の位置情報管理部１０６に送出する。また、位置情報生成部１０５は、右目画像出力部１０４Ｒから右目用の現実空間画像を取得すると、係る現実空間画像を用いて、観察者の右目の位置姿勢情報を求める。係る位置姿勢情報を求める処理については後述する。そして求めた位置姿勢情報を後段の位置情報管理部１０６に送出する。なお、上述のように、左目用の現実空間画像と右目用の現実空間画像とが１つのストリームに含められて画像出力部１０１から送出された場合には、位置情報生成部１０５は、係るストリームを、左目用の現実空間画像、右目用の現実空間画像に分割する。そして係る分割の後はそれぞれの現実空間画像を用いて、観察者の右目の位置姿勢情報、左目の位置姿勢情報を求める。

位置情報管理部１０６は、位置情報生成部１０５から送出された観察者の左目の位置姿勢情報、右目の位置姿勢情報をセットにして、複数フレーム分保持する。

画像合成部１０７は、位置情報管理部１０６に管理されている最新の右目の位置姿勢情報を取得し、係る位置姿勢情報が示す位置姿勢を有する視点から見える仮想空間の画像（仮想空間画像）を生成する。そして生成した仮想空間画像を、位置情報生成部１０５、位置情報管理部１０６を介して受取った（受信した）右目画像出力部１０４Ｒからの現実空間画像の上に合成することで、右目用の合成画像を生成する。そして生成した右目用の合成画像を画像表示部１０３に送出する。また、画像合成部１０７は、位置情報管理部１０６に管理されている最新の左目の位置姿勢情報を取得し、係る位置姿勢情報が示す位置姿勢を有する視点から見える仮想空間の画像（仮想空間画像）を生成する。そして生成した仮想空間画像を、位置情報生成部１０５、位置情報管理部１０６を介して受取った左目画像出力部１０４Ｌからの現実空間画像の上に合成することで、左目用の合成画像を生成する。そして生成した左目用の合成画像を画像表示部１０３に送出する。なお、右目用の合成画像、左目用の合成画像をそれぞれ別個に送出するのではなく、１つのストリームに含めて送出するようにしても良い。

次に、画像表示部１０３について説明する。画像表示部１０３は、エラー検出部１０８Ｌ、１０８Ｒ、補間処理部１０９Ｌ、１０９Ｒ、表示部１１０Ｌ、１１０Ｒにより構成されている。以下の説明では、注目フレームの右目用の合成画像、注目フレームの左目用の合成画像が画像表示部１０３に入力された場合における、画像表示部１０３の動作について説明する。従って、画像表示部１０３は、以下説明する動作を、画像処理部１０２から入力されるフレーム毎に行うことになる。また、上述のように、左目用の合成画像と右目用の合成画像とが１つのストリームに含められて画像処理部１０２から送出された場合には、画像表示部１０３には、次のような構成を設ける必要がある。即ち、係るストリームを、左目用の合成画像、右目用の合成画像に分割し、それぞれをエラー検出部１０８Ｌ、１０８Ｒに転送する為の構成を設ける必要がある。なお、画像表示部１０３は、過去数フレーム分の右目用の合成画像、左目用の画合成画像を、それぞれ補間処理部１０９Ｒ、１０９Ｌが読み出すことができるように不図示のメモリに保持しているものとする。

エラー検出部１０８Ｌは、画像合成部１０７から送出された左目用の合成画像を受取ると、係る合成画像のデータにエラーが生じている（発生している）か否かをチェック（判断）する。係るチェックでは、合成画像のデータにエラーが生じることで、合成画像中にノイズなどが付加されているのか否かをチェックする。係るチェックには、パリティチェック、チェックサム、Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ（ＣＲＣ）等の一般的なエラーチェック手法を用いればよい。そしてそのチェック結果は、後段の補間処理部１０９Ｌに送出する。

エラー検出部１０８Ｒは、画像合成部１０７から送出された右目用の合成画像を受取ると、エラー検出部１０８Ｌと同様の動作を行い、係る合成画像のデータにエラーが生じているか否かをチェックする。そしてそのチェック結果は、後段の補間処理部１０９Ｒに送出する。

補間処理部１０９Ｌは、エラー検出部１０８Ｌによるチェック結果が「エラー無し」を示すものである場合には、エラー検出部１０８Ｌに入力された左目用の合成画像をそのまま後段の表示部１１０Ｌに送出する。一方、エラー検出部１０８Ｌによるチェック結果が「エラー有り」を示すものである場合には、補間処理部１０９Ｌは次のような処理を行う。即ち、位置情報管理部１０６にアクセスし、注目フレームの左目用の合成画像を生成するために用いた位置姿勢情報と、注目フレームの直前のフレームの左目用の合成画像を生成するために用いた位置姿勢情報との差分（絶対値付き差分）を、参照値として求める。より詳しくは、位置成分同士の差分、姿勢成分同士の差分を、それぞれ参照値として求める。以下では、位置成分同士の差分を位置参照値、姿勢成分同士の差分を姿勢参照値、と呼称する。そして位置参照値、姿勢参照値の何れも閾値よりも小さければ、補間処理部１０９Ｌは、注目フレームの直前のフレームの左目用の合成画像を不図示のメモリから取得する。そして、取得した合成画像を、注目フレームの左目用の合成画像の代わりに表示部１１０Ｌに送出する。一方、位置参照値、姿勢参照値の何れかが閾値以上であれば、補間処理部１０９Ｌは、注目フレームの右目用の合成画像を補間処理部１０９Ｒから取得し、取得した合成画像を後段の表示部１１０Ｌに送出する。即ち、位置参照値と閾値との大小比較結果、姿勢参照値と閾値との大小比較結果、に応じて、表示部１１０Ｌに送出する合成画像を切り替える制御を行う。

表示部１１０Ｌは、補間処理部１０９Ｌから送出された画像を表示するものである。ここで、表示部１１０Ｌは、頭部装着型表示装置を頭部に装着した観察者の眼前（左目前）に位置するように頭部装着型表示装置に取り付けられたものであるので、観察者の眼前には、補間処理部１０９Ｌから送出された画像が表示されることになる。

補間処理部１０９Ｒは、エラー検出部１０８Ｒによるチェック結果が「エラー無し」を示すものである場合には、エラー検出部１０８Ｒに入力された右目用の合成画像をそのまま後段の表示部１１０Ｒに送出する。一方、エラー検出部１０８Ｒによるチェック結果が「エラー有り」を示すものである場合には、補間処理部１０９Ｒは次のような処理を行う。即ち、位置情報管理部１０６にアクセスし、注目フレームの右目用の合成画像を生成するために用いた位置姿勢情報と、注目フレームの直前のフレームの右目用の合成画像を生成するために用いた位置姿勢情報との差分を、参照値として求める。即ち、位置参照値、姿勢参照値、を求める。そして位置参照値、姿勢参照値の何れも閾値よりも小さければ、補間処理部１０９Ｒは、注目フレームの直前のフレームの右目用の合成画像を不図示のメモリから取得する。そして、取得した合成画像を、注目フレームの右目用の合成画像の代わりに表示部１１０Ｒに送出する。一方、位置参照値、姿勢参照値の何れかが閾値以上であれば、補間処理部１０９Ｒは、注目フレームの左目用の合成画像を補間処理部１０９Ｌから取得し、取得した合成画像を後段の表示部１１０Ｒに送出する。

表示部１１０Ｒは、補間処理部１０９Ｒから送出された画像を表示するものである。ここで、表示部１１０Ｒは、頭部装着型表示装置を頭部に装着した観察者の眼前（右目前）に位置するように頭部装着型表示装置に取り付けられたものであるので、観察者の眼前には、補間処理部１０９Ｒから送出された画像が表示されることになる。

図２は、本システムが行う処理のフローチャートである。なお、図２に示したフローチャートに従った処理は、１フレーム分の合成画像を表示させるための処理であり、実際には、係る処理を繰り返し行う。これにより、複数フレームの合成画像を表示させることができる。なお、以下では説明上、注目フレーム（２フレーム目以降）の合成画像を表示部１１０Ｌに表示させる場合について説明するが、注目フレームの合成画像を表示部１１０Ｒに表示させる場合であっても、同様の処理を行えば良い。

ステップＳ２０１では、位置情報生成部１０５は、左目画像出力部１０４Ｌから送出された左目用の現実空間画像を取得する。

ステップＳ２０２では、位置情報生成部１０５は、係る現実空間画像を用いて、観察者の左目の位置姿勢情報を求める。そして求めた位置姿勢情報を後段の位置情報管理部１０６に送出する。位置情報管理部１０６は、位置情報生成部１０５から送出された観察者の左目の位置姿勢情報を保持する。

ステップＳ２０３では、画像合成部１０７は、位置情報管理部１０６に管理されている最新の左目の位置姿勢情報を取得し、係る位置姿勢情報が示す位置姿勢を有する視点から見える仮想空間の画像（仮想空間画像）を生成する。そして生成した仮想空間画像を、位置情報生成部１０５、位置情報管理部１０６を介して受取った左目画像出力部１０４Ｌからの現実空間画像の上に合成することで、左目用の合成画像を生成する。そして生成した左目用の合成画像を画像表示部１０３に送出する。

ステップＳ２０４では、エラー検出部１０８Ｌは、画像合成部１０７から送出された左目用の合成画像を受取ると、係る合成画像のデータにエラーが生じているか否かをチェックする。そしてそのチェック結果を、後段の補間処理部１０９Ｌに送出する。エラー検出部１０８Ｌによるチェック結果が「エラー無し」を示すものである場合には、処理はステップＳ２１３に進む。

ステップＳ２１３では、補間処理部１０９Ｌは、エラー検出部１０８Ｌに入力された左目用の合成画像をそのまま後段の表示部１１０Ｌに送出する。これにより、表示部１１０Ｌには、係る合成画像が表示される。

一方、エラー検出部１０８Ｌによるチェック結果が「エラー有り」を示すものである場合には、処理はステップＳ２０４からステップＳ２０５に進む。

ステップＳ２０５では、補間処理部１０９Ｌは次のような処理を行う。先ず、位置情報管理部１０６にアクセスし、注目フレームの左目用の合成画像を生成するために用いた位置姿勢情報と、注目フレームの直前のフレームの左目用の合成画像を生成するために用いた位置姿勢情報とを取得する。

次にステップＳ２０６では、補間処理部１０９Ｌは、注目フレームの左目用の合成画像を生成するために用いた位置情報と、注目フレームの直前のフレームの左目用の合成画像を生成するために用いた位置情報との差分を位置参照値αとして求める。また、補間処理部１０９Ｌは、注目フレームの左目用の合成画像を生成するために用いた姿勢情報と、注目フレームの直前のフレームの左目用の合成画像を生成するために用いた姿勢情報との差分を姿勢参照値βとして求める。

そして、位置参照値α、姿勢参照値βの何れも閾値よりも小さければ、処理はステップＳ２０７を介してステップＳ２０８に進む。

ステップＳ２０８では、補間処理部１０９Ｌは、注目フレームの直前のフレームの左目用の合成画像を不図示のメモリから取得する。

そしてステップＳ２０９では、ステップＳ２０８で取得した合成画像を、注目フレームにおける左目用の合成画像として設定する。

そしてステップＳ２１３では、ステップＳ２０８で取得した合成画像を後段の表示部１１０Ｌに送出する。これにより、表示部１１０Ｌには、係る合成画像が表示されることになる。

一方、位置参照値α、姿勢参照値βの何れかが閾値以上であれば、処理はステップＳ２０７からステップＳ２１１に進む。

ステップＳ２１１では、補間処理部１０９Ｌは、注目フレームの右目用の合成画像を補間処理部１０９Ｒから取得する。

そしてステップＳ２１２では、補間処理部１０９Ｌは、ステップＳ２１１で取得した合成画像を、注目フレームにおける左目用の合成画像として設定する。

そしてステップＳ２１３では、ステップＳ２１１で取得した合成画像を後段の表示部１１０Ｌに送出する。これにより、表示部１１０Ｌには、係る合成画像が表示されることになる。

ここで、上記位置情報生成部１０５が、現実空間画像から、観察者の目の位置姿勢情報を生成するための処理について説明する。係る処理は、右目の位置姿勢情報を生成する場合であっても、左目の位置姿勢情報を生成する場合であっても処理としては同じである。

図３は、現実空間画像の一例を示す図である。図３において３０３はマーカで、様々な情報がコード化された２次元バーコードが記されており、その周囲には枠が記されている。係るマーカ３０３は、図３では現実物体であるテーブル３０２の上に配されている。そして３０１は、左目画像出力部１０４Ｌ又は右目画像出力部１０４Ｒから出力される現実空間の画像を示す。

現実空間画像が位置情報生成部１０５に入力されると、位置情報生成部１０５は先ず、現実空間画像３０１中におけるマーカ３０３を検出する。そして検出したマーカ３０３に記されている２次元バーコードを解析し、係る２次元バーコードの識別情報を認識する。位置情報生成部１０５内には、識別情報に対応するマーカの３次元座標位置が予め記憶されているので、係る処理によって識別情報が認識されると、対応する３次元座標位置が特定できる。そして、現実空間画像３０１上のマーカ３０３の座標位置と係る３次元座標位置とを用いて、写真測量などの分野で周知の技術を適用すれば、観察者の目の位置姿勢情報を生成することができる。なお、マーカ３０３は複数個用いても良い。また、マーカ３０３の代わりに、例えば、画像中のエッジ３０４を用いても良い。また、マーカ３０３として用いることができるものは、２次元バーコードが記されたものに限定するものではなく、例えば、カラーマーカや、ＬＥＤ等の発光素子のような方向性のないマーカを複数用いても良い。このようにマーカ３０３の代わりに用いることができるものについては様々なものが考え得る。また、これら列挙したものを適宜組み合わせて用いても良い。なお、位置情報生成部１０５が行う上記処理については周知の技術であるので、これ以上の説明は省略する。

図５は、注目フレームの合成画像として１フレーム前の合成画像を表示する処理を説明する図である。図５において５０１Ｌは、画像合成部１０７から順次出力される左目用の合成画像であり、５０２が注目フレームにおける左目用の合成画像である。合成画像５０２は、エラーを含む。上述の通り、位置参照値α、姿勢参照値βの何れも閾値よりも小さい場合には、合成画像５０２の代わりに、１フレーム前の合成画像５０３を表示する。なお、図５に示した係る処理は、右目用の合成画像についても同様である。

このような方法は、フレーム間で画像の内容に大きな動きがない場合、即ち、位置参照値α、姿勢参照値βが共に小さい場合には効果的である。このような場合には、観察者の右目に対して提示する合成画像と左目に対して提示する合成画像との間のズレは小さくなり、ステレオ感が損なわれることもないため、観察者に対して違和感のない合成画像を提供することができる。

図６は、注目フレームの合成画像として、他方の目に対する注目フレームの合成画像を表示する処理を説明する図である。図６において６０１Ｌは、画像合成部１０７内から順次出力される左目用の合成画像であり、６０１Ｒは、画像合成部１０７内から順次出力される右目用の合成画像である。そして６０２は、エラーを含む、注目フレームにおける左目用の合成画像であり、６０３は、注目フレームにおける右目用の合成画像であり、この右目用の合成画像にエラーが含まれない。上述の通り、位置参照値α、姿勢参照値βの何れかが閾値以上である場合には、合成画像６０２の代わりに、合成画像６０３を表示する。なお、図６に示した係る処理は、右目用の合成画像についても同様である。

＜変形例１＞
上記説明では、一方の目に対する注目フレームの合成画像にエラーがある場合には、この合成画像の代わりに他の合成画像を表示することで、エラーを有する合成画像の表示を避けていた。しかし、エラーを有する合成画像においてエラーの箇所以外はそのまま表示し、係るエラーの箇所についてはこれを表示せず、他の合成画像において対応する箇所を表示するようにしても良い。

図７Ａは、第１の実施形態で説明したように、エラーを有する合成画像の代わりに他の合成画像を表示する（画像全体の置き換えを行う）ことで、エラーを有する合成画像の表示を避ける処理を説明する図である。図７Ａにおいて７０２はエラーを有する合成画像であり、７０１は、合成画像７０２の代わりに表示する合成画像である。

図７Ｂは、エラーを有する合成画像においてエラーの箇所以外はそのまま表示し、係るエラーの箇所についてはこれを表示せず、他の合成画像において対応する箇所を表示する処理を説明する図である。図７Ｂにおいて７０５はエラーを有する合成画像であり、７０６ａ、７０６ｂがエラーの箇所である。係る箇所７０６ａ、７０６ｂは、エラー検出部１０８Ｌ、１０８Ｒが行うエラー検出処理によって特定されるものである。また、７０４は、合成画像７０５が一方の目に対するものである場合には、他方の目に対する合成画像である。合成画像７０５を表示する場合、エラーの箇所７０６ａ、７０６ｂ以外についてはそのまま表示し、エラーの箇所７０６ａ、７０６ｂの代わりに、合成画像７０４においてそれぞれの箇所７０６ａ、７０６ｂに対応する箇所７０４ａ、７０４ｂを表示する。

なお、図７Ａ、図７Ｂのそれぞれに示した方法は、例えば次のようにして選択的に用いればよい。エラーを有する合成画像の面積（全画素数）に対する、エラー箇所の面積（エラーの箇所を構成する画素の数）の割合を求める。そして求めた割合が閾値以上であれば図７Ａに示した方法で得られる合成画像を表示し、閾値よりも小さければ図７Ｂに示した方法で得られる合成画像を表示する。

＜変形例２＞
第１の実施形態では、頭部装着型表示装置の動き量に相当する参照値として、位置参照値α、姿勢参照値βを用いた。しかし、参照値として用いることができるものはこれに限定するものではなく、例えば、次のようなものも考えられる。

注目フレームにおける合成画像にエラーが検出された場合、注目フレームよりも１つ前のフレームにおける合成画像と、注目フレームにおける合成画像とで、画像内の動き量（オプティカルフロー）を求め、これを参照値として用いる。

図４は、オプティカルフローを説明する図である。

オプティカルフローとは、動画像における見かけの速度であり、オプティカルフローの代表的な計算方法としては、マッチング法やグラディエント法といった方法がある。ここでは、注目フレームにおける合成画像にエラーが検出された場合、注目フレームよりも１つ前のフレームにおける合成画像と、注目フレームにおける合成画像と、のオプティカルフローを求める。図４においてそれぞれの矢印がオプティカルフローである。図４において４０３は注目フレームよりも１つ前のフレームにおけるテーブルの画像であり、４０２は注目フレームにおけるテーブルの画像である。従って画像４０２と画像４０３との位置の差がオプティカルフローとなっている。４０１は、現実空間画像である。

従ってこのようにして求めたオプティカルフローを参照値として用いる場合、図２のフローチャートに従った処理は次のようになる。ステップＳ２０１からステップＳ２０４までは第１の実施形態と同じである。ステップＳ２０５では、注目フレームにおける合成画像、注目フレームよりも１つ前における合成画像を取得し、ステップＳ２０６では、それぞれの合成画像を用いてオプティカルフローを参照値として求める。そして、係るオプティカルフローのサイズが閾値以上であれば処理をステップＳ２０７を介してステップＳ２１１に進める。一方、オプティカルフローが閾値よりも小さければ処理をステップＳ２０７を介してステップＳ２０８に進める。以降は第１の実施形態と同じである。なお、同様のことは以下説明する実施形態にも適宜適用できる。

＜変形例３＞
一方の目に対する注目フレームの合成画像にエラーがあり、且つ位置参照値α、姿勢参照値βの何れかが閾値以上である場合には、一方の目に対する注目フレームの合成画像の代わりに、他方の目に対する注目フレームの合成画像を表示していた。しかし、一方の目に対する注目フレームの合成画像にエラーがあり、且つ位置参照値α、姿勢参照値βの何れかが閾値以上である場合に行う処理としては図８，９に示す以下のようなものも考えられる。

図８は、エラーの箇所をその周囲の画素群を用いて修正する処理を説明する図である。図８において領域８０２内にエラーの箇所が存在しているものとする。８０３はエラーの箇所としての画素であり、係る画素８０３を修正するためにその近傍の８画素８０４を用いる。係る修正では、例えば、８画素８０４のそれぞれの画素値の平均値を求め、係る平均値を画素８０３の画素値として設定する。係る処理の負担の軽減を目的に、垂直方向、水平方向のいずれかの隣接した２画素の画素値の平均値を画素８０３の画素値として設定しても良い。

図８では、エラーの箇所としての画素が一つの場合を示しているが、複数の隣接した画素がまとまってエラーの箇所を形成している場合にも同様の処理を行えばよい。即ち、エラーの箇所に隣接する画素群の画素値の平均値を求める。そして、「エラーの箇所を形成する画素」と「エラーの箇所に隣接する非エラー箇所を構成する画素」との最短距離に応じて平均値に重み付けしたものを「エラーの箇所を形成する画素」の画素値として設定する。

このように、エラーの箇所を構成する画素の画素値を修正する方法には様々な手法があり、何れかに限定するものではない。

図９は、エラーのラインを、その直上のラインを用いて修正する処理を説明する図である。図９の上部において９０１はエラーのラインを含む合成画像であり、９０２がエラーのラインである。９０３はエラーのライン９０２の直上のラインである。この場合、ライン９０３をライン９０２にコピーすることで、図９の下部に示す如く、ライン９０２があったライン位置にライン９０３をコピーした合成画像９０４を生成する。ライン９０５は、ライン９０２の位置にライン９０３をコピーしたものである。

なお、コピー元としては直上のラインに限定するものではなく、直下のラインでも良い。また、直上のラインと直下のラインとで対応する画素位置の画素値を平均化することで新たに生成されるラインを、エラーのラインに上書きしても良い。

以上説明した図８，９の処理の何れかを、一方の目に対する注目フレームの合成画像にエラーがあり、且つ位置参照値α、姿勢参照値βの何れかが閾値以上である場合に行うようにしても良い。これにより、左右の合成画像間のズレがなくなり、それぞれの画像を観察者の対応する目に提示しても、観察者はステレオ感を失うこともない。

また、上記説明では、一方の目に対する注目フレームの合成画像にエラーがあれば、２通りの方法の何れかによって得られる合成画像を観察者に提示していた。しかし、参照値の大きさに応じて複数の方法を対応付けておき、求めた参照値に対応する方法でもって、観察者の目に対して提示する合成画像を得るようにしても良い。

［第２の実施形態］
注目フレームにおける画像中にエラーが生じていても、注目フレームから過去数フレームに渡って画像内の変化が激しい場合には、係る注目フレームを観察者に提供しても、観察者は係るエラーは認識し難い。例えば、高速に移動しているカメラが撮像した各フレームの画像を観察者に提供する場合には、係る注目フレームを観察者に提供しても、観察者は係るエラーは認識し難い。

本実施形態では、注目フレームの合成画像内にエラーが生じていても、注目フレームの直前の合成画像と、注目フレームの合成画像と、の間で求まる位置参照値α、姿勢参照値βの何れかが閾値以上であれば、注目フレームの合成画像をそのまま表示する。

なお、本実施形態に係るシステムについては第１の実施形態と同様である。

図１１は、本実施形態に係るシステムが行う処理のフローチャートである。なお、図１１に示したフローチャートに従った処理は、１フレーム分の合成画像を表示させるための処理であり、実際には、係る処理を繰り返し行う。これにより、複数フレームの合成画像を表示させることができる。なお、以下では説明上、注目フレーム（２フレーム目以降）の合成画像を表示部１１０Ｌに表示させる場合について説明するが、注目フレームの合成画像を表示部１１０Ｒに表示させる場合であっても、同様の処理を行えば良い。

図１１に示したフローチャートは、図２に示したフローチャートから、ステップＳ２１１，Ｓ２１２を削除したものとなっている。

ステップＳ２０６で求めた位置参照値α、姿勢参照値βの何れかが閾値以上であれば、処理はステップＳ２０７からステップＳ２１３に進む。

ステップＳ２１３では、補間処理部１０９Ｌは、エラー検出部１０８Ｌに入力された左目用の合成画像をそのまま後段の表示部１１０Ｌに送出する。これにより、表示部１１０Ｌには、係る合成画像が表示される。

以上説明した処理は、第１の実施形態と比べると簡易化されており、観察者に合成画像を提供するための処理をより高速に行うことができる。

［第３の実施形態］
本実施形態では、左目用の現実空間画像、右目用の現実空間画像を、撮像動作により取得すると共に、右目の位置姿勢情報、左目の位置姿勢情報の算出に、位置姿勢センサを用いる。

図１２は、本実施形態に係るシステムの機能構成例を示すブロック図である。図１２において、図１に示したものと同じものについては同じ参照番号を付けており、その説明は省略する。図１２に示す如く、本実施形態に係るシステムは、画像撮像部１２０１、画像処理部１２０２、画像表示部１０３、センサ（位置姿勢センサ）１２１１により構成されている。尚、画像出力部１０１と画像表示部１０３により、頭部装着型表示装置は構成される。以下、各部について詳細に説明する。

なお、以下の説明において、参照番号にＲが付いているものは、頭部装着型表示装置１２００を頭部に装着した観察者（以下、単に観察者と呼称する）の右目に対して画像を提示するための画像提示部を構成する構成要素を示す。同様に、参照番号にＬが付いているものは、頭部装着型表示装置１２００を頭部に装着した観察者の左目に対して画像を提示するための画像提示部を構成する構成要素を示す。従って、Ｒ、Ｌを除いた参照番号が同じものは同じ動作を行うものとする。従って以下の説明において、一方側の目に対して画像を提示するための構成についての説明は、他方側の目に対して画像を提示する為の構成についても当てはめることができる。

先ず、画像撮像部１２０１について説明する。

画像撮像部１２０１は、左目画像撮像部１２０４Ｌ、右目画像撮像部１２０４Ｒ、により構成されている。左目画像撮像部１２０４Ｌは、頭部装着型表示装置１２００を頭部に装着した観察者の左目の近傍位置に取り付けられるものである。同様に、右目画像撮像部１２０４Ｒは、頭部装着型表示装置１２００を頭部に装着した観察者の右目の近傍位置に取り付けられるものである。

左目画像撮像部１２０４Ｌは、観察者の左目に対して提示する現実空間画像（左目用の現実空間画像）をフレーム毎に撮像し、順次、画像処理部１２０２に送出する。

右目画像撮像部１２０４Ｒは、観察者の右目に対して提示する現実空間画像（右目用現実空間画像）をフレーム毎に撮像し、順次、画像処理部１２０２に送出する。

なお、本実施形態では、左目画像撮像部１２０４Ｌ、右目画像撮像部１２０４Ｒはそれぞれ別個に画像を出力している。しかし、左目画像撮像部１２０４Ｌが撮像した現実空間画像と、右目画像撮像部１２０４Ｒが撮像した現実空間画像と、を１つのストリーム内に含めて画像処理部１２０２に送出するようにしても良い。

次に、センサ１２１１について説明する。センサ１２１１は、頭部装着型表示装置１２００に対して装着されるものであり、自身の位置姿勢を計測し、その結果を位置姿勢情報として画像処理部１２０２に送出するものである。センサ１２１１には、例えば、磁気センサやジャイロセンサ、光学式センサなどを用いることができる。なお、センサ１２１１を用いて自身の位置姿勢を求めるための技術については周知であるので、センサ１２１１による位置姿勢情報の取得方法については、説明を省略する。

次に、画像処理部１２０２について説明する。画像処理部１２０２は、位置情報生成部１２０５、位置情報管理部１２０６、画像合成部１２０７、により構成されている。

位置情報生成部１２０５は、左目画像撮像部１２０４Ｌから左目用の現実空間画像を取得すると、係る現実空間画像と、センサ１２１１から受けた位置姿勢情報と、を用いて、観察者の左目の位置姿勢情報を求める。本実施形態では、図３を用いて説明したように画像を用いた位置姿勢の計算に加え、センサ１２１１による情報をも用いてより正確に位置姿勢情報を求める。画像情報に加えてセンサ情報をも用いて視点の位置姿勢を求めるための技術については周知であるので、これについての説明は省略する。そして求めた位置姿勢情報を後段の位置情報管理部１２０６に送出する。また、位置情報生成部１２０５は、右目画像撮像部１２０４Ｒから右目用の現実空間画像を取得すると、係る現実空間画像と、センサ１２１１から受けた位置姿勢情報と、を用いて、観察者の右目の位置姿勢情報を求める。そして求めた位置姿勢情報を後段の位置情報管理部１２０６に送出する。なお、上述のように、左目用の現実空間画像と右目用の現実空間画像とが１つのストリームに含められて画像撮像部１２０１から送出された場合には、位置情報生成部１２０５は、係るストリームを、左目用の現実空間画像、右目用の現実空間画像に分割する。そして係る分割の後はそれぞれの現実空間画像、及びセンサ１２１１による位置姿勢情報、を用いて、観察者の右目の位置姿勢情報、左目の位置姿勢情報を求める。

位置情報管理部１２０６は、位置情報生成部１２０５から送出された観察者の左目の位置姿勢情報、右目の位置姿勢情報をセットにして、複数フレーム分保持する。

画像合成部１２０７は、位置情報管理部１２０６に管理されている最新の右目の位置姿勢情報を取得し、係る位置姿勢情報が示す位置姿勢を有する視点から見える仮想空間の画像（仮想空間画像）を生成する。そして生成した仮想空間画像を、位置情報生成部１２０５、位置情報管理部１２０６を介して受取った右目画像撮像部１２０４Ｒからの現実空間画像の上に合成することで、右目用の合成画像を生成する。そして生成した右目用の合成画像を画像表示部１０３に送出する。また、画像合成部１２０７は、位置情報管理部１２０６に管理されている最新の左目の位置姿勢情報を取得し、係る位置姿勢情報が示す位置姿勢を有する視点から見える仮想空間の画像（仮想空間画像）を生成する。そして生成した仮想空間画像を、位置情報生成部１２０５、位置情報管理部１２０６を介して受取った左目画像撮像部１２０４Ｌからの現実空間画像の上に合成することで、左目用の合成画像を生成する。そして生成した左目用の合成画像を画像表示部１０３に送出する。なお、右目用の合成画像、左目用の合成画像をそれぞれ別個に送出するのではなく、１つのストリームに含めて送出するようにしても良い。

そして画像表示部１０３は第１の実施形態で説明したように動作する。

図１３は、本システムが行う処理のフローチャートである。なお、図１３において、図２と同じ部分については同じステップ番号を付けており、その説明は省略する。図１３に示したフローチャートに従った処理は、１フレーム分の合成画像を表示させるための処理であり、実際には、係る処理を繰り返し行う。これにより、複数フレームの合成画像を表示させることができる。なお、以下では説明上、注目フレーム（２フレーム目以降）の合成画像を表示部１１０Ｌに表示させる場合について説明するが、注目フレームの合成画像を表示部１１０Ｒに表示させる場合であっても、同様の処理を行えば良い。

ステップＳ１３０１では、センサ１２１１は、自身の位置姿勢を計測し、その結果を位置姿勢情報として画像処理部１２０２に送出する。

ステップＳ１３０２では、位置情報生成部１２０５は、左目画像撮像部１２０４Ｌから左目用の現実空間画像を取得すると、係る現実空間画像と、センサ１２１１から受けた位置姿勢情報と、を用いて、観察者の左目の位置姿勢情報を求める。

なお、位置情報生成部１２０５は、次のようにして位置姿勢情報を生成しても良い。即ち、左目画像撮像部１２０４Ｌ、右目画像撮像部１２０４Ｒからの現実空間画像はそのまま画像合成部１２０７に送出する。そして、センサ１２１１から位置姿勢情報を受けると、係る位置姿勢情報に、予め測定されたセンサ１２１１と左目画像撮像部１２０４Ｌとの位置姿勢関係を加えることで、左目画像撮像部１２０４Ｌの位置姿勢情報（観察者の左目の位置姿勢情報）を得る。そして得たこの位置姿勢情報を後段の位置情報管理部１０６に送出する。同様に、センサ１２１１から位置姿勢情報を受けると、係る位置姿勢情報に、予め測定されたセンサ１２１１と右目画像撮像部１２０４Ｒとの位置姿勢関係を加えることで、右目画像撮像部１２０４Ｒの位置姿勢情報（観察者の右目の位置姿勢情報）を得る。そして得たこの位置姿勢情報を後段の位置情報管理部１０６に送出する。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係るシステムの機能構成例を示すブロック図である。 頭部装着型表示装置が行う処理のフローチャートである。 現実空間画像の一例を示す図である。 オプティカルフローを説明する図である。 注目フレームの合成画像として１フレーム前の合成画像を表示する処理を説明する図である。 注目フレームの合成画像として、他方の目に対する注目フレームの合成画像を表示する処理を説明する図である。 第１の実施形態で説明したように、エラーを有する合成画像の代わりに他の合成画像を表示する（置き換え）ことで、エラーを有する合成画像の表示を避ける処理を説明する図である。 エラーを有する合成画像においてエラーの箇所以外はそのまま表示し、係るエラーの箇所についてはこれを表示せず、他の合成画像において対応する箇所を表示する処理を説明する図である。 エラーの箇所をその周囲の画素群を用いて修正する処理を説明する図である。 エラーのラインを、その直上のラインを用いて修正する処理を説明する図である。 Ｌ３のフレームにエラーが生じた場合について説明する図である。 Ｌ３のフレームを、対応する右側のフレームＲ３（画像１４０３）に置き換える処理を説明する図である。 Ｌ３のフレームをその直前のフレームＬ２（画像１４０４）に置き換える処理を説明する図である。 本発明の第２の実施形態に係る頭部装着型表示装置が行う処理のフローチャートである。 本発明の第３の実施形態に係るシステムの機能構成例を示すブロック図である。 頭部装着型表示装置が行う処理のフローチャートである。

Claims (7)

1. 観察者の一方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、他方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、を有する画像表示システムであって、
   それぞれの前記画像提示部は、
   各フレームの現実空間画像を入力する入力手段と、
   前記現実空間画像を撮像したときの位置姿勢を取得する取得手段と、
   前記取得手段が取得した位置姿勢に基づいて仮想空間画像を生成し、前記入力手段が入力した現実空間画像と合成することで、合成画像を生成する生成手段と、
   前記生成手段が生成した合成画像を送出する送出手段と、
   前記送出された合成画像を受信する受信手段と、
   前記受信手段が受信した注目フレームの合成画像のデータにエラーが発生しているか否かを判断する判断手段と、
   前記注目フレームの合成画像のデータにエラーが発生していないと前記判断手段が判断した場合には、前記注目フレームの合成画像を表示し、
   前記注目フレームの合成画像のデータにエラーが発生していると前記判断手段が判断した場合には、前記注目フレームにおける動き量を示す参照値を求め、
   前記参照値が予め定められた閾値よりも小さい場合には、前記注目フレームにおける合成画像を前記注目フレームの直前のフレームにおける合成画像を用いて修正した合成画像を表示し、
   前記参照値が前記閾値以上である場合には、前記注目フレームにおける合成画像を表示する表示手段と
   を備える
   ことを特徴とする画像表示システム。
2. 前記修正は、画像全体の置き換え、若しくは前記判断手段がエラー箇所として判断した箇所についての画像の置き換え、の何れかによって行われることを特徴とする請求項１に記載の画像表示システム。
3. 前記表示手段は、前記注目フレームについて前記取得手段が取得した位置姿勢と、当該注目フレームの直前のフレームについて前記取得手段が取得した位置姿勢と、の差分を前記参照値として求めることを特徴とする請求項１に記載の画像表示システム。
4. 前記表示手段は、前記注目フレームにおける合成画像と、当該注目フレームの直前のフレームにおける合成画像と、のオプティカルフローを前記参照値として求めることを特徴とする請求項１に記載の画像表示システム。
5. 前記取得手段は、前記入力手段が入力した画像を用いて、前記位置姿勢を求めることを特徴とする請求項１乃至４の何れか１項に記載の画像表示システム。
6. それぞれの前記画像提示部は、頭部装着型表示装置に取り付けれており、
   前記取得手段は、前記頭部装着型表示装置に取り付けられた位置姿勢センサが計測した結果から、前記頭部装着型表示装置の位置姿勢を求めることを特徴とする請求項１乃至４の何れか１項に記載の画像表示システム。
7. 観察者の一方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、他方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、を有する画像表示システムの制御方法であって、
   それぞれの前記画像提示部が、
   各フレームの現実空間画像を入力する入力工程と、
   前記現実空間画像を撮像したときの位置姿勢を取得する取得工程と、
   前記取得工程で取得した位置姿勢に基づいて仮想空間画像を生成し、前記入力工程で入力した現実空間画像と合成することで、合成画像を生成する生成工程と、
   前記生成工程で生成した合成画像を送出する送出工程と、
   前記送出された合成画像を受信する受信工程と、
   前記受信工程で受信した注目フレームの合成画像のデータにエラーが発生しているか否かを判断する判断工程と、
   前記注目フレームの合成画像のデータにエラーが発生していないと前記判断工程で判断した場合には、前記注目フレームの合成画像を表示し、
   前記注目フレームの合成画像のデータにエラーが発生していると前記判断工程で判断した場合には、前記注目フレームにおける動き量を示す参照値を求め、
   前記参照値が予め定められた閾値よりも小さい場合には、前記注目フレームにおける合成画像を前記注目フレームの直前のフレームにおける合成画像を用いて修正した合成画像を表示し、
   前記参照値が前記閾値以上である場合には、前記注目フレームにおける合成画像を表示する表示工程と
   を備える
   ことを特徴とする画像表示システムの制御方法。

Images