JP4950834B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、複合現実感を提供するための技術に関するものである。

現実空間の映像に三次元モデリングされた物体（仮想物体）の映像を重畳して表示することで、あたかも現実空間中にＣＧで描かれた物体が存在しているように見せる複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）提示装置が存在する（非特許文献１）。

係る装置は次のような各部を有する。

・ 現実空間の映像を撮影する現実映像撮影部（例えばビデオカメラ）
・ 現実空間の映像を撮影している位置から見たＣＧ映像を生成するＣＧ映像生成部
・ 現実空間の映像とＣＧ映像とを合成して表示する映像表示部（例えば、ＨＭＤ（ヘッドマウントディスプレイ）、又はモニタ）
また係る装置は、現実映像撮影部の視線の位置姿勢が変わった場合であってもＣＧ映像と現実空間の映像との位置関係を正しく表示するために、現実映像撮影部の視線位置・視線方向を検出する視線位置姿勢検出部（例えば、位置姿勢センサ）を備えている。

ＣＧ映像生成部は、三次元モデリングされた仮想物体を、現実空間と同じスケールの仮想空間に置き、視線位置姿勢検出部によって検出された視線位置・視線方向から観察された仮想空間をレンダリングする。このようにして生成されたＣＧ映像と現実映像撮影部によって撮影された現実空間の映像とを合成すると、結果として、どの視線位置・視線方向から観察した場合でも、現実空間中に仮想物体が置かれているような映像を表示することができる。

仮想物体の種類や配置の変更、アニメーションなどは、一般的なＣＧと同様の手法で、自由に行える。仮想物体の位置を指定するためにさらなる位置姿勢センサを用い、位置姿勢センサによる計測値に応じた位置姿勢に仮想物体を配置することも可能である。

また、従来では、係る構成において、位置姿勢センサを手に持ち、位置姿勢センサによる計測値が示す位置姿勢に仮想物体を配置して観察することも行われている。

現実空間の映像を撮影する現実映像撮影部は、例えばビデオカメラであり、ビデオカメラの視線方向にある映像を撮影し、メモリ中にキャプチャする。

現実空間の映像と、ＣＧ映像とを合成して表示する映像表示装置としては、例えばＨＭＤが用いられる。通常のモニタでなく、ＨＭＤを用い、さらに上記ビデオカメラをＨＭＤの視線方向に向けてＨＭＤに装着することで、観察者が向いている方向の映像をＨＭＤに映し出すことができる。また、観察者が向いている方向に応じたＣＧの描画も行えるため、観察者の没入感を高めることができる。

複合現実感提示装置における映像表示部は、上記のような映像表示装置に、現実空間の映像とＣＧ映像とを合成した画像（ＭＲ画像）を表示する。

視線位置姿勢検出部としては、磁気方式による位置姿勢センサなどが用いられ、これを上記ビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付けることによって、ビデオカメラの位置姿勢を検出する。磁気方式の位置姿勢センサとは、磁気発生装置(発信機)と磁気センサ(受信機)との間の相対位置・姿勢を検出するものであり、センサの３次元位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）をリアルタイムに検出する装置である。

上記の構成により、観察者はＨＭＤ等の映像表示部を通じて、現実空間の映像とＣＧ映像とが合成された映像を観察することができる。観察者が周囲を見回すと、ＨＭＤに備え付けられたビデオカメラが現実空間の映像を撮影し、ＨＭＤに備え付けられた位置姿勢センサがビデオカメラの位置・視線方向を検出する。これに応じてＣＧ映像生成部がその視線位置・姿勢から見たＣＧ映像を生成(レンダリング)し、これを現実空間の映像に合成して表示する。

複合現実感提示装置では、現実物体に仮想物体を重畳することが可能である。例えば、特許文献１に開示されているゲームでは、ユーザの持つ対話操作入力装置に剣や武器などの仮想物体を重畳表示することで、ユーザが自由に仮想物体（この場合は剣や武器）を操ることを可能にしている。また、非特許文献２には、図５に示すようなカメラのモックアップ１３１０に、ＣＡＤから生成された仮想物体を重畳表示することで、実際に手にとることのできる仮想試作品を実現している。

従来の一般的な複合現実感提示方法は、現実空間の映像上にＣＧ映像を重ねて合成するだけであり、現実物体と仮想物体との奥行き関係は考慮されていないことがある。そのため、観察者が仮想物体の手前に自分の手をかざしても、自分の手は見えずに、手の奥にある仮想物体が手前にあるかのように表示されてしまうといった問題がある。

図２Ａは、ＨＭＤを頭部に装着した観察者と、この観察者が観察している仮想物体とを示す図である。図２Ａにおいて観察者２００は自身の頭部にＨＭＤ２０１を装着しており、自身の手２０３を自身の視界に入れながら仮想物体２０２を観察している。

図２Ｂは、観察者２００が自身の手２０３を自身の視界に入れながら仮想物体２０２を観察している場合に、ＨＭＤ２０１に表示される画像の一例を示す図である。図２Ｂに示す如く、２０４はＨＭＤ２０１に表示される画像であり、係る画像２０４中には、手２０３が写っており、係る手２０３は、仮想物体２０２によって隠されている。図２Ｂでは、隠されている手２０３を点線で示している。

仮想物体２０２と手２０３との奥行き関係からすれば、手２０３は仮想物体２０２の手前に描画されるべきである。しかし、ＣＧ映像は現実空間の映像上に重ねて合成するため、本来手２０３が描画されるべき領域には仮想物体２０２が描画されてしまう。

ここで、現実物体の奥行き情報をリアルタイムで計測すれば、仮想物体と現実物体との奥行き関係を正しく表示することは可能である。しかし、現実物体の奥行き情報をリアルタイムで計測するために用いる装置は大掛かり且つ高価であり、更に、奥行き情報の解像度が足りずに仮想物体と現実物体との重なりの輪郭が正しく見えなかったりする。

また、現実物体の色が特定の色であることが期待できる場合は、画像上で係る特定の色を判定することでマスク画像を作り、係るマスク画像を用いてＣＧ映像にマスクをかけ、現実物体が表示されるべき場所にはＣＧ映像を描画しない方法も取られることがある。例えば、手の重なりが問題となる場合は、現実空間の映像中の肌色のエリアを判定することでマスク画像を作ることができる（非特許文献３の図９）。しかしこの場合は逆に、仮想物体の奥に現実物体があったとしても現実物体が手前に見えてしまったり、同じ色の現実物体はすべて仮想物体の手前に見えてしまう、という難点がある。

そこで、このような仮想物体と現実物体との重なり表示の問題を簡便な方法で解決する方法のひとつとして、次ようなものがある。即ち、現実物体(例えば自分の手)に位置姿勢センサを取り付け、係る位置姿勢センサが計測した位置姿勢にあわせて現実物体の形状を模した仮想物体を配置し、現実物体と仮想物体とを重ねる。それぞれの仮想物体の奥行き関係はどちらもＣＧなので正しく表示される。

このような構成を用いて、図２Ａに示したように、仮想物体２０２の手前に自身の手２０３を配置した場合、ＨＭＤ２０１に表示される画像は、図２Ｃに示したように、手２０３の位置に手２０３を模した仮想物体２０６を配置した画像となる。係る仮想物体２０６は、仮想物体２０２の手前に位置している。仮想物体２０６の位置姿勢は、観察者２００の手に取り付けられた位置姿勢センサによる計測値に基づいて変化する。図２Ｃは、手２０３の位置に手２０３を模した仮想物体２０６を配置した画像の一例を示す図である。
山本裕之："複合現実感-仮想と現実の境界から見える世界", 情報処理, vol.43, no.3, pp.213-216, 2002. D. Kotake, K. Satoh, S. Uchiyama, and H. Yamamoto: "A hybrid and linear registration method utilizing inclination constraint," Proc. 4th IEEE/ACM Int'l Symp. on Mixed and Augmented Reality (ISMAR 2005), pp.140-149, October 2005. 大島, 山本, 田村："実体触知機能を重視した複合現実感システム〜自動車インテリア・デザイン検証への応用〜", 日本バーチャルリアリティ学会論文誌, vol.9, no.1, pp.79-88, 2004. 特開２０００−３５３２４８号公報

現実物体と、この現実物体を模した仮想物体とで、その形状や位置関係は、完全に一致するわけではない。従って、図３に示す如く、現実物体としての手１８０と仮想物体３１０とが完全に重なって表示されるわけではない(ずれて見える)という問題がある。

また、図７に示すように、現実物体７０１の内部を表現する仮想物体７０２を現実物体７０１に重畳させて表示し、ステレオ表示で体験者に提示する場合に、観察者が仮想物体７０２に注目して融像したとする。この場合、同時に外側の現実物体７０１の表面にも融像しようとする場合がある。

従来、現実空間で物体の内部が見えるということは、手前側の現実物体７０１の表面は見えていない、もしくは、半透明で知覚されるはずである。しかし、完全に不透明な物体として知覚されている現実物体７０１の奥にさらに融像可能な仮想物体７０２があるため、観察者の両眼視機能は奥の仮想物体７０２の立方体エッジと手前の現実物体７０１の立方体エッジを同時に融像してしまおうとする。この現象が、観察者に不自然な視野闘争を与え、違和感を与える原因となっていた。

係る点について具体例を挙げて説明する。

図８は、非特許文献２に記載されている図５のカメラのモックアップに内部構造を示す仮想物体を重畳表示した場合の画像の一例を示す図である。

８０１は、図５に示したカメラのモックアップに、カメラの内部構造を示す仮想物体を重畳させた画像であり、８９９で示す枠内を拡大した画像が、画像８０２である。画像８０２において、現実物体であるモックアップのシャッター付近のエッジ８０４は、奥にある灰色の部品のエッジ８０３と近接している。しかし、両者の奥行きは異なるため、ステレオ視で提示すると観察者に前述のような違和感を与える場合がある。

本発明は以上の問題に鑑みてなされたものであり、現実物体と仮想物体とを重畳させる場合に、係る重畳により生じる様々な違和感を軽減させるための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。

即ち、ユーザの視点の位置姿勢を取得する手段と、
注目現実物体の位置姿勢を取得する手段と、
前記注目現実物体を含む現実空間の画像を取得する手段と、
前記現実空間の画像中における、前記注目現実物体の領域を決定する決定手段と、
前記領域を包含する包含領域に対して暈かし処理を行う処理手段と、
前記注目現実物体の位置姿勢で、仮想物体を仮想空間中に配置する手段と、
前記視点の位置姿勢に基づいて、前記仮想空間の画像を生成する手段と、
前記暈かし処理後の現実空間の画像上に、前記仮想空間の画像を重畳させた合成画像を生成する手段と、
前記合成画像を出力する手段と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。

即ち、ユーザの視点の位置姿勢を取得する工程と、
注目現実物体の位置姿勢を取得する工程と、
前記注目現実物体を含む現実空間の画像を取得する工程と、
前記現実空間の画像中における、前記注目現実物体の領域を決定する決定工程と、
前記領域を包含する包含領域に対して暈かし処理を行う処理工程と、
前記注目現実物体の位置姿勢で、仮想物体を仮想空間中に配置する工程と、
前記視点の位置姿勢に基づいて、前記仮想空間の画像を生成する工程と、
前記暈かし処理後の現実空間の画像上に、前記仮想空間の画像を重畳させた合成画像を生成する工程と、
前記合成画像を出力する工程と
を備えることを特徴とする。

本発明の構成により、現実物体と仮想物体とを重畳させる場合に、係る重畳により生じる様々な違和感を軽減させることができる。

以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。

［第１の実施形態］
図１は、本実施形態に係るシステムの機能構成を示すブロック図である。図１に示す如く、本実施形態に係るシステムは、ＨＭＤ１９０、位置姿勢計測部１２０、画像処理装置１９９、により構成されている。

先ず、ＨＭＤ１９０について説明する。

ＨＭＤ１９０は、撮像部１１０と表示部１８５とで構成されている。

撮像部１１０は、現実空間の動画像を撮像するものであり、撮像した各フレームの画像（現実空間画像）は、画像処理装置１９９に入力される。本実施形態では、撮像部１１０は、ＨＭＤ１９０を頭部に装着する観察者（ユーザ）の右目、左目のそれぞれに対応する撮像部で構成されているものとするが、１台を両眼で共有しても良い。

また、撮像部１１０には、自身の位置姿勢を計測するためのセンサ１２２が取り付けられている。センサ１２２と同様のセンサ１２１は、ＨＭＤ１９０を頭部に装着するユーザの手１８０（注目現実物体）にも取り付けられている。センサ１２１、１２２については後述する。

表示部１８５は、液晶画面で構成されており、画像処理装置１９９から送出された画像を表示する。表示部１８５は、ＨＭＤ１９０を頭部に装着したユーザの眼前に位置するようにＨＭＤ１９０に取り付けられたものである。

次に、位置姿勢計測部１２０について説明する。

位置姿勢計測部１２０は、上述のセンサ１２１、１２２の位置姿勢を計測するものである。ここでは、位置姿勢計測部１２０、センサ１２１，１２２を合わせてセンサシステムと呼称する。そして本実施形態では、係るセンサシステムにPolhemus社のFASTRAK（磁気センサ）を用いる。この場合、位置姿勢計測部１２０は、次のように動作して、各センサ１２１，１２２の位置姿勢を計測する。

現実空間中の所定の位置には磁気の発信源が配置されており、センサ１２１，１２２はそれぞれ、係る発信源が発する磁界中における自身の位置姿勢に応じた磁気の変化を検知する。そしてそれぞれのセンサ１２１，１２２は、検知した結果を示す信号を位置姿勢計測部１２０に送出する。位置姿勢計測部１２０は、センサ１２１から検知結果を示す信号を受けると、係る信号に基づいて、センサ座標系におけるセンサ１２１の位置姿勢を求める。センサ座標系とは、発信源の位置を原点とし、係る原点で互いに直交する３軸をそれぞれ、ｘ軸、ｙ軸、ｚ軸とする座標系である。同様に、位置姿勢計測部１２０は、センサ１２２から検知結果を示す信号を受けると、係る信号に基づいて、センサ座標系におけるセンサ１２２の位置姿勢を求める。

なお、本実施形態では、センサ座標系は、世界座標系に一致しているものとして説明する。しかし、それぞれの座標系が一致していなくても、それぞれの座標系間の位置姿勢関係が既知であれば、係る位置姿勢関係を用いて、一方の座標系における位置姿勢情報を、他方の座標系における位置姿勢情報に変換することができる。ここで、世界座標系とは、現実空間中の所定の１点を原点とし、係る原点で互いに直交する３軸をそれぞれ、ｘ軸、ｙ軸、ｚ軸とする座標系である。

そして、位置姿勢計測部１２０は、求めた位置姿勢を示す位置姿勢情報を、画像処理装置１９９に対して出力する。

次に、画像処理装置１９９について説明する。画像処理装置１９９は、物体領域検出部１３０、画像加工部１４０、データ管理部１５０、描画部１５５、合成部１６０により構成されている。

物体領域検出部１３０は、撮像部１１０から現実空間画像を受けると、現実空間画像中における手１８０の領域を検出する。手１８０の領域を検出するための技術については周知であり、例えば、非特許文献３に開示されている技術を用いる。即ち、現実空間画像中の肌色領域を検出する。

画像加工部１４０は、撮像部１１０から物体領域検出部１３０に入力された現実空間画像において、物体領域検出部１３０が検出した領域を包含する包含領域に対して、暈かし処理を行う。係る暈かし処理には、例えば、ガウシアンフィルタを用いる。なお、暈かし処理は周知の技術であるので、ここでの説明は省略する。なお、暈かし処理の為のパラメータ、例えば、フィルタに設定するウィンドウサイズ等のパラメータは、予め設定しておけばよい。

そして、画像加工部１４０により手１８０の領域を含む包含領域を暈かした現実空間画像は、データ管理部１５０に送出され、そこで管理される。

データ管理部１５０は、現実空間画像と仮想空間画像とを合成した合成画像を作成するために必要なパラメータ群を管理すると共に、画像加工部１４０から送出された現実空間画像も管理する。更に、データ管理部１５０は、位置姿勢計測部１２０から送出された、センサ１２１，１２２の位置姿勢情報をも管理する。

データ管理部１５０が管理する上記パラメータ群には、次のようなものが含まれている。

・ 撮像部１１０の内部パラメータ（焦点距離、画像中心等）
・ 手１８０を模した仮想物体のデータ（幾何学形状データ、テクスチャデータ等）
もちろん、システム構成や使用用途に応じて、データ管理部１５０が管理するデータは適宜変更しても良い。

描画部１５５は、データ管理部１５０が管理する仮想物体のデータを用いて、仮想空間を構築する。本実施形態では、仮想空間を構築する処理には少なくとも、センサ１２１の位置姿勢に、手１８０を模した仮想物体を配置する処理が含まれている。

更に、描画部１５５は、センサ１２２の位置姿勢に、予め測定した「センサ１２２と撮像部１１０の焦点（ユーザの視点）との位置姿勢関係を示す位置姿勢関係情報」を加えることで、ユーザの視点の位置姿勢情報を求める。

そして、以上の処理で構築した仮想空間を、ユーザの視点の位置姿勢情報が示す位置姿勢から見た画像を、仮想空間画像として生成する。係る処理はもちろん、右目用、左目用のそれぞれについて行う。

合成部１６０は、データ管理部１５０が管理する「手１８０の領域を包含する包含領域を暈かした現実空間画像」と、描画部１５５が生成した仮想空間画像とを合成した合成画像を生成し、生成した合成画像を、ＨＭＤ１９０が有する表示部１８５に送出する。

これにより、ＨＭＤ１９０を頭部に装着したユーザの眼前には、合成部１６０により生成された合成画像が表示されることになる。

図１１は、画像処理装置１９９が、仮想空間画像と、手１８０の領域を包含する包含領域を暈かした現実空間画像と、を合成した合成画像を、ＨＭＤ１９０に対して出力するために行う処理のフローチャートである。なお、図１１に示したフローチャートは、１フレーム分の合成画像を生成し、ＨＭＤ１９０に出力するための処理を示したものである。従って、画像処理装置１９９は、図１１に示したフローチャートに従った処理を繰り返し実行することで、連続する複数フレームの合成画像をＨＭＤ１９０に対して出力する。

ステップＳ１１０１では、物体領域検出部１３０は、撮像部１１０が撮像した現実空間画像を取得する。

ステップＳ１１２０では、データ管理部１５０は、位置姿勢計測部１２０から出力された、センサ１２１，１２２の位置姿勢情報を取得する。

ステップＳ１１３０では、物体領域検出部１３０は、撮像部１１０から取得した現実空間画像中における手１８０の領域を検出する。

ステップＳ１１４０では、画像加工部１４０は、物体領域検出部１３０が検出した領域を包含する包含領域に対して暈かし処理を行う。包含領域のサイズについては特に限定するものではないが、ここでは説明を簡単にするために、手１８０の領域のサイズと、包含領域のサイズとは同じであるとする。

ステップＳ１１４５では、描画部１５５は先ず、センサ１２２の位置姿勢情報に、上記位置姿勢関係情報を加えることで、視点の位置姿勢情報を生成する。そして次に、描画部１５５は、センサ１２１の位置姿勢に、手１８０を模した仮想物体を配置する。そして、描画部１５５は、係る仮想物体を配置した仮想空間を、視点の位置姿勢情報が示す位置姿勢から見た画像を、仮想空間画像として生成する。

ステップＳ１１５０では、合成部１６０は、ステップＳ１１４０による処理で包含領域が暈けた（暈かし処理後の）現実空間画像と、ステップＳ１１４５で生成した仮想空間画像と、を合成した合成画像を生成する。

ステップＳ１１６０では、合成部１６０は、ステップＳ１１５０で生成した合成画像を、ＨＭＤ１９０に対して出力する。

以上の処理によって得られる効果について、図３，４を用いて説明する。

図３は、従来の技術によって、手と、この手を模した仮想物体とを合成して表示した場合の画像の一例を示す図である。図３に示す如く、手１８０の位置姿勢に、手１８０を模した仮想物体３１０を配置しようとしても、様々な原因により、仮想物体３１０は、手１８０からはずれた位置に表示されることがある。このように、現実空間画像中における手１８０の領域をそのまま表示してしまうと、上記ずれが目立ってしまう。

図４は、図１１のフローチャートに従った処理によって得られる合成画像の一例を示す図である。図４に示す如く、図３に示した手１８０の領域を包含する包含領域を暈かすことで、領域４１０を生成している。これにより、係る画像を観察するユーザの注意を仮想物体３１０に集中させ、ずれに関する注意を低下させることができる。

このように、画像上における手の領域をぼかすことにより、ユーザが感じる自分の手とこの手を模した仮想物体とのずれ知覚を軽減させることができる。

＜第１の実施形態の変形例１＞
第１の実施形態では、現実空間画像中における手の領域を検出するために、肌色領域を検出する技術を用いたが、他の方法を用いて手の領域を検出しても良い。また、検出する領域は手の領域に限定するものではなく、適宜他の対象物の領域を検出するようにしても良い。

例えば、図５に示されているカメラのモックアップ１３１０に、図６に示されているＣＡＤから生成されたカメラの仮想物体６１０を重畳表示する場合に生じるずれに対しても同様に、画像上におけるモックアップ１３１０の領域を暈かしても良い。これにより、ユーザのずれ知覚を軽減させることができる。以下では、モックアップ１３１０の領域が仮想物体６１０の外周周辺にあると仮定し、仮想物体６１０を画像上に投影したときの周辺の領域をぼかすことにより、ずれ知覚を軽減させる。

本変形例では、現実空間画像中におけるモックアップの領域を暈かす。それ以外の処理については第１の実施形態と同じである。もちろん、モックアップ以外の現実物体の領域を暈かす場合でも、実質的に行う処理は変わらない。

図１３は、本変形例に係るシステムの機能構成を示すブロック図である。なお、図１３において、図１と同じ部分については同じ参照番号を付けており、その説明は省略する。

本変形例に係るシステムが第１の実施形態に係るシステムと異なるのは、手の代わりに、モックアップ１３１０にセンサ１２１を取り付けた点にある。

現実空間画像中におけるモックアップの領域を検出し、係るモックアップの領域を包含する包含領域を暈かし、暈かし処理された現実空間画像に対して、仮想物体を合成する処理について、説明する。

本変形例でも図１１のフローチャートに従った処理を行うのであるが、ステップＳ１１３０における処理を、次のような処理に置き換える。

図１２は、本変形例に係る「暈かす領域」を決定する処理のフローチャートである。換言すれば、図１２のフローチャートに従った処理は、図１１のステップＳ１１３０における処理の詳細を示したものである。

ステップＳ１２１０では、データ管理部１５０が位置姿勢計測部１２０から取得したセンサ１２２の位置姿勢情報を、物体領域検出部１３０がデータ管理部１５０から取得する。

ステップＳ１２２０では、データ管理部１５０が位置姿勢計測部１２０から取得したセンサ１２１の位置姿勢情報を、物体領域検出部１３０がデータ管理部１５０から取得する。

ステップＳ１２３０では、物体領域検出部１３０は、ステップＳ１２２０で取得した位置姿勢情報が示す位置姿勢に、カメラを模した仮想物体を配置する。そして、仮想空間画像を生成する為に用いる周知の投影面上における、係る仮想物体の領域を求める。即ち、係る仮想物体を、係る投影面上に、公知の透視投影演算により投影した領域（投影領域）を求める。ここで、係る投影は、投影面上に描画しているのではない。投影領域は、例えば、仮想空間中における視点を基準とした座標系における奥行き値を参照し、投影する前に初期化された各画素の奥行き値が変化した領域を投影領域として決定すればよい。

次に、ステップＳ１２４０では、物体領域検出部１３０は、投影領域をあらかじめ設定されている領域膨張量Ｅに基づいて膨張させた領域を加工領域として求める。

図１４は、投影領域と加工領域とを示す図である。図１４において１４３０は投影面で、１４１０は投影面上に投影された仮想物体の投影領域を示す。１４２０は、投影領域１４１０に対して膨張処理した結果得られる加工領域である。

領域膨張量は、あらかじめ画像上で現実物体と仮想物体との“ずれ”が発生する量（例えば、単位を画素とする）を予測しておき、ずれ画素量よりも大きい値を領域膨張量Ｅに設定することが好ましい。

そして図１１のステップＳ１１４０以降では、現実空間画像において係る加工領域に位置的に対応する領域を、暈かす対象とする。

＜第１の実施形態の変形例２＞
変形例１では、予め指定した膨張量だけ投影領域を拡張して加工領域を設定した。しかし、加工領域を設定することに限定するものではなく、例えば、変形例１の加工領域に対象物体が収まらない場合、加工領域周辺の色情報を用いて加工領域を追加してもよい。

例えば、予め撮像画像を指定色でラベリングしておき、物体領域検出部１３０がステップＳ１２４０において求めた加工領域と、ラベル領域と、が隣接する場合は、隣接するラベル領域を加工領域に加えればよい。指定色には、対象物体の色を指定すればよい。例えば、図５のようなモックアップの場合は、あらかじめモックアップを撮像しておき、モックアップの領域内にある色情報を登録すればよい。モックアップの色は、体験時の背景となる色から区別できる色で作成した方が好ましい。

［第２の実施形態］
第１の実施形態、変形例１，２では、現実物体と仮想物体とのずれ知覚を軽減する目的で現実空間画像中における対象領域を暈かす処理を行っていた。本実施形態では、現実物体内部を表現する仮想物体を係る現実物体に重ねて表示する（ＣＧをステレオで描画する）際に生じる両眼立体視の違和感を軽減させる。

本実施形態では、図５に示すモックアップ１３１０に図８に示す内部構造仮想物体を重ねてステレオ表示するときに、図６で示すカメラ外装を示す仮想物体６１０内の領域をぼかすことによって、両眼立体視時の違和感を軽減させる。

即ち、モックアップ１３１０の位置姿勢にカメラ外装を示す仮想物体６１０を配置し、その後（配置後）、仮想物体６１０の投影領域を求め、現実空間画像上における投影領域を暈かす。一方で、モックアップ１３１０の位置姿勢に内部構造仮想物体を配置し、その後、視点から見た内部構造仮想物体の画像を仮想空間画像として生成する。そして、現実空間画像と仮想空間画像とを合成する。即ち、現実空間画像上における暈かした領域上に内部構造仮想物体を表示する。

本実施形態で用いるシステムの構成は、変形例１における構成、即ち、図１３に示した構成を用いる。ただし、データ管理部１５０は、内部構造仮想物体のデータ、カメラ外装を示す仮想物体６１０のデータを更に管理する。

また、本実施形態でも図１１のフローチャートに従った処理を行うのであるが、ステップＳ１１３０における処理を、次のような処理に置き換える。

図１１のステップＳ１１３０では図１２のフローチャートにおいて、ステップＳ１２４０で膨張処理を行うことなく、ステップＳ１２３０で求めた投影領域を加工領域とする処理を行う。

そして、ステップＳ１１４５では、描画部１５５は先ず、センサ１２２の位置姿勢情報に、上記位置姿勢関係情報を加えることで、視点の位置姿勢情報を生成する。そして次に、描画部１５５は、センサ１２１の位置姿勢に、内部構造仮想物体を配置する。そして、描画部１５５は、係る内部構造仮想物体を配置した仮想空間を、視点の位置姿勢情報が示す位置姿勢から見た画像を、仮想空間画像として生成する。

次に、本実施形態の効果について具体例を挙げて説明する。図８に示した画像８０１のように、モックアップ１３１０の領域がはっきりと表示され、両眼立体視時に前述した手前と奥の物体を同時に融像しようとする視覚作用により違和感を覚える。しかし、本実施形態では、図９に示すようにモックアップ１３１０内部の領域９００が暈かされることで、図８に示すエッジ８０３付近にあるエッジに融像しにくくなり、完全に不透明な物体として知覚されにくくなる。すなわち、前述した手前と奥の物体を同時に融像しようとする視覚作用を回避できる可能性が高くなり、違和感の軽減に貢献する効果をもたらす。

＜第２の実施形態変形例１＞
第２の実施形態では、投影領域を、暈かす領域として設定したが、非特許文献３の図９に示すように手のマスク処理を行いたい場合は、暈かす領域に手が入っている場合であっても、手の領域には“暈かし処理”を実施したくない場合がある。

このような課題に対処するために、物体領域検出部１３０は、ステップＳ１２４０において、肌色領域に該当する部分は加工領域から除外することにより、手の領域には“暈かし処理”をかけないようにすることが可能である。即ち、加工領域のうち肌色領域以外を最終的な加工領域とする。もちろん、他の色の領域に該当する部分を加工領域から除外するようにしても良い。

＜第２の実施形態の変形例２＞
本実施形態では、暈かした領域の色を適宜変更する。

例えば、第２の実施形態の変形例１では、図９の領域９００は、撮像画像の色を変更せずに暈かしたものである。しかし、暈かした領域の色を内部構造仮想物体の補色でさらに色付けし、より仮想物体を強調することでずれ知覚を軽減させることができる。

本実施形態に係るシステムの構成は、図１３に示した構成となる。ただし、データ管理部１５０には更に、暈かした領域に対して割り当てる色を示すデータを管理させておく。

なお、データ管理部１５０が管理する色としては、内部構造仮想物体の色情報のうち、もっとも多い色の補色を設定してもよい。

また、別の方法として、描画部１５５が内部構造仮想物体を描画するために投影面上に投影する際の、内部構造仮想物体の外周の画素色を予測し、最も多い色の補色を設定してもよい。例えば、仮想物体外周の画素色のうち最も多いものが青だった場合は、補色である黄色をデータ管理部１５０に設定する。すなわち、対象とする色がＲＧＢで表され、ＲＧＢのそれぞれが８ビット（画素値＝０〜２５５）で表される場合に、対象色のＲＧＢ値をそれぞれ２５５から引いた値を対象色の補色とする。

本変形例でも第２の実施形態と同様の処理を行うのであるが、ステップＳ１２４０において、データ管理部１５０が管理する色に、暈かした領域の色を変更する処理を加える。色の変更は、例えば、暈かした領域の色をグレイスケールに変換し、変換した値と仮想物体の補色を積算することにより最終的な画素値を得る。

このように、単純に領域を暈かすだけでなく、暈かした領域の色を変更することにより、仮想物体に集中させ、ずれ知覚を軽減させることができる。

なお、上記各実施形態（変形例も含む）は適宜組み合わせて用いても良い。

［第３の実施形態］
図１，１３に示した画像処理装置１９９を構成する各部は、第１，２の実施形態（各変形例を含む）ではハードウェアで構成されているものとして説明した。しかし、各部をソフトウェアで構成しても良い。その場合、例えば、画像処理装置１９９として、一般のＰＣ（パーソナルコンピュータ）を適用する。コンピュータのメモリにソフトウェアを格納し、コンピュータが有するＣＰＵに、このソフトウェアを実行させれば、このコンピュータに、第１，２の実施形態（各変形例を含む）で説明した各処理を実行させることができる。

図１０は、画像処理装置１９９に適用可能なコンピュータのハードウェア構成を示すブロック図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されているプログラムやデータを用いてコンピュータ全体の制御を行うと共に、画像処理装置１９９が行うものとして説明した上述の各処理を実行する。

ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１００２は、Ｉ／Ｆ（インターフェース）１００９を介して位置姿勢計測部１２０や撮像部１１０から出力された位置姿勢情報や現実空間画像を一時的に記憶するためのエリアも有する。更に、ＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を実行するために用いるワークエリアも有する。即ち、ＲＡＭ１００２は、各種のエリアを適宜提供することができる。

ＲＯＭ１００３は、本コンピュータの設定データや、ブートプログラム等を格納する。

キーボード１００４、マウス１００５は、ポインティングデバイスの一例として機能するものであり、本コンピュータの操作者が操作することで、ＣＰＵ１００１に対して各種の指示を入力することができる。

表示部１００６は、ＣＲＴや液晶画面等により構成されており、ＣＰＵ１００１による処理結果を画像や文字等で表示することができる。

外部記憶装置１００７は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１００７には、ＯＳ（オペレーティングシステム）や、画像処理装置１９９が行うものとして説明した上述の各処理をＣＰＵ１００１に実行させるためのプログラムやデータが保存されている。係るプログラムには、図１に示した物体領域検出部１３０、画像加工部１４０、データ管理部１５０、描画部１５５、合成部１６０の各部に対応する機能をＣＰＵ１００１に実現させるためのプログラムが含まれている。また、係るデータには、データ管理部１５０が管理しているものとして説明した上述の各種のデータや、既知のものとして説明した各種のデータが含まれている。外部記憶装置１００７に保存されているプログラムやデータは、ＣＰＵ１００１による制御に従って適宜ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。

記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されている情報を読み取り、ＲＡＭ１００２や外部記憶装置１００７に送出するものである。なお、外部記憶装置１００７に保存されているものとして説明した情報の一部を、係る記憶媒体に記録させても良い。

Ｉ／Ｆ１００９は、撮像部１１０と接続する為のアナログビデオポートやＩＥＥＥ１３９４等のデジタル入出力ポート、ＲＳ−２３２ＣやＵＳＢ等のシリアルポート、位置姿勢計測部１２０と接続する為のイーサネット(登録商標)ポート等によって構成される。

１０１０は、上述の各部を繋ぐバスである。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係るシステムの機能構成を示すブロック図である。 ＨＭＤを頭部に装着した観察者と、この観察者が観察している仮想物体とを示す図である。 観察者２００が自身の手２０３を自身の視界に入れながら仮想物体２０２を観察している場合に、ＨＭＤ２０１に表示される画像の一例を示す図である。 手２０３の位置に手２０３を模した仮想物体２０６を配置した画像の一例を示す図である。 従来の技術によって、手と、この手を模した仮想物体とを合成して表示した場合の画像の一例を示す図である。 図１１のフローチャートに従った処理によって得られる合成画像の一例を示す図である。 カメラのモックアップ１３１０を説明する図である。 カメラの仮想物体６１０を説明する図である。 現実物体７０１の内部を表現する仮想物体７０２を現実物体７０１に重畳させて表示した様子を示す図である。 非特許文献２に記載されている図５のカメラのモックアップに内部構造を示す仮想物体を重畳表示した場合の画像の一例を示す図である。 モックアップ１３１０内部の領域９００が暈かされている様子を示す図である。 画像処理装置１９９に適用可能なコンピュータのハードウェア構成を示すブロック図である。 画像処理装置１９９が、仮想空間画像と、手１８０の領域を包含する包含領域を暈かした現実空間画像と、を合成した合成画像を、ＨＭＤ１９０に対して出力するために行う処理のフローチャートである。 本発明の第１の実施形態の変形例１に係る「暈かす領域」を決定する処理のフローチャートである。 本発明の第１の実施形態の変形例１に係るシステムの機能構成を示すブロック図である。 投影領域と加工領域とを示す図である。

Claims (9)

1. ユーザの視点の位置姿勢を取得する視点位置姿勢取得手段と、
   注目現実物体の位置姿勢を取得する物体位置姿勢取得手段と、
   前記注目現実物体を含む現実空間の画像を取得する画像取得手段と、
   前記現実空間の画像中における、前記注目現実物体の領域を決定する決定手段と、
   前記領域を包含する包含領域に対して暈かし処理を行う暈かし処理手段と、
   前記注目現実物体の位置姿勢で、仮想物体を仮想空間中に配置する配置手段と、
   前記視点の位置姿勢に基づいて、前記仮想空間の画像を生成する仮想画像生成手段と、
   前記暈かし処理後の現実空間の画像上に、前記仮想空間の画像を重畳させた合成画像を生成する合成画像生成手段と、
   前記合成画像を出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記決定手段は、前記現実空間の画像中において、予め定められた色を有する領域以外で、前記注目現実物体の領域を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記現実空間の画像中における肌色領域を、前記注目現実物体の前記領域として決定することを特徴とする請求項１に記載の画像処理装置。
4. 更に、前記決定手段が決定した領域の色を変更する手段を備えることを特徴とする請求項１に記載の画像処理装置。
5. 前記注目現実物体は、前記ユーザの手であることを特徴とする請求項１に記載の画像処理装置。
6. 前記注目現実物体は、モックアップであることを特徴とする請求項１に記載の画像処理装置。
7. 前記仮想物体は、前記注目現実物体を模した仮想物体であることを特徴とする請求項１に記載の画像処理装置。
8. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の視点位置姿勢取得手段が、ユーザの視点の位置姿勢を取得する視点位置姿勢取得工程と、
   前記画像処理装置の物体位置姿勢取得手段が、注目現実物体の位置姿勢を取得する物体位置姿勢取得工程と、
   前記画像処理装置の画像取得手段が、前記注目現実物体を含む現実空間の画像を取得する画像取得工程と、
   前記画像処理装置の決定手段が、前記現実空間の画像中における、前記注目現実物体の領域を決定する決定工程と、
   前記画像処理装置の暈かし手段が、前記領域を包含する包含領域に対して暈かし処理を行う暈かし処理工程と、
   前記画像処理装置の配置手段が、前記注目現実物体の位置姿勢で、仮想物体を仮想空間中に配置する配置工程と、
   前記画像処理装置の仮想画像生成手段が、前記視点の位置姿勢に基づいて、前記仮想空間の画像を生成する仮想画像生成工程と、
   前記画像処理装置の合成画像生成手段が、前記暈かし処理後の現実空間の画像上に、前記仮想空間の画像を重畳させた合成画像を生成する合成画像生成工程と、
   前記画像処理装置の出力手段が、前記合成画像を出力する出力工程と
   を備えることを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。