JP5762600B1 - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】撮像画像の被写体領域を１枚の画像から簡便にかつ高速に決定できるようにする。【解決手段】被写体が映る撮像画像にＣＧモデル画像を合成して表示する画像合成方法であって、前記撮像画像に前記被写体の抽出情報を取得するための画像取得領域を指示画像として合成表示する被写体の指示画像描画工程と、前記被写体の画像取得領域に該当する前記撮像画像の領域から抽出情報を取得する被写体抽出情報取得工程と、前記被写体抽出情報取得工程で取得した抽出情報に基づいて、前記撮像画像とは異なる撮像画像における被写体の領域を決定する被写体領域決定工程とを備える。【選択図】図１

Description

本発明は情報処理装置及び情報処理方法に関し、特に、実写画像とコンピュータグラフィックスを、実写画像中の被写体領域を考慮して合成する際に用いて好適な技術に関する。

コンピュータによって作られる仮想空間と現実空間とを、繋ぎ目なく融合する複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）技術が注目されている。ＭＲ技術は、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待される。

仮想物体が現実空間に実在するように利用者が感じるためには、仮想物体と現実空間との間の幾何学的な整合性が重要である。複合現実感における幾何学的な整合性には、現実空間の座標系と仮想空間の座標系を一致させるための整合性と、現実物体と仮想物体の前後関係を正しく表現するための整合性とがある。後者の整合性を扱う問題は「オクルージョン問題」とも呼ばれ、特にカメラで撮影した画像に仮想物体を重畳させるビデオシースルー型のＭＲシステムでも重要な課題となる。本発明では、後者のオクルージョン問題を扱う。

特許文献１、特許文献２においては、オクルージョン問題に対し、手を被写体として仮想物体より手前に合成することで解決を図っている。これは、手が仮想物体よりも統計的に手前になることが多いことから、常に手の画像領域を仮想物体よりも手前に描画することで、仮想物体よりも手前にある手が隠れてしまう違和感を軽減する。

特許文献１では、背景用に撮影した画像と同一の背景で被写体も同時に映した画像の２枚の差分から被写体の色情報を抽出し、リアルタイムの撮像画像で抽出した被写体の色情報に一致する領域を被写体領域に設定する。

特許文献２は、色情報の抽出に、被写体と背景が同時に映る１枚の画像のみを利用する。この画像を画面上に表示し、設定者に被写体と背景を分離するためのユーザーインターフェースを提供することで、被写体の領域を設定者の意図通りに設定させられる。

また、非特許文献１では、カメラに対する手の奥行きデータを仮想物体の奥行きデータとピクセル単位で比較し、手前となる領域を描画することで、より正確性の高いオクルージョン問題の解決を図っている。なお、非特許文献１では、以下のようにして被写体領域を決定する。
（１）あらかじめ被写体の背景となる空間の画像を３次元のテクスチャとして保存する。
（２）現在のカメラ位置姿勢に応じて背景画像をレンダリングする。
（３）背景のレンダリング画像と現在の画像を比較して差分領域を算出する。
（４）差分領域を被写体領域として決定する。

特開２００５−１０７９６７号公報 特開２００５−２２８１４０号公報

林建一，加藤博一，西田正吾，"境界線ベースステレオマッチングを用いた実物体と仮想物体の前後判定"，日本バーチャルリアリティ学会論文誌，Ｖｏｌ．１０，Ｎｏ．３，ｐｐ．３７１−３８０，２００５

特許文献１は、被写体である手の領域を決定するために、背景用画像と被写体を含む画像の２枚を撮影する必要があるため時間を要した。一方、特許文献２は、背景と被写体が映る１枚の画像で被写体の領域を決定できる。しかし、１枚の画像に対して、操作者が被写体領域と背景領域を分離するための色情報を登録する手作業に時間を要する。また、色情報の登録には、知識と慣れが必要であり、誰でもが簡単にできる作業ではなかった。

また、視点が移動可能なカメラで撮影される映像から、被写体の領域をリアルタイムに安定的に抽出するためには、被写体と背景を異なる視点から複数セット撮影する必要があり、枚数が増加するに従って被写体領域を決定する時間がさらに増える。

また、非特許文献１は、被写体が写り込む可能性のある背景を３次元画像として保存する必要があるため、事前に被写体が写り込まない背景シーンをテクスチャデータ用の画像として撮影する必要がある。このテクスチャデータの撮影も、背景の広さに比例して、事前準備に時間を要する。また、非特許文献１も特許文献２と同様にテクスチャデータの撮影のためには知識と慣れが必要であり、誰でもが簡単にできる作業ではなかった。

前述のように、被写体の領域を決定するために長い時間がかかると、展示会のように短時間でなるべく複数人にシステムを体験させたい状況では、一人あたりの体験時間が増加するため、充分に調整しないで体験させることがあった。しかしながら、体験者一人ひとりに対して適切な調整が行われないと、手の抽出にノイズが発生し、仮想物体よりも前に手が表示されないため、没入感を阻害する要因となっていた。そのため、被写体の抽出情報を短時間で算出できるような方法が望まれていた。

また、特許文献２の色情報の調整や非特許文献１のテクスチャデータの撮影など、事前の準備に時間がかかる方法では、事前準備の時間に制約があるシーンに適用できないという課題があった。
本発明は前述の問題点に鑑み、撮像画像の被写体領域を１枚の画像から簡便にかつ高速に決定できるようにすることを目的とする。

本発明の情報処理装置は、被写体を含む抽出用画像と、前記被写体の色情報を取得するための第１の取得領域を示す指示画像とを合成した合成画像を、表示部に表示させる表示制御手段と、前記合成画像のうち、前記指示画像によって示された前記第１の取得領域から前記被写体の色情報を取得する被写体色情報取得手段と、前記第１の取得領域と、該第１の取得領域に隣接する予め設定された色情報の取得対象ではない非取得領域とを除いた領域から、前記被写体の背景の色情報を取得する背景色情報取得手段と、前記取得手段により取得された前記被写体の色情報と、前記背景の色情報とに基づいて、前記被写体の抽出情報を決定する決定手段と、前記決定手段により決定された前記被写体の抽出情報を出力する出力手段とを備えることを特徴とする。

本発明によれば、視点が自由に移動できるカメラで撮像した画像において、被写体情報を抽出するための指示画像を提示することで、より速く被写体領域を決定できる。

第１の実施形態における、リアルタイム画像合成装置の機能構成を示す模式図である。 第１の実施形態における、リアルタイム画像合成装置のハードウェア構成を示すブロック図である。 第１の実施形態における、実写画像、指示画像、および合成画像を示す模式図である。 第１の実施形態における、リアルタイム画像合成装置の処理手順の一例を示すフローチャートである。 第１の実施形態における、被写体抽出情報の算出処理の詳細を示すフローチャートである。 第２の実施形態における、リアルタイム画像合成装置の機能構成を示す模式図である。 第３の実施形態における、実写画像、指示画像、および合成画像を示す模式図である。 第３の実施形態における、被写体抽出情報の算出処理の詳細を示すフローチャートである。 第３の実施形態における、被写体領域の色座標リストから背景領域の色座標値を削除する処理を示すフローチャートである。 第４の実施形態における、実写画像、指示画像、および合成画像を示す模式図である。

［第１の実施形態］
以下、添付図面を参照して、本発明を適用した好適な実施形態に従って詳細に説明する。
本実施形態では、体験者の手１５０を被写体とする。そして、カメラ１０で撮影した手１５０の領域を決定する被写体領域決定モードと、手１５０を含む実写画像とＣＧモデル１６０の画像（ＣＧモデル画像）を被写体領域に基づいて合成表示する表示（体験）モードを切り替える例を説明する。

図１は、本実施形態におけるリアルタイム画像合成装置の機能構成を示す模式図である。
図２は、本実施形態を実現するためのハードウェアを示すブロック図である。
図２において、２０１はＣＰＵ、２０２は画像取り込み器、２０３は記憶媒体、２０４はＲＯＭ、２０５はＲＡＭ、２０６はマウス、２０７はキーボード、２０８はディスプレイである。また、１０、１１は撮像装置であり、本実施形態においては１０の撮像装置のみをカメラ１０として使用した例を説明する。

画像取得部１００は、本実施形態においては、カメラ１０で撮像された画像を取得する。
図３（Ａ）に画像の取得例を示す。カメラ１０により撮像された実写画像３０５には、体験者の手１５０およびカメラ１０の位置姿勢を計測するためのマーカー１７０が映り込んでいるものとする。

記憶部１０１は、画像取得部１００で受けた実写画像３０５を一時的に記憶する。画像取得部１００からは、例えば１／３０秒で画像データが送信される。さらに、記憶部１０１には、システムの動作モードとして、表示モードと被写体抽出情報算出モードの２モードを保持するための動作モードフラグを有する。さらに、記憶部１０１には、ユーザーが操作するキーボード２０７やマウス２０６などの入力を受けて、色情報の取得指示を指示画像描画部１０７に出すための指示フラグを有する。

被写体抽出情報算出部１０２は、記憶部１０１に記憶されているカメラ１０の最新の画像を取得する、被写体抽出情報取得処理を行う。また、実写画像３０５における手１５０の被写体抽出情報を算出する。ここで、本実施形態における被写体抽出情報とは、多次元色空間であるＹＣｂＣｒ表色系の色座標値リストによって構成される。

ただし、本発明は、被写体抽出情報をＹＣｂＣｒ表色系の色座標値リストで保持することに限定されるものではなく、被写体をリアルタイムに抽出するための色情報として利用可能な情報であれば適用可能である。例えば、ＲＧＢ表色系の色座標値リストを被写体抽出情報として利用してもよい。リアルタイムに実写画像３０５から手１５０の領域を決定する方法については後述する。

被写体抽出情報算出部１０２は、記憶部１０１に記憶されているカメラ１０の画像における手１５０の領域を画像合成部１０５に出力する。
モデル形状記憶部１０３は、ＣＧモデル１６０の３次元モデルデータ、および手１５０の３次元モデルデータを保持しておく。保持している３次元モデルデータは、画像生成部１０４に出力する。

位置姿勢推定部１０６は、カメラ１０の位置姿勢を計測して推定する。本実施形態では、撮像画像に映り込む正方形のマーカー１７０の投影像に基づいてカメラ１０の位置姿勢を計測して推定する。例えば、画像を二値化し、直線フィッティングにより四角形の頂点を抽出し、山登り法の繰り返し演算で画像上における投影誤差を最小化してカメラ位置姿勢を推定すればよい。

なお、本発明は、位置姿勢推定部１０６の推定方法に依存するものではなく、光学式のモーションキャプチャ装置や磁気センサーなど、その他の計測方法を用いて撮像装置の位置姿勢を計測してもよい。

画像生成部１０４は、モデル形状記憶部１０３に格納されたＣＧモデル１６０、および位置姿勢推定部１０６から取得したカメラ１０の視点位置姿勢に基づいて、ＣＧモデル１６０の画像を生成する。
指示画像描画部１０７は、記憶部１０１の指示フラグに基づいて、指示画像３０７を単純な図形として描画する。単純な図形は円、楕円、多角形のうちいずれかである。本実施形態における指示画像３０７については、図３で説明する。

図３の（Ａ）は、記憶部１０１におけるカメラ１０で撮像された実写画像３０５である。この実写画像３０５に対し、図３の（Ｂ）の指示画像３０７を合成表示する。合成表示した模式図が図３の（Ｃ）の合成画像３０９となる。

本実施形態の指示画像３０７は、入力したい手１５０の外形を表わす輪郭線３１０が表示されており、輪郭線３１０の内部は色付きで半透明描画されていることが好ましい。また、輪郭線３１０の外部は透明であり、合成時に実写画像３０５の表示色を変化させないことが好ましい。ただし、本発明は、指示画像を半透明で描画することに限定するものではなく、輪郭線だけを表示したり、一部領域のみを透過したりするディザ処理で透過するような処理でも適用可能である。

この指示画像３０７をディスプレイ２０８に表示することにより、ユーザーは自身の手１５０をディスプレイ２０８の画面上の輪郭線３１０に容易に合わせられることになり、被写体の色情報を明示的に取得できる。

画像合成部１０５は、記憶部１０１の動作モードフラグが表示モードの場合、記憶部１０１に格納されているカメラ１０の実写画像３０５に対して、画像生成部１０４で生成したＣＧモデル１６０の３次元形状の画像を合成する。ただし、被写体抽出情報算出部１０２で算出された手１５０の領域には、ＣＧモデル１６０の画像を描画しないものとする。このように、手１５０の領域にＣＧモデル１６０の画像を描画しないことによって、該領域を被写体の領域（画像取得領域）として確保しＣＧモデル１６０よりも手１５０が手前に表示され、体験者の視覚的な違和感を軽減することができる。

画像合成部１０５で生成された合成画像は、ディスプレイ２０８で表示する。体験者が、ＣＧモデル１６０と手１５０の前後関係が正しい合成画像をディスプレイ２０８で観察することができるので、あたかも、その場所にＣＧモデル１６０が実在するかのような体験が可能となる。

一方で、画像合成部１０５は、記憶部１０１の動作モードフラグが被写体抽出情報算出モードの場合、記憶部１０１に格納されているカメラ１０の実写画像３０５に対して、指示画像描画部１０７で生成した指示画像３０７を合成する。

図４は、本実施形態におけるリアルタイム画像合成装置の処理の流れを示すフローチャートである。
Ｓ４０１では、画像取得部１００が、カメラ１０から画像を取得する。
Ｓ４０２では、記憶部１０１が、画像取得部１００から取得した画像を一時的に記録する。

Ｓ４０３では、ＣＰＵ２０１が、記憶部１０１に格納されている動作モードを判定する。動作モードが表示モードの場合は、Ｓ４０４に処理を移す。動作モードが被写体抽出情報算出モードの場合は、Ｓ４０９に処理を移す。
Ｓ４０４では、位置姿勢推定部１０６が、カメラ１０の位置姿勢を推定する。位置姿勢推定部１０６が推定した位置姿勢は、画像生成部１０４でＣＧモデル１６０の３次元形状のレンダリングを行う際に用いられる。

Ｓ４０５では、画像生成部１０４が、モデル形状記憶部１０３に格納されている手１５０の３次元モデル形状と、ＣＧモデル１６０の形状と、位置姿勢推定部１０６で求めたカメラ１０の位置姿勢を取得する。さらに、画像生成部１０４は、カメラ１０の位置姿勢から見たＣＧモデル１６０の画像を描画する３次元形状のレンダリング処理を行なう。
Ｓ４０６では、画像合成部１０５が、被写体抽出情報を読み出し、記憶部１０１に格納されている画像における手１５０の領域を決定する被写体領域決定処理を行う。

次に、画像合成部１０５が、色座標値リストの個々の座標値に該当する色を画像から１ピクセルごとに判定し、該当する色のピクセル座標値を「被写体領域の座標値リスト」として保存する。この座標値リスト自体が、画像における被写体領域に他ならない。

なお、該当する色を判定するときに、Ｙ（輝度値）については閾値を設けて幅を持たせてもよい。例えば、座標値が１２８の場合に、閾値を５０と設定した場合は、７８〜１７８までの座標値は該当すると判定する。Ｙに閾値を設ける理由は、被写体が移動することによる照明変化は容易に起こりうるため、被写体領域をリアルタイムで安定的に抽出するためである。なお、同様の理由で、Ｃｂ、Ｃｒ（色差）にも閾値を設けて判定に幅を持たせてもよい。

Ｓ４０７では、画像合成部１０５が、Ｓ４０２で記録した実写画像３０５の上にＳ４０５で生成したＣＧモデル１６０の画像を上書きして合成する。ただし、合成前にＳ４０６で算出した被写体領域を取得し、合成するときに被写体領域に該当するピクセルにはＣＧモデル１６０の画像を描画しないようにする。すなわち、被写体領域には、実写画像３０５の画像が表示されることになり、体験者は自分の手１５０をＣＧモデル１６０よりも手前に視認することができる。

一方、被写体抽出情報算出モードでＳ４０９に移行した場合は、指示画像描画部１０７が、前述した指示画像３０７を生成する。
Ｓ４１０では、ＣＰＵ２０１が、記憶部１０１に格納されている指示フラグを参照してＯＮ／ＯＦＦの判定を行う。指示フラグがＯＦＦの場合は、Ｓ４１１に処理を移す。指示フラグがＯＮの場合は、Ｓ４１２に処理を移す。

指示フラグは、例えば、体験者が指示画像の手の輪郭線３１０に自分の手１５０が重なるように調整して、ぴったりと重なったときにキーボード２０７やマウス２０６などから指示を出したときにＯＮを格納する。指示フラグがＯＦＦからＯＮに変わったことをＣＰＵ２０１が検知することで、被写体の抽出情報を取得するタイミングを被写体抽出情報算出部１０２に指示する。

Ｓ４１２では、被写体抽出情報算出部１０２が、実写画像３０５における輪郭線３１０の内部領域の色情報を取得し、Ｓ４１３へ処理を移す。
Ｓ４１３では、被写体抽出情報算出部１０２が、Ｓ４１２で取得した色情報から被写体抽出情報を算出する。算出処理については、後述する図５のフローチャートで説明する。

Ｓ４１１では、画像合成部１０５が、実写画像３０５と指示画像３０７とを合成した合成画像３０９を生成する。
Ｓ４０８では、ディスプレイ２０８が、Ｓ４０７またはＳ４１１で生成した合成画像を表示画面に出力する。

次に、図５のフローチャートを用いて、Ｓ４１３における被写体抽出情報の算出処理について説明する。
Ｓ５０１では、被写体抽出情報算出部１０２が、入力された色情報をＹＣｂＣｒ表色系の座標値に変換する。

Ｓ５０２では、被写体抽出情報算出部１０２が、Ｓ５０１で算出した座標値を色座標リストに保存する。本実施形態では色座標リストは、Ｙ、Ｃｂ、Ｃｒを個別のリストとして作成する。座標値としては、０から２５５の値を保存するものとする。
Ｓ５０３では、被写体抽出情報算出部１０２が、Ｓ５０２で保存したＹ、Ｃｂ、Ｃｒの３つの色座標リストに対し、個別に色座標ヒストグラムを作成する。色座標ヒストグラムは、色座標リストに保存されている座標値ごとに分類し、頻度値を算出するものである。

Ｓ５０４では、被写体抽出情報算出部１０２が、Ｓ５０３で算出した色座標ヒストグラムにおいて、頻度値が所定の閾値以下の色座標を特定する。さらに、閾値以下となった色座標値は、色座標リストから除外する。
Ｓ５０３とＳ５０４の処理は、輪郭線内の領域の中に、マニキュア、指輪などの装飾物が入ったり、手１５０ではない背景が写り込んでしまったりした場合のノイズ除去に相当する。ノイズ除去処理は、被写体ではない背景が、被写体領域であると誤認識されることを防ぐ役割を担っている。

前述のように、被写体抽出情報算出部１０２は、Ｓ５０１からＳ５０４までの処理を実行して、ノイズを除去した色座標リストを算出する。この色座標リストは、画像合成部１０５に出力され、ＣＧモデル１６０の画像を合成するときの描画禁止領域として利用される。

以上の処理により、体験者は自分の手１５０の抽出情報をリアルタイム画像合成装置に簡便にかつ高速に指示することができ、別のオペレータが調整しなくても抽出精度の高い抽出情報を得ることが可能となる。

なお、本実施形態における被写体は手に限定されるものではなく、色情報に基づいて被写体を決定できる対象物であれば適用可能である。例えば、顔や体全体など被写体が動いたり、椅子や机など被写体が固定されたりしているものでも適用可能である。

また、本発明は、モード設定して１つのプログラムで動作を切り換えられるようにすることに限定されるものではない。例えば、事前に実写画像から被写体領域を決定するプログラムと、実写画像とＣＧモデル画像とを合成するプログラムを個別に実行することで実現してもよい。

［第２の実施形態］
第１の実施形態では、カメラ１０は単眼であり、被写体抽出情報は、色情報を利用していた。しかし、本発明は被写体抽出情報が色情報に基づいて被写体領域を決定することに限定されるものではなく、２台のステレオカメラで被写体の奥行き情報を算出し、奥行き情報に基づいて被写体領域を決定する方法でも適用可能である。
本実施形態では、２台のカメラを内蔵するステレオビデオシースルーＨＭＤ（ヘッドマウントディスプレイ）を利用して、手１５０の奥行き情報を算出し、ＣＧモデル１６０と手１５０の前後関係を表現する方法について説明する。

図６は、本実施形態におけるリアルタイム画像合成装置の機能構成を示すブロック図である。
第１の実施形態に対して、カメラ１１が増えて、カメラが２台になっている点と、ディスプレイ２０９が増えて、２台になっている点が異なる。カメラとディスプレイが２セットになることで、ＨＭＤを装着する体験者にさらに臨場感の高いＭＲ体験を提供することができる。不図示であるが、カメラ１０、カメラ１１とディスプレイ２０８、ディスプレイ２０９はＨＭＤにステレオディスプレイとして内蔵され、それぞれ固定して設置される。

以下は、第１の実施形態と異なる部分のみを説明する。以下で説明していない部分は、第１の実施形態と同一であるものとする。
画像取得部１００は、カメラ１０とカメラ１１の２つの画像を取得し、記憶部１０１に記憶する。

被写体抽出情報算出部１０２は、入力されたステレオの画像に対して、例えば非特許文献１の手法を用いて奥行き情報を算出する。すなわち、２つの画像における手１５０の領域の輪郭線を対応付け、ステレオカメラの既知の配置情報に基づいて、輪郭線における奥行きを三角測量で求める。さらに、輪郭線内部についても、水平方向における両端の奥行き値を線形補間によって求めることで、手１５０の領域全体の奥行き値を求めることができる。このように、被写体抽出情報算出部１０２は、手１５０の領域の奥行き情報を算出して、画像合成部１０５に出力する。

画像生成部１０４は、ＣＧモデル１６０の画像を生成するときに、生成時に算出した画像の奥行き値も保持しておき、画像合成部１０５に出力する。
画像合成部１０５は、手１５０の奥行き情報に基づいて、ＣＧモデル１６０の画像を合成する。ただし、ＣＧモデル１６０の画像における各ピクセルの奥行き値と対応する手１５０の領域のピクセルの奥行き値とを比較し、ＣＧモデル１６０のピクセルの奥行き値が小さい場合は、ＣＧモデル１６０の画像のピクセルを描画する。

一方で、ＣＧモデル１６０のピクセルの奥行き値が大きい場合は、ＣＧモデル１６０の画像のピクセルを描画しない。この処理をＣＧモデル１６０の画像のすべてのピクセルに対して処理する。

本実施形態による処理には、第１の実施形態の図４のフローチャートを以下のように変更すればよい。
まず、Ｓ４０１、Ｓ４０２では、カメラ１０とカメラ１１の画像を取得して記憶部１０１に記憶する。
また、Ｓ４０６では、画像合成部１０５が、被写体抽出情報算出部１０２が算出した被写体領域の奥行き値を読み出し、Ｓ４０７でＣＧモデル１６０の画像の奥行き値と比較して、カメラに対して手前にある領域を描画する。
また、Ｓ４１３では、被写体抽出情報算出部１０２が、前述したようにステレオの画像から被写体領域の奥行き値を算出する。

以上のように、本実施形態では、ステレオカメラの情報から手１５０の領域の奥行き値を算出し、ＣＧモデル１６０と手１５０との前後関係をピクセル単位で判別することができる。すなわち、カメラに対して、手１５０がＣＧモデル１６０の後ろ側に回ったとしても、ＣＧモデル１６０が手前に描画され、体験者の没入感を阻害することが軽減される。

［第３の実施形態］
第１の実施形態では、被写体領域の色情報に基づいて被写体抽出情報として算出した。しかし、本発明は、被写体領域の色情報のみに基づいて被写体抽出情報を算出することに限定されるものではなく、被写体領域以外の背景領域も利用して決定してもよい。
本実施形態では、指示画像で提示する手１５０の輪郭線３１０内部の色情報を取得するだけではなく、輪郭線３１０外部の背景領域の色情報も利用して背景領域上のノイズ除去することで、よりノイズの少ない被写体領域を決定する方法を説明する。

本実施形態におけるリアルタイム画像合成装置の機能構成は、第１の実施形態の図１のブロック図を用いて説明する。なお、以下は変更部分だけを記載し、記載のない部分については、第１の実施形態と同一であるものとする。

本実施形態における指示画像描画部１０７は、入力された実写画像３０５に対し、図７の（Ｂ）で示すような指示画像７１０を合成して表示する。合成後の画像７１１を図７（Ｃ）に例示する。指示画像７１０では、輪郭線３１０の内部と外部の背景領域を区別できるように別の色で描画することが好ましい。また、合成時は、半透明で合成することが好ましい。

また、ステレオ表示のディスプレイ２０８、ディスプレイ２０９に指示画像を提示する場合、片側のディスプレイのみに指示画像を提示する方が好ましい。これは、両眼のディスプレイに指示画像を提示してしまうと、体験者は手１５０を奥行き方向にも調整しようとしてしまい、画像を取得するための準備の時間が増加してしまうためである。片眼のディスプレイのみに表示することで、より速く被写体抽出情報を決定することができる。

本実施形態における被写体抽出情報算出部１０２は、被写体領域の色情報と、背景領域の色情報に基づいて、最終的な被写体領域の抽出情報を算出する。処理の詳細は後述する。

本実施形態における処理手順を説明するフローチャートを、第１の実施形態の図４のフローチャートを用いて説明する。なお、以下は変更部分だけを記載し、記載のない部分については、第１の実施形態の処理と同一であるものとする。
本実施形態におけるＳ４１２では、被写体抽出情報算出部１０２が、輪郭線３１０内部の被写体領域だけではなく、輪郭線３１０の外部の背景領域についても背景抽出情報取得処理を行って色情報を取得し、Ｓ４１３へ処理を移す。

本実施形態におけるＳ４１３では、輪郭線３１０の内部と背景領域を用いて被写体抽出情報を算出する。処理の詳細は、図８のフローチャートで説明する。
Ｓ８０１では、被写体抽出情報算出部１０２が、入力された被写体領域の色情報と背景領域の色情報の２つに対して個別にＹＣｂＣｒ表色系の座標値に変換する。

Ｓ８０２では、被写体抽出情報算出部１０２が、入力された被写体領域の色情報と背景領域の色情報の２つに対して個別にＹＣｂＣｒ表色系の色座標リストを作成する。すなわち、被写体領域のＹ、Ｃｂ、Ｃｒの色座標リストと、背景領域のＹ、Ｃｂ、Ｃｒの色座標リストを作成する。

Ｓ８０３では、被写体抽出情報算出部１０２が、Ｓ５０３と同様に、被写体領域と背景領域の色座標リストに対してヒストグラムを作成する。
Ｓ８０４では、被写体抽出情報算出部１０２が、Ｓ５０４と同様に、被写体領域と背景領域の色座標リストに対して、頻度値の閾値を下回る色座標値を特定し、色座標リストから除外する。

Ｓ８０５では、被写体抽出情報算出部１０２が、被写体領域の色座標リストから背景領域の色座標値を削除する処理を行う。この処理を図９のフローチャートを用いて説明する。
まず、Ｓ９０１では、被写体抽出情報算出部１０２が、被写体領域の色座標リストの頻度値Ｈａに対して、背景領域の色座標リストのヒストグラムの頻度値Ｈｂを正規化する。この正規化は、被写体領域のヒストグラムの頻度値Ｈａの合計Ａと、背景領域のヒストグラムの頻度値Ｈｂの合計Ｂを算出し、以下の式１のように、正規化した背景領域の頻度値Ｈｃを算出する。
Ｈｃ ＝ Ｈｂ＊Ａ／Ｂ （式１）

次に、Ｓ９０２では、被写体領域の色座標リストにおける色座標と、背景領域の色座標リストにおける色座標で重複があるかどうかを検査する。
Ｓ９０３では、重複している色座標に対して、被写体領域の頻度値Ｈａから、正規化した背景領域の頻度値Ｈｃを減算し、差分がマイナス値になったか否かを判定する。このとき、減算の結果がマイナス値になった場合は、Ｓ９０４に処理を移し、被写体領域の色座標リストから、重複した色座標値を削除する。マイナス値にならなかった場合は、被写体領域の色座標リストから削除しない。
被写体抽出情報算出部１０２は、被写体領域の色座標リストを画像合成部１０５に出力する。

以上のように、被写体抽出情報を、被写体だけの色情報から求めるのではなく、背景領域の色情報も考慮して被写体領域を決定することにより、背景領域であるのに被写体領域であると誤判定される現象を回避できる。すなわち、背景領域上において、よりノイズの少ない被写体領域を決定することができる。

［第４の実施形態］
第３の実施形態では、被写体抽出情報算出部１０２が、図７の指示画像７１０で示したような、被写体である手１５０の領域と背景領域の２つを隣接させた状態で、色情報の取得を実施する。この場合、図７の輪郭線３１０の内部領域から、実際の手１５０がはみ出てしまうと、背景領域の色情報として登録されてしまう。

すなわち、本来登録するべき肌色の領域が背景領域の色情報として登録されるため、被写体領域の色座標リストから、肌色の一部の色座標が削除されることになる。肌色の一部の色座標が削除されてしまうと、手の１５０の領域の内部に穴が空き、手の中の穴にＣＧモデル１６０の一部が表示されてしまうため、体験者に違和感を与える。

本実施形態では、図１０（Ｂ）に示すような被写体領域の色情報を取得する円形の領域１０４０と背景領域７２０の間に非取得領域１０１０を設けた指示画像１０２０を提示する方法を例示する。
本実施形態を実現するためには、第３の実施形態の指示画像描画部１０７で表示する指示画像を図１０（Ｂ）のものに変更すればよい。

被写体の色情報を取得する領域１０４０は、第３の実施形態の手の輪郭線とは異なり円形に変更した。また、手の輪郭線１０３０をより抽象的な輪郭線に変更している。この変更は、体験者に手の位置を調整させるときに、輪郭線の細部を気にしながら手の位置を調整することに時間を費やすことを回避して、調整時間を短縮するためである。

輪郭線１０３０は、撮影する場合の手の形を指示するために表示してもよい。ただし、図７の輪郭線３１０のように、あまり輪郭線に合わせることを意識させない抽象的な輪郭線であることが好ましい。

また、本実施形態における被写体抽出情報算出部１０２は、指示画像１０２０に合わせて被写体の色を取得する領域と背景の領域を変更すればよい。
処理については、第２の実施形態と同様の処理を実行すればよい。
以上の処理により、被写体抽出情報を取得するときに、被写体の色情報を取得する領域と背景の色情報を取得する領域にマージンを設けることで、体験者が手１５０を指示画像に合わせて調整する時間を軽減することができる。

すなわち、複数の体験者が並んで体験するようなコンテンツであっても、体験前に手の抽出情報を短時間で登録させることが可能となり、体験者一人ひとりの調整が可能となる。この調整によって、体験者の手１５０やＣＧモデル１６０の領域にノイズが含まれることが減少し、没入感の阻害を軽減することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０ カメラ
１００ 画像取得部
１０１ 記憶部
１０２ 被写体抽出情報算出部
１０３ モデル形状記憶部
１０４ 画像生成部
１０５ 画像合成部
１０６ 位置姿勢推定部
１０７ 指示画像描画部
１５０ 手
１６０ ＣＧモデル
１７０ 正方形マーカー
２０８ ディスプレイ

Claims (19)

1. 被写体を含む抽出用画像と、前記被写体の色情報を取得するための第１の取得領域を示す指示画像とを合成した合成画像を、表示部に表示させる表示制御手段と、
   前記合成画像のうち、前記指示画像によって示された前記第１の取得領域から前記被写体の色情報を取得する被写体色情報取得手段と、
   前記第１の取得領域と、該第１の取得領域に隣接する予め設定された色情報の取得対象ではない非取得領域とを除いた領域から、前記被写体の背景の色情報を取得する背景色情報取得手段と、
   前記取得手段により取得された前記被写体の色情報と、前記背景の色情報とに基づいて、前記被写体の抽出情報を決定する決定手段と、
   前記決定手段により決定された前記被写体の抽出情報を出力する出力手段とを備えることを特徴とする情報処理装置。
2. 前記決定手段は、前記被写体の色情報から前記背景の色情報を除去することにより、前記被写体の抽出情報を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記被写体色情報取得手段は、前記被写体の色情報としてＹＣｂＣｒ表色系の座標値を画像から取得して被写体の色情報リストを生成し、
   前記決定手段は、前記被写体の色情報リストにおいて座標値のヒストグラムの頻度値が閾値に達していない場合は前記被写体の色情報リストから座標値を削除することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記背景色情報取得手段は、前記背景の色情報としてＹＣｂＣｒ表色系の座標値を画像から取得して背景の色情報リストを生成し、
   前記決定手段は、前記背景の色情報リストにおいて座標値のヒストグラムの頻度値が閾値に達していない場合は前記背景の色情報リストから座標値を削除することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記被写体色情報取得手段は、前記被写体の色情報としてＹＣｂＣｒ表色系の座標値を画像から取得して被写体の色情報リストを生成し、
   前記背景色情報取得手段は、前記背景の色情報としてＹＣｂＣｒ表色系の座標値を画像から取得して背景の色情報リストを生成し、
   前記決定手段は、前記被写体の色情報リストと前記背景の色情報リストとで重複する色座標値を、前記被写体の色情報リストから削除することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記決定手段は、更に、前記背景の色情報から算出した前記ヒストグラムの頻度値と、前記被写体の色情報から算出した前記ヒストグラムの頻度値の少なくとも一方を正規化し、前記被写体の色情報リストにおいて色座標値の頻度値から、前記背景の色情報リストにおいて対応する色座標値の頻度値を減算し、マイナス値になった色座標値を前記被写体のリストから除外することを特徴とする請求項５に記載の情報処理装置。
7. 前記指示画像は、更に、前記非取得領域をも示す画像であることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記表示制御手段は、前記被写体の輪郭線を描画した画像を、指示画像として合成表示することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記指示画像は、前記輪郭線の形状を単純な図形として描画することを特徴とする請求項８に記載の情報処理装置。
10. 前記単純な図形は円、楕円、多角形のうちいずれかであることを特徴とする請求項９に記載の情報処理装置。
11. 体験者の両眼にステレオディスプレイを用いて表示する場合、
    前記合成画像を、何れか１つのディスプレイにのみ提示することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記被写体は、体験者の手であることを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 更に、前記出力手段で出力された前記被写体の抽出情報に基づいて、前記抽出用画像とは異なる入力画像における被写体の領域を決定する被写体領域決定手段を備えることを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
14. 更に、前記入力画像において、前記決定手段で決定された被写体の領域以外の領域に、ＣＧ画像を合成する合成手段を備えることを特徴とする請求項１３に記載の情報処理装置。
15. 前記合成手段は、前記被写体の領域には前記ＣＧ画像を合成しないことを特徴とする請求項１４に記載の情報処理装置。
16. 被写体を含む抽出用画像と、前記被写体の色情報を取得するための画像取得領域を示す指示画像とを合成した合成画像を、表示部に表示させる表示制御手段と、
    前記合成画像のうち、前記指示画像によって示された前記画像取得領域から前記被写体の色情報を取得し、前記指示画像によって示された前記画像取得領域以外の領域を背景領域とし、該背景領域から前記被写体の背景の色情報を取得する取得手段と、
    前記被写体の色情報から前記背景の色情報を除去することにより、前記被写体の抽出情報を決定する決定手段と、
    前記決定手段により決定された前記被写体の抽出情報を出力する出力手段とを有し、
    前記取得手段は、前記被写体の色情報としてＹＣｂＣｒ表色系の座標値を画像から取得して被写体の色情報リストを生成し、前記背景の色情報としてＹＣｂＣｒ表色系の座標値を画像から取得して背景の色情報リストを生成し、
    前記決定手段は、前記被写体の色情報リストにおいて座標値のヒストグラムの頻度値が閾値に達していない場合は前記被写体の色情報リストから座標値を削除し、前記背景の色情報リストにおいて座標値のヒストグラムの頻度値が閾値に達していない場合は前記背景の色情報リストから座標値を削除し、
    前記決定手段は、前記背景の色情報から算出した前記ヒストグラムの頻度値と、前記被写体の色情報から算出した前記ヒストグラムの頻度値の少なくとも一方を正規化し、前記被写体の色情報リストにおいて色座標値の頻度値から、前記背景の色情報リストにおいて対応する色座標値の頻度値を減算し、マイナス値になった色座標値を前記被写体のリストから除外することを特徴とする情報処理装置。
17. 被写体を含む抽出用画像と、前記被写体の色情報を取得するための第１の取得領域を示す指示画像とを合成した合成画像を、表示部に表示させる表示制御工程と、
    前記合成画像のうち、前記指示画像によって示された前記第１の取得領域から前記被写体の色情報を取得する被写体色情報取得工程と、
    前記第１の取得領域と、該第１の取得領域に隣接する予め設定された色情報の取得対象ではない非取得領域とを除いた領域から、前記被写体の背景の色情報を取得する背景色情報取得工程と、
    前記取得工程において取得された前記被写体の色情報と、前記背景の色情報とに基づいて、前記被写体の抽出情報を決定する決定工程と、
    前記決定工程において決定された前記被写体の抽出情報を出力する出力工程とを備えることを特徴とする情報処理方法。
18. 被写体を含む抽出用画像と、前記被写体の色情報を取得するための画像取得領域を示す指示画像とを合成した合成画像を、表示部に表示させる表示制御工程と、
    前記合成画像のうち、前記指示画像によって示された前記画像取得領域から前記被写体の色情報を取得し、前記指示画像によって示された前記画像取得領域以外の領域を背景領域とし、該背景領域から前記被写体の背景の色情報を取得する取得工程と、
    前記被写体の色情報から前記背景の色情報を除去することにより、前記被写体の抽出情報を決定する決定工程と、
    前記決定工程において決定された前記被写体の抽出情報を出力する出力工程とを有し、
    前記取得工程は、前記被写体の色情報としてＹＣｂＣｒ表色系の座標値を画像から取得して被写体の色情報リストを生成し、前記背景の色情報としてＹＣｂＣｒ表色系の座標値を画像から取得して背景の色情報リストを生成し、
    前記決定工程は、前記被写体の色情報リストにおいて座標値のヒストグラムの頻度値が閾値に達していない場合は前記被写体の色情報リストから座標値を削除し、前記背景の色情報リストにおいて座標値のヒストグラムの頻度値が閾値に達していない場合は前記背景の色情報リストから座標値を削除し、
    前記決定工程は、前記背景の色情報から算出した前記ヒストグラムの頻度値と、前記被写体の色情報から算出した前記ヒストグラムの頻度値の少なくとも一方を正規化し、前記被写体の色情報リストにおいて色座標値の頻度値から、前記背景の色情報リストにおいて対応する色座標値の頻度値を減算し、マイナス値になった色座標値を前記被写体のリストから除外することを特徴とする情報処理方法。
19. コンピュータを、請求項１乃至１６の何れか１項に記載の情報処理装置の各手段として実行させることを特徴とするプログラム。