JP4136420B2 - 情報処理方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、実写とコンピュータグラフィックスを実写の特定画像が前景になるように合成するものに関する。
【０００２】
【従来の技術】
従来、テレビ番組に代表される映像制作の分野では、クロマキーの手法を用いて、ビデオカメラからのライブ画像の中から特定の領域を切り出し、コンピュータグラフィックスなどによる画像と合成する方法が用いられている。
【０００３】
図１を参照してこれを説明する。
【０００４】
従来のクロマキー合成では、被写体１０３にほとんど含まれていない特定の色彩、一般には鮮やかなブルーまたはグリーンの色彩を有するスクリーン１０２（以下、色に関らずブルーバックと呼称）の前に被写体１０３を配置し、カメラによって実写映像を取得し、これを前景画像１０１とする。
【０００５】
そして、この前景画像１０１から、ブルーバック１０２の色彩を基準にしてキー画像１０６を生成する。キー画像は、前景画像１０１の中に含まれる被写体１０３の領域を切り出すための情報であり、図１に見るように、背景と被写体とを識別する値が画素単位で設定される。
【０００６】
一方、背景画像１０４は、静止画像・ビデオ動画像・コンピュータグラフィックスなどの画像であり、前景１０１の撮影の場合のようなブルーバックの使用などは不要である。
【０００７】
画像合成処理１０７は下記の式１によって表される。すなわち、キー画像は例えば、被写体の領域を示す値を１、背景の領域を示す値を０とする。キー画像の画素値を示す記号をＫ、前景画像の画素値を示す記号をＦ、背景画像の画素値を示す記号をＢ、出力画像の画素値を示す記号をＣとする。このとき、
Ｋ＝０のとき、Ｃ＝Ｂ
Ｋ＝１のとき、Ｃ＝Ｆ （式１）
となる。
【０００８】
このような画像合成処理１０７により、前景画像１０１の被写体１０３が背景画像１０４の上に重畳された画像１０８が生成される。
【０００９】
【発明が解決しようとする課題】
図２に例示するように、現実の実写風景２０３を背景として、ＣＧのハンドル２０４などの仮想の自動車の内部を重畳し、さらにその前景として実写の手２０２を合成する場合を想定する。
【００１０】
そもそも上記従来例では、図１に示されるように前景画像１０１と背景画像１０４しか考えておらず、図２に示されように３つの画像の合成を想定していない。
【００１１】
あえて従来技術を用いて図２に示される画像を作成するとすると、図３に示すように背景画像２０３、ＣＧのハンドル２０４およびＣＧの車内、そして実写の手２０２をそれぞれ別々に用意する必要があった。従来のクロマキー処理は、前景となる被写体１０３を撮影するためにはブルーバック１０２が必要であり、背景画像と同時に被写体を撮影することができない。
【００１２】
図３において問題となるのは、実写の背景２０３と実写の手２０２を撮影するカメラが別々であるため、それぞれのカメラの向きや位置を移動すると、位置関係がずれてしまい、自然な合成画像が得られないことである。
【００１３】
本発明は上記点に鑑みてなされたものであり、特定画像が含まれる実写画像と、コンピュータグラフィックス画像から、該特定画像以外の実写画像を背景に、該コンピュータグラフィックス画像と該特定画像を前景にした合成画像を、各画像が適切な位置関係でかつ自然であるようにすることを目的とする。
【００１４】
例えば、図２に示す例では、実写の背景２０３と実写の手２０２を適切な位置関係にするともに、実写の背景２０３と実写の手２０２とＣＧのハンドルを正しい前後関係によって合成できるようにするものである。
【００１５】
【課題を解決するための手段】
上記目的を達成するために、本発明は以下の構成を有することを特徴とする。
【００１６】
本発明の情報処理方法は、特定画像が含まれる実写画像と、コンピュータグラフィックス画像を、該特定画像以外の実写画像が背景に、該コンピュータグラフィックス画像と該特定画像が前景になるように合成する情報処理方法であって、撮像部によって特定画像が含まれる実写画像を取得して第１のメモリに格納し、色情報登録部に登録されている色情報に基づき、前記取得した実写画像から前記特定画像の領域を示す領域情報を検出して第２のメモリに格納し、画像生成部により生成されたコンピュータグラフィックス画像を、前記実写画像が格納された前記第１のメモリに格納する場合、前記第２のメモリに格納された前記領域情報を用いて、前記実写画像における前記特定画像の領域以外の領域に対してはコンピュータグラフィックス画像を格納することにより、前記特定画像以外の実写画像が背景に、前記コンピュータグラフィックス画像と前記特定画像が前景となる合成画像を生成することを特徴とする。
また、本発明の情報処理装置は、実写の風景を背景にコンピュータグラフィックスと実写の被写体を前景に合成して表示する情報処理装置であって、実写画像を実時間で撮像する撮像部と、前記撮像部により撮像された実写画像を格納する格納手段と、前記撮像部の位置と回転情報を計測する位置姿勢計測部と、前記位置姿勢計測部の計測結果に基づき、コンピュータグラフィックス画像を生成するコンピュータグラフィックス画像生成部と、色情報登録部に登録されている色情報に基づき、前記実写画像から前記被写体領域を検出する検出部と、前記検出された被写体領域に基づき、前記実写画像の被写体領域を除いた領域のみ前記コンピュータグラフィックス画像を、前記格納手段に格納された前記実写画像に重畳する画像合成部と、前記画像合成部から出力された合成画像を表示する画像表示部とを備えることを特徴とする。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明にかかる１実施形態を説明する。
【００１８】
本実施形態は、図４に示すように、背景と被写体とを同時に含んだ実写画像４０１と、ＣＧ画像２０４とから、目的とする合成画像２０１を生成することを目的とする。
【００１９】
図５は、本実施形態にかかる映像合成装置の構成を示す図である。図６は、本実施形態の映像合成装置の利用形態を説明する図である。
【００２０】
ユーザ６０１は、実写映像とＣＧを合成して表示するための表示装置である頭部搭載型画像表示装置（以下、ＨＭＤと記述）５０９を頭部６０３に装着し、椅子６０２に座っている。ユーザは着座する以外の任意の姿勢を取っていても良い。
【００２１】
本実施形態において、前景とすべき現実の被写体はユーザ６０１の手６０４であり、背景とすべき現実の対象物は壁や鉢植え６０５などであるとする。
【００２２】
ＨＭＤ５０９の目に近い部分には、小型のビデオカメラ５０１がユーザの視界方向と一致する向きに固定されている。また、ビデオカメラ５０１で撮影された画像の信号は、画像入力部５０２によって処理されディジタル画像データとして後述する被写体領域抽出部５０３と画像合成部５０８に供給され、ＣＧと合成されてユーザのＨＭＤ５０９に表示される。
【００２３】
ＨＭＤ５０９には、例えば磁気センサからなるカメラ位置姿勢センサ５０４が装着されている。カメラ位置姿勢センサ５０４からの出力信号は頭部位置姿勢計測部５０５に入力され、カメラの位置と姿勢を推定する。カメラ位置姿勢センサ５０４は、磁気センサの他に、光学式センサ、超音波式センサ、機械式センサなど、用途に合わせて好適な手段を任意に選択してよい。
【００２４】
被写体領域抽出部５０３は、画像入力部５０２から供給された画像データの各画素の色情報を、被写体色情報登録部５１０に登録してある被写体の色情報と比較し、これと一致する場合には当該画素は被写体の領域であると判断する。各画素についてのこのような被写体に含まれるか否かの判断の結果は、例えば、被写体に含まれるならば１、そうでないならば０のような値を割り当て、画像データの形態にて画像合成部５０８に供給される。
【００２５】
図７は被写体領域の抽出を説明する図である。実写画像４０１は、図６においてビデオカメラ５０１から観測される画像の例である。実写画像４０１において、ユーザ６０１は自身の手をビデオカメラ５０１を通して観察しようとしており、背景とすべき現実の風景と共に、前景とすべき被写体である手が観測されている。
【００２６】
被写体とすべき手６０４の色情報を予め被写体色情報登録部５１０に登録しておき、実写画像４０１の各画素について色情報を被写体の色情報と比較し、被写体領域に含まれるならば１、それ以外では０とした画像を生成する。被写体領域画像７０１はこのようにして実写画像４０１を解析して生成した画像であり、白で示した領域が被写体である手の領域を示す。
【００２７】
被写体領域抽出部５０３および被写体色情報登録部５１０で用いられる色情報は、多次元色空間における座標値として記述することができる。一般によく知られている表色系の種類には、ＲＧＢ、ＹＩＱ、ＹＣｂＣｒ、ＹＵＶ、ＨＳＶ、Ｌｕ＊ｖ＊、Ｌａ＊ｂ＊など様々なものがある（日本規格協会 ＪＩＳ色彩ハンドブック）。
【００２８】
対象とする被写体の色彩特性に合わせて適当なものを任意に用いてよいが、本実施形態では、照明条件の相違による被写体の色彩特性の変化を相殺するために、輝度情報と色相情報とに分離する形式の表色系を用い、色相情報だけを用いることが望ましい。このような表色系の代表的なものとしては ＹＩＱ や ＹＣｂＣｒ が一般的である。本実施形態では、ＹＣｂＣｒ 表色系を用いるとする。
【００２９】
図８にＹＣｂＣｒ 表色系の ＣｂＣｒ 平面における色彩分布の概要を示す。横軸８０１がＣｂ、縦軸８０２がＣｒである。中央８０３は白色の領域であり、中央から周辺に向かって彩度が高くなっている。図９に、被写体の色情報をＹｃｂＣｒ表色系のＣｂＣｒ平面における色空間座標分布９０１として表現した例を示す。
【００３０】
被写体の色情報は背景の色情報に含まれないものであることが望ましいが、条件によっては被写体と背景とを色によって識別しにくい場合も考えられる。このような場合には、例えば手に着色した手袋を装着するなど、被写体に対して都合の良い色を割り当てると良い。
【００３１】
被写体色情報登録部５１０における色情報の登録方法としては、被写体をカメラで観測して画像を取得して各画素の値をＣｂＣｒ平面での分布として記述した上で、色空間の各軸の座標範囲を指定する方法や、色空間を各軸について標本化しその各点について被写体であるか否かの値を登録する方法、いわゆるルックアップテーブルを用いてよい。
【００３２】
被写体領域抽出部５０３における処理を図１０を用いて説明する。画像入力部５０２から供給される画像データの各画素について図１０に示す処理を行い、被写体の領域を抽出する。
【００３３】
まず、ステップ１００１で、画像座標（ｉ、ｊ）のＲＧＢ値をＹＣｂＣｒ形式に変換し、ＣｂＣｒ平面での座標値（ｃｂ、ｃｒ）に変換する。
【００３４】
ステップ１００２においてＣｂＣｒ平面での座標値（ｃｂ、ｃｒ）を入力として、被写体色情報登録部５１０に登録されている被写体の色分布９０１を参照し、入力色が被写体の色分布の領域に属するか否かを判定する。判定結果は、例えば、被写体色分布９０１に属すならば１、属さないならば０と二値で表してもよいが、０から１までの連続値による確立分布で表現してもよい。
【００３５】
本実施形態では、画像入力部５０２から供給される画像データがＲＧＢ形式で記述されているとしているが、画像データはＹＩＱやＹＵＶで記述されていても良い。この場合には、ステップ１００１を省略し、ステップ１００２の（ｃｂ、ｃｒ）にＩＱあるいはＵＶ空間の座標値を入力することにより、同様の効果が得られる。
【００３６】
画像生成部５０６では、カメラ位置姿勢計測部５０５から供給されるカメラの３次元的な位置と姿勢の情報を用いて、ビデオカメラ５０１で撮影された画像に合わせて、仮想空間データベースに含まれるＣＧモデルの幾何情報および色やテクスチャなどの属性情報、および照明情報を用いて３次元ＣＧ画像を生成する。３次元ＣＧ画像の生成は既知の技術であるので説明を省略する。
【００３７】
画像合成部５０８では、画像入力部５０１から供給される実写画像４０１と、画像生成部５０６から供給されるＣＧ画像２０４とを、被写体領域抽出部５１０から供給される被写体領域画像７０１を用いて、目的とする合成画像２０１を生成する。
【００３８】
画像合成部５０８における画像合成処理について図１１を用いて説明する。ステップ１１０１では、実写画像４０１を画像表示のための画像メモリであるフレームバッファに転送する。ステップ１１０２では、被写体領域抽出部５１０で生成された被写体領域画像７０１をマスク処理のための画像メモリであるステンシルバッファに転送する。
【００３９】
ステップ１１０３では、ＣＧ画像２０４を生成し、生成されたＣＧ画像を構成する各座標（ｉ、ｊ）の画素についてステンシルバッファの値Ｓｔｅｎｃｉｌ（ｉ、ｊ）を参照して以下のようにフレームバッファに描画する。
【００４０】
Ｓｔｅｎｃｉｌ（ｉ、ｊ）＝１、すなわち実写画像中の画素ｒｅａｌ（ｉ、ｊ）が被写体領域に含まれる場合には、対応するフレームバッファの画素ｆｒａｍｅ（ｉ、ｊ）を更新しない。
【００４１】
一方、Ｓｔｅｎｃｉｌ（ｉ、ｊ）＝０、すなわち実写画像中の画素ｒｅａｌ（ｉ、ｊ）が被写体領域に含まれていない場合には、Ｆｒａｍｅ（ｉ、ｊ）の値をＣＧ画像の画素値ｃｇｉ（ｉ、ｊ）によって置き換える。
【００４２】
その結果、被写体領域では常に実写画像の画素値がフレームバッファに描き込まれ、被写体領域でない領域では、ＣＧが重畳されている部分に関してはＣＧ画像の画素値がフレームバッファに描き込まれる。また、被写体領域でなくかつＣＧが重畳されない領域は実写画像がフレームバッファに描き込まれる。
【００４３】
このように本実施形態の画像合成処理は、ステンシルバッファに保持された被写体領域画像７０１をマスクデータとして、実写画像が書き込まれたフレームメモリへのＣＧ画像の描画を制御する。本実施形態によれば、高速に合成処理を行うことができる。
【００４４】
また、頭部搭載型表示装置を装着したユーザは、図２に示す合成画像２０１のように、現実空間を背景にしてＣＧによる仮想物体を観察することができ、さらに、自分自身の手を仮想物体の手前に置いた状態を見ることが可能になる。
【００４５】
また、被写体（特定画像）と実写風景（特定画像以外の実写画像）とを、同一のビデオカメラで撮像することができるので、被写体と実写風景の位置関係がずれることを防ぐことができる。また、ＣＧ画像はカメラ位置姿勢センサの出力に応じて生成、合成するので、実写画像と適切な位置関係を保つことができる。
【００４６】
（他の実施形態）
上述の実施形態の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は上述の実施形態を構成することになる。
【００４７】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４９】
以上の実施形態を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した（図５および図１０と図１１に示す）ブロックダイヤグラムおよびフローチャートの一部または全部に対応するプログラムコードが格納されることになる。
【００５０】
【発明の効果】
本発明によれば、特定画像が含まれる実写画像とコンピュータグラフィック画像から予め登録されている色情報に基づき該特定画像の領域情報を検出し、該検出した領域情報に基づき、該特定画像以外の実写画像を背景に、該コンピュータグラフィックス画像と該特定画像を前景画像にした合成画像を、各画像が適切な位置関係でかつ自然に生成することができる。
【図面の簡単な説明】
【図１】従来のクロマキー合成の事例を説明する図である。
【図２】課題とする合成画像の例を示す図である。
【図３】従来のクロマキー合成を説明する図である。
【図４】実施形態の合成処理を説明する図である。
【図５】実施形態の処理の流れを示すブロック図である。
【図６】利用形態を示す図である。
【図７】被写体領域の抽出を説明する図である。
【図８】ＹＣｂＣｒ表色系による色彩情報の記述を説明する図である。
【図９】ＹＣｂＣｒ表色系による被写体の色彩情報の分布例を示す図である。
【図１０】被写体領域抽出処理を説明するフローチャートである。
【図１１】画像合成処理の流れを説明するフローチャートである。

Claims (6)

1. 特定画像が含まれる実写画像と、コンピュータグラフィックス画像を、該特定画像以外の実写画像が背景に、該コンピュータグラフィックス画像と該特定画像が前景になるように合成する情報処理方法であって、
   撮像部によって特定画像が含まれる実写画像を取得して第１のメモリに格納し、
   色情報登録部に登録されている色情報に基づき、前記取得した実写画像から前記特定画像の領域を示す領域情報を検出して第２のメモリに格納し、
   画像生成部により生成されたコンピュータグラフィックス画像を、前記実写画像が格納された前記第１のメモリに格納する場合、前記第２のメモリに格納された前記領域情報を用いて、前記実写画像における前記特定画像の領域以外の領域に対してはコンピュータグラフィックス画像を格納することにより、前記特定画像以外の実写画像が背景に、前記コンピュータグラフィックス画像と前記特定画像が前景となる合成画像を生成することを特徴とする情報処理方法。
2. 前記撮像部の位置情報を取得し、
   前記画像生成部は、前記位置情報に応じて前記コンピュータグラフィックス画像を生成することを特徴とする請求項１記載の情報処理方法。
3. 請求項１又は請求項２に記載の情報処理方法を実現するためのプログラム。
4. 実写の風景を背景にコンピュータグラフィックスと実写の被写体を前景に合成して表示する情報処理装置であって、
   実写画像を実時間で撮像する撮像部と、
   前記撮像部により撮像された実写画像を格納する格納手段と、
   前記撮像部の位置と回転情報を計測する位置姿勢計測部と、
   前記位置姿勢計測部の計測結果に基づき、コンピュータグラフィックス画像を生成するコンピュータグラフィックス画像生成部と、
   色情報登録部に登録されている色情報に基づき、前記実写画像から前記被写体領域を検出する検出部と、
   前記検出された被写体領域に基づき、前記実写画像の被写体領域を除いた領域のみ前記コンピュータグラフィックス画像を、前記格納手段に格納された前記実写画像に重畳する画像合成部と、
   前記画像合成部から出力された合成画像を表示する画像表示部とを備えることを特徴とする情報処理装置。
5. 前記表示部は頭部搭載型であることを特徴とする請求項４記載の情報処理装置。
6. 前記撮像部および前記位置姿勢計測部は、前記表示部に固定されていることを特徴とする請求項４又は請求項５に記載の情報処理装置。

Images