JP4615252B2 - 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス - Google Patents

Description

本発明は、ビデオカメラなどの撮影装置により撮影された撮影画像を、コマンド等の入力インタフェースとして利用するための画像処理技術に関する。

コンピュータ、ビデオゲーム機などによく用いられる入力装置として、キーボード、マウス、コントローラ等がある。操作者は、これらの入力装置を操作することにより所望のコマンドを入力して、入力されたコマンドに応じた処理をコンピュータ等に行わせる。そして操作者は、処理結果として得られた画像、音などを、ディスプレイ装置やスピーカにより視聴する。
操作者は、入力装置に備えられる多くのボタンを操作したり、ディスプレイ装置に表示されたカーソルなどを見ながら操作することにより、コマンドの入力を行うこととなる。
このような操作は、操作者の慣れに依存する部分が大きい。例えばキーボードを全く触ったことのない者にとって、キーボードを用いて所望のコマンドを入力することは面倒な操作であり、入力に時間がかかったり、キーボードの打ち間違いによる入力ミスを起こしやすい。そのために、操作者が操作しやすいマンマシンインタフェースに対する要望がある。

一方、マルチメディア技術の発達により、ビデオカメラにより撮影した撮影画像を、コンピュータなどに取り込んで編集し、これをディスプレイ装置に表示して楽しむことが、一般の家庭でも手軽に行えるようになっている。また、顔などの身体の撮影画像を解析して特徴部分を抽出し、個人の特定を行うなどの個人認証にも用いられている。
従来、このような撮影画像は、編集又は解析といった、コンピュータによって処理されるための情報として用いられている。しかし、撮影画像が、例えばコンピュータにコマンドを入力するといった目的で用いられることはなかった。

本発明の課題は、撮影装置等により撮影された撮影画像をコマンド等を入力するための入力インタフェースとして利用するための画像処理技術を提供することにある。

上記の課題を解決する本発明の画像処理装置は、動きのあるターゲットをその一部に含む鏡面動画像を取り込む画像取込手段と、所定のオブジェクトを表すオブジェクト画像を、前記画像取込手段で取り込んだ鏡面動画像に含まれるターゲットの動きに応じて生成する画像生成手段と、この画像生成手段で生成したオブジェクト画像を前記取り込んだ鏡面動画像と合成して所定のディスプレイ装置に表示させる制御手段とを備えてなる。
「ターゲット」とは、例えば画像処理装置に画像を供給する撮影装置による撮影対象体（人物又は物体等）のうち注目する部分をいう。

本発明の他の画像処理装置は、動きのあるターゲットをその一部に含む鏡面動画像を取り込む画像取込手段と、現時点の鏡面動画像と直前の鏡面動画像との間の画像特徴を検出することにより前記ターゲット及びその動き成分を検出する検出手段と、所定のオブジェクトを表すオブジェクト画像を、前記検出手段で検出されたターゲットの動き成分に応じて変化するように生成する画像生成手段と、この画像生成手段で生成したオブジェクト画像を前記取り込んだ鏡面動画像と合成して所定のディスプレイ装置に表示させる制御手段とを備える。

これらの画像処理装置は、鏡面動画像に含まれるターゲットの動きに応じて、オブジェクト画像を生成する。つまり、ターゲットの動きにより、ディスプレイ装置に表示されるオブジェクト画像の動きや色、形、オブジェクト画像が複数ある場合にはどのオブジェクト画像を表示するか等が決められる。例えば、ターゲットが操作者である場合には、操作者の動作に応じてオブジェクトが決まることになる。このように、鏡面動画像を入力インタフェースの一種として利用可能となる。

これらの画像処理装置において、前記画像生成手段が、前記検出されたターゲットの動きに追従するように前記オブジェクト画像を生成するようにしてもよい。
また、前記ターゲットの動き成分に応じて、前記生成されたオブジェクト画像に基づく所要の処理の実行準備を行う手段をさらに備えるようにしてもよい。
前記画像生成手段で生成されたオブジェクト画像と前記現時点の鏡面動画像とが合成された合成画像と、前記直前の鏡面動画像に含まれるターゲットの部分の画像であるテンプレート画像と、を比較して、前記テンプレート画像と画像特徴が最も類似する前記合成画像の部分の画像を検出すると共に、この検出した前記合成画像の前記部分の画像に前記オブジェクト画像が含まれているときに、このオブジェクト画像に基づく所要の処理の実行準備を行う手段をさらに備えるようにしてもよい。

前記オブジェクト画像を所定の処理に対応付けしておき、前記検出手段で検出された前記ターゲットの動き成分が所定の条件を満たすときに前記オブジェクト画像に対応付けされた前記処理を実行する手段をさらに備えるようにすると、ターゲットの動きに応じて、処理の実行が可能となる。
また、鏡面動画像に含まれる前記ターゲットを複数とし、前記検出手段を、前記複数のターゲットの各々についてその動き成分を検出して、検出した前記複数のターゲットの各々の動き成分に基づいて一のターゲットを検出するように構成し、前記画像生成手段を、前記オブジェクト画像を、前記検出手段で検出された前記一のターゲットの前記動き成分に応じて変化するように生成するように構成してもよい。

本発明は、また、以下のような画像処理方法を提供する。この画像処理方法は、動きのあるターゲットをその一部に含む鏡面動画像を画像処理装置に取り込み、前記画像処理装置で、所定のオブジェクトを表すオブジェクト画像を、前記取り込んだ鏡面動画像に含まれるターゲットの動きに応じて生成するとともに、生成した前記オブジェクト画像を前記取り込んだ鏡面動画像と合成して所定のディスプレイ装置に表示させることを特徴とする、画像処理方法である。

本発明は、また、以下のようなコンピュータプログラムを提供する。このコンピュータプログラムは、ディスプレイ装置が接続されたコンピュータに、動きのあるターゲットをその一部に含む鏡面動画像を取り込む処理、所定のオブジェクトを表すオブジェクト画像を、前記取り込んだ鏡面動画像に含まれるターゲットの動きに応じて生成する処理、生成した前記オブジェクト画像を前記取り込んだ鏡面動画像と合成して前記ディスプレイ装置に表示させる処理、を実行させるためのコンピュータプログラムである。

本発明は、また、以下のような半導体デバイスを提供する。この半導体デバイスは、ディスプレイ装置が接続されたコンピュータに搭載された装置に組み込まれることにより、前記コンピュータに、動きのあるターゲットをその一部に含む鏡面動画像を取り込む手段、所定のオブジェクトを表すオブジェクト画像を、前記取り込んだ鏡面動画像に含まれるターゲットの動きに応じて生成する手段、生成した前記オブジェクト画像を前記取り込んだ鏡面動画像と合成して前記ディスプレイ装置に表示させる手段、の機能を形成させる半導体デバイスである。

以上の説明から明らかなように、本発明によれば、操作者がデータ等を入力する必要がある場合は、鏡面動画像を用いることにより、ディスプレイ装置に表示された合成画像を見ながら容易に入力や選択が可能となり、慣れを必要とせず、より使い勝手のよい入力インタフェースを実現することができる。

以下、本発明の実施形態を詳細に説明する。
図１は、本発明を適用した画像処理システムの構成例を示した図である。
この画像処理システムは、ディスプレイ装置３に対座する操作者をアナログ又はデジタルのビデオカメラ１で撮影し、これにより得られた動画像を画像処理装置２に時系列的に連続に取り込んで鏡面動画像を生成するとともに、この鏡面動画像のうち、操作者の目、手などの注目対象部分（以下、注目対象部分を「ターゲット」と称する）が存在する部位にメニューやカーソル等のオブジェクトを表すオブジェクト画像を合成して合成画像（これも動画像となる）を生成し、この合成画像をディスプレイ装置３上にリアルタイムに表示させるものである。
鏡面動画像は、ビデオカメラ１から取り込んだ動画像を画像処理装置２で鏡面処理（画像の左右反転処理）することにより生成することができるが、ビデオカメラ１の前に鏡を置き、操作者を映した鏡面の動画像をビデオカメラ１で撮影することによって鏡面動画像を生成するようにしてもよい。いずれにしても、ディスプレイ装置３上には、ターゲットの動きに応じてその表示形態がリアルタイムに変化する合成画像が表示されるようにする。

画像処理装置２は、コンピュータプログラムにより所要の機能を形成するコンピュータにより実現される。
この実施形態によるコンピュータは、例えば図２にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。

メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ１０と、ＲＡＭで構成されるメインメモリ１１と、メインＤＭＡＣ（Direct Memory Access Controller）１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）１３と、描画用メモリとなるフレームメモリ１５を内蔵する描画処理装置（Graphic Processing Unit、以下、「ＧＰＵ」）１４が接続される。ＧＰＵ１４には、フレームメモリ１５に描画されたデータをディスプレイ装置３で表示できるようにするためのビデオ信号を生成するＣＲＴＣ（CRT Controller）１６が接続される。

メインＣＰＵ１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ２７を制御するとともに、このメディアドライブ２７に装着されたメディア２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ１１に記憶させる。さらに、メディア２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状及びその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。

ＧＰＵ１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ１０から通知されるディスプレイリストに従って必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリ１５にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ１５は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。

メインＤＭＡＣ１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。

サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサブメモリ２１、サブＤＭＡＣ２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ２３、サウンドメモリ２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ（Sound Processing Unit））２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）２６、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア２８を装着するためのメディアドライブ２７及び入力部３１が接続されている。

サブＣＰＵ２０は、ＲＯＭ２３に記憶されている制御プログラムに従って各種動作を行う。サブＤＭＡＣ２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。入力部３１は、操作装置３５からの入力信号が入力される接続端子３２、ビデオカメラ１からの画像信号が入力される接続端子３３、及びビデオカメラ１からの音声信号が入力される接続端子３４を備える。
なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。

このように構成されるコンピュータは、メインＣＰＵ１０、サブＣＰＵ２０、ＧＰＵ１４が、ＲＯＭ２３及びメディア２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、画像処理装置２として動作するうえで必要な機能ブロック、すなわち、図３に示すような、画像入力部１０１、画像反転部１０２、オブジェクトデータ記憶部１０３、オブジェクトデータ入力部１０４、オブジェクト制御部１０５、重畳画像生成部１０６、差分値検出部１０７、表示制御部１０８を形成する。
図１に示したハードウエアとの関係では、画像入力部１０１は入力部３１及びその動作を制御するサブＣＰＵ２０により形成され、画像反転部１０２、オブジェクトデータ入力部１０４、オブジェクト制御部１０５及び差分値検出部１０７はメインＣＰＵ１０により形成され、重畳画像生成部１０６はＧＰＵ１４により形成され、表示制御部１０８はＧＰＵ１４とＣＲＴＣ１６との協働により形成される。オブジェクトデータ記憶部１０３は、メインＣＰＵ１０がアクセス可能なメモリ領域、例えばメインメモリ１１に形成される。

画像入力部１０１は、ビデオカメラ１により撮影された撮影画像を入力部３１の接続端子３３を介して取り込む。入力される撮影画像がデジタル画像の場合は、そのまま取り込む。入力される撮影画像がアナログ画像の場合は、Ａ／Ｄ変換を行ってデジタル画像に変換して取り込む。
画像反転部１０２は、画像入力部１０１により取り込んだ撮影画像を鏡面処理、すなわち左右反転処理して鏡面動画像を生成する。

オブジェクトデータ記憶部１０３は、メニュー（サブメニューを含む）、マッチ棒、カーソル等のオブジェクトを表現するためのオブジェクトデータをその識別データと共に保持する。
オブジェクトデータ入力部１０４は、オブジェクトデータ記憶部１０３から必要なオブジェクトデータを取り込んで、オブジェクト制御部１０５へ送る。取り込むべきオブジェクトデータは、オブジェクト制御部１０５により指示される。
オブジェクト制御部１０５は、指示内容に応じてオブジェクトデータ入力部１０４より取り込んだオブジェクトデータに基づいてオブジェクト画像を生成する。特に、オブジェクト制御部１０５は、差分値検出部１０７から送られる差分値に基づいてオブジェクトの表示状態を決定し、その表示状態を実現するためのオブジェクト画像を生成する。差分値については後述する。

重畳画像生成部１０６は、画像反転部１０２から出力された鏡面動画像とオブジェクト制御部１０５により生成されるオブジェクト画像とを重畳した合成画像をフレームメモリ１５に描画する。
なお、オブジェクト画像を重畳して合成画像を生成するほかに、公知のインポーズ処理により、鏡面動画像上にオブジェクト画像を表示するようにしてもよい。

差分値検出部１０７は、重畳画像生成部１０６により生成される合成画像のうち、鏡面動画像の画像特徴を１フレーム毎に比較し、前後のフレームの鏡面動画像間における画像特徴の差分値を導出する。また、差分値検出部１０７は、必要に応じて、前後のフレームの鏡面動画像間の差分画像を生成する。
画像特徴の差分値は、鏡面動画像に含まれるターゲットの動き成分のフレーム毎の変化を定量的に表す値となる。例えば、鏡面動画像内でターゲットが動いた距離や、動いた先の領域と動く前の領域との間の面積を表すことになる。
一つの鏡面動画像内に複数のターゲットが含まれる場合には、画像特徴の差分値が各々のターゲットの動きの変化を表すようになるので、この差分値を求めることにより、個々のターゲットの動きの変化を定量的に求めることができる。
差分画像は、その時点における鏡面動画像に含まれるターゲットのフレーム毎の動きの変化を表す画像となる。例えば、２つの鏡面動画像間でターゲットが動いたときの、動く前のターゲットの画像と動いた後のターゲットの画像とからなる画像である。
差分値及び差分画像を導出するために、差分値検出部１０７は、ある鏡面動画像を他のフレームの鏡面動画像との間の「参照用画像」としてメインメモリ１１に記憶する。記憶しておく鏡面動画像は、１フレーム分の鏡面動画像の全体でもよいが、画像特徴の差分値を導出できれば足りるので、ターゲットの部分のみであってもよい。
以後の説明において、ターゲットの部分の画像を他の部分の画像と区別する必要がある場合は、それを「テンプレート画像」という。
差分値検出部１０７で検出した差分値は、オブジェクト制御部１０５に送られ、オブジェクト画像の動きを制御するために用いられる。

表示制御部１０８は、重畳画像生成部１０６で生成された合成画像をビデオ信号に変換してディスプレイ装置３に出力する。ディスプレイ装置３は、このビデオ信号により、画面上に合成画像（動画像）を表示させる。

＜画像処理方法＞
次に、上記のような画像処理システムにより行われる画像処理方法の実施例を説明する。

［実施例１］
ディスプレイ装置３には、図６に示すように、ビデオカメラ１により撮影され、鏡面処理された操作者の鏡面動画像に、オブジェクト画像の一例となるメニュー画像が重畳された合成画像が画像処理装置２によって表示されているものとする。
ターゲットとしては、操作者の目、口、手など、種々のものを選定することができるが、ここでは、操作者の手をターゲットとし、メニュー画像が表示されている領域内における手の動き量を検出することによって、メニュー画像に対する指示入力を行う場合の例を挙げる。
メニュー画像は図７に示すように階層的になっており、操作者によって最上位層の「menu」が選択されると、その下位層の「select1」、「select2」、「select3」のいずれかを表すプルダウン画像が表示され、プルダウン画像の中からいずれかが選択されると、選択されたプルダウン画像の下位層のメニューの処理決定画像（例えば「処理２１」、「処理２２」、「処理２３」、「処理２４」）が表示されるようになっている。
処理決定画像は、決定した処理（イベント）をメインＣＰＵ１０に実行させるためのプログラムと対応付けられてオブジェクトデータ記憶部１０３に記憶されており、ある処理決定画像が選択されると、それに対応付けられたプログラムが起動して、該当する処理（イベント）が実行されるようになっている。

このような動作を可能にするための画像処理装置２による処理手順を図４及び図５に示す。
まず、図４を参照する。差分値検出部１０７は、鏡面動画像が次のフレームのものに更新され、それによって重畳画像生成部１０６により生成される合成画像が更新されると（ステップＳ１０１）、更新する前後の合成画像に含まれる鏡面動画像の画像特徴を比較し、その差分値を算出する（ステップＳ１０２）。ここで算出される差分値は、メニュー画像が表示されている領域内における操作者の１回の手の動きを表す値である。算出された差分値はメインメモリ１１に記録され、一定期間累積加算される（ステップＳ１０３）。差分値を累積加算するのは、操作者による複数回の手の動きによって操作者の操作指示の意志を画像処理装置２において検知するためである。１回の手の動き量によって操作者の操作指示の意志を確認できる場合は、必ずしも累積加算を行う必要はない。
差分値検出部１０７は、差分値（累積値）をオブジェクト制御部１０５へ送る。

オブジェクト制御部１０５は、差分値検出部１０７から受け取った差分値（累積値）に応じてメニュー画像の色を決定する（ステップＳ１０４）。例えばメニュー画像の色を複数色用意しておき、手の動きが検出されるたびにその色を逐次変えていく。透明から半透明、不透明のように変えるようにしてもよい。また、現時点での差分値（累積値）を予め定められているしきい値と比較し（ステップＳ１０５）、累積値がしきい値より小さい場合は（ステップＳ１０５：N）、メニュー画面の「menu」が選択されたとするには十分ではないとして、ステップＳ１０１に戻る。
累積値がしきい値以上になった場合（ステップＳ１０５：Y）、オブジェクト制御部１０５は、メニュー画面の「menu」が選択されたと判断して、プルダウン画像を表示させると共にその旨を差分値検出部１０７に報告する（ステップＳ１０６）。

このように、メニュー画像が表示された領域内で検出した操作者の手の動き量の累積値がしきい値以上になることをもって、メニュー画像の「menu」が選択されたことを検知し、プルダウン画像を表示させる。手の動き量の累積値によってメニュー画像の色が変わるので、操作者は、あとどの程度手を動かせば「menu」が選択されるようになるかがわかるようになっている。
また、ディスプレイ装置３には鏡面動画像が表示されるために、操作者は、鏡を見ている感覚で上記の操作ができるために、操作者が操作し易いマンマシンインタフェースを実現することができる。

図５に移り、メニュー画面の「menu」が選択されたこと、すなわち差分値（累積値）がしきい値以上になったことがわかると、差分値検出部１０７は、そのときの操作者の手（ターゲット）の画像をテンプレート画像として保持する（ステップＳ１０７）。
フレーム更新によってメニュー画像がその下位層のプルダウン画像に切り替わった合成画像が表示されると（ステップＳ１０８）、操作者の手の画像が切り替わった合成画像のどこにあるかを探索する。すなわち、差分値検出部１０７は、合成画像の中から、テンプレート画像とマッチングする画像を探索する（ステップＳ１０９）。
具体的には、その合成画像をテンプレート画像と同じ大きさの領域毎に分割し、分割した各領域の画像のうち、テンプレート画像に最も類似する領域の画像を探索する。テンプレート画像に最も類似する領域の画像は、例えば比較する画像の画素間の差分の絶対値（又は２乗）の総和を距離として表すことができるときに、テンプレート画像との距離が最小となる画像である。

マッチングする画像があった場合は（ステップＳ１１０：Y）、それがプルダウン画像かどうかを判定する（ステップＳ１１１）。プルダウン画像であった場合は（ステップＳ１１１：Y）、それが、「select1」、「select2」、「select3」のどの領域のプルダウン画像かを検出する（ステップＳ１１２）。検出したプルダウン画像が、操作者によって指示された選択されたプルダウン画像となる。選択されたプルダウン画像に関する情報は、差分値検出部１０７からオブジェクト制御部１０５へ報告される。
オブジェクト制御部１０５は、選択されたプルダウン画像に付随する処理決定画像をオブジェクトデータ記憶部１０３から読み出し、この処理決定画像が付されたオブジェクト画像を生成する（ステップＳ１１３）。
このようにして、ディスプレイ装置３には操作者によって逐次選択されていくメニューの様子が表示される。
図７の例では、最上位層のメニュー画像から「select2」のプルダウン画像が選択され、その「select2」のブルダウン画像に付随する処理決定画像（「処理２１」、「処理２２」、「処理２３」、「処理２４」）が表示されている。

テンプレート画像は、フレーム毎に、逐次新しいものに置き換えられる。
すなわち、差分値検出部１０７は、前のフレームで使用したテンプレート画像を破棄し、上記のマッチングした画像（プルダウン画像の選択に用いた操作者の手の画像）を新たなテンプレート画像として保持する（ステップＳ１１４）。その後、上記と同様にして処理決定画像（「処理２１」、「処理２２」、「処理２３」、「処理２４」）のいずれかを特定するために、ステップＳ１０８に戻る。

ステップＳ１１１において、マッチングする画像がプルダウン画像の領域外であるが、処理決定画像領域内のいずれかの処理決定画像であった場合は（ステップＳ１１１：N、Ｓ１１５：Y）、その処理決定画像が選択されたとして、これに対応付けられた処理の内容を決定し、すなわちプログラムを実行可能にし、メニュー画像による処理を終える（ステップＳ１１８）。
マッチングする画像がプルダウン画像及び処理決定画像領域外であるが、メニュー画像領域内であった場合は（ステップＳ１１１：N、Ｓ１１５：N、Ｓ１１６：Y）、操作者が他のプルダウン画像を選択しようとすることなので、テンプレート画像を破棄し、マッチングした画像を新たなテンプレート画像として保持したうえで、ステップＳ１０８に戻る（ステップＳ１１７）。
ステップＳ１１０においてマッチングする比較対象画像がなかった場合（ステップＳ１１０：N）、あるいはマッチングする画像はあるが、それがメニュー画像領域外の画像であった場合は、その時点でメニュー画像による処理を終える（ステップＳ１１１：N、Ｓ１１５：N、Ｓ１１６：N）。

以上の手順でメニュー画像による処理を行うことにより、操作者は、ディスプレイ装置３の画面に映し出される自分の鏡面動画像を見ながら、容易に自分の欲する内容の処理を選択可能となる。また、自分の挙動を画面上で随時確認しながら指示の入力を行えるために、キーボードなどの入力装置を用いる場合のように、目をディスプレイ装置３からそらすことがなくなる。

［実施例２］
本実施形態の画像処理システムにより、オブジェクト画像に、画像処理の対象となるイベントをメインＣＰＵ１０に実行させるためのプログラムを対応付けして、オブジェクト画像に対する鏡面動画像内の操作者の動きに応じて、該当するイベントのための処理が実行されるようにすることも可能である。
ここでは、鏡面動画像に重畳するオブジェクト画像の一例として、マッチ棒の画像と、そのマッチ棒が発火して火が燃える様子を表す炎画像とを用いる場合の例を示す。
前提として、事前に、オブジェクト画像であるマッチ棒の画像に、マッチが発火したことを表す着火アニメーションをディスプレイ装置３に表示するためのプログラムを対応付けしておく。そして、合成画像内で、マッチ棒の画像を、鏡面動画像内の操作者が擦るように挙動することにより、マッチ棒の画像の着火部分に、着火アニメーションが表示されるようにする。炎画像は、操作者がマッチ棒の画像を擦ったときに表示される。

炎画像は、例えば再帰テクスチャ描画の手法により生成することができる。
「再帰テクスチャ描画」とは、テクスチャマッピングでレンダリングした物体の画像を他の画像のテクスチャとして参照し、再帰的にテクスチャマッピングしていく描画手法をいう。「テクスチャマッピング」とは、ある物体の画像の質感を高めるために、その物体の表面にテクスチャのビットマップデータを貼り付けてレンダリングする手法であり、フレームメモリ１５をテクスチャメモリとしても使用することにより実現可能となる。このような再帰テクスチャ描画を行う際には、テクスチャが描画されるポリゴンにグーローシェーディング（gouraud shading）を行う。すなわち、ポリゴンの頂点における輝度を計算し、ポリゴン内部の輝度を各頂点の輝度から補間して求める（このような手法は、「グーローテクスチャ描画」と呼ばれる）ようにする。
炎画像の表現には、まず、図１０に示すように、炎画像の基となるメッシュの各頂点の位置を乱数によりずらして、新たな頂点の位置を決める。また、頂点の輝度も乱数に基づいて決める。頂点の位置及び頂点の輝度は、フレーム更新の度に決められる。炎画像の基となるメッシュの一マスがポリゴンとなる。
各ポリゴンに、フレームメモリ１５に描画された炎の基となる画像を上記の再帰テクスチャ描画により形成し、ポリゴンの各頂点の輝度に基づいて上記のグーローシェーディングを施す。これにより、炎による上昇気流、炎のゆらぎ、減衰の様子が、より現実の炎に近い内容で表現される。

ディスプレイ装置３には、図９に示すような、操作者の鏡面動画像にマッチ棒の画像が重畳された合成画像が、画像処理装置２によって表示されているものとする。ここでは、操作者の手をターゲットとする。マッチ棒の画像が表示されている領域内における手の動き量を検出することによって、マッチ棒の画像に対応付けされたプログラムが実行され、着火アニメーションがディスプレイ装置３に表示される。

このような動作を可能にするための画像処理装置２による処理手順を図８に示す。
差分値検出部１０７は、鏡面動画像が次のフレームのものに更新され、それによって重畳画像生成部１０６により生成される合成画像が更新されると（ステップＳ２０１）、更新する前後の合成画像に含まれる鏡面動画像の画像特徴を比較して、マッチ棒の画像の着火部分における画像の差分値を算出するとともに、マッチ棒の画像の着火部分の差分画像を生成する（ステップＳ２０２）。ここで算出される差分値は、操作者が手を動かしたときの、マッチ棒の画像の着火部分における手の動きを定量的に表す値である。また、生成される差分画像は、ターゲットである操作者の手が動いたときの、マッチ棒の画像の着火部分における、動かす前の手の画像と動かした後の手の画像とからなる画像となる。
算出された差分値はメインメモリ１１に記録され、一定期間累積加算される（ステップ２０３）。
差分値検出部１０７は、差分画像及び差分値の累積加算された値である累積値をオブジェクト制御部１０５へ送る。

オブジェクト制御部１０５は、差分値検出部１０７から受け取った累積値に応じて差分画像の色を決定し、この差分画像に基づいて炎画像を生成する（ステップＳ２０４）。炎画像は、例えば、差分画像をメッシュに分け、このメッシュに基づいて、前述の再帰テクスチャを用いた手法により生成される。炎画像の色は、差分画像の色に応じて決められる。生成された炎画像は、マッチ棒の画像の着火部分に重ねられる。
これにより、手が動いた量に応じた色が付された炎画像が、マッチ棒の画像の着火部分の手の動きを表す領域内に表示されることになる。
炎画像の色を差分値の累積値に応じて決めることにより、例えば、マッチ棒の着火部分に表示される炎画像の色が、手の動いた量に応じて次第に変化していく様子が表現できる。

次いで、オブジェクト制御部１０５は、炎画像の色を示す値と、予め定められるしきい値とを比較する（ステップＳ２０５）。例えば炎画像の色をＲ値、Ｇ値、Ｂ値で表している場合には、それぞれの値の合計を用いることができる。
色を示す値がしきい値以上の場合は（ステップＳ２０５：Y）、オブジェクト制御部１０５は、マッチが発火したことを表す着火アニメーションを表示するプロプログラムの実行を決定する（ステップＳ２０６）。
つまり、炎画像の色が何色かに応じて着火アニメーションを開始するか否かを決定する。例えば、炎画像の色が手の動き量に応じて赤色から黄色に変化する場合、炎画像が黄色になることにより、着火アニメーションを開始する。操作者は、炎画像の色により、あとどの程度手を動かせば着火アニメーションが開始されるかを知ることができる。
重畳画像生成部１０６は、マッチ棒の画像及び炎画像を含むオブジェクト画像に着火アニメーションを重ねた画像を、ビデオカメラ１から得られた鏡面動画像に重畳して合成画像を生成する（ステップＳ２０７）。着火アニメーションは、マッチ棒の画像の着火部分に表示される。

色を示す値がしきい値より小さい場合は（ステップＳ２０５：N）、オブジェクト制御部１０５は、マッチ棒の画像に、炎画像を重ねたオブジェクト画像を重畳画像生成部１０６へ送る。重畳画像生成部１０６は、このようなオブジェクト画像を、ビデオカメラ１から得られた鏡面動画像に重畳して合成画像を生成する（ステップＳ２０８）。

その後、例えば操作装置３５から処理を終了する旨の指示があると、処理を終了する（ステップＳ２０９：Y）。処理を終了する旨の指示がなければ（ステップＳ２０９：N）、ステップＳ２０１に戻って、表示制御部１０８は、ステップＳ２０７又はステップＳ２０８で生成された合成画像をディスプレイ装置３に表示する。

以上のように、操作者がマッチ棒の画像の着火部分で手を動かす量に応じて、マッチ棒の画像に対応付けされた着火アニメーションを表示するプログラムを実行するか否かを決める処理が実行される。
操作者が、自分の鏡面動画像を見ながら種々のイベントを実行させるための操作を行えるので、従来のキーボードやマウスなどの入力装置を用いた操作よりも、簡単に処理を実行させるための入力を行うことができる。

［実施例３］
他の実施例について説明する。前提として、ディスプレイ装置３には、図１３（ａ）に示すように、操作者の鏡面動画像に、オブジェクト画像の一例となるカーソル（ポインタ）画像が重畳された合成画像が画像処理装置２によって表示されており、鏡面動画像内には、操作者の手、目、口などの複数のターゲットが含まれているものとする。
ここでは、これらの複数のターゲットの中から操作者の手に注目して、カーソル画像に、この手の動きを追従させるような場合の例を挙げる。
カーソル画像は、図１３（ａ）に示すように、目の部分が強調された顔のような画像であり、目を、ターゲットの方向を向くように動かすことが可能である。またカーソル画像は、ターゲットの動きに追従して動く。つまり、カーソル画像がターゲットから離れている場合には、カーソル画像がターゲットに向かって移動し、カーソル画像がターゲットを捕捉している場合には、カーソル画像がターゲットの動きに追従するようにする。

このような動作を可能にするための画像処理装置２による処理手順を図１１及び図１２に示す。
まず図１１を参照し、差分値検出部１０７は、鏡面動画像が次のフレームのものに更新され、それによって重畳画像生成部１０６により生成される合成画像が更新されると（ステップＳ３０１）、更新する前後の合成画像に含まれる鏡面動画像の画像特徴を比較し、その差分値を算出する（ステップＳ３０２）。ここで算出される差分値は、鏡面動画像内の、ターゲットの候補となる操作者の手、目、口等の動きを定量化した値である。
差分値検出部１０７は、各ターゲットの差分値をオブジェクト制御部１０５へ送る。
オブジェクト制御部１０５は、差分値検出部１０７から送られた各ターゲットの差分値に基づいて一のターゲットを検出する（ステップＳ３０３）。例えば、差分値が最大となるターゲットを検出する。この例では、操作者の手をターゲットとして検出する。

ターゲットを検出すると、オブジェクト制御部１０５は、ターゲットに応じてカーソル画像の表示状態を決定する。
まず、オブジェクト制御部１０５は、ステップＳ３０１で更新された合成画像内でターゲットがカーソル画像外にあるか否かを判定する（ステップＳ３０４）。ターゲットがカーソル画像内にあるときには（ステップＳ３０４：N）、オブジェクト制御部１０５は、カーソル画像がターゲットを捕捉していると判断する（ステップＳ３０８）。

ターゲットがカーソル画像外にあるときには（ステップＳ３０４：Y）、オブジェクト制御部１０５は、カーソル画像がターゲットを捕捉していないと判断して、カーソル画像の表示状態を決める処理を行う。つまりオブジェクト制御部１０５は、カーソル画像内の目がターゲットの方向を向くようなカーソル画像を生成する。
また、カーソル画像とターゲットの距離に応じて、カーソル画像がターゲットへ向かう速度を決める（ステップＳ３０６）。この速度は、例えば、カーソル画像がターゲットから遠いほど高速になるようにする。このようにすると、カーソル画像がターゲットから遠方にあるほど、早急にカーソル画像がターゲットへ向かうような画像が得られる。

以上のようなカーソル画像を、重畳画像生成部１０６により、次のフレームの鏡面動画像に重畳することにより、図１３（ａ）に示すような合成画像を生成する（ステップＳ３０７）。そしてステップＳ３０１に戻り、生成した合成画像について、同様の動作を行う。
ステップＳ３０１乃至ステップＳ３０７の動作を、カーソル画像がターゲットを捕捉するまで、つまりステップＳ３０４でターゲットがカーソル画像内にあると判定されるまで、行うことになる。
このような動作により、図１３（ａ）に示すように、カーソル画像内の目がターゲット（手）の方向を見て、カーソル画像がターゲットを追いかけるような画像を提供することができる。

図１２に移り、カーソル画像がターゲットを捕捉すると、差分値検出部１０７は、そのときのターゲットの画像をテンプレート画像として保持する（ステップＳ３０９）。例えば、鏡面動画像のカーソル画像に重なる部分をテンプレート画像として保持する。
次いで、差分値検出部１０７は、次のフレームの鏡面動画像を画像反転部１０２から入手する（ステップＳ３１０）。差分値検出部１０７は、入手した鏡面動画像のうち、保持しているテンプレート画像とマッチングする画像の位置を探索する（ステップＳ３１１）。
具体的には、入手した鏡面動画像をテンプレート画像と同じ大きさの領域に分割し、分割した各領域の画像のうち、テンプレート画像に最も類似する領域の画像を探索する。探索の結果、マッチングする画像を検出すると、検出した画像の位置をオブジェクト制御部１０５に報告する。
オブジェクト制御部１０５は、差分値検出部１０７から報告のあった位置を、次の合成画像におけるカーソル画像の位置に決める（ステップＳ３１２）。

重畳画像生成部１０６は、ステップＳ３１０で差分値検出部１０７が入手した鏡面動画像と同じ鏡面動画像上の、ステップＳ３１２でオブジェクト制御部１０５が決めた位置にカーソル画像を重畳することにより、図１３（ｂ）に示すような合成画像を生成する（ステップＳ３１３）。次いで、フレームを更新して、表示制御部１０８により、生成した合成画像をディスプレイ装置３に表示する（ステップＳ３１４）。

以上のようなターゲット捕捉後の動作（ステップＳ３０９〜ステップＳ３１４）を繰り返すことにより、カーソル画像が、ターゲットに追従するような画像が得られる。つまり、カーソル画像が、図１３（ｂ）に示すようにターゲット（手）を捕捉すると、その後は、ターゲットが移動しても、その移動先にカーソル画像が表示されることになる。図１３（ｂ）から図１３（ｃ）のように、操作者が手を伸ばしても、カーソル画像は、ターゲットとして認識した手の動きに合わせて、操作者が伸ばした手の先に表示される。

カーソル画像を用いることにより、例えば実施例１のようにメニュー画像から処理を選択する場合などに、操作者が、自分のどの部位が処理選択の際のカーソルとして機能しているかが、一目でわかるようになる。
また、例えば、カーソル画像が移動した軌跡を残して表示するようにすると、ターゲットが移動した軌跡をディスプレイ装置３に表示できるようになる。これにより例えば、空間上に描いた絵や文字などが、ディスプレイ装置３に表示可能となる。

本発明を適用した画像処理システムの全体構成図。 本実施形態による画像処理装置の構成図。 本実施形態の画像処理装置が具備する機能ブロック図。 実施例１の処理手順を示すフローチャート。 実施例１の処理手順を示すフローチャート。 実施例１による合成画像を例示した図。 メニュー画像を例示した図。 実施例２の処理手順を示すフローチャート。 実施例２による合成画像を例示した図。 再帰テクスチャによる描画の説明図。 実施例３の処理手順を示すフローチャート。 実施例３の処理手順を示すフローチャート。 実施例３による合成画像を例示した図。

符号の説明

１ ビデオカメラ
２ 画像処理装置
３ ディスプレイ装置
１０１ 画像入力部
１０２ 画像反転部
１０３ オブジェクトデータ記憶部
１０４ オブジェクトデータ入力部
１０５ オブジェクト制御部
１０６ 重畳画像生成部
１０７ 差分値検出部
１０８ 表示制御部

Claims (7)

1. 動きのある複数のターゲットをその一部に含む動画像を時系列的に取り込む画像取込手段と、
   現時点の動画像と直前の動画像との間の画像特徴を比較して、前記複数のターゲットの各々について、その動き成分の変化を定量的に表す画像特徴の差分値を導出する検出手段と、
   前記複数のターゲットの各々の前記差分値に基づいて一のターゲットを検出して、所定のオブジェクトを表すオブジェクト画像を前記取り込んだ動画像と合成した合成画像内で、前記一のターゲットが前記オブジェクト画像内にあるときに当該オブジェクト画像が前記一のターゲットを捕捉していると判断し、前記一のターゲットが前記オブジェクト画像外にあるときに当該オブジェクト画像と前記一のターゲットとの距離に応じて当該オブジェクト画像が前記ターゲットへ向かう速度を決める制御手段と、を備えており、
   前記検出手段は、前記制御手段が前記オブジェクト画像が前記一のターゲットを捕捉していると判断したときに、前記一のターゲットの画像をテンプレート画像として保持して、次の動画像のうち前記テンプレート画像とマッチングする画像の位置を探索し、
   前記制御手段は、前記検出手段で探索された前記位置に前記オブジェクト画像を合成した次の合成画像を、所定のディスプレイ装置に表示させる、
   画像処理装置。
2. 前記合成画像は、前記オブジェクト画像が移動した軌跡を残して表示される、
   請求項１記載の画像処理装置。
3. 前記動画像は、鏡面動画像である、
   請求項１又は２記載の画像処理装置。
4. 所定の撮影装置及び所定のディスプレイ装置に接続されており、前記撮影装置から動きのある複数のターゲットをその一部に含む動画像を時系列的に取り込んで、この動画像と所定のオブジェクトを表すオブジェクト画像とを合成した合成画像を前記ディスプレイ装置に表示させる画像処理装置により実行される方法であって、
   前記画像処理装置が、
   現時点の動画像と直前の動画像との間の画像特徴を比較して、前記複数のターゲットの各々について、その動き成分の変化を定量的に表す画像特徴の差分値を導出する段階と、
   前記複数のターゲットの各々の前記差分値に基づいて一のターゲットを検出する段階と、
   前記合成画像内で、前記一のターゲットが前記オブジェクト画像内にあるときに前記オブジェクト画像が前記一のターゲットを捕捉していると判断し、前記一のターゲットが前記オブジェクト画像外にあるときに前記オブジェクト画像と前記一のターゲットとの距離に応じて前記オブジェクト画像が前記ターゲットへ向かう速度を決める段階と、
   前記オブジェクト画像が前記一のターゲットを捕捉していると判断したときに、前記一のターゲットの画像をテンプレート画像として保持して、次の動画像のうち前記テンプレート画像とマッチングする画像の位置を探索し、探索された前記位置に前記オブジェクト画像を合成した次の合成画像を、前記ディスプレイ装置に表示させる段階と、を含む、
   画像処理方法。
5. 所定のディスプレイ装置が接続されたコンピュータに、
   動きのある複数のターゲットをその一部に含む動画像を時系列的に取り込む処理、
   現時点の動画像と直前の動画像との間の画像特徴を比較して、前記複数のターゲットの各々について、その動き成分の変化を定量的に表す画像特徴の差分値を導出する処理、
   前記複数のターゲットの各々の前記差分値に基づいて一のターゲットを検出する処理、
   前記合成画像内で、前記一のターゲットが前記オブジェクト画像内にあるときに前記オブジェクト画像が前記一のターゲットを捕捉していると判断し、前記一のターゲットが前記オブジェクト画像外にあるときに前記オブジェクト画像と前記一のターゲットとの距離に応じて前記オブジェクト画像が前記ターゲットへ向かう速度を決める処理、
   前記オブジェクト画像が前記一のターゲットを捕捉していると判断したときに、前記一のターゲットの画像をテンプレート画像として保持して、次の動画像のうち前記テンプレート画像とマッチングする画像の位置を探索し、探索された前記位置に前記オブジェクト画像を合成した次の合成画像を、前記ディスプレイ装置に表示させる処理、
   を実行させるためのコンピュータプログラム。
6. 請求項５に記載されたコンピュータプログラムを記録してなる、コンピュータ読み取り可能な記録媒体。
7. 所定のディスプレイ装置が接続された画像処理装置に、
   動きのある複数のターゲットをその一部に含む動画像を時系列的に取り込む画像取込手段、
   現時点の動画像と直前の動画像との間の画像特徴を比較して、前記複数のターゲットの各々について、その動き成分の変化を定量的に表す画像特徴の差分値を導出する検出手段、
   前記複数のターゲットの各々の前記差分値に基づいて一のターゲットを検出して、所定のオブジェクトを表すオブジェクト画像を前記取り込んだ動画像と合成した合成画像内で、前記一のターゲットが前記オブジェクト画像内にあるときに当該オブジェクト画像が前記一のターゲットを捕捉していると判断し、前記一のターゲットが前記オブジェクト画像外にあるときに当該オブジェクト画像と前記一のターゲットとの距離に応じて当該オブジェクト画像が前記ターゲットへ向かう速度を決める制御手段と、を形成させ、
   前記検出手段は、前記制御手段が前記オブジェクト画像が前記一のターゲットを捕捉していると判断したときに、前記一のターゲットの画像をテンプレート画像として保持して、次の動画像のうち前記テンプレート画像とマッチングする画像の位置を探索し、
   前記制御手段は、前記検出手段で探索された前記位置に前記オブジェクト画像を合成した次の合成画像を、前記ディスプレイ装置に表示させる、
   半導体デバイス。

Images