JP4689548B2 - 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス - Google Patents

Description

本発明は、ビデオカメラなどの撮影装置により撮影された撮影画像を、コマンド等の入力インタフェースとして利用するための画像処理技術に関する。

コンピュータ、ビデオゲーム機などによく用いられる入力装置として、キーボード、マウス、コントローラ等がある。操作者は、これらの入力装置を操作することにより所望のコマンドを入力して、入力されたコマンドに応じた処理をコンピュータ等に行わせる。そして操作者は、処理結果として得られた画像、音などを、ディスプレイ装置やスピーカにより視聴する。操作者は、入力装置に備えられる多くのボタンを操作したり、ディスプレイ装置に表示されたカーソルなどを見ながら操作することにより、コマンドの入力を行うこととなる。

最近は、上記のような従来からの入力装置を用いる方法の他に、ビデオカメラ等の撮影装置を用いて撮影した動画像により、コマンドの入力を可能にした技術も開発されている。本出願人も、特開２００２−１９６８５５号公報（発明の名称：画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス）において、操作者の動画像を取り込んで、操作者の動画像と当該動画像により操作されるオブジェクト画像とを合成して所定のディスプレイ装置に表示させる技術を開示している。動画像の動きに応じてオブジェクト画像が操作されるために、動画像自体が入力インタフェースとして機能することになる。

このように動画像を入力インタフェースとして用いる場合、操作者が適切な位置に表示されるように撮影装置のアングルを調整したり、画角を選択することは、正確な操作のために極めて重要である。そのために、初期設定が煩雑、複雑になりがちである。設定が不十分であったり、操作者が適切な位置にいない場合には、オブジェクト画像を操作困難な位置に操作者の動画像が表示されたり、或いは誤認識の原因となり、正確な入力動作の妨げになることもある。

本発明は、上記のような問題を解決するものであり、動画像を入力インタフェースとして用いた場合の初期設定を容易に行うための画像処理技術を提供することを課題とする。

以上の課題を解決する本発明の画像処理装置は、所定のイベントに関連づけされたオブジェクトについてのオブジェクト画像を生成するオブジェクト画像生成手段と、操作者の画像をその一部に含んだ鏡面動画像に前記オブジェクト画像を合成して合成画像を生成する画像合成手段を有し、この合成画像を所定のディスプレイ装置に表示させる画像処理装置であって、前記鏡面動画像に含まれる前記操作者の画像の位置を検出する検出手段を備え、前記画像合成手段は、前記検出手段により検出された前記操作者の画像の位置に応じて、前記操作者の手の画像が届く領域に前記オブジェクト画像が表示されるように、前記オブジェクト画像と前記鏡面動画像とを合成するように構成されている。
操作者の画像の位置に合わせて、操作者の手の画像が届く領域にオブジェクト画像が表示されるために、操作者が操作不能な位置にオブジェクト画像が表示されることがなくなる。そのために、煩雑な初期設定を行わなくても、動画像を入力インタフェースとして容易にしようできるようになる。

鏡面動画像は動画像を撮影する撮影装置側で生成するようにしてもよいが、例えば、本発明の画像処理装置が、所定の撮影装置により撮影された前記操作者の画像をその一部に含む動画像を、この撮影装置から取り込む画像取込手段と、取り込んだ動画像に鏡面処理を施して前記鏡面動画像を生成する画像反転手段と、をさらに備えるようにすれば、汎用の撮影装置で鏡面動画像を得ることができるようになる。

操作者の手の画像が届く領域とは、例えば操作者の顔の位置の周辺部分とすることができる。顔の位置の周辺部分にオブジェクト画像を表示させる場合には、例えば、前記検出手段が、前記操作者の画像から当該操作者の顔の位置を検出するように構成され、前記画像合成手段が、検出された顔の位置に応じた領域に前記オブジェクト画像が表示されるように、前記オブジェクト画像と前記鏡面動画像とを合成するように構成される。この場合、前記画像合成手段は、前記検出手段により検出された前記操作者の画像の位置に、当該操作者が検出されたことを示すマーカを表す画像を合成するように構成されていてもよい。

前記検出手段は、操作者の画像の位置の他に前記操作者の画像の大きさを検出するように構成されていてもよい。この場合、前記画像合成手段が、検出された前記操作者の画像の大きさに応じた大きさに前記オブジェクト画像が表示されるように、前記オブジェクト画像と前記鏡面動画像とを合成するように構成される。これにより、操作者の画像の大きさに応じた大きさでオブジェクト画像を表示できるようになり、操作者の画像とオブジェクトの画像とがアンバランスに表示されることはない。

前記鏡面動画像のフレーム間の画像の差異を表す差分画像を、複数重ねた動き画像マップを生成する手段をさらに備える場合には、前記画像合成手段は、この動き画像マップにより得られる前記操作者の画像の動きに応じて、前記オブジェクト画像を合成する領域を決めるように構成されていてもよい。
また、前記鏡面動画像のフレーム間で各領域の色の変化を検出する手段を備える場合には、前記画像合成手段は、この色の変化でにより得られる前記操作者の画像の動きに応じて、前記オブジェクト画像を合成する領域を決めるように構成されていてもよい。

操作者になり得る複数の操作者候補の画像が前記鏡面動画像に含まれている場合には、前記検出手段は、複数の前記操作者候補のそれぞれについて操作者候補の画像の位置を検出するように構成され、前記画像合成手段は、前記検出手段により検出された複数の前記操作者候補の画像の各々に位置に応じて、前記オブジェクト画像が複数の操作者候補の手の画像が届く範囲に表示されるように、前記オブジェクト画像と前記鏡面動画像とを合成するように構成されていてもよい。
つまり各操作者候補の画像がオブジェクト画像を操作できるような位置に、オブジェクト画像が合成される。例えば、操作者候補が２人の場合にはその間にオブジェクト画像が表示されるように合成される。

複数の操作者候補から操作者を選ぶ場合には、以下のような構成となる。
例えば、前記オブジェクト画像が操作された場合に、当該オブジェクト画像を操作した操作者候補の画像を前記操作者の画像に選択する手段を備えるようにする。オブジェクトを最初に操作した操作者候補が操作者になる。
他に、前記鏡面動画像が複数の異なる角度から同時に撮影されたステレオ画像である場合には、ステレオ画像を構成する複数の画像のそれぞれで前記オブジェクト画像に最も近い位置に表示される操作者候補の画像を前記操作者の画像に選択する手段を備えるようにする。オブジェクト画像に最も近い位置に表示される操作者候補が操作者になる。
他に、前記オブジェクト画像生成手段を、操作者候補の各々に対応して複数のオブジェクト画像を生成するように構成して、前記画像合成手段は、各操作者候補の画像に対して、対応するオブジェクト画像を当該操作者候補の手の画像が届く範囲に表示されるように、前記複数のオブジェクト画像と前記鏡面動画像とを合成するように構成してもよい。この場合、複数のオブジェクト画像のいずれか一つが操作された場合に、当該オブジェクト画像に対応する操作者候補の画像を前記操作者の画像に選択する。最初に、自分に割り当てられたオブジェクト画像を操作した者が操作者となる。

複数の操作者候補から操作者が選ばれると、前記表示制御手段は、デジタル処理又は前記鏡面動画像を撮影するための撮影装置を制御して、選択された操作者候補の画像を、ズーム、パン、及び／又はチルトにより、画面の真ん中に大きく表示されるようにして、操作者を明確にするようにしてもよい。

本発明は、また、以下のような画像処理方法を提供する。この画像処理方法は、操作者の画像をその一部に含んだ鏡面動画像と、所定のイベントに関連づけされたオブジェクトについてのオブジェクト画像とを含んだ合成画像を生成する画像合成手段と、前記鏡面動画像に含まれる前記操作者の画像の位置を検出する検出手段とを有し、生成された合成画像を所定のディスプレイ装置に表示させる画像処理装置により実行される方法であって、前記画像合成手段が、前記検出手段により検出された前記操作者の画像の位置に応じて、前記操作者の手の画像が届く範囲に前記オブジェクト画像が表示されるように前記オブジェクト画像と前記鏡面動画像とを合成する。

本発明は、また、以下のようなコンピュータプログラムを提供する。このコンピュータプログラムは、ディスプレイ装置が接続されたコンピュータに、所定のイベントに関連づけされたオブジェクトについてのオブジェクト画像を生成するオブジェクト画像生成手段、操作者の画像をその一部に含んだ鏡面動画像に前記オブジェクト画像を合成して合成画像を生成する画像合成手段、生成された合成画像を所定のディスプレイ装置に表示させる表示制御手段、前記鏡面動画像に含まれる前記操作者の画像の位置を検出する検出手段、を形成させ、前記画像合成手段に、前記検出手段により検出された前記操作者の画像の位置に応じて、前記操作者の手の画像が届く範囲に前記オブジェクト画像が表示されるように、前記オブジェクト画像と前記鏡面動画像とを合成する機能を形成させるためのコンピュータプログラムである。

本発明は、また、以下のような半導体デバイスを提供する。この半導体デバイスは、ディスプレイ装置が接続されたコンピュータに搭載された装置に組み込まれることにより、前記コンピュータに、所定のイベントに関連づけされたオブジェクトについてのオブジェクト画像を生成するオブジェクト画像生成手段、操作者の画像をその一部に含んだ鏡面動画像に前記オブジェクト画像を合成して合成画像を生成する画像合成手段、生成された合成画像を所定のディスプレイ装置に表示させる表示制御手段、前記鏡面動画像に含まれる前記操作者の画像の位置を検出する検出手段、を形成させ、前記画像合成手段に、前記検出手段により検出された前記操作者の画像の位置に応じて、前記操作者の手の画像が届く範囲に前記オブジェクト画像が表示されるように、前記オブジェクト画像と前記鏡面動画像とを合成する機能を形成させる。

以上の説明から明らかなように、本発明によれば、動画像を入力インタフェースとして用いた場合の初期設定を、容易に行うことができるようになる。

以下、本発明の実施形態を詳細に説明する。
図１は、本発明を適用した画像処理システムの構成例を示した図である。
この画像処理システムは、撮影装置の一例であるアナログ又はデジタルのビデオカメラ１、画像処理装置２、ディスプレイ装置３、及びビデオカメラ制御装置４を有して構成される。画像処理システムは、ディスプレイ装置３に相対する操作者候補をビデオカメラ１で撮影し、これにより得られた動画像を画像処理装置２に時系列的に連続に取り込んで鏡面動画像を生成するとともに、この鏡面動画像と、メニューやカーソル等のオブジェクトについてのオブジェクト画像とを合成して合成画像（これも動画像となる）を生成し、この合成画像をディスプレイ装置３上にリアルタイムに表示させるものである。オブジェクト画像は、鏡面動画像内の操作者候補が操作可能な範囲に表示されるように合成される。
オブジェクトには所定の処理が対応付けられており、操作者候補から選択された操作者によりオブジェクト画像が操作されると、該当する処理（イベント）が実行されるようになっている。

鏡面動画像は、ビデオカメラ１から取り込んだ動画像を画像処理装置２で鏡面処理（画像の左右反転処理）することにより生成することができるが、ビデオカメラ１の前に鏡を置き、操作者候補を映した鏡面の動画像をビデオカメラ１で撮影することによって鏡面動画像を生成するようにしてもよい。また、ビデオカメラ１が鏡面動画像を生成するような機能を予め備えていてもよい。いずれにしても、ディスプレイ装置３上には、操作者の動きに応じてその表示形態がリアルタイムに変化する鏡面動画像とオブジェクト画像との合成画像が表示されるようにする。
なお、ビデオカメラ１を制御するためのビデオカメラ制御装置４は、画像処理装置４からの指示により、ビデオカメラ１にズーム、パン、チルト等の動作をさせるものであるが、ビデオカメラ１或いは画像処理装置４に内蔵されていてもよい。

画像処理装置２は、コンピュータプログラムにより所要の機能を形成するコンピュータにより実現される。
この実施形態によるコンピュータは、例えば図２にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴを介して互いに接続され又は切り離されるようになっている。

メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ１０と、ＲＡＭで構成されるメインメモリ１１と、メインＤＭＡＣ（Direct Memory Access Controller）１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）１３と、描画用メモリとなるフレームメモリ１５を内蔵する描画処理装置（Graphic Processing Unit、以下、「ＧＰＵ」）１４が接続される。ＧＰＵ１４には、フレームメモリ１５に描画されたデータをディスプレイ装置３で表示できるようにするためのビデオ信号を生成するＣＲＴＣ（CRT Controller）１６が接続される。

メインＣＰＵ１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ２７を制御するとともに、このメディアドライブ２７に装着されたメディア２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ１１に記憶させる。さらに、メディア２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状及びその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。

ＧＰＵ１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ１０から通知されるディスプレイリストに従って必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリ１５にポリゴンを描画する機能を有する半導体デバイスである。フレームメモリ１５は、これをテクスチャメモリとしても使用できる。そのため、フレームメモリ上のピクセルイメージをテクスチャとして、描画するポリゴンに貼り付けることができる。

メインＤＭＡＣ１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。

サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサブメモリ２１、サブＤＭＡＣ２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ２３、サウンドメモリ２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ（Sound Processing Unit））２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）２６、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア２８を装着するためのメディアドライブ２７及び入力部３１が接続されている。

サブＣＰＵ２０は、ＲＯＭ２３に記憶されている制御プログラムに従って各種動作を行う。サブＤＭＡＣ２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。入力部３１は、操作装置３５からの入力信号が入力される接続端子３２、ビデオカメラ１からの画像信号が入力される接続端子３３、及びビデオカメラ１からの音声信号が入力される接続端子３４を備える。
なお、本明細書では、画像についてのみ説明を行い、便宜上、音声についての説明は省略する。

このように構成されるコンピュータは、メインＣＰＵ１０、サブＣＰＵ２０、ＧＰＵ１４が、ＲＯＭ２３及びメディア２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、画像処理装置２として動作するうえで必要な機能ブロック、すなわち図３に示す、画像入力部１０１、画像反転部１０２、オブジェクトデータ記憶部１０３、オブジェクトデータ取得部１０４、オブジェクト画像生成部１０５、画像合成部１０６、画像比較部１０７、表示制御部１０８、及び操作者検出部１０９を形成する。

図２に示したハードウエアとの関係では、画像入力部１０１は入力部３１及びその動作を制御するサブＣＰＵ２０により形成され、画像反転部１０２、オブジェクトデータ取得部１０４、オブジェクト画像生成部１０５、画像比較部１０７、及び操作者検出部１０９はメインＣＰＵ１０により形成され、画像合成部１０６はＧＰＵ１４により形成され、表示制御部１０８はＧＰＵ１４とＣＲＴＣ１６との協働により形成される。オブジェクトデータ記憶部１０３は、メインＣＰＵ１０がアクセス可能なメモリ領域、例えばメインメモリ１１に形成される。

画像入力部１０１は、ビデオカメラ１により撮影された撮影画像を入力部３１の接続端子３３を介して取り込む。入力される撮影画像がデジタル画像の場合は、そのまま取り込む。入力される撮影画像がアナログ画像の場合は、Ａ／Ｄ変換を行ってデジタル画像に変換して取り込む。
画像反転部１０２は、画像入力部１０１により取り込んだ撮影画像を鏡面処理、すなわち左右反転処理して鏡面動画像を生成する。なお、ビデオカメラ１による撮影を、ビデオカメラ１の前に鏡を置いて行う場合、或いはビデオカメラ１に鏡面画像を生成するような機能が備わっている場合のように、画像処理装置２に入力される撮影画像が既に鏡面動画像となっている場合には、画像反転部１０２は不要になる。

オブジェクトデータ記憶部１０３は、メニュー画像（サブメニューを含む）、カーソル画像等のオブジェクト画像を表現するためのオブジェクトデータをその識別データと共に保持する。
オブジェクトデータ取得部１０４は、オブジェクトデータ記憶部１０３からオブジェクトデータを取り込んで、オブジェクト画像生成部１０５へ送る。

オブジェクト画像生成部１０５は、オブジェクトデータ取得部１０４より取り込んだオブジェクトデータに基づいてオブジェクト画像を生成する。オブジェクト画像生成部１０５は、プログラムまたは操作者による操作に基づいてオブジェクトの表示状態を決定し、その表示状態を実現するためのオブジェクト画像を生成する。

画像合成部１０６は、鏡面動画像とオブジェクト画像生成部１０５により生成されるオブジェクト画像とを合成した合成画像をフレームメモリ１５に描画する。なお、オブジェクト画像を合成して合成画像を生成するほかに、公知のインポーズ処理により、鏡面動画像上にオブジェクト画像を表示するようにしてもよい。

画像比較部１０７は、鏡面動画像を１フレーム毎に比較して、前後のフレームの鏡面動画像間の差分画像を生成する。また、画像比較部１０７は、鏡面動画像を１フレーム毎に比較して、フレーム間で鏡面動画像の各領域の色の変化を検出する。

差分画像は、鏡面動画像に含まれる操作者（又は操作者候補）のフレーム毎の動きの変化を表す画像である。例えば、２つの鏡面動画像間で、操作者（又は操作者候補）が動いたときの、動く前の操作者（又は操作者候補）の画像と動いた後の操作者（又は操作者候補）の画像との異なる部分からなる画像である。この差分画像を複数重ねることで、操作者（又は操作者候補）の動く範囲、その頻度がわかるようになる。この頻度に応じてオブジェクト画像をどの位置に表示させるかを決めることができる。

鏡面動画像の各領域の色の変化を検出することで、操作者（又は操作者候補）が動いたことがわかる。例えば、服の前に手をかざすと、画面上、手をかざした部分の色が服の色から手の色に変わる。これにより、色の変化で手が服の前にかざされたことがわかる。
これらの操作者（又は操作者候補）の動きの頻度、色の変化が、オブジェクト画像を鏡面動画像のどの領域に合成するかを決める要因になる。

操作者検出部１０９は、鏡面動画像内の操作者候補の顔の位置、大きさ等を検出するものであり、例えば、既知の顔センシング技術を用いて、操作者候補の顔の位置、大きさ等を検出する。顔センシング技術には、例えば、サポートベクターマシン（ＳＶＭ）、ブースティング（boosting）、ニューラルネットワーク、固有顔法（Eigan Face）などを用いることができる。また、操作者検出部１０９は、複数の操作者候補から一人の操作者を選択するものである。操作者の選択は、例えば操作者候補がメニューなどのオブジェクト画像を操作したときに決まる。

表示制御部１０８は、画像合成部１０６で生成された合成画像をビデオ信号に変換してディスプレイ装置３に出力する。また、表示制御部１０８は、操作者検出部１０９により選択された操作者に対してズーム、パン、チルト等を行うものである。ズーム、パン、チルト等は、フレームメモリに描画された画像に対してデジタル処理により行ってもよいし、ビデオカメラ制御装置４により、ビデオカメラ１のズーム、パン、チルト等を行わせるようにしてもよい。
ディスプレイ装置３は、この表示制御部１０８からのビデオ信号により、画面上に合成画像（動画像）を表示させる。

＜画像処理方法＞
次に、上記のような画像処理システムにより行われる画像処理方法の実施例を説明する。

［実施例１］
図４は、上記の画像処理システムを用いた本発明の画像処理方法の手順を説明するためのフローチャートである。
ディスプレイ装置３には、図１に示すように、２人の操作者候補を含む鏡面動画像が映し出されているものとする。なお、説明の便宜上ディスプレイ装置３に映し出される操作者候補の数を２人としたが、これは更に多くの人数でもよく、また、１人でもよい。１人の場合には、その操作者候補が操作者となる。
鏡面動画像は、ビデオカメラ１で撮影された動画像が、画像処理装置２に入力され、画像反転部１０２により画像が左右反転されることで生成される。左右反転した画像がディスプレイ装置に表示されることで、図１のような鏡面動画像が映し出される。

画像処理装置２は、操作者検出部１０９により鏡面動画像から顔センシング技術を用いて操作者候補の顔の位置を検出して、検出した位置を矩形のマーカ画像５１、５２で囲う（ステップＳ１０１）。マーカ画像５１、５２もオブジェクト画像の一種であり、画像合成部１０６は、操作者検出部１０９により操作者候補の顔の位置が検出されると、オブジェクト画像生成部１０５、オブジェクトデータ取得部１０４を介してオブジェクトデータ記憶部１０３からマーカ画像５１、５２のオブジェクト画像を取得し、これを鏡面動画像の該当する位置に合成する。表示制御部１０８は、このマーカ画像５１、５２が合成された鏡面動画像をディスプレイ装置３に表示させる（図５）。
なお、マーカ画像５１、５２は、矩形の他に、図６に示すような帯状として、操作者候補がヘアバンドをしているように表示してもよい。

次いで操作者検出部１０９は、マーカ画像５１、５２に基づいて、鏡面動画像から操作者候補の顔領域を選択する（ステップＳ１０２）。顔領域を選択することで、図７のようなメニュー画像の提示候補領域が決められる。図７の例では、メニュー画像の提示候補領域が、予め顔領域の近傍に決められるようになっている。提示候補領域内の数字は、メニュー画像が提示される優先度を表しており、顔領域の下部（胸の辺り）の候補領域は優先度“１”であり、顔領域の右側近傍の候補領域は、優先度“２”で右手で操作できる領域である。顔領域の左側近傍の候補領域は、優先度“３”で左手で操作できる領域であり、顔領域の上部の候補領域は、優先度“４”で左右どちらの手でも操作できる領域である。２つの顔領域の中間の候補領域は、優先度“５”でどちらの操作者候補も操作できる領域である。
各提示候補領域は、優先度に応じてどの操作者候補でも同じ大きさに設定するようにしてもよいが、図７では、操作候補者毎に異なる大きさで設定している。図７では、左側の操作者候補が右側の操作者候補よりも大きく表示されているので、左側の操作者候補に対する提示候補領域が、右側の操作者候補の提示候補領域よりも大きく設定されている。つまり、提示候補領域の大きさは、操作者候補の顔領域の大きさに応じて変えるようにしてある。操作者候補の大きさは、操作者検出部１０９により顔の大きさを検出することで知ることができる。

画像合成部１０６は、これらのメニュー画像の提示候補領域の中から実際にメニュー画像を提示する領域を選択する（ステップＳ１０３）。提示領域の選択は、例えば、画像比較部１０７により検出される、鏡面動画像の各部分における操作者候補の動き頻度、鏡面動画像の各領域の色の変化に応じて行うことができる。提示候補領域のうち、操作者候補の動きの頻度、色の変化により操作者候補が最も操作しやすい領域を選択する。この領域がメニュー画像を提示する領域となる。

前述のように、操作者候補の動きの頻度は差分画像を重ねることで検出することができる。図８は、差分画像を重ねて得られる動き画像マップの例示図である。このような動き画像マップにより、操作者候補の動きの頻度が密な領域と疎な領域とがわかる。図８の例では、手の頻繁に動く領域が、動きが密な領域として斜線で表されている。
色の変化は、図９に示すようなカラー領域マップを用いることで知ることができる。図９のカラー領域マップは、顔の色と同じ色が占める領域を斜線で示しており、斜線の領域以外で、顔の色と同じ色を検出することで、操作者候補が動いたことを検出できる。カラー領域マップは、例えば、顔センシング技術により操作者の顔の位置を検出する際に、顔の色を検出しておき、検出した顔の色と同系統の色の領域を鏡面動画像から検出することで生成することができる。

メニュー画像の提示領域が選択されると、画像合成部１０６は、鏡面動画像の該当領域にメニュー画像を合成した合成画像を生成する。表示制御部１０８は、ディスプレイ装置３に生成された合成画像を表示させる（ステップＳ１０４）。図１０は、メニュー画像を提示したときの、ディスプレイ装置３に表示される画像の例示図である。この例では、２人の操作者候補のそれぞれ顔の近傍、優先度“２”の領域に、メニュー画像が提示されている。
図１０では２つのメニュー画像の大きさを同じにしているが、操作者候補ごとに異なる大きさで提示するようにしてもよい。例えば、ディスプレイ装置３に映し出される操作者候補の大きさに応じてメニュー画像の大きさを変える。大きく映し出される操作者候補の提示候補領域ほど大きく設定されるので、提示候補領域から選択される提示領域も、大きく映し出される操作者候補ほど大きくなる。提示領域の大きさに合わせてメニュー画像を提示するようにすれば、大きく映し出される操作者候補ほどメニュー画像を大きく提示することができる。

２人の操作者候補の一方が手を動かし、合成画像上で当該操作者候補の手がメニュー画像に触れる、或いは操作すると、操作者検出部１０９により当該操作者候補が操作者として選択される（ステップＳ１０５）。これにより実際に操作を行う操作者が決まる。
実際に操作を行う操作者が決まると、表示制御部１０８は、図１１に示すように、選択した操作者を拡大して、画面中央に表示する（ステップＳ１０６）。また、メニュー画像は操作者に操作されているので、その下位層の「select1」、「select2」、「select3」のいずれかを表すプルダウン画像が表示される。
このようにして、操作者候補の近傍にメニュー画像を表示することが可能になり、操作のための煩雑な初期設定が不要になる。また、複数の操作者候補から実際に操作を行う操作者を選択することも容易に可能になる。

［実施例２］
実施例１では、先にメニュー画像を操作した操作者候補を実際に操作を行う操作者として選択しているが、以下のようにステレオマッチングの手法を利用して実際に操作を行う操作者を選択するようにしてもよい。実施例２では、ビデオカメラ１を２台用意するなどして、２つの鏡面動画像を用意する。図１２、１３は２つの鏡面動画像にそれぞれメニュー画像を合成した合成画像の例示図である。

２つの鏡面動画像は、例えば右目用及び左目用のステレオ画像である。図１２、１３の例では、図１２が右目用画像、図１３が左目用画像である。操作者検出部１０９は、これらの２つの合成画像を比較して、メニュー画像により近い方の操作者候補を操作者として選択する。図１２、１３の例では、いずれも左側の操作者候補がメニュー画像に近いために、左側を実際に操作する操作者とする。

以上のように、いずれの実施例においてもメニュー画像を操作者（又は操作者候補）が操作しやすい領域に容易に表示することができるので、鏡面動画像を用いた入力インタフェースにおける複雑な初期設定などが不要となる。また、複数の操作者候補から適宜１人を選択することができ、複数の人物が鏡面動画像内に表示される場合でも、初期設定が困難になったり、複数の操作者が同時に入力を行うことがないようにすることができる。

また、図８のような動き画像マップや図９のようなカラー領域マップを用いて、メニュー画像以外のオブジェクト画像を表示する領域を決めることもできる。
前述の通りこれらのマップは、操作者の動きを定量的に表すことができる。動き画像マップは、操作者の動きが多い領域、少ない領域、まったく動きのない領域を表すことができる。表示される差分画像が多い領域が操作者の動きが多い領域、差分画像が少ない領域が操作者の動きが少ない領域、差分画像がまったくない領域が操作者の動きがまったくない領域である。

カラー領域マップは、色の変化により操作者の動きを表すことができる。例えば１フレーム前のフレームの画面上の各領域の色と、現在のフレームの画面の各領域の色を比較することで、色が変化している領域を見つけることができる。まったく異なる色に変化している場合には操作者の動きがあったと判断できる。

図１４は、操作者の動きに応じてオブジェクト画像を表示したときの例示図である。
図１４では、操作者の他にベル画像１４１とボタン画像１４２とが表示されている。操作者がベル画像１４１に触れると、例えばベルが鳴る等のイベントが発生するようになっている。ボタン画像１４２を触れた場合には、ボタン画像に関連づけされたイベントが発生するようになっている。

ベル画像１４１は、操作者の動きの頻度が少ない領域に表示される。動き画像マップにより、操作者の動きの頻度がわかるので、画像合成部１０６は、これに応じて頻度が少ない領域を選択して、その領域にベル画像１４１が表示されるように合成画像を生成する。
ボタン画像１４２は、色の変化が大きい領域に表示される。カラー領域マップでは色の変化を検出できるため、画像合成部１０６は、これに応じて色の変化が大きい領域を選択して、その領域にボタン画像１４２が表示されるように合成画像を生成する。
このように、オブジェクト画像を操作者の動作に応じて配置することも容易に可能になる。

本発明を適用した画像処理システムの全体構成図。 本実施形態による画像処理装置の構成図。 本実施形態の画像処理装置が具備する機能ブロック図。 本実施形態の処理手順を示すフローチャート。 マーカ画像が合成された鏡面動画像の例示図。 帯状のマーカ画像が合成された鏡面動画像の例示図。 メニュー画像の提示候補領域を表す例示図。 動き画像マップの例示図。 カラー領域マップの例示図。 メニュー画像を提示したときの合成画像の例示図。 操作者を決定したときの合成画像の例示図。 ステレオ画像の右目用画像の例示図。 ステレオ画像の左目用画像の例示図。 操作者の動きに応じてオブジェクト画像を表示したときの例示図。

符号の説明

１ ビデオカメラ
２ 画像処理装置
３ ディスプレイ装置
４ ビデオカメラ制御装置
１０１ 画像入力部
１０２ 画像反転部
１０３ オブジェクトデータ記憶部
１０４ オブジェクトデータ取得部
１０５ オブジェクト画像生成部
１０６ 画像合成部
１０７ 画像比較部
１０８ 表示制御部
１０９ 操作者検出部

Claims (9)

1. 所定のイベントに関連づけされたオブジェクトについてのオブジェクト画像を生成するオブジェクト画像生成手段と、
   操作者の画像をその一部に含んだ鏡面動画像に前記オブジェクト画像を合成して、所定のディスプレイ装置に表示させるための合成画像を生成する画像合成手段と、
   前記鏡面動画像に含まれる前記操作者の画像から当該操作者の顔の位置及び当該操作者の顔画像の大きさを検出して、検出した顔の位置に基づく顔領域を選択する検出手段と、を備え、
   前記画像合成手段は、前記検出手段により選択された前記操作者の前記顔領域に接する位置に、前記操作者の顔画像の大きさに応じて大きさが設けられる複数の提示候補領域から前記オブジェクト画像を表示する領域を選択して、選択した提示候補領域に該提示候補領域の大きさに合わせた大きさで前記オブジェクト画像が表示されるように、前記オブジェクト画像と前記鏡面動画像とを合成するように構成されている、
   画像処理装置。
2. 前記画像合成手段は、前記検出手段により検出された前記操作者の顔の位置を矩形で囲うマーカを表す画像を合成するように構成されており、
   前記検出手段は、前記マーカを表す画像に基づいて前記顔領域を選択する、
   請求項１記載の画像処理装置。
3. 前記鏡面動画像のフレーム間の画像の差異を表す差分画像を、複数重ねた動き画像マップを生成する手段をさらに備えており、
   前記画像合成手段は、この動き画像マップにより得られる前記操作者の画像の動きに応じて、前記複数の提示候補領域から前記オブジェクト画像を表示する領域を選択する、
   請求項１記載の画像処理装置。
4. 前記鏡面動画像のフレーム間で各領域の色の変化を検出する手段を備えており、
   前記画像合成手段は、この色の変化でにより得られる前記操作者の画像の動きに応じて、前記複数の提示候補領域から前記オブジェクト画像を表示する領域を選択する、
   請求項１記載の画像処理装置。
5. 所定の撮影装置により撮影された前記操作者の画像をその一部に含む動画像を、この撮影装置から取り込む画像取込手段と、
   取り込んだ動画像に鏡面処理を施して前記鏡面動画像を生成する画像反転手段と、をさらに備えている、
   請求項１記載の画像処理装置。
6. 操作者の画像をその一部に含んだ鏡面動画像と、所定のイベントに関連づけされたオブジェクトについてのオブジェクト画像とを含んだ合成画像を生成する画像合成手段と、前記鏡面動画像に含まれる前記操作者の画像から当該操作者の顔の位置及び当該操作者の顔画像の大きさを検出して、検出した顔の位置に基づく顔領域を選択する検出手段とを有し、生成された合成画像を所定のディスプレイ装置に表示させる画像処理装置により実行される方法であって、
   前記画像合成手段が、
   前記検出手段により選択された前記操作者の前記顔領域に接する位置に、 前記操作者の顔画像の大きさに応じて大きさが設けられる複数の提示候補領域から前記オブジェクト画像を表示する領域を選択して、選択した提示候補領域に該提示候補領域の大きさに合わせた大きさで前記オブジェクト画像が表示されるように前記オブジェクト画像と前記鏡面動画像とを合成する、
   画像処理方法。
7. ディスプレイ装置が接続されたコンピュータに、
   所定のイベントに関連づけされたオブジェクトについてのオブジェクト画像を生成するオブジェクト画像生成手段、
   操作者の画像をその一部に含んだ鏡面動画像に前記オブジェクト画像を合成して合成画像を生成する画像合成手段、
   生成された合成画像を所定のディスプレイ装置に表示させる表示制御手段、
   前記鏡面動画像に含まれる前記操作者の画像から当該操作者の顔の位置及び当該操作者の顔画像の大きさを検出して、検出した顔の位置に基づく顔領域を選択する検出手段、を形成させ、
   前記画像合成手段に、
   前記検出手段により選択された前記操作者の前記顔領域に接する位置に、前記操作者の顔画像の大きさに応じて大きさが設けられる複数の提示候補領域から前記オブジェクト画像を表示する領域を選択して、選択した提示候補領域に該提示候補領域の大きさに合わせた大きさで前記オブジェクト画像が表示されるように、前記オブジェクト画像と前記鏡面動画像とを合成する機能を形成させるためのコンピュータプログラム。
8. 請求項７に記載されたコンピュータプログラムを記録してなる、コンピュータ読み取り可能な記録媒体。
9. ディスプレイ装置が接続されたコンピュータに搭載された装置に組み込まれることにより、前記コンピュータに、
   所定のイベントに関連づけされたオブジェクトについてのオブジェクト画像を生成するオブジェクト画像生成手段、
   操作者の画像をその一部に含んだ鏡面動画像に前記オブジェクト画像を合成して合成画像を生成する画像合成手段、
   生成された合成画像を所定のディスプレイ装置に表示させる表示制御手段、
   前記鏡面動画像に含まれる前記操作者の画像から当該操作者の顔の位置及び当該操作者の顔画像の大きさを検出して、検出した顔の位置に基づく顔領域を選択する検出手段、を形成させ、
   前記画像合成手段に、
   前記検出手段により選択された前記操作者の前記顔領域に接する位置に、前記操作者の顔画像の大きさに応じて大きさが設けられる複数の提示候補領域から前記オブジェクト画像を表示する領域を選択して、選択した提示候補領域に該提示候補領域の大きさに合わせた大きさで前記オブジェクト画像が表示されるように、前記オブジェクト画像と前記鏡面動画像とを合成する機能を形成させる半導体デバイス。

Images