JP4809655B2 - 画像表示装置、画像表示装置の制御方法及びプログラム - Google Patents

Description

本発明は画像表示装置、画像表示装置の制御方法及びプログラムに関する。

人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像を表示する画像表示装置が知られている。例えば、カメラユニットとモニタとを含み、カメラユニットから入力される、人物の顔を含む少なくとも一部を撮像して生成された画像データに基づいて、モニタに画像を表示させるゲーム装置が知られている（特許文献１）。
特開２００４−６２４５６号公報

以上のような画像表示装置によれば、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像を画面に表示させることも可能である。しかしながら、かかる画像を単に表示するだけでは面白みに欠ける場合がある。

本発明は上記課題に鑑みてなされたものであって、その目的は、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像の表示に係る興趣を向上できるようになる画像表示装置、画像表示装置の制御方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る画像表示装置は、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像を表示する表示手段と、前記画像データから前記複数の人物の各々の顔部分の画像領域を認識する顔認識手段と、前記表示手段に表示される画像において、前記顔認識手段によって認識された画像領域の少なくとも１つに、前記顔認識手段によって認識された他の画像領域に含まれる画像の少なくとも一部を表示させる顔部分置換手段と、を含むことを特徴とする。

また、本発明に係る画像表示装置の制御方法は、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像を表示手段に表示させるためのステップと、前記画像データから前記複数の人物の各々の顔部分の画像領域を認識するための顔認識ステップと、前記表示手段に表示される画像において、前記顔認識ステップによって認識された画像領域の少なくとも１つに、前記顔認識ステップによって認識された他の画像領域に含まれる画像の少なくとも一部を表示させるための顔部分置換ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像を表示する表示手段、前記画像データから前記複数の人物の各々の顔部分の画像領域を認識する顔認識手段、及び、前記表示手段に表示される画像において、前記顔認識手段によって認識された画像領域の少なくとも１つに、前記顔認識手段によって認識された他の画像領域に含まれる画像の少なくとも一部を表示させる顔部分置換手段、としてコンピュータを機能させるためのプログラムである。

また、本発明に係る情報記憶媒体は、上記プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

本発明では、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像が表示される。また、画像データから複数の人物の各々の顔部分の画像領域が認識される。そして、表示される画像において、認識された画像領域の少なくとも１つに、認識された他の画像領域に含まれる画像の少なくとも一部が表示される。本発明によれば、ある人物の顔部分の画像領域に他の人物の顔部分が表示される様子をユーザが楽しめるようになる。その結果として、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像の表示に係る興趣を向上できるようになる。

また、本発明の一態様では、前記顔部分置換手段は、前記顔認識手段によって認識された第１画像領域に、前記顔認識手段によって認識された、前記第１画像領域とは異なる第２画像領域に含まれる画像の少なくとも一部を表示させる場合、前記第１画像領域に含まれる画像の少なくとも一部を前記第２画像領域に表示させるようにしてもよい。

また、本発明の一態様では、前記顔部分置換手段は、前記顔認識手段によって認識された第１画像領域に、前記顔認識手段によって認識された、前記第１画像領域とは異なる第２画像領域に含まれる画像の少なくとも一部を表示させる場合、前記第２画像領域に含まれる画像の該一部を前記第２画像領域から前記第１画像領域まで移動させるようにしてもよい。

また、本発明に係る画像表示装置は、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画面を表示する表示手段と、前記画像データから前記複数の人物の各々の顔部分の画像領域を認識する顔認識手段と、前記顔認識手段による認識結果に基づき、前記画面に対してエフェクト処理を施すエフェクト処理手段と、を含むことを特徴とする。

また、本発明に係る画像表示装置の制御方法は、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画面を表示手段に表示させるためのステップと、前記画像データから前記複数の人物の各々の顔部分の画像領域を認識するための顔認識ステップと、前記顔認識ステップによる認識結果に基づき、前記画面に対してエフェクト処理を施すためのエフェクト処理ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画面を表示する表示手段、前記画像データから前記複数の人物の各々の顔部分の画像領域を認識する顔認識手段、及び、前記顔認識手段による認識結果に基づき、前記画面に対してエフェクト処理を施すエフェクト処理手段、としてコンピュータを機能させるためのプログラムである。

また、本発明に係る情報記憶媒体は、上記プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。

本発明では、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画面が表示される。また、その画像データから複数の人物の各々の顔部分の画像領域が認識される。そして、その認識結果に基づき、画面に対してエフェクト処理が施される。本発明によれば、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像の表示に係る興趣を向上できるようになる。

また、本発明の一態様では、前記エフェクト処理手段は、前記画面に対して施すエフェクト処理の種類を、前記顔認識手段による認識結果に基づいて変化させるようにしてもよい。

また、本発明の一態様では、前記エフェクト処理手段は、前記画面に対して施すエフェクト処理の種類を、前記顔認識手段によって認識された画像領域の数に基づいて変化させるようにしてもよい。

また、本発明の一態様では、前記顔認識手段は、前記複数の人物の各々の顔部品部分の画像領域を認識する顔部品認識手段を含み、前記エフェクト処理手段は、前記画面に対して施すエフェクト処理の種類を、前記顔部品認識手段による認識結果に基づいて変化させるようにしてもよい。

また、本発明の一態様では、前記顔部品認識手段は、前記複数の人物の各々の目部分の画像領域を認識し、前記エフェクト処理手段は、前記画面に対して施すエフェクト処理の種類を、前記顔部品認識手段によって認識された画像領域の数に基づいて変化させるようにしてもよい。

また、本発明の一態様では、前記エフェクト処理手段は、前記顔認識手段による認識結果に基づいて、前記複数の人物の各々の顔の姿勢を判断する顔姿勢判断手段を含み、前記画面に対して施すエフェクト処理の種類を、前記顔姿勢判断手段による判断結果に基づいて変化させるようにしてもよい。

また、本発明の一態様では、前記エフェクト処理手段によって前記画面に対して施されるエフェクト処理は、前記顔認識手段によって認識された画像領域に関連するエフェクト処理であり、前記エフェクト処理手段は、前記顔認識手段によって認識された画像領域の数が所定の基準数を超える場合、前記顔認識手段によって認識された画像領域のうちの少なくとも１つを選択し、その画像領域に関連するエフェクト処理の実行を制限するエフェクト処理制限手段を含むようにしてもよい。

以下、本発明の実施形態について図面に基づき詳細に説明する。ここでは、ユーザに映像を提供する映像再生装置、ユーザに音楽を提供する音楽再生装置や、ユーザにゲームを提供するゲーム装置等として機能するエンタテインメントシステムに本発明を適用した場合の例について説明する。

実施形態１．
図１は、本発明の実施形態１に係るエンタテインメントシステム（画像表示装置）のハードウェア構成を示す図である。同図に示すように、エンタテインメントシステム１０は、ＭＰＵ（Micro Processing Unit）１１と、メインメモリ２０と、画像処理部２４と、モニタ２６と、入出力処理部２８と、音声処理部３０と、スピーカ３２と、光ディスク読み取り部３４と、光ディスク３６と、ハードディスク３８と、インタフェース（Ｉ／Ｆ）４０，４４と、コントローラ４２と、カメラユニット４６と、を含んで構成されるコンピュータシステムである。

図２はＭＰＵ１１の構成を示す図である。同図に示すように、ＭＰＵ１１は、メインプロセッサ１２と、サブプロセッサ１４ａ，１４ｂ，１４ｃ，１４ｄ，１４ｅ，１４ｆ，１４ｇ，１４ｈと、バス１６と、メモリコントローラ１８と、インタフェース（Ｉ／Ｆ）２２と、を含んで構成される。

メインプロセッサ１２は、図示しないＲＯＭ（Read Only Memory）に記憶されるオペレーティングシステム、例えばＤＶＤ（Digital Versatile Disk）−ＲＯＭ等の光ディスク３６から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて、サブプロセッサ１４ａ乃至１４ｈに対する制御を行う。

サブプロセッサ１４ａ乃至１４ｈは、メインプロセッサ１２からの指示に従って各種情報処理を行う。例えば、サブプロセッサ１４ａ乃至１４ｈは、エンタテインメントシステム１０の各部を、例えばＤＶＤ−ＲＯＭ等の光ディスク３６から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて制御する。

バス１６は、アドレス及びデータをエンタテインメントシステム１０の各部でやり取りするためのものである。メインプロセッサ１２、サブプロセッサ１４ａ乃至１４ｈ、メモリコントローラ１８、インタフェース２２は、バス１６を介して相互にデータ授受可能に接続される。

メモリコントローラ１８は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈからの指示に従って、メインメモリ２０へのアクセスを行う。

メインメモリ２０には、光ディスク３６やハードディスク３８から読み出されたプログラム及びデータや、通信ネットワークを介して供給されたプログラム及びデータが必要に応じて書き込まれる。メインメモリ２０はメインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈの作業用としても用いられる。

インタフェース２２には画像処理部２４及び入出力処理部２８が接続される。メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈと、画像処理部２４又は入出力処理部２８と、の間のデータ授受はインタフェース２２を介して行われる。

画像処理部２４は、ＧＰＵ（Graphical Processing Unit）とフレームバッファとを含んで構成される。ＧＰＵは、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈから供給される画像データに基づいてフレームバッファに各種画面を描画する。フレームバッファに形成された画面は、所定のタイミングでビデオ信号に変換されてモニタ２６に出力される。なお、モニタ２６には例えば家庭用テレビ受像機が用いられる。

入出力処理部２８には、音声処理部３０、光ディスク読み取り部３４、ハードディスク３８、インタフェース４０,４４が接続される。入出力処理部２８は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈと、音声処理部３０、光ディスク読み取り部３４、ハードディスク３８、インタフェース４０,４４と、の間のデータ授受を制御する。

音声処理部３０は、ＳＰＵ（Sound Processing Unit）とサウンドバッファとを含んで構成される。サウンドバッファには、光ディスク４０やハードディスク３８から読み出されたゲーム音楽、ゲーム効果音やメッセージなどの各種音声データが記憶される。ＳＰＵは、これらの各種音声データを再生してスピーカ３２から出力させる。なお、スピーカ３２には例えば家庭用テレビ受像機の内蔵スピーカが用いられる。

光ディスク読み取り部３４は、メインプロセッサ１２及びサブプロセッサ１４ａ乃至１４ｈからの指示に従って、光ディスク３６に記憶されたプログラムやデータを読み取る。なお、エンタテインメントシステム１０は、光ディスク３６以外の他の情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成してもよい。

光ディスク３６は例えばＤＶＤ−ＲＯＭ等の一般的な光ディスクである。また、ハードディスク３８は一般的なハードディスク装置である。光ディスク３６やハードディスク３８には各種プログラムやデータがコンピュータ読み取り可能に記憶される。

インタフェース（Ｉ／Ｆ）４０，４４は、コントローラ４２やカメラユニット４６等の各種周辺機器を接続するためのインタフェースである。このようなインタフェースとしては、例えばＵＳＢ（Universal Serial Bus）インタフェースが用いられる。なお、図１では省略されているが、エンタテインメントシステム１０には、エンタテインメントシステム１０を通信ネットワークに接続するためのインタフェースが含まれるようにしてもよい。

コントローラ４２は汎用操作入力手段であり、ユーザが各種操作（例えばゲーム操作）を入力するために用いられる。入出力処理部２８は、所定時間（例えば１／６０秒）ごとにコントローラ４２の各部の状態をスキャンし、その結果を表す操作信号をメインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈに供給する。メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈは、ユーザによって行われた操作の内容をその操作信号に基づいて判断する。なお、エンタテインメントシステム１０は複数のコントローラ４２を接続可能に構成されており、各コントローラ４２から入力される操作信号に基づいて、メインプロセッサ１２やサブプロセッサ１４ａ乃至１４ｈが各種処理を実行するようになっている。

カメラユニット４６は、例えば公知のデジタルハイビジョンカメラ（ＨＤカメラ）を含んで構成され、白黒、グレイスケール又はカラーの撮影画像を所定時間（例えば１／６０秒）ごとに入力する。本実施の形態におけるカメラユニット４６は、撮影画像をＪＰＥＧ（Joint Photographic Experts Group）形式の画像データとして入力するようになっている。また、カメラユニット４６は、例えばレンズをプレイヤに向けた状態でモニタ２６の上に設置され、所定のケーブルを介してインタフェース４４に接続される。

以上のハードウェア構成を有するエンタテインメントシステム１０では、カメラユニット４６によって撮影された画像に基づく画面がモニタ２６に表示されるようになっている。特に、エンタテインメントシステム１０では、カメラユニット４６から入力された画像において複数の人物の顔部分が検出された場合、モニタ２６に表示される画面において、人物間で顔部分の画像（顔画像）が入れ替わる様子をユーザが楽しめるようになっている。

エンタテインメントシステム１０では、例えば図３に示すような画像がカメラユニット４６から入力された場合、まずその画像がモニタ２６にそのまま表示されるようになっている。その後、所定時間ごとにランダムに人物の組み合わせが選択され、その人物間で顔画像の入れ替えが実行されるようになっている。例えば、画像に写っている人物のうちから人物５０及び人物５６が選択された場合、図４に示すように、人物５０の顔画像５０ａが人物５６の方に移動を開始するとともに、人物５６の顔画像５６ａが人物５０の方に移動を開始するようになっている。そして、図５に示すように、人物５０の顔部分領域５０ｂに人物５６の顔画像５６ａが表示され、人物５６の顔部分領域５６ｂには人物５０の顔画像５０ａが表示されるようになっている。その後、所定時間が経過すると、画像に写っている人物のうちから二人がランダムに新たに選択され、それらの人物の間で顔画像の入れ替えが実行されるようになっている。

以上では一組ずつ顔画像の入れ替えが行われることとして説明したが、複数の組の顔画像の入れ替えが同時に行われるようにしてもよい。例えば、図３乃至図５の例の場合であれば、人物５０と人物５６との間の顔画像の入れ替えが行われるとともに、人物５２と人物５４との間の顔画像の入れ替えが行われるようにしてもよい。

次に、以上に説明した顔画像の入れ替えを実現するための構成について説明する。

図６は、実施形態１に係るエンタテインメントシステム１０において実現される機能ブロックのうち、本発明に関連するものを主として示す図である。同図に示すように、エンタテインメントシステム１０は、画像入力部６０と、デコード部６２と、顔認識部６４と、画像表示部６６と、を含んで構成される。

［１．画像入力部］
画像入力部６０は、入出力処理部２８及びカメラユニット４６を主として実現される。画像入力部６０は、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データを入力する。画像入力部６０から入力された画像データはメインプロセッサ１２によってメインメモリ２０に格納される。

［２．デコード部］
デコード部６２はサブプロセッサ１４ａ乃至１４ｈのうちの少なくとも１つを主として実現される。例えばサブプロセッサ１４ａを主としてデコード部６２は実現される。

デコード部６２は、画像入力部６０によって入力された画像データに対してデコード処理を実行する。本実施の形態では、画像入力部６０（カメラユニット４６）からＪＰＥＧ形式の画像データが入力されるため、デコード部６２はＪＰＥＧ形式の画像データに対するデコード処理を実行する。デコード部６２はデコード処理後の画像データをメインメモリ２０に記憶させる。

［３．顔認識部］
顔認識部６４はサブプロセッサ１４ａ乃至１４ｈのうちの少なくとも１つを主として実現される。例えば、デコード部６２の実現に用いられるサブプロセッサとは異なるサブプロセッサ（例えばサブプロセッサ１４ｂ）を主として顔認識部６４は実現される。

顔認識部６４は、デコード部６２によるデコード処理後の画像データから人物の顔部分を含む画像領域（顔部分領域）を認識（検出）する。顔部分領域の検出方法としては公知の検出方法を用いるようにすればよい。例えば、目、鼻や口等の顔の部品を検出し、それらの部品の位置に基づいて顔を検出する方法を用いるようにしてもよい。また例えば、肌色情報を用いて検出する方法を用いるようにしてもよい。その他の検出方法を用いるようにしてもよい。

顔認識部６４は、顔部分領域の認識結果（検出結果）として、例えば図７に示すような顔部分領域テーブルを記憶する。同図に示すように、この顔部分領域テーブルは「顔部分領域ＩＤ」フィールドと「顔部分領域特定情報」フィールドとを含んでいる。「顔部分領域ＩＤ」フィールドには顔部分領域ＩＤが格納される。顔部分領域ＩＤは、顔認識部６４によって検出された顔部分領域を一意に識別するための情報が格納される。「顔部分領域特定情報」フィールドには顔部分領域特定情報が格納される。顔部分領域特定情報は、顔認識部６４によって検出された顔部分領域を特定するための情報が格納される。例えば顔部分領域の特徴点の座標を示す情報が格納される。

なお、以下では、顔部分領域ＩＤ「１」の顔部分領域は、図３乃至図５における人物５０の顔部分領域（顔部分領域５０ａ）を指すこととして説明する。同様に、顔部分領域ＩＤ「２」，「３」又は「４」の顔部分領域は、図３乃至図５における人物５２，５４，５６の顔部分領域をそれぞれ指すこととして説明する。

［４．画像表示部］
画像表示部６６は、サブプロセッサ１４ａ乃至１４ｈのうちの少なくとも１つと、画像処理部２４と、モニタ２６と、を主として実現される。画像表示部６６の実現には、例えばデコード部６２及び顔認識部６４の実現に用いられるサブプロセッサとは異なるサブプロセッサ（例えばサブプロセッサ１４ｃ）が用いられる。

画像表示部６６は、デコード部６２によるデコード処理後の画像データに基づく画像をモニタ２６に表示させる。

［５．顔部分入替部］
画像表示部６６は顔部分入替部６８（顔部分置換手段）を含んで構成される。顔部分入替部６８は、モニタ２６に表示される画像において、顔認識部６４によって認識された画像領域の少なくとも１つに、顔認識部６４によって認識された他の画像領域に含まれる画像の少なくとも一部を表示させる。本実施の形態における顔部分入替部６８は、顔認識部６４によって認識された第１画像領域に、顔認識部６４によって認識された第２画像領域（第１画像領域とは異なる画像領域）に含まれる画像の少なくとも一部を表示させる場合、該第１の画像領域に含まれる画像の少なくとも一部を該第２の画像領域に表示させる。また、本実施の形態における顔部分入替部６８は、顔認識部６４によって認識された第１画像領域に、顔認識部６４によって認識された第２画像領域に含まれる画像の少なくとも一部を表示させる場合、モニタ２６に表示される画面において、該第２画像領域に含まれる画像の少なくとも一部を第２の画像領域から第１の画像領域まで移動させる。

顔部分入替部６８は、例えば図８に示すような顔部分入替状況テーブルを記憶し、顔部分の入れ替え状況を管理する。同図に示すように、この顔部分入替状況テーブルは、「顔画像ＩＤ」フィールドと、「現在領域ＩＤ」フィールドと、「移動先領域ＩＤ」フィールドと、を含んで構成される。「顔画像ＩＤ」フィールドには、顔画像を一意に識別する顔画像ＩＤが格納される。なお、顔画像ＩＤ「ｎ」の顔画像は、元々の画像（画像入力部６０から入力され、デコード部６２によってデコード処理が施された画像）において、顔部分領域ＩＤ「ｎ」の顔部分領域に含まれる顔部分の画像を指している。「現在領域ＩＤ」フィールドには、その顔画像が現在対応づけられている顔部分領域の顔部分領域ＩＤが格納される。「移動先領域ＩＤ」フィールドには、その顔画像の移動先の顔画像領域の顔画像領域ＩＤが格納される。すなわち、移動中の顔画像（図４における顔画像５０ａ及び５６ａ）については、「移動先領域ＩＤ」フィールドにいずれかの顔部分領域の顔部分領域ＩＤが格納され、移動中でない顔画像については、「移動先領域ＩＤ」フィールドが空の状態になる。図８に示す例は、図４に示す画面が表示される場合における顔部分入替状況テーブルを示している。なお、図５に示す画面が表示される場合には、顔画像ＩＤ「１」に対応する「現在領域ＩＤ」フィールドに「４」が格納され、「移動先領域ＩＤ」フィールドは空の状態になる。同様に、顔画像ＩＤ「４」に対応する「現在領域ＩＤ」フィールドに「１」が格納され、「移動先領域ＩＤ」フィールドは空の状態になる。

ここで、画像表示部６６（顔部分入替部６８）によって実行される処理について説明する。図９はこの処理を示すフロー図である。同図に示す処理は、光ディスク３６等から読み出されるプログラムや通信ネットワークを介して供給されるプログラムがメインプロセッサ１２やサブプロセッサ１４ｃ等によって実行されることによって実現される。また、同図に示す処理は所定時間（本実施の形態では１／６０秒）ごとに実行される。

図９に示すように、まず画像表示部６６はカウンタｔをインクリメントする（Ｓ１０１）。カウンタｔは初期値０の変数であり、顔画像の入れ替えの開始タイミングや完了タイミングを計るために用いられる（Ｓ１０３及びＳ１１０参照）。

次に、画像表示部６６は状態フラグが「０」であるか否かを判断する（Ｓ１０２）。ここで、状態フラグは、顔画像の入れ替えの開始タイミングの到来を監視中の状態であるか、或いは、顔画像の入れ替えを実行中の状態であるかを示す情報である。本実施の形態では、状態フラグは「０」又は「１」のいずれかの値をとるようになっており、顔画像の入れ替えの開始タイミングの到来を監視する状態では「０」になり、顔画像の入れ替えを実行中の状態では「１」になるようになっている。

状態フラグが「０」である場合、画像表示部６６はカウンタｔの値が所定の定数Ｔ１に等しいか否かを判断する（Ｓ１０３）。ここで、定数Ｔ１は、顔部分（顔画像）の入れ替えの実行間隔を１／６０秒単位で示す数値情報である。すなわち、本実施の形態では、前回の顔部分の入れ替えが完了した後、Ｔ１／６０秒が経過すると、顔部分の入れ替えが新たに実行されるようになっている。

カウンタｔの値が定数Ｔ１に等しい場合、顔部分入替部６８は顔部分の入れ替えを開始するための処理（Ｓ１０４乃至Ｓ１０８）を実行する。

すなわち、顔部分入替部６８は状態フラグを「１」に更新する（Ｓ１０４）。

また、顔部分入替部６８は、顔認識部６４によって検出された顔部分領域のうちから２つを乱数に基づいて選択する（Ｓ１０５）。そして、顔部分入替部６８は、顔部分入替状況テーブルを選択結果に基づいて更新する（Ｓ１０６）。具体的には、このステップにおいて選択された顔部分領域の顔部分領域ＩＤが「現在領域ＩＤ」フィールドに格納されたレコードの「移動先領域ＩＤ」フィールドに、このステップにおいて選択された他方の顔部分領域の顔部分領域ＩＤが格納される。

次に、顔部分入替部６８は、Ｓ１０５において選択された顔部分領域の間の距離を算出する（Ｓ１０７）。具体的には、それらの顔部分領域の各々の代表点（例えば中心点）の間の距離を算出する。そして、顔部分入替部６８は、その距離に基づいて顔画像の移動速度（１／６０秒ごとの移動距離）を算出する（Ｓ１０８）。本実施の形態では、顔画像の移動がその移動距離によらずあらかじめ決められた一定時間（Ｔ２／６０秒）で完了するようになっている。すなわち、人物５０の顔部分領域から人物５６の顔部分領域への移動や、人物５２の顔部分領域から人物５４の顔部分領域への移動は、同じ時間（Ｔ２／６０秒）で完了するようになっている。顔部分入替部６８は、Ｓ１０７において取得した距離を定数Ｔ２で除算することによって、顔画像の移動速度を算出する。算出された移動速度はメインメモリ２０に記憶され、モニタ２６に表示される画面をフレームバッファに生成する際に参照される（Ｓ１０９参照）。

Ｓ１０２において、状態フラグが「０」でないと判断された場合、すなわち状態フラグが「１」である場合、顔部分入替部６８は、ｔ−Ｔ１の値が所定の定数Ｔ２に等しいか否かを判断する（Ｓ１１０）。なお、ｔ−Ｔ１は、顔部分の入れ替えが開始されてからの経過時間を１／６０秒単位で示すことになる。

ｔ−Ｔ１の値が定数Ｔ２に等しい場合、顔部分入替部６８は顔部分入替状況テーブルを更新する（Ｓ１１１）。具体的には、「移動先領域ＩＤ」フィールドに顔部分領域ＩＤが格納されているレコードに関し、「移動先領域ＩＤ」フィールドに格納された顔部分領域ＩＤを「現在領域ＩＤ」フィールドに格納させるとともに、「移動先領域ＩＤ」フィールドの内容をクリアする。すなわち、「移動先領域ＩＤ」フィールドに格納された顔部分領域ＩＤを削除し、「移動先領域ＩＤ」フィールドを空の状態にする。また、画像表示部６６は状態フラグを「０」に更新し（Ｓ１１２）、カウンタｔの値を「０」に初期化する（Ｓ１１３）。

Ｓ１０３乃至Ｓ１０８の処理、或いは、Ｓ１１０乃至Ｓ１１３の処理が完了された後、画像表示部６６は、デコード部６２によるデコード処理後の画像データと、顔部分領域テーブル及び顔部分入替状況テーブルの内容と、に基づいて、例えば図３乃至図５に示すような画面をフレームバッファに生成する（Ｓ１０９）。

具体的には、画像表示部６６は顔部分入替状況テーブルの各レコードを順次読み出し、各レコードごとに次のような処理を実行する。

すなわち、画像表示部６６は、まず各レコードに対応する顔画像の表示位置を決定する。顔画像の表示位置を決定するにあたっては、その顔画像が移動中であるか否かをまず判断する。具体的には、「移動先領域ＩＤ」フィールドに顔部分領域ＩＤが格納されているか否かを判断する。

画像表示部６６は、顔画像が移動中でない場合、すなわち「移動先領域ＩＤ」フィールドに顔部分領域ＩＤが格納されていない場合、「現在領域ＩＤ」フィールドに格納される顔部分領域ＩＤの顔部分領域に顔画像を表示させるべく、顔部分領域テーブルの「顔部分領域特定情報」フィールドの内容を参照して、顔画像の表示位置を決定する。

一方、画像表示部６６は、顔画像が移動中である場合、すなわち「移動先領域ＩＤ」フィールドに顔部分領域ＩＤが格納されている場合、「Ｓ１０９において算出された移動速度に移動経過時間（ｔ−Ｔ１）を乗じて得られる距離だけ、『現在領域ＩＤ』フィールドに格納される顔部分領域ＩＤの顔部分領域から、『移動先領域ＩＤ』フィールドに格納される顔部分領域ＩＤの顔部分領域への方向に移動した位置」を、顔画像の代表点の表示位置として決定する。

そして、画像表示部６６は、以上のように決定された表示位置に基づいて、各顔画像をフレームバッファに描画する。この場合、画像表示部６６は、デコード部６２によるデコード処理後の画像データから顔画像の画像データを取得する。例えば、顔画像ＩＤ「１」の顔画像の画像データを取得する場合には、顔部分領域テーブルから、顔部分領域ＩＤ「１」に対応する「顔部分領域特定情報」フィールドに格納された顔部分領域特定情報を読み出し、その顔部分領域特定情報に基づいて顔画像の画像データを取得する。また、画像表示部６６は、顔画像を元々の顔部分領域以外の顔部分領域に描画する場合、その顔部分領域に顔画像が好適に表示されるように、顔画像を拡大又は縮小する。

以上のようにして、顔部分入替状況テーブルの各レコードを順次読み出し、各レコードに対応する顔画像をフレームバッファに描画した後、画像表示部６６は、デコード部６２によるデコード処理後の画像データに基づいて、顔認識部６４によって認識（検出）された顔部分領域以外の画像領域であって移動中の顔画像が描画されていない画像領域をフレームバッファに描画する。

なお、画像表示部６６は、デコード部６２によるデコード処理後の画像データに基づいて、顔認識部６４によって認識された顔部分領域以外の画像領域をフレームバッファに描画した後、各顔画像をフレームバッファに形成された画像に対して上書き描画するようにしてもよい。

以上のようにしてフレームバッファに生成された画像は所定のタイミングでモニタ２６に出力される。

以上説明したように、本実施形態１に係るエンタテインメントシステム１０では、モニタ２６に表示される画面において、人物間で顔部分の画像が入れ替わる様子をユーザが楽しむことができるようになる。その結果として、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像の表示に係る興趣を向上できるようになる。

実施形態２．
次に、本発明の実施形態２について説明する。この実施形態２に係るエンタテイメントシステムも、実施形態１に係るエンタテイメントシステム１０と同様のハードウェア構成を前提とするので、ここでも図１及び２を参照しながら説明を行う。

実施形態２に係るエンタテイメントシステム１０では、実施形態１に係るエンタテイメントシステム１０と同様に、カメラユニット４６から入力された画像に基づく画面がモニタ２６に表示される。本エンタテイメントシステム１０では、カメラユニット４６の入力画像から検出された顔部分領域に関連したエフェクト処理が画面に施される。特に、本エンタテイメントシステム１０では、カメラユニット４６の入力画像から検出された顔部分領域の個数に基づいて、エフェクト処理が変化するようになっている。

図１０は、カメラユニット４６の入力画像から顔部分領域が検出されない場合にモニタ２６に表示される画面の一例を示している。同図に示すように、写っている人物全員が手等により顔を隠している場合等には、エフェクト処理が施されないようになっている。カメラユニット４６による撮影画像に人物が写っていない場合も同様である。

図１１は、カメラユニット４６の入力画像から１つの顔部分領域が検出される場合にモニタ２６に表示される画面の一例を示している。この場合の画面では、検出された顔部分領域に関連した「星形画像の発生」が行われる。すなわち、この場合の画面では、検出された顔部分領域（同図では顔部分領域５０ｂ）から所定時間ごとに所定数（第１の個数）の星形画像７０が発生する様子が表される。各星形画像７０は、検出された顔部分領域の代表位置（例えば中心位置や重心位置）に最初配置され、各星形画像７０ごとに乱数に基づいて決定される方向に向かって移動する。

図１２は、カメラユニット４６の入力画像から２つの顔部分領域が検出される場合にモニタ２６に表示される画面の一例を示している。この場合の画面では、検出された顔部分領域に関連した「顔部分の入れ替え」が行われる。すなわち、この場合の画面では、検出された顔部分領域（同図では顔部分領域５０ｂ，５４ｂ）間で、所定時間ごとに顔部分（顔画像）が入れ替わる様子が表される。同図の場合、顔部分領域５０ｂに対応する顔画像５０ａは顔部分領域５４ｂに向かって移動を開始し、顔部分領域５４ｂに対応する顔画像５４ａは顔部分領域５０ｂに向かって移動を開始する。そして、最終的に、顔部分領域５４ｂに顔画像５０ａが表示され、顔部分領域５０ｂに顔画像５４ａが表示される。その後、所定時間が経過すると、顔画像５０ａ，５４ａは元の顔部分領域５０ｂ，５４ｂに向けてそれぞれ移動を開始し、最終的に、元の顔部分領域５０ｂ，５４ｂに表示される。以降、以上のような顔部分の入れ替えが繰り返される。

図１３は、カメラユニット４６の入力画像から３つの顔部分領域が検出される場合にモニタ２６に表示される画面の一例を示している。この場合の画面では、検出された顔部分領域に関連した「星形画像の発生」及び「顔部分の入れ替え」が行われる。すなわち、この場合の画面では、検出された各顔部分領域（同図では顔部分領域５０ｂ，５２ｂ，５４ｂ）から所定時間ごとに所定数（第１の個数よりも多い第２の個数）の星形画像７０が発生する様子が表されるとともに、所定時間ごとに、検出された顔部分領域のうちから２つがランダムに選択され、それら２つの顔部分領域間で顔部分が入れ替わる様子が表される。同図の例では、顔部分領域５０ｂに対応する顔画像５０ａが顔部分領域５４ｂに向かって移動し、顔部分領域５４ｂに対応する顔画像５４ａは顔部分領域５０ｂに向かって移動している。この場合、最終的に、顔部分領域５４ｂに顔画像５０ａが表示され、顔部分領域５０ｂに顔画像５４ａが表示される。その後、所定時間が経過すると、検出された顔部分領域のうちから２つが再び選択され、それら２つの顔部分領域間で顔画像の入れ替えが実行される。以降、以上のような顔部分の入れ替えが繰り返される。

以上のように、実施形態２に係るエンタテイメントシステム１０では、ユーザは自分や他人の顔を手等で覆い隠したり、それをやめることによって、画面に施されるエフェクト処理の種類を変化させることが可能になっている。言い換えれば、ユーザは自分や他人の顔を手等で覆い隠したり、それをやめたりすることによって、画面に施される各種エフェクト処理をオンオフさせることが可能になっている。

図１４は、実施形態２に係るエンタテイメントシステム１０において実現される機能ブロックのうち、本発明に関連するものを主として示す図である。なお、同図では、実施形態１に係るエンタテイメントシステム１０において実現される機能ブロック（図６参照）と同様の機能ブロックについては同一の符号を付している。それらの機能ブロックについては説明を省略する。

図１４に示すように、実施形態２に係るエンタテイメントシステム１０は、画像入力部６０と、デコード部６２と、顔認識部６４と、画像表示部６６と、を含んで構成される。このうち、画像表示部６６はエフェクト処理部６５を含んで構成される。

［１．エフェクト処理部］
エフェクト処理部６５は、顔認識部６４による認識結果に基づき、モニタ２６に表示される画面に対してエフェクト処理を施す。本実施の形態では、エフェクト処理部６５は、画面に対してエフェクト処理の種類を顔認識部６４による認識結果に基づいて変化させる。エフェクト処理部６５は、エフェクト処理選択部６７と、顔部分入替部６８と、星形画像発生部６９と、を含んで構成される。

［２．エフェクト処理選択部］
エフェクト処理選択部６７は、所定時間（本実施の形態では１／６０秒）ごとに、複数種類のエフェクト処理のうちの少なくとも１つを、顔認識部６４による認識結果に基づいて選択する。エフェクト処理選択部６７によって選択されたエフェクト処理が、モニタ２６に表示される画面に対して施されることになる。ここで、「複数種類のエフェクト処理」とは、例えば「星形画像の発生」や「顔部分の入れ替え」である。また例えば、「複数種類のエフェクト処理」とは、所定時間ごとの発生数の異なる「星形画像の発生」である。

本実施の形態では、エフェクト処理選択部６７は、複数種類のエフェクト処理のうちの少なくとも１つを、顔認識部６４によって認識された顔部分領域の数に基づいて選択する。本実施の形態では、例えば図１５に示すようなエフェクト処理情報がエフェクト処理選択部６７に保持される。同図に示すように、このエフェクト処理情報は、顔認識部６４によって認識された顔部分領域の数と、画面に施されるエフェクト処理の種類と、を対応づけてなる情報である。同図において、「○」はそのエフェクト処理が画面に施されることを示しており、「−」はそのエフェクト処理が画面に施されないことを示している。

［３．星形画像発生部］
星形画像発生部６９は、各星形画像７０の現在位置や移動方向等を特定するための情報を記憶し、星形画像７０の発生状況を管理する。星形画像発生部６９には、例えば図１６に示すような星形画像発生状況テーブルが記憶される。同図に示すように、この星形画像発生状況テーブルには、「星形画像ＩＤ」フィールドと、「移動方向」フィールドと、「現在位置」フィールドと、が含まれる。なお、「星形画像ＩＤ」フィールドには、各星形画像７０を一意に識別する識別情報が格納される。「移動方向」フィールドには、各星形画像７０の移動方向を特定するための情報が格納される。「現在位置」フィールドには、各星形画像７０の現在位置を特定するための情報が格納される。

次に、実施形態２に係るエンタテイメントシステム１０において実行される処理について説明する。図１７は、エンタテイメントシステム１０において実行される処理のうち、本発明に関連するものを主として示すフロー図である。同図に示す処理は、光ディスク３６等から読み出されるプログラムや通信ネットワークを介して供給されるプログラムがメインプロセッサ１２やサブプロセッサ１４ｃ等によって実行されることによって実現される。また、同図に示す処理は所定時間（本実施の形態では１／６０秒）ごとに実行される。

図１７に示すように、この処理では、まず顔認識処理が顔認識部６４によって実行する（Ｓ２０１）。すなわち、顔認識部６４はデコード部６２によるデコード処理後の画像データから顔部分領域を認識し、その認識結果に基づいて顔部分領域テーブルを更新する。

次に、エフェクト処理選択部６７は、顔認識部６４によって認識された顔部分領域の数が０又は２であるか否かを判定する（Ｓ２０２）。顔認識部６４によって認識された顔部分領域の数は、顔部分領域テーブルを参照することにより取得される。

顔認識部６４によって認識された顔部分領域の数が０及び２以外である場合、星形画像発生部６９は星形画像７０の発生状況を更新する（Ｓ２０３）。このステップでは、例えば図１８に示す処理（星形画像発生状況更新処理）が実行され、星形画像発生状況テーブルが更新される。

図１８に示すように、この処理ではカウンタｓがインクリメントされる（Ｓ３０１）。カウンタｓは初期値０の変数であり、星形画像７０の発生タイミングを計るために用いられる。

次に、星形画像発生部６９は、星形画像発生状況テーブルに保持される各星形画像７０の現在位置を更新する（Ｓ３０２）。すなわち、星形画像発生部６９は、星形画像発生状況テーブルの各レコードの「現在位置」フィールドの内容を、「そのレコードの『現在位置』フィールドの内容によって特定される位置から、そのレコードの『移動方向』フィールドの内容によって特定される方向に、所定距離（１／６０秒ごとの移動距離）だけ移動してなる位置」を示す情報に更新する。

次に、星形画像発生部６９は、画面外に出た星形画像７０が存在するか否かを判定する（Ｓ３０３）。各星形画像７０が画面外に出たか否かは、星形画像発生状況テーブルの各レコードの「現在位置」フィールドの内容に基づいて判定される。画面外に出た星形画像７０が存在する場合、星形画像発生部６９は、その星形画像７０に係るレコードを星形画像発生状況テーブルから削除する（Ｓ３０４）。

次に、星形画像発生部６９は、カウンタｓの値が所定の定数Ｔ３に等しいか否かを判定する（Ｓ３０５）。ここで、定数Ｔ３は、星形画像７０の発生間隔を１／６０秒単位で示す数値情報である。星形画像発生部６９は、カウンタｓの値が定数Ｔ３に等しい場合、星形画像発生状況テーブルに新たなレコードを追加する（Ｓ３０６）。

例えば、顔認識部６４によって認識された顔部分領域の数が１である場合、星形画像発生部６９は、所定数（第１の個数）のレコードを星形画像発生状況テーブルに追加する。この場合、新たに追加されるレコードの「星形画像ＩＤ」フィールドには、重複しないように自動的に決定される識別情報が格納される。また、「移動方向」フィールドには、各星形画像ごとに乱数に基づいて決定された移動方向を特定する情報が格納される。また、「現在位置」フィールドには、顔認識部６４によって認識された顔部分領域の代表位置を示す情報が格納される。また例えば、顔認識部６４によって認識された顔部分領域の数が３である場合、星形画像発生部６９は、各顔部分領域ごとに、所定数（第２の個数）のレコードを星形画像発生状況テーブルに追加する。この場合、新たに追加されるレコードの「現在位置」フィールドには、そのレコードに係る顔部分領域の代表位置を示す情報が格納される。

また、Ｓ２０２において、顔認識部６４によって認識された顔部分領域の数が０又は２であると判定された場合、星形画像発生部６９は星形画像７０の発生状況を初期化する（Ｓ２０４）。このステップでは、星形画像発生状況テーブルが初期化される。すなわち、星形画像発生状況テーブルのレコードがすべて削除される。また、このステップでは、星形画像発生状況更新処理において参照されるカウンタｓの値が０に初期化される。

Ｓ２０３又はＳ２０４の処理が実行された後、エフェクト処理選択部６７は、顔認識部６４によって認識された顔部分領域の数が０又は１であるか否かを判定する（Ｓ２０５）。顔認識部６４によって認識された顔部分領域の数が０及び１以外である場合、顔部分入替部６８は顔部分の入替状況を更新する（Ｓ２０６）。このステップでは、図９に示す処理（Ｓ１０９を除く）と同様の処理（顔部分入替状況更新処理）が実行され、顔部分入替状況テーブルが更新される。

一方、顔認識部６４によって認識された顔部分領域の数が０又は１である場合、顔部分入替部６８は顔部分の入替状況を初期化する（Ｓ２０７）。このステップでは、顔部分入替状況テーブルが初期化される。具体的には、各レコードにおいて「現在領域ＩＤ」フィールドの値と「顔画像ＩＤ」フィールドの値とが異なる場合には、「現在領域ＩＤ」フィールドの値が「顔画像ＩＤ」フィールドの値に更新される。また、「移動先領域ＩＤ」フィールドにいずれかの領域ＩＤが格納されている場合には、「移動先領域ＩＤ」フィールドの内容がクリアされる。また、このステップでは、顔部分入替状況更新処理において参照されるカウンタｔの値が０に初期化される。

Ｓ２０１乃至Ｓ２０７の処理が実行された後、画像表示部６６は、デコード部６２によるデコード処理後の画像データと、星形画像発生状況テーブルの内容と、顔部分領域テーブル及び顔部分入替状況テーブルの内容と、に基づいて、例えば図１０乃至１２に示すような画面をフレームバッファに生成する（Ｓ２０８）。

具体的には、画像表示部６６はＳ１０９の処理の場合と同様にして、デコード部６２のデコード処理後の画像データに基づく画像上に各顔画像が顔部分入替状況テーブルの内容に応じて配置されてなる画面画像をフレームバッファ上に生成する。その後、画像表示部６６は星形画像発生状況テーブルの各レコードを順次読み出し、そのレコードの「現在位置」フィールドの内容によって特定される、フレームバッファ上に生成された画像上の位置に、星形画像７０を順次描画する。このようにしてフレームバッファに生成された画像は所定のタイミングでモニタ２６に出力される。

以上説明したように、本実施形態２に係るエンタテインメントシステム１０では、カメラユニット４６から入力された画像に基づく画面がモニタ２６に表示され、その画面には、カメラユニット４６の入力画像から検出された顔部分領域に関連したエフェクト処理が画面に施される。特に、本実施の形態に係るエンタテイメントシステム１０では、カメラユニット４６の入力画像から検出された顔部分領域の数に基づいて、画面に施されるエフェクト処理の種類が変化するようになっている。このため、ユーザは自分や他人の顔を手等で覆い隠したり、それをやめることによって、画面に施されるエフェクト処理の種類を変化させることが可能になっている。言い換えれば、ユーザは自分や他人の顔を手等で覆い隠したり、それをやめることによって、画面に施される各種エフェクト処理をオンオフさせることが可能になっている。その結果、本実施の形態に係るエンタテイメントシステム１０によれば、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像の表示に係る興趣を向上できるようになる。

なお、本実施形態２では、エフェクト処理部６５（エフェクト処理制限手段）は、顔認識部６４によって認識された顔部分領域の数が所定の基準数より多い場合、顔認識部６４によって認識された顔部分領域のうちから超過数分の顔部分領域を選択し、その選択された顔部分領域に関連したエフェクト処理の実行を制限するようにしてもよい。

例えば、基準数が３であり、かつ、図１９に示すように顔認識部６４によって４つの顔部分領域（顔部分領域５０ｂ，５２ｂ，５４ｂ，５６ｂ）が認識される場合、エフェクト処理部６５（エフェクト処理制限手段）は、認識された顔部分領域のうちから１つを選択し、その顔部分領域（同図では顔部分領域５０ｂ）からの星形画像７０の発生を抑止するとともに、その顔部分領域を顔部分の入れ替えの対象から除くようにしてもよい。ここで、エフェクト処理制限の対象とする顔部分領域はランダムに選択されるようにしてもよいし、最も早くから認識されていた顔部分領域から順に選択されるようにしてもよい。

以上のようにすれば、エンタテイメントシステム１０の処理負荷が大きくなり過ぎることを抑止できるようになり、また、過剰なエフェクト処理が画面に施される（例えば、星形画像７０の数が多くなりすぎる）ことを抑止できるようになる。

また、本実施形態２では、顔認識部６４（顔部品認識手段）は、例えば目、鼻や口等の顔部品の画像領域（顔部品部分領域）を認識するようにしてもよい。この場合、エフェクト処理部６５は、画面に対して施されるエフェクト処理の種類を、その認識結果に基づいて変化させるようにしてもよい。すなわち、エフェクト処理選択部６７は、エフェクト処理の選択をその認識結果に基づいて行うようにしてもよい。

例えば、顔認識部６４（顔部品認識手段）は、カメラユニット４６の入力画像から目部分領域を認識するようにしてもよい。この場合、エフェクト処理選択部６７は、顔認識部６４によって認識される目部分領域の数と、画面に施されるエフェクト処理の種類と、を対応づけてなる情報を保持しておき、顔認識部６４（顔部品認識手段）によって認識された目部分領域の数に基づいて、エフェクト処理の選択を行うようにしてもよい。このようにして、顔認識部６４（顔部品認識手段）によって認識された目部分領域の数に基づいて、画面に施されるエフェクト処理の種類が変化するようにしてもよい。

また例えば、エフェクト処理部６７は、顔認識部６４によって認識される顔部分領域の数と、顔認識部６４（顔部品認識手段）によって認識される目部分領域の数と、の組み合わせと、画面に施されるエフェクト処理の種類と、を対応づけてなる情報を保持しておき、顔認識部６４によって認識された顔部分領域の数と、顔認識部６４（顔部品認識手段）によって認識された目部分領域の数と、の組み合わせに基づいて、エフェクト処理の選択を行うようにしてもよい。このようにして、顔認識部６４によって認識された顔部分領域の数と、顔認識部６４（顔部品認識手段）によって認識された目部分領域の数と、の組み合わせに基づいて、画面に施されるエフェクト処理の種類が変化するようにしてもよい。

以上のようにすれば、ユーザは目を閉じたり開いたりすることによって、画面に施されるエフェクト処理の種類を変化させることが可能になる。言い換えれば、ユーザは目を閉じたり開いたりすることによって、画面に施される各種エフェクト処理をオンオフさせることが可能になる。その結果として、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像の表示に係る興趣を向上できるようになる。

また、本実施形態２では、エフェクト処理部６５（顔姿勢判断手段）は、顔認識部６４による認識結果に基づいて複数の人物の各々の顔の姿勢を判断し、その判断結果に基づいて、画面に施されるエフェクト処理の種類を変化させるようにしてもよい。すなわち、エフェクト処理選択部６７は、複数の人物の各々の顔の姿勢の判断結果に基づいて、エフェクト処理の選択を行うようにしてもよい。

例えば、エフェクト処理選択部６７は、複数の人物の各々の顔の各姿勢（向き）の組み合わせと、画面に施されるエフェクト処理の種類と、を対応づけてなる情報を保持しておき、複数の人物の各々の顔の各姿勢（向き）の組み合わせに基づいて、エフェクト処理の選択を行うようにしてもよい。このようにして、複数の人物の各々の顔の各姿勢（向き）の組み合わせに基づいて、画面に施されるエフェクト処理の種類が変化するようにしてもよい。

以上のようにすれば、ユーザは顔の姿勢（向き）を変えることによって、画面に施されるエフェクト処理の種類を変化させることが可能になる。言い換えれば、ユーザは顔の姿勢（向き）を変えることによって、画面に施される各種エフェクト処理をオンオフさせることが可能になる。その結果として、複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像の表示に係る興趣を向上できるようになる。

なお、本発明は以上に説明した実施の形態に限定されるものではない。

例えば、エンタテイメントシステム１０のモニタ２６に表示される「複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画像」は、複数のカメラユニット４６の各々から通信ネットワーク等を介して入力された画像データに基づいて生成される画像であってもよい。すなわち、画像入力部６０には、複数のカメラユニット４６が含まれるようにしてもよい。また、デコード部６２には、複数のカメラユニット４６の各々によって生成された画像データが供給されるようにしてもよい。そして、顔認識部６４や画像表示部６６には、デコード部６２によってデコード処理が施された各画像データに基づいて生成される画像データが供給されるようにしてもよい。

また例えば、実施形態２に係るエンタテイメントシステム１０では、顔認識部６４による認識結果に基づくエフェクト処理とともに、又は顔認識部６４による認識結果に基づくエフェクト処理に代えて、顔認識部６４による認識結果に基づく出力（例えば、音声出力やコントローラ４２の振動出力）を行うようにしてもよい。

また例えば、本発明はエンタテインメントシステム以外のコンピュータにも適用することができる。例えばパーソナルコンピュータにも適用することができる。

実施形態１及び２に係るエンタテインメントシステムのハードウェア構成を示す図である。 実施形態１及び２に係るＭＰＵの構成を示す図である。 モニタに表示される画面の一例を示す図である。 モニタに表示される画面の一例を示す図である。 モニタに表示される画面の一例を示す図である。 実施形態１に係るエンタテインメントシステムの機能ブロック図である。 顔部分領域テーブルの一例を示す図である。 顔部分入替状況テーブルの一例を示す図である。 エンタテインメントシステムにおいて実行される処理について示すフロー図である。 モニタに表示される画面の一例を示す図である。 モニタに表示される画面の一例を示す図である。 モニタに表示される画面の一例を示す図である。 モニタに表示される画面の一例を示す図である。 実施形態２に係るエンタテインメントシステムの機能ブロック図である。 エフェクト処理情報の一例を示す図である。 星形画像発生状況テーブルの一例を示す図である。 エンタテインメントシステムにおいて実行される処理について示すフロー図である。 エンタテインメントシステムにおいて実行される処理について示すフロー図である。 モニタに表示される画面の一例を示す図である。

符号の説明

１０ エンタテインメントシステム、１２ メインプロセッサ、１４ａ，１４ｂ，１４ｃ，１４ｄ，１４ｅ，１４ｆ，１４ｇ，１４ｈ サブプロセッサ、１６ バス、１８ メモリコントローラ、２０ メインメモリ、２２ インタフェース、２４ 画像処理部、２６ モニタ、２８ 入出力処理部、３０ 音声処理部、３２ スピーカ、３４ 光ディスク読み取り部、３６ 光ディスク、３８ ハードディスク、４０ インタフェース、４２ コントローラ、４４ インタフェース、４６ カメラユニット、５０，５２，５４，５６ 人物、５０ａ，５２ａ，５４ａ，５６ａ 顔画像、５０ｂ，５２ｂ，５４ｂ，５６ｂ 顔画像領域、６０ 画像入力部、６２ デコード部、６４ 顔認識部、６５ エフェクト処理部、６６ 画像表示部、６７ エフェクト処理選択部、６８ 顔部分入替部、６９ 星形画像発生部、７０ 星形画像。

Claims (8)

1. 複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画面を表示する表示手段と、
   前記画像データから前記複数の人物の各々の顔部分の画像領域を認識する顔認識手段と、
   前記顔認識手段による認識結果に基づき、前記画面に対してエフェクト処理を施すエフェクト処理手段と、
   を含み、
   前記顔認識手段は、前記複数の人物の各々の目部分の画像領域を認識する顔部品認識手段を含み、
   前記エフェクト処理手段は、前記顔部分の画像領域の数と前記目部分の画像領域の数との組み合わせと、前記画面に対して施すエフェクト処理の種類と、を対応づけてなる情報を記憶してなる手段に記憶される前記情報を用いて、前記画面に対して施すエフェクト処理の種類を、前記顔認識手段によって認識された顔部分の画像領域の数と、前記顔部品認識手段によって認識された目部分の画像領域の数と、の組み合わせに基づいて変化させる、
   ことを特徴とする画像表示装置。
2. 複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画面を表示する表示手段と、
   前記画像データから前記複数の人物の各々の顔部分の画像領域を認識する顔認識手段と、
   前記顔認識手段による認識結果に基づき、前記画面に対してエフェクト処理を施すエフェクト処理手段と、
   を含み、
   前記エフェクト処理手段は、
   前記顔認識手段による認識結果に基づいて、前記複数の人物の各々の顔の姿勢を判断する顔姿勢判断手段を含み、
   前記複数の人物の各々の顔の姿勢の判断結果と、前記画面に対して施すエフェクト処理の種類と、を対応づけてなる情報を記憶してなる手段に記憶される情報を用いて、前記画面に対して施すエフェクト処理の種類を、前記顔姿勢判断手段による判断結果に基づいて変化させる、
   ことを特徴とする画像表示装置。
3. 請求項２に記載の画像表示装置において、
   前記エフェクト処理手段は、前記複数の人物の各々の顔の姿勢の組み合わせと、前記画面に対して施すエフェクト処理の種類と、を対応づけてなる情報を記憶してなる手段に記憶される前記情報を用いて、前記画面に対して施すエフェクト処理の種類を、前記顔姿勢判断手段によって判断された前記複数の人物の各々の顔の姿勢の組み合わせに基づいて変化させることを特徴とする画像表示装置。
4. 請求項１乃至３のいずれかに記載の画像表示装置において、
   前記エフェクト処理手段によって前記画面に対して施されるエフェクト処理は、前記顔認識手段によって認識された画像領域に関連するエフェクト処理であり、
   前記エフェクト処理手段は、前記顔認識手段によって認識された画像領域の数が所定の基準数を超える場合、前記顔認識手段によって認識された画像領域のうちの少なくとも１つをランダムに又は前記顔認識手段によって認識された順に選択し、その画像領域をエフェクト処理の対象から除くことによって、その画像領域に関連するエフェクト処理の実行を抑止するエフェクト処理制限手段を含む、
   ことを特徴とする画像表示装置。
5. 複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画面を表示手段に表示させるためのステップと、
   前記画像データから前記複数の人物の各々の顔部分の画像領域を認識するための顔認識ステップと、
   前記顔認識ステップによる認識結果に基づき、前記画面に対してエフェクト処理を施すためのエフェクト処理ステップと、
   を含み、
   前記顔認識ステップは、前記複数の人物の各々の目部分の画像領域を認識する顔部品認識ステップを含み、
   前記エフェクト処理ステップは、前記顔部分の画像領域の数と前記目部分の画像領域の数との組み合わせと、前記画面に対して施すエフェクト処理の種類と、を対応づけてなる情報を記憶してなる手段に記憶される前記情報を用いて、前記画面に対して施すエフェクト処理の種類を、前記顔認識ステップによって認識された顔部分の画像領域の数と、前記顔部品認識ステップによって認識された目部分の画像領域の数と、の組み合わせに基づいて変化させるステップを含む、
   ことを特徴とする画像表示装置の制御方法。
6. 複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画面を表示手段に表示させる手段、
   前記画像データから前記複数の人物の各々の顔部分の画像領域を認識する顔認識手段、及び、
   前記顔認識手段による認識結果に基づき、前記画面に対してエフェクト処理を施すエフェクト処理手段、
   としてコンピュータを機能させ、
   前記顔認識手段は、前記複数の人物の各々の目部分の画像領域を認識する顔部品認識手段を含み、
   前記エフェクト処理手段は、前記顔部分の画像領域の数と前記目部分の画像領域の数との組み合わせと、前記画面に対して施すエフェクト処理の種類と、を対応づけてなる情報を記憶してなる手段に記憶される前記情報を用いて、前記画面に対して施すエフェクト処理の種類を、前記顔認識手段によって認識された顔部分の画像領域の数と、前記顔部品認識手段によって認識された目部分の画像領域の数と、の組み合わせに基づいて変化させる、
   ことを特徴とするプログラム。
7. 複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画面を表示手段に表示させるためのステップと、
   前記画像データから前記複数の人物の各々の顔部分の画像領域を認識するための顔認識ステップと、
   前記顔認識ステップによる認識結果に基づき、前記画面に対してエフェクト処理を施すためのエフェクト処理ステップと、
   を含み、
   前記エフェクト処理ステップは、
   前記顔認識ステップによる認識結果に基づいて、前記複数の人物の各々の顔の姿勢を判断する顔姿勢判断ステップと、
   前記複数の人物の各々の顔の姿勢の判断結果と、前記画面に対して施すエフェクト処理の種類と、を対応づけてなる情報を記憶してなる手段に記憶される情報を用いて、前記画面に対して施すエフェクト処理の種類を、前記顔姿勢判断ステップによる判断結果に基づいて変化させるステップと、を含む、
   ことを特徴とする画像表示装置の制御方法。
8. 複数の人物の顔を含む少なくとも一部を撮像して生成された画像データに基づく画面を表示手段に表示させる手段、
   前記画像データから前記複数の人物の各々の顔部分の画像領域を認識する顔認識手段、及び、
   前記顔認識手段による認識結果に基づき、前記画面に対してエフェクト処理を施すエフェクト処理手段、
   としてコンピュータを機能させ、
   前記エフェクト処理手段は、
   前記顔認識手段による認識結果に基づいて、前記複数の人物の各々の顔の姿勢を判断する顔姿勢判断手段を含み、
   前記複数の人物の各々の顔の姿勢の判断結果と、前記画面に対して施すエフェクト処理の種類と、を対応づけてなる情報を記憶してなる手段に記憶される情報を用いて、前記画面に対して施すエフェクト処理の種類を、前記顔姿勢判断手段による判断結果に基づいて変化させる、
   ことを特徴とするプログラム。

Images