JP5564384B2 - 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法 - Google Patents

Description

本発明は、撮像装置のコンピュータに実行させる画像生成プログラム、撮像装置、撮像システム、及び画像生成方法に関し、より特定的には、人物等の顔を撮像して得られた撮像画像に対して顔認識機能を用いて画像処理を行う撮像装置のコンピュータに実行させる画像生成プログラム、撮像装置、撮像システム、及び画像生成方法に関する。

近年、撮像装置は多機能化しており、人物の顔を撮像して得られた撮像画像から人物の顔の特徴点を抽出して顔を認識する機能を備えた撮像装置が存在する。例えば特許文献１には、撮像画像から被写体である人物の顔に対応する顔領域を検出して、その顔領域に対して、ユーザが要求する処理を行うことができる電子カメラが開示されている。

特開２００７−２８０２９１号公報

ところで、特許文献１に記載の電子カメラが備える例えば顔の肌色を補正するといった一般的な画像処理機能だけでなく、撮影が楽しくなるような興趣性の高い撮像画像が得られる画像処理機能が求められている。

それ故に、本発明の目的は、興趣性が高い撮像画像が得られる画像生成プログラム、撮像装置、撮像システム、及び画像生成方法を提供することである。

本発明に係る画像生成プログラムは、撮像装置のコンピュータに実行させる画像生成プログラムであって、コンピュータを、撮像画像取得手段、顔画像取得手段、及び顔合成画像生成手段として機能させる。撮像画像取得手段は、少なくとも１つの撮像部によりリアルタイムに撮像画像を取得する。顔画像取得手段は、撮像画像取得手段によって取得された撮像画像に含まれる複数の顔領域から第１顔領域を検出し、第１顔領域の少なくとも一部の画像を第１顔画像として取得する。顔合成画像生成手段は、複数の顔領域のうちの第１顔領域とは異なる第２顔領域の少なくとも一部を第１顔画像に差し替えた顔合成画像を生成する。

この構成では、例えば、撮像部によって被写体としての２人の顔がリアルタイムに撮像されて、１人目の顔全体に相当する第１顔領域の少なくとも一部を表す第１顔画像が顔画像取得手段によって取得される。そして、２人目の顔全体に相当する第２顔領域の少なくとも一部を第１顔画像に差し替えた顔合成画像が顔合成画像生成手段によって生成される。その結果、例えばある人物の顔全体を別の人物の顔に差し替えた顔合成画像や、ある人物の顔の一部（例えば目）を別の人物の顔の一部（同じく目）に差し替えた顔合成画像が得られる。すなわち、被写体としての複数人の顔をそのまま再現した撮像画像ではなく、複数人の顔を合成した興趣性が高い撮像画像を得ることが可能になる。

なお、撮像部は１つであってもよいし、複数であってもよい。撮像部が１つの場合、複数人の顔を表す１つの撮像画像が取得される。この場合、この１つの撮像画像に含まれている第１顔領域内の画像を同じ１つの撮像画像に含まれている第２顔領域の画像に合成し
た顔合成画像が生成される。一方、撮像部が例えば２つである場合、複数人の顔を表す２つの撮像画像が取得される。この場合、一方の撮像画像に含まれている第２顔領域を、他方の撮像画像に含まれている第１顔画像に差し替えた顔合成画像が生成される。

また、例えば３人の顔が撮影されるような場合に、１人目の顔全体に相当する第１顔領域の少なくとも一部を表す第１顔画像を取得して、２人目と３人目の顔全体に相当する２つの第２顔領域に対して、それぞれの第２顔領域の一部を第１顔画像に差し替えた顔合成画像を生成するようにしてもい。この場合、被写体としての３人の顔を撮影することで、３人とも同じ顔をした極めて興趣性が高い撮像画像が得られる。

コンピュータを、撮像画像取得手段によってリアルタイムに取得される撮像画像を表示手段に表示させ、顔合成画像生成手段によって顔合成画像が生成されたことを条件として、その顔合成画像を撮像画像に代えて表示手段に表示させる第１表示制御手段として更に機能させてもよい。

この構成によれば、被写体である複数人の顔を忠実に再現した撮像画像の表示が興趣性が高い顔合成画像に切り替わるので、撮像装置のユーザが表示手段を見て顔合成画像を容易に確認することができる。例えば撮影が指示されたタイミングで表示手段の表示内容が撮像画像から顔合成画像に切り替わるようにすれば、撮影直後に顔合成画像を容易に確認することができ、撮影の楽しさが向上する。

所定の操作に応じて少なくとも１つの撮像部により取得された撮像画像を用いて、顔画像取得手段が第１顔画像を取得する処理、及び顔合成画像生成手段が顔合成画像を生成する処理が実行されてもよい。

この構成によれば、撮影を指示する所定の操作が行われたときに、第１顔画像を取得して顔合成画像を生成するという一連の処理が行われる。すなわち、撮影時に顔合成画像を得ることが可能になる。このため、例えば撮影直後に顔合成画像を表示手段に表示させるようにすれば、撮像装置のユーザがより楽しく撮影を行うことが可能になる。

コンピュータを、判定手段及び撮影禁止手段として更に機能させてもよい。判定手段は、少なくとも１つの撮像部によりリアルタイムに取得される撮像画像に基づいて、少なくとも１つの撮像部の撮像範囲に被写体としての複数の顔が含まれているか否かを判定する。撮影禁止手段は、撮像範囲に複数の顔が含まれていないと判定手段によって判定されている間、所定の操作に応じた撮影を禁止する。

顔合成画像を生成するためには、少なくとも第１の顔領域及び第２の顔領域を検出可能な撮像画像、すなわち、顔として識別可能な複数の顔画像を含む撮像画像を取得する必要がある。上記構成によれば、顔合成画像を得るために複数人が協力して撮影を行う必要があるため、楽しく撮影することが可能になる。

コンピュータを、撮像範囲に複数の顔が含まれていると判定手段によって判定されている間、所定の操作に応じた撮影が可能であることを報知する報知手段として更に機能させてもよい。

この構成によれば、どのタイミングで所定の操作を行えば顔合成画像を得るための撮影に成功するかをユーザが容易に把握することができ、ユーザが撮影をスムーズに行うことができる。

コンピュータを、第１撮像部により撮像された第１撮像画像を表示手段の第１表示領域
に表示させ、第２撮像部により撮像された第２撮像画像を第１表示領域とは異なる表示手段の第２表示領域に表示させる第２表示制御手段として更に機能させてもよい。

この構成によれば、２つの撮像部によって撮像された撮像画像が異なる表示領域に別々に表示されるので、各撮像部の撮像範囲に顔が含まれているか否かを容易に確認することができ、その結果、顔合成画像を得るための撮影をスムーズに行うことが可能になる。

第２表示制御手段は、顔合成画像生成手段によって顔合成画像が生成されたことを条件として、その顔合成画像を第１撮像画像及び第２撮像画像に代えて表示手段に表示させてもよい。

この構成によれば、顔合成画像が生成されることにより、表示手段の表示内容が第１撮像画像及び第２撮像画像から顔合成画像に自動的に切り替わるので、撮像装置のユーザが、この表示内容が切り替わるのを見て楽しむことができる。なお、顔合成画像は、表示手段の第１表示領域及び第２表示領域を含む１つの表示領域に表示されてもよいし、第１表示領域及び第２表示領域とは別の表示領域に表示されてもよい。

第１撮像部及び第２撮像部のいずれか一方の撮像方向が前記表示手段の法線方向と一致し、且つ第１撮像部及び第２撮像部の他方の撮像方向が法線方向の逆方向と一致することが好ましい。

この構成によれば、撮像装置のユーザが、第１表示領域と第２表示領域の両方に顔が表示されているかを確認しながら、別の人と向かい合った状態で撮影を行うことになる。このため、より楽しく撮影を行うことが可能になる。

本発明は、撮像画像取得手段、顔画像取得手段、及び顔合成画像生成手段を備える撮像装置として捉えることもできる。撮像画像取得手段は、少なくとも１つの撮像部によりリアルタイムに撮像画像を取得する。顔画像取得手段は、撮像画像取得手段によって取得された撮像画像に含まれる複数の顔領域から第１顔領域を検出し、第１顔領域の少なくとも一部の画像を第１顔画像として取得する。顔合成画像生成手段は、複数の顔領域のうちの第１顔領域とは異なる第２顔領域の少なくとも一部を第１顔画像に差し替えた顔合成画像を生成する。

また、本発明は、撮像画像取得手段、顔画像取得手段、及び顔合成画像生成手段を含む撮像システムとして捉えることもできる。撮像画像取得手段は、少なくとも１つの撮像部によりリアルタイムに撮像画像を取得する。顔画像取得手段は、撮像画像取得手段によって取得された撮像画像に含まれる複数の顔領域から第１顔領域を検出し、第１顔領域の少なくとも一部の画像を第１顔画像として取得する。顔合成画像生成手段は、複数の顔領域のうちの第１顔領域とは異なる第２顔領域の少なくとも一部を第１顔画像に差し替えた顔合成画像を生成する。

また、本発明は、撮像装置に実行される画像生成方法として捉えることもできる。この画像生成方法では、まず、少なくとも１つの撮像部によりリアルタイムに撮像画像が取得される。次に、取得された撮像画像に含まれる複数の顔領域から第１顔領域が検出され、第１顔領域の少なくとも一部の画像が第１顔画像として取得される。そして、複数の顔領域のうちの第１顔領域とは異なる第２顔領域の少なくとも一部を第１顔画像に差し替えた顔合成画像が生成される。

この発明によれば、被写体としての複数人の顔をそのまま再現した撮像画像ではなく、
複数人の顔を合成した興趣性が高い撮像画像を得ることができる。

開いた状態のゲーム装置１０の正面図 開いた状態のゲーム装置１０の右側面図 閉じた状態のゲーム装置１０の左側面図 閉じた状態のゲーム装置１０の正面図 閉じた状態のゲーム装置１０の右側面図 閉じた状態のゲーム装置１０の背面図 ゲーム装置１０の内部構成の一例を示すブロック図 ゲーム装置１０を用いた撮影方法について説明するための説明図 上側ＬＣＤ２２と下側ＬＣＤ１２の表示例を示す図 顔認識処理に成功していないときに上側ＬＣＤ２２に表示される画像の一例を示す上側ＬＣＤ２２の画面図 顔認識処理に成功しているときに上側ＬＣＤ２２に表示される画像の一例を示す上側ＬＣＤ２２の画面図 撮影に成功した直後に上側ＬＣＤ２２に表示される顔合成画像８０の一例を示す上側ＬＣＤ２２の画面図 撮影に失敗した直後に上側ＬＣＤ２２に表示されるエラーメッセージ８３の一例を示す上側ＬＣＤ２２の画面図 上側ＬＣＤ２２に表示されたカメラ画像に含まれている２つの顔領域９１，９２を例示する上側ＬＣＤ２２の画面図 顔合成処理の概要について説明するための説明図 メインメモリ３２のメモリマップ 顔合成画像を生成するためにゲーム装置１０で実行される処理の一例を示すフローチャート 図１４のステップＳ１８における顔合成処理の詳細フローチャート 外カメラ画像７９に第１顔画像８１をそのまま合成した場合に得られる顔合成画像の一例を示す上側ＬＣＤ２２の画面図 顔領域９１を規定する特徴点Ｐ１〜Ｐ１６を示す説明図 複数のポリゴンＰＧ１を示す説明図 顔領域９２を規定する特徴点Ｐ２１〜Ｐ３６を示す説明図 複数のポリゴンＰＧ２を示す説明図 ゲーム装置１０を用いた他の撮影方法について説明するための説明図 ゲーム装置１０を用いた他の撮影方法について説明するための説明図

以下、適宜図面を参照しつつ、本発明の一実施形態に係る画像生成プログラムを実行する撮像装置について説明する。なお、本発明の画像生成プログラム及び撮像装置は任意のコンピュータシステムに適用可能であるが、本実施形態では、撮像装置の一例としての携帯型のゲーム装置１０において、外部メモリ４５に記録されている画像生成プログラムが実行される場合を例に説明する。

［ゲーム装置１０の構成］
図１は、開いた状態のゲーム装置１０の正面図である。図２は、開いた状態のゲーム装置１０の右側面図である。図３Ａは、閉じた状態のゲーム装置１０の左側面図である。図３Ｂは、閉じた状態のゲーム装置１０の正面図である。図３Ｃは、閉じた状態のゲーム装置１０の右側面図である。図３Ｄは、閉じた状態のゲーム装置１０の背面図である。

ゲーム装置１０は、交換可能なメモリカード（外部メモリ４５）内に記憶されたプログ
ラム、又はサーバや他のゲーム装置から受信したプログラムを実行可能である。また、ゲーム装置１０は、画像を撮像する撮像部を有しており、撮像された撮像画像（以下「カメラ画像」という。）を表示したり保存したりすることができる。なお、以下の説明では、撮像部によりカメラ画像をリアルタイムに取得することを「撮像」といい、ユーザの指示に応じて撮像部によりカメラ画像を取得して保存することを「撮影」というものとする。

ゲーム装置１０は、下側ハウジング１１及び上側ハウジング２１を備える。上側ハウジング２１は、下側ハウジング１１に対して開閉可能に連結されている。このため、ゲーム装置１０は折り畳みが可能である。このゲーム装置１０は、開いた状態（図１，２参照）で使用され、未使用時には閉じた状態（図３Ａ〜図３Ｄ参照）で保管される。

［下側ハウジング１１の構成］
図１〜図３Ｄに示されるように、下側ハウジング１１には、下側ＬＣＤ（Liquid Crystal Display：液晶表示装置）１２、タッチパネル１３、各操作ボタン１４（１４Ａ〜１４Ｌ）、アナログスティック１５、ＬＥＤ１６Ａ，１６Ｂ、収容部１７、マイクロフォン用孔１８、及び無線スイッチ１９が設けられている。

下側ＬＣＤ１２は、画像を平面的に表示する横長の表示画面を有しており、下側ハウジング１１の内側面１１Ｂの中央に設けられている。下側ＬＣＤ１２の画素数は、本実施形態では２５６ｄｏｔ×１９２ｄｏｔ（横×縦）であるが、これ以外の解像度であってもよい。なお、下側ＬＣＤ１２はＬＣＤに限定されるものではなく、例えばＥＬ（Electro Luminescence）を利用した表示装置等の他の表示装置であってもよい。

タッチパネル１３は、下側ＬＣＤ１２の表示画面を覆うように設けられており、座標入力手段として機能する。タッチパネル１３として、本実施形態では抵抗膜方式のタッチパネルが用いられるが、静電容量方式等の他の方式のタッチパネルが用いられてもよい。

収容部１７（図１、図３Ｄに示す破線）には、ユーザがタッチパネル１３に対する操作に使用するタッチペン２８が下側ハウジング１１の上面から収納される。なお、タッチパネル１３に対する入力は、例えばユーザが指で行うことも可能である。

図１に示されるように、下側ハウジング１１の内側面１１Ｂには、十字ボタン１４Ａ、ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、及びスタートボタン１４Ｌが設けられている。また、図３Ｂ及び図３Ｄに示されるように、下側ハウジング１１の上面の左端部にＬボタン１４Ｇが設けられ、右端部にＲボタン１４Ｈが設けられている。また、図３Ａに示されるように、下側ハウジング１１の左側面には、音量ボタン１４Ｉが設けられている。これらの操作ボタン１４Ａ〜１４Ｌには、ゲーム装置１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン１４Ａは選択操作等に使用され、Ｌボタン１４Ｇ及びＲボタン１４Ｈは、撮像部による撮影の指示に使用される。

アナログスティック１５（図１参照）は、方向を指示するデバイスである。このアナログスティック１５及び十字ボタン１４Ａは、下側ハウジング１１を把持したユーザが左手の親指で操作可能な位置に設けられている。アナログスティック１５は、そのキートップが、下側ハウジング１１の内側面１１Ｂに対して平行にスライド可能に構成されており、ゲーム装置１０が実行するプログラムに応じて機能する。

下側ハウジング１１の内側面１１Ｂには、マイクロフォン用孔１８が形成されている。下側ハウジング１１の内部には、後述するマイク４３（図４参照）が設けられており、マイクロフォン用孔１８を介して入力された音がマイク４３によって検出される。

図３Ａに示されるように、下側ハウジング１１の左側面には、開閉可能なカバー部１１Ｃが設けられている。このカバー部１１Ｃの内部には、データ保存用外部メモリ４６（図１参照）をゲーム装置１０に対して着脱可能に装着するためのコネクタ（不図示）が設けられている。データ保存用外部メモリ４６は、このコネクタに接続された状態で、例えばゲーム装置１０によって撮像されたカメラ画像を記憶（保存）する。

図３Ｄに示されるように、下側ハウジング１１の上面には、挿入口１１Ｄが形成されている。この挿入口１１Ｄの内部には、画像生成プログラム等を記録した記録媒体としての外部メモリ４５（図１参照）をゲーム装置１０に対して着脱可能に装着するためのコネクタ（不図示）が設けられている。挿入口１１Ｄから挿入された外部メモリ４５がこのコネクタに接続されることで、画像生成プログラムがゲーム装置１０に読み出される。

図１に示されるように、下側ハウジング１１の下面には、第１ＬＥＤ１６Ａが設けられている。第１ＬＥＤ１６Ａは、ゲーム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する。図３Ｃに示されるように、下側ハウジング１１の右側面には、第２ＬＥＤ１６Ｂが設けられている。ゲーム装置１０は、他の機器との間で無線通信を行うことが可能に構成されている。第２ＬＥＤ１６Ｂは、ゲーム装置１０の無線通信の確立状況をユーザに通知する。ゲーム装置１０は、無線ＬＡＮに接続する機能を有する。第２ＬＥＤ１６Ｂに近接して設けられた無線スイッチ１９が操作されることにより、この無線通信の機能が有効／無効になる。

［上側ハウジング２１の構成］
上側ハウジング２１には、上側ＬＣＤ２２（表示手段の一例）、外側撮像部２３、内側撮像部２４、３Ｄ調整スイッチ２５、及び３Ｄインジケータ２６が設けられている。

図１に示されるように、ゲーム装置１０が折り畳まれた際に内側面１１Ｂと対向する上側ハウジング２１の内側面２１Ｂに、上側ＬＣＤ２２が設けられている。上側ＬＣＤ２２は、横長の表示画面を有しており、内側面２１Ｂの中央に設けられている。上側ＬＣＤ２２の画素数は、本実施形態では６４０ｄｏｔ×２００ｄｏｔ（横×縦）であるが、これ以外の解像度であってもよい。なお、上側ＬＣＤ２２はＬＣＤに限定されるものではなく、例えばＥＬを利用した表示装置等の他の表示装置であってもよい。

上側ＬＣＤ２２は、立体視可能な画像（立体画像）を表示する表示装置である。上側ＬＣＤ２２は、実質的に同一の表示領域を用いて左目用画像と右目用画像とを表示する。具体的には、上側ＬＣＤ２２は、左目用画像と右目用画像とを所定単位で（例えば、１列ずつ）横方向に交互に表示する。なお、上側ＬＣＤ２２は、左目用画像と右目用画像とを交互に表示する方式の表示装置であってもよい。また、上側ＬＣＤ２２は、裸眼立体視可能な表示装置である。この場合、上側ＬＣＤ２２は、横方向に交互に表示される左目用画像と右目用画像とを左目及び右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤ２２は、パララックスバリア方式のものとする。上側ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像をそれぞれ視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示する表示装置として機能する。なお、上側ＬＣＤ２２は、視差バリアを無効にすることができ、これにより、画像を平面的に表示することもできる。

３Ｄ調整スイッチ２５は、図１及び図２に示されるように、上側ハウジング２１の内側面１１Ｂと右側面とが交差する部分に設けられている。この３Ｄ調整スイッチ２５は、例えば上下方向へスライド可能なスライダを有している。このスライダが最下点位置に配置
されている場合、上側ＬＣＤ２２の視差バリアが無効にされ、上側ＬＣＤ２２に画像が平面的に表示される。一方、スライダが最下点よりも上側に配置されている場合、上側ＬＣＤ２２に画像が立体的に表示される。なお、スライダの位置を変化させることで、左目用画像と右目用画像との横方向の位置のズレ量が変化し、立体画像の見え方が調整される。

３Ｄインジケータ２６は、図１に示されるように、上側ハウジング２１の内側面２１Ｂに設けられている。３Ｄインジケータ２６は上側ＬＣＤ２２が立体表示モードであるか否かを報知するものである。この３Ｄインジケータ２６は、本実施形態ではＬＥＤであり、上側ＬＣＤ２２が立体表示モードであるとき（３Ｄ調整スイッチ２５が最下点よりも上側に配置されているとき）に点灯する。

外側撮像部２３（第１撮像部の一例）は、図３Ｂに示されるように、上側ハウジング２１の外側面２１Ｄ（内側面２１Ｂとは反対側の面）に設けられている。この外部撮像部２３は、外側左撮像部２３Ａ及び外側右撮像部２３Ｂから構成されている。外側左撮像部２３Ａ及び外側右撮像部２３Ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを有している。外側左撮像部２３Ａ及び外側右撮像部２３Ｂは、ユーザが上側ＬＣＤ２２を正面から視認した場合に、図１に示されるように、外側左撮像部２３Ａが左側に位置すると共に外側右撮像部２３Ｂが右側に位置するように設けられている。なお、外側左撮像部２３Ａ及び外側右撮像部２３Ｂの間隔は、人間の両目の間隔程度に設定されている。また、外側左撮像部２３Ａ及び外側右撮像部２３Ｂの撮像方向５２（図２参照）は、いずれも外側面２１Ｄの外向きの法線方向であり、且つ互いに平行である。

外側左撮像部２３Ａと外側右撮像部２３Ｂとは、ゲーム装置１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。外側撮像部２３をステレオカメラとして使用する場合、外側左撮像部２３Ａは、ユーザの左目で視認されるカメラ画像（左目用画像）を撮像し、外側右撮像部２３Ｂは、ユーザの右目で視認されるカメラ画像（右目用画像）を撮像する。このため、外側撮像部２３によって撮像されたカメラ画像を上側ＬＣＤ２２に立体的に表示することが可能である。また、プログラムによっては、外側左撮像部２３Ａ及び外側右撮像部２３Ｂのいずれか一方を単独で用いて、外側撮像部２３を非ステレオカメラとして使用することも可能である。

内側撮像部２４（第２撮像部の一例）は、上側ハウジング２１の内側面２１Ｂに設けられている。内側撮像部２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。この内側撮像部２４は、外側撮像部２３とは反対方向を撮像する撮像部である。すなわち、内側撮像部２４の撮像方向５１（図２参照）は、上側ＬＣＤ２２の外向きの法線方向と一致している。このため、ユーザが上側ＬＣＤ２２を正視した状態で、内側撮像部２４によりユーザ自身の顔を撮像することができる。

このように、内側撮像部２４の撮像方向５１が上側ＬＣＤ２２の法線方向と一致し、且つ外側撮像部２３の撮像方向５２がこの法線方向の逆方向と一致している（図２参照）。したがって、例えばゲーム装置１０のユーザが内側撮像部２４で自身の顔を撮影しつつ、外側撮像部２３で別の人物（以下「フレンド」という。）の顔を撮影しようとした場合、ユーザとフレンドとが、上側ハウジング２１を挟んで向かい合った状態で撮影が行われることとなる。

上側ハウジング２１の内側面２１Ｂには、スピーカ孔２１Ｅが形成されている。後述するスピーカ４４（図４参照）からの音声は、このスピーカ孔２１Ｅを介して出力される。

［ゲーム装置１０の内部構成］
次に、図４を参照しつつ、ゲーム装置１０の内部構成について説明する。ここで、図４は、ゲーム装置１０の内部構成の一例を示すブロック図である。

図４に示されるように、ゲーム装置１０は、情報処理部３１、メインメモリ３２、外部メモリＩ／Ｆ３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイムクロック（ＲＴＣ）３８、加速度センサ３９、角速度センサ４０、電源回路４１、及びＩ／Ｆ回路４２等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング１１（又は上側ハウジング２１）内に収納されている。

情報処理部３１は、ＣＰＵ（Central Processing Unit）３１１、ＧＰＵ（Graphics Processing Unit）３１２、ＶＲＡＭ（Video RAM）３１３を含む情報処理手段である。本実施形態では、外部メモリ４５に画像生成プログラムが記憶されており、ＣＰＵ３１１は、外部メモリ４５から画像生成プログラムを読み出して実行する。なお、画像生成プログラムは、他の機器との通信によって他の機器から取得されてもよい。

ＧＰＵ３１２は、ＣＰＵ３１１からの命令に応じてＶＲＡＭ３１３に画像を描画し、その画像を上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に出力する。その結果、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に画像が表示される。

メインメモリ３２は、ＣＰＵ３１１のワーク領域やバッファ領域として用いられる揮発性の記憶手段（例えばＰＳＲＡＭ（Pseudo-SRAM））である。メインメモリ３２は、情報
処理部３１の処理で用いられる各種データを一時的に記憶したり、外部（外部メモリ４５や他の機器等）から取得されたプログラムを一時的に記憶したりする。

外部メモリＩ／Ｆ３３は、外部メモリ４５を着脱可能に接続するためのインターフェースである。外部メモリ４５は、情報処理部３１によって実行されるプログラムを記憶する不揮発性の記憶手段である。外部メモリ４５は、例えば読み取り専用の半導体メモリで構成される。外部メモリ４５が外部メモリＩ／Ｆ３３に接続されると、外部メモリ４５に記憶されたプログラムがメインメモリ３２に読み込まれて、情報処理部３１によって実行される。

データ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４６を着脱可能に接続するためのインターフェースである。データ保存用外部メモリ４６は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成さる。このデータ保存用外部メモリ４６には、例えば外側撮像部２３又は内側撮像部２４による撮影で得られたカメラ画像が記憶される。データ保存用外部メモリ４６がデータ保存用外部メモリＩ／Ｆ３４に接続されると、情報処理部３１は、データ保存用外部メモリ４６に記憶された画像を読み込んで上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に表示することができる。

データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成される。このデータ保存用内部メモリ３５には、例えば無線通信モジュール３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。

無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。ローカル通信モジュール３７は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。ＣＰＵ３１１は、無線通信モジュール３６を用いてインターネットを介して他の機
器との間でデータを送受信したり、ローカル通信モジュール３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。

加速度センサ３９は、３軸（本実施形態では、ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。加速度センサ３９は、図１に示されるように、下側ハウジング１１の長手方向をｘ軸、下側ハウジング１１の短手方向をｙ軸、下側ハウジング１１の内側面１１Ｂに対して垂直な方向をｚ軸として、ゲーム装置１０の各軸方向へ生じる直線加速度の大きさをそれぞれ検出する。角速度センサ４０は、ゲーム装置１０の３軸（本実施形態では、ｘｙｚ軸）周りに生じるそれぞれの角速度を検出する。ＣＰＵ３１１は、加速度センサ３９が検出した加速度を示すデータと、角速度センサ４０が検出した角速度を示すデータとに基づいて、ゲーム装置１０の姿勢や動きを算出することができる。

ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路４１は、ゲーム装置１０が有する電源（例えば下側ハウジング１１に収納される充電式電池）からゲーム装置１０の各部品に電力を供給する。

Ｉ／Ｆ回路４２には、マイク４３、スピーカ４４、及びタッチパネル１３が接続されている。マイク４３は、ユーザの音声を検知して音声信号をＩ／Ｆ回路４２に出力する。スピーカ４４は、Ｉ／Ｆ回路４２から不図示のアンプを介して入力された音声信号に応じた音を出力する。Ｉ／Ｆ回路４２は、マイク４３及びスピーカ４４（アンプ）を制御する音声制御回路を有している。音声制御回路は、音声信号に対するＡ／Ｄ変換及びＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。また、Ｉ／Ｆ回路４２は、タッチパネル１３を制御するタッチパネル制御回路を有している。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。タッチ位置データは、タッチパネル１３の入力面において入力が行われた位置（タッチ位置）の座標を示すデータである。なお、タッチパネル制御回路は、タッチパネル１３からの信号の読み込み、及びタッチ位置データの生成を所定時間に１回の割合で行う。ＣＰＵ３１１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われたタッチ位置を検出することができる。

情報処理部３１には、各操作ボタン１４Ａ〜１４Ｌの操作状況を示す操作データが出力される。情報処理部３１のＣＰＵ３１１は、この操作データに基づいて操作ボタン１４Ａ〜１４Ｌの操作の有無を判断し、操作された操作ボタン１４に対応する所定の処理を実行する。

下側ＬＣＤ１２及び上側ＬＣＤ２２は、情報処理部３１（ＧＰＵ３１２）の指示に従って画像を表示する。情報処理部３１は、例えば、外側撮像部２３によって撮像された左目用画像と右目用画像とを用いた立体画像（立体視可能な画像）を上側ＬＣＤ２２に表示させる。

３Ｄ調整スイッチ２５は、スライダの位置に応じた電気信号を情報処理部３１に出力する。これに対して、情報処理部３１（ＣＰＵ３１１）は、３Ｄ調整スイッチ２５からの電気信号に基づいて上側ＬＣＤ２２の表示モードを設定する。また、情報処理部３１は、３Ｄインジケータ２６の点灯を制御する。

なお、上述したハードウェア構成は単なる一例に過ぎず、ゲーム装置１０の構成は適宜変更可能である。

［顔合成画像を得るための撮影の概要］
次に、図５〜図１１を参照しつつ、情報処理部３１が画像生成プログラムを実行することによって、外側撮像部２３及び内側撮像部２４による撮影で得られたカメラ画像から顔合成画像（図９参照）が得られるまでの流れについて説明する。ここで、顔合成画像は、外側撮像部２３及び内側撮像部２４の一方による撮影で得られたカメラ画像に含まれている顔画像を、外側撮像部２３及び内側撮像部２４の他方による撮影で得られたカメラ画像に含まれている顔画像に差し替えた画像である。本実施形態では、顔合成画像として、外側撮像部２３による撮影で得られたカメラ画像に含まれている顔画像（図１１の顔領域９２の画像）を、内側撮像部２４による撮影で得られたカメラ画像に含まれている顔画像（図１１の顔領域９１の画像）に差し替えた画像を得る場合を例に説明する。

図５は、ゲーム装置１０を用いた撮影について説明するための説明図である。顔合成画像を得るためには、顔と識別できる少なくとも２つの顔画像が得られるように撮影を行う必要がある。このため、図５に示されるように、ユーザは、内側撮像部２４によってユーザ自身の顔が撮影され、且つ外側撮像部２３（外側左撮像部２３Ａ及び外側右撮像部２３Ｂ）によってフレンドの顔が撮影されるように、ゲーム装置１０を構えて例えばＲボタン１４Ｈを押して撮影を指示する。これにより、ユーザの顔画像を含んだカメラ画像が内側撮影部２４によって取得され、フレンドの顔画像を含んだカメラ画像が外側撮像部２３によって取得される。このように、少なくとも２つの顔画像が取得されるように撮影を行うことで、顔合成画像を生成する処理が可能になる。

図６は、上側ＬＣＤ２２と下側ＬＣＤ１２の表示例を示す図である。ゲーム装置１０が顔合成画像を得るための撮影モードに移行すると、下側ＬＣＤ１２には、ボタン６１〜６４を含む操作画面が表示される。ボタン６１〜６４は、それぞれ所定の処理と対応付けられた画像である。ユーザは、下側ＬＣＤ１２に表示されているボタン６１〜６４を任意に選択することによって、情報処理部３１に所定の処理を実行させることができる。タッチパネル１３がタッチペン２８でタッチされると、タッチ位置に位置するボタン（図６ではボタン６１）がハイライト（例えば輪郭強調）される。そして、ボタン上に位置するタッチペン２８がタッチパネル１３から離されると、ボタンのハイライトが解除されると共にそのボタンに対応する処理が実行される。

ボタン６１は、ゲーム装置１０を顔合成画像を得るための撮影が可能な状態に移行させるためのボタンである。後述するが、ボタン６１が選択されると、上側ＬＣＤ２２に枠７１，７２と共に、外側撮像部２３及び内側撮像部２４によってリアルタイムに取得されるカメラ画像が表示される（図７参照）。

ボタン６２は、ゲーム装置１０で得られた顔合成画像を閲覧するためのボタンである。ボタン６２が選択されると、例えばデータ保存用外部メモリ４６に記憶されている顔合成画像のサムネイル画像が下側ＬＣＤ１２に一覧表示される。この状態で、ユーザは、所望のサムネイル画像を選択することで、そのサムネイル画像に対応する顔合成画像を上側ＬＣＤ２２に表示させることができる。ボタン６３は、外側撮像部２３及び内側撮像部２４を用いた撮影に関する各種設定の変更を指示するためのボタンである。

ボタン６４は、差し替える側の顔画像と、差し替えられる側の顔画像とを切り替えるためのボタンである。図６に示される例では、ボタン６４は、「内カメラ」という文字を含むボタンとして下側ＬＣＤ１２に表示されている。この状態で撮影が行われると、外側撮像部２３による撮影で得られたカメラ画像に含まれている顔画像が、内側撮像部２４による撮影で得られたカメラ画像に含まれている顔画像に差し替えられた顔合成画像（例えば図９の顔合成画像８０）が生成されることになる。つまり、フレンドの顔をユーザの顔に差し替えた顔合成画像が得られる。これに対して、ユーザがタッチペン２８を用いた操作
によりボタン６４を選択すると、ボタン６４は、「外カメラ」という文字を含むボタンとして下側ＬＣＤ１２に表示されることになる。この状態で撮影が行われると、内側撮像部２４による撮影で得られたカメラ画像に含まれている顔画像が、外側撮像部２３による撮影で得られたカメラ画像に含まれている顔画像に差し替えられた顔合成画像が生成されることになる。つまり、ユーザの顔をフレンドの顔に差し替えた顔合成画像が得られる。

上側ＬＣＤ２２には、撮影前に外側撮像部２３及び内側撮像部２４によってリアルタイムに取得されるカメラ画像が表示される。本実施形態では、上側ＬＣＤ２２の表示領域が左領域２２１（第１表示領域の一例）と右領域２２２（第２表示領域の一例）の２つの領域に区画されており、外側撮像部２３により撮像されたカメラ画像（第１撮像画像）が左領域２２１に表示され、内側撮像部２４により撮像されたカメラ画像（第２撮像画像）が右領域２２２に表示される。また、上側ＬＣＤ２２の表示画面には、左領域２２１の所定の位置に枠７１が表示され、右領域２２２の所定の位置に枠７２が表示されている。

ところで、顔合成画像を生成するためには、外側撮像部２３により撮像されたカメラ画像に対する顔認識処理に成功して顔と識別できる顔画像を取得することができ、且つ、内側撮像部２４により撮像されたカメラ画像に対する顔認識処理に成功して顔と識別できる顔画像を取得することができる必要がある。このため、外側撮像部２３及び内側撮像部２４を用いて撮影を行う際に、内側撮像部２４の撮像範囲の中央部にユーザの顔が位置し、且つ外側撮像部２３の撮像範囲の中央部にフレンドの顔が位置している状態で撮影が行われることが好ましい。このため、外側撮像部２３によって撮像されて左領域２２１に表示されるフレンドの顔が枠７１内に位置し、且つ内側撮像部２４によって撮像されて右領域２２２に表示されるユーザの顔が枠７２内に位置した状態で撮影を行うことで、顔合成画像を得ることができる。つまり、ユーザとフレンドとが互いに向かい合った状態で協力して撮影を行うことで、フレンドの顔をユーザの顔に差し替えた極めて興趣性が高い顔合成画像８０（図９参照）を得ることができる。

図７は、顔認識処理に成功していないときに上側ＬＣＤ２２に表示される画像の一例を示す上側ＬＣＤ２２の画面図である。図８は、顔認識処理に成功したときに上側ＬＣＤ２２に表示される画像の一例を示す上側ＬＣＤ２２の画面図である。なお、図７以降の画面図においては、外側撮像部２３及び内側撮像部２４による撮像で得られたカメラ画像における人物の背景の図示が省略されている。

上述したように、顔合成画像を得るためには、外側撮像部２３及び内側撮像部２４を用いてそれぞれ顔と識別できる顔画像を含む２つのカメラ画像を得る必要がある。このため、ゲーム装置１０は、撮影が指示される前に外側撮像部２３及び内側撮像部２４によってリアルタイムに取得される２つのカメラ画像に対して顔認識処理を行い、両方のカメラ画像に対して顔認識に成功していなければ、ユーザがＬボタン１４Ｇ又はＲボタン１４Ｈを操作しても撮影が行われないように構成されている。言い換えれば、ゲーム装置１０は、外側撮像部２３によって取得されるカメラ画像と、内側撮像部２４によって取得されるカメラ画像との両方のカメラ画像に対する顔認識に成功するまでは、撮影を禁止するように構成されている。ゲーム装置１０がこのように構成されていることで、撮影を行ったにも拘わらず顔合成画像が得られないといった問題が生じることを防止することができる。

ところで、ゲーム装置１０が２つのカメラ画像に対する顔認識に成功しなければ撮影を許可しないように構成されているので、顔認識に成功していないこと、或いは顔認識に成功していることをユーザが容易に把握できるようにする必要がある。そこで、本実施形態では、図８に示されるように、外側撮像部２３によって取得されたカメラ画像（以下「外カメラ画像」という。）に対する顔認識に成功しているときには左領域２２１に「ＯＫ！」の文字を含む吹き出し７４が表示される。また、内側撮像部２４によって取得されたカ
メラ画像（以下「内カメラ画像」という。）に対する顔認識に成功しているときには右領域２２２に「ＯＫ！」の文字を含む吹き出し７５が表示される。これらの吹き出し７４，７５は、顔認識に成功しているときだけ上側ＬＣＤ２２に表示され、顔認識に成功していないときには上側ＬＣＤ２２から消去される（図７参照）。このため、ゲーム装置１０のユーザが、左領域２２１に吹き出し７４が表示され、且つ右領域２２２に吹き出し７５が表示されるようにゲーム装置１０に対するユーザ自身の顔とフレンドの顔の位置を調整してから撮影を指示することで、撮影を成功させることができる。

図９は、撮影に成功した直後に上側ＬＣＤ２２に表示される顔合成画像８０の一例を示す上側ＬＣＤ２２の画面図である。図１０は、撮影に失敗した直後に上側ＬＣＤ２２に表示されるエラーメッセージ８３の一例を示す上側ＬＣＤ２２の画面図である。

外カメラ画像に対する顔認識、及び内カメラ画像に対する顔認識に成功した状態で撮影が行われると、図９に示されるように、上側ＬＣＤ２２には、リアルタイムに取得される外カメラ画像及び内カメラ画像（例えば図７参照）に代えて、顔合成画像８０が表示される。このように、実空間内に位置するユーザとフレンドの顔を忠実に再現したカメラ画像が上側ＬＣＤ２２に表示されていた状態から、フレンドの顔がユーザの顔に差し替えられた実空間には存在しない画像が上側ＬＣＤ２２に表示された状態となることで、ユーザとフレンドとが楽しみながら撮影を行うことができる。

一方、撮影直前に顔認識に成功して上側ＬＣＤ２２に吹き出し７４，７５が表示された状態でユーザが撮影を指示したとしても、撮影が行われるタイミングで例えばゲーム装置１０が動かされて顔の位置が大きくずれてしまった場合、２つのカメラ画像から顔を認識できずに撮影に失敗してしまう場合がある。そこで、本実施形態では、このような場合に、図１０に例示されるように上側ＬＣＤ２２にエラーメッセージ８３を表示することとしている。これに対して、ゲーム装置１０に対するユーザとフレンドの顔の位置をある程度固定したままの状態（上側ＬＣＤ２２に吹き出し７４，７５が表示されたままの状態）で撮影をやり直すことにより、撮影を上手く成功させることができる。

［顔合成処理の概要］
以下、図１１及び図１２を参照しつつ、２つのカメラ画像を用いて顔合成画像８０を得る処理の概要について説明する。ここで、図１１は、上側ＬＣＤ２２に表示されたカメラ画像に含まれている２つの顔領域９１，９２を例示する上側ＬＣＤ２２の画面図である。図１２は、顔合成処理の概要について説明するための説明図である。顔合成画像８０を得るための撮影前には、外側撮像部２３及び内側撮像部２４によってリアルタイムに取得された２つのカメラ画像が上側ＬＣＤ２２に左右に並んで表示されている（例えば図８参照）。この状態でユーザによって撮影が指示されると、撮影によって得られた２つのカメラ画像７８，７９（図１１参照）に対する顔認識処理が行われる。そして、その顔認識処理の結果に基づいて、図１１に示されるように、上側ＬＣＤ２２に表示されている２つのカメラ画像７８，７９に含まれているユーザの顔に相当する顔領域９１（第１顔領域の一例）と、フレンドの顔に相当する顔領域９２（第２顔領域の一例）との２つの顔領域が検出され、顔領域９１の画像が第１顔画像８１（図１２参照）として取得される。

ところで、外側撮像部２３が外側左撮像部２３Ａ及び外側右撮像部２３Ｂから構成されているので、外側撮像部２３によって、それぞれフレンドの顔画像を含んでいる２つの外カメラ画像７９Ａ，７９Ｂ（図１２参照）が取得されている。このため、フレンドの顔がユーザの顔画像に差し替えられた顔合成画像８０を立体表示させるためには、外側左撮像部２３Ａによって取得された外カメラ画像７９Ａと、外側右撮像部２３Ｂによって取得された外カメラ画像７９Ｂとのそれぞれの外カメラ画像７９に対して、第１顔画像８１を合成する必要がある。

そこで、第１顔画像８１が取得されると、図１２に示されるように、第１顔画像８１が複製される。そして、外側左撮像部２３Ａによって取得された外カメラ画像７９Ａに対して、その外カメラ画像７９Ａに含まれているフレンドの顔に相当する顔領域９２（図１１参照）に第１顔画像８１を配置した左目用合成画像８０Ａが生成される。これに伴い、外側右撮像部２３Ｂによって取得されたカメラ画像７９Ｂに対して、そのカメラ画像７９Ｂに含まれているフレンドの顔に相当する顔領域９２（図１１参照）に複製された第１顔画像８１を配置した右目用合成画像８０Ｂが生成される。このようにして生成された左目用合成画像８０Ａと右目用合成画像８０Ｂとが上側ＬＣＤ２２に表示されることで、フレンドの顔をユーザの顔に差し替えた顔合成画像８０が上側ＬＣＤ２２に立体表示される。なお、顔領域９１と顔領域９２との大きさが異なり、また、ユーザとフレンドの顔の傾きが異なっているので、実際には、第１顔画像８１に対して拡大／縮小処理や回転処理が施されるが、これらの処理の詳細については後に詳述する。

［メモリマップ］
以下、図１３を参照しつつ、メインメモリ３２に記憶されるデータについて説明する。ここで、図１３は、メインメモリ３２のメモリマップである。図１３に例示されるように、メインメモリ３２は、プログラム記憶領域３２１及びデータ記憶領域３２３を有している。プログラム記憶領域３２１には、ＣＰＵ３１１によって実行されるプログラムが記憶される。データ記憶領域３２３には、顔合成画像を得るための処理に必要な各種データが記憶される。プログラム記憶領域３２１内のプログラム、及びデータ記憶領域３２３内のデータの一部は、外部メモリ４５に予め記憶されたデータが、顔合成画像を得るための処理に際してメインメモリ３２に読み出されたものである。

プログラム記憶領域３２１には、画像生成プログラム３２２等が記憶されている。画像生成プログラム３２２は、後述する図１４，図１５に示されている一連の処理を情報処理部３１に実行させるためのプログラムである。

データ記憶領域３２３には、カメラ画像データ３２４、顔認識結果データ３２５、撮影許可フラグ３２６、上側ＬＣＤ表示データ３２７、下側ＬＣＤ表示データ３２８、テクスチャデータ３２９、ポリゴンデータ３３０、顔合成画像データ３３１等が記憶される。

カメラ画像データ３２４は、外側撮像部２３及び内側撮像部２４が撮像した撮像画像（外カメラ画像及び内カメラ画像）を示すデータである。顔合成画像を得るための撮影において、本実施形態では、外側撮像部２３及び内側撮像部２４が両方使用されるので、外側撮像部２３が撮像した外カメラ画像、及び内側撮像部２４が撮像した内カメラ画像によって、カメラ画像データ３２４が更新される。このカメラ画像データ３２４の更新周期は、ゲーム装置１０が処理を行う時間単位（例えば１／６０秒）と同じでもよいし、この時間単位と異なっていてもよい。なお、このカメラ画像データ３２４には、撮影前に上側ＬＣＤ２２に表示するために取得される外カメラ画像及び内カメラ画像の他に、撮影によって得られた外カメラ画像及び内カメラ画像（図１１参照）のデータも含まれている。この外カメラ画像及び内カメラ画像のデータは、撮影が行われる毎に更新される。

顔認識結果データ３２５は、カメラ画像データ３２４が示すカメラ画像に対して逐次行われる顔認識処理の結果を示すデータである。この顔認識結果データ３２５は、外カメラ画像及び内カメラ画像に対して行われた顔認識処理によって人物の顔を識別できたか否かを示すデータ、カメラ画像に対して顔として識別できた領域（例えば顔領域９１，９２）を示すデータ等から構成されている。この顔認識結果データ３２５に外カメラ画像からフレンドの顔を識別できていることを示すデータが含まれているときに、上述したように、上側ＬＣＤ２２の左領域２２１に吹き出し７４（図８参照）が表示される。また、顔認識
結果データ３２５に内カメラ画像からユーザの顔を識別できていることを示すデータが含まれている場合、上述したように、上側ＬＣＤ２２の右領域２２２に吹き出し７５（図８参照）が表示される。この顔認識結果データ３２５は、カメラ画像に対する顔認識処理が行われる毎に適宜更新される。

撮影許可フラグ３２６は、顔認識処理に成功することによって、撮影が許可されているか否かを示すデータである。この撮影許可フラグ３２６は、顔認識結果データ３２５に顔認識処理によって人物の顔を識別できたことを示すデータが含まれている場合にＯＮに設定される。本実施形態では、外カメラ画像及び内カメラ画像の両方から人物の顔を識別できていることを示すデータが顔認識結果データ３２５に含まれている場合に、撮影許可フラグ３２６が「ＯＮ」に設定される。撮影許可フラグ３２６が「ＯＮ」に設定されている場合、Ｌボタン１４Ｇ又はＲボタン１４Ｈの操作に応じて撮影が実行される。一方、顔認識結果データ３２５に外カメラ画像及び内カメラ画像のいずれか一方でも顔認識処理によって人物の顔を識別できていないことを示すデータが含まれている場合、撮影許可フラグ３２６が「ＯＦＦ」に設定される。撮影許可フラグ３２６が「ＯＦＦ」に設定されている場合、Ｌボタン１４Ｇ又はＲボタン１４Ｈが操作されたとしても撮影が行われることはない。

上側ＬＣＤ表示データ３２７は、上側ＬＣＤ２２に表示される画像に関するデータである。この上側ＬＣＤ表示データ３２７には、外側撮像部２３によってリアルタイムに取得される外カメラ画像、内側撮像部２４によってリアルタイムに取得される内カメラ画像、枠７１，７２を表す画像、吹き出し７４，７５を表す画像、エラーメッセージ８３の画像等のデータが含まれている。

下側ＬＣＤ表示データ３２８は、下側ＬＣＤ１２に表示される画像に関するデータである。この下側ＬＣＤ表示データ３２８には、ボタン６１〜６４（図６参照）の画像等のデータが含まれている。

テクスチャデータ３２９は、第１顔画像８１（図１２参照）をテクスチャマッピングを用いて外カメラ画像上で表現するために使用される顔テクスチャを示すデータである。このテクスチャデータ３２９は、本実施形態では、内側撮像部２４によって撮影時に取得された内カメラ画像７８に含まれている顔領域９１（図１１参照）の画像に基づいて生成される。

ポリゴンデータ３３０は、顔認識処理によって識別された顔の特徴点に基づいて生成される複数のポリゴンＰＧ１（図１８参照）、複数のポリゴンＰＧ２（図２０参照）に関するデータである。ここで、ポリゴンＰＧ１は、内カメラ画像７８に対する顔認識処理によって識別された顔の特徴点Ｐ１〜Ｐ１６（図１７参照）に基づいて生成された複数のポリゴンである。ポリゴンＰＧ２は、外カメラ画像７９に対する顔認識処理によって識別された顔の特徴点Ｐ２１〜Ｐ３６（図１９参照）に基づいて生成された複数のポリゴンである。なお、本実施形態では、複数のポリゴンＰＧ１が特徴点Ｐ１〜Ｐ１６に基づいて生成され、複数のポリゴンＰＧ２が特徴点Ｐ２１〜Ｐ３６に基づいて生成される場合について説明するが、例えば鼻の特徴点Ｐ１，Ｐ２１に代えて後述する口の中心点Ａ４，Ｂ４（図１７，１９参照）を用いて複数のポリゴンＰＧ１，ＰＧ２を生成してもよい。ポリゴンデータ３３０は、テクスチャ座標データ３３０１、カメラ画像座標データ３３０２、サイズデータ３３０３、傾きデータ３３０４等から構成される。

テクスチャ座標データ３３０１は、ポリゴンＰＧ１の各頂点が配置されるテクスチャ座標、及びポリゴンＰＧ２の各頂点が配置されるテクスチャ座標を示すデータである。カメラ画像座標データ３３０２は、ポリゴンＰＧ１の各頂点に対するカメラ画像座標、及びポ
リゴンＰＧ２の各頂点に対するカメラ画像座標を示すデータである。サイズデータ３３０３は、顔領域９１の横サイズＸ１及び縦サイズＹ１（図１７参照）と、顔領域９２の横サイズＸ２及び縦サイズＹ２（図１９参照）を示すデータを含む。ここで、横サイズＸ１は、顔領域９１が示す顔の左目の中心点Ａ１から右目の中心点Ａ２までの距離を示す。縦サイズＹ１は、中心点Ａ１と中心点Ａ２とを結ぶ線分αの中点Ａ３から口の中心点Ａ４までの距離を示す。本実施形態では、これらの横サイズＸ１と縦サイズＹ１とによって顔領域９１の大きさが表される。また、横サイズＸ２は、顔領域９２が示す顔の左目の中心点Ｂ１から右目の中心点Ｂ２までの距離を示す。縦サイズＹ２は、中心点Ｂ１と中心点Ｂ２とを結ぶ線分βの中心点Ｂ３から口の中心点Ｂ４までの距離を示す。本実施形態では、これらの横サイズＸ２と縦サイズＹ２とによって顔領域９２の大きさが表される。傾きデータ３３０４は、水平方向に対する顔領域９１が示す顔の傾き（図１７に示される線分αの傾き）と、水平方向に対する顔領域９２が示す顔の傾き（図１９に示される線分βの傾き）を示すデータである。なお、本実施形態においては、これらの点Ａ１〜Ａ４，Ｂ１〜Ｂ４の座標が顔領域９１，９２の大きさと傾きを求めるためだけに使用されるが、複数のポリゴンＰＧ１，ＰＧ２（図１８，２０参照）を生成するために使用されてもよい。

顔合成画像データ３３１は、顔合成処理によって得られた顔合成画像（例えば図１２に示される左目用顔合成画像８０Ａと右目用顔合成画像８０Ｂ）のデータである。顔合成画像を生成する処理が完了すると、顔合成画像データ３３１が示す顔合成画像は、上側ＬＣＤ表示データ３２７の一部として上側ＬＣＤ２２に所定時間表示される。

なお、図には示されていないが、データ記憶領域３２３には、ゲーム装置１０に対して行われた操作の内容を示す操作データや、仮想ゲーム空間の様子を画面表示するための仮想カメラの制御に関するデータ等が記憶されるが、これらのデータは本発明とは直接関係しないので、ここでの詳細な説明は省略する。

［メイン処理］
次に、図１４を参照しつつ、情報処理部３１によって実行されるメイン処理について説明する。ここで、図１４は、顔合成画像を生成するためにゲーム装置１０で実行される処理の一例を示すフローチャートである。なお、以下に説明する一連の処理は、画像生成プログラム３２２に基づいてＣＰＵ３１１が発行する命令に従って行われる。

ユーザの所定操作によってゲーム装置１０が顔合成画像を得るための撮影モードに移行すると、ＣＰＵ３１１は、図１４に示されるように、カメラ画像を取得する（ステップＳ１）。具体的には、情報処理部３１は、内側撮像部２４によって撮像された内カメラ画像と、外側撮像部２３によって撮像された外カメラ画像とを取得して、カメラ画像データ３２４を更新する。そして、第１表示制御手段、第２表示制御手段として機能する情報処理部３１は、取得したカメラ画像を上側ＬＣＤ２２に表示させる（ステップＳ２）。具体的には、ＣＰＵ３１１は、ステップＳ１の処理で取得したカメラ画像の表示をＧＰＵ３１２に対して指示する。これに対して、ＧＰＵ３１２は、外カメラ画像及び内カメラ画像、枠７１，７２等をＶＲＡＭ３１３に描画し、描画した画像を上側ＬＣＤ２２に出力する。これにより、例えば図７に示されるように、外カメラ画像が枠７１と共に上側ＬＣＤ２２の左領域２２１に表示されると同時に、内カメラ画像が枠７２と共に右領域２２２に表示される。

このように、情報処理部３１は、外カメラ画像を外側撮像部２３によりリアルタイムに取得して上側ＬＣＤ２２の左領域２２１に表示させると共に、内カメラ画像を内側撮像部２４によりリアルタイムに取得して上側ＬＣＤ２２の右領域２２２に表示させる。

次に、情報処理部３１は、データ記憶領域３２３に記憶されている顔認識結果データ３
２５を参照して、既に外カメラ画像又は内カメラ画像に対する顔認識に成功しているか否かを判定する（ステップＳ３）。顔認識に成功していないと情報処理部３１によって判定された場合（ステップＳ３：ＮＯ）、すなわち、外カメラ画像に対する顔認識に失敗し、更に内カメラ画像に対する顔認識にも失敗している場合、処理が後述するステップＳ５へ進められる。このような場合、図７に例示されるように、上側ＬＣＤ２２には吹き出しが表示されない。

一方、報知手段として機能する情報処理部３１は、外カメラ画像又は内カメラ画像に対する顔認識に成功していると判定した場合（ステップＳ３：ＹＥＳ）、上側ＬＣＤ２２に吹き出しを表示させる（ステップＳ４）。このステップＳ４において、外カメラ画像に対する顔認識に成功している場合、ＣＰＵ３１１は、吹き出し７４（図８参照）を上側ＬＣＤ２２の左領域２２１に表示する処理をＧＰＵ３１２に実行させる。また、内カメラ画像に対する顔認識に成功している場合、ＣＰＵ３１１は、吹き出し７５（図８参照）を上側ＬＣＤ２２の右領域２２２に表示する処理をＧＰＵ３１２に実行させる。このように、情報処理部３１は、外側撮像部２３及び内側撮像部２４に複数の顔（ここではユーザとフレンドの顔）が含まれていると判定している間、２つの吹き出し７４，７５を上側ＬＣＤ２２に表示させることにより、撮影が可能であることをユーザに報知する。

続いて、ＣＰＵ３１１は、ＲＴＣ３８から出力される時間情報に基づいて、顔認識処理を実行するタイミングになったか否かを判定する（ステップＳ５）。顔認識処理を実行するタイミングになっていないとＣＰＵ３１１によって判定された場合（ステップＳ５：ＮＯ）、処理が後述するステップＳ１１へ進められる。一方、ＣＰＵ３１１は、顔認識処理を実行するタイミングになったと判定した場合（ステップＳ５：ＹＥＳ）、所定の顔認識処理を実行する（ステップＳ６）。この顔認識処理を行った場合、ＣＰＵ３１１は、その処理結果に応じて顔認識結果データ３２５を更新する。なお、顔認識処理は公知の処理であるため、本明細書中ではその詳細な説明を省略する。

ステップＳ６の処理を行った場合、判定手段として機能するＣＰＵ３１１は、顔認識結果データ３２５を参照して、ステップＳ１の処理によって取得された外カメラ画像及び内カメラ画像の両方に対して人物の顔を識別できたか否かを判定する（ステップＳ７）。ここで、外カメラ画像及び内カメラ画像のいずれか一方でも人物の顔を識別できていない場合、顔合成画像を生成することはできない。そこで、撮影禁止手段として機能するＣＰＵ３１１は、外カメラ画像及び内カメラ画像のいずれか一方でも人物の顔を識別できていないと判定した場合（ステップＳ７：ＮＯ）、撮影許可フラグ３２６を「ＯＦＦ」に設定する（ステップＳ８）。一方、ＣＰＵ３１１は、外カメラ画像及び内カメラ画像の両方に関して人物の顔を識別できていると判定した場合（ステップＳ７：ＹＥＳ）、撮影許可フラグ３２６を「ＯＮ」に設定する（ステップＳ９）。

このように、ＣＰＵ３１１は、外側撮像部２３及び内側撮像部２４によりリアルタイムに取得される外カメラ画像及び内カメラ画像に基づいて、外側撮像部２３及び内側撮像部２４の撮像範囲に被写体としての複数の顔が含まれているか否かを判定する。そして、ＣＰＵ３１１は、外側撮像部２３及び内側撮像部２４の撮像範囲に複数の顔が含まれていないと判定している間、撮影許可フラグ３２６を「ＯＦＦ」に設定することで、Ｌボタン１４Ｇ又はＲボタン１４Ｈの操作に応じた撮影を禁止する。

ステップＳ８の処理を行った場合、ステップＳ９の処理を行った場合、又はステップＳ５において顔認識処理を実行するタイミングになっていないと判定した場合（ステップＳ５：ＮＯ）、ＣＰＵ３１１は、Ｌボタン１４Ｇ又はＲボタン１４Ｈが操作されたか否かに基づいて、撮影が指示されたか否かを判定する（ステップＳ１１）。撮影が指示されていないとＣＰＵ３１１によって判定された場合（ステップＳ１１：ＮＯ）、処理がステップ
Ｓ１へ戻され、撮影が指示されるまでステップＳ１以降の処理が繰り返される。

ＣＰＵ３１１は、撮影が指示されたと判定した場合（ステップＳ１１：ＹＥＳ）、撮影許可フラグ３２６が「ＯＮ」に設定されているか否かを判定する（ステップＳ１２）。撮影許可フラグ３２６が「ＯＮ」に設定されていないとＣＰＵ３１１によって判定された場合（ステップＳ１２：ＮＯ）、処理がステップＳ１へ戻される。なお、本実施形態では、撮影許可フラグが「ＯＦＦ」に設定されている場合に処理がステップＳ１へ戻されるが、撮影許可フラグがＯＦＦに設定されている場合に、人物の顔を識別できていないことをユーザに報知するために、例えばスピーカ４４から所定のエラー音を出力してから処理がステップＳ１へ戻されるようにしてもよい。

撮像画像取得手段として機能するＣＰＵ３１１は、撮影許可フラグ３２６が「ＯＮ」に設定されていると判定した場合（ステップＳ１２：ＹＥＳ）、外側撮像部２３及び内側撮像部２４による撮影を行い（ステップＳ１３）、撮影によって得られた外カメラ画像７９及び内カメラ画像７８によってカメラ画像データ３２４を更新する。そして、顔画像取得手段として機能するＣＰＵ３１１は、この撮影によって得られた外カメラ画像７９及び内カメラ画像７８に対して、ステップＳ６の処理と同様に、顔認識処理を実行する（ステップＳ１４）。このステップＳ１４の顔認識処理に成功することにより、図１１に例示されるように、内カメラ画像７８から顔領域９１が検出されると共に外カメラ画像７９から顔領域９２が検出されて、顔領域９１の画像が第１顔画像８１（図１２参照）として取得される。なお、このステップＳ１４では、顔認識処理の結果に応じて、顔認識結果データ３２５が更新される。

ステップＳ１４の処理に続いて、情報処理部３１は、撮影に成功したか否かを判定する（ステップＳ１５）。具体的には、ＣＰＵ３１１は、顔認識結果データ３２５を参照して、ステップＳ１３の処理で得られた外カメラ画像７９及び内カメラ画像７８の両方に関して、ステップＳ１４の処理によって２人以上の人物の顔（本実施形態ではユーザの顔とフレンドの顔）を識別できたか否かを判定する。

情報処理部３１は、撮影に成功しなかったと判定した場合（ステップＳ１５：ＮＯ）、すなわち外カメラ画像７９及び内カメラ画像７８のどちらか一方でも人物の顔を識別できなかった場合、図１０に例示されるように、ＧＰＵ３１２を制御して上側ＬＣＤ表示データ３２７に含まれるエラーメッセージ８３を上側ＬＣＤ２２に表示させ（ステップＳ１６）、撮影許可フラグ３２６を「ＯＦＦ」に設定する（ステップＳ１７）。このステップＳ１７の処理が行われた場合、処理がステップＳ１へ戻される。

一方、情報処理部３１は、撮影に成功したと判定した場合（ステップＳ１５：ＹＥＳ）、すなわち外カメラ画像７９及び内カメラ画像７８の両方に関して人物の顔を識別できた場合、外カメラ画像７９に含まれている人物の顔（ここではフレンドの顔）を内カメラ画像７８に含まれている人物の顔（ここではユーザの顔）に差し替えた左目用合成画像８０Ａ及び右目用合成画像８０Ｂ（図１２参照）を生成する顔合成処理を実行する（ステップＳ１８）。

情報処理部３１は、ステップＳ１８の処理によって左目用合成画像８０Ａ及び右目用合成画像８０Ｂを生成した後、左目用合成画像８０Ａ及び右目用合成画像８０Ｂを顔合成画像データ３３１としてデータ記憶領域３２３に記憶させると共に、データ保存用外部メモリ４６にも記憶させる（ステップＳ１９）。そして、第１表示制御手段、第２表示制御手段として機能するＣＰＵ３１１は、顔合成画像データ３３１が示す左目用合成画像８０Ａ及び右目用合成画像８０Ｂを用いて、図９に例示されるように、顔合成画像８０を上側ＬＣＤ２２に所定時間（例えば５秒間）だけ立体表示させる（ステップＳ２０）。

顔合成画像８０が生成されたことを条件としてこのステップＳ２０の処理が行われることにより、上側ＬＣＤ２２の左領域２２１に外カメラ画像７９が表示されると共に右領域２２２に内カメラ画像７８が表示されていたのが、左領域２２１及び右領域２２２の両方を１つの表示領域として用いて顔合成画像８０が表示される。このステップＳ２０の処理が行われた場合、処理が上記ステップＳ１へと戻されて、再び顔合成画像を得るための撮影が可能な状態となる。

［顔合成処理］
図１５は、図１４のステップＳ１８における顔合成処理の詳細フローチャートである。情報処理部３１は、上述したステップＳ１５の処理で撮影に成功したと判定した場合（ステップＳ１５：ＹＥＳ）、複数のポリゴンＰＧ１，ＰＧ２の各頂点のカメラ画像座標を設定する（ステップＳ１８１）。具体的には、ＣＰＵ３１１は、カメラ画像データ３２４が示す内カメラ画像７８と外カメラ画像７９及び顔認識結果データ３２５を用いて、内カメラ画像７８における顔の位置及び顔の特徴点Ｐ１〜Ｐ１６（図１７参照）の位置を取得すると共に、外カメラ画像７９における顔の位置及び顔の特徴点Ｐ２１〜Ｐ３６（図１９参照）の位置を取得する。そして、ＣＰＵ３１１は、内カメラ画像７８における特徴点Ｐ１〜Ｐ１６の位置に基づいて複数のポリゴンＰＧ１（図１８参照）の各頂点の位置（カメラ画像座標）を設定すると共に、外カメラ画像７９における特徴点Ｐ２１〜Ｐ３６の位置に基づいて複数のポリゴンＰＧ２（図２０参照）の各頂点の位置（カメラ画像座標）を設定する。そして、ＣＰＵ３１１は、複数のポリゴンＰＧ１及び複数のポリゴンＰＧ２に対して設定した各頂点の位置を用いて、複数のポリゴンＰＧ１及び複数のポリゴンＰＧ２に対するカメラ画像座標データ３３０２を更新する。ここで、複数のポリゴンＰＧ１，ＰＧ２は、識別された顔における複数の特徴点Ｐ１〜Ｐ１６、Ｐ２１〜Ｐ３６に基づいて三角形又は四角形でそれぞれ設定される。また、顔の特徴点Ｐ１〜Ｐ１６、Ｐ２１〜Ｐ３６は、公知のソフトウェアを利用して、撮像されたカメラ画像７８，７９から識別された顔画像（顔領域９１，９２が示す画像）に対してエッジ検出等の画像処理を施すことによって、顔画像における鼻先１点、眉４点（左右２点ずつ）、顎先端１点、頬１０点（左右５点ずつ）の計１６点が検出される。なお、複数のポリゴンＰＧ１，ＰＧ２の頂点の位置は、検出された顔の特徴点Ｐ１〜Ｐ１６、Ｐ２１〜Ｐ３６と一致させる必要はなく、特徴点Ｐ１〜Ｐ１６、Ｐ２１〜Ｐ３６の位置に基づいた任意の位置に設定すればよい。

このように、ステップＳ１８１の処理によって、複数のポリゴンＰＧ１の各頂点のカメラ画像座標が設定される。これにより、上側ＬＣＤ２２に表示された内カメラ画像７８及び外カメラ画像７９に含まれる顔領域９１，９２から顔領域９１が検出される。

ところで、図１１に例示されるように、内カメラ画像７８から検出された顔領域９１が示すユーザの顔の傾きと、外カメラ画像７９から検出された顔領域９２が示すフレンドの顔の傾きとが異なる場合がある。これは、撮影時のユーザとフレンドの姿勢の違い等によるものである。また、顔領域９１と顔領域９２の大きさが異なる場合がある。これは、ユーザとフレンドの相対的な顔の大きさの違いだけでなく、撮影時における内側撮像部２４からユーザの顔までの距離と、外側撮像部２３からフレンドの顔までの距離との違いによるものである。このため、顔領域９１に対応する第１顔画像８１をそのまま顔領域９２に配置して顔合成画像を生成した場合、図１６に示されるように、興趣性があっても、極めて不自然な顔を示す顔合成画像が得られることとなる。この図１６の例では、顔領域９２が示す顔に対して第１顔画像８１が示す顔が傾いているために、フレンドの髪や上半身に対して顔が不自然に傾いている。また、顔領域９２に対して顔領域９１が大きいために、フレンドの耳や首、髪等の一部が顔に隠れている。

そこで、本実施形態では、第１顔画像８１を外カメラ画像７９（７９Ａ，７９Ｂ）に合
成するに際して、第１顔画像８１の回転処理と拡大／縮小処理を行うこととしている。

図１５の説明に戻り、ＣＰＵ３１１は、ステップＳ１８１の処理によってポリゴンＰＧ１，ＰＧ２の各頂点のカメラ画像座標を設定した後、顔領域９２（図１１参照）の顔に対する顔領域９１（図１１参照）の顔の傾きを算出する（ステップＳ１８２）。具体的には、ＣＰＵ３１１は、顔領域９１の左目の中心点Ａ１と右目の中心点Ａ２とを両端とする線分αの傾きを算出して、水平方向に対する顔領域９１の顔の傾きを求める。また、ＣＰＵ３１１は、顔領域９２の左目の中心点Ｂ１と右目の中心点Ｂ２とを両端とする線分βの傾きを算出して、水平方向に対する顔領域９２の顔の傾きを求める。そして、ＣＰＵ３１１は、これら２つの傾きを用いて傾きデータ３３０４を更新した後、これら２つの傾きの差を求めることにより、顔領域９２の顔に対する顔領域９１の顔の傾きを算出する。

次に、ＣＰＵ３１１は、ポリゴンＰＧ１を回転させる（ステップＳ１８３）。顔領域９１に含まれる顔を回転させる場合、顔領域９１を規定する各特徴点Ｐ１〜Ｐ１６の位置を回転移動させる必要がある。このように、顔領域９１の各特徴点Ｐ１〜Ｐ１６の位置を変化させた場合、特徴点Ｐ１〜Ｐ１６に基づいて設定したポリゴンＰＧ１の各頂点位置も回転移動させる必要がある。そこで、このステップＳ１８３において、ＣＰＵ３１１は、ステップＳ１８１の処理で設定した複数のポリゴンＰＧ１の各頂点のカメラ画像座標を、ステップＳ１８２の処理で算出した傾きに応じて回転移動させた位置に変更し、変更後のカメラ画像座標を用いてカメラ画像座標データ３３０２を更新する。

このステップＳ１８３の処理が行われることにより、ポリゴンＰＧ１によって表されるユーザの顔の傾きがフレンドの顔の傾き（顔領域９２に含まれる顔の傾き）とほぼ一致するように、ポリゴンＰＧ１の各頂点のカメラ画像座標が補正される。

ステップＳ１８３の処理に続いて、ＣＰＵ３１１は、ポリゴンＰＧ１の大きさを変化させるための倍率（拡大率又は縮小率）を算出する（ステップＳ１８４）。具体的には、ＣＰＵ３１１は、顔認識結果データ３２５に含まれている顔領域９１（図１１参照）を示すデータ（ここでは点Ａ１〜Ａ４の位置を示すデータ）に基づいて、図１７に示されるように、顔領域９１の横サイズＸ１と縦サイズＹ１を算出する。また、ＣＰＵ３１１は、顔認識結果データ３２５に含まれている顔領域９２（図１１参照）を示すデータ（ここでは点Ｂ１〜Ｂ４の位置を示すデータ）に基づいて、図１９に示されるように、顔領域９２の横サイズＸ２と縦サイズＹ２を算出する。そして、ＣＰＵ３１１は、算出した顔領域９１，９２のサイズに基づいて、サイズデータ３３０３を更新する。続いて、ＣＰＵ３１１は、サイズデータ３３０３を参照して、横サイズＸ１が横サイズＸ２とほぼ一致し、且つ縦サイズＹ１が縦サイズＹ２とほぼ一致するように、ポリゴンＰＧ１の倍率（拡大率又は縮小率）の近似値を算出する。本実施形態では、これまでの説明から明らかなように、顔領域９１が顔領域９２よりも大きいため、ここでは縮小率が算出される。

次に、ＣＰＵ３１１は、ステップＳ１８４の処理で算出した倍率に応じて、ポリゴンＰＧ１を拡大又は縮小する（ステップＳ１８５）。顔領域９１の大きさが顔領域９２の大きさとほぼ一致するように顔領域９１を拡大又は縮小する場合、顔領域９１を規定する特徴点Ｐ１〜Ｐ１６間の距離が変化するために、特徴点Ｐ１〜Ｐ１６の位置に基づいて設定されるポリゴンＰＧ１の各頂点の位置を変化させる必要がある。そこで、このステップＳ１８５において、ＣＰＵ３１１は、カメラ画像座標データ３３０２を参照して、ステップＳ１８３の処理で変更された複数のポリゴンＰＧ１の各頂点のカメラ画像座標を、ステップＳ１８４の処理で算出した倍率でポリゴンＰＧ１を拡大又は縮小して移動させた位置に変更し、変更後のカメラ画像座標を用いてカメラ画像座標データ３３０２を更新する。

このように、複数のポリゴンＰＧ１の傾きや大きさを変化させることによって、第１顔
画像８１を外カメラ画像７９の顔領域９２に配置した場合に、不自然な顔合成画像が得られるのを防止することができる。なお、ここでは、複数のポリゴンＰＧ１の回転処理を行ってから拡大又は縮小処理を行うこととしているが、複数のポリゴンＰＧ１の拡大又は縮小処理を行ってから回転処理を行うようにしてもよい。

続いて、ＣＰＵ３１１は、カメラ画像座標データ３３０２を参照して、ポリゴンＰＧ１の各頂点の位置（テクスチャ座標）を設定し、設定した各頂点の位置に基づいて、ポリゴンＰＧ１のテクスチャ座標データ３３０１を更新する（ステップＳ１８６）。

そして、顔合成画像生成手段として機能するＣＰＵ３１１は、ポリゴンＰＧ１に第１顔画像８１を描画する（ステップＳ１８７）。具体的には、情報処理部３１は、顔領域９１の画像に基づいて、複数のポリゴンＰＧ１の各ポリゴンにマッピングするためのテクスチャを生成して、テクスチャデータ３２９を更新する。そして、情報処理部３１は、テクスチャ座標データ３３０１が示す各頂点のテクスチャ座標に基づいて、テクスチャデータ３２９が示す第１顔画像８１のテクスチャを複数のポリゴンＰＧ１の各ポリゴンにマッピングする。そして、情報処理部３１は、顔認識結果データ３２５を参照して、複数のポリゴンＰＧ１の基準点（図１７に示される中点Ａ３）が複数のポリゴンＰＧ２の基準点（図１９に示される中点Ｂ３）と一致するように複数のポリゴンＰＧ１を配置してＶＲＡＭ３１３に描画する。その際、第１顔画像８１の周縁部と、外カメラ画像７９における顔領域９２の外側の画像との違和感を低減させるために、画素の透過度を示すアルファ値を、ポリゴンＰＧ１の各頂点に対しては「０」に設定する。

このように、Ｌボタン１４Ｇ又はＲボタン１４Ｈの操作に応じて外側撮像部２３及び内側撮像部２４により取得された外カメラ画像７９及び内カメラ画像７８を用いて、第１顔画像８１が取得される。そして、それに続いて、第１顔画像８１に対して回転処理及び拡大／縮小処理が施され、外カメラ画像７９において、顔領域９２の画像を処理後の第１顔画像８１に差し替えた顔合成画像８０が生成される。このようにして生成された顔合成画像８０は、ステップＳ１８７の処理が完了してステップＳ２０の処理が行われることにより、外カメラ画像７９及び内カメラ画像７８に代えて上側ＬＣＤ２２に表示される（図９参照）。

［本実施形態の作用効果］
以上説明したように、本実施形態によれば、外側撮像部２３及び内側撮像部２４によって被写体としてのフレンドとユーザの２人の顔がリアルタイムに撮像されて上側ＬＣＤ２２に表示されている状態（例えば図８参照）で、ユーザの顔を表す第１顔画像８１が取得される。そして、フレンドの顔に相当する顔領域９２（図１１参照）を、回転処理及び拡大／縮小処理後の第１顔画像８１に差し替えた顔合成画像８０が生成される。その結果、被写体としての人物の顔をそのままリアルに再現したカメラ画像ではなく、複数人の顔を合成した興趣性が高い撮像画像を得ることができる。

また、本実施形態では、被写体であるユーザとフレンドの顔を忠実に再現したカメラ画像の表示が、興趣性が高い顔合成画像８０に切り替わるので、ユーザが上側ＬＣＤ２２を見て顔合成画像８０を容易に確認することができる。本実施形態は、撮影が指示されたタイミングで、上側ＬＣＤ２２の表示内容がカメラ画像から顔合成画像８０に切り替わるので、撮影直後に顔合成画像８０を表示させるための操作を行うことなく顔合成画像８０を容易に確認することができ、撮影の楽しさが向上する。

また、本実施形態では、外カメラ画像が示すフレンドの顔を内カメラ画像が示すユーザの顔に差し替えた顔合成画像８０が生成される。したがって、ユーザは、実空間に存在する（ユーザの目の前にいる）フレンドの顔と、顔合成画像８０が示す顔とを見比べて撮影
を楽しむことができる。

また、本実施形態では、Ｌボタン１４Ｇ又はＲボタン１４Ｈが操作されたときに、第１顔画像８１を取得してから顔合成画像８０を生成するまでの一連の処理が行われる。すわわち、撮影の直後に顔合成画像８０を得ることができる。このため、本実施形態で説明したように、撮影直後に顔合成画像８０を上側ＬＣＤ２２に表示させることによってユーザとフレンドとが顔合成画像８０を容易に視認することができ、２人で楽しく撮影を行うことができる。

また、本実施形態では、顔合成画像８０を得るために、外カメラ画像と内カメラ画像との両方から人物の顔を識別できていなければシャッターが押せない（撮影が許可されない）ようにゲーム装置１０が構成されている。このため、顔認識処理を成功させるために複数人（本実施形態ではユーザとフレンドの２人）が協力して撮影を行う必要があるため、一層楽しく撮影を行うことができる。

また、本実施形態では、外側撮像部２３及び内側撮像部２４のそれぞれの撮像範囲にフレンドとユーザの顔が含まれている間、撮影が可能であることを報知するために、上側ＬＣＤ２２に吹き出し７４，７５が表示される。このため、どのタイミングでＬボタン１４Ｇ又はＲボタン１４Ｈを操作すれば顔合成画像８０を得るための撮影に成功するかをユーザが容易に把握することができ、撮影をスムーズに行うことができる。

また、本実施形態では、上側ＬＣＤ２２の左領域２２１に外カメラ画像が表示され、右領域２２２に内カメラ画像が表示されるというように、２つの撮像部２３，２４によって撮像されたカメラ画像が上側ＬＣＤ２２の異なる表示領域に別々に表示される。したがって、各撮像部２３，２４の撮像範囲に顔が含まれているか否かをユーザが容易に確認することができ、その結果、撮影をスムーズに行うことができる。

また、本実施形態では、顔合成画像８０が生成されることにより、上側ＬＣＤ２２の表示内容が外カメラ画像７９及び内カメラ画像７８から顔合成画像８０に自動的に切り替わる。このため、ユーザは、この表示内容が切り替わるのを見て楽しむことができる。

また、本実施形態では、顔合成画像８０を得るために、外側撮像部２３及び内側撮像部２４の両方の撮像部が使用される。このため、ゲーム装置１０のユーザが、左領域２２１及び右領域２２２の両方に顔が表示されているかを確認しながら、フレンドと向かい合った状態で撮影を行い、撮影直後に上側ＬＣＤ２２に表示された顔合成画像８０を２人で確認することで、２人で協力して楽しみながら撮影を行うことができる。

［他の撮影方法］
上記実施形態では、図５に基づいて説明したように、ユーザの顔が内側撮像部２４によって撮像され、且つフレンドの顔が外側撮像部２３によって撮像される場合について説明したが、１つの撮像部で撮像される人物の数は１人に限定されるものではない。

図２１は、外側撮像部２３及び内側撮像部２４の両方の撮像部を用いて、ユーザと２人のフレンドとの３人で撮影を行う場合の撮影方法を模式的に示した図である。図２１に例示されるように、ゲーム装置１０のユーザが内側撮像部２４によって撮像され、第１フレンド及び第２フレンドの２人が外側撮像部２３によって撮像されるように、３人で協力して撮影を行うようにしてもよい。この場合、内カメラ画像からユーザの顔を示す第１顔画像を取得して、外カメラ画像に含まれている２人のフレンドの顔領域に２つの第１顔画像を挿入する顔合成処理を行うことが考えられる。この顔合成処理により、第１フレンドと第２フレンドの２人の顔がいずれもユーザの顔に差し替えられた（２人とも別人の顔をした）、興趣性が高い顔合成画像を得ることができる。

図２２は、内側撮像部２４のみを用いて、ユーザとフレンドの２人で撮影を行う場合の撮影方法を模式的に示した図である。図２２に例示されるように、ゲーム装置１０のユーザとフレンドが２人とも内側撮像部２４によって撮像されるように、２人で並んで撮影を行うようにしてもよい。この場合、内カメラ画像からフレンドの顔を示す第１顔画像を取得して、第１顔画像を同じ内カメラ画像のユーザの顔領域に挿入する顔合成処理を行うことが考えられる。この顔合成処理により、ユーザとフレンドの２人の顔がいずれもフレンドの顔に差し替えられた、興趣性が高い顔合成画像を得ることができる。このように、外側撮像部２３及び内側撮像部２４のいずれか一方を用いて複数人の顔を撮影し、それにより得られた１つのカメラ画像から顔合成画像を得るようにしてもよい。

［変形例］
なお、本発明は上記実施形態に限定されるものではなく、以下の形態であってもよい。すなわち、上記実施形態では、フレンドの顔領域９２（第２顔領域の一例）の全体を、ユーザの顔領域９１（第１顔領域の一例）の全体に対応する第１顔画像８１に差し替えて顔合成画像８０を得る場合について説明した。これに代えて、第１顔領域の一部の画像を第１顔画像として取得し、第２顔領域の一部をこの第１顔画像に差し替えるようにしてもよい。つまり、ある人物の顔の一部（例えば目）を別の人物の顔の一部（同じく目）に差し替えた顔合成画像を生成するようにしてもよい。

また、上記実施形態では、外カメラ画像が示す人物の顔を内カメラ画像が示す人物の顔に差し替えた顔合成画像を生成する場合について説明したが、これとは逆に、内カメラ画像が示す人物の顔を外カメラ画像が示す人物の顔に差し替えた顔合成画像を生成するようにしてもよい。これにより、外側撮像部２３によって撮影される人物が、目の前で撮影を行っているゲーム装置１０のユーザの顔と、例えば撮影後に上側ＬＣＤ２２に表示される顔合成画像とを見比べて、ユーザとの撮影を楽しむことができる。

また、上記実施形態では、外側撮像部２３をステレオカメラとして使用して、立体的に表示される顔合成画像８０（左目用合成画像８０Ａ及び右目用合成画像８０Ｂ）を得る場合について説明したが、外側撮像部２３を非ステレオカメラとして使用して、平面的に表示される顔合成画像を得るようにしてもよい。この形態の一例としては、外側撮像部２３の外側左撮像部２３Ａだけを使用して、外側左撮像部２３Ａによって取得された１つの外カメラ画像に対して、内側撮像部２４によって取得された内カメラ画像に含まれている第１顔画像を合成して顔合成画像を得る形態が挙げられる。

また、上記実施形態では、リアルタイムに取得される外カメラ画像及び内カメラ画像が上側ＬＣＤ２２の異なる表示領域に表示される場合について説明したが、上側ＬＣＤ２２と下側ＬＣＤ１２の両方を用いてカメラ画像を表示するようにしてもよい。すなわち、外カメラ画像を上側ＬＣＤ２２に表示し、内カメラ画像を下側ＬＣＤ１２に表示するようにしてもよい。

また、上記実施形態では、顔合成画像８０が上側ＬＣＤ２２に表示される場合について説明したが、顔合成画像８０を下側ＬＣＤ１２に表示するようにしてもよい。例えば撮影後も上側ＬＣＤ２２に内カメラ画像７８及び外カメラ画像７９を表示し続けるようにすれば、撮影時のカメラ画像７８，７９と顔合成画像８０とを見比べることができる。また、顔合成画像８０を、ゲーム装置１０と通信可能に接続された液晶テレビの画面に表示するようにしてもよい。

また、上記実施形態では、Ｌボタン１４Ｇ又はＲボタン１４Ｈの操作に応じて、第１顔
画像（上記実施形態では第１顔画像８１）を取得して顔合成画像を生成する場合について説明した。これに代えて、第１顔画像を取得して顔合成画像を生成する処理を、自動的に行うようにしてもよい。例えば、リアルタイムに取得される外カメラ画像及び内カメラ画像に対して顔認識処理を行い、両方のカメラ画像から顔を識別できたタイミングで、第１顔画像を取得して顔合成画像を生成することが考えられる。

また、上記実施形態では、撮像部の撮像範囲に複数の顔が含まれていない場合に撮影が禁止される場合について説明したが、撮像範囲に複数の顔が含まれているか否かに関わらず、撮影が行えるようにしてもよい。ただし、この場合、ゲーム装置１０に対する顔の位置によって顔合成画像が得られないケースが生じるので、上記実施形態で説明したように、顔認識処理に成功したことを条件として撮影を行えるようにすることが好ましい。

また、上記実施形態では、携帯型のゲーム装置１０に本発明が適用された場合を例に説明したが、本発明は、ゲーム装置に限らず、任意の携帯型電子機器、例えば、ＰＤＡ（Personal Digital Assistance）や携帯電話等に適用されてもよい。

また、上記実施形態では、顔合成画像を得るまでの全ての処理をゲーム装置１０で行う場合を例に説明したが、一部の処理を他の装置で行っても構わない。例えば、ゲーム装置１０が他の装置（例えば、サーバや他のゲーム装置）と通信可能に接続されている場合、上述したメイン処理における処理ステップは、ゲーム装置１０及び他の装置が１つの撮像システムとして協働することによって実行されてもよい。また、上記実施形態においては、ゲーム装置１０の情報処理部３１が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われたが、ゲーム装置１０が備える専用回路によって上記処理の一部又は全部が行われてもよい。

また、上述したゲーム装置１０の形状、撮像部の数、撮像部の設置位置、撮像部の撮像方向等は単なる一例に過ぎず、他の形状、数、及び設置位置であっても、本発明を実現できることは言うまでもない。また、上述したメイン処理で用いられる処理順序、設定値、判定に用いられる値等は、単なる一例に過ぎず他の順序や値であっても、本発明を実現できることは言うまでもない。

また、画像生成プログラムは、外部メモリ４５やデータ保存用外部メモリ４６等の外部記憶媒体を通じてゲーム装置１０に供給されるだけでなく、有線又は無線の通信回線を通じてゲーム装置１０に供給されてもよい。また、上記画像生成プログラムは、ゲーム装置１０内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ−ＲＯＭ、ＤＶＤ、或いはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ等であってもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを一時的に記憶するＲＡＭ等の揮発性メモリでもよい。

以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

本発明は、人物等の顔を撮像して得られた撮像画像に対して顔認識機能を用いて画像処理を行う撮像装置のコンピュータに実行させる画像生成プログラム、撮像装置、撮像システム、及び画像生成方法等に適用可能である。

１０ ゲーム装置
２２ 上側ＬＣＤ
２３ 外側撮像部（第１撮像部の一例）
２４ 内側撮像部（第２撮像部の一例）
３１ 情報処理部
３２ メインメモリ
５１ 撮像方向
５２ 撮像方向
７８ 内カメラ画像（撮像画像の一例）
７９ 外カメラ画像（撮像画像の一例）
８０ 顔合成画像
８１ 第１顔画像
９１ 顔領域（第１顔領域の一例）
９２ 顔領域（第２顔領域の一例）
２２１ 左領域（第１表示領域の一例）
２２２ 右領域（第２表示領域の一例）
３１１ ＣＰＵ
３１２ ＧＰＵ
３１３ ＶＲＡＭ

Claims (11)

1. 撮像装置のコンピュータに実行させる画像生成プログラムであって、
   前記コンピュータを、
   所定の操作に応じて、少なくとも１つの撮像部によりリアルタイムに撮像画像を取得する撮像画像取得手段と、
   前記撮像画像取得手段によって取得された撮像画像に含まれる複数の顔領域から第１顔領域を検出し、当該第１顔領域の少なくとも一部の画像を第１顔画像として取得する顔画像取得手段と、
   前記複数の顔領域のうちの前記第１顔領域とは異なる第２顔領域の少なくとも一部を前記第１顔画像に差し替えた顔合成画像を生成する顔合成画像生成手段と、
   前記撮像画像に基づいて、前記少なくとも１つの撮像部の撮像範囲に被写体としての複数の顔が含まれているか否かを判定する判定手段と、
   前記撮像範囲に複数の顔が含まれていないと前記判定手段によって判定されている間、前記所定の操作に応じた撮影を禁止する撮影禁止手段と、
   前記撮像範囲に複数の顔が含まれていると前記判定手段によって判定されている間、前記所定の操作に応じた撮影が可能であることを報知する報知手段として機能させる、画像生成プログラム。
2. 前記コンピュータを、前記撮像画像取得手段によってリアルタイムに取得される撮像画像を表示手段に表示させ、前記顔合成画像生成手段によって顔合成画像が生成されたことを条件として、当該顔合成画像を前記撮像画像に代えて前記表示手段に表示させる第１表示制御手段として更に機能させる、請求項１に記載の画像生成プログラム。
3. 前記コンピュータを、第１撮像部により撮像された第１撮像画像を表示手段の第１表示領域に表示させ、第２撮像部により撮像された第２撮像画像を前記第１表示領域とは異なる前記表示手段の第２表示領域に表示させる第２表示制御手段として更に機能させる、請求項１に記載の画像生成プログラム。
4. 前記第２表示制御手段は、前記顔合成画像生成手段によって顔合成画像が生成されたことを条件として、当該顔合成画像を前記第１撮像画像及び前記第２撮像画像に代えて前記表示手段に表示させる、請求項３に記載の画像生成プログラム。
5. 前記第１撮像部及び前記第２撮像部のいずれか一方の撮像方向が前記表示手段の法線方向と一致し、且つ前記第１撮像部及び前記第２撮像部の他方の撮像方向が当該法線方向の逆方向と一致する、請求項３に記載の画像生成プログラム。
6. 前記撮像画像取得手段は、第１撮像部および第２撮像部により前記撮像画像を取得し、
   前記コンピュータを、
   前記第１撮像部の第１撮像範囲に被写体としての顔が含まれているという第１条件、及び前記第２撮像部の第２撮像範囲に被写体としての顔が含まれているという第２条件がいずれか一方でも満たされていない場合に、前記第１撮像部および前記第２撮像部による撮影を禁止する撮影禁止手段として更に機能させる、請求項１に記載の画像生成プログラム。
7. 前記撮像画像取得手段は、第１撮像部および第２撮像部により前記撮像画像を取得し、
   前記コンピュータを、
   前記第１撮像部の第１撮像範囲に被写体としての顔が含まれている場合に、その旨を示唆する第１示唆画像を表示する第１示唆画像表示手段と、
   前記第２撮像部の第２撮像範囲に被写体としての顔が含まれている場合に、その旨を示唆する第２示唆画像を表示する第２示唆画像表示手段として更に機能させる、請求項１に記載の画像生成プログラム。
8. 前記顔画像取得手段は、特定の操作に応じて、前記複数の顔領域から検出する前記第１顔領域を変更可能である、請求項１に記載の画像生成プログラム。
9. 所定の操作に応じて、少なくとも１つの撮像部によりリアルタイムに撮像画像を取得する撮像画像取得手段と、
   前記撮像画像取得手段によって取得された撮像画像に含まれる複数の顔領域から第１顔領域を検出し、当該第１顔領域の少なくとも一部の画像を第１顔画像として取得する顔画像取得手段と、
   前記複数の顔領域のうちの前記第１顔領域とは異なる第２顔領域の少なくとも一部を前記第１顔画像に差し替えた顔合成画像を生成する顔合成画像生成手段と、
   前記撮像画像に基づいて、前記少なくとも１つの撮像部の撮像範囲に被写体としての複数の顔が含まれているか否かを判定する判定手段と、
   前記撮像範囲に複数の顔が含まれていないと前記判定手段によって判定されている間、前記所定の操作に応じた撮影を禁止する撮影禁止手段と、
   前記撮像範囲に複数の顔が含まれていると前記判定手段によって判定されている間、前記所定の操作に応じた撮影が可能であることを報知する報知手段とを備える、撮像装置。
10. 所定の操作に応じて、少なくとも１つの撮像部によりリアルタイムに撮像画像を取得する撮像画像取得手段と、
    前記撮像画像取得手段によって取得された撮像画像に含まれる複数の顔領域から第１顔領域を検出し、当該第１顔領域の少なくとも一部の画像を第１顔画像として取得する顔画像取得手段と、
    前記複数の顔領域のうちの前記第１顔領域とは異なる第２顔領域の少なくとも一部を前記第１顔画像に差し替えた顔合成画像を生成する顔合成画像生成手段と、
    前記撮像画像に基づいて、前記少なくとも１つの撮像部の撮像範囲に被写体としての複数の顔が含まれているか否かを判定する判定手段と、
    前記撮像範囲に複数の顔が含まれていないと前記判定手段によって判定されている間、前記所定の操作に応じた撮影を禁止する撮影禁止手段と、
    前記撮像範囲に複数の顔が含まれていると前記判定手段によって判定されている間、前記所定の操作に応じた撮影が可能であることを報知する報知手段とを含む、撮像システム。
11. 撮像装置に実行される画像生成方法であって、
    所定の操作に応じて、少なくとも１つの撮像部によりリアルタイムに撮像画像を取得するステップと、
    取得された前記撮像画像に含まれる複数の顔領域から第１顔領域を検出し、当該第１顔領域の少なくとも一部の画像を第１顔画像として取得するステップと、
    前記複数の顔領域のうちの前記第１顔領域とは異なる第２顔領域の少なくとも一部を前記第１顔画像に差し替えた顔合成画像を生成するステップと、
    前記撮像画像に基づいて、前記少なくとも１つの撮像部の撮像範囲に被写体としての複数の顔が含まれているか否かを判定するステップと、
    前記撮像範囲に複数の顔が含まれていないと判定されている間、前記所定の操作に応じた撮影を禁止するステップと、
    前記撮像範囲に複数の顔が含まれていると判定されている間、前記所定の操作に応じた撮影が可能であることを報知するステップとを含む、画像生成方法。
    

Images