WO2015186401A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

　ゲーム装置１０は、撮像装置が撮像した撮像画像を取得し、取得した撮像画像に含まれる追跡対象を検出する検出部と、追跡対象が検出された位置に応じて、所定の画像を表示する位置を算出する制御部と、撮像画像に重畳して、撮像画像の制御部により算出された位置に所定の画像を表示する表示画像を生成し、生成した表示画像を表示装置に表示する画像生成部１１１と、を備える。

Description

画像処理装置、画像処理方法及び画像処理プログラム

　本発明は、画像処理技術に関し、とくに、撮像された画像を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。

　撮像装置により撮像された実写画像を利用したゲームが提供されている。ユーザは、自身の周辺が撮像された画像を見ながら、ゲームプレイを楽しむことができる。

　本発明者らは、このような実写画像を利用したゲームにおいて、娯楽性を向上させるための新たな技術に想到した。

　本発明はこうした状況に鑑みてなされたものであり、その目的は、より娯楽性の高いゲームを提供することにある。

　上記課題を解決するために、本発明のある態様の画像処理装置は、撮像装置が撮像した撮像画像を取得し、取得した撮像画像に含まれる追跡対象を検出する検出部と、追跡対象が検出された位置に応じて、所定の画像を表示する位置を算出する制御部と、撮像画像に重畳して、撮像画像の制御部により算出された位置に所定の画像を表示する表示画像を生成し、生成した表示画像を表示装置に表示する生成部と、を備える。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、より娯楽性の高いゲームを提供することができる。

本発明の実施の形態に係るゲームシステムを示す図である。 図２（ａ）は入力装置上面の外観構成を示す図であり、図２（ｂ）は入力装置奥側側面の外観構成を示す図である。 ゲーム装置の機能ブロック図を示す図である。 ゲーム装置の構成を示す図である。 携帯情報端末の構成を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 携帯端末装置の表示装置に表示される画面の例を示す図である。 携帯端末装置の表示装置に表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 携帯端末装置の表示装置に表示される画面の例を示す図である。 携帯端末装置の表示装置に表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 携帯端末装置の表示装置に表示される画面の例を示す図である。 携帯端末装置の表示装置に表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 携帯端末装置の表示装置に表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 配信サーバにより配信される動画像を視聴するユーザの端末の表示装置に表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 携帯端末装置の表示装置に表示される画面の例を示す図である。 出力装置のディスプレーに表示される画面の例を示す図である。 実施の形態に係るゲーム制御方法の手順を示すフローチャートである。 実施の形態に係るゲーム制御方法の手順を示すフローチャートである。 実施の形態に係るゲーム制御方法の手順を示すフローチャートである。 実施の形態に係るゲーム制御方法の手順を示すフローチャートである。 実施の形態に係るゲーム制御方法の手順を示すフローチャートである。

　図１は、本発明の実施の形態に係るゲームシステム１の構成を示す。ゲームシステム１は、ゲーム装置１０と、ゲーム装置１０のユーザによって操作される入力装置６ａ、６ｂと、ゲーム装置１０のユーザによって操作される携帯端末装置９ａ、９ｂとを備える。ゲーム装置１０は、アクセスポイント（ＡＰ）８経由で、外部のネットワーク３に接続された配信サーバ５や他のユーザの携帯端末装置９ｃ、９ｄなどと通信可能に接続される。ゲーム装置１０には、複数のユーザが同時にログインすることができる。

　補助記憶装置２は、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリなどの大容量記憶装置であり、ＵＳＢ（Universal Serial Bus）などによってゲーム装置１０と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置４は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。ゲーム装置１０は、ユーザが操作する入力装置６と無線又は有線で接続し、入力装置６はユーザの操作結果を示す操作情報をゲーム装置１０に出力する。ゲーム装置１０は、更に、ユーザが操作する携帯端末装置９と無線又は有線で接続し、携帯端末装置９はユーザの操作結果を示す操作情報や、ゲーム装置１０において実行されるゲームプログラムなどにより使用されるデータなどをゲーム装置１０に送信する。ゲーム装置１０は、入力装置６又は携帯端末装置９からの操作情報を受け付けると、ＯＳ（システムソフトウェア）やゲームプログラムなどの処理に反映し、出力装置４から処理結果を出力させる。

　撮像装置であるカメラ７は出力装置４の近傍に設けられ、出力装置４周辺の空間を撮像する。図１ではカメラ７が出力装置４の上部に取り付けられている例を示しているが、出力装置４の側方に配置されてもよく、いずれにしても出力装置４の前方でゲームをプレイするユーザを撮像できる位置に配置される。なおカメラ７はステレオカメラであってよいし、測距カメラであってもよい。

　入力装置６は、ゲーム装置１０にユーザの操作情報を提供するゲームコントローラであってもよい。ゲームコントローラは、複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。

　携帯端末装置９は、スマートフォンやタブレットなどの携帯型情報端末であってもよいし、携帯型ゲーム装置であってもよい。携帯端末装置９は、ゲーム装置１０において実行されるゲームプログラムにユーザの操作情報やゲームのデータなどを送信するためのアプリケーションを実行する。

　本実施の形態のゲーム装置１０は、カメラ７が撮像したユーザの周辺の実写画像を利用したゲームを提供するとともに、ユーザがプレイしているゲームの画面を他のユーザに対して配信する機能を有する。ゲーム装置１０は、ユーザＡ及びＢがゲームを実行しているときに、ユーザＡ又はＢからゲームの画面を配信する指示を受け付けると、ネットワーク３を介して配信サーバ５へゲームの画面のデータをアップロードする。ユーザＣ及びＤは、携帯端末装置９、ゲーム装置１０、パーソナルコンピュータなどを用いて、ネットワーク３を介して配信サーバ５にアクセスし、配信されているゲームの動画像を視聴することができる。ゲームの動画像は、配信サーバからストリーミング配信されてもよいし、配信サーバに蓄積された動画像がダウンロード配信されてもよい。

　入力装置６のボタン構成について説明する。
［上面部の構成］
　図２（ａ）は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置６を操作する。入力装置６の筐体上面には、入力部である方向キー７１、アナログスティック７７ａ、７７ｂと、４種の操作ボタン７６が設けられている。４種のボタン７２～７５には、それぞれを区別するために、異なる色で異なる図形が記されている。すなわち、○ボタン７２には赤色の丸、×ボタン７３には青色のバツ、□ボタン７４には紫色の四角形、△ボタン７５には緑色の三角形が記されている。筐体上面上において、方向キー７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。

　２つのアナログスティック７７ａ、７７ｂの間に機能ボタン８０が設けられる。機能ボタン８０は、入力装置６の電源をオンし、同時に入力装置６とゲーム装置１０とを接続する通信機能をアクティブにするために使用される。入力装置６がゲーム装置１０と接続した後は、機能ボタン８０は、ゲーム装置１０にメニュー画面を表示させるためにも使用される。

　ＳＨＡＲＥボタン８１は、タッチパッド７９と方向キー７１の間に設けられる。ＳＨＡＲＥボタン８１は、ゲーム装置１０におけるＯＳないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。またＯＰＴＩＯＮＳボタン８２は、タッチパッド７９と操作ボタン７６の間に設けられる。ＯＰＴＩＯＮＳボタン８２は、ゲーム装置１０において実行されるアプリケーション（ゲーム）に対するユーザからの指示を入力するために利用される。ＳＨＡＲＥボタン８１およびＯＰＴＩＯＮＳボタン８２は、いずれもプッシュ式ボタンとして形成されてよい。

［奥側側面部の構成］
　図２（ｂ）は、入力装置奥側側面の外観構成を示す。入力装置６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部８５が設けられる。発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、ゲーム装置１０から送信される発光色情報にしたがって点灯する。

　筐体奥側側面において、上側ボタン８３ａ、下側ボタン８４ａと、上側ボタン８３ｂ、下側ボタン８４ｂとが長手方向の左右対称な位置に設けられる。上側ボタン８３ａ、下側ボタン８４ａは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン８３ｂ、下側ボタン８４ｂは、それぞれユーザ左手の人差し指、中指により操作される。図示されるように発光部８５が、右側の上側ボタン８３ａ、下側ボタン８４ａの並びと、左側の上側ボタン８３ｂ、下側ボタン８４ｂの並びの間に設けられることで、各ボタンを操作する人差し指または中指によって隠れることはなく、カメラ７は、点灯した発光部８５を好適に撮像することができる。上側ボタン８３はプッシュ式ボタンとして構成され、下側ボタン８４は回動支持されたトリガー式のボタンとして構成されてよい。

　図３は、ゲーム装置１０の機能ブロック図を示す。ゲーム装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

　メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵは補助記憶装置２に記録されたゲームプログラムを実行する機能をもつ。

　サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えず、ゲームプログラムを実行する機能をもたない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間においても動作し、消費電力を低く抑えるべく、その処理機能を制限されている。

　メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、ゲーム装置１０の筐体の前面に設けられ、ゲーム装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。

　システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。

　クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。

　デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

　メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。

　ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ－２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介してネットワーク３に接続する。

　図４は、ゲーム装置１０の構成を示す。ゲーム装置１０は、通信部１０２、制御部１１０及びデータ保持部１６０を備える。図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　通信部１０２は、図３に示す無線通信モジュール３８及び有線通信モジュール４０の機能を有し、ネットワーク３を介した通信を制御する。データ保持部１６０は、補助記憶装置２に設けられ、ゲームプログラムが使用するデータなどを格納する。制御部１１０は、画像生成部１１１、音声生成部１１２、配信制御部１１３、マスク制御部１１４、顔検出部１１５、バルーン制御部１１６、コントローラ検出部１１７、差分検出部１１８、ビルボード制御部１１９、鏡面画像制御部１２０及び投票制御部１２１を備える。

　画像生成部１１１は、制御部１１０の他の構成により制御されるゲームの画像を生成する。音声生成部１１２は、制御部１１０の他の構成により制御されるゲームの音声を生成する。画像生成部１１１及び音声生成部１１２は、生成した画像及び音声のデータを出力装置４に出力する。配信制御部１１３は、画像生成部１１１及び音声生成部１１２が生成したゲームの画像及び音声のデータを他のユーザに配信する指示をユーザから受け付けると、画像生成部１１１が生成した画像のデータ及び音声生成部１１２が生成した音声のデータを、通信部１０２を介して配信サーバ５へアップロードする。制御部１１０の他の構成の詳細については後述する。

　図５は、携帯情報端末の構成を示す。携帯端末装置９は、通信部２０２、制御部２１０、データ保持部２６０、入力装置２６１、タッチパッド２６２、表示装置２６３及びスピーカ２６４を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。

　通信部２０２は、ネットワーク３を介した通信を制御する。データ保持部２６０は、記憶装置に設けられ、ゲーム装置１０において実行されるゲームプログラムを制御するために携帯端末装置９の制御部２１０において実行されるアプリケーションが使用するデータなどを格納する。表示装置２６３は、制御部２１０により生成された画像を表示する。スピーカ２６４は、制御部２１０により生成された音声を出力する。入力装置２６１は、ユーザからの指示を制御部２１０に入力する。タッチパッド２６２は、表示装置２６３に併設され、ユーザからの指示を制御部２１０に入力する。

　制御部２１０は、画像生成部２１１、音声生成部２１２、メニュー表示部２１３、マスク指示受付部２１４、バルーン指示受付部２１５、ビルボード指示受付部２１６、鏡面画像指示受付部２１７及び投票指示受付部２１８を備える。画像生成部２１１は、制御部２１０の他の構成により制御されるゲームの画像を生成して表示装置２６３に出力する。音声生成部２１２は、制御部２１０の他の構成により制御されるゲームの音声を生成してスピーカ２６４に出力する。制御部２１０の他の構成の詳細については後述する。

（マスク表示）
　実施の形態に係るゲーム装置１０は、ユーザの顔の位置を追跡し、ユーザの顔にマスクの画像を重畳して表示することにより、ユーザがマスクをかぶっているような映像を生成する機能を提供する。

　携帯端末装置９のマスク指示受付部２１４は、メニュー表示部２１３が表示したメニュー画面を介して、マスクを表示する指示をユーザから受け付けると、ゲーム装置１０へ指示を送信する。ゲーム装置１０のマスク制御部１１４は、携帯端末装置９からマスクを表示する指示を受信すると、カメラ７により撮像された画像に含まれる人間の顔を顔検出部１１５に検出させる。

　顔検出部１１５は、カメラ７により撮像された画像に含まれる人間の顔を検出する。顔検出部１１５は、所定のタイミングでカメラ７により撮像された画像のデータを取得し、既知の任意の顔認識技術を用いて人間の顔を検出する。マスクが表示されている間、顔検出部１１５は、カメラ７により撮像された全てのフレームについて顔認識を実行してもよいし、所定数のフレームごとに顔認識を実行してもよい。顔検出部１１５が、所定の時間間隔で連続して、カメラ７により撮像された画像に含まれる顔を検出することにより、撮像されている人の顔を追跡することができる。

　マスク制御部１１４は、マスクをいずれのユーザの顔に表示するかの指示を受け付けるために、顔検出部１１５により検出された顔の画像のデータを携帯端末装置９へ送信する。マスク指示受付部２１４は、ゲーム装置１０から受信した顔の画像の一覧を表示装置２６３に表示し、マスクを表示する顔の選択指示をユーザから受け付ける。マスク指示受付部２１４は、入力装置２６１又はタッチパッド２６２を介してユーザから選択指示を受け付けると、受け付けた選択指示をゲーム装置１０へ送信する。

　マスク指示受付部２１４は、更に、マスクとして表示すべき画像の種類の選択指示をユーザから受け付ける。マスクとして表示すべき画像は、携帯端末装置９のデータ保持部２６０又はゲーム装置１０のデータ保持部１６０に格納された２次元画像データ又は３次元形状データの中から選択されてもよいし、ユーザにより描画された画像であってもよい。後者の場合、マスク指示受付部２１４は、描画画面を表示装置２６３に表示し、ユーザから画像の描画を受け付ける。マスク指示受付部２１４は、画像の選択指示を受け付けると、受け付けた選択指示をゲーム装置１０へ送信する。このとき、ユーザが描画した画像、又は、ゲーム装置１０のデータ保持部１６０にデータが格納されていない画像が選択された場合は、画像データもゲーム装置１０へ送信する。

　マスク制御部１１４は、顔検出部１１５により検出された人間の顔のうち、携帯端末装置９を介してユーザから指示された人の顔の位置に、指示された種類のマスクの画像を重畳して表示する。マスク制御部１１４は、顔検出部１１５が検出した顔の大きさに合わせて、表示すべきマスクの画像を拡大又は縮小し、検出された顔の位置に表示する。

　顔検出部１１５は、顔の輪郭の形状や目、鼻及び口の位置などを検出することにより、顔の向きを検出する。マスク制御部１１４は、顔検出部１１５により検出された顔の向きに合わせて、マスクの画像を回転させて表示する。マスクとして表示される画像が、３次元形状データをレンダリングすることにより生成される画像である場合は、マスク制御部１１４は、検出された顔の向きに合わせて３次元形状データを回転させてレンダリングする。このとき、顔の位置とカメラ７の位置とを結ぶ直線方向を基準方向として、検出された顔の回転角度よりも更に所定の角度回転させた角度をマスクの画像の回転角度としてもよい。すなわち、マスクが顔に表示されているユーザが、顔を傾けたり回転させたりしたときに、実際の傾き又は回転角度よりも大きくマスクの画像を傾けたり回転させてもよい。これにより、マスクの画像の回転をより強調し、マスクの画像が顔の回転に合わせて回転されたことを分かりやすく示すことができる。顔の基準方向からの回転角度が大きいほど、実際の回転角度よりも更に回転させる角度を大きくしてもよい。

　マスクとして表示される画像が２次元画像である場合は、顔の位置とカメラ７の位置とを結ぶ直線の周りに顔が回転されたときには顔の回転に合わせてマスクを回転させる一方、顔の位置とカメラ７の位置とを結ぶ直線に垂直な直線の周りの顔の回転は無視してもよい。別の例においては、顔の位置とカメラ７の位置とを結ぶ直線に垂直な垂直の周りに顔が回転している場合は、マスクとして表示する画像を、その直線に垂直な方向に縮小して表示してもよい。更に別の例においては、頭をモデリングした立体、又は、球若しくは円筒などの立体の表面に、マスクとして表示される２次元画像をテクスチャとして貼り付け、顔の向きに合わせて立体を回転させることにより、マスクとして表示される画像を回転させてもよい。この場合も、実際の顔の回転角度よりも大きい角度でマスクとして表示される画像を回転させてもよい。

　マスクを表示している人の顔がカメラ７の視野から外れたり、その人がカメラ７に背を向けたり顔を隠したりして、顔検出部１１５が顔を検出することができなくなったときは、マスク制御部１１４はマスクを消去する。このとき、マスクを表示していた領域にノイズが入る様子や、画面に表示しているキャラクタがマスクに対して邪魔をしている様子などを表示した後、マスクを消去してもよい。

　図６は、出力装置４のディスプレーに表示される画面４００の例を示す。出力装置４のディスプレーには、カメラ７により撮像された画像が表示されるとともに、撮像画像にキャラクタ３００が重畳されて表示されている。

　図７は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。携帯端末装置９のマスク指示受付部２１４は、ユーザがマスクを描画するための描画画面５００を表示装置２６３に表示する。ユーザは、描画画面５００において、マスクとして表示すべき画像を描画することができる。この描画画面５００は、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。

　図８は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。携帯端末装置９のマスク指示受付部２１４は、マスクを顔に表示するユーザの選択指示をユーザから受け付けるために、ゲーム装置１０の顔検出部１１５により検出された撮像画像中の全ての顔の画像データをゲーム装置１０から取得し、取得したユーザの顔の一覧５０２を表示装置２６３に表示する。ユーザは、顔の一覧５０２が表示された画面において、カメラ７により撮像され顔検出部１１５により検出された全ての人の顔の中から、いずれの人の顔にマスクを付けるのかを選択することができる。この顔の一覧５０２の画面も、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されないマスク指示受付部２１４は、表示された顔の一覧５０２の中からユーザによる選択指示を受け付けると、受け付けた選択指示をゲーム装置１０へ送信する。

　図９は、出力装置４のディスプレーに表示される画面４００の例を示す。ゲーム装置１０のマスク制御部１１４は、携帯端末装置９からマスクを表示する顔の選択指示を取得すると、キャラクタ３００がその顔にマスクの素材を吹き付ける様子を表示する。

　図１０は、出力装置４のディスプレーに表示される画面４００の例を示す。キャラクタ３００が顔にマスクの素材を吹き付けるアニメーション表示が終了すると、マスク制御部１１４は、顔検出部１１５により検出された顔の位置にマスク３１０を表示する。

　図１１は、出力装置４のディスプレーに表示される画面４００の例を示す。顔にマスク３１２が表示されているユーザが顔を傾けると、マスク制御部１１４は、顔検出部１１５により検出された顔の傾きよりも大きくマスク３１２を傾けて表示する。

　図１２は、出力装置４のディスプレーに表示される画面４００の例を示す。顔にマスク３１２が表示されているユーザが顔を手で覆って隠すと、顔検出部１１５はユーザの顔を検出できなくなる。このとき、マスク制御部１１４は、表示されていたマスク３１２が消えていく様子をアニメーション表示し、アニメーション表示が終了するとマスク３１２を消去する。

（バルーン表示）
　実施の形態に係るゲーム装置１０は、入力装置６の位置を追跡し、入力装置６の位置から伸びる紐と、紐に繋がれたオブジェクトを表示することにより、入力装置６にバルーンが繋がれているような映像を生成する機能を提供する。

　携帯端末装置９のバルーン指示受付部２１５は、メニュー表示部２１３が表示したメニュー画面を介して、バルーンを表示する指示をユーザから受け付けると、ゲーム装置１０へ指示を送信する。ゲーム装置１０のバルーン制御部１１６は、携帯端末装置９からバルーンを表示する指示を受信すると、ゲーム装置１０により認識されている現在アクティブな入力装置６の識別情報を携帯端末装置９へ送信する。

　バルーン指示受付部２１５は、現在アクティブな入力装置６の中から、バルーンを繋ぐ入力装置６の選択指示をユーザから受け付ける。バルーン指示受付部２１５は、更に、バルーンとして表示すべき画像の種類の選択指示をユーザから受け付ける。バルーンとして表示すべき画像は、携帯端末装置９のデータ保持部２６０又はゲーム装置１０のデータ保持部１６０に格納された２次元画像データ又は３次元形状データの中から選択されてもよいし、ユーザにより描画された画像であってもよい。後者の場合、バルーン指示受付部２１５は、描画画面を表示装置２６３に表示し、ユーザから画像の描画を受け付ける。バルーン指示受付部２１５は、入力装置６の選択指示と画像の選択指示を受け付けると、受け付けた選択指示をゲーム装置１０へ送信する。このとき、ユーザが描画した画像、又は、ゲーム装置１０のデータ保持部１６０にデータが格納されていない画像が選択された場合は、画像データもゲーム装置１０へ送信する。バルーン制御部１１６は、バルーンの画像の種類と、そのバルーンが繋がれる入力装置６との対応関係を保持する。

　入力装置６のタッチパッド７９が押下されたとき、その入力装置６にバルーンが対応付けられている場合は、バルーン制御部１１６は、入力装置６の位置に、その入力装置６に対応付けられている画像を表示し、タッチパッド７９が押下されている間、画像を拡大する。タッチパッド７９から指が離されると、バルーン制御部１１６は、入力装置６に繋がれた紐の先端に、タッチパッド７９に対する入力時間に応じて拡大された画像を表示する。バルーン制御部１１６は、画像を元の大きさで表示してもよいし、所定の大きさにリサイズして表示してもよいし、画像を拡大又は縮小する指示をユーザから受け付けて画像を拡大又は縮小して表示してもよい。バルーン制御部１１６は、バルーンをモデリングした立体、又は、球若しくは回転楕円体などの立体の表面に、バルーンとして表示される２次元画像をテクスチャとして貼り付けて表示してもよい。立体の複数の面に同じ画像を貼り付けてもよい。バルーン制御部１１６は、タッチパッド７９に対する入力時間に応じて紐の長さを決定してもよいし、所定の長さにしてもよい。

　コントローラ検出部１１７は、カメラ７により撮像された画像に含まれる入力装置６を検出する。コントローラ検出部１１７は、所定のタイミングでカメラ７により撮像された画像のデータを取得し、既知の画像解析技術を用いて発光部８５により発せられた光を検出する。コントローラ検出部１１７は、カメラ７により撮像された全てのフレームについて入力装置６の位置を検出してもよいし、所定数のフレームごとに入力装置６の位置を検出してもよい。コントローラ検出部１１７が、所定の時間間隔で連続して、カメラ７により撮像された画像に含まれる入力装置６の位置を検出することにより、撮像されている入力装置６の位置を追跡することができる。

　バルーン制御部１１６は、バルーンに対して所定の浮力を設定し、入力装置６の移動に合わせてバルーンが移動する様子を物理計算によりシミュレーションして表示してもよい。バルーンと入力装置６とを繋ぐ紐の所定位置に制御点を設け、制御点の動きをシミュレーションすることにより紐全体の動きをシミュレーションしてもよい。バルーン制御部１１６は、物理現象の一部を簡略化した簡易なシミュレーションによりバルーンを移動させてもよい。

　差分検出部１１８は、動画像においてフレーム間の差分を検出する。差分検出部１１８は、バルーンが表示されている間、少なくともバルーンの周囲におけるフレーム間の差分を検出する。バルーン制御部１１６は、差分検出部１１８により、バルーンの近傍の所定の領域よりも広い領域において、所定の期間にわたって、所定量以上の差分を検出したとき、差分が生じた領域の位置からバルーンの重心に向かう方向に、差分の量、差分が生じた領域の広さ、又は差分が生じた期間に応じた大きさの力をバルーンに作用させ、物理計算によりバルーンを移動させる。これにより、例えば、ユーザが手でバルーンを叩く動作をとることによりバルーンを動かすことができるので、娯楽性の高い相互作用を体験することが可能な環境を提供することができる。バルーン制御部１１６は、物理計算ではなく、簡易なシミュレーションによりバルーンを移動させてもよい。例えば、差分が生じた領域とは逆の方向に所定量バルーンを移動させてもよい。

　バルーン制御部１１６は、動画像におけるフレーム間の差分の検出に代えて、又は、差分の検出に加えて、カメラ７により撮像された画像の解析によりユーザの体の動きを追跡し、ユーザの体の一部がバルーンに当たったと判定したときに、バルーンに力を作用させてバルーンを移動させてもよい。例えば、ユーザの手の形状を認識し、ユーザの手がバルーンに当たったときに、バルーンを移動させてもよい。

　入力装置６がカメラ７の視野から外れたり、ユーザが入力装置６をカメラ７とは逆の方向に向けたり、発光部８５を手で覆ったりして、コントローラ検出部１１７が入力装置６を検出することができなくなったときは、バルーン制御部１１６はバルーンを消去する。このとき、バルーンを入力装置６に繋いでいた紐が切れて、バルーンが上方へ飛んでいく様子などを表示した後、バルーンを消去してもよい。

　図１３は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。携帯端末装置９のバルーン指示受付部２１５は、ユーザがバルーンを描画するための描画画面５１０を表示装置２６３に表示する。ユーザは、描画画面５１０において、バルーンとして表示すべき画像を描画することができる。この描画画面５１０は、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。

　図１４は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。バルーン指示受付部２１５は、バルーンを表示する入力装置６の選択指示をユーザから受け付けるために、現在アクティブな入力装置６の識別情報をゲーム装置１０から取得し、取得したアクティブな入力装置６の一覧５１２を表示装置２６３に表示する。バルーン指示受付部２１５は、表示された入力装置６の一覧５１２の中からユーザによる選択指示を受け付けると、受け付けた選択指示をゲーム装置１０へ送信する。この一覧５１２の画面も、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。

　図１５は、出力装置４のディスプレーに表示される画面４００の例を示す。バルーン制御部１１６は、携帯端末装置９からバルーンを表示する入力装置６の選択指示を取得すると、キャラクタ３００がその入力装置６に光を照射する様子を表示し、キャラクタ３００が入力装置６にバルーンを表示する機能を付与したような演出を表示する。

　図１６は、出力装置４のディスプレーに表示される画面４００の例を示す。バルーン制御部１１６は、入力装置６からタッチパッド７９が押下されたことを示す情報を取得すると、その入力装置６に対応付けられた画像３２０が、その入力装置６の位置から膨らんでくる様子を表示する。

　図１７は、出力装置４のディスプレーに表示される画面４００の例を示す。バルーン制御部１１６は、入力装置６からタッチパッド７９から指が離されたことを示す情報を取得すると、その入力装置６に対応付けられた画像３２０が、その入力装置６に紐３２２で繋がれた様子を表示する。バルーンは、追跡対象である入力装置６の移動に追随するように、入力装置６が検出された位置に応じてバルーン制御部１１６により算出される位置に表示される第１の部分である紐３２２の根の部分と、紐３２２の根の部分の移動に従属してバルーン制御部１１６により移動される第２の部分である画像３２０とを含む。バルーン制御部１１６は、コントローラ検出部１１７により検出される入力装置６の位置に追随して紐３２２の根の部分を移動させ、紐３２２により引っ張られるようにバルーンの画像３２０を移動させる。また、差分検出部１１８によりバルーンの画像３２０の周囲で差分が検出された場合は、検出された差分に応じてバルーンの画像３２０を移動させる。

　図１８は、出力装置４のディスプレーに表示される画面４００の例を示す。バルーン制御部１１６は、コントローラ検出部１１７から入力装置６の発光部８５を検出できないことを示す情報を取得すると、その入力装置６に繋がれていたバルーンの紐３２２を切断し、紐３２２の根の部分とバルーンの画像３２０を分離させる。ユーザは、バルーンの紐３２２の根の部分が入力装置６に追随して移動されることを、出力装置４に表示される画面から認識することができるので、追跡対象である入力装置６の発光部８５及び発光部８５に追随する紐３２２の根の部分を隠すことと、紐３２２に従属して移動されるバルーンの画像３２０を入力装置６から切り離すこととの関係性を容易に理解することができる。バルーン制御部１１６は、バルーンの浮力に応じて、紐３２２から切り離されたバルーンを上方に移動させてもよいし、空中をふわふわと浮遊させてもよい。

（ビルボード表示）
　実施の形態に係るゲーム装置１０は、ユーザが描画した文字や画像などを掲示したビルボードを画面に表示する機能を提供する。

　携帯端末装置９のビルボード指示受付部２１６は、メニュー表示部２１３が表示したメニュー画面を介して、ビルボードを表示する指示をユーザから受け付けると、画像の描画画面を表示装置２６３に表示し、ビルボードとして表示すべき画像の描画を受け付ける。ビルボード指示受付部２１６は、ユーザが画像の描画を終了すると、ビルボードを表示する指示をゲーム装置１０へ送信する。このとき、ユーザが描画した画像のデータもゲーム装置１０へ送信する。また、ビルボードを表示する画面の位置の指示をユーザから受付、受け付けた表示位置をゲーム装置１０へ送信する。

　ゲーム装置１０のビルボード制御部１１９は、携帯端末装置９から取得した画像を、ゲーム画面の指示された位置にビルボードとして表示する。ユーザがプレイ中の画面を配信している場合、画面に表示されたビルボードも配信される画面に表示されるので、ユーザは視聴者に対するメッセージなどをビルボードに掲示しておくことができる。例えば、配信しているゲームの内容、ゲームに関するコメント、配信している動画像のテーマ、視聴者に対する告知などをビルボードに掲示することができる。

　上述したバルーンの例と同様に、差分検出部１１８が、表示されているビルボードの近傍においてフレーム間の差分を検出すると、ビルボード制御部１１９は、検出された差分に応じて、表示されているビルボードに影響を与える。例えば、ビルボード制御部１１９は、差分検出部１１８により、ビルボードの近傍の所定の領域よりも広い領域において、所定の期間にわたって、所定量以上の差分を検出したとき、差分が生じた領域の位置からビルボードの重心に向かう方向に、差分の量、差分が生じた領域の広さ、又は差分が生じた期間に応じた大きさの力をビルボードに作用させ、物理計算によりビルボードを移動させる。これにより、例えば、ユーザが手でビルボードを叩く動作をとることによりビルボードを動かすことができるので、娯楽性の高い相互作用を体験することが可能な環境を提供することができる。ビルボード制御部１１９は、物理計算ではなく、簡易なシミュレーションによりビルボードを移動させてもよい。例えば、差分が生じた領域とは逆の方向に所定量ビルボードを移動させてもよい。ビルボードが半透明の画像として表示される場合、ビルボード制御部１１９は、差分が生じた領域において、ビルボードの画像にノイズが生じたり、ビルボードの背景に透過表示されている領域にノイズが生じたりする様子を表示してもよい。

　ビルボード制御部１１９は、動画像におけるフレーム間の差分の検出に代えて、又は、差分の検出に加えて、カメラ７により撮像された画像の解析によりユーザの体の動きを追跡し、ユーザの体の一部がビルボードに当たったと判定したときに、ビルボードに力を作用させてビルボードを移動させてもよい。例えば、ユーザの手の形状を認識し、ユーザの手がビルボードに当たったときに、ビルボードを移動させてもよい。

　図１９は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。携帯端末装置９のビルボード指示受付部２１６は、ユーザがビルボードを表示する位置を指示するための画面５２０を表示装置２６３に表示する。ユーザは、画面５２０において、ビルボードを表示すべき位置を指示する。このとき、ビルボード指示受付部２１６は、カメラ７による撮像画像、又は、画像生成部１１１により生成された表示画像をゲーム装置１０から取得して画面５２０に表示し、ビルボードを表示すべき位置及び大きさの指示を受け付ける。これにより、ユーザは、出力装置４や配信先の視聴者の端末などに表示される画像を確認しながら、ビルボードを表示する位置や大きさを調整することができる。既に他のビルボードが表示されている場合は、ビルボードに設定した画像を設定した位置に表示してもよい。この画面５２０は、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。

　図２０は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。ビルボード指示受付部２１６は、ユーザがビルボードを描画するための描画画面５２２を表示装置２６３に表示する。ユーザは、描画画面５２２において、ビルボードとして表示すべき画像を描画することができる。この描画画面５２２も、携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。

　図２１は、出力装置４のディスプレーに表示される画面４００の例を示す。ゲーム装置１０のビルボード制御部１１９は、携帯端末装置９からビルボードとして表示する画像のデータを取得すると、キャラクタ３００がビルボードの素材をビルボードの表示位置に吹き付ける様子を表示する。

　図２２は、出力装置４のディスプレーに表示される画面４００の例を示す。キャラクタ３００がビルボードの素材を吹き付けるアニメーション表示が終了すると、ビルボード制御部１１９は、ユーザから指示された位置にビルボード３３０を表示する。ビルボード３３０は、両端を２つのオブジェクト３３２及び３３４により支持されている。

　図２３は、出力装置４のディスプレーに表示される画面４００の例を示す。ビルボード３３０の両端を支持している２つのオブジェクト３３２及び３３４は、顔検出部１１５により検出されたユーザの顔の位置の方に向くように回転されて表示される。

　図２４は、出力装置４のディスプレーに表示される画面４００の例を示す。ビルボード３３０の左端を支持しているオブジェクト３３２の近傍でユーザが手を動かすと、差分検出部１１８がフレーム間の差分を検出する。ビルボード制御部１１９は、オブジェクト３３２の近傍で差分が検出されると、オブジェクト３３２を揺らし、差分の量が大きい場合にはオブジェクト３３２を落下させる。ビルボード制御部１１９は、左端の支持を失ったビルボード３３０が垂れ下がる様子を表示する。ビルボード制御部１１９は、オブジェクト３３２が落下してから所定時間が経過すると、オブジェクト３３２が元の位置に戻って再びビルボード３３０の左端を支持する様子を表示する。

（鏡像画面左右反転機能）
　実施の形態に係るゲーム装置１０は、画面を左右反転させる機能を提供する。

　ゲーム装置１０の画像生成部１１１は、画面に表示されたバルーン、ビルボード、キャラクタなどとユーザが相互作用することを容易にするために、カメラ７により撮像された画像を左右反転させた鏡像画像を用いて画面を生成する。しかし、ユーザが動画像を配信しているときに、カメラ７により文字などを撮像させて視聴者に見せたい場合は、文字が左右反転してしまって読みづらくなってしまう。したがって、視聴者に対するメッセージなどをカメラ７に撮像させて視聴者に配信するときなどのために、必要に応じてユーザの指示により画面を更に左右反転させ、カメラ７により撮像された元の画像を用いて生成された画面を配信する機能を提供する。

　鏡面画像制御部１２０は、入力装置６又は携帯端末装置９の鏡面画像指示受付部２１７から、表示画面を左右反転させる指示、すなわち、鏡像画像ではなくカメラ７により撮像された元の画像を表示する指示を受け付けると、画像生成部１１１に表示画面を左右反転させるよう指示する。画像生成部１１１は、鏡面画像制御部１２０から表示画面を左右反転させる指示を受け付けると、カメラ７により撮像された元の画像を用いて画面を生成することにより、画面を左右反転させる。

　鏡面画像制御部１２０は、表示画面を左右反転させる指示を受け付けたときに、動画像を配信しているユーザ自身が視聴する出力装置４のディスプレーに表示される画面と、配信サーバ５を介して配信される動画像の画面の双方を左右反転させてもよいし、いずれか一方のみを反転させてもよい。出力装置４のディスプレーに表示される画面を左右反転させる場合、顔検出部１１５、コントローラ検出部１１７及び差分検出部１１８は、顔、入力装置６及びフレーム間の差分を検出するために用いるカメラ７により撮像された画像を左右反転させてもよいし、左右反転させなくてもよい。左右反転させる場合は、顔、入力装置６及び差分が検出される位置と画面との対応関係が維持されるので、マスク、バルーン、ビルボードなどを違和感なく表示することができる。左右反転させない場合は、顔、入力装置６及び差分が検出される位置が画面上の位置と対応しなくなるが、顔、入力装置６及び差分が検出される位置が、画面が左右反転される前の位置から不連続的にジャンプすることはないので、滑らかに相互作用を続けることができる。また、顔、入力装置６及び差分が検出される位置が画面の位置と対応しないという斬新な楽しさを提供することができる。表示画面を左右反転させるときに、撮像画像のみを左右反転し、撮像画像に重畳表示されるキャラクタ、バルーン、ビルボードなどは左右反転しなくてもよいし、双方を左右反転させてもよい。前者の場合、ビルボードなどに表示された文字を読み取りやすくすることができる。後者の場合、表示画面が左右反転していることを視聴者にも分かりやすく示すことができる。なお、後者の場合、バルーンやビルボードなどのオブジェクトは左右反転し、オブジェクトに貼り付けられた、文字などを含むテクスチャは左右反転させなくてもよい。これにより、表示画面が左右反転していることを視聴者にも分かりやすく示しつつ、文字などを読み取りやすくすることができる。

（投票機能）
　実施の形態に係るゲーム装置１０は、動画像を配信しているユーザから視聴者に対するアンケートの実施指示を受け付け、配信された動画像を視聴している他のユーザからアンケートに対する投票を受け付ける機能を提供する。

　ゲーム装置１０の投票制御部１２１は、配信制御部１１３により表示画像が配信されている間、配信されている動画像に対する評価に関するアンケートの回答を視聴者から受け付ける。投票制御部１２１は、この常時回答を受付可能なデフォルトのアンケートのほかに、ユーザが独自に設定したアンケートの回答を視聴者から受付可能である。

　携帯端末装置９の投票指示受付部２１８は、ユーザが動画像を配信しているときに、メニュー表示部２１３が表示したメニュー画面を介して、視聴者に対するアンケートを実施する指示を受け付けると、アンケートの質問及び回答の選択肢をユーザから受け付けるための画面を表示装置２６３に表示し、アンケートの質問及び回答の選択肢をユーザから受け付ける。アンケートの回答の選択肢の数は予め定められた数であってもよい。例えば、入力装置６の操作ボタン７６の数である４つでもよい。投票指示受付部２１８は、受け付けたアンケートの質問及び回答の選択肢をゲーム装置１０へ送信する。投票指示受付部２１８は、受け付けたアンケートの質問及び回答の選択肢をデータ保持部２６０に格納しておき、データ保持部２６０に格納されているアンケートの実施をユーザから指示されたときに、データ保持部２６０からアンケートの質問及び回答の選択肢を読み出してゲーム装置１０へ送信してもよい。

　ゲーム装置１０の投票制御部１２１は、他のユーザに配信される画面に、携帯端末装置９から受け付けたアンケートの項目を掲示したビルボードを表示する。これにより、視聴者は、ユーザによるアンケートが実施されていることを知ることができる。投票制御部１２１は、他のユーザに配信する画面に、アンケートに対する投票を視聴者から受け付けるためのユーザインタフェースを含ませてもよい。このユーザインタフェースは、視聴者が動画像を視聴するために利用する携帯端末装置９、ゲーム装置１０又はパーソナルコンピュータに搭載されたブラウザにおいて実行可能なスクリプトなどにより実現されてもよい。このユーザインタフェースは、ゲーム装置１０から動画像を配信するサービスにおける標準機能として提供されてもよい。ユーザインタフェースは、視聴者からアンケートに対する投票を受け付けると、ゲーム装置１０に直接、又は、配信サーバ５を介してゲーム装置１０に、受け付けた投票の結果を送信する。

　投票制御部１２１は、視聴者の端末又は配信サーバ５から、視聴者による投票の結果を取得すると、投票の結果をデータ保持部１６０に格納する。投票制御部１２１は、アンケートの実施中に、携帯端末装置９の投票指示受付部２１８から途中経過の取得を要求されると、データ保持部１６０から投票の結果を読み出して携帯端末装置９へ送信する。投票指示受付部２１８は、ゲーム装置１０から取得した投票の途中経過を表示装置２６３に表示する。なお、投票の途中経過は、画像生成部１１１により生成される画面には表示されないので、出力装置４のディスプレーを視聴しているユーザや、配信サーバ５から配信される動画像を視聴しているユーザは、途中経過を見ることはできず、アンケートを作成した携帯端末装置９を使用しているユーザのみが途中経過を見ることができる。

　投票指示受付部２１８は、ユーザからアンケートの終了を指示されると、受け付けた指示をゲーム装置１０へ送信する。投票制御部１２１は、アンケートの終了指示を受け付けると、表示していたアンケートの項目を画面から消去する。

　投票指示受付部２１８は、ユーザからアンケートの結果の配信を指示されると、受け付けた指示をゲーム装置１０へ送信する。投票制御部１２１は、アンケートの結果の配信指示を受け付けると、データ保持部１６０からアンケートの結果を読み出して、画像生成部１１１により生成される画面に表示する。このように、特定の表示対象、例えば、配信制御部１１３から配信される動画像を視聴している他のユーザからゲーム装置１０が受け付けたアンケートへの回答などの情報は、アンケートの実施を要求したユーザの携帯端末装置９においては任意のタイミングで表示可能であるが、配信画像にはユーザの携帯端末装置９から公開の指示がない限りは表示されない。したがって、ユーザは動画像の配信中に、視聴者から非公開に情報を収集することができ、また、必要であればその情報を配信画像に表示して公開することもできる。

　図２５は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。携帯端末装置９の投票指示受付部２１８は、ユーザからアンケートの項目を受け付けるための画面５３０を表示装置２６３に表示する。ユーザは、画面５３０において、アンケートの項目を設定する。投票指示受付部２１８は、受け付けたアンケートの項目をゲーム装置１０へ送信する。

　図２６は、出力装置４のディスプレーに表示される画面４００の例を示す。ゲーム装置１０の投票制御部１２１は、携帯端末装置９からアンケートの項目を取得すると、キャラクタ３００がアンケート３４０をホログラムで表示する様子を表示する。

　図２７は、配信サーバ５により配信される動画像を視聴するユーザの端末の表示装置に表示される画面６００の例を示す。画面６００には、アンケートに回答するためのユーザインタフェースが設けられている。ユーザは、インタフェースを介して、アンケートに投票することができる。

　図２８は、出力装置４のディスプレーに表示される画面４００の例を示す。投票制御部１２１は、配信している動画像を視聴しているユーザからアンケートに対する投票を取得すると、アンケートに対する投票を取得したことを示すアイコン３４２を画面４００に表示する。

　図２９は、携帯端末装置９の表示装置２６３に表示される画面の例を示す。投票指示受付部２１８は、ユーザからアンケートの途中経過を取得する指示を受け付けると、受け付けた指示をゲーム装置１０へ送信する。投票制御部１２１は、アンケートの実施を要求した携帯端末装置９からアンケートの途中経過を取得する指示を受け付けると、データ保持部１６０からアンケートの結果を読み出して、携帯端末装置９へ送信する。投票指示受付部２１８は、アンケートの途中経過を示す画面５３２を表示装置２６３に表示する。この画面５３２は、アンケートの実施を要求した携帯端末装置９の表示装置２６３のみに表示され、配信制御部１１３から配信される画面には表示されない。すなわち、アンケートの実施を要求したユーザは、アンケートの結果を視聴者に公開することなく、途中経過を確認することができる。

　図３０は、出力装置４のディスプレーに表示される画面４００の例を示す。投票指示受付部２１８は、ユーザからアンケートの結果を配信する指示を受け付けると、受け付けた指示をゲーム装置１０へ送信する。投票制御部１２１は、アンケートの実施を要求した携帯端末装置９からアンケートの結果を配信する指示を受け付けると、データ保持部１６０からアンケートの結果を読み出して、集計したアンケートの結果３４４を画面４００に表示する。アンケートの結果３４４を表示した画面４００は、動画像を視聴しているユーザにも配信される。

　図３１は、実施の形態に係るゲーム制御方法の手順を示すフローチャートである。携帯端末装置９のマスク指示受付部２１４は、ユーザからマスク画像を表示する指示を受け付けると（Ｓ１００）、受け付けた指示をゲーム装置１０へ送信する（Ｓ１０２）。ゲーム装置１０のマスク制御部１１４は、携帯端末装置９からマスク画像を表示する指示を受け付けると、カメラ７により撮像された画像に含まれる顔を顔検出部１１５に検出させ（Ｓ１０４）、検出された顔画像を携帯端末装置９へ送信する（Ｓ１０６）。

　マスク指示受付部２１４は、マスクを顔に表示するユーザの選択指示をユーザから受け付けるために、ゲーム装置１０から送信された顔の画像の一覧を表示装置２６３に表示し（Ｓ１０８）、マスク画像を表示する顔の選択指示と（Ｓ１１０）、表示するマスク画像の選択指示をユーザから受け付け（Ｓ１１２）、受け付けた顔の選択指示と（Ｓ１１４）、マスク画像の選択指示をゲーム装置１０へ送信する（Ｓ１１６）。

　マスク制御部１１４は、携帯端末装置９からマスクを表示する顔及びマスク画像の選択指示を取得すると、キャラクタがその顔にマスクの素材を吹き付ける様子を表示し（Ｓ１１８）、アニメーション表示が終了すると、顔検出部１１５により検出された顔の位置にマスク画像を表示する（Ｓ１２０）。顔検出部１１５がユーザの顔を検出できている間は（Ｓ１２２のＮ）、マスク制御部１１４は、検出された顔の位置に重畳してマスク画像を表示する（Ｓ１２０）。ユーザが顔を手で覆って隠すなどして、顔検出部１１５がユーザの顔を検出できなくなると（Ｓ１２２のＹ）、マスク制御部１１４は、表示されていたマスク３１２が消えていく様子をアニメーション表示し（Ｓ１２４）、アニメーション表示が終了するとマスク画像を消去する（Ｓ１２６）。

　図３２は、実施の形態に係るゲーム制御方法の手順を示すフローチャートである。携帯端末装置９のバルーン指示受付部２１５は、ユーザからバルーンを表示する指示を受け付けると（Ｓ２００）、受け付けた指示をゲーム装置１０へ送信する（Ｓ２０２）。ゲーム装置１０のバルーン制御部１１６は、携帯端末装置９からバルーンを表示する指示を受け付けると、アクティブな入力装置６の識別情報を携帯端末装置９へ送信する（Ｓ２０６）。

　バルーン指示受付部２１５は、ゲーム装置１０から送信されたアクティブな入力装置６の一覧を表示装置２６３に表示し（Ｓ２０８）、バルーン表示を割り当てる入力装置６の選択指示と（Ｓ２１０）、表示するバルーン画像の選択指示をユーザから受け付け（Ｓ２１２）、受け付けた入力装置６の選択指示と（Ｓ２１４）、バルーン画像の選択指示をゲーム装置１０へ送信する（Ｓ２１６）。

　バルーン制御部１１６は、携帯端末装置９から入力装置６及びバルーン画像の選択指示を取得すると、その入力装置６にキャラクタが光を照射する様子をアニメーション表示する（Ｓ２１７）。バルーン制御部１１６は、バルーン表示が割り当てられた入力装置６のタッチパッド７９が押下されるまで待機し（Ｓ２１８のＮ）、タッチパッド７９が押下されると（Ｓ２１８のＹ）、タッチパッド７９の押下が終了するまでの間（Ｓ２２２のＮ）、その入力装置６に割り当てられたバルーン画像が入力装置６の位置から膨らむ様子を表示する（Ｓ２２０）。タッチパッド７９の押下が終了すると（Ｓ２２２のＹ）、バルーン制御部１１６は、コントローラ検出部１１７が入力装置６の位置を検出できている間は（Ｓ２２６のＮ）、バルーンが入力装置６に繋がれた様子を表示する（Ｓ２２４）。ユーザが入力装置６の発光部８５を手で覆って隠すなどして、コントローラ検出部１１７が入力装置６の位置を検出できなくなると（Ｓ２２６のＹ）、バルーン制御部１１６は、バルーンを入力装置６に繋いでいた紐が切れて、バルーンが飛んでいく様子をアニメーション表示し（Ｓ２２８）、アニメーション表示が終了するとバルーンを消去する（Ｓ２３０）。

　図３３は、実施の形態に係るゲーム制御方法の手順を示すフローチャートである。携帯端末装置９のビルボード指示受付部２１６は、ユーザからビルボードを表示する指示を受け付けると（Ｓ３００）、受け付けた指示をゲーム装置１０へ送信する（Ｓ３０２）。ゲーム装置１０のビルボード制御部１１９は、携帯端末装置９からビルボードを表示する指示を受け付けると、画像生成部１１１により生成されて出力装置４に表示されている表示画像を携帯端末装置９へ送信する（Ｓ３０６）。

　ビルボード指示受付部２１６は、ゲーム装置１０から送信された表示画像を表示装置２６３に表示し（Ｓ３０８）、ビルボードを表示する位置の選択指示と（Ｓ３１０）、ビルボードとして表示する画像の選択指示をユーザから受け付け（Ｓ３１２）、受け付けた表示位置の選択指示と（Ｓ３１４）、ビルボード画像の選択指示をゲーム装置１０へ送信する（Ｓ３１６）。

　ビルボード制御部１１９は、携帯端末装置９からビルボードの表示位置及びビルボードとして表示する画像の選択指示を取得すると、表示位置にビルボード画像の素材を吹き付ける様子をアニメーション表示し（Ｓ３１８）、アニメーション表示が終了すると、表示位置にビルボード画像を表示する（Ｓ３２０）。ビルボード制御部１１９は、差分検出部１１８により、ビルボードが表示されている領域の近傍において差分が検出されると（Ｓ３２２のＹ）、検出された差分に応じてビルボードの表示態様を変更する（Ｓ３２４）。差分が検出されない場合は（Ｓ３２２のＮ）、そのままビルボード画像を表示する（Ｓ３２０）。

　図３４は、実施の形態に係るゲーム制御方法の手順を示すフローチャートである。ゲーム装置１０は、カメラ７から撮像画像を取得する（Ｓ４００）。鏡面画像制御部１２０は、表示画像を左右反転する指示を受け付けていない場合は（Ｓ４０２のＮ）、撮像画像を左右反転した鏡像を生成し、鏡像をもとに表示画像を生成させる（Ｓ４０４）。表示画像を左右反転する指示を受け付けている場合は（Ｓ４０２のＹ）、Ｓ４０４をスキップし、撮像画像を左右反転しないことにより、通常の表示画像とは左右が反転した表示画像を生成させる。

　鏡面画像制御部１２０は、差分検出部１１８がフレーム間の差分を検出するために用いる検出画像を左右反転する指示を受け付けていない場合は（Ｓ４０６のＮ）、撮像画像を左右反転して検出画像を生成し、生成した検出画像をもとに差分を検出させる（Ｓ４０８）。検出画像を左右反転する指示を受け付けている場合は（Ｓ４０６のＹ）、Ｓ４０８をスキップし、撮像画像を左右反転しないことにより、通常の検出画像とは左右が反転した検出画像をもとに差分を検出させる。

　差分検出部１１８は、左右反転した、又は、左右反転しない検出画像をもとに、フレーム間の差分を検出し、撮像された現実世界のユーザなどと、表示された仮想世界のキャラクタ、バルーン、ビルボードなどのオブジェクトとの間の相互作用を検出する（Ｓ４１０）。バルーン制御部１１６及びビルボード制御部１１９は、検出された相互作用に応じてバルーン及びビルボードを制御する（Ｓ４１２）。画像生成部１１１は、相互作用されたバルーン及びビルボードを含む配信画像を生成する（Ｓ４１４）。

　図３５は、実施の形態に係るゲーム制御方法の手順を示すフローチャートである。携帯端末装置９の投票指示受付部２１８は、ユーザからアンケートを実施する指示を受け付けると（Ｓ５００）、更に、アンケートの質問と（Ｓ５０２）、質問に対する回答の選択肢をユーザから受け付け（Ｓ５０４）、受け付けた質問と回答の選択肢とともに、アンケートの実施指示をゲーム装置１０へ送信する（Ｓ５０６）。

　投票制御部１２１は、携帯端末装置９からアンケートの実施指示を取得すると、画像生成部１１１により配信される配信画像にアンケートの質問と回答の選択肢を表示させる（Ｓ５０８）。アンケートが表示された配信画像は、配信制御部１１３から配信サーバ５などを介して視聴者の端末に送信され（Ｓ５１０）、視聴者はアンケートに回答する（Ｓ５１２）。投票制御部１２１は、視聴者の端末からアンケートの回答を取得すると、取得した回答をデータ保持部１６０に格納する（Ｓ５１４）。このとき、投票制御部１２１は、アンケートの回答を取得した旨を示すアイコンなどを配信画像に表示する。

　投票指示受付部２１８は、ユーザからアンケートの途中経過を取得する指示を受け付けると（Ｓ５１６）、受け付けた指示をゲーム装置１０へ送信する（Ｓ５１８）。投票制御部１２１は、アンケートの実施を要求した携帯端末装置９からアンケートの途中経過を取得する指示を受け付けると、データ保持部１６０からアンケートの結果を読み出して、携帯端末装置９へ送信する（Ｓ５２０）。投票指示受付部２１８は、アンケートの途中経過を示す画面を表示装置２６３に表示する（Ｓ５２２）。

　投票指示受付部２１８は、ユーザからアンケートの結果を公開する指示を受け付けると（Ｓ５２４）、受け付けた指示をゲーム装置１０へ送信する（Ｓ５２６）。投票制御部１２１は、アンケートの実施を要求した携帯端末装置９からアンケートの結果を配信する指示を受け付けると、データ保持部１６０からアンケートの結果を読み出して、集計したアンケートの結果を配信画像に表示する（Ｓ５２８）。アンケートの結果を表示した配信画像は、視聴者の端末に配信される（Ｓ５３０）。

　なお、配信制御部１１３から他の装置へ配信される配信画像と、出力装置４のディスプレーに表示される表示画像とは、同一であってもよいし、異なるものであってもよい。例えば、上述したマスク、バルーン、ビルボード、アンケートの結果などは、配信画像のみに表示されてもよいし、表示画像のみに表示されてもよいし、双方に表示されてもよい。

　以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　４　出力装置、５　配信サーバ、６　入力装置、７　カメラ、９　携帯端末装置、１０　ゲーム装置、１１０　制御部、１１３　配信制御部、１１４　マスク制御部、１１５　顔検出部、１１６　バルーン制御部、１１７　コントローラ検出部、１１８　差分検出部、１１９　ビルボード制御部、１２０　鏡面画像制御部、１２１　投票制御部、１６０　データ保持部、２１０　制御部、２１４　マスク指示受付部、２１５　バルーン指示受付部、２１６　ビルボード指示受付部、２１７　鏡面画像指示受付部、２１８　投票指示受付部、２６０　データ保持部。

　本発明は、撮像された画像を処理する画像処理装置に利用可能である。

Claims (17)

1. 　撮像装置が撮像した撮像画像を取得し、取得した撮像画像に含まれる追跡対象を検出する検出部と、
   　前記追跡対象が検出された位置に応じて、所定の画像を表示する位置を算出する制御部と、
   　前記撮像画像に重畳して、前記撮像画像の前記制御部により算出された位置に前記所定の画像を表示する表示画像を生成し、生成した表示画像を表示装置に表示する生成部と、
   　を備えることを特徴とする画像処理装置。
2. 　前記所定の画像は、前記追跡対象の移動に追随するように、前記追跡対象が検出された位置に応じて前記制御部により算出される位置に表示される第１の部分と、前記第１の部分の移動に従属して前記制御部により移動される第２の部分とを含むことを特徴とする請求項１に記載の画像処理装置。
3. 　前記制御部は、前記検出部が前記追跡対象を検出できなくなったときに、前記第２の部分を前記第１の部分から分離させることを特徴とする請求項２に記載の画像処理装置。
4. 　前記追跡対象は、ユーザからの指示を入力するための入力装置であることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 　前記追跡対象は、前記撮像画像に撮像された顔であり、
   　前記所定の画像は、前記検出部により検出された顔に重畳して表示されるマスクの画像であり、
   　前記検出部は、前記顔の向きの所定方向からの回転角度を更に検出し、
   　前記制御部は、前記検出部により検出された顔の回転角度よりも大きい回転角度で回転させた前記マスクの画像を前記生成部に表示させる
   　ことを特徴とする請求項１に記載の画像処理装置。
6. 　前記制御部は、前記検出部が前記追跡対象を検出できなくなったときに、前記所定の画像を前記表示画像から消去することを特徴とする請求項５に記載の画像処理装置。
7. 　コンピュータを、
   　撮像装置が撮像した撮像画像を取得し、取得した撮像画像に含まれる追跡対象を検出する検出部、
   　前記追跡対象が検出された位置に応じて、所定の画像を表示する位置を算出する制御部、
   　前記撮像画像に重畳して、前記撮像画像の前記制御部により算出された位置に前記所定の画像を表示する表示画像を生成し、生成した表示画像を表示装置に表示する生成部、
   　として機能させるための画像処理プログラム。
8. 　検出部が、撮像装置が撮像した撮像画像を取得し、取得した撮像画像に含まれる追跡対象を検出するステップと、
   　制御部が、前記追跡対象が検出された位置に応じて、所定の画像を表示する位置を算出するステップと、
   　生成部が、前記撮像画像に重畳して、前記撮像画像の前記制御部により算出された位置に前記所定の画像を表示する表示画像を生成し、生成した表示画像を表示装置に表示するステップと、
   　を含むことを特徴とする画像処理方法。
9. 　請求項７に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 　取得した画像に文字又は画像を重畳させて表示画像を生成し、生成した表示画像を他のユーザに視聴させるために他の装置へ配信する画像処理装置との間で通信を行う通信部と、
    　前記表示画像に表示すべき文字又は画像の指示をユーザから受け付け、受け付けた前記文字又は画像を前記通信部を介して前記画像処理装置へ送信する指示受付部と、
    　を備えることを特徴とする端末装置。
11. 　前記指示受付部は、前記画像処理装置から前記表示画像を取得して表示装置に表示し、前記表示画像において前記文字又は画像を表示すべき位置又は大きさの指示をユーザから受け付け、受け付けた位置又は大きさの指示を前記通信部を介して前記画像処理装置へ送信することを特徴とする請求項１０に記載の端末装置。
12. 　ユーザが操作する端末装置と、
    　前記端末装置と通信可能に接続された画像処理装置と、
    を備え、
    　前記画像処理装置は、
    　画像を取得し、取得した画像を含む表示画像を生成し、生成した表示画像を他のユーザに視聴させるために他の装置へ送信する送信部と、
    　前記端末装置から、前記表示画像に表示すべき文字又は画像を受け付け、受け付けた文字又は画像を前記表示画像の所定の領域に前記表示画像に重畳して表示させる制御部と、
    を備え、
    　前記端末装置は、
    　前記表示画像に表示すべき文字又は画像の指示をユーザから受け付け、受け付けた前記文字又は画像を前記画像処理装置へ送信する指示受付部を備える
    　ことを特徴とする画像処理システム。
13. 　画像を取得し、取得した画像を含む表示画像を生成し、生成した表示画像を他のユーザに視聴させるために他の装置へ送信する送信部と、
    　ユーザの端末装置から、前記表示画像に表示すべき文字又は画像を受け付け、受け付けた文字又は画像を前記表示画像の所定の領域に前記表示画像に重畳して表示させる制御部と、
    　を備えることを特徴とする画像処理装置。
14. 　前記画像は、撮像装置により撮像された撮像画像であることを特徴とする請求項１３に記載の画像処理装置。
15. 　前記撮像画像の前記所定の領域又は前記所定の領域の近傍における動きを検出する検出部を更に備え、
    　前記制御部は、前記検出部が前記所定の領域又は前記所定の領域の近傍における動きを検出したときに、前記所定の領域に表示されている前記文字又は画像の表示態様を変更することを特徴とする請求項１４に記載の画像処理装置。
16. 　画像処理装置が、画像を取得し、取得した画像を含む表示画像を生成するステップと、
    　前記画像処理装置が、生成した表示画像を他のユーザに視聴させるために他の装置へ送信するステップと、
    　端末装置が、前記表示画像に表示すべき文字又は画像の指示をユーザから受け付け、受け付けた前記文字又は画像を前記画像処理装置へ送信するステップと、
    　前記画像処理装置が、前記端末装置から、前記表示画像に表示すべき文字又は画像を受け付け、受け付けた文字又は画像を前記表示画像の所定の領域に前記表示画像に重畳して表示させるステップと、
    　を備えることを特徴とする画像処理方法。
17. 　コンピュータを、
    　取得した画像に文字又は画像を重畳させて表示画像を生成し、生成した表示画像を他のユーザに視聴させるために他の装置へ配信する画像処理装置との間で通信を行う通信部、
    　前記表示画像に表示すべき文字又は画像の指示をユーザから受け付け、受け付けた前記文字又は画像を前記通信部を介して前記画像処理装置へ送信する指示受付部、
    　として機能させるための画像処理プログラム。

Images