<写真撮影システムの概要>
図1は、写真撮影システム600の全体構成を模式的に示す図である。写真撮影システム600は、インターネット等のネットワーク200を介して接続する遊戯用撮影装置100、管理サーバ300、および複数の端末装置500を含む。本図では、端末装置500aと端末装置500bとのふたつの端末装置を図示しているが、端末装置500の数は2に限られず、3以上であってよい。以下、本明細書において、それぞれの端末装置500を特に区別する場合を除き、単に「端末装置500」と総称する。
遊戯用撮影装置100は、ユーザを含む被写体を写真撮影するカメラや、撮影した写真画像を編集するためのユーザインタフェースを備える電子機器を含む装置である。ユーザが遊戯用撮影装置100で写真を撮影すると、遊戯用撮影装置100は、ユーザを被写体に含む写真画像群と、プレイIDと、遊戯用撮影装置100で入力されたメールアドレスとを紐付けて管理サーバ300に送信する。プレイIDは、1プレイごとに一意に割り当てられる識別情報であり、プレイをした店舗における機種およびプレイを特定するための一意の識別情報である。写真画像群とは、所定の1プレイにおいて作成されグループ化された複数の撮影画像のことを指す。以下、本明細書において、プレイIDと、写真画像群と、メールアドレスとが紐付けられたデータを「コンテンツデータ」と記載する。また、本明細書において「撮影画像」というときは、撮影により得られた画像だけでなく、撮影後に補正や編集を施したり、出力のためにサイズ変更や画質変更を施したりした画像を含む場合があってもよい。同様に「出力用画像」というときは、画面表示用の画像と印刷用の画像と送信用の画像とを含んでもよく、それぞれのハードウェア仕様、ソフトウェア仕様、通信仕様などの各仕様に応じてサイズ変更や画質変更を施したものをすべて含んでもよい。
管理サーバ300は、遊戯用撮影装置100から取得したコンテンツデータ(プレイID、写真画像群、遊戯用撮影装置100で入力されたメールアドレス)や写真撮影サービスの利用履歴等のユーザ情報を管理するサーバである。管理サーバ300は、コンテンツデータに含まれる写真画像群にアクセスするためのコンテンツアクセス情報を、当該コンテンツデータに含まれるメールアドレス宛に送信する。これにより、各ユーザが所持する端末装置500は、コンテンツアクセス情報が記載されたメールを取得することができる。コンテンツアクセス情報は、例えば管理サーバ300にアクセスするためのURL(Uniform Resource Locator)であり、このURLの中にはプレイIDが含まれている。端末装置500は、このメールのURLにアクセスすることにより、URLに含まれるプレイIDに紐づけられた写真画像群を取得することができる。
ユーザは、遊戯用撮影装置100のユーザ向けに設計され、ユーザ自身の端末装置500にインストールされた専用の情報提示アプリケーションを用い、コンテンツアクセス情報をもとに管理サーバ300にアクセスし、自身の端末装置500に写真画像群をダウンロードする。ユーザは端末装置500上で写真画像群を編集することもできる。情報提示アプリケーションは、ネットワーク200を介して管理サーバ300からダウンロードできる。管理サーバ300には、ユーザが遊戯用撮影装置100で撮影した動画像がアップロードされ、保存される。
<遊戯用撮影装置の外観>
図2は、遊戯用撮影装置100を左前側から見た斜視図である。図3は、図2に示す遊戯用撮影装置100を上から見た平面図である。以下では、図2に示す前後左右の方向を基準として、他の図面も説明する。図2および図3に示すように、遊戯用撮影装置100は、前部側の撮影部50と後部側の編集部51とを備え、前後方向に長いほぼ直方体状を呈している。撮影部50の左側面または右側面にはコインの投入と撮影人数を含む撮影内容を事前設定する事前設定部40が設けられ、編集部51の後端には、編集後の写真の出力等をするための出力部52が設けられている。
撮影部50は、ユーザを撮影するカメラが内蔵された撮影筐体11と、この撮影筐体11の後方に撮影空間10を介して配置された背景壁部12とを有する。撮影筐体11の側面と、背景壁部12の側面との間の隙間が、撮影空間10への出入口である第1出入口101a,101bを構成する。事前設定部40は、撮影人数を含む撮影内容の設定項目を表示してユーザからの指示を受け付けるタッチパネル41と、コインの投入口と返却口を含むコイン投入部42を有する。事前設定部40の筐体は、図では撮影部50の左側面に着脱自在に取り付けた例を示すが、遊戯用撮影装置100を設置する店舗のレイアウトに応じて左右側面のいずれかに取り付ければよい。ユーザは事前設定部40を取り付けた側の入口から撮影空間10へ入る。編集部51は、背景壁部12の後方に隣接して配置された編集筐体21を有する。編集筐体21には、左右の方向を向く一対の操作面が設けられる。ユーザは各操作面への入力作業をする編集空間20a,20bに、第2出入口201a,201bを介して入ることができる。出力部52は、編集筐体21の後端面と接する出力筐体31を有する。出力筐体31に対しては、ユーザが遊戯用撮影装置100の後端側から操作するように、操作面が後端側を向いている。したがって、出力筐体31の後端側の空間が、ユーザが出力操作をするための出力空間30となる。なお、変形例として、事前設定部40を備えない形で遊戯用撮影装置100を構成してもよいし、編集部51ないし編集空間20を備えない形で遊戯用撮影装置100を構成してもよい。
撮影筐体11と背景壁部12との上端部の側面は、前後方向に延びる天井フレーム13によって互いに連結される。天井フレーム13の枠内部には、撮影空間10を上から覆い、照明およびフラッシュ照射する天井照明ユニット14が設けられる。撮影筐体11の左側面または右側面には、遊戯用撮影装置100の使用方法を含む説明書きを掲示するための掲示スペース15が設けられる。掲示スペース15の上部には、撮影筐体11が使用中であるか否かを示す表示部16が設けられる。
表示部16は、発光または消灯される表示灯(図示せず)を備える。表示部16は、表示灯の発光によって撮影部50が使用中であることをユーザに示し、消灯によって撮影部50が空きになったことをユーザに示す。遊戯用撮影装置100は、表示部16が左右方向外側に突出した平面視三角形状に形成されているが、その形状は特には限定されず、凸湾曲状などのその他の形状であってもよい。
背景壁部12は、撮影筐体11とほぼ同じ幅および高さの板状部材によって形成され、撮影筐体11の正面と対面する本体プレート121と、この本体プレート121の左右両端から前方に延設された一対のサイドプレート122とを有する。このため背景壁部12は、全体として平面視コ字状に形成されている。本体プレート121において、撮影筐体11を向く面には、クロマキー処理のための単一の色(例えば、青色または緑色)が着色される。着色については、本体プレート121に直接ペンキなどで着色するほか、着色された布地、プレート等を取付けてもよい。図示はしないが、撮影空間10の床面には、この本体プレート121と連続するように、当該本体プレート121と同様にクロマキー処理のための単一色が着色される。撮影筐体11の後端縁と、天井フレーム13の下端縁と、サイドプレート122の前端縁とから、上述したように、撮影空間10に出入りするための第1出入口101a,101bが構成される。
編集筐体21は、左右両側から2組のユーザが同時に編集可能な対面式であり、左右それぞれに操作面が設けられる。編集筐体21は、左右方向の長さが背景壁部12の同方向の幅よりも短い。編集筐体21は、その前端面を背景壁部12の背面の中央部に接続される。編集筐体21の左右両側方のスペースが、2組のユーザがそれぞれ編集作業を行う編集空間20a,20bとなる。編集筐体21の上方には、平面視においてほぼコの字状のカーテンフレーム22が設けられる。カーテンフレーム22は、前後方向に延びる一対の側部フレーム221と、この側部フレーム221の後端同士を連結する左右方向に延びる後部フレーム222とからなる。図示はしないが、編集筐体21の内部には、例えばPC(Personal Computer)等のCPU(Central Processing Unit)を備える計算機が設置される。
各側部フレーム221の前端は、天井フレーム13の後端に前後方向に延長状に連結され、後部フレーム222の中央部は、編集筐体21の後上端部に設けられた支持部材23によって支持される。左右一方側の側部フレーム221と、後部フレーム222のほぼ半分の長さ部分により、編集空間20a,20bに出入りするための前記第2出入口201a,201bの上枠部が構成される。
<撮影筐体>
図4は、撮影筐体の斜視図である。撮影筐体11の室内側面には、撮影空間10を前方から明るく照らすとともに、フラッシュ照射する正面照明ユニット115が設けられる。正面照明ユニット115は、中央上側のユニット部分115Aと中央下側のユニット部分115Bとで構成される。中央上側のユニット部分115Aおよびユニット部分115Bは、一体的に連結され、凹湾曲状に形成される。ユニット部分115Aの中央には、被写体を正面から主にアップで撮影するための正面カメラ111が搭載される。正面カメラ111の下方にはタッチパネル式の正面モニタ113が設けられ、正面カメラ111で撮像される画像および撮影方法の案内が表示されるとともに、案内にしたがって入力されるユーザのタッチ操作を受け付ける。正面モニタ113の右側方には、被写体となるユーザの全身を側方から広角で撮影するための側方カメラ112が搭載される。側方カメラ112の下方には側方カメラ112で撮像される画像が表示される側方モニタ114が設けられる。なお、変形例として撮影空間10の外に事前設定部40が設置されない構成の場合、正面モニタ113または側方モニタ114の下方にコイン投入部42を設けてもよい。また、側方カメラ112はタッチパネル式ではないが、変形例においては正面モニタ113と同様にタッチパネル式で構成してもよい。
<編集筐体>
図5は、編集筐体の斜視図である。編集筐体21は、下部側の制御ボックス211と、この制御ボックス211の上に設けられた編集台部212とを有する。制御ボックス211の内部には、メインコンピュータユニットおよびI/Oコントローラなどの各種の制御装置が内蔵され、この制御装置が遊戯用撮影装置100の全体の動作を制御する。
編集台部212は、左右方向を向く山形の傾斜面により形成され、各傾斜面に編集作業をするための操作面が設置される。具体的には、各操作面にはタブレットを内蔵した液晶モニタで構成された編集用モニタ213が設けられ、各編集用モニタ213の左右両側には2本のタッチペン214A,214Bが接続される。編集用モニタ213はタッチパネルであり、ユーザはこのタッチペン214A,214Bのペン先を編集用モニタ213の画面に接触させることにより、画面表示されたアイコンを選択する選択入力や、文字や描画の落書きをする場合の手書き入力ができる。なお、図5では、左側の編集用モニタ213を示すが、右側の編集用モニタ213も左側と同様の構造である。また、制御ボックス211の制御装置は、左右両側の編集用モニタ213への入力情報に対応する処理を個別に並列処理できる。
<出力筐体>
図6は、出力筐体の正面図である。出力筐体31は、編集筐体21の後端部に接する矩形状の筐体であり、後端側を向く面に操作面が設けられる。操作面の上部中央にはタッチパネル式の液晶モニタ311が設けられ、この液晶モニタ311に、出力の説明などが表示される。
液晶モニタ311の下方には非接触通信部312が設けられ、近接する非接触型IC(Integrated Circuit)と通信することで、非接触型ICからのデータの読み出しや非接触型ICにデータを書き込む。例えば、FeliCa(登録商標)などを利用できる。非接触通信部312の下にはシール紙排出口313が設けられる。シール紙排出口313には、編集部において編集処理を行うことによって作成した画像が印刷された写真印刷シートが排出される。そのため、出力筐体31にはプリンタが内蔵され、プリンタは写真印刷シートを印刷する。シール紙排出口313の下にはスピーカ314が設けられ、出力処理における案内音声、BGM、効果音等の音を出力する。なお、本実施の形態では、出力筐体31を編集筐体21と別体としているが、これらを一体的な筐体で構成することもできる。
<遊戯用撮影装置のハードウェア構成>
図7は、遊戯用撮影装置100のハードウェア構成を模式的に示すブロック図である。遊戯用撮影装置100では、バスXを介して、制御部53、記憶部54、撮影部50、事前設定部40、編集部51、出力部52が電気的に接続される。制御部53は、公知のCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を備える。制御部53では、記憶部54に記憶されるプログラムを実行し、遊戯用撮影装置100の全体の動作を制御する。バスXには、通信部55、外部ドライブ56も接続される。なお、制御部53、記憶部54、通信部55および外部ドライブ56は、公知のコンピュータにより構成してもよく、このようなコンピュータが上述した編集筐体21の制御ボックス211に内蔵される。
記憶部54は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体で構成され、制御部53から送信された各種の設定情報を記憶する。記憶部54に記憶される情報は制御部53により適宜読み出される。記憶部54には、画像の合成や編集のために用いられる各種画像データ、画像処理のためのデータが記憶される。例えば、撮影画像の背景となる背景画像データなどが記憶される。制御部53のROMには、ファームウェアなどのプログラムや設定情報などのデータが記憶され、RAMには、制御部53において処理するデータやプログラムが一時的に記憶される。以下では、RAM、ROMをまとめてメモリということがある。
通信部55はインターネットなどのネットワークと接続するためのインタフェースであり、制御部53による制御にしたがって外部の装置と通信する。外部ドライブ56は、光ディスクや半導体メモリなどのリムーバブルメディアに対する読み出しや書き込みを実行する。例えば、外部ドライブ56によりリムーバブルメディアから読み出されたコンピュータプログラムやデータは、制御部53に送信され、記憶部54に記憶されたり、プログラムとしてインストールされたりする。
事前設定部40は、撮影に先立ってユーザから撮影中に撮影空間10に流す音楽、合成用の背景画像、撮影人数を含む撮影条件や撮影内容等の指示を受け取って事前設定するための装置であり、タッチパネル41、コイン投入部42、スピーカ43を含む。タッチパネル41は、公知のタッチパネルであり、表示装置としてユーザへの案内を表示するとともに、ユーザのタッチ操作に基づく指示を受け取る。コイン投入部42は、コイン投入口に対するコインの投入を検出する。コイン投入部42は、プレイに要する所定の金額分(プレイ料金分)のコインが投入されたことを検出した場合、そのことを表す起動信号を制御部53に出力する。なお、コイン投入部42に代えて、電子マネーやクレジットカードによるプレイ料金の支払を受け付け、当該起動信号を制御部53に出力する装置を設けてもよい。スピーカ43は、事前設定における案内音声、BGM、効果音を出力する。スピーカ43はまた、撮影プレイ中に撮影空間10に流すべき音楽が選択されると、BGMを音量を下げて出力しつつ、BGMよりも大きい音量で選択された音楽を出力する。
撮影部50は、撮影空間10における撮影処理をするために、照明制御部18、正面カメラ111、側方カメラ112、正面モニタ113、側方モニタ114、およびスピーカ19から構成される。
正面カメラ111および側方カメラ112は、制御部53による制御にしたがって被写体を撮影する。正面カメラ111および側方カメラ112は、撮像により得られる被写体の動的映像または撮影により得られた被写体の静止画像を制御部53に出力する。上述したように、正面カメラ111は、被写体の静止画および動画を正面から主にアップで撮影するためものであり、側方カメラ112は、被写体となるユーザの全身を側方から広角で撮影するためのものである。そのため、これらのカメラ111、112はそれぞれ、最適な画像を得るために撮影人数に応じて異なる理想的な焦点距離や画角、トリミング範囲などの設定が予め行われる。各カメラ111、112は、被写体の映像をリアルタイムに画像信号として出力する。カメラ111、112から出力された画像信号は制御部53に入力されて、その内部のメモリに一時的に記憶される。なお、上記した例では、正面カメラ111は、後述する個別認証撮影やアップでの撮影用であるため被写体となるユーザの全身までは映らない範囲で焦点距離を変更可能なズームレンズが用いられる。変形例においては、正面カメラ111のレンズとしてより広角側の焦点距離も範囲に含むズームレンズを用いることとし、その焦点距離を変更することでアップ撮影と全身撮影の両方を行えるようにしてもよい。全身撮影を行う場合は、アップ撮影よりもズームレンズの焦点距離を短くすればよい。
制御部53は、表示制御部として機能し、正面カメラ111で撮像される被写体映像の画像信号を正面モニタ113に送信するとともにタッチパネルとしての正面モニタ113に対するユーザの操作入力を受信し、側方カメラ112で撮像される被写体映像の画像信号を側方モニタ114に送信する。このとき、制御部53は被写体映像にクロマキー合成により背景画像を合成した映像や静止画像を正面モニタ113または側方モニタ114に送信してもよいし、目の大きさや輪郭に変化を加える補正処理をした映像や静止画像を正面モニタ113または側方モニタ114に送信してもよい。なお、静止画像として保存される撮影画像データ(以下、単に「撮影画像」ということもある。)は高解像度の静止画データであり、ライブ映像を表示するための撮影画像データ(「スルー画像データ」とも呼ばれる。)は低解像度の動画データである場合が多いが、高解像度の動画データとしてもよい。
正面モニタ113は、正面カメラ111が撮像中のライブ映像をリアルタイム表示する。正面モニタ113はまた、正面カメラ111および側方カメラ112で撮影された静止画像としての撮影画像を表示する。側方モニタ114は、側方カメラ112が撮像中のライブ映像をリアルタイム表示するものであり、正面モニタ113と異なりタッチパネル式ではないモニタであるが、タッチパネル式モニタで構成してもよい。また、側方カメラ112および側方モニタ114は必須の構成でなく、正面カメラ111および正面モニタ113のみでもよい。
照明制御部18は、制御部53より供給される照明制御信号にしたがって、撮影空間10内の正面照明ユニット115が照射するフラッシュを制御する。照明制御部18は、天井照明ユニット14および正面照明ユニット115の内部に設けられる電灯(LEDや蛍光灯など)を制御することで、ユーザによる撮影処理の段階に応じて撮影空間10内の明るさを調整する。スピーカ19は、事前設定部40における事前設定で選択された音楽を出力する。またスピーカ19は、撮影プレイの案内音声や効果音を出力する。
編集部51a,51bは、編集空間20a,20bのそれぞれにおける編集処理のために設けられる。編集部51aおよび編集部51bの機能や構成は同じであるため、以下では編集部51aのみを説明し、編集部51bの説明を省略する。
編集部51aは、タブレット内蔵モニタとしての編集用モニタ213、2本のタッチペン214A,214B、およびスピーカ215から構成される。編集用モニタ213は、制御部53による制御にしたがって編集画面を表示し、編集画面に対するユーザの編集操作等を検出する。すなわち、ユーザにより、編集用モニタ213がタッチペン214A,214Bでタッチされると、その操作およびタッチペン214A,214Bのいずれでタッチされたのかが検出され、操作信号として制御部53に送信される。これにより、ユーザは編集対象である合成画像を編集する。具体的には、編集用モニタ213に表示された画像に対し、例えば、文字、模様、図形などのいわゆる落書きを、タッチペン214A,214Bなどの入力デバイスで入力する。これにより、合成画像に落書きが重ね合わされた編集済画像が生成される。またユーザは、編集済画像のレイアウトやシートデザイン画像が異なる複数の印刷用画像の中から好みの印刷用画像を選択する。ここで、「シートデザイン画像」は、シール紙において編集済画像が配置される領域以外の領域に印刷される画像である。選択された印刷用画像に基づく画像データは、出力部52へ送信される。スピーカ215は、編集処理の案内音声、BGM、効果音等の音を出力する。スピーカ215は、事前設定部40における事前設定で選択された音楽あるいは、その音楽に対応する音楽をBGMとして出力してもよい。事前設定で選択された音楽に対応する音楽とは、例えば、当該音楽にテイストの似た別の音楽が挙げられる。
出力部52は、出力空間30において出力処理を実行する。出力部52は、タッチパネル式の液晶モニタ311、非接触通信部312、およびスピーカ314を備える。その他、印刷用画像を印刷するためのプリンタ34、およびシール紙ユニット35も備えている。プリンタ34は、合成画像、または補正処理や編集処理によって得られた編集済画像に基づく印刷用画像を、プリンタ34に装着されたシール紙ユニット35に収納されているシール紙に印刷し、シール紙排出口313に排出する。非接触通信部312は、携帯端末との間でデータを受送信する無線通信ユニットであり、例えば例えばBluetooth(商標)やNFCなどの近距離無線通信モジュールや、無線LANなどの無線ネットワーク通信モジュールが含まれる。なお、編集部51で作成された画像データは、通信部55によってネットワークを通じて外部の画像蓄積サーバに送信される。
<遊戯用撮影装置の機能構成>
図8は、遊戯用撮影装置100の機能構成を模式的に示す機能ブロック図である。遊戯用撮影装置100は、事前設定部40、撮影処理部130、表示制御部135、データ生成部140、データ記憶部150、および出力処理部160を含む。
本図は、遊戯用撮影装置100を実現するための機能構成を示しており、その他の構成は省略している。本図において、さまざまな処理をする機能ブロックとして記載される各要素は、図7に示すハードウェアであるカメラ、CPU、メインメモリ、その他のLSI(Large Scale Integrated circuit)で構成することができる。また、ソフトウェア的にはRAMにロードされたプログラム等をCPUが実行することによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
事前設定部40は、撮影に先立って、撮影プレイ中に撮影空間10に流す音楽、合成用の背景画像等の撮影内容をユーザの指示に基づいて事前設定する。事前設定部40が事前設定する背景画像としては、ユーザに選択された音楽に応じた複数の背景画像のうちいずれかをユーザが選択する形で設定する。また、事前設定部40は、撮影に先立って、被写体となるユーザの撮影人数、名前やグループ名、好みの動画テーマ等の撮影内容をユーザの指示に基づいて事前設定する。事前設定部40が事前設定する撮影人数としては、「2人」「3人」「大人数」のうちいずれかをユーザが選択する形で設定する。
撮影処理部130は、個別認証部131、撮像部132、画像取得部133を含む。撮像部132は、事前設定部40から受け取るプレイ開始の指示に基づき、個別認証部131または画像取得部133による制御にしたがい、正面カメラ111または側方カメラ112により1人または複数のユーザを被写体として撮像する。個別認証部131は、認証用の撮影画像の取得、取得した認証用の撮影画像に対する人物検出および人物認証を実行する。個別認証部131は、取得した認証用の撮影画像から人物を検出する人物検出を実行する。本実施の形態における人物検出は、例えば顔検出である。個別認証部131は、認証用の撮影画像から、肌の色の領域や目、鼻などの器官を抽出して顔領域を検出する。個別認証部131は、検出した顔領域から目や鼻などの器官同士の距離や配置、大きさといった特徴量を検出し、その特徴量に基づいて各人物の特徴を特定する人物認証を実行する。個別認証部131は、認証用の撮影画像をデータ記憶部150に一時的に記憶させる。
表示制御部135は、撮像部132により撮影中の映像(以下、「ライブビュー」という)を正面モニタ113または側方モニタ114の画面にリアルタイムで表示させる。
画像取得部133は、撮像部132(すなわち正面カメラ111および側方カメラ112)の焦点距離や画角、トリミング範囲などの設定を行い、撮像部132に撮像させる。そして画像取得部133は、ライブビューを表示制御部135を介して正面モニタ113または側方モニタ114に表示させる。また、画像取得部133は、撮像部132により撮像される被写体について、ユーザの撮影画像を複数回撮影して取得する。本実施の形態では、画像取得部133は、少なくとも5回の撮影を実行し、5枚程の撮影画像を生成する。
画像取得部133は、取得した複数の本撮影用の撮影画像をひとまとまりの写真画像群としてデータ記憶部150に記憶させる。より具体的には、画像取得部133は、取得した複数の本撮影用の撮影画像に同一のプレイIDを付与し、かつ撮影画像を特定するために、各撮影画像に固有の画像識別子を付与する。
画像取得部133は、撮像部132により撮像される被写体について、ユーザの動画像を複数回撮影して取得する。画像取得部133は、例えば3回の動画撮影を実行し、3本の動画像を取得する。
表示制御部135は、動画撮影の開始に先立ち、動画撮影中の被写体動作の手本をユーザに示すための手本動画を正面モニタ113の画面に表示させる。表示制御部135は、手本動画の表示を終了した後、撮像部132により撮像されるユーザの映像のライブビューに切り替える。ライブビューに切り替えられた後で、画像取得部133がユーザの動画像を撮影する。このような手本動画の表示からユーザの動画像の撮影までの過程を3回繰り返すことにより3本の動画像を取得する。画像取得部133は、取得した動画像をデータ記憶部150にプレイIDと対応づけて記憶させる。動画撮影の手順については後述する。
データ生成部140は、背景処理部141、補正処理部142、編集処理部143、動画処理部144を含む。背景処理部141は、データ記憶部150に記憶される認証用の撮影画像、複数の本撮影用の撮影画像、および複数の動画像のそれぞれについて、被写体と背景画像を既知のクロマキー合成技術により合成する。すなわち背景処理部141は、撮影画像における被写体と、それ以外の領域である背景領域とを区別するための背景情報(クロマキーマスク)を2値化画像またはグレースケールの画像、あるいはそれらを圧縮したデータとして生成し、その背景情報を用いて被写体を背景から抽出した画像を取得する。認証用の撮影画像について背景処理部141は、その被写体のみの画像を、あらかじめ定められた背景画像、例えば白、グレー、黒といった単一の無彩色が一面に施された背景画像と合成する。本撮影用の撮影画像について背景処理部141は、その被写体のみの画像を、事前設定したユーザの好みの背景画像と合成する。被写体のみの画像および背景画像と合成した合成画像はデータ記憶部150に記憶される。本撮影用の撮影画像については、後の編集処理において被写体のみの画像に別の背景画像を合成してあらたな合成画像を生成し直すこともできる。背景処理部141は、撮像部132により撮影中のライブビュー映像からリアルタイムに被写体を抽出して背景画像を合成して表示制御部135により表示させる処理をしてもよい。また、背景処理部141は上述のクロマキー合成を、画像取得部133によって取得された動画像に対しても同様に処理し、合成動画像を生成する。
補正処理部142は、本撮影用の撮影画像における人物検出および人物認証を実行するとともに、本撮影用の撮影画像に対する補正を実行する。本撮影用の撮影画像における人物検出は、例えば認証用の撮影画像における人物検出と同様の顔検出である。補正処理部142は、本撮影用の撮影画像から、肌の色の領域や目、鼻などの器官を抽出して顔領域を検出する。本撮影用の撮影画像における人物認証は、認証用の撮影画像における人物認証と同様の処理および人物特定の処理を含む。より具体的には、まず本撮影用の撮影画像における人物検出により検出した顔領域から目や鼻などの器官同士の距離や配置、大きさといった人物ごとの特徴量を検出する。その人物ごとの特徴量を、あらかじめ認証用の撮影画像における人物認証によって特定されてデータ記憶部150に一時的に記憶させたユーザごとの特徴量と照合し、その照合結果に基づいて本撮影用の撮影画像に含まれる人物がどのユーザであるかを特定する処理が「人物特定」である。例えば、あらかじめ特定して記憶するユーザごとの特徴量の情報がAとBの2つある場合、本撮影用の撮影画像から特定された人物ごとの特徴量がそれぞれAとBのどちらに相対的に近似するかを照合する。これにより、本撮影用の撮影画像に含まれる人物ごとにどのユーザであるかを特定する。
本撮影用の撮影画像に対する補正は、目の色や大きさ、顔の輪郭、肌の色や質感等を変化させる処理であり、本撮影後の編集処理(特に落書きの処理)に先立ち、本撮影用の撮影画像に対して実行される。補正処理の方法は、撮影人数によって異なり、また、アップ撮影による画像か全身撮影による画像かによっても異なる。事前設定された撮影人数が3人以内であった場合に、ユーザごとに事前設定された好みに応じて選択される補正方法にて人物ごとの個別の補正を実行する。撮影人数が3人を超える場合、補正処理部142は、本撮影用の撮影画像に含まれる人物全体に対して同じ補正を実行する。また例えば、アップ撮影による画像と全身撮影による画像とでは画像に写る目をはじめとする部位の大きさが異なり、顔ないし全身の印象に影響する目の印象度の割合も異なるため、目の拡大率などが僅かに相違する。
編集処理部143は、落書きと呼ばれる編集処理を実行するとともに、データ記憶部150に記憶される複数の撮影画像を含む写真画像群と、個別認証部131により特定されるユーザを識別するためのプレイIDとを紐付けたコンテンツデータを生成する。コンテンツデータには、背景処理部141が取得した背景情報や遊戯用撮影装置100の識別情報も含めてもよい。編集処理部143は、画像取得部133が一連の写真画像群を撮影する度(1プレイごと)に、コンテンツデータを生成する。コンテンツデータは、画像取得部133が生成したプレイIDを用いて一意に特定することができる。
編集処理部143は、背景処理部141による背景画像の合成と補正処理部142による補正処理がなされた撮影画像を編集対象画像とし、その編集対象画像に対して編集処理を実行する。編集処理は複数の編集対象画像に対して個別に実行されるとともに、複数のユーザからのそれぞれの指示に基づいて複数の編集対象画像に対して同時並行的に実行され得る。
具体的には、編集処理部143は、補正処理部142により補正された合成画像と、合成画像に装飾として重畳しうる文字、模様、図形、スタンプ画像などの編集ツールと、を含む編集画面を編集用モニタ213に表示させ、合成画像に対する編集処理の指示を受け付ける。編集処理部143は特に、事前設定部40が受け付けた音楽に応じた編集ツールを編集画面に初期的に表示させる。編集処理の指示は、タッチペン214を用いた編集用モニタ213に対するユーザの編集操作、例えば編集ツールを選択する選択操作や編集対象画像(合成画像)に対して位置を指定する入力操作により入力される。編集処理部143は、ユーザの選択した編集ツールに対応する編集を編集対象画像に施して複数の編集済画像を生成し、これをデータ記憶部150に記憶させる。また、編集処理部143は、シート紙に印刷する印刷用画像を決定させるための選択画面を編集用モニタ213に表示させ、印刷用画像の選択を受け付ける。
動画処理部144は、画像取得部133によって取得されてデータ記憶部150に記憶される複数の動画像に対する編集処理を実行し、出力対象となる表示用動画像と送信用動画像を生成する。まず動画処理部144は、事前設定でユーザが選択した動画テーマに対応するテンプレート動画をデータ記憶部150から読み出し、そのテンプレート動画に含まれる3つ以上の画像枠のそれぞれに、撮影された3本の動画像をそれぞれ1回または複数回ずつ埋め込むことにより、編集済動画を設定する。その編集済動画は、表示用動画像または送信用動画像としても設定される。テンプレート動画に含まれる3つの画像枠は、二次元的に配置される場合と三次元的に配置される場合とがある。
出力処理部160は、印刷処理部161、無線出力部162、送信出力部163を含む。印刷処理部161は、データ記憶部150に記憶された複数の編集済画像に基づく印刷用画像をプリンタ34によりシール紙に印刷する。無線出力部162は、非接触通信部312を介してユーザの端末へ複数の編集済画像を送信する。送信出力部163は、ネットワークを介して管理サーバ300へすべての編集済画像を送信する。送信出力部163は、プレイの終了後にタッチパネル上に表示されるキーボードに、ユーザによって入力されたメールアドレス等の個人を特定する情報を受け付ける。送信出力部163は、入力されたメールアドレスおよびプレイIDと対応させて編集済画像を管理サーバ300にアップロードし、ユーザによって後に編集済画像をダウンロードさせることができる。
送信出力部163は、動画処理部144によって設定された表示用動画像を表示制御部135に送信することによりその表示用動画像を液晶モニタ311等の表示装置に表示させる。送信出力部163は、動画処理部144によって設定された送信用動画像または撮影された動画像を、入力されたメールアドレスおよびプレイIDと対応させて管理サーバ300にアップロードし、ユーザによって後にダウンロードさせることができる。管理サーバ300は、メールアドレスおよびプレイIDと対応させる形で編集済画像および送信用動画像(または撮影された動画像)を記憶し、そのメールアドレス宛にそのメールアドレスに対応づけられたプレイIDを引数として含んだURLをコンテンツアクセス情報として送信する。ユーザは、受信したコンテンツアクセス情報のURLに携帯電話等の端末装置500でアクセスすることにより、所定の画像取得ウェブサイト内の自身の編集済画像や送信用動画像をダウンロードできるページを開くことができ、ダウンロードが可能となる。また、シール紙には、編集済画像に基づく印刷用画像とともにプレイIDが印刷され、ユーザはそのプレイIDを所定の画像取得ウェブサイトに入力することによっても、自身の編集済画像や送信用動画像をダウンロードできるページを開くことができ、ダウンロードが可能となる。なお、ユーザが無料会員としてメールアドレスを登録している場合は、管理サーバ300にアップロードされた複数の編集済画像のうち自身が選択した画像が取得可能なページを開くことができる。ユーザが有料会員としてメールアドレスを登録している場合は、管理サーバ300にアップロードされた複数の編集済画像のすべてが取得可能なページを開くことができる。また、送信出力部163が送信用動画像ではなく撮影された動画像を管理サーバ300にアップロードする仕様の場合、ユーザによって選択された動画テーマを示す情報を撮影された動画像とともにアップロードする。これにより、管理サーバ300において、または、管理サーバ300から情報を取得する端末装置500上の専用の情報提示アプリケーションにおいても、ユーザにより選択された動画テーマに対応するテンプレート動画に動画像を埋め込むことで表示用動画像を構成することができる。その場合、管理サーバ300において、または、管理サーバ300から情報を取得する端末装置500上の専用の情報提示アプリケーションにおいて、各動画テーマに対応するテンプレート動画や背景音楽等のデータをあらかじめ記憶する。
図9は、事前設定から本撮影までの過程を示すフローチャートである。まず事前設定部40のタッチパネル41にユーザがタッチ操作をしてスタートし、撮影人数の選択、名前、音楽と背景画像の選択、および動画テーマの選択を事前設定としてユーザがタッチ操作で入力する(S100)。音楽と背景画像の選択は、撮影プレイ中に撮影空間10に流す音楽の選択と、その選択された音楽に対応する背景画像セットの選択である。「2人コース」が選択された場合(S101)、2人のユーザに対して認証用撮影をする旨の案内を正面モニタ113に表示し(S104)、正面カメラ111による2人用のユーザの認証用撮影を実行する(S105)。「3人コース」が選択された場合(S102)、3人のユーザに対して認証用撮影をする旨の案内を正面モニタ113に表示し(S107)、正面カメラ111による3人用のユーザの認証用撮影を実行する(S108)。「大人数コース」が選択された場合(S103)、認証用撮影は行わない(S104,S105,S107,S108をスキップ)。事前設定および認証用撮影の後、本撮影として正面カメラ111によりアップの画像を3回撮影する(S106)。
アップ撮影の後、横にある側方モニタ114へ誘導する案内を正面モニタ113に表示してユーザを側方モニタ114の方向へ向かせ(S110)、ユーザの立ち位置に関する案内を側方モニタ114に表示し(S111)、本撮影として側方カメラ112によりユーザの全身画像を2回撮影する(S112)。再び正面モニタ113へ誘導する案内を側方モニタ114に表示してユーザを正面モニタ113の方向へ向かせ(S113)、ムービー撮影に関する案内を正面モニタ113に表示するとともに(S114)、ムービー撮影のチュートリアルとして手本となるサンプル動画を表示した後で正面カメラ111によりムービーを撮影する一連の過程を3回繰り返す(S116)。
この時点でのプレイの残り時間を参照し(S120)、残り時間があれば(S121)、ユーザにボーナスショット撮影を提供して、S120に戻り(S122)、残り時間がなければ(S123)、落書きブース(編集空間20)へ誘導する案内を正面モニタ113に表示し(S124)、2箇所ある編集空間20a,20bのいずれへ移動すべきかを案内し(S125)、落書きブースへ移動する(S126)。
図10は、補正および編集の過程を示すフローチャートである。補正(「レタッチ」ともいう)の案内画面を編集用モニタ213に表示した後(S200)、事前設定で2人コースが選ばれていた場合は(S201)、「テイスト選択」(S202)、「仕上がり選択」(S203)、「明るさ選択」(S204)の3項目についてユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正を本撮影用の撮影画像(S106で取得された3枚のアップ撮影画像およびS107で取得された2枚の全身撮影画像)に施す(S205)。事前設定で3人コースが選ばれていた場合は(S210)、「テイスト選択」(S211)と「明るさ選択」(S212)の2項目についてユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正を本撮影用の撮影画像に施す(S205)。3人の場合は2人の場合に比べて個別の好みの選択に時間を要するため、2人コースに比べて補正項目数を減らしている。事前設定で大人数コースが選ばれていた場合は(S220)、「目の大きさ、明るさ選択」(S221)の1項目についてのみユーザは好みを選択でき、「落書き準備中」を表示させるとともに好みの選択に基づく補正をすべての本撮影用の撮影画像に施す(S205)。大人数コースの場合は人数分の好みを選択させるだけの時間的な余裕がないため、ユーザごとの個別の選択ではなく全員について一括して指定できる1項目のみについて選択させる趣旨である。
「落書き準備中」から落書きの本編へ移行し(S230)、ユーザからの指示に基づいて、補正が施された複数の本撮影用の撮影画像に対して編集処理を実行した後、印刷レイアウトとして分割レイアウト選択や大きく印刷する写真の選択をユーザの指示に基づいて設定し(S232)、出力空間30への移動案内を編集用モニタ213に表示し(S233)、出力空間30(「出口コーナー」ともいう)へ誘導する(S234)。
図11は、出力処理の過程を示すフローチャートである。1人目のユーザが複数の編集済画像の中から一つ選択させる画面(送信画像選択画面)を表示する(S302)。そして、1人目のユーザのメールアドレスを入力させる画面(メールアドレス入力画面)を表示する(S303)。続いて、2人目のユーザ用の送信画像選択画面を表示し(S304)、2人目のユーザ用のメールアドレス入力画面を表示する(S305)。3人目のユーザがいる場合は(S306のY)、3人目のユーザ用のメールアドレス入力画面を表示する(S307)。さらに4人目のユーザがいる場合は(S308のY)、4人目のユーザ用のメールアドレス入力画面を表示する(S309)。3人目がいない場合はS307からS309までスキップし(S306のN)、4人目がいない場合はS309をスキップする(S308のN)。
送信用画像の選択とメールアドレスの入力の終了後、SPムービーを液晶モニタ311に提示して管理サーバ300へ送信し(S310)、「プリント準備中」を液晶モニタ311に表示しながら印刷用画像をシール紙に印刷する(S311)。このとき、編集が完了したすべての本撮影用の撮影画像の写真画像群が管理サーバ300へアップロードされる。最後に印刷が完了したことを液晶モニタ311に表示して終了する(S312)。
図12は、事前設定部40のタッチパネル41に表示される事前設定画面の例を示す。事前設定画面では、まずコインの入力を促し、コインの入力があった後、図示するように音楽の選択と背景画像の選択とをユーザに促す。
事前設定画面の上部にはジャケット画像表示領域710が設けられている。ジャケット画像表示領域710には、撮影プレイ中に撮影空間10に流すことができる音楽のリストが表示される。具体的には、ジャケット画像表示領域710には、撮影空間10に流すことができる音楽をイメージできる画像(以下、「ジャケット画像」という)が表示される。本図の例ではジャケット画像表示領域710には複数のジャケット画像711a、711b、711c、711d、711e(以下、総称する場合には「ジャケット画像711」と呼ぶ)が横に並んで配置され、中央位置に配置されたジャケット画像711cが他のジャケット画像711a、711b、711d、711eよりも大きく表示される。他のジャケット画像よりも大きく表示されているジャケット画像711cは、現在選択中であることを示している。このとき、事前設定部40のスピーカ43からは、事前設定部40で通常流れるBGMが出力されるとともに、選択中のジャケット画像711cに対応する音楽がBGMよりも大音量で出力される。また、選択中のジャケット画像711c上には、再生マーク714が表示される。再生マーク714をタッチすると、選択中のジャケット画像711cに対応する音楽が、頭から出力される。
ユーザがタッチペン214で右矢印ボタン712または左矢印ボタン713をタッチすると、選択中のジャケット画像が変更される。図12に示す例においては、右矢印ボタン712をタッチすると、選択中のジャケット画像が、ジャケット画像711cから、その一つ右隣のジャケット画像711dに変更される。このとき、ジャケット画像711dが他のジャケット画像711a〜711c,711eよりも大きく表示される。そして、ジャケット画像711dの上には、再生マーク714が表示され、スピーカ43から出力される音楽も、ジャケット画像711dに対応する音楽に変更される。
左矢印ボタン713をタッチすると、選択中のジャケット画像が、ジャケット画像711cから、その一つ左隣のジャケット画像711bに変更される。このとき、ジャケット画像711bが他のジャケット画像711a,711c〜711eよりも大きく表示される。そして、ジャケット画像711dの上には、再生マーク714が表示され、スピーカ43から出力される音楽も、ジャケット画像711dに対応する音楽に変更される。
また、複数のジャケット画像711の中の1つをタッチすれば、タッチしたジャケット画像711が選択中のジャケット画像となる。例えば、ジャケット画像711eをタッチすると、選択中のジャケット画像が、ジャケット画像711cから、タッチされたジャケット画像711eに変更される。このとき、ジャケット画像711eが他のジャケット画像711a〜711dよりも大きく表示される。そして、ジャケット画像711eの上には、再生マーク714が表示され、スピーカ43から出力される音楽も、ジャケット画像711eに対応する音楽に変更される。
このようにユーザは、ジャケット画像表示領域710を操作して音楽を試聴しながら、お気に入りの音楽や、そのときの気分に合った音楽を選択できる。
ジャケット画像表示領域710の下方には、背景画像セット表示領域720が設けられている。背景画像セット表示領域720には、ジャケット画像表示領域710において選択された音楽、すなわち選択中のジャケット画像711の音楽と同じテイストの複数セット(ここでは6セット)の背景画像セット721a、721b、721c、721d、721e、721f(以下、総称する場合には「背景画像セット721」と呼ぶ)が表示される。各背景画像セット721には、複数(ここでは6つ)の背景画像が含まれる。より具体的には、背景画像セットは、撮影回数と同じ数の種類の背景画像から構成され、3種類のアップ撮影用の背景画像(以下、「アップ用背景画像」と呼ぶ)、2種類の全身撮影用の背景画像(以下、「全身用背景画像」と呼ぶ)および1種類のボーナスショット撮影用の背景画像(以下、「ボーナスショット用背景画像」と呼ぶ)を少なくとも含む。
ユーザが好みの背景画像セット721をタッチペン214でタッチして選択し、「OK」ボタン722を押して選択を確定すると、その背景画像セット721がデータ記憶部150に記憶される。背景処理部141は、データ記憶部150に記憶された背景画像セット721に含まれる背景画像を、撮影画像やライブビュー映像に合成する。3回のアップ撮影に係る各撮影画像や各ライブビュー映像には、3種類のアップ用背景画像がそれぞれ合成される。また、2回の全身撮影に係る各撮影画像や各ライブビュー映像には、2種類の全身用背景画像がそれぞれ合成される。また、ボーナスショット撮影に係る各撮影画像や各ライブビュー映像には、1種類のボーナスショット用背景画像が合成される。なお、ボーナスショット撮影が行われない場合、選択された背景画像セット721に含まれるボーナスショット用背景画像は使用されない。
「OK」ボタン722を押した後に、選択された背景画像セット721でよいか確認を促す画面を表示させてもよい。この画面には、「OK」ボタン(不図示)と「キャンセル」ボタン(不図示)が含まれる。「OK」ボタン(不図示)がタッチされた場合は、事前設定画面において最後に選ばれていた背景画像セット721が、以降のプレイで使用するものとして確定される。一方、「キャンセル」ボタン(不図示)がタッチされた場合は、最後に選ばれていた背景画像セット721が選択中になっている事前設定画面が再度表示される。「OK」ボタン722が押されて選択が確定すると、ジャケット画像表示領域710において選択されたジャケット画像の音楽の出力は止まり、スピーカ43からはBGMだけが出力される。
図13は、事前設定において動画撮影の内容をユーザに選択させる画面例を示す。図13(a)は、これから動画テーマの選択画面に移行しようとしている旨を説明する案内画面であり、事前設定部40はタッチパネル41に表示する2つのサンプルムービー枠640に2つのサンプルムービーのサムネイルをそれぞれ再生表示させる。図13(b)は、動画テーマの選択画面であり、事前設定部40は6つのムービー候補枠641をタッチパネル41に表示させる。6つのムービー候補枠641のそれぞれには動画テーマの選択肢として異なるサンプルムービーのサムネイルを再生表示させる。サンプルムービーは、後に撮影する動画像において被写体に合成する背景映像、背景音楽及び枠画像が含まれたテンプレート動画に、撮影の際の手本動作の映像である手本動画を埋め込んで作成されたものである。動画テーマごとに背景映像、背景音楽、枠画像等のテンプレート動画の種類と手本動作が異なる。ユーザは好みでいずれかのサンプルムービーを選択しただけで、そのサンプルムービーに対応する動画テーマに沿って撮影および編集が行われ、その動画テーマに沿った出力用の動画像を簡単に作成できる。ムービー候補枠641は、6種類の動画テーマに基づいてあらかじめ作成されたサンプルムービーのサムネイルを表示させた選択ボタンの役割を持つ。サンプルムービーのサムネイルは、サンプルムービーの表示サイズを縮小して内容の一部を表示させるものであり、ムービーの冒頭の数秒間を1回または繰り返し再生してもよい。また、所定間隔のフレームをスキップしながら、その内容のすべてを早送り再生するものであってもよい。なお、内容すべてをスキップ等なしに再生してもよい。
事前設定部40は、6つのムービー候補枠641に表示させる6種類のサンプルムービーのサムネイルを同時にプレビュー再生させる。これにより、別途プレビュー枠を設けておいて、ユーザが選択したサムネイルのサンプルムービーだけを一つずつプレビュー枠で再生させるのと比べて、プレビューを確認しながら選択を切り替えるといった手間が省ける。また、事前設定に要する時間を短縮することができ、設定を簡潔にできる。事前設定部40は、ユーザがタッチ操作で選択したサムネイルのムービー候補枠641に選択枠642を重畳させ、現在このサムネイルが選択されていることを示す。ユーザがいずれかのムービー候補枠641を選択すると、事前設定部40は、選択中のサムネイルに対応するサンプルムービーに含まれる背景音楽を入口付近に設置されたスピーカーから出力させる。このとき、事前設定部40は入口付近のスピーカーから通常時に出力する通常背景音楽の音量を低減するとともに、サンプルムービーの背景音楽を通常背景音楽より大きな音量で出力する。ユーザがムービー候補枠641の選択を切り替えると、事前設定部40はあらたに選択したサンプルムービーのみを最初から再生するとともに、このサンプルムービーの背景音楽の出力に切り替えて最初から再生する。なお、その切り替え時において、事前設定部40は切り替え前のサンプルムービーを再生していた時間位置、および背景音楽を再生していた時間位置を記憶しておき、同じサンプルムービーが再び選択された場合は、記憶しておいた時間位置からサンプルムービーおよび背景音楽の再生を再開する。図12(b)の選択画面に移行した時点では初期的に所定のムービー候補枠641、例えば左上のムービー候補枠641に選択枠642が重畳されて選択された状態となり、ユーザのタッチ操作により他のムービー候補枠641を含むいずれかのムービー候補枠641が選択された状態でOKボタンをタッチすると、動画テーマの選択が確定する。また、OKボタンのタッチで動画テーマの選択が確定すると、事前設定部40は選択中のサンプルムービーおよび背景音楽の再生を停止し、通常背景音楽の音量を元の音量に戻す。
図14は、アップ撮影の画面例を示す。本図(a)のように、正面カメラ111で撮像する2人のユーザのアップでの映像を正面モニタ113の画面内のアップ撮影枠622にリアルタイム表示し、本図(b)のように「カメラを見てね」といった文字表示と「3」「2」「1」といった数字のカウントダウン値623を表示することにより、ユーザを正面カメラ111の方向へ向けさせて撮影を実行する。撮影の実行により取得された撮影画像は本図(c)のようにアップ撮影枠622に静止画として表示するとともに、アップ撮影枠622の下方にて横方向に並ぶ複数の撮影済画像枠624に撮影のたびに左から順次表示される。なお、アップ撮影枠622や撮影済画像枠624には、事前設定で選択された背景画像が合成された映像や静止画像が表示される。具体的には、事前設定で選択された背景画像セットに含まれる所定のアップ用背景画像が合成された映像や静止画像が表示される。
図15は、全身撮影の画面例を示す。本図のように側方カメラ112で撮像する2人のユーザの全身が写った映像を側方モニタ114の画面内の全身撮影枠625にリアルタイム表示し、本図のように「撮影するよ!」といった文字表示と「3」「2」「1」といった数字のカウントダウン値を表示することにより、ユーザを側方カメラ112の方向へ向けさせて撮影を実行する。撮影の実行により取得された撮影画像は図14(c)のように正面モニタ113の撮影済画像枠624に撮影のたびに撮影画像を左から順次表示していく。なお、全身撮影枠625や撮影済画像枠624には、事前設定で選択された背景画像が合成された映像や静止画像が表示される。具体的には、事前設定で選択された背景画像セットに含まれる所定の全身用背景画像が合成された映像や静止画像が表示される。
図16は、編集用モニタ213に表示される編集画面の第1画面例を示す。編集画面は、左右一対の編集スペースに区分けされ、2人のユーザが同時並行して使用できるようになっている。編集用モニタ213の左側の編集スペースにおいては、左側のタッチペン214Aによる入力受け付けが可能となっている。同様に、右側の編集スペースにおいては、右側のタッチペン214Bによる入力受け付けが可能となっている。各編集スペースの上部中央には、編集対象画像を表示し編集を行える矩形状の落書領域810が設けられている。各落書領域810の上方には、5枚の編集対象画像のサムネイル812が表示されており、ここから選択された1枚の編集対象画像が、落書領域810に表示される。ここでの5枚の編集対象画像は、3枚のアップ撮影画像および2枚の全身撮影画像に基づくものである。より具体的には、3枚のアップ撮影画像に、事前設定で選択された背景画像セット721に含まれる3種類のアップ用背景画像をそれぞれ合成した画像、および、2枚の全身撮影画像に、当該背景画像セット721に含まれる2種類の全身用背景画像を合成した画像に相当する。なお、ユーザが落書領域810でした編集は、対応するサムネイル812にも反映される。落書領域810およびサムネイル812には、事前設定部40における事前設定で選択された背景画像が合成された編集対象画像が初期的に表示される。
図16では、5枚の編集対象画像のサムネイル812のうちの一枚が、太枠の選択フレーム812’で囲まれて強調表示され、そのサムネイルに対応する編集対象画像が落書領域810に表示される。ユーザは、編集対象画像のサムネイル812のうち任意の一枚のサムネイルをタッチペン214A,214Bを用いて選択することで、落書領域810に表示する編集対象画像を変更することができる。ユーザはまた、タッチペン214A,214Bを用いて選択フレーム812’をドラッグ操作で移動することで、落書領域810に表示する編集対象画像を変更することもできる。この場合、移動後の選択フレーム812’が囲むサムネイル812に対応する編集対象画像が、落書領域810に表示される。
編集画面の中央上部には、「エンド」ボタン814が配置されている。また、編集画面の中央部には、上から、消しゴムボタン816、「進む」ボタン818、及び「戻る」ボタン820が配置されている。「エンド」ボタン814は、編集を終了するためのボタンであり、この「エンド」ボタン814を押下すると、編集処理が自発的に終了し、出力処理に移行する。消しゴムボタン816は、4種類のものが配置されており、3種類の大きさの消しゴムボタンと、すべての落書を消すための「全消し」ボタンとが配置されている。例えば、いずれかの大きさの消しゴムボタンをタッチペン214A,214Bで押下すると、その大きさの消しゴムが設定され、この状態で落書領域810をタッチペン214A,214Bでなぞると、なぞった部分の落書が消去される。また、「全消し」ボタンを押下すると、落書領域810に表示中の編集対象画像に対してなされたすべての落書が消去される。
「戻る」ボタン820は、直前に行った落書処理を取り消して元に戻すための、いわゆるundoボタンである。反対に、「進む」ボタン818は「戻る」ボタン820を押下する直前の落書処理を復活させるための、いわゆるredoボタンである。
編集画面の中央上部における「エンド」ボタン814の上方には、「ムービーらくがき」といった文字列が書かれたアイコン画像である動画編集開始ボタン840が表示される。ユーザが動画編集開始ボタン840を押下すると、テンプレート動画を用いた動画編集処理が開始される。
編集画面の中央上部における動画編集開始ボタン840の間には、カウントダウン用のタイマー822が設けられている。このタイマー822は、種々の設定ができるが、例えば、落書編集を行える基本制限時間(例えば300秒)を予め設定しておき、落書編集が開始されると同時にカウントダウンを始め、タイマー822の表示がゼロになったときに落書編集を強制的に終了して出力処理に移行させるように構成することができる。あるいは、撮影部50にユーザがいないとき、つまり、編集作業を待つ後続のユーザがいないときには、カウントダウンを行わず、制限なく編集作業を行えるようにしてもよいし、最大制限時間(例えば20分)を設定しておき、最大制限時間まで編集作業を行えるようにしてもよい。但し、このような状態になったとき、もう一方の編集部51に後続のユーザがいる状態で、新たなユーザによる撮影処理が開始された場合、撮影処理の開始に合わせて、予め設定された時間(例えば60秒)からのカウントダウンを始めるようにすることが好ましい。タイマー822は、左右のユーザで共通であり、両ユーザの編集処理時間が1つのタイマー822で管理される。
落書領域810の下方には、編集対象画像に対して編集を行う編集ツールを選択するためのパレット領域828が配置されている。パレット領域828は、複数の領域に分けられている。パレット領域828の上段には、複数のカテゴリーが表示されたカテゴリー選択領域824が配置され、カテゴリー選択領域824の下方には、編集ツール表示領域826が配置されている。図示する例では、カテゴリー選択領域824において、上位カテゴリとして「MAKE/メイク」が選択され、さらに「MAKE/メイク」の下位カテゴリとして「おそろコーデ」が選択される。「おそろコーデ」は、編集対象画像に含まれる複数の人物のそれぞれに対してお揃いの装飾アイテムを自動的に合成するワンタッチ落書きを意味する装飾アイテムのカテゴリである。また、編集ツール表示領域826には「おそろコーデ」に対応するボタンとして装飾アイテムの選択肢を示す3つの装飾アイテム選択ボタンが表示される。3つの装飾アイテム選択ボタンは、それぞれモデルの写真にサンプルとして装飾アイテムを合成したサムネイル画像である。図の例では3つの装飾アイテム選択ボタンのうち真ん中のボタンが選択されて太枠で囲まれた強調表示がなされている。選択された装飾アイテムは、落書領域810に表示される編集対象画像に対して自動的に合成される。
落書領域810およびパレット領域828の外側には、ペンパレット領域830が配置されている。ペンパレット領域830には、手書き入力に用いられるペン画像の線の種類、太さ、色の選択に用いられるボタンが表示される。
ユーザは、タイマー822の残り時間が0になる(またはユーザが自発的に終了する)まで、落書をする。そして、タイマーの残り時間が0になるか、あるいはユーザが「エンド」ボタン814をタッチして自発的に落書を終了させると、編集用モニタ213は「落書終了」というメッセージを表示する。そして、その時点において、編集画面で編集されている編集対象画像が編集済画像とされ、この編集済画像がデータ記憶部150に記憶され、編集処理が終了する。このように、ユーザが自発的に「エンド」ボタン814をタッチすることで、ユーザが編集対象画像に対してした編集が確定する。この意味で、上述した落書領域810やサムネイル812は、編集のプレビューである。
右側のユーザが右上に配置された5枚のサムネイル812のうち左から2番目のサムネイルをタッチペン214Bで選択すると、そのサムネイルが太枠の選択フレーム812’で囲まれて強調表示されて現在右側のユーザによって編集処理中であることが示される。そのサムネイルに対応するアップ撮影画像の編集対象画像が右側の落書領域810に表示される。このとき、左側の編集スペース上部に配置された5枚のサムネイル812のうち、右側のユーザで編集中である左から2番目のサムネイルには、「右の人が拡大中だよ」といった文字列が表示され、現在右側のユーザによって編集処理中であることが示される。左側のユーザが左上に配置された5枚のサムネイル812のうち左端のサムネイルをタッチペン214Aで選択すると、そのサムネイルが太枠の選択フレーム812’で囲まれて強調表示されて現在左側のユーザによって編集処理中であることが示される。そのサムネイルに対応するアップ撮影画像の編集対象画像が左側の落書領域810に表示される。右側の編集スペース上部に配置された5枚のサムネイル812のうち、左側のユーザで編集中である左端のサムネイルには「左の人が拡大中だよ」といった文字列が表示され、現在左側のユーザによって編集処理中であることが示される。
編集ツール表示領域826に表示された「おそろコーデ」に対応する3つの装飾アイテム選択ボタンのいずれかをユーザがタッチペン214でタッチして選択した後、落書領域810の任意の場所をタッチペン214でタッチすると、所定の配置決定規則に基づいて自動的に配置態様が決定される。ただし変形例として、装飾アイテム選択ボタンのをタッチペン214でタッチするだけで、落書領域810をタッチしなくとも自動的に配置決定規則に基づいて配置態様が決定される仕様としてもよい。以上のように決定された配置態様にて装飾アイテムが、落書領域810に表示された編集対象画像に合成されることにより、ワンタッチ落書きが実現される。もし、ワンタッチ落書きによる合成がいったん実行された後に、自動で合成された一対の装飾アイテムを左右で入れ替えることをユーザが望む場合は、同じ装飾アイテムに対応する装飾アイテム選択ボタンを選択中であれば、再び落書領域810の任意の場所をタッチペン214でタッチするだけでよく、そのタッチがなされると自動的に装飾アイテムが左右で入れ替わる。その場合、装飾アイテムの種類だけが左右で入れ替わってもよいし、合成位置が左右で入れ替わってもよいし、装飾アイテムの種類と合成位置の双方が左右で入れ替わってもよい。図では3つの装飾アイテム選択ボタンのうち真ん中のボタンに対応する装飾アイテムとして、撮影画像に写る2人の人物のそれぞれに対し、額から頭にかけてアイマスクの画像を合成し、肩付近に熊のキャラクタ画像を合成している。他の装飾アイテム選択ボタンをタッチペン214でタッチした場合には、ヘアバンド、サングラス、ヘアリボンといったアクセサリーの形をした画像である他の装飾アイテムがそれぞれの人物に合成可能となる。
ワンタッチ落書きに対応する装飾アイテムは、撮影画像に合成させ得る装飾アイテムとしてあらかじめデータ記憶部150に記憶された一組の簡略装飾用画像である。この場合の装飾アイテムは、撮影画像から検出される複数の人物のそれぞれに個別の態様で合成させる複数の画像を含むだけでなく、複数の人物の位置にかかわらず人物の周囲などの所定位置に所定のアイテムが表示されるように合成させるフレーム画像をさらに含んでもよい。ワンタッチ落書きに対応するいずれかの装飾アイテム選択ボタンがタッチペン214によりタッチされて選択された場合、編集処理部143は、選択された一組の簡略装飾用画像のうちいずれの画像をいずれの位置に合成させるかの配置態様を、撮影画像から検出された複数の人物の位置関係と所定の配置決定規則に基づいて決定する。図16の例では、左右の人物のそれぞれに、異なる色のアイマスクと熊の画像を合成する。このとき、左右いずれの人物に2色の画像のいずれを合成するかの対応関係を決定するが、同じ人物に同じ色の画像が合成されるように制御する。例えば、アイマスク画像と熊のキャラクタ画像がそれぞれ桃色と紫色の2色であり、左側の落書領域810においては左側の第1人物934aに桃色アイマスク画像930aと桃色キャラクタ画像932a、右側の第2人物934bに紫色アイマスク画像930bと紫色キャラクタ画像932bを合成する。一方、右側の落書領域810においては左側の第1人物934aに紫色アイマスク画像930bと紫色キャラクタ画像932b、右側の第2人物934bに桃色アイマスク画像930aと桃色キャラクタ画像932aを合成する。また、桃色キャラクタ画像932aは人物に向かって右側の肩付近に合成し、紫色キャラクタ画像932bは人物に向かって左側の肩付近に合成するよう配置決定規則が定められている。桃色アイマスク画像930aと紫色アイマスク画像930bは、人物の頭部に合成するよう配置決定規則が定められている。
配置決定規則として考え得る第1の規則では、まず編集対象画像に対して人物検出を実行し、最初に検出した人物を0番とし、検出順序に応じて0,1,2番というように異なる人物番号を割り当てる。その上で、0番の人物に向かって右側の肩付近に桃色キャラクタ画像932aとその頭部に桃色アイマスク画像930aを合成し、1番の人物に向かって左側の肩付近に紫色キャラクタ画像932bとその頭部に紫色アイマスク画像930bを合成する、というように、人物番号ごとにどの位置にどの画像を合成するかが配置決定規則に定められる。この第1の規則の場合、人物検出の結果によって人物ごとにどの位置に合成するかが決まる一方、人物が検出される順序次第で桃色と紫色のいずれの画像が合成されるか、および、どちら側の肩付近に熊のキャラクタ画像が合成されるかが異なることとなる。例えば、図16の左側の落書領域810に表示された編集対象画像においては、第1人物934aが0番、第2人物934bが1番として検出され、右側の落書領域810に表示された編集対象画像においては、第2人物934bが0番、第1人物934aが1番として検出されている。すなわち、2人の人物が横に並んだ場合に2人の内側に位置する肩付近に熊が合成される場合(図16の左側の落書領域810参照)と、2人の外側に位置する肩付近に熊が合成される場合(図16の右側の落書領域810参照)とがあり、検出結果次第で異なる側に合成されることになる。したがって、装飾アイテムを合成する場合のデザインとして「2人の外側に配置する」といった意図をもって配置したくとも、人物検出の結果によって意図通りになる場合とならない場合とがあり得る。また、装飾アイテムとして動物や人物などのキャラクタ画像を合成する場合のデザインとして、さらに「互いに向き合う」ような形で合成したい場合がある。例えば、2人の外側の肩付近でキャラクタ画像が互いに向き合うよう、やや内側を向かせる形で合成したい場合、意図に反して2人の内側の肩付近に合成されると、逆に互いに外側を向くような画像となってしまう。
そこで、配置決定規則として考え得る第2の規則では、編集対象画像における座標情報を用いることとする。その上で、0番の人物が他方の人物に対して左右のどちらに位置するのか、1番の人物が他方の人物に対して左右のどちらに位置するのか、をそれぞれの人物の座標に基づいて判別した上で、「左側の人物には向かって左側の肩付近に紫色キャラクタ画像932bを合成し、右側の人物には向かって右側の肩付近に桃色キャラクタ画像932aを合成する」ように配置決定規則を定める。2人の左右の位置関係が判別できれば、それぞれの人物のどちらの肩が「内側」と「外側」なのかも判別できるためである。これにより、「2人の外側に配置する」といった意図をもって配置することができ、また、「2人の外側に配置する」とともに「互いにやや内側を向く」ような形の熊の画像とすることもできる。背景や装飾アイテムのデザインによって左右のどちら側に合成するのがよいかが異なる場合があり、意図通りに合成されるように配置決定規則を定義することができる。変形例として、キャラクタ画像を合成する位置が2人の人物の外側と内側のどちらであるかに応じて画像を反転させることによってキャラクタ画像同士が必ず互いに向き合うようにしてもよい。別の変形例として、人物同士の相互の位置関係ではなく、編集対象画像を中心線で分割したいずれの領域に位置するかに応じて装飾アイテムの合成位置を決定してもよい。例えば、写真の中心より右側に位置する人物には右肩付近に合成する、といった配置決定規則を定めてもよい。
配置決定規則として考え得る第3の規則では、編集対象画像における人物認証の結果を用いる。編集対象画像に対してワンタッチ落書きによる合成が指示されたときに、人物検出の結果にしたがって0番の人物に第1の画像を合成し、1番の人物に第2の画像を合成したとする。各人物に対して人物認証を実行し、その結果として0番の人物が第1のユーザで、1番の人物が第2のユーザであると判別された場合は、第1のユーザに第1の画像を対応づけ、第2のユーザに第2の画像を対応づけ、そのような対応関係をデータ記憶部150に保存する。もし、ユーザが左右の装飾アイテムを入れ替えるために落書領域810の任意の箇所をタッチした場合は、第1の画像と第2の画像が入れ替わり、データ記憶部150に保存する対応関係を書き換える。そのような対応関係を、そのユーザによる落書きにおいて最初にワンタッチ落書きによる合成をしたときにデータ記憶部150に保存し、以降はそのユーザによる落書きが終了するまで他の編集対象画像に対するワンタッチ落書きを実行するときも同じ対応関係を参照する。すなわち、他の編集対象画像において第1のユーザと第2のユーザの位置が左右で入れ替わっていても、保存された対応関係に基づいて、例えば第1のユーザには第1の画像が合成され、第2のユーザには第2の画像が合成される関係性が維持される。なお、人物認証による各人物の特定が困難となるような編集対象画像の場合のために、顔以外の部分、例えば服の色調などの要素を副次的に参照して複数の人物を区別するようにしてもよい。
編集対象画像から複数の人物が検出された場合を例示したが、編集対象画像から人物が一人しか検出されなかった場合は、0番の人物に対して定められた配置決定規則に基づいてワンタッチ落書きによる合成がなされる。
本実施の形態におけるワンタッチ落書きとして、アクセサリやキャラクタ画像を合成する例を説明したが、他の例としては、例えば人物の顔パーツに様々な色の化粧の画像やフェイスペインティングの画像を合成する例を含んでもよい。化粧の画像は、例えば頬紅や口紅の画像を合成したり、カラーコンタクトレンズの画像を合成したりするものである。カラーコンタクトレンズは、人物ごとに色が異なるようにしてもよいし、両眼で色が異なるようにしてもよい。フェイスペインティングの画像は、例えば頬に様々な国旗や柄の画像を合成するものである。顔にどのような化粧や国旗の画像を合成するかは、事前設定においてユーザに選択させてもよいし、その場合は人物認証の結果に基づいて事前設定で選択された種類の画像を合成する。
図16の編集ツール表示領域826には、モデルの写真に装飾アイテムを合成したサムネイル画像の装飾アイテム選択ボタンを表示する例を説明した。変形例においては、モデルの写真ではなく、実際の撮影画像に各装飾アイテムを自動的に合成した複数のサムネイル画像を複数の装飾アイテム選択ボタンとして一覧表示し、その中からユーザの好みでいずれかを選択させる仕様としてもよい。この場合、これらの装飾アイテム選択ボタンは、各装飾アイテムと撮影画像とを合成して生成される。より具体的には、これらの装飾アイテム選択ボタンは、落書領域810に表示中の編集対象画像(落書きされていないもの)と、各装飾アイテムとを合成して生成することが好ましい。落書領域810に表示される編集対象画像が別の画像に切り替わると、表示される装飾アイテム選択ボタンも切り替え後の編集対象画像に対応するものに切り替わる。なお、落書領域810に表示中の編集対象画像において人物が検出できない場合は、装飾アイテム選択ボタンに代えて他の表示に切り替えてもよい。例えば、ワンタッチ落書きが使用できない旨を示すメッセージや標識を表示してもよい。あるいは、各装飾アイテムを構成する各パーツ(例えば、アイマスク画像930やキャラクタ画像932)を個別に手動で編集対象画像に合成できるように編集ツール表示領域826の内容を切り替えるための手動切替ボタン827を選択させるように誘導する内容を表示してもよい。または、人物が検出できない場合に、ユーザが手動切替ボタン827をタッチペン214でタッチしなくとも、手動切替ボタン827がタッチされた場合と同じ状態に編集ツール表示領域826の内容を切り替えてもよい。
図17は、手動切替ボタン827がタッチされて内容が切り替えられた後の編集ツール表示領域826の状態を示す。図示する編集ツール表示領域826においては、通常はワンタッチ落書きによって自動的に合成される装飾アイテムを構成する各パーツ(アイマスク画像930やキャラクタ画像932)に対応する選択ボタンが表示される。例えば、アイマスク画像を合成する場合、ユーザがアイマスク画像の選択ボタンをタッチペン214でタッチし、落書領域810に表示される編集対象画像のうち合成したい位置にタッチペン214でタッチすることにより合成の実行および合成位置を指示する。
図18は、人物検出により検出した顔の特徴点と合成位置の関係の例を模式的に示す。まず、既知の顔検出アルゴリズムにより、顔画像900に含まれる各パーツを形作る複数の特徴点を検出する。図における複数の白抜きのプロットが特徴点であり、いずれかの特徴点を基準にして装飾アイテムを合成する位置が配置決定規則に定められる。各特徴点には顔検出アルゴリズムによって固定番号が割り当てられる。例えば、向かって左側の目の瞳孔を00番、右側の目の瞳孔を01番、といったように、その番号がどの特徴点を示すかの対応関係が顔検出アルゴリズムに定められている。配置決定規則としては、対象とする人物の位置(左右のどちらであるか)と合成する装飾アイテムの種類、配置を決定する基準とする特徴点の番号、特徴点からの方向、特徴点からの距離の対応関係が定められる。
例えば、被写体の人物の額から頭にかけてアイマスク画像930を合成する場合、まず両眼の瞳を結ぶ第1基準線901と、目と目の中間点を通り第1基準線901と垂直をなす第2基準線902を想定する。第1基準線901と第2基準線902の交点から第2基準線902に沿って上方に所定の距離d1だけ離れた位置にアイマスク画像930の中心を通る第3基準線903が垂直に交差するように合成すると配置決定規則に定めておく。これにより、人物の両眼が検出できれば適所にアイマスク画像930を合成することができる。編集対象画像から検出される顔画像900が傾いていた場合でも、両眼の瞳を結ぶ第1基準線901の傾きに応じて第2基準線902も傾き、その第2基準線902の傾きに応じて第3基準線903も傾くようにアイマスク画像930を合成することにより、適所において適当な傾きで配置することができる。
例えば、被写体の人物の正面に向かって右側の肩付近にキャラクタ画像932を合成する場合、右側の頬の特徴点920と左側の頬の特徴点921を結ぶ第4基準線904を想定する。第4基準線904に沿って特徴点920から外側(正面に向かって右側)に所定の距離d2だけ離れた位置でキャラクタ画像932の中心を通る第5基準線905が交差するようにキャラクタ画像932を合成すると配置決定規則に定めておく。このとき、上述のアイマスク画像930の場合は顔画像900の傾きに合わせた傾きで合成するのに対し、キャラクタ画像932の場合は肩に鉛直に乗せた状態を想定し、つねにキャラクタ画像932が鉛直になるように合成する点で相違する。すなわち、第4基準線904と第5基準線905は必ずしも垂直に交差するわけではなく、第5基準線905が鉛直のまま第4基準線904と交差するように合成する。このようにして、人物の肩にキャラクター画像が乗っているような合成を実現することができる。
また、被写体の人物の肩付近にキャラクタ画像932を合成する方法はこれに限らず、より単純な方法を用いることもできる。例えば、正面に向かって右側の肩付近にキャラクタ画像932を合成する場合は、右側の頬の特徴点920から右方向に距離d2離れた位置にキャラクタ画像932を合成し、左側の肩付近にキャラクタ画像932を合成する場合は、左側の頬の特徴点921から左方向に距離d2離れた位置にキャラクタ画像932を合成する。
アイマスク画像930やキャラクタ画像932などの装飾アイテムのサイズは、例えば顔の大きさや両眼の距離など他の特徴点に基づくスケールに応じて調節される。また、配置決定規則として定める距離d1,d2等の特徴点からの距離は固定値だけではなく相対的な距離として定めてもよく、例えば顔の大きさや両眼の距離など他の特徴点に基づくスケールに応じて特徴点からの距離を調節してもよい。変形例として、両眼の大きさの違いや鼻の特徴点から判別される鼻の向きなどの情報に基づいて顔の向きを判別し、その向きに合うように装飾アイテムの形状を変形させたり、装飾アイテムの合成位置を微調整したりしてもよい。変形例として、個別認証用の画像と本撮影用の画像との差分情報に基づいて奥行き方向の傾きや顔の向きを判別し、その傾きや向きに合わせて装飾アイテムを変形したり合成位置を微調整したりしてもよい。
編集対象画像に複数の人物が含まれる場合、以上説明した装飾アイテムの調整(合成位置、大きさ、傾き、変形等)は、人物ごとに調整することが好ましい。しかしながら、装飾アイテムの大きさだけは、1人の代表人物(顔が一番大きく写っている人物)に合わせて調整することも可能である。
アイマスク画像930と同様に、ヘアバンドやヘアリボンなどの頭部に合成する装飾アイテムもまた両眼の特徴点に基づく相対的な位置に合成してもよいし、さらに耳の特徴点の位置に基づいて、より正確で不自然でない位置に合成してもよい。サングラスなどの目の位置に合成する装飾アイテムもまた両眼の特徴点に基づく位置に合成してもよい。口に合成する装飾アイテムの場合は、両側の口角の特徴点に基づき、それらの特徴点を結んだ基準線の傾きに合わせて合成位置および合成する角度を決定してもよい。
上記の例では複数の人物が左右に並んだ場合を例示したが、複数の人物の位置関係が上下に並んでいる場合(前方の人物が低く屈み、後方の人物が立っていることで顔が上下に並んだ状態の場合)には、上に位置する人物と下に位置する人物とで異なる装飾アイテムを合成するようにしてもよい。例えば、上に位置する人物にはサンタクロースの衣装を合成し、下に位置する人物にはトナカイの模様を合成するような装飾アイテムである。また、被写体の人数によっても合成する装飾アイテムの種類が異なるようにしてもよい。
変形例として、編集対象画像に含まれる被写体の人物間の距離に応じて装飾アイテムの合成位置を調整するようにしてもよい。例えば、2人の人物間の距離が所定距離より長い場合には2人の内側となる肩付近にキャラクタ画像を合成し、2人の人物間の距離が所定距離より短い場合には2人の外側となる肩付近にキャラクタ画像を合成するように配置決定規則を定めてもよい。別の変形例として、顔や人物と編集対象画像の側縁(両側のうち近い方の縁)との距離に応じて装飾アイテムの合成位置を調整するようにしてもよい。例えば、顔の輪郭(または頬)の特徴点と画像の側縁との間の距離が所定距離より長い場合には2人の外側となる肩付近にキャラクタ画像を合成し、その距離が所定距離より短い場合にはキャラクタ画像が画像の側縁との間に収まるようにサイズを縮小するか、または、2人の内側となる肩付近にキャラクタ画像を合成するように配置決定規則を定めてもよい。同様に、装飾アイテムと顔の重なる部分が所定面積または所定幅より大きく、顔が隠れる部分が大きすぎてしまう場合には装飾アイテムのサイズを小さくしたり、装飾アイテムの合成位置を顔から遠ざけたりするように配置決定規則を定めてもよい。
上述した実施形態および変形例では、装飾アイテムが適切に合成されるように合成位置の調整や大きさの調整等を行っているが、適切な調整が行えないような場合は、調整対象の装飾アイテムを合成しなくてもよい。適切な調整が行えないような場合の例としては、編集対象画像から装飾アイテムが大きくはみ出してしまう場合や装飾アイテムで被写体の顔を隠してしまう場合等が挙げられる。
変形例として、顔検出技術だけでなく、人体の骨格モデルによる人物検出技術を用いて推定される関節などの特徴点の位置に基づいて装飾アイテムの配置態様を決定してもよい。例えば、被写体の人物の関節位置を推定することで、所定の関節位置に基づいて上述した肩の位置に装飾アイテムを合成することができる。また、関節位置に基づいて、背中から羽が生えているような形状の装飾アイテムを合成したり、腰から尻尾が生えているような形状の装飾アイテムを合成したりしてもよい。この場合、骨格モデルによりその人物の姿勢を推定できることから、ユーザのポーズやジェスチャーの種類に応じてワンタッチ落書きにより合成する装飾アイテムの種類や配置態様を決定するような配置決定規則を定めてもよい。
また、同じ装飾アイテム選択ボタンが選択された場合でも、アップ撮影画像と全身撮影画像とで異なる種類の装飾アイテムが合成され得るようにしてもよい。例えば、装飾アイテムとして腰から尻尾が生えているように合成する画像を含む場合、全身が写っている可能性の高い全身撮影画像には尻尾の画像を合成する一方、上半身しか写っていない可能性の高いアップ撮影画像には尻尾の画像を合成しないようにしてもよい。
図19は、編集用モニタ213に表示される編集画面の第2画面例を示す。左側の落書領域810では、図16と同様にアップ撮影画像である編集対象画像にワンタッチ落書きによる装飾アイテムを合成した状態を例示し、右側の落書領域810では、全身撮影画像である編集対象画像にワンタッチ落書きによる装飾アイテムを合成した状態を例示する。全身撮影画像とアップ撮影画像とでは写っている人物の大きさが異なるため、全身撮影画像に対してはアップ撮影画像に合成する装飾アイテムより小さいサイズの装飾アイテムを合成する。また、全身撮影画像に写る人物の足元近辺である画像の下側両隅には熊のキャラクタ画像である桃色キャラクタ画像933aと紫色キャラクタ画像933bが合成されている。ただし、桃色キャラクタ画像933aと紫色キャラクタ画像933bは、人物との相対的な位置に合成されるわけではなく、あくまで編集対象画像の全体に合成されるフレーム画像であり、熊の絵柄部分以外はすべて透過している前景として編集対象画像全体の前面に合成される。また、画像の下側両隅に合成される熊の色と人物の肩付近に合成される熊の色が対応するように調整される。例えば、左側の第1人物934aの肩付近に紫色キャラクタ画像932bが合成される場合は画像下側左隅にも同じ色の紫色キャラクタ画像933bが合成され、右側の第2人物934bの肩付近に桃色キャラクタ画像932aが合成される場合は画像下側右隅にも同じ色の桃色キャラクタ画像933aが合成される。ただし、フレーム画像としては両隅に熊の絵柄を含んだ1枚の画像として構成されるため、例えば図示するような左側に紫色キャラクタ画像933b、右側に桃色キャラクタ画像933aを含むフレーム画像をデータ記憶部150に用意しておく。その上で、2人の人物の肩付近に合成される熊の左右の色配置がこのフレーム画像と同様であればこのまま合成し、左右の色配置が逆であればこのフレーム画像を左右方向に反転処理して色配置が逆になるようにしてから合成する。また、このフレーム画像の合成後、ユーザからの指示により桃色アイマスク画像930aと紫色アイマスク画像930b、桃色キャラクタ画像932aと紫色キャラクタ画像932bの位置が左右で入れ替えられた場合、これに合わせてフレーム画像も左右反転される。このように、編集対象画像がアップ撮影画像と全身撮影画像のいずれであるかに応じて、異なるサイズの装飾アイテムを合成したり、人物との相対的な位置ではなく画像全体に対して合成したりする配置決定規則を定めてもよい。
これまで説明した装飾アイテムは、編集対象画像に含まれる複数の人物のそれぞれに個別に合成する画像であったのに対し、左側の落書領域810にて示すシェアアイテム画像935は、2人の人物間で一つだけ身につける装身具などの単一の装飾アイテムである点で相違する。シェアアイテム画像935は、例えば図示するような音楽プレイヤーおよびイヤホンの画像であって、一つの音楽プレイヤーから伸びたイヤホンケーブルが二股に分かれている状態の画像である。この例では、枝分かれしたイヤホンの片方ずつを2人の人物がそれぞれ片耳に装着し、2人で一つの音楽を一緒に聴いている状態となるような配置にて合成する。ただし、人物の耳が位置する高さは複数の人物間で通常異なり、人物間の耳と耳の距離も一定ではないため、それぞれの耳と音楽プレイヤーを結ぶケーブルの長さは異なる。そこで、イヤホンの画像としては2本のケーブルを別々の画像であるケーブル画像935aとケーブル画像935bとして用意し、それぞれ縦横の幅を、各人物の耳から音楽プレイヤーまでの距離に合わせて調整ないし変形させて合成し、結果として一つのイヤホンの画像に見せてもよい。このようにシェアアイテム画像935は、一つの物が複数人の人物を繋ぐように身につけられる装身具の画像であって、複数人の人物を繋ぐような配置態様にて合成される。
他の装飾アイテムとして、事前設定で入力された各ユーザの名前を用いて生成されるネームプレート画像を編集対象画像の全体に対する相対的な位置または人物を基準とする相対的な位置に合成するよう配置決定規則を定めてもよい。ネームプレートの場合、もし人物認証に失敗して各人物との対応が正しくない場合は、ユーザは落書領域810の任意の箇所をタッチしてネームプレート画像を入れ替える。
図20は、合成する装飾アイテムをユーザが手動で変形するためのツールを示す。各装飾アイテムの周囲には矩形状に形成される装飾アイテム枠936が表示される。矩形状の装飾アイテム枠936の四隅には、各種機能の実行を指示するボタンの役割を持たせた機能アイコンが表示される。図では装飾アイテム枠936を便宜上、破線で示すが、装飾アイテム枠936を破線以外の線で構成してもよい。あるいは、装飾アイテム枠936で囲まれる領域の透明度を下げてアイマスク画像930やキャラクタ画像932等の装飾アイテムの背景を半透明にすることにより、装飾アイテム枠936で囲まれる領域とそれ以外の領域とを視覚上容易に区別できるようにしてもよい。装飾アイテム枠936で囲まれた領域の任意の位置をユーザがタッチペン214でタッチしたまま上下左右に動かすと、いわゆるドラッグ操作となり、タッチペン214が画面から離されるまでタッチペン214が移動する方向へ装飾アイテム枠936で囲まれた装飾アイテムが追随して移動する。装飾アイテム枠936および装飾アイテムの移動可能範囲は落書領域810の外まで及び、装飾アイテム枠936および装飾アイテムが落書領域810の外側にはみ出ても表示される。ただし、装飾アイテム枠936および装飾アイテムの移動可能範囲は、装飾アイテム枠936の四隅にある各機能アイコンが落書領域810の外側にある各種のボタンやアイコンなどと干渉しない範囲までである。そうした干渉を避けるために、落書領域810からその周囲のボタンやアイコンまでの距離ができる限り広くなるように周囲のボタンやアイコンを配置してもよい。
矩形状の装飾アイテム枠936の四隅に表示される機能アイコンは、右上隅の回転アイコン937a、右下隅の拡縮アイコン937b、左下隅の反転アイコン937c、左上隅の削除アイコン937dで構成される。ユーザがタッチペン214で回転アイコン937aをタッチしたまま装飾アイテムを中心とする円を描くように時計回りまたは反時計回りにタッチペン214を動かすと、その円運動に追随するように装飾アイテムの垂直軸および水平軸の角度が傾き、装飾アイテムを回転させることができる。ユーザがタッチペン214で拡縮アイコン937bをタッチしたまま右下の方向へタッチペン214を動かすと、装飾アイテム枠936および装飾アイテムの大きさが拡大され、左上の方向へタッチペン214を動かすと、装飾アイテム枠936および装飾アイテムの大きさが縮小される。ユーザがタッチペン214で反転アイコン937cをタッチしたまま右方向へタッチペン214を動かすと、その動きに追随して装飾アイテムが奥行き方向へ右回転し、左方向へタッチペン214を動かすと、その動きに追随して装飾アイテムが奥行き方向へ左回転する。奥行き方向へ右回転または左回転して180度回転すると、装飾アイテムは左右方向に反転する。ユーザが削除アイコン937dをタッチすると、その装飾アイテム枠936および装飾アイテムが落書領域810の編集対象画像から削除される。装飾アイテム枠936または装飾アイテムの一部が落書領域810からはみ出ても、そのはみ出た部分の隅には機能アイコンが表示され得る。
以上の機能および操作により、例えばいずれかの装飾アイテムが本来配置されるべき位置から外れて合成されたり、落書領域810からはみ出る形で合成されたとしても、ユーザが自ら手動で装飾アイテムの位置、大きさ、上下左右の傾き、奥行き方向の傾きを調整して変形させることで、より適切な形状または位置に装飾アイテムを合成することができ、落書きの精度や質を高めることができる。こうした操作は、編集処理において少なくとも他の編集ツールが選択されるまで装飾アイテムの位置や形状を繰り返し調整することができる。
図21は、シール紙に印刷される印刷用画像を選択するための選択画面の例を示す。選択画面の上部には複数のタブ910が表示される。本図においては「タブA」「タブB」「タブC」「タブD」「タブE」の5種類のタブ910が表示される例が示される。選択画面は、タブ910の下方が左右一対の領域に区分けされ、2人のユーザが同時並行して印刷用画像を選択できるようになっている。各領域の下方には、印刷用画像表示領域912が配置されている。印刷用画像表示領域912には、タブごとに、複数の印刷用画像が表示される。複数の印刷用画像はそれぞれ、シートデザイン画像上に、補正および編集により生成された複数の編集済画像(落書き済みの撮影画像)を配置したものである。同じタブ910内の複数の印刷用画像は、互いに編集済画像のレイアウトが異なる。編集済画像のレイアウトとしては、2人で分け合いやすいものから大人数で分け合いやすいものまで種々のデザインが用意されている。また、同じタブ910内の複数の印刷用画像におけるシートデザイン画像は、互いにデザインは異なるが、テイストは類似している。ユーザがいずれかのタブ910を選択するとともに、選択中のタブ910の印刷用画像表示領域912に表示された複数の印刷用画像のうちいずれかの印刷用画像を選択すると、選択した印刷用画像を実寸大に拡大した画像がプレビュー領域914に表示される。
右画面を操作するユーザが「OK」ボタンを押して印刷用画像の選択を確定する(「OK」ボタンを押す直前に右画面のプレビュー領域914に表示されている印刷用画像が、印刷されるものとして確定される)と、本図(b)のように右画面の印刷用画像が消去され、「となりの人が選び終わるまで待ってね。」といった文字を表示することで、右ユーザの待機と左ユーザの選択を促す。
図21の画面では、事前設定部40における事前設定に応じて初期的に選択されるタブ910は異なる。本実施の形態では、「タブA」、「タブB」、「タブC」、「タブD」、「タブE」の印刷用画像におけるシートデザイン画像のテイストはそれぞれ、図12の事前設定画面のジャケット画像711aの音楽、ジャケット画像711bの音楽、ジャケット画像711cの音楽、ジャケット画像711dの音楽、ジャケット画像711eの音楽とそれぞれ同じテイストを有している。そして、事前設定においてジャケット画像711aの音楽が選択されていた場合は、「タブA」が初期的に選択された状態で表示される。同様に、ジャケット画像711b、711c、711d、711eの音楽が選択されていた場合はそれぞれ、「タブB」、「タブC」、「タブD」、「タブE」が初期的に選択された状態でそれぞれ表示される。つまり、事前設定で選択された音楽と同じテイストのシートデザイン画像の印刷用画像が表示されたタブ910が初期的に選択される。また、各タブ910には、ジャケット画像を表示してもよい。具体的には、「タブA」、「タブB」、「タブC」、「タブD」、「タブE」において、ジャケット画像711a〜711eと同様の画像をそれぞれ表示することもできる。
以上、本発明の実施の形態に係る写真撮影システム600について説明した。本発明は上記実施の形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。
本実施の形態においては、静止画である撮影画像に対してワンタッチ落書きにより装飾アイテムを自動的に合成する例を説明した。変形例においては、ユーザにより撮影された動画像またはその動画像や静止画像とテンプレート動画を用いて編集された動画像に対してワンタッチ落書きにより装飾アイテムを自動的に合成できる仕様としてもよい。その場合、動く被写体に追随して装飾アイテムも移動または変形するようにフレームごとに異なる配置態様にて合成してもよい。