<写真シール作成装置の外観構成>
図1は、写真シール作成装置1の外観の構成例を示す斜視図である。
写真シール作成装置1は、撮影画像や編集済みの画像を提供するゲーム機である。写真シール作成装置1は、画像をシール紙に印刷したり、利用者の携帯端末上で画像を閲覧可能にするためにその画像をサーバに送信したりすることで、利用者に画像を提供する。
写真シール作成装置1は、アミューズメント施設や店舗に設置される。写真シール作成装置1の利用者は、主に女子高校生や女子大学生などの若い女性が中心とされる。写真シール作成装置1において、1組あたり主に2人や3人などの複数人の利用者がゲームを楽しむことができる。もちろん、1人の利用者がゲームを楽しむこともできる。
写真シール作成装置1において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業を行うことによって、撮影によって得られた撮影画像に対して、背景画像や前景画像(手書きの文字やスタンプ画像など)である合成用画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
写真シール作成装置1は、撮影ユニット11と編集ユニット12が接した状態で設置されることによって構成される。撮影ユニット11と編集ユニット12は電気的に接続される。撮影ユニット11は、人が中に入ることができる程度の大きさを有する箱形状の筐体を有する。
撮影ユニット11は、撮影部21と背景部22から構成される。撮影部21と背景部22は離して設置される。撮影部21と背景部22の間に設けられる空間が、利用者が撮影作業を行う撮影空間となる。
撮影部21は、利用者を被写体として撮影する装置である。撮影空間に臨む撮影部21の正面にはカメラなどが設けられる。撮影部21の、編集ユニット12と接する面には正面パネル41が設けられる。撮影空間にいる利用者から見て右側の面を右側面、左側の面を左側面とすると、撮影部21の右側面が側面パネル42Aにより構成され、左側面が側面パネル42B(図2)により構成される。
背景部22は、それぞれ板状の部材である背面パネル51、側面パネル52A、および側面パネル52B(図2)から構成される。背面パネル51は、正面を向いている利用者の背面側に位置する。側面パネル52Aは、背面パネル51の右端に取り付けられ、側面パネル52Bは、背面パネル51の左端に取り付けられる。
側面パネル42Aと側面パネル52Aは、所定の間隔をあけてほぼ同一平面に設けられる。側面パネル42Aと側面パネル52Aの上部は、板状の部材である連結部31Aによって連結される。また、側面パネル42Aと側面パネル52Aの下部は、床面に設けられた例えば金属製の部材である連結部34によって連結される。
側面パネル42Bと側面パネル52Bも同様にほぼ同一平面に設けられる。側面パネル42Bと側面パネル52Bの上部は連結部31Bによって連結される。側面パネル42Bと側面パネル52Bの下部は、床面に設けられた金属製の部材である連結部(図示せず)によって連結される。
側面パネル42A、連結部31A、および側面パネル52Aに囲まれることによって形成される開口が、撮影空間の出入り口となる。また、側面パネル42B、連結部31B、および側面パネル52Bに囲まれることによって形成される開口も、撮影空間の出入り口となる。
撮影空間の上方には、撮影部21の正面パネル41、連結部31A、連結部31B、および背景部22の背面パネル51に囲まれる開口が形成される。その開口の一部を覆うように天井照明ユニット32が設けられる。天井照明ユニット32の一端は連結部31Aに固定され、他端は連結部31Bに固定される。
天井照明ユニット32の内部には蛍光灯が設けられる。天井照明ユニット32は、撮影空間の照明として機能するとともに、撮影を行っている利用者に対してストロボ光を照射する。
編集ユニット12は、撮影画像に編集を施すための装置である。編集ユニット12は、一方の側面が撮影部21の正面パネル41に接するようにして、撮影ユニット11に連結している。
図1に示される編集ユニット12の構成を正面側の構成とすると、編集ユニット12の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、2組の利用者が同時に編集を行うことができる。
編集ユニット12の正面側は、床面に対して垂直な面である面12Aと、面12Aの上方に形成された斜面12Bから構成される。斜面12Bには、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。
斜面12Bの上方右側には、照明装置73の一端を支持する柱状の支持部71A(図6)が設けられる。斜面12Bの左側には、照明装置73の他端を支持する柱状の支持部71Bが設けられる。支持部71Aの右側には板状のパネル72が設けられる。パネル72の上面にはカーテンレール75を支持する支持部74が設けられる。
編集ユニット12の上方にはカーテンレール75が取り付けられる。カーテンレール75は、3本のレール75A乃至75Cが組み合わされて構成される。3本のレール75A乃至75Cは、上から見たときの形状がコの字状となるように組み合わされる。平行に設けられるレール75Aとレール75Bの一端は、連結部31Aと連結部31Bにそれぞれ固定され、レール75Aとレール75Bの他端は、レール75Cの両端にそれぞれ接合される。
カーテンレール75には、編集ユニット12の正面前方の空間と背面前方の空間が外から見えないようにカーテンが取り付けられる。そのカーテンにより囲まれる編集ユニット12の正面前方の空間と背面後方の空間が、利用者が編集作業を行う編集空間となる。
後述するように、編集ユニット12の右側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット12の右側面前方の空間が、印刷が終了するのを利用者が待つ印刷待ち空間となる。
<利用者の移動について>
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。
図2は、写真シール作成装置1を上から見た平面図である。
まず、利用者は、白抜き矢印#1で示されるように出入り口G1から、または白抜き矢印#2で示されるように出入り口G2から、撮影部21と背景部22の間に形成された撮影空間A1に入る。出入り口G1は側面パネル42Aと側面パネル52Aの間の開口であり、出入り口G2は側面パネル42Bと側面パネル52Bの間の開口である。利用者は、撮影空間A1において、撮影部21に設けられたカメラやタッチパネルモニタなどを利用して撮影作業を行う。
撮影作業を終えた利用者は、白抜き矢印#3で示されるように出入り口G1から撮影空間A1を出て編集空間A2−1に移動するか、白抜き矢印#4で示されるように出入り口G2から撮影空間A1を出て編集空間A2−2に移動する。
編集空間A2−1は、編集ユニット12の正面側の編集空間である。一方、編集空間A2−2は、編集ユニット12の背面側の編集空間である。利用者が編集空間A2−1と編集空間A2−2のいずれの空間に移動するのかは、撮影部21のタッチパネルモニタの画面表示などによって案内される。例えば2つの編集空間のうちの空いている方が移動先として案内される。
編集空間A2−1または編集空間A2−2に移動した利用者は、編集作業を開始する。編集空間A2−1の利用者と編集空間A2−2の利用者は同時に編集作業を行うことができる。
編集作業が終了した後、編集画像の印刷が開始される。印刷が開始されると、編集空間A2−1での編集作業を終えた利用者は、白抜き矢印#5で示されるように編集空間A2−1から印刷待ち空間A3に移動する。また、編集空間A2−2での編集作業を終えた利用者は、白抜き矢印#6で示されるように編集空間A2−2から印刷待ち空間A3に移動する。印刷待ち空間A3に移動した利用者は、印刷が終了するのを待つ。
印刷が終了すると、利用者は、編集ユニット12の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。
次に、各部の構成について説明する。
<撮影部の構成>
図3は、撮影部21の構成例を示す斜視図であり、図4は、撮影部21の構成例を示す正面図である。
撮影部21の外枠は、複数のキャスターが取り付けられたベース部43に、正面パネル41、側面パネル42A、および側面パネル42Bが立設して構成される。
正面パネル41の略中央には、略箱形状の撮影・表示ユニット101が設けられる。撮影・表示ユニット101の正面側には、上から順に、前下がりの斜面101A、垂直に対して僅かに前傾した斜面101B、および、斜面101Aより急な斜面101Cが形成される。
斜面101Bの略中央には円形の開口部が形成され、開口部には、撮影空間A1にいる利用者を撮影するカメラ111のレンズが設けられる。撮影・表示ユニット101の内部には、例えば一眼レフカメラであるカメラ111がチルト可能に取り付けられている。
斜面101Cにはタッチパネルモニタ112が設けられる。タッチパネルモニタ112は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。
タッチパネルモニタ112は、カメラ111により取り込まれた動画像(以下、ライブビュー画像ともいう)を表示するライブビューモニタとしての機能と、各種のGUI(Graphical User Interface)を表示して利用者の操作を受け付ける機能とを備える。タッチパネルモニタ112には、カメラ111により取り込まれたライブビュー画像や撮影画像が表示される。撮影画像は、所定のタイミングでカメラ111により取り込まれた静止画像である。
後に詳述するように、利用者は、自身の全身が写る画像である全身画像と、顔部分を中心として、自身の略胸から上の範囲が大きく写る画像であるアップ画像を撮影することができる。
正面パネル41には、撮影・表示ユニット101を挟んで対称に発光部102Lと発光部102Rが形成される。発光部102Lと発光部102Rは、例えば正面パネル41に形成された細幅の溝に、透光性を有するカバーが嵌め込まれることによって構成される。正面パネル41に形成された細幅の溝にはLEDなどの発光体が設けられる。
図4に示すように、撮影・表示ユニット101の左側の発光部102Lは、細幅の直線状部102L−1乃至102L−3から構成される。直線状部102L−2は、その長さを撮影・表示ユニット101の縦方向の長さと略同じ長さにするように垂直方向に形成される。直線状部102L−1は、直線状部102L−2の上端から右斜め上方に向けて形成され、直線状部102L−3は、直線状部102L−1の下端から右斜め下方に向けて形成される。
一方、撮影・表示ユニット101の右側の発光部102Rは、細幅の直線状部102R−1乃至102R−3から構成される。直線状部102R−2は、その長さを撮影・表示ユニット101の縦方向の長さと略同じ長さにするように垂直方向に形成される。直線状部102R−1は、直線状部102R−2の上端から左斜め上方に向けて形成され、直線状部102R−3は、直線状部102R−2の下端から左斜め下方に向けて形成される。
図4に示されるように、発光部102Lと発光部102Rを合わせた形状は略六角形になる。発光部102Lと発光部102Rが発光することにより、撮影空間A1の印象としてシャープな印象を演出することができる。
撮影・表示ユニット101の上方には、曲面のカバーを利用者に向けた上ストロボユニット103が設置される。上ストロボユニット103は、所定の取り付け部材を用いて、正面パネル41などに固定される。上ストロボユニット103は、正面上方から、利用者の顔付近にストロボ光を照射する。
撮影・表示ユニット101の下方には、カメラ111による撮影に合わせて利用者の下半身にストロボ光を照射する足元ストロボユニット104が設けられる。足元ストロボユニット104の正面は垂直面を形成する板状部材121により構成され、上面は緩やかな斜面を形成する板状部材122により構成される。板状部材121と板状部材122は、乳白色のアクリル板などの透光性を有する板状部材である。
足元ストロボユニット104の板状部材121の左右には、垂直面を構成する板状部材123Lと板状部材123Rがそれぞれ設けられる。板状部材123Rには、利用者が硬貨を投入する硬貨投入口が設けられる。
足元ストロボユニット104の板状部材122の左右には、板状部材122と同様の緩やかな斜面を形成する板状部材124Lと板状部材124Rがそれぞれ設けられる。板状部材124Lと板状部材124Rにより形成される斜面は、利用者が手荷物を置くためなどに用いられる。
図示はしないが、正面パネル41の例えば天井付近にはスピーカが設けられる。そのスピーカは、撮影作業に関する案内音声、BGM、効果音などを出力する。
<背景部の構成>
図5は、背景部22の撮影空間A1側の構成例を示す図である。
背面パネル51の上方中央には背面上ストロボ131が設けられる。また、背面パネル51の上方右側(図中、左側)には背面右ストロボ132が設けられ、背面パネル51の上方左側(図中、右側)には背面左ストロボ133が設けられる。
背面上ストロボ131は、後方上側から利用者にストロボ光を照射する。背面右ストロボ132は、後方右側から利用者にストロボ光を照射する。背面左ストロボ133は、後方左側から利用者にストロボ光を照射する。
背面パネル51の撮影空間A1側(図中、手前側)の面は例えば緑色の面となる。また、図示はしないが、側面パネル52A,52Bそれぞれの撮影空間A1側の面も例えば緑色の面である。
これらの面の緑色は、クロマキ処理によって利用者の領域を抽出するための色である。これにより、撮影画像に対してクロマキ処理を施し、利用者が所望する背景画像を、撮影画像の背景部分に合成することができる。なお、これらの面の色は、クロマキ処理を行うことができる色であればよく、青色などの他の色であってもよい。
<編集ユニットの構成>
図6は、編集ユニット12の正面側(編集空間A2−1側)の構成例を示す図である。
斜面12Bのほぼ中央には、タブレット内蔵モニタ141が設けられる。タブレット内蔵モニタ141の左右にはタッチペン142Aとタッチペン142Bが設けられる。
タブレット内蔵モニタ141は、タッチペン142A,142Bを用いた操作入力を受け付ける。タブレット内蔵モニタ141には、編集作業に用いられる編集画面などが表示される。例えば、タッチペン142Aはタブレット内蔵モニタ141に向かって左側に立つ利用者により用いられ、タッチペン142Bはタブレット内蔵モニタ141に向かって右側に立つ利用者により用いられる。以下、適宜、タッチペン142Aとタッチペン142Bを区別する必要がない場合、タッチペン142という。
図7は、編集ユニット12の右側面の構成例を示す図である。
編集ユニット12の右側面の下部にはシール紙排出口151が設けられる。編集ユニット12の内部にはプリンタが設けられる。そのプリンタにより、編集空間A2−1の利用者が編集を行った画像、または、編集空間A2−2の利用者が編集を行った画像が所定のレイアウトでシール紙に印刷され、シール紙排出口151から排出される。
<シール紙の例>
図8は、以上のような外観構成を有する写真シール作成装置1により作成されるシール紙の例を示す図である。
図8に示す横長のシール紙には、5枚の編集画像である編集画像161−1乃至161−5が横に並べて印刷されている。
編集画像161−1乃至161−5のうち、編集画像161−1乃至161−3は、アップ画像に対して編集が施されることによって生成された画像であり、編集画像161−4と編集画像161−5は、全身画像に対して編集が施されることによって生成された画像である。
アップ画像と全身画像は縦横比が異なる。例えば、アップ画像の横方向の長さと縦方向の長さの比は1:1.2であり、全身画像の横方向の長さと縦方向の長さの比は3:4である。図8の例においては、アップ画像と全身画像が、横方向の長さを同じ長さとして印刷されている。なお、実際には、利用者の背景には、所定の色や柄の画像である背景画像が、前景には、手書きの文字やスタンプ画像などの前景画像が、それぞれ合成用画像として合成される。
シール紙の縁の余白には、機種名(LOVERY)と撮影日の他に、メールアドレス、IDなどが印刷される。余白領域に印刷されたメールアドレスとIDは、写真シール作成装置1からサーバに送信された画像を携帯電話機などの携帯端末で閲覧するときに利用される。
図9は、編集画像のレイヤ構造の例を示す図である。
左端の編集画像P1が編集によって生成される画像である。編集画像P1は、背景画像P11、撮影画像P12、前景画像P13の各レイヤの画像から構成される。
図9の例において、背景画像P11は、レンガを重ねた壁面の柄の画像である。前景画像P13は、「Love my friend」の手書き文字の画像とハート型の画像を含む画像である。「Love my friend」の手書き文字の画像は、撮影画像P12の中央下方の位置にペンツールを用いて利用者によって入力されたペン画像である。また、ハート型の画像は、撮影画像P12の左上の位置にスタンプツールを用いて利用者によって入力されたスタンプ画像である。
このように、編集画像P1は、クロマキ処理によって抽出した撮影画像P12の被写体の領域を背景画像P11に重ね、その上に前景画像P13を重ねることによって生成される。ペン画像やスタンプ画像を背景画像P11上に入力し、被写体の背景に表示させるようにすることも可能とされる。
<写真シール作成装置の内部構成>
図10は、写真シール作成装置1の内部の構成例を示すブロック図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
制御部201は、CPU(Central Processing Unit)などにより構成される。制御部201は、ROM(Read Only Memory)206や記憶部202に記憶されているプログラムを実行し、写真シール作成装置1の全体の動作を制御する。制御部201には、記憶部202、通信部203、ドライブ204、ROM206、RAM(Random Access Memory)207が接続される。制御部201には、撮影部208の各構成、編集部209A,209Bの各構成、およびプリンタ241も接続される。
記憶部202は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部202は、制御部201から供給された各種の設定情報などを記憶する。記憶部202に記憶されている情報は制御部201により適宜読み出される。
通信部203は、インターネットなどのネットワークのインタフェースである。通信部203は、制御部201による制御に従って外部の装置と通信を行う。通信部203は、例えば、利用者により選択された撮影画像をサーバに送信する。通信部203から送信された画像は、サーバにおいて所定の記憶領域が割り当てられて保存され、サーバにアクセスしてきた携帯端末に表示されたり、ダウンロードされたりする。
ドライブ204には、光ディスクや半導体メモリなどよりなるリムーバブルメディア205が適宜装着される。ドライブ204によりリムーバブルメディア205から読み出されたプログラムやデータは、制御部201に供給され、記憶部202に記憶されたり、インストールされたりする。
ROM206は、制御部201において実行されるプログラムやデータを記憶する。RAM207は、制御部201が処理するデータやプログラムを一時的に記憶する。
撮影部208は、撮影空間A1にいる利用者を対象とした撮影処理を実現する。撮影部208は、硬貨処理部221、照明装置222、カメラ111、タッチパネルモニタ112、およびスピーカ223から構成される。
硬貨処理部221は、硬貨投入口への硬貨の投入を検出する。硬貨処理部221は、例えば400円などの所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号を制御部201に出力する。
照明装置222は、上ストロボユニット103、足元ストロボユニット104などの、撮影空間A1内に設けられる各照明装置である。照明装置222のそれぞれは、制御部201から供給される照明制御信号に従って発光する。
カメラ111は、制御部201によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像のデータを制御部201に出力する。
編集部209Aは、編集空間A2−1にいる利用者を対象とした編集処理を実現する。編集部209Aは、タブレット内蔵モニタ141、タッチペン142A,142B、およびスピーカ231から構成される。編集部209Bは、編集部209Aと同一の構成を有し、編集空間A2−2にいる利用者を対象とした編集処理を実現する。
タブレット内蔵モニタ141は、制御部201による制御に従って各種の画面を表示し、表示した画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部201に供給される。
プリンタ241は、制御部201から供給された印刷データに基づいて、シール紙ユニット242に収納されているシール紙に編集画像を印刷する。プリンタ241は、編集画像を所定のレイアウトで印刷したシール紙をシール紙排出口151に排出する。
<制御部の構成>
図11は、制御部201の機能構成例を示すブロック図である。図11に示す機能部のうちの少なくとも一部は、制御部201内のCPUにより所定のプログラムが実行されることによって実現される。
制御部201は、撮影処理部301、編集処理部302、および印刷処理部303から構成される。
撮影処理部301は、撮影部208の各部を制御して撮影処理を行う。編集処理部302は、編集部209A,209Bの各部を制御して編集処理を行う。印刷処理部303は、プリンタ241を制御して編集画像をシール紙に印刷する。
<撮影処理部の構成例>
図12は、撮影処理部301の構成例を示すブロック図である。
撮影処理部301は、表示制御部311、音声出力制御部312、撮影制御部313、および認識部314から構成される。
表示制御部311は、タッチパネルモニタ112の表示を制御する。例えば、表示制御部311は、タッチパネルモニタ112に、カメラ111に取り込まれたライブビュー画像を表示させたり、撮影結果である撮影画像を表示させたりする。
音声出力制御部312は、スピーカ223からの音声の出力を制御する。例えば、音声出力制御部312は、撮影作業の進め方などを説明する音声をスピーカ223から出力させる。
撮影制御部313は、カメラ111を制御することで、利用者を被写体として撮影し、ライブビュー画像や撮影画像を生成する。
認識部314は、ライブビュー画像において、顔認識により、利用者の顔および顔パーツ(例えば目や口などの顔の器官)の少なくともいずれかが検出されたか否かを判定する。
<編集処理部の構成例>
図13は、編集処理部302の構成例を示すブロック図である。
編集処理部302は、表示制御部321、編集制御部322、認証部323、および画像処理部324から構成される。
表示制御部321は、タブレット内蔵モニタ141の表示を制御する。例えば、表示制御部321は、タブレット内蔵モニタ141に、撮影画像に施される画像処理の内容を選択するための選択画面や、撮影画像を対象とした編集作業のための編集画面を表示させる。
編集制御部322は、編集画面に対する利用者の操作に応じて、撮影画像に編集を施す。具体的には、編集制御部322は、編集画面において利用者により選択された合成用画像を、撮影画像の所定の位置に合成する。
認証部323は、撮影処理部301が行うレタッチ撮影により得られるレタッチ用画像に基づいて、撮影画像に写る利用者の顔を認証する。レタッチ撮影の詳細は後述する。
画像処理部324は、タブレット内蔵モニタ141に表示される、撮影画像に施される画像処理の度合いを選択するための選択画面に対する選択操作に基づいて、選択された度合いの画像処理を撮影画像に施す。
<写真シール作成装置の動作>
ここで、図14のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置1の動作について説明する。図14の処理は、所定の金額分の硬貨が硬貨投入口に投入されたときに開始される。
ステップS1において、撮影処理部301は、撮影処理を行う。撮影処理においては、アップ撮影および全身撮影が行われる。
アップ撮影は、顔を中心として、利用者のほぼ胸から上の範囲(上半身)が写る画像であるアップ画像を得るための撮影である。全身撮影は、利用者の全身が写る画像である全身画像を得るための撮影である。本実施形態では、全身撮影によって、斜め上から見た利用者の全身が写る画像が得られるものとするが、正面から見た利用者の全身が写る画像が得られるようにしてもよい。
ステップS2において、編集処理部302は、編集処理を行う。編集処理においては、撮影画像の編集が行われる。
ステップS3において、印刷処理部303は、プリンタ241を制御することで印刷処理を実行し、編集処理によって得られた編集画像をシール紙に印刷する。なお、撮影処理により得られた撮影画像に対して編集が施されていない場合、撮影画像がそのままシール紙に印刷される。
ステップS4において、プリンタ241は、編集画像が印刷されたシール紙をシール紙排出口151に排出し、処理を終了させる。
<撮影処理>
次に、図15のフローチャートを参照して、図14のステップS1において行われる撮影処理について説明する。
撮影処理が開始されると、ステップS31において、表示制御部311は、コース選択画面をタッチパネルモニタ112に表示させる。
コース選択画面は、利用者の人数に応じて行われる撮影の種類を決定する人数コースの選択に用いられる画面である。人数コースには、利用者が2人の場合に適した撮影が行われる2人用コースと、利用者が3人以上、特に4人以上の場合に適した撮影が行われる大人数用コースとがある。2人用コースが選択された場合と、大人数用コースが選択された場合とでは、得られる撮影画像の撮影範囲(画角)とサイズが異なる。大人数用コースにおいて得られる撮影画像は、2人用コースにおいて得られる撮影画像より大きくなる。
以下においては、主に、2人用コースが選択された場合の処理について説明する。
人数コース選択画面において、いずれかの人数コースが選択されると、レタッチ撮影の仕方を説明する画面がタッチパネルモニタ112に表示されるなどしてガイダンスが出力される。その後、ステップS32において、撮影制御部313は、利用者の顔を認証するためのレタッチ撮影を行う。
レタッチ撮影は、人物、具体的には利用者の顔を認証するために行われる撮影である。レタッチ撮影により得られた認証用の画像(以下、レタッチ用画像という)は、編集処理において編集対象とされたり、印刷処理においてシール紙に印刷されることはなく、顔の認証のためだけに利用される。
このような目的から、レタッチ撮影のガイダンスでは、利用者に対して、正面を向いて撮影することを促す画面の表示や音声の出力が行われる。
ガイダンスが終了すると、撮影制御部313によって、カメラ111による動画像の撮影が開始され、撮影によって得られた動画像がライブビュー表示画面に表示される。
図16は、レタッチ撮影のライブビュー表示画面の例を示す図である。
ライブビュー表示画面の上部には、「最初にひとりひとりの顔を登録するよ!枠の中に入って前を向いて撮影してね!」のメッセージが表示され、その下に設けられた画像表示領域411,412には、2人の利用者それぞれが映る動画像がリアルタイムで表示される。また、画像表示領域411,412の下には、「登録した画像はシールに印刷されないよ!」のメッセージが表示される。
カメラ111により撮影された動画像のうち、所定の範囲が切り出されて、画像表示領域411,412の表示に用いられる。2人の利用者は、画像表示領域411,412の表示を確認しながら、それぞれの顔が画像表示領域411,412に収まるように、顔の位置を調整する。これにより、レタッチ用画像による顔認証の精度を確保することができる。
このようなライブビュー画像が所定の時間表示された後、撮影前のカウントダウンが開始され、撮影のタイミングになったとき、撮影制御部313は、レタッチ用画像としての静止画像を取得する撮影を行い、レタッチ撮影の撮影結果をタッチパネルモニタ112に表示させる。
図17は、レタッチ撮影の撮影結果確認画面の例を示す図である。
図17に示される撮影結果確認画面の画像表示領域411,412には、レタッチ撮影によって得られた静止画像(レタッチ用画像)として、2人の利用者それぞれの顔の顔画像が表示される。画像表示領域411,412の下には「登録完了!」のメッセージが表示される。2人の利用者それぞれの顔画像は、記憶部202に記憶され、5回の撮影により得られる撮影画像に写る利用者の顔の認証に用いられる。
以上のようにして、レタッチ撮影が行われる。
なお、人数コースとして大人数用コースが選択された場合、レタッチ撮影のライブビュー表示画面および撮影結果確認画面には、2人の利用者がそれぞれ映る画像表示領域411,412に代えて、複数の利用者が一緒に映る画像表示領域が1つのみ設けられるものとする。
レタッチ撮影が終了すると、撮影の仕方を説明する画面がタッチパネルモニタ112に表示されるなどしてガイダンスが出力される。その後、ライブビュー表示画面がタッチパネルモニタ112に表示される。
その状態で撮影タイミングになったとき、ステップS33において、撮影制御部313は、1回目の撮影を行う。撮影によって得られた撮影画像は、撮影結果としてタッチパネルモニタ112に表示される。利用者は、1回目の撮影結果を確認しながら、次の撮影の準備を行うことができる。
そして、2回目以降の撮影が行われる。すなわち、2回目の撮影タイミングになったとき、ステップS34において、撮影制御部313は、2回目の撮影を行う。
同様にして、ステップS35乃至S37において、撮影制御部313は、それぞれ3乃至5回目の撮影を行う。
なお、1乃至5回目の撮影のうち、1乃至3回目の撮影として、アップ撮影が行われ、4,5回目の撮影として、全身撮影が行われる。
アップ撮影および全身撮影のそれぞれにおいては、カメラ111のチルト角が、撮影制御部313によって制御される。
具体的には、全身撮影が行われるときのカメラ111のチルト角(カメラ111のレンズの光軸が水平方向にある状態)をデフォルトの状態とすると、アップ撮影が行われるときには、カメラ111がデフォルトの状態より所定角度だけ前傾するようにチルト角が調整される。なお、チルト角の調整といったハードウェア構成の制御ではなく、ソフトウェア(画像処理)によって、チルト角を調整して撮影したような画像が生成されるようにしてもよい。
また、アップ撮影および全身撮影のそれぞれが行われるときには、チルト角が制御されるだけではなく、音声出力制御部312により出力されるガイダンスにより、利用者の立ち位置も変更される。
例えば、撮影空間の床面には、カメラ111から最も近い立ち位置と、最も遠い立ち位置の、2つの立ち位置を示すラベルが貼付してある。アップ撮影が行われるときには、利用者に対して、カメラ111から最も近い立ち位置に立つように指示するガイダンスが出力される。また、全身撮影が行われるときには、利用者に対して、カメラ111から最も遠い立ち位置に立つように指示するガイダンスが出力される。
このようにして、ステップS33乃至S37において、5回の撮影が終わった後、ステップS38において、表示制御部311は、撮り直し対象選択画面をタッチパネルモニタ112に表示させる。
撮り直し対象選択画面は、5枚の撮影画像の中から、撮り直しの対象とする撮影画像である撮り直し対象画像の選択に用いられる画面である。撮り直し対象選択画面には、5枚の撮影画像が表示され、そのいずれかが選択されることで、撮り直し対象画像が選択・決定される。また、撮り直し対象選択画面には、撮り直しを行わないことを選択するためのボタンも表示され、そのボタンが選択されることで、撮り直しは行われないようになる。
ステップS39においては、5枚の撮影画像、および、撮り直しを行わないことを選択するためのボタンのいずれが選択されたかに応じて、撮り直しを行うか否かが判定される。
撮り直し対象選択画面において、5枚の撮影画像のいずれかが選択された場合、撮り直しを行うと判定され、処理はステップS40に進む。
ステップS40において、撮影制御部313は、撮影(撮り直し)を行う。
撮り直しが行われた後、ステップS41において、表示制御部311は、撮り直し後選択画面をタッチパネルモニタ112に表示させる。
撮り直し後選択画面は、撮り直し対象選択画面において選択された撮り直し対象画像、および、撮り直しにより得られた撮影画像のいずれか一方の選択に用いられる画面である。撮り直し後選択画面には、撮り直し対象選択画面において選択された撮り直し対象画像、および、撮り直しにより得られた撮影画像が表示され、そのいずれかが選択されることで、最終的に編集や印刷の対象となる画像が選択・決定される。
撮り直し後選択画面において、撮り直し対象選択画面において選択された撮り直し対象画像、および、撮り直しにより得られた撮影画像のいずれかが選択されると、処理はステップS42に進む。
一方、撮り直し対象選択画面において、撮り直しを行わないことを選択するためのボタンが選択された場合、撮り直しを行わないと判定され、ステップS40,S41はスキップされ、処理はステップS42に進む。
ステップS42において、撮影処理部301は、撮影空間A1にいる利用者に対して、編集空間A2−1または編集空間A2−2への移動を案内する。編集空間A2−1または編集空間A2−2への移動の案内は、撮影部209のタッチパネルモニタ92に案内画面を表示させることによって、または音声をスピーカ232から出力させることによって行われる。
以上のようにして、撮影処理が行われる。
ところで、上述した撮影処理における1乃至5回目の撮影(以下、通常撮影という)それぞれの撮影タイミングより前に表示されるライブビュー表示画面には、ライブビュー画像における顔および顔パーツの認識に成功させるための案内表示が行われる。
<ライブビュー画像表示処理>
ここで、図18を参照して、通常撮影の際に実行されるライブビュー画像表示処理について説明する。
顔および顔パーツの認識に成功することで得られる撮影画像には、より確実に適切な画像処理が施されるようになる。ここで、全身画像においては、アップ画像に比べて画像全体に対する顔の大きさが小さくなるため、全身画像の顔部分に画像処理が施されたとしても、利用者がその仕上がりを確認するのは容易ではない。
しかしながら、近年、利用者は、写真シール機で撮影された画像を携帯電話機などの携帯端末で利用している。中には、携帯端末において、全身画像の顔部分をトリミングして利用する利用者もいる。このようなことから、アップ画像だけでなく、全身画像の顔部分に対しても適切な画像処理が施されるようにする必要がある。
そこで、図18の処理は、アップ撮影および全身撮影のいずれが行われる際にも実行されるものとする。なお、図18の処理は、レタッチ撮影が行われる際には実行されない。
ステップS51において、撮影制御部313は、カメラ111を制御することで、カメラ111から、利用者が映る動画像であるライブビュー画像を取り込む。このとき、表示制御部311は、タッチパネルモニタ112に、ライブビュー画像を表示するためのライブビュー表示画面を表示させる。
ステップS52において、表示制御部311は、タッチパネルモニタ112に表示されているライブビュー表示画面上の所定の領域に、カメラ111から取り込まれたライブビュー画像を表示する。
ステップS53において、認識部314は、カメラ111から取り込まれたライブビュー画像において、顔認識により、利用者の顔および目が検出されたか否かを判定する。
ここで、認識部314による顔認識の処理の詳細について説明する。
具体的には、認識部314は、ライブビュー画像における目領域の輪郭点を抽出し、抽出された輪郭点で囲まれる領域の形状を判別することで顔認識を行い、顔および目が検出されたか否かを判定する。抽出される輪郭点の数や位置は任意とされる。この場合、例えば目を閉じている利用者についての認識は失敗し、目は検出されなかったと判定される。これにより、後述するような、目領域に対する画像処理が、閉じている目に施されることで不自然になることを防ぐことができる。なお、ライブビュー画像においては、目領域の輪郭点に加え、顔領域の輪郭点がさらに抽出されるようにしてもよいし、顔領域の輪郭点のみが抽出されるようにしてもよい。
また、認識部314は、ライブビュー画像において抽出された輪郭点で囲まれる領域の色情報を取得することで顔認識を行い、顔および目が検出されたか否かを判定することもできる。例えば、顔領域の輪郭点が抽出されるようにし、抽出された顔領域の輪郭点で囲まれる領域の色情報から、その領域の色が肌色ではないと判定された場合、顔認識は失敗し、顔は検出されなかったと判定される。また、目領域の輪郭点で囲まれる領域の色情報から、その領域の色に白色と黒色以外の色が含まれていると判定された場合、顔認識は失敗し、目は検出されなかったと判定される。
なお、本実施の形態においては、後述するように、ライブビュー画像において顔認識に成功することで得られた撮影画像について、顔領域および目領域に対する画像処理が施されるものとする。ただし、撮影画像において、顔領域に対する画像処理のみが施される場合や、目領域に対する画像処理のみが施される場合には、ライブビュー画像においては、顔のみが検出されたり、目のみが検出されるようにする。
さらに、認識部314は、顔の傾きに基づいて、顔認識に成功したか否かを決定するようにしてもよい。撮影画像において、上下方向または左右方向に所定角度以上傾いている顔に対して画像処理が施された場合であっても、利用者はそのことに気づかない可能性が高い。そこで、例えば、顔が上下方向または左右方向に所定角度以上傾いていると判定された場合、顔認識は失敗と判定される。これにより、撮影画像に対して不要な画像処理が施されることを避けることができる。
さて、図18のフローチャートの説明に戻り、ステップS54において、表示制御部311は、ライブビュー表示画面において、認識部314による認識結果(利用者の顔や目が検出されたか否か)に応じた案内表示を行う。
ステップS55において、表示制御部311は、撮影タイミングになったか否かを判定する。撮影タイミングになっていないと判定された場合、処理はステップS51に戻り、ライブビュー画像の表示および認識結果に応じた案内表示が繰り返される。
そして、撮影タイミングになったと判定された場合、ライブビュー画像表示処理は終了し、撮影制御部313による撮影が行われる。
図19は、アップ撮影時のライブビュー表示画面の例を示す図である。
ライブビュー表示画面の略中央には画像表示領域431が設けられる。画像表示領域431には、カメラ111により取り込まれた動画像であるライブビュー画像が表示される。また、画像表示領域431の下方には、「カメラ目線でポーズ!」のメッセージが表示される。
ライブビュー表示画面の下側には、5つのサムネイル画像表示領域432乃至436が横方向に並んで表示される。サムネイル画像表示領域432乃至436それぞれには、5回の通常撮影に対応する5枚のモデル画像がそれぞれ表示される。サムネイル画像表示領域432乃至436に表示される5枚のモデル画像のうち、サムネイル画像表示領域432乃至434に表示される3枚のモデル画像はアップ画像とされ、サムネイル画像表示領域435,436に表示される2枚のモデル画像は全身画像とされる。
また、サムネイル画像表示領域432乃至436のうち、これから行われる撮影に対応するモデル画像が表示されているサムネイル画像表示領域は、選択枠で強調表示される。図19の例では、1回目の撮影の際に利用者が見本とするモデル画像が表示されているサムネイル画像表示領域432が選択枠で強調表示されている。
ここで、上述したように、画像表示領域431に表示されているライブビュー画像においては、認識部314によって、顔認識が行われる。
ライブビュー表示画面においては、認識部314による認識に成功するように利用者を促す案内表示がなされる。具体的には、図19に示されるように、画像表示領域431に表示されているライブビュー画像において、認識部314による認識に成功している利用者の顔の部分には、案内表示としての枠F11,F12が表示される。すなわち、図19の例では、ライブビュー画像に映る2人の利用者それぞれの顔認識に成功している。これにより、ライブビュー画像に映る利用者は、顔の認識に成功していることを把握することができ、立ち位置や顔の向きを維持しようとするようになる。なお、図19の例では、ライブビュー画像に映る利用者の顔の認識に失敗している場合には、枠は表示されない。
また、認識部314による認識に失敗している利用者の顔について、案内表示がなされるようにしてもよい。例えば、図20の例では、画像表示領域431に表示されているライブビュー画像に映る2人の利用者のうち、左側の利用者の顔については、その認識に成功し、右側の利用者の顔については、その認識に失敗している。
この場合、ライブビュー画像に映る右側の利用者の顔の近傍に、認識部314による認識に失敗している旨のメッセージを含む吹き出し画像B11が表示される。これにより、ライブビュー画像に映る利用者は、顔の認識に失敗していることを把握することができ、顔の認識に成功するように立ち位置や顔の向きを変えようとするようになる。
なお、図21に示されるように、顔の認識に成功している左側の利用者の顔の近傍に、認識部314による認識に成功している旨のメッセージを含む吹き出し画像B21が表示されるようにしてもよい。
図22は、撮影結果確認画面の例を示す図である。
図22に示される撮影結果確認画面の画像表示領域431には、撮影によって得られた撮影画像として、2人の利用者が写る静止画像が表示される。画像表示領域431の下には「こんな風にとれたよ」のメッセージが表示される。
以上のようにして、通常撮影が行われる。
以上の処理によれば、ライブビュー表示画面において、利用者は、顔の認識に成功しているか否かを把握することはできるようになるので、顔の認識に失敗することを避けることができ、自分の好きなポーズや立ち位置などについての自由度を確保しながら、顔の認識に成功するように、顔の向きや位置を調整することができる。結果として、適切に画像処理が施された画像が出力されるようになり、利用者にとってより満足度の高い画像を提供することが可能となる。
また、利用者がとるポーズによって顔や目に手がかかるなどして、顔や目が検出されなかった場合には、顔の認識に失敗していることを、利用者に知らせることもできる。
以上においては、通常撮影としてアップ撮影が行われる際のライブビュー表示画面の例について説明したが、全身撮影が行われる際にも、上述したライブビュー画像表示処理は実行される。
図23は、全身撮影時のライブビュー表示画面の例を示す図である。
図23の例では、画像表示領域431に、2人の利用者の全身が映るライブビュー画像が表示される。また、図23の例では、画像表示領域431に表示されているライブビュー画像において、認識部314による認識に成功している利用者の顔の部分には、案内表示としての枠F31,F32が表示される。
なお、図23の例においても、図20の例と同様に、認識部314による認識に失敗している利用者の顔について、認識部314による認識に失敗している旨のメッセージを含む吹き出し画像が表示されるようにしてもよいし、図21の例と同様に、認識部314による認識に成功している利用者の顔について、認識部314による成功に失敗している旨のメッセージを含む吹き出し画像が表示されるようにしてもよい。
以上においては、ライブビュー画像に対して、認識部314による認識に成功するように促す案内表示がなされるものとした。しかしながら、認識に失敗したまま撮影が行われてしまった場合には、撮り直し対象選択画面に表示されるその撮影画像に、認識に失敗した旨の表示がなされるようにしてもよい。
図24は、撮り直し対象選択画面の例を示す図である。
撮り直し対象選択画面の上方には、「撮りなおしたい画像を1枚まで選んでね!」のメッセージが表示され、その下に、撮り直しの対象として選択可能な5枚の撮影画像451乃至455と、撮り直しを行わないときに操作されるボタン456とが表示される。また、撮り直し対象選択画面の右下隅には、選択した撮り直し対象画像を決定するときに操作されるボタン457が表示される。
撮り直し対象選択画面において、利用者により、撮影画像451乃至455のいずれかが選択され、ボタン457が操作されると、選択された撮影画像が、撮り直し対象画像として決定される。一方、利用者により、ボタン456が操作されると、撮り直しを行わないことが決定される。
また、撮り直し対象選択画面においては、撮影画像451乃至455のうち、顔の認識に失敗したまま撮影が行われて得られた撮影画像には、認識に失敗した旨の表示がなされている。図24の例では、撮影画像451上に、認識部314による認識に失敗した旨のメッセージを含む吹き出し画像B41が表示されている。
これにより、利用者は、認識に失敗したまま撮影が行われて得られた撮影画像を迅速に見つけて、撮り直し対象画像として選択することができる。
図25は、撮り直し後選択画面の例を示す図である。
図25に示すように、撮り直し後選択画面の上方には、「どちらの画像にする?」のメッセージが表示され、その下に、撮り直し対象画像として選択された撮影画像471と、撮り直し撮影で取得された撮影画像472とが左右に並んで表示される。また、撮り直し後選択画面の右下隅には、撮影画像の選択を決定するときに操作されるボタン473が表示される。
撮り直し後選択画面において、利用者により、撮影画像471,472のうちのいずれか一方が選択され、ボタン473が操作されると、選択された撮影画像が、最終的に編集や印刷の対象となる画像として決定される。
また、撮り直し後選択画面においては、撮影画像471には、認識に失敗した旨の表示がなされている。図25の例では、撮影画像471上に、認識部314による認識に失敗した旨のメッセージを含む吹き出し画像B51が表示されている。
これにより、利用者は、認識に失敗したまま撮影が行われて得られた撮影画像を、最終的に編集や印刷の対象となる画像として選択しないようにすることができる。
<大人数用コースの例>
以上においては、人数コースとして2人用コースが選択された場合のライブビュー画像表示処理について説明してきたが、大人数用コースが選択された場合にも、ライブビュー画像における顔の認識が行われる。
なお、大人数用コースが選択された場合、ライブビュー画像における顔の認識は、所定数を上限として行われる。例えば、大人数用コースが選択された場合、ライブビュー画像における顔の認識は12人分まで行われ、認識に成功した顔の部分に案内表示としての枠が表示される。したがって、ライブビュー画像に例えば13人の利用者が映る場合、いずれか1人の利用者については顔の認識は行われない。
ここで、12人の利用者全員について、顔の認識に成功した場合、ライブビュー画像には12個の枠が表示されることになるが、この場合、ライブビュー画像の表示が煩雑になり、利用者が撮影作業を行いづらくなってしまう。
そこで、この場合には、認識に成功した顔の部分には何も表示されず、認識に失敗した顔の部分に枠が表示されるようにしてもよい。
例えば、抽出された輪郭点で囲まれる領域の形状と、輪郭点で囲まれる領域の色情報とに基づいて、顔の認識が行われるものとする。このとき、輪郭点で囲まれる領域が肌色であると判定されても、輪郭点で囲まれる領域の形状が顔でないと判定された場合には、顔の認識は失敗と判定され、その顔の部分(輪郭点で囲まれる領域)に枠が表示される。逆に、輪郭点で囲まれる領域の形状が顔であると判定されても、輪郭点で囲まれる領域が肌色でないと判定された場合には、顔の認識は失敗と判定され、その顔の部分(輪郭点で囲まれる領域)に枠が表示されるようにしてもよい。
これにより、ライブビュー画像の表示が煩雑になることを避け、利用者は撮影作業を行いやすくなる。
以上においては、ライブビュー画像における顔の認識は、所定数を上限として行われるものとしたが、ライブビュー画像における全ての顔について認識が行われるようにしてもよい。
また、ライブビュー画像において認識に成功した顔の部分への枠の表示は、所定数を下限として行われるようにしてもよい。ライブビュー画像に映る顔の数が1つや2つの場合、利用者のとるポーズや立ち位置の自由度は高く、ライブビュー画像に案内表示がなされなくとも、顔の認識に成功しやすい。そこで、例えば、ライブビュー画像において認識に成功した顔の数が3つ以上の場合に、認識に成功した顔の部分に枠が表示されるようにする。
さらに、ライブビュー画像における顔の認識が、所定数を上限として行われるようにした上で、ライブビュー画像において認識に成功した顔の部分への枠の表示が、所定数を下限として行われるようにしてもよい。
さらにまた、ライブビュー画像において認識に成功した顔の数がある数を超えた場合には、認識に失敗した顔の部分に枠が表示され、ライブビュー画像において認識に成功した顔の数がある数を下回った場合には、認識に成功した顔の部分に枠が表示されるようにしてもよい。これにより、ライブビュー画像の表示が煩雑になることを避ける。
以上においては、人数コースとして、2人用コースと大人数用コースとが設けられるものとしたが、例えば4人用コースが設けられるようにしてもよい。
人数コースとして、4人用コースが選択された場合であっても、4人の利用者全ての顔の認識に成功すると、ライブビュー画像には4個の枠が表示されることになり、ライブビュー画像の表示が煩雑になる。そこで、この場合においても、認識に失敗した顔の部分に枠が表示されるようにすることで、ライブビュー画像の表示が煩雑になることを避ける。
さらに、5回の通常撮影のうち、例えば、4回目までの撮影時のライブビュー画像において認識に成功した顔の数が4つで、5回目の撮影時のライブビュー画像において認識に成功している顔の数が3つである場合、5回目の撮影時のライブビュー画像において、1つの顔の認識に失敗していると推定される。そこで、5回目の撮影時のライブビュー画像において、認識に失敗していると推定される顔の部分に枠が表示されるようにする。
<認識に成功するように促す案内の例>
以上においては、ライブビュー画像の表示時に、顔の認識に成功するように促す案内として、枠が表示されるものとしたが、音声が出力されるようにしてもよい。具体的には、音声出力制御部312が、顔の認識に成功するように促す音声をスピーカ223から出力させるようにする。
また、顔の認識に成功するように促す案内として、撮影空間内の照明(各ストロボユニットによるストロボ発光や定常光)の色味や発光量が変化するようにしてもよいし、顔の認識に失敗していると判定される場合には、カメラ111のシャッタ制御により撮影が行われないようにしてもよい。
さらに、ライブビュー画像において認識に成功した顔の数に応じて、撮影タイミングで得られる原画像から撮影画像を得るためのトリミング枠のサイズや、カメラ111のレンズの焦点距離が変更されるようにしてもよい。
例えば、ライブビュー画像において2つの顔の認識に成功した場合のトリミング枠のサイズより、ライブビュー画像において3つの顔の認識に成功した場合のトリミング枠のサイズが大きくなるようにする。また、ライブビュー画像において2つの顔の認識に成功した場合の焦点距離より、ライブビュー画像において3つの顔の認識に成功した場合の焦点距離が短くなるようにする。
これにより、顔の数(利用者の数)が多いほど、撮影画像に写る範囲が広くなり、撮影画像全体の見た目が窮屈な印象になることを避けることができ、人物と背景のバランスのよい構図を実現することができる。
<編集処理>
次に、図26のフローチャートを参照して、図14のステップS2において行われる編集処理について説明する。以下、基本的には、人数コースとして2人用コースが選択された場合の例について説明する。
編集処理が開始されると、ステップS71において、表示制御部321は、タブレット内蔵モニタ141に盛れ感選択画面を表示させる。盛れ感選択画面は、顔の大きさや形状(輪郭)、目の大きさなどを変えることで顔の見た目の印象が誇張された(良く見える)様子を表す「盛れ感」の選択に用いられる画面である。
図27は、盛れ感選択画面の例を示す図である。
盛れ感選択画面においては、主な構成が左右対称に設けられている。このような画面構成により、2人の利用者がそれぞれ盛れ感を同時に選択することができる。
図27の盛れ感選択画面において、左右それぞれの領域の上側には、画像表示部511L,511Rが設けられる。画像表示部511L,511Rには、レタッチ撮影により得られたレタッチ用画像(顔画像)がそれぞれ表示される。
画像表示部511L,511Rそれぞれの下方には、選択部512L,512Rが表示される。選択部512L,512Rそれぞれの中央には、撮影処理により得られた5枚のアップ画像それぞれに写る利用者の顔の盛れ感を選択するためのボタン521−1乃至521−3が設けられる。
ボタン521−1乃至521−3それぞれは、盛れ感を与える画像処理の度合いに対応する。ボタン521−1は、盛れ感として「ナチュラル」を選択するためのボタンであり、ボタン521−2は、盛れ感として「おすすめ」を選択するためのボタンであり、ボタン521−3は、盛れ感として「げき盛れ」を選択するためのボタンである。
ボタン521−1乃至521−3のいずれかが選択されると、画像処理部324は、画像表示部511L,511Rに表示されている顔画像に対して、選択されたボタンに対応する盛れ感を与える画像処理を施す。利用者は、画像表示部511L,511Rに表示されている顔画像の変化を確認することで、所望の盛れ感を選択することができる。
ボタン521−1乃至521−3の下方には、OKボタン522が設けられる。
ボタン521−1乃至521−3のいずれかが選択された状態で、OKボタン522が押下されることで、撮影画像それぞれに写る利用者の顔領域全体に対する、盛れ感を与える画像処理の度合いが決定され、撮影画像それぞれに写る利用者の顔領域全体に対して、決定された度合いの画像処理が施される。
また、ボタン521−1の左方には、盛れ感OFFボタン523が設けられる。ボタン521−1乃至521−3のいずれかが選択された状態で、盛れ感OFFボタン523が押下されることで、選択されているボタンに対応して、画像表示部511L,511Rに表示されている顔画像に対して施されている度合いの画像処理がキャンセルされる。
なお、盛れ感選択画面の中心よりやや上の位置には、両矢印の形状の入れ替えボタン513が設けられる。撮影空間においてカメラ111に向かう2人の利用者の左右の位置と、編集空間においてタブレット内蔵モニタ141に向かう2人の利用者の左右の位置とが異なる場合がある。この場合、利用者のいずれかが、入れ替えボタン513を操作することで、利用者それぞれが、立ち位置を変えることなく、自分の顔についての画像処理の度合いを選択することができる。
盛れ感選択画面において、OKボタン522が押下されるか、または、盛れ感選択画面が表示されてから開始されたカウントダウンが終了する(カウントが0になる)と、処理はステップS72に進む。
ステップS72において、表示制御部321は、タブレット内蔵モニタ141にフェイスカラー選択画面を表示させる。フェイスカラー選択画面は、撮影画像に写る利用者のフェイスカラー(肌の明るさ)の選択に用いられる画面である。
図28は、フェイスカラー選択画面の例を示す図である。
フェイスカラー選択画面は、基本的には、図27の盛れ感選択画面と同様の構成を有し、主な構成が左右対称に設けられている。このような画面構成により、2人の利用者がそれぞれフェイスカラーを同時に選択することができる。
図28のフェイスカラー選択画面において、左右それぞれの領域の上側には、図27の盛れ感選択画面と同様、画像表示部511L,511Rが設けられる。
画像表示部511L,511Rそれぞれの下方には、選択部531L,531Rが表示される。選択部531L,531Rそれぞれの中央には、撮影処理により得られた5枚の撮影画像それぞれに写る利用者のフェイスカラーを選択するためのボタン541−1乃至541−3が設けられる。
ボタン541−1乃至541−3それぞれは、フェイスカラーを変える画像処理の度合いに対応する。ボタン541−1は、フェイスカラーとして「普通肌」を選択するためのボタンであり、ボタン541−2は、フェイスカラーとして「美白肌」を選択するためのボタンであり、ボタン541−3は、フェイスカラーとして「超美白肌」を選択するためのボタンである。
ボタン541−1乃至541−3のいずれかが選択されると、画像処理部324は、画像表示部511L,511Rに表示されている顔画像に対して、選択されたボタンに対応するフェイスカラーに変える画像処理を施す。利用者は、画像表示部511L,511Rに表示されている顔画像の変化を確認することで、所望のフェイスカラーを選択することができる。
ボタン541−1乃至541−3の下方には、OKボタン542が設けられる。
ボタン541−1乃至541−3のいずれかが選択された状態で、OKボタン542が押下されることで、撮影画像それぞれに写る利用者の顔領域全体に対する、フェイスカラーを変える画像処理の度合いが決定され、撮影画像それぞれに写る利用者の顔領域に対して、決定された度合いの画像処理が施される。
フェイスカラー選択画面において、OKボタン542が押下されるか、または、フェイスカラー選択画面が表示されてから開始されたカウントダウンが終了する(カウントが0になる)と、処理はステップS73に進む。
ステップS73において、表示制御部321は、タブレット内蔵モニタ141にメイク感選択画面を表示させる。メイク感選択画面は、撮影画像に写る利用者のメイク感の選択に用いられる画面である。メイク感は、メイクを施しているように見せるための顔パーツに対する画像処理の度合いを示し、この例では、メイク感として、目の濃さと、チークおよびリップの色が選択される。
図29は、メイク感選択画面の例を示す図である。
メイク感選択画面もまた、基本的には、図27の盛れ感選択画面と同様の構成を有し、主な構成が左右対称に設けられている。このような画面構成により、2人の利用者がそれぞれメイク感を同時に選択することができる。
図29のメイク感選択画面において、左右それぞれの領域の上側には、図27の盛れ感選択画面と同様、画像表示部511L,511Rが設けられる。
画像表示部511L,511Rそれぞれの下方には、選択部551L,551Rが表示される。選択部551L,551Rそれぞれの中央には、撮影処理により得られた5枚の撮影画像それぞれに写る利用者のメイク感を選択するためのボタン561−1乃至561−3が設けられる。
ボタン561−1乃至561−3それぞれは、メイク感を変える画像処理の度合いに対応する。ボタン561−1は、メイク感として「ナチュラル」を選択するためのボタンであり、ボタン561−2は、メイク感として「おすすめ」を選択するためのボタンであり、ボタン561−3は、メイク感として「しっかり」を選択するためのボタンである。
ボタン561−1乃至561−3のいずれかが選択されると、画像処理部324は、画像表示部511L,511Rに表示されている顔画像に対して、選択されたボタンに対応するメイク感に変える画像処理を施す。利用者は、画像表示部511L,511Rに表示されている顔画像の変化を確認することで、所望のメイク感を選択することができる。
ボタン561−1乃至561−3の下方には、OKボタン562が設けられる。
ボタン561−1乃至561−3のいずれかが選択された状態で、OKボタン562が押下されることで、撮影画像それぞれに写る利用者の顔領域、目領域、および口領域に対する、メイク感を変える画像処理の度合いが決定され、撮影画像それぞれに写る利用者の顔領域、目領域、および口領域に対して、決定された度合いの画像処理が施される。
メイク感選択画面において、OKボタン562が押下されるか、または、メイク感選択画面が表示されてから開始されたカウントダウンが終了する(カウントが0になる)と、処理はステップS74に進む。
ステップS74において、表示制御部321は、タブレット内蔵モニタ141に涙袋選択画面を表示させる。涙袋選択画面は、撮影画像に写る利用者の涙袋メイク(下まぶたに添ったふくらみ部分に対するメイクの濃さ)の選択に用いられる画面である。
図30は、涙袋選択画面の例を示す図である。
涙袋選択画面もまた、基本的には、図27の盛れ感選択画面と同様の構成を有し、主な構成が左右対称に設けられている。このような画面構成により、2人の利用者がそれぞれ涙袋メイクを同時に選択することができる。
図30の涙袋選択画面において、左右それぞれの領域の上側には、図27の盛れ感選択画面と同様、画像表示部511L,511Rが設けられる。
画像表示部511L,511Rそれぞれの下方には、選択部571L,571Rが表示される。選択部571L,571Rそれぞれの中央には、撮影処理により得られた5枚の撮影画像それぞれに写る利用者の涙袋メイクを選択するためのボタン581−1,581−2が設けられる。
ボタン581−1,581−2それぞれは、涙袋メイクを変える画像処理の度合いに対応する。ボタン581−1は、涙袋メイクとして「ナチュラル」を選択するためのボタンであり、ボタン581−2は、涙袋メイクとして「しっかり」を選択するためのボタンである。
ボタン581−1,581−2のいずれかが選択されると、画像処理部324は、画像表示部511L,511Rに表示されている顔画像に対して、選択されたボタンに対応する涙袋メイクに変える画像処理を施す。利用者は、画像表示部511L,511Rに表示されている顔画像の変化を確認することで、所望の涙袋メイクを選択することができる。
ボタン581−1,581−2の下方には、OKボタン582が設けられる。
ボタン581−1,581−2のいずれかが選択された状態で、OKボタン582が押下されることで、撮影画像それぞれに写る利用者の目領域に対する、涙袋メイクを変える画像処理の度合いが決定され、撮影画像それぞれに写る利用者の目領域に対して、決定された度合いの画像処理が施される。
涙袋選択画面において、OKボタン582が押下されるか、または、涙袋選択画面が表示されてから開始されたカウントダウンが終了する(カウントが0になる)と、処理はステップS75に進む。
以上のように、盛れ感選択画面、フェイスカラー選択画面、メイク感選択画面、および涙袋選択画面は、撮影画像に写る利用者自身の顔を、自分のなりたい顔に仕上げるためのレタッチ機能を提供するレタッチ画面として表示される。
それぞれのレタッチ画面において、利用者の顔(レタッチ用画像)毎に選択された度合いの画像処理は、上述したように、画像処理部324によって、撮影画像に写る利用者の顔毎に施される。具体的には、認証部323が、記憶部202に記憶されているレタッチ用画像に基づいて、撮影画像に写る利用者の顔をそれぞれ認証する。そして、画像処理部324は、レタッチ用画像に対応して選択された度合いの画像処理を、認証の結果に基づいて、撮影画像においてそのレタッチ用画像(顔画像)に最も一致すると判定された顔領域に施す。
また、画像処理部324は、認識部314による認識に成功した利用者の顔に対して、レタッチ画面において選択された度合いの画像処理を施す。したがって、ライブビュー画像において、2人の利用者のうちのいずれか一方の顔の識別に失敗した場合、対応する撮影により得られた撮影画像において識別に失敗した方の利用者の顔領域には、選択された度合いにかかわらず画像処理は施されない。
なお、人数コースとして大人数用コースが選択された場合には、図31に示されるようなレタッチ画面が表示される。
図31は、大人数用コースが選択された場合のレタッチ画面の一例としての盛れ感選択画面の例を示す図である。
図31の盛れ感選択画面の上側には、画像表示部591が設けられる。画像表示部591には、レタッチ撮影により得られたレタッチ用画像が表示される。ここでのレタッチ用画像は、複数の利用者が一緒に写る画像であり、図31の例では、2人の利用者が写る画像とされるが、実際には3人以上の利用者が写る画像とされる。
画像表示部591の下方には、選択部592が表示される。選択部592の中央には、撮影処理により得られた5枚の撮影画像それぞれに写る利用者の顔の盛れ感を選択するためのボタン521−1乃至521−3、OKボタン522、および盛れ感OFFボタン523が設けられる。
ボタン521−1乃至521−3のいずれかが選択されると、画像処理部324は、画像表示部591に表示されているレタッチ用画像に写る利用者の顔に対して、選択されたボタンに対応する盛れ感を与える画像処理を施す。利用者は、画像表示部591に表示されているレタッチ用画像に写る利用者の顔の変化を確認することで、所望の盛れ感を選択することができる。
ボタン521−1乃至521−3のいずれかが選択された状態で、OKボタン522が押下されることで、撮影画像それぞれに写る利用者全ての顔領域全体に対する、盛れ感を与える画像処理の度合いが決定され、撮影画像それぞれに写る利用者全ての顔領域全体に対して、決定された度合いの画像処理が施される。
すなわち、人数コースとして大人数用コースが選択された場合、それぞれのレタッチ画面において選択された度合いの画像処理が、画像処理部324によって、撮影画像に写る利用者全ての顔に一括して施される。
なお、この場合においても、画像処理部324は、認識部314による認識に成功した利用者の顔に対して、レタッチ画面において選択された度合いの画像処理を施す。したがって、ライブビュー画像において、複数の利用者のうちのいずれかの顔の識別に失敗した場合、対応する撮影により得られた撮影画像において識別に失敗した利用者の顔領域には、選択された度合いにかかわらず画像処理は施されない。
さて、図26のフローチャートに戻り、上述したそれぞれのレタッチ画面の表示が終了すると、処理はステップS75に進む。
ステップS75において、表示制御部321は、タブレット内蔵モニタ141に名前入力画面を表示させる。
名前入力画面は、利用者による名前の入力に用いられる画面である。名前入力画面には、名前の入力に用いることが可能なひらがなを選択するためのボタンと、選択されたボタンに対応する文字列が表示されるテキストボックスが表示される。
名前入力画面において、名前の入力が終了すると、処理はステップS76に進む。
ステップS76において、表示制御部321は、タブレット内蔵モニタ141に編集画面を表示させる。
編集画面は、編集対象となる撮影画像の編集に用いられる画面である。編集画面には、編集対象となる撮影画像と、編集に用いられるスタンプ画像やペン画像などの各種の編集ツール(合成用画像)が表示される。
利用者は、タッチペン132A,132Bを用いて、スタンプ画像やペン画像などを編集対象となる撮影画像上の所定の位置へ重畳することで、編集対象となる撮影画像に対する合成用画像の合成が行われる。
すなわち、ステップS77において、編集制御部322は、利用者の操作に応じて、編集対象となる撮影画像に編集を施す。
編集作業が終了すると、ステップS78において、表示制御部321は、タブレット内蔵モニタ141に分割数選択画面を表示させる。
分割数選択画面は、最終的に出力されるシール紙の分割数やシールレイアウトの選択に用いられる画面である。シールレイアウトは、1枚の写真シールに配置される編集画像(撮影画像)の枚数や位置、大きさを決定するレイアウト(配置パターン)である。ここで、利用者により選択されたシールレイアウトに従って編集画像が配置されてなる画像、すなわち、シール紙に印刷されて最終的に出力される画像をレイアウト画像という。
したがって、分割数選択画面には、例えば5枚の撮影画像それぞれにレタッチ機能により画像処理が施され、さらに編集が施された編集画像が、異なるシールレイアウトで配置されたレイアウト画像が複数表示される。
分割数選択画面において、レイアウト画像のいずれかが選択されると、処理はステップS79に進む。
ステップS79において、表示制御部321は、タブレット内蔵モニタ141に携帯送信用画像選択画面を表示させる。
携帯送信用画像選択画面は、利用者の所有する携帯端末に送信するための携帯送信用画像の選択に用いられる画面である。携帯送信用画像選択画面には、5枚の撮影画像に加え、そのうちのいずれかに所定の編集が施された、携帯送信専用の携帯専用画像が表示される。
携帯送信用画像選択画面において、画像のいずれかが選択されると、処理はステップS80に進む。
ステップS80において、表示制御部321は、タブレット内蔵モニタ141にアドレス入力画面を表示させる。
アドレス入力画面は、利用者の所有する携帯端末のメールアドレスの入力に用いられる画面である。アドレス入力画面には、メールアドレスに用いることが可能なアルファベットや記号、携帯電話機のキャリアを選択するためのボタンと、選択されたボタンに対応する文字列が表示されるテキストボックスが表示される。
アドレス入力画面において、メールアドレスの入力が終了すると、処理はステップS81に進む。
ステップS81において、編集処理部302は、通信部203を制御することで、インターネットなどのネットワークを介して、利用者により選択された携帯送信用画像を、利用者により入力されたメールアドレスとともに、サーバに送信する。サーバは、例えば写真シール作成装置1の製造メーカにより管理される。
サーバは、利用者により入力されたメールアドレス宛てに、携帯端末がサーバにアクセスするのに必要なURL(Uniform Resource Locator)が記載されたメールを送信する。そして、そのURLに基づいて、利用者が所有する携帯端末が、ネットワークを介してサーバにアクセスすることで、サーバに送信された携帯送信用画像が携帯端末に提供される。
そして、ステップS82において、編集処理部302は、編集作業を終えた利用者に対して、印刷待ち空間A3への移動を案内する。印刷待ち空間A3への移動の案内は、編集部209のタブレット内蔵モニタ141に案内画面を表示させることによって、または音声をスピーカ231から出力させることによって行われる。
以上のようにして、編集処理が行われる。
以上の処理によれば、ライブビュー画像における顔の認識に成功した撮影画像に対して、レタッチ画面において選択された度合いの画像処理が施されるようになる。したがって、より確実に撮影画像に対して適切な画像処理が施されるので、利用者にとってより満足度の高い画像を提供することが可能となる。
なお、上述した処理において、全ての撮影時のライブビュー画像において、顔の認識に失敗した場合には、全てのレタッチ画面の表示がスキップされるようにしてもよい。
また、レタッチ画面において、レタッチ用画像に加えて、撮影画像も表示するようにした場合、顔の認識に成功したライブビュー画像に対応する撮影画像のみ表示されるようにし、顔の認識に失敗したライブビュー画像に対応する撮影画像は表示されないようにしてもよい。すなわち、全ての撮影時のライブビュー画像において、顔の認識に成功した場合、レタッチ画面には、全ての撮影画像が表示されるようになる。
<編集画面の構成>
ここで、上述した編集処理のステップS76において表示される編集画面の構成について説明する。
図32は、タブレット内蔵モニタ141に表示される編集画面の例を示す図である。
編集画面は、基本的に、縦長四角形の領域である背景選択領域610の左右に領域が形成されることによって構成される。背景選択領域610の上には、編集作業に割り当てられた制限時間の残り時間などが表示される。
背景選択領域610は、背景画像の選択に用いられるボタンなどの表示領域である。背景選択領域610は、編集画面が表示されている間、常時表示される。利用者は、編集画面を用いて編集を行っている間、背景画像の選択をいつでも行うことができる。すなわち、利用者は、編集作業において背景画像を選択することができるので、編集対象となる撮影画像に写る自身の表情やポーズなどに最適な背景画像を見つけ出すことができる。
背景選択領域610の左側の領域(以下、単に左側の領域という)は、タブレット内蔵モニタ141に向かって左側にいる利用者により用いられる領域である。背景選択領域610の右側の領域(以下、単に右側の領域という)は、タブレット内蔵モニタ141に向かって右側にいる利用者により用いられる領域である。
すなわち、背景選択領域610の表示に対しては、タッチペン142A、タッチペン142Bのいずれのタッチペンを用いた操作も受け付けられるが、左側の領域の表示に対しては、タッチペン142Aを用いた操作のみが受け付けられ、右側の領域の表示に対しては、タッチペン142Bを用いた操作のみが受け付けられる。
タブレット内蔵モニタ141に向かって左側にいる利用者がタッチペン142Aを用いて背景選択領域610のボタンを押下し、背景画像を選択した場合、その操作は、左側の領域の表示を用いて行っている編集に反映される。
一方、右側にいる利用者がタッチペン142Bを用いて背景選択領域610のボタンを押下し、背景画像を選択した場合、その操作は、右側の領域の表示を用いて行っている編集に反映される。
左側の領域と右側の領域には、主な構成が左右対称に設けられる。なお、図32の各領域を囲む破線は画面に実際に表示されるものではない。
左側の領域の中央上方のサムネイル表示領域611Lは、撮影画像を表すサムネイル画像の表示領域である。サムネイル画像は、例えば撮影画像をそれぞれ縮小することによって生成される。利用者(タブレット内蔵モニタ141に向かって左側にいる利用者)は、サムネイル表示領域611Lに表示されているサムネイル画像を選択することによって、編集対象とする撮影画像を選択する。
図32の例においては、5枚の撮影画像を表すサムネイル画像P21乃至P25がサムネイル表示領域611Lに並んで表示されている。また、左端のサムネイル画像P21が選択されることによって、1枚目の撮影画像が編集対象とされている。
なお、サムネイル画像P21乃至P23はアップ画像のサムネイル画像であり、サムネイル画像P24,P25は全身画像のサムネイル画像である。
左側の領域の略中央に大きく形成された編集領域612Lは、編集対象として選択された撮影画像の表示領域である。利用者は、タッチペン142Aを用いて編集ツールを選択し、編集領域612Lに表示された撮影画像の編集を行うことができる。
編集領域612Lの左側には、編集の見本を表示するときに操作されるボタン613Lと、上述した携帯専用画像を作成するときに操作されるボタン614Lが表示される。
編集領域612Lの下には、横長長方形の領域である編集パレット615Lが表示される。編集パレット615Lは、ペンツール、スタンプツールなどの各種の編集ツール(コンテンツ)の選択に用いられるボタンなどが表示される領域である。
編集パレット615Lの上には、編集ツールのカテゴリの選択に用いられる6種類のタブが表示される。編集パレット615Lの右には、編集ツールの種類の選択に用いられる6種類のタブが表示される。利用者は、編集パレット615Lに表示させる編集ツールの種類とカテゴリを、これらのタブを用いて切り替えることができる。
編集領域612Lの右側には修正ツール選択領域616Lが形成される。修正ツール選択領域616Lは、消しゴムツールの選択に用いられるボタン、1つ前または1つ後の作業に戻るときに操作される「進む」、「戻る」ボタン、既に入力済みの編集を全てキャンセルし、編集前の状態に戻すときに操作される「最初から」ボタンなどが縦に並べて表示される領域である。消しゴムツールは、入力した編集を消すときに用いられるツールである。修正ツール選択領域616Lには「1set戻る」ボタンも表示される。「1set戻る」ボタンを押すことにより、所定の時間の間に入力された編集をまとめて取り消すことができる。
修正ツール選択領域616Lの上には、編集処理を終了するときに操作される終了ボタン617Lが表示される。
タブレット内蔵モニタ141に向かって右側にいる利用者が使う右側の領域には、上述した左側の領域の構成と同じ構成が、位置を対称にして配置される。図32の例においては、サムネイル表示領域611Rからサムネイル画像P22を選択することによって、2枚目の撮影画像が編集対象とされている。
ところで、編集画面においても、ライブビュー画像における顔の認識結果に応じた表示がなされる。
具体的には、図32の編集画面の左側の領域において選択されているサムネイル画像P21について、対応するライブビュー画像において、認識部314による認識に失敗した旨のメッセージを含む吹き出し画像B61が表示されている。
このようなサムネイル画像、すなわち、顔の認識に失敗したライブビュー画像に対応する撮影画像が、編集対象として選択されている場合、図32の編集画面の左側の領域に示されるように、編集パレット615Lには、認識に失敗して検出されなかった顔または顔パーツを隠すことが可能なスタンプツールが表示されるようになる。例えば、図32の例では、編集パレット615Lの左下隅に、顔領域を隠すことが可能なハート型のスタンプ画像や、目領域を隠すことが可能なサングラスを模したスタンプ画像が表示される。
一方、顔の認識に成功したライブビュー画像に対応する撮影画像が、編集対象として選択されている場合、図32の編集画面の右側の領域に示されるように、編集パレット615Rには、検出された顔や顔パーツの位置に応じて合成されるスタンプツールが表示されるようになる。例えば、図32の例では、編集パレット615Rに、利用者の選択操作のみで、撮影画像に写る人物の頭や目、鼻、口などの各位置に自動的に合成される、眼鏡を模したスタンプ画像や、動物の耳、鼻、口を模したスタンプ画像が表示される。
<変形例>
以下においては、上述した実施形態の変形例について説明する。
(撮影処理に関する変形例)
全身撮影が行われる際、ライブビュー画像において、利用者の全身が認識されるようにしてもよい。例えば、距離画像センサによって取得される距離画像から人物マスク画像を生成することで、利用者の全身が認識されるものとする。
全身撮影により得られる全身画像に対して、被写体の脚を細く長くみせるための画像処理(脚長処理)が施される場合、左右の脚が交差していたり、膝が曲がっていたりすると、脚長処理が適切に施されないおそれがある。
そこで、全身撮影が行われる際、ライブビュー画像において、利用者の全身が認識されるようにし、左右の脚が交差していることや、膝が曲がっていることが検知されたときに、左右の脚をまっすぐ伸ばすよう案内する表示や音声出力がなされるようにする。これにより、脚長処理が適切に施された全身画像を提供することができる。
また、ライブビュー画像において検知された顔について笑顔度を測定し、笑顔度が所定の値を超えたときに、その顔の部分に、案内表示としての枠が表示されるようにしてもよい。
例えば、撮影に関するコースとして、上述した写真シール作成ゲームが提供されるプリコースと、証明写真の撮影が行われる証明写真コースとを有する写真シール機において、証明写真コースが選択された場合には、笑顔で写ることは好ましくない。そこで、ライブビュー画像において検知された顔について笑顔度を測定し、笑顔度が所定の値を下回ったときに、その顔の部分に、案内表示としての枠が表示されるようにしてもよい。
さらに、撮影に関するコースとして、男女ペアの利用者に向けたカップルコースを設けるようにしてもよい。カップルコースが選択された場合、ライブビュー画像において、利用者同士の距離に基づいて密着度合いを数値化し、その値をライブビュー画像に表示するとともに、その値が所定値を下回った場合には、利用者同士がより近づくよう促す案内表示がなされるようにしてもよい。
また、ライブビュー画像において、顔の大きさを検知するようにし、顔の大きさが所定の大きさを超える場合には、案内表示として、カメラ111から遠ざかるよう立ち位置の変更を促す表示がなされるようにしてもよい。逆に、顔の大きさが所定の大きさを下回る場合には、案内表示として、カメラ111に近づくよう立ち位置の変更を促す表示がなされるようにしてもよい。
なお、上述した撮影処理において、レタッチ撮影および5回の通常撮影に加えて、携帯端末に送信するためだけの画像として、例えば動画像を生成する撮影が行われるようにしてもよい。ここで、動画像を生成する撮影が行われている間においても、顔の認識に成功するように利用者を促す案内表示が行われるようにすることができる。
また、以上においては、図18のライブビュー画像表示処理は、アップ撮影および全身撮影のいずれが行われる際にも実行されるものとしたが、画像処理が施された後の仕上がりを確認するのが容易なアップ画像が得られるアップ撮影が行われる際のみに実行されるようにしてもよい。
(編集処理に関する変形例)
図32の編集画面においては、5回の撮影により得られた5枚の撮影画像が全て編集対象として選択できるものとしたが、編集処理の冒頭に、5枚の撮影画像の中から編集対象とする撮影画像を選択させるための選択画面が表示されるようにしてもよい。
この場合、ライブビュー画像において顔の認識に失敗して行われた撮影により得られた撮影画像のみが、その選択画面に表示されるようにしてもよい。これにより、より確実に撮影画像に対して適切な画像処理を施すことができるようになる。
また、ライブビュー画像において顔の認識に失敗して行われた撮影により得られた撮影画像については、選択画面において選択させることなく、編集対象から除外されるようにしてもよい。
この場合、編集対象となる撮影画像の枚数が少なくなるので、利用者が編集作業にかかる時間をもてあます可能性がある。そこで、除外された撮影画像に代えて顔の認識に成功して行われた撮影により得られた撮影画像のコピーが、編集対象として提供されるようにしてもよい。
さらに、1枚の撮影画像において、利用者の一方がライブビュー画像における顔認識(目検出)に成功し、利用者の他方がライブビュー画像における顔認識(目検出)に失敗している場合には、それぞれの利用者で、レタッチ画面において選択可能な画像処理の内容や、画像処理の度合いを異ならせるようにしてもよい。
例えば、レタッチ画面において、顔認識に成功している利用者については、目の大きさや形状を変える画像処理の度合いを選択させ、顔認識に失敗している利用者については、キャッチライトの色や大きさを変える画像処理の度合いを選択させるようにする。なお、顔認識(目検出)に失敗している利用者については、目の輪郭点の抽出に失敗しているものの、瞳に写るキャッチライトの輪郭点の抽出には成功していることを前提とする。
(印刷処理に関する変形例)
ライブビュー画像において顔の認識に失敗して行われた撮影により得られた撮影画像は、印刷対象から除外されるようにしてもよい。
また、ライブビュー画像において顔の認識に失敗して行われた撮影により得られた撮影画像を印刷対象に含める場合であっても、レイアウト画像において、最も小さいサイズの画像として配置されるようにしたり、利用者の目につきにくい位置に配置されるようにする。ここで、利用者の目につきにくい位置とは、例えば、レイアウト画像全体の右下隅などとされる。
レイアウト画像における画像の配置を決定するシールレイアウトの中には、利用者に選択された1枚の編集画像(撮影画像)を、他の画像より大きいサイズで配置させるものがある。この場合、ライブビュー画像において顔の認識に失敗して行われた撮影により得られた撮影画像は、その選択対象から除外されるようにしてもよい。
(携帯送信用画像に関する変形例)
ライブビュー画像において顔の認識に失敗して行われた撮影により得られた撮影画像は、携帯送信用画像の選択対象から除外されるようにしてもよい。
また、ライブビュー画像において顔の認識に失敗して行われた撮影により得られた撮影画像を携帯送信用画像の選択対象に含める場合には、その画像を、携帯端末において拡大表示できないようにしたり、ぼかしやフィルタ加工などの画像処理が施されるようにする。これにより、検出されなかった顔や目の部分を、利用者にはっきりと確認させないようにすることができる。
<他の実施の形態>
上述したように、ライブビュー画像において、顔のサイズが所定サイズを下回る場合には、案内表示として、カメラ111に近づくよう立ち位置の変更を促す表示がなされるようにしてもよいものとした。これにより、利用者の顔が大きくしっかりと写る撮影画像が得られる。
一方で、写真シール作成装置1の主な利用者である2人組の利用者が撮影作業を行う際、利用者同士の顔が離れていると、被写体のバランスの悪い撮影画像が得られてしまう。
そこで、以下においては、利用者の顔が大きくしっかりと写り、かつ、被写体のバランスのよい撮影画像を得るための構成について説明する。
<撮影処理部の他の構成例>
図33は、撮影処理部301の他の構成例を示すブロック図である。
図33の撮影処理部301は、表示制御部311、音声出力制御部312、撮影制御部313、認識部314、顔サイズ判定部711、および距離判定部712から構成される。
図33の撮影制御部301において、図12の撮影制御部301と同様の機能を有する構成には、同一の符号を付すものとし、その説明は省略する。
顔サイズ判定部711は、ライブビュー画像に映る利用者の顔のサイズが所定サイズより小さいか否かを判定する。
距離判定部712は、ライブビュー画像に映る複数の利用者の顔同士が所定距離より離れているか否かを判定する。
<ライブビュー画像表示処理>
本実施の形態においては、撮影処理において、アップ撮影、上から全身撮影、および正面全身撮影の3種類の撮影が行われるものとする。上から全身撮影は、斜め上から見た利用者の全身が写る画像を得るための撮影であり、正面全身撮影は、正面から見た利用者の全身が写る画像を得るための撮影である。アップ撮影、上から全身撮影、および正面全身撮影はそれぞれ、カメラ111の撮影範囲とカメラアングル(カメラの俯角)が異なる。なお、それぞれの撮影において、実際にカメラアングルを変更する以外にも、撮影画像を、画像処理により、見かけ上(擬似的に)カメラの俯角をつけた画像に変換するようにしてもよい。
また、複数回行われる撮影として、上述した3種類のうちのいずれの撮影が行われるかは、利用者により選択される撮影に関するコースの1つである撮影コースによって決定される。具体的には、撮影コースには、「アップのみ」コース、「アップ+上から全身」コース、「アップ+正面全身」コースの3コースが用意される。撮影コースとして「アップのみ」コースが選択されると、5回行われる通常撮影全てが、アップ撮影となる。撮影コースとして「アップ+上から全身」コースが選択されると、5回行われる通常撮影のうち、1乃至3回目の撮影がアップ撮影となり、4,5回目の撮影が上から全身撮影となる。また、撮影コースとして「アップ+正面全身」コースが選択されると、5回行われる通常撮影のうち、1乃至3回目の撮影がアップ撮影となり、4,5回目の撮影が正面全身撮影となる。
ここでは、まず、図34のフローチャートを参照して、アップ撮影または上から全身撮影が行われる際のライブビュー画像表示処理について説明する。なお、ここでは、人数コースとして2人用コースが選択されていることを前提とする。
図34の処理は、1回の撮影が行われる毎に実行され、撮影毎に決められたポーズを利用者にとらせるためのナレーションが終了すると開始される。
ここで、図34のステップS111乃至S113における処理は、図18のステップS51乃至S53における処理と基本的に同様であるので、その説明は省略する。
なお、ステップS112において表示されるライブビュー画像は、クロマキ処理によって抽出した、動画像を構成する各フレームにおける被写体領域の画像を、所定の背景画像に重ねることによって生成される。
また、ステップS113においては、このようにして生成されたライブビュー画像に対して、上述した顔認識の処理が実行される。
そして、ステップS114において、顔サイズ判定部711は、認識部314による認識結果に基づいて、ライブビュー画像に映る利用者の顔のサイズが所定サイズより小さいか否かを判定する。具体的には、顔サイズ判定部711は、ライブビュー画像において認識された顔のうち、最も小さい顔のサイズが所定サイズより小さいか否かを判定する。
例えば、図35に示されるように、ライブビュー画像721において2人の利用者の顔U1,U2が認識されたとする。まず、顔サイズ判定部711は、顔U1,U2それぞれについて、顔認識により検出された左右の目の中心同士の距離d1,d2を求める。次に、顔サイズ判定部711は、求めた距離d1,d2のうちの短い方(図35の例では距離d1)について、その距離が規定された距離(規定値)より短いか否かを判定することで、最も小さい顔(図35の例では顔U1)のサイズが所定サイズより小さいか否かを判定する。
なお、アップ撮影が行われる場合と、上から全身撮影が行われる場合とでは、上述の規定値は異なるものする。具体的には、上から全身撮影により得られた全身画像(上から全身画像)においては、アップ画像に比べて画像全体に対する顔の大きさが小さくなるため、上から全身撮影が行われる場合の規定値は、アップ撮影が行われる場合の規定値より小さい値をとる。
また、顔認識により検出された左右の目の中心同士の距離に基づいて、顔のサイズが所定サイズより小さいか否かを判定する以外にも、例えば、検出された左右の目の中心それぞれと鼻との距離や、口の左右の口角同士の距離、顔の輪郭点のうちの所定の2点同士の距離など、顔パーツや顔の所定の点同士の距離に基づいて、顔のサイズが所定サイズより小さいか否かを判定するようにしてもよい。また、検出された左右の目の面積の大きさや、顔の肌色部分の面積の大きさに基づいて、顔のサイズが所定サイズより小さいか否かを判定するようにしてもよい。
さらに、顔サイズ判定部711は、認識部314により認識された顔の数にかかわらず、顔のサイズが所定サイズより小さいか否かを判定することもできる。具体的には、認識された顔の数が1つの場合には、単にその顔のサイズが所定サイズより小さいか否かが判定され、認識された顔の数が3つ以上の場合には、それらのうちの最も小さい顔のサイズが所定サイズより小さいか否かが判定されるようにする。
なお、顔認識によって検出される顔の数に上限を設けるようにしてもよい。これにより、顔の誤検出の割合を低くすることができる。また逆に、顔認識によって検出される顔の数に下限を設けるようにしてもよい。
また、以上においては、検出された顔のうちの最も小さい顔のサイズが所定サイズより小さいか否かが判定されるものとしたが、検出された顔のサイズの平均値(検出された左右の目の中心同士の距離の平均値)が所定サイズより小さいか否かが判定されるようにしてもよい。さらに、検出された顔のうちの最も大きい顔と最も小さい顔のサイズの差が所定値より大きいか否かによって、検出された顔のうちの最も小さい顔のサイズが所定サイズより小さいか否かが判定されるようにしてもよい。
さて、ステップS114において、顔のサイズが所定サイズより小さいと判定されると、処理はステップS115に進む。
ステップS115において、顔サイズ判定部711は、複数回行われるアップ撮影または上から全身撮影において、顔のサイズが所定サイズより小さいと初めて判定されたか否かを判定する。
具体的には、撮影コースとして「アップのみ」コースが選択されている場合、1乃至5回目のアップ撮影において、顔のサイズが所定サイズより小さいと初めて判定されたか否かが判定される。また、撮影コースとして「アップ+上から全身」コースが選択されている場合、1乃至3回目のアップ撮影において、顔のサイズが所定サイズより小さいと初めて判定されたか否かが判定され、4,5回目の上から全身撮影において、顔のサイズが所定サイズより小さいと初めて判定されたか否かが判定される。さらに、撮影コースとして「アップ+正面全身」コースが選択されている場合、1乃至3回目のアップ撮影において、顔のサイズが所定サイズより小さいと初めて判定されたか否かが判定される。
ステップS115において、顔のサイズが所定サイズより小さいと初めて判定されたと判定された場合、処理はステップS116に進む。
ステップS116において、表示制御部311および音声出力制御部312は、利用者にカメラ111に近づくように促すガイダンスを出力する。
例えば、図36に示されるライブビュー表示画面において、画像表示領域431に表示されているライブビュー画像の下側に、利用者にカメラ111に近づくように促すモデル画像M71と吹き出し画像B71とが重畳表示される。吹き出し画像B71には、利用者にカメラ111に近づくように促すメッセージ「もっとカメラに近づいて〜」が表示されている。また、スピーカ223からは、モデル画像M71および吹き出し画像B71が表示されるのと同時に、吹き出し画像B71に表示されているメッセージの音声が出力される。
このようなガイダンスにより、利用者は、カメラ111に近づくようにその立ち位置を変えて撮影に臨むことができる。
なお、カメラ111に近づくように促すガイダンスは、特定の利用者に向けたものではないものの、例えば2人の利用者のうちの1人がカメラ111から離れた位置に立っている場合、上述したガイダンスにより、その利用者をカメラ111に近づけさせることはできる。
一方、ステップS115において、顔のサイズが所定サイズより小さいと初めて判定されたと判定されなかった場合、すなわち、複数回行われるアップ撮影または上から全身撮影において、既に一度、カメラ111に近づくように促すガイダンスが出力されている場合には、再度、そのガイダンスは出力されることなく処理は終了する。
すなわち、撮影コースとして「アップのみ」コースが選択されている場合、そのゲーム内に行われる5回のアップ撮影において、一度、カメラ111に近づくように促すガイダンスが出力されていれば、それ以降のアップ撮影において、顔のサイズが所定サイズより小さいと判定された場合であっても、そのガイダンスは出力されない。
また、撮影コースとして「アップ+上から全身」コースが選択されている場合、そのゲーム内に行われる3回のアップ撮影において、一度、カメラ111に近づくように促すガイダンスが出力されていれば、それ以降のアップ撮影において、顔のサイズが所定サイズより小さいと判定された場合であっても、そのガイダンスは出力されない。同様に、そのゲーム内に行われる2回の上から全身撮影において、一度、カメラ111に近づくように促すガイダンスが出力されていれば、それ以降の上から全身撮影において、顔のサイズが所定サイズより小さいと判定された場合であっても、そのガイダンスは出力されない。
したがって、撮影コースとして「アップ+上から全身」コースが選択されている場合には、最大2回、このガイダンスが出力されることになる。なお、「アップ+上から全身」コースにおいて、3回のアップ撮影および2回の上から全身撮影を通して、一度、カメラ111に近づくように促すガイダンスが出力されていれば、それ以降の撮影において、そのガイダンスは出力されないようにしてもよい。これにより、ガイダンスが繰り返し出力されることによる利用者の不快感を抑えることができる。
さらに、撮影コースとして「アップ+正面全身」コースが選択されている場合、そのゲーム内に行われる3回のアップ撮影において、一度、カメラ111に近づくように促すガイダンスが出力されていれば、それ以降のアップ撮影において、顔のサイズが所定サイズより小さいと判定された場合であっても、そのガイダンスは出力されない。
このように、複数回行われるアップ撮影や上から全身撮影において、一度、カメラ111に近づくように促すガイダンスが出力されていれば、通常、利用者は、カメラ111に近づき適切な立ち位置へ移動するので、それ以降の撮影においては、ガイダンスが出力されなくとも、利用者は適切な立ち位置で撮影に臨むことができる。
さて、ステップS114において、顔のサイズが所定サイズより小さくないと判定されると、処理はステップS117に進む。
ステップS117において、距離判定部712は、認識部314による認識結果に基づいて、ライブビュー画像に映る利用者の顔同士が所定距離より離れているか否かを判定する。具体的には、距離判定部712は、ライブビュー画像において認識された顔の所定の点同士の距離に基づいて、顔同士が所定距離より離れているか否かを判定する。
例えば、図37に示されるように、ライブビュー画像721において2人の利用者の顔U1,U2が認識されたとする。まず、距離判定部712は、顔U1,U2それぞれについて、顔認識により検出された鼻の位置を顔の中心点P1,P2とする。次に、距離判定部712は、顔U1,U2それぞれ顔の中心点P1,P2同士の距離d3が規定値より長いか否かを判定することで、顔同士が所定距離より離れているか否かを判定する。
ここでは、アップ撮影が行われる場合と、上から全身撮影が行われる場合とで、上述の規定値は同じであるものとするが、異なる値であってもよい。
なお、図37の例では、検出された鼻の位置を顔の中心点とするものとしたが、例えば、検出された左右の目の中点を顔の中心点とするようにしてもよい。また、顔の中心点同士の距離が規定値より長いか否かを判定するようにしたが、それぞれの顔のサイズを数値化し、その平均値で顔の中心点同士の距離を割った値(顔の中心点同士の距離をそれぞれの顔の平均サイズで正規化した値)が規定値より長いか否かを判定するようにしてもよい。さらに、顔の中心点同士以外の任意の点同士の距離に基づいて、顔同士が所定距離より離れているかを判定するようにしてもよい。
さて、ステップS117において、顔同士が所定距離より離れていると判定されると、処理はステップS118に進む。
ステップS118において、距離判定部712は、複数回行われるアップ撮影または上から全身撮影において、顔同士の距離が所定距離より離れていると初めて判定されたか否かを判定する。
具体的には、撮影コースとして「アップのみ」コースが選択されている場合、1乃至5回目のアップ撮影において、顔同士の距離が所定距離より離れていると初めて判定されたか否かが判定される。また、撮影コースとして「アップ+上から全身」コースが選択されている場合、1乃至3回目のアップ撮影において、顔同士の距離が所定距離より離れていると初めて判定されたか否かが判定され、4,5回目の上から全身撮影において、顔同士の距離が所定距離より離れていると初めて判定されたか否かが判定される。さらに、撮影コースとして「アップ+正面全身」コースが選択されている場合、1乃至3回目のアップ撮影において、顔同士の距離が所定距離より離れていると初めて判定されたか否かが判定される。
ステップS118において、顔同士の距離が所定距離より離れていると初めて判定されたと判定された場合、処理はステップS119に進む。
ステップS119において、表示制御部311および音声出力制御部312は、利用者に、互いに近づくように促すガイダンスを出力する。
例えば、図38に示されるライブビュー表示画面において、画像表示領域431に表示されているライブビュー画像の下側に、利用者に互いに近づくように促すモデル画像M72と吹き出し画像B72とが重畳表示される。吹き出し画像B72には、利用者に互いに近づくように促すメッセージ「もっともっとくっついて〜」が表示されている。また、スピーカ223からは、モデル画像M72および吹き出し画像B72が表示されるのと同時に、吹き出し画像B72に表示されているメッセージの音声が出力される。
このようなガイダンスにより、利用者は、互いに近づくようにその立ち位置を変えて撮影に臨むことができる。
一方、ステップS117において、顔同士が所定距離より離れていると初めて判定されたと判定されなかった場合、すなわち、複数回行われるアップ撮影または上から全身撮影において、既に一度、互いに近づくように促すガイダンスが出力されている場合には、再度、そのガイダンスは出力されることなく処理は終了する。
すなわち、撮影コースとして「アップのみ」コースが選択されている場合、そのゲーム内に行われる5回のアップ撮影において、一度、互いに近づくように促すガイダンスが出力されていれば、それ以降のアップ撮影において、顔同士が所定距離より離れていると判定された場合であっても、そのガイダンスは出力されない。
また、撮影コースとして「アップ+上から全身」コースが選択されている場合、そのゲーム内に行われる3回のアップ撮影において、一度、互いに近づくように促すガイダンスが出力されていれば、それ以降のアップ撮影において、顔同士が所定距離より離れていると判定された場合であっても、そのガイダンスは出力されない。同様に、そのゲーム内に行われる2回の上から全身撮影において、一度、互いに近づくように促すガイダンスが出力されていれば、それ以降の上から全身撮影において、顔同士が所定距離より離れていると判定された場合であっても、そのガイダンスは出力されない。
したがって、撮影コースとして「アップ+上から全身」コースが選択されている場合には、最大2回、このガイダンスが出力されることになる。なお、「アップ+上から全身」コースにおいて、3回のアップ撮影および2回の上から全身撮影を通して、一度、互いに近づくように促すガイダンスが出力されていれば、それ以降の撮影において、そのガイダンスは出力されないようにしてもよい。これにより、ガイダンスが繰り返し出力されることによる利用者の不快感を抑えることができる。
さらに、撮影コースとして「アップ+正面全身」コースが選択されている場合、そのゲーム内に行われる3回のアップ撮影において、一度、互いに近づくように促すガイダンスが出力されていれば、それ以降のアップ撮影において、顔同士が所定距離より離れていると判定された場合であっても、そのガイダンスは出力されない。
このように、複数回行われるアップ撮影や上から全身撮影において、一度、互いに近づくように促すガイダンスが出力されていれば、通常、利用者は、互いに近づき適切な立ち位置へ移動するので、それ以降の撮影においては、ガイダンスが出力されなくとも、利用者は適切な立ち位置で撮影に臨むことができる。
なお、ステップS117の判定処理にあたり、顔認識により認識された顔の数が2より少ない場合、すなわち、認識された顔の数が1または0の場合、ステップS117乃至S119はスキップされ、処理は終了するものとする。
さて、ステップS117において、顔同士が所定距離より離れていないと判定されると、処理はステップS120に進む。
ステップS120においては、複数回行われるアップ撮影または上から全身撮影において、顔のサイズが所定サイズより小さくなく、かつ、顔同士の距離が所定距離より離れていないと、初めて判定されたか否かが判定される。
具体的には、撮影コースとして「アップのみ」コースが選択されている場合、1乃至5回目のアップ撮影において、顔のサイズが所定サイズより小さくなく、かつ、顔同士の距離が所定距離より離れていないと、初めて判定されたか否かが判定される。また、撮影コースとして「アップ+上から全身」コースが選択されている場合、1乃至3回目のアップ撮影において、顔のサイズが所定サイズより小さくなく、かつ、顔同士の距離が所定距離より離れていないと、初めて判定されたか否かが判定され、4,5回目の上から全身撮影において、顔のサイズが所定サイズより小さくなく、かつ、顔同士の距離が所定距離より離れていないと、初めて判定されたか否かが判定される。さらに、撮影コースとして「アップ+正面全身」コースが選択されている場合、1乃至3回目のアップ撮影において、顔のサイズが所定サイズより小さくなく、かつ、顔同士の距離が所定距離より離れていないと、初めて判定されたか否かが判定される。
ステップS120において、複数回行われるアップ撮影または上から全身撮影において、顔のサイズが所定サイズより小さくなく、かつ、顔同士の距離が所定距離より離れていないと、初めて判定されたと判定された場合、処理はステップS121に進む。
ステップS121において、表示制御部311および音声出力制御部312は、カメラ111との距離と利用者同士の距離とが適切である、すなわち、カメラ111との距離が近く、かつ、利用者同士の距離が近いことを示すOKガイダンスを出力する。
例えば、図39に示されるライブビュー表示画面において、画像表示領域431に表示されているライブビュー画像の下側に、カメラ111との距離と利用者同士の距離とが適切であることを示すモデル画像M73と吹き出し画像B73とが重畳表示される。吹き出し画像B73には、カメラ111との距離と利用者同士の距離とが適切であることを示すメッセージ「OK!!いい感じ」が表示されている。また、スピーカ223からは、モデル画像M73および吹き出し画像B73が表示されるのと同時に、吹き出し画像B73に表示されているメッセージの音声が出力される。
このようなガイダンスにより、利用者は、その立ち位置を変えることなく撮影に臨むことができる。
一方、ステップS120において、顔のサイズが所定サイズより小さくなく、かつ、顔同士の距離が所定距離より離れていないと、初めて判定されたと判定されなかった場合、すなわち、複数回行われるアップ撮影または上から全身撮影において、既に一度、OKガイダンスが出力されている場合には、再度、そのガイダンスは出力されることなく処理は終了する。
以上の処理によれば、利用者の顔が小さい場合には、カメラ111に近づくように促すガイダンスが出力されるので、利用者は、カメラ111により近づくことができる。また、利用者同士の顔が離れている場合には、互いに近づくように促すガイダンスが出力されるので、利用者は互いに近づくことができる。結果として、利用者の顔が大きくしっかりと写り、かつ、被写体のバランスのよい撮影画像を提供することが可能となる。
なお、撮影画像においては、利用者の顔が小さいだけでも、被写体領域と背景領域とのバランスが悪くなり、その完成度が低下するおそれがある。そこで、上述した処理によれば、利用者同士の顔が離れているか否かにかかわらず、まず利用者の顔が小さいか否かが判定される(すなわち、利用者の顔のサイズが優先して判定される)ので、確実に利用者をカメラ111により近づけさせることができ、撮影画像の完成度の低下を避けることができる。
また、撮影画像においては、利用者同士が離れていると、その一部が撮影範囲から見切れてしまい、その完成度が低下するおそれがある。そこで、上述した処理とは逆に、利用者の顔が小さいか否かにかかわらず、まず利用者同士の顔が離れているか否かが判定される(すなわち、利用者同士の距離が優先して判定される)ようにしてもよい。これにより、確実に利用者同士を近づけさせることができ、撮影画像の完成度の低下を避けることができる。
以上においては、2人用コースにおいて、アップ撮影または上から全身撮影が行われる際のライブビュー画像表示処理について説明した。
次に、図40のフローチャートを参照して、正面全身撮影が行われる際のライブビュー画像表示処理について説明する。ここでも、人数コースとして2人用コースが選択されていることを前提とする。
図40の処理もまた、1回の撮影が行われる毎に実行され、撮影毎に決められたポーズを利用者にとらせるためのナレーションが終了すると開始される。
ここで、図40のステップS131乃至S133における処理は、図34のステップS111乃至S113における処理に同様であるので、その説明は省略する。
また、図40のステップS134乃至S138における処理は、図34のステップS117乃至S121における処理と同様であるので、その説明も省略する。
なお、ステップS135においては、撮影コースとして「アップ+正面全身」コースが選択されている場合、4,5回目の正面全身撮影において、顔同士の距離が所定距離より離れていると初めて判定されたか否かが判定される。
正面全身撮影においては、利用者の立ち位置をカメラ111から離れた位置とすることが好ましい。そこで、正面全身撮影が行われる際のライブビュー画像表示処理においては、アップ撮影や上から全身撮影が行われる際のライブビュー画像表示処理(図34)のように、顔のサイズについての判定(カメラ111との距離の判定)は行われず、顔同士の距離についての判定のみが行われるようにする。
また、複数回行われる正面全身撮影においても、一度、互いに近づくように促すガイダンスが出力されていれば、通常、利用者は、互いに近づき適切な立ち位置へ移動するので、それ以降の撮影においては、ガイダンスが出力されなくとも、利用者は適切な立ち位置で撮影に臨むことができる。
なお、上から全身撮影においても、利用者の立ち位置をカメラ111から離れた位置とするような場合には、上から全身撮影が行われる際のライブビュー画像表示処理として、図40の処理が適用されるようにしてもよい。
以上においては、人数コースとして2人用コースが選択された場合のライブビュー画像表示処理について説明したが、以下においては、大人数用コースが選択された場合のライブビュー画像表示処理について説明する。
図41は、大人数用コースにおいて、アップ撮影または上から全身撮影が行われる際のライブビュー画像表示処理について説明するフローチャートである。
図41の処理もまた、1回の撮影が行われる毎に実行され、撮影毎に決められたポーズを利用者にとらせるためのナレーションが終了すると開始される。
なお、図41のステップS151乃至S153における処理は、図34のステップS111乃至S113における処理に同様であるので、その説明は省略する。
また、図41のステップS154乃至S158における処理は、図34のステップS114乃至S116,S120,S121における処理と同様であるので、その説明も省略する。
大人数用コースにおいては、利用者の人数を特定することが容易ではなく、2人用コースと比較すると、利用者の顔同士が重なってしまうおそれがある。そこで、大人数用コースでアップ撮影や上から全身撮影が行われる際のライブビュー画像表示処理においては、2人用コースでアップ撮影や上から全身撮影が行われる際のライブビュー画像表示処理(図34)のように、顔同士の距離についての判定は行われず、顔のサイズ(カメラ111との距離)についての判定のみが行われるようにする。
なお、大人数用コースで正面全身撮影が行われる際のライブビュー画像表示処理においては、顔同士の距離についての判定も、顔のサイズ(カメラ111との距離)についての判定も行われないものとする。
<撮り直しへの適用>
上述で説明した撮り直しにおいては、撮り直し対象選択画面において選択された撮影画像に対応する種類の撮影(アップ撮影・上から全身撮影・正面全身撮影)が行われる。
ここで、撮り直しが行われる際のライブビュー画像表示処理においても、上述した一連の処理が適用されるようにしてもよい。
例えば、撮影コースとして「アップのみ」コースが選択され、1乃至5回目のアップ撮影において一度もガイダンスが出力されていない状態で、撮り直しとしてアップ撮影が行われる際に、顔のサイズが所定サイズより小さいと判定されたり、顔同士の距離が所定距離より離れていると判定された場合には、対応するガイダンスが出力される。
また、撮影コースとして「アップのみ」コースが選択され、1乃至5回目のアップ撮影において一度、ガイダンスが出力されている状態では、撮り直しとしてアップ撮影が行われる際に、顔のサイズが所定サイズより小さいと判定されたり、顔同士の距離が所定距離より離れていると判定された場合であっても、対応するガイダンスは出力されない。
<変形例>
以下、本実施の形態における変形例について説明する。
(顔のサイズおよび顔同士の距離の判定について)
以上においては、顔のサイズの判定や、顔同士の距離の判定は、認識部314による認識結果に基づいて行われるものとしたが、例えば、クロマキ処理によって抽出した被写体領域をマスクするマスク画像を生成し、そのマスク画像に基づいて、顔のサイズや顔同士の距離が判定されるようにしてもよい。また、距離画像センサを用いて、カメラ111との距離を示す距離値を画素値とする距離画像を生成することで、顔のサイズや顔同士の距離が判定されるようにしてもよい。
(大人数用コースでの判定について)
大人数用コースでは、ライブビュー画像において検出された顔の所定数を上限として、顔のサイズについての判定が行われるようにしてもよい。なお、上限を超えた数の顔のサイズについての判定は行われないものとする。
例えば、ライブビュー画像において検出された顔の4つを上限として、顔のサイズについての判定が行われるようにする。
この場合、検出された4人の顔のサイズの平均を基準サイズとして、それぞれの顔のサイズが基準サイズと所定サイズより離れているか否かに応じて、カメラ111に近づくように促すガイダンスが出力されるようにしてもよいし、検出された4人の顔のサイズの最大サイズと最小サイズとが所定サイズより離れているか否かに応じて、カメラ111に近づくように促すガイダンスが出力されるようにしてもよい。
なお、大人数用コースでは、ライブビュー画像に映る顔の数が多くなるため、サイズが小さい(カメラ111と離れている)と判定された顔の部分にのみ、所定の枠が表示されるようにしてもよい。
また、上述した上限を設けずに、ライブビュー画像において検出された顔全てについて、顔のサイズについての判定が行われるようにしてもよい。これにより、得られる撮影画像に写る顔が1人だけ極端に小さくなる、といったようなことを避けることができる。
さらに、上述した例とは逆に、ライブビュー画像において検出された顔の所定数を下限として、顔のサイズについての判定が行われるようにしてもよい。
例えば、ライブビュー画像において検出された顔の3つを下限として、顔のサイズについての判定が行われるようにする。
この場合、ライブビュー画像において検出された顔が2つ以下の場合には、顔のサイズについての判定が行われないが、利用者の人数が少なければ、撮影範囲内での立ち位置の自由度が高くなるため、ガイダンスが出力されなくとも、利用者は、ライブビュー画像を確認しながら移動することができる。
なお、ライブビュー画像において検出された顔の数について、上述した上限と下限の両方を設けるようにしてもよい。
また、大人数用コースでは、主に、ライブビュー画像において3つ以上の顔が検出されるので、顔同士の距離の判定は、それぞれの顔の中心点同士の距離の平均値に基づいて行われるものとする。
例えば、図42に示されるように、ライブビュー画像731において3人の利用者の顔U11,U12,U13が認識されたとする。まず、顔U11,U12,U13それぞれについて、顔認識により検出された鼻の位置が顔の中心点P11,P12,P13とされる。次に、顔U11,U12の中心点P11,P12同士の距離d12、顔U12,U13の中心点P12,P13同士の距離d23、顔U13,U11の中心点P13,P11同士の距離d31の平均値が算出される。そして、その平均値が規定値より長いか否かを判定することで、顔同士が所定距離より離れているか否かが判定される。
(撮影前のカウントダウンについて)
通常撮影として行われる撮影において、OKガイダンスが出力された場合には、その撮影についての撮影前のカウントダウンを早めるようにしてもよい。
例えば、カメラ111に近づくように促すガイダンスや、互いに近づくように促すガイダンスが出力された場合、その後のカウントダウンは、立ち位置を移動させるために、「3」・「2」・「1」・「0」のように、「3」から開始されるものとする。
一方、OKガイダンスが出力された場合、その後のカウントダウンは、立ち位置を移動させる必要がないので、「1」・「0」のように、「1」から開始されるものとする。
これにより、撮影に要する時間を短縮することができ、ひいてはゲームの回転率を高めることができる。
(ガイダンスの出力条件について)
正面全身撮影が行われる際のライブビュー画像表示処理においては、顔のサイズについての判定は行われず、顔同士の距離についての判定のみが行われるものとしたが、アップ撮影や上から全身撮影が行われる際のライブビュー画像表示処理(図34)のように、顔のサイズについての判定が行われ、かつ、顔同士の距離についての判定が行われるようにしてもよい。
これにより、撮影空間A1が撮影範囲の奥行き方向に広い場合であっても、利用者の立ち位置が、カメラ111から離れ過ぎないようにすることができる。
また、以上においては、撮影コースとして「アップ+上から全身」コースが選択されている場合には、最大2回、ガイダンスが出力されるものとしたが、例えば、撮影コースによらず、全ての撮影の際にガイダンスが出力されるようにしてもよい。これにより、より確実に完成度の高い撮影画像を提供することが可能となる。
なお、ガイダンスが繰り返し出力されることによる利用者の不快感を抑えるために、ガイダンスが出力される回数に上限を設けるようにしてもよい。
(その他の判定について)
以上においては、顔のサイズについての判定と、顔同士の距離についての判定が行われるものとしたが、顔の笑顔度合いの判定や、撮影範囲における顔の位置の判定などが行われるようにしてもよい。
例えば、撮影範囲における顔の位置が行われる場合、まず、図43に示されるように、ライブビュー画像741における2人の利用者の顔U21,U22の中心点P21,P22が特定される。次に、顔U21,U22の中心点P21,P22が、ライブビュー画像741の中心点を基準とした矩形領域741A内に存在するか否かが判定される。顔の中心点のいずれか1つでも矩形領域741A内に存在しないと判定された場合には、利用者に撮影範囲の中心に近づくように促すガイダンスが出力される。
図43の例では、顔U21の中心点P21が矩形領域741A内に存在しておらず、ライブビュー画像741の下側に、利用者に撮影範囲の中心に近づくように促すモデル画像M81と吹き出し画像B81とが重畳表示されている。吹き出し画像B81には、利用者に撮影範囲の中心に近づくように促すメッセージ「もっと真ん中に寄って〜」が表示されている。また、スピーカ223からは、モデル画像M81および吹き出し画像B81が表示されるのと同時に、吹き出し画像B81に表示されているメッセージの音声が出力されるようにする。
これにより、撮影画像において利用者の顔が見切れてしまうのを防ぐことができる。
なお、図43の例において、顔の中心点が矩形領域741A内に存在しない場合には、撮影タイミングで得られる原画像から撮影画像を得るためのトリミング枠のサイズを大きくするようにしてもよい。
(ガイダンスの出力対象について)
以上においては、通常撮影として行われる撮影を対象にガイダンスが出力されるものとしたが、通常撮影以外の撮影を対象にガイダンスが出力されるようにしてもよい。
(1)撮り直し
上述で説明した撮り直しが行われる際にのみ、ガイダンスが出力されるライブビュー画像表示処理が実行されるようにしてもよい。通常、利用者は、より完成度の高い撮影画像を求めて撮り直しを行うことを選択する。そこで、その撮り直しが行われる際に、上述したライブビュー画像表示処理が実行されることで、確実に完成度の高い撮影画像を提供することができるようにする。なお、通常撮影が行われる際にはガイダンスが出力されないようにすることで、撮影作業にかかる時間を短縮することもできる。
(2)レタッチ撮影
レタッチ撮影が行われる際にのみ、ガイダンスが出力されるライブビュー画像表示処理が実行されるようにしてもよい。レタッチ撮影により得られるレタッチ用画像は、顔の認証に用いられる他、利用者に選択させる画像処理のサンプルとなる画像である。そこで、そのレタッチ撮影が行われる際に、上述したライブビュー画像表示処理が実行されることで、より完成度の高いサンプルを提示することができるようにする。
(3)特別撮影
撮影処理において、通常撮影が行われた後に、特別撮影を行うようにした写真シール機がある。
特別撮影には、例えば、利用者が所有する携帯端末に送信するためだけの携帯専用画像を得るための携帯専用撮影や、通常撮影により得られた撮影画像が合成されたコラージュ画像を得るためのコラージュ撮影などが含まれる。携帯専用撮影としては、SNS(Social Networking Service)にアップロードするための静止画像の撮影が行われたり、所定時間の動画像の撮影や、静止画像がパラパラ漫画のように連続して表示されるようにするための複数回の撮影が行われるようにしてもよい。特別撮影によれば、特別感のある画像が利用者に提供されるようになる。
ここで、このような特別撮影が行われる際にのみ、ガイダンスが出力されるライブビュー画像表示処理が実行されるようにしてもよい。これにより、特別感のある画像の完成度を高めることができる。
(4)その他
以上においては、ライブビュー画像に対してガイダンスが出力されるものとしたが、撮影後に撮影結果として表示される静止画像(プレビュー画像)に対してガイダンスが出力されるようにしてもよい。具体的には、撮影後に表示されるプレビュー画像に、「次はもう少し前に寄ってね〜」のメッセージが重畳表示されたり、音声出力されるようにする。これにより、利用者は、それ以降に行われる撮影の際に、カメラ111との距離や利用者同士の距離を意識的に修正することができる。
(編集処理時の実施例)
編集処理においては、利用者の選択操作に応じて、各種の画像処理が、編集対象となる撮影画像(編集対象画像)に施される。このとき、利用者の選択操作に応じたガイダンスが出力されるようにしてもよい。
例えば、編集画面において、編集対象画像に適用される加工の種類と、編集対象画像に施されるぼかし処理のぼかし具合が選択できるものとする。
加工は、その種類毎に、撮影画像全体のコントラスト、カラーバランス、トーンカーブ、彩度、透明度、テクスチャ、シャープネスなどの各パラメータを補正する複数の画像処理の組み合わせが決められており、選択された加工の種類に対応する画像処理が、撮影画像に施される。
ぼかし処理は、シャープネスを低くする処理であり、そのぼかし具合は、ぼかしの強度によって決定される。ぼかしの強度を高くすればシャープネスは低くなり、ぼかしの強度を低くすればシャープネスは高くなる。
ここで、利用者に、加工の種類を選択させる際、および、ぼかし処理のぼかし具合を選択させる際に、それらの選択を促すガイダンスが出力されるようにする。
例えば、加工の種類を選択させる際には、加工の種類の選択を促す「加工の種類を選択してね」などのメッセージが、編集対象画像に重畳表示されたり、音声出力されるようにする。
また、ぼかし処理のぼかし具合を選択させる際には、ぼかし処理のぼかし具合の選択を促す「ぼかし具合を選択してね」などのメッセージが、編集対象画像に重畳表示されたり、音声出力されるようにする。
このように、利用者の選択操作毎に、対応するガイダンスが出力されるようにする。
さらに、編集対象画像として選択された撮影画像が得られた撮影の種類毎に、ガイダンスが出力されるようにしてもよい。
例えば、撮影コースとして「アップ+上から全身」コースが選択され、3枚のアップ画像と2枚の上から全身画像が得られたとする。編集対象画像として初めてアップ画像が選択された場合には、上述したガイダンスが出力されるようにし、それ以降、編集対象画像としてアップ画像が選択された場合には、そのガイダンスは出力されないようにする。また、編集対象画像として初めて上から全身画像が選択された場合には、上述したガイダンスが出力されるようにし、それ以降、編集対象画像として上から全身画像が選択された場合には、そのガイダンスは出力されないようにする。
上述した実施の形態では、写真シール作成装置1は、得られた撮影画像や編集画像をシール紙に印刷するとともに、サーバに送信することで利用者の携帯端末に提供する構成を採るものとした。これに限らず、撮影画像や編集画像をシール紙に印刷せずに、サーバに送信することで利用者の携帯端末に提供するのみの構成を採ることも可能である。また逆に、撮影画像や編集画像をサーバに送信せずに、シール紙に印刷するのみの構成を採ることも可能である。
すなわち、本技術は、撮影画像や編集画像がシール紙に印刷された写真シールを作成する写真シール作成装置に限らず、単に、撮影画像や編集画像を作成するゲームを提供する写真作成ゲーム機に適用することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図10に示されるように、装置本体とは別に、写真シール作成装置1の管理者にプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROMおよびDVDを含む)、光磁気ディスク、もしくは半導体メモリなどよりなるリムーバブルメディア205により構成されるだけでなく、装置本体に予め組み込まれた状態で管理者に配信される、プログラムが記録されているROM206や、記憶部202に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上において、印刷媒体は、シール紙や写真紙に限られるものではなく、例えば、所定のサイズの紙やフィルム、ポスター用の紙、カード、あるいは、Tシャツなどの布地などに印刷するようにしてもよい。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。