JP5472767B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、画像処理装置および画像処理方法に関し、特に、より自然で立体的な顔の画像を提供することができるようにした画像処理装置および画像処理方法に関する。

従来、利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供する写真シール作成装置が知られている。このような写真シール作成装置は娯楽（遊戯）施設等に設置される。

例えば、特許文献１に開示される写真シール作成装置では、照明装置の点灯箇所を変更することにより、顔などに陰影をつけて利用者の撮影が行われる。

また、写真シール作成装置によって提供される１ゲームの流れは、通常、撮影ブース内にいる利用者を被写体として撮影し、利用者を編集ブースに移動させ、編集ブース内で行われる操作に従って画像を編集し、編集後の画像である編集画像をシール紙に印刷して排出したり、携帯端末へ送信したりするという流れになる。撮影画像の編集は、撮影画像に対してスタンプツールを使ってスタンプ画像を付加したり、ペンツールを使って手書き文字を入力したりして、撮影画像に装飾を施すことによって行われる。

ところで、近年、画像処理を施すことによって見栄えのよい撮影画像を生成する機能を搭載した写真シール作成装置がある。ここでいう画像処理は、編集ブースで行われる、撮影画像に何らかの画像を付加して装飾を施す編集処理とは異なり、撮影画像に写る人物（写真シール作成装置の利用者）自体を補正する処理である。

例えば、特許文献２には、小顔になるように顎のラインを変形する画像処理を行う写真シール作成装置が開示されており、特許文献３には、顔のラインを取得し、そのラインを基に顔領域を変形させて小顔にする画像処理を行う写真シール作成装置が開示されている。

特開２００７−２９５５９８号公報 特開２０１０−５０５０１号公報 特開２０１０−６１６４６号公報

ところで、特許文献１で開示されている写真シール作成装置では、撮影ごとに照明装置の点灯箇所を変更する必要があることより複雑な制御が必要となるだけでなく、被写体が適切な立ち位置に立たなかった場合には適切な影が付かなくなってしまうため、影を適切に付けることにより自然で立体的な顔の画像を提供することは困難であった。また、特許文献２および３で開示されている写真シール作成装置では、小顔にする画像処理は提供しているものの、顔に影を付ける画像処理は提供されていなかった。

本開示は、このような状況に鑑みてなされたものであり、顔に適切な影を付ける画像処理を行うことで、より自然で立体的な顔の画像を提供することができるようにするものである。

本開示の一側面の画像処理装置は、被写体を撮影して得られた撮影画像における前記被写体の顔の大きさに従った幅の領域であり、かつ、前記被写体の顔が写されている範囲の境界から内側に向かって設けられる領域である顔ふち領域を、前記撮影画像から抽出する顔ふち領域抽出手段と、前記顔ふち領域抽出手段により抽出された前記顔ふち領域に従って、前記被写体の顔に影を付加する画像処理を行う顔影付加手段と、前記撮影画像に対して顔認識処理を行うことにより、前記撮影画像における前記被写体の顔の大きさを特定する顔認識手段と、前記顔認識手段により認識された前記被写体の顔の大きさに従って、前記顔ふち領域の幅を決定する幅決定手段と、前記撮影画像から肌色の領域である肌領域を検出して肌領域画像を生成する肌領域検出手段とを備え、前記顔ふち領域抽出手段は、前記肌領域画像において、前記顔認識手段により認識された顔の位置に基づいて前記顔ふち領域を抽出し、前記幅決定手段は、前記撮影画像に写されている複数の被写体の顔が重なり合っていることによって前記肌領域画像における肌領域が連結しているとき、顔の部分的な要素に基づいて前記顔の大きさを特定して前記顔ふち領域の幅を決定するを備える。

本開示の一側面の画像処理方法は、被写体を撮影して得られた撮影画像における前記被写体の顔の大きさに従った幅の領域であり、かつ、前記被写体の顔が写されている範囲の境界から内側に向かって設けられる領域である顔ふち領域を、前記撮影画像から抽出し、抽出された前記顔ふち領域に従って、前記被写体の顔に影を付加する画像処理を行い、前記撮影画像に対して顔認識処理を行うことにより、前記撮影画像における前記被写体の顔の大きさを特定し、顔認識処理により認識された前記被写体の顔の大きさに従って、前記顔ふち領域の幅を決定し、前記撮影画像から肌色の領域である肌領域を検出して肌領域画像を生成するステップを含み、前記肌領域画像において、顔認識処理により認識された顔の位置に基づいて前記顔ふち領域が抽出され、前記撮影画像に写されている複数の被写体の顔が重なり合っていることによって前記肌領域画像における肌領域が連結しているとき、顔の部分的な要素に基づいて前記顔の大きさを特定して前記顔ふち領域の幅が決定される。

本開示の一側面においては、被写体を撮影して得られた撮影画像における被写体の顔の
大きさに従った幅の領域であり、かつ、被写体の顔が写されている範囲の境界から内側に
向かって設けられる領域である顔ふち領域が、撮影画像から抽出される。そして、抽出さ
れた顔ふち領域に従って、被写体の顔に影を付加する画像処理が行われる。さらに、撮影画像に対して顔認識処理を行うことにより、撮影画像における被写体の顔の大きさが特定され、顔認識処理により認識された被写体の顔の大きさに従って、顔ふち領域の幅が決定され、撮影画像から肌色の領域である肌領域を検出して肌領域画像が生成される。そして、肌領域画像において、顔認識処理により認識された顔の位置に基づいて顔ふち領域が抽出され、撮影画像に写されている複数の被写体の顔が重なり合っていることによって肌領域画像における肌領域が連結しているとき、顔の部分的な要素に基づいて顔の大きさを特定して顔ふち領域の幅が決定される。

本開示の一側面によれば、より自然で立体的な顔の画像を提供することができる。

本発明の一実施の形態に係る写真シール作成装置の外観の構成例を示す斜視図である。 写真シール作成装置の外観を他の角度からみた斜視図である。 利用者の移動について説明する図である。 撮影部の構成例を示す図である。 背景部の構成例を示す図である。 編集部の構成例を示す図である。 事後接客部の構成例を示す図である。 写真シール作成装置の内部の構成例を示すブロック図である。 制御部の詳細な構成例を示す機能ブロック図である。 写真シール作成ゲーム処理の流れの例を説明するフローチャートである。 顔影処理を行う画像処理装置の機能的な構成例を示すブロック図である。 顔影処理について詳細に説明する図である。 顔影処理について詳細に説明する図である。 顔影処理を説明するフローチャートである。 二人の被写体の顔が重なり合った状態で撮影された撮影画像に対する処理を説明する図である。 二人の被写体の顔が重なり合っている場合において顔の大きさの求め方を説明する図である。 被写体の顔の部分に応じて異なる影幅の影を付ける例について説明する図である。 被写体の顔の形状によって異なる影幅の影を付ける例について説明する図である。 白画素の領域を探索する始点を複数設ける例について説明する図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

［写真シール作成装置の外観構成］
図１は、画像生成装置としての写真シール作成装置１の外観の構成例を示す斜視図である。

写真シール作成装置１は、撮影や編集等の作業を利用者にゲームとして行わせ、撮影画像や編集済み画像を提供する代わりに利用者より代金を受け取るゲーム機である。写真シール作成装置１はゲームセンタなどの店舗に設置される。利用者は１人であることもあるし、複数人であることもある。

写真シール作成装置１が提供するゲームで遊ぶ利用者は、代金を投入し、自身が被写体となって撮影を行い、撮影によって得られた撮影画像の中から選択した編集対象の画像に対して、背景や前景の画像となる合成用画像や手書きの線画やスタンプ画像を合成する編集機能を用いて編集を行うことにより、撮影画像を彩り豊かな画像にする。利用者は、編集済みの画像が印刷されたシール紙を受け取って一連のゲームを終了させることになる。

図１に示すように、写真シール作成装置１は、主に、撮影ユニット１１、編集部１２、および事後接客部１３から構成される。撮影ユニット１１と編集部１２が接した状態で設置され、編集部１２と事後接客部１３が接した状態で設置される。

撮影ユニット１１は、撮影部２１と背景部２２から構成される。撮影部２１と背景部２２は所定の距離だけ離れて設置され、撮影部２１と背景部２２の間に形成される空間である撮影空間において撮影処理が行われる。

撮影部２１は撮影処理を利用者に行わせる装置である。撮影部２１は、撮影空間に入り、撮影処理を行っている利用者の正面に位置する。撮影空間を正面に臨む面を構成する撮影部２１の正面パネル４１には、撮影処理時に利用者により用いられるタッチパネルモニタなどが設けられる。撮影空間にいる利用者から見て左側の面を左側面、右側の面を右側面とすると、撮影部２１の左側面が側面パネル４２Ａにより構成され、右側面が側面パネル４２Ｂにより構成される。

背景部２２は、正面を向いて撮影処理を行っている利用者の背面側に位置する板状の部材である背面パネル５１、背面パネル５１の左端に取り付けられ、側面パネル４２Ａより横幅の狭い板状の部材である側面パネル５２Ａ、および、背面パネル５１の右端に取り付けられ、側面パネル４２Ｂより横幅の狭い板状の部材である側面パネル５２Ｂ（図示せず）から構成される。

撮影部２１の左側面を構成する側面パネル４２Ａと背景部２２の側面パネル５２Ａは、ほぼ同一平面に設けられ、それぞれの上部が板状の部材である連結部２３Ａによって連結される。また、撮影部２１の右側面を構成する側面パネル４２Ｂと背景部２２の側面パネル５２Ｂは、ほぼ同一平面に設けられ、それぞれの上部が板状の部材である連結部２３Ｂによって連結される。

撮影部２１の側面パネル４２Ａ、連結部２３Ａ、および背景部２２の側面パネル５２Ａに囲まれることによって形成される開口が撮影空間の出入り口Ｇ１となる。図示されないが、撮影部２１の側面パネル４２Ｂ、連結部２３Ｂ、および背景部２２の側面パネル５２Ｂに囲まれることによって形成される開口も撮影空間の出入り口Ｇ２となる。

背景部２２の上部には、背面パネル５１、側面パネル５２Ａ、および側面パネル５２Ｂに支持される形で背景カーテンユニット２５が設けられる。背景カーテンユニット２５には、色または柄の異なる、背景に利用される巻き取り式の背景カーテンが複数収納される。背景カーテンユニット２５は、撮影部２１に設けられたカメラ等による撮影と連動して動作し、撮影の際に、例えば利用者により選択された色のカーテンを下ろし、その他のカーテンを巻き取る。

なお、背景カーテンユニット２５に収納される背景カーテンとしては、複数枚のカーテンを１枚のクロマキ用のカーテンとして使用する昇降式カーテンを用意してもよい。また、クロマキ用のカーテンを予め撮影空間の背面となる背面パネル５１に張り付けるとともに、合成用の背景画像を複数種類用意し、撮影処理や編集処理において、利用者が所望する背景画像をカーテンの部分に合成することができるようにしてもよい。

撮影空間の上方には、撮影部２１の正面パネル４１、連結部２３Ａ、連結部２３Ｂ、および背景カーテンユニット２５に囲まれる開口が形成され、その開口の一部を覆うように天井ストロボユニット２４が設けられる。天井ストロボユニット２４の一端が連結部２３Ａに固定され、他端が連結部２３Ｂに固定される。天井ストロボユニット２４は、撮影に合わせて撮影空間内に向けて発光するストロボを内蔵する。天井ストロボユニット２４を構成するストロボの内部には蛍光灯が設けられており、撮影空間の照明としても機能する。

編集部１２は、撮影処理によって得られた画像を編集する処理である編集処理を利用者に行わせる装置である。編集部１２は、一方の側面が撮影部２１の正面パネル４１の背面に接するように撮影ユニット１１に連結して設けられる。編集部１２には、編集処理時に利用者により用いられるタブレット内蔵モニタなどの構成が設けられる。

図１に示す編集部１２の構成を正面側の構成とすると、２組の利用者が同時に編集処理を行うことができるように、編集部１２の正面側と背面側には編集処理に用いられる構成がそれぞれ設けられる。

編集部１２の正面側は、床面に対して垂直な面であり、側面パネル４２Ａとほぼ平行な面である面７１と、面７１の上方に形成された斜面７２から構成され、編集処理に用いられる構成が斜面７２に設けられる。斜面７２の左側には、柱状の形状を有し、照明装置７４の一端を支持する支持部７３Ａが設けられる。支持部７３Ａの上面にはカーテンレール２６を支持する支持部７５が設けられる。斜面７２の右側にも、照明装置７４の他端を支持する支持部７３Ｂ（図２）が設けられる。

編集部１２の上方にはカーテンレール２６が取り付けられる。カーテンレール２６は、上から見たときの形状がコの字状となるように３本のレール２６Ａ乃至２６Ｃを組み合わせて構成される。平行に設けられるレール２６Ａと２６Ｂの一端は、連結部２３Ａと連結部２３Ｂにそれぞれ固定され、他端に残りの一本のレール２６Ｃの両端が接合される。

カーテンレール２６には、編集部１２の正面前方の空間と背面前方の空間の内部が外から見えないようにカーテンが取り付けられる。カーテンレール２６に取り付けられたカーテンにより囲まれる編集部１２の正面前方の空間と背面前方の空間が、利用者が編集処理を行う編集空間となる。

図２は、写真シール作成装置１を別の角度から見た斜視図である。

事後接客部１３は事後接客処理を利用者に行わせる装置である。事後接客処理には、撮影画像や編集済みの画像を携帯電話機などの携帯端末に送信する処理、ミニゲームを利用者に行わせる処理、アンケートに答えさせる処理などが含まれる。

図２に示すように、事後接客部１３は、所定の厚さを有する板状の筐体をその一部として有しており、残りの部分は編集部１２の左側面と一体に設けられる。事後接客部１３の正面には、事後接客処理時に利用者により用いられるタブレット内蔵モニタや、撮影画像や編集済みの画像が印刷されたシール紙が排出される排出口などが設けられる。事後接客部１３の正面前方の空間が、シール紙への印刷が終わるのを待っている利用者が事後接客処理を行う事後接客空間となる。

ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について図３を参照して説明する。図３は、写真シール作成装置１を上から見た平面図である。

写真シール作成装置１の利用者は、白抜き矢印＃１で示すように出入り口Ｇ１から、または白抜き矢印＃２で示すように出入り口Ｇ２から、撮影部２１と背景部２２の間に形成された撮影空間Ａ１に入り、撮影部２１に設けられたカメラやタッチパネルモニタなど利用して撮影処理を行う。

撮影処理を終えた利用者は、白抜き矢印＃３で示すように出入り口Ｇ１を使って撮影空間Ａ１から出て編集空間Ａ２−１に移動するか、白抜き矢印＃４で示すように出入り口Ｇ２を使って撮影空間Ａ１から出て編集空間Ａ２−２に移動する。

編集空間Ａ２−１は、編集部１２の正面側の編集空間であり、編集空間Ａ２−２は、編集部１２の背面側の編集空間である。編集空間Ａ２−１と編集空間Ａ２−２のいずれの空間に移動するのかが、撮影部２１のタッチパネルモニタの画面表示などによって案内される。例えば２つの編集空間のうちの空いている方の空間が移動先として案内される。編集空間Ａ２−１または編集空間Ａ２−２に移動した利用者は編集処理を開始する。編集空間Ａ２−１の利用者と、編集空間Ａ２−２の利用者は同時に編集処理を行うことができる。

編集処理が終了した後、撮影画像や編集済みの画像の中から選択された画像の印刷が開始される。画像の印刷中、編集処理を終えた利用者は、編集空間Ａ２−１で編集処理を行っていた場合には白抜き矢印＃５で示すように編集空間Ａ２−１から事後接客空間Ａ３に移動して事後接客処理を行う。また、編集処理を終えた利用者は、編集空間Ａ２−２で編集処理を行っていた場合には白抜き矢印＃６で示すように編集空間Ａ２−２から事後接客空間Ａ３に移動し、事後接客空間Ａ３において事後接客処理を行う。

画像の印刷が終了したとき、利用者は、事後接客部１３に設けられた排出口からシール紙を受け取り、一連の写真シール作成ゲームを終えることになる。

次に、各装置の構成について説明する。

［撮影部の構成］
図４は、撮影部２１の正面の構成例を示す図である。撮影部２１は、正面パネル４１、側面パネル４２Ａ、および側面パネル４２Ｂが、箱状の形状を有するベース部４３に取り付けられることによって構成される。

正面パネル４１は撮影空間Ａ１で撮影処理を行う利用者の正面に位置し、側面パネル４２Ａと側面パネル４２Ｂは、それぞれ、撮影空間Ａ１で撮影処理を行う利用者の左側、右側に位置する。

正面パネル４１のほぼ中央には撮影・表示ユニット８１が設けられる。撮影・表示ユニット８１は、カメラ９１、正面ストロボ９２、およびタッチパネルモニタ９３から構成される。

カメラ９１は、CCD(Charge Coupled Device)などの撮像素子により構成され、撮影空間Ａ１にいる利用者を撮影する。カメラ９１により取り込まれた動画像は、タッチパネルモニタ９３にリアルタイムで表示される。利用者により撮影が指示されたときなどの所定のタイミングでカメラ９１により取り込まれた画像は撮影画像（静止画像）として保存される。

カメラ９１を囲むように発光面が設けられた正面ストロボ９２は、他のストロボと同様にカメラ９１による撮影に合わせて発光し、被写体としての利用者の顔付近を正面から照射する。

カメラ９１の下側に設けられたタッチパネルモニタ９３は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ９３は、カメラ９１により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUI(Graphical User Interface)画像を表示し、利用者の選択操作をタッチパネルにより受け付ける機能とを備えている。タッチパネルモニタ９３には、適宜、撮影結果としての静止画像や、背景等の画像が合成された後の動画像が表示される。

正面パネル４１には、撮影・表示ユニット８１の位置を基準として、上方に上ストロボ８２が設置される。また、左方に左ストロボ８３が設置され、右方に右ストロボ８４が設置される。

上ストロボ８２は、利用者を上前方から照射する。左ストロボ８３は、利用者を左前方から照射し、右ストロボ８４は、利用者を右前方から照射する。

ベース部４３には利用者の足元を照射する足元ストロボ８６も設けられる。上ストロボ８２、左ストロボ８３、右ストロボ８４、および足元ストロボ８６の内部には蛍光灯が設けられており、天井ストロボユニット２４を構成するストロボの内部の蛍光灯と合わせて、撮影空間Ａ１内の照明として用いられる。各蛍光灯の発光量が調整されることによって、または、発光させる蛍光灯の数が調整されることによって、撮影空間Ａ１内の明るさが、利用者が行っている撮影処理の内容に応じて適宜調整される。

足元ストロボ８６の右側には、利用者がお金を投入する硬貨投入返却口８７が設けられる。

ベース部４３の上面の左右に形成されるスペース４３Ａおよび４３Ｂは、撮影処理を行う利用者が手荷物等を置くための荷物置き場として用いられる。正面パネル４１の例えば天井付近には、撮影処理の案内音声、BGM(Back Ground Music)、効果音等の音を出力するスピーカも設けられる。

［背景部の構成］
図５は、背景部２２の撮影空間Ａ１側の構成例を示す図である。

上述したように、背面パネル５１の上方には背景カーテンユニット２５が設けられる。背景カーテンユニット２５のほぼ中央には、撮影空間Ａ１内で撮影処理を行っている利用者を後方中央から照射する背面中央ストロボ１０１が取り付けられる。

背面パネル５１の上方であって、出入り口Ｇ１側の位置には、撮影空間Ａ１内で撮影処理を行っている利用者を左後方から照射する背面左ストロボ１０２が取り付けられる。また、背面パネル５１の上方であって、出入り口Ｇ２側の位置には、撮影空間Ａ１内で撮影処理を行っている利用者を右後方から照射する背面右ストロボ１０３が取り付けられる。

［編集部の構成］
図６は、編集部１２の正面側（編集空間Ａ２−１側）の構成例を示す図である。

斜面７２のほぼ中央には、タブレット内蔵モニタ１３１が設けられる。タブレット内蔵モニタ１３１を挟んで左側にタッチペン１３２Ａが設けられ、右側にタッチペン１３２Ｂが設けられる。

タブレット内蔵モニタ１３１は、タッチペン１３２Ａまたは１３２Ｂを用いて操作入力が可能なタブレットがLCDなどのモニタに重畳して設けられることによって構成される。タブレット内蔵モニタ１３１には、例えば、編集対象画像として選択された撮影画像の編集に用いられる画面である編集画面が表示される。２人で同時に編集作業を行う場合、タッチペン１３２Ａは一方の利用者により用いられ、タッチペン１３２Ｂは他方の利用者により用いられる。

編集部１２の左側には事後接客部１３が設けられる。

［事後接客部の構成］
図７は、事後接客部１３の正面側の構成例を示す図である。

事後接客部１３の上方中央にはタブレット内蔵モニタ１６１が設けられる。タブレット内蔵モニタ１６１は、利用者の指などによって操作入力が可能なタブレットがLCDなどのモニタに重畳して設けられることによって構成される。タブレット内蔵モニタ１６１には、ミニゲームなどの事後接客処理に用いられる画面が表示される。

タブレット内蔵モニタ１６１の下にはスピーカ１６２が設けられ、スピーカ１６２の下にはシール紙排出口１６３が設けられる。

スピーカ１６２は、事後接客処理の案内音声、BGM、効果音等の音を出力する。

シール紙排出口１６３には、編集空間Ａ２−１の利用者が編集処理を行うことによって作成した画像が印刷されたシール紙、または、編集空間Ａ２−２の利用者が編集処理を行うことによって作成した画像が印刷されたシール紙が排出される。編集部１２の内部にはプリンタが設けられており、画像の印刷がそのプリンタにより行われる。

［写真シール作成装置の内部構成］
次に、写真シール作成装置１の内部構成について説明する。図８は、写真シール作成装置１の内部の構成例を示すブロック図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

制御部２０１はCPU(Central Processing Unit)などよりなり、ROM(Read Only Memory)２０６や記憶部２０２に記憶されているプログラムを実行し、写真シール作成装置１の全体の動作を制御する。制御部２０１には、記憶部２０２、通信部２０３、ドライブ２０４、ROM２０６、RAM(Random Access Memory)２０７が接続される。制御部２０１には、撮影部２０８、編集部２０９、および事後接客部２１０の各構成も接続される。

記憶部２０２は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体からなり、制御部２０１から供給された各種の設定情報を記憶する。記憶部２０２に記憶されている情報は制御部２０１により適宜読み出される。

通信部２０３は、インターネットなどのネットワークのインタフェースであり、制御部２０１による制御に従って外部の装置と通信を行う。

ドライブ２０４には、光ディスクや半導体メモリなどよりなるリムーバブルメディア２０５が適宜装着される。ドライブ２０４によりリムーバブルメディア２０５から読み出されたコンピュータプログラムやデータは、制御部２０１に供給され、記憶部２０２に記憶されたり、インストールされたりする。

ROM２０６には、制御部２０１において実行されるプログラムやデータが記憶されている。RAM２０７は、制御部２０１が処理するデータやプログラムを一時的に記憶する。

撮影部２０８は、撮影空間Ａ１における撮影処理を行う構成である硬貨処理部２２１、背景制御部２２２、照明装置２２３、カメラ９１、タッチパネルモニタ９３、およびスピーカ２２４から構成される。

硬貨処理部２２１は、硬貨投入返却口８７に対する硬貨の投入を検出する。硬貨処理部２２１は、例えば４００円などの所定の金額分の硬貨が投入されたことを検出した場合、そのことを表す起動信号を制御部２０１に出力する。

背景制御部２２２は、制御部２０１より供給される背景制御信号に従って背景カーテンユニット２５に収納されている背景カーテンの上げ下ろしを行う。背景カーテンの選択が利用者により手動で行われるようにしてもよい。

照明装置２２３は、撮影空間Ａ１内の各ストロボの内部に設けられる蛍光灯であり、制御部２０１より供給される照明制御信号に従って発光する。上述したように、撮影空間Ａ１には、天井ストロボユニット２４のストロボの他に、撮影部２１に設けられる上ストロボ８２、左ストロボ８３、右ストロボ８４、足元ストロボ８６と、背景部２２に設けられる背面中央ストロボ１０１、背面左ストロボ１０２，背面右ストロボ１０３が設けられている。

また、照明装置２２３は、制御部２０１による制御に従って発光量を調整することによって、利用者が行っている撮影作業の段階に応じて撮影空間Ａ１内の明るさを調整する。

カメラ９１は、制御部２０１による制御に従って撮影を行い、撮影によって得られた画像を制御部２０１に出力する。

編集部２０９Ａは、編集空間Ａ２−１における編集処理を行う構成として編集部１２の正面側に設けられるタブレット内蔵モニタ１３１、タッチペン１３２Ａ，１３２Ｂ、およびスピーカ２３１から構成される。編集部２０９Ｂも編集部２０９Ａと同一の構成を有しており、編集空間Ａ２−２における編集処理を行う。

タブレット内蔵モニタ１３１は、制御部２０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を検出する。利用者の操作の内容を表す信号は制御部２０１に供給され、編集対象の撮影画像の編集が行われる。

事後接客部２１０は、事後接客空間Ａ３における事後接客処理を行う構成であるタブレット内蔵モニタ１６１、スピーカ１６２、印刷処理を行う構成であるプリンタ２４１、およびシール紙ユニット２４２から構成される。

プリンタ２４１は、撮影画像、または編集処理によって得られた編集済みの画像を、プリンタ２４１に装着されたシール紙ユニット２４２に収納されているシール紙に印刷し、シール紙排出口１６３に排出する。

［制御部の構成］
次に、制御部２０１について説明する。図９は、制御部２０１がROM２０６などに格納されているプログラムを実行することにより実現される機能ブロックの構成例を示している。

制御部２０１は、写真シール作成ゲームを開始する際に投入される代金に関する処理や利用者グループを撮影する等の写真シール作成ゲームの撮影作業の工程に関する処理を行う撮影処理部３０１、撮影画像に対する落書き編集等の写真シール作成ゲームの編集作業の工程に関する処理を行う編集処理部３０２、シール紙の印刷等の写真シール作成ゲームの印刷の工程に関する処理を行う印刷処理部３０３、および、編集作業を終了した利用者グループを接客する写真シール作成ゲームの事後接客の工程に関する処理を行う事後接客処理部３０４を有する。

つまり、制御部２０１は、写真シール作成ゲームの各工程に関する処理の制御を行う。

［写真シール作成装置の動作］
次に、図１０のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置１の処理について説明する。

ステップＳ１において、写真シール作成装置１の撮影処理部３０１は、所定の金額分の硬貨が投入されたか否かを硬貨処理部２２１から供給される信号に基づいて判定し、投入されたと判定するまで待機する。

ステップＳ１において、硬貨が投入されたと判定された場合、ステップＳ２において、撮影処理部３０１は、撮影部２０８を制御し、カメラ９１に取り込まれた被写体の動画像をタッチパネルモニタ９３にライブビュー表示させ、撮影空間Ａ１にいる利用者を被写体として撮影する撮影処理を行う。撮影処理では、例えば、利用者の全身を撮影する全身撮影と、利用者の顔または上半身を撮影するアップ撮影とが行われる。

ステップＳ３において、撮影処理部３０１は、撮影空間Ａ１にいる利用者に対して、編集空間Ａ２−１または編集空間Ａ２−２への移動を案内する。編集空間Ａ２−１または編集空間Ａ２−２への移動の案内は、撮影部２０８のタッチパネルモニタ９３に画面を表示させることによって、または音声をスピーカ２２４から出力させることによって行われる。

ステップＳ４において、編集処理部３０２は、編集空間Ａ２−１と編集空間Ａ２−２のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部２０９を制御し、編集処理を行う。具体的には、編集処理部３０２は、編集対象画像として選択された撮影画像に合成する合成用画像を利用者に選択させ、選択された合成用画像を撮影画像に合成させ、得られた合成画像に対して、利用者による編集操作に従って編集を行う。

ステップＳ５において、編集処理部３０２は、編集空間Ａ２−１または編集空間Ａ２−２で編集処理を終えた利用者に対して事後接客空間Ａ３への移動を案内する。事後接客空間Ａ３への移動の案内は、タブレット内蔵モニタ１３１に画面を表示させることによって、または音声をスピーカ２３１から出力させることによって行われる。

ステップＳ６において、印刷処理部３０３は、利用者により選択された画像をプリンタ２４１に出力してシール紙に印刷させる印刷処理を行う（開始する）。

また、タブレット内蔵モニタ１６１に表示される、事後接客処理の開始ボタンが選択されると、ステップＳ７において、事後接客処理部３０４は、印刷終了待機中の利用者に対する事後接客処理を行う。具体的には、事後接客処理部３０４は、撮影画像や編集済みの画像を携帯端末に送信する携帯送信ゲーム処理を事後接客処理として行い、携帯端末の電子メールアドレスを直接入力することで画像を携帯端末に送信するか、非接触型ICと通信することで画像を携帯端末に送信するかを利用者に選択させる送信方法の選択画面や、送信する画像の選択画面をタブレット内蔵モニタ１６１に表示させ、利用者による操作に応じて画像を送信する。

印刷が終了すると、ステップＳ８において、事後接客処理部３０４は、印刷が終了した旨をタブレット内蔵モニタ１６１に表示させ、プリンタ２４１は、画像が印刷されたシール紙をシール紙排出口１６３に排出し、処理を終了させる。

ここで、写真シール作成装置１では、ステップＳ２で行われる撮影処理において、撮影画像に写されている顔の輪郭を変形して小顔にする小顔処理や、その小顔処理が施された顔に対して影を付ける顔影処理などの各種の画像処理が行われる。顔影処理では、撮影画像に写されている顔の大きさに応じた幅の影を顔に付けることで、より自然で立体的なきれいな小顔画像が提供される。

［画像処理装置の機能構成例］
図１１を参照して、顔影処理を行う画像処理装置の機能的な構成例について説明する。図１１の画像処理装置は、例えば、上述の写真シール作成装置１の撮影処理部３０１において実現される。

図１１に示すように、画像処理装置は、撮影画像取得部４０１、肌領域検出部４０２、顔認識部４０３、影幅決定部４０４、顔ふち領域抽出部４０５、および顔影付加部４０６を備えて構成される。

撮影画像取得部４０１は、カメラ９１により撮影された画像である撮影画像を取得し、肌領域検出部４０２、顔認識部４０３、および顔影付加部４０６に供給する。なお、この撮影画像には、例えば、撮影画像に写されている顔の輪郭を変形して小顔にする小顔処理が既に施されている。

肌領域検出部４０２は、撮影画像取得部４０１から供給される撮影画像から、撮影画像に写されている被写体の顔などの肌色の領域である肌領域を検出する処理を行う。例えば、肌領域検出部４０２は、撮影画像に対して、肌領域の画素を白画素とし、肌領域以外の領域の画素を黒画素とする２値化処理を施すことにより、肌領域と肌領域以外の領域とに分けた画像である肌マスク画像（肌領域画像）を生成する。つまり、肌マスク画像は、撮影画像における肌領域以外の領域をマスクするマスク画像である。そして、肌領域検出部４０２は、生成した肌マスク画像を顔ふち領域抽出部４０５に供給する。

顔認識部４０３は、撮影画像取得部４０１から供給される撮影画像に対する顔認識処理を行って、その撮影画像に写されている被写体の顔を認識する。例えば、顔認識部４０３は、撮影画像を解析することによって、撮影画像に写るオブジェクトの各位置における特徴を抽出し、抽出した特徴と、予め用意されている人物の顔の各位置における特徴とをマッチングすることによって顔認識を行う。そして、顔認識部４０３は、撮影画像に写るオブジェクトのうち、マッチング結果を表すスコアの高いものを人物の顔であるとして認識する。

このような顔認識を行うことにより、顔認識部４０３は、撮影画像に写されている被写体の顔を特定する複数の特徴点、例えば、顔の輪郭を特定する複数の特徴点を検出する。そして、顔認識部４０３は、それらの特徴点に基づいて顔の大きさを特定して、顔の大きさを示す情報を影幅決定部４０４に供給する。さらに、顔認識部４０３は、それらの特徴点に基づいて顔の中心を特定して、その中心点を示す情報を顔ふち領域抽出部４０５に供給する。

なお、顔認識部４０３による顔認識に基づいて顔の大きさを特定する他、例えば、肌領域検出部４０２により抽出された顔部分の肌領域の横幅を測定することにより顔の大きさを特定したり、顔部分の肌領域の面積を測定することにより顔の大きさを特定してもよい。または、肌領域検出部４０２により抽出された顔部分の肌領域に対する外接矩形の対角線の長さを顔の大きさとして特定してもよい。

影幅決定部４０４は、顔認識部４０３から供給される顔の大きさを示す情報に従って、撮影画像に写されている顔に付加する影の幅である影幅を決定する。例えば、影幅決定部４０４は、顔の大きさに対して、予め設定されている所定の割合（例えば、１０％）を乗算した値を影幅として決定する。

具体的には、影幅決定部４０４は、利用者の顔または上半身を撮影するアップ撮影により得られた撮影画像において、顔の大きさが500ピクセルである場合には、所定の割合の１０％を500ピクセルに乗算した５０ピクセルを影幅として決定する。また、影幅決定部４０４は、利用者の全身を撮影する全身撮影により得られた撮影画像において、顔の大きさが200ピクセルである場合には、所定の割合の１０％を200ピクセルに乗算した２０ピクセルを影幅として決定する。そして、影幅決定部４０４は、決定した影幅を、顔ふち領域抽出部４０５に供給する。

なお、影幅決定部４０４は、影幅を決定するのに用いる所定の割合を、設定ファイルなどによる内部の設定により選択的に決定したり、ユーザがタッチパネルモニタ９３を利用して指定するのに従って選択的に決定することができる。例えば、ユーザにより指定させる際に、８％や、１０％、１２％などの所定の割合で影幅を決定して顔影処理を施した画像をタッチパネルモニタ９３に表示させ、所望の画像をユーザに指定させるようにしてもよい。これにより、ユーザにより指定された画像に付けられた影幅で顔影処理が施された画像がシール紙に印刷される。

顔ふち領域抽出部４０５は、肌領域検出部４０２から供給される肌マスク画像において、顔認識部４０３から供給される顔の中心点を始点として白画素の領域を探索ことにより、顔の中心点から白画素が連続的に存在する閉領域である連結範囲を特定する。また、顔ふち領域抽出部４０５は、白画素の連結範囲から内側に向かって、影幅決定部４０４により決定された影幅からなる領域である顔ふち領域を抽出する。そして、顔ふち領域抽出部４０５は、顔ふち領域を白画素として、顔ふち領域以外の領域を黒画素とした顔ふちマスク画像を生成して顔影付加部４０６に供給する。

顔影付加部４０６は、撮影画像取得部４０１から供給される撮影画像に対して、顔ふち領域抽出部４０５により生成された顔ふちマスク画像を使用して顔影を付加する画像処理を施し、被写体の顔に影が付けられた撮像画像を生成する。即ち、顔影付加部４０６は、影幅決定部４０４により決定された影幅となるように顔ふち領域抽出部４０５により抽出された顔ふち領域に従って、被写体の顔に影を付加する画像処理を行う。これにより、被写体の顔の大きさに応じた幅の影が被写体の顔に付けられた撮影画像が生成される。その後、顔影付加部４０６は、被写体の顔に影が付けられた撮像画像を、図９の編集処理部３０２に供給し、その撮影画像に対して編集処理が行われる。

図１２および図１３を参照して、図１１の画像処理装置による顔影処理について詳細に説明する。

図１２に示すように、撮影画像取得部４０１が、二人の利用者を被写体として撮影された撮影画像４１１を取得して肌領域検出部４０２に供給すると、肌領域検出部４０２は、その撮影画像４１１から肌領域を検出して肌マスク画像４１２を生成する。肌マスク画像４１２では、撮影画像４１１における肌色の領域である肌領域が白画素とされるため、被写体の顔の部分の他、腕および手のように被写体の肌が露出している部分、さらに被写体が肌色に近い衣服を着用しているときには衣服の肌色の部分などが白画素とされる。

顔認識部４０３は、撮影画像取得部４０１から供給される撮影画像４１１に写されている被写体の顔を認識し、被写体の顔ごとに中心点を算出する。図１２に示すように、撮影画像４１１に二人の被写体が写されている場合には、顔認識部４０３は、撮影画像４１３に示すように、それぞれの被写体の顔の中心点Ｃ１およびＣ２を算出する。

また、顔認識部４０３は、撮影画像４１１に写されている被写体の顔を認識することにより、顔が写されている領域である顔領域を特定する。例えば、肌マスク画像４１４において矩形の破線で示されている領域が顔領域として特定される。

顔ふち領域抽出部４０５は、肌領域検出部４０２により生成された肌マスク画像４１２から顔ふち領域を抽出する処理を行う際に、顔認識部４０３により特定された顔領域よりも若干広い領域を肌マスク画像４１２から切り出し、被写体の顔ごとに個別に処理を行う。

例えば、図１３の上側には、肌マスク画像４１２から、顔認識部４０３により特定された顔領域よりも若干広い領域が切り出された肌マスク画像が示されている。顔ふち領域抽出部４０５は、それぞれ切り出された肌マスク画像において、顔認識部４０３により算出された中心点Ｃ１およびＣ２を始点として白画素の領域を、例えば、時計回りに渦巻き状に探索することによって白画素の連結範囲を特定する。

そして、顔ふち領域抽出部４０５は、影幅決定部４０４により決定された影幅に従って顔ふち領域を抽出する処理を行う。これにより、図１３の下側に示すように、白画素の連結範囲の境界から内側に向かって設けられ、被写体の顔の大きさに従った幅の顔ふち領域に白画素が配置されることになる。また、顔ふち領域は、肌マスク画像の白画素の連結範囲の境界から内側に向かうに従い濃淡が滑らかに濃くなるグラデーションとなり、肌マスク画像の白画素の連結範囲の境界から影幅の位置では黒画素となるように生成される。例えば、顔ふち領域抽出部４０５は、影幅決定部４０４により決定された影幅に従って、白画素の連結範囲を膨張および縮小する処理や、白画素の連結範囲の境界をぼかす処理などを行うことにより、顔ふち領域を抽出する。なお、顔ふち領域抽出部４０５が顔ふち領域を抽出する処理において、顔ふち領域の幅や、白画素の連結範囲の境界から内側に向かったぼかし具合などを、顔の大きさに応じて指定することができる。

その後、顔ふち領域抽出部４０５は、被写体の顔ごとに処理を行って得られた顔ふち領域を、元の撮像画像の対応する位置に戻すことによって、図１２に示すような顔ふちマスク画像４１５を生成する。つまり、顔ふちマスク画像４１５は、撮影画像４１１に対して顔ふち領域以外の領域をマスクするマスク画像である。

顔影付加部４０６は、顔ふち領域抽出部４０５により生成された顔ふちマスク画像４１５を使用して、顔ふち領域以外の領域をマスクし、顔ふち領域の色の彩度または濃さを調整することで、撮影画像４１１に対して顔影を付加する画像処理を施す。これにより、顔影付加部４０６は、顔ふち領域において被写体の顔に影が付けられた撮像画像４１６を生成することができ、撮像画像４１６のような顔影を付けることにより、より自然で立体的な顔とすることができる。

このように顔影処理では、二人の被写体が写されている撮影画像４１１に対して顔認識処理を行うことで、それぞれの被写体の顔の大きさに応じた影幅の影を被写体の顔に付けた撮像画像４１６を得ることができる。なお、三人以上の被写体が写されている撮影画像、または、一人だけの被写体が写されている撮影画像に対しても同様に、それぞれの被写体の顔の大きさに応じた影幅の影を付けることができる。

また、顔影処理では、顔ふちマスク画像４１５に示すように、被写体の顔と連続している首の部分も白画素とされた場合には、撮像画像４１６では、被写体の首の部分にも影が付けられることになる。これに対し、例えば、顔認識部４０３が顔認識処理を行うことによって特定した顔の輪郭に基づき、顔影付加部４０６は、顔の輪郭の内側だけに影を付けるように画像処理を施すことができる。これにより、顔の輪郭の外側には影が付けられることがなく、顔だけに影が付くことで、顔をより小さく見せる小顔効果を得ることができる。

次に、図１４は、顔影処理を説明するフローチャートである。顔影処理は、図１０のステップＳ２における撮影処理において撮影画像に対して施される複数の画像処理のうちの１つとして実行される。

ステップＳ１１において、撮影画像取得部４０１は、例えば、顔影処理の前に行われる小顔処理が施された撮影画像４１１を取得し、肌領域検出部４０２、顔認識部４０３、および顔影付加部４０６に供給する。

ステップＳ１２において、肌領域検出部４０２は、撮影画像取得部４０１から供給される撮影画像４１１から肌領域を検出して、肌マスク画像４１２を生成する。

ステップＳ１３において、顔認識部４０３は、撮影画像取得部４０１から供給される撮影画像４１１に対して顔認識処理を行い、被写体の顔の中心点Ｃ１およびＣ２を特定するとともに、被写体の顔の大きさを特定する。

ステップＳ１４において、影幅決定部４０４は、ステップＳ１３で顔認識部４０３が特定した顔の大きさに従って、撮影画像４１１に写されている顔に付加する影の影幅を決定する。

ステップＳ１５において、顔ふち領域抽出部４０５は、ステップＳ１２で肌領域検出部４０２が生成した肌マスク画像４１２において、ステップＳ１３で顔認識部４０３が特定した被写体の顔の中心点Ｃ１およびＣ２を始点として白画素の連結範囲を特定する。さらに、顔ふち領域抽出部４０５は、白画素の連結範囲から内側に向かって、ステップＳ１４で影幅決定部４０４により決定された影幅からなる領域である顔ふち領域を抽出して、顔ふちマスク画像４１５を生成する。

ステップＳ１６において、顔影付加部４０６は、ステップＳ１５で顔ふち領域抽出部４０５が生成した顔ふちマスク画像４１５を使用して、撮影画像４１１に対して顔影を付加する画像処理を施し、被写体の顔に影が付けられた撮像画像４１６を生成する。ステップＳ１６の処理後、顔影処理は終了する。

以上のように、写真シール作成装置１では、被写体の顔の大きさに応じた影幅の影が顔に付くように画像処理を施すことができ、これにより、より自然で立体的な綺麗な顔の撮像画像を提供することができる。

なお、例えば、一定の影幅の影を顔に付けるような画像処理では、撮影画像における被写体の顔が大きい場合には、影を付けることによる効果が相対的に小さくなり、撮影画像における被写体の顔が小さい場合には、顔全体が暗くなってしまうことが想定される。これに対し、写真シール作成装置１では、被写体の顔の大きさに応じた影幅を決定することで、影を付けることによる効果を適切に得ることができ、顔全体が暗くなることを回避することができる。

また、肌マスク画像から直接的に影を付けるためのマスク画像を生成した場合には、腕や足などにも影が付いてしまうことが想定される。これに対し、写真シール作成装置１では、図１３を参照して説明したように、肌マスク画像から顔が写されている領域を白画素の連結範囲により特定して、その白画素の連結範囲から顔ふちマスク画像を生成するため、顔だけに影を付けることができ、影による小顔効果を効果的に得ることができる。

ところで、顔影処理では、上述したように、顔ふち領域抽出部４０５は、肌マスク画像における顔の中心から白画素を探索することにより白画素の連結範囲を特定するが、複数の被写体の顔が重なり合っている場合には、白画素の連結範囲が連結してしまうことがある。

即ち、図１５に示すように、撮影画像取得部４０１が、二人の被写体の顔が重なり合った状態で撮影された撮影画像４２１を取得すると、肌領域検出部４０２は、撮影画像４２１から肌マスク画像４２２を生成する。肌マスク画像４２２では、一方の顔に応じた白画素の連結範囲と、他方の顔に応じた白画素の連結範囲とが連結した状態となっている。

従って、顔ふち領域抽出部４０５が、肌マスク画像４２２において破線の矩形で囲われている顔領域よりも若干広い領域を切り出した肌マスク画像４２２’において、一方の顔の中心点から白画素の領域を探索した結果、他方の顔に応じた白画素の領域も連結範囲として判断される。従って、例えば、顔ふち領域抽出部４０５は、それぞれの顔ごとに異なるフラグを白画素に設定しながら白画素の領域を探索することで、二人の被写体の顔が重なっていることを判定することができる。即ち、顔ふち領域抽出部４０５は、例えば、一方の顔の中心点から白画素にフラグ１を設定して肌領域を探索した後、他方の顔の中心点から白画素にフラグ２を設定して肌領域の探索を開始しようとしたときに、他方の顔の中心点に既にフラグ１が設定されていると、二人の被写体の顔が重なっていると判定する。

このように、顔ふち領域抽出部４０５は、二人の被写体の顔が重なっていると判定した場合には例外処理として、両者の顔の平均値を適応して顔ふちマスク画像４２３を生成する。

また、例えば、複数の被写体が写されている撮像画像において、それらの顔が重なり合っている場合、影幅決定部４０４は、以下の第１乃至第３の方法で説明するように顔の部分的な要素に基づいて特定される顔の大きさに従って影幅を決定することができる。

第１の方法として、影幅決定部４０４は、顔の重なり合っていない部分により顔認識を行って求められるそれぞれの顔の大きさから顔の大きさの平均値を求めて、その平均値に対して所定の割合を乗算した値を影幅として決定する。例えば、二人の被写体の顔の大きさが、それぞれ500ピクセルと200ピクセルであった場合、影幅決定部４０４は、それらの平均値である350ピクセルに対して所定の割合（例えば、１０％）を乗算した値を、二人に共通した影幅として決定する。

第２の方法として、影幅決定部４０４は、顔認識部４０３による顔認識処理において設定されている固定の顔の大きさを、被写体の顔の大きさとして影幅を決定する。例えば、顔認識部４０３には、顔が重なっていることにより輪郭を検出することができない場合であっても、輪郭以外の顔の部分的な要素（例えば、目や、鼻、口など）の位置関係に応じた固定の顔の大きさが設定されている。従って、影幅決定部４０４は、顔認識の結果に応じた固定の顔の大きさに対して所定の割合を乗算した値を影幅として決定する。

第３の方法として、影幅決定部４０４は、顔認識により求められた顔の中心点から一方の肌領域の境界（顔の部分的な要素）までの間隔を検出し、その間隔の２倍の長さを顔領域として顔の大きさを特定して、影幅を決定する。なお、第１および第２の方法では、肌領域の横幅を測定することによって顔の大きさを求めることができないため、このように第３の方法として、顔の中心点から一方の肌領域の境界までの横幅を所定倍（例えば、２倍）することで顔の大きさを求めるように設定される。

即ち、図１６に示すように、二人の被写体の顔が重なり合っている場合、その重なり合っている部分で肌領域が連結することになる。この場合、影幅決定部４０４は、左側の顔の中心点Ｃ１から肌領域の左側境界までの間隔ａを検出して、間隔ａの２倍の長さを顔領域（破線の矩形領域）として顔の大きさを求める。同様に、影幅決定部４０４は、右側の顔の中心点Ｃ２から肌領域の右側境界までの間隔ｂを検出して、間隔ｂの２倍の長さを顔領域（破線の矩形領域）として顔の大きさを求める。そして、影幅決定部４０４は、それぞれの顔の大きさに対して所定の割合を乗算した値を影幅として決定する。

このように、二人の被写体の顔が重なり合っている場合、影幅決定部４０４は、第１乃至第３のいずれかの方法で影幅を決定し、その影幅に従った影が顔影付加部４０６によって被写体の顔に付けられる。

さらに、影幅決定部４０４は、被写体の顔の全体に対して一定の影幅を決定する他、顔の部分に応じて異なるように影幅を決定することができる。

図１７を参照して、被写体の顔の部分に応じて異なる影幅の影を付ける例について説明する。

図１７Ａに示すように、影幅決定部４０４は、顔の横部分における影幅を太くし、顔の顎部分における影幅を細くするように影幅を決定してもよい。例えば、影幅決定部４０４は、顔の横部分における顔影に関しては、顔の大きさに乗算する所定の割合を１０％とし、顔の顎部分における顔影に関しては、顔の大きさに乗算する所定の割合を５％として、顎のラインに沿って１０％から５％に割合を変更するように影幅を決定する。これにより、顔影付加部４０６は、被写体の顔の部分に応じて異なる幅の影を付けることができ、顔の横幅が小さく見えるような小顔効果を得ることができる。

また、図１７Ｂに示すように、影幅決定部４０４は、顔の向きに応じて、顔の一方の横部分における影幅を太くし、それ以外の影幅を細くするように影幅を決定してもよい。例えば、影幅決定部４０４は、左側を向いている顔に対して、顔の右側の横部分における顔影に関しては、顔の大きさに乗算する所定の割合を１０％とし、それ以外の顔影に関しては、顔の大きさに乗算する所定の割合を５％として、影幅を決定する。これにより、顔影付加部４０６は、顔の向きに応じて異なる幅の影を付けることができ、より自然に顔の横幅が小さく見えるような小顔効果を得ることができる。

また、影幅決定部４０４は、被写体の顔の形状によって異なるように影幅を決定することができる。

図１８を参照して、被写体の顔の形状によって異なる影幅の影を付ける例について説明する。

図１８Ａに示すように、被写体の顔が丸顔である場合、影幅決定部４０４は、影幅を決定するための所定の割合を、顔の両側において大きくするとともに顎に向かって小さくするように影幅を決定する。これにより、顔影付加部４０６は、顔がダイヤ形状となるような影を付けることができ、きれいな理想的な顔の形状に見える効果を得ることができる。

また、図１８Ｂに示すように、被写体の顔が面長である場合、影幅決定部４０４は、影幅を決定するための所定の割合を小さくして通常よりも影幅が細くなるように影幅を決定する。これにより、顔影付加部４０６は、顔がダイヤ形状となるような影を付けることができ、きれいな理想的な顔の形状に見える効果を得ることができる。

また、図１８Ｃに示すように、被写体の顔が四角顔（エラが貼っている顔）である場合、影幅決定部４０４は、エラの部分を隠すように、エラ部分における影幅を決定するための所定の割合を大きくするように影幅を決定する。これにより、顔影付加部４０６は、顔がダイヤ形状となるような影を付けることができ、きれいな理想的な顔の形状に見える効果を得ることができる。

このように、影幅決定部４０４が、それぞれの顔の形状に応じて異なる影幅を決定することで、顔影付加部４０６は、きれいな理想的な顔の形状に見えるような影を付けることができる。さらに、例えば、影幅決定部４０４は、三角顔と判定された場合や、顎部分が黒っぽい色であると判定された場合などには、影を付けないように処理を行うようにしてもよい。

なお、顔認識部４０３により認識された顔の大きさに応じた影幅の影を付ける処理を行う他、例えば、顔認識部４０３により認識された顔の大きさに応じて、顔の輪郭をぼかす処理におけるぼかし量を変更するようにしてもよい。これにより、より適切に顔の輪郭を滑らかにすることができる。

ところで、顔ふち領域抽出部４０５は、肌マスク画像から顔ふち領域を抽出する際に、上述したように、顔の中心点を始点として白画素を探索して白画素の連結範囲を特定する処理を行う。このとき、例えば、顔の中心点が黒画素であった場合には、白画素の連結範囲を特定することができなくなる。そこで、顔ふち領域抽出部４０５は、顔の中心点の近傍の複数点を、白画素を探索する始点として、白画素の連結範囲を特定することができる。

例えば、図１９に示すように、顔ふち領域抽出部４０５は、通常、中心点Ｃ０を始点として顔ふち領域を抽出する処理を行うが、中心点Ｃ０が黒画素である場合には、点Ｃ１、点Ｃ２、点Ｃ３、および点Ｃ４の順に優先順位を設けて、白画素を探索する始点として白画素の連結範囲を特定する処理を行う。

上述したように、顔認識部４０３は、顔の輪郭を特定する複数の特徴点を抽出しており、顔ふち領域抽出部４０５は、例えば、中心点Ｃ０を規定する輪郭の特徴点Ｌ０およびＲ０の下側にある特徴点Ｌ１およびＲ１の中間点を点Ｃ１とする。同様に、顔ふち領域抽出部４０５は、特徴点Ｌ０およびＲ０の上側にある特徴点Ｌ２およびＲ２の中間点を点Ｃ２とする。また、顔ふち領域抽出部４０５は、特徴点Ｌ１およびＲ１の下側にある特徴点Ｌ３およびＲ３の中間点を点Ｃ３とし、特徴点Ｌ２およびＲ２の上側にある特徴点Ｌ４およびＲ４の中間点を点Ｃ４とする。

このように、複数の点を、白画素を探索する始点として用いることで、顔ふち領域抽出部４０５は、より確実に白画素の連結範囲を特定することができる。

なお、上述した処理は、撮影により得られた静止画像としての撮影画像に対して行われるものとしたが、カメラ９１に取り込まれ、タッチパネルモニタ９３に動画像としてライブビュー表示されるライブビュー画像に対して行われるようにしてもよい。

また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。この記録媒体は、例えば、図８に示されるように、装置本体とは別に、写真シール作成装置１の管理者にプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROMおよびDVDを含む）、光磁気ディスク（MDを含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２０５により構成されるだけでなく、装置本体に予め組み込まれた状態で管理者に配信される、プログラムが記録されているROM２０６や、記憶部２０２に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上において、印刷媒体は、シール紙や写真紙に限られるものではなく、例えば、所定のサイズの紙やフィルム、ポスター用の紙、テレホンカードなどのカード、あるいは、Ｔシャツなどの布地などに印刷するようにしてもよい。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１ 写真シール作成装置
１１ 撮影ユニット
１２ 編集部
１３ 事後接客部
２０１ 制御部
２０８ 撮影部
２０９ 編集部
２１０ 事後接客部
３０１ 撮影処理部
３０２ 編集処理部
３０３ 印刷処理部
３０４ 事後接客処理部
４０１ 撮影画像取得部
４０２ 肌領域検出部
４０３ 顔認識部
４０４ 影幅決定部
４０５ 顔ふち領域抽出部
４０６ 顔影付加部

Claims (6)

1. 被写体を撮影して得られた撮影画像における前記被写体の顔の大きさに従った幅の領域であり、かつ、前記被写体の顔が写されている範囲の境界から内側に向かって設けられる領域である顔ふち領域を、前記撮影画像から抽出する顔ふち領域抽出手段と、
   前記顔ふち領域抽出手段により抽出された前記顔ふち領域に従って、前記被写体の顔に影を付加する画像処理を行う顔影付加手段と、
   前記撮影画像に対して顔認識処理を行うことにより、前記撮影画像における前記被写体の顔の大きさを特定する顔認識手段と、
   前記顔認識手段により認識された前記被写体の顔の大きさに従って、前記顔ふち領域の幅を決定する幅決定手段と、
   前記撮影画像から肌色の領域である肌領域を検出して肌領域画像を生成する肌領域検出手段と
   を備え、
   前記顔ふち領域抽出手段は、前記肌領域画像において、前記顔認識手段により認識された顔の位置に基づいて前記顔ふち領域を抽出し、
   前記幅決定手段は、前記撮影画像に写されている複数の被写体の顔が重なり合っていることによって前記肌領域画像における肌領域が連結しているとき、顔の部分的な要素に基づいて前記顔の大きさを特定して前記顔ふち領域の幅を決定する
   画像処理装置。
2. 前記顔認識手段は、前記撮影画像に対して顔認識処理を行うことにより、前記撮影画像における前記被写体の顔の中心となる位置を特定し、
   前記顔ふち領域抽出手段は、前記肌領域画像において、前記顔認識手段により認識された顔の中心となる位置を始点として前記肌領域が連続的に存在する閉領域を探索することにより、前記被写体の顔が写されている範囲の境界を特定する
   請求項１に記載の画像処理装置。
3. 前記顔影付加手段は、前記被写体の顔の部分に応じて異なる幅の影を付加する
   請求項１または２に記載の画像処理装置。
4. 前記顔影付加手段は、前記被写体の顔の向きに応じて異なる幅の影を付加する
   請求項１または２に記載の画像処理装置。
5. 前記顔影付加手段は、前記被写体の顔の形状に応じて異なる幅の影を付加する
   請求項１または２に記載の画像処理装置。
6. 被写体を撮影して得られた撮影画像における前記被写体の顔の大きさに従った幅の領域であり、かつ、前記被写体の顔が写されている範囲の境界から内側に向かって設けられる領域である顔ふち領域を、前記撮影画像から抽出し、
   抽出された前記顔ふち領域に従って、前記被写体の顔に影を付加する画像処理を行い、
   前記撮影画像に対して顔認識処理を行うことにより、前記撮影画像における前記被写体の顔の大きさを特定し、
   顔認識処理により認識された前記被写体の顔の大きさに従って、前記顔ふち領域の幅を決定し、
   前記撮影画像から肌色の領域である肌領域を検出して肌領域画像を生成する
   ステップを含み、
   前記肌領域画像において、顔認識処理により認識された顔の位置に基づいて前記顔ふち領域が抽出され、
   前記撮影画像に写されている複数の被写体の顔が重なり合っていることによって前記肌領域画像における肌領域が連結しているとき、顔の部分的な要素に基づいて前記顔の大きさを特定して前記顔ふち領域の幅が決定される
   画像処理方法。

Images