JP5737790B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、見栄えの良い画像を提供することができるようにする画像処理装置および方法、並びにプログラムに関する。

利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供する写真シール機が知られている。このような写真シール機は娯楽（遊戯）施設等に設置される。

写真シール機によって提供される１ゲームの流れは、通常、撮影空間内にいる利用者を被写体として撮影し、利用者を編集空間に移動させ、編集空間内で行われる操作に従って画像を編集し、編集後の画像である編集済み画像をシール紙に印刷して排出するという流れになる。

近年は、編集作業後、編集済み画像がシール紙に印刷されるまでの待ち時間に行われる事後接客において、シール紙に印刷される撮影画像や編集済み画像をサーバに送信・保存し、利用者が所有する携帯端末からそのサーバにアクセスし、保存された画像を取得することで、利用者は、携帯端末上で、撮影画像や編集済み画像を利用することができるようになっている。

このような一連のゲームの流れの中で、利用者に提供される画像における被写体の見栄えを良くするために、撮影画像において被写体（利用者）の顔が小顔になるように輪郭を変形させる画像処理を施すようにした写真シール機が提案されている（例えば、特許文献１参照）。

ところで、写真シール機の主な利用者である女子中高生の多くは、化粧をして学校へ行くことは基本的にない。そこで近年、このような女子中高生に、学校帰りに写真シール機をより満足して利用させるために、編集作業において、撮影画像にアイラインを模した線画や頬紅（チーク）を模した画像を合成して、被写体（利用者）が化粧をしたような画像を提供する写真シール機が提案されている。

また、写真シール機以外の分野では、撮影画像において、例えば、ファンデーションやチークといった化粧品を顔の輪郭の内側に塗布するために、顔輪郭形状、顔輪郭位置、顔部品輪郭、顔部品位置等に基づいて塗布位置を特定し、化粧品に応じた色を塗布するようにした携帯端末が提案されている（例えば、特許文献２参照）。

特開２０１２−１４２７７２号公報 特開２０１１−１４７０００号公報

しかしながら、上述した特許文献１，２に記載の技術においては、撮影画像における被写体の状態、例えば、被写体の顔の形状や向きに対応した形状の頬紅の画像は用意されていなかったため、被写体の顔の形状や向きによっては、不自然な形状の頬紅の画像が合成されてしまい、必ずしも見栄えの良い画像が得られるとは限らなかった。

本発明は、このような状況に鑑みてなされたものであり、より見栄えの良い画像を提供することができるようにするものである。

本発明の一側面の画像処理装置は、被写体を撮影して得られた複数の撮影画像を取得する撮影画像取得手段と、前記撮影画像における前記被写体の顔の頬の部分に合成される複数の頬紅画像を記憶する頬紅画像記憶手段と、利用者により１回のみ選択された、複数の前記撮影画像における前記被写体の写りを表す写り情報を取得する写り情報取得手段と、前記頬紅画像記憶手段に記憶されている前記複数の頬紅画像のうち、写り情報取得手段により取得された前記写り情報で表される写りに対応した前記頬紅画像を、複数の前記撮影画像全てに合成する合成手段とを備える。

前記画像処理装置には、前記撮影画像における前記被写体の顔を検出する顔検出手段をさらに設け、前記合成手段には、前記顔検出手段により検出された前記被写体の顔の形状に対応した前記頬紅画像を、前記撮影画像に合成させることができる。

前記合成手段には、写り情報取得手段により取得された前記写り情報で表される写りに対応した前記頬紅画像を、前記撮影画像の、前記写り情報で表される写りに応じた位置に合成させることができる。

前記写り情報取得手段には、前記被写体が複数の場合、前記被写体毎の前記写り情報を取得させ、前記合成手段には、前記写り情報で表される前記被写体毎の写りに対応した前記頬紅画像を、前記撮影画像における前記被写体それぞれに合成させることができる。

前記画像処理装置には、前記撮影画像における前記被写体の顔を検出する顔検出手段をさらに設け、前記合成手段には、前記顔検出手段により検出された前記被写体の顔の向きに対応した前記頬紅画像を、前記撮影画像に合成させることができる。

前記合成手段には、前記顔検出手段により検出された前記被写体の顔の向きに応じたサイズの前記頬紅画像を、前記撮影画像に合成させることができる。

前記画像処理装置には、前記撮影画像における前記被写体の目を検出する目検出手段をさらに設け、前記合成手段には、前記目検出手段により検出された前記被写体の目の幅に応じたサイズの前記頬紅画像を、前記撮影画像に合成させることができる。

前記合成手段には、前記顔検出手段により検出された前記被写体の顔の左右の幅に応じたサイズの前記頬紅画像を、前記撮影画像に合成させることができる。

前記画像処理装置には、前記撮影画像における前記被写体の目を検出する目検出手段と、前記目検出手段により検出された前記被写体の目の位置に基づいて、前記撮影画像において前記頬紅画像が合成される合成位置を決定する合成位置決定手段とをさらに設け、前記合成手段には、前記頬紅画像を、前記撮影画像における前記合成位置に合成させることができる。

前記合成位置決定手段には、決定された前記合成位置を、前記目検出手段により検出された前記被写体の目の幅に応じて変更させることができる。

前記画像処理装置には、前記撮影画像における前記被写体の年齢を推定する年齢推定手段をさらに設け、前記合成位置決定手段には、決定された前記合成位置を、前記年齢推定手段により推定された前記被写体の年齢に応じて変更させることができる。

前記合成手段には、前記撮影画像に合成される前記頬紅画像が、前記被写体の顔の領域からはみ出す場合、前記頬紅画像において前記被写体の顔の領域からはみ出す領域を削除させることができる。

本発明の一側面の画像処理方法は、前記画像処理装置が、被写体を撮影して得られた複数の撮影画像を取得し、利用者により１回のみ選択された、複数の前記撮影画像における前記被写体の写りを表す写り情報を取得し、前記撮影画像における前記被写体の顔の頬の部分に合成される複数の頬紅画像を記憶する頬紅画像記憶手段に記憶されている前記複数の頬紅画像のうち、取得された前記写り情報で表される写りに対応した前記頬紅画像を、複数の前記撮影画像全てに合成するステップを含む。

本発明の一側面のプログラムは、コンピュータに、被写体を撮影して得られた複数の撮影画像を取得し、利用者により１回のみ選択された、複数の前記撮影画像における前記被写体の写りを表す写り情報を取得し、前記撮影画像における前記被写体の顔の頬の部分に合成される複数の頬紅画像を記憶する頬紅画像記憶手段に記憶されている前記複数の頬紅画像のうち、取得された前記写り情報で表される写りに対応した前記頬紅画像を、複数の前記撮影画像全てに合成するステップを含む処理を実行させる。

本発明の一側面においては、被写体を撮影して得られた複数の撮影画像が取得され、撮影画像における被写体の顔の頬の部分に合成される複数の頬紅画像が記憶され、利用者により１回のみ選択された、複数の撮影画像における被写体の写りを表す写り情報が取得され、記憶されている複数の頬紅画像のうち、取得された写り情報で表される写りに対応した頬紅画像が、複数の撮影画像全てに合成される。

本発明によれば、より見栄えの良い画像を提供することが可能となる。

本発明の一実施の形態に係る写真シール作成装置の外観の構成例を示す斜視図である。 写真シール作成装置の外観を他の角度からみた斜視図である。 利用者の移動について説明する図である。 撮影部の構成例を示す図である。 背景部の構成例を示す図である。 編集部の構成例を示す図である。 事後接客部の構成例を示す図である。 写真シール作成装置の内部の構成例を示すブロック図である。 制御部の詳細な構成例を示す機能ブロック図である。 写真シール作成ゲーム処理の流れの例を説明するフローチャートである。 画像処理装置の機能構成例を示すブロック図である。 顔の形状に対応するチーク画像について説明する図である。 チーク画像合成処理について説明するフローチャートである。 チーク画像の合成位置の決定について説明する図である。 画像処理装置の他の機能構成例を示すブロック図である。 チーク画像合成処理について説明するフローチャートである。 画像処理装置のさらに他の機能構成例を示すブロック図である。 チーク画像合成処理について説明するフローチャートである。 チーク画像の合成位置の決定について説明する図である。 チーク画像のサイズについて説明する図である。 チーク画像合成処理について説明するフローチャートである。 チーク画像のサイズについて説明する図である。 奥行きチーク画像について説明する図である。 画像処理装置のさらに他の機能構成例を示すブロック図である。 チーク画像合成処理について説明するフローチャートである。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

［写真シール作成装置の外観構成］
図１は、写真シール作成装置１の外観の構成例を示す斜視図である。

写真シール作成装置１は、撮影や編集等の作業を利用者にゲームとして行わせ、撮影画像や編集済み画像を提供する代わりに利用者より代金を受け取るゲーム機である。写真シール作成装置１はゲームセンタなどの店舗に設置される。利用者は１人であることもあるが、主に２人または３人等の複数人である。

写真シール作成装置１が提供するゲームで遊ぶ利用者は、代金を投入し、自身が被写体となって撮影を行い、撮影によって得られた撮影画像の中から選択した編集対象の画像に対して、背景や前景の画像となる合成用画像や手書きの線画やスタンプ画像を合成する編集機能を用いて編集を行うことにより、撮影画像を彩り豊かな画像にする。利用者は、編集済みの画像が印刷されたシール紙を受け取って一連のゲームを終了させることになる。

図１に示すように、写真シール作成装置１は、主に、撮影ユニット１１、編集部１２、および事後接客部１３から構成される。撮影ユニット１１と編集部１２が接した状態で設置され、編集部１２と事後接客部１３が接した状態で設置される。

撮影ユニット１１は、撮影部２１と背景部２２から構成される。撮影部２１と背景部２２は所定の距離だけ離れて設置され、撮影部２１と背景部２２の間に形成される空間である撮影空間において撮影処理が行われる。

撮影部２１は撮影処理を利用者に行わせる装置である。撮影部２１は、撮影空間に入り、撮影処理を行っている利用者の正面に位置する。撮影空間を正面に臨む面を構成する撮影部２１の正面パネル４１には、撮影処理時に利用者により用いられるタッチパネルモニタなどが設けられる。撮影空間にいる利用者から見て左側の面を左側面、右側の面を右側面とすると、撮影部２１の左側面が側面パネル４２Ａにより構成され、右側面が側面パネル４２Ｂ（図示せず）により構成される。

側面パネル４２Ａには、複数個のLED（Light Emitting Diode）が埋め込まれて構成されるLED発光部４２Ｌが設けられている。側面パネル４２Ａの表面には、その全体を覆うように、写真シール作成装置１の製造メーカやその製造メーカと提携している企業の商品やサービス等の広告が印刷された、アクリル板等からなるPOP広告が装着される。そのPOP広告においてLED発光部４２Ｌに対応する部分には、広告として特にアピールされる情報が印刷され、LED発光部４２Ｌの発光によりその情報が強調される（目立つ）ようになる。LED発光部４２Ｌは、図示せぬ側面パネル４２Ｂにも設けられるようにしてもよいし、側面パネル４２Ａ，側面パネル４２Ｂのいずれか一方のみに設けられるようにしてもよい。

背景部２２は、正面を向いて撮影処理を行っている利用者の背面側に位置する板状の部材である背面パネル５１、背面パネル５１の左端に取り付けられ、側面パネル４２Ａより横幅の狭い板状の部材である側面パネル５２Ａ、および、背面パネル５１の右端に取り付けられ、側面パネル４２Ｂより横幅の狭い板状の部材である側面パネル５２Ｂ（図示せず）から構成される。

撮影部２１の左側面を構成する側面パネル４２Ａと背景部２２の側面パネル５２Ａは、ほぼ同一平面に設けられ、それぞれの上部が板状の部材である連結部２３Ａによって、それぞれの下部が、例えば金属製の略コの字型の部材である連結部２３Ａ’によって連結される。また、図示されないが、撮影部２１の右側面を構成する側面パネル４２Ｂと背景部２２の側面パネル５２Ｂは、ほぼ同一平面に設けられ、それぞれの上部が板状の部材である連結部２３Ｂによって、それぞれの下部が、例えば金属製の略コの字型の部材である連結部２３Ｂ’によって連結される。

撮影部２１の側面パネル４２Ａ、連結部２３Ａ、および背景部２２の側面パネル５２Ａに囲まれることによって形成される開口が撮影空間の出入り口Ｇ１となる。図示されないが、撮影部２１の側面パネル４２Ｂ、連結部２３Ｂ、および背景部２２の側面パネル５２Ｂに囲まれることによって形成される開口も撮影空間の出入り口Ｇ２となる。

背景部２２の上部には、背面パネル５１、側面パネル５２Ａ、および側面パネル５２Ｂに支持される形で背景カーテンユニット２５が設けられる。背景カーテンユニット２５には、色または柄の異なる、背景に利用される巻き取り式の背景カーテンが複数収納される。背景カーテンユニット２５は、撮影部２１に設けられたカメラ等による撮影と連動して動作し、撮影の際に、例えば利用者により選択された色のカーテンを下ろし、その他のカーテンを巻き取る。

なお、背景カーテンユニット２５に収納される背景カーテンとしては、複数枚のカーテンを１枚のクロマキ用のカーテンとして使用する昇降式カーテンを用意してもよい。また、クロマキ用のカーテンを予め撮影空間の背面となる背面パネル５１に張り付けるとともに、合成用の背景画像を複数種類用意し、撮影処理や編集処理において、利用者が所望する背景画像をカーテンの部分に合成することができるようにしてもよい。

撮影空間の上方には、撮影部２１の正面パネル４１、連結部２３Ａ、連結部２３Ｂ、および背景カーテンユニット２５に囲まれる開口が形成され、その開口の一部を覆うように天井ストロボユニット２４が設けられる。天井ストロボユニット２４の一端が連結部２３Ａに固定され、他端が連結部２３Ｂに固定される。天井ストロボユニット２４は、撮影に合わせて撮影空間内に向けて発光するストロボを内蔵する。天井ストロボユニット２４を構成するストロボの内部には蛍光灯が設けられており、撮影空間の照明としても機能する。

編集部１２は、撮影処理によって得られた画像を編集する処理である編集処理を利用者に行わせる装置である。編集部１２は、一方の側面が撮影部２１の正面パネル４１の背面に接するように撮影ユニット１１に連結して設けられる。編集部１２には、編集処理時に利用者により用いられるタブレット内蔵モニタなどの構成が設けられる。

図１に示す編集部１２の構成を正面側の構成とすると、２組の利用者が同時に編集処理を行うことができるように、編集部１２の正面側と背面側には編集処理に用いられる構成がそれぞれ設けられる。

編集部１２の正面側は、床面に対して垂直な面であり、側面パネル４２Ａとほぼ平行な面である面７１と、面７１の上方に形成された斜面７２から構成され、編集処理に用いられる構成が斜面７２に設けられる。斜面７２の左側には、柱状の形状を有し、照明装置７４の一端を支持する支持部７３Ａが設けられる。支持部７３Ａの上面にはカーテンレール２６を支持する支持部７５が設けられる。斜面７２の右側にも、照明装置７４の他端を支持する支持部７３Ｂ（図２）が設けられる。

編集部１２の上方にはカーテンレール２６が取り付けられる。カーテンレール２６は、上から見たときの形状がコの字状となるように３本のレール２６Ａ乃至２６Ｃを組み合わせて構成される。平行に設けられるレール２６Ａと２６Ｂの一端は、連結部２３Ａと連結部２３Ｂにそれぞれ固定され、他端に残りの一本のレール２６Ｃの両端が接合される。

カーテンレール２６には、編集部１２の正面前方の空間と背面前方の空間の内部が外から見えないようにカーテンが取り付けられる。カーテンレール２６に取り付けられたカーテンにより囲まれる編集部１２の正面前方の空間と背面前方の空間が、利用者が編集処理を行う編集空間となる。

図２は、写真シール作成装置１を別の角度から見た斜視図である。

事後接客部１３は事後接客処理を利用者に行わせる装置である。事後接客処理には、撮影画像や編集済みの画像を携帯電話機などの携帯端末に送信する処理、ミニゲームを利用者に行わせる処理、アンケートに答えさせる処理などが含まれる。

図２に示すように、事後接客部１３は、所定の厚さを有する板状の筐体を有しており、編集部１２の左側面に接合されて設けられる。事後接客部１３の正面には、事後接客処理時に利用者により用いられるタブレット内蔵モニタや、撮影画像や編集済みの画像が印刷されたシール紙が排出される排出口などが設けられる。事後接客部１３の正面前方の空間が、シール紙への印刷が終わるのを待っている利用者が事後接客処理を行う事後接客空間となる。

ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について図３を参照して説明する。図３は、写真シール作成装置１を上から見た平面図である。

写真シール作成装置１の利用者は、白抜き矢印＃１で示すように出入り口Ｇ１から、または白抜き矢印＃２で示すように出入り口Ｇ２から、撮影部２１と背景部２２の間に形成された撮影空間Ａ１に入り、撮影部２１に設けられたカメラやタッチパネルモニタなど利用して撮影処理を行う。

撮影処理を終えた利用者は、白抜き矢印＃３で示すように出入り口Ｇ１を使って撮影空間Ａ１から出て編集空間Ａ２−１に移動するか、白抜き矢印＃４で示すように出入り口Ｇ２を使って撮影空間Ａ１から出て編集空間Ａ２−２に移動する。

編集空間Ａ２−１は、編集部１２の正面側の編集空間であり、編集空間Ａ２−２は、編集部１２の背面側の編集空間である。編集空間Ａ２−１と編集空間Ａ２−２のいずれの空間に移動するのかが、撮影部２１のタッチパネルモニタの画面表示などによって案内される。例えば２つの編集空間のうちの空いている方の空間が移動先として案内される。編集空間Ａ２−１または編集空間Ａ２−２に移動した利用者は編集処理を開始する。編集空間Ａ２−１の利用者と、編集空間Ａ２−２の利用者は同時に編集処理を行うことができる。

編集処理が終了した後、撮影画像や編集済みの画像の中から選択された画像の印刷が開始される。画像の印刷中、編集処理を終えた利用者は、編集空間Ａ２−１で編集処理を行っていた場合には白抜き矢印＃５で示すように編集空間Ａ２−１から事後接客空間Ａ３に移動して事後接客処理を行う。また、編集処理を終えた利用者は、編集空間Ａ２−２で編集処理を行っていた場合には白抜き矢印＃６で示すように編集空間Ａ２−２から事後接客空間Ａ３に移動し、事後接客空間Ａ３において事後接客処理を行う。

画像の印刷が終了したとき、利用者は、事後接客部１３に設けられた排出口からシール紙を受け取り、一連の写真シール作成ゲームを終えることになる。

次に、各装置の構成について説明する。

［撮影部の構成］
図４は、撮影部２１の正面の構成例を示す図である。撮影部２１は、正面パネル４１、側面パネル４２Ａ、および側面パネル４２Ｂが、箱状の形状を有するベース部４３に取り付けられることによって構成される。

正面パネル４１は撮影空間Ａ１で撮影処理を行う利用者の正面に位置し、側面パネル４２Ａと側面パネル４２Ｂは、それぞれ、撮影空間Ａ１で撮影処理を行う利用者の左側、右側に位置する。

正面パネル４１の中央から上側には撮影・表示ユニット８１が設けられる。撮影・表示ユニット８１は、カメラ９１、タッチパネルモニタ９２、および正面ストロボ９３から構成される。

カメラ９１は、レンズやCCD(Charge Coupled Device)などの撮像素子により構成され、撮影空間Ａ１にいる利用者を撮影する。カメラ９１により取り込まれた動画像は、タッチパネルモニタ９２にリアルタイムで表示される。利用者により撮影が指示されたときなどの所定のタイミングでカメラ９１により取り込まれた画像は撮影画像（静止画像）として保存される。

また、カメラ９１は、従来の写真シール作成装置と比較してより高い位置に設置されている。具体的には、写真シール作成装置１の設置面からカメラ９１のレンズ中心までの高さは１６３０ｍｍ、レンズの光軸と水平面とのなす角度（前傾角度）は２４°とされる。このような構造により、利用者は前方斜め上から撮影されるようになる。結果として、撮影画像において、利用者はやや上を見上げた状態となり、利用者の目が大きく、かつ顔が小顔に写るようになる。

カメラ９１の下側に設けられたタッチパネルモニタ９２は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ９２は、カメラ９１により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUI(Graphical User Interface)画像を表示し、利用者の選択操作をタッチパネルにより受け付ける機能とを備えている。タッチパネルモニタ９２には、適宜、撮影結果としての静止画像や、背景等の画像が合成された後の動画像が表示される。

カメラ９１の上側および左右を囲むように発光面（複数枚の乳白アクリル板）が設けられた正面ストロボ９３は、他のストロボと同様にカメラ９１による撮影に合わせて発光し、被写体としての利用者の顔付近を正面から照射する。

正面パネル４１には、撮影・表示ユニット８１の上方に上ストロボ８２が設置される。上ストロボ８２は、利用者を上前方から照射する。

ベース部４３には利用者の足元を照射する足元ストロボ８３も設けられる。上ストロボ８２および足元ストロボ８３の内部には蛍光灯が設けられており、天井ストロボユニット２４を構成するストロボの内部の蛍光灯と合わせて、撮影空間Ａ１内の照明として用いられる。各蛍光灯の発光量が調整されることによって、または、発光させる蛍光灯の数が調整されることによって、撮影空間Ａ１内の明るさが、利用者が行っている撮影処理の内容に応じて適宜調整される。

足元ストロボ８３の右側には、利用者がお金を投入する硬貨投入返却口８４が設けられる。

ベース部４３の上面の左右に形成されるスペース４３Ａおよび４３Ｂは、撮影処理を行う利用者が手荷物等を置くための荷物置き場として用いられる。正面パネル４１の例えば天井付近には、撮影処理の案内音声、BGM(Back Ground Music)、効果音等の音を出力するスピーカも設けられる。

［背景部の構成］
図５は、背景部２２の撮影空間Ａ１側の構成例を示す図である。

上述したように、背面パネル５１の上方には背景カーテンユニット２５が設けられる。背景カーテンユニット２５のほぼ中央には、撮影空間Ａ１内で撮影処理を行っている利用者を後方中央から照射する背面中央ストロボ１０１が取り付けられる。

背面パネル５１の、出入り口Ｇ１側の位置には、撮影空間Ａ１内で撮影処理を行っている利用者を左後方から照射する背面左ストロボ１０２が取り付けられる。また、背面パネル５１の、出入り口Ｇ２側の位置には、撮影空間Ａ１内で撮影処理を行っている利用者を右後方から照射する背面右ストロボ１０３が取り付けられる。

［編集部の構成］
図６は、編集部１２の正面側（編集空間Ａ２−１側）の構成例を示す図である。

斜面７２のほぼ中央には、タブレット内蔵モニタ１３１が設けられる。タブレット内蔵モニタ１３１を挟んで左側にタッチペン１３２Ａが設けられ、右側にタッチペン１３２Ｂが設けられる。

タブレット内蔵モニタ１３１は、タッチペン１３２Ａまたは１３２Ｂを用いて操作入力が可能なタブレットがLCDなどのモニタに重畳して設けられることによって構成される。タブレット内蔵モニタ１３１には、例えば、編集対象画像として選択された撮影画像の編集に用いられる画面である編集画面が表示される。２人で同時に編集作業を行う場合、タッチペン１３２Ａは一方の利用者により用いられ、タッチペン１３２Ｂは他方の利用者により用いられる。

編集部１２の左側には事後接客部１３が設けられる。

［事後接客部の構成］
図７は、事後接客部１３の正面側の構成例を示す図である。

事後接客部１３の上方中央にはタブレット内蔵モニタ１６１が設けられる。タブレット内蔵モニタ１６１を挟んで左側にタッチペン１６２Ａが設けられ、右側にタッチペン１６２Ｂが設けられる。タブレット内蔵モニタ１６１もタブレット内蔵モニタ１３１と同様に、タッチペン１６２Ａまたは１６２Ｂを用いて操作入力が可能なタブレットがLCDなどのモニタに重畳して設けられることによって構成される。タブレット内蔵モニタ１６１には、ミニゲームなどの事後接客処理に用いられる画面が表示される。

タブレット内蔵モニタ１６１の下にはシール紙排出口１６３が設けられ、タブレット内蔵モニタ１６１の上にはスピーカ１６４が設けられる。

シール紙排出口１６３には、編集空間Ａ２−１の利用者が編集処理を行うことによって作成した画像が印刷されたシール紙、または、編集空間Ａ２−２の利用者が編集処理を行うことによって作成した画像が印刷されたシール紙が排出される。編集部１２の内部にはプリンタが設けられており、画像の印刷がそのプリンタにより行われる。

スピーカ１６４は、事後接客処理の案内音声、BGM、効果音等の音を出力する。

［写真シール作成装置の内部構成］
次に、写真シール作成装置１の内部構成について説明する。図８は、写真シール作成装置１の内部の構成例を示すブロック図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

制御部２０１はCPU(Central Processing Unit)などよりなり、ROM(Read Only Memory)２０６や記憶部２０２に記憶されているプログラムを実行し、写真シール作成装置１の全体の動作を制御する。制御部２０１には、記憶部２０２、通信部２０３、ドライブ２０４、ROM２０６、RAM(Random Access Memory)２０７が接続される。制御部２０１には、撮影部２０８、編集部２０９、および事後接客部２１０の各構成も接続される。

記憶部２０２は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体からなり、制御部２０１から供給された各種の設定情報等を記憶する。記憶部２０２に記憶されている情報は制御部２０１により適宜読み出される。

通信部２０３は、インターネットなどのネットワークのインタフェースであり、制御部２０１による制御に従って外部の装置と通信を行う。

ドライブ２０４には、光ディスクや半導体メモリなどよりなるリムーバブルメディア２０５が適宜装着される。ドライブ２０４によりリムーバブルメディア２０５から読み出されたコンピュータプログラムやデータは、制御部２０１に供給され、記憶部２０２に記憶されたり、インストールされたりする。

ROM２０６には、制御部２０１において実行されるプログラムやデータが記憶されている。RAM２０７は、制御部２０１が処理するデータやプログラムを一時的に記憶する。

撮影部２０８は、撮影空間Ａ１における撮影処理を行う構成である硬貨処理部２２１、背景制御部２２２、照明装置２２３、カメラ９１、タッチパネルモニタ９２、およびスピーカ２２４から構成される。

硬貨処理部２２１は、硬貨投入返却口８７に対する硬貨の投入を検出する。硬貨処理部２２１は、例えば４００円などの所定の金額分の硬貨が投入されたことを検出した場合、そのことを表す起動信号を制御部２０１に出力する。

背景制御部２２２は、制御部２０１より供給される背景制御信号に従って背景カーテンユニット２５に収納されている背景カーテンの上げ下ろしを行う。背景カーテンの選択が利用者により手動で行われるようにしてもよい。

照明装置２２３は、撮影空間Ａ１内の各ストロボの内部に設けられる蛍光灯であり、制御部２０１より供給される照明制御信号に従って発光する。上述したように、撮影空間Ａ１には、天井ストロボユニット２４のストロボの他に、撮影部２１に設けられる上ストロボ８２、足元ストロボ８３、正面ストロボ９３、背景部２２に設けられる背面中央ストロボ１０１、背面左ストロボ１０２、背面右ストロボ１０３が設けられている。

また、照明装置２２３は、制御部２０１による制御に従って発光量を調整することによって、利用者が行っている撮影作業の段階に応じて撮影空間Ａ１内の明るさを調整する。

カメラ９１は、制御部２０１による制御に従って撮影を行い、撮影によって得られた画像を制御部２０１に出力する。

編集部２０９Ａは、編集空間Ａ２−１における編集処理を行う構成として編集部１２の正面側に設けられるタブレット内蔵モニタ１３１、タッチペン１３２Ａ，１３２Ｂ、およびスピーカ２３１から構成される。編集部２０９Ｂも編集部２０９Ａと同一の構成を有しており、編集空間Ａ２−２における編集処理を行う。

タブレット内蔵モニタ１３１は、制御部２０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を検出する。利用者の操作の内容を表す信号は制御部２０１に供給され、編集対象の撮影画像の編集が行われる。

事後接客部２１０は、事後接客空間Ａ３における事後接客処理を行う構成であるタブレット内蔵モニタ１６１、タッチペン１６２Ａ，１６２Ｂ、スピーカ１６４、印刷処理を行う構成であるプリンタ２４１、およびシール紙ユニット２４２から構成される。

プリンタ２４１は、撮影画像、または編集処理によって得られた編集済みの画像を、プリンタ２４１に装着されたシール紙ユニット２４２に収納されているシール紙に印刷し、シール紙排出口１６３に排出する。

［制御部の構成］
次に、制御部２０１について説明する。図９は、制御部２０１がROM２０６などに格納されているプログラムを実行することにより実現される機能ブロックの構成例を示している。

制御部２０１は、写真シール作成ゲームを開始する際に投入される代金に関する処理や利用者グループを撮影する等の写真シール作成ゲームの撮影作業の工程に関する処理を行う撮影処理部３０１、撮影画像に対する落書き編集等の写真シール作成ゲームの編集作業の工程に関する処理を行う編集処理部３０２、シール紙の印刷等の写真シール作成ゲームの印刷の工程に関する処理を行う印刷処理部３０３、および、編集作業を終了した利用者グループを接客する写真シール作成ゲームの事後接客の工程に関する処理を行う事後接客処理部３０４を有する。

つまり、制御部２０１は、写真シール作成ゲームの各工程に関する処理の制御を行う。

［写真シール作成装置の動作］
次に、図１０のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置１の処理について説明する。

ステップＳ１において、写真シール作成装置１の撮影処理部３０１は、所定の金額分の硬貨が投入されたか否かを硬貨処理部２２１から供給される信号に基づいて判定し、投入されたと判定するまで待機する。

ステップＳ１において、硬貨が投入されたと判定された場合、ステップＳ２において、撮影処理部３０１は、撮影部２０８を制御し、カメラ９１に取り込まれた被写体の動画像をタッチパネルモニタ９２にライブビュー表示させ、撮影空間Ａ１にいる利用者を被写体として撮影する撮影処理を行う。撮影処理では、利用者の顔または上半身を撮影するアップ撮影が行われるが、利用者の全身を撮影する全身撮影が行われるようにしてもよい。

ステップＳ３において、撮影処理部３０１は、撮影空間Ａ１にいる利用者に対して、編集空間Ａ２−１または編集空間Ａ２−２への移動を案内する。編集空間Ａ２−１または編集空間Ａ２−２への移動の案内は、撮影部２０８のタッチパネルモニタ９２に画面を表示させることによって、または音声をスピーカ２２４から出力させることによって行われる。

ステップＳ４において、編集処理部３０２は、編集空間Ａ２−１と編集空間Ａ２−２のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部２０９を制御し、編集処理を行う。具体的には、編集処理部３０２は、編集対象画像として選択された撮影画像に合成する合成用画像を利用者に選択させ、選択された合成用画像を撮影画像に合成させ、得られた合成画像に対して、利用者による編集操作に従って編集を行う。

ステップＳ５において、編集処理部３０２は、編集空間Ａ２−１または編集空間Ａ２−２で編集処理を終えた利用者に対して事後接客空間Ａ３への移動を案内する。事後接客空間Ａ３への移動の案内は、タブレット内蔵モニタ１３１に画面を表示させることによって、または音声をスピーカ２３１から出力させることによって行われる。

ステップＳ６において、印刷処理部３０３は、利用者により選択された画像をプリンタ２４１に出力してシール紙に印刷させる印刷処理を行う（開始する）。

また、タブレット内蔵モニタ１６１に表示される、事後接客処理の開始ボタンが選択されると、ステップＳ７において、事後接客処理部３０４は、印刷終了待機中の利用者に対する事後接客処理を行う。具体的には、事後接客処理部３０４は、撮影画像や編集済みの画像を携帯端末に送信する携帯送信ゲーム処理を事後接客処理として行い、携帯端末の電子メールアドレスを直接入力することで画像を携帯端末に送信するか、非接触型ICと通信することで画像を携帯端末に送信するかを利用者に選択させる送信方法の選択画面や、送信する画像の選択画面をタブレット内蔵モニタ１６１に表示させ、利用者による操作に応じて画像を送信する。

印刷が終了すると、ステップＳ８において、事後接客処理部３０４は、印刷が終了した旨をタブレット内蔵モニタ１６１に表示させ、プリンタ２４１は、画像が印刷されたシール紙をシール紙排出口１６３に排出し、処理を終了させる。

また、写真シール作成装置１は、撮影画像に対して所定の画像処理を行うことによって、撮影画像の見栄えを良くすることができる。

［画像処理装置の機能構成例］
ここで、図１１を参照して、撮影画像の見栄えを良くする画像処理を行う画像処理装置の機能構成例について説明する。図１１の画像処理装置は、例えば、上述の写真シール機１の撮影処理部３０１において実現される。

図１１の画像処理装置は、撮影画像取得部４１１、顔検出部４１２、目検出部４１３、合成位置決定部４１４、チーク画像記憶部４１５、および合成部４１６から構成される。

撮影画像取得部４１１は、カメラ９１により撮影された画像である撮影画像を取得し、顔検出部４１２、目検出部４１３、および合成部４１６に供給する。

顔検出部４１２は、撮影画像取得部４１１から供給される撮影画像から、被写体（利用者）の顔を検出し、検出された顔を、矩形領域である顔検出領域の位置および大きさの顔画像として、目検出部４１３、合成位置決定部４１４、および合成部４１６に供給する。例えば、顔検出部４１２は、予め複数の顔の顔画像を記憶しておくことで、被写体の顔を検出する。

目検出部４１３は、顔検出部４１２からの顔画像において目を検出し、撮影画像における目の位置を表す情報（座標情報）を、合成位置決定部４１４に供給する。例えば、目検出部４１３は、予め複数の目の画像を記憶しておくことで、目を検出する。なお、目検出部４１３が、撮影画像取得部４１１からの撮影画像において目を検出するようにしてもよい。

合成位置決定部４１４は、撮影画像において、後述するチーク画像（頬紅画像）が合成される位置（以下、合成位置という）を、目検出部４１３からの座標情報で表される目の位置に基づいて決定する。決定された合成位置を表す座標情報は、合成部４１６に供給される。

チーク画像記憶部４１５は、例えば、記憶部２０２の一部として構成され、撮影画像における被写体の顔の頬の部分に合成される複数の頬紅画像を記憶する。頬紅画像は、特に女性が頬につける化粧品である頬紅を模した画像である。以下、頬紅画像をチーク画像という。

チーク画像記憶部４１５には、様々な形状や色のチーク画像が、撮影画像における被写体の状態に対応して記憶されている。ここでいう被写体の状態は、撮影画像上での被写体の状態を示しており、それには、撮影時の被写体自身（具体的には、被写体の顔）の形状や向き、目の大きさや顔の左右の幅、さらには、撮影時に被写体である利用者により設定された写り等や、撮影画像から推定される被写体の年齢も含まれる。

ここでは、チーク画像は、その形状が、図１２に示されるように、被写体の状態の１つである被写体の顔の形状に対応して用意されている。すなわち、例えば、丸顔である被写体の顔には、横長の長方形を崩した形状のチーク画像が合成され、三角顔（逆三角形に近い輪郭の顔）である被写体の顔には、横長の楕円形のチーク画像が合成され、面長である被写体の顔には、逆三角形を崩した形状のチーク画像が合成されるようになる。これにより、被写体の顔の形状に対応したチーク画像が、被写体の顔の頬の部分に合成されるようになるので、被写体である利用者の顔立ちに合った、自然な化粧をしたような画像を容易に提供することができるようになる。

なお、ここでは、チーク画像の色は、半透明の（具体的には、所定の透過度（透明度）を有する）、例えばピンク色等の特定の色とされる。もちろん、チーク画像の色は、ピンク色以外の色であってもよい。また、チーク画像は、左右それぞれ用意されていてもよいし、左右いずれか一方だけ用意されるようにして、他方は、合成部４１６によって左右反転してコピーされるようにしてもよい。

合成部４１６は、チーク画像記憶部４１５に記憶されているチーク画像のうち、撮影画像における被写体の顔の形状に対応した形状のチーク画像を、撮影画像に合成し、その結果をタッチパネルモニタ９２に供給する。タッチパネルモニタ９２は、合成部４１６から供給された画像を、撮影結果としての静止画像として出力（表示）する。出力された撮影画像は、編集処理部３０２による編集処理の対象となる。

［チーク画像合成処理について］
次に、図１３のフローチャートを参照して、図１１の画像処理装置によって実行される、撮影画像の見栄えを良くするためのチーク画像合成処理について説明する。

ステップＳ１１において、撮影画像取得部４１１は、カメラ９１により撮影された画像である撮影画像を取得する。なお、取得される撮影画像は、アップ撮影が行われることにより得られたアップ画像とする。もちろん、取得される撮影画像は、アップ画像以外の画像、すなわち、全身撮影が行われることにより得られる全身画像であってもよい。

ステップＳ１２において、顔検出部４１２は、撮影画像取得部４１１からの撮影画像において顔を検出し、検出された顔を、顔検出領域の位置および大きさの顔画像として、目検出部４１３、合成位置決定部４１４、および合成部４１６に供給する。

ステップＳ１３において、目検出部４１３は、顔検出部４１２からの顔画像（または、撮影画像取得部４１１からの撮影画像）において目を検出し、撮影画像における目の位置を表す座標情報を、合成位置決定部４１４に供給する。

ステップＳ１４において、合成位置決定部４１４は、目検出部４１３からの座標情報で表される目の位置に基づいて、撮影画像においてチーク画像が合成される合成位置を決定する。

ここで、図１４を参照して、合成位置決定部４１４によるチーク画像の合成位置の決定について説明する。

図１４Ａ，Ｂ，Ｃには、それぞれ顔の向きが異なる顔画像が示されている。

ここで、顔の向きは、図１４に示されるように、ピッチ角、ヨー角、およびロール角によって表される。

ピッチ角は、両耳を結んだ線４２１を軸として頭を上下方向に回転させる場合の角度であり、例えば、被写体となる利用者の顔が、利用者から見て傾きなくカメラ９１のレンズに正対した状態（以下、正対状態という）を基準（０度）として、上を向いた場合（図中、上方向に回転した場合）に正とされ、下を向いた場合（図中、下方向に回転した場合）に負とされる。

ヨー角は、軸４２１と垂直な軸であって、頭頂部と下顎の首の付け根部分を結んだ線４２２を軸として頭を左右方向に回転させる場合の角度であり、例えば、利用者の顔が、正対状態を基準（０度）として、右を向いた場合（図中、向かって左方向に回転した場合）に負とされ、左を向いた場合（図中、向かって右方向に回転した場合）に正とされる。

ロール角は、軸４２１および軸４２２と直交し、鼻と後頭部を結んだ線４２３を軸として頭を回転させる場合の角度であり、例えば、利用者の顔が、正対状態を基準（０度）として、左に傾いた場合（図中、時計回り（右回り）の方向に回転した場合）に正とされ、右に傾いた場合（図中、反時計回り（左回り）の方向に回転した場合）に負とされる。

すなわち、図１４Ａには、ピッチ角、ヨー角、およびロール角がいずれも０度の顔画像が示されており、図１４Ｂには、ピッチ角およびロール角がいずれも０度で、ヨー角が負の顔画像が示されている。また、図１４Ｃには、ピッチ角が０度、ヨー角が負で、ロール角が正である顔画像が示されている。

例えば、合成位置決定部４１４は、図１４Ａに示される顔画像において、右目の中心から距離D1Rだけ下方向（ピッチ角が負となる方向）へ移動し、さらにその点から距離D2Rだけ右方向（ヨー角が負となる方向）へ移動した点CRが、被写体の右頬に合成されるチーク画像４３１Ｒの中心位置となるように合成位置を決定する。また、合成位置決定部４１４は、図１４Ａに示される顔画像において、左目の中心から距離D1Lだけ下方向（ピッチ角が負となる方向）へ移動し、さらにその点から距離D2Lだけ左方向（ヨー角が正となる方向）へ移動した点CLが、被写体の左頬に合成されるチーク画像４３１Ｌの中心位置となるように合成位置を決定する。

ここで、距離D1Rと距離D1L、距離D2Rと距離D2Lは、それぞれ同一距離とされる。また、距離D1Rと距離D1Lは、撮影画像において顔検出部４１２により検出された顔の顔検出領域である矩形の対角線や、顔画像の輪郭に基づいて算出されるものとする。

なお、図１４Ｂ，Ｃに示される顔画像におけるチーク画像の合成位置の決定は、図１４Ａに示される顔画像と同様に行われるので、その説明は省略する。すなわち、ここでは、チーク画像の合成位置は、顔の向きによらず、目の位置のみによって決定される。

合成位置決定部４１４は、決定した合成位置（チーク画像の中心位置）を表す座標情報を、合成部４１６に供給する。

ステップＳ１５において、合成部４１６は、顔検出部４１２により検出された顔の形状に対応した形状のチーク画像を、撮影画像における、合成位置決定部４１４により決定された合成位置に合成する。

具体的には、合成部４１６は、顔検出部４１２からの顔画像を用いて、撮影画像における被写体の顔の形状を判別し、その顔の形状に対応する形状のチーク画像を、チーク画像記憶部４１５から読み出す。そして、合成部４１６は、読み出したチーク画像を、撮影画像取得部４１１からの撮影画像において、合成位置決定部４１４からの座標情報で表される位置（合成位置）に合成し、その結果をタッチパネルモニタ９２に供給する。

なお、合成部４１６は、撮影画像において合成されたチーク画像の一部が、被写体の顔の領域からはみ出した場合、そのはみ出した領域を削除する。

このようにして、被写体の顔の頬の部分にチーク画像が合成された撮影画像が、タッチパネルモニタ９２に表示される。

以上の処理によれば、撮影画像における被写体の顔の形状に対応した形状のチーク画像が合成されるようになるので、被写体の顔の形状に適した自然な形状のチーク画像が合成されるようになり、より見栄えの良い画像を提供することが可能となる。

以上においては、撮影画像における被写体の状態として、被写体の顔の形状を用いてチーク画像を合成するようにしたが、以下においては、被写体の状態として、被写体の写りを用いてチーク画像を合成する例について説明する。

［画像処理装置の他の機能構成例］
図１５は、画像処理装置の他の機能構成例を示している。

図１５の画像処理装置は、撮影画像取得部５１１、顔検出部５１２、目検出部５１３、写り情報取得部５１４、合成位置決定部５１５、チーク画像記憶部５１６、および合成部５１７から構成される。

なお、図１５の画像処理装置において、撮影画像取得部５１１、顔検出部５１２、および目検出部５１３は、図１１の画像処理装置における撮影画像取得部４１１、顔検出部４１２、および目検出部４１３とそれぞれ同様の機能を有するので、その説明は省略する。

写り情報取得部５１４は、撮影画像における（撮影画像上での）被写体の状態の１つである被写体の写りを表す写り情報を取得し、合成位置決定部５１５および合成部５１７に供給する。

被写体の写りは、撮影処理部３０１によって行われる撮影処理において、撮影前または撮影後に利用者により選択され、撮影画像に写る被写体の明るさや目の大きさを決定するものであり、例えば、「かわいい系」、「きれい系」等が用意されている。さらに、被写体の写りとして、撮影画像に写る被写体の色味（色の感じ）や色の濃度を決定する「ナチュラル系」や「派手系」等が用意されるようにしてもよい。撮影処理において選択された写りを表す写り情報は、撮影画像に付加されてもよいし、撮影画像と対応付けるための対応情報とともに、撮影画像とは別個に記憶部２０２等に保存されてもよい。この場合、写り情報取得部５１４は、撮影画像に付加されている写り情報を撮影画像から取得するか、または、対応情報を基に、撮影画像と対応付けられた写り情報を記憶部２０２等から取得する。

合成位置決定部５１５は、撮影画像においてチーク画像が合成される合成位置を、目検出部５１３からの座標情報で表される目の位置、および、写り情報取得部５１４からの写り情報で表される被写体の写りに基づいて決定する。決定された合成位置を表す座標情報は、合成部５１７に供給される。

チーク画像記憶部５１６は、複数のチーク画像を記憶しており、その形状が、撮影画像における被写体の状態、具体的には、被写体の写りに対応して用意されている。例えば、写りが「かわいい系」である被写体の顔には、丸型のチーク画像が合成され、写りが「きれい系」である被写体の顔には、横長の楕円形または多角形のチーク画像が合成されるようになる。

合成部５１７は、チーク画像記憶部５１６に記憶されているチーク画像のうち、撮影画像における被写体の写りに対応した形状のチーク画像を、撮影画像に合成し、その結果をタッチパネルモニタ９２に供給する。タッチパネルモニタ９２は、合成部５１７から供給された画像を、撮影結果としての静止画像として出力（表示）する。出力された撮影画像は、編集処理部３０２による編集処理の対象となる。

［チーク画像合成処理について］
次に、図１６のフローチャートを参照して、図１５の画像処理装置によって実行されるチーク画像合成処理について説明する。

なお、図１６のフローチャートにおけるステップＳ１１１乃至Ｓ１１３の処理は、図１３のフローチャートにおけるステップＳ１１乃至Ｓ１３の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ１１４において、写り情報取得部５１４は、撮影画像取得部５１１からの撮影画像を用いて、撮影画像における被写体の写りを表す写り情報を取得し、合成位置決定部５１５および合成部５１７に供給する。

ステップＳ１１５において、合成位置決定部５１５は、目検出部５１３からの座標情報で表される目の位置、および、写り情報取得部５１４からの写り情報で表される被写体の写りに基づいて、撮影画像においてチーク画像が合成される合成位置を決定する。

具体的には、まず、合成位置決定部５１５は、目検出部５１３からの座標情報で表される目の位置に基づいて、図１４を参照して説明した手法で、合成位置を決定する。さらに、合成位置決定部５１５は、写り情報取得部５１４からの写り情報で表される被写体の写りに基づいて、決定された合成位置を移動させる。例えば、写り情報で表される写りが「かわいい系」である場合、合成位置決定部５１５は、決定された合成位置をそのままとするか、または、頭頂部と下顎の首の付け根部分を結んだ軸４２２（図１４）に向かって所定の距離だけ顔の内側へ（鼻に近づく方向へ）移動させる。また例えば、写り情報で表される写りが「きれい系」である場合、合成位置決定部５１５は、軸４２２から離れるように所定の距離だけ顔の外側へ（鼻から遠ざかる方向へ）移動させる。このように、写りに応じてチーク画像の合成位置が移動することで、被写体がよりかわいく写る画像や、よりきれいに写る画像を容易に提供することができるようになる。

合成位置決定部５１５は、決定した合成位置（チーク画像の中心位置）を表す座標情報を、合成部５１７に供給する。

ステップＳ１１６において、合成部５１７は、写り情報取得部５１４により取得された写り情報で表される被写体の写りに対応した形状のチーク画像を、撮影画像における、合成位置決定部５１５により決定された合成位置に合成し、その結果をタッチパネルモニタ９２に供給する。

具体的には、合成部５１７は、写り情報取得部５１４により取得された写り情報で表される被写体の写りに対応する形状のチーク画像を、チーク画像記憶部５１６から読み出す。さらに、合成部５１７は、読み出したチーク画像の色を、被写体の写りに応じて変更する。例えば、写りが「かわいい系」である場合には、チーク画像の色をピンク色にし、写りが「きれい系」である場合には、チーク画像の色をオレンジ色にする。そして、合成部５１７は、色を変更したチーク画像を、撮影画像取得部５１１からの撮影画像において、合成位置決定部５１５からの座標情報で表される位置（合成位置）に合成する。すなわち、合成部５１７は、写り情報で表される被写体の写りに対応した形状および色のチーク画像を、撮影画像における合成位置に合成する。

このようにして、被写体の顔の頬の部分にチーク画像が合成された撮影画像が、タッチパネルモニタ９２に表示される。

以上の処理によれば、撮影画像における被写体の写りに対応した形状のチーク画像が、被写体の写りに応じた位置に合成されるようになるので、被写体の写りに適した自然な形状のチーク画像が合成されるようになり、より見栄えの良い画像を提供することが可能となる。

なお、ステップＳ１１６の処理において、被写体の写りに応じて、チーク画像の色を変更するようにしたが、被写体の写りに応じて、チーク画像の透過度（透過率）を変更するようにしてもよい。

また、写真シール作成装置１の利用者は複数であることが多いので、撮影処理において、利用者毎に被写体の写りの選択を行わせるようにした場合には、被写体毎の写りに対応した形状のチーク画像が、撮影画像の被写体それぞれに合成されるようにしてもよい。さらに、撮影毎に被写体の写りの選択を行わせるようにした場合には、撮影画像毎の写りに対応した形状のチーク画像が、撮影画像それぞれに合成され、１回のみ被写体の写りの選択を行わせるようにした場合には、その写りに対応した形状のチーク画像が、全ての撮影画像に合成されるようにもできる。

以上においては、撮影画像における被写体の状態として、被写体の写りを用いてチーク画像を合成するようにしたが、以下においては、被写体の顔の向きを用いてチーク画像を合成する例について説明する。

［画像処理装置のさらに他の機能構成例］
図１７は、画像処理装置のさらに他の機能構成例を示している。

図１７の画像処理装置は、撮影画像取得部６１１、顔検出部６１２、目検出部６１３、合成位置決定部６１４、チーク画像記憶部６１５、および合成部６１６から構成される。

なお、図１７の画像処理装置において、撮影画像取得部６１１、顔検出部６１２、およびチーク画像記憶部６１５は、図１１の画像処理装置における撮影画像取得部４１１、顔検出部４１２、およびチーク画像記憶部４１５とそれぞれ同様の機能を有するので、その説明は省略する。

目検出部６１３は、顔検出部６１２からの顔画像（または、撮影画像取得部６１１からの撮影画像）において目を検出し、撮影画像における目の位置および目の幅を表す座標情報を、合成位置決定部６１４および合成部６１６に供給する。

合成位置決定部６１４は、撮影画像においてチーク画像が合成される合成位置を、目検出部６１３からの座標情報で表される目の位置および目の幅に基づいて決定する。決定された合成位置を表す座標情報は、合成部６１６に供給される。

合成部６１６は、撮影画像における（撮影画像上での）被写体の状態の１つである被写体の顔の向きに対応した形状のチーク画像を撮影画像に合成し、その結果をタッチパネルモニタ９２に供給する。タッチパネルモニタ９２は、合成部６１６から供給された画像を、撮影結果としての静止画像として出力（表示）する。出力された撮影画像は、編集処理部３０２による編集処理の対象となる。

具体的には、合成部６１６は、チーク画像記憶部６１５に記憶されているチーク画像のうち、撮影画像における被写体の顔の形状に対応した形状のチーク画像を、撮影画像における被写体の顔の向きに応じてサイズを変更して撮影画像に合成する。

［チーク画像合成処理について］
次に、図１８のフローチャートを参照して、図１７の画像処理装置によって実行されるチーク画像合成処理について説明する。

なお、図１８のフローチャートにおけるステップＳ２１１，Ｓ２１２の処理は、図１３のフローチャートにおけるステップＳ１１，Ｓ１２の処理と同様であるので、その説明は省略する。

ステップＳ２１３において、目検出部６１３は、顔検出部６１２からの顔画像（または、撮影画像取得部６１１からの撮影画像）において目を検出し、撮影画像における目の位置および目の幅を表す座標情報を、合成位置決定部６１４および合成部６１６に供給する。

ステップＳ２１４において、合成位置決定部６１４は、目検出部６１３からの座標情報で表される目の位置および目の幅に基づいて、顔検出部６１２からの顔画像においてチーク画像が合成される合成位置を決定する。

ここで、図１９を参照して、合成位置決定部６１４によるチーク画像の合成位置の決定について説明する。

図１９には、ピッチ角およびロール角がいずれも０度で、ヨー角が負である顔画像、つまり、利用者の顔が、正対状態（利用者から見て傾きなくカメラ９１のレンズに正対した状態）から右を向いた（図中、向かって左方向に頭を回転させた）顔画像が示されている。

合成位置決定部６１４は、図１９に示される顔画像において、右目の中心から距離D1R'だけ下方向（ピッチ角が負となる方向）へ移動し、さらにその点から距離D2R'だけ右方向（ヨー角が負となる方向）へ移動した点CR'が、被写体の右頬に合成されるチーク画像の中心位置となるように合成位置を決定する。また、合成位置決定部６１４は、図１９に示される顔画像において、左目の中心から距離D1L'だけ下方向（ピッチ角が負となる方向）へ移動し、さらにその点から距離D2L'だけ左方向（ヨー角が正となる方向）へ移動した点CL'が、被写体の左頬に合成されるチーク画像の中心位置となるように合成位置を決定する。

ここで、距離D1R'および距離D2R'は、右目の幅ERに基づいて設定され、距離D1L'および距離D2L'は、左目の幅ELに基づいて設定される。

具体的には、図１４で説明した距離D1R，D1L、および距離D2R，D2Lを基準として、目の幅が大きいほど、距離D1R'および距離D1L'は大きく、かつ、距離D2R'および距離D2L'は小さく設定され、目の幅が小さいほど、距離D1R'および距離D1L'は小さく、かつ、距離D2R'および距離D2L'は大きく設定される。

合成位置決定部６１４は、決定した合成位置（チーク画像の中心位置）を表す座標情報を、合成部６１６に供給する。

ステップＳ２１５において、合成部６１６は、顔検出部６１２により検出された被写体の顔の向きおよび目の幅に対応した形状のチーク画像を、撮影画像における、合成位置決定部６１４により決定された合成位置に合成する。

顔の向きがヨー角方向にずれている場合、つまり、利用者の顔が正対状態から左右いずれかを向いている場合、向いた側にある目の大きさは、正面を向いた状態と比べて小さくなり、反対側にある目の大きさは、正面を向いた状態と比べて大きくなる。したがって、チーク画像の大きさも、目の大きさと同様に、顔の向きに応じて変更する必要がある。

そこで、合成部６１６は、顔検出部６１２により検出された被写体の顔の形状に対応する形状のチーク画像を、チーク画像記憶部６１５から読み出す。さらに、合成部６１６は、目検出部６１３により検出された被写体の目の幅を求めるとともに、顔検出部６１２により検出された被写体の顔の向きを判別し、その目の幅と顔の向きに応じて、読み出したチーク画像の左右のサイズを変更する。具体的には、合成部６１６は、利用者の顔が正対状態から左右いずれかの、向いた側のチーク画像のサイズを小さくし、反対側のチーク画像のサイズを大きくする。さらに、合成部６１６は、左右それぞれのチーク画像について、合成される側の目の幅が大きい場合にはチーク画像のサイズを大きくするように調整し、合成される側の目の幅が小さい場合にはチーク画像のサイズを小さくするように調整する。そして、合成部６１６は、サイズを変更したチーク画像を、撮影画像取得部６１１からの撮影画像において、合成位置決定部６１４からの座標情報で表される位置（合成位置）に合成し、その結果をタッチパネルモニタ９２に供給する。

図２０は、目の幅に応じて調整されたサイズのチーク画像の例を示している。

図２０には、図１９同様、ピッチ角およびロール角がいずれも０度で、ヨー角が負である顔画像、つまり、正面を向いた状態から右方向に頭を回転させた顔画像が示されている。したがって、図２０において、右目の幅ERは、正面を向いた状態と比べて小さくなるので、被写体の右頬に合成されるチーク画像６３１Ｒのサイズは小さくなるように調整される。また、左目の幅ELは、正面を向いた状態と比べて大きくなるので、被写体の左頬に合成されるチーク画像６３１Ｌのサイズは大きくなるように調整される。

なお、合成部６１６は、図２０に示されるように、チーク画像６３１Ｒにおいて、被写体の顔の領域からはみ出した領域６３２を、削除する。

このようにして、被写体の顔の頬の部分にチーク画像が合成された撮影画像が、タッチパネルモニタ９２に表示される。

以上の処理によれば、撮影画像における被写体の向きに対応した形状のチーク画像が合成されるようになるので、被写体の向きに適した自然な形状のチーク画像が合成されるようになり、より見栄えの良い画像を提供することが可能となる。

なお、ステップＳ２１５の処理においては、被写体の顔の向きおよび目の幅に応じて、チーク画像のサイズを変更するようにしたが、被写体の顔の向きのみに応じて、チーク画像のサイズを変更するようにしてもよいし、被写体の目の幅のみに応じて、チーク画像のサイズを変更するようにしてもよい。

さらに、上述した処理において、被写体の目の幅に代えて、被写体の顔の左右の幅を用いるようにしてもよい。

ここで、図２１のフローチャートを参照して、図１７の画像処理装置によって実行されるチーク画像合成処理の他の例について説明する。

なお、図２１のフローチャートにおけるステップＳ２６１乃至Ｓ２６４の処理は、図１８のフローチャートにおけるステップＳ２１１乃至Ｓ２１４の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ２６５において、合成部６１６は、顔検出部６１２により検出された被写体の顔の向きおよび顔の左右の幅に対応したチーク画像を、撮影画像における、合成位置決定部６１４により決定された合成位置に合成する。

顔の向きがヨー角方向にずれている場合、つまり、利用者の顔が正対状態から左右いずれかを向いている場合、顔の左右の幅を比べると、向いた側にある顔の幅は、正面を向いた状態と比べて狭くなり、反対側にある顔の幅は、正面を向いた状態と比べて広くなる。したがって、チーク画像の大きさも、顔の幅と同様に、顔の向きに応じて変更する必要がある。

そこで、合成部６１６は、顔検出部６１２により検出された被写体の顔の形状に対応する形状のチーク画像を、チーク画像記憶部６１５から読み出す。さらに、合成部６１６は、被写体の顔の左右の幅を求めるとともに、顔検出部６１２により検出された被写体の顔の向きを判別し、その顔の左右の幅と顔の向きに応じて、読み出したチーク画像の左右のサイズを変更する。具体的には、合成部６１６は、利用者の顔が正対状態から左右いずれかの、向いた側のチーク画像のサイズを小さくし、反対側のチーク画像のサイズを大きくする。さらに、合成部６１６は、左右それぞれのチーク画像について、顔の左右それぞれの幅を求め、その幅が大きい場合にはチーク画像のサイズを大きくするように調整し、幅が小さい場合にはチーク画像のサイズを小さくするように調整する。そして、合成部６１６は、サイズを変更したチーク画像を、撮影画像取得部６１１からの撮影画像において、合成位置決定部６１４からの座標情報で表される位置（合成位置）に合成し、その結果をタッチパネルモニタ９２に供給する。

図２２は、被写体の顔の左右の幅に応じて調整されたサイズのチーク画像の例を示している。

図２２には、図２０同様、ピッチ角およびロール角がいずれも０度で、ヨー角が負である顔画像、つまり、正面を向いた状態から右方向に頭を回転させた顔画像が示されている。したがって、図２２において、顔の中心線FCより右側の幅FRに応じて、被写体の右頬に合成されるチーク画像６３１Ｒのサイズは小さくなるように調整される。また、顔の中心線FCより左側の幅FLに応じて、被写体の左頬に合成されるチーク画像６３１Ｌのサイズは大きくなるように調整される。

なお、図２２においても、チーク画像６３１Ｒにおいて、被写体の顔の領域からはみ出した領域６３２は、削除される。

このようにして、被写体の顔の頬の部分にチーク画像が合成された撮影画像が、タッチパネルモニタ９２に表示される。

以上の処理によれば、撮影画像における被写体の顔の向きに対応した形状のチーク画像が合成されるようになるので、被写体の向きに適した自然な形状のチークが合成されるようになり、より見栄えの良い画像を提供することが可能となる。

なお、ステップＳ２６５の処理においては、被写体の顔の向きおよび顔の左右の幅に応じて、チーク画像のサイズを変更するようにしたが、被写体の顔の左右の幅のみに応じて、チーク画像のサイズを変更するようにしてもよいし、被写体の顔の向き、上述した被写体の目の幅、および被写体の顔の左右の幅の組み合わせに応じて、チーク画像のサイズを変更するようにしてもよい。

また、以上においては、被写体の顔の向き等に応じて、チーク画像のサイズを変更するようにしたが、図２３に示されるように、奥行きが感じられるように回転可能な奥行きチーク画像６５１を、チーク画像記憶部６１５に記憶させておき、被写体の顔の向き、目の幅や顔の左右の幅に応じた奥行きチーク画像６５１を読み出して、撮影画像に合成させるようにしてもよい。

さらに、以上においては、目の位置に基づいて決定された合成位置が、目の幅に応じて変更されるものとしたが、被写体（利用者）の年齢に応じて変更されるようにしてもよい。

［画像処理装置のさらに他の機能構成例］
図２４は、画像処理装置のさらに他の機能構成例を示している。

図２４の画像処理装置は、撮影画像取得部７１１、顔検出部７１２、目検出部７１３、年齢推定部７１４、合成位置決定部７１５、チーク画像記憶部７１６、および合成部７１７から構成される。

なお、図２４の画像処理装置において、撮影画像取得部７１１、顔検出部７１２、目検出部７１３、チーク画像記憶部７１６、および合成部７１７は、図１１の画像処理装置における撮影画像取得部４１１、顔検出部４１２、目検出部４１３、チーク画像記憶部４１５、および合成部４１６とそれぞれ同様の機能を有するので、その説明は省略する。

年齢推定部７１４は、顔検出部７１２からの顔画像に基づいて、被写体の年齢を推定し、その年齢を表す年齢情報を、合成位置決定部７１５に供給する。例えば、年齢推定部７１４は、予め様々な年齢の顔画像を複数記憶しておくことで、被写体の年齢を推定する。

合成位置決定部７１５は、撮影画像においてチーク画像が合成される合成位置を、目検出部７１３からの座標情報で表される目の位置、および、年齢推定部７１４からの年齢情報で表される被写体の年齢に基づいて決定する。決定された合成位置を表す座標情報は、合成部７１７に供給される。

［チーク画像合成処理について］
次に、図２５のフローチャートを参照して、図２４の画像処理装置によって実行されるチーク画像合成処理について説明する。

なお、図２５のフローチャートにおけるステップＳ３１１乃至Ｓ３１３，Ｓ３１６の処理は、図１３のフローチャートにおけるステップＳ１１乃至Ｓ１３，Ｓ１５の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ３１４において、年齢推定部７１４は、撮影画像取得部７１１からの撮影画像を用いて、撮影画像における被写体の年齢を推定し、その年齢を表す年齢情報を、合成位置決定部７１５に供給する。

ステップＳ３１５において、合成位置決定部７１５は、目検出部７１３からの座標情報で表される目の位置、および、年齢推定部７１４からの年齢情報で表される被写体の年齢に基づいて、撮影画像においてチーク画像が合成される合成位置を決定する。

具体的には、まず、合成位置決定部７１５は、目検出部７１３からの座標情報で表される目の位置に基づいて、図１４を参照して説明した手法で、合成位置を決定する。さらに、合成位置決定部７１５は、年齢推定部７１４からの年齢情報で表される被写体の年齢に基づいて、決定された合成位置を移動させる。例えば、年齢情報で表される年齢が所定の年齢より下である場合、合成位置決定部７１５は、決定された合成位置を所定の距離だけ顔の上側に向かって（目に近づく方向へ）移動させる。また例えば、年齢情報で表される年齢が所定の年齢より上である場合、合成位置決定部７１５は、決定された合成位置を所定の距離だけ顔の下側に向かって（目から遠ざかる方向へ）移動させる。

合成位置決定部７１５は、決定した合成位置（チーク画像の中心位置）を表す座標情報を、合成部７１７に供給する。

以上の処理によれば、撮影画像における被写体の顔の形状に対応した形状のチーク画像が、被写体の年齢に応じた位置に合成されるようになるので、被写体の年齢に適した自然な形状のチーク画像が合成されるようになり、より見栄えの良い画像を提供することが可能となる。

なお、ステップＳ３１６の処理においては、被写体の顔の形状に対応したチーク画像を合成するようにしたが、被写体の写りに対応したチーク画像を合成するようにしてもよいし、さらに被写体の顔の向きに応じて、そのサイズを変更するようにしてもよい。さらには、被写体の年齢に対応した複数のチーク画像を、チーク画像記憶部７１６に記憶させるようにして、合成部７１７が、年齢推定部７１４によって推定された被写体の年齢に対応したチーク画像をチーク画像記憶部７１６から読み出し、撮影画像に合成するようにしてもよい。

また、以上においては、被写体の年齢は、被写体の顔画像から推定されるものとしたが、利用者に入力させるものとしてもよい。

また、上述した画像処理装置において、被写体の性別を判別する性別判別部を設けるようにして、被写体の性別によってチーク画像の合成の要否を決定するようにしてもよい。すなわち、被写体の性別が女性であればチーク画像を合成するようにし、被写体の性別が男性であればチーク画像を合成しないようにすることもできる。

なお、上述したチーク画像合成処理は、撮影処理において撮影された静止画像としての撮影画像や、タッチパネルモニタ９２に表示される動画像としてのライブビュー画像に対して適用することができるが、編集処理部３０２による編集処理において編集対象となる編集対象画像に対して適用するようにしてもよい。

［編集処理におけるチーク画像合成処理］
例えば、編集処理において利用者に被写体の写りを選択させる構成において、利用者により被写体の写りが選択されたときに、上述したチーク画像合成処理が実行されることで、編集対象画像にチーク画像が合成されるようにしてもよい。

なお、編集処理においても、利用者毎、編集対象画像毎、または１回のみ、被写体の写りの選択を行わせるようにし、選択された写りに対応した形状のチーク画像が、編集対象画像の被写体それぞれ、編集対象画像それぞれ、または全ての編集対象画像に合成されるようにすることができる。

また、編集処理においては、チーク画像の合成位置を利用者に決定（選択）させるようにしてもよい。

具体的には、タブレット内蔵モニタ１３１に表示された編集対象画像において、タッチペン１３２Ａまたはタッチペン１３２Ｂを用いた利用者により選択された位置をチーク画像の合成位置とする。このとき、合成されるチーク画像は、上述したように、顔の形状や写り、顔の向きに対応したチーク画像とされる。なお、利用者により選択される合成位置は、右頬または左頬のいずれか一方でよく、利用者により選択されなかった側の頬の部分には、選択された側に合成されるチーク画像を左右反転させたチーク画像が合成されるようになる。

なお、編集処理におけるチーク画像合成処理においても顔検出は行われるので、チーク画像において、被写体の顔の領域からはみ出した領域が削除されるようにすることができる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図８に示されるように、装置本体とは別に、写真シール作成装置１の管理者にプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROMおよびDVDを含む）、光磁気ディスク（MDを含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２０５により構成されるだけでなく、装置本体に予め組み込まれた状態で管理者に配信される、プログラムが記録されているROM２０６や、記憶部２０２に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

以上において、印刷媒体は、シール紙や写真紙に限られるものではなく、例えば、所定のサイズの紙やフィルム、ポスター用の紙、テレホンカードなどのカード、あるいは、Ｔシャツなどの布地などに印刷するようにしてもよい。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 写真シール作成装置
１１ 撮影ユニット
１２ 編集部
１３ 事後接客部
２０１ 制御部
２０８ 撮影部
２０９ 編集部
２１０ 事後接客部
３０１ 撮影処理部
３０２ 編集処理部
３０３ 印刷処理部
３０４ 事後接客処理部
４１１ 撮影画像取得部
４１２ 顔検出部
４１３ 目検出部
４１４ 合成位置決定部
４１５ チーク画像記憶部
４１６ 合成部

Claims (14)

1. 被写体を撮影して得られた複数の撮影画像を取得する撮影画像取得手段と、
   前記撮影画像における前記被写体の顔の頬の部分に合成される複数の頬紅画像を記憶する頬紅画像記憶手段と、
   利用者により１回のみ選択された、複数の前記撮影画像における前記被写体の写りを表す写り情報を取得する写り情報取得手段と、
   前記頬紅画像記憶手段に記憶されている前記複数の頬紅画像のうち、写り情報取得手段により取得された前記写り情報で表される写りに対応した前記頬紅画像を、複数の前記撮影画像全てに合成する合成手段と
   を備える画像処理装置。
2. 前記撮影画像における前記被写体の顔を検出する顔検出手段をさらに備え、
   前記合成手段は、前記顔検出手段により検出された前記被写体の顔の形状に対応した前記頬紅画像を、前記撮影画像に合成する
   請求項１に記載の画像処理装置。
3. 前記合成手段は、写り情報取得手段により取得された前記写り情報で表される写りに対応した前記頬紅画像を、前記撮影画像の、前記写り情報で表される写りに応じた位置に合成する
   請求項１に記載の画像処理装置。
4. 前記写り情報取得手段は、前記被写体が複数の場合、前記被写体毎の前記写り情報を取得し、
   前記合成手段は、前記写り情報で表される前記被写体毎の写りに対応した前記頬紅画像を、前記撮影画像における前記被写体それぞれに合成する
   請求項３に記載の画像処理装置。
5. 前記撮影画像における前記被写体の顔を検出する顔検出手段をさらに備え、
   前記合成手段は、前記顔検出手段により検出された前記被写体の顔の向きに対応した前記頬紅画像を、前記撮影画像に合成する
   請求項１に記載の画像処理装置。
6. 前記合成手段は、前記顔検出手段により検出された前記被写体の顔の向きに応じたサイズの前記頬紅画像を、前記撮影画像に合成する
   請求項５に記載の画像処理装置。
7. 前記撮影画像における前記被写体の目を検出する目検出手段をさらに備え、
   前記合成手段は、前記目検出手段により検出された前記被写体の目の幅に応じたサイズの前記頬紅画像を、前記撮影画像に合成する
   請求項５または６に記載の画像処理装置。
8. 前記合成手段は、前記顔検出手段により検出された前記被写体の顔の左右の幅に応じたサイズの前記頬紅画像を、前記撮影画像に合成する
   請求項５乃至７のいずれかに記載の画像処理装置。
9. 前記撮影画像における前記被写体の目を検出する目検出手段と、
   前記目検出手段により検出された前記被写体の目の位置に基づいて、前記撮影画像において前記頬紅画像が合成される合成位置を決定する合成位置決定手段とをさらに備え、
   前記合成手段は、前記頬紅画像を、前記撮影画像における前記合成位置に合成する
   請求項１乃至６のいずれかに記載の画像処理装置。
10. 前記合成位置決定手段は、決定された前記合成位置を、前記目検出手段により検出された前記被写体の目の幅に応じて変更する
    請求項９に記載の画像処理装置。
11. 前記撮影画像における前記被写体の年齢を推定する年齢推定手段をさらに備え、
    前記合成位置決定手段は、決定された前記合成位置を、前記年齢推定手段により推定された前記被写体の年齢に応じて変更する
    請求項９に記載の画像処理装置。
12. 前記合成手段は、前記撮影画像に合成される前記頬紅画像が、前記被写体の顔の領域からはみ出す場合、前記頬紅画像において前記被写体の顔の領域からはみ出す領域を削除する
    請求項１乃至１１のいずれかに記載の画像処理装置。
13. 画像処理装置の画像処理方法において、
    前記画像処理装置が、
    被写体を撮影して得られた複数の撮影画像を取得し、
    利用者により１回のみ選択された、複数の前記撮影画像における前記被写体の写りを表す写り情報を取得し、
    前記撮影画像における前記被写体の顔の頬の部分に合成される複数の頬紅画像を記憶する頬紅画像記憶手段に記憶されている前記複数の頬紅画像のうち、取得された前記写り情報で表される写りに対応した前記頬紅画像を、複数の前記撮影画像全てに合成する
    ステップを含む画像処理方法。
14. コンピュータに、
    被写体を撮影して得られた複数の撮影画像を取得し、
    利用者により１回のみ選択された、複数の前記撮影画像における前記被写体の写りを表す写り情報を取得し、
    前記撮影画像における前記被写体の顔の頬の部分に合成される複数の頬紅画像を記憶する頬紅画像記憶手段に記憶されている前記複数の頬紅画像のうち、取得された前記写り情報で表される写りに対応した前記頬紅画像を、複数の前記撮影画像全てに合成する
    ステップを含む処理を実行させるためのプログラム。

Images