JP5574031B2 - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP5574031B2
JP5574031B2 JP2013169597A JP2013169597A JP5574031B2 JP 5574031 B2 JP5574031 B2 JP 5574031B2 JP 2013169597 A JP2013169597 A JP 2013169597A JP 2013169597 A JP2013169597 A JP 2013169597A JP 5574031 B2 JP5574031 B2 JP 5574031B2
Authority
JP
Japan
Prior art keywords
image
unit
processing
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013169597A
Other languages
English (en)
Other versions
JP2014134760A (ja
Inventor
有美 澁谷
理予 萩原
尚子 金田
佳子 竹村
恭子 多田
隆彰 伊藤
みな子 坂原
菜津美 松原
Original Assignee
フリュー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フリュー株式会社 filed Critical フリュー株式会社
Priority to JP2013169597A priority Critical patent/JP5574031B2/ja
Publication of JP2014134760A publication Critical patent/JP2014134760A/ja
Application granted granted Critical
Publication of JP5574031B2 publication Critical patent/JP5574031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より自然な画像を提供することができるようにした画像処理装置および方法、並びにプログラムに関する。
従来、利用者(被写体)を撮影し、得られた撮影画像に予め用意されている画像を合成したり、文字や線画を重畳させたりする落書き編集処理を行い、シール紙に印刷し、写真シールとして利用者に提供する写真シール機が存在する。
この写真シール機は、例えば、ゲームセンタ等の娯楽(遊戯)施設に設置され、主に女子高生や女子中学生等を中心とする利用者に有料でサービスを提供する。利用者は、写真シールの作成作業をゲームとして楽しむだけでなく、出力される様々なサイズの編集済み画像が印刷されている写真シールを仲間同士で切り分けあって、それぞれの所持品に貼り付けたりする。
写真シール作成のゲームは、被写体の撮影、その撮影画像に対する落書き編集、そして、編集済み画像の写真シールへの出力、という流れで行われる。利用者は、この一連の工程を制限時間内でプレイし、その成果物として作成された写真シールを受け取る。したがって、利用者の満足度を向上させるためには、写真シール作成作業のゲームとしての面白さを向上させるとともに、写真シールの出来栄えを向上させることも重要になる。
このようなゲームにおいて、被写体の輪郭(外側)を彩るに適した背景画像であるオーラ画像を合成用画像として画像処理を施すことが考えられた(例えば、特許文献1参照)。
また、被写体マスク画像を縮小した画像(縮小マスク画像)と、被写体マスク画像を拡大した画像(拡大マスク画像)を作成して、縮小マスク画像と拡大マスク画像の差分領域を算出し、その差分領域に光彩(グロー)効果やぼかし処理等の画像処理を施すことが考えられた(例えば、特許文献2参照)。
さらに、被写体マスク画像において、画像処理を施す領域である画像処理領域(例えば、マスク画像の被写体の領域の境界線を挟んだ内側と外側)を算出し、算出した画像処理領域にぼかし処理と、明度もしくは彩度のいずれかの調整処理を施すことが考えられた(例えば特許文献3参照)。
これらの処理により、被写体の周囲がオーラのような装飾が付いているように見える面白みのある仕上がりの写真シール紙を提供することができる。
特開2011−232634号公報 特開2006−060719号公報 特開2012−142774号公報
しかしながら、これらの方法では、オーラは被写体の周囲全域に対して一定の距離で等間隔に設けられてしまい、そのため、リアリティがない不自然な仕上がりの画像となってしまった。
本発明は、このような状況に鑑みてなされたものであり、オーラの付け方の自由度を向上させることにより、より自然な状態でオーラを付与することができるようにするものである。
本発明の一側面は、利用者を被写体として撮影を行い、撮影画像を生成する撮影部と、前記撮影部により生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成するマスク画像生成部と、前記マスク画像生成部により生成された前記マスク画像を2値化する2値化処理部と、前記2値化処理部により2値化された前記マスク画像の前記人物領域を幾何学変換する幾何学変換部と、前記マスク画像の、前記幾何学変換部により幾何学変換された前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行う画像処理部と、前記画像処理部により画像処理された前記マスク画像の前記境界領域の一部と前記撮影画像とを、前記境界領域が前記人物領域内に入らないようにして合成する合成部とを備え、前記幾何学変換部は、前記マスク画像の前記人物領域を移動させる移動処理、所定の中心点若しくは中心線を軸として前記人物領域を回転させる回転処理、および、前記人物領域の少なくとも一部を変形する変形処理の内、いずれか1つ以上の処理を実行する画像処理装置である。
前記幾何学変換部は、前記回転処理を行う場合、前記中心点若しくは前記中心線を特定し、特定した前記中心点若しくは前記中心線を軸として前記人物領域を回転させることができる。
前記幾何学変換部は、前記撮影画像全体の中心若しくは端、前記マスク画像全体の中心若しくは端、前記人物領域全体の中心若しくは端、前記人物領域の顔の部分の中心若しくは端、前記人物領域の上半身の部分の中心若しくは端、または、前記人物領域の下半身の部分の中心若しくは端を、前記中心点若しくは前記中心線として特定することができる。
前記幾何学変換部は、前記マスク画像の前記人物領域を移動させる移動処理、所定の中心点若しくは中心線を軸として前記人物領域を回転させる回転処理、および、前記人物領域の少なくとも一部を変形する変形処理の内、いずれか1つ以上の処理を選択して実行することができる。
前記撮影画像において前記被写体が複数の場合、前記幾何学変換部は、前記被写体毎に前記人物領域を幾何学変換することができる。
前記画像処理部は、色彩を設定することができる。
前記画像処理部は、色彩の濃淡を設定することができる。
前記画像処理部は、透過度を設定することができる。
前記撮影画像において前記被写体が複数の場合、前記画像処理部は、各被写体の境界領域に対して、互いに独立に画像処理を行うことができる。
前記画像処理に関する利用者の指示を受け付ける受付部をさらに備え、前記画像処理部は、前記受付部により受け付けられた前記利用者の指示に従って画像処理を行うことができる。
前記人物領域周辺にぼかし処理を施すぼかし処理部をさらに備えることができる。
本発明の一側面は、また、利用者を被写体として撮影を行い、撮影画像を生成し、生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成し、生成された前記マスク画像を2値化し、2値化された前記マスク画像の前記人物領域を移動させる移動処理、所定の中心点若しくは中心線を軸として前記人物領域を回転させる回転処理、および、前記人物領域の少なくとも一部を変形する変形処理の内、いずれか1つ以上の処理を実行することにより、前記マスク画像の前記人物領域を幾何学変換し、前記マスク画像の、幾何学変換された前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行い、画像処理された前記マスク画像の前記境界領域の一部と前記撮影画像とを、前記境界領域が前記人物領域内に入らないようにして合成する画像処理方法である。
本発明の一側面は、さらに、利用者を被写体として撮影を行い、撮影画像を生成し、生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成し、生成された前記マスク画像を2値化し、2値化された前記マスク画像の前記人物領域を移動させる移動処理、所定の中心点若しくは中心線を軸として前記人物領域を回転させる回転処理、および、前記人物領域の少なくとも一部を変形する変形処理の内、いずれか1つ以上の処理を実行することにより、前記マスク画像の前記人物領域を幾何学変換し、前記マスク画像の、幾何学変換された前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行い、画像処理された前記マスク画像の前記境界領域の一部と前記撮影画像とを、前記境界領域が前記人物領域内に入らないようにして合成する処理をコンピュータに実行させるプログラムである。
本発明の一側面によれば、利用者を被写体として撮影が行われ、撮影画像が生成され、生成された撮影画像について、その撮影画像全体の領域の内、被写体を表す領域である人物領域と人物領域以外を表す領域である背景領域とを識別するマスク画像が生成され、生成されたマスク画像が2値化され、2値化されたマスク画像の人物領域を移動させる移動処理、所定の中心点若しくは中心線を軸として人物領域を回転させる回転処理、および、人物領域の少なくとも一部を変形する変形処理の内、いずれか1つ以上の処理が実行されることにより、マスク画像の人物領域が幾何学変換され、マスク画像の、幾何学変換された人物領域と背景領域との境界近傍の領域である境界領域に対して画像処理が行われ、画像処理されたマスク画像の境界領域の一部と撮影画像とが、境界領域が人物領域内に入らないようにして合成される。
本発明によれば、より自然な画像を提供することができる。
本発明の一実施の形態に係る写真シール作成装置の外観の構成例を示す斜視図である。 写真シール作成装置の外観を他の角度からみた斜視図である。 利用者の移動について説明する図である。 撮影部の構成例を示す図である。 背景部の構成例を示す図である。 編集部の構成例を示す図である。 事後接客部の構成例を示す図である。 写真シール作成装置の内部の構成例を示すブロック図である。 制御部の主な構成例を示す機能ブロック図である。 編集処理部の主な構成例を示す機能ブロック図である。 オーラ処理部の主な構成例を示す機能ブロック図である。 幾何学変換部の主な構成例を示す機能ブロック図である。 画像処理部の主な構成例を示す機能ブロック図である。 写真シール作成ゲーム処理の流れの例を説明するフローチャートである。 編集処理の流れの例を説明するフローチャートである。 オーラ処理の流れの例を説明するフローチャートである。 移動処理の例を説明する図である。 回転処理の例を説明する図である。 変形処理の例を説明する図である。 変形処理の例を説明する図である。 変形処理の例を説明する図である。 変形処理の例を説明する図である。 幾何学変換処理の流れの例を説明するフローチャートである。 処理選択の例を説明する図である。 中心点・中心軸の位置の例を説明する図である。 画像処理の流れの例を説明するフローチャートである。 編集画面の例を示す図である。 被写体が複数の場合の例を説明する図である。 マスク画像の他の例を説明する図である。 オーラ処理部の他の構成例を示す機能ブロック図である。 オーラ処理の流れの、他の例を説明するフローチャートである。 オーラ処理の流れの、さらに他の例を説明するフローチャートである。 鏡映処理の様子の例を説明する図である。 幾何学変換部の他の構成例を示す機能ブロック図である。 幾何学変換処理の流れの、他の例を説明するフローチャートである。 オーラの付け方の例を説明する図である。 幾何学変換の様子の例を説明する図である。 オーラの付け方の例を説明する図である。 オーラ処理部のさらに他の構成例を示す機能ブロック図である。 オーラ処理の流れの、さらに他の例を説明するフローチャートである。 オーラ処理の様子の例を説明する図である。 オーラ処理の様子の例を説明する図である。 オーラ処理の様子の例を説明する図である。 オーラ処理の様子の例を説明する図である。 オーラ処理の様子の例を説明する図である。 撮影処理部の主な構成例を示す機能ブロック図である。 フォトフィルター撮影処理部の主な構成例を示すブロック図である。 画像加工部の主な構成例を示すブロック図である。 撮影処理の流れの例を説明するフローチャートである。 フォトフィルター撮影処理の流れの例を説明するフローチャートである。 デザイン選択画面の例を示す図である。 デザイン選択ボタンの例を示す図である。 ライブビュー画面の例を示す図である。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
<1.第1の実施の形態>
<写真シール作成装置の外観構成>
図1は、写真シール作成装置1の外観の構成例を示す斜視図である。
写真シール作成装置1は、撮影や編集等の作業を利用者にゲームとして行わせ、撮影画像や編集済み画像を提供する代わりに利用者より代金を受け取るゲーム機である。写真シール作成装置1はゲームセンタ等の店舗に設置される。利用者は1人であることもあるが、主に2人又は3人等の複数人である。
写真シール作成装置1が提供するゲームで遊ぶ利用者は、代金を投入し、自身が被写体となって撮影を行い、撮影によって得られた撮影画像の中から選択した編集対象の画像に対して、背景や前景の画像となる合成用画像や手書きの線画やスタンプ画像を合成する編集機能を用いることにより、撮影画像を彩り豊かな画像に編集する。利用者は、編集済みの画像が印刷されたシール紙を受け取って一連のゲームを終了させることになる。
図1に示すように、写真シール作成装置1は、主に、撮影ユニット11、編集部12、及び事後接客部13から構成される。撮影ユニット11と編集部12が接した状態で設置され、編集部12と事後接客部13が接した状態で設置される。
撮影ユニット11は、撮影部21と背景部22から構成される。撮影部21と背景部22は所定の距離だけ離れて設置され、撮影部21と背景部22の間に形成される空間である撮影空間において撮影処理が行われる。
撮影部21は、利用者を撮影する撮影処理を行う装置である。撮影部21は、撮影空間に入り、撮影処理を行っている利用者の正面に位置する。撮影空間を正面に臨む面を構成する撮影部21の正面パネル41には、撮影処理時に利用者により用いられるタッチパネルモニタ等が設けられる。撮影空間にいる利用者から見て左側の面を左側面、右側の面を右側面とすると、撮影部21の左側面が側面パネル42Aにより構成され、右側面が側面パネル42B(図示せず)により構成される。
側面パネル42Aには、複数個のLED(Light Emitting Diode)が埋め込まれてなるLED発光部42Lが設けられている。側面パネル42Aの表面には、その全体を覆うように、写真シール作成装置1の製造メーカや、その製造メーカと提携している企業の商品やサービス等の広告が印刷されたアクリル板等から構成されるポップ(POP(point of purchasing advertising))広告が装着される。そのPOP広告のLED発光部42Lに対応する部分には、広告として特にアピールされる情報が印刷され、LED発光部42Lの発光によりその情報が強調されるようになる。LED発光部42Lは、図示せぬ側面パネル42Bにも設けられるようにしてもよいし、側面パネル42A,側面パネル42Bのいずれか一方のみに設けられるようにしてもよい。
背景部22は、正面を向いて撮影処理を行っている利用者の背面側に位置する板状の部材である背面パネル51、背面パネル51の左端に取り付けられ、側面パネル42Aより横幅の狭い板状の部材である側面パネル52A、及び、背面パネル51の右端に取り付けられ、側面パネル42Bより横幅の狭い板状の部材である側面パネル52B(図示せず)から構成される。
撮影部21の左側面を構成する側面パネル42Aと背景部22の側面パネル52Aは、ほぼ同一平面に設けられ、それぞれの上部が板状の部材である連結部23Aによって、それぞれの下部が、例えば金属製の略コの字型の部材である連結部23A’によって連結される。また、図示されないが、撮影部21の右側面を構成する側面パネル42Bと背景部22の側面パネル52Bは、ほぼ同一平面に設けられ、それぞれの上部が板状の部材である連結部23Bによって、それぞれの下部が、例えば金属製の略コの字型の部材である連結部23B’によって連結される。
撮影部21の側面パネル42A、連結部23A、及び背景部22の側面パネル52Aに囲まれることによって形成される開口が撮影空間の出入り口G1となる。図示されないが、撮影部21の側面パネル42B、連結部23B、及び背景部22の側面パネル52Bに囲まれることによって形成される開口も撮影空間の出入り口G2となる。
背景部22の上部には、背面パネル51、側面パネル52A、及び側面パネル52Bに支持される形で背景カーテンユニット25が設けられる。背景カーテンユニット25には、色又は柄の異なる、背景に利用される巻き取り式の背景カーテンが複数収納される。背景カーテンユニット25は、撮影部21に設けられたカメラ等による撮影と連動して動作し、撮影の際に、例えば利用者により選択された色のカーテンを下ろし、その他のカーテンを巻き取る。
なお、背景カーテンユニット25に収納される背景カーテンとしては、複数枚のカーテンを1枚のクロマキー用のカーテンとして使用する昇降式カーテンを用意してもよい。また、クロマキー用のカーテンを予め撮影空間の背面となる背面パネル51に張り付けるとともに、合成用の背景画像を複数種類用意し、撮影処理や編集処理において、利用者が所望する背景画像をカーテンの部分に合成することができるようにしてもよい。
撮影空間の上方には、撮影部21の正面パネル41、連結部23A、連結部23B、及び背景カーテンユニット25に囲まれる開口が形成され、その開口の一部を覆うように天井ストロボユニット24が設けられる。天井ストロボユニット24の一端が連結部23Aに固定され、他端が連結部23Bに固定される。天井ストロボユニット24は、撮影に合わせて撮影空間内に向けて発光するストロボを内蔵する。天井ストロボユニット24を構成するストロボの内部には蛍光灯が設けられており、撮影空間の照明としても機能する。
編集部12は、撮影処理によって得られた画像を編集する処理である編集処理を利用者に行わせる装置である。編集部12は、一方の側面が撮影部21の正面パネル41の背面に接するように撮影ユニット11に連結して設けられる。編集部12には、編集処理時に利用者により用いられるタブレット内蔵モニタ等の構成が設けられる。
図1に示す編集部12の構成を正面側の構成とすると、2組の利用者が同時に編集処理を行うことができるように、編集部12の正面側と背面側には編集処理に用いられる構成がそれぞれ設けられる。
編集部12の正面側は、床面に対して垂直な面であり、側面パネル42Aとほぼ平行な面である面71と、面71の上方に形成された斜面72から構成され、編集処理に用いられる構成が斜面72に設けられる。斜面72の左側には、柱状の形状を有し、照明装置74の一端を支持する支持部73Aが設けられる。支持部73Aの上面にはカーテンレール26を支持する支持部75が設けられる。斜面72の右側にも、照明装置74の他端を支持する支持部73B(図2)が設けられる。
編集部12の上方にはカーテンレール26が取り付けられる。カーテンレール26は、上から見たときの形状がコの字状となるように3本のレール26A乃至26Cを組み合わせて構成される。平行に設けられるレール26Aと26Bの一端は、連結部23Aと連結部23Bにそれぞれ固定され、他端に残りの一本のレール26Cの両端が接合される。
カーテンレール26には、編集部12の正面前方の空間と背面前方の空間の内部が外から見えないようにカーテンが取り付けられる。カーテンレール26に取り付けられたカーテンにより囲まれる編集部12の正面前方の空間と背面前方の空間が、利用者が編集処理を行う編集空間となる。
図2は、写真シール作成装置1を別の角度から見た斜視図である。
事後接客部13は事後接客処理を利用者に行わせる装置である。事後接客処理には、撮影画像や編集済みの画像を携帯電話機等の携帯端末に送信する処理、ミニゲームを利用者に行わせる処理、アンケートに答えさせる処理等が含まれる。
図2に示すように、事後接客部13は、所定の厚さを有する板状の筐体をその一部として有しており、残りの部分は編集部12の左側面と一体に設けられる。事後接客部13の正面には、事後接客処理時に利用者により用いられるタブレット内蔵モニタや、撮影画像や編集済みの画像が印刷されたシール紙が排出される排出口等が設けられる。事後接客部13の正面前方の空間が、シール紙への印刷が終わるのを待っている利用者が事後接客処理を行う事後接客空間となる。
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について図3を参照して説明する。図3は、写真シール作成装置1を上から見た平面図である。
写真シール作成装置1の利用者は、白抜き矢印#1で示すように出入り口G1から、又は白抜き矢印#2で示すように出入り口G2から、撮影部21と背景部22の間に形成された撮影空間A1に入り、撮影部21に設けられたカメラやタッチパネルモニタ等を利用して撮影処理を行う。
撮影処理を終えた利用者は、白抜き矢印#3で示すように出入り口G1を使って撮影空間A1から出て編集空間A2−1に移動するか、白抜き矢印#4で示すように出入り口G2を使って撮影空間A1から出て編集空間A2−2に移動する。
編集空間A2−1は、編集部12の正面側の編集空間であり、編集空間A2−2は、編集部12の背面側の編集空間である。編集空間A2−1と編集空間A2−2のいずれの空間に移動するのかが、撮影部21のタッチパネルモニタの画面表示等によって案内される。例えば2つの編集空間のうちの空いている方の空間が移動先として案内される。編集空間A2−1又は編集空間A2−2に移動した利用者は編集処理を開始する。編集空間A2−1の利用者と、編集空間A2−2の利用者は同時に編集処理を行うことができる。
編集処理が終了した後、撮影画像や編集済みの画像の中から選択された画像の印刷が開始される。画像の印刷中、編集処理を終えた利用者は、編集空間A2−1で編集処理を行っていた場合には白抜き矢印#5で示すように編集空間A2−1から事後接客空間A3に移動して事後接客処理を行う。また、編集処理を終えた利用者は、編集空間A2−2で編集処理を行っていた場合には白抜き矢印#6で示すように編集空間A2−2から事後接客空間A3に移動し、事後接客空間A3において事後接客処理を行う。
画像の印刷が終了したとき、利用者は、事後接客部13に設けられた排出口からシール紙を受け取り、一連の写真シール作成ゲームを終えることになる。
次に、各装置の構成について説明する。
<撮影部の構成>
図4は、撮影部21の正面の構成例を示す図である。撮影部21は、正面パネル41、側面パネル42A、及び側面パネル42Bが、箱状の形状を有するベース部43に取り付けられることによって構成される。
正面パネル41は撮影空間A1で撮影処理を行う利用者の正面に位置し、側面パネル42Aと側面パネル42Bは、それぞれ、撮影空間A1で撮影処理を行う利用者の左側、右側に位置する。
正面パネル41のほぼ中央には撮影・表示ユニット81が設けられる。撮影・表示ユニット81は、カメラ91、タッチパネルモニタ92、乳白アクリル板93から構成される。
カメラ91は、レンズやCCD(Charge Coupled Device)等の撮像素子により構成され、撮影空間A1にいる利用者を撮影する。カメラ91により取り込まれた動画像は、タッチパネルモニタ92にリアルタイムで表示される。利用者により撮影が指示されたとき等の所定のタイミングでカメラ91により取り込まれた画像は撮影画像(静止画像)として保存される。
カメラ91の下側に設けられたタッチパネルモニタ92は、LCD(Liquid Crystal Display)等のモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ92は、カメラ91により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUI(Graphical User Interface)画像を表示し、利用者の選択操作をタッチパネルにより受け付ける機能とを備えている。タッチパネルモニタ92には、適宜、撮影結果としての静止画像や、背景等の画像が合成された後の動画像が表示される。
カメラ91の上側及び左右を囲うように複数設けられた乳白アクリル板93の背後には、他のストロボと同様に、カメラ91による撮影に合わせて発光し、被写体としての利用者の顔付近を正面から照射する蛍光灯及びストロボ発光可能な照明装置が設けられている。
正面パネル41には、撮影・表示ユニット81の上方に上ストロボ82が設置され、上ストロボ82は、利用者を上前方から照射する。
ベース部43には利用者の足元を照射する足元ストロボ83も設けられる。上ストロボ82及び足元ストロボ83の内部には蛍光灯が設けられており、天井ストロボユニット24を構成するストロボの内部の蛍光灯と合わせて、撮影空間A1内の照明として用いられる。各蛍光灯の発光量が調整されることによって、又は、発光させる蛍光灯の数が調整されることによって、撮影空間A1内の明るさが、利用者が行っている撮影処理の内容に応じて適宜調整される。
足元ストロボ83の右側には、利用者がお金を投入する硬貨投入返却口84が設けられる。
ベース部43の上面の左右に形成されるスペース43A及び43Bは、撮影処理を行う利用者が手荷物等を置くための荷物置き場として用いられる。正面パネル41の例えば天井付近には、撮影処理の案内音声、BGM(Back Ground Music)、効果音等の音を出力するスピーカも設けられる。
<背景部の構成>
図5は、背景部22の撮影空間A1側の構成例を示す図である。
上述したように、背面パネル51の上方には背景カーテンユニット25が設けられる。背景カーテンユニット25のほぼ中央には、撮影空間A1内で撮影処理を行っている利用者を後方中央から照射する背面中央ストロボ101が取り付けられる。
背面パネル51の、出入り口G1側の位置には、撮影空間A1内で撮影処理を行っている利用者を左後方から照射する背面左ストロボ102が取り付けられる。また、背面パネル51の、出入り口G2側の位置には、撮影空間A1内で撮影処理を行っている利用者を右後方から照射する背面右ストロボ103が取り付けられる。
<編集部の構成>
図6は、編集部12の正面側(編集空間A2−1側)の構成例を示す図である。
斜面72のほぼ中央には、タブレット内蔵モニタ131が設けられる。タブレット内蔵モニタ131を挟んで左側にタッチペン132Aが設けられ、右側にタッチペン132Bが設けられる。
タブレット内蔵モニタ131は、タッチペン132A又は132Bを用いて操作入力が可能なタブレットがLCD等のモニタに重畳して設けられることによって構成される。タブレット内蔵モニタ131には、例えば、編集対象画像として選択された撮影画像の編集に用いられる画面である編集画面が表示される。2人で同時に編集作業を行う場合、タッチペン132Aは一方の利用者により用いられ、タッチペン132Bは他方の利用者により用いられる。
編集部12の左側には事後接客部13が設けられる。
<事後接客部の構成>
図7は、事後接客部13の正面側の構成例を示す図である。
事後接客部13の上方中央にはタブレット内蔵モニタ161が設けられる。タブレット内蔵モニタ161を挟んで左側にタッチペン162Aが設けられ、右側にタッチペン162Bが設けられる。タブレット内蔵モニタ161もタブレット内蔵モニタ131と同様に、タッチペン162A又は162Bを用いて操作入力が可能なタブレットがLCD等のモニタに重畳して設けられることによって構成される。タブレット内蔵モニタ161には、ミニゲーム等の事後接客処理に用いられる画面が表示される。
タブレット内蔵モニタ161の下にはシール紙排出口163が設けられ、タブレット内蔵モニタ161の上にはスピーカ164が設けられる。
シール紙排出口163には、編集空間A2−1の利用者が編集処理を行うことによって作成した画像が印刷されたシール紙、又は、編集空間A2−2の利用者が編集処理を行うことによって作成した画像が印刷されたシール紙が排出される。編集部12の内部にはプリンタが設けられており、画像の印刷がそのプリンタにより行われる。
スピーカ164は、事後接客処理の案内音声、BGM、効果音等の音を出力する。
<写真シール作成装置の内部構成>
次に、写真シール作成装置1の内部構成について説明する。図8は、写真シール作成装置1の内部の構成例を示すブロック図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
制御部201はCPU(Central Processing Unit)等よりなり、ROM(Read Only Memory)206や記憶部202に記憶されているプログラムを実行し、写真シール作成装置1の全体の動作を制御する。制御部201には、記憶部202、通信部203、ドライブ204、ROM206、RAM(Random Access Memory)207が接続される。制御部201には、撮影部208、編集部209、及び事後接客部210の各構成も接続される。
記憶部202は、ハードディスクやフラッシュメモリ等の不揮発性の記憶媒体からなり、制御部201から供給された各種の設定情報を記憶する。記憶部202に記憶されている情報は制御部201により適宜読み出される。
通信部203は、インターネット等のネットワークのインタフェースであり、制御部201による制御に従って外部の装置と通信を行う。
ドライブ204には、光ディスクや半導体メモリ等よりなるリムーバブルメディア205が適宜装着される。ドライブ204によりリムーバブルメディア205から読み出されたコンピュータプログラムやデータは、制御部201に供給され、記憶部202に記憶されたり、インストールされたりする。
ROM206には、制御部201において実行されるプログラムやデータが記憶されている。RAM207は、制御部201が処理するデータやプログラムを一時的に記憶する。
撮影部208は、撮影空間A1における撮影処理を行う構成である硬貨処理部221、背景制御部222、照明装置223、カメラ91、タッチパネルモニタ92、及びスピーカ224から構成される。
硬貨処理部221は、硬貨投入返却口87に対する硬貨の投入を検出する。硬貨処理部221は、例えば400円等の所定の金額分の硬貨が投入されたことを検出した場合、そのことを表す起動信号を制御部201に出力する。
背景制御部222は、制御部201より供給される背景制御信号に従って背景カーテンユニット25に収納されている背景カーテンの上げ下ろしを行う。背景カーテンの選択が利用者により手動で行われるようにしてもよい。
照明装置223は、撮影空間A1内の各ストロボの内部に設けられる蛍光灯であり、制御部201より供給される照明制御信号に従って発光する。上述したように、撮影空間A1には、天井ストロボユニット24のストロボの他に、撮影部21に設けられる上ストロボ82、背景部22に設けられる背面中央ストロボ101、背面左ストロボ102,背面右ストロボ103が設けられている。また、乳白アクリル板93の背後にも、照明装置223としての蛍光灯が設けられている。
また、照明装置223は、制御部201による制御に従って発光量を調整することによって、利用者が行っている撮影作業の段階に応じて撮影空間A1内の明るさを調整する。
カメラ91は、制御部201による制御に従って撮影を行い、撮影によって得られた画像を制御部201に出力する。
編集部209Aは、編集空間A2−1における編集処理を行う構成として編集部12の正面側に設けられるタブレット内蔵モニタ131、タッチペン132A,132B、及びスピーカ231から構成される。編集部209Bも編集部209Aと同一の構成を有しており、編集空間A2−2における編集処理を行う。
タブレット内蔵モニタ131は、制御部201による制御に従って編集画面を表示し、編集画面に対する利用者の操作を検出する。利用者の操作の内容を表す信号は制御部201に供給され、編集対象の撮影画像の編集が行われる。
事後接客部210は、事後接客空間A3における事後接客処理を行う構成であるタブレット内蔵モニタ161、タッチペン162A,162B、スピーカ164、印刷処理を行う構成であるプリンタ241、及びシール紙ユニット242から構成される。
プリンタ241は、撮影画像、又は編集処理によって得られた編集済みの画像を、プリンタ241に装着されたシール紙ユニット242に収納されているシール紙に印刷し、シール紙排出口163に排出する。
<制御部の構成>
次に、制御部201について説明する。図9は、制御部201がROM206等に格納されているプログラムを実行することにより実現される機能ブロックの構成例を示している。
制御部201は、写真シール作成ゲームを開始する際に投入される代金に関する処理や利用者グループを撮影する等の写真シール作成ゲームの撮影作業の工程に関する処理を行う撮影処理部301、撮影画像に対する落書き編集等の写真シール作成ゲームの編集作業の工程に関する処理を行う編集処理部302、シール紙の印刷等の写真シール作成ゲームの印刷の工程に関する処理を行う印刷処理部303、及び、編集作業を終了した利用者グループを接客する写真シール作成ゲームの事後接客の工程に関する処理を行う事後接客処理部304を有する。
つまり、制御部201は、写真シール作成ゲームの各工程に関する処理の制御を行う。
<編集処理部の構成>
図10は、編集処理部302の主な構成例を示す図である。
編集処理部302は、編集部209Aを制御し、編集空間A2−1において行われる撮影画像に対する落書き編集等に関する処理を行う。また、編集処理部302は、編集部209Bを制御し、編集空間A2−2において行われる撮影画像に対する落書き編集等に関する処理を行う。
図10に示されるように、編集処理部302は、撮影画像取得部321、画像設定部322、オーラ処理部323、落書き編集部324、分割数設定部325、および移動案内部326を有する。
撮影画像取得部321は、撮影空間A1における撮影処理により得られる撮影画像(被写体の画像)を取得する。
画像設定部322は、撮影画像の目の大きさの調整、撮影画像の明るさの調整、落書き編集する画像(キープ画像)の選択、利用者名(おなまえ)の入力、背景選択ガイダンス(例えば、画像表示や音声出力等)、カラー選択、並びに背景選択等の、画像に関する各種設定作業を利用者に行わせる。
オーラ処理部323は、撮影画像に対して、オーラ(又は影)のような効果を付与する画像を合成するオーラ処理を行う。
落書き編集部324は、編集空間A2−1や編集空間A2−2において行われる、利用者による撮影画像に対する落書き編集作業に関する処理を行う。
分割数設定部325は、写真シールとして提供するシール紙の分割数を設定する。シール紙の、分割された各領域に落書き編集された撮影画像が印刷される。つまり、分割数設定部325の処理により、写真シールのレイアウトが決定される。
移動案内部326は、利用者に対して、編集空間A2−1や編集空間A2−2から事後接客空間A3への移動を促す案内(例えば、画像表示や音声出力等)に関する処理を行う。
<オーラ処理部>
図11は、オーラ処理部323の主な構成例を示す図である。
図11に示されるように、オーラ処理部323は、マスク画像生成部341、2値化処理部342、幾何学変換部343、ぼかし処理部344、境界領域設定部345、画像処理部346、および合成部347を有する。
マスク画像生成部341は、撮影画像について、その撮影画像全体の領域の内、被写体を表す領域(すなわち、被写体の画像に相当する部分領域)である人物領域と、その人物領域以外を表す領域(すなわち、人物領域以外の部分領域)である背景領域とを識別するマスク画像を生成する。
2値化処理部342は、マスク画像生成部341により生成されたマスク画像を2値化する。
幾何学変換部343は、2値化処理部342により2値化されたマスク画像の人物領域の一部若しくは全部を含む所定の範囲を幾何学変換する。ここで、幾何学変換とは、例えば、拡大、縮小、移動、回転、変形、鏡映(写像)、投影(射影)等のような、処理対象の画像(上述した「所定の範囲」)の少なくとも一部の、座標変換、除去、若しくは追加等の処理を伴う変換処理である。つまり、幾何学変換は、このように画像を視覚的に変換する処理であればどのようなものであってもよく、上述した例に限らない。
ぼかし処理部344は、マスク画像の人物領域周辺の領域に対して、画像を視覚的にぼかす(より不鮮明にする)ぼかし処理を行う。
境界領域設定部345は、マスク画像の人物領域と背景領域との境界近傍の所定の範囲の領域を境界領域に設定する。
画像処理部346は、境界領域設定部345により設定された境界領域と人物領域に対して画像処理を施す。
合成部347は、画像処理部346により画像処理されたマスク画像と、撮影画像とを合成し、合成画像を生成する。
<幾何学変換部>
図12は、幾何学変換部343の主な構成例を示す図である。
図12に示されるように、幾何学変換部343は、選択部361、移動処理部362、回転処理部363、および変形処理部364を有する。
選択部361は、移動処理部362乃至変形処理部364の中から、実行する幾何学変換処理に対応する処理部を選択する。
移動処理部362は、選択部361により選択された場合、幾何学変換として、処理対象の位置を変更(つまり移動)させる移動処理を行う。例えば、移動処理部362は、マスク画像の人物領域を移動させる。この移動の距離や方向は、予め定められていてもよいが、所定の処理条件やユーザ指示等に基づいて設定されるようにしてもよい。
図12に示されるように、移動処理部362は、設定部371および移動部372を有する。設定部371は、移動の距離や方向等、移動に関するパラメータの値を設定する。移動部372は、設定部371により行われた設定に従って、対象(例えば人物領域)を移動させる。
回転処理部363は、選択部361により選択された場合、幾何学変換として、処理対象を回転させる回転処理を行う。例えば、回転処理部363は、所定の中心点若しくは中心線を軸として、マスク画像の人物領域を、所定の角度回転させる。この回転の角度や方向、並びに、中心点若しくは中心線の位置や向きは、予め定められていてもよいが、所定の処理条件やユーザ指示等に基づいて設定されるようにしてもよい。
図12に示されるように、回転処理部363は、設定部373および回転部374を有する。設定部373は、中心点や中心線の位置や向き、並びに、回転の角度や方向等、回転に関するパラメータの値を設定する。回転部374は、設定部373により行われた設定に従って、対象(例えば人物領域)を回転させる。
変形処理部364は、選択部361により選択された場合、幾何学変換として、処理対象を変形させる変形処理を行う。例えば、変形処理部364は、マスク画像の人物領域の一部を含む所定の範囲を変形する。例えば、変形処理部364は、長方形の領域を平行四辺形に形状変換する。このような変形の仕方や変形の程度等は、予め定められていてもよいが、所定の処理条件やユーザ指示等に基づいて設定されるようにしてもよい。
図12に示されるように、変形処理部364は、設定部375および変形部376を有する。設定部375は、変形の仕方やその程度等、変形に関するパラメータの値を設定する。変形部376は、設定部375により行われた設定に従って、対象(例えば人物領域の一部を含む所定の範囲)を変形させる。
<画像処理部>
図13は、画像処理部346の主な構成例を示す図である。
図13に示されるように、画像処理部346は、色彩設定部391、濃淡設定部392、および透過度設定部393を有する。
色彩設定部391は、マスク画像の境界領域と人物領域の色彩の設定を行う。濃淡設定部392は、マスク画像の境界領域と人物領域の色彩の濃淡の設定を行う。透過度設定部393は、マスク画像の境界領域と人物領域の透過度の設定を行う。
<写真シール作成装置ゲーム処理の流れ>
次に、図14のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成ゲーム処理の流れの例を説明する。
ステップS1において、撮影処理部301は、所定の金額分の硬貨が投入されたか否かを硬貨処理部221から供給される信号に基づいて判定し、投入されたと判定するまで待機する。
ステップS1において、硬貨が投入されたと判定された場合、ステップS2において、撮影処理部301は、利用者を被写体とする撮影を行う撮影処理を行う。この撮影処理では、利用者の顔又は上半身を撮影するアップ撮影や、利用者の全身を撮影する全身撮影が行われる。
例えば、アップ撮影を複数回行った後、ボーナス撮影(追加の撮影)として、全身撮影を行うようにしてもよい。なお、撮影の仕方が互いに異なる複数のコースを予め用意し、利用者が選択したコースで撮影処理が行われるようにしてもよい。
この撮影処理における撮影回数(得られる撮影画像の枚数)は、任意であるが、落書き編集する編集画像(若しくはシール紙に印刷する画像)の数よりも多くするのが望ましい。このようにすることにより、利用者が得られた撮像画像の中から、編集画像とするものを選択することができ、例えば撮影に失敗した画像を除く等、より利用者の好みに適した画像を提供することができる。
ステップS3において、撮影処理部301は、撮影空間A1にいる利用者に対して、編集空間A2−1又は編集空間A2−2への移動を案内する。編集空間A2−1又は編集空間A2−2への移動の案内は、撮影部208のタッチパネルモニタ92に画面を表示させることによって、又は音声をスピーカ224から出力させることによって行われる。
ステップS4において、編集処理部302は、編集空間A2−1と編集空間A2−2のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部209を制御し、編集処理を行う。具体的には、編集処理部302は、編集対象画像として選択された撮影画像に合成する合成用画像を利用者に選択させ、選択された合成用画像を撮影画像に合成させ、得られた合成画像に対して、利用者による編集操作に従って編集を行う。
ステップS5において、編集処理部302(の移動案内部326)は、編集空間A2−1又は編集空間A2−2で編集処理を終えた利用者に対して事後接客空間A3への移動を案内する。事後接客空間A3への移動の案内は、タブレット内蔵モニタ131に画面を表示させることによって、又は音声をスピーカ231から出力させることによって行われる。
ステップS6において、印刷処理部303は、例えば、撮影画像や編集済み画像のうち、利用者により選択された画像をプリンタ241に出力してシール紙に印刷させる印刷処理を行う(開始する)。
また、タブレット内蔵モニタ161に表示される、事後接客処理の開始ボタンが選択されると、ステップS7において、事後接客処理部304は、印刷終了待機中の利用者に対する事後接客処理を行う。具体的には、事後接客処理部304は、撮影画像や編集済み画像を携帯端末に送信する携帯送信ゲーム処理を事後接客処理として行い、携帯端末の電子メールアドレスを入力させたり、送信する画像を選択させたり、利用者による操作に応じて画像を送信したりする。
印刷が終了すると、ステップS8において、事後接客処理部304は、印刷が終了した旨をタブレット内蔵モニタ161に表示させ、プリンタ241は、画像が印刷されたシール紙をシール紙排出口163に排出し、処理を終了させる。
<編集処理の流れ>
次に、図15のフローチャートを参照して、図14のステップS4において実行される編集処理の流れの例を説明する。
編集処理が開始されると、ステップS21において、撮影画像取得部321は、撮影処理部301の制御により得られた撮影画像を取得する。
ステップS22において、画像設定部322は、利用者が編集作業を行う編集空間(編集空間A2−1と編集空間A2−2のいずれか)の編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、利用者に撮影画像の目のサイズや画像の明るさを選択させる。
ステップS23において、画像設定部322は、編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、撮影処理により得られた撮影画像の中から落書き編集を行うためにキープするキープ画像を選択させる。
ステップS24において、画像設定部322は、編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、利用者の名前(おなまえ)を入力させる。
ステップS25において、画像設定部322は、編集空間タブレット内蔵モニタ131やスピーカ231等を制御して、背景選択の仕方を案内する画像や音声を出力することにより、利用者に対して背景選択のガイダンスを行う。
ステップS26において、画像設定部322は、編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、撮影画像(キープ画像)の背景の色(カラー)を選択させる。
ステップS27において、画像設定部322は、編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、撮影画像(キープ画像)の背景を選択させる。
ステップS28において、オーラ処理部323は、撮影画像(キープ画像)にオーラを付与するオーラ処理を行う。
ステップS29において、落書き編集部324は、編集空間タブレット内蔵モニタ131やスピーカ231等を制御して、落書き作業の流れを案内する画像や音声を出力することにより、利用者に対して落書き作業のガイダンスを行う。
ステップS30において、落書き編集部324は、編集部209A若しくは編集部209B(利用者が編集作業を行う方)の各部を制御して、利用者による撮影画像に対する落書き作業を受け付ける落書き編集処理を行う。
落書き作業が終了すると、ステップS31において、分割数設定部325は、編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、シール紙の分割数を選択させる。
ステップS31の処理が終了すると、処理は、図14に戻る。
<オーラ処理の流れ>
次に、図16のフローチャートを参照して、図15のステップS28において実行されるオーラ処理の流れの例を説明する。
オーラ処理が開始されると、マスク画像生成部341は、ステップS51において、編集処理のステップS21において取得された撮影画像からマスク画像を生成する。
ステップS52において、2値化処理部342は、マスク画像を2値化する2値化処理を行い、マスク画像の人物領域を白画素とし、背景領域を黒画素とする。
ステップS53において、幾何学変換部343は、マスク画像の人物領域を幾何学変換する幾何学変換処理を行う。
ステップS54において、ぼかし処理部344は、マスク画像の人物領域の周辺をぼかすぼかし処理を行う。
ステップS55において、境界領域設定部345は、マスク画像の人物領域と背景領域との境界近傍の領域である境界領域を設定する。
ステップS56において、画像処理部346は、マスク画像の、ステップS55において設定された境界領域と人物領域に対して、画像処理を行う。
ステップS57において、合成部347は、ステップS56において画像処理が施されたマスク画像と、そのマスク画像に対応する撮影画像とを合成し、合成画像を生成する。
ステップS57の処理が終了すると、オーラ処理が終了し、処理は、図15に戻る。
<オーラ処理の例>
以上のようなオーラ処理をより詳細に説明する。
図17は、幾何学変換処理として移動処理を行う場合の、オーラ処理の様子を説明する図である。
ステップS51の処理により、例えば、図17Aに示される撮影画像401から、図17Bに示されるマスク画像402が生成される。撮影画像401において被写体を表す領域401Aが、マスク画像402において人物領域402Aに設定され、撮影画像401の被写体以外を表す領域401Bが、マスク画像402において背景領域402Bに設定される。つまり、マスク画像402においては、人物領域402Aと背景領域402Bとが識別される。
ステップS52の2値化処理により、このマスク画像402が2値化され、図17Cに示されるように、人物領域402Aが白に設定され、背景領域402Bが黒に設定される。
ステップS53の幾何学変換処理により、図17Dに示されるように、人物領域402Aの位置が移動される。図17Dの例の場合、人物領域402Aが、図17Dに向かって右に移動されている(402A’)。移動処理の詳細については、後述する。
ステップS54のぼかし処理により、図17Eに示されるように、移動後の人物領域402A’の周辺402Cに対してぼかし効果のあるフィルタ処理が施される。ぼかし処理を施すことにより、マスク画像402の人物領域402A’と背景領域402Bとの境界を曖昧にし、合成画像において、オーラが滑らかに(視覚的に違和感の少ない、より自然な状態で)撮影画像に合成されるようにすることができる。
ステップS55の処理により、図17Fに示されるように、人物領域402A’と背景領域402Bの境界近傍に境界領域402Dが設定される。この境界領域402Dは、例えば、排他的論理和を用いて算出される。この境界領域402Dには、周辺402Cが含まれる。従って、例えば、ステップS54のぼかし処理において、ぼかし具合を表すぼかし度を高くすることで、境界領域402Dの幅を広くすることができる。
また、この境界領域402Dは、その周辺402Cと一致させてもよいし、図17Fに示される例のように、人物領域402A’の一部をさらに含むようにしてもよい。
ステップS56の処理により、図17Gに示されるように、境界領域402Dに対して、例えば色彩の設定、色彩の濃淡の設定、透過度の設定等の、所定の画像処理が施される。
ステップS57の処理により、図17Hに示されるように、図17Aの撮影画像401に、図17Gの境界領域402Dの一部が合成された合成画像403が生成される。つまり、撮影画像401に、画像処理が施された図17Gの境界領域402Dの画像が、オーラとして付与される。
このように、オーラ処理において、マスク画像の人物領域の移動(幾何学的変換)を行うことにより、図17Hに示されるように、被写体に対して一方(図17Hの例の場合、図17Hに向かって右側)に偏った状態でオーラを付与することができる。例えば、オーラは被写体の影のようにも見えるので、このようなオーラの付与により、被写体(被写体を表す領域401A)の、図17Hに向かって左側から光が当たっているように見える効果を与えることができる。つまり、オーラ処理部323が以上のようにオーラ処理を行うことにより、写真シール作成装置1は、より自然な画像を提供することができる。
なお、ステップS56の画像処理は、境界領域402Dだけでなく、人物領域402A’に対しても施されるようにしてもよい。例えば、ステップS53の幾何学変換処理(移動処理)における人物領域402Aの移動量が大きく、ステップS57の合成の結果得られる合成画像403において、境界領域402Dだけでなく、人物領域402A’も表示される場合がある。このような場合、例えば色彩の設定等の画像処理が、これらの領域(少なくとも合成画像403において表示されている部分)に対して施されるようにしてもよい。
また、複数種類の画像処理が施される場合、各画像処理が施される領域が互いに同一でない(一部の画像処理のみが施される領域が存在しうる)ようにしてもよい。例えば、色彩の設定が人物領域402A’および境界領域402Dに対して行われ、色彩の濃淡や透過度の設定が境界領域402Dに対してのみ行われるようにしてもよい。
なお、幾何学的変換は、上述した「移動」に限らない。例えば、人物領域の「回転」であってもよい。
図18は、幾何学変換処理として回転処理を行う場合の、オーラ処理の様子を説明する図である。
回転処理の場合も、移動処理の場合と同様に、ステップS51の処理により、例えば、図18Aに示される撮影画像411から、図18Bに示されるマスク画像412が生成される。撮影画像411において被写体を表す領域411Aが、マスク画像412において人物領域412Aに設定され、撮影画像411の被写体以外を表す領域411Bが、マスク画像412において背景領域412Bに設定される。
ステップS52の2値化処理により、このマスク画像412が2値化され、図18Cに示されるように、人物領域412Aが白に設定され、背景領域412Bが黒に設定される。
ステップS53の幾何学変換処理により、図18Dに示されるように、人物領域412Aが回転される。図18Dの例の場合、人物領域412Aが、その下端中央付近を中心点412Pとして、図18Dに向かって右(時計回り)に回転されている(412A’)。回転処理の詳細については、後述する。
ステップS54のぼかし処理により、図18Eに示されるように、回転後の人物領域412A’の周辺412Cに対してぼかし効果のあるフィルタ処理が施される。
ステップS55の処理により、図18Fに示されるように、人物領域412A’と背景領域412Bの境界近傍に境界領域412Dが設定される。この境界領域412Dは、例えば、排他的論理和を用いて算出される。この境界領域412Dには、人物領域412A’の周辺412Cが含まれる。従って、例えば、ステップS54のぼかし処理において、ぼかし具合を表すぼかし度を高くすることで、境界領域402Dの幅を広くすることができる。
また、この境界領域412Dは、その周辺412Cと一致させてもよいし、図18Fに示される例のように、人物領域412A’の一部をさらに含むようにしてもよい。
ステップS56の処理により、図18Gに示されるように、境界領域412Dに対して、例えば色彩の設定、色彩の濃淡の設定、透過度の設定等の、所定の画像処理が施される。
ステップS57の処理により、図18Hに示されるように、図18Aの撮影画像411に、図18Hの境界領域412Dの一部や人物領域412A’の一部が合成された合成画像413が生成される。つまり、撮影画像411に、画像処理が施された図18Gの境界領域412Dの画像が、オーラとして付与される。
このように、オーラ処理において、マスク画像の人物領域の回転(幾何学的変換)を行うことにより、図18Hに示されるように、被写体に対して一方(図18Hの例の場合、図18Hに向かって右側)に偏った状態、特に上側が強調された状態でオーラを付与することができる。例えば、オーラは被写体の影のようにも見えるので、このようなオーラの付与により、被写体(被写体を表す領域411A)の、図18Hに向かって左下側から光が当たっているように見える効果を与えることができる。つまり、オーラ処理部323が以上のようにオーラ処理を行うことにより、写真シール作成装置1は、より自然な画像を提供することができる。
より具体的には、図17を参照して上述した移動処理の場合、被写体を表す領域401Aに対して、一定の幅のオーラが付与されるが、回転処理の場合、図18Hのごとく、一定ではなく、よりリアルな状態でオーラが付与されるようにすることができる。
なお、ステップS56の画像処理は、境界領域412Dだけでなく、人物領域412A’に対しても施されるようにしてもよい。例えば、ステップS53の幾何学変換処理(回転処理)における人物領域412Aの回転量(回転角)が大きく、ステップS57の合成の結果得られる合成画像413において、境界領域412Dだけでなく、人物領域412A'も表示される場合がある。このような場合、例えば色彩の設定等の画像処理が、これらの領域(少なくとも合成画像413において表示されている部分)に対して施されるようにしてもよい。また、複数種類の画像処理が施される場合、各画像処理が施される領域が互いに同一でない(一部の画像処理のみが施される領域が存在しうる)ようにしてもよい。
さらに、幾何学的変換は、例えば、人物領域の少なくとも一部の「変形」であってもよい。
図19乃至図22は、幾何学変換処理として変形処理を行う場合の、オーラ処理の様子を説明する図である。
変形処理の場合も、移動処理の場合と同様に、ステップS51の処理により、例えば、図19に示される撮影画像421から、図20に示されるマスク画像422が生成される。撮影画像421において被写体の部分421Aが、マスク画像422において人物領域422Aに設定され、撮影画像421の被写体以外の部分421Bが、マスク画像422において背景領域422Bに設定される。
ステップS52の2値化処理により、図20に示されるように、このマスク画像422が2値化され、人物領域422Aが白に設定され、背景領域422Bが黒に設定される。
ステップS53の幾何学変換処理により、人物領域422Aの少なくとも一部を含む領域が変形される。
例えば、図21の矢印Q11に示すように、利用者の領域HR11が抽出されたマスク画像MS11の、下部領域DR11に対して変形処理が施され、矢印Q12に示すように変形後の下部領域DR11が、変形下部領域TR11とされる。
この例では、下部領域DR11の図中、下側の辺(以下、下辺と称する)が固定されたまま、下部領域DR11の図中、上側の辺(以下、上辺と称する)が、図中、左方向に幅Wxだけ移動するように、下部領域DR11に対して変形処理が施されている。すなわち、下部領域DR11の左右の端にある辺が所定の角度だけ傾けられて(例えば、下部領域DR11の左右の端にある辺の、水平方向からの角度θが、θ=90°からθ=120°に傾けられて)、平行四辺形状の変形下部領域TR11とされている。ここで、変形処理における幅Wxは、画像上の利用者に付加される影の幅が所定値幅となるように定められる。
このような変形処理により、変形下部領域TR11では、利用者の領域HR11のうちの下部領域DR11内にあった領域が傾くので、変形下部領域TR11内にある利用者の領域THR11の境界と、上部領域UR11内にある利用者の領域UHR11の境界にずれが生じる。すなわち、この例では、利用者の体の領域である領域UHR11に対して、利用者の足の領域である領域THR11が、変形処理で傾けられた分だけ図21に向かって左側にずれてしまっている。ここで、領域UHR11は、マスク画像MS11上の利用者の領域HR11のうち、上部領域UR11内にある領域である。
そこで、矢印Q13に示すように、変形下部領域TR11に対して、上部領域UR11を図21に向かって左側に幅Wxだけ平行移動させることで、上部領域UR11’とする。これにより、移動後の領域UHR11である、上部領域UR11’内の領域UHR11’の境界は、領域THR11の境界と重なるようになる。
ステップS54のぼかし処理、ステップS55の境界設定処理、ステップS56の画像処理、ステップS57の合成処理が、上述した「移動」や「回転」の場合と同様に行われ、図22に示されるように、合成画像423が生成される。つまり、撮影画像421に、画像処理が施された境界領域の画像が、オーラとして付与される。
従来の方法では、オーラは被写体の周囲全域に対して一定の距離で等間隔に設けられてしまい、ある部分のみ、例えば、被写体の右方向のみ距離を長くして、左方向のみ距離を短くする等といったことができず、オーラの付け方の自由度が低かった。そのため、リアリティがない不自然な仕上がりの画像となってしまっていた。そこで以上のように、オーラ処理において、画像の幾何学変換を行うことにより、写真シール作成装置1は、オーラの付け方の自由度を向上させることができ、より立体感のある自然な画像を提供することができる。
以上のように、幾何学変換処理として、様々な変換処理を適用することができる。もちろん、例えば拡大・縮小等のように、上述した3例以外の変換処理も適用することができる。上述したように、オーラ処理部323は、幾何学変換処理の内容に関わらず、基本的に同様にオーラ処理を行うことができる。つまり、容易に任意の幾何学変換を適用することができるので、写真シール作成装置1は、より容易に、画像や利用者の嗜好等に応じて適切な幾何学変換を適用することができる。つまり、写真シール作成装置1は、より容易に、より利用者の嗜好に応じた、より自然な画像を提供することができる。
<幾何学変換処理の流れ>
次に、図23のフローチャートを参照して、図16のステップS53において実行される、幾何学変換処理の流れの例を説明する。
幾何学変換処理が開始されると、幾何学変換部343の選択部361は、ステップS71において、実行する幾何学変換処理を選択する。予め用意される幾何学変換処理の内容およびその数は任意である。ここでは、図12等の例に合わせて、移動処理、回転処理、および変形処理の3種類の処理が、幾何学変換処理として用意されるものとする。その場合、選択部361は、その3の候補の中から、実際に実行する処理を、少なくとも1つ以上選択する。
その選択方法は任意である。例えば、利用者が撮影作業において選択した撮影コースの特徴に応じて選択部361が実行する処理を選択するようにしてもよい。用意される撮影コースは任意であるが、例えば、きれいコースやかわいいコース等がある。例えば、きれいコースは、メリハリの強い画像を提供するコースであるので、このコースが選択された場合は、印象の強いオーラが付与される処理が選択されるようにしてもよい。また、例えば、かわいいコースは、柔らかい印象の画像を提供するコースであるので、このコースが選択された場合は、印象が柔らかいオーラが付与される処理が選択されるようにしてもよい。
また、例えば、利用者の人数を検知し、選択部361が、その利用者の人数によって処理を選択するようにしてもよい。利用者の人数によって人物領域の形状が大きく変化するので、より適切な変換処理が変わる場合がある。例えば、利用者が複数人の場合、移動処理や回転処理等よりも、変形処理の方が、より自然な画像が得られる場合がある。
さらに、例えば、選択部361が、マスク画像の中において人物領域(白画素)が全体のどの程度の割合を占有しているかによって処理が選択されるようにしてもよい。例えば、全身撮影の場合、図24Aに示されるように、人物領域が撮影画像に占める割合が小さい(例えば半分以下となる)場合がある。これに対して、例えば、アップ撮影の場合、図24Bに示されるように、人物領域が撮影画像に占める割合が大きい(例えば半分以上となる)場合がある。利用者の人数の場合と同様に、このような人物領域が撮影画像に占める割合が大きいか小さいかによって、より適切な変換処理が変わる場合がある。
なお、例えば、顔認識によって、顔部分が撮影画像に占める割合を検出し、その割合に応じて処理を選択するようにしてもよい。
図23に戻り、ステップS72において、選択部361は、ステップS71の選択に基づいて、移動処理を行うか否かを判定する。移動処理を行うと判定された場合、処理はステップS73に進む。
ステップS73において、移動処理部362の設定部371は、移動の方向や距離を設定する。設定部371は、移動の方向や距離を、例えば、撮影画像毎、撮影コース毎、人物毎、写り具合、明るさ等の条件をパラメータとして決定する。
ステップS74において、移動部372は、ステップS73において行われた設定に従って、マスク画像の人物領域を移動する。選択部により移動処理を選択された場合、例えば、マスク画像の人物領域の特定点を基準点とする。そして、この基準点は、座標情報における原点(0,0)とする。例えば、座標を2次元としてとらえる場合を説明する。上述した原点(0.0)からその座標情報におけるX軸方向・Y軸方向に任意の座標点(X,Y)まで移動する。そして、マスク画像内の座標において、X軸方向の正方向への移動は右方向へ移動であり、負方向への移動は左方向へ移動とする。同様に、Y軸方向で正方向への移動は上方向へ移動であり、負方向への移動は下方向への移動とする。なお、座標情報を2次元ではなく、3次元としてとらえ、Z軸方向への移動も可能である。
以上のように、移動の方向・距離を設定することで、オーラの方向と幅を決定することができる。オーラを強調したい場合、移動距離を長く設定することで、オーラの幅が長くなる。つまり、オーラが合成画像内において、人物画像の外周で非常に際立った印象を与える。また、移動距離を短くすること(移動をほとんど行わない)で、人物画像の外周に一定の幅を持ったオーラを形成することができる。例えば、図17Hの例の場合、図17Hに向かって左側から光が当たったようなイメージであり、人物画像の、図17Hに向かって右側にオーラが形成されている。なお、X軸方向の移動距離が大きければ大きいほど、左右からの光量が多くなり、Y軸方向の移動距離が大きければ大きいほど、上下からの光量が多くなるようなオーラを提供するようにしてもよい。
ステップS74の処理が終了すると、処理は、ステップS75に進む。また、ステップS72において、移動処理を行わないと判定された場合、処理は、ステップS75に進む。
ステップS75において、選択部361は、ステップS71の選択に基づいて、回転処理を行うか否かを判定する。回転処理を行うと判定された場合、処理はステップS76に進む。
ステップS76において、回転処理部363の設定部373は、回転の中心若しくは軸、回転方向、および回転角度を設定する。設定部373は、回転の方向や角度等を、例えば、撮影画像毎、撮影コース毎、人物毎、写り具合、明るさ等の条件をパラメータとして決定する。また、設定部373は、マスク画像の人物領域の特定点を中心点又は中線(軸)とする。そして、この中心点又は中線を原点又は基準線とする。
なお、この中心点の位置は、任意である。例えば、マスク画像全体の中心、マスク画像の人物領域の中心、マスク画像の顔領域の中心、被写体マスク画像の人物領域における上半身部分又は下半身部分を回転の中心として原点を設定することができるようにしてもよい。
同様に、例えば、マスク画像全体の中線、マスク画像の人物領域の中線、被写体マスク画像の顔領域の中線、被写体マスク画像の人物領域における上半身部分又は下半身部分を回転の基準線として設定することができるようにしてもよい。なお、この中線の方向は、任意であり、例えば、X軸に平行な線を中線としてもよいし、Y軸に平行な線を中線としてもよいし、Y=AX(Aは定数)に平行な線を中線としても良い。
ステップS77において、回転部374は、ステップS76において行われた設定に従って、マスク画像の人物領域を回転する。例えば、座標を2次元としてとらえる場合を説明する。上述した原点又は基準線から、その座標情報におけるある一定角度を回転する。この回転における回転角度は、例えば反時計回り方向への回転は正方向への回転であり、時計回りへの回転は負方向への回転である。図18の例の場合、負方向へ回転している。
原点又は基準線をどこに設定するかで、マスク画像の人物領域における回転距離が変更される。例えば、原点(0,0)の位置をマスク画像の人物領域における端部に設定する場合と、マスク画像の人物領域における中心点に設定する場合を比較すると、原点の位置を端部に設定した場合の方が、原点の位置を中心に設定する場合よりも回転角度は同じであっても、人物マスク領域全体の移動する距離が多くなる。また、原点の位置を端部に設定した場合、人物画像の片側にオーラを出現させることができる。
例えば、図25Aに示されるように、マスク画像441の人物領域441Aの下端に中心点442がセットされる。この場合、人物領域441Aが回転されると、矢印443のように、回転するが、図25Bに示されるように、人物領域441Aの中心付近に中心点444を設定すると、矢印445および矢印446のように、回転する。
つまり、原点の位置を人物領域の中心から離れるほど、人物画像との合成時に人物画像の領域と重なる部分がなくなり、オーラが合成画像内において、人物画像の外周で非常に際立った印象を与えることができる。
なお、原点の位置を人物領域の中心に設定した場合、その回転角度が0°もしくは180°あたりでは、人物画像は、マスク画像の人物領域と重なる部分が多く、回転角度が90°もしくは270°あたりでは、人物画像は、マスク画像の人物領域と略直交方向であるため、重なる部分が少なくなるため、回転角度によって、イメージが異なるようなオーラを付与することができる。
また、人物画像が利用者の全身(若しくは略全身)の画像であり、原点の位置をその人物画像の中心に設定した場合、上述したような負方向の回転処理を適用することにより、人物画像の上側の一部分(例えば上半身部分)の、画像に向かって右側と、人物画像の下側の一部分(例えば下半身部分)の、画像に向かって左側とに、オーラを付与することができる。
なお、例えば、図25Cに示されるように、中心軸を設定することもできる。この場合、人物領域441Aは、中心軸447を軸とし矢印448に示されるように回転する。
さらに、回転角度については、例えば、回転角度をθとした場合、θが90°もしくは270°に近い角度であると、そのマスク画像の人物領域は直交方向であるため、マスク画像の人物領域と人物画像の重なり位置が少ない。逆にθが0°もしくは180°に近い角度であると、そのマスク画像の人物領域は水平方向であるため、マスク画像の人物領域と人物画像の重なり位置は多い。
ただし、この角度については、原点の位置がマスク画像の人物領域の中心とした場合にあてはまるが、端点である場合にはあてはまらない。θが180°に近い角度であると、そのマスク画像の人物領域は、人物画像と重なり位置が少ない。θが0°に近い角度であると、そのマスク画像の人物領域は水平方向であるため、マスク画像の人物領域と人物画像の重なり位置は多い。
以上のように、中心点や軸の位置、回転角度、回転方向等によって、画像に付与されるオーラの効果は、大きく変化する。何が最適であるかは、画像の内容や、オーラによってどのような効果を与えたいか(どのようにオーラを見せたいか)等によって決まる。例えば、オーラを被写体の影のように見せるのであれば、一般的には、被写体(人物領域)の下端(の中央付近)を中心として回転させるようにすると、より自然な画像が得られやすい。
ステップS77の処理が終了すると、処理は、ステップS78に進む。また、ステップS75において、回転処理を行わないと判定された場合、処理は、ステップS78に進む。
ステップS78において、選択部361は、ステップS71の選択に基づいて、変形処理を行うか否かを判定する。変形処理を行うと判定された場合、処理はステップS79に進む。
ステップS79において、変形処理部364の設定部375は、変形する領域、変形の仕方、変形量等を設定する。
ステップS80において、変形部376は、ステップS79において行われた設定に従って、マスク画像の人物領域の少なくとも一部を含む領域を変形する。
なお、変形処理については、矩形で抽出した形状(トリミングした領域)を平行四辺形・台形・ひし形等に矩形状を変形させてもよいし、三角形・五角形等の他の図形状にしてもよい。また、例えば、利用者が複数名いる場合、利用者毎に領域を設定し、各領域を互いに独立に変形させるようにしてもよいし、利用者全員が含まれる領域を設定し、その領域を変形させるようにしてもよい。
ステップS80の処理が終了すると、幾何学変換処理が終了し、処理は、ステップS16に戻る。また、ステップS78において、変形処理を行わないと判定された場合、幾何学変換処理が終了し、処理は、図16に戻る。
<画像処理の流れ>
次に、図26のフローチャートを参照して、図16のステップS56の処理において実行される画像処理の流れの例を説明する。なお、画像処理の内容は任意である、ここでは、色彩の設定、濃淡の設定、および透過度の設定が画像処理として実行されるものとする。
画像処理が開始されると、ステップS101において、色彩設定部391は、境界領域の色彩を設定する(付与する)。この処理は、例えば、撮影画像に合成される背景画像の色に応じて行うようにしてもよい。さらに明度又は彩度を上げたり下げたりしてもよい。
例えば、利用者が複数人の場合、Aさんのオーラを黄色とし、Bさんのオーラを緑色とする等、人物毎に色を変えるようにしてもよい。また、背景と関連付けて、色彩を調整することができるようにしてもよい。つまり、人、位置、背景等に応じて色を変えるようにしてもよい。
また、例えば、利用者が1人なら1色とし、 利用者が2人なら1色としてもよいし2色としてもよいし、利用者が3人なら1色としてもよいし、2色としてもよいし、3色としてもよい。つまり、人数に応じて色を変えるようにしてもよい。さらに、大人数であれば、単色のみのオーラだけに限定するようにしてもよい。
このようにすることにより、背景画像の色に合わせて、色彩を調整(選択)することができ、それにより人物画像の人物がより際立つようなリアルなオーラを付与することができる。濃淡を付与することで、リアルかつ立体的にオーラを付与することができる。
また、ステップS102において、濃淡設定部392は、境界領域の濃淡を制御する。例えば、人物から背景側へ移動すればするほど、淡くなるようにすることで、人物領域をより際立させて表示することができる。この濃淡の付与の仕方は任意である。例えば、利用者が複数人の場合、AさんとBさんのオーラを濃淡なしとし、AさんとBさんとの重なり位置を濃淡ありとするようにしてもよい。また、例えば、大人数の場合、濃淡なしとしてもよい。
このように、濃淡を付与することで、リアルかつ立体的にオーラを付与することができる。なお、利用者が複数人の場合、上述した色彩と組み合わせて、より多様なパターンを提供することができるようにしてもよい。例えば、Aさんのオーラが黄色の濃淡なしとし、Bさんのオーラが緑色の濃淡なしとして人物毎に色を変えてもよい。また、例えば、Aさんのオーラが黄色の濃淡なしとし、Bさんのオーラが緑色の濃淡なしとし、AさんBさんの重なり位置のオーラが黄緑色の濃淡ありとすることができる。
さらに、ステップS103において、透過度設定部393は、境界領域の透過度を設定する。
ステップS103の処理が終了すると画像処理が終了され、処理は、図16に戻る。
以上のような画像処理を行うことにより、写真シール作成装置1は、画像に適した画像処理を付与することができる。これにより、写真シール作成装置1は、より自然な画像を提供することができる。
なお、撮影コースにより、このような画像処理の内容が選択されるようにしても良い。例えば、撮影コースとして、かわいいコースときれいコースの2コースが存在するとする。
きれいコースは、大人っぽいイメージの画像が生成されるコースである。したがって、きれいコースでは、濃淡をはっきりと付与する事で、オーラをはっきりと付与することができ、大人っぽさを演出することができる。
逆に、かわいいコースの場合、濃淡をぼんやりと付与する事で、オーラをぼんやりと付与でき、かわいらしさを演出することができる。
また、画像処理と幾何学変換処理を組み合わせても良い。
幾何学変換処理においては、きれいコースでは、オーラをはっきりと付与したいので、オーラの幅を短くする。逆に、かわいいコースでは、オーラをぼんやりと付与したいので、オーラの幅を長くする。
さらに、画像処理において、上述したように、撮影コースに応じて処理を行うようにする。なお、幅については、移動距離・回転角度によって、変更することができるようにしてもよい。
このようにすることにより、幾何学変換処理や画像処理の設定を、撮影コースに適したものにすることができるので、利用者の好みに応じた画像を提供することができる可能性が高くなる。
また、写真シール作成装置1は、利用者の設定作業を必要とせずに、この画像処理を行うことができる。したがって、ユーザビリティが向上し、利用者は、より容易に、このような画像処理が施された、より自然な画像を得ることができる。
なお、以上のような画像処理を、利用者が選択することができるようにしてもよい。より具体的には、例えば、互いに異なる画像処理が施された複数の撮像画像を表示し、その中から利用者が選択するようにしてもよい。
図27は、その場合の編集画面の表示例を示す図である。図27に示される編集画面は、タブレット内蔵モニタ131に表示される、利用者が編集画像を落書き編集するためのGUIである。図27に示されるように、この編集画面460の上部には、編集画像表示部461が設けられ、落書き編集等の対象となる編集画像が表示される。
また、図27に示されるように、編集画面460の下側には、オーラ選択部462が設けられる。オーラ選択部462には、編集画像表示部461により表示される編集画像に対して画像処理が行われたサムネイル画像がGUIボタンとして表示される。各サムネイル画像には、互いに異なる画像処理が施されており、その1つ1つがGUIボタンとしての機能も有する。つまり、利用者は、サムネイル画像を参照し、好みのパターンの画像処理が行われたサムネイル画像を選択する。
このようにすることにより、より利用者の好みに応じた画像処理が施された画像を提供することができる。
なお、GUIの例は、これに限らない。例えば、色選択用GUIボタンが配列されたカラーパレットのようなGUIを表示し、その中から色を利用者に選択させるようにしてもよい。
なお、利用者が複数人の場合、図28Aの例のように、前後の人物が重なると、図28Bのように前方に撮影される被写体マスク画像の人物領域が、検知しにくい場合がある。そこで、写真シール作成装置1は、撮影の際に利用者に立ち位置を指定し、図28Cに示されるように、人物領域が重ならないようにして、撮影を行うようにしてもよい。その際、人物領域全体でなく、その一部、例えば各利用者の顔部分の画像が、図中上下又は左右に、互いに離れる(重ならない)ようにしてもよい。
<2.第2の実施の形態>
<ぼかし処理優先>
なお、例えば、図29に示されるように、撮影画像において被写体が端に位置する等して、被写体の一部が撮像画像の外部に位置する場合、ぼかし処理がかけられる人物領域491Aの周辺の一部が撮影画像からはみ出してしまう(図29の四角492)場合がある。このような場合、四角492付近にぼかし処理がかけられないおそれがある。
そこで、図29に示されるように、マスク画像を、撮影画像よりも大きな元画像から生成するようにしてもよい。撮影画像は、カメラ91により撮影されて得られる撮影画像であるが、カメラ91は、撮影により、撮影画像よりも大きな元画像を得る。そして、カメラ91は、その元画像の一部をトリミングし、撮影画像とする。
そこで、マスク画像を、撮影画像ではなく元画像から生成するようにしてもよい。
この場合のオーラ処理部323の主な構成例を図30に示す。この場合、オーラ処理部323は、図11の例の、マスク画像生成部341の代わりにマスク画像生成部501を有し、2値化処理部342および幾何学変換部343の間にぼかし処理部502を有し、ぼかし処理部344の代わりにトリミング部503を有する。
マスク画像生成部501は、撮像画像の代わりに、より画像サイズの大きな元画像を取得し、撮像画像サイズのマスク画像491よりも画像サイズが大きな元画像サイズのマスク画像493を生成する。
2値化処理部342乃至幾何学変換部343は、この元画像サイズのマスク画像493に対して各処理を行う。
また、ぼかし処理部502は、幾何学変換処理の前に、元画像サイズのマスク画像493に対してぼかし処理を施す。
さらに、トリミング部503は、幾何学変換後、元画像サイズのマスク画像493の一部をトリミングし、撮像画像サイズのマスク画像491を生成する。
境界領域設定部345乃至合成部347は、この撮像画像サイズのマスク画像491に対して各処理を行う。
<オーラ処理の流れ>
この場合のオーラ処理の流れの例を、図31のフローチャートを参照して説明する。
オーラ処理が開始されると、ステップS121において、マスク画像生成部501は、元画像からマスク画像(元画像サイズのマスク画像493)を生成する。
ステップS122乃至ステップS124の各処理は、その元画像サイズのマスク画像493に対して行われる。
ステップS125において、トリミング部503は、元画像サイズのマスク画像493をトリミングし、撮影画像サイズのマスク画像491を生成する。
ステップS126乃至ステップS128の各処理は、その撮影画像サイズのマスク画像491に対して行われる。
このようにすることにより、マスク画像は、ぼかし処理が行われてから、撮影画像サイズに変換されるので、図29に示されるように、撮影画像サイズにおいて消える部分にも、ぼかし処理を施すことができる。これにより、ぼかし処理をより綺麗に施すことができ、より自然な画像を提供することができる。
<3.第3の実施の形態>
<幾何学変換処理の複数回実施>
なお、オーラ処理において、幾何学変換処理を行う回数は任意である。1回であっても良いし、複数回であってもよい。
例えば、図32に示されるフローチャートのステップS143とステップS144のように、幾何学変換処理を複数回おこなうようにしてもよい。例えば、この複数回の幾何学変換処理において、同じ変換処理を複数回行うようにしてもよいし、互いに異なる変換処理を行うようにしてもよい。例えば、ステップS143の幾何学変換処理において、移動処理を行い、ステップS144の処理において回転処理を行うようにしてもよい。もちろん、ステップS143とステップS144との両方において、移動処理を行うようにしてもよい。
なお、図32においては、幾何学変換処理を2回行うように説明したが、幾何学変換処理が3回以上行われるようにしてももちろんよい。
さらに、利用者が複数人で撮影される場合については、利用者毎に変更処理を変更してもよい。例えば、2名で撮影されている場合、右の利用者のマスク画像を移動処理し、左の利用者を回転処理してもよい。このように変更処理を撮影画像内で画一的に処理しないことで、利用者毎に自由度の高い画像処理を行うことができ、よりリアルな状態でオーラを付与することができる。
また、ステップS143の幾何学変換処理と、ステップS144の幾何学変換処理とで、用意される処理が異なるようにしてもよい。例えば、ステップS143の幾何学変換処理においては、図12を参照して説明したように、移動処理、回転処理、および変形処理が用意されるようにし、ステップS144の幾何学変換処理においては、それらの処理に加え、鏡映処理が用意されるようにしてもよい。
鏡映処理とは、図33に例が示されるように、オーラの画像の位置を反転(図33の例の場合、左右反転)させた鏡映画像を生成する処理である。
例えば、図33Aのような合成画像511から、図33Bに示されるような、鏡映画像512が生成される。また、図33Bのような合成画像521から、図33Dのような鏡映画像522が生成される。
<幾何学変換部>
図34に、2回目の幾何学変換を行う幾何学変換部の構成例を示すブロック図である。
図34に示されるように、この場合の幾何学変換部343は、図12を参照して説明した構成に加えて、鏡映処理部541を有する。鏡映処理部541は、上述したような鏡映に関する処理を行う。鏡映処理部541は、設定部551と鏡映部552を有する。設定部551は、鏡映処理に関する設定を行う。鏡映部552は、鏡映画像を生成する。
<幾何学変換処理の流れ>
この場合の幾何学変換処理の流れの例を、図35のフローチャートを参照して説明する。
ステップS161乃至ステップS170の各処理は、図23のステップS71乃至ステップS80の各処理と同様に実行される。
ステップS171において、選択部361は、鏡映処理を行うか否かを判定する。鏡映処理を行うと判定された場合、処理はステップS172に進む。
ステップS172において、設定部551は、鏡映する対象を設定する。また、ステップS173において、鏡映部552は、指定対象を鏡映変換する。ステップS173の処理が終了すると、幾何学変換処理が終了する。また、ステップS171において、鏡映処理を行わないと判定された場合、幾何学変換処理が終了する。
このようにすることにより、写真シール作成装置1は、より多様なオーラを付与することができる。
なお、この鏡映処理において、鏡映の方向は任意であり、上述した左右方向に限らない。また、例えば、図27に示される編集画面460に鏡映ボタン(GUIボタン)を設ける等して、ユーザがその鏡映ボタンを操作して入力する鏡映変換の実行指示を受け付け、その指示に従って鏡映処理が行われるようにしてもよい。
以上のようにして、写真シール作成装置1は、より自然な画像を提供することができる。これにより、利用者の満足度を向上させることができ、写真シール作成ゲームの収益性を向上させることができる。
<4.第4の実施の形態>
<足固定影処理>
従来のようにオーラを、被写体の周囲全域に対して一定の距離で等間隔に設けるようにすると、撮影画像に付与するオーラを被写体の影とみる場合、被写体の足下が浮いているような画像になってしまう。しかしながら、実際の撮影においてそのような影を生ずるような照明の仕方は行われない。つまり、従来の方法で付されたオーラは、被写体の影としてのリアリティが低く、不自然な仕上がりとなるおそれがあった。
これに対して、上述した本技術を適用した方法で、撮影画像にオーラ処理を施した結果の例を図36に示す。図36Aに示される合成画像611は、斜線模様で示される境界領域の画像(オーラ)を右方向に平行移動させて撮影画像に合成したものである。つまり、幾何学変換処理として移動が行われた場合の処理結果である。この合成画像611の場合、被写体の頭から足下までの全ての部分において、オーラが被写体に対して同程度右方向にずれている(ずれ幅が均一である)。したがって、オーラが、被写体の左前方から(上下方向には均一に)水平方向の光が照射されたときの影のように見える。つまり、この場合のオーラの方が、従来の方法で付されたオーラの場合よりも被写体の影としてのリアリティがある。
以上においては、オーラ処理における幾何学変換処理の例として、拡大、縮小、移動、回転、変形、鏡映(写像)、投影(射影)等を説明した。また、変形の例として、トリミングした領域を平行四辺形、台形、ひし形、三角形、五角形等に変形する例を説明した。しかしながら、第1の実施の形態においても説明したように、オーラ処理における幾何学変換処理は、画像を視覚的に変換する処理であればどのようなものであってもよく、これらの例に限らない。
つまり、撮影画像に付与されるオーラの形状は図36Aの例に限らない。例えば、図36Bのようにオーラを付与するようにしてもよい。図36Bの合成画像612の場合、斜線模様で示される境界領域の画像(オーラ)と被写体とのずれ幅は、被写体の足下付近の方が頭付近よりも少ない(頭付近の方が足下付近よりもずれ幅が大きい)。
このようにすると、オーラが、被写体の左前方の上の方から光が照射されたときの影のように見える。本実施例の写真シール作成装置1は、図4等に示されるように、上下方向に光量が均一な、水平方向の光を出力する光源(ストロボ)を備えておらず、1箇所(1点)から光を出力する光源(ストロボ)を複数備えている。したがって、図36Bの場合の方が図36Aの場合よりも、オーラの、被写体の影としてのリアリティを増すことができる。また、図36Bの場合、オーラの付き方が上下方向で不均一である(つまり、被写体への光の当たり方が左右方向だけでなく、上下方向にも不均一である)ため、図36Aの場合よりも被写体の立体感を増すことができる。
<幾何学変換部>
次に、この合成画像612のようなオーラ(影)を撮影画像に付すためのオーラ処理を実行する処理部について説明する。第1の実施の形態において説明したように、オーラ処理は、オーラ処理部323(図10)が行う。オーラ処理部323の幾何学変換部343(図11)は、図36Bに示されるように、オーラと被写体とのずれ幅が、被写体の足下付近よりも頭付近の方が大きくなるように、マスク画像の人物領域及び/又は境界領域を変形させる。より具体的には、幾何学変換部343の変形処理部364がマスク画像全体を台形に変形することにより、上下方向にずれ幅が不均一な被写体とオーラのずれを実現することができる。
<オーラ処理の流れ>
次に、この場合のオーラ処理の流れの例を説明する。写真シール作成ゲーム処理が図14のフローチャートのように行われ、ステップS4の編集処理が図15のフローチャートのように行われるものとする。この場合も、ステップS28のオーラ処理は、図16のフローチャートのように行われる。
ステップS51において、マスク画像生成部341は、編集処理のステップS21において取得された撮影画像から、クロマキー処理等により、図37の左に示されるようなマスク画像601を取得する。
ステップS52において、2値化処理部342は、マスク画像を2値化する2値化処理を行い、マスク画像の人物領域を白画素とし、背景領域を黒画素とする。
ステップS53において、幾何学変換部343は、マスク画像の人物領域を幾何学変換する幾何学変換処理を行う。
より具体的には、図23のステップS79において、変形処理部364の設定部375は、変形する領域をマスク画像601全体に設定し、変形の仕方を台形に設定する。より具体的には、設定部375は、図37の左に示されるマスク画像601の右上角の点602を、図37の中央に示されるように、水平方向右向きに移動する(マスク画像601のその他の3角は固定する)ように設定する。設定部375は、さらにその移動量を変形量として設定する。
ステップS80において、変形部376は、ステップS79において行われた設定に従って、図37の中央に示されるような点602の移動により、長方形であったマスク画像601の全体を台形に変形する。このマスク画像601全体の変形により、マスク画像601中の人物領域及び/又は境界領域も台形に変形する。つまり、被写体の頭付近が大きく変形し、足下付近が小さく変形する(ほとんど変形しない)。換言するに、合成画像における被写体と人物領域及び/又は境界領域とのずれ幅が、図36Bの例のように、頭付近で大きくなり、足下付近で小さくなる。
ただし、これは変形の様子を説明するものであって、変形結果のデータとしては、図37の中央に示されるように、マスク画像601の形状は長方形のままである(画像サイズは変更されない)。つまり、長方形のマスク画像601の中で人物領域及び/又は境界領域の位置、大きさ、範囲が変形する。
そして、図16に戻り、ステップS54において、ぼかし処理部344は、マスク画像の人物領域の周辺をぼかすぼかし処理を行う。これにより、図37の右に示されるように、マスク画像601に影感を出すことができる。
ステップS55乃至ステップS57の処理により、以上のように幾何学変換したマスク画像601と撮影画像が合成され、合成画像612(図36B)が生成される。つまり、このようにオーラ処理を行うことにより、被写体の影としてよりリアリティのあるオーラを撮影画像に付与することができる。これにより、写真シール作成装置1は、例えば被写体の足下が浮いて見えるといったことがない(画像処理を施している感じがしない(加工感の無い))写真のような画像を提供することができる。
<5.第5の実施の形態>
<多重色影処理>
オーラ(影)の付け方は、上述した例に限らない。例えば、実際の影が単一濃度でないように、オーラに濃淡(オーラの色の濃度変化)を付すようにしてもよい。例えば、図38に示される合成画像621は、撮影画像から生成されたオーラと撮影画像とを合成したものである。図38において、斜線模様若しくは横線模様で示される領域がオーラ(影)である。また、その斜線若しくは横線の密度によってオーラの濃度を示している。このように、場所によってオーラの色の濃度を変えるようにすることにより、オーラの被写体の影としてのリアリティをより高くすることができる。
例えば、撮影画像の被写体(人物)の色(肌や服装の色)の濃度に応じて、オーラの色の濃度を変えるようにしてもよい。被写体の色の濃い部分の近傍のオーラの色を濃くし、被写体の色の薄い部分の近傍のオーラの色を薄くするようにしてもよい。被写体の色の濃度が濃い部分の近傍のオーラ(影)の色が薄いと、オーラ(影)が目立たなくなるおそれがある。また、被写体の色の濃度が薄い部分の近傍のオーラ(影)の色が濃いと、オーラ(影)が目立ちすぎるおそれがある。つまり、これらの濃度の差が大きいと一方が目立ちすぎてしまい、合成画像621の見栄えが悪化するおそれがある。合成画像621が、加工感の大きな、不自然な画像となり、そのデザイン性が低減するおそれがある。そこで、上述したように、被写体の色の濃度に応じてその近傍のオーラ(影)の色の濃度を変えるようにすることにより、濃度のバランスの悪さによる合成画像621の見栄えの悪化を抑制することができる。つまり、合成画像621をより自然な画像とすることができ、そのデザイン性を向上させることができる。
なお、上述したようにオーラは人物領域及び/又は境界領域から作られるので、その人物領域及び/又は境界領域の色の濃度を保つようにすることにより、以上のようなオーラの色の濃度制御は、容易に実現することができる。
また、例えばオーラ(影)を強調するために、敢えて、被写体の色の濃い部分の近傍のオーラの色を薄くし、被写体の色の薄い部分の近傍のオーラの色を濃くするようにしてもよい。
また、被写体の画像に対して複数のオーラ(影)を付すようにしてもよい。このようにすることにより、複数の光源から光が被写体に照射されたときの被写体の影の状態をより正確に表すことができる。もちろん、このオーラ(影)の数は、任意である。
なお、例えば、その複数のオーラ(影)の被写体に対するずれの方向や移動量が互いに異なるようにしてもよい。このようにすることにより、互いに異なる位置にある複数の光源から光が照射された時の被写体の影の状態をより正確に表すことができる。もちろん、各オーラ(影)のずれの方向や移動量は任意である。
また、例えば、その複数のオーラ(影)は、互いに異なる幾何学変換が行われたものであってもよい。このようにすることにより、より多様な位置の光源からの光の照射による被写体の影の状態をより正確に表すことができる。
また、例えば、その複数のオーラ(影)が、互いに異なる色であっても良い。このようにすることにより、単に画像のリアリティを高めるだけでなく、合成画像をよりカラフルな面白みのあるものにすることができる。
例えば、図38の合成画像621のように、互いに異なる方向にずらした赤(R)、緑(G)、青(B)の3つの影を付すようにしてもよい。合成画像621において、横線模様の部分が赤色(R)のオーラ(影)を示し、左下右上斜線模様の部分が緑色(G)のオーラ(影)を示し、左上右下斜線模様の部分が青色(B)のオーラ(影)を示している。そして、赤色(R)のオーラ(影)は、被写体に対して図中左にずれており、緑色(G)のオーラ(影)は、被写体に対して図中下にずれており、青色(B)のオーラ(影)は、被写体に対して図中右にずれている。
もちろん、各オーラ(影)の色やずれの方向や移動量は、任意である。例えば、赤の代わりにピンクを用いても良い。また、合成画像621の例のオーラ(影)では、マスク画像の幾何学変換として移動が行われているが、この幾何学変換は、例えば、拡大、縮小、移動、回転、変形、鏡映(写像)、投影(射影)等何でもよい。
<オーラ処理部>
次に、図38の合成画像621のようなオーラ(影)を撮影画像に付すためのオーラ処理を実行する処理部について説明する。第1の実施の形態において説明したように、オーラ処理は、オーラ処理部323(図10)が行う。この場合の、オーラ処理部323の主な構成例を図39に示す。
図39に示されるように、この場合オーラ処理部323は、濃淡画像生成部651、濃淡反転部652、マスク画像生成部653、2値化処理部654、マスク濃淡画像合成部655、幾何学変換部656、前景背景合成部657、青色合成部658、赤色合成部659、および撮影画像合成部660を有する。
濃淡画像生成部651は、撮影画像について、画像の濃淡を表した濃淡画像を生成する。例えば、撮影画像が多色で表現されるカラー画像(多色)であるとすると、濃淡画像は、単色の濃淡で表現されるモノクロ画像となる。
この濃淡を表すパラメータとしては、どのようなものであっても良い。例えば、撮影画像の輝度成分(グレースケール画像)であってもよい。また、例えば、撮影画像のRGBチャンネル(色成分)のうちのいずれかひとつのチャンネルを、濃淡を表すパラメータとしてもよい。一般的に、Gチャンネルは、輝度値が一番高いため、Gチャンネルを、濃淡を表すパラメータとするのが望ましい。もちろん、RチャンネルやBチャンネルを用いてもよい。また、これらのうち、2つのチャンネルを用いるようにしてもよい。
さらに、このような輝度成分や色成分を用いて算出されるパラメータを、濃淡を表すパラメータとしてもよい。例えば、撮影画像のRGBチャンネルの各チャンネルの平均を、濃淡を表すパラメータとしてもよい。例えば、撮影画像のRGBチャンネルの各チャンネルを足し合わせて、この足し合わせた合計を3で除算し、その除算結果(平均値)を、濃淡を表すパラメータとするようにしてもよい。
また、例えば、撮影画像のRGBチャンネルの各チャンネルの加重平均を、濃淡を表すパラメータとしてもよい。例えば、以下の式のように、RGBのチャンネルに所定の重み係数を乗算して足し合わせ、その演算結果(加重平均)を、濃淡を表すパラメータとするようにしてもよい。
濃淡を表すパラメータ = 0.299 x R + 0.587 x G + 0.114 x B
濃淡反転部652は、濃淡画像生成部651により生成された濃淡画像の色(濃度)を反転(所謂、白黒反転や色反転)させた濃淡反転画像を生成する。つまり、濃淡反転部652は、濃淡画像の各画素値を、画素値のスケールに合わせて反転させる。例えば、画素値が0乃至255の場合、画素値0を画素値255とし、画素値255を画素値0とする。
マスク画像生成部653は、マスク画像生成部341と同様の処理を行う。すなわち、マスク画像生成部653は、撮影画像について、人物領域と背景領域とを識別するマスク画像を生成する。
2値化処理部654は、2値化処理部342と同様の処理を行う。すなわち、2値化処理部654は、マスク画像生成部653により生成されたマスク画像を2値化する。
マスク濃淡画像合成部655は、2値化処理部654により2値化されたマスク画像の人物領域に、濃淡反転部652により生成された濃淡反転画像の、その人物領域と同じ位置の領域の画像を合成する。この合成方法は任意であるが、例えば、マスク濃淡画像合成部655は、2値化されたマスク画像と濃淡反転画像とを乗算合成する。このように生成されたマスク画像と濃淡反転画像との合成画像をマスク濃淡画像と称する。
幾何学変換部656は、幾何学変換部343と同様の処理部であり、マスク濃淡画像合成部655により生成されたマスク濃淡画像の人物領域の一部若しくは全部を含む所定の範囲を幾何学変換する。例えば、幾何学変換部656は、人物領域を所定の方向に所定の距離だけ移動させる。例えば、上述したように、互いに異なる方向にずれた複数のオーラ(影)を被写体に付す場合、幾何学変換部656は、人物領域を互いに異なる複数の方向に移動させる(人物領域を各方向に移動させたマスク濃淡画像を生成する)。
前景背景合成部657は、幾何学変換部656により幾何学変換されたマスク濃淡画像に基づいて、緑(G)の画像である前景画像と背景画像とを合成する。ここで前景画像は、マスク濃淡画像の人物領域(すなわち、合成画像621におけるオーラ(影))に色付けする色成分の画像である。背景画像は、撮影画像(合成画像621)における背景領域の画像である。つまり、前景背景合成部657は、緑(G)のオーラ(影)と背景からなる画像(緑影画像)を生成する。なお、この合成方法は、任意である。例えば、アルファブレンドと称する手法により合成するようにしてもよい。アルファブレンドの詳細については後述する。
青色合成部658は、青色用のマスク濃淡画像に基づいて、前景背景合成部657により生成された影画像(緑影画像)に、青(B)の画像である前景画像を合成する。つまり、これにより、青(B)のオーラ(影)と緑(G)のオーラ(影)と背景からなる画像(青緑影画像)が生成される。なお、この合成方法は、任意である。例えば、アルファブレンドと称する手法により合成するようにしてもよい。
赤色合成部659は、赤色用のマスク濃淡画像に基づいて、前景背景合成部657により生成された影画像(緑影画像)に、赤(R)の画像である前景画像を合成する。つまり、これにより、赤(R)のオーラ(影)と青(B)のオーラ(影)と緑(G)のオーラ(影)と背景からなる画像(赤青緑影画像)が生成される。なお、この合成方法は、任意である。例えば、アルファブレンドと称する手法により合成するようにしてもよい。
撮影画像合成部660は、赤色合成部659により生成された赤青緑影画像に撮影画像の人物領域の部分を合成し、合成画像を生成する。
なお、図39は、図38の合成画像621のように、赤(R)、緑(G)、青(B)のオーラ(影)を付す場合の構成例を示したものである。前景背景合成部657、青色合成部658、および赤色合成部659は、このオーラ(影)の数や色に応じて構成される。例えば、赤(R)のオーラ(影)を付さないのであれば、赤色合成部659は省略することができる。また、例えば、他の色のオーラ(影)を付すのであれば、その色の合成部が追加される。
<オーラ処理の流れ>
次に、このようなオーラ処理部323により実行されるオーラ処理の流れの例を、図40のフローチャートを参照して説明する。
オーラ処理が開始されると、濃淡画像生成部651は、ステップS201において、編集処理のステップS21において取得された撮影画像の濃淡画像を生成する。
ステップS202において、濃淡反転部652は、濃淡画像の濃淡を反転することにより、濃淡反転画像を生成する。
ステップS203において、マスク画像生成部653は、編集処理のステップS21において取得された撮影画像からマスク画像を生成する。
ステップS204において、2値化処理部654は、マスク画像を2値化する2値化処理を行い、マスク画像の人物領域を白画素とし、背景領域を黒画素とする。
ステップS205において、マスク濃淡画像合成部655は、マスク画像と濃淡反転画像とを乗算合成することにより、マスク濃淡画像を生成する。
ステップS206において、幾何学変換部656は、マスク濃淡画像の人物領域を幾何学変換する幾何学変換処理を行う。
ステップS207において、前景背景合成部657は、緑色用のマスク濃淡画像に基づいて、緑色の前景画像と背景画像を合成することにより緑影画像を生成する。
ステップS208において、青色合成部658は、青色用のマスク濃淡画像に基づいて、緑影画像に青色の前景画像を合成することにより、青緑影画像を生成する。
ステップS209において、赤色合成部659は、赤色用のマスク濃淡画像に基づいて、青緑影画像に赤色の前景画像を合成することにより、赤青緑影画像を生成する。
ステップS210において、撮影画像合成部660は、赤青緑影画像に撮影画像の人物部分を合成することにより、合成画像621を生成する。
ステップS210の処理が終了するとオーラ処理が終了し、処理は図15に戻る。
<オーラ処理の例>
以上のようなオーラ処理をより詳細に説明する。編集処理のステップS21により、図41Aに示される撮影画像671が取得されるとする。
ステップS201の処理により、濃淡画像生成部651は、撮影画像671から、図41Bに示される濃淡画像672を生成する。上述したように、例えば、撮影画像671の輝度成分、色成分、各色成分の平均、若しくは各色成分の加重平均等を、濃淡を表すパラメータとして、濃淡画像が生成される。
ステップS202の処理により、濃淡反転部652は、濃淡画像672に対して所謂白黒反転を行い、その結果、図41Cに示される濃淡反転画像673が生成される。
ステップS203の処理により、マスク画像生成部653は、撮影画像671において被写体を表す領域と被写体以外を表す領域とを識別する、図42Aに示されるマスク画像674を生成する。つまり、マスク画像674においては、人物領域と背景領域とが識別される。オーラ(影)の生成において、このようなマスク画像674を用いることにより、人物の領域を特定し、その人物部分にだけ処理を施すことができる。このようにすることにより、背景領域の絵柄(輝度値)に関わらず、人物部分にだけ処理を施すことができる。例えば、オーラ(影)となる部分についてのみ色付け(赤、青、緑等)を行うことができる(その際の背景領域への不要な色付けを抑制することができる)。
ステップS204の処理により、2値化処理部654は、このマスク画像674を2値化し、人物領域を白に設定し、背景領域を黒に設定する。
ステップS205の処理により、マスク濃淡画像合成部655は、マスク画像674と濃淡反転画像673とを合成(例えば乗算合成)し、その結果、図42Bに示されるマスク濃淡画像675が生成される。
なお、濃淡画像の反転(ステップS202の処理)は省略するようにしても良い。その場合、ステップS205において、マスク濃淡画像合成部655は、マスク画像674と濃淡画像672とを合成(例えば乗算合成)する。
ステップS206の処理により、幾何学変換部656は、マスク濃淡画像675の人物領域の位置を、図中左下に移動し、その結果、図42Cに示されるマスク濃淡画像(緑)675’が生成される。
この移動の方向および移動量は、予め定められており、その値は任意である。上下左右斜めいずれであってもよい。なお、この人物領域の移動は、例えば、マスク濃淡画像675の中心点を移動の為の基準点として取得して、マスク濃淡画像675の絵柄をこの中心点(基準点)からピクセル単位で所定量、X方向、Y方向へ移動することにより実現する。なお、移動の為の基準点は、中心点に限らず、マスク濃淡画像675の任意の位置の点を設定することができる。
複数のオーラ(影)を付す場合は、各オーラ(影)について移動方向および移動量が予め定められており(例えば、オーラ(影)の色毎に移動方向および移動量が予め定められており)、幾何学変換部656は、マスク濃淡画像675の人物領域を、各設定の通りに移動する。つまり、人物領域が互いに異なる方向に移動された複数のマスク濃淡画像が生成される。
例えば、図38の合成画像621の場合、赤色のオーラ(影)は左上にずれており、青色のオーラ(影)は右上にずれており、緑色のオーラ(影)は左下にずれている。この場合、このようなオーラ(影)を生成するために、幾何学変換部656は、図42Bのマスク濃淡画像675の人物領域を左下にずらし、図42Cのマスク濃淡画像(緑)675’を生成する。また、幾何学変換部656は、図42Bのマスク濃淡画像675の人物領域を右上にずらし、図44Bのマスク濃淡画像(青)680を生成する。さらに、幾何学変換部656は、図42Bのマスク濃淡画像675の人物領域を左上にずらし、図45Bのマスク濃淡画像(赤)683を生成する。
ステップS207の処理により、前景背景合成部657は、例えばアルファブレンドにより、マスク濃淡画像(緑)675’に基づいて、図43Aに示される緑色の前景画像676と、図43Bに示される背景画像677とを合成する。その結果、図43Cに示される緑影画像が生成される。
アルファブレンドは、2つの画像を係数(アルファ値)により合成する手法である。アルファブレンドにおいては、この係数、つまり、透過したい部分を定義した画像(アルファチャンネル画像と称する)を用意し、それを基に、透過したい画像の透過を行う。
より具体的には、以下のような演算が行われる。
出力画像=アルファチャンネル画像の透過率×前景画像+(1−アルファチャンネル画像の透過率)×背景画像
ここで、アルファチャンネル画像に、マスク濃淡画像(緑)675’が設定される。図42Cに示されるように、マスク濃淡画像(緑)675’において背景領域は黒である。すなわち、透過率は0である。したがって、以下の式のように、出力画像の背景領域においては、背景画像677の絵柄のみが表示される。
出力画像=0×前景画像+1×背景画像
また、図42Cに示されるように、マスク濃淡画像(緑)675’において被写体の服装部分は、白で表示されている。この透過率を50とすると、以下の式のように、被写体の服装部分は、前景画像676の絵柄が50%表示され、背景画像677の絵柄が50%表示される。
出力画像=0.5×前景画像+0.5×背景画像
被写体の服装部分では、その服装の濃淡に応じてこの透過率が変わるので、前景画像676(すなわち、緑色)の濃淡も、この服装の濃淡に応じて変化する。そのため、被写体の服装部分は、その被写体の服装の絵柄が、前景画像676(すなわち、緑色)に着色され、さらに、その透過度に応じて背景画像が重畳された画像となる。つまり、緑影画像678においては、被写体の画像が緑色に着色され、さらに、その透過度に応じて背景画像が重畳された画像となる。
ステップS208の処理により、青色合成部658は、例えばアルファブレンドにより、図44Bに示されるマスク濃淡画像(青)680に基づいて、図44Aに示される青色の前景画像679と、図43Cに示される緑影画像678とを合成する。その結果、図44Cに示される青緑影画像681が生成される。
上述したように、ステップS206の幾何学変換において、緑色用と青色用とで互いに異なる方向に人物領域を移動させている。そのため、青緑影画像681では、図44Cに示されるように、緑色に着色された被写体の画像と、青色に着色された被写体の画像とが互いにずれている。
ステップS209の処理により、赤色合成部659は、例えばアルファブレンドにより、図45Bに示されるマスク濃淡画像(赤)683に基づいて、図45Aに示される赤色の前景画像682と、図44Cに示される青緑影画像681とを合成する。その結果、図45Cに示される赤青緑影画像684が生成される。
上述したように、ステップS206の幾何学変換において、赤色用についても人物領域は、緑色用や青色用とは異なる方向に移動されている。そのため、赤青緑影画像684では、図45Cに示されるように、赤色に着色された被写体の画像と、緑色に着色された被写体の画像と、青色に着色された被写体の画像とが互いにずれている。そして、これらはいずれも、撮影画像671の被写体の画像に対してもずれている。
ステップS210の処理により、撮影画像合成部660は、この赤青緑影画像684に、撮影画像671の人物部分を合成する。その結果、図38の合成画像621が生成される。すなわち、赤青緑影画像684における赤色に着色された被写体の画像、青色に着色された被写体の画像、および緑色に着色された被写体の画像のそれぞれの周辺部分が、オーラ(影)として、撮影画像671に合成される。
このように、オーラ処理を行うことにより、複数のオーラ(影)を付すことができる。また、オーラ(影)に濃淡を加えることができる。つまり、写真シール作成装置1は、より自然な画像を提供することができる。また、写真シール作成装置1は、より面白みのある画像を提供することができる。
なお、以上においては、緑、青、赤の順にオーラ(影)を合成するように説明したが、各色の合成順は任意である。上述したような順で合成を行うことにより、赤、青、緑の順でオーラを目立たせることができる。換言するに、目立たせたい順の反対の順に各色のオーラ(影)を合成するようにすればよい。
撮影画像に付すオーラ(影)の数や色は、任意である。また、各色のオーラ(影)の移動方向や移動量(幾何学変換方法)も任意である。ただし、各色のオーラ(影)の移動方向や移動量のうち、少なくともいずれか一方は、互いに異なるようにするのが望ましい。
<6.第6の実施の形態>
<フォトフィルター撮影>
以上に説明したオーラ処理は、撮影処理において行われるようにしてもよい。例えば、オーラ(影)を付した画像を撮影時のライブビューやプレビューとして表示するようにしてもよい。その場合の、写真シール作成装置1の構成例について説明する。写真シール作成装置1の内部構成(図8)や制御部201の構成(図9)は、第1の実施の形態において説明した通りである。
<撮影処理部>
図46は、この場合の撮影処理部301(図9)の主な構成例を示す図である。
図46に示されるように、撮影処理部301は、例えば、コース選択部701、撮影ガイダンス部702、アップ撮影部703、上カメラ全身ガイダンス部704、上カメラ撮影部705、全身ガイダンス部706、全身撮影部707、フォトフィルター撮影処理部708、および携帯おまけ紹介部709を有する。
コース選択部701は、予め定められた撮影方法(撮影コース)を利用者に選択させる処理を行う。例えば、ライトスキン、シルクスキン等のコースが予め用意されている。このようなコース毎に照明や画像処理(写り)等の設定が予め決められており、利用者が選択したコースの設定が、撮影処理に採用される。コース選択部701は、例えば、コースの選択指示を受け付けるGUIをタッチパネルモニタ92に表示させ、利用者がそのGUIに従って入力するコース選択指示を受け付け、受け付けた指示に従って採用する設定を選択する。
撮影ガイダンス部702は、撮影の仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。
アップ撮影部703は、撮影・表示ユニット81を制御してアップ撮影を行う。
上カメラ全身ガイダンス部704は、撮影・表示ユニット81を上に移動させ、上から全身撮影を行う上カメラ撮影についての仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。
上カメラ撮影部705は、撮影・表示ユニット81を制御して上カメラ撮影を行う。
全身ガイダンス部706は、利用者の全身を撮影する全身撮影の仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。
全身撮影部707は、撮影・表示ユニット81を制御して全身撮影を行う。
フォトフィルター撮影処理部708は、利用者の撮影画像に対して予め定められた所定の加工(定型の加工)を行うフォトフィルター撮影に関する処理を行う。例えば、フォトフィルター撮影の加工方法が予め複数用意されており、フォトフィルター撮影処理部708は、撮影・表示ユニット81を制御して、利用者にその中から実行する加工方法を選択させる。また、例えば、フォトフィルター撮影処理部708は、フォトフィルター撮影の仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。さらに、例えば、撮影・表示ユニット81を制御して、カメラ91を介して利用者の画像(撮影画像)を取得し、利用者に選択された加工方法で撮影画像を加工し、加工された撮影画像(若しくは取り込み画像)を、ライブビューやプレビューとしてタッチパネルモニタ92に表示する。加工方法の詳細については後述する。
携帯おまけ紹介部709は、携帯電話等に提供する画像を生成する「携帯おまけ」サービスを利用者に紹介する画像や音声を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。
もちろん、撮影処理部301がこれら以外の処理部を有するようにしてもよい。
<フォトフィルター撮影処理部>
図47は、図46のフォトフィルター撮影処理部708の主な構成例を示す図である。
図47に示されるように、フォトフィルター撮影処理部708は、例えば、フォトフィルター撮影ガイダンス部711、デザイン選択処理部712、撮影制御部713、画像加工部714、および表示制御部715を有する。
フォトフィルター撮影ガイダンス部711は、フォトフィルター撮影の仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。
デザイン選択処理部712は、撮影画像の加工方法や、撮影画像に重畳する背景画像等を利用者に選択させる処理を行う。例えば、デザイン選択処理部712は、加工結果(背景画像又は前景画像の重畳も含む)のデザインの選択指示を受け付けるGUIをタッチパネルモニタ92に表示させ、利用者がそのGUIに従って入力するデザイン選択指示を受け付け、受け付けた指示に従って採用する加工方法を選択する。
撮影制御部713は、撮影・表示ユニット81を制御して利用者の撮影を行う。
画像加工部714は、撮影画像の加工に関する処理を行う。この加工方法は、任意である。例えば、この加工方法に、テクスチャ処理、フィルタ処理、フレーム処理、唇処理、およびオーラ処理等が含まれるようにしてもよい。各処理の詳細については後述する。
表示制御部715は、加工された撮影画像を、タッチパネルモニタ92にライブビューやプレビューとして表示させる処理を行う。
もちろん、フォトフィルター撮影処理部708がこれら以外の処理部を有するようにしてもよい。
<画像加工部>
図48は、図47の画像加工部714の主な構成例を示す図である。
図48に示されるように、画像加工部714は、例えば、テクスチャ処理部721、フィルタ処理部722、フレーム処理部723、唇処理部724、およびオーラ処理部725を有する。
テクスチャ処理部721は、撮影画像に対して、所定の質感や色のレイヤ画像(前景画像)を重畳するテクスチャ処理を行う。
フィルタ処理部722は、撮影画像に対して、画像の一部または全体の色情報(例えば、トーンカーブ、輝度値、コントラスト等)を変更するフィルタ処理を行う。
フレーム処理部723は、撮影画像に対して、予め用意された前景画像を重畳するフレーム処理を行う。この前景画像は、どのようなものであってもよい。例えば、前景画像は、文字、図形、模様、枠画像等よりなる。
唇処理部724は、撮影画像に対して、被写体の唇の画像を強調したり、色変換したりする唇処理を行う。
オーラ処理部725は、撮影画像に対して、オーラ(影)を付すオーラ処理を行う。
<撮影処理の流れ>
次に、この場合に、図14のステップS2において行われる撮影処理の流れの例を、図49のフローチャートを参照して説明する。
撮影処理が開始されると、コース選択部701は、ステップS301において、GUIをタッチパネルモニタ92に表示させる等して、利用者にコース選択を行わせ、入力されたコース選択指示を受け付ける。
ステップS302において、撮影ガイダンス部702は、撮影の仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する撮影ガイダンスを行う。この撮影ガイダンスにおいて、例えば、利用者に対して「足マークの上に立ってね」等の案内が行われる。利用者はその案内に従うことにより、スムーズに撮影作業を進めることができる。つまり、利用者は、容易に予め想定されたデザイン(モデルの画像等を用いて例示されたデザイン)の撮影画像を得ることができる。
ステップS303において、アップ撮影部703は、撮影・表示ユニット81を制御して、利用者の顔又は上半身を撮影するアップ撮影を行う。このとき、アップ撮影部703は、予め定められた所定の回数(例えば、3回)アップ撮影を行う。なお、このアップ撮影の回数は任意である。
ステップS304において、上カメラ全身ガイダンス部704は、上カメラ撮影についての仕方等を利用者に紹介する画像や音声を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する上カメラ全身ガイダンスを行う。利用者はこの案内に従うことにより、スムーズに上カメラ撮影の撮影作業を進めることができる。つまり、利用者は、上カメラ撮影において、容易に予め想定されたデザイン(モデルの画像等を用いて例示されたデザイン)の撮影画像を得ることができる。
ステップS305において、上カメラ撮影部705は、撮影・表示ユニット81を制御して上カメラ撮影を行う。このとき、上カメラ撮影部705は、予め定められた所定の回数(例えば、1回)上カメラ撮影を行う。なお、この上カメラ撮影の回数は任意である。
ステップS306において、全身ガイダンス部706は、利用者の全身を撮影する全身撮影の仕方等を利用者に紹介する画像や音声を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する全身ガイダンスを行う。利用者はこの案内に従うことにより、スムーズに全身撮影の撮影作業を進めることができる。つまり、利用者は、全身撮影において、容易に予め想定されたデザイン(モデルの画像等を用いて例示されたデザイン)の撮影画像を得ることができる。
ステップS307において、全身撮影部707は、撮影・表示ユニット81を制御して、利用者の全身を撮影する全身撮影を行う。このとき、全身撮影部707は、予め定められた所定の回数(例えば、2回)全身撮影を行う。なお、この全身撮影の回数は任意である。
ステップS308において、フォトフィルター撮影処理部708は、フォトフィルター撮影処理を行う。フォトフィルター撮影処理の詳細については後述する。
ステップS309において、携帯おまけ紹介部709は、タッチパネルモニタ92やスピーカ224を介して、画像や音声により、「携帯おまけ」サービスを利用者に紹介する。
ステップS309の処理が終了すると、撮影処理が終了し、処理は図14に戻る。
<フォトフィルター撮影処理の流れ>
次に、図49のステップS308において実行されるフォトフィルター撮影処理の流れの例を、図50のフローチャートを参照して説明する。
フォトフィルター撮影処理が開始されると、フォトフィルター撮影ガイダンス部711は、ステップS321において、フォトフィルター撮影の仕方等を利用者に紹介する画像や音声を、タッチパネルモニタ92やスピーカ224を介して利用者に提示するフォトフィルター撮影ガイダンスを行う。利用者はこの案内に従うことにより、スムーズにフォトフィルター撮影の撮影作業を進めることができる。つまり、利用者は、フォトフィルター撮影において、容易に所望のデザイン(モデルの画像等を用いて例示されたデザイン)の画像を得ることができる。
ステップS322において、デザイン選択処理部712は、フォトフィルター撮影のためのデザインを利用者に選択させる処理を行う。例えば、デザイン選択処理部712は、加工結果(背景画像又は前景画像の重畳も含む)のデザインの選択指示を受け付けるGUIであるデザイン選択画面をタッチパネルモニタ92に表示させ、利用者がそのGUIに従って入力するデザイン選択指示を受け付け、受け付けた指示に従って採用する加工方法を選択する。
図51は、そのデザイン選択画面の例を示す図である。図51に示される例の場合、デザイン選択画面751には、利用者が選択することにより加工方法や背景が選択されるGUIであるデザイン選択ボタン752が複数(例えば10個)表示されている。このデザイン選択ボタン752のそれぞれには、図52に示されるように、モデルの画像を用いて加工結果や背景重畳結果が示されている。利用者は、各デザイン選択ボタン752として表示される加工結果(背景の重畳も含む)を参照して、所望のデザインのデザイン選択ボタン752を指定することにより、加工方法や背景画像を選択することができる。
1つのデザイン選択ボタン752には、1つの処理結果をもたらす加工方法や背景画像の組み合わせが割り当てられる。各デザイン選択ボタン752に割り当てられる処理結果は互いに異なる。つまり、図51の例のデザイン選択画面751の場合、10種類の処理結果が示されている。1つのデザイン選択ボタン752には、任意の数や種類の加工方法や背景画像を割り当てることができる。利用者がデザイン選択ボタン752を選択すると、その選択されたデザイン選択ボタン752に割り当てられた全ての加工法や背景画像が選択される。
図52にデザイン選択ボタン752の表示例を示す。図52に示されるデザイン選択ボタン752−1乃至752−10は、図51に示されるデザイン選択画面751に表示される10個のデザイン選択ボタン752の表示例である。図52に示されるように、各デザイン選択ボタン752には、モデルの画像を加工したり背景を重畳させたりした処理結果が示されている。したがって、利用者は、処理結果のデザインをより容易に(直感的に)把握することができる。
デザイン選択ボタン752−1の場合、画像の左部分に文字が表示される半透明の前景画像と、画像の右部分に文字が表示される背景画像とが撮影画像(モデルの全身撮影の画像)に重畳されている。また、撮影画像に対しては、色付け等を行う透明フィルタが施されている。つまり、デザイン選択ボタン752−1が選択されると、加工処理としてフィルタ処理とフレーム処理と背景の重畳が選択される。
デザイン選択ボタン752−2の場合、撮影画像(モデルの全身撮影の画像)に複数のオーラ(影)が付されている。また、撮影画像に対して背景画像が重畳されている。つまり、デザイン選択ボタン752−2が選択されると、加工処理としてオーラ処理(多重色影処理)と背景の重畳が選択される。
デザイン選択ボタン752−3の場合、撮影画像(モデルの全身撮影の画像)に対して、画像の上下方向にずれ幅が不均一なオーラ(影)が付されている。また、撮影画像に対して背景画像が重畳されている。つまり、デザイン選択ボタン752−3が選択されると、加工処理としてオーラ処理(足固定影処理)と背景の重畳が選択される。
デザイン選択ボタン752−4の場合、半透明の前景画像と背景画像とが撮影画像(モデルの全身撮影の画像)に重畳されている。つまり、デザイン選択ボタン752−4が選択されると、加工処理としてフレーム処理と背景の重畳が選択される。
デザイン選択ボタン752−5の場合、画像全体に文字が表示される半透明の前景画像が撮影画像(モデルの全身撮影の画像)に重畳されている。また、この前景画像は、文字の部分がくり抜かれており、撮影画像が露出している。前景画像の非文字の部分が半透明であり、撮影画像が透けて表示されている。つまり、デザイン選択ボタン752−5が選択されると、加工処理としてフレーム処理が選択される。
デザイン選択ボタン752−6の場合、前景画像と背景画像とが撮影画像(モデルのアップ撮影の画像)に重畳されている。また、撮影画像はモノクロ表示され、唇の部分のみがピンク色に表示されている。つまり、デザイン選択ボタン752−6が選択されると、加工処理としてフレーム処理とフィルタ処理と唇処理と背景の重畳が選択される。
デザイン選択ボタン752−7の場合、画像中央に文字が表示される半透明の前景画像と背景画像が撮影画像(モデルのアップ撮影の画像)に重畳されている。また、撮影画像はモノクロ表示され、唇の部分のみがピンク色に表示されている。つまり、デザイン選択ボタン752−7が選択されると、加工処理としてフレーム処理とフィルタ処理と唇処理と背景の重畳が選択される。
デザイン選択ボタン752−8の場合、画像全体に文字や図柄が表示される半透明の前景画像と背景画像が撮影画像(モデルのアップ撮影の画像)に重畳されている。つまり、デザイン選択ボタン752−8が選択されると、加工処理としてフレーム処理と背景の重畳が選択される。
デザイン選択ボタン752−9の場合、撮影画像(モデルのアップ撮影の画像)にオーラ(影)が付されている。つまり、デザイン選択ボタン752−8が選択されると、加工処理としてオーラ処理が選択される。
デザイン選択ボタン752−10の場合、画像全体に文字や図柄が表示される半透明の前景画像が撮影画像(モデルのアップ撮影の画像)に重畳されている。また、この前景画像は、文字の部分がくり抜かれており、撮影画像が露出している。前景画像の非文字の部分が半透明であり、撮影画像が透けて表示されている。つまり、デザイン選択ボタン752−10が選択されると、加工処理としてフレーム処理が選択される。
図50に戻り、ステップS323において、撮影制御部713は、撮影・表示ユニット81を制御して利用者の画像を取り込む(取り込み画像を取得する)。このとき、撮影制御部713は、ステップS322において選択されたデザインに応じた方法(全身撮影若しくはアップ撮影)で利用者の画像を取り込む。
ステップS324において、画像加工部714は、ステップS322において選択されたデザインに応じた方法で取り込み画像を加工する。すなわち、ステップS322において利用者が選択したデザイン選択ボタン752に表示されるような加工(背景の重畳も含む)が取り込み画像に対して施される。つまり、取り込み画像を用いてステップS322において利用者が選択したデザイン選択ボタン752に表示される画像と同様のデザインの画像が生成される。
ステップS325において、表示制御部715は、ステップS324において加工された取り込み画像を用いて、ライブビュー表示を行う。例えば、表示制御部715は、図53に示されるようなライブビュー画面761を生成し、タッチパネルモニタ92に表示させる。図53に示されるように、ライブビュー画面761においては、その中央付近に、加工された取り込み画像(動画像)が表示される。
このようなライブビュー表示を行うことにより、利用者は、加工結果を確認しながら撮影作業(撮影ポーズの決定等)を行うことができ、より容易に撮影作業を行うことができる。
ステップS326において、撮影制御部713は、利用者の指示に従って若しくは所定のタイミングにおいて、被写体の撮影を行う。すなわち、撮影制御部713は、あるタイミングの取り込み画像(静止画像)を撮影画像として取得する。このとき、撮影制御部713は、ステップS322において選択されたデザインに応じた方法(全身撮影若しくはアップ撮影)で利用者の画像を取り込む。
ステップS327において、画像加工部714は、ステップS322において選択されたデザインに応じた方法で撮影画像を加工する。すなわち、ステップS322において利用者が選択したデザイン選択ボタン752に表示されるような加工(背景の重畳も含む)が撮影画像に対して施される。つまり、撮影画像を用いてステップS322において利用者が選択したデザイン選択ボタン752に表示される画像と同様のデザインの画像が生成される。
ステップS328において、表示制御部715は、ステップS327において加工された撮影画像を撮影結果としてプレビュー表示する。例えば、表示制御部715は、図53に示されるライブビュー画面761と同様のプレビュー画面を生成し、タッチパネルモニタ92に表示させる。つまり、プレビュー画面においては、その中央付近に、加工された撮影画像(静止画像)が表示される。
このようなプレビュー表示を行うことにより、利用者は、加工結果を直ぐに確認することができる。
ステップS328の処理が終了するとフォトフィルター撮影処理が終了し、処理は図49に戻る。
以上のように、オーラ処理(多重色影処理や足固定処理等)を、撮影処理において行うことにより、利用者は、より容易に、より自然な画像を得ることができる。
なお、図52の例において、例えば、デザイン選択ボタン752−1、デザイン選択ボタン752−4、デザイン選択ボタン752−5、デザイン選択ボタン752−6、デザイン選択ボタン752−7、デザイン選択ボタン752−8、およびデザイン選択ボタン752−10の画像のように、撮影画像に前景画像を重畳させる場合、その前景画像の絵柄の部分や透明度が低い部分の位置を、撮影画像における被写体の顔部分に重畳させないように、その顔部分の位置に応じて移動させるようにしてもよい。または、その前景画像の絵柄の部分や透明度が低い部分の、撮影画像における被写体の顔部分に重畳する部分を消去したり、透明度を高めたり、色を変更したりするようにしてもよい。さらに、前景画像の絵柄や透明度に関わらず、消去したり、透明度を高めたり、色を変更したりすることにより、撮影画像における被写体の顔部分に前景画像が重畳されないようにしてもよい。
このような処理を行うには、撮影画像における被写体の顔部分(顔領域)を検出し、その顔領域に前景画像が重畳されないようにすればよい。また、その際、撮影画像における被写体の顔部分(顔領域)を検出し、その顔領域を含む、その顔領域よりも広い領域を設定し、その領域に前景画像が重畳されないようにしてもよい。この場合、例えば、被写体の顔部分の周辺にも前景画像が重畳されないようにすることができる。
また、例えば、デザイン選択ボタン752−5やデザイン選択ボタン752−10のように、前景画像にくり抜かれた部分がある場合、そのくり抜かれた部分を、撮影画像における被写体の顔部分に重畳させるように移動させるようにしてもよい。
なお、例えば、デザイン選択ボタン752−5やデザイン選択ボタン752−10のように、前景画像を半透明にすることにより、前景画像と重畳する部分も撮影画像の人物が見えるようにすることができる。特に、デザイン選択ボタン752−5やデザイン選択ボタン752−10のように、重畳する部分が広い前景画像の場合、このように半透明にすることにより、人物をより見やすくすることができ、利用者の満足度を向上させることができる。
また、前景画像の、撮影画像の人物の部分に重畳する部分は、第5の実施の形態において説明した方法と同様に、その人物の部分の濃淡(輝度値等)に応じて、濃淡を制御するようにしてもよい。例えば、撮影画像の色の濃い部分に重畳する部分は、前景画像の色も濃くし、撮影画像の色の薄い部分に重畳する部分は、前景画像の色も薄くするようにしてもよい。逆に、撮影画像の色の濃い部分に重畳する部分は、前景画像の色を薄くし、撮影画像の色の薄い部分に重畳する部分は、前景画像の色を濃くするようにしてもよい。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図8に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア205により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROMや、記憶部に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上において、印刷媒体は、シール紙に限られるものではなく、例えば、所定のサイズの紙や、ポスター用の紙、テレホンカードなどのカード、あるいは、Tシャツなどの布地などに印刷するようにしてもよい。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。例えば、以上において、1の装置や処理部として説明した構成を分割し、複数の装置や処理部として構成するようにしてもよい。逆に、以上において複数の装置や処理部として説明した構成をまとめて1の装置や処理部として構成されるようにしてもよい。また、例えば、各装置や各処理部の構成に、上述した以外の構成を付加するようにしてももちろんよい。さらに、例えば、全体としての構成や動作が実質的に同じであれば、ある装置や処理部の構成の一部を他の装置や処理部の構成に含めるようにしてもよい。
1 写真シール作成装置
11 撮影ユニット
12 編集部
13 事後接客部
201 制御部
208 撮影部
209 編集部
210 事後接客部
301 撮影処理部
302 編集処理部
303 印刷処理部
304 事後接客処理部
323 オーラ処理部
343 幾何学変換部
345 境界領域設定部
346 画像処理部
361 選択部
362 移動処理部
363 回転処理部
364 変形処理部
391 色彩設定部
392 濃淡設定部
393 透過度設定部
501 マスク画像生成部
502 ぼかし処理部
503 トリミング部
541 鏡映処理部
651 濃淡画像生成部
652 濃淡反転部
653 マスク画像生成部
654 2値化処理部
655 マスク濃淡画像合成部
656 幾何学変換部
657 前景背景合成部
658 青色合成部
659 赤色合成部
660 撮影画像合成部
708 フォトフィルター撮影処理部
711 フォトフィルター撮影ガイダンス部
712 デザイン選択処理部
713 撮影制御部
714 画像加工部
715 表示制御部
721 テクスチャ処理部
722 フィルタ処理部
723 フレーム処理部
724 唇処理部
725 オーラ処理部

Claims (13)

  1. 利用者を被写体として撮影を行い、撮影画像を生成する撮影部と、
    前記撮影部により生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成するマスク画像生成部と、
    前記マスク画像生成部により生成された前記マスク画像を2値化する2値化処理部と、
    前記2値化処理部により2値化された前記マスク画像の前記人物領域を幾何学変換する幾何学変換部と、
    前記マスク画像の、前記幾何学変換部により幾何学変換された前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行う画像処理部と、
    前記画像処理部により画像処理された前記マスク画像の前記境界領域の一部と前記撮影画像とを、前記境界領域が前記人物領域内に入らないようにして合成する合成部と
    を備え、
    前記幾何学変換部は、前記マスク画像の前記人物領域を移動させる移動処理、所定の中心点若しくは中心線を軸として前記人物領域を回転させる回転処理、および、前記人物領域の少なくとも一部を変形する変形処理の内、いずれか1つ以上の処理を実行する
    画像処理装置。
  2. 前記幾何学変換部は、前記回転処理を行う場合、前記中心点若しくは前記中心線を特定し、特定した前記中心点若しくは前記中心線を軸として前記人物領域を回転させる
    請求項1に記載の画像処理装置。
  3. 前記幾何学変換部は、前記撮影画像全体の中心若しくは端、前記マスク画像全体の中心若しくは端、前記人物領域全体の中心若しくは端、前記人物領域の顔の部分の中心若しくは端、前記人物領域の上半身の部分の中心若しくは端、または、前記人物領域の下半身の部分の中心若しくは端を、前記中心点若しくは前記中心線として特定する
    請求項2に記載の画像処理装置。
  4. 前記幾何学変換部は、前記マスク画像の前記人物領域を移動させる移動処理、所定の中心点若しくは中心線を軸として前記人物領域を回転させる回転処理、および、前記人物領域の少なくとも一部を変形する変形処理の内、いずれか1つ以上の処理を選択して実行する
    請求項1に記載の画像処理装置。
  5. 前記撮影画像において前記被写体が複数の場合、
    前記幾何学変換部は、前記被写体毎に前記人物領域を幾何学変換する
    請求項1乃至請求項4のいずれかに記載の画像処理装置。
  6. 前記画像処理部は、色彩を設定する
    請求項1乃至請求項5のいずれかに記載の画像処理装置。
  7. 前記画像処理部は、色彩の濃淡を設定する
    請求項1乃至請求項6のいずれかに記載の画像処理装置。
  8. 前記画像処理部は、透過度を設定する
    請求項1乃至請求項7のいずれかに記載の画像処理装置。
  9. 前記撮影画像において前記被写体が複数の場合、
    前記画像処理部は、各被写体の境界領域に対して、互いに独立に画像処理を行う
    請求項1乃至請求項8のいずれかに記載の画像処理装置。
  10. 前記画像処理に関する利用者の指示を受け付ける受付部をさらに備え、
    前記画像処理部は、前記受付部により受け付けられた前記利用者の指示に従って画像処理を行う
    請求項1乃至請求項9のいずれかに記載の画像処理装置。
  11. 前記人物領域周辺にぼかし処理を施すぼかし処理部をさらに備える
    請求項1乃至請求項10のいずれかに記載の画像処理装置。
  12. 利用者を被写体として撮影を行い、撮影画像を生成し、
    生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成し、
    生成された前記マスク画像を2値化し、
    2値化された前記マスク画像の前記人物領域を移動させる移動処理、所定の中心点若しくは中心線を軸として前記人物領域を回転させる回転処理、および、前記人物領域の少なくとも一部を変形する変形処理の内、いずれか1つ以上の処理を実行することにより、前記マスク画像の前記人物領域を幾何学変換し、
    前記マスク画像の、幾何学変換された前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行い、
    画像処理された前記マスク画像の前記境界領域の一部と前記撮影画像とを、前記境界領域が前記人物領域内に入らないようにして合成する
    画像処理方法。
  13. 利用者を被写体として撮影を行い、撮影画像を生成し、
    生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成し、
    生成された前記マスク画像を2値化し、
    2値化された前記マスク画像の前記人物領域を移動させる移動処理、所定の中心点若しくは中心線を軸として前記人物領域を回転させる回転処理、および、前記人物領域の少なくとも一部を変形する変形処理の内、いずれか1つ以上の処理を実行することにより、前記マスク画像の前記人物領域を幾何学変換し、
    前記マスク画像の、幾何学変換された前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行い、
    画像処理された前記マスク画像の前記境界領域の一部と前記撮影画像とを、前記境界領域が前記人物領域内に入らないようにして合成する
    処理をコンピュータに実行させるプログラム。
JP2013169597A 2012-12-14 2013-08-19 画像処理装置および方法、並びにプログラム Active JP5574031B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013169597A JP5574031B2 (ja) 2012-12-14 2013-08-19 画像処理装置および方法、並びにプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012273823 2012-12-14
JP2012273823 2012-12-14
JP2013169597A JP5574031B2 (ja) 2012-12-14 2013-08-19 画像処理装置および方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014000352A Division JP6048758B2 (ja) 2012-12-14 2014-01-06 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2014134760A JP2014134760A (ja) 2014-07-24
JP5574031B2 true JP5574031B2 (ja) 2014-08-20

Family

ID=51413048

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013169597A Active JP5574031B2 (ja) 2012-12-14 2013-08-19 画像処理装置および方法、並びにプログラム
JP2014000352A Active JP6048758B2 (ja) 2012-12-14 2014-01-06 画像処理装置および方法、並びにプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014000352A Active JP6048758B2 (ja) 2012-12-14 2014-01-06 画像処理装置および方法、並びにプログラム

Country Status (1)

Country Link
JP (2) JP5574031B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373351B2 (en) 2019-03-26 2022-06-28 Fujifilm Corporation Image processing method, program, and image processing system

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430853B2 (en) * 2015-01-09 2016-08-30 Lawrance Joseph L'Heureux Methods for reifying images to convey non-textual information to viewers
JP2016177015A (ja) * 2015-03-18 2016-10-06 フリュー株式会社 写真シール作成装置および画像処理方法
JP5871087B1 (ja) * 2015-04-24 2016-03-01 フリュー株式会社 写真シール作成装置および方法
JP6618764B2 (ja) * 2015-10-26 2019-12-11 加賀デバイス株式会社 写真撮影遊戯機
JP6706977B2 (ja) * 2016-06-20 2020-06-10 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
JP7363765B2 (ja) * 2018-03-06 2023-10-18 ソニーグループ株式会社 画像処理装置、および撮像装置、並びに画像処理方法
JP6725591B2 (ja) * 2018-06-12 2020-07-22 加賀デバイス株式会社 写真撮影遊戯装置、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム
CN111754612A (zh) * 2020-06-01 2020-10-09 Oppo(重庆)智能科技有限公司 动图生成方法和装置
CN116188314A (zh) * 2023-02-28 2023-05-30 抖音视界有限公司 一种图像处理方法、装置、电子设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10327353A (ja) * 1997-05-23 1998-12-08 Sega Enterp Ltd 画像出力装置
JP2006060719A (ja) * 2004-08-23 2006-03-02 Make Softwear:Kk 画像編集装置および画像編集方法
JP2006073284A (ja) * 2004-08-31 2006-03-16 Make Softwear:Kk フットスイッチ保護筐体および写真自動撮影装置
JP2006072418A (ja) * 2004-08-31 2006-03-16 Make Softwear:Kk 画像合成方法および画像合成装置
JP2006133941A (ja) * 2004-11-04 2006-05-25 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び携帯型端末
JP4648092B2 (ja) * 2005-05-31 2011-03-09 株式会社アイ・エム・エス 写真シール払出装置及びその画像処理方法
JP2007240887A (ja) * 2006-03-08 2007-09-20 Make Softwear:Kk 自動写真撮影装置及びその方法
JP4821642B2 (ja) * 2007-02-15 2011-11-24 株式会社ニコン 画像処理方法、画像処理装置、ディジタルカメラ及び画像処理プログラム
JP2009118084A (ja) * 2007-11-05 2009-05-28 Olympus Imaging Corp デジタルカメラ
JP5392575B2 (ja) * 2010-12-28 2014-01-22 フリュー株式会社 画像編集装置および方法、並びにプログラム
JP5488526B2 (ja) * 2011-04-28 2014-05-14 フリュー株式会社 画像処理装置および画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373351B2 (en) 2019-03-26 2022-06-28 Fujifilm Corporation Image processing method, program, and image processing system

Also Published As

Publication number Publication date
JP2014134760A (ja) 2014-07-24
JP6048758B2 (ja) 2016-12-21
JP2014134792A (ja) 2014-07-24

Similar Documents

Publication Publication Date Title
JP6048758B2 (ja) 画像処理装置および方法、並びにプログラム
JP6237939B2 (ja) 画像編集装置および画像編集方法
JP5488526B2 (ja) 画像処理装置および画像処理方法
JP6136769B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6659980B2 (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP5582171B2 (ja) 画像処理装置および方法、並びにプログラム
JP5549727B2 (ja) 写真シール作成装置および方法
JP5569502B2 (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP5472767B2 (ja) 画像処理装置および画像処理方法
JP6575085B2 (ja) 写真シール作成装置および画像生成方法
JP5541545B1 (ja) 写真シール作成装置および方法、並びにプログラム
JP2017121044A (ja) 写真シール作成装置および画像処理方法
JP6213791B2 (ja) 画像処理装置および画像処理方法
JP5621875B1 (ja) 撮影装置および方法、並びにプログラム
JP6477780B2 (ja) 写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラム
JP5527446B1 (ja) 撮影装置および撮影方法
JP6262643B2 (ja) 画像処理装置および画像処理方法
JP5482948B2 (ja) 画像処理装置および画像処理方法
JP6659942B2 (ja) 写真シール作成装置および表示方法
JP2014239353A (ja) 画像印刷装置および画像配置方法
JP5725245B2 (ja) 画像印刷装置および画像印刷方法
JP7121256B2 (ja) 写真作成ゲーム機、画像処理方法、およびプログラム
JP2014170234A (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP5594401B1 (ja) 撮影装置、撮影方法、およびプログラム
JP2014239546A (ja) 画像印刷装置および画像印刷方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140616

R150 Certificate of patent or registration of utility model

Ref document number: 5574031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250