JP6041024B1 - 写真シール作成装置および表示方法 - Google Patents

写真シール作成装置および表示方法 Download PDF

Info

Publication number
JP6041024B1
JP6041024B1 JP2015157337A JP2015157337A JP6041024B1 JP 6041024 B1 JP6041024 B1 JP 6041024B1 JP 2015157337 A JP2015157337 A JP 2015157337A JP 2015157337 A JP2015157337 A JP 2015157337A JP 6041024 B1 JP6041024 B1 JP 6041024B1
Authority
JP
Japan
Prior art keywords
image
area
live view
user
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015157337A
Other languages
English (en)
Other versions
JP2017038154A (ja
Inventor
高橋 健太
健太 高橋
勝也 藤原
勝也 藤原
幸代 金澤
幸代 金澤
中村 大輔
大輔 中村
俊介 中嶋
俊介 中嶋
Original Assignee
フリュー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フリュー株式会社 filed Critical フリュー株式会社
Priority to JP2015157337A priority Critical patent/JP6041024B1/ja
Application granted granted Critical
Publication of JP6041024B1 publication Critical patent/JP6041024B1/ja
Publication of JP2017038154A publication Critical patent/JP2017038154A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Studio Devices (AREA)

Abstract

【課題】利用者が違和感を覚えることなく撮影作業を行う。【解決手段】カメラは、利用者を被写体として撮影し、表示制御部は、カメラに取り込まれた画像が表示される表示領域を有する画面を表示し、検出部は、画像における利用者のパーツを検出し、画像処理部は、検出されたパーツの位置に応じたパラメータによる画像処理を、画像の人物領域に施す。画像処理部は、パーツの位置と、表示領域上に設定された所定の設定位置との距離に応じて、3以上の値をとるパラメータを調整する。本技術は、例えば、写真シール作成装置に適用することができる。【選択図】図17

Description

本技術は、写真シール作成装置および表示方法に関し、特に、利用者が違和感を覚えることなく撮影作業を行うことができるようにする写真シール作成装置および表示方法に関する。
従来、アミューズメント施設等に設置される写真シール機が知られている。写真シール機は、利用者を撮影し、利用者の操作に応じて撮影画像に対して編集を施す。写真シール機は、編集が施された撮影画像をシール紙に印刷する。
このような写真シール機において、利用者は、自身が写るライブビュー画像を確認しながら撮影作業を行う。
例えば、特許文献1には、ライブビュー表示画面に、ライブビュー画像に写る利用者毎に目の大きさをさせる選択ボタンを表示する写真シール機が記載されている。選択ボタンが操作されると、ライブビュー画像において、その選択ボタンに対応する利用者の目の大きさが、その選択ボタンに対応する大きさに変更される。
また、写真シール機ではないが、撮像している動画像のフレーム毎に顔の位置を検出し、検出された顔の位置に基づいて、動画像の画質を調整するデジタルカメラがある。
特許第5505751号公報
特許文献1に記載の写真シール機において、利用者の顔が、ライブビュー画像が表示される表示領域から見切れた場合には、顔の検出が正常に行われないので、目の大きさは変更されない。
この場合、利用者の立ち位置などにより、利用者の顔が、ライブビュー画像が表示される表示領域に収まったり、表示領域から見切れたりすることで、目の大きさを変更する画像処理が施されたり、施されなかったりする。すなわち、利用者の立ち位置などにより、ライブビュー画像の見た目が大きく切り替わってしまう。このような場合、ライブビュー画像を確認しながら撮影作業を行う利用者は、違和感を覚えながら撮影作業を行うことになる。
なお、上述したようなデジタルカメラにおいて、検出された顔の位置に基づいて画質が調整される動画像は、撮影中に利用者(被写体)が確認することができるものではない。
本技術は、このような状況に鑑みてなされたものであり、利用者が違和感を覚えることなく撮影作業を行うことができるようにするものである。
本技術の一側面の写真シール作成装置は、利用者を被写体として撮影するカメラと、前記カメラに取り込まれた動画像であるライブビュー画像が表示される表示領域を有するライブビュー表示画面を表示する表示制御部と、前記ライブビュー画像における前記利用者のパーツを検出する検出部と、検出された前記パーツの位置に応じたパラメータによる画像処理を、前記ライブビュー画像の人物領域に施す画像処理部とを備え、前記画像処理部は、前記ライブビュー表示画面において、前記パーツの位置と、前記表示領域上に設定された所定の設定位置との距離が近いほど前記画像処理を強め、かつ、前記パーツの位置と前記表示領域の縁との距離が近いほど前記画像処理を弱めるよう、前記パラメータを調整する。
前記設定位置は、前記表示領域内に設定されるようにすることができる。
前記設定位置は、前記表示領域内に設定された設定領域内の全ての位置に設定されるようにすることができる。
前記画像処理部には、前記パーツの位置が前記設定領域内にある場合、前記画像処理を最も強めるよう前記パラメータを調整させ、前記パーツの位置が前記表示領域と前記設定領域との間の領域にある場合、前記パーツの位置と前記設定領域とが近いほど、前記画像処理を強めるよう前記パラメータを調整させ、前記パーツの位置が前記表示領域外にある場合、前記画像処理を施させないようにすることができる。
前記カメラには、前記利用者の顔および上半身を撮影範囲としたアップ撮影、および、前記利用者の全身を撮影範囲とした全身撮影を行わせ、前記アップ撮影が行われる場合と、前記全身撮影が行われる場合とで、前記表示領域内に異なる前記設定領域が設定されるようにすることができる。
前記検出部には、前記アップ撮影が行われる場合、前記ライブビュー画像における前記利用者の顔のパーツを検出させ、前記全身撮影が行われる場合、前記ライブビュー画像における前記利用者の身体のパーツを検出させることができる。
前記画像処理部には、前記アップ撮影が行われる場合、前記画像処理を、前記ライブビュー画像の顔領域に施させ、前記全身撮影が行われる場合、前記画像処理を、前記ライブビュー画像の身体領域に施させることができる。
前記設定位置は、前記表示領域の中心点に設定されるようにすることができる。
本技術の一側面の表示方法は、利用者を被写体として撮影するカメラに取り込まれた動画像であるライブビュー画像が表示される表示領域を有するライブビュー表示画面を表示し、前記ライブビュー画像における前記利用者のパーツを検出し、検出された前記パーツの位置に応じたパラメータによる画像処理を、前記ライブビュー画像の人物領域に施すステップを含み、前記ステップは、前記ライブビュー表示画面において、前記パーツの位置と、前記表示領域上に設定された所定の設定位置との距離が近いほど前記画像処理を強め、かつ、前記パーツの位置と前記表示領域の縁との距離が近いほど前記画像処理を弱めるよう、前記パラメータを調整する。
本技術の一側面においては、利用者を被写体として撮影するカメラに取り込まれた動画像であるライブビュー画像が表示される表示領域を有するライブビュー表示画面が表示され、ライブビュー画像における利用者のパーツが検出され、検出されたパーツの位置に応じたパラメータによる画像処理が、ライブビュー画像の人物領域に施され、ライブビュー表示画面において、パーツの位置と、表示領域上に設定された所定の設定位置との距離が近いほど画像処理を強め、かつ、パーツの位置と表示領域の縁との距離が近いほど画像処理を弱めるよう、パラメータが調整される。
本技術によれば、利用者が違和感を覚えることなく撮影作業を行うことが可能となる。
本技術の写真シール作成装置の外観の構成例を示す斜視図である。 利用者の移動について説明する図である。 撮影部の構成例を示す図である。 背景部の構成例を示す図である。 編集ユニットの構成例を示す図である。 編集ユニットの右側面の構成例を示す図である。 写真シール作成装置の内部の構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 撮影処理部の機能構成例を示すブロック図である。 写真シール作成ゲーム処理について説明するフローチャートである。 撮影処理について説明するフローチャートである。 ライブビュー画像表示処理の例について説明するフローチャートである。 ライブビュー表示画面の例を示す図である。 ライブビュー画像に対する画像処理の従来例を示す図である。 ライブビュー画像に対する画像処理の従来例を示す図である。 本技術のライブビュー画像に対する画像処理の例を示す図である。 本技術のライブビュー画像に対する画像処理の例を示す図である。 本技術のライブビュー画像に対する画像処理の例を示す図である。 本技術のライブビュー画像に対する画像処理の例を示す図である。 本技術のライブビュー画像に対する画像処理の例を示す図である。 本技術のライブビュー画像に対する画像処理の例を示す図である。 本技術のライブビュー画像に対する画像処理の例を示す図である。 本技術のライブビュー画像に対する画像処理の他の例を示す図である。 本技術のライブビュー画像に対する画像処理の他の例を示す図である。 本技術のライブビュー画像に対する画像処理の他の例を示す図である。 本技術のライブビュー画像に対する画像処理の他の例を示す図である。 本技術のライブビュー画像に対する画像処理の他の例を示す図である。 撮影処理部の他の機能構成例を示すブロック図である。 ライブビュー画像表示処理の例について説明するフローチャートである。 全身撮影が行われる場合に設定される設定領域の例を示す図である。 撮影結果確認画面の例を示す図である。 編集画面の例を示す図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
<写真シール作成装置の外観構成>
図1は、写真シール作成装置1の外観の構成例を示す斜視図である。
写真シール作成装置1は、撮影画像や編集済み画像を提供するゲーム機である。写真シール作成装置1は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にするためにその画像をサーバに送信することで、利用者に画像を提供する。写真シール作成装置1は、アミューズメント施設や店舗に設置される。写真シール作成装置1の利用者は、主に女子高生や女子大生などの若い女性が中心とされる。写真シール作成装置1において、1組あたり主に2人や3人などの複数人の利用者がゲームを楽しむことができる。もちろん、1人の利用者がゲームを楽しむこともできる。
写真シール作成装置1において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
写真シール作成装置1は、撮影ユニット11と編集ユニット12が接した状態で設置されることによって構成される。撮影ユニット11と編集ユニット12は電気的に接続される。撮影ユニット11は、人が中に入ることができる程度の大きさを有する箱形状の筐体を有する。
撮影ユニット11は、撮影部21と背景部22から構成される。撮影部21と背景部22は離れて設置される。撮影部21と背景部22の間に設けられる空間が、利用者が撮影作業を行う撮影空間となる。
撮影部21は、利用者を被写体として撮影する装置である。撮影空間に臨む撮影部21の正面にはカメラなどが設けられる。撮影部21の、編集ユニット12と接する面には正面パネル41が設けられる。撮影空間にいる利用者から見て右側の面を右側面、左側の面を左側面とすると、撮影部21の右側面が側面パネル42Aにより構成され、左側面が側面パネル42B(図2)により構成される。
背景部22は、それぞれ板状の部材である背面パネル51、側面パネル52A、および側面パネル52B(図2)から構成される。背面パネル51は、正面を向いている利用者の背面側に位置する。側面パネル52Aは、背面パネル51の右端に取り付けられ、側面パネル52Bは、背面パネル51の左端に取り付けられる。
側面パネル42Aと側面パネル52Aは、所定の間隔をあけてほぼ同一平面に設けられる。側面パネル42Aと側面パネル52Aの上部は、板状の部材である連結部31Aによって連結される。また、側面パネル42Aと側面パネル52Aの下部は、床面に設けられた例えば金属製の部材である連結部34によって連結される。
側面パネル42Bと側面パネル52Bも同様にほぼ同一平面に設けられる。側面パネル42Bと側面パネル52Bの上部は連結部31Bによって連結される。側面パネル42Aと側面パネル52Aの下部は、床面に設けた金属製の部材(図示せず)によって連結される。
側面パネル42A、連結部31A、および側面パネル52Aに囲まれることによって形成される開口が、撮影空間の出入り口となる。また、側面パネル42B、連結部31B、および側面パネル52Bに囲まれることによって形成される開口もまた、撮影空間の出入り口となる。
撮影空間の上方には、撮影部21の正面パネル41、連結部31A、連結部31B、および背景部22の背面パネル51に囲まれる開口が形成される。その開口には、その一部を覆うように天井ストロボユニット32が設けられる。天井ストロボユニット32の一端は連結部31Aに固定され、他端は連結部31Bに固定される。
天井ストロボユニット32は、撮影空間内に向けて光を照射するストロボ発光管を内蔵する。天井ストロボユニット32の内部には、ストロボ発光管の他に蛍光灯が設けられている。これにより、天井ストロボユニット32は、撮影空間の照明としても機能する。
編集ユニット12は、撮影画像に編集を施すための装置である。編集ユニット12は、一方の側面が撮影部21の正面パネル41に接するようにして、撮影ユニット11に連結している。
図1に示される編集ユニット12の構成を正面側の構成とすると、編集ユニット12の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、2組の利用者が同時に編集を行うことができる。
編集ユニット12の正面側は、面12Aと、面12Aの上方に形成された斜面12Bから構成される。面12Aは、床面に対して垂直であり、撮影部21の側面パネル42Aとほぼ平行な面である。斜面12Bには、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。
斜面12Bの上方右側には、照明装置73の一端を支持する柱状の支持部71A(図5)が設けられる。斜面12Bの左側には、照明装置73の他端を支持する柱状の支持部71Bが設けられる。支持部71Aの右側には板状のパネル72が設けられる。パネル72の上面にはカーテンレール75を支持する支持部74が設けられる。
編集ユニット12の上方にはカーテンレール75が取り付けられる。カーテンレール75は、3本のレール75A乃至75Cが組み合わされて構成される。3本のレール75A乃至75Cは、上から見たときの形状がコの字状となるように組み合わされる。平行に設けられるレール75Aとレール75Bの一端は、連結部31Aと連結部31Bにそれぞれ固定され、レール75Aとレール75Bの他端は、レール75Cの両端にそれぞれ接合される。
カーテンレール75には、編集ユニット12の正面前方の空間と背面前方の空間が外から見えないようにカーテンが取り付けられる。そのカーテンにより囲まれる編集ユニット12の正面前方の空間と背面後方の空間が、利用者が編集作業を行う編集空間となる。
また、後述するが、編集ユニット12の右側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット12の右側面前方の空間が、印刷が終了するのを利用者が待つ印刷待ち空間となる。
<利用者の移動について>
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。
図2は、写真シール作成装置1を上から見た平面図である。
まず、利用者は、白抜き矢印#1で示されるように出入り口G1から、または白抜き矢印#2で示されるように出入り口G2から、撮影部21と背景部22の間に形成された撮影空間A1に入る。出入り口G1は側面パネル42Aと側面パネル52Aの間の開口であり、出入り口G2は側面パネル42Bと側面パネル52Bの間の開口である。利用者は、撮影空間A1において、撮影部21に設けられたカメラやタッチパネルモニタなどを利用して撮影作業を行う。
撮影作業を終えた利用者は、白抜き矢印#3で示されるように出入り口G1から撮影空間A1を出て編集空間A2−1に移動するか、白抜き矢印#4で示されるように出入り口G2から撮影空間A1を出て編集空間A2−2に移動する。
編集空間A2−1は、編集ユニット12の正面側の編集空間である。一方、編集空間A2−2は、編集ユニット12の背面側の編集空間である。利用者が編集空間A2−1と編集空間A2−2のいずれの空間に移動するのかは、撮影部21のタッチパネルモニタの画面表示などによって案内される。例えば2つの編集空間のうちの空いている方が移動先として案内される。
編集空間A2−1または編集空間A2−2に移動した利用者は、編集作業を開始する。編集空間A2−1の利用者と、編集空間A2−2の利用者は同時に編集作業を行うことができる。
編集作業が終了した後、編集画像の印刷が開始される。印刷が開始されると、編集空間A2−1での編集作業を終えた利用者は、白抜き矢印#5で示されるように編集空間A2−1から印刷待ち空間A3に移動する。また、編集空間A2−2での編集作業を終えた利用者は、白抜き矢印#6で示されるように編集空間A2−2から印刷待ち空間A3に移動する。印刷待ち空間A3に移動した利用者は、印刷が終了するのを待つ間、例えば、サーバに送信する画像の選択や、利用者が持つ携帯端末のメールアドレスの入力を事後選択作業として行う。
印刷が終了すると、利用者は、編集ユニット12の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。
次に、各部の構成について説明する。
<撮影部の構成>
図3は、撮影部21の正面の構成例を示す図である。撮影部21は、正面パネル41、側面パネル42A、および側面パネル42Bに囲まれるようにして構成される。
正面パネル41のほぼ中央には、カメラユニット81が設けられる。カメラユニット81は、カメラ91、正面ストロボユニット92、およびタッチパネルモニタ93から構成される。
カメラ91は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット81の内部に取り付けられる。カメラ91はCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、撮影空間A1にいる利用者を撮影する。カメラ91により取り込まれた動画像(以下、ライブビュー画像ともいう)は、タッチパネルモニタ93にリアルタイムで表示される。撮影が指示されたときなどの所定のタイミングでカメラ91により取り込まれた静止画像は、撮影画像として保存される。
正面ストロボユニット92は、カメラ91の上方に設けられる。正面ストロボユニット92は、他のストロボユニットと同様にカメラ91による撮影に合わせて発光する。正面ストロボユニット92は、被写体としての利用者の顔付近に、その正面から光を照射する。
タッチパネルモニタ93は、カメラ91の下方に設けられる。タッチパネルモニタ93は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ93は、カメラ91により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUI(Graphical User Interface)パーツを表示することで、利用者の選択操作を受け付ける機能とを備える。タッチパネルモニタ93には、カメラ91により取り込まれた動画像(ライブビュー画像)や静止画像(撮影画像)が表示される。
正面パネル41において、カメラユニット81の上方には上ストロボユニット82が設置される。また、カメラユニット81の左方には左ストロボユニット83が設置され、カメラユニット81の右方には右ストロボユニット84が設置される。さらに、カメラユニット81の下方には箱状の足元ストロボユニット85が設置される。
上ストロボユニット82は、前方上側から利用者に光を照射する。左ストロボユニット83は、前方左側から利用者に光を照射する。右ストロボユニット84は、前方右側から利用者に光を照射する。足元ストロボユニット85は、利用者の足元に光を照射する。
上ストロボユニット82、左ストロボユニット83、右ストロボユニット84、および足元ストロボユニット85の内部には蛍光灯が設けられる。これらの蛍光灯は、天井ストロボユニット32内部の蛍光灯とあわせて、撮影空間A1内の照明として用いられる。各蛍光灯の発光量が調整されることによって、または、発光する蛍光灯の数が調整されることによって、撮影空間A1内の明るさが適宜調整される。
足元ストロボユニット85の右側および左側には、足元ストロボユニット85より高さの低い箱状部86A,86Bが設けられる。箱状部86A,86Bそれぞれの上面は、利用者が手荷物などを置くための荷物置き場となる。
さらに、箱状部86Aには、利用者が硬貨を投入する硬貨投入口87が設けられる。
また、図示はしないが、正面パネル41の例えば天井付近にはスピーカが設けられる。そのスピーカは、撮影作業に関する案内音声、BGM、効果音などを出力する。
<背景部の構成>
図4は、背景部22の撮影空間A1側の構成例を示す図である。
背面パネル51の上方中央には背面上ストロボユニット121が設けられる。また、背面パネル51の上方右側(図中、左側)には背面右ストロボユニット122が設けられ、背面パネル51の上方左側(図中、右側)には背面左ストロボユニット123が設けられる。
背面上ストロボユニット121は、後方上側から利用者に光を照射する。背面右ストロボユニット122は、後方右側から利用者に光を照射する。背面左ストロボユニット123は、後方左側から利用者に光を照射する。
背面パネル51の撮影空間A1側(図中、手前側)の面には、背面カーテン124が貼り付けられる。背面カーテン124の色は、例えば緑色とされる。また、図示はしないが、側面パネル52A,52Bそれぞれの撮影空間A1側にも、背面カーテン124と同様の側面カーテンが貼り付けられる。側面カーテンの色は、背面カーテン124の色と同一とする。
これらのカーテンはクロマキー用のカーテンとして用いられる。これにより、撮影画像に対してクロマキー処理を施し、利用者が所望する背景画像を、撮影画像の背景部分に合成することができる。なお、これらのカーテンの色は、クロマキー処理を行うことができる色であればよく、青色など、その他の色であってもよい。
<編集ユニットの構成>
図5は、編集ユニット12の正面側(編集空間A2−1側)の構成例を示す図である。
斜面12Bのほぼ中央には、タブレット内蔵モニタ131が設けられる。タブレット内蔵モニタ131の左側にはタッチペン132Aが設けられる。タブレット内蔵モニタ131の右側にはタッチペン132Bが設けられる。
タブレット内蔵モニタ131は、タブレットがディスプレイを露出するように設けられることによって構成される。タブレットは、タッチペン132Aまたはタッチペン132Bを用いた操作入力を可能とする。タブレット内蔵モニタ131には、例えば、編集作業に用いられる編集画面が表示される。2人の利用者が同時に編集作業を行う場合、タッチペン132Aはタブレット内蔵モニタ131に向かって左側にいる利用者により用いられ、タッチペン132Bはタブレット内蔵モニタ131に向かって右側にいる利用者により用いられる。
図6は、編集ユニット12の右側面の構成例を示す図である。
編集ユニット12の右側面の一部を構成するパネル72には、タブレット内蔵モニタ141が設けられる。タブレット内蔵モニタ141には、事後選択作業に用いられる画面が表示される。
編集ユニット12の右側面の下部には、シール紙排出口142が設けられる。編集ユニット12の内部にはプリンタが設けられている。そのプリンタにより、編集空間A2−1の利用者が写る画像、または、編集空間A2−2の利用者が写る画像が所定のレイアウト(以下、シールレイアウトという)でシール紙に印刷され、シール紙排出口142から排出される。
タブレット内蔵モニタ141の下方には、スピーカ143が設けられる。スピーカ143は、事後選択作業に関する案内音声、BGM、効果音等などを出力する。
<写真シール作成装置の内部構成>
図7は、写真シール作成装置1の内部の構成例を示すブロック図である。図7において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
制御部201は、CPU(Central Processing Unit)などにより構成される。制御部201は、ROM(Read Only Memory)206や記憶部202に記憶されているプログラムを実行し、写真シール作成装置1の全体の動作を制御する。制御部201には、記憶部202、通信部203、ドライブ204、ROM206、RAM(Random Access Memory)207が接続される。制御部201には、撮影部208、編集部209A,209B、および事後選択部210の各構成も接続される。
記憶部202は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部202は、制御部201から供給された各種の設定情報などを記憶する。記憶部202に記憶されている情報は制御部201により適宜読み出される。
通信部203は、インターネットなどのネットワークのインタフェースである。通信部203は、制御部201による制御に従って外部の装置と通信を行う。通信部203は、例えば、利用者に選択された撮影画像や編集画像をサーバに送信する。通信部203から送信された画像は、サーバにおいて所定の記憶領域が割り当てられて保存され、サーバにアクセスしてきた携帯端末に表示されたり、ダウンロードされたりする。
ドライブ204には、光ディスクや半導体メモリなどよりなるリムーバブルメディア205が適宜装着される。ドライブ204によりリムーバブルメディア205から読み出されたプログラムやデータは、制御部201に供給され、記憶部202に記憶されたり、インストールされたりする。
ROM206は、制御部201において実行されるプログラムやデータを記憶する。RAM207は、制御部201が処理するデータやプログラムを一時的に記憶する。
撮影部208は、撮影空間A1にいる利用者を対象とした撮影処理を実現する。撮影部208は、硬貨処理部221、照明装置222、カメラ91、タッチパネルモニタ93、およびスピーカ223から構成される。
硬貨処理部221は、硬貨投入口87への硬貨の投入を検出する。硬貨処理部221は、例えば400円などの所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号を制御部201に出力する。
照明装置222は、撮影空間A1内の各ストロボユニットであり、制御部201から供給される照明制御信号に従って発光する。
カメラ91は、制御部201によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像(画像データ)を制御部201に出力する。
編集部209Aは、編集空間A2−1にいる利用者を対象とした編集処理を実現する。編集部209Aは、タブレット内蔵モニタ131、タッチペン132A,132B、およびスピーカ231から構成される。編集部209Bは、編集空間A2−2にいる利用者を対象とした編集処理を実現し、編集部209Aと同一の構成を有する。なお、以下、編集部209A,209Bを特に区別しない場合には、単に、編集部209という。
タブレット内蔵モニタ131は、制御部201による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部201に供給され、編集対象となる撮影画像が編集される。
事後選択部210は、印刷待ち空間A3にいる利用者を対象とした事後選択処理を実現する。事後選択処理は、事後選択作業を利用者に行わせるための処理である。事後選択部210は、タブレット内蔵モニタ141、スピーカ143、およびプリンタ241から構成される。プリンタ241にはシール紙ユニット242が装着される。
タブレット内蔵モニタ141は、制御部201による制御に従って各種の選択画面等を表示し、その画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部201に供給され、各種の設定が行われる。
プリンタ241は、制御部201から供給された印刷データに基づいて、シール紙ユニット242に収納されているシール紙に編集画像を印刷する。プリンタ241は、編集画像を所定のシールレイアウトで印刷したシール紙を、シール紙排出口142に排出する。
<制御部の構成>
図8は、制御部201の機能構成例を示すブロック図である。図8に示す機能部のうちの少なくとも一部は、制御部201内のCPUにより所定のプログラムが実行されることによって実現される。
制御部201は、撮影処理部301、編集処理部302、印刷処理部303、および事後選択処理部304から構成される。
撮影処理部301は、撮影部208の各部を制御することで、撮影処理を行う。編集処理部302は、編集部209の各部を制御することで、編集処理を行う。印刷処理部303は、事後選択部210のプリンタ241を制御することで、印刷処理を行う。事後選択処理部304は、事後選択部210のタブレット内蔵モニタ141を制御することで、事後選択処理を行う。
<撮影処理部の構成例>
図9は、撮影処理部301の機能構成例を示すブロック図である。
撮影処理部301は、表示制御部311、撮影制御部312、検出部313、および画像処理部314から構成される。
表示制御部311は、タッチパネルモニタ93の表示を制御する。例えば、表示制御部311は、タッチパネルモニタ93に、カメラ91に取り込まれたライブビュー画像を表示させたり、撮影結果である撮影画像を表示させたりする。
撮影制御部312は、カメラ91を制御することで、カメラ91に、被写体が写る動画像をライブビュー画像として取り込ませたり、撮影のタイミングで得られた静止画像を撮影画像として取り込ませる。
検出部313は、カメラ91に取り込まれたライブビュー画像や撮影画像において、被写体の身体や顔のパーツを検出する。被写体の身体や顔のパーツについては、後述する。
画像処理部314は、カメラ91に取り込まれたライブビュー画像や撮影画像に所定の画像処理を施す。
<写真シール作成装置の動作>
ここで、図10のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置1の動作について説明する。図10の処理は、所定の金額分の硬貨が硬貨投入口87に投入されたときに開始される。
ステップS1において、撮影処理部301は、撮影部208を制御することで、撮影処理を行う。具体的には、撮影処理部301は、カメラ91に取り込まれた被写体のライブビュー画像をタッチパネルモニタ93に表示させ、撮影空間A1にいる利用者を被写体として撮影し、撮影画像を生成する。
ステップS2において、編集処理部302は、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部209を制御することで、編集処理を行う。具体的には、編集処理部302は、撮影処理により得られた撮影画像に対して利用者に編集作業を行わせることで、編集が施された編集画像を生成する。
ステップS3において、印刷処理部303は、プリンタ241を制御することで、印刷処理を開始する。具体的には、印刷処理部303は、編集処理により得られた編集画像を、プリンタ241に出力してシール紙に印刷させる。なお、撮影処理により得られた撮影画像が、シール紙に印刷されるようにしてもよい。
ステップS4において、事後選択処理部304は、タブレット内蔵モニタ141を制御することで、事後選択処理を行う。具体的には、事後選択処理部304は、印刷が終わるのを待っている利用者に事後選択作業を行わせ、選択された撮影画像や編集画像を利用者の携帯端末に送信するために、その画像をサーバに送信する。
印刷が終了すると、ステップS5において、プリンタ241は、画像が印刷されたシール紙をシール紙排出口142に排出し、処理を終了させる。
<撮影処理の詳細>
次に、図11のフローチャートを参照して、上述した写真シール作成ゲームの一連の処理におけるステップS1の撮影処理の詳細について説明する。
撮影処理が開始されると、ステップS21において、表示制御部311は、写りコース選択画面をタッチパネルモニタ93に表示させる。
写りコース選択画面は、撮影画像に写る被写体の写りを決定する写りコースの選択に用いられる画面である。写りコースには、「Lightコース」と「Clearコース」とがある。Lightコースは、肌の色を若干黄みを帯びた色にすることで、撮影画像に写る被写体の肌の質感を自然でうるおいのあるものとするための写りコースである。Clearコースは、肌の色を若干青みを帯びた色にすることで、撮影画像に写る被写体の肌の質感を色白で透明感のあるものとするための写りコースである。
写りコースにより決定される被写体の写りは、撮影画像に対して施される画像処理によって決定される。例えば、被写体の写りは、撮影画像における人物領域の彩度、明度、シャープネス、コントラストなどの少なくともいずれかを調整することで決定される。また、被写体の写りは、撮影空間A1内の各ストロボユニットの発光を制御することで決定されるようにしてもよい。
写りコース選択画面が操作されることによって、いずれかの写りコースが選択されると、撮影制御部312は、カメラ91を制御することで、動画像の取り込みを開始する。表示制御部311は、取り込まれた動画像をライブビュー画像としてタッチパネルモニタ93に表示させる。
利用者は、タッチパネルモニタ93に表示されるライブビュー画像を見ることで自分たちの写り方を確認することができる。
ライブビュー画像の表示が開始されてから所定の時間が経過すると、ステップS22において、撮影制御部312は、1回目の撮影を行う。
この撮影処理においては、6回の撮影が行われる。6回行われる撮影のうち、1乃至3回目としてアップ撮影が、4,5回目の撮影として斜め撮影が、6回目の撮影として全身撮影が行われる。
アップ撮影は、利用者の顔および上半身を撮影範囲とした撮影である。アップ撮影によれば、利用者の顔および上半身が写る撮影画像(以下、アップ画像ともいう)が得られる。斜め撮影もまた、利用者の顔および上半身を撮影範囲とした撮影である。斜め撮影によれば、利用者の顔および上半身が傾いて写る撮影画像(以下、斜め画像ともいう)が得られる。全身撮影は、利用者の全身を撮影範囲とした撮影である。全身撮影により、利用者の全身が写る撮影画像(以下、全身画像ともいう)が得られる。
したがって、ステップS22においては、1回目の撮影として、アップ撮影が行われる。
その後、ステップS23,S24において、撮影制御部312は、それぞれ2,3回目の撮影として、アップ撮影を行う。
ステップS25において、撮影処理部301は、斜め撮影のガイダンスを行う。具体的には、表示制御部311は、斜め撮影の仕方を説明する画面をタッチパネルモニタ93に表示させる。その後、ライブビュー画像がタッチパネルモニタ93に表示された状態で撮影のタイミングになったとき、ステップS26において、撮影制御部312は、4回目の撮影として、斜め撮影を行う。
その後、ステップS27において、撮影制御部312は、5回目の撮影として、斜め撮影を行う。
ステップS28において、撮影処理部301は、立ち位置のガイダンスを行う。具体的には、表示制御部311は、全身撮影のための、カメラ91から離れた立ち位置を説明する画面をタッチパネルモニタ93に表示させる。その後、ライブビュー画像がタッチパネルモニタ93に表示された状態で撮影のタイミングになったとき、ステップS29において、撮影制御部312は、6回目の撮影として、全身撮影を行う。
以上のようにして、6枚の撮影画像(静止画像)として、3枚のアップ画像、2枚の斜め画像、そして、1枚の全身画像が得られる。
ステップS30において、画像処理部314は、6枚の撮影画像それぞれに対して、写りコースに応じた画像処理を施す。
具体的には、Lightコースが選択された場合、画像処理部314は、6枚の撮影画像それぞれに対して、被写体の肌の質感が自然でうるおいのあるものになるように、彩度、明度、シャープネス、およびコントラスト(輝度)を調整する。
また、Clearコースが選択された場合、画像処理部314は、6枚の撮影画像それぞれに対して、被写体の肌の質感を色白で透明感のあるものになるように、彩度、明度、シャープネス、およびコントラスト(輝度)を調整する。
その後、撮影処理部301は、写りコースに応じた画像処理が施された6枚の撮影画像を記憶部202に記憶させる。
ステップS31において、撮影処理部301は、撮影を終えた利用者に対して、編集空間A2−1または編集空間A2−2への移動を案内する。編集空間への移動の案内は、タッチパネルモニタ93に案内画面を表示させることによって、または音声をスピーカ231から出力させることによって行われる。
なお、タッチパネルモニタ93を複数(例えば上下に2つ)設けるようにし、アップ撮影が行われる場合と全身撮影が行われる場合とで、それぞれ表示が切り替わるようにしてもよい。
上述した撮影処理においては、撮影の際にライブビュー画像が表示される。そこで、以下においては、ライブビュー画像を表示する処理の詳細について説明する。
<ライブビュー画像表示処理の詳細>
図12は、ライブビュー画像表示処理の例について説明するフローチャートである。ここでは、アップ撮影が行われる際のライブビュー画像表示処理について説明する。
まず、ステップS51において、表示制御部311は、ライブビュー画像が表示されるライブビュー表示画面を、タッチパネルモニタ93に表示させる。
ステップS52において、撮影制御部312は、カメラ91を制御することで、利用者が映る動画像を取り込む。
ステップS53において、検出部313は、取り込まれた動画像における人物領域を特定することで、動画像における利用者のパーツを検出する。
具体的には、検出部313は、取り込まれた動画像に対して顔検出を行うことにより顔領域を特定し、動画像における顔のパーツを検出する。ここで、顔のパーツは、例えば、目や鼻、口などの顔の器官とされる。
また、検出部313が、取り込まれた動画像に映る被写体の顔の輪郭点を抽出し、抽出された輪郭点の位置に基づいて、顔を認識するようにしてもよい。この場合、アップ撮影が行われるときと、全身撮影が行われるときで、抽出される顔の輪郭点の数を異ならせるようにする。全身撮影が行われるとき、アップ撮影が行われるときと比較して、ライブビュー画像における顔の領域が小さくなる。そこで、全身撮影が行われるときに抽出される顔の輪郭点の数を、アップ撮影が行われるときに抽出される輪郭点の数より多くする。これにより、全身撮影のときに表示されるライブビュー画像における顔の誤認識を防ぐことができる。
さらに、その他の顔検出アルゴリズムにより顔検出が行われることで、顔のパーツが検出されてももちろんよい。
ステップS54において、画像処理部314は、検出された顔のパーツの位置に応じたパラメータによる画像処理を、動画像において特定された人物領域(顔領域)に施す。ここでは、以下に挙げるような、顔検出の結果を利用した画像処理が顔領域に対して施される。
(1)目サイズ変更処理
まず、動画像に映る被写体の顔領域において目領域の画像を抽出する。そして、抽出された目領域の画像を、所定の拡大率で拡大する。数パターンの拡大率が用意されるようにしてもよい。
このような処理により、目のサイズを変更する。
(2)小顔処理
例えば、まず、取り込まれた動画像に写る被写体の顔の輪郭点を抽出する。次に、抽出された輪郭点に基づいて、それらを含む矩形領域を設定する。そして、設定された矩形領域を、その上辺を固定した状態で縮小する処理を施す。
具体的には、矩形領域の境界近傍の領域に対して、矩形領域の内側の領域を縮めるように、矩形領域の外側の領域を伸ばすようにして変形処理を施す。このようにして、矩形領域の境界近傍の領域において、画素の欠損を生じることなく、矩形領域を縮小する。
その他には、まず、取り込まれた動画像に写る被写体の顔の輪郭線を特定する。そして、特定された輪郭線を顔領域の内側に移動することで、新たな輪郭線を設定する。
具体的には、輪郭線を中心にして所定の幅をもち、輪郭線を含む境界領域に対して、境界領域の輪郭線より内側の領域を縮めるように、境界領域の輪郭線より外側の領域を伸ばすようにして変形処理を施す。このようにして、境界領域において、画素の欠損を生じることなく、輪郭線を設定する。
以上のような処理により、被写体の顔を小さくする。
(3)口元変更処理
まず、動画像に映る被写体の顔領域において口角部分を特定する。そして、特定された口角部分を、所定距離だけ上方向(頭の方向)に移動する。
このような処理により、口元の形を変更し、微笑んだときの口元に変える。また、口角が上がりすぎている場合には、口角部分を下方向に移動することで、口元の形を変更するようにしてもよい。
(4)目形状変更処理
まず、動画像に映る被写体の顔領域において目尻部分または目頭部分を特定する。そして、特定された目尻部分または目頭部分を、所定距離だけ上方向(頭の方向)や下方向(顎の方向)、その他の方向に移動する。
このような処理により、目の形状を変更し、たれ目やつり目など、目元の印象を変える。
(5)口サイズ変更処理
まず、動画像に映る被写体の顔領域において口領域の画像を抽出する。そして、抽出された口領域の画像を、所定の拡大率で拡大するか、または、所定の縮小率で縮小する。数パターンの拡大率や縮小率が用意されるようにしてもよい。
このような処理により、口のサイズを変更する。
(6)肌色変更処理
まず、肌領域を特定する。そして、特定された肌領域の色を調整する。
このような処理により、肌の色を変更する。
(7)髪色変更処理
まず、髪領域を特定する。そして、特定された髪領域の色を調整する。
このような処理により、髪の色を変更する。
(8)化粧処理
まず、動画像に映る被写体の顔領域において頬部分や唇部分を特定する。そして、特定された頬部分や唇部分の領域の色を、ピンク色や赤色等に変更する。
このような処理により、チークや口紅などの化粧を施した顔に変更する。
ステップS54においては、上述した画像処理のうち、少なくとも1種類以上の画像処理が顔領域に対して施される。なお、所定のパーツのみを検出するようにした場合、検出されたそのパーツのみに対して、上述したような画像処理が施されるようにしてもよい。
さて、ステップS55において、表示制御部311は、ライブビュー表示画面に、画像処理が施された動画像を、ライブビュー画像としてリアルタイムに表示する。
図13は、ライブビュー表示画面の例を示す図である。
ライブビュー表示画面のほぼ中央には、画像表示領域451が設けられる。画像表示領域451には、1人の利用者が映る動画像がリアルタイムで表示される。画像表示領域451の下側には、撮影結果表示領域461乃至466が設けられる。撮影結果表示領域461乃至466には、6回行われる撮影の結果得られる撮影画像が、撮影を終える毎に表示される。
図13の例では、画像表示領域451に表示される動画像には、上述した画像処理が施されているものとする。なお、2種類以上の画像処理が施される場合、ライブビュー表示画面における画像表示領域を複数設け、それぞれの画像表示領域に、それぞれの画像処理が施されたライブビュー画像が表示されるようにしてもよい。
そして、ステップS56において、撮影制御部312は、撮影タイミングになったか否かを判定する。撮影タイミングになっていないと判定された場合、処理はステップS52に戻る。すなわち、継続して、画像処理が施されたライブビュー画像が表示される。
一方、ステップS56において、撮影タイミングになったと判定された場合、ライブビュー画像の表示は終了し、撮影が行われる。
以上においては、顔検出の結果を利用した画像処理が顔領域に施されるものとした。しかしながら、これに限らず、顔領域や肌色領域を取得するマスク画像を生成し、そのマスク画像を利用した画像処理が顔領域に対して施されるようにしてもよい。
<ライブビュー画像に対する画像処理について>
ここで、ライブビュー画像に対する画像処理について説明する。
(ライブビュー画像に対する画像処理の従来例)
まず、ライブビュー画像に対する画像処理の従来例について説明する。
従来の写真シール機においては、利用者の顔が、ライブビュー画像が表示される表示領域から見切れた場合、顔の検出が正常に行われないので、ライブビュー画像に対する画像処理が施されない。
例えば、図14に示されるように、ライブビュー表示画面の画像表示領域451に表示されるライブビュー画像において、利用者の顔のパーツ(鼻)の位置Pが、画像表示領域451内にある場合には、ライブビュー画像に映る顔領域に、上述したような画像処理が施される。
一方、図15に示されるように、ライブビュー表示画面の画像表示領域451に表示されるライブビュー画像において、利用者の顔のパーツの位置Pが、画像表示領域451外にある場合には、ライブビュー画像に映る顔領域には、上述したような画像処理は施されない。
すなわち、利用者の立ち位置などにより、すなわち、画像処理が施される否かによって、ライブビュー画像の見た目が大きく切り替わってしまう。例えば、大人数の利用者が横方向に並んだ状態で撮影が行われる場合、左右両端の利用者は、立ち位置を少し変えただけで、ライブビュー画像におけるその見た目が大きく切り替わってしまう。このような場合、ライブビュー画像を確認しながら撮影作業を行う利用者は、違和感を覚えながら撮影作業を行うことになる。
(本技術のライブビュー画像に対する画像処理の例)
次に、本技術のライブビュー画像に対する画像処理の例について説明する。
写真シール作成装置1においては、上述したように、ライブビュー画像において検出された利用者のパーツの位置に応じたパラメータによる画像処理が、ライブビュー画像に映る人物領域に施される。
具体的には、写真シール作成装置1において、画像処理部314は、利用者のパーツの位置と、ライブビュー表示画面の画像表示領域451上に設定された所定の位置(以下、設定位置という)との距離に応じて、3以上の値をとるパラメータを調整する。そして、画像処理部314は、調整されたパラメータによる画像処理を、ライブビュー画像に映る人物領域に施す。
図16は、ライブビュー表示画面の画像表示領域451上に設定された設定位置の例を示している。
図16の例では、画像表示領域451内に設定された設定領域481内の任意の位置が、設定位置として設定される。言い換えると、設定領域481内の全ての位置を、設定位置として設定することができる。
設定領域481は、画像表示領域451と同様、矩形形状を採る。設定領域481の4辺は、画像表示領域451の4辺よりwピクセル分だけ内側に設定される。このような構成により、画像表示領域451と設定領域481との間の領域の幅は、wピクセル均一となる。これにより、設定領域481の周囲4方向について、画像処理のパラメータの変化の割合を同一にすることができる。
したがって、画像表示領域451と設定領域481とは、異なるアスペクト比を有する。例えば、画像表示領域451のアスペクト比は、アップ撮影、斜め撮影、および全身撮影など、行われる撮影に関わらず1.2:1とされる。この場合、設定領域481のアスペクト比は、画像表示領域451より縦長となる値を採るようになる。
もちろん、画像表示領域451のアスペクト比が、他の値を採るようにしてもよい。また、画像表示領域451のアスペクト比は、全身撮影が行われる場合には、アップ撮影や斜め撮影が行われる場合のアスペクト比(1.2:1)より縦長の4:3などの値を採るようにしてもよい。
画像表示領域451が正円形や楕円形などのその他の形状を採る場合、設定領域481は、画像表示領域451が採る形状に合わせた形状を採るものとする。このような場合であっても、画像表示領域451と設定領域481との間の領域の幅は、均一とされる。
図17は、図16の線分a−b上での画像処理のパラメータ(画像処理の強弱)の違いを示している。
図17に示されるように、画像処理のパラメータは、顔のパーツの位置が設定領域481内にある場合、画像処理を最も強めるように調整される。また、画像処理のパラメータは、顔のパーツの位置が画像表示領域451と設定領域481との間にある場合、顔のパーツの位置と設定領域481との距離が近いほど、画像処理を強めるように調整される。そして、画像処理のパラメータは、顔のパーツの位置が画像表示領域451外にある場合、画像処理を施さないように調整される。例えば、目サイズ変更処理において、その処理を強めるとは、目のサイズを大きくすることであり、小顔処理において、その処理を強めるとは、顔の大きさを小さくすることである。なお、画像処理の強弱は、利用者がライブビュー画像を見て、その違いがわかる程度に変化するものとする。
したがって、例えば、図18に示されるように、ライブビュー表示画面の画像表示領域451に表示されるライブビュー画像において、利用者の顔のパーツの位置Pが、設定領域481内にある場合には、ライブビュー画像に映る顔領域に、画像処理を最も強めるように調整されたパラメータによる画像処理が施される。なお、顔のパーツとしては、顔の略中心にある鼻を用いることが好ましいが、目や口などの他の器官を用いるようにしてもよい。
また、図19に示されるように、ライブビュー表示画面の画像表示領域451に表示されるライブビュー画像において、利用者の顔のパーツの位置Pが、画像表示領域451と設定領域481との間にある場合には、ライブビュー画像に映る顔領域に、顔のパーツの位置Pと設定領域481との距離が近いほど、画像処理を強めるように調整されたパラメータによる画像処理が施される。
具体的には、被写体の顔のパーツの位置Pが設定領域481内にある場合に施される画像処理が100%の画像処理とした場合、被写体の顔のパーツの位置Pと設定領域481との最短距離が0.6wピクセルの場合には、60%の画像処理が施される。また、被写体の顔のパーツの位置Pと設定領域481との最短距離が0.3wピクセルの場合には、30%の画像処理が施される。
なお、図17の例では、画像処理のパラメータは、被写体の顔のパーツの位置Pと設定領域481との距離の近さに対して線形的に増加するものとしているが、図20に示されるように、階段状に(多段的に)増加するようにしてもよい。この場合、例えば、被写体の顔のパーツの位置Pと設定領域481との最短距離が0.3wピクセルの場合には、75%の画像処理が施される。
また、図示はしないが、画像処理のパラメータが、被写体の顔のパーツの位置Pと設定領域481との距離の近さに対して非線形的に増加するようにしてもよい。例えば、画像処理のパラメータが、被写体の顔のパーツの位置Pと設定領域481との距離の近さに対して、二次関数的に増加するようにしてもよい。つまり、被写体の顔のパーツの位置Pが設定領域481に近づくほど、画像処理が強まる割合が高まるようにする。これにより、被写体の顔のパーツの位置Pが設定領域481に近づくほど、画像処理が強まっていくことを、利用者に容易に気づかせることができ、ライブビュー画像において、より強い画像処理が施される領域に、利用者を誘導することができる。
さらに、図21に示されるように、画像処理のパラメータが、被写体の顔のパーツの位置Pと設定領域481との距離の近さに対して間欠的に値をとるように増加するようにしてもよい。
また、画像表示領域451と設定領域481との間の領域の幅が、それらの4辺で均一でない場合にも、画像処理のパラメータを、被写体の顔のパーツの位置Pと設定領域481との距離の近さに対して、上述したように増加するようにしてもよい。
そして、図22に示されるように、ライブビュー表示画面の画像表示領域451に表示されるライブビュー画像において、利用者の顔のパーツの位置Pが、画像表示領域451外にある場合には、ライブビュー画像に映る顔領域には、画像処理は施されない。
以上の処理によれば、ライブビュー表示画面の画像表示領域内で、利用者の立ち位置などにより、利用者の顔が、ライブビュー画像が表示される表示領域に収まったり、表示領域から見切れたりした場合でも、ライブビュー画像の見た目が大きく切り替わってしまうことを避けることができる。これにより、利用者は、ライブビュー画像を確認しながら、違和感を覚えることなく撮影作業を行うことが可能となる。
なお、ライブビュー表示画面の画像表示領域451において、設定領域481を示す枠や色などが実際に表示されるようにしてもよい。これにより、ライブビュー画像において、より強い画像処理が施される領域に、利用者を誘導することができ、結果として、利用者の満足度を向上させる撮影画像を提供することができる。
逆に、ライブビュー表示画面の画像表示領域451において、設定領域481を示す枠や色などは実際に表示されないようにしてもよい。この場合、設定領域481を示す枠や色などが表示される場合と比較して、利用者は、その表示を気にすることなく、ポーズの自由度を向上させることができる。
以上においては、設定位置が、画像表示領域451内に設定された設定領域481内の任意の位置である例について説明した。以下においては、画像表示領域451上に設定される設定位置の他の例について説明する。
<設定位置の他の例>
図23は、ライブビュー表示画面の画像表示領域451上に設定される設定位置の他の例を示している。
図23の例では、画像表示領域451の中心点が、設定位置491とされる。なお、画像表示領域451の中心点以外の点が、設定位置491とされるようにしても、もちろんよい。
図24は、図23の線分a−b上での画像処理のパラメータ(画像処理の強弱)の違いを示している。
図24に示されるように、画像処理のパラメータは、顔のパーツの位置が設定位置491にある場合、画像処理を最も強めるように調整される。また、画像処理のパラメータは、顔のパーツの位置と設定位置491との距離が近いほど、画像処理を強めるように調整される。そして、画像処理のパラメータは、顔のパーツの位置が画像表示領域451外にある場合であっても、ある範囲内においては、顔のパーツの位置と設定位置491との距離が近いほど、画像処理を強めるように調整される。
なお、図24に示されるパラメータの変化は、図23に示される線分a−b上に限らず、設定位置491を通る全ての方向の線分上において適用される。すなわち、図23の例では、画像処理のパラメータは、設定位置491を中心に放射方向に変化する。
このような構成により、顔のパーツの位置が画像表示領域451から外れてしまった場合であっても、全く画像処理が施されなくなることはなく、顔のパーツの位置と設定位置491との間の距離に応じたパラメータによる画像処理が、ライブビュー画像に施されるようになる。
なお、図24においては、顔のパーツの位置がライブビュー画像の原画像サイズの外にある場合には、画像処理のパラメータが、画像処理を施さないように調整されることが示されている。
また、図24の例では、画像処理のパラメータは、被写体の顔のパーツの位置と設定位置491との距離の近さに対して線形的に増加するものとしているが、階段状に(多段的に)増加したり、非線形的に増加するようにしてもよい。
図25は、ライブビュー表示画面の画像表示領域451上に設定される設定位置のさらに他の例を示している。
図25の例では、画像表示領域451の上下方向(縦方向)について、図17を参照して説明した設定領域481が設定され、画像表示領域451の左右方向(横方向)について、図23を参照して説明した設定位置491が設定されている。
このような構成により、例えば、大人数の利用者が横方向に並んだ状態で撮影が行われる場合に、左右両端の利用者の顔のパーツが画像表示領域451から外れてしまった場合であっても、顔のパーツの位置と設定位置491との間の距離に応じたパラメータによる画像処理が、ライブビュー画像に施されるようになる。
また、大人数の利用者の顔が縦方向に並んだ状態で撮影が行われる場合には、上側の利用者の顔と上ストロボユニット82とが近づき過ぎてしまい、好ましくない。そこで、ライブビュー画像の縦方向については、設定領域481内に利用者を誘導させることで、利用者の顔と上ストロボユニット82とが近づき過ぎるのを防ぐことができる。
図26は、ライブビュー表示画面の画像表示領域451上に設定される設定位置のさらに他の例を示している。
図26の例では、2つの設定領域481a,481bが設定されている。
図27は、ライブビュー表示画面の画像表示領域451上に設定される設定位置のさらに他の例を示している。
図27の例では、2つの設定位置491a,491bが設定されている。
これらのような構成により、ライブビュー画像において、より強い画像処理が施される領域に、2人の利用者を誘導することができ、結果として、利用者の満足度を向上させる撮影画像を提供することができる。
なお、利用者の人数に応じて、図26の設定領域の数や、図27の設定位置の数が決定されるようにしてもよい。
また、複数種類のパターンの設定領域や設定位置を用意し、そのうちのいずれかを利用者に選択させるようにしてもよい。
さらに、図示はしないが、ライブビュー表示画面の画像表示領域451外に、設定領域や設定位置が設定されるようにしてもよい。これにより、画像表示領域451の縁にまたがって映る利用者に対しても、強弱が調整された画像処理を施すことができる。
<顔検出の誤認識とその対策>
ところで、ライブビュー画像に対して画像処理を施すときに行われる顔検出において、誤認識が発生するおそれがある。
例えば、利用者が、手を顎にあてがうようなポーズをとっている場合、その手の領域が顔検出の対象に含まれるおそれがある。また、利用者が、人物の顔がプリントされたTシャツなどを着ている場合、利用者の顔に加え、そのプリントされた顔も顔検出の対象となるおそれがある。
そこで、以下においては、顔検出の誤認識に対する対策を施した構成および動作について説明する。
<撮影処理部の他の構成例>
図28は、撮影処理部の他の構成例を示す図である。
なお、図28の撮影処理部301の構成は、図9の撮影処理部301の構成と基本的に同様であるが、領域判定部501をさらに備える点で異なる。
領域判定部501は、カメラ91に取り込まれた動画像における顔領域の妥当性を判定する。
<ライブビュー画像表示処理の他の例>
図29は、ライブビュー画像表示処理の他の例について説明するフローチャートである。
なお、図29のフローチャートにおけるステップS71乃至S73,S75乃至77の処理は、図12のフローチャートにおけるステップS51乃至S56のそれぞれと同様であるので、その説明は省略する。
なお、ステップS73においては、検出部313が、カメラ91に取り込まれた動画像に対して顔検出を行うことにより顔領域が特定されるものとする。
ステップS74において、領域判定部501は、顔領域の色、形状、大きさなどを用いて、特定された顔領域の妥当性を判定する。
(例1)
例えば、アップ撮影の場合、領域判定部501は、取り込まれた動画像において肌色部分の領域を抽出する。ここでは、例えば、動画像において、色相、輝度、およびRGBのうちR成分が、所定値以上であるか、または、所定の範囲内の値であるか否かが判定されることで、肌色部分が特定される。そして、領域判定部501は、顔領域として特定された領域が、抽出された肌色領域に対応するか否かに基づいて、その領域の妥当性を判定する。このとき、肌色領域の形状や大きさに基づいて、顔領域として特定された領域の妥当性が判定されるようにしてもよい。
(例2)
また、領域判定部501は、顔領域として特定された領域に含まれる顔のパーツの形状や大きさ、顔領域として特定された領域の輪郭の形状や大きさを取得する。領域判定部501は、取得された顔パーツや輪郭の形状や大きさを、あらかじめ用意されたデータと比較することで、顔領域として特定された領域の妥当性を判定する。
(例3)
さらに、アップ撮影の場合、領域判定部501は、顔領域として特定された領域の所定の輪郭点を抽出することで、顔領域と思われる領域の傾きを算出する。ここで、顔領域と思われる領域の傾きは、2次元平面上の傾きであってもよいし、3次元空間上の傾きであってもよい。領域判定部501は、算出された傾きが所定の角度範囲内であるか否かに基づいて、顔領域として特定された領域の妥当性を判定する。
(例4)
また、領域判定部501は、取り込まれた動画像から背景領域を除いた領域を抽出する。領域判定部501は、抽出された領域に基づいて、顔領域として特定された領域の妥当性を判定する。なお、背景領域は、過去に取り込まれた動画像や撮影結果から特定されるようにしてもよいし、その色に基づいて特定されるようにしてもよい。
以上のようにして、顔領域として特定された領域の妥当性が判定される。
そして、ステップS75においては、妥当性があると判定された顔領域に対して、画像処理が施される。
以上の処理によれば、顔検出において誤認識が発生した場合であっても、利用者の立ち位置などによりライブビュー画像の見た目が大きく切り替わってしまうことを避けることができる。これにより、利用者は、ライブビュー画像を確認しながら、違和感を覚えることなく撮影作業を行うことが可能となる。
なお、上述した処理における妥当性の判定の結果、顔検出において誤認識が発生している場合には、ライブビュー表示画面の所定の領域に、「顔検出に失敗しています」等、誤認識が発生している旨のメッセージが表示されるようにしてもよい。このメッセージにより、利用者は、ポーズをとり直すことができる。
<画像処理に応じたライブビュー画像の表示制御>
ライブビュー画像に対して、上述した画像処理のパラメータに応じて、ライブビュー画像自体の表示が制御されるようにしてもよい。
例えば、ライブビュー画像に対して施される画像処理のパラメータ(画像処理の強弱)に応じて、ライブビュー表示画面におけるライブビュー画像の表示領域の大きさが変更されるようにする。具体的には、ライブビュー画像に対して強い画像処理が施されるほど、ライブビュー画像の表示領域が、画像表示領域451より大きくなるようにする。なお、ライブビュー画像に対して画像処理が施されない場合には、ライブビュー画像の表示領域は、画像表示領域451のまま大きさは変更されないものとする。これにより、利用者は、画像処理が施されたライブビュー画像をよく確認することができる。また、利用者は、ライブビュー画像を注視しなくとも、画像表示領域451の大きさで、画像処理の強弱を把握することができる。
また、ライブビュー画像に対して施される画像処理のパラメータ(画像処理の強弱)に応じて、ライブビュー表示画面におけるライブビュー画像の表示時間が変更されるようにする。具体的には、ライブビュー画像に対して強い画像処理が施されるほど、ライブビュー画像の表示時間を長くする。なお、ライブビュー画像に対して画像処理が施されない場合には、ライブビュー画像の表示時間を短くする。これにより、利用者は、画像処理が施されたライブビュー画像をよく確認することができる。
さらに、ライブビュー画像に対して施される画像処理のパラメータ(画像処理の強弱)に応じて、利用者がシャッタタイミングを選択できるようにしてもよい。具体的には、ライブビュー画像に対して強い画像処理が施される場合に、利用者がシャッタタイミングを選択できるようにする。これにより、利用者は、画像処理が施されたライブビュー画像を確認しながら、好みの瞬間のポーズや表情を撮影画像に残すことができる。
<撮影の種類に応じたライブビュー表示>
撮影の種類に応じて、上述したライブビュー表示が行われるか否かが決定されるようにしてもよい。
(斜め撮影・アップ撮影・全身撮影)
例えば、斜め撮影が行われる場合にのみ、上述したライブビュー画像表示処理が行われるようにしてもよい。
利用者を傾くようにして写す斜め撮影が行われる場合、ライブビュー画像においても利用者が傾いて映るため、特に、斜め撮影に慣れていない利用者にとっては、自身の顔や身体の位置を調整することは容易ではなかった。そこで、斜め撮影が行われる場合に、上述したライブビュー画像表示処理が行われるようにすることで、斜め撮影に慣れていない利用者であっても、自身の顔や身体の位置をより強い画像処理が施される位置に誘導させることができる。
また、アップ撮影が行われる場合にのみ、上述したライブビュー画像表示処理が行われるようにしてもよい。
アップ撮影が行われる場合、全身撮影が行われる場合と比べて、ライブビュー画像において利用者の顔が大きく映るため、利用者は、顔領域に対する画像処理の結果を確認しやすい。そこで、アップ撮影が行われる場合に、上述したライブビュー画像表示処理が行われるようにすることで、利用者に画像処理が施されていることを把握させることができる。
なお、同様の理由により、アップ撮影および斜め撮影が行われる場合、すなわち全身撮影以外の撮影が行われる場合に、上述したライブビュー画像表示処理が行われるようにしてもよい。
また、上述した例とは逆に、全身撮影が行われる場合にのみ、上述したライブビュー画像表示処理が行われるようにしてもよい。
全身撮影により得られる全身画像が利用者の携帯端末に送信された場合、利用者の操作によって顔の部分が拡大されることがある。したがって、アップ画像や斜め画像と比べて利用者の顔が小さく写る全身画像であっても、顔領域に画像処理が施されることが好ましい。そこで、全身撮影が行われる場合に、上述したライブビュー表示が行われるようにすることで、利用者が違和感を覚えることなく撮影作業を行うことが可能となる。
なお、全身撮影が行われる場合、ライブビュー画像の表示領域(画像表示領域451)内には、アップ撮影(斜め撮影も含む)が行われる場合とは異なる設定領域が設定されるものとする。具体的には、全身撮影においては、アップ撮影と比較して、被写体の領域(人物領域)が縦長になるので、全身撮影が行われる場合、図30に示されるように、アップ撮影が行われる場合の設定領域より縦長の矩形形状の設定領域531が設定される。
また、全身撮影が行われる場合には、利用者のパーツとして、利用者の身体のパーツが、具体的には、ライブビュー画像における利用者の脚や腰が検出され、それらの位置と上述した設定領域との距離に応じたパラメータの画像処理が施される。
そして、全身撮影が行われる場合には、利用者の身体のパーツの位置と設定領域との距離に応じたパラメータの画像処理として、被写体の脚を長くする脚長処理や、被写体の身体を細くする痩身処理が、ライブビュー画像の身体領域に施される。
さらに、全身撮影が行われる際のライブビュー画像表示処理においては、人物領域全体を取得するマスク画像を生成し、そのマスク画像を利用した画像処理が人物領域に対して施されるようにしてもよい。人物領域全体のマスク画像を利用した画像処理としては、上述した脚長処理や痩身処理などがある。
(加工処理が施される撮影)
写真シール機の中には、撮影画像のデザイン性を高め、その見た目を良くするために、撮影画像に対して各種の加工処理を施すものがある。例えば、撮影画像に対して、所定の質感および/または色のレイヤ画像を重畳する処理や、画像の一部または全体の色情報を変更する処理などが施される。
利用者は、加工処理が施された画像については、その加工内容に対して注視する。すなわち、上述したような顔の各パーツに対して種々の画像処理が施された場合のように、顔がより良く見える方を選択するといったことはない。そこで、このような加工処理が施される撮影が行われる場合には、上述したライブビュー画像表示処理が行われないようにしてもよい。
(携帯専用画像の撮影)
また、写真シール機の中には、利用者が所有する携帯端末に送信するためだけの携帯送信専用の画像を得るための撮影を行うものがある。この撮影により得られる撮影画像(携帯専用画像)は、主に、SNS(Social Networking Service)やブログなどのウェブサイトに投稿するための画像として用いられる。なお、携帯専用画像のアスペクト比は、アップ画像や全身画像のアスペクト比と同一であってもよいし、アップ画像や全身画像のアスペクト比とは異なる、1:1などであってもよい。
利用者は、このような携帯専用画像については、そこに写る自分自身の写りを重視する。そこで、顔がより良く見える方を選択させるために、携帯専用画像の撮影が行われる場合には、上述したライブビュー画像表示処理が行われるようにしてもよい。
また、利用者は、携帯専用画像が利用者の所有する携帯端末に送信された後、その携帯専用画像に対して、ウェブ上の所定の画像加工編集サイトなどにおいて所定の加工編集を施すことができる。一方、利用者は、シール紙が印刷されるまで、シール紙に印刷される複数の撮影画像の様子を確認することはできない。そこで、上述した例とは逆に、携帯専用画像以外の画像(シール紙に印刷される複数の撮影画像)の撮影が行われる場合に、上述したライブビュー画像表示処理が行われるようにしてもよい。
(動画像の撮影)
さらに、写真シール機の中には、複数回行われる撮影のうち、例えば最後の回の撮影として、所定時間の動画像を得るための撮影を行うものがある。この撮影により得られる動画像もまた、主に、SNSやブログなどのサイトに投稿するための画像として用いられる。
そこで、携帯専用画像の撮影が行われる場合と同様に、動画像の撮影が行われる場合に、上述したライブビュー画像表示処理が行われるようにしてもよいし、動画像以外の画像(シール紙に印刷される複数の撮影画像)の撮影が行われる場合に、上述したライブビュー画像表示処理が行われるようにしてもよい。
また、複数回行われる撮影の全ての回において、所定時間の動画像を得るための撮影を行うようにしてもよい。
例えば、カウントダウンの開始からシャッタタイミングまでの時間、動画像の撮影(記録)を行う。このとき、上述したライブビュー画像表示処理を行うか否かを、利用者に選択させるようにしてもよい。
さらに、複数回行われる撮影の全ての回において、動画像の撮影を行うか、静止画像の撮影を行うかを利用者に選択させるようにしてもよい。
さらにまた、動画像の撮影が行われる場合であっても、動画像の所定フレームを静止画像として保存し、その静止画像を、シール紙に印刷したり、携帯専用画像として携帯端末に送信するようにしてもよい。
(コラージュ画像の撮影)
また、写真シール機の中には、コラージュ画像を生成するものがある。コラージュ画像は、複数の撮影画像が組み合わされてなる1枚の画像である。コラージュ画像には、複数の撮影画像が、所定のデザインを有するデザインパターンに従って配置される。
そこで、コラージュ画像に配置される撮影画像に応じて、上述したライブビュー画像表示処理が行われるようにしてもよい。
例えば、コラージュ画像に配置される撮影画像のうちアップ画像の枚数が少ない場合、上述したライブビュー画像表示処理が行われないようにする。また逆に、コラージュ画像に配置される撮影画像のうちアップ画像の枚数が多い場合、上述したライブビュー画像表示処理が行われるようにする。
(ピン撮)
さらに、写真シール機の中には、ピン撮を行うものがある。ピン撮は、例えば利用者が2人の場合、2人の利用者を被写体とした1回の撮影により、同時に1人ずつの画像を得る撮影である。
この場合、ライブビュー表示画面には、利用者1人ずつの画像についてのライブビュー画像が表示されるようにする。そして、それぞれのライブビュー画像について、上述したライブビュー画像表示処理が行われるか否かが選択されるようにする。
このように、ピン撮が行われる場合、利用者それぞれのライブビュー画像について、上述したライブビュー画像表示処理が行われるか否かが選択されることで、利用者それぞれの好みのライブビュー画像を提供することができる。
(識別撮影)
また、写真シール機の中には、識別撮影を行うものがある。識別撮影は、複数の利用者それぞれの顔を識別するための撮影である。識別撮影により得られた画像は、利用者の顔を識別するためだけに用いられ、シール紙に印刷されたり、携帯端末に送信されることはない。すなわち、利用者は、識別撮影により得られた画像に写る自分自身の写りを重視することはない。
そこで、識別撮影が行われる場合には、上述したライブビュー画像表示処理が行われないようにする。
なお、識別撮影により得られた画像が、シール紙に印刷されたり、携帯端末に送信されるようにした場合には、上述したライブビュー画像表示処理が行われるようにしてもよい。
(縦横比の異なる画像の撮影)
さらに、写真シール機の中には、携帯端末に送信される画像の縦横比を選択させるものがある。選択される縦横比には、縦長のものや横長のもの、1:1などが含まれる。そこで、これらの縦横比を撮影前に選択させ、選択された縦横比に応じて、上述したライブビュー画像表示処理が行われるようにしてもよい。
例えば、画像の縦横比として、画像に写る利用者の顔が目立つ1:1が選択された場合に、撮影の際に、上述したライブビュー画像表示処理が行われるようにする。また、画像の縦横比として、縦横比が1:1の画像より利用者の顔が目立たない縦長の縦横比が選択された場合には、撮影の際に、上述したライブビュー画像表示処理が行われないようにする。
(多くの利用者を被写体とした撮影)
多くの利用者が映るライブビュー画像においては、多くの顔が表示されている上に、利用者同士の顔が重なっている可能性がある。そのため、利用者それぞれにとって、ライブビュー画像において自分の顔に施されている画像処理を確認することは容易ではない。そこで、所定の人数以上の利用者が映るライブビュー画像については、上述したライブビュー画像表示処理が行われないようにしてもよい。
なお、利用者の人数は、顔検出の結果に基づいてカウントされるようにしてもよいし、撮影処理に関するコースの1つとして、利用者に選択させるようにしてもよい。
なお、撮影処理に関する他のコースに応じて、上述したライブビュー画像表示処理が行われるようにしてもよいし、撮影処理に関するコースによらず、上述したライブビュー画像表示処理が行われるようにしてもよい。
また、上述したライブビュー画像表示処理において、アップ撮影が行われる場合と全身撮影が行われる場合とで、異なるパラメータで画像処理が施されるようにしてもよい。
具体的には、全身撮影が行われる場合よりアップ撮影が行われる場合に、顔のパーツに施される画像処理のパラメータ(顔の小ささ、目の大きさなど)を高くする。全身画像と比べてアップ画像の方が、顔が大きく写るので、利用者は画像処理の結果を確認しやすい。
逆に、アップ撮影が行われる場合より全身撮影が行われる場合に、顔のパーツに施される画像処理のパラメータを高くする。この場合、利用者は、全身画像を拡大したときに、アップ画像と同じように細部にわたって画像処理が施されていることに気付く。これにより、利用者は、撮影結果である全身画像を、その日のコーディネートを記録するためのものとしてだけではなく、アップ画像のように顔の部分を記録するためのものとして扱うことができる。
もちろん、アップ撮影が行われる場合と全身撮影が行われる場合とで、同じパラメータで画像処理が施されるようにしてもよい。
なお、アップ撮影が行われる場合と全身撮影が行われる場合とにおける画像処理のパラメータ(画像処理の強弱や、画像処理のON/OFF(有無)を含む)は、写真シール作成装置1が設定するようにしてもよいし、利用者に設定させるようにしてもよい。
さらに、撮影前に、撮影画像の背景となる背景画像の種類を決定する背景コースを、利用者に選択させるようにしてもよい。この場合、ライブビュー画像の背景にも、選択された背景コースの背景画像が合成されるようにする。
このとき、選択された背景コースに応じて、画像処理が施されるか否かが決定されるようにする。例えば、白色を基調とした背景画像が合成される背景コースが選択された場合、特にアップ画像においては顔領域が目立つため、画像処理が施されるようにする。一方、アップ画像において顔領域が目立たないような色の背景画像が合成される背景コースが選択された場合、画像処理が施されないようにする。なお、選択された背景コースに応じて、画像処理のパラメータ(画像処理の強弱)が変更されるようにしてもよい。
さらにまた、撮影前に、撮影画像に合成される合成用画像(スタンプ画像)を、利用者に選択させるようにしてもよい。この場合、スタンプ画像は、それ単独で選択されてもよいし、背景画像と組み合わされて選択されてもよい。
このようなスタンプ画像として、顔のパーツに対応したスタンプ画像を用意する。このスタンプ画像は、撮影画像(静止画像)に対する顔検出により、撮影画像において対応する顔のパーツに合成される。
このとき、選択されたスタンプ画像に応じて、画像処理が施されるか否かが決定されるようにする。例えば、顔のパーツに対応したスタンプ画像が選択された場合、結果的には顔のパーツにスタンプ画像が合成されるため、その顔のパーツに対する画像処理は施されないようにする。
また、ライブビュー画像や、撮影結果としての撮影画像に施された画像処理の内容が、編集処理において利用者により変更されるようにしてもよい。これにより、例えば、利用者が、撮影処理において施された目サイズ変更処理の結果を気に入らなかった場合、編集処理において、撮影画像における目のサイズを好みのサイズに修正することができる。
さらに、上述したライブビュー画像表示処理において、顔検出により特定された顔領域の大きさに応じたパラメータで画像処理が施されるようにしてもよい。具体的には、顔検出により特定された顔領域の大きさが小さいほど、強い画像処理が施されるように、画像処理のパラメータが調整されるようにする。
例えば、複数の利用者がカメラ91に対して前後に並んだ状態で撮影が行われる場合、後ろ側(カメラ91から遠い側)に立つ利用者の顔領域は、前側(カメラ91に近い側)に立つ利用者の顔領域と比較して小さくなる。すなわち、後ろ側に立つ利用者の目領域も、前側に立つ利用者の目領域と比較して小さくなる。
この場合、顔検出により特定された顔領域の大きさが小さいほど、目のサイズをより大きくする目サイズ変更処理が施されるように、目サイズ変更処理のパラメータが調整されるようにする。これにより、後ろ側に立つ利用者の目のサイズを、前側に立つ利用者の目のサイズと同等にすることができる。
なお、利用者が前側に立っているか、または、後ろ側に立っているかが、人物領域を取得するマスク画像の形状によって判定されるようにしてもよい。後ろ側に立つ利用者の人物領域の一部は、前側に立つ利用者の陰になる。そのため、後ろ側に立つ利用者のマスク画像の形状は、前側に立つ利用者のマスク画像の形状と比較して、いびつになる。そこで、マスク画像の形状がいびつである利用者を、後ろ側に立っている利用者とし、その利用者の顔領域に、強い画像処理が施されるようにすることができる。
<撮影結果確認画面の例>
以上においては、ライブビュー表示画面に表示されるライブビュー画像に対して、顔のパーツの位置に応じたパラメータによる画像処理が施される例について説明してきた。これとは別に、撮影結果である撮影画像に対して、顔のパーツの位置に応じたパラメータによる画像処理が施されるようにしてもよい。
図31は、撮影結果確認画面の例を示す図である。
図31に示される撮影結果確認画面の画像表示領域451には、撮影によって得られた静止画像が表示される。撮影結果確認画面の上方には「こんな風に撮れたよ」のメッセージが表示される。
図31の例では、画像表示領域451に表示される撮影画像には、上述した画像処理が施されているものとする。
具体的には、画像表示領域451に表示される撮影画像には、撮影画像において検出された利用者のパーツの位置と、画像表示領域451内に設定された設定領域551との位置関係に応じて調整されたパラメータによる画像処理が施される。
<編集画面の例>
さらに、編集対象となる撮影画像に対して、顔のパーツの位置に応じたパラメータによる画像処理が施されるようにしてもよい。
図32は、編集画面の例を示している。
編集画面は、基本的に、主な構成が左右対称に設けられることによって構成される。左半分の領域は、タブレット内蔵モニタ131に向かって左側にいる利用者により用いられる領域である。右半分の領域は、タブレット内蔵モニタ131に向かって右側にいる利用者により用いられる領域である。このような編集画面の構成により、主に2人の利用者が同時に編集作業を行うことができる。
以下、主に編集画面の左半分の領域について説明する。
左半分の領域の中央上側には、サムネイル画像表示領域611Lが設けられる。サムネイル画像表示領域611Lは、撮影画像を表すサムネイル画像の表示領域である。利用者は、サムネイル画像表示領域611Lに表示されているサムネイル画像を選択することによって、編集対象とする撮影画像を選択することができる。
左半分の領域のほぼ中央には、編集領域612Lが設けられる。編集領域612Lは、編集対象として選択された撮影画像の表示領域である。利用者は、タッチペン132Aを用いて編集ツールを選択し、編集領域612Lに表示された撮影画像に対する編集作業を行う。
編集領域612Lの左方には、ペンパレット表示領域613Lが設けられる。ペンパレット表示領域613Lは、手書き入力に用いられるペン画像(ペンツール)の選択に用いられるペンパレットの表示領域である。ペンパレット表示領域613Lには、ペン画像の線の種類、太さ、色の選択に用いられるボタンが複数表示される。
編集領域612Lの下方には、編集パレット表示領域614Lが設けられる。編集パレット表示領域614Lは、スタンプ画像などの各種の編集ツール(合成用画像)の選択に用いられる編集パレットの表示領域である。編集パレット表示領域614Lには、複数の合成用画像が表示される。編集パレットに表示される合成用画像はカテゴリ毎に分かれており、それぞれのカテゴリ名が付されたタブが選択されることで、編集パレットに表示される合成用画像が切り替わる。
利用者は、タッチペン132Aを用いてペンパレットから選択したペン画像や、編集パレットから選択したスタンプ画像を、編集領域612L上の所定の位置へ重畳することで、編集対象となる撮影画像に対する合成用画像の合成(落書き)を行うことができる。なお、図28の例では、編集領域612Lに表示されている撮影画像に、ペン画像p1とスタンプ画像s1が合成されている。
編集領域612Lの右方には、落書き操作ボタン615Lが設けられる。落書き操作ボタン615Lは、編集領域612Lに表示されている撮影画像に対する落書きに関する操作(落書き操作)を戻したり進めたりするためのボタンである。落書き操作ボタン615Lは、「戻る」ボタン、「進む」ボタン、「1SET戻る」ボタン、および「最初から」ボタンから構成される。
「戻る」ボタンは、落書き操作を1つ戻すためのボタンである。「進む」ボタンは、「戻る」ボタンにより戻された落書き操作を1つ進めるためのボタンである。「1SET戻る」ボタンは、落書き操作のうち、編集パレットを用いた落書き操作を全て戻すためのボタンである。「最初から」ボタンは、落書き操作を全て戻すためのボタンである。
編集画面の中央の領域には、一発落書きボタン616が設けられる。一発落書きボタン616は、一発落書きを行うときに操作されるボタンである。一発落書きは、あらかじめ設定された内容の落書きを、1回の操作で行わせる機能である。一発落書きボタン616が操作されることにより、あらかじめ決められた複数の合成用画像が一括して撮影画像に合成されるようになる。これにより、落書きに慣れていない利用者でも、落書きを簡単に済ませることができる。
一発落書きボタン616の下方には、携帯おまけボタン617L,617Rが設けられる。携帯おまけボタン617L(617R)が操作されると、携帯おまけの作成を行うことができる。携帯おまけは、携帯端末の待ち受け画像や、メールに添付されたり、ブログを含むSNSにアップロードされたりする画像等、携帯端末上で用いられることを前提とした画像である。作成された携帯おまけは、携帯送信用の画像としてサーバに送信される。
なお、図32の例では、編集領域612Lに表示される撮影画像には、上述した画像処理が施されているものとする。
また、図32の編集画面は、利用者の操作により、編集領域612Lに表示される撮影画像の、編集領域612Lに対して相対的な移動、拡大/縮小、および回転の少なくともいずれかを受け付けるようになされている。
すなわち、編集領域612Lに表示される撮影画像には、編集領域612Lに対して相対的な移動、拡大/縮小、および回転の少なくともいずれかを行うことで、撮影画像において検出された利用者のパーツの位置が決定される。そして、検出された利用者のパーツの位置と、編集領域612L内に設定された設定領域641との位置関係に応じて調整されたパラメータによる画像処理が施される。
例えば、撮影画像の、編集領域612Lに対して相対的な縮小や移動を行うことで、利用者のパーツの位置が設定領域641から遠くなってしまった場合、撮影画像に施される画像処理は弱まり、利用者は違和感を覚える。このとき、利用者は、撮影画像に対してより強い画像処理が施されるように、撮影画像の、編集領域612Lに対して相対的な拡大や移動を行う。結果として、より好適な構図の撮影画像を、編集領域612Lに表示させることができる。
ここで、以下においては、利用者の操作による、撮影画像の移動、拡大/縮小、および回転の詳細な例について説明する。
(移動について)
例えば、図32に示されるように、編集画面の編集領域612Lにおいて、撮影画像とともに、手の形をしたアイコン631を表示させる。タッチペンによりそのアイコンを操作することで、撮影画像を移動させるようにする。
編集画面の所定の領域に、上下左右の4方向を示す十字キーを設け、その十字キーに対する操作によって、撮影画像を移動させるようにしてもよい。
また、編集画面における編集領域612Lの上下左右の四辺それぞれの近傍に、矢印ボタンを設けるようにしてもよい。それぞれの矢印ボタンが選択されると、撮影画像が上下左右方向へ移動される。
さらに、編集画面の所定の領域に、撮影画像を移動させるための移動ボタンを設けるようにしてもよい。例えば、1回目に移動ボタンが操作されると、撮影画像が上方向へ移動され、2回目に移動ボタンが操作されると、撮影画像が下方向へ移動される。また、3回目に移動ボタンが操作されると、撮影画像が右方向へ移動され、4回目に移動ボタンが操作されると、撮影画像が左方向へ移動される。
また、編集画面の所定の領域に、x方向(横方向)およびy方向(縦方向)への移動量を入力させるテキストボックスを設けるようにしてもよい。テキストボックスに入力される値は、ピクセル単位であってもよいし、撮影画像の表示領域に目盛を表示させるようにした場合には、その目盛の数値であってもよい。
さらに、編集画面の所定の領域に、ランダムボタンを設けるようにしてもよい。ランダムボタンが操作されると、無作為的に、撮影画像が移動量および/または移動方向を変えて移動される。
(拡大/縮小について)
編集領域612Lと編集パレット表示領域614Lとの間には、スライダー表示領域618Lが設けられる。スライダー表示領域618Lは、編集領域612Lに表示される撮影画像の領域の大きさを調整するために操作されるスライダーの表示領域である。つまり、スライダーが操作されることで、編集領域612Lに対して撮影画像が相対的に拡大/縮小される。
なお、スライダー表示領域618Lには、スライダーに加え、編集領域612Lに対して相対的な移動、拡大/縮小、または回転を施すGUIとしてのトリミングボタン621およびデフォルトボタン622が表示される。
トリミングボタン621は、編集領域612Lに表示されている撮影画像の移動、拡大/縮小、または回転を有効にするときに操作されるボタンである。デフォルトボタン622は、編集領域612Lに対して撮影画像が相対的に移動、拡大/縮小、または回転された撮影画像を、最初に編集画面が表示された状態、すなわちデフォルトの状態に戻すためのボタンである。
スライダーに代えて、編集画面の所定の領域に、サイズの異なる複数の矩形が表示された領域を設けるようにしてもよい。複数の矩形のうちのいずれかが選択されると、その矩形のサイズに応じて、撮影画像が拡大/縮小されるようにする。
また、スライダーに代えて、倍率(例えば0%乃至200%等)を入力させるテキストボックスを設けるようにしてもよい。
さらに、タッチペンとタブレット内蔵モニタ131(撮影画像の表示領域)との接触時間の長さに応じて、撮影画像の拡大/縮小の拡大率(縮小率)が調整されるようしてもよい。
また、タブレット内蔵モニタ131上でのタッチペンの軌跡によって、撮影画像が拡大/縮小されるようにしてもよい。例えば、タブレット内蔵モニタ131上で、タッチペンが左下から右上に移動されると、撮影画像が拡大され、タッチペンが右上から左下に移動されると、撮影画像が縮小されるようにする。
なお、上述したタブレット内蔵モニタ131に対する操作に、タッチペンに代えて指を用いるようにしてもよい。この場合、ピンチインやピンチアウト等の操作によって、撮影画像が拡大/縮小されるようにしてもよい。
上述した例では、拡大/縮小の中心は、撮影画像の中心であるものとするが、撮影画像上で、利用者の操作(タッチペンまたは指)により選択された位置を中心に、拡大/縮小されるようにしてもよい。この場合、利用者は、自身が興味のある領域を中心に拡大/縮小することができる。
なお、拡大/縮小の中心は、人物領域や顔領域の重心であってもよい。例えば、利用者の人数が2人の場合、2つの顔領域の重心を結ぶ線分の中心を、拡大/縮小の中心とする。利用者の人数が3人の場合、3つの顔領域の重心によって形成される三角形の中心を、拡大/縮小の中心とする。また、利用者の人数が4人の場合、4つの顔領域の重心によって形成される矩形の中心を、拡大/縮小の中心とする。
また、撮影画像が拡大/縮小される際に、撮影画像の表示領域に固定のグリッドが表示されるようにしてもよい。これにより、利用者は、撮影画像の表示領域に表示されているグリッドのマス目の大きさにより、撮影画像の拡大の度合いを把握することができる。
(回転について)
例えば、タブレット内蔵モニタ131上でのタッチペンの軌跡によって、撮影画像が回転されるようにする。例えば、編集画面上で、タッチペンが右回りで円弧を描くように移動されると、撮影画像が時計回りに回転されるようにする。また、編集画面上で、タッチペンが左回りで円弧を描くように移動されると、撮影画像が反時計回りに回転されるようにする。
また、編集画面の所定の領域に、回転角度を入力させるテキストボックスを設けるようにしてもよい。テキストボックスに入力される値(角度)は、0°乃至359°とする。
なお、テキストボックスに入力される角度を、−90°乃至90°としてもよい。この場合、例えばテキストボックスの近傍に、撮影画像を上下反転させるための上下反転ボタンを設けるようにする。これにより、回転角度として0°乃至359°をカバーすることができる。
また、テキストボックスに入力される角度を、0°乃至90°としてもよい。この場合、例えばテキストボックスの近傍に、上述した上下反転ボタンに加え、撮影画像を左右反転させるための左右反転ボタンを設けるようにする。これにより、回転角度として0°乃至359°をカバーすることができる。
なお、具体的な回転角度を入力するテキストボックスを設けず、単に、上下反転ボタンおよび左右反転ボタンのみを設けるようにしてもよい。
さらに、編集画面上に、回転ボタンを設けるようにしてもよい。回転ボタンが選択されると、撮影画像が所定角度ずつ回転されるようにする。
また、撮影画像に合成されている撮影画像上に、回転の中心点を表示させるようにしてもよい。さらに、撮影画像上で、利用者の操作(タッチペンまたは指)により選択された位置が、回転の中心点に変更されるようにしてもよい。なお、この場合、デフォルトの状態では、撮影画像の中心に、回転の中心点が表示されるようにする。
なお、回転により、撮影画像から撮影画像の一部がはみ出してしまうような場合には、「はみ出してるよ」等のメッセージを、携帯おまけ編集画面上に表示させるようにしてもよい。
また、上述した回転や、回転の中心点の変更は、編集領域612Lにおいて顔が表示されている状態で行われるものとする。
さらに、撮影画像において、回転の対象となる領域が選択されるようにしてもよい。例えば、撮影画像上に、回転の対象となる領域の候補が複数設定されており、その中のいずれか1つを利用者に選択させるようにする。また、顔検出により特定された顔領域が、回転の対象となる領域に設定されるようにしてもよい。
なお、上述した実施の形態では、写真シール作成装置1は、得られた撮影画像や編集画像をシール紙に印刷するとともに、サーバに送信することで利用者の携帯端末に提供する構成を採るものとした。これに限らず、撮影画像や編集画像をシール紙に印刷せずに、サーバに送信することで利用者の携帯端末に提供するのみの構成を採ることも可能である。また逆に、撮影画像や編集画像をサーバに送信せずに、シール紙に印刷するのみの構成を採ることも可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図7に示されるように、装置本体とは別に、写真シール作成装置1の管理者にプログラムを配信するために配布される、そのプログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROMおよびDVDを含む)、光磁気ディスク、もしくは半導体メモリなどよりなるリムーバブルメディア205により構成される。また、これらだけでなく、記録媒体は、装置本体にあらかじめ組み込まれた状態で管理者に配信されるプログラムが記録されているROM206や、記憶部202に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上において、印刷媒体は、シール紙や写真紙に限られるものではない。例えば、所定のサイズの紙やフィルム、プリペイドカードやIC(Integrated Circuit)カードなどのカード、あるいは、Tシャツなどの布地などに、画像を印刷するようにしてもよい。この場合、1または複数の撮影画像が配置されたシールレイアウト画像が、これらの印刷媒体に印刷されるようにしてもよい。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
1 写真シール作成装置
91 カメラ
201 制御部
301 撮影処理部
311 表示制御部
312 撮影制御部
313 検出部
314 画像処理部
501 領域判定部

Claims (9)

  1. 利用者を被写体として撮影するカメラと、
    前記カメラに取り込まれた動画像であるライブビュー画像が表示される表示領域を有するライブビュー表示画面を表示する表示制御部と、
    前記ライブビュー画像における前記利用者のパーツを検出する検出部と、
    検出された前記パーツの位置に応じたパラメータによる画像処理を、前記ライブビュー画像の人物領域に施す画像処理部と
    を備え、
    前記画像処理部は、前記ライブビュー表示画面において、前記パーツの位置と、前記表示領域上に設定された所定の設定位置との距離が近いほど前記画像処理を強め、かつ、前記パーツの位置と前記表示領域の縁との距離が近いほど前記画像処理を弱めるよう、前記パラメータを調整する
    写真シール作成装置。
  2. 前記設定位置は、前記表示領域内に設定される
    請求項に記載の写真シール作成装置。
  3. 前記設定位置は、前記表示領域内に設定された設定領域内の全ての位置に設定される
    請求項に記載の写真シール作成装置。
  4. 前記画像処理部は、
    前記パーツの位置が前記設定領域内にある場合、前記画像処理を最も強めるよう前記パラメータを調整し、
    前記パーツの位置が前記表示領域と前記設定領域との間の領域にある場合、前記パーツの位置と前記設定領域とが近いほど、前記画像処理を強めるよう前記パラメータを調整し、
    前記パーツの位置が前記表示領域外にある場合、前記画像処理を施さない
    請求項に記載の写真シール作成装置。
  5. 前記カメラは、前記利用者の顔および上半身を撮影範囲としたアップ撮影、および、前記利用者の全身を撮影範囲とした全身撮影を行い、
    前記アップ撮影が行われる場合と、前記全身撮影が行われる場合とで、前記表示領域内に異なる前記設定領域が設定される
    請求項またはに記載の写真シール作成装置。
  6. 前記検出部は、
    前記アップ撮影が行われる場合、前記ライブビュー画像における前記利用者の顔のパーツを検出し、
    前記全身撮影が行われる場合、前記ライブビュー画像における前記利用者の身体のパーツを検出する
    請求項に記載の写真シール作成装置。
  7. 前記画像処理部は、
    前記アップ撮影が行われる場合、前記画像処理を、前記ライブビュー画像の顔領域に施し、
    前記全身撮影が行われる場合、前記画像処理を、前記ライブビュー画像の身体領域に施す
    請求項またはに記載の写真シール作成装置。
  8. 前記設定位置は、前記表示領域の中心点に設定される
    請求項に記載の写真シール作成装置。
  9. 利用者を被写体として撮影するカメラに取り込まれた動画像であるライブビュー画像が表示される表示領域を有するライブビュー表示画面を表示し、
    前記ライブビュー画像における前記利用者のパーツを検出し、
    検出された前記パーツの位置に応じたパラメータによる画像処理を、前記ライブビュー画像の人物領域に施す
    ステップを含み、
    前記ステップは、前記ライブビュー表示画面において、前記パーツの位置と、前記表示領域上に設定された所定の設定位置との距離が近いほど前記画像処理を強め、かつ、前記パーツの位置と前記表示領域の縁との距離が近いほど前記画像処理を弱めるよう、前記パラメータを調整する
    表示方法。
JP2015157337A 2015-08-07 2015-08-07 写真シール作成装置および表示方法 Active JP6041024B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015157337A JP6041024B1 (ja) 2015-08-07 2015-08-07 写真シール作成装置および表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015157337A JP6041024B1 (ja) 2015-08-07 2015-08-07 写真シール作成装置および表示方法

Publications (2)

Publication Number Publication Date
JP6041024B1 true JP6041024B1 (ja) 2016-12-07
JP2017038154A JP2017038154A (ja) 2017-02-16

Family

ID=57483243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015157337A Active JP6041024B1 (ja) 2015-08-07 2015-08-07 写真シール作成装置および表示方法

Country Status (1)

Country Link
JP (1) JP6041024B1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170046A (ja) * 2010-11-02 2012-09-06 Olympus Corp 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム
JP2012249297A (ja) * 2012-06-22 2012-12-13 Furyu Kk 写真シール作成装置、写真シール作成方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170046A (ja) * 2010-11-02 2012-09-06 Olympus Corp 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム
JP2012249297A (ja) * 2012-06-22 2012-12-13 Furyu Kk 写真シール作成装置、写真シール作成方法、およびプログラム

Also Published As

Publication number Publication date
JP2017038154A (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6829380B2 (ja) 写真シール作成装置および画像処理方法
JP5472767B2 (ja) 画像処理装置および画像処理方法
JP2017229013A (ja) 写真作成ゲーム機および表示方法
JP6880394B2 (ja) 写真作成ゲーム機および撮影方法
JP5825542B1 (ja) 写真シール作成装置および表示方法
JP6213791B2 (ja) 画像処理装置および画像処理方法
JP6477780B2 (ja) 写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラム
JP2016177015A (ja) 写真シール作成装置および画像処理方法
JP6041024B1 (ja) 写真シール作成装置および表示方法
JP6262643B2 (ja) 画像処理装置および画像処理方法
JP6424587B2 (ja) 写真シール作成装置および写真シール作成方法
JP2018107515A (ja) 写真作成ゲーム機および画像処理方法
JP7074994B2 (ja) 写真作成ゲーム機および画像処理方法
JP5483136B1 (ja) 撮影装置および表示制御方法
JP6853475B2 (ja) 写真作成ゲーム機および表示方法
JP6646202B2 (ja) 写真シール作成装置および表示方法
JP2016213780A (ja) 写真シール作成装置および画像表示方法
JP6124087B2 (ja) 画像編集装置および画像編集方法
JP5970013B2 (ja) 写真シール作成装置および写真シール作成方法
JP6465333B2 (ja) 画像処理装置および画像処理方法
JP5962643B2 (ja) 撮影装置および表示制御方法
JP7121256B2 (ja) 写真作成ゲーム機、画像処理方法、およびプログラム
JP6982230B2 (ja) 写真作成ゲーム機および画像処理方法
JP6671015B2 (ja) 写真シール作成装置および画像処理方法
JP6443028B2 (ja) 画像生成装置、画像生成方法、および印刷媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161024

R150 Certificate of patent or registration of utility model

Ref document number: 6041024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250