JP6864212B2 - 写真作成ゲーム機および撮影方法 - Google Patents

写真作成ゲーム機および撮影方法 Download PDF

Info

Publication number
JP6864212B2
JP6864212B2 JP2016158682A JP2016158682A JP6864212B2 JP 6864212 B2 JP6864212 B2 JP 6864212B2 JP 2016158682 A JP2016158682 A JP 2016158682A JP 2016158682 A JP2016158682 A JP 2016158682A JP 6864212 B2 JP6864212 B2 JP 6864212B2
Authority
JP
Japan
Prior art keywords
image
face
recognition
unit
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016158682A
Other languages
English (en)
Other versions
JP2018026750A (ja
Inventor
雅典 住永
雅典 住永
悠里 溝口
悠里 溝口
紗綾香 山田
紗綾香 山田
Original Assignee
フリュー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フリュー株式会社 filed Critical フリュー株式会社
Priority to JP2016158682A priority Critical patent/JP6864212B2/ja
Publication of JP2018026750A publication Critical patent/JP2018026750A/ja
Application granted granted Critical
Publication of JP6864212B2 publication Critical patent/JP6864212B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本技術は、写真作成ゲーム機および撮影方法に関し、特に、顔の認識に成功させることができるようにする写真作成ゲーム機および撮影方法に関する。
従来、アミューズメント施設等に設置される写真シール機が知られている。写真シール機は、利用者を撮影し、利用者の操作に応じて撮影画像に対して編集を施す。写真シール機は、編集が施された撮影画像をシール紙に印刷する。
近年、写真シール機においては、撮影画像に対して適切な画像処理を施すために、撮影画像に対する顔認識が行われている。
例えば、特許文献1には、顔を認識するための認識撮影により得られた画像から顔を検出・登録し、登録された顔と、その後の撮影により得られた撮影画像における顔とを照合することが開示されている。これにより、撮影画像に写る利用者の顔毎に、目の大きさや形状を変更する画像処理を施すことが可能となる。
特許第5418708号公報
上述した認識撮影においては、顔パーツ(目や鼻、口などの器官)を検出することで顔認識が行われるが、認識に失敗した場合、最終的に、上述した画像処理を適切に施すことができないおそれがある。そこで、認識撮影が行われる際には、ライブビュー表示画面に、顔の位置を案内する枠などが表示されるようになされている。
しかしながら、ライブビュー表示画面に、顔の位置を案内する枠などが表示されるだけでは、利用者は、認識撮影において、顔の認識に成功しているか否かを把握することはできなかった。そのため、結果として、認識撮影において顔の認識に失敗するおそれがあった。
本技術は、このような状況に鑑みてなされたものであり、より確実に、顔の認識に成功させることができるようにするものである。
本技術の写真作成ゲーム機は、利用者を被写体とした静止画像を取得する複数回の撮影を行い、そのうちの少なくとも1回の撮影を、人物の顔を認識するための認識撮影として行う撮影制御部と、前記認識撮影により得られた認識用画像において人物の顔を認識する認識部と、前記認識部による認識に成功した顔の数が、あらかじめ決められた数と一致するか否かを判定する判定部と、前記認識部による認識に成功した複数の顔それぞれの顔パーツを用いて、1つの合成顔画像を生成する顔画像生成部とを備え、前記撮影制御部は、前記判定部による判定結果に応じて、再度の前記認識撮影を行う。
本技術の撮影方法は、利用者を被写体とした静止画像を取得する複数回の撮影を行い、そのうちの少なくとも1回の撮影を、人物の顔を認識するための認識撮影として行い、前記認識撮影により得られた認識用画像において人物の顔を認識し、認識に成功した顔の数が、あらかじめ決められた数と一致するか否かを判定し、判定結果に応じて、再度の前記認識撮影を行い、認識に成功した複数の顔それぞれの顔パーツを用いて、1つの合成顔画像を生成するステップを含む。
本技術においては、利用者を被写体とした静止画像を取得する複数回の撮影が行われ、そのうちの少なくとも1回の撮影が、人物の顔を認識するための認識撮影として行われ、前記認識撮影により得られた認識用画像において人物の顔が認識され、認識に成功した顔の数が、あらかじめ決められた数と一致するか否かを判定し、判定結果に応じて、再度の前記認識撮影が行われ、認識に成功した複数の顔それぞれの顔パーツを用いて、1つの合成顔画像が生成される
本技術によれば、より確実に、顔の認識に成功させることが可能となる。
本技術の写真シール作成装置の外観の構成例を示す斜視図である。 写真シール作成装置の外観を他の角度からみた斜視図である。 利用者の移動について説明する図である。 事前選択部の構成例を示す図である。 撮影部の構成例を示す図である。 背景部の構成例を示す図である。 編集ユニットの正面の構成例を示す図である。 編集ユニットの側面の構成例を示す図である。 写真シール作成装置の内部の構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 撮影処理部の機能構成例を示すブロック図である。 編集処理部の機能構成例を示すブロック図である。 写真シール作成ゲーム処理について説明するフローチャートである。 撮影処理について説明するフローチャートである。 認識撮影処理の例について説明するフローチャートである。 認識撮影時のライブビュー表示画面の例を示す図である。 認識撮影時のライブビュー表示画面の他の例を示す図である。 認識撮影時のライブビュー表示画面のさらに他の例を示す図である。 認識撮影処理の他の例について説明するフローチャートである。 合成プリ表示画面の例を示す図である。 合成プリを用いた携帯専用画像の例を示す図である。 編集処理について説明するフローチャートである。 彼氏の写り選択画面の例を示す図である。 白雪度選択画面の例を示す図である。 白雪度選択画面の他の例を示す図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
<写真シール作成装置の外観構成>
図1および図2は、写真シール作成装置1の外観の構成例を示す斜視図である。
写真シール作成装置1は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置1は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にするためにその画像をサーバに送信することで、利用者に画像を提供する。写真シール作成装置1は、アミューズメント施設や店舗に設置される。写真シール作成装置1の利用者は、主に女子高生や若い女性が中心とされる。写真シール作成装置1において、1組あたり主に2人や3人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置1において、1人の利用者がゲームを楽しむこともできる。
写真シール作成装置1において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
図1に示すように、写真シール作成装置1は、基本的に、撮影ユニット11と編集ユニット12が接した状態で設置されることによって構成される。
撮影ユニット11は、事前選択部20、撮影部21、および背景部22から構成される。事前選択部20は、撮影部21の側面に設置される。事前選択部20の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影部21と背景部22は所定の距離だけ離れて設置される。撮影部21と背景部22の間に形成される空間が、撮影処理が行われる撮影空間となる。
事前選択部20は、事前選択処理として、写真シール作成装置1によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を行ったりする。事前選択部20には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択部20は、撮影空間の空き状況に応じて、適宜、事前選択空間にいる利用者を撮影空間へと案内する。
撮影部21は、利用者を被写体として撮影するための装置である。撮影部21は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影部21の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影部21の左側面が側面パネル41Aにより構成され、右側面が側面パネル41Bにより構成される。さらに、撮影部21の正面が正面パネル42により構成される。側面パネル41Aには、上述した事前選択部20が設置されるものとする。なお、事前選択部20は、側面パネル41Bに設置されるようにしてもよいし、側面パネル41A,41Bの両方に設置されるようにしてもよい。
背景部22は、背面パネル51、側面パネル52A、および側面パネル52Bから構成される。背面パネル51は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル52Aは、背面パネル51の左端に取り付けられ、側面パネル41Aより横幅の狭い板状の部材である。側面パネル52Bは、背面パネル51の右端に取り付けられ、側面パネル41Bより横幅の狭い板状の部材である。
側面パネル41Aと側面パネル52Aは、ほぼ同一平面に設けられる。側面パネル41Aと側面パネル52Aの上部は、板状の部材である連結部23Aによって連結される。側面パネル41Aと側面パネル52Aの下部は、床面に設けた例えば金属製の部材である連結部23A’によって連結される。側面パネル41Bと側面パネル52Bも同様に、ほぼ同一平面に設けられる。側面パネル41Bと側面パネル52Bの上部は、連結部23Bによって連結される。側面パネル41Bと側面パネル52Bの下部は、連結部23B’によって連結される。
なお、背面パネル51の撮影空間側の面には、例えば緑色のクロマキー用のシートが貼り付けられる。写真シール作成装置1は、クロマキー用のシートを背景として撮影することで、撮影処理や編集処理においてクロマキー合成を行う。これにより、利用者が所望する背景画像がシートの部分に合成される。
側面パネル41A、連結部23A、および側面パネル52Aに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル41B、連結部23B、および側面パネル52Bに囲まれることによって形成される開口も撮影空間の出入り口となる。
撮影空間の上方には、撮影部21の正面、連結部23A、および連結部23Bに囲まれた天井が形成される。その天井の一部に、天井ストロボユニット24が設けられる。天井ストロボユニット24の一端が連結部23Aに固定され、他端が連結部23Bに固定される。天井ストロボユニット24は、撮影に合わせて撮影空間内に向けて光を照射するストロボを内蔵する。天井ストロボユニット24の内部には、ストロボの他に蛍光灯が設けられている。これにより、天井ストロボユニット24は、撮影空間の照明としても機能する。
編集ユニット12は、撮影画像に編集を施すための装置である。編集ユニット12は、一方の側面が撮影部21の正面パネル42に接するようにして、撮影ユニット11に連結している。
図1に示される編集ユニット12の構成を正面側の構成とすると、編集ユニット12の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、2組の利用者が同時に編集作業を行うことができる。
編集ユニット12の正面側は、面61と、面61の上方に形成された斜面62から構成される。面61は、床面に対して垂直で、撮影部21の側面パネル41Aとほぼ平行な面である。斜面62には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面62の左側には、照明装置64の一端を支持する柱状の支持部63Aが設けられる。斜面62の右側には、照明装置64の他端を支持する柱状の支持部63Bが設けられる。支持部63Aの上面にはカーテンレール26を支持する支持部65が設けられる。
編集ユニット12の上方にはカーテンレール26が取り付けられる。カーテンレール26は、3本のレール26A乃至26Cが、組み合わせられて構成される。3本のレール26A乃至26Cは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール26Aとレール26Bの一端は、連結部23Aと連結部23Bにそれぞれ固定され、レール26Aとレール26Bの他端は、レール26Cの両端にそれぞれ接合される。
カーテンレール26には、編集ユニット12の正面前方の空間と背面前方の空間が外から見えないようにカーテンが取り付けられる。そのカーテンにより囲まれる編集ユニット12の正面前方の空間と背面後方の空間が、利用者が編集作業を行う編集空間となる。
また、後述するが、編集ユニット12の左側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット12の左側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。
<利用者の移動について>
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。図3は、写真シール作成装置1を上から見た平面図である。
まず、利用者は、事前選択部20の前方の空間である事前選択空間A0において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って各種の設定を行う。利用者は、例えば、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。
事前選択作業を終えた利用者は、白抜き矢印#1で示すように、側面パネル41Aと側面パネル52Aの間の出入り口G1から、撮影部21と背景部22の間に形成された撮影空間A1に入る。そして利用者は、撮影部21に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。
撮影作業を終えた利用者は、白抜き矢印#2で示すように出入り口G1から撮影空間A1を出て編集空間A2−1に移動するか、または、白抜き矢印#3で示すように出入り口G2から撮影空間A1を出て編集空間A2−2に移動する。
編集空間A2−1は、編集ユニット12の正面側の編集空間である。一方、編集空間A2−2は、編集ユニット12の背面側の編集空間である。利用者が編集空間A2−1と編集空間A2−2のいずれの空間に移動するのかは、撮影部21のタッチパネルモニタの画面表示などによって案内される。例えば2つの編集空間のうちの空いている方が移動先として案内される。編集空間A2−1または編集空間A2−2に移動した利用者は、編集作業を開始する。編集空間A2−1の利用者と、編集空間A2−2の利用者は同時に編集作業を行うことができる。
編集作業が終了した後、編集画像の印刷が開始される。印刷が開始されると、編集空間A2−1での編集作業を終えた利用者は、白抜き矢印#4で示すように編集空間A2−1から印刷待ち空間A3に移動する。また、編集空間A2−2での編集作業を終えた利用者は、白抜き矢印#5で示すように編集空間A2−2から印刷待ち空間A3に移動する。
印刷待ち空間A3に移動した利用者は、画像の印刷の終了を待つ。印刷が終了すると、利用者は、編集ユニット12の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。
次に、各装置の構成について説明する。
<事前選択部の構成>
図4は、事前選択部20の構成例を示す図である。
事前選択部20の上側にはタッチパネルモニタ71が設けられる。タッチパネルモニタ71は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ71は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ71には、撮影に関するコースの選択などを行わせる事前選択処理に用いられる画面が表示される。
タッチパネルモニタ71の下方には、スピーカ72が設けられる。スピーカ72は、事前選択処理の案内音声、BGM(Back Ground Music)、効果音などを出力する。また、スピーカ72に隣接するようにして、利用者が硬貨を入れる硬貨投入返却口73が設けられる。
<撮影部の構成>
図5は、撮影部21の正面の構成例を示す図である。撮影部21は、側面パネル41A、側面パネル41B、および正面パネル42に囲まれるようにして構成される。
正面パネル42の中央には、カメラユニット81が設けられる。カメラユニット81は、カメラ91およびタッチパネルモニタ92から構成される。
カメラ91は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット81の内部に取り付けられる。カメラ91は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、撮影空間A1にいる利用者を撮影する。カメラ91により取り込まれた動画像(以下、ライブビュー画像ともいう)は、タッチパネルモニタ92にリアルタイムで表示される。撮影が指示されたときなどの所定のタイミングでカメラ91により取り込まれた静止画像は、撮影画像として保存される。
タッチパネルモニタ92は、カメラ91の下方に設けられる。タッチパネルモニタ92は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ92は、カメラ91により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUIを表示し利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ92には、カメラ91により取り込まれた動画像(ライブビュー画像)や静止画像(撮影画像)が表示される。
カメラユニット81の上方には、曲面の発光面を利用者に向けた上ストロボ82が設置される。上ストロボ82は、正面上方から利用者の顔および上半身に光を照射する。
カメラユニット81の左方には、平面の発光面を利用者に向けた左ストロボ83が設置される。左ストロボ83は、正面左方から利用者の顔および上半身に光を照射する。カメラユニット81の右方には、平面の発光面を利用者に向けた右ストロボ84が設置される。右ストロボ84は、正面右方から利用者の顔および上半身に光を照射する。
また、カメラユニット81の下方には、利用者の下半身および足元に光を照射する足元ストロボ85が設けられる。
なお、図示はしないが、正面パネル42の例えば天井付近には、スピーカが設けられる。そのスピーカは、撮影処理の案内音声、BGM、効果音などを出力する。
<背景部の構成>
図6は、背景部22の撮影空間A1側の構成例を示す図である。
背面パネル51の上方には、背面上ストロボ101が設置される。背面上ストロボ101は、背面上方から利用者に光を照射する。
図中、背面パネル51の左方には、背面左ストロボ102が設置される。背面左ストロボ102は、背面右方から利用者を照射する。図中、背面パネル51の右方には、背面右ストロボ103が設置される。背面右ストロボ103は、背面左方から利用者を照射する。
また、背面パネル51の撮影空間A1側(図中、手前側)の面には、クロマキーシート121が貼り付けられる。クロマキーシート121の色は、例えば緑色とされる。
なお、図示はしないが、側面パネル52A,52Bの撮影空間A1側の面にも、クロマキーシート121と同様に、クロマキーシートが貼り付けられる。
<編集ユニットの構成>
図7は、編集ユニット12の正面側(編集空間A2−1側)の構成例を示す図である。
斜面62のほぼ中央には、タブレット内蔵モニタ131が設けられる。タブレット内蔵モニタ131の左側にはタッチペン132Aが設けられる。タブレット内蔵モニタ131の右側にはタッチペン132Bが設けられる。
タブレット内蔵モニタ131は、タブレットがディスプレイを露出するように設けられることによって構成される。タブレットは、タッチペン132Aまたはタッチペン132Bを用いた操作入力を可能とする。タブレット内蔵モニタ131には、例えば、編集作業に用いられる編集画面が表示される。2人の利用者が同時に編集作業を行う場合、タッチペン132Aはタブレット内蔵モニタ131に向かって左側にいる利用者により用いられ、タッチペン132Bはタブレット内蔵モニタ131に向かって右側にいる利用者により用いられる。
図8は、編集ユニット12の左側面の構成例を示す図である。
編集ユニット12の左側面の下側にはシール紙排出口161が設けられる。編集ユニット12の内部にはプリンタが設けられている。そのプリンタにより、編集空間A2−1の利用者が写る画像、または、編集空間A2−2の利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口161から排出される。
<写真シール作成装置の内部構成>
図9は、写真シール作成装置1の内部の構成例を示すブロック図である。図9において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
制御部201はCPU(Central Processing Unit)などにより構成される。制御部201は、ROM(Read Only Memory)206や記憶部202に記憶されているプログラムを実行し、写真シール作成装置1の全体の動作を制御する。制御部201には、記憶部202、通信部203、ドライブ204、ROM206、RAM(Random Access Memory)207が接続される。制御部201には、事前選択部208、撮影部209、編集部210A,210B、および印刷部211の各構成も接続される。
記憶部202は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部202は、制御部201から供給された各種の設定情報などを記憶する。記憶部202に記憶されている情報は制御部201により適宜読み出される。
通信部203は、インターネットなどのネットワークのインタフェースである。通信部203は、制御部201による制御に従って外部の装置と通信を行う。通信部203は、例えば、利用者に選択された撮影画像や編集画像をサーバに送信する。通信部203から送信された画像は、サーバにおいて所定の記憶領域が割り当てられて保存され、サーバにアクセスしてきた携帯端末に表示されたり、ダウンロードされたりする。
ドライブ204には、光ディスクや半導体メモリなどよりなるリムーバブルメディア205が適宜装着される。ドライブ204によりリムーバブルメディア205から読み出されたプログラムやデータは、制御部201に供給され、記憶部202に記憶されたり、インストールされたりする。
ROM206は、制御部201において実行されるプログラムやデータを記憶する。RAM207は、制御部201が処理するデータやプログラムを一時的に記憶する。
事前選択部208は、事前選択空間A0にいる利用者を対象とした事前選択処理を実現する。事前選択部208は、タッチパネルモニタ71、スピーカ72、および硬貨処理部221から構成される。
タッチパネルモニタ71は、制御部201による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部201に供給され、各種の設定が行われる。
硬貨処理部221は、硬貨投入返却口73への硬貨の投入を検出する。硬貨処理部221は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号を制御部201に出力する。
撮影部209は、撮影空間A1にいる利用者を対象とした撮影処理を実現する。撮影部209は、照明装置231、カメラ91、タッチパネルモニタ92、およびスピーカ232から構成される。
照明装置231は、撮影空間A1内の各ストロボであり、制御部201から供給される照明制御信号に従って発光する。
カメラ91は、制御部201によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像(画像データ)を制御部201に出力する。
編集部210Aは、編集空間A2−1にいる利用者を対象とした編集処理を実現する。編集部210Aは、タブレット内蔵モニタ131、タッチペン132A,132B、およびスピーカ241から構成される。編集部210Bは、編集空間A2−2にいる利用者を対象とした編集処理を実現し、編集部210Aと同一の構成を有する。なお、以下、編集部210A,210Bを特に区別しない場合には、単に、編集部210という。
タブレット内蔵モニタ131は、制御部201による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部201に供給され、編集対象となる撮影画像が編集される。
印刷部211は、印刷待ち空間A3にいる利用者に、印刷済みのシール紙を提供する印刷処理を実現する。印刷部211は、プリンタ251を含むように構成される。プリンタ251にはシール紙ユニット252が装着される。
プリンタ251は、制御部201から供給された印刷データに基づいて、編集画像をシール紙ユニット252に収納されているシール紙261に印刷し、シール紙排出口161に排出する。
<制御部の構成>
図10は、制御部201の機能構成例を示すブロック図である。図10に示す機能部のうちの少なくとも一部は、制御部201内のCPUにより所定のプログラムが実行されることによって実現される。これにより、写真シール作成装置1は、画像提供装置として機能する。
制御部201は、事前選択処理部301、撮影処理部302、編集処理部303、および印刷処理部304から構成される。
事前選択処理部301は、事前選択部208の各部を制御することで、事前選択処理を行う。撮影処理部302は、撮影部209の各部を制御することで、撮影処理を行う。編集処理部303は、編集部210の各部を制御することで、編集処理を行う。印刷処理部304は、印刷部211のプリンタ251を制御することで、印刷処理を行う。
<撮影処理部の構成例>
図11は、撮影処理部302の機能構成例を示すブロック図である。
撮影処理部302は、表示制御部321、撮影制御部322、認識部323、判定部324、登録部325、および顔画像生成部326から構成される。
表示制御部321は、タッチパネルモニタ92の表示を制御する。例えば、表示制御部321は、タッチパネルモニタ92に、カメラ91に取り込まれたライブビュー画像を表示させたり、撮影結果である撮影画像を表示させたりする。
撮影制御部322は、カメラ91を制御することで、利用者を被写体として撮影し、ライブビュー画像や撮影画像を生成する。また、撮影制御部322は、複数回の撮影のうちの少なくとも1回の撮影を、人物の顔を認識するための認識撮影として行う。
認識部323は、認識撮影により得られた認識用画像において、人物の顔を認識する。
判定部324は、認識部323による認識に成功した顔の数が、あらかじめ決められた数と一致するか否かを判定する。あらかじめ決められた数は、例えば、利用者によりあらかじめ選択された人数コースや撮影コースによって決まる数とされる。
登録部325は、認識部323による認識に成功した顔の顔画像を、認識撮影以外の撮影(以下、通常撮影ともいう)により得られた撮影画像に写る顔と照合するための画像として、データベースに登録する。データベースは、例えば記憶部202に構築される。
顔画像生成部326は、認識部323による認識に成功した複数の顔それぞれの顔パーツを用いて、1つの合成顔画像(以下、合成プリという)を生成する。
<編集処理部の構成例>
図12は、編集処理部303の機能構成例を示すブロック図である。
編集処理部303は、表示制御部331、編集制御部332、認証部333、画像処理部334、および通信制御部335から構成される。
表示制御部331は、タブレット内蔵モニタ131の表示を制御する。例えば、表示制御部331は、タブレット内蔵モニタ131に、撮影画像に施される画像処理の度合いを選択するための選択画面や、撮影画像を対象とした編集作業のための編集画面を表示させる。
編集制御部332は、編集画面に対する利用者の操作に応じて、撮影画像に編集を施す。具体的には、編集制御部332は、編集画面において利用者により選択された合成用画像を、撮影画像の所定の位置に合成する。
認証部333は、登録部325によりデータベースに登録された顔画像を用いて、撮影画像における利用者の顔を認証する。
画像処理部334は、タブレット内蔵モニタ131に表示される、撮影画像に施される画像処理の度合いを選択するための選択画面に対する選択操作に基づいて、選択された度合いの画像処理を撮影画像に施す。
通信制御部335は、通信部203を制御し、インターネットなどのネットワークを介した通信に関する処理を行う。例えば、通信制御部335は、通信部203を制御することで、撮影処理において得られた撮影画像や、編集処理において得られた編集画像を、外部のサーバへ送信する。
<写真シール作成装置の動作>
ここで、図13のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置1の動作について説明する。
ステップS1において、事前選択処理部301は、所定の金額分の硬貨が投入されたか否かを、硬貨処理部221から供給される起動信号に基づいて判定し、硬貨が投入されたと判定するまで待機する。
ステップS1において、硬貨が投入されたと判定された場合、処理はステップS2に進む。ステップS2において、事前選択処理部301は、事前選択部208を制御することで、事前選択処理を行う。具体的には、事前選択処理部301は、撮影空間で行われる撮影に関するコースとして、利用者の人数に応じて行われるゲームの種類を決定する人数コースや、撮影空間で行われる撮影の種類を決定する撮影コースの選択などを利用者に行わせることで、各種の設定を行う。
ステップS3において、撮影処理部302は、撮影部209を制御することで、撮影処理を行う。具体的には、撮影処理部302は、カメラ91に取り込まれた被写体の動画像をタッチパネルモニタ92にライブビュー表示させ、撮影空間A1にいる利用者を被写体として撮影し、撮影画像を生成する。
ステップS4において、編集処理部303は、編集空間A2−1と編集空間A2−2のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部210を制御することで、編集処理を行う。具体的には、編集処理部303は、撮影処理により得られた撮影画像に対して利用者に編集作業を行わせることで、編集が施された編集画像を生成する。
ステップS5において、印刷処理部304は、プリンタ251を制御することで、印刷処理を行う(開始する)。具体的には、印刷処理部304は、編集処理により得られた編集画像をプリンタ251に出力してシール紙に印刷する。なお、撮影処理により得られた撮影画像が、シール紙に印刷されるようにしてもよい。
印刷が終了すると、ステップS6において、プリンタ251は、画像が印刷されたシール紙をシール紙排出口161に排出し、処理を終了させる。
<撮影処理の詳細>
次に、図14のフローチャートを参照して、上述した写真シール作成ゲームの一連の処理におけるステップS3の撮影処理の詳細について説明する。
撮影処理が開始されると、認識撮影の仕方を説明する画面がタッチパネルモニタ92に表示されるなどしてガイダンスが出力される。その後、ステップS31において、撮影制御部322は、認識撮影を行う。認識撮影の詳細については後述する。
認識撮影が終了すると、撮影(通常撮影)の仕方を説明する画面がタッチパネルモニタ92に表示されるなどしてガイダンスが出力される。その後、ライブビュー表示画面がタッチパネルモニタ92に表示される。
その状態で撮影タイミングになったとき、ステップS32において、撮影制御部322は、1回目の撮影を行う。撮影によって得られた撮影画像は、撮影結果としてタッチパネルモニタ92に表示される。利用者は、1回目の撮影結果を確認しながら、次の撮影の準備を行うことができる。
そして、2回目以降の撮影が行われる。すなわち、2回目の撮影タイミングになったとき、ステップS33において、撮影制御部322は、2回目の撮影を行う。
同様にして、ステップS34乃至S36において、撮影制御部322は、それぞれ3乃至5回目の撮影を行う。
なお、事前選択処理において選択された撮影コースに応じて、1乃至5回目の撮影として行われる撮影は異なる。具体的には、撮影コースとして「アップ+全身」コースが選択された場合、1乃至5回目のうち、1乃至3回目の撮影としてアップ撮影が行われ、4,5回目の撮影として全身撮影が行われる。また、撮影コースとして「アップのみ」コースが選択された場合、1乃至5回目の撮影としてアップ撮影のみが行われる。
アップ撮影は、顔を中心として、利用者のほぼ胸から上の範囲(上半身)が写る画像であるアップ画像を得るための撮影である。全身撮影は、利用者の全身が写る画像である全身画像を得るための撮影である。全身撮影においては、斜め上から見た利用者の全身が写る画像が得られるようにもできるし、正面から見た利用者の全身が写る画像が得られるようにもできる。
このようにして、ステップS32乃至S36において5回の撮影が行われた後、ステップS37において、顔画像生成部326は、認識撮影により得られた認識用画像において、認識部323による認識に成功した複数の顔それぞれの顔パーツを用いて、合成プリを生成する。具体的には、認識部323による認識に成功することで、登録部325によりデータベースに登録された顔画像の顔パーツを用いて、合成プリを生成する。
そして、ステップS38において、表示制御部321は、顔画像生成部326によって生成された合成プリを、タッチパネルモニタ92に表示させる。
なお、ステップS37,S38の処理は、事前選択処理において選択される人数コース(2人用コース、カップルコース、3人用コース、および大人数用コース)のうち、2人用コースまたはカップルコースが選択された場合に行われる。すなわち、事前選択処理において、人数コースとして、3人用コースまたは大人数用コースが選択された場合、ステップS37,S38の処理はスキップされる。
ステップS39において、撮影処理部302は、撮影空間A1にいる利用者に対して、編集空間A2−1または編集空間A2−2への移動を案内する。編集空間A2−1または編集空間A2−2への移動の案内は、撮影部209のタッチパネルモニタ92に案内画面を表示させることによって、または音声をスピーカ232から出力させることによって行われる。
<認識撮影処理の詳細>
ここで、図15のフローチャートを参照して、上述した撮影処理のステップS31で行われる認識撮影処理の詳細について説明する。
なお、図15の処理は、事前選択処理において選択される人数コースのうち、2人用コースまたはカップルコースが選択された場合に実行される。したがって、図15の処理は、利用者が2人であることを前提として実行される。
ステップS51において、撮影制御部322は、認識撮影を行う。なお、撮影制御部322は、認識撮影として、上述したアップ撮影を行う。認識撮影により得られる認識用画像は、人物の顔の認識に用いられる。したがって、認識撮影は、画像全体に対する顔の大きさの割合が小さくなる全身撮影と同じ撮影範囲ではなく、顔が大きく写るアップ撮影と同じ撮影範囲を撮影するようにして行われる。
認識撮影は、人物の顔を認識するために行われる撮影であるが、認識撮影により得られた認識用画像は、人物の顔を認識するために用いられるだけでなく、上述した合成プリの生成にも用いられる。すなわち、1回の撮影により得られた画像が、2つの用途に用いられる。
このような目的から、認識撮影のガイダンスでは、利用者に対して、正面を向いて撮影することを促す画面の表示や音声の出力が行われる。
ガイダンスが終了すると、撮影制御部322によって、カメラ91による動画像の撮影が開始され、撮影によって得られた動画像がライブビュー表示画面に表示される。
図16は、認識撮影のライブビュー表示画面の例を示す図である。
ライブビュー表示画面の上部には、「枠の中に入って前を向いて撮影してね」のメッセージが表示され、その下に設けられた画像表示領域411,412には、2人の利用者それぞれが映る動画像がリアルタイムで表示される。また、画像表示領域411,412には、それぞれに映る利用者の顔の位置を案内するための楕円形の枠が、赤い破線で示される。画像表示領域411,412の下には、「赤枠の中にきれいにおさまると、最後に合成プリもできるよ」のメッセージが表示される。
カメラ91により撮影された動画像から、所定の範囲が切り出されて、画像表示領域411,412の表示に用いられる。2人の利用者は、画像表示領域411,412の表示を確認しながら、それぞれの顔が画像表示領域411,412の枠に収まるように、顔の位置や大きさ、向きを調整する。これにより、認識用画像による認識の精度を確保することができる。
このようなライブビュー画像が所定の時間表示された後、撮影前のカウントダウンが開始され、撮影のタイミングになったとき、撮影制御部322は、認識用画像としての静止画像を取得する撮影を行う。
ステップS52において、認識部323は、認識撮影により得られた認識用画像において、人物の顔を認識する。
顔の認識に用いられる認識用画像は、カメラ91に取り込まれた静止画像の原画像であってもよいし、静止画像が撮影画像と同じサイズとなるようにトリミングされたトリミング画像であってもよい。原画像においては、トリミングによって顔の一部が切り取られることがないため、より確実に顔の認識を行うことができる。また、トリミング画像においては、原画像と比べて画像の大きさが小さいので、顔の認識にかかる処理時間を短縮することができる。
ここで、認識部323による顔認識の詳細について説明する。
具体的には、認識部323は、認識用画像における顔領域の輪郭点を抽出するとともに目領域の輪郭点を抽出し、抽出された輪郭点で囲まれる領域の形状を判別することで顔認識を行う。抽出される輪郭点の数や位置は任意とされる。顔領域の輪郭点で囲まれる領域の形状が一般的な顔の形状と大きく異なる場合、顔認識は失敗したと判定される。この場合、例えば目を閉じている利用者についての認識は失敗したと判定される。
また、認識部314は、認識用画像において抽出された輪郭点で囲まれる領域の色情報を取得することで顔認識を行うこともできる。例えば、顔領域の輪郭点で囲まれる領域の色情報から、その領域の色が肌色ではないと判定された場合、顔認識は失敗したと判定される。また、目領域の輪郭点で囲まれる領域の色情報から、その領域の色に白色と黒色以外の色が含まれていると判定された場合、顔認識は失敗したと判定される。これにより、例えばTシャツなどの衣服にプリントされている顔の図柄について、顔の認識に成功しないようにすることができる。
さらに、認識部314は、認識用画像において抽出された輪郭点で囲まれる領域の大きさによって顔認識を行うこともできる。例えば、顔領域の輪郭点で囲まれる領域の大きさが所定の大きさの範囲から外れる場合、その顔は小さすぎるか、または大きすぎて合成プリの生成に用いることができないため、顔認識は失敗したと判定される。
さらにまた、認識部323は、顔の傾きに基づいて、顔認識に成功したか否かを決定するようにしてもよい。例えば、顔が上下方向または左右方向に所定角度以上傾いていると判定された場合、顔認識は失敗したと判定される。
さて、図15のフローチャートに戻り、ステップS53において、判定部324は、認識部323による認識に成功した顔の数が、2つであるか否かを判定する。
上述したように、図15の認識撮影処理は、利用者が2人であることを前提として実行されるので、ステップS53においては、2人の利用者それぞれの顔の認識に成功したか否かが判定される。
ステップS53において、認識に成功した顔の数が2つであると判定された場合、処理はステップS56に進み、登録部325は、認識部323による認識に成功した2つの顔の顔画像をデータベースに登録し、認識撮影処理は終了する。
一方、ステップS53において、認識に成功した顔の数が2つでないと判定された場合、処理はステップS54に進む。
ステップS54において、撮影制御部322は、再度、認識撮影を行う。ここでは、ステップS51と同様にして、図16のライブビュー表示画面が表示され、2回目の認識撮影が行われる。
2回目の認識撮影が行われた後、ステップS55において、認識部323は、2回目の認識撮影により得られた認識用画像において、人物の顔を認識する。
ステップS55の後、処理はステップS56に進み、登録部325は、認識部323による認識に成功した顔の顔画像をデータベースに登録する。ここでは、ステップS55において認識に成功した顔の顔画像のみがデータベースに登録され、失敗した顔の顔画像はデータベースに登録されない。
以上の処理によれば、認識撮影において顔の認識に失敗した場合であっても、再度、認識撮影が行われるので、より確実に、顔の認識に成功させることが可能となる。その結果、撮影画像に写る利用者の顔毎に、目の大きさや形状を変更する画像処理をより適切に施すことが可能となる。
<利用者の操作に応じて再度の認識撮影が行われる例>
以上においては、2人の利用者のうちの少なくともいずれか1人の利用者の顔の認識に失敗した場合には、利用者の操作によらず、再度の認識撮影が行われるものとしたが、利用者の操作に応じて、再度の認識撮影が行われるようにしてもよい。
例えば、図17に示されるように、2回目の認識撮影が行われる際に表示されるライブビュー表示画面に、スキップボタン421を設けるようにし、スキップボタン421が押下されることで、2回目の認識撮影が行われないようにする。
また、認識撮影処理が実行される前に、再度(2回目)の認識撮影の有無を、利用者に選択させるようにしてもよい。例えば、ステップS51において認識撮影が行われる前に、再度の認識撮影の有無を選択させるための選択画面が表示されるようにしてもよいし、事前選択処理において、撮影コースの1つとして、再度の認識撮影「有コース」、「無コース」のいずれかを選択させるようにしてもよい。
なお、上述した認識撮影処理は、人数コースのうち、2人用コースまたはカップルコースが選択された場合に実行されるものとしたが、3人用コースや大人数用コースが選択された場合にも実行されるようにしてもよい。この場合、判定部324による判定に用いられる顔の数は、選択されたコースに応じて変更されるものとする。
<利用者が1人である場合の例>
ところで、図15の処理は、利用者が2人であることを前提として実行されるので、利用者が1人の場合には、必ず、再度の認識撮影が行われることになる。
写真シール機の中には、1人でのプレイを前提としたコースが設けられているものもあるが、そのようなコースが設けられていない写真シール機において、利用者が1人プレイする際、必ずしも再度の認識撮影が行われる必要はない。
そこで、図17を参照して説明したライブビュー表示画面と同様に、2回目の認識撮影が行われる際に表示されるライブビュー表示画面に、スキップボタン421を設けるようにし、スキップボタン421が押下されることで、2回目の認識撮影が行われないようにしてもよい。
また、図18に示されるように、1回目の認識撮影が行われる際に表示されるライブビュー表示画面において、画像表示領域411,412のいずれか一方に何も映っていないと判定された場合には、2回目の認識撮影が行われないようにしてもよい。図18の例では、画像表示領域411には、1人の利用者の顔が映っているが、画像表示領域412には、人物の顔もそれ以外のものも映っていない。
なお、図18の例で、画像表示領域412に利用者の腕などが映り込んだ場合には、2回目の認識撮影が行われてしまう。そこで、画像表示領域411,412に映る被写体について肌色領域を抽出し、人物の顔以外で肌色領域が抽出されたと判定された場合には、2回目の認識撮影が行われないようにしてもよい。
以上においては、1回目の認識撮影により得られた認識用画像において認識に成功した顔の数についての判定結果に応じて、2回目の認識撮影が行われるものとしたが、判定結果によらず、2回目の認識撮影が行われるようにしてもよい。
<認識撮影処理の他の例>
図19は、認識撮影処理の他の例について説明するフローチャートである。
ステップS61において、撮影制御部322は、1回目の認識撮影を行う。
ステップS62において、認識部323は、1回目の認識撮影により得られた認識用画像において、人物の顔を認識する。
ステップS63において、撮影制御部322は、認識部323による認識結果などにかかわらず、2回目の認識撮影を行う。
ステップS64において、認識部323は、2回目の認識撮影により得られた認識用画像において、人物の顔を認識する。
そして、ステップS65において、登録部325は、認識部323による認識に成功した顔の顔画像をデータベースに登録する。
例えば、1回目の認識撮影により得られた認識用画像(1枚目の認識用画像)において、2人の利用者A,Bのうち、利用者Aの顔の認識に成功し、利用者Bの顔の認識に失敗したとする。
その後、2回目の認識撮影により得られた認識用画像(2枚目の認識用画像)において、利用者A,Bそれぞれの顔の認識に成功した場合、ステップS65においては、1枚目の認識用画像において認識に成功した利用者Aの顔の顔画像と、2枚目の認識用画像において認識に成功した利用者Bの顔の顔画像とが、データベースに登録される。
なお、上述した例で、利用者Aの顔については、1枚目および2枚目の両方の認識用画像において認識に成功しているので、いずれの認識用画像における顔の顔画像が、データベースに登録されるようにしてもよいし、いずれの顔画像を登録するかを、利用者に選択させるようにしてもよい。
また、2枚目の認識用画像においては、1枚目の認識用画像における認識に成功した顔についての認識処理が行われないようにしてもよい。すなわち、上述した例では、1枚目の認識用画像において、利用者Aの顔の認識に成功しているので、2枚目の認識用画像においては、利用者Aの顔についての認識処理は行われず、利用者Bの顔についての認識処理のみが行われるようにする。なお、2枚目の認識用画像において、2人の利用者のどちらの顔について認識処理を行うかの判断は、認識用画像における顔の位置に基づいてなされるものとする。
以上においては、1回目の認識撮影に続けて、2回目の認識撮影が行われる例について説明したが、3回目以上の認識撮影がさらに行われるようにしてもよい。例えば、事前選択空間A0において硬貨が投入されたか、編集空間A2−1,A2−2のいずれかが空くまで、認識撮影が繰り返し行われるようにする。この場合、全ての利用者の顔の認識に成功した時点で、認識撮影が行われないようにする。
また、1回目の認識撮影により得られた認識用画像において認識に成功した顔の数についての判定結果に応じて、2回目の認識撮影が行われる以外にも、認識に成功した顔同士の顔サイズや顔の形状を比較し、その比較結果に応じて、2回目の認識撮影が行われるようにしてもよい。なお、顔サイズの比較結果は、後述する合成プリの生成に反映されるようにしてもよい。
<通常撮影について>
以上においては、顔の認識結果によって、認識撮影を再度行う例について説明したが、この例が、通常撮影に適用されるようにしてもよい。具体的には、認識部323が、通常撮影(1回目乃至5回目の撮影)によって得られた撮影画像において人物の顔を認識し、撮影制御部322が、認識部323による認識に失敗した顔が写る撮影画像に対応する通常撮影を再度行うようにする。
これにより、後述する編集処理において認証部333が行う、データベースに登録された顔画像を用いた撮影画像における利用者の顔の認証の精度を向上させることができる
<合成プリについて>
次に、合成プリの詳細について説明する。
上述したように、合成プリは、2人用コースまたはカップルコースが選択された場合であって、さらに、2人の利用者の顔画像がデータベースに登録された場合(すなわち、2人の利用者の顔の認識に成功した場合)に生成される。
図20は、合成プリが表示される合成プリ表示画面の例を示す図である。
合成プリ表示画面の左右両端には、データベースに登録された2人の顔画像が表示される顔画像表示領域451,452が設けられる。また、合成プリ表示画面の中央には、合成プリが表示される合成プリ表示領域453が、顔画像表示領域451,452に挟まれるようにして設けられる。
合成プリは、2人の利用者のうちの一方の利用者の顔の輪郭点と、他方の利用者の顔パーツの輪郭点とに基づいて生成される。図20の例で、合成プリ表示領域453に表示されている合成プリにおいては、左側の顔画像表示領域451に表示されている顔画像の顔の領域に、右側の顔画像表示領域452に表示されている顔画像から抽出された目、鼻、および口の部分が合成されている。
2人の利用者のどちらの顔画像の顔の領域に、どちらの顔画像から抽出された目、鼻、および口の部分を合成するかは、ランダムに決定される。したがって、図20の例とは逆に、合成プリ表示領域453に表示されている合成プリにおいて、右側の顔画像表示領域452に表示されている顔画像の顔の領域に、左側の顔画像表示領域451に表示されている顔画像から抽出された目、鼻、および口の部分が合成されるようにしてもよい。
なお、カップルコースが選択された場合には、男女の利用者のどちらの顔画像の顔の領域に、どちらの顔画像から抽出された目、鼻、および口の部分を合成するかを、利用者に選択させるようにする。
また、上述した例において、例えば、2人の利用者の顔画像のうち、顔サイズの大きい方の顔画像の顔の領域に、顔サイズの小さい方の顔画像から抽出された目、鼻、および口の部分を合成するようにしてもよい。特に、通常、女性より男性の方が顔サイズが大きくなるため、カップルコースが選択された場合には、男性の利用者の顔画像の顔の領域に、女性の利用者の顔画像から抽出された目、鼻、および口の部分が合成されるようにしてもよい
さらに、一方の利用者の顔画像の顔の領域に、他方の利用者の顔画像から抽出された目、鼻、および口の部分を合成した合成プリと、一方の利用者の顔画像から抽出された目、鼻、および口の部分を、他方の利用者の顔画像の顔の領域に合成した合成プリの2つの画像を表示し、利用者に選択させるようにしてもよい。
なお、2人の利用者のうち、少なくともいずれか1人の顔の認識に失敗した場合、合成プリは生成されず、上述した合成プリ表示画面は表示されないが、認識撮影において顔の認識に失敗しないようにするためのガイダンス画面が表示されるものとする。
このようにして生成された合成プリは、携帯端末に送信するためだけの画像(携帯専用画像)に用いられる。
図21は、合成プリを用いた携帯専用画像の例を示す図である。
図21の携帯専用画像501は、所定のデザインを有する画像上に、3枚の顔画像511,512,513が配置されることで構成される。
携帯専用画像501の左端に配置されている顔画像511は、2人の利用者のうちの一方の利用者の顔画像である。携帯専用画像501の右端に配置されている顔画像512は、2人の利用者のうちの他方の利用者の顔画像である。そして、顔画像511と顔画像512とに挟まれるようにして配置されている顔画像513は、顔画像511および顔画像512の顔パーツを用いて生成された合成プリである。
仮に、携帯専用画像に合成プリのみが配置されるようにした場合、携帯専用画像を見た人は、その合成プリがどのような顔を組み合わせて生成されたかを知ることはない。
そこで、図21の例のように、携帯専用画像501に、合成プリである顔画像513に加え、その合成プリのベースになった顔画像511,512が配置されるようにすることで、携帯専用画像を見た人は、その合成プリがどのような顔を組み合わせて生成されたかを容易に知ることができる。
なお、携帯専用画像501は、携帯端末に送信するためだけの画像であるものとしたが、シール紙に印刷されるようにしてももちろんよい。
<編集処理の詳細>
次に、図22のフローチャートを参照して、上述した写真シール作成ゲームの一連の処理におけるステップS4の編集処理の詳細について説明する。
編集処理が開始されると、ステップS71において、表示制御部331は、彼氏の写り選択画面をタブレット内蔵モニタ131に表示させる。なお、ステップS71の処理は、事前選択処理において、人数コースとしてカップルコースが選択された場合に実行され、カップルコース以外の人数コースが選択された場合にはスキップされる。
彼氏の写り選択画面は、男女の利用者のうちの男性の利用者の顔の写り(例えば、目の大きさと肌の明るさ)の選択に用いられる画面である。
図23は、彼氏の写り選択画面の例を示す図である。
彼氏の写り選択画面には、画像表示部611,612が設けられる。画像表示部611,612には、データベースに登録された男性の利用者の顔画像が、それぞれ異なる写りとなるように画像処理が施された状態で表示される。利用者は、画像表示部611,612に表示されている顔画像の違いを確認することで、所望の写りを選択することができる。
画像表示部611,612の下方には、OKボタン613が設けられる。
画像表示部611,612のいずれかが選択された状態で、OKボタン613が押下されることで、5枚の撮影画像それぞれに写る男性の利用者の顔領域に対する、写りを変える画像処理が決定され、撮影画像それぞれに写る男性の利用者の顔領域に対して、決定された画像処理が施される。なお、彼氏の写り選択画面において選択された写りの画像処理は、後述する選択画面において選択される度合いの画像処理と比べて、変化の度合いを抑えたものとされる。
彼氏の写り選択画面において、OKボタン613が押下されると、処理はステップS72に進む。
ステップS72において、表示制御部331は、白雪度選択画面をタブレット内蔵モニタ131に表示させる。白雪度選択画面は、白雪度(撮影画像に写る利用者の肌の白さの度合い)の選択に用いられる画面である。
図24は、人数コースとしてカップルコースが選択された場合に表示される白雪度選択画面の例を示す図である。すなわち、図24の白雪度選択画面は、図23の彼氏の写り選択画面の次に表示される画面である。
図24の白雪度選択画面には、画像表示部621が設けられる。画像表示部621には、データベースに登録された女性の利用者の顔画像が表示される。画像表示部621の下方には、白雪度を選択するためのボタン622−1乃至622−3が設けられる。
ボタン622−1乃至622−3それぞれは、白雪度を変える画像処理の度合いに対応する。ボタン622−1は、白雪度として「ナチュラル白雪肌」を選択するためのボタンであり、ボタン622−2は、白雪度として「おすすめ白雪肌」を選択するためのボタンであり、ボタン622−3は、白雪度として「超白雪肌」を選択するためのボタンである。
ボタン622−1乃至622−3のいずれかが選択されると、画像処理部334は、画像表示部621に表示されている顔画像に対して、選択されたボタンに対応する白雪度に変える画像処理を施す。利用者は、画像表示部621に表示されている顔画像の変化を確認することで、所望の白雪度を選択することができる。
ボタン622−1乃至622−3のいずれかが選択された状態で、所定の時間が経過することで、撮影画像それぞれに写る女性の利用者の顔領域に対する、白雪度を変える画像処理の度合いが決定され、撮影画像それぞれに写る女性の利用者の顔領域に対して、決定された画像処理が施される。
図25は、カップルコース以外の人数コースとして、2人用コースが選択された場合に表示される白雪度選択画面の例を示す図である。すなわち、図25の白雪度選択画面は、編集処理が開始されてから最初に表示される画面である。
図25の白雪度選択画面においては、主な構成が左右対称に設けられている。このような画面構成により、2人の利用者がそれぞれ白雪度を同時に選択することができる。
図25の白雪度選択画面には、画像表示部631L,631Rが設けられる。画像表示部631L,631Rには、データベースに登録された2人の利用者の顔画像がそれぞれ表示される。画像表示部631L,631Rそれぞれの下方には、白雪度を選択するためのボタン632−1乃至632−3が設けられる。ボタン632−1乃至632−3は、それぞれ図24のボタン622−1乃至622−3と同様の機能を有する。
ボタン632−1乃至632−3のいずれかが選択されると、画像処理部334は、画像表示部631L,631Rのうちの対応する方に表示されている顔画像に対して、選択されたボタンに対応する白雪度に変える画像処理を施す。利用者は、画像表示部631L,631Rに表示されている顔画像の変化を確認することで、所望の白雪度を選択することができる。
ボタン632−1乃至632−3のいずれかが選択された状態で、所定の時間が経過することで、撮影画像それぞれに写る利用者の顔領域に対する、白雪度を変える画像処理の度合いが決定され、撮影画像それぞれに写る利用者の顔領域に対して、決定された度合いの画像処理が施される。
さて、図22のフローチャートに戻り、白雪度選択画面において、白雪度が選択されると、処理はステップS73に進む。
ステップS73において、表示制御部331は、輪郭選択画面をタブレット内蔵モニタ131に表示させる。輪郭選択画面は、撮影画像に写る利用者の顔の輪郭の選択に用いられる画面である。
輪郭選択画面の構成は、上述した白雪度選択画面と同様、人数コースとして、カップルコースが選択された場合と、2人用コースが選択された場合とで異なる。すなわち、カップルコースが選択された場合、輪郭選択画面は、図24の白雪度選択画面と同様の構成を採り、2人用コースが選択された場合には、輪郭選択画面は、図25の白雪度選択画面と同様の構成を採る。
輪郭選択画面において、いずれかの輪郭が選択されると、撮影画像それぞれに写る利用者の顔領域に対する、輪郭を変える画像処理の度合いが決定され、撮影画像それぞれに写る利用者の顔領域に対して、決定された度合いの画像処理が施される。
輪郭選択画面において、輪郭が選択されると、処理はステップS74に進む。
ステップS74において、表示制御部331は、目の大きさ選択画面をタブレット内蔵モニタ131に表示させる。目の大きさ選択画面は、撮影画像に写る利用者の目の大きさの選択に用いられる画面である。
目の大きさ選択画面の構成もまた、上述した白雪度選択画面と同様、人数コースとして、カップルコースが選択された場合と、2人用コースが選択された場合とで異なる。すなわち、カップルコースが選択された場合、目の大きさ選択画面は、図24の白雪度選択画面と同様の構成を採り、2人用コースが選択された場合には、目の大きさ選択画面は、図25の白雪度選択画面と同様の構成を採る。
目の大きさ選択画面において、いずれかの目の大きさが選択されると、撮影画像それぞれに写る利用者の目領域に対する、目の大きさを変える画像処理の度合いが決定され、撮影画像それぞれに写る利用者の目領域に対して、決定された度合いの画像処理が施される。
以上のように、利用者の顔毎に選択された度合いの画像処理は、画像処理部334によって、撮影画像に写る利用者の顔毎に施される。具体的には、認証部333が、データベースに登録された顔画像と、撮影画像に写る利用者の顔それぞれとを照合する。そして、画像処理部334は、顔画像に対応して選択された度合いの画像処理を、照合の結果、撮影画像においてその顔画像に最も一致すると判定された顔領域に施す。
また、画像処理部334は、データベースに登録された顔画像、すなわち、認識部323による認識に成功した顔毎に、各選択画面において選択された度合いの画像処理を施す。したがって、認識用画像において、2人の利用者のうちのいずれか一方の顔の認識に失敗した場合、通常撮影により得られた撮影画像において認識に失敗した方の利用者の顔領域には、選択された度合いにかかわらず画像処理は施されない。
なお、顔の輪郭や目の大きさを変える画像処理の他にも、顔の大きさ、顔パーツの形状や大きさ、髪型や髪の色などを変える画像処理の度合いが選択されるようにしてもよい。
上述したように、画像処理の度合いを選択する選択画面の画面遷移は、カップルコースが選択された場合と、2人用コースが選択された場合とで異なる。
特に、カップルコースが選択された場合に表示される、彼氏の写り選択画面においては、女性の利用者が選択操作を行う他の選択画面と比べて、選択肢が少ない。これにより、写真シール作成ゲームに慣れていない男性の利用者であっても、迷うことなく簡単に写りを決めることができる。
また、図25の白雪度選択画面のように、1つの選択画面で、男女の利用者それぞれの写りを選択させるようにした場合、女性の利用者は、自分の写りを選択することに集中してしまい、男性の利用者の写りを確認することなどはできなかった。そこで、彼氏の写り選択画面を、女性の利用者が選択操作を行う選択画面とは別に表示することで、女性の利用者にも、男性の利用者の写りを確認させ、選択させることができる。
さて、図22のフローチャートに戻り、目の大きさ選択画面において、目の大きさの選択が終了すると、処理はステップS75に進む。
ステップS75において、表示制御部321は、背景選択画面をタブレット内蔵モニタ131に表示させる。
背景選択画面は、撮影画像に写る利用者の背景となる背景画像の選択に用いられる画面である。背景選択画面には、選択された人数コースに応じた複数の背景画像が表示される。
背景選択画面において、背景の選択が終了すると、処理はステップS76に進む。
ステップS76において、表示制御部331は、編集画面をタブレット内蔵モニタ131に表示させる。
編集画面は、編集対象となる撮影画像の編集に用いられる画面である。編集画面には、編集対象となる撮影画像と、編集に用いられるスタンプ画像やペン画像などの各種の編集ツール(合成用画像)が表示される。
利用者は、タッチペン132A,132Bを用いて、スタンプ画像やペン画像などを編集対象となる撮影画像上の所定の位置へ重畳することで、編集対象となる撮影画像に対する合成用画像の合成が行われる。
すなわち、ステップS77において、編集制御部332は、利用者の操作に応じて、編集対象となる撮影画像に編集を施す。
編集作業が終了すると、ステップS78において、表示制御部331は、分割数選択画面をタブレット内蔵モニタ131に表示させる。
分割数選択画面は、最終的に出力されるシール紙の分割数やシールレイアウトの選択に用いられる画面である。シールレイアウトは、1枚の写真シールに配置される編集画像(撮影画像)の枚数や位置、大きさを決定するレイアウト(配置パターン)である。ここで、利用者により選択されたシールレイアウトに従って編集画像が配置されてなる画像、すなわち、シール紙に印刷されて最終的に出力される画像をレイアウト画像という。
したがって、分割数選択画面には、例えば5枚の撮影画像それぞれに画像処理が施され、さらに編集が施された編集画像が、異なるシールレイアウトで配置されたレイアウト画像が複数表示される。
分割数選択画面において、レイアウト画像のいずれかが選択されると、処理はステップS79に進む。
ステップS79において、表示制御部331は、携帯送信用画像選択画面をタブレット内蔵モニタ131に表示させる。
携帯送信用画像選択画面は、利用者の所有する携帯端末に送信するための携帯送信用画像の選択に用いられる画面である。携帯送信用画像選択画面には、5枚の撮影画像に加え、そのうちのいずれかに所定の編集が施された携帯送信専用の画像や、上述した合成プリなどの携帯専用画像が表示される。
携帯送信用画像選択画面において、画像のいずれかが選択されると、処理はステップS80に進む。
ステップS80において、表示制御部331は、メールアドレス入力画面をタブレット内蔵モニタ131に表示させる。
メールアドレス入力画面は、利用者の所有する携帯端末のメールアドレスの入力に用いられる画面である。メールアドレス入力画面には、メールアドレスに用いることが可能なアルファベットや記号、携帯電話機のキャリアを選択するためのボタンと、選択されたボタンに対応する文字列が表示されるテキストボックスが表示される。
メールアドレス入力画面において、メールアドレスの入力が終了すると、処理はステップS81に進む。
ステップS81において、通信制御部335は、通信部203を制御することで、インターネットなどのネットワークを介して、利用者により選択された携帯送信用画像を、利用者により入力されたメールアドレスとともに、サーバに送信する。サーバは、例えば写真シール作成装置1の製造メーカにより管理される。
サーバは、利用者により入力されたメールアドレス宛てに、携帯端末がサーバにアクセスするのに必要なURL(Uniform Resource Locator)が記載されたメールを送信する。そして、そのURLに基づいて、利用者が所有する携帯端末が、ネットワークを介してサーバにアクセスすることで、サーバに送信された携帯送信用画像が携帯端末に提供される。
そして、ステップS82において、編集処理部303は、編集作業を終えた利用者に対して、印刷待ち空間A3への移動を案内する。印刷待ち空間A3への移動の案内は、編集部210のタブレット内蔵モニタ131に案内画面を表示させることによって、または音声をスピーカ241から出力させることによって行われる。
以上のようにして、編集処理が行われる。
<変形例>
以下においては、上述した実施形態の変形例について説明する。
(撮影処理に関する変形例)
以上においては、認識撮影としてアップ撮影が行われるものとしたが、認識撮影として全身撮影が行われ、利用者の全身が認識されるようにしてもよい。例えば、距離画像センサによって取得される距離画像から人物マスク画像を生成することで、利用者の全身が認識されるものとする。この場合、利用者毎の人物マスク画像が、データベースに登録される。
通常撮影により得られる全身画像に対して、被写体の脚を細く長くみせるための画像処理(脚長処理)や、被写体の胴や脚を細くみせるための画像処理(痩身処理)が施される場合、データベースに登録されている人物マスク画像から算出される身長や体型に基づいて、全身画像に写る利用者を認証する。そして、認証の結果に基づいて、脚長処理や痩身処理が、利用者毎の人物領域に施されるようにする。
(画像送信に関する変形例)
利用者は、携帯送信用画像の送信先となるサーバにより管理されるサイトにおいて会員登録をすることで、携帯送信用画像を得ることができるが、そのサイトの会員には、有料会員と無料会員とがある。なお、サイトの会員でない利用者は、携帯送信用画像を得る際に、会員登録をすることで無料会員となることができるため、無料会員として扱われるものとする。
写真シール作成装置1からサーバには、5回の通常撮影により得られた5枚の撮影画像全てと、携帯専用画像(合成プリ)とが送信されるが、有料会員が所有する携帯端末には、5枚の撮影画像全てと合成プリとがサーバから提供され、無料会員が所有する携帯端末には、5枚の撮影画像のうちの、利用者により選択された撮影画像と合成プリとがサーバから提供されるようになされている。
すなわち、利用者が有料会員であるか無料会員であるかにかかわらず、少なくとも1枚の撮影画像と合成プリとが、その利用者の携帯端末に提供される。
このように、本実施形態においては、合成プリのように、認識撮影により得られた認識用画像において認識に成功した顔の顔画像(データベースに登録された顔画像)に基づいて生成された画像が、通常撮影により得られた撮影画像とともに、利用者の携帯端末に送信される。
ここで、上述した合成プリ以外にも、認識用画像において認識に成功した顔の顔画像に基づいた画像が生成されるようにしてもよい。
例えば、利用者の似顔絵の画像(似顔絵画像)が生成されるようにする。この場合、事前選択処理において、似顔絵の顔の輪郭、髪型、および髪色が選択されるようにする。また、認識用画像において認識に成功した顔の顔画像においては、利用者の顔の目、鼻、口が抽出され、抽出された各パーツとの類似度が高い似顔絵の各パーツが取得されるようにする。そして、選択された似顔絵の顔の輪郭、髪型、および髪色と、取得された似顔絵の顔の目、鼻、口とを用いることで、似顔絵画像が生成される。
これにより、有料会員が所有する携帯端末には、5枚の撮影画像全てと似顔絵画像とがサーバから提供され、無料会員が所有する携帯端末には、5枚の撮影画像のうちの、利用者により選択された撮影画像と似顔絵画像とがサーバから提供されるようにすることができる。
上述した実施の形態では、写真シール作成装置1は、得られた撮影画像や編集画像をシール紙に印刷するとともに、サーバに送信することで利用者の携帯端末に提供する構成を採るものとした。これに限らず、撮影画像や編集画像をシール紙に印刷せずに、サーバに送信することで利用者の携帯端末に提供するのみの構成を採ることも可能である。また逆に、撮影画像や編集画像をサーバに送信せずに、シール紙に印刷するのみの構成を採ることも可能である。
すなわち、本技術は、撮影画像や編集画像がシール紙に印刷された写真シールを作成する写真シール作成装置に限らず、単に、撮影画像や編集画像を作成するゲームを提供する写真作成ゲーム機に適用することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図9に示されるように、装置本体とは別に、写真シール作成装置1の管理者にプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROMおよびDVDを含む)、光磁気ディスク、もしくは半導体メモリなどよりなるリムーバブルメディア205により構成されるだけでなく、装置本体に予め組み込まれた状態で管理者に配信される、プログラムが記録されているROM206や、記憶部202に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上において、印刷媒体は、シール紙や写真紙に限られるものではなく、例えば、所定のサイズの紙やフィルム、ポスター用の紙、カード、あるいは、Tシャツなどの布地などに印刷するようにしてもよい。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
1 写真シール作成装置
201 制御部
301 事前選択処理部
302 撮影処理部
303 編集処理部
304 印刷処理部
321 表示制御部
322 撮影制御部
323 認識部
324 判定部
325 登録部
326 顔画像生成部
331 表示制御部
332 編集制御部
333 認証部
334 画像処理部
335 通信制御部

Claims (10)

  1. 利用者を被写体とした静止画像を取得する複数回の撮影を行い、そのうちの少なくとも1回の撮影を、人物の顔を認識するための認識撮影として行う撮影制御部と、
    前記認識撮影により得られた認識用画像において人物の顔を認識する認識部と、
    前記認識部による認識に成功した顔の数が、あらかじめ決められた数と一致するか否かを判定する判定部と
    前記認識部による認識に成功した複数の顔それぞれの顔パーツを用いて、1つの合成顔画像を生成する顔画像生成部と
    を備え、
    前記撮影制御部は、前記判定部による判定結果に応じて、再度の前記認識撮影を行う
    写真作成ゲーム機。
  2. 前記撮影制御部は、前記認識部による認識に成功した顔の数が、前記あらかじめ決められた数と一致しないと判定された場合、再度の前記認識撮影を行い、
    前記認識部は、再度の前記認識撮影により得られた認識用画像において人物の顔を認識する
    請求項1に記載の写真作成ゲーム機。
  3. 再度の前記認識撮影により得られた前記認識用画像において、前記認識部による認識に成功した顔の顔画像を、前記認識撮影以外の通常撮影により得られた撮影画像に写る顔と照合するための画像として登録する登録部をさらに備える
    請求項1または2に記載の写真作成ゲーム機。
  4. 前記登録部により登録された前記顔画像と、前記撮影画像に写る顔とを照合することで、前記撮影画像における前記利用者の顔を認証する認証部と、
    前記認証部による認証に成功した前記利用者の顔毎の顔パーツに、所定の画像処理を施す画像処理部とをさらに備える
    請求項3に記載の写真作成ゲーム機。
  5. 前記認識部は、前記通常撮影により得られた前記撮影画像において人物の顔を認識し、
    前記撮影制御部は、前記認識部による認識に失敗した顔が写る前記撮影画像に対応する前記通常撮影を再度行う
    請求項3または4に記載の写真作成ゲーム機。
  6. 前記撮影制御部は、前記認識撮影として、前記利用者の上半身を被写体としたアップ撮影を行う
    請求項1乃至5のいずれかに記載の写真作成ゲーム機。
  7. 前記判定部は、前記認識部による認識に成功した顔の数が、前記利用者によりあらかじめ選択されたコースによって決まる数と一致するか否かを判定する
    請求項1乃至6のいずれかに記載の写真作成ゲーム機。
  8. 前記認識部による認識に成功した複数の顔それぞれの顔画像、および、生成された前記合成顔画像を、1つの画面上に並べて表示する表示制御部をさらに備える
    請求項1乃至7のいずれかに記載の写真作成ゲーム機。
  9. 前記認識部による認識に成功した複数の顔それぞれの顔画像、および、生成された前記合成顔画像が並んで表示される1枚の画像をサーバに送信する送信制御部をさらに備える
    請求項に記載の写真作成ゲーム機。
  10. 利用者を被写体とした静止画像を取得する複数回の撮影を行い、そのうちの少なくとも1回の撮影を、人物の顔を認識するための認識撮影として行い、
    前記認識撮影により得られた認識用画像において人物の顔を認識し、
    認識に成功した顔の数が、あらかじめ決められた数と一致するか否かを判定し、
    判定結果に応じて、再度の前記認識撮影を行い、
    認識に成功した複数の顔それぞれの顔パーツを用いて、1つの合成顔画像を生成する
    ステップを含む撮影方法。
JP2016158682A 2016-08-12 2016-08-12 写真作成ゲーム機および撮影方法 Active JP6864212B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016158682A JP6864212B2 (ja) 2016-08-12 2016-08-12 写真作成ゲーム機および撮影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016158682A JP6864212B2 (ja) 2016-08-12 2016-08-12 写真作成ゲーム機および撮影方法

Publications (2)

Publication Number Publication Date
JP2018026750A JP2018026750A (ja) 2018-02-15
JP6864212B2 true JP6864212B2 (ja) 2021-04-28

Family

ID=61194361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016158682A Active JP6864212B2 (ja) 2016-08-12 2016-08-12 写真作成ゲーム機および撮影方法

Country Status (1)

Country Link
JP (1) JP6864212B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7417076B2 (ja) 2020-02-21 2024-01-18 フリュー株式会社 情報処理方法、撮影装置、および画像管理装置
JP2022026860A (ja) 2020-07-31 2022-02-10 キヤノン株式会社 プログラム、情報処理装置の制御方法、および情報処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5115528B2 (ja) * 2009-09-16 2013-01-09 フリュー株式会社 写真シール作成装置、写真シール作成方法、およびプログラム
JP6136769B2 (ja) * 2013-08-29 2017-05-31 フリュー株式会社 画像処理装置、画像処理方法、およびプログラム
JP5825542B1 (ja) * 2015-06-29 2015-12-02 フリュー株式会社 写真シール作成装置および表示方法
JP5967275B2 (ja) * 2015-08-26 2016-08-10 辰巳電子工業株式会社 写真撮影遊戯機とその制御方法及び制御コンピュータ

Also Published As

Publication number Publication date
JP2018026750A (ja) 2018-02-15

Similar Documents

Publication Publication Date Title
JP5664755B1 (ja) 写真シール作成装置および方法、並びにプログラム
JP5201430B1 (ja) 写真シール作成装置および方法、並びにプログラム
JP5472365B2 (ja) 写真シール作成装置、画像処理方法、並びにプログラム
JP6810336B2 (ja) 写真作成ゲーム機および表示方法
JP6864212B2 (ja) 写真作成ゲーム機および撮影方法
JP6880394B2 (ja) 写真作成ゲーム機および撮影方法
JP2015210397A (ja) 写真シール作成装置
JP6418444B2 (ja) 写真シール作成装置および画像提供方法
JP5673883B1 (ja) 写真シール作成装置および写真シール作成方法
JP6521136B1 (ja) 写真作成ゲーム機、制御方法、およびプログラム
JP5904192B2 (ja) 写真シール作成装置、画像処理方法、並びにプログラム
JP2017017409A (ja) 画像撮影装置および画像撮影方法
JP5888453B1 (ja) 写真シール作成装置および写真シール作成方法
JP5790812B2 (ja) 写真シール作成装置および写真シール作成方法
JP7074994B2 (ja) 写真作成ゲーム機および画像処理方法
JP6687839B2 (ja) 写真作成ゲーム機および表示方法
JP7132492B2 (ja) 画像処理装置、表示制御方法、およびプログラム
JP2016213780A (ja) 写真シール作成装置および画像表示方法
JP5970013B2 (ja) 写真シール作成装置および写真シール作成方法
JP2020187250A (ja) 写真作成ゲーム機、ゲーム提供方法、およびプログラム
JP6785428B2 (ja) 写真シール作成装置および写真シール作成方法
JP6691292B2 (ja) 写真シール作成装置および撮影方法
JP6933799B2 (ja) 写真作成ゲーム機および撮影方法
JP7319535B2 (ja) 写真作成ゲーム機、制御方法、およびプログラム
JP5533778B2 (ja) 画像編集装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210127

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210127

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210204

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210315

R150 Certificate of patent or registration of utility model

Ref document number: 6864212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250