JP6191318B2 - 遊戯用撮影装置、画像処理方法、及びコンピュータプログラム - Google Patents

遊戯用撮影装置、画像処理方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP6191318B2
JP6191318B2 JP2013161567A JP2013161567A JP6191318B2 JP 6191318 B2 JP6191318 B2 JP 6191318B2 JP 2013161567 A JP2013161567 A JP 2013161567A JP 2013161567 A JP2013161567 A JP 2013161567A JP 6191318 B2 JP6191318 B2 JP 6191318B2
Authority
JP
Japan
Prior art keywords
image
user
face
editing
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013161567A
Other languages
English (en)
Other versions
JP2015031833A5 (ja
JP2015031833A (ja
Inventor
辰巳 聡
聡 辰巳
長谷川 光寛
光寛 長谷川
Original Assignee
辰巳電子工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 辰巳電子工業株式会社 filed Critical 辰巳電子工業株式会社
Priority to JP2013161567A priority Critical patent/JP6191318B2/ja
Publication of JP2015031833A publication Critical patent/JP2015031833A/ja
Publication of JP2015031833A5 publication Critical patent/JP2015031833A5/ja
Application granted granted Critical
Publication of JP6191318B2 publication Critical patent/JP6191318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Studio Devices (AREA)

Description

本発明は、例えばゲームセンター等に設置されて、遊戯的な写真撮影サービスを利用者に提供する遊戯用撮影装置に関する。また、本発明は、画像処理方法と、当該画像処理をコンピュータに実行させるためのコンピュータプログラムに関する。
利用者を含む被写体をカメラで撮影し、その撮影画像を写真シールや写真カードとして出力する遊戯用撮影装置が既に知られている。
かかる遊戯用撮影装置は、遊戯性または娯楽性が高いことから、撮影画像と合成する画像を、利用者の嗜好に応じて、予め用意された多種多様な背景画像および前景画像から選択したり、タッチペンを用いて自由に描いたりできるように構成されている。利用者によるこのような画像編集の作業は、撮影画像に対する「落書き」などと呼ばれる。
一方、落書き対象となる撮影画像に対して、落書きが行われる前に(または落書き中に)予め定められた態様の補正処理を施す技術が提案されている。
例えば、特許文献1には、目の部分を縦方向に拡大する「目強調処理」を原則的としてすべての撮影画像に施す技術が開示されている。また、特許文献2には、利用者の指示に基づくことなく、自動的に撮影画像における利用者の顔の輪郭を小さくする「小顔処理」を施す技術が開示されている。
特開2010−220211号公報 特開2010−50501号公報
特許文献1の目強調処理や特許文献2の小顔処理(以下、これらに代表される撮影画像に施す補正処理を、単に「補正処理」ともいう。)は、遊戯用撮影装置のヘビーユーザである若い女性をターゲットとして開発されたものであるが、これら補正処理を所望しない利用者(例えば、カップルで来場した場合の男性)も想定し得る。
従って、上記のような補正処理をすべての撮影画像に対して一律に行うと、一部の利用者にとっては嗜好に合わない撮影画像しか得られない可能性がある。
そこで、特許文献1では、撮影画像に含まれる目の部分ごとに解除ボタンを表示し、この解除ボタンへの操作が行われた目の部分については、目強調処理を解除する方法が開示されている(特許文献1の段落0217〜0222)。
しかし、この解除方法では、目強調処理を所望する利用者(例えば、女性)と所望しない利用者(例えば、男性)が一緒にプレイする場合には、複数の撮影画像に含まれる男性の目の部分を選択して逐一解除操作を行わねばならず、操作が非常に煩雑となる。
発明は、撮影画像に含まれる利用者ごとの画像部分の補正処理を、簡単かつ確実に行うことができる遊戯用撮影装置等を提供することを目的とする。
発明の遊戯用撮影装置は、利用者を含む被写体を撮影して撮影画像を得る撮影部と、前記撮影部によって得られた撮影画像を編集対象画像として表示する表示部と、利用者の操作入力に基づいて、前記編集対象画像を編集する編集部と、前記操作入力に対応する所定の制御を行う制御部と、を備え前記表示部は、前記編集対象画像における、補正処理の対象とする顔を所定の顔画像を用いて特定させるとともに前記補正処理の程度を選択させる補正選択画面を、前記編集対象画像とは別の位置に表示し、前記制御部は、選択中の前記補正処理の程度を、前記編集対象画像における、特定された前記補正処理の対象とする顔の部分に反映させ、前記補正処理の程度の選択が決定されるまで、選択中の前記補正処理の程度が変更されるたびに、前記編集対象画像における前記特定された顔の部分への前記補正処理の変更を反映する
本発明の遊戯用撮影装置によれば、表示部は、編集対象画像における、補正処理の対象とする顔を所定の顔画像を用いて特定させるとともに補正処理の程度を選択させる補正選択画面を、編集対象画像とは別の位置に表示する。その際に、制御部は、選択中の補正処理の程度を、編集対象画像における、特定された補正処理の対象とする顔の部分に反映させ、補正処理の程度の選択が決定されるまで、選択中の補正処理の程度が変更されるたびに、編集対象画像における前記特定された顔の部分への補正処理の変更を反映する。そのため、利用者は、撮影画像の中から補正処理の対象とする顔を正確に、かつ容易に指定することができる。また、利用者は、編集対象画像で補正の程度を確認しながら、指定した顔に対して施す補正処理の程度を選択することができ、指定した顔に対して容易に満足できる補正処理を施すことができる。また、複数の利用者が撮影画像に含まれる場合に、ユーザごとに補正処理の対象とする顔を指定し、補正処理の程度を選択することによって、ユーザごとに指定した顔に所望する補正処理を施すことができる。
発明の画像処理方法は、上記の遊戯用撮影装置において行われる画像処理の方法に関する。従って、本発明の画像処理方法は、上記の遊戯用撮影装置と同様の作用効果を奏する。
発明のコンピュータプログラムは、上記画像処理をコンピュータに実行させためのプログラムに関する。従って、本発明のコンピュータプログラムは、上記の遊戯用撮影装置と同様の作用効果を奏する。
以上の通り、本発明によれば、撮影画像に含まれる利用者ごとの画像部分の補正処理を、簡単かつ確実に行うことができる。
本発明の実施形態に係る遊戯用撮影装置を左前側から見た斜視図である。 図1の遊戯用撮影装置を上から見た平面図である。 撮影筐体の斜視図である。 編集筐体の斜視図である。 出力筐体の正面図である。 遊戯用撮影装置の内部の機能的構成を示すブロック図である。 撮影処理の処理手順の例を示すフローチャートである。 第1実施形態に係る補正処理のためのGUI画面(特定画面)の例を示す模式図である。 第1実施形態に係る補正処理のためのGUI画面(特定画面)の例を示す模式図である。 第1実施形態に係る補正処理のためのGUI画面(選択画面)の例を示す模式図である。 第2実施形態に係る補正処理のためのGUI画面(特定画面)の例を示す模式図である。 第3実施形態に係る補正処理のためのGUI画面(特定画面)の例を示す模式図である。 第4実施形態に係る補正処理のためのGUI画面(特定画面)の例を示す模式図である。 第4実施形態に係る補正処理のためのGUI画面(特定画面)の例を示す模式図である。 第4実施形態に係る補正処理のためのGUI画面(選択画面)の例を示す模式図である。
以下、本発明の実施形態に係る遊戯用撮影を、図面を参照しつつ説明する。
本実施形態の遊戯用撮影装置は、写真撮影により生成された画像データに対して落書き編集を行った後、シール紙として印刷したり、画像データとして外部装置(携帯端末や画像蓄積サーバ等)に出力したりするものである。まず、この遊戯用撮影装置の全体構造について説明する。
<全体構造>
図1は、本発明の実施形態に係る遊戯用撮影装置を左前側から見た斜視図である。
図2は、図1の遊戯用撮影装置を上から見た平面図である。なお、以下では、図1に示す前後左右の方向を基準として、装置構造の説明を行う。
図1及び図2に示すように、遊戯用撮影装置は、前部側の撮影部1と、後部側の編集部2とを備えており、前後方向に長いほぼ直方体状を呈している。編集部2の後端には、編集後の写真の出力などを行う出力部3が設けられている。
撮影部1は、利用者(ユーザ)を撮影するカメラが内蔵された撮影筐体11と、この撮影筐体11の後方に撮影空間10を介して配置された背景壁部12とを有する。撮影筐体11の側面と、背景壁部12の側面との間の隙間は、撮影空間10への出入口である第1出入口101a,101bを構成している。
編集部2は、背景壁部12の後方に隣接して配置された編集筐体21を有しており、この編集筐体21には、左側及び右側のそれぞれに向いた一対の操作面が設けられている。
各操作面への入力作業を行う編集空間20a,20bへは、第2出入口201a,201bを介して入ることができる。
出力部3は、編集筐体21の後端面と接する出力筐体31を有しており、この出力筐体31に対しては、遊戯撮影装置の後端側から操作を行うように、操作面が後側を向いている。従って、出力筐体31の後端側の空間は、出力操作を行う出力空間30となる。
撮影筐体11と背景壁部12の上端部の側面は、前後方向に延びる天井フレーム13によって互いに連結されている。この天井フレーム13の枠内部には、撮影空間10を上から覆い、照明とフラッシュ照射が可能な天井照明ユニット14が設けられている。
撮影筐体11の左側面(或いは右側面)には、遊戯用撮影装置の使用方法を含む説明書きを掲示するための掲示スペース15が設けられている。また、その左側面の上部には、撮影筐体11が使用中であるか否かを示す表示部16が設けられている。
表示部16は、編集筐体21の制御ボックス211(図4参照)の内部に設けられた制御装置(図示せず)によって発光又は消灯される表示灯よりなる。表示部16は、その発光によって撮影部1が使用中であることをユーザに示し、消灯によって撮影部1が空きになったことをユーザに示すためのものである。
本実施形態では、表示部16が左右方向外側に突出した平面視三角形状に形成されているが、その形状は特には限定されず、凸湾曲状などのその他の形状であってもよい。
背景壁部12は、撮影筐体11とほぼ同じ幅及び高さの板状部材によって形成され、撮影筐体11の正面と対面する本体プレート121と、この本体プレート121の左右両端から前方に延設された一対のサイドプレート122とを有している。
背景壁部12は、本体プレート121の左右両端縁にサイドプレート122を接合することにより、全体として平面視コ字状に形成されている。
本体プレート121における撮影筐体11に対面する内面には、クロマキー処理のための単一色(例えば、青色または緑色)の着色が施されている。この着色は、本体プレート121に直接ペンキなどを塗るか、着色された布地やプレート等を取る付けることによって行われている。
そして、撮影筐体11の後端縁と、天井フレーム13の下端縁と、サイドプレート122の前端縁とから、撮影空間10に出入りするための上述の第1出入口101a,101bが構成されている。
編集筐体21は、左右両側から2組のユーザが同時に編集可能な対面方式を採用している。従って、編集筐体21は、左右それぞれに操作面を有するとともに、左右方向の長さが背景壁部12の同方向幅よりも小さい筐体よりなる。
編集筐体21の前端面は、背景壁部12の背面の中央部に接続されており、この背景壁部12の後方でかつ編集筐体21の左右両側方のスペースが、2組のユーザがそれぞれ編集作業を行う編集空間20a,20bとなっている。
編集筐体21の上方には、平面視においてほぼコの字状のカーテンフレーム22が設けられている。
このカーテンフレーム22は、前後方向に延びる一対の側部フレーム221と、この側部フレーム221の後端同士を連結する左右方向に延びる後部フレーム222とから構成されている。
各側部フレーム221の前端は、天井フレーム13の後端に前後方向に延長状に連結されており、後部フレーム222の中央部は、編集筐体21の後上端部に設けられた支持部材23によって支持されている。
そして、左右一方側の側部フレーム221と、後部フレーム222のほぼ半分の長さ部分により、編集空間20a,20bに出入りするための前記第2出入口201a,201bの上枠部が構成されている。
<撮影筐体>
図3は、撮影筐体11の斜視図である。
図3に示すように、撮影筐体11は、室内側の正面パネル部が凹湾曲状に形成されている。撮影筐体11の内部には、顔を中心とした上半身の写真(以下、「フェイスアップ画像」という。)を撮影するための上部カメラ111と、全身の写真(以下、「全身画像」という。)を撮影するための下部カメラ112が搭載されている。
上部カメラ111の下方には、撮影条件などの入力操作が可能なタッチパネル式の液晶モニタよりなる上部モニタ113が設けられている。この上部モニタ113には、上部カメラ111で撮影された画像が表示される。
また、下部カメラ112の下方には、このカメラ112で撮影された画像が表示される下部モニタ114が設けられている。この下部モニタ114にはタッチパネルは設けられておらず、もっぱら表示のみを行うようになっている。
撮影筐体11の室内側面には、撮影空間10を前方から照明するとともに、フラッシュ照射する正面照明ユニット115が設けられている。
正面照明ユニット115は、4つの部位、つまり中央上側のユニット部分115Aと、中央下側のユニット部分115Bと、左側のユニット部分115Cと、右側のユニット部分115Dとから構成されている。また、撮影筐体11の右下部には、コイン投入口とコイン返却口を有するキャッシュボックス116が設けられている。
<編集筐体>
図4は、編集筐体21の斜視図である。
同4に示すように、編集筐体21は、下部側の制御ボックス211と、この制御ボックス211の上に設けられた編集台部212とを有する。
制御ボックス211の内部には、メインコンピュータユニットやI/Oコントローラなどの各種の制御装置が内蔵されている。これらの制御装置は、本実施形態の遊戯用撮影装置全体の動作を制御する制御部4として機能する。
編集台部212は、頂上の稜線が前後方向を向く山形の傾斜面を有しており、この各傾斜面に、2組のユーザがそれぞれ編集作業を行うための操作面が設置されている。
具体的には、各操作面にはタブレットを内蔵した液晶モニタで構成された編集用モニタ213が設けられており、各編集用モニタ213の左右両側には、2本のタッチペン214A,214Bが接続されている。
このタッチペン214A,213Bのペン先を編集用モニタ213の画面に接触させることにより、画面表示されたアイコンを選択する選択入力や、文字や描画の落書きを行う場合の手書き入力を行うことができる。
なお、図4では、左側の編集用モニタ213を示しているが、右側の編集用モニタ213も左側と同じ構造である。また、制御ボックス211の制御装置は、左右両側の編集用モニタ213への入力情報に対応する処理を個別に並列処理できるようになっている。
<出力筐体>
図5は、出力筐体31の正面図である。
同5に示すように、出力筐体31は、編集筐体21の後端部に接する矩形状の筐体よりなり、後端側を向く面に操作面が設けられている。
操作面の上部中央には、タッチパネル式の液晶モニタ311が設けられており、このモニタ311に、出力の説明などが表示される。
液晶モニタ311の下方には、非接触通信部312が設けられている。この通信部312は、非接触型ICと通信を行うことにより、非接触型ICからのデータの読み出しや非接触型ICに対するデータの書き込みを行う。
上記の非接触型の通信手段としては、例えば、FeliCa(登録商標)などを利用することができる。
非接触通信部312の下には、シール紙排出口313が設けられている。シール紙排出口313には、編集部における編集処理によって作成した編集画像が印刷されたシール紙が排出される。
このため、出力筐体31にはプリンタが内蔵されており、シール紙の印刷がそのプリンタにより行われる。また、シール紙排出口313の下にはスピーカ314が設けられており、出力処理における案内音声、BGM、効果音等の音を出力する。なお、本実施形態では、出力筐体31を編集筐体21と別体としているが、これらを一体的な筐体で構成することもできる。
<遊戯用撮影装置の機能的構成>
図6は、遊戯用撮影装置の内部の機能的構成を示すブロック図である。
図6に示すように、遊戯用撮影装置は、バスXを介して、通信可能に接続された制御部4、記憶部5、撮影部1、編集部2及び出力部3を備えている。
制御部4は、公知のCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されている。
制御部4は、記憶部5に記憶されたコンピュータプログラムを読み出して実行し、遊戯用撮影装置の全体の動作を制御する。
例えば、撮影画像に対する補正処理や編集処理などの画像処理を行う場合には、制御部4がその画像処理部として機能する。バスXには、通信部6や外部ドライブ7も接続されている。制御部4、記憶部5、通信部6及び外部ドライブ7は、公知のコンピュータ装置により構成でき、かかるコンピュータは、上述した編集筐体21の制御ボックス211に内蔵されている。
記憶部5は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体よりなる。記憶部5は、制御部4から送信された各種の設定情報を記憶する。
記憶部5に記憶された情報は、制御部4により適宜読み出される。この記憶部5には、画像の編集のために用いられる各種の画像データや、撮影画像の背景となる背景画像データなどのデータなどが記憶されている。
制御部4のROMには、制御部4において実行されるコンピュータプログラムや、このプログラムを動作させるためのデータが記憶されており、RAMには、制御部4において処理するデータやコンピュータプログラムが一時的に記憶される。以下では、RAMとROMを纏めてメモリということがある。
通信部6は、インターネット等の公衆回線と接続するための通信インタフェースよりなり、制御部4による通信制御に従って外部の装置と通信を行う。
外部ドライブ7では、光ディスクや半導体メモリなどのリムーバブルメディアに対する読み書きが行われる。例えば、外部ドライブ7によりリムーバブルメディアから読み出されたコンピュータプログラムやデータは、制御部4に送信され、記憶部5に記憶されたり、制御プログラムとしてインストールされたりする。
撮影部1は、撮影空間10における撮影処理に必要な機能部として、コイン処理部17、照明制御部18、上部カメラ111、下部カメラ112、上部モニタ113、下部モニタ114及びスピーカ19を備えている。
上部カメラ111及び下部カメラ112は、制御部4による制御に従って所定の撮影を行い、この撮影によって得られた画像を制御部4に出力する。
上述の通り、上部カメラ111は、フェイスアップ画像を撮影するためものであり、下部カメラ112は、全身画像を撮影するためのものである。このため、カメラ111,112はそれぞれ、フェイスアップ画像および全身画像を得るために理想的な画角やトリミング範囲などの設定が予め行われている。
各カメラ111,112は、リアルタイムに画像を取り込んで当該画像データを表す画像信号を出力する。
カメラ111,112から出力された画像信号は制御部4に入力され、その内部のメモリに一時的に記憶されるとともに、上部モニタ113及び下部モニタ114にそれぞれ送信され、当該画像信号に基づくライブ映像が表示される。
すなわち、上部カメラ11によるライブ映像は、上部モニタ113に表示され、下部カメラ112によるライブ映像は、下部モニタ114に表示される。
なお、静止画像として保存される撮影画像データ(以下、単に「撮影画像」ということがある。)は、より解像度が高い静止画データであり、ライブ映像表示を行うための撮影画像データ(「スルー画像データ」ともいう。)は、より解像度が低い動画データであることが多いが、スルー画像データを高解像度の動画データとしてもよい。
制御部4は、これらの画像データを画像処理する画像処理部としても機能し、上部モニタ113に表示する撮影画像の抽出や、撮影画像の補正処理などを行うことができる。
上部モニタ113は、公知のタッチパネルよりなり、表示機器として、上部カメラ111によって撮影中のライブ映像を表示する。
上部モニタ113は、上部カメラ111で撮影された撮影画像が表示するとともに、GUI(Graphical User Interface)画面を表示可能である。すなわち、上部モニタ113は、GUI画面に対する入力機器としても機能し、撮影画像を選択する操作入力や、撮影画像に対する補正処理に関する操作入力などを受け付ける。これらの操作入力を示す信号は、操作信号として制御部4に入力される。
一方、下部モニタ114は、下部カメラ112によって撮影中のライブ映像を表示するものであり、上部モニタ113と概ね同じ構成である。ただし、上述の通り、タッチパネルとしての機能は有しておらず、もっぱら画像を表示することに用いられる。
コイン処理部17は、コイン投入口に対するコインの投入を検出する。コイン処理部17は、プレイに要する金額分(プレイ料金分)のコインが投入されたことを検出した場合には、起動信号を制御部4に出力する。
なお、コイン処理部17は、電子マネーやクレジットカードによるプレイ料金の支払を受け付けた場合に、起動信号を制御部4に出力するものであってもよい。
照明制御部18は、制御部4より供給される照明制御信号に従って、撮影空間10内の正面照明ユニット115から照射されるフラッシュを制御する。
また、照明制御部18は、天井照明ユニット14及び正面照明ユニット115の内部に設けられる電灯(蛍光灯など)を制御することで、ユーザによる撮影処理の段階に応じて撮影空間10内の明るさを調整する。スピーカ19は、ユーザによる撮影処理の段階応じた音声を出力する。
編集部2a,2bは、ユーザが編集空間20a,20bそれぞれで編集処理を行うためのものである。編集部2aおよび編集部2の機能的構成は同じであるので、以下では編集部2aの機能的構成のみを説明し、編集部2bの機能的構成の説明を省略する。
編集部2aは、撮影画像の落書きなどの編集のための各種のGUI画面(以下、「編集画面」ともいう。)を表示する編集用モニタ213と、編集画面に対する入力部である2本のタッチペン214A,214Bと、スピーカ215とを備えている。
編集用モニタ213は、制御部4による制御に従って編集画面を表示し、編集画面に対するユーザの編集入力などを検出する。
すなわち、ユーザが編集用モニタ213にタッチペン214A,214Bのペン先をタッチすると、その操作入力やタッチペン214A,214Bのいずれでタッチされたのかが検出され、操作信号として制御部4に送信される。これにより、編集対象である撮影画像の編集が行われる。
具体的には、ユーザは、編集用モニタ213に表示された撮影画像に対して、例えば、文字、模様、図形などのいわゆる落書きを、タッチペン214A,214Bなどの入力デバイスを用いて入力することができる。
これにより、撮影画像に、落書きなどによるデータが重ね合わされた編集画像の画像データが生成される。このようにして生成された編集画像の画像データは、出力部3へ送信される。
出力部3は、出力空間30における出力処理を行う構成であるタッチパネル式の液晶モニタ311と、非接触通信部312と、スピーカ314とを備えている。また、出力部3は、印刷を行うためのプリンタ34やシール紙ユニット35も備えている。
プリンタ34は、撮影画像、または編集処理によって得られた編集済みの画像を、プリンタ34に装着されたシール紙ユニット35に収納されているシール紙に印刷し、シール紙排出口313に排出する。
非接触通信部312は、携帯端末との間のデータの受送信を行うものである。なお、編集部2で作成された画像データは、通信部6によってネットワークを通じて外部の画像蓄積サーバに送信される。
<遊戯用撮影装置におけるプレイの流れ>
上述したように、撮影部1ではユーザを含む被写体の撮影処理が行われ、編集部2では撮影画像に対する編集処理が行われ、出力部3では編集画像の出力処理が行われる。
これらの処理は、記憶部5またはドライブ7に記憶されたコンピュータプログラム、或いはインストールされたコンピュータプログラムを制御部4が実行することによって行われる。以下、図2を参照しつつ、遊戯用撮影装置におけるプレイの流れを説明する。
図2に示すように、ユーザは、矢印Xで示すように、第1出入口101a,101bから撮影空間10に入り、撮影部1に設けられたカメラ111,112やモニタ113,114など利用して撮影処理を行う。
そして、撮影処理を終えたユーザは、矢印Yで示すように、第1出入口101a,101bを通って撮影空間10から装置外部にいったん出たあと、いずれかの編集空間20a,20bに移動する。
このとき、撮影筐体11の上部モニタ113およびスピーカ19によって、編集空間20a,20bへの移動を促す表示や通知がなされる。例えば、いずれの編集空間20a,20bもユーザが利用していないときは、いずれか一方の編集空間20a,20bへの移動を促す表示などを行う。
また、いずれか一方の編集空間20a,20bにユーザが存在する場合には、空いている編集空間への移動を促す表示を行う。いずれの編集空間20a,20bもユーザによって利用されている場合には、編集空間20a,20bへの移動を待たせる表示を行う。
編集空間20a,20bに移動したユーザは、編集処理を開始する。各編集空間20a,20bのユーザは、同時に編集処理を行うことができる。
編集処理が終了すると、撮影画像や編集済みの撮影画像の中から選択された画像の印刷が開始される。そして、編集筐体21の編集用モニタ213には出力空間30への移動を促す表示がなされるとともに、スピーカ215によって出力空間30への移動を促す音声が通知される。
これに従って、編集処理を終えたユーザは、いずれかの編集空間20a,20bから、矢印Cで示すように出力空間30に移動して出力処理を行う。
なお、出力空間30において他のユーザが出力処理をしている場合には、編集用モニタ213およびスピーカ215によって、出力空間30への移動を待たせる表示や通知がなされる。
出力空間30では、ユーザに画像の印刷を待たせている間、本プレイによって生成した画像をユーザの携帯端末で取得できるようにするための操作(例えば、メールアドレスの入力)をモニタ311に対して行わせる。
画像の印刷が終了したとき、ユーザは、出力筐体31に設けられたシール紙排出口313からシール紙を受け取り、一連のプレイを終えることになる。以上のようなユーザの移動を促す表示は、制御部4により行われる。
<撮影処理の詳細>
図7は、撮影部1における撮影処理の処理手順を示すフローチャートである。
遊戯用撮影装置が使用されていない時(プレイが行われていない時)には、上部モニタ113にはデモ画像が表示されている。このデモ画像の表示中に、ユーザがコイン投入口に所定金額のコインを投入すると、プレイが開始される(ステップS100)。
プレイが開始されると、制御部4は、まず、画質選択用の案内画面を上部モニタ113に表示する(ステップS110)。
この案内画面には、シャープネスや色合いが異なる複数のサンプル画像が表示される。例えば、複数のサンプル画像の例としては、より素肌に近い色が反映された自然調のサンプル画像と、美白を強調する色が反映された美白調のサンプル画像などがあり、これらの異なる画質のサンプル画像は、上部モニタ113に同時に表示される。
ユーザは、好みのサンプル画像をタッチすることで、画質の選択を行う。このとき、所定の制限時間内にサンプル画像の選択が行われない場合には、制御部4が自動的に撮影の画質を選択する。
或いは、一方のサンプル画像が、オススメ画像であることを予め表示しておき、サンプル画像の選択が所定の制限時間内に行われなかった場合には、制御部4が自動的にオススメ画像を選択するようにしてもよい。
ユーザによる画質選択の受け付けが完了すると、制御部4は、フェイスアップ画像と全身画像の2種類の撮影画像の撮影枚数を、ユーザが指定する枚数分だけ順番に行う(ステップS120,S130)。
すなわち、制御部4は、画質選択の受付の完了後に、フェイスアップ画像と全身画像の撮影枚数を入力するための案内画面を上部モニタ113に表示し、ユーザが入力した枚数分だけ、それぞれの画像の撮影を行う。
撮影画像の枚数には上限値(例えば6枚)が設定されている。従って、ユーザは、フェイスアップ画像と全身画像の撮影枚数が上限値の範囲内となるように、各画像の撮影枚数を設定する。
例えば、撮影枚数の上限値が「6」の場合には、フェイスアップ画像の撮影枚数を「4」に設定すると、全身画像の撮影枚数は「2」となる。もっとも、いずれか一方の画像の撮影枚数を上限値(=6)とし、他方の画像の撮影枚数をゼロに設定することもできる。
制御部4は、撮影されたフェイスアップ画像や全身画像に、その撮影前にユーザが選択した画質に基づく補正処理を行い、画質補正済みの撮影画像を生成する。この画質補正済みの撮影画像は、制御部4のメモリにいったん格納される。
フェイスアップ画像を撮影する場合、ユーザは、上部モニタ113に表示された撮影フレームにリアルタイム表示されるスルー画像を見ながら撮影を行う。この撮影フレームに表示されるスルー画像は、上部カメラ111により撮影されたものである。
また、上部カメラ11の撮影フレームに表示される画像は、上部カメラ111で撮像されたユーザと予め決められた前景画像や背景画像などが、クロマキー合成により合成された画像である。撮影は、所定時間ごとにシャッターが切られることで行われる。
全身画像を撮影する場合、ユーザは、下部モニタ114に表示された撮影フレームにリアルタイムに表示されるスルー画像を見ながら撮影を行う。この撮影フレームに表示されるスルー画像は、下部カメラ112により撮影されたものである。
また、下部カメラ112の撮影フレームに表示される画像も、下部カメラ112で撮像されたユーザと予め決められた前景画像や背景画像などが、クロマキー合成により合成された画像である。撮影は所定時間ごとにシャッターが切られることで行われる。
上記2種類の撮影(ただし、いずれか一方の撮影枚数を上限値に設定した場合には、その一方の画像タイプの撮影のみ)が完了すると、制御部4は、画質補正済みの撮影画像に対して、更に、撮影画像に対する部分的な補正処理を実行する(ステップS140)。
本実施形態では、上記の部分的な補正処理として、例えば、撮影画像の画像データの顔部分に対する「目強調処理」と「小顔処理」とが行われるが、これらの処理を含む部分的な補正処理の詳細については後述する。
なお、本実施形態の部分的な補正処理には、上記の「目強調処理」と「小顔処理」が含まれるので、本実施形態の制御部4は、撮影画像を構成する静止画データの中で、どのデータ部分が人物の目や顔の輪郭に相当するかを認識する画像認識処理が可能である。この画像認識処理により、制御部4は、撮影画像に含まれる顔を検出することができる。
また、本実施形態では、制御部4は、1つの撮影画像に含まれる目や顔の数をカウントすること等により、1つの撮影画像に含まれるユーザの人数を検出する機能を有するものとする。
部分的な補正処理が完了すると、制御部4は、上部モニタ113に、編集部2のいずれか一方の編集空間20a,20bへの移動を促す表示を行うとともに、スピーカ19によって、編集空間20a,20bへの移動を促す通知を行う。
また、制御部4は、補正処理が完了した後の撮影画像の画像データを、編集部2における落書きなどの編集対象としていったんメモリに記憶するとともに、その画像データを編集部2に送信する。
<第1実施形態に係る補正処理>
図8〜図10は、第1実施形態に係る補正処理のためのGUI画面を示している。
このうち、図8及び図9のGUI画面は、撮影画像の中のどの画像部分がどのユーザであるかをユーザが特定するための「特定画面」であり、図10のGUI画面は、撮影画像に施す補正処理の程度を選択するための「選択画面」である。これらのGUI画面は、いずれも上部モニタ113に表示される。
図7の撮影処理において、画質補正済みの撮影画像の部分的な補正処理(ステップS140)に移行すると、制御部4は、ユーザによる操作入力の進行状況に応じて、図8(a)〜図9(c)に示す特定画面G1〜G3を上部モニタ113に順番に表示する。
このうち、図8(a)と図8(b)の特定画面G1は、1人目のユーザの特定を行うためのGUI画面であり、図9(a)の特定画面G2は、2人目のユーザの特定を行うためのGUI画面であり、図9(c)の特定画面G3は、3人目のユーザの特定を行うためのGUI画面である。
図8及び図9に示すように、特定画面G1〜G3には、画面の上側から順に、当該画面についての順番表示部401と、複数の撮影画像P1〜P6を並べて表示する画像表示領域402と、次の順番への移行ボタン403と、終了ボタン404とが含まれる。
このうち、順番表示部401は、特定画面G1〜G3が何人目のユーザの顔画像を特定するための画面であるかを表示する部分である。
画像表示領域402は、メモリに記憶された画質補正済みの撮影画像P1〜P6を並べて表示する領域である。この実施形態では、フェイスアップ画像が6枚撮影されたと仮定し、フェイスアップ画像よりなる6枚の撮影画像P1〜P6が並べて表示されている。
また、ここでは、3人のユーザA〜Cが一緒にプレイしており、そのユーザA〜Cのうちの任意の2人が、図示の組み合わせで各々の撮影画像P1〜P6に含まれているものと仮定する。
具体的には、撮影画像P1では、ユーザAが左側でかつユーザBが右側に位置し、撮影画像P2では、ユーザBが左側でかつユーザAが右側に位置している。
また、撮影画像P3では、ユーザCが左側でかつユーザAが右側に位置し、撮影画像P4では、ユーザBが左側でかつユーザCが右側に位置している。
更に、撮影画像P5では、ユーザAが左側でかつユーザBが右側に位置し、撮影画像P6では、ユーザAが左側でかつユーザCが右側に位置している。
各々の特定画面G1〜G3において、画像表示領域402に含まれる撮影画像P1〜P6に対しては、そこに含まれる顔部分を任意のユーザA〜Cがタッチすることにより、当該顔部分がどのユーザA〜Cに対応するかの操作入力を行うことができる。
例えば、図8(a)の特定画面G1に入力する1人目のユーザが、ユーザAであるとすると、ユーザAは、撮影画像P1〜P3,P5,P6に含まれる自身の顔部分を指で1回だけタッチする。
すると、図8(b)に示すように、制御部4は、ユーザAがタッチした顔部分にシャドーをかける。このシャドーは、その人物画像が既に選択済みであることをユーザA〜Cに通知するための表示方法の1つである。
なお、選択済みであること示すシャドーをかける画像部分は、顔部分をはみ出てもよいし、選択済みであることを示す表示方法は、シャドーをかける方法以外に、「選択済み」などの文字表示を顔画像に重ねて表示するなど、種々の方法を採用し得る。
制御部4は、特定画面G1において操作入力があった複数の顔部分については、同じグループ(例えば、「グループ1」とする。)であることを示す識別子を付与し、その識別子を、選択された顔部分に対応づけてメモリに記憶する。
従って、ユーザAが最初の特定画面G1をタッチすることによって選択された複数の顔部分には、それぞれ「グループ1」の識別子が付与される。
一方、ユーザAが間違って自分以外の顔部分をタッチすることもある。そこで、ユーザAは、例えば、選択された顔部分を2回連続してタッチし直したり、選択された顔部分を長押しでタッチしたりして、解除操作を行うことができる。制御部4は、この解除操作を検出すると、その顔画像について付与したグループ1の識別子を削除する。
なお、制御部4は、上記の解除操作を、最初の特定画面G1だけでなく2番目以後のすべての特定画面G2,G3についても実行可能である。
また、同じ撮影画像(例えば、P1とする。)に含まれる複数の顔画像のうち、最新にタッチ操作された顔画像を常に選択された顔画像として逐次更新して、上記のような個別の解除操作を省略することにしてもよい。この場合、同じ撮影画像P1について、ユーザAが一方の顔画像を先にタッチしたあと、別の顔画像を後からタッチすると、先の顔画像の選択が自動的に解除され、後の顔画像の選択が有効となる。
このように、顔画像に対する解除操作を省略することにすれば、例えば、同じ撮影画像P1に複数の顔画像が近接しているためにミスタッチの可能性が高い場合でも、ユーザAがミスタッチを即座に修正できるという利点がある。
図8(b)では、最初の特定画面G1において、ユーザAがすべての自分の顔画像を正確にタッチした場合を示している。
その後、次のユーザBが自分の顔画像の特定を行う場合には、ユーザA〜Cの誰かが次の順番への移行ボタン403をタッチする。このタッチを検出すると、制御部4は、上部モニタ113のGUI画面を、図9(c)に示す2番目の特定画面G2に移行させる。
図8(b)と図9(c)を対比すれば明らかな通り、特定画面G1から特定画面G2に移行する場合、制御部4は、順番表示部401と移行ボタン403の人数表示をそれぞれ1つインクリメントして表示する。
この人数表示のインクリメントは、特定画面G2(図9(c))から特定画面G3(図9(d))に移行させる場合など、所定の特定画面Gi(i=1,2……)を次の特定画面Gi+1に移行させる場合に常に行われる。
図9(c)の特定画面G2に入力する2人目のユーザが、ユーザBであるとすると、ユーザBは、撮影画像P1,P2,P4,P5に含まれる自身の顔部分を指で1回だけタッチする。
すると、制御部4は、特定画面G1の場合と同様に、ユーザBがタッチした顔部分にシャドーをかけて、その人物画像が選択済みであることを表示する。
また、制御部4は、特定画面G2において操作入力があった複数の顔部分については、同じグループ(例えば、「グループ2」とする。)であることを示す識別子を付与し、その識別子を、選択された顔部分に対応づけてメモリに記憶する。
従って、ユーザBが特定画面G2をタッチすることによって選択された複数の顔部分には、それぞれ「グループ2」の識別子が付与される。
その後、次のユーザCが自分の顔画像の特定を行う場合には、ユーザA〜Cの誰かが次の順番への移行ボタン403をタッチする。このタッチを検出すると、制御部4は、上部モニタ113のGUI画面を図9(d)に示す3番目の特定画面G3に移行させる。
図9(d)の特定画面G3に入力する3人目のユーザが、ユーザCであるとすると、ユーザCは、撮影画像P3,P4,P6に含まれる自身の顔部分を指で1回だけタッチすればよい。
すると、制御部4は、特定画面G1,G2の場合と同様に、ユーザCがタッチした顔部分にシャドーをかけて、その人物画像が選択済みであることを表示する。
また、制御部4は、特定画面G3において操作入力があった複数の顔部分については、同じグループ(例えば、「グループ3」とする。)であることを示す識別子を付与し、その識別子を、選択された顔部分に対応づけてメモリに記憶する。
なお、図9(d)に示すように、制御部4は、処理済みの特定画面G1,G2に対する操作入力(画面へのタッチ)により、撮影画像P1〜P6に含まれる人数分のユーザA,Bの特定が終了した撮影画像P1,P2,P5については、画像表示領域402に対する表示対象から外す。すなわち、残り撮影画像P3,P4,P5だけが画像表示領域402に表示される。
図8及び図9の図示例では、制御部4は、各撮影画像P1〜P6に含まれるユーザの人数がいずれも「2」であることを検出している。
このため、図9(c)の特定画面G2において、ユーザBが、撮影画像P1,P2,P5の自分の顔画像をタッチすることにより、撮影画像P1,P2,P5についての人物の特定数が検出数と一致すると、制御部4は、撮影画像P1,P2,P5を表示対象から外し、それ以外の撮影画像P3,P4,P6のみを画像表示領域402に表示する。
このため、図9(d)に示すように、3番目のユーザCは、当初の特定画面G1の場合よりも少ない3枚の撮影画像P3,P4,P6の中から、自身の顔画像がどこにあるかを探せばよいので、すべての撮影画像P1〜P6をそのまま画像表示領域402に残しておく場合に比べて、自身の顔画像の特定をより迅速に行えるようになる。
図9(d)の特定画面G3において、ユーザCが、撮影画像P3,P4,P6に含まれる自分の顔画像を正確にタッチすると、残りの撮影画像P3,P4,P6についても、人物の特定数が検出数と一致し、画像表示領域402への表示対象がゼロになる。
そして、制御部4は、次のいずれかの条件1又は2が成立した場合に、特定画面Gi(i=1,2,……)を図10に示す選択画面Sに移行させる。
条件1:任意の特定画面Giにおいて、終了ボタン404の操作入力があった場合。
条件2:任意の特定画面Giにおいて、画像表示領域402の表示対象がゼロの場合。
なお、条件1の場合には、終了ボタン404の操作入力までにグルーピングが完了した顔画像についてのみ、選択画面Sを用いた補正処理が可能となる。また、条件2は、すべてのユーザA〜Cの顔画像のグルーピングが完了した場合に成立する条件であり、この場合、すべてのユーザA〜Cの顔画像の補正処理が可能となる。
次に、図10を参照しつつ、選択画面Sを用いた補正処理の内容を説明する。
制御部4は、上述のグルーピング処理により判明したグループ数(本実施形態では、「3」)に分割した選択画面Sを表示する。図示の例では、選択画面Sを縦割りに分割してなる、グループ1〜3に対応する分割領域が表示されている。
選択画面Sの各分割領域には、上側から順に、顔表示領域411と、目強調処理の程度を選択するための選択部412と、小顔処理の程度を選択するための選択部413と、選択完了を指示するためのOKボタン414とが含まれる。
図10に示すように、制御部4は、撮影画像P1〜P6から同じグループ1〜3の識別子を有する顔画像をトリミングし、トリミングした顔画像を、対応するグループ1〜3の顔表示領域411に並べて表示する。このとき、制御部4は、顔画像をできるだけ拡大して表示する。
例えば、ユーザAの顔画像はグループ1に属するので、ユーザAの5つの顔画像がグループ1の顔表示領域411に表示されている。同様に、ユーザBの4つの顔画像がグループ2の顔表示領域411に表示され、ユーザCの3つの顔画像がグループ3の顔表示領域411に表示されている。
なお、選択画面Sの顔表示領域411には、必ずしも、ユーザA〜Cが特定した顔画像をすべて表示する必要はなく、少なくとも1つの顔画像を表示すればよい。その方が、すべての顔画像を表示するよりも、各顔画像がより大きくなるように拡大して表示することが可能となる。
各ユーザA〜Cは、撮影画像P1〜P6に対する部分的な補正処理(本実施形態では、目強調処理と小顔処理)を所望する場合は、選択部412,413に対する操作入力を行うことにより、その補正処理の程度を選択することができる。
例えば、図示の例では、目強調処理用の選択部412に、ナチュラルから大きめまでの3段階の程度が表示されている。
そこで、ユーザA〜Cが所望の大きさの目の例示部分をタッチすると、制御部4は、タッチされた部分に対応する拡大度合いとなるように、顔表示領域411に含まれる顔画像の目の部分の大きさを変更する。この顔画像の目の大きさの変更は、タッチする目の例示部分を変更する度に実行される。
また、図示の例では、小顔処理用の選択部413に、ナチュラルから小さめまでの3段階の程度が表示されている。
そこで、ユーザA〜Cが所望の大きさの輪郭の例示部分をタッチすると、制御部4は、タッチされた部分に対応する縮小度合いとなるように、顔表示領域411に含まれる顔画像に対して小顔処理を実行する。この小顔処理は、例えば、特許文献2等に記載の技術を利用すればよい。この顔画像の輪郭部分の大きさの変更は、タッチする輪郭の例示部分を変更する度に実行され、その変更が顔表示領域411に表示された顔画像に対して反映される。
例えば、図10のグループ1に関する選択部412,413における選択が変更されるたびに、グループ1に関する顔表示領域411に表示されたすべての顔画像に対して、その変更(目の大きさ、小顔の度合い)が反映される。
なお、選択部412,413に対して目や顔の大きさを変更する入力が行われると、顔表示領域411に表示される顔画像の目の大きさや顔の大きさも変更される。また、選択部412,413に対する操作入力は、OKボタン414が押されるまで、或いは制限時間が経過するまで可能である。
制御部4は、ユーザA〜CがOKボタン414をタッチした時点、或いは、所定の制限時間が経過した時点の目強調処理及び小顔処理の程度を、各グループ1〜3ごと(すなわち、ユーザA〜Cごと)ことの変更程度として採用する。
そして、制御部4は、各グループ1〜3の目強調処理と小顔処理の程度が、当該グループ1〜3に含まれるすべての顔画像に適用されるように、撮影画像P1〜P6の画像データを変更することで、ユーザA〜Cが望む変更程度を撮影画像P1〜P6に反映させる。
<第1実施形態の効果>
以上の通り、第1実施形態の遊戯用撮影装置によれば、制御部4が、撮影画像P1〜P6の中のどの画像部分(具体的には、被写体の「顔画像」)がどのユーザA〜Cであるかを当該ユーザA〜Cが特定するための特定画面G1〜G3(図8及び図9)を上部モニタ113に表示させ、その特定画面G1〜G3に対する操作入力に基づいて、画像部分を同じユーザA〜Cごとのグループ1〜3に分けるグルーピング処理を実行する。
このため、例えば、コンピュータによる画像認識処理の結果のみに基づいて、自動的にグルーピングを行う場合に比べて、撮影画像P1〜P6に含まれる所定の画像部分を正確にグルーピングすることができる。
また、第1実施形態の遊戯用撮影装置によれば、制御部4が、グルーピング処理の完了後に、撮影画像P1〜P6に施す補正処理の程度をユーザA〜Cが選択するための選択画面Sを上部モニタ113に表示させ、選択画面Sに対する操作入力によって選択された補正処理の程度を、同じグループ1〜3に属するユーザA〜Cの画像部分を含む撮影画像P1〜P6に反映させる。
このため、ユーザA〜Cが画像部分に対する補正処理の程度を各々の撮影画像P1〜P6に対して逐一入力する必要がなくなり、ユーザA〜Cごとの画像部分の補正処理を簡便かつ確実に行うことができる。
第1実施形態の遊戯用撮影装置では、制御部4が行うグルーピング処理には、上部モニタ113に表示されたすべての撮影画像P1〜P6について、どの画像部分が自身であるかの入力を1人ずつ順番に受け付ける処理(順番に表示される特定画面G1〜G3に対する入力の受け付け処理)と、同じ順番に特定された画像部分を同じユーザA〜Cのグループ1〜3に含める処理とが含まれる。
このように、第1実施形態では、各ユーザA〜Cが、撮影画P1〜P6像に含まれる自身の画像部分を特定する操作入力を、1人ずつ順番に行うので、ユーザA〜Cの人数の増加に伴って特定画面G1〜G3に対する操作入力を行う時間が増加する。
しかし、その反面、後述の第2実施形態のグルーピング処理のように、分割画面B1,B2ごとにすべての撮影画像P1〜P6を表示する必要がないので、1つ1つの撮影画像P1〜P6をより大きく表示できるという利点がある。これにより、ユーザA〜Cに対して顔部分をより大きく提示することができ、ユーザA〜Cは自分の顔の確認がし易くなる。従って、グルーピング処理のための操作入力に関するミスを低減することができる。
<第2実施形態に係る補正処理>
図11は、第2実施形態に係る補正処理のためのGUI画面を示している。
具体的には、図11のGUI画面は、撮影画像の中のどの画像部分がどのユーザであるかをユーザが特定するための「特定画面」である。このGUI画面は、上部モニタ113に表示される。
なお、第2実施形態では、図11の特定画面G11,G12を用いたグルーピング処理が完了すると、図10のGUI画面(選択画面S)に移行し、第1実施形態と同様の補正処理が行われる。
従って、以下においては、第1実施形態と同様の構成及び効果については説明を省略し、第1実施形態との相違点とその効果について説明する。
図7の撮影処理において、画質補正済みの撮影画像の部分的な補正処理(ステップS140)に移行すると、制御部4は、まず、図11(a)に示す特定画面G11を上部モニタ113に表示する。
この特定画面G11は、プレイ中のユーザの人数の入力を促す案内画面である。図示の例では、1人〜4人までの人数を入力するためのアイコンが表示されている。なお、ここでは、ユーザの人数が「2人」であると仮定する。
ここで、いずれかのユーザA,Bが特定画面G11の「2人」のアイコンをタッチすると、制御部4は、次の特定画面G12を上部モニタ113に表示させる。
この特定画面G12には、タッチされた操作入力の人数に対応する数の分割領域B1,B2が含まれている。制御部4は、各分割領域B1,B2に、すべての撮影画像P1〜P6を並べて表示する。図示の例では、2つの分割領域B1,B2が縦割りに分割され、同じ6枚の撮影画像が各分割領域B1,B2に表示されている。
そこで、例えば一方のユーザAは、左側の分割領域B1に含まれる撮影画像P1〜P6の中から、自身の顔画像を含む箇所をタッチすることにより、どの顔画像が自身(ユーザA)であるかを入力する。
また、他方のユーザBは、右側の分割領域B2に含まれる撮影画像P1〜P6の中から、自身の顔画像を含む箇所をタッチすることにより、どの顔画像が自身(ユーザB)であるかを入力する。なお、以前に選択した自身の顔画像を2回タッチしたら、その選択をキャンセルすることができる。
そして、制御部4は、同じ分割画面B1,B2において特定された顔画像が同じグループ1,2に含まれるようにグルーピングを行う。
例えば、分割画面B1を「グループ1」とし、分割領域B2を「グループ2」とすると、制御部4は、ユーザAが分割画面B1内でタッチした複数の顔画像をグループ1にグルーピングし、ユーザBが分割画面B2内でタッチした複数の顔画像をグループ2にグルーピングする。
なお、分割画面B1,B2に操作入力を行うユーザA,Bが、同じ顔画像を選択した場合には、制御部4は、後でタッチされた方の選択を不能にするとともに、同じ顔画像が重複して選択されたために、グループ分けできない旨のメッセージを、特定画面G12に表示する。
また、制御部4は、特定画面G12の「OK」ボタンが押されるか、或いは、制限時間が経過すると、特定画面G12によるグルーピング処理を完了し、この処理にて反面したグループ数に分割された図10の選択画面Sを上部モニタ113に表示する。
第2実施形態の遊戯用撮影装置では、制御部4が行うグルーピング処理には、撮影人数分の分割画面B1,B2に分けて上部モニタ113に表示されたすべての撮影画像P1〜P6について、どの顔画像が自身であるかの入力を各分割画面B1,B2において受け付ける処理と、同じ分割画面B1,B2に入力された顔画像を同じユーザA,Bのグループ1,2に含める処理とが含まれる。
このように、第2実施形態では、撮影人数分に分けられた分割画面B1,B2にすべての撮影画像P1〜P6が表示されるので、第1実施形態の場合(図8及び図9)に比べて、1つ1つの撮影画像P1〜P6は小さく表示される。これを回避するために、顔付近の画像を各撮影画像P1〜P6からトリミングし、それらを拡大表示することもできる。
この場合、各ユーザA,Bは、分割画面B1,B2に対して同時並行的に自身の顔画像を特定できるので、自身の顔画像の特定を1人ずつ順番に行う第1実施形態の場合に比べて、特定画面G12に対する操作入力がより短時間となる利点がある。
<第3実施形態に係る補正処理>
図12は、第3実施形態に係る補正処理のためのGUI画面を示している。
具体的には、図12のGUI画面は、撮影画像の中のどの画像部分がどのユーザであるかをユーザが特定するための「特定画面」である。このGUI画面は、上部モニタ113に表示される。
なお、第3実施形態においても、図12の特定画面G21を用いたグルーピング処理が完了すると、図10のGUI画面(選択画面S)に移行し、第1実施形態と同様の補正処理が行われる。
従って、以下においては、第1実施形態と同様の構成及び効果については説明を省略し、第1実施形態との相違点とその効果について説明する。
図7の撮影処理において、画質補正済みの撮影画像の部分的な補正処理(ステップS140)に移行すると、制御部4は、まず、図12(a)に示す特定画面G21を上部モニタ113に表示する。
第3実施形態では、制御部4が、撮影画像P1〜P6に含まれる顔画像をユーザA〜Dごとに識別し、その識別結果が同じ顔部分を同じグループ1〜4として表示する「自動グルーピング機能」を有するものとする。
具体的には、制御部4は、撮影画像P1〜P6に含まれるすべての顔部分を検出して、それぞれの顔部分の画像データから所定の特徴量を算出し、算出した特徴量が所定の閾値内で共通する顔部分を、同じグループ1〜4にグルーピングする。
上記の特徴量としては、例えば、顔画像に含まれる肌部分や頭髪部分から検出したRGB値や、両目の中央点と口の中央点とで構成される三角形の相対比率などがある。
図12(a)の例では、制御部4による上記の自動グルーピング機能により、合計9つの顔画像が抽出され、その顔画像が4つのグループ1〜4にグルーピングされて表示されている。表示される顔画像は、顔検出により人間の顔と判断された部分の画像であり、撮影画像からトリミングされたものである。
もっとも、図12(a)に示すように、制御部4は、同じ人物であるユーザBの顔画像を、グループ2とグループ3の2つにグルーピングしたり、異なる人物であるユーザCとユーザDの顔画像を、同じグループ4にグルーピングしたりして、実情とは異なるグルーピングを行うことがある。
その理由は、例えば、ユーザA〜Dが撮影ごとに表情を大きく変更(いわゆる変顔)したり、撮影ごとに帽子を着脱したり、撮影ごとに顔の向きが異なったりすると、上記の特徴量に基づく自動グルーピング機能では、誤りが生じ得るからである。
そこで、第3実施形態では、特定画面G21に対して各顔画像がアイコン的に表示され、この顔画像をグループ1〜4間で自由に移動できる。すなわち、ユーザA〜Dは、自身の顔画像のグルーピングが誤っている場合には、その顔画像を正しいグループ1〜4に移動させて制御部4によるグルーピングを修正することができる。
アイコン的に表示された顔画像を移動する場合の操作方法としては、例えば、次のような方法がある。
操作方法1:移動させたい顔画像のアイコンを最初に指でタッチしたあと、移動先となる正式なグループの領域を指でタッチする方法
操作方法2:移動させたい顔画像のアイコンを指でタッチしたまま画面内を移動させ、移動先である正式なグループの領域で指を離す(昨今のスマートフォンで常用されている方法)。
そして、図12に矢印αで示すように、グループ3内のユーザBの顔画像をグループ2に移動させると、制御部4は、その顔画像をグループ3からグループ2に修正する。
また、図12に矢印βで示すように、グループ4内のユーザCの顔画像をグループ3に移動させると、制御部4は、その顔画像をグループ3からグループ2に修正する。
そして、図12(b)に示すように、正しいグルーピングがなされた時点でユーザがOKボタンを操作すると、制御部4は、その入力時点でのグループ分けを確定する。
第3実施形態のグルーピング処理は、自動グルーピング機能による最初のグループ分けと、自動グルーピング機能によって誤ったグループに含まれた顔部分を正しいグループに含めるための操作入力を、ユーザA〜Dに行わせる修正処理とを含む。
このため、第1及び第2実施形態のように、各ユーザA〜Dが何度も操作入力を行う必要がなく、簡単にかつ素早くグルーピングを行うことができる。さらには、ユーザA〜Dの正しい判断に基づく修正処理によって完全なグループ分けが可能となり、撮影画像P1〜P6に含まれる顔画像を正確にグルーピングできるという効果がある。
<第4実施形態に係る補正処理>
図13〜図15は、第4実施形態に係る補正処理のためのGUI画面を示している。
このうち、図13及び図14のGUI画面は、撮影画像の中のどの画像部分がどのユーザであるかをユーザが特定するための「特定画面」であり、図15のGUI画面は、撮影画像に施す補正処理の程度を選択するための選択画面である。これらのGUI画面は、いずれも編集用モニタ213に表示される。
上述の第1〜第3実施形態では、図7の撮影処理中にグルーピング処理と補正処理の程度の選択を行うので、特定画面や選択画面が上部モニタ113に表示される。
これに対して、第4実施形態では、そのグルーピング処理と補正処理の程度の選択を、編集処理の一環として行う。このため、特定画面や選択画面は編集部2a,2bの編集用モニタ213に表示される。
図13は、編集用モニタ213に表示される左右の編集用画面の一例を示す図である。
図13に示すように、編集用モニタ213には、左側のユーザA用と右側のユーザB用とに分かれてそれぞれ編集用画面が表示され、各ユーザA,Bは、左右のタッチペン214A,214Bを用いて編集用画面にそれぞれ操作入力を行うことができる。
また、各編集用画面には、上部側の編集領域501と、編集の態様に応じた複数のパレットを表示するパレット領域502とが含まれる。
パレット領域502の中のパレットには、例えば、「オススメ」、「スタンプ」、「ペン」、「メッセージ」及び「メイク」などが含まれており、目強調処理を含む本実施形態の補正処理は、「メイク」のパレットに割り当てられている。
図13では、左右両側の編集用画面がいずれも補正処理用の特定画面G31となっているが、編集用画面に表示される操作画面の内容は、ユーザA,Bがパレット領域502においてどのアプリケーションを選択するかによって定まる。
例えば、一方のユーザA(又はB)がパレット領域502の「メイク」を選択する操作入力を行うと、その入力に対応する側の編集用画面が特定画面G31となるが、他方のユーザB(又はA)がパレット領域502の中の「スタンプ」などの他のアプリケーションを選択する操作入力を行うと、当該アプリケーションのために設計された所定の操作画面が表示される。
もっとも、各ユーザA,Bが同じアプリケーションを選択した場合には、編集用モニタ213の左右両側に同じ操作画面が表示され、各ユーザA,Bが独立して同じアプリケーションに基づく編集作業を行うことができる。
そこで、以下においては、編集用モニタ213の左側に表示される図14及び図15の編集用画面を参照しつつ、ユーザAが左側の編集用画面を用いて自身の顔画像を特定し、その顔画像に対する部分的な補正処理の程度を選択する場合について、説明する。
編集部2における編集処理において、ユーザAが左側の編集用画面の「メイク」のパレットをタッチペンにて選択すると、制御部4は、まず図14(a)に示す特定画面G31を編集用モニタ213の左側部分に表示する。
すなわち、制御部4は、「メイク」が選択されると、編集用画面を図14(a)に示す特定画面G31に変更し、この特定画面G31の編集領域501に、編集対象となるすべての撮影画像P1〜P6を同時に表示するとともに、目強調処理と小顔処理が可能である旨の所定のメッセージ503をパレット領域502表示する。
次に、制御部4は、編集用モニタ213の左側の編集用画面を、図14(a)の特定画面G31から、編集処理においてグルーピングを行うための図14(b)に示す特定画面G32に遷移させる。
第4実施形態の制御部4は、特徴量が共通する複数の顔画像を、すべての撮影画像P1〜P6から抽出し、それらの顔画像を同じグループにグルーピングする。このように、第4実施形態の制御部4も、特徴量に基づく自動グルーピング機能を有する。
このため、制御部4は、ユーザA用のグループ1の代表的な1つの顔画像と、ユーザB用のグループ2の代表的な1つの顔画像とを選択し、それらの顔画像A,Bをパレット領域502に表示する。これと同時に、制御部4は、ユーザが自分の顔をタッチするように促すメッセージ504をパレット領域502に表示する。
なお、図14(b)に示す左側の特定画面G32において、ユーザAの顔画像が補正対象として選択されている場合には、図示を省略した右側の特定画面G32においては、ユーザBが、ユーザAの顔画像を補正対象の画像として選択することはできない。
図14(b)の例では、2人のユーザA,Bが撮影処理(図7)を行い、更に編集を行う場合を想定している。従って、パレット領域502には、ユーザAとユーザBの顔画像のトリミング画像が、少なくとも1つ表示される。
そこで、ユーザAが、パレット領域502に含まれる自身の画像にタッチすると、編集領域501に含まれるユーザAの顔画像(特徴量が共通する顔画像)に、囲みマーク505が表示される。これにより、ユーザAは自身の選択が正しいことを確認できる。
一方、図14に「符号A1」で示すように、実際にはユーザAである顔画像A1が、別のユーザの顔画像として誤って表示される場合がある。
この場合、ユーザAは、矢印で示すように、符号A1の顔画像を符号Aの自身の顔画像にドラッグアンドドロップする。すると、制御部4は、ドラッグされた顔画像A1のグループを、ドロップ先の顔画像Aと同じグループ1に修正する。このように、ユーザAは、制御部4の自動グルーピング機能に基づくグルーピングの誤りを、顔画像A1のドラッグアンドドロップによって修正することができる。
また、図14の画面において、例えば次の手順(a1)〜(a3)により、制御部4によるグルーピングの誤りの修正を行うことにしてもよい。
(a1) ユーザAがパレット領域502内の自分の顔画像Aを選択し、編集領域501に含まれる撮影画像に、囲みマーク505を表示させる。この場合、制御部4の顔認証の誤りにより、ユーザA以外の顔画像C(図14では図示せず。)に囲みマーク505が表示されたとする。
(a2) 撮影画像の表示領域501において、ユーザAが、囲みマーク505が表示されている自身以外の顔画像Cをペンでタッチする。
(a3) 上記(a2)のタッチ操作に応じて、制御部4は、タッチされた顔画像Cから囲みマーク505を消去し、タッチされた顔画像Cを別のユーザCのものとしてパレット領域502に追加する。
更に、図14の画面において、例えば次の手順(b1)〜(b3)により、制御部4によるグルーピングの誤りの修正を行うことにしてもよい。
(b1) ユーザAがパレット領域502内の自分の顔画像Aを選択し、編集領域501に含まれる撮影画像に、囲みマーク505を表示させる。この場合、制御部4の顔認証の誤りにより、ユーザAの顔画像A1に囲みマーク505が表示されなかったとする。
(b2) 撮影画像の表示領域501において、ユーザAが、囲みマーク505が表示されていない自身の顔画像A1をペンでタッチする。
(b3) 上記(b2)のタッチ操作に応じて、制御部4は、タッチされた顔画像A1に囲みマーク505を表示するとともに、パレット領域502における顔画像A1の表示を消去する。
その後、ユーザAが、パレット領域502に含まれる終了ボタン506をタッチすることにより、グルーピング処理とユーザAの選択が完了すると、制御部4は、図15に示す選択画面S31を編集用モニタ213に表示する。
この選択画面S31では、編集領域501の撮影画像P1〜P6に含まれるユーザA,Bのうち、選択されなかったユーザBの顔部分にシャドーを付けるなどにより、自分以外のユーザBが補正処理の対象ではないことが示される。なお、選択されたユーザAの顔部分以外にシャドーを付けるようにしてもよい。
また、選択画面S31では、パレット領域502に、目強調処理の程度を選択するための選択部511と、小顔処理の程度を選択するための選択部512と、選択完了を指示するためのOKボタン513とが含まれる。
ユーザAは、撮影画像P1〜P6に対する部分的な補正処理(本実施形態では、目強調処理と小顔処理)を所望する場合は、選択部412,413に対する操作入力を行って補正処理の程度を選択することができる。
例えば、図示の例では、目強調処理用の選択部511に、「ナチュ目」、「盛り目」、及び「デカ目」の3段階の程度が表示されている。
そこで、ユーザAが所望の大きさの目の例示部分をタッチすると、制御部4は、タッチされた部分に対応する拡大度合いとなるように、編集領域501に含まれるユーザAの顔画像の目の部分の大きさを変更する。この顔画像の目の大きさの変更は、タッチする目の例示部分を変更する度に実行される。
また、図示の例では、小顔処理用の選択部512に、「ナチュ顔」、「小顔」及び「モデル小顔」の3段階の程度が表示されている。
そこで、ユーザAが所望の大きさの輪郭の例示部分をタッチすると、制御部4は、タッチされた部分に対応する縮小度合いとなるように、編集領域501に含まれるユーザAの顔画像の輪郭部分の大きさを変更する。この顔画像の輪郭部分の大きさの変更は、タッチする輪郭の例示部分を変更する度に実行される。
制御部4は、ユーザAがOKボタン513をタッチした時点、或いは、所定制限時間が経過した時点の目強調処理及び小顔処理の程度を、ユーザAの顔画像に対する変更程度として採用する。
そして、制御部4は、採用された変更程度がすべてのユーザAの顔画像に適用されるように、撮影画像P1〜P6の画像データを変更することで、ユーザAの望む変更程度を撮影画像P1〜P6に反映させる。
第4実施形態のグルーピング処理の場合も、自動グルーピング機能による最初のグループ分けと、自動グルーピング機能によって誤ったグループに含まれた顔部分を正しいグループに含めるための操作入力を、ユーザAに行わせる修正処理とを含む。
このため、第1及び第2実施形態のように、各ユーザA,Bが何度も操作入力を行う必要がなく、簡単にかつ素早くグルーピングを行うことができる。さらには、ユーザA,Bの正しい判断に基づく修正処理によって完全なグループ分けが可能となり、撮影画像P1〜P6に含まれる顔画像を正確にグルーピングできるという効果がある。
<変形例>
今回開示した実施形態は、例示であって制限的なものではない。本発明の権利範囲は、上述の実施形態で特定されるものではなく、基本的には特許請求の範囲に基づいて定まるものであり、そこに記載された構成と均等の範囲内でのすべての変更が含まれる。
例えば、上述の実施形態では、撮影画像P1〜P6に含まれる任意の被写体に対する補正処理として、目を拡大して強調する「目強調処理」と、顔の輪郭を小さめに補正する「小顔処理」を例示したが、これ以外の補正処理であってもよい。
顔部分に対する補正処理としては、唇のつや感を強調する補正処理を採用することにしてもよい。また、撮影画像が全身画像である場合には、足を長めに強調する補正処理であってもよいし、体を細めに絞る補正処理であってもよい。
1:撮影部
2:編集部
2a:編集部
2b:編集部
3:出力部
4:制御部
5:記憶部
6:通信部
7:外部ドライブ
10:撮影空間 11:撮影筐体
113:上部モニタ(表示部、入力部)
114:下部モニタ
213:編集用モニタ(表示部)
214A,214B:タッチペン(入力部)
214A,213B:タッチペン(入力部)

Claims (4)

  1. 利用者を含む被写体を撮影して撮影画像を得る撮影部と、
    前記撮影部によって得られた撮影画像を編集対象画像として表示する表示部と、
    利用者の操作入力に基づいて、前記編集対象画像を編集する編集部と、
    前記操作入力に対応する所定の制御を行う制御部と、を備え、
    前記表示部は、前記編集対象画像における、補正処理の対象とするユーザを選択するユーザ選択と、前記補正処理の程度を選択する補正選択と、を受け付ける補正選択画面を、前記編集対象画像とは別の位置に表示し、
    前記制御部は、前記編集対象画像における前記補正処理の対象とするユーザを特定するために、前記撮影画像に含まれる複数の顔を前記補正選択画面に個別に表示し、前記補正選択画面に対する前記ユーザ選択のための前記操作入力によって前記複数の顔の中から顔が選択されると選択された前記顔に対応するユーザを前記補正処理の対象ユーザと特定し、前記補正選択画面に対する前記補正選択のための前記操作入力によって選択中の前記補正処理の程度を、前記編集対象画像とされる複数の前記撮影画像それぞれにおける前記対象ユーザの顔の部分に反映させる、遊戯用撮影装置。
  2. 前記撮影部は、顔アップ画像と全身画像とを撮影可能であり、
    前記制御部は、前記操作入力によって前記顔アップ画像と前記全身画像とのうちの少なくとも一方の撮影枚数の指定を受け付け、前記顔アップ画像と前記全身画像とをそれぞれ前記操作入力に基づいた枚数、前記撮影部に撮影させ、
    前記制御部は、前記顔アップ画像と前記全身画像との合計枚数の上限値N(Nは正整数)を予め設定しておき、前記顔アップ画像と前記全身画像とのうちの一方の画像を前記操作入力に基づいたn枚(nは非負整数でn≦N)、前記撮影部に撮影させ、他方の画像をN−n枚、前記撮影部に撮影させる、請求項1に記載の遊戯用撮影装置。
  3. 人物を被写体として含む画像を編集対象画像として表示する表示ステップと、
    利用者の操作入力に基づいて、前記編集対象画像を編集する編集ステップと、
    前記操作入力に対応する所定の制御を行う制御ステップと、を備え、
    前記表示ステップは、前記編集対象画像における、補正処理の対象とするユーザを選択するユーザ選択と、前記補正処理の程度を選択する補正選択と、を受け付ける補正選択画面を、前記編集対象画像とは別の位置に表示するステップを含み、
    前記制御ステップは、
    前記編集対象画像における前記補正処理の対象とするユーザを特定するために、前記撮影画像に含まれる複数の顔を前記補正選択画面に個別に表示するステップと、
    前記補正選択画面に対する前記ユーザ選択のための前記操作入力によって前記複数の顔の中から顔が選択されると選択された前記顔に対応するユーザを前記補正処理の対象ユーザと特定し、前記補正選択画面に対する前記補正選択のための前記操作入力によって選択中の前記補正処理の程度を、前記編集対象画像とされる複数の前記撮影画像それぞれにおける前記対象ユーザの顔の部分に反映させるステップと、を含む、画像処理方法。
  4. コンピュータに画像処理を実行させるプログラムであって、
    前記プログラムは、
    人物を被写体として含む画像を編集対象画像として表示する表示ステップと、
    利用者の操作入力に基づいて、前記編集対象画像を編集する編集ステップと、
    前記操作入力に対応する所定の制御を行う制御ステップと、を前記コンピュータに実行させ、
    前記表示ステップは、記編集対象画像における、補正処理の対象とするユーザを選択するユーザ選択と、前記補正処理の程度を選択する補正選択と、を受け付ける補正選択画面を、前記編集対象画像とは別の位置に表示するステップを含み、
    前記制御ステップは、
    前記編集対象画像における前記補正処理の対象とするユーザを特定するために、前記撮影画像に含まれる複数の顔を前記補正選択画面に個別に表示するステップと、
    前記補正選択画面に対する前記ユーザ選択のための前記操作入力によって前記複数の顔の中から顔が選択されると選択された前記顔に対応するユーザを前記補正処理の対象ユーザと特定し、前記補正選択画面に対する前記補正選択のための前記操作入力によって選択中の前記補正処理の程度を、前記編集対象画像とされる複数の前記撮影画像それぞれにおける前記対象ユーザの顔の部分に反映させるステップと、を含む、コンピュータプログラム。
JP2013161567A 2013-08-02 2013-08-02 遊戯用撮影装置、画像処理方法、及びコンピュータプログラム Active JP6191318B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013161567A JP6191318B2 (ja) 2013-08-02 2013-08-02 遊戯用撮影装置、画像処理方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013161567A JP6191318B2 (ja) 2013-08-02 2013-08-02 遊戯用撮影装置、画像処理方法、及びコンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2015031833A JP2015031833A (ja) 2015-02-16
JP2015031833A5 JP2015031833A5 (ja) 2016-09-08
JP6191318B2 true JP6191318B2 (ja) 2017-09-06

Family

ID=52517190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013161567A Active JP6191318B2 (ja) 2013-08-02 2013-08-02 遊戯用撮影装置、画像処理方法、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP6191318B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092588A (ja) * 2003-09-18 2005-04-07 Hitachi Software Eng Co Ltd 合成画像プリント装置及び画像編集方法
JP5447276B2 (ja) * 2010-08-06 2014-03-19 フリュー株式会社 画像編集装置および方法、並びにプログラム
JP5459562B2 (ja) * 2011-04-28 2014-04-02 フリュー株式会社 写真シール機、写真シール機の処理方法、および、そのプログラム
JP5246524B2 (ja) * 2011-10-28 2013-07-24 フリュー株式会社 写真シール作成装置、写真シール作成方法、およびプログラム
JP5201430B1 (ja) * 2012-04-24 2013-06-05 フリュー株式会社 写真シール作成装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP2015031833A (ja) 2015-02-16

Similar Documents

Publication Publication Date Title
JP5782873B2 (ja) 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP5201430B1 (ja) 写真シール作成装置および方法、並びにプログラム
JP2019013013A (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP6880394B2 (ja) 写真作成ゲーム機および撮影方法
JP5569502B2 (ja) 写真シール作成装置、写真シール作成方法、およびプログラム
JP6085838B2 (ja) 写真撮影遊戯装置、画像生成方法、及び画像生成プログラム
JP6051391B2 (ja) 写真撮影遊戯機、及び制御プログラム
JP6881884B2 (ja) 写真撮影遊戯装置、画像生成方法、及び画像生成プログラム
JP5505751B2 (ja) 画像編集装置および方法、並びにプログラム
JP6191318B2 (ja) 遊戯用撮影装置、画像処理方法、及びコンピュータプログラム
JP2018029343A (ja) 画像処理装置、画像処理方法およびプログラム
JP5632104B2 (ja) 遊戯用撮影装置、遊戯用撮影装置の処理方法およびプログラム
JP6614386B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5704205B2 (ja) 画像処理装置、これを用いた写真撮影遊戯装置、画像処理方法、画像処理プログラム、及び写真印刷シート
JP5527460B2 (ja) 遊戯用撮影装置、遊戯用撮影方法及びコンピュータプログラム
JP2018026750A (ja) 写真作成ゲーム機および撮影方法
JP5967275B2 (ja) 写真撮影遊戯機とその制御方法及び制御コンピュータ
JP6090369B2 (ja) 遊戯用撮影装置、遊戯用撮影方法およびプログラム
JP2017037271A (ja) 遊戯用撮影装置
JP5790896B2 (ja) 遊戯用撮影装置、遊戯用撮影方法、および遊戯用撮影プログラム
JP2019050582A (ja) 写真撮影遊戯装置、画像処理方法、及び画像処理プログラム
JP5714547B2 (ja) 画像提供装置、画像提供方法、並びにプログラム
JP2018018450A (ja) 画像編集装置、画像編集方法及びコンピュータプログラム
JP5871083B2 (ja) 写真撮影遊戯装置、画像処理方法、及び画像処理プログラム
JP2016184873A (ja) 写真撮影遊戯機、及び制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160722

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160722

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160725

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170511

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170724

R151 Written notification of patent or utility model registration

Ref document number: 6191318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250