JP6477780B2 - 写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラム - Google Patents

写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラム Download PDF

Info

Publication number
JP6477780B2
JP6477780B2 JP2017095826A JP2017095826A JP6477780B2 JP 6477780 B2 JP6477780 B2 JP 6477780B2 JP 2017095826 A JP2017095826 A JP 2017095826A JP 2017095826 A JP2017095826 A JP 2017095826A JP 6477780 B2 JP6477780 B2 JP 6477780B2
Authority
JP
Japan
Prior art keywords
image
user
unit
gloss
editing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017095826A
Other languages
English (en)
Other versions
JP2018195881A (ja
Inventor
侑加 諸岡
侑加 諸岡
義幸 徳田
義幸 徳田
俊介 中嶋
俊介 中嶋
哲史 土田
哲史 土田
Original Assignee
フリュー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フリュー株式会社 filed Critical フリュー株式会社
Priority to JP2017095826A priority Critical patent/JP6477780B2/ja
Publication of JP2018195881A publication Critical patent/JP2018195881A/ja
Application granted granted Critical
Publication of JP6477780B2 publication Critical patent/JP6477780B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影した画像に所定の画像を合成した合成画像をシール紙に印刷する写真シール作成装置に関する。
従来、撮影ブースにおいて利用者(被写体)を撮影し、撮影した画像を編集してシール紙に印刷し、写真シールとして利用者に提供する写真シール作成装置が知られている(例えば、特許文献1参照)。
特許文献1においては、撮影ブースの天井後部に二つのストロボを配置し、利用者の頭部幅と略同等な照射幅で、利用者の頭上後方から利用者の頭頂部に向けてストロボ光を照射している。これにより、光の照射範囲を限定して、撮影ブースの後方寄りで撮影する利用者の頭頂部の頭髪に輝くような艶、所謂、天使の輪を表現した撮影画像を得ることができる。加えて、照射幅を限定することで、二つのストロボによる逆光を防止して、利用者の顔を明るく写した撮影画像を得ることができる。
特開2013−37130号公報
特許文献1のような写真シール作成装置では、2人で撮影する利用者が最も多く、全体の8割程度となっている。しかしながら、特許文献1の装置においては、2人で撮影する利用者同士の距離、即ち、利用者の左右の位置によっては、上述した天使の輪が適切に付与されない虞があった。例えば、利用者同士の距離が離れると、撮影画像における人物領域と背景領域とのバランスが悪くなる。また、利用者同士の距離が近過ぎると、利用者同士の間には光が照射されない領域が発生する。その結果、光学環境を特許文献1のようにしても、天使の輪が適切に付与されない虞があった。
本発明は、以上のような課題を解決し、利用者の位置に拘わらず、利用者の頭髪に天使の輪を適切に付与することを可能とする写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラムを提供することを目的とする。
本発明に係る写真シール作成装置の第1の態様は、前記課題を解決するために、利用者を撮影し、撮影画像を生成する撮影部と、前記撮影画像から前記利用者の髪領域を特定する領域特定部と、前記撮影画像に合成する合成用画像を生成し、前記合成用画像を前記撮影画像に合成する合成部とを備え、前記合成部は、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像を、前記合成用画像の少なくとも一つとして生成し、前記髪領域に合成する、ことを特徴とする。
前記第1の態様によれば、撮影部は、利用者を撮影し、撮影画像を生成する。領域特定部は、撮影画像から利用者の髪領域を特定する。合成部は、撮影画像に合成する合成用画像を生成し、合成用画像を撮影画像に合成する。合成部は、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像を、合成用画像の少なくとも一つとして生成し、髪領域に合成する。したがって、利用者の位置に拘わらず、利用者の頭髪に、髪表面からの反射光により形成される円弧状の艶を適切に付与する。
本発明に係る写真シール作成装置の他の態様は、前記艶合成用画像は、前記髪領域の中のみで生成してもよい。この態様によれば、髪領域以外の位置では、艶合成用画像が生成されないので、合成した際に不自然な画像となることがない。
本発明に係る写真シール作成装置の他の態様は、前記領域特定部は、前記撮影画像から前記利用者の顔の器官を認識し、認識した結果に基づいて、前記利用者の髪領域を特定してもよい。この態様によれば、領域特定部は、まず、撮影画像から利用者の顔の器官を認識する。次に、領域特定部は、認識した結果に基づいて、利用者の髪領域を特定する。したがって、写真シール作成装置の構成を複雑にすることなく、確実に利用者の髪領域を特定する。
本発明に係る写真シール作成装置の他の態様は、前記撮影画像および前記合成用画像に対して、前記利用者の指示に基づく編集を行う編集部をさらに備え、前記編集部は、前記艶合成用画像について、艶を強調させるか否かを選択する強調選択機能を備えてもよい。この態様によれば、編集部は、撮影画像および合成用画像に対して、利用者の指示に基づく編集を行う。特に、編集部は、属性情報変更機能により、艶合成用画像について、艶を強調させるか否かの属性情報を変更する。したがって、利用者の趣向に応じた編集が行われる。
本発明に係る写真シール作成装置の他の態様は、前記編集部は、前記艶合成用画像を前記髪領域に合成する前の状態に戻す機能を備えてもよい。この態様によれば、編集部は、艶合成用画像を髪領域に合成する前の状態に戻すことが可能なので、利用者の趣向に応じた編集が行われる。
本発明に係る写真シール作成装置の他の態様は、前記編集部は、前記撮影画像における前記利用者を選択する利用者選択機能を備え、当該利用者選択機能により選択された前記利用者に対して、前記属性情報変更機能により変更された前記属性情報を適用させるようにしてもよい。この態様によれば、編集部は、利用者選択機能により、撮影画像における利用者が選択される。また、編集部は、属性情報変更機能により変更された属性情報を適用させ。したがって、選択された利用者の艶合成用画像について、艶を強調させるか否かの処理が行われる。その結果、利用者ごとに艶に関する編集処理が行われ、それぞれの利用者の趣向に応じた編集が行われる。
本発明に係る写真シール作成装置の他の態様は、前記編集部による編集対象となる前記撮影画像および前記合成用画像を表示する第1表示部と第2表示部とを備え、前記利用者選択機能における選択の順序は、前記第1表示部と前記第2表示部とで逆になる、ようにしてもよい。この態様によれば、第1表示部と第2表示部とにおいて利用者選択機能における選択の順序が逆になるので、操作性が向上する。
本発明に係る写真シール作成装置の他の態様は、前記第1表示部と前記第2表示部とは、前記第1表示部および前記第2表示部に正対する方向から見てそれぞれ左右に並設されており、前記利用者選択機能における選択の順序は、前記第1表示部においては、前記正対する方向から見て左側に表示される利用者、および前記正対する方向から見て右側に表示される利用者の順序であり、前記第2表示部においては、前記正対する方向から見て右側に表示される利用者、および前記正対する方向から見て左側に表示される利用者の順序であるようにしてもよい。この態様によれば、第1表示部を利用する利用者、および第2表示部を利用する利用者のいずれの操作性も向上する。

本発明に係る写真シール作成装置の他の態様は、前記第1表示部と前記第2表示部とは、前記第1表示部および前記第2表示部に正対する方向から見てそれぞれ左右に並設されており、前記利用者選択機能における選択の順序は、前記第1表示部においては、前記撮影画像における利用者の全員、前記正対する方向から見て左側に表示される利用者、および前記正対する方向から見て右側に表示される利用者の順序であり、前記第2表示部においては、前記撮影画像における利用者の全員、前記正対する方向から見て右側に表示される利用者、および前記正対する方向から見て左側に表示される利用者の順序であるようにしてもよい。この態様によれば、第1表示部を利用する利用者、および第2表示部を利用する利用者のいずれの操作性も向上する。
本発明に係る写真シール作成装置の他の態様は、前記編集部は、前記利用者選択機能により選択された前記利用者の顔部分に枠画像を表示させるようにしてもよい。この態様によれば、選択され、編集対象となる利用者を容易に理解される。
本発明に係る写真シール作成装置の他の態様は、前記合成部は、前記領域特定部による前記髪領域の特定が行われるごとに、前記艶合成用画像を生成するようにしてもよい。この態様によれば、領域特定部による前記髪領域の特定が行われるごとに、艶合成用画像が生成されるので、利用者に応じた艶合成用画像を生成し得る。
本発明に係る写真シール作成装置の他の態様は、前記合成部は、前記艶合成用画像を複数種類生成し、前記編集部は、前記利用者の指示に応じて、前記複数種類の前記艶合成用画像の中から一の艶合成用画像を選択する画像選択機能を備えてもよい。この態様によれば、編集部は、利用者の指示に応じて、複数種類の艶合成用画像の中から一の艶合成用画像を選択するので、利用者の趣向に応じた艶合成用画像が表示される。
本発明に係る写真シール作成装置の他の態様は、前記合成部は、前記艶合成用画像として、髪の色に応じて色の属性の異なる艶合成用画像を生成してもよい。この態様によれば、髪の色に応じて色の属性の異なる艶合成用画像が生成されるので、利用者に応じた艶合成用画像が表示される。
本発明に係る写真シール作成装置の他の態様は、前記撮影画像における利用者を特定する利用者特定部をさらに備え、前記撮影部は、複数枚の撮影画像を生成し、前記合成部は、前記複数枚の撮影画像のそれぞれに対して、少なくとも前記艶合成用画像を合成し、前記編集部は、編集対象の撮影画像における利用者についての前記艶合成用画像に関する編集内容を、前記複数枚の撮影画像のうち、前記編集対象の撮影画像以外の撮影画像における利用者についての前記艶合成用画像に適用してもよい。この態様によれば、一の艶合成用画像に関する編集を行った際には、その編集内容を、複数枚の撮影画像のうち、編集対象の撮影画像以外の撮影画像における利用者についての艶合成用画像に適用されるので、利便性が向上する。
本発明に係る写真シール作成装置の他の態様は、前記合成部は、前記利用者からの指示に応じた位置に、前記艶合成用画像を合成してもよい。この態様によれば、艶合成用画像の位置を利用者からの指示に応じた位置となるので、利用者の趣向に応じた艶合成用画像が表示される。
本発明に係る写真シール作成装置の他の態様は、前記撮影画像の色認識を行う色認識部を備え、前記合成部は、前記色認識部により認識された前記利用者の肌色部分については、当該肌色部分を透過させるように前記艶合成用画像の合成を行うようにしてもよい。この態様によれば、肌色部分においては、艶合成用画像が表示されず、肌色部分を透過させるので、艶合成用画像が自然な態様で表現される。
本発明に係る写真シール作成方法の第1の態様は、前記課題を解決するために、利用者を撮影して撮影画像を生成し、前記撮影画像から前記利用者の髪領域を特定し、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像を、合成用画像の少なくとも一つとして生成し、前記艶合成用画像を前記撮影画像の前記髪領域に合成する、ことを特徴とする。
前記第1の態様によれば、利用者を撮影することにより撮影画像が生成される。撮影画像から利用者の髪領域が特定され、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像が、合成用画像の少なくとも一つとして生成される。艶合成用画像は、撮影画像の髪領域に合成される。したがって、利用者の位置に拘わらず、利用者の頭髪に、髪表面からの反射光により形成される円弧状の艶を適切に付与する。
本発明に係る写真シール作成処理プログラムの第1の態様は、写真シール作成装置において実行可能な写真シール作成処理プログラムであって、前記写真シール作成処理プログラムは、前記写真シール作成装置のコンピュータを、利用者を撮影し、撮影画像を生成する撮影部と、前記撮影画像から前記利用者の髪領域を特定する領域特定部と、前記撮影画像に合成する合成用画像を生成し、前記合成用画像を前記撮影画像に合成する合成部として機能させ、前記合成部は、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像を、前記合成用画像の少なくとも一つとして生成し、前記髪領域に合成する、ことを特徴とする。
前記第1の態様によれば、写真シール作成処理プログラムを、写真シール作成装置のコンピュータが実行することにより、以下のように機能する。撮影部は、利用者を撮影し、撮影画像を生成する。領域特定部は、撮影画像から利用者の髪領域を特定する。合成部は、撮影画像に合成する合成用画像を生成し、合成用画像を撮影画像に合成する。合成部は、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像を、合成用画像の少なくとも一つとして生成し、髪領域に合成する。したがって、利用者の位置に拘わらず、利用者の頭髪に、髪表面からの反射光により形成される円弧状の艶を適切に付与する。
本発明によれば、利用者の位置に拘わらず、利用者の頭髪に、髪表面からの反射光により形成される円弧状の艶を適切に付与することができる。
本発明の一実施形態である写真シール作成装置の斜視図である。 写真シール作成装置の斜視図である。 写真シール作成ゲーム中の利用者の空間移動を説明するための図である。 事前選択部の正面図である。 撮影部の正面図である。 背景部の撮影空間側の正面図である。 編集ユニットの編集空間側の正面図である。 編集ユニットの左側面図である。 写真シール作成装置の内部構成を示すブロック図である。 写真シール作成装置の機能ブロックを示すブロック図である。 写真シール作成装置による写真シール作成ゲームに関する一連の動作を示すフローチャートである。 編集ユニットのタブレット内蔵モニタに表示される編集画面の一例を示す図である。 艶合成用マスクの作成処理を説明するための図である。 艶合成用マスクの作成処理を説明するための図である。 作成された艶合成用マスクを示す図である。 艶合成用マスクの最適化処理を説明するための図である。 第1表示部およびその周辺を示す図である。 第1表示部およびその周辺を示す図である。 第1表示部およびその周辺を示す図である。 第1表示部およびその周辺を示す図である。 第1表示部およびその周辺を示す図である。 第2表示部およびその周辺を示す図である。 第2表示部およびその周辺を示す図である。 第2表示部およびその周辺を示す図である。 第2表示部およびその周辺を示す図である。 本発明の実施形態2における第1表示部およびその周辺を示す図である。 人物切り替えボタンの表示の変化を説明するための図である。 本発明の実施形態3に係る第1編集部における第1パレットの表示例を示す図である。 落書きモードの際の線種を説明するための図である。 落書きモードの際の線種を説明するための図である。 落書きモードの際の線種を説明するための図である。 落書きモードの際の線種を説明するための図である。 落書きモードの際の線種を説明するための図である。 落書きモードの際の線種を説明するための図である。 落書きモードの際の線種を説明するための図である。 カラー選択部のスタンプを示す図である。 カラーテーブルを示す図である。
以下、本発明の具体的な実施の形態について添付の図面を参照しながら説明する。以下の特定の実施形態で説明する構成以外の構成については、必要に応じて説明を省略する場合があるが、他の実施形態で説明されている場合は、その構成と同じである。また、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。さらに、各図面に記載した構成の形状、ならびに、長さ、奥行および幅などの寸法は、実際の形状および寸法を反映させたものではなく、図面の明瞭化と簡略化のために適宜変更している。
<実施形態1>
本発明の一実施の形態である写真シール作成装置は、撮影や編集等を利用者にゲーム(遊戯サービス)として行わせ、その撮影・編集した画像を、写真シールやデータとして利用者に提供するゲーム装置(遊戯サービス提供装置)である。写真シール作成装置1は、例えば、ゲームセンタ、ショッピングモール及び観光地の店舗等に設置される。
写真シール作成装置が提供するゲームにおいて、利用者は、写真シール作成装置に設けられたカメラを用いて自分自身等を撮影する。利用者は、その撮影画像に対して、前景画像及び/又は背景画像を合成したり、また、編集用合成用画像としてのペン画像入力やスタンプ画像入力等の編集機能(落書き編集機能)を用いたりして編集を行い、撮影画像を彩り豊かなものにデザインする。そしてゲーム終了後、利用者は、編集した画像が印刷された写真シール等を成果物として受け取る。または、写真シール作成装置は編集した画像を利用者の携帯端末に提供し、利用者は携帯端末により成果物を受け取ることもできる。
(写真シール作成装置の構成)
図1および図2は、写真シール作成装置1の外観の構成例を示す斜視図である。写真シール作成装置1は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置1は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にするためにその画像をサーバに送信することで、利用者に画像を提供する。写真シール作成装置1の利用者は、主に女子高生などの若い女性が中心とされる。写真シール作成装置1において、1組あたり主に2人や3人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置1において、1人の利用者がゲームを楽しむこともできる。
写真シール作成装置1において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が華やかな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
図1に示すように、写真シール作成装置1は、基本的に、撮影ユニット11と編集ユニット12が接した状態で設置されることによって構成される。
撮影ユニット11は、事前選択操作部20、撮影操作部21、および背景部22から構成される。事前選択操作部20は、撮影操作部21の側面に設置される。事前選択操作部20の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影操作部21と背景部22は所定の距離だけ離れて設置される。撮影操作部21と背景部22の間に形成される空間が、撮影処理が行われる撮影空間となる。
事前選択操作部20は、事前選択処理として、写真シール作成装置1によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を利用者に選択させるための処理を行ったりする。事前選択操作部20には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択操作部20は、撮影空間の空き状況に応じて、適宜、事前選択空間にいる利用者を撮影空間へと案内する。
撮影操作部21は、利用者を被写体として撮影するための装置である。撮影操作部21は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影操作部21の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影操作部21の左側面が側面パネル41Aにより構成され、右側面が側面パネル41Bにより構成される。さらに、撮影操作部21の正面が正面パネル42により構成される。側面パネル41Aには、上述した事前選択操作部20が設置されるものとする。なお、事前選択操作部20は、側面パネル41Bに設置されるようにしてもよいし、側面パネル41A,41Bの両方に設置されるようにしてもよい。
背景部22は、背面パネル51、側面パネル52A、および側面パネル52Bから構成される。背面パネル51は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル52Aは、背面パネル51の左端に取り付けられ、側面パネル41Aより横幅の狭い板状の部材である。側面パネル52Bは、背面パネル51の右端に取り付けられ、側面パネル41Bより横幅の狭い板状の部材である。
側面パネル41Aと側面パネル52Aは、ほぼ同一平面に設けられる。側面パネル41Aと側面パネル52Aの上部は、板状の部材である連結部23Aによって連結される。側面パネル41Aと側面パネル52Aの下部は、床面に設けた例えば金属製の部材である連結部23A’によって連結される。側面パネル41Bと側面パネル52Bも同様に、ほぼ同一平面に設けられる。側面パネル41Bと側面パネル52Bの上部は、連結部23Bによって連結される。側面パネル41Bと側面パネル52Bの下部は、連結部23B’によって連結される。
なお、背面パネル51の撮影空間側の面には、例えば緑色のクロマキー用のシートが貼り付けられる。写真シール作成装置1は、クロマキー用のシートを背景として撮影することで、撮影処理や編集処理においてクロマキー合成を行う。これにより、利用者が所望する背景画像がシートの部分に合成される。
側面パネル41A、連結部23A、および側面パネル52Aに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル41B、連結部23B、および側面パネル52Bに囲まれることによって形成される開口も撮影空間の出入り口となる。
撮影空間の上方には、撮影操作部21の正面、連結部23A、および連結部23Bに囲まれた天井が形成される。その天井の一部に、天井ストロボユニット24が設けられる。天井ストロボユニット24の一端が連結部23Aに固定され、他端が連結部23Bに固定される。天井ストロボユニット24は、撮影に合わせて撮影空間内に向けて光を照射するストロボを内蔵する。天井ストロボユニット24の内部には、ストロボの他に蛍光灯が設けられている。これにより、天井ストロボユニット24は、撮影空間の照明としても機能する。
編集ユニット12は、撮影画像に編集を施すための装置である。編集ユニット12は、一方の側面が撮影操作部21の正面パネル42に接するようにして、撮影ユニット11に連結している。
図1に示される編集ユニット12の構成を正面側の構成とすると、編集ユニット12の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、2組の利用者が同時に編集作業を行うことができる。
編集ユニット12の正面側は、面61と、面61の上方に形成された斜面62から構成される。面61は、床面に対して垂直で、撮影操作部21の側面パネル41Aとほぼ平行な面である。斜面62には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面62の左側には、照明装置64の一端を支持する柱状の支持部63Aが設けられる。斜面62の右側には、照明装置64の他端を支持する柱状の支持部63Bが設けられる。支持部63Aの上面にはカーテンレール26を支持する支持部65が設けられる。
編集ユニット12の上方にはカーテンレール26が取り付けられる。カーテンレール26は、3本のレール26A,26B,26Cが、組み合わせられて構成される。3本のレール26A,26B,26Cは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール26Aとレール26Bの一端は、連結部23Aと連結部23Bにそれぞれ固定され、レール26Aとレール26Bの他端は、レール26Cの両端にそれぞれ接合される。
カーテンレール26には、編集ユニット12の正面前方の空間と背面前方の空間が外から見えないようにカーテンが取り付けられる。そのカーテンにより囲まれる編集ユニット12の正面前方の空間と背面後方の空間が、利用者が編集作業を行う編集空間となる。
また、後述するが、編集ユニット12の左側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット12の左側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。
(利用者の移動)
ここで、画像作成ゲームの流れと、それに伴う利用者の移動について説明する。図3は、写真シール作成ゲーム中の利用者の空間移動を説明するための図である。
まず、利用者は、事前選択操作部20の前方の空間である事前選択空間A0において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って各種の設定を行う。利用者は、例えば、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。
事前選択作業を終えた利用者は、白抜き矢印#1で示すように、側面パネル41Aと側面パネル52Aの間の出入り口G1から、撮影操作部21と背景部22の間に形成された撮影空間A1に入る。そして利用者は、撮影操作部21に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。
撮影作業を終えた利用者は、白抜き矢印#2で示すように出入り口G1から撮影空間A1を出て編集空間A2−1に移動するか、または、白抜き矢印#3で示すように出入り口G2から撮影空間A1を出て編集空間A2−2に移動する。
編集空間A2−1は、編集ユニット12の正面側の編集空間である。一方、編集空間A2−2は、編集ユニット12の背面側の編集空間である。利用者が編集空間A2−1と編集空間A2−2のいずれの空間に移動するのかは、撮影操作部21のタッチパネルモニタの画面表示などによって案内される。例えば2つの編集空間のうちの空いている方が移動先として案内される。編集空間A2−1または編集空間A2−2に移動した利用者は、編集作業を開始する。編集空間A2−1の利用者と、編集空間A2−2の利用者は同時に編集作業を行うことができる。
編集作業が終了した後、編集画像の印刷が開始される。印刷が開始されると、編集空間A2−1での編集作業を終えた利用者は、白抜き矢印#4で示すように編集空間A2−1から印刷待ち空間A3に移動する。また、編集空間A2−2での編集作業を終えた利用者は、白抜き矢印#5で示すように編集空間A2−2から印刷待ち空間A3に移動する。
印刷待ち空間A3に移動した利用者は、画像の印刷の終了を待つ。印刷が終了すると、利用者は、編集ユニット12の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の画像作成ゲームを終える。
(事前選択部の構成)
次に、各装置の構成について説明する。図4は、事前選択操作部20の正面図である。
事前選択操作部20の上側にはタッチパネルモニタ71が設けられる。タッチパネルモニタ71は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ71は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ71には、撮影に関するコースの選択、編集の対象となる編集対象画像における背景となる画像の選択、作成画像のレイアウト、画像作成ゲーム中に流れるBGM(Back Ground Music)、音および音声の少なくともいずれかの選択、並びに利用者の名前の入力などを行わせる事前選択処理に用いられる画面が表示される。
撮影に関するコースは、利用者が2人で撮影を行う2人用コースと、3人以上で撮影を行う大人数コースとが用意されている。また、男女のカップルで撮影を行うカップルコースが用意されていてもよい。
タッチパネルモニタ71の下方には、スピーカ72が設けられる。スピーカ72は、事前選択処理の案内音声、BGM、効果音などを出力する。また、スピーカ72に隣接するようにして、利用者が硬貨を入れる硬貨投入返却口73が設けられる。
(撮影部の構成)
図5は、撮影操作部21の正面図である。撮影操作部21は、側面パネル41A、側面パネル41B、および正面パネル42に囲まれるようにして構成される。
正面パネル42の中央には、カメラユニット81が設けられる。カメラユニット81は、カメラ91およびタッチパネルモニタ92から構成される。
カメラ91は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット81の内部に取り付けられる。カメラ91は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、撮影空間A1にいる利用者を撮影する。カメラ91により取り込まれた動画像(以下、ライブビュー表示画像ともいう)は、タッチパネルモニタ92にリアルタイムで表示される。撮影が指示されたときなどの所定のタイミングでカメラ91により取り込まれた静止画像は、撮影画像として保存される。
タッチパネルモニタ92は、カメラ91の下方に設けられる。タッチパネルモニタ92は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ92は、カメラ91により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUIを表示し利用者の選択操作を受け付ける機能を備えている。当該選択操作の具体例としては、撮影コースの選択、撮影開始および終了の指示(撮影の制御指示)、目の変形具合および色、ならびに肌の色の補正具合の選択、作成画像における背景画像となる画像の選択、ならびに画像作成ゲーム中のBGM(音・音声)の選択などが挙げられる。タッチパネルモニタ92には、カメラ91により取り込まれた動画像(ライブビュー画像)や静止画像(撮影画像)が表示される。
カメラユニット81の上方には、曲面の発光面を利用者に向けた上ストロボ82が設置される。上ストロボ82は、正面上方から利用者の顔および上半身に光を照射する。
また、カメラユニット81の下方には、利用者の下半身および足元に光を照射する足元ストロボ85が設けられる。なお、上ストロボ82と足元ストロボ85には、ストロボと蛍光灯が含まれている。
なお、図示はしないが、正面パネル42の例えば天井付近には、スピーカが設けられる。そのスピーカは、撮影処理の案内音声、BGM、効果音などを出力する。
(背景部の構成)
図6は、背景部22の撮影空間A1側の正面図である。
背面パネル51の上方には、背面上ストロボ101が設置される。背面上ストロボ101は、背面上方から利用者に光を照射する。
図中、背面パネル51の左方には、背面左ストロボ102が設置される。背面左ストロボ102は、背面右方から利用者を照射する。図中、背面パネル51の右方には、背面右ストロボ103が設置される。背面右ストロボ103は、背面左方から利用者を照射する。
また、背面パネル51の撮影空間A1側(図中、手前側)の面には、クロマキーシート121が貼り付けられていてもよい。クロマキーシート121の色は、例えば緑色とされる。
なお、図示はしないが、側面パネル52A,52Bの撮影空間A1側の面にも、クロマキーシート121と同様に、クロマキーシートが貼り付けられていてもよい。
(編集ユニットの構成)
図7は、編集ユニット12の編集空間A2−1側の正面図である。
斜面62のほぼ中央には、タブレット内蔵モニタ131が設けられる。タブレット内蔵モニタ131の左側にはタッチペン132Aが設けられる。タブレット内蔵モニタ131の右側にはタッチペン132Bが設けられる。タブレット内蔵モニタ131は、タブレットがディスプレイを露出するように設けられることによって構成される。タブレットは、タッチペン132Aまたはタッチペン132Bを用いた操作入力を可能とする。タブレット内蔵モニタ131には、例えば、編集作業に用いられる編集画面が表示される。例えば、2人の利用者が同時に編集作業を行う場合、タッチペン132Aはタブレット内蔵モニタ131に向かって左側にいる利用者により用いられ、タッチペン132Bはタブレット内蔵モニタ131に向かって右側にいる利用者により用いられる。
図8は、編集ユニット12の左側面図である。
編集ユニット12の左側面の下側にはシール紙排出口161が設けられる。編集ユニット12の内部にはプリンタが設けられている。そのプリンタにより、編集空間A2−1の利用者が写る画像、または、編集空間A2−2の利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口161から排出される。
(写真シール作成装置の内部構成)
図9は、写真シール作成装置1の内部の構成例を示すブロック図である。図9において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
制御部201はCPU(Central Processing Unit)などにより構成される。制御部201は、ROM(Read Only Memory)206や記憶部202に記憶されているプログラムを実行し、写真シール作成装置1の全体の動作を制御する。制御部201には、記憶部202、通信部203、ドライブ204、ROM206、RAM(Random Access Memory)207が接続される。制御部201には、事前選択操作部20、撮影操作部21、背景部22、編集操作部27A,27B、および印刷操作部28の各構成も接続される。
記憶部202は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部202は、制御部201から供給された各種の設定情報などを記憶する。記憶部202に記憶されている情報は制御部201により適宜読み出される。
通信部203は、インターネットなどのネットワークのインタフェースである。通信部203は、制御部201による制御に従って外部の装置と通信を行う。通信部203は、例えば、利用者に選択された撮影画像や編集画像をサーバに送信する。通信部203から送信された画像は、サーバにおいて所定の記憶領域が割り当てられて保存され、サーバにアクセスしてきた携帯端末に表示されたり、ダウンロードされたりする。
ドライブ204には、光ディスクや半導体メモリなどよりなるリムーバブルメディア205が適宜装着される。ドライブ204によりリムーバブルメディア205から読み出されたプログラムやデータは、制御部201に供給され、記憶部202に記憶されたり、インストールされたりする。
ROM206は、制御部201において実行されるプログラムやデータを記憶する。RAM207は、制御部201が処理するデータやプログラムを一時的に記憶する。
事前選択操作部20は、事前選択空間A0にいる利用者を対象とした事前選択処理を実現する。事前選択操作部20は、タッチパネルモニタ71、スピーカ72、および硬貨処理部74から構成される。
タッチパネルモニタ71は、制御部201による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部201に供給され、各種の設定が行われる。
硬貨処理部74は、硬貨投入返却口73への硬貨の投入を検出する。硬貨処理部74は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号を制御部201に出力する。
撮影操作部21は、撮影空間A1にいる利用者を対象とした撮影処理を実現する。撮影部209は、上ストロボ82、左ストロボ83、右ストロボ84、足元ストロボ85、カメラ91、タッチパネルモニタ92、およびスピーカ93から構成される。
上ストロボ82、左ストロボ83、右ストロボ84、および足元ストロボ85は、撮影空間A1内に配置され、制御部201から供給される照明制御信号に従って発光する。
カメラ91は、制御部201によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像(画像データ)を制御部201に出力する。
編集操作部27Aは、編集空間A2−1にいる利用者を対象とした編集処理を実現する。編集操作部27Aは、タブレット内蔵モニタ131、タッチペン132A,132B、およびスピーカ133から構成される。編集操作部27Bは、編集空間A2−2にいる利用者を対象とした編集処理を実現し、編集操作部27Aと同一の構成を有する。なお、以下、編集操作部27A,27Bを特に区別しない場合には、単に、編集操作部27という。
タブレット内蔵モニタ131は、制御部201による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部201に供給され、編集対象となる撮影画像が編集される。
印刷操作部28は、印刷待ち空間A3にいる利用者に、作成画像を印刷済みのシール紙を提供する印刷処理を実現する。印刷操作部28は、プリンタ140を含むように構成される。プリンタ140にはシール紙ユニット141が装着される。
プリンタ140は、制御部201から供給された印刷データに基づいて、編集画像をシール紙ユニット141に収納されているシール紙142に印刷し、シール紙排出口161に排出する。
(写真シール作成装置の機能ブロック)
図10は、写真シール作成装置1の機能ブロックを示すブロック図である。写真シール作成装置1は、事前選択部210、撮影部220、領域特定部303、合成部304、編集部230、および印刷部240として機能する。また、制御部201は、本発明の写真シール作成処理プログラムを実行することにより、事前選択処理部301、撮影処理部302、領域特定部303、合成部304、編集処理部305、および印刷処理部306として機能する。
事前選択部210は、上述した事前選択操作部20と、事前選択処理部301とを備える。事前選択処理部301は、事前選択操作部20におけるタッチパネルモニタ71、スピーカ72、および硬貨処理部74を制御することで、事前選択処理を行う。事前選択処理部301は、撮影空間A1において行われる撮影に関するコースの選択のための選択画面等をタッチパネルモニタ71に表示させる。また事前選択処理部301は、タッチパネルモニタ71に対する、利用者の操作入力を受け付ける。具体的には、事前選択処理部301は、タッチパネルモニタ71に表示された選択画面に対する選択の操作入力、および利用者の名前の入力等を受け付ける。また事前選択処理部301は、各種の選択操作を説明するガイダンスの出力を制御する。事前選択処理部301は、各種の選択操作を説明する画面をタッチパネルモニタ71に表示させたり、各種の選択操作を説明する音声をスピーカ72から出力させたりする。
撮影部220は、上述した撮影操作部21と、撮影処理部302とを備える。撮影処理部302は、撮影操作部21におけるカメラ91、タッチパネルモニタ92、およびスピーカ93を制御することで、撮影処理を行う。撮影処理部302は、タッチパネルモニタ92の表示を制御し、カメラ91に取り込まれた動画像をタッチパネルモニタ92にライブビュー表示させたり、撮影結果である撮影画像を表示させたりする。また撮影処理部302は、タッチパネルモニタ92に対する、利用者の操作入力を受け付ける。また撮影処理部302は、カメラ91を制御し、利用者を被写体として撮影する。さらに撮影処理部302は、撮影作業の進め方などを説明するガイダンスの画面をタッチパネルモニタ92に表示させたり、撮影の進め方などを説明するガイダンスの音声をスピーカ93から出力させたりする。
領域特定部303は、撮影画像から利用者の髪領域を特定する。本実施形態においては、一例として、画像センシング技術を用いることにより、利用者の顔の器官を認識し、認識した結果に基づいて、利用者の髪領域の特定を行っている。髪領域の特定処理の詳細については後述する。
合成部304は、クロマキー処理により、取得した撮影画像から背景板や背景カーテンなどのクロマキーシートが写っている部分を切り落として利用者部分を取出し、この利用者部分の画像を選択された合成用背景画像の上に重ねるクロマキー合成を行ってライブビュー表示画像を作成する。このようなクロマキー合成を行うことで、撮影時のポーズにあったライブビュー表示画像を作成することができる。
また、合成部304は、撮影画像に合成する合成用画像を生成し、合成用画像を撮影画像に合成してライブビュー表示画像を作成する。合成用画像としては、肌の質感の修正、美白化、小顔補正等の画像処理のための合成用画像、頬の色やリップ等のメイクアップに関する画像処理のための合成用画像、あるいは、目、鼻、および輪郭等のパーツバランスに関する画像処理のための合成用画像等が含まれる。さらに、本実施形態においては、合成部304は、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像を、合成用画像の少なくとも一つとして生成し、撮影画像の前記髪領域に合成する。艶合成用画像の生成処理および合成処理の詳細については後述する。
合成部304は、カメラ91に取り込まれた動画像に合成用画像を合成し、タッチパネルモニタ92にライブビュー表示画像をライブビュー表示させる。したがって、利用者は、仕上がりイメージを確認しながら撮影を行うことができる。また、後述する編集部230における編集処理を合成用画像に反映させ、撮影画像に合成して、編集操作部27A,27Bのタブレット内蔵モニタ131に表示させる。
編集部230は、上述した編集操作部27A,27Bと、編集処理部305とを備える。編集処理部305は、編集操作部27A,27Bにおけるタブレット内蔵モニタ131、およびスピーカ133を制御することで、編集処理を行う。編集処理部305は、タブレット内蔵モニタ131に対する、タッチペン132A,132Bを用いた利用者の操作入力を受け付ける。また、編集処理部305は、タブレット内蔵モニタ131に表示させた選択画面に対する選択操作に応じて、編集対象画像に所定の画像処理を施す。また、編集処理部305は、タブレット内蔵モニタ131に表示させた編集画面に対する入力操作に応じて、合成用画像に所定の画像処理を施し、あるいは、入力操作に応じて新たな合成用画像を生成するように合成部304に指示を行う。また、編集処理部305は、編集の進め方などを説明するガイダンスの出力を制御する。例えば、編集処理部305は、編集の進め方などを説明するガイダンスの画面をタブレット内蔵モニタ131に表示させたり、編集の進め方などを説明するガイダンスの音声をスピーカ133から出力させたりする。また、編集処理部305は通信部203を制御し、インターネットなどのネットワークを介した通信に関する処理を行う。また、編集処理部305は、印刷操作部28のプリンタ140を制御することで、印刷処理を行ってもよい。
印刷部240は、上述した印刷操作部28と、印刷処理部306とを備える。印刷処理部306は、編集処理部305から印刷データを受け取り、印刷操作部28のプリンタ140を制御することで、印刷処理を行う。
このように、写真シール作成装置1は課金と引き換えに、利用者の気持ちが盛り上がるような仕掛け(撮影ポーズの選択、BGM、ナレーションなど)が種々施された写真シール作成ゲームを提供する。そのため、写真シール作成装置1での作成画像は、利用者の楽しい表情が引き出された画像や、趣向を凝らした、華やかな画像となる。
また、写真シール作成装置1ではライティングなどの設備が充実しており、そして画像の変形処理(例えば被写体の目の大きさや脚の長さなど)および色の補正(被写体の肌の美白処理など)などを高度な技術で行えるため、写真シール作成装置1で作成した画像は、利用者の写りが良い画像となる。
また、写真シール作成装置1以外での画像処理(例えば写真加工のためのアプリケーションなどでの処理)に比べて容易に編集(画像への落書き)ができ、当該編集のバリエーションも豊かである。この点からも、写真シール作成装置1での作成画像は写真シール作成装置1以外で撮影および画像処理された画像に比べ、比較的華やかに仕上がるといえる。
(写真シール作成ゲームの流れ)
次に、利用者が写真シール作成装置1において写真シール作成ゲームを行う処理の流れについて、図11を用いて説明する。図11は、写真シール作成装置1におけるゲームの開始から当該ゲームで写真シールを作成するまでの処理の流れを示すフローチャートである。
ゲーム開始前の状態においては、写真シール作成装置1の事前選択処理部301として機能する制御部201は、事前選択操作部20のタッチパネルモニタ71に、硬貨の投入を促すメッセージを表示させる。また、制御部201は、図11に示すように、硬貨処理部74からの起動信号の有無に基づいて、硬貨投入返却口73に硬貨が投入されたか否かを判定する(S1)。制御部201は、硬貨投入返却口73に硬貨が投入されていないと判定した場合には(S1:NO)、硬貨が投入されたか否かの判定処理を継続する。
ゲームを開始しようとする利用者は、事前選択操作部20の前方の空間である事前選択空間A0において硬貨投入返却口73に硬貨を投入する。硬貨投入返却口73へ硬貨が投入されると、硬貨処理部74からゲームの開始を指示する起動信号が出力される。制御部201は、硬貨処理部74から起動信号を入力すると、硬貨投入返却口73に硬貨が投入されたと判定し(S1:YES)、利用者に対して事前接客処理を実行する(S2)。
事前接客処理においては、制御部201は、タッチパネルモニタ71に、コースの選択、名前の入力、およびデザインの選択等を促すメッセージ等を表示させる。利用者が、タッチパネルモニタ71に表示されるメッセージ等に従って各種の選択または入力を行うと、制御部201は、コース、名前、デザイン、および印刷レイアウト等の設定を行う。
事前接客処理が終了すると、制御部201は、利用者に対して撮影空間A1に移動して撮影を行うことを促すメッセージ等をタッチパネルモニタ71に表示させる。撮影処理部302として機能する制御部201は、撮影操作部21のタッチパネルモニタ92に、スタートボタンを表示させる。撮影空間A1に移動した利用者が、タッチパネルモニタ92に表示されたスタートボタンにタッチすると、制御部201は、スタートボタンがタッチされたことを読み取り、撮影処理を開始する(S3)。
撮影処理においては、制御部201は、タッチパネルモニタ92に、例えばライティングに関するガイダンスを表示させ、利用者にライティングのレベルの選択を促す。利用者がライティングのレベルを選択すると、制御部201は、ライティングのレベルを、選択されたレベルに設定する。
また、制御部201は、利用者を立ち位置に誘導するためのガイダンスをタッチパネルモニタ92に表示させる。さらに、制御部201は、サンプルポーズをタッチパネルモニタ92に表示させる。また同時に、制御部201は、カメラ91で取得している動画像をタッチパネルモニタ92にライブビュー表示させる。
領域特定部303および合成部304として機能する制御部201は、利用者に選択させた撮影コースに応じて、合成用背景画像や艶合成用画像などの合成用画像と撮影中の動画像を合成したライブビュー表示画像をタッチパネルモニタ92にライブビュー表示させる(S4)。これにより、利用者は、仕上がりイメージを確認しながらポーズを取ることができる。
なお、合成用画像に関して、制御部201は、撮影コースに合った合成用画像を用いるか、撮影開始前に複数種類の合成用画像を選択可能にタッチパネルモニタ92に表示させて利用者に選択させる。
撮影処理部302として機能する制御部201は、タッチパネルモニタ92の表示とスピーカ93による音声でカウントダウンを行い、このカウントダウンの終了タイミングで、上ストロボ82、左ストロボ83、右ストロボ84、および足元ストロボ85に照明制御信号を送信すると共にカメラ91にシャッタ信号を送信する。
これにより、上ストロボ82、左ストロボ83、右ストロボ84、および足元ストロボ85から閃光を照射し、照明された利用者が背景とともに写っている撮影画像をカメラ92により取得する。本実施形態では、一例として、ステップS3からステップS4までの処理を複数回繰り返して複数枚の撮影画像を取得する。また、制御部201は、撮影画像に合成用画像を合成させた編集対象画像を記憶部202に記憶させる。
撮影終了後、制御部201は、利用者に対して、編集空間A2−1、または編集空間A2−2のいずれか一方への移動を促す案内画面をタッチパネルモニタ92に表示するとともに、音声による移動案内をスピーカ93に出力する。
そして、制御部201は、利用者による編集対象画像の編集を許容する編集処理を実行する(S5)。詳述すると、制御部201は、編集対象画像を、タブレット内蔵モニタ143に表示し、この編集対象画像に対して利用者がタッチペン145でスタンプ画像やペン画像などを描くことを許容し、編集画像を作成する。本実施形態では、艶合成用画像の強調の有無の設定についても編集処理で行うことが可能となっている。艶合成用画像の強調の有無の設定についての詳細は後述する。
その後、制御部201は、利用者に対してシール紙排出口161が設けられた印刷待ち空間A3への移動を促す案内画面をタブレット内蔵モニタ131に表示するとともに、音声による移動案内をスピーカ133に出力する。
さらに、制御部201は、事前選択操作部20において選択された印刷レイアウトに編集画像を配置して印刷用画像を作成し、この印刷用画像をシール紙142に印刷する印刷処理を実行する(S6)。
印刷処理が終了すると、制御部201は、シール紙142の排出処理を実行し(S7)、印刷完了したシール紙142をシール紙排出口161から排出し、利用者に写真シールとして提供してゲームを終了する。このようにして、写真シール作成装置1により作成した利用者の撮影画像を、写真シールとして出力することができる。なお、詳細な説明は省略するが、本実施形態の写真シール作成装置1は、通信により、撮影画像を携帯端末等に出力することも可能である。
以上のような動作を実現する構成の写真シール作成装置1は、利用者の顔を明るく写すとともに、頭髪に輝くような艶のある写真シールを利用者に提供することができる。
(艶合成用画像の詳細)
次に、図12から図16を参照しつつ、艶合成用画像の詳細について説明する。図12は、編集ユニット12のタブレット内蔵モニタ131に表示される編集画面400の一例を示す図である。図12に示すように、編集画面400は、第1編集部401と第2編集部402とを備えている。
第1編集部401には、第1サムネイル部403、第1編集対象画像表示部405、第1ON/OFFボタン407、および第1パレット409を備えている。同様に、第2編集部402には、第2サムネイル部404、第2編集対象画像表示部406、第2ON/OFFボタン408、第2パレット410、第1フィルタボタン411、および第2フィルタボタン412を備えている。
第1サムネイル部403および第2サムネイル部404には、撮影ユニット11において撮影された5枚の編集対象画像のサムネイルが表示される。第1サムネイル部403および第2サムネイル部404に表示されるサムネイルは、タッチペン132Aまたはタッチペン132Bで選択することができる。図12の例では、中央のサムネイルが選択され、黒枠403a,404aが表示されている。なお、図示を省略するが、黒枠403a,404aが表示されたサムネイルには、「らくがき中」または「選択中」の文字が表示される。
第1表示部としての第1編集対象画像表示部405には、第1サムネイル部403で選択されたサムネイルに対応する編集対象画像が表示され、第2表示部としての第2編集対象画像表示部406には、第2サムネイル部404で選択されたサムネイルに対応する編集対象画像が表示される。図12に示すように、編集対象画像には、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像420,421が表示される。
第1ON/OFFボタン407は、第1編集対象画像表示部405に表示されている編集対象画像における艶合成用画像420,421の強調の有無を切り替える。第2ON/OFFボタン408は、第2編集対象画像表示部406に表示されている編集対象画像における艶合成用画像420,421の強調の有無を切り替える。
第1パレット409は、第1編集対象画像表示部405に表示されている編集対象画像に文字や模様等の修飾を行う際における、色や模様の種類等を選択するために用いられる。第2パレット410は、第2編集対象画像表示部406に表示されている編集対象画像に文字や模様等の修飾を行う際における、色や模様の種類等を選択するために用いられる。
第1フィルタボタン411は、第1編集対象画像表示部405に表示されている編集対象画像に、フィルター加工を施すために用いられる。第2フィルタボタン412は、第2編集対象画像表示部406に表示されている編集対象画像に、フィルター加工を施すために用いられる。フィルター加工の例としては、目を大きくしたり、口紅を付けたり等、顔の所定の器官について、大きさ、色、質感等を加工することが挙げられる。このようなフィルター加工を施すことで、肌のぼかし、髪を鮮明にする写真シール作成装置独特の加工感が抑えられ、利用者自身の肌や髪がもつ質感を活かした仕上がりにすることができる。
次に、図13から図16を参照しつつ、艶合成用画像420,421の作成処理について説明する。図13および図14は、艶合成用マスクの作成処理を説明するための図である。図15は、作成された艶合成用マスクを示す図である。
上述したように、撮影ユニット11内における撮影処理においては、合成用背景画像と撮影中の利用者の動画像を合成したライブビュー表示画像をタッチパネルモニタ92にライブビュー表示させる。この際、領域特定部303および合成部304として機能する制御部201は、ライブビュー表示画像の画像データを、所定のフレームレートで取得する。
領域特定部303として機能する制御部201は、取得した画像データに対して、利用者の顔の器官を認識する顔認識処理を行う。顔認識処理においては、制御部201は、顔の輪郭点を複数検出することで、顔であるか否かを判定する。顔であると判定した場合は、以下のような艶合成用マスクの作成処理を実行する。
制御部201は、図13に示すように、顔の輪郭点の中から、こめかみの端に対応する輪郭点P1と輪郭点P2とを選び、輪郭点P1と輪郭点P2との中点C1を求める。次に、制御部201は、図13に示すように、顔の輪郭点の中から、顎先端に対応する輪郭点P3を選び、この輪郭点P3から中点C1へ向かうベクトルVを算出する。制御部201は、輪郭点P3から中点C1までの距離L1を求め、距離L1に所定の係数を掛けて、ベクトルVの延長線上に楕円の中心C2を設定する。この中心C2を設定する処理が、利用者の髪領域を特定する処理である。なお、ここで説明した処理は、髪領域を特定する処理の一例であり、後述するように、髪領域を特定する処理には種々の態様が考えられる。
制御部201は、図14に示すように、輪郭点P1から輪郭点P2までの距離L2を求め、距離L2に所定の係数を掛けることにより、楕円の短軸半径hを算出する。制御部201は、距離L2に所定の係数を掛けることにより、楕円の長軸半径wを算出する。制御部201は、距離L2に所定の係数を掛けることにより、楕円の幅dを算出する。制御部201は、上述のように算出した楕円の短軸半径h、楕円の長軸半径w、および楕円の幅dに基づいて、楕円の描画を行う。また、制御部201は、楕円の描画を行う際には、楕円の中心C2から左右対称に描く楕円の角度の制限値θが予め設定されているため、この制限値θに基づいて、図14に示すように一部が切り欠かれた楕円E1を描画する。本実施形態では、このようにして描画した楕円を、図15に示すように艶合成用マスク450として用いる。なお、楕円の短軸半径および長軸半径は、ここで説明した方法で算出する例に限定されるものではなく、その他の方法で算出してもよいし、あるいは、予め定められた値を用いるようにしてもよい。また、制限値θは、常に用いる必要はなく、後述する人物マスクの利用により、実質的に制限値θを設けた場合と同様の処理を行ってもよい。
なお、上述した顔の輪郭点P1,P2,P3は一例であり、本発明における楕円の描画に用いる輪郭点は、これらの輪郭点に限定される訳ではない。任意の輪郭点を用いて上述のような楕円の描画処理を行ってもよい。
また、上述した例では、複数の輪郭点を選び、輪郭点間の距離を算出することで、利用者の髪領域を特定し、楕円の描画処理を実現したが、本発明はこのような例に限定される訳ではない。例えば、顔の器官の面積を算出することにより、楕円の描画処理を実行してもよい。例えば、目等の顔の中の所定の器官の面積を取得することで、顔のサイズや顔の中心点を算出してもよい。そして、顔のサイズや顔の中心点に基づいて、髪領域を特定してもよい。また、距離画像センサ等のセンサを利用することにより、髪領域を特定してもよい。
次に、図16を参照しつつ、艶合成用マスク450の最適化処理について説明する。図16は、本実施形態における艶合成用マスク450の最適化処理を説明するための図である。
図16に示すように、艶合成用マスクレイヤー500には、上述のようにして作成した艶合成用マスク450が描画されている。この例では、利用者は2人であり、それぞれの利用者に合わせた2つの艶合成用マスク450が描画されている。本実施形態では、図16に示すように、クロマキー処理により抽出した利用者の画像を縮小した人物マスク460が描画された人物マスクレイヤー501を用意する。人物マスクレイヤー501は、・・・の際に作成される。
制御部201は、艶合成用マスクレイヤー500の艶合成用マスク450と、人物マスクレイヤー501の人物マスク460とを乗算合成し、両端部がカットされた艶合成用マスク451を作成する。利用者の画像を縮小した人物マスク460を用いて艶合成用マスク450と合成することにより、艶合成用マスク450の両端部をカットし、利用者の頭髪の縁部にまで艶合成用画像が表示されないようにしている。
また、本実施形態では、図16に示すように、肌色部分を特定した肌色マスク470が描写された肌色マスクレイヤー502を用意する。肌色マスク470とは、利用者の肌色部分を特定するマスクである。本実施形態においては、撮影ユニット11における撮影処理の際に、色認識部として機能する制御部201は、顔認識処理と共に肌色認識処理を行っている。肌色マスク470は、この肌色認識処理を行った際に作成される。
制御部201は、艶合成用マスクレイヤー500に描写された前記両端部がカットされた艶合成用マスク451と、肌色マスクレイヤー502に描写された肌色マスク470とを乗算合成し、肌色部分に重なる箇所がカットされた艶合成用マスク452を作成する。利用者の肌色部分を特定する肌色マスク470を用いて艶合成用マスク451と合成することにより、艶合成用マスク451の肌色部分に重なる箇所をカットし、利用者の額等の頭髪が存在していない部分にまで艶合成用画像が表示されないようにしている。このような処理を行うことにより、不自然な艶合成用画像となることを防止している。
なお、艶合成用マスク452は、肌色部分に重なる箇所がカットされている必要はなく、肌色部分が透過されるように作成してもよい。
最後に、制御部201は、肌色部分に重なる箇所がカットされた艶合成用マスク452に対してガウスぼかしの処理を施す。ガウスぼかしの処理を施すことにより、周縁が強調されず、自然な表現の艶合成用マスク453が作成される。
合成部304としての機能する制御部201は、以上のように作成した艶合成用マスク453と、艶の色や明るさ等を擬似的に表現するための白色等のコンテンツ画像とを乗算合成することにより、図12に示すような最終的な艶合成用画像420,421が作成される。
コンテンツ画像は、予め作成して記憶部202に記憶させておいてもよいし、顔認識処理を行うたびに、その都度生成してもよい。また、肌色認識処理や頭髪の色の認識処理を行った際に、肌の色や頭髪の色に合わせて、コンテンツ画像の明度、彩度、および色相を調整するようにしてもよい。さらに、艶合成用マスクを作成した場合でも、そのマスクが小さい場合等は、顔認識処理が成功しなかった虞がある。このような場合には、艶合成用画像を合成しないようにしてもよい。
さらに、合成部304としての機能する制御部201は、艶合成用画像を複数種類生成してもよい。この場合には、編集部230として機能する制御部201は、利用者の指示に応じて、複数種類の艶合成用画像の中から一の艶合成用画像を選択する画像選択機能を備えるようにしてもよい。このようにすれば、利用者の趣向に応じた艶合成用画像を表示させることができる。
図12に示すように、第1編集対象画像表示部405に表示された左側の利用者U1の艶合成用画像421は、額の肌色部分に重なる箇所がカットされた艶合成用画像となっている。また、第1編集対象画像表示部405に表示された利用者U1,U2の艶合成用画像420,421は、利用者U1,U2の頭髪部分の縁部からはみ出さないように、両端部がカットされている。以上のように、本実施形態によれば、撮影空間A1における利用者の立ち位置の違い等により、ライティングの影響を受けることなく、頭髪の艶を擬似的に表現することができる。また、本実施形態によれば、理想的な位置に、頭髪の艶を擬似的に表現することができる。
本実施形態の制御部201は、以上のように艶合成用画像を生成および合成するだけでなく、艶合成用画像について、艶を強調させるか否かの属性情報を変更する属性情報変更機能を備えている。以下、図17から図24を参照しつつ、艶合成用画像を強調させるか否かの属性情報を変更する属性情報変更機能について説明する。図17から図24は、編集画面400における第1編集対象画像表示部405または第2編集対象画像表示部406、およびそれらの周辺のみを取り出して示す図である。
図17は、第1編集対象画像表示部405およびその周辺を示している。図17に示す状態は、一例として、撮影処理が終了し、利用者が編集空間A2−1または編集空間A2−2に移動して、編集処理を行っている状態を示している。この状態では、艶合成用画像420a,421aは、強調されていない。この状態で、利用者がタッチペン132Aにより、第1ON/OFFボタン407にタッチすると、制御部201は、図18に示すように、第1ON/OFFボタン407における"ON"の表示を、"OFF"に切り替える。これは、前記属性情報が、艶合成用画像を強調する内容に変更されたことを示しており、第1編集対象画像表示部405における利用者U1または利用者U2が選択されると、制御部201は、選択された利用者の艶合成用画像に前記属性情報を適用させ、艶合成用画像を強調させる処理を実行する。
また、利用者選択機能を備えた編集部230としての機能する制御部201は、上述のように第1ON/OFFボタン407のタッチが行われると、図18に示すように、選択枠600を、第1編集対象画像表示部405における左側の利用者U1の顔部分を囲むように表示させる。選択枠600は、編集対象の利用者のみを選択するための枠である。選択枠600は、艶合成用画像の強調の有無を切り替える機能を利用する場合にのみ表示されるものではなく、他の編集機能を利用する場合にも、編集対象の利用者を選択するための枠として表示される。
一般的に、撮影空間A1において、カメラ91に向かって左側に立つ利用者、つまり、第1編集対象画像表示部405において左側に表示される利用者は、編集空間A2−1,A2−2においても、タブレット内蔵モニタ131に向かって左側に立ち、左側の第1編集対象画像表示部405を見ながら編集を行う傾向にある。したがって、第1ON/OFFボタン407がタッチされて最初に表示させる選択枠600の位置を、第1編集対象画像表示部405における左側の利用者U1側とすることにより、利用者U1は少ない操作で艶合成用画像の強調の有無を切り替えることができる。また、最初の選択枠600の位置を右側の利用者U2側とする場合に比較すると、少ない操作で、編集を行っている本人に対して合成用画像を合成できる。
さらに、制御部201は、図18に示すように、第1編集対象画像表示部405の下部に、ガイドメッセージ601を表示させる。図18に示す例では、一例として、「髪ツヤを足したい人の顔にタッチしてね!」というガイドメッセージ601を表示させる。
図18に示す状態で、利用者が、タッチペン132Aにより、左側の利用者U1の顔をタッチした場合には、制御部201は、利用者U1の髪領域に表示されている艶合成用画像421aを強調させる処理を行う。強調させる方法としては、例えば、艶合成用画像421aの明度を所定値だけ高くすることが挙げられる。つまり、前記属性情報には、明度等が含まれる。図19は、艶合成用画像421aが強調されて艶合成用画像421aよりも明るい艶合成用画像421bに変化した状態を示している。
次に、利用者が、タッチペン132Aにより右側の利用者U2の顔をタッチした場合には、制御部201は、選択枠600を、図20に示すように利用者U2の顔部分を囲む位置に移動させ、利用者U2の髪領域に表示されている艶合成用画像420aを強調する処理を行う。図20は、艶合成用画像420aが強調されて艶合成用画像420aよりも明るい艶合成用画像420bに変化した状態を示している。
なお、図18に示すように、選択枠600が左側の利用者U1の位置に表示されている状態において、利用者が、タッチペン132Aにより右側の利用者U2の顔部分をタッチした場合にも、上述した処理と同様の処理が行われる。つまり、制御部201は、選択枠600を、図20に示すように利用者U2の顔を囲む位置に移動させ、利用者U2の頭髪部に表示されている艶合成用画像420aを強調する処理を行う。
図20に示す状態で、利用者が、タッチペン132Aにより第1ON/OFFボタン407にタッチすると、制御部201は、図21に示すように、第1ON/OFFボタン407における"OFF"の表示を、"ON"に切り替える。これは、前記属性情報が、艶合成用画像を強調しない内容に変更されたことを示しており、第1編集対象画像表示部405における利用者U1または利用者U2が選択されると、制御部201は、選択された利用者の艶合成用画像を強調前の状態に戻す処理を実行する。
図20においては、選択枠600は右側の利用者U2の位置に表示されており、利用者U2が編集対象となっている。したがって、図20に示す状態で、"OFF"と表示されている第1ON/OFFボタン407がタッチされた場合には、制御部201は、利用者U2の艶合成用画像420bを、図21に示すように強調前の艶合成用画像420aに戻す処理を行う。
この状態で、利用者が、タッチペン132Aにより左側の利用者U1の顔をタッチした場合には、制御部201は、選択枠600を、利用者U1の顔部分を囲む位置に移動させ、利用者U1の頭髪部に表示されている艶合成用画像421bを強調前の艶合成用画像421aに戻す処理を行う。
以上のように、本実施形態によれば、利用者が複数の場合でも、利用者ごとに艶合成用画像の強調の有無を切り替えることができる。
上述した処理は、右側の第2編集対象画像表示部406においても同様に行われる。但し、選択枠600の表示順序が第1編集対象画像表示部405とは異なっている。図22は、図18に対応する図であり、利用者が、タッチペン132Bにより第2ON/OFFボタン408にタッチした直後の状態を示している。第2ON/OFFボタン408がタッチされると、制御部201は、図22に示すように、第2ON/OFFボタン408における"ON"の表示を、"OFF"に切り替える。これは、第1ON/OFFボタン407と同様に、艶合成用画像を強調する機能が有効になったことを示している。制御部201は、第2編集対象画像表示部406における利用者U1または利用者U2が選択されると、選択された利用者の艶合成用画像を強調する処理を実行する。
制御部201は、上述のように第2ON/OFFボタン408のタッチが行われると、図22に示すように、選択枠600を、第2編集対象画像表示部406における右側の利用者U2の顔部分を囲むように表示させる。つまり、編集部230として機能する制御部201は、利用者選択機能における利用者の選択の順序が、第1編集対象画像表示部405と第2編集対象画像表示部406とで逆になっている。
一般的に、撮影空間A1において、カメラ91に向かって右側に立つ利用者、つまり、第2編集対象画像表示部406において右側に表示される利用者は、編集空間A2−1,A2−2においても、タブレット内蔵モニタ131に向かって右側に立ち、右側の第2編集対象画像表示部406を見ながら編集を行う傾向にある。したがって、第2ON/OFFボタン408がタッチされて最初に表示させる選択枠600の位置を、第2編集対象画像表示部406における右側の利用者U2側とすることにより、利用者U2は少ない操作で艶合成用画像の強調の有無を切り替えることができる。
制御部201は、第1編集対象画像表示部405の場合と同様に、第2編集対象画像表示部406の下部に、図22に示すガイドメッセージ601を表示させる。ガイドメッセージ601の内容は、第1編集対象画像表示部405の場合と同様に、一例として、「髪ツヤを足したい人の顔にタッチしてね!」となっている。
図22に示す状態で、利用者が、タッチペン132Bにより、右側の利用者U2の顔部分をタッチした場合には、制御部201は、利用者U2の髪領域に表示されている艶合成用画像420aを強調する処理を行う。強調する方法は、第1編集対象画像表示部405の場合と同様である。図23は、艶合成用画像420aが強調されて艶合成用画像420aよりも明るい艶合成用画像420bに変化した状態を示している。
次に、利用者が、タッチペン132Bにより左側の利用者U1の顔部分をタッチした場合には、制御部201は、選択枠600を、図24に示すように利用者U1の顔部分に移動させ、利用者U1の髪領域に表示されている艶合成用画像421aを強調する処理を行う。図24は、艶合成用画像421aが強調されて艶合成用画像421aよりも明るい艶合成用画像421bに変化した状態を示している。
なお、図22に示すように、選択枠600が右側の利用者U2の位置に表示されている状態において、利用者が、タッチペン132Bにより左側の利用者U1の顔部分をタッチした場合にも、上述した処理と同様の処理が行われる。つまり、制御部201は、選択枠600を、図24に示すように利用者U1の顔部分に移動させ、利用者U1の髪領域に表示されている艶合成用画像421aを強調する処理を行う。
なお、利用者が、タッチペン132Bにより第2ON/OFFボタン408にタッチすると、制御部201は、第1編集対象画像表示部405の場合と同様に、第2ON/OFFボタン408における"OFF"の表示を、"ON"に切り替える。これは、第2編集対象画像表示部406において艶合成用画像を強調する機能が無効になったことを示しており、第2編集対象画像表示部406における利用者U1または利用者U2が選択されると、制御部201は、選択された利用者の艶合成用画像を強調前の状態に戻す処理を実行する。
本実施形態では、艶合成用画像を強調させるか否かの処理を行う態様について説明したが、この態様に加えて、あるいは、この態様に代えて、艶合成用画像を髪領域に合成する前の状態に戻す機能を備えてもよい。この場合には、例えば、図25に示すように、第1編集部401に、第1艶合成切り替えボタン411を備える。図示を省略するが、第2編集部402においても、第2艶合成切り替えボタンを備える。第1艶合成切り替えボタン411または第2艶合成切り替えボタンは、編集処理が開始される初期状態においては、例えば「天使の輪っかプラスなし」と表示される。この状態では、艶合成用画像の合成が有効になっている。「天使の輪っかプラスなし」と表示されている第1艶合成切り替えボタン411または第2艶合成切り替えボタンにタッチすると、図25に示すように、「天使の輪っかプラスあり」に表示が切り替えられる。この状態では、艶合成用画像の合成が無効になり、第1ON/OFFボタン407または第2ON/OFFボタン408は表示されない。艶合成用画像の合成が無効にされると、編集部230として機能する制御部201は、編集対象画像を、艶合成用画像が髪領域に合成される前の状態に戻す。その結果、図25に示すように、第1編集対象画像表示部405に表示される編集対象画像には、艶合成用画像が表示されない。図示を省略するが、第2編集対象画像表示部406に表示される編集対象画像においても、艶合成用画像の合成が無効にされた場合には、艶合成用画像が表示されない。このようにすれば、利用者の趣向に応じた編集処理が可能とする。
以上のように、本実施形態によれば、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像を、撮影画像の髪領域に合成するようにしたので、頭髪の周縁部が画像処理によって輝く効果を得られるとともに、被写体の頭部に天使の輪のような光の輪が表現された立体感のある画像を作成できる。
<実施形態2>
次に、本発明の別の実施形態について、図26および図27を参照しつつ説明する。図26は、本実施形態の第1編集部401における第1編集対象画像表示部405およびその周辺を示す図である。図27は、人物切り替えボタンの表示の変化を説明するための図である。
本実施形態においては、第1ON/OFFボタン407等がタッチされると、編集部230として機能する制御部201は、図26に示す人物切り替えボタン602を、選択枠600の代わりとして第1編集対象画像表示部405の下部に表示させる。また、図示を省略するが、第2ON/OFFボタン408等がタッチされると、編集部230として機能する制御部201は、人物切り替えボタン602と同様のボタンを、選択枠600の代わりとして第2編集対象画像表示部406の下部に表示させる。
なお、人物切り替えボタン602は、大人数コースでは表示されず、2人用コースの場合にのみ表示される。
図27(A)に示すように、人物切り替えボタン602は、人物表示部603を備えている。制御部201は、初期状態においては、人物表示部603に、2人の利用者U1,U2の顔部分を表示させる。制御部201は、人物切り替えボタン602内に、例えば「付けたい人を選んでね」のようなガイドメッセージを表示させる。
図27(A)に示す状態から、タッチペン132Aにより人物切り替えボタン602がタッチされると、制御部201は、ガイドメッセージを表示させていた部分に、図27(B)に示すように、例えば「全員」と表示させる。この状態は、利用者選択機能により、利用者U1,U2の全員が、艶合成用画像を強調させるか否かの処理の対象となる。したがって、この状態で、第1ON/OFFボタン407がタッチされてON状態とされると、制御部201は、利用者U1,U2の艶合成用画像を強調させる。また、第1ON/OFFボタン407がタッチされてOFF状態とされると、制御部201は、利用者U1,U2の艶合成用画像を強調させない。
図27(B)に示す状態から、タッチペン132Aにより人物切り替えボタン602がタッチされると、制御部201は、「全員」と表示させていた部分に、図27(C)に示すように、例えば「左」と表示させる。この状態は、利用者選択機能により、第1編集対象画像表示部405に正対する方向から見て左側の利用者U1が、艶合成用画像を強調させるか否かの処理の対象となる。したがって、この状態で、第1ON/OFFボタン407がタッチされてON状態とされると、制御部201は、利用者U1の艶合成用画像を強調させる。また、第1ON/OFFボタン407がタッチされてOFF状態とされると、制御部201は、利用者U1の艶合成用画像を強調させない。
図27(C)に示す状態から、タッチペン132Aにより人物切り替えボタン602がタッチされると、制御部201は、「左」と表示させていた部分に、図27(D)に示すように、例えば「右」と表示させる。この状態は、利用者選択機能により、第1編集対象画像表示部405に正対する方向から見て右側の利用者U2が、艶合成用画像を強調させるか否かの処理の対象となる。したがって、この状態で、第1ON/OFFボタン407がタッチされてON状態とされると、制御部201は、利用者U2の艶合成用画像を強調させる。また、第1ON/OFFボタン407がタッチされてOFF状態とされると、制御部201は、利用者U2の艶合成用画像を強調させない。
図27(D)に示す状態から、タッチペン132Aにより人物切り替えボタン602が
タッチされると、制御部201は、「右」と表示させていた部分に、図27(B)に示すように、「全員」と表示させる。以下、人物切り替えボタン602がタッチされる度に、上述したような表示と、利用者の選択が行われる。
以上のように、第1編集対象画像表示部405においては、人物切り替えボタン602がタッチされる度に、全員、左側、右側の順序で、利用者の選択が行われる。第1編集対象画像表示部405において、左側の利用者U1を右側の利用者U2よりも先に選択するようにしたのは、実施形態1で説明した理由と同様の理由によるものである。
図示を省略するが、制御部201は、第2編集対象画像表示部406においても、人物切り替えボタン602と同様のボタンを表示させ、人物切り替えボタン602がタッチされる度に、人物切り替えボタン602と同様の表示の切り替えと、利用者の選択とを行う。但し、第2編集対象画像表示部406においては、利用者の選択の順序は、人物切り替えボタン602がタッチされる度に、全員、右側、左側の順序で、利用者の選択が行われる。つまり、利用者が選択される順序は、第1編集対象画像表示部405の場合と逆になる。第2編集対象画像表示部406において、右側の利用者U2を左側の利用者U1よりも先に選択するようにしたのは、実施形態1で説明した理由と同様の理由によるものである。
以上のように、本実施形態によれば、艶合成用画像を強調させるか否かの処理の対象となる利用者の選択を、人物切り替えボタン602により行うことができるので、利用者による操作の簡略化を図ることができる。
<実施形態3>
次に、本発明の別の実施形態について、図28および図37を参照しつつ説明する。図28は、本実施形態の第1編集部401における第1パレット409の表示例を示す図である。図29から図35は落書きモードの際の線種を説明するための図である。図36および図37は、線種としてカラーステッチが選択された際のカラーの選択について説明するための図である。
図28は、第1パレット409において、タッチペン132Aによりペンタブ700がタッチされ、落書きモードが選択された場合の表示例を示している。図28に示すように、落書きモードが選択された場合には、第1パレット409内に、ペン機能選択部701と、カラー選択部702が表示される。
ペン機能選択部701においては、ミックスペン、多重ペン、およびカラーステッチ等の複数のペン機能を選択することができる。本実施形態では、代表的な例として、ミックスペン、および多重ペンのペン機能について説明する。
ペン機能選択部701において、タッチペン132Aにより、ミックスペンと表示されたエリア701aがタッチされると、編集部230として機能する制御部201は、タッチペン132Aにミックスペンの機能を付与する。
ミックスペンの機能とは、タッチペン132Aにより第1編集対象画像表示部405をタッチする度に、線の属性が変更される機能である。まず、利用者がタッチペン132Aにより第1編集対象画像表示部405をタッチすると、制御部201は、タッチされた座標を始点として確定する。次に、始点以外の位置で、タッチペン132Aを離間すると、制御部201は、その離間された座標を終点として確定する。
タッチペン132Aを離間するまでは、終点が確定されない状態であり、その状態では、制御部201は、線の属性を実線として確定する。したがって、利用者がタッチペン132Aにより第1編集対象画像表示部405をタッチしたまま自由な線を描き、始点以外の位置で、タッチペン132Aを離間すると、その離間された座標が終点として確定され、図29に示すように実線で線が描かれることになる。
次に、再びタッチペン132Aを第1編集対象画像表示部405にタッチすると、制御部201は、そのタッチした座標を新たな始点として確定する。この始点以外の位置で、タッチペン132Aを離間すると、制御部201は、その離間した座標を終点として確定する。
タッチペン132Aを離間するまでは、終点が確定されない状態であり、その状態では、制御部201は、線の属性を破線として確定する。したがって、利用者がタッチペン132Aにより第1編集対象画像表示部405をタッチしたまま自由な線を描き、始点以外の位置で、タッチペン132Aを離間すると、その離間された座標が終点として確定され、図30に示すように破線で線が描かれることになる。
次に、再びタッチペン132Aを第1編集対象画像表示部405にタッチすると、制御部201は、そのタッチした座標を新たな始点として確定する。この始点以外の位置で、タッチペン132Aを離間すると、制御部201は、その離間した座標を終点として確定する。
タッチペン132Aを離間するまでは、終点が確定されない状態であり、その状態では、制御部201は、線の属性を一点破線として確定する。したがって、利用者がタッチペン132Aにより第1編集対象画像表示部405をタッチしたまま自由な線を描き、始点以外の位置で、タッチペン132Aを離間すると、その離間された座標が終点として確定され、図31に示すように一点破線で線が描かれることになる。
以下、タッチペン132Aが始点においてタッチされる度に、実線、破線、および一点破線の順序で、線の属性が変更される。このようなミックスペンの機能により、ロゴのようなデザイン性の高い文字等を描くことができる。なお、タッチペン132Aにより第1編集対象画像表示部405をタッチして離間させることにより始点を確定し、さらに別な点でタッチペン132Aにより第1編集対象画像表示部405をタッチして離間させることにより終点を確定してもよい。この場合には、始点と終点との間に、線や図形等が描かれる。
本実施形態では、ミックスペンの機能として、タッチペン132Aがタッチされる度に線種が変更される態様について説明したが、タッチペン132Aがタッチされるごとに色を変更するようにしてもよい。例えば、タッチペン132Aが始点においてタッチされる度に、赤色、黒色、および青色等のように色を変更してもよい。また、タッチペン132Aが始点においてタッチされる度に、描ける形状が変更されるようにしてもよい。例えば、タッチペン132Aで自由曲線を描いた場合でも、最初は円、次にタッチされると四角、次にタッチされると三角のように、描ける形状が変更されるようにしてもよい。このような態様においても、ロゴのようなデザイン性の高い文字等を描くことができる。
次に、多重ペンの機能について説明する。ペン機能選択部701において、タッチペン132Aにより、多重ペンと表示されたエリア701bがタッチされると、編集部230として機能する制御部201は、タッチペン132Aに多重ペンの機能を付与する。
多重ペンの機能とは、タッチペン132Aにより第1編集対象画像表示部405をタッチする度に、線の数が変更される機能である。まず、利用者が、多重ペンと表示されたエリア701bをタッチすると、制御部201は線の数を二重として確定する。その後、タッチペン132Aにより第1編集対象画像表示部405をタッチすると、制御部201は、タッチされた座標を始点として確定する。次に、始点以外の位置で、タッチペン132Aを離間すると、制御部201は、その離間された座標を終点として確定する。
したがって、利用者がタッチペン132Aにより第1編集対象画像表示部405をタッチしたまま自由な線を描き、始点以外の位置で、タッチペン132Aを離間すると、その離間された座標が終点として確定され、図32に示すように二重線で線が描かれることになる。
次に、再びタッチペン132Aにより多重ペンと表示されたエリア701bをタッチすると、制御部201は、線の数を三重として確定する。そして、タッチペン132Aにより第1編集対象画像表示部405にタッチすると、制御部201は、そのタッチした座標を新たな始点として確定する。この始点以外の位置で、タッチペン132Aを離間すると、制御部201は、その離間した座標を終点として確定する。
したがって、利用者がタッチペン132Aにより第1編集対象画像表示部405をタッチしたまま自由な線を描き、始点以外の位置で、タッチペン132Aを離間すると、その離間された座標が終点として確定され、図33に示すように三重線で線が描かれることになる。
次に、再びタッチペン132Aにより多重ペンと表示されたエリア701bをタッチすると、制御部201は、線の数を四重として確定する。そして、タッチペン132Aにより第1編集対象画像表示部405にタッチすると、制御部201は、そのタッチした座標を新たな始点として確定する。この始点以外の位置で、タッチペン132Aを離間すると、制御部201は、その離間した座標を終点として確定する。
したがって、利用者がタッチペン132Aにより第1編集対象画像表示部405をタッチしたまま自由な線を描き、始点以外の位置で、タッチペン132Aを離間すると、その離間された座標が終点として確定され、図34に示すように四重線で線が描かれることになる。
次に、再びタッチペン132Aにより多重ペンと表示されたエリア701bをタッチすると、制御部201は、線の数を四重として確定する。そして、タッチペン132Aにより第1編集対象画像表示部405にタッチすると、制御部201は、そのタッチした座標を新たな始点として確定する。この始点以外の位置で、タッチペン132Aを離間すると、制御部201は、その離間した座標を終点として確定する。
したがって、利用者がタッチペン132Aにより第1編集対象画像表示部405をタッチしたまま自由な線を描き、始点以外の位置で、タッチペン132Aを離間すると、その離間された座標が終点として確定され、図35に示すように五重線で線が描かれることになる。
以下、タッチペン132Aが多重ペンと表示されたエリア701bにタッチされる度に、二重、三重、四重、および五重の順序で、線の数が変更される。このような多重ペンの機能により、ロゴのようなデザイン性の高い文字等を描くことができる。つまり、一筆ごとに線数が変更される。
本実施形態では、多重ペンの機能として、線の数を二重、三重、四重、および五重の4段階に変更する態様について説明したが、段階数は適宜変更可能である。また、線の太さを適宜変更してもよい。このような態様においても、ロゴのようなデザイン性の高い文字等を描くことができる。
次に、カラー選択の機能について説明する。本実施形態では、以上のようなミックスペン、および多重ペン等の種々の線種で文字や線等を描くことができるが、いずれの線種を使用する場合であっても、カラー選択部702において、線の色を選択することができる。
本実施形態においては、図36に示すように、カラー選択部702において2色を示すスタンプが対になって表示されている。図36においては、便宜上、各スタンプにハッチングを施すことによって、各スタンプの色が異なることを示している。
カラー選択部702において、対になって表示されるスタンプの色および組み合わせは、例えば図37に示すようなカラーテーブルTBL1に予め記憶されている。図37に示すカラーテーブルTBL1の一部を示している。図37においては、理解を容易にするため、スタンプ表示欄800に、図36に示すカラー選択部702の対になったスタンプに対応させて、半円のスタンプを対にして表示してある。但し、実際には、カラーテーブルTBL1にスタンプ表示欄800が設けられている訳ではない。
図37に示すように、カラーテーブルTBL1には、各スタンプ対が一つのファイル名で管理されており、ファイル名欄801には、各スタンプ対のファイル名が記憶されている。また、RGB値欄802,803には、各スタンプ対のRGB値が記憶されている。RGB値欄802には、スタンプ表示欄800に表示された左側の半円のスタンプのRGB値が記憶されている。また、RGB値欄803には、スタンプ表示欄800に表示された右側の半円のスタンプのRGB値が記憶されている。
本実施形態では、スタンプ対のRGB値は、補色や反対色のRGB値ではなく、互いに近い値のRGB値となっている。このように設定することにより、スタンプ対の互いの色が類似しているため、互いの色を壊さず、バランスの良い色合いで文字や線等を描くことができる。
利用者は、カラー選択部702のスタンプを選択することにより、色を選択する。本実施形態では、利用者が、タッチペン132Aにより特定の色のスタンプを選択すると、制御部201は、選択したスタンプの色と対となる色のスタンプを点滅させり、あるいは強調表示させたりして、利用者に好適な色を推薦する。
スタンプが個々に整列して配置されている場合には、利用者は好きな色を選択して文字や線等を描く。そのため、色の統一感がない文字や線等になってしまうことがある。しかしながら、本実施形態によれば、予め近い色に設定されたスタンプが、互いに対角に配置されて対になっており、この対のスタンプが推薦される色のスタンプとして表示されるので、利用者は、好適な対の色のスタンプを選択することができる。その結果、統一感が生まれ、落書きモードで描いた文字や線等の落書きの完成度が向上する。
なお、本実施形態では、一例として第1編集対象画像表示部405における処理について説明したが、第2編集対象画像表示部406においても同様な処理が行われる。この場合には、タッチペン132Aの代わりに、タッチペン132Bが用いられる。
<変形例>
以上の実施形態は例示であり、この発明の範囲から離れることなく様々な変形が可能である。上述した実施形態においては、顔認識処理が成功した場合について説明したが、顔認識処理は、場合によっては失敗することも考えられる。その場合には、手動で艶合成用画像を作成するボタンを設け、タッチペンでこのボタンにタッチすることにより、手動で艶合成用画像を作成するようにしてもよい。艶合成用画像を表示させる位置は、タッチペンで指定した位置とすることにより、利用者からの指示に応じた位置に、艶合成用画像を合成することができる。
上述した実施形態において合成された艶合成用画像を、タッチペンで指定した位置に移動させるようにしてもよい。
上述した実施形態においては、顔認識処理を行う態様について説明したが、本発明はこのような態様に限定される訳ではなく、認識した顔を他の何かと照合して、同じ顔か否かを判定する顔認証処理を行ってもよい。この場合には、制御部201が利用者特定部として機能する。利用者特定部としての制御部201による顔認証処理が成功した場合には、第1編集対象画像表示部405において行った編集処理を、第1サムネイル部403に表示された同一の利用者に対して行ってもよい。同様に、第2編集対象画像表示部406において行った編集処理を、第2サムネイル部404に表示された同一の利用者に対して行ってもよい。
上述した実施形態において、艶合成用画像の濃度が変更できるボタンを設けてもよい。この場合、濃度等は、スライドバー等でパラメータが細分化されており、タッチペンでスライドすることにより、濃度が変更される。
また、上述した実施形態において、艶合成用画像の円弧の形状や、幅、高さ等を変更できるようなボタン等を設けてもよい。なお、人物以外に艶合成用画像が移動すると、その効果がなくなるため、髪領域内での変更に制限される。
(ソフトウェアによる実現例)
写真シール作成装置1の機能ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、写真シール作成装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、前記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、前記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 写真シール作成装置
201 制御部
220 撮影部
230 編集部
303 領域特定部
304 合成部

Claims (17)

  1. 利用者を撮影し、撮影画像を生成する撮影部と、
    前記撮影画像から前記利用者の髪領域を特定する領域特定部と、
    前記撮影画像に合成する合成用画像を生成し、前記合成用画像を前記撮影画像に合成する合成部と、を備え、
    前記領域特定部は、前記撮影画像から前記利用者の顔の輪郭点を複数検出し、前記輪郭点間の距離を算出することで、前記利用者の髪領域を特定し、
    前記合成部は、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像を、前記合成用画像の少なくとも一つとして生成し、前記髪領域に合成する、
    ことを特徴とする写真シール作成装置。
  2. 前記艶合成用画像は、前記髪領域の中のみで生成される、
    ことを特徴とする請求項1に記載の写真シール作成装置。
  3. 前記撮影画像および前記合成用画像に対して、前記利用者の指示に基づく編集を行う編集部をさらに備え、
    前記編集部は、前記艶合成用画像について、艶を強調させるか否かの属性情報を変更する属性情報変更機能を備える、
    ことを特徴とする請求項1または請求項2に記載の写真シール作成装置。
  4. 前記編集部は、前記艶合成用画像を前記髪領域に合成する前の状態に戻す機能を備える、
    ことを特徴とする請求項3に記載の写真シール作成装置。
  5. 前記編集部は、前記撮影画像における前記利用者を選択する利用者選択機能を備え、当該利用者選択機能により選択された前記利用者に対して、前記属性情報変更機能により変更された前記属性情報を適用させる、
    ことを特徴とする請求項3または請求項4に記載の写真シール作成装置。
  6. 前記編集部による編集対象となる前記撮影画像および前記合成用画像を表示する第1表示部と第2表示部とを備え、
    前記利用者選択機能における選択の順序は、前記第1表示部と前記第2表示部とで逆になる、
    ことを特徴とする請求項5に記載の写真シール作成装置。
  7. 前記第1表示部と前記第2表示部とは、前記第1表示部および前記第2表示部に正対する方向から見てそれぞれ左右に並設されており、
    前記利用者選択機能における選択の順序は、
    前記第1表示部においては、
    前記正対する方向から見て左側に表示される利用者、および前記正対する方向から見て右側に表示される利用者の順序であり、
    前記第2表示部においては、
    前記正対する方向から見て右側に表示される利用者、および前記正対する方向から見て左側に表示される利用者の順序である、
    ことを特徴とする請求項6に記載の写真シール作成装置。
  8. 前記第1表示部と前記第2表示部とは、前記第1表示部および前記第2表示部に正対する方向から見てそれぞれ左右に並設されており、
    前記利用者選択機能における選択の順序は、
    前記第1表示部においては、
    前記撮影画像における利用者の全員、前記正対する方向から見て左側に表示される利用者、および前記正対する方向から見て右側に表示される利用者の順序であり、
    前記第2表示部においては、
    前記撮影画像における利用者の全員、前記正対する方向から見て右側に表示される利用者、および前記正対する方向から見て左側に表示される利用者の順序である、
    ことを特徴とする請求項6に記載の写真シール作成装置。
  9. 前記編集部は、前記利用者選択機能により選択された前記利用者の顔部分に枠画像を表示させる、
    ことを特徴とする請求項5ないし請求項7のいずれか1項に記載の写真シール作成装置。
  10. 前記合成部は、前記艶合成用画像を複数種類生成し、
    前記編集部は、前記利用者の指示に応じて、前記複数種類の前記艶合成用画像の中から一の艶合成用画像を選択する画像選択機能を備える、
    ことを特徴とする請求項3ないし請求項のいずれか1項に記載の写真シール作成装置。
  11. 前記合成部は、前記領域特定部による前記髪領域の特定が行われるごとに、前記艶合成用画像を生成する、
    ことを特徴とする請求項1ないし請求項10のいずれか1項に記載の写真シール作成装置。
  12. 前記合成部は、前記艶合成用画像として、髪の色に応じて色の属性の異なる艶合成用画像を生成する、
    ことを特徴とする請求項1ないし請求項11のいずれか1項に記載の写真シール作成装置。
  13. 前記撮影画像における利用者を特定する利用者特定部と、前記撮影画像および前記合成用画像に対して、前記利用者の指示に基づく編集を行う編集部とを備え、
    前記撮影部は、複数枚の撮影画像を生成し、
    前記合成部は、前記複数枚の撮影画像のそれぞれに対して、少なくとも前記艶合成用画像を合成し、
    前記編集部は、編集対象の撮影画像における利用者についての前記艶合成用画像に関する編集内容を、前記複数枚の撮影画像のうち、前記編集対象の撮影画像以外の撮影画像における利用者についての前記艶合成用画像に適用する、
    ことを特徴とする請求項1ないし請求項12のいずれか1項に記載の写真シール作成装置。
  14. 前記合成部は、前記利用者からの指示に応じた位置に、前記艶合成用画像を合成する、
    ことを特徴とする請求項1ないし請求項13のいずれか1項に記載の写真シール作成装置。
  15. 前記撮影画像の色認識を行う色認識部を備え、
    前記合成部は、前記色認識部により認識された前記利用者の肌色部分については、当該肌色部分を透過させるように前記艶合成用画像の合成を行う、
    ことを特徴とする請求項1ないし請求項14のいずれか1項に記載の写真シール作成装置。
  16. 利用者を撮影して撮影画像を生成し、
    前記撮影画像から前記利用者の顔の輪郭点を複数検出し、
    前記輪郭点間の距離を算出することで、前記利用者の髪領域を特定し、
    髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像を、合成用画像の少なくとも一つとして生成し、
    前記艶合成用画像を前記撮影画像の前記髪領域に合成する、
    ことを特徴とする写真シール作成方法。
  17. 写真シール作成装置において実行可能な写真シール作成処理プログラムであって、前記写真シール作成処理プログラムは、前記写真シール作成装置のコンピュータを、
    利用者を撮影し、撮影画像を生成する撮影部と、
    前記撮影画像から前記利用者の髪領域を特定する領域特定部と、
    前記撮影画像に合成する合成用画像を生成し、前記合成用画像を前記撮影画像に合成する合成部として機能させ、
    前記領域特定部は、前記撮影画像から前記利用者の顔の輪郭点を複数検出し、前記輪郭点間の距離を算出することで、前記利用者の髪領域を特定し、
    前記合成部は、髪表面からの反射光により形成される円弧状の艶を擬似的に表す艶合成用画像を、前記合成用画像の少なくとも一つとして生成し、前記髪領域に合成する、
    ことを特徴とする写真シール作成処理プログラム。
JP2017095826A 2017-05-12 2017-05-12 写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラム Active JP6477780B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017095826A JP6477780B2 (ja) 2017-05-12 2017-05-12 写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017095826A JP6477780B2 (ja) 2017-05-12 2017-05-12 写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラム

Publications (2)

Publication Number Publication Date
JP2018195881A JP2018195881A (ja) 2018-12-06
JP6477780B2 true JP6477780B2 (ja) 2019-03-06

Family

ID=64570506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017095826A Active JP6477780B2 (ja) 2017-05-12 2017-05-12 写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラム

Country Status (1)

Country Link
JP (1) JP6477780B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170097A (ja) * 2019-04-04 2020-10-15 フリュー株式会社 写真作成ゲーム機、画像処理方法、およびプログラム
JPWO2023042401A1 (ja) * 2021-09-17 2023-03-23

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3457662B1 (ja) * 2002-09-19 2003-10-20 株式会社メイクソフトウェア 写真プリント作成装置
JP4516768B2 (ja) * 2004-03-03 2010-08-04 株式会社メイクソフトウェア 写真自動販売機における写真撮影方法、写真自動販売機、および写真自動販売機の制御プログラム
JP2006323512A (ja) * 2005-05-17 2006-11-30 Namco Bandai Games Inc 画像生成システム、プログラム及び情報記憶媒体
JP2007264828A (ja) * 2006-03-27 2007-10-11 Fujifilm Corp 画像処理方法及び装置並びにプリンタ
JP5311258B2 (ja) * 2009-09-08 2013-10-09 株式会社メイクソフトウェア 画像出力装置、画像出力方法及びコンピュータプログラム
JP2013058164A (ja) * 2011-09-09 2013-03-28 Nikon Corp 画像処理装置及びカメラ
JP5522161B2 (ja) * 2011-12-28 2014-06-18 フリュー株式会社 撮影装置
JP6685094B2 (ja) * 2015-07-30 2020-04-22 加賀デバイス株式会社 画像処理装置、画像処理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2018195881A (ja) 2018-12-06

Similar Documents

Publication Publication Date Title
JP6829380B2 (ja) 写真シール作成装置および画像処理方法
JP6414681B2 (ja) 写真シール作成装置、画像処理方法、およびプログラム
JP6477780B2 (ja) 写真シール作成装置、写真シール作成方法及び写真シール作成処理プログラム
JP5541545B1 (ja) 写真シール作成装置および方法、並びにプログラム
JP6213791B2 (ja) 画像処理装置および画像処理方法
JP2016177015A (ja) 写真シール作成装置および画像処理方法
JP7152687B2 (ja) 表示制御装置、表示制御方法、プログラム
JP6853475B2 (ja) 写真作成ゲーム機および表示方法
JP2018107515A (ja) 写真作成ゲーム機および画像処理方法
JP7401727B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6262643B2 (ja) 画像処理装置および画像処理方法
JP7074994B2 (ja) 写真作成ゲーム機および画像処理方法
JP7295388B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7132492B2 (ja) 画像処理装置、表示制御方法、およびプログラム
JP2021043797A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5970013B2 (ja) 写真シール作成装置および写真シール作成方法
JP2021044734A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6982230B2 (ja) 写真作成ゲーム機および画像処理方法
JP2019192061A (ja) 写真作成ゲーム機、制御方法、およびプログラム
JP6558136B2 (ja) 画像処理装置および表示制御方法
JP7121256B2 (ja) 写真作成ゲーム機、画像処理方法、およびプログラム
JP2018101106A (ja) 写真作成ゲーム機および撮影方法
JP6376421B1 (ja) 写真作成ゲーム機、表示方法、およびプログラム
JP2022012958A (ja) 画像処理装置、画像処理方法、画像処理プログラム、領域特定モデル及びモデル生成方法
JP6041024B1 (ja) 写真シール作成装置および表示方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190121

R150 Certificate of patent or registration of utility model

Ref document number: 6477780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250