JP5601103B2 - ネイルプリント装置及び印刷制御方法 - Google Patents
ネイルプリント装置及び印刷制御方法 Download PDFInfo
- Publication number
- JP5601103B2 JP5601103B2 JP2010200818A JP2010200818A JP5601103B2 JP 5601103 B2 JP5601103 B2 JP 5601103B2 JP 2010200818 A JP2010200818 A JP 2010200818A JP 2010200818 A JP2010200818 A JP 2010200818A JP 5601103 B2 JP5601103 B2 JP 5601103B2
- Authority
- JP
- Japan
- Prior art keywords
- nail
- image
- extraction model
- nail region
- fingernail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Ink Jet (AREA)
Description
本発明は、ネイルプリント装置及び印刷制御方法に関するものである。
ネイルプリント装置は、印刷しようとする爪の指を、装置本体に設けた指載置台に位置決めし、この位置決めした指の爪にインクジェット方式の印刷ヘッド等を用いて色や絵柄等の画像を印刷するプリント装置であるが、こうしたネイルプリント装置では、指の爪部の領域（以下「爪領域」という。）を正確に検出しなければ印刷位置・印刷範囲を特定することができない。
そこで、従来、このような装置において、爪領域とそれ以外の部分との境界線（すなわち、爪部の輪郭線）を定めて爪領域を認識するために、指爪画像を撮像し、撮像された指爪画像を画像処理することにより指爪イメージを分析する手法が提案されている（例えば、特許文献１）
このように指爪画像から自動的に爪部の輪郭線を抽出することができれば、ユーザによる入力の手間を最小限に抑えつつ、印刷対象となる爪領域を自動的に配置し形作ることが可能となる。
このように指爪画像から自動的に爪部の輪郭線を抽出することができれば、ユーザによる入力の手間を最小限に抑えつつ、印刷対象となる爪領域を自動的に配置し形作ることが可能となる。
しかしながら、実際には、爪部と皮膚との光学特性は非常に近似しており、互いに同一の色情報を含んでいる。また、爪部及び皮膚の色は個人によって様々であるため、指爪画像を単に画像処理することによっては、正確に爪領域を抽出することは困難である。この点、特許文献１には、指爪画像から指爪イメージを分析するとあるのみであり、正確に爪領域を抽出・特定するための具体的な手法について言及がなく、開示されている技術のみによって正確な爪領域の抽出・特定を行うことは難しい。
また、画像分析により爪領域を抽出・特定する具体的な手法としては、モデルとなる爪画像をユーザの指爪画像にフィッティングさせて、爪の位置や範囲を特定することが考えられるが、爪の大きさや位置は大人と子供、男性と女性等によって大きく異なり、その形も千差万別である。
このため、例えば、顔のパーツ等を抽出する場合のように各パーツの凡その配置が決定されている場合と異なり、フィッティングする際の基準となるものがなく、モデルとなる爪画像をユーザの指爪画像の適切な位置にフィッティングさせることが困難であるとの問題がある。
このため、例えば、顔のパーツ等を抽出する場合のように各パーツの凡その配置が決定されている場合と異なり、フィッティングする際の基準となるものがなく、モデルとなる爪画像をユーザの指爪画像の適切な位置にフィッティングさせることが困難であるとの問題がある。
本発明は以上のような事情に鑑みてなされたものであり、モデルとなる爪領域をユーザの指爪画像の適切な位置に簡易迅速にフィッティングさせてユーザの爪領域を正確に特定し、爪領域に対する高精度の印刷を行うことのできるネイルプリント装置及び印刷制御方法を提供することを目的とするものである。
前記課題を解決するために、請求項１に記載のネイルプリント装置は、
載置された指を撮影して指爪画像を得る撮影手段とデータを記憶する記憶部とを備えているネイルプリント装置において、
前記撮影手段により得られた指爪画像のうちの爪領域の輪郭線に沿いタッチ操作に従って特徴点を予め定められている間隔を置いて複数入力し、この入力された複数の特徴点の座標位置と番号とを対応付けて前記記憶部に爪領域抽出用モデルとして記憶させる記憶制御手段と、
この記憶制御手段の制御により前記記憶部に前記爪領域抽出用モデルを記憶したあとに、前記撮影手段により新たに得られた指爪画像を予め定められた方向から順次走査する画像走査手段と、
この画像走査手段による走査により最初に指爪領域を表す画素と判別された指爪画像上の第１の座標位置に対応する第２の座標位置を、前記記憶部に記憶されている前記爪領域抽出用モデルの複数の特徴点の座標位置の中から抽出し、この抽出された第２の座標位置を前記爪領域抽出用モデルのフィッティングの基準点として、前記第１の座標位置に重ねる一方で、この重ねた第１の座標位置と第２の座標位置とを基準として、前記爪領域抽出用モデルの他の複数の特徴点を、前記記憶部に記憶されている番号にそれぞれ対応づけられている複数の特徴点の座標位置がそれぞれ指爪画像上の対応する座標位置に配置されるように合わせ込み、この合わせ込まれた複数の座標位置に基づいて決定された爪領域に印刷を施す印刷制御手段と、
を備えていることを特徴とする。
載置された指を撮影して指爪画像を得る撮影手段とデータを記憶する記憶部とを備えているネイルプリント装置において、
前記撮影手段により得られた指爪画像のうちの爪領域の輪郭線に沿いタッチ操作に従って特徴点を予め定められている間隔を置いて複数入力し、この入力された複数の特徴点の座標位置と番号とを対応付けて前記記憶部に爪領域抽出用モデルとして記憶させる記憶制御手段と、
この記憶制御手段の制御により前記記憶部に前記爪領域抽出用モデルを記憶したあとに、前記撮影手段により新たに得られた指爪画像を予め定められた方向から順次走査する画像走査手段と、
この画像走査手段による走査により最初に指爪領域を表す画素と判別された指爪画像上の第１の座標位置に対応する第２の座標位置を、前記記憶部に記憶されている前記爪領域抽出用モデルの複数の特徴点の座標位置の中から抽出し、この抽出された第２の座標位置を前記爪領域抽出用モデルのフィッティングの基準点として、前記第１の座標位置に重ねる一方で、この重ねた第１の座標位置と第２の座標位置とを基準として、前記爪領域抽出用モデルの他の複数の特徴点を、前記記憶部に記憶されている番号にそれぞれ対応づけられている複数の特徴点の座標位置がそれぞれ指爪画像上の対応する座標位置に配置されるように合わせ込み、この合わせ込まれた複数の座標位置に基づいて決定された爪領域に印刷を施す印刷制御手段と、
を備えていることを特徴とする。
また、請求項２に記載の印刷制御方法は、
載置された指を撮影して指爪画像を得る撮影手段とデータを記憶する記憶部とを備えているネイルプリント装置に用いられる印刷制御方法において、
前記撮影手段により得られた指爪画像のうちの爪領域の輪郭線に沿いタッチ操作に従って特徴点を予め定められている間隔を置いて複数入力し、この入力された複数の特徴点の座標位置と番号とを対応付けて前記記憶部に爪領域抽出用モデルとして記憶させる記憶制御ステップと、
この記憶制御ステップの制御により前記記憶部に前記爪領域抽出用モデルを記憶したあとに、前記撮影手段により新たに得られた指爪画像を予め定められた方向から順次走査する画像走査ステップと、
この画像走査ステップによる走査により最初に指爪領域を表すと判別された第１の座標位置に対応する第２の座標位置を、前記記憶部に記憶されている爪領域抽出用モデルの複数の特徴点の座標位置の中から抽出し、この抽出された第２の座標位置を前記爪領域抽出用モデルのフィッティングの初期位置として、前記第１の座標位置に重ねる一方で、この重ねた第１の座標位置と第２の座標位置とを基準として、前記爪領域抽出用モデルの他の複数の特徴点を、前記記憶部に記憶されている番号にそれぞれ対応づけられている複数の特徴点の座標位置がそれぞれ指爪画像上の対応する座標位置に配置されるように合わせ込み）、この合わせ込まれた複数の座標位置に基づいて決定された爪領域に印刷を施す印刷制御ステップと、
を備えていることを特徴とする。
載置された指を撮影して指爪画像を得る撮影手段とデータを記憶する記憶部とを備えているネイルプリント装置に用いられる印刷制御方法において、
前記撮影手段により得られた指爪画像のうちの爪領域の輪郭線に沿いタッチ操作に従って特徴点を予め定められている間隔を置いて複数入力し、この入力された複数の特徴点の座標位置と番号とを対応付けて前記記憶部に爪領域抽出用モデルとして記憶させる記憶制御ステップと、
この記憶制御ステップの制御により前記記憶部に前記爪領域抽出用モデルを記憶したあとに、前記撮影手段により新たに得られた指爪画像を予め定められた方向から順次走査する画像走査ステップと、
この画像走査ステップによる走査により最初に指爪領域を表すと判別された第１の座標位置に対応する第２の座標位置を、前記記憶部に記憶されている爪領域抽出用モデルの複数の特徴点の座標位置の中から抽出し、この抽出された第２の座標位置を前記爪領域抽出用モデルのフィッティングの初期位置として、前記第１の座標位置に重ねる一方で、この重ねた第１の座標位置と第２の座標位置とを基準として、前記爪領域抽出用モデルの他の複数の特徴点を、前記記憶部に記憶されている番号にそれぞれ対応づけられている複数の特徴点の座標位置がそれぞれ指爪画像上の対応する座標位置に配置されるように合わせ込み）、この合わせ込まれた複数の座標位置に基づいて決定された爪領域に印刷を施す印刷制御ステップと、
を備えていることを特徴とする。
また、請求項３に記載のネイルプリント装置は、
指が載置される指載置部と、
この指載置部上に載置された指を撮影して指爪画像を得る撮影手段と、
爪領域抽出用モデルを記憶している記憶手段と、
この記憶手段に記憶されている前記爪領域抽出用モデルを前記撮影手段により得られた前記指爪画像にフィッティングすることにより、印刷対象となる爪領域を決定する爪領域決定手段と、
この爪領域決定手段によって決定された前記爪領域に印刷を施す印刷手段と、を備え、
前記爪領域抽出用モデルには、前記指爪画像とのフィッティングの際に基準となる基準点を含む特徴点が前記爪領域の輪郭線に沿って複数配置されており、
前記爪領域決定手段は、
前記爪領域抽出用モデルとのフィッティングの際に基準となる前記指爪画像の基準画素を決定する基準画素決定手段と、
この基準画素決定手段により基準画素と決定された画素に前記爪領域抽出用モデルの前記基準点を重ね合わせて、前記爪領域抽出用モデルのフィッティングの初期位置を決定し、前記指爪画像の当該初期位置に重畳されるように前記爪領域抽出用モデルを配置する初期位置決定手段と、
前記初期位置決定手段により配置された前記爪領域抽出用モデルの範囲及び／または形状を前記指爪画像の前記爪領域に合致するように調整する領域調整手段と、
を含んでいることを特徴としている。
指が載置される指載置部と、
この指載置部上に載置された指を撮影して指爪画像を得る撮影手段と、
爪領域抽出用モデルを記憶している記憶手段と、
この記憶手段に記憶されている前記爪領域抽出用モデルを前記撮影手段により得られた前記指爪画像にフィッティングすることにより、印刷対象となる爪領域を決定する爪領域決定手段と、
この爪領域決定手段によって決定された前記爪領域に印刷を施す印刷手段と、を備え、
前記爪領域抽出用モデルには、前記指爪画像とのフィッティングの際に基準となる基準点を含む特徴点が前記爪領域の輪郭線に沿って複数配置されており、
前記爪領域決定手段は、
前記爪領域抽出用モデルとのフィッティングの際に基準となる前記指爪画像の基準画素を決定する基準画素決定手段と、
この基準画素決定手段により基準画素と決定された画素に前記爪領域抽出用モデルの前記基準点を重ね合わせて、前記爪領域抽出用モデルのフィッティングの初期位置を決定し、前記指爪画像の当該初期位置に重畳されるように前記爪領域抽出用モデルを配置する初期位置決定手段と、
前記初期位置決定手段により配置された前記爪領域抽出用モデルの範囲及び／または形状を前記指爪画像の前記爪領域に合致するように調整する領域調整手段と、
を含んでいることを特徴としている。
また、請求項４に記載の発明は、請求項３に記載のネイルプリント装置において、
前記爪領域決定手段は、
前記撮影手段により得られた前記指爪画像から指爪領域を白色、それ以外の領域を黒色とした走査用画像を生成する走査用画像生成手段と、
この走査用画像生成手段により生成された前記走査用画像を所定方向から順次走査する画像走査手段と、
この画像走査手段による走査結果から、前記走査用画像の各画素の白黒を判別する白黒判別手段と、をさらに含んでおり、
前記基準画素決定手段は、前記白黒判別手段により、前記走査において初めに白色の画素と判別された画素を基準画素として決定するものであることを特徴としている。
前記爪領域決定手段は、
前記撮影手段により得られた前記指爪画像から指爪領域を白色、それ以外の領域を黒色とした走査用画像を生成する走査用画像生成手段と、
この走査用画像生成手段により生成された前記走査用画像を所定方向から順次走査する画像走査手段と、
この画像走査手段による走査結果から、前記走査用画像の各画素の白黒を判別する白黒判別手段と、をさらに含んでおり、
前記基準画素決定手段は、前記白黒判別手段により、前記走査において初めに白色の画素と判別された画素を基準画素として決定するものであることを特徴としている。
また、請求項５に記載の印刷制御方法は、
指載置手段に載置された指を撮影して指爪画像を得る撮影ステップと、
爪領域抽出用モデルを前記撮影ステップにおいて得られた前記指爪画像にフィッティングすることにより、印刷対象となる爪領域を決定する爪領域決定ステップと、
この爪領域決定ステップによって決定された前記爪領域に印刷を施す印刷ステップと、を備え、
前記爪領域抽出用モデルには、前記指爪画像とのフィッティングの際に基準となる基準点を含む特徴点が前記爪領域の輪郭線に沿って複数配置されており、
前記爪領域決定ステップは、
前記爪領域抽出用モデルとのフィッティングの際に基準となる前記指爪画像の基準画素を決定する基準画素決定ステップと、
この基準画素決定ステップにおいて基準画素と決定された画素に前記爪領域抽出用モデルの前記基準点を重ね合わせて、前記爪領域抽出用モデルのフィッティングの初期位置を決定し、前記指爪画像の当該初期位置に重畳されるように前記爪領域抽出用モデルを配置する初期位置決定ステップと、
前記初期位置決定ステップにおいて配置された前記爪領域抽出用モデルの範囲及び／または形状を前記指爪画像の前記爪領域に合致するように調整する領域調整ステップと、
を含んでいることを特徴としている。
指載置手段に載置された指を撮影して指爪画像を得る撮影ステップと、
爪領域抽出用モデルを前記撮影ステップにおいて得られた前記指爪画像にフィッティングすることにより、印刷対象となる爪領域を決定する爪領域決定ステップと、
この爪領域決定ステップによって決定された前記爪領域に印刷を施す印刷ステップと、を備え、
前記爪領域抽出用モデルには、前記指爪画像とのフィッティングの際に基準となる基準点を含む特徴点が前記爪領域の輪郭線に沿って複数配置されており、
前記爪領域決定ステップは、
前記爪領域抽出用モデルとのフィッティングの際に基準となる前記指爪画像の基準画素を決定する基準画素決定ステップと、
この基準画素決定ステップにおいて基準画素と決定された画素に前記爪領域抽出用モデルの前記基準点を重ね合わせて、前記爪領域抽出用モデルのフィッティングの初期位置を決定し、前記指爪画像の当該初期位置に重畳されるように前記爪領域抽出用モデルを配置する初期位置決定ステップと、
前記初期位置決定ステップにおいて配置された前記爪領域抽出用モデルの範囲及び／または形状を前記指爪画像の前記爪領域に合致するように調整する領域調整ステップと、
を含んでいることを特徴としている。
請求項１および請求項２に記載の発明によれば、撮影手段により得られた指爪画像のうちの爪領域の輪郭線に沿いタッチ操作に従って特徴点を予め定められている間隔を置いて複数入力し、この入力された複数の特徴点の座標位置と番号とを対応付けて記憶部に爪領域抽出用モデルとして記憶したあとに、撮影手段により新たに得られた指爪画像を予め定められた方向から順次走査し、この走査により最初に指爪領域を表す画素と判別された指爪画像上の第１の座標位置に対応する第２の座標位置を、記憶部に記憶されている爪領域抽出用モデルの複数の特徴点の座標位置の中から抽出し、この抽出された第２の座標位置を爪領域抽出用モデルのフィッティングの基準点として、第１の座標位置に重ねる一方で、この重ねた第１の座標位置と第２の座標位置とを基準として、爪領域抽出用モデルの他の複数の特徴点を、記憶部に記憶されている番号にそれぞれ対応づけられている複数の特徴点の座標位置がそれぞれ指爪画像上の対応する座標位置に配置されるように合わせ込み、この合わせ込まれた複数の座標位置に基づいて決定された爪領域に印刷を施すことができる。この結果、爪領域抽出用モデルをユーザの指爪画像の適切な位置に簡易迅速にフィッティングさせることができ、位置や大きさが人によって千差万別である爪領域に正確に印刷を施すことができるという効果を奏する。
請求項３および請求項５に記載の発明によれば、爪領域抽出用モデルをユーザの指爪画像にフィッティングして印刷対象となる爪領域を決定する際に、爪領域抽出用モデルの基準点と指爪画像の基準画素とを重ね合わせて爪領域抽出用モデルのフィッティングの初期位置を決定し、この初期位置に重畳されるように爪領域抽出用モデルを配置する。これにより、爪領域抽出用モデルをユーザの指爪画像の適切な位置に簡易迅速にフィッティングさせることができ、位置や大きさが人によって千差万別である爪領域を正確に特定することができるという効果を奏する。
請求項３および請求項５に記載の発明によれば、爪領域抽出用モデルをユーザの指爪画像にフィッティングして印刷対象となる爪領域を決定する際に、爪領域抽出用モデルの基準点と指爪画像の基準画素とを重ね合わせて爪領域抽出用モデルのフィッティングの初期位置を決定し、この初期位置に重畳されるように爪領域抽出用モデルを配置する。これにより、爪領域抽出用モデルをユーザの指爪画像の適切な位置に簡易迅速にフィッティングさせることができ、位置や大きさが人によって千差万別である爪領域を正確に特定することができるという効果を奏する。
図１から図２０を参照しつつ、本発明に係るネイルプリント装置の一実施形態について説明する。
図１は、本実施形態におけるネイルプリント装置の外観を示す斜視図であり、図２は、ネイルプリント装置の内部構成を示す斜視図である。
図１は、本実施形態におけるネイルプリント装置の外観を示す斜視図であり、図２は、ネイルプリント装置の内部構成を示す斜視図である。
図１に示すように、このネイルプリント装置１は、ケース本体２及び蓋体４を備えている。このケース本体２及び蓋体４は、ケース本体２の上面後端部に設けたヒンジ３を介して、互いに連結されている。
上記ケース本体２は平面視で長円状に形成されている。このケース本体２には前側には開閉板２ｃが起倒可能に設けられている。この開閉板２ｃは、ケース本体２の前面下端部に設けたヒンジ（図示せず）を介して、ケース本体２に連結されている。この開閉板２ｃは、ケース本体２の前面を開閉するためのものである。
また、ケース本体２の天板２ｆには後述する操作盤１２が設置されており、天板２ｆのほぼ中央部には表示部１３が設定されている。
なお、ケース本体２及び蓋体４の形状、構成はここに例示したものに限定されない。
また、ケース本体２の天板２ｆには後述する操作盤１２が設置されており、天板２ｆのほぼ中央部には表示部１３が設定されている。
なお、ケース本体２及び蓋体４の形状、構成はここに例示したものに限定されない。
また、ケース本体２にはネイルプリント装置１の装置本体１０が収容されている。この装置本体１０は、図２に示す印刷指固定手段を構成している印刷指固定部２０、撮影手段を構成している撮影部３０、印刷手段を構成している印刷部４０及び制御手段を構成している制御装置５０（図６参照）を備えている。これら印刷指固定部２０、撮影部３０、印刷部４０及び制御装置５０は機枠１１に設けられている。
なお、機枠１１は下部機枠１１ａ及び上部機枠１１ｂによって構成されている。そして、下部機枠１１ａは箱状に形成され、ケース本体２の内部下方に設置され、上部機枠１１ｂは下部機枠１１ａの上方で且つケース本体２の内部上方に設置されている。
なお、機枠１１は下部機枠１１ａ及び上部機枠１１ｂによって構成されている。そして、下部機枠１１ａは箱状に形成され、ケース本体２の内部下方に設置され、上部機枠１１ｂは下部機枠１１ａの上方で且つケース本体２の内部上方に設置されている。
印刷指固定部２０は、機枠１１の中の下部機枠１１ａに設けられている。この下部機枠１１ａに設けられた印刷指挿入部２０ａ、非印刷指挿入部２０ｂ及び掴み部２０ｃによって印刷指固定部２０が構成されている。
ここで、印刷指挿入部２０ａは、印刷しようとする爪Ｔに対応する指（以下「印刷指」という。）Ｕ１を挿入するめための指挿入部である（図３参照）。印刷指挿入部２０ａの底面（印刷指載置面）は、印刷指Ｕ１を載置する指載置手段として機能する。印刷指Ｕ１の撮影や印刷は、印刷指Ｕ１がこの指載置手段としての印刷指挿入部２０ａの印刷指載置面に載置された状態で行われる。なお、印刷指挿入部２０ａの印刷指Ｕ１が載置される面は、印刷指Ｕ１の撮影時に印刷指Ｕ１と背景との境界が明確になるように、黒色等、指や爪との輝度差の大きい色の材料で形成されていることが好ましい。
また、非印刷指挿入部２０ｂは、印刷指以外の指（以下「非印刷指」という。）Ｕ２を挿入するための指挿入部である（図３参照）。
また、掴み部２０ｃは、印刷指挿入部２０ａに挿入された印刷指Ｕ１と、非印刷指挿入部２０ｂに挿入された非印刷指Ｕ２とで挟持することが可能な部分である。本実施形態において、この掴み部２０ｃは印刷指挿入部２０ａと非印刷指挿入部２０ｂとを仕切る隔壁２１によって構成されている。
ここで、印刷指挿入部２０ａは、印刷しようとする爪Ｔに対応する指（以下「印刷指」という。）Ｕ１を挿入するめための指挿入部である（図３参照）。印刷指挿入部２０ａの底面（印刷指載置面）は、印刷指Ｕ１を載置する指載置手段として機能する。印刷指Ｕ１の撮影や印刷は、印刷指Ｕ１がこの指載置手段としての印刷指挿入部２０ａの印刷指載置面に載置された状態で行われる。なお、印刷指挿入部２０ａの印刷指Ｕ１が載置される面は、印刷指Ｕ１の撮影時に印刷指Ｕ１と背景との境界が明確になるように、黒色等、指や爪との輝度差の大きい色の材料で形成されていることが好ましい。
また、非印刷指挿入部２０ｂは、印刷指以外の指（以下「非印刷指」という。）Ｕ２を挿入するための指挿入部である（図３参照）。
また、掴み部２０ｃは、印刷指挿入部２０ａに挿入された印刷指Ｕ１と、非印刷指挿入部２０ｂに挿入された非印刷指Ｕ２とで挟持することが可能な部分である。本実施形態において、この掴み部２０ｃは印刷指挿入部２０ａと非印刷指挿入部２０ｂとを仕切る隔壁２１によって構成されている。
この隔壁２１の上面は平坦な印刷指載置面を構成している。この隔壁２１の指挿入側端部には膨出部２２が形成されている。この膨出部２２は、印刷指挿入部２０ａ及び非印刷指挿入部２０ｂに印刷指Ｕ１及び非印刷指Ｕ２を深く挿入した際に、印刷指Ｕ１及び非印刷指Ｕ２の付け根Ｕ３が当接する部分に形成されている。膨出部２２は、印刷指Ｕ１の腹全体が印刷指載置面に当接した状態で、印刷指Ｕ１と非印刷指Ｕ２とで隔壁２１（掴み部２０ｃ）を強く挟持することができるように、指挿入方向の断面が、隔壁２１の下面から下方に向けて膨出するように円形となっている。なお、膨出部２２の形状は、断面円形に限定されることなく、断面楕円形，多角形等の非円形であってもよい。
例えば、左手の親指以外の４本の指（人差し指、中指、薬指及び小指）が印刷指Ｕ１となる場合には、図３に示すように、ユーザは印刷指挿入部２０ａに４本の印刷指Ｕ１を挿入し、非印刷指挿入部２０ｂに非印刷指Ｕ２である親指を挿入する。この場合、ユーザが印刷指挿入部２０ａに挿入された印刷指Ｕ１と、非印刷指挿入部２０ｂに挿入された非印刷指Ｕ２とで掴み部２０ｃを挟持することにより、印刷指Ｕ１が掴み部２０ｃの上で固定される。
また、親指のみが印刷指Ｕ１となる場合には、親指（印刷指Ｕ１）を印刷指挿入部２０ａに挿入さし、親指以外の４本の指（非印刷指Ｕ２）を非印刷指挿入部２０ｂに挿入する。この場合にも、ユーザが印刷指Ｕ１と非印刷指Ｕ２とで掴み部２０ｃを挟持することで印刷指Ｕ１が固定される。
また、親指のみが印刷指Ｕ１となる場合には、親指（印刷指Ｕ１）を印刷指挿入部２０ａに挿入さし、親指以外の４本の指（非印刷指Ｕ２）を非印刷指挿入部２０ｂに挿入する。この場合にも、ユーザが印刷指Ｕ１と非印刷指Ｕ２とで掴み部２０ｃを挟持することで印刷指Ｕ１が固定される。
また、図４は、本実施形態に係るネイルプリント装置１の正面側の断面図であり、図５は、ネイルプリント装置１の側断面図である。
図４及び図５に示すように、撮影部３０は、機枠１１の中の上部機枠１１ｂに設けられている。
すなわち、上部機枠１１ｂに設置された基板３１の中央部下面には、ドライバーを内蔵した２００万画素程度以上の画素を有するカメラ３２が設置されている。また、基板３１には、カメラ３２を囲むように白色ＬＥＤ等の照明灯３３が設置されている。撮影部３０は、このカメラ３２及び照明灯３３を備えて構成されている。
この撮影部３０は、指載置手段である印刷指挿入部２０ａに載置された印刷指Ｕ１を照明灯３３によって照明し、カメラ３２によってその印刷指Ｕ１を撮影して、指爪画像を得る撮影手段であり、この撮影部３０は、後述する制御装置５０の本体制御部５２に接続され、該本体制御部５２によって制御されるようになっている。
図４及び図５に示すように、撮影部３０は、機枠１１の中の上部機枠１１ｂに設けられている。
すなわち、上部機枠１１ｂに設置された基板３１の中央部下面には、ドライバーを内蔵した２００万画素程度以上の画素を有するカメラ３２が設置されている。また、基板３１には、カメラ３２を囲むように白色ＬＥＤ等の照明灯３３が設置されている。撮影部３０は、このカメラ３２及び照明灯３３を備えて構成されている。
この撮影部３０は、指載置手段である印刷指挿入部２０ａに載置された印刷指Ｕ１を照明灯３３によって照明し、カメラ３２によってその印刷指Ｕ１を撮影して、指爪画像を得る撮影手段であり、この撮影部３０は、後述する制御装置５０の本体制御部５２に接続され、該本体制御部５２によって制御されるようになっている。
また、印刷部４０は、後述する爪領域決定部５３によって決定された最終的な印刷領域である爪領域Ｔａ（図１８参照）に色や模様等の印刷を施す印刷手段であり、主に上部機枠１１ｂに設けられている。
すなわち、図４及び図５に示すように、上部機枠１１ｂの両側板には、２本のガイドロッド４１が平行に架設されている。このガイドロッド４１には、主キャリッジ４２が摺動自在に設置されている。また、図５に示すように、主キャリッジ４２の前壁４２ａおよび後壁４２ｂには２本のガイドロッド４４が平行に架設されている。このガイドロッド４４には、副キャリッジ４５が摺動自在に設置されている。この副キャリッジ４５の下面中央部には、印刷ヘッド４６が搭載されている。
本実施形態において、この印刷ヘッド４６は、インクを微滴化し、被印字媒体に対し直接に吹き付けて印刷を行うインクジェット方式の印刷ヘッドである。なお、印刷ヘッド４６の記録方式はインクジェット方式に限定されない。
すなわち、図４及び図５に示すように、上部機枠１１ｂの両側板には、２本のガイドロッド４１が平行に架設されている。このガイドロッド４１には、主キャリッジ４２が摺動自在に設置されている。また、図５に示すように、主キャリッジ４２の前壁４２ａおよび後壁４２ｂには２本のガイドロッド４４が平行に架設されている。このガイドロッド４４には、副キャリッジ４５が摺動自在に設置されている。この副キャリッジ４５の下面中央部には、印刷ヘッド４６が搭載されている。
本実施形態において、この印刷ヘッド４６は、インクを微滴化し、被印字媒体に対し直接に吹き付けて印刷を行うインクジェット方式の印刷ヘッドである。なお、印刷ヘッド４６の記録方式はインクジェット方式に限定されない。
主キャリッジ４２は動力伝達手段（図示せず）を介してモータ４３に連結され、モータ４３の正逆回転によって、ガイドロッド４１に沿って左右方向に移動ように構成されている。また、副キャリッジ４５は動力伝達手段（図示せず）を介してモータ４７に連結され、モータ４７の正逆回転によって、ガイドロッド４４に沿って前後方向に移動するように構成されている。
また、下部機枠１１ａには、印刷ヘッド４６にインクを供給するためのインクカートリッジ４８が設けられている。インクカートリッジ４８は、図示しないインク供給管を介して印刷ヘッド４６と接続されており、適宜印刷ヘッド４６にインクを供給するようになっている。なお、印刷ヘッド４６自体にインクカートリッジを搭載する構成としてもよい。
また、下部機枠１１ａには、印刷ヘッド４６にインクを供給するためのインクカートリッジ４８が設けられている。インクカートリッジ４８は、図示しないインク供給管を介して印刷ヘッド４６と接続されており、適宜印刷ヘッド４６にインクを供給するようになっている。なお、印刷ヘッド４６自体にインクカートリッジを搭載する構成としてもよい。
印刷部４０は、これらガイドロッド４１、主キャリッジ４２、モータ４３、ガイドロッド４４、副キャリッジ４５、印刷ヘッド４６、モータ４７及びインクカートリッジ４８等を備えて構成されている。この印刷部４０のモータ４３、印刷ヘッド４６、モータ４７は、後述する制御装置５０の本体制御部５２に接続され、該本体制御部５２によって制御されるようになっている。
操作盤１２は、ユーザが各種入力を行うための入力手段である。
操作盤１２には、例えば、ネイルプリント装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、その他各種の入力を行うための操作釦１２１が配置されている。
また、本実施形態では、表示部１３の表面に、タッチパネルＴＰが表示部１３と一体的に設けられており、図示しないスタイラスペン等によるタッチ操作により、各種の入力を行うことができるように構成されている。
例えば、表示部１３の表示画面には、印刷スイッチ釦、動作を中止させる中止スイッチ釦、印刷すべきネイル画像パターン（すなわち、印刷対象領域である爪領域Ｔａに印刷すべき所望のデザイン）をユーザが選択するためのパターン選択スイッチ釦等、各種の操作釦が表示されるようになっており、ユーザは表示部１３の表示画面上においてこれらの操作釦をタッチすることによっても各種の入力を行うことができる。
また、本実施形態では、表示部１３の表示画面上に指爪画像を表示させ、その指爪画像のうちの爪領域Ｔａの輪郭線に沿ってスタイラスペン等でタッチするタッチ操作を行うことにより、後述する特徴点Ｐを予め定められている間隔を置いて複数入力することが可能となっている。
操作盤１２には、例えば、ネイルプリント装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、その他各種の入力を行うための操作釦１２１が配置されている。
また、本実施形態では、表示部１３の表面に、タッチパネルＴＰが表示部１３と一体的に設けられており、図示しないスタイラスペン等によるタッチ操作により、各種の入力を行うことができるように構成されている。
例えば、表示部１３の表示画面には、印刷スイッチ釦、動作を中止させる中止スイッチ釦、印刷すべきネイル画像パターン（すなわち、印刷対象領域である爪領域Ｔａに印刷すべき所望のデザイン）をユーザが選択するためのパターン選択スイッチ釦等、各種の操作釦が表示されるようになっており、ユーザは表示部１３の表示画面上においてこれらの操作釦をタッチすることによっても各種の入力を行うことができる。
また、本実施形態では、表示部１３の表示画面上に指爪画像を表示させ、その指爪画像のうちの爪領域Ｔａの輪郭線に沿ってスタイラスペン等でタッチするタッチ操作を行うことにより、後述する特徴点Ｐを予め定められている間隔を置いて複数入力することが可能となっている。
表示部１３は、例えば液晶パネル（液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display））等で構成された表示手段である。
表示部１３には、例えば、印刷指Ｕ１を撮影した指爪画像や、指爪画像に爪領域抽出用モデルＭを重畳した画像（図１９等参照）、最終的な爪領域Ｔａ（図２０等参照）、印刷指Ｕ１の爪領域Ｔａに印刷すべきネイル画像パターン、デザイン確認用のサムネイル画像等が表示されるようになっている。
また、前記のように、この表示部１３には、タッチパネルＴＰが一体的に構成されている。
表示部１３には、例えば、印刷指Ｕ１を撮影した指爪画像や、指爪画像に爪領域抽出用モデルＭを重畳した画像（図１９等参照）、最終的な爪領域Ｔａ（図２０等参照）、印刷指Ｕ１の爪領域Ｔａに印刷すべきネイル画像パターン、デザイン確認用のサムネイル画像等が表示されるようになっている。
また、前記のように、この表示部１３には、タッチパネルＴＰが一体的に構成されている。
また、制御装置５０は、例えば上部機枠１１ｂに配置された基板３１等に設置されている。図６は、本実施形態における制御構成を示す要部ブロック図である。
制御装置５０は、図示しないＣＰＵ（Central Processing Unit）の他、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory)等（全て図示せず）で構成される記憶部５１を備えるコンピュータである。記憶部５１には、印刷すべきネイル画像パターン等のデータや爪領域決定プログラム、印刷プログラム等の各種プログラムが格納されており、制御装置５０はこれらのプログラムを実行してネイルプリント装置１の各部を制御するようになっている。すなわち、制御装置５０は、指爪画像の中から爪領域Ｔａを決定して、ユーザの印刷指Ｕ１のうち、この爪領域Ｔａと決定された領域に印刷を施すように印刷部４０を制御する印刷制御手段として機能する。また、制御装置５０は、後述するように、爪領域抽出用モデルＭを生成するとともに、複数の特徴点Ｐの座標位置と特徴点Ｐの番号とを対応付けて記憶部５１のモデル用メモリ領域５１ａに爪領域抽出用モデルＭとして記憶させる記憶制御手段として機能する。
本実施形態において制御装置５０は、本体制御部５２、爪領域決定部５３等の機能部を含んでいる。
本実施形態において制御装置５０は、本体制御部５２、爪領域決定部５３等の機能部を含んでいる。
また、本実施形態において、記憶部５１には、後述する爪領域抽出用モデルＭ（図１３等参照）、学習用モデルファイル、及び基準点Ｐｄ（図１４等参照）の番号・座標情報等が格納されているモデル用メモリ領域５１ａが設けられている。
ここで、爪領域抽出用モデルＭとは、指爪画像から爪領域Ｔａを特定（決定）するために用いられるものである。なお、爪領域抽出用モデルＭは、ネイルプリント装置１の工場出荷前の段階で予め生成され、出荷される各ネイルプリント装置１の記憶部５１のモデル用メモリ領域５１ａに格納されるようにしてもよいし、ネイルプリント装置１を使用するユーザのもとで当該ネイルプリント装置１において生成され、その記憶部５１のモデル用メモリ領域５１ａに格納されるようにしてもよい。
以下、図７から図１４を参照しつつ、爪領域抽出用モデルＭを生成する手法について説明する。
ここで、爪領域抽出用モデルＭとは、指爪画像から爪領域Ｔａを特定（決定）するために用いられるものである。なお、爪領域抽出用モデルＭは、ネイルプリント装置１の工場出荷前の段階で予め生成され、出荷される各ネイルプリント装置１の記憶部５１のモデル用メモリ領域５１ａに格納されるようにしてもよいし、ネイルプリント装置１を使用するユーザのもとで当該ネイルプリント装置１において生成され、その記憶部５１のモデル用メモリ領域５１ａに格納されるようにしてもよい。
以下、図７から図１４を参照しつつ、爪領域抽出用モデルＭを生成する手法について説明する。
図７に示すように、爪領域抽出用モデルＭを生成する際には、サンプルとなる複数人の指爪画像（すなわち、指Ｕｓ及びその爪Ｔの画像。図９（ａ）、図１０（ａ）、図１１（ａ）参照）を取得する（ステップＳ１）。
具体的には、図８に示すように、ユーザが実際の印刷を行う際と同様に、ネイルプリント装置１の印刷指挿入部２０ａにサンプルとなる指Ｕｓを載置し、この指Ｕｓを撮影部３０により撮影して、人数分（例えば３０人）の指爪画像を取得する。何人分の指爪画像を取得するかは特に限定されないが、人数が多いほど精度の高い爪領域Ｔａの抽出・決定を行うことのできる爪領域抽出用モデルＭを生成することができ、好ましい。
なお、本実施形態では、以下において全ての爪Ｔに共通して適用される爪領域抽出用モデルＭを１つ生成し、記憶部５１には、この１つの爪領域抽出用モデルＭのみが格納される場合を例として説明するが、記憶部５１に格納される爪領域抽出用モデルＭは、１つに限定されない。例えば、性別（男性・女性）や年齢層別（１０代・３０代・５０代・・・）等に分けて指爪画像を取得し、各種別ごとの個別の爪領域抽出用モデルＭを生成してもよい。また、各指（親指・人差し指・中指・薬指・小指）の爪ごとに分けて指爪画像を取得し、各指の爪ごとに別個の爪領域抽出用モデルＭを生成してもよい。
具体的には、図８に示すように、ユーザが実際の印刷を行う際と同様に、ネイルプリント装置１の印刷指挿入部２０ａにサンプルとなる指Ｕｓを載置し、この指Ｕｓを撮影部３０により撮影して、人数分（例えば３０人）の指爪画像を取得する。何人分の指爪画像を取得するかは特に限定されないが、人数が多いほど精度の高い爪領域Ｔａの抽出・決定を行うことのできる爪領域抽出用モデルＭを生成することができ、好ましい。
なお、本実施形態では、以下において全ての爪Ｔに共通して適用される爪領域抽出用モデルＭを１つ生成し、記憶部５１には、この１つの爪領域抽出用モデルＭのみが格納される場合を例として説明するが、記憶部５１に格納される爪領域抽出用モデルＭは、１つに限定されない。例えば、性別（男性・女性）や年齢層別（１０代・３０代・５０代・・・）等に分けて指爪画像を取得し、各種別ごとの個別の爪領域抽出用モデルＭを生成してもよい。また、各指（親指・人差し指・中指・薬指・小指）の爪ごとに分けて指爪画像を取得し、各指の爪ごとに別個の爪領域抽出用モデルＭを生成してもよい。
取得された指爪画像のデータは、コンピュータである制御装置５０の記憶部５１のモデル用メモリ領域５１ａに入力（格納）される（ステップＳ２）。
図９（ａ）、図１０（ａ）、図１１（ａ）に示すように、各指爪画像を順にネイルプリント装置１の表示部１３に表示させ、表示部１３の上部に配置されているタッチパネルＴＰを用いて各指爪画像における爪Ｔの輪郭線に沿ってほぼ等間隔に特徴点Ｐをスタイラスペン等によるタッチ操作に従って配置していく（図９（ｂ）、図１０（ｂ）、図１１（ｂ）参照）。これにより各指爪画像の特徴点Ｐが、コンピュータである制御装置５０に入力される（ステップＳ３）。なお、本実施形態では、スタイラスペン等を用いて特徴点Ｐを入力する場合を例として説明するが、入力用デバイスはスタイラスペン等に限定されず、人の指やマウス等のポインティングデバイスを用いて入力を行ってもよい。
なお、図９（ｂ）、図１０（ｂ）、図１１（ｂ）のように爪Ｔの輪郭は人により様々であるが、いかなる配置、形状の爪Ｔであっても、配置する特徴点Ｐの数は同じとする。
本実施形態では、１８個の特徴点Ｐをほぼ等間隔に配置する場合を例としているが、特徴点Ｐの数はこれに限定されない。特徴点Ｐの個数が多いほど爪の輪郭線を細かく表現することができ、精度の高い爪領域抽出用モデルＭを生成することができる。また、特徴点Ｐの配置の仕方は図示例に限定されず、例えば爪Ｔの輪郭を囲むように、爪Ｔの下側（すなわち特徴点ＰのＮＯ．１とＮＯ．１８との間）にも特徴点Ｐを配置してもよい。
なお、図９（ｂ）、図１０（ｂ）、図１１（ｂ）のように爪Ｔの輪郭は人により様々であるが、いかなる配置、形状の爪Ｔであっても、配置する特徴点Ｐの数は同じとする。
本実施形態では、１８個の特徴点Ｐをほぼ等間隔に配置する場合を例としているが、特徴点Ｐの数はこれに限定されない。特徴点Ｐの個数が多いほど爪の輪郭線を細かく表現することができ、精度の高い爪領域抽出用モデルＭを生成することができる。また、特徴点Ｐの配置の仕方は図示例に限定されず、例えば爪Ｔの輪郭を囲むように、爪Ｔの下側（すなわち特徴点ＰのＮＯ．１とＮＯ．１８との間）にも特徴点Ｐを配置してもよい。
図９（ｂ）、図１０（ｂ）、図１１（ｂ）に示すように、各指爪画像における各特徴点Ｐには順に共通の番号（本実施形態では、爪Ｔの左下から順にＮｏ．１〜Ｎｏ．１８）が付され、この番号と各特徴点Ｐの座標値とが対応付けられてサンプルファイル（テキストファイル）としてモデル用メモリ領域５１ａに記憶される（ステップＳ４）。
図１２は、このサンプルファイルの一例を示したものである。例えば図９（ａ）に示すサンプルの指Ｕｓの指爪画像についてのサンプルファイルには、図９（ｂ）に表されている各特徴点Ｐの番号とその特徴点Ｐの座標値とが対応付けられている。
図１２は、このサンプルファイルの一例を示したものである。例えば図９（ａ）に示すサンプルの指Ｕｓの指爪画像についてのサンプルファイルには、図９（ｂ）に表されている各特徴点Ｐの番号とその特徴点Ｐの座標値とが対応付けられている。
、
制御装置５０は、当初入力された指爪画像（本実施形態では３０人分のデータ）中に、特徴点Ｐを付与していない画像が残っているか否かを常に判断する（ステップＳ５）。そして、特徴点Ｐを付与していない画像が残っていると判断した場合（ステップＳ５；ＹＥＳ）には、まだ特徴点Ｐを付与していない指爪画像についてステップＳ３及びステップＳ４の処理を繰り返す。
制御装置５０は、当初入力された指爪画像（本実施形態では３０人分のデータ）中に、特徴点Ｐを付与していない画像が残っているか否かを常に判断する（ステップＳ５）。そして、特徴点Ｐを付与していない画像が残っていると判断した場合（ステップＳ５；ＹＥＳ）には、まだ特徴点Ｐを付与していない指爪画像についてステップＳ３及びステップＳ４の処理を繰り返す。
他方、特徴点Ｐを付与していない画像が残っていないと判断した場合（ステップＳ５；ＮＯ）には、制御装置５０は、各サンプルファイルにおける指爪画像の各特徴点Ｐの座標値の平均値及び特徴点Ｐに囲まれている領域の輝度値の平均値を算出する（ステップＳ６）。
座標値の平均値の算出手法は、例えば、各特徴点Ｐについて、全ての指爪画像の座標値を加算した後、人数で除することによる。すなわち、例えば１番目の特徴点Ｐについて３０人分の座標値を足し合わせた後、３０で割ることにより当該１番目の特徴点Ｐの座標値の平均値を得る。また、輝度値の平均値についても同様に、例えば３０人分の輝度値を足し合わせた後、３０で割ることにより算出する。
座標値の平均値の算出手法は、例えば、各特徴点Ｐについて、全ての指爪画像の座標値を加算した後、人数で除することによる。すなわち、例えば１番目の特徴点Ｐについて３０人分の座標値を足し合わせた後、３０で割ることにより当該１番目の特徴点Ｐの座標値の平均値を得る。また、輝度値の平均値についても同様に、例えば３０人分の輝度値を足し合わせた後、３０で割ることにより算出する。
さらに、制御装置５０は、各サンプルファイルにおける指爪画像の各特徴点Ｐの座標値とそれぞれの座標値の平均値との偏差を主成分分析する（ステップＳ７）。これにより、当該サンプルファイルにおける各特徴点Ｐの座標値についての固有ベクトルを得ることができる。
また、制御装置５０は、各サンプルファイルにおける指爪画像の特徴点Ｐに囲まれている領域の輝度値とこの輝度値の平均値との偏差を主成分分析する（ステップＳ８）。これにより、当該サンプルファイルにおける輝度値についての固有ベクトルを得ることができる。
このように、各座標値及び輝度値について固有ベクトルを取得しておくことにより、コンピュータ上における処理を簡易・迅速化することができる。
このように、各座標値及び輝度値について固有ベクトルを取得しておくことにより、コンピュータ上における処理を簡易・迅速化することができる。
また、特徴点Ｐの座標値（特徴点Ｐで囲まれている領域の形状を意味する。）と特徴点Ｐで囲まれている領域の輝度値との間には相関関係があり、１つの係数に統一した方がコンピュータ上の処理が容易となる。このため、制御装置５０は、特徴点Ｐの座標値群の固有値・固有ベクトル及び特徴点Ｐで囲まれている領域の輝度値の固有値・固有ベクトルの主成分分析を行うことにより、特徴点Ｐの座標値と領域の輝度値との両方を制御可能なパラメータとしての係数（図７において「係数ｃ」とする。）を算出する（ステップＳ９）。
そして、制御装置５０は、各指爪画像の特徴点Ｐの座標値群の固有値・固有ベクトル、指爪画像のうち特徴点Ｐで囲まれている領域の輝度値の固有値・固有ベクトル、特徴点Ｐの座標値及び領域の輝度値の主成分得点の固有値・固有ベクトル、各種係数（例えばベクトル次元値統一用の係数ｃ、正規化用の係数等）、各特徴点Ｐの座標値の平均値及び特徴点Ｐで囲まれている領域の輝度値の平均値等により構成される学習用モデルファイルを、各サンプルファイルごとに（本実施形態では３０ファイル分）生成し、モデル用メモリ領域５１ａに格納する（ステップＳ１０）。
また、制御装置５０は、各サンプルファイルにおける指爪画像の各特徴点Ｐの座標値についてステップＳ６で算出された平均値に基づき、特徴点Ｐで囲まれた領域の平均形状（ステップ６における平均化処理後の座標値で表される）を爪領域抽出用モデルＭとしてモデル用メモリ領域５１ａに格納する（ステップＳ１１）。なお、爪領域抽出用モデルＭは、各特徴点Ｐの座標値について平均化しただけのものでもよいが、より精度の高い普遍性のあるモデルとするために、全体の輪郭やバランスを考慮して個人差のある特徴的な値を補正するワーピング処理を行ってもよい。
図１３は、爪領域抽出用モデルＭの一例を模式的に示したものである。なお、図１３においては、図示の便宜上、爪領域抽出用モデルＭである特徴点Ｐで囲まれた領域を実線で表す他、指全体を二点鎖線で表している。
図１３は、爪領域抽出用モデルＭの一例を模式的に示したものである。なお、図１３においては、図示の便宜上、爪領域抽出用モデルＭである特徴点Ｐで囲まれた領域を実線で表す他、指全体を二点鎖線で表している。
また、制御装置５０は、例えば図１４に示すように、爪領域抽出用モデルＭである特徴点Ｐで囲まれた領域を所定の順序で走査していき（本実施形態では、画像の一番上のラインから１ラインずつ、左から右に向かって順次走査）、初めに検出された特徴点Ｐを基準点Ｐｄとし、この基準点Ｐｄの番号及びその座標値をモデル用メモリ領域５１ａに格納する。
なお、爪領域抽出用モデルＭの走査は、後述する画像走査部５３２により行われてもよい。
図１４では、５ライン目の走査で初めて特徴点Ｐが検出された例を示している。図１４の場合、この特徴点Ｐは９番目の点であり、ｘ軸方向の座標がｘ＝１４、ｙ軸方向の座標がｙ＝５の座標値で表される。したがって、この場合には、特徴点Ｐの番号９番及びその座標値であるｘ＝１４、ｙ＝５が、基準点Ｐｄとしてモデル用メモリ領域５１ａに記憶される。
なお、基準点Ｐｄの定め方はこれに限定されない。例えば、表示画面上に爪領域抽出用モデルＭを表示させ、ユーザがスタイラスペン等によりいずれかの特徴点Ｐにタッチすると、制御装置５０において当該特徴点Ｐが基準点Ｐｄとして選択されるようにしてもよい。例えば、後述するように指爪画像の基準画素Ｃｄを決定する際に画像の一番上のラインから１ラインずつ、左から右に向かって順次走査していく場合、ユーザが表示画面上で爪領域抽出用モデルＭを確認し、目視にて最も左上の位置にあると思われる特徴点Ｐをタッチすることで、基準画素Ｃｄと重ね合わせるのに適した特徴点Ｐが基準点Ｐｄとして選択される。
なお、爪領域抽出用モデルＭの走査は、後述する画像走査部５３２により行われてもよい。
図１４では、５ライン目の走査で初めて特徴点Ｐが検出された例を示している。図１４の場合、この特徴点Ｐは９番目の点であり、ｘ軸方向の座標がｘ＝１４、ｙ軸方向の座標がｙ＝５の座標値で表される。したがって、この場合には、特徴点Ｐの番号９番及びその座標値であるｘ＝１４、ｙ＝５が、基準点Ｐｄとしてモデル用メモリ領域５１ａに記憶される。
なお、基準点Ｐｄの定め方はこれに限定されない。例えば、表示画面上に爪領域抽出用モデルＭを表示させ、ユーザがスタイラスペン等によりいずれかの特徴点Ｐにタッチすると、制御装置５０において当該特徴点Ｐが基準点Ｐｄとして選択されるようにしてもよい。例えば、後述するように指爪画像の基準画素Ｃｄを決定する際に画像の一番上のラインから１ラインずつ、左から右に向かって順次走査していく場合、ユーザが表示画面上で爪領域抽出用モデルＭを確認し、目視にて最も左上の位置にあると思われる特徴点Ｐをタッチすることで、基準画素Ｃｄと重ね合わせるのに適した特徴点Ｐが基準点Ｐｄとして選択される。
本体制御部５２は、撮影部３０を制御して指爪画像を取得させたり、印刷部４０を制御して、爪領域Ｔａに印刷を行わせたり等の処理を実現する。
爪領域決定部５３は、記憶部５１のモデル用メモリ領域５１ａに記憶されている爪領域抽出用モデルＭを撮影部３０により得られたユーザの指爪画像にフィッティングすることにより、印刷対象となる爪領域Ｔａを決定する機能部である。
本実施形態において、爪領域決定部５３は、走査用画像生成部５３１、画像走査部５３２、白黒判別部５３３、基準画素決定部５３４、初期位置決定部５３５、領域調整部５３６等の機能部を含んでおり、記憶部５１に記憶されている爪領域決定プログラムにしたがい、指爪画像の中から印刷対象となる最終的な爪領域Ｔａを決定する。
本実施形態において、爪領域決定部５３は、走査用画像生成部５３１、画像走査部５３２、白黒判別部５３３、基準画素決定部５３４、初期位置決定部５３５、領域調整部５３６等の機能部を含んでおり、記憶部５１に記憶されている爪領域決定プログラムにしたがい、指爪画像の中から印刷対象となる最終的な爪領域Ｔａを決定する。
走査用画像生成部５３１は、撮影部３０により得られた指爪画像から指爪領域（すなわち、印刷対象となる爪領域Ｔａ及び当該指全体）を白色、それ以外の領域を黒色とした走査用画像を生成する走査用画像生成手段である。
図１７は、走査用画像生成部５３１により生成される走査用画像の一例を示したものである。図１７に示すように、走査用画像は白黒に二値化された画像である。
図１７は、走査用画像生成部５３１により生成される走査用画像の一例を示したものである。図１７に示すように、走査用画像は白黒に二値化された画像である。
画像走査部５３２は、走査用画像生成部５３１により生成された走査用画像を所定方向から順次走査する画像走査手段である。
画像走査部５３２は、爪領域抽出用モデルＭの基準点Ｐｄを定めたときと同じ順序で走査用画像を順次走査していくようになっている。本実施形態では、爪領域抽出用モデルＭの基準点Ｐｄを定める際、前述のように、画像の一番上のラインから１ラインずつ、左から右に向かって順次走査していったことから、画像走査部５３２も走査用画像の一番上のラインから１ラインずつ、左から右に向かって順次走査していく（図１８参照）。
なお、画像走査部５３２は、走査画像全体を走査する必要はなく、後述する基準画素Ｃｄが決定された時点で走査を終了する。
画像走査部５３２は、爪領域抽出用モデルＭの基準点Ｐｄを定めたときと同じ順序で走査用画像を順次走査していくようになっている。本実施形態では、爪領域抽出用モデルＭの基準点Ｐｄを定める際、前述のように、画像の一番上のラインから１ラインずつ、左から右に向かって順次走査していったことから、画像走査部５３２も走査用画像の一番上のラインから１ラインずつ、左から右に向かって順次走査していく（図１８参照）。
なお、画像走査部５３２は、走査画像全体を走査する必要はなく、後述する基準画素Ｃｄが決定された時点で走査を終了する。
白黒判別部５３３は、画像走査部５３２による走査結果から、走査用画像の各画素の白黒を判別する白黒判別手段である。
基準画素決定部５３４は、ユーザの指爪画像に爪領域抽出用モデルＭをフィッティングする際に基準となる指爪画像の基準画素Ｃｄを決定する基準画素決定手段である。
基準画素決定部５３４は、画像走査部５３２により走査された順番に白黒判別部５３３が各画素の白黒を判別していった場合に、初めに白色の画素と判別された画素を基準画素Ｃｄとして決定するようになっている。
基準画素決定部５３４は、画像走査部５３２により走査された順番に白黒判別部５３３が各画素の白黒を判別していった場合に、初めに白色の画素と判別された画素を基準画素Ｃｄとして決定するようになっている。
図１８は、図１７に示す走査用画像の画素を順に走査している様子を示したものである。なお、図１８では、図１７に示す走査用画像を模式化して示しており、実線は走査用画像において白色で示された指爪領域の輪郭を示している。
図１８に示すように、本実施形態では、４ライン目の１３番目の画素が初めて白色の画素と判別された画素である場合を例としている。
図１８の場合、基準画素決定部５３４は、このｘ＝１３、ｙ＝４の座標値で表される画素を基準画素Ｃｄとして決定する。
図１８に示すように、本実施形態では、４ライン目の１３番目の画素が初めて白色の画素と判別された画素である場合を例としている。
図１８の場合、基準画素決定部５３４は、このｘ＝１３、ｙ＝４の座標値で表される画素を基準画素Ｃｄとして決定する。
初期位置決定部５３５は、基準画素決定部５３４により基準画素Ｃｄと決定された画素に爪領域抽出用モデルＭの基準点Ｐｄを重ね合わせて、爪領域抽出用モデルＭのフィッティングの初期位置を決定し、指爪画像の当該初期位置に重畳されるように爪領域抽出用モデルＭを配置する初期位置決定手段である。
爪領域抽出用モデルＭは、前述のように、ユーザが印刷を行う際と同様に、ネイルプリント装置１の印刷指挿入部２０ａにサンプルとなる指を載置して撮影を行うことにより取得した指爪画像に基づいて生成されたものであるため、爪領域抽出用モデルＭ（すなわち、特徴点Ｐで囲まれている領域）とユーザの印刷指Ｕ１の爪領域Ｔａとの凡その位置や向きは一致している。このため、基準画素Ｃｄが決定され、この基準画素Ｃｄと爪領域抽出用モデルＭの基準点Ｐｄとを重ね合わせると、爪領域抽出用モデルＭの基準点Ｐｄ以外の特徴点Ｐの位置は、基準点Ｐｄからの位置関係により特定することができる。
このようにして、爪領域抽出用モデルＭの各特徴点Ｐに対応する点をユーザの印刷指Ｕ１の指爪画像に配置してこれらの点をつなぐことにより、爪領域抽出用モデルＭのフィッティングの初期位置が決定される（図１９参照）。
このようにして、爪領域抽出用モデルＭの各特徴点Ｐに対応する点をユーザの印刷指Ｕ１の指爪画像に配置してこれらの点をつなぐことにより、爪領域抽出用モデルＭのフィッティングの初期位置が決定される（図１９参照）。
また、領域調整部５３６は、初期位置決定部５３５により配置された爪領域抽出用モデルＭの範囲や形状を指爪画像の爪領域Ｔａに合致するように調整する領域調整手段である。
領域調整部５３６は、ＡＡＭ（Active Appearance Model）を用いた検出アルゴリズムを適用して、爪領域抽出用モデルＭの範囲や形状をユーザの指爪画像の爪領域Ｔａに合致するように爪領域抽出用モデルＭの座標値を更新するものである。領域調整部５３６が、爪領域抽出用モデルＭの座標値を調整・更新することにより、印刷対象となる最終的な爪領域Ｔａが決定される（図２０参照）。
領域調整部５３６は、ＡＡＭ（Active Appearance Model）を用いた検出アルゴリズムを適用して、爪領域抽出用モデルＭの範囲や形状をユーザの指爪画像の爪領域Ｔａに合致するように爪領域抽出用モデルＭの座標値を更新するものである。領域調整部５３６が、爪領域抽出用モデルＭの座標値を調整・更新することにより、印刷対象となる最終的な爪領域Ｔａが決定される（図２０参照）。
次に、図１５及び図１６を参照しつつ、本実施形態におけるネイルプリント装置１による印刷制御方法について説明する。
このネイルプリント装置１により印刷を行う場合、ユーザはまず、電源スイッチを入れて制御装置５０を起動させ、印刷指Ｕ１に印刷したいネイル画像パターン（デザイン）を選択する。選択されたネイル画像パターンは、表示部１３に、デザイン確認用のサムネイル画像として表示される。このデザインでよい場合には、ユーザは図示しない確定ボタンでネイル画像パターンを確定させる。
このネイルプリント装置１により印刷を行う場合、ユーザはまず、電源スイッチを入れて制御装置５０を起動させ、印刷指Ｕ１に印刷したいネイル画像パターン（デザイン）を選択する。選択されたネイル画像パターンは、表示部１３に、デザイン確認用のサムネイル画像として表示される。このデザインでよい場合には、ユーザは図示しない確定ボタンでネイル画像パターンを確定させる。
次に、ユーザは、印刷指Ｕ１を印刷指挿入部２０ａに挿入し、非印刷指Ｕ２を非印刷指挿入部２０ｂに挿入して、印刷指Ｕ１を固定した上で、印刷スイッチを操作する。
例えば、左手の人差し指、中指、薬指及び小指の爪領域Ｔａに印刷を施したい場合には、図３に示すように、印刷指挿入部２０ａに人差し指、中指、薬指及び小指を平面的に並べて挿入し、非印刷指挿入部２０ｂに親指を挿入する。そして、印刷指挿入部２０ａに挿入した人差し指、中指、薬指及び小指と非印刷指挿入部２０ｂに挿入した親指とで掴み部２０ｃを挟持する。これによって、印刷指Ｕ１である人差し指、中指、薬指及び小指が固定される。
例えば、左手の人差し指、中指、薬指及び小指の爪領域Ｔａに印刷を施したい場合には、図３に示すように、印刷指挿入部２０ａに人差し指、中指、薬指及び小指を平面的に並べて挿入し、非印刷指挿入部２０ｂに親指を挿入する。そして、印刷指挿入部２０ａに挿入した人差し指、中指、薬指及び小指と非印刷指挿入部２０ｂに挿入した親指とで掴み部２０ｃを挟持する。これによって、印刷指Ｕ１である人差し指、中指、薬指及び小指が固定される。
図１９に示すように、制御装置５０は、表示部１３の印刷スイッチから指示が入力されると、まず撮影部３０を制御して、印刷指Ｕ１全体を撮影させる。これにより、印刷指Ｕ１の指爪画像が取得される（ステップＳ２１）。取得された指爪画像のデータは記憶部５１のＲＡＭ等に記憶される。
次いで、爪領域決定部５３の走査用画像生成部５３１は、撮影部３０により得られた指爪画像のうち指爪領域（すなわち、印刷対象となる爪領域Ｔａ及び当該指全体）を白色、それ以外の領域を黒色とした走査用画像を生成する（ステップＳ２２、図１７参照）。
画像走査部５３２は、走査用画像生成部５３１により生成された走査用画像を一番上のラインから１ラインずつ、左から右に向かって順次走査していき（ステップＳ２３、図１８参照）、白黒判別部５３３は、画像走査部５３２により走査された順番に走査用画像の各画素の白黒を判別していく（ステップＳ２４）。そして、基準画素決定部５３４は、白黒判別部５３３が初めに白色の画素と判別した画素を基準画素Ｃｄと決定する（ステップＳ２５）。本実施形態では、４ライン目の１３番目の画素が基準画素Ｃｄと決定される（図１８参照）。なお、基準画素Ｃｄが決定されると、画像走査部５３２による走査は終了する。
次いで、爪領域決定部５３の走査用画像生成部５３１は、撮影部３０により得られた指爪画像のうち指爪領域（すなわち、印刷対象となる爪領域Ｔａ及び当該指全体）を白色、それ以外の領域を黒色とした走査用画像を生成する（ステップＳ２２、図１７参照）。
画像走査部５３２は、走査用画像生成部５３１により生成された走査用画像を一番上のラインから１ラインずつ、左から右に向かって順次走査していき（ステップＳ２３、図１８参照）、白黒判別部５３３は、画像走査部５３２により走査された順番に走査用画像の各画素の白黒を判別していく（ステップＳ２４）。そして、基準画素決定部５３４は、白黒判別部５３３が初めに白色の画素と判別した画素を基準画素Ｃｄと決定する（ステップＳ２５）。本実施形態では、４ライン目の１３番目の画素が基準画素Ｃｄと決定される（図１８参照）。なお、基準画素Ｃｄが決定されると、画像走査部５３２による走査は終了する。
次に、初期位置決定部５３５は、基準画素決定部５３４により決定された指爪画像の基準画素Ｃｄの座標（本実施形態では、座標値：ｘ＝１３、ｙ＝４）に爪領域抽出用モデルＭの基準点Ｐｄを重ね合わせ（ステップＳ２６）、さらに、爪領域抽出用モデルＭの基準点Ｐｄ以外の特徴点Ｐの指爪画像上における位置（座標）を、この基準点Ｐｄからの位置関係により特定する（ステップＳ２７）。これにより、爪領域抽出用モデルＭのフィッティングの初期位置が決定される（図１９参照）。
爪領域抽出用モデルＭのフィッティングの初期位置が決定されると、領域調整部５３６は、初期位置決定部５３５により配置された爪領域抽出用モデルＭの範囲や形状を指爪画像の爪領域Ｔａに合致するように調整して印刷対象領域である最終的な爪領域Ｔａを決定する領域調整処理を行い、決定された爪領域Ｔａへの印刷処理を行う（ステップＳ２８、図２０参照）。
例えば、本実施形態では、図１９に示すように、爪領域抽出用モデルＭの特徴点Ｐの１番から８番は、実際の印刷指Ｕ１の爪領域Ｔａの輪郭線よりも少し右側に寄っている。また、爪領域抽出用モデルＭの特徴点Ｐの１０番から１８番は、実際の印刷指Ｕ１の爪領域Ｔａの輪郭線よりも大きく右側に寄っている。そこで、爪領域抽出用モデルＭを正しい爪領域Ｔａに合致させるためには、特徴点Ｐの１番から８番については少し左側に位置を修正し、特徴点Ｐの１０番から１８番については左側に寄せるように位置を修正する必要がある。
具体的には、図１６に示す領域調整処理及び印刷処理が行われる。
例えば、本実施形態では、図１９に示すように、爪領域抽出用モデルＭの特徴点Ｐの１番から８番は、実際の印刷指Ｕ１の爪領域Ｔａの輪郭線よりも少し右側に寄っている。また、爪領域抽出用モデルＭの特徴点Ｐの１０番から１８番は、実際の印刷指Ｕ１の爪領域Ｔａの輪郭線よりも大きく右側に寄っている。そこで、爪領域抽出用モデルＭを正しい爪領域Ｔａに合致させるためには、特徴点Ｐの１番から８番については少し左側に位置を修正し、特徴点Ｐの１０番から１８番については左側に寄せるように位置を修正する必要がある。
具体的には、図１６に示す領域調整処理及び印刷処理が行われる。
すなわち、領域調整部５３６は、まず、爪領域抽出用モデルＭが重畳された指爪画像の領域の輝度値をベクトル（これを「輝度ベクトルｇｉ」とする。）として取得する（ステップＳ３１）。そして、この輝度値ベクトルｇｉと、爪領域抽出用モデルＭの生成過程において算出され、記憶部５１に格納されている平均化された輝度値のベクトル（これを「平均輝度ベクトルｇｍ」とする。）との差分Δｇを算出する（ステップＳ３２）。
次に、領域調整部５３６は、この差分Δｇを用いて係数ｃを更新する（ステップＳ３３、なお、更新された係数ｃを「更新値ｎｅｗ_ｃ」とする。）。ｎｅｗ_ｃを得るために、領域調整部５３６は、Δｇを用いてΔｃを求める。Δｃは、Δｃ＝Δｇ×Ａとの式により求めることができる。ここで、Ａは、爪領域抽出用モデルＭの生成過程において算出済みのパラメータである。さらに、このΔｃを用いて、更新値ｎｅｗ_ｃを求める。更新値ｎｅｗ_ｃは、ｎｅｗ_ｃ＝ｃ＋Δｃにより求めることができる。
次に、領域調整部５３６は、この差分Δｇを用いて係数ｃを更新する（ステップＳ３３、なお、更新された係数ｃを「更新値ｎｅｗ_ｃ」とする。）。ｎｅｗ_ｃを得るために、領域調整部５３６は、Δｇを用いてΔｃを求める。Δｃは、Δｃ＝Δｇ×Ａとの式により求めることができる。ここで、Ａは、爪領域抽出用モデルＭの生成過程において算出済みのパラメータである。さらに、このΔｃを用いて、更新値ｎｅｗ_ｃを求める。更新値ｎｅｗ_ｃは、ｎｅｗ_ｃ＝ｃ＋Δｃにより求めることができる。
そして、領域調整部５３６は、更新値ｎｅｗ_ｃを係数ｃとみなして、爪領域抽出用モデルＭの各特徴点Ｐの平均化された座標値のベクトル（これを「平均座標ベクトルｓｍ」とする。）及び平均輝度ベクトルｇｍを再計算する（ステップＳ３４）。なお、爪領域抽出用モデルＭの各特徴点Ｐの座標値ｓの更新値は、ｓ＋Ｐｓ×Ｗｓ×Ｑｓ×ｃとの式により求めることができる。この式のうち、Ｐｓは座標値ｓの固有ベクトルであり、Ｗｓは座標ベクトルと輝度ベクトルの単位の違いを正規化する対角行列であり、Ｑｓは座標値及び輝度値の固有ベクトルであって、係数ｃ以外はいずれも爪領域抽出用モデルＭの生成過程において算出済みのものであるため、係数ｃの値のみを更新することにより、座標値を更新することができる。
さらに、領域調整部５３６は、爪領域抽出用モデルＭが重畳された指爪画像の領域の輝度ベクトルｇｉを取得し、この輝度値ベクトルｇｉと、係数ｃの値が更新された爪領域抽出用モデルＭの平均輝度ベクトルｇｍとの差分Δｇを算出する（ステップＳ３５）。
そして、領域調整部５３６は、爪領域抽出用モデルＭとの誤差ｅ＝|| Δｇ || とし、さらに、この誤差ｅの二乗（ｅ×ｅ）をエラー値Ｅとするとともに、係数ｃの更新前における更新前Δｇについても同様の計算を行うことにより更新前エラー値Ｅ_previousを求める（ステップＳ３６）。
領域調整部５３６は、（Ｅ_previous−Ｅ＞０．０００１×Ｅ）であり、かつ、上記の算出処理を繰り返した算出ループの回数が上限値（例えば３０回）以下であるかを常に判断し（ステップＳ３７）、（Ｅ_previous−Ｅ＞０．０００１×Ｅ）であり、かつ、算出ループの回数が上限値（例えば３０回）以下である場合（ステップＳ３７；ＹＥＳ）には、ステップＳ１３からステップＳ１７の処理を繰り返す。なお、式中の「０．０００１」は収束判定用の係数であり、任意に設定することが可能である。また、算出ループの回数の上限値も特に限定されず、任意に設定することができる。
他方、（Ｅ_previous−Ｅ＞０．０００１×Ｅ）でないか、あるいは、算出ループの回数が上限値（例えば３０回）を超えた場合（ステップＳ３７；ＮＯ）には、領域調整部５３６は、爪領域抽出用モデルＭと指爪画像との誤差の修正（爪領域抽出用モデルＭの更新）が収束したとみなし、領域調整処理を終了して、この時点での最新の更新後の爪領域抽出用モデルＭの各特徴点Ｐで囲まれている領域を印刷対象である爪領域Ｔａとして決定する（ステップＳ３８、図２０参照）。
他方、（Ｅ_previous−Ｅ＞０．０００１×Ｅ）でないか、あるいは、算出ループの回数が上限値（例えば３０回）を超えた場合（ステップＳ３７；ＮＯ）には、領域調整部５３６は、爪領域抽出用モデルＭと指爪画像との誤差の修正（爪領域抽出用モデルＭの更新）が収束したとみなし、領域調整処理を終了して、この時点での最新の更新後の爪領域抽出用モデルＭの各特徴点Ｐで囲まれている領域を印刷対象である爪領域Ｔａとして決定する（ステップＳ３８、図２０参照）。
印刷対象である爪領域Ｔａが決定されると、本体制御部５２は、印刷部４０を制御して、ユーザの印刷指Ｕ１の爪領域Ｔａへの印刷を行わせる（ステップＳ３９）。
このように、この実施の形態では、載置された指を撮影して指爪画像を得る撮影手段である図６の撮影部３０とデータを記憶する図６の記憶部５１とを備えているネイルプリント装置１であり、以下の動作を行う。
すなわち、撮影部３０により得られた指爪画像のうちの爪領域の輪郭線に沿いタッチ操作に従って図１４等の特徴点Ｐを予め定められている間隔を置いて複数入力し、この入力された複数の特徴点Ｐの座標位置と番号とを対応付けて図６の記憶部５１のモデル用メモリ領域５１ａに、図１３等の爪領域抽出用モデルＭとして記憶制御手段である図６の制御装置５０により記憶する。
この制御により記憶部５１のモデル用メモリ領域５１ａに図１３等の爪領域抽出用モデルＭを記憶したあとに、撮影部３０により新たに得られた指爪画像を予め定められた方向から、画像走査手段である図６の画像走査部５３２により順次走査する。
この画像走査部５３２による走査により最初に指爪領域を表す画素（本実施形態では、白黒の走査用画像における白色の画素）と判別された画素の指爪画像上の第１の座標位置（本実施形態では、基準画素Ｃｄの座標位置）に対応する第２の座標位置（本実施形態では、Ｎｏ．９の特徴点Ｐの座標位置）を、記憶部５１のモデル用メモリ領域５１ａに記憶されている爪領域抽出用モデルＭの複数の特徴点Ｐの座標位置の中から抽出し、この抽出された第２の座標位置（本実施形態では、Ｎｏ．９の特徴点Ｐの座標位置）を爪領域抽出用モデルＭのフィッティングの基準点Ｐｄとして、第１の座標位置（すなわち、基準画素Ｃｄの座標位置）に重ねる（図１５のS２６）。一方で、この重ねた第１の座標位置（すなわち、基準画素Ｃｄの座標位置）と第２の座標位置（すなわち、Ｎｏ．９の特徴点Ｐの座標位置）とを基準として、爪領域抽出用モデルＭの他の複数の特徴点Ｐ（Ｎｏ．１〜Ｎｏ．８，Ｎｏ．１０〜Ｎｏ．１８）を、記憶部５１に記憶されている番号（１〜１８）にそれぞれ対応づけられている複数の特徴点Ｐの座標位置（Ｎｏ．１〜Ｎｏ．８の特徴点Ｐ，Ｎｏ．１０〜Ｎｏ．１８の特徴点Ｐの各ｘ，ｙ座標値）がそれぞれ指爪画像上の対応する座標位置に配置されるように合わせ込む（図１６のS３１〜S３８；図２０参照）。そして、この合わせ込まれた複数の座標位置に基づいて決定された図２０等の爪領域Ｔａに印刷を施すように印刷制御手段である図６の制御手段５０が印刷部４０を制御する（図１６のS３９；図２０参照）。
すなわち、撮影部３０により得られた指爪画像のうちの爪領域の輪郭線に沿いタッチ操作に従って図１４等の特徴点Ｐを予め定められている間隔を置いて複数入力し、この入力された複数の特徴点Ｐの座標位置と番号とを対応付けて図６の記憶部５１のモデル用メモリ領域５１ａに、図１３等の爪領域抽出用モデルＭとして記憶制御手段である図６の制御装置５０により記憶する。
この制御により記憶部５１のモデル用メモリ領域５１ａに図１３等の爪領域抽出用モデルＭを記憶したあとに、撮影部３０により新たに得られた指爪画像を予め定められた方向から、画像走査手段である図６の画像走査部５３２により順次走査する。
この画像走査部５３２による走査により最初に指爪領域を表す画素（本実施形態では、白黒の走査用画像における白色の画素）と判別された画素の指爪画像上の第１の座標位置（本実施形態では、基準画素Ｃｄの座標位置）に対応する第２の座標位置（本実施形態では、Ｎｏ．９の特徴点Ｐの座標位置）を、記憶部５１のモデル用メモリ領域５１ａに記憶されている爪領域抽出用モデルＭの複数の特徴点Ｐの座標位置の中から抽出し、この抽出された第２の座標位置（本実施形態では、Ｎｏ．９の特徴点Ｐの座標位置）を爪領域抽出用モデルＭのフィッティングの基準点Ｐｄとして、第１の座標位置（すなわち、基準画素Ｃｄの座標位置）に重ねる（図１５のS２６）。一方で、この重ねた第１の座標位置（すなわち、基準画素Ｃｄの座標位置）と第２の座標位置（すなわち、Ｎｏ．９の特徴点Ｐの座標位置）とを基準として、爪領域抽出用モデルＭの他の複数の特徴点Ｐ（Ｎｏ．１〜Ｎｏ．８，Ｎｏ．１０〜Ｎｏ．１８）を、記憶部５１に記憶されている番号（１〜１８）にそれぞれ対応づけられている複数の特徴点Ｐの座標位置（Ｎｏ．１〜Ｎｏ．８の特徴点Ｐ，Ｎｏ．１０〜Ｎｏ．１８の特徴点Ｐの各ｘ，ｙ座標値）がそれぞれ指爪画像上の対応する座標位置に配置されるように合わせ込む（図１６のS３１〜S３８；図２０参照）。そして、この合わせ込まれた複数の座標位置に基づいて決定された図２０等の爪領域Ｔａに印刷を施すように印刷制御手段である図６の制御手段５０が印刷部４０を制御する（図１６のS３９；図２０参照）。
以上のように、本実施形態におけるネイルプリント装置１によれば、記憶部５１のモデル用メモリ領域５１ａに、爪領域抽出用モデルＭ、学習モデルファイル、及び基準点Ｐｄの番号・座標情報等が記憶されているとともに、基準画素決定部５３４により爪領域抽出用モデルＭとのフィッティングの際の基準となる指爪画像の基準画素Ｃｄが決定され、この基準画素Ｃｄの座標に爪領域抽出用モデルＭの基準点Ｐｄを重ね合わせて、爪領域抽出用モデルＭのフィッティングの初期位置を決定する。このため、例えばＡＡＭを用いた検出アルゴリズムを用いて爪領域Ｔａを検出、特定する場合に、モデルを簡易かつ迅速に適切な初期位置に配置することができ、人によって個人差が大きく、かつ、指全体との区別が困難な爪領域Ｔａを高精度に検出することが可能となる。
また、基準画素決定部５３４が基準画素Ｃｄを決定する際には、まず、指爪画像を白色と黒色とに二値化して指爪領域を明確にし、この二値化された走査用画像の各画素の白黒を走査が行われた順に判別していって、初めに白色の画素と判別された画素を基準画素Ｃｄと決定する。このため、比較的単純な画像処理により、基準画素Ｃｄを一義的に決定することができ、処理速度の向上を図ることができる。
なお、本実施形態において説明した学習用モデルファイル及び爪領域抽出用モデルＭの生成手順は一例であり、各ステップが前後する等、適宜変更しても構わない。
また、予め基準点Ｐｄを定めてモデル用メモリ領域５１ａに記憶させておき、画像走査部５３２による走査により最初に指爪領域を表す画素（本実施形態では、白黒の走査用画像における白色の画素）と判別された画素の指爪画像上の第１の座標位置（本実施形態では、基準画素Ｃｄの座標位置）が基準画素決定部５３４において決定されると、これに基準点Ｐｄを重ね合わせるようにしてもよいし、画像走査部５３２による走査により最初に指爪領域を表す画素（本実施形態では、白黒の走査用画像における白色の画素）と判別された画素の指爪画像上の第１の座標位置（本実施形態では、基準画素Ｃｄの座標位置）に対応する第２の座標位置（本実施形態では、Ｎｏ．９の特徴点Ｐの座標位置）を、記憶部５１のモデル用メモリ領域５１ａに記憶されている爪領域抽出用モデルＭの複数の特徴点Ｐの座標位置の中から抽出し、この抽出された第２の座標位置（本実施形態では、Ｎｏ．９の特徴点Ｐの座標位置）を爪領域抽出用モデルＭのフィッティングの基準点Ｐｄとして、第１の座標位置（すなわち、基準画素Ｃｄの座標位置）に重ね合わせるようにしてもよい。
また、学習用モデルファイル及び爪領域抽出用モデルＭの生成過程における固有ベクトルの算出処理、ワーピング処理、座標値と輝度値とを１つの係数で制御するための係数の一本化処理等は、コンピュータの処理速度の向上等を図るためのものであり、本発明に必須の要素ではない。
また、爪領域抽出用モデルＭの構成は、特徴点Ｐの番号と各特徴点Ｐの座標値とが対応付けられているものに限定されず、例えばいずれの特徴点Ｐが基準点Ｐｄとされているかの情報、各特徴点Ｐの座標値と基準点Ｐｄとの位置関係等、他の情報を含むもの等であってもよい。基準点Ｐｄの情報が爪領域抽出用モデルＭに含まれている場合には、別途基準点Ｐｄの情報をモデル用メモリ領域５１ａに記憶する必要はない。
また、本実施形態では、４本の指に対して同時に印刷を行うことのできるネイルプリント装置１を例としたが、指を１本ずつ装置に挿入して順次印刷を行う装置に本発明を適用することも可能である。
また、性別、年代別、指の種類別にそれぞれ学習用モデルファイル及び爪領域抽出用モデルＭを作成し、記憶部５１に記憶させておいてもよい。
この場合には、ユーザが自分で性別、年代、印刷する指の種別を入力してもよいし、名前等を登録しておけば、当該名前を選択するだけで、その人に合った性別、年代の学習用モデルファイル及び爪領域抽出用モデルＭを自動的に選択して、これを適用して処理を行うようにしてもよい。
また、指の種別によって学習用モデルファイル及び爪領域抽出用モデルＭを変える場合には、ユーザが自分で印刷する指の種別を入力してもよいし、撮影部３０によって撮影された画像の特徴を分析して制御装置５０が自動的に指の種別を判断し、適用する学習用モデルファイル及び爪領域抽出用モデルＭを決定してもよい。
なお、自動的に学習用モデルファイル及び爪領域抽出用モデルＭが選択される場合には、選択結果を表示部１３等に表示させ、ユーザによる確認・変更等ができるようにしてもよい。
また、一旦ユーザが自分用の学習用モデルファイル及び爪領域抽出用モデルＭを選択した後は、次回から自動的に同じ学習用モデルファイル及び爪領域抽出用モデルＭが選択されるようにしてもよい。
この場合には、ユーザが自分で性別、年代、印刷する指の種別を入力してもよいし、名前等を登録しておけば、当該名前を選択するだけで、その人に合った性別、年代の学習用モデルファイル及び爪領域抽出用モデルＭを自動的に選択して、これを適用して処理を行うようにしてもよい。
また、指の種別によって学習用モデルファイル及び爪領域抽出用モデルＭを変える場合には、ユーザが自分で印刷する指の種別を入力してもよいし、撮影部３０によって撮影された画像の特徴を分析して制御装置５０が自動的に指の種別を判断し、適用する学習用モデルファイル及び爪領域抽出用モデルＭを決定してもよい。
なお、自動的に学習用モデルファイル及び爪領域抽出用モデルＭが選択される場合には、選択結果を表示部１３等に表示させ、ユーザによる確認・変更等ができるようにしてもよい。
また、一旦ユーザが自分用の学習用モデルファイル及び爪領域抽出用モデルＭを選択した後は、次回から自動的に同じ学習用モデルファイル及び爪領域抽出用モデルＭが選択されるようにしてもよい。
また、爪領域抽出用モデルＭを指爪画像にフィッティングした結果を示す画像を表示部１３等に表示させて、各特徴点Ｐの位置等をユーザが事後的に微調整できるように構成してもよい。この場合、微調整後の爪領域抽出用モデルＭをモデル用メモリ領域５１ａに記憶させておき、次回以降同じユーザが選択されたときにはこの微調整後の爪領域抽出用モデルＭを適用するようにしてもよい。
また、本実施形態では、ネイルプリント装置１の制御装置５０によって学習用モデルファイルの作成、爪領域抽出用モデルＭの生成等の爪領域抽出モデルの生成処理、基準点Ｐｄの決定等を行う構成としたが、学習用モデルファイルの作成、爪領域抽出用モデルＭの生成等の爪領域抽出モデルの生成処理、基準点Ｐｄの決定等を行うのはネイルプリント装置１の制御装置５０に限定されない。
例えば、工場出荷段階前にネイルプリント装置１によって撮影した複数人の指爪画像のデータをメモリカードにコピーして取り出して、このデータを図示しないペンタブレット等の入力用デバイス等と接続されたモデル生成用コンピュータ等（図示せず）に入力し、このモデル生成用コンピュータにおいて爪領域抽出モデルの生成処理、基準点Ｐｄの決定等を行う構成としてもよい。この場合、特徴点Ｐの入力等はペンタブレットを用いて行われる。なお、入力用デバイスはペンタブレットに限定されず、一般的なモニタ画面上で、マウス等のポインティングデバイスを用いて特徴点Ｐの入力等を行ってもよい。また、この場合、サンプル画像として用いる指爪画像のデータをネイルプリント装置１から取り出してモデル生成用コンピュータ等に入力する手法はメモリカードを用いるもの限定されず、例えば、ＵＳＢメモリ等にコピーしてもよいし、ネイルプリント装置１とモデル生成用コンピュータ等とを直接ケーブルによって接続してデータを入力してもよい。
例えば、工場出荷段階前にネイルプリント装置１によって撮影した複数人の指爪画像のデータをメモリカードにコピーして取り出して、このデータを図示しないペンタブレット等の入力用デバイス等と接続されたモデル生成用コンピュータ等（図示せず）に入力し、このモデル生成用コンピュータにおいて爪領域抽出モデルの生成処理、基準点Ｐｄの決定等を行う構成としてもよい。この場合、特徴点Ｐの入力等はペンタブレットを用いて行われる。なお、入力用デバイスはペンタブレットに限定されず、一般的なモニタ画面上で、マウス等のポインティングデバイスを用いて特徴点Ｐの入力等を行ってもよい。また、この場合、サンプル画像として用いる指爪画像のデータをネイルプリント装置１から取り出してモデル生成用コンピュータ等に入力する手法はメモリカードを用いるもの限定されず、例えば、ＵＳＢメモリ等にコピーしてもよいし、ネイルプリント装置１とモデル生成用コンピュータ等とを直接ケーブルによって接続してデータを入力してもよい。
さらに、サンプル画像として用いる指爪画像のデータを取得する装置はネイルプリント装置１に限定されない。ネイルプリント装置１の指載置手段に指を載置した場合と同様の条件（例えば指の向きや配置等）で撮影することのできる別個の装置を用いて複数人の指を撮影して指爪画像を取得し、この指爪画像のデータをネイルプリント装置１の制御装置５０やモデル生成用コンピュータ等に入力してサンプル画像として用いてもよい。
１ ネイルプリント装置
２ ケース本体
４ 蓋体
２０ａ 印刷指挿入部
３０ 撮影部
４０ 印刷部
５０ 制御装置
５１ 記憶部
５３ 爪領域決定部
５３１ 走査用画像生成部
５３２ 画像走査部
５３３ 白黒判別部
５３４ 基準画素決定部
５３５ 初期位置決定部
５３６ 領域調整部
Ｃｄ 基準画素
Ｍ 爪領域抽出用モデル
Ｐ 特徴点
Ｐｄ 基準点
Ｔ 爪
Ｔａ 爪領域
Ｕ１ 印刷指
Ｕ２ 非印刷指
２ ケース本体
４ 蓋体
２０ａ 印刷指挿入部
３０ 撮影部
４０ 印刷部
５０ 制御装置
５１ 記憶部
５３ 爪領域決定部
５３１ 走査用画像生成部
５３２ 画像走査部
５３３ 白黒判別部
５３４ 基準画素決定部
５３５ 初期位置決定部
５３６ 領域調整部
Ｃｄ 基準画素
Ｍ 爪領域抽出用モデル
Ｐ 特徴点
Ｐｄ 基準点
Ｔ 爪
Ｔａ 爪領域
Ｕ１ 印刷指
Ｕ２ 非印刷指
Claims (5)
- 載置された指を撮影して指爪画像を得る撮影手段とデータを記憶する記憶部とを備えているネイルプリント装置において、
前記撮影手段により得られた指爪画像のうちの爪領域の輪郭線に沿いタッチ操作に従って特徴点を予め定められている間隔を置いて複数入力し、この入力された複数の特徴点の座標位置と番号とを対応付けて前記記憶部に爪領域抽出用モデルとして記憶させる記憶制御手段と、
この記憶制御手段の制御により前記記憶部に前記爪領域抽出用モデルを記憶したあとに、前記撮影手段により新たに得られた指爪画像を予め定められた方向から順次走査する画像走査手段と、
この画像走査手段による走査により最初に指爪領域を表す画素と判別された指爪画像上の第１の座標位置に対応する第２の座標位置を、前記記憶部に記憶されている前記爪領域抽出用モデルの複数の特徴点の座標位置の中から抽出し、この抽出された第２の座標位置を前記爪領域抽出用モデルのフィッティングの基準点として、前記第１の座標位置に重ねる一方で、この重ねた第１の座標位置と第２の座標位置とを基準として、前記爪領域抽出用モデルの他の複数の特徴点を、前記記憶部に記憶されている番号にそれぞれ対応づけられている複数の特徴点の座標位置がそれぞれ指爪画像上の対応する座標位置に配置されるように合わせ込み、この合わせ込まれた複数の座標位置に基づいて決定された爪領域に印刷を施す印刷制御手段と、
を備えていることを特徴とするネイルプリント装置。 - 載置された指を撮影して指爪画像を得る撮影手段とデータを記憶する記憶部とを備えているネイルプリント装置に用いられる印刷制御方法において、
前記撮影手段により得られた指爪画像のうちの爪領域の輪郭線に沿いタッチ操作に従って特徴点を予め定められている間隔を置いて複数入力し、この入力された複数の特徴点の座標位置と番号とを対応付けて前記記憶部に爪領域抽出用モデルとして記憶させる記憶制御ステップと、
この記憶制御ステップの制御により前記記憶部に前記爪領域抽出用モデルを記憶したあとに、前記撮影手段により新たに得られた指爪画像を予め定められた方向から順次走査する画像走査ステップと、
この画像走査ステップによる走査により最初に指爪領域を表すと判別された第１の座標位置に対応する第２の座標位置を、前記記憶部に記憶されている爪領域抽出用モデルの複数の特徴点の座標位置の中から抽出し、この抽出された第２の座標位置を前記爪領域抽出用モデルのフィッティングの初期位置として、前記第１の座標位置に重ねる一方で、この重ねた第１の座標位置と第２の座標位置とを基準として、前記爪領域抽出用モデルの他の複数の特徴点を、前記記憶部に記憶されている番号にそれぞれ対応づけられている複数の特徴点の座標位置がそれぞれ指爪画像上の対応する座標位置に配置されるように合わせ込み）、この合わせ込まれた複数の座標位置に基づいて決定された爪領域に印刷を施す印刷制御ステップと、
を備えていることを特徴とする印刷制御方法。 - 指が載置される指載置部と、
この指載置部上に載置された指を撮影して指爪画像を得る撮影手段と、
爪領域抽出用モデルを記憶している記憶手段と、
この記憶手段に記憶されている前記爪領域抽出用モデルを前記撮影手段により得られた 前記指爪画像にフィッティングすることにより、印刷対象となる爪領域を決定する爪領域決定手段と、
この爪領域決定手段によって決定された前記爪領域に印刷を施す印刷手段と、を備え、
前記爪領域抽出用モデルには、前記指爪画像とのフィッティングの際に基準となる基準点を含む特徴点が前記爪領域の輪郭線に沿って複数配置されており、
前記爪領域決定手段は、
前記爪領域抽出用モデルとのフィッティングの際に基準となる前記指爪画像の基準画素を決定する基準画素決定手段と、
この基準画素決定手段により基準画素と決定された画素に前記爪領域抽出用モデルの前記基準点を重ね合わせて、前記爪領域抽出用モデルのフィッティングの初期位置を決定し、前記指爪画像の当該初期位置に重畳されるように前記爪領域抽出用モデルを配置する初期位置決定手段と、
前記初期位置決定手段により配置された前記爪領域抽出用モデルの範囲及び／または形状を前記指爪画像の前記爪領域に合致するように調整する領域調整手段と、
を含んでいることを特徴とするネイルプリント装置。 - 前記爪領域決定手段は、
前記撮影手段により得られた前記指爪画像から指爪領域を白色、それ以外の領域を黒色とした走査用画像を生成する走査用画像生成手段と、
この走査用画像生成手段により生成された前記走査用画像を所定方向から順次走査する画像走査手段と、
この画像走査手段による走査結果から、前記走査用画像の各画素の白黒を判別する白黒判別手段と、をさらに含んでおり、
前記基準画素決定手段は、前記白黒判別手段により、前記走査において初めに白色の画素と判別された画素を基準画素として決定するものであることを特徴とする請求項３に記載のネイルプリント装置。 - 指載置手段に載置された指を撮影して指爪画像を得る撮影ステップと、
爪領域抽出用モデルを前記撮影ステップにおいて得られた前記指爪画像にフィッティングすることにより、印刷対象となる爪領域を決定する爪領域決定ステップと、
この爪領域決定ステップによって決定された前記爪領域に印刷を施す印刷ステップと、を備え、
前記爪領域抽出用モデルには、前記指爪画像とのフィッティングの際に基準となる基準点を含む特徴点が前記爪領域の輪郭線に沿って複数配置されており、
前記爪領域決定ステップは、
前記爪領域抽出用モデルとのフィッティングの際に基準となる前記指爪画像の基準画素を決定する基準画素決定ステップと、
この基準画素決定ステップにおいて基準画素と決定された画素に前記爪領域抽出用モデルの前記基準点を重ね合わせて、前記爪領域抽出用モデルのフィッティングの初期位置を決定し、前記指爪画像の当該初期位置に重畳されるように前記爪領域抽出用モデルを配置する初期位置決定ステップと、
前記初期位置決定ステップにおいて配置された前記爪領域抽出用モデルの範囲及び／または形状を前記指爪画像の前記爪領域に合致するように調整する領域調整ステップと、
を含んでいることを特徴とする印刷制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010200818A JP5601103B2 (ja) | 2010-09-08 | 2010-09-08 | ネイルプリント装置及び印刷制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010200818A JP5601103B2 (ja) | 2010-09-08 | 2010-09-08 | ネイルプリント装置及び印刷制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012055467A JP2012055467A (ja) | 2012-03-22 |
| JP5601103B2 true JP5601103B2 (ja) | 2014-10-08 |
Family
ID=46053295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010200818A Active JP5601103B2 (ja) | 2010-09-08 | 2010-09-08 | ネイルプリント装置及び印刷制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5601103B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5853909B2 (ja) * | 2012-08-31 | 2016-02-09 | カシオ計算機株式会社 | ネイルプリント装置及びネイルプリント装置の印刷制御方法 |
| JP6476690B2 (ja) * | 2014-09-26 | 2019-03-06 | カシオ計算機株式会社 | ネイルプリント装置、ネイルプリント装置の動作制御方法及びネイルプリント装置の動作制御プログラム |
| CN106778803B (zh) * | 2016-11-17 | 2019-06-07 | 广州杰赛科技股份有限公司 | 一种基于红外图像识别技术的指甲定位方法及美甲设备 |
| JP6973437B2 (ja) * | 2019-03-25 | 2021-11-24 | カシオ計算機株式会社 | 印刷装置、印刷方法及びプログラム |
| JP2021137510A (ja) | 2020-03-10 | 2021-09-16 | カシオ計算機株式会社 | 印刷装置、印刷方法及びプログラム |
| JP7219866B2 (ja) * | 2020-03-25 | 2023-02-09 | カシオ計算機株式会社 | 印刷装置、印刷装置の制御方法及び制御プログラム |
| JP7151753B2 (ja) * | 2020-10-08 | 2022-10-12 | カシオ計算機株式会社 | 爪輪郭検出装置、印刷装置、爪輪郭検出方法及びプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100317845B1 (ko) * | 1997-12-24 | 2002-01-18 | 이시자까 마사또 | 네일 아트 방법 및 장치 |
| JP2000006384A (ja) * | 1998-06-25 | 2000-01-11 | Mitsumi Electric Co Ltd | 立体面に印刷できる印刷装置 |
| US6286517B1 (en) * | 1998-12-22 | 2001-09-11 | Pearl Technology Holdings, Llc | Fingernail and toenail decoration using ink jets |
| JP3016147B1 (ja) * | 1998-12-25 | 2000-03-06 | 株式会社アトラス | ネイルア―ト装置 |
-
2010
- 2010-09-08 JP JP2010200818A patent/JP5601103B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012055467A (ja) | 2012-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5382078B2 (ja) | ネイルプリント装置及び印刷制御方法 | |
| JP5601103B2 (ja) | ネイルプリント装置及び印刷制御方法 | |
| US9357825B2 (en) | Nail printing device, print control method for nail printing device, and computer readable medium | |
| JP5141742B2 (ja) | ネイルプリント装置及び印刷制御方法 | |
| US8919903B2 (en) | Nail printing device including printing head that performs printing on fingernail, and printing control method | |
| CN102948994B (zh) | 美甲打印装置及打印控制方法 | |
| CN105433577A (zh) | 指甲信息检测装置、描画装置以及指甲信息检测方法 | |
| JP7035405B2 (ja) | 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム | |
| JP7039991B2 (ja) | 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム | |
| JP5728885B2 (ja) | ネイルプリント装置及び印刷制御方法 | |
| US10696067B2 (en) | Nail printing apparatus and control method | |
| JP7047294B2 (ja) | 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム | |
| JP5928264B2 (ja) | ネイルプリント装置及び印刷制御方法 | |
| JP5435108B2 (ja) | ネイルプリント装置及び印刷制御方法 | |
| US20220379638A1 (en) | Printing device, printing method, and storage medium | |
| JP2013192680A (ja) | ネイルプリント装置及び印刷制御方法 | |
| US20230044135A1 (en) | Contour detection apparatus, printing apparatus, contour detection method and storage medium | |
| JP7334826B2 (ja) | ネイルプリント装置 | |
| JP2022051828A (ja) | ネイルプリント装置、ネイルプリント装置の制御方法及びプログラム | |
| JP2023092062A (ja) | 電子機器、制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140722 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140804 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5601103 |