JP7392696B2 - 輪郭検出装置、印刷装置、輪郭検出方法及びプログラム - Google Patents

Description

本発明は、輪郭検出装置、印刷装置、輪郭検出方法及びプログラムに関するものである。

従来、検出対象を撮影した画像から画像処理によって検出対象の輪郭を検出する手法が知られている。
例えば、カメラで人物を撮影した場合に、輪郭検出の技術を用いることで、撮影画像から当該人物の顔の輪郭や、目、鼻、口等の各パーツの輪郭を検出することができる。
また、輪郭検出の対象は、顔や顔のパーツに限定されず、爪の輪郭形状等、各種の輪郭の検出に輪郭検出の技術を用いることができる。

こうした輪郭検出の技術としては、複数の学習用サンプルを集めて学習を行い、学習結果としての学習データを生成して、この学習データを用いて輪郭の検出を行う手法がある。
例えば、従来輪郭検出に用いられる手法として、ＡＡＭ（Active Appearance Model）やＡＳＭ（Active Shape Model）がある。これらの手法は、顔の輪郭や各パーツの輪郭の特徴点の配置を形状モデル（Shape Model）と呼ばれるモデルで表現する。そして、この形状モデルと検出対象を含む画像にフィッティングさせることで検出対象の輪郭検出を行う。
また、非特許文献１には、ＥＳＲ（Explicit Shape Regression）と呼ばれるアルゴリズムにより検出対象の輪郭を検出する技術が開示されている。
ＥＳＲにおいても、重心の周囲に特徴点が配置された形状モデル（初期形状）を生成し、これと検出対象を含む画像とのフィッティングを行う。この際、ＥＳＲでは、非特許文献１に記載されているように、２段階の弱リグレッサー（弱識別器）を組み合わせて適用し、形状モデル（初期形状）を徐々に正解位置である検出対象の輪郭に向かって収束させていくという回帰問題として輪郭検出を行う。

Ｘｕｄｏｎｇ Ｃａｏ， Ｙｉｃｈｅｎ Ｗｅｉ， Ｆａｎｇ Ｗｅｎ， Ｊｉａｎ Ｓｕｎ "Ｆａｃｅ ａｌｉｇｎｍｅｎｔ ｂｙ ＥｘｐｌｉｃｉｔＳｈａｐｅ Ｒｅｇｒｅｓｓｉｏｎ．" ＣＶＰＲ ２０１２： ２８８７－２８９４．

しかしながら、上述のようにＥＳＲ等の輪郭検出手法は、学習に基づいて輪郭の検出を行うものである。このため、学習サンプルが少ない形状の検出対象（例えば珍しい形状をした爪等）の輪郭を検出する場合や、輪郭部分が不明瞭な検出対象（例えば甘皮部分の境界が曖昧な爪等）の輪郭を検出する場合には、検出の成功率が著しく低下してしまうとの問題がある。

本発明は以上のような事情に鑑みてなされたものであり、画像から検出対象の輪郭を検出する成功率の高い輪郭検出装置、印刷装置、輪郭検出方法及びプログラムを提供することを利点とするものである。

前記課題を解決するために、本発明の輪郭検出装置は、
爪輪郭モデルとのフィッティングを行うことにより爪を含む指画像から前記爪の領域を画する第１爪輪郭を検出する輪郭検出手段と、
前記第１爪輪郭を承認しないユーザからの前記第１爪輪郭に対する第２爪輪郭の入力を受け付ける受付手段と、
を備え、
前記第２爪輪郭が入力された前記第１爪輪郭は、各々第２爪輪郭が入力された複数の第１爪輪郭を含み、
前記輪郭検出手段は、
前記第２爪輪郭が入力された前記第１爪輪郭を構成する特徴点のうち前記第２爪輪郭に対して最も大きく差分を生じている最大誤差特徴点を示す情報及びその差分の大きさを示す差分情報を導出し、
前記第１爪輪郭の寸法に関する情報に基づいて前記複数の第１爪輪郭の各々をグループ分けし、
前記グループ分けされた第１爪輪郭が一定数以上蓄積されている場合、
新たに検出され前記ユーザが承認しない他の第１爪輪郭に、検出ループの任意の実行回数ごとに、前記他の第１爪輪郭の前記第２爪輪郭の平均に対して最も大きく差分が生じている最大誤差特徴点の座標値を差分の大きさを示す情報を用いて強制的に変更することを特徴としている。

本発明によれば、高い成功率で画像から検出対象の輪郭を検出することができる。

本実施形態における輪郭検出装置の外観構成を示す斜視図である。 （ａ）は、指配置部を示す斜視図であり、（ｂ）は、指配置部を上から見た平面図である。 本実施形態における輪郭検出装置の機能的構成を示した要部ブロック図である。 通常の爪輪郭処理を模式的に示した図である。 （ａ）は、指画像の一例を示す図であり、（ｂ）は、（ａ）に示す指画像から検出される指領域及び爪領域の一例を示す図であり、（ｃ）は、（ａ）に示す指画像に第１爪輪郭を重畳して表示させた表示例を示す図である。 本実施形態における輪郭検出処理を示すフローチャートである。 本実施形態における爪輪郭の自動・手動併用補正処理を示すフローチャートである。 第１爪輪郭と第２爪輪郭とを示す説明図である。 本実施形態におけるサンプル作成・分類処理を示すフローチャートである。 （ａ）から（ｆ）は、間違った第１爪輪郭の例を示す図である。 図１０（ａ）～（ｆ）の間違った第１爪輪郭をグループ分けした結果例を示す図である。 本実施形態における爪輪郭の自動補正処理を示すフローチャートである。 間違った第１爪輪郭の特徴点を強制的に正解の特徴点位置に移動させる様子を示す図である。 間違った第１爪輪郭の特徴点を強制的に正解の特徴点位置に移動させる様子を示す図である。 本実施形態における印刷装置の制御構成を示したブロック図である。

［第１の実施形態］
図１から図１４を参照しつつ、本発明に係る輪郭検出装置、輪郭検出方法及びプログラムの第１の実施形態について説明する。
なお、以下の本実施形態では、輪郭の検出を行う対象である検出対象が指の爪である場合を例として説明する。
以下においては、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。

図１は、本実施形態における輪郭検出装置の外観を示す斜視図である。
図１に示すように、本実施形態における輪郭検出装置１は、ほぼ箱形に形成された筐体１１を有している。
筐体１１の上面（天板）等には入力部１２が設置されている。
入力部１２は、ユーザが各種入力を行う機能部である。
入力部１２には、例えば、輪郭検出装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、爪Ｔの輪郭検出の開始を指示する検出開始釦等、各種の入力を行うための操作釦が配置されている。

本実施形態では、後述するように、表示部１３の表面にタッチパネル１２１が一体的に構成されており、タッチパネル１２１も入力部１２として機能する。
例えば表示部１３には、指Ｕを撮影した指画像ＦＩ（図５（ａ）、図５（ｃ）等参照）から装置側が自動で検出した爪輪郭（検出爪輪郭、以下これを「第１爪輪郭Ｔｏ１」という。）が表示されるようになっており、ユーザは画面上で、この第１爪輪郭Ｔｏ１を確認し、第１爪輪郭Ｔｏ１が適切な爪輪郭Ｔｏを示しているか否かを確認することができる。
そして、第１爪輪郭Ｔｏ１が間違ったラインを示している場合（すなわち、第１爪輪郭Ｔｏ１が適切な輪郭を示していない場合）には、ユーザは、爪Ｔの正しい輪郭（ユーザがこの輪郭線の内側領域を「爪Ｔ」として認識してほしいと考えるライン、正解爪輪郭、以下これを「第２爪輪郭Ｔｏ２」という。）をタッチパネル１２１上でなぞることにより、第２爪輪郭Ｔｏ２を入力することができる。なお、第２爪輪郭Ｔｏ２の入力はタッチパネル１２１を用いて行われる場合に限定されない。マウスやトラックボール等の図示しない各種ポインティングデバイス等を用いて入力されてもよい。
このように、本実施形態においてタッチパネル１２１等の入力部１２は、ユーザからの第２爪輪郭Ｔｏ２の入力を受け付ける受付手段として機能する。

また、筐体１１の上面（天板）には表示部１３が設置されている。
表示部１３は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている表示手段である。
本実施形態において、この表示部１３には、例えば、各種の指示等や、指Ｕを撮影して得た爪画像（爪Ｔの画像を含む指画像）、この爪画像中に含まれる爪Ｔの輪郭線等の画像、各種の指示を表示させる指示画面等が適宜表示される。
また、本実施形態の表示部１３の表面には、上述のように入力部１２として機能するタッチパネル１２１が一体的に構成されている。

さらに、筐体１１の前面側（図１において手前側）には、輪郭検出装置１による撮影時に検出対象である爪Ｔに対応する指Ｕを挿入し、撮影部５による撮影が可能な撮影可能位置にセットするための開口部１４が形成されている。
開口部１４の内側には、本実施形態における検出対象である爪Ｔ（爪Ｔを含む指Ｕ）を固定する指配置部３が配置されている。
図２（ａ）は、指配置部３の斜視図であり、図２（ｂ）は、指配置部３を上方向から見た平面図である。
図２（ａ）では、爪Ｔを含む指Ｕが指配置部３内に配置されている様子を二点鎖線で示している。

図２（ａ）等に示すように、指配置部３は装置手前側に開口部３１を有する箱状の部材であり、指配置部３内部には指Ｕを支持する指支持部材３２が配置されている。指配置部３は、筐体１１内において、開口部３１が筐体１１の開口部１４に対応する位置に配置されている。
指支持部材３２は、指Ｕを下側から押し上げ支持するものであり、例えば柔軟性を有する樹脂等で形成されている。なお、指支持部材３２は、指Ｕを下側から支持し得るものであればよく、その構成は特に限定されない。例えば、ばね等の弾性部材によって下方から付勢されていてもよい。また、例えば、指支持部材３２は、内圧を変化させることにより膨縮可能に構成されており、膨張状態において指Ｕを押し上げ、その位置を固定する構成としてもよい。

指配置部３の天面奥側は開口する窓部３３となっている。窓部３３からは指配置部３内に挿入された指Ｕの爪Ｔが露出するようになっている。
また、指配置部３の天面手前側は指Ｕの浮き上がりを防止して指Ｕの上方向の位置を規制する指押え３４となっている。指Ｕ及びその爪Ｔは、下側から指支持部材３２によって支持され、指Ｕの上側が指押え３４によって押さえられることで、高さ方向の位置が所定の位置に位置決めされる。
また、本実施形態では、指挿入方向の奥側には、爪Ｔを載置する爪載置部３５が設けられている。爪載置部３５は、検出対象である爪Ｔを位置決めする位置決め手段である。
この爪載置部３５に爪Ｔの先を載置させることにより、爪Ｔの水平方向（すなわち、Ｘ方向及びＹ方向）の位置が規定されるとともに、その高さ方向の位置も規制される。

図３は、本実施形態の輪郭検出装置の機能的構成を示した要部ブロック図である。
図３に示すように、輪郭検出装置１は、撮影部５を備えている。
撮影部５は、撮影装置５１と、照明装置５２とを備えており、指配置部３内に指Ｕを挿入した際に爪Ｔが配置される位置の上方に、配置される。
撮影装置５１は、例えば、２００万画素程度以上の画素を有する固体撮像素子とレンズ等を備えて構成された小型カメラである。
照明装置５２は、例えば白色ＬＥＤ等の照明灯である。本実施形態では、撮影装置５１を囲むように複数の照明装置５２が配置されている。
なお、撮影装置５１及び照明装置５２の位置は図示例に限定されない。例えば、撮影部５の撮影装置５１及び照明装置５２は、爪Ｔの上方位置に固定配置されていてもよいし、撮影部５が移動手段によって移動可能に構成されている場合には、爪Ｔの上方位置に移動することが可能となっていればよい。

本実施形態において撮影部５は、指Ｕを撮影した、爪Ｔを含む指画像ＦＩを取得する指画像取得手段である。撮影部５は、指配置部３に配置された状態の検出対象である爪Ｔを含む指Ｕを撮影して、指画像ＦＩを取得する。
具体的には、撮影装置５１は、指配置部３の窓部３３に対応する範囲を撮影可能となっており、窓部３３から露出する指Ｕ及び爪Ｔを画角内に収めることができる。指Ｕは指配置部３により位置決めされているため、窓部３３に対応する範囲を撮影することで、指画像に写り込む指Ｕや爪Ｔの位置関係（例えば指の第１関節より先が画角内に収まる等）はほぼ一定となる。

また、本実施形態の輪郭検出装置１は、制御装置８０を備えている。
制御装置８０は、例えば筐体１１の天面の下面側等に配置された図示しない基板等に設置されている。
制御装置８０は、図示しないＣＰＵ（Central Processing Unit）等を含んで構成される制御部８１と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等（いずれも図示せず）を含んで構成される記憶部８２とを備えるコンピュータである。

記憶部８２には、輪郭検出プログラム８２１等、輪郭検出装置１を動作させるための各種プログラム等が格納されているプログラム記憶領域８２０が設けられている。
また、本実施形態において記憶部８２には、輪郭検出部８１３が画像から爪輪郭を検出するために用いる輪郭検出の学習データを記憶する学習データ記憶領域８２２、輪郭検出部８１３により検出された検出結果等が記憶される輪郭情報記憶領域８２３等が設けられている。

学習データ記憶領域８２２は、学習対象画像に基づいて生成された学習結果であって複数の特徴点Ｎで構成され爪輪郭Ｔｏの検出に用いられる初期形状Ｔｏ０（図４参照、以下において「爪輪郭モデル」ともいう。）のデータを記憶した学習データ記憶手段である。
学習データ記憶領域８２２には、初期形状Ｔｏ０（爪輪郭モデル）の輪郭を構成する各特徴点Ｎ０～Ｎｎの座標値（Ｘｎ０,Ｙｎ０、Ｘｎ１,Ｙｎ１、…Ｘｎｎ,Ｙｎｎ）や、初期形状Ｔｏ０の重心（図示せず）の位置、変位量関数（回帰関数）からなるリグレッサー（識別器）等、事前の学習によって得られた学習データが記憶されている。

学習データは、学習用画像から輪郭検出に有用な特徴量を抽出する特徴抽出を行うことで得られる。特徴量は例えば各画素の輝度値や色、隣接する画素間における輝度値や色の変化量等である。特徴量を抽出したら、各学習用画像について爪領域の形状を表す特徴点のＸ,Ｙ座標値のデータを生成して、このＸ,Ｙ座標値のデータを各学習用画像に対応付ける。
さらに各学習用画像について対応付けられた特徴点のＸ,Ｙ座標値のデータを用いてパターン学習を行い、検出対象である爪Ｔらしい形状である初期形状Ｔｏ０（初期形状Ｔｏ０の輪郭を構成する特徴点Ｎの座標値）、初期形状Ｔｏ０の重心、識別器等からなる学習結果としての学習データを生成する。なお、学習は通常機械学習により行われる。

学習データ記憶領域８２２に記憶される初期形状Ｔｏ０等の学習データは、予め輪郭検出の学習を繰り返すことで生成されたものであり、製品出荷時の初期状態の輪郭検出装置１の記憶部８２（記憶部８２内の学習データ記憶領域８２２）に格納されている。
後述するように、本実施形態では、この学習結果としての学習データに基づいて、輪郭検出部８１３が検出対象である爪Ｔの輪郭等を検出する。

制御部８１は、機能的に見た場合、撮影制御部８１１、表示制御部８１２、輪郭検出部８１３等を備えている。これら撮影制御部８１１、表示制御部８１２、輪郭検出部８１３等としての機能は、制御部８１のＣＰＵと記憶部８２のＲＯＭに記憶されたプログラムとの協働によって実現される。

撮影制御部８１１は、撮影部５の撮影装置５１及び照明装置５２を制御して撮影装置５１により、指配置部３に配置された指Ｕの爪Ｔの画像を含む指Ｕの画像（指画像ＦＩ）を撮影させる。

表示制御部８１２は、表示部１３に表示させる表示画面を制御して各種の表示を行わせる。本実施形態では、前述のように表示画面に指画像ＦＩや、指画像ＦＩに指輪郭Ｕｏ、爪輪郭Ｔｏ等を重畳させた画像を表示させたり、第１爪輪郭Ｔｏ１の承認の可否をユーザに求める画面を表示させる。

輪郭検出部８１３は、初期形状Ｔｏ０とのフィッティングを行うことにより指画像ＦＩから爪Ｔの領域を画する爪輪郭Ｔｏを検出する輪郭検出手段である。
また本実施形態では、輪郭検出部８１３は、指画像ＦＩから指Ｕの領域を画する指輪郭Ｕｏをも検出する。指輪郭Ｕｏの検出は、例えば背景差分の手法等を用いて行う。すなわち、例えば予め指Ｕをセットしていない状態の指配置部３の窓部３３をその全体が画角に収まるように撮影部５によって撮影させて事前画像を取得しておく。そして、指画像ＦＩが撮影されると、指画像ＦＩと事前画像とを比較して、事前画像になかったものを指Ｕとして検出する。

輪郭検出部８１３は、撮影装置５１によって撮影された指Ｕの爪Ｔの画像（指画像ＦＩ）に基づいて、爪Ｔの輪郭（輪郭を構成する特徴点の座標値）を検出する。
本実施形態では、輪郭検出部８１３はＥＳＲ（Explicit Shape Regression）の手法を用いて、爪Ｔの輪郭の検出を行う。
すなわち、輪郭検出部８１３は、記憶部８２の学習データ記憶領域８２２に記憶されている初期形状Ｔｏ０（爪輪郭モデル）と検出対象を含む画像とのフィッティングを行う。
ＥＳＲを用いた輪郭検出では、この際、非特許文献１に記載されているように、２段階の弱リグレッサー（弱識別器）を組み合わせて適用し、初期形状Ｔｏ０（爪輪郭モデル）を徐々に正解位置である検出対象の輪郭に向かって収束させていくという回帰問題として輪郭検出を行う。

図４は、ＥＳＲアルゴリズムによる爪輪郭Ｔｏの検出処理（すなわち、学習データに基づいて初期形状Ｔｏ０（爪輪郭モデル）を変形させ、爪輪郭Ｔｏに近づける処理）を模式的に示した図である。
通常、ＥＳＲアルゴリズムによる爪輪郭Ｔｏの検出では、初期形状Ｔｏ０（爪輪郭モデル）の特徴点Ｎを少しずつ移動させていくことで、何度も検出ループを繰り返していく中で、第２爪輪郭Ｔｏ２（図８参照）に徐々に近づくことができる。

具体的には、輪郭検出部８１３は、爪領域を含む指画像ＦＩが入力されると、図４の左側に示すように、初期形状Ｔｏ０を指画像ＦＩ内の適当な位置（初期位置）に配置する。なお、図４等において爪Ｔと指Ｕの皮膚との間にある甘皮を甘皮領域ｎｔとしている。甘皮領域ｎｔは境界が不明瞭、不規則な領域であり、爪輪郭Ｔｏの検出を誤りやすい部分である。
なお、ＥＳＲのように回帰問題として輪郭検出を行う手法は、形状モデルをフィッティングさせて輪郭検出を行うＡＡＭ等の手法と比較してロバスト性に優れるため、初期形状Ｔｏ０としてどのようなものを用いるかや初期形状Ｔｏ０を配置する初期位置をそれほど厳密に設定しなくても検出結果の精度への影響は少ない。
このため、入力された指画像ＦＩが異なる場合でも、共通の初期形状Ｔｏ０を適用することができる。
しかし、ＥＳＲ等の手法を用いる場合でも、できるだけ爪領域と重なり合う位置に初期形状Ｔｏ０を配置した方が、より高精度に輪郭検出を行うことが期待できる。
このため、本実施形態では、初期形状Ｔｏ０の重心が学習データにおける重心の平均値である平均重心の位置にくるように初期形状Ｔｏ０を配置することが好ましい。

初期形状Ｔｏ０が配置されると、輪郭検出部８１３は、事前の学習によって生成され、予め記憶部８２の輪郭情報記憶領域８２３に記憶さている変位量関数（回帰関数）からなるリグレッサー（ＥＳＲの場合には２段階の弱識別器）により初期形状Ｔｏ０の変位を繰り返し、図４の右側に行くにしたがって、正解位置である爪Ｔの輪郭（爪輪郭Ｔｏ、すなわち、爪領域の正しい境界）に向かって徐々に収束していく。

次に、図５から図１４を参照しつつ、本実施形態における輪郭検出装置１による輪郭検出方法について説明する。

図６に示すように、爪Ｔの輪郭検出を行う場合には、まず、指配置部３に配置された指Ｕを撮影部５により撮影して指画像ＦＩを取得する（ステップＳ１）。図５（ａ）は、指画像ＦＩの一例を示す図である。図５（ａ）に示すように、指画像ＦＩは、図２（ｂ）に示す指配置部３の窓部３３に対応する部分を撮影した画像である。
輪郭検出部８１３として制御部８１は、例えば予め取得しておいた指Ｕが載置されていない状態の事前画像を記憶部８２から読み出して、これと指画像ＦＩとを比較する背景差分の手法により、事前画像になかったものを指Ｕとして検出し、指画像ＦＩの中から検出された指Ｕの領域（以後「指領域」ともいう）を画する指輪郭Ｕｏを検出する（ステップＳ２）。図５（ｂ）の左側は、図５（ａ）に示した指画像ＦＩの中から検出された指領域の一例を示している。

また、輪郭検出部８１３として制御部８１は、指画像ＦＩから爪輪郭Ｔｏを検出する（ステップＳ３、なおこの場合の爪輪郭を「第１爪輪郭Ｔｏ１」という。）。
ここにおける爪輪郭Ｔｏの検出は、学習データ記憶領域８２２に記憶されている学習データである初期形状Ｔｏ０を指画像ＦＩに適用して、ＥＳＲアルゴリズムを用いて爪輪郭Ｔｏらしい部分を検出するものである。
図５（ｂ）の右側は、図５（ａ）に示した指画像ＦＩの中から爪輪郭Ｔｏを正しく検出した場合の例を示している。
図５（ａ）に網掛けで示すように、爪Ｔの領域（以下「爪領域」ともいう）の下側（図５（ａ）において下側、爪Ｔの生え際側）には甘皮領域ｎｔがある。図５（ｂ）に示すように、爪領域は、この甘皮領域ｎｔを除いた爪Ｔの範囲を意味する。

第１爪輪郭Ｔｏ１は、図５（ｃ）等に示すように、複数の特徴点Ｎ（Ｎ０～Ｎｎ）の集合体で構成されている。
例えば、爪Ｔの最も爪先側に位置する点を特徴点Ｎ０（座標値；Ｘｎ０，Ｙｎ０）とし、ここから反時計回りに、特徴点Ｎ１（座標値；Ｘｎ１，Ｙｎ１）、特徴点Ｎ２（座標値；Ｘｎ２，Ｙｎ２）、…特徴点Ｎｎ（座標値；Ｘｎｎ，Ｙｎｎ）、とする。なお、第１爪輪郭Ｔｏ１を構成する特徴点Ｎの数は特に限定されない。

第１爪輪郭Ｔｏ１が検出されると、輪郭検出部８１３として制御部８１は検出結果である第１爪輪郭Ｔｏ１をユーザに提示して、承認を求める（ステップＳ４）。提示の仕方は特に限定されない。例えば図５（ｃ）に示すように、指画像ＦＩに第１爪輪郭Ｔｏ１を重畳して表示させる。なお、このとき、表示部１３の表示画面に、当該検出結果の第１爪輪郭Ｔｏ１を承認するか否かを問い合わせるメッセージを表示させることが好ましい。なお、ユーザに承認を求める手法はこれに限定されない。例えば音声によるメッセージ等であってもよい。

輪郭検出部８１３として制御部８１は、ユーザが検出結果を承認したか否か、すなわち、入力部１２等から、検出結果の第１爪輪郭Ｔｏ１を承認する旨の入力（例えばＯＫボタンの押下等）があったか否かを判断する（ステップＳ５）。
ユーザが第１爪輪郭Ｔｏ１を承認した場合（ステップＳ５；ＹＥＳ）には、承認された検出結果（第１爪輪郭Ｔｏ１）を当該爪Ｔの爪輪郭Ｔｏと決定し（ステップＳ６）、輪郭検出処理を終了する。
他方、ユーザが第１爪輪郭Ｔｏ１を承認しない場合（ステップＳ５；ＮＯ）には、さらに輪郭検出部８１３として制御部８１は、誤差サンプル（間違った第１爪輪郭Ｔｏ１（すなわち、ユーザに承認されなかった第１爪輪郭Ｔｏ１）と第２爪輪郭Ｔｏ２とに基づいて生成される後述の誤差サンプル）が一定数以上蓄積されているか否かをさらに判断する（ステップＳ７）。そして、誤差サンプルがまだ一定数以上蓄積されていない場合（ステップＳ７；ＮＯ）には、第１爪輪郭Ｔｏ１を自動的に補正する処理と、ユーザに手動で修正してもらう処理とを併用して行う自動・手動併用補正処理を行う（ステップＳ８）。

ここで、爪輪郭の自動・手動併用補正処理（図６のステップＳ８）の詳細について、図７から図１１を参照しつつ、説明する。
自動・手動併用補正処理では、図７に示すように、まず、ユーザが正解と思う爪輪郭（これを「第２爪輪郭Ｔｏ２」という）を手動で描画するよう促すメッセージを表示部１３等に表示させる（ステップＳ１１）。
ユーザはこのメッセージを受けて、第２爪輪郭Ｔｏ２をタッチパネル１２１等から入力する。具体的には、正解と思う位置に入力用のペンや指先を使ってラインを引く。
ユーザが第２爪輪郭Ｔｏ２を入力すると、輪郭検出部８１３としての制御部８１は、この第２爪輪郭Ｔｏ２の情報を取得する（ステップＳ１２）。

図８は、ユーザが第２爪輪郭Ｔｏ２を入力するイメージを示すイメージ図である。第２爪輪郭Ｔｏ２が入力されると、ユーザが第２爪輪郭Ｔｏ２をラインとして入力した場合でも、輪郭検出部８１３は、これを図８に示すような、ラインを構成する特徴点Ｒの集合体として把握する。
第２爪輪郭Ｔｏ２の特徴点Ｒについても、例えば、爪Ｔの最も爪先側に位置する点を特徴点Ｒ０（座標値；Ｘｒ０，Ｙｒ０）とし、ここから反時計回りに、特徴点Ｒ１（座標値；Ｘｒ１，Ｙｒ１）、特徴点Ｒ２（座標値；Ｘｒ２，Ｙｒ２）、…特徴点Ｒｎ（座標値；Ｘｒｎ，Ｙｒｎ）、とする。第２爪輪郭Ｔｏ２を構成する特徴点Ｒの数は、第１爪輪郭Ｔｏ１を構成する特徴点Ｎの数と同様に、特に限定されない。
なお、図８では、第１爪輪郭Ｔｏ１を構成する特徴点Ｎを黒点で示し、第２爪輪郭Ｔｏ２を構成する特徴点Ｒを斜線網掛けの点で示している。また説明の都合上、特徴点Ｎ，Ｒを実際よりも大きなサイズの点で示している。

第２爪輪郭Ｔｏ２の情報を取得すると、輪郭検出部８１３は、間違った第１爪輪郭Ｔｏ１（すなわち、ユーザに承認されなかった第１爪輪郭Ｔｏ１）と第２爪輪郭Ｔｏ２とに基づいて誤差サンプルを生成し（ステップＳ１３）、誤差サンプルを適宜グループ分けする（ステップＳ１４）。
そして、取得された第２爪輪郭Ｔｏ２（ユーザによって入力された爪輪郭）を当該爪Ｔの爪輪郭Ｔｏと決定し（ステップＳ１５）、輪郭検出処理を終了する。

次に、図９を参照しつつ、誤差サンプルの作成（図７のステップＳ１３）、及び誤差サンプルのグループ分け（分類）処理（図７のステップＳ１４）について、その詳細を説明する。
まず、輪郭検出部８１３は、間違った検出結果における爪領域（第１爪輪郭Ｔｏ１によって画された領域）の面積と、指領域（図６のステップＳ２において検出された指輪郭Ｕｏによって画された領域）の面積との比を算出する（ステップＳ２１）。すなわち、図５（ｂ）に示す指Ｕの領域と爪Ｔの領域との面積比を求める。ここで指Ｕの領域と爪Ｔの領域との「面積比」は、第１爪輪郭Ｔｏ１によって画された領域の寸法に関する情報である。

また、輪郭検出部８１３は、間違った検出結果における爪領域（第１爪輪郭Ｔｏ１によって画された領域）の寸法に関する情報として、縦横比を算出する（ステップＳ２２）。すなわち、図５（ａ）に示す爪輪郭Ｔｏの内側領域である爪領域の縦方向の寸法Ｈと横方向の寸法Ｗとの比を算出する。

さらに、輪郭検出部８１３は、間違った爪輪郭（検出結果である第１爪輪郭Ｔｏ１）と正解の爪輪郭（ユーザが入力した第２爪輪郭Ｔｏ２）とを比較して、両者にどの程度の差分（誤差、すなわち、間違った第１爪輪郭Ｔｏ１を第２爪輪郭Ｔｏ２とするための修正幅、補正幅）があるか、両者の差分（誤差）を示す差分情報を取得する（ステップＳ２３）。

ここで差分情報は、例えば第１爪輪郭Ｔｏ１を構成する特徴点Ｎのうち第２爪輪郭Ｔｏ２を構成する特徴点に対して最も大きく差分（誤差）を生じている最大誤差特徴点及びその差分（誤差）の大きさを示す情報を含んでいる。
例えば、図８に示す例の場合、爪Ｔの生え際付近の特徴点（図８では、Ｎｑ（座標値；Ｘｎｑ，Ｙｎｑ））が、第２爪輪郭Ｔｏ２を構成する特徴点Ｒのうちこれと対応する点（図８では、Ｒｑ（座標値；Ｘｒｑ，Ｙｒｑ））から最も離れており、最大誤差特徴点である。そして、Ｎｑ（座標値；Ｘｎｑ，Ｙｎｑ）とＲｑ（座標値；Ｘｒｑ，Ｙｒｑ）との差分（誤差）の大きさ（補正幅、点同士の離れ具合）は、「距離ｄ」である。
なお、いずれの特徴点を最大誤差特徴点とするかは、輪郭検出部８１３として制御部８１が自動で設定してもよいし、最も離れていると思われる辺りをユーザがタッチパネル操作等で指定することで設定されてもよい。
また、差分情報は、差分（誤差）の大きさに限定されない。例えば、ずれの方向（ベクトル）等の情報も差分情報に含まれてよい。

なお、面積比を求めるステップＳ２１、縦横比を求めるステップＳ２２，差分情報を取得するステップＳ２３の順序（先後）は、ここに示した例に限定されない。例えば縦横比を面積比よりも先に求める等、処理の順序は逆でもよい。
また、指領域と爪領域との面積比を求める処理（ステップＳ２１）は必須ではなく、誤差サンプルの作成及び誤差サンプルのグループ分け（分類）を行うのに爪領域の縦横比と差分情報のみを参照してもよい。

本実施形態では、輪郭検出部８１３は、面積比、縦横比及び差分情報を対応付けて誤差サンプルを作成する（ステップＳ２４）。面積比、縦横比及び差分情報を対応付けることで、どのような大きさや形状の爪Ｔにおいて、検出結果にどのような誤差が生じるかの傾向を見ることのできるサンプルを生成することができる。
なお、本実施形態では、差分情報として、最大誤差特徴点及びその誤差の大きさを示す情報を面積比や縦横比と対応付けて記憶させる。これにより、のちの処理において比較等を行いやすくなるとともに、記憶部８２に記憶されるデータ量を少なくすることができる。なお、差分情報は、最大誤差特徴点に関するものに限定せずに、ユーザが第２爪輪郭Ｔｏ２として入力した爪Ｔの輪郭線を示すラインや第２爪輪郭Ｔｏ２を構成する一部又はすべての特徴点Ｒの座標値を含んでいてもよい。
さらに、輪郭検出部８１３は、面積比及び縦横比に基づいて誤差サンプルのグループ分けを試みる（ステップＳ２５）。

図１０（ａ）から図１０（ｆ）は、誤差サンプルとして集められた爪輪郭の検出サンプルの例である。また、図１１は、図１０（ａ）から図１０（ｆ）を３つのグループにグループ分けした分類例である。
面積比及び縦横比に基づいて誤差サンプルを分類した結果、図１１に示すグループＡは、爪Ｔの甘皮領域ｎｔと指の皮膚部分との境界辺りに第１爪輪郭Ｔｏ１の輪郭線が位置しているものであり、図１０（ａ）、図１０（ｃ）が分類されている。また、グループＢは、爪Ｔの甘皮領域ｎｔ内に第１爪輪郭Ｔｏ１の輪郭線が位置しているものであり、図１０（ｂ）、図１０（ｅ）が分類されている。また、グループＣは、例えば指の皮膚の皴等の影響を受けて爪Ｔの甘皮領域よりも下の位置に第１爪輪郭Ｔｏ１の輪郭線が位置しているものであり、図１０（ｄ）、図１０（ｆ）が分類されている。

面積比及び縦横比は直接輪郭線の位置に影響するものではないが、面積比及び縦横比の近いものは、指Ｕや爪Ｔの形状の特徴も近いことが多いため、図１１に示す例のように、結果的に間違い方の近いものが同じグループに分類される。なお、グループ分けにおいて、面積比及び縦横比だけでなく差分情報も考慮してもよい。例えば誤差（差分）の大きさやずれ方（ずれた方向のベクトル情報）等を加味してグループ分けすることで、より詳細な分類が可能となる。

なお、誤差サンプルのグループ分けは、指種ごとに行うことが好ましい。
同じユーザであっても、親指と小指等、指種によって形状等が大きく異なる。このため、指種ごとにグループ分けを行った方がより高精度に爪輪郭Ｔｏの検出を行うことができる。

輪郭検出部８１３は、グループ分けにおいて、新たに生成された誤差サンプルが既存のいずれかのグループに分類することができるか否か、すなわち、類似の傾向を有する、該当するグループがあるか否かを判断する（ステップＳ２６）。
そして、該当するグループがある場合（ステップＳ２６；ＹＥＳ）には、当該誤差サンプルを該当するグループに分類し（ステップＳ２７）、誤差（差分）を、当該グループ内で平均化して、面積比及び縦横比とともに記憶部８２に記憶させる（ステップＳ２８）。例えば、第１爪輪郭Ｔｏ１と第２爪輪郭Ｔｏ２の最大誤差特徴点のペアについても平均化され、例えば平均化された第１爪輪郭Ｔｏ１の最大誤差特徴点と、平均化された第２爪輪郭Ｔｏ２の最大誤差特徴点Ｃとの誤差（差分、補正幅）の平均が平均誤差ａｄ（図１３、図１４参照）である場合、輪郭検出部８１３は、平均化された差分情報として、最大誤差特徴点Ｃの座標値（Ｘｃ，Ｙｃ）と平均誤差ａｄの値を面積比及び縦横比と対応付けて記憶する。
他方、該当するグループがない場合（ステップＳ２６；ＮＯ）には、輪郭検出部８１３は、新規のグループを作成し（ステップＳ２９）、当該誤差サンプルを新規のグループに分類する（ステップＳ３０）。

また、図４に戻って、誤差サンプルが一定数以上蓄積されている場合（ステップＳ７；ＹＥＳ）、すなわち、何度も爪輪郭Ｔｏの検出処理を行う中で、上記誤差サンプルの作成及び分類が繰り返し行われて、グループ分けされた誤差サンプルがすでに蓄積されている場合には、第１爪輪郭Ｔｏ１を自動的に補正する処理を行う（ステップＳ９）。
なお、誤差サンプルが一定数以上蓄積されているか否かを判断する前に、新たに爪輪郭Ｔｏの検出対象となっている爪Ｔの面積比及び縦横比等を算出して、当該爪Ｔがどのグループに属するかを判断し、当該グループに属する誤差サンプルが一定数以上蓄積されているか否かで処理を分けてもよい。全体としては誤差サンプルが蓄積されていても、グループによってはサンプル数が少ない場合もあり、爪輪郭の自動・手動併用補正処理（図６のステップＳ８）によって対応した方が検出精度が高くなる場合も考えられる。

ここで、爪輪郭の自動補正処理（図６のステップＳ９）の詳細について、図１２から図１４を参照しつつ、説明する。
図１２に示すように、新たな第１爪輪郭Ｔｏ１が自動補正処理にかけられる場合、まず、輪郭検出部８１３は、第１爪輪郭Ｔｏ１を構成する特徴点のうち、平均化された第２爪輪郭Ｔｏ２の最大誤差特徴点Ｃの座標値（Ｘｃ，Ｙｃ）に対応する特徴点Ａを探索する（ステップＳ３１）。
特徴点Ａが設定されると、検出１タップ毎の特徴点Ａの位置を（Ｘａ（ｎ），Ｙａ（ｎ））と置き、検出ループを１回回すごとにループのカウンタｎをカウントアップする（ステップＳ３２）。

輪郭検出部８１３は、ループカウンタｎが予め設定された全体の検出ループ数Ｎ未満であるか否かを判断し（ステップＳ３３）、ループカウンタｎが予め設定された全体の検出ループ数Ｎを未満ではない場合（ステップＳ３３；ＮＯ）には、爪輪郭の自動補正処理を終了して、図６のステップＳ４に戻り、爪輪郭の検出結果をユーザに提示して承認を求め、以降の処理を繰り返す。検出を何回ループさせるかは任意であるが、例えば全体の検出ループ数Ｎ＝１０００回である。

他方、ループカウンタｎが予め設定された全体の検出ループ数Ｎ未満である場合（ステップＳ３３；ＹＥＳ）には、輪郭検出部８１３は、さらにループカウンタｎが序盤の数ループＭ回（例えばＭ＝５００回）未満であるか否かを判断する（ステップＳ３４）。ループカウンタｎがＭ回未満である場合（ステップＳ３４；ＹＥＳ）には、さらに、ループカウンタｎが任意のループ数Ｌ回（例えばＬ＝１００，２００，３００…のように１００回ごと）であるか否かを判断する（ステップＳ３５）。そして、丁度Ｌ回目である場合（ステップＳ３５；ＹＥＳ）には、点Ａ（座標：Ｘａ，Ｙａ）が、点Ｃ（座標：Ｘｃ，Ｙｃ）となるように、爪輪郭モデルを強制的に変形させる（ステップＳ３６）。
すなわち、輪郭検出部８１３は、平均化された最大誤差特徴点Ｃに対応する第１爪輪郭Ｔｏ１の最大誤差特徴点Ａの（Ｘａ，Ｙａ）を誤差の大きさを示す情報である平均化された差分情報である平均誤差ａｄを用いて強制的に最大誤差特徴点Ｃ座標値（Ｘｃ，Ｙｃ）に変更する。

図１３は、点Ａ（座標：Ｘａ，Ｙａ）を、平均誤差ａｄに基づいて点Ｃ（座標：Ｘｃ，Ｙｃ）の座標まで移動させる様子を模式的に示した図である。
図１３に示すように、点Ａ（座標：Ｘａ，Ｙａ）を点Ｃ（座標：Ｘｃ，Ｙｃ）に引き込むと、図１４に示すように、点Ａの近隣に位置する点についても、点Ａからの距離に比例させて変化量を調整させた伸縮変形が行われる。これによって第１爪輪郭Ｔｏ１に適用される爪輪郭モデルがダイナミックに変形し、より迅速かつ適切に第２爪輪郭Ｔｏ２に近づきやすくなる。

これに対して、ループカウンタｎがＭ回未満でない場合（ステップＳ３４；ＮＯ）及びＭ回未満であるが（ステップＳ３４；ＹＥＳ）、ループカウンタｎが任意のループ数Ｌ回ではない場合（ステップＳ３５；ＮＯ）には、通常のＥＳＲアルゴリズムによる爪輪郭Ｔｏの検出処理（すなわち、学習データに基づいて爪輪郭モデルを変形させる処理、ステップＳ３７）を行う。
この学習データに基づいて爪輪郭モデルを変形させる処理は、図４に示したものと同様であるため、ここでは説明を省略する。
そして、ステップＳ３６，ステップＳ３７の場合には、輪郭検出部８１３はループカウンタｎをカウントアップした後、ステップＳ３３に戻り、ループカウンタｎが規定回数Ｎに達するまで処理を繰り返す。これにより、第１爪輪郭Ｔｏ１をほぼ爪領域の輪郭に沿う正解位置に収束させていくことができる。
ループカウンタｎが規定回数Ｎに達すると、図６のステップＳ４に戻り、検出結果をユーザに示して承認を求め、承認を得られるまで以下の処理を繰り返す。
このような手法を用いることで、ユーザが爪領域を自ら切り出したり設定することなく、自動的に、高精度に爪Ｔの輪郭を検出することができる。

以上のように、本実施形態によれば、指Ｕを撮影した、爪Ｔを含む指画像ＦＩを取得する指画像取得手段としての撮影部５と、学習対象画像に基づいて生成された学習結果であって複数の特徴点Ｎで構成され爪輪郭Ｔｏの検出に用いられる初期形状Ｔｏ０のデータを記憶した学習データ記憶領域８２２と、初期形状Ｔｏ０とのフィッティングを行うことにより指画像ＦＩから爪Ｔの領域を画する爪輪郭Ｔｏを検出する輪郭検出部８１３と、検出された爪輪郭Ｔｏを承認しないユーザからの正解の爪輪郭Ｔｏ２の入力を受け付ける入力部１２と、を備え、輪郭検出部８１３は、少なくとも検出された爪輪郭Ｔｏ１に基づく爪領域の縦横比に基づいてユーザに承認されなかった第１爪輪郭Ｔｏ１のグループ分けを行い、第１爪輪郭Ｔｏ１とユーザが入力した第２爪輪郭Ｔｏ２とを比較して両者の差分を示す差分情報をグループ分けの結果とともに記憶させ、以降の検出において、第１爪輪郭Ｔｏ１について差分情報を用いた補正処理を行う。
このため、形状が特徴的であったり、甘皮領域ｎｔ等において認識が難しいために爪輪郭Ｔｏの検出しづらい爪Ｔであっても、ユーザの思う第２爪輪郭Ｔｏ２に徐々に近づけることができる。
そして、検出処理を行うごとに検出結果（グループ分けされた誤差サンプル等）が蓄積されていくことで、徐々に輪郭検出装置１がユーザの爪Ｔの特徴等にあったものにカスタマイズされて行き、ユーザが第２爪輪郭Ｔｏ２を手入力する手間も減らすことができる。

また本実施形態の輪郭検出部８１３は、指画像ＦＩから指Ｕの領域を画する指輪郭Ｕｏをも検出し、指輪郭Ｕｏに基づく指領域と爪輪郭Ｔｏに基づく爪領域との面積比も参照して第１爪輪郭Ｔｏ１のグループ分けを行う。
これにより、爪Ｔの特徴的な形状等に応じた第１爪輪郭Ｔｏ１の分類をより適切に行うことができる。

また本実施形態では、差分情報がグループごとに平均化されて記憶される。
このため、差分情報を反映させやすくなる。

また本実施形態の差分情報は、第１爪輪郭Ｔｏ１を構成する特徴点Ｎのうち第２爪輪郭Ｔｏ２に対して最も大きく差分（誤差）を生じている最大誤差特徴点Ａ及びその差分（誤差）の大きさを示す情報を含んでいる。
このため、最大誤差特徴点Ａ及びその差分（誤差）に応じて効果的に第１爪輪郭Ｔｏ１の補正を行うことができる。

また本実施形態の輪郭検出部８１３は、ユーザに承認されなかった第１爪輪郭Ｔｏ１について複数回補正処理を繰り返すものであり、グループ分けされた第１爪輪郭Ｔｏ１が一定数以上蓄積された後は、輪郭検出部８１３は、補正処理において、任意の回数ごとに、最大誤差特徴点Ａの座標値を差分（誤差）の大きさを示す情報を用いて強制的に変更する。
誤差サンプルが一定以上蓄積された後は、ユーザによる第２爪輪郭Ｔｏ２の入力を行わなくてもユーザの意図を反映させた適切な補正を行うことができる。

［第２の実施形態］
次に、図１５を参照しつつ、本発明に係る輪郭検出装置を爪にネイルデザインを印刷する印刷装置（ネイルプリント装置）に適用した例を第２の実施形態として説明する。
なお、本実施形態では、輪郭検出装置の構成及び作用・効果は第１の実施形態で説明したものと同様であるため、以下においては、輪郭検出装置の構成及び作用・効果の詳細については説明を省略する。

図１５は、輪郭検出装置１が適用された印刷装置１００の機能的構成例を示した要部ブロック図である。
図１５に示すように、印刷装置１００は、第１の実施形態で説明した輪郭検出装置１の各構成部に加えて、印刷部４を備えている。
印刷部４は、印刷ヘッド４１及び印刷ヘッド４１を移動させるヘッド移動機構４２を備えている。
本実施形態において印刷ヘッド４１は、例えば図示しないインク貯留部を内蔵するとともに、インクを微細な液滴として吐出させ印刷対象である爪Ｔに印刷を施すインクジェット方式の吐出機構を備えるヘッド一体型のインクカートリッジである。

印刷ヘッド４１は、印刷制御部８１４の制御にしたがって適宜所定のインクを吐出させ、印刷を行うようになっている。
インク貯留部は、例えば、シアン（Ｃ；CYAN）、マゼンタ（Ｍ；MAGENTA）、イエロー（Ｙ；YELLOW）のインクに対応して設けられている。なお、印刷ヘッド４１が吐出可能なインクはここに示した例に限定されず、他の色のインクを貯留するインク貯留部が設けられていてもよい。また、下地用の液剤やオーバーコート用の液剤等を吐出できるように構成してもよい。
ヘッド移動機構４２は、例えば図示しないステッピングモータ等を備え、所定のステップずつ正確に印刷ヘッド４１を移動させることができるように構成される。ヘッド移動機構４２による印刷ヘッド４１の移動は印刷制御部８１４によって制御される。

制御部８１は、輪郭検出装置１について図３に示したものの他に、印刷部４の制御を行う印刷制御部８１４を備えている。
また、記憶部８２は、輪郭検出装置１について図３に示したものの他に、デザイン記憶領域８２４等を備えている。
デザイン記憶領域８２４には、爪Ｔに印刷されるネイルデザインの画像データが記憶されている。
なお、記憶部８２には、この他、輪郭検出部８１３により検出される爪Ｔの輪郭（爪形状、爪Ｔの水平位置のＸＹ座標等）や爪Ｔの傾斜角度、爪曲率等の情報、各種の補正情報等が記憶されていてもよい。

なお、その他の構成は、第１の実施形態と同様であることから、同一部材には同一の符号を付して、その説明を省略する。

次に、本実施形態における印刷装置１００による印刷制御処理について説明する。
本実施形態において、印刷装置１００で爪Ｔへの印刷を行う場合、ユーザが装置電源を入れ、さらに印刷開始ボタン等の入力部１２を操作する。これにより、操作に応じた印刷開始指示が印刷装置１００の制御装置８０に入力される。
印刷開始指示が入力されると、表示制御部８１２は、ネイルデザインを選択させるネイルデザイン選択画面を表示部１３に表示させ、ユーザによる選択を促す。
ユーザが入力部１２等から所望のネイルデザインを選択すると、当該選択指示に従って爪Ｔに印刷すべきネイルデザインが選択される。
ネイルデザインが選択されると、表示制御部８１２は、指配置部３の所定位置に印刷対象となる爪Ｔの指Ｕを配置するように指示する指示画面を表示部１３に表示させ、ユーザに爪Ｔ（及びその指Ｕ）の固定を促す。
ユーザは指示に従って指Ｕを指配置部３に挿入し、爪Ｔの先を位置決め手段である爪載置部３５に載置することで位置決めする。
そして、このように爪Ｔが爪載置部３５により位置決めされた状態で、撮影制御部８１１が撮影部５を動作させて爪Ｔを撮影し、爪Ｔの領域を含む指画像ＦＩを取得する。

指画像ＦＩが取得されると、輪郭検出部８１３は、この画像から爪領域を画する爪輪郭Ｔｏを検出する輪郭検出処理を行う。なお、この輪郭検出処理の内容は、第１の実施形態において説明したものと同様であるため、その説明を省略する。
爪Ｔの爪輪郭Ｔｏ等が検出されると、検出された爪輪郭Ｔｏに、選択されたネイルデザインがフィッティングされる。さらに適宜曲面補正等の必要な補正を行って印刷用データ（ネイルデザインの印刷データ）が生成される。
そして、印刷制御部８１４が、印刷部４に印刷用データを出力するとともに、ヘッド移動機構４２を動作させて印刷ヘッド４１を適宜移動させながら印刷用データに基づく印刷処理を行わせる。これにより印刷用データに基づくネイルデザインが爪Ｔに印刷される。

なお、その他の点については、第１の実施形態と同様であることから、その説明を省略する。

以上のように、本実施形態によれば、第１の実施形態と同様の効果を得られる他、以下の効果を得ることができる。
すなわち、本実施形態では、印刷装置である印刷装置１００が、第１の実施形態で示した輪郭検出装置１を備えている。このため、爪Ｔという、指部分との境界等を検出することが難しい対象について、比較的時間を掛けず、またユーザの手を煩わせずに精密に印刷範囲となる爪領域を特定し、はみ出し等のない美しい仕上がりのネイルプリントを行うことができる。
また、使用を繰り返す度にユーザの爪Ｔの特徴を記憶し、誤差サンプルとして蓄積していく。このため、使用するほどユーザの手間がかからない印刷装置１００とすることができる。

なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

例えば、上記各実施形態では、輪郭検出部８１３がＥＳＲの手法を用いて初期形状Ｔｏ０と爪Ｔの領域とのフィッティングを行う場合を例示したが、輪郭検出部８１３が初期形状Ｔｏ０と爪Ｔの領域とのフィッティングを行う際に用いることのできるアルゴリズムはＥＳＲに限定されない。
例えば、ＡＡＭ（Active appearance model）、ＡＳＭ（Active Shape model）ＡＣＭ（Active Contour Model）等を輪郭検出部８１３が初期形状Ｔｏ０と爪Ｔの領域とのフィッティングを行う際に用いることのできるアルゴリズムとして用いる場合にも本実施形態を適用することが可能である。

また、上記各実施形態では、輪郭検出装置１が単体で輪郭検出処理を行う場合を例示したが、例えば輪郭検出装置１が各種端末装置等の外部装置と連携し、外部装置から入力された指示に従って動作したり、演算処理の一部又は全部を外部装置側で行ってもよい。
外部装置としては、例えばスマートフォンやタブレット等の携帯端末装置やサーバ等が想定されるが、これに限定されない。外部装置は、輪郭検出装置１（第２の実施形態では、印刷装置１００）と通信可能なものであればよく、例えばノート型又は定置型のパソコンや、ゲーム用の端末装置等であってもよい。
輪郭検出装置１（第２の実施形態では、印刷装置１００）が外部装置と連携して各種処理を行う場合には、外部装置の制御装置の記憶部に、輪郭検出処理等を行うプログラムや各種データ等が格納される。

また、上記各実施形態では、検出対象が爪Ｔである場合を例示したが、輪郭検出装置によって輪郭検出を行うことができる検出対象は爪Ｔに限定されない。
例えば、顔の輪郭や目・鼻・口等の顔のパーツの輪郭等を検出対象としてもよい。

また、第２の実施形態では、印刷装置が爪Ｔに印刷を施す印刷装置１００である場合を例示したが、印刷装置は、印刷装置１００に限定されず、爪Ｔ以外のものに印刷を施すものでもよい。印刷対象が爪Ｔ以外である場合には、当該印刷対象の領域を画する輪郭を検出するための輪郭検出装置が適用される。

また、輪郭検出装置１が爪Ｔの輪郭を検出するものである場合に、第２の実施形態では、爪Ｔの輪郭を検出した後、検出された輪郭内に印刷を施す例を示したが、輪郭検出後の処理は印刷処理に限定されない。例えば、自動的に爪Ｔの表面を整えるオート爪磨き、オートネイルケア等を後処理として行ってもよい。
また、検出対象が医療用の撮影装置で撮影された医療用画像に含まれる各種臓器等である場合には、輪郭検出を行った後の処理として、医師等による画像診断や患者への健康状況の情報提供等が行われてもよい。

以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
爪輪郭モデルとのフィッティングを行うことにより爪を含む指画像から前記爪の領域を画する第１爪輪郭を検出する輪郭検出手段と、
前記第１爪輪郭に対するユーザからの第２爪輪郭の入力を受け付ける受付手段と、
を備え、
前記輪郭検出手段は、前記第１爪輪郭のうち、前記受付手段により入力を受け付けられた爪輪郭について、前記第１爪輪郭の寸法に関する情報に基づいてグループ分けを行い、前記第１爪輪郭と前記受付手段によりユーザにより入力された前記第２爪輪郭との差分を示す差分情報を導出することを特徴とする輪郭検出装置。
＜請求項２＞
前記輪郭検出手段は、前記第１爪輪郭の縦横比に基づいてグループ分けを行うことを特徴とする請求項１に記載の輪郭検出装置。
＜請求項３＞
前記輪郭検出手段は、前記指画像から指の領域を画する指輪郭をも検出し、前記指輪郭に基づく指領域と前記第１爪輪郭に基づく爪領域との面積比も参照してグループ分けを行うことを特徴とする請求項１又は請求項２に記載の輪郭検出装置。
＜請求項４＞
前記差分情報は、グループごとに平均化されて導出されることを特徴とする請求項１から請求項３のいずれか一項に記載の輪郭検出装置。
＜請求項５＞
前記輪郭検出手段は、後の検出において、前記第１爪輪郭について前記差分情報を用いた補正処理を行うことを特徴とする請求項１から請求項４のいずれか一項に記載の輪郭検出装置。
＜請求項６＞
前記差分情報は、前記第１爪輪郭を構成する特徴点のうち前記第２爪輪郭に対して最も大きく差分を生じている最大誤差特徴点及びその差分の大きさを示す情報を含むことを特徴とする請求項５に記載の輪郭検出装置。
＜請求項７＞
前記輪郭検出手段は、ユーザに承認されなかった前記第１爪輪郭について複数回補正処理を繰り返すものであり、
グループ分けされた前記第１爪輪郭が一定数以上蓄積された後は、
前記輪郭検出手段は、前記補正処理において、任意の回数ごとに、最大誤差特徴点の座標値を差分の大きさを示す情報を用いて強制的に変更することを特徴とする請求項６に記載の輪郭検出装置。
＜請求項８＞
請求項１から請求項７のいずれか一項に記載の輪郭検出装置によって検出された前記第１爪輪郭により画された爪領域に対して印刷を行う印刷手段を備えることを特徴とする印刷装置。
＜請求項９＞
爪輪郭モデルとのフィッティングを行うことにより爪を含む指画像から前記爪の領域を画する第１爪輪郭を検出する輪郭検出工程と、
前記第１爪輪郭に対するユーザからの第２爪輪郭の入力を受け付ける受付工程と、
を含み、
前記輪郭検出工程は、前記第１爪輪郭のうち、前記受付工程により入力を受け付けられた爪輪郭について、前記第１爪輪郭の寸法に関する情報に基づいてグループ分けを行い、前記第１爪輪郭と前記受付工程によりユーザにより入力された前記第２爪輪郭との差分を示す差分情報を導出することを特徴とする輪郭検出方法。
＜請求項１０＞
コンピュータに、
爪輪郭モデルとのフィッティングを行うことにより爪を含む指画像から前記爪の領域を画する第１爪輪郭を検出する輪郭検出機能と、
前記第１爪輪郭に対するユーザからの第２爪輪郭の入力を受け付ける受付機能と、
を実現させ、
前記輪郭検出機能は、前記第１爪輪郭のうち、前記受付機能により入力を受け付けられた爪輪郭について、前記第１爪輪郭の寸法に関する情報に基づいてグループ分けを行い、前記第１爪輪郭と前記受付機能によりユーザにより入力された前記第２爪輪郭との差分を示す差分情報を導出させることを特徴とするプログラム。

１ 輪郭検出装置
３ 指配置部
４ 印刷部
５ 撮影部
５１ 撮影装置
８１ 制御部
８２ 記憶部
８１３ 輪郭検出部
１００ 印刷装置
ＦＩ 指画像
Ｔ 爪
Ｕ 指

Claims (7)

1. 爪輪郭モデルとのフィッティングを行うことにより爪を含む指の指画像から前記爪の領域を画する第１爪輪郭を検出する輪郭検出手段と、
   前記第１爪輪郭を承認しないユーザからの前記第１爪輪郭に対する第２爪輪郭の入力を受け付ける受付手段と、
   を備え、
   前記第２爪輪郭が入力された前記第１爪輪郭は、各々第２爪輪郭が入力された複数の第１爪輪郭を含み、
   前記輪郭検出手段は、
   前記第２爪輪郭が入力された前記第１爪輪郭を構成する特徴点のうち前記第２爪輪郭に対して最も大きく差分を生じている最大誤差特徴点を示す情報及びその差分の大きさを示す差分情報を導出し、
   前記第１爪輪郭の寸法に関する情報に基づいて前記複数の第１爪輪郭の各々をグループ分けし、
   前記グループ分けされた第１爪輪郭が一定数以上蓄積されている場合、
   新たに検出され前記ユーザが承認しない他の第１爪輪郭に、検出ループの任意の実行回数ごとに、前記他の第１爪輪郭の前記第２爪輪郭の平均に対して最も大きく差分が生じている最大誤差特徴点の座標値を差分の大きさを示す情報を用いて強制的に変更することを特徴とする輪郭検出装置。
2. 前記輪郭検出手段は、前記寸法に関する情報としての前記第１爪輪郭の縦横比に基づいて前記第１爪輪郭のグループ分けを行うことを特徴とする請求項１に記載の輪郭検出装置。
3. 前記輪郭検出手段は、前記指画像から指の領域を画する指輪郭を検出し、前記寸法に関する情報としての前記指輪郭に画された指領域と前記第１爪輪郭に画された爪領域との面積比に基づいてグループ分けを行うことを特徴とする請求項１又は請求項２に記載の輪郭検出装置。
4. 前記差分情報は、グループごとに平均化されて導出されることを特徴とする請求項１から請求項３のいずれか一項に記載の輪郭検出装置。
5. 請求項１から請求項４のいずれか一項に記載の輪郭検出装置によって検出された前記第１爪輪郭により画された爪領域に対して印刷を行う印刷手段を備えることを特徴とする印刷装置。
6. 輪郭検出装置による輪郭検出方法であって、
   爪輪郭モデルとのフィッティングを行うことにより爪を含む指の指画像から前記爪の領域を画する第１爪輪郭を検出する輪郭検出工程と、
   前記第１爪輪郭を承認しないユーザからの前記第１爪輪郭に対する第２爪輪郭の入力を受け付ける受付工程と、
   を含み、
   前記第２爪輪郭が入力された前記第１爪輪郭は、各々第２爪輪郭が入力された複数の第１爪輪郭を含み、
   前記輪郭検出工程は、
   前記第２爪輪郭が入力された前記第１爪輪郭を構成する特徴点のうち前記第２爪輪郭に対して最も大きく差分を生じている最大誤差特徴点を示す情報及びその差分の大きさを示す差分情報を導出し、
   前記第１爪輪郭の寸法に関する情報に基づいて前記複数の第１爪輪郭の各々をグループ分けし、
   前記グループ分けされた第１爪輪郭が一定数以上蓄積されている場合、
   新たに検出され前記ユーザが承認しない他の第１爪輪郭に、検出ループの任意の実行回数ごとに、前記他の第１爪輪郭の前記第２爪輪郭の平均に対して最も大きく差分が生じている最大誤差特徴点の座標値を差分の大きさを示す情報を用いて強制的に変更することを特徴とする輪郭検出方法。
7. コンピュータに、
   爪輪郭モデルとのフィッティングを行うことにより爪を含む指の指画像から前記爪の領域を画する第１爪輪郭を検出する輪郭検出機能と、
   前記第１爪輪郭を承認しないユーザからの前記第１爪輪郭に対する第２爪輪郭の入力を受け付ける受付機能と、
   を実現させ、
   前記第２爪輪郭が入力された前記第１爪輪郭は、各々第２爪輪郭が入力された複数の第１爪輪郭を含み、
   前記輪郭検出機能は、
   前記第２爪輪郭が入力された前記第１爪輪郭を構成する特徴点のうち前記第２爪輪郭に対して最も大きく差分を生じている最大誤差特徴点を示す情報及びその差分の大きさを示す差分情報を導出し、
   前記第１爪輪郭の寸法に関する情報に基づいて前記複数の第１爪輪郭の各々をグループ分けし、
   前記グループ分けされた第１爪輪郭が一定数以上蓄積されている場合、
   新たに検出され前記ユーザが承認しない他の第１爪輪郭に、検出ループの任意の実行回数ごとに、前記他の第１爪輪郭の前記第２爪輪郭の平均に対して最も大きく差分が生じている最大誤差特徴点の座標値を差分の大きさを示す情報を用いて強制的に変更することを特徴とするプログラム。

Images