JP7039991B2 - 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム - Google Patents

Description

本発明は、輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラムに関するものである。

従来、検出対象を撮影した画像から画像処理によって検出対象の輪郭を検出する手法が知られている。
例えば、カメラで人物を撮影した場合に、輪郭検出の技術を用いることで、撮影画像から当該人物の顔の輪郭や、目、鼻、口等の各パーツの輪郭を検出することができる。
また、輪郭検出の対象は、顔や顔のパーツに限定されず、爪の輪郭形状等、各種の輪郭検出に輪郭検出の技術を用いることができる。

こうした輪郭検出の技術としては、複数の学習用サンプルを集めて学習を行い、学習結果としての学習データを生成して、この学習データを用いて輪郭の検出を行う手法がある。
例えば、従来輪郭検出に用いられる手法として、ＡＡＭ（Active Appearance Model）やＡＳＭ（Active Shape Model）がある。これらの手法は、顔の輪郭や各パーツの輪郭の特徴点の配置を形状モデル（Shape Model）と呼ばれるモデルで表現する。そして、この形状モデルと検出対象を含む画像にフィッティングさせることで検出対象の輪郭検出を行う。
また、非特許文献１には、ＥＳＲ（Explicit Shape Regression）と呼ばれるアルゴリズムにより検出対象の輪郭を検出する技術が開示されている。
ＥＳＲにおいても、重心の周囲に特徴点が配置された形状モデル（初期形状）を生成し、これと検出対象を含む画像とのフィッティングを行う。この際、ＥＳＲでは、非特許文献１に記載されているように、２段階の弱リグレッサー（弱識別器）を組み合わせて適用し、形状モデル（初期形状）を徐々に正解位置である検出対象の輪郭に向かって収束させていくという回帰問題として輪郭検出を行う。

上述のような輪郭検出手法では、形状モデル（初期形状）をどこに配置してフィッティングを行うかにより輪郭の検出精度が左右される。
すなわち、できる限り検出対象と重なり合う位置に形状モデル（初期形状）を配置した方が検出対象の輪郭をより高精度に検出することができる。
このため、例えば顔の輪郭を検出する場合には、目、鼻、口等、周囲との輝度や色の差が大きく見つけやすいパーツの位置情報を参考に顔全体の輪郭を特定して、この輪郭とおよそ重なり合う位置に形状モデル（初期形状）を配置する等の手法がとられる。

Ｘｕｄｏｎｇ Ｃａｏ， Ｙｉｃｈｅｎ Ｗｅｉ， Ｆａｎｇ Ｗｅｎ， Ｊｉａｎ Ｓｕｎ "Ｆａｃｅ ａｌｉｇｎｍｅｎｔ ｂｙ Ｅｘｐｌｉｃｉｔ Ｓｈａｐｅ Ｒｅｇｒｅｓｓｉｏｎ．" ＣＶＰＲ ２０１２： ２８８７－２８９４．

しかしながら、爪の輪郭を検出する場合のように、検出対象領域内に周囲との輝度や色の差が特に大きく目印となるような部分（すなわち検出しやすい部分）がなく、またその輪郭部分が輝度や色の差が少ない指と爪との境界である場合には、形状モデル（初期形状）を配置すべき位置（初期位置）を決めることが難しいとの問題がある。
この場合、例えば画像の中心を初期位置とする等が考えられるが、これは学習時と処理対象の検出時との撮影環境が変わらないこと、すなわち、撮影装置（カメラ）の画角内における爪の位置や大きさが変わらないことが条件となり、学習時と検出時との撮影環境が異なる場合には検出精度が低くなってしまうという問題があった。

本発明は以上のような事情に鑑みてなされたものであり、学習時と検出時との撮影環境が異なっても初期形状を適切な位置に配置することができ、安定して高精度の輪郭検出を行うことのできる輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラムを提供することを利点とするものである。

前記課題を解決するために、本発明の輪郭検出装置は、学習対象となる爪を含む指の画像データを用いて爪の輪郭である爪輪郭を検出する学習を行い、モデルとなる爪の輪郭の形状および基準位置を含む輪郭検出情報を得る生成部と、処理対象となる爪を含む指の画像データから指の輪郭である指輪郭を検出する指輪郭検出部と、前記指輪郭検出部で検出された指の輪郭における基準位置と前記モデルとなる爪の輪郭の基準位置とが重なるようにして、前記モデルとなる爪の輪郭の形状を前記処理対象となる爪の初期形状として配置し、配置された前記初期形状を前記処理対象となる爪に合せ込むように変形させることで、前記処理対象となる爪を含む指の画像データから前記処理対象となる爪の輪郭を検出する爪輪郭検出部と、を備えることを特徴としている。

本発明によれば、学習時と検出時との撮影環境が異なっても初期形状を適切な位置に配置することができ、安定して高精度の輪郭検出を行うことができる。

本実施形態における輪郭検出装置の外観構成を示す斜視図である。 本実施形態における輪郭検出装置の機能的構成を示した要部構成図である。 （ａ）は、学習対象爪を含む指の画像の例であり、（ｂ）は、（ａ）の画像の背景画像のみを示す例である。 学習データの正解の爪輪郭及び正解の指輪郭の例を示した図である。 図４に示す正解の爪輪郭及び正解の指輪郭の特徴点の例を示した図である。 初期形状の一例を示す図である。 処理対象爪を含む指の画像の一例を示した図である。 図７に示す画像に示された処理対象爪の指の指輪郭の特徴点及び指輪郭の頂点の一例を示した図である。 モデルデータにおける爪輪郭及び指輪郭の拡縮の一例を示す説明図である。 初期形状を初期位置に配置した例を示した図である。 本実施形態における輪郭検出情報生成処理を示すフローチャートである。 本実施形態における輪郭検出処理を示すフローチャートである。 本実施形態におけるネイルプリント装置の内部構成を示す斜視図である。 本実施形態における描画処理を示すフローチャートである。

［第１の実施形態］
図１から図１２を参照しつつ、本発明に係る輪郭検出装置の第１の実施形態について説明する。
なお、以下の本実施形態では、輪郭の検出を行う対象である検出対象が指の爪である場合を例として説明する。
以下においては、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。

図１は、本実施形態における輪郭検出装置の外観を示す斜視図である。
図１に示すように、本実施形態における輪郭検出装置１は、ほぼ箱形に形成された筐体１１を有している。
筐体１１の上面（天板）には操作部１２が設置されている。
操作部１２は、ユーザが各種入力を行う入力部である。
操作部１２には、例えば、輪郭検出装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、爪Ｔの輪郭検出の開始を指示する検出開始釦等、各種の入力を行うための操作釦が配置されている。
なお、本実施形態では、検出対象である爪領域として処理対象であるユーザの爪Ｔ（これを処理対象爪ＳＴともいう。）と輪郭検出のための学習を行うための学習対象である不特定多数の爪Ｔ（これを学習対象爪ＧＴともいう。）とについて、撮影や輪郭検出を行うことを想定している。以下において単に爪Ｔとしたときはこの両方を含むものとする。
また処理対象爪ＳＴに対応する指（すなわちユーザの指）を指Ｕ１とし、学習対象爪ＧＴに対応する不特定多数の指を指Ｕ２とする。

また、筐体１１の上面（天板）には表示部１３が設置されている。
表示部１３は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。
本実施形態において、この表示部１３には、例えば、指Ｕ１を撮影して得た指画像（爪Ｔの画像を含む指画像）、この指画像中に含まれる爪Ｔの爪輪郭（処理対象爪ＳＴの爪輪郭Ｔｓ）等の画像、各種の指示を表示させる指示画面等が適宜表示される。
なお、表示部１３の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合には、タッチパネルが操作部１２として機能する。

さらに、筐体１１の前面側（図１において手前側）には、輪郭検出装置１による撮影時に処理対象爪ＳＴに対応する指Ｕ１を挿入し、撮影部５０による撮影が可能な撮影可能位置に爪Ｔ及び指Ｕ１をセットするための開口部１４が形成されている。
開口部１４の内側には、本実施形態における処理対象である処理対象爪ＳＴ（処理対象爪ＳＴを含む指Ｕ１）を固定する指固定部３が配置されている。
なお、後述のように、本実施形態では、輪郭検出装置１により、学習対象爪ＧＴも撮影するようになっており、学習対象爪ＧＴを撮影する場合には、開口部１４内に配置された指固定部３に学習対象爪ＧＴ及びこれに対応する指Ｕ２をセットするようになっている。

図２は、本実施形態の輪郭検出装置の要部構成を機能的に示した説明図である。
図２に示すように、指固定部３は装置手前側に開口部３１を有する箱状の部材であり、指固定部３内部には指Ｕ１（又は指Ｕ２）を固定する指固定部材３２が配置されている。
指固定部材３２は、指Ｕ１（又は指Ｕ２）を下側から押し上げ支持するものであり、例えば柔軟性を有する樹脂等で形成されている。
指固定部３の天面奥側は開口しており、この開口部分からは指固定部３内に挿入された指Ｕ１（又は指Ｕ２）の爪Ｔが露出するようになっている。
また、指固定部３の天面手前側は指Ｕ１（又は指Ｕ２）の浮き上がりを防止して指Ｕ１（又は指Ｕ２）の上方向の位置を規制する指押え３４となっている。指Ｕ１（又は指Ｕ２）及びその爪Ｔは、下側から指固定部材３２によって支持され、指Ｕ１（又は指Ｕ２）の上側が指押え３４によって押さえられることで、高さ方向の位置が所定の位置に位置決めされる。
また、本実施形態では、指挿入方向の奥側には、爪Ｔを載置する爪載置部３５が設けられている。
この爪載置部３５に爪Ｔの先を載置させることにより、爪Ｔの水平方向（すなわち、Ｘ方向及びＹ方向）の位置が規定されるとともに、その高さ方向の位置も規制される。

筐体１１内であって、指固定部３内に指Ｕ１（又は指Ｕ２）を挿入した際に爪Ｔ（又は学習対象爪ＧＴ）が配置される位置の上方には、撮影部５０が配置されている。
撮影部５０は、撮影装置５１と、照明装置５２とを備えている。
撮影装置５１は、例えば、２００万画素程度以上の画素を有する固体撮像素子とレンズ等を備えて構成された小型カメラである。
照明装置５２は、例えば白色ＬＥＤ等の照明灯である。本実施形態では、撮影装置５１を囲むように複数の照明装置５２が配置されている。
なお、撮影装置５１及び照明装置５２の位置は図示例に限定されない。例えば、撮影部５０の撮影装置５１及び照明装置５２は、爪Ｔの上方位置に固定配置されていてもよいし、撮影部５０が移動手段によって移動可能に構成されている場合には、爪Ｔの上方位置に移動することが可能となっていればよい。

撮影部５０は、処理対象であるユーザの爪Ｔを撮影して、処理対象爪（爪Ｔ）を含む指（指Ｕ１）の画像データ（指画像Ｉｔ（図７等参照）のデータ）である処理対象データを取得する撮影手段である。本実施形態では、爪Ｔを爪載置部３５により位置決めした状態で撮影部５０による撮影が行われる。

また、本実施形態において輪郭検出装置１は、後述の検出情報生成部８１２が輪郭検出情報を生成するために用いられる学習データを複数取得する必要がある。学習データは学習対象爪ＧＴを含む指Ｕ２の画像Ｉｇ（図３（ａ）参照）のデータであり、本実施形態ではこの学習対象爪ＧＴを含む指Ｕ２の画像Ｉｇも撮影部５０により撮影される。
なお、学習対象爪ＧＴを含む指の画像Ｉｇを撮影部５０において取得することは必須ではない。
輪郭検出装置１が学習対象爪ＧＴを含む指Ｕ２の画像Ｉｇ（画像Ｉｇのデータ、学習データ）を取得する手法はいかなるものでもよく、例えば輪郭検出装置１とは別の装置において、撮影部５０と同様の撮影部によって撮影された学習対象爪ＧＴを含む指Ｕ２の画像Ｉｇを取得してもよい。また、輪郭検出装置１が各種ネットワークと接続可能である場合には、ネットワーク上の各種サーバ装置等に蓄積されている爪Ｔの画像を学習対象爪ＧＴを含む指Ｕ２の画像Ｉｇのデータ（学習データ）として取得してもよい。
処理対象爪ＳＴ（爪Ｔ）を含む指Ｕ１の画像Ｉｔのデータ（処理対象データ）と学習対象爪ＧＴを含む指Ｕ２の画像データ（学習データ）とを撮影部５０（又はこれと同様の撮影部）における撮影で取得する場合には、できるだけ撮影条件を同じにして撮影を行うことが好ましく、特に照明装置５２からの光の照射角度等、撮影時の照明の条件については、爪Ｔの表面に光が反射した際の反射光の輝度等に影響するため、できるだけ揃えることが好ましい。

また、本実施形態では、撮影部５０は、まず、指Ｕ１（又は指Ｕ２）を含まない背景のみを撮影して背景画像Ｉｂ（例えば指Ｕ１（又は指Ｕ２）が載置されていない状態の指固定部３を上方から見た画像、図３（ｂ）参照）のデータを取得する。
なお、輪郭検出装置１の後述する記憶部８２等に背景画像が記憶されている場合には背景のみの撮影を行って背景画像Ｉｂのデータを取得する必要はない。
後述するように、本実施形態では、検出情報生成部８１２が輪郭検出情報を生成する際、及び輪郭検出部８１３が爪輪郭Ｔｓや指輪郭Ｕｓを生成する際に、指Ｕ１（又は指Ｕ２）が背景とともに撮影された画像（例えば、図３（ａ）の画像Ｉｇｂ参照）から背景画像Ｉｂを差し引いた差分画像（背景無し画像）を生成し、この差分画像（背景無し画像）を学習データ（図４の画像Ｉｇ参照）や処理対象データ（図７の画像Ｉｔ参照）とするようになっている。

なお、指輪郭以外の背景を除いた背景無し画像を生成する手法は、指Ｕ１（又は指Ｕ２）が背景とともに撮影された画像（例えば、図３（ａ）の画像Ｉｇｂ参照）から背景画像Ｉｂ（例えば、図３（ｂ）の画像Ｉｂ参照）を差し引くものに限定されない。例えば、指輪郭以外の背景部分をマスクしたマスク画像を生成してもよいし、撮影時において黒い台や青いシート等指の肌色と区別の付きやすい色の無地の背景の上で撮影を行ってもよい。
また、背景無し画像の生成は、学習データ（図４の画像Ｉｇ参照）や処理対象データ（図７の画像Ｉｔ参照）ともに行うことが必須ではなく、例えば、学習データ（図４の画像Ｉｇ参照）のみについて行い、後述する検出情報生成部８１２による学習については背景無し画像である学習データ（図４の画像Ｉｇ参照）を用いて行うようにしてもよい。

この撮影部５０は、後述する制御装置８０の撮影制御部８１１に接続され、該撮影制御部８１１によって制御されるようになっている。撮影部５０によって撮影された画像の画像データは、後述する記憶部８２等に記憶されてもよい。

また、図２に示すように、本実施形態の輪郭検出装置１は、制御装置８０を備えている。
制御装置８０は、例えば筐体１１の天面の下面側等に配置された図示しない基板等に設置されている。
制御装置８０は、図示しないＣＰＵ（Central Processing Unit）により構成される制御部８１と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等（いずれも図示せず）で構成される記憶部８２とを備えるコンピュータである。

記憶部８２には、輪郭検出装置１を動作させるための各種プログラム等が格納されているプログラム記憶領域８２０が設けられている。
本実施形態において、プログラム記憶領域８２０には、例えば輪郭検出情報を生成するための検出情報生成プログラム輪郭情報生成プログラム８２１ａや処理対象である爪輪郭Ｔｓの検出を行うため輪郭検出プログラム８２１ｂ等が格納されている。
また、本実施形態において記憶部８２には、検出情報生成部８１２により生成された輪郭検出情報を記憶する輪郭検出情報記憶領域８２２、輪郭検出部８１３により検出された爪Ｔの輪郭の情報が記憶される輪郭情報記憶領域８２３等が設けられている。

制御部８１は、機能的に見た場合、撮影制御部８１１、検出情報生成部８１２、輪郭検出部８１３等を備えている。これら撮影制御部８１１、検出情報生成部８１２、輪郭検出部８１３等としての機能は、制御部８１のＣＰＵと記憶部８２のプログラム記憶領域８２０に記憶されたプログラムとの協働によって実現される。

撮影制御部８１１は、撮影部５０の撮影装置５１及び照明装置５２を制御して撮影装置５１により、処理対象爪（爪Ｔ）を含む指（指Ｕ１）を撮影させて、指Ｕ１の画像Ｉｔのデータである処理対象データを取得させる。また、本実施形態では、撮影制御部８１１は、撮影部５０により、学習対象爪ＧＴを含む指Ｕ２を撮影させて、当該指Ｕ２の画像Ｉｇのデータである学習データを取得させる。

検出情報生成部８１２は、学習対象爪ＧＴを含む指Ｕ２の画像Ｉｇのデータである複数の学習データ（例えば図４参照）を用いて検出対象である爪輪郭Ｔｒｓを検出する学習を行い、輪郭検出情報を得るものである。
本実施形態において輪郭検出情報は、形状モデルである初期形状ＭＴｓ（爪輪郭Ｔｒｓ）を構成する各特徴点Ｔｒｐの座標値や、変位量関数（回帰関数）からなるリグレッサー（識別器）、その他各種のパラメータ等からなり、事前の学習によって得られる情報である。検出情報生成部８１２によって生成された輪郭検出情報は、記憶部８２の輪郭検出情報記憶領域８２２に記憶される。

ここで、検出情報生成部８１２が輪郭検出情報を生成するために行われる学習について説明する。
本実施形態において、学習とは、例えばサポートベクターマシン（support vector machine, ＳＶＭ）等の教師あり学習等の機械学習である。
教師あり学習では、まず全ての学習データの画像（例えば図４の画像Ｉｇ参照）について、検出に関わる正解情報を取得する。
本実施形態では、検出情報生成部８１２は、複数の学習データについて、指Ｕ２の領域を画する特徴点Ｕｒｐで構成される正解の指輪郭Ｕｒｓと検出対象である学習対象爪ＧＴの領域を画する特徴点Ｔｒｐで構成される正解の爪輪郭Ｔｒｓとを事前に正解情報として取得する。
正解の指輪郭Ｕｒｓ及び正解の爪輪郭Ｔｒｓを得る手法は特に限定されないが、例えば学習データに基づく画像（例えば図４の画像Ｉｇ参照）を表示部１３等に表示させて、当該画像を見ながら人が入力用のペン等を用いて指輪郭Ｕｒｓや爪輪郭Ｔｒｓであると思われる部分をなぞる等により指定し入力することで、当該入力情報が制御装置８０において取得される。

さらに検出情報生成部８１２は、複数ある学習データのうちからモデルデータを抽出し、モデルデータにおける正解の爪輪郭Ｔｒｓを、図６に示すように、初期形状ＭＴｓとして設定するようになっている。モデルデータの抽出手法は特に限定されず、例えば複数ある学習データの中からランダムに１つを選択する。また複数の学習データの全部又はその一部の平均値をとってモデルデータとしてもよい。

また、検出情報生成部８１２は、初期形状ＭＴｓを構成する特徴点Ｔｒｐのうちいずれかの点を初期形状ＭＴｓの位置の基準となる基準点Ｓｔｐとし、この基準点Ｓｔｐを、検出対象（爪輪郭）を含む指画像のいずれかの位置に配置することで、初期形状ＭＴｓの初期位置を決定する。
本実施形態では、検出情報生成部８１２は、初期形状ＭＴｓを構成する特徴点Ｔｒｐのうち、爪Ｔの延在方向（図３から図５等においてＹ方向）における最も爪先側に位置する特徴点Ｔｒｐを基準点Ｓｔｐとする。
また、検出情報生成部８１２は、各学習データから爪Ｔの輪郭検出に有用な特徴量を抽出する特徴抽出を行う。特徴量は例えば各画素の輝度値や色、隣接する画素間における輝度値や色の変化量等である。
検出情報生成部８１２は、モデルデータにおける指Ｕ２の正解の指輪郭Ｕｒｓを構成する特徴点Ｕｒｐの座標値、初期形状ＭＴｓを構成する特徴点Ｔｒｐの座標値、基準点Ｓｔｐの情報、及び特徴量に関する情報等を輪郭検出情報として記憶部８２の輪郭検出情報記憶領域８２２に記憶させる。

輪郭検出情報を得るための学習を行う際には、検出情報生成部８１２は、検出対象である学習対象爪ＧＴの爪輪郭Ｔｒｓを含む指画像Ｉｇ（図４参照）について、図５に示すように、正解の指輪郭Ｕｒｓを構成する特徴点Ｕｒｐを取得して、この特徴点Ｕｒｐのうち、爪Ｔの延在方向（図３から図５等においてＹ方向）における最も爪先側に位置する特徴点Ｕｒｐ（これを指輪郭の頂点ＳＵｓとする。）の上に初期形状ＭＴｓの基準点Ｓｔｐが位置するように初期形状ＭＴｓを配置し、これを初期形状ＭＴｓの初期位置と決定する。
学習においては、学習データにおける指Ｕ２の指画像Ｉｇに、初期形状ＭＴｓを配置して、特徴量等を参照しながら初期形状ＭＴｓを構成する各特徴点Ｔｒｐの座標の移動を繰り返す。これにより初期形状ＭＴｓを徐々に検出対象である学習対象爪ＧＴの爪輪郭Ｔｒｓに合せ込んでいく。
各種の学習データを用いた学習を繰り返し行うことにより、初期形状ＭＴｓを爪輪郭Ｔｒｓに合せ込むためのパラメータ（識別器等）等で構成される輪郭検出情報の検出精度が徐々に向上していく。輪郭検出情報記憶領域８２２に記憶されている輪郭検出情報はこうした学習結果を反映して随時更新されるようになっている。

輪郭検出部８１３は、検出情報生成部８１２により生成された輪郭検出情報を、処理対象爪ＳＴを含む指Ｕ１の画像（図７、図８、図１０における画像Ｉｔ）のデータである処理対象データに適用して検出対象である処理対象爪ＳＴの爪輪郭Ｔｓを検出する。
本実施形態において、輪郭検出部８１３は、例えばＥＳＲ（Explicit Shape Regression）と呼ばれるアルゴリズムにより処理対象爪ＳＴの爪輪郭Ｔｓを検出する。
ＥＳＲは、初期形状ＭＴｓと処理対象爪ＳＴの爪輪郭Ｔｓとのフィッティングを行うものであり、このフィッティングの際に非特許文献１に記載されているように、２段階の弱リグレッサー（弱識別器）を組み合わせて適用し、初期形状ＭＴｓを徐々に正解位置である処理対象爪ＳＴの爪輪郭Ｔｓに向かって収束させていくという回帰問題として輪郭検出を行う。

具体的には、まず、輪郭検出部８１３は、検出対象である処理対象爪ＳＴの爪輪郭Ｔｓの検出を行う際に、まず、図７及び図８に示すように、処理対象データにおける指Ｕ１の指輪郭Ｕｓを取得する。指輪郭Ｕｓを取得する手法としては、どのようなものを用いてもよい。例えば図３（ａ）及び図３（ｂ）に示すように、背景のある指画像と背景のみの背景画像Ｉｂとを用意し、背景のある指画像から背景のみの背景画像Ｉｂを差し引いた差分画像を生成してもよいし、黒色一色等、指Ｕ１との輝度や色の差が明確となるような背景の上で指Ｕ１を撮影して、その肌色部分、輝度値の高い部分を指領域として抽出してもよいし、背景部分をマスクして指領域を抽出してもよい。
また輪郭検出部８１３は、この指輪郭Ｕｓから爪幅方向ＵＷの指Ｕ１のサイズを検出する。そして、図９に示すように、モデルデータにおける指輪郭（特徴点Ｕｒｐで構成される指輪郭）のサイズを指Ｕ１のサイズに合わせて拡縮する。
これによりモデルデータにおける指Ｕに含まれる初期形状ＭＴｓのサイズも指Ｕ１のサイズに合わせて拡縮される。

モデルデータにおける指輪郭（指輪郭に含まれる初期形状ＭＴｓ）のサイズと指Ｕ１とのサイズ調整が完了すると、輪郭検出部８１３は、検出情報生成部８１２により設定された初期形状ＭＴｓにおける基準点Ｓｔｐを処理対象データにおける指Ｕ１の指先側のいずれかの位置に配置することで初期形状ＭＴｓの初期位置を決定する。
本実施形態では、処理対象データにおける指Ｕ１の指画像について、正解の指輪郭Ｕｓを構成する特徴点Ｕｐを取得して、この特徴点Ｕｐのうち、爪Ｔの延在方向（図８及び図１０等においてＹ方向）における最も爪先側に位置する特徴点Ｕｔｐの上に初期形状ＭＴｓの基準点Ｓｔｐが位置するように初期形状ＭＴｓを配置し、これを初期形状ＭＴｓの初期位置と決定する。
初期形状ＭＴｓの初期位置が決まると、初期形状ＭＴｓを初期位置から処理対象爪Ｔに合せ込む。具体的には、処理対象データにおける指Ｕ１の画像Ｉｔにおける特徴点Ｕｔｐの上に基準点が来るように初期形状ＭＴｓを配置して、特徴量等を参照しながら初期形状ＭＴｓを構成する各特徴点Ｔｒｐの座標の移動を繰り返す。これにより初期形状ＭＴｓを徐々に検出対象である処理対象爪Ｔの爪輪郭Ｔｓに合せ込んでいくことで処理対象爪の爪輪郭Ｔｓを検出する。

次に、図１１及び図１２を参照しつつ、本実施形態における輪郭検出装置１による輪郭検出情報生成処理及び輪郭検出処理について説明する。

まず、輪郭検出情報生成処理では、図１１に示すように、まず撮影部５０における撮影により、背景のみを撮影した背景画像Ｉｂ（図３（ｂ）参照）を取得する（ステップＳ１）。次に学習対象爪ＧＴを含む指Ｕ２を撮影部５０により撮影して、学習対象爪ＧＴを含む背景ありの指画像Ｉｇｂ（図３（ａ）参照）を取得する（ステップＳ２）。そして、検出情報生成部８１２は、背景ありの指画像Ｉｇｂから背景画像Ｉｂを差し引いた画像Ｉｇ（差分画像、図４参照）を学習データとして取得する（ステップＳ３）。
検出情報生成部８１２は、学習対象（本実施形態では爪輪郭）を含む指Ｕ２の画像Ｉｇのデータである学習データが所定数所得されたかを判断し（ステップＳ４）、取得されていない場合（ステップＳ４；ＮＯ）には、ステップＳ２に戻って処理を繰り返す。
他方、学習データが所定数所得されたと判断される場合（ステップＳ４；ＹＥＳ）には、当該学習データについて正解の指輪郭Ｕｒｓ及び正解の爪輪郭Ｔｒｓを取得する（ステップＳ５）。さらに、検出情報生成部８１２は、学習データのうちからモデルデータを取得し（ステップＳ６）、モデルデータにおける正解の爪輪郭Ｔｒｓを初期形状ＭＴｓとして設定する（ステップＳ７）。
そして、検出情報生成部８１２は、モデルデータにおける正解の指輪郭Ｕｒｓの座標値、初期形状ＭＴｓの正解の爪輪郭Ｔｒｓの座標値、その他各種パラメータ等を輪郭検出情報として、記憶部８２の輪郭検出情報記憶領域８２２に記憶させる（ステップＳ８）。

なお、初期形状ＭＴｓが設定されると、検出情報生成部８１２は、この初期形状ＭＴｓを学習データに適用することで学習データに含まれる学習対象爪ＧＴの爪輪郭Ｔｒｓを検出する。
具体的には、次に説明する輪郭検出処理（図１２参照）と同様に、検出情報生成部８１２は、画像Ｉｇにおける指Ｕ２の正解の指輪郭Ｕｒｓの指幅ＵＷを取得するとともに、モデルデータにおける指Ｕ２の正解の指輪郭Ｕｒｓの指幅ＵＷを取得して、このモデルデータにおける指Ｕ２の指幅ＵＷが学習対象爪ＧＴの指Ｕ２のサイズに合うようにモデルデータにおける指Ｕ２（爪輪郭Ｔｒｓである初期形状ＭＴｓを含む指輪郭Ｕｒｓ）のサイズを拡縮する。これにより、初期形状ＭＴｓが学習対象爪ＧＴと同等のサイズとなり、合せ込みやすい状態となる。
さらに、検出情報生成部８１２は、初期形状ＭＴｓの基準点Ｓｔｐと、指Ｕ２の正解の指輪郭Ｕｒｓの爪先側（すなわち、指Ｕ２の指幅ＵＷに直交する指Ｕ２の延在方向の爪先側）の頂点とが重なり合う位置を初期位置として設定し、当該初期位置に初期形状ＭＴｓを当該初期位置に配置する。そして検出情報生成部８１２は、初期形状ＭＴｓを徐々に指Ｕ２の爪輪郭Ｔｒｓに合せ込んでいくことにより、学習対象爪ＧＴの爪輪郭Ｔｒｓ（爪領域の輪郭）を検出する。こうした学習対象爪ＧＴの爪輪郭Ｔｒｓの検出処理を繰り返す学習を行うことにより輪郭検出の際に適用するパラメータ等の輪郭検出情報がより検出精度の高いものとなっていく。検出情報生成部８１２は、学習により更新された輪郭検出情報を適宜輪郭検出情報記憶領域８２２に記憶させ、その内容を更新して行く。

次に、輪郭検出処理では、図１２に示すように、まず撮影部５０における撮影により、背景のみを撮影した背景画像Ｉｂを取得する（ステップＳ１１）。なお、学習対象爪ＧＴと処理対象爪ＳＴとを同じ撮影部５０で撮影する場合等、既に背景画像Ｉｂが取得されている場合には、ステップＳ１１を省略することができる。
次に、処理対象爪ＳＴを含む指Ｕ１を撮影部５０により撮影して処理対象爪ＳＴを含む指Ｕ１の指画像を取得する（ステップＳ１２）。そして、この指画像から背景画像Ｉｂを差し引いた画像Ｉｔ（差分画像、図７・図１０参照）を処理対象データとして取得する（ステップＳ１３）。
画像Ｉｔ（差分画像）が取得されると、輪郭検出部８１３は、当該画像Ｉｔから指Ｕ１の指輪郭Ｕｓを取得し（ステップＳ１４）、さらに、指Ｕ１の指輪郭Ｕｓから指Ｕ１の指幅ＵＷを取得する（ステップＳ１５）。指Ｕ１の指幅ＵＷが取得されると、輪郭検出部８１３は、指Ｕ１の指幅ＵＷに合うようにモデルデータにおける指Ｕ２（爪輪郭Ｔｒｓである初期形状ＭＴｓを含む指輪郭Ｕｒｓ）のサイズを拡縮する（ステップＳ１６）。これにより、初期形状ＭＴｓが処理対象爪ＳＴと同等のサイズとなり、合せ込みやすい状態となる。
なお、学習時と処理対象爪ＳＴの爪輪郭Ｔｓの検出時とで適用される同じ初期形状ＭＴｓである。

サイズ調整が完了すると、輪郭検出部８１３は、初期形状ＭＴｓの基準点Ｓｔｐと、指Ｕ１の指輪郭Ｕｓの爪先側の頂点Ｕｔｐ（図１０参照）とが重なり合う位置を初期位置として設定し（ステップＳ１７）、当該初期位置に初期形状ＭＴｓを配置する（ステップＳ１８）。
そして輪郭検出部８１３は、初期形状ＭＴｓを徐々に指Ｕ１の爪輪郭Ｔｓに合せ込んでいくことにより、処理対象爪ＳＴの爪輪郭Ｔｓ（爪領域の輪郭）を検出する。
最終的に爪Ｔの輪郭として採用された検出結果（輪郭を構成する各点の座標値）は、検出対象であるユーザの爪Ｔの輪郭として、輪郭情報記憶領域８２３に記憶される。

本実施形態の輪郭検出装置１によって検出された処理対象爪ＳＴの爪輪郭Ｔｓは、例えば、爪Ｔにネイルプリントを施す場合に、描画装置の描画対象領域として設定される。
また、検出結果としての処理対象爪ＳＴの爪輪郭Ｔｓは、ネイルプリント以外にも自動的に処理対象爪ＳＴの表面を整えるオート爪磨き等、各種ネイルケア等を行う場合の対象領域とすることができる。

以上のように、本実施形態によれば、学習によって爪輪郭Ｔｓを検出する際に適用される輪郭検出情報を取得し、この輪郭検出情報を処理対象爪ＳＴを含む指Ｕ１の画像Ｉｔのデータである処理対象データに適用して処理対象爪ＳＴの爪輪郭Ｔｓを検出する場合に、複数の学習データの中からモデルデータを抽出し、モデルデータの正解の爪輪郭Ｔｒｓを初期形状ＭＴｓとして設定して、初期形状ＭＴｓの特徴点Ｔｒｐのいずれかを基準点Ｓｔｐとし、処理対象爪ＳＴの爪輪郭Ｔｓを検出する際には、基準点Ｓｔｐを指Ｕ１の指先側に配置することで、初期形状ＭＴｓの初期位置を決定し、初期形状ＭＴｓを初期位置から処理対象爪ＳＴに合せ込んで処理対象爪ＳＴの爪輪郭Ｔｓを検出する。
フィッティングによる輪郭検出を行う場合、初期形状ＭＴｓを配置する初期位置が検出精度に影響を与えるところ、初期位置はできるだけ検出対象（本実施形態では爪輪郭）の近くに設定することが好ましい。この点、検出対象である爪輪郭Ｔｓは指の先端側に位置するものであるところ、本実施形態では、学習時に用いた初期形状ＭＴｓを処理対象爪ＳＴの爪輪郭Ｔｓの検出に適用し、初期形状ＭＴｓの爪先側の頂点である基準点Ｓｔｐと指Ｕ１の爪先側の頂点Ｕｔｐ（指輪郭Ｕｓの指幅方向ＵＷと直交する長さ方向Ｙの先端部の特徴点Ｕｐ）とが重なる位置に初期位置を設定する。
このため、初期形状ＭＴｓが必ず爪輪郭Ｔｓの近傍に初期配置されるため、爪輪郭Ｔｓの検出精度が向上する。

輪郭検出情報の精度を向上させるためには、これを生成するための学習データをできるだけ不特定多数取得することが必要であり、各種の条件下で取得されたデータが用いられることも想定されるが、本実施形態では上記のように頂点同士を重ね合わせてフィッティングを行うため、学習データと処理対象データとが異なる撮影条件の下で取得された場合（すなわち撮影環境が異なる場合）でも、初期形状ＭＴｓを適切な位置に配置することができ、安定して高精度の輪郭検出を行うことができる。
また、学習（機械学習）を用いて処理対象爪ＳＴの爪輪郭Ｔｓの検出を行うため、ユーザの手を煩わせることなく、ネイルプリント等の処理を行う際の対象領域を正確に検出することができる。
そして、爪の場合、周りの皮膚（指部分）との輝度差や色の差が小さく、何ら限定がない状態では学習（機械学習）等において指と爪との識別が難しいところ、本実施形態では比較的輝度差や色の差が大きく、自動的に検出することが容易である指部分をまず検出し、その後、爪輪郭について学習（機械学習）等による自動的な輪郭検出を行う。
これにより、ユーザの手を煩わせない自動的な輪郭検出を高精度に行うことが可能となる。

また、本実施形態では、指輪郭Ｕｓから求められる処理対象データにおける指Ｕ１のサイズ情報に応じてモデルデータにおける学習対象爪ＧＴを含む指Ｕ２のサイズを拡縮するようになっている。
これにより、初期形状ＭＴｓと学習対象爪ＧＴの爪輪郭とのサイズを同等に合わせた上で合せ込み処理を行うことができ、より迅速に正確な輪郭検出を行うことができる。

また、本実施形態では、学習データについて正解の指輪郭Ｕｒｓ以外の背景を除いた背景無し画像を生成し、学習は当該背景無しの画像Ｉｇを用いて行われる。
このため、背景によって指の輪郭検出の精度が落ちるおそれがなく、より高精度な輪郭検出を安定的に行うことができる。

また、本実施形態では、指輪郭Ｕｒｓのサイズ情報として正解の指輪郭Ｕｒｓの指幅方向ＵＷの長さ寸法を用いている。
このため、指輪郭Ｕｒｓのサイズを容易に検出することができる。

また、本実施形態では、このように自動的に高精度の輪郭検出を行うことができるため、顔等のように明確に目印となるパーツを持たない爪Ｔが検出対象である場合でも正確な輪郭検出を行うことができる。

［第２の実施形態］
次に、図１３及び図１４を参照しつつ、本発明に係る輪郭検出装置を爪にネイルデザインを描画する描画装置（以下、「ネイルプリント装置」という。）に適用した例を第２の実施形態として説明する。
なお、本実施形態では、輪郭検出装置の構成及び作用・効果は第１の実施形態で説明したものと同様であるため、以下においては、特に第１の実施形態と異なる点について説明する。

図１３は、輪郭検出装置１が適用されたネイルプリント装置１００の要部構成例を示した斜視図である。
なお、図１３では図示を省略しているが、ネイルプリント装置１００は、図１０に示す内部構成が、例えば図１に示すような操作部１２や表示部１３等を備える筐体１１内に収容されて構成されている。

図１３に示すように、ネイルプリント装置１００は、図１及び図２に示す構成の他、描画部４０を備えている。
描画部４０は、描画部本体である描画ヘッド４１、ユニット支持部材４２、ユニット支持部材４２をＸ方向（図１３等におけるＸ方向、ネイルプリント装置１００の左右方向）に移動させるためのＸ方向移動ステージ４５、Ｘ方向移動モータ４６、ユニット支持部材４２をＹ方向（図１３等におけるＹ方向、ネイルプリント装置１００の前後方向）に移動させるためのＹ方向移動ステージ４７、Ｙ方向移動モータ４８等を備えて構成されている。
本実施形態の描画ヘッド４１は、インクジェット方式で描画を行うインクジェットヘッドである。なお、描画ヘッド４１はインクジェット方式で描画を行うものに限定されない。例えば、処理対象爪ＳＴの表面に直接先端部を接触させて描画を行うペン等を備えて構成されていてもよい。

図１３では、ユニット支持部材４２に描画ヘッド４１及び撮影部５０が支持されている例を示しており、Ｘ方向移動モータ４６とＹ方向移動モータ４８等により、ユニット支持部材４２に支持された描画ヘッド４１及び撮影部５０を移動させる図示しないヘッド移動機構が構成されている。
ヘッド移動機構を備えることにより、処理対象爪ＳＴを撮影する際には、指固定部３の上方に撮影部５０が配置されるようにし、描画時には指固定部３の上方に描画ヘッド４１が配置されるように、適宜移動させることができる。
描画部４０における描画ヘッド４１、Ｘ方向移動モータ４６、Ｙ方向移動モータ４８は、制御装置８０の図示しない描画制御部に接続され、該描画制御部８１５によって制御される。

ネイルプリント装置１００においては、輪郭検出装置１について図２に示した輪郭検出部８１３は、処理対象爪ＳＴの輪郭（爪形状、処理対象爪ＳＴの水平位置のＸＹ座標等）の他、例えば、処理対象爪ＳＴの高さ（処理対象爪ＳＴの垂直方向の位置、爪Ｔの垂直位置）、処理対象爪ＳＴの表面の、ＸＹ平面に対する傾斜角度（処理対象爪ＳＴの傾斜角度、爪曲率）等、広く爪情報を検出する。

また、ネイルプリント装置１００の制御装置８０は、輪郭検出部８１３により検出された爪情報に基づいて、描画ヘッド４１により指Ｕ１の処理対象爪ＳＴに施される描画用のデータを生成する。
具体的には、処理対象爪ＳＴの輪郭形状等に基づいてネイルデザインの画像データを拡大、縮小、切出し等することにより爪Ｔの形状に合わせ込む合せ込み処理を行う。
また、輪郭検出部８１３により検出された爪情報に応じて、適宜曲面補正等を行う。
これにより、描画ヘッド４１によって描画されるネイルデザインの描画用データが生成される。

制御装置８０により生成された描画用データは描画部４０に出力され、描画部４０により爪Ｔに対してこの描画用データにしたがった描画を施すように描画部４０のＸ方向移動モータ４６、Ｙ方向移動モータ４８、描画ヘッド４１等が制御装置８０によって制御される。

また、ネイルプリント装置１００の記憶部８２には、輪郭検出装置１について図２に示したものの他に、例えばネイルデザインを記憶するネイルデザイン記憶領域、指画像を記憶する指画像記憶領域等が設けられている。
ネイルデザイン記憶領域８２４には、処理対象爪ＳＴに描画されるネイルデザインの画像データが記憶されている。

なお、その他の構成は、第１の実施形態と同様であることから、同一部材には同一の符号を付して、その説明を省略する。

次に、図１４を参照しつつ、本実施形態におけるネイルプリント装置１００による描画処理について説明する。
本実施形態において、ネイルプリント装置１００で爪Ｔへの描画を行う場合、ユーザは、装置電源を入れ、さらに描画開始ボタン等の操作部１２を操作する。これにより、操作に応じた描画開始指示がネイルプリント装置１００の制御装置８０に入力される（ステップＳ２１）。
描画開始指示が入力されると、制御部８１は、ネイルデザインを選択させるネイルデザイン選択画面を表示部１３に表示させ（ステップＳ２２）、ユーザによる選択を促す。
ユーザが操作部１２等から所望のネイルデザインを選択すると、当該選択指示に従って爪Ｔに描画すべきネイルデザインが選択される（ステップＳ２３）。
ネイルデザインが選択されると、制御部８１は、指固定部の所定位置に描画対象となる爪の指を配置するように指示する指示画面を表示部１３に表示させ（ステップＳ２４）、ユーザに処理対象爪ＳＴ（及びその指Ｕ１）の固定を促す。
ユーザは指示に従って指Ｕ１を指固定部３に挿入し、処理対象爪ＳＴの先を位置決め手段である爪載置部３５に載置することで位置決め固定する。
そして、このように処理対象爪ＳＴが爪載置部３５により位置決めされた状態で、撮影制御部８１１が撮影部５０を動作させて処理対象爪ＳＴを撮影し（ステップＳ２５）、処理対象としての処理対象爪ＳＴの領域を含む処理対象画像のデータである処理対象データを取得する。

処理対象データが取得されると、輪郭検出部８１３は、この画像内の爪領域の輪郭を検出する輪郭検出処理を行う（ステップＳ２６）。なお、この輪郭検出処理の内容は、第１の実施形態の図１２において説明したものと同様であるため、その説明を省略する。
また、本実施形態の輪郭検出部８１３は、第１の実施形態で示した輪郭検出の他、指画像（検出対象画像）Ｉｔから処理対象爪ＳＴの高さ（処理対象爪ＳＴの垂直方向の位置、処理対象爪ＳＴの垂直位置）、処理対象爪ＳＴの表面の、ＸＹ平面に対する傾斜角度（処理対象爪ＳＴの傾斜角度、爪曲率）等を検出する。
処理対象爪ＳＴの輪郭等の爪情報が検出されると、制御装置８０は、検出された処理対象爪ＳＴの輪郭に、選択されたネイルデザインをフィッティングし、さらに適宜曲面補正等の補正を行って描画用データ（ネイルデザインの描画データ）を生成する（ステップＳ２７）。
そして、描画用データが生成されると、制御装置８０は、描画部４０に描画用データを出力するとともに、ヘッド移動部４９を動作させて描画ヘッド４１を適宜移動させながら描画用データに基づく描画処理を行わせる。これにより描画用データに基づくネイルデザインが爪Ｔに描画される（ステップＳ２８）。

なお、その他の点については、第１の実施形態と同様であることから、その説明を省略する。

以上のように、本実施形態によれば、第１の実施形態と同様の効果を得られる他、以下の効果を得ることができる。
すなわち、本実施形態では、描画装置であるネイルプリント装置１００が、第１の実施形態で示した輪郭検出装置１を備えている。このため、爪Ｔ（処理対象爪ＳＴ）という、指部分との境界等を検出することが難しい対象について、比較的時間を掛けず、またユーザの手を煩わせずに精密に描画範囲となる爪領域を特定し、はみ出し等のない美しい仕上がりのネイルプリントを行うことができる。

なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

例えば、上記各実施形態では、輪郭検出部８１３がＥＳＲの手法を用いて初期形状Ｔｍと検出対象の領域とのフィッティングを行う場合を例示したが、輪郭検出部８１３が初期形状ＭＴｓと処理対象爪ＳＴの爪輪郭Ｔｓとのフィッティングを行う際に用いることのできるアルゴリズムはＥＳＲに限定されない。
検出対象の領域とのフィッティングを行う際の初期形状ＭＴｓの配置位置が輪郭検出に多少でも影響を与えるようなアルゴリズムを用いる場合には、上記各実施形態で示したような手法を用いることが好ましい。
このため、例えば、ＡＡＭ（Active appearance model）、ＡＳＭ（Active Shape model）ＡＣＭ（Active Contour Model）等を輪郭検出部８１３が初期形状ＭＴｓと処理対象爪ＳＴの爪輪郭Ｔｓとのフィッティングを行う際に用いることのできるアルゴリズムとして用いる場合にも本実施形態を適用することが可能である。

また、上記実施形態では、初期形状ＭＴｓの基準点Ｓｔｐを初期形状ＭＴｓの爪先方向の頂点とし、これを配置する初期位置を、基準点Ｓｔｐが指輪郭Ｕｓの指幅方向ＵＷに直交する指Ｕ１の延在方向における爪先方向の頂点Ｕｔｐと重なる位置とし、初期形状ＭＴｓと指輪郭Ｕｓとが指先方向で重なり合う場合を例示したが、初期形状ＭＴｓを配置する初期位置はこれに限定されない。例えば、モデルデータにおける指輪郭の重心位置と指Ｕ１の指輪郭Ｕｓとの重心位置を求めて、この重心位置が重なり合う位置を初期位置としてもよい。

また、上記実施形態では、初期形状ＭＴｓを処理対象爪ＳＴのサイズに近づけるために、指輪郭Ｕｓの指幅方向ＵＷの指Ｕ１のサイズを検出して、モデルデータにおける指輪郭Ｕｒｓの指幅方向ＵＷの指Ｕ１のサイズを指Ｕ１の指輪郭Ｕｓの指幅方向ＵＷのサイズに合わせて拡縮する場合を例示したが、初期形状ＭＴｓのサイズ調整は指幅方向ＵＷのサイズを基準とするものに限定されない。
例えば、モデルデータにおける指輪郭Ｕｒｓと指Ｕ１の指輪郭Ｕｓとの指の延在方向における長さ寸法を合わせるようにサイズ調整を行ってもよい。

また、上記各実施形態では、検出対象が爪Ｔである場合を例示したが、輪郭検出装置によって輪郭検出を行うことができる検出対象は爪Ｔに限定されない。
例えば、顔の輪郭や目・鼻・口等の顔のパーツの輪郭等を検出対象としてもよい。
このように、顔の輪郭や顔のパーツを検出する場合には、位置決め手段として、例えばあごの位置を固定する顎載せ台等を設置し、これに顎を固定した状態で学習対象画像や検出対象画像を取得するための撮影を行う。

また、第２の実施形態では、描画装置が爪Ｔに描画を施すネイルプリント装置１００である場合を例示したが、描画装置は、ネイルプリント装置１００に限定されず、爪Ｔ以外のものに描画を施すものでもよい。描画対象が爪Ｔ以外である場合には、当該描画対象の領域を画する輪郭を検出するための輪郭検出装置が適用される。

また、輪郭検出装置１が爪Ｔの輪郭を検出するものである場合に、第２の実施形態では、爪Ｔの輪郭を検出した後、検出された輪郭内に描画を施す例を示したが、輪郭検出後の処理は描画処理に限定されない。例えば、自動的に爪Ｔの表面を整えるオート爪磨き、オートネイルケア等を後処理として行ってもよい。
また、検出対象が医療用の撮影装置で撮影された医療用画像に含まれる各種臓器等である場合には、輪郭検出を行った後の処理として、医師等による画像診断や患者への健康状況の情報提供等が行われてもよい。

以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
学習対象爪を含む指の画像データである複数の学習データを用いて検出対象である爪輪郭を検出する学習を行い、輪郭検出情報を得る検出情報生成部と、
前記輪郭検出情報を、処理対象爪を含む指の画像データである処理対象データに適用して検出対象である前記処理対象爪の爪輪郭を検出する輪郭検出部と、を備え、
前記検出情報生成部は、前記複数の学習データに基づいて複数の特徴点で構成される初期形状を設定し、前記初期形状を構成する前記特徴点のうち基準位置に対応する特徴点を基準点とし、
前記輪郭検出部は、前記処理対象爪を含む指の指輪郭における前記基準位置に対応する点と、前記基準点とが重なるように前記初期形状の初期位置を配置し、前記初期形状を前記初期位置から前記処理対象爪に合せ込むことで前記処理対象爪の前記爪輪郭を検出する輪郭検出装置。
＜請求項２＞
前記検出情報生成部は、前記複数の学習データについて、前記指の領域を画する前記特徴点で構成される正解の指輪郭と前記学習対象爪の領域を画する前記特徴点で構成される正解の爪輪郭とを取得するとともに、前記学習データのうちからモデルデータを抽出し、前記モデルデータにおける前記正解の爪輪郭を初期形状とする請求項１に記載の輪郭検出装置。
＜請求項３＞
前記輪郭検出部は、前記処理対象データについて、前記指の領域を画する特徴点で構成される指輪郭を取得するとともに、前記指輪郭から求められる前記処理対象データにおける前記指のサイズ情報に応じて前記モデルデータにおける前記学習対象爪を含む指のサイズを拡縮する請求項１又は請求項２に記載の輪郭検出装置。
＜請求項４＞
前記輪郭検出部は、前記指輪郭を構成する前記特徴点のうち指先側のいずれかの特徴点の上に前記基準点が位置するように前記初期形状を配置することで、前記初期形状の初期位置を決定する請求項１から請求項３のいずれか一項に記載の輪郭検出装置。
＜請求項５＞
前記学習データについて前記正解の指輪郭以外の背景を除いた背景無し画像を生成し、
前記検出情報生成部による前記学習は前記背景無し画像を用いて行われる請求項２に記載の輪郭検出装置。
＜請求項６＞
前記検出情報生成部は、前記初期形状を構成する前記特徴点のうちいずれかの点を前記初期形状の位置の基準となる基準点とし、この基準点を前記学習データにおける前記指の指先側のいずれかの位置に配置することで、前記初期形状の初期位置を設定し、
前記輪郭検出部は、前記指の指先側のいずれかの位置に配置された前記初期形状を前記初期位置から前記学習対象爪に合せ込むことで前記学習対象爪の前記爪輪郭を検出する学習を行う請求項１から請求項５のいずれか一項に記載の輪郭検出装置。
＜請求項７＞
前記指輪郭の前記サイズ情報は、指幅方向の長さ寸法である請求項３に記載の輪郭検出装置。
＜請求項８＞
前記指輪郭における前記基準位置に対応する点は、前記指輪郭の指幅方向と直交する長さ方向の先端部の特徴点である請求項１から７のいずれか一項に記載の輪郭検出装置。
＜請求項９＞
請求項１から請求項８のいずれか一項に記載の輪郭検出装置と、
前記輪郭検出装置により検出された輪郭内に描画を施す描画部と、
を備える描画装置。
＜請求項１０＞
学習対象爪を含む指の画像である複数の学習データを用いて検出対象である爪輪郭を検出する学習を行い、輪郭検出情報を得る検出情報生成工程と、
前記検出情報生成工程において生成された前記輪郭検出情報を、処理対象爪を含む指の画像データである処理対象データに適用して検出対象である前記処理対象爪の爪輪郭を検出する輪郭検出工程と、を含み、
前記検出情報生成工程は、前記複数の学習データに基づいて初期形状を設定して、前記初期形状を構成する前記特徴点のうち基準位置に対応する特徴点を基準点とし、
前記輪郭検出工程は、前記処理対象爪を含む指の指輪郭における前記基準位置に対応する点と、前記基準点とが重なるように前記初期形状の初期位置を配置し、前記初期形状を前記初期位置から前記処理対象爪に合せ込むことで前記処理対象爪の前記爪輪郭を検出す輪郭検出方法。
＜請求項１１＞
輪郭検出装置のコンピュータに、
学習対象爪を含む指の画像である複数の学習データを用いて検出対象である爪輪郭を検出する学習を行い、輪郭検出情報を得る検出情報生成機能と、
前記検出情報生成機能により生成された前記輪郭検出情報を処理対象爪を含む指の画像データである処理対象データに適用して検出対象である前記処理対象爪の爪輪郭を検出する輪郭検出機能と、を実現させ、
前記検出情報生成機能は、前記複数の学習データ基づいて複数の特徴点で構成される初期形状を設定し、前記初期形状を構成する前記特徴点のうち基準位置に対応する特徴点を基準点とし、
前記輪郭検出機能は、前記処理対象爪を含む指の指輪郭における前記基準位置に対応する点と、前記基準点とが重なるように前記初期形状の初期位置を配置し、前記初期形状を前記初期位置から前記処理対象爪に合せ込むことで前記処理対象爪の前記爪輪郭を検出する輪郭検出プログラム。

１ 輪郭検出装置
４０ 描画部
５０ 撮影部
８１ 制御部
８２ 記憶部
８１２ 検出情報生成部
８１３ 輪郭検出部
１００ ネイルプリント装置（描画装置）
Ｔ 爪
Ｕ１ 処理対象指
Ｕ２ 学習対象指

Claims (13)

1. 学習対象となる爪を含む指の画像データを用いて爪の輪郭である爪輪郭を検出する学習を行い、モデルとなる爪の輪郭の形状および基準位置の情報を得る生成部と、
   処理対象となる爪を含む指の画像データから指の輪郭である指輪郭を検出する指輪郭検出部と、
   前記指輪郭検出部で検出された指の輪郭における基準位置と前記モデルとなる爪の輪郭の基準位置とが重なるようにして、前記モデルとなる爪の輪郭の形状を前記処理対象となる爪の初期形状として配置し、配置された前記初期形状を前記処理対象となる爪に合せ込むように変形させることで、前記処理対象となる爪を含む指の画像データから前記処理対象となる爪の輪郭を検出する爪輪郭検出部と、
   を備える輪郭検出装置。
2. 前記生成部は、前記学習対象となる爪を含む指の画像データと、前記学習対象となる爪の正解となる輪郭の情報とを含む複数の学習データを用いて、爪の輪郭を検出する学習を行い、
   前記爪輪郭検出部は、前記処理対象となる爪を含む指の画像データと、前記学習により得られたモデルデータを用いて、前記処理対象となる爪の輪郭を検出する、請求項１に記載の輪郭検出装置。
3. 前記生成部は、前記学習対象となる爪を含む指の画像データと、前記学習対象となる爪の正解となる輪郭の情報とを含む複数の学習データに基づいて、複数の特徴点で構成される初期形状を設定し、前記初期形状を構成する前記特徴点のうち基準位置に対応する特徴点を基準点とし、
   前記爪輪郭検出部は、前記処理対象となる爪を含む指の輪郭における前記基準位置に対応する点と、前記基準点とが重なるように前記初期形状の初期位置を配置し、前記初期形状を前記初期位置から前記処理対象となる爪に合せ込むことで前記処理対象となる爪の輪郭を検出する、請求項１または２に記載の輪郭検出装置。
4. 前記生成部は、前記複数の学習データについて、前記指の領域を画する前記特徴点で構成される正解の指輪郭と前記学習対象となる爪の領域を画する前記特徴点で構成される正解の爪輪郭とを取得するとともに、前記学習データのうちからモデルデータを抽出し、前記モデルデータにおける前記正解の爪輪郭を初期形状とする請求項３に記載の輪郭検出装置。
5. 前記爪輪郭検出部は、前記処理対象となる爪を含む指の画像データから前記指の領域を画する特徴点で構成される指輪郭を取得するとともに、前記指輪郭から求められる前記画像データにおける前記指のサイズ情報に応じて前記モデルデータにおける前記学習対象となる爪を含む指のサイズを拡縮する請求項４に記載の輪郭検出装置。
6. 前記爪輪郭検出部は、前記指輪郭を構成する前記特徴点のうち指先側のいずれかの特徴点の上に前記基準点が位置するように前記初期形状を配置することで、前記初期形状の初期位置を決定する請求項３から請求項５のいずれか一項に記載の輪郭検出装置。
7. 前記学習データについて前記正解の指輪郭以外の背景を除いた背景無し画像を生成し、
   前記生成部による前記学習は前記背景無し画像を用いて行われる請求項４に記載の輪郭検出装置。
8. 前記生成部は、前記初期形状を構成する前記特徴点のうちいずれかの点を前記初期形状の位置の基準となる基準点とし、この基準点を前記学習データにおける前記指の指先側のいずれかの位置に配置することで、前記初期形状の初期位置を設定し、
   前記爪輪郭検出部は、前記指の指先側のいずれかの位置に配置された前記初期形状を前記初期位置から前記学習対象となる爪に合せ込むことで前記学習対象となる爪の前記爪輪郭を検出する学習を行う請求項３から請求項７のいずれか一項に記載の輪郭検出装置。
9. 前記指輪郭の前記サイズ情報は、指幅方向の長さ寸法である請求項５に記載の輪郭検出装置。
10. 前記指輪郭における前記基準位置に対応する点は、前記指輪郭の指幅方向と直交する長さ方向の先端部の特徴点である請求項３から９のいずれか一項に記載の輪郭検出装置。
11. 請求項１から請求項１０のいずれか一項に記載の輪郭検出装置と、
    前記輪郭検出装置により検出された輪郭内に描画を施す描画部と、
    を備える描画装置。
12. 輪郭検出装置が、
    学習対象となる爪を含む指の画像データを用いて爪の輪郭を検出する学習を行い、モデルとなる爪の輪郭の形状および基準位置の情報を得る生成処理と、
    処理対象となる爪を含む指の画像データから指の輪郭を検出する指輪郭検処理と、
    前記指輪郭検処理で検出された指の輪郭における基準位置と前記モデルとなる爪の輪郭の基準位置とが重なるようにして、前記モデルとなる爪の輪郭の形状を前記処理対象となる爪の初期形状として配置し、配置された前記初期形状を前記処理対象となる爪に合せ込むように変形させることで、前記処理対象となる爪を含む指の画像データから前記処理対象となる爪の輪郭を検出する爪輪郭検出処理と、
    を実行する輪郭検出方法。
13. 輪郭検出装置のコンピュータに、
    学習対象となる爪を含む指の画像データを用いて爪の輪郭を検出する学習を行い、モデルとなる爪の輪郭の形状および基準位置の情報を得る生成処理と、
    処理対象となる爪を含む指の画像データから指の輪郭を検出する指輪郭検処理と、
    前記指輪郭検処理で検出された指の輪郭における基準位置と前記モデルとなる爪の輪郭の基準位置とが重なるようにして、前記モデルとなる爪の輪郭の形状を前記処理対象となる爪の初期形状として配置し、配置された前記初期形状を前記処理対象となる爪に合せ込むように変形させることで、前記処理対象となる爪を含む指の画像データから前記処理対象となる爪の輪郭を検出する爪輪郭検出処理と、
    を実行させる輪郭検出プログラム。

Images