JP7439842B2 - 輪郭検出装置及び輪郭検出方法 - Google Patents

Description

本発明は、輪郭検出装置及び輪郭検出方法に関するものである。

従来、検出対象を撮影した画像から画像処理によって検出対象の輪郭を検出する手法が知られている。
例えば、特許文献１には、医用画像中の腫瘍領域の輪郭を決定するカメラで人物を撮影した場合に、輪郭検出の技術を用いることで、撮影画像から当該人物の顔の輪郭や、目、鼻、口等の各パーツの輪郭を検出する手法が開示されている。
こうした輪郭検出の技術は、顔や顔のパーツの輪郭を検出する場合に限定されず、爪の輪郭等、各種の輪郭検出を行う場合に用いることができる。

輪郭検出の技術としては、複数の学習用サンプルを集めて学習を行い、学習結果としての学習データを生成して、この学習データを用いて輪郭の検出を行う手法がある。
例えば、従来輪郭検出に用いられる手法として、ＡＡＭ（Active Appearance Model）やＡＳＭ（Active Shape Model）がある。これらの手法は、顔の輪郭や各パーツの輪郭の特徴点の配置を形状モデル（Shape Model）と呼ばれるモデルで表現する。そして、この形状モデルと検出対象を含む画像にフィッティングさせることで検出対象の輪郭検出を行う。
また、近時、ＥＳＲ（Explicit Shape Regression）と呼ばれるアルゴリズムにより検出対象の輪郭を検出する技術も知られている。
ＥＳＲでは、重心の周囲に特徴点が配置された形状モデル（初期形状）を生成し、これと検出対象の輪郭を含む画像とのフィッティングを行う。この際、ＥＳＲでは、２段階の弱リグレッサー（弱識別器）を組み合わせて適用し、形状モデル（初期形状）を徐々に正解位置である検出対象の輪郭に向かって収束させていくという回帰問題として輪郭検出を行う。
このようなアルゴリズムを用いることで、ユーザの手を煩わせることなく自動的に高精度な輪郭検出を行うことができる。

特開２００７－３０７３５８号公報

上記のような輪郭検出の技術を用いる場合、複数回輪郭検出処理を行い、そのうち評価（信頼度）の高い検出結果を採用することで、より精度のよい検出結果を用いてその後の各種処理を行うことが可能となる。
しかしながら、輪郭を検出する手法の中には、例えばＥＳＲ等のように検出した輪郭に対する信頼度を評価する指標を持たないものがある。
この場合、検出結果に対する信頼度が分からないため、仮に複数回の検出処理を行って複数回分の検出結果を取得した場合でも、そのうち評価（信頼度）の高い検出結果を選んで採用するといったことができず、複数回分の検出結果の平均値を採用する等の対応をするしかないとの問題がある。
また、輪郭検出を行う場合に、検出結果に対する信頼度を評価する指標を持つ手法を用いる場合でも、より精密に評価を行い、検出結果の信頼度を検証したいという場合も存する。

本発明は以上のような事情に鑑みてなされたものであり、画像から検出対象の輪郭を自動で検出する場合に、検出された輪郭の輪郭らしさを評価することのできる輪郭検出装置及び輪郭検出方法を提供することを利点とするものである。

前記課題を解決するために、本発明の輪郭検出装置は、
学習対象の輪郭を含む学習用のサンプル画像から、前記輪郭上に位置する輪郭点と、前記輪郭点とは異なる非輪郭点と、をそれぞれ複数選択する点選択部であって、前記輪郭点から第１の範囲内に位置する前記非輪郭点の数が、前記輪郭点から前記第１の範囲外に位置する前記非輪郭点の数よりも多くなるように、複数の前記非輪郭点を選択し、前記第１の範囲外で選択される前記非輪郭点を、前記第１の範囲よりも大きい第２の範囲内であって、予め設定された第２の範囲内で選択する点選択部と、
前記点選択部により選択された前記輪郭点及び前記非輪郭点についてそれぞれの特徴量を導出する特徴量導出部と、
前記特徴量導出部により導出された前記輪郭点の特徴量及び前記非輪郭点の特徴量を用いた学習により、輪郭らしさを評価する識別器を生成する識別器生成部と、
検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を導出する評価値導出部と、
を備えていることを特徴としている。

本発明によれば、画像から検出対象の輪郭を自動で検出する場合に、検出された輪郭の輪郭らしさを評価することができる。

本実施形態における輪郭検出装置の外観構成を示す斜視図である。 本実施形態における輪郭検出装置の機能的構成を示した要部構成図である。 学習用のサンプル画像の一例を示す平面図である。 図３における領域IVの拡大図である。 本実施形態における識別器生成処理を示すフローチャートである。 本実施形態における輪郭検出処理を示すフローチャートである。

図１から図６を参照しつつ、本発明に係る輪郭検出装置の一実施形態について説明する。
なお、以下の本実施形態では、輪郭の検出を行う対象である検出対象が指の爪である場合を例として説明する。
以下においては、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。

図１は、本実施形態における輪郭検出装置の外観を示す斜視図である。
図１に示すように、本実施形態における輪郭検出装置１は、ほぼ箱形に形成された筐体１１を有している。
筐体１１の上面（天板）には操作部１２が設置されている。
操作部１２は、ユーザが各種入力を行う入力部である。
操作部１２には、例えば、輪郭検出装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、爪Ｔの輪郭検出の開始を指示する検出開始釦等、各種の入力を行うための操作釦が配置されている。

また、筐体１１の上面（天板）には表示部１３が設置されている。
表示部１３は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。
本実施形態において、この表示部１３には、例えば、指Ｕ１を撮影して得た爪画像（爪Ｔの画像を含む指画像）、この爪画像中に含まれる爪Ｔの輪郭線等の画像、各種の指示を表示させる指示画面等が適宜表示される。
なお、表示部１３の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合には、タッチパネルが操作部１２として機能する。

さらに、筐体１１の前面側（図１において手前側）には、輪郭検出装置１による撮影時に検出対象である爪Ｔに対応する指Ｕ１を挿入し、撮影部５０による撮影が可能な撮影可能位置にセットするための開口部１４が形成されている。
開口部１４の内側には、本実施形態における検出対象である爪Ｔ（爪Ｔを含む指Ｕ１）を固定する指固定部３が配置されている。

図２は、本実施形態の輪郭検出装置の要部構成を機能的に示した説明図である。
図２に示すように、指固定部３は装置手前側に開口部３１を有する箱状の部材であり、指固定部３内部には指Ｕ１を固定する指固定部材３２が配置されている。
指固定部材３２は、指Ｕ１を下側から押し上げ支持するものであり、例えば柔軟性を有する樹脂等で形成されている。
指固定部３の天面奥側は開口しており、この開口部分からは指固定部３内に挿入された指Ｕ１の爪Ｔが露出するようになっている。
また、指固定部３の天面手前側は指Ｕ１の浮き上がりを防止して指Ｕ１の上方向の位置を規制する指押え３４となっている。指Ｕ１及びその爪Ｔは、下側から指固定部材３２によって支持され、指Ｕ１の上側が指押え３４によって押さえられることで、高さ方向の位置が所定の位置に位置決めされる。
また、本実施形態では、指挿入方向の奥側には、爪Ｔを載置する爪載置部３５が設けられている。
この爪載置部３５に爪Ｔの先を載置させることにより、爪Ｔの水平方向（すなわち、Ｘ方向及びＹ方向）の位置が規定されるとともに、その高さ方向の位置も規制される。

筐体１１内であって、指固定部３内に指Ｕ１を挿入した際に爪Ｔが配置される位置の上方には、撮影部５０が配置されている。
撮影部５０は、撮影装置５１と、照明装置５２とを備えている。
撮影装置５１は、例えば、２００万画素程度以上の画素を有する固体撮像素子とレンズ等を備えて構成された小型カメラである。
照明装置５２は、例えば白色ＬＥＤ等の照明灯である。本実施形態では、撮影装置５１を囲むように複数の照明装置５２が配置されている。
なお、撮影装置５１及び照明装置５２の位置は図示例に限定されない。例えば、撮影部５０の撮影装置５１及び照明装置５２は、爪Ｔの上方位置に固定配置されていてもよいし、撮影部５０が移動手段によって移動可能に構成されている場合には、爪Ｔの上方位置に移動することが可能となっていればよい。

撮影部５０は、検出対象である爪Ｔを撮影して、検出対象（爪Ｔ）の輪郭を含む検出対象画像（すなわち、爪Ｔを含む指Ｕ１の画像である爪画像）を取得する撮影手段である。本実施形態では、爪Ｔを爪載置部３５により位置決めした状態で撮影部５０による撮影が行われる。

この撮影部５０は、後述する制御装置８０の撮影制御部８１１に接続され、該撮影制御部８１１によって制御されるようになっている。
なお、撮影部５０によって撮影された画像の画像データは、後述する記憶部８２等に記憶されてもよい。

また、図２に示すように、本実施形態の輪郭検出装置１は、制御装置８０を備えている。
制御装置８０は、例えば筐体１１の天面の下面側等に配置された図示しない基板等に設置されている。
制御装置８０は、図示しないＣＰＵ（Central Processing Unit）により構成される制御部８１と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等（いずれも図示せず）で構成される記憶部８２とを備えるコンピュータである。

記憶部８２には、輪郭検出装置１を動作させるための各種プログラム等が格納されているプログラム記憶領域８２０が設けられている。
本実施形態において、プログラム記憶領域８２０には、例えば識別器Ｃを生成する識別器生成プログラムや輪郭らしさの評価値を算出する評価値算出プログラム、検出対象の輪郭を検出するための輪郭検出プログラム等が格納されている。
また、本実施形態において記憶部８２には、評価値算出部８１７が各点の評価値を算出するために用いる識別器Ｃを生成するために用いる識別器生成情報記憶領域８２１、生成された識別器Ｃ（本実施形態では、識別器Ｃ１～Ｃ３）を記憶する識別器記憶領域８２２、輪郭検出部８１６により検出された爪Ｔの輪郭の情報が記憶される輪郭情報記憶領域８２３等が設けられている。

制御部８１は、機能的に見た場合、撮影制御部８１１、識別器生成部８１３、輪郭検出部８１６、評価値算出部８１７等を備えている。これら撮影制御部８１１、識別器生成部８１３、輪郭検出部８１６、評価値算出部８１７等としての機能は、制御部８１のＣＰＵと記憶部８２のプログラム記憶領域８２０に記憶されたプログラムとの協働によって実現される。

撮影制御部８１１は、撮影部５０の撮影装置５１及び照明装置５２を制御して撮影装置５１により、指固定部３に位置決めされた検出対象としての爪Ｔの画像を含む指Ｕ１の画像（検出対象画像である爪画像）を撮影させるものである。

識別器生成部８１３は、任意の点について、その「輪郭らしさ」、すなわち、検出対象（本実施形態では爪Ｔ）の輪郭ＴＬを構成するものであるか否かを評価する識別器Ｃを生成する。
識別器生成部８１３は、学習対象（本実施形態では爪）の輪郭ＴＬを含む学習用のサンプル画像Ｓ（図３参照）を複数取得して、この複数の学習用のサンプル画像Ｓを用いて学習を行い、この学習の結果としての識別器Ｃを生成する。
ここで、学習方法は特に限定されないが、例えばサポートベクターマシン（support vector machine, ＳＶＭ）等の教師あり学習によることができる。
教師あり学習では、全ての学習用のサンプル画像Ｓについて、事前に人が正解である検出対象（本実施形態では爪Ｔ）の輪郭ＴＬを入力し、サンプル画像Ｓと正解輪郭ＴＬとが対応付けられる。そして、輪郭（正解輪郭）ＴＬ上に位置する輪郭点（当該点の座標データ）には正例、輪郭（正解輪郭）ＴＬ以外の部分に位置する非輪郭点（当該点の座標データ）には負例のクラスラベルを付与して２クラスに分類し、この学習用のサンプル画像Ｓの正例群と負例群とからなる学習データ群を、学習サンプルとして識別器生成情報記憶領域８２１に記憶させておく。
そして、サンプル画像Ｓから任意に選択した点についてサンプル画像Ｓから算出（抽出）した特徴量を識別器に入力して正例又は負例に識別させることで識別器の学習を行う。

図３は、学習用のサンプル画像の一例を示すものであり、図４は、図３において一点鎖線で囲んだ領域IVを拡大して示したものである。
本実施形態では、識別器生成部８１３は、学習対象（本実施形態では爪）の輪郭ＴＬを特徴の異なる領域ごとに分割し、当該分割した領域ごとに輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習を行い、当該分割した領域ごとの識別器Ｃを生成する。
すなわち、図３に示す例では、爪Ｔの輪郭ＴＬを、その上部（すなわち、爪先部分）である領域Ａ１、側部（すなわち、爪Ｔの両爪溝部分）である領域Ａ２、下部（すなわち、爪Ｔの生え際部分）である領域Ａ３に分割して、それぞれの領域Ａ１～Ａ３について識別器Ｃを生成する。
なお、以下において、爪Ｔの輪郭ＴＬの上部である領域Ａ１についての識別器を識別器Ｃ１とし、爪Ｔの輪郭ＴＬの側部である領域Ａ２についての識別器を識別器Ｃ２とし、爪Ｔの輪郭ＴＬの下部である領域Ａ３についての識別器を識別器Ｃ３とする。

ここで、識別器生成部８１３による識別器Ｃの生成処理について詳細に説明する。
本実施形態において、識別器生成部８１３は、点選択部８１４、特徴量算出部８１５を備えている。
点選択部８１４は、学習対象である爪Ｔの輪郭ＴＬを含む学習用のサンプル画像Ｓ（図３参照）から、輪郭ＴＬ上に位置する任意の輪郭点Ｔｄ、及び輪郭ＴＬ以外の部分に位置する任意の非輪郭点Ｔｎ（図４参照）をそれぞれ選択する。なお、輪郭点Ｔｄ及び非輪郭点Ｔｎの選択は、領域Ａ１～Ａ３ごとにそれぞれ行う。

本実施形態では、点選択部８１４は、非輪郭点Ｔｎを選択する際、サンプル画像Ｓの全体からランダムに選択するのではなく、輪郭ＴＬから所定範囲内の領域からそれ以外の領域よりも多くの非輪郭点Ｔｎが採用されるように選択する。
図４では、「輪郭ＴＬから所定範囲内の領域」を、輪郭ＴＬから距離Ｄだけ離間した範囲内（図４において破線で画する範囲内）とし、この領域内の非輪郭点Ｔｎ（図４において非輪郭点Ｔｎｉ）がそれ以外の領域（すなわち、図４において破線で画する範囲の外側の領域）の非輪郭点Ｔｎ（図４において非輪郭点Ｔｎｏ）よりも多く採用されている例を示している。

具体的には、予め距離Ｄを閾値として記憶部８２等に記憶させておき、点選択部８１４は、任意の点を選択する際に、当該点が輪郭ＴＬから距離Ｄ以内に含まれるものであるか否かを判断する。また、輪郭ＴＬから所定範囲内の領域内の非輪郭点Ｔｎｉと当該領域外の非輪郭点Ｔｎｏとの割合（例えば８対２等）についても予め記憶部８２等に記憶させておき、点選択部８１４は、任意の点を選択する際に、所定の割合に達するまで輪郭ＴＬから所定範囲内の領域内の非輪郭点Ｔｎｉを選択するようにする。
なお、「輪郭ＴＬから所定範囲内の領域」をどの程度の範囲とするか（距離Ｄをどの程度に設定するか）は、特に限定されず、適宜設定される事項である。
また、「輪郭ＴＬから所定範囲内の領域」の非輪郭点Ｔｎｉをそれ以外の領域の非輪郭点Ｔｎｏよりもどの程度多く採用するかについても、特に限定されず、適宜設定される。なお、点選択部８１４が選択する任意の点を全て輪郭ＴＬから所定範囲内の領域内の非輪郭点Ｔｎｉとしてもよい。
なお、「輪郭ＴＬから所定範囲内の領域」以外の領域から非輪郭点Ｔｎ（Ｔｎｏ）を選択する場合にも、画像全体からランダムに選択するのではなく、輪郭ＴＬから離れ過ぎないように一定の限界を設けておくことが好ましい。
また、点選択部８１４が選択する輪郭点Ｔｄ及び非輪郭点Ｔｎの数、両者の割合等についても、識別器Ｃの生成処理に掛ける時間や、識別器Ｃに要求される精度等に応じて任意に設定可能である。

特徴量算出部８１５は、点選択部８１４によって選択された輪郭点Ｔｄ及び非輪郭点Ｔｎについてそれぞれ特徴量を算出する。
特徴量として、本実施形態では、ＨＯＧ（Histograms of Oriented Gradients）を使用する。ＨＯＧとは局所領域（セル）における輝度の勾配方向をヒストグラム化した特徴量である。
ＨＯＧ特徴量を算出するためには、画像（サンプル画像Ｓ）から輝度勾配を算出し、算出された勾配強度と勾配方向から輝度の勾配方向ヒストグラムを作成して正規化を行う。
なお、特徴量として何を使用するかは特に限定されず、ＨＯＧ以外にも例えばＳＩＦＴ（Scale Invariant Feature Transform）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）等の局所特徴量を用いてもよい。

領域Ａ１～Ａ３についてそれぞれ点選択部８１４による輪郭点Ｔｄ及び非輪郭点Ｔｎの選択を行い、選択された各輪郭点Ｔｄ及び非輪郭点Ｔｎについて特徴量算出部８１５に特徴量が算出されると、識別器生成部８１３は、上部の領域Ａ１における輪郭ＴＬ上に位置する点（輪郭点Ｔｄ）の特徴量を正例、輪郭ＴＬ以外の部分に位置する点（非輪郭点Ｔｎ）の特徴量を負例として学習し、識別器Ｃ１を得る。同様に、側部の領域Ａ２における輪郭ＴＬ上に位置する点（輪郭点Ｔｄ）の特徴量を正例、輪郭ＴＬ以外の部分に位置する点（非輪郭点Ｔｎ）の特徴量を負例として学習し、識別器Ｃ２を得る。また、下部の領域Ａ３における輪郭ＴＬ上に位置する点（輪郭点Ｔｄ）の特徴量を正例、輪郭ＴＬ以外の部分に位置する点（非輪郭点Ｔｎ）の特徴量を負例として学習し、識別器Ｃ３を得る。
このようにして、識別器生成部８１３は、領域Ａ１～Ａ３ごとの識別器Ｃ１～Ｃ３を生成する。

輪郭検出部８１６は、検出対象である爪Ｔの輪郭を含む検出対象画像から検出対象（本実施形態では爪Ｔ）の輪郭を検出する。
本実施形態において、検出対象はユーザが指固定部３内に挿入した指Ｕ１の爪Ｔであり、これを撮影部５０によって撮影することで検出対象画像が取得される。
本実施形態において、輪郭検出部８１６は、例えばＥＳＲ（Explicit Shape Regression）の手法を用いて、検出対象画像から検出対象である爪Ｔの輪郭の検出を行う。

ＥＳＲは、重心の周囲に特徴点が配置された初期形状（形状モデル）を生成し、これと検出対象を含む画像とのフィッティングを行うものである。例えば「ＸｕｄｏｎｇＣａｏ，Ｙｉｃｈｅｎ Ｗｅｉ， Ｆａｎｇ Ｗｅｎ， Ｊｉａｎ Ｓｕｎ “Ｆａｃｅ ａｌｉｇｎｍｅｎｔ ｂｙ Ｅｘｐｌｉｃｉｔ Ｓｈａｐｅ Ｒｅｇｒｅｓｓｉｏｎ．”ＣＶＰＲ ２０１２：２８８７－２８９４．」等に紹介されているように、ＥＳＲを用いた輪郭検出では、２段階の弱リグレッサー（弱識別器）を組み合わせて適用し、初期形状（形状モデル）を徐々に正解位置である検出対象の輪郭に向かって収束させていくという回帰問題として輪郭検出を行う。
本実施形態では、輪郭検出部８１６は、例えば初期形状を配置する初期位置をずらしながら複数回輪郭検出処理を行い、ｎ回分の検出結果を取得する。
なお、輪郭検出処理を行う回数は特に限定されず、輪郭検出処理に掛ける時間等を考慮しながら適宜設定される。輪郭検出処理を１回しか行わないものとしてもよい。
また、複数回輪郭検出処理を行う場合、各処理毎に何らかの条件を変えて検出結果にばらつきを生じさせることが好ましい。この場合に、各処理毎に変える条件は、上記の初期形状を配置する初期位置に限定されず、例えば検出に関わるパラメータや乱数等を変更するようにしてもよい。

なお、ＥＳＲのように回帰問題として輪郭検出を行う手法は、形状モデルをフィッティングさせて輪郭検出を行うＡＡＭ等の手法と比較してロバスト性に優れるため、初期形状としてどのようなものを用いるかや、初期形状を配置する初期位置をそれほど厳密に設定しなくても検出結果の精度への影響が少ない。
このため、例えば、入力された検出対象画像が太い指の爪の画像であったり細く小さな指の爪の画像であったりというように大きくばらつきがあるような場合でも、共通の初期形状を適用して輪郭検出を行うことができる。
ただ、ＥＳＲのようなアルゴリズムを用いた輪郭検出では、検出結果の信頼度を評価する指標がない。このため、輪郭として検出された点がどの程度輪郭らしさを有しているか、別途評価値を得ることが望まれる。
本実施形態の輪郭検出装置１は、ＥＳＲ等のアルゴリズムを用いた輪郭検出の検出結果に対して評価値を算出するものであり、上記のような要望に応えるものである。

評価値算出部８１７は、検出対象（本実施形態では爪Ｔ）の輪郭を含む検出対象画像内の任意の点について、識別器生成部８１３において生成された識別器Ｃ（Ｃ１～Ｃ３）を用いて輪郭らしさの評価値を算出する。
本実施形態では、上記のように、輪郭検出部８１６により検出対象（本実施形態では爪Ｔ）の輪郭検出が行われるようになっており、評価値算出部８１７は、輪郭検出部８１６により検出された輪郭上の任意の点について、識別器Ｃ１～Ｃ３を用いて輪郭らしさの評価値を算出する。
なお、評価値算出部８１７による評価値の算出は、輪郭検出部８１６により検出された輪郭上の全ての点について行われてもよいし、ランダムに又は所定の数置き等に選択された点について行われてもよい。ただ、評価対象となる点をランダムに選択する場合でも、各点は、輪郭上の各領域Ａ１～Ａ３（図３参照）のそれぞれからできるだけ偏りなく選択されることが好ましい。
輪郭検出部８１６により輪郭上の点であると検出された点のうち、いくつの点について評価対象とするかは特に限定されず、点の数や、評価値の算出処理にかかる時間等を考慮して任意に設定される。なお、より多くの点を評価対象とした方がより正確に評価値を算出することが期待でき、好ましい。

ここで、評価値算出部８１７による評価値の算出処理について詳細に説明する。
まず、評価値算出部８１７は、輪郭検出部８１６により検出された輪郭上の各点（全ての点について評価対象とする場合には輪郭上の全ての点、一部の点を選択して評価対象とする場合には、選択された点）についてそれぞれ特徴量ｆを算出する。
そして、各点ごとに、まず識別器Ｃ１を使用し、算出された特徴量ｆから当該点について輪郭らしさを表す評価値ｖ１を出力する。次に、各点ごとに、識別器Ｃ２を使用し、算出された特徴量ｆから当該点について輪郭らしさを表す評価値ｖ２を出力する。さらに、各点ごとに、識別器Ｃ３を使用し、算出された特徴量ｆから当該点について輪郭らしさを表す評価値ｖ３を出力する。
そして、各点について得られた評価値ｖ１、ｖ２、ｖ３のうち、最大の値を当該点の評価値ｖｍとする。
輪郭検出部８１６により検出された輪郭上の各点（全ての点について評価対象とする場合には輪郭上の全ての点、一部の点を選択して評価対象とする場合には、選択された点）についてそれぞれ評価値ｖｍを得ると、評価値算出部８１７は、これら各点で得られた評価値の平均を計算し、輪郭検出部８１６により検出された輪郭の評価値とする。
例えば、輪郭検出部８１６により輪郭上の点であると検出された点のうちｎ個を評価対象とした場合、ｖｍ１～ｖｍｎのｎ個の評価値ｖｍが得られ、これを全て足し合わせてｎ個で除したものが当該輪郭の評価値となる。

次に、図５及び図６を参照しつつ、本実施形態における輪郭検出装置１による識別器生成処理及び輪郭検出処理について説明する。

まず、識別器生成処理では、図５に示すように、識別器生成部８１３は、学習対象（本実施形態では爪）の輪郭ＴＬを含む学習用のサンプル画像Ｓ（図３参照）を複数取得する（ステップＳ１）。
そして、学習対象（本実施形態では爪）の輪郭ＴＬを特徴の異なる領域ごとに分割する。前述のように、本実施形態では、領域Ａ１～Ａ３に分割する（ステップＳ２）。
そして、点選択部８１４は、当該分割された領域Ａ１～Ａ３ごとに輪郭上の点である輪郭点Ｔｄを複数選択し（ステップＳ３）、選択された各点（輪郭点Ｔｄ）について、特徴
量算出部８１５がそれぞれ特徴量を算出する（ステップＳ４）。
また、点選択部８１４は、分割された領域Ａ１～Ａ３ごとに輪郭以外の部分の点である非輪郭点Ｔｎを複数選択し（ステップＳ５）、選択された各点（非輪郭点Ｔｎ）について、特徴量算出部８１５がそれぞれ特徴量を算出する（ステップＳ６）。

識別器生成部８１３は、全ての学習用のサンプル画像Ｓについて輪郭点Ｔｄ及び非輪郭点Ｔｎの選択、各点の特徴量の算出が終了したか否かを判断し（ステップＳ７）、まだ処理が終了していないサンプル画像Ｓがある場合（ステップＳ７；ＮＯ）には、ステップＳ２に戻って処理を繰り返す。
他方、全ての学習用のサンプル画像Ｓについて処理が終了した場合（ステップＳ７；ＹＥＳ）には、まず領域Ａ１に属する輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習を行い、識別器Ｃ１を生成する（ステップＳ８）。次に、領域Ａ２に属する輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習を行い、識別器Ｃ２を生成する（ステップＳ９）。さらに、領域Ａ３に属する輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習を行い、識別器Ｃ３を生成する（ステップＳ１０）。
これにより、識別器生成部８１３は、領域Ａ１～Ａ３ごとの識別器Ｃ１～Ｃ３を生成し、識別器生成処理が終了する。
識別器生成部８１３により生成された識別器Ｃ（Ｃ１～Ｃ３）は、記憶部８２の識別器記憶領域８２２に記憶される。

次に、輪郭検出処理では、図６に示すように、検出対象である爪Ｔの輪郭を含む検出対象画像（爪画像）が入力されると（ステップＳ２１）、輪郭検出部８１６は、例えばＥＳＲ等の手法を用いて、初期形状を配置する初期位置をずらしながら複数回（ｎ回）の輪郭検出処理を行い、ｎ回分の輪郭検出結果を取得する（ステップＳ２２）。
輪郭検出結果が取得されると、評価値算出部８１７は、まず１回目の輪郭検出処理において輪郭検出部８１６により輪郭上の点であると検出されたいずれかの点を選択する（ステップＳ２３）。そして、選択された点について特徴量を算出し（ステップＳ２４）、算出された特徴量について識別器Ｃ１～Ｃ３によりそれぞれ輪郭らしさの評価値を算出する（ステップＳ２５）。
そして、識別器Ｃ１～Ｃ３により算出された評価値のうち、最大値を当該点の評価値とする（ステップＳ２６）。
例えば評価値が、「１」に近いほど高く、「０」に近いほど低い場合、識別器Ｃ１～Ｃ３により算出された評価値のうち、最も「１」に近い値となったものを当該点の評価値として採用する。

評価値算出部８１７は、輪郭検出部８１６により輪郭上の点であると検出された点のうち、所定数（全ての点を評価対象とする場合には全て、所定数に限定して評価を行う場合には当該所定数）の点について評価が終了したか否かを判断し（ステップＳ２７）、所定数に達していないと判断する場合（ステップＳ２７；ＮＯ）には、評価対象となる次の点を選択し（ステップＳ２８）、ステップＳ２４～ステップＳ２７の処理を繰り返す。
他方、所定数に達したと判断する場合（ステップＳ２７；ＹＥＳ）には、評価値算出部８１７は、各点について算出された評価値（すなわち、識別器Ｃ１～Ｃ３により算出された評価値のうちの最大値）の平均値を算出し（ステップＳ２９）、これを当該輪郭検出結果についての評価値とする。

評価値算出部８１７は、さらに、ｎ回分の輪郭検出結果全てについて評価値の算出が終了したか否かを判断し（ステップＳ３０）、ｎ回分の輪郭検出結果についてまだ評価が終了していないと判断する場合（ステップＳ３０；ＮＯ）には、次の輪郭検出処理において輪郭検出部８１６により輪郭上の点であると検出されたいずれかの点を選択し（ステップＳ３１）、ステップＳ２４～ステップＳ３０の処理を繰り返す。
他方、ｎ回分の輪郭検出結果について全て評価が終了したと判断する場合（ステップＳ３０；ＹＥＳ）には、ステップＳ２９で算出された評価値の平均値が最も高い回の輪郭検出結果を検出対象である爪Ｔの輪郭として採用する（ステップＳ３２）。
最終的に爪Ｔの輪郭として採用された検出結果（輪郭を構成する各点の座標値）は、検出対象であるユーザの爪Ｔの輪郭として、輪郭情報記憶領域８２３に記憶される。

なお、図６では、まず、輪郭検出部８１６によりｎ回分の輪郭検出結果を取得し（ステップＳ２２）、当該ｎ回分の輪郭検出結果について順次評価値算出部８１７による評価値の算出を行う場合を例示したが、輪郭検出処理の手順は、図６に示したものに限定されない。
例えば、輪郭検出部８１６により輪郭検出結果が取得されるとその都度当該輪郭検出結果についての評価値の算出を行ってもよい。この場合、例えば、評価値算出部８１７により算出された評価値が、輪郭としての信頼度が十分に高いと言える所定の閾値を超えた時点で輪郭検出部８１６による輪郭検出を終了するようにしてもよい。

本実施形態の輪郭検出装置１によって検出された爪Ｔの輪郭は、例えば、爪Ｔにネイルプリントを施す場合に、描画装置の描画対象領域として設定される。
また、検出結果としての爪Ｔの輪郭は、ネイルプリント以外にも自動的に爪Ｔの表面を整えるオート爪磨き等、各種ネイルケア等を行う場合の対象領域とすることができる。

以上のように、本実施形態によれば、輪郭検出装置１は、学習対象である爪Ｔの輪郭ＴＬを含む学習用のサンプル画像Ｓから、輪郭ＴＬ上に位置する任意の輪郭点Ｔｄ、及び輪郭ＴＬ以外の部分に位置する任意の非輪郭点Ｔｎをそれぞれ選択する点選択部８１４と、点選択部８１４によって選択された輪郭点Ｔｄ及び非輪郭点Ｔｎについてそれぞれ特徴量を算出する特徴量算出部８１５とを有し、特徴量算出部８１５により算出された輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習により、輪郭らしさを評価する識別器Ｃを生成する識別器生成部８１３と、検出対象である爪Ｔの輪郭を含む検出対象画像内の任意の点について、識別器Ｃを用いて輪郭らしさの評価値を算出する評価値算出部８１７と、を備えている。
このように、学習により高い信頼度を有する識別器Ｃを用いて検出対象である爪Ｔの輪郭検出結果の評価を行うことができるため、輪郭検出結果の信頼度を検証し、より信頼度の高い輪郭検出結果を用いて各種処理を高精度に行うことが可能となる。

また、本実施形態によれば、輪郭検出装置１は、輪郭として、爪Ｔの輪郭を検出する。爪Ｔは、爪Ｔと色合いや輝度が爪Ｔに比較的近い指Ｕ１と区別してその境界を検出しなければならないため、輪郭検出の難易度が高いが、このような爪Ｔの輪郭を検出する場合でも検出結果の信頼度を確かめることができるため、検出された爪Ｔの輪郭に基づいてネイルプリント等各種の処理を行う場合にも対象領域を精密に特定して高精度な処理を行うことができる。

また、本実施形態によれば、識別器生成部８１３は、学習対象の輪郭を特徴の異なる領域ごとに分割し、当該分割した領域ごとに輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習を行って、当該分割した領域ごとの識別器Ｃ（Ｃ１～Ｃ３）を生成する。
特に本実施形態の検出対象である爪Ｔの輪郭のように、輪郭部分の形状や状態等の特徴が爪先部分と生え際等のように領域によって大きく異なっている場合、各領域ごとに識別器Ｃ（Ｃ１～Ｃ３）を生成することで、輪郭検出結果についてより精度の高い評価を行うことが可能となる。

また、本実施形態によれば、点選択部８１４は、非輪郭点Ｔｎを選択する際、輪郭ＴＬから所定範囲内の領域からより多くの非輪郭点Ｔｎが採用されるように選択する。
学習において負例となる非輪郭点Ｔｎを、正例となる輪郭点Ｔｄと全く無関係な領域から選択するよりも、本実施形態のように、正例となる輪郭点Ｔｄの周辺から選択した方が、より識別力、分類力の高い高精度の識別器Ｃを生成することが可能となる。

また、本実施形態によれば、検出対象である爪Ｔの輪郭を含む検出対象画像を撮影部５０により取得して、輪郭検出部８１６が、この検出対象画像から検出対象の輪郭を検出する。そして、評価値算出部８１７は、輪郭検出部８１６により検出された輪郭上の任意の点について、識別器Ｃを用いて輪郭らしさの評価値を算出する。
このように、本実施形態では、輪郭検出部８１６により検出された検出結果について、さらに識別器による信頼性のチェックを行うことができ、より信頼性の高い高精度の輪郭検出を行うことができる。

さらに、本実施形態によれば、輪郭検出部８１６は、ＥＳＲの手法を用いて検出対象画像から検出対象である爪Ｔの輪郭を検出する。
ＥＳＲのように回帰問題として輪郭検出を行う手法は、形状モデルをフィッティングさせて輪郭検出を行うＡＡＭ等の手法と比較してロバスト性に優れるため、初期形状としてどのようなものを用いても検出結果の精度に大きく影響しない。このため、検出対象となる爪Ｔの種類（例えば親指等の太い指の大きな爪か、小指等の細い指の小さな爪か、大人の爪か、子供の爪か等）に応じて複数種類の初期形状を用意し使い分けるといった必要がなく、一つの初期形状を共通して適用することができる。
また、初期形状を配置する初期位置についても厳密な設定が要求されないため、比較的簡易に、高精度の輪郭検出結果を得ることができる。
ＥＳＲは、このような簡易かつ精度の高い検出手法である一方で、検出結果の信頼度について評価指標を得ることができない。この点、本実施形態のように、識別器Ｃを用いて検出結果の評価を行い評価値を求めるとすることで、複数の検出結果がある場合により信頼性の高い検出結果を採用することができるようになり、より正解に近い輪郭を自動的に検出することができる。

なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

例えば、本実施形態では、輪郭検出部８１６がＥＳＲの手法を用いて輪郭検出を行う場合を例示したが、輪郭検出部８１６が輪郭検出を行う手法はＥＳＲに限定されない。
例えば、輪郭検出部８１６による輪郭検出に、Random Forestのような、複数の決定木構造を持った多クラス識別器を構築する学習アルゴリズムを適用してもよい。Random Forestは、学習サンプルをランダムサンプリングすることにより複数のサブセットを作成し、各サブセットごとに決定木を構築し、複数の決定木の結果を統合することで識別を行う。そこで、アルゴリズムとしてRandom Forestを用いる場合には、例えば異なるサブセットによるトレーニング結果を使って複数回の輪郭検出処理を行う等により、複数回分の輪郭検出結果を得るようにする。そして、これら複数の検出結果に対して識別器Ｃを用いた評価を行い、最も評価値の高い検出結果を検出対象の輪郭として採用する。

また、輪郭検出部８１６は、例えば、ＡＡＭ（Active appearance model）、ＡＳＭ（Active Shape model）ＡＣＭ（Active Contour Model）等を用いて検出対象である爪Ｔの輪郭検出を行ってもよい。この場合には、本実施形態で示したＥＳＲを用いる場合と同様、初期形状を配置する位置を変化させながら複数回分の輪郭検出結果を得るようにする。
また、本実施形態では、複数回分の検出結果を得る場合に、同じアルゴリズムを用い、初期形状の配置位置等をずらす等により異なる検出結果を導出する例を示したが、例えば、異なるアルゴリズムを用いて、複数回分の検出結果を取得し、各手法による検出結果を識別器Ｃにより評価してもよい。

また、本実施形態では、検出対象が爪Ｔである場合を例示したが、輪郭検出装置１によって輪郭検出を行うことができる検出対象は爪Ｔに限定されない。
例えば、ネイルチップやアクセサリ等の輪郭を検出対象としてもよい。
顔の輪郭や目・鼻・口等の顔のパーツの輪郭等を検出対象としてもよい。
ネイルチップ等の輪郭検出や顔パーツの輪郭検出等の場合にも、輪郭検出結果に評価値を付してその信頼度を評価することができるため、より信頼度の高い検出結果を採用して、これを用いた各種処理を行うことができる。

また、爪Ｔや顔の輪郭や顔のパーツの輪郭検出以外にも、画像に含まれる何らかのオブジェクトについて輪郭を検出するものについては、広くこの輪郭検出装置１を適用することができる。
例えば、カメラで撮影した人物や対象物（建物・乗り物等）を画像から切り抜いて他の画像に貼り付けたり、連写された対象物を画像から切り抜いて繋ぎ合わせ、動画のように構成する等、各種の加工を行う際にも各対象の輪郭を精密に検出する必要があるが、このように画像から特定のオブジェクトを切り抜く際にも、本輪郭検出装置１を適用することによって、より信頼度の高い検出結果を用いてその後の各種処理を行うことができる。

また、本実施形態では、識別器Ｃを生成する場合に、輪郭を上部、側部、下部の３つの領域に分けて各領域ごとに識別器Ｃを生成する場合を例示したが、領域分割の仕方はこれに限定されない。例えば、さらに細かく領域を分割して複数種類の識別器Ｃを生成してもよい。また、特に領域を分けずに輪郭全体について１つの識別器を生成してもよい。

また、本実施形態では、輪郭を複数の領域に分割して各領域ごとに識別器Ｃを生成した上で、評価値の算出に際しては、全ての識別器Ｃを用いて順次評価を行い、輪郭全体の評価値を算出する例を示したが、例えば、評価値の算出においても各領域ごとに、当該領域に対応する識別器Ｃを用いて行い、各領域ごとの評価値を算出してもよい。
このようにした場合には、各領域ごとに検出結果の信頼度を得ることができる。
このため、例えば、複数回輪郭検出を行った場合、いずれの検出結果においても信頼度が低い（すなわち、評価値の低い）領域がある場合に、当該領域を表示部１３等に表示させて、ユーザに確認を求めたり、手動による修正を行うことができるようにしてもよい。

以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
学習対象の輪郭を含む学習用のサンプル画像における輪郭点及び非輪郭点についてそれぞれ特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習により、輪郭らしさを評価する識別器を生成する識別器生成部と、
検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する評価値算出部と、
を備えている輪郭検出装置。
＜請求項２＞
前記識別器生成部は、前記学習対象の輪郭を特徴の異なる領域ごとに分割し、当該分割した領域ごとに前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習を行い、当該分割した領域ごとの前記識別器を生成する請求項１に記載の輪郭検出装置。
＜請求項３＞
前記輪郭は爪の輪郭であり、前記識別器生成部は、前記爪の輪郭を、爪先領域、爪溝領域、及び生え際領域に分割し、前記爪先領域、前記爪溝領域、及び前記生え際領域ごとに前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習を行い、前記爪先領域、前記爪溝領域、及び前記生え際領域ごとの前記識別器を生成する請求項２に記載の輪郭検出装置。
＜請求項４＞
前記識別器生成部は、輪郭点の特徴量を正例、非輪郭点の特徴量を負例として学習し、前記識別器を生成する請求項１から請求項３のいずれか一項に記載の輪郭検出装置。
＜請求項５＞
前記サンプル画像から、輪郭上に位置する任意の輪郭点及び輪郭以外の部分に位置する任意の非輪郭点をそれぞれ選択する点選択部を更に備え、
前記特徴量算出部は、前記点選択部によって選択された前記輪郭点及び非輪郭点についてそれぞれ特徴量を算出する請求項１から請求項４のいずれか一項に記載の輪郭検出装置。
＜請求項６＞
前記点選択部は、前記非輪郭点を選択する際、前記輪郭から所定範囲内の領域からそれ以外の領域よりも多くの前記非輪郭点が採用されるように選択する請求項５に記載の輪郭検出装置。
＜請求項７＞
検出対象の輪郭を含む検出対象画像を取得する撮影部と、
前記検出対象画像から前記検出対象の輪郭を検出する輪郭検出部と、
をさらに備え、
前記評価値算出部は、前記輪郭検出部により検出された前記輪郭上の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する請求項１から請求項６のいずれか一項に記載の輪郭検出装置。
＜請求項８＞
前記輪郭検出部は前記検出対象の輪郭を複数回検出し、
前記評価算出部は前記輪郭検出部により複数回検出された複数の輪郭それぞれについて評価値を算出し、
前記輪郭検出部は前記複数の輪郭のうち、前記評価算出部により算出された評価値が最大のものを前記検出対象の輪郭として採用する請求項７に記載の輪郭検出装置。
＜請求項９＞
前記輪郭検出部は、ＥＳＲの手法を用いて前記検出対象画像から前記検出対象の輪郭を検出する請求項７又は請求項８に記載の輪郭検出装置。
＜請求項１０＞
学習対象の輪郭を含む学習用のサンプル画像における輪郭点及び非輪郭点についてそれぞれ特徴量を算出する特徴量算出工程と、を含み、前記特徴量算出工程において算出された前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習により、輪郭らしさを評価する識別器を生成する識別器生成工程と、
検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する評価値算出工程と、
を含んでいる輪郭検出方法。

１ 輪郭検出装置
５０ 撮影部
８１ 制御部
８２ 記憶部
８１３ 識別器生成部
８１４ 点選択部
８１５ 特徴量算出部
８１６ 輪郭検出部
８１７ 評価値算出部
８２１ 識別器生成情報記憶領域
８２２ 識別器記憶領域
８２３ 輪郭情報記憶領域
Ｃ 識別器
Ｔ 爪
Ｕ１ 指

Claims (6)

1. 学習対象の輪郭を含む学習用のサンプル画像から、前記輪郭上に位置する輪郭点と、前記輪郭点とは異なる非輪郭点と、をそれぞれ複数選択する点選択部であって、前記輪郭点から第１の範囲内に位置する前記非輪郭点の数が、前記輪郭点から前記第１の範囲外に位置する前記非輪郭点の数よりも多くなるように、複数の前記非輪郭点を選択し、前記第１の範囲外で選択される前記非輪郭点を、前記第１の範囲よりも大きい第２の範囲内であって、予め設定された第２の範囲内で選択する点選択部と、
   前記点選択部により選択された前記輪郭点及び前記非輪郭点についてそれぞれの特徴量を導出する特徴量導出部と、
   前記特徴量導出部により導出された前記輪郭点の特徴量及び前記非輪郭点の特徴量を用いた学習により、輪郭らしさを評価する識別器を生成する識別器生成部と、
   検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を導出する評価値導出部と、
   を備えている輪郭検出装置。
2. 前記識別器生成部は、前記学習対象の輪郭を複数の領域に分割し、当該分割した領域ごとに前記輪郭点の特徴量及び前記非輪郭点の特徴量を用いた学習を行い、当該分割した領域ごとの前記識別器を生成する、請求項１に記載の輪郭検出装置。
3. 前記点選択部により選択される、前記第１の範囲内に位置する前記非輪郭点の数と、前記第１の範囲外に位置する前記非輪郭点の数と、の割合を設定する割合設定手段を更に備えた、請求項１または２に記載の輪郭検出装置。
4. 学習対象の輪郭を含む学習用のサンプル画像から選択された、前記輪郭上に位置する複数の輪郭点と、前記複数の輪郭点とは異なる複数の非輪郭点と、のそれぞれから導出された特徴量を用いた学習により生成された、輪郭らしさを評価する識別器を用いて、検出対象の輪郭を含む検出対象画像内の任意の点について輪郭らしさの評価値を導出する評価値導出部を備え、
   前記複数の非輪郭点は、前記複数の輪郭点から第１の範囲内に位置する前記非輪郭点の数が前記輪郭点から前記第１の範囲外に位置する前記非輪郭点の数よりも多くなるように、選択され、前記第１の範囲外で選択される前記非輪郭点は、前記第１の範囲よりも大きい第２の範囲内であって、予め設定された第２の範囲内で選択される、
   ことを特徴とする輪郭検出装置。
5. 学習対象の輪郭を含む学習用のサンプル画像から、前記輪郭上に位置する輪郭点と、前記輪郭点とは異なる非輪郭点と、をそれぞれ複数選択する点選択工程であって、前記輪郭点から第１の範囲内に位置する前記非輪郭点の数が、前記輪郭点から前記第１の範囲外に位置する前記非輪郭点の数よりも多くなるように、複数の前記非輪郭点を選択し、前記第１の範囲外で選択される前記非輪郭点を、前記第１の範囲よりも大きい第２の範囲内であって、予め設定された第２の範囲内で選択する点選択工程と、
   前記点選択工程において選択された前記輪郭点及び前記非輪郭点についてそれぞれ特徴量を導出する特徴量導出工程と、
   前記特徴量導出工程において導出された前記輪郭点の特徴量及び前記非輪郭点の特徴量を用いた学習により、輪郭らしさを評価する識別器を生成する識別器生成工程と、
   検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を導出する評価値導出工程と、
   を含む輪郭検出方法。
6. 学習対象の輪郭を含む学習用のサンプル画像から選択された、前記輪郭上に位置する複数の輪郭点と、前記複数の輪郭点とは異なる複数の非輪郭点と、のそれぞれから導出された特徴量を用いた学習により生成された、輪郭らしさを評価する識別器を用いて、検出対象の輪郭を含む検出対象画像内の任意の点について輪郭らしさの評価値を導出する評価値導出工程を備え、
   前記複数の非輪郭点は、前記複数の輪郭点から第１の範囲内に位置する前記非輪郭点の数が前記輪郭点から前記第１の範囲外に位置する前記非輪郭点の数よりも多くなるように、選択され、前記第１の範囲外で選択される前記非輪郭点は、前記第１の範囲よりも大きい第２の範囲内であって、予め設定された第２の範囲内で選択される、
   ことを特徴とする輪郭検出方法。

Images