JP7009864B2 - Contour detection device and contour detection method - Google Patents
Contour detection device and contour detection method Download PDFInfo
- Publication number
- JP7009864B2 JP7009864B2 JP2017179698A JP2017179698A JP7009864B2 JP 7009864 B2 JP7009864 B2 JP 7009864B2 JP 2017179698 A JP2017179698 A JP 2017179698A JP 2017179698 A JP2017179698 A JP 2017179698A JP 7009864 B2 JP7009864 B2 JP 7009864B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- detection
- point
- evaluation value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 246
- 238000011156 evaluation Methods 0.000 claims description 101
- 238000004364 calculation method Methods 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 55
- 210000000282 nail Anatomy 0.000 description 56
- 210000003811 finger Anatomy 0.000 description 34
- 210000000078 claw Anatomy 0.000 description 30
- 238000012545 processing Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 210000004905 finger nail Anatomy 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Description
本発明は、輪郭検出装置及び輪郭検出方法に関するものである。 The present invention relates to a contour detection device and a contour detection method.
従来、検出対象を撮影した画像から画像処理によって検出対象の輪郭を検出する手法が知られている。
例えば、特許文献１には、医用画像中の腫瘍領域の輪郭を決定するカメラで人物を撮影した場合に、輪郭検出の技術を用いることで、撮影画像から当該人物の顔の輪郭や、目、鼻、口等の各パーツの輪郭を検出する手法が開示されている。
こうした輪郭検出の技術は、顔や顔のパーツの輪郭を検出する場合に限定されず、爪の輪郭等、各種の輪郭検出を行う場合に用いることができる。
Conventionally, a method of detecting the contour of a detection target by image processing from an image of the detection target has been known.
For example, in
Such a contour detection technique is not limited to detecting the contour of a face or a facial part, and can be used to detect various contours such as the contour of a nail.
輪郭検出の技術としては、複数の学習用サンプルを集めて学習を行い、学習結果としての学習データを生成して、この学習データを用いて輪郭の検出を行う手法がある。
例えば、従来輪郭検出に用いられる手法として、ＡＡＭ（Active Appearance Model）やＡＳＭ（Active Shape Model）がある。これらの手法は、顔の輪郭や各パーツの輪郭の特徴点の配置を形状モデル（Shape Model）と呼ばれるモデルで表現する。そして、この形状モデルと検出対象を含む画像にフィッティングさせることで検出対象の輪郭検出を行う。
また、近時、ＥＳＲ（Explicit Shape Regression）と呼ばれるアルゴリズムにより検出対象の輪郭を検出する技術も知られている。
ＥＳＲでは、重心の周囲に特徴点が配置された形状モデル（初期形状）を生成し、これと検出対象の輪郭を含む画像とのフィッティングを行う。この際、ＥＳＲでは、２段階の弱リグレッサー（弱識別器）を組み合わせて適用し、形状モデル（初期形状）を徐々に正解位置である検出対象の輪郭に向かって収束させていくという回帰問題として輪郭検出を行う。
このようなアルゴリズムを用いることで、ユーザの手を煩わせることなく自動的に高精度な輪郭検出を行うことができる。
As a technique for contour detection, there is a method in which a plurality of learning samples are collected and learned, learning data as a learning result is generated, and contour detection is performed using the learning data.
For example, as a method conventionally used for contour detection, there are AAM (Active Appearance Model) and ASM (Active Shape Model). In these methods, the arrangement of the feature points of the contour of the face and the contour of each part is expressed by a model called a shape model. Then, the contour of the detection target is detected by fitting the shape model and the image including the detection target.
Recently, a technique of detecting the contour of a detection target by an algorithm called ESR (Explicit Shape Regression) is also known.
In ESR, a shape model (initial shape) in which feature points are arranged around the center of gravity is generated, and fitting is performed between this and an image including the contour of the detection target. At this time, in ESR, as a regression problem, a two-stage weak regressor (weak discriminator) is applied in combination, and the shape model (initial shape) is gradually converged toward the contour of the detection target, which is the correct position. Perform contour detection.
By using such an algorithm, highly accurate contour detection can be automatically performed without bothering the user.
上記のような輪郭検出の技術を用いる場合、複数回輪郭検出処理を行い、そのうち評価（信頼度）の高い検出結果を採用することで、より精度のよい検出結果を用いてその後の各種処理を行うことが可能となる。
しかしながら、輪郭を検出する手法の中には、例えばＥＳＲ等のように検出した輪郭に対する信頼度を評価する指標を持たないものがある。
この場合、検出結果に対する信頼度が分からないため、仮に複数回の検出処理を行って複数回分の検出結果を取得した場合でも、そのうち評価（信頼度）の高い検出結果を選んで採用するといったことができず、複数回分の検出結果の平均値を採用する等の対応をするしかないとの問題がある。
また、輪郭検出を行う場合に、検出結果に対する信頼度を評価する指標を持つ手法を用いる場合でも、より精密に評価を行い、検出結果の信頼度を検証したいという場合も存する。
When the above contour detection technology is used, contour detection processing is performed multiple times, and by adopting the detection result with high evaluation (reliability), various subsequent processing is performed using the more accurate detection result. It will be possible to do.
However, some methods for detecting contours, such as ESR, do not have an index for evaluating the reliability of the detected contour.
In this case, since the reliability of the detection result is unknown, even if the detection process for multiple times is performed and the detection results for multiple times are obtained, the detection result with high evaluation (reliability) is selected and adopted. There is a problem that there is no choice but to take measures such as adopting the average value of the detection results for multiple times.
Further, when performing contour detection, even when a method having an index for evaluating the reliability of the detection result is used, there is a case where it is desired to perform the evaluation more precisely and verify the reliability of the detection result.
本発明は以上のような事情に鑑みてなされたものであり、画像から検出対象の輪郭を自動で検出する場合に、検出された輪郭の輪郭らしさを評価することのできる輪郭検出装置及び輪郭検出方法を提供することを利点とするものである。 The present invention has been made in view of the above circumstances, and is a contour detection device and contour detection capable of evaluating the contour-likeness of the detected contour when the contour of the detection target is automatically detected from the image. It is an advantage to provide a method.
前記課題を解決するために、本発明の輪郭検出装置は、
学習対象の輪郭を含む学習用のサンプル画像における輪郭点及び非輪郭点についてそれぞれ特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習により、輪郭らしさを評価する識別器を生成する識別器生成部と、
検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する評価値算出部と、
を備え、
前記識別器生成部は、前記学習対象の輪郭を、当該輪郭の形状に応じた複数の領域に分割し、当該分割した領域ごとに前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習を行い、当該分割した領域ごとの前記識別器を生成することを特徴としている。
また、本発明の輪郭検出方法は、
学習対象の輪郭を含む学習用のサンプル画像における輪郭点及び非輪郭点についてそれぞれ特徴量を算出する特徴量算出工程を含み、前記特徴量算出工程において算出された前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習により、輪郭らしさを評価する識別器を生成する識別器生成工程と、
検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する評価値算出工程と、
を含み、
前記識別器生成工程において、前記学習対象の輪郭を、当該輪郭の形状に応じた複数の領域に分割し、当該分割した領域ごとに前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習を行い、当該分割した領域ごとの前記識別器を生成することを特徴としている。
In order to solve the above problems, the contour detection device of the present invention is used.
A feature amount calculation unit that calculates the feature amount for each of the contour points and non-contour points in the sample image for learning including the contour of the learning target, and
A classifier generator that generates a classifier that evaluates contour-likeness by learning using the feature amounts of the contour points and non-contour points calculated by the feature amount calculation unit.
An evaluation value calculation unit that calculates an evaluation value of contour-likeness using the classifier for any point in the detection target image including the contour of the detection target.
Equipped with
The classifier generation unit divides the contour of the learning target into a plurality of regions according to the shape of the contour, and learns using the feature quantities of the contour points and the non-contour points for each of the divided regions. It is characterized in that the classifier is generated for each of the divided regions .
Moreover, the contour detection method of the present invention
The feature amount calculation step of calculating the feature amount for each of the contour point and the non-contour point in the sample image for learning including the contour of the learning target is included, and the contour point and the non-contour point calculated in the feature amount calculation step are included. A discriminator generation step of generating a discriminator for evaluating contour-likeness by learning using the feature amount, and
An evaluation value calculation step of calculating an evaluation value of contour-likeness using the classifier for any point in the detection target image including the contour of the detection target, and an evaluation value calculation step.
Including
In the classifier generation step, the contour of the learning target is divided into a plurality of regions according to the shape of the contour, and learning using the feature quantities of the contour points and the non-contour points for each divided region. It is characterized in that the classifier is generated for each of the divided regions.
本発明によれば、画像から検出対象の輪郭を自動で検出する場合に、検出された輪郭の輪郭らしさを評価することができる。 According to the present invention, when the contour of the detection target is automatically detected from the image, the contour-likeness of the detected contour can be evaluated.
図１から図６を参照しつつ、本発明に係る輪郭検出装置の一実施形態について説明する。
なお、以下の本実施形態では、輪郭の検出を行う対象である検出対象が指の爪である場合を例として説明する。
以下においては、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
An embodiment of the contour detection device according to the present invention will be described with reference to FIGS. 1 to 6.
In the following embodiment, a case where the detection target for detecting the contour is a fingernail will be described as an example.
In the following, various technically preferable limitations are given for carrying out the present invention, but the scope of the present invention is not limited to the following embodiments and illustrated examples.
図１は、本実施形態における輪郭検出装置の外観を示す斜視図である。
図１に示すように、本実施形態における輪郭検出装置１は、ほぼ箱形に形成された筐体１１を有している。
筐体１１の上面（天板）には操作部１２が設置されている。
操作部１２は、ユーザが各種入力を行う入力部である。
操作部１２には、例えば、輪郭検出装置１の電源をＯＮする電源スイッチ釦、動作を停止させる停止スイッチ釦、爪Ｔの輪郭検出の開始を指示する検出開始釦等、各種の入力を行うための操作釦が配置されている。
FIG. 1 is a perspective view showing the appearance of the contour detection device according to the present embodiment.
As shown in FIG. 1, the
An
The
In order to input various inputs to the
また、筐体１１の上面（天板）には表示部１３が設置されている。
表示部１３は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。
本実施形態において、この表示部１３には、例えば、指Ｕ１を撮影して得た爪画像（爪Ｔの画像を含む指画像）、この爪画像中に含まれる爪Ｔの輪郭線等の画像、各種の指示を表示させる指示画面等が適宜表示される。
なお、表示部１３の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合には、タッチパネルが操作部１２として機能する。
Further, a
The
In the present embodiment, the
A touch panel for performing various inputs may be integrally configured on the surface of the
さらに、筐体１１の前面側（図１において手前側）には、輪郭検出装置１による撮影時に検出対象である爪Ｔに対応する指Ｕ１を挿入し、撮影部５０による撮影が可能な撮影可能位置にセットするための開口部１４が形成されている。
開口部１４の内側には、本実施形態における検出対象である爪Ｔ（爪Ｔを含む指Ｕ１）を固定する指固定部３が配置されている。
Further, on the front side (front side in FIG. 1) of the
Inside the opening 14, a
図２は、本実施形態の輪郭検出装置の要部構成を機能的に示した説明図である。
図２に示すように、指固定部３は装置手前側に開口部３１を有する箱状の部材であり、指固定部３内部には指Ｕ１を固定する指固定部材３２が配置されている。
指固定部材３２は、指Ｕ１を下側から押し上げ支持するものであり、例えば柔軟性を有する樹脂等で形成されている。
指固定部３の天面奥側は開口しており、この開口部分からは指固定部３内に挿入された指Ｕ１の爪Ｔが露出するようになっている。
また、指固定部３の天面手前側は指Ｕ１の浮き上がりを防止して指Ｕ１の上方向の位置を規制する指押え３４となっている。指Ｕ１及びその爪Ｔは、下側から指固定部材３２によって支持され、指Ｕ１の上側が指押え３４によって押さえられることで、高さ方向の位置が所定の位置に位置決めされる。
また、本実施形態では、指挿入方向の奥側には、爪Ｔを載置する爪載置部３５が設けられている。
この爪載置部３５に爪Ｔの先を載置させることにより、爪Ｔの水平方向（すなわち、Ｘ方向及びＹ方向）の位置が規定されるとともに、その高さ方向の位置も規制される。
FIG. 2 is an explanatory diagram functionally showing a configuration of a main part of the contour detection device of the present embodiment.
As shown in FIG. 2, the
The
The back side of the top surface of the
Further, the front side of the top surface of the
Further, in the present embodiment, a
By mounting the tip of the claw T on the
筐体１１内であって、指固定部３内に指Ｕ１を挿入した際に爪Ｔが配置される位置の上方には、撮影部５０が配置されている。
撮影部５０は、撮影装置５１と、照明装置５２とを備えている。
撮影装置５１は、例えば、２００万画素程度以上の画素を有する固体撮像素子とレンズ等を備えて構成された小型カメラである。
照明装置５２は、例えば白色ＬＥＤ等の照明灯である。本実施形態では、撮影装置５１を囲むように複数の照明装置５２が配置されている。
なお、撮影装置５１及び照明装置５２の位置は図示例に限定されない。例えば、撮影部５０の撮影装置５１及び照明装置５２は、爪Ｔの上方位置に固定配置されていてもよいし、撮影部５０が移動手段によって移動可能に構成されている場合には、爪Ｔの上方位置に移動することが可能となっていればよい。
The photographing
The photographing
The photographing
The
The positions of the photographing
撮影部５０は、検出対象である爪Ｔを撮影して、検出対象（爪Ｔ）の輪郭を含む検出対象画像（すなわち、爪Ｔを含む指Ｕ１の画像である爪画像）を取得する撮影手段である。本実施形態では、爪Ｔを爪載置部３５により位置決めした状態で撮影部５０による撮影が行われる。
The photographing
この撮影部５０は、後述する制御装置８０の撮影制御部８１１に接続され、該撮影制御部８１１によって制御されるようになっている。
なお、撮影部５０によって撮影された画像の画像データは、後述する記憶部８２等に記憶されてもよい。
The
The image data of the image taken by the photographing
また、図２に示すように、本実施形態の輪郭検出装置１は、制御装置８０を備えている。
制御装置８０は、例えば筐体１１の天面の下面側等に配置された図示しない基板等に設置されている。
制御装置８０は、図示しないＣＰＵ（Central Processing Unit）により構成される制御部８１と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等（いずれも図示せず）で構成される記憶部８２とを備えるコンピュータである。
Further, as shown in FIG. 2, the
The
The
記憶部８２には、輪郭検出装置１を動作させるための各種プログラム等が格納されているプログラム記憶領域８２０が設けられている。
本実施形態において、プログラム記憶領域８２０には、例えば識別器Ｃを生成する識別器生成プログラムや輪郭らしさの評価値を算出する評価値算出プログラム、検出対象の輪郭を検出するための輪郭検出プログラム等が格納されている。
また、本実施形態において記憶部８２には、評価値算出部８１７が各点の評価値を算出するために用いる識別器Ｃを生成するために用いる識別器生成情報記憶領域８２１、生成された識別器Ｃ（本実施形態では、識別器Ｃ１～Ｃ３）を記憶する識別器記憶領域８２２、輪郭検出部８１６により検出された爪Ｔの輪郭の情報が記憶される輪郭情報記憶領域８２３等が設けられている。
The
In the present embodiment, the
Further, in the
制御部８１は、機能的に見た場合、撮影制御部８１１、識別器生成部８１３、輪郭検出部８１６、評価値算出部８１７等を備えている。これら撮影制御部８１１、識別器生成部８１３、輪郭検出部８１６、評価値算出部８１７等としての機能は、制御部８１のＣＰＵと記憶部８２のプログラム記憶領域８２０に記憶されたプログラムとの協働によって実現される。
From a functional point of view, the
撮影制御部８１１は、撮影部５０の撮影装置５１及び照明装置５２を制御して撮影装置５１により、指固定部３に位置決めされた検出対象としての爪Ｔの画像を含む指Ｕ１の画像（検出対象画像である爪画像）を撮影させるものである。
The photographing
識別器生成部８１３は、任意の点について、その「輪郭らしさ」、すなわち、検出対象（本実施形態では爪Ｔ）の輪郭ＴＬを構成するものであるか否かを評価する識別器Ｃを生成する。
識別器生成部８１３は、学習対象（本実施形態では爪）の輪郭ＴＬを含む学習用のサンプル画像Ｓ（図３参照）を複数取得して、この複数の学習用のサンプル画像Ｓを用いて学習を行い、この学習の結果としての識別器Ｃを生成する。
ここで、学習方法は特に限定されないが、例えばサポートベクターマシン（support vector machine, ＳＶＭ）等の教師あり学習によることができる。
教師あり学習では、全ての学習用のサンプル画像Ｓについて、事前に人が正解である検出対象（本実施形態では爪Ｔ）の輪郭ＴＬを入力し、サンプル画像Ｓと正解輪郭ＴＬとが対応付けられる。そして、輪郭（正解輪郭）ＴＬ上に位置する輪郭点（当該点の座標データ）には正例、輪郭（正解輪郭）ＴＬ以外の部分に位置する非輪郭点（当該点の座標データ）には負例のクラスラベルを付与して２クラスに分類し、この学習用のサンプル画像Ｓの正例群と負例群とからなる学習データ群を、学習サンプルとして識別器生成情報記憶領域８２１に記憶させておく。
そして、サンプル画像Ｓから任意に選択した点についてサンプル画像Ｓから算出（抽出）した特徴量を識別器に入力して正例又は負例に識別させることで識別器の学習を行う。
The
The
Here, the learning method is not particularly limited, but for example, supervised learning such as a support vector machine (SVM) can be used.
In supervised learning, the contour TL of the detection target (claw T in this embodiment) for which a person has the correct answer is input in advance for all the sample images S for learning, and the sample image S and the correct contour TL are associated with each other. Be done. Then, the contour point (coordinate data of the point) located on the contour (correct contour) TL is a correct example, and the non-contour point (coordinate data of the point) located in the portion other than the contour (correct contour) TL is. A class label of a negative example is given to classify the class into two classes, and a learning data group consisting of a positive example group and a negative example group of the sample image S for learning is stored in the classifier generation
Then, the feature amount calculated (extracted) from the sample image S for the points arbitrarily selected from the sample image S is input to the classifier to discriminate between positive and negative examples, thereby learning the classifier.
図３は、学習用のサンプル画像の一例を示すものであり、図４は、図３において一点鎖線で囲んだ領域IVを拡大して示したものである。
本実施形態では、識別器生成部８１３は、学習対象（本実施形態では爪）の輪郭ＴＬを特徴の異なる領域ごとに分割し、当該分割した領域ごとに輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習を行い、当該分割した領域ごとの識別器Ｃを生成する。
すなわち、図３に示す例では、爪Ｔの輪郭ＴＬを、その上部（すなわち、爪先部分）である領域Ａ１、側部（すなわち、爪Ｔの両爪溝部分）である領域Ａ２、下部（すなわち、爪Ｔの生え際部分）である領域Ａ３に分割して、それぞれの領域Ａ１～Ａ３について識別器Ｃを生成する。
なお、以下において、爪Ｔの輪郭ＴＬの上部である領域Ａ１についての識別器を識別器Ｃ１とし、爪Ｔの輪郭ＴＬの側部である領域Ａ２についての識別器を識別器Ｃ２とし、爪Ｔの輪郭ＴＬの下部である領域Ａ３についての識別器を識別器Ｃ３とする。
FIG. 3 shows an example of a sample image for learning, and FIG. 4 shows an enlarged view of the region IV surrounded by the alternate long and short dash line in FIG.
In the present embodiment, the
That is, in the example shown in FIG. 3, the contour TL of the nail T is the upper portion (that is, the tip portion) of the region A1, the side portion (that is, both nail groove portions of the nail T), the lower portion (that is, the lower portion). , The hairline portion of the nail T) is divided into regions A3, and classifiers C are generated for each of the regions A1 to A3.
In the following, the discriminator for the region A1 which is the upper part of the contour TL of the claw T is referred to as the discriminator C1, and the discriminator for the region A2 which is the side portion of the contour TL of the claw T is referred to as the discriminator C2. The classifier for the region A3, which is the lower part of the contour TL, is referred to as the classifier C3.
ここで、識別器生成部８１３による識別器Ｃの生成処理について詳細に説明する。
本実施形態において、識別器生成部８１３は、点選択部８１４、特徴量算出部８１５を備えている。
点選択部８１４は、学習対象である爪Ｔの輪郭ＴＬを含む学習用のサンプル画像Ｓ（図３参照）から、輪郭ＴＬ上に位置する任意の輪郭点Ｔｄ、及び輪郭ＴＬ以外の部分に位置する任意の非輪郭点Ｔｎ（図４参照）をそれぞれ選択する。なお、輪郭点Ｔｄ及び非輪郭点Ｔｎの選択は、領域Ａ１～Ａ３ごとにそれぞれ行う。
Here, the process of generating the classifier C by the
In the present embodiment, the
The
本実施形態では、点選択部８１４は、非輪郭点Ｔｎを選択する際、サンプル画像Ｓの全体からランダムに選択するのではなく、輪郭ＴＬから所定範囲内の領域からそれ以外の領域よりも多くの非輪郭点Ｔｎが採用されるように選択する。
図４では、「輪郭ＴＬから所定範囲内の領域」を、輪郭ＴＬから距離Ｄだけ離間した範囲内（図４において破線で画する範囲内）とし、この領域内の非輪郭点Ｔｎ（図４において非輪郭点Ｔｎｉ）がそれ以外の領域（すなわち、図４において破線で画する範囲の外側の領域）の非輪郭点Ｔｎ（図４において非輪郭点Ｔｎｏ）よりも多く採用されている例を示している。
In the present embodiment, when selecting the non-contour point Tn, the
In FIG. 4, the “region within a predetermined range from the contour TL” is set within a range separated by a distance D from the contour TL (within the range defined by the broken line in FIG. 4), and the non-contour point Tn in this region (FIG. 4). In an example in which the non-contour point Tni) is adopted more than the non-contour point Tn (non-contour point Tno in FIG. 4) in the other region (that is, the region outside the range defined by the broken line in FIG. 4). Shows.
具体的には、予め距離Ｄを閾値として記憶部８２等に記憶させておき、点選択部８１４は、任意の点を選択する際に、当該点が輪郭ＴＬから距離Ｄ以内に含まれるものであるか否かを判断する。また、輪郭ＴＬから所定範囲内の領域内の非輪郭点Ｔｎｉと当該領域外の非輪郭点Ｔｎｏとの割合（例えば８対２等）についても予め記憶部８２等に記憶させておき、点選択部８１４は、任意の点を選択する際に、所定の割合に達するまで輪郭ＴＬから所定範囲内の領域内の非輪郭点Ｔｎｉを選択するようにする。
なお、「輪郭ＴＬから所定範囲内の領域」をどの程度の範囲とするか（距離Ｄをどの程度に設定するか）は、特に限定されず、適宜設定される事項である。
また、「輪郭ＴＬから所定範囲内の領域」の非輪郭点Ｔｎｉをそれ以外の領域の非輪郭点Ｔｎｏよりもどの程度多く採用するかについても、特に限定されず、適宜設定される。なお、点選択部８１４が選択する任意の点を全て輪郭ＴＬから所定範囲内の領域内の非輪郭点Ｔｎｉとしてもよい。
なお、「輪郭ＴＬから所定範囲内の領域」以外の領域から非輪郭点Ｔｎ（Ｔｎｏ）を選択する場合にも、画像全体からランダムに選択するのではなく、輪郭ＴＬから離れ過ぎないように一定の限界を設けておくことが好ましい。
また、点選択部８１４が選択する輪郭点Ｔｄ及び非輪郭点Ｔｎの数、両者の割合等についても、識別器Ｃの生成処理に掛ける時間や、識別器Ｃに要求される精度等に応じて任意に設定可能である。
Specifically, the distance D is stored in advance in the
The range of the "region within a predetermined range from the contour TL" (how much the distance D is set) is not particularly limited, and is a matter to be appropriately set.
Further, the extent to which the non-contour point Tni in the "region within a predetermined range from the contour TL" is adopted more than the non-contour point Tno in the other regions is not particularly limited and is appropriately set. All arbitrary points selected by the
Even when a non-contour point Tn (Tno) is selected from a region other than the "region within a predetermined range from the contour TL", it is not randomly selected from the entire image, but is constant so as not to be too far from the contour TL. It is preferable to set the limit of.
Further, the number of contour points Td and non-contour points Tn selected by the
特徴量算出部８１５は、点選択部８１４によって選択された輪郭点Ｔｄ及び非輪郭点Ｔｎについてそれぞれ特徴量を算出する。
特徴量として、本実施形態では、ＨＯＧ（Histograms of Oriented Gradients）を使用する。ＨＯＧとは局所領域（セル）における輝度の勾配方向をヒストグラム化した特徴量である。
ＨＯＧ特徴量を算出するためには、画像（サンプル画像Ｓ）から輝度勾配を算出し、算出された勾配強度と勾配方向から輝度の勾配方向ヒストグラムを作成して正規化を行う。
なお、特徴量として何を使用するかは特に限定されず、ＨＯＧ以外にも例えばＳＩＦＴ（Scale Invariant Feature Transform）、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）等の局所特徴量を用いてもよい。
The feature
In this embodiment, HOG (Histograms of Oriented Gradients) is used as the feature amount. HOG is a feature quantity in which the gradient direction of the luminance in the local region (cell) is made into a histogram.
In order to calculate the HOG feature amount, the luminance gradient is calculated from the image (sample image S), and the gradient direction histogram of the luminance is created from the calculated gradient intensity and the gradient direction and normalized.
It should be noted that what is used as the feature amount is not particularly limited, and local feature amounts such as SIFT (Scale Invariant Feature Transform) and BRISK (Binary Robust Invariant scalable Keypoints) may be used in addition to HOG.
領域Ａ１～Ａ３についてそれぞれ点選択部８１４による輪郭点Ｔｄ及び非輪郭点Ｔｎの選択を行い、選択された各輪郭点Ｔｄ及び非輪郭点Ｔｎについて特徴量算出部８１５に特徴量が算出されると、識別器生成部８１３は、上部の領域Ａ１における輪郭ＴＬ上に位置する点（輪郭点Ｔｄ）の特徴量を正例、輪郭ＴＬ以外の部分に位置する点（非輪郭点Ｔｎ）の特徴量を負例として学習し、識別器Ｃ１を得る。同様に、側部の領域Ａ２における輪郭ＴＬ上に位置する点（輪郭点Ｔｄ）の特徴量を正例、輪郭ＴＬ以外の部分に位置する点（非輪郭点Ｔｎ）の特徴量を負例として学習し、識別器Ｃ２を得る。また、下部の領域Ａ３における輪郭ＴＬ上に位置する点（輪郭点Ｔｄ）の特徴量を正例、輪郭ＴＬ以外の部分に位置する点（非輪郭点Ｔｎ）の特徴量を負例として学習し、識別器Ｃ３を得る。
このようにして、識別器生成部８１３は、領域Ａ１～Ａ３ごとの識別器Ｃ１～Ｃ３を生成する。
When the contour point Td and the non-contour point Tn are selected by the
In this way, the
輪郭検出部８１６は、検出対象である爪Ｔの輪郭を含む検出対象画像から検出対象（本実施形態では爪Ｔ）の輪郭を検出する。
本実施形態において、検出対象はユーザが指固定部３内に挿入した指Ｕ１の爪Ｔであり、これを撮影部５０によって撮影することで検出対象画像が取得される。
本実施形態において、輪郭検出部８１６は、例えばＥＳＲ（Explicit Shape Regression）の手法を用いて、検出対象画像から検出対象である爪Ｔの輪郭の検出を行う。
The
In the present embodiment, the detection target is the fingernail T of the finger U1 inserted into the
In the present embodiment, the
ＥＳＲは、重心の周囲に特徴点が配置された初期形状（形状モデル）を生成し、これと検出対象を含む画像とのフィッティングを行うものである。例えば「Ｘｕｄｏｎｇ Ｃａｏ， Ｙｉｃｈｅｎ Ｗｅｉ， Ｆａｎｇ Ｗｅｎ， Ｊｉａｎ Ｓｕｎ “Ｆａｃｅ ａｌｉｇｎｍｅｎｔ ｂｙ Ｅｘｐｌｉｃｉｔ Ｓｈａｐｅ Ｒｅｇｒｅｓｓｉｏｎ．” ＣＶＰＲ ２０１２： ２８８７－２８９４．」等に紹介されているように、ＥＳＲを用いた輪郭検出では、２段階の弱リグレッサー（弱識別器）を組み合わせて適用し、初期形状（形状モデル）を徐々に正解位置である検出対象の輪郭に向かって収束させていくという回帰問題として輪郭検出を行う。
本実施形態では、輪郭検出部８１６は、例えば初期形状を配置する初期位置をずらしながら複数回輪郭検出処理を行い、ｎ回分の検出結果を取得する。
なお、輪郭検出処理を行う回数は特に限定されず、輪郭検出処理に掛ける時間等を考慮しながら適宜設定される。輪郭検出処理を１回しか行わないものとしてもよい。
また、複数回輪郭検出処理を行う場合、各処理毎に何らかの条件を変えて検出結果にばらつきを生じさせることが好ましい。この場合に、各処理毎に変える条件は、上記の初期形状を配置する初期位置に限定されず、例えば検出に関わるパラメータや乱数等を変更するようにしてもよい。
The ESR generates an initial shape (shape model) in which feature points are arranged around the center of gravity, and fits this to an image including a detection target. For example, "Xudong Cao, Jian Wei, Fang Wen, Jian Sun" Face reignment by Expression Regression. As introduced in "CVPR 2012: 2887-2894.", In contour detection using ESR, a two-stage weak regressor (weak discriminator) is applied in combination, and the initial shape (shape model) is gradually applied. Contour detection is performed as a regression problem of converging toward the contour of the detection target, which is the correct position.
In the present embodiment, the
The number of times the contour detection process is performed is not particularly limited, and is appropriately set in consideration of the time required for the contour detection process and the like. The contour detection process may be performed only once.
Further, when the contour detection process is performed a plurality of times, it is preferable to change some conditions for each process to cause variations in the detection results. In this case, the conditions to be changed for each process are not limited to the initial position where the above initial shape is arranged, and for example, parameters related to detection, random numbers, and the like may be changed.
なお、ＥＳＲのように回帰問題として輪郭検出を行う手法は、形状モデルをフィッティングさせて輪郭検出を行うＡＡＭ等の手法と比較してロバスト性に優れるため、初期形状としてどのようなものを用いるかや、初期形状を配置する初期位置をそれほど厳密に設定しなくても検出結果の精度への影響が少ない。
このため、例えば、入力された検出対象画像が太い指の爪の画像であったり細く小さな指の爪の画像であったりというように大きくばらつきがあるような場合でも、共通の初期形状を適用して輪郭検出を行うことができる。
ただ、ＥＳＲのようなアルゴリズムを用いた輪郭検出では、検出結果の信頼度を評価する指標がない。このため、輪郭として検出された点がどの程度輪郭らしさを有しているか、別途評価値を得ることが望まれる。
本実施形態の輪郭検出装置１は、ＥＳＲ等のアルゴリズムを用いた輪郭検出の検出結果に対して評価値を算出するものであり、上記のような要望に応えるものである。
In addition, since the method of contour detection as a regression problem such as ESR is superior in robustness to the method of AAM etc. that fits the shape model and performs contour detection, what kind of initial shape should be used? Also, even if the initial position for arranging the initial shape is not set so strictly, the effect on the accuracy of the detection result is small.
Therefore, even if the input detection target image varies greatly, such as an image of a thick fingernail or an image of a thin and small fingernail, the common initial shape is applied. Contour detection can be performed.
However, in contour detection using an algorithm such as ESR, there is no index for evaluating the reliability of the detection result. Therefore, it is desired to separately obtain an evaluation value as to how much the point detected as the contour has contour-likeness.
The
評価値算出部８１７は、検出対象（本実施形態では爪Ｔ）の輪郭を含む検出対象画像内の任意の点について、識別器生成部８１３において生成された識別器Ｃ（Ｃ１～Ｃ３）を用いて輪郭らしさの評価値を算出する。
本実施形態では、上記のように、輪郭検出部８１６により検出対象（本実施形態では爪Ｔ）の輪郭検出が行われるようになっており、評価値算出部８１７は、輪郭検出部８１６により検出された輪郭上の任意の点について、識別器Ｃ１～Ｃ３を用いて輪郭らしさの評価値を算出する。
なお、評価値算出部８１７による評価値の算出は、輪郭検出部８１６により検出された輪郭上の全ての点について行われてもよいし、ランダムに又は所定の数置き等に選択された点について行われてもよい。ただ、評価対象となる点をランダムに選択する場合でも、各点は、輪郭上の各領域Ａ１～Ａ３（図３参照）のそれぞれからできるだけ偏りなく選択されることが好ましい。
輪郭検出部８１６により輪郭上の点であると検出された点のうち、いくつの点について評価対象とするかは特に限定されず、点の数や、評価値の算出処理にかかる時間等を考慮して任意に設定される。なお、より多くの点を評価対象とした方がより正確に評価値を算出することが期待でき、好ましい。
The evaluation
In the present embodiment, as described above, the
The evaluation value may be calculated by the evaluation
Of the points detected by the
ここで、評価値算出部８１７による評価値の算出処理について詳細に説明する。
まず、評価値算出部８１７は、輪郭検出部８１６により検出された輪郭上の各点（全ての点について評価対象とする場合には輪郭上の全ての点、一部の点を選択して評価対象とする場合には、選択された点）についてそれぞれ特徴量ｆを算出する。
そして、各点ごとに、まず識別器Ｃ１を使用し、算出された特徴量ｆから当該点について輪郭らしさを表す評価値ｖ１を出力する。次に、各点ごとに、識別器Ｃ２を使用し、算出された特徴量ｆから当該点について輪郭らしさを表す評価値ｖ２を出力する。さらに、各点ごとに、識別器Ｃ３を使用し、算出された特徴量ｆから当該点について輪郭らしさを表す評価値ｖ３を出力する。
そして、各点について得られた評価値ｖ１、ｖ２、ｖ３のうち、最大の値を当該点の評価値ｖｍとする。 輪郭検出部８１６により検出された輪郭上の各点（全ての点について評価対象とする場合には輪郭上の全ての点、一部の点を選択して評価対象とする場合には、選択された点）についてそれぞれ評価値ｖｍを得ると、評価値算出部８１７は、これら各点で得られた評価値の平均を計算し、輪郭検出部８１６により検出された輪郭の評価値とする。
例えば、輪郭検出部８１６により輪郭上の点であると検出された点のうちｎ個を評価対象とした場合、ｖｍ１～ｖｍｎのｎ個の評価値ｖｍが得られ、これを全て足し合わせてｎ個で除したものが当該輪郭の評価値となる。
Here, the evaluation value calculation process by the evaluation
First, the evaluation
Then, for each point, first, the classifier C1 is used, and the evaluation value v1 representing the contour-likeness of the point is output from the calculated feature amount f. Next, for each point, the classifier C2 is used to output an evaluation value v2 representing the contour-likeness of the point from the calculated feature amount f. Further, for each point, the classifier C3 is used, and the evaluation value v3 representing the contour-likeness of the point is output from the calculated feature amount f.
Then, among the evaluation values v1, v2, and v3 obtained for each point, the maximum value is defined as the evaluation value vm of the point. Each point on the contour detected by the contour detection unit 816 (all points on the contour when all points are evaluated, or selected when some points are selected and evaluated. When the evaluation value vm is obtained for each of the points), the evaluation
For example, when n points detected by the
次に、図５及び図６を参照しつつ、本実施形態における輪郭検出装置１による識別器生成処理及び輪郭検出処理について説明する。
Next, the classifier generation process and the contour detection process by the
まず、識別器生成処理では、図５に示すように、識別器生成部８１３は、学習対象（本実施形態では爪）の輪郭ＴＬを含む学習用のサンプル画像Ｓ（図３参照）を複数取得する（ステップＳ１）。
そして、学習対象（本実施形態では爪）の輪郭ＴＬを特徴の異なる領域ごとに分割する。前述のように、本実施形態では、領域Ａ１～Ａ３に分割する（ステップＳ２）。
そして、点選択部８１４は、当該分割された領域Ａ１～Ａ３ごとに輪郭上の点である輪郭点Ｔｄを複数選択し（ステップＳ３）、選択された各点（輪郭点Ｔｄ）について、特徴量算出部８１５がそれぞれ特徴量を算出する（ステップＳ４）。
また、点選択部８１４は、分割された領域Ａ１～Ａ３ごとに輪郭以外の部分の点である非輪郭点Ｔｎを複数選択し（ステップＳ５）、選択された各点（非輪郭点Ｔｎ）について、特徴量算出部８１５がそれぞれ特徴量を算出する（ステップＳ６）。
First, in the classifier generation process, as shown in FIG. 5, the
Then, the contour TL of the learning target (claw in this embodiment) is divided into regions having different characteristics. As described above, in the present embodiment, the regions A1 to A3 are divided (step S2).
Then, the
Further, the
識別器生成部８１３は、全ての学習用のサンプル画像Ｓについて輪郭点Ｔｄ及び非輪郭点Ｔｎの選択、各点の特徴量の算出が終了したか否かを判断し（ステップＳ７）、まだ処理が終了していないサンプル画像Ｓがある場合（ステップＳ７；ＮＯ）には、ステップＳ２に戻って処理を繰り返す。
他方、全ての学習用のサンプル画像Ｓについて処理が終了した場合（ステップＳ７；ＹＥＳ）には、まず領域Ａ１に属する輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習を行い、識別器Ｃ１を生成する（ステップＳ８）。次に、領域Ａ２に属する輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習を行い、識別器Ｃ２を生成する（ステップＳ９）。さらに、領域Ａ３に属する輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習を行い、識別器Ｃ３を生成する（ステップＳ１０）。
これにより、識別器生成部８１３は、領域Ａ１～Ａ３ごとの識別器Ｃ１～Ｃ３を生成し、識別器生成処理が終了する。
識別器生成部８１３により生成された識別器Ｃ（Ｃ１～Ｃ３）は、記憶部８２の識別器記憶領域８２２に記憶される。
The
On the other hand, when the processing is completed for all the sample images S for learning (step S7; YES), first, learning is performed using the feature quantities of the contour point Td and the non-contour point Tn belonging to the region A1, and the discriminator is used. Generate C1 (step S8). Next, learning is performed using the feature quantities of the contour point Td and the non-contour point Tn belonging to the region A2, and the classifier C2 is generated (step S9). Further, learning is performed using the feature quantities of the contour point Td and the non-contour point Tn belonging to the region A3, and the classifier C3 is generated (step S10).
As a result, the
The classifiers C (C1 to C3) generated by the
次に、輪郭検出処理では、図６に示すように、検出対象である爪Ｔの輪郭を含む検出対象画像（爪画像）が入力されると（ステップＳ２１）、輪郭検出部８１６は、例えばＥＳＲ等の手法を用いて、初期形状を配置する初期位置をずらしながら複数回（ｎ回）の輪郭検出処理を行い、ｎ回分の輪郭検出結果を取得する（ステップＳ２２）。
輪郭検出結果が取得されると、評価値算出部８１７は、まず１回目の輪郭検出処理において輪郭検出部８１６により輪郭上の点であると検出されたいずれかの点を選択する（ステップＳ２３）。そして、選択された点について特徴量を算出し（ステップＳ２４）、算出された特徴量について識別器Ｃ１～Ｃ３によりそれぞれ輪郭らしさの評価値を算出する（ステップＳ２５）。
そして、識別器Ｃ１～Ｃ３により算出された評価値のうち、最大値を当該点の評価値とする（ステップＳ２６）。
例えば評価値が、「１」に近いほど高く、「０」に近いほど低い場合、識別器Ｃ１～Ｃ３により算出された評価値のうち、最も「１」に近い値となったものを当該点の評価値として採用する。
Next, in the contour detection process, as shown in FIG. 6, when the detection target image (claw image) including the contour of the nail T to be detected is input (step S21), the
When the contour detection result is acquired, the evaluation
Then, among the evaluation values calculated by the classifiers C1 to C3, the maximum value is set as the evaluation value of the relevant point (step S26).
For example, when the evaluation value is higher as it is closer to "1" and lower as it is closer to "0", the evaluation value calculated by the classifiers C1 to C3 that is closest to "1" is the relevant point. It is adopted as the evaluation value of.
評価値算出部８１７は、輪郭検出部８１６により輪郭上の点であると検出された点のうち、所定数（全ての点を評価対象とする場合には全て、所定数に限定して評価を行う場合には当該所定数）の点について評価が終了したか否かを判断し（ステップＳ２７）、所定数に達していないと判断する場合（ステップＳ２７；ＮＯ）には、評価対象となる次の点を選択し（ステップＳ２８）、ステップＳ２４～ステップＳ２７の処理を繰り返す。
他方、所定数に達したと判断する場合（ステップＳ２７；ＹＥＳ）には、評価値算出部８１７は、各点について算出された評価値（すなわち、識別器Ｃ１～Ｃ３により算出された評価値のうちの最大値）の平均値を算出し（ステップＳ２９）、これを当該輪郭検出結果についての評価値とする。
The evaluation
On the other hand, when it is determined that the predetermined number has been reached (step S27; YES), the evaluation
評価値算出部８１７は、さらに、ｎ回分の輪郭検出結果全てについて評価値の算出が終了したか否かを判断し（ステップＳ３０）、ｎ回分の輪郭検出結果についてまだ評価が終了していないと判断する場合（ステップＳ３０；ＮＯ）には、次の輪郭検出処理において輪郭検出部８１６により輪郭上の点であると検出されたいずれかの点を選択し（ステップＳ３１）、ステップＳ２４～ステップＳ３０の処理を繰り返す。
他方、ｎ回分の輪郭検出結果について全て評価が終了したと判断する場合（ステップＳ３０；ＹＥＳ）には、ステップＳ２９で算出された評価値の平均値が最も高い回の輪郭検出結果を検出対象である爪Ｔの輪郭として採用する（ステップＳ３２）。
最終的に爪Ｔの輪郭として採用された検出結果（輪郭を構成する各点の座標値）は、検出対象であるユーザの爪Ｔの輪郭として、輪郭情報記憶領域８２３に記憶される。
The evaluation
On the other hand, when it is determined that the evaluation of all the contour detection results for n times has been completed (step S30; YES), the contour detection result of the times in which the average value of the evaluation values calculated in step S29 is the highest is detected. It is adopted as the contour of a certain claw T (step S32).
The detection result (coordinate value of each point constituting the contour) finally adopted as the contour of the nail T is stored in the contour
なお、図６では、まず、輪郭検出部８１６によりｎ回分の輪郭検出結果を取得し（ステップＳ２２）、当該ｎ回分の輪郭検出結果について順次評価値算出部８１７による評価値の算出を行う場合を例示したが、輪郭検出処理の手順は、図６に示したものに限定されない。
例えば、輪郭検出部８１６により輪郭検出結果が取得されるとその都度当該輪郭検出結果についての評価値の算出を行ってもよい。この場合、例えば、評価値算出部８１７により算出された評価値が、輪郭としての信頼度が十分に高いと言える所定の閾値を超えた時点で輪郭検出部８１６による輪郭検出を終了するようにしてもよい。
In FIG. 6, first, the
For example, the evaluation value for the contour detection result may be calculated each time the contour detection result is acquired by the
本実施形態の輪郭検出装置１によって検出された爪Ｔの輪郭は、例えば、爪Ｔにネイルプリントを施す場合に、描画装置の描画対象領域として設定される。
また、検出結果としての爪Ｔの輪郭は、ネイルプリント以外にも自動的に爪Ｔの表面を整えるオート爪磨き等、各種ネイルケア等を行う場合の対象領域とすることができる。
The contour of the nail T detected by the
Further, the contour of the nail T as a detection result can be a target area for various nail care such as automatic nail polishing that automatically prepares the surface of the nail T in addition to the nail print.
以上のように、本実施形態によれば、輪郭検出装置１は、学習対象である爪Ｔの輪郭ＴＬを含む学習用のサンプル画像Ｓから、輪郭ＴＬ上に位置する任意の輪郭点Ｔｄ、及び輪郭ＴＬ以外の部分に位置する任意の非輪郭点Ｔｎをそれぞれ選択する点選択部８１４と、点選択部８１４によって選択された輪郭点Ｔｄ及び非輪郭点Ｔｎについてそれぞれ特徴量を算出する特徴量算出部８１５とを有し、特徴量算出部８１５により算出された輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習により、輪郭らしさを評価する識別器Ｃを生成する識別器生成部８１３と、検出対象である爪Ｔの輪郭を含む検出対象画像内の任意の点について、識別器Ｃを用いて輪郭らしさの評価値を算出する評価値算出部８１７と、を備えている。
このように、学習により高い信頼度を有する識別器Ｃを用いて検出対象である爪Ｔの輪郭検出結果の評価を行うことができるため、輪郭検出結果の信頼度を検証し、より信頼度の高い輪郭検出結果を用いて各種処理を高精度に行うことが可能となる。
As described above, according to the present embodiment, the
In this way, since the contour detection result of the claw T to be detected can be evaluated by using the classifier C having high reliability by learning, the reliability of the contour detection result is verified and the reliability is higher. It is possible to perform various processes with high accuracy using high contour detection results.
また、本実施形態によれば、輪郭検出装置１は、輪郭として、爪Ｔの輪郭を検出する。爪Ｔは、爪Ｔと色合いや輝度が爪Ｔに比較的近い指Ｕ１と区別してその境界を検出しなければならないため、輪郭検出の難易度が高いが、このような爪Ｔの輪郭を検出する場合でも検出結果の信頼度を確かめることができるため、検出された爪Ｔの輪郭に基づいてネイルプリント等各種の処理を行う場合にも対象領域を精密に特定して高精度な処理を行うことができる。
Further, according to the present embodiment, the
また、本実施形態によれば、識別器生成部８１３は、学習対象の輪郭を特徴の異なる領域ごとに分割し、当該分割した領域ごとに輪郭点Ｔｄ及び非輪郭点Ｔｎの特徴量を用いた学習を行って、当該分割した領域ごとの識別器Ｃ（Ｃ１～Ｃ３）を生成する。
特に本実施形態の検出対象である爪Ｔの輪郭のように、輪郭部分の形状や状態等の特徴が爪先部分と生え際等のように領域によって大きく異なっている場合、各領域ごとに識別器Ｃ（Ｃ１～Ｃ３）を生成することで、輪郭検出結果についてより精度の高い評価を行うことが可能となる。
Further, according to the present embodiment, the
In particular, when the characteristics such as the shape and state of the contour portion differ greatly depending on the region such as the toe portion and the hairline, such as the contour of the nail T which is the detection target of the present embodiment, the classifier C is used for each region. By generating (C1 to C3), it becomes possible to evaluate the contour detection result with higher accuracy.
また、本実施形態によれば、点選択部８１４は、非輪郭点Ｔｎを選択する際、輪郭ＴＬから所定範囲内の領域からより多くの非輪郭点Ｔｎが採用されるように選択する。
学習において負例となる非輪郭点Ｔｎを、正例となる輪郭点Ｔｄと全く無関係な領域から選択するよりも、本実施形態のように、正例となる輪郭点Ｔｄの周辺から選択した方が、より識別力、分類力の高い高精度の識別器Ｃを生成することが可能となる。
Further, according to the present embodiment, when selecting the non-contour point Tn, the
Rather than selecting the non-contour point Tn, which is a negative example in learning, from a region completely unrelated to the contour point Td, which is a positive example, a method of selecting from the periphery of the contour point Td, which is a positive example, as in the present embodiment. However, it becomes possible to generate a highly accurate discriminator C having higher discriminating power and classification power.
また、本実施形態によれば、検出対象である爪Ｔの輪郭を含む検出対象画像を撮影部５０により取得して、輪郭検出部８１６が、この検出対象画像から検出対象の輪郭を検出する。そして、評価値算出部８１７は、輪郭検出部８１６により検出された輪郭上の任意の点について、識別器Ｃを用いて輪郭らしさの評価値を算出する。
このように、本実施形態では、輪郭検出部８１６により検出された検出結果について、さらに識別器による信頼性のチェックを行うことができ、より信頼性の高い高精度の輪郭検出を行うことができる。
Further, according to the present embodiment, the detection target image including the contour of the nail T to be detected is acquired by the photographing
As described above, in the present embodiment, the reliability of the detection result detected by the
さらに、本実施形態によれば、輪郭検出部８１６は、ＥＳＲの手法を用いて検出対象画像から検出対象である爪Ｔの輪郭を検出する。
ＥＳＲのように回帰問題として輪郭検出を行う手法は、形状モデルをフィッティングさせて輪郭検出を行うＡＡＭ等の手法と比較してロバスト性に優れるため、初期形状としてどのようなものを用いても検出結果の精度に大きく影響しない。このため、検出対象となる爪Ｔの種類（例えば親指等の太い指の大きな爪か、小指等の細い指の小さな爪か、大人の爪か、子供の爪か等）に応じて複数種類の初期形状を用意し使い分けるといった必要がなく、一つの初期形状を共通して適用することができる。
また、初期形状を配置する初期位置についても厳密な設定が要求されないため、比較的簡易に、高精度の輪郭検出結果を得ることができる。
ＥＳＲは、このような簡易かつ精度の高い検出手法である一方で、検出結果の信頼度について評価指標を得ることができない。この点、本実施形態のように、識別器Ｃを用いて検出結果の評価を行い評価値を求めるとすることで、複数の検出結果がある場合により信頼性の高い検出結果を採用することができるようになり、より正解に近い輪郭を自動的に検出することができる。
Further, according to the present embodiment, the
A method of contour detection as a regression problem, such as ESR, is superior in robustness to methods such as AAM, which performs contour detection by fitting a shape model, so any method can be used as the initial shape for detection. It does not significantly affect the accuracy of the results. Therefore, there are a plurality of types depending on the type of nail T to be detected (for example, a large nail with a thick finger such as a thumb, a small nail with a thin finger such as a little finger, an adult's nail, a child's nail, etc.). There is no need to prepare and use the initial shape properly, and one initial shape can be applied in common.
Further, since a strict setting is not required for the initial position where the initial shape is arranged, a highly accurate contour detection result can be obtained relatively easily.
While ESR is such a simple and highly accurate detection method, it is not possible to obtain an evaluation index for the reliability of the detection result. In this regard, as in the present embodiment, by evaluating the detection result using the classifier C and obtaining the evaluation value, it is possible to adopt a more reliable detection result when there are a plurality of detection results. It becomes possible to automatically detect contours that are closer to the correct answer.
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。 Although the embodiments of the present invention have been described above, it goes without saying that the present invention is not limited to such embodiments and can be variously modified without departing from the gist thereof.
例えば、本実施形態では、輪郭検出部８１６がＥＳＲの手法を用いて輪郭検出を行う場合を例示したが、輪郭検出部８１６が輪郭検出を行う手法はＥＳＲに限定されない。
例えば、輪郭検出部８１６による輪郭検出に、Random Forestのような、複数の決定木構造を持った多クラス識別器を構築する学習アルゴリズムを適用してもよい。Random Forestは、学習サンプルをランダムサンプリングすることにより複数のサブセットを作成し、各サブセットごとに決定木を構築し、複数の決定木の結果を統合することで識別を行う。そこで、アルゴリズムとしてRandom Forestを用いる場合には、例えば異なるサブセットによるトレーニング結果を使って複数回の輪郭検出処理を行う等により、複数回分の輪郭検出結果を得るようにする。そして、これら複数の検出結果に対して識別器Ｃを用いた評価を行い、最も評価値の高い検出結果を検出対象の輪郭として採用する。
For example, in the present embodiment, the case where the
For example, a learning algorithm for constructing a multi-class classifier having a plurality of decision tree structures, such as Random Forest, may be applied to the contour detection by the
また、輪郭検出部８１６は、例えば、ＡＡＭ（Active appearance model）、ＡＳＭ（Active Shape model）ＡＣＭ（Active Contour Model）等を用いて検出対象である爪Ｔの輪郭検出を行ってもよい。この場合には、本実施形態で示したＥＳＲを用いる場合と同様、初期形状を配置する位置を変化させながら複数回分の輪郭検出結果を得るようにする。
また、本実施形態では、複数回分の検出結果を得る場合に、同じアルゴリズムを用い、初期形状の配置位置等をずらす等により異なる検出結果を導出する例を示したが、例えば、異なるアルゴリズムを用いて、複数回分の検出結果を取得し、各手法による検出結果を識別器Ｃにより評価してもよい。
Further, the
Further, in the present embodiment, an example is shown in which different detection results are derived by shifting the arrangement position of the initial shape or the like by using the same algorithm when obtaining the detection results for a plurality of times. For example, different algorithms are used. Then, the detection results for a plurality of times may be acquired, and the detection results by each method may be evaluated by the classifier C.
また、本実施形態では、検出対象が爪Ｔである場合を例示したが、輪郭検出装置１によって輪郭検出を行うことができる検出対象は爪Ｔに限定されない。
例えば、ネイルチップやアクセサリ等の輪郭を検出対象としてもよい。
顔の輪郭や目・鼻・口等の顔のパーツの輪郭等を検出対象としてもよい。
ネイルチップ等の輪郭検出や顔パーツの輪郭検出等の場合にも、輪郭検出結果に評価値を付してその信頼度を評価することができるため、より信頼度の高い検出結果を採用して、これを用いた各種処理を行うことができる。
Further, in the present embodiment, the case where the detection target is the claw T is illustrated, but the detection target that can perform contour detection by the
For example, contours such as nail tips and accessories may be detected.
The contour of the face and the contour of facial parts such as eyes, nose, and mouth may be detected.
Even in the case of contour detection of nail tips, contour detection of face parts, etc., it is possible to evaluate the reliability by adding an evaluation value to the contour detection result, so a more reliable detection result is adopted. , Various processes using this can be performed.
また、爪Ｔや顔の輪郭や顔のパーツの輪郭検出以外にも、画像に含まれる何らかのオブジェクトについて輪郭を検出するものについては、広くこの輪郭検出装置１を適用することができる。
例えば、カメラで撮影した人物や対象物（建物・乗り物等）を画像から切り抜いて他の画像に貼り付けたり、連写された対象物を画像から切り抜いて繋ぎ合わせ、動画のように構成する等、各種の加工を行う際にも各対象の輪郭を精密に検出する必要があるが、このように画像から特定のオブジェクトを切り抜く際にも、本輪郭検出装置１を適用することによって、より信頼度の高い検出結果を用いてその後の各種処理を行うことができる。
Further, in addition to detecting the contour of the nail T, the contour of the face, and the contour of the facial parts, the
For example, people and objects (buildings, vehicles, etc.) taken with a camera can be cut out from an image and pasted on another image, or continuously shot objects can be cut out from an image and spliced together to form a movie. , It is necessary to accurately detect the contour of each object even when performing various processing, but even when cutting out a specific object from the image in this way, by applying this
また、本実施形態では、識別器Ｃを生成する場合に、輪郭を上部、側部、下部の３つの領域に分けて各領域ごとに識別器Ｃを生成する場合を例示したが、領域分割の仕方はこれに限定されない。例えば、さらに細かく領域を分割して複数種類の識別器Ｃを生成してもよい。また、特に領域を分けずに輪郭全体について１つの識別器を生成してもよい。 Further, in the present embodiment, when the classifier C is generated, the contour is divided into three areas of upper part, side part, and lower part, and the case where the classifier C is generated for each area is illustrated. The method is not limited to this. For example, a plurality of types of classifiers C may be generated by further subdividing the area. Further, one classifier may be generated for the entire contour without dividing the area in particular.
また、本実施形態では、輪郭を複数の領域に分割して各領域ごとに識別器Ｃを生成した上で、評価値の算出に際しては、全ての識別器Ｃを用いて順次評価を行い、輪郭全体の評価値を算出する例を示したが、例えば、評価値の算出においても各領域ごとに、当該領域に対応する識別器Ｃを用いて行い、各領域ごとの評価値を算出してもよい。
このようにした場合には、各領域ごとに検出結果の信頼度を得ることができる。
このため、例えば、複数回輪郭検出を行った場合、いずれの検出結果においても信頼度が低い（すなわち、評価値の低い）領域がある場合に、当該領域を表示部１３等に表示させて、ユーザに確認を求めたり、手動による修正を行うことができるようにしてもよい。
Further, in the present embodiment, the contour is divided into a plurality of regions to generate a classifier C for each region, and then the contours are sequentially evaluated using all the classifiers C when calculating the evaluation value. An example of calculating the overall evaluation value is shown. For example, the evaluation value may be calculated for each area by using the classifier C corresponding to the area, and the evaluation value for each area may be calculated. good.
In this case, the reliability of the detection result can be obtained for each region.
Therefore, for example, when contour detection is performed a plurality of times and there is a region having low reliability (that is, a low evaluation value) in any of the detection results, the region is displayed on the
以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
学習対象の輪郭を含む学習用のサンプル画像における輪郭点及び非輪郭点についてそれぞれ特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習により、輪郭らしさを評価する識別器を生成する識別器生成部と、
検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する評価値算出部と、
を備えている輪郭検出装置。
＜請求項２＞
前記識別器生成部は、前記学習対象の輪郭を特徴の異なる領域ごとに分割し、当該分割した領域ごとに前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習を行い、当該分割した領域ごとの前記識別器を生成する請求項１に記載の輪郭検出装置。
＜請求項３＞
前記輪郭は爪の輪郭であり、前記識別器生成部は、前記爪の輪郭を、爪先領域、爪溝領域、及び生え際領域に分割し、前記爪先領域、前記爪溝領域、及び前記生え際領域ごとに前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習を行い、前記爪先領域、前記爪溝領域、及び前記生え際領域ごとの前記識別器を生成する請求項２に記載の輪郭検出装置。
＜請求項４＞
前記識別器生成部は、輪郭点の特徴量を正例、非輪郭点の特徴量を負例として学習し、前記識別器を生成する請求項１から請求項３のいずれか一項に記載の輪郭検出装置。
＜請求項５＞
前記サンプル画像から、輪郭上に位置する任意の輪郭点及び輪郭以外の部分に位置する任意の非輪郭点をそれぞれ選択する点選択部を更に備え、
前記特徴量算出部は、前記点選択部によって選択された前記輪郭点及び非輪郭点についてそれぞれ特徴量を算出する請求項１から請求項４のいずれか一項に記載の輪郭検出装置。
＜請求項６＞
前記点選択部は、前記非輪郭点を選択する際、前記輪郭から所定範囲内の領域からそれ以外の領域よりも多くの前記非輪郭点が採用されるように選択する請求項５に記載の輪郭検出装置。
＜請求項７＞
検出対象の輪郭を含む検出対象画像を取得する撮影部と、
前記検出対象画像から前記検出対象の輪郭を検出する輪郭検出部と、
をさらに備え、
前記評価値算出部は、前記輪郭検出部により検出された前記輪郭上の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する請求項１から請求項６のいずれか一項に記載の輪郭検出装置。
＜請求項８＞
前記輪郭検出部は前記検出対象の輪郭を複数回検出し、
前記評価算出部は前記輪郭検出部により複数回検出された複数の輪郭それぞれについて評価値を算出し、
前記輪郭検出部は前記複数の輪郭のうち、前記評価算出部により算出された評価値が最大のものを前記検出対象の輪郭として採用する請求項７に記載の輪郭検出装置。
＜請求項９＞
前記輪郭検出部は、ＥＳＲの手法を用いて前記検出対象画像から前記検出対象の輪郭を検出する請求項７又は請求項８に記載の輪郭検出装置。
＜請求項１０＞
学習対象の輪郭を含む学習用のサンプル画像における輪郭点及び非輪郭点についてそれぞれ特徴量を算出する特徴量算出工程と、を含み、前記特徴量算出工程において算出された前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習により、輪郭らしさを評価する識別器を生成する識別器生成工程と、
検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する評価値算出工程と、
を含んでいる輪郭検出方法。
Although some embodiments of the present invention have been described above, the scope of the present invention is not limited to the above-described embodiments, but includes the scope of the invention described in the claims and the equivalent scope thereof. ..
The inventions described in the claims originally attached to the application of this application are described below. The claims described in the appendix are the scope of the claims originally attached to the application for this application.
[Additional Notes]
<Claim 1>
A feature amount calculation unit that calculates the feature amount for each of the contour points and non-contour points in the sample image for learning including the contour of the learning target, and
A classifier generator that generates a classifier that evaluates contour-likeness by learning using the feature amounts of the contour points and non-contour points calculated by the feature amount calculation unit.
An evaluation value calculation unit that calculates an evaluation value of contour-likeness using the classifier for any point in the detection target image including the contour of the detection target.
Contour detector equipped with.
<Claim 2>
The classifier generation unit divides the contour of the learning target into regions having different characteristics, performs learning using the feature quantities of the contour points and the non-contour points for each divided region, and divides the contour points. The contour detection device according to
<Claim 3>
The contour is the contour of the nail, and the discriminator generator divides the contour of the nail into a toe region, a nail groove region, and a hairline region, and for each of the toe region, the nail groove region, and the hairline region. The contour detection device according to claim 2, wherein learning is performed using the feature amounts of the contour points and the non-contour points to generate the classifier for each of the toe region, the nail groove region, and the hairline region. ..
<Claim 4>
The discriminator generation unit according to any one of
<Claim 5>
Further, a point selection unit for selecting an arbitrary contour point located on the contour and an arbitrary non-contour point located in a portion other than the contour from the sample image is further provided.
The contour detection device according to any one of
<Claim 6>
The fifth aspect of the present invention, wherein the point selection unit selects the non-contour points so that more non-contour points are adopted from the region within a predetermined range from the contour than the other regions. Contour detector.
<Claim 7>
A shooting unit that acquires a detection target image including the contour of the detection target, and
A contour detection unit that detects the contour of the detection target from the detection target image, and
Further prepare
One of
<Claim 8>
The contour detection unit detects the contour of the detection target a plurality of times,
The evaluation calculation unit calculates an evaluation value for each of the plurality of contours detected a plurality of times by the contour detection unit.
The contour detection device according to claim 7, wherein the contour detection unit adopts the one having the maximum evaluation value calculated by the evaluation calculation unit among the plurality of contours as the contour to be detected.
<Claim 9>
The contour detection device according to claim 7 or 8, wherein the contour detection unit detects the contour of the detection target from the detection target image by using the method of ESR.
<Claim 10>
The feature amount calculation step of calculating the feature amount for each of the contour point and the non-contour point in the sample image for learning including the contour of the learning target is included, and the contour point and the non-contour calculated in the feature amount calculation step are included. A discriminator generation step of generating a discriminator for evaluating contour-likeness by learning using the feature amount of a point, and
An evaluation value calculation step of calculating an evaluation value of contour-likeness using the classifier for any point in the detection target image including the contour of the detection target, and an evaluation value calculation step.
Contour detection method that includes.
１ 輪郭検出装置
５０ 撮影部
８１ 制御部
８２ 記憶部
８１３ 識別器生成部
８１４ 点選択部
８１５ 特徴量算出部
８１６ 輪郭検出部
８１７ 評価値算出部
８２１ 識別器生成情報記憶領域
８２２ 識別器記憶領域
８２３ 輪郭情報記憶領域
Ｃ 識別器
Ｔ 爪
Ｕ１ 指
1
Claims (10)
前記特徴量算出部により算出された前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習により、輪郭らしさを評価する識別器を生成する識別器生成部と、
検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する評価値算出部と、
を備え、
前記識別器生成部は、前記学習対象の輪郭を、当該輪郭の形状に応じた複数の領域に分割し、当該分割した領域ごとに前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習を行い、当該分割した領域ごとの前記識別器を生成する輪郭検出装置。 A feature amount calculation unit that calculates the feature amount for each of the contour points and non-contour points in the sample image for learning including the contour of the learning target, and
A classifier generator that generates a classifier that evaluates contour-likeness by learning using the feature amounts of the contour points and non-contour points calculated by the feature amount calculation unit.
An evaluation value calculation unit that calculates an evaluation value of contour-likeness using the classifier for any point in the detection target image including the contour of the detection target.
Equipped with
The classifier generation unit divides the contour of the learning target into a plurality of regions according to the shape of the contour, and learns using the feature quantities of the contour points and the non-contour points for each of the divided regions. To generate the classifier for each of the divided regions .
前記特徴量算出部は、前記点選択部によって選択された前記輪郭点及び非輪郭点についてそれぞれ特徴量を算出する請求項１から請求項４のいずれか一項に記載の輪郭検出装置。 Further, a point selection unit for selecting an arbitrary contour point located on the contour and an arbitrary non-contour point located in a portion other than the contour from the sample image is further provided.
The contour detection device according to any one of claims 1 to 4, wherein the feature amount calculation unit calculates a feature amount for each of the contour points and non-contour points selected by the point selection unit.
前記検出対象画像から前記検出対象の輪郭を検出する輪郭検出部と、
をさらに備え、
前記評価値算出部は、前記輪郭検出部により検出された前記輪郭上の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する請求項１から請求項６のいずれか一項に記載の輪郭検出装置。 A shooting unit that acquires a detection target image including the contour of the detection target, and
A contour detection unit that detects the contour of the detection target from the detection target image, and
Further prepare
One of claims 1 to 6, wherein the evaluation value calculation unit calculates an evaluation value of contour-likeness using the classifier for any point on the contour detected by the contour detection unit. Contour detection device according to.
前記評価値算出部は前記輪郭検出部により複数回検出された複数の輪郭それぞれについて評価値を算出し、
前記輪郭検出部は前記複数の輪郭のうち、前記評価値算出部により算出された評価値が最大のものを前記検出対象の輪郭として採用する請求項７に記載の輪郭検出装置。 The contour detection unit detects the contour of the detection target a plurality of times,
The evaluation value calculation unit calculates an evaluation value for each of the plurality of contours detected a plurality of times by the contour detection unit.
The contour detection device according to claim 7, wherein the contour detection unit adopts the contour having the maximum evaluation value calculated by the evaluation value calculation unit among the plurality of contours as the contour to be detected.
検出対象の輪郭を含む検出対象画像内の任意の点について、前記識別器を用いて輪郭らしさの評価値を算出する評価値算出工程と、
を含み、
前記識別器生成工程において、前記学習対象の輪郭を、当該輪郭の形状に応じた複数の領域に分割し、当該分割した領域ごとに前記輪郭点及び前記非輪郭点の前記特徴量を用いた学習を行い、当該分割した領域ごとの前記識別器を生成する輪郭検出方法。 The feature amount calculation step of calculating the feature amount for each of the contour point and the non-contour point in the sample image for learning including the contour of the learning target is included, and the contour point and the non-contour point calculated in the feature amount calculation step are included. A discriminator generation step of generating a discriminator for evaluating contour-likeness by learning using the above-mentioned feature amount of
An evaluation value calculation step of calculating an evaluation value of contour-likeness using the classifier for any point in the detection target image including the contour of the detection target, and an evaluation value calculation step.
Including
In the classifier generation step, the contour of the learning target is divided into a plurality of regions according to the shape of the contour, and learning using the feature quantities of the contour points and the non-contour points for each divided region. A contour detection method for generating the classifier for each of the divided regions .
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017179698A JP7009864B2 (en) | 2017-09-20 | 2017-09-20 | Contour detection device and contour detection method |
| JP2022002673A JP7439842B2 (en) | 2017-09-20 | 2022-01-12 | Contour detection device and contour detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017179698A JP7009864B2 (en) | 2017-09-20 | 2017-09-20 | Contour detection device and contour detection method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022002673A Division JP7439842B2 (en) | 2017-09-20 | 2022-01-12 | Contour detection device and contour detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019056988A JP2019056988A (en) | 2019-04-11 |
| JP7009864B2 true JP7009864B2 (en) | 2022-01-26 |
Family
ID=66106400
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017179698A Active JP7009864B2 (en) | 2017-09-20 | 2017-09-20 | Contour detection device and contour detection method |
| JP2022002673A Active JP7439842B2 (en) | 2017-09-20 | 2022-01-12 | Contour detection device and contour detection method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022002673A Active JP7439842B2 (en) | 2017-09-20 | 2022-01-12 | Contour detection device and contour detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7009864B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009211138A (en) | 2008-02-29 | 2009-09-17 | Fujifilm Corp | Target area extraction method, device and program |
| JP2010128919A (en) | 2008-11-28 | 2010-06-10 | Hitachi Automotive Systems Ltd | Object detection apparatus |
| JP4998637B1 (en) | 2011-06-07 | 2012-08-15 | オムロン株式会社 | Image processing apparatus, information generation apparatus, image processing method, information generation method, control program, and recording medium |
| JP2014235494A (en) | 2013-05-31 | 2014-12-15 | 富士ゼロックス株式会社 | Image processor, and program |
| JP2015121905A (en) | 2013-12-20 | 2015-07-02 | セコム株式会社 | Object detection device |
| JP2015176169A (en) | 2014-03-13 | 2015-10-05 | オムロン株式会社 | Image processor, image processing method and program |
-
2017
- 2017-09-20 JP JP2017179698A patent/JP7009864B2/en active Active
-
2022
- 2022-01-12 JP JP2022002673A patent/JP7439842B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009211138A (en) | 2008-02-29 | 2009-09-17 | Fujifilm Corp | Target area extraction method, device and program |
| JP2010128919A (en) | 2008-11-28 | 2010-06-10 | Hitachi Automotive Systems Ltd | Object detection apparatus |
| JP4998637B1 (en) | 2011-06-07 | 2012-08-15 | オムロン株式会社 | Image processing apparatus, information generation apparatus, image processing method, information generation method, control program, and recording medium |
| JP2014235494A (en) | 2013-05-31 | 2014-12-15 | 富士ゼロックス株式会社 | Image processor, and program |
| JP2015121905A (en) | 2013-12-20 | 2015-07-02 | セコム株式会社 | Object detection device |
| JP2015176169A (en) | 2014-03-13 | 2015-10-05 | オムロン株式会社 | Image processor, image processing method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022036212A (en) | 2022-03-04 |
| JP7439842B2 (en) | 2024-02-28 |
| JP2019056988A (en) | 2019-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11170250B2 (en) | Nail contour detecting device, nail contour detecting method and storage medium | |
| JP7035405B2 (en) | Contour detection device, drawing device, contour detection method and contour detection program | |
| US10360710B2 (en) | Method of establishing virtual makeup data and electronic device using the same | |
| US9733703B2 (en) | System and method for on-axis eye gaze tracking | |
| JP6361387B2 (en) | Identification device and control method of identification device | |
| CN106056064B (en) | A kind of face identification method and face identification device | |
| JP7039991B2 (en) | Contour detection device, drawing device, contour detection method and contour detection program | |
| CN109426835B (en) | Information processing apparatus, control method of information processing apparatus, and storage medium | |
| US20120218398A1 (en) | Automatic Detection of Vertical Gaze Using an Embedded Imaging Device | |
| EP2677490A1 (en) | Authentication device, authentication program, and authentication method | |
| CN108875452A (en) | Face identification method, device, system and computer-readable medium | |
| JP6351243B2 (en) | Image processing apparatus and image processing method | |
| KR20120139100A (en) | Apparatus and method for security management using face recognition | |
| KR20100075167A (en) | Apparatus and method for capturing digital image using face recognition function | |
| US20140361981A1 (en) | Information processing apparatus and method thereof | |
| KR20130043366A (en) | Gaze tracking apparatus, display apparatus and method therof | |
| CN115115504A (en) | Certificate photo generation method and device, computer equipment and storage medium | |
| JP2019053626A (en) | Contour detection apparatus, drawing apparatus, contour detection method, and contour detection program | |
| JP7009864B2 (en) | Contour detection device and contour detection method | |
| JP2015184906A (en) | Skin color detection condition determination device, skin color detection condition determination method and skin color detection condition determination computer program | |
| JP6798285B2 (en) | Biometric device, biometric method and program | |
| KR101031369B1 (en) | Apparatus for identifying face from image and method thereof | |
| US20200250883A1 (en) | Information processing apparatus to set lighting effect applied to image, information processing method, and storage medium | |
| JP7392696B2 (en) | Contour detection device, printing device, contour detection method and program | |
| CN111435430B (en) | Object recognition method, object recognition device and electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211227 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7009864 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |