JP5431830B2 - Component detection apparatus, component detection method, program, and recording medium - Google Patents
Component detection apparatus, component detection method, program, and recording medium Download PDFInfo
- Publication number
- JP5431830B2 JP5431830B2 JP2009189402A JP2009189402A JP5431830B2 JP 5431830 B2 JP5431830 B2 JP 5431830B2 JP 2009189402 A JP2009189402 A JP 2009189402A JP 2009189402 A JP2009189402 A JP 2009189402A JP 5431830 B2 JP5431830 B2 JP 5431830B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- identification target
- component detection
- teacher data
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、部品検出装置、部品検出方法、プログラムおよび記録媒体に関する。 The present invention relates to a component detection apparatus, a component detection method, a program, and a recording medium.
画像から特定の顔部品を検出するシステムは、テレビ会議やテレビ電話等の各種の画像通信、データベース検索、ビル監視等のセキュリティシステム、顔による照合システム等、多方面に亘り利用されている。例えば、人物の顔画像から目、眉、鼻孔、口等の顔部品を抽出する方法が提案されている(例えば、特許文献1参照)。しかしながら、前記顔部品が隠れていると抽出が困難となったり、また、類似の顔部品が画像中に存在すると誤検出がされたりするという問題があった。 A system for detecting a specific facial part from an image is used in various fields such as various image communication such as a video conference and a video phone, a database search, a security system such as building monitoring, and a face matching system. For example, a method for extracting facial parts such as eyes, eyebrows, nostrils, and mouth from a human face image has been proposed (see, for example, Patent Document 1). However, there is a problem that extraction is difficult when the face part is hidden, and erroneous detection is performed when a similar face part exists in the image.
近年、セキュリティ上の要請から、現金自動預け払い機(ATM)や販売時点情報管理(POS)システムを搭載したセルフレジの操作において、サングラス、マスク、帽子等を外すよう、呼びかけや掲示がなされたりしているが、無人の場合や時間帯によっては、必ずしも効果は上がっていない。そこで、サングラス等を着用している操作者を検出し、音声による警告や、着用中の操作の制限を行うことのできるシステムが求められている。また、防犯カメラによって撮影された大量の映像アーカイブの中から、サングラス等を着用している犯罪者と思しき人物を探索することのできるシステムが求められている。 In recent years, due to security demands, calls and notices have been made to remove sunglasses, masks, hats, etc. in the operation of self-checkout machines equipped with automatic teller machines (ATMs) and point-of-sale information management (POS) systems. However, the effect is not necessarily improved depending on the unmanned case and time zone. Therefore, there is a need for a system that can detect an operator wearing sunglasses or the like, and can perform a warning by voice or limit an operation while wearing. There is also a need for a system that can search for a person who appears to be a criminal wearing sunglasses or the like from a large number of video archives taken by a security camera.
しかしながら、例えば、顔の検出を、目を抽出することによって行う場合、(1)識別対象画像中から画像処理により目を抽出する、(2)目が抽出できなかった場合は、サングラスを抽出する、(3)サングラスも抽出できなかった場合は、帽子を抽出する等、目が隠れている場合に、隠れの原因毎に段階的に可能性のあるものを探していくアルゴリズムを構築する必要があり、煩雑である。 However, for example, when face detection is performed by extracting eyes, (1) eyes are extracted from the identification target image by image processing, and (2) sunglasses are extracted when eyes cannot be extracted. (3) If sunglasses cannot be extracted, it is necessary to construct an algorithm that searches for possible items for each cause of hiding when the eyes are hidden, such as extracting a hat. Yes, it is complicated.
そこで、本発明は、識別対象画像中に隠れている部品がある場合でも、部品を高精度かつ容易に検出可能な部品検出装置、部品検出方法、プログラムおよび記録媒体を提供することを目的とする。 Therefore, an object of the present invention is to provide a component detection apparatus, a component detection method, a program, and a recording medium that can detect a component with high accuracy and easily even when there is a component hidden in the identification target image. .
前記目的を達成するために、本発明の部品検出装置は、識別対象画像を取得する識別対象画像取得手段と、
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出手段と、
予め取得した部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出手段とを含むことを特徴とする。
In order to achieve the above object, the component detection apparatus of the present invention includes an identification target image acquisition unit that acquires an identification target image;
An identification target area detecting means for detecting an identification target area from the identification target image with reference to an identification target area extraction model created from the identification target area teacher data acquired in advance;
And a component detection unit that detects a component included in the identification target region with reference to a component extraction model created from component teacher data acquired in advance.
本発明の部品検出方法は、識別対象画像を取得する識別対象画像取得工程と、
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出工程と、
予め取得した部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出工程とを含むことを特徴とする。
The component detection method of the present invention includes an identification target image acquisition step of acquiring an identification target image,
An identification target area detection step of detecting an identification target area from the identification target image with reference to an identification target area extraction model created from the identification target area teacher data acquired in advance;
A component detection step of detecting a component included in the identification target region with reference to a component extraction model created from component teacher data acquired in advance.
本発明のプログラムは、前記本発明の部品検出方法をコンピュータに実行させることを特徴とする。 The program of the present invention causes a computer to execute the component detection method of the present invention.
本発明の記録媒体は、前記本発明のプログラムを記録していることを特徴とする。 The recording medium of the present invention records the program of the present invention.
本発明によれば、識別対象画像中に隠れている部品がある場合でも、部品を高精度かつ容易に検出可能な部品検出装置、部品検出方法、プログラムおよび記録媒体を提供することができる。 According to the present invention, it is possible to provide a component detection apparatus, a component detection method, a program, and a recording medium that can detect a component with high accuracy and easily even when there is a component hidden in the identification target image.
つぎに、本発明の部品検出装置、部品検出方法、プログラムおよび記憶媒体について、例をあげて説明する。ただし、本発明は、下記の例に限定されない。 Next, the component detection apparatus, component detection method, program, and storage medium of the present invention will be described with examples. However, the present invention is not limited to the following examples.
(実施形態1)
図1に、本実施形態における部品検出方法のフローチャート(同図(A))および部品検出装置のブロック図(同図(B))を示す。図1(B)に示すとおり、本実施形態の部品検出装置は、識別対象画像取得手段111、演算手段120、出力手段131およびデータ記憶手段140を主要な構成部材として含む。前記データ記憶手段140には、予め取得した識別対象領域教師データ141および部品教師データ142が格納されており、前記演算手段120は、識別対象領域検出手段121および部品検出手段122を含む。前記識別対象領域検出手段121は、前記識別対象領域教師データ141と接続している。前記部品検出手段122は、前記部品教師データ142と接続している。前記識別対象画像取得手段111としては、例えば、CCD(Charge Coupled Device)カメラ、CMOS(Complementary Metal Oxide Semiconductor)カメラ、イメージスキャナ等があげられる。前記演算手段120としては、例えば、中央処理装置(CPU)等があげられる。前記出力手段131としては、例えば、映像により出力するモニター(例えば、液晶ディスプレイ(LCD)、ブラウン管(CRT)ディスプレイ等の各種画像表示装置等)、印刷により出力するプリンター、音声により出力するスピーカー等があげられる。前記出力手段131は、任意の構成部材であり、本発明の部品検出装置に含まれていなくてもよいが、含まれていることが好ましい。前記データ記憶手段140としては、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。前記データ記憶手段140は、装置内蔵型であってもよいし、外部記憶装置のような外付け型であってもよい。前記識別対象画像取得手段、前記演算手段、前記出力手段および前記データ記憶手段については、後述の実施形態2、3および5においても同様である。
(Embodiment 1)
FIG. 1 shows a flowchart of the component detection method according to the present embodiment (FIG. 1A) and a block diagram of the component detection apparatus (FIG. 1B). As shown in FIG. 1B, the component detection apparatus of this embodiment includes an identification target
本発明において、識別対象領域は、特に限定されず、例えば、人物、人物の頭部、動物、乗用車等、いかなるものであってもよい。 In the present invention, the identification target area is not particularly limited, and may be any person such as a person, a person's head, an animal, and a passenger car.
本発明において、部品も、前記識別対象領域に含まれるものであれば、特に限定されず、いかなるものであってもよい。例えば、前記識別対象領域が人物である場合、前記部品としては、例えば、頭部、胴体、左手、右手、左脚、右脚等があげられる。例えば、前記識別対象領域が人物の頭部である場合、前記部品としては、例えば、左目、右目、鼻、口、左眉、右眉、左耳、右耳等があげられる。例えば、前記識別対象領域が動物である場合、前記部品としては、例えば、頭部、胴体、脚部、尻尾等があげられる。例えば、前記識別対象領域が乗用車である場合、前記部品としては、例えば、車体、タイヤ等があげられる。 In the present invention, the component is not particularly limited as long as it is included in the identification target region, and any component may be used. For example, when the identification target region is a person, examples of the component include a head, a torso, a left hand, a right hand, a left leg, and a right leg. For example, when the identification target region is a human head, examples of the component include a left eye, a right eye, a nose, a mouth, a left eyebrow, a right eyebrow, a left ear, and a right ear. For example, when the identification target region is an animal, examples of the component include a head, a trunk, a leg, and a tail. For example, when the identification target region is a passenger car, examples of the component include a vehicle body and a tire.
以下、前記識別対象領域が人物の頭部(以下、単に「頭部」ということがある)であり、前記部品が、左目、右目、鼻および口の4つである場合を例にとり、本実施形態の部品検出装置および部品検出方法について、さらに詳細に説明する。 Hereinafter, the present embodiment will be described by taking as an example the case where the identification target area is a human head (hereinafter, simply referred to as “head”) and the parts are four of a left eye, a right eye, a nose, and a mouth. The component detection device and the component detection method of the embodiment will be described in more detail.
この例の部品検出方法は、図1(B)の部品検出装置を用いて、例えば、つぎのようにして実施する。 The component detection method of this example is implemented as follows using the component detection apparatus of FIG. 1 (B), for example.
まず、前記部品検出方法の実施に先立ち、機械学習(パターン認識)の技術を用いて学習を行う。具体的には、まず、学習用画像の前記識別対象領域(頭部)に識別対象領域教師データ141を付与する。この例において、前記識別対象領域教師データ141としては、例えば、頭部の位置、大きさ、向き等の教師データがあげられる。具体的には、例えば、図4に示すように、まず、学習用画像10の頭部にラベリング11を付すことで、前記頭部の位置および大きさの教師データを付与する。さらに、例えば、1度単位での向きデータ(例えば、左向き3度)、8方向に準じた向きデータ(例えば、斜め左)等の前記頭部の向きの教師データを付与する。前記頭部の位置、大きさ、向き等の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与する。検出精度を考慮すると、前記学習用画像10の数は多いほど好ましく、多数用意した学習用画像10に、多数の頭部の位置、大きさおよび向き等の識別対象領域教師データ141を付与することが好ましい。
First, prior to the implementation of the component detection method, learning is performed using a machine learning (pattern recognition) technique. Specifically, first, identification target
つぎに、識別対象領域教師データ141が付与された識別対象領域(頭部)に含まれる顔部品(左目、右目、鼻および口)に部品教師データ142を付与する。この例において、前記部品教師データ142としては、例えば、左目、右目、鼻および口のそれぞれの位置および隠れの有無等の教師データがあげられる。具体的には、例えば、図5(A)に示すように、まず、図4における頭部のラベリング11に含まれる左目、右目、鼻および口のそれぞれに○でラベリング12a〜15aを付すことで、前記左目、前記右目、前記鼻および前記口のそれぞれの位置の教師データ(例えば、(x,y)座標)およびそれらに隠れが無いとの教師データを付与する。なお、例えば、図5(B)に示すように、前記左目および前記右目がサングラスで隠れている場合、前記左目および前記右目のそれぞれに×でラベリング12bおよび13bを付すことで、前記左目および前記右目のそれぞれの位置の教師データ(例えば、(x,y)座標)およびそれらに隠れが有るとの教師データを付与する。この場合において、前記鼻および前記口のラベリングおよび教師データの付与については、前述の図5(A)に示した場合と同様である。また、例えば、図5(C)に示すように、前記鼻および前記口がマスクで隠れている場合、前記鼻および前記口のそれぞれに×でラベリング14bおよび15bを付すことで、前記鼻および前記口のそれぞれの位置の教師データ(例えば、(x,y)座標)およびそれらに隠れが有るとの教師データを付与する。この場合において、前記左目および前記右目のラベリングおよび教師データの付与については、前述の図5(A)に示した場合と同様である。前記左目、前記右目、前記鼻および前記口のそれぞれの位置および隠れの有無等の教師データは、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が入力することで付与する。
Next, the
つぎに、図1(A)および(B)に示すように、前記識別対象画像取得手段111により、識別対象画像を取得する(ステップS11)。 Next, as shown in FIGS. 1A and 1B, an identification target image is acquired by the identification target image acquisition unit 111 (step S11).
つぎに、図1(A)および(B)に示すように、前記識別対象領域検出手段121により、予め取得した前記識別対象領域教師データ141から作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域データを検出する(ステップS21)。この例において、前記識別対象領域データとしては、例えば、頭部の位置、大きさ、向き等のデータがあげられる。前記頭部の位置、大きさ、向きのデータの詳細は、前記頭部の位置、大きさ、向きの教師データと同様である。具体的には、例えば、図6(A)に示すように、予め取得した前記識別対象領域教師データ141から作成される識別対象領域抽出モデルを参照して、前記識別対象画像20の左上端から水平方向に、それを順に下の行に向かって探索するいわゆるラスタスキャンで、頭部を探索する。頭部を検出できなかった場合には、図6(B)に示すように、前記識別対象画像20の取得サイズを変えて、予め取得した前記識別対象領域教師データ141から作成される識別対象領域抽出モデルを参照して、前記ラスタスキャンで、頭部を探索する。前記取得サイズの変更を、頭部が検出されるまで繰り返すことで、前記頭部の位置、大きさ、向き等のデータを検出する。
Next, as shown in FIGS. 1 (A) and 1 (B), the identification target area extraction model created from the identification target
つぎに、図1(A)および(B)に示すように、前記部品検出手段122により、予め取得した前記部品教師データ142から作成される部品抽出モデルを参照して、前記識別対象領域に含まれる顔部品のデータを検出する(ステップS22)。この例において、前記顔部品データとしては、例えば、左目、右目、鼻および口のそれぞれの位置および隠れの有無等のデータがあげられる。前記左目、前記右目、前記鼻および前記口のそれぞれの位置および隠れの有無のデータの詳細は、前記左目、前記右目、前記鼻および前記口のそれぞれの位置および隠れの有無の教師データと同様である。具体的には、例えば、図7(A)に示すように、予め取得した前記部品教師データ142から作成される部品抽出モデルを参照して、左目、右目、鼻および口をそれぞれ検出する。ついで、前記左目、前記右目、前記鼻および前記口のそれぞれに○でラベリング22a〜25aを付し、前記左目、前記右目、前記鼻および前記口のそれぞれの位置のデータ(例えば、(x,y)座標)およびそれらに隠れが無いとのデータを検出する。なお、例えば、図7(B)に示すように、前記左目および前記右目がサングラスで隠れている場合、前記左目および前記右目のそれぞれに×でラベリング22bおよび23bを付し、前記左目および前記右目のそれぞれの位置のデータ(例えば、(x,y)座標)およびそれらに隠れが有るとのデータを検出する。この場合において、前記鼻および前記口のデータの検出については、前述の図7(A)に示した場合と同様である。また、例えば、図7(C)に示すように、前記鼻および前記口がマスクで隠れている場合、前記鼻および前記口のそれぞれに×でラベリング24bおよび25bを付し、前記鼻および前記口のそれぞれの位置のデータ(例えば、(x,y)座標)およびそれらに隠れが有るとのデータを検出する。この場合において、前記左目および前記右目のデータの検出については、前述の図7(A)に示した場合と同様である。
Next, as shown in FIGS. 1A and 1B, the
つぎに、図1(A)および(B)に示すように、前記出力手段131により、前記識別対象領域データおよび前記顔部品データのうち、少なくとも前記顔部品データを出力する(ステップS31)。出力される前記識別対象領域データとしては、例えば、頭部の位置(例えば、(x,y)座標)、大きさ、向きのデータ等があげられる。出力される前記顔部品データとしては、例えば、左目および右目に隠れが有るとのデータ等があげられる。前記出力工程S31は、任意の工程であり、本発明の部品検出方法に含まれていなくてもよいが、含まれていることが好ましい。
Next, as shown in FIGS. 1A and 1B, the
前述のように、本実施形態の部品検出装置および部品検出方法では、その実施に先立ち、機械学習(パターン認識)の技術を用いて、識別対象領域教師データおよび部品教師データを予め取得しておき、それらから作成される識別対象領域抽出モデルおよび部品抽出モデルを参照して識別対象領域データおよび顔部品データの検出を行う。このため、本実施形態の部品検出装置および部品検出方法によれば、識別対象領域データおよび顔部品データを高精度かつ容易に検出可能である。前述のとおり、本実施形態では、前記部品教師データに左目等の顔部品が隠れているものを含ませているため、識別対象画像において、前記顔部品が隠れている場合においても、前記顔部品データを高精度かつ容易に検出可能である。これらについては、後述の実施形態2および3においても同様である。 As described above, in the component detection apparatus and component detection method of this embodiment, prior to the implementation, the identification target region teacher data and the component teacher data are acquired in advance using a machine learning (pattern recognition) technique. Then, the identification target area data and the face part data are detected with reference to the identification target area extraction model and the part extraction model created from them. For this reason, according to the component detection apparatus and component detection method of the present embodiment, it is possible to easily detect the identification target area data and the facial component data with high accuracy. As described above, in the present embodiment, since the part teacher data includes a face part such as a left eye that is hidden, the face part is hidden even when the face part is hidden in the identification target image. Data can be detected with high accuracy and ease. The same applies to later-described Embodiments 2 and 3.
本実施形態では、前記学習用画像および前記識別対象画像として、一人の人物の画像を用いたが、本発明はこれに限定されない。前記学習用画像に二人以上の人物の画像を含ませ、機械学習(パターン認識)の技術を用いて、識別対象領域教師データおよび部品教師データを予め取得しておくことで、前記識別対象画像が二人以上の人物の画像であっても、それぞれの人物の識別対象領域データおよび部品データを高精度かつ容易に検出可能である。これについては、後述の実施形態2および3においても同様である。 In the present embodiment, an image of one person is used as the learning image and the identification target image, but the present invention is not limited to this. By including images of two or more persons in the learning image and using the machine learning (pattern recognition) technique, the identification target region teacher data and the component teacher data are acquired in advance, thereby the identification target image. Even if it is an image of two or more persons, it is possible to easily detect the identification target area data and the component data of each person with high accuracy. The same applies to later-described Embodiments 2 and 3.
前述のとおり、本発明においては、前記学習用画像および前記識別対象画像として、例えば、人物の画像を用いてもよい。前記学習用画像に二人の人物が重なり、脚が三本に見える画像を含ませ、機械学習(パターン認識)の技術を用いて、識別対象領域教師データおよび部品教師データを予め取得しておくことで、前記識別対象画像が二人の人物が重なり、脚が三本に見える画像であっても、前記三本の脚のうちの一本を、動物の尻尾であると誤検出するようなことがない。これについては、後述の実施形態2および3においても同様である。 As described above, in the present invention, for example, a person image may be used as the learning image and the identification target image. The learning image includes an image in which two persons overlap and three legs are seen, and identification target area teacher data and component teacher data are acquired in advance using a machine learning (pattern recognition) technique. Thus, even if the identification target image is an image in which two persons overlap and the legs look three, one of the three legs is erroneously detected as the tail of an animal. There is nothing. The same applies to later-described Embodiments 2 and 3.
(実施形態2)
つぎに、図2に、属性認識を含む例のフローチャート(同図(A))およびブロック図(同図(B))を示す。同図において、図1と同一部分には、同一符号を付している。同図(B)に示すように、本実施形態の部品検出装置は、さらに、前記データ記憶手段140に、属性認識用教師データ143が格納され、前記演算手段120が、属性認識手段123を含む点を除き、図1(B)に示す部品検出装置と同様の構成である。前記属性認識手段123は、前記属性認識用教師データ143と接続している。
(Embodiment 2)
Next, FIG. 2 shows a flowchart (FIG. 2A) and a block diagram (FIG. 2B) of an example including attribute recognition. In this figure, the same parts as those in FIG. As shown in FIG. 5B, in the component detection apparatus of the present embodiment, attribute
以下、実施形態1と同様に、前記識別対象領域が頭部であり、前記部品が左目、右目、鼻および口の4つである場合を例にとり、本実施形態の部品検出装置および部品検出方法について、さらに詳細に説明する。 Hereinafter, in the same manner as in the first embodiment, the component detection apparatus and the component detection method according to the present embodiment are described by taking, as an example, the case where the identification target region is the head and the components are the left eye, the right eye, the nose, and the mouth. Will be described in more detail.
この例の部品検出方法は、図2(B)の部品検出装置を用いて、例えば、つぎのようにして実施される。 The component detection method of this example is implemented as follows using the component detection apparatus of FIG. 2 (B), for example.
まず、前記部品検出方法の実施に先立ち、機械学習(パターン認識)の技術を用いて学習を行う。具体的には、まず、実施形態1と同様にして、学習用画像の識別対象領域(頭部)に識別対象領域教師データ141を付与する。
First, prior to the implementation of the component detection method, learning is performed using a machine learning (pattern recognition) technique. Specifically, first, similarly to the first embodiment, the identification target
つぎに、実施形態1と同様にして、識別対象領域教師データ141が付与された識別対象領域(頭部)に含まれる顔部品(左目、右目、鼻および口)に部品教師データ142を付与する。
Next, in the same manner as in the first embodiment, the
つぎに、前記識別対象領域教師データ141に属性を付与することで、属性認識用教師データ143を取得する。この例において、前記属性としては、例えば、被り物(例えば、帽子、フード等)の有無、眼鏡の有無、サングラスの有無、マスクの有無、性別、推定年齢等があげられる。前記属性は、例えば、キーボード、マウス等の従来公知の入力手段を用いて、人が付与する。
Next, attribute
つぎに、図2(A)および(B)に示すように、実施形態1と同様にして、前記識別対象画像取得手段111により、識別対象画像を取得する(ステップS11)。
Next, as shown in FIGS. 2A and 2B, the identification target image is acquired by the identification target
つぎに、図2(A)および(B)に示すように、実施形態1と同様にして、前記識別対象領域検出手段121により、予め取得した前記識別対象領域教師データ141から作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域データを検出する(ステップS21)。
Next, as shown in FIGS. 2A and 2B, as in the first embodiment, the identification target created from the identification target
つぎに、図2(A)および(B)に示すように、実施形態1と同様にして、前記部品検出手段122により、予め取得した前記部品教師データ142から作成される部品抽出モデルを参照して、前記識別対象領域に含まれる顔部品のデータを検出する(ステップS22)。
Next, as shown in FIGS. 2A and 2B, the component extraction model created from the
つぎに、図2(A)および(B)に示すように、予め取得した前記属性認識用教師データ143から作成される属性抽出モデルを参照して、前記顔部品の属性を認識する(ステップS23)。前記属性は、前記識別対象領域教師データ141に付与したものと同じである。
Next, as shown in FIGS. 2A and 2B, the attribute of the face part is recognized with reference to the attribute extraction model created from the attribute
つぎに、図2(A)および(B)に示すように、前記出力手段131により、前記識別対象領域データ、前記顔部品データおよび前記属性のうち、少なくとも前記顔部品データを出力する(ステップS31)。出力される前記識別対象領域データおよび顔部品データは、実施形態1と同様である。出力される前記属性としては、例えば、被り物が無い、眼鏡が無い、マスクが無い等の属性があげられる。前記出力工程S31は、任意の工程であり、本発明の部品検出方法に含まれていなくてもよいが、含まれていることが好ましい。
Next, as shown in FIGS. 2A and 2B, the
実施形態1における各顔部品の隠れの有無は、前記教師データの取得および前記データの検出に加え、もしくは代えて、本実施形態における前記属性の付与および前記属性の認識で判定してもよい。これについては、後述の実施形態3においても同様である。 Whether or not each face part is hidden in the first embodiment may be determined by adding the attribute and recognizing the attribute in the present embodiment in addition to or instead of acquiring the teacher data and detecting the data. The same applies to the third embodiment described later.
前述のように、本実施形態の部品検出装置および部品検出方法では、その実施に先立ち、機械学習(パターン認識)の技術を用いて取得した識別対象領域教師データに属性を付与した属性認識用教師データを予め取得しておき、それから作成される属性抽出モデル参照して属性を認識する。このため、本実施形態の部品検出装置および部品検出方法によれば、属性を高精度かつ容易に認識可能である。これについては、後述の実施形態3においても同様である。 As described above, in the component detection apparatus and the component detection method of the present embodiment, the attribute recognition teacher in which attributes are added to the identification target region teacher data acquired using the machine learning (pattern recognition) technique prior to the implementation. Data is acquired in advance, and attributes are recognized with reference to an attribute extraction model created therefrom. For this reason, according to the component detection apparatus and component detection method of this embodiment, an attribute can be recognized with high accuracy and easily. The same applies to the third embodiment described later.
本実施形態の部品検出装置および部品検出方法を用いれば、例えば、左目および右目に隠れが有るとの顔部品データが検出され、サングラスが有るとの属性が認識された場合に、サングラスを外すよう音声により警告したり、着用中の操作の制限を行うことのできるシステムを構築できる。また、本実施形態の部品検出装置および部品検出方法を用いれば、例えば、鼻に隠れが無く、口に隠れが有るとの顔部品データが検出され、マスクが有るとの属性が認定された場合に、マスクで鼻まで覆うよう音声により警告することのできるシステムを構築できる。さらに、本実施形態の部品検出装置および部品検出方法を用いれば、例えば、左目、右目、鼻および口に隠れが有るとの顔部品データが検出され、サングラスおよびマスクが有るとの属性が認識される識別対象画像の抽出により、犯罪者と思しき人物を探索するシステムを構築できる。これらについては、後述の実施形態3においても同様である。 If the component detection apparatus and the component detection method of this embodiment are used, for example, when facial component data indicating that there is a hiding in the left eye and the right eye is detected, and the attribute indicating that sunglasses is present is recognized, the sunglasses are removed. It is possible to construct a system that can warn by voice and limit operations while wearing. In addition, when the component detection apparatus and the component detection method of the present embodiment are used, for example, face component data indicating that there is no hiding in the nose and hiding in the mouth is detected, and an attribute that there is a mask is recognized. In addition, it is possible to construct a system capable of warning by voice so as to cover the nose with a mask. Furthermore, using the component detection apparatus and component detection method of the present embodiment, for example, facial component data indicating that the left eye, right eye, nose and mouth are hidden is detected, and the attribute indicating that sunglasses and a mask are present is recognized. A system for searching for a person who seems to be a criminal can be constructed by extracting an identification target image. The same applies to Embodiment 3 described later.
本実施形態では、属性認識用教師データの取得および属性の認識を、それぞれ、部品教師データの取得および顔部品データの検出の後に行ったが、本発明はこれに限定されず、属性認識用教師データの取得および属性の認識を、それぞれ、部品教師データの取得および顔部品データの検出と同時に行ってもよい。 In this embodiment, the acquisition of attribute recognition teacher data and the recognition of attributes are performed after the acquisition of component teacher data and the detection of face component data, respectively, but the present invention is not limited to this, and the teacher for attribute recognition Data acquisition and attribute recognition may be performed simultaneously with acquisition of part teacher data and detection of face part data, respectively.
(実施形態3)
つぎに、図3に、位置合わせ(アライメント)を含む例のフローチャート(同図(A))およびブロック図(同図(B))を示す。同図において、図1および2と同一部分には、同一符号を付している。同図(B)に示すように、本実施形態の部品検出装置は、さらに、前記演算手段120が、アライメント手段124を含む点を除き、図2(B)に示す部品検出装置と同様の構成である。
(Embodiment 3)
Next, FIG. 3 shows a flowchart (FIG. 3A) and a block diagram (FIG. 3B) of an example including alignment (alignment). In this figure, the same parts as those in FIGS. 1 and 2 are denoted by the same reference numerals. As shown in FIG. 2B, the component detection apparatus of the present embodiment further has the same configuration as the component detection apparatus shown in FIG. 2B except that the
以下、実施形態1および2と同様に、前記識別対象領域が頭部であり、前記部品が左目、右目、鼻および口の4つである場合を例にとり、本実施形態の部品検出装置および部品検出方法について、さらに詳細に説明する。
Hereinafter, as in
この例の部品検出方法は、図3(B)の部品検出装置を用いて、例えば、つぎのようにして実施される。 The component detection method of this example is implemented as follows using the component detection apparatus of FIG. 3 (B), for example.
まず、前記部品検出方法の実施に先立ち、機械学習(パターン認識)の技術を用いて学習を行う。具体的には、まず、実施形態1および2と同様にして、学習用画像の識別対象領域(頭部)に識別対象領域教師データ141を付与する。
First, prior to the implementation of the component detection method, learning is performed using a machine learning (pattern recognition) technique. Specifically, first, similarly to the first and second embodiments, the identification target
つぎに、実施形態1および2と同様にして、識別対象領域教師データ141が付与された識別対象領域(頭部)に含まれる顔部品(左目、右目、鼻および口)に部品教師データ142を付与する。
Next, in the same manner as in the first and second embodiments, the
つぎに、前記顔部品から位置合わせの基準となる基準顔部品(例えば、左目および右目)を選択した後、前記基準顔部品を所定の位置に固定してアライメント教師データを取得する。前記基準顔部品は、前記顔部品の中から少なくとも一つを選択すればよく、例えば、鼻、口等であってもよい。 Next, after selecting a reference face part (for example, left eye and right eye) as a reference for alignment from the face parts, the reference face part is fixed at a predetermined position, and alignment teacher data is acquired. The reference face part may be at least one selected from the face parts, and may be, for example, a nose or a mouth.
つぎに、前記アライメント教師データに属性を付与することで、属性認識用教師データ143を取得する。前記属性およびその付与方法は、実施形態2と同様である。
Next, attribute
つぎに、図3(A)および(B)に示すように、実施形態1および2と同様にして、前記識別対象画像取得手段111により、識別対象画像を取得する(ステップS11)。
Next, as shown in FIGS. 3A and 3B, the identification target image is acquired by the identification target
つぎに、図3(A)および(B)に示すように、実施形態1および2と同様にして、前記識別対象領域検出手段121により、予め取得した前記識別対象領域教師データ141から作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域データを検出する(ステップS21)。
Next, as shown in FIGS. 3A and 3B, similarly to
つぎに、図3(A)および(B)に示すように、実施形態1および2と同様にして、前記部品検出手段122により、予め取得した前記部品教師データ142から作成される部品抽出モデルを参照して、前記識別対象領域に含まれる顔部品のデータを検出する(ステップS22)。
Next, as shown in FIGS. 3A and 3B, in the same manner as in the first and second embodiments, a component extraction model created from the
つぎに、図3(A)および(B)に示すように、前記顔部品から位置合わせの基準となる基準顔部品(例えば、左目および右目)を選択した後、前記基準顔部品を所定の位置に固定してアライメント画像を作成する(ステップS24)。前記基準顔部品は、前記顔部品の中から少なくとも一つを選択すればよく、例えば、鼻、口等であってもよい。検出精度および検出速度を考慮すると、予め取得した前記アライメント教師データと同じ条件で、前記アライメント画像を作成することが好ましい。 Next, as shown in FIGS. 3A and 3B, after selecting a reference face part (for example, left eye and right eye) as a reference for alignment from the face part, the reference face part is moved to a predetermined position. To create an alignment image (step S24). The reference face part may be at least one selected from the face parts, and may be, for example, a nose or a mouth. In consideration of detection accuracy and detection speed, it is preferable to create the alignment image under the same conditions as the alignment teacher data acquired in advance.
つぎに、図3(A)および(B)に示すように、予め取得した前記属性認識用教師データ143から作成される属性抽出モデルを参照して、前記顔部品の属性を認識する(ステップS23)。前記属性は、前記アライメント教師データに付与したものと同じである。
Next, as shown in FIGS. 3A and 3B, the attribute of the face part is recognized with reference to the attribute extraction model created from the attribute
つぎに、図3(A)および(B)に示すように、前記出力手段131により、前記識別対象領域データ、前記顔部品データおよび前記属性のうち、少なくとも前記顔部品データを出力する(ステップS31)。出力される前記識別対象領域データ、顔部品データおよび属性は、実施形態1および2と同様である。前記出力工程S31は、任意の工程であり、本発明の部品検出方法に含まれていなくてもよいが、含まれていることが好ましい。
Next, as shown in FIGS. 3A and 3B, the
前述のように、本実施形態の部品検出装置および部品検出方法では、その実施に先立ち、機械学習(パターン認識)の技術を用いて取得した識別対象領域教師データに位置合わせ(アライメント)を行った後、属性を付与した属性認識用教師データを予め取得しておき、それから作成される属性抽出モデルを参照して属性を認識する。このため、本実施形態の部品検出装置および部品検出方法によれば、属性をより高精度かつ迅速に認識可能である。 As described above, in the component detection apparatus and component detection method of the present embodiment, prior to the implementation, alignment (alignment) is performed on the identification target region teacher data acquired using the machine learning (pattern recognition) technique. After that, attribute recognition teacher data to which the attribute is given is acquired in advance, and the attribute is recognized with reference to the attribute extraction model created therefrom. For this reason, according to the component detection apparatus and component detection method of this embodiment, an attribute can be recognized more accurately and rapidly.
(実施形態4)
本実施形態のプログラムは、前述の部品検出方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。
(Embodiment 4)
The program of this embodiment is a program that can execute the above-described component detection method on a computer. Or the program of this embodiment may be recorded on a recording medium, for example. The recording medium is not particularly limited, and examples thereof include a read only memory (ROM), a hard disk (HD), an optical disk, a floppy (registered trademark) disk (FD), and the like.
(実施形態5)
図8に、本発明の部品検出装置を用いた部品検出システムの一例の構成を示す。図示のとおり、この部品検出システムは、識別対象画像取得手段111a、111b、111cと、出力手段131a、131b、131cと、通信インターフェイス150a、150b、150cと、サーバ170とを備える。前記識別対象画像取得手段111aおよび出力手段131aは、通信インターフェイス150aに接続されている。前記識別対象画像取得手段111a、出力手段131aおよび通信インターフェイス150aは、場所Xに設置されている。前記識別対象画像取得手段111bおよび出力手段131bは、通信インターフェイス150bに接続されている。前記識別対象画像取得手段111b、出力手段131bおよび通信インターフェイス150bは、場所Yに設置されている。前記識別対象画像取得手段111cおよび出力手段131cは、通信インターフェイス150cに接続されている。前記識別対象画像取得手段111c、出力手段131cおよび通信インターフェイス150cは、場所Zに設置されている。そして、通信インターフェイス150a、150b、150cと、前記サーバ170とが、回線網160を介して接続されている。
(Embodiment 5)
FIG. 8 shows a configuration of an example of a component detection system using the component detection apparatus of the present invention. As illustrated, the component detection system includes identification target
この部品検出システムでは、前記サーバ170側に、識別対象領域取得手段および部品検出手段を有し、前記サーバ170に識別対象領域教師データおよび部品教師データが格納される。例えば、場所Xで前記識別対象画像取得手段111aを用いて取得された識別対象画像を、サーバ170に送信し、前記サーバ170側で、識別対象領域および部品を検出する。また、検出された識別対象領域および部品のうち、少なくとも部品を、前記出力手段131aにより出力する。
In this component detection system, the
本実施形態の部品検出システムによれば、識別対象画像取得手段および出力手段を現場に設置し、サーバ等は他の場所に設置して、オンラインによる識別対象領域および部品の検出等が可能である。そのため、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。本実施形態の部分検出システムは、前述の実施形態2の属性認識および実施形態3の位置合わせ(アライメント)に対応したものであってもよい。 According to the component detection system of the present embodiment, the identification target image acquisition unit and the output unit are installed in the field, and the server or the like is installed in another place, so that the identification target region and the component can be detected online. . Therefore, the installation of the apparatus does not take a place, and maintenance is easy. Further, even when the installation locations are separated, centralized management and remote operation can be performed at one location. The partial detection system of the present embodiment may correspond to the attribute recognition of the second embodiment and the alignment (alignment) of the third embodiment.
10 学習用画像
11、12a、13a、14a、15a、12b、13b、14b、15b、22a、23a、24a、25a、22b、23b、24b、25b ラベリング
20 識別対象画像
111 識別対象画像取得手段
120 演算手段
121 識別対象領域検出手段
122 部品検出手段
123 属性認識手段
124 アライメント手段
131 出力手段
140 データ記憶手段
141 識別対象領域教師データ
142 部品教師データ
143 属性認識用教師データ
10
Claims (12)
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出手段と、
予め取得した部品の位置及び隠れの有無についての部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出手段とを含み、
さらに、
予め取得した属性認識用教師データから作成される属性抽出モデルを参照して、前記部品の属性を認識する属性認識手段と、
前記部品から位置合わせの基準となる基準部品を選択した後、前記基準部品を所定の位置に固定してアライメント画像を作成するアライメント手段とを含み、
前記アライメント画像を用いて、前記属性認識手段により、前記部品の属性を認識することを特徴とする部品検出装置。 An identification target image acquisition means for acquiring an identification target image;
An identification target area detecting means for detecting an identification target area from the identification target image with reference to an identification target area extraction model created from the identification target area teacher data acquired in advance;
Referring to component extraction model created from the component teaching data on the location and the presence of hidden previously obtained components, viewed contains a component detecting means for detecting a component included in the recognition target area,
further,
Attribute recognition means for recognizing the attribute of the part with reference to an attribute extraction model created from attribute recognition teacher data acquired in advance;
An alignment unit that creates an alignment image by fixing the reference component at a predetermined position after selecting a reference component serving as a reference for alignment from the components;
A component detection apparatus that recognizes an attribute of the component by the attribute recognition unit using the alignment image .
予め取得した識別対象領域教師データから作成される識別対象領域抽出モデルを参照して、前記識別対象画像から識別対象領域を検出する識別対象領域検出工程と、An identification target area detection step of detecting an identification target area from the identification target image with reference to an identification target area extraction model created from the identification target area teacher data acquired in advance;
予め取得した部品の位置及び隠れの有無についての部品教師データから作成される部品抽出モデルを参照して、前記識別対象領域に含まれる部品を検出する部品検出工程とを含み、A component detection step of detecting a component included in the identification target region with reference to a component extraction model created from component teacher data on the position of the component and the presence / absence of the component acquired in advance,
さらに、further,
予め取得した属性認識用教師データから作成される属性抽出モデルを参照して、前記部品の属性を認識する属性認識工程と、Referring to an attribute extraction model created from attribute recognition teacher data acquired in advance, an attribute recognition step for recognizing the attribute of the component;
前記部品から位置合わせの基準となる基準部品を選択した後、前記基準部品を所定の位置に固定してアライメント画像を作成するアライメント工程とを含み、An alignment step in which an alignment image is created by selecting a reference component serving as a reference for alignment from the components and then fixing the reference component at a predetermined position;
前記アライメント画像を用いて、前記属性認識工程において、前記部品の属性を認識するThe attribute of the component is recognized in the attribute recognition step using the alignment image.
ことを特徴とする部品検出方法。A component detection method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009189402A JP5431830B2 (en) | 2009-08-18 | 2009-08-18 | Component detection apparatus, component detection method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009189402A JP5431830B2 (en) | 2009-08-18 | 2009-08-18 | Component detection apparatus, component detection method, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011039994A JP2011039994A (en) | 2011-02-24 |
JP5431830B2 true JP5431830B2 (en) | 2014-03-05 |
Family
ID=43767661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009189402A Active JP5431830B2 (en) | 2009-08-18 | 2009-08-18 | Component detection apparatus, component detection method, program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5431830B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012203592A (en) * | 2011-03-24 | 2012-10-22 | Nec Corp | Image processing system, face information storage method, image processing device and method for controlling the same, and control program |
CN117018630A (en) * | 2015-08-03 | 2023-11-10 | 天使集团股份有限公司 | Cheating detection system for casino |
US10706266B2 (en) | 2015-09-09 | 2020-07-07 | Nec Corporation | Guidance acquisition device, guidance acquisition method, and program |
JP7263094B2 (en) * | 2019-04-22 | 2023-04-24 | キヤノン株式会社 | Information processing device, information processing method and program |
CN111027490B (en) * | 2019-12-12 | 2023-05-30 | 腾讯科技(深圳)有限公司 | Face attribute identification method and device and storage medium |
WO2021192225A1 (en) * | 2020-03-27 | 2021-09-30 | 日本電気株式会社 | Teaching data conversion device, teaching data conversion method, and non-temporary storage medium |
JP6918382B1 (en) * | 2020-09-15 | 2021-08-11 | クリスタルメソッド株式会社 | Information processing device and information processing method |
US20220343934A1 (en) * | 2021-04-26 | 2022-10-27 | Avaya Management L.P. | Compensation for face coverings in captured audio |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0991432A (en) * | 1995-09-28 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | Method for extracting doubtful person |
JP2009176054A (en) * | 2008-01-24 | 2009-08-06 | Takumi Vision株式会社 | Face image normalization system and normalization method |
JP5127583B2 (en) * | 2008-06-20 | 2013-01-23 | 株式会社豊田中央研究所 | Object determination apparatus and program |
-
2009
- 2009-08-18 JP JP2009189402A patent/JP5431830B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011039994A (en) | 2011-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5431830B2 (en) | Component detection apparatus, component detection method, program, and recording medium | |
JP5594791B2 (en) | Attribute determination method, attribute determination apparatus, program, recording medium, and attribute determination system | |
Shreve et al. | Macro-and micro-expression spotting in long videos using spatio-temporal strain | |
JP5569990B2 (en) | Attribute determination method, attribute determination apparatus, program, recording medium, and attribute determination system | |
US6690814B1 (en) | Image processing apparatus and method | |
JP5523900B2 (en) | Person search device, person search method, and person search program | |
CN107133608A (en) | Identity authorization system based on In vivo detection and face verification | |
US20210224752A1 (en) | Work support system and work support method | |
JP2014182480A (en) | Person recognition device and method | |
JP5787686B2 (en) | Face recognition device and face recognition method | |
WO2020195732A1 (en) | Image processing device, image processing method, and recording medium in which program is stored | |
JP2014016968A (en) | Person retrieval device and data collection device | |
JP5718632B2 (en) | Part recognition device, part recognition method, and part recognition program | |
US20190347473A1 (en) | Suspiciousness degree estimation model generation device | |
KR101350882B1 (en) | Server for analysing video | |
JP2005250692A (en) | Method for identifying object, method for identifying mobile object, program for identifying object, program for identifying mobile object, medium for recording program for identifying object, and medium for recording program for identifying traveling object | |
JP2012049774A (en) | Video monitoring device | |
JP2010257450A (en) | Device, method, and program for retrieving person | |
JP7362102B2 (en) | Information processing device and information processing program | |
Afroze et al. | Talking vs non-talking: A vision based approach to detect human speaking mode | |
JP2010244090A (en) | Person information extraction device, person information extraction method, and person information extraction program | |
JP6022625B2 (en) | Part recognition device, part recognition method, and part recognition program | |
JP5472976B2 (en) | Object detection device, object detection method, program, and recording medium | |
WO2022230022A1 (en) | Image processing device | |
Krause et al. | Anonymization of Persons in Videos of Authentic Social Interaction: Machine Learning Model Selection and Parameter Optimization. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130516 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130822 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131205 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5431830 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |