JP5489340B2 - Face masking apparatus and method - Google Patents

Face masking apparatus and method Download PDF

Info

Publication number
JP5489340B2
JP5489340B2 JP2010056056A JP2010056056A JP5489340B2 JP 5489340 B2 JP5489340 B2 JP 5489340B2 JP 2010056056 A JP2010056056 A JP 2010056056A JP 2010056056 A JP2010056056 A JP 2010056056A JP 5489340 B2 JP5489340 B2 JP 5489340B2
Authority
JP
Japan
Prior art keywords
face
masking
area
image
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010056056A
Other languages
Japanese (ja)
Other versions
JP2011193115A (en
Inventor
勝司 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010056056A priority Critical patent/JP5489340B2/en
Publication of JP2011193115A publication Critical patent/JP2011193115A/en
Application granted granted Critical
Publication of JP5489340B2 publication Critical patent/JP5489340B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、監視カメラシステムに用いて好適な顔マスクキング装置及び方法に関する。   The present invention relates to a face masking apparatus and method suitable for use in a surveillance camera system.

監視カメラシステムでは、プライバシ保護のために画像内の顔領域を非可視化することが行われている。顔の非可視化には一般的にマスキングという手法が用いられる。従来のマスキング手法として、例えば特許文献1〜4で開示されたものが知られている。それらのうち、特許文献1及び2には、カラー画像から肌色領域を検出することにより人の顔領域を特定する方法が開示されている。また、特許文献3及び4には、顔検出又はパターンマッチングを行い、顔をマスキングする方法が開示されている。また、特許文献2における顔を検出する技術として、非特許文献1〜3に示すアダブースト学習法を用いた識別器による顔検出法がある。   In the surveillance camera system, the face area in the image is made invisible for privacy protection. A masking technique is generally used to make a face invisible. As conventional masking techniques, for example, those disclosed in Patent Documents 1 to 4 are known. Among them, Patent Documents 1 and 2 disclose a method for specifying a human face area by detecting a skin color area from a color image. Patent Documents 3 and 4 disclose a method for masking a face by performing face detection or pattern matching. Further, as a technique for detecting a face in Patent Document 2, there is a face detection method using a discriminator using the Adaboost learning method shown in Non-Patent Documents 1 to 3.

画像内の顔の位置及びサイズはまちまちであるため、実際に画像内の顔を検出するには以下の処理を行うことが一般的である。
画像ウインドウと実際の顔のサイズを一致させるために、画像を段階的にスケーリングすると共に、スケーリングした画像内の各箇所で顔検出を行う。更に、各スケーリングした画像において顔があると判定した領域(顔候補領域)同士を統合して最終的な顔領域を特定する(顔候補領域処理)。
Since the position and size of the face in the image vary, it is common to perform the following processing to actually detect the face in the image.
In order to match the size of the image window and the actual face, the image is scaled stepwise and face detection is performed at each location in the scaled image. Further, the final face area is specified by integrating areas (face candidate areas) determined to have a face in each scaled image (face candidate area processing).

図11は、従来の顔候補領域統合処理を説明するための図である。同図において、画像1101は顔検出の処理対象である画像である。この画像1101内の顔候補領域1102は顔検出処理により顔があると判定された領域である。また、顔領域1103は顔候補領域統合処理により統合されて最終的な顔領域として検出された領域である。画像1101を段階的にスケーリングすると共にスケーリングした画像内の各箇所で顔検出を行うと、顔候補領域1102が実際の顔領域周辺に1ないし複数個実際の顔領域サイズとほぼ同じサイズで検出される。前記顔候補領域統合処理では、顔候補領域1102同士の中心位置の距離が近いものを同一グループと判定する。そして、同一グループの顔候補領域1102の平均位置と平均サイズを求め、これを最終的な顔領域として検出される顔領域1103の位置及びサイズとする。   FIG. 11 is a diagram for explaining a conventional face candidate area integration process. In the figure, an image 1101 is an image to be processed for face detection. A face candidate area 1102 in the image 1101 is an area determined to have a face by face detection processing. Further, the face area 1103 is an area that is integrated by the face candidate area integration process and detected as a final face area. When the image 1101 is scaled step by step and face detection is performed at each location in the scaled image, one or more face candidate areas 1102 are detected around the actual face area with approximately the same size as the actual face area size. The In the face candidate area integration process, face candidate areas 1102 whose center positions are close to each other are determined as the same group. Then, the average position and average size of the face candidate areas 1102 of the same group are obtained, and these are set as the position and size of the face area 1103 detected as the final face area.

特開平11−146405号公報Japanese Patent Laid-Open No. 11-146405 特開2008−252779号公報JP 2008-2527779 A 特開2008−160354号公報JP 2008-160354 A 特開2001−086407号公報JP 2001-086407 A

Bernhard Froba, Andreas Ernst,「Face Detection with the Modified Census Transform」, Proceedings for Sixth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR), 2004年5月, p.91-96Bernhard Froba, Andreas Ernst, `` Face Detection with the Modified Census Transform '', Proceedings for Sixth IEEE International Conference on Automatic Face and Gesture Recognition (AFGR), May 2004, p.91-96 Yoav Freund, Robert E.Schapire,「A decision-theoretic generalization of on-line learning and anapplication to boosting」, Computational Learing Theory Eurocolt'95, Springer Verlag, 1995年, p.23-37Yoav Freund, Robert E. Schapire, `` A decision-theoretic generalization of on-line learning and anapplication to boosting '', Computational Learing Theory Eurocolt'95, Springer Verlag, 1995, p.23-37 Paul Viola, Michael Jones,「Rapid Object Detection Using a Boosted Cascade of Simple Features」, IEEE Computer Society Conference on Computer Virsion and Pattern Recognition (CVPR), 2001年12月, ISSN:1063-6919, Vol.1, p.511-518Paul Viola, Michael Jones, `` Rapid Object Detection Using a Boosted Cascade of Simple Features '', IEEE Computer Society Conference on Computer Virsion and Pattern Recognition (CVPR), December 2001, ISSN: 1063-6919, Vol.1, p. 511-518

しかしながら、上述した各先行文献で開示された従来技術では、以下に列記する課題がある。
(1)特許文献1、2で開示された技術では、顔以外の部分(例えば、腕や手)なども含めて過剰にマスキングしてしまう。すなわち、肌色領域がそのまま顔領域とは限らないため、顔以外の腕や手をマスキングしてしまう。
However, the conventional techniques disclosed in the above-mentioned prior art documents have the following problems.
(1) In the techniques disclosed in Patent Documents 1 and 2, excessive masking is performed including parts other than the face (for example, arms and hands). That is, since the skin color area is not necessarily the face area as it is, the arms and hands other than the face are masked.

(2)特許文献3、4で開示された技術では、顔の一部が隠蔽されている場合など顔全体が露出していない場合は顔を検出できず、顔がマスキングされない。すなわち、図12に示すように、画像1201内で人物1202よって人物1203の顔の一部が隠蔽されているような場合、図13に示すように、人物1203に対する検出の特徴量ブロック1301〜1303の一部(特徴量ブロック1302と1303の一部)が人物1202の画像情報で覆われるために、顔検出のスコア値が低下し、その結果、人物1203の顔領域周辺で顔がないと判定されるため、この課題が生じる。 (2) With the techniques disclosed in Patent Documents 3 and 4, when the entire face is not exposed, such as when a part of the face is hidden, the face cannot be detected and the face is not masked. That is, as shown in FIG. 12, when a part of the face of the person 1203 is concealed by the person 1202 in the image 1201, as shown in FIG. 13, detected feature amount blocks 1301 to 1303 for the person 1203. Since part of the feature amount blocks 1302 and 1303 are covered with the image information of the person 1202, the face detection score value decreases, and as a result, it is determined that there is no face around the face area of the person 1203. This problem arises.

また、複数の顔が近接している場合、顔領域が実際の顔位置からずれて検出される場合もあり、顔の一部しかマスキングされないという課題もある。これは、図14に示すように、画像1401内で人物1402と人物1403の顔同士が近接している場合、お互いの顔に対する顔候補領域1404が近接しているために同一グループとして判定され、統合処理の結果、最終的な顔領域として検出される顔候補領域1404の位置が人物1402と人物1403の中間位置となり、顔候補領域1404のサイズは人物1402及び人物1403の顔サイズの平均となるためにこの課題が発生する。以上のような課題は人が多数存在する人混みなどでは高い確率で発生してしまう。   In addition, when a plurality of faces are close to each other, the face area may be detected deviating from the actual face position, and there is a problem that only a part of the face is masked. As shown in FIG. 14, when the faces of the person 1402 and the person 1403 are close to each other in the image 1401, the face candidate areas 1404 for the faces of each other are close to each other, so that they are determined as the same group. As a result of the integration processing, the position of the face candidate area 1404 detected as the final face area is an intermediate position between the person 1402 and the person 1403, and the size of the face candidate area 1404 is the average of the face sizes of the person 1402 and the person 1403. Therefore, this problem occurs. The above problems occur with high probability in crowds where there are many people.

本発明は、係る事情に鑑みてなされたものであり、人が多数存在する人混みなどにおいても適切なマスキングが行える顔マスキング装置及び方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and an object of the present invention is to provide a face masking apparatus and method that can perform appropriate masking even in crowds where there are many people.

本発明の顔マスキング装置は、入力画像から画像ウインドウを抽出する画像ウインドウ抽出手段と、前記画像ウインドウ抽出手段で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出手段と、前記スコア算出手段で算出されたスコア値を所定の第1の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定手段と、前記顔検出領域が少なくとも2つ設定された場合に、前記顔検出領域設定手段で設定された顔検出領域間の距離を所定の第2の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定手段と、を備え、前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断するThe face masking apparatus according to the present invention includes an image window extracting unit that extracts an image window from an input image, and a score calculating unit that calculates a score value indicating the likelihood of the face in the image window extracted by the image window extracting unit. The score value calculated by the score calculation means is compared with a predetermined first threshold, and a face detection area setting means for setting a face detection area according to the comparison result, and at least two face detection areas are set. A face group area setting for comparing a distance between the face detection areas set by the face detection area setting means with a predetermined second threshold and setting a face group area including the face detection area according to a comparison result and means, and when masking the face detection area in response to the score value of the face detection region, to determine the necessity of masking a different threshold and the face group region and the region outside .

上記構成によれば、顔の確からしさを示すスコア値に基づき顔領域を特定するので、顔以下の部分の過剰マスキングを抑制することが可能となる。また、スコア値が所定の第2の閾値以上の領域(1つの場合もあれば複数の場合もある)を包括する範囲を顔群領域範囲として設定するので、人混みなどで高い確率で発生する、人物の顔の一部が隠蔽及び顔同士が近接を原因とするマスキングミスを抑制することが可能となる。このように、人が多数存在する人混みなどにおいても適切なマスキングを行うことが可能となる。   According to the above configuration, since the face area is specified based on the score value indicating the likelihood of the face, it is possible to suppress excessive masking of the portion below the face. In addition, since a range including a region (one or a plurality of cases) where the score value is equal to or greater than a predetermined second threshold is set as the face group region range, it occurs with high probability due to crowds, It becomes possible to suppress masking mistakes caused by concealment of part of a person's face and proximity of faces. In this way, appropriate masking can be performed even in crowds where there are many people.

上記構成において、前記顔群領域設定手段で設定された顔群領域をマスキングするマスキング手段を備えた。   In the above configuration, a masking unit for masking the face group region set by the face group region setting unit is provided.

上記構成によれば、顔群領域のみマスキングすることができる。   According to the above configuration, only the face group region can be masked.

上記構成において、前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの要否を決定する。   The said structure WHEREIN: The said masking means determines the necessity of masking of the said face detection area in the said face group area | region according to the said score value.

上記構成によれば、例えばスコア値が高く顔の存在が高い領域はマスキングを行い、それほどでもないところはマスキングを行わない。これにより、過度なマスキングを防ぐことができる。   According to the above configuration, for example, an area where the score value is high and the presence of a face is high is masked, and masking is not performed where it is not so much. Thereby, excessive masking can be prevented.

上記構成において、前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの度合いを決定する。   The said structure WHEREIN: The said masking means determines the degree of masking of the said face detection area in the said face group area | region according to the said score value.

上記構成によれば、例えば、スコア値が高く顔の存在が高い領域はマスキングの非可視化度合い高くし、それほどでもないところは非可視化度合いを低くする。これにより、過度なマスキングを防ぐことができる。   According to the above-described configuration, for example, an area where the score value is high and the presence of the face is high makes the masking invisible degree high, and the area where the score value is low is made low. Thereby, excessive masking can be prevented.

上記構成において、記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断する第2のマスキング手段を備えた。 In the above structure, with a second masking means for determining the necessity of masking different thresholds as pre Kikao group region and the region outside.

上記構成によれば、顔郡領域内では顔の一部が隠蔽した顔に対しても顔領域として検出してマスクすることができ、顔群領域の外側では顔でない領域までマスクすることがないマスキングを行うことができる。   According to the above configuration, a face that is partly concealed in the face group area can be detected and masked as a face area, and a non-face area is not masked outside the face group area. Masking can be performed.

本発明の顔マスキング方法は、入力画像から少なくとも2つの画像ウインドウを抽出する画像ウインドウ抽出ステップと、前記画像ウインドウ抽出ステップで抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出ステップと、前記スコア算出ステップで算出されたスコア値を所定の第1の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定ステップと、前記顔検出領域設定ステップで設定された顔検出領域間の距離を所定の第2の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定ステップと、を備え、前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断するAccording to the face masking method of the present invention, an image window extracting step for extracting at least two image windows from an input image, and a score for calculating a score value indicating the likelihood of the face in the image window extracted in the image window extracting step. Setting in the calculation step, a face detection region setting step for comparing the score value calculated in the score calculation step with a predetermined first threshold value and setting a face detection region according to the comparison result, and the face detection region setting step It has been the distance between the face detection area in accordance with the comparison result of the comparison with a predetermined second threshold value and a face group region setting step of setting a face group area including the face detection area, the face detection area When masking the face detection area according to the score value, it is determined whether masking is necessary or not based on different threshold values for the inside and outside of the face group area .

上記方法によれば、顔の確からしさを示すスコア値に基づき顔領域を特定するので、顔以下の部分の過剰マスキングを抑制することが可能となる。また、スコア値が所定の第2の閾値以上の領域(1つの場合もあれば複数の場合もある)を包括する範囲を顔群領域範囲として設定するので、人混みなどで高い確率で発生する、人物の顔の一部が隠蔽及び顔同士が近接を原因とするマスキングミスを抑制することが可能となる。このように、人が多数存在する人混みなどにおいても適切なマスキングを行うことが可能となる。   According to the above method, since the face area is specified based on the score value indicating the likelihood of the face, it is possible to suppress excessive masking of the portion below the face. In addition, since a range including a region (one or a plurality of cases) where the score value is equal to or greater than a predetermined second threshold is set as the face group region range, it occurs with high probability due to crowds, It becomes possible to suppress masking mistakes caused by concealment of part of a person's face and proximity of faces. In this way, appropriate masking can be performed even in crowds where there are many people.

本発明によれば、人が多数存在する人混みなどにおいても適切なマスキングが行える。   According to the present invention, it is possible to perform appropriate masking even in crowds where many people exist.

本発明の実施の形態1に係る顔マスキング装置の概略構成を示すブロック図1 is a block diagram showing a schematic configuration of a face masking apparatus according to Embodiment 1 of the present invention. 図1の顔マスキング装置の画像ウインドウ抽出部で抽出された画像ウインドウの一例を示す図The figure which shows an example of the image window extracted by the image window extraction part of the face masking apparatus of FIG. 図1の顔マスキング装置のスコア算出部の概略構成を示すブロック図The block diagram which shows schematic structure of the score calculation part of the face masking apparatus of FIG. 図1の顔マスキング装置で用いられる学習データの一例を示す図The figure which shows an example of the learning data used with the face masking apparatus of FIG. 図1の顔マスキング装置が入力する画像の一例を示す図The figure which shows an example of the image which the face masking apparatus of FIG. 1 inputs 図1の顔マスキング装置における入力画像に対するスコア値分布を説明するための図The figure for demonstrating the score value distribution with respect to the input image in the face masking apparatus of FIG. 図1の顔マスキング装置における顔マスキング手順を示すフローチャート1 is a flowchart showing a face masking procedure in the face masking apparatus of FIG. 本発明の実施の形態2に係る顔マスキング装置の概略構成を示すブロック図The block diagram which shows schematic structure of the face masking apparatus which concerns on Embodiment 2 of this invention. 図1又は図8に示す顔マスキング装置を用いた監視カメラシステムの構成を示す図The figure which shows the structure of the surveillance camera system using the face masking apparatus shown in FIG. 1 or FIG. 図9の監視カメラシステムのコンピュータに用いられるユーザーインタフェースを示す図The figure which shows the user interface used for the computer of the surveillance camera system of FIG. 従来技術における顔候補領域統合処理を説明するための図The figure for demonstrating the face candidate area | region integration process in a prior art 顔の一部が隠蔽されている画像の一例を示す図The figure which shows an example of the image where a part of face is concealed 顔の一部が隠蔽されている画像例における画像ウインドウ内の特徴量ブロックの状態を説明するための図The figure for demonstrating the state of the feature-value block in the image window in the example of an image where a part of face is concealed 従来技術における顔が近接している画像例及び同画像例における顔候補領域統合処理結果を説明するための図The figure for demonstrating the face candidate area | region integration process result in the example of an image with the face in the prior art, and the image example

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings.

(実施の形態1)
図1は、本発明の実施の形態1に係る顔マスキング装置の概略構成を示すブロック図である。同図において、本実施の形態の顔マスキング装置100は、画像入力部101と、スケーリング画像生成部102と、画像ウインドウ抽出部(画像ウインドウ抽出手段)103と、スコア算出部(スコア算出手段)104と、比較器(顔検出領域設定手段)105と、顔群領域判定部(顔群領域設定手段)106と、マスキング部(マスキング手段)107とを備えて構成される。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of a face masking apparatus according to Embodiment 1 of the present invention. In the figure, a face masking apparatus 100 according to the present embodiment includes an image input unit 101, a scaled image generation unit 102, an image window extraction unit (image window extraction unit) 103, and a score calculation unit (score calculation unit) 104. And a comparator (face detection area setting means) 105, a face group area determination section (face group area setting means) 106, and a masking section (masking means) 107.

画像入力部101は、図示せぬカメラで撮影して得られた画像を入力し保持する。スケーリング画像生成部102は、一般的なサブサンプリング、面積補間法、アフィン変換などの方法を用いて、画像入力部101が入力した画像をスケーリングし保持する。画像ウインドウ抽出部103は、スケーリング画像生成部102でスケーリングされた入力画像から少なくとも2つの画像ウインドウを抽出する。画像ウインドウ抽出部103で抽出する画像ウインドウは画像入力部101が入力した画像中の顔検出処理対象とする領域である。図2は、画像ウインドウ抽出部103で抽出された画像ウインドウの一例を示す図である。   The image input unit 101 inputs and holds an image obtained by photographing with a camera (not shown). The scaled image generation unit 102 scales and holds the image input by the image input unit 101 using a method such as general sub-sampling, area interpolation, or affine transformation. The image window extraction unit 103 extracts at least two image windows from the input image scaled by the scaling image generation unit 102. The image window extracted by the image window extraction unit 103 is an area to be subjected to face detection processing in the image input by the image input unit 101. FIG. 2 is a diagram illustrating an example of an image window extracted by the image window extraction unit 103.

スコア算出部104は、画像ウインドウ抽出部103で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出する。図3はスコア算出部104の概略構成を示すブロック図である。同図において、スコア算出部104は、3つの判別器311〜313を備えており、例えば図2に示す画像ウインドウ201内の特徴量ブロック211〜213のスコア値を算出する。   The score calculation unit 104 calculates a score value indicating the likelihood of the face in the image window extracted by the image window extraction unit 103. FIG. 3 is a block diagram illustrating a schematic configuration of the score calculation unit 104. In the figure, the score calculation unit 104 includes three discriminators 311 to 313, and for example, calculates score values of the feature amount blocks 211 to 213 in the image window 201 shown in FIG.

画像ウインドウ201内の各特徴量ブロック211〜213は2値化パターン化されている。この2値化は、ブロック内の画素の輝度値をブロック内の輝度平均値と比較し、画素の輝度値が平均値よりも高ければ「1」を、そうでなければ「0」をラベル付けすることで実現している。2値化パターン化された各特徴量ブロック211〜213は、アダブースト学習法によってスコア値が決定される。図4にアダブースト学習法により生成された学習データの一例を示す。   Each feature amount block 211 to 213 in the image window 201 is binarized. This binarization compares the luminance value of the pixel in the block with the average luminance value in the block, and labels “1” if the luminance value of the pixel is higher than the average value, otherwise labeled “0”. It is realized by doing. A score value is determined by the AdaBoost learning method for each of the feature amount blocks 211 to 213 that have been binarized. FIG. 4 shows an example of learning data generated by the AdaBoost learning method.

判別器311は、学習データ311−1と加算器311−2とから構成される。判別器312は、学習データ312−1と加算器312−2とから構成される。判別器313は、学習データ313−1と加算器313−2とから構成される。判別器311には「0」のスコア値と特徴量ブロック211が入力され、判別器312には判別器311で得られたスコア値と特徴量ブロック212が入力され、判別器313には判別器312で得られたスコア値と特徴量ブロック213が入力される。   The discriminator 311 includes learning data 311-1 and an adder 311-2. The discriminator 312 includes learning data 312-1 and an adder 312-2. The discriminator 313 includes learning data 313-1 and an adder 313-2. A score value of “0” and the feature amount block 211 are input to the discriminator 311, the score value obtained by the discriminator 311 and the feature amount block 212 are input to the discriminator 311, and the discriminator 313 The score value obtained in 312 and the feature amount block 213 are input.

判別器311では、学習データ311−1が特徴量ブロック211の2値化パターンをスコア値に変換し、加算器311−2が学習データ311−1からのスコア値に「0」のスコア値を加算して出力する。判別器312では、学習データ312−1が特徴量ブロック212の2値化パターンをスコア値に変換し、加算器312−2が学習データ312−1からのスコア値に判別器311からのスコア値を加算して出力する。判別器313では、学習データ313−1が特徴量ブロック213の2値化パターンをスコアに変換し、加算器313−2が学習データ313−1からのスコア値に判別器312からのスコア値を加算して出力する。判別器313から最終的なスコア値が出力される。   In the discriminator 311, the learning data 311-1 converts the binarized pattern of the feature block 211 into a score value, and the adder 311-2 sets a score value of “0” to the score value from the learning data 311-1. Add and output. In the discriminator 312, the learning data 312-1 converts the binarized pattern of the feature amount block 212 into a score value, and the adder 312-2 converts the score value from the learning data 312-1 into the score value from the discriminator 311. Are added and output. In the discriminator 313, the learning data 313-1 converts the binarized pattern of the feature amount block 213 into a score, and the adder 313-2 converts the score value from the discriminator 312 into the score value from the learning data 313-1. Add and output. A final score value is output from the discriminator 313.

各特徴量ブロック211〜213の学習データは、顔画像に対する2値化パターンに対してはスコア値が大きく、逆に非顔画像に対する2値化パターンに対してはスコア値が小さくなるような学習データがアダブースト学習法により生成される。このようにして学習データを生成することで、画像ウインドウ201内に顔が存在する場合、各判別器311〜313で算出されるスコア値の総和である最終的なスコア値が大きな値となる。   The learning data of each of the feature amount blocks 211 to 213 has such a learning value that the score value is large for the binarized pattern for the face image and conversely the score value is small for the binarized pattern for the non-face image. Data is generated by the Adaboost learning method. By generating learning data in this way, when a face exists in the image window 201, the final score value that is the sum of the score values calculated by the discriminators 311 to 313 becomes a large value.

図1に戻り、比較器(顔検出領域設定手段)105は、スコア算出部104で算出されたスコア値をスコア閾値A(所定の第1の閾値)と比較し、その比較結果に応じて顔検出領域を設定する。この場合、スコア閾値Aを超える全ての顔検出領域を設定する。顔群領域判定部(顔群領域設定手段)106は、比較器105で設定された少なくとも2つの顔検出領域におけるこれらの間の距離を距離閾値A(所定の第2の閾値)と比較し、その比較結果に応じて顔検出領域を含む顔群領域を設定する。また、顔群領域判定部106は、互いの距離が距離閾値A以内で、スコア値がスコア閾値A以上の顔検出領域を同一のグループに分類し、更に、同一グループの各顔検出領域を内包する領域を、顔群領域範囲の位置及びサイズとして設定する。マスキング部107は、画像入力部101が保持している画像に対し、顔群領域判定部106が出力する顔群領域範囲をマスキング処理し、顔マスキング画像を生成する。   Returning to FIG. 1, the comparator (face detection area setting means) 105 compares the score value calculated by the score calculation unit 104 with a score threshold A (predetermined first threshold), and determines the face according to the comparison result. Set the detection area. In this case, all face detection areas exceeding the score threshold A are set. A face group area determination unit (face group area setting means) 106 compares the distance between these in at least two face detection areas set by the comparator 105 with a distance threshold A (predetermined second threshold), A face group area including a face detection area is set according to the comparison result. The face group area determination unit 106 classifies face detection areas whose distance is within the distance threshold A and whose score value is equal to or greater than the score threshold A into the same group, and further includes each face detection area of the same group. The area to be set is set as the position and size of the face group area range. The masking unit 107 masks the face group region range output from the face group region determination unit 106 on the image held by the image input unit 101 to generate a face masking image.

図5は、画像入力部101が入力する画像の一例を示す図である。画像501には人物502、人物503、人物504が存在し、人物503の顔の一部は人物502に隠蔽されており、人物503と人物504の顔は近接している。これは人が多数存在する人混みなどでよくみられる光景である。図6は図5に示す画像の一例に対し、スコア算出部104が出力するスコアの分布を示す図である。同図に示すように、スコア値分布画像601内では、黒い(濃い)色ほどその領域のスコア値が高いことを示している。顔群領域範囲602は顔群領域判定部106から出力される。   FIG. 5 is a diagram illustrating an example of an image input by the image input unit 101. The image 501 includes a person 502, a person 503, and a person 504. A part of the face of the person 503 is hidden by the person 502, and the faces of the person 503 and the person 504 are close to each other. This is a scene often seen in crowds where there are many people. FIG. 6 is a diagram showing the distribution of scores output by the score calculation unit 104 for the example of the image shown in FIG. As shown in the figure, in the score value distribution image 601, the black (darker) color indicates that the score value of that region is higher. The face group area range 602 is output from the face group area determination unit 106.

次に、本実施の形態の顔マスキング装置100の動作を説明する。図7は、本実施の形態の顔マスキング装置100の動作を説明するためのフローチャートである。同図において、まず画像入力部101が図示せぬカメラから出力される画像を入力する(ステップS1)。次いで、画像入力部101が入力した画像をスケーリング画像生成部102がスケーリングする(ステップS2)。次いで、画像ウインドウ抽出部103が、スケーリングされた入力画像から画像ウインドウを抽出する(ステップS3)。画像ウインドウ抽出部103が抽出する画像ウインドウは画像入力部101が入力した画像中の顔検出処理対象とする領域である。   Next, the operation of the face masking apparatus 100 of this embodiment will be described. FIG. 7 is a flowchart for explaining the operation of face masking apparatus 100 of the present embodiment. In the figure, first, the image input unit 101 inputs an image output from a camera (not shown) (step S1). Next, the scaled image generation unit 102 scales the image input by the image input unit 101 (step S2). Next, the image window extraction unit 103 extracts an image window from the scaled input image (step S3). The image window extracted by the image window extraction unit 103 is an area to be subjected to face detection processing in the image input by the image input unit 101.

画像ウインドウを抽出した後、スコア算出部104が画像ウインドウ内の顔の確からしさを示すスコア値を算出する(ステップS4)。画像ウインドウ内のスコア値を算出した後、比較器105がスコア算出部104で算出されたスコア値をスコア閾値Aと比較し、スコア値がスコア閾値A以上の領域を記録し、顔群領域判定部106に通知する(ステップS5)。   After extracting the image window, the score calculation unit 104 calculates a score value indicating the likelihood of the face in the image window (step S4). After calculating the score value in the image window, the comparator 105 compares the score value calculated by the score calculation unit 104 with the score threshold A, records an area where the score value is greater than or equal to the score threshold A, and determines the face group area The unit 106 is notified (step S5).

更に、比較器105は、スケーリング画像内の全ての画像ウインドウ位置において上記ステップS3からステップS5の処理を終えたかどうか判定し(ステップS6)、当該処理を終えていない画像ウインドウがあれば、ステップS3に戻り、同様の処理を行う。これに対してスケーリング画像内の全ての画像ウインドウ位置において上記ステップS3からステップS5の処理を終えた場合は、全てのスケーリング段階での処理を終えたかどうか判定する(ステップS7)。全てのスケーリング段階での処理を終えていなければ、ステップS2に戻り、全てのスケーリング段階での処理を終えていれば、顔群領域判定部106が、スコア算出部104から出力されたスコアがスコア閾値A以上の1つ又は複数の領域同士の距離が距離閾値A以内なら同一グループに分類する(ステップS8)。そして、グループ毎にグループに属する領域を包括(内包)する領域を顔群領域範囲の位置及びサイズとする(ステップS9)。   Further, the comparator 105 determines whether or not the processing from step S3 to step S5 has been completed at all image window positions in the scaled image (step S6). If there is an image window that has not been processed, step S3 is performed. Returning to FIG. On the other hand, when the processing from step S3 to step S5 is completed at all the image window positions in the scaled image, it is determined whether the processing at all the scaling stages has been completed (step S7). If the processing at all the scaling stages has not been completed, the process returns to step S2. If the processing at all the scaling stages has been completed, the face group region determination unit 106 determines that the score output from the score calculation unit 104 is the score. If the distance between one or more areas above the threshold A is within the distance threshold A, they are classified into the same group (step S8). Then, for each group, a region that includes (includes) a region belonging to the group is set as the position and size of the face group region range (step S9).

例えば、図5に示す画像501が、本実施の形態の顔マスキング装置100に入力された場合、スコア算出部104は図6におけるスコア値分布画像601に示すスコア値を出力する。各スコア値の領域はお互い近接しており、距離閾値A以下であるため、顔群領域判定部106は同一グループに分類する。更に顔群領域判定部106は、このグループに属する領域を包括(内包)する範囲を出力するので、顔群領域判定部106は図6における顔群領域範囲602を出力することになる。   For example, when the image 501 shown in FIG. 5 is input to the face masking apparatus 100 of the present embodiment, the score calculation unit 104 outputs the score value shown in the score value distribution image 601 in FIG. Since the areas of the score values are close to each other and are equal to or smaller than the distance threshold A, the face group area determination unit 106 classifies them into the same group. Further, since the face group region determination unit 106 outputs a range that includes (includes) the regions belonging to this group, the face group region determination unit 106 outputs the face group region range 602 in FIG.

マスキング部107は、画像入力部101が保持する画像に対し、顔群領域判定部106が出力する顔群領域範囲をマスキング処理する(ステップS10)。これにより、顔群領域判定部106が出力する図6における顔群領域範囲がマスキングされることになる。   The masking unit 107 performs masking processing on the face group region range output by the face group region determination unit 106 on the image held by the image input unit 101 (step S10). As a result, the face group area range in FIG. 6 output by the face group area determination unit 106 is masked.

このように、本実施の形態の顔マスキング装置100によれば、比較器105及び顔群領域判定部106が、スコア値がスコア閾値A以上の1又は複数の領域を包括(内包)する範囲を顔群領域範囲602として判定するために、図5及び図6に示すような人物503の顔の一部が隠蔽、顔同士が近接していた場合においても、従来技術において発生していたマスキングミスを抑制でき、顔領域を的確にマスキングすることができる。   As described above, according to the face masking apparatus 100 of the present embodiment, the comparator 105 and the face group region determination unit 106 include a range in which one or a plurality of regions having a score value equal to or higher than the score threshold A are included (included). In order to determine the face group region range 602, masking mistakes that have occurred in the prior art even when a part of the face of the person 503 is hidden and the faces are close to each other as shown in FIGS. Can be suppressed, and the face area can be masked accurately.

なお、マスキング部107が行うマスキングの方法は顔を非可視化するのであれば、どのような方式であってもよい。例えば、低周波通過フィルタ等により顔領域をぼかす方式を使用すれば、通過する低周波範囲を調整することによってマスキング度合いを制御することができる。   The masking method performed by the masking unit 107 may be any method as long as the face is invisible. For example, if a method of blurring the face region using a low-frequency pass filter or the like is used, the degree of masking can be controlled by adjusting the low-frequency range that passes.

また、顔群領域判定部106で用いる距離閾値Aは、顔群領域判定部106に入力されるスコア値A以上の領域のサイズの平均値に対し係数を乗じた値にしてもよい。顔群領域判定部106に入力されるスコア値A以上の領域のサイズは、人物の実際の顔サイズとほぼ同等であるため、これにより、実際の顔サイズに連動した適切な距離閾値を設定することができる。   Further, the distance threshold A used in the face group region determination unit 106 may be a value obtained by multiplying the average value of the size of the region of the score value A or more input to the face group region determination unit 106 by a coefficient. Since the size of the area greater than or equal to the score value A input to the face group area determination unit 106 is substantially equal to the actual face size of the person, an appropriate distance threshold value linked to the actual face size is set thereby. be able to.

また、顔群領域範囲を、スコア閾値A以上のお互いが距離閾値A以下の複数の領域を包括(内包)する領域とし、図6においては顔郡領域範囲602を矩形領域として示したが、同包括(内包)する1つの領域であれば良く、楕円領域や、図6において顔群領域範囲内の白色領域でない領域であっても同様の効果が得られることは言うまでもない。   In addition, the face group region range is a region that includes (includes) a plurality of regions each having a score threshold A or higher and a distance threshold A or lower. In FIG. 6, the face group region range 602 is shown as a rectangular region. Needless to say, it is only necessary to include one region to be included (included), and it is needless to say that the same effect can be obtained even in an elliptical region or a region that is not a white region in the face group region range in FIG.

また、顔群領域内のマスキング度合いを同領域内のスコア値に応じて調整するようにしてもよい。スコア値が高く顔の存在が高い領域はマスキングの非可視化度合いを高くし、それほどでもないところは非可視化度合いを低くする。これにより、過度なマスキングを防ぐことができる。   Further, the masking degree in the face group area may be adjusted according to the score value in the same area. An area where the score value is high and the presence of the face is high increases the degree of masking invisibility, and the area where the score is not high decreases the degree of invisibility. Thereby, excessive masking can be prevented.

また、スコア値に応じて顔群領域内の顔検出領域のマスキングの要否を決定するようにしてもよい。スコア値が高く顔の存在が高い領域はマスキングを行い、それほどでもないところはマスキングを行わない。   Further, the necessity of masking of the face detection area in the face group area may be determined according to the score value. Masking is performed on areas where the score value is high and the presence of a face is high, and masking is not performed on areas where the score value is not so high.

(実施の形態2)
図8は、本発明の実施の形態2に係る顔マスキング装置の概略構成を示すブロック図である。同図において、本実施の形態の顔マスキング装置800は、上述した実施の形態1の顔マスキング装置100と同様の構成(画像入力部101、スケーリング画像生成部102、画像ウインドウ抽出部103、スコア算出部104、比較器105、顔群領域判定部106及びマスキング部107)に加えて、閾値選択部108、比較器109及び顔候補領域統合部110を備えている。
(Embodiment 2)
FIG. 8 is a block diagram showing a schematic configuration of the face masking apparatus according to Embodiment 2 of the present invention. In the figure, the face masking apparatus 800 of the present embodiment has the same configuration as the face masking apparatus 100 of the first embodiment described above (image input unit 101, scaling image generation unit 102, image window extraction unit 103, score calculation). In addition to the unit 104, the comparator 105, the face group region determination unit 106, and the masking unit 107), a threshold selection unit 108, a comparator 109, and a face candidate region integration unit 110 are provided.

閾値選択部108は、顔群領域判定部106が出力する1又は複数の顔群領域範囲外であればスコア閾値Bを、顔群領域範囲内であればスコア閾値Cを選択する。スコア閾値Cは比較器105で用いるスコア閾値Aより小さい値とする。また、スコア閾値Cはスコア閾値Bより小さい値とする。   The threshold selection unit 108 selects the score threshold B if it is outside the one or more face group region ranges output by the face group region determination unit 106, and selects the score threshold C if it is within the face group region range. The score threshold C is set to a value smaller than the score threshold A used in the comparator 105. The score threshold C is set to a value smaller than the score threshold B.

比較器109は、閾値選択部108が選択したスコア閾値B又はスコア閾値Cとスコア算出部104が出力するスコア値とを比較する。これにより、顔群領域範囲外であればスコア閾値B以上、顔群領域範囲内であればスコア閾値C以上のスコアが算出された顔候補領域(スコアがスコア閾値以上であった画像ウインドウ)が出力されることになる。顔候補領域統合部110は、1又は複数の顔候補領域(スコアがスコア閾値以上であった画像ウインドウ)を距離閾値Bによりグループ分けし、グループ毎に顔候補領域の平均位置及び平均サイズを最終的な顔領域として統合する。   The comparator 109 compares the score threshold B or the score threshold C selected by the threshold selection unit 108 with the score value output by the score calculation unit 104. As a result, a face candidate area (an image window whose score is equal to or greater than the score threshold) for which a score equal to or greater than the score threshold C is calculated if it is outside the face group area range, and if it is within the face group area range, Will be output. The face candidate area integration unit 110 groups one or a plurality of face candidate areas (image windows whose scores are equal to or higher than the score threshold) by the distance threshold B, and finally determines the average position and average size of the face candidate areas for each group. As a typical face area.

マスキング部107は、画像入力部101が保持する画像に対し、顔候補領域統合部110が出力する顔領域をマスキング処理する。この場合、顔候補領域統合部110が出力する顔領域もマスキングされることになる。顔群領域範囲内は顔の存在が高く、スコア閾値を低くしても誤った顔検出をする可能性が低いと共に、顔の一部が隠蔽した顔に対しても顔領域として検出することができる。このようにして検出された顔領域は、顔群領域範囲より範囲が狭く、隠蔽顔もその領域に含むため、過度なマスキングを抑制することができる。   The masking unit 107 performs a masking process on the face area output from the face candidate area integration unit 110 on the image held by the image input unit 101. In this case, the face area output by the face candidate area integration unit 110 is also masked. The presence of a face is high in the face group area range, and even if the score threshold is lowered, the possibility of erroneous face detection is low, and a face that is partly concealed can be detected as a face area. it can. The face area detected in this way has a narrower range than the face group area range and includes a concealed face in the area, so that excessive masking can be suppressed.

このように、本実施の形態の顔マスキング装置800によれば、閾値選択部108が顔群領域範囲内であればスコア閾値Aより小さい値であるスコア閾値Cを選択し、比較器109及び顔候補領域統合部110が、スコアがスコア閾値C以上かつ距離閾値B以内の顔候補領域を統合するので、顔の一部が隠蔽した顔に対しても顔領域として検出することができ、マスク漏れを回避することができる。また、顔群領域の外側では内側に比べて顔の存在可能性が低いため、スコア閾値Cより高い値のスコア閾値Bを用いることで、顔でない領域までマスクすることがなく、過度なマスキングも抑制することができる。   Thus, according to face masking apparatus 800 of the present embodiment, if threshold selection unit 108 is within the face group region range, score threshold C that is smaller than score threshold A is selected, and comparator 109 and face are selected. Since the candidate area integration unit 110 integrates face candidate areas whose score is equal to or greater than the score threshold C and within the distance threshold B, a face that is partly concealed can be detected as a face area, and mask leakage Can be avoided. In addition, since the possibility of the presence of a face is low outside the face group area compared to the inside, using a score threshold value B higher than the score threshold value C does not mask a non-face area, and excessive masking is also possible. Can be suppressed.

なお、マスキング部107は、顔候補領域統合部110が出力する顔領域に加え、実施の形態1と同じく、顔群領域判定部106が出力する顔群領域に対してもマスキング処理を施しても良い。この場合、顔領域に対しては、顔が存在する領域であることがより確かであるので、顔群領域よりマスキング度合いを高めてもよい。マスキング度合いとは顔を非可視化する度合いである。   Note that the masking unit 107 may perform masking processing on the face group area output by the face group area determination unit 106 in addition to the face area output by the face candidate area integration unit 110 as in the first embodiment. good. In this case, since it is more certain that the face area is an area where the face exists, the degree of masking may be higher than the face group area. The masking degree is a degree of making the face invisible.

また、顔群領域判定部106で用いる距離閾値Aは、顔候補領域統合部110に入力されるスコア閾値B以上(スコア閾値C以上ではない)の領域のサイズに対し係数を乗じた値にしてもよい。顔群領域外において、顔候補領域統合部110に入力されるスコア閾値B以上の領域のサイズは、人物の実際の顔サイズとほぼ同等であるため、これにより、実際の顔サイズに連動した適切な距離閾値を設定することができる。   Further, the distance threshold A used in the face group region determination unit 106 is a value obtained by multiplying the size of the region input to the face candidate region integration unit 110 by a factor equal to or greater than the score threshold B (not greater than the score threshold C). Also good. Outside the face group area, the size of the area that is greater than or equal to the score threshold B input to the face candidate area integration unit 110 is almost the same as the actual face size of the person. A simple distance threshold can be set.

また、比較器105で用いられるスコア閾値Aは、スコア閾値B(スコア閾値C以上ではない)又は顔群領域外において顔候補領域統合部110に入力されるスコア値の平均値に対し1以下0以上の係数を乗じた値であっても良い。これは、顔の一部が隠蔽されたことにより、顔領域として判定されなかったスコア値が低い領域を顔群領域範囲内とするためである。これにより、スコア閾値A及び実際の顔の領域のスコアに連動した適切なスコア閾値を設定することができる。   The score threshold A used in the comparator 105 is 1 or less to the score threshold B (not higher than the score threshold C) or the average score value input to the face candidate region integration unit 110 outside the face group region 0 A value obtained by multiplying the above coefficients may be used. This is because an area with a low score value that is not determined as a face area due to a part of the face being concealed is included in the face group area range. Thereby, an appropriate score threshold linked to the score threshold A and the score of the actual face region can be set.

(実施の形態3)
図9は、上述した実施の形態1の顔マスキング装置100又は実施の形態2の顔マスキング装置800を用いた監視カメラシステム900の構成図である。この監視カメラシステム900は、撮像装置901と、コンピュータ(所謂パソコン)902と、コンピュータ902に接続された記憶装置(半導体メモリ、磁気ディスク装置等)903と、表示装置904とを備えて構成される。撮像装置901とコンピュータ902と表示装置904は伝送系905を通して接続される。なお、伝送系905は、無線通信網やインターネット等の有線通信網等の通信網である。
(Embodiment 3)
FIG. 9 is a configuration diagram of a surveillance camera system 900 using the face masking device 100 according to the first embodiment or the face masking device 800 according to the second embodiment. The surveillance camera system 900 includes an imaging device 901, a computer (so-called personal computer) 902, a storage device (semiconductor memory, magnetic disk device, etc.) 903 connected to the computer 902, and a display device 904. . The imaging device 901, the computer 902, and the display device 904 are connected through a transmission system 905. The transmission system 905 is a communication network such as a wireless communication network or a wired communication network such as the Internet.

撮像装置901から出力された画像は伝送系905を通じてコンピュータ902へ伝送されて、コンピュータ902でマスキング処理される。そして、マスキング処理された画像すなわちマスキング画像は伝送系905を通じて表示装置904に伝送されて、表示装置904にて表示される。記憶装置903はマスキング未処理の画像や中間結果の保持や録画に用いられる。   An image output from the imaging device 901 is transmitted to the computer 902 through the transmission system 905 and masked by the computer 902. The masked image, that is, the masked image is transmitted to the display device 904 through the transmission system 905 and displayed on the display device 904. The storage device 903 is used for holding an unprocessed image and an intermediate result, and recording.

図10は、コンピュータ902に用いられるユーザーインタフェース1000を示す図である。同図において、入力画像ウインドウ1001は、撮像装置901から出力される画像を表示するウインドウである。マスキング画像ウインドウ1002は、入力画像に対するマスキング処理後の画像を表示するウインドウである。マスキング画像ウインドウ1002にはマスキング範囲1003が設定されている。閾値調整スライダー1004は各種閾値(スコア閾値A,B、距離閾値A,B)を設定するものである。マウスのドラッグ動作やカーソルキーなどでスライダー位置を調整することにより各種閾値を設定する。   FIG. 10 is a diagram showing a user interface 1000 used in the computer 902. In the figure, an input image window 1001 is a window for displaying an image output from the imaging device 901. The masking image window 1002 is a window that displays an image after masking processing for the input image. A masking range 1003 is set in the masking image window 1002. The threshold adjustment slider 1004 sets various threshold values (score threshold values A and B, distance threshold values A and B). Various threshold values are set by adjusting the slider position with a mouse drag operation or cursor keys.

閾値調整オプション入力1005は、閾値調整のオプション入力を行うもので、チェックボタンや数値入力により閾値のオプション項目のON/OFFや数値を入力する。これもマウスやキー入力によりON/OFFや数値入力を行う。マスク度合いグラフ入力1006は、スコア値に対するマスク度合いを調整するグラフ型の入力手段であり、マウスのクリック及びドラッグ動作により、グラフの形状を変化させることで、スコア値に対するマスク度合いを調整できる。   The threshold adjustment option input 1005 is used to input an option for threshold adjustment, and inputs ON / OFF of a threshold option item and a numerical value by a check button or numerical value input. In this case, ON / OFF or numerical value input is performed by mouse or key input. The mask degree graph input 1006 is a graph-type input unit that adjusts the mask degree with respect to the score value. The mask degree with respect to the score value can be adjusted by changing the shape of the graph by clicking and dragging the mouse.

入力画像ウインドウ1001には入力画像が表示される。また、マスキング画像ウインドウ1002には、閾値調整スライダー1004、閾値調整オプション入力1005、マスク度合いグラフ入力1006により現在設定されている各種閾値やマスク度合いでのマスキング処理された結果が表示される。ユーザーはマスキング処理結果の画像を見ながら閾値調整スライダー1004、閾値調整オプション入力1005、マスク度合いグラフ入力1006により最適なマスキング処理が得られるように微調整する。また、入力画像と対比し、過度なマスキングが行われていないことを確認する。以上のようなユーザーインタフェースであれば、ユーザーの負担を軽減することができ、かつマスキングミスのチェックや微調整も容易に行える。   An input image is displayed in the input image window 1001. Also, the masking image window 1002 displays the result of masking processing at various threshold values and mask degrees that are currently set by a threshold adjustment slider 1004, a threshold adjustment option input 1005, and a mask degree graph input 1006. The user performs fine adjustment so that an optimal masking process can be obtained with the threshold adjustment slider 1004, the threshold adjustment option input 1005, and the mask degree graph input 1006 while viewing the image of the masking process result. In addition, it is confirmed that excessive masking is not performed in comparison with the input image. With the user interface as described above, the burden on the user can be reduced and masking errors can be easily checked and finely adjusted.

本発明は、常に適切なマスキングが行えるといった効果を有し、プライバシ保護を必要とする監視、放送、インターネットなど映像情報を配信するシステムなどへの適用が可能である。   The present invention has an effect that always appropriate masking can be performed, and can be applied to a system that distributes video information such as monitoring, broadcasting, and the Internet that requires privacy protection.

100、800 顔マスキング装置
101 画像入力部
102 スケーリング画像生成部
103 画像ウインドウ抽出部
104 スコア算出部
105、109 比較器
106 顔群領域判定部
107 マスキング部
108 閾値選択部
110 顔候補領域統合部
311〜313 判別器
900 監視カメラシステム
901 撮像装置
902 コンピュータ
903 記憶装置
904 表示装置
905 伝送系
1000 ユーザーインタフェース
DESCRIPTION OF SYMBOLS 100,800 Face masking apparatus 101 Image input part 102 Scaling image generation part 103 Image window extraction part 104 Score calculation part 105, 109 Comparator 106 Face group area | region determination part 107 Masking part 108 Threshold selection part 110 Face candidate area | region integration part 311- 313 Discriminator 900 Monitoring camera system 901 Imaging device 902 Computer 903 Storage device 904 Display device 905 Transmission system 1000 User interface

Claims (6)

入力画像から画像ウインドウを抽出する画像ウインドウ抽出手段と、
前記画像ウインドウ抽出手段で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出手段と、
前記スコア算出手段で算出されたスコア値を所定の第1の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定手段と、
前記顔検出領域が少なくとも2つ設定された場合に、前記顔検出領域設定手段で設定された顔検出領域間の距離を所定の第2の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定手段と、
を備え
前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断することを特徴とする顔マスキング装置。
Image window extraction means for extracting an image window from the input image;
Score calculating means for calculating a score value indicating the likelihood of the face in the image window extracted by the image window extracting means;
A face detection area setting means for comparing the score value calculated by the score calculation means with a predetermined first threshold and setting a face detection area according to the comparison result;
When at least two face detection areas are set, the distance between the face detection areas set by the face detection area setting means is compared with a predetermined second threshold, and the face detection areas are set according to the comparison result. Face group region setting means for setting a face group region including;
Equipped with a,
A face masking apparatus , wherein when masking the face detection area according to the score value of the face detection area, it is determined whether masking is necessary or not based on different threshold values in and outside the face group area .
前記顔群領域設定手段で設定された顔群領域をマスキングするマスキング手段を備えたことを特徴とする請求項1に記載の顔マスキング装置。   2. The face masking apparatus according to claim 1, further comprising masking means for masking the face group area set by the face group area setting means. 前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの要否を決定することを特徴とする請求項2に記載の顔マスキング装置。   3. The face masking apparatus according to claim 2, wherein the masking unit determines whether or not the face detection area in the face group area needs to be masked according to the score value. 前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの度合いを決定することを特徴とする請求項2に記載の顔マスキング装置。   The face masking apparatus according to claim 2, wherein the masking unit determines a masking degree of the face detection area in the face group area according to the score value. 記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断する第2のマスキング手段を備えたことを特徴とする請求項1に記載の顔マスキング装置。 Face mask according to claim 1, characterized in that a second masking means for determining the necessity of masking with different thresholds and front Kikao group region and the region outside. 入力画像から少なくとも2つの画像ウインドウを抽出する画像ウインドウ抽出ステップと、
前記画像ウインドウ抽出ステップで抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出ステップと、
前記スコア算出ステップで算出されたスコア値を所定の第1の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定ステップと、
前記顔検出領域設定ステップで設定された顔検出領域間の距離を所定の第2の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定ステップと、
を備え
前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断することを特徴とする顔マスキング方法。
An image window extraction step for extracting at least two image windows from the input image;
A score calculating step for calculating a score value indicating the likelihood of the face in the image window extracted in the image window extracting step;
A face detection area setting step of comparing the score value calculated in the score calculation step with a predetermined first threshold and setting a face detection area according to the comparison result;
A face group region setting step of comparing a distance between the face detection regions set in the face detection region setting step with a predetermined second threshold and setting a face group region including the face detection region according to a comparison result;
Equipped with a,
A face masking method , wherein when masking the face detection area according to the score value of the face detection area, it is determined whether masking is necessary or not based on different threshold values inside and outside the face group area .
JP2010056056A 2010-03-12 2010-03-12 Face masking apparatus and method Expired - Fee Related JP5489340B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010056056A JP5489340B2 (en) 2010-03-12 2010-03-12 Face masking apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010056056A JP5489340B2 (en) 2010-03-12 2010-03-12 Face masking apparatus and method

Publications (2)

Publication Number Publication Date
JP2011193115A JP2011193115A (en) 2011-09-29
JP5489340B2 true JP5489340B2 (en) 2014-05-14

Family

ID=44797617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010056056A Expired - Fee Related JP5489340B2 (en) 2010-03-12 2010-03-12 Face masking apparatus and method

Country Status (1)

Country Link
JP (1) JP5489340B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6112479B2 (en) 2012-11-29 2017-04-12 パナソニックIpマネジメント株式会社 Surveillance camera device, surveillance system including the same, mask processing method, and mask processing program
JP6067041B2 (en) * 2015-02-18 2017-01-25 エンパイア テクノロジー ディベロップメント エルエルシー Automatic privacy management for image sharing networks
KR101688910B1 (en) * 2015-05-04 2016-12-23 한국과학기술원 Method and apparatus for masking face by using multi-level face features
JP6907774B2 (en) 2017-07-14 2021-07-21 オムロン株式会社 Object detectors, object detection methods, and programs
WO2019155628A1 (en) * 2018-02-09 2019-08-15 日本電気株式会社 Image processing device, image processing method, and recording medium
JP7134784B2 (en) 2018-08-20 2022-09-12 株式会社東芝 Monitoring system, monitoring method and program
JP2020135034A (en) * 2019-02-13 2020-08-31 株式会社東海理化電機製作所 Head determination device, computer program, and storage medium
WO2020209097A1 (en) * 2019-04-10 2020-10-15 富士フイルム株式会社 Image display device, image display method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4880292B2 (en) * 2005-11-24 2012-02-22 富士フイルム株式会社 Image processing method, image processing program, and image processing apparatus
JP4863936B2 (en) * 2007-06-25 2012-01-25 株式会社ソニー・コンピュータエンタテインメント Encoding processing apparatus and encoding processing method
JP5088161B2 (en) * 2008-02-15 2012-12-05 ソニー株式会社 Image processing apparatus, camera apparatus, communication system, image processing method, and program

Also Published As

Publication number Publication date
JP2011193115A (en) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5489340B2 (en) Face masking apparatus and method
JP7365445B2 (en) Computing apparatus and method
WO2019218824A1 (en) Method for acquiring motion track and device thereof, storage medium, and terminal
Pang et al. Classifying discriminative features for blur detection
CN108229324B (en) Gesture tracking method and device, electronic equipment and computer storage medium
US6959099B2 (en) Method and apparatus for automatic face blurring
US8553931B2 (en) System and method for adaptively defining a region of interest for motion analysis in digital video
KR20190001066A (en) Face verifying method and apparatus
KR20180109634A (en) Face verifying method and apparatus
Avgerinakis et al. Recognition of activities of daily living for smart home environments
Ishikura et al. Saliency detection based on multiscale extrema of local perceptual color differences
Zakaria et al. Hierarchical skin-adaboost-neural network (h-skann) for multi-face detection
JP5578816B2 (en) Image processing device
Yang et al. Binary descriptor based nonparametric background modeling for foreground extraction by using detection theory
Arceda et al. Fast face detection in violent video scenes
Liu et al. Smoke-detection framework for high-definition video using fused spatial-and frequency-domain features
Ibrahim et al. Geometrical-based lip-reading using template probabilistic multi-dimension dynamic time warping
Korshunov et al. Towards optimal distortion-based visual privacy filters
Tsai et al. Robust in-plane and out-of-plane face detection algorithm using frontal face detector and symmetry extension
WO2018113206A1 (en) Image processing method and terminal
Sanmiguel et al. Pixel-based colour contrast for abandoned and stolen object discrimination in video surveillance
KR102500516B1 (en) A protection method of privacy using contextual blocking
CN115546906A (en) System and method for detecting human face activity in image and electronic equipment
Nakashima et al. Privacy protection for social video via background estimation and CRF-based videographer's intention modeling
KR20130065567A (en) Human tracking system and method for privacy masking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131210

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140224

R151 Written notification of patent or utility model registration

Ref document number: 5489340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees