JP5489340B2 - Face masking apparatus and method - Google Patents
Face masking apparatus and method Download PDFInfo
- Publication number
- JP5489340B2 JP5489340B2 JP2010056056A JP2010056056A JP5489340B2 JP 5489340 B2 JP5489340 B2 JP 5489340B2 JP 2010056056 A JP2010056056 A JP 2010056056A JP 2010056056 A JP2010056056 A JP 2010056056A JP 5489340 B2 JP5489340 B2 JP 5489340B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- masking
- area
- image
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、監視カメラシステムに用いて好適な顔マスクキング装置及び方法に関する。 The present invention relates to a face masking apparatus and method suitable for use in a surveillance camera system.
監視カメラシステムでは、プライバシ保護のために画像内の顔領域を非可視化することが行われている。顔の非可視化には一般的にマスキングという手法が用いられる。従来のマスキング手法として、例えば特許文献1〜4で開示されたものが知られている。それらのうち、特許文献1及び2には、カラー画像から肌色領域を検出することにより人の顔領域を特定する方法が開示されている。また、特許文献3及び4には、顔検出又はパターンマッチングを行い、顔をマスキングする方法が開示されている。また、特許文献2における顔を検出する技術として、非特許文献1〜3に示すアダブースト学習法を用いた識別器による顔検出法がある。
In the surveillance camera system, the face area in the image is made invisible for privacy protection. A masking technique is generally used to make a face invisible. As conventional masking techniques, for example, those disclosed in Patent Documents 1 to 4 are known. Among them,
画像内の顔の位置及びサイズはまちまちであるため、実際に画像内の顔を検出するには以下の処理を行うことが一般的である。
画像ウインドウと実際の顔のサイズを一致させるために、画像を段階的にスケーリングすると共に、スケーリングした画像内の各箇所で顔検出を行う。更に、各スケーリングした画像において顔があると判定した領域(顔候補領域)同士を統合して最終的な顔領域を特定する(顔候補領域処理)。
Since the position and size of the face in the image vary, it is common to perform the following processing to actually detect the face in the image.
In order to match the size of the image window and the actual face, the image is scaled stepwise and face detection is performed at each location in the scaled image. Further, the final face area is specified by integrating areas (face candidate areas) determined to have a face in each scaled image (face candidate area processing).
図11は、従来の顔候補領域統合処理を説明するための図である。同図において、画像1101は顔検出の処理対象である画像である。この画像1101内の顔候補領域1102は顔検出処理により顔があると判定された領域である。また、顔領域1103は顔候補領域統合処理により統合されて最終的な顔領域として検出された領域である。画像1101を段階的にスケーリングすると共にスケーリングした画像内の各箇所で顔検出を行うと、顔候補領域1102が実際の顔領域周辺に1ないし複数個実際の顔領域サイズとほぼ同じサイズで検出される。前記顔候補領域統合処理では、顔候補領域1102同士の中心位置の距離が近いものを同一グループと判定する。そして、同一グループの顔候補領域1102の平均位置と平均サイズを求め、これを最終的な顔領域として検出される顔領域1103の位置及びサイズとする。
FIG. 11 is a diagram for explaining a conventional face candidate area integration process. In the figure, an
しかしながら、上述した各先行文献で開示された従来技術では、以下に列記する課題がある。
(1)特許文献1、2で開示された技術では、顔以外の部分(例えば、腕や手)なども含めて過剰にマスキングしてしまう。すなわち、肌色領域がそのまま顔領域とは限らないため、顔以外の腕や手をマスキングしてしまう。
However, the conventional techniques disclosed in the above-mentioned prior art documents have the following problems.
(1) In the techniques disclosed in
(2)特許文献3、4で開示された技術では、顔の一部が隠蔽されている場合など顔全体が露出していない場合は顔を検出できず、顔がマスキングされない。すなわち、図12に示すように、画像1201内で人物1202よって人物1203の顔の一部が隠蔽されているような場合、図13に示すように、人物1203に対する検出の特徴量ブロック1301〜1303の一部(特徴量ブロック1302と1303の一部)が人物1202の画像情報で覆われるために、顔検出のスコア値が低下し、その結果、人物1203の顔領域周辺で顔がないと判定されるため、この課題が生じる。
(2) With the techniques disclosed in
また、複数の顔が近接している場合、顔領域が実際の顔位置からずれて検出される場合もあり、顔の一部しかマスキングされないという課題もある。これは、図14に示すように、画像1401内で人物1402と人物1403の顔同士が近接している場合、お互いの顔に対する顔候補領域1404が近接しているために同一グループとして判定され、統合処理の結果、最終的な顔領域として検出される顔候補領域1404の位置が人物1402と人物1403の中間位置となり、顔候補領域1404のサイズは人物1402及び人物1403の顔サイズの平均となるためにこの課題が発生する。以上のような課題は人が多数存在する人混みなどでは高い確率で発生してしまう。
In addition, when a plurality of faces are close to each other, the face area may be detected deviating from the actual face position, and there is a problem that only a part of the face is masked. As shown in FIG. 14, when the faces of the
本発明は、係る事情に鑑みてなされたものであり、人が多数存在する人混みなどにおいても適切なマスキングが行える顔マスキング装置及び方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a face masking apparatus and method that can perform appropriate masking even in crowds where there are many people.
本発明の顔マスキング装置は、入力画像から画像ウインドウを抽出する画像ウインドウ抽出手段と、前記画像ウインドウ抽出手段で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出手段と、前記スコア算出手段で算出されたスコア値を所定の第1の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定手段と、前記顔検出領域が少なくとも2つ設定された場合に、前記顔検出領域設定手段で設定された顔検出領域間の距離を所定の第2の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定手段と、を備え、前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断する。 The face masking apparatus according to the present invention includes an image window extracting unit that extracts an image window from an input image, and a score calculating unit that calculates a score value indicating the likelihood of the face in the image window extracted by the image window extracting unit. The score value calculated by the score calculation means is compared with a predetermined first threshold, and a face detection area setting means for setting a face detection area according to the comparison result, and at least two face detection areas are set. A face group area setting for comparing a distance between the face detection areas set by the face detection area setting means with a predetermined second threshold and setting a face group area including the face detection area according to a comparison result and means, and when masking the face detection area in response to the score value of the face detection region, to determine the necessity of masking a different threshold and the face group region and the region outside .
上記構成によれば、顔の確からしさを示すスコア値に基づき顔領域を特定するので、顔以下の部分の過剰マスキングを抑制することが可能となる。また、スコア値が所定の第2の閾値以上の領域(1つの場合もあれば複数の場合もある)を包括する範囲を顔群領域範囲として設定するので、人混みなどで高い確率で発生する、人物の顔の一部が隠蔽及び顔同士が近接を原因とするマスキングミスを抑制することが可能となる。このように、人が多数存在する人混みなどにおいても適切なマスキングを行うことが可能となる。 According to the above configuration, since the face area is specified based on the score value indicating the likelihood of the face, it is possible to suppress excessive masking of the portion below the face. In addition, since a range including a region (one or a plurality of cases) where the score value is equal to or greater than a predetermined second threshold is set as the face group region range, it occurs with high probability due to crowds, It becomes possible to suppress masking mistakes caused by concealment of part of a person's face and proximity of faces. In this way, appropriate masking can be performed even in crowds where there are many people.
上記構成において、前記顔群領域設定手段で設定された顔群領域をマスキングするマスキング手段を備えた。 In the above configuration, a masking unit for masking the face group region set by the face group region setting unit is provided.
上記構成によれば、顔群領域のみマスキングすることができる。 According to the above configuration, only the face group region can be masked.
上記構成において、前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの要否を決定する。 The said structure WHEREIN: The said masking means determines the necessity of masking of the said face detection area in the said face group area | region according to the said score value.
上記構成によれば、例えばスコア値が高く顔の存在が高い領域はマスキングを行い、それほどでもないところはマスキングを行わない。これにより、過度なマスキングを防ぐことができる。 According to the above configuration, for example, an area where the score value is high and the presence of a face is high is masked, and masking is not performed where it is not so much. Thereby, excessive masking can be prevented.
上記構成において、前記マスキング手段は、前記スコア値に応じて前記顔群領域内の前記顔検出領域のマスキングの度合いを決定する。 The said structure WHEREIN: The said masking means determines the degree of masking of the said face detection area in the said face group area | region according to the said score value.
上記構成によれば、例えば、スコア値が高く顔の存在が高い領域はマスキングの非可視化度合い高くし、それほどでもないところは非可視化度合いを低くする。これにより、過度なマスキングを防ぐことができる。 According to the above-described configuration, for example, an area where the score value is high and the presence of the face is high makes the masking invisible degree high, and the area where the score value is low is made low. Thereby, excessive masking can be prevented.
上記構成において、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断する第2のマスキング手段を備えた。 In the above structure, with a second masking means for determining the necessity of masking different thresholds as pre Kikao group region and the region outside.
上記構成によれば、顔郡領域内では顔の一部が隠蔽した顔に対しても顔領域として検出してマスクすることができ、顔群領域の外側では顔でない領域までマスクすることがないマスキングを行うことができる。 According to the above configuration, a face that is partly concealed in the face group area can be detected and masked as a face area, and a non-face area is not masked outside the face group area. Masking can be performed.
本発明の顔マスキング方法は、入力画像から少なくとも2つの画像ウインドウを抽出する画像ウインドウ抽出ステップと、前記画像ウインドウ抽出ステップで抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出ステップと、前記スコア算出ステップで算出されたスコア値を所定の第1の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定ステップと、前記顔検出領域設定ステップで設定された顔検出領域間の距離を所定の第2の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定ステップと、を備え、前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断する。 According to the face masking method of the present invention, an image window extracting step for extracting at least two image windows from an input image, and a score for calculating a score value indicating the likelihood of the face in the image window extracted in the image window extracting step. Setting in the calculation step, a face detection region setting step for comparing the score value calculated in the score calculation step with a predetermined first threshold value and setting a face detection region according to the comparison result, and the face detection region setting step It has been the distance between the face detection area in accordance with the comparison result of the comparison with a predetermined second threshold value and a face group region setting step of setting a face group area including the face detection area, the face detection area When masking the face detection area according to the score value, it is determined whether masking is necessary or not based on different threshold values for the inside and outside of the face group area .
上記方法によれば、顔の確からしさを示すスコア値に基づき顔領域を特定するので、顔以下の部分の過剰マスキングを抑制することが可能となる。また、スコア値が所定の第2の閾値以上の領域(1つの場合もあれば複数の場合もある)を包括する範囲を顔群領域範囲として設定するので、人混みなどで高い確率で発生する、人物の顔の一部が隠蔽及び顔同士が近接を原因とするマスキングミスを抑制することが可能となる。このように、人が多数存在する人混みなどにおいても適切なマスキングを行うことが可能となる。 According to the above method, since the face area is specified based on the score value indicating the likelihood of the face, it is possible to suppress excessive masking of the portion below the face. In addition, since a range including a region (one or a plurality of cases) where the score value is equal to or greater than a predetermined second threshold is set as the face group region range, it occurs with high probability due to crowds, It becomes possible to suppress masking mistakes caused by concealment of part of a person's face and proximity of faces. In this way, appropriate masking can be performed even in crowds where there are many people.
本発明によれば、人が多数存在する人混みなどにおいても適切なマスキングが行える。 According to the present invention, it is possible to perform appropriate masking even in crowds where many people exist.
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings.
(実施の形態1)
図1は、本発明の実施の形態1に係る顔マスキング装置の概略構成を示すブロック図である。同図において、本実施の形態の顔マスキング装置100は、画像入力部101と、スケーリング画像生成部102と、画像ウインドウ抽出部(画像ウインドウ抽出手段)103と、スコア算出部(スコア算出手段)104と、比較器(顔検出領域設定手段)105と、顔群領域判定部(顔群領域設定手段)106と、マスキング部(マスキング手段)107とを備えて構成される。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of a face masking apparatus according to Embodiment 1 of the present invention. In the figure, a face masking apparatus 100 according to the present embodiment includes an
画像入力部101は、図示せぬカメラで撮影して得られた画像を入力し保持する。スケーリング画像生成部102は、一般的なサブサンプリング、面積補間法、アフィン変換などの方法を用いて、画像入力部101が入力した画像をスケーリングし保持する。画像ウインドウ抽出部103は、スケーリング画像生成部102でスケーリングされた入力画像から少なくとも2つの画像ウインドウを抽出する。画像ウインドウ抽出部103で抽出する画像ウインドウは画像入力部101が入力した画像中の顔検出処理対象とする領域である。図2は、画像ウインドウ抽出部103で抽出された画像ウインドウの一例を示す図である。
The
スコア算出部104は、画像ウインドウ抽出部103で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出する。図3はスコア算出部104の概略構成を示すブロック図である。同図において、スコア算出部104は、3つの判別器311〜313を備えており、例えば図2に示す画像ウインドウ201内の特徴量ブロック211〜213のスコア値を算出する。
The
画像ウインドウ201内の各特徴量ブロック211〜213は2値化パターン化されている。この2値化は、ブロック内の画素の輝度値をブロック内の輝度平均値と比較し、画素の輝度値が平均値よりも高ければ「1」を、そうでなければ「0」をラベル付けすることで実現している。2値化パターン化された各特徴量ブロック211〜213は、アダブースト学習法によってスコア値が決定される。図4にアダブースト学習法により生成された学習データの一例を示す。 Each feature amount block 211 to 213 in the image window 201 is binarized. This binarization compares the luminance value of the pixel in the block with the average luminance value in the block, and labels “1” if the luminance value of the pixel is higher than the average value, otherwise labeled “0”. It is realized by doing. A score value is determined by the AdaBoost learning method for each of the feature amount blocks 211 to 213 that have been binarized. FIG. 4 shows an example of learning data generated by the AdaBoost learning method.
判別器311は、学習データ311−1と加算器311−2とから構成される。判別器312は、学習データ312−1と加算器312−2とから構成される。判別器313は、学習データ313−1と加算器313−2とから構成される。判別器311には「0」のスコア値と特徴量ブロック211が入力され、判別器312には判別器311で得られたスコア値と特徴量ブロック212が入力され、判別器313には判別器312で得られたスコア値と特徴量ブロック213が入力される。
The
判別器311では、学習データ311−1が特徴量ブロック211の2値化パターンをスコア値に変換し、加算器311−2が学習データ311−1からのスコア値に「0」のスコア値を加算して出力する。判別器312では、学習データ312−1が特徴量ブロック212の2値化パターンをスコア値に変換し、加算器312−2が学習データ312−1からのスコア値に判別器311からのスコア値を加算して出力する。判別器313では、学習データ313−1が特徴量ブロック213の2値化パターンをスコアに変換し、加算器313−2が学習データ313−1からのスコア値に判別器312からのスコア値を加算して出力する。判別器313から最終的なスコア値が出力される。
In the
各特徴量ブロック211〜213の学習データは、顔画像に対する2値化パターンに対してはスコア値が大きく、逆に非顔画像に対する2値化パターンに対してはスコア値が小さくなるような学習データがアダブースト学習法により生成される。このようにして学習データを生成することで、画像ウインドウ201内に顔が存在する場合、各判別器311〜313で算出されるスコア値の総和である最終的なスコア値が大きな値となる。
The learning data of each of the feature amount blocks 211 to 213 has such a learning value that the score value is large for the binarized pattern for the face image and conversely the score value is small for the binarized pattern for the non-face image. Data is generated by the Adaboost learning method. By generating learning data in this way, when a face exists in the image window 201, the final score value that is the sum of the score values calculated by the
図1に戻り、比較器(顔検出領域設定手段)105は、スコア算出部104で算出されたスコア値をスコア閾値A(所定の第1の閾値)と比較し、その比較結果に応じて顔検出領域を設定する。この場合、スコア閾値Aを超える全ての顔検出領域を設定する。顔群領域判定部(顔群領域設定手段)106は、比較器105で設定された少なくとも2つの顔検出領域におけるこれらの間の距離を距離閾値A(所定の第2の閾値)と比較し、その比較結果に応じて顔検出領域を含む顔群領域を設定する。また、顔群領域判定部106は、互いの距離が距離閾値A以内で、スコア値がスコア閾値A以上の顔検出領域を同一のグループに分類し、更に、同一グループの各顔検出領域を内包する領域を、顔群領域範囲の位置及びサイズとして設定する。マスキング部107は、画像入力部101が保持している画像に対し、顔群領域判定部106が出力する顔群領域範囲をマスキング処理し、顔マスキング画像を生成する。
Returning to FIG. 1, the comparator (face detection area setting means) 105 compares the score value calculated by the
図5は、画像入力部101が入力する画像の一例を示す図である。画像501には人物502、人物503、人物504が存在し、人物503の顔の一部は人物502に隠蔽されており、人物503と人物504の顔は近接している。これは人が多数存在する人混みなどでよくみられる光景である。図6は図5に示す画像の一例に対し、スコア算出部104が出力するスコアの分布を示す図である。同図に示すように、スコア値分布画像601内では、黒い(濃い)色ほどその領域のスコア値が高いことを示している。顔群領域範囲602は顔群領域判定部106から出力される。
FIG. 5 is a diagram illustrating an example of an image input by the
次に、本実施の形態の顔マスキング装置100の動作を説明する。図7は、本実施の形態の顔マスキング装置100の動作を説明するためのフローチャートである。同図において、まず画像入力部101が図示せぬカメラから出力される画像を入力する(ステップS1)。次いで、画像入力部101が入力した画像をスケーリング画像生成部102がスケーリングする(ステップS2)。次いで、画像ウインドウ抽出部103が、スケーリングされた入力画像から画像ウインドウを抽出する(ステップS3)。画像ウインドウ抽出部103が抽出する画像ウインドウは画像入力部101が入力した画像中の顔検出処理対象とする領域である。
Next, the operation of the face masking apparatus 100 of this embodiment will be described. FIG. 7 is a flowchart for explaining the operation of face masking apparatus 100 of the present embodiment. In the figure, first, the
画像ウインドウを抽出した後、スコア算出部104が画像ウインドウ内の顔の確からしさを示すスコア値を算出する(ステップS4)。画像ウインドウ内のスコア値を算出した後、比較器105がスコア算出部104で算出されたスコア値をスコア閾値Aと比較し、スコア値がスコア閾値A以上の領域を記録し、顔群領域判定部106に通知する(ステップS5)。
After extracting the image window, the
更に、比較器105は、スケーリング画像内の全ての画像ウインドウ位置において上記ステップS3からステップS5の処理を終えたかどうか判定し(ステップS6)、当該処理を終えていない画像ウインドウがあれば、ステップS3に戻り、同様の処理を行う。これに対してスケーリング画像内の全ての画像ウインドウ位置において上記ステップS3からステップS5の処理を終えた場合は、全てのスケーリング段階での処理を終えたかどうか判定する(ステップS7)。全てのスケーリング段階での処理を終えていなければ、ステップS2に戻り、全てのスケーリング段階での処理を終えていれば、顔群領域判定部106が、スコア算出部104から出力されたスコアがスコア閾値A以上の1つ又は複数の領域同士の距離が距離閾値A以内なら同一グループに分類する(ステップS8)。そして、グループ毎にグループに属する領域を包括(内包)する領域を顔群領域範囲の位置及びサイズとする(ステップS9)。
Further, the
例えば、図5に示す画像501が、本実施の形態の顔マスキング装置100に入力された場合、スコア算出部104は図6におけるスコア値分布画像601に示すスコア値を出力する。各スコア値の領域はお互い近接しており、距離閾値A以下であるため、顔群領域判定部106は同一グループに分類する。更に顔群領域判定部106は、このグループに属する領域を包括(内包)する範囲を出力するので、顔群領域判定部106は図6における顔群領域範囲602を出力することになる。
For example, when the
マスキング部107は、画像入力部101が保持する画像に対し、顔群領域判定部106が出力する顔群領域範囲をマスキング処理する(ステップS10)。これにより、顔群領域判定部106が出力する図6における顔群領域範囲がマスキングされることになる。
The
このように、本実施の形態の顔マスキング装置100によれば、比較器105及び顔群領域判定部106が、スコア値がスコア閾値A以上の1又は複数の領域を包括(内包)する範囲を顔群領域範囲602として判定するために、図5及び図6に示すような人物503の顔の一部が隠蔽、顔同士が近接していた場合においても、従来技術において発生していたマスキングミスを抑制でき、顔領域を的確にマスキングすることができる。
As described above, according to the face masking apparatus 100 of the present embodiment, the
なお、マスキング部107が行うマスキングの方法は顔を非可視化するのであれば、どのような方式であってもよい。例えば、低周波通過フィルタ等により顔領域をぼかす方式を使用すれば、通過する低周波範囲を調整することによってマスキング度合いを制御することができる。
The masking method performed by the
また、顔群領域判定部106で用いる距離閾値Aは、顔群領域判定部106に入力されるスコア値A以上の領域のサイズの平均値に対し係数を乗じた値にしてもよい。顔群領域判定部106に入力されるスコア値A以上の領域のサイズは、人物の実際の顔サイズとほぼ同等であるため、これにより、実際の顔サイズに連動した適切な距離閾値を設定することができる。
Further, the distance threshold A used in the face group
また、顔群領域範囲を、スコア閾値A以上のお互いが距離閾値A以下の複数の領域を包括(内包)する領域とし、図6においては顔郡領域範囲602を矩形領域として示したが、同包括(内包)する1つの領域であれば良く、楕円領域や、図6において顔群領域範囲内の白色領域でない領域であっても同様の効果が得られることは言うまでもない。 In addition, the face group region range is a region that includes (includes) a plurality of regions each having a score threshold A or higher and a distance threshold A or lower. In FIG. 6, the face group region range 602 is shown as a rectangular region. Needless to say, it is only necessary to include one region to be included (included), and it is needless to say that the same effect can be obtained even in an elliptical region or a region that is not a white region in the face group region range in FIG.
また、顔群領域内のマスキング度合いを同領域内のスコア値に応じて調整するようにしてもよい。スコア値が高く顔の存在が高い領域はマスキングの非可視化度合いを高くし、それほどでもないところは非可視化度合いを低くする。これにより、過度なマスキングを防ぐことができる。 Further, the masking degree in the face group area may be adjusted according to the score value in the same area. An area where the score value is high and the presence of the face is high increases the degree of masking invisibility, and the area where the score is not high decreases the degree of invisibility. Thereby, excessive masking can be prevented.
また、スコア値に応じて顔群領域内の顔検出領域のマスキングの要否を決定するようにしてもよい。スコア値が高く顔の存在が高い領域はマスキングを行い、それほどでもないところはマスキングを行わない。 Further, the necessity of masking of the face detection area in the face group area may be determined according to the score value. Masking is performed on areas where the score value is high and the presence of a face is high, and masking is not performed on areas where the score value is not so high.
(実施の形態2)
図8は、本発明の実施の形態2に係る顔マスキング装置の概略構成を示すブロック図である。同図において、本実施の形態の顔マスキング装置800は、上述した実施の形態1の顔マスキング装置100と同様の構成(画像入力部101、スケーリング画像生成部102、画像ウインドウ抽出部103、スコア算出部104、比較器105、顔群領域判定部106及びマスキング部107)に加えて、閾値選択部108、比較器109及び顔候補領域統合部110を備えている。
(Embodiment 2)
FIG. 8 is a block diagram showing a schematic configuration of the face masking apparatus according to
閾値選択部108は、顔群領域判定部106が出力する1又は複数の顔群領域範囲外であればスコア閾値Bを、顔群領域範囲内であればスコア閾値Cを選択する。スコア閾値Cは比較器105で用いるスコア閾値Aより小さい値とする。また、スコア閾値Cはスコア閾値Bより小さい値とする。
The
比較器109は、閾値選択部108が選択したスコア閾値B又はスコア閾値Cとスコア算出部104が出力するスコア値とを比較する。これにより、顔群領域範囲外であればスコア閾値B以上、顔群領域範囲内であればスコア閾値C以上のスコアが算出された顔候補領域(スコアがスコア閾値以上であった画像ウインドウ)が出力されることになる。顔候補領域統合部110は、1又は複数の顔候補領域(スコアがスコア閾値以上であった画像ウインドウ)を距離閾値Bによりグループ分けし、グループ毎に顔候補領域の平均位置及び平均サイズを最終的な顔領域として統合する。
The
マスキング部107は、画像入力部101が保持する画像に対し、顔候補領域統合部110が出力する顔領域をマスキング処理する。この場合、顔候補領域統合部110が出力する顔領域もマスキングされることになる。顔群領域範囲内は顔の存在が高く、スコア閾値を低くしても誤った顔検出をする可能性が低いと共に、顔の一部が隠蔽した顔に対しても顔領域として検出することができる。このようにして検出された顔領域は、顔群領域範囲より範囲が狭く、隠蔽顔もその領域に含むため、過度なマスキングを抑制することができる。
The
このように、本実施の形態の顔マスキング装置800によれば、閾値選択部108が顔群領域範囲内であればスコア閾値Aより小さい値であるスコア閾値Cを選択し、比較器109及び顔候補領域統合部110が、スコアがスコア閾値C以上かつ距離閾値B以内の顔候補領域を統合するので、顔の一部が隠蔽した顔に対しても顔領域として検出することができ、マスク漏れを回避することができる。また、顔群領域の外側では内側に比べて顔の存在可能性が低いため、スコア閾値Cより高い値のスコア閾値Bを用いることで、顔でない領域までマスクすることがなく、過度なマスキングも抑制することができる。
Thus, according to face masking apparatus 800 of the present embodiment, if
なお、マスキング部107は、顔候補領域統合部110が出力する顔領域に加え、実施の形態1と同じく、顔群領域判定部106が出力する顔群領域に対してもマスキング処理を施しても良い。この場合、顔領域に対しては、顔が存在する領域であることがより確かであるので、顔群領域よりマスキング度合いを高めてもよい。マスキング度合いとは顔を非可視化する度合いである。
Note that the
また、顔群領域判定部106で用いる距離閾値Aは、顔候補領域統合部110に入力されるスコア閾値B以上(スコア閾値C以上ではない)の領域のサイズに対し係数を乗じた値にしてもよい。顔群領域外において、顔候補領域統合部110に入力されるスコア閾値B以上の領域のサイズは、人物の実際の顔サイズとほぼ同等であるため、これにより、実際の顔サイズに連動した適切な距離閾値を設定することができる。
Further, the distance threshold A used in the face group
また、比較器105で用いられるスコア閾値Aは、スコア閾値B(スコア閾値C以上ではない)又は顔群領域外において顔候補領域統合部110に入力されるスコア値の平均値に対し1以下0以上の係数を乗じた値であっても良い。これは、顔の一部が隠蔽されたことにより、顔領域として判定されなかったスコア値が低い領域を顔群領域範囲内とするためである。これにより、スコア閾値A及び実際の顔の領域のスコアに連動した適切なスコア閾値を設定することができる。
The score threshold A used in the
(実施の形態3)
図9は、上述した実施の形態1の顔マスキング装置100又は実施の形態2の顔マスキング装置800を用いた監視カメラシステム900の構成図である。この監視カメラシステム900は、撮像装置901と、コンピュータ(所謂パソコン)902と、コンピュータ902に接続された記憶装置(半導体メモリ、磁気ディスク装置等)903と、表示装置904とを備えて構成される。撮像装置901とコンピュータ902と表示装置904は伝送系905を通して接続される。なお、伝送系905は、無線通信網やインターネット等の有線通信網等の通信網である。
(Embodiment 3)
FIG. 9 is a configuration diagram of a surveillance camera system 900 using the face masking device 100 according to the first embodiment or the face masking device 800 according to the second embodiment. The surveillance camera system 900 includes an imaging device 901, a computer (so-called personal computer) 902, a storage device (semiconductor memory, magnetic disk device, etc.) 903 connected to the
撮像装置901から出力された画像は伝送系905を通じてコンピュータ902へ伝送されて、コンピュータ902でマスキング処理される。そして、マスキング処理された画像すなわちマスキング画像は伝送系905を通じて表示装置904に伝送されて、表示装置904にて表示される。記憶装置903はマスキング未処理の画像や中間結果の保持や録画に用いられる。
An image output from the imaging device 901 is transmitted to the
図10は、コンピュータ902に用いられるユーザーインタフェース1000を示す図である。同図において、入力画像ウインドウ1001は、撮像装置901から出力される画像を表示するウインドウである。マスキング画像ウインドウ1002は、入力画像に対するマスキング処理後の画像を表示するウインドウである。マスキング画像ウインドウ1002にはマスキング範囲1003が設定されている。閾値調整スライダー1004は各種閾値(スコア閾値A,B、距離閾値A,B)を設定するものである。マウスのドラッグ動作やカーソルキーなどでスライダー位置を調整することにより各種閾値を設定する。
FIG. 10 is a diagram showing a
閾値調整オプション入力1005は、閾値調整のオプション入力を行うもので、チェックボタンや数値入力により閾値のオプション項目のON/OFFや数値を入力する。これもマウスやキー入力によりON/OFFや数値入力を行う。マスク度合いグラフ入力1006は、スコア値に対するマスク度合いを調整するグラフ型の入力手段であり、マウスのクリック及びドラッグ動作により、グラフの形状を変化させることで、スコア値に対するマスク度合いを調整できる。
The threshold
入力画像ウインドウ1001には入力画像が表示される。また、マスキング画像ウインドウ1002には、閾値調整スライダー1004、閾値調整オプション入力1005、マスク度合いグラフ入力1006により現在設定されている各種閾値やマスク度合いでのマスキング処理された結果が表示される。ユーザーはマスキング処理結果の画像を見ながら閾値調整スライダー1004、閾値調整オプション入力1005、マスク度合いグラフ入力1006により最適なマスキング処理が得られるように微調整する。また、入力画像と対比し、過度なマスキングが行われていないことを確認する。以上のようなユーザーインタフェースであれば、ユーザーの負担を軽減することができ、かつマスキングミスのチェックや微調整も容易に行える。
An input image is displayed in the
本発明は、常に適切なマスキングが行えるといった効果を有し、プライバシ保護を必要とする監視、放送、インターネットなど映像情報を配信するシステムなどへの適用が可能である。 The present invention has an effect that always appropriate masking can be performed, and can be applied to a system that distributes video information such as monitoring, broadcasting, and the Internet that requires privacy protection.
100、800 顔マスキング装置
101 画像入力部
102 スケーリング画像生成部
103 画像ウインドウ抽出部
104 スコア算出部
105、109 比較器
106 顔群領域判定部
107 マスキング部
108 閾値選択部
110 顔候補領域統合部
311〜313 判別器
900 監視カメラシステム
901 撮像装置
902 コンピュータ
903 記憶装置
904 表示装置
905 伝送系
1000 ユーザーインタフェース
DESCRIPTION OF SYMBOLS 100,800
Claims (6)
前記画像ウインドウ抽出手段で抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出手段と、
前記スコア算出手段で算出されたスコア値を所定の第1の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定手段と、
前記顔検出領域が少なくとも2つ設定された場合に、前記顔検出領域設定手段で設定された顔検出領域間の距離を所定の第2の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定手段と、
を備え、
前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断することを特徴とする顔マスキング装置。 Image window extraction means for extracting an image window from the input image;
Score calculating means for calculating a score value indicating the likelihood of the face in the image window extracted by the image window extracting means;
A face detection area setting means for comparing the score value calculated by the score calculation means with a predetermined first threshold and setting a face detection area according to the comparison result;
When at least two face detection areas are set, the distance between the face detection areas set by the face detection area setting means is compared with a predetermined second threshold, and the face detection areas are set according to the comparison result. Face group region setting means for setting a face group region including;
Equipped with a,
A face masking apparatus , wherein when masking the face detection area according to the score value of the face detection area, it is determined whether masking is necessary or not based on different threshold values in and outside the face group area .
前記画像ウインドウ抽出ステップで抽出された画像ウインドウ内の顔の確からしさを示すスコア値を算出するスコア算出ステップと、
前記スコア算出ステップで算出されたスコア値を所定の第1の閾値と比較し比較結果に応じて顔検出領域を設定する顔検出領域設定ステップと、
前記顔検出領域設定ステップで設定された顔検出領域間の距離を所定の第2の閾値と比較し比較結果に応じて前記顔検出領域を含む顔群領域を設定する顔群領域設定ステップと、
を備え、
前記顔検出領域の前記スコア値に応じて前記顔検出領域をマスキングする際に、前記顔群領域内と領域外とで異なる閾値でマスキングの要否を判断することを特徴とする顔マスキング方法。 An image window extraction step for extracting at least two image windows from the input image;
A score calculating step for calculating a score value indicating the likelihood of the face in the image window extracted in the image window extracting step;
A face detection area setting step of comparing the score value calculated in the score calculation step with a predetermined first threshold and setting a face detection area according to the comparison result;
A face group region setting step of comparing a distance between the face detection regions set in the face detection region setting step with a predetermined second threshold and setting a face group region including the face detection region according to a comparison result;
Equipped with a,
A face masking method , wherein when masking the face detection area according to the score value of the face detection area, it is determined whether masking is necessary or not based on different threshold values inside and outside the face group area .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010056056A JP5489340B2 (en) | 2010-03-12 | 2010-03-12 | Face masking apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010056056A JP5489340B2 (en) | 2010-03-12 | 2010-03-12 | Face masking apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011193115A JP2011193115A (en) | 2011-09-29 |
JP5489340B2 true JP5489340B2 (en) | 2014-05-14 |
Family
ID=44797617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010056056A Expired - Fee Related JP5489340B2 (en) | 2010-03-12 | 2010-03-12 | Face masking apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5489340B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6112479B2 (en) | 2012-11-29 | 2017-04-12 | パナソニックIpマネジメント株式会社 | Surveillance camera device, surveillance system including the same, mask processing method, and mask processing program |
JP6067041B2 (en) * | 2015-02-18 | 2017-01-25 | エンパイア テクノロジー ディベロップメント エルエルシー | Automatic privacy management for image sharing networks |
KR101688910B1 (en) * | 2015-05-04 | 2016-12-23 | 한국과학기술원 | Method and apparatus for masking face by using multi-level face features |
JP6907774B2 (en) | 2017-07-14 | 2021-07-21 | オムロン株式会社 | Object detectors, object detection methods, and programs |
WO2019155628A1 (en) * | 2018-02-09 | 2019-08-15 | 日本電気株式会社 | Image processing device, image processing method, and recording medium |
JP7134784B2 (en) | 2018-08-20 | 2022-09-12 | 株式会社東芝 | Monitoring system, monitoring method and program |
JP2020135034A (en) * | 2019-02-13 | 2020-08-31 | 株式会社東海理化電機製作所 | Head determination device, computer program, and storage medium |
WO2020209097A1 (en) * | 2019-04-10 | 2020-10-15 | 富士フイルム株式会社 | Image display device, image display method, and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4880292B2 (en) * | 2005-11-24 | 2012-02-22 | 富士フイルム株式会社 | Image processing method, image processing program, and image processing apparatus |
JP4863936B2 (en) * | 2007-06-25 | 2012-01-25 | 株式会社ソニー・コンピュータエンタテインメント | Encoding processing apparatus and encoding processing method |
JP5088161B2 (en) * | 2008-02-15 | 2012-12-05 | ソニー株式会社 | Image processing apparatus, camera apparatus, communication system, image processing method, and program |
-
2010
- 2010-03-12 JP JP2010056056A patent/JP5489340B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011193115A (en) | 2011-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5489340B2 (en) | Face masking apparatus and method | |
JP7365445B2 (en) | Computing apparatus and method | |
WO2019218824A1 (en) | Method for acquiring motion track and device thereof, storage medium, and terminal | |
Pang et al. | Classifying discriminative features for blur detection | |
CN108229324B (en) | Gesture tracking method and device, electronic equipment and computer storage medium | |
US6959099B2 (en) | Method and apparatus for automatic face blurring | |
US8553931B2 (en) | System and method for adaptively defining a region of interest for motion analysis in digital video | |
KR20190001066A (en) | Face verifying method and apparatus | |
KR20180109634A (en) | Face verifying method and apparatus | |
Avgerinakis et al. | Recognition of activities of daily living for smart home environments | |
Ishikura et al. | Saliency detection based on multiscale extrema of local perceptual color differences | |
Zakaria et al. | Hierarchical skin-adaboost-neural network (h-skann) for multi-face detection | |
JP5578816B2 (en) | Image processing device | |
Yang et al. | Binary descriptor based nonparametric background modeling for foreground extraction by using detection theory | |
Arceda et al. | Fast face detection in violent video scenes | |
Liu et al. | Smoke-detection framework for high-definition video using fused spatial-and frequency-domain features | |
Ibrahim et al. | Geometrical-based lip-reading using template probabilistic multi-dimension dynamic time warping | |
Korshunov et al. | Towards optimal distortion-based visual privacy filters | |
Tsai et al. | Robust in-plane and out-of-plane face detection algorithm using frontal face detector and symmetry extension | |
WO2018113206A1 (en) | Image processing method and terminal | |
Sanmiguel et al. | Pixel-based colour contrast for abandoned and stolen object discrimination in video surveillance | |
KR102500516B1 (en) | A protection method of privacy using contextual blocking | |
CN115546906A (en) | System and method for detecting human face activity in image and electronic equipment | |
Nakashima et al. | Privacy protection for social video via background estimation and CRF-based videographer's intention modeling | |
KR20130065567A (en) | Human tracking system and method for privacy masking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131210 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5489340 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |