JP6396138B2 - Human body detection device - Google Patents
Human body detection device Download PDFInfo
- Publication number
- JP6396138B2 JP6396138B2 JP2014190367A JP2014190367A JP6396138B2 JP 6396138 B2 JP6396138 B2 JP 6396138B2 JP 2014190367 A JP2014190367 A JP 2014190367A JP 2014190367 A JP2014190367 A JP 2014190367A JP 6396138 B2 JP6396138 B2 JP 6396138B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- skin color
- image
- value
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Geophysics And Detection Of Objects (AREA)
Description
本発明は、入力された画像から人体の特定の部位を検出する人体検出装置に関する。 The present invention relates to a human body detection device that detects a specific part of a human body from an input image.
カメラにより撮影されたフレーム画像から人物の特定の部位（顔、手のひらなど）を検出する技術が用いられている。この技術では、検出すべき人物の部位の位置を特定するために、フレーム画像内の肌色領域を特定する処理が用いられる。 A technique for detecting a specific part (face, palm, etc.) of a person from a frame image taken by a camera is used. In this technique, in order to specify the position of a part of a person to be detected, a process for specifying a skin color region in a frame image is used.
例えば、下記特許文献１には、ＲＧＢ色空間を有する画像データを入力し、入力した画像データから人物の顔を検出する肌色領域検出装置が開示されている。
For example,
特許文献１に係る肌色領域検出装置は、入力した画像データの色空間をＨＳＶ色空間に変換する。肌色領域検出装置は、入力した画像データにおける楕円形の明るい領域を、Ｖ成分のデータを用いて検出し、検出した楕円形の領域を囲む矩形領域を特定する。肌色領域検出装置は、矩形領域に含まれる画素が肌色を有している場合、矩形領域を人物の顔と判断する。
The skin color area detection apparatus according to
カメラが備えるＣＣＤ，ＣＭＯＳなどの撮像素子から出力される信号には、被写体の光量に応じた信号の他に、ノイズが含まれる。比較的暗い場所（照明をつけていない部屋など）で撮影する場合、高感度ノイズと呼ばれるノイズが、カメラにより生成されるフレーム画像に表われる。 A signal output from an image sensor such as a CCD or CMOS included in the camera includes noise in addition to a signal corresponding to the amount of light of the subject. When shooting in a relatively dark place (such as a room without lighting), noise called high-sensitivity noise appears in a frame image generated by the camera.
撮影場所が暗くなるにつれて、カメラの撮像素子に入射する光量は低下する。この場合、カメラは、撮像素子から出力される信号のゲインを上げる。被写体からの光による信号とともに、ノイズにも同じゲインがかかるため、増幅されたノイズがフレーム画像に表われる。つまり、高感度ノイズは、ゲインをあげることによってフレーム画像に表われるノイズである。高感度ノイズは、ランダムな位置に、ランダムな色で現れるため、フレーム画像中の肌色が他の色に変化したり、他の色が肌色に変化したりすることがある。 As the shooting location becomes darker, the amount of light incident on the image sensor of the camera decreases. In this case, the camera increases the gain of the signal output from the image sensor. Since the same gain is applied to the noise as well as the signal from the light from the subject, the amplified noise appears in the frame image. That is, high sensitivity noise is noise that appears in a frame image by increasing the gain. Since the high-sensitivity noise appears at random positions in random colors, the skin color in the frame image may change to another color, or the other color may change to skin color.
このように、比較的暗い場所で撮影したフレーム画像から人物の特定の部位を検出する場合、高感度ノイズの影響が大きくなるため、フレーム画像内の肌色領域を安定的に検出することができない。この結果、人物の特定の部位をフレーム画像から検出する精度が低下する。 As described above, when a specific part of a person is detected from a frame image taken in a relatively dark place, the influence of high-sensitivity noise becomes large, so that the skin color area in the frame image cannot be detected stably. As a result, the accuracy of detecting a specific part of the person from the frame image decreases.
本発明は、上記問題点に鑑み、撮影場所の明るさに影響を受けることなく、人物の特定の部位を検出する精度を向上することができる人体検出装置を提供することを課題とする。 In view of the above problems, an object of the present invention is to provide a human body detection device that can improve the accuracy of detecting a specific part of a person without being affected by the brightness of the shooting location.
上記課題を解決するため、請求項１記載の発明は、人体検出装置であって、動画像を構成するフレーム画像が入力された場合、前記フレーム画像において肌色を有すると推定される領域を特定する肌色領域推定部と、前記肌色領域推定部により特定された領域に対応する肌色マッピング画像の画素の画素値に所定の加算値を加算して前記肌色マッピング画像を更新するマッピング部と、前記マッピング部により更新された肌色マッピング画像の各画素をしきい値と比較し、前記肌色マッピング画像において前記しきい値よりも大きい画素値を有する画素の分布を示す肌色判定画像を生成する比較部と、前記比較部により生成された肌色判定画像から人体の所定の部位を検出する画像認識部と、を備える。
In order to solve the above-described problem, the invention according to
請求項２記載の発明は、請求項１に記載の人体検出装置であって、前記マッピング部は、前記肌色領域推定部により特定された領域に対応しない肌色マッピング画像の画素の画素値から所定の減算値を減算する。
The invention according to claim 2 is the human body detection device according to
請求項３記載の発明は、請求項２に記載の人体検出装置であって、前記マッピング部は、前記更新された肌色マッピング画像の画素の画素値が所定の上限値を超えた場合、前記更新された肌色マッピング画像の画素の画素値を前記上限値に設定する。 Invention of Claim 3 is a human body detection apparatus of Claim 2, Comprising: The said mapping part is the said update, when the pixel value of the pixel of the said updated skin color mapping image exceeds a predetermined | prescribed upper limit value The pixel value of the pixel of the made skin color mapping image is set to the upper limit value.
請求項４記載の発明は、請求項２又は３に記載の人体検出装置であって、前記マッピング部は、前記肌色マッピング画像の画素の画素値が所定の下限値を下回った場合、前記更新された肌色マッピング画像の画素の画素値を前記下限値に設定する。
Invention of
請求項５記載の発明は、請求項２ないし４のいずれかに記載の人体検出装置であって、さらに、前記フレーム画像と、前記フレーム画像よりも前に入力された過去画像とを用いて、前記フレーム画像から動きベクトルを検出する動きベクトル検出部、を備え、前記マッピング部は、前記動きベクトル検出部により検出された動きベクトルの終点に対応する前記マッピング画像の画素の画素値に対して、前記所定の加算値よりも大きい調整加算値を加算し、前記検出された動きベクトルの起点に対応する前記マッピング画像の画素の画素値から、前記所定の減算値よりも大きい調整減算値を減算する。
Invention of
請求項６記載の発明は、請求項５に記載の人体検出装置であって、前記マッピング部は、前記動きベクトルが大きくなるにつれて、前記調整加算値及び前記調整減算値を増加させる。 A sixth aspect of the present invention is the human body detection device according to the fifth aspect, wherein the mapping unit increases the adjustment addition value and the adjustment subtraction value as the motion vector increases.
請求項７記載の発明は、請求項１ないし６のいずれかに記載の人体検出装置であって、前記肌色領域推定部は、被写体を撮像して前記動画像を生成するカメラにおいて調整されたホワイトバランスに基づいて、前記肌色を有すると推定される領域を検出するための条件を調整する。 A seventh aspect of the present invention is the human body detection device according to any one of the first to sixth aspects, wherein the skin color area estimation unit adjusts white in a camera that images a subject and generates the moving image. Based on the balance, a condition for detecting the region estimated to have the skin color is adjusted.
請求項８記載の発明は、人体検出装置に搭載されたコンピュータを、動画像を構成するフレーム画像が入力された場合、前記フレーム画像において肌色を有すると推定される領域を特定する肌色領域推定部、前記肌色領域推定部により特定された領域に対応する肌色マッピング画像の画素の画素値に所定の加算値を加算して前記肌色マッピング画像を更新するマッピング部、前記マッピング部により更新された肌色マッピング画像の各画素をしきい値と比較し、前記肌色マッピング画像において前記しきい値よりも大きい画素値を有する画素の分布を示す肌色判定画像を生成する比較部、前記比較部により生成された肌色判定画像から人体の所定の部位を検出する画像認識部、として機能させるための人体検出プログラムである。
The invention according to
本発明に係る人体検出装置は、フレーム画像内の肌色を有すると推定される領域を特定し、特定した領域に対応する肌色マッピング画像の画素の画素値に所定の加算値を加算する。人体検出装置は、しきい値よりも大きい画素値を有する肌色マッピング画像の画素の分布を示す肌色判定画像を生成し、生成した肌色マッピング画像を用いて人体の所定の部位を検出する。これにより、人体の所定の部位を検出する際に、撮影場所の明るさに応じて発生するノイズの影響を抑制することができ、人物の特定の部位を検出する精度を向上することができる。 The human body detection device according to the present invention specifies a region estimated to have a skin color in the frame image, and adds a predetermined addition value to the pixel value of the pixel of the skin color mapping image corresponding to the specified region. The human body detection device generates a skin color determination image indicating a distribution of pixels of a skin color mapping image having a pixel value larger than a threshold value, and detects a predetermined part of the human body using the generated skin color mapping image. Thereby, when detecting a predetermined part of the human body, the influence of noise generated according to the brightness of the shooting location can be suppressed, and the accuracy of detecting a specific part of the person can be improved.
以下、図面を参照しつつ、本発明の実施の形態を詳しく説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
｛第１の実施の形態｝
＜１．人体検出装置１００の構成＞
図１は、本発明の第１の実施の形態に係る人体検出装置１００の構成を示す機能ブロック図である。図１に示すように、カメラ２００は、被写体を撮像して、動画像を出力する。動画像は、複数のフレーム画像２０，２０，・・・により構成される。人体検出装置１００は、カメラ２００により撮像されたフレーム画像２０，２０，・・・を順次入力し、入力したフレーム画像２０から人間の手のひらを検出する。
{First embodiment}
<1. Configuration of Human
FIG. 1 is a functional block diagram showing the configuration of the human
人体検出装置１００は、色空間変換部１と、肌色領域推定部２と、マッピング部３と、比較部４と、画像認識部５とを備える。
The human
色空間変換部１は、物体検出装置１にフレーム画像２０が新たに入力された場合、入力されたフレーム画像２０の色空間を変換する。以下、色空間変換部１において色空間変換されるフレーム画像２０を、「カレントフレーム画像」と呼ぶ。カレントフレーム画像は、ＲＧＢ色空間を有する。色空間変換部１は、カレントフレーム画像の色空間をＨＳＶ色空間に変換して、ＨＳＶフレーム画像３０を生成する。
When the frame image 20 is newly input to the
肌色領域推定部２は、色空間変換部１により生成されたＨＳＶフレーム画像３０を入力し、入力したＨＳＶフレーム画像３０を用いて肌色推定画像４０を生成する。肌色領域推定部２は、生成した肌色推定画像４０をマッピング部３に出力する。肌色推定画像４０は、２値化画像であり、ＨＳＶフレーム画像３０の各画素と１対１に対応する画素を有する。肌色領域推定部２は、ＨＳＶフレーム画像３０の各画素の色相値（Ｈ成分値）を参照して、ＨＳＶフレーム画像３０の各画素が肌色を有しているか否かを推定する。肌色推定画像４０の画素がＨＳＶフレーム画像３０において肌色を有すると推定される画素に対応する場合、肌色推定画像４０の画素の画素値は、「１」に設定される。肌色推定画像４０の画素がＨＳＶフレーム画像３０において肌色以外の色を有する画素に対応する場合、肌色推定画像４０の画素の画素値は、「０」に設定される。
The skin color region estimation unit 2 receives the
マッピング部３は、肌色領域推定部２により生成された肌色推定画像４０を用いて、肌色マッピング画像５０の各画素の画素値を更新する。肌色マッピング画像５０は、０〜２５５の２５６階調の画像である。肌色マッピング画像５０の各画素は、肌色推定画像４０の各画素と１対１に対応する。つまり、フレーム画像２０が人体検出装置１００に新たに入力された場合、肌色マッピング画像５０の各画素の画素値は、新たに入力されたフレーム画像２０の各画素の画素値に基づいて更新される。
The mapping unit 3 updates the pixel value of each pixel of the skin
具体的には、マッピング部３は、肌色マッピング画像５０における処理対象の画素（注目画素）を選択し、選択した注目画素に対応する肌色推定画像４０の画素が画素値「１」を有するか否かを判断する。選択した注目画素に対応する肌色推定画像４０の画素が画素値「１」を有する場合、マッピング部３は、注目画素の画素値に対して、予め設定された肌色更新値を加算する。一方、マッピング部３は、注目画素に対応する肌色推定画像４０の画素が画素値「０」を有する場合、注目画素の画素値から、予め設定された非肌色更新値を減算する。
Specifically, the mapping unit 3 selects a pixel to be processed (target pixel) in the skin
比較部４は、肌色マッピング画像５０の各画素の画素値を予め設定されたしきい値と比較し、その比較結果に基づいて肌色判定画像６０を生成する。具体的には、比較部４は、肌色マッピング画像５０においてしきい値よりも大きい画素値を有する画素を、カレントフレーム画像における肌色画素と判断する。肌色画素に対応する肌色判定画像６０の画素の画素値は、「１」に設定される。一方、比較部４は、肌色マッピング画像５０においてしきい値以下の画素値を有する画素をカレントフレーム画像における非肌色画素と判定する。非肌色画素に対応する肌色判定画像６０の画素の画素値は、「０」に設定される。
The
画像認識部５は、手のひらの形状の特徴が記録された特徴データ（図示省略）を用いて、比較部４により生成された肌色判定画像６０から手のひらを検出する。画像認識部５は、肌色判定画像６０から検出された手のひらの位置及び形状を示す検出結果データ７０を生成する。検出結果データ７０は、カレントフレーム画像における手のひらの検出結果として人体検出装置１００から出力される。
The
検出結果データ７０は、フレーム画像２０が１つ入力されるたびに生成される。このため、検出結果データ７０を利用することにより、カメラ２００の前にかざされた手のひらの位置をリアルタイムで把握することが可能となる。
The
＜２．人体検出装置１００の動作＞
以下、フレーム画像２０から手のひらを検出する人体検出装置１００の動作について詳しく説明する。
<2. Operation of Human
Hereinafter, the operation of the human
（２．１．初期化）
人体検出装置１００は、カメラ２００からの動画像の入力を開始する前に、肌色マッピング画像５０を初期化する。具体的には、マッピング部３が、肌色マッピング画像５０の全画素の画素値を「０」に設定する。
(2.1. Initialization)
The human
（２．２．色空間変換）
初期化処理の後に、人体検出装置１００は、カメラ２００から動画像の入力を開始する。カメラ２００は、動画像を構成するフレーム画像２０を１つずつ出力する。色空間変換部１は、カメラ２００から出力されるフレーム画像２０を入力し、入力したフレーム画像２０の各画素の画素値をＲＧＢ形式からＨＳＶ形式に変換してＨＳＶフレーム画像３０を生成する。
(2.2. Color space conversion)
After the initialization process, the human
図２は、色空間変換部１により生成されたＨＳＶフレーム画像３０の一部領域を示す図である。図２は、ＨＳＶフレーム画像３０の左上頂点を基準にして５行×９列の画素を示し、それ以外の画素の表示を省略している。ＨＳＶフレーム画像３０の各画素を示す記号Ｐの添え字のうち、１桁目はＨＳＶフレーム画像３０における画素の行番号を示し、２桁目はＨＳＶフレーム画像３０における画素の列番号を示している。図２において、記号Ｈにより示される数値は、ＨＳＶフレーム画像３０の各画素の色相値（Ｈ成分値）である。なお、他の図面における画素配列の表記方法も上記と同様である。
FIG. 2 is a diagram illustrating a partial region of the
（２．３．肌色領域の推定）
肌色領域推定部２は、色空間変換部１から出力されるＨＳＶフレーム画像３０を入力する。肌色領域推定部２は、入力したＨＳＶフレーム画像３０の中から肌色の領域を画素単位で推定し、推定した結果に基づいて肌色推定画像４０を生成する。１つのフレーム画像２０につき１つの肌色推定画像４０が生成される。
(2.3. Estimation of skin color region)
The skin color area estimation unit 2 receives the
具体的には、肌色領域推定部２は、ＨＳＶフレーム画像３０が入力された場合、肌色推定画像４０の各画素の画素値を「０」に初期化する。肌色推定画像４０は、２階調の画像データであり、肌色推定画像４０の各画素は、ＨＳＶフレーム画像３０の各画素に１対１に対応する。肌色推定画像４０の初期化は、肌色マッピング画像５０の初期化と異なり、フレーム画像２０の入力をトリガとして実行される。
Specifically, when the
肌色領域推定部２は、ＨＳＶフレーム画像３０から画素を１つ選択する。例えば、肌色領域推定部２は、図２に示すＨＳＶフレーム画像３０の画素のうち、画素Ｐ０２を選択する。
The skin color area estimation unit 2 selects one pixel from the
肌色領域推定部２は、選択した画素Ｐ０２の色相値が予め設定された識別範囲内であるか否かを判断する。識別範囲は、例えば、色相値が−４５°以上４５°以下である。画素Ｐ０２の色相値は４２であり、識別範囲内である。肌色領域推定部２は、画素Ｐ０２が肌色を有すると推定し、画素Ｐ０２に対応する肌色推定画像４０の画素の画素値を「０」から「１」に変更する。 The skin color area estimation unit 2 determines whether or not the hue value of the selected pixel P02 is within a preset identification range. The identification range is, for example, a hue value of −45 ° to 45 °. The hue value of the pixel P02 is 42, which is within the identification range. The skin color area estimation unit 2 estimates that the pixel P02 has a skin color, and changes the pixel value of the pixel of the skin color estimation image 40 corresponding to the pixel P02 from “0” to “1”.
図３は、肌色推定画像４０の一部領域の画素を示す図である。図３に示す画素のうち、ハッチングで示された画素は、画素値「１」を有しており、対応するＨＳＶフレーム画像３０の画素が肌色を有すると推定されたことを示している。上述のように、画素Ｐ０２は肌色を有すると推定されたため、画素Ｐ０２に対応する肌色推定画像４０の画素Ｅ０２は、ハッチングで表示される。
FIG. 3 is a diagram illustrating pixels in a partial region of the skin color estimation image 40. Among the pixels shown in FIG. 3, a pixel indicated by hatching has a pixel value “1”, which indicates that the corresponding pixel of the
その後、肌色領域推定部２は、ＨＳＶフレーム画像の各画素を選択する。肌色領域推定部２は、選択した画素が肌色を有すると推定できるか否かを判断し、選択した画素に対応する肌色推定画像４０の画素の画素値を判断結果に応じて変更する。これにより、肌色推定画像４０の画素のうち、ＨＳＶフレーム画像３０において肌色を有すると推定された画素に対応する画素の画素値が「１」に変更される。
Thereafter, the skin color area estimation unit 2 selects each pixel of the HSV frame image. The skin color area estimation unit 2 determines whether the selected pixel can be estimated to have a skin color, and changes the pixel value of the pixel of the skin color estimation image 40 corresponding to the selected pixel according to the determination result. Thereby, the pixel value of the pixel corresponding to the pixel estimated to have the skin color in the
画素Ｅ１３は、画素Ｐ１３に対応するが、画素Ｐ１３が肌色以外の色を有する（画素Ｐ１３の色相値（Ｈ＝５４）が識別範囲外である）と推定されるため、ハッチングで表示されていない。画素Ｅ１３の周囲の画素の大半が肌色を有すると推定された画素であることから、画素Ｅ１３に対応するカレントフレーム画像の画素で、高感度ノイズが発生したと推測される。同様に、画素Ｅ１７の周辺の画素の大半が肌色以外の画素であると推定されていることから、画素Ｅ１７に対応するカレントフレーム画像の画素で、高感度ノイズが発生したと推測される。 The pixel E13 corresponds to the pixel P13, but is not displayed by hatching because the pixel P13 is estimated to have a color other than the skin color (the hue value (H = 54) of the pixel P13 is outside the identification range). . Since most of the pixels around the pixel E13 are pixels that are estimated to have skin color, it is estimated that high-sensitivity noise has occurred in the pixels of the current frame image corresponding to the pixel E13. Similarly, since most of the pixels around the pixel E17 are estimated to be pixels other than the skin color, it is estimated that high sensitivity noise has occurred in the pixel of the current frame image corresponding to the pixel E17.
このように、肌色領域推定部２は、ＨＳＶフレーム画像３０の各画素の画素値を用いて、肌色推定画像４０を生成し、生成した肌色推定画像４０をマッピング部３に出力する。
In this way, the skin color area estimation unit 2 generates the skin color estimation image 40 using the pixel value of each pixel of the
（２．４．肌色マッピング画像５０の更新）
マッピング部３は、肌色領域推定部２から肌色推定画像４０を入力する。マッピング部３は、入力した肌色推定画像４０の各画素の画素値に基づいて、肌色マッピング画像５０の各画素の画素値を増減させることにより、肌色マッピング画像５０を更新する。
(2.4. Update of skin color mapping image 50)
The mapping unit 3 inputs the skin color estimation image 40 from the skin color region estimation unit 2. The mapping unit 3 updates the skin
以下、図４〜図６を参照しながら、マッピング部３の動作について詳しく説明する。図４は、マッピング部３の動作を示すフローチャートである。図５は、図３に示す肌色推定画像４０に基づいて更新される前の肌色マッピング画像５０を示す。図６は、図３に示す肌色推定画像４０に基づいて更新された肌色マッピング画像５０を示す。
Hereinafter, the operation of the mapping unit 3 will be described in detail with reference to FIGS. 4 to 6. FIG. 4 is a flowchart showing the operation of the mapping unit 3. FIG. 5 shows a skin
マッピング部３は、肌色マッピング画像５０の画素の中から、更新対象の画素（注目画素）を選択し、選択した注目画素に対して図４に示す処理を実行する。
The mapping unit 3 selects a pixel to be updated (target pixel) from the pixels of the skin
（画素値を増加させる場合）
肌色マッピング画像５０の画素の画素値を増加させる例として、画素Ｍ０２，Ｍ１１が注目画素に選択される場合を説明する。
(When increasing the pixel value)
As an example of increasing the pixel value of the pixel of the skin
マッピング部３は、画素Ｍ１１を注目画素として選択し、画素Ｍ１１に対応する肌色推定画像４０の画素Ｅ１１の画素値が「１」であるか否かを判断する（ステップＳ１１）。図３において、画素Ｅ１１はハッチングで示されているため、画素Ｅ１１の画素値は「１」である（ステップＳ１１においてＹｅｓ）。マッピング部３は、画素Ｍ１１（図５参照）の画素値に肌色更新値を加算する（ステップＳ１２）。本実施の形態では、肌色更新値は、「５０」であり、マッピング部３に予め設定されている。これにより、画素Ｍ１１の画素値は、「１００」から「１５０」に増加する。 The mapping unit 3 selects the pixel M11 as the target pixel, and determines whether or not the pixel value of the pixel E11 of the skin color estimation image 40 corresponding to the pixel M11 is “1” (step S11). In FIG. 3, since the pixel E11 is indicated by hatching, the pixel value of the pixel E11 is “1” (Yes in step S11). The mapping unit 3 adds the skin color update value to the pixel value of the pixel M11 (see FIG. 5) (step S12). In the present embodiment, the skin color update value is “50” and is set in the mapping unit 3 in advance. As a result, the pixel value of the pixel M11 increases from “100” to “150”.
マッピング部３は、加算後の画素Ｍ１１の画素値が上限値を超えているか否かを判断する（ステップＳ１３）。上限値は、「２５５」であり、マッピング部３に予め設定されている。更新された画素Ｍ１１の画素値「１５０」は、上限値よりも小さいため（ステップＳ１３においてＮｏ）、マッピング部３は、画素Ｍ１１の更新を終了する。 The mapping unit 3 determines whether or not the pixel value of the pixel M11 after the addition exceeds the upper limit value (Step S13). The upper limit value is “255” and is set in the mapping unit 3 in advance. Since the updated pixel value “150” of the pixel M11 is smaller than the upper limit value (No in step S13), the mapping unit 3 ends the update of the pixel M11.
画素Ｍ０２が注目画素に選択された場合、マッピング部３は、画素Ｍ０２に対応する肌色推定画像４０の画素Ｅ０２の画素値が「１」であるか否かを判断する（ステップＳ１１）。図３において、画素Ｅ０２がハッチングで示されているため、画素Ｅ０２の画素値は、「１」である（ステップＳ１１においてＹｅｓ）。マッピング部３は、画素Ｍ０２の画素値を「２５０」から「３００」に増加させる（ステップＳ１２）。しかし、更新後の画素Ｍ０２の画素値「３００」は上限値よりも大きいため（ステップＳ１３においてＹｅｓ）、マッピング部３は、画素Ｍ０２の画素値を上限値「２５５」に再設定する（ステップＳ１４）。肌色マッピング画像５０の画素値に上限を設ける理由については後述する。
When the pixel M02 is selected as the target pixel, the mapping unit 3 determines whether or not the pixel value of the pixel E02 of the skin color estimation image 40 corresponding to the pixel M02 is “1” (step S11). In FIG. 3, since the pixel E02 is indicated by hatching, the pixel value of the pixel E02 is “1” (Yes in step S11). The mapping unit 3 increases the pixel value of the pixel M02 from “250” to “300” (step S12). However, since the updated pixel value “300” of the pixel M02 is larger than the upper limit value (Yes in step S13), the mapping unit 3 resets the pixel value of the pixel M02 to the upper limit value “255” (step S14). ). The reason why an upper limit is set for the pixel value of the skin
（画素値を減少させる場合）
肌色マッピング画像５０の画素の画素値を減少させる例として、画素Ｍ２５，Ｍ３７が注目画素に選択される場合を説明する。
(When decreasing the pixel value)
As an example of reducing the pixel value of the pixel of the skin
画素Ｍ２５が注目画素に選択された場合を説明する。画素Ｍ２５に対応する肌色推定画像４０の画素Ｅ２５は、ハッチングで表されていない（図３参照）。画素Ｅ２５は、図３において、白色で示されている。画素Ｅ２５の画素値は、「０」であるため（ステップＳ１１においてＮｏ）。マッピング部３は、画素Ｍ２５の画素値から非肌色更新値を減算する（ステップＳ１５）。本実施の形態では、非肌色更新値は、「５０」であり、マッピング部３に予め設定されている。これにより、画素Ｍ２５の画素値は、「１００」から「５０」に減少する。 A case where the pixel M25 is selected as the target pixel will be described. The pixel E25 of the skin color estimation image 40 corresponding to the pixel M25 is not represented by hatching (see FIG. 3). The pixel E25 is shown in white in FIG. This is because the pixel value of the pixel E25 is “0” (No in step S11). The mapping unit 3 subtracts the non-skin color update value from the pixel value of the pixel M25 (step S15). In the present embodiment, the non-skin color update value is “50” and is set in the mapping unit 3 in advance. As a result, the pixel value of the pixel M25 decreases from “100” to “50”.
マッピング部３は、更新後の画素Ｍ２５の画素値が肌色マッピング画像５０の各画素の画素値の下限値「０」より小さいか否かを判断する（ステップＳ１６）。更新後の画素Ｍ２５の画素値「５０」は下限値「０」よりも大きいため（ステップＳ１６においてＮｏ）、マッピング部３は、画素Ｍ２５の更新を終了する。 The mapping unit 3 determines whether or not the pixel value of the updated pixel M25 is smaller than the lower limit value “0” of the pixel value of each pixel of the skin color mapping image 50 (step S16). Since the pixel value “50” of the updated pixel M25 is larger than the lower limit value “0” (No in step S16), the mapping unit 3 finishes updating the pixel M25.
画素Ｍ３７が注目画素に選択された場合を説明する。画素Ｍ３７に対応する肌色推定画像４０の画素Ｅ３７は、ハッチングで表されていない（図３参照）。図５に示すように、画素Ｅ３７の画素値は、「０」であるため（ステップＳ１１においてＮｏ）、マッピング部３は、画素Ｍ３７の画素値を「５」から「−４５」に減少させる（ステップＳ１５）。更新後の画素Ｍ３７の画素値「−４５」は下限値よりも小さいため（ステップＳ１６においてＹｅｓ）、マッピング部３は、画素Ｍ３７の画素値を「０」に再設定し（ステップＳ１７）、画素Ｍ３７の更新を終了する。 A case where the pixel M37 is selected as the target pixel will be described. The pixel E37 of the skin color estimation image 40 corresponding to the pixel M37 is not represented by hatching (see FIG. 3). As shown in FIG. 5, since the pixel value of the pixel E37 is “0” (No in Step S11), the mapping unit 3 decreases the pixel value of the pixel M37 from “5” to “−45” ( Step S15). Since the pixel value “−45” of the updated pixel M37 is smaller than the lower limit value (Yes in step S16), the mapping unit 3 resets the pixel value of the pixel M37 to “0” (step S17), and the pixel The update of M37 is terminated.
このように、マッピング部３は、肌色マッピング画像５０の各画素の画素値を、肌色推定画像４０の各画素の画素値に基づいて更新する。マッピング部３は、更新された肌色マッピング画像５０を比較部４へ出力する。
As described above, the mapping unit 3 updates the pixel value of each pixel of the skin
その後、新たにフレーム画像２０が人体検出装置１００に入力された場合、マッピング部３は、新たに入力されたフレーム画像２０から生成された肌色推定画像４０を用いて、図６に示す肌色マッピング画像５０の各画素の画素値を更新する。
Thereafter, when a new frame image 20 is input to the human
（２．５．しきい値との比較）
比較部４は、フレーム画像２０が人体検出装置１００に入力された場合、肌色判定画像６０の全画素の画素値を「０」に初期化する。肌色判定画像６０において、画素値「０」は、肌色以外の色であることを示す。肌色判定画像６０の各画素は、肌色マッピング画像５０の各画素に１対１に対応する。
(2.5. Comparison with threshold)
When the frame image 20 is input to the human
比較部４は、マッピング部３から出力された肌色マッピング画像５０を入力し、入力した肌色マッピング画像５０の各画素の画素値を予め設定されたしきい値と比較する。しきい値は、例えば、「１２５」である。比較部４は、しきい値よりも大きい画素値を有する画素が肌色であると判定し、しきい値以下の画素値を有する画素が肌色ではないと判断する。そして、比較部４は、比較結果に応じて、肌色判定画像６０の各画素の画素値を設定する。具体的には、比較部４は、肌色であると判定した画素の画素値を「０」から「１」に変更し、肌色でないと判定した画素の画素値を「０」のまま維持する。
The
図７は、図６に示す肌色マッピング画像５０を用いて、各画素の画素値を設定した肌色判定画像６０を示す図である。図７において、肌色と判定された画素をハッチングで示し、肌色でないと判定した画素を白色で示す。例えば、図７に示す画素Ｍ０２の画素値は「２５５」であり、しきい値「１２５」よりも大きい。比較部４は、図７に示すように、画素Ｍ０２に対応する肌色判定画像６０の画素Ｄ０２の画素値を、肌色であることを示す「１」に変更する。図６に示す画素Ｍ２２の画素値は「１００」であり、しきい値「１２５」よりも小さい。比較部４は、図７に示すように、画素Ｍ２２に対応する肌色判定画像６０の画素Ｄ２２の画素値を、肌色以外の色であることを示す「０」のまま維持する。
FIG. 7 is a diagram showing a skin
このように、比較部４は、更新後の肌色マッピング画像５０の各画素の画素値をしきい値と比較し、比較結果を肌色判定画像６０の各画素の画素値に反映させる。比較部４は、比較結果を反映させた肌色判定画像６０を画像認識部５に出力する。
As described above, the
（２．６．手のひらの検出）
画像認識部５は、比較部４から出力された肌色判定画像６０を入力し、検出対象である手のひらの特徴が記録された特徴データを用いて、肌色判定画像６０から手のひらを検出する。手のひらの検出には、パターンマッチングが用いられる。パターンマッチングのアルゴリズムは、例えば、ニューラルネットワークである。
(2.6. Detection of palm)
The
画像認識部５は、肌色判定画像６０における手のひらの検出結果を示す検出結果データ７０を生成し、生成した検出結果データ７０を出力する。検出結果データ７０は、例えば、肌色判定画像６０において検出した手のひらの輪郭を示すデータである。
The
上述のように、人体検出装置１００は、カレントフレーム画像から生成した肌色推定画像４０を用いて肌色マッピング画像５０を更新する。更新された肌色マッピング画像５０は、肌色領域の出現状況を時間的に積分した画像である。人体検出装置１００は、肌色マッピング画像５０の各画素の画素値をしきい値と比較して、その比較結果に基づいて肌色判定画像６０を生成する。つまり、人体検出装置１００は、フレーム画像２０の入力に応じて更新される肌色マッピング画像５０を用いてこのフレーム画像２０における肌色領域を判定することにより、肌色領域の誤判定を防ぐことができる。
As described above, the human
比較的暗い場所（照明を落とした部屋など）において、人物がカメラ２００の前に手をかざした場合、カメラ２００により生成されるフレーム画像２０は、高感度ノイズの影響を受ける。高感度ノイズは、ランダムな位置、ランダムなタイミングで発生する。例えば、ある画素が、肌色を有すると推定された画素として検出されるべきであるにも関わらず、高感度ノイズにより、肌色以外の色を有する画素として検出される。あるいは、ある画素が、肌色以外の色を有する画素として検出されるべきであるにも関わらず、高感度ノイズにより、肌色を有すると推定される画素として検出される場合がある。高感度ノイズが発生する環境下で、カレントフレーム画像のみを用いて肌色領域を検出した場合、肌色領域を時間的に安定して検出することができない。
When a person holds his / her hand in front of the
しかし、高感度ノイズが、時間的に連続する複数のフレーム画像にわたって同じ位置の画素に発生する可能性は低い。このため、人体検出装置１００は、フレーム画像２０から生成した肌色推定画像４０を用いて、肌色マッピング画像５０の各画素の画素値を増減して肌色マッピング画像５０を更新する。肌色マッピング画像５０は、カレントフレーム画像と、過去のフレーム画像とにおける肌色の出現状況を記録した画像である。この結果、人体検出装置１００は、動画像の入力を開始してから数フレーム分の肌色領域の推定結果が肌色マッピング画像５０に反映されるまで、高感度ノイズの影響が現れるが、その後、高感度ノイズの影響が抑制されるため、肌色領域を安定的に検出することができる。
However, it is unlikely that high-sensitivity noise occurs in pixels at the same position over a plurality of temporally continuous frame images. For this reason, the human
また、人体検出装置１００は、フレーム画像２０が高感度ノイズを含むか否かに関わらず、肌色マッピング画像５０の各画素を更新する。人体検出装置１００は、高感度ノイズが発生しない撮影環境で撮影されたフレーム画像２０から、肌色判定画像６０を生成することができる。従って、人体検出装置１００は、撮影環境の明るさに依存せずに、人体の特定の部位を高精度で検出することができる。
Further, the human
例えば、図３において、肌色推定画像４０の画素Ｅ１３は、肌色以外の色を有する画素として示されている。しかし、画素Ｅ１３の周囲の画素が肌色を有すると推定された画素であることから、画素１３の色は、肌色であったが、高感度ノイズの発生により肌色以外の色に変化したと推測される。画素Ｅ１３に対応する肌色判定画像６０の画素Ｄ１３は、肌色を有していると判定されており、高感度ノイズの影響が抑制されている。
For example, in FIG. 3, the pixel E <b> 13 of the skin color estimation image 40 is shown as a pixel having a color other than the skin color. However, since the pixels around the pixel E13 are pixels that are estimated to have a skin color, the color of the pixel 13 is a skin color, but it is estimated that the color has changed to a color other than the skin color due to the occurrence of high-sensitivity noise. The The pixel D13 of the skin
また、図３において、肌色推定画像４０の画素Ｅ１７は、肌色を有すると推定された画素として示されている。しかし、手のひらに対応する肌色領域は、空間的に連続する複数の画素により構成されることから、画素Ｅ１７は、高感度ノイズにより肌色を有するようになったと考えられる。画素Ｅ１７に対応する肌色判定画像６０の画素Ｄ１７は、肌色以外の色を有していると判定されており、上記と同様に、高感度ノイズの影響が抑制されている。このように、人体検出装置１００では、カレントフレーム画像２０における肌色領域の判定精度が向上していることがわかる。
In FIG. 3, the pixel E <b> 17 of the skin color estimation image 40 is shown as a pixel estimated to have a skin color. However, since the skin color area corresponding to the palm is composed of a plurality of spatially continuous pixels, it is considered that the pixel E17 has a skin color due to high sensitivity noise. The pixel D17 of the skin
次に、肌色マッピング画像５０において、画素値の上限及び下限を設ける理由について説明する。上限及び下限は、カレントフレーム画像よりも過去に入力されたフレーム画像２０における肌色の検出結果の影響を小さくするために設けられる。
Next, the reason why the upper and lower pixel values are provided in the skin
肌色領域推定部２が、１０個の連続するフレーム画像２０において画素Ｐ１１が肌色を有すると判断し、その後、５個の連続するフレーム画像２０において画素Ｐ１１が肌色以外の色を有すると判断した場合を説明する。 When the skin color region estimation unit 2 determines that the pixel P11 has a skin color in 10 consecutive frame images 20, and then determines that the pixel P11 has a color other than the skin color in 5 consecutive frame images 20 Will be explained.
上限を設けない場合、画素Ｐ１１に対応する肌色マッピング画像５０の画素Ｍ１１の画素値は、「５００」まで増加し、その後「２５０」まで低下する。直近の５個のフレーム画像において、画素Ｐ１１が肌色を有していないにも関わらず、画素Ｍ１１の画素値はしきい値を上回っている。つまり、上限を設けない場合、直近のフレーム画像２０における肌色の検出結果が、肌色判定画像６０の画素Ｍ１１に反映されないことがある。
When no upper limit is provided, the pixel value of the pixel M11 of the skin
一方、上限を設けた場合、画素Ｍ１１の画素値は、「２５５」まで上昇し、その後「５」まで低下する。画素Ｍ１１の画素値がしきい値を下回っているため、直近のフレーム画像２０における肌色の検出結果を、肌色判定画像６０の画素Ｄ１１に反映させることができる。
On the other hand, when the upper limit is provided, the pixel value of the pixel M11 increases to “255” and then decreases to “5”. Since the pixel value of the pixel M11 is below the threshold value, the skin color detection result in the latest frame image 20 can be reflected in the pixel D11 of the skin
肌色マッピング画像５０の画素値の下限は、上限を設ける理由と同様の理由により設けられる。
The lower limit of the pixel value of the skin
｛第２の実施の形態｝
＜１．人体検出装置３００の構成＞
図８は、本発明の第２の実施の形態に係る人体検出装置３００の構成を示す機能ブロック図である。図８に示すように、人体検出装置３００は、動きベクトル検出部６をさらに備える点、マッピング部３に代えてマッピング部７を備える点が図１に示す人体検出装置１００と異なる。以下、上記第１の実施の形態に係る人体検出装置１００と異なる点を中心に、人体検出装置３００について説明する。
{Second Embodiment}
<1. Configuration of Human
FIG. 8 is a functional block diagram showing the configuration of the human
動きベクトル検出部６は、カレントフレーム画像と、カレントフレーム画像の直前に入力されたフレーム画像（前フレーム画像）とを用いて、カレントフレーム画像を構成する各マクロブロックの動きベクトルを検出する。動きベクトル検出部６は、検出した動きベクトルを記録したベクトル検出データ８０を生成してマッピング部７に出力する。
The motion
マッピング部７は、マッピング部３と同様に、肌色領域推定部２から入力した肌色推定画像４０を用いて、肌色マッピング画像５０の各画素の画素値を更新する。ただし、マッピング部７は、肌色マッピング画像５０の各画素の画素値を更新する前に、更新に用いられる肌色更新値又は非肌色更新値を、ベクトル検出データ８０を用いて調整する。マッピング部７は、肌色マッピング画像５０の画素がベクトル検出データ８０に記録された動きベクトルの始点領域又は終点領域内に位置する場合、肌色マッピング画像５０の画素の画素値の更新に用いられる肌色更新値又は非肌色更新値を調整する。
Similar to the mapping unit 3, the mapping unit 7 updates the pixel value of each pixel of the skin
人体検出装置３００は、カレントフレーム画像から検出された動きベクトルを考慮して、肌色マッピング画像５０の各画素の画素値を更新する。検出対象の手のひらが移動する場合（人物が手のひらをカメラにかざしながら左右に振った場合など）であっても、人体検出装置３００は、カレントフレーム画像における手のひらの位置を精度良く検出することが可能となる。
The human
＜２．人体検出装置３００の動作＞
以下、人体検出装置３００の動作を詳しく説明する。人体検出装置３００における色空間変換部１、肌色領域推定部２、比較部４及び画像認識部５の動作は、上記実施の形態と同じであるため、その説明を省略する。
<2. Operation of Human
Hereinafter, the operation of the human
（２．１．動きベクトルの検出）
人体検出装置３００に入力されるフレーム画像２０は、色空間変換部１及び動きベクトル検出部６に入力される。動きベクトル検出部６は、カレントフレーム画像と、前フレーム画像とを用いて、カレントフレーム画像２０の各マクロブロックの動きベクトルを検出する。動きベクトルを検出するアルゴリズムは、例えば、オプティカルフロー、動画像符号化規格Ｈ．２６４で用いられている動きベクトルの検出方法などである。
(2.1. Detection of motion vector)
The frame image 20 input to the human
図９は、動きベクトル検出部６により検出された動きベクトルの一例を示す図である。図９において、動きベクトル８１が、手のひらが左から右へ移動することに伴って検出される。領域２１は、前フレーム画像における手のひらの位置を示し、領域２２は、カレントフレーム画像における手のひらの位置を示す。なお、図９では、説明を簡単にするために１つの動きベクトル８１のみを示しているが、実際には、手のひらの移動に伴って、複数の動きベクトルが検出される。以下の説明は、各動きベクトルで共通である。
FIG. 9 is a diagram illustrating an example of a motion vector detected by the motion
動きベクトル８１は、前フレーム画像からカレントフレーム画像にかけて、マクロブロック８２内の画像がマクロブロック８３に移動したことを示す。つまり、マクロブロック８２は、動きベクトル８１の始点領域に相当する。始点領域とは、動きベクトル８１の始点を含むマクロブロックである。マクロブロック８３は、動きベクトル８１の終点領域に相当する。また、動きベクトル８１の大きさは「８」である。終点領域とは、動きベクトル８１の終点を含むマクロブロックである。
The
動きベクトル検出部６は、動きベクトル８１の大きさ、始点領域及び終点領域を記録した動きベクトル検出データ８０を生成して出力する。
The motion
（２．２．肌色更新値及び非肌色更新値の調整）
次に、マッピング部７の動作を説明する。マッピング部７は、肌色領域推定部２から肌色推定画像４０を入力し、動きベクトル検出部６からベクトル検出データ８０を入力する。マッピング部７は、入力した肌色推定画像４０及びベクトル検出データ８０を用いて、肌色マッピング画像５０の各画素の画素値を更新する。
(2.2. Adjustment of skin color update value and non-skin color update value)
Next, the operation of the mapping unit 7 will be described. The mapping unit 7 receives the skin color estimation image 40 from the skin color region estimation unit 2 and the
図１０は、マッピング部７の動作を示すフローチャートである。マッピング部７は、肌色マッピング画像５０の画素の中から、更新対象の画素（注目画素）を選択する。マッピング部７は、肌色更新値及び非肌色初期値の各々を初期化した上で、選択した注目画素に対して図１０に示す処理を実行する。以下、図９に示す画素Ｍｂが注目画素として選択された場合を説明する。
FIG. 10 is a flowchart showing the operation of the mapping unit 7. The mapping unit 7 selects a pixel to be updated (target pixel) from the pixels of the skin
マッピング部７は、肌色マッピング画像５０の各画素の画素値を更新する処理（ステップＳ１１〜Ｓ１７）の前に、肌色更新値又は非肌色更新値を調整する処理（ステップＳ２１〜Ｓ２４）を実行する。図１０に示すステップＳ１１〜Ｓ１７の処理については、第１の実施の形態で既に説明しているため、その詳細な説明を省略する。 The mapping unit 7 executes a process of adjusting the skin color update value or the non-skin color update value (steps S21 to S24) before the process of updating the pixel value of each pixel of the skin color mapping image 50 (steps S11 to S17). . Since the processing in steps S11 to S17 shown in FIG. 10 has already been described in the first embodiment, detailed description thereof will be omitted.
マッピング部７は、画素Ｍｂが動きベクトル８１の終点領域内の画素であるか否かを判断する（ステップＳ２１）。画素Ｍｂが終点領域（マクロブロック８３）内に位置するため（ステップＳ２１においてＹｅｓ）、マッピング部７は、画素Ｍｂの画素値の更新に用いられる肌色更新値を調整する（ステップＳ２２）。具体的には、マッピング部７は、ベクトル検出データ８０に記録された動きベクトル８１の大きさに応じて、予め設定されていた肌色更新値を増加させる。肌色更新値の調整量は、例えば、図１１に示すように、マッピング部７に設定された調整テーブルに基づいて決定される。動きベクトル８１の大きさが「８」である場合、マッピング部７は、加算値「５０」に調整量「５０」を加算する。その後、マッピング部７は、ステップＳ１１に進む。
The mapping unit 7 determines whether or not the pixel Mb is a pixel in the end point region of the motion vector 81 (step S21). Since the pixel Mb is located in the end point region (macroblock 83) (Yes in Step S21), the mapping unit 7 adjusts the flesh color update value used for updating the pixel value of the pixel Mb (Step S22). Specifically, the mapping unit 7 increases the preset skin color update value according to the magnitude of the
画素Ｍｂに対応する肌色推定画像４０の画素の画素値が「１」である場合（ステップＳ１１においてＹｅｓ）、マッピング部７は、調整された肌色更新値を画素Ｍｂの画素値に加算する（ステップＳ１２）。画素Ｍｂに対応する肌色推定画像４０の画素の画素値が「０」である場合（ステップＳ１１においてＮｏ）、マッピング部７は、予め設定された非肌色更新値を画素Ｍｂの画素値から減算する（ステップＳ１５）。 When the pixel value of the pixel of the skin color estimation image 40 corresponding to the pixel Mb is “1” (Yes in Step S11), the mapping unit 7 adds the adjusted skin color update value to the pixel value of the pixel Mb (Step S11). S12). When the pixel value of the pixel of the flesh color estimation image 40 corresponding to the pixel Mb is “0” (No in Step S11), the mapping unit 7 subtracts a preset non-skin color update value from the pixel value of the pixel Mb. (Step S15).
次に、図９に示す画素Ｍａが注目画素として選択された場合を説明する。マッピング部７は、画素Ｍａが動きベクトル８１の終点領域内の画素ではないため（ステップＳ２１においてＮｏ）、ステップＳ２３に進む。画素Ｍａが始点領域内に位置するため（ステップＳ２３においてＹｅｓ）、マッピング部７は、画素Ｍａの画素値の更新に用いられる非肌色更新値を調整する（ステップＳ２４）。具体的には、マッピング部７は、動きベクトル８１の大きさに応じて、非肌色更新値を増加させる。非肌色更新値の調整量は、上記と同様に、調整テーブル（図１１参照）に基づいて決定される。動きベクトル８１の大きさが「８」であるため、マッピング部７は、非肌色更新値「５０」に調整量「５０」を加算する。その後、マッピング部７は、ステップＳ１１に進む。
Next, a case where the pixel Ma shown in FIG. 9 is selected as the target pixel will be described. Since the pixel Ma is not a pixel in the end point region of the motion vector 81 (No in step S21), the mapping unit 7 proceeds to step S23. Since the pixel Ma is located in the start point region (Yes in step S23), the mapping unit 7 adjusts the non-skin color update value used for updating the pixel value of the pixel Ma (step S24). Specifically, the mapping unit 7 increases the non-skin color update value according to the magnitude of the
画素Ｍｂに対応する肌色推定画像４０の画素の画素値が「０」である場合（ステップＳ１１においてＮｏ）、マッピング部７は、調整された非肌色更新値を画素Ｍｂの画素値から減算する（ステップＳ１５）。画素Ｍａに対応する肌色推定画像４０の画素の画素値が「１」である場合（ステップＳ１１においてＮｏ）、マッピング部７は、予め設定された肌色更新値を画素Ｍｂの画素値に加算する（ステップＳ１２）。 When the pixel value of the pixel of the skin color estimation image 40 corresponding to the pixel Mb is “0” (No in Step S11), the mapping unit 7 subtracts the adjusted non-skin color update value from the pixel value of the pixel Mb ( Step S15). When the pixel value of the pixel of the flesh color estimation image 40 corresponding to the pixel Ma is “1” (No in step S11), the mapping unit 7 adds a preset flesh color update value to the pixel value of the pixel Mb ( Step S12).
注目画素が始点領域及び終点領域のいずれの領域内にも存在しない場合、肌色更新値及び非肌色更新値は調整されない。 When the target pixel does not exist in any of the start point region and the end point region, the skin color update value and the non-skin color update value are not adjusted.
人体検出装置３００は、動きベクトルを考慮してカレントフレーム画像における肌色領域を検出する。これにより、肌色領域の検出の応答性を向上させることができる。以下その理由を説明する。
The human
最初に、動きベクトルを考慮に入れない注目画素の画素値の更新について説明する。ここで、手のひらの移動に伴って、カレントフレーム画像において手のひらの領域２２内に存在し、かつ、前フレーム画像において手のひらの領域２１内に存在しない画素（例えば、画素Ｍｂ（図９参照））を想定する。
First, the update of the pixel value of the target pixel that does not take the motion vector into consideration will be described. Here, with the movement of the palm, pixels that exist in the
カレントフレーム画像より前の複数のフレーム画像２０において、画素Ｍｂに対応する画素が肌色を有していない場合、画素Ｍｂは、「０」、「５０」など、しきい値を大きく下回る画素値を有する。画素Ｍｂに対応する画素が肌色を有していると判断された場合、画素Ｍｂの画素値に肌色更新値が加算される。しかし、肌色更新値が調整されていない場合、加算後の画素Ｍｂの画素値は、しきい値を超えない。カレントフレーム画像における手のひらの領域２２が肌色判定画像６０に反映されるのは、カレントフレーム画像に続いて複数のフレーム画像２０が入力された後になる。
In the plurality of frame images 20 before the current frame image, when the pixel corresponding to the pixel Mb does not have a flesh color, the pixel Mb has a pixel value that is significantly lower than the threshold, such as “0” or “50”. Have. When it is determined that the pixel corresponding to the pixel Mb has a flesh color, the flesh color update value is added to the pixel value of the pixel Mb. However, when the flesh color update value is not adjusted, the pixel value of the pixel Mb after addition does not exceed the threshold value. The
逆に、カレントフレーム画像において手のひらの領域２２内に存在せず、かつ、前フレーム画像において手のひらの領域２１内に存在していた画素（例えば、画素Ｍａ（図９参照））を想定する。
Conversely, a pixel (for example, pixel Ma (see FIG. 9)) that does not exist in the
カレントフレーム画像より前の複数のフレーム画像２０において、画素Ｍａの位置に対応する画素が肌色を有すると推定されていた場合、画素Ｍａは、「２００」、「２５０」など、しきい値を大きく上回る画素値を有する。画素Ｍａに対応する画素が肌色以外の色を有していると判断された場合、画素Ｍａの画素値から非肌色更新値が減算される。しかし、画素Ｍａの画素値から調整されていない肌色更新値を減算しても、画素Ｍａの画素値は、しきい値を下回ることができない。このため、肌色判定画像６０は、カレントフレーム画像２０における手のひらの領域を反映することができない。カレントフレーム画像における手のひら以外の領域が肌色判定画像６０に反映されるのは、上記と同様に、カレントフレーム画像に続いて複数のフレーム画像２０が入力された後になる。
In the plurality of frame images 20 before the current frame image, when the pixel corresponding to the position of the pixel Ma is estimated to have a skin color, the pixel Ma has a large threshold value such as “200” or “250”. Has a pixel value above. When it is determined that the pixel corresponding to the pixel Ma has a color other than the skin color, the non-skin color update value is subtracted from the pixel value of the pixel Ma. However, even if the skin color update value that has not been adjusted is subtracted from the pixel value of the pixel Ma, the pixel value of the pixel Ma cannot fall below the threshold value. For this reason, the skin
これに対して、人体検出装置３００は、動きベクトルに基づいて、肌色更新値及び非肌色更新値の両者を、初期値よりも大きい値に調整する。これにより、画素Ｍｂに対応する肌色推定画像４０の画素が画素値「１」を有する場合、画素Ｍｂの画素値は、しきい値を超えやすくなる。逆に、画素Ｍａに対応する肌色推定画像４０の画素が画素値「０」を有する場合、画素Ｍａの画素値は、しきい値を下回りやすくなる。カレントフレーム画像の情報を肌色マッピング画像５０に反映させることができるため、肌色領域の検出の応答性を向上させることができる。
On the other hand, the human
また、動きベクトル８１が大きくなるにつれて、領域２１が領域２２と重なる面積が狭くなる。つまり、前フレーム画像において肌色以外の色を有する画素が、カレントフレーム画像において肌色を有する確率が高くなり、前フレーム画像において肌色を有する画素が、カレントフレーム画像において肌色以外の色を有する確率が高くなる。そこで、肌色更新値及び非肌色更新値を大きくすることにより、前フレーム画像において肌色以外の色を有し、カレントフレーム画像において肌色を有する終点領域内の画素の画素値が、しきい値を超えやすくなる。同様に、前フレーム画像において肌色を有し、カレントフレーム画像において肌色以外の色を有する始点領域内の画素の画素値が、しきい値を下回りやすくなる。動きベクトルの大きさに応じて注目画素の画素値の更新量を変化させることにより、前フレーム画像からカレントフレーム画像にかけての手のひらの動きを、カレントフレーム画像に対応する肌色判定画像６０に反映させることができる。
Further, as the
なお、上記実施の形態では、色空間変換部１が、フレーム画像２０の色空間をＲＧＢ形式からＨＳＶ形式に変換する例を説明したが、これに限られない。例えば、色空間変換部１は、フレーム画像２０の色空間（ＲＧＢ形式）を２つの色差信号を有する色空間（ＹＣｂＣｒ形式など）に変換してもよい。この場合、肌色領域推定部２は、２次元のＣｂ−Ｃｒ空間において肌色と推定される領域を記録したデータを保持する。肌色領域推定部２は、各画素が有する２つの色差信号が、このデータで示される領域内に存在するか否かを判断してもよい。
In the above-described embodiment, the example in which the color
あるいは、人体検出装置１００は、色空間変換部１を備えなくてもよい。この場合、肌色領域推定部２は、３次元のＲＧＢ色空間において肌色と推定される領域を記録したデータを保持すればよい。
Alternatively, the human
また、上記実施の形態では、肌色マッピング画像５０の各画素の画素値の更新に用いられる加算値及び減算値がともに５０である場合を説明したが、これに限られない。加算値が減算値より大きくてもよいし、その逆でもよい。
Moreover, although the said embodiment demonstrated the case where both the addition value and subtraction value used for the update of the pixel value of each pixel of the skin
また、上記実施の形態では、マッピング部３は、肌色マッピング画像５０の更新の際に、各画素の画素値を加算又は減算したが、これに限られない。マッピング部３は、各画素の画素値を減算しなくてもよい。この場合、マッピング部３は、肌色以外の色に対応する画素の画素値を変更しない。マッピング部３は、カレントフレーム画像から生成された肌色推定画像４０と、カレントフレーム画像の直前に人体検出装置１００に入力された所定数（例えば、４）のフレーム画像２０の各々から生成された肌色推定画像４０とを用いて、肌色マッピング画像５０の各画素の画素値を計算すればよい。
Moreover, in the said embodiment, the mapping part 3 added or subtracted the pixel value of each pixel in the case of the update of the skin
また、上記実施の形態では、肌色領域推定部２が使用する基準範囲が固定されている例を説明したが、これに限られない。肌色領域推定部１は、ホワイトバランス調整機能を有していてもよい。人体検出装置１は、人物がカメラ２００に手のひらをかざした状態で、フレーム画像２０のホワイトバランスを調整する。肌色領域推定部２は、ホワイトバランスの調整結果に応じて、ＨＳＶフレーム画像の各画素が肌色を有しているかを判定するために用いられる識別範囲を調整しても良い。これにより、カメラ２００の撮影環境に適した識別範囲を使用することができる。
Moreover, although the said embodiment demonstrated the example with which the reference | standard range which the skin color area | region estimation part 2 uses was fixed, it is not restricted to this. The skin color
また、上記実施の形態では、肌色領域推定部２が、ＨＳＶフレーム画像３０の肌色領域を一画素単位で推定する例を説明したが、これに限られない。肌色領域推定部２は、ＨＳＶフレーム画像３０の複数の画素により構成されるブロック（例えば、２×２画素、４×４画素など）単位で、肌色領域を推定してもよい。この場合、肌色領域推定部２は、ブロックを構成する各画素の色相値の代表値（平均値、中間値）などを算出し、算出した代表値が識別範囲内であるか否かを判断すればよい。
Moreover, although the skin color area estimation part 2 estimated the skin color area of the
また、上記実施の形態では、肌色更新値又は非肌色更新値に対して共通の調整量が加算される例を説明したが、これに限られない。肌色更新値に用いられる調整量と、非肌色更新値に用いられる調整量とが、異なっていてもよい。 Moreover, although the said embodiment demonstrated the example in which a common adjustment amount is added with respect to a skin color update value or a non-skin color update value, it is not restricted to this. The adjustment amount used for the skin color update value may be different from the adjustment amount used for the non-skin color update value.
また、上記実施の形態では、肌色マッピング画像５０が、動画像が人体検出装置に入力される前に初期化される例を説明したが、これに限られない。例えば、肌色マッピング画像５０は、定期的に（例えば、３０個のフレーム画像２０が入力されるごとに）初期化してもよい。
In the above embodiment, the skin
上記実施の形態で説明した人体検出装置１００，３００において、各機能部は、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されてもよい。集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
In the human
また、上記実施の形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。 In addition, a part or all of the processing of each functional block of the above embodiment may be realized by a program. A part or all of the processing of each functional block in the above embodiment is performed by a central processing unit (CPU) in the computer. In addition, a program for performing each processing is stored in a storage device such as a hard disk or a ROM, and is read out and executed in the ROM or the RAM.
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。 Each processing of the above embodiment may be realized by hardware, or may be realized by software (including a case where the processing is realized together with an OS (Operating System), middleware, or a predetermined library). Further, it may be realized by mixed processing of software and hardware.
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリを挙げることができる。 A computer program that causes a computer to execute the above-described method and a computer-readable recording medium that records the program are included in the scope of the present invention. Here, examples of the computer-readable recording medium include a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray Disc), and a semiconductor memory. .
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。 The computer program is not limited to the one recorded on the recording medium, and may be transmitted via a telecommunication line, a wireless or wired communication line, a network represented by the Internet, or the like.
１００，３００ 人体検出装置
２００ カメラ
１ 色空間変換部
２ 肌色領域推定部
３，７ マッピング部
４ 比較部
５ 画像認識部
６ 動きベクトル検出部
DESCRIPTION OF SYMBOLS 100,300 Human
Claims (8)
前記肌色領域推定部により特定された領域に対応する肌色マッピング画像の画素の画素値に所定の加算値を加算して前記肌色マッピング画像を更新するマッピング部と、
前記マッピング部により更新された肌色マッピング画像の各画素をしきい値と比較し、前記肌色マッピング画像において前記しきい値よりも大きい画素値を有する画素の分布を示す肌色判定画像を生成する比較部と、
前記比較部により生成された肌色判定画像から人体の所定の部位を検出する画像認識部と、
を備える人体検出装置。 When a frame image constituting a moving image is input, a skin color region estimation unit that identifies a region estimated to have a skin color in the frame image;
A mapping unit that updates the skin color mapping image by adding a predetermined addition value to a pixel value of a pixel of the skin color mapping image corresponding to the region specified by the skin color region estimation unit;
A comparison unit that compares each pixel of the flesh color mapping image updated by the mapping unit with a threshold value, and generates a flesh color determination image indicating a distribution of pixels having pixel values larger than the threshold value in the flesh color mapping image. When,
An image recognition unit for detecting a predetermined part of the human body from the skin color determination image generated by the comparison unit;
A human body detection device comprising:
前記マッピング部は、前記肌色領域推定部により特定された領域に対応しない肌色マッピング画像の画素の画素値から所定の減算値を減算する人体検出装置。 The human body detection device according to claim 1,
The human body detection device, wherein the mapping unit subtracts a predetermined subtraction value from a pixel value of a pixel of a skin color mapping image that does not correspond to the region specified by the skin color region estimation unit.
前記マッピング部は、前記更新された肌色マッピング画像の画素の画素値が所定の上限値を超えた場合、前記更新された肌色マッピング画像の画素の画素値を前記上限値に設定する人体検出装置。 The human body detection device according to claim 2,
The said mapping part is a human body detection apparatus which sets the pixel value of the pixel of the said updated skin color mapping image to the said upper limit value, when the pixel value of the pixel of the said updated skin color mapping image exceeds the predetermined | prescribed upper limit value.
前記マッピング部は、前記肌色マッピング画像の画素の画素値が所定の下限値を下回った場合、前記更新された肌色マッピング画像の画素の画素値を前記下限値に設定する人体検出装置。 The human body detection device according to claim 2 or 3,
The said mapping part is a human body detection apparatus which sets the pixel value of the pixel of the said updated skin color mapping image to the said lower limit value, when the pixel value of the pixel of the said skin color mapping image is less than the predetermined lower limit value.
前記フレーム画像と、前記フレーム画像よりも前に入力された過去画像とを用いて、前記フレーム画像から動きベクトルを検出する動きベクトル検出部、
を備え、
前記マッピング部は、前記動きベクトル検出部により検出された動きベクトルの終点に対応する前記マッピング画像の画素の画素値に対して、前記所定の加算値よりも大きい調整加算値を加算し、前記検出された動きベクトルの起点に対応する前記マッピング画像の画素の画素値から、前記所定の減算値よりも大きい調整減算値を減算する人体検出装置。 The human body detection device according to claim 2, further comprising:
A motion vector detection unit that detects a motion vector from the frame image using the frame image and a past image input before the frame image;
With
The mapping unit adds an adjustment addition value larger than the predetermined addition value to the pixel value of the pixel of the mapping image corresponding to the end point of the motion vector detected by the motion vector detection unit, and the detection A human body detection device that subtracts an adjustment subtraction value larger than the predetermined subtraction value from a pixel value of a pixel of the mapping image corresponding to a starting point of a motion vector that has been made.
前記マッピング部は、前記動きベクトルが大きくなるにつれて、前記調整加算値及び前記調整減算値を増加させる人体検出装置。 The human body detection device according to claim 5,
The said mapping part is a human body detection apparatus which increases the said adjustment addition value and the said adjustment subtraction value as the said motion vector becomes large.
前記肌色領域推定部は、被写体を撮像して前記動画像を生成するカメラにおいて調整されたホワイトバランスに基づいて、前記肌色を有すると推定される領域を検出するための条件を調整する人体検出装置。 The human body detection device according to any one of claims 1 to 6,
The skin color region estimation unit adjusts conditions for detecting a region estimated to have the skin color based on white balance adjusted in a camera that captures a subject and generates the moving image. .
動画像を構成するフレーム画像が入力された場合、前記フレーム画像において肌色を有すると推定される領域を特定する肌色領域推定部、
前記肌色領域推定部により特定された領域に対応する肌色マッピング画像の画素の画素値に所定の加算値を加算して前記肌色マッピング画像を更新するマッピング部、
前記マッピング部により更新された肌色マッピング画像の各画素をしきい値と比較し、前記肌色マッピング画像において前記しきい値よりも大きい画素値を有する画素の分布を示す肌色判定画像を生成する比較部、
前記比較部により生成された肌色判定画像から人体の所定の部位を検出する画像認識部、
として機能させるための人体検出プログラム。 The computer installed in the human body detection device
When a frame image constituting a moving image is input, a skin color region estimation unit that specifies a region estimated to have a skin color in the frame image;
A mapping unit that updates the skin color mapping image by adding a predetermined addition value to a pixel value of a pixel of the skin color mapping image corresponding to the region specified by the skin color region estimation unit;
A comparison unit that compares each pixel of the flesh color mapping image updated by the mapping unit with a threshold value, and generates a flesh color determination image indicating a distribution of pixels having pixel values larger than the threshold value in the flesh color mapping image. ,
An image recognition unit for detecting a predetermined part of the human body from the skin color determination image generated by the comparison unit;
Human body detection program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014190367A JP6396138B2 (en) | 2014-09-18 | 2014-09-18 | Human body detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014190367A JP6396138B2 (en) | 2014-09-18 | 2014-09-18 | Human body detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016061692A JP2016061692A (en) | 2016-04-25 |
| JP6396138B2 true JP6396138B2 (en) | 2018-09-26 |
Family
ID=55797606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014190367A Active JP6396138B2 (en) | 2014-09-18 | 2014-09-18 | Human body detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6396138B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113495301B (en) * | 2020-03-20 | 2024-08-09 | 株式会社理光 | Band inspection method, band inspection device, storage medium, and system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7251346B2 (en) * | 2002-11-19 | 2007-07-31 | Honda Motor Co., Ltd. | Moving object detection device, moving object detection method, and moving object detection program |
| JP4235018B2 (en) * | 2003-03-31 | 2009-03-04 | 本田技研工業株式会社 | Moving object detection apparatus, moving object detection method, and moving object detection program |
| JP2004246424A (en) * | 2003-02-10 | 2004-09-02 | Masahide Kaneko | Method for extracting skin color area |
| JP2007257087A (en) * | 2006-03-20 | 2007-10-04 | Univ Of Electro-Communications | Skin color area detecting device and skin color area detecting method |
| JP5099434B2 (en) * | 2008-02-28 | 2012-12-19 | 国立大学法人秋田大学 | Object region extraction system and method |
| JP2010093679A (en) * | 2008-10-10 | 2010-04-22 | Fujifilm Corp | Imaging apparatus, and imaging control method |
-
2014
- 2014-09-18 JP JP2014190367A patent/JP6396138B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016061692A (en) | 2016-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11004214B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| KR101271098B1 (en) | Digital photographing apparatus, method for tracking, and recording medium storing program to implement the method | |
| US10013609B2 (en) | Image capturing apparatus and image processing method | |
| TWI701609B (en) | Method, system, and computer-readable recording medium for image object tracking | |
| EP3493539B1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US20130155275A1 (en) | Image capturing apparatus, image capturing method, and computer-readable recording medium storing image capturing program | |
| KR20180119484A (en) | Moving object detection apparatus, control method for moving object detection apparatus, computer-readable storage medium, and program | |
| JP6944901B2 (en) | Biometric information detection device and biometric information detection method | |
| JP2018086130A (en) | Biological information detection device and biological information detection method | |
| US9489721B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US10735680B2 (en) | Infrared imaging device, fixed pattern noise calculation method, and fixed pattern noise calculation program | |
| US10489895B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US20210289119A1 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
| JP6396138B2 (en) | Human body detection device | |
| JP2017157043A (en) | Image processing device, imaging device, and image processing method | |
| JP2010050651A (en) | White balance controller and imaging device using the same, and white balance control method | |
| JP6450107B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP6827782B2 (en) | Image processing equipment, imaging equipment, image processing methods, image processing programs, and recording media | |
| US8824734B2 (en) | Device, method and recording to determine depressed portions of image regions using shortcut line analysis | |
| KR20190072643A (en) | A face detecting apparatus, a control method therefor, and a program | |
| JP5843618B2 (en) | Image processing apparatus, control method thereof, and program | |
| JP2018093359A (en) | Image processing apparatus, image processing method, and program | |
| WO2023106103A1 (en) | Image processing device and control method for same | |
| WO2024009744A1 (en) | Information processing device, information processing method, and program | |
| WO2022014251A1 (en) | Information processing device, correction method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170817 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180829 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6396138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |