JPH0944670A - 特定画像領域抽出方法及び特定画像領域抽出装置 - Google Patents
特定画像領域抽出方法及び特定画像領域抽出装置Info
- Publication number
- JPH0944670A JPH0944670A JP19387095A JP19387095A JPH0944670A JP H0944670 A JPH0944670 A JP H0944670A JP 19387095 A JP19387095 A JP 19387095A JP 19387095 A JP19387095 A JP 19387095A JP H0944670 A JPH0944670 A JP H0944670A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color component
- specific
- value
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 人物の顔（肌色）領域を抽出する際、人種や
肌の色に関わらず、誤抽出の少ない抽出を行う。 【解決手段】 色相値演算部１において、入力画像（Ｒ
ＧＢ信号）から色相値を演算する。１次判定部２では、
色相値が制御部５から出力される限界値により設定され
る特定範囲にある画素を抽出する。画素数カウント部３
では、抽出された画素数をカウントする。制御部５で
は、カウント値により抽出のための閾値を選択し、顔領
域抽出部４へ出力する。該閾値により、顔領域抽出部４
において顔領域を抽出する。
肌の色に関わらず、誤抽出の少ない抽出を行う。 【解決手段】 色相値演算部１において、入力画像（Ｒ
ＧＢ信号）から色相値を演算する。１次判定部２では、
色相値が制御部５から出力される限界値により設定され
る特定範囲にある画素を抽出する。画素数カウント部３
では、抽出された画素数をカウントする。制御部５で
は、カウント値により抽出のための閾値を選択し、顔領
域抽出部４へ出力する。該閾値により、顔領域抽出部４
において顔領域を抽出する。
Description
【０００１】
【発明の属する技術分野】本発明は、特定画像領域抽出
方法及び特定画像領域抽出装置に関し、より詳細には、
画像中で注目される部分、例えば、人物の顔，腕など、
肌色部分を該特定画像領域として抽出し、さらに、動画
像の画像処理装置、例えば、テレビ電話，テレビ会議等
の画像処理に適用し得る当該抽出方法及び装置に関す
る。
方法及び特定画像領域抽出装置に関し、より詳細には、
画像中で注目される部分、例えば、人物の顔，腕など、
肌色部分を該特定画像領域として抽出し、さらに、動画
像の画像処理装置、例えば、テレビ電話，テレビ会議等
の画像処理に適用し得る当該抽出方法及び装置に関す
る。
【０００２】
【従来の技術】この種の画像処理装置及び顔領域抽出方
法は、画像中における人物の顔位置を検出することによ
り、その位置に重点的な画像処理を施すことで、画質の
改善が可能となるので、従来から有用な技術として提案
されている。例として、画像通信分野におけるテレビ電
話，テレビ会議等の使用を考えた場合、画像中で注目さ
れる部分は顔である。そこで、顔領域を抽出し、その顔
領域に適した符号化，量子化を行うことにより、画質の
改善が得られる。
法は、画像中における人物の顔位置を検出することによ
り、その位置に重点的な画像処理を施すことで、画質の
改善が可能となるので、従来から有用な技術として提案
されている。例として、画像通信分野におけるテレビ電
話，テレビ会議等の使用を考えた場合、画像中で注目さ
れる部分は顔である。そこで、顔領域を抽出し、その顔
領域に適した符号化，量子化を行うことにより、画質の
改善が得られる。
【０００３】図９は、顔領域抽出方法の従来技術の第一
の例である、特開平５−１６５１２０号公報に記載され
ている特徴画像データの抽出方法における顔領域抽出部
の処理の流れを示す図である。まず、ステップＳ０にお
いて、入力されたＲ,Ｇ,Ｂデータのノイズ除去を行う。
次のステップＳ１では、Ｒ,Ｇ,ＢデータをＨ（色相
値），Ｌ（彩度値），Ｓ（輝度値）に変換する。ステッ
プＳ２では、図１０に示すように、それぞれ直交する色
相値軸Ｈ，彩度値軸Ｓ，及び、画素数軸から成る座標軸
を用いて、色相値及び彩度値についての２次元ヒストグ
ラムを求め、次のステップＳ３において、求めた２次元
ヒストグラムから、座標平面に平行な平面ＳＴによって
切り出した小山毎にその形状を検出して、２次元ヒスト
グラムのクラスタリングを行う。次のステップＳ４で
は、求めた２次元ヒストグラムの切り出された小山に基
づいて、多数の画素のクラスタリングを行うと共に、周
辺の画素を統合し、この統合された領域に基づいて画面
を分割し、分割された領域から人物の顔の候補となる領
域Ｒ１，Ｒ３を抽出する。次のステップＳ５では、顔の
候補として抽出された領域から、図１１のＲ１，Ｒ３の
顔領域を推定し、顔として推定された領域のＲ,Ｇ,Ｂデ
ータを出力する。
の例である、特開平５−１６５１２０号公報に記載され
ている特徴画像データの抽出方法における顔領域抽出部
の処理の流れを示す図である。まず、ステップＳ０にお
いて、入力されたＲ,Ｇ,Ｂデータのノイズ除去を行う。
次のステップＳ１では、Ｒ,Ｇ,ＢデータをＨ（色相
値），Ｌ（彩度値），Ｓ（輝度値）に変換する。ステッ
プＳ２では、図１０に示すように、それぞれ直交する色
相値軸Ｈ，彩度値軸Ｓ，及び、画素数軸から成る座標軸
を用いて、色相値及び彩度値についての２次元ヒストグ
ラムを求め、次のステップＳ３において、求めた２次元
ヒストグラムから、座標平面に平行な平面ＳＴによって
切り出した小山毎にその形状を検出して、２次元ヒスト
グラムのクラスタリングを行う。次のステップＳ４で
は、求めた２次元ヒストグラムの切り出された小山に基
づいて、多数の画素のクラスタリングを行うと共に、周
辺の画素を統合し、この統合された領域に基づいて画面
を分割し、分割された領域から人物の顔の候補となる領
域Ｒ１，Ｒ３を抽出する。次のステップＳ５では、顔の
候補として抽出された領域から、図１１のＲ１，Ｒ３の
顔領域を推定し、顔として推定された領域のＲ,Ｇ,Ｂデ
ータを出力する。
【０００４】以上のようなＨ,Ｓの２次元ヒストグラム
を求め、画像中の各領域に対応した峰を分割し、抽出す
る方法は、他に、特開平６−１６０９９３号公報，特開
平６−６７３２０号公報，特開平５−１５８１６４号公
報，特開平５−１００３２８号公報，特開平４−３４６
３３４号公報，特開平４−３４６３３３号公報，特開平
４−３４６３３２号公報等がある。領域抽出方法の従来
技術の第二の例を説明する。色差値Ｕ,Ｖにおいて、２
次元ヒストグラムを作成すると、図１２のように、顔領
域がＲｆ１または領域Ｒｆ２に存在する。そこで、顔領
域の抽出は、領域Ｒｆ１に対しては、ＬＵ１＜Ｕ＜ＨＵ
１，ＬＶ１＜Ｖ＜ＨＶ１、領域Ｒｆ２に対しては、ＬＵ
２＜Ｕ＜ＨＵ２，ＬＶ２＜Ｖ＜ＨＶ２の範囲で抽出し、
Ｒｆ１，Ｒｆ２のいずれかを顔領域として出力する。以
上の処理を、動画像の全フレームに対して行う。
を求め、画像中の各領域に対応した峰を分割し、抽出す
る方法は、他に、特開平６−１６０９９３号公報，特開
平６−６７３２０号公報，特開平５−１５８１６４号公
報，特開平５−１００３２８号公報，特開平４−３４６
３３４号公報，特開平４−３４６３３３号公報，特開平
４−３４６３３２号公報等がある。領域抽出方法の従来
技術の第二の例を説明する。色差値Ｕ,Ｖにおいて、２
次元ヒストグラムを作成すると、図１２のように、顔領
域がＲｆ１または領域Ｒｆ２に存在する。そこで、顔領
域の抽出は、領域Ｒｆ１に対しては、ＬＵ１＜Ｕ＜ＨＵ
１，ＬＶ１＜Ｖ＜ＨＶ１、領域Ｒｆ２に対しては、ＬＵ
２＜Ｕ＜ＨＵ２，ＬＶ２＜Ｖ＜ＨＶ２の範囲で抽出し、
Ｒｆ１，Ｒｆ２のいずれかを顔領域として出力する。以
上の処理を、動画像の全フレームに対して行う。
【０００５】
【発明が解決しようとする課題】第一の顔領域抽出の従
来例では、色相値，彩度値の２次元ヒストグラムを作成
し、ヒストグラムの度数（画素数）の峰を抽出すること
により、画像中の領域分割を行っている。しかしなが
ら、どの峰が肌色領域に相当するのかという決定は、困
難な問題である。また、実際白色人種と黒色人種では、
色相値が異なる。つまり、人種によって、誤抽出を生じ
ることになる。第二の画像処理装置の従来例では、色差
は輝度との相関があるために、色差値の分布で全人種の
顔領域は２つの領域に限定されるものではなく、少なく
とも、白色人種，黄色人種，黒色人種と３つの領域が存
在する。そのため、人種によって顔領域が抽出できない
ことがある。また、このような抽出技術を動画像処理に
適用した場合、全フレームにおいて全画素の色空間を変
換する必要があり、時間あたりの処理量が多い。本発明
は、このような従来における問題点に鑑みてなされたも
ので、誤抽出のより少ない肌色領域抽出方法、並びに動
画像において、処理量がより少なく抽出できる装置を提
供することをその目的としている。
来例では、色相値，彩度値の２次元ヒストグラムを作成
し、ヒストグラムの度数（画素数）の峰を抽出すること
により、画像中の領域分割を行っている。しかしなが
ら、どの峰が肌色領域に相当するのかという決定は、困
難な問題である。また、実際白色人種と黒色人種では、
色相値が異なる。つまり、人種によって、誤抽出を生じ
ることになる。第二の画像処理装置の従来例では、色差
は輝度との相関があるために、色差値の分布で全人種の
顔領域は２つの領域に限定されるものではなく、少なく
とも、白色人種，黄色人種，黒色人種と３つの領域が存
在する。そのため、人種によって顔領域が抽出できない
ことがある。また、このような抽出技術を動画像処理に
適用した場合、全フレームにおいて全画素の色空間を変
換する必要があり、時間あたりの処理量が多い。本発明
は、このような従来における問題点に鑑みてなされたも
ので、誤抽出のより少ない肌色領域抽出方法、並びに動
画像において、処理量がより少なく抽出できる装置を提
供することをその目的としている。
【０００６】
【課題を解決するための手段】上記課題を解決するため
に、本願の請求項１記載の発明は、入力されるカラー画
像において、画素毎に輝度成分との相関が小さい色成分
について、その色成分値を導出することにより、各色成
分値に対する該画像の全画素の分布形状を求め、該分布
形状に基づいて色成分値の特定領域を決定し、該特定領
域に属する色成分値をもつ画素を抽出することを特徴と
する特定画像領域抽出方法をなし、この発明において、
輝度との相関が小さい色成分による分布形状に基づいて
特定画像の領域を決定し、その領域の画素を抽出するの
で、照明の条件，人種，或いは肌の色の違いの影響を受
けにくい。また、本願の請求項２記載の発明は、前記請
求項１記載の発明において、前記色成分として、色相を
用いることを特徴とする特定画像領域抽出方法をなし、
当該領域抽出方法として、有効な実用化手段を提供し得
る。
に、本願の請求項１記載の発明は、入力されるカラー画
像において、画素毎に輝度成分との相関が小さい色成分
について、その色成分値を導出することにより、各色成
分値に対する該画像の全画素の分布形状を求め、該分布
形状に基づいて色成分値の特定領域を決定し、該特定領
域に属する色成分値をもつ画素を抽出することを特徴と
する特定画像領域抽出方法をなし、この発明において、
輝度との相関が小さい色成分による分布形状に基づいて
特定画像の領域を決定し、その領域の画素を抽出するの
で、照明の条件，人種，或いは肌の色の違いの影響を受
けにくい。また、本願の請求項２記載の発明は、前記請
求項１記載の発明において、前記色成分として、色相を
用いることを特徴とする特定画像領域抽出方法をなし、
当該領域抽出方法として、有効な実用化手段を提供し得
る。
【０００７】また、本願の請求項３記載の発明は、前記
請求項１又は２記載の発明において、前記色成分値に対
する画素の分布形状を、色成分値のヒストグラムを作成
することにより求め、該ヒストグラムにおいて、予め設
定される色成分値の特定範囲内に、設定値以上の分布頻
度を持った山があるかどうかを判定し、該判定結果によ
り、予め設定してある２つの特定領域を選択し、決定す
ることを特徴とする特定画像領域抽出方法をなし、色成
分値のヒストグラムにおける設定値以上の分布頻度を持
つ山に基づいて、２つの特定画像領域を決定することに
なり、当該領域抽出方法として有効な実用化手段を提供
し得る。また、本願の請求項４記載の発明は、前記請求
項３記載の発明において、前記予め設定される色成分値
の特定範囲の上限値，下限値を固定値とすることを特徴
とする特定画像領域抽出方法をなし、特定範囲を固定値
とすることで、処理の簡易化がなされる。
請求項１又は２記載の発明において、前記色成分値に対
する画素の分布形状を、色成分値のヒストグラムを作成
することにより求め、該ヒストグラムにおいて、予め設
定される色成分値の特定範囲内に、設定値以上の分布頻
度を持った山があるかどうかを判定し、該判定結果によ
り、予め設定してある２つの特定領域を選択し、決定す
ることを特徴とする特定画像領域抽出方法をなし、色成
分値のヒストグラムにおける設定値以上の分布頻度を持
つ山に基づいて、２つの特定画像領域を決定することに
なり、当該領域抽出方法として有効な実用化手段を提供
し得る。また、本願の請求項４記載の発明は、前記請求
項３記載の発明において、前記予め設定される色成分値
の特定範囲の上限値，下限値を固定値とすることを特徴
とする特定画像領域抽出方法をなし、特定範囲を固定値
とすることで、処理の簡易化がなされる。
【０００８】また、本願の請求項５記載の発明は、入力
されるカラー画像について、画素毎に輝度成分との相関
が小さい色成分値を演算する演算手段と、入力されるカ
ラー画像及び該演算手段からの色成分値を記憶するフレ
ームメモリと、演算された該色成分値が予め設定される
色成分値の特定範囲にあることを判定する手段と、該判
定手段による判定結果から該特定範囲の色成分値を持つ
画素をカウントする手段と、選択された色成分値の範囲
にある画像を前記フレームメモリから抽出する特定画像
領域抽出手段と、上記手段における制御及び演算を行う
制御手段で、前記カウント手段からのカウント値と予め
設定されている値とを比較し、その比較結果に基づい
て、前記抽出手段における色成分値の２つの特定された
範囲を選択する機能を付加された該制御手段を有するこ
とを特徴とする特定画像領域抽出装置をなし、特定範囲
の色成分値を持つ画素数のカウント値に基づいて抽出す
べき２つの特定画像領域を決定することになり、当該領
域抽出装置として有効な実用化手段を提供し得る。ま
た、本願の請求項６記載の発明は、上記請求項５記載の
発明において、前記予め設定される色成分値の特定範囲
の上限値，下限値を固定値とすることを特徴とする装置
をなし、かかる特定範囲を固定値とすることで、処理が
簡易化される。
されるカラー画像について、画素毎に輝度成分との相関
が小さい色成分値を演算する演算手段と、入力されるカ
ラー画像及び該演算手段からの色成分値を記憶するフレ
ームメモリと、演算された該色成分値が予め設定される
色成分値の特定範囲にあることを判定する手段と、該判
定手段による判定結果から該特定範囲の色成分値を持つ
画素をカウントする手段と、選択された色成分値の範囲
にある画像を前記フレームメモリから抽出する特定画像
領域抽出手段と、上記手段における制御及び演算を行う
制御手段で、前記カウント手段からのカウント値と予め
設定されている値とを比較し、その比較結果に基づい
て、前記抽出手段における色成分値の２つの特定された
範囲を選択する機能を付加された該制御手段を有するこ
とを特徴とする特定画像領域抽出装置をなし、特定範囲
の色成分値を持つ画素数のカウント値に基づいて抽出す
べき２つの特定画像領域を決定することになり、当該領
域抽出装置として有効な実用化手段を提供し得る。ま
た、本願の請求項６記載の発明は、上記請求項５記載の
発明において、前記予め設定される色成分値の特定範囲
の上限値，下限値を固定値とすることを特徴とする装置
をなし、かかる特定範囲を固定値とすることで、処理が
簡易化される。
【０００９】また、本願の請求項７記載の発明は、入力
されるカラー画像を記憶するフレームメモリと、該フレ
ームメモリに記憶された画像の画素毎に輝度成分との相
関が小さい色成分についてその色成分値を導出すること
により各色成分値に対する該画像の全画素の分布形状を
求め該分布形状に基づいて色成分値の特定領域を決定し
該特定領域に属する色成分値をもつ画素を抽出する手段
と、該抽出手段により抽出された該画像における画素に
ついて入力時の色空間上でのヒストグラムを求める手段
と、該ヒストグラムの分布から、入力時の色空間上の特
定領域を決める手段と、決定された該色空間上の特定領
域を次のフレームの入力画像に適用して該領域に属する
画素を該入力画像から抽出する手段と、上記手段におけ
る制御及び演算を行う制御手段を有することを特徴とす
る特定画像領域抽出装置をなし、入力原画像の色空間上
でのヒストグラムにより、該色空間上の特定領域に属す
る画素を抽出するので、処理の高速化が可能となるの
で、当該装置は、画像中の人物が変わらないというよう
な状況の処理に適して用い得る。
されるカラー画像を記憶するフレームメモリと、該フレ
ームメモリに記憶された画像の画素毎に輝度成分との相
関が小さい色成分についてその色成分値を導出すること
により各色成分値に対する該画像の全画素の分布形状を
求め該分布形状に基づいて色成分値の特定領域を決定し
該特定領域に属する色成分値をもつ画素を抽出する手段
と、該抽出手段により抽出された該画像における画素に
ついて入力時の色空間上でのヒストグラムを求める手段
と、該ヒストグラムの分布から、入力時の色空間上の特
定領域を決める手段と、決定された該色空間上の特定領
域を次のフレームの入力画像に適用して該領域に属する
画素を該入力画像から抽出する手段と、上記手段におけ
る制御及び演算を行う制御手段を有することを特徴とす
る特定画像領域抽出装置をなし、入力原画像の色空間上
でのヒストグラムにより、該色空間上の特定領域に属す
る画素を抽出するので、処理の高速化が可能となるの
で、当該装置は、画像中の人物が変わらないというよう
な状況の処理に適して用い得る。
【００１０】また、本願の請求項８記載の発明は、上記
請求項７記載の発明において、前記制御手段は、色空間
上の前記特定領域の決定を周期的に行い、新たに該特定
領域が決めるまでの間に入力される画像について、既に
決めた色空間上の特定領域を繰り返し用いて、該特定領
域に属する画素を抽出させるようにする付加機能を有す
ることを特徴とする特定画像領域抽出装置をなし、請求
項７記載の発明の作用に加えて、画像における抽出対象
人物が変わる等の場合でも対応することを可能とする。
また、本願の請求項９記載の発明は、上記請求項７又は
８記載の発明において、動画像を前記入力されるカラー
画像としたことに適応する機能を有するようになされた
ことを特徴とする装置をなし、上記請求項７又は８記載
の発明が動画に対して充分機能するようになされる。
請求項７記載の発明において、前記制御手段は、色空間
上の前記特定領域の決定を周期的に行い、新たに該特定
領域が決めるまでの間に入力される画像について、既に
決めた色空間上の特定領域を繰り返し用いて、該特定領
域に属する画素を抽出させるようにする付加機能を有す
ることを特徴とする特定画像領域抽出装置をなし、請求
項７記載の発明の作用に加えて、画像における抽出対象
人物が変わる等の場合でも対応することを可能とする。
また、本願の請求項９記載の発明は、上記請求項７又は
８記載の発明において、動画像を前記入力されるカラー
画像としたことに適応する機能を有するようになされた
ことを特徴とする装置をなし、上記請求項７又は８記載
の発明が動画に対して充分機能するようになされる。
【００１１】
【発明の実施の形態】以下において、本発明の実施の形
態を図面を用い詳細に説明する。 （請求項１,２,５或いは６に対応する発明の実施の形
態）この実施の形態では、輝度成分との相関が少ない色
成分として色相値を使用する。画像データから色相値を
導出する際には、様々な式が用いられるが、この実施の
形態では、一般的なＨＳＶ表色系（Ｈ：色相，Ｓ：彩
度，Ｖ：輝度）における色相値の導出式を用いる。下記
の［式１］は、入力フォーマットがＲＧＢ信号の場合の
色相値（Ｈ）の導出式の一例である。
態を図面を用い詳細に説明する。 （請求項１,２,５或いは６に対応する発明の実施の形
態）この実施の形態では、輝度成分との相関が少ない色
成分として色相値を使用する。画像データから色相値を
導出する際には、様々な式が用いられるが、この実施の
形態では、一般的なＨＳＶ表色系（Ｈ：色相，Ｓ：彩
度，Ｖ：輝度）における色相値の導出式を用いる。下記
の［式１］は、入力フォーマットがＲＧＢ信号の場合の
色相値（Ｈ）の導出式の一例である。
【００１２】
【数１】
【００１３】図２および図３は、顔領域を含んだ画像か
ら［式１］により色相値を導出し、ヒストグラムを作成
したものである。図２は、白色，黄色人種等、比較的肌
の色が薄い人物が画像中に存在する場合のヒストグラム
である。また、図３は、黒色人種等、肌の色が濃い人物
が画像中に存在する場合である。図２において、一般に
肌色領域画素は、図中ヒストグラムの山Ｍ１に分布して
いる。つまり、色相値がＷ１の範囲である約０.１５〜
０.４５（rad）の間に肌色を示す画素が存在する。これ
に対し、図３において、一般には、該Ｗ１の範囲にはヒ
ストグラムの度数（画素数）の山が見られない。すなわ
ち、肌色領域が該Ｗ１の色相値の範囲には、ほとんど存
在していない。肌色領域画素は、Ｗ２の範囲のヒストグ
ラム山Ｍ２に多く分布している。
ら［式１］により色相値を導出し、ヒストグラムを作成
したものである。図２は、白色，黄色人種等、比較的肌
の色が薄い人物が画像中に存在する場合のヒストグラム
である。また、図３は、黒色人種等、肌の色が濃い人物
が画像中に存在する場合である。図２において、一般に
肌色領域画素は、図中ヒストグラムの山Ｍ１に分布して
いる。つまり、色相値がＷ１の範囲である約０.１５〜
０.４５（rad）の間に肌色を示す画素が存在する。これ
に対し、図３において、一般には、該Ｗ１の範囲にはヒ
ストグラムの度数（画素数）の山が見られない。すなわ
ち、肌色領域が該Ｗ１の色相値の範囲には、ほとんど存
在していない。肌色領域画素は、Ｗ２の範囲のヒストグ
ラム山Ｍ２に多く分布している。
【００１４】図１は、本発明の領域抽出方法を実施する
ための手段の形態を示すブロック図である。以下、動作
並びに各ブロックについて説明する。色相値演算部１で
は、入力された画像信号から［式１］により色相値を計
算する。導出された色相値データは、入力画像信号と共
にフレームメモリ６に書き込まれ、次の１次判定部２へ
出力される。１次判定部２では、制御部５より出力され
る上限値ｈ２、下限値ｈ１で決定される特定範囲をＷ１
とし、色相値演算部１を経て求めた色相値が、この範囲
内にある画素を抽出する。この時、上限値ｈ２、下限値
ｈ１は、定数にして固定化しても構わない。一般的に
は、ｈ１＝０.１５（rad），ｈ２＝０.４５（rad）程度
に設定する。抽出した結果は、画素数カウント部３へ出
力される。画素数カウント部３では、１次判定部２によ
り抽出された画素数をカウントする。カウント値は、制
御部５へ出力される。
ための手段の形態を示すブロック図である。以下、動作
並びに各ブロックについて説明する。色相値演算部１で
は、入力された画像信号から［式１］により色相値を計
算する。導出された色相値データは、入力画像信号と共
にフレームメモリ６に書き込まれ、次の１次判定部２へ
出力される。１次判定部２では、制御部５より出力され
る上限値ｈ２、下限値ｈ１で決定される特定範囲をＷ１
とし、色相値演算部１を経て求めた色相値が、この範囲
内にある画素を抽出する。この時、上限値ｈ２、下限値
ｈ１は、定数にして固定化しても構わない。一般的に
は、ｈ１＝０.１５（rad），ｈ２＝０.４５（rad）程度
に設定する。抽出した結果は、画素数カウント部３へ出
力される。画素数カウント部３では、１次判定部２によ
り抽出された画素数をカウントする。カウント値は、制
御部５へ出力される。
【００１５】制御部５では、画素数カウント部３より入
力されたカウント値の大小によって、抽出対象人物の肌
色が薄いのか濃いのかを判定し、その結果に従って、抽
出に使用する色成分値の領域を決定する。決定された色
領域の情報であるモードと閾値を顔領域抽出部４へ出力
する。制御部５での色領域決定の処理のフローを図４に
示す。ステップ２０でのカウント値Ｎに対し、ステップ
２１では、画像に占める顔の割合を考え、全画素数の３
〜４％の画素数をもって判定を行う。この値を越える場
合は、抽出対象人物の肌色が薄いと判断し、ステップ２
２において、ｈ１＜Ｈ＜ｈ２にある色成分値の領域Ｗ１
を特定領域として決定する。一方、閾値を越えない場合
には、肌色が濃いと判断して、ステップ２３において、
制御部５より出力されるｈ２，ｈ３で決定される色領域
Ｗ２，Ｗ３の論理和を特定領域として決定する。一般的
には、ｈ３＝６.０程度に設定する。なお、Ｗ２の範囲
は、ｈ３＜Ｈ≦２π，Ｗ３は０＜Ｈ＜ｈ２である。ここ
で、色相値の導出式［式１］が逆余弦によって定義され
るので、該Ｗ２，Ｗ３の２つの範囲は、色相値が２πと
ゼロにおいて互いに連続しており、実質１つの範囲を表
している。顔領域抽出部４では、フレームメモリ６から
読み出した画像の色相信号に対して、制御部５より出力
される閾値とモードに従って顔（肌色）画像の領域（の
画像又はアドレス）を、例えば、そのアドレス等として
抽出する。
力されたカウント値の大小によって、抽出対象人物の肌
色が薄いのか濃いのかを判定し、その結果に従って、抽
出に使用する色成分値の領域を決定する。決定された色
領域の情報であるモードと閾値を顔領域抽出部４へ出力
する。制御部５での色領域決定の処理のフローを図４に
示す。ステップ２０でのカウント値Ｎに対し、ステップ
２１では、画像に占める顔の割合を考え、全画素数の３
〜４％の画素数をもって判定を行う。この値を越える場
合は、抽出対象人物の肌色が薄いと判断し、ステップ２
２において、ｈ１＜Ｈ＜ｈ２にある色成分値の領域Ｗ１
を特定領域として決定する。一方、閾値を越えない場合
には、肌色が濃いと判断して、ステップ２３において、
制御部５より出力されるｈ２，ｈ３で決定される色領域
Ｗ２，Ｗ３の論理和を特定領域として決定する。一般的
には、ｈ３＝６.０程度に設定する。なお、Ｗ２の範囲
は、ｈ３＜Ｈ≦２π，Ｗ３は０＜Ｈ＜ｈ２である。ここ
で、色相値の導出式［式１］が逆余弦によって定義され
るので、該Ｗ２，Ｗ３の２つの範囲は、色相値が２πと
ゼロにおいて互いに連続しており、実質１つの範囲を表
している。顔領域抽出部４では、フレームメモリ６から
読み出した画像の色相信号に対して、制御部５より出力
される閾値とモードに従って顔（肌色）画像の領域（の
画像又はアドレス）を、例えば、そのアドレス等として
抽出する。
【００１６】（請求項１ないし４に対応する発明の実施
の形態）図５は、本発明を実施するための他の手段の形
態を示すブロック図である。以下、動作並びに各ブロッ
クについて説明する。この実施の形態では、上記した実
施の形態中の１次判定部２および画素数カウント部３に
代わり、ヒストグラム作成部７，雑音除去部８および山
部検知部９を備える。ヒストグラム作成部７において、
色相値のヒストグラムを作成する。作成されたヒストグ
ラム中には、雑音，演算誤差等が存在する。これらを除
去するために、次の雑音除去部８では、該ヒストグラム
にメディアンフィルタ等を適用し、滑らかにした後、更
に、図２に示すように、ヒストグラムの度数（画素数）
がＴ値以下の部分を除去する。そして、これらの処理を
施したヒストグラムを山部判定部９へ出力する。山部検
知部９では、上記した実施の形態と同じ特定範囲Ｗ１内
において、ヒストグラムに山が存在するか否かを検知す
る。検知結果は、制御部５へ出力される。制御部５で
は、検知結果に対して、山をもつ場合を白色，黄色人種
等肌色の薄い場合、山を持たない場合を黒色人種等、肌
色の濃い場合の色領域に対応させる。そして、第一の実
施例と同様に、決定された色領域のモードと閾値を顔領
域抽出部４へ出力する。顔領域抽出部４では、フレーム
メモリ６より読み出した画像の色相信号に対し、制御部
５より入力される閾値とモードに従って、顔（肌色）領
域の抽出を行う。
の形態）図５は、本発明を実施するための他の手段の形
態を示すブロック図である。以下、動作並びに各ブロッ
クについて説明する。この実施の形態では、上記した実
施の形態中の１次判定部２および画素数カウント部３に
代わり、ヒストグラム作成部７，雑音除去部８および山
部検知部９を備える。ヒストグラム作成部７において、
色相値のヒストグラムを作成する。作成されたヒストグ
ラム中には、雑音，演算誤差等が存在する。これらを除
去するために、次の雑音除去部８では、該ヒストグラム
にメディアンフィルタ等を適用し、滑らかにした後、更
に、図２に示すように、ヒストグラムの度数（画素数）
がＴ値以下の部分を除去する。そして、これらの処理を
施したヒストグラムを山部判定部９へ出力する。山部検
知部９では、上記した実施の形態と同じ特定範囲Ｗ１内
において、ヒストグラムに山が存在するか否かを検知す
る。検知結果は、制御部５へ出力される。制御部５で
は、検知結果に対して、山をもつ場合を白色，黄色人種
等肌色の薄い場合、山を持たない場合を黒色人種等、肌
色の濃い場合の色領域に対応させる。そして、第一の実
施例と同様に、決定された色領域のモードと閾値を顔領
域抽出部４へ出力する。顔領域抽出部４では、フレーム
メモリ６より読み出した画像の色相信号に対し、制御部
５より入力される閾値とモードに従って、顔（肌色）領
域の抽出を行う。
【００１７】（請求項７ないし９に対応する発明の実施
の形態）以下に明らかにする実施の形態では、抽出する
画像として、映画等、編集された画像でなく、カメラよ
り撮影された無編集の画像を対象とする。このような画
像では、顔領域抽出の際に人物が変わる等が起こらなけ
れば、同一の閾値によって抽出できる。この実施の形態
は、この点に注目したものである。図６は、本発明の画
像処理装置の実施の形態を示すブロック図である。以
下、動作並びに各ブロックについて説明する。フレーム
メモリ６は、入力される原画像を１フレーム分記憶す
る。色成分判定部１０では、フレームメモリ６より読み
出した１フレームの画像に対し、色成分値による顔領域
の判定を行う。判定の方法は、例えば、請求項１ないし
４記載の発明による手法により抽出を行う等が考えられ
る。判定結果を次の入力色空間判定部１１へ出力する。
入力色空間判定部１１では、フレームメモリ６から再び
読み出した原画像に対し、色成分判定部１０において、
顔領域と判定された画素と同じ座標に相当するデータを
抽出し、これらのデータから入力時の色空間上でのヒス
トグラムを作成する。例えば、入力フォーマットがＲＧ
Ｂ信号の場合、Ｒ,Ｇ,Ｂの各々について３つのヒストグ
ラムができる。そして、それぞれのヒストグラムの分布
形状から、雑音レベル以上の分布頻度を持つ山を探すこ
とにより、入力原画像の色空間においても顔領域の判定
を行い、領域の入力時色空間での閾値を求める。求めら
れた閾値は、顔領域抽出部４へ出力する。制御部５で
は、入力色空間判定部１１より閾値が求められ、その値
が入力されるまでは、顔領域抽出部４に対して原画像を
そのまま出力するように命令を出し、閾値が求められる
と、顔領域抽出部４に顔領域抽出の命令を出す。仮に、
閾値を求めるまでの処理に１秒間必要であるとする。１
秒間は、３０フレーム分の動画像に相当するので、リア
ルタイムで抽出を行うために、顔領域抽出部４に対し、
図７のように、１フレーム目から３０フレーム目までの
３０フレーム分を抽出処理をせずに、原画像のまま出力
する命令を出す。そして、３１フレーム目以降の画像が
抽出処理されるように命令を出す。また、この例の場
合、以上の方法で動画像の顔領域を抽出することによ
り、全フレームにおいて閾値を求めて抽出する方法に比
べ、１／３０に処理時間が短縮できる。このため、実際
のハードウェア化を考えた場合、これまでの閾値を求め
る処理をマイクロプロセッサにより制御することが可能
である。顔領域抽出部４では、制御部５からの命令を受
けて、原画像をそのまま出力、又は入力色空間判定部１
１から入力される閾値によって、原画像から顔領域の抽
出を行う。
の形態）以下に明らかにする実施の形態では、抽出する
画像として、映画等、編集された画像でなく、カメラよ
り撮影された無編集の画像を対象とする。このような画
像では、顔領域抽出の際に人物が変わる等が起こらなけ
れば、同一の閾値によって抽出できる。この実施の形態
は、この点に注目したものである。図６は、本発明の画
像処理装置の実施の形態を示すブロック図である。以
下、動作並びに各ブロックについて説明する。フレーム
メモリ６は、入力される原画像を１フレーム分記憶す
る。色成分判定部１０では、フレームメモリ６より読み
出した１フレームの画像に対し、色成分値による顔領域
の判定を行う。判定の方法は、例えば、請求項１ないし
４記載の発明による手法により抽出を行う等が考えられ
る。判定結果を次の入力色空間判定部１１へ出力する。
入力色空間判定部１１では、フレームメモリ６から再び
読み出した原画像に対し、色成分判定部１０において、
顔領域と判定された画素と同じ座標に相当するデータを
抽出し、これらのデータから入力時の色空間上でのヒス
トグラムを作成する。例えば、入力フォーマットがＲＧ
Ｂ信号の場合、Ｒ,Ｇ,Ｂの各々について３つのヒストグ
ラムができる。そして、それぞれのヒストグラムの分布
形状から、雑音レベル以上の分布頻度を持つ山を探すこ
とにより、入力原画像の色空間においても顔領域の判定
を行い、領域の入力時色空間での閾値を求める。求めら
れた閾値は、顔領域抽出部４へ出力する。制御部５で
は、入力色空間判定部１１より閾値が求められ、その値
が入力されるまでは、顔領域抽出部４に対して原画像を
そのまま出力するように命令を出し、閾値が求められる
と、顔領域抽出部４に顔領域抽出の命令を出す。仮に、
閾値を求めるまでの処理に１秒間必要であるとする。１
秒間は、３０フレーム分の動画像に相当するので、リア
ルタイムで抽出を行うために、顔領域抽出部４に対し、
図７のように、１フレーム目から３０フレーム目までの
３０フレーム分を抽出処理をせずに、原画像のまま出力
する命令を出す。そして、３１フレーム目以降の画像が
抽出処理されるように命令を出す。また、この例の場
合、以上の方法で動画像の顔領域を抽出することによ
り、全フレームにおいて閾値を求めて抽出する方法に比
べ、１／３０に処理時間が短縮できる。このため、実際
のハードウェア化を考えた場合、これまでの閾値を求め
る処理をマイクロプロセッサにより制御することが可能
である。顔領域抽出部４では、制御部５からの命令を受
けて、原画像をそのまま出力、又は入力色空間判定部１
１から入力される閾値によって、原画像から顔領域の抽
出を行う。
【００１８】しかし、上記実施の形態では、動画像の１
フレームに対して閾値を求め、この閾値を以後の画像に
適用し、顔領域の抽出を行った。ところが、特にテレビ
電話，テレビ会議等の用途を考えた場合には、通話の最
中に人物が変わる可能性があるので、それにより誤抽出
を招く恐れがある。以上の点から、一度、上記実施の形
態の手法により閾値を求め、顔領域の抽出を行った後に
もいくつかのフレームごとに（例えば３００フレームご
とに）、閾値を更新し、顔領域の抽出を行う方法があ
る。すなわち、周期的にこの実施の形態の実行を繰り返
すものである。例えば、閾値を求めるためにＮ１フレー
ム分の時間が必要な場合に、Ｎ２＞Ｎ１であるＮ２フレ
ームの周期で閾値を更新するものとする。この場合、フ
レームメモリ６に対して、図８のように、０フレーム
目，Ｎ２フレーム目，２×Ｎ２フレーム目…ｎ×Ｎ２フ
レーム目（ｎは整数）…に書き込みを指示する。Ｎ１フ
レーム目までの抽出処理は、この実施の形態の手法を用
いて閾値Ｔ１を求める。そして、Ｎ１＋１フレーム目か
らＮ２＋Ｎ１フレーム目まで、この閾値Ｔ１を用いて顔
領域の抽出を行う。この間、閾値を更新するために、Ｎ
２フレーム目の画像をフレームメモリ６に記憶させ、こ
の画像に対して閾値Ｔ２を求める処理を行う。そして、
Ｎ２＋Ｎ１＋１フレーム目から２×Ｎ２＋Ｎ１フレーム
目まで更新された閾値Ｔ２を用いて抽出を行う。以下、
同じ処理を繰り返すことになる。
フレームに対して閾値を求め、この閾値を以後の画像に
適用し、顔領域の抽出を行った。ところが、特にテレビ
電話，テレビ会議等の用途を考えた場合には、通話の最
中に人物が変わる可能性があるので、それにより誤抽出
を招く恐れがある。以上の点から、一度、上記実施の形
態の手法により閾値を求め、顔領域の抽出を行った後に
もいくつかのフレームごとに（例えば３００フレームご
とに）、閾値を更新し、顔領域の抽出を行う方法があ
る。すなわち、周期的にこの実施の形態の実行を繰り返
すものである。例えば、閾値を求めるためにＮ１フレー
ム分の時間が必要な場合に、Ｎ２＞Ｎ１であるＮ２フレ
ームの周期で閾値を更新するものとする。この場合、フ
レームメモリ６に対して、図８のように、０フレーム
目，Ｎ２フレーム目，２×Ｎ２フレーム目…ｎ×Ｎ２フ
レーム目（ｎは整数）…に書き込みを指示する。Ｎ１フ
レーム目までの抽出処理は、この実施の形態の手法を用
いて閾値Ｔ１を求める。そして、Ｎ１＋１フレーム目か
らＮ２＋Ｎ１フレーム目まで、この閾値Ｔ１を用いて顔
領域の抽出を行う。この間、閾値を更新するために、Ｎ
２フレーム目の画像をフレームメモリ６に記憶させ、こ
の画像に対して閾値Ｔ２を求める処理を行う。そして、
Ｎ２＋Ｎ１＋１フレーム目から２×Ｎ２＋Ｎ１フレーム
目まで更新された閾値Ｔ２を用いて抽出を行う。以下、
同じ処理を繰り返すことになる。
【００１９】
【発明の効果】以上、説明したように、請求項１記載の
発明によると、入力画像より導出した色成分値の分布形
状を認識し、抽出対象人物に対応するような閾値を選択
することにより、顔（肌色）抽出を行った。これによ
り、人種に関係なく、誤抽出の少ない顔（肌色）領域の
抽出を行うことができ、さらに、請求項２記載の発明に
よって有効な実用化手段を提供し得るという効果が得ら
れる。また、請求項３記載の発明によれば、上記分布形
状において、特定範囲内に存在するヒストグラムの山を
探すことに基づいて、特定画像領域を抽出するという実
用化手段として有効な方法を提供し得、更に、請求項４
記載の発明によれば、上記特定範囲を固定値にすること
で、抽出の簡易化を可能とする、という効果が得られ
る。
発明によると、入力画像より導出した色成分値の分布形
状を認識し、抽出対象人物に対応するような閾値を選択
することにより、顔（肌色）抽出を行った。これによ
り、人種に関係なく、誤抽出の少ない顔（肌色）領域の
抽出を行うことができ、さらに、請求項２記載の発明に
よって有効な実用化手段を提供し得るという効果が得ら
れる。また、請求項３記載の発明によれば、上記分布形
状において、特定範囲内に存在するヒストグラムの山を
探すことに基づいて、特定画像領域を抽出するという実
用化手段として有効な方法を提供し得、更に、請求項４
記載の発明によれば、上記特定範囲を固定値にすること
で、抽出の簡易化を可能とする、という効果が得られ
る。
【００２０】また、請求項５記載の発明によって、特定
範囲の色成分値を持つ画素数のカウント値に基づいて２
つの特定画像領域を抽出することを可能とする装置化手
段が提供され、当該領域抽出の自動化が可能となる。更
に、請求項６記載の発明によれば、上記特定範囲を固定
値とすることにより、該抽出が簡易化される。また、請
求項７記載の発明によれば、１フレームのみ色成分値に
基づいて特定領域の画素を抽出した後、この抽出画素を
もとに色成分値から色空間上への変換を行い閾値を求
め、この閾値を用いて以後の抽出を行うことにより、全
フレームを色成分値における閾値を用いるよりも処理の
高速化が図れる、という効果をもたらす。また、請求項
８記載の発明によれば、請求項７記載の発明の効果に加
え、周期的に閾値を更新することにより、対象画像に変
化があっても抽出精度を維持し得、途中で抽出対象人物
が変わる等の場合でも対応することができる、という効
果が得られる。更に、請求項９記載の発明によって、請
求項７及び８記載の発明の効果に加え、動画像に対して
充分機能するようになって、動画像に対応できなかった
従来の問題点が解消し得る。
範囲の色成分値を持つ画素数のカウント値に基づいて２
つの特定画像領域を抽出することを可能とする装置化手
段が提供され、当該領域抽出の自動化が可能となる。更
に、請求項６記載の発明によれば、上記特定範囲を固定
値とすることにより、該抽出が簡易化される。また、請
求項７記載の発明によれば、１フレームのみ色成分値に
基づいて特定領域の画素を抽出した後、この抽出画素を
もとに色成分値から色空間上への変換を行い閾値を求
め、この閾値を用いて以後の抽出を行うことにより、全
フレームを色成分値における閾値を用いるよりも処理の
高速化が図れる、という効果をもたらす。また、請求項
８記載の発明によれば、請求項７記載の発明の効果に加
え、周期的に閾値を更新することにより、対象画像に変
化があっても抽出精度を維持し得、途中で抽出対象人物
が変わる等の場合でも対応することができる、という効
果が得られる。更に、請求項９記載の発明によって、請
求項７及び８記載の発明の効果に加え、動画像に対して
充分機能するようになって、動画像に対応できなかった
従来の問題点が解消し得る。
【図１】請求項１,２,５或いは６に対応する発明の特定
画像領域抽出方法を実施するための手段の形態を示すブ
ロック図である。
画像領域抽出方法を実施するための手段の形態を示すブ
ロック図である。
【図２】白色，黄色人種等の色相値のヒストグラムを示
す線図である。
す線図である。
【図３】黒色人種等の色相値のヒストグラムを示す線図
である。
である。
【図４】図１の実施の形態における制御部に関する流れ
図である。
図である。
【図５】請求項１ないし４に対応する発明の方法を実施
するための手段の形態を示すブロック図である。
するための手段の形態を示すブロック図である。
【図６】請求項７ないし９に対応する発明の画像処理装
置の実施の形態を示すブロック図である。
置の実施の形態を示すブロック図である。
【図７】図６の実施の形態に関する説明図である。
【図８】図６の実施の形態に関する説明図である。
【図９】顔領域抽出方法の従来技術例を示す流れ図であ
る。
る。
【図１０】顔領域抽出の従来技術による入力画像の色相
値及び彩度値の２次元ヒストグラムを示す線図である。
値及び彩度値の２次元ヒストグラムを示す線図である。
【図１１】顔領域抽出の従来技術による入力画像を各領
域に分割した状態を示す線図である。
域に分割した状態を示す線図である。
【図１２】画像処理装置の従来技術例に関する説明図で
ある。
ある。
１…色相値演算部、２…１次判定部、３…画素数カウン
ト部、４…顔領域抽出部、５…制御部、６…フレームメ
モリ、７…ヒストグラム作成部、８…雑音除去部、９…
山部検知部、１０…色成分判定部、１１…入力色空間判
定部、Ｓ５０…Ｓ５３…制御部における動作ステップ、
Ｕ1，Ｕ2…肌色領域画素によるヒストグラムにおける
山、Ｗ１…特定範囲、Ｗ２，Ｗ３…黒色人種顔領域存在
範囲、ｈ１…特定範囲の下限値、ｈ２…特定範囲の上限
値、ｈ３…黒色人種顔領域存在範囲の閾値、Ｔ…雑音除
去のための閾値、Ｎ…特定範囲内の画素数、Ｎ１…閾値
を求めるまでに必要なフレーム数、Ｎ２…閾値更新の周
期、Ｔ１…顔領域抽出のための閾値、Ｔ２…更新された
顔領域抽出のための閾値。
ト部、４…顔領域抽出部、５…制御部、６…フレームメ
モリ、７…ヒストグラム作成部、８…雑音除去部、９…
山部検知部、１０…色成分判定部、１１…入力色空間判
定部、Ｓ５０…Ｓ５３…制御部における動作ステップ、
Ｕ1，Ｕ2…肌色領域画素によるヒストグラムにおける
山、Ｗ１…特定範囲、Ｗ２，Ｗ３…黒色人種顔領域存在
範囲、ｈ１…特定範囲の下限値、ｈ２…特定範囲の上限
値、ｈ３…黒色人種顔領域存在範囲の閾値、Ｔ…雑音除
去のための閾値、Ｎ…特定範囲内の画素数、Ｎ１…閾値
を求めるまでに必要なフレーム数、Ｎ２…閾値更新の周
期、Ｔ１…顔領域抽出のための閾値、Ｔ２…更新された
顔領域抽出のための閾値。
Claims (9)
- 【請求項１】 入力されるカラー画像において、画素毎
に輝度成分との相関が小さい色成分について、その色成
分値を導出することにより、各色成分値に対する該画像
の全画素の分布形状を求め、該分布形状に基づいて色成
分値の特定領域を決定し、該特定領域に属する色成分値
をもつ画素を抽出することを特徴とする特定画像領域抽
出方法。 - 【請求項２】 前記色成分として、色相を用いることを
特徴とする請求項１記載の特定画像領域抽出方法。 - 【請求項３】 前記色成分値に対する画素の分布形状
を、色成分値のヒストグラムを作成することにより求
め、該ヒストグラムにおいて、予め設定される色成分値
の特定範囲内に、設定値以上の分布頻度を持った山があ
るかどうかを判定し、該判定結果により、予め設定して
ある２つの特定領域を選択し、決定することを特徴とす
る請求項１又は２記載の特定画像領域抽出方法。 - 【請求項４】 前記予め設定される色成分値の特定範囲
の上限値，下限値を固定値とすることを特徴とする請求
項３記載の特定画像領域抽出方法。 - 【請求項５】 入力されるカラー画像について画素毎に
輝度成分との相関が小さい色成分値を演算する演算手段
と、入力されるカラー画像及び該演算手段からの色成分
値を記憶するフレームメモリと、演算された該色成分値
が予め設定される色成分値の特定範囲にあることを判定
する手段と、該判定手段による判定結果から該特定範囲
の色成分値を持つ画素をカウントする手段と、選択され
た色成分値の範囲にある画像を前記フレームメモリから
抽出する特定画像領域抽出手段と、上記手段における制
御及び演算を行う制御手段で、前記カウント手段からの
カウント値と予め設定されている値とを比較し、その比
較結果に基づいて、前記抽出手段における色成分値の２
つの特定された範囲を選択する機能を付加された該制御
手段を有することを特徴とする特定画像領域抽出装置。 - 【請求項６】 前記予め設定される色成分値の特定範囲
の上限値，下限値を固定値とすることを特徴とする請求
項５記載の特定画像領域抽出装置。 - 【請求項７】 入力されるカラー画像を記憶するフレー
ムメモリと、該フレームメモリに記憶された画像の画素
毎に輝度成分との相関が小さい色成分についてその色成
分値を導出することにより各色成分値に対する該画像の
全画素の分布形状を求め該分布形状に基づいて色成分値
の特定領域を決定し該特定領域に属する色成分値をもつ
画素を抽出する手段と、該抽出手段により抽出された該
画像における画素について入力時の色空間上でのヒスト
グラムを求める手段と、該ヒストグラムの分布から、入
力時の色空間上の特定領域を決める手段と、決定された
該色空間上の特定領域を次のフレームの入力画像に適用
して該領域に属する画素を該入力画像から抽出する手段
と、上記手段における制御及び演算を行う制御手段を有
することを特徴とする特定画像領域抽出装置。 - 【請求項８】 前記制御手段は、色空間上の前記特定領
域の決定を周期的に行い、新たに該特定領域が決めるま
での間に入力される画像について、既に決めた色空間上
の特定領域を繰り返し用いて、該特定領域に属する画素
を抽出させるようにする付加機能を有することを特徴と
する請求項７記載の特定画像領域抽出装置。 - 【請求項９】 動画像を前記入力されるカラー画像とし
たことに適応する機能を有するようになされたことを特
徴とする請求項７又は８記載の特定画像領域抽出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19387095A JP3461626B2 (ja) | 1995-07-28 | 1995-07-28 | 特定画像領域抽出方法及び特定画像領域抽出装置 |
| US08/690,319 US6088137A (en) | 1995-07-28 | 1996-07-25 | Specified image-area extracting method and device |
| EP19960305514 EP0756426B1 (en) | 1995-07-28 | 1996-07-26 | Specified image-area extracting method and device for producing video information |
| DE69612643T DE69612643T2 (de) | 1995-07-28 | 1996-07-26 | Verfahren und Vorrichtung zum Extrahieren spezifischer Bildinformation zum Erzeugen von Videoinformation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19387095A JP3461626B2 (ja) | 1995-07-28 | 1995-07-28 | 特定画像領域抽出方法及び特定画像領域抽出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0944670A true JPH0944670A (ja) | 1997-02-14 |
| JP3461626B2 JP3461626B2 (ja) | 2003-10-27 |
Family
ID=16315128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19387095A Expired - Fee Related JP3461626B2 (ja) | 1995-07-28 | 1995-07-28 | 特定画像領域抽出方法及び特定画像領域抽出装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6088137A (ja) |
| EP (1) | EP0756426B1 (ja) |
| JP (1) | JP3461626B2 (ja) |
| DE (1) | DE69612643T2 (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001014457A (ja) * | 1999-06-29 | 2001-01-19 | Minolta Co Ltd | 画像処理装置 |
| KR100311952B1 (ko) * | 1999-01-11 | 2001-11-02 | 구자홍 | 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법 |
| KR100327485B1 (ko) * | 1999-03-17 | 2002-03-13 | 윤종용 | 칼라 이미지로 부터의 얼굴 검출 장치 및 그 방법 |
| JP2002335501A (ja) * | 2001-05-10 | 2002-11-22 | Mitsubishi Electric Corp | 携帯型表示装置 |
| KR100422709B1 (ko) * | 2001-10-05 | 2004-03-16 | 엘지전자 주식회사 | 영상 의존적인 얼굴 영역 추출방법 |
| KR20040052142A (ko) * | 2002-12-13 | 2004-06-19 | 엘지전자 주식회사 | 이동통신 단말기 및 그 운용방법 |
| KR100438303B1 (ko) * | 2002-01-17 | 2004-07-01 | 엘지전자 주식회사 | 객체 추출방법 |
| KR100438283B1 (ko) * | 2002-08-09 | 2004-07-02 | 엘지전자 주식회사 | 이동통신 단말기 및 이동통신 단말기에서의 얼굴 영역추출 방법 |
| KR100439377B1 (ko) * | 2002-01-17 | 2004-07-09 | 엘지전자 주식회사 | 이동 통신 환경에서의 사람 영역 추출방법 |
| KR100474848B1 (ko) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 |
| JP2006185109A (ja) * | 2004-12-27 | 2006-07-13 | Hitachi Ltd | 画像計測装置及び画像計測方法 |
| KR100691971B1 (ko) * | 2006-01-20 | 2007-03-09 | 엘지전자 주식회사 | 이동통신 단말기 및 이미지 데이터 확대 표시방법 |
| JP2007102269A (ja) * | 2005-09-30 | 2007-04-19 | Omron Corp | 画像処理装置 |
| JP2007110638A (ja) * | 2005-10-17 | 2007-04-26 | Nikon Corp | 被写体解析装置、撮像装置、および画像処理プログラム |
| US7756299B2 (en) | 2004-12-14 | 2010-07-13 | Honda Motor Co., Ltd. | Face region estimating device, face region estimating method, and face region estimating program |
| KR20120006676A (ko) * | 2010-07-13 | 2012-01-19 | 엘지전자 주식회사 | 화상회의 장치 및 화상회의 서비스 제공 방법 |
| US8107762B2 (en) | 2006-03-17 | 2012-01-31 | Qualcomm Incorporated | Systems, methods, and apparatus for exposure control |
| JP2014016824A (ja) * | 2012-07-09 | 2014-01-30 | Canon Inc | 情報処理装置及びその制御方法及びプログラム |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0886437B1 (en) * | 1997-06-17 | 2004-11-24 | Seiko Epson Corporation | Method and apparatus for colour adjustment |
| JP3747589B2 (ja) * | 1997-09-17 | 2006-02-22 | コニカミノルタビジネステクノロジーズ株式会社 | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 |
| CN100338630C (zh) | 1997-12-18 | 2007-09-19 | 富士胶片株式会社 | 图像合成系统、装置和方法、分离方法及客户机 |
| GB2341231A (en) * | 1998-09-05 | 2000-03-08 | Sharp Kk | Face detection in an image |
| EP0996080A3 (en) * | 1998-10-08 | 2002-01-09 | Hewlett-Packard Company, A Delaware Corporation | System and method for automatic region selection |
| JP2000187731A (ja) * | 1998-12-21 | 2000-07-04 | Ricoh Co Ltd | 画像特徴抽出方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US6978042B1 (en) * | 1999-04-23 | 2005-12-20 | The Regents Of The University Of California | Color image segmentation method |
| JP4366758B2 (ja) | 1999-05-27 | 2009-11-18 | コニカミノルタホールディングス株式会社 | 領域抽出装置および領域抽出方法、ならびに領域抽出プログラムを記録した記録媒体 |
| US6577759B1 (en) * | 1999-08-17 | 2003-06-10 | Koninklijke Philips Electronics N.V. | System and method for performing region-based image retrieval using color-based segmentation |
| US6940998B2 (en) | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
| JP3780810B2 (ja) * | 2000-03-27 | 2006-05-31 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理回路 |
| US7092122B2 (en) * | 2000-07-18 | 2006-08-15 | Fuji Photo Film Co., Ltd. | Image processing device and method |
| JP2002101393A (ja) * | 2000-09-22 | 2002-04-05 | Sony Corp | 映像表示装置 |
| US7453468B2 (en) * | 2000-11-29 | 2008-11-18 | Xerox Corporation | Intelligent color to texture converter |
| US6903782B2 (en) * | 2001-03-28 | 2005-06-07 | Koninklijke Philips Electronics N.V. | System and method for performing segmentation-based enhancements of a video image |
| US6970580B2 (en) * | 2001-10-17 | 2005-11-29 | Qualcomm Incorporated | System and method for maintaining a video image in a wireless communication device |
| EP1311124A1 (en) * | 2001-11-13 | 2003-05-14 | Matsushita Electric Industrial Co., Ltd. | Selective protection method for images transmission |
| GB0200954D0 (en) * | 2002-01-16 | 2002-03-06 | Autoliv Dev | Improvements in or relating to a camera arrangement |
| JP4218348B2 (ja) * | 2003-01-17 | 2009-02-04 | オムロン株式会社 | 撮影装置 |
| AU2004304860B2 (en) * | 2003-11-13 | 2007-11-01 | Digitalderm, Inc. | Image management system for use in dermatological examinations |
| US7376270B2 (en) * | 2003-12-29 | 2008-05-20 | Canon Kabushiki Kaisha | Detecting human faces and detecting red eyes |
| US7948501B2 (en) * | 2004-03-09 | 2011-05-24 | Olympus Corporation | Display control apparatus and method under plural different color spaces |
| JP4373828B2 (ja) * | 2004-03-22 | 2009-11-25 | 富士フイルム株式会社 | 特定領域検出方法、特定領域検出装置、およびプログラム |
| WO2006036027A1 (ja) * | 2004-09-30 | 2006-04-06 | Fujifilm Corporation | 画像処理装置および方法、ならびに画像処理プログラム |
| JP4677753B2 (ja) | 2004-10-01 | 2011-04-27 | 株式会社ニコン | 動画像処理装置及び方法 |
| JP2006202209A (ja) * | 2005-01-24 | 2006-08-03 | Toshiba Corp | 画像圧縮方法および画像圧縮装置 |
| JP4766302B2 (ja) * | 2005-03-22 | 2011-09-07 | オムロン株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4663013B2 (ja) * | 2006-06-29 | 2011-03-30 | 富士通株式会社 | 色類別方法、色認識方法及び色認識装置 |
| US7304740B1 (en) * | 2006-09-27 | 2007-12-04 | Weyerhaeuser Company | Methods for detecting compression wood in lumber |
| US7757159B1 (en) * | 2007-01-31 | 2010-07-13 | Yazaki North America, Inc. | Method of determining the projected area of a 2-D view of a component |
| US8571261B2 (en) | 2009-04-22 | 2013-10-29 | Checkvideo Llc | System and method for motion detection in a surveillance video |
| US8411970B2 (en) | 2010-03-16 | 2013-04-02 | Pixia Corp. | Method and system for determining statistical data for image pixels having a higher bit depth per band |
| WO2012049845A1 (ja) * | 2010-10-12 | 2012-04-19 | パナソニック株式会社 | 色信号処理装置 |
| JP5306500B2 (ja) * | 2012-02-29 | 2013-10-02 | 株式会社東芝 | 画像処理装置、画像処理方法及びプログラム |
| US9361411B2 (en) | 2013-03-15 | 2016-06-07 | Honeywell International, Inc. | System and method for selecting a respirator |
| US12026862B2 (en) | 2019-10-11 | 2024-07-02 | 3M Innovative Properties Company | Apparatus and methods for preprocessing images having elements of interest |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63223974A (ja) * | 1987-03-13 | 1988-09-19 | Toshiba Corp | 画像処理装置 |
| US5296945A (en) * | 1991-03-13 | 1994-03-22 | Olympus Optical Co., Ltd. | Video ID photo printing apparatus and complexion converting apparatus |
| JP2638693B2 (ja) * | 1991-05-23 | 1997-08-06 | 富士写真フイルム株式会社 | 特徴画像データの抽出方法 |
| JP2638691B2 (ja) * | 1991-05-23 | 1997-08-06 | 富士写真フイルム株式会社 | 露光量決定方法 |
| JP2638702B2 (ja) * | 1991-12-12 | 1997-08-06 | 富士写真フイルム株式会社 | 特徴画像データの抽出方法 |
| JP2638701B2 (ja) * | 1991-12-05 | 1997-08-06 | 富士写真フイルム株式会社 | 特徴画像データの抽出方法 |
| JP2695067B2 (ja) * | 1991-05-23 | 1997-12-24 | 富士写真フイルム株式会社 | 人物の顔のデータの抽出方法及び露光量決定方法 |
| US5309228A (en) * | 1991-05-23 | 1994-05-03 | Fuji Photo Film Co., Ltd. | Method of extracting feature image data and method of extracting person's face data |
| JP2638692B2 (ja) * | 1991-05-23 | 1997-08-06 | 富士写真フイルム株式会社 | 人物の顔のデータの抽出方法及び露光量決定方法 |
| JP3089605B2 (ja) * | 1991-06-17 | 2000-09-18 | 日本電信電話株式会社 | 顔基準点抽出方法 |
| JP2642262B2 (ja) * | 1991-10-09 | 1997-08-20 | 富士写真フイルム株式会社 | 露光量決定方法 |
| JP2848749B2 (ja) * | 1992-11-18 | 1999-01-20 | 富士写真フイルム株式会社 | 特徴画像データの抽出方法 |
| JP3387071B2 (ja) * | 1993-04-20 | 2003-03-17 | ソニー株式会社 | 画像識別装置および方法 |
| US5680230A (en) * | 1993-09-09 | 1997-10-21 | Canon Kabushiki Kaisha | Image processing method and apparatus thereof |
| US5689575A (en) * | 1993-11-22 | 1997-11-18 | Hitachi, Ltd. | Method and apparatus for processing images of facial expressions |
| JP3258840B2 (ja) * | 1994-12-27 | 2002-02-18 | シャープ株式会社 | 動画像符号化装置および領域抽出装置 |
-
1995
- 1995-07-28 JP JP19387095A patent/JP3461626B2/ja not_active Expired - Fee Related
-
1996
- 1996-07-25 US US08/690,319 patent/US6088137A/en not_active Expired - Fee Related
- 1996-07-26 EP EP19960305514 patent/EP0756426B1/en not_active Expired - Lifetime
- 1996-07-26 DE DE69612643T patent/DE69612643T2/de not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100311952B1 (ko) * | 1999-01-11 | 2001-11-02 | 구자홍 | 유효범위 조건 탬플리트 매칭을 이용한 얼굴 영역 추출방법 |
| KR100327485B1 (ko) * | 1999-03-17 | 2002-03-13 | 윤종용 | 칼라 이미지로 부터의 얼굴 검출 장치 및 그 방법 |
| JP2001014457A (ja) * | 1999-06-29 | 2001-01-19 | Minolta Co Ltd | 画像処理装置 |
| JP2002335501A (ja) * | 2001-05-10 | 2002-11-22 | Mitsubishi Electric Corp | 携帯型表示装置 |
| KR100422709B1 (ko) * | 2001-10-05 | 2004-03-16 | 엘지전자 주식회사 | 영상 의존적인 얼굴 영역 추출방법 |
| KR100438303B1 (ko) * | 2002-01-17 | 2004-07-01 | 엘지전자 주식회사 | 객체 추출방법 |
| KR100439377B1 (ko) * | 2002-01-17 | 2004-07-09 | 엘지전자 주식회사 | 이동 통신 환경에서의 사람 영역 추출방법 |
| KR100474848B1 (ko) * | 2002-07-19 | 2005-03-10 | 삼성전자주식회사 | 영상시각 정보를 결합하여 실시간으로 복수의 얼굴을검출하고 추적하는 얼굴 검출 및 추적 시스템 및 방법 |
| KR100438283B1 (ko) * | 2002-08-09 | 2004-07-02 | 엘지전자 주식회사 | 이동통신 단말기 및 이동통신 단말기에서의 얼굴 영역추출 방법 |
| KR20040052142A (ko) * | 2002-12-13 | 2004-06-19 | 엘지전자 주식회사 | 이동통신 단말기 및 그 운용방법 |
| US7756299B2 (en) | 2004-12-14 | 2010-07-13 | Honda Motor Co., Ltd. | Face region estimating device, face region estimating method, and face region estimating program |
| JP2006185109A (ja) * | 2004-12-27 | 2006-07-13 | Hitachi Ltd | 画像計測装置及び画像計測方法 |
| JP2007102269A (ja) * | 2005-09-30 | 2007-04-19 | Omron Corp | 画像処理装置 |
| JP4735170B2 (ja) * | 2005-09-30 | 2011-07-27 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| JP2007110638A (ja) * | 2005-10-17 | 2007-04-26 | Nikon Corp | 被写体解析装置、撮像装置、および画像処理プログラム |
| JP4654874B2 (ja) * | 2005-10-17 | 2011-03-23 | 株式会社ニコン | 被写体解析装置、撮像装置、および画像処理プログラム |
| KR100691971B1 (ko) * | 2006-01-20 | 2007-03-09 | 엘지전자 주식회사 | 이동통신 단말기 및 이미지 데이터 확대 표시방법 |
| US8107762B2 (en) | 2006-03-17 | 2012-01-31 | Qualcomm Incorporated | Systems, methods, and apparatus for exposure control |
| KR20120006676A (ko) * | 2010-07-13 | 2012-01-19 | 엘지전자 주식회사 | 화상회의 장치 및 화상회의 서비스 제공 방법 |
| JP2014016824A (ja) * | 2012-07-09 | 2014-01-30 | Canon Inc | 情報処理装置及びその制御方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0756426B1 (en) | 2001-05-02 |
| JP3461626B2 (ja) | 2003-10-27 |
| DE69612643D1 (de) | 2001-06-07 |
| EP0756426A3 (en) | 1997-08-06 |
| EP0756426A2 (en) | 1997-01-29 |
| US6088137A (en) | 2000-07-11 |
| DE69612643T2 (de) | 2001-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| US8254677B2 (en) | Detection apparatus, detection method, and computer program | |
| US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
| US9240052B2 (en) | Correction of blotches in component images | |
| US8509481B2 (en) | Image processing apparatus, image processing method, imaging apparatus | |
| TWI607409B (zh) | 影像優化方法以及使用此方法的裝置 | |
| US7221778B2 (en) | Image processing apparatus and method, and image pickup apparatus | |
| JP2001229390A (ja) | ピクセル化されたイメージをセグメント化する方法および装置 | |
| JPH1023452A (ja) | 画像抽出装置および方法 | |
| JP2005303991A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
| JP3490910B2 (ja) | 顔領域検出装置 | |
| US11301974B2 (en) | Image processing apparatus, image processing method, image capturing apparatus, and storage medium | |
| JP2005309746A (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| JP2004310475A (ja) | 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム | |
| US7352917B2 (en) | Image processing apparatus and method, and image pickup apparatus | |
| US7477761B2 (en) | Image processing apparatus and method, and image-capturing apparatus | |
| US7181080B2 (en) | Image processing apparatus and method, and image pickup apparatus | |
| US8311269B2 (en) | Blocker image identification apparatus and method | |
| JP2006270301A (ja) | シーンチェンジ検出装置およびシーンチェンジ検出プログラム | |
| US20030031376A1 (en) | Image enhancement method | |
| JP2971724B2 (ja) | 動画像のカット点検出装置 | |
| JP3480408B2 (ja) | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 | |
| JP2006004124A (ja) | 画像補正装置および方法，ならびに画像補正プログラム | |
| EP1455306A1 (en) | Image processing device for recognizing outline of moving target and method therefor | |
| KR100558383B1 (ko) | 움직임 블록 검출 방법 및 이에 기초한 움직이는 물체추적 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |