JP6070098B2 - 閾値設定装置、閾値設定方法及びプログラム - Google Patents
閾値設定装置、閾値設定方法及びプログラム Download PDFInfo
- Publication number
- JP6070098B2 JP6070098B2 JP2012250946A JP2012250946A JP6070098B2 JP 6070098 B2 JP6070098 B2 JP 6070098B2 JP 2012250946 A JP2012250946 A JP 2012250946A JP 2012250946 A JP2012250946 A JP 2012250946A JP 6070098 B2 JP6070098 B2 JP 6070098B2
- Authority
- JP
- Japan
- Prior art keywords
- threshold
- value
- original image
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 120
- 238000012545 processing Methods 0.000 claims description 155
- 238000011156 evaluation Methods 0.000 claims description 126
- 230000008569 process Effects 0.000 claims description 105
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 description 50
- 210000001508 eye Anatomy 0.000 description 10
- 210000004709 eyebrow Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Description
特定の被写体を含む元画像を取得する取得手段と、
前記取得手段により取得された元画像に対して所定値ずつ変化させた一連の異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段と、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段と、
前記評価値算出手段により算出された複数の前記評価値において略等しい値で所定数以上連続した評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する特定手段と、
前記特定手段により特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を前記元画像の二値化処理に適した閾値として設定する設定手段と、
を備えることを特徴としている。
また、本発明に係る閾値設定装置は、
特定の被写体を含む元画像を取得する取得手段と、
前記取得手段により取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施すとともに、前記元画像に対して所定値ずつ変化させた一連の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段と、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段と、
前記評価値算出手段により前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する設定手段と、
前記評価値算出手段により算出され、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する特定手段と、
前記複数の二値化画像の各々から前記被写体検出処理により検出された前記特定の被写体を含む被写体領域の一部の領域内の所定の画素値の画素数を算出する画素数算出手段と、
を備え、
前記設定手段は、前記画素数算出手段により算出された画素数が所定範囲内となるように、前記特定手段により特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴としている。
閾値設定装置を用いた閾値設定方法であって、
特定の被写体を含む元画像を取得する処理と、
取得された元画像に対して所定値ずつ変化させた一連の異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する処理と、
生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する処理と、
算出された複数の前記評価値において略等しい値で所定数以上連続した評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する処理と、
特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を前記元画像の二値化処理に適した閾値として設定する処理と、
を含むことを特徴としている。
また、本発明に係る閾値設定方法は、
特定の被写体を含む元画像を取得する処理と、
取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施すとともに、前記元画像に対して所定値ずつ変化させた一連の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する処理と、
生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する処理と、
前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する処理と、
算出され、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する処理と、
前記複数の二値化画像の各々から検出された前記特定の被写体を含む被写体領域の一部の領域内の所定の画素値の画素数を算出する処理と、
を含み、
前記元画像の二値化処理に適した閾値を設定する処理は、算出された画素数が所定範囲内となるように、特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴としている。
閾値設定装置のコンピュータを、
特定の被写体を含む元画像を取得する取得手段、
前記取得手段により取得された元画像に対して所定値ずつ変化させた一連の異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段、
前記評価値算出手段により算出された複数の前記評価値において略等しい値で所定数以上連続した評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する特定手段、
前記特定手段により特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を前記元画像の二値化処理に適した閾値として設定する設定手段、
として機能させることを特徴としている。
図1に示すように、本実施形態の撮像装置100は、具体的には、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像処理部5と、記録媒体制御部6と、表示制御部7と、表示部8と、操作入力部9と、中央制御部10とを備えている。
また、撮像部1、撮像制御部2、画像データ生成部3、メモリ4、画像処理部5、記録媒体制御部6、表示制御部7及び中央制御部10は、バスライン11を介して接続されている。
具体的には、撮像部1は、レンズ部1aと、電子撮像部1bと、レンズ駆動部1cとを備えている。
電子撮像部1bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ(撮像素子)から構成されている。そして、電子撮像部1bは、レンズ部1aの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部1cは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部1は、レンズ部1a、電子撮像部1b及びレンズ駆動部1cに加えて、レンズ部1aを通過する光の量を調整する絞り(図示略)を備えても良い。
また、撮像制御部2は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の特定の被写体を撮像する際の条件の調整制御を行っても良い。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
なお、画像処理部5の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
即ち、画像取得部(取得手段)5aは、元画像(例えば、写真画像等)P1の画像データを取得する。具体的には、画像取得部5aは、撮像部1及び撮像制御部2による特定の被写体(例えば、ヒトの顔)の撮像によって画像データ生成部3により生成された元画像P1の画像データ(RGBデータやYUVデータ)の複製をメモリ4から取得したり、記録媒体Mに記録されている元画像P1の画像データの複製を取得する(図4(a)参照)。
なお、後述する画像処理部5による各処理は、元画像P1の画像データ自体に対して行われても良いし、必要に応じて元画像P1の画像データを所定の比率で縮小した所定サイズ(例えば、VGAサイズ等)の画像データに対して行われても良い。
また、以下の説明では、元画像P1の画像データは、各画素の画素値(例えば、輝度値)を8bit(256階調)で表した画像データとして説明する。
即ち、二値化処理部(二値化手段)5bは、画像取得部5aにより取得された元画像P1に対して互いに異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像P7、…(例えば、二値化画像P7a;図7(a)等参照)を生成する。具体的には、例えば、処理対象となる元画像P1の輝度成分データ(Yデータ)が各画素の輝度値を8bit(256階調)で表したデータの場合、二値化処理部5bは、所定の範囲(例えば、231〜255)内で所定値(+2)ずつ変化(増加或いは減少)させることで仮閾値を逐次設定していく。そして、二値化処理部5bは、逐次設定される仮閾値(一連の仮閾値)の各々を、元画像P1の画像データの各画素の輝度値と比較して当該元画像P1の画像データを二値化する。これにより、二値化処理部5bは、各仮閾値毎に、第1の画素値(例えば、図7(a)等における白画素に対応する「0」等)及び第2の画素値(例えば、図7(a)等における黒画素に対応する「255」等)を有する二値化画像P7をそれぞれ生成する。図7(a)には、二値化処理を相対的に低い仮閾値で行うことで生成された二値化画像P7aを模式的に表し、図7(b)には、二値化処理を相対的に高い仮閾値で行うことで生成された二値化画像P7bを模式的に表している。
即ち、評価値算出部(評価値算出手段)5cは、二値化処理部5bにより生成された複数の二値化画像P7、…の各々に対して特定の被写体(例えば、ヒトの顔等)を検出する被写体検出処理(例えば、顔検出処理等)を施して、特定の被写体らしさに係る評価値を仮閾値と関連付けて複数算出する。
具体的には、評価値算出部5cは、各二値化画像P7の各々に対して所定のアルゴリズムを用いた顔検出処理を施す。例えば、評価値算出部5cは、二値化処理部5bにより二値化画像P7が生成される毎に、当該二値化画像P7を処理対象として、顔領域の候補領域として所定サイズ(例えば、24×24[画素])の検出候補領域を複数生成する。また、評価値算出部5cは、各検出候補領域の画像データと所定の基準画像の画像データとの類似度を所定のアルゴリズム(例えば、adaboost(アダブースト)等)に従って算出する。そして、評価値算出部5cは、算出された類似度が所定の閾値以上となった検出候補領域の類似度を統合して評価値として算出するとともに、これら検出候補領域を統合して処理対象の二値化画像P7の顔領域として検出する。
なお、所定の基準画像は、多値の画像データを利用して学習されたものであっても良いし、二値の画像データを利用して学習されたものであっても良いが、二値化画像P7を処理対象として顔検出処理を行う場合には、二値の画像データを利用したものの方が顔領域の検出精度の向上を図ることができる。
図6に示す評価値テーブルTには、二値化画像P7に係る一連の仮閾値と顔検出処理の評価値とが関連付けられた状態を模式的に表している。また、評価値は、値が大きい程類似度合いが高いことを表し、顔領域が検出されなかったものを「none」として表している。
即ち、仮閾値特定部(特定手段)5dは、評価値算出部5cにより算出され、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する。具体的には、仮閾値特定部5dは、例えば、評価値テーブルTを参照して、評価値算出部5cにより一連の仮閾値と関連付けられて算出された複数の評価値の中で、略等しい値で所定数以上連続している評価値(例えば、「100」等)を特定する。そして、仮閾値特定部5dは、特定された評価値と関連付けられた複数の仮閾値(例えば、「245」、「247」、「249」、「251」、「253」等)のうち、最小の仮閾値(例えば、「245」等)を特定する。
即ち、画素数算出部(画素数算出手段)5eは、複数の二値化画像P7、…の各々から被写体検出処理により検出された特定の被写体を含む被写体領域(顔領域)の略中央の領域内の所定の画素値の画素数を算出する。具体的には、画素数算出部5eは、例えば、二値化画像P7に対して所定数以下の第2の画素値の画素(黒画素)の集まりをノイズとして消去するノイズ消去処理が施された画像を処理対象として、対応する二値化画像P7から検出された顔領域の略中央に所定寸法、例えば、抽出した顔領域のY方向(眉より下、口より上)×X方向(両目の外側)の領域を正規化した範囲等の処理領域を設定し、当該処理領域内の黒画素の画素数を算出する。
即ち、閾値設定部(設定手段)5fは、評価値算出部5cにより仮閾値と関連付けて算出された複数の評価値に基づいて、元画像P1の二値化処理に適した閾値を設定する。具体的には、閾値設定部5fは、仮閾値特定部5dにより特定された最小の仮閾値(例えば、「245」等)に基づいて元画像P1の二値化処理に適した閾値を設定する。このとき、閾値設定部5fは、仮閾値特定部5dにより特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を元画像P1の二値化処理に適した閾値として設定しても良い。つまり、閾値設定部5fは、最小の仮閾値(例えば、「245」等)を基準として所定値(例えば、「8」程度等)だけ閾値を低下させるために、最小の仮閾値と関連付けられた評価値よりも所定値(例えば、「40」程度等)以上高い評価値と関連付けられている仮閾値(例えば、「237」等)を特定して、元画像P1の二値化処理に適した閾値として設定する。
ここで、閾値設定部5fは、最小の仮閾値と関連付けられた評価値よりも所定値(例えば、「40」程度等)以上高い評価値と関連付けられている仮閾値(例えば、「237」等)を特定して、当該仮閾値で二値化された二値化画像P7の顔領域の略中央の処理領域内の黒画素の画素数が所定範囲内(例えば、3000〜5000程度等)であるか否かを判定するようにしても良い。
即ち、構成部画像生成部(第1生成手段)5gは、画像取得部5aにより取得された元画像P1が閾値設定部5fにより設定された閾値で二値化処理された二値化画像P7を用いて、元画像P1内の顔の主要な構成部に係る顔構成部画像(図示略)を生成する。具体的には、構成部画像生成部5gは、元画像P1を設定された閾値で二値化処理した二値化画像P7から検出された顔領域に対して微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像(図示略)を生成する。例えば、構成部画像生成部5gは、微細部抽出処理として、AAM(Active Appearance Model)を用いた処理により顔微細部画像を生成する。
ここで、AAMとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、構成部画像生成部5gは、複数のサンプル顔画像における所定の特徴部位(例えば、目じりや鼻頭やフェイスライン等)の位置や画素値(例えば、輝度値)の統計的分析結果を所定の登録手段に登録しておく。そして、構成部画像生成部5gは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域の画像(顔領域画像)をモデル化する。これにより、構成部画像生成部5gは、元画像P1内の主要な構成を抽出して線で表した顔微細部画像を生成する。
そして、構成部画像生成部5gは、顔領域内の顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部を線で表した顔構成部画像を生成する。具体的には、構成部画像生成部5gは、顔微細部画像内で顔の輪郭と接する画素を特定し、当該画素と連続する画素のうち、顔の輪郭よりも外側に存する画素集合を消去する。つまり、構成部画像生成部5gは、顔微細部画像のうち、顔の輪郭よりも外側に存する部分を消去するとともに、顔の輪郭よりも内側に存し、且つ、当該輪郭と接する部分を残して、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像を生成する。
即ち、似顔絵画像生成部(第2生成手段)5hは、構成部画像生成部5gにより生成された顔構成部画像を用いて元画像P1の似顔絵画像(図示略)を生成する。具体的には、似顔絵画像生成部5hは、所定の髪型画像の顔の輪郭よりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像P1を似顔絵で表した似顔絵画像の画像データを生成する。
また、似顔絵画像生成部5hは、似顔絵画像の所定の部分(例えば、目、口、眉等の顔構成部等)に所定の色を付けて表した画像を生成しても良い。
即ち、記録媒体制御部6は、画像処理部5の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式等)で符号化された記録用の画像データを記録媒体Mに記録させる。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
具体的には、表示制御部7は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部10の制御下にてメモリ4から読み出されてVRAM(図示略)に格納されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部8に出力する。
図2は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。
また、似顔絵画像生成処理の処理対象となる元画像P1の画像データは、予め記録媒体Mに記録されているものとする。
なお、非等方拡散処理及びぼかし処理は、公知の技術であるので、ここでは詳細な説明を省略する。
次に、画像処理部5は、輝度画像P2の画像データの輝度を反転する白黒反転(ネガポジ変換)処理を施して、白黒反転画像P3の画像データを生成する(ステップS5;図4(c)参照)。
なお、白黒反転処理は、公知の技術であるので、ここでは詳細な説明を省略する。
その後、画像処理部5は、ぼかし処理後の画像データと輝度画像P2の画像データとを用いて覆い焼き処理を行う(ステップS7)。ここで、覆い焼きとは、部分的に露光時間を変えた撮像手法のことであるが、所定の覆い焼き用フィルタを用いた画像処理により略同等の効果がもたらされる。
そして、画像処理部5は、覆い焼き処理後の画像データとぼかし処理後の画像データとの画素値の異なる部分、即ち、ぼかされている部分からエッジ画像P4を生成する(ステップS8;図5(a)参照)。
なお、覆い焼き処理を利用してエッジ画像P4を生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。
以下に、閾値設定処理について図3を参照して詳細に説明する。図3は、閾値設定処理に係る動作の一例を示すフローチャートである。
その後、画像処理部5は、レベル補正処理後の画像P5(図5(b)参照)の画像データに対して、一の画素の演算処理範囲が所定サイズ(例えば、3×3画素等)のガウスフィルタを用いてぼかし処理を施す(ステップS24)。
続けて、画像処理部5は、ぼかし処理後の画像データに対して、所定のフィルムグレイフィルタを用いて所定の輝度値以上の画素、即ち、顔の汚れなどを消去するフィルムグレイ処理を施す(ステップS25)。
その後、画像処理部5は、二値化画像P7の画像データに対して水平及び垂直ともに1/2になるような縮小処理を行う(ステップS27)。
ここで、仮閾値が最大値を超えていないと判定されると(ステップS31;NO)、二値化処理部5bは、仮閾値の値を所定値(例えば、「+2」等)だけインクリメントして新たな仮閾値(例えば、「233」等)を設定し(ステップS32)、処理をステップS23に移行する。
その後、新たに設定された仮閾値を用いて、ステップS23〜S29の各処理が行われることで、ステップS28にて顔検出の評価値が算出され、ステップS30にて処理領域の黒画素の画素数が算出される。
上記の各処理は、ステップS31にて仮閾値が閾値範囲内の最大値を超えたと判定(ステップS31;YES)されるまで、逐次繰り返し実行される。即ち、仮閾値が閾値範囲内(例えば、「231」〜「255」等)で逐次設定されて、各仮閾値に対応する顔検出の評価値や処理領域の黒画素の画素数が算出されていく。
次に、閾値設定部5fは、元画像P1の二値化処理に適した閾値を設定する(ステップS34)。具体的には、閾値設定部5fは、最小の仮閾値(例えば、「245」等)を基準として所定値(例えば、「8」程度等)だけ閾値を低下させ、当該仮閾値で二値化された二値化画像P7の顔領域の略中央の処理領域内の黒画素の画素数が所定範囲内(例えば、3000〜5000程度等)であるか否かを判定する。そして、閾値設定部5fは、処理領域内の黒画素の画素数が所定範囲内であると判定されると、当該仮閾値を元画像P1の二値化処理に適した閾値として設定する一方で、処理領域内の黒画素の画素数が所定範囲内でないと判定されると、所定の仮閾値(例えば、「231」等)を元画像P1の二値化処理に適した閾値として設定する。
これにより、閾値設定処理を終了する。
次に、構成部画像生成部5gは、二値化画像P7から検出された顔領域に対して微細部抽出処理(例えば、AAMを用いた処理等)を行って、顔構成部(例えば、目、鼻、口、眉、髪の毛、顔の輪郭等)を線で表した顔微細部画像を生成した後(ステップS11)、微細部抽出処理により顔領域内の顔の輪郭を特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像を生成する(ステップS12)。
そして、記録媒体制御部6は、似顔絵画像生成部5hにより生成された似顔絵画像の画像データ(YUVデータ)を取得して記録する。
これにより、似顔絵画像生成処理を終了する。
具体的には、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値に基づいて元画像P1の二値化処理に適した閾値を設定するので、最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を元画像P1の二値化処理に適した閾値として設定することができることとなって、最小の仮閾値を基準として所定値だけ閾値を低下させることができる。これにより、例えば、ヒトが黒縁眼鏡などをかけている場合等に顔領域内の黒画素が通常よりも多くなってしまっても、顔画像自体を適正に二値化することができる閾値の設定を適正に行うことができる。
例えば、上記実施形態にあっては、元画像P1内の顔の主要な構成部に係る顔構成部画像を生成し、当該顔構成部画像を用いて似顔絵画像を生成するようにしたが、必ずしも顔構成部画像や似顔絵画像を生成する必要はなく、当該顔構成部画像や似顔絵画像を生成するか否かは適宜任意に変更可能である。即ち、上記実施形態の撮像装置100による閾値設定処理を、所定の画像データの単なる二値化処理に適用するようにしても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、二値化処理ルーチン、評価値算出処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部10のCPUを、特定の被写体を含む元画像P1を取得する手段として機能させるようにしても良い。また、二値化処理ルーチンにより中央制御部10のCPUを、取得された元画像P1に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像P7、…を生成する手段として機能させるようにしても良い。また、評価値算出処理ルーチンにより中央制御部10のCPUを、生成された複数の二値化画像P7、…の各々に対して特定の被写体を検出する被写体検出処理を施して、特定の被写体らしさに係る評価値を仮閾値と関連付けて複数算出する手段として機能させるようにしても良い。また、評価値算出処理ルーチンにより中央制御部10のCPUを、仮閾値と関連付けて算出された複数の評価値に基づいて、元画像P1の二値化処理に適した閾値を設定する手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
特定の被写体を含む元画像を取得する取得手段と、
前記取得手段により取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段と、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段と、
前記評価値算出手段により前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する設定手段と、
を備えたことを特徴とする閾値設定装置。
<請求項2>
前記二値化手段は、更に、前記元画像に対して所定値ずつ変化させた一連の仮閾値の各々で二値化処理を施し、
前記評価値算出手段により算出され、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する特定手段を更に備え、
前記設定手段は、前記特定手段により特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴とする請求項1に記載の閾値設定装置。
<請求項3>
前記設定手段は、更に、前記特定手段により特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を前記元画像の二値化処理に適した閾値として設定することを特徴とする請求項2に記載の閾値設定装置。
<請求項4>
前記複数の二値化画像の各々から前記被写体検出処理により検出された前記特定の被写体を含む被写体領域の略中央の領域内の所定の画素値の画素数を算出する画素数算出手段を更に備え、
前記設定手段は、前記画素数算出手段により算出された画素数が所定範囲内となるように、前記特定手段により特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴とする請求項2又は3に記載の閾値設定装置。
<請求項5>
前記特定の被写体は、ヒトの顔を含むことを特徴とする請求項1〜4の何れか一項に記載の閾値設定装置。
<請求項6>
前記取得手段により取得された元画像が前記設定手段により設定された閾値で二値化処理された二値化画像を用いて、前記元画像内の顔の主要な構成部に係る顔構成部画像を生成する第1生成手段と、
前記第1生成手段により生成された顔構成部画像を用いて前記元画像の似顔絵画像を生成する第2生成手段と、を更に備えることを特徴とする請求項5に記載の閾値設定装置。
<請求項7>
閾値設定装置を用いた閾値設定方法であって、
特定の被写体を含む元画像を取得する処理と、
取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する処理と、
生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する処理と、
前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する処理と、
を含むことを特徴とする閾値設定方法。
<請求項8>
閾値設定装置のコンピュータを、
特定の被写体を含む元画像を取得する取得手段、
前記取得手段により取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段、
前記評価値算出手段により前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する設定手段、
として機能させることを特徴とするプログラム。
5 画像処理部
5a 画像取得部
5b 二値化処理部
5c 評価値算出部
5d 仮閾値特定部
5e 画素数算出部
5f 閾値設定部
5g 構成部画像生成部
5h 似顔絵画像生成部
10 中央制御部
Claims (8)
- 特定の被写体を含む元画像を取得する取得手段と、
前記取得手段により取得された元画像に対して所定値ずつ変化させた一連の異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段と、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段と、
前記評価値算出手段により算出された複数の前記評価値において略等しい値で所定数以上連続した評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する特定手段と、
前記特定手段により特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を前記元画像の二値化処理に適した閾値として設定する設定手段と、
を備えることを特徴とする閾値設定装置。 - 前記複数の二値化画像の各々から前記被写体検出処理により検出された前記特定の被写体を含む被写体領域の一部の領域内の所定の画素値の画素数を算出する画素数算出手段を更に備え、
前記設定手段は、前記画素数算出手段により算出された画素数が所定範囲内となるように、前記特定手段により特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴とする請求項1に記載の閾値設定装置。 - 特定の被写体を含む元画像を取得する取得手段と、
前記取得手段により取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施すとともに、前記元画像に対して所定値ずつ変化させた一連の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段と、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段と、
前記評価値算出手段により前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する設定手段と、
前記評価値算出手段により算出され、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する特定手段と、
前記複数の二値化画像の各々から前記被写体検出処理により検出された前記特定の被写体を含む被写体領域の一部の領域内の所定の画素値の画素数を算出する画素数算出手段と、
を備え、
前記設定手段は、前記画素数算出手段により算出された画素数が所定範囲内となるように、前記特定手段により特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴とする閾値設定装置。 - 前記特定の被写体は、ヒトの顔を含むことを特徴とする請求項1〜3の何れか一項に記載の閾値設定装置。
- 前記取得手段により取得された元画像が前記設定手段により設定された閾値で二値化処理された二値化画像を用いて、前記元画像内の顔の主要な構成部に係る顔構成部画像を生成する第1生成手段と、
前記第1生成手段により生成された顔構成部画像を用いて前記元画像の似顔絵画像を生成する第2生成手段と、を更に備えることを特徴とする請求項4に記載の閾値設定装置。 - 閾値設定装置を用いた閾値設定方法であって、
特定の被写体を含む元画像を取得する処理と、
取得された元画像に対して所定値ずつ変化させた一連の異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する処理と、
生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する処理と、
算出された複数の前記評価値において略等しい値で所定数以上連続した評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する処理と、
特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を前記元画像の二値化処理に適した閾値として設定する処理と、
を含むことを特徴とする閾値設定方法。 - 特定の被写体を含む元画像を取得する処理と、
取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施すとともに、前記元画像に対して所定値ずつ変化させた一連の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する処理と、
生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する処理と、
前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する処理と、
算出され、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する処理と、
前記複数の二値化画像の各々から検出された前記特定の被写体を含む被写体領域の一部の領域内の所定の画素値の画素数を算出する処理と、
を含み、
前記元画像の二値化処理に適した閾値を設定する処理は、算出された画素数が所定範囲内となるように、特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴とする閾値設定方法。 - 閾値設定装置のコンピュータを、
特定の被写体を含む元画像を取得する取得手段、
前記取得手段により取得された元画像に対して所定値ずつ変化させた一連の異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段、
前記評価値算出手段により算出された複数の前記評価値において略等しい値で所定数以上連続した評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する特定手段、
前記特定手段により特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を前記元画像の二値化処理に適した閾値として設定する設定手段、
として機能させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012250946A JP6070098B2 (ja) | 2012-11-15 | 2012-11-15 | 閾値設定装置、閾値設定方法及びプログラム |
US14/051,250 US9135687B2 (en) | 2012-11-15 | 2013-10-10 | Threshold setting apparatus, threshold setting method and recording medium in which program for threshold setting method is stored |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012250946A JP6070098B2 (ja) | 2012-11-15 | 2012-11-15 | 閾値設定装置、閾値設定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014099074A JP2014099074A (ja) | 2014-05-29 |
JP6070098B2 true JP6070098B2 (ja) | 2017-02-01 |
Family
ID=50681761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012250946A Active JP6070098B2 (ja) | 2012-11-15 | 2012-11-15 | 閾値設定装置、閾値設定方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9135687B2 (ja) |
JP (1) | JP6070098B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10043075B2 (en) * | 2015-11-19 | 2018-08-07 | Microsoft Technology Licensing, Llc | Eye feature identification |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5710828A (en) * | 1995-03-30 | 1998-01-20 | Fuji Photo Film Co., Ltd. | Method and apparatus for converting a threshold matrix which is then used to binarize image signals |
JP3551668B2 (ja) * | 1996-12-20 | 2004-08-11 | オムロン株式会社 | 似顔絵送信装置、似顔絵通信装置及び方法 |
JP2004145625A (ja) | 2002-10-24 | 2004-05-20 | Mitsubishi Electric Corp | 似顔絵の作成装置 |
JP4188708B2 (ja) * | 2003-01-15 | 2008-11-26 | シャープ株式会社 | サンプル作成に特長をもつ画像処理手順設計エキスパートシステム |
JP2009087232A (ja) * | 2007-10-02 | 2009-04-23 | Toshiba Corp | 人物認証装置および人物認証方法 |
JP5396098B2 (ja) * | 2009-02-17 | 2014-01-22 | オリンパス株式会社 | 撮像システム及び画像処理方法並びに画像処理プログラム |
JP4678060B2 (ja) * | 2009-03-25 | 2011-04-27 | 株式会社ニコン | 撮像装置および画像処理プログラム |
JP5569504B2 (ja) * | 2011-10-31 | 2014-08-13 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2012
- 2012-11-15 JP JP2012250946A patent/JP6070098B2/ja active Active
-
2013
- 2013-10-10 US US14/051,250 patent/US9135687B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014099074A (ja) | 2014-05-29 |
US9135687B2 (en) | 2015-09-15 |
US20140133777A1 (en) | 2014-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4748244B2 (ja) | 画像選択装置、画像選択方法及びプログラム | |
JP4121026B2 (ja) | 撮像装置および方法並びにプログラム | |
JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
KR101590868B1 (ko) | 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체 | |
KR20200023651A (ko) | 미리보기 사진 블러링 방법 및 장치 및 저장 매체 | |
JP5625995B2 (ja) | 被写体追跡装置、被写体追跡方法及びプログラム | |
JP5949030B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP6111723B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
US8295609B2 (en) | Image processing apparatus, image processing method and computer readable-medium | |
JP6098133B2 (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
CN107911609B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
JP6070098B2 (ja) | 閾値設定装置、閾値設定方法及びプログラム | |
CN104935805A (zh) | 图像处理装置以及图像处理方法 | |
JP4629740B2 (ja) | 撮像装置および方法並びにプログラム | |
JP6354118B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6260094B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014174855A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4323559B2 (ja) | 撮像装置および方法並びにプログラム | |
JP6142604B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6668646B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5927972B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2015132949A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014099077A (ja) | 顔構成部抽出装置、顔構成部抽出方法及びプログラム | |
JP2014048767A (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2014186404A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6070098 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |