JP4743312B2

JP4743312B2 - 画像識別装置

Info

Publication number: JP4743312B2
Application number: JP2009176474A
Authority: JP
Inventors: 誉司坂東; 直樹深谷
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2009-07-29
Filing date: 2009-07-29
Publication date: 2011-08-10
Anticipated expiration: 2029-07-29
Also published as: JP2011028682A; US8538172B2; DE102010038567A1; US20110026829A1

Description

本発明は、複数の弱識別器を使用して画像を識別する画像識別装置に関する。

車内に設置されたカメラの画像を用いて、運転中のドライバの視線をモニタすることによって、脇見や見落とし状態を検知／警報する運転支援システムにおいては、カメラから取得した画像中から顔画像（両眼、鼻、口を含んだ領域）を抽出して、その顔画像の位置（以下、顔位置という）を高速かつ正確に検出することが重要となる。

このような識別に有効な手法として、識別精度が低い識別器（以下「弱識別器」という）を多数組み合わせて使用することによって、識別の精度や頑健性を確保するブースティングと呼ばれる機械学習法が知られている。

ブースティングでは、入力をｘ、学習されたｎ個目の弱識別器の出力をｆ_n(ｘ)、各弱識別器の信頼度（重み）をｗ_n、弱識別器の数をＮｆとして、入力ｘが与えられた時の獲得スコア（信頼度ｗ_nで重み付けされた弱識別器の出力ｆ_n（ｘ）の和）Ｓ_1:Nf（ｘ）を、（１）式により算出する。但し、重みｗ_nは（２）式を満たすように正規化されている。

そして、弱識別器の組合せで構成される強識別器の出力Ｆ_1:Nf(ｘ)を、獲得スコアＳ_1:Nf（ｘ）に基づき（３）式に従って決定する。

つまり、多数の弱識別器の出力を用いた重み付き投票を行い、その結果の多数決により、最終的な出力（識別結果）を決定している。

ところで、ブースティングでは、識別の精度や頑健性を向上させるために、多くの弱識別器を用いているが、使用する弱識別器の数に応じて識別に要する処理時間も増大する。つまり、識別の頑健性と処理の高速性とはトレードオフの関係にある。

これに対して、弱識別器のカスケード結合を考え、入力画像に対して、その結合順に弱識別器を順次適用し、その都度獲得スコアを求め、その獲得スコアが、適用済みの弱識別器の数に応じて設定される閾値に達していない場合に、その入力画像は抽出すべき画像ではないものとして、それより後段の弱識別器を適用することなく棄却（以下「早期棄却」という）することによって処理を高速化する手法（Viola & Jones のアルゴリズム）が提案されている（例えば、特許文献１参照）。

米国特許ＵＳ７０９９５１０Ｂ２

しかし、この従来手法では、早期棄却が行われた地点よりカスケードの下流にある弱識別器の情報が全く利用されず、「弱識別器を多数集めて精度の良い識別を実現する」というブースティングの方針に反することになる。従って、ブースティングが本来持っていた頑健性を低下させてしまうことになり、上述したトレードオフの関係を本質的に解決することができないという問題があった。

本発明は、上記問題点を解決するために、頑健性を低下させることなく早期棄却を実現する画像識別装置を提供することを目的とする。

上記目的を達成するためになされた本発明の画像識別装置では、適用手段が、識別手段を構成する弱識別器の一つを適宜選択し、その選択した弱識別器を対象画像（識別対象となる入力画像）に対して適用する。

すると、適用手段により弱識別器が適用される毎に、スコア算出手段が、弱識別器での識別の信頼度を表す重みを用いて、適用済弱識別器群の識別結果の重み付け加算値である獲得スコアを算出すると共に、分布算出手段が、未適用弱識別器群を対象画像に対して適用した場合に獲得し得る獲得スコアの予測分布を算出する。

そして、早期判断手段が、獲得スコアに予測分布の期待値を加算した予測スコア、及び予測分布の分散に基づく予測スコアのバラツキ範囲を求め、そのバラツキ範囲の上限値が予め設定された判定閾値より小さい場合、又は、そのバラツキ範囲の下限値が判定閾値より大きい場合に、予測スコアを、前記対象画像についての最終的な獲得スコアであるものとして、対象画像に対する処理を打ち切る。

なお、弱識別器が反応するとは、識別結果が肯定的であることを意味する。
また、判定閾値は、一般的には、弱識別器での識別結果の多数決によって対象画像が指定画像であるか否かが判断されるように、最大獲得スコア（全ての弱識別器が反応した場合の獲得スコア）の例えば１／２に設定される。

そして、予測スコアのバラツキ範囲の下限値が判定閾値より大きいということは、その後、更に弱識別器を適用し続けた際に、想定し得る範囲内で予測スコアが最大限にばらついたとしても、最終的な獲得スコアが判定閾値を下回ることがないことを意味する。逆に、予測スコアのバラツキ範囲の上限値が判定閾値より小さいということは、その後、更に弱識別器を適用し続けた際に、想定し得る範囲内で予測スコアが最大限にばらついたとしても、最終的な獲得スコアが判定閾値を上回ることがないことを意味する。

但し、バラツキ範囲の大きさは、予測スコアの確からしさ（バラツキ範囲が狭いほど確からしさが大きい）を意味するものと捉えることができる。つまり、本発明の画像識別装置では、少なくとも、獲得スコアを用いた最終的な識別について確信を持てるレベルまで、予測スコアの信頼度が向上した時点で、対象画像の処理を打ち切るようにされている。

このように構成された本発明の画像識別装置によれば、適用済弱識別器群の識別結果に基づく獲得スコアだけでなく、未適用弱識別器群の情報に基づく予測分布を考慮し、即ち、用意された全ての弱識別器の情報を考慮して、対象画像に対する処理を打ち切るか否かの判断（早期判断）を行っているため、ブースティングが本来持っている高い識別精度や頑健性を低下させることなく識別に要する処理時間を短縮することができる。

請求項２に記載の画像識別装置では、分布算出手段は、未適用弱識別器群に属する弱識別器毎に算出した個別予測分布を求め、該個別予測分布を加算することで獲得スコアの予測分布を算出し、適用手段は、未適用弱識別器群の中で次に適用する弱識別器として、個別予測分布の分散が最も大きいものを選択する。

つまり、それぞれの弱識別器が対象画像に対して各々独立に反応するものと仮定すれば、未適用弱識別器によって獲得し得る獲得スコアの予測分布は、各弱識別器での予測分布のパラメータ（期待値，分散）の和によって表現される。

従って、次に適用する弱識別器として、最も大きな分散を持つ弱識別器を選択するようにすれば、その弱識別器を適用した時の予測分布では、その弱識別器の分だけ分散が減少することになるため、予測分布の分散を最小化できることが期待できる。

つまり、適用済弱識別器群の反応傾向に従って、次に適用する最適（予測分布を最小にする）弱識別器が適宜選択されるため、早期判断のタイミングをより早めること、ひいては、対象画像の識別に要する時間をより短縮することができる。

請求項３に記載の画像識別装置では、記憶手段に、弱識別器毎、且つ対象画像を分類するために予め設定されたクラス毎に、そのクラスに属する対象画像に対して弱識別器が肯定的な判断を行う正判定確率、及びそのクラスに属さない対象画像に対して弱識別器が肯定的な判断を行う誤判定確率を設定した確率テーブルが記憶されている。

そして、確率算出手段が、適用済弱識別器群を構成する各弱識別器の識別結果に基づいて、クラス毎に、対象画像がそのクラスに属することの事後確率を表すクラス確率を算出し、分布算出手段は、獲得スコアの予測分布を、これらクラス確率及び確率テーブルを用いて算出する。

つまり、確率テーブルに示された確率はベイズ推定における尤度に相当し、クラス確率は、ベイズ推定における事後確率に相当するため、分布算出手段では、ベイズ推定の手法を用いて予測分布を算出することができる。

請求項４に記載の画像識別装置では、判定手段は、適用済弱識別器群に属する弱識別器の数が多いほど小さな値となるように設定された安全係数を予測分布の標準偏差（分散の平方根）に乗じた値を許容値とし、その許容値を予測スコアに加算又は減算した値を、バラツキ範囲の上限値及び下限値とする。

期待値に対して標準偏差を単純に加減算しただけでは、バラツキ範囲によってカバーすることができるのは、ばらつき全体の６０％程度であるため、より信頼度を高めるためには、安全係数が１より大きな値となるように設定することが望ましい。

また、安全係数は、請求項５に記載のように、識別手段を構成する弱識別器の数によって正規化されていることが望ましい。
この場合、安全係数の振る舞いは、弱識別器の数によらず、弱識別器の数（全体数）に対する適用済弱識別器の数の比に応じて決まることになる。

また、請求項６に記載のように、対象画像として、車両のドライバを撮影した画像から、予め設定された規定サイズを有する切出用ウインドにより切り出した画像を用い、クラスには、顔が映っている画像を表す顔クラスと、顔が映っていない画像を表す非顔クラスが少なくとも含まれていてもよい。

この場合、本発明の画像識別装置を、例えば、ドライバの視線を検出して各種運転支援を行う運転支援システムに用いることができる。

運転支援システムの概略構成を示すブロック図。顔位置検出部の詳細構成を示すブロック図。確率テーブルの構成要素である弱識別器の正判定確率及び誤判定確率を例示するグラフ。顔位置検出部における処理の流れを示すフローチャート。スコア生成部における処理の流れを示すフローチャート。実験に使用した訓練画像、テスト画像の生成方法を示す説明図。獲得スコア，予測スコア，バラツキ上限値／下限値が変化する様子を示す実験結果のグラフ。比較例との比較実験の結果を示す表およびグラフ。

以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
＜全体構成＞
図１は、本発明が適用された車載用の運転支援システム１の概略構成を示すブロック図である。

図１に示すように、運転支援システム１は、ドライバの顔周辺を撮影した画像を取得する画像取得部３と、画像取得部３にて取得した画像（以下、取得画像という）に基づいて、取得画像中のドライバの顔位置を検出する顔位置検出部５と、画像取得部３からの取得画像、及び顔位置検出部５にて検出された顔位置に基づき、ドライバの視線を検出する視線検出部７と、視線検出部７での検出結果に従って、視線の異常（脇見等）を判定して、警報などを発生させる運転支援制御部９とを備えている。

このうち、画像取得部３は、ドライバの頭部を含んだ画像を取得するＣＣＤカメラと、夜間でも画像を取得できるようにするために近赤外の照明光をドライバの顔に向けて照射するＬＥＤとからなり、ダッシュボード上に設置されている。但し、設置位置は、これに限らず、メータ内，ハンドルカラム内，ルームミラー付近等であってもよい。また、ＬＥＤは省略されていてもよい。

また、視線検出部７や運転支援制御部９での処理は周知のものであり、本発明の要旨とも関係が薄いため、ここでは説明を省略する。
＜顔位置検出部＞
図２は、顔位置検出部５の詳細を示すブロック図である。なお、この顔位置検出部５が本発明の画像識別装置に相当する。

なお、顔位置とは、眼，鼻，口を含むように設定された必要最小限の矩形状の画像領域（以下、顔画像という，図６の四角で示された領域Ａを参照）が、取得画像内において占める位置のことである。また、画像の分類をクラス呼び、ここでは、顔画像を顔クラス、それ以外を非顔クラスとする。

図２に示すように、顔位置検出部５は、取得画像から識別の対象となる部分画像（以下、対象画像ともいう）の切り出しを行う画像切出部１０と、画像切出部１０で切り出された部分画像毎に、その部分画像のクラス（分類）を判定するための判定スコアを算出するスコア生成部２０と、スコア生成部２０にて算出された判定スコアを部分画像に対応付けて記憶するスコア記憶部３０と、スコア記憶部３０の記憶内容に基づいて、判定スコアが最大である部分画像の位置を顔位置として出力する顔位置判定部４０とを備えている。

なお、顔位置判定部４０では、画像中に複数の顔が含まれる可能性がある場合には、判定スコアが基準となる閾値（例えば０．５）を超える領域を全て顔画像として検出してもよい。

＜画像切出部＞
画像切出部１０は、取得画像の左上から右方向を主走査方向、下方向を副走査方向として、予め設定された規定サイズの切出用ウインドを用いて部分画像を切り出す。なお、部分画像は、取得画像を分割するように切り出してもよいし、隣接するもの同士でその一部の領域が互いに重なり合うように切り出してもよい。

また、規定サイズには、複数種類（本実施形態では８０×８０画素、１００×１００画素、１２０×１２０画素、１４０×１４０画素、１６０×１６０画素、１８０×１８０画素の６種類）があり、画像切出部１０は、その全てのサイズについて上述の切り出しを繰り返すように構成されている。

＜スコア生成部＞
スコア生成部２０は、それぞれが互いに異なった特定のパターンを有した画像に反応するように設定された複数の弱識別器に関する情報を記憶する弱識別器データベース２１を備えている。

なお、個々の弱識別器の実体は評価関数であり、本実施形態では、１又は複数種類のHaar Like 特徴量を用いて識別を行うように構成され、アダブーストによる学習を行った周知（例えば、特許文献１参照）のものである。また、弱識別器の識別子をｎ（ｎ＝１，２，…，Ｎｆ）として、入力画像ｘに対する弱識別器の出力ｆ_n（ｘ）は、対象画像が顔クラスの画像であると識別した場合にｆ_n（ｘ）＝１、非顔クラスの画像であると識別した場合にｆ_n（ｘ）＝０となるように設定されている。

但し、弱識別器が扱う特徴量は、Haar Like 特徴量に限るものではなく、弱識別器に用いるものとして知られている特徴量であれば、何を用いてもよい。また、以下では、弱識別器の出力ｆ_n（ｘ）は、入力画像を識別するパラメータｘを省略して、単にｆ_nと記すものとする。

また、弱識別器は、顔画像に正しく反応する確率（顔クラスに対する正判定確率）、非顔画像に誤って反応する確率（非顔クラスに対する誤判定確率）、非顔画像に正しく反応する確率（非顔クラスに対する正判定確率）、顔画像に誤って反応する確率（顔クラスに対する誤判定確率）を既知の情報として有しており、これらは、弱識別器の学習を行った際に設定される。

なお、クラスの集合をＣ、クラスの要素をｃ（顔クラスはｃ＝１、非顔クラスはｃ＝０）で表すものとして、以下では、これらの反応確率をｐ(ｆ_n｜ｃ)で表すものとする。
そして、弱識別器データベース２１には、反応確率ｐ(ｆ_n｜ｃ)を弱識別器に対応づけて示した反応確率テーブルが記憶されている。なお、図３は、反応確率テーブルの内容（顔クラスに対する正判定確率／非顔クラスに対する誤判定確率）を、横軸を弱識別器のインデックス、縦軸を顔画像であると判定する確率に設定したグラフによって例示したものである。

更に、弱識別器データベース２１において、各弱識別器には、クラス毎に設定された重みｗ_nが対応づけられている。この重みｗ_nは、全ての弱識別器についての合計が１となるように、クラス毎に正判定確率を規格化したものである。

つまり、弱識別器の数がＮｆ個である場合には、（４）式が成立することになる。

また、スコア生成部２０は、弱識別器データベース２１から弱識別器を適宜選択し、その選択した弱識別器（以下「選択識別器」という）を対象画像に適用することで識別結果ｆ_n（ｎは、現対象画像に対してｎ番目に選択されたものであることを意味する。以下同様。）を出力する識別器選択適用部２２と、識別器選択適用部２２での識別結果ｆ_nに基づいて、獲得スコアＳ^(-) _1:nを算出する獲得スコア算出部２３とを備えている。

なお、獲得スコア算出部２３にて算出される獲得スコアＳ^(-) _1:nは、選択識別器の出力にその重みを乗じた値を、現対象画像に対して適用された全ての弱識別器（以下「適用済弱識別器群」という）について累積したものであり、ｎ番目の選択識別器についての処理が行われた場合、即ち、適用済弱識別器群の数がｎである場合、（５）式で表される値となる。

更に、スコア生成部２０は、適用済弱識別器の識別結果ｆ_1:n（＝｛ｆ₁，ｆ₂，…，ｆ_n｝）を与件とする各クラスの事後確率であるクラス確率ｐ（ｃ｜ｆ_1:n）を算出するクラス確率算出部２４と、対象画像に対して未適用の弱識別器（以下「未適用弱識別器群」という）を、対象画像に対して適用した場合に、獲得し得る獲得スコアの予測分布を表すパラメータ（具体的には、分布の期待値Ｅ_nと分散Ｖ_n）を算出する予測分布算出部２５と、獲得スコア算出部２３で算出された獲得スコアＳ^(-) _1:n及び予測分布算出部２５で算出された予測分布のパラメータＥ_n，Ｖ_nに基づき、対象画像に対する処理を継続するか否かを判断して、画像切出部１０や識別器選択適用部２２の動作を制御すると共に、対象画像に対する処理が終了した場合に、対象画像ｘの判定スコアＳ（ｘ）を出力する継続制御部２６とを備えている。

このうち、クラス確率算出部２４では、（６）式を用いてクラス確率ｐ（ｃ｜ｆ_1:n）を算出する。

但し、Ｌ_nは上述した反応確率であり（７）式で表され、ｋ_nは正規化係数であり（８）式で表される。また、（８）式に含まれる確率は、反応確率ｐ（ｆ_n｜ｃ)から簡単に求めることができる。

つまり、（６）式より、前回のクラス確率ｐ（ｃ｜ｆ_1:n-1）に、今回の選択識別器の反応確率ｐ（ｆ_n｜ｃ）を乗じ、更に、クラスに関して正規化を行う（ｋ_nを乗じる）だけで今回のクラス確率ｐ（ｃ｜ｆ_1:n）を得ることができる。なお、（６）式の導出、及び（８）式に現れるパラメータα₀，β₀については、後述する。

一方、予測分布算出部２５では、（９）（１０）式によって、獲得スコアの予測分布を表すパラメータである期待値Ｅ_n［Ｓ_n+1:Nf｜ｆ_1:n］、及び分散Ｖ_n［Ｓ_n+1:Nf｜ｆ_1:n］を算出する。

但し、（９）式におけるＥ_n［Ｓ_m｜ｆ_1:n］、（１０）式におけるＶ_n［Ｓ_m｜ｆ_1:n］は、個々の未適用弱識別器における獲得スコアの予測分布の期待値と分散であり、（１１）（１２）式により算出する。

なお、（１１）（１２）式は、ｎ個の適用済弱識別器の出力ｆ_1:nを与件として、識別子ｍで特定される未適用弱識別器のスコアＳ_m（＝ｗ_mｆ_m）の分布を表す（１３）式から導出される。但し、α_cm，β_cmは、弱識別器の出力ｆ_1:Nfのモデル化に用いたベータ分布のパラメータであり、詳細は後述する。

そして、継続制御部２６では、処理中の現取得画像について、画像切出部１０が新たに切り出す部分画像が存在しない場合、即ち、全ての部分画像について判定値を求める処理が終了している場合には、顔位置判定部４０に顔位置の判定を行わせるように、スコア記憶部３０及び顔位置判定部４０を制御する。

更に、継続制御部２６では、予測分布の期待値Ｅ_n［Ｓ_n+1:Nf｜ｆ_1:n］を予測スコアＳ⁽⁺⁾ _n+1:Nf、（１４）式で算出される獲得スコアＳ^(-) _1:nと予測スコアＳ⁽⁺⁾ _n+1:Nfの合計を予測最終スコアＳ_1:Nfとして、（１５）（１６）式で算出されるバラツキ上限値ＳＨ、及びバラツキ下限値ＳＬが、判定閾値ＴＨ（本実施形態では０．５）と比較して、ＳＨ＜ＴＨ、又はＳＬ＞ＴＨであれば、予測最終スコアＳ_1:Nfは、十分に信頼できるものとして、その対象画像に対する処理を打ち切り、その時点での予測最終スコアＳ_1:Nfを、判定スコアＳ（ｘ）としてスコア記憶部３０に記憶させると共に、画像切出部１０に新たな対象画像（部分画像）を切り出させて、その対象画像についての判定値を求める処理を繰り返すように各部を制御する。

一方、ＳＨ≧ＴＨ且つＳＬ≦ＴＨであれば、予測最終スコアＳ_1:Nfは十分に信頼できないものとして、その対象画像に対する処理を継続する（次の弱識別器を選択して同様の処理を繰り返す）ように各部を制御する。そして、途中で打ち切られることなく、全ての弱識別器の適用が終了した場合には、獲得スコアＳ^(-) _1:Nfをそのまま判定スコアＳ（ｘ）として出力する。

なお、Ｆｓは安全係数であり、（１７）式により算出する。

但し、ａは適用済弱識別器の数が小数の際に付与するペナルティの大きさを決める係数、ｂは安全率の絶対的な大きさを決める係数、σは、弱識別器を適用するにつれて安全率が小さくなる程度を表す係数であり、いずれも実験等を通じて経験的に設定する。

［クラス確率の導出過程］
クラスの事後確率であるクラス確率ｐ（ｃ｜ｆ_1:Nf）は、ベイズの定理を示した（６）式からもわかるように、クラスの尤度ｐ（ｆ_1:Nf｜ｃ）と事前分布ｐ（ｃ）とから算出される。

ここで、弱識別器を適用した結果ｆ_1:Nf＝（ｆ₁，ｆ₂，…，ｆ_Nf）は、０若しくは１をとる離散変数なので、パラメータμ_c＝（μ_c1，μ_c2，…，μ_cNf）のベルヌーイ分布により確率的に生成されたと仮定する。更に、各弱識別器の独立性を仮定すると、（１８）式が成立する。

パラメータμ_cは、０〜１の値を採る連続変数で、ベルヌーイ分布の共役事前分布であるα_c，β_cをパラメータとするベータ分布により生成されるとすれば、（１９）式が得られる。但し、Γ（ｘ）は、（２０）式で定義されるガンマ関数である。

この時、クラスの尤度ｐ（ｆ_1:Nf｜ｃ）は、パラメータμ_cを積分消去（周辺化）すると（２１）式で表される。但し、正の実数ｘ＞０についてΓ（ｘ＋１）＝ｘΓ（ｘ）を用いた。

また、上述したものと同様に、クラスｃがパラメータμ₀のベルヌーイ分布から確率的に生成されると仮定すると（２２）式が得られ、更に、パラメータμ₀がα₀，β₀をパラメータとするベータ分布により生成されると仮定すると（２３）式が得られる。

この時、クラスの事前確率ｐ（ｃ）は、パラメータμ₀を積分消去（周辺化）すると（２４）式で表される。なお、μ₀について知識を持っていない場合は、通常、α₀＝β₀＝１と設定する。

そして、クラス確率ｐ（ｃ｜ｆ_1:Nf）は、（２１）（２４）式とベイズの定理を用いることで、（２５）式のように求めることができる。

但し、（２５）式は、Ｎｆ個の弱識別器を全て適用した時のクラス確率であり、これを、弱識別器を一つ適用する毎に、前回の算出結果ｐ（ｃ｜ｆ_1:n-1）を利用して、再帰的にクラス確率ｐ（ｃ｜ｆ_1:n）を更新できるように修正したものが（６）式となる。

＜動作＞
ここで顔位置検出部５での全体的な処理の流れを、図４に示すフローチャートに沿って説明する。

顔位置検出部５に取得画像が供給されると、まず、画像切出部１０にて、切出用ウインドのサイズや位置を、予め設定された選択順に従って、その選択順の一番最初から選択されるように初期化する（Ｓ１１０）。そして、切出用ウインドのサイズを選択し（Ｓ１２０）、切出用ウインドの位置を選択して、先に選択された切出用ウインドサイズでの対象画像（部分画像）ｘの切り出し（Ｓ１３０）を行う。

なお、Ｓ１２０では、最初に最小サイズの切出用ウインドを選択し、以後、Ｓ１２０が実行される毎に、順次大きいサイズの切出用ウインドを選択する。
また、Ｓ１３０では、切出用ウインドのサイズが新たに選択される毎に、最初に取得画像の左上隅の位置を選択し、以後、Ｓ１３０が実行される毎に、右方向を主走査方向、下方向を副走査方向として順次シフトした位置を選択して切り出しを行う。

次に、スコア生成部２０が、対象画像ｘについての判定スコアＳ（ｘ）を生成し、その判定スコアＳ（ｘ）を対象画像ｘに対応づけてスコア記憶部３０に記憶する（Ｓ１４０）。

Ｓ１４０にて判定スコアＳ（ｘ）が生成されることにより現対象画像についての処理が終了すると、画像切出部１０にて、切出用ウインドの位置は選択順の最後（右下隅）まで到達しているか否かにより、全画面について処理を終了したか否かを判断し（Ｓ１５０）、全画面について処理を終了していなければ、現サイズでの処理は終了していないものとして、Ｓ１３０に戻って、Ｓ１３０〜Ｓ１４０の処理を繰り返す。

一方、全画面について処理が終了していれば、現サイズでの処理は終了したものとして、画像切出部１０にて、全てのサイズについて処理が終了しているか否かを判断し（Ｓ１６０）、未選択のサイズがある場合には、Ｓ１２０に戻って、Ｓ１２０〜Ｓ１５０の処理を繰り返す。

そして、全てのサイズが選択されている場合には、現取得画像についての処理は全て終了したものとして、顔位置判定部４０に顔位置を判定させ、即ち、判定スコアＳ（ｘ）が最大となる部分画像の位置を顔位置と判定して（Ｓ１７０）、本処理を終了する。

ここで、Ｓ１４０にてスコア生成部２０が実行する処理の詳細を、図５に示すフローチャートに沿って説明する。なお、以下では、記述を簡単にするため、説明に使用する各記号から対象画像を識別するｘを省略し、例えば、ｆ_n（ｘ）であれば、単にｆ_nと記述する。

識別器選択適用部２２に対象画像が供給されると、まず、獲得スコア算出部２３が算出，保持する獲得スコアＳ^(-) _1:nをゼロクリアすることで、及びクラス確率算出部２４が算出，保持するクラス確率ｐ（ｃ｜ｆ_1:n）の値を１／（画像クラス数）とすることで、初期化する（Ｓ２１０）。

次に、識別器選択適用部２２が、弱選択器群の中から一つの弱選択器を選択し、その選択した弱識別器を対象画像に適用することで識別結果ｆ_nを求める（Ｓ２２０）。なお、ｎは、その対象画像についてｎ番目に選択された弱識別器についての値であることを示す（以下同様）。

すると、獲得スコア算出部２３が、識別結果ｆ_nに重みｗ_nを乗じた値ｗ_nｆ_nを算出し、これを保持されている（ｎ＝１の時はゼロに初期化されている）獲得スコアＳ^(-) _1:n-1に加算することで、獲得スコアＳ^(-) _1:n（＝Ｓ^(-) _1:n-1＋ｗ_nｆ_n）を更新する（Ｓ２３０）。

そして、現対象画像に対して全ての弱識別器を適用し終えたか否か、即ち、現在の選択識別器がＮｆ個目のものであるか否かを判断する（Ｓ２４０）。
Ｓ２４０にて肯定判断された場合、即ち、現在の選択識別器に対して全ての弱識別器が適用済みである場合は、Ｓ２３０にて算出された獲得スコアＳ^(-) _1:Nf を判定スコアＳとして出力することでスコア記憶部３０に記憶させて（Ｓ３００）、本処理を終了する。

一方、Ｓ２４０にて否定判断された場合、即ち、現在の選択識別器に対して未適用の弱識別器が存在する場合には、クラス確率算出部２４が、上述の（６）式に従って、保持されている（ｎ＝１の時はゼロに初期化されている）クラス確率ｐ（ｃ｜ｆ_1:n）を更新する（Ｓ２５０）。なお、クラス確率ｐ（ｃ｜ｆ_1:n）は、顔クラス（ｃ＝１）、非顔クラス（ｃ＝０）のそれぞれについて算出されることになる。

そして、クラス確率ｐ（ｃ｜ｆ_1:n）が更新されると、予測分布算出部２５が、そのクラス確率ｐ（ｃ｜ｆ_1:n）を用いて、未適用弱識別器群を全て対象画像に対して適用した場合の獲得スコアの予測分布のパラメータＥ_n，Ｖ_nを、上述の（９）（１０）式に従って算出する（Ｓ２６０）。

すると、継続制御部２６では、（１５）（１６）式に従ってバラツキ上限値ＳＨ，バラツキ下限値ＳＬを算出し、バラツキ上限値ＳＨが判定閾値ＴＨ以上（Ｓ２７０：ＮＯ）且つバラツキ下限値ＳＬが判定閾値ＴＨ以下（Ｓ２８０：ＮＯ）場合は、予測の精度が不十分であるものとして、対象画像に対する処理を継続する（Ｓ２２０に戻る）。

一方、バラツキ上限値ＳＨが判定閾値ＴＨより小さい（Ｓ２７０：ＹＥＳ）か、或いはバラツキ下限値ＳＬが判定閾値ＴＨより大きい（Ｓ２８０：ＹＥＳ）場合は、Ｓ２３０にて算出された獲得スコアＳ^(-) _1:nに、Ｓ２６０で算出された期待値Ｅ_n［Ｓ_n+1:Nf｜ｆ_1:n］＝Ｓ⁽⁺⁾ _n+1:Nfを加算することで算出される予測スコアを、判定スコアＳとして出力することでスコア記憶部３０に記憶させて（Ｓ２９０）、本処理を終了する。

＜効果＞
以上説明したように、運転支援システム１によれば、入力画像から切り出した対象画像に対して複数の弱識別器を適宜適用して判定値を求める過程において、対象画像に対する処理を継続するか打ち切るかを判断（早期判断）する際に、適用済弱識別器群の識別結果に基づく獲得スコアＳ^(-) _1:nだけでなく、未適用弱識別器群を適用した場合に得られるであろう獲得スコアの予測分布（期待値Ｅ_n［Ｓ_n+1:Nf｜ｆ_1:n］＝Ｓ⁽⁺⁾ _n+1:Nf，分散Ｖ_n）によって、未適用弱識別器群の振る舞いを予測することによって判断している。

従って、運転支援システム１によれば、未適用弱識別器群の情報が無視されることなく必ず利用されることになるため、ブースティングの頑健性を低下させることなく、顔位置の特定に要する時間を短縮することができ、ひいては信頼性の高い運転支援制御を実現することができる。

＜発明との対応＞
なお、上記実施形態において、弱識別器データベース２１に記憶されている弱識別器群が識別手段、識別器選択適用部２２が適用手段、獲得スコア算出部２３がスコア算出手段、予測分布算出部２５が分布算出手段、継続制御部２６が早期判断手段、確率テーブルを記憶する弱識別器データベース２１が記憶手段、クラス確率算出部２４が確率算出手段に相当する。

［第２実施形態］
次に、第２実施形態について説明する。
なお、本実施形態では、識別器選択適用部２２が実行するＳ２２０での処理、及び予測分布算出部２５が実行するＳ２６０の処理の一部が、第１実施形態とは異なっているだけであるため、この相違する部分を中心に説明する。

＜構成＞
即ち、本実施形態では、Ｓ２６０において、予測分布の分散Ｖ_n［Ｓ_n+1:Nf｜ｆ_1:n］を算出する際に（１２）式に従って算出される個々の弱識別器についての分散Ｖ_n［Ｓ_m｜ｆ_1:n］のうち、最も値が大きかった弱識別器を記憶する。

そして、Ｓ２２０では、未適用弱識別器の中から、対象画像に適用する弱識別器を選択する際に、前回の処理サイクルでのＳ２６０にて記憶された分散値が最大の弱識別器を、新たに適用する弱識別器として選択する。但し、対象画像に対する最初の処理サイクルでは、適用する弱識別器として、予め決められたもの（例えば、重みｗ_nが最も大きいもの等）を用いてもよいし、ランダムに選択したものを用いてもよい。

＜効果＞
このように構成された運転支援システム１によれば、予測分布の分散Ｖ_n［Ｓ_n+1:Nf｜ｆ_1:n］を速やかに減少させることができるため、早期判断をより速い段階で行うことができる。その結果、顔位置の特定に要する時間を更に短縮することができる。

［実験例］
顔位置検出部５での処理の有効性を確認するため、実際の車内で撮影された画像（取得画像に相当）を用いて実験を行った。

図６は、実験に使用した訓練画像及びテスト画像の生成方法を示す説明図である。
取得画像中の正解顔領域は人手で指定し、そこからサイズと位置とをランダムにずらした画像を顔画像として生成した。また、正解顔領域を一部含むもの、正解顔領域を全く含まないものを非顔画像としてランダムに生成し、これを弱識別器の学習に用いる訓練画像集合とした。

また、実環境では、すべての照明環境やドライバの顔を訓練画像集合に含めることが実質的に不可能であるため、訓練画像集合に用いた画像とは異なる環境下で撮影された画像を識別できなければならない。このような汎化性，頑健性を確認するため、異なる環境下（ここでは、カメラ・被験者・照明環境）で撮影されたドライバについての取得画像から顔画像、非顔画像を作成し、これを弱識別器のテストに用いるテスト画像集合とした。

このように生成された訓練画像集合、テスト画像集合を利用して、第１実施形態に示した手法（ClassProb）と、第２実施形態に示した手法（AS Boost）と、全ての弱識別器を検出に利用する手法（比較例１：NormalBoost）と、特許文献１に示された早期棄却を利用する手法（比較例２：Viola&Jones）との比較を行った。

なお、弱識別器は、全て本実施形態と同様にHaar特徴を用いて識別を行うものとし、その数をＮｆ＝１０００とした。また、本実施形態については、（１７）式に示した安全係数Ｆｓを決定するパラメータを、ａ＝９，ｂ＝３，σ＝Ｎｆ／６．２５に設定した。なお、σを弱識別器の数Ｎｆに依存して決めているため、安全係数Ｆｓは、弱識別器の数Ｎｆに関わらず同様な振る舞いとなる。

図７は、本実施形態の構成において、早期棄却を行うことなく、全ての弱識別器を適用した場合に算出される獲得スコアＳ^(-) _1:n、予測スコアＳ⁽⁺⁾ _n+1:Nf、バラツキ上限値ＳＨ、バラツキ下限値ＳＬの振る舞いを示したグラフであり、（ａ）は対象画像が顔画像（顔クラスの画像）の場合、（ｂ）は対象画像が非顔画像（非顔クラスの画像）の場合を示す。

図８（ａ）は、各手法について、テスト画像を用いて測定を行い、その結果から、非顔画像を顔画像であると判断（誤検出）した確率、顔画像を非顔画像であると判断（未検出）した確率、判断までに適用された弱識別器の数（平均）を求めた結果を示した表であり、図８（ｂ）は、弱識別器群の数Ｎｆを変化させて、誤り率（誤検出と未検出の合計）を測定した結果を示したグラフである。

図７からは、本実施形態の手法では、予測スコアは、適用識別器数が５０個程度のかなり早い段階で最終的に獲得するスコアを予測できていること、及び、適用する弱識別器の数が増加するに従って、予測スコアの自信が大きく（予測分布の分散が小さく）なり、２００個未満（図中「×」印で示した時点）で、早期判断が行われることがわかる。

図８（ａ）からは、本発明の第１及び第２実施形態によれば、全ての弱識別器を利用する比較例１（NormalBoost）と比較して誤り率を同程度以下とすることができ、また、早期判断を行う比較例２（Viola&Jones）と比較して、適用する弱識別器の数（ひいては早期判断のタイミング）及び誤り率を、いずれも向上させることができ、特に、第２実施形態（AS Boost）では、適用する弱識別器の数を半分近くまで大幅に減少させることができることがわかる。

更に、図８（ｂ）からは、比較例２では、弱識別器の数が増えると却って性能が劣化（誤り率が増大）する過学習の傾向が見られるのに対して、本実施形態の手法では、弱識別器の数に関わらず比較例１と同等以下の性能が得られることがわかる。しかも、弱識別器の数を無闇に増やしても性能が劣化することはないが、大きく改善されることもなく、特に、第２実施形態では、Ｎｆ＝４００程度あれば、ほぼ最大限に能力を引き出すことができることがわかる。

つまり、本実施形態の手法では、比較例２とは異なり、弱識別器の数Ｎｆに依存することなく、高速性と識別頑健性とを高いレベルで両立させることができることが確認された。
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

上記実施形態では、クラスが二つである場合について説明したが、３個以上のクラスに拡張してもよい。この場合、例えば、顔画像を表す顔クラスを、眼鏡顔、サングラス顔等を表す複数のクラスに分割することが考えられる。

この場合、クラス毎に、使用する弱識別器群を設定し、弱識別器群の反応傾向からクラスを推定して、使用する弱識別器群を切り換えながら識別を行うようにすればよい。なお、その具体的な手法としては、例えば、特願２００８−１５０６７９号にて提案したものを適用することができる。

１…運転支援システム３…画像取得部５…顔位置検出部７…視線検出部９…運転支援制御部１０…画像切出部２０…スコア生成部２１…弱識別器データベース２２…識別器選択適用部２３…獲得スコア算出部２４…クラス確率算出部２５…予測分布算出部２６…継続制御部３０…スコア記憶部４０…顔位置判定部

Claims

それぞれが互いに異なった特定のパターンを有した画像に反応するように設定された複数の弱識別器からなる識別手段と、
前記識別手段を構成する前記弱識別器の一つを適宜選択し、該選択した弱識別器を、識別対象となる入力画像である対象画像に対して適用する適用手段と、
前記適用手段により前記対象画像に対して適用された前記弱識別器を適用済弱識別器群として、前記適用手段により前記弱識別器が適用される毎に、前記弱識別器での識別の信頼度を表す重みを用いて、前記適用済弱識別器群の識別結果の重み付け加算値である獲得スコアを算出するスコア算出手段と、
前記適用手段により前記対象画像に対して未だ適用されていない前記弱識別器を未適用弱識別器群として、前記適用手段により前記弱識別器が適用される毎に、前記未適用弱識別器群を前記対象画像に対して適用した場合に獲得し得る前記獲得スコアの予測分布を算出する分布算出手段と、
前記獲得スコアに前記予測分布の期待値を加算した予測スコア、及び前記予測分布の分散に基づく前記予測スコアのバラツキ範囲を求め、前記バラツキ範囲の上限値が予め設定された判定閾値より小さい場合、又は、前記バラツキ範囲の下限値が前記判定閾値より大きい場合に、前記予測スコアを、前記対象画像についての最終的な獲得スコアであるものとして、前記対象画像に対する処理を打ち切る早期判断手段と、
を備えることを特徴とする画像識別装置。
前記分布算出手段は、前記未適用弱識別器群に属する弱識別器毎に算出した個別予測分布を求め、該個別予測分布のパラメータを加算することで前記獲得スコアの予測分布のパラメータを算出し、
前記適用手段は、前記未適用弱識別器群の中で次に適用する弱識別器として、前記個別予測分布の分散が最も大きいものを選択することを特徴とする請求項１に記載の画像識別装置。
前記弱識別器毎、且つ前記対象画像を分類するために予め設定されたクラス毎に、該クラスに属する対象画像に対して前記弱識別器が肯定的な判断を行う正判定確率、及び該クラスに属さない対象画像に対して前記弱識別器が肯定的な判断を行う誤判定確率を設定した確率テーブルを記憶する記憶手段と、
前記適用済弱識別器群を構成する各弱識別器の識別結果に基づいて、前記クラス毎に、前記対象画像が該クラスに属することの事後確率を表すクラス確率を算出する確率算出手段と、
を備え、
前記分布算出手段は、前記獲得スコアの予測分布を、前記クラス確率及び前記確率テーブルを用いて算出することを特徴とする請求項１又は請求項２に記載の画像識別装置。
前記判定手段は、前記適用済弱識別器群に属する弱識別器の数が多いほど小さな値となるように設定された安全係数を前記予測分布の標準偏差に乗じた値を許容値とし、該許容値を前記予測スコアに加算又は減算した値を、前記バラツキ範囲の上限値及び下限値とすることを特徴とする請求項１乃至請求項３のいずれかに記載の画像識別装置。
前記安全係数は、前記識別手段を構成する弱識別器の数によって正規化されていることを特徴とする請求項４に記載の画像識別装置。
前記対象画像は、車両のドライバを撮影した画像から、予め設定された規定サイズを有する切出用ウインドにより切り出した画像であり、
前記クラスには、顔が映っている画像を表す顔クラスと、顔が映っていない画像を表す非顔クラスが少なくとも含まれていることを特徴とする請求項１乃至請求項５のいずれかに記載の画像識別装置。