JP4513898B2 - 画像識別装置 - Google Patents

Description

本発明は、複数の弱識別器を用いて入力画像中に存在する抽出対象画像を識別する画像識別装置に関する。

従来より、車内に設置されたカメラの画像を用いて、運転中のドライバの視線をモニタし、脇見や見落とし状態を検知／警報する運転支援システムが知られている。
このような運転支援システムにおいて、ドライバの視線をモニタする場合、カメラから取得した画像中から顔画像（両眼、鼻、口を含んだ領域）を抽出して、その顔画像の位置（以下、顔位置という）を高速かつ正確に検出することが重要となる。

このような顔位置の検出を行う装置の一例として、Haar like 特徴量を用いて識別を行う複数の弱識別器を、ブースティング理論（アダブースト）によって学習させると共に、一列にカスケード接続して用いるもの（以下、従来装置という）が知られている（例えば、特許文献１参照）。なお、Haar like 特徴量とは、矩形型のフィルターによって、隣接する画像中の矩形領域間の明度差を求め、それを特徴量として用いる周知のものである。

そして、この従来装置では、入力画像から切り出した部分画像に対して、カスケード接続された接続順に弱識別器を順次適用し、個々の弱識別器での識別結果から、顔画像であることの尤度値を求め、その尤度値が小さい部分画像を、その時点で早期に（後段の弱識別器での処理を行うことなく）破棄することによって処理を高速化し、最終的に尤度値の大きい部分画像の位置を顔位置として検出すること（Viola & Jones のアルゴリズム）が行われている。
米国特許ＵＳ７０９９５１０Ｂ２

しかし、従来装置では、被験者（ドライバ）の個人差（眼，鼻，口の大きさや配置間隔）・個人内差（スカーフやサングラス等の装飾品の装着の有無等）が大きい場合に、顔位置を正確に検出することが困難であるという問題があった。

即ち、アダブーストでは、先に学習が行われた弱識別器にて識別不能となった被験者についての学習を、後の弱識別器にて強化することが行われている。これは、個々の弱識別器は、上述の個人差や個人内差に対して、識別の得意，不得意が存在し、互いに補い合うことで高い識別性を実現していることを示唆している。従って、先に学習した弱識別器では、識別不能であった被験者の顔画像を、それより後に学習した弱識別器では的確に識別できる場合もある。

ところが、従来装置では、カスケード処理の途中で破棄された部分画像については、破棄された地点より下流の弱識別器の情報が全く利用されないため、標準的な顔画像との差（個人差，個人内差）が大きい場合に、これを顔画像として識別することができず、ひいては顔位置を正確に検出できない可能性がある。

換言すれば、個人差，個人内差に対応する弱識別器が有効に使用されないため、汎化性能（学習に用いていない未知のデータに対して識別を行った際の性能）が低下してしまうのである。

また、識別不能な被験者（識別不能被験者という）が存在する場合、汎化性を向上させるために、その識別不法被験者の顔画像を学習データに取り込んで弱識別器を再学習することも考えられる。しかし、アダブーストによる学習では、上述したように、一つの弱識別器での学習結果が、他の弱識別器での学習に影響を与えるため、全ての弱識別器をはじめから学習し直す必要があり、非常に手間を要するという問題があった。

しかも、そのような再学習を行ったとしても、その識別不能被験者の顔画像についての学習が特別に重視されるわけではないため、必ずしもその識別不能被験者の顔画像を識別できるようになるとは限らず、また、あえて識別不能被験者の顔画像の学習を重視すると、これまで識別できていた他の被験者の顔画像が識別できなくなり、却って汎化性が低下する危険性があった。

本発明は、上記問題点を解決するために、抽出対象画像の特徴にばらつきがある場合でも、その抽出対象画像を高速かつ正確に識別可能な画像識別装置を提供することを目的とする。

上記目的を達成するためになされた本発明の画像識別装置では、画像切出手段が、予め設定された規定サイズを有する切出用ウインドにより、入力画像から複数の部分画像を、該入力画像の全体が網羅されるように順次切り出す。すると判定値算出手段が、画像切出手段にて切り出された部分画像のそれぞれについて、その部分画像が予め設定された特徴である主特徴を有した抽出対象画像であることの尤度を表す判定値を算出し、その判定値が最大となる部分画像を抽出対象画像として識別する。

特に本発明において判定値算出手段は、それぞれが互いに異なった特定のパターンを有した画像に反応するように設定され、入力された画像が抽出対象画像であると識別した場合には１、抽出対象画像ではないと識別した場合には０を出力する複数の弱識別器からなる識別手段を備えている。

そして、識別器選択手段が、画像切出手段にて切り出された部分画像を対象画像として、識別手段を構成する弱識別器の中から対象画像に適用する弱識別器を適宜選択し、その識別器選択手段にて弱識別器が選択される毎に、尤度値算出手段が、弱識別器を対象画像に適用することで得られた識別結果に、弱識別器について予め設定された重みを乗じることで尤度値を算出する。なお、各弱識別器の重みは、全ての重みを合計した値が１となるように設定される。

また、尤度値算出手段にて尤度値が算出される毎に、累積尤度値算出手段が、対象画像について尤度値算出手段にて算出された尤度値を累積してなる累積尤度値を算出し、更に、尤度期待値算出手段が、累積尤度値算出手段にて算出された累積尤度値に、対象画像に未適用の弱識別器の全てが対象画像を抽出対象画像であると識別（以下、ポジティブ判定という）したものと仮定した場合に未適用の弱識別器のそれぞれについて算出される尤度値を合計してなるポジティブ判定期待値を加算することで尤度期待値を算出する。

そして、継続制御手段が、尤度期待値算出手段にて算出された尤度期待値が予め設定された継続閾値以上である場合は、識別器選択手段に次の識別器を選択させると共に、次に選択すべき識別器が存在しない場合、又は尤度期待値が継続閾値より小さい場合は、前記対象画像についての処理を終了して、累積尤度値算出手段にて算出された累積尤度値を判定値として出力する。

なお、全ての弱識別器が対象画像（部分画像）に対してポジティブ判定した場合にのみ、累積尤度値（即ち判定値）は１となるが、通常は、判定値が１になることはあり得ず、判定値が最大となった部分画像が、抽出対象画像として識別されることになる。

このように構成された本発明の画像識別装置では、対象画像に次の弱識別器を適用するか否か、即ち、現在の対象画像に対する処理を打ち切るか否かを判定する際に、適用済みの弱識別器による識別結果に基づく累積尤度値だけでなく、未適用の弱識別器の情報に基づくポジティブ判定期待値を考慮した尤度期待値によって判断している。

つまり、尤度期待値が継続閾値より小さいということは、未適用の弱識別器の全てにてポジティブ判定されたとしても、現在の対象画像が抽出対象画像であると判定される可能性はないということであり、逆に、尤度規定値が継続閾値以上であるということは、未適用の弱識別器を適用することによって、現在の対象画像が抽出対象画像であると判定される可能性があるということである。

このように、本発明の画像識別装置によれば、対象画像に対する処理を中止するか否かの判定に用いる尤度期待値に、適用済み弱識別器の情報だけでなく、未適用の弱識別器の情報も反映されているため、単に識別に要する時間を短縮できるだけでなく、判定の信頼性を高めることができ、ひいては抽出対象画像の識別における汎化性，頑健性を高めることができる。
また、請求項２に記載の画像形成装置は、尤度期待値算出手段におけるポジティブ判定期待値の算出法が異なる以外は、請求項１に記載の画像形成装置と同様に構成されている。
即ち、請求項２に記載の画像形成装置において、尤度期待値算出手段は、弱識別器が入力された画像を抽出対象画像であると識別して１を出力する確率であるポジティブ判定確率に、該弱識別器に対して予め設定された重みを乗じた値を、対象画像に未適用である全ての弱識別器について合計したものをポジティブ判定期待値とし、このポジティブ判定期待値を、累積尤度値算出手段にて算出された累積尤度値に加算することで尤度期待値を算出する。
このように構成された本発明の画像識別装置では、ポジティブ判定期待値（ひいては尤度期待値）を、未適用の弱識別器の重みだけでなく、ポジティブ判定確率も考慮して算出しているため、対象画像に対する処理を打ち切るか否かを、より的確に判定することができる。

また、請求項３に記載の画像形成装置は、抽出対象画像を含んだ画像を主特徴とは異なる特徴である補助特徴によって分類したクラス毎に、該クラスに分類されるべき画像を弱識別器のそれぞれに入力した時に得られる出力のモデルパターンを記憶する出力傾向モデル記憶手段と、識別器選択手段にて選択された弱識別器と該弱識別器での識別結果とを対応づけて記憶する出力傾向記憶手段とを備えている。

そして、クラス選択手段が、出力傾向モデル記憶手段の記憶内容の中で、出力傾向記憶手段の記憶内容と最も近似するモデルパターンを特定し、その特定されたモデルパターンに対応するクラスを、対象画像のクラスとして選択する。

これと共に、識別手段は、クラス毎に該クラスに適用可能な複数の弱識別器からなるクラス別識別器群を有しており、識別器選択手段は、クラス選択手段にて選択されたクラスに対応するクラス別識別器群の中から、対象画像に適用する弱識別器を選択する。

このように構成された本発明の画像形成装置によれば、対象画像のクラスを特定し、そのクラスに適した弱識別器のみを用いて識別を行うため、抽出対象画像の識別精度を向上させることができる。

また、本発明の画像形成装置によれば、クラス毎に使用する弱識別器群を変更することによって、弱識別器を再学習することなく汎化性を向上させているため、識別器のメンテナンス性を向上させることができる。

なお、クラス別識別器群は、請求項３に記載のように、識別手段を構成する弱識別器の全体から、主特徴のみを有した画像より当該クラスの補助特徴を有した画像の方がポジティブ判定確率が大きくなる弱識別器の少なくとも一部を除去することで構成すればよい。なお、ポジティブ判定確率とは、ある画像が入力された時に、その画像を抽出対象画像であると識別して１を出力（ポジティブ判定）する確率のことである。

即ち、個々の弱識別器は、画像が入力された時に、それを抽出対象画像であると識別する固有の確率（ポジティブ判定確率）を持っている。但し、同じ弱識別器であっても、対象画像のクラスによってポジティブ判定確率は異なったものとなる。

そして、あるクラスの対象画像（即ち、ある補助特徴を有する対象画像）について高いポジティブ判定確率を有するが、主特徴のみを有する対象画像について、相対的に低いポジティブ判定確率を有する弱識別器は、補助特徴により強く反応しているものと考えられる。従って、このような弱識別器を使用すると、その弱識別器での識別結果の影響を受けて、補助特徴が示された部位を抽出対象画像（主特徴が示された部位）であると誤識別したり、抽出対象画像であると識別される部分画像の位置にずれが生じたりする可能性がある。

そこで、入力画像のクラスが判明した場合は、その他のクラスの補助特徴に強く反応する弱識別器を除去すれば、補助特徴を有する部分画像の判定値が抑制され、主特徴を有する部分画像の判定値が相対的に大きくなり、抽出対象画像が正確に識別されることになるのである。

また、本発明の画像識別装置は、請求項４に記載のように、クラス選択手段により現設定とは異なるクラスが選択された場合、クラス変更制御手段が、処理中の入力画像について算出された処理結果を破棄して、最初から処理をやり直させるように構成されていることが望ましい。

上述したように、クラスによって使用する弱識別器が異なり、同じ部分画像であってもクラスによって異なった判定値が得られることになるため、部分画像毎に算出される判定値を正しく比較するには、処理を最初からやり直す必要があるためである。但し、抽出対象画像でないことが明らかな部分画像、例えば、累積尤度値が０であった部分画像については、処理を省略するようにしてもよい。

更に、画像切出手段は、請求項５に記載のように、同一の入力画像からの部分画像の切り出しを、規定サイズを変化させて繰り返すように構成されていることが望ましい。
この場合、入力画像から最適な位置，最適な大きさで抽出対象画像を切り出すことができる。

ところで、識別手段を構成する弱識別器は、請求項７に記載のように、ブースティング理論に従って学習されていることが望ましい。

以下に本発明の実施形態を図面と共に説明する。
［第１実施形態］
＜全体構成＞
図１は、本発明が適用された車載用の運転支援システム１の概略構成を示すブロック図である。

図１に示すように、運転支援システム１は、ドライバの顔周辺を撮影した画像を取得する画像取得部３と、画像取得部３にて取得した画像（以下、入力画像という）に基づいて、入力画像中のドライバの顔位置を検出する顔位置検出部５と、画像取得部３からの入力画像、及び顔位置検出部５にて検出された顔位置に基づき、ドライバの視線を検出する視線検出部７と、視線検出部７での検出結果に従って、視線の異常（脇見等）を判定して、警報などを発生させる運転支援制御部９とを備えている。

このうち、画像取得部３は、ドライバの顔画像を取得するＣＣＤカメラと、夜間でも画像を取得できるようにするために近赤外の照明光をドライバの顔に向けて照射するＬＥＤとからなり、ダッシュボード上に設置されている。但し、設置位置は、これに限らず、メータ内，ハンドルカラム内，ルームミラー付近等であってもよい。また、ＬＥＤは省略されていてもよい。

また、視線検出部７や運転支援制御部９での処理は周知のものであり、本発明の要旨とも関係が薄いため、ここでは説明を省略する。
＜顔位置検出部＞
図２は、顔位置検出部５の詳細を示すブロック図である。なお、この顔位置検出部５が本発明の画像識別装置に相当する。

なお、顔位置とは、眼，鼻，口を含むように設定された必要最小限の矩形状の画像領域（以下、顔画像という，図９の四角で示された領域を参照）が、入力画像内において占める位置のことである。

図２に示すように、顔位置検出部５は、入力画像から識別の対象となる部分画像（以下、対象画像ともいう）の切り出しを行う画像切出部１０と、画像切出部１０で切り出された部分画像毎に、その部分画像が顔画像であることの尤度を表す判定値を算出する判定値生成部２０と、判定値生成部２０にて算出された判定値を部分画像に対応付けて記憶する判定値記憶部３０と、判定値記憶部３０の記憶内容に基づき、判定値が最大である部分画像の位置を顔位置として出力する顔位置判定部４０と、判定値生成部２０から出力される弱識別器（後述する）での識別結果に基づいて、入力画像のクラスを判定するクラス判定部５０と、クラス判定部５０での判定結果に従って、当該顔位置検出部５内の各部の処理を制御するクラス修正制御部６０とを備えている。

なお、入力画像のクラスとは、入力画像に示されるドライバの頭部に装着されている可能性のある装飾品（例えば、スカーフやターバン，サングラス等）の有無による分類であり、本実施形態では、装飾品が装着されていないものを一般クラス、スカーフやターバンが装着されているものを第１装飾クラス、サングラスが装着されているものを第２装飾クラスという。

＜画像切出部＞
画像切出部１０は、入力画像の左上から右方向を主走査方向、下方向を副走査方向として、予め設定された規定サイズの切出用ウインドを用いて部分画像を切り出す。なお、部分画像は、入力画像を分割するように切り出してもよいし、隣接するもの同士でその一部の領域が互いに重なり合うように切り出してもよい。

また、規定サイズには、複数種類（本実施形態では８０×８０画素、１００×１００画素、１２０×１２０画素、１４０×１４０画素、１６０×１６０画素、１８０×１８０画素の６種類）があり、画像切出部１０は、その全てのサイズについて上述の切り出しを繰り返すように構成されている。

＜判定値生成部＞
判定値生成部２０は、画像切出部１０にて切り出された対象画像が、顔画像であるか否かを識別する複数の弱識別器に関する情報を記憶する弱識別器データベース２１を備えている。

なお、個々の弱識別器の実体は評価関数であり、本実施形態では、１又は複数種類のHaar Like 特徴量を用いて識別を行うように構成され、アダブーストによる学習を行った周知（例えば、特許文献１参照）ものである。また、弱識別器の出力ｙは、対象画像が顔画像であると識別した場合にｙ＝１、顔画像ではないと識別した場合にｙ＝０となるように設定されている。但し、弱識別器が扱う特徴量は、Haar Like 特徴量に限るものではなく、弱識別器に用いるものとして知られている特徴量であれば、何を用いてもよい。

また、各弱識別器は、画像が入力された場合に、ポジティブに判定（顔画像であると判定）して出力ｙ＝１を返す固有の確率であるポジティブ判定確率を有している。但し、そのポジティブ判定確率は、同じ弱識別器であっても、入力される画像のクラス毎に異なったものとなる。

そして、クラス毎に、使用する弱識別器群が設定されており、一般クラス用の弱識別器群は全ての弱識別器によって構成されている。
一方、一般クラス以外の特定クラス（第１装飾クラス，第２装飾クラス等）に用いる特定クラス用の弱識別器群は、全ての弱識別器の中から、一般クラスでのポジティブ判定確率より特定クラスでのポジティブ判定確率が予め設定された許容値以上大きい弱識別器の少なくとも一部を除くことによって構成されている（後述する図６についての説明を参照）。

そして、弱識別器データベース２１において、各弱識別器には、一般クラスの顔画像に対するポジティブ判定確率のスコアの大きい順にインデックスが付与されていると共に、クラス毎の重みｗが対応付けられている。

なお、重みｗはアダブースト理論による学習を行った際に設定され、そのクラスで用いる弱識別器群に属する全ての弱識別器についての合計が１となるようにポジティブ判定確率を規格化したものである。

また、判定値生成部２０は、弱識別器データベース２１から現在設定されているクラス（以下、対象クラスという）に使用する弱識別器群の中から、ここでは便宜的にインデックスに従って弱識別器（以下、対象識別器という）を順次選択し、その選択した対象識別器を対象画像に適用することで識別結果ｙ(ｔ)（ｔは現在の対象画像に対してｔ番目に選択された識別対象画像についてのものであることを意味する。以下同様。）を出力する識別器選択適用部２２と、識別器選択適用部２２での識別結果ｙ(ｔ)に、対象クラスにおける対象識別器の重みｗ(ｔ)を乗じることで尤度値Ｌ(ｔ)を算出する尤度値算出部２３と、対象画像について今までに算出された尤度値Ｌ（１）〜Ｌ(ｔ)を累積した累積尤度値ＡＬ(ｔ)を算出する尤度値累積部２４とを備えている。

つまり、尤度値Ｌ(ｔ)は（１）式で、累積尤度値ＡＬ(ｔ)は（２）式で表される。

なお、入力画像のクラスは、入力画像が更新される毎に、最初は一般クラスに設定されるものとする。

更に、判定値生成部２０は、対象クラス用の弱識別器群のうち、対象識別器に未だ適用されていない弱識別器（以下、未適用識別器という）の重みｗを合計した値であるポジティブ判定期待値ＥＰ(ｔ)を算出するポジティブ判定期待値算出部２５と、尤度値累積部２４で算出された累積尤度値ＡＬ(ｔ)にポジティブ判定期待値算出部２５にて算出されたポジティブ判定期待値ＥＰ(ｔ)を加算することで尤度期待値ＥＬ(ｔ)を算出する尤度期待値算出部２６と、尤度期待値算出部２６にて算出された尤度期待値ＥＬ(ｔ)に基づいて、画像切出部１０や当該判定値生成部２０，判定値記憶部３０の動作を制御する継続制御部２７とを備えている。

つまり、ポジティブ判定期待値ＥＰ(ｔ)は（３）式で、尤度期待値ＥＬ(ｔ)は（４）式で表される。
但し、（３）式において、ｊは、未適用識別器のインデックスを表す識別子である。また、ポジティブ判定期待値ＥＰ(ｔ)は、便宜的には（３ａ）式によって求めることができる。

そして、継続制御部２７では、現在設定されているクラスに対応した弱識別器群に属する全ての弱識別器を、対象画像に適用し終わると、累積尤度値ＡＬ(ｔ)を判定値として判定値記憶部３０に記憶させ、また、処理中の入力画像について、画像切出部１０が新たに切り出す部分画像が存在しない場合、即ち、全ての部分画像について判定値を求める処理が終了している場合には、顔位置判定部４０に顔位置の判定を行わせるように、判定値記憶部３０及び顔位置判定部４０を制御する。

更に、継続制御部２７では、上記以外の場合、尤度期待値ＥＬ(ｔ)が、予め設定された継続閾値Ｃth（例えば、０．５）より小さければ、現在の対象画像が顔画像であると判定される可能性はないものとして、その対象画像に対する処理を打ち切り、その時点での累積尤度値ＡＬ(ｔ)或いは０を判定値として判定値記憶部３０に記憶させると共に、画像切出部１０に新たな対象画像（部分画像）を切り出させて、その対象画像についての判定値を求める処理を繰り返すように各部を制御する。

一方、尤度期待値ＥＬ(ｔ)が、継続閾値Ｃth以上であれば、現在の対象画像が顔画像であると判定される可能性があるものとして、その対象画像に対する処理を継続する（次の弱識別器を選択して同様の処理を繰り返す）ように各部を制御する。

なお、ここでは継続閾値Ｃthが固定値であるものとして説明しているが、途中で打ち切られることなく対象クラス用の弱識別器の全てが適用された判定値が算出された後は、判定値記憶部３０に記憶されている判定値の中で最大のものを、継続閾値Ｃthに設定するように構成してもよい。

＜クラス判定部＞
クラス判定部５０は、識別器選択適用部２２での識別結果ｙを、対象識別器と対応付けて記憶する出力傾向記録部５１と、クラス毎に、そのクラスに分類されるべき画像を各弱識別器に入力した時に得られる出力のモデルパターンを記憶するモデルパターン記憶部５３と、モデルパターン記憶部５３に記憶されたモデルパターンの中で、出力傾向記録部５１に記録された出力パターンと最も類似するものを特定し、その特定されたモデルパターンに対応するクラスを、入力画像のクラスであると判定するクラス判定部５５とを備えている。

なお、モデルパターンは、各弱識別器が有するクラス毎のポジティブ判定確率に基づき、ポジティブ判定確率が０．５以上であれば１、０．５未満であれば０をモデル値として、クラス毎に、そのクラス用の弱識別器群に属する全ての弱識別器のモデル値を、インデックス順に並べることで構成されている。

また、出力傾向記録部５１の記録内容は、入力画像が更新される毎に消去される。そして、クラス判定部５５は、出力パターンの傾向を判断できる程度に識別結果の履歴が蓄積されてから判断するように設定されている。

＜クラス修正制御部＞
クラス修正制御部６０は、クラス判定部５０での判定結果が、既に設定されているクラスと一致している場合には何も行わず、不一致である場合には、処理中の入力画像について行った全ての処理結果を破棄（尤度値累積部２４で算出された累積尤度値ＡＬ，判定値記憶部３０に記憶された判定値をリセット）すると共に、変更されたクラス用の弱識別器群の中から弱識別器が選択されるようにして、入力画像についての処理を最初からやり直すように、各部（画像切出部１０，識別器選択適用部２２）を制御する。
［動作］
ここで顔位置検出部５での全体的な処理の流れを、図３に示すフローチャートに沿って説明する。

顔位置検出部５に入力画像が供給されると、まず、入力画像のクラス（対象クラス）を一般クラスに設定し、識別器選択適用部２２にて、一般クラス用の弱選択器群が選択されるように設定する（Ｓ１１０）。

次に、画像切出部１０にて、切出用ウインドのサイズや位置を、予め設定された選択順に従って、その選択順の一番最初から選択されるように初期化する（Ｓ１２０）。そして、切出用ウインドのサイズを選択し（Ｓ１３０）、切出用ウインドの位置を選択して、先に選択された切出用ウインドサイズでの対象画像（部分画像）の切り出し（Ｓ１４０）を行う。

なお、Ｓ１３０では、最初に最小サイズの切出用ウインドを選択し、以後、Ｓ１３０が実行される毎に、順次大きいサイズの切出用ウインドを選択する。
また、Ｓ１４０では、切出用ウインドのサイズが新たに選択される毎に、最初に入力画像の左上隅の位置を選択し、以後、Ｓ１４０が実行される毎に、右方向を主走査方向、下方向を副走査方向として順次シフトした位置を選択して切り出しを行う。

次に、識別器選択適用部２２が、対象クラス用の弱選択器群の中からインデックスの値が小さい順に弱識別器を一つ選択し、選択した弱識別器を対象画像に適用することで識別結果ｙ(ｔ)を求め（Ｓ１５０）、その識別結果ｙ(ｔ)に基づいてクラス判定処理を実行する（Ｓ１６０）。

このクラス判定処理では、図４に示すように、まず、識別結果ｙを出力傾向記録部５１に記録し（Ｓ３１０）、出力傾向記録部５１に記録された識別結果ｙの数が予め設定された判定可能記録数に達したか否かを判断し（Ｓ３２０）、達していなければクラス判定を行うことなく、本処理を終了する。

一方、記録数が判定可能記録数に達していれば、記録された出力パターンと、クラス毎に用意されたモデルパターンとの類似度を算出し（Ｓ３３０）、その類似度が最大となるモデルパターンを抽出して、抽出したモデルパターンに対応するクラスを、入力画像のクラスであると判定する（Ｓ３４０）。

図３に戻り、クラス判定処理の結果に基づき、クラス変更が必要であるか否かを判断し（Ｓ１７０）、クラス変更の必要があれば、Ｓ１２０に戻り、クラスを変更した状態、即ち、識別器選択適用部２２で使用する弱識別器群の指定を変更して、現在の入力画像に対する処理を最初に遡ってやり直す。

一方、クラス変更の必要がなければ、尤度値算出部２３にて、尤度値Ｌ(ｔ)を算出し（Ｓ１８０）、更に、尤度値累積部２４にて累積尤度値ＡＬ(ｔ)を算出する（Ｓ１９０）。
また、ポジティブ判定期待値算出部２５にて、ポジティブ判定期待値ＥＰ(ｔ)を算出し（Ｓ２００）、尤度期待値算出部２６にて尤度期待値ＥＬ(ｔ)を算出する。

そして、算出した尤度期待値ＥＬ(ｔ)が継続閾値Ｃthより小さいか否かにより、対象画像に対する処理を打ち切るか否かを判断し（Ｓ２２０）、尤度期待値ＥＬ(ｔ)が継続閾値Ｃthより小さければ、対象画像に対する処理を打ち切るものとして、判定値記憶部３０に対象画像の判定値として０（又は打切時点の累積尤度値ＡＬ(ｔ)）を記憶させる（Ｓ２３０）。

一方、尤度期待値ＥＬ(ｔ)が継続閾値Ｃth以上であれば、対象画像に対する処理は打ち切らないものとして、識別器選択適用部２２にて、指定されたクラスの弱識別器群に属する全ての弱識別器が対象画像に対して適用済みであるか否かを判断し（Ｓ２４０）、未適用の弱識別器があれば、Ｓ１５０に戻って、Ｓ１５０〜Ｓ２２０の処理を繰り返す。

また、全て適用済みであれば、現在の対象画像に対する処理は終了したものとして、判定値記憶部３０に対象画像の判定値として累積尤度値ＡＬ(ｔ)を記憶させる（Ｓ２５０）。

このように、対象画像に対する処理が正常に終了するか、又は打ち切られると、画像切出部１０にて、切出用ウインドの位置は選択順の最後（右下隅）まで到達しているか否かを判断し（Ｓ２６０）、最後まで到達していなければ、現サイズでの処理は終了していないものとして、Ｓ１４０に戻って、Ｓ１４０〜Ｓ２５０の処理を繰り返す。

一方、切出用ウインドの位置が最後まで到達していれば、現サイズでの処理は終了したものとして、画像切出部１０にて、全てのサイズについて処理が終了しているか否かを判断し（Ｓ２７０）、まだ、選択されていないサイズがある場合には、Ｓ１３０に戻って、Ｓ１３０〜Ｓ２６０の処理を繰り返す。

全てのサイズが選択されている場合には、現入力画像についての処理は全て終了したものとして、顔位置判定部４０に顔位置を判定させ、即ち、判定値が最大となる部分画像の位置を顔位置と判定して（Ｓ２８０）、本処理を終了する。

＜効果＞
以上説明したように、運転支援システム１によれば、入力画像から切り出した対象画像に対して複数の弱識別器を順次適用して判定値を求める過程において、対象画像に対する処理を継続するか打ち切るかを判定する際に、適用済みの弱識別器による識別結果に基づく累積尤度値ＡＬ(ｔ)だけでなく、未適用の弱識別器の情報に基づくポジティブ判定期待値ＥＰ(ｔ)を考慮した尤度期待値ＥＬ(ｔ)によって判断している。

つまり、ポジティブ判定期待値ＥＰ(ｔ)を考慮することによって、未適用の弱識別器が有する情報（即ち、個人差や個人内差に対応するための情報）が無視されることなく有効に利用されることになる。

従って、運転支援システム１によれば、顔位置の特定に要する時間を単に短縮できるだけでなく、判定の信頼性を高めることができ、ひいては信頼性の高い運転支援制御を実現することができる。

また、運転支援システム１では、弱識別器での識別結果から入力画像のクラスを判断し、判断したクラスに対応付けた弱識別器群を用いて判定値を求めるようにされている。
従って、識別不能な被験者が現れたとしても、弱識別器の再学習を行うのではなく、新たなクラスを設けることによって、これに対処することができるため、メンテナンス性を向上させることができる。

＜実験例＞
図５は、一般クラス，第１修飾クラス，非顔画像からなる実験用のネガティブ画像クラスの３クラスを設け、以下に示す手順に従って、１００個の弱識別器を生成し、その生成した各弱識別器について、クラス毎にポジティブ判定確率を求めた結果を示した表である。

即ち、まず、装飾品を装着していない一般クラスの画像２４００枚、スカーフ（及びターバン）を頭部に被った第１装飾クラスの画像９０枚、顔を含まないという基準で適当に選択した実験用クラスの画像２４００枚を用意する。

次に、各クラスの画像を半分に分け、一方の画像を教師画像として、一般的なアダブースト理論に基づき学習させ（学習の仕方の詳細については、例えば特許文献１参照）、１００個の弱識別器を生成する。

次に、これら１００個の弱識別器に、残る１２００枚の一般クラスの画像から、正しく顔画像を含む部分を切り出して入力し、各弱識別器の出力（弱識別器がポジティブな反応を示せば１、ネガティブな反応を示せば０）について、ポジティブな反応を示した割合をポジティブ判定確率として求め、ポジティブ判定確率の高い順に識別器にインデックスを付与する。

次に、インデックスを与えられた弱識別器に対し、残る４５枚の第１装飾クラスの画像から、正しく顔画像を含む部分を切り出して入力し、ポジティブ判定確率を求め、インデックスと対応させて蓄積する。

残る１２００枚のネガティブ画像クラスについても、ポジティブ判定確率を求め、インデックスと対応させて蓄積する。
このようにして得られた１００個の弱識別器について、インデックス順に各クラスに対するポジティブ判定確率を並べ直して示した表が図５であり、更に、これをグラフ化したものが図６である。

また、一般クラス用の弱識別器群は、生成した全て（１００個）の弱識別器で構成し、また、第１修飾クラス用の弱識別器群は、図６において、一点鎖線で囲われた領域にプロットされている１５個の弱識別器を除去することで得られる８５個の弱識別器で構成した。

また、各弱識別器の重みはアダブースト理論による学習の際に設定された重みを、そのクラスの弱識別器群に属する全ての弱識別器の合計値が１となるように規格化することで算出する。

この場合、例えば、インデックスが１の弱識別器の一般クラスでの重みは０．０１６である。つまり、部分画像（対象画像）について、最初に選択された弱識別器での識別結果がｙ＝０の場合はＬ(１)＝ＡＬ(１)＝０となり、識別結果がｙ＝１の場合はＬ(１)＝ＡＬ(１)＝０．０１６となる。また、ポジティブ判定期待値はいずれの場合もＥＬ(１)＝０．９８４となり、尤度期待値は、識別結果がｙ＝０の場合はＥＰ(１)＝０．９８４、識別結果がｙ＝１の場合はＥＰ(１)＝１となる。

また、図７は、図５に示されたポジティブ判定確率に基づき、クラス毎のモデルパターンを示した表であり、ここでは、インデックスが１〜３０の弱識別器について、０．５を閾値としてポジティブ判定確率を２値化したものを、インデックスに対応させたものである。

但し、図７中の最下段は、第１装飾クラスのある画像を、上記３０個の弱識別器に識別させた結果を示す。この場合、一般クラスのモデルパターンとの一致率は０．７、第１装飾クラスとの一致率は０．９３であり、入力画像は第１装飾クラスの画像であると判定されることになる。

また、図８は、第１装飾クラスの画像に基づき、従来装置の手法で顔位置を判定（本実施形態において、入力画像が一般クラスであるものとして顔位置を判定した場合に相当）した結果を示す説明図であり、図９は、本実施形態における顔位置検出部５での検出結果（入力画像が第１装飾クラスであるものとして顔位置を判定）を示す説明図である。

図８では、顔位置が誤検出されているが、図９では、スカーフの存在に関わらず、顔位置が正しく検出されていることがわかる。
［第２実施形態］
次に、第２実施形態について説明する。

なお、第１実施形態と第２実施形態は、ポジティブ判定期待値ＥＰ(ｔ)の算出法、即ち、はポジティブ判定期待値算出部２５での処理内容、及び継続制御部２７で用いる継続閾値Ｃthの値のみが異なる。従って、以下は関係する部位についてのみ説明する。

＜判定値生成部＞
ポジティブ判定期待値算出部２５では、対象クラス用の弱識別器群のうち、対象識別器に未だ適用されていない弱識別器を未適用識別器とし、未適用識別器のそれぞれについてポジティブ判定確率ｐに重みｗを乗じた値を算出し、その算出値を全ての未適用識別器について合計した値を、ポジティブ判定期待値ＥＰ(ｔ)として算出する。

つまり、ポジティブ判定期待値ＥＰ(ｔ)は（５）式で表される。

＜継続制御部＞
このように、ポジティブ判定期待値ＥＰ(ｔ)の算出にポジティブ判定確率ｐを反映させることによって、ポジティブ判定期待値ＥＰ(ｔ)、ひいては尤度期待値ＥＬ(ｔ)は、第１実施形態の場合より小さな値となる。従って、継続制御部２７において対象画像に対する処理を打ち切るか否かに用いる継続閾値Ｃthも、第１実施形態の場合より小さな値に設定する（例えば、０．３）。

＜効果＞
このような構成を有する本実施形態では、第１実施形態の場合と同様の効果が得られるだけでなく、ポジティブ判定期待値ＥＰ(ｔ)（ひいては尤度期待値ＥＬ(ｔ)）を、未適用の弱識別器の重みｗだけでなく、ポジティブ判定確率ｐも考慮して算出しているため、対象画像に対する処理を打ち切るか否かを、より的確に判定することができる。

＜実験例＞
本発明の第１実施形態と第２実施形態は，ポジティブ判定確率の算出方と，それぞれに合せた継続閾値Ｃthの値が異なるだけで，図９における検出結果は全く同じ結果が得られる。
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態では、弱識別器の選択を、予め設定されたインデックス順に行っているが、これに縛れるものではなく、例えば、乱数等を用いてランダムに順番を決めてもよい。即ち各弱識別器にその識別器を特定するインデックスを付与する事で，特許文献１に示されるような，事前に決定された弱識別器の適用順番に縛られることなく，識別器選択適用部で最適の識別器を適宜選択する事が可能になる．
上記実施形態では、一般クラスの他に、装飾物を装着した第１装飾クラス，第２装飾クラスを設定したが、マスクや表情や口の形状等を考慮したクラスを設定してもよい。

上記実施形態では、対象画像に対する処理を継続するか否かを、尤度期待値ＥＬ(ｔ)が継続閾値Ｃthより小さくなったか否かで判断しているが、弱識別器の出力の傾向から判断するように構成してもよい。

上記実施形態では、抽出対象画像として顔画像を用いているが、抽出対象画像はこれに限るものではなく、共通した特徴を有し且つ個体差，個体内差を有する画像であれば何でもよい。

運転支援システムの概略構成を示すブロック図。 顔位置検出部の詳細構成を示すブロック図。 顔位置検出部における処理の流れを示すフローチャート。 クラス判定処理の詳細を示すフローチャート。 実験時に作成した弱識別器のポジティブ判定確率をクラス別に示した表。 図５の表に基づいて作成したグラフ。 クラス判定に用いるモデルパターンの例を示す説明図。 第１装飾クラスの画像について従来装置での検出結果を示す図。 第１装飾クラスの画像について本実施形態の装置での検出結果を示す図。

符号の説明

１…運転支援システム ３…画像取得部 ５…顔位置検出部 ７…視線検出部 ９…運転支援制御部 １０…画像切出部 ２０…判定値生成部 ２１…弱識別器データベース ２２…識別器選択適用部 ２３…尤度値算出部 ２４…尤度値累積部 ２５…ポジティブ判定期待値算出部 ２６…尤度期待値算出部 ２７…継続制御部 ３０…判定値記憶部 ４０…顔位置判定部 ５０…クラス判定部 ５１…出力傾向記録部 ５３…モデルパターン記憶部 ５５…クラス判定部 ６０…クラス修正制御部

Claims (7)

1. 予め設定された規定サイズを有する切出用ウインドにより、入力画像から複数の部分画像を、該入力画像の全体が網羅されるように順次切り出す画像切出手段と、
   前記画像切出手段にて切り出された部分画像のそれぞれについて、該部分画像が予め設定された特徴である主特徴を有した抽出対象画像であることの尤度を表す判定値を算出する判定値算出手段と、
   を備え、前記判定値算出手段にて算出された判定値が最大となる部分画像を前記抽出対象画像として識別する画像識別装置において、
   前記判定値算出手段は、
   それぞれが互いに異なった特定のパターンを有した画像に反応するように設定され、入力された画像が前記抽出対象画像であると識別した場合には１、前記抽出対象画像ではないと識別した場合には０を出力する複数の弱識別器からなる識別手段と、
   前記画像切出手段にて切り出された部分画像を対象画像として、前記識別手段を構成する弱識別器の中から前記対象画像に適用する弱識別器を適宜選択する識別器選択手段と、
   前記識別器選択手段にて弱識別器が選択される毎に、該弱識別器を前記対象画像に適用することで得られた識別結果に、該弱識別器について予め設定された重みを乗じることで尤度値を算出する尤度値算出手段と、
   前記尤度値算出手段にて尤度値が算出される毎に、前記対象画像について前記尤度値算出手段にて算出された尤度値を累積してなる累積尤度値を算出する累積尤度値算出手段と、
   前記対象画像に未適用の弱識別器の全てが前記対象画像を抽出対象画像であると識別したものと仮定した場合に前記未適用の弱識別器のそれぞれについて算出される前記尤度値を合計してなるポジティブ判定期待値を、前記累積尤度値算出手段にて算出された累積尤度値に加算することで尤度期待値を算出する尤度期待値算出手段と、
   前記尤度期待値算出手段にて算出された尤度期待値が予め設定された継続閾値以上である場合は、前記識別器選択手段に次の識別器を選択させると共に、次に選択すべき識別器が存在しない場合、又は前記尤度期待値が前記継続閾値より小さい場合は、前記対象画像についての処理を終了して、前記累積尤度値算出手段にて算出された累積尤度値を前記判定値として出力する継続制御手段と、
   を備えることを特徴とする画像識別装置。
2. 予め設定された規定サイズを有する切出用ウインドにより、入力画像から複数の部分画像を、該入力画像の全体が網羅されるように順次切り出す画像切出手段と、
   前記画像切出手段にて切り出された部分画像のそれぞれについて、該部分画像が予め設定された特徴である主特徴を有した抽出対象画像であることの尤度を表す判定値を算出する判定値算出手段と、
   を備え、前記判定値算出手段にて算出された判定値が最大となる部分画像を前記抽出対象画像として識別する画像識別装置において、
   前記判定値算出手段は、
   それぞれが互いに異なった特定のパターンを有した画像に反応するように設定され、入力された画像が前記抽出対象画像であると識別した場合には１、前記抽出対象画像ではないと識別した場合には０を出力する複数の弱識別器からなる識別手段と、
   前記画像切出手段にて切り出された部分画像を対象画像として、前記識別手段を構成する弱識別器の中から前記対象画像に適用する弱識別器を適宜選択する識別器選択手段と、
   前記識別器選択手段にて弱識別器が選択される毎に、該弱識別器を前記対象画像に適用することで得られた識別結果に、該弱識別器について予め設定された重みを乗じることで尤度値を算出する尤度値算出手段と、
   前記尤度値算出手段にて尤度値が算出される毎に、前記対象画像について前記尤度値算出手段にて算出された尤度値を累積してなる累積尤度値を算出する累積尤度値算出手段と、
   前記弱識別器が入力された画像を前記抽出対象画像であると識別して１を出力する確率であるポジティブ判定確率に、該弱識別器に対して予め設定された重みを乗じた値を、前記対象画像に未適用である全ての弱識別器について合計してなるポジティブ判定期待値を、前記累積尤度値算出手段にて算出された累積尤度値に加算することで尤度期待値を算出する尤度期待値算出手段と、
   前記尤度期待値算出手段にて算出された尤度期待値が予め設定された継続閾値以上である場合は、前記識別器選択手段に次の識別器を選択させると共に、次に選択すべき識別器が存在しない場合、又は前記尤度期待値が前記継続閾値より小さい場合は、前記対象画像についての処理を終了して、前記累積尤度値算出手段にて算出された累積尤度値を前記判定値として出力する継続制御手段と、
   を備えることを特徴とする画像識別装置。
3. 前記抽出対象画像を含んだ画像を、前記主特徴とは異なる特徴である補助特徴によって分類したクラス毎に、該クラスに分類されるべき画像を前記弱識別器のそれぞれに入力した時に得られる出力のモデルパターンを記憶する出力傾向モデル記憶手段と、
   前記識別器選択手段にて選択された弱識別器と該弱識別器での識別結果とを対応づけて記憶する出力傾向記憶手段と、
   前記出力傾向モデル記憶手段の記憶内容の中で、前記出力傾向記憶手段の記憶内容と最も近似するモデルパターンを特定し、該特定されたモデルパターンに対応する前記クラスを、前記対象画像のクラスとして選択するクラス選択手段と、
   を備え、
   前記識別手段は、前記クラス毎に該クラスに適用可能な複数の弱識別器からなるクラス別識別器群を有し、
   前記識別器選択手段は、前記クラス選択手段にて選択されたクラスに対応するクラス別識別器群の中から、前記対象画像に適用する弱識別器を選択することを特徴とする請求項１または請求項２に記載の画像識別装置。
4. 前記抽出対象画像であると識別されるべき画像が入力された時に、その画像を前記抽出対象画像であると識別して１を出力する確率をポジティブ判定確率として、
   前記クラス別識別器群は、前記識別手段を構成する弱識別器の全体から、前記主特徴のみを有した画像より当該クラスの補助特徴を有した画像の方が前記ポジティブ判定確率が大きくなる弱識別器の少なくとも一部を除去することで構成されていることを特徴とする請求項３に記載の画像識別装置。
5. 前記クラス選択手段により現設定とは異なるクラスが選択された場合、処理中の前記入力画像について算出された処理結果を破棄して、最初から処理をやり直させるクラス変更制御手段を備えることを特徴とする請求項３または請求項４に記載の画像識別装置。
6. 前記画像切出手段は、同一の入力画像からの前記部分画像の切り出しを、前記規定サイズを変化させて繰り返すことを特徴とする請求項１乃至請求項５のいずれかに記載の画像識別装置。
7. 前記識別手段を構成する弱識別器は、ブースティング理論に従って学習されていることを特徴とする請求項１乃至請求項６のいずれかに記載の画像識別装置。