JP5376254B2

JP5376254B2 - 被写体認識装置

Info

Publication number: JP5376254B2
Application number: JP2010213563A
Authority: JP
Inventors: 敦志村
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2010-09-24
Filing date: 2010-09-24
Publication date: 2013-12-25
Anticipated expiration: 2030-09-24
Also published as: JP2012070236A

Description

本発明は、被写体を撮像し、その撮像した画像に基づいて被写体を認識する被写体認識装置に関する。

従来、車両の運転者が前方を見て運転しているかを判断したり、運転者が居眠りしていないかを判断したりする等のために、車両の運転者の顔向き等を監視するシステム（ドライバモニタシステム）が知られている。このドライバモニタシステムにおいては、運転者の顔向き等を監視する前提として、運転者の顔を認識する技術（例えば、特許文献１、２参照）が利用されている。ここで、図１０は、従来の顔認識技術の概略構成を示した図である。その図１０においては、被写体である運転者の顔を明瞭に撮像するために、照明部１０２は、運転者の顔に近赤外光等の光を照射する。その光が照射された状態で、撮像部１０１は運転者の顔を撮像する。顔認識部１０３は、撮像部１０１によって撮像された画像の領域のうち運転者の顔に対応する顔領域（被写体領域）を、所定のアルゴリズムにしたがって抽出する。そして、顔認識部１０３は、抽出した顔領域の輝度（被写体輝度）の情報を、撮像制御部１０４及び照明制御部１０５に送信する。

撮像制御部１０４は、その顔輝度に応じて撮像部１０１の増幅率（ゲイン）や撮像時間（シャッタースピード）等の制御パラメータを決定し、その制御パラメータにしたがって撮像部１０１の動作を制御する。同様に、照明制御部１０５は、顔輝度に応じて照明部１０２による光の照射時間（パルスの幅）や強度（パルスの高さ）等の制御パラメータを決定し、その制御パラメータにしたがって照明部１０２の動作を制御する。このように従来の技術では、周囲の明るさ等に応じて運転者の顔を適切な状態で撮像するようにし、それによって、運転者の顔を精度良く認識できるようにしている。

特開２００６−２３５４０１号公報特開２００９−９６３２３号公報

しかしながら、従来の技術では、運転者の顔等の被写体を認識する認識部によるその被写体の認識は１００％の精度ではないので、認識部が被写体の認識をロスト（失敗）した場合、つまり被写体領域でない領域を被写体領域として認識した場合、その誤った被写体領域の輝度に基づいて撮像部や照明部が制御されてしまうという問題点があった。特に、夜間の場合には周囲が暗いので、撮像部や照明部が誤って制御されることによる影響が大きくなる。具体的には、被写体を明るく撮像したり、暗く撮像したりするのを繰り返してしまい、その結果、認識部による被写体領域の認識精度が低下してしまうという問題点があった。

本発明は上記問題点に鑑みてなされたものであり、車両運転者の顔等の被写体を認識する被写体認識装置において、被写体の認識がロストすることに起因して、被写体領域の認識精度が低下するのを抑制することを課題とする。

上記課題を解決するために、本発明は、被写体に光を照射する照明手段と、
前記被写体を含む領域を撮像する被写体撮像手段と、
その被写体撮像手段が撮像した画像の領域のうち所定のアルゴリズムにしたがって抽出される領域を、前記被写体に対応する被写体領域として認識する被写体認識手段と、
その被写体認識手段が認識した前記被写体領域の輝度である被写体輝度に応じた制御パラメータを決定し、その制御パラメータにしたがって前記照明手段の動作及び前記被写体撮像手段の動作の少なくとも一方の制御を行う制御手段と、を備える被写体認識装置において、
前記照明手段による光の照射範囲外の外界を撮像する外界撮像手段と、
その外界撮像手段が撮像した画像の輝度である外界輝度と前記被写体輝度の輝度差を算出する輝度差算出手段と、
その輝度差算出手段が算出した前記輝度差に基づいて、前記被写体認識手段による前記被写体領域の認識が成功したか失敗したかを判定する認識判定手段と、を備え、
前記制御手段は、前記認識判定手段が前記被写体領域の認識が失敗したと判定したときにおける前記被写体輝度に応じた前記制御パラメータでは前記制御を行わないことを特徴とする。

これによれば、外界撮像手段が外界を撮像し、輝度差算出手段が外界輝度と被写体輝度の輝度差を算出する。ここで、被写体認識手段による被写体領域の認識が成功している間は、輝度差はある程度一定に維持される。被写体領域の認識が失敗した場合には、誤った領域の輝度が被写体輝度とされることで、被写体輝度は成功時の被写体輝度から変化する。一方、被写体領域の認識が失敗した場合であっても外界輝度は変化しない。つまり、被写体領域の認識が失敗した場合には、被写体輝度と外界輝度の輝度差が、成功時のそれから変化する。よって、認識判定手段は、輝度差に基づいて、被写体領域の認識が成功したか失敗したかを判定することができる。また、輝度差に基づいて判定することにより、外界がどのような明るさであっても精度良くその判定をすることができる。そして、制御手段は、認識判定手段が被写体領域の認識が失敗したと判定したときにおける被写体輝度に応じた制御パラメータでは照明手段や被写体撮像手段の制御を行わないので、誤った制御がされることによる被写体領域の認識精度の低下を抑制できる。

また、本発明の被写体認識装置において、前記認識判定手段が前記被写体領域の認識が成功したと判定したときにおける前記制御手段が決定した前記制御パラメータを記憶する制御パラメータ記憶手段を備え、
前記制御手段は、前記認識判定手段が前記被写体領域の認識が失敗したと判定した場合には、前記制御パラメータ記憶手段に記憶された前記制御パラメータにしたがって前記制御を行うことを特徴とする。

これによれば、制御パラメータ記憶手段には、認識の成功時の制御パラメータが記憶される。そして、制御手段は、認識の失敗時には、制御パラメータ記憶手段に記憶された成功時の制御パラメータにしたがって照明手段や被写体撮像手段を制御するので、撮像手段によって撮像された画像の状態を、成功時の画像の状態と同等に維持することができる。よって、画像の状態が大きく変化することによる被写体領域の認識精度の低下を抑制できる。

また、本発明における前記被写体認識手段は、前記認識判定手段が前記被写体領域の認識が失敗したと判定した場合には、再度、前記被写体領域の認識を試みるとしてもよい。

これによれば、認識の失敗時には、被写体認識手段は被写体領域の認識を再度試みるので、その認識が成功された場合には、成功時の制御パラメータで、照明手段や被写体撮像手段の制御を行うことができる。よって、被写体領域の認識精度の低下を抑制できる。

また、本発明の被写体認識装置において、前記認識判定手段が前記被写体領域の認識が成功したと判定したときにおける前記輝度差である成功時輝度差に基づいて、前記被写体領域の認識が成功したか失敗したかを区分する前記輝度差の閾値を決定する閾値決定手段を備え、
前記認識判定手段は、前記閾値決定手段が決定した前記閾値と前記輝度差とを比較することで、前記被写体領域の認識が成功したか失敗したかを判定することを特徴とする。

これによれば、閾値決定手段が、成功時輝度差に基づいて輝度差の閾値を決定するので、成功時輝度差に応じた適切な閾値を決定することができる。これにより、外界の明るさ等に応じて成功時輝度差が小さくなったり大きくなったりしても、認識判定手段は、被写体領域の認識が成功したか失敗したかを精度良く判定することができる。

この場合、前記閾値決定手段は、前記閾値として、前記成功時輝度差より小さい下限閾値を決定し、
前記認識判定手段は、前記輝度差が前記下限閾値を下回った場合に、前記被写体領域の認識が失敗したと判定するものとして構成することができる。

これにより、被写体領域の輝度より暗い領域を誤って被写体領域と認識した場合には、その認識が失敗であると判定することができる。

また、前記閾値決定手段は、前記閾値として、前記成功時輝度差よりも大きい上限閾値を決定し、
前記認識判定手段は、前記輝度差が前記上限閾値を上回った場合に、前記被写体領域の認識が失敗したと判定するものとして構成してよい。

これにより、被写体領域の輝度より明るい領域を誤って被写体領域と認識した場合には、その認識が失敗であると判定することができる。

さらに、この場合、前記閾値決定手段は、前記成功時輝度差に予め定められた係数を乗じて得た値を前記閾値として決定するものとして構成することができる。

これにより、成功時輝度差がどのような値であっても、成功時輝度差と閾値の比を一定にすることができるので、成功時輝度差に応じた適切な閾値を決定することができる。

また、本発明における前記被写体撮像手段は、前記外界撮像手段でもあり、前記外界を撮像できるようにその撮像範囲が定められていることを特徴とする。

このように、被写体撮像手段と外界撮像手段とを兼用することにより、構成を簡素にすることができる。また、被写体撮像手段が撮像した一枚の画像の輝度（被写体輝度及び外界輝度）から輝度差が算出されることになるので、複数の画像から輝度差を算出する場合に比べて、被写体領域の認識が成功したか失敗したかを精度良く判定することができる。

顔認識装置１の概略構成を示した図である。撮像範囲１１と照射範囲２１を平面的に示した図（同図（ａ））、撮像面１２における撮像画像８０を例示した図（同図（ｂ））である。顔認識が成功した例を示した図（同図（ａ））、顔認識が失敗（ロスト）した例を示した図（同図（ｂ））である。保持部７０に記憶される情報をテーブル７１として示した図である。顔認識装置１が実行する処理の手順を示したフローチャートである。図５のＳ１３の詳細手順を示したフローチャートである。図６のＳ２４の詳細手順を示したフローチャートである。顔輝度Ａ及び外界輝度Ｂの時間変化を例示した図である。顔輝度Ａ及び外界輝度Ｂの時間変化の別の例を示した図である。従来の顔認識技術の概略構成を示した図である。

次に、本発明に係る被写体認識装置の実施形態について説明する。本実施形態は、車両の運転者の顔向きを監視するシステム（ドライバモニタシステム）に適用されるもの、つまり運転者の顔を認識する顔認識装置として、本発明の被写体認識装置を実現した実施形態である。図１は、本実施形態の顔認識装置１の概略構成を示した図である。先ず、図１を参照しながら、顔認識装置１の構成について説明する。図１に示すように、顔認識装置１は、撮像部１０、照明部２０、顔認識部３０、認識判定部４０、撮像制御部５０、照明制御部６０及び保持部７０を備えている。

撮像部１０は、運転者の顔を含む領域を一定間隔おき（例えば０．１秒間隔）で撮像するものであり、その撮像部１０として、例えば、ＣＣＤイメージセンサが使用される。なお、撮像部１０が本発明の「被写体撮像手段」及び「外界撮像手段」に相当する。また、照明部２０は、運転者の顔に光を照射するものであり、その照明部２０として、例えば、運転者に光が煩わしくさせないようにするために近赤外光を照射する近赤外ＬＥＤが使用される。その照明部２０は、撮像部１０による撮像が良好に行われるようにし、ひいては、後述する顔認識部３０による運転者の顔認識が精度良く行われるようにするためのものである。なお、照明部２０が本発明の「照明手段」に相当する。これら撮像部１０、照明部２０は、運転者の顔を撮像、照明できる位置、具体的には例えばステアリングコラム（図示外）の上面に配置される。

ここで、図２は、撮像部１０の撮像範囲と照明部２０による光の照射範囲との関係を説明する図であり、具体的には図２（ａ）は、撮像部１０の撮像範囲１１と照明部２０の照射範囲２１を平面的に示した図であり、図２（ｂ）は、図２（ａ）の撮像面１２における撮像部１０による撮像画像８０を例示した図である。なお、図２（ａ）の撮像面１２は、運転者の顔が位置する面とされる。図２（ａ）に示すように、撮像範囲１１及び照射範囲２１は、どちらも撮像部１０、照明部２０から離れるにしたがって徐々に広がる範囲とされるが、撮像範囲１１のほうが照射範囲２１よりも大きくされている。

このような状態で撮像部１０が撮像すると、図２（ｂ）に示す画像が得られる。具体的には、図２（ｂ）の画像８０は、運転者ｈの顔に対応する顔領域８４が含まれる画像とされる。また、画像８０は、照明部２０による光が照射された照射領域８２が含まれ、その照射領域８２は顔領域８４を包含している。また、照射領域８２は、画像８０の外枠８１（撮像範囲１１に相当）よりも小さくされている。つまり、画像８０の領域のうち、外枠８１と照射領域８２の間の領域は、照明部２０による光が照射されない外界領域８３とされる。なお、照射領域８２は光が照射された領域であるので、外界領域８３よりも輝度が高いとされる。

なお、照明部２０による光の照射範囲が、図２（ａ）の照射範囲２１よりも大きい場合、例えば、撮像範囲１１と同等又はそれ以上の場合には、板等で光を遮断することで、その照射範囲を撮像範囲１１より小さくすることもできる。

顔認識部３０は、撮像部１０で撮像された画像を取得して、その画像の領域のうち運転者の顔に対応する顔領域を認識する部分である。具体的には、顔認識部３０は、所定の顔認識アルゴリズムにしたがったプログラムが記憶されており、そのプログラムにしたがった処理を実行することで顔領域を抽出する。その顔認識アルゴリズムは、公知の各種顔認識アルゴリズムを用いることができ、例えば、上記特許文献１（特開２００６−２３５４０１号公報）に記載されたアルゴリズム（顔領域の輝度とそれ以外の輝度とが一般的に異なることを利用したアルゴリズム）を用いることができる。また、例えば、画像の各領域と予め定められた顔の各パーツ（目、鼻、口等）の形状とを比較することで顔領域を抽出するアルゴリズムを用いてもよい。

ただし、顔認識部３０による顔領域の認識（以下、単に顔認識という）は、１００％の精度ではないので、例えば、顔領域以外の領域に含まれる物体を顔領域として認識してしまう場合がある。ここで、図３は、顔認識部３０による顔認識の結果を例示した図であり、図３（ａ）は顔認識が成功した例を示した図であり、図３（ｂ）は顔認識が失敗（ロスト）した例を示した図である。なお、図３は、先に説明した図２（ｂ）の画像８０に対して行った顔認識の結果を示した図であり、図２（ｂ）と同じ部分には同じ符号を付している。図３（ａ）に示すように、顔認識部３０による顔認識が成功した場合には、顔認識部３０が顔領域として抽出した領域８５（以下抽出領域という）と実際の顔領域８４とが一致している。これに対し、顔認識部３０による顔認識が失敗した場合には、図３（ｂ）に示すように、顔認識部３０による抽出領域８５と顔領域８４とが一致していない。つまり、図３（ｂ）の場合では、顔認識部３０は、顔領域８４でない抽出領域８５を顔領域として認識していることになる。なお、顔認識部３０が本発明の「被写体認識手段」に相当する。

認識判定部４０は、顔認識部３０による顔認識が成功したか失敗したかを判定する部分である。なお、その判定の詳細は後述する。撮像制御部５０は、撮像部１０によって撮像された画像が良好な画像となるようにするために、撮像部１０の動作を制御する部分である。具体的には、撮像制御部５０は、顔認識部３０によって認識された顔領域の輝度である顔輝度に応じて、撮像部１０の増幅率（ゲイン）や撮像時間（シャッタースピード）等の制御パラメータを決定する。より具体的には、例えば、顔輝度に応じた適切な制御パラメータのマップをメモリに記憶しておき、撮像制御部５０は、そのマップを参照することで、今回の顔輝度に対応した制御パラメータを決定する。例えば、撮像制御部５０は、顔輝度が低い場合には、増幅率を大きくするなど、顔輝度を高くする制御パラメータを決定する。そして、撮像制御部５０は、決定した制御パラメータに応じた駆動信号を撮像部１０に出力、つまり制御パラメータにしたがって撮像部１０の動作を制御する。なお、撮像制御部５０が本発明の「制御手段」に相当する。

照明制御部６０は、撮像部１０によって撮像された画像が良好な画像となるようにするために、照明部２０の動作を制御する部分である。具体的には、照明制御部６０は、撮像制御部５０と同様に、顔輝度に応じて、照明部２０による光の照射時間（駆動信号のパルス幅）や強度（駆動信号のパルスの高さ）等の制御パラメータを決定する。より具体的には、例えば、顔輝度に応じた適切な制御パラメータのマップをメモリに記憶されており、照明制御部６０は、そのマップを参照することで、今回の顔輝度に対応した制御パラメータを決定する。例えば、照明制御部６０は、顔輝度が高い場合には、光の強度を小さくするなど、撮像されたときの顔輝度を低くする制御パラメータを決定する。そして、照明制御部６０は、決定した制御パラメータにしたがって照明部２０の動作を制御する。なお、照明制御部６０が本発明の「制御手段」に相当する。

以上で説明した顔認識部３０、認識判定部４０、撮像制御部５０及び照明制御部６０は、それぞれ、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成される。そして、各ＣＰＵが、ＲＯＭに予め記憶されたプログラムにしたがった処理を実行することで、上記の処理部３０〜６０の各動作がなされる。なお、それら処理部３０〜６０を一つの制御部とし、その制御部の一機能として各処理部３０〜６０を実現してもよい。

保持部７０は、各種情報を記憶可能なフラッシュメモリ、ハードディスク装置等のメモリである。ここで、図４は、保持部７０に記憶される情報をテーブル７１として示した図である。図４に示すように、テーブル７１は、撮像部１０による撮像が実行された時間Ｔが記憶される時間欄７１１、顔認識部３０による顔認識の成否を示した情報Ｆ（以下、成否情報という）が記憶される成否欄７１２、顔輝度と外界輝度の輝度差Ｄが記憶される輝度差欄７１３、照明制御部６０が決定した制御パラメーラＸが記憶される照明制御パラメータ欄７１４及び撮像制御部５０が決定した制御パラメータが記憶される撮像制御パラメータ欄７１５を有する。なお、テーブル７１において、時間Ｔ、輝度差Ｄ、制御パラメータＸ、Ｙは、その添え字の数字が小さくなるほど古い情報を示している。また、成否情報Ｆは、顔認識が成功した場合には「１」とされ、失敗した場合には「０」とされる。

図４に示すように、保持部７０には、時間Ｔごとに、成否情報Ｆ、輝度差Ｄ、制御パラメータＸ、Ｙが記憶されており、各時間において、顔認識の成否がどうなったのか、撮像部１０、照明部２０がどうのように制御されたのか等が分かるようになっている。例えば、時間Ｔ_４においては、顔認識は成功とされ（Ｆ＝１）、顔輝度と外界輝度の輝度差ＤがＤ_４とされ、照明制御部６０による制御パラメータＸがＸ_４とされ、撮像制御部５０による制御パラメータＹがＹ_４とされている。なお、顔認識が失敗した場合（Ｆ＝０）には、後述するように、制御パラメータＸ、Ｙが決定されないので、制御パラメータ欄７１４、７１５には、顔認識が成功した場合のみ制御パラメータＸ、Ｙが記憶されることになる。なお、保持部７０が本発明の「制御パラメータ記憶手段」に相当する。

次に、以上の構成を有する顔認識装置１が実行する処理について図５〜図７を参照しながら説明する。ここで、図５は、顔認識装置１が実行する処理の手順を示したフローチャートである。図６は、図５のＳ１３の詳細手順を示したフローチャートである。図７は、図６のＳ２４の詳細手順を示したフローチャートである。なお、図５のフローチャートの処理は、例えば車両のエンジンスタートと連動して開始され、その後、車両のエンジンが停止されるまで繰り返し実行される。

先ず、顔認識部３０が、撮像部１０で撮像された画像を取得する（Ｓ１１）。なお、この際、撮像部１０及び照明部２０は、撮像制御部５０及び照明制御部６０が決定した制御パラメータにしたがって制御されているものとする。ここで、顔認識部３０は、先に説明した図２（ｂ）の画像８０を取得したとする。

次いで、顔認識部３０が、所定の顔認識アルゴリズムにしたがって、画像８０の領域のうち運転者の顔に対応する領域を抽出し、その抽出した抽出領域を運転者の顔領域として認識する（Ｓ１２）。ここで、Ｓ１２における顔認識結果が、先に説明した図３（ａ）の場合（成功した場合）又は図３（ｂ）の場合（失敗した場合）であるとして以下説明する。

次いで、認識判定部４０が、Ｓ１２の顔認識部３０の顔認識が成功したか失敗したかを判定する（Ｓ１３）。具体的には、図６において、顔認識部３０が顔領域として抽出した抽出領域８５（図３参照）の輝度を顔輝度Ａとして算出する（Ｓ２１）。図３（ａ）の場合では、実際の顔領域８４の輝度を顔輝度Ａとして算出することになる。他方、図３（ｂ）の場合では、顔領域８４とは異なる領域８５（一部、外界領域８３を含んでいる）の輝度を顔輝度Ａとして算出することになる。

次いで、画像８０の領域のうち、照明部２０による光が照射されていない外開領域８３の輝度を外界輝度Ｂとして算出する（Ｓ２２）。これは、例えば、照明部２０による照射領域８２（図３参照）を予め把握しておき、その照射領域８２以外の領域を外界領域８３として、その外界領域８３の輝度を算出すればよい。

次いで、顔輝度Ａと外界輝度Ｂの差を輝度差Ｄとして算出する（Ｓ２３）。ここで、図８は、顔輝度Ａ及び外界輝度Ｂの時間変化を例示した図であり、具体的には、顔輝度Ａのライン９１及び外界輝度Ｂのライン９２を示している。なお、図８の区間Ｐ１、Ｐ３は、顔認識が成功した区間を示しており、区間Ｐ２は、顔認識が失敗した区間を示している。顔輝度Ａのライン９１に示すように、顔輝度Ａは、顔認識が成功している間（区間Ｐ１、Ｐ３）ではほぼ一定の値とされている一方で、顔認識が失敗すると（区間Ｐ２）、成功時の値から急激に変化している。これは、図３（ｂ）に示すように、顔領域８４でない領域８５の輝度を顔輝度Ａとしていることに基づくものである。なお、図８では、失敗時の顔輝度Ａが、成功時の顔輝度Ａに対して急激に減少している例を示している。これは、図８の区間Ｐ２に対応する図３（ｂ）の抽出領域８５が、光が照射されない外界領域８３を一部含んでいるためである。ただし、その抽出領域８５に、金属の物体など、撮像したときの画像の輝度が高くなる物体が含まれていた場合には、失敗時の顔輝度Ａが、成功時の顔輝度Ａに対して増加する場合もあり得る。いずれにしても、顔認識が失敗すると、顔輝度Ａが、成功時の顔輝度Ａに対して変化する。

これに対し、外界輝度Ｂは、図８のライン９２に示すように、顔認識の成否にかかわらずほぼ一定の値とされている。以上より、顔輝度Ａと外界輝度Ｂの輝度差Ｄは、顔認識が成功している間（区間Ｐ１、Ｐ３）においては、ほぼ一定の値とされているのに対し、顔認識が失敗すると（区間Ｐ２）、成功時の輝度差Ｄから変化する。なお、図８では、失敗時の輝度差Ｄは、成功時の輝度差Ｄより小さくされている。なお、Ｓ２１〜Ｓ２３の処理を実行する認識判定部４０が本発明の「輝度差算出手段」に相当する。

次いで、Ｓ２３で算出した輝度差Ｄが、成功時の輝度差か失敗時の輝度差かを判断するための閾値を決定する（Ｓ２４）。具体的には、図７において、先ず、保持部７０から、直近の成功時の輝度差を成功時輝度差Ｄ_０として読み出す（Ｓ３１）。すなわち、図７のテーブル７１において、新しい時間Ｔから順に成否情報Ｆを確認していき、Ｆ＝１とされる時間Ｔの輝度差Ｄを読み出す。なお、図８に示したように、成功時の輝度差Ｄはほぼ一定と考えられるので、Ｓ３１では、直近の成功時の輝度差以外の他の時間における成功時の輝度差を成功時輝度差として読み出してもよい。また、複数の時間における成功時の輝度差の平均を成功時輝度差としてもよい。これによれば、複数の時間の輝度差が反映された閾値を決定できるので、精度良く、顔認識の成否を判定できる。

次いで、顔領域８４（図３参照）よりも暗い領域を顔領域として認識した場合におけるその顔認識の失敗を判定できるようにするために、成功時輝度差Ｄ_０より小さい側の下限閾値Ｄ_ｔｈ１を決定する（Ｓ３２）。具体的には、ここでは、成功時輝度差Ｄ_０の５割減の輝度差を下限閾値Ｄ_ｔｈ１として決定するものとし、その５割減を示した係数０．５（＝５０％）を成功時輝度差Ｄ_０に乗算することで下限閾値Ｄ_ｔｈ１を算出する。なお、成功時輝度差Ｄ_０に乗算する係数は、０．５に限られるものではなく、状況に応じた係数を使用することができる。例えば、顔認識の成否を厳しめに判定したい場合には、係数を大きくして、大きめの下限閾値Ｄ_ｔｈ１を決定する。

次いで、顔領域８４（図３参照）よりも明るい領域を顔領域として認識した場合におけるその顔認識の失敗を判定できるようにするために、成功時輝度差Ｄ_０より大きい側の上限閾値Ｄ_ｔｈ２を決定する（Ｓ３３）。具体的には、ここでは、成功時輝度差Ｄ_０の３割増の輝度差を上限閾値Ｄ_ｔｈ２として決定するものとし、その３割増を示した係数１．３（＝１３０％）を成功時輝度差Ｄ_０に乗算することで上限閾値Ｄ_ｔｈ２を算出する。なお、成功時輝度差Ｄ_０に乗算する係数は、１．３に限られるものではないのは、下限閾値Ｄ_ｔｈ１を決定したときと同様である。その後図７の処理が終了されて、図６の処理に戻る。

図６において、Ｓ２５では、Ｓ２３で算出した今回の輝度差Ｄが、下限閾値Ｄ_ｔｈ１より大きいか否かを判断する（Ｓ２５）。小さい場合には（Ｓ２５：ＮＯ）、Ｓ２８に進み、今回の顔認識部３０による顔認識は失敗（ロスト）したとして、成否情報Ｆ＝０を返す（Ｓ２８）。図３（ｂ）に対応する図８の区間Ｐ２では、輝度差Ｄが小さくなっているので、その輝度差Ｄが下限閾値Ｄ_ｔｈ１より小さい場合には、顔認識が失敗したと判定されることになる。Ｓ２５において、輝度差Ｄが下限閾値Ｄ_ｔｈ１より大きい場合には（Ｓ２５：ＹＥＳ）、Ｓ２６に進み、今回の輝度差Ｄが、上限閾値Ｄ_ｔｈ２より小さいか否かを判断する（Ｓ２６）。大きい場合には（Ｓ２６：ＮＯ）、Ｓ２８に進み、今回の顔認識部３０による顔認識は失敗（ロスト）したとして、成否情報Ｆ＝０を返す（Ｓ２８）。輝度差Ｄが、上限閾値Ｄ_ｔｈ２より小さい場合には（Ｓ２７：ＹＥＳ）、Ｓ２７に進み、今回の顔認識部３０による顔認識は成功したとして、成否情報Ｆ＝１を返す（Ｓ２７）。図３（ａ）の場合には、顔認識が成功したと判定されることになる。なお、Ｓ２４の処理（＝Ｓ３１〜Ｓ３３）を実行する認識判定部４０が本発明の「閾値決定手段」に相当する。また、Ｓ２５〜Ｓ２８の処理を実行する認識判定部４０が本発明の「認識判定手段」に相当する。

このように、輝度差Ｄが、下限閾値Ｄ_ｔｈ１＜輝度差Ｄ＜上限閾値Ｄ_ｔｈ２の場合に顔認識は成功したと判定し、下限閾値Ｄ_ｔｈ１＞輝度差Ｄ又は輝度差Ｄ＞上限閾値Ｄ_ｔｈ２の場合に失敗したと判定することになる。Ｓ２７又はＳ２８の処理の後図６の処理が終了されて、図５の処理に戻る。

図５において、Ｓ１４では、撮像制御部５０及び照明制御部６０が、先のＳ１３で認識判定部４０が返した成否情報Ｆに基づいて、顔認識が成功したか失敗したかを判断する。成功した場合には（Ｓ１４：ＹＥＳ）、処理をＳ１５に進める。Ｓ１５では、顔認識部３０によって抽出された抽出領域８５（＝顔領域８４、図３（ａ）参照）の顔輝度Ａに基づいて、撮像制御部５０は撮像部１０を制御するための制御パラメータＹを決定し、照明制御部６０は照明部２０を制御するための制御パラメータＸを決定する（Ｓ１５）。例えば、顔輝度Ａが低ければ、顔輝度Ａが高くなる制御パラメータＸ、Ｙが決定される。

次いで、撮像制御部５０は決定した制御パラメータＹにしたがって撮像部１０を駆動し、照明制御部６０は決定した制御パラメータＸにしたがって照明部２０を駆動する（Ｓ１６）。これによって、良好な運転者の顔の画像を得ることができ、その結果、顔認識部３０による顔認識の精度を安定にすることができる。次いで、撮像制御部５０及び照明制御部６０は、制御パラメータＸ、Ｙを、現在の時間Ｔ、成否情報Ｆ、輝度差Ｄとともに、保持部７０に記憶させる（Ｓ１７）。その後、Ｓ１１の処理に戻って、次の時間における顔認識を実行する。

一方、Ｓ１４において、顔認識が失敗（ロスト）した場合には（Ｓ１４：ＮＯ）、処理をＳ１８に進める。Ｓ１８では、撮像制御部５０及び照明制御部６０は、直近の成功時の制御パラメータＸ、Ｙを保持部７０のテーブル７１の制御パラメータ欄７１４、７１５（図４参照）から読み出す（Ｓ１８）。そして、撮像制御部５０及び照明制御部６０は、その読み出した制御パラメータＸ、Ｙにしたがって撮像部１０及び照明部２０を駆動する（Ｓ１９）。これによれば、顔領域８４でない領域８５（図３（ｂ）参照）の輝度に基づいて撮像部１０や照明部２０が制御されるのが防止され、直近の成功時の撮像部１０や照明部２０の制御が維持されることになるので、顔認識部３０による顔認識の精度が低下してしまうのを抑制できる。特に夜間の場合には周囲が暗いので、撮像部１０や照明部２０が誤って制御されることで、運転者の顔を明るく撮像したり、暗く撮像したりを繰り返されるのを防止できる。なお、顔認識が失敗した場合には、現在の時間Ｔ、成否情報Ｆ、輝度差Ｄのみを保持部７０に記憶しておく。Ｓ１９の処理の後、Ｓ１１の処理に戻って、次の時間における顔認識を実行する。

以上説明したように、本実施形態の顔認識装置１では、顔認識が失敗（ロスト）することに起因して、顔認識精度が低下されるのを抑制できる。また、顔認識が成功したか失敗したかの判定を、顔輝度と外界輝度の輝度差に基づいて行っているので、外界の明るさが変化しても精度良くその判定をすることができる。

ここで、図９は、外界の明るさが途中で変化した場合であっても、顔認識の成否を精度良く判定できることを説明するための図であり、顔輝度Ａのライン９１及び外界輝度Ｂのライン９２を例示した図である。図９の外界輝度Ｂのライン９２に示すように、外界の明るさが時間ｔ１で暗くなった場合には、外界輝度Ｂは、時間ｔ１前の外界輝度Ｂに比べて低くされる。また、顔輝度Ａのライン９１に示すように、顔認識が成功している場合であっても、時間ｔ１において外界輝度Ｂが低くなると、それに連動して顔輝度Ａも低くされる。よって、時間ｔ１における輝度差Ｄは、他の時間における輝度差Ｄと同等レベルに維持すると考えられる。よって、外界の明るさが途中で変化した場合であっても、顔認識の成否（この場合は、顔認識の成功）を精度良く判定することができる。なお、単純に顔輝度Ａの大きさに基づいて顔認識の成否を判定する場合には、時間ｔ１においては、顔輝度Ａが急激に低くなるので、顔認識が失敗（ロスト）と判定してしまうことになる。

なお、本発明に係る被写体認識装置は上記実施形態に限定されるものではなく、特許請求の範囲に記載を逸脱しない限度で、種々変形することができる。例えば、上記実施形態では、顔認識が失敗した場合には、直近の成功時の制御パラメータで撮像部１０及び照明部２０の制御が行われるとしていたが、顔認識部３０による顔認識を再度試みるようにしてもよい。すなわち、図５のＳ１４において、顔認識が失敗した場合には（Ｓ１４：ＮＯ）、Ｓ１２の処理に戻るようにする。これによれば、顔認識部３０は顔認識を再度試みるので、その再試みにおける顔認識が成功された場合には、その成功時の制御パラメータで、撮像部１０及び照明部２０の制御を行うことができる。

また、上記実施形態では、車両の運転者の顔を被写体としていたが、他のユーザの顔を被写体としたり顔以外の物体を被写体としたりした場合であっても、本発明を適用することができる。

１顔認識装置（被写体認識装置）
１０撮像部（被写体撮像手段、外界撮像手段）
２０照明部（照明手段）
３０顔認識部（被写体認識手段）
４０認識判定部（輝度差算出手段、閾値決定手段、認識判定手段）
５０撮像制御部（制御手段）
６０照明制御部（制御手段）
７０保持部（制御パラメータ記憶手段）
８０画像
８３外界領域
８４顔領域（被写体領域）
８５抽出領域

Claims

被写体に光を照射する照明手段と、
前記被写体を含む領域を撮像する被写体撮像手段と、
その被写体撮像手段が撮像した画像の領域のうち所定のアルゴリズムにしたがって抽出される領域を、前記被写体に対応する被写体領域として認識する被写体認識手段と、
その被写体認識手段が認識した前記被写体領域の輝度である被写体輝度に応じた制御パラメータを決定し、その制御パラメータにしたがって前記照明手段の動作及び前記被写体撮像手段の動作の少なくとも一方の制御を行う制御手段と、を備える被写体認識装置において、
前記照明手段による光の照射範囲外の外界を撮像する外界撮像手段と、
その外界撮像手段が撮像した画像の輝度である外界輝度と前記被写体輝度の輝度差を算出する輝度差算出手段と、
その輝度差算出手段が算出した前記輝度差に基づいて、前記被写体認識手段による前記被写体領域の認識が成功したか失敗したかを判定する認識判定手段と、を備え、
前記制御手段は、前記認識判定手段が前記被写体領域の認識が失敗したと判定したときにおける前記被写体輝度に応じた前記制御パラメータでは前記制御を行わないことを特徴とする被写体認識装置。
前記認識判定手段が前記被写体領域の認識が成功したと判定したときにおける前記制御手段が決定した前記制御パラメータを記憶する制御パラメータ記憶手段を備え、
前記制御手段は、前記認識判定手段が前記被写体領域の認識が失敗したと判定した場合には、前記制御パラメータ記憶手段に記憶された前記制御パラメータにしたがって前記制御を行うことを特徴とする請求項１に記載の被写体認識装置。
前記被写体認識手段は、前記認識判定手段が前記被写体領域の認識が失敗したと判定した場合には、再度、前記被写体領域の認識を試みることを特徴とする請求項１に記載の被写体認識装置。
前記認識判定手段が前記被写体領域の認識が成功したと判定したときにおける前記輝度差である成功時輝度差に基づいて、前記被写体領域の認識が成功したか失敗したかを区分する前記輝度差の閾値を決定する閾値決定手段を備え、
前記認識判定手段は、前記閾値決定手段が決定した前記閾値と前記輝度差とを比較することで、前記被写体領域の認識が成功したか失敗したかを判定することを特徴とする請求項１〜３のいずれか１項に記載の被写体認識装置。
前記閾値決定手段は、前記閾値として、前記成功時輝度差より小さい下限閾値を決定し、
前記認識判定手段は、前記輝度差が前記下限閾値を下回った場合に、前記被写体領域の認識が失敗したと判定することを特徴とする請求項４に記載の被写体認識装置。
前記閾値決定手段は、前記閾値として、前記成功時輝度差よりも大きい上限閾値を決定し、
前記認識判定手段は、前記輝度差が前記上限閾値を上回った場合に、前記被写体領域の認識が失敗したと判定することを特徴とする請求項４又は５に記載の被写体認識装置。
前記閾値決定手段は、前記成功時輝度差に予め定められた係数を乗じて得た値を前記閾値として決定することを特徴とする請求項４〜６のいずれか１項に記載の被写体認識装置。
前記被写体撮像手段は、前記外界撮像手段でもあり、前記外界を撮像できるようにその撮像範囲が定められていることを特徴とする請求項１〜７のいずれか１項に記載の被写体認識装置。