JP5272819B2

JP5272819B2 - 情報処理装置及び方法、並びにプログラム

Info

Publication number: JP5272819B2
Application number: JP2009060957A
Authority: JP
Inventors: 武庄司
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2009-03-13
Filing date: 2009-03-13
Publication date: 2013-08-28
Anticipated expiration: 2029-03-13
Also published as: JP2010217980A

Description

本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、顔向きの検出精度をより一段と向上させた情報処理装置及び方法、並びにプログラムに関する。

従来、車両の運転者をカメラで監視するシステム（以下、監視カメラシステムと称する）が存在する。

監視カメラシステムにおいては、カメラもしくは車に対する運転者の顔の方向（以下、顔向きと称する）の検出が必要になる場合がある。

ところが、運転者自体は顔向きを動かしていない（例えば全時間帯正面を向いていた）としても、監視カメラシステムは、運転者の顔とカメラとの位置関係が変化した場合には、画像に写る運転者から顔向きを推定するので、顔向きが変わったと認識してしまう。即ち、実際の顔向きと、推定された顔向きとでは異なることが多々ある。

このため、監視カメラシステムは、実際の顔向きを検出するために、画像に写る運転者から推定した顔向きをそのまま検出結果として用いずに、推定した顔向きを適宜補正している。

このような補正手法が、例えば特許文献１に開示されている。

特許文献１の補正手法とは、画像から検出した顔の位置に基づいて、顔向きの角度の補正量を取得して、その補正量を用いて顔向きを補正する、という手法である。

特開２００７−２４９３５２号公報特開２００１−３３１７９０号公報特開平６−２９３２２７号公報 PAUL VIOLA, MICHAEL J. JONES, "Robust Real-Time Face Detection", International Journal of Computer Vision 57(2), 137-154, 2004

しかしながら、特許文献１の補正手法で実現される補正精度、即ち、顔向きの検出精度（実際の顔向きにどれだけ近いのかという精度）は十分ではない。

画像から検出する顔の位置は顔向きや髪型によって精度が低下するためである。このことについて、特許文献２、特許文献３、非特許文献１を用いて説明する。

例えば、特許文献２には、画像中の円形部分を頭部の輪郭として検出する手法が開示されている。しかしながら、背景と輪郭のコントラストが小さい場合やいわゆるアフロヘアーのような髪型の場合は，頭部の輪郭として検出された領域が実際のものと大きく異なってしまうことになる。

例えば、特許文献３には、運転者の背後から照明を点灯し影となった部分を頭の輪郭として検出する手法が開示されている。しかしながら、アフロヘアーのような髪型の場合は、頭部の輪郭として検出された領域が実際のものと大きく異なることになる。また、専用の別照明が必要だというデメリットも存在する。

例えば、非特許文献１には、目、鼻、口などの特徴的な部位が集まる顔の表面を顔領域として、画像から顔の位置を検出する手法が開示されている。しかしながら、顔向きが大きく変わると、目、鼻、口などの部位は移動するため、顔向きが大きく変わると画像から検出される顔の位置が移動してしまうことになる。

このように、特許文献１の補正手法では、顔向きが大きく変化した場合や、いわゆるアフロヘアーのように頭の輪郭と髪型が大きく違う場合などに、画像から検出する顔の位置が変わってしまう。従って、このような場合には、顔向きの角度の補正量の精度が低下してしまうことになる。

本発明は、このような状況に鑑みてなされたものであり、顔向きの検出精度をより一段と向上させるものである。

本発明の一側面の情報処理装置は、人間の顔を含む撮影画像から、前記人間の画像上の顔向きを検出する顔向き検出手段と、前記撮影画像に含まれる前記人間の顔の特定部位を検出する特定部位検出手段と、顔の形状に関する既知の知識、前記特定部位検出手段により検出された前記特定部位、および、前記顔向き検出手段により検出された顔向きに基づいて、前記人間の顔の基準線または基準点を顔基準情報として検出する顔基準情報検出手段と、前記顔基準情報検出手段により検出された前記顔基準情報に基づいて、前記撮影画像に含まれる人間の顔向きの変化量を補正角度として算出する補正角度算出手段と、前記補正角度算出手段により算出された前記補正角度を用いて、前記顔向き検出手段により検出された前記顔向きを補正する顔向き補正手段とを備えることを特徴とする。

本発明の一側面の情報処理装置においては、人間の顔を含む撮影画像から、前記人間の画像上の顔向きが検出され、前記撮影画像に含まれる前記人間の顔の特定部位が検出され、顔の形状に関する既知の知識、前記特定部位検出手段により検出された前記特定部位、および、前記顔向き検出手段により検出された顔向きに基づいて、前記人間の顔の基準線または基準点が顔基準情報として検出され、検出された前記顔基準情報に基づいて、前記撮影画像に含まれる人間の顔向きの変化量が補正角度として算出され、算出された前記補正角度を用いて、検出された顔向きが補正される。

これにより、顔向きの検出精度をより一段と向上させることができる。また、処理時間を削減でき、計算結果が安定するようになる。

顔向き検出手段、特定部位検出手段、顔基準情報検出手段、補正角度算出手段、および補正手段の各手段は、ハードウエア若しくはソフトウエア、または、それらの組み合わせにより構成される。なお、２以上の手段がまとめられて、１つのハードウエア等として構成されてもよい。

前記顔基準情報検出手段は、前記顔の形状に関する既知の知識、前記特定部位検出手段により検出された前記特定部位、および、前記顔向き検出手段により検出された顔向きに加えてさらに、前記撮影画像を撮影した撮影手段から前記人間の顔までの距離に基づいて、前記顔基準情報を検出することができる。

これにより、計算結果の精度をより一段と向上させることができる。

本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する方法およびプログラムである。

本発明によれば、顔向きの検出精度をより一段と向上させることができる。

回転の軸を説明する図である。回転の軸の交点を説明する図である。本発明の顔向き補正手法の概略を説明する図である。本発明を適用した情報処理システムの第１実施形態としての監視カメラシステムの構成例を示している。画像上の顔の基準線や基準点といった顔基準情報の生成手法の一例を説明する図である。補正角度の取得手法の概略を説明する図である。基準点と基準線との比較を示す図である。基準線が画像中の斜めに写る場合の取り扱いについて説明するための図である。第１実施形態の顔向き補正処理を説明するフローチャートである。頭部モデルの一例を説明する図である。補正角度の具体的な算出手法の一例を説明する図である。本発明を適用した情報処理システムの第２実施形態としての監視カメラシステムの構成例を示している。第２実施形態の顔向き補正処理を説明するフローチャートである。頭部モデルの一例を説明する図である。本発明を適用した情報処理システムの第３実施形態としての監視カメラシステムの構成例を示している。第３実施形態の顔向き補正処理を説明するフローチャートである。本発明が適用されるコンピュータのハードウエアの構成例を示す図である。

以下、図面を参照して、本発明が適用される情報処理装置の実施の形態として、３つの実施の形態（以下、それぞれ第１乃至第３実施形態とそれぞれ称する）について説明する。よって、説明は以下の順序で行う。
１．本発明の概要
２．第１実施形態
３．第２実施形態
４．第３実施形態

＜１．本発明の概要＞

はじめに、本発明の理解を容易なものとすべく、その概要について説明する。

本発明が適用される監視カメラシステムは、運転者がカメラもしくは車に対して実際にはどちらの方向を向いているのかを知るために、運転者が映っている画像から、運転者の顔向きを推定する。そして、監視カメラは、推定した顔向きを、実際の顔向きとなるように補正する。なお、以下、かかる補正手法のうち、本発明が適用される手法を、特に、本発明の顔向き補正手法と称する。

本発明の顔向き補正手法では、運転者の顔の基準を示す情報（以下、顔基準情報と称する）が必要になる。そこで、図１と図２を参照して、顔基準情報について説明する。

以下、カメラの撮影領域に対して、水平方向を左右方向と称し、垂直方向を上下方向と称する。

図１は、回転の軸を説明する図である。

図１のＡの左方の画像２１は、その右方の図に示されるように、カメラ１２のレンズの光軸上に運転者の顔の中心が存在し、その顔向きがカメラ１２のレンズの中心方向である場合に、カメラ１２により撮影された結果得られた画像である。

図１のＢの左方の画像２２は、その右方の図に示されるように、図１のＡの状態から運転者の顔が左右方向に動いた場合に、カメラ１２により撮影された結果得られた画像である。

図１のＡとＢとを比較すると容易にわかることであるが、運転者の顔向きが左右方向に変わる際の頭部１１に着目すると、左右方向への回転の軸（画像２１と画像２２に描画された実線が示す軸）が存在する。運転者の顔向きが左右方向に変わる場合には、この回転の軸を中心に頭部１１が回転する。

図１のＣの左方の画像２３は、その右方の図に示されるように、カメラ１２のレンズの光軸上に運転者の顔の中心が存在し、その顔向きがカメラ１２のレンズの中心方向である場合に、カメラ１２により撮影された結果得られた画像である。

図１のＤの左方の画像２４は、その右方の図に示されるように、図１のＣの状態から運転者の顔が上下方向に動いた場合に、カメラ１２により撮影された結果得られた画像である。

図１のＣとＤとを比較すると容易にわかることであるが、運転者の顔向きが上下方向に変わる際の頭部１１に着目すると、上下方向への回転の軸（画像２３と画像２４に描画された実線が示す軸）が存在する。運転者の顔向きが上下方向に変わる場合には、この回転の軸を中心に頭部１１が回転する。

このように、運転者の顔向きが上下方向または左右方向に変わる場合には、それぞれの回転の軸を中心に頭部１１が回転する。これらの回転の軸の画像中の位置（画像２１乃至２４に描画されている各実線の位置）は、カメラ１２と顔の位置関係が変わらない限り、顔向きや髪型が変わっても変わらない。従って、顔基準情報として、画像中における回転の軸を示す線（画像２１乃至２４に描画されている各実線）を採用することができる。以下、かかる線を、基準線と称する。

図２は、回転の軸の交点を説明する図である。

図２の画像２１乃至２４のそれぞれは、図１の対応する符号の画像と同様の画像である。

図２のＡとＢとを比較すると容易にわかることであるが、運転者の顔向きが左右方向に変わる際の頭部１１に着目すると、２つの回転の軸（画像２１と画像２２の上下方向と左右方向に描画された各実線が示す２つの軸）の交点が存在する。運転者の顔向きが左右方向に変わる場合には、この回転の軸の交点を中心に頭部１１が回転する。

同様に、図２のＣとＤとを比較すると容易にわかることであるが、運転者の顔向きが上下方向に変わる際の頭部１１に着目すると、２つの回転の軸（画像２３と画像２４の上下方向と左右方向に描画された各実線が示す２つの軸）の交点が存在する。運転者の顔向きが上下方向に変わる場合には、この回転の軸の交点を中心に頭部１１が回転する。

このように、運転者の顔向きが上下方向または左右方向に変わる場合には、それぞれの回転の軸の交点を中心に頭部１１が回転する。これらの回転の軸の交点の画像中の位置（画像２１乃至２４に描画されている各交点の位置）は、カメラ１２と顔の位置関係が変わらない限り、顔向きや髪型が変わっても変わらない。従って、顔基準情報として、画像中における２以上の基準線の交点（画像２１乃至２４に描画されている各交点）を採用することができる。以下、かかる交点を、基準点と称する。

以上まとめると、本発明の顔向き補正手法では、顔基準情報として、特許文献１の従来の補正手法のように画像における顔領域の相対位置が採用されるのではなく、基準線または基準点が採用される。以下、図３を参照して、基準線または基準点を用いた本発明の顔向き補正手法の概略について説明する。

図３は、本発明の顔向き補正手法の概略を説明する図である。

運転者が顔向きを変えずに左右方向に移動した場合における、図３のＡに示される顔３１Ａ、顔３１Ｂ、および顔３１Ｃについて考える。なお、以下、顔３１Ａ、顔３１Ｂ、および顔３１Ｃのカメラ１２との各位置関係を考慮する必要がない場合、それらをまとめて、顔３１と称する。

図３のＡに示されるように、顔３１Ａの中心は、カメラ１２の光軸上に位置する。即ち、顔３１Ａの中心とカメラ１２のレンズ中心を結ぶ線分のカメラの光軸に対する、左右方向へのなす角度は０度である。以下、かかる角度を、顔のYaw角という表現を用いる。即ち、顔３１のYaw角は０度である。

また、顔３１ＢのYaw角は＋１５度である。ただし、カメラの光軸に対して右回りの方向が「＋」とされている。顔３１ＣのYaw角は＋３０度である。

この場合、図３のＡに示されるカメラ１２と各顔３１の位置関係の違いから明らかなように、画像上に映る顔向きは、図３のＣに示されるように、顔のYaw角の変化量に応じて変化することになる。しかしながら、図３のＡに示されるように、各顔３１Ａ乃至３１Ｃの実際の顔方向は、同図中下方向のまま変化がない。そこで、本発明の顔向き補正手法では、この顔のYaw角の変化量を補正角度として用いて、顔向きの補正が行われる。

ここで、注目すべき点は、かかる補正角度を演算するために必要となる顔基準情報は、画像上に写る顔の位置ではなく、図３のＢに示されるように、画像中の顔の基準線または基準点の位置が用いられる点である。

すなわち、画像中の顔の基準線や基準点は、上述したように、カメラ１２と顔３１の位置関係が変わらない限り、顔向きや髪型が変化しても、画像中の位置は変化しない。換言すると、図３のＢの画像４１Ａ乃至４１Ｃに示されるように基準線や基準点の位置が変化しているということは、カメラ１２と顔３１の位置関係が変化していることを意味している。

このため、本発明の顔向き補正手法では、画像中の顔の基準線または基準点の位置から、画像上に写る顔向きの変化量が求められる。その結果、顔向きや髪型の変化によらず、画像上に写る顔向きの変化量の精度は低下しないことになる。よって、このような変化量が補正角度として用いられて顔向きが補正されることで、顔向きの検出精度がより一段と向上するのである。

＜２．第１実施形態＞
以下、本発明の顔向き補正手法が適用された情報処理システムの実施の形態について説明する。

なお、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。即ち、後述する監視カメラシステムは、１つの装置と把握することも可能である。

図４は、本発明を適用した情報処理システムの第１実施形態としての監視カメラシステムの構成例を示している。

図４の例では、監視カメラシステムには、カメラ１２、顔向き検出部５１、特定部位検出部５２、記憶部５３、顔基準情報検出部５４、補正角度取得部５５、および顔向き補正部５６が設けられている。

カメラ１２は、運転者TSの顔を被写体として撮影し、その結果得られる画像を、顔向き検出部５１と特定部位検出部５２に供給する。

なお、運転席に座った運転者TSの顔を撮影できれば、カメラ１２の設定位置は問わない。例えば、ステアリングコラムの上にカメラ１２を設置させて正面から撮影させることが可能である。また例えば、車両内のルームミラーの根元付近にカメラ１２を設置させて左斜め上から撮影させることが可能である。

顔向き検出部５１は、カメラ１２により撮影された画像から、運転者TSの画像上の顔向きを検出する。顔向き検出部５１の検出結果は、外部に出力されるとともに、顔向き補正部５６に供給される。

なお、顔向きの検出手法自体は、特に限定されず、例えば特許2982204号公報に開示された手法等を採用できる。もっとも、顔の向きをより迅速かつ正確に検出できる手法を採用する方が好ましい。

ここで、図５を参照して、特定部位検出部５２、記憶部５３、および顔基準情報検出部５４について説明する。

図５は、画像上の顔の基準線や基準点といった顔基準情報の生成手法の一例を説明する図である。

図５の例では、画像６１がカメラ１２により撮影されて、特定部位検出部５２に供給される。特定部位検出部５２は、画像６１上の顔の特定部位６２の位置（座標）を検出し、その検出結果とともに画像６１を顔基準情報検出部５４に供給する。

記憶部５３には、顔の形状に関する知識の情報、例えば、図５の例では、特定部位の各点と基準点の関係を表す頭部モデルが記憶されている。

顔基準情報検出部５４は、特定部位６２の座標を用いて、記憶部５３に記憶された頭部モデルを画像６１にあてはめ、そのときの顔基準情報、即ち、顔の基準線または基準点を検出する。

なお、特定部位６２は、図５の例では、両目が採用されたが、記憶部５３に記憶された頭部モデルを画像６１にあてはめることが可能な部位であれば、特に限定されない。換言すると、例えば鼻、口、耳、眉などの顔の基準点との位置関係が定まるものであれば、任意の部位を特定部位６２として採用することができる。

また、特定部位６２の検出手法自体は、特に限定されず、例えば特開２００６−６５６４０号公報に開示された手法等を採用できる。もっとも、特定部位６２をより迅速かつ正確に検出できる手法を採用する方が好ましい。

図４に戻り、顔基準情報検出部５４により検出された顔の基準線または基準点は、補正角度取得部５５に供給される。

補正角度取得部５５は、画像上の顔の基準線または基準点の位置から、画像上に写る顔向きの変化量を取得し、それを補正角度として顔向き補正部５６に供給する。顔向き補正部５６は、この補正角度を用いて、顔向き検出部５１により検出された顔向きを補正し、補正後の顔向きを出力する。

ここで、図６乃至図８を参照して、補正角度取得部５５による補正角度の取得手法について説明する。

図６は、補正角度の取得手法の概略を説明する図である。

顔基準情報検出部５４により顔基準情報として基準線が検出された場合には、図６のＡに示されるように、補正角度取得部５５は、基準線と中心線のズレ量に基づいて、画像上に写る顔向きの変化量、即ち補正角度を求める。また例えば、顔基準情報検出部５４により顔基準情報として基準点が検出された場合には、図６のＢに示されるように、補正角度取得部５５は、基準点と中心点とのズレ量、すなわち、２以上の中心線とのズレ量に基づいて、画像上に写る顔向きの変化量、即ち補正角度を求める。

図７は、基準点と基準線との比較を示す図である。

図７に示されるように、顔基準情報として基準点が採用された場合には、３次元の頭部モデルが記憶部５３に記憶され、特定部位検出部５２により検出される特定部位の座標は２次元座標（X,Y）となる。よって、補正角度取得部５５において求まる補正角度は、左右方向と上下方向の両者になる。

これに対して、顔基準情報として基準線が採用された場合には、２次元の頭部モデルが記憶部５３に記憶され、特定部位検出部５２により検出される特定部位の座標は１次元座標X若しくはYとなる。よって、補正角度取得部５５において求まる補正角度は、左右方向と上下方向のうちどちらか一方になる。

図８は、基準線が画像中の斜めに写る場合の取り扱いについて説明するための図である。

図８のＡに示されるように、画像中の顔７１が斜めを向いている場合には、左右方向の基準線もまた斜め方向になる。このような場合、ズレ量が一意に決まらないため、顔７１の移動が一意に求められないことになる。よって、このような場合には、例えば「画像上で上下に顔は移動しない」などの制約をつけるようにすれば、顔７１の移動を一意に求めることができるようになる。

なお、図８のＢに示されるように、画像中の顔７１が水平方向を向いている場合には、左右方向の基準線は垂直方向（真っ直ぐな方向）になるため、ズレ量が一意に決まり、その結果、顔７１の移動を一意に求めることができ、特に問題とならない。

次に、図９を参照して、図４の構成の監視カメラシステムが補正後の顔向きを出力するまでの一連の処理（以下、このような処理を顔向き補正処理と称する）について説明する。

図９は、第１実施形態の顔向き補正処理を説明するフローチャートである。

ステップＳ１において、カメラ１２は、運転者TSの画像を取得する。

ステップＳ２において、顔向き検出部５１は、画像上の顔向きを検出する。

ステップＳ３において、顔向き検出部５１は、顔向きを検出できたか否かを判定する。

顔向き検出部５１は、顔向きを検出できなかった場合、ステップＳ３においてＮＯであると判定し、ステップＳ４において、顔向き検出エラーを出力する。これにより、顔向き補正処理は終了となる。

これに対して、顔向き検出部５１は、顔向きの検出ができた場合、ステップＳ３においてＹＥＳであると判定し、次のようなステップＳ５以降の処理を実行する。

ステップＳ５において、特定部位検出部５２は、特定部位の位置（座標）を検出する。

なお、図９の例の顔向き補正処理では、頭部モデルとしては、後述する図１０の例のモデルが使用される。この頭部のモデルには、３軸の回転、スケール、および２軸の並進といった６つのパラメータが存在する。このため、顔の基準点を推定するために３ケ所以上の特定部位６２の位置が必要である。

ステップＳ６において、特定部位検出部５２は、特定部位を検出できたか否かを判定する。

検出すべき３ケ所以上の特定部位のうち、少なくとも１ケ所の特定部位が検出されなかった場合、ステップＳ６においてＮＯであると判定されて、ステップＳ４において、顔向き検出エラーが出力されて、顔向き補正処理が終了する。

これに対して、検出すべき３ケ所以上の特定部位の全てが検出された場合、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ７に進む。

ステップＳ７において、顔基準情報検出部５４は、特定部位の位置を用いて、顔の基準点を推定する。

具体的には例えば、図１０に示される頭部モデルが記憶部５３に記憶されているとする。

図１０は、頭部モデルの一例を示している。

図１０の頭部モデルにおいて、ｎ番目の三次元座標をB_nと既述すると、次の式（１）のように表わされる。

・・・（１）

なお、特定部位は、図１０の例では３ケ所とされているが、当然ながら４ケ所以上でもよい。

また、図１０の頭部モデルには、次の式（２）に示されるような６つのパラメータが存在するとする。

・・・（２）

この場合、顔基準情報検出部５４は、次のようなステップ７−１乃至７−４の処理に従って、図１０の頭部モデルを、ステップＳ１の処理で取得された画像にあてはめる。

ステップＳ７−１において、顔基準情報検出部５４は、３軸の回転角で頭部モデルを回転させる。具体的には例えば、顔基準情報検出部５４は、回転角から回転行列Ｒを作成し、頭部モデルの座標に掛ける。即ち、回転後の座標をB_n'と記述すると、次の式（３）のような演算が行われる。

・・・（３）

ステップＳ７−２において、顔基準情報検出部５４は、透視投影変換により頭部モデルの座標を画像座標に変換する。具体的には例えば、カメラの焦点距離をｆと記述し、ｎ番目の画像座標をb_n＝(x_n , y_n)と記述すると、次の式（４）のような演算が行われる。

・・・（４）

ステップＳ７−３において、顔基準情報検出部５４は、投影後の座標をスケールを使って拡大縮小する。具体的には例えば、拡大縮小後の座標をｎ番目の画像座標をb_n ^‘＝(x_n ^’ , y_n ^‘)と記述すると、次の式（５）のような演算が行われる。

・・・（５）

ステップＳ７−４において、顔基準情報検出部５４は、並進を行い、画像上の特定部位の位置に合わせる。具体的には例えば、並進後の座標をｎ番目の画像座標をb_n ^‘’＝(x_n ^’‘ , y_n ^‘’)と記述すると、次の式（６）のような演算が行われる。

・・・（６）

このようなステップＳ７−１乃至Ｓ７−４により、画像に当てはめた頭部モデルの座標b_n ^‘’＝(x_n ^’‘ , y_n ^‘’)が求まることになる。

そこで、顔基準情報検出部５４は、画像に当てはめた頭部モデルの座標b_n ^‘’ と、ステップＳ５の処理で画像から検出された特定部位の位置との誤差が最小になるパラメータを求めることで、顔の基準点を求める。

具体的には、画像に当てはめた頭部モデルの座標b_n ^‘’＝(x_n ^’‘ , y_n ^‘’)のうち、x_n ^’‘ 座標は次の式（７）に示されるように、y_n ^‘’座標は次の式（８）に示されるように、それぞれ示される。

・・・（７）

・・・（８）

ここで、Ｒ_１１乃至Ｒ_３３は、次の式（９）に示される回転行列Ｒの各要素であり、３軸の回転角のパラメータから決定される。

・・・（９）

画像から検出された特定部位の座標をP_n=(x_pn ， y_pn)と記述すると、次の式（１０）を最小化するようなパラメータを求めることで、顔の基準点が求まることになる。

・・・（１０）

これは非線形の最適化問題に他ならない。よって、その解法自体については、特に限定されず、最急降下法など公知の各種手法の他、今後登場するであろう各種手法を採用することが可能である。

顔基準情報検出部５４は、この最適化問題を解いて得られたパラメータを用いて、顔の基準点の座標b_１ ^‘’＝(x_１ ^’‘ , y_１ ^‘’)を推定演算することができる。

このようにして、図９のステップＳ７の処理で顔の基準点の座標b_１ ^‘’＝(x_１ ^’‘ , y_１ ^‘’)が推定演算されると、処理はステップＳ８に進む。

ステップＳ８において、補正角度取得部５５は、頭の回転中心の座標から顔向きの補正角度を算出する。

この場合の補正角度の算出手法は、特に限定されない。例えば、特開２００７−２４９３５２号公報に開示されているように、回転中心の座標に対応する補正角度を記録したテーブルを予め持ち、このテーブルに従って補正角度を算出するという手法を採用できる。

また例えば、カメラの焦点距離に基づいて、カメラの光軸からのずれ角度を補正角度として算出するという手法を採用できる。

図１１は、かかる補正角度の具体的な算出手法の一例を説明する図である。

図１１に示される横方向のずれ角度θ_ｘは、式（１１）のように表わされる。なお、縦方向のずれ角度θ_ｙも、式（１１）に表わされている。

・・・（１１）

なお、x_centerは、画像中心のX座標を示し、y_centerは画像中心のY座標を示している。

即ち、式（１１）は、式（１２）の関係から、式（１３）のように表わされる。

・・・（１２）

・・・（１３）

このようにして、ステップＳ８の処理で補正角度が算出されると、処理はステップＳ９に進む。

ステップＳ９において、顔向き補正部５６は、画像上の顔向きを、補正角度を用いて補正する。これにより、カメラ１２から見た顔向きが、車両の正面方向を基準とした顔向きに補正される。具体的には、カメラ１２から見た顔向きの角度から、補正角度を引くことで、車両の正面方向を基準とした顔向きが得られることになる。

ステップＳ１０において、顔向き補正部５６は、補正後の顔向きを出力する。

これにより、顔向き補正処理は終了となる。

以上説明したように、第１実施形態では、図４の監視カメラシステムが、図９のフローチャートに従った顔向き補正処理を実行することができる。これにより、顔向きが大きく変化したり、髪型が頭部輪郭に対して大きく異なる場合でも、補正角度の精度は低下しない。

以上、本発明を適用した情報処理システムの第１実施形態としての監視カメラシステムについて説明した。

＜３．第２実施形態＞

次に、本発明を適用した情報処理システムの第２実施形態としての監視カメラシステムについて説明する。

図１２は、本発明を適用した情報処理システムの第２実施形態としての監視カメラシステムの構成例を示している。

図１２において、図４と対応する箇所には対応する符号を付してあり、それらの説明については適宜省略する。

図１２の構成の第２実施形態の監視カメラシステムの構成要素自体は、図４の構成の第１実施形態の監視カメラシステムの構成要素と変わりない。

ただし、第１実施形態の顔基準情報検出部５４は、画像上の顔の基準線や基準点を求めるためには、上述の如く、非線形の最適化問題を解く必要があった。このため、処理時間が長くなったり、計算結果が収束しない場合があった。

そこで、第２実施形態の監視カメラでは、顔基準情報検出部５４には、顔向き検出部５１により検出された画像上の顔向きが入力される。顔基準情報検出部５４においては、画像上の顔向きを用いることで、画像上の顔の基準線や基準点を求めるための計算式を線形にすることができる。これにより、第１実施形態に比較して処理時間を削減でき、また、計算結果が安定する（必ず収束する）ようになる。また、画像上の顔の基準線や基準点の演算に必要な特定部位の数を削減できるようになる。

次に、図１３を参照して、図１２の構成の監視カメラシステムが実行する顔向き補正処理について説明する。

図１３は、第２実施形態の顔向き補正処理を説明するフローチャートである。

図１３のステップＳ２１乃至Ｓ２４の処理は、図９のステップＳ１乃至Ｓ４の処理と基本的に同様の処理であるため、ここではその説明については省略する。

顔向き検出部５１は、顔向きの検出ができた場合、ステップＳ２３においてＹＥＳであると判定し、次のようなステップＳ２５以降の処理を実行する。

ステップＳ２５において、特定部位検出部５２は、特定部位の位置として両目の位置（座標）を検出する。

なお、図１３の例の顔向き補正処理では、後述する図１４の例のモデルが使用される。この頭部のモデルは、両目の２点と回転中心点の３点で作成されているため、ステップＳ２５の処理では両目の位置が検出される。ただし、頭部のモデルは、図１３の例に限定されず、両目以外の２点、例えば、鼻と片目の２点、鼻と口の２点または耳と眉毛の２点などを用いて作成するようにしてもよい。また、回転中心以外の点として、２点だけではなく３点以上を用いて頭部のモデルを作成するようにしてもよい。即ち、特定部位検出部５２は、頭部モデルの作成に用いられた各点（回転中心点除く）のそれぞれを特定部位として、ステップＳ２５の処理で、各特定部位の位置を検出すればよい。

ステップＳ２６において、特定部位検出部５２は、両目を検出できたか否かを判定する。

両目のうちの少なくとも一方の目が検出されなかった場合、ステップＳ２６においてＮＯであると判定されて、ステップＳ２４において、顔向き検出エラーが出力されて、顔向き補正処理が終了する。

これに対して、両目が検出された場合、ステップＳ２６においてＹＥＳであると判定されて、処理はステップＳ２７に進む。

ステップＳ２７において、顔基準情報検出部５４は、両目の位置を用いて、顔の基準点を推定する。

具体的には例えば、図１４に示される頭部モデルが記憶部５３に記憶されているとする。

図１４の頭部モデルにおける三次元座標B_ｃ，B_ｌ，B_ｒは、次の式（１４）のように表わされる。

・・・（１４）

この場合、顔基準情報検出部５４は、顔の基準点の座標B_ｃを、頭部モデルの原点座標とすることで、顔向きの変化による回転と頭部モデルの回転を一致させる。即ち、顔基準情報検出部５４は、次のようなステップ２７−１乃至２７−４の処理に従って、図１４の頭部モデルを、ステップＳ２１の処理で取得された画像にあてはめる。

ステップＳ２７−１において、顔基準情報検出部５４は、画像上の顔向き角度を用いて頭部モデルを回転させる。

具体的には例えば、顔基準情報検出部５４は、画像上の顔向き角度θ_LR，θ_UD，θ_rotを用いて回転行列Ｒを作成する。そして、顔基準情報検出部５４は、回転行列Ｒを用いて、回転後の頭部モデルの座標を演算する。

回転後の座標を次の式（１５）のように記述すると、次の式（１６）のような演算が行われる。

・・・（１５）

・・・（１６）

ステップＳ２７−２において、顔基準情報検出部５４は、透視投影変換により頭部モデルの座標を画像座標に変換する。具体的には例えば、カメラの焦点距離をｆと記述し、顔の基準点を透視投影変換した後の座標標x_ｃ ^’ , y_c ^‘ は、次の式（１７）のように演算される。

・・・（１７）

他点についても同様の演算が行われ、その結果、次の式（１８）のような透視投影変換した後の座標が得られる。

・・・（１８）

ステップＳ２７−３において、顔基準情報検出部５４は、両目の間の距離に基づいて、透視投影変換後の頭部モデルのサイズを合わせる。

具体的には例えば、左右の目の座標により求められる両目の間の距離をL_Aと記述すると、次の式（１９）のような演算が行われる。

・・・（１９）

一方、変換後の頭部モデルの座標により求められる両目の間の距離をL_Bと記述すると、次の式（２０）のような演算が行われる。

・・・（２０）

距離をL_Aと距離をL_ｂとの比をrateと記述すると、即ち、rate=L_B／L_Aとすると、サイズを合わせた後の顔の基準点の座標x_ｃ ^’‘ , y_c ^‘’は、次の式（２１）のように演算される。

・・・（２１）

他点についても同様な演算が行われ、その結果、次の式（２２）に示されるような画像に当てはめた頭部モデルの各座標、即ち、サイズを合わせた後の顔、左目、右目のそれぞれの二次元座標が得られることになる。

・・・（２２）

そこで、顔基準情報検出部５４は、式（２２）に示される座標と、ステップＳ２５の処理で画像から検出された目の位置に基づいて、顔の基準点を求める。

具体的には、次の式（２３）に示されるように、サイズを合わせた後の目の位置と、画像から検出された目の位置との差分が求められる。

・・・（２３）

式（２３）の演算結果に基づいて、次の式（２４）に示されるように、顔の基準点の二次元座標が求められることになる。

・・・（２４）

このようにして、図１３のステップＳ２７の処理で顔の基準点の座標b_ｃが推定演算されると、処理はステップＳ２８に進む。

図１３のステップＳ２８乃至Ｓ３０の処理は、図９のステップＳ８乃至Ｓ１０の処理と基本的に同様の処理であるため、ここではその説明については省略する。

以上、本発明を適用した情報処理システムの第２実施形態としての監視カメラシステムについて説明した。

＜４．第３実施形態＞

次に、本発明を適用した情報処理システムの第３実施形態としての監視カメラシステムについて説明する。

図１５は、本発明を適用した情報処理システムの第３実施形態としての監視カメラシステムの構成例を示している。

図１５において、図１２と対応する箇所には対応する符号を付してあり、それらの説明については適宜省略する。

図１５の構成の第３実施形態の監視カメラシステムには、図４の構成の第１実施形態や図１２の構成の第２実施形態の監視カメラシステムの構成要素と同様の構成要素が存在する他さらに、距離計測部６１が設けられている。

距離計測部６１は、カメラ１２から運転者TSの顔までの距離を計測し、その計測結果を顔基準情報検出部５４に供給する。

なお、距離の計測手法自体は、特に限定されず、例えば距離センサを用いる手法や、特開２００５−６６０２３号公報に開示されている画像処理で求める手法等を採用できる。もっとも、顔までの距離をより迅速かつ正確に検出できる手法を採用する方が好ましい。

即ち、顔基準情報検出部５４には、特定部位検出部５２により検出された顔の特定部位の画像上の位置（座標）、顔向き検出部５１により検出された画像上の顔向き、記憶部５３に記憶された頭部モデルに加えてさらに、距離計測部６１の計測結果が供給される。

そこで、顔基準情報検出部５４は、顔の特定部位の画像上の位置（座標）、画像上の顔向き、頭部モデルに加えてさらに、距離計測部６１の計測結果（カメラ１２から運転者TSの顔までの距離）を用いて、画像上の顔の基準線や基準点を求める。

このように、画像上の顔の基準線や基準点の計算に、距離計測部６１の計測結果（カメラ１２から運転者TSの顔までの距離）を加えることで、未知数を減らすことができ、その結果、計算結果の精度が向上する。また、かかる計算のために必要な特定部位の数を削減することもできるようになる。

次に、図１６を参照して、図１５の構成の監視カメラシステムが実行する顔向き補正処理について説明する。

図１６は、第３実施形態の顔向き補正処理を説明するフローチャートである。

図１６のステップＳ４１乃至Ｓ４６の処理は、図１３のステップＳ２１乃至Ｓ２６の処理と基本的に同様の処理であるため、ここではその説明については省略する。

両目が検出された場合、ステップＳ４６においてＹＥＳであると判定されて、処理はステップＳ４７に進む。

ステップＳ４７において、距離計測部６１は、カメラ１２から運転者TSの顔までの距離を検出する。

距離の検出に失敗した場合、ステップＳ４８においてＮＯであると判定されて、ステップＳ４４において、顔向き検出エラーが出力されて、顔向き補正処理が終了する。

これに対して、距離の検出に成功した場合、ステップＳ４８においてＹＥＳであると判定されて、処理はステップＳ４９に進む。

ステップＳ４９において、顔基準情報検出部５４は、両目の位置を用いて、顔の基準点を推定する。

第３実施形態における顔の基準点の推定手法は、第２実施形態における顔の基準点の推定手法、即ち、上述したステップＳ２７−１乃至Ｓ２７−４に従った手法に類似している。そこで、以下、第３実施形態における顔の基準点の推定手法の説明として、第２実施形態における顔の基準点の推定手法とは異なる個所についてのみ、説明する。

第３実施形態における顔の基準点の推定手法では、上述したステップＳ２７−１とＳ２７−２との間に、カメラ１２から運転者TSの顔までの距離に基づいて、頭部モデルが平行移動される。具体的には、顔までの距離をZ_faceと記述し、頭部モデルの各点のZ座標をZ_ｃ ^’’，Z_ｌ ^’’，Z_ｒ ^’’とそれぞれ記述すると、次の式（２５）のような演算が行われる。

・・・（２５）

また、第３実施形態における顔の基準点の推定手法では、ステップＳ２７−２の処理後には、ステップＳ２７−３の処理は実行されずに、ステップＳ２７−４の処理が実行される。上述の式（２５）に従って頭部モデルのZ座標を変更したことは、ステップＳ２７−３の処理で行われるサイズ合わせと同等の意味を有するからである。

図１６のステップＳ４９の処理で顔の基準点の座標b_ｃが推定演算されると、処理はステップＳ５０に進む。

図１６のステップＳ５０乃至Ｓ５２の処理は、図１３のステップＳ２８乃至Ｓ３０の処理と基本的に同様の処理であるため、ここではその説明については省略する。

以上、本発明を適用した情報処理システムの第３実施形態としての監視カメラシステムについて説明した。

ところで、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、プログラム記録媒体からインストールされる。このプログラムは、例えば、専用のハードウエアに組み込まれているコンピュータにインストールされる。または、このプログラムは、各種のプログラムをインストールすることで各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等にインストールされる。

図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU２０１、ROM（Read Only Memory）２０２、およびRAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７、ハードディスクや不揮発性のメモリ等よりなる記憶部２０８が接続されている。さらに、入出力インタフェース２０５には、ネットワークインタフェース等よりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）であるリムーバブルメディア２１１に記録して提供される。プログラムは、パッケージメディアであるリムーバブルメディア２１１に記録して提供される。なお、パッケージメディアとしては、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等が用いられる。あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施形態は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１頭部
１２カメラ
５１顔向き検出部
５２特定部位検出部
５３記憶部
５４顔基準情報検出部
５５補正角度取得部
５６顔向き補正部
６１距離計測部
２０１ CPU
２０２ ROM
２０３ RAM
２０８記憶部
２１１リムーバブルメディア

Claims

人間の顔を含む撮影画像から、前記人間の画像上の顔向きを検出する顔向き検出手段と、
前記撮影画像に含まれる前記人間の顔の特定部位を検出する特定部位検出手段と、
顔の形状に関する既知の知識、前記特定部位検出手段により検出された前記特定部位、および、前記顔向き検出手段により検出された顔向きに基づいて、前記人間の顔の基準線または基準点を顔基準情報として検出する顔基準情報検出手段と、
前記顔基準情報検出手段により検出された前記顔基準情報に基づいて、前記撮影画像に含まれる人間の顔向きの変化量を補正角度として算出する補正角度算出手段と、
前記補正角度算出手段により算出された前記補正角度を用いて、前記顔向き検出手段により検出された前記顔向きを補正する顔向き補正手段と
を備える情報処理装置。
前記顔基準情報検出手段は、前記顔の形状に関する既知の知識、前記特定部位検出手段により検出された前記特定部位、および、前記顔向き検出手段により検出された顔向きに加えてさらに、前記撮影画像を撮影した撮影手段から前記人間の顔までの距離に基づいて、前記顔基準情報を検出する
請求項１に記載の情報処理装置。
情報処理装置が、
人間の顔を含む撮影画像から、前記人間の画像上の顔向きを検出し、
前記撮影画像に含まれる前記人間の顔の特定部位を検出し、
顔の形状に関する既知の知識、前記特定部位検出手段により検出された前記特定部位、および、前記顔向き検出手段により検出された顔向きに基づいて、前記人間の顔の基準線または基準点を顔基準情報として検出し、
検出された前記顔基準情報に基づいて、前記撮影画像に含まれる人間の顔向きの変化量を補正角度として算出し、
算出された前記補正角度を用いて、検出された顔向きを補正する
ステップを含む情報処理方法。
情報処理装置を制御するコンピュータに、
人間の顔を含む撮影画像から、前記人間の画像上の顔向きを検出し、
前記撮影画像に含まれる前記人間の顔の特定部位を検出し、
顔の形状に関する既知の知識、前記特定部位検出手段により検出された前記特定部位、および、前記顔向き検出手段により検出された顔向きに基づいて、前記人間の顔の基準線または基準点を顔基準情報として検出し、
検出された前記顔基準情報に基づいて、前記撮影画像に含まれる人間の顔向きの変化量を補正角度として算出し、
算出された前記補正角度を用いて、検出された顔向きを補正する
ステップを含む制御処理を実行させるプログラム。