JP4319535B2

JP4319535B2 - 顔の向き検知装置

Info

Publication number: JP4319535B2
Application number: JP2003422244A
Authority: JP
Inventors: 幸治奥田; 道昌井東; 勝秀熊谷
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2003-12-19
Filing date: 2003-12-19
Publication date: 2009-08-26
Anticipated expiration: 2023-12-19
Also published as: JP2005182452A

Description

本発明は、例えば車両の運転者等の脇見を撮像画像に基づいて検知する顔の向き検知装置に関する。

例えば、自動車等の車両の安全性を向上させるために、脇見状態を検知して警報装置を作動させることが考えられており、この脇見状態の検出に画像処理術を利用する技術が知られている。

このような技術として、パターンマッチング技術を利用した顔の向き検知方法が知られている。この技術について図５に基づいて説明する。この顔の向き検知方法（装置）では、辞書画像として、顔の向きがそれぞれ異なる複数の画像Ｐｄｉ（１≦ｉ≦ｎ）を予め作成し記憶しておく。また、各画像Ｐｄｉに対応する顔の向き（角度θｉ）を予め記憶しておく。そして、撮像装置にて撮像した撮像画像Ｐと辞書画像Ｐｄの各画像Ｐｄｉとの類似度から顔の向きを検知する。すなわち、撮像画像Ｐを各画像Ｐｄｉと比較し、最も類似する画像Ｐｄｉに対応する角度θｉが、撮像画像Ｐにおける角度θすなわち被測定者の顔の向きとされる。

このため、この顔の向き検知方法では、辞書画像Ｐｄ（各画像Ｐｄｉ）を作成する際の被測定者と撮像装置との位置関係と、顔の向き検知時（測定時）における被測定者と撮像装置との位置関係とが一定でなければならない。したがって例えば、この顔の向き検知装置を自動車等の運転者の顔の向きを検知する用途に適用する場合、車両に固定された撮像装置に対し運転席を固定しておかなければならず、異なる運転者（体格や運転姿勢が異なり、運転席の位置が互いに異なる複数の運転者）の顔の向きを検知することが困難である。また、この顔の向き検知装置では、検知したい顔の向きの分解能を高く設定すると、多数の画像Ｐｄｉを記憶しておき、撮像画像Ｐを多数の画像Ｐｄｉとそれぞれ比較しなければならず、処理負荷が大きくなってしまう。

また、被測定者の両眼の間隔に基づいて顔の向きを検知する顔の向き検知方法が知られている。（例えば、非特許文献１参照）。この技術について図６に基づいて説明する。この顔の向き検知方法（装置）では、図６（Ａ）に示す如く顔が正面を向いている場合の左右の眼Ｅ１、Ｅ２の間隔Ｄｅ０を予め記憶しておく。そして、撮像画像上における（正面に投影した）左右の眼Ｅ１、Ｅ２の間隔をＤｅ、顔の向きの角度をθとすると、θ＝ｃｏｓ^-1（Ｄｅ／Ｄｅ０）として顔の向きを算出する。また、図６（Ｂ）に示す如く撮像画像から右眼Ｅ２と鼻頭Ｎとの水平面に沿う距離ＤＲ、及び左眼Ｅ１と鼻頭Ｎとの水平面に沿う距離ＤＬとを検出し、ＤＲ＞ＲＬであれば顔が左向きであり、ＤＲ＜ＤＬであれば顔が右向きであることが検知される。

しかしながら、この顔の向き検知方法では、両眼Ｅの間隔Ｄｅを用いて顔の角度を算出するため、撮像画像が常に被測定者の両眼を含んでいなければならない。このため、両眼を撮像できる範囲に撮像装置を配置しなければらず、撮像装置の設置位置の自由度が小さい。また、両眼が撮像される範囲でしか顔の向きを検知することができないため、検知できる顔の向き（角度θ）の範囲が小さい。さらに、この顔の向き検知方法においても、両眼Ｅ１、Ｅ２の間隔Ｄｅを記憶する際の被測定者と撮像装置との位置関係と、顔の向き検知時（測定時）における被測定者と撮像装置との位置関係とが一定でなければならず、上記特許文献１記載の技術と同様に自動車等の車両への適用が困難である。
三田真司他、「ドライバの状態モニター（１）動画像処理による視線方向の検出」、自動車技術会２００２春季大会前刷集、ｐ．２６８

以上説明したように、画像処理技術を用いた顔の向き検出については、種々の問題があり、改善の余地がある。

本発明は、上記事実を考慮して、撮像手段の撮像画像に基づいて、簡単かつ広範囲に亘り顔の向きを検知することができる顔の向き検知装置を得ることが目的である。

上記目的を達成するために請求項１記載の発明に係る顔の向き検知装置は、顔の向きが変化する際の回転中心に対する相対位置が一定とされ、該顔の一特徴部分を含む範囲を撮像する撮像手段と、前記撮像手段にて撮像した画像に基づいて顔の代表長さを検出し、該検出された代表長さと予め設定された演算式とから顔の向きが変化する際の前記一特徴部分の回転半径を推定する半径推定手段と、前記画像に基づいて、顔の向きが変化する際の回転中心及び前記撮像手段を通る仮想直線と前記一特徴部分との離間距離を算出する距離算出手段と、前記回転半径と前記離間距離とを用いて前記仮想直線に対する前記一特徴部分の回転角度を算出する角度算出手段と、を備えている。

請求項１記載の顔の向き検知装置では、顔の向きが変化する際に顔の一特徴部分が仮想回転軸廻りに回転し、この回転角が画像上における位置特徴部分の位置から得ることができるとの知見に基づいて顔の向きを検知する。具体的には、撮像手段が顔における一特徴部分を含む画像を撮像すると、この画像に基づいて、半径推定手段が顔向きが変化する際の一特徴部分の回転半径を推定する。また、この画像に基づいて、距離算出手段が、画像から抽出された上記一特徴部分と、該一特徴部分の回転中心と前記撮像手段とを通る仮想直線との離間距離を算出する。そして、角度算出手段が、上記仮想半径と離間距離とを用いて、仮想直線に対する位置特徴部分の回転角度すなわち顔の向きを算出する。具体的には、回転中心を通る仮想直線と、一特徴部分と回転中心とを結ぶ直線との成す角が、該仮想直線に対する一特徴部分の回転角度すなわち顔の向きであり、かつ、仮想直線と離間距離の方向とが互いに直交することから、例えば、離間距離を回転半径で除した値の逆正弦関数によって、仮想直線に対する一特徴部分の回転角度が算出される。

ここで、本顔の向き検知装置では、撮像画像に基づいて得た回転半径と離間距離とから仮想直線に対する顔の向きを検知するため、従来の如く撮像画像をそれぞれ異なる顔の向きに対応する膨大な辞書データと比較する必要がなく、顔の向き検出処理が容易で、処理負荷が小さい（分解能に依存して増大することがない）。また、顔における一特徴部分を用いて顔の向きを検知するため、従来の如く両眼を撮像画像に含む必要がなく、検知することができる顔の向きの範囲（検知範囲）が広い。さらに、撮像画像には一特徴部位を含めば良いため、撮像手段の撮像位置すなわち設置位置の自由度が高い。

このように、請求項１記載の顔の向き検知装置では、撮像手段の撮像画像に基づいて、簡単かつ広範囲に亘り顔の向きを検知することができる。なお、一特徴部分としては、例えば、左右何れか一方の眼、鼻の穴、唇、眉毛等を採用することができる。

請求項２記載の発明に係る顔の向き検知装置は、請求項１記載の顔の向き検知装置において、顔が所定方向を向いている場合の前記一特徴部分の前記仮想直線に対する角度を基準角度とし、該基準角度を前記角度算出手段の算出結果から差し引いて、該所定方向に対する顔の向きを算出する顔の向き算出手段をさらに備えた、ことを特徴としている。

請求項２記載の顔の向き検知装置では、角度算出手段が仮想直線に対する一特徴部分の角度（顔の向き）を算出すると、顔の向き算出手段が、この算出結果から顔が所定方向を向いている場合の一特徴部分の前記仮想直線に対する基準角度を差し引いて、該所定方向に対する現実の顔の向きを算出する。すなわち、顔の向き算出手段の上記演算によって、上記仮想直線に対する角度が相殺され、撮像手段の画角とは無関係に所定の方向に対する顔の向きを検知することができる。

請求項３記載の発明に係る顔の向き検知装置は、請求項２記載の顔の向き検知装置において、前記所定方向は、顔が正面を向いているとき、または顔が正面を向いていると推定される方向であり、その撮像画像に基づく前記角度算出手段の算出結果を、前記基準角度として設定する、ことを特徴としている。

請求項３記載の顔の向き検知装置では、顔が正面を向いているとき、または顔が正面を向いていると推定されるときに撮像手段が撮像した一画像に基づく角度算出手段の算出結果を、基準角度として設定する。したがって、一画像に基づいて迅速に基準角度を設定することができ、また、検知対象者の顔が正面を向いている状態に対する顔の向きを検知することができる。

また、角度算出手段の算出結果を用いて基準角度を設定するため、例えば、基準角度設定時の上記仮想直線と顔の向き検知時の上記仮想直線とを確実に一致させることができる。このため、例えば、撮像手段に対する顔の位置が変化する毎に新たに基準角度を設定することで、撮像手段に対し検知対象者（被測定者）の顔が任意の位置関係にあっても、該検知対象者の所定方向に対する顔の向きを確実に検知することができる。したがって、例えば、自動車等のスライド機能やリクライニング機能を有する運転席等に着座する、異なる乗員の顔の向きをそれぞれ検知することが可能となる。

請求項４記載の発明に係る顔の向き検知装置は、請求項１乃至請求項３の何れか１項記載の顔の向き検知装置において、車両に搭載されると共に該車両室内の後方視認用インナミラーに前記撮像手段を配置し、前記一特徴部分を前記撮像手段に近い方の眼とした、ことを特徴としている。

請求項４記載の顔の向き検知装置では、撮像手段が車両のインナミラーに配置され、該撮像手段に近い方の眼が一特徴部分として撮像画像に含まれる。また、眼は、顔の他の部分に対し画像処理による抽出が比較的容易である。このため、例えばステアリングホイールや顔の向きの検知対象となる乗員の腕等の撮像画像に対する影響が小さく（画像上の眼に対応する部分がステアリングホイールや腕等によって遮蔽されることがなく）、該乗員の撮像手段に近い方の眼を確実に撮像・抽出することができる。換言すれば、画像不良による顔の向きの検知（判定）不能時間が大幅に削減される。

以上説明したように本発明に係る顔の向き検知装置は、撮像手段の撮像画像に基づいて、簡単かつ広範囲に亘り顔の向きを検知することができるという優れた効果を有する。

本発明の実施の形態に係る顔の向き検知装置が適用された脇見モニタ警報装置１０について、図１乃至図４に基づいて説明する。

図４には、本発明の実施の形態に係る脇見モニタ警報装置１０を搭載した車両Ｓの一部が斜視図及びブロック図によって示されている。脇見モニタ警報装置１０は、車両Ｓの運転席上における運転者（図示省略）の顔の向き、すなわち視線方向を検知し、該運転者が脇見をしていると判定した場合に警報を発するものである。

この脇見モニタ警報装置１０は、撮像手段としてのＣＣＤカメラ１２を備えている。ＣＣＤカメラ１２は、車両Ｓのルーフ１４の前端部（近傍）の左右方向中央部に設けられた後方視認用のインナミラー１６に一体に組み込まれている。すなわち、インナミラー１６は、カメラ内蔵インナミラーであり、全体としてコンパクトに形成されて運転者を含む乗員に違和感を与えないようになっている。

これにより、ＣＣＤカメラ１２は運転席（図４におけるステアリングホイール１８が設けられた側の前席）を斜め上前方から撮像するようになっている。そして、ＣＣＤカメラ１２の画角は、少なくとも運転者の一方の眼（運転席が車両Ｓの右側に位置する本実施の形態では左眼）Ｅを含む運転者の顔（の一部）が撮像範囲内に収まるように決められている。

また、ＣＣＤカメラ１２は、半径推定手段、離間距離算出手段、角度算出手段、基準設定手段、及び顔の向き算出手段を含んで構成された脇見検知コンピュータ２０と電気的に接続されている。これにより、ＣＣＤカメラ１２で撮像された画像が画像データとして脇見検知コンピュータ２０へ伝送される構成となっている。この脇見検知コンピュータ２０は、車両Ｓの適宜位置に配置され、図示しない記憶装置（ＲＯＭ）を有している。このＲＯＭには、顔の向き検知プログラム２２（図３参照）が記憶されている。

顔の向き検知プログラム２２は、ＣＣＤカメラ１２を制御する（作動させる）と共に該ＣＣＤカメラ１２が撮像した画像（画像データ）を読み込むようになっており、かつ、この画像から左眼Ｅに相当する部分を抽出する左眼抽出プログラム２４と、顔の向きが変化する際の左眼Ｅの回転半径Ｒを推定する半径推定プログラム２６と、顔の向きが変化する際の回転中心Ｃを通る仮想直線Ｌ１（後述）から左眼Ｅまでの離間距離Ｙを算出する離間距離算出プログラム２８と、回転半径Ｒと離間距離Ｙとから左眼Ｅの仮想直線Ｌ１に対する角度θｅ２を算出する角度算出プログラム３０と、角度θｅ２と基準角度θｅ１とから顔の向きを算出する顔の向き算出プログラム３２と、基準角度θｅ１を設定して記憶する基準角度設定プログラム３４とを含んで構成されている。そして、脇見検知コンピュータ２０は、顔の向き検知プログラム２２を実行するためのＣＰＵ（図示省略）を備えている。なお、顔の向き検知プログラム２２の機能については後述する。

また、脇見モニタ警報装置１０は、警報装置３６を備えている。警報装置３６は、車両Ｓの適宜位置に配置され、脇見検知コンピュータ２０と電気的に接続されている。そして、警報装置３６は、脇見検知コンピュータ２０の記憶装置に顔の向き検知プログラム２２とは別途記憶された脇見検知プログラムから作動信号が入力されると、警報音や音声、表示装置への文字等の表示によって運転者に注意を促すようになっている。

ところで、図２に示される如く、画角が固定された画像Ｐ上では、運転者の顔Ｆの向きによって、該運転者の顔Ｆに対する左眼Ｅの位置が変化する。具体的には、上記の通り顔Ｆを左上方から撮像するＣＣＤカメラ１２の画像Ｐでは、例えば顔Ｆがほぼ正面を向いている場合には、図２（Ａ）に示す如く左眼Ｅは顔Ｆの左側に位置し、また例えば顔Ｆが左側（ＣＣＤカメラ１２に対しほぼ正面）を向いている場合には、図２（Ｂ）に示す如く左眼Ｅは顔Ｆの右側に位置する。

したがって、顔ＦがＣＣＤカメラ１２に対する位置が一定の上記回転中心Ｃ廻りに回転して向きを変えると仮定すれば、画像Ｐ上における顔Ｆに対する左眼Ｅの位置から、例えばＣＣＤカメラ１２と回転中心Ｃとを結ぶ仮想直線Ｌ１に対する顔Ｆの角度θｅ２を得ることができ、また顔Ｆが正面を向いている場合の仮想直線Ｌ１に対する顔Ｆの角度を基準角度θｅ１として設定しておけば、角度θｅ２と基準角度θｅ１との関係から正面向きに対する顔Ｆの角度θｆを得ることができる。

そして、本実施の形態では、上記知見に基づいて、顔Ｆが正面を向いているときのＣＣＤカメラ１２の画像Ｐから基準角度θｅ１を算出し、顔の向き検知用の画像Ｐに基づいて算出した顔の角度θｅ２から基準角度θｅ１を差し引くことで、正面向きに対する顔Ｆの角度θｆ（θｅ２−θｅ１）を得る構成とされている。すなわち、基準角度θｅ１と任意の顔向き角度θｅ２とは、全く同様に算出される構成である。以下、具体的に説明するが、基準角度θｅ１と任意の顔向き角度θｅ２とを区別しないときはこれらを角度θｅということとする。

図１（Ａ）に示される如く、角度θｅは、ＣＣＤカメラ１２に対する角度が固定されると共に顔Ｆの向きに依らず常に回転中心ＣとＣＣＤカメラ１２とを通る仮想直線Ｌ１と、左眼Ｅと回転中心Ｃとを通る仮想直線Ｌ２とが成す角として算出されるようになっている。左眼Ｅの回転半径Ｒと、左眼Ｅと仮想直線Ｌ１との離間距離Ｙ（仮想直線Ｌ１に直交する方向の距離）とを、上記顔の向き検知プログラム２２の角度算出プログラム３０に実行可能に記憶された以下の演算式（１）に代入することで、角度θｅを得ることができる。

θｅ＝ｓｉｎ^-1（Ｙ／Ｒ） … （１）
そして、本実施の形態では、顔Ｆにおける左眼Ｅの高位の水平面に沿う部分（以下、頭という場合がある）の外形状が円形であり、かつこの円形である頭の中心が回転中心Ｃに一致すると仮定して、ＣＣＤカメラ１２が撮像した画像Ｐに基づいて回転半径Ｒ及び離間距離Ｙを得るようになっている。

回転半径Ｒは、顔Ｆの向き、毛髪、耳等の影響により、画像Ｐから直接的に計測することが困難であるため、半径推定プログラム２６によって推定（算出）されるようになっている。具体的には、ＣＣＤカメラ１２が撮像した画像Ｐにおける顔Ｆの代表長さＤを算出し、顔Ｆが大きい場合すなわち回転半径Ｒが大きい場合には代表長さＤが長く、顔Ｆが小さい場合すなわち回転半径Ｒが小さい場合には代表長さＤが短いことに基づいて予め設定された演算式（Ｒ＝ｆ（Ｄ）、例えばａを係数としてＲ＝ａ×Ｄ）から、回転半径Ｒを算出するようになっている。

本実施の形態では、ＣＣＤカメラ１２が撮像した画像Ｐから抽出された左眼Ｅと、顔Ｆにおける左眼Ｅとは異なる特徴部分として抽出した唇Ｌとの上下方向の距離を、これらの間の画素数に基づき代表長さＤ（以下、距離Ｄという）として検出するようになっている。距離Ｄの検出に左眼Ｅと左眼Ｅの下方に位置する唇Ｌとを用いることで、左眼Ｅを抽出（撮像）可能な顔向きのほぼ全範囲に亘って、距離Ｄすなわち回転半径Ｒを算出することができる構成とされている。

なお、左眼Ｅの抽出は左眼抽出プログラム２４にて行なわれるが、この左眼Ｅの抽出には、例えば、パターンマッチング、微分エッジ（エッジ処理）、ハフ変換等の公知の方法が用いられる。また、半径推定プログラム２６によって行なわれる唇Ｌの抽出には、例えば、パターンマッチング、微分エッジ等の公知の方法が用いられる。

一方、左眼Ｅと仮想直線Ｌ１との離間距離Ｙは、離間距離算出プログラム２８にて算出されるようになっている。具体的には、上記仮定の下では、顔Ｆの左右何れか一方の縁部（本実施の形態では右縁部。以下、顔隅ＦＥという）から仮想直線Ｌ１までの仮想距離が回転半径Ｒに一致することから、画像Ｐから抽出した顔隅ＦＥと左眼Ｅとの画像Ｐ上における距離Ｘ（画像Ｐに投影された距離）を、これらの間の画素数に基づいて検出し、この距離Ｘを回転半径Ｒから差し引いて離間距離Ｙ（＝Ｒ−Ｘ）を得る構成とされている。

したがって、顔ＦとＣＣＤカメラ１２とが図１に示される配置関係にある場合において、図１（Ａ）及び図２（Ａ）に示すように顔Ｆがほぼ正面を向いている場合には、離間距離Ｙは正の値となり、図１（Ｂ）及び図２（Ｂ）に示すように顔Ｆが比較的大きく左（ＣＣＤカメラ１２の正面）を向いている場合には、離間距離Ｙは負の値となる。この離間距離算出プログラム２８における顔隅ＦＥの抽出には、例えば、微分エッジを用いる方法、顔の肌色を利用する方法（カラーの場合）等、公知の方法が用いられる。

以上説明したように、回転中心Ｃ、仮想直線Ｌ１、Ｌ２は、それぞれ角度θｅの算出原理を説明するために概念的に用いられるものであって、実際の角度θｅの算出にあたってＣＣＤカメラ１２の撮像画像Ｐから特定されることはない。なお、仮想直線Ｌ１が本発明における仮想直線に相当する。

そして、基準角度設定プログラム３４は、図１（Ａ）に示される如く顔Ｆが正面を向いているときの角度θｅを、基準角度θｅ１として設定して記憶するものである。本実施の形態では、基準角度設定プログラム３４は、所定の基準設定条件を満足している場合に顔Ｆが正面を向いていると推定し、この条件を満足しているときに撮像された画像Ｐに基づいて算出された角度θｅを基準角度θｅ１として設定・記憶するようになっている。したがって、基準角度θｅ１は、顔Ｆが正面を向いているときの離間距離をＹ１として、θｅ１＝ｓｉｎ^-1（Ｙ１／Ｒ）として算出される。

なお、基準設定条件としては、例えば、運転者が顔Ｆを正面に向けつつ手元スイッチを操作したことに対応した信号が入力されたか否か、車両Ｓの車速が一定以上でかつ舵角が所定範囲内である（運転者の顔Ｆが正面を向いていると推定される）ことに対応する信号が入力されたか否か等を採用することができる。

また、図１（Ｂ）または図１（Ｃ）に例示される如く、顔向き角度θｅ２は仮想直線Ｌ１と仮想直線Ｌ２との成す角、すなわち左眼Ｅの仮想直線Ｌ１に対する回転中心Ｃ廻りの角位置として算出されるから、顔Ｆが任意の方向を向いているときの離間距離ＹをＹ２に置き換えて表すと、θｅ２＝ｓｉｎ^-1（Ｙ２／Ｒ）となる。そして、顔の向き算出プログラム３２は、仮想直線Ｌ１に対する顔向き角度θｅ２から基準角度θｅ１を差し引くことで、仮想直線Ｌ１に対する角度を相殺した正面向きに対する顔Ｆの角度θｆ（＝θｅ２−θｅ１）を得るようになっている。本実施の形態では、図１（Ｂ）に示すように顔Ｆが左向きの場合はθｆが負の値となり、図１（Ｃ）に示すように顔Ｆの向きが右向きの場合はθｆが正の値となる構成とされている。これにより、単にθｆを算出することで顔Ｆが左向きであるか右向きであるかまで検知することができる構成である。

次に本実施の形態の作用について図３に示されるフローチャートを用いて説明する。

上記構成の脇見モニタ警報装置１０では、例えば、イグニッションキーをキーシリンダへ挿入し、車両Ｓのアクセサリ（例えば、オーディオやパワーウインド）が作動可能な状態、若しくは、エンジンが始動した状態となると、脇見検知コンピュータ２０が起動し、脇見検知コンピュータ２０に予め記憶された顔の向き検知プログラム２２が起動されると共に該顔の向き検知プログラム２２がＣＣＤカメラ１２を作動させる。

顔の向き検知プログラム２２が起動している脇見検知コンピュータ２０では、先ず、ステップ４０でＣＣＤカメラ１２に運転者の左眼Ｅを含む顔Ｆの画像Ｐを撮像させ、この画像Ｐを画像データとして読み込む。ステップ４０で画像データが入力されると左眼抽出プログラム２４であるステップ４２へ進み、該ステップ４２では、画像データから画像Ｐ上における左眼に相当する部分を抽出する。

次いで、ステップ４４乃至ステップ４８にて構成される半径推定プログラム２６にて、頭（顔Ｆ）の回転半径Ｒを算出する。具体的には、ステップ４４で画像Ｐ上における唇Ｌに相当する部分を抽出する。唇Ｌを抽出するとステップ４６へ進み、ステップ４６では、画像Ｐ上における左眼Ｅと唇Ｌとの鉛直線に沿う距離Ｄを、左眼Ｅと唇Ｌとの間の上下方向の画素数として算出（検出）する。

左眼Ｅと唇Ｌとの距離Ｄを算出するとステップ４８へ進み、距離Ｄに基づいて左眼Ｅの回転半径Ｒを算出する。具体的には、半径推定プログラム２６には、回転半径Ｒを距離Ｄの関数とした演算式Ｒ＝ｆ（Ｄ）が実行可能に記憶されており、該演算式に距離Ｄを代入することで回転半径Ｒを算出する。すなわち、予め設定された上記演算式が示す関係から頭の回転半径Ｒが推定される。

頭の回転半径Ｒが推定されると、ステップ５０乃至ステップ５４にて構成される離間距離算出プログラム２８にて、仮想直線Ｌ１と左眼Ｅとの離間距離Ｙを算出する。具体的には、ステップ５０で画像Ｐ上の顔Ｆの顔隅ＦＥを抽出する。顔隅ＦＥを抽出するとステップ５２へ進み、ステップ５２では、顔隅ＦＥと左眼Ｅとの水平線に沿う画像Ｐ上における距離Ｘを、顔隅ＦＥと左眼Ｅとの間の左右方向の画素数として算出（検出）する。

顔隅ＦＥと左眼Ｅとの距離Ｘを算出するとステップ５４へ進み、ステップ５４では、頭の回転半径Ｒから距離Ｘを差し引いて画像Ｐ上における仮想直線Ｌ１と左眼Ｅとの離間距離Ｙを算出する。すなわち、離間距離算出プログラム２８には、Ｙ＝Ｒ−Ｘなる演算式が実行可能に記憶されており、ステップ４８（半径推定プログラム２６）にて算出された回転半径Ｒ及びステップ５２で算出された距離Ｘを上記演算式に代入して離間距離Ｙを得る。

画像Ｐ上における回転中心Ｃ（仮想直線Ｌ１）と左眼Ｅとの離間距離Ｙを算出すると、角度算出プログラム３０であるステップ５６へ進み、ＣＣＤカメラ１２に対する顔Ｆの角度θｅ２を算出する。すなわち、角度算出プログラム３０にはθｅ２＝ｓｉｎ^-1（Ｙ／Ｒ）で表される上記演算式（１）が実行可能に記憶されており、この演算式（１）に、ステップ４８（半径推定プログラム２６）にて算出された回転半径Ｒ及びステップ５４で算出された離間距離Ｙを代入して角度θｅ２を得る。

角度θｅ２を算出すると、ステップ５８へ進む。ステップ５８では、基準角度θｅ１が設定（記憶）されているか否かを判断する。ステップ５８で基準角度θｅ１が設定されていると判断された場合には、顔の向き算出プログラム３２であるステップ６０へ進み、ステップ６０では、ステップ５６（角度算出プログラム３０）にて算出した角度θｅ２と基準角度θｅ１との関係から、正面向きに対する顔Ｆの向きθｆを算出する。具体的には、顔の向き算出プログラム３２には、演算式θｆ＝θｅ２−θｅ１が実行可能に記憶されており、この演算式に、ステップ５６に算出された角度θｅ２及び記憶されている基準角度θｅ１を代入して、正面向きに対する顔Ｆの向きθｆを得る。

顔Ｆの向きθｆを算出するとステップ６２へ進み、ステップ６２では、脇見検知コンピュータ２０の脇見検知プログラムに顔Ｆの向きθｆを出力する。この脇見検知プログラムは、例えば、顔Ｆの向きθｆが所定の閾値以上である場合や、顔Ｆの向きθｆが閾値以上である頻度または時間が所定頻度または所定時間以上である場合等に、警報装置３６を作動させる。これにより、脇見モニタ警報装置１０は、脇見をしていると推定される運転者に注意を喚起する。ステップ６２で顔向き角度θｆを出力すると、ステップ４０へ戻り、新たな画像Ｐに基づいてステップ４０乃至ステップ６０を実行して顔Ｆの向きθｆを算出し、ステップ６２でこれを出力する。すなわち、顔向き角度θｆの検知、出力を繰り返す。

一方、ステップ５８で基準角度θｅ１が設定されていないと判断された場合は、基準角度設定プログラム３４を構成するステップ６４へ進む。ステップ６４では、基準角度θｅ１を設定するための条件が満足されているか否かを判断する。そして、ステップ４０で読み込んだ画像Ｐが、運転者の顔Ｆが正面を向いているいか正面を向いていると推定されるときに撮像されたものであるときに、基準角度θｅ１を設定するための条件が満足されていると判断される。

基準角度θｅ１を設定するための条件が満足されていると判断された場合はステップ６６へ進み、ステップ６６では、基準角度θｅ１が設定され記憶される。基準角度θｅ１を設定すると、ステップ４０へ戻り、新たな画像Ｐに基づいてステップ４０乃至ステップ６０を実行して顔Ｆの向きθｆを算出する。このとき、基準角度θｅ１がステップ６０で参照される。

一方、ステップ６４で基準角度θｅ１を設定するための条件が満足されていないと判断された場合はステップ４０へ戻り、基準角度θｅ１を設定するための条件を満足するまでステップ４０乃至ステップ５６を繰り返す。

また、図示は省略するが、顔の向き検知プログラム２２は、例えば、シート位置調整スイッチが操作されたことに対応する信号が入力されるか、画像Ｐ上における顔Ｆの位置（重心位置等）が変化すると、設定されている基準角度θｅ１、及び記憶されている回転半径Ｒを共に消去する。そして、顔の向き検知プログラム２２は、シート位置調整後または画像Ｐ上における顔Ｆの位置の変化後に撮像された新たな画像Ｐに基づいて回転半径Ｒを推定すると共に、この回転半径Ｒを用いて算出した角度θｅを、ステップ６４の条件を満足していることを条件に、新たな基準角度θｅ１として設定する。その後、これらの回転半径Ｒ及び基準角度θｅ１を参照して顔向き角度θｆを算出する。なお、シート位置調整後すなわち運転者の顔ＦがＣＣＤカメラ１２に対し主に前後方向（上記光軸方向に交差する方向）に移動した後には、ＣＣＤカメラ１２と頭の中心である回転中心Ｃとを結ぶ仮想直線Ｌ１の角度も、図１に示す状態（ＣＣＤカメラ１２の光軸に一致する状態）から変化する。

ここで、脇見検知コンピュータ２０（顔の向き検知プログラム２２）では、ＣＣＤカメラ１２の撮像画像Ｐに基づいて得た回転半径Ｒと離間距離Ｙとから仮想直線Ｌ１に対する顔Ｆの向きである角度θｅ２を検知するため、従来の如く撮像画像Ｐをそれぞれ異なる顔Ｆの向きに対応する膨大な辞書データと比較する必要がなく、顔Ｆの向き検出処理が容易で処理負荷が小さい。すなわち、分解能に依存して処理負荷が増大してしまうことがない。また、顔Ｆにおける一特徴部分である左眼Ｅを用いて顔Ｆの向きを検知するため、従来の如く両眼を撮像画像Ｐに含む必要がなく、検知することができる顔Ｆの向きの範囲（検知範囲）が広い。さらに、撮像画像Ｐには左眼Ｅを含めば足りるため、ＣＣＤカメラ１２の撮像位置すなわち設置位置の自由度が高い。なお、回転半径Ｒを推定するために撮像範囲に含む唇Ｌは、画像Ｐ上で左眼Ｅの下側に位置するため、例えば左眼Ｅに対する右眼のように検出範囲を狭めてしまうことがない。

このように、本実施の形態に係る顔の向き検知装置が適用された脇見モニタ警報装置１０では、ＣＣＤカメラ１２の撮像画像Ｐに基づいて、簡単かつ広範囲に亘り顔Ｆの向きを検知することができる。

また、脇見検知コンピュータ２０（顔の向き検知プログラム２２）では、顔Ｆが正面を向いている（と推定される）ときの仮想直線Ｌ１に対する顔Ｆの向きである基準角度θｅ１を、上記任意の方向を向いている顔Ｆの角度θｅ２から差し引くため、仮想直線Ｌ１に対する角度が相殺された正面に対する顔Ｆの向きを検知することができる。このため、ＣＣＤカメラ１２に対する運転者の顔Ｆの位置が変化することで仮想直線Ｌ１の角度が変化する場合であっても、該変化し得る仮想直線Ｌ１に対する相対的な顔Ｆの向きではなく、正面（所定の方向）に対する絶対的な顔Ｆの向きであるθｆを検知することができる。

しかも、脇見検知コンピュータ２０は、ＣＣＤカメラ１２の撮像画像Ｐに基づいて基準角度θｅ１を設定する基準角度設定プログラム３４を有するため、ＣＣＤカメラ１２に対する顔Ｆの位置（仮想直線Ｌ１の角度）が変化した場合には新たに基準角度θｅ１を設定することで、基準角度θｅ１設定時の仮想直線Ｌ１と顔Ｆの向きθｆ検知時の仮想直線Ｌ１とを確実に一致させることができる。そして、脇見検知コンピュータ２０は、運転席のシート位置調整スイッチが操作された場合等、ＣＣＤカメラ１２に対する顔Ｆの位置が変更された（と推定される）場合には、新たに基準角度θｅ１を設定するため、ＣＣＤカメラ１２に対する位置が異なる運転者（検知対象者）について、それぞれ正面向きに対する顔Ｆの向きθｆを検知することができる。すなわち、運転者毎に基準角度θｅ１を設定するため、ＣＣＤカメラ１２に対し任意の位置関係にある検知対象者の顔Ｆの向きを検知することができる。

また、基準角度設定プログラム３４が、顔Ｆが正面を向いているとき、または顔Ｆが正面を向いていると推定されるときにＣＣＤカメラ１２が撮像した一画像Ｐに基づく角度算出プログラム３０（ステップ５６）の算出結果を、基準角度θｅ１として設定するため、一画像Ｐに基づいて迅速に基準角度θｅ１を設定することができる。

さらに、脇見モニタ警報装置１０では、ＣＣＤカメラ１２が車両Ｓのインナミラー１６に内蔵して設けられているため、例えばステアリングホイール１８や運転者の腕等の影響によって該運転者の左眼Ｅを含む顔Ｆ（の部分）を撮像できなくなる可能性が低く、左眼Ｅを含む顔Ｆを確実に撮像することができる。本実施の形態では、ＣＣＤカメラ１２の撮像した画像データが運転席に着座している運転者の左眼Ｅを捉えなかった時間は、全撮像時間の１．７％とわずかであった。そして、脇見検知コンピュータ２０（顔の向き検知プログラム２２）は、上記の通り運転者の左眼Ｅを一特徴部分として顔Ｆの向きを検知するため、インナミラー１６に内蔵され斜め上前方から顔Ｆを撮像するＣＣＤカメラ１２と好適に組み合わされる。

なお、上記の実施の形態では、本発明に係る顔の向き検知装置が車両Ｓの脇見モニタ警報装置１０に適用された例を示したが、本発明はこれに限定されず、例えば、プラントのオペレータや航空機・船舶等の操縦者等の脇見を監視するモニタ装置等に適用されても良い。また、本発明に係る顔の向き検知装置は、警報装置３６と接続されて脇見モニタ警報装置１０を構成するのに限定されることはない。

また、上記の実施の形態では、顔の向き検知プログラム２２が脇見検知コンピュータ２０に記憶された構成としたが、本発明はこれに限定されず、例えば、車両Ｓを総合的に制御する運転支援システムの一部を構成するコンピュータに顔の向き検知プログラム２２を記憶、実行させても良い。

さらに、上記の実施の形態では、顔Ｆの向きを検出するための該顔Ｆにおける一特徴部分として左眼Ｅを用いた好ましい例を示したが、本発明はこれに限定されず、例えば、ＣＣＤカメラ１２の設置位置等に応じ、左眼Ｅに代えて、例えば、右眼、左右何れ一方の鼻の穴、唇Ｌ、または眉毛等を一特徴部分として顔向き角度θｆを算出するようにしても良い。

さらにまた、上記の実施の形態では、頭の回転半径Ｒを推定するために左眼Ｅと唇Ｌとの距離Ｄを顔Ｆの代表長さとする例を示したが、本発明はこれに限定されず、顔Ｆにおける如何なる部分間の距離も、回転半径Ｒを推定するための顔Ｆの代表長さとすることができる。したがって、例えば、左眼Ｅまたは眉毛等と、顎または鼻の穴等との距離から回転半径Ｒを推定するようにすることが可能である。但し、代表長さの一端を規定する顔Ｆの特徴部分は、画像Ｐから抽出する特徴部分の削減（すなわち処理負荷低減）の観点から、顔向き角度θｆを算出するための本発明における「一特徴部分」とすることが好ましい。

また、上記の実施の形態では、運転者の顔Ｆが正面を向いている（と推定される）場合の画像Ｐに基づいて算出されたＣＣＤカメラ１２に対する角度θｅを、基準角度θｅ１として設定する構成としたが、本発明はこれに限定されず、例えば、車両運転中のように運転者の顔Ｆが正面を向いている時間が長い場合（用途）には、所定期間に撮像した複数の画像Ｐにそれぞれ基づく複数の角度θｅの移動平均として、基準角度θｅ１を常時更新しつつ設定するようにしても良い。さらに例えば、移動平均を取る複数の角度θｅとして、車両Ｓの車速が一定以上でかつ舵角が所定範囲内であるときの撮像画像Ｐに基づく角度θｅのみを抽出するようにしても良い。

さらに、上記の実施の形態では、顔の向き検知装置が車両Ｓに適用された場合においてＣＣＤカメラ１２がインナミラー１６に内蔵された好ましい構成としたが、本発明はこれに限定されず、例えば、ＣＣＤカメラ１２が、ルーフ１４に設けられたマップランプ装置３８（図４参照）に内蔵されたり、インストルメントパネル上（顔Ｆを正面から撮像するよう位置）等に配置されたりしても良い。また、本発明における撮像手段がＣＣＤカメラ１２に限定されないことは言うまでもない。

さらにまた、上記の実施の形態では、図３に示すフローチャートに基づいて顔の向き検知プログラム２２の作用を説明したが、本発明における顔の向き検知装置による顔Ｆの向きを検知するための各工程の順序やプログラムの構成は、図３に示すフローチャートに限定されることはなく、適宜変更可能であることは言うまでもない。

本発明の実施の形態に係る顔の向き検知装置による顔の向き検知原理を説明するための模式的な平面図である。本発明の実施の形態に係る顔の向き検知装置によって画像から抽出される特徴部分を示す模式図である。本発明の実施の形態に係る顔の向き検知装置が適用された脇見モニタ警報装置に記憶された顔の向き検知プログラムのフローチャートである。本発明の実施の形態に係る顔の向き検知装置が適用された脇見モニタ警報装置の概略構成及びＣＣＤカメラの配置を示す斜視図及びブロック図である。従来の顔の向き検知原理を示す概念図である。従来の別の顔の向き検知原理を示す概念図である。

符号の説明

１０脇見モニタ警報装置（顔の向き検知装置）
１２ＣＣＤカメラ（撮像手段）
１６インナミラー
２０脇見検知コンピュータ（半径推定手段、距離算出手段、角度算出手段、顔の向き算出手段）
２２顔の向き検知プログラム（半径推定手段、距離算出手段、角度算出手段、顔の向き算出手段）
２６半径推定プログラム（半径推定手段）
２８離間距離算出プログラム（距離算出手段）
３０角度算出プログラム（角度算出手段）
３２顔の向き算出プログラム（顔の向き算出手段）
３４基準角度設定プログラム
Ｓ車両

Claims

顔の向きが変化する際の回転中心に対する相対位置が一定とされ、該顔の一特徴部分を含む範囲を撮像する撮像手段と、
前記撮像手段にて撮像した画像に基づいて顔の代表長さを検出し、該検出された代表長さと予め設定された演算式とから顔の向きが変化する際の前記一特徴部分の回転半径を推定する半径推定手段と、
前記画像に基づいて、顔の向きが変化する際の回転中心及び前記撮像手段を通る仮想直線と前記一特徴部分との離間距離を算出する距離算出手段と、
前記回転半径と前記離間距離とを用いて前記仮想直線に対する前記一特徴部分の回転角度を算出する角度算出手段と、
を備えた顔の向き検知装置。
顔が所定方向を向いている場合の前記一特徴部分の前記仮想直線に対する角度を基準角度とし、該基準角度を前記角度算出手段の算出結果から差し引いて、該所定方向に対する顔の向きを算出する顔の向き算出手段をさらに備えた、ことを特徴とする請求項１記載の顔の向き検知装置。
前記所定方向は、顔が正面を向いているとき、または顔が正面を向いていると推定される方向であり、その撮像画像に基づく前記角度算出手段の算出結果を、前記基準角度として設定する、ことを特徴とする請求項２記載の顔の向き検知装置。
車両に搭載されると共に該車両室内の後方視認用インナミラーに前記撮像手段を配置し、前記一特徴部分を前記撮像手段に近い方の眼とした、ことを特徴とする請求項１乃至請求項３の何れか１項記載の顔の向き検知装置。