JP4325271B2 - Status detection device and status detection system - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a state detection device which can be improved in cost and versatility. <P>SOLUTION: An image processing part 22 calculates optical flow between pick-up images obtained by imaging a position where a driver's body exists when the driver sits down in time series based on the pick-up images. Then, a state detection part 24 detects at least one of three driver states, the direction of a driver's face, entrance/exit of an object other than the driver's face in an imaging range and presence/absence of the driver as a detection target from the calculated optical flow. In this case, the state detection part 24 detects the detection target without specifying the position of the driver's body in the pick-up images. <P>COPYRIGHT: (C)2005,JPO&amp;NCIPI

Description

所定の式は、以下に示すものである。
【００５２】
【数２】

なお、ｄ（ｘ，ｙ）は、撮像画像内の任意位置の画素値であり、ｄ’（ｘ，ｙ）は変換後の画素値である。
【００５３】
その後、画像処理部２２は、現在の撮像画像の探索領域内から、前回の撮像画像内の参照領域に最も類似する位置を求めて、移動量（ｘｄ，ｙｄ）、すなわちオプティカルフローを算出する（ＳＴ１１）。具体的には、画像処理部２２は、まず、探索領域内から参照領域に最も類似する領域を求め、最も類似する領域の中心点を、参照領域に最も類似する位置とする。そして、画像処理部２２は、求められた最も類似する領域の中心点と、探索領域の中心点とから移動量（ｘｄ，ｙｄ）を算出し、オプティカルフローとする。
【００５４】
ここで、ステップＳＴ１１について詳細に説明する。上述したように、撮像画像上には予め複数の参照領域が設定されている。また、探索領域は各参照領域を取り囲むように設定される。また、参照領域と探索領域とは時間を異にして設定される。具体的には、図１０に示すように、参照領域は時刻ｔにおいて設定され、探索領域は時刻ｔ後の時刻（ｔ＋１）において設定される。
【００５５】
図１０は、図９に示すステップＳＴ１１における移動量（ｘｄ，ｙｄ）の算出方法の説明図である。ステップＳＴ１１の処理において、画像処理部２２は、まず、候補領域を作成する。この候補領域は、参照領域と同じ大きさを有する領域である。そして、画像処理部２２は、探索領域内の所定箇所に候補領域を設定し、設定した候補領域と参照領域とを比較等して類似度を求める。次に、画像処理部２２は、候補領域を他の位置に動かし、動かした位置の候補領域と参照領域とを比較等して類似度を求める。
【００５６】
その後、画像処理部２２は、候補領域を順次移動させていき、探索領域内での各箇所において参照領域との類似度を算出する。類似度は、例えば、濃淡データを基準に判断される。ここで、濃淡データを基準に類似度を算出する場合において、類似度をｃｏｓθとすると、類似度は以下の式にて表される。
【００５７】
【数３】

上式においては、参照領域の濃淡データをＴとし、候補領域の濃淡データをＳとしている。また、ｘｄは、探索領域内のＸ座標値を示し、ｙｄは、探索領域内のＹ座標値を示している。
【００５８】
以上から、画像処理部２２は、類似度が最大となる位置Ｓを定め、点Ｓと点Ｏとの座標値の差を移動量（ｘｄ，ｙｄ）として取得し、これをオプティカルフローとする。
【００５９】
再度、図９を参照して説明する。移動量（ｘｄ，ｙｄ）の算出後、画像処理部２２は、類似度の範囲が閾値以上か否かを判断する（ＳＴ１２）。
【００６０】
ここでの判断を図１１を参照して説明する。図１１は、図９に示すステップＳＴ１２の処理の説明図である。画像処理部２２は、候補領域によって探索領域内を走査していき、探索領域内の各箇所の類似度を算出する。そして、画像処理部２２は、得られた類似度の分散を求める。
【００６１】
例えば、図１１に示すように、各箇所における類似度を変化量として表した場合、変化量Ｃ１では分散値が小さく、分散の範囲が狭いと言える。一方、変化量Ｃ２では変化量Ｃ１よりも分散値が大きく、分散の範囲も大きいと言える。
【００６２】
ここで、分散の範囲が狭い場合とは、探索領域内の各箇所において、同じような類似度が検出される場合である。例えば、参照領域が真っ白な画像である場合など、特徴が少ない場合には探索領域内のどの箇所と比較しても似たような類似度の結果が得られることとなる。そして、このような場合、それぞれ類似度の差が小さいことから、類似度が最大となる点Ｓの検出が不正確になりやすい。このため、図９のステップＳＴ１２の処理では、所定の閾値と比較し、好適なものと不適なものとの選別するようにしている。
【００６３】
再度、図９を参照して説明する。類似度の範囲が閾値以上であると判断した場合（ＳＴ１３：ＹＥＳ）、画像処理部２２は、参照領域を有効な領域とし、ｆｄに「１」を代入する（ＳＴ１３）。そして、処理はステップＳＴ１５に移行する。
【００６４】
一方、類似度の範囲が閾値以上でないと判断した場合（ＳＴ１２：ＮＯ）、画像処理部２２は、参照領域を無効な領域とし、ｆｄに「０」を代入する（ＳＴ１４）。そして、処理はステップＳＴ１５に移行する。このように、画像処理部２２は、類似度（特徴量の１つ）の変化量と、予め設定される閾値とを比較することにより、オプティカルフローの計算に用いるか否かを判断している。
【００６５】
ステップＳＴ１５において、画像処理部２２は、領域の数だけ上記のステップＳＴ１１〜ＳＴ１４を行ったか否かを判断する（ＳＴ１５）。すなわち、画像処理部２２は、すべての参照領域について、探索領域内から類似する位置を特定したか否かを判断している。
【００６６】
いずれかの参照領域について、探索領域内から類似する位置を特定していないと判断した場合（ＳＴ１５：ＮＯ）、処理はステップＳＴ１１に戻り、類似する位置を特定していない参照領域について、上記ステップＳＴ１１〜ＳＴ１４の処理を繰り返すこととなる。
【００６７】
一方、すべての参照領域について、探索領域内から類似する位置を特定したと判断した場合（ＳＴ１５：ＹＥＳ）、画像処理部２２は、各参照領域毎のオプティカルフローのデータを動作検出部２３に送信する。その後、画像処理部２２による処理は終了する。
【００６８】
なお、以上の図９に示した画像処理部２２の動作は、３つの運転者状態のうちいずれを検出する場合であっても共通している。
【００６９】
ここで、３つの運転者状態のそれぞれにおけるオプティカルフローの例を説明する。図１２は、運転者の顔の向きを検出する場合のオプティカルフローの例を示す説明図であり、図１３は、運転者の有無を検出する場合のオプティカルフローの例を示す説明図である。また、図１４〜図１６は、運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図である。なお、図１４は、運転者が目付近に手を移動させたときのオプティカルフローの例を示しており、図１５は、運転者が道路マップ等を見るために本を持ち上げたときのオプティカルフローの例を示している。また、図１６は、ハンドルのスポーク部が撮像範囲内に進入してきた場合のオプティカルフローの例を示している。
【００７０】
まず、図１２を参照して説明する。時刻ｔにおいて運転者は前方を視認している（図１２（ａ））。その後、時刻（ｔ＋１）において、運転者は交差点の確認等を行うべく、顔を左方に向ける。このとき、オプティカルフローが検出される（図１２（ｂ））。ここで、画像中の四角で表示されている領域は、参照領域であり、各参照領域から伸びる線分は、各部位の移動量、すなわちオプティカルフローを示している。
【００７１】
その後、時刻（ｔ＋２）において、運転者は顔をさらに左方に向ける。このときも同様に、オプティカルフローが検出される（図１２（ｃ））。そして、時刻（ｔ＋３）において運転者は顔を左上方に向けると、同様にオプティカルフローが検出される（図１２（ｄ））。
【００７２】
なお、図１２中において、参照領域を示す四角枠が実線にて図示されているものは、図９のステップＳＴ１２にて「ＮＯ」と判断され、無効領域とされた参照領域であり、四角枠が破線にて図示されているものは、図９のステップＳＴ１２にて「ＹＥＳ」と判断され、有効領域とされた参照領域である。これは、以下の図１３〜図１６においても同様とする。
【００７３】
次に、図１３を参照して説明する。まず、運転者の乗車前の状態において画像内の物体等には当然に動きが見られず、オプティカルフローは検出されない。また、参照領域の多くが無効領域となっている（図１３（ａ））。その後、運転者が乗車し始めると、運転者の動きが検出されてオプティカルフローが算出される。また、この際に、参照領域の一部が有効領域となる（図１３（ｂ））。その後、運転者は乗車を完了する。このとき、運転者は一端静止状態となるため、オプティカルフローの検出量は少なくなるが、運転者は完全には停止することができず僅かながら動くため、参照領域の殆どが有効領域となる（図１３（ｃ））。
【００７４】
なお、図１３においては、オプティカルフローが非常に僅かしか検出されなかった場合、参照領域から伸びる線分の図示を省略している。これは、以下の図１４〜図１６についても同様とする。
【００７５】
次に、図１４を参照して説明する。まず、時刻ｔにおいて運転者は前方を視認している（図１４（ａ））。その後、時刻（ｔ＋１）において、運転者は手を目付近に移動させる。このとき、撮像画像の一部にオプティカルフローが検出される（図１４（ｂ））。その後、時刻（ｔ＋２）においては、運転者の手の動きは殆どなく、オプティカルフローの検出量は少なくなる（図１４（ｃ））。
【００７６】
次に、図１５を参照して説明する。まず、時刻ｔにおいて運転者は、前方を視認している状態から、道路マップ等を見ようとして一端視線を落とす。このとき、僅かながら顔自体も下方へ移動するため、僅かにオプティカルフローが検出される（図１５（ａ））。その後、時刻（ｔ＋１）において、運転者は道路マップ等を持ち上げる。このとき、撮像画像の中央のやや下方にオプティカルフローが検出される（図１５（ｂ））。その後、時刻（ｔ＋２）において運転者は、道路マップ等を注視し、動きが殆どなくなる。このため、オプティカルフローの検出量は少なくなる（図１５（ｃ））。
【００７７】
次に、図１６を参照して説明する。まず、時刻ｔにおいて運転者は直進道路を運転している（図１６（ａ））。その後、時刻（ｔ＋１）において、運転者は右折動作を行う。このとき、撮像範囲内にハンドルのスポーク部が進入し、オプティカルフローが検出される（図１６（ｂ））。その後、時刻（ｔ＋２）において、運転者がさらに右折方向へハンドルを切ると、さらにオプティカルフローが検出される（図１６（ｃ））。
【００７８】
なお、オプティカルフローの計算方法は本実施形態の他に、八木信行監修, "ディジタル映像処理", 映像情報メディア学会編, pp.129-139, 2000, オーム社 などにて動画像から動きを検出する手法が複数紹介されていおり、それらを用いることもできる。
【００７９】
次に、動作検出部２３の処理を説明する。図１７は、図２に示した動作検出部２３の動作を示すフローチャートである。なお、以下に説明する動作検出部２３による処理は、運転者の有無を検出する場合には実行されないこととなる。
【００８０】
また、図１７に示す処理では、検出対象が運転者の顔の向きである場合と、運転者の顔以外のものの撮像範囲内への出入である場合とでは、領域グループの設定が異なっている。
【００８１】
まず、領域グループの相違について説明する。検出対象が運転者の顔の向きである場合、領域グループは、図７に示したように設定される。すなわち、９つの領域グループＡ１〜Ｉ１のそれぞれが３行３列の９つの参照領域を含むように設定される。
【００８２】
一方、検出対象が運転者の顔以外のものの撮像範囲内への出入である場合、領域グループは、図８に示したように設定される。すなわち、８つの領域グループＡ２〜Ｈ２のそれぞれが３〜５つの参照領域を含むように設定される。
【００８３】
ここで、領域グループの設定方法が異なるのには、以下の理由がある。すなわち、運転者の顔の向きを検出する場合には、運転者の顔の位置が画像上のどの位置に移動しても動きをとらえる必要がある。このため、画像全体に領域グループを設定することが望ましくなる。一方、運転者の顔以外のものの撮像範囲内への出入を検出する場合には、出入に特化して検出すればよく、画像の中心部に領域グループを設定する必要がなくなる。
【００８４】
このように、本実施形態では、検出対象に応じて領域グループの設定を異ならせ、それぞれ好適に検出できるようにしている。
【００８５】
次に、以上のような領域グループの相違を前提として、図１７のフローチャートを説明する。
【００８６】
まず、動作検出部２３は、複数の領域グループのうち処理の対象となるものを選択し、さらに、そのグループ内の参照領域のうちいずれか１つを選択する。
【００８７】
そして、動作検出部２３は、選択した領域グループについて、画像内の物体の移動量に関する数値ｘｍ，ｙｍ，ｃを「０」に初期化する（ＳＴ２０）。その後、動作検出部２３は、選択した参照領域が有効領域であるか否か、すなわちｆｄが「１」であるか否かを判断する（ＳＴ２１）。
【００８８】
ｆｄが「１」であると判断した場合（ＳＴ２１：ＹＥＳ）、動作検出部２３は、移動量であるオプティカルフローを積算する（ＳＴ２２）。具体的に、動作検出部２３は、「ｘｍ」を「ｘｍ＋ｘｄ」とし、「ｙｍ」を「ｙｍ＋ｙｄ」とし、「ｃ」を「ｃ＋１」とする。そして、処理はステップＳＴ２３に移行する。
【００８９】
一方、ｆｄが「１」でないと判断した場合（ＳＴ２１：ＮＯ）、動作検出部２３は、移動量であるオプティカルフローを積算することなく、処理はステップＳＴ２３に移行する。
【００９０】
ステップＳＴ２３において、動作検出部２３は、選択した領域グループ内のすべての参照領域について処理したか否かを判断する（ＳＴ２３）。いずれかの参照領域について処理をしてないと判断した場合（ＳＴ２３：ＮＯ）、処理はステップＳＴ２１に戻り、上記ステップＳＴ２１，ＳＴ２２を繰り返すこととなる。すなわち、動作検出部２３は、すべての参照領域について有効領域か否かを判断し、有効領域である場合には、移動量を積算するという処理を行っていく。
【００９１】
そして、順次移動量の積算等が行われ、すべての参照領域について処理した場合（ＳＴ２３：ＹＥＳ）、動作検出部２３は、ｃが「０」であるか否かを判断する（ＳＴ２４）。
【００９２】
「ｃ」が「０」であると判断した場合（ＳＴ２４：ＹＥＳ）、処理はステップＳＴ２６に移行する。一方、「ｃ」が「０」でないと判断した場合（ＳＴ２４：ＮＯ）、動作検出部２３は、積算した「ｘｍ」「ｙｍ」についての平均を求める（ＳＴ２５）。すなわち、動作検出部２３は、「ｘｍ＝ｘｍ／ｃ」及び「ｙｍ＝ｙｍ／ｃ」を実行し、平均の移動量を求める。
【００９３】
ここで、平均の移動量は、例えば前述の図１２に示すようなものである。図１２において平均移動量は、各画像（（ａ）を除く）の右下に矢印で示されている。なお、平均の移動量は、領域グループ毎に求められるものであるが、図１２では説明の便宜上、全体画像の平均の移動量を示すものとする。また、ここで示す平均の移動量は、顔の平均の移動量を示している。すなわち、顔の向きを検出対象としている場合の平均の移動量である。
【００９４】
再度、図１７を参照して説明する。動作検出部２３は、上記のような平均移動量の算出後、求めた平均移動量について、移動平均値（ａｘ，ａｙ）（動き量）を求める（ＳＴ２６）。移動平均を求める範囲は任意に定められており、例えば、動作検出部２３は、図１２（ｂ）、（ｃ）及び（ｄ）に示した平均移動量（矢印の大きさに相当）の平均を求めるなどする。
【００９５】
その後、動作検出部２３は、平均移動量の移動平均値（ａｘ，ａｙ）を積算する（ＳＴ２７）。具体的に、動作検出部２３は、「ｓｘ」を「ｓｘ＋ａｘ」とし、「ｓｙ」を「ｓｙ＋ａｙ」とする。
【００９６】
その後、動作検出部２３は、積算値（ｓｘ，ｓｙ）の移動平均値（ｃｘ，ｃｙ）を求める（ＳＴ２８）。この移動平均を求める範囲についても任意に定められている。
【００９７】
そして、動作検出部２３は、積算値（ｓｘ，ｓｙ）と積算値の移動平均（ｃｘ，ｃｙ）の差から移動位置（ｖｘ，ｖｙ）を得る（ＳＴ２９）。具体的に、動作検出部２３は、「ｖｘ」を「ｓｘ−ｃｘ」とし、「ｖｙ」を「ｓｙ−ｃｙ」とする。
【００９８】
その後、動作検出部２３は、移動位置（ｖｘ，ｖｙ）をバッファに格納し、以前に求められていた一定時間分の移動位置（ｖｘ，ｖｙ）と現在の移動位置（ｖｘ，ｖｙ）とを現在の実動作パターンとする（ＳＴ３０）。
【００９９】
その後、動作検出部２３は、積算値（ｓｘ，ｓｙ）が閾値以上であるか否かを判断する（ＳＴ３１）。積算値（ｓｘ，ｓｙ）が閾値以上でないと判断した場合（ＳＴ３１：ＮＯ）、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１００】
一方、積算値（ｓｘ，ｓｙ）が閾値以上であると判断した場合（ＳＴ３１：ＹＥＳ）、動作検出部２３は、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であるか否かを判断する（ＳＴ３２）。積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下でないと判断した場合（ＳＴ３２：ＮＯ）、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１０１】
一方、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であると判断した場合（ＳＴ３２：ＹＥＳ）、動作検出部２３は、平均移動量の移動平均値が閾値以下であるか否かを判断する（ＳＴ３３）。平均移動量の移動平均値が閾値以下でないと判断した場合（ＳＴ３３：ＮＯ）、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１０２】
一方、平均移動量の移動平均値が閾値以下であると判断した場合（ＳＴ３３：ＹＥＳ）、動作検出部２３は、積算値（ｓｘ，ｓｙ）を「０」に初期化する（ＳＴ３４）。そして、動作検出部２３は、移動位置（ｖｘ，ｖｙ）のデータを状態検出部２４に送出し、処理はステップＳＴ３５に移行する。
【０１０３】
なお、上記ステップＳＴ３１〜ＳＴ３４の処理は、以下の理由で行っている。
【０１０４】
例えば、運転者がシートに着座した場合、運転者の顔は撮像範囲の中心に位置するとは限らない。このため、撮像範囲内において運転者の顔位置の左右の範囲が等しくならなかった場合、運転者が顔を左右に動かすことにより、左右の範囲の差に起因して誤差が発生し、これが積算値（ｓｘ，ｓｙ）として累積されてしまう。また、種々の理由により誤差が累積されてしまう場合もある。そして、徐々に誤差が積算値（ｓｘ，ｓｙ）として累積されてしまうと、顔の向きの検出や顔以外のものの撮像範囲内への出入の検出に支障をきたしてしまう。
【０１０５】
そこで、上記ステップＳＴ３１にて、積算値（ｓｘ，ｓｙ）が閾値以上か否かを判断し、閾値以上の場合に積算値（ｓｘ，ｓｙ）を「０」に初期化するようにしている。このように、所定の条件に基づいて積算値を初期化することにより、好適に検出対象を検出するようにしている。
【０１０６】
ただし、現に運転者が顔の向きを変えている段階や顔以外のものが撮像範囲内への出入している段階において積算値（ｓｘ，ｓｙ）を「０」に初期化してしまうと、初期化することによって逆に検出対象の検出に支障をきたしてしまう。そこで、ステップＳＴ３２及びＳＴ３３において、顔が動いていない状態や顔以外のものが撮像範囲内に出入していない状態であることを検出している。すなわち、動作検出部２３は、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であり、且つ平均移動量の移動平均値が閾値以下であるという所定の条件に基づいて、積算値（ｓｘ，ｓｙ）を「０」に初期化するようにしている。
【０１０７】
ステップＳＴ３５では、すべての領域グループについて処理したか否かが判断される（ＳＴ３５）。いずれかの領域グループについて処理をしてないと判断した場合（ＳＴ３５：ＮＯ）、処理は再度ステップＳＴ２０に戻り、同様の処理を行っていくこととなる。一方、すべての領域グループについて処理したと判断した場合（ＳＴ３５：ＹＥＳ）、動作検出部２３は領域グループ毎の実動作パターンデータを状態検出部２４に送出する。その後、動作検出部２３による処理は終了する。
【０１０８】
ここで、上記動作検出部２３により得られる移動位置（ｖｘ，ｖｙ）のデータ、すなわち実動作パターンの例を図１８を参照して説明する。図１８は、図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔の向きである場合を示している。
【０１０９】
なお、図１８において、縦軸は移動位置を示しており、横軸は時刻を示している。また、図１８では、画像横方向（Ｘ方向）における移動位置のみを示し、画像縦方向（Ｙ方向）における移動位置は省略するものとする。さらに、図１８では、運転者が前方を視認している状態から、顔を左に向け、この後に、再度前方を視認する場合に所定の領域グループにて得られる実動作パターンの例を示している。
【０１１０】
同図に示すように、まず、運転者が車両前方を注視している場合（時刻３５０〜４１０の期間）、移動位置は、「０」付近となっている。
【０１１１】
次に、運転者が確認動作をして顔を左に向けた場合（時刻４１０〜４３０の期間）、移動位置が「−４５〜−４８」画素程度を示す。その後、しばらく間、運転者が左を向いているままの状態でいる場合（時刻４３０〜５６０の期間）、移動位置は「−４５〜−４８」画素程度を維持する。
【０１１２】
そして、運転者が再度車両前方に顔を向けると（時刻５６０〜５８０の期間）、移動位置が「０」付近に復帰する。その後、運転者が車両前方を注視し続けると（時刻５８０〜６５０の期間）、移動位置は「０」付近を維持し続ける。
【０１１３】
このように、動作検出部２３により得られる移動位置（ｖｘ，ｖｙ）は、運転者の顔の向きを表し、この移動位置を時間経過的にとらえることで、実動作パターンＰ１が検出されることとなる。
【０１１４】
また、実動作パターンの他の例を図１９を参照して説明する。図１９は、図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔以外のものの撮像範囲への出入である場合を示している。
【０１１５】
なお、図１９において、横軸は画像横方向（Ｘ方向）における移動位置を示しており、縦軸は画像縦方向（Ｙ方向）における移動位置を示している。さらに、図１９に示す実動作パターンは、図１６に示すようにハンドル操作した場合に、所定の領域グループにおいて得られる例を示している。
【０１１６】
図１６に示すように、ハンドルのスポーク部は、撮像画像上においてＸ軸及びＹ軸に負の方向に移動している。このため、時間経過的に得られたハンドルの移動位置（ｖｘ，ｖｙ）、すなわち、実動作パターンＰ２は、図１９に示すようにＸ軸及びＹ軸に負の方向に移動を示すものとなる。なお、ハンドルを左方向に切った場合には、上記と逆になり、図１９に示す実動作パターンＰ２を原点（０，０）に対してほぼ点対称としたパターンが得られることとなる。
【０１１７】
次に、検出対象が運転者の有無である場合の動作検出部２３による動作を説明する。検出対象が運転者の有無である場合、動作検出部２３は、上記図１７の処理を行わず、全参照領域のうち図９のステップＳＴ１２において「ＹＥＳ」と判断された参照領域の数を、時間経過的に求めて実動作パターンを得る。すなわち、全参照領域のうち有効領域であるものの数をカウントして実動作パターンを得る。
【０１１８】
図１３を参照して説明したように、運転者の乗車前の状態から乗車最中の状態を経て乗車完了に至るまでの間に、有効領域の数は徐々に増加する傾向がある。動作検出部２３は、この傾向を実動作パターンとして得る。
【０１１９】
図２０は、検出対象が運転者の有無である場合の動作検出部２３により得られる実動作パターンの例を示す説明図である。なお、図２０において、縦軸は有効領域数を示し、横軸は時刻を示している。
【０１２０】
まず、運転者の乗車前の状態（時刻３５１４０〜３５１６４の期間）において有効領域数は５以下で安定している。その後、運転者が乗車し始めると、有効領域数は増加し始める（時刻３５１６４〜３５２０４の期間）。このとき、有効領域数は、６以上１５未満となる。そして、乗車完了の状態（時刻３５２０４〜３５２５０の期間）では、有効領域数はさらに増加し、１５以上となる。
【０１２１】
検出対象が運転者の有無である場合、動作検出部２３は、以上のような有効領域数の変化を実動作パターンＰ３として取得することとなる。なお、検出対象が運転者の顔の向きである場合と同様に（図１７のステップＳＴ３０のように）、動作検出部２３は、有効領域数を一定時間分だけ記憶するようにしている。このため、実際に得られる実動作パターンＰ３は、図２０に示すように時刻３５１４０〜３５２５０まで連続的でなくともよい。すなわち、実動作パターンＰ３は、時刻３５１８０〜３５２００といったように、図２０に示す有効領域数の増加変化のうち一部であってもよい。
【０１２２】
そして、実動作パターンが得られると、動作検出部２３は実動作パターンＰ３のデータを状態検出部２４に送出する。その後、動作検出部２３による処理は終了する。
【０１２３】
次に、図２に示した状態検出部２４の動作を説明する。図２１は、図２に示した状態検出部２４の動作を示すフローチャートである。
【０１２４】
同図に示すように、状態検出部２４は、まず、各領域グループのうちいずれか１つを選択する。そして、状態検出部２４は、選択したいずれか１つについて、図１１のステップＳＴ３０にて得られた実動作パターンＰと、記憶部２４ａに予め記憶される複数の記憶動作パターンＤそれぞれとの相関を求める（ＳＴ４０）。
【０１２５】
相関を求める方法としては、例えば数３と同様にして求めたり、フーリエ変換やウェブレット変換により周波数解析した情報を用いて求めたりする。
【０１２６】
ここで具体的に、実動作パターンＰ及び記憶動作パターンＤは、
【数４】

となっている。なお、上記「ｓｔａｔｅ ｃｏｄｅ」とは運転者の状態を表す状態コードである。また、「ｄａｔａ」は、検出対象が運転者の顔以外のもの撮像範囲内への出入、及び顔の向きである場合、図１７のステップＳＴ３０にて求められた移動位置（ｖｘ，ｖｙ）を示すものとなる。また、検出対象が運転者の有無である場合、「ｄａｔａ」は有効領域の数を示すものとなる。
【０１２７】
その後、状態検出部２４は、複数の記憶動作パターンのうち、最も相関の高い記憶動作パターンを検出する（ＳＴ４１）。検出後、状態検出部２４は、検出された記憶動作パターンが示す状態を、運転者の状態として検出する（ＳＴ４２）。すなわち、状態検出部２４は、相関が最も高い記憶動作パターンＤが示す顔の向きの状態等を検出結果とする。そして、状態検出部２４は、この検出結果を状態信号出力部２５に出力する。
【０１２８】
この後、状態検出部２４は、各領域グループのうち選択した１つ以外のものについても同様の処理を行い、検出結果を状態信号出力部２５に出力する。
【０１２９】
なお、上記では領域グループ毎の実動作パターンと記憶動作パターンを比較し、それぞれの検出結果を得ているが、それぞれの検出結果を総合的に判断して、１の結果を得るようにしてもよい。この場合、各領域グループの検出結果を状態信号出力部２５に順次出力するのではなく、総合的に判断した結果のみを出力するようにする。
【０１３０】
また、検出対象が運転者の有無である場合、領域グループが設定されないことから上記処理は繰り返されることがない。すなわち、状態検出部２４は、ステップＳＴ４０〜ＳＴ４２の処理を一度行い、得られた検出結果を状態信号出力部２５に出力することとなる。
【０１３１】
そして、この後に状態信号出力部２５は、状態検出部２４からの検出結果を電気信号Ｓｂに変換して外部に出力する。
【０１３２】
以上から明らかなように、本実施形態では、図９に示す画像処理が３つの運転者状態のいずれを検出する場合であっても、共通した処理が行われている。また、予め設定した参照領域についてオプティカルフローを求めていることから、従来のように、顔の位置を特定することなく検出が行われている。
【０１３３】
このようにして、本実施形態に係る状態検出装置２０では、画像処理部２２は撮像画像間のオプティカルフローを求めている。このオプティカルフローを求める方法では、画像内の何らかの物体に動きがあったときに、その動きを検出することができる。このため、検出対象が何であろうと、動きに基づいて求めることが可能なものであれば、検出対象毎に個別に設定した画像処理方法を用いる必要がなくなっている。
【０１３４】
このため、例えば、動きに基づいて求めることが可能な運転者の顔の向き、運転者の顔以外のものの撮像範囲への出入、運転者の有無については、このオプティカルフローによる１つの画像処理方法を用いればよいこととなる。
【０１３５】
故に、上記３つの運転者状態のうち１つを検出する装置を構成した場合、後に他の運転者状態を検出するように装置のグレードアップ等を図りたいときには、共通しない処理部分だけを組み込むようにすればよい。これにより、グレードアップ等に際し、全く異なる処理を行う装置を組み込む場合に比して、費用がかさばることがなく、画像処理内容によっては同時実行が不可能となるという事態が生じ難くなる。
【０１３６】
また、３つの運転者状態のうち、２つ以上を検出する場合には、画像処理方法が共通なので、１の画像処理方法にて複数の運転者の状態を検出することができることとなる。これにより、異なる処理を行う装置を実装している場合に比して、費用がかさばることがなく、画像処理内容によっては同時実行が不可能となるという事態が生じ難くなる。
【０１３７】
従って、費用面及び汎用性の面での向上を図ることができる。
【０１３８】
また、状態信号出力部２５が状態検出部２４からの検出結果を電気信号Ｓｂに変換して外部に出力するので、例えば外部の制御装置３０が報知装置である場合には、運転者の顔の向きに応じた報知ができる。従って、検出結果を利用し車両制御等を行うことができる。
【０１３９】
さらに、撮像画像に対して所定の位置と大きさとで定められる１又は複数の演算領域毎にオプティカルフローを求め、少なくとも１つの演算領域からなる領域グループ毎に、オプティカルフローから求まる実動作パターンを求めている。そして、求められた実動作パターンと予め記憶される記憶動作パターンとに基づいて、顔の向きを検出している。このため、例えば、顔が撮像画像の隅にしか存在しないような場合であっても、その隅の領域グループについては実動作パターンが正確に得られることとなる。よって、画像の隅に顔の一部しか存在しない場合等に、実動作パターンが正確に得られないという事態を回避することができる。
【０１４０】
従って、利便性を向上させることができる。
【０１４１】
また、オプティカルフローの計算結果から空間的、時間経過的に実動作パターンを検出している。つまり、例えば空間的に左右方向等の動きを求め、且つ時間的に現在から過去に遡った運転者の動きを求めていることとなる。すなわち、瞬間的なオプティカルフローにより実動作パターンを求めないようにし、ノイズ等による影響を軽減させることができる。
【０１４２】
また、従来では、撮像等して得られた特徴量を基準として運転者の状態等を検出している。このため、従来では、運転開始時には基準を得るために特徴量を取得する必要がある。故に、運転開始時には状態等が検出できないこととなる。ところが、本実施形態では、撮像等して特徴量を得るのではなく、実際に運転者の動きに基づいて予め得られる特徴量を記憶している。このため、運転開始時であっても運転者の状態等を検出することができる。さらに、この特徴量である記憶動作パターンを用いて比較処理を行う場合にも、同様の効果が得られる。
【０１４３】
また、１又は複数の参照領域のうち少なくとも１つは、撮像画像における顔の占める割合に基づいて、顔の特定部位の大きさに設定している。このため、大き過ぎる参照領域を設定して計算量が増大していしまうことを防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。さらに、小さ過ぎる領域を設定して特徴的な部位がない領域となることを防ぐことができる。
【０１４４】
また、顔の動きに基づく移動平均値（動き量）を積算し、積算値に基づいて顔の動きを求めると共に、積算値を所定の条件に基づいて初期化している。このため、例えば運転者が顔を左右に動かすなどすることにより積算値として累積されてしまう誤差を初期化して、好適に運転者状態を検出することができる。
【０１４５】
また、１又は複数の演算領域それぞれは、各探索領域内にて算出された特徴量（類似度）の変化量（分散値）と予め設定した閾値とが比較されることにより、各領域をオプティカルフローの計算に用いるか否かが判断される。このため、特徴のない参照領域が設定されたことにより、不正確な検出してしまうことを防止することができる。
【０１４６】
また、本実施形態に係る状態検出システム１では、費用面及び汎用性の面での向上を図ることができる。さらには、例えば外部の制御装置３０が報知装置である場合には、運転者の顔の向きに応じた報知ができる。従って、検出結果を利用し車両制御等を行うことができる。
【０１４７】
なお、本実施形態において、画像処理部２２による処理は、いずれの検出対象を検出する場合であっても、すべて同じであったが、全く同じである必要はない。すなわち、オプティカルフローを求める画像処理に影響を与えない程度であれば多少の変更があっても構わない。
【０１４８】
また、本実施形態では車両走行中に運転者の有無の判別を行うことで、例えば、運転者が座席の下の落ちた物を拾うために屈んだ場合や、助手席の物を取ろうとして助手席側に身を乗り出した場合も検出することができる。
【０１４９】
また、図１６及び図１９にハンドルのスポーク部が撮像範囲内に進入した場合の例を説明したが、この場合には、スポーク部の移動軌跡が得られることから、ハンドルの切れ角を推定する装置に適用することもできる。
【０１５０】
次に、本発明の第２実施形態を説明する。なお、第２実施形態では、主に第１実施形態との相違点について説明することとする。
【０１５１】
第２実施形態に係る状態検出システム１ａ及び状態検出装置２０ａは、３つの運転者状態のうち少なくとも２つを検出対象としている。また、第２実施形態に係る状態検出部２４は、実行する処理の内容が第１実施形態のものと相違する。
【０１５２】
以下、相違する処理内容について説明する。まず、第２実施形態の状態検出装置２０ａは、第１実施形態にて説明した３つの運転者状態のうち２つ以上を検出可能としており、それぞれの検出結果を制御装置３０に送出するように構成されている。
【０１５３】
具体的に、動作検出部２３は、検出対象とする２つ以上の運転者状態のうちのいずれか１つについて、実動作パターンを求め、このデータを状態検出部２４に送出する。その後、動作検出部２３は、残りの運転者状態について再度実動作パターンを求め、このデータを状態検出部２４に送出する。なお、この動作は、並行して行われてもよい。
【０１５４】
そして、状態検出部２４は、入力した実動作パターンのデータに基づいて、第１実施形態にて説明したように、検出を行う。その後、状態検出部２４は、検出結果を状態信号出力部２５に送出する。
【０１５５】
そして、状態信号出力部２５は、第１実施形態にて説明したように、検出結果を電気信号Ｓｂに変換して制御装置３０に出力する。
【０１５６】
また、第２実施形態に係る状態検出部２４は、検出結果に基づいて動作検出部２３に抑止信号を送出する機能を有している。
【０１５７】
図２２は、状態検出部２４が行う抑止制御処理を示すフローチャートである。まず、状態検出部２４は、検出結果を得ると、その運転者状態の検出結果が所定の結果であるか否かを判断する（ＳＴ５０）。そして、所定の結果であると判断した場合（ＳＴ５０：ＹＥＳ）、状態検出部２４は、抑止信号を動作検出部２３に送信する（ＳＴ５１）。これにより、動作検出部２３は、検出した運転者状態以外の運転者状態についての検出を抑止する。
【０１５８】
例えば、運転者の手が目付近にある場合には、運転者が車内にいないということはなく、このような場合に状態検出部２４は、運転者の有無の検出を抑止する信号を送信する。また、運転者の手が目付近にある場合には、運転者は顔の向きを変え難い傾向があるため、このような場合には、運転者の顔の向きの検出を抑止する信号を送信する。このように、１つの運転者状態の検出結果によると、他の運転者状態についての検出を行う必要がない場合などに、その検出を抑止している。これにより、本装置２は、他の運転者状態の検出について誤検出してしまうことを防止している。
【０１５９】
また、この間に動作検出部２３及び状態検出部２４は、既に検出結果を得た運転者状態について再度の検出を実行している。そして、その再度の検出による結果が所定の結果であるか否かを判断する（ＳＴ５２）。すなわち、所定の結果が継続しているか否かを判断している。
【０１６０】
所定の結果が継続していると判断した場合（ＳＴ５２：ＹＥＳ）、継続しなくなったと判断するまでこの処理を繰り返すこととなる。一方、所定の結果が継続しなくなったと判断した場合（ＳＴ５２：ＮＯ）、状態検出部２４は、抑止を解除する解除信号を動作検出部２３に送信する（ＳＴ５３）。すなわち、ステップＳＴ５１に実行した抑止を解除することとなる。
【０１６１】
そして、処理は終了する。ところで、ステップＳＴ５０において、所定の結果でないと判断した場合（ＳＴ５０：ＮＯ）、同様に処理は終了する。
【０１６２】
このようにして、本実施形態に係る状態検出装置２０ａでは、第１実施形態と同様に、費用面及び汎用性の面での向上を図ることができる。さらに、或る運転者状態の検出結果に基づいて他の運転者状態の検出を抑止するので、他の運転者状態について誤検出してしまうことを防止することができる。
【０１６３】
また、第１実施形態と同様に、利便性を向上させることができ、ノイズ等による影響を軽減させることができる。
【０１６４】
また、運転開始時であっても運転者の状態等を検出することができる。
【０１６５】
さらに、計算量の増大を防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。また、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０１６６】
さらには、好適に運転者状態を検出することができ、不正確な検出してしまうことを防止することができる。
【０１６７】
なお、本実施形態においても、オプティカルフローを求める画像処理を行っていれば、他の処理は多少の変更があっても構わない。また、例えば、運転者が座席の下の落ちた物を拾うために屈んだ場合や、助手席の物を取ろうとして助手席側に身を乗り出した場合も検出することができる。さらに、スポーク部の移動軌跡が得られることから、ハンドルの切れ角を推定する装置に適用することもできる。
【０１６８】
また、本実施形態においては、３つの運転者状態のうち少なくとも２つを検出対象としていればよいため、検出対象は２つであっても３つであっても構わない。さらに、少なくとも１つの検出結果に基づいて、他の運転者状態の検出を抑止するので、３つのうち２つの検出結果に基づいて、残り１つの運転者状態の検出を抑止するようにしてもよい。また、１つの検出結果に基づいて、残り２つの運転者状態の検出を抑止するようにしてもよい。
【０１６９】
次に、本発明の第３実施形態を説明する。なお、第３実施形態では、主に第２実施形態との相違点について説明することとする。
【０１７０】
第３実施形態に係る状態検出システム１ｂ及び状態検出装置２０ｂは、３つの運転者状態と、３つの身体状態とのうち少なくとも２つを検出対象としている。なお、３つの身体状態とは、運転者の瞼の開閉、運転者の口の開閉、及び運転者の表情変化を指すものである。
【０１７１】
この身体状態の検出では、実行する処理が上記した運転者状態の検出と概ね一致している。但し、身体状態の検出については、瞼、口及び表情という微細な変化を正確にとらえる必要があるため、撮像画像中から顔の目や口等の位置を特定することが必要となるる。
【０１７２】
次に、瞼の開閉、口の開閉及び表情変化を検出する際の状態検出装置２０ｂの動作を説明する。
【０１７３】
瞼の開閉を検出する場合、画像処理部２２は、目の位置を特定する。具体的には、特開平５−６０５１５号公報や特開２０００−１４２１６４号公報に記載されるようにして、撮像画像中における目の座標位置を特定するようにすればよい。
【０１７４】
そして、目の位置を特定後、画像処理部２２は、撮像画像中の目の位置付近に参照領域を設定すると共に、複数の参照領域を含んだ領域グループを設定する。
【０１７５】
図２３は、瞼の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。図２３（ａ）に示すように、画像処理部２２は、両目を覆うように４行１６列の参照領域を設定する。そして、図２３（ｂ）に示すように、２つの領域グループＡ３，Ｂ３を設定する。これら領域グループは、左右の目それぞれに対して設定されるものであり、具体的には４行８列の参照領域を含んで設定される。
【０１７６】
参照領域及び領域グループの設定後、第２実施形態と同様にオプティカルフローを求めて、そのデータを動作検出部２３に送出する。
【０１７７】
このように、参照領域は、第２実施形態では予め定められた位置に設定されるのに対し、第３実施形態では特定した目の位置に設定される。すなわち、第３実施形態は、目の位置の特定処理、及び参照領域の設定処理という点で第２実施形態と相違している。なお、この相違は、瞼の開閉以外の状態の検出に影響を与え、他の状態の検出との同時実行ができなくなる程のものではない。
【０１７８】
オプティカルフローの算出後、動作検出部２３は、第２実施形態と同様に（特に顔の向きの検出と同様に）して、実動作パターンを求める。そして、状態検出部２４は、複数の記憶動作パターンとの相関を求め、身体の状態を検出する。
【０１７９】
ここで、瞼の開閉を検出する場合に得られるオプティカルフロー及び実動作パターンを説明する。図２４は、瞼の開閉を検出する場合に得られるオプティカルフローの例を示す説明図である。
【０１８０】
まず、図２４（ａ）に示すように、時刻ｔにおいて運転者の目は開いている状態となっている。その後、時刻（ｔ＋１）において運転者が目を閉じ始める。このとき、図２４（ｂ）に示すように、運転者の瞼の部分について画像縦方向（Ｙ方向）にオプティカルフローが検出される。
【０１８１】
そして、時刻（ｔ＋２）において運転者の目が完全に閉じる。このときも、図２４（ｃ）に示すように、運転者の目付近には画像縦方向にオプティカルフローが検出される。なお、画像横方向（Ｘ方向）については、時刻ｔ〜（ｔ＋２）を通じて、オプティカルフローがあまり検出されない。
【０１８２】
図２５は、瞼の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。なお、図２５では、運転者が目を閉じ、その後目を開けるまでに得られるパターンを示している。
【０１８３】
運転者が目を閉じる動作を行う場合、図２４に示すように画像縦方向にオプティカルフローが検出され、画像横方向にはオプティカルフローがあまり検出されない。このため、得られる実動作パターンＰ４，Ｐ５（以下、瞼の開閉を検出する場合に得られる実動作パターンを瞼動作パターンＰ４，Ｐ５という）は、図２５に示すようになる。
【０１８４】
具体的に説明すると、画像縦方向についての瞼動作パターンＰ４は以下のようになっている。まず、運転者が目を開いている状態（時刻１７８〜１８６の期間）では、移動位置が「０」付近となっている。その後、運転者が目を閉じ始めると、画像縦方向のオプティカルフローが得られることから、移動位置が「６〜８」画素まで上昇する（時刻１８６〜１９０の期間）。
【０１８５】
そして、運転者が目を閉じ続けている状態（時刻１９０〜２１６の期間）では、移動位置は「６〜８」画素を維持し続ける。その後、運転者が目を開け始めると、移動位置は次第に減少する（時刻２１６〜２３７の期間）。
【０１８６】
一方、瞼のオプティカルフローは、画像横方向に余り検出されていない。このため、画像横方向についての瞼動作パターンＰ５は、時刻１７８〜１８６の期間においてほぼ同じ値を維持し続ける。
【０１８７】
上記のような瞼動作パターンＰ４，Ｐ５が得られた後、状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出す。そして、状態検出部２４は、瞼動作パターンＰ４と記憶動作パターンとを比較して、運転者の瞬きを検出する。なお、第３実施形態に係る記憶部２４ａは、記憶動作パターンとして、画像縦方向に所定の移動を示した後に所定の移動分復帰を示した場合のパターンを記憶している。このため、状態検出部２４は、瞼動作パターンＰ４と、画像縦方向に所定の移動を示した後に所定の移動分復帰を示す記憶動作パターンとの相関が最も高かった場合に運転者の瞬きを検出することとなる。
【０１８８】
その後、状態信号出力部２５は、検出結果に応じた電気信号Ｓｂを制御装置３０に出力する。また、記憶部２４ａは、目の開動作、閉動作の記憶動作パターンを記憶しており、閉動作から開動作までの時間に基づいて長い間目を閉じているなども検出することができる。
【０１８９】
なお、従来では、何らかの検出対象を検出する場合、２以上の手法（例えば濃淡値データに基づく手法や差分画像の基づく手法）により、検出対象を検出するように装置を構成していることが多い。そして、これら２以上の手法のうちいずれか１つの手法により検出対象を検出すれば、他の手法により検出対象が検出されなくとも検出有りと判断している。このように、従来では、１の手法により検出を行った場合の検出ミスを補完する目的で、２以上の手法を組み合わせて検出対象を検出することが行われている。
【０１９０】
ところで、上記組み合わせにおいては、全く異なる手法を２以上組み合わせた方が、同様の手法を２以上組み合わせるよりも検出精度が高くなる傾向にある。すなわち、例えば２以上の手法すべてが濃淡値データに基づき検出対象を検出している場合、濃淡値データそのものが上手く検出されていないときにはすべての手法によって検出ミスが発生してしまう可能性があるからである。
【０１９１】
本実施形態においては、オプティカルフローという新規の手法にて瞬きを検出している。このため、例えば２以上の手法を組み合わせて検出対象を検出する場合には、全体のとして検出精度の高い瞬き検出を行うことができる。また、目の開動作、閉動作の検出も同様に、精度良く行うことができる。
【０１９２】
次に、口の開閉について説明する。口の開閉を検出する場合、画像処理部２２は、口の位置を特定する。口の位置の特定に際しては、まず、上記のように目の座標を特定する。そして、目の座標位置の相対位置関係から、撮像画像中における口の座標位置を特定する。さらに、画像処理部２２は、口の位置を特定すると、次に、上唇と下唇との位置を特定する。この上唇と下唇との位置は、例えば、画像横方向に伸びる濃淡値の低い領域（即ち、口を閉じたときにできる上唇と下唇との境目）を基準に特定される。
【０１９３】
そして、上唇と下唇の位置を特定後、画像処理部２２は、撮像画像中の口の位置付近に参照領域を設定すると共に、複数の参照領域を含んだ領域グループを設定する。
【０１９４】
図２６は、口の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。図２６（ａ）に示すように、画像処理部２２は、両唇を覆うように４行８列の参照領域を設定する。そして、図２６（ｂ）に示すように、２つの領域グループＡ４，Ｂ４を設定する。これら領域グループは、上唇及び下唇のそれぞれに対して設定されるものであり、具体的には２行８列の参照領域を含んで設定される。
【０１９５】
参照領域及び領域グループの設定後、第２実施形態と同様にオプティカルフローを求めて、そのデータを動作検出部２３に送出する。
【０１９６】
このように、参照領域は、特定した口の位置に設定される。なお、第２実施形態との相違点である口の位置の特定処理、及び参照領域の設定処理は、口の開閉以外の状態の検出に影響を与え、他の状態の検出との同時実行ができなくなる程のものではない。
【０１９７】
オプティカルフローの算出後、動作検出部２３は、第２実施形態と同様に（特に顔の向きの検出と同様に）して、実動作のパターンを求める。そして、状態検出部２４は、複数の記憶動作パターンとの相関を求め、身体の状態を検出する。
【０１９８】
ここで、口の開閉を検出する場合に得られるオプティカルフロー及び実動作パターンを説明する。図２７は、口の開閉を検出する場合に得られるオプティカルフローの例を示す説明図である。
【０１９９】
まず、図２７（ａ）に示すように、時刻ｔにおいて運転者の口は閉じている状態となっている。その後、時刻（ｔ＋１）において運転者が口を開け始める。このとき、図２７（ｂ）に示すように、運転者の下唇の部分について画像縦方向（Ｙ方向）にオプティカルフローが検出される。一方、画像横方向（Ｘ方向）については、オプティカルフローがあまり検出されない。また、上唇については、画像縦方向にも横方向にもオプティカルフローが検出されない。
【０２００】
そして、時刻（ｔ＋２）において運転者の目が完全に閉じる。このときも、図２７（ｃ）に示すように、運転者の下唇の部分には画像縦方向だけにオプティカルフローが検出される。一方、上唇にはオプティカルフローが検出されない。
【０２０１】
図２８は、口の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。なお、図２８では、運転者が口を開け、その後口を閉じるまでに得られるパターンを示している。
【０２０２】
運転者が口を開ける動作を行う場合、図２７に示したように、下唇については画像縦方向にオプティカルフローが検出され、画像横方向にはオプティカルフローがあまり検出されない。また、上唇については画像縦方向及び横方向の双方で、オプティカルフローがあまり検出されない。
【０２０３】
このため、得られる実状態パターンＰ６〜Ｐ９は、図２８に示すようになる。なお、以下において、口の開閉を検出する場合に下唇について得られる実動作パターンを下唇動作パターンＰ６，Ｐ７とする。また、上唇について得られる実動作パターンを上唇動作パターンＰ８，Ｐ９とする。
【０２０４】
図２８に示すパターンＰ６〜Ｐ９を具体的に説明する。まず、画像縦方向についての下唇動作パターンＰ６については、運転者が口を閉じている状態（時刻６６０〜６７５の期間）において移動位置が「０」付近となっている。その後、運転者が口を開け始めると、画像縦方向のオプティカルフローが得られることから、移動位置が「３０」画素付近まで上昇する（時刻６７５〜７００の期間）。
【０２０５】
そして、運転者が口と開き続けている状態（時刻７００〜７１０の期間）では、移動位置は「３０」画素付近を維持し続ける。その後、運転者が口を閉じ始めると、移動位置は次第に減少する（時刻７１０〜７１６の期間）。そして、運転者が口を閉じると（時刻７１０〜７３４の期間）、移動位置は「５」画素付近を維持し続ける。ここで、移動位置は「５」画素付近となっているのは、誤差分が検出されたためである。
【０２０６】
一方、画像横方向についての下唇動作パターンＰ７は、画像横方向にオプティカルフローがあまり検出されないことから、時刻６６０〜７３４の期間においてほぼ「０」付近を維持し続ける。また、上唇の動作パターンＰ８，Ｐ９も同様に、時刻６６０〜７３４の期間においてほぼ「０」付近を維持し続ける。
【０２０７】
上記のような上唇及び下唇動作パターンＰ６〜Ｐ９が得られた後、状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出す。そして、状態検出部２４は、上唇及び下唇動作パターンＰ６〜Ｐ９と記憶動作パターンとを比較して、運転者の瞬きを検出する。なお、第３実施形態に係る記憶部２４ａは、記憶動作パターンとして、上唇がほぼ静止状態を示し、下唇が画像縦方向に所定の動きを示した場合のパターンを記憶している。このため、状態検出部２４は、上唇及び下唇動作パターンＰ６〜Ｐ９とと、上唇がほぼ静止状態を示し、下唇が画像縦方向に所定の動きを示す記憶動作パターンとの相関が最も高かった場合に運転者の運転者の口の開動作又は閉動作を検出することとなる。
【０２０８】
そして、状態信号出力部２５は、検出結果に応じた電気信号Ｓｂを制御装置３０に出力する。なお、口の開閉を検出する場合では、記憶動作パターンとして「ａ」「ｉ」「ｕ」「ｅ」「ｏ」の発音時のデータを記憶部２４ａに記憶させておくことにより、発音の推定装置等に応用することができる。すなわち、音声入力のナビゲーション装置等に応用が可能である。
【０２０９】
また、記憶動作パターンとしてあくびの際の口の動きのデータを記憶部２４ａに記憶させておくことにより、あくび検出の装置等に応用することができる。さらには、あくび検出することにより、運転者の覚醒度の評価や居眠検出装置等に応用することもできる。
【０２１０】
なお、上記口の開閉の検出は、比較的精度の高いものとなっている。これは、本実施形態が上唇と下唇のそれぞれの動きを検出ことに起因している。例えば、口の動き全体を捕らえて口の開閉を検出する場合、運転者が顔を多少上下に動かしたときには、口の開閉なのか顔の上下動作なのか区別が付きにくくなってしまう。
【０２１１】
ところが、本実施形態では、人が口を開閉させる際に、上唇が殆ど動かず、主に下唇が動くということに着目し、この動きを検出して口の開閉を判断している。よって、比較的精度の高い口の開動作及び閉動作の検出が可能となっている。
【０２１２】
次に、表情の変化について説明する。表情の変化を検出する場合、画像処理部２２は、顔の位置を特定する。そして、顔の目や鼻等の位置を特定する。この特定に際しては、まず、目の座標位置を特定する。そして、目の座標位置の相対位置関係から、撮像画像中における鼻、口、頬、眉等の顔の各部位の座標位置を特定する。
【０２１３】
そして、顔の各部位を特定後、画像処理部２２は、撮像画像中の顔全体に参照領域を設定すると共に、顔の各部位毎に複数の参照領域を含んだ領域グループを設定する。
【０２１４】
図２９は、表情の変化を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。図２９（ａ）に示すように、画像処理部２２は、顔全体を覆うように１４行１６列の参照領域を設定する。
【０２１５】
そして、図２９（ｂ）に示すように、１１の領域グループＡ５〜Ｋ５を設定する。詳細には、領域グループＡ５〜Ｄ５は、右眉、左眉、右目及び左目位置に対して設定されるものであり、具体的にはそれぞれ３行８列の参照領域を含んで設定される。また、領域グループＥ５，Ｇ５，Ｉ５，Ｊ５は、右頬、左頬、右顎及び左顎位置に対して設定されるものであり、具体的にはそれぞれ４行４列の参照領域を含んで設定される。
【０２１６】
さらに、領域グループＦ５，Ｈ５，Ｋ５は、鼻、上唇及び下唇位置に対して設定されるものであり、具体的には３行８列、１行８列、４行４列の参照領域を含んで設定される。
【０２１７】
そして、画像処理部２２は、参照領域及び領域グループの設定後、第２実施形態と同様にオプティカルフローを求めて、そのデータを動作検出部２３に送出する。
【０２１８】
このように、参照領域は、顔の各部位の位置に設定される。なお、顔の表情検出において第２実施形態との相違点は、運転者状態の検出に影響を与え、運転者状態の検出ができなくなる程のものではない。
【０２１９】
オプティカルフローの算出後、動作検出部２３は、第２実施形態と同様に（特に顔の向きの検出と同様に）して、実動作のパターンを求める。そして、状態検出部２４は、複数の記憶動作パターンとの相関を求め、身体の状態を検出する。
【０２２０】
ここで、表情の変化を検出する場合に得られるオプティカルフロー及び実動作パターンを説明する。図３０は、表情の変化を検出する場合に得られるオプティカルフローの例を示す説明図である。また、図３１は、図３０に示したオプティカルフローを簡略化して示す説明図である。なお、図３０及び図３１においては、運転者が眉をひそめる動作をする場合のオプティカルフローを示している。
【０２２１】
まず、図３０（ａ）に示すように、時刻ｔにおいて運転者の表情は通常の状態となっている。その後、時刻（ｔ＋１）において運転者が眉をひそめ始める。このとき、図３０（ｂ）に示すように、眉及び目付近にオプティカルフローが検出される。 そして、時刻（ｔ＋２）において運転者が眉をひそめると、図３０（ｃ）に示すように、オプティカルフローが検出されなくなる。
【０２２２】
時刻ｔ〜（ｔ＋２）までの様子を図３１に示す。同図に示すように、運転者が眉をひそめる動作を行うと、眉の位置はやや画像縦方向に移動する傾向がある。また、目にも僅かな動きが見られる。
【０２２３】
図３２は、表情の変化を検出する場合に得られる実動作パターンの例を示す説明図である。なお、図３２では、図３０及び図３１にて示した眉をひそめる動作をしたときに得られるパターンを示している。
【０２２４】
図３０及び図３１からの明らかなように、運転者が眉をひそめる動作を行う場合、眉及び目付近にオプティカルフローが検出される。このため、得られる実動作パターンは、図３２に示すようになる。
【０２２５】
図３２に示すように、時刻ｔ〜（ｔ＋２）を通じて、眉及び目にオプティカルフローが得られることから、これらの移動位置にそれぞれ変化が見られる。これに対し、眉及び目以外の顔部位については殆ど変化が見られない。
【０２２６】
上記のような顔の特徴部位毎に実動作パターンが得られた後、状態検出部２４は、記憶部２４ａから複数の記憶動作パターンを読み出す。そして、状態検出部２４は、顔の特徴部位毎に実動作パターンと、記憶部２４ａに記憶される記憶動作パターンとに基づいて、運転者の表情を検出することとなる。
【０２２７】
そして、状態信号出力部２５は、検出結果に応じた電気信号Ｓｂを制御装置３０に出力する。
【０２２８】
ここで、表情の変化についての記憶動作パターンを各表情毎に記憶させておくことが望ましい。この場合、種々の表情を検出することが可能となる。このため、例えば、従来では区別することが困難である笑っている状態と目を細めている状態との判別が可能となる。
【０２２９】
なお、本実施形態では、表情の変化の検出を車両内にて行っており、且つ制御装置により検出結果に基づく制御を行うため、より有用なものとなっている。例えば、運転者が眉をひそめる動作を行った場合には、制御装置３０にて電動サンシェードを制御することができる。また、表情の変化から運転者の感情を検出して、イライラ状態にある運転者の感情を沈静させるなど、制御装置３０にてオーディオ装置を制御することができる。このように、表情の変化に基づいて運転者の感情等を考慮した車両内環境の制御を行うことができるため、非常に有用なものとなっている。
【０２３０】
ここで、表情を認識するのみの装置は、特開平４−３４２０７８号公報に開示されている。本実施形態では、この従来技術と同様の方法にて表情を検出することもできる。
【０２３１】
以上が身体状態の検出の説明である。また、第３実施形態においては、第２実施形態と同様に、検出した結果に基づいて、他の運転者状態又は／及び身体状態についての検出を抑止する機能を有している。このため、状態検出部２４は、まず、画像処理部２２により求められたオプティカルフローから、検出対象のうち少なくとも１つの状態を検出する。そして、その結果に基づいて、抑止信号の送出の可否を判定し、条件を満たしていれば抑止信号を動作検出部２３に送出することとなる。
【０２３２】
つまり、３つ運転者状態と３つの身体状態とのうち、少なくとも２つを検出対象とし、この検出対象のうち少なくとも１つの状態を検出し、検出した結果に基づいて、他の状態以外の状態についての検出を抑止することとなる。
【０２３３】
これにより、第２実施形態と同様に他の状態の検出について誤検出していしまうことを防止している。
【０２３４】
このようにして、第３実施形態に係る状態検出装置２０ｂでは、第２実施形態と同様に、費用面及び汎用性の面での向上を図ることができ、誤検出してしまうことを防止することができる。
【０２３５】
また、第２実施形態と同様に、利便性を向上させることができ、ノイズ等による影響を軽減させることができる。
【０２３６】
また、運転開始時であっても運転者の状態等を検出することができる。
【０２３７】
また、計算量の増大を防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。また、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０２３８】
また、好適に運転者状態を検出することができ、不正確な検出してしまうことを防止することができる。
【０２３９】
また、本実施形態に係る状態検出装置２０ｂでは、瞼動作のパターンが画像縦方向に所定の移動を示した後に、所定の移動分復帰を示した場合に、運転者の瞬きが検出されている。このように、本実施形態ではオプティカルフローという新規の手法にて瞬きを検出している。このため、例えば２以上の手法を組み合わせて検出対象を検出する場合には、全体のとしての検出効率の高い瞬き検出を行うことができる。また、目の開動作、閉動作の検出も同様に、精度良く行うことができる。
【０２４０】
また、口の開閉の検出は、比較的精度の高いものとなっている。すなわち、本実施形態では、人が口を開閉させる際に、上唇が殆ど動かず、主に下唇が動くという動作に着目し、この動きを検出して口の開閉を判断している。このため、顔を上下させたときと口の開閉との区別が明確となっている。よって、比較的精度の高い口の開動作及び閉動作の検出が可能となっている。
【０２４１】
また、顔の特徴部位である目や鼻等の実動作パターンと、予め記憶される記憶動作パターンとに基づいて、運転者の表情を検出している。また、本実施形態では、この表情の変化の検出を車両内にて行っており、且つ制御装置により検出結果に基づく制御を行っている。このため、例えば運転者が眉をひそめる動作を行った場合には、制御装置にて電動サンシェードを制御することができる。また、表情の変化から運転者の感情を検出して、イライラ状態にある運転者の感情を沈静させるなど、制御装置にてオーディオ装置を制御することができる。このように、表情の変化に基づいて運転者の感情等を考慮した車両内環境の制御を行うことができる。
【０２４２】
なお、本実施形態では、３つ運転者状態と３つの身体状態とのうち、少なくとも２つを検出対象としていればよいため、３つ以上であっても構わない。さらに、少なくとも１つの検出結果に基づいて、他の状態の検出を抑止するので、６つのうち３つの検出結果に基づいて、残り２つの状態の検出を抑止するようにしてもよい。また、検出結果の数、及び検出を抑止する状態の数は、これに限らず、適宜変更することができる。
【０２４３】
次に本発明の第４実施形態を説明する。第４実施形態では、第３実施形態の構成に加えて、新たに車両状態検出手段と環境情報検出手段とを備えている。以下、第４実施形態について説明する。
【０２４４】
図３３は、第４実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。同図に示すように、状態検出システム１ｃは、車両の状態を検出する車両状態検出手段４０と、車両の周囲環境を検出する環境情報検出手段５０とを備えている。
【０２４５】
具体的に車両状態検出手段４０は、車速や、ブレーキスイッチのオン／オフ情報、アクセルスイッチのオン／オフ情報、操舵角、シフトレンジ情報等の車両に関する状態を１つ以上検出するものである。
【０２４６】
環境情報検出手段５０は、ＧＰＳやジャイロを利用したナビゲーションシステムによる位置情報を取得し、例えば、走行中の道路の種別や交差点の有無等を検出するものである。
【０２４７】
また、環境情報検出手段５０は、可視光カメラ、遠赤外線検出素子、レーザーレーダー及び超音波センサの１つ以上から構成されて、車両周辺の情報を検出するものである。この構成により、環境情報検出手段５０は、例えば、先行車や障害物の有無・接近、歩行者の横断、後続車の接近、側後方からの接近車両等を検出する。
【０２４８】
さらに、環境情報検出手段５０は、気象情報や、天候、照度計による外の明るさや昼夜の区別等の情報を得るものでもある。
【０２４９】
また、状態検出装置２０ｃは、車両状態検出手段４０からの信号Ｓｃと、環境情報検出手段５０からの信号Ｓｄとの少なくとも一方に基づいて、検出すべき状態（運転者状態、身体状態）を変更する機能を有している。
【０２５０】
例えば、状態検出装置２０ｃは、ナビゲーションによる地図情報から、見通しの悪い交差点や信号のない交差点に差し掛かっているという環境信号Ｓｄに基づいて、運転者の顔の向きを検出対象とする。
【０２５１】
また、状態検出装置２０ｃは、車速が設定速度以下であるという車両の状態信号Ｓｃに基づいて、渋滞を判断し、運転者が眠気を感じているか等を検出すべく、表情の変化を検出対象とする。
【０２５２】
このようにして、本実施形態に係る状態検出装置２０ｃによれば、第３実施形態と同様に、費用面及び汎用性の面での向上を図ることができ、誤検出してしまうことを防止することができる。
【０２５３】
また、第３実施形態と同様に、利便性を向上させることができ、ノイズ等による影響を軽減させることができる。
【０２５４】
また、運転開始時であっても運転者の状態等を検出することができる。
【０２５５】
また、計算量の増大を防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。また、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０２５６】
また、好適に運転者状態を検出することができ、不正確な検出してしまうことを防止することができる。
【０２５７】
また、例えば２以上の手法を組み合わせて検出対象を検出する場合には、全体のとしての検出効率の高い瞬き検出を行うことができる。さらに、目の開動作、閉動作の検出も同様に、精度良く行うことができる。
【０２５８】
また、比較的精度の高い口の開動作及び閉動作の検出が可能となっており、さらには、表情の変化に基づいて運転者の感情等を考慮した車両内環境の制御を行うことができる。
さらに、車両状態検出手段４０からの信号Ｓｃ、及び環境情報検出手段５０からの信号Ｓｄとの少なくとも一方に基づいて、検出すべき状態を変更する。このため、各状態・環境に応じて適切な運転者・身体状態を検出することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。
【図２】図１に示した状態検出装置２０の詳細構成を示すブロック図である。
【図３】本実施形態に係る状態検出装置２０の動作の概略を示すデータフローダイヤグラムである。
【図４】本実施形態に係る状態検出装置２０の動作の概略を示す説明図である。
【図５】参照領域及び探索領域の説明図である。
【図６】撮像画像に規則的に配置される参照領域の説明図であり、（ａ）は参照領域を画像横方向に配置したときの例を示し、（ｂ）は参照領域を格子状に配置したときの例を示し、（ｃ）は参照領域を画像横方向且つ格子状に配置したときの例を示している。
【図７】領域グループの説明図であり、顔の向きを検出する場合の例を示している。
【図８】領域グループの説明図であり、運転者の顔以外のものの撮像範囲内屁への出入を検出する場合の例を示している。
【図９】図２に示した画像処理部２２の動作を示すフローチャートである。
【図１０】図９に示すステップＳＴ１１における移動量（ｘｄ，ｙｄ）の算出方法の説明図である。
【図１１】図９に示すステップＳＴ１２の処理の説明図である。
【図１２】運転者の顔の向きを検出する場合のオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示し、（ｄ）は時刻（ｔ＋３）におけるオプティカルフローの例を示している。
【図１３】運転者の有無を検出する場合のオプティカルフローの例を示す説明図であり、（ａ）は乗車前におけるオプティカルフローの例を示し、（ｂ）は乗車最中におけるオプティカルフローの例を示し、（ｃ）は乗車完了後におけるオプティカルフローの例を示している。
【図１４】運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図であり、運転者が目付近に手を移動させたときのオプティカルフローの例を示し、且つ（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図１５】運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図であり、運転者が道路マップ等を見るために本を持ち上げたときのオプティカルフローの例を示し、且つ（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図１６】運転者の顔以外ものの撮像範囲内への出入を検出する場合のオプティカルフローの例を示す説明図であり、ハンドルのスポーク部が撮像範囲内に進入してきた場合のオプティカルフローの例を示し、且つ（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図１７】図２に示した動作検出部２３の動作を示すフローチャートである。
【図１８】図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔の向きである場合を示している。
【図１９】図２に示した動作検出部２３により得られる実動作パターンの説明図であり、検出対象が運転者の顔以外のものの撮像範囲への出入である場合を示している。
【図２０】検出対象が運転者の有無である場合の動作検出部２３により得られる実動作パターンの例を示す説明図である。
【図２１】図２に示した状態検出部２４の動作を示すフローチャートである。
【図２２】状態検出部２４が行う抑止制御処理を示すフローチャートである。
【図２３】瞼の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。
【図２４】瞼の開閉を検出する場合に得られるオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図２５】瞼の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。
【図２６】口の開閉を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。
【図２７】口の開閉を検出する場合に得られるオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図２８】口の開閉を検出する場合に得られる実動作パターンの例を示す説明図である。
【図２９】表情の変化を検出する場合の参照領域及び領域グループを示す説明図であり、（ａ）は参照領域の例を示し、（ｂ）は領域グループの例を示している。
【図３０】表情の変化を検出する場合に得られるオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示している。
【図３１】図３０に示したオプティカルフローを簡略化して示す説明図である。
【図３２】表情の変化を検出する場合に得られる実動作パターンの例を示す説明図である。
【図３３】第４実施形態に係る状態検出装置を含む状態検出システムの構成を示すブロック図である。
【符号の説明】
１〜１ｃ…状態検出システム
１０…撮像装置
２０〜２０ｃ…状態検出装置
２１…画像取得部（画像取得手段）
２２…画像処理部（画像処理手段）
２３…動作検出部（動作検出手段）
２４…状態検出部（状態検出手段）
２４ａ…記憶部（パターン記憶手段）
２５…状態信号出力部（信号出力手段）
３０…制御装置（制御手段）
４０…車両状態検出手段
５０…環境情報検出手段
Ａ〜Ｋ…領域グループ
Ｃ１，Ｃ２…変化量
Ｄ…記憶動作パターン
Ｐ…実動作パターン
Ｐ４，Ｐ５…瞼動作パターン
Ｐ６，Ｐ７…下唇動作パターン
Ｐ８，Ｐ９…上唇動作パターン
Ｓａ…ビデオ信号
Ｓｂ…電気信号
Ｓｃ…状態信号
Ｓｄ…環境信号[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a state detection device and a state detection system.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a state detection device that captures an image of a driver's body with an imaging unit and detects the state of the driver or the like based on the obtained image is known.
[0003]
As one of them, for example, the coordinates of the eyes on the image are detected based on the characteristics of the eyes, the opening / closing of the eyelid is detected from the amount of change in the vertical width of the eyes, and the driver's A state detection device that detects the degree of arousal and detects dozing is known (for example, see Patent Document 1).
[0004]
In addition, using the difference image of the face image obtained continuously, the driver's face direction is estimated to detect a side look, or the face movement is reduced to reduce the driver's consciousness. There is known a state detection device for detecting (see, for example, Patent Document 2).
[0005]
There is also known a state detection device that predicts a region that the driver should see based on the traveling environment of the vehicle, detects the driver's line-of-sight region, and detects whether or not the driver has viewed this region. (For example, refer to Patent Document 3). Note that this device also has a function of notifying the driver of the fact that the driver should not see the area to be viewed.
[0006]
In addition, a state detection device that detects a driver's boarding posture using a difference image of a driver's body image obtained continuously is known (see, for example, Patent Document 4).
[0007]
Also, a state detection device is known that uses facial expression transition maps created in advance to read facial expression transitions from continuous facial images of the driver and detect the driver's arousal level (see, for example, Patent Document 5).
[0008]
Thus, in the conventional apparatus, it is possible to detect the state of the driver or the like.
[0009]
[Patent Document 1]
Japanese Patent Laid-Open No. 10-40361
[0010]
[Patent Document 2]
JP-A-11-161798
[0011]
[Patent Document 3]
JP 2002-83400 A
[0012]
[Patent Document 4]
JP 2000-113164 A
[0013]
[Patent Document 5]
JP 2001-43345 A
[0014]
[Problems to be solved by the invention]
In the state detection device, an optimal method is selected according to a state to be detected, and devices and the like that perform the optimal method are mounted in the device. Specifically, the conventional state detection apparatus has different image processing methods depending on the state to be detected. For this reason, in many cases, the state detection device can detect only a specific state among various states, and in order to detect various states, a device that implements a plurality of image processing methods is configured. Will be.
[0015]
However, when a plurality of image processes are executed as described above, the cost is high, and simultaneous execution may be impossible depending on the contents of the image processing.
[0016]
[Means for Solving the Problems]
  The present inventionDetects at least two of the three driver states of the driver's face orientation, the entry / exit of objects other than the driver's face within the imaging range, and the presence / absence of the driver, and at least one driver state On the basis of the detection result, the detection of the driver state other than the detected at least one driver state among the detection targets is suppressed. Alternatively, the present invention can be applied to three driver states including the direction of the driver's face, the entry / exit of objects other than the driver's face within the imaging range, and the presence / absence of the driver, the opening / closing of the driver's eyelids, At least two of the three body states of opening and closing of the mouth and the change of the driver's facial expression are to be detected, and based on the detection result relating to at least one state, other than at least one state detected among the detection targets Suppresses detection of status.
[0017]
【The invention's effect】
According to the present invention, one image processing method based on the optical flow can be used for detecting the direction of the driver's face, the entry / exit of an object other than the driver's face into the imaging range, and the presence / absence of the driver. Used.
[0019]
Further, when two or more of the three driver states are detected, the image processing method is common, so that the cost may be higher than when a device that performs different image processing is installed. However, depending on the contents of the image processing, it becomes difficult to cause a situation where simultaneous execution is impossible.
[0020]
Therefore, improvement in cost and versatility can be achieved.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the drawings. In the following embodiments, a case where the state detection system is mounted on a vehicle will be described as an example. In the following description, the movement amount includes a movement speed and a movement direction. Further, this movement amount is referred to as an optical flow.
[0022]
FIG. 1 is a block diagram showing a configuration of a state detection system including a state detection device according to the first embodiment of the present invention. In the first embodiment, at least one of the three driver states of the direction of the driver's face, the entry / exit of an object other than the driver's face into the imaging range, and the presence / absence of the driver is set as a detection target. A state detection system for detection will be described as an example.
[0023]
As shown in the figure, the state detection system 1 of the present embodiment detects the orientation of the driver's face and the like, and includes an imaging device (imaging means) 10, a state detection device 20, and a control device (control means). 30.
[0024]
The imaging device 10 includes a position where the driver's body exists when the driver is seated in the imaging range, and images the imaging range in time series. Specifically, the imaging apparatus 10 includes at least one of a CCD camera and a CMOS camera for imaging visible light, a camera for imaging with near infrared light, a camera for imaging heat generated by a person or the like in the far infrared, and the like. It consists of two.
[0025]
The imaging device 10 is installed, for example, below the front of the driver, acquires an image including the driver's head, and sends the obtained captured image data to the state detection device 20 as a video signal Sa. Note that the imaging device 10 may be configured to image the driver's torso and the like when only the presence or absence of the driver is to be detected, but in the following, the imaging device 10 images the driver's head. Shall.
[0026]
The state detection device 20 executes a predetermined process based on the data of the captured image from the imaging device 10 and detects at least one of the three driver states.
[0027]
Details of the state detection device 20 are shown in FIG. FIG. 2 is a block diagram showing a detailed configuration of the state detection device 20 shown in FIG.
[0028]
The state detection device 20 includes an image acquisition unit (image acquisition unit) 21 that inputs a video signal Sa that is data of a captured image from the imaging device 10. In addition, the state detection device 20 includes an image processing unit (image processing unit) 22 that performs image processing on the captured image data input by the image acquisition unit 21 and obtains an optical flow between the captured images. Further, the state detection device 20 includes an operation detection unit (operation detection means) 23 that detects a driver's operation from the obtained optical flow, and a state detection unit 24 that detects at least one of the three driver states. It has. Furthermore, the state detection device 20 includes a state signal output unit (signal output unit) 25 that converts a detection result from the state detection unit 24 into an electric signal Sb and outputs the electric signal Sb to the outside.
[0029]
The control device 30 performs predetermined processing such as seat belt control processing, airbag control processing, alarm processing, and the like based on the electrical signal Sb from the state signal output unit 25.
[0030]
Here, among the above-described units 21 to 25, the image acquisition unit 21 and the image processing unit 22 perform the same processing regardless of which of the three driver states is detected. Next, the basic operations of the image acquisition unit 21 and the image processing unit 22, which are common parts of the processing, and the outline of the operations of the operation detection unit 23, the state detection unit 24, and the state signal output unit 25 are described with reference to FIGS. To explain. FIG. 3 is a data flow diagram showing an outline of the operation of the state detection device 20 according to the present embodiment. FIG. 4 is an explanatory diagram showing an outline of the operation of the state detection device 20 according to the embodiment.
[0031]
First, an image including the driver's face is picked up by the image pickup device 10 (image shown in FIG. 4A), and the image is input to the image acquisition unit 21 as a video signal Sa.
[0032]
When the video signal Sa from the imaging device 10 is input, the image acquisition unit 21 converts the data into two-dimensional digital data indicating grayscale data of 320 bits in width and 240 pixels in height and 8 bits (256 gradations) per pixel. After the conversion, the image acquisition unit 21 stores the converted data in the storage area, and outputs the stored captured image data to the image processing unit 22.
[0033]
The image processing unit 22 obtains an optical flow between the captured images based on the captured image data from the image acquisition unit 21 (FIG. 7b). At this time, the image processing unit 22 inputs area data, and obtains an optical flow for each area (for each calculation area) defined by the area data. Then, the image processing unit 22 sends the obtained optical flow data for each region to the motion detection unit 23.
[0034]
Here, the area and area data will be described. The area data is data indicating a position and a size for defining an area in the captured image. Further, one or a plurality of the areas are set based on area data for images acquired at different times, and specifically indicate the following reference areas and search areas. .
[0035]
FIG. 5 is an explanatory diagram of the reference area and the search area. Note that the reference area and the search area are set to captured images at different times, but in FIG. 5, for convenience, the reference area and the search area are represented on one image having a width w pixels and a height h pixels. explain.
[0036]
As shown in the figure, the reference area is an area having a width tw pixels and a height th pixels set around a specific point O. The search area is an area having a width sw pixel and a height sh pixel set around the point O. This search area is set so as to surround each reference area, and is set in the same number as the reference area.
[0037]
In this way, these two regions are set to have the same center and have a relationship of sw> tw and sh> sw. The reference area and the search area here are set at a predetermined position and size without depending on the position of the driver's face.
[0038]
Further, it is desirable that the reference areas are regularly arranged. FIG. 6 is an explanatory diagram of reference areas regularly arranged in a captured image. For example, as shown in FIG. 6A, a plurality (for example, seven) of reference areas are arranged in the horizontal direction on the captured image. Further, as shown in FIG. 6B, a plurality of reference areas (for example, 5 rows and 7 columns) are arranged in a grid pattern on the captured image. Further, as shown in FIG. 6C, a plurality of reference regions may be arranged in the horizontal direction and in a grid pattern (for example, in addition to 3 rows and 5 columns, two in total 17 in the horizontal direction).
[0039]
Furthermore, the reference area should be fixedly set to the size of the facial part such as the eyes, nose or mouth from the camera position, the camera angle of view, and the proportion of the face in the captured image. Is desirable.
[0040]
The description will be given with reference to FIGS. 3 and 4 again. After calculating the optical flow, the motion detection unit 23 determines the driver's movement, that is, the actual motion pattern, from the optical flow for each region determined by the image processing unit 22 (FIG. 4c). At this time, the motion detection unit 23 obtains an actual motion pattern for each area group. Then, the motion detection unit 23 sends the obtained actual motion pattern data to the state detection unit 24.
[0041]
The area group will be described. The area group is composed of at least one of the reference areas. An example of the area group will be described with reference to FIGS. 7 and 8 are explanatory diagrams of region groups. 7 and 8, an example in which the reference areas are arranged in a grid pattern (5 rows and 7 columns) on the captured image will be described.
[0042]
First, as shown in FIG. 7, each of the area groups A1 to I1 includes nine reference areas. Specifically, the area groups A1 to I1 include reference areas for 3 rows and 3 columns, and the area group A1 includes reference areas for the first to third rows of the first to third rows. The region groups B1 to D1 include the reference regions in the first to third rows, the fifth to seventh columns, the third to fifth rows, the first to third columns, and the third to fifth rows, the fifth to seventh columns. It is out. The region groups E1 to F1 include reference regions in the first to third rows, the third to fifth columns, and the third to fifth rows, the third to fifth columns. Furthermore, the region groups G1 to I1 include the reference regions of the 2nd to 4th rows, the 2nd to 4th columns, the 2nd to 4th rows, the 4th to 6th columns, and the 2nd to 4th rows of the 3rd to 5th columns. Yes.
[0043]
Further, as shown in FIG. 8, each of the area groups A2 to H2 may include 3 to 5 reference areas. In the case of this example, the area group A2 includes the reference areas of the first row, the first and second columns, and the second row and the first column. In addition, the area groups B2 to D2 are respectively in the first row, the sixth column, the seventh column, the second row, the seventh column, the fourth row, the first column, the fifth row, the first column, the fourth row, the seventh row, and The reference area in the fifth row and the sixth column is included. The area groups E2 to F2 include reference areas in the 2nd to 6th columns of the 1st row and the 2nd to 6th columns of the 5th row, respectively. Furthermore, the region groups G2 to H2 include a reference region in the first column of the second to fourth rows and the seventh column of the second to fourth rows.
[0044]
As described above, the region group is set in the captured image with a size including at least one reference region. Then, the motion detection unit 23 obtains an actual motion pattern for each region group.
[0045]
After the pattern is calculated, the state detection unit 24 performs at least one of the three driver states based on the actual operation pattern and the storage operation pattern. Specifically, the state detection unit 24 calculates the correlation between the actual operation pattern and each of the plurality of storage operation patterns stored in advance, and obtains the storage operation pattern with the highest correlation as the detection result (FIG. 7d).
[0046]
Here, the plurality of storage operation patterns are composed of feature amounts obtained in advance based on actual driver movements, and are stored in a storage unit (pattern storage unit) 24 a provided in the state detection unit 24. Has been. The state detection unit 24 reads a plurality of storage operation patterns from the storage unit 24a, and compares these storage operation patterns with the obtained actual operation pattern. Then, the state detection unit 24 outputs the detection result obtained by the comparison to the state signal output unit 25.
[0047]
The state signal output unit 25 converts the detection result from the state detection unit 24 into an electric signal Sb and outputs it to the outside. And the control apparatus 30 which received the electric signal Sb will perform various operation | movement based on the signal.
[0048]
Next, the operation of the state detection device 20 according to the first embodiment will be described in detail with reference to FIGS.
[0049]
FIG. 9 is a flowchart showing the operation of the image processing unit 22 shown in FIG.
[0050]
First, the image processing unit 22 inputs a video signal Sa that is data of a captured image from the image acquisition unit 21. Then, the image processing unit 22 applies a smoothing filter to the captured image from the image acquisition unit 21 and converts the pixel value using a predetermined formula (ST10). Here, the smoothing filter is a filter having 5 rows and 5 columns as shown below.
[0051]
[Expression 1]

The predetermined formula is shown below.
[0052]
[Expression 2]

Note that d (x, y) is a pixel value at an arbitrary position in the captured image, and d ′ (x, y) is a pixel value after conversion.
[0053]
Thereafter, the image processing unit 22 obtains the position most similar to the reference area in the previous captured image from the search area of the current captured image, and calculates the movement amount (xd, yd), that is, the optical flow ( ST11). Specifically, the image processing unit 22 first obtains an area most similar to the reference area from the search area, and sets the center point of the most similar area as the position most similar to the reference area. Then, the image processing unit 22 calculates the movement amount (xd, yd) from the obtained center point of the most similar region and the center point of the search region, and sets it as an optical flow.
[0054]
Here, step ST11 will be described in detail. As described above, a plurality of reference areas are set in advance on the captured image. The search area is set so as to surround each reference area. The reference area and the search area are set at different times. Specifically, as shown in FIG. 10, the reference area is set at time t, and the search area is set at time (t + 1) after time t.
[0055]
FIG. 10 is an explanatory diagram of a method of calculating the movement amount (xd, yd) in step ST11 shown in FIG. In the process of step ST11, the image processing unit 22 first creates a candidate area. This candidate area is an area having the same size as the reference area. Then, the image processing unit 22 sets a candidate area at a predetermined position in the search area and compares the set candidate area with the reference area to obtain a similarity. Next, the image processing unit 22 moves the candidate area to another position, compares the candidate area at the moved position with the reference area, and obtains the similarity.
[0056]
Thereafter, the image processing unit 22 sequentially moves the candidate areas, and calculates the similarity with the reference area at each location in the search area. The similarity is determined based on, for example, grayscale data. Here, in the case where the similarity is calculated based on the density data, assuming that the similarity is cos θ, the similarity is expressed by the following equation.
[0057]
[Equation 3]

In the above formula, the density data of the reference area is T, and the density data of the candidate area is S. Xd represents an X coordinate value in the search area, and yd represents a Y coordinate value in the search area.
[0058]
From the above, the image processing unit 22 determines the position S where the degree of similarity is maximum, acquires the difference between the coordinate values of the point S and the point O as the movement amount (xd, yd), and uses this as the optical flow.
[0059]
Again, a description will be given with reference to FIG. After calculating the movement amount (xd, yd), the image processing unit 22 determines whether the similarity range is greater than or equal to a threshold value (ST12).
[0060]
This determination will be described with reference to FIG. FIG. 11 is an explanatory diagram of the process of step ST12 shown in FIG. The image processing unit 22 scans the search area with the candidate area, and calculates the similarity of each part in the search area. Then, the image processing unit 22 obtains the variance of the obtained similarity.
[0061]
For example, as shown in FIG. 11, when the similarity at each location is represented as a change amount, it can be said that the change amount C1 has a small dispersion value and a narrow dispersion range. On the other hand, it can be said that the variation value C2 has a larger dispersion value and a larger dispersion range than the variation amount C1.
[0062]
Here, the case where the range of dispersion is narrow is a case where similar similarity is detected at each location in the search area. For example, when there are few features, such as when the reference region is a pure white image, a similar similarity result is obtained even when compared with any part in the search region. In such a case, since the difference in the degree of similarity is small, the detection of the point S at which the degree of similarity is maximum tends to be inaccurate. For this reason, in the process of step ST12 of FIG. 9, it compares with a predetermined | prescribed threshold value, and is trying to select a suitable thing and an unsuitable thing.
[0063]
Again, a description will be given with reference to FIG. If it is determined that the similarity range is equal to or greater than the threshold (ST13: YES), the image processing unit 22 sets the reference area as an effective area and substitutes “1” for fd (ST13). Then, the process proceeds to step ST15.
[0064]
On the other hand, when determining that the similarity range is not equal to or greater than the threshold (ST12: NO), the image processing unit 22 sets the reference area as an invalid area and substitutes “0” for fd (ST14). Then, the process proceeds to step ST15. In this way, the image processing unit 22 determines whether or not to use for optical flow calculation by comparing the amount of change in similarity (one of the feature amounts) with a preset threshold value. .
[0065]
In step ST15, the image processing unit 22 determines whether or not the above steps ST11 to ST14 have been performed by the number of regions (ST15). That is, the image processing unit 22 determines whether or not a similar position is specified from the search area for all reference areas.
[0066]
If it is determined that a similar position is not specified from within the search area for any reference area (ST15: NO), the process returns to step ST11, and the above steps are performed for the reference area that does not specify a similar position. The processing of ST11 to ST14 will be repeated.
[0067]
On the other hand, if it is determined that similar positions have been identified from the search area for all reference areas (ST15: YES), the image processing unit 22 transmits optical flow data for each reference area to the motion detection unit 23. To do. Thereafter, the processing by the image processing unit 22 ends.
[0068]
The operation of the image processing unit 22 shown in FIG. 9 is the same regardless of which of the three driver states is detected.
[0069]
Here, an example of the optical flow in each of the three driver states will be described. FIG. 12 is an explanatory diagram illustrating an example of an optical flow when the orientation of the driver's face is detected, and FIG. 13 is an explanatory diagram illustrating an example of an optical flow when detecting the presence or absence of the driver. FIGS. 14 to 16 are explanatory diagrams illustrating an example of an optical flow in the case of detecting entry / exit of an object other than the driver's face into the imaging range. FIG. 14 shows an example of the optical flow when the driver moves his hand near the eyes, and FIG. 15 shows the optical flow when the driver lifts the book to see a road map or the like. An example is shown. FIG. 16 shows an example of the optical flow when the spoke part of the handle enters the imaging range.
[0070]
First, a description will be given with reference to FIG. At time t, the driver visually recognizes the front (FIG. 12A). Thereafter, at time (t + 1), the driver turns his face to the left in order to confirm the intersection. At this time, an optical flow is detected (FIG. 12B). Here, a square area in the image is a reference area, and a line segment extending from each reference area indicates a movement amount of each part, that is, an optical flow.
[0071]
Thereafter, at time (t + 2), the driver turns his face further to the left. At this time, similarly, an optical flow is detected (FIG. 12C). Then, when the driver turns his face to the upper left at the time (t + 3), the optical flow is similarly detected (FIG. 12D).
[0072]
In FIG. 12, a rectangular frame indicating a reference area is indicated by a solid line, which is a reference area determined as “NO” in step ST12 of FIG. Is indicated by a broken line, which is a reference area determined as “YES” in step ST12 of FIG. The same applies to FIGS. 13 to 16 below.
[0073]
Next, a description will be given with reference to FIG. First, in the state before the driver gets on, the object in the image does not naturally move, and the optical flow is not detected. Also, many of the reference areas are invalid areas (FIG. 13A). Thereafter, when the driver starts to get on, the movement of the driver is detected and the optical flow is calculated. At this time, a part of the reference area becomes an effective area (FIG. 13B). Thereafter, the driver completes the ride. At this time, since the driver is in a stationary state, the amount of detection of the optical flow is reduced, but the driver cannot move completely but moves slightly, so that most of the reference area becomes the effective area ( FIG. 13 (c)).
[0074]
In FIG. 13, when very little optical flow is detected, a line segment extending from the reference area is not shown. The same applies to FIGS. 14 to 16 below.
[0075]
Next, a description will be given with reference to FIG. First, at time t, the driver visually recognizes the front (FIG. 14A). Thereafter, at time (t + 1), the driver moves his / her hand near the eyes. At this time, an optical flow is detected in a part of the captured image (FIG. 14B). Thereafter, at time (t + 2), there is almost no movement of the driver's hand, and the amount of optical flow detected is small (FIG. 14 (c)).
[0076]
Next, a description will be given with reference to FIG. First, at time t, the driver drops his / her line of sight to see a road map or the like from a state in which he / she is looking forward. At this time, since the face itself moves slightly downward, an optical flow is slightly detected (FIG. 15A). Thereafter, at time (t + 1), the driver lifts the road map or the like. At this time, an optical flow is detected slightly below the center of the captured image (FIG. 15B). Thereafter, at the time (t + 2), the driver pays close attention to the road map or the like, and hardly moves. For this reason, the detection amount of the optical flow is reduced (FIG. 15C).
[0077]
Next, a description will be given with reference to FIG. First, at time t, the driver is driving on a straight road (FIG. 16A). Thereafter, at time (t + 1), the driver performs a right turn operation. At this time, the spoke part of the steering wheel enters the imaging range, and the optical flow is detected (FIG. 16B). Thereafter, when the driver further turns the steering wheel in the right turn direction at time (t + 2), an optical flow is further detected (FIG. 16 (c)).
[0078]
In addition to this embodiment, the optical flow calculation method can be used to detect motion from moving images by Supervision of Nobuyuki Yagi, "Digital Video Processing", IPSJ, pp.129-139, 2000, Ohmsha, etc. Several methods have been introduced and can be used.
[0079]
Next, processing of the motion detection unit 23 will be described. FIG. 17 is a flowchart showing the operation of the motion detection unit 23 shown in FIG. In addition, the process by the operation | movement detection part 23 demonstrated below will not be performed when detecting the presence or absence of a driver | operator.
[0080]
In the processing shown in FIG. 17, the region group setting is different between the case where the detection target is the direction of the driver's face and the case where the object other than the driver's face is in and out of the imaging range. .
[0081]
First, the difference between area groups will be described. When the detection target is the direction of the driver's face, the area group is set as shown in FIG. That is, each of the nine area groups A1 to I1 is set to include nine reference areas of 3 rows and 3 columns.
[0082]
On the other hand, when the detection target is an entry / exit of an object other than the driver's face, the area group is set as shown in FIG. That is, each of the eight area groups A2 to H2 is set to include 3 to 5 reference areas.
[0083]
Here, the region group setting method is different for the following reasons. That is, when detecting the direction of the driver's face, it is necessary to capture the movement regardless of the position of the driver's face on the image. For this reason, it is desirable to set a region group for the entire image. On the other hand, when detecting the entry / exit of an object other than the driver's face within the imaging range, it is only necessary to detect the entry / exit, and there is no need to set an area group at the center of the image.
[0084]
As described above, in the present embodiment, the setting of the area group is made different according to the detection target so that each can be suitably detected.
[0085]
Next, the flowchart of FIG. 17 will be described on the premise of the above-described difference between area groups.
[0086]
First, the motion detection unit 23 selects a target to be processed from among a plurality of region groups, and further selects any one of the reference regions in the group.
[0087]
Then, the motion detection unit 23 initializes numerical values xm, ym, and c related to the amount of movement of the object in the image to “0” for the selected region group (ST20). Thereafter, the motion detection unit 23 determines whether or not the selected reference area is an effective area, that is, whether or not fd is “1” (ST21).
[0088]
When it is determined that fd is “1” (ST21: YES), the motion detection unit 23 integrates the optical flow that is the movement amount (ST22). Specifically, the motion detection unit 23 sets “xm” to “xm + xd”, “ym” to “ym + yd”, and “c” to “c + 1”. Then, the process proceeds to step ST23.
[0089]
On the other hand, when it is determined that fd is not “1” (ST21: NO), the operation detection unit 23 proceeds to step ST23 without integrating the optical flow that is the movement amount.
[0090]
In step ST23, the motion detection unit 23 determines whether or not all reference regions in the selected region group have been processed (ST23). If it is determined that any one of the reference areas has not been processed (ST23: NO), the process returns to step ST21, and steps ST21 and ST22 are repeated. That is, the motion detection unit 23 determines whether or not all the reference areas are valid areas, and if they are valid areas, performs a process of integrating the movement amount.
[0091]
When the movement amounts are sequentially accumulated and processed for all the reference areas (ST23: YES), the motion detection unit 23 determines whether c is “0” (ST24).
[0092]
If it is determined that “c” is “0” (ST24: YES), the process proceeds to step ST26. On the other hand, when it is determined that “c” is not “0” (ST24: NO), the motion detection unit 23 obtains an average of the accumulated “xm” and “ym” (ST25). That is, the motion detection unit 23 executes “xm = xm / c” and “ym = ym / c”, and obtains an average movement amount.
[0093]
Here, the average movement amount is, for example, as shown in FIG. In FIG. 12, the average moving amount is indicated by an arrow at the lower right of each image (excluding (a)). Note that the average movement amount is obtained for each region group, but FIG. 12 shows the average movement amount of the entire image for convenience of explanation. The average movement amount shown here indicates the average movement amount of the face. That is, this is the average amount of movement when the face orientation is the detection target.
[0094]
Again, a description will be given with reference to FIG. After calculating the average movement amount as described above, the motion detection unit 23 obtains a movement average value (ax, ay) (motion amount) for the obtained average movement amount (ST26). The range for obtaining the moving average is arbitrarily determined. For example, the motion detection unit 23 calculates the average of the average moving amount (corresponding to the size of the arrow) shown in FIGS. 12B, 12C, and 12D. To ask.
[0095]
Thereafter, the motion detection unit 23 integrates the moving average values (ax, ay) of the average moving amount (ST27). Specifically, the motion detection unit 23 sets “sx” to “sx + ax” and “sy” to “sy + ay”.
[0096]
Thereafter, the motion detection unit 23 obtains a moving average value (cx, cy) of the integrated values (sx, sy) (ST28). The range for obtaining this moving average is also arbitrarily determined.
[0097]
Then, the motion detection unit 23 obtains the movement position (vx, vy) from the difference between the integrated value (sx, sy) and the moving average (cx, cy) of the integrated value (ST29). Specifically, the motion detection unit 23 sets “vx” to “sx-cx” and “vy” to “sy-cy”.
[0098]
After that, the motion detection unit 23 stores the movement position (vx, vy) in the buffer, and obtains the movement position (vx, vy) and the current movement position (vx, vy) for a certain time previously obtained. The current actual operation pattern is set (ST30).
[0099]
Thereafter, the motion detection unit 23 determines whether or not the integrated value (sx, sy) is equal to or greater than a threshold value (ST31). If it is determined that the integrated value (sx, sy) is not equal to or greater than the threshold value (ST31: NO), the motion detection unit 23 sends the data of the movement position (vx, vy) to the state detection unit 24, and the process proceeds to step ST35. Transition.
[0100]
On the other hand, when it is determined that the integrated value (sx, sy) is equal to or greater than the threshold value (ST31: YES), the motion detection unit 23 determines whether the standard deviation of the integrated value (sx, sy) is equal to or less than the threshold value. (ST32). When it is determined that the standard deviation of the integrated value (sx, sy) is not less than or equal to the threshold value (ST32: NO), the motion detection unit 23 sends the data of the movement position (vx, vy) to the state detection unit 24, and the process is The process proceeds to step ST35.
[0101]
On the other hand, when it is determined that the standard deviation of the integrated values (sx, sy) is equal to or smaller than the threshold value (ST32: YES), the motion detection unit 23 determines whether the moving average value of the average moving amount is equal to or smaller than the threshold value. (ST33). When it is determined that the moving average value of the average moving amount is not equal to or less than the threshold value (ST33: NO), the motion detecting unit 23 sends the data of the moving position (vx, vy) to the state detecting unit 24, and the process goes to step ST35. Transition.
[0102]
On the other hand, when it is determined that the moving average value of the average moving amount is equal to or less than the threshold value (ST33: YES), the motion detection unit 23 initializes the integrated value (sx, sy) to “0” (ST34). Then, the motion detection unit 23 sends the data of the movement position (vx, vy) to the state detection unit 24, and the process proceeds to step ST35.
[0103]
The processes in steps ST31 to ST34 are performed for the following reason.
[0104]
For example, when the driver is seated on the seat, the driver's face is not always located at the center of the imaging range. For this reason, if the left and right range of the driver's face position is not equal within the imaging range, an error occurs due to the difference between the left and right ranges when the driver moves the face left and right. It is accumulated as a value (sx, sy). In addition, errors may be accumulated for various reasons. If the error is gradually accumulated as the integrated value (sx, sy), the detection of the orientation of the face and the detection of entering / exiting objects other than the face within the imaging range will be hindered.
[0105]
Therefore, in step ST31, it is determined whether or not the integrated value (sx, sy) is equal to or greater than a threshold value. If the integrated value (sx, sy) is equal to or greater than the threshold value, the integrated value (sx, sy) is initialized to “0”. In this way, the detection target is preferably detected by initializing the integrated value based on a predetermined condition.
[0106]
However, if the integrated value (sx, sy) is initialized to “0” at the stage when the driver is actually changing the direction of the face or when something other than the face is entering or leaving the imaging range, the initial value On the contrary, the detection of the detection target is hindered. Therefore, in steps ST32 and ST33, it is detected that the face is not moving or that anything other than the face is not in or out of the imaging range. That is, the motion detection unit 23 calculates the integrated value (sx, sy) based on a predetermined condition that the standard deviation of the integrated value (sx, sy) is less than or equal to the threshold value and the moving average value of the average moving amount is less than or equal to the threshold value. sy) is initialized to “0”.
[0107]
In step ST35, it is determined whether or not all region groups have been processed (ST35). If it is determined that any region group is not processed (ST35: NO), the process returns to step ST20 again, and the same process is performed. On the other hand, when it is determined that all region groups have been processed (ST35: YES), the operation detection unit 23 sends actual operation pattern data for each region group to the state detection unit 24. Thereafter, the processing by the motion detection unit 23 ends.
[0108]
Here, an example of movement position (vx, vy) data obtained by the motion detection unit 23, that is, an actual motion pattern will be described with reference to FIG. FIG. 18 is an explanatory diagram of an actual motion pattern obtained by the motion detection unit 23 shown in FIG. 2, and shows a case where the detection target is the direction of the driver's face.
[0109]
In FIG. 18, the vertical axis indicates the movement position, and the horizontal axis indicates time. In FIG. 18, only the movement position in the image horizontal direction (X direction) is shown, and the movement position in the image vertical direction (Y direction) is omitted. Further, FIG. 18 shows an example of an actual motion pattern obtained in a predetermined area group when the driver is viewing the front, turning his face to the left, and then viewing the front again. Yes.
[0110]
As shown in the figure, first, when the driver is gazing at the front of the vehicle (period of time 350 to 410), the movement position is in the vicinity of “0”.
[0111]
Next, when the driver performs a confirmation operation and turns his face to the left (period from time 410 to 430), the movement position indicates about “−45 to −48” pixels. After that, when the driver is left facing for a while (time period from 430 to 560), the movement position is maintained at about “−45 to −48” pixels.
[0112]
Then, when the driver turns his face to the front of the vehicle again (period of time 560 to 580), the moving position returns to near “0”. Thereafter, when the driver keeps gazing at the front of the vehicle (time period 580 to 650), the movement position continues to maintain around “0”.
[0113]
Thus, the movement position (vx, vy) obtained by the movement detector 23 represents the direction of the driver's face, and the actual movement pattern P1 is detected by capturing this movement position over time. It becomes.
[0114]
Another example of the actual operation pattern will be described with reference to FIG. FIG. 19 is an explanatory diagram of an actual motion pattern obtained by the motion detection unit 23 illustrated in FIG. 2, and illustrates a case where the detection target is an entry / exit of an object other than the driver's face.
[0115]
In FIG. 19, the horizontal axis indicates the movement position in the horizontal direction (X direction) of the image, and the vertical axis indicates the movement position in the vertical direction of the image (Y direction). Further, the actual motion pattern shown in FIG. 19 shows an example obtained in a predetermined area group when the handle is operated as shown in FIG.
[0116]
As shown in FIG. 16, the spoke portion of the handle moves in the negative direction on the X axis and the Y axis on the captured image. For this reason, the movement position (vx, vy) of the handle obtained over time, that is, the actual operation pattern P2, shows movement in the negative direction on the X axis and the Y axis as shown in FIG. . When the handle is turned to the left, the above is reversed, and a pattern in which the actual operation pattern P2 shown in FIG. 19 is substantially point-symmetric with respect to the origin (0, 0) is obtained.
[0117]
Next, the operation by the operation detection unit 23 when the detection target is the presence or absence of the driver will be described. When the detection target is the presence or absence of the driver, the motion detection unit 23 does not perform the process of FIG. 17 described above, and the number of reference areas determined as “YES” in step ST12 of FIG. Obtain actual motion patterns over time. That is, the actual operation pattern is obtained by counting the number of effective reference areas among all reference areas.
[0118]
As described with reference to FIG. 13, the number of effective areas tends to gradually increase from the state before the rider's boarding to the completion of boarding after the boarding state. The motion detection unit 23 obtains this tendency as an actual motion pattern.
[0119]
FIG. 20 is an explanatory diagram illustrating an example of an actual motion pattern obtained by the motion detection unit 23 when the detection target is the presence or absence of a driver. In FIG. 20, the vertical axis indicates the number of effective areas, and the horizontal axis indicates time.
[0120]
First, the number of effective areas is stable at 5 or less in the state before the ride of the driver (period from time 35140 to 35164). Thereafter, when the driver begins to get on, the number of effective areas starts to increase (period of time 35164 to 35204). At this time, the number of effective areas is 6 or more and less than 15. And in the state of boarding completion (period of time 35204-35250), the number of effective areas increases further, and becomes 15 or more.
[0121]
When the detection target is the presence or absence of the driver, the motion detection unit 23 acquires the change in the number of effective areas as described above as the actual motion pattern P3. Note that, similarly to the case where the detection target is the direction of the driver's face (as in step ST30 in FIG. 17), the motion detection unit 23 stores the number of effective areas for a certain period of time. For this reason, the actual operation pattern P3 actually obtained may not be continuous from time 35140 to 35250 as shown in FIG. That is, the actual operation pattern P3 may be a part of an increase change in the number of effective areas shown in FIG. 20 such as times 35180 to 35200.
[0122]
When the actual operation pattern is obtained, the operation detection unit 23 sends the data of the actual operation pattern P3 to the state detection unit 24. Thereafter, the processing by the motion detection unit 23 ends.
[0123]
Next, the operation of the state detection unit 24 shown in FIG. 2 will be described. FIG. 21 is a flowchart showing the operation of the state detection unit 24 shown in FIG.
[0124]
As shown in the figure, the state detection unit 24 first selects any one of the area groups. Then, the state detection unit 24 correlates the actual operation pattern P obtained in step ST30 of FIG. 11 with each of the plurality of storage operation patterns D stored in advance in the storage unit 24a for any one selected. Is obtained (ST40).
[0125]
As a method for obtaining the correlation, for example, it is obtained in the same manner as in Equation 3, or is obtained by using information obtained by frequency analysis by Fourier transform or Weblet transform.
[0126]
Specifically, the actual operation pattern P and the storage operation pattern D are as follows:
[Expression 4]

It has become. Note that the “state code” is a state code representing the state of the driver. Further, “data” indicates the movement position (vx, vy) obtained in step ST30 of FIG. 17 when the detection target is an entry / exit into an imaging range other than the driver's face and the orientation of the face. It will be shown. When the detection target is the presence or absence of a driver, “data” indicates the number of effective areas.
[0127]
Thereafter, the state detection unit 24 detects the storage operation pattern having the highest correlation among the plurality of storage operation patterns (ST41). After detection, the state detection unit 24 detects the state indicated by the detected storage operation pattern as the state of the driver (ST42). That is, the state detection unit 24 uses the face orientation state indicated by the storage operation pattern D having the highest correlation as a detection result. Then, the state detection unit 24 outputs this detection result to the state signal output unit 25.
[0128]
Thereafter, the state detection unit 24 performs the same process for one of the region groups other than the selected one, and outputs the detection result to the state signal output unit 25.
[0129]
In the above, the actual operation pattern and the storage operation pattern for each region group are compared and the respective detection results are obtained. However, it is also possible to obtain a result of 1 by comprehensively judging each detection result. Good. In this case, the detection result of each area group is not sequentially output to the state signal output unit 25, but only the comprehensively determined result is output.
[0130]
When the detection target is the presence or absence of a driver, the above process is not repeated because no area group is set. That is, the state detection unit 24 performs the processing of steps ST40 to ST42 once and outputs the obtained detection result to the state signal output unit 25.
[0131]
After that, the state signal output unit 25 converts the detection result from the state detection unit 24 into an electric signal Sb and outputs it to the outside.
[0132]
As is clear from the above, in this embodiment, common processing is performed regardless of whether the image processing shown in FIG. 9 detects any of the three driver states. Further, since an optical flow is obtained for a preset reference region, detection is performed without specifying the position of the face as in the past.
[0133]
Thus, in the state detection device 20 according to the present embodiment, the image processing unit 22 obtains an optical flow between captured images. In the method for obtaining the optical flow, when any object in the image moves, the movement can be detected. For this reason, it is not necessary to use an image processing method individually set for each detection target as long as the detection target can be obtained based on movement.
[0134]
Therefore, for example, with regard to the orientation of the driver's face that can be obtained based on the movement, the entry / exit of an object other than the driver's face into the imaging range, and the presence / absence of the driver, one image processing method using this optical flow Will be used.
[0135]
Therefore, when a device that detects one of the above three driver states is configured, when it is desired to upgrade the device to detect another driver state later, only a non-common processing part is incorporated. You can do it. As a result, compared with the case where a device that performs completely different processing is incorporated at the time of upgrading or the like, the cost is not increased, and depending on the contents of the image processing, it is difficult to cause simultaneous execution.
[0136]
Further, when two or more of the three driver states are detected, since the image processing method is common, it is possible to detect the states of a plurality of drivers with one image processing method. As a result, compared to a case where a device that performs different processing is mounted, the cost is not increased, and it is difficult to cause a situation where simultaneous execution is impossible depending on the contents of image processing.
[0137]
Therefore, improvement in cost and versatility can be achieved.
[0138]
In addition, since the state signal output unit 25 converts the detection result from the state detection unit 24 into an electric signal Sb and outputs it to the outside, for example, when the external control device 30 is a notification device, Notification according to the direction can be made. Therefore, vehicle control or the like can be performed using the detection result.
[0139]
Further, an optical flow is obtained for each of one or a plurality of calculation areas determined by a predetermined position and size with respect to the captured image, and an actual operation pattern obtained from the optical flow is obtained for each area group including at least one calculation area. ing. Then, the orientation of the face is detected based on the obtained actual motion pattern and the previously stored memory motion pattern. For this reason, for example, even when the face exists only at the corner of the captured image, the actual motion pattern can be accurately obtained for the area group at the corner. Therefore, it is possible to avoid a situation in which the actual motion pattern cannot be obtained accurately when only a part of the face exists in the corner of the image.
[0140]
Therefore, convenience can be improved.
[0141]
In addition, an actual motion pattern is detected spatially and temporally from the calculation result of the optical flow. In other words, for example, the movement in the left-right direction is obtained spatially, and the movement of the driver retroactively from the present to the past is obtained. That is, it is possible to prevent the actual operation pattern from being obtained by the instantaneous optical flow, and to reduce the influence of noise or the like.
[0142]
Conventionally, a driver's state or the like is detected based on a feature amount obtained by imaging or the like. For this reason, conventionally, it is necessary to acquire a feature value in order to obtain a reference at the start of operation. Therefore, the state or the like cannot be detected at the start of operation. However, in this embodiment, the feature amount is not obtained by imaging or the like, but the feature amount actually obtained in advance based on the movement of the driver is stored. For this reason, it is possible to detect the state of the driver or the like even when driving is started. Further, the same effect can be obtained when the comparison process is performed using the storage operation pattern as the feature amount.
[0143]
Further, at least one of the one or a plurality of reference regions is set to the size of the specific part of the face based on the proportion of the face in the captured image. For this reason, it is possible to prevent a calculation amount from being increased by setting a reference region that is too large, and to reduce the possibility that a plurality of characteristic parts simultaneously enter one reference region. Furthermore, an area that is too small can be set to prevent the area from having a characteristic part.
[0144]
Further, the moving average value (motion amount) based on the movement of the face is integrated, the movement of the face is obtained based on the integrated value, and the integrated value is initialized based on a predetermined condition. For this reason, for example, an error accumulated as an integrated value when the driver moves his / her face to the left or right can be initialized, and the driver state can be suitably detected.
[0145]
In addition, each of the one or a plurality of calculation areas is optically compared with each other by comparing a change amount (variance value) of the feature amount (similarity) calculated in each search area with a preset threshold value. It is determined whether or not to use for flow calculation. For this reason, it is possible to prevent inaccurate detection due to setting of a reference region having no feature.
[0146]
Moreover, in the state detection system 1 which concerns on this embodiment, the improvement in terms of cost and versatility can be aimed at. Furthermore, for example, when the external control device 30 is a notification device, notification according to the orientation of the driver's face can be performed. Therefore, vehicle control or the like can be performed using the detection result.
[0147]
In the present embodiment, the processing by the image processing unit 22 is the same regardless of which detection target is detected, but does not have to be exactly the same. That is, there may be some change as long as it does not affect the image processing for obtaining the optical flow.
[0148]
Further, in the present embodiment, by determining whether or not there is a driver while the vehicle is running, for example, when the driver succumbs to pick up a fallen object under the seat, or tries to take an object in the passenger seat It is also possible to detect a case where the user leans on the passenger seat side.
[0149]
16 and 19 illustrate an example in which the spoke portion of the handle has entered the imaging range. In this case, since the movement locus of the spoke portion is obtained, the steering angle of the handle is estimated. It can also be applied to a device.
[0150]
Next, a second embodiment of the present invention will be described. In the second embodiment, differences from the first embodiment will be mainly described.
[0151]
The state detection system 1a and the state detection device 20a according to the second embodiment target at least two of the three driver states as detection targets. In addition, the state detection unit 24 according to the second embodiment is different from the first embodiment in the content of the process to be executed.
[0152]
Hereinafter, different processing contents will be described. First, the state detection device 20a of the second embodiment is capable of detecting two or more of the three driver states described in the first embodiment, and sends each detection result to the control device 30. It is configured.
[0153]
Specifically, the operation detection unit 23 obtains an actual operation pattern for any one of two or more driver states to be detected, and sends this data to the state detection unit 24. Thereafter, the operation detection unit 23 obtains an actual operation pattern again for the remaining driver states, and sends this data to the state detection unit 24. This operation may be performed in parallel.
[0154]
Then, the state detection unit 24 performs detection as described in the first embodiment based on the input data of the actual operation pattern. Thereafter, the state detection unit 24 sends the detection result to the state signal output unit 25.
[0155]
Then, as described in the first embodiment, the state signal output unit 25 converts the detection result into the electric signal Sb and outputs it to the control device 30.
[0156]
Further, the state detection unit 24 according to the second embodiment has a function of sending a suppression signal to the operation detection unit 23 based on the detection result.
[0157]
FIG. 22 is a flowchart illustrating the suppression control process performed by the state detection unit 24. First, after obtaining the detection result, the state detection unit 24 determines whether or not the detection result of the driver state is a predetermined result (ST50). And when it is judged that it is a predetermined result (ST50: YES), the state detection part 24 transmits a suppression signal to the operation | movement detection part 23 (ST51). Thereby, the operation | movement detection part 23 suppresses the detection about driver states other than the detected driver state.
[0158]
For example, when the driver's hand is in the vicinity of the eyes, the driver is not in the vehicle, and in such a case, the state detection unit 24 transmits a signal for suppressing detection of the presence or absence of the driver. . In addition, when the driver's hand is in the vicinity of the eyes, the driver tends to have difficulty changing the orientation of the face. In such a case, a signal that suppresses detection of the orientation of the driver's face is transmitted. To do. Thus, according to the detection result of one driver state, the detection is suppressed when it is not necessary to detect another driver state. Thereby, this device 2 prevents erroneous detection of detection of other driver states.
[0159]
In addition, during this time, the motion detection unit 23 and the state detection unit 24 perform detection again for the driver state that has already obtained the detection result. Then, it is determined whether or not the result of the second detection is a predetermined result (ST52). That is, it is determined whether or not a predetermined result continues.
[0160]
When it is determined that the predetermined result is continued (ST52: YES), this process is repeated until it is determined that the predetermined result is not continued. On the other hand, when it is determined that the predetermined result is not continued (ST52: NO), the state detection unit 24 transmits a release signal for canceling the inhibition to the operation detection unit 23 (ST53). That is, the suppression executed in step ST51 is cancelled.
[0161]
Then, the process ends. By the way, when it is determined in step ST50 that the result is not a predetermined result (ST50: NO), the process ends in the same manner.
[0162]
As described above, in the state detection device 20a according to the present embodiment, it is possible to improve the cost and versatility as in the first embodiment. Furthermore, since detection of other driver states is suppressed based on a detection result of a certain driver state, it is possible to prevent erroneous detection of other driver states.
[0163]
Further, as in the first embodiment, convenience can be improved, and the influence of noise or the like can be reduced.
[0164]
Further, it is possible to detect the state of the driver even at the start of driving.
[0165]
Furthermore, it is possible to prevent an increase in the amount of calculation and reduce the possibility of a plurality of characteristic parts entering one reference region at the same time. Moreover, by setting a region that is too small, it is possible to prevent the region from having a characteristic part.
[0166]
Furthermore, it is possible to preferably detect the driver state, and to prevent inaccurate detection.
[0167]
Even in the present embodiment, as long as image processing for obtaining an optical flow is performed, other processing may be slightly changed. In addition, for example, it is possible to detect a case where the driver bends down to pick up a fallen object under the seat, or a case where the driver leans on the passenger seat side to try to pick up an object in the passenger seat. Furthermore, since the movement trajectory of the spoke part can be obtained, the present invention can be applied to an apparatus for estimating the turning angle of the handle.
[0168]
Moreover, in this embodiment, since it is sufficient that at least two of the three driver states are set as detection targets, the number of detection targets may be two or three. Furthermore, since detection of other driver states is suppressed based on at least one detection result, detection of the remaining one driver state may be suppressed based on two of the three detection results. . Moreover, you may make it suppress detection of the remaining two driver states based on one detection result.
[0169]
Next, a third embodiment of the present invention will be described. In the third embodiment, differences from the second embodiment will be mainly described.
[0170]
The state detection system 1b and the state detection device 20b according to the third embodiment target at least two of the three driver states and the three body states as detection targets. The three body states refer to the opening / closing of the driver's heel, the opening / closing of the driver's mouth, and the change in the driver's facial expression.
[0171]
In the detection of the body state, the process to be executed is substantially the same as the detection of the driver state described above. However, since it is necessary to accurately detect minute changes such as wrinkles, mouths, and facial expressions, it is necessary to specify the positions of the eyes and mouth of the face from the captured image.
[0172]
Next, the operation of the state detection device 20b when detecting opening / closing of the eyelid, opening / closing of the mouth, and expression change will be described.
[0173]
When detecting opening / closing of the eyelid, the image processing unit 22 specifies the position of the eye. Specifically, the coordinate position of the eye in the captured image may be specified as described in JP-A-5-60515 and JP-A-2000-142164.
[0174]
After specifying the eye position, the image processing unit 22 sets a reference area near the eye position in the captured image and sets an area group including a plurality of reference areas.
[0175]
FIGS. 23A and 23B are explanatory diagrams showing reference areas and area groups in the case of detecting opening / closing of a bag, where FIG. 23A shows examples of reference areas and FIG. 23B shows examples of area groups. As shown in FIG. 23A, the image processing unit 22 sets a reference region of 4 rows and 16 columns so as to cover both eyes. Then, as shown in FIG. 23B, two area groups A3 and B3 are set. These area groups are set for the left and right eyes, and specifically include a reference area of 4 rows and 8 columns.
[0176]
After setting the reference area and area group, an optical flow is obtained in the same manner as in the second embodiment, and the data is sent to the motion detection unit 23.
[0177]
Thus, the reference area is set at a predetermined position in the second embodiment, whereas it is set at the specified eye position in the third embodiment. That is, the third embodiment is different from the second embodiment in terms of eye position specifying processing and reference area setting processing. Note that this difference affects the detection of states other than the opening and closing of the bag, and is not so great that simultaneous execution with the detection of other states cannot be performed.
[0178]
After calculating the optical flow, the motion detection unit 23 obtains an actual motion pattern in the same manner as in the second embodiment (particularly in the same manner as the detection of the face orientation). And the state detection part 24 calculates | requires the correlation with a some memory | storage operation | movement pattern, and detects a body state.
[0179]
Here, an optical flow and an actual operation pattern obtained when detecting the opening / closing of the bag will be described. FIG. 24 is an explanatory diagram showing an example of an optical flow obtained when the opening / closing of the bag is detected.
[0180]
First, as shown in FIG. 24 (a), the driver's eyes are open at time t. Thereafter, the driver starts closing his eyes at time (t + 1). At this time, as shown in FIG. 24B, an optical flow is detected in the vertical direction (Y direction) of the image of the driver's heel portion.
[0181]
Then, at the time (t + 2), the driver's eyes are completely closed. Also at this time, as shown in FIG. 24C, an optical flow is detected in the vertical direction of the image near the driver's eyes. Note that in the horizontal direction of the image (X direction), the optical flow is hardly detected through time t to (t + 2).
[0182]
FIG. 25 is an explanatory diagram illustrating an example of an actual operation pattern obtained when the opening / closing of the bag is detected. FIG. 25 shows a pattern obtained until the driver closes his eyes and then opens his eyes.
[0183]
When the driver performs an action of closing eyes, as shown in FIG. 24, the optical flow is detected in the vertical direction of the image, and the optical flow is not detected so much in the horizontal direction of the image. For this reason, the actual operation patterns P4 and P5 obtained (hereinafter, the actual operation pattern obtained when detecting the opening and closing of the bag is referred to as the bag operation patterns P4 and P5) are as shown in FIG.
[0184]
More specifically, the wrinkle operation pattern P4 in the image vertical direction is as follows. First, in a state where the driver has his eyes open (period of time 178 to 186), the movement position is near “0”. After that, when the driver starts to close his eyes, an optical flow in the vertical direction of the image is obtained, so that the moving position rises to “6 to 8” pixels (period 186 to 190).
[0185]
In a state where the driver keeps closing his eyes (period of time 190 to 216), the moving position continues to maintain “6 to 8” pixels. Thereafter, when the driver starts to open his eyes, the movement position gradually decreases (period from time 216 to 237).
[0186]
On the other hand, no soot optical flow is detected in the horizontal direction of the image. For this reason, the wrinkle movement pattern P5 in the horizontal direction of the image continues to maintain substantially the same value during the period of time 178 to 186.
[0187]
After the above-described wrinkle operation patterns P4 and P5 are obtained, the state detection unit 24 reads a plurality of storage operation patterns from the storage unit 24a. Then, the state detection unit 24 detects the driver's blink by comparing the saddle operation pattern P4 with the storage operation pattern. In addition, the memory | storage part 24a which concerns on 3rd Embodiment has memorize | stored the pattern at the time of showing the return for a predetermined movement after showing a predetermined movement in the image vertical direction as a memory | storage operation | movement pattern. For this reason, the state detection unit 24 blinks the driver when the correlation between the saddle movement pattern P4 and the stored movement pattern indicating the predetermined movement return after the predetermined movement in the image vertical direction is the highest. Will be detected.
[0188]
Thereafter, the state signal output unit 25 outputs an electrical signal Sb corresponding to the detection result to the control device 30. In addition, the storage unit 24a stores a storage operation pattern of eye opening and closing operations, and can detect whether the eyes are closed for a long time based on the time from the closing operation to the opening operation.
[0189]
Conventionally, when detecting some detection target, the apparatus is often configured to detect the detection target by two or more methods (for example, a method based on grayscale value data or a method based on difference images). . If the detection target is detected by any one of these two or more methods, it is determined that there is detection even if the detection target is not detected by another method. As described above, conventionally, detection targets are detected by combining two or more methods for the purpose of complementing a detection error when detection is performed by one method.
[0190]
By the way, in the above combination, the detection accuracy tends to be higher when two or more completely different methods are combined than when two or more similar methods are combined. That is, for example, when all of the two or more methods detect the detection target based on the gray value data, there is a possibility that a detection error occurs due to all the methods when the gray value data itself is not detected well. It is.
[0191]
In the present embodiment, blinking is detected by a new technique called optical flow. For this reason, for example, when a detection target is detected by combining two or more techniques, blink detection with high detection accuracy as a whole can be performed. Similarly, detection of the eye opening and closing operations can be performed with high accuracy.
[0192]
Next, opening and closing of the mouth will be described. When detecting opening and closing of the mouth, the image processing unit 22 specifies the position of the mouth. When specifying the position of the mouth, first, the coordinates of the eyes are specified as described above. Then, the coordinate position of the mouth in the captured image is specified from the relative positional relationship between the coordinate positions of the eyes. Further, after specifying the position of the mouth, the image processing unit 22 next specifies the positions of the upper lip and the lower lip. The positions of the upper lip and the lower lip are specified based on, for example, a region having a low gray value extending in the horizontal direction of the image (that is, the boundary between the upper lip and the lower lip formed when the mouth is closed).
[0193]
After specifying the positions of the upper lip and the lower lip, the image processing unit 22 sets a reference area near the mouth position in the captured image and sets an area group including a plurality of reference areas.
[0194]
FIG. 26 is an explanatory diagram showing reference areas and area groups when detecting opening and closing of the mouth, where (a) shows an example of the reference area and (b) shows an example of the area group. As shown in FIG. 26A, the image processing unit 22 sets a reference area of 4 rows and 8 columns so as to cover both lips. Then, as shown in FIG. 26B, two area groups A4 and B4 are set. These area groups are set for each of the upper lip and the lower lip. Specifically, the area groups are set to include a reference area of 2 rows and 8 columns.
[0195]
After setting the reference area and area group, an optical flow is obtained in the same manner as in the second embodiment, and the data is sent to the motion detection unit 23.
[0196]
Thus, the reference area is set at the specified mouth position. Note that the mouth position specifying process and the reference area setting process, which are different from the second embodiment, affect the detection of states other than the opening and closing of the mouth, and can be performed simultaneously with the detection of other states. Not so much that you can't.
[0197]
After calculating the optical flow, the motion detection unit 23 obtains an actual motion pattern in the same manner as in the second embodiment (particularly in the same manner as the detection of the face orientation). And the state detection part 24 calculates | requires the correlation with a some memory | storage operation | movement pattern, and detects a body state.
[0198]
Here, an optical flow and an actual operation pattern obtained when detecting opening and closing of the mouth will be described. FIG. 27 is an explanatory diagram illustrating an example of an optical flow obtained when opening / closing of a mouth is detected.
[0199]
First, as shown in FIG. 27 (a), the driver's mouth is closed at time t. Thereafter, the driver starts opening his mouth at time (t + 1). At this time, as shown in FIG. 27B, an optical flow is detected in the image vertical direction (Y direction) for the lower lip portion of the driver. On the other hand, in the horizontal direction of the image (X direction), optical flow is not detected so much. For the upper lip, no optical flow is detected in either the vertical direction or the horizontal direction of the image.
[0200]
Then, at the time (t + 2), the driver's eyes are completely closed. Also at this time, as shown in FIG. 27C, the optical flow is detected only in the vertical direction of the image at the lower lip portion of the driver. On the other hand, no optical flow is detected on the upper lip.
[0201]
FIG. 28 is an explanatory diagram showing an example of an actual operation pattern obtained when detecting opening and closing of the mouth. In addition, in FIG. 28, the pattern obtained until a driver | operator opens a mouth and closes a mouth after that is shown.
[0202]
When the driver performs an operation of opening his / her mouth, as shown in FIG. 27, for the lower lip, the optical flow is detected in the vertical direction of the image, and the optical flow is not detected much in the horizontal direction of the image. For the upper lip, optical flow is not detected so much in both the vertical and horizontal directions of the image.
[0203]
Therefore, the obtained real state patterns P6 to P9 are as shown in FIG. In the following, the actual motion pattern obtained for the lower lip when detecting opening and closing of the mouth will be referred to as lower lip motion patterns P6 and P7. Further, the actual motion pattern obtained for the upper lip is defined as upper lip motion patterns P8 and P9.
[0204]
The patterns P6 to P9 shown in FIG. 28 will be specifically described. First, for the lower lip motion pattern P6 in the image vertical direction, the movement position is in the vicinity of “0” in a state where the driver closes his mouth (period of time 660 to 675). Thereafter, when the driver starts to open his mouth, an optical flow in the vertical direction of the image is obtained, so that the moving position rises to the vicinity of “30” pixels (period of time 675 to 700).
[0205]
Then, in a state where the driver keeps opening with the mouth (period of time 700 to 710), the moving position keeps around “30” pixels. Thereafter, when the driver starts closing his / her mouth, the moving position gradually decreases (period 710 to 716). When the driver closes his / her mouth (period 710 to 734), the movement position continues to maintain around “5” pixels. Here, the movement position is in the vicinity of “5” pixels because an error is detected.
[0206]
On the other hand, in the lower lip motion pattern P7 in the horizontal direction of the image, the optical flow is not detected so much in the horizontal direction of the image. Similarly, the upper lip motion patterns P8 and P9 continue to be maintained in the vicinity of “0” in the period of time 660 to 734.
[0207]
After the upper lip and lower lip operation patterns P6 to P9 as described above are obtained, the state detection unit 24 reads a plurality of storage operation patterns from the storage unit 24a. Then, the state detection unit 24 detects the driver's blink by comparing the upper lip and lower lip operation patterns P6 to P9 with the storage operation pattern. Note that the storage unit 24a according to the third embodiment stores, as a storage operation pattern, a pattern when the upper lip shows a substantially stationary state and the lower lip shows a predetermined movement in the image vertical direction. For this reason, the state detection unit 24 has the highest correlation between the upper lip and lower lip motion patterns P6 to P9 and the memory motion pattern in which the upper lip shows a substantially stationary state and the lower lip shows a predetermined movement in the image vertical direction. In this case, the opening operation or closing operation of the driver's mouth is detected.
[0208]
Then, the state signal output unit 25 outputs an electrical signal Sb corresponding to the detection result to the control device 30. In the case of detecting the opening / closing of the mouth, by storing the data at the time of pronunciation of “a”, “i”, “u”, “e”, and “o” in the storage unit 24a as the memory operation pattern, the pronunciation estimation is performed. It can be applied to devices and the like. That is, the present invention can be applied to a voice input navigation device or the like.
[0209]
Further, by storing the movement data of the mouth at the time of yawning in the storage unit 24a as the memory operation pattern, it can be applied to a yawn detection device or the like. Furthermore, by detecting yawning, the present invention can be applied to evaluation of a driver's arousal level, a dozing detection device, and the like.
[0210]
The detection of opening / closing of the mouth is relatively accurate. This is because the present embodiment detects the movements of the upper lip and the lower lip. For example, when detecting the opening and closing of the mouth by capturing the entire movement of the mouth, when the driver moves the face up and down somewhat, it becomes difficult to distinguish whether the opening or closing of the mouth or the up and down movement of the face.
[0211]
However, in the present embodiment, when a person opens and closes his / her mouth, attention is paid to the fact that the upper lip hardly moves and the lower lip mainly moves, and the opening / closing of the mouth is determined by detecting this movement. Therefore, it is possible to detect the opening and closing operations of the mouth with relatively high accuracy.
[0212]
Next, changes in facial expressions will be described. When detecting a change in facial expression, the image processing unit 22 identifies the position of the face. Then, the positions of the eyes and nose of the face are specified. In this specification, first, the coordinate position of the eye is specified. Then, the coordinate position of each part of the face such as the nose, mouth, cheek, and eyebrows in the captured image is specified from the relative positional relationship of the eye coordinate positions.
[0213]
Then, after specifying each part of the face, the image processing unit 22 sets a reference area for the entire face in the captured image, and sets an area group including a plurality of reference areas for each part of the face.
[0214]
FIGS. 29A and 29B are explanatory diagrams showing reference areas and area groups when a change in facial expression is detected. FIG. 29A shows examples of reference areas, and FIG. 29B shows examples of area groups. As shown in FIG. 29A, the image processing unit 22 sets a reference area of 14 rows and 16 columns so as to cover the entire face.
[0215]
Then, as shown in FIG. 29B, eleven area groups A5 to K5 are set. Specifically, the region groups A5 to D5 are set for the right eyebrow, the left eyebrow, the right eye, and the left eye position. Specifically, each region group A5 to D5 is set to include a reference region of 3 rows and 8 columns. The area groups E5, G5, I5, and J5 are set for the right cheek, left cheek, right jaw, and left jaw positions, and specifically include reference areas of 4 rows and 4 columns, respectively. Is set.
[0216]
Further, the area groups F5, H5, and K5 are set for the nose, upper lip, and lower lip positions. Specifically, the reference areas of 3 rows, 8 columns, 1 row, 8 columns, and 4 rows and 4 columns are set. It is set including.
[0217]
Then, after setting the reference region and the region group, the image processing unit 22 obtains an optical flow as in the second embodiment, and sends the data to the motion detection unit 23.
[0218]
Thus, the reference area is set at the position of each part of the face. Note that the difference between the facial expression detection and the second embodiment in the detection of the facial expression affects the detection of the driver state and is not so large that the detection of the driver state cannot be performed.
[0219]
After calculating the optical flow, the motion detection unit 23 obtains an actual motion pattern in the same manner as in the second embodiment (particularly in the same manner as the detection of the face orientation). And the state detection part 24 calculates | requires the correlation with a some memory | storage operation | movement pattern, and detects a body state.
[0220]
Here, an optical flow and an actual operation pattern obtained when detecting a change in facial expression will be described. FIG. 30 is an explanatory diagram illustrating an example of an optical flow obtained when a change in facial expression is detected. FIG. 31 is an explanatory diagram showing the optical flow shown in FIG. 30 in a simplified manner. 30 and 31 show an optical flow when the driver performs an operation of frowning the eyebrows.
[0221]
First, as shown in FIG. 30 (a), the driver's facial expression is in a normal state at time t. Thereafter, the driver starts frowning at time (t + 1). At this time, as shown in FIG. 30B, an optical flow is detected near the eyebrows and the eyes. Then, when the driver frowns at time (t + 2), as shown in FIG. 30C, the optical flow is not detected.
[0222]
A state from time t to (t + 2) is shown in FIG. As shown in the figure, when the driver performs an operation of frowning the eyebrows, the position of the eyebrows tends to move slightly in the vertical direction of the image. There is also a slight movement in the eyes.
[0223]
FIG. 32 is an explanatory diagram illustrating an example of an actual motion pattern obtained when a change in facial expression is detected. FIG. 32 shows a pattern obtained when the operation of frowning the eyebrows shown in FIGS. 30 and 31 is performed.
[0224]
As apparent from FIGS. 30 and 31, when the driver performs an operation of frowning the eyebrows, an optical flow is detected near the eyebrows and the eyes. Therefore, the actual operation pattern obtained is as shown in FIG.
[0225]
As shown in FIG. 32, since the optical flow is obtained from the eyebrows and eyes from time t to (t + 2), changes are observed in these movement positions. On the other hand, there is almost no change in the face parts other than the eyebrows and eyes.
[0226]
After the actual motion pattern is obtained for each facial feature as described above, the state detection unit 24 reads a plurality of storage motion patterns from the storage unit 24a. And the state detection part 24 will detect a driver | operator's facial expression based on the actual operation | movement pattern for every feature part of a face, and the memory | storage operation | movement pattern memorize | stored in the memory | storage part 24a.
[0227]
Then, the state signal output unit 25 outputs an electrical signal Sb corresponding to the detection result to the control device 30.
[0228]
Here, it is desirable to store a memory operation pattern for changes in facial expressions for each facial expression. In this case, various facial expressions can be detected. For this reason, for example, it is possible to distinguish between a laughing state and a narrowed state, which are difficult to distinguish conventionally.
[0229]
In the present embodiment, the change in facial expression is detected in the vehicle, and control based on the detection result is performed by the control device, which is more useful. For example, when the driver performs an operation of frowning the eyebrows, the control device 30 can control the electric sunshade. Also, the audio device can be controlled by the control device 30 such as detecting the driver's emotion from the change in facial expression and calming the driver's emotion in an irritated state. In this way, the vehicle environment can be controlled in consideration of the driver's emotion and the like based on the change in facial expression, which is very useful.
[0230]
Here, an apparatus that only recognizes facial expressions is disclosed in Japanese Patent Laid-Open No. Hei 4-342078. In the present embodiment, the facial expression can be detected by the same method as in the prior art.
[0231]
The above is the description of the detection of the body state. Moreover, in 3rd Embodiment, it has a function which suppresses the detection about another driver | operator state or / and a body state based on the detected result similarly to 2nd Embodiment. For this reason, the state detection unit 24 first detects at least one state among detection targets from the optical flow obtained by the image processing unit 22. Then, based on the result, it is determined whether or not the suppression signal can be transmitted. If the condition is satisfied, the suppression signal is transmitted to the operation detection unit 23.
[0232]
That is, at least two of the three driver states and the three body states are set as detection targets, and at least one of the detection targets is detected. Based on the detection result, a state other than the other states Will be deterred.
[0233]
This prevents erroneous detection of detection of other states as in the second embodiment.
[0234]
As described above, in the state detection device 20b according to the third embodiment, as in the second embodiment, cost and versatility can be improved, and erroneous detection is prevented. be able to.
[0235]
Further, as in the second embodiment, convenience can be improved and the influence of noise or the like can be reduced.
[0236]
Further, it is possible to detect the state of the driver even at the start of driving.
[0237]
In addition, it is possible to prevent an increase in the amount of calculation and reduce the possibility of a plurality of characteristic parts entering one reference region at the same time. Moreover, by setting a region that is too small, it is possible to prevent the region from having a characteristic part.
[0238]
Further, it is possible to detect the driver state suitably, and it is possible to prevent inaccurate detection.
[0239]
Further, in the state detection device 20b according to the present embodiment, the driver's blink is detected when the wrinkle movement pattern indicates a predetermined movement in the vertical direction of the image and then returns a predetermined amount of movement. . Thus, in this embodiment, blinking is detected by a new technique called optical flow. For this reason, for example, when a detection target is detected by combining two or more methods, blink detection with high detection efficiency as a whole can be performed. Similarly, detection of the eye opening and closing operations can be performed with high accuracy.
[0240]
In addition, detection of opening and closing of the mouth is relatively accurate. That is, in this embodiment, when a person opens and closes his / her mouth, attention is paid to an operation in which the upper lip hardly moves and the lower lip mainly moves, and the opening / closing of the mouth is determined by detecting this movement. For this reason, the distinction between when the face is moved up and down and the opening and closing of the mouth is clear. Therefore, it is possible to detect the opening and closing operations of the mouth with relatively high accuracy.
[0241]
In addition, the facial expression of the driver is detected based on the actual movement pattern of eyes, nose, and the like, which are facial features, and the stored movement pattern. In the present embodiment, the change in facial expression is detected in the vehicle, and control based on the detection result is performed by the control device. For this reason, for example, when the driver performs an operation of frowning the eyebrows, the electric sunshade can be controlled by the control device. In addition, the audio device can be controlled by the control device, such as detecting the driver's emotion from the change in facial expression and calming the driver's emotion in an irritated state. In this way, it is possible to control the in-vehicle environment in consideration of the driver's emotion and the like based on the change in facial expression.
[0242]
In the present embodiment, it is sufficient that at least two of the three driver states and the three body states are to be detected. Furthermore, since detection of other states is suppressed based on at least one detection result, detection of the remaining two states may be suppressed based on three of the six detection results. In addition, the number of detection results and the number of states in which detection is suppressed are not limited to this, and can be changed as appropriate.
[0243]
Next, a fourth embodiment of the present invention will be described. In the fourth embodiment, in addition to the configuration of the third embodiment, a vehicle state detection unit and an environment information detection unit are newly provided. The fourth embodiment will be described below.
[0244]
FIG. 33 is a block diagram illustrating a configuration of a state detection system including a state detection device according to the fourth embodiment. As shown in the figure, the state detection system 1c includes vehicle state detection means 40 for detecting the state of the vehicle and environment information detection means 50 for detecting the surrounding environment of the vehicle.
[0245]
Specifically, the vehicle state detection means 40 detects one or more vehicle-related states such as vehicle speed, brake switch on / off information, accelerator switch on / off information, steering angle, and shift range information.
[0246]
The environment information detection means 50 acquires position information by a navigation system using GPS or a gyro, and detects, for example, the type of road that is running, the presence or absence of an intersection, and the like.
[0247]
The environment information detection means 50 is composed of one or more of a visible light camera, a far infrared detection element, a laser radar, and an ultrasonic sensor, and detects information around the vehicle. With this configuration, the environment information detection means 50 detects, for example, the presence / absence / approach of a preceding vehicle or an obstacle, the crossing of a pedestrian, the approach of a succeeding vehicle, an approaching vehicle from the side rear, and the like.
[0248]
Furthermore, the environment information detection means 50 also obtains weather information, information such as weather, outside brightness by daylight meter, and day / night distinction.
[0249]
Further, the state detection device 20c changes the state to be detected (driver state, body state) based on at least one of the signal Sc from the vehicle state detection unit 40 and the signal Sd from the environment information detection unit 50. It has a function to do.
[0250]
For example, the state detection device 20c sets the direction of the driver's face as a detection target based on an environmental signal Sd indicating that the vehicle is approaching an intersection with poor visibility or an intersection without a signal from map information by navigation.
[0251]
Further, the state detection device 20c detects a change in facial expression in order to determine whether there is a traffic jam based on the vehicle state signal Sc that the vehicle speed is equal to or lower than the set speed, and to detect whether the driver feels drowsy. And
[0252]
As described above, according to the state detection device 20c according to the present embodiment, as in the third embodiment, cost and versatility can be improved, and erroneous detection is prevented. can do.
[0253]
In addition, as in the third embodiment, convenience can be improved and the influence of noise or the like can be reduced.
[0254]
Further, it is possible to detect the state of the driver even at the start of driving.
[0255]
In addition, it is possible to prevent an increase in the amount of calculation and reduce the possibility of a plurality of characteristic parts entering one reference region at the same time. Moreover, by setting a region that is too small, it is possible to prevent the region from having a characteristic part.
[0256]
Further, it is possible to detect the driver state suitably, and it is possible to prevent inaccurate detection.
[0257]
For example, when a detection target is detected by combining two or more methods, blink detection with high detection efficiency as a whole can be performed. Furthermore, detection of eye opening and closing operations can be performed with high accuracy as well.
[0258]
In addition, it is possible to detect the opening and closing operations of the mouth with relatively high accuracy, and furthermore, it is possible to control the in-vehicle environment in consideration of the driver's emotions and the like based on changes in facial expressions. .
Further, the state to be detected is changed based on at least one of the signal Sc from the vehicle state detection unit 40 and the signal Sd from the environment information detection unit 50. For this reason, it is possible to detect an appropriate driver / physical state according to each state / environment.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a state detection system including a state detection device according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a detailed configuration of the state detection device 20 shown in FIG.
FIG. 3 is a data flow diagram showing an outline of the operation of the state detection apparatus 20 according to the present embodiment.
FIG. 4 is an explanatory diagram showing an outline of the operation of the state detection device 20 according to the present embodiment.
FIG. 5 is an explanatory diagram of a reference area and a search area.
6A and 6B are explanatory diagrams of reference areas regularly arranged in a captured image, where FIG. 6A shows an example when reference areas are arranged in the horizontal direction of the image, and FIG. 6B shows reference areas in a grid pattern; An example when arranged is shown, and (c) shows an example when the reference regions are arranged in the horizontal direction of the image and in a grid pattern.
FIG. 7 is an explanatory diagram of a region group, showing an example in the case of detecting the face orientation.
FIG. 8 is an explanatory diagram of an area group, and shows an example of detecting entry / exit of an object other than the driver's face into / from the inner area of the imaging range.
9 is a flowchart showing an operation of the image processing unit 22 shown in FIG.
10 is an explanatory diagram of a method of calculating a movement amount (xd, yd) in step ST11 shown in FIG.
FIG. 11 is an explanatory diagram of the process of step ST12 shown in FIG.
FIGS. 12A and 12B are explanatory diagrams illustrating an example of an optical flow in the case of detecting the face direction of a driver, where FIG. 12A illustrates an example of an optical flow at time t, and FIG. 12B illustrates an optical flow at time (t + 1); An example of a flow is shown, (c) shows an example of an optical flow at time (t + 2), and (d) shows an example of an optical flow at time (t + 3).
FIG. 13 is an explanatory diagram showing an example of an optical flow when detecting the presence or absence of a driver, (a) showing an example of an optical flow before boarding, and (b) showing an example of an optical flow during boarding. (C) shows an example of the optical flow after boarding is completed.
FIG. 14 is an explanatory diagram showing an example of an optical flow in the case of detecting entry / exit of an object other than the driver's face into the imaging range, and an example of the optical flow when the driver moves his / her hand near the eyes; (A) shows an example of optical flow at time t, (b) shows an example of optical flow at time (t + 1), and (c) shows an example of optical flow at time (t + 2). .
FIG. 15 is an explanatory diagram illustrating an example of an optical flow in the case of detecting entry / exit of an object other than the driver's face within the imaging range, and the optical flow when the driver lifts a book to view a road map or the like (A) shows an example of an optical flow at time t, (b) shows an example of an optical flow at time (t + 1), and (c) shows an example of an optical flow at time (t + 2). Show.
FIG. 16 is an explanatory diagram showing an example of an optical flow in the case of detecting the entry / exit of an object other than the driver's face into the imaging range, and an example of the optical flow when the spoke portion of the handle enters the imaging range; (A) shows an example of optical flow at time t, (b) shows an example of optical flow at time (t + 1), and (c) shows an example of optical flow at time (t + 2). Yes.
17 is a flowchart showing the operation of the operation detection unit 23 shown in FIG.
18 is an explanatory diagram of an actual motion pattern obtained by the motion detection unit 23 shown in FIG. 2, and shows a case where the detection target is the direction of the driver's face.
FIG. 19 is an explanatory diagram of an actual motion pattern obtained by the motion detection unit shown in FIG. 2, and shows a case where the detection target is an entry / exit of an object other than the driver's face in and out of the imaging range.
FIG. 20 is an explanatory diagram illustrating an example of an actual motion pattern obtained by the motion detection unit when the detection target is the presence or absence of a driver.
21 is a flowchart showing the operation of the state detection unit 24 shown in FIG.
FIG. 22 is a flowchart showing a suppression control process performed by the state detection unit 24;
FIGS. 23A and 23B are explanatory diagrams showing reference areas and area groups when detecting the opening / closing of a bag, where FIG. 23A shows examples of reference areas and FIG. 23B shows examples of area groups;
FIGS. 24A and 24B are explanatory diagrams showing an example of an optical flow obtained when detecting the opening / closing of a bag, where FIG. 24A shows an example of an optical flow at time t, and FIG. 24B shows an optical flow at time (t + 1). (C) shows an example of an optical flow at time (t + 2).
FIG. 25 is an explanatory diagram showing an example of an actual operation pattern obtained when detecting the opening / closing of a bag.
FIGS. 26A and 26B are explanatory diagrams showing reference areas and area groups when detecting opening / closing of a mouth, where FIG. 26A shows examples of reference areas, and FIG. 26B shows examples of area groups;
FIG. 27 is an explanatory diagram showing an example of an optical flow obtained when opening / closing of a mouth is detected, (a) shows an example of an optical flow at time t, and (b) shows an optical flow at time (t + 1). (C) shows an example of an optical flow at time (t + 2).
FIG. 28 is an explanatory diagram showing an example of an actual operation pattern obtained when opening / closing of a mouth is detected.
FIGS. 29A and 29B are explanatory diagrams showing reference areas and area groups when a change in facial expression is detected, in which FIG. 29A shows examples of reference areas, and FIG. 29B shows examples of area groups;
30 is an explanatory diagram showing an example of an optical flow obtained when a change in facial expression is detected, (a) shows an example of an optical flow at time t, and (b) shows an optical flow at time (t + 1). FIG. (C) shows an example of an optical flow at time (t + 2).
FIG. 31 is an explanatory diagram showing a simplified optical flow shown in FIG. 30;
FIG. 32 is an explanatory diagram showing an example of an actual motion pattern obtained when detecting a change in facial expression;
FIG. 33 is a block diagram showing a configuration of a state detection system including a state detection device according to a fourth embodiment.
[Explanation of symbols]
1-1c ... Status detection system
10: Imaging device
20-20c ... Status detection device
21 ... Image acquisition unit (image acquisition means)
22 Image processing unit (image processing means)
23. Motion detection unit (motion detection means)
24... State detection unit (state detection means)
24a ... Storage section (pattern storage means)
25 ... Status signal output unit (signal output means)
30 ... Control device (control means)
40: Vehicle state detection means
50. Environmental information detection means
AK ... Area group
C1, C2 ... Change amount
D: Memory operation pattern
P ... Actual operation pattern
P4, P5 ... 瞼 Operation pattern
P6, P7 ... Lower lip motion pattern
P8, P9 ... Upper lip movement pattern
Sa ... Video signal
Sb ... Electric signal
Sc: Status signal
Sd: Environmental signal

Claims (16)

Based the position where the body of the driver exists when the driver is seated on the time series captured image obtained by capturing an image processing means for obtaining an optical flow between the captured images,
At least two of the three driver states of the driver's face direction, the entry / exit of objects other than the driver's face within the imaging range, and the presence / absence of the driver are detected, and obtained by the image processing means. From the optical flow, without specifying the position of the driver's body in the captured image, the state detection means for detecting at least one driver state among the detection objects, and
The state detection means suppresses detection of a driver state other than the detected at least one driver state among the detection targets based on a detection result relating to at least one driver state. apparatus. Based the position where the body of the driver exists when the driver is seated on the time series captured image obtained by capturing an image processing means for obtaining an optical flow between the captured images,
The driver's face orientation, the entry / exit of objects other than the driver's face within the imaging range, and the presence / absence of the driver, the driver's eyelid opening / closing, the driver's mouth opening / closing, and Driving in the captured image for the physical state without specifying the position of the driver's body in the captured image for at least two of the three physical states of the facial expression change of the driver A state detection unit that specifies a position of at least one of the body of the person and a specific part of the body, and detects at least one state of the detection targets from an optical flow obtained by the image processing unit,
The state detection unit suppresses detection of a state other than the detected at least one state among the detection targets based on a detection result regarding at least one state. Image acquisition means for inputting a captured image obtained by time-sequentially imaging the position where the face as the driver's body exists when the driver is seated;
Motion detection means for detecting a face motion from the optical flow obtained by the image processing means;
A signal output means for converting the detection result from the state detection means into an electrical signal and outputting it to the outside; and
The image processing means obtains an optical flow for each of one or a plurality of calculation areas determined by a predetermined position and size with respect to the captured image input by the image acquisition means,
The motion detection means obtains an actual motion pattern obtained from the optical flow obtained by the image processing means for each area group consisting of at least one computation area,
Said state detecting means, based on the storage operation pattern stored in advance and the actual operation pattern obtained by the operation detection unit, according to claim 1, wherein the detecting at least one of the detection target or The state detection apparatus according to claim 2 . 4. The state detection apparatus according to claim 3 , wherein the state detection unit obtains an actual operation pattern spatially and temporally from an optical flow obtained by the image processing unit. Pattern storage means for storing the storage operation pattern in advance;
It said pattern storage means, as the storing operation pattern, the actual driver's state detection according to claim 3 or claim 4, characterized in that stores a feature amount obtained based on the motion apparatus. Said image processing means on the basis of the ratio of the face in the captured image, the one or more claims 3 to claims and sets at least one of the magnitude of the predetermined face part of the calculation region Item 6. The state detection device according to any one of Item 5 . Said operation detecting means, integrates the motion amount based on the movement of the face, along with determining the actual operation pattern based on the integrated value, claim 3, wherein the initializing the basis the integrated value to a predetermined condition The state detection device according to claim 6 . When detecting at least one of the detection targets, the state detection unit calculates a correlation between the actual operation pattern and each of a plurality of storage operation patterns stored in advance, and detects a storage operation pattern having the highest correlation. It is obtained as state detection device according to any one of claims 3 to 7, characterized in. The state detection unit is configured so that when the saddle movement pattern as the actual movement pattern obtained by the movement detection unit shows a predetermined movement return after a predetermined movement in the image vertical direction, The state detection device according to any one of claims 3 to 8 , wherein blinking is detected. The state detection means is operated when the upper lip movement pattern as the actual movement pattern obtained by the movement detection section shows a substantially stationary state and the lower lip movement pattern shows a predetermined movement in the vertical direction of the image. The state detection device according to any one of claims 3 to 9 , wherein it is detected that a person's mouth has been opened or closed. The motion detection means obtains an actual motion pattern for each facial feature part,
Said state detecting means, the actual operation pattern for each characteristic portion obtained by the operation detecting means, based on the storage operation pattern stored in advance, according to claim 3, characterized in that to detect the expression of the driver The state detection device according to any one of claims 10 to 10 . The image processing means determines whether or not to use for optical flow calculation by comparing the amount of change of the feature amount calculated in each of the one or more calculation regions with a preset threshold value. The state detection device according to any one of claims 3 to 11 , wherein Based on at least one of a signal from a vehicle state detection unit that detects the state of the vehicle and a signal from an environment information detection unit that detects a surrounding environment of the vehicle, at least one of the detection targets is set to another state. state detection device according to any one of claims 1 to 12, characterized in that to change.   Based on the captured image obtained by capturing the position of the driver's body in time series when the driver is seated, the optical flow between the captured images is obtained, and the driver's face orientation and the driver's The position of the driver's body in the captured image based on the obtained optical flow with at least two of the three driver states of entering and exiting the imaging area other than the face and the presence or absence of the driver. The driver state is detected from at least one driver state other than the detected at least one driver state based on the detection result relating to the detected at least one driver state. A state detection device that suppresses the detection of an error. Based on the captured image obtained by chronologically imaging the position where the driver's body exists when the driver is seated, the optical flow between the captured images is obtained,
Three driver states, the driver's face orientation, the entry / exit of objects other than the driver's face, and the presence / absence of the driver, the opening / closing of the driver's heel, and the driver's mouth About the physical state without specifying the position of the driver's body in the captured image with respect to the driver state, with at least two of the three physical states of opening and closing and the driver's facial expression change being detected. Identify at least one position of the driver's body and a specific part of the body in the captured image, and detect at least one state of the detection targets from the obtained optical flow,
A state detection device that suppresses detection of a state other than the detected state among detection targets based on a detection result relating to the detected at least one state. An imaging means including within the imaging range a position where the driver's body exists when the driver is seated;
Image processing means for obtaining an optical flow between captured images based on a captured image obtained by time-series imaging by the imaging means;
At least two of the three driver states of the driver's face orientation, the entry / exit of an object other than the driver's face within the imaging range, and the presence / absence of the driver are detected, and obtained by the image processing means. From the optical flow, without specifying the position of the driver's body in the captured image, state detection means for detecting at least one driver state among the detection objects;
A signal output means for converting the detection result from the state detection means into an electrical signal and outputting it to the outside;
Control means for performing predetermined processing based on an electrical signal from the signal output means,
The state detection unit suppresses detection of a driver state other than the detected at least one driver state among the detection targets based on a detection result relating to at least one driver state. system.

Images