JP4281405B2 - Confirmation operation detection device and alarm system - Google Patents

Description

所定の式は、以下に示すものである。
【００３１】
【数２】

なお、ｄ（ｘ，ｙ）は、撮像画像内の任意位置の画素値であり、ｄ’（ｘ，ｙ）は変換後の画素値である。
【００３２】
その後、画像処理部１２ａは、顔の移動量に関する数値ｘｍ，ｙｍ，ｃを「０」に初期化する（ＳＴ１１）。
【００３３】
そして、画像処理部１２ａは、現在の撮像画像の探索領域内から、前回の撮像画像内の参照領域に最も類似する位置を求めて、移動量（ｘｄ，ｙｄ）を算出する（ＳＴ１２）。具体的に、画像処理部１２ａは、まず、探索領域内から参照領域に最も類似する領域を求め、最も類似する領域の中心点を、参照領域に最も類似する位置とする。そして、画像処理部１２ａは、求められた最も類似する領域の中心点と、探索領域の中心点とから移動量（ｘｄ，ｙｄ）を算出する。
【００３４】
ここで、上記領域について説明する。画像処理部１２ａは、撮像画像上に予め複数の参照領域を設定している。具体的に、画像処理部１２ａは、時刻ｔにおいて得られ且つフィルタをかけた後の撮像画像に対して少なくとも２つ以上の参照領域を設定する。
【００３５】
図４は、撮像画像に設定される２つ以上の参照領域の説明図である。図４（ａ）に示すように、参照領域は、撮像画像上の横方向に複数（例えば７つ）配置される。また、図４（ｂ）に示すように、参照領域は、撮像画像上に格子状に複数（例えば縦５つ、横７つの計３５）配置される。さらには、図４（ｃ）に示すように、参照領域は、横方向に且つ格子状に複数（例えば縦３つ、横５つの計１５に加え、さらに横方向に２つの計１７）配置されてもよい。
【００３６】
なお、参照領域は、カメラの位置、カメラの画角、及び撮像画像中における顔の占める割合等から、目、鼻又は口等の顔の部位の大きさ程度に固定的に設定される。
【００３７】
探索領域は、時刻ｔの撮像画像に設定した参照領域に基づいて、時刻ｔの後の時刻ｔ＋１において得られ且つフィルタをかけた撮像画像に対して、設定されるものである。この探索領域は、各参照領域を取り囲んで設定されるものであり、参照領域と同じ数だけ設定されるものである。
【００３８】
図５を参照して上記参照領域及び探索領域についてさらに詳しく説明する。図５は、参照領域及び探索領域の説明図である。なお、参照領域は時刻ｔにおける撮像画像、探索領域は時刻ｔ＋１における撮像画像といったように、それぞれ異なる撮像画像に対して設定されるものであるが、図５においては、便宜上１画像上に表して説明する。
【００３９】
同図に示すように、参照領域は、特定の点Ｏを中心として設定される幅ｔｗ画素，高さｔｈ画素の領域である。また、探索領域は、参照領域と同様に、点Ｏを中心として設定される幅ｓｗ画素，高さｓｈ画素の領域である。これら両領域は中心を等しくし、ｓｗ＞ｔｗ且つｓｈ＞ｓｗの関係となるように設定される。
【００４０】
そして、画像処理部１２ａは、上記のような探索領域内から参照領域に最も類似する位置を求めて、移動量（ｘｄ，ｙｄ）を算出する。次に、移動量の算出を具体的に説明する。
【００４１】
図６は、移動量（ｘｄ，ｙｄ）の算出方法の説明図である。画像処理部１２ａは、まず、候補領域を作成する。この候補領域は、参照領域と同じ大きさを有する領域である。
【００４２】
そして、画像処理部１２ａは、探索領域内の所定箇所に候補領域を設定し、設定した候補領域と参照領域とを比較等して類似度を求める。次に、画像処理部１２ａは、候補領域を他の位置に動かし、動かした位置の候補領域と参照領域とを比較等して類似度を求める。
【００４３】
その後、画像処理部１２ａは、候補領域に順次移動させていき、探索領域内での各箇所において参照領域との類似度を算出する。類似度は、例えば、濃淡データを基準に判断される。ここで、濃淡データを基準に類似度を算出する場合において、類似度をｃｏｓθとすると、類似度は以下の式にて表される。
【００４４】
【数３】

上式においては、参照領域の濃淡データをＴとし、候補領域の濃淡データをＳとしている。また、ｘｄは、探索領域内のＸ座標値を示し、ｙｄは、探索領域内のＹ座標値を示している。
【００４５】
以上により、画像処理部１２ａは、類似度が最大となる位置Ｐを定め、点Ｐと点Ｏとの座標値の差を移動量（ｘｄ，ｙｄ）として得ることとなる。
【００４６】
再度、図３を参照して説明する。移動量（ｘｄ，ｙｄ）の算出後、画像処理部１２ａは、類似度の範囲が閾値以上か否かを判断する（ＳＴ１３）。
【００４７】
ここでの判断を図７を参照して説明する。図７は、図３に示したステップＳＴ１３の処理の説明図である。画像処理部１２ａは、候補領域によって探索領域内を走査していき、探索領域内の各箇所の類似度を算出する。そして、画像処理部１２ａは、得られた類似度の分散を求める。
【００４８】
例えば、同図に示すように、変化量Ｃ１では分散値が小さく、分散の範囲が狭いと言える。一方、変化量Ｃ２では変化量Ｃ１よりも分散値が大きく、分散の範囲も大きいと言える。
【００４９】
ここで、分散の範囲が狭い場合とは、探索領域内の各箇所において、同じような類似度が検出される場合である。例えば、参照領域が真っ白な画像である場合など、特徴が少ない場合には探索領域内のどの箇所と比較しても似たような類似度の結果が得られることとなる。そして、このような場合、それぞれ類似度の差が小さいことから、類似度が最大となる点Ｐの検出が不正確になりやすい。このため、図３のステップＳＴ１３の処理では、所定の閾値と比較し、好適なものと不適なものとの選別するようにしている。
【００５０】
再度、図３を参照して説明する。類似度の範囲が閾値以上でないと判断した場合（ＳＴ１３：ＮＯ）、処理はステップＳＴ１５に移行する。一方、類似度の範囲が閾値以上であると判断した場合（ＳＴ１３：ＹＥＳ）、画像処理部１２ａは、移動量を積算する（ＳＴ１４）。具体的に、画像処理部１２ａは、「ｘｍ」を「ｘｍ＋ｘｄ」とし、「ｙｍ」を「ｙｍ＋ｙｄ」とし、「ｃ」を「ｃ＋１」とする。
【００５１】
その後、画像処理部１２ａは、領域の数だけ上記のステップＳＴ１２〜ＳＴ１４を行ったか否かを判断する（ＳＴ１５）。すなわち、画像処理部１２ａは、すべての参照領域について、探索領域内から類似する位置を特定したか否かを判断している。
【００５２】
いずれかの参照領域について、探索領域内から類似する位置を特定していないと判断した場合（ＳＴ１５：ＮＯ）、処理はステップＳＴ１２に戻り、類似する位置を特定していない参照領域について、上記ステップＳＴ１２〜ＳＴ１４の処理を繰り返すこととなる。
【００５３】
一方、すべての参照領域について、探索領域内から類似する位置を特定したと判断した場合（ＳＴ１５：ＹＥＳ）、画像処理部１２ａは、「ｃ」が「０」であるか否かを判断する（ＳＴ１６）。
【００５４】
「ｃ」が「０」であると判断した場合（ＳＴ１６：ＹＥＳ）、画像処理部１２ａは処理を終了する。一方、「ｃ」が「０」でないと判断した場合（ＳＴ１６：ＮＯ）、画像処理部１２ａは、積算した「ｘｍ」「ｙｍ」についての平均を求める（ＳＴ１７）。すなわち、画像処理部１２ａは、「ｘｍ＝ｘｍ／ｃ」及び「ｙｍ＝ｙｍ／ｃ」を実行し、平均の移動量を求める。
【００５５】
図８は、図３に示した画像処理部１２ａの平均の移動量を示す説明図であり。（ａ）は時刻ｔにおける撮像画像の例を示し、（ｂ）は時刻ｔ＋１における撮像画像の例を示し、（ｃ）は時刻ｔ＋２における撮像画像の例を示し、（ｄ）は時刻ｔ＋３における撮像画像の例を示している。
【００５６】
平均移動量は、各画像（（ａ）を除く）の右下に矢印で示されている。この矢印の方向は顔の移動方向を示し、大きさは顔の動きの速さを示している。なお、画像中の四角で表示されている領域は、参照領域であり、各参照領域から伸びる線分は、各部位の移動量を示している。
【００５７】
画像処理部１２ａは、上記のような平均移動量の算出後、このデータを顔動作検出部１２ｂに送出し、その後処理は終了する。
【００５８】
なお、オプティカルフロー(動きの検出)の計算方法は本実施形態の他に、八木信行監修, "ディジタル映像処理", 映像情報メディア学会編, pp.129-139, 2000, オーム社 などにて動画像から動きを検出する手法が複数紹介されていおり、それらを用いることもできる。
【００５９】
図９は、図２に示した顔動作検出部１２ｂの動作を示すフローチャートである。まず、顔動作検出部１２ｂは、画像処理部１２ａにて求められた平均移動量について、移動平均値（ａｘ，ａｙ）を求める（ＳＴ２０）。移動平均を求める範囲は、任意に定められており、例えば、図８（ｂ）、（ｃ）及び（ｄ）に示した平均移動量（矢印の大きさに相当）の平均を求めるなどする。
【００６０】
その後、顔動作検出部１２ｂは、平均移動量の移動平均値（ａｘ，ａｙ）を積算する（ＳＴ２１）。具体的に、顔動作検出部１２ｂは、「ｓｘ」を「ｓｘ＋ａｘ」とし、「ｓｙ」を「ｓｙ＋ａｙ」とする。
【００６１】
その後、顔動作検出部１２ｂは、積算値（ｓｘ，ｓｙ）の移動平均値（ｃｘ，ｃｙ）を求める（ＳＴ２２）。この移動平均を求める範囲についても任意に定められている。
【００６２】
そして、顔動作検出部１２ｂは、積算値（ｓｘ，ｓｙ）と積算値の移動平均（ｃｘ，ｃｙ）の差から移動位置（ｖｘ，ｖｙ）を得る（ＳＴ２３）。具体的に、顔動作検出部１２ｂは、「ｖｘ」を「ｓｘ−ｃｘ」とし、「ｖｙ」を「ｓｙ−ｃｙ」とする。
【００６３】
その後、顔動作検出部１２ｂは、積算値（ｓｘ，ｓｙ）が閾値以上であるか否かを判断する（ＳＴ２４）。積算値（ｓｘ，ｓｙ）が閾値以上でないと判断した場合（ＳＴ２４：ＮＯ）、顔動作検出部１２ｂは、移動位置（ｖｘ，ｖｙ）のデータを確認動作判定部１２ｃに送出し、処理は終了する。
【００６４】
一方、積算値（ｓｘ，ｓｙ）が閾値以上であると判断した場合（ＳＴ２４：ＹＥＳ）、顔動作検出部１２ｂは、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であるか否かを判断する（ＳＴ２５）。積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下でないと判断した場合（ＳＴ２５：ＮＯ）、顔動作検出部１２ｂは、移動位置（ｖｘ，ｖｙ）のデータを確認動作判定部１２ｃに送出し、処理は終了する。
【００６５】
一方、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であると判断した場合（ＳＴ２５：ＹＥＳ）、顔動作検出部１２ｂは、平均移動量の移動平均値が閾値以下であるか否かを判断する（ＳＴ２６）。平均移動量の移動平均値が閾値以下でないと判断した場合（ＳＴ２６：ＮＯ）、顔動作検出部１２ｂは、移動位置（ｖｘ，ｖｙ）のデータを確認動作判定部１２ｃに送出し、処理は終了する。
【００６６】
一方、平均移動量の移動平均値が閾値以下であると判断した場合（ＳＴ２６：ＹＥＳ）、顔動作検出部１２ｂは、積算値（ｓｘ，ｓｙ）を「０」に初期化する（ＳＴ２７）。そして、顔動作検出部１２ｂは、移動位置（ｖｘ，ｖｙ）のデータを確認動作判定部１２ｃに送出し、処理は終了する。
【００６７】
なお、上記ステップＳＴ２５〜ＳＴ２７の処理は、以下の理由で行っている。
【００６８】
例えば、運転者がシートに着座した場合、運転者の顔は撮像範囲の中心に位置するとは限らない。このため、撮像範囲内において運転者の顔位置の左右の範囲が等しくならなかった場合、運転者が顔を左右に動かすことにより、左右の範囲の差に起因して誤差が発生し、これが積算値（ｓｘ，ｓｙ）として累積されてしまう。そして、徐々に誤差が積算値（ｓｘ，ｓｙ）として累積されてしまうと、顔の向きの検出に支障をきたしてしまう。
【００６９】
そこで、上記ステップＳＴ２５にて、積算値（ｓｘ，ｓｙ）が閾値以上か否かを判断し、閾値以上の場合に積算値（ｓｘ，ｓｙ）を「０」に初期化するようにしている。
【００７０】
ただし、現に運転者が顔の向きを変えている段階で積算値（ｓｘ，ｓｙ）を「０」に初期化してしまうと、初期化することによって逆に顔の向きの検出に支障をきたしてしまう。そこで、ステップＳＴ２６及びＳＴ２７において、顔が動いていない状態であることを検出している。すなわち、積算値（ｓｘ，ｓｙ）の標準偏差が閾値以下であり、且つ平均移動量の移動平均値が閾値以下である場合に、積算値（ｓｘ，ｓｙ）を「０」に初期化するようにしている。
【００７１】
ここで、上記顔動作検出部１２ｂにより得られる移動位置（ｖｘ，ｖｙ）のデータ例を説明する。図１０は、図２に示した顔動作検出部１２ｂにより得られる移動位置（ｖｘ，ｖｙ）のデータ例の説明図である。
【００７２】
なお、図１０において、縦軸は移動位置を示しており、横軸は時刻を示している。また、図中実線は画像横方向（Ｘ方向）における移動位置を示しており、破線は画像縦方向（Ｙ方向）における移動位置を示している。
【００７３】
同図に示すように、まず、運転者は車両前方を注視している場合（時刻５７６０〜５９４０の期間）、移動位置は、Ｘ方向とＹ方向とが共に「０」付近となっている。
【００７４】
次に、運転者が確認動作をして顔の向きを左右に数回変えた場合（時刻５９４０〜６３５０の期間）、Ｘ方向については、移動位置が「−８０〜８０」までの間で増減を繰り返している。一方、Ｙ方向については、移動位置が「−２４〜２８」であり、Ｘ方向よりも小さい値であるが、時刻５７６０〜５９４０の期間に比べ、増減を繰り返しているといえる。
【００７５】
その後、運転者が再度車両前方を注視すると（時刻６３５０〜６５００の期間）、移動位置は、再度Ｘ方向とＹ方向とが共に「０」付近となる。
【００７６】
このように、顔動作検出部１２ｂにより得られる移動位置（ｖｘ，ｖｙ）は、運転者の顔の向きを表している。確認動作判定部１２ｃは、運転者の顔の動きを表すこととなる移動位置（ｖｘ，ｖｙ）により、運転者が確認動作をしたか否かを判断する。
【００７７】
次に、図２に示した確認動作判定部１２ｃの動作を説明する。図１１は、図２に示した確認動作判定部１２ｃの動作を示すフローチャートである。なお、図１１においては、画像横方向、すなわち左右方向の顔の動きを検出する動作について説明する。
【００７８】
同図に示すように、確認動作判定部１２ｃは、まず、左右方向確認フラグを初期化する（ＳＴ３０）。その後、確認動作判定部１２ｃは、顔の横方向の移動位置ｖｘが設定最大値以上か否かを判断する（ＳＴ３１）。
【００７９】
顔の横方向の移動位置ｖｘが設定最大値以上であると判断した場合（ＳＴ３１：ＹＥＳ）、確認動作判定部１２ｃは顔が左を向いている判定し（ＳＴ３２）、処理はＳＴ３６に移行する。
【００８０】
一方、顔の横方向の移動位置ｖｘが設定最大値以上でないと判断した場合（ＳＴ３１：ＮＯ）、確認動作判定部１２ｃは、移動位置ｖｘが設定最小値以下であるか否かを判断する（ＳＴ３３）。
【００８１】
顔の横方向の移動位置ｖｘが設定最小値以下であると判断した場合（ＳＴ３３：ＹＥＳ）、確認動作判定部１２ｃは顔が右を向いている判定し（ＳＴ３４）、処理はＳＴ３６に移行する。
【００８２】
一方、顔の横方向の移動位置ｖｘが設定最小値以下でないと判断した場合（ＳＴ３３：ＮＯ）、確認動作判定部１２ｃは顔が前方を向いている判定し（ＳＴ３５）、処理はＳＴ３６に移行する。
【００８３】
ステップＳＴ３６において、確認動作判定部１２ｃは、顔の向きの判定結果(右、 左又は前方)を一定時間記憶領域に記憶する。そして、確認動作判定部１２ｃは、現在及び以前の顔の向きの判定結果に基づいて、顔の動きのパターンを検出する。さらに、確認動作判定部１２ｃは、このパターンに基づいて、左右それぞれの顔向きの出現頻度を計算する（ＳＴ３６）。
【００８４】
例えば、今回、前回、前々回の順に、「顔が右を向いている」「顔が左を向いている」「顔が右を向いている」と記憶されている場合、確認動作判定部１２ｃは、顔の動きのパターンとして「右、左、右」と算出する。また、例えば、このときの顔の向きの出現頻度は、右「２」左「１」とされる。
【００８５】
その後、確認動作判定部１２ｃは、右向きの出現頻度が閾値以上か否かを判断する（ＳＴ３７）。右向きの出現頻度が閾値以上であると判断した場合（ＳＴ３７：ＹＥＳ）、確認動作判定部１２ｃは、右方向確認フラグを立てる（ＳＴ３８）。そして、処理はステップＳＴ３９に移行する。なお、このフラグは、運転者が右方向を確認したことを示すものである。
【００８６】
一方、右向きの出現頻度が閾値以上でないと判断した場合（ＳＴ３７：ＮＯ）、右方向確認フラグは立てられることなく、処理はステップＳＴ３９に移行する。
【００８７】
ステップＳＴ３９において、確認動作判定部１２ｃは、左向きの出現頻度が閾値以上か否かを判断する（ＳＴ３９）。左向きの出現頻度が閾値以上であると判断した場合（ＳＴ３９：ＹＥＳ）、確認動作判定部１２ｃは、左方向確認フラグを立てる（ＳＴ４０）。なお、このフラグは、運転者が左方向を確認したことを示すものである。
【００８８】
そして、確認動作判定部１２ｃは、確認動作の有無を示す確認フラグの情報を報知信号出力部１２ｄに送信し、処理は終了する。
【００８９】
一方、左向きの出現頻度が設定値以上でないと判断した場合（ＳＴ３９：ＮＯ）、左方向確認フラグは立てられることなく、確認動作判定部１２ｃは、確認フラグの情報を報知信号出力部１２ｄに送信し、処理は終了する。
【００９０】
次に、図１２を参照して確認動作判定部１２ｃの動作を再度説明する。図１２は、図２に示した確認動作判定部１２ｃの動作を説明するタイミングチャートである。なお、図１２においては、図１１と同様に画像横方向、すなわち左右方向の顔の動きを検出する動作について説明する。
【００９１】
まず、時刻Ｔ０〜Ｔ１において、移動位置はほぼ「０」である。このため、確認動作判定部１２ｃは、図１１のステップＳＴ３１及びＳＴ３３の処理にて「ＮＯ」と判断し、ステップＳＴ３５にて顔が前方を向いていると判断する。
【００９２】
そして、確認動作判定部１２ｃは、ステップＳＴ３６にて、「顔が前方を向いている」という情報を記憶領域に記憶する。その後、同様の処理が、時刻Ｔ１〜Ｔ２及びＴ２〜Ｔ３においてもなされる。
【００９３】
時刻Ｔ３の時点では、Ｔ０〜Ｔ３の期間において顔の向きが判定され、その情報が記憶されていることとなる。このため、確認動作判定部１２ｃは、パターン作成の対象が今回、前回、前々回の顔の向きであるとすると、顔の動きのパターンを「前、前、前」と算出する。そして、確認動作判定部１２ｃは、左向き及び右向きの出現頻度が閾値以上か否かを判断する（ＳＴ３７，ＳＴ３９）。時刻Ｔ０〜Ｔ３のデータが得られた時点では、右「０」、左「０」といった出現頻度が得られているため、確認動作判定部１２ｃは、ステップＳＴ３７及びＳＴ３９にて「ＮＯ」と判断する。この場合、左右の検出フラグは立てられず、確認動作無しとなる。
【００９４】
また、時刻Ｔ３〜Ｔ４において、移動位置は設定最小値を下回っている。このため、確認動作判定部１２ｃは、ステップＳＴ３１の処理にて「ＮＯ」と判断し、ステップＳＴ３３の処理にて「ＹＥＳ」と判断し、ステップＳＴ３４にて顔が右を向いていると判断する。
【００９５】
また、確認動作判定部１２ｃは、顔の動きのパターンを「前、前、右」と算出する。そして、確認動作判定部１２ｃは、左向き及び右向きの出現頻度が閾値以上か否かを判断する（ＳＴ３７，ＳＴ３９）。時刻Ｔ１〜Ｔ４のデータが得られた時点では、右「１」、左「０」といった出現頻度が得られている。このため、右向きの出現頻度の閾値が「１」に設定されている場合、確認動作判定部１２ｃは、ステップＳＴ３８にて右方向確認フラグを立てることとなる。一方、確認動作判定部１２ｃは、ＳＴ３９にて「ＮＯ」と判断する。この場合、確認フラグは右方向のみであり左方向のフラグは立っていない。このため、例えば左右の確認がなされていないことから、例えば確認動作無しとなる。
【００９６】
その後、時刻Ｔ４〜Ｔ５において判断が行われる。このとき、まず、確認動作判定部１２ｃは、ステップＳＴ３０にて左右方向確認フラグを初期化する。このため、前回立てられた右方向確認フラグが初期化されることとなる。
【００９７】
また、時刻Ｔ４〜Ｔ５では、移動位置は設定最大値を以上となっている。このため、確認動作判定部１２ｃは、ステップＳＴ３１の処理にて「ＹＥＳ」と判断し、ステップＳＴ３４にて顔が左を向いていると判断する。
【００９８】
そして、確認動作判定部１２ｃは、左向き及び右向きの出現頻度が閾値以上か否かを判断する（ＳＴ３７，ＳＴ３９）。時刻Ｔ２〜Ｔ５のデータが得られた時点では、右「１」、左「１」といった出現頻度が得られている。このため、左右方向の出現頻度の閾値が「１」に設定されている場合、確認動作判定部１２ｃは、ステップＳＴ３８，ＳＴ４０にて左右の確認フラグを立てることとなる。このように、双方のフラグが立てられると、確認動作判定部１２ｃは、左右の確認がなされたと判定する。すなわち、確認動作有りと判定する。
【００９９】
その後、報知信号出力部１２ｄは、確認動作判定部１２ｃからの情報に基づいて、報知装置２０へ報知信号Ｓａを送出するか判断し、送出した場合には、報知装置２０にて、運転者に確認動作を促すべく警報動作が行われる。
【０１００】
このようにして、本実施形態に係る確認動作検出装置１０によれば、撮像画像間のオプティカルフローを求めて運転者の顔の動作を検出するため、運転者の特定の顔部位を検出して追跡する必要がない。このため、顔の動きが速く且つ大きいような場合であっても、顔の動きの検出に与える影響を小さくすることができる。
【０１０１】
例えば、運転者が顔の方向を変えると、特定の顔部位について撮像される角度が変わってしまう。このため、特定部位の見かけ上の形状等が変わってしまってしまう。この場合、従来では、顔の特定部位の特徴量等が変化してしまうこととなり、顔の方向を検出できなくなることがある。ところが、本実施形態のようにオプティカルフローを求めることにより、顔の動きを全体的に検出することができるので、従来の装置のように、顔の特定部位の特徴量に基づいて顔の向きを検出する場合に比して、顔の動きの検出に与える影響を小さくすることができる。
【０１０２】
従って、運転者による確認動作の検出精度を向上させることができる。
【０１０３】
また、本実施形態では、コスト低減を図ることができる。すなわち、従来の装置では、顔の動きが速く且つ大きいような場合に顔の向きを検出するようにするために、高フレームレートのカメラを撮像手段として使用する必要がある。例えば、１秒間に約３０枚の顔画像を撮像できる一般的なビデオカメラを撮像手段として使用せず、これよりも高フレームレートのカメラ使用することとなる。この場合、従来の装置では、高価なカメラを使用することとなってしまう。また、カメラの撮像速度が速いことから、装置の処理速度を速くする必要がある。ところが、本実施形態では、オプティカルフローにより顔の動き全体を検出するので、上記問題が発生せず、コスト低減を図ることができる。
【０１０４】
また、一時停止が必要な交差点に進入する際や駐車場から公道に出る際などに、運転者は、確認を行うため体を前方に乗り出す動作を行う。また、左折時の左後方確認等を行う場合には、運転者は体を左後方に大きくひねる動作を行う。
【０１０５】
例えば図１３（ａ）に示すように、通常の運転状態において運転者の頭部は、撮像範囲内に納まるようになっている。ところが、図１３（ｂ）に示すように、確認を行うため運転者が前方に乗り出した場合には、頭部の一部が撮像範囲外に出てしまうこととなる。そして、運転者の顔が撮像範囲外にまで移動してしまった場合には、運転者の特定の顔部位を追跡することができなくなってしまう。
【０１０６】
これに対し、特開２０００−１１３１６４号公報記載の装置では、今回及び前回に撮像された画像の差分画像を形成し、差分から求まる運転者の動きを検出することにより、運転者の姿勢を検出するようにしている。
【０１０７】
しかし、この装置では、姿勢を検出するのみであるため、顔の特定部位が撮像範囲外に出てしまわないように追従手段等を設ける必要がある。ところが、確認動作時の顔の動きは速く且つ大きいため、追従手段等を設けたとしても、顔の特定部位を追跡しきれず、顔の向きを検出できなくなってしまう。
【０１０８】
このように、従来の装置では、確認動作時に運転者が体を動かした場合の対応が不十分である。しかし、本実施形態においては、オプティカルフローを求めることにより、顔の動きを全体的に検出している。すなわち、撮像範囲内に顔の一部でも残っていれば、顔の向きを検出することができるので、顔の向きの検出精度を一層向上させることができる。
【０１０９】
また、運転者の確認動作が検出されなかった場合に、運転者に報知するための報知信号Ｓａを送出するため、確認の不履行時に運転者に対し注意喚起を促すことができる。
【０１１０】
また、画像横方向に参照領域を複数配置している。このように参照領域を配置することで、画像横方向に、精度良くオプティカルフローを計算することができる。
【０１１１】
また、撮像画像上に格子状に参照領域を複数配置している。このように参照領域を配置することで、画像の全方向に、精度良くオプティカルフローを計算することができる。
【０１１２】
また、撮像画像中における顔の占める割合に基づいて、複数の参照領域のうち少なくとも１つの参照領域を所定の顔部位の大きさに設定する。このため、大き過ぎる参照領域を設定することにより、計算量が増大していしまうことを防止すると共に、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができる。さらに、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。
【０１１３】
また、撮像画像から各領域（探索領域）の特徴量（類似度）の変化量（分散値）を算出し、この変化量と予め設定した閾値とを比較することにより、各領域をオプティカルフローの計算に用いるか否かを判断している。このため、特徴のない参照領域が設定されたことにより、不正確な検出してしまうことを防止することができる。
【０１１４】
また、オプティカルフローの計算結果から空間的、時間経過的に顔の動きのパターンを検出している。つまり、例えば空間的に左右方向の動きを求め、且つ時間的として今回から過去に遡った顔の動きを求めていることとなる。すなわち、現在運転者が右を向いているので、確認動作有りと判定するような単純な手法をとっておらず、現在から過去の顔の向きに基づいて、確認動作の有無を判定している。よって、確認判定の精度を向上させることができる。
【０１１５】
また、本実施形態では、パターンに基づき、顔の左右の向きの出現頻度を計算して確認動作を判定している。このため、一応左右を確認したが確認回数が少ない場合などに、確認動作有りと判定してしまうことを防止することができる。従って、確認判定の精度を向上させることができる。
【０１１６】
また、本実施形態に係る警報システム１によれば、運転者の確認動作が検出されなかった場合に、運転者に報知するため、確認の不履行時に運転者に対し注意喚起を促すことができる。
【０１１７】
次に、本発明の第２実施形態を説明する。図１４は、本発明の第２実施形態に係る確認動作検出装置１０を含む警報システム２の構成を示すブロック図である。同図に示すように、警報システム２は、車両の状態を検出する車両状態検出手段３０と、車両の周囲環境を検出する環境情報検出手段４０とを備えている。
【０１１８】
具体的に車両状態検出手段３０は、車速や、ブレーキスイッチのオン／オフ情報、アクセルスイッチのオン／オフ情報、操舵角、シフトレンジ情報等の車両に関する状態信号Ｓｃを１つ以上検出するものである。
【０１１９】
環境情報検出手段４０は、ＧＰＳやジャイロを利用したナビゲーションシステムによる位置情報を取得し、例えば、走行中の道路の種別や交差点の有無等を検出するものである。
【０１２０】
また、環境情報検出手段４０は、可視光カメラ、遠赤外線検出素子、レーザーレーダー及び超音波センサの１つ以上から構成されて、車両周辺の情報を検出するものである。この構成により、環境情報検出手段４０は、例えば、先行車や障害物の有無・接近、歩行者の横断、後続車の接近、側後方からの接近車両等を検出する。
【０１２１】
さらに、環境情報検出手段４０は、気象情報や、天候、照度計による外の明るさや昼夜の区別等の情報を得るものでもある。
【０１２２】
また、確認動作検出部１２は、車両状態検出手段３０からの信号Ｓｃと、環境情報検出手段４０からの信号Ｓｄとの少なくとも一方に基づいて、運転者が確認動作をすべき場所を特定する機能を有している。
【０１２３】
このため、確認動作検出装置１０は、例えば、ナビゲーションによる地図情報から、見通しの悪い交差点や信号のない交差点に差し掛かっているという環境信号Ｓｄに基づいて、運転者が取るべき行動を予測することができる。
【０１２４】
また、確認動作検出装置１０は、車速が設定速度以下であるという車両の状態信号Ｓｃに基づいて、大きく左右に顔を動かした後に交差点内に進入すべきであるという運転者の行動を予測することもできる。
【０１２５】
さらに、確認動作検出装置１０は、地図情報と、左のウィンカーの点灯中を示す車両の状態信号Ｓｃとに基づいて、左の巻き込み確認のため大きく顔を左に動かすという運転者の行動を予測することもできる。
【０１２６】
また、更に、確認動作検出装置１０は、レーザーレーダーやミリ波レーダーを用いて前方の車両や障害物に接近中であるという環境信号Ｓｄに基づいて、運転者の顔が前方を視認していない状態であれば、危険な行為と判断することもできる。
【０１２７】
図１５は、図１４に示した確認動作検出部１２と車両状態検出手段３０及び環境情報検出手段４０との関係を示すブロック図である。なお、この図においては、確認動作検出部１２、車両状態検出手段３０及び環境情報検出手段４０の他に、画像取得部１１を図示している。
【０１２８】
同図に示すように、車両状態検出手段３０及び環境情報検出手段４０は、確認動作判定部１２ｃに接続されており、確認動作判定部１２ｃに各信号Ｓｃ，Ｓｄを送出する。このため、確認動作判定部１２ｃが信号Ｓｃ，Ｓｄに基づいて確認動作の必要な場所を特定することとなる。
【０１２９】
そして、確認動作判定部１２ｃは、確認動作の必要な場所を特定することにより、確認動作の不必要な場所においては確認動作の有無を判定しないようにする。具体的には確認動作の不必要な場所において、確認動作判定部１２ｃは、図１１に示したステップＳＴ３６〜ＳＴ４０までの処理を省略するようにする。
【０１３０】
次に、第２実施形態に係る警報システム２及び確認動作検出装置１０の動作を説明する。第２実施形態に係る警報システム２及び確認動作検出装置１０の動作は、第１実施形態のものと同様であるが、確認動作判定部１２ｃの動作が一部異なっている。
【０１３１】
図１６は、第２実施形態に係る警報システム２及び確認動作検出装置１０の動作を説明するタイミングチャートである。なお、この図においては、一時停止が必要な交差点にて一時停止をした後の発進の際に、確認動作が検出されず報知信号Ｓａを出力する場合の例を示している。
【０１３２】
まず、第１実施形態と同様にして、確認動作判定部１２ｃは、運転者の顔の向きを検出する。具体的に同図に示すように、確認動作判定部１２ｃは、時刻Ｔ１０〜Ｔ１１において前方、時刻Ｔ１１〜Ｔ１２において前方、時刻Ｔ１２〜Ｔ１３において右方向と検出する。また、確認動作判定部１２ｃは、時刻Ｔ１３〜Ｔ１４において左方向、時刻Ｔ１４〜Ｔ１５において左方向、時刻Ｔ１５〜Ｔ１６において左方向、時刻Ｔ１６〜Ｔ１７において左方向、時刻Ｔ１７〜Ｔ１８において前方と検出する。
【０１３３】
また、これらの期間において、車両状態検出手段３０は、車速情報、ブレーキＳ／Ｗ（スイッチ）の情報、アクセルＳ／Ｗ（スイッチ）の情報を取得する。
【０１３４】
まず、時刻Ｔ１０〜Ｔ１２の期間においては、車速が所定の閾値以上となっている。通常、運転者による確認動作は、車両発進時などの低速状態において行われることから、確認動作判定部１２ｃは、確認動作の有無を判定しないようにする。
【０１３５】
また、時刻Ｔ１２〜Ｔ１３の期間においては、車速が所定の閾値を下回ることとなるが、ブレーキＳ／Ｗがオンであり、アクセルＳ／Ｗがオフとなっている。
このため、車両は停止状態又は停止しつつある状態といえる。この状態においては、運転者が現在において確認動作を行っていなくとも、発進時までに確認動作をする可能性がある。このため、確認動作判定部１２ｃは、確認動作の有無を判定せず、不必要に警報してしまわないようにしている。
【０１３６】
そして、時刻Ｔ１３〜Ｔ１６の期間においても同様に、確認動作判定部１２ｃは、確認動作の有無を判定しないようにする。
【０１３７】
その後、時刻Ｔ１６〜Ｔ１７の期間において、ブレーキＳ／Ｗがオフとなり、アクセルＳ／Ｗがオンとなる。このため、確認動作判定部１２ｃは、確認動作の有無を判定することとなる。確認動作の有無を判定するタイミングは、できるだけ素早く警報するべく、ブレーキＳ／Ｗがオフとなり、アクセルＳ／Ｗがオンとなった時点である。
【０１３８】
このとき、例えば、パターン作成の対象が今回、前回、前々回の顔の向きであるとすると、時刻Ｔ１３〜Ｔ１６の期間における運転者の顔の向きから、確認動作判定部１２ｃは、パターンを「左、左、左」と算出する。
【０１３９】
この場合、運転者は、主として左を見つづけた状態で交差点を進入していると判定できる。故に、確認動作判定部１２ｃは、確認動作無しと判定し、その情報を報知信号出力部１２ｄに送出する。
【０１４０】
これを受けた報知信号出力部１２ｄは、報知信号Ｓａを報知装置２０へ出力し、報知装置２０は、報知動作を行うこととなる。
【０１４１】
このように、図１６の例の場合、運転者は、交差点で右を見た後、左に気を取られている時間が長く続いたにもかかわらず、初めに右を確認していたため、右方向の確認を忘れ、交差点を進入したといえる。本実施形態では、このような場合であっても、発進時に的確に運転者に報知を行うことができる。
【０１４２】
このようにして、本実施形態に係る確認動作検出装置１０によれば、第１実施形態と同様に、運転者による確認動作の検出精度を向上させることができ、コスト低減を図ることができ、顔の向きの検出精度を一層向上させることができる。また、確認の不履行時に運転者に対し注意喚起を促すことができる。また、画像横方向に又は全方向に、精度良くオプティカルフローを計算することができる。また、計算量の増大を防止し、１つの参照領域内に同時に複数の特徴的な部位が入る可能性を少なくすることができ、小さ過ぎる領域を設定することにより、特徴的な部位がない領域となることを防ぐことができる。さらに、特徴のない参照領域が設定されたことにより、不正確な移動位置を検出してしまうことを防止することができ、確認判定の精度を向上させることができる。
【０１４３】
また、本実施形態に係る警報システム２によれば、確認の不履行時に運転者に対し注意喚起を促すことができる。
【０１４４】
また、本実施形態に係る警報システム２及び確認動作検出装置１０によれば、車両状態検出手段３０からの信号Ｓｃ、及び環境情報検出手段４０からの信号Ｓｄとの少なくとも一方に基づいて、運転者が確認動作をすべき場所を特定する。このため、運転者が明らかに確認動作をする必要がない場所などに、確認動作の有無の判定を行う必要がなくなっている。よって、不要な処理を減らすことができると共に、不要な報知についても減らすことができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る確認動作検出装置を含む警報システムの構成を示すブロック図である。
【図２】図１に示した確認動作検出部の詳細構成を示すブロック図である。
【図３】図２に示した画像処理部の動作を示すフローチャートである。
【図４】撮像画像に設定される２つ以上の参照領域の説明図であり、（ａ）は参照領域を画像横方向に配置したときの例を示し、（ｂ）は参照領域を格子状に配置したときの例を示し、（ｃ）は参照領域を画像横方向且つ格子状に配置したときの例を示している。
【図５】参照領域及び探索領域の説明図である。
【図６】移動量（ｘｄ，ｙｄ）の算出方法の説明図である。
【図７】図３に示したステップＳＴ１３の処理の説明図である。
【図８】図３に示した画像処理部の平均の移動量を示す説明図であり、（ａ）は時刻ｔにおける撮像画像の例を示し、（ｂ）は時刻ｔ＋１における撮像画像の例を示し、（ｃ）は時刻ｔ＋２における撮像画像の例を示し、（ｄ）は時刻ｔ＋３における撮像画像の例を示している。
【図９】図２に示した顔動作検出部の動作を示すフローチャートである。
【図１０】図２に示した顔動作検出部により得られる移動位置（ｖｘ，ｖｙ）のデータ例の説明図である。
【図１１】図２に示した確認動作判定部の動作を示すフローチャートである。
【図１２】図２に示した確認動作判定部の動作を説明するタイミングチャートである。
【図１３】運転者が撮像される様子を示しており、（ａ）は通常の運転状態における撮像される様子を示し、（ｂ）は運転者が前方に乗り出したときに撮像される様子を示している。
【図１４】本発明の第２実施形態に係る確認動作検出装置を含む警報システムの構成を示すブロック図である。
【図１５】図１４に示した確認動作検出部と車両状態検出手段及び環境情報検出手段との関係を示すブロック図である。
【図１６】第２実施形態に係る警報システム２及び確認動作検出装置１０の動作を説明するタイミングチャートである。
【符号の説明】
１，２…警報システム
１０…確認動作検出装置
１１…画像取得部（撮像手段）
１２ａ…画像処理部（画像処理手段）
１２ｂ…顔動作検出部（顔動作検出手段）
１２ｃ…確認動作判定部（確認動作判定手段）
１２ｄ…報知信号出力部（報知信号出力手段）
２０…報知装置
３０…車両状態検出手段
４０…環境情報検出手段
Ｓａ…報知信号
Ｓｃ…状態信号
Ｓｄ…環境信号
Ｃ１，Ｃ２…変化量[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a confirmation operation detection device and an alarm system.
[0002]
[Prior art]
Conventionally, a notification device that detects that the driver's line-of-sight direction tends to stay forward during traveling, determines whether or not the driver's attention has been reduced, and informs the driver when this is the case. Is known (see, for example, Patent Document 1).
[0003]
There is also known a confirmation device that predicts a region to be confirmed by the driver based on the driving environment, detects the driver's line-of-sight region, and determines whether the driver has seen this region (for example, a patent) Reference 2).
[0004]
In these devices, an image of the driver's face is picked up by an imaging means, a specific face part such as a driver's eyes and nose is detected from the obtained image, and the driver's line of sight is tracked by tracking the face part. Direction and face direction are detected.
[0005]
[Patent Document 1]
JP-A-8-178712
[0006]
[Patent Document 2]
JP 2002-83400 A
[0007]
[Problems to be solved by the invention]
By the way, the driver may move his / her face quickly and greatly during the confirmation operation. In particular, during driving of the vehicle, the driver tends to move the face quickly and largely because the driver quickly performs the confirmation operation. However, in the above apparatus, when the driver moves the face quickly and largely, the limit of the tracking accuracy may be exceeded, and the specific part of the face cannot be tracked and the face orientation may not be detected.
[0008]
As described above, in the conventional apparatus, it is difficult to detect the driver's confirmation operation when the driver moves his face fast and greatly during the confirmation operation.
[0009]
[Means for Solving the Problems]
According to the present invention, the imaging unit captures the driver's head and acquires a captured image, and the image processing unit captures the captured image based on the captured image acquired by time-series imaging by the imaging unit. The face motion detection means detects the movement of the driver's face from the optical flow obtained by the image processing means, and the confirmation action determination means determines the driver's face detected by the face motion detection means. Based on the face movement pattern, Presence Determine.
[0010]
【The invention's effect】
According to the present invention, the movement of the face of the driver is detected by obtaining the optical flow between the captured images, so that even if the movement of the face is fast and large, the influence on the detection of the movement of the face is affected. Can be small. Therefore, the detection accuracy of the confirmation operation by the driver can be improved.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below with reference to the drawings. In the following embodiments, a case where the alarm system 1 is mounted on a vehicle will be described as an example. In the following description, the movement amount includes a movement speed and a movement direction.
[0012]
FIG. 1 is a block diagram showing a configuration of an alarm system 1 including a confirmation operation detecting device 10 according to the first embodiment of the present invention. As shown in the figure, the warning system 1 determines whether or not the driver has performed a confirmation operation, and when it is determined that the confirmation operation has not been performed, the warning operation detection device 10 that outputs a notification signal Sa is provided. I have. The alarm system 1 also includes a notification device 20 that receives the notification signal Sa from the confirmation operation detection device 10 and notifies the driver that the confirmation operation is not performed.
[0013]
The confirmation operation detection device 10 includes an image acquisition unit (imaging unit) 11 that captures a driver's face in time series and acquires a captured image, and a driver's confirmation operation based on the captured image. Presence And a confirmation operation detection unit 12 for determining whether or not.
[0014]
The image acquisition unit 11 includes at least one of a CCD camera or a CMOS camera for imaging visible light, a camera for imaging with near infrared light, a camera for imaging heat generated by a person or the like in the far infrared, and the like. It is an imaging device. The image acquisition unit 11 is installed, for example, below the front of the driver, captures an image including the driver's head in time series, and uses the obtained captured image data as a video signal Sb as a confirmation operation detection unit 12. To send. Then, the confirmation operation detection unit 12 converts the video signal Sb from the image acquisition unit 11 into digital data indicating grayscale data with a horizontal width of 160 pixels, a vertical width of 120 pixels, and 256 gradations per pixel, and stores the digital data in the storage area. To do.
[0015]
Here, although the image acquisition unit 11 is installed below the front of the driver, it only needs to be able to capture an image including the driver's head, and the installation position is not particularly limited to the lower front of the driver.
[0016]
Details of the confirmation operation detection unit 12 are shown in FIG. FIG. 2 is a block diagram showing a detailed configuration of the confirmation operation detection unit 12 shown in FIG. In this figure, in addition to the confirmation operation detection unit 12, an image acquisition unit 11 is illustrated.
[0017]
The confirmation operation detection unit 12 includes an image processing unit (image processing unit) 12a, a face operation detection unit (face operation detection unit) 12b, a confirmation operation determination unit (confirmation operation determination unit) 12c, and a notification signal output unit (notification signal output). Means) 12d.
[0018]
The image processing unit 12a receives the video signal Sb, which is captured image data from the image acquisition unit 11, and obtains an optical flow between the captured images. Then, the image processing unit 12a sends the obtained optical flow data to the face motion detection unit 12b.
[0019]
The face motion detection unit 12b detects the movement of the driver's face from the optical flow obtained by the image processing unit 12a. Then, the face motion detection unit 12b sends the face motion data to the confirmation motion determination unit 12c.
[0020]
The confirmation motion determination unit 12c detects a facial motion pattern spatially and temporally from the facial motion obtained by the facial motion detection unit 12b. In addition, the confirmation action determination unit 12c performs the confirmation action by the driver based on the pattern of the driver's face movement detected by the face action detection unit 12b. Presence Is determined.
[0021]
Specifically, the confirmation action determination unit 12c determines the confirmation action by calculating the appearance frequency of the left and right orientations of the face based on the detected face action pattern. Then, the confirmation operation determination unit 12c sends this determination result to the notification signal output unit 12d.
[0022]
The notification signal output unit 12d outputs a notification signal Sa for notifying the driver of the fact when the confirmation operation determination unit 12c determines that there is no confirmation operation by the driver. When the notification signal Sa is input to the notification device 20, the notification device 20 performs a notification operation.
[0023]
In such an alarm system 1, first, the image acquisition unit 11 captures a captured image by capturing an image of the driver's head. In the present embodiment, the image acquisition unit 11 is installed in the lower front of the driver, and thus captures the driver's face and acquires a captured image. Thereafter, the image acquisition unit 11 sends the captured image data obtained in time series to the confirmation operation detection unit 12 as a video signal Sb.
[0024]
Then, the image processing unit 12a of the confirmation operation detecting unit 12 receives the video signal Sb and stores it as digital data. After the storage, the image processing unit 12a obtains an optical flow between the captured images based on the stored data. After that, the image processing unit 12a sends the obtained optical flow data to the face motion detection unit 12b.
[0025]
The face motion detection unit 12b detects the movement of the driver's face based on the optical flow data. Thereafter, the confirmation action determination unit 12c calculates a face movement pattern based on the driver's face movement. At this time, the face motion detection unit 12b calculates the pattern in consideration of, for example, the number of times the driver has turned left and right, the time that the driver has turned left and right, and the like.
[0026]
After the calculation, the confirmation action determination unit 12c compares the face movement pattern with a predetermined condition to determine whether or not the driver has performed the confirmation action. Then, the confirmation operation determination unit 12c outputs the determination result to the notification signal output unit 12d.
[0027]
The notification signal output unit 12d outputs the notification signal Sa to the notification device 20 when the determination result indicates that there is no confirmation operation. Thereby, the notification device 20 performs a notification operation to the driver.
[0028]
Next, with reference to FIGS. 3 to 12, the operation of the confirmation operation detecting device 10 according to the present embodiment will be described in detail. FIG. 3 is a flowchart showing the operation of the image processing unit 12a shown in FIG.
[0029]
First, the image processing unit 12a applies a smoothing filter to the captured image acquired by the image acquisition unit 11, and converts the pixel value using a predetermined formula (ST10). Here, the smoothing filter is a filter having 5 rows and 5 columns as shown below.
[0030]
[Expression 1]

The predetermined formula is shown below.
[0031]
[Expression 2]

Note that d (x, y) is a pixel value at an arbitrary position in the captured image, and d ′ (x, y) is a pixel value after conversion.
[0032]
Thereafter, the image processing unit 12a initializes numerical values xm, ym, and c related to the amount of movement of the face to “0” (ST11).
[0033]
Then, the image processing unit 12a calculates a movement amount (xd, yd) by obtaining a position most similar to the reference area in the previous captured image from the current captured image search area (ST12). Specifically, the image processing unit 12a first obtains an area most similar to the reference area from the search area, and sets the center point of the most similar area as the position most similar to the reference area. Then, the image processing unit 12a calculates the movement amount (xd, yd) from the obtained center point of the most similar region and the center point of the search region.
[0034]
Here, the region will be described. The image processing unit 12a presets a plurality of reference areas on the captured image. Specifically, the image processing unit 12a sets at least two or more reference areas for the captured image obtained at time t and filtered.
[0035]
FIG. 4 is an explanatory diagram of two or more reference areas set in the captured image. As shown in FIG. 4A, a plurality (for example, seven) of reference areas are arranged in the horizontal direction on the captured image. Also, as shown in FIG. 4B, a plurality of reference areas (for example, a total of five vertical and seven horizontal 35) are arranged on the captured image in a grid pattern. Further, as shown in FIG. 4 (c), a plurality of reference regions are arranged in the horizontal direction and in a lattice pattern (for example, in addition to the total 15 in the vertical direction and the total in the horizontal direction 15 in addition to the total 17 in the horizontal direction). May be.
[0036]
Note that the reference area is fixedly set to the size of the facial part such as the eyes, nose, or mouth from the position of the camera, the angle of view of the camera, and the ratio of the face in the captured image.
[0037]
The search area is set for the filtered captured image obtained at time t + 1 after time t based on the reference area set for the captured image at time t. This search area is set so as to surround each reference area, and is set as many as the reference areas.
[0038]
The reference area and search area will be described in more detail with reference to FIG. FIG. 5 is an explanatory diagram of the reference area and the search area. Note that the reference area is set for different captured images, such as the captured image at time t, and the search area is captured at time t + 1. In FIG. explain.
[0039]
As shown in the figure, the reference area is an area having a width tw pixels and a height th pixels set around a specific point O. The search area is an area having a width sw pixel and a height sh pixel set around the point O as in the reference area. These two regions are set to have the same center and have a relationship of sw> tw and sh> sw.
[0040]
Then, the image processing unit 12a calculates a movement amount (xd, yd) by obtaining a position most similar to the reference area from the search area as described above. Next, the calculation of the movement amount will be specifically described.
[0041]
FIG. 6 is an explanatory diagram of a method of calculating the movement amount (xd, yd). First, the image processing unit 12a creates a candidate area. This candidate area is an area having the same size as the reference area.
[0042]
Then, the image processing unit 12a sets a candidate area at a predetermined location in the search area and compares the set candidate area with the reference area to obtain a similarity. Next, the image processing unit 12a moves the candidate area to another position, and compares the candidate area at the moved position with the reference area to obtain the similarity.
[0043]
Thereafter, the image processing unit 12a sequentially moves to the candidate area, and calculates the similarity to the reference area at each location in the search area. The similarity is determined based on, for example, grayscale data. Here, in the case where the similarity is calculated based on the density data, assuming that the similarity is cos θ, the similarity is expressed by the following equation.
[0044]
[Equation 3]

In the above formula, the density data of the reference area is T, and the density data of the candidate area is S. Xd represents an X coordinate value in the search area, and yd represents a Y coordinate value in the search area.
[0045]
As described above, the image processing unit 12a determines the position P where the degree of similarity is maximized, and obtains the difference between the coordinate values of the point P and the point O as the movement amount (xd, yd).
[0046]
Again, a description will be given with reference to FIG. After calculating the movement amount (xd, yd), the image processing unit 12a determines whether the similarity range is equal to or greater than a threshold value (ST13).
[0047]
This determination will be described with reference to FIG. FIG. 7 is an explanatory diagram of the processing in step ST13 shown in FIG. The image processing unit 12a scans the search area with the candidate area, and calculates the similarity of each part in the search area. Then, the image processing unit 12a obtains the variance of the obtained similarity.
[0048]
For example, as shown in the figure, it can be said that the variation value C1 has a small dispersion value and a narrow dispersion range. On the other hand, it can be said that the variation value C2 has a larger dispersion value and a larger dispersion range than the variation amount C1.
[0049]
Here, the case where the range of dispersion is narrow is a case where similar similarity is detected at each location in the search area. For example, when there are few features, such as when the reference area is a pure white image, a similar similarity result is obtained even when compared with any part in the search area. In such a case, since the difference in similarity is small, detection of the point P at which the similarity is maximum tends to be inaccurate. For this reason, in the process of step ST13 of FIG. 3, it compares with a predetermined | prescribed threshold value and is made to select a suitable thing and an unsuitable thing.
[0050]
Again, a description will be given with reference to FIG. When it is determined that the similarity range is not equal to or greater than the threshold (ST13: NO), the process proceeds to step ST15. On the other hand, if it is determined that the similarity range is equal to or greater than the threshold (ST13: YES), the image processing unit 12a integrates the movement amount (ST14). Specifically, the image processing unit 12a sets “xm” to “xm + xd”, “ym” to “ym + yd”, and “c” to “c + 1”.
[0051]
Thereafter, the image processing unit 12a determines whether or not the above steps ST12 to ST14 have been performed for the number of regions (ST15). That is, the image processing unit 12a determines whether or not a similar position is specified from the search area for all reference areas.
[0052]
If it is determined that a similar position has not been specified from within the search area for any of the reference areas (ST15: NO), the process returns to step ST12, and the above steps are performed for the reference area that has not specified a similar position. The processing of ST12 to ST14 will be repeated.
[0053]
On the other hand, when it is determined that similar positions are specified from the search area for all reference areas (ST15: YES), the image processing unit 12a determines whether “c” is “0” ( ST16).
[0054]
When it is determined that “c” is “0” (ST16: YES), the image processing unit 12a ends the process. On the other hand, when it is determined that “c” is not “0” (ST16: NO), the image processing unit 12a calculates an average for the accumulated “xm” and “ym” (ST17). That is, the image processing unit 12a executes “xm = xm / c” and “ym = ym / c” to obtain an average movement amount.
[0055]
FIG. 8 is an explanatory diagram showing an average movement amount of the image processing unit 12a shown in FIG. (A) shows an example of a captured image at time t, (b) shows an example of a captured image at time t + 1, (c) shows an example of a captured image at time t + 2, and (d) shows an image taken at time t + 3. An example of an image is shown.
[0056]
The average moving amount is indicated by an arrow at the lower right of each image (except (a)). The direction of the arrow indicates the moving direction of the face, and the size indicates the speed of the face movement. In addition, the area | region currently displayed by the square in an image is a reference area, and the line segment extended from each reference area has shown the movement amount of each site | part.
[0057]
After calculating the average movement amount as described above, the image processing unit 12a sends this data to the face motion detection unit 12b, and then the process ends.
[0058]
In addition to this embodiment, the calculation method of the optical flow (motion detection) is a movie by Nobuyuki Yagi, “Digital Video Processing”, IPSJ, pp.129-139, 2000, Ohmsha, etc. Several methods for detecting motion from an image have been introduced and can be used.
[0059]
FIG. 9 is a flowchart showing the operation of the face motion detection unit 12b shown in FIG. First, the face motion detection unit 12b obtains a moving average value (ax, ay) for the average movement amount obtained by the image processing unit 12a (ST20). The range for obtaining the moving average is arbitrarily determined. For example, the average of the average moving amount (corresponding to the size of the arrow) shown in FIGS. 8B, 8C, and 8D is obtained.
[0060]
After that, the face motion detection unit 12b integrates the moving average value (ax, ay) of the average moving amount (ST21). Specifically, the face motion detection unit 12b sets “sx” to “sx + ax” and “sy” to “sy + ay”.
[0061]
Thereafter, the face motion detection unit 12b obtains a moving average value (cx, cy) of the integrated values (sx, sy) (ST22). The range for obtaining this moving average is also arbitrarily determined.
[0062]
Then, the face motion detection unit 12b obtains the movement position (vx, vy) from the difference between the integrated value (sx, sy) and the moving average (cx, cy) of the integrated value (ST23). Specifically, the face motion detection unit 12b sets “vx” to “sx-cx” and “vy” to “sy-cy”.
[0063]
Thereafter, the face motion detection unit 12b determines whether or not the integrated value (sx, sy) is greater than or equal to a threshold value (ST24). When it is determined that the integrated value (sx, sy) is not equal to or greater than the threshold value (ST24: NO), the face motion detection unit 12b sends the data of the movement position (vx, vy) to the confirmation motion determination unit 12c, and the process ends. To do.
[0064]
On the other hand, when it is determined that the integrated value (sx, sy) is equal to or greater than the threshold value (ST24: YES), the face motion detection unit 12b determines whether the standard deviation of the integrated value (sx, sy) is equal to or less than the threshold value. Judgment is made (ST25). When it is determined that the standard deviation of the integrated value (sx, sy) is not less than or equal to the threshold (ST25: NO), the face motion detection unit 12b sends the data of the movement position (vx, vy) to the confirmation motion determination unit 12c, The process ends.
[0065]
On the other hand, when it is determined that the standard deviation of the integrated values (sx, sy) is equal to or less than the threshold (ST25: YES), the face motion detection unit 12b determines whether or not the moving average value of the average movement amount is equal to or less than the threshold. Judgment is made (ST26). When it is determined that the moving average value of the average moving amount is not equal to or less than the threshold value (ST26: NO), the face motion detecting unit 12b sends the data of the moving position (vx, vy) to the confirmation motion determining unit 12c, and the process ends. To do.
[0066]
On the other hand, when it is determined that the moving average value of the average moving amount is equal to or less than the threshold value (ST26: YES), the face motion detecting unit 12b initializes the integrated value (sx, sy) to “0” (ST27). Then, the face motion detection unit 12b sends the data of the movement position (vx, vy) to the confirmation motion determination unit 12c, and the process ends.
[0067]
The processes in steps ST25 to ST27 are performed for the following reason.
[0068]
For example, when the driver is seated on the seat, the driver's face is not always located at the center of the imaging range. For this reason, if the left and right range of the driver's face position is not equal within the imaging range, an error occurs due to the difference between the left and right ranges when the driver moves the face left and right. It is accumulated as a value (sx, sy). If the error is gradually accumulated as the integrated value (sx, sy), the detection of the face orientation is hindered.
[0069]
Therefore, in step ST25, it is determined whether or not the integrated value (sx, sy) is equal to or greater than a threshold value. If the integrated value (sx, sy) is equal to or greater than the threshold value, the integrated value (sx, sy) is initialized to “0”.
[0070]
However, if the integrated value (sx, sy) is initialized to “0” while the driver is actually changing the face orientation, the initialization will adversely affect the detection of the face orientation. End up. Therefore, in steps ST26 and ST27, it is detected that the face is not moving. That is, the integrated value (sx, sy) is initialized to “0” when the standard deviation of the integrated value (sx, sy) is equal to or smaller than the threshold value and the moving average value of the average moving amount is equal to or smaller than the threshold value. I have to.
[0071]
Here, a data example of the movement position (vx, vy) obtained by the face motion detection unit 12b will be described. FIG. 10 is an explanatory diagram of a data example of the movement position (vx, vy) obtained by the face motion detection unit 12b shown in FIG.
[0072]
In FIG. 10, the vertical axis indicates the movement position, and the horizontal axis indicates time. In the figure, the solid line indicates the movement position in the horizontal direction of the image (X direction), and the broken line indicates the movement position in the vertical direction of the image (Y direction).
[0073]
As shown in the figure, first, when the driver is gazing at the front of the vehicle (period 5760-5940), the movement position is in the vicinity of “0” in both the X direction and the Y direction.
[0074]
Next, when the driver performs a confirmation operation and changes the direction of the face several times to the left and right (period 5940 to 6350), the movement position increases or decreases between “−80 to 80” in the X direction. Is repeated. On the other hand, in the Y direction, the movement position is “−24 to 28”, which is smaller than the X direction, but it can be said that the increase and decrease are repeated as compared with the period of time 5760 to 5940.
[0075]
Thereafter, when the driver pays attention again to the front of the vehicle (period 6350 to 6500), the movement position is again near “0” in both the X direction and the Y direction.
[0076]
Thus, the movement position (vx, vy) obtained by the face motion detection unit 12b represents the direction of the driver's face. The confirmation operation determination unit 12c determines whether or not the driver has performed a confirmation operation based on the movement position (vx, vy) that represents the movement of the driver's face.
[0077]
Next, the operation of the confirmation operation determination unit 12c illustrated in FIG. 2 will be described. FIG. 11 is a flowchart showing the operation of the confirmation operation determination unit 12c shown in FIG. In FIG. 11, the operation for detecting the movement of the face in the horizontal direction of the image, that is, in the horizontal direction will be described.
[0078]
As shown in the figure, the confirmation operation determination unit 12c first initializes a left / right direction confirmation flag (ST30). Thereafter, the confirmation operation determination unit 12c determines whether or not the lateral movement position vx of the face is equal to or greater than a set maximum value (ST31).
[0079]
When it is determined that the lateral movement position vx of the face is greater than or equal to the set maximum value (ST31: YES), the confirmation operation determination unit 12c determines that the face is facing left (ST32), and the process proceeds to ST36. .
[0080]
On the other hand, when it is determined that the lateral movement position vx of the face is not equal to or greater than the set maximum value (ST31: NO), the confirmation operation determination unit 12c determines whether or not the movement position vx is equal to or less than the set minimum value ( ST33).
[0081]
If it is determined that the lateral movement position vx of the face is equal to or less than the set minimum value (ST33: YES), the confirmation operation determination unit 12c determines that the face is facing right (ST34), and the process proceeds to ST36. .
[0082]
On the other hand, when it is determined that the lateral movement position vx of the face is not less than or equal to the set minimum value (ST33: NO), the confirmation operation determination unit 12c determines that the face is facing forward (ST35), and the process proceeds to ST36. To do.
[0083]
In step ST36, the confirmation operation determination unit 12c stores the determination result of the face orientation (right, left, or front) in the storage area for a fixed time. Then, the confirmation operation determination unit 12c detects a face movement pattern based on the determination result of the current and previous face orientations. Furthermore, the confirmation operation determination unit 12c calculates the appearance frequencies of the left and right faces based on this pattern (ST36).
[0084]
For example, this time, in the order of last time, last time, “face is facing right”, “face is facing left”, and “face is facing right” are stored, the confirmation operation determination unit 12c Then, “right, left, right” is calculated as the face movement pattern. Also, for example, the appearance frequency of the face orientation at this time is “2” on the right and “1” on the left.
[0085]
Thereafter, the confirmation operation determination unit 12c determines whether or not the appearance frequency in the right direction is equal to or higher than a threshold (ST37). If it is determined that the rightward appearance frequency is equal to or greater than the threshold (ST37: YES), the confirmation operation determination unit 12c sets a right direction confirmation flag (ST38). Then, the process proceeds to step ST39. This flag indicates that the driver has confirmed the right direction.
[0086]
On the other hand, if it is determined that the rightward appearance frequency is not equal to or higher than the threshold (ST37: NO), the right direction confirmation flag is not set and the process proceeds to step ST39.
[0087]
In step ST39, the confirmation operation determination unit 12c determines whether or not the leftward appearance frequency is greater than or equal to a threshold value (ST39). If it is determined that the leftward appearance frequency is greater than or equal to the threshold (ST39: YES), the confirmation operation determination unit 12c sets a left direction confirmation flag (ST40). This flag indicates that the driver has confirmed the left direction.
[0088]
Then, the confirmation operation determination unit 12c performs the confirmation operation. Presence Is transmitted to the notification signal output unit 12d, and the process ends.
[0089]
On the other hand, when it is determined that the leftward appearance frequency is not equal to or higher than the set value (ST39: NO), the confirmation flag determination unit 12c transmits the confirmation flag information to the notification signal output unit 12d without setting the left direction confirmation flag. Then, the process ends.
[0090]
Next, the operation of the confirmation operation determination unit 12c will be described again with reference to FIG. FIG. 12 is a timing chart for explaining the operation of the confirmation operation determination unit 12c shown in FIG. In FIG. 12, the operation for detecting the movement of the face in the horizontal direction of the image, that is, in the horizontal direction, will be described as in FIG.
[0091]
First, at time T0 to T1, the movement position is substantially “0”. Therefore, the confirmation operation determination unit 12c determines “NO” in the processes of steps ST31 and ST33 in FIG. 11, and determines that the face is facing forward in step ST35.
[0092]
And the confirmation operation | movement determination part 12c memorize | stores the information that "the face is facing ahead" in a storage area in step ST36. Thereafter, the same processing is performed at times T1 to T2 and T2 to T3.
[0093]
At time T3, the face orientation is determined during the period from T0 to T3, and the information is stored. For this reason, the confirmation operation determination unit 12c calculates the pattern of the face movement as “front, front, front”, assuming that the pattern creation target is the previous and last face orientation this time. Then, the confirmation operation determination unit 12c determines whether or not the leftward and rightward appearance frequencies are equal to or higher than a threshold (ST37, ST39). Since the appearance frequencies such as “0” to the left and “0” to the left are obtained when the data at times T0 to T3 are obtained, the confirmation operation determination unit 12c determines “NO” in steps ST37 and ST39. To do. In this case, the left and right detection flags are not raised, and there is no confirmation operation.
[0094]
Further, at times T3 to T4, the movement position is below the set minimum value. Therefore, the confirmation operation determination unit 12c determines “NO” in the process of step ST31, determines “YES” in the process of step ST33, and determines that the face is facing right in step ST34. .
[0095]
Also, the confirmation action determination unit 12c calculates the face movement pattern as “front, front, right”. Then, the confirmation operation determination unit 12c determines whether or not the leftward and rightward appearance frequencies are equal to or higher than a threshold (ST37, ST39). Appearance frequencies such as “1” on the right and “0” on the left are obtained when the data of the times T1 to T4 are obtained. For this reason, when the threshold value of the appearance frequency in the right direction is set to “1”, the confirmation operation determination unit 12c sets a right direction confirmation flag in step ST38. On the other hand, the confirmation operation determination unit 12c determines “NO” in ST39. In this case, the confirmation flag is only in the right direction and the left direction flag is not set. For this reason, for example, since the left and right confirmations are not performed, for example, there is no confirmation operation.
[0096]
Thereafter, a determination is made at times T4 to T5. At this time, first, the confirmation operation determination unit 12c initializes a left / right direction confirmation flag in step ST30. For this reason, the right direction confirmation flag set last time is initialized.
[0097]
In addition, at times T4 to T5, the moving position exceeds the set maximum value. Therefore, the confirmation operation determination unit 12c determines “YES” in the process of step ST31, and determines that the face is facing left in step ST34.
[0098]
Then, the confirmation operation determination unit 12c determines whether or not the leftward and rightward appearance frequencies are equal to or higher than a threshold (ST37, ST39). Appearance frequencies such as “1” on the right and “1” on the left are obtained when the data of the times T2 to T5 are obtained. For this reason, when the threshold value of the appearance frequency in the left and right direction is set to “1”, the confirmation operation determination unit 12c sets the left and right confirmation flags in steps ST38 and ST40. As described above, when both the flags are set, the confirmation operation determination unit 12c determines that the left and right confirmations have been made. That is, it is determined that there is a confirmation operation.
[0099]
Thereafter, the notification signal output unit 12d determines whether or not to send the notification signal Sa to the notification device 20 based on information from the confirmation operation determination unit 12c. An alarm action is performed to prompt a confirmation action.
[0100]
In this way, according to the confirmation motion detection device 10 according to the present embodiment, in order to detect the driver's face motion by obtaining the optical flow between the captured images, the driver's specific face part is detected. There is no need to track. For this reason, even when the movement of the face is fast and large, the influence on the detection of the movement of the face can be reduced.
[0101]
For example, when the driver changes the direction of the face, the angle at which a specific face part is imaged changes. For this reason, the apparent shape or the like of the specific part is changed. In this case, conventionally, the feature amount or the like of a specific part of the face changes, and the face direction may not be detected. However, since the movement of the face can be detected as a whole by obtaining the optical flow as in the present embodiment, the orientation of the face is determined based on the feature amount of the specific part of the face as in the conventional device. Compared with the case of detection, the influence on the detection of the movement of the face can be reduced.
[0102]
Therefore, the detection accuracy of the confirmation operation by the driver can be improved.
[0103]
In the present embodiment, cost reduction can be achieved. That is, in the conventional apparatus, it is necessary to use a camera with a high frame rate as the imaging means in order to detect the face orientation when the face movement is fast and large. For example, a general video camera that can capture about 30 face images per second is not used as an imaging means, but a camera with a higher frame rate is used. In this case, the conventional apparatus uses an expensive camera. In addition, since the imaging speed of the camera is fast, it is necessary to increase the processing speed of the apparatus. However, in the present embodiment, since the entire face motion is detected by the optical flow, the above problem does not occur, and the cost can be reduced.
[0104]
In addition, when entering an intersection where a temporary stop is required or when going out to a public road from a parking lot, the driver moves the body forward for confirmation. Further, when performing a left rear confirmation at the time of a left turn, the driver performs an operation of largely twisting the body to the left rear.
[0105]
For example, as shown in FIG. 13 (a), the head of the driver is within the imaging range in the normal driving state. However, as shown in FIG. 13B, when the driver goes ahead to confirm, a part of the head will be out of the imaging range. When the driver's face has moved out of the imaging range, the driver's specific face part cannot be tracked.
[0106]
On the other hand, in the apparatus described in Japanese Patent Application Laid-Open No. 2000-113164, the driver's posture is detected by forming a difference image of the current and previous images and detecting the driver's movement obtained from the difference. Like to do.
[0107]
However, since this apparatus only detects the posture, it is necessary to provide a tracking means or the like so that a specific part of the face does not go out of the imaging range. However, since the movement of the face during the confirmation operation is fast and large, even if a follow-up means or the like is provided, the specific part of the face cannot be tracked and the face orientation cannot be detected.
[0108]
Thus, in the conventional apparatus, the response | compatibility when a driver | operator moves a body at the time of confirmation operation is inadequate. However, in the present embodiment, the movement of the face is detected as a whole by obtaining the optical flow. That is, if even a part of the face remains in the imaging range, the face orientation can be detected, so that the face orientation detection accuracy can be further improved.
[0109]
In addition, when the driver's confirmation operation is not detected, a notification signal Sa for notifying the driver is transmitted, so that the driver can be alerted when the confirmation is not performed.
[0110]
Also, a plurality of reference areas are arranged in the horizontal direction of the image. By arranging the reference area in this way, the optical flow can be calculated with high accuracy in the horizontal direction of the image.
[0111]
In addition, a plurality of reference areas are arranged in a grid pattern on the captured image. By arranging the reference areas in this way, the optical flow can be calculated with high accuracy in all directions of the image.
[0112]
Further, based on the ratio of the face in the captured image, at least one reference area of the plurality of reference areas is set to a predetermined face part size. For this reason, by setting a reference area that is too large, it is possible to prevent the amount of calculation from increasing, and to reduce the possibility that a plurality of characteristic parts simultaneously enter one reference area. Furthermore, by setting an area that is too small, it is possible to prevent the area from having a characteristic part.
[0113]
In addition, by calculating the amount of change (variance value) of the feature amount (similarity) of each region (search region) from the captured image, and comparing this amount of change with a preset threshold, It is determined whether or not to use for calculation. For this reason, it is possible to prevent inaccurate detection due to setting of a reference region having no feature.
[0114]
Also, the pattern of facial movement is detected spatially and temporally from the optical flow calculation result. In other words, for example, the movement in the left-right direction is obtained spatially, and the movement of the face going back to the past from this time is obtained in terms of time. In other words, since the current driver is looking to the right, it does not take a simple method of determining that there is a confirmation action. Presence Is judged. Therefore, the accuracy of confirmation determination can be improved.
[0115]
In this embodiment, the confirmation operation is determined by calculating the appearance frequency of the left and right orientations of the face based on the pattern. For this reason, it is possible to prevent the confirmation operation from being determined when the left and right are confirmed but the number of confirmations is small. Therefore, the accuracy of confirmation determination can be improved.
[0116]
In addition, according to the alarm system 1 according to the present embodiment, when the driver's confirmation operation is not detected, the driver is notified, so that the driver can be alerted when the confirmation is not performed.
[0117]
Next, a second embodiment of the present invention will be described. FIG. 14 is a block diagram showing a configuration of the alarm system 2 including the confirmation operation detecting device 10 according to the second embodiment of the present invention. As shown in the figure, the alarm system 2 includes vehicle state detection means 30 for detecting the state of the vehicle, and environmental information detection means 40 for detecting the surrounding environment of the vehicle.
[0118]
Specifically, the vehicle state detection means 30 detects one or more vehicle state signals Sc such as vehicle speed, brake switch on / off information, accelerator switch on / off information, steering angle, and shift range information. is there.
[0119]
The environment information detection means 40 acquires position information by a navigation system using GPS or a gyro, and detects, for example, the type of road that is running, the presence or absence of an intersection, and the like.
[0120]
The environment information detection means 40 is composed of one or more of a visible light camera, a far infrared detection element, a laser radar, and an ultrasonic sensor, and detects information around the vehicle. With this configuration, the environment information detection means 40 detects, for example, the presence / absence / approach of a preceding vehicle or an obstacle, the crossing of a pedestrian, the approaching of a subsequent vehicle, an approaching vehicle from the side rear, and the like.
[0121]
Furthermore, the environment information detection means 40 also obtains weather information, information such as weather, outside brightness by daylight meter, and day / night distinction.
[0122]
Further, the confirmation operation detection unit 12 has a function of specifying a place where the driver should perform the confirmation operation based on at least one of the signal Sc from the vehicle state detection unit 30 and the signal Sd from the environment information detection unit 40. have.
[0123]
For this reason, for example, the confirmation operation detecting device 10 may predict an action to be taken by the driver based on the environmental signal Sd indicating that the vehicle is approaching an intersection with poor visibility or an intersection without a signal from map information by navigation. it can.
[0124]
In addition, the confirmation operation detection device 10 predicts the driver's action that the user should enter the intersection after moving his / her face to the left or right based on the vehicle state signal Sc that the vehicle speed is equal to or lower than the set speed. You can also.
[0125]
Further, based on the map information and the vehicle status signal Sc indicating that the left blinker is lit, the confirmation operation detection device 10 predicts the driver's behavior to move the face greatly to the left for confirmation of the left entrainment. You can also
[0126]
Furthermore, the confirmation operation detection device 10 uses the laser radar or the millimeter wave radar, and the driver's face does not visually recognize the front based on the environmental signal Sd indicating that the vehicle or obstacle is approaching. If it is in a state, it can also be determined as a dangerous act.
[0127]
FIG. 15 is a block diagram showing the relationship between the confirmation operation detection unit 12 shown in FIG. 14, the vehicle state detection means 30 and the environment information detection means 40. In this figure, the image acquisition unit 11 is illustrated in addition to the confirmation operation detection unit 12, the vehicle state detection unit 30, and the environment information detection unit 40.
[0128]
As shown in the figure, the vehicle state detection unit 30 and the environment information detection unit 40 are connected to the confirmation operation determination unit 12c, and send the signals Sc and Sd to the confirmation operation determination unit 12c. For this reason, the confirmation operation determining unit 12c specifies a place where the confirmation operation is necessary based on the signals Sc and Sd.
[0129]
Then, the confirmation operation determination unit 12c identifies the place where the confirmation operation is necessary, so that the confirmation operation is performed at a place where the confirmation operation is unnecessary. Presence Do not judge. Specifically, in a place where the confirmation operation is unnecessary, the confirmation operation determination unit 12c omits the processes from steps ST36 to ST40 shown in FIG.
[0130]
Next, operations of the alarm system 2 and the confirmation operation detection device 10 according to the second embodiment will be described. The operations of the alarm system 2 and the confirmation operation detection device 10 according to the second embodiment are the same as those of the first embodiment, but the operation of the confirmation operation determination unit 12c is partially different.
[0131]
FIG. 16 is a timing chart for explaining operations of the alarm system 2 and the confirmation operation detection device 10 according to the second embodiment. In this figure, an example is shown in which a confirmation operation is not detected and a notification signal Sa is output when starting after a temporary stop at an intersection that requires a temporary stop.
[0132]
First, in the same manner as in the first embodiment, the confirmation operation determination unit 12c detects the direction of the driver's face. Specifically, as shown in the figure, the confirmation operation determination unit 12c detects the front at time T10 to T11, the front at time T11 to T12, and the right direction at time T12 to T13. Further, the confirmation operation determination unit 12c detects the left direction at times T13 to T14, the left direction at times T14 to T15, the left direction at times T15 to T16, the left direction at times T16 to T17, and the front at times T17 to T18. .
[0133]
In these periods, the vehicle state detection means 30 acquires vehicle speed information, brake S / W (switch) information, and accelerator S / W (switch) information.
[0134]
First, in the period from time T10 to T12, the vehicle speed is equal to or higher than a predetermined threshold. Normally, the confirmation operation by the driver is performed in a low speed state such as when the vehicle starts, so the confirmation operation determination unit 12c performs the confirmation operation. Presence Do not judge.
[0135]
In the period from time T12 to time T13, the vehicle speed falls below a predetermined threshold, but the brake S / W is on and the accelerator S / W is off.
For this reason, it can be said that the vehicle is in a stopped state or a stopped state. In this state, even if the driver is not currently performing a confirmation operation, there is a possibility that the confirmation operation will be performed before starting. For this reason, the confirmation operation determination unit 12c performs the confirmation operation. Presence Is not judged, and an alarm is not made unnecessarily.
[0136]
Similarly, during the period from time T13 to T16, the confirmation operation determination unit 12c performs the confirmation operation. Presence Do not judge.
[0137]
Thereafter, during the period from time T16 to T17, the brake S / W is turned off and the accelerator S / W is turned on. For this reason, the confirmation operation determination unit 12c performs the confirmation operation. Presence Will be determined. Confirmation action Presence Is determined when the brake S / W is turned off and the accelerator S / W is turned on in order to give an alarm as quickly as possible.
[0138]
At this time, for example, assuming that the target of pattern creation is the previous and last face orientation this time, the confirmation action determination unit 12c determines the pattern as “left” from the face orientation of the driver during the period of time T13 to T16. , Left, left ”.
[0139]
In this case, the driver can determine that he / she has entered the intersection mainly while keeping a left eye. Therefore, the confirmation operation determination unit 12c determines that there is no confirmation operation, and sends the information to the notification signal output unit 12d.
[0140]
In response to this, the notification signal output unit 12d outputs the notification signal Sa to the notification device 20, and the notification device 20 performs a notification operation.
[0141]
Thus, in the case of the example of FIG. 16, the driver confirmed the right at the beginning after looking at the right at the intersection and then the distracted time on the left continued for a long time. It can be said that we forgot to confirm the right direction and entered the intersection. In this embodiment, even in such a case, it is possible to accurately notify the driver when starting.
[0142]
Thus, according to the confirmation operation detection device 10 according to the present embodiment, the detection accuracy of the confirmation operation by the driver can be improved and the cost can be reduced, as in the first embodiment. The detection accuracy of the face orientation can be further improved. In addition, the driver can be alerted when failure to confirm. In addition, the optical flow can be calculated with high accuracy in the horizontal direction of the image or in all directions. In addition, it is possible to prevent an increase in the amount of calculation and reduce the possibility of a plurality of characteristic parts entering one reference area at the same time. By setting an area that is too small, there is no characteristic part. Can be prevented. Furthermore, it is possible to prevent an inaccurate movement position from being detected by setting a reference region having no feature, and to improve the accuracy of confirmation determination.
[0143]
Moreover, according to the alarm system 2 which concerns on this embodiment, a driver can be alerted at the time of failure of confirmation.
[0144]
Further, according to the alarm system 2 and the confirmation operation detection device 10 according to the present embodiment, the driver is based on at least one of the signal Sc from the vehicle state detection unit 30 and the signal Sd from the environment information detection unit 40. Specifies where the verification action should be performed. For this reason, the confirmation operation can be performed in places where the driver does not need to perform confirmation operation. Presence It is no longer necessary to make a determination. Therefore, unnecessary processing can be reduced, and unnecessary notification can be reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an alarm system including a confirmation operation detecting device according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a detailed configuration of a confirmation operation detection unit illustrated in FIG. 1;
FIG. 3 is a flowchart illustrating an operation of the image processing unit illustrated in FIG. 2;
4A and 4B are explanatory diagrams of two or more reference areas set in a captured image. FIG. 4A shows an example in which the reference areas are arranged in the horizontal direction of the image, and FIG. (C) shows an example when the reference regions are arranged in the horizontal direction of the image and in a grid pattern.
FIG. 5 is an explanatory diagram of a reference area and a search area.
FIG. 6 is an explanatory diagram of a method of calculating a movement amount (xd, yd).
7 is an explanatory diagram of the process of step ST13 shown in FIG.
FIGS. 8A and 8B are explanatory diagrams illustrating an average moving amount of the image processing unit illustrated in FIG. 3, in which FIG. 8A illustrates an example of a captured image at time t, and FIG. 8B illustrates an example of a captured image at time t + 1; (C) shows an example of a captured image at time t + 2, and (d) shows an example of a captured image at time t + 3.
FIG. 9 is a flowchart illustrating an operation of the face motion detection unit illustrated in FIG. 2;
10 is an explanatory diagram of a data example of a movement position (vx, vy) obtained by the face motion detection unit illustrated in FIG. 2;
FIG. 11 is a flowchart showing an operation of a confirmation operation determination unit shown in FIG.
12 is a timing chart for explaining the operation of the confirmation operation determination unit shown in FIG. 2;
FIGS. 13A and 13B show how a driver is imaged; FIG. 13A shows how the driver is imaged in a normal driving state; and FIG. 13B shows how the driver is imaged when the driver gets ahead. Show.
FIG. 14 is a block diagram showing a configuration of an alarm system including a confirmation operation detecting device according to a second embodiment of the present invention.
15 is a block diagram showing the relationship between the confirmation operation detection unit shown in FIG. 14, vehicle state detection means, and environment information detection means.
FIG. 16 is a timing chart illustrating operations of the alarm system 2 and the confirmation operation detection device 10 according to the second embodiment.
[Explanation of symbols]
1,2 ... Alarm system
10: Confirmation operation detection device
11: Image acquisition unit (imaging means)
12a ... Image processing unit (image processing means)
12b... Face motion detection unit (face motion detection means)
12c: Confirmation operation determination unit (confirmation operation determination means)
12d: Notification signal output unit (notification signal output means)
20 ... Notification device
30 ... Vehicle state detection means
40. Environmental information detection means
Sa: Notification signal
Sc: Status signal
Sd: Environmental signal
C1, C2 ... Change amount

Claims (11)

Imaging means for imaging the driver's head and obtaining a captured image;
Image processing means for obtaining an optical flow between the picked-up images based on the picked-up images obtained by picking up images in time series by the image pickup means;
Face motion detecting means for detecting the movement of the driver's face from the optical flow obtained by the image processing means;
Confirmation operation determination means for determining the presence or absence of a confirmation operation by the driver based on the pattern of the movement of the driver's face detected by the face motion detection means;
A confirmation operation detecting device comprising:   2. The apparatus according to claim 1, further comprising: a notification signal output unit that outputs a notification signal for notifying the driver of the fact when the confirmation operation determination unit determines that there is no confirmation operation by the driver. The confirmation operation detection device described in 1.   The confirmation operation detection apparatus according to claim 1, wherein the image processing unit obtains an optical flow in a plurality of regions arranged in a horizontal direction on the captured image.   The confirmation operation detecting apparatus according to claim 1, wherein the image processing unit obtains an optical flow in a plurality of areas arranged in a grid pattern on the captured image.   The image processing means sets at least one area of the plurality of areas to a size of a predetermined face part based on a ratio of a face in a captured image acquired by the imaging means. The confirmation operation detecting device according to claim 3 or 4, wherein:   The image processing means sets a plurality of areas on the captured image, and calculates the amount of change in the feature amount of each area from the captured image that is the target of the optical flow calculation when calculating the optical flow. 6. The confirmation operation according to claim 1, wherein whether or not each region is used for optical flow calculation is determined by comparing the amount with a preset threshold value. Detection device.   The said confirmation movement determination means detects the pattern of a face movement spatially and temporally from the movement of the face detected by the said face movement confirmation means. The confirmation operation detection device according to the item. The said confirmation operation | movement determination means determines the presence or absence of confirmation operation | movement by calculating the appearance frequency of the right and left direction of a face based on the detected said pattern. The confirmation operation detection device described in 1.   Based on at least one of a signal from the vehicle state detection means for detecting the state of the vehicle and a signal from the environment information detection means for detecting the surrounding environment of the vehicle, the place where the driver should perform the confirmation operation is specified The confirmation operation detecting device according to claim 1, wherein The driver's face is imaged in time series to obtain a plurality of captured images, the optical flow between the captured images is obtained from the acquired plurality of captured images, and the movement of the driver's face is detected. A confirmation operation detecting device for determining presence or absence of a confirmation operation based on a motion. Imaging means for capturing a captured image by imaging the driver's face;
Based on captured images acquired by time-series imaging by the imaging means, image processing means for obtaining an optical flow between the captured images, and the movement of the driver's face from the optical flow obtained by the image processing means. Confirmation motion detection comprising: a face motion detection means for detecting; and a confirmation motion determination means for judging the presence or absence of a confirmation motion by the driver based on the pattern of the driver's face motion detected by the face motion detection means Equipment,
When it is determined that the confirmation operation by the driver has not been confirmed by the confirmation operation determination unit included in the confirmation operation detection device, a notification device that notifies the driver of the fact,
An alarm system comprising:

Images