JP5505434B2 - 脇見判定装置 - Google Patents

Description

本発明は、判定対象者が脇見をしているか否かを判定する脇見判定装置に関する。

従来、車両の運転者を支援するために、車両の運転者の視線を検出し、検出した視線の方向が予め設定された正常範囲から外れている場合に運転者が脇見運転をしていると判定して、警報音を出力する技術がある。

なお、運転者の視野範囲の大きさには個人差があるため、運転者が脇見運転をしているか否かを判定するために用いられる上記正常範囲は運転者に応じて変化させることが望ましい。そこで、運転者に応じて上記正常範囲を変更可能とするために、車室内に設けられた操作スイッチを運転者が操作することにより、上記正常範囲を示す情報を入力して、上記正常範囲を設定するものが知られている（例えば、特許文献１を参照）。

特開２００９−１７６１１２号公報

上記特許文献１に記載の技術では、上記正常範囲を、例えば（−３０°〜＋３０°）というように数字で入力する必要がある。すなわち、上記正常範囲を設定するための専用の操作スイッチを設ける必要がある。つまり、操作スイッチ等のハードウエアを新たに追加する必要があり、上記正常範囲を設定するための機能を簡便に追加することができないという問題があった。

本発明は、こうした問題に鑑みてなされたものであり、脇見判定のための設定を変更する機能を簡便に追加することを可能とする技術を提供することを目的とする。

上記目的を達成するためになされた請求項１〜５に記載の脇見判定装置では、まず撮影手段が、判定対象者の顔を連続して撮影して、撮影画像を取得し、その後に方向検出手段が、撮影手段により取得された撮影画像を用いて、判定対象者の顔向き又は視線の方向を検出する。そして脇見判定手段が、方向検出手段により検出された顔向き又は視線の方向に基づいて、予め設定された脇見判定条件が成立するか否かを判定し、脇見判定条件が成立すると判定した場合に、判定対象者が脇見をしていると判断し、脇見報知手段が、判定対象者が脇見をしていると脇見判定手段により判定された場合に、その旨を、予め設定された報知設定条件に従って報知する。

さらに手形状検出手段が、撮影手段により取得された撮影画像の中に判定対象者の手が写っている場合に、撮影手段により取得された撮影画像を用いて、判定対象者の手の形状を検出し、設定手段が、方向検出手段による検出結果と、手形状検出手段による検出結果とに基づいて、脇見判定条件および報知設定条件の少なくとも一方を設定する。

このように構成された視線検出装置では、判定対象者の顔向き又は視線の方向、および判定対象者の手の形状はそれぞれ、判定対象者の意思により複数パターンに変更することができる。例えば、判定対象者の顔向き又は視線の方向は、例えば、正面向き、斜め右向き、斜め左向き、右側の真横向き、左側の真横向きというように５つのパターンがある。また、判定対象者の手の形状は、グー、チョキ、パーのように３つのパターンがある。

このため、判定対象者の顔向き又は視線の方向および判定対象者の手の形状それぞれ単独で、または、判定対象者の顔向き又は視線の方向と判定対象者の手の形状との組合せにより、複数の脇見判定条件および複数の報知設定条件と１対１で対応付けることが可能となる。すなわち、撮影手段により撮影された撮影画像を用いて上記設定を行うことができるため、専用の操作スイッチ等のハードウエアを新たに追加する必要がない。これにより、脇見判定のための設定を変更する機能を簡便に追加することができる。

また請求項１に記載の視線検出装置において、上記の脇見判定条件が、判定対象者の顔向き又は視線の方向が、脇見ではないことを示す角度範囲である脇見正常判定範囲から外れていることである場合には、脇見正常判定範囲を設定する必要がある。

しかし、例えば３０°という顔向き又は視線の方向が、右側または左側にどの程度顔を向けた場合に相当するのかを、判定対象者が正確に把握することは困難である。このため、３０°という値を操作スイッチを操作することにより設定された脇見正常判定範囲と、判定対象者が想定している脇見正常判定範囲との間で不一致が大きくなり、判定対象者が脇見ではないと思っているときに脇見報知手段による報知が行われてしまったり、逆に判定対象者が脇見をしているときに脇見報知手段による報知が行われなかったりすることが多くなるおそれがある。

そこで、請求項１，２に記載の視線検出装置において、脇見判定条件が、判定対象者の顔向き又は視線の方向が、脇見ではないことを示す角度範囲である脇見正常判定範囲から外れていることである場合には、設定手段は、方向検出手段により検出された顔向き又は視線の方向を、脇見正常判定範囲における境界となる角度であると決定することにより、脇見正常判定範囲を設定する。また請求項３〜５に記載の視線検出装置において、脇見判定条件が、判定対象者の顔向き又は視線の方向が、脇見ではないことを示す角度範囲である脇見正常判定範囲から外れていることである場合には、請求項６に記載のように、設定手段は、方向検出手段により検出された顔向き又は視線の方向を、脇見正常判定範囲における境界となる角度であると決定することにより、脇見正常判定範囲を設定するようにするとよい。

このように構成された視線検出装置では、脇見正常判定範囲における境界であると判定対象者が考えている方向に、判定対象者が顔または視線を向けることにより、脇見正常判定範囲を設定することができる。これにより、設定手段により設定された脇見正常判定範囲と、判定対象者が想定している脇見正常判定範囲との間での相違を小さくすることができる。

また請求項２に記載の脇見判定装置において、設定手段は、方向検出手段により検出された顔向き又は視線の方向が、判定対象者が正面を向いていることを示す角度範囲として予め設定された正面範囲内である場合には、手形状検出手段による検出結果に基づいて報知設定条件を設定し、方向検出手段により検出された顔向き又は視線の方向が正面範囲外である場合には、方向検出手段により検出された顔向き又は視線の方向に基づいて脇見正常判定範囲を設定する。また請求項６に記載の脇見判定装置において、請求項７に記載のように、設定手段は、方向検出手段により検出された顔向き又は視線の方向が、判定対象者が正面を向いていることを示す角度範囲として予め設定された正面範囲内である場合には、手形状検出手段による検出結果に基づいて報知設定条件を設定し、方向検出手段により検出された顔向き又は視線の方向が正面範囲外である場合には、方向検出手段により検出された顔向き又は視線の方向に基づいて脇見正常判定範囲を設定するようにしてもよい。

このように構成された視線検出装置によれば、判定対象者の顔向き又は視線の方向により、脇見正常判定範囲の設定および報知設定条件の設定の何れかを選択することができる。このため、脇見正常判定範囲を設定するか、報知設定条件を設定するかを選択するために、専用の操作スイッチ等のハードウエアを新たに追加する必要がない。なお、脇見正常判定範囲の境界は通常、上記の正面範囲から外れているため、方向検出手段により検出された顔向き又は視線の方向が正面範囲外である場合に脇見正常判定範囲を設定するようにすることが望ましい。

また請求項２に記載の脇見判定装置において、設定手段は、方向検出手段により検出された顔向き又は視線の方向が、判定対象者が正面を向いていることを示す角度範囲として予め設定された正面範囲内である場合において、手形状検出手段により検出された手の形状が予め設定された設定開始形状であるときには、方向検出手段により検出された顔向き又は視線の方向に基づいて、脇見正常判定範囲の中心位置を設定し、手形状検出手段により検出された手の形状が設定開始形状でない時には、手形状検出手段による検出結果に基づいて報知設定条件を設定する。

このように構成された視線検出装置では、脇見正常判定範囲および報知設定条件に加えて、脇見正常判定範囲の中心位置を設定することができる。これにより、左右いずれかの顔向き又は視線の方向に基づき、中心位置を基準にして左右対称となるようにするという方法で、脇見正常判定範囲を設定することができる。

また請求項１に記載の脇見判定装置において、手位置検出手段が、撮影手段により取得された撮影画像の中に判定対象者の手が写っている場合に、撮影画像内における手の位置を検出し、脇見判定条件は、判定対象者の顔向き又は視線の方向が脇見正常判定範囲から外れている状態が、予め設定された脇見判定時間継続することであり、設定手段は、方向検出手段による検出結果と、手位置検出手段による検出結果とに基づいて、判定対象者の顔向き又は視線の方向と、撮影画像内における手の位置との関係が予め設定された第１設定開始条件を満たす場合に、方向検出手段により検出された顔向き又は視線の方向に基づいて脇見正常判定範囲を設定し、判定対象者の顔向き又は視線の方向と、撮影画像内における手の位置との関係が第１設定開始条件と異なるように予め設定された第２設定開始条件を満たす場合に、手形状検出手段による検出結果に基づいて脇見判定時間を設定する。

このように構成された視線検出装置では、判定対象者の顔向き又は視線の方向が脇見正常判定範囲から外れている状態が、予め設定された脇見判定時間継続することが脇見判定条件であるため、判定対象者が一瞬だけ脇見した場合にも脇見報知手段による報知が行われてしまうという状況の発生を抑制することができる。そして、判定対象者の顔向き又は視線の方向と、撮影画像内における手の位置との関係が予め設定された第２設定開始条件を満たす場合に、手形状検出手段による検出結果に基づいて脇見判定時間を設定するため、脇見判定時間を設定するために専用の操作スイッチ等のハードウエアを新たに追加する必要がない。

また、請求項１〜請求項７の何れか１項に記載の脇見判定装置において、請求項８に記載のように、手形状検出手段は、手の形状として、指の本数を検出するようにしてもよい。
このように構成された視線検出装置によれば、判定対象者は、手の形状と数字とを容易に対応付けることができる。例えば、チョキのように、手の形状が２本の指を伸ばしたものである場合には、手の形状を数字の２と対応付けることができる。これにより、上記脇見判定時間および上記脇見報知手段による報知の音量などのように数量で表される条件を設定する場合に、手の形状と設定条件とを容易に対応付けることができる。例えば、指の本数が多いほど、「時間が長くなる」または「音量が大きくなる」というように対応付けることができる。

また、請求項３に記載の脇見判定装置において、当該脇見判定装置が、車両に搭載され、撮影手段が、車両の運転者の顔と、運転者が車両のステアリングを指で叩く動作とを同時に撮影可能に構成されている場合には、手形状検出手段が、手の形状として、運転者が車両のステアリングを指で叩く形状を検出し、計数手段が、手形状検出手段による検出結果に基づいて、運転者が車両のステアリングを指で叩く回数を計数し、設定手段が、計数手段が計数した回数に基づいて、報知設定条件を設定する。

このように構成された視線検出装置では、運転者は、ステアリングを指で叩く回数により、報知設定条件を設定することができる。そして運転者は、ステアリングを指で叩く回数と数字とを容易に対応付けることができる。例えば、ステアリングを２回叩くことと数字の２と対応付けることができる。これにより、上記脇見報知手段による報知の音量などのように数量で表される条件を設定する場合に、ステアリングを叩く回数と設定条件とを容易に対応付けることができる。例えば、ステアリングを叩く回数が多いほど、「音量が大きくなる」というように対応付けることができる。

また、請求項４に記載の脇見判定装置において、手検出手段が、撮影手段により取得された撮影画像の中に判定対象者の手が写っているか否かを判断し、遷移判断手段が、手検出手段による検出結果に基づいて、撮影画像の中に判定対象者の手が写っていない第１状態から、撮影画像の中に判定対象者の手が写っている第２状態に遷移したか否かを判断し、設定手段が、第１状態から第２状態に遷移したと遷移判断手段が判断した場合に、第１状態から第２状態に遷移したと遷移判断手段が判断した直前に方向検出手段により検出された顔向き又は視線の方向に基づいて、脇見判定条件を設定する。

このように構成された視線検出装置では、判定対象者が自身の腕を動かして、撮影画像の中に判定対象者の手が写っていない第１状態から、撮影画像の中に判定対象者の手が写っている第２状態に遷移させることを契機として、脇見判定条件および報知設定条件の設定を設定手段に実行させることができる。このため、上記設定の実行を開始させるために専用の操作スイッチを設ける必要がない。

なお請求項４に記載の脇見判定装置では、第１状態から第２状態に遷移する直前の顔向き又は視線の方向に基づいて、脇見判定条件を設定する。このため、第１状態から第２状態に遷移するように判定対象者が自身の腕を動かす前に、顔向き又は視線を、脇見判定条件に対応する方向に向けておく必要がある。

また、請求項５に記載の脇見判定装置において、手検出手段が、撮影手段により取得された撮影画像の中に判定対象者の手が写っているか否かを判断し、遷移判断手段が、手検出手段による検出結果に基づいて、撮影画像の中に判定対象者の手が写っていない第１状態から、撮影画像の中に判定対象者の手が写っている第２状態に遷移したか否かを判断し、設定手段が、第１状態から第２状態に遷移したと遷移判断手段が判断した場合に、第１状態から第２状態に遷移したと遷移判断手段が判断した後に方向検出手段により検出された顔向き又は視線の方向に基づいて、脇見判定条件を設定する。

このように構成された視線検出装置では、請求項４に記載の脇見判定装置と同様に、上記設定の実行を開始させるために専用の操作スイッチを設ける必要がない。なお、第１状態から第２状態に遷移した後の顔向き又は視線の方向に基づいて、脇見判定条件を設定する。このため、第１状態から第２状態に遷移するように判定対象者が自身の腕を動かした後に、顔向き又は視線を、脇見判定条件に対応する方向に向ける必要がある。したがって、第１状態から第２状態に遷移したと遷移判断手段が判断した場合にその旨を報知するように当該脇見判定装置を構成することにより、判定対象者は、自身の腕を動かすことにより脇見判定条件を設定可能な状況になったことを認識した上で、顔向き又は視線を、脇見判定条件に対応する方向に向けるという手順で、確実に脇見判定条件を設定することができる。

脇見判定装置１の概略構成を示すブロック図である。 脇見警報処理を示すフローチャートである。 第１実施形態の設定処理を示すフローチャートである。 第１実施形態においてカメラ３により撮影される第１の画像を示す図である。 第１実施形態においてカメラ３により撮影される第２の画像を示す図である。 第１実施形態においてカメラ３により撮影される第３の画像を示す図である。 顔向き方向の正面範囲を示す図である。 第２実施形態の設定処理を示すフローチャートである。 第２実施形態においてカメラ３により撮影される画像を示す図である。 第３実施形態の設定処理を示すフローチャートである。 第３実施形態においてカメラ３により撮影される画像を示す図である。 カメラ３の設置位置を示すためのステアリングの正面図である。 第４実施形態の設定処理を示すフローチャートである。 第４実施形態においてカメラ３により撮影される第１の画像を示す図である。 第４実施形態においてカメラ３により撮影される第２の画像を示す図である。 第５実施形態の設定処理を示すフローチャートである。 別の実施形態の設定処理を示すフローチャートである。

（第１実施形態）
以下に本発明の第１実施形態について図面とともに説明する。
脇見判定装置１は、車両に搭載され、図１に示すように、ＩＲ−ＬＥＤ２とカメラ３と画像キャプチャーボード４と音声出力部５と制御部６とを備えている。

ＩＲ−ＬＥＤ２は、車両の運転席に座っている人（以下、運転者という）の顔に向けて近赤外光を照射する。カメラ３は、近赤外線カメラであり、運転者の顔を連続して撮影する。画像キャプチャーボード４は、カメラ３により撮影された画像のデータを一時的に記憶する。音声出力部５は、各種のガイド音声等を出力する。

制御部６は、画像キャプチャーボード４からの入力に応じて各種処理を実行し、カメラ３により撮影された画像を用いて運転者の顔向き方向を検出するとともに、音声出力部５を制御する。なお制御部６には、脇見判定装置１が搭載された車両の走行速度を検出する車速センサ７からの検出信号が入力される。

このように構成された脇見判定装置１において、制御部６は、運転者の顔向き方向に基づいて脇見警報を行う脇見警報処理を実行する。
ここで、脇見判定装置１の制御部６が実行する脇見警報処理の手順を図２を用いて説明する。この脇見警報処理は、脇見判定装置１の動作中において繰り返し実行される処理である。

この脇見警報処理が実行されると、制御部６は、まずＳ１０にて、カメラ３により撮影されて画像キャプチャーボード４に記憶された画像データの中から、制御部６が取得していない画像データを画像キャプチャーボード４から取得する。そしてＳ２０にて、車速センサ７の検出結果に基づいて、脇見判定装置１を搭載した車両（以下、自車両という）が停止しているか否かを判断する。ここで、自車両が停止していない場合には（Ｓ２０：ＮＯ）、Ｓ３０にて、画像キャプチャーボード４から取得した画像データの中から最新の画像データを用いて、画像認識処理（例えばパターンマッチング）を行うことにより、最新の画像データにより表示される画像内に写る運転者の顔向き方向を検出する。

その後Ｓ４０にて、Ｓ３０での検出結果に基づいて、運転者が脇見をしているか否かを判断する。具体的には、運転者の顔向き方向が予め設定された脇見正常判定範囲外である状態が、予め設定された脇見判定時間継続した場合に、運転者が脇見をしていると判断する。ここで、運転者が脇見をしていない場合には（Ｓ４０：ＮＯ）、脇見警報処理を一旦終了する。一方、運転者が脇見をしている場合には（Ｓ４０：ＹＥＳ）、Ｓ５０にて、脇見をしていることを示す音声を、予め設定された音量で音声出力部５に出力させて、脇見警報処理を一旦終了する。

またＳ２０にて、自車両が停止していると判断した場合には（Ｓ２０：ＹＥＳ）、Ｓ６０にて、脇見警報処理を実行するための各種設定を行う設定処理（後述）を実行し、この設定処理が終了すると、脇見警報処理を一旦終了する。

次に、Ｓ６０にて行われる設定処理を、図３を用いて説明する。
この設定処理が実行されると、制御部６は、まずＳ１１０にて、Ｓ１０にて新たに取得した画像データの全てについて、画像認識処理（例えばパターンマッチング）を行うことにより、画像内に写る運転者の顔向き方向と、画像内に写る運転者の手を検出する。

なお、Ｓ１１０の処理では、図４に示すように、画像内に運転者の顔が写っており運転者の手が写っていない場合には顔向き方向を検出することができる一方、図５に示すように、顔の前に手が写っている場合には、顔向き方向を検出することができない。

またＳ１１０では、顔向き方向を検出するための画像認識処理で得られた顔領域の輝度値を用いて、顔領域の輝度値を示す閾値を算出した後に、この閾値より高い輝度値を有する領域を抽出し、この抽出領域に対してパターンマッチングを行うことにより、運転者の手を検出する。

そしてＳ１２０にて、Ｓ１１０での検出結果に基づいて、画像内に手が写っていない状態から手が写っている状態に遷移したか否かを判断する。ここで、手が写っている状態に遷移していない場合には（Ｓ１２０：ＮＯ）、設定処理を終了する。一方、画像内に手が写っていない状態から手が写っている状態に遷移した場合には（Ｓ１２０：ＹＥＳ）、Ｓ１１０での検出結果に基づいて、手が写っている状態に遷移する直前（すなわち、画像内に手が写っていない状態）における顔向き方向が、予め設定された正面範囲内（本実施形態では、例えば−２０°〜＋２０°）であるか否かを判断する（図７を参照）。

ここで、顔向き方向が正面範囲内である場合には（Ｓ１３０：ＹＥＳ）、Ｓ１４０にて、手が写っている状態に遷移した時点における画像データを用いて、画像認識処理（例えばパターンマッチング）を行うことにより、画像内に写る運転者の手の形状を検出する。具体的には、画像内に写る指の本数を検出する。

そしてＳ１５０にて、Ｓ１４０で検出された指の本数に応じて、本数が多くなるほど音量が大きくなるように、Ｓ４０の脇見警報の際に音声出力部５から出力される音声の音量を設定し、設定処理を終了する。本実施形態では、音声出力部５の音量は、第０，第１，第２，第３段階の順に大きくなるように設定可能であり、第０段階が無音、第３段階が最大音量である。そして、Ｓ１４０で検出された指の本数が０，１，２，３である場合にそれぞれ、音声出力部５の音量が第０，第１，第２，第３段階に設定される。例えば、図５に示すように、指の本数が１である場合には、第１段階に設定される。

一方Ｓ１３０にて、顔向き方向が正面範囲外（例えば図６を参照）である場合には（Ｓ１３０：ＮＯ）、Ｓ１６０にて、手が写っている状態に遷移する直前（すなわち、画像内に手が写っていない状態）における顔向き方向に基づいて、Ｓ４０の脇見判定で用いられる脇見正常判定範囲を設定し、設定処理を終了する。具体的には、顔向き方向が＋Ｘ°である場合には（Ｘは２０〜９０までの整数値）、脇見正常判定範囲が−Ｘ°〜＋Ｘ°に設定される。

このように構成された脇見判定装置１では、カメラ３が、運転者の顔を連続して撮影して、撮影画像を取得し、その後に、カメラ３により取得された撮影画像を用いて、運転者の顔向きの方向を検出する（Ｓ３０，Ｓ１１０）。そして、検出された顔向き方向が予め設定された脇見正常判定範囲外である状態が、予め設定された脇見判定時間継続したか否かを判定し（Ｓ４０）、顔向き方向が脇見正常判定範囲外である状態が脇見判定時間継続した場合に、運転者が脇見をしていると判断し、脇見をしていることを示す音声を、予め設定された音量で音声出力部５から出力する（Ｓ５０）。

さらに、カメラ３により取得された撮影画像の中に運転者の手が写っている場合に、カメラ３により取得された撮影画像を用いて、運転者の手の形状を検出し（Ｓ１４０）、運転者の手の形状に基づいて音声出力部５の音量を設定する（Ｓ１５０）とともに、検出された顔向き方向に基づいて脇見正常判定範囲を設定する（Ｓ１６０）。

このように、カメラ３により撮影された撮影画像を用いて、脇見正常判定範囲と音声出力部５の音量の設定を行うことができるため、専用の操作スイッチ等のハードウエアを新たに追加する必要がない。これにより、脇見判定のための設定を変更する機能を簡便に追加することができる。

また、手が写っている状態に遷移する直前（すなわち、画像内に手が写っていない状態）における顔向き方向を、脇見正常判定範囲における境界となる角度であると決定することにより、脇見正常判定範囲を設定する（Ｓ１６０）。このため、脇見正常判定範囲における境界であると運転者が考えている方向に、運転者が顔を向けることにより、脇見正常判定範囲を設定することができる。これにより、設定された脇見正常判定範囲と、運転者が想定している脇見正常判定範囲との間での相違を小さくすることができる。

また、検出された顔向き方向が正面範囲内である場合には（Ｓ１３０：ＹＥＳ）、運転者の手の形状に基づいて音声出力部５の音量を設定し（Ｓ１５０）、検出された顔向き方向が正面範囲外である場合には（Ｓ１３０：ＮＯ）、検出された顔向き方向に基づいて脇見正常判定範囲を設定する（Ｓ１６０）。すなわち、顔向き方向により、音声出力部５の音量を設定するか、脇見正常判定範囲を設定するかを選択することができる。このため、音声出力部５の音量を設定するか、脇見正常判定範囲を設定するかを選択するために、専用の操作スイッチ等のハードウエアを新たに追加する必要がない。

また、画像内に写る運転者の手の形状として指の本数を検出し（Ｓ１４０）、検出された指の本数が０，１，２，３である場合にそれぞれ、音声出力部５の音量を第０，第１，第２，第３段階に設定する（Ｓ１５０）。これにより運転者は、手の形状と、音声出力部５の音量の設定条件とを容易に対応付けることができる。

また、画像内に手が写っていない状態から手が写っている状態に遷移したか否かを判断し（Ｓ１２０）、画像内に手が写っていない状態から手が写っている状態に遷移した場合には（Ｓ１２０：ＹＥＳ）、手が写っている状態に遷移する直前（すなわち、画像内に手が写っていない状態）における顔向き方向に基づいて脇見正常判定範囲を設定する。すなわち、運転者が自身の腕を動かして、撮影画像の中に運転者の手が写っていない状態から、撮影画像の中に運転者の手が写っている状態に遷移させることを契機として、音声出力部５の音量と脇見正常判定範囲を設定することができる。このため、上記設定の実行を開始させるために専用の操作スイッチを設ける必要がない。

以上説明した実施形態において、カメラ３およびＳ１０の処理は本発明における撮影手段および撮影手順、Ｓ３０，Ｓ１１０の処理は本発明における方向検出手段および方向検出手順、Ｓ４０の処理は本発明における脇見判定手段および脇見判定手順、Ｓ５０の処理は本発明における脇見報知手段および脇見報知手順、Ｓ１４０の処理は本発明における手形状検出手段および手形状検出手順、Ｓ１５０，Ｓ１６０の処理は本発明における設定手段および設定手順、Ｓ４０の判断条件は本発明における脇見判定条件、音声出力部５の音量の第０，第１，第２，第３段階は本発明における報知設定条件、Ｓ１１０の処理は本発明における手検出手段、Ｓ１２０の処理は本発明における遷移判断手段である。

（第２実施形態）
以下に本発明の第２実施形態を図面とともに説明する。なお第２実施形態では、第１実施形態と異なる部分のみを説明する。

第２実施形態における脇見判定装置１は、設定処理が変更された点以外は第１実施形態と同じである。
第２実施形態の設定処理は、図８に示すように、Ｓ１５０〜Ｓ１６０の処理が省略されて、Ｓ２１０〜Ｓ２４０の処理が追加された点以外は第１実施形態と同じである。

すなわち、Ｓ１４０の処理が終了した後に、Ｓ２１０にて、Ｓ１４０で検出された指の本数が５であるか否かを判断する。なお、指の本数が５である場合には、例えば図９に示す画像がカメラ３により撮影される。

ここで、指の本数が５である場合には（Ｓ２１０：ＹＥＳ）、Ｓ２２０で、Ｓ４０の脇見判定で用いられる脇見正常判定範囲の中心位置Ｘｃを設定し、設定処理を終了する。本実施形態では、手が写っている状態に遷移する直前（すなわち、画像内に手が写っていない状態）における顔向き方向を、脇見正常判定範囲の中心位置Ｘｃとして設定する。例えば、手が写っている状態に遷移する直前の顔向き方向が５°である場合には、中心位置は５°に設定される。

一方、指の本数が５未満である場合には（Ｓ２１０：ＮＯ）、Ｓ２３０にて、Ｓ１５０と同様にして、Ｓ１４０で検出された指の本数に応じて音声出力部５の音量を設定し、設定処理を終了する。
またＳ１３０にて、顔向き方向が正面範囲外である場合には（Ｓ１３０：ＮＯ）、Ｓ２４０にて、手が写っている状態に遷移する直前（すなわち、画像内に手が写っていない状態）における顔向き方向に基づいて、Ｓ４０の脇見判定で用いられる脇見正常判定範囲を設定し、設定処理を終了する。具体的には、顔向き方向がＸ°である場合には、脇見正常判定範囲が［（−Ｘ＋２Ｘｃ）〜＋Ｘ］に設定され、顔向き方向が−Ｘ°である場合には、脇見正常判定範囲が［−Ｘ〜（＋Ｘ＋２Ｘｃ）］に設定される。例えば、顔向き方向が＋４０°であり中心位置Ｘｃが＋５°である場合には、脇見正常判定範囲が（−３０°〜＋４０°）に設定される。すなわち、左右いずれかの顔向き方向に基づき、中心位置Ｘｃを基準にして左右対称となるように脇見正常判定範囲が設定される。

このように構成された脇見判定装置１では、脇見正常判定範囲および音声出力部５の音量に加えて、脇見正常判定範囲の中心位置Ｘｃを設定することができる。これにより、左右いずれかの顔向きの方向に基づき、中心位置Ｘｃを基準にして左右対称となるようにするという方法で、脇見正常判定範囲を設定することができる。

以上説明した実施形態において、Ｓ１４０で検出された指の本数が５であることは本発明における設定開始形状である。
（第３実施形態）
以下に本発明の第３実施形態を図面とともに説明する。なお第３実施形態では、第１実施形態と異なる部分のみを説明する。

第３実施形態における脇見判定装置１は、設定処理が変更された点以外は第１実施形態と同じである。
第３実施形態の設定処理は、図１０に示すように、Ｓ１６０の処理が省略されて、Ｓ３１０〜Ｓ４１０の処理が追加された点以外は第１実施形態と同じである。

すなわち、Ｓ１３０にて、顔向き方向が正面範囲外である場合には（Ｓ１３０：ＮＯ）、Ｓ３１０にて、手が写っている状態に遷移した時点における画像データを用いて、画像認識処理（例えばパターンマッチング）を行うことにより、画像内に写る運転者の手の位置を検出する。具体的には、運転者の手が、画像内の右側に位置しているか左側に位置しているかを検出する。

そしてＳ３２０にて、Ｓ１１０で検出された顔向き方向と、Ｓ３１０で検出された運転者の手の位置とに基づいて、顔向き方向と同じ側に手が位置しているか否かを判断する。すなわち、顔向き方向が右側（左側）であるときに、運転者の手が画像内の右側（左側）に位置しているか否かを判断する。ここで、顔向き方向と同じ側に手が位置している場合には（Ｓ３２０：ＹＥＳ）、Ｓ１６０と同様にして脇見正常判定範囲を設定し、設定処理を終了する。

一方、顔向き方向と同じ側に手が位置していない場合には（Ｓ３２０：ＮＯ）、Ｓ３４０にて、継続判定タイマのインクリメントを開始する。この継続判定タイマは、例えば１０ｍｓごとにインクリメントするタイマであり、インクリメントが開始されると、その値が０からインクリメントする。また継続判定タイマは、ある時点でインクリメントが中止されると、その時点でその値が０となるように設定されている。なお、顔向き方向と同じ側に手が位置していない場合には、例えば図１１に示す画像がカメラ３により撮影される。

その後Ｓ３５０にて、Ｓ１０と同様にして、カメラ３により撮影されて画像キャプチャーボード４に記憶された画像データの中から、制御部６が取得していない画像データを画像キャプチャーボード４から取得する。さらにＳ３６０にて、Ｓ１１０と同様にして、Ｓ３５０にて新たに取得した画像データの全てについて、画像認識処理（例えばパターンマッチング）を行うことにより、画像内に写る運転者の手を検出する。

そしてＳ３７０にて、Ｓ３６０での検出結果に基づいて、画像内において運転者の手を検出したか否かを判断する。ここで、運転者の手を検出した場合には（Ｓ３７０：ＹＥＳ）、Ｓ３８０にて、Ｓ３６０の処理で運転者の手を検出した時点における画像データを用いて、画像認識処理（例えばパターンマッチング）を行うことにより、画像内に写る運転者の手の形状として、指の本数を検出する。さらにＳ３９０にて、Ｓ３８０で検出された指の本数に応じて、本数が多くなるほど時間が長くなるように、Ｓ４０の脇見警報のための脇見判定時間を設定し、設定処理を終了する。本実施形態では、３８０で検出された指の本数が０，１，２，３，４である場合にそれぞれ、脇見判定時間が１，２，３，４，５秒に設定される。

またＳ３７０にて、運転者の手を検出していない場合には（Ｓ３７０：ＮＯ）、Ｓ４００にて、継続判定タイマの値が予め設定された終了判定値（本実施形態では例えば５秒に相当する値）以上であるか否かを判断する。ここで、継続判定タイマの値が終了判定値未満である場合には（Ｓ４００：ＮＯ）、Ｓ３５０に移行して、上述の処理を繰り返す。一方、継続判定タイマの値が終了判定値以上である場合には（Ｓ４００：ＹＥＳ）、Ｓ４１０にて、継続判定タイマのインクリメントを中止し、設定処理を終了する。

このように構成された脇見判定装置１では、カメラ３により取得された撮影画像の中に運転者の手が写っている場合に、撮影画像内における手の位置を検出し（Ｓ３１０）、顔向き方向と同じ側に手が位置している場合に（Ｓ３２０：ＹＥＳ）、脇見正常判定範囲を設定し（Ｓ３３０）、顔向き方向と同じ側に手が位置していない場合に（Ｓ３２０：ＮＯ）、検出された指の本数に応じて、脇見判定時間を設定する（Ｓ３９０）。このため、脇見判定時間を設定するために専用の操作スイッチ等のハードウエアを新たに追加する必要がない。

以上説明した実施形態において、Ｓ３１０の処理は本発明における手位置検出手段、顔向き方向と同じ側に手が位置していることは本発明における第１設定開始条件、顔向き方向と同じ側に手が位置していないことは本発明における第２設定開始条件である。

（第４実施形態）
以下に本発明の第４実施形態を図面とともに説明する。なお第４実施形態では、第１実施形態と異なる部分のみを説明する。

第４実施形態における脇見判定装置１は、設定処理が変更された点以外は第１実施形態と同じである。なおカメラ３は、図１２に示すように、ステアリングセンタカバーＳＣの上部に設置されている。

そして第４実施形態の設定処理は、図１３に示すように、Ｓ１４０〜Ｓ１５０の処理が省略されて、Ｓ５１０〜Ｓ５９０の処理が追加された点以外は第１実施形態と同じである。
すなわち、Ｓ１３０にて、顔向き方向が正面範囲内である場合には（Ｓ１３０：ＹＥＳ）、Ｓ５１０にて、継続判定タイマのインクリメントを開始する。この継続判定タイマは、例えば１０ｍｓごとにインクリメントするタイマであり、インクリメントが開始されると、その値が０からインクリメントする。また継続判定タイマは、ある時点でインクリメントが中止されると、その時点でその値が０となるように設定されている。

さらにＳ５２０にて、運転者がステアリングセンタカバーＳＣを叩いた回数を計数するための指動作カウンタを初期化する。すなわち、指動作カウンタの値を０に設定する。
その後Ｓ５３０にて、Ｓ１０と同様にして、カメラ３により撮影されて画像キャプチャーボード４に記憶された画像データの中から、制御部６が取得していない画像データを画像キャプチャーボード４から取得する。さらにＳ５４０にて、Ｓ５３０にて新たに取得した画像データの全てについて、画像認識処理（例えばパターンマッチング）を行うことにより、画像内に写る運転者の手の形状を検出する。

なお、このときに運転者は、運転者がステアリングセンタカバーＳＣを人差し指で叩く動作を行う。そして上述のように、カメラ３は、ステアリングセンタカバーＳＣの上部に設置されている。このため、運転者がステアリングセンタカバーＳＣを叩く直前には、例えば図１４に示す画像がカメラ３により撮影される。なお図１４において、斜線でハッチングを施した領域が指である。すなわち、運転者の手の形状は、運転者の顔の一部を覆う面積を有する縦に細長い形状として検出される。

さらに、運転者が自身の指でステアリングセンタカバーＳＣを叩いた直後には、例えば図１５に示す画像がカメラ３により撮影される。なお図１５において、斜線でハッチングを施した領域が指である。すなわち、運転者の手の形状は、画像の下部のみに存在する形状として検出される。

その後Ｓ５５０にて、Ｓ５４０での検出結果に基づいて、ステアリングセンタカバーＳＣを人差し指で叩く直前の状態から、ステアリングセンタカバーＳＣを人差し指で叩いた直後の状態に遷移したか否かを判断する。ここで、ステアリングセンタカバーＳＣを叩いた直後の状態に遷移した場合には（Ｓ５５０：ＹＥＳ）、運転者がステアリングセンタカバーＳＣを１回叩いたと判断し、Ｓ５６０にて、指動作カウンタをインクリメント（１加算）し、Ｓ５７０に移行する。

一方、ステアリングセンタカバーＳＣを人差し指で叩いた直後の状態に遷移していない場合には（Ｓ５５０：ＮＯ）、運転者がステアリングセンタカバーＳＣを叩いていないと判断し、Ｓ５７０に移行する。

そしてＳ５７０に移行すると、継続判定タイマの値が予め設定された終了判定値（本実施形態では例えば５秒に相当する値）以上であるか否かを判断する。ここで、継続判定タイマの値が終了判定値未満である場合には（Ｓ５７０：ＮＯ）、Ｓ５３０に移行して、上述の処理を繰り返す。一方、継続判定タイマの値が終了判定値以上である場合には（Ｓ５７０：ＹＥＳ）、Ｓ５８０にて、継続判定タイマのインクリメントを中止する。

その後Ｓ５９０にて、指動作カウンタの値に応じて、値が大きくなるほど音量が大きくなるように、Ｓ４０の脇見警報の際に音声出力部５から出力される音声の音量を設定し、設定処理を終了する。本実施形態では、指動作カウンタの値が０，１，２，３である場合にそれぞれ、音声出力部５の音量が第０，第１，第２，第３段階に設定される。例えば、指動作カウンタの値が１である場合には、第１段階に設定される。

このように構成された脇見判定装置１では、運転者が車両のステアリングセンタカバーＳＣを指で叩く形状を検出し（Ｓ５４０，Ｓ５５０）、この検出結果に基づいて、運転者が車両のステアリングセンタカバーＳＣを指で叩く回数を計数し（Ｓ５６０）、計数した回数が０，１，２，３である場合にそれぞれ、音声出力部５の音量を第０，第１，第２，第３段階に設定する（Ｓ５９０）。これにより運転者は、ステアリングセンタカバーＳＣを叩く回数と、音声出力部５の音量の設定条件とを容易に対応付けることができる。

以上説明した実施形態において、Ｓ５４０，Ｓ５５０の処理は本発明における手形状検出手段、Ｓ５６０の処理は本発明における計数手段、Ｓ５９０の処理は本発明における設定手段である。
（第５実施形態）
以下に本発明の第５実施形態を図面とともに説明する。なお第５実施形態では、第１実施形態と異なる部分のみを説明する。

第５実施形態における脇見判定装置１は、設定処理が変更された点以外は第１実施形態と同じである。
第５実施形態の設定処理は、図１６に示すように、Ｓ１３０の処理が省略されて、Ｓ７１０〜Ｓ７８０の処理が追加された点以外は第１実施形態と同じである。

すなわち、画像内に手が写っていない状態から手が写っている状態に遷移した場合には（Ｓ１２０：ＹＥＳ）、Ｓ７１０にて、設定モードに入ったことを示す音声を音声出力部５に出力させ、その後Ｓ７２０にて、継続判定タイマのインクリメントを開始する。この継続判定タイマは、例えば１０ｍｓごとにインクリメントするタイマであり、インクリメントが開始されると、その値が０からインクリメントする。また継続判定タイマは、ある時点でインクリメントが中止されると、その時点でその値が０となるように設定されている。

そしてＳ７３０にて、Ｓ１０と同様にして、カメラ３により撮影されて画像キャプチャーボード４に記憶された画像データの中から、制御部６が取得していない画像データを画像キャプチャーボード４から取得する。さらにＳ７４０にて、Ｓ７３０にて新たに取得した画像データの全てについて、Ｓ１１０と同様にして、画像認識処理（例えばパターンマッチング）を行うことにより、画像内に写る運転者の顔向き方向と、画像内に写る運転者の手を検出する。

その後Ｓ７５０にて、Ｓ７４０での検出結果に基づいて、画像内において運転者の手を検出したか否かを判断する。ここで、運転者の手を検出した場合には（Ｓ７５０：ＹＥＳ）、Ｓ７６０にて、Ｓ１１０とＳ７４０での検出結果に基づいて、画像内に手が写っていない状態から手が写っている状態に遷移する直前（すなわち、画像内に手が写っていない状態）における顔向き方向が、予め設定された正面範囲内（本実施形態では、例えば−２０°〜＋２０°）であるか否かを判断する。

ここで、顔向き方向が正面範囲内である場合には（Ｓ７６０：ＹＥＳ）、Ｓ１４０に移行する。一方、顔向き方向が正面範囲外である場合には（Ｓ７６０：ＮＯ）、Ｓ１６０に移行する。
またＳ７５０にて、運転者の手を検出していない場合には（Ｓ７５０：ＮＯ）、Ｓ７７０にて、継続判定タイマの値が予め設定された終了判定値（本実施形態では例えば５秒に相当する値）以上であるか否かを判断する。ここで、継続判定タイマの値が終了判定値未満である場合には（Ｓ７７０：ＮＯ）、Ｓ７３０に移行して、上述の処理を繰り返す。一方、継続判定タイマの値が終了判定値以上である場合には（Ｓ７７０：ＹＥＳ）、Ｓ７８０にて、継続判定タイマのインクリメントを中止し、設定処理を終了する。

このように構成された脇見判定装置１では、画像内に手が写っていない状態から手が写っている状態に遷移したか否かを判断し（Ｓ１２０）、画像内に手が写っていない状態から手が写っている状態に遷移した場合には（Ｓ１２０：ＹＥＳ）、手が写っている状態に遷移した後に検出された顔向き方向に基づいて脇見正常判定範囲を設定する。すなわち、運転者が自身の腕を動かして、撮影画像の中に運転者の手が写っていない状態から、撮影画像の中に運転者の手が写っている状態に遷移させることを契機として、音声出力部５の音量と脇見正常判定範囲を設定することができる。このため、上記設定の実行を開始させるために専用の操作スイッチを設ける必要がない。

また、画像内に手が写っていない状態から手が写っている状態に遷移した場合に、設定モードに入ったことを示す音声を出力する（Ｓ７１０）ことにより、運転者は、自身の腕を動かすことにより脇見正常判定範囲を設定可能な状況になったことを認識した上で、顔向きを、脇見正常判定範囲に対応する方向に向けるという手順で、確実に脇見正常判定範囲を設定することができる。

また、運転者が自身の腕を動かすことにより脇見正常判定範囲を設定可能な状況になった後であっても、その後、手が検出されない状態が、終了判定値に相当する時間継続すると（Ｓ７５０：ＮＯ，Ｓ７７０：ＹＥＳ）、設定処理が自動的に終了する。このため、運転者が誤って自身の腕を動かすことにより、脇見正常判定範囲を設定可能な状況になってしまった場合であっても、その後、自身の手がカメラ３により撮影されなければ、脇見正常判定範囲を設定できない状況に戻すことができる。これにより、運転者の意思に反して、設定が変更されてしまうという状況の発生を抑制することができる。

以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
例えば上記実施形態においては、運転者の顔向き方向に基づいて脇見判定を行うものを示したが、運転者の眼を撮影することにより運転者の視線方向を検出し、この視線方向に基づいて脇見判定を行うようにしてもよい。

また上記実施形態においては、左右いずれかの顔向き方向に基づき、脇見正常判定範囲を設定するものを示したが、例えば図１７に示すようにして、左右両方の顔向き方向に基づき、脇見正常判定範囲を設定するようにしてもよい。

図１７に示す設定処理は、Ｓ１６０の処理が省略されて、Ｓ８１０〜Ｓ８３０の処理が追加された点以外は第１実施形態と同じである。
すなわち、Ｓ１３０にて、手が写っている状態に遷移する直前の顔向き方向が正面範囲外である場合には（Ｓ１３０：ＮＯ）、Ｓ８１０にて、手が写っている状態に遷移する直前の顔向き方向が左向きであるか否かを判断する。ここで、左向きである場合には（Ｓ８１０：ＹＥＳ）、Ｓ８２０にて、脇見正常判定範囲におけるマイナス側の境界を、直前の顔向き方向に設定して、設定処理を一旦終了する。一方、右向きである場合には（Ｓ８１０：ＮＯ）、Ｓ８３０にて、脇見正常判定範囲におけるプラス側の境界を、直前の顔向き方向に設定して、設定処理を一旦終了する。

これにより、脇見正常判定範囲におけるプラス側の境界とマイナス側の境界を、例えば（−２５°〜＋４０°）というように別々に設定することができる。
また上記第４実施形態において、ステアリングセンタカバーＳＣを人差し指で叩くものを示したが、人差し指以外の指で叩くようにしてもよい。また、指で叩く度に、叩いた回数に応じて、設定される音量を示す音声を出力するようにしてもよい。

１…脇見判定装置、２…ＩＲ−ＬＥＤ、３…カメラ、４…画像キャプチャーボード、５…音声出力部、６…制御部、７…車速センサ

Claims (8)

1. 判定対象者の顔を連続して撮影して、撮影画像を取得する撮影手段と、
   前記撮影手段により取得された撮影画像を用いて、前記判定対象者の顔向き又は視線の方向を検出する方向検出手段と、
   前記方向検出手段により検出された顔向き又は視線の方向に基づいて、予め設定された脇見判定条件が成立するか否かを判定し、前記脇見判定条件が成立すると判定した場合に、前記判定対象者が脇見をしていると判断する脇見判定手段と、
   前記判定対象者が脇見をしていると前記脇見判定手段により判定された場合に、その旨を、予め設定された報知設定条件に従って報知する脇見報知手段と、
   前記撮影手段により取得された前記撮影画像の中に前記判定対象者の手が写っている場合に、前記撮影手段により取得された撮影画像を用いて、前記判定対象者の手の形状を検出する手形状検出手段と、
   前記方向検出手段による検出結果と、前記手形状検出手段による検出結果とに基づいて、前記脇見判定条件および前記報知設定条件の少なくとも一方を設定する設定手段と、
   前記撮影手段により取得された前記撮影画像の中に前記判定対象者の手が写っている場合に、前記撮影画像内における前記手の位置を検出する手位置検出手段を備え、
   前記脇見判定条件は、
   前記判定対象者の顔向き又は視線の方向が、前記脇見ではないことを示す角度範囲である脇見正常判定範囲から外れている状態が、予め設定された脇見判定時間継続することであり、
   前記設定手段は、
   前記方向検出手段による検出結果と、前記手位置検出手段による検出結果とに基づいて、前記判定対象者の顔向き又は視線の方向と、前記撮影画像内における前記手の位置との関係が予め設定された第１設定開始条件を満たす場合に、前記方向検出手段により検出された顔向き又は視線の方向を、前記脇見正常判定範囲における境界となる角度であると決定することにより、前記脇見正常判定範囲を設定し、
   前記判定対象者の顔向き又は視線の方向と、前記撮影画像内における前記手の位置との関係が前記第１設定開始条件と異なるように予め設定された第２設定開始条件を満たす場合に、前記手形状検出手段による検出結果に基づいて前記脇見判定時間を設定する
   ことを特徴とする脇見判定装置。
2. 判定対象者の顔を連続して撮影して、撮影画像を取得する撮影手段と、
   前記撮影手段により取得された撮影画像を用いて、前記判定対象者の顔向き又は視線の方向を検出する方向検出手段と、
   前記方向検出手段により検出された顔向き又は視線の方向に基づいて、予め設定された脇見判定条件が成立するか否かを判定し、前記脇見判定条件が成立すると判定した場合に、前記判定対象者が脇見をしていると判断する脇見判定手段と、
   前記判定対象者が脇見をしていると前記脇見判定手段により判定された場合に、その旨を、予め設定された報知設定条件に従って報知する脇見報知手段と、
   前記撮影手段により取得された前記撮影画像の中に前記判定対象者の手が写っている場合に、前記撮影手段により取得された撮影画像を用いて、前記判定対象者の手の形状を検出する手形状検出手段と、
   前記方向検出手段による検出結果と、前記手形状検出手段による検出結果とに基づいて、前記脇見判定条件および前記報知設定条件の少なくとも一方を設定する設定手段とを備え、
   前記脇見判定条件は、
   前記判定対象者の顔向き又は視線の方向が、前記脇見ではないことを示す角度範囲である脇見正常判定範囲から外れていることであり、
   前記設定手段は、
   前記方向検出手段により検出された顔向き又は視線の方向が前記正面範囲外である場合には、前記方向検出手段により検出された顔向き又は視線の方向を、前記脇見正常判定範囲における境界となる角度であると決定することにより、前記脇見正常判定範囲を設定し、
   前記方向検出手段により検出された顔向き又は視線の方向が、前記判定対象者が正面を向いていることを示す角度範囲として予め設定された正面範囲内である場合において、
   前記手形状検出手段により検出された手の形状が予め設定された設定開始形状であるときには、前記方向検出手段により検出された顔向き又は視線の方向に基づいて、前記脇見正常判定範囲の中心位置を設定し、
   前記手形状検出手段により検出された手の形状が前記設定開始形状でない時には、前記手形状検出手段による検出結果に基づいて前記報知設定条件を設定する
   ことを特徴とする脇見判定装置。
3. 判定対象者の顔を連続して撮影して、撮影画像を取得する撮影手段と、
   前記撮影手段により取得された撮影画像を用いて、前記判定対象者の顔向き又は視線の方向を検出する方向検出手段と、
   前記方向検出手段により検出された顔向き又は視線の方向に基づいて、予め設定された脇見判定条件が成立するか否かを判定し、前記脇見判定条件が成立すると判定した場合に、前記判定対象者が脇見をしていると判断する脇見判定手段と、
   前記判定対象者が脇見をしていると前記脇見判定手段により判定された場合に、その旨を、予め設定された報知設定条件に従って報知する脇見報知手段と、
   前記撮影手段により取得された前記撮影画像の中に前記判定対象者の手が写っている場合に、前記撮影手段により取得された撮影画像を用いて、前記判定対象者の手の形状を検出する手形状検出手段と、
   前記方向検出手段による検出結果と、前記手形状検出手段による検出結果とに基づいて、前記脇見判定条件および前記報知設定条件の少なくとも一方を設定する設定手段とを備え、
   当該脇見判定装置は、車両に搭載され、
   前記撮影手段は、前記車両の運転者の顔と、前記運転者が前記車両のステアリングを指で叩く動作とを同時に撮影可能に構成され、
   前記手形状検出手段は、前記手の形状として、前記運転者が前記車両のステアリングを指で叩く形状を検出し、
   前記手形状検出手段による検出結果に基づいて、前記運転者が前記車両のステアリングを指で叩く回数を計数する計数手段を備え、
   前記設定手段は、前記計数手段が計数した回数に基づいて、前記報知設定条件を設定する
   ことを特徴とする脇見判定装置。
4. 判定対象者の顔を連続して撮影して、撮影画像を取得する撮影手段と、
   前記撮影手段により取得された撮影画像を用いて、前記判定対象者の顔向き又は視線の方向を検出する方向検出手段と、
   前記方向検出手段により検出された顔向き又は視線の方向に基づいて、予め設定された脇見判定条件が成立するか否かを判定し、前記脇見判定条件が成立すると判定した場合に、前記判定対象者が脇見をしていると判断する脇見判定手段と、
   前記判定対象者が脇見をしていると前記脇見判定手段により判定された場合に、その旨を、予め設定された報知設定条件に従って報知する脇見報知手段と、
   前記撮影手段により取得された前記撮影画像の中に前記判定対象者の手が写っている場合に、前記撮影手段により取得された撮影画像を用いて、前記判定対象者の手の形状を検出する手形状検出手段と、
   前記方向検出手段による検出結果と、前記手形状検出手段による検出結果とに基づいて、前記脇見判定条件および前記報知設定条件の少なくとも一方を設定する設定手段と、
   前記撮影手段により取得された前記撮影画像の中に前記判定対象者の手が写っているか否かを判断する手検出手段と、
   前記手検出手段による検出結果に基づいて、前記撮影画像の中に前記判定対象者の手が写っていない第１状態から、前記撮影画像の中に前記判定対象者の手が写っている第２状態に遷移したか否かを判断する遷移判断手段とを備え、
   前記設定手段は、
   前記第１状態から前記第２状態に遷移したと前記遷移判断手段が判断した場合に、前記第１状態から前記第２状態に遷移したと前記遷移判断手段が判断した直前に前記方向検出手段により検出された顔向き又は視線の方向に基づいて、前記脇見判定条件を設定する
   ことを特徴とする脇見判定装置。
5. 判定対象者の顔を連続して撮影して、撮影画像を取得する撮影手段と、
   前記撮影手段により取得された撮影画像を用いて、前記判定対象者の顔向き又は視線の方向を検出する方向検出手段と、
   前記方向検出手段により検出された顔向き又は視線の方向に基づいて、予め設定された脇見判定条件が成立するか否かを判定し、前記脇見判定条件が成立すると判定した場合に、前記判定対象者が脇見をしていると判断する脇見判定手段と、
   前記判定対象者が脇見をしていると前記脇見判定手段により判定された場合に、その旨を、予め設定された報知設定条件に従って報知する脇見報知手段と、
   前記撮影手段により取得された前記撮影画像の中に前記判定対象者の手が写っている場合に、前記撮影手段により取得された撮影画像を用いて、前記判定対象者の手の形状を検出する手形状検出手段と、
   前記方向検出手段による検出結果と、前記手形状検出手段による検出結果とに基づいて、前記脇見判定条件および前記報知設定条件の少なくとも一方を設定する設定手段と、
   前記撮影手段により取得された前記撮影画像の中に前記判定対象者の手が写っているか否かを判断する手検出手段と、
   前記手検出手段による検出結果に基づいて、前記撮影画像の中に前記判定対象者の手が写っていない第１状態から、前記撮影画像の中に前記判定対象者の手が写っている第２状態に遷移したか否かを判断する遷移判断手段とを備え、
   前記設定手段は、
   前記第１状態から前記第２状態に遷移したと前記遷移判断手段が判断した場合に、前記第１状態から前記第２状態に遷移したと前記遷移判断手段が判断した後に前記方向検出手段により検出された顔向き又は視線の方向に基づいて、前記脇見判定条件を設定する
   ことを特徴とする脇見判定装置。
6. 前記脇見判定条件は、
   前記判定対象者の顔向き又は視線の方向が、前記脇見ではないことを示す角度範囲である脇見正常判定範囲から外れていることであり、
   前記設定手段は、
   前記方向検出手段により検出された顔向き又は視線の方向を、前記脇見正常判定範囲における境界となる角度であると決定することにより、前記脇見正常判定範囲を設定する
   ことを特徴とする請求項３〜請求項５の何れか１項に記載の脇見判定装置。
7. 前記設定手段は、
   前記方向検出手段により検出された顔向き又は視線の方向が、前記判定対象者が正面を向いていることを示す角度範囲として予め設定された正面範囲内である場合には、前記手形状検出手段による検出結果に基づいて前記報知設定条件を設定し、
   前記方向検出手段により検出された顔向き又は視線の方向が前記正面範囲外である場合には、前記方向検出手段により検出された顔向き又は視線の方向に基づいて前記脇見正常判定範囲を設定する
   ことを特徴とする請求項６に記載の脇見判定装置。
8. 前記手形状検出手段は、前記手の形状として、指の本数を検出する
   ことを特徴とする請求項１〜請求項７の何れか１項に記載の脇見判定装置。

Images