JP4420081B2 - 行動推定装置 - Google Patents

Description

本発明は、画像に写り込んだ人物の行動を推定する行動推定装置に関する。

従来より、車両に搭載され、運転者を含む画像を撮影する撮影装置と、撮影装置で撮影された画像（以下、撮影画像とする）に基づき、運転者が携帯電話を使用中である（以下、特定行動とする）か否かを判定する画像処理装置とを備えた行動推定装置が知られている（特許文献１参照）。

この特許文献１に記載の行動推定装置では、撮影画像中の顔面の周辺に予め規定された規定領域内に、撮影画像中の手が予め設定された設定時間以上位置し続ける場合に、運転者が特定行動をとっているものと判定している。

つまり、運転者が特定行動をとっているか否かは、特定行動をとった時の手の位置に運転者の手が位置しているか否かのみで判定される。
特開２００５−２０５９４３号公報

したがって、特許文献１に記載の行動推定装置では、特定行動がとられた後に検出しているに過ぎず、例えば、車両を運転中の運転者が特定行動をとった時に警告を発する等、車両を安全に走行させるための処理を、特定行動がとられる前に前もって実行することができなかった。

そこで、本発明は、特定行動をとろうとしていることを、前もって検出することが可能な行動推定装置を提供することを目的とする。

上記目的を達成するためになされた本発明の行動推定装置は、撮影画像取得手段が、人物が撮影された撮影画像を、その撮影画像が撮影される毎に取得すると共に、人物の身体上に予め設定されたポイントを特徴点として、特徴点検出手段が、撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ人物の特徴点である検出特徴点を検出する。

そして、特定行動をとった人物の特徴点が位置する地点を帰着点とし、その帰着点毎に少なくとも１つ設定され、かつ該帰着点を原点とした座標系にて表され、特定行動をとろうとする人物の特徴点が通過する範囲を通過領域とし、その通過領域毎に予め規定され、かつその特定行動をとろうとする人物の特徴点が該通過領域内を通過する時に移動する方向である行動方向として、モデル格納手段は、特定行動の内容毎に、帰着点、通過領域、及び行動方向が設定された行動推定モデルを少なくとも１つ格納しており、モデル抽出手段が、モデル格納手段に格納された行動推定モデルの中から、帰着点それぞれを原点とした座標系における検出特徴点の位置である相対特徴点が通過領域内に位置し、かつ検出特徴点の移動方向と、行動方向とのなす角度が、予め規定された範囲内である前記行動推定モデルを抽出すると共に、行動推定手段が、モデル抽出手段にて、予め規定された規定回数以上連続して同一の行動推定モデルが抽出されると、その抽出された行動推定モデルに対応する特定行動を、撮影画像に写り込んだ人物がとろうとしている行動として推定する。

このように構成された行動推定装置によれば、撮影画像に写り込んだ人物が、特徴点が帰着点に帰着する特定行動をとろうとしているか否かを、特徴点が帰着点に位置する前の通過領域内に位置している段階で、即ち、その特定行動をとる前の準備動作の時点で前もって判定することができる。

また、本発明の行動推定装置における行動推定手段は、モデル抽出手段にて、複数の行動推定モデルが抽出された場合、請求項２に記載のように、検出特徴点が帰着点により近いものを、モデル抽出手段で抽出された行動推定モデルとするように構成されていても良いし、請求項３に記載のように、検出特徴点の移動方向と行動方向との適合率が高いものを、モデル抽出手段で抽出された行動推定モデルとするように構成されていても良い。

特に、後者のように構成された行動推定装置によれば、適合率がより高い行動推定モデルを抽出しているため、撮影画像に写り込んだ人物がとろうとしている特定行動の推定精度を向上、即ち、推定される特定行動をより確からしいものとすることができる。

なお、ここで言う適合率が高いとは、検出特徴点の移動方向が、より行動方向に沿ったものである状態を示す。
さらに、行動推定モデルには、特定行動をとったとみなせる人物の特徴点が位置する領域が帰着領域として設定されており、本発明の行動推定装置は、特定モデル抽出手段が、モデル格納手段に格納された行動推定モデルの中から、特徴点検出手段で検出された特徴点が帰着点、もしくは帰着領域に位置している行動推定モデルを抽出して、行動認定手段が、特定モデル抽出手段で抽出された行動推定モデルに対応する特定行動を撮影画像に写り込んだ人物がとったものと認定するように構成されていることが望ましい。

このように構成された行動推定装置によれば、仮に、準備動作の時には、特定行動をとろうとしていないものと推定し、その推定結果が誤っていたとしても、検出特徴点が帰着点に位置した時には、速やかに、推定結果を正しいものへと訂正することができる。

以下に本発明の実施形態を図面と共に説明する。
図１は、本発明が適用され、車両に搭載された行動推定装置の概略構成を示したブロック図である。なお、以下では、行動推定装置１が搭載された車両を搭載車両と称す。
〈全体構成〉
行動推定装置１は、搭載車両の乗員を撮影する撮影装置１５と、周知の経路案内等を行うことに加えて、警報を発するナビゲーション装置２１と、運転席のシートベルトを巻き取るシートベルト巻上装置２２と、ブレーキの制動力を制御するブレーキ制御装置２３と、パワートレイン機構が出力する駆動力を制御するパワートレイン制御装置２４と、撮影装置１５で撮影された画像（以下、撮影画像とする）を画像処理することにより、搭載車両の乗員の行動を推定し、その推定結果に従って、ナビゲーション装置２１や、ブレーキ装置２３等を制御する画像処理プロセッサ１０とを備えている。

撮影装置１５は、車室内へとレンズを向けた上で、搭載車両の天板（または、フロントガラス）に突設されたルームミラーの付け根付近に配置された周知のデジタルカメラであり、撮影画像を画像処理プロセッサ１０に順次出力するように構成されている。なお、撮影装置１５にて撮影される画像は、図２に示すように、運転席に着座している運転者の上半身（即ち、運転者の頭部、両腕、両手、及び胴体等）が少なくとも収められたものとなるようにされている。

ナビゲーション装置２１は、音声を出力するスピーカと、画像を表示するモニタと、画像処理プロセッサ１０からの制御指令に従って、スピーカ、及びモニタを制御する制御装置とを少なくとも備えており、制御装置が周知の現在位置表示処理、経路設定処理、経路案内処理などを実行するように構成されている。

また、シートベルト巻上装置２２は、画像処理プロセッサ１０からの制御指令に従って、運転席側のシートベルトを巻き取り、シートベルトの拘束力を増加させるように構成されている。

さらに、ブレーキ制御装置２３は、画像処理プロセッサ１０からの制御指令に従って、ブレーキ油圧回路に備えられた増圧制御弁・減圧制御弁を開閉するブレーキアクチュエータを制御するように構成されている。

そして、パワートレイン制御装置２４は、画像処理プロセッサ１０からの制御指令に従って、内燃機関のスロットル開度を調整するスロットルアクチュエータや、トランスミッションの出力トルクを調整するトランスミッション制御装置を制御するように構成されている。

〈画像処理プロセッサについて〉
次に、画像処理プロセッサについて説明する。
画像処理プロセッサ１０は、処理プログラム等を格納するＲＯＭ１０ａと、データを一時的に格納するＲＡＭ１０ｂと、ＲＯＭ１０ａまたはＲＡＭ１０ｂに格納された処理プログラムに従って各種処理を実行するＣＰＵ１０ｃとを少なくとも有した周知のマイクロコンピュータを中心に構成されている。

そして、ＲＯＭ１０ａには、撮影装置１５で撮影された撮影画像を順次画像処理することにより、運転者が予め規定された特定行動をとろうとしているか否かを判定し、その判定の結果、運転者が特定行動をとろうとしている場合、ナビゲーション装置２１に制御指令を出力する行動推定処理を実行するための処理プログラムが格納されている。

さらに、ＲＯＭ１０ａには、行動推定処理を実行するときに参照される特徴点リストと、行動推定モデル群とが格納されている。
その特徴点リストは、撮影画像に写り込んだ運転者から、予め人物の身体上に設定された特徴点を検出するためのものであり、人体の腕部に設定された特徴点を検出するための腕部リストと、人体の頭部（より正確には顔面）に設定された特徴点を検出するための頭部リストとを少なくとも備えている。

そして、腕部リストには、図３に示すように、人体の右肩（図中、ｄ１），左肩（ｄ４），右ひじ（ｄ２），左ひじ（ｄ５），右手首（ｄ３），左手首（ｄ６）が特徴点として少なくとも設定されている。

さらに、頭部リストには、図４（Ａ）に示すように、顔面の鼻（ｆ１）を検出し、その鼻を中心とした顔面領域を抽出するための顔面検出テンプレートと、図４（Ｂ）に示すように、顔面の右目頭（図中，ｆｒ３），左目頭（ｆｌ３），右目尻（ｆｒ２），左目尻（ｆｌ２），右口角（ｆｒ４），左口角（ｆｌ４），右耳珠点（ｆｒ５），左耳珠点（ｆｌ５）が特徴点として少なくとも設定された顔面特徴点検出テンプレートとが含まれている。
〈行動推定モデルについて〉
また、行動推定モデル群は、撮影画像から検出された特徴点（以下、検出特徴点とする）の移動に従って、人物が予め規定された特定行動をとろうとしているのか否かを判定するために、検出対象とする特定行動毎に予め設定された複数の行動推定モデルからなる。

そして、各行動推定モデルには、その特定行動をとろうとする人物の特徴点が収束する（即ち、特定行動をとった人物の特徴点が帰着する）地点である帰着点と、特定行動をとったとみなせる人物の特徴点が位置する領域である帰着領域と、その特定行動をとろうとする人物の特徴点が通過する領域である通過領域と、その特定行動をとろうとする人物の特徴点が通過領域内を通過する時の移動方向の範囲である行動方向許容範囲とが設定されている。

ただし、本実施形態における帰着領域、通過領域は、帰着点を原点とした、相対座標系によって表されている。また、一つの行動推定モデルに設定される通過領域は、一つであっても良いし、帰着点からの距離に応じて複数設定されていても良い（ただし、通過領域が複数設定されていれば、行動方向許容範囲も複数設定されている必要がある）。

なお、本実施形態では、具体的に、検出対象とする特定行動として、図８に示すように、右手（もしくは左手）で右耳（もしくは左耳）に物（例えば、携帯電話等）をあてがう行動（以下、電話使用行動とする）、右手（もしくは左手）で口に物（例えば、煙草）をあてがう行動（以下、喫煙行動とする）が規定されている。さらに、この他にも、右手（もしくは左手）で左肩（もしくは右肩）をマッサージする行動、右手（もしくは左手）で右上腕（もしくは左上腕）をマッサージする行動、右手（もしくは左手）で右前腕（もしくは左前腕）をマッサージする行動（以下、マッサージ行動とする）が規定されている。

このため、特定行動が電話使用行動であれば、右（もしくは左）耳珠点が、特定行動が喫煙行動であれば、左右の口角の中点が、特定行動がマッサージ行動であれば、左右いずれかの肩と肘との中点（もしくは肘と手首との中点）が、帰着点として設定されている。

そして、本実施形態では、各行動推定モデルの帰着領域、通過領域を設定するために、以下の手順が踏まれる。
まず、複数（例えば、統計学上信頼できる数が望ましい）の被験者（以下、被験者らとする）に、特定行動をとらせ、被験者らが特定行動をとった状態を撮影画像に収める。そして、全ての撮影画像からそれらの撮影画像に写り込んだ被験者の特徴点を検出し、各特徴点が分布する平均の範囲をそれぞれの特徴点の帰着領域として設定する。

次に、被験者らに特定行動をとる前から特定行動をとった状態までの動作を実施させ、その動作の様子を連続的に撮影画像に収める。そして、全ての撮影画像からそれらの撮影画像に写り込んだ被験者の特徴点を検出し、各特徴点が帰着点に向かって移動しているものとみなせる（即ち、設計者が認定する）範囲をそれぞれの特徴点の通過領域として設定する。

さらに、通過領域内を移動する特徴点の方向の平均値を行動方向として設定する。同時に、行動方向からのバラつき範囲を行動方向許容範囲として設定する。
つまり、画像処理プロセッサ１０は、撮影画像に基づく検出特徴点と、各行動推定モデルとを比較することで行動推定処理を実行可能に構成されている。
〈行動推定処理について〉
次に、画像処理プロセッサ１０が実行する行動推定処理について説明する。

ここで、図５は、行動推定処理の処理手順を示したフローチャートである。
この行動推定処理は、画像処理プロセッサ１０が起動されると、実行されるものであり、行動推定処理が実行されると、まず、Ｓ１１０では、撮影装置１５で撮影した撮影画像を取得する。続く、Ｓ１２０では、Ｓ１１０で取得した撮影画像に特徴点リストを照合することで、撮影画像に写り込んだ運転者の全ての特徴点を抽出する。

なお、この特徴点を抽出する処理については、腕部リストに設定された特徴点を抽出するのであれば、例えば、特開２００３−１０９０１５号に、頭部リストに設定された特徴点を抽出するのであれば、例えば、特開平０９−２７００１０号に記載のように周知の技術であるため、ここでの詳しい説明は省略する。

さらに、Ｓ１３０では、Ｓ１２０にて抽出した特徴点と、ＲＯＭ１０ｂに格納された行動推定モデルとを比較し、運転者が特定行動をとろうとしているか否かを判定するモデル照合処理を実行する。

続く、Ｓ１４０では、Ｓ１３０のモデル照合処理での判定結果が確かなものであるか否かを確認する行動認定処理を実行する。つまり、この行動認定処理では、モデル照合処理で判定され、運転者がとろうとしている特定行動が確からしいか否かを判定する。

そして、Ｓ１５０では、Ｓ１４０における行動認定処理で判定の結果、運転者がとろうとしている特定行動が確からしいものであることが確認された場合、Ｓ１６０へと進む。具体的に、本実施形態のＳ１５０では、後述する確定行動フラグがハイレベルであれば、特定行動が確からしいものであるものとする。

そのＳ１６０では、運転者に対し警報を発する警報処理を実行して、その後、Ｓ１１０へと戻る。
本実施形態の警報処理では、具体的に、ナビゲーション装置２１に制御指令を出力し、制御指令を受信したナビゲーション装置２１では、モニタに警告を表示すると共に、スピーカーを鳴動させ、警告音を出力する。これにより、車両の運転中に特定行動をとろうとすることが危険である旨が報知される。

一方、先のＳ１５０にて、運転者がとろうとしている特定行動が確からしくないものと判定されたことが確認された場合、Ｓ１１０へと戻る。
〈モデル照合処理について〉
次に、行動推定処理のＳ１３０にて実行されるモデル照合処理について説明する。

ここで、図６は、モデル照合処理の処理手順を示したフローチャートである。
この図６に示すように、モデル照合処理は、行動推定処理のＳ１３０で起動されると、まず、Ｓ２１０では、ＲＯＭ１０ａに格納されている行動推定モデル群から一つの行動推定モデルを読み出す。

続く、Ｓ２２０では、先の行動推定処理で検出した特徴点を、Ｓ２１０で読み出した行動推定モデル中の帰着点を原点とした相対座標系上の座標に変換する（以下では、変換後の特徴点を相対特徴点とする）。

具体的に、本実施形態では、行動推定モデルに設定された特定行動が電話使用行動であれば、手首の座標から耳珠点の座標を減じることにより、特定行動が喫煙行動であれば、手首の座標から左右の口角の中点を減じることにより相対特徴点が求められる。さらに、特定行動がマッサージ行動であれば、手首の座標から肩と肘との中点（もしくは肘と手首との中点）を減じることにより相対特徴点が求められる。

さらに、Ｓ２３０では、先の行動推定処理で検出した特徴点と、Ｓ２１０で読み出した行動推定モデル中の帰着点との距離を算出する。つまり、相対特徴点と原点との間の距離（以下、判定距離とする）を求める。

なお、Ｓ２２０で求められた相対特徴点の座標、及びＳ２３０で求められた判定距離は、それらを算出するために適用された行動推定モデルと対応付けられた上で、最新のものから予め規定された規定数（例えば、２０）だけＲＡＭ１０ｂに格納される。

そして、Ｓ２４０では、ＲＯＭ１０ａに格納されている全ての行動推定モデルを適用して、Ｓ２１０からＳ２３０までの処理を実行したか否か、即ち他に行動推定モデルがあるか否かを判定する。そして、判定の結果、全ての行動推定モデルを適用して処理を実行していないものと判定された場合、Ｓ２１０へと戻り、未だ適用されていない行動推定モデルを読み出し、その後Ｓ２２０，Ｓ２３０の処理を実行する。

一方、Ｓ２２０での判定の結果、全ての行動推定モデルを適用して処理を実行したものと判定された場合、Ｓ２５０へと進む。
そのＳ２５０では、Ｓ２３０で求められた判定距離が、最も短い行動推定モデルに対応付けられた相対特徴点の座標を読み出す。ただし、今回のモデル照合処理でＳ２５０へと二回目以降に進んだ場合には、それまでに読み出されていないものの中から、判定距離が最も短い行動推定モデルに対応付けられた相対特徴点の座標を読み出す。

続く、Ｓ２６０では、Ｓ２５０で読み出した相対特徴点に対応する行動推定モデル中の帰着領域、及び通過領域を読み出す。その後、Ｓ２７０では、Ｓ２５０で読み出した相対特徴点と、Ｓ２６０で読み出した帰着領域、及び通過領域との位置関係を認識する。即ち、Ｓ２７０では、Ｓ２５０で読み出した相対特徴点を、Ｓ２６０で読み出した帰着領域、及び通過領域を含むマップに反映させる。

さらに、Ｓ２８０では、Ｓ２７０で認識した位置関係から、相対特徴点が、帰着領域内、通過領域内、または両範囲外に位置しているか否かを判定する。そして、Ｓ２８０の判定の結果、相対特徴点が通過領域内に位置するものと判定された場合には、Ｓ２９０へと進む。

そのＳ２９０では、特徴点が移動する方向（以下、移動方向）と、特定行動をとろうとする人物の特徴点が通過領域内を通過する時に移動する方向（ここでは、特徴点から帰着点へと向かう方向とする、以下、行動方向とする）とがなす角度（以下、行動角度θとする）を求める。

具体的に、本実施形態では、今回取得された撮影画像に対する処理（以下、今サイクルとする）で検出された相対特徴点から、帰着点（即ち、原点）へと向かうベクトル（以下、目標ベクトルＭとする）を行動方向として求める。そして、今サイクルで検出された相対特徴点と、前回取得された撮影画像に対する処理（以下、前サイクルとする）にて検出された相対特徴点とに従って、１サイクルの間に相対特徴点が移動した方向、及び距離（即ち、ベクトル、以下、移動ベクトルＮとする）を求める。

さらに、それらの求められた目標ベクトルＭ、及び移動ベクトルＮに基づき、行動角度θを算出する。なお、行動角度θは、目標ベクトルＭ、移動ベクトルＮを、ｃｏｓ^-1｛（Ｍ・Ｎ）／（‖Ｍ‖‖Ｎ‖）｝に代入することで求められる。ただし、（Ｍ・Ｎ）は、目標ベクトルＭ、移動ベクトルＮの内積であり、‖Ｍ‖，‖Ｎ‖は、それぞれ目標ベクトルＭ、移動ベクトルＮの長さ（即ち、スカラー）である。

続くＳ３００では、Ｓ２９０で求められた行動角度θが、予め規定された行動方向許容範囲内であるか否かを判定する。なお、本実施形態では、具体的に、行動方向許容範囲の下限値としてマイナス５度（θｍｉｎ）が、上限値としてプラス５度（θｍａｘ）が、即ち、行動方向許容範囲として０度を中心にプラスマイナス５度の範囲が設定されている。

そして、Ｓ３００での判定の結果、行動角度θが行動方向許容範囲内であるものと判定された場合、Ｓ３１０へと進む。つまり、本実施形態では、行動角度θが０度に近いほど、特徴点が帰着点に向かって真っ直ぐ移動していることを示しており、特定行動をとろうとしている可能性が高いものと推定する。

また、Ｓ２８０での判定の結果、相対特徴点が帰着領域内に位置するものと判定された場合にも、Ｓ３１０へと進む。
そのＳ３１０では、今回サイクルのＳ２５０で読み出された相対特徴点に対応する行動推定モデルに規定された特定行動を運転者がとろうとしている（もしくは、とった）ことを示すように、特定行動フラグをハイレベルにする。ただし、特定行動フラグは、行動推定モデル（即ち、特定行動）毎に予め用意されている。

つまり、Ｓ３１０では、運転者がとろうとしている（もしくは、とった）特定行動を、Ｓ３１０以降の処理（即ち、行動認定処理）にて識別可能なようにする。
そして、その後、今サイクルでのモデル照合処理を終了して、行動推定処理のＳ１４０（即ち、行動認定処理）へと進む。

一方、Ｓ３００での判定の結果、行動角度θが行動方向許容範囲外であるものと判定された場合や、Ｓ２８０での判定の結果、相対特徴点が帰着領域外及び通過領域外に位置するものと判定された場合には、Ｓ３２０へと進む。

そのＳ３２０では、今サイクルのモデル照合処理でＳ２５０からＳ２８０までの処理を実行していない行動推定モデルに対応付けられた相対特徴点（ここでは、判定対象とする）があるか否かを判定する。そして、判定の結果、それらの処理を実行していない判定対象があれば、Ｓ２５０へと戻り、それらの処理を実行していない判定対象が無ければ、Ｓ３３０へと進む。

そのＳ３３０では、運転者が特定行動をとろうとしていないことを示すように、全ての特定行動フラグをローレベルとし、その後、今サイクルでのモデル照合処理を終了して、行動推定処理のＳ１４０（即ち、行動認定処理）へと進む。

つまり、モデル照合処理では、目標ベクトルＭと移動ベクトルＮとの一致度合が予め規定された規定値以上（即ち、行動角度θが検出許容角度範囲内）である行動推定モデルの中から、相対特徴点の位置が帰着点に最も近い行動推定モデルに設定された特定行動を運転者がとろうとしているものと仮判定する。
〈行動認定処理〉
次に、行動推定処理のＳ１４０で実行される行動認定処理について説明する。

ここで、図７は、行動認定処理の処理手順を示したフローチャートである。
この行動認定処理は、行動推定処理のＳ１４０で実行されると、まず、Ｓ４１０では、特定行動フラグがハイレベルであるか否かを判定する。そして、判定の結果、特定行動フラグがハイレベルであれば、Ｓ４１５へと進む。つまり、今サイクルでのモデル照合処理におけるＳ３１０にて、全特定行動フラグのうち、いずれか一つがハイレベルとされれば、Ｓ４１５へと進む。

そのＳ４１５では、今サイクルでハイレベルとされた特定行動フラグが前サイクルでもハイレベルとされているか否か、もしくは前サイクルでは全ての特定行動フラグがローレベルであるか否かを判定し、その結果、いずれか一方が満たされているものと判定されれば、Ｓ４２０へと進む。

そのＳ４２０では、特定行動カウンタを一つ増加して、Ｓ４３０へと進む。
続くＳ４３０では、特定行動カウンタが予め規定された規定閾値以上であるか否かを判定する。なお、本実施形態における規定閾値は、例えば、０．５秒間の間に撮影される撮影画像の枚数であるものとする。つまり、Ｓ４３０では、予め規定された数サイクル連続して、運転者が特定行動をとろうとしているか否かを判定する。

そして、Ｓ４３０での判定の結果、特定行動カウンタが規定閾値以上である場合、即ち、規定時間、運転者が特定行動をとろうとしている場合、Ｓ４４０へと進む。
そのＳ４４０では、今サイクルでハイレベルとされた特定行動フラグに対応する特定行動を、運転者がとろうとしている（もしくは、とった）ものとして、確定行動フラグをハイレベルとする。なお、確定行動フラグは、行動推定モデル（即ち、特定行動）毎に予め用意されたものであり、ハイレベルであれば、その特定行動を運転者がとろうとしている（もしくは、とった）ことを示し、ローレベルであれば、その特定行動を運転者がとろうとしていないことを示す。

そして、その後、今サイクルでの行動認定処理を終了し、行動推定処理のＳ１５０へと進む。
一方、Ｓ４１０での判定の結果、特定行動フラグがローレベルである場合、もしくはＳ４１５での判定の結果、いずれも満たされていない（即ち、今サイクルでハイレベルとされた特定行動フラグとは異なる特定行動フラグが、前サイクルにてハイレベルである）場合には、Ｓ４５０へと進み、そのＳ４５０では、特定行動カウンタを全て初期値（即ち、０）とする。そして、Ｓ４６０へと進む。

また、Ｓ４３０での判定の結果、特定行動カウンタが規定閾値未満である場合、即ち、規定時間、運転者が特定行動をとろうとしていない場合にも、Ｓ４６０へと進む。
そのＳ４６０では、全ての特定行動を運転者がとろうとしていない（もしくは、とっていない）ものとして、確定行動フラグを全てローレベルとする。

そして、その後、今サイクルでの行動認定処理を終了し、行動推定処理のＳ１５０へと進む。
つまり、行動認定処理では、予め規定された数サイクル連続して、運転者が特定行動をとろうとしている場合に、運転者がとろうとしている特定行動が確からしいものと認定して、確定行動フラグをハイレベルとする。
〈行動推定装置の動作例〉
次に、行動推定装置１の動作例について説明する。

ここで、図９は、運転者が左手で左耳に携帯電話をあてがう電話使用行動をとろうとしている状態から電話使用行動をとった状態へと、運転者の左手が遷移していく様子を示した説明図である。また、図１０は、左手で左耳に携帯電話をあてがう電話使用行動を検出するための行動推定モデルに設定された左手首の帰着点、左手首の帰着領域、左手首の通過領域を模式的に示した説明図である。

なお、以下では、図９に示すように、運転者が左手で左耳に携帯電話をあてがう電話使用行動をとるために行動をとり始めた状態（図中（Ａ））から、電話使用行動を取っている状態（図中（Ｂ））へと、運転者の左手が遷移していく様子を連続的に収めた撮影画像を取得して行動推定処理を実行したものとして説明する。

ただし、図９（Ａ）は、電話使用行動をとり始めたばかりであり、特徴点が通過領域外及び帰着領域外に位置している状態（以下、開始状態とする）であり、図９（Ｂ）は、電話使用行動をとった状態へと移行している状態であり、特徴点が第一通過領域内に位置している状態（以下、第一中間状態とする）である。さらに、図９（Ｃ）は、電話使用行動をとった状態へと移行している状態であり、特徴点が第二通過領域内に位置している状態（以下、第二中間状態とする）であり、図９（Ｄ）は、電話使用行動をとった状態であり、特徴点が帰着点、もしくは帰着領域に位置している状態（以下、行動中状態とする）である。

行動推定処理では、図９（Ａ）に示すような開始状態が収められた撮影画像を取得すると、その撮影画像から求められる相対特徴点が通過領域外に位置する（即ち、図１０に示すような通過領域の外側に相対特徴点が位置する）ことを認識する。このため、行動推定装置１は、運転者は電話使用行動をとろうとしていないものと判定し、次の撮影画像を取得する。

そして、図９（Ｂ），（Ｃ）に示すような第一中間状態から第二中間状態までの間の状態が連続して収められた撮影画像を行動推定装置１が取得すると、行動推定処理では、相対特徴点が通過領域内に位置している（即ち、図１０に示すような第一通過領域もしくは第二通過領域の内側に相対特徴点が位置する）ことから、移動方向が行動方向に沿ったものであるか否かを、撮影画像が取得される毎に判定する。

さらに、行動推定処理では、判定の結果、移動方向が行動方向に沿ったものであれば、電話使用行動をとろうとしているものと仮判定し、その仮判定の結果が、規定閾値以上連続して、同一の結果であれば（即ち、電話使用行動をとろうとしていれば）、運転者が電話使用行動をとろうとしていることが確からしいものと認定する。

これにより、行動推定装置１は、図９（Ｄ）に示すような行動中状態が収められた撮影画像が取得される前に、運転者が電話使用行動をとろうとしていることを認識する。
［本実施形態の効果］
以上説明したように、行動推定処理では、特徴点が帰着領域内に位置する前の通過領域内に位置している段階で、撮影画像に写り込んだ運転者が特定行動をとろうとしているか否かが判定されることになる。

したがって、本実施形態の行動推定装置１によれば、運転者が特定行動をとろうとしていることを、その特定行動をとる前の準備動作の時点で前もって検出することができる。このため、行動推定装置１によれば、特定行動をとろうとしている運転者に警告を発する等、車両を安全に走行させるための警報処理を、特定行動がとられる前に前もって実行することができる。

また、上記実施形態の行動推定装置１によれば、行動認定処理にて、予め規定された数サイクル連続して、運転者が特定行動をとろうとしているものと判定された場合に、運転者がとろうとしている特定行動が確からしいものと認定するため、１サイクルだけ偶発的に特定行動をとろうとしていることが検出された時に、警報処理が実行されることを防止できる。つまり、行動推定装置１によれば、誤って特定行動をとろうとしているものと認定して、警報処理を実行することで、運転者らに不快感を与えることを抑制することができる。

さらに、上記実施形態の行動推定装置１では、相対特徴点が帰着領域に位置する時には、特定行動をとっているものと判定する。このため、行動推定装置１によれば、準備動作の時点で特定行動をとろうとしていないものと推定して、その推定結果が誤っていたとしても、検出特徴点が帰着点に位置した時には、推定結果を正しいものへと速やかに訂正することができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。

上記実施形態における行動推定処理のＳ１６０では、Ｓ１５０にて運転者がとろうとしている特定行動が確からしいものと判定された場合に、ナビゲーション装置２１に制御指令を出力し、ナビゲーション装置２１から警報を発する警報処理を実行したが、Ｓ１６０で実行される処理は、これに限るものはない。

例えば、ＣＰＵ１０ｃがシートベルト巻上装置１１に制御指令を出力して、シートベルト巻上装置１１がシートベルトの拘束力を増加させるようにしても良いし、ＣＰＵ１０ｃがブレーキ制御装置２３に制御指令を出力して、ブレーキ制御装置２３が搭載車両の制動力を増加させるようにしても良い。さらには、ＣＰＵ１０ｃがパワートレイン制御装置２４に制御指令を出力して、パワートレイン制御装置２４が搭載車両を減速させるようにしても良いし、それらを任意で組合わせても良い。

つまり、Ｓ１５０にて運転者がとろうとしている特定行動が確からしいものと判定された場合に、その特定行動をとろうとすることが危険であることを運転者に認識させ、搭載車両が安全に運転されるように制御するのであれば、どのような処理を行っても良い。

また、上記実施形態のモデル照合処理におけるＳ２５０からＳ３１０では、通過領域内に位置し、かつ移動ベクトルが目標ベクトルに沿った相対特徴点に対応する行動推定モデルの中から、判定距離が最も短いものに対応する行動推定モデルに設定された特定行動をとろうとしているものと推定するように処理を行ったが、運転者がとろうとしている特定行動を推定する方法は、これに限るものではない。例えば、相対特徴点が各行動推定モデルに設定された通過領域内に位置する行動推定モデルの中から、移動ベクトルと目標ベクトルとの適合率が最も高い行動推定モデルに設定された特定行動をとろうとしているものと推定するように処理を行っても良い。

ただし、ここで言う適合率が高いとは、移動ベクトルが、より目標ベクトルに沿ったもの、即ち移動ベクトルと目標ベクトルとがなす角度が０度に近い状態を示す。
このように、適合率がより高い行動推定モデルに設定された特定行動をとろうとしているものと推定する処理を行うことで、運転者がとろうとしている特定行動の推定精度を向上させることができる。

さら、上記実施形態のモデル照合処理におけるＳ２９０では、相対特徴点が求められる毎に、その相対特徴点から帰着点へと向かうベクトルを目標ベクトルとして求めたが、目標ベクトルは、特定行動をとろうとする人物の特徴点が通過領域内を通過する時に帰着点以外の目標点に向かって移動する方向として、通過領域毎に予め設定されていても良い。ただし、この場合の目標ベクトルは、行動推定モデルに通過領域毎の行動方向として備えられている必要がある。

なお、上記実施形態では、電話使用行動、喫煙行動、マッサージ行動を検出対象としたが、検出対象はこれに限るものではない。つまり、特定行動をとった時に特徴点が帰着点の近傍に収着し、特徴点がその帰着点まで移動するときに予め規定可能な移動方向に沿って移動する通過領域が存在する行動であれば、どのような行動でも良い。

行動推定装置の概略構成を説明するためのブロック図である。 撮影画像の一例を示す説明図である。 腕部に設定された特徴点を例示した説明図である。 顔面特徴点検出テンプレートを例示した説明図である 行動推定処理の処理手順を示すフローチャートである。 モデル照合処理の処理手順を示すフローチャートである。 行動認定処理の処理手順を示すフローチャートである。 特定行動の種類を示した説明図である。 行動推定装置の動作例を説明するための説明図である。 動作例での行動推定モデルに設定された通過領域、帰着領域、及び帰着点を説明するための説明図である。

符号の説明

１…行動推定装置 １０…画像処理プロセッサ １０ａ…ＲＯＭ １０ｂ…ＲＡＭ １０ｃ…ＣＰＵ １５…撮影装置 ２１…ナビゲーション装置 ２２…シートベルト巻上装置 ２３…ブレーキ制御装置 ２４…パワートレイン制御装置

Claims (4)

1. 人物が撮影された撮影画像を、その撮影画像が撮影される毎に取得する撮影画像取得手段と、
   人物の身体上に予め設定されたポイントを特徴点とし、前記撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ人物の特徴点である検出特徴点を検出する特徴点検出手段と、
   特定行動をとった人物の特徴点が位置する地点を帰着点とし、その帰着点毎に少なくとも１つ設定され、かつ該帰着点を原点とした座標系にて表され、前記特定行動をとろうとする人物の特徴点が通過する範囲を通過領域とし、その通過領域毎に予め規定され、かつ前記特定行動をとろうとする人物の特徴点が該通過領域内を通過する時に移動する方向を行動方向として、前記特定行動の内容毎に、前記帰着点、前記通過領域、及び前記行動方向が設定された行動推定モデルを少なくとも１つ格納するモデル格納手段と、
   前記モデル格納手段に格納された行動推定モデルの中から、前記帰着点それぞれを原点とした座標系における前記検出特徴点の位置である相対特徴点が前記通過領域内に位置し、かつ前記検出特徴点の移動方向と、前記行動方向とのなす角度が、予め規定された範囲内である前記行動推定モデルを抽出するモデル抽出手段と、
   前記モデル抽出手段にて、予め規定された規定回数以上連続して同一の行動推定モデルが抽出されると、その抽出された行動推定モデルに対応する特定行動を、前記撮影画像に写り込んだ人物がとろうとしている行動として推定する行動推定手段と
   を備えることを特徴とする行動推定装置。
2. 前記行動推定手段は、
   前記モデル抽出手段にて、複数の前記行動推定モデルが抽出された場合、前記検出特徴点が前記帰着点により近いものを、前記モデル抽出手段で抽出された前記行動推定モデルとすることを特徴とする請求項１に記載の行動推定装置。
3. 前記行動推定手段は、
   前記モデル抽出手段にて、複数の前記行動推定モデルが抽出された場合、前記検出特徴点の移動方向と前記行動方向との適合率が高いものを、前記モデル抽出手段で抽出された前記行動推定モデルとすることを特徴とする請求項１または請求項２に記載の行動推定装置。
4. 前記行動推定モデルには、特定行動をとったとみなせる人物の特徴点が位置する領域が帰着領域として設定されており、
   前記モデル格納手段に格納された行動推定モデルの中から、前記特徴点検出手段で検出された検出特徴点が前記帰着点、もしくは前記帰着領域に位置している前記行動推定モデルを抽出する特定モデル抽出手段と、
   前記特定モデル抽出手段で抽出された行動推定モデルに対応する特定行動を、前記撮影画像に写り込んだ人物がとったものと認定する行動認定手段と
   を備えることを特徴とする請求項１ないし請求項３のいずれかに記載の行動推定装置。