JP4613999B2 - 行動推定装置、プログラム - Google Patents

Description

本発明は、移動体の乗員が実施している行動を推定する行動推定装置、及びその行動推定装置を構成する各手段としてコンピュータを機能させるためのプログラムに関する。

従来より、車両に搭載され、車両の乗員が実施している行動を推定する行動推定装置が知られている（特許文献１参照）。

この特許文献１に記載の行動推定装置は、運転者を含む画像を撮影する撮影装置と、撮影装置からの撮影画像に基づき、運転中の運転者が実施すると危険な行動（以下、危険行動とする）の一つである携帯電話の使用の有無（以下、この携帯電話を使用する行動を電話使用行動とする）を判定する画像処理装置とを備えている。そして、この画像処理装置では、電話使用行動中の運転者の手が存在する可能性の高い領域である規定領域を撮影画像中の顔面の周辺に予め設定し、その規定領域に、撮影画像中の手が設定時間以上位置し続ける場合に、運転者が電話使用行動を実施しているものと判定している。

ところで、危険行動としては、電話使用行動の他に、ステアリングから手を離してエアコンディショナーやナビゲーション装置を操作する行動、または、ステアリングから手を離して肩や腕を回す行動などが考えられる。

しかしながら、特許文献１に記載の行動推定装置では、撮影画像中の手の位置に従って電話使用行動が実施されているか否かを判定しているに過ぎないため、電話使用行動以外の危険行動を運転者が実行していたとしても、その危険行動が実施されていることを検出できなかった。

これに対し、本願発明者は、運転者が車室内で実施する可能性のある行動（以下、特定行動とする）全てについて、その特定行動の実施時に得られる特徴点（例えば、人物の手首や、肘）の位置または軌跡をモデル化した行動推定モデルを予め用意し、これらの行動推定モデルそれぞれと、撮影画像から検出した特徴点の位置または軌跡とを照合し、その適合度合いに応じて、乗員が実施している可能性が最も高い行動（以下、推定行動）を検出する画像処理装置を備えた行動推定装置を提案している（特願２００７−２０３１１１号）。
特開２００５−２０５９４３号公報

ところで、行動推定モデルは、通常、大多数の人物に合致するように作成されるものの、特定行動の実施の仕方や、手の長さなど身体の特徴には個人差がある。このため、中には、行動推定モデルが合致しない人物がおり、このような人物が特定行動を実施しても、その実施されている特定行動を正しく検出できない。例えば、実施している行動を他の特定行動として認識したり、特定行動を実施していないにもかかわらず、実施しているものとして認識する等の誤検出の可能性があるという問題があった。

つまり、先に、本願発明者が提案した行動推定装置では、乗員の個人差により、推定行動の検出精度が低下するという問題があった。

そこで、本発明は、行動推定装置において、推定行動の検出精度を向上させることを目的とする。

上記目的を達成するためになされた本発明の行動推定装置では、画像取得手段が、移動体の乗員が撮影された撮影画像を繰り返し取得する毎に、特徴点検出手段が、その撮影画像に写り込んだ乗員の特徴点の位置を表す特徴点データを検出する。なお、特徴点とは、人物の身体上に予め設定された少なくとも１つのポイントである。

さらに、本発明の行動推定装置では、特定行動を実施している時の特徴点の位置または軌跡を各特定行動毎に表したモデルを行動推定モデルとし、モデル格納手段が、人物の身体的特徴に応じて予め設定した少なくとも２つ以上の分類区分それぞれについて、全ての特定行動に対する行動推定モデルを格納しており、確定行動検出手段が、特徴点データと行動推定モデルとの照合とは異なる手法を用いて、乗員により確定行動が実施されていることを検出する。ただし、特定行動とは、乗員が実施する可能性のある行動であり、確定行動とは、特定行動の中で予め規定された少なくとも一つの行動である。

そして、本発明の行動推定装置では、確定行動が実施されていることを検出している期間に特徴点検出手段で検出された特徴点データを行動時特徴点とし、重み設定手段が、行動時特徴点を、その検出されている確定行動についての行動推定モデルそれぞれと照合し、一致度が高いほど大きな値となるように適合重みを設定する。すなわち、適合重みは、各行動推定モデルに対する分類区分に乗員が属する可能性の高さを表すものである。

これと共に、行動推定手段が、特徴点データを、モデル格納手段に格納されている行動推定モデルそれぞれに照合し、その照合結果である一致度合いに対し、適合重みが反映された適合値が最も高い行動推定モデルに対応する特定行動を推定行動として検出する。

つまり、本発明の行動推定装置では、確定行動に対する一致度が高い行動推定モデルが属している分類区分に乗員が含まれている可能性が高いものとして、その分類区分についての適合重み（即ち、その分類区分についての行動推定モデルに対する信頼度）を高く設定する。そして、本発明の行動推定装置においては、適合重みを照合結果に反映させることにより、信頼度が高い行動推定モデルと特徴点データとの照合結果ほど、推定行動を検出する際に重要視されることになる。

これにより、本発明の行動推定装置によれば、乗員が属している分類区分を重要視して推定行動を検出することになり、乗員が実施している可能性が最も高い特定行動を推定行動として検出することができる。したがって、本発明の行動推定装置によれば、乗員の身体的特徴に起因する誤検出を低減することができ、この結果、推定行動の検出精度を向上させることができる。

なお、移動体内に搭載された操作機器を操作する行動を確定行動とした場合、本発明の行動推定装置における確定行動検出手段は、請求項２に記載のように、操作機器が操作されたことを表す操作信号を取得する操作信号取得手段を備え、その取得した操作信号から確定行動が実施されていることを検出するように構成されていることが望ましい。

そして、移動体として自動車を想定した場合、ステアリングや、シフトレバー、グローブボックス、コンソールボックス、ナビゲーション装置、空調装置などが操作機器として考えられる。

また、本発明の行動推定装置において、適合値は、請求項３に記載のように、行動推定モデルと特徴点データとの一致度合いに適合重みを加算または乗算した指標値であっても良いし、請求項４に記載のように、各行動推定モデルに対応する特定行動毎に、指標値を累積した値であっても良い。

これら（請求項３，４に記載）のような本発明の行動推定装置によれば、適合値に対して、信頼度の高い行動推定モデルと特徴点データとの照合結果を確実に反映させることができる。

ところで、本発明の行動推定装置における行動推定手段は、請求項５に記載のように、適合重みが最大である分類区分についての行動推定モデルとのみ、特徴点データを照合し、一致度合いそれぞれを適合値とするように構成されていても良い。

このように構成された本発明の行動推定装置によれば、適合重みが最大である分類区分（即ち、特定分類区分）についての行動推定モデルのみと特徴点データとを照合するため、推定行動を検出するまでに必要な処理を軽減できる。

そして、請求項５に記載の行動推定手段を実現する一つの方法としては、請求項６に記載のように、一致度が最も高い行動推定モデルが属する特定分類区分についての適合重みを最大値に設定すると共に、特定分類区分以外の分類区分についての適合重みを０に設定するように、重み設定手段を構成することが考えられる。

このように構成された本発明の行動推定装置では、特定分類区分に乗員が属するものと判断し、特定分類区分についての行動推定モデルと特徴点データとの照合結果のみを用いて、推定行動を検出することになる。

このため、本発明の行動推定装置によれば、信頼度の低い行動推定モデルと特徴点データとの照合結果が推定行動の検出結果に反映されることを防止でき、請求項５に記載の行動推定装置と同様の効果を得ることができる。

さらには、本発明の行動推定装置において、重み設定手段が適合重みを設定するタイミングは、請求項７に記載のように、確定行動が実施されていることが検出されたタイミングでも良いし、請求項８に記載のように、予め規定された期間の長さである規定期間以上、確定行動が実施されていることが検出されたタイミングでも良い。

前者であれば、確定行動が実施されていることが検出されると、適合重みを設定することになるため、乗員の状態に応じて適合重みを適切な値へと変更することができる。

特に、前者のように構成された行動推定装置において、乗員が移動体に乗り込んだ直後に実施すべき行動である乗込後行動を、確定行動として規定すれば、乗込後行動が乗員により実施されると、適合重みを設定することになる。

このため、乗員が移動体に乗り込んだ直後から、推定行動の誤検出を低減することができる。なお、例えば、移動体として自動車を想定すると、乗込後行動には、イグニッションキー（スイッチ）を操作する行動や、シフトレバーを操作する行動、ステアリングを操作する行動のうち、少なくとも一つが含まれていることが望ましい。

一方、後者であれば、規定期間以上の確定行動が検出される毎に、適合重みを更新することで、必要以上に適合重みが更新されることを防止できる。

また、特定行動のうち、乗員が実施すると移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とした場合、本発明の行動推定装置では、請求項９に記載のように、推定行動が危険行動であれば、安全制御手段が、移動体を安全に操縦させるための安全制御を実行するように構成されていても良い。

このような本発明の行動推定装置によれば、危険行動が乗員により実施されると、安全制御を実行するため、移動体を安全に操縦させることができる。

次に、本発明の行動推定装置において、身体的特徴とは、請求項１０に記載のように、人物の身長、体重、座高、性別、人種のうち、少なくとも一つであってもよい。ただし、ここで言う、人種とは、白色人種，黒色人種，黄色人種といった一般的に用いられる人種の他に、アジア、欧州、北米などの各地域別の住人や、各国毎の住人といった概念を含むものである。

なお、本発明は、請求項１１に記載のように、コンピュータを請求項１ないし請求項１０のいずれかに記載された行動推定装置を構成する各手段として機能させるためのプログラムとしてなされたものであっても良い。

このようなプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することにより用いることができる。

以下、本発明の実施形態を図面と共に説明する。

図１は、本発明が適用され、自動車に搭載された行動推定システムの概略構成を示したブロック図である。なお、以下では、行動推定システム１が搭載された車両を自車両と称す。
〈全体構成〉
図１に示すように、行動推定システム１は、少なくとも運転者を被写体とした画像を撮影する撮影装置１５と、撮影装置１５からの画像を画像処理することで、運転者が実施している行動を推定する画像処理プロセッサ１０とを備えている。さらに、行動推定システム１では、画像処理プロセッサ１０に、自車両に搭載された複数の装置からなる制御対象装置群２０が接続されている。

この制御対象装置群２０は、周知の経路案内等を行うナビゲーション装置２１と、車室内の空気調和を実行する空気調和装置（いわゆるエアコンディショナー）を制御する空調制御装置２２とを有している。

そして、ナビゲーション装置２１は、使用者からの指示を入力するための指示入力部（例えば、メカニカルなボタンやタッチパネル、以下、ナビ指示入力部とする）と、スピーカと、モニタと、ナビ指示入力部を介して入力された指示に従って、目的地までの経路案内を実行する制御装置とを少なくとも備えた周知のものである。ただし、ナビゲーション装置２１は、画像処理プロセッサ１０からの制御指令に従って、スピーカ、及びモニタを制御するように構成されている。

また、空調制御装置２２は、使用者の指示を入力するための指示入力部（例えば、メカニカルなボタンやタッチパネル、以下、ＡＣ指示入力部とする）と、そのＡＣ指示入力部を介して入力された指示に従って、空気調和装置を制御する制御装置とを少なくとも備えている。これと共に、空調制御装置２２は、画像処理プロセッサ１０からの制御指令に従って、空気調和装置から運転者に冷風を吹き付ける冷風送気制御を実行するように構成されている。

次に、撮影装置１５は、予め規定された時間間隔で撮影した画像（以下、撮影画像とも称す）を画像処理プロセッサ１０に繰り返し出力するように構成された周知のデジタルカメラである。その撮影装置１５は、少なくとも運転席に着座した運転者、及び車室内に備えられた複数の機器からなる操作機器群が画像に収められるように、車室内へとレンズを向けて配置されている。

なお、本実施形態では、操作機器群を形成する操作機器として、ルームミラーや、助手席のシート、空気調和装置の吹き出し口（いわゆる左右のブロワ）、ナビ指示入力部、ＡＣ指示入力部、ステアリング、シフトレバーが設定されている。この他の操作機器としては、物品を収納するためのグローブボックス（以下、ＧＢとする）、コンソールボックス（以下、ＣＢとする）、イグニッションキーを差し込んで回すためのイグニッション機構（以下、ＩＧ機構とする）が少なくとも設定されている。

〈画像処理プロセッサについて〉
次に、画像処理プロセッサについて説明する。

画像処理プロセッサ１０は、電源が切断されても記憶内容を保持すると共に、記憶内容を書き換え可能な記憶装置（例えば、フラッシュメモリ等）１０ａと、処理途中で一時的に生じたデータを格納するメモリ１０ｂと、記憶装置１０ａやメモリ１０ｂに記憶された処理プログラムを実行する演算装置１０ｃとを備えた周知のマイクロコンピュータを中心に構成されたものである。

このうち、記憶装置１０ａには、撮影装置１５からの画像を順次画像処理することにより、運転者が実施している行動を推定し、その推定結果に従って制御対象装置群２０を制御する行動推定処理を演算装置１０ｃに実行させるための処理プログラムが格納されている。

さらに、記憶装置１０ａには、演算装置１０ｃが行動推定処理を実行する際に参照する特徴点リストと、複数の行動推定モデルとが格納されている。

このうち、特徴点リストは、予め人物の身体上に設定されたポイント（以下、特徴点とする）を、撮影画像に写り込んだ運転者から検出するためのものである。その特徴点リストは、人体の腕部に設定された特徴点を検出するための腕部リストと、人体の頭部（より正確には顔面）に設定された特徴点を検出するための頭部リストとを少なくとも備えている。

そして、腕部リストには、少なくとも、人体の右肩，左肩，右ひじ，左ひじ，右手首，左手首が、特徴点として設定されている。さらに、頭部リストには、少なくとも、鼻，右目頭，左目頭，右目尻，左目尻，右口角，左口角，右耳珠点，左耳珠点が、特徴点として設定されている。
〈行動推定モデルについて〉
次に、行動推定モデルについて説明する。

ここで、図２は、記憶装置１０ａに記憶されている行動推定モデルの概要を示した説明図である。

まず、行動推定モデルは、運転者が実施する可能性のある行動として予め規定された行動（以下、特定行動と称す）それぞれについて、各特定行動を実施している時の特徴点の位置及び軌跡を予めモデル化したものである。

その各特定行動に対応する全ての行動推定モデルは、人間の身体的特徴（本実施形態では、身長とする）に応じて予め設定したＮ個（Ｎは、２以上の整数）の分類区分それぞれについて予め生成されている。つまり、被験者を、予め設定されたＮ個の分類区分（即ち、身長区分）に応じて分類した上で、それらの各区分に属している全被験者に特定行動を実施させて、その実施結果から各行動推定モデルを予め生成している。

したがって、記憶装置１０ａには、各分類区分（図２中、分類区分Ａ〜Ｎ）について、各特定行動に対応する行動推定モデルそれぞれが格納されている。

なお、各行動推定モデルは、特定行動の内容に応じて、車載機器操作行動モデル、持込品操作行動推定モデルと、タッチ行動推定モデルと、繰返行動推定モデルとに分類される。

このうち、車載機器操作行動モデルは、操作機器群を利用した行動を特定行動としてモデル化したものであり、特定行動の内容に応じて、操作継続行動推定モデルと、遷移行動推定モデルとに分類される。

その操作継続行動推定モデルは、操作機器群のうちの１つを予め規定された期間の長さ以上、運転者が継続して操作している操作継続行動を、特定行動としてモデル化したものである。この操作継続行動推定モデルは、各操作機器毎に、その操作機器を操作中に存在する各特徴点の位置（即ち、軌跡、以下、停留位置と称す）が規定されている。なお、以下では、各操作機器に対する操作継続行動及び操作継続行動推定モデルについての名称を、操作機器名＋操作継続行動（もしくは操作継続行動推定モデル）とする。例えば、操作機器がイグニッション機構であれば、イグニッション機構操作継続行動、及びイグニッション機構操作継続行動推定モデルとする。

一方、遷移行動推定モデルは、１つの操作機器から他の操作機器へと運転者が手等を移動させる遷移行動を、特定行動としてモデル化したものである。この遷移行動推定モデルは、移動を開始した時の各特徴点の位置（以下、開始位置とする）と、移動を終了した時の各特徴点の位置（以下、終了位置とする）と、開始位置から終了位置への各特徴点の移動経路（即ち、軌跡）とが規定されている。なお、以下では、各遷移行動及び遷移行動推定モデルについての名称を、移動元の操作機器名から移動先の操作機器名＋遷移行動（もしくは遷移行動推定モデル）とする。例えば、移動元の操作機器がステアリングであり、移動先の操作機器がシフトレバーであれば、ステアリングからシフトレバーへの（図２中、ステから（図中は矢印にて記述）シフト）遷移行動、及びステアリングからシフトレバーへの遷移行動推定モデルとする。

さらに、持込品操作行動推定モデルは、車室内に持ち込まれる持込品を運転者が操作する持込品操作行動（例えば、電話使用行動や、飲食や喫煙などの飲食行動）を、特定行動としてモデル化したものである。この持込品操作行動推定モデルは、持込品操作行動を実行した運転者の各特徴点が帰着する位置（以下、目標地点とする）と、持込品操作行動を実行したとみなせる運転者の各特徴点が位置する領域（以下、帰着領域とする）と、その持込品操作行動を実行しようとする運転者の各特徴点が通過する領域（以下、通過領域とする）と、その持込品操作行動を実行しようとする運転者の各特徴点が通過領域内を通過する時の方向の範囲（以下、検出許容範囲とする）とが規定されている。なお、以下では、各持込品操作行動推定モデルについての名称を、持込品操作行動名＋推定モデルとする。例えば、持込品操作行動が電話使用行動であれば、電話使用行動推定モデルとする。

さらに、タッチ行動推定モデルは、運転者が自身の手で自身の身体に触れるタッチ行動（例えば、肩や腕のマッサージなど）を、特定行動としてモデル化したものである。このタッチ行動推定モデルは、持込品操作行動推定モデルとは、特定行動の行動内容が異なるものの、行動推定モデルの構造は、持込品操作行動推定モデルと同様である。すなわち、タッチ行動推定モデルは、目標地点と、帰着領域と、通過領域と、検出許容範囲とが規定されている。なお、タッチ行動推定モデルを用いた推定行動の検出は、持込品操作行動推定モデルを用いた推定行動の検出と同様に行われる。このため、以下では、タッチ行動の検出については、持込品操作行動の検出に含めることとし、説明を省略する。

また、繰返行動推定モデルは、運転者が物品を使用することなく繰り返し動作する繰返行動（例えば、肩回し行動や腕回し行動などの行動）を、特定行動としてモデル化したものである。この繰返行動推定モデルは、繰返行動を実行中である運転者の連続的に変化する各特徴点が位置する可能性のある領域（以下、許容領域とする）と、各許容領域それぞれについての中心点（以下、特定点とする）とが規定されている。なお、以下では、各繰返行動推定モデルについての名称を、繰返行動の行動名＋推定モデルとする。例えば、繰返行動が肩回し行動であれば、肩回し行動推定モデルとする。

以上説明したように、画像処理プロセッサ１０は、撮影装置１５からの画像を画像処理することで検出した特徴点データを、行動推定モデルそれぞれと照合し、規定条件を満たす行動推定モデルに対応する特定行動を、運転者が実施している行動（以下、推定行動）として検出するように構成されている。
〈検知センサ群について〉
ところで、図１に示すように、画像処理プロセッサ１０には、操作機器群の中で予め規定された機器（以下、規定操作機器と称す）それぞれが操作されていることを検出するための検知センサ群３０が接続されている。

なお、本実施形態における規定操作機器としては、ステアリングと、シフトレバーと、ＧＢと、ＣＢと、ＩＧ機構とが規定されている。このため、検知センサ群３０は、ステアリングに対する操作を検知するステアリング操作検知センサ３１と、シフトレバーに対する操作を検知するシフトレバー操作検知センサ３２と、ＧＢに対する操作を検知するＧＢ開閉検知センサ３３と、ＣＢに対する操作を検知するＣＢ開閉検知センサ３４と、ＩＧ機構に対する操作を検知するＩＧ検知センサ３５とから構成されている。

このうち、ステアリング操作検知センサ３１は、ステアリングにおいて左右の手それぞれで把持される部位それぞれに埋め込まれた電極を検出電極として、ステアリングが把持されている時に操作信号（以下、ステアリング操作信号とする）を画像処理プロセッサ１０に出力するように構成されている。また、シフトレバー操作検知センサ３２は、シフトレバーにおいて把持される部位に埋め込まれた電極を検出電極として、シフトレバーが把持されている時に操作信号（以下、レバー操作信号とする）を画像処理プロセッサ１０に出力するように構成されている。

さらに、ＧＢ開閉検知センサ３３、及びＣＢ開閉検知センサ３４は、ＧＢ，ＣＢ内それぞれに取り付けられた電灯を点灯するために、ＧＢまたはＣＢが開かれると通電するスイッチからなる。つまり、ＧＢ開閉検知センサ３３、及びＣＢ開閉検知センサ３４は、ＧＢまたはＣＢが開かれると操作信号（以下、それぞれＧＢ操作信号、ＣＢ操作信号と称す）を画像処理プロセッサ１０に出力するように構成されている。

また、ＩＧ検知センサ３５は、イグニッションスイッチからなり、アクセサリー，イグニッション、エンジン始動の各位置に、イグニッションキーが回されると、操作信号（以下、ＩＧ操作信号と称す）を画像処理プロセッサ１０に出力するように構成されている。

また、本実施形態においては、ステアリング、シフトレバー、ＧＢ、ＣＢ、ＩＧ機構以外の規定操作機器として、ナビ指示入力部と、ＡＣ指示入力部とが規定されている。

このため、画像処理プロセッサ１０は、ナビ指示入力部、及びＡＣ指示入力部を介した指示を操作信号（以下、それぞれナビ操作信号、ＡＣ操作信号とする）として受け付けるように構成されている。

つまり、画像処理プロセッサ１０は、検知センサ群３０からの操作信号に従って、操作継続行動のうち、規定操作機器に対する操作継続行動を運転者が実施しているか否かを判定する。このために、記憶装置１０ａには、規定操作機器からの操作信号に従って検出した操作継続行動を、運転者が実施した行動（以下、確定行動と称す）として特定する確定行動情報生成処理を演算装置１０ｃに実行させるための処理プログラムが格納されている。
〈確定行動情報生成処理について〉
次に、画像処理プロセッサ１０（より正確には、演算装置１０ｃ）が実行する確定情報生成処理について説明する。

ここで、図３は、確定情報生成処理の処理手順を示すフローチャートである。

この確定情報生成処理は、運転者が自車両に乗り込む前の予め規定された起動タイミング（本実施形態では、例えば、自車両のドアが解錠されたタイミングを起動タイミングとする）となると起動されるものである。

そして、この確定行動情報生成処理は、図３に示すように、起動されると、まずＳ２１０では、検知センサ群３０または規定操作機器からの操作信号が入力されているか否かを判定する。そして、判定の結果、操作信号が入力されていなければ、操作信号が入力されるまで待機し、操作信号が入力されると、Ｓ２２０へと進む。

そのＳ２２０では、入力されている操作信号に基づいて、規定操作機器に対する操作継続行動の中で、運転者が実行中である操作継続行動を確定行動として特定する。

すなわち、本実施形態では、ステアリング操作信号が入力されている間は、運転者がステアリングを操作中であること（即ち、ステアリング操作継続行動）を確定行動として特定し、レバー操作信号が入力されている間は、運転者がシフトレバーを操作中であること（即ち、シフトレバー操作継続行動）を確定行動として特定する。さらに、ＩＧ操作信号が入力されている間は、運転者がＩＧ機構を操作中であること（即ち、ＩＧ機構操作継続行動）を確定行動として特定する。

これと共に、ＧＢ開閉検知センサからの操作信号が入力されている間は、運転者がＧＢを操作中であること（即ち、ＧＢ操作継続行動）を確定行動として特定し、ＣＢ開閉検知センサ３４からの操作信号が入力されている間は、運転者がＣＢを操作中であること（即ち、ＣＢ操作継続行動）を確定行動として特定する。また、ナビ操作信号が入力されている間は、運転者がナビゲーション装置２１を操作中であること（即ち、ナビ操作継続行動）を確定行動として特定し、ＡＣ操作信号が入力されている間は、運転者が空気調和装置を操作中であること（即ち、ＡＣ操作継続行動）を確定行動として特定する。

続いて、Ｓ２２０にて特定した確定行動を、その確定行動について特定を開始した時刻（以下、特定開始時刻と称す）及びその確定行動について特定を終了した時刻（以下、特定終了時刻と称す）と対応付けた確定行動情報を、メモリ１０ｂの予め設定された設定領域に格納する（Ｓ２３０）。

すなわち、本実施形態では、図７に示すように、規定操作機器に対する操作継続行動それぞれについて示したテーブル（以下、確定行動情報テーブルと称す）を、メモリ１０ｂに予め用意する。そして、操作信号の入力が開始されると、確定行動情報テーブルにおいて、その操作信号に対応する特定行動（即ち、操作継続行動）についての記憶領域に、その操作信号の入力が開始された時刻を特定開始時刻として記憶する。さらに、操作信号の入力が終了されると、確定行動情報テーブルにおいて、その操作信号に対応する特定行動（即ち、操作継続行動）についての記憶領域に、その操作信号の入力が終了された時刻を特定終了時刻として記憶する。これにより、確定行動情報を生成し、メモリ１０ｂに格納することになる。

そして、その後、Ｓ２１０へと戻り、Ｓ２１０からＳ２３０を繰り返す。

つまり、確定行動情報生成処理では、規定操作機器からの操作信号に従って検出した操作継続行動を確定行動として特定すると共に、その確定行動についての特定開始時刻及び特定終了時刻を確定行動と対応付けた確定行動情報を生成、記憶する。したがって、本実施形態における確定行動情報は、特定された確定行動の行動内容毎に、特定開始時刻と、特定終了時刻と、及びその確定行動を特定していた期間の長さ（以下、特定期間と称す）とが対応付けられたものとなる。
〈行動推定処理について〉
次に、画像処理プロセッサ１０（より正確には、演算装置１０ｃ）が実行する行動推定処理について説明する。

ここで、図４は、行動推定処理の処理手順を示したフローチャートである。

この行動推定処理は、運転者が自車両に乗り込む前の予め規定された起動タイミング（本実施形態では、例えば、自車両のドアが解錠されたタイミングを起動タイミングとする）となると起動されるものである。

そして、この行動推定処理は、図４に示すように、起動されると、まずＳ１１０では、撮影装置１５からの画像を取得する。続いて、Ｓ１１０で取得した画像に特徴点リストを照合することで、撮影画像に写り込んだ運転者の全特徴点の座標（以下、特徴点データとする）を検出する（Ｓ１２０）。

なお、この特徴点を検出する処理は、腕部リストに設定された特徴点の位置を検出するのであれば、例えば、特開２００３−１０９０１５号に、頭部リストに設定された特徴点の位置を検出するのであれば、例えば、特開平０９−２７００１０号に記載のように周知の技術であるため、ここでの詳しい説明は省略する。

さらに、それらの検出した全特徴点データを、それらの特徴点データを検出した時刻（ここでは、画像を撮影した時刻とする）と対応付けてメモリ１０ｂの所定領域に格納する（Ｓ１３０）。ただし、所定領域は、Ｓ１２０で検出した全特徴点データを、最新のものから少なくとも所定数Ｎ（Ｎは自然数、例えば、撮影装置１５にて１分間に撮影される画像の枚数としてもよく、ここでは、３００とする）格納可能なように設定されている。

続く、Ｓ１４０では、各分類区分それぞれについて、確定行動を検出している期間に検出した特徴点データを、その確定行動に対応する行動推定モデルに照合することで、各分類区分についての運転者の適合度合いを表す区分適合度を導出する区分適合度導出処理を実行する。

そして、Ｓ１５０では、Ｓ１３０にて所定領域に記憶された特徴点データのうち、最新のものから所定数（例えば、本行動推定処理での５サイクル）分の特徴点データを、記憶装置１０ａに格納されている全行動推定モデルに照合し、その照合結果及びＳ１４０での区分適合度に基づいて、推定行動を検出する推定行動検出処理を実行する。

さらに、Ｓ１５０の推定行動検出処理で検出した推定行動に応じて、自車両を安全に走行させるための安全制御処理を実行する（Ｓ１６０）。

具体的に、本実施形態の安全制御処理では、Ｓ１５０の推定行動検出処理で検出した推定行動が、予め規定された特定行動である危険行動であれば、現在実行している行動（即ち、危険行動）を中止すべき旨（即ち、警告）を、ナビゲーション装置２１のスピーカーから音声にて出力し、ナビゲーション装置２１のモニタに表示させる。

なお、本実施形態における危険行動とは、自車両の運転に危険を及ぼす可能性のある特定行動であり、具体的には、電話使用行動や、飲食行動、助手席シート操作行動（ここでは、操作継続行動及び遷移行動の両方を操作行動とする）、ルームミラー操作行動、ＧＢ操作行動、ＣＢ操作行動などが規定されている。

そして、その後、Ｓ１１０へと戻り、Ｓ１１０からＳ１６０を繰り返し実行する。
〈区分適合度導出処理について〉
次に、行動推定処理のＳ１３０にて実行される区分適合度導出処理について説明する。

ここで、図５は、区分適合度導出処理の処理手順を示すフローチャートである。

この区分導出処理は、図５に示すように、起動されると、予め設定された設定条件を満たすか否を判定する（Ｓ３１０）。なお、本実施形態においては、確定情報生成処理にて、確定行動情報が、予め規定された規定数以上生成されたこと、即ち、確定行動情報テーブルに規定数の確定行動情報が新たに格納されたこと（ここでは、確定行動情報テーブルに記憶されている規定数の確定行動情報が更新されたことも含む）を、設定条件としている。以下、新たに生成された確定行動情報それぞれを新確定情報と称し、その新確定情報についての確定行動の行動内容（即ち、特定行動の内容）を行動時内容と称す。

そして、Ｓ３１０での判定の結果、設定条件を満たしていれば、Ｓ３２０へと進む。

そのＳ３２０では、各新確定情報に含まれている特定開始時刻から特定終了時刻までの期間内の時刻と対応付けられた特徴点データ（以下、行動時特徴点と称す）を、メモリ１０ｂの設定領域に記憶されている特徴点データの中から抽出する。つまり、Ｓ３２０では、新確定情報それぞれについて、各新確定情報に含まれている特定期間内に、先のＳ１２０にて検出した特徴点データそれぞれを、行動時特徴点として抽出する。

続いて、各分類区分それぞれについて、Ｓ３２０で抽出した行動時特徴点それぞれを、その確定行動に対応する行動推定モデルそれぞれに照合し、行動時特徴点と行動推定モデルとの一致度合いを表す確定行動適合度を導出する（Ｓ３３０）。

具体的には、行動推定モデル（ここでは、確定行動として検出可能な操作継続行動推定モデル）それぞれにおける停留位置と、行動時特徴点との間の距離が短いほど、確定行動適合度が大きな値であるものとして、Ｓ３２０で抽出した行動時特徴点それぞれに対応する全確定行動について導出する。

さらに、Ｓ３３０で導出された全確定行動適合度に基づいて、区分適合度を導出する（Ｓ３４０）。

具体的に、本実施形態では、各分類区分毎に、Ｓ３３０で導出した確定行動適合度の和（以下、中間値と称す）を導出し、それらの分類区分毎に導出された中間値の和（以下、中間値総和と称す）を導出する。これと共に、各分類区分に対する中間値を中間値総和で除した値を、その分類区分についての区分適合度として導出する（区分適合度ｍ＝中間値ｍ／中間値総和、ただし、ｍは、分類区分の内の１つを表す指標）。

そして、その後、行動推定処理へと戻り、Ｓ１４０へと進む。

なお、Ｓ３１０での判定の結果、設定条件を満たしていなければ、即ち、確定行動情報テーブルに規定数の確定行動情報が新たに格納されていなければ、行動推定処理へと戻り、Ｓ１４０へと進む。

つまり、区分適合度導出処理では、確定行動が実施されていることを検出している期間に検出された特徴点データ（即ち、行動時特徴点）を、その確定行動についての行動推定モデルそれぞれと照合し、一致度合いが高いほど大きな値となるように、本発明の適合重みに相当する区分適合度を導出している。
〈推定行動検出処理について〉
次に、行動推定処理のＳ１４０にて実行される推定行動検出処理について説明する。

ここで、図６は、推定行動検出処理の処理手順を示したフローチャートである。

図６に示すように、推定行動検出処理は、起動されると、まず、Ｓ４１０にて、全ての分類区分の中から、一つの分類区分を選択する。具体的に本実施形態では、推定行動検出処理が起動された直後であれば、分類区分Ａを選択し、以降、Ｓ４１０へと進んだ場合に、一つずつ大きな（即ち、分類区分Ｂ、分類区分Ｃ…の順序で）分類区分を選択する。

続いて、Ｓ４１０にて選択された分類区分に含まれている車載機器操作行動推定モデル群、持込品操作行動推定モデル群、及び繰返行動推定モデル群の中から、特徴点データと照合する行動推定モデル群（以下、照合対象とする）を一つ選択する（Ｓ４２０）。本実施形態では、推定行動検出処理が起動された直後であれば、車載機器操作行動推定モデル群を選択し、次に、Ｓ４２０へと進んだ場合、持込品操作行動推定モデル群を選択し、その後、Ｓ４２０へと進んだ場合、繰返行動推定モデル群を選択するようになされている。

続くＳ４３０では、Ｓ４２０にて選択された照合対象が、車載機器操作行動推定モデル群、持込品操作行動推定モデル群、繰返行動推定モデル群のいずれであるかを判定する。

そして、Ｓ４３０での判定の結果、車載機器操作行動推定モデル群であれば、Ｓ４４０へと進む。

そのＳ４４０では、車載機器操作行動推定モデル群に含まれている行動推定モデルそれぞれ（即ち、各操作継続行動推定モデル及び各遷移行動推定モデル）に、特徴点データを照合して、各行動推定モデルと特徴点データとの一致合いを表す照合一致度を導出する車載機器操作行動モデル照合処理を実行する。

具体的に、本実施形態の車載機器操作行動モデル照合処理では、時間の進行に沿って連続する特徴点データ（即ち、軌跡）と、各行動推定モデル中の軌跡とのなす角度（以下、判定角度とする）に基づく値を、その行動推定モデルに対する照合一致度として導出する。ただし、ここでの照合一致度は、判定角度が小さいほど大きな値となるものである。

また、Ｓ４３０での判定の結果、Ｓ４２０にて選択された照合対象が、持込品操作行動推定モデル群であれば、Ｓ４５０へと進む。

そのＳ４５０では、持込品操作行動推定モデル群に含まれている行動推定モデルそれぞれ（即ち、各持込品操作行動推定モデル及び各タッチ行動推定モデル）に、特徴点データを照合して、各行動推定モデルと特徴点データとの一致合いを表す照合一致度を各行動推定モデル毎に導出する持込品操作行動モデル照合処理を実行する。

具体的に、本実施形態の持込品操作行動モデル照合処理では、帰着点を原点とした相対座標に変換した特徴点データ（以下、相対特徴点とする）から帰着点までの距離に基づく値を、その行動推定モデルに対する照合一致度として導出する。ただし、ここでの照合一致度は、相対特徴点から帰着点までの距離が短いほど大きな値となるものである。

また、この持込品操作行動モデル照合処理では、時間の進行に沿って連続する特徴点データが移動する移動方向と、特徴点データから帰着点へと向かう行動方向とのなす角度（行動角度θ）が検出許容範囲外である場合には、その行動推定モデルについての照合一致度を０として導出する。さらに、この持込品操作行動モデル照合処理では、相対特徴点が、帰着領域もしくは通過領域外である場合にも、その行動推定モデルについての照合一致度を０として導出する。

Ｓ４３０での判定の結果、Ｓ４２０にて選択された照合対象が、繰返行動推定モデル群であれば、Ｓ４６０へと進む。

そのＳ４６０では、繰返行動推定モデル群に含まれている行動推定モデルそれぞれ（即ち、各繰返行動推定モデル）に、特徴点データを照合して、各行動推定モデルと特徴点データとの一致合いを表す照合一致度を導出する繰返行動モデル照合処理を実行する。

具体的に、本実施形態の繰返行動モデル照合処理では、各行動推定モデルに対応する相対座標に変換した特徴点データ（以下、変換特徴点とする）から、各行動推定モデルに含まれている特定点までの全距離のうち、最短の距離に基づく値を、その行動推定モデルに対する照合一致度として導出する。ただし、この照合一致度は、変換特徴点から特定点までの最短距離が短いほど、大きな値となるものである。

また、この繰返行動モデル照合処理では、行動推定モデルに含まれている許容領域外に変換特徴点が位置している場合には、照合一致度を０とする。

続く、Ｓ４７０では、Ｓ４１０にて選択された分類区分について、Ｓ４２０にて、車載機器操作行動推定モデル群、持込品操作行動推定モデル群、繰返行動推定モデル群の全てを選択したか否かを判定し、判定の結果、全てを選択していなければ、Ｓ４２０へと戻る。一方、判定の結果、全てを選択していれば、Ｓ４８０へと進む。

そのＳ４８０では、Ｓ４１０にて、全分類区分について選択したか否かを判定し、判定の結果、全ての分類区分について選択済でなければ、Ｓ４１０へと戻る。一方、判定の結果、全ての分類区分について選択済であれば、Ｓ４９０へと進む。

そのＳ４９０では、各分類区分毎に導出された照合一致度それぞれに対して、その分類区分についての区分適合度を乗算し、その乗算した結果を各行動推定モデルに対応する特定行動毎に累積する。そして、その累積した結果が、最も大きな値となった行動推定モデルに対応する特定行動を推定行動として検出する。

そして、その後、推定行動検出処理を終了して、行動推定処理のＳ１５０へと戻る。

つまり、推定行動検出処理では、区分適合度導出処理で導出された区分適合度を、照合一致度に乗じることで、特徴点データと各行動推定モデルとの照合結果に、各分類区分に運転者が属している可能性、即ち、その分類区分についての行動推定モデルに対する信頼度を反映させている。これにより、本実施形態の推定行動検出処理では、信頼度が高い行動推定モデルと特徴点データとの照合結果ほど、推定行動を検出する際に重要視されることになる。
［実施形態の効果］
したがって、本実施形態の行動推定システム１によれば、運転者が属している分類区分を重要視して推定行動を検出することになり、運転者が実施している可能性が最も高い特定行動を推定行動として検出することができる。

そして、行動推定システム１によれば、推定行動を検出するための指標を、照合一致度に区分適合度を乗じることで導出しているため、その指標に、信頼度の高い行動推定モデルと特徴点データとの照合結果を確実に反映させることができる。

これらのことから、本実施形態の行動推定システム１によれば、運転者の身長に起因する誤検出を低減することができ、この結果、推定行動の検出精度を向上させることができる。

また、本実施形態の行動推定システム１によれば、危険行動が運転者により実施されると、安全制御を実行するため、自車両を安全に操縦させることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。

まず、上記実施形態の推定行動検出処理におけるＳ４９０では、照合一致度に区分適合度を乗じた値（以下、指標値とする）を、特定行動毎に累積した結果が最大となる特定行動を推定行動として検出したが、推定行動を検出する方法は、これに限るものではない。例えば、指標値が最大となる行動推定モデルに対応する特定行動を推定行動として検出しても良い。

さらに、上記実施形態の推定行動検出処理では、推定行動を検出する際に、各分類区分それぞれについて、全行動推定モデルに特徴点データを照合していたが、推定行動を検出する際に照合する行動推定モデルは、一つの分類区分に含まれるものだけでも良い。ただし、この場合、区分適合度が最も大きな値である分類区分（以下、特定分類区分とする）についての行動推定モデルに、特徴点データを照合する必要がある。

このようにすれば、特定分類区分についての行動推定モデルのみと特徴点データとを照合するだけで良いため、推定行動を検出するまでに必要な処理を軽減できる。

なお、このように特定分類区分についての行動推定モデルに特徴点データを照合する場合、特定分類区分以外の分類区分に対する区分適合度を０とし、その区分適合度を用いて導出される指標値が０となるようにしても良い。

また、上記実施形態の推定行動検出処理におけるＳ４９０では、照合一致度に区分適合値を乗じることで、照合結果に区分適合度を反映した指標値を導出していたが、照合結果に区分適合度を反映した指標値を導出する方法は、これに限るものでは無く、例えば、照合一致度に区分適合度を加算しても良いし、その他の方法でも良い。

さらに、上記実施形態の区分適合度導出処理におけるＳ３１０では、区分適合度を導出するための設定条件を、確定行動情報が規定数以上生成されたこととしていたが、設定条件はこれに限るものでは無い。例えば、一つの確定行動情報が新たに生成されたことを設定条件としても良いし、予め規定された期間の長さである規定期間以上、確定行動が実施されていることを特定したことを設定条件としても良いし、この他の条件を設定条件としても良い。

この他の条件としては、運転者が自車両に乗り込んだ後に実施する特定行動（以下、乗込後行動とする）を確定行動として特定したことであっても良い。ただし、乗込後行動とは、ＩＧ機構操作継続行動、ステアリング操作継続行動、シフトレバー操作継続行動のうち、少なくとも一つであることが望ましい。

このようにすれば、自動車に乗員が乗り込んだ直後から、区分適合値を導出するため、推定行動の誤検出を低減することができる。

また、上記実施形態の区分適合度導出処理におけるＳ３２０では、メモリ１０ｂに記憶されている特徴点データの中から、確定行動を特定していた期間内の時刻と対応付けられた特徴点データを、行動時特徴点として抽出していたが、行動時特徴点の生成方法は、これに限るものではない。例えば、特徴点データを検出した際に、確定行動を特定していれば、その確定行動と特徴点データとを対応付けて行動時特徴点として生成するようにしても良い。

ところで、上記実施形態における確定行動情報生成処理では、確定行動として規定操作機器に対する操作継続行動のみを特定していたが、確定行動として特定する特定行動は、これに限るものではない。例えば、規定操作機器間での遷移行動を確定行動として特定しても良い。

この場合、一つの操作信号が入力された後、規定時間（例えば、３秒）以内に、他の操作信号が入力されると、操作機器間の遷移行動を確定行動として検出するようにすれば良い。例えば、ステアリング操作信号が画像処理プロセッサ２０に入力された後、規定時間以内にレバー操作信号が画像処理プロセッサ２０に入力された場合、ステアリングからシフトレバーへの遷移行動を確定行動として特定し、ステアリング操作信号が画像処理プロセッサ２０に入力された後、規定時間以内にナビ操作信号が画像処理プロセッサ２０に入力された場合、ステアリングからナビゲーション装置２１への遷移行動を確定行動として特定する。

また、上記実施形態の行動推定処理におけるＳ１６０では、安全制御処理として、危険行動を中止すべき旨を、ナビゲーション装置２１のスピーカー及びモニタから乗員に報知していたが、安全制御処理は、これに限るものではない。例えば、危険行動が推定行動として検出されると、自車両に備えられたシートベルトによる拘束力を増加させても良いし、空調制御装置２２に対して制御指令を出力して乗員に冷風を吹きかけても良い。さらには、ブレーキアクチュエータや、スロットルアクチュエータ、トランスミッションを制御して自車両の走行を停止させても良い。

ところで、上記実施形態の行動推定システム１では、人物の身長に応じて分類区分を設定したが、分類区分の設定方法は、これに限るものではなく、例えば、体重や、座高、人種、国籍などでも良い。なお、ここで言う人種とは、白色人種，黒色人種，黄色人種を表し、ここで言う国籍とは、アジア、欧州、北米などの各地域別の住人や、各国毎の住人といった概念を含むものである。

なお、上記実施形態における行動推定システム１は、自動車に搭載されていたが、行動推定システム１は、自動車に搭載されていなくとも良く、例えば、飛行機や、電車、二輪車などの移動体に搭載されていても良い。
［本発明と実施形態との対応関係］
上記実施形態の行動推定処理におけるＳ１１０を実行することで得られる機能が、本発明の画像取得手段に相当し、行動推定処理におけるＳ１２０を実行することで得られる機能が、本発明の特徴点検出手段に相当する。また、上記実施形態の記憶装置１０ａが、本発明のモデル格納手段に相当し、上記実施形態の確定行動情報生成処理を実行することで得られる機能が、本発明の確定行動検出手段に相当する。

さらに、上記実施形態の行動推定処理におけるＳ１４０（即ち、区分適合度導出処理）を実行することで得られる機能が、本発明の重み設定手段に相当し、行動推定処理におけるＳ１５０（即ち、推定行動検出処理）を実行することで得られる機能が、本発明の行動推定手段に相当する。そして、上記実施形態の行動推定処理におけるＳ１６０を実行することで得られる機能が、本発明の安全制御手段に相当する。

行動推定システムの概略構成を示したブロック図である。 記憶装置に記憶された行動推定モデルを示した説明図である。 確定情報生成処理の処理手順を示したフローチャートである。 行動推定処理の処理手順を示したフローチャートである。 区分適合度導出処理の処理手順を示したフローチャートである。 推定行動検出処理の処理手順を示したフローチャートである。 確定行動情報の概略構成を示した説明図である。

符号の説明

１…行動推定システム １０…画像処理プロセッサ １０ａ…記憶装置 １０ｂ…メモリ １０ｃ…演算装置 １５…撮影装置 ２０…制御対象装置群 ２１…ナビゲーション装置 ２２…空調制御装置 ３０…検知センサ群 ３１…ステアリング操作検知センサ ３２…シフトレバー操作検知センサ ３３…ＧＢ開閉検知センサ ３４…ＣＢ開閉検知センサ ３５…ＩＧ検知センサ

Claims (11)

1. 移動体の乗員が撮影された撮影画像を繰り返し取得する画像取得手段と、
   人物の身体上に予め設定された少なくとも１つのポイントを特徴点とし、前記画像取得手段で撮影画像を取得する毎に、その撮影画像に写り込んだ乗員の特徴点の位置を表す特徴点データを検出する特徴点検出手段と、
   前記乗員が実施する可能性のある行動を特定行動とし、前記特定行動を実施している時の特徴点の位置または軌跡を各特定行動毎に表したモデルを行動推定モデルとし、人物の身体的特徴に応じて予め設定した少なくとも２つ以上の分類区分それぞれについて、全ての特定行動に対する行動推定モデルを格納しているモデル格納手段と、
   前記特定行動の中で予め規定された少なくとも一つを確定行動とし、前記特徴点データと前記行動推定モデルとの照合とは異なる手法を用いて、前記乗員により確定行動が実施されていることを検出する確定行動検出手段と、
   前記確定行動検出手段にて確定行動が実施されていることを検出している期間に前記特徴点検出手段で検出された特徴点データを行動時特徴点とし、前記行動時特徴点を、その確定行動についての行動推定モデルそれぞれと照合し、一致度が高いほど大きな値となるように、各行動推定モデルに対する分類区分に前記乗員が属する可能性の高さを表す適合重みを設定する重み設定手段と、
   前記特徴点検出手段で検出された特徴点データを、前記モデル格納手段に格納されている行動推定モデルそれぞれに照合し、その照合結果である一致度合いに対し、前記重み設定手段で設定された適合重みが反映された適合値が最も高い前記行動推定モデルに対応する特定行動を推定行動として検出する行動推定手段と
   を備えることを特徴とする行動推定装置。
2. 前記確定行動には、前記移動体内に搭載され予め規定された操作機器を操作する行動が含まれ、
   前記確定行動検出手段は、
   前記操作機器が操作されたことを表す操作信号を取得する操作信号取得手段を備え、
   前記操作信号取得手段で取得された操作信号から前記確定行動が実施されていることを検出することを特徴とする請求項１に記載の行動推定装置。
3. 前記行動推定手段は、
   前記モデル格納手段に格納されている全ての行動推定モデルと、前記特徴点データとを照合し、前記一致度合いそれぞれに前記適合重みを加算または乗算した指標値を前記適合値とすることを特徴とする請求項１または請求項２に記載の行動推定装置。
4. 前記行動推定手段は、
   前記指標値を、各行動推定モデルに対応する特定行動毎に累積した結果を前記適合値とすることを特徴とする請求項３に記載の行動推定装置。
5. 前記行動推定手段は、
   前記重み設定手段にて設定された前記適合重みが最大である前記分類区分についての前記行動推定モデルとのみ、前記特徴点データを照合し、前記一致度合いそれぞれを前記適合値とすることを特徴とする請求項１ないし請求項４のいずれかに記載の行動推定装置。
6. 前記重み設定手段は、
   前記一致度が最も高い前記行動推定モデルが属する前記分類区分を特定分類区分とし、前記特定分類区分に対する前記適合重みを最大値に設定すると共に、前記特定分類区分以外の前記分類区分に対する前記適合重みを０に設定することを特徴とする請求項５に記載の行動推定装置。
7. 前記重み設定手段は、
   前記確定行動検出手段にて前記確定行動が実施されていることが検出されると、前記適合重みを設定することを特徴とする請求項１ないし請求項６のいずれかに記載の行動推定装置。
8. 前記重み設定手段は、
   前記確定行動検出手段にて、予め規定された期間の長さである規定期間以上、前記確定行動が実施されていることが検出されると、前記適合重みを設定することを特徴とする請求項１ないし請求項７のいずれかに記載の行動推定装置。
9. 前記特定行動のうち、乗員が実施すると前記移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とし、
   前記行動推定手段で検出された推定行動が前記危険行動であれば、前記移動体を安全に操縦させるための安全制御を実行する安全制御手段
   を備えることを特徴とする請求項１ないし請求項８のいずれかに記載の行動推定装置。
10. 前記身体的特徴とは、
    人物の身長、体重、座高、性別、人種のうち、少なくとも一つであることを特徴とする請求項１ないし請求項９のいずれかに記載の行動推定装置。
11. コンピュータを、請求項１ないし請求項１０のいずれかに記載の行動推定装置を構成する各手段として機能させることを特徴とするプログラム。

Images