JP4670803B2 - 操作推定装置およびプログラム - Google Patents

Description

本発明は、操作者が実施しようとしている操作内容を推定するための操作推定装置に関する。

近年、人間の姿勢などを推定する技術として、次のような技術が提案されている。
それは、画像中の人間に対応する領域に、身体を模擬的に表現してなる身体モデルを、その人間の姿勢に合わせて重ね合わせ、その身体モデルにおける人体特徴点の位置（座標）それぞれを特定することにより、その人体特徴点の配置に基づいて人間の姿勢などを推定する、といった技術である（特許文献１参照）。
特開２００３−１０９０１５号公報

しかし、上述した技術では、人間の姿勢などを推定することはできても、例えば、その人間が何らかの操作対象を操作しようとしているか否か、どの操作対象を操作しようとしているのか、といったことまで推定することはできなかった。

本発明は、このような課題を解決するためになされたものであり、その目的は、操作者が操作対象を操作しようとしているか否か、および、どの操作対象を操作しようとしているのか、といったことを推定できるようにするための技術を提供することである。

上記課題を解決するため請求項１に記載の操作推定装置は、複数の操作対象，および，該操作対象を操作可能な位置に存在する操作者を含む画像を繰り返し取得する画像取得手段と、該画像取得手段により繰り返し取得される画像毎に、該画像に含まれる操作者における所定の人体特徴点を特定する人体特徴点特定手段と、該人体特徴点特定手段により特定された画像毎の人体特徴点それぞれに基づいて、操作者が実施しようとしている操作内容を推定する操作推定手段と、を備えている。

そして、該操作推定手段は、操作対象を操作する操作者が辿ると推定される姿勢軌跡（推定姿勢軌跡）をその操作内容毎にモデル化してなる遷移推定モデルそれぞれと、前記人体特徴点特定手段により特定された画像毎の人体特徴点それぞれから求められる操作者の姿勢軌跡（実姿勢軌跡）とを照合し、前記遷移推定モデルでモデル化された推定姿勢軌跡のうち、前記実姿勢軌跡との近似度が所定のしきい値を満たす前記推定姿勢軌跡につき、該推定姿勢軌跡に対応する操作内容を操作者が実施しようとしていると推定する。

このように構成された操作推定装置によれば、操作者による実際の姿勢軌跡である実姿勢軌跡を、遷移推定モデルにおける姿勢軌跡である推定姿勢軌跡それぞれと照合し、所定のしきい値を満たす近似度となっている推定姿勢軌跡があることをもって、操作者が操作対象を操作しようとしていると推定できる。さらに、その近似の条件を満たす推定姿勢軌跡に対応する操作内容を操作者が実施しようとしていると推定できる。

この構成における人体特徴点特定手段は、特許文献１に記載されている手法を用いて特定することとすればよい。具体的にいうと、画像中の操作者に対応する領域に、身体を模擬的に表現してなる身体モデルを、その操作者の姿勢に合わせて重ね合わせ、その身体モデルにおける１以上の人体特徴点の位置それぞれ（以降、１つの画像から特定される１以上の人体特徴点を単に「人体特徴点」という）を特定する、といった手法である。

また、操作推定手段は、実姿勢軌跡を推定姿勢軌跡それぞれと照合した結果、近似度がしきい値を満たす推定姿勢軌跡が複数存在している場合、それらのうちいずれかの推定姿勢軌跡（例えば、近似度が最大または最小の推定姿勢軌跡）に基づいて操作内容を推定することとすればよい。

また、この構成においては、請求項２に記載の操作推定装置のように構成してもよい。この操作推定装置において、前記操作推定手段は、前記推定姿勢軌跡をその操作内容毎にモデル化してなる遷移推定モデルそれぞれ，および，特定の操作対象を継続的に操作する操作者がとると推定される姿勢点（推定姿勢点）をその操作対象毎にモデル化してなる停留推定モデルそれぞれと、前記実姿勢軌跡とを照合し、前記遷移推定モデルでモデル化された推定姿勢軌跡のうち、前記実姿勢軌跡との近似度が所定のしきい値を満たす前記推定姿勢軌跡，または，前記推定姿勢点につき、その推定姿勢軌跡に対応する操作内容を操作者が実施しようとしている，または，その推定姿勢点に対応する操作対象を操作していると推定する。

このように構成すれば、操作者による実際の姿勢軌跡である実姿勢軌跡（または，この姿勢軌跡を形成する姿勢点）を、遷移推定モデルにおける姿勢軌跡である推定姿勢軌跡それぞれ，および，停留推定モデルにおける姿勢点である推定姿勢点それぞれと照合し、しきい値を満たす近似度となっている推定姿勢軌跡または推定姿勢点があれば、その推定姿勢軌跡に対応する操作内容を操作者が実施しようとしている，その姿勢点に対応する操作対象を操作している，と推定できる。

また、上述した操作推定手段により操作者が実施しようとしている操作内容，または，操作者が操作している操作対象が推定された場合には、その推定結果に対応する操作の実施（操作しようとしている操作対象または操作している操作対象の操作）をサポートするようにすれば、その操作内容を先回りしてサポートする，または，継続されている操作をサポートすることができる。

このためには、上記構成を、例えば、請求項３に記載のように、前記操作推定手段による推定結果に対応する操作対象について、該操作対象への操作を補助する操作補助手段を備えたものとすることが考えられる。

このように構成すれば、操作者が実施しようとしている操作内容を先回りしてサポートでき、または、操作者が実施している操作を継続的にサポートすることができるため、その操作の実施を容易なものとすることができて好適である。

上述した構成において、操作補助手段により操作内容をサポートするための具体的な構成は特に限定されない。
例えば、複数の操作対象それぞれに対し、該操作対象の向きを変更することのできる変更機構が設けられている場合であれば、次のように構成することが考えられる。それは、前記操作推定手段による推定結果に対応する操作対象について、該操作対象に対応する前記変更機構を制御して該操作対象の向きを操作者側へ向けることにより、その操作を補助する、といった構成である。

この場合、操作者が操作しようとした操作対象の向きを、その操作者側へ向けることができるため、その操作対象をより操作しやすいものとすることができる。
また、操作補助手段により操作内容をサポートするための別の構成としては、複数の操作対象それぞれに対し、該操作対象の一部または全体を振動させることのできる振動機構が設けられている場合であれば、次のように構成することが考えられる。それは、前記操作推定手段により推定された操作内容において操作されるべき操作対象について、該操作対象に対応する前記振動機構を制御して該操作対象の一部または全体を振動させ、その位置を触覚的に認識できるようにすることにより、その操作を補助する、といった構成である。

この場合、操作者が操作しようとした操作対象の一部または全体が振動するため、その振動により操作対象の位置を認識できるようになる結果、操作者の手などを触覚的に操作対象の位置まで導くことができる。

また、操作補助手段により操作内容をサポートするための別の構成としては、１以上の操作対象それぞれに対し、該操作対象を照らすことのできる位置関係で配置されたランプが設けられている場合であれば、次のように構成することが考えられる。それは、前記操作推定手段による推定結果に対応する操作対象について、該操作対象に対応するランプの明るさを他のランプよりも明るくすることにより、その操作を補助する、といった構成である。

より具体的にいうと、請求項４に記載のように構成することが考えられる。それは、前記操作推定手段による推定結果に対応する操作対象について、該操作対象に対応するランプを点灯させて該操作対象を照らすことにより、その操作を補助する、といった構成である。

この場合、操作者が操作しようとした操作対象がランプにより照らされるため、その操作対象の位置を視認しやすくなる結果、操作者の手などを視覚的に操作対象の位置まで導くことができる。

また、操作補助手段により操作者が実施しようとしている操作内容をサポートするための別の構成としては、１以上の操作対象の中に、カバーを開閉して内部に収容物を収容可能な収容操作対象が含まれており、該収容操作対象が前記カバーを開閉するための開閉機構を備えている場合であれば、請求項５に記載のように構成することが考えられる。

それは、前記操作推定手段により推定された操作内容において操作されるべき操作対象が前記収容操作対象である場合、該収容操作対象における開閉機構を制御して前記カバーを開放させることにより、その操作を補助する、といった構成である。

この場合、操作者が収容操作対象を操作しようとした場合に、その収容操作対象におけるカバーを先回りして開放することができるため、その内部に収容物を収容しようとする，または，その内部から収容物を取り出そうとする動作の一部を省略させることができる。

また、この構成において、操作補助手段は、請求項６に記載のように、前記操作推定手段による推定結果に対応する操作対象が、前記収容操作対象以外である場合であって、すでに該収容操作対象の前記カバーが開放されている場合、該収容操作対象における開閉機構を制御して前記カバーを閉鎖させる、ように構成するとよい。

このように構成すれば、収容操作対象のカバーが開放した状態で、操作者が他の操作対象の操作を実施しようとしている，または，操作対象の操作を実施しようとしていない場合に、その収容操作対象のカバーを自動的に閉鎖させることができる。

ところで、上述した各操作推定装置は、種々の装置に搭載した状態で使用することが考えられる。具体的な例としては、例えば、請求項７に記載のように、車両に搭載された状態で使用することが考えられる。この場合、画像取得手段は、車両における１以上の操作対象，および，車両における座席に存在する操作者を含む画像を繰り返し取得する、こととなる。

このように構成すれば、車両室内における操作対象それぞれの操作が行われることを推定することができるようになる。
なお、この構成における操作対象とは、例えば、車両室内におけるステアリング，助手席のシート，ルームミラー，センタパネル右ブロア，センタパネル左ブロア，グローブボックス，コンソールボックス，ナビゲーション装置，空調装置，シフトレバーなどのことである。

また、このように操作推定装置を車両に搭載した状態で使用する場合は、操作対象を操作する，または，操作を継続することが、車両周辺の状況に照らして適切ではないことがある。例えば、１以上の操作対象のうちのステアリングおよびシフトレバー以外の操作対象が操作されている状態で、車両に物体が相対的に接近してきているような場合である。

この場合、運転者（運転席の操作者）がその操作対象の操作に集中して接近する物体の存在に気付いていないと、その物体に衝突してしまう恐れがあるため、その存在に気付かせるべく、上述した各構成を、例えば、請求項８に記載の操作推定装置のように構成すればよい。

この操作推定装置は、前記車両へと相対的に接近する物体が存在しているか否かを検出する接近検出手段と、前記操作推定手段による推定結果に対応する操作対象がステアリングおよびシフトレバー以外となっている状況で、前記物体検出手段により物体の接近が検出された際に、その操作対象に対する操作を中断すべき旨を報知する第１中断報知手段と、を備えている。

このように構成すれば、ステアリングおよびシフトレバー以外の操作対象が操作される，または，操作されている状態で、車両に相対的に物体が接近している場合に、その操作対象に対する操作を中断すべき旨を報知することができる。そのため、例えば、運転者がその操作対象の操作に集中していたとしても、その報知により、接近する物体の存在に気付かせて、その物体に衝突してしまうことを回避するように運転を実施させることができる。

また、上述した各操作推定装置が車両に搭載されている場合に、操作対象を操作する，または，操作を継続することが、車両周辺の状況に照らして適切ではない場合としては、１以上の操作対象のうちのステアリングおよびシフトレバー以外の操作対象が操作されている状態で、車両前方の信号が「青」の表示になっている状態や踏切における遮断機が上がっている状態のように車両を発進させるべき交通事情となっている場合も考えられる。

この場合、運転者がその操作対象の操作に集中して、車両前方の信号が「青」の表示になっていることや遮断機が上がっていることに気付いていないと、交通の妨げとなってしまう恐れがあるため、そのことに気付かせるべく、上述した各構成を、例えば、請求項９に記載の操作推定装置のように構成すればよい。

この操作推定装置は、前記車両の走行状態を検出する走行状態検出手段と、前記車両周辺の交通事情に関する情報を取得する交通情報取得手段と、前記操作推定手段による推定結果に対応する操作対象がステアリングおよびシフトレバー以外となっている状況で、前記走行状態検出手段により検出された走行状態が停車している状態となっており、かつ、前記交通情報取得手段により取得された情報が車両を発進させるべき交通事情に関する情報となっている場合に、その操作対象に対する操作を中断すべき旨を報知する第２中断報知手段と、を備えている。

このように構成すれば、ステアリングおよびシフトレバー以外の操作対象が操作される，または，操作されている状態で、車両を発進させるべき交通事情となっている場合に、その操作対象に対する操作を中断すべき旨を報知することができる。そのため、例えば、運転者がその操作対象の操作に集中していたとしても、その報知により上記交通事情となっていることに気付かせて、その操作対象の操作を中断することを促すと共に、その運転者に車両を発進させて交通の妨げとなることを回避させることができる。

なお、上述した各中断報知手段は、該当する操作対象に対する操作を中断すべき旨を報知する手段であり、その報知の具体的な方法については特に限定されない。例えば、その旨のメッセージを表示部に表示させる，スピーカから音声として出力させる，ランプを点灯させる，所定のアクチュエータを駆動させる，などといった方法を採用することができる。

また、上述した各構成において、操作推定手段は、例えば、請求項１０に記載のように、記憶部に記憶されている推定モデルを読み出したうえで、該読み出した推定モデルそれぞれと前記実姿勢軌跡とを照合する、ように構成すればよい。

このように構成すれば、操作内容に応じた推定モデルそれぞれを記憶部に記憶させておくことにより、こうして記憶された推定モデルそれぞれを読み出したうえで、実姿勢軌跡の照合を実現することができる。

また、上述した操作推定手段が実姿勢軌跡を照合する際に用いる推定モデルは、あらかじめ用意されたものを継続的に用いることとしてもよい。ただ、操作者における姿勢点，実姿勢軌跡の傾向などを反映させたものに修正して用いることが、操作内容を正確に推定できるようにするうえで望ましいといえる。

例えば、特定の操作対象を継続的に操作する操作者がとるべき推定姿勢点をモデル化してなる停留推定モデルについては、請求項１１〜１４のいずれかに記載のように構成することが考えられる。

また、特定の操作対象の操作が終了して別の操作対象の操作が行われるという操作内容につき、該操作内容を実施する操作者が辿るべき推定姿勢軌跡をモデル化してなる遷移推定モデルについては、請求項１５〜１８のいずれかのように構成することが考えられる。

以下、これら構成について説明する。
請求項１１に記載の操作推定装置は、１以上の操作対象それぞれに対する操作状態を検出する操作状態監視手段と、該操作状態監視手段により操作対象が操作されていることが検出された時点において、前記人体特徴点特定手段により特定された人体特徴点から求められる姿勢点（実姿勢点）に基づき、特定の操作対象を継続的に操作する操作者がとるべき推定姿勢点をモデル化してなる停留推定モデルのうち、その操作されていることが検出された操作対象に対応する停留推定モデルを修正する停留推定モデル修正手段と、を備えている。

このように構成すれば、操作者が特定の操作対象を継続的に操作した場合に、その操作内容に対応する停留推定モデルを、その操作対象が操作された時点における姿勢点に基づいて修正することができる。これにより、その停留推定モデルが操作者における姿勢点の傾向が反映されたものに修正される結果、その操作者に適応させた停留推定モデルとすることができる。このことは、その操作者に同じ操作内容が繰り返し実施されるほどより顕著になる。

また、この構成における停留推定モデル修正手段は、操作対象が操作された時点における人体特徴点から求められる実姿勢点に基づき、その操作対象に対応する停留推定モデルを修正する手段であるが、その修正は、操作対象が操作される都度、その時点で人体特徴点特定手段により特定された人体特徴点から求められる実姿勢点に基づいて実施するように構成すればよい。

また、操作対象が操作された時点で人体特徴点特定手段により特定された人体特徴点を記憶部に蓄積しておき、所定のタイミングで、その蓄積された人体特徴点から求められる実姿勢点に基づいて実施するように構成してもよい。

このためには、例えば、請求項１２に記載のように、前記操作状態監視手段により操作対象が操作されていることが検出される毎に、該検出された時点において前記人体特徴点特定手段により特定された人体特徴点を、記憶部に蓄積させる停留点蓄積手段を備えるとよい。そして、停留推定モデル修正手段が、所定の修正条件が満たされた際に、前記停留点蓄積手段により記憶部に蓄積された複数の人体特徴点に基づいて、前記操作されていることが検出された操作対象に対応する停留推定モデルを修正する、ように構成するとよい。

このように構成すれば、操作対象が操作された時点における人体特徴点から求められる実姿勢点に基づいて、修正条件が満たされたタイミングで停留推定モデルの修正を実施することができる。

この構成において、停留推定モデル修正手段が停留推定モデルを修正する契機となる「修正条件」としては、例えば、操作推定装置が起動したこと、先に推定モデルの修正が実施されてから所定の時間が経過したこと、停留点蓄積手段により所定数以上の人体特徴点または実姿勢点が蓄積されたこと、などが考えられる。

また、上述した停留点蓄積手段は、人体特徴点を記憶部に蓄積させる手段であるが、このとき、人体特徴点については、その数に上限を設けずに蓄積していくこととしてもよい。また、操作対象毎に上限を設けておき、記憶部に蓄積された人体特徴点の数がその上限値に到達した以降、その操作対象に対応する最も古い人体特徴点を、新たに蓄積すべき人体特徴点に更新（上書き）するようにしてもよい。

また、この停留推定モデル修正手段が停留推定モデルを修正する具体的な方法については特に限定されないが、例えば、請求項１３に記載のように、前記停留点蓄積手段により記憶部に蓄積された所定数の人体特徴点からそれぞれ求められる実姿勢点を平均化し、該平均化された実姿勢点をモデル化してなる推定モデルに、前記操作されていることが検出された操作対象に対応する停留推定モデルを更新する、ことが考えられる。

このように構成すれば、操作された操作対象に対応する停留推定モデルを、記憶部に蓄積された人体特徴点から求められる所定数の実姿勢点を平均化してなる推定モデルに更新（上書き）することにより、その停留推定モデルの修正をすることができる。

また、この構成では、記憶部に蓄積された所定数の人体特徴点が抽出され、それらが停留推定モデルの修正に用いられることとなるが、それらの記憶部への蓄積は、その停留推定モデルに対応する操作対象が操作されることにより実施されるものであるため、その操作対象の操作が充分な回数だけ行われていない状態で修正条件が満たされてしまうと、本来修正に用いられるべき所定数の人体特徴点が抽出できなくなってしまう。

この場合であっても、所定数未満の人体特徴点に基づいて停留推定モデルの修正を行うこととすればよいが、その不足分を、あらかじめ用意した人体特徴点で補ったうえで修正を行うこととしてもよい。

このための構成としては、例えば、請求項１４に記載のように、所定数の実姿勢点を平均化するにあたり、前記停留点蓄積手段により記憶部に蓄積された人体特徴点が所定数に満たない場合、その不足分を、操作対象毎にあらかじめ用意された人体特徴点のうちの前記操作されていることが検出された操作対象に対応する人体特徴点で補ったうえで、その平均化を行う、ように構成すればよい。

このように構成すれば、修正に用いられるべき所定数の人体特徴点が記憶部に蓄積される前の段階であっても、所定数の人体特徴点に基づいて、停留推定モデルの修正を行うことができる。

続いて、請求項１５に記載の操作推定装置は、１以上の操作対象それぞれに対する操作状態を検出する操作状態監視手段と、該操作状態監視手段により操作されていることが検出されていた操作対象について操作されていることが検出されなくなった以降、別の操作対象が操作されていることが検出されるまでの間に、前記人体特徴点特定手段により特定された人体特徴点それぞれから求められる実姿勢軌跡に基づいて、その前者の操作対象の操作が終了して後者の操作対象の操作が行われるという操作内容に対応する遷移推定モデルを修正する遷移推定モデル修正手段と、を備えている。

このように構成すれば、操作者が、ある操作対象の操作が終了して別の操作対象の操作を行うという操作を実施した場合に、その操作内容に対応する遷移推定モデルを、その間に特定された人体特徴点それぞれから求められる実姿勢軌跡に基づいて修正することができる。これにより、その遷移推定モデルがその操作者における姿勢軌跡の傾向が反映されたものに修正される結果、その操作者に適応させた遷移推定モデルとすることができる。このことは、その操作者に同じ操作内容が繰り返し実施されるほどより顕著になる。

この構成において、遷移推定モデル修正手段が遷移推定モデルを修正する契機となる「修正条件」としては、例えば、操作推定装置が起動したこと、先に推定モデルの修正が実施されてから所定の時間が経過したこと、遷移軌跡蓄積手段により所定数以上の人体特徴点群または実姿勢軌跡が記憶されたこと、などが考えられる。

また、この構成における遷移推定モデル修正手段は、ある操作対象の操作が終了して別の操作対象の操作が行われるまでの人体特徴点それぞれ（人体特徴点群）から求められる実姿勢軌跡に基づき、その操作対象に対応する停留推定モデルを修正する手段であるが、その修正は、人体特徴点群を記憶部に蓄積しておき、所定のタイミングで、その蓄積された人体特徴点群から求められる実姿勢軌跡に基づいて実施することとすればよい。

このためには、例えば、請求項１６に記載のように、前記操作状態監視手段により操作されていることが検出されていた操作対象について操作されていることが検出されなくなった以降、別の操作対象が操作されていることが検出されるまでの間に、前記人体特徴点特定手段により特定された人体特徴点それぞれからなる人体特徴点群を、記憶部に蓄積させる遷移軌跡蓄積手段を備えるとよい。そして、遷移推定モデル修正手段が、所定の修正条件が満たされた際に、前記遷移軌跡蓄積手段により記憶部に蓄積された人体特徴点群から求められる実姿勢軌跡に基づいて、該当する操作内容に対応する遷移推定モデルを修正する、ように構成するとよい。

このように構成すれば、ある操作対象の操作が終了して別の操作対象の操作が行われるまでの人体特徴点それぞれから求められる実姿勢軌跡に基づいて、修正条件が満たされたタイミングで遷移推定モデルの修正を実施することができる。

この構成において、遷移軌跡蓄積手段は、人体特徴点群を記憶部に蓄積させる手段であるが、このとき、人体特徴点群については、その数に上限を設けずに蓄積していくこととしてもよい。また、操作内容毎に上限を設けておき、記憶部に蓄積された人体特徴点群の数がその上限値に到達した以降、その操作内容に対応する最も古い人体特徴点群を、新たに蓄積すべき人体特徴点群に更新（上書き）するようにしてもよい。

また、この遷移推定モデル修正手段が遷移推定モデルを修正する方法については特に限定されないが、例えば、請求項１７に記載のように、前記遷移軌跡蓄積手段により記憶部に蓄積された所定数の人体特徴点群からそれぞれ求められる実姿勢軌跡を平均化し、該平均化した実姿勢軌跡をモデル化してなる推定モデルに、該当する遷移推定モデルを更新する、ことが考えられる。

このように構成すれば、実施された操作内容に対応する遷移推定モデルを、記憶部に蓄積された人体特徴点群から求められる所定数の実姿勢軌跡を平均化してなる推定モデルに更新（上書き）することにより、その遷移推定モデルの修正をすることができる。

また、この構成では、記憶部に蓄積された所定数の人体特徴点群が抽出され、それらが遷移推定モデルの修正に用いられることとなるが、それらの記憶部への蓄積は、その遷移推定モデルに対応する操作内容が実施されることにより実施されるものであるため、その操作内容が充分な回数だけ実施していない状態で、修正条件が満たされてしまうと、本来修正に用いるべき所定数の人体特徴点群が抽出できなくなってしまう。

この場合であっても、所定数未満の人体特徴点群に基づいて停留推定モデルの修正を行うこととすればよいが、その不足分を、あらかじめ用意した人体特徴点群で補ったうえで修正を行うこととしてもよい。

このための構成としては、例えば、請求項１８に記載のように、所定数の実姿勢軌跡を平均化するにあたり、前記遷移軌跡蓄積手段により記憶部に蓄積された人体特徴点群が所定数に満たない場合、その不足分を、操作内容毎にあらかじめ用意された人体特徴点群のうちの該当する操作内容に対応する人体特徴点群で補ったうえで、その平均化を行う、ように構成すればよい。

このように構成すれば、修正に用いられるべき所定数の人体特徴点群が記憶部に蓄積される前の段階であっても、所定数の人体特徴点群に基づいて、遷移推定モデルの修正を行うことができる。

なお、上述した各操作状態監視手段は、操作対象それぞれが操作されていることを検出することができればよく、例えば、その操作対象が操作されたことを検出するセンサを設けておき、このセンサからの出力に基づいて、操作対象それぞれの操作状態を検出することとすればよい。また、操作推定装置が車両に搭載された状態で使用される場合であって、操作対象それぞれが、車両内のネットワークに接続されており、その操作に応じた情報をネットワーク経由で外部へと送信可能に構成されている場合であれば、その情報に基づいて、操作対象それぞれの操作状態を検出することとしてもよい。

また、請求項１９に記載のプログラムは、請求項１から１８のいずれかに記載の操作推定装置の備える全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラムである。

このプログラムにより制御されるコンピュータシステムは、請求項１から１８のいずれかに記載の操作推定装置の一部を構成することができる。
なお、上述した各プログラムは、各種記録媒体や通信回線を介してクライアント，サーバやこれを利用するユーザに提供されるものである。

以下に本発明の実施形態を図面と共に説明する。
（１）全体構成
操作支援システム１は、車両に搭載された各構成要素からなるものであって、図１に示すように、マイコンやメモリなどを有する周知のＥＣＵである操作推定装置１０，車両室内を撮影するためのカメラ２０，車両室内に配置された操作対象周辺にそれぞれ設けられた複数のランプからなるランプ群３０，ナビゲーション装置４０，空調装置５０，シフトレバー６０，車両室内に設置された複数の操作対象周辺にそれぞれ設けられた複数のセンサ（近接センサ，タッチセンサ，スイッチなど）からなるセンサ群７０などで構成される。

なお、本実施形態において、車両室内に配置された操作対象とは、図２（ａ）に示すように、例えば、ルームミラー８２，ステアリング８４，助手席のシート８６，センタパネル右ブロア９０，センタパネル左ブロア９２，グローブボックス９４，コンソールボックス９６，ナビゲーション装置４０，空調装置５０，シフトレバー６０などのことである。

カメラ２０は、車両室内におけるルームミラー８２上部の領域８２ａに、少なくとも車両の運転者，および，車両室内において運転者が操作しうる操作対象全てを撮影できる位置関係で取り付けられており、そうして撮影してなる画像（図２（ｂ）参照）を随時操作推定装置１０へと出力する。

ランプ群３０は、各ランプに対応する操作対象をそのランプで照らすことができる位置関係で取り付けられている。
センサ群７０は、各センサに対応する操作対象が操作されたことを検出できるような位置関係で取り付けられている。そして、該当する操作対象の操作を検出した際に、その検出結果を示す情報を、センサから操作推定装置１０へと至る通信路（例えば、車両内のネットワーク）を介して操作推定装置１０へと送信する。
（２）操作推定装置１０による処理
以下に、操作推定装置１０（のマイコン）がその内蔵メモリに記憶されたプログラムに従って実行する各種処理を説明する。
（２−１）人体特徴点特定処理
はじめに、操作推定装置１０が起動されて以降、繰り返し実行される人体特徴点特定処理の処理手順について図４に基づいて説明する。

なお、この人体特徴点特定処理は、操作推定装置１０の内蔵するマイコンを、カメラ２０から入力される画像を取得する画像取得手段１１０と、画像取得手段１１０により取得された画像中の運転者における１以上の人体特徴点それぞれを特定する人体特徴点特定手段１２０と、からなる機能ブロックとして機能させることにより実行されるものである（図３参照）。

この人体特徴点特定処理が起動されると、まず、画像取得手段１１０が、カメラ２０から入力される画像を取得する（ｓ１１０）。ここでは、運転者が各操作対象を操作している様子を示す画像が取得されることとなる（図５（ａ）〜（ｊ）参照）。

次に、ｓ１１０にて取得された画像に基づいて、人体特徴点特定手段１２０が、この画像中の運転者における１以上の人体特徴点それぞれを特定する（ｓ１２０）。
ここでは、カメラ２０から入力される画像中の運転者に対応する領域に、人体を模擬的に表現してなる身体モデルを、その運転者の姿勢に合わせて重ね合わせ、その画像中から、身体モデルにおける基準となる座標それぞれを、その画像中の運転者における人体特徴点として特定する。ここでいう「身体モデルの基準点」とは、例えば、両肩，両肘，両手首などの中心位置のことである（図６のｄ１〜ｄ６参照；以降、１つの画像から特定される１以上の人体特徴点を単に「人体特徴点」という）。なお、このような身体モデルの重ね合わせについては、特開２００３−１０９０１５号に記載された技術を利用することとすればよい。

そして、人体特徴点特定手段１２０が、ｓ１２０にて特定された人体特徴点を人体特徴点リストに登録した後（ｓ１３０）、プロセスがｓ１１０へと戻る。
この人体特徴点リストは、人体特徴点を登録するためにメモリ内に用意されたリストであって、所定数Ｎの人体特徴点が先入れ先出し方式で登録されるリストである。つまり、この人体特徴点リストは、本人体特徴点特定処理が一定回数繰り返された以降、人体特徴点として常に最新のものから所定数Ｎだけ前までのものが登録された状態となる。なお、この人体特徴点リストには、運転者が特定の姿勢をとっている場合における人体特徴点として想定される人体特徴点を、初期値として登録しておくこととしてもよい。
（２−２）操作補助処理
続いて、操作推定装置１０が起動されて以降、上記人体特徴点特定処理と並行して繰り返し実行される操作補助処理の処理手順を図７に基づいて説明する。

なお、この操作補助処理は、操作推定装置１０の内蔵するマイコンを、人体特徴点リストに登録された人体特徴点に基づいて運転者の操作内容を推定する操作推定手段２１０と、操作推定手段２１０により推定された操作内容の実施を補助すべくランプ群３０の点灯を制御する操作補助手段２２０と、からなる機能ブロックとして機能させることにより実行されるものである（図３参照）。

この操作補助処理が起動されると、まず、操作推定手段２１０が、上述した人体特徴点リストに登録されている全ての人体特徴点を読み出し（ｓ２１０）、こうして読み出した人体特徴点それぞれに基づいて運転者の姿勢軌跡を特定する（ｓ２２０）。このｓ２２０では、ｓ２１０にて読み出された各人体特徴点を、主成分分析により表現される固有空間に投影し、こうして投影した固有空間上での座標の軌跡を運転者による実際の姿勢軌跡（以降、「実姿勢軌跡」という）として特定する。

この後、操作推定手段２１０は、ｓ２２０にて特定された実姿勢軌跡と、メモリから読み出した複数の推定モデルにて示される姿勢軌跡および姿勢点それぞれと、の照合を経て、運転者の操作内容を推定する。

ここでいう推定モデルとは、停留推定モデルと、遷移推定モデルと、に大別される。停留推定モデルは、ある操作対象を継続的に操作している運転者がとると推定される姿勢点（以降、「推定姿勢点」という）をモデル化したものであり、操作対象それぞれに対応するものがメモリ内に用意されている。また、遷移推定モデルは、ある操作対象を操作していた状態から別の操作対象の操作へと移行するといった操作内容を実施している運転者が辿ると推定される姿勢軌跡（以降、「推定姿勢軌跡」という）をモデル化したものである。操作内容それぞれに対応するものがメモリ内に用意されている。ここで、図８（ａ）に３次元に簡易化した固有空間における停留推定モデルを示し、同図（ｂ）〜（ｅ）に同固有空間における遷移推定モデルの一例を示す。

そして、操作推定手段２１０による照合に際しては、まず、上記ｓ２２０にて特定された実姿勢軌跡における座標（姿勢点，つまり固有空間上の座標）（ｐ０１〜ｐ０ｎ；１≦ｎ）毎に、その座標と、各推定モデル１〜ｘ（１＜ｘ）にて示される推定姿勢軌跡，推定姿勢点における固有空間上の座標（ｐ１１〜ｐ１ｍ，ｐ２１〜ｐ２ｍ，…，ｐｘ１〜ｐｘｍ；１≦ｍ）それぞれと、のなす角度が算出される（ｓ２３０）。

こうして、実姿勢軌跡における座標それぞれに対応する複数の角度群（ｐ０１［θ１１〜θｘｍ］，ｐ０２［θ１１〜θｘｍ］，…，ｐ０ｎ［θ１１〜θｘｍ］）が算出される。なお、ここでいう角度θとは、両座標Ｐ１，Ｐ２の内積値に基づく式「ｃｏｓθ＝Ｐ１・Ｐ２／（｜Ｐ１｜・｜Ｐ２｜）」に基づいて算出されるものである。

次に、ｓ２３０にて算出された座標毎の角度群それぞれにつき、その角度群の中で最も小さい角度，および，その最小角度を算出したときに参照された推定姿勢軌跡または推定姿勢点についての推定情報が特定される（ｓ２４０）。この「推定情報」とは、最小角度を算出したときに参照された推定姿勢軌跡または推定姿勢点に対応する推定モデル，その最小角度を算出したときに参照された推定姿勢軌跡における各座標の遷移方向（推定姿勢軌跡において始点から終点へ向かう方向）などを示す情報である。なお、このように最小角度を算出したときに参照された推定姿勢軌跡または推定姿勢点は、その最小角度が小さいほど、実姿勢軌跡との近似度が高いものといえる。

次に、ｓ２４０にて特定された最小角度全てが所定のしきい値（例えば、２０度）未満となっているか否かがチェックされる（ｓ２５０）。
このｓ２５０で、最小角度全てが所定のしきい値以上であると判定された場合（ｓ２５０：ＮＯ）、運転者の操作内容に該当する推定モデルがない，つまり操作対象の操作が行われないと推定された後（ｓ２６０）、プロセスがｓ２１０へと戻る。このｓ２６０では、ランプ群３０における全てのランプを消灯させる処理も併せて行われる。

一方、ｓ２５０で、最小角度全てが所定のしきい値未満であると判定された場合（ｓ２５０：ＹＥＳ）、ｓ２４０にて特定された各推定情報における推定モデルが全て同一であるか否かがチェックされる（ｓ２７０）。

このｓ２７０で、各推定情報における推定モデルが全て同一ではないと判定された場合（ｓ２７０：ＮＯ）、プロセスがｓ２６０へ移行し、操作対象の操作が行われないと推定された後、プロセスがｓ２１０へと戻る。

一方、ｓ２７０で、各推定情報における推定モデルが全て同一であると判定された場合（ｓ２７０：ＹＥＳ）、ｓ２４０にて特定された各座標情報における推定モデルが、停留推定モデルであるか否かがチェックされる（ｓ２９０）。

このｓ２９０で、停留推定モデルであると判定された場合（ｓ２９０：ＹＥＳ）、ｓ２７０にて同一であると判定された推定モデルに基づいて運転者の操作内容が推定された後（ｓ３００）、プロセスが次の処理（ｓ３１０）へと移行する。このｓ３００では、ｓ２７０にて同一であると判定された推定モデルが遷移推定モデルであれば、その推定モデルに対応する操作対象の組み合わせに基づいて、特定の操作対象の操作が終了して別の操作対象の操作が行われるという操作内容を、運転者が実施しようとしていると推定される。一方、ｓ２７０にて同一であると判定された推定モデルが停留推定モデルであれば、その推定モデルに対応する操作対象を、運転者が操作していると推定される。

また、上記ｓ２９０で、遷移推定モデルであると判定された場合（ｓ２９０：ＮＯ）、ｓ２４０にて特定された各軌跡情報における遷移方向が全て同一であるか否かがチェックされる（ｓ３２０）。

このｓ３２０で、遷移方向が全て同一ではないと判定された場合（ｓ３２０：ＮＯ）、プロセスがｓ２６０へ移行し、操作対象の操作が行われないと推定された後、プロセスがｓ２１０へと戻る。

一方、ｓ３２０で、遷移方向が全て同一であると判定された場合（ｓ３２０：ＹＥＳ）、プロセスがｓ３００へ移行し、運転者の操作内容が推定された後、プロセスが次の処理（ｓ３１０）へと移行する。

こうして、実姿勢軌跡と推定姿勢軌跡および推定姿勢点との照合に基づいて上記ｓ３００にて推定された結果につき、操作補助手段２２０が、その結果に応じた操作対象への操作の補助を行う（ｓ３１０）。

ここでは、実姿勢軌跡の照合を経て推定された結果が、停留推定モデルに基づくものである場合、ランプ群３０のうち、その停留推定モデルに対応する操作対象を照らすランプを点灯させると共に、それ以外のランプを消灯させる。また、推定された結果が、遷移推定モデルに基づくもの，つまり操作対象の組み合わせである場合、ランプ群３０のうち、一方または両方の操作対象（本実施形態では、遷移方向の終点側となる操作対象のみ）に対応するランプそれぞれを点灯させると共に、それ以外のランプを消灯させる。

なお、このようなランプ群３０における各ランプの点灯および消灯は、ランプ群３０のうち点灯させるべきランプへの通電の開始，および，消灯させるべきランプへの通電の終了を行うことにより、実現される。

こうして、ｓ３１０が行われた後、プロセスがｓ２１０へと戻る。
（２−３）データ収集処理
続いて、操作推定装置１０が起動されて以降、操作対象に対する操作がセンサ群７０により検出される毎に実行されるデータ収集処理の処理手順を図９に基づいて説明する。

なお、このデータ収集処理は、操作推定装置１０の内蔵するマイコンを、本データ収集処理の起動に先立って操作対象に対する操作が行われたことを検出する操作状態監視手段３１０と、操作状態監視手段３１０により検出された操作が運転者によるものであるか否かを判定する操作者判定手段３２０と、操作者判定手段３２０により運転者による操作であると判定された場合に人体特徴点リストに登録された人体特徴点を内蔵メモリにおける所定の記憶領域に記憶（後述する停留操作テーブル，遷移操作テーブルに登録）させる軌跡蓄積手段３３０と、からなる機能ブロックとして機能させることにより実行されるものである（図３参照）。

このデータ収集処理が起動されると、まず、操作者判定手段３２０が、上述した人体特徴点リストに登録されている最新の人体特徴点を読み出し（ｓ４１０）、この人体特徴点に基づいて、その起動に先立って検出された操作対象に対する操作が運転者によるものであるか否かをチェックする（ｓ４２０）。

このｓ４２０では、人体特徴点リストに登録されている最新の人体特徴点を、本データ収集処理の起動に先立って検出された操作対象に対応する人体特徴点であるとみなし、次に示す処理手順に従って、操作対象に対する操作が運転者によるものであるか否かのチェック（操作者の特定）を行う。

図１０に示すように、はじめに、上記ｓ４１０にて読み出された人体特徴点を、主成分分析により表現される固有空間に投影した場合における固有空間上の座標（姿勢点；以降、「現在地姿勢点」という）が特定される（ｓ６１０）。

次に、上記ｓ６１０にて特定された現在地姿勢点と、各推定モデル１〜ｘにて示される推定姿勢軌跡，推定姿勢点における固有空間上の座標（ｐ１１〜ｐ１ｍ，ｐ２１〜ｐ２ｍ，…，ｐｘ１〜ｐｘｍ；１≦ｍ）それぞれと、のなす角度が算出される（ｓ６２０）。こうして、現在地姿勢点に対応する角度群（θ１１〜θｘｍ）が算出される。なお、ここでいう角度θとは、上述したのと同様、「ｃｏｓθ＝Ｐ１・Ｐ２／（｜Ｐ１｜・｜Ｐ２｜）」に基づいて算出されるものである。

次に、ｓ６２０にて算出された角度群の中で最も小さい角度を算出したときに参照された推定姿勢軌跡または推定姿勢点につき、この推定姿勢軌跡または推定姿勢点に対応する推定モデルが特定される（ｓ６３０）。

そして、ｓ６３０にて特定された推定モデルに対応する操作内容が、本データ収集処理の起動に先立って操作を検出された操作対象に関するものであれば（ｓ６４０：ＹＥＳ）、その操作対象に対する操作が運転者によるものであると判定される一方（ｓ６５０）、その操作対象に関するものでなければ（ｓ６４０：ＮＯ）、その操作対象に対する操作が運転者によるものではないと判定される（ｓ６６０）。

こうして、上記ｓ４２０（ｓ６１０〜ｓ６６０）によるチェックにて、操作対象に対する操作が運転者によるものでないと判定された場合（ｓ４２０：ＮＯ）、直ちにデータ収集処理が終了する。

一方、操作対象に対する操作が運転者によるものであると判定された場合（ｓ４２０：ＹＥＳ）、軌跡蓄積手段３３０が、上記ｓ４１０にて読み出された人体特徴点を、操作対象毎に用意された複数の停留操作テーブルのうち、本データ収集処理の起動に先立って操作を検出された操作対象に対応する停留操作テーブルに登録する（ｓ４３０）。

この停留操作テーブルとは、操作対象に対する操作が行われた時点における人体特徴点を先入れ先出し方式で所定数だけ登録可能なデータテーブルであって、あらかじめ操作対象それぞれに対応するものがメモリ内に用意されている。つまり、この停留操作テーブルは、本データ収集処理が一定回数繰り返された以降、該当する操作対象に対する操作時の人体特徴点として、最新のものから所定数だけ前までのものが登録された状態になる。なお、この停留操作テーブルには、それに対応する操作対象が操作された時点における人体特徴点として想定される人体特徴点を、あらかじめ初期値として登録しておくこととしてもよい。

次に、本データ収集処理の起動に先立って操作が検出された操作対象につき、その操作が終了するまで待機状態となる（ｓ４４０：ＮＯ）。ここでは、センサ群７０のうち、該当する操作対象の操作を検出するセンサにより、その操作が検出されなくなったことをもって、その操作が終了したと判定される。

その後、該当する操作が終了したと判定された場合（ｓ４４０：ＹＥＳ）、軌跡蓄積手段３３０が、上述した人体特徴点リストに登録されている最新の人体特徴点を読み出す（ｓ４５０）。ここでは、最新の人体特徴点が、操作を終了した時点における運転者の人体特徴点として読み出されることとなる。

次に、軌跡蓄積手段３３０が、人体特徴点それぞれを登録して操作内容を特定するための操作特定テーブルを生成し、その操作特定テーブルに、ｓ４５０にて読み出された人体特徴点と、本データ収集処理の起動に先立って操作が検出された操作対象と、を対応づけて登録する（ｓ４６０）。この操作特定テーブルは、操作対象に対する操作が行われた以降における運転者の人体特徴点を、時系列で順番に登録するためのデータテーブルである。

この後、操作状態監視手段３１０が、新たに操作対象に対する操作が行われたか否かをチェックする（ｓ４７０）。
このｓ４７０で、操作対象に対する操作が行われていないと判定された場合（ｓ４７０：ＮＯ）、軌跡蓄積手段３３０が、上記ｓ４４０で操作が終了したと判定された以降の経過時間が所定のしきい値を超えている（タイムアウト）か否かをチェックする（ｓ４８０）。

このｓ４８０で、経過時間が所定のしきい値を超えていないと判定された場合（ｓ４８０：ＮＯ）、軌跡蓄積手段３３０が、上述した人体特徴点リストに登録されている最新の人体特徴点を読み出し（ｓ４９０）、これを操作特定テーブルに登録した後（ｓ５００）、プロセスがｓ４７０へ戻る。ここでは、最新の人体特徴点が、操作を終了した以降における運転者の人体特徴点として読み出されて登録されることとなる。

その一方、ｓ４８０にて経過時間がしきい値を超えていると判定された場合（ｓ４８０：ＹＥＳ）、軌跡蓄積手段３３０が、上記ｓ４６０にて生成された操作特定テーブルを削除した後（ｓ５１０）、本データ収集処理が終了する。

また、上記ｓ４７０で、操作対象に対する操作が行われていると判定された場合（ｓ４７０：ＹＥＳ）、軌跡蓄積手段３３０が、上述した人体特徴点リストに登録されている最新の人体特徴点を読み出し（ｓ５２０）、上記ｓ４２０と同様、操作者判定手段３２０が、その人体特徴点に基づいて、その起動に先立って検出された操作対象に対する操作が運転者によるものであるか否かをチェックする（ｓ５３０）。

このｓ５３０によるチェックにて、操作対象に対する操作が運転者によるものでないと判定された場合（ｓ５３０：ＮＯ）、プロセスがｓ４７０へ戻る。一方、操作対象に対する操作が運転者によるものであると判定された場合（ｓ５３０：ＹＥＳ）、その操作対象がｓ４４０にて操作が終了したと判定された操作対象と同一のものであるか否かを、軌跡蓄積手段３３０がチェックする（ｓ５４０）。

このｓ５４０で、操作対象が同一のものであると判定された場合（ｓ５４０：ＹＥＳ）、プロセスがｓ５１０へと移行し、軌跡蓄積手段３３０が操作特定テーブルを削除した後、本データ収集処理が終了する。

一方、操作対象が同一のものではないと判定された場合（ｓ５４０：ＮＯ）、軌跡蓄積手段３３０が、上記ｓ５２０にて読み出された人体特徴点を、操作対象毎に用意された複数の停留操作テーブルのうち、ｓ４７０にて操作が行われていると判定された操作対象に対応する停留操作テーブルに登録する（ｓ５５０）。ここでは、上記ｓ５２０にて読み出された人体特徴点が、新たに操作対象の操作を開始した運転者の人体特徴点として停留操作テーブルに登録されることとなる。

次に、軌跡蓄積手段３３０が、ｓ４６０にて生成された操作特定テーブルに、ｓ５２０にて読み出された人体特徴点と、ｓ４７０にて操作が行われていると判定された操作対象と、を対応づけて登録する（ｓ５６０）。ここでは、上記ｓ５２０にて読み出された人体特徴点が、新たに操作対象の操作を開始した運転者の人体特徴点として操作特定テーブルに登録されることとなる。

そして、軌跡蓄積手段３３０が、この時点で操作特定テーブルに登録されている複数の人体特徴点それぞれを、操作内容毎に用意された遷移操作テーブルのうち、その操作特定テーブルの登録内容に応じた操作内容の遷移操作テーブルに登録し（ｓ５７０）、その操作特定テーブルを削除した後（ｓ５８０）、プロセスがｓ４４０へと戻る。

この遷移操作テーブルは、ある操作対象に対する操作が終了してから別の操作対象に対する操作が開始される，といった操作内容の各時点における人体特徴点それぞれを一つのデータレコード（人体特徴点群）とし、これを先入れ先出し方式で所定数だけ登録可能なデータテーブルであって、あらかじめ操作内容それぞれに対応するものがメモリ内に用意されている。

つまり、この遷移操作テーブルは、該当する操作内容に対する人体特徴点それぞれからなる人体特徴点群として、最新のものから所定数だけ前までのものが登録された状態になる。そして、上記ｓ５７０では、複数の遷移操作テーブルのうち、操作特定テーブルに登録されている最も古い人体特徴点に対応する操作対象から最新の人体特徴点に対応する操作対象へと向かう操作内容に対応する遷移操作テーブルに、操作特定テーブルに登録されている人体特徴点それぞれが登録される。
（２−４）推定モデル修正処理
続いて、操作推定装置１０が起動されて以降、上記各処理と並行して繰り返し実行される推定モデル修正処理の処理手順を図１１に基づいて説明する。

なお、この推定モデル修正処理は、操作推定装置１０の内蔵するマイコンを、内蔵メモリに記憶された推定モデルを各操作テーブルに基づいて生成した推定モデルに修正（更新）する推定モデル修正手段４１０，からなる機能ブロックとして機能させることにより実行されるものである（図３参照）。

この推定モデル修正処理が起動されると、まず、推定モデルを修正すべき修正条件が満たされるまで待機状態となる（ｓ７１０：ＮＯ）。ここでは、例えば、本操作推定装置１０が車両の始動に伴って起動したこと、本推定モデル修正処理による推定モデルの更新が行われてから所定の時間が経過したこと、本推定モデル修正処理による推定モデルの更新が行われてから各操作テーブルが所定の割合以上更新されたこと、といった条件が満たされている場合に、修正条件が満たされたと判定される。

その後、修正条件が満たされたと判定されたら（ｓ７１０：ＹＥＳ）、推定モデル修正手段４１０が、停留操作テーブルおよび遷移操作テーブルそれぞれに登録されているデータを読み出す（ｓ７２０）。ここでは、停留操作テーブルに登録された操作対象毎の特徴点それぞれと、遷移操作テーブルに登録された操作内容毎の特徴点群それぞれと、が所定組ずつ読み出される。なお、以降、停留操作テーブルに登録された１０種類の操作対象に対応する特徴点と、遷移操作テーブルに登録された９種類の操作内容に対応する特徴点群と、がそれぞれ３０組ずつ読み出された場合を例示する（図１２参照）。

次に、推定モデル修正手段４１０が、ｓ７２０にて読み出された特徴点，特徴点群から外れ値を除去する（ｓ７３０）。ここでは、停留操作テーブルから読み出された特徴点については、操作対象それぞれに対応する所定組の特徴点のうち、他の特徴点と比べて外れた値となっている一定割合（例えば、３０組中１０組）の特徴点が外れ値として除去される。また、遷移操作テーブルから読み出された特徴点群については、操作内容それぞれに対応する所定組の人体特徴点群うち、その人体特徴点群を形成する１以上の人体特徴点それぞれが、他の特徴点群における同一の人体特徴点と比べて外れている一定割合（同上）の遷移データが外れ値として除去される。

次に、推定モデル修正手段４１０が、ｓ７３０にて外れ値の除去された残りの特徴点，特徴点群に主成分分析を適用して固有空間を求める（ｓ７４０）。
次に、推定モデル修正手段４１０が、ｓ７３０にて外れ値の除去された残りの特徴点，特徴点群それぞれを、操作対象，操作内容毎にｓ７４０にて求められた固有空間に投影することにより、こうして投影した固有空間上での座標，座標の軌跡を、運転者による操作対象毎の実際の姿勢点（以降、「実姿勢点」という），操作内容毎の実姿勢軌跡として特定する（ｓ７５０）。

次に、推定モデル修正手段４１０が、ｓ７５０にて特定した操作対象毎の実姿勢点，操作内容毎の実姿勢軌跡をそれぞれ平均化したものを、その操作対象，操作内容に対応する停留推定モデル，遷移推定モデルとして生成する（ｓ７６０）。ここでは、操作対象毎に実姿勢点である座標の平均値が算出され、こうして平均化された実姿勢点が、その操作対象に対応する停留推定モデルとして生成される。また、操作内容毎に実姿勢軌跡である座標の軌跡にパラメトリック曲線（例えば、キュービックスプライン曲線）が当てはめられ、こうして求められた座標点の列が、その操作内容に対応する遷移推定モデルとして生成される。

そして、推定モデル修正手段４１０が、ｓ７６０にて生成された推定モデルを、先に用意されていた同一の操作対象，操作内容に対応する推定モデルと置き換える（推定モデルを更新する）（ｓ７７０）。

このｓ７７０の後、プロセスがｓ７１０へ戻って再度修正条件が満たされるまで待機状態となる。
（２−５）接近報知処理
続いて、操作推定装置１０が起動されて以降、上記各処理と並行して繰り返し実行される接近報知処理の処理手順を図１３に基づいて説明する。

なお、この接近報知処理は、操作推定装置１０の内蔵するマイコンを、上述した操作推定手段２１０の他、操作支援システム１の搭載された車両に対する相対的な物体の接近をレーザにより判定する接近検出手段５１０と、接近検出手段５１０による検出結果および上述した操作推定手段２１０による推定結果に基づいて報知を行う第１中断報知手段５２０と、からなる機能ブロックとして機能させることにより実行されるものである（図３参照）。

この接近報知処理が起動されると、まず、接近検出手段５１０が、レーダに基づいて車両に対する相対的な物体の接近があるか否かを判定する（ｓ８１０）。
このｓ８１０で、相対的に物体が接近していると判定されるまで待機状態となり（ｓ８１０：ＮＯ）、その後、相対的に物体が接近していると判定されたら（ｓ８１０：ＹＥＳ）、第１中断報知手段５２０が、その物体の接近に運転者が気付いておらず危険な状態となっているか否かを判定する（ｓ８２０）。本実施形態において、第１中断報知手段５２０は、上述した操作推定手段２１０により推定された結果を監視しており、ここでは、その結果が、ステアリング８４またはシフトレバー６０以外を操作する，しているものである場合に、危険な状態となっていると判定される。

このｓ８２０で、危険な状態になっていないと判定されたら（ｓ８２０：ＮＯ）、プロセスがｓ８１０へ戻る一方、危険な状態になっていると判定されたら（ｓ８２０：ＹＥＳ）、第１中断報知手段５２０が、その旨を報知した後（ｓ８３０）、プロセスがｓ８１０へ戻る。このｓ８３０では、ナビゲーション装置４０のスピーカまたは表示部を介して、物体の接近に運転者が気付いておらず危険な状態となっている旨のメッセージが出力されることにより報知が実現される。

このとき出力されるメッセージには、物体が接近していることの他、操作推定手段２１０による推定結果が停留推定モデルに基づくものであれば、該当する操作対象に対する操作を中断して安全に車両を運転すべき旨のメッセージが含まれる。それに対し、操作推定手段２１０による推定結果が遷移推定モデルに基づくものであれば、該当する操作内容における姿勢軌跡の終点となる操作対象の操作を中断して安全に車両を運転すべき旨のメッセージが含まれる。
（２−６）発進報知処理
続いて、操作推定装置１０が起動されて以降、上記各処理と並行して繰り返し実行される発進報知処理の処理手順を図１４に基づいて説明する。

なお、この発進報知処理は、操作推定装置１０の内蔵するマイコンを、上述した操作推定手段２１０の他、交通情報を取得する交通情報取得手段６１０と、車両の走行状態を検出する走行状態検出手段６２０と、交通情報取得手段６１０により取得された交通情報，走行状態検出手段６２０により検出された走行状態および上述した操作推定手段２１０による推定結果に基づいて報知を行う第２中断報知手段６３０と、からなる機能ブロックとして機能させることにより実行されるものである（図３参照）。

この発進報知処理が起動されると、まず、走行状態検出手段６２０が、センサ群７０のうちの走行速度を検出可能なセンサからの出力に基づいて、車両が停止した状態となっているか否かをチェックする（ｓ９１０）。ここでは、上記センサにより検出された走行速度が所定値（例えば、５ｋｍ／ｈ）未満である場合に、車両が停止した状態となっていると判定される。

このｓ９１０にて車両が停止した状態となっていると判定されるまで待機状態となった後（ｓ９１０：ＮＯ）、車両が停止した状態になっていると判定されたら（ｓ９１０：ＹＥＳ）、交通情報取得手段６１０が、車両外部（道路上に設置された装置や他の車両）から交通情報を取得する（ｓ９２０）。ここでは、車両の前方に信号を有する交差点が存在しているか否か、その信号の状態が車両の進行方向に関してどのような表示内容（青または赤）になっているか、車両の前方に踏切が存在しているか否か、その踏切における遮断機の開閉状態がどのような状態になっているか、といった交通事情を示す交通情報が、ナビゲーション装置４０の有する通信機能を介して車両外部から取得される。

次に、第２中断報知手段６３０が、ｓ９２０にて取得された交通情報に基づいて、車両が発進すべき交通事情になっているか否かをチェックする（ｓ９３０）。ここでは、ｓ９２０にて取得された交通情報が、交差点が存在しており，かつ，その表示内容が「青」になっている交通事情を示す場合、または、踏切が存在しており，かつ，遮断機の開閉状態が「開」になっている交通事情を示す場合に、車両が発進すべき状態になっていると判定される。

このｓ９３０で、車両が発進すべき交通事情になっていないと判定された場合（ｓ９３０：ＮＯ）、走行状態検出手段６２０が、センサ群７０のうちの走行速度を検出可能なセンサからの出力に基づいて、車両が走行を開始したか否かをチェックする（ｓ９４０）。このｓ９４０では、上記センサにより検出された走行速度が所定値（例えば、５ｋｍ／ｈ）以上となっている場合に、車両が走行を開始したと判定される。

このｓ９４０で、車両が走行を開始したと判定された場合（ｓ９４０：ＹＥＳ）、プロセスがｓ９１０へ戻る。一方、車両が走行を開始していないと判定された場合（ｓ９４０：ＮＯ）、プロセスがｓ９２０へ戻る。

また、上記ｓ９３０で、車両が発進すべき交通事情になっていると判定された場合（ｓ９３０：ＹＥＳ）、上記ｓ９４０と同様、走行状態検出手段６２０が、センサ群７０のうちの走行速度を検出可能なセンサからの出力に基づいて、車両が走行を開始したか否かをチェックする（ｓ９５０）。

このｓ９５０で、車両が走行を開始したと判定された場合（ｓ９５０：ＹＥＳ）、プロセスがｓ９１０へ戻る。一方、車両が走行を開始していないと判定された場合（ｓ９５０：ＮＯ）、ｓ９２０で交通情報が取得された以降の経過時間が所定時間（例えば、１秒）を経過しているか否かがチェックされる（ｓ９６０）。

このｓ９６０で、経過時間が所定時間を経過していなければ（ｓ９６０：ＮＯ）、ｓ９３０へ戻る一方、経過時間が所定時間を経過していれば（ｓ９６０：ＹＥＳ）、第２中断報知手段６３０が、その発進の遅延が操作対象に対する操作が要因であるか否かをチェックする（ｓ９７０）。本実施形態において、第２中断報知手段６３０は、上述した操作推定手段２１０による推定結果を監視しており、ここでは、その監視している結果が、ステアリング８４またはシフトレバー６０以外を操作する，しているものである場合に、その発進の遅延が操作対象に対する操作が要因であると判定される。

このｓ９７０で、発進の遅延が操作対象に対する操作が要因であると判定された場合（ｓ９７０：ＹＥＳ）、第２中断報知手段６３０が、その旨を報知した後（ｓ９８０）、プロセスがｓ９１０へ戻る。このｓ９８０では、ナビゲーション装置４０のスピーカまたは表示部を介して、操作対象に対する操作が要因で発進が遅延している旨のメッセージが出力されることにより報知が実現される。

このとき出力されるメッセージには、信号の表示内容が「青」になっているために車両を発進させるべきであることの他、操作推定手段２１０による推定結果が停留推定モデルに基づくものであれば、該当する操作対象に対する操作を中断して安全に車両を発進させるべき旨のメッセージが含まれる。それに対し、操作推定手段２１０による推定結果が遷移推定モデルに基づくものであれば、該当する操作内容における姿勢軌跡の終点となる操作対象の操作を中断して安全に車両を発進させるべき旨のメッセージが含まれる。

一方、発進の遅延が操作対象に対する操作が要因ではないと判定された場合（ｓ９７０：ＮＯ）、ｓ９８０が行われることなく、プロセスがｓ９１０へ戻る。
（３）作用，効果
このように構成された操作支援システム１において、操作推定装置１０では、運転者による実際の姿勢軌跡である実姿勢軌跡を、推定モデルにおける姿勢軌跡である推定姿勢軌跡それぞれ，および，停留推定モデルにおける姿勢点である推定姿勢点それぞれと照合し（図７のｓ２２０〜ｓ２７０）、所定のしきい値を満たす近似度となっている推定姿勢軌跡があることをもって、運転者が操作対象を操作しようとしていると推定できる。さらに、その近似度の条件を満たす推定姿勢軌跡，推定姿勢点に対応する操作を運転者が実施しようとしていると推定できる（同図ｓ３００）。

さらに、操作補助手段２２０により、こうして推定した操作内容にて操作されるべき操作対象への操作のサポートを先回りして行うことができ、または、操作者が実施している操作を継続的にサポートすることができるため（同図ｓ３１０）、その操作の実施を容易なものとすることができて好適である。

ここで、操作対象に対する操作のサポートは、該当する操作対象に対応するランプを点灯させてその操作対象を照らすことにより実現している。これにより、運転者が操作しようとした操作対象がランプにより照らされるため、その操作対象の位置を視認しやすくなる結果、運転者の手などを視覚的に操作対象の位置まで導くことができる。

また、上記構成では、ステアリングおよびシフトレバー以外の操作対象が操作される，している状態で（図１３のｓ８２０で「ＹＥＳ」）、車両に相対的に物体が接近している場合に（同図ｓ８１０で「ＹＥＳ」）、その操作対象に対する操作を中断すべき旨を報知することができる（同図ｓ８３０）。そのため、運転者がその操作対象の操作に集中していたとしても、その報知により、接近する物体の存在に気付かせて、その物体に衝突してしまうことを回避するように運転を実施させることができる。

また、上記構成では、ステアリングおよびシフトレバー以外の操作対象が操作される，している状態で（図１４のｓ９７０で「ＹＥＳ」）、車両を発進させるべき交通事情となっている場合に（同図ｓ９３０で「ＹＥＳ」）、その操作対象に対する操作を中断すべき旨を報知することができる（同図ｓ９８０）。そのため、運転者がその操作対象の操作に集中していたとしても、その報知により上記交通事情となっていることに気付かせて、その車両に衝突してしまうことを回避するように運転を実施させることができる。

また、上記構成において、操作推定手段２１０は、メモリに記憶されている推定モデルを読み出したうえで（図７のｓ２３０）、この読み出した推定モデルそれぞれと実姿勢軌跡を照合している。このように、推定モデルそれぞれをメモリに記憶させておくことにより、こうして記憶された推定モデルそれぞれを読み出したうえで、実姿勢軌跡の照合を実現することができる。

また、上記構成では、運転者が特定の操作対象を継続的に操作した時点における人体特徴点に基づいて、その操作内容に対応する停留推定モデルを修正することができる（図１１のｓ７２０〜ｓ７７０）。これにより、その停留推定モデルが操作者における姿勢軌跡の傾向が反映されたものに修正される結果、その操作者に適応させた停留推定モデルとすることができる。このことは、その操作者に同じ操作内容が繰り返し実施されるほどより顕著になる。

このとき、停留推定モデルの修正は、操作対象が操作された時点で人体特徴点特定手段１２０に特定された人体特徴点をその都度記憶部に蓄積させておき（図９のｓ４３０，ｓ５５０）、その蓄積された人体特徴点から求められる実姿勢軌跡に基づいて所定のタイミングで（図１１のｓ７１０で「ＹＥＳ」）実施することができる。

また、ここでの修正は、操作された操作対象に対応する停留推定モデルを、記憶部に蓄積された人体特徴点から求められる所定数の実姿勢点を平均化してなる推定モデルに更新（上書き）することにより、その停留推定モデルの修正をすることができる（図１１のｓ７２０〜ｓ７７０）。

また、上記構成では、運転者がある操作対象の操作が終了して別の操作対象の操作を行うという操作を実施した場合に、その操作内容に対応する遷移推定モデルを、その間に特定された人体特徴点それぞれから求められる実姿勢軌跡に基づいて修正することができる（図１１のｓ７２０〜ｓ７７０）。これにより、その遷移推定モデルがその操作者における姿勢軌跡の傾向が反映されたものに修正される結果、その操作者に適応させた遷移推定モデルとすることができる。このことは、その操作者に同じ操作内容が繰り返し実施されるほどより顕著になる。

このとき、遷移推定モデルの修正は、ある操作対象の操作が終了して別の操作対象の操作が行われるまでの人体特徴点群をその都度記憶部に蓄積させておき（図９のｓ４６０，ｓ５００，ｓ５６０，５７０）、その蓄積された人体特徴点群から求められる実姿勢軌跡に基づいて所定のタイミングで実施することができる（図１１のｓ７１０で「ＹＥＳ」）。

また、ここでの修正は、ある操作対象の操作が終了して別の操作対象の操作が行われるといった操作内容に対応する遷移推定モデルを、記憶部に蓄積された人体特徴点群から求められる所定数の実姿勢軌跡を平均化してなる推定モデルに更新（上書き）することにより、その停留推定モデルの修正をすることができる（図１１のｓ７２０〜ｓ７７０）。
（４）変形例
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、上記実施形態においては、本発明の操作推定装置である操作推定装置１０が、車両に搭載された状態で使用されるように構成されたものを例示した。しかし、この操作推定装置は、車両以外に運転者による運転が必要な飛行機，自動二輪車の他、操作者による操作が必要な工作機械などに適用できることはいうまでもない。

また、上記実施形態において、車両室内を撮影するカメラ２０は、人体特徴点特定手段１２０が人体特徴点を特定できる画像を撮影できるものであれば、どのような画像を撮影するカメラであってもよい。例えば、モノクロカメラ，カラーカメラ，人体特徴点として立体視した画像を取得するステレオカメラ（複数のカメラからなる構成），３次元画像センサ（画素それぞれについての成分に基づいて距離を出力するセンサ）などを用いることが考えられる。これらのうち、ステレオカメラや３次元画像センサを用いた場合、人体特徴点特定手段１２０は、人体特徴点として３次元の座標を特定することとすればよい。

また、上記実施形態においては、操作推定手段２１０は、実姿勢軌跡の照合により特定された近似度の高い１以上の推定姿勢軌跡について、それら推定姿勢軌跡に対応する全ての推定モデルが全て同一であるか否かをチェックし、全て同一である場合にのみ（図７のｓ２７０「ＹＥＳ」）、その推定モデルに対応する操作を運転者が実施しようとしていると推定している（図７のｓ２７０→ｓ３００）。

しかし、近似度の高い１以上の推定姿勢軌跡のうち、例えば、近似度が最大または最小の推定姿勢軌跡に対応する推定モデルについて、その推定モデルに対応する操作を運転者が実施しようとしていると推定するように構成してもよい。このためには、図７のｓ２５０で「ＹＥＳ」と判定された場合に、ｓ２７０を行うことなく、ｓ２９０へ移行し、近似度が最大の（最小角度が最も小さい）推定姿勢軌跡に対応する操作内容を実施しようとしていると推定するように構成すればよい。

また、上記実施形態では、操作補助手段２２０が、該当する操作対象に対応するランプを点灯させることで、その操作対象に対する操作をサポートするように構成されたものを例示した（図７のｓ３１０）。しかし、この操作のサポートは、該当するランプにおける明るさを他のランプよりも明るくすることにより実現してもよい。

また、上記実施形態では、操作補助手段２２０が、該当する操作対象に対応するランプを点灯させることにより、その操作対象に対する操作をサポートするように構成されたものを例示した（図７のｓ３１０）。しかし、その操作対象に対する操作をサポートするための具体的な構成は、上述した構成に限られない。

例えば、１以上の操作対象それぞれに対し、その操作対象の向きを変更することのできる変更機構が設けられている場合であれば、次のように構成することが考えられる。それは、操作推定手段２１０による推定結果に対応する操作対象について、その操作対象に対応する変更機構を制御して操作対象の向きを操作者側へ向けることにより、その操作を補助する、といった構成である。この場合、上記説明における「ランプ」とあるのを「変更機構」と読み替え、「ランプを点灯，消灯させる」とあるのを「操作対象の向きを変更，戻させる」と読み替えるものとする。

この構成であれば、推定結果に対応する操作対象の向きを、その操作者側へ向けることができるため、その操作対象をより操作しやすいものとすることができる。
また、１以上の操作対象それぞれに対し、その操作対象の一部または全体を振動させることのできる振動機構が設けられている場合であれば、次のように構成することが考えられる。それは、操作推定手段２１０により推定された操作内容において操作されるべき操作対象について、その操作対象に対応する振動機構を制御して操作対象の一部または全体を振動させ、その位置を触覚的に認識できるようにすることにより、その操作を補助する、といった構成である。この場合、上記説明における「ランプ」とあるのを「振動機構」と読み替え、「ランプを点灯，消灯させる」とあるのを「操作対象の振動を開始，終了させる」と読み替えるものとする。

この構成であれば、操作者が操作しようとした操作対象の一部または全体が振動するため、その振動により操作対象の位置を認識できるようになる結果、操作者の手などを触覚的に操作対象の位置まで導くことができる。

また、複数の操作対象の中に、カバーを開閉して内部に収容物を収容可能な収容操作対象（例えば、グローブボックス９４，コンソールボックス９６など）が含まれており、その収容操作対象がカバーを開閉するための開閉機構を備えている場合であれば、次のように構成することが考えられる。

それは、操作推定手段２１０により推定された操作内容において操作されるべき操作対象が、収容操作対象である場合、この収容操作対象における開閉機構を制御してカバーを開放させることにより、その操作を補助する、といった構成である。この場合、上記説明における「ランプ」とあるのを「開閉機構」と読み替え、「ランプを点灯，消灯させる」とあるのを「収容操作対象のカバーを開放，閉鎖させる」と読み替えるものとする。

この構成であれば、運転者が収容操作対象を操作しようとした場合に、その収容操作対象におけるカバーを先回りして開放することができるため、その内部に収容物を収容しようとする，または，その内部から収容物を取り出そうとする動作の一部を省略させることができる。

特に、このように構成した場合においては、操作推定手段２１０により推定された操作内容において操作されるべき操作対象が、収容操作対象以外である場合であって、すでに収容操作対象のカバーが開放されている場合には、操作補助手段２２０が、その収容操作対象における開閉機構を制御して前記カバーを閉鎖させる、こととなる。具体的には、図７におけるｓ３１０（操作対象が収容操作対象でない場合），および，同図ｓ２６０において、開閉機構が制御されてカバーが閉鎖する。

そのため、収容操作対象のカバーが開放した状態で、運転者が他の操作対象の操作を実施しようとしている，または，操作対象の操作を実施しようとしていない場合に、その収容操作対象のカバーを自動的に閉鎖させることができる。

また、上記構成では、図１４のｓ９８０で、操作対象に対する操作が要因で発進が遅延している旨のメッセージを表示部またはスピーカから出力することにより報知を実現しているが、この報知については、例えば、ランプを点灯させる，所定のアクチュエータを駆動させる，などといった方法により実現するように構成してもよい。

また、上記実施形態においては、停留操作テーブルおよび遷移操作テーブルが、先入れ先出し方式で所定数だけデータを登録可能なデータテーブルとして構成されている場合を例示した。しかし、これら操作テーブルについては、上限を設けずに無制限に登録される（任意または所定のタイミングでクリアされることとしてもよい）データテーブルとして構成してもよい。

また、上記実施形態においては、推定モデル修正手段４１０が、停留操作テーブル，遷移操作テーブルから外れ値を除いた所定数の人体特徴点，人体特徴点群を抽出したうえで、推定テーブルの修正を実現している（図１１のｓ７３０〜ｓ７７０）。このとき、操作テーブルへの人体特徴点，人体特徴点群の登録は、所定の操作が実施される毎になされるものであるため、該当する操作が充分な回数だけ行われていない状態で修正条件が満たされてしまうと、本来修正に用いられるべき所定数の人体特徴点，人体特徴点群が抽出できない。

この場合、推定モデル修正手段４１０は、所定数未満の人体特徴点，人体特徴点群に基づいて推定モデルの修正を行うこととすればよい。また、その不足分を、あらかじめ用意した人体特徴点または人体特徴点群で補ったうえで修正を行うこととしてもよい。

この後者のための構成としては、例えば、上述したように登録内容が随時更新される操作テーブルとは別に、操作内容毎にあらかじめ用意された固定値としての人体特徴点，人体特徴点群が登録された静的な操作テーブルを用意しておくとよい。そして、推定モデル修正手段４１０は、所定数の人体特徴点，人体特徴点群を抽出するにあたってその数が不足している場合、その不足分を、上記静的な操作テーブルから該当する操作に応じた人体特徴点，人体特徴点群から補ったうえで、推定テーブルの修正を実現することとすればよい。

このように構成すれば、修正に用いられるべき所定数の人体特徴点，人体特徴点群がメモリに蓄積される前の段階であっても、所定数の人体特徴点，人体特徴点群に基づいて、推定モデルの修正を行うことができる。

また、上記実施形態においては、車両の運転席に存在する運転者による操作を推定するように構成されたものを例示した。しかし、車両における運転席以外の座席（例えば、助手席）に存在する操作者につき、その操作者による操作を推定するように構成してもよい。この場合、その操作者を撮影できる位置関係でカメラ２０を設置すると共に、図９のｓ４２０，ｓ５３０では、その操作者による操作であるか否かをチェックするように構成すればよい。

また、その操作者だけでなく、運転者の操作についても同時に推定するように構成してもよい。この場合、その操作者および運転者を撮影できる位置関係で１以上のカメラ２０を設置すると共に、図９のｓ４２０，ｓ５３０では、運転者またはその操作者による操作であるか否かをチェックするように構成すればよい。

特に、この構成においては、図１３のｓ８３０，図１４のｓ９８０による報知を、該当する操作が運転者により行われていると推定された場合にのみ実施されるように構成するとよい。

操作支援システムの全体構成を示すブロック図 車両室内（ａ），および，カメラにより撮影された車両室内（ｂ）を示す図 操作推定装置のマイコンにおける機能ブロック図 人体特徴点特定処理を示すフローチャート カメラにより撮影された画像であって、運転者が各操作対象を操作している様子を示す画像 人体特徴点特定手段により特定される人体特徴点の位置を示す図 操作補助処理を示すフローチャート 停留推定モデル，遷移推定モデルの一例を示すグラフ データ収集処理を示すフローチャート 操作者を特定するための処理を示すフローチャート 推定モデル修正処理を示すフローチャート 操作テーブルから読み出される特徴点，特徴点群の例を示す図 接近報知処理を示すフローチャート 発進報知処理を示すフローチャート

符号の説明

１…操作支援システム、１０…操作推定装置、２０…カメラ、３０…ランプ群、４０…ナビゲーション装置、５０…空調装置、６０…シフトレバー、７０…センサ群、８２…ルームミラー、８４…ステアリング、８６…シート、９０…センタパネル右ブロア、９２…センタパネル左ブロア、９４…グローブボックス、９６…コンソールボックス、１１０…画像取得手段、１２０…人体特徴点特定手段、２１０…操作推定手段、２２０…操作補助手段、３１０…操作状態監視手段、３２０…操作者判定手段、３３０…軌跡蓄積手段、４１０…推定モデル修正手段、５１０…接近検出手段、５２０…第１中断報知手段、６１０…交通情報取得手段、６２０…走行状態検出手段、６３０…第２中断報知手段。

Claims (19)

1. 複数の操作対象，および，該操作対象を操作可能な位置に存在する操作者を含む画像を繰り返し取得する画像取得手段と、
   該画像取得手段により繰り返し取得される画像毎に、該画像に含まれる操作者における所定の人体特徴点を特定する人体特徴点特定手段と、
   該人体特徴点特定手段により特定された画像毎の人体特徴点それぞれに基づいて、操作者が実施しようとしている操作内容を推定する操作推定手段と、を備えており、
   該操作推定手段は、操作対象を操作する操作者が辿ると推定される姿勢軌跡（推定姿勢軌跡）をその操作内容毎にモデル化してなる遷移推定モデルそれぞれと、前記人体特徴点特定手段により特定された画像毎の人体特徴点それぞれから求められる操作者の姿勢軌跡（実姿勢軌跡）とを照合し、前記遷移推定モデルでモデル化された推定姿勢軌跡のうち、前記実姿勢軌跡との近似度が所定のしきい値を満たす前記推定姿勢軌跡につき、該推定姿勢軌跡に対応する操作内容を操作者が実施しようとしていると推定する
   ことを特徴とする操作推定装置。
2. 前記操作推定手段は、前記推定姿勢軌跡をその操作内容毎にモデル化してなる遷移推定モデルそれぞれ，および，特定の操作対象を継続的に操作する操作者がとると推定される姿勢点（推定姿勢点）をその操作対象毎にモデル化してなる停留推定モデルそれぞれと、前記実姿勢軌跡とを照合し、前記遷移推定モデルでモデル化された推定姿勢軌跡のうち、前記実姿勢軌跡との近似度が所定のしきい値を満たす前記推定姿勢軌跡，または，前記推定姿勢点につき、その推定姿勢軌跡に対応する操作内容を操作者が実施しようとしている，または，その推定姿勢点に対応する操作対象を操作していると推定する
   ことを特徴とする請求項１に記載の操作推定装置。
3. 前記操作推定手段による推定結果に対応する操作対象について、該操作対象への操作を補助する操作補助手段を備えている
   ことを特徴とする請求項１または２に記載の操作推定装置。
4. １以上の操作対象それぞれに対し、該操作対象を照らすことのできる位置関係で配置された１以上のランプが設けられている場合において、
   前記操作補助手段は、前記操作推定手段による推定結果に対応する操作対象について、該操作対象に対応するランプを点灯させて該操作対象を照らすことにより、その操作を補助する
   ことを特徴とする請求項３に記載の操作推定装置。
5. １以上の操作対象の中に、カバーを開閉して内部に収容物を収容可能な収容操作対象が含まれており、該収容操作対象が前記カバーを開閉するための開閉機構を備えている場合において、
   前記操作補助手段は、前記操作推定手段により推定された操作内容において操作されるべき操作対象が前記収容操作対象である場合、該収容操作対象における開閉機構を制御して前記カバーを開放させることにより、その操作を補助する
   ことを特徴とする請求項３または請求項４に記載の操作推定装置。
6. 前記操作補助手段は、前記操作推定手段による推定結果に対応する操作対象が、前記収容操作対象以外である場合であって、すでに該収容操作対象の前記カバーが開放されている場合、該収容操作対象における開閉機構を制御して前記カバーを閉鎖させる
   ことを特徴とする請求項５に記載の操作推定装置。
7. 車両に搭載された状態で使用され、
   前記画像取得手段が、車両における１以上の操作対象，および，車両における座席に存在する操作者を含む画像を繰り返し取得する、ように構成されている
   ことを特徴とする請求項１から６のいずれかに記載の操作推定装置。
8. １以上の操作対象の中に、車両におけるステアリングおよびシフトレバーが含まれている場合において、
   前記車両へと相対的に接近する物体が存在しているか否かを検出する接近検出手段と、
   前記操作推定手段による推定結果に対応する操作対象がステアリングおよびシフトレバー以外となっている状況で、前記物体検出手段により物体の接近が検出された際に、その操作対象に対する操作を中断すべき旨を報知する第１中断報知手段と、を備えている
   ことを特徴とする請求項７に記載の操作推定装置。
9. １以上の操作対象の中に、車両におけるステアリングおよびシフトレバーが含まれている場合において、
   前記車両の走行状態を検出する走行状態検出手段と、
   前記車両周辺の交通事情に関する情報を取得する交通情報取得手段と、
   前記操作推定手段による推定結果に対応する操作対象がステアリングおよびシフトレバー以外となっている状況で、前記走行状態検出手段により検出された走行状態が停車している状態となっており、かつ、前記交通情報取得手段により取得された情報が車両を発進させるべき交通事情に関する情報となっている場合に、その操作対象に対する操作を中断すべき旨を報知する第２中断報知手段と、を備えている
   ことを特徴とする請求項７または請求項８に記載の操作推定装置。
10. 前記操作推定手段は、記憶部に記憶されている推定モデルを読み出したうえで、該読み出した推定モデルそれぞれと前記実姿勢軌跡とを照合する
    ことを特徴とする請求項１から９のいずれかに記載の操作推定装置。
11. １以上の操作対象それぞれに対する操作状態を検出する操作状態監視手段と、
    該操作状態監視手段により操作対象が操作されていることが検出された時点において、前記人体特徴点特定手段により特定された人体特徴点から求められる姿勢点（実姿勢点）に基づき、特定の操作対象を継続的に操作する操作者がとるべき推定姿勢点をモデル化してなる停留推定モデルのうち、その操作されていることが検出された操作対象に対応する停留推定モデルを修正する停留推定モデル修正手段と、を備えている
    ことを特徴とする請求項１から１０のいずれかに記載の操作推定装置。
12. 前記操作状態監視手段により操作対象が操作されていることが検出される毎に、該検出された時点において前記人体特徴点特定手段により特定された人体特徴点を、記憶部に蓄積させる停留点蓄積手段を備えており、
    前記停留推定モデル修正手段は、所定の修正条件が満たされた際に、前記停留点蓄積手段により記憶部に蓄積された複数の人体特徴点に基づいて、前記操作されていることが検出された操作対象に対応する停留推定モデルを修正する
    ことを特徴とする請求項１１に記載の操作推定装置。
13. 前記停留推定モデル修正手段は、前記停留点蓄積手段により記憶部に蓄積された所定数の人体特徴点からそれぞれ求められる実姿勢点を平均化し、該平均化された実姿勢点をモデル化してなる推定モデルに、前記操作されていることが検出された操作対象に対応する停留推定モデルを更新する
    ことを特徴とする請求項１２に記載の操作推定装置。
14. 前記停留推定モデル修正手段は、所定数の実姿勢点を平均化するにあたり、前記停留点蓄積手段により記憶部に蓄積された人体特徴点が所定数に満たない場合、その不足分を、操作対象毎にあらかじめ用意された人体特徴点のうちの前記操作されていることが検出された操作対象に対応する人体特徴点で補ったうえで、その平均化を行う
    ことを特徴とする請求項１３に記載の操作推定装置。
15. 特定の操作対象の操作が終了して別の操作対象の操作が行われるという操作内容につき、該操作内容を実施する操作者が辿るべき推定姿勢軌跡をモデル化してなる推定モデルが、前記遷移推定モデルの中に含まれている場合において、
    １以上の操作対象それぞれに対する操作状態を検出する操作状態監視手段と、
    該操作状態監視手段により操作されていることが検出されていた操作対象について操作されていることが検出されなくなった以降、別の操作対象が操作されていることが検出されるまでの間に、前記人体特徴点特定手段により特定された人体特徴点それぞれから求められる実姿勢軌跡に基づいて、その前者の操作対象の操作が終了して後者の操作対象の操作が行われるという操作内容に対応する遷移推定モデルを修正する遷移推定モデル修正手段と、を備えている
    ことを特徴とする請求項１から１４のいずれかに記載の操作推定装置。
16. 前記操作状態監視手段により操作されていることが検出されていた操作対象について操作されていることが検出されなくなった以降、別の操作対象が操作されていることが検出されるまでの間に、前記人体特徴点特定手段により特定された人体特徴点それぞれからなる人体特徴点群を、記憶部に蓄積させる遷移軌跡蓄積手段を備えており、
    前記遷移推定モデル修正手段は、所定の修正条件が満たされた際に、前記遷移軌跡蓄積手段により記憶部に蓄積された人体特徴点群から求められる実姿勢軌跡に基づいて、該当する操作内容に対応する遷移推定モデルを修正する
    ことを特徴とする請求項１５に記載の操作推定装置。
17. 前記遷移推定モデル修正手段は、前記遷移軌跡蓄積手段により記憶部に蓄積された所定数の人体特徴点群からそれぞれ求められる実姿勢軌跡を平均化し、該平均化した実姿勢軌跡をモデル化してなる推定モデルに、該当する遷移推定モデルを更新する
    ことを特徴とする請求項１６に記載の操作推定装置。
18. 前記遷移推定モデル修正手段は、所定数の実姿勢軌跡を平均化するにあたり、前記遷移軌跡蓄積手段により記憶部に蓄積された人体特徴点群が所定数に満たない場合、その不足分を、操作内容毎にあらかじめ用意された人体特徴点群のうちの該当する操作内容に対応する人体特徴点群で補ったうえで、その平均化を行う
    ことを特徴とする請求項１７に記載の操作推定装置。
19. 請求項１から１８のいずれかに記載の操作推定装置の備える全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム。