JP7066541B2 - 制御装置および制御方法 - Google Patents

Description

本発明は、所定機能を制御する制御部に対して動作指示を出力する制御装置および制御方法に関する。

特許文献１には、システムがカメラで撮影されたフレームに基づいて所定のジェスチャを認識する場合に、特定のアプリケーションを起動するようにした携帯式コンピュータが開示される。

特開２０１４－１７４７７６号公報

特許文献１で示されるような装置は、ユーザが意図的に行うジェスチャに応じて装置を動作させる。この技術を応用すると、ユーザが何かに迷っている状態のときに無意識に行う挙動に応じて所定機能を備える装置（以下、被制御装置という。）を自動的に動作させることができる。このとき、被制御装置の制御部には挙動に対応する動作指示が出力される。しかし、ユーザが無意識に行う挙動とユーザが迷っている状態（ユーザの状態）とは必ずしも対応しない。このため、ユーザの挙動に応じて被制御装置を動作させると、ユーザの状態に適さない動作が実行される場合がある。

本発明はこのような課題を考慮してなされたものであり、ユーザの状態に応じて適切に被制御装置を動作させることができる制御装置および制御方法を提供することを目的とする。

本発明の第１の態様は、
所定機能を制御する制御部に対して動作指示を出力する制御装置であって、
ユーザの所定挙動を認識する認識部と、
前記認識部により認識される前記所定挙動に基づいて前記ユーザの状態を推定する推定部と、
前記推定部による推定結果の確証度を評価する評価部と、
前記制御部に対して前記確証度に対応する前記動作指示を出力する出力部と、
を備える。

本発明の第２の態様は、
所定機能を制御する制御部に対して動作指示を出力する制御方法であって、
認識部を用いてユーザの所定挙動を認識し、
推定部を用いて前記認識部により認識される前記所定挙動に基づいて前記ユーザの状態を推定し、
評価部を用いて前記推定部による推定結果の確証度を評価し、
出力部を用いて前記制御部に対して前記確証度に対応する前記動作指示を出力する。

本発明によれば、ユーザの状態に応じて適切に制御部を動作させることができる。

図１は本実施形態に係る制御装置を含む車両制御システムの構成図である。 図２は状態テーブルを示す図である。 図３は評価要素テーブルを示す図である。 図４は装置動作テーブルを示す図である。 図５は制御装置が行う処理のフローチャートである。

以下、本発明に係る制御装置および制御方法について、好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。

［１．車両制御システム１０の構成］
図１を用いて車両制御システム１０の構成を説明する。車両制御システム１０は、車両の走行に関わる制御（駆動制御、制動制御、操舵制御）を除く制御、ここでは車両のユーザＵに対する報知制御、車内の空調制御、ワイパーの動作制御を行う。

車両制御システム１０は、各種情報を取得して各種情報を出力するセンサ１２と、各種情報を入力する制御装置１４と、制御装置１４の制御対象である被制御装置１６と、を有する。

センサ１２には、カメラ２２と、車内温度センサ２４と、車外温度センサ２６と、レインセンサ２８等が含まれる。カメラ２２は車内に設けられ、車内のユーザＵおよびユーザＵの手Ｈを撮影して画像情報を出力する。カメラ２２は特定の座席に座るユーザＵを撮影できるように設けられてもよいし、各座席に座る複数のユーザＵを同時に撮影できるように設けられてもよい。車内温度センサ２４は、車内（室内）の温度を検知して内部温度情報を出力する。車外温度センサ２６は、車外の温度を検知して外部温度情報を出力する。レインセンサ２８はフロントウインドウの内側に設けられ、フロントウインドウに付着する水を検知することで降雨を検知して降雨情報を出力する。

制御装置１４は、演算部３０と記憶部４０と入出力インターフェース（不図示）等を有する電子制御ユニット（ＥＣＵ）である。演算部３０は、ＣＰＵ等を備えるプロセッサを有し、プロセッサが記憶部４０に記憶されるプログラムを実行することにより各種機能を実現する。本実施形態において、演算部３０は、認識部３２と推定部３４と評価部３６と出力部３８として機能する。

記憶部４０は、ＲＯＭとＲＡＭ等の記憶装置を有する。記憶部４０には、状態テーブル４２と、評価要素テーブル４４と、装置動作テーブル４６と、が記憶される。図２に示されるように、状態テーブル４２には、ユーザＵが行う所定挙動を示す挙動情報８８と、その所定挙動から推定されるユーザＵの状態を示す状態情報９０と、が紐付けられて格納される。図３に示されるように、評価要素テーブル４４には、状態情報９０と、推定結果の確証度を評価するための評価要素を示す複数の評価要素情報９２と、が紐付けられて格納される。図４に示されるように、装置動作テーブル４６には、状態情報９０と、現在の状況と一致する評価要素の数を示す数情報９４と、一致する評価要素の数に対応する確証度を示す確証度情報９６と、確証度に対応する動作指示を示す動作指示情報９８と、確証度に対応する被制御装置１６でありかつ動作指示の出力対象としての被制御装置１６を示す装置情報１００と、が紐付けられて格納される。

図１に戻り説明を続ける。被制御装置１６には、ナビゲーション装置５０とエアコン装置６０とワイパー装置７０と報知装置８０等が含まれる。各装置は、電気的なコントローラ（ＥＣＵ等）で構成される制御部を有する。ナビゲーション装置５０は、衛星航法および自立航法により車両の現在位置を計測すると共に現在位置から目的地までの経路を設定するナビゲーション制御部５２と、地図情報５６を記憶するナビゲーション記憶部５４と、地図、経路等を表示するナビゲーション表示部５８と、を有する。ナビゲーション制御部５２は、ナビゲーション表示部５８に車両の周辺地図を表示する地図表示機能を備える。エアコン装置６０は、車内に冷気または暖気を送風する本体と、本体の制御を行うエアコン制御部６４と、エアコンスイッチ６２と、を有する。エアコン制御部６４は、ユーザＵがエアコンスイッチ６２を操作するか、または、制御装置１４から出力される動作指示に応じて所定機能（起動、停止、設定温度の変更等の空調機能）の制御を行う。ワイパー装置７０は、ワイパーアームと、ワイパーアームを駆動するモータを含むワイパー回路と、ワイパー回路の通電制御を行うワイパー制御部７４と、ワイパースイッチ７２と、を有する。ワイパー制御部７４は、ユーザＵがワイパースイッチ７２を操作することにより所定機能（払拭機能）の制御を行う。報知装置８０は、ユーザＵに対して提供する視覚情報および音声情報の出力制御を行う報知制御部８２を有する。

［２．車両制御システム１０の動作］
図５を用いて制御装置１４の動作を説明する。ここでは、運転席に座るユーザＵ（ドライバ）が行う所定挙動に基づいて被制御装置１６を制御する実施形態を説明する。図５に示される処理は、所定時間毎に行われる。

ステップＳ１において、制御装置１４は、センサ１２が出力する各種情報を取得する。本実施形態において、制御装置１４は、カメラ２２が出力するユーザＵの画像情報と、車内温度センサ２４が出力する内部温度情報と、車外温度センサ２６が出力する外部温度情報と、レインセンサ２８が出力する降雨情報と、を取得する。

ステップＳ２において、認識部３２は、画像情報を用いて公知の画像認識処理を行い、ユーザＵが行う所定挙動を認識する。認識部３２は、所定挙動として、ユーザＵの前傾姿勢や、エアコンスイッチ６２付近でのユーザＵの手Ｈの小刻みな動きや、ワイパースイッチ７２付近でのユーザＵの手Ｈの小刻みな動き等を認識する。

例えば、認識部３２は、ユーザＵの上半身の所定部位（頭部や肩等）が所定位置よりも前方にあることを認識する場合に、ユーザＵが前傾姿勢であると認識する。または、ユーザＵの上半身の所定部位とシートバックとの距離が所定距離以上離れていることを認識する場合に、ユーザＵが前傾姿勢であると認識する。または、シートクッションに対するユーザＵの上半身の前傾角度が所定角度以上であることを認識する場合に、ユーザＵが前傾姿勢であると認識する。なお、所定位置、所定距離、所定角度は予め記憶部４０に記憶される。

例えば、認識部３２は、ユーザＵの手Ｈとエアコンスイッチ６２との距離ｘ１が、第１距離ｄ１以上第２距離ｄ２以下（ｄ１≦ｘ１≦ｄ２）であるか否かを認識し、更に、ユーザＵの手Ｈが小刻みに動いているか否かを認識する。また、例えば、認識部３２は、ユーザＵの手Ｈとワイパースイッチ７２との距離ｘ２が、第１距離ｄ１以上第２距離ｄ２以下（ｄ１≦ｘ２≦ｄ２）であるか否かを認識し、更に、ユーザＵの手Ｈが小刻みに動いているか否かを認識する。なお、第１距離ｄ１、第２距離ｄ２は予め記憶部４０に記憶される。本明細書では、手Ｈの小刻みな動きを手Ｈの迷い動作ともいう。上記例の他に、認識部３２は、公知のジェスチャ認識技術（例えば上記特許文献１の技術）を用いてユーザＵの手Ｈが迷い動作をしていることを認識することも可能である。または、ユーザＵの手Ｈが所定時間内に一定の範囲内で同じ動きを繰り返し行うことを認識する場合に、手Ｈが迷い動作をしているものとして認識することも可能である。

認識部３２が所定挙動を認識する場合（ステップＳ３：ＹＥＳ）、処理はステップＳ４に移行する。一方、認識部３２が所定挙動を認識しない場合（ステップＳ３：ＮＯ）、処理はステップＳ９に移行する。

ステップＳ３からステップＳ４に移行すると、推定部３４は、認識部３２により認識される所定挙動に基づいてユーザＵの状態を推定する。推定部３４は、図２に示される状態テーブル４２から所定挙動を示す挙動情報８８に紐付けられる状態情報９０を読み出し、その状態情報９０が示す状態をユーザＵの状態として推定する。

ステップＳ５において、評価部３６は、推定部３４による推定結果の確証度を評価する。評価部３６は、図３に示される評価要素テーブル４４においてユーザＵの状態を示す状態情報９０に紐付けられる評価要素情報９２を参照し、各評価要素情報９２が示す評価要素と現在の状況との合致度を判定する。具体的には、評価要素毎に現在の状況と合致するか否かを判定し、合致する評価要素の数を判定する。

例えば、ステップＳ４において、推定部３４がユーザＵの状態を「道に迷っている」状態として推定したとする。評価部３６は、評価要素テーブル４４から「道に迷っている」ことを示す状態情報９０に紐付けられる４つの評価要素情報９２ａが示す評価要素が現在の状況に合致するか否かを判定する。ステップＳ４において、推定部３４がユーザＵの状態を「エアコン操作で迷っている」または「ワイパー操作で迷っている」状態として推定する場合も同様に、評価部３６は、評価要素情報９２ｂ、９２ｃが示す評価要素が現在の状況に合致するか否かを判定する。

評価要素情報９２ａのうち「ユーザＵの視線が道路に向いている」、「ユーザＵの頭または目が絶えず動いている」、「ユーザＵが不安げな表情をしている」という評価要素に関しては、評価部３６は、認識部３２の認識結果に基づいて判定を行う。認識部３２は、カメラ２２の画像情報を用いて画像認識処理を行い、ユーザＵの視線が道路に向いているか否か、ユーザＵの頭または目が絶えず動いているか否かを認識する。また、認識部３２は、カメラ２２の画像情報を用いた感情推定技術（例えば特開２０１８－６３４８６号公報）を利用して、ユーザＵが不安げな表情をしているか否かを認識する。「分岐点が近い」という評価要素に関しては、評価部３６は、ナビゲーション装置５０の出力情報に基づいて判定を行う。具体的には、車両の現在位置の計測結果と地図情報５６とに基づいて車両の周辺環境を判定し、車両の現在位置から所定距離内に分岐点がある場合に分岐点が近いと判定する。

評価要素情報９２ｂのうち「ユーザＵの視線がエアコンに向いている」、「ユーザＵが寒いまたは暑いことを示す動作をしている」という評価要素に関しては、評価部３６は、認識部３２の認識結果に基づいて判定を行う。認識部３２は、カメラ２２の画像情報を用いて画像認識処理を行い、ユーザＵの視線がエアコン装置６０に向いているか否かを認識する。認識部３２は、カメラ２２の画像情報を用いて画像認識処理を行い、ユーザＵが体を擦る動作を認識する。この場合、評価部３６は、ユーザＵが寒いことを示す動作をしているものと判定する。また、認識部３２は、カメラ２２の画像情報を用いて画像認識処理を行い、ユーザＵが袖をまくっている状態や手Ｈで顔を扇ぐ動作を認識する。この場合、評価部３６は、ユーザＵが暑いことを示す動作をしているものと判定する。「車内と車外の温度差が所定温度以上である」という評価要素に関しては、評価部３６は、車内温度センサ２４から出力される内部温度情報と車外温度センサ２６から出力される外部温度情報に基づいて判定を行う。

評価要素情報９２ｃのうち「ユーザＵの視線がワイパースイッチ７２に向いている」という評価要素に関しては、評価部３６は、認識部３２の認識結果に基づいて判定を行う。認識部３２は、カメラ２２の画像情報を用いて画像認識処理を行い、ユーザＵの視線がワイパースイッチ７２に向いているか否かを認識する。「降雨中である」という評価要素に関しては、評価部３６は、レインセンサ２８から出力される降雨情報に基づいて判定を行う。「ワイパーが停止中である」という評価要素に関しては、評価部３６は、ワイパー装置７０から出力される動作信号に基づいて判定を行う。

評価部３６は、前述した合致判定を行うと共に、現在の状況に合致する評価要素の数をカウントする。評価部３６は、図４に示される装置動作テーブル４６を用いて、カウントした数が示す数情報９４に紐付けられる確証度情報９６を特定し、その確証度情報９６が示す確証度を、推定部３４による推定結果の確証度として評価する。本実施形態の装置動作テーブル４６では、確証度が高、中、低という３段階に区分けされている。

ステップＳ６において、確証度が高である場合（ステップＳ６：高）、処理はステップＳ７に移行する。確証度が中である場合（ステップＳ６：中）、処理はステップＳ８に移行する。確証度が低である場合（ステップＳ６：低）、処理はステップＳ９に移行する。

ステップＳ６からステップＳ７に移行すると、出力部３８は、装置動作テーブル４６を用いて、「高」を示す確証度情報９６に紐付けられる装置情報１００および動作指示情報９８を特定し、その装置情報１００が示す被制御装置１６の制御部に対して、その動作指示情報９８が示す具体的な動作指示を出力する。具体的な動作というのは、ユーザＵの状態に対応した直接的な支援動作を意味する。より詳細にいうと、具体的な動作というのは、ユーザＵの状態（ユーザＵが迷っている状態）を解消するために直接寄与する機能（ナビゲーション装置５０の地図表示機能、エアコン装置６０の空調機能、ワイパー装置７０の払拭機能）による支援動作を意味する。ユーザＵの状態が道に迷っている状態である場合は、ナビゲーション装置５０で周辺地図を表示することが具体的な動作に相当する。出力部３８は、ナビゲーション制御部５２に対して動作指示を出力する。また、ユーザＵの状態がエアコン操作で迷っている状態である場合は、エアコン装置６０で車内温度を調整することが具体的な動作に相当する。出力部３８は、エアコン制御部６４に対して動作指示を出力する。また、ユーザＵの状態がワイパー操作で迷っている状態である場合は、ワイパー装置７０を起動することが具体的な動作に相当する。出力部３８は、ワイパー制御部７４に対して動作指示を出力する。具体的な動作指示を受けた被制御装置１６の制御部は、指示に応じて各機能を制御する。このように、ステップＳ７において、機能が制御される被制御装置１６は、ナビゲーション装置５０、エアコン装置６０、ワイパー装置７０である。

ステップＳ６からステップＳ８に移行すると、出力部３８は、装置動作テーブル４６を用いて、「中」を示す確証度情報９６に紐付けられる装置情報１００および動作指示情報９８を特定し、その装置情報１００が示す被制御装置１６の制御部に対して、その動作指示情報９８が示す抽象的な動作指示を出力する。抽象的な動作というのは、ユーザＵの状態に対応した間接的な支援動作を意味する。より詳細にいうと、抽象的な動作というのは、ユーザＵの状態（ユーザＵが迷っている状態）を解消するために直接寄与する機能（ナビゲーション装置５０の地図表示機能、エアコン装置６０の空調機能、ワイパー装置７０の払拭機能）を支援する他の機能（報知装置８０の案内機能）を制御することによる支援動作を意味する。抽象的な動作は具体的な動作と比べて支援の度合が低い。ユーザＵの状態が道に迷っている状態である場合は、報知装置８０でユーザＵに対する問い合わせ、例えば「道に迷われていますか？」等の問い合わせを行うことが抽象的な動作に相当する。また、ユーザＵの状態がエアコン操作で迷っている状態である場合は、報知装置８０でユーザＵに対する問い合わせ、例えば「車内温度を変えますか？」等の問い合わせを行うことが抽象的な動作に相当する。また、ユーザＵの状態がワイパー操作で迷っている状態である場合は、報知装置８０でユーザＵに対する問い合わせ、例えば「ワイパーを起動しますか？」等の問い合わせを行うことが抽象的な動作に相当する。抽象的な動作指示を受けた被制御装置１６は、指示に応じて動作する。出力部３８は、報知制御部８２に対して動作指示を出力する。このように、ステップＳ８において、機能が制御される被制御装置１６は報知装置８０である。

ステップＳ３またはステップＳ６からステップＳ９に移行すると、出力部３８は、装置動作テーブル４６を用いて、「低」を示す確証度情報９６に紐付けられる装置情報１００および動作指示情報９８を特定し、その装置情報１００が示す被制御装置１６の制御部に対して、その動作指示情報９８が示す動作指示を出力する。なお、本実施形態では、出力部３８は、確証度が低の場合にいずれの被制御装置１６に対しても動作指示を出力しない。

［３．変形例］
図２に示される状態テーブル４２には、ユーザＵが迷っているときに行う他の挙動を示す挙動情報８８が格納されてもよい。また、状態テーブル４２には、ユーザＵの他の状態を示す状態情報９０が格納されてもよい。また、図３に示される評価要素テーブル４４には、他の評価要素を示す評価要素情報９２が格納されてもよい。また、図４に示される装置動作テーブル４６には、他の指示動作を示す動作指示情報９８が格納されてもよいし、他の被制御装置１６を示す装置情報１００が格納されてもよい。

上記実施形態では、１つの挙動情報８８と１つの状態情報９０とが紐付けられるが、１つの挙動情報８８と複数の状態情報９０とが紐付けけられてもよい。この場合、出力部３８は、推定部３４による複数の推定結果（ユーザＵの状態）のうち、最も確証度が大きい推定結果（ユーザＵの状態）に対応する動作指示を該当する被制御装置１６に対して出力する。

上記実施形態では、確証度が３段階に区分けされる。これに代わり、確証度が２段階、または、４段階以上に区分けされてもよい。この場合も上記実施形態と同様に、出力部３８は、評価部３６により評価される確証度が低くなるほど抽象的な動作指示を出力し、評価部３６により評価される確証度が高くなるほど具体的な動作指示を出力する。

記憶部４０が確証度の境界を予め記憶し、出力部３８が境界を基準にして確証度の高低を判定するようにしてもよい。更に、出力部３８は、確証度が所定の境界より低い場合に、ユーザＵの状態を解消するために直接寄与する機能（ナビゲーション装置５０の地図表示機能、エアコン装置６０の空調機能、ワイパー装置７０の払拭機能）を支援する他の機能（報知装置８０の案内機能）を制御する制御部（報知制御部８２）に対して、抽象的な動作指示を出力する。また、出力部３８は、確証度が所定の境界より高い場合に、ユーザＵの状態を解消するために直接寄与する機能（ナビゲーション装置５０の地図表示機能、エアコン装置６０の空調機能、ワイパー装置７０の払拭機能）を制御する制御部（ナビゲーション制御部５２、エアコン制御部６４、ワイパー制御部７４）に対して、具体的な動作指示を出力する。

上記実施形態では、評価部３６が確証度を評価する際に、現在の状況と一致する評価要素の数を判定する。これに代わり、予め評価要素毎に個別の点数が紐付けられており、評価部３６は、現在の状況に合致する評価要素を特定し、それらの点数の合計をカウントし、カウントした合計点数を評価するようにしてもよい。この場合、予め確証度の高低を判定するための１以上の閾値を設定しておき、確証度の高低を閾値との比較で評価してもよい。

［４．実施形態から得られる発明］
上記実施形態および変形例から把握しうる発明について、以下に記載する。

上記実施形態は、
所定機能を制御する制御部（ナビゲーション制御部５２、エアコン制御部６４、ワイパー制御部７４、報知制御部８２）に対して動作指示を出力する制御装置１４であって、
ユーザＵの所定挙動を認識する認識部３２と、
認識部３２により認識される所定挙動に基づいてユーザＵの状態を推定する推定部３４と、
推定部３４による推定結果の確証度を評価する評価部３６と、
制御部に対して確証度に対応する動作指示を出力する出力部３８と、
を備える。

上記構成によれば、ユーザＵの状態を推定した推定結果の確証度を評価し、制御部に対して確証度に対応する動作指示を出力するため、ユーザＵの状態に応じて適切に被制御装置１６を動作させることができる。

出力部３８は、確証度に対応する制御部に対して、確証度に対応する動作指示を出力する。

上記構成によれば、確証度に応じて動作指示および動作指示を出力する制御部を変えるため、ユーザＵの状態に応じて適切に被制御装置１６を動作させることができる。

出力部３８は、確証度が低くなるほど抽象的な動作指示を出力する。

確証度が相対的に低いということは、ユーザＵの状態が解り難い状態であるため、被制御装置１６で直接的な支援である具体的な動作を行うよりも、間接的な支援である抽象的な動作を行う方が、ユーザＵにとっては有用である。上記構成によれば、確証度が相対的に低い場合に、抽象的な動作指示を出力するため、ユーザＵの状態に応じて適切に被制御装置１６を動作させることができる。

推定部３４は、ユーザＵの状態として、ユーザＵが迷っていることを推定し、
出力部３８は、確証度が所定確証度より低い場合に、ユーザＵの状態を解消するために直接寄与する機能を支援する他の機能を制御する制御部に対して、動作指示を出力する。

出力部３８は、確証度が高くなるほど具体的な動作指示を出力する。

確証度が相対的に高いということは、ユーザＵの状態が解り易い状態であるため、被制御装置１６で間接的な支援である抽象的な動作を行うよりも、直接的な支援である具体的な動作を行う方が、ユーザＵにとっては有用である。上記構成によれば、確証度が相対的に高い場合に、具体的な動作指示を出力するため、ユーザＵの状態に応じて適切に被制御装置１６を動作させることができる。

推定部３４は、ユーザＵの状態として、ユーザＵが迷っていることを推定し、
出力部３８は、確証度が所定確証度より高い場合に、ユーザＵの状態を解消するために直接寄与する機能を制御する制御部に対して、動作指示を出力する。

制御装置１４は、
所定挙動を示す挙動情報８８とユーザＵの状態を示す状態情報９０とを紐付ける状態テーブル４２を備え、
推定部３４は、認識部３２により認識される所定挙動を示す挙動情報８８が状態テーブル４２に格納されている場合に、ユーザＵの状態が、状態テーブル４２において挙動情報８８に紐付けられている状態であると推定する。

上記構成によれば、予め用意される状態テーブル４２を使用するため、ユーザＵの状態を簡易に推定することができる。

制御装置１４は、
確証度を評価するための評価要素を示す評価要素情報９２とユーザＵの状態を示す状態情報９０とを紐付ける評価要素テーブル４４を備え、
評価部３６は、現在の状況と評価要素との合致度に基づいて確証度を評価する。

上記構成によれば、予め用意される評価要素テーブル４４を使用するため、推定結果を簡易に評価することができる。

認識部３２は、所定挙動として、車両内のユーザＵが車両に設けられる所定の操作スイッチ（エアコンスイッチ６２、ワイパースイッチ７２）の所定距離内で行う手Ｈの迷い動作を認識し、
出力部３８は、操作スイッチにより操作される制御部（エアコン制御部６４、ワイパー制御部７４）に対して、動作指示を出力する。

上記構成によれば、ユーザＵが操作スイッチを有する被制御装置１６の操作で迷っていることを認識することができる。

制御部は、エアコン制御部６４を含み、
評価部３６は、少なくとも車両内の温度に基づいて確証度を評価する。

上記構成によれば、エアコン装置６０の操作に関係がある車両内の温度に基づいて確証度を評価するため、精度の高い評価を行うことができる。

制御部は、更に報知制御部８２を含み、
出力部３８は、
確証度が第１確証度（例えば図４の高）である場合に、エアコン制御部６４に対して車両内の温度を変更するための動作指示を出力し、
確証度が第１確証度よりも低い第２確証度（例えば図４の中）である場合に、報知制御部８２に対して、エアコン制御部６４の操作支援が必要か否かをユーザＵに問い合わせるための動作指示を出力する。

上記構成によれば、確証度が相対的に高い場合にエアコン装置６０を動作させ、確証度が相対的に低い場合に報知装置８０を介してユーザＵに問い合わせを行うため、被制御装置１６（エアコン装置６０、報知装置８０）の動作を適切に行うことができる。

認識部３２は、所定挙動として、車両内のユーザＵの前傾姿勢を認識し、
出力部３８は、制御部（ナビゲーション制御部５２）に対して、道案内に関する動作指示を出力する。

上記構成によれば、ユーザＵが道に迷っていることを認識することができる。

評価部３６は、視線の変化と顔向きの変化の少なくとも一方に基づいて確証度を評価する。

上記構成によれば、ユーザＵが道に迷っている際に行う行動に基づいて確証度を評価するため、精度の高い評価を行うことができる。

制御部は、画面に地図を表示するナビゲーション制御部５２と、報知制御部８２と、を含み、
出力部３８は、
確証度が第１確証度（例えば図４の高）である場合に、ナビゲーション制御部５２に対して、車両の周辺の詳細地図を表示するための動作指示を出力し、
確証度が第１確証度よりも低い第２確証度（例えば図４の中）である場合に、報知制御部８２に対して、道案内が必要か否かをユーザＵに問い合わせるための動作指示を出力する。

上記構成によれば、確証度が相対的に高い場合にナビゲーション装置５０に地図を表示させ、確証度が相対的に低い場合に報知装置８０を介してユーザＵに問い合わせを行うため、被制御装置１６（ナビゲーション装置５０、報知装置８０）の動作を適切に行うことができる。

上記実施形態は、
所定機能を制御する制御部に対して動作指示を出力する制御方法であって、
認識部３２を用いてユーザＵが行う所定挙動を認識し、
推定部３４を用いて認識部３２により認識される所定挙動に基づいてユーザＵの状態を推定し、
評価部３６を用いて推定部３４による推定結果の確証度を評価し、
出力部３８を用いて制御部（ナビゲーション制御部５２、エアコン制御部６４、ワイパー制御部７４、報知制御部８２）に対して確証度に対応する動作指示を被制御装置１６に対して出力する。

上記構成によれば、ユーザＵの状態を推定した推定結果の確証度を評価し、制御部に対して確証度に対応する動作指示を出力するため、ユーザＵの状態に応じて適切に被制御装置１６を動作させることができる。

なお、本発明に係る制御装置および制御方法は、前述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

１４…制御装置 １６…被制御装置
３２…認識部 ３４…推定部
３６…評価部 ３８…出力部
４０…記憶部 ４２…状態テーブル
４４…評価要素テーブル ５０…ナビゲーション装置
５２…ナビゲーション制御部（制御部）
６０…エアコン装置 ６２…エアコンスイッチ
６４…エアコン制御部（制御部） ７０…ワイパー装置
７２…ワイパースイッチ ７４…ワイパー制御部（制御部）
８０…報知装置 ８２…報知制御部（制御部）
８８…挙動情報 ９０…状態情報
９２…評価要素情報

Claims (14)

1. 所定機能を制御する制御部に対して動作指示を出力する制御装置であって、
   ユーザの所定挙動を認識する認識部と、
   前記認識部により認識される前記所定挙動に基づいて前記ユーザの迷い状態の種類を推定する推定部と、
   前記推定部による推定結果の確証度を評価する評価部と、
   前記制御部に対して前記確証度に対応する前記動作指示を出力する出力部と、
   前記確証度を評価するための評価要素を示す評価要素情報と前記ユーザの迷い状態の種類を示す状態情報とを紐付ける評価要素テーブルを記憶する記憶部と、
   を備え、
   前記評価要素テーブルでは、複数の前記評価要素情報が、１つの前記状態情報に紐付けられており、
   前記評価要素情報では、前記ユーザの挙動の状況または前記ユーザの周囲の状況が定められており、
   前記評価部は、前記推定結果に対応する前記状態情報を判定し、前記評価要素テーブルにおいて、判定した前記状態情報に紐付けられた各々の前記評価要素情報を参照し、各々の前記評価要素情報が示す前記評価要素が現在の前記ユーザの挙動の状況または現在の前記ユーザの周囲の状況と合致するか否かを判定し、合致する前記評価要素の数を判定し、判定した数に基づいて前記確証度を評価する、制御装置。
2. 請求項１に記載の制御装置であって、
   前記出力部は、前記確証度に対応する前記制御部に対して、前記確証度に対応する前記動作指示を出力する、制御装置。
3. 請求項１または２に記載の制御装置であって、
   前記出力部は、前記確証度が低くなるほど抽象的な前記動作指示を出力する、制御装置。
4. 請求項１または２に記載の制御装置であって、
   前記出力部は、前記確証度が所定の境界より低い場合に、前記ユーザの迷い状態を解消するために直接寄与する機能を支援する他の機能を制御する前記制御部に対して、前記動作指示を出力する、制御装置。
5. 請求項１または２に記載の制御装置であって、
   前記出力部は、前記確証度が高くなるほど具体的な前記動作指示を出力する、制御装置。
6. 請求項１または２に記載の制御装置であって、
   前記出力部は、前記確証度が所定の境界より高い場合に、前記ユーザの迷い状態を解消するために直接寄与する機能を制御する前記制御部に対して、前記動作指示を出力する、制御装置。
7. 請求項１～６のいずれか１項に記載の制御装置であって、
   前記所定挙動を示す挙動情報と前記状態情報とを紐付ける状態テーブルを備え、
   前記推定部は、前記認識部により認識される前記所定挙動を示す前記挙動情報が前記状態テーブルに格納されている場合に、前記ユーザの迷い状態が、前記状態テーブルにおいて前記挙動情報に紐付けられている迷い状態であると推定する、制御装置。
8. 請求項１～７のいずれか１項に記載の制御装置であって、
   前記認識部は、前記所定挙動として、車両内の前記ユーザが前記車両に設けられる所定の操作スイッチの所定距離内で行う手の迷い動作を認識し、
   前記出力部は、前記操作スイッチにより操作される前記制御部に対して、前記動作指示を出力する、制御装置。
9. 請求項８に記載の制御装置であって、
   前記制御部は、エアコン制御部を含み、
   前記評価部は、少なくとも前記車両内の温度に基づいて前記確証度を評価する、制御装置。
10. 請求項９に記載の制御装置であって、
    前記制御部は、更に報知制御部を含み、
    前記出力部は、
    前記確証度が第１確証度である場合に、前記エアコン制御部に対して、前記車両内の温度を変更するための前記動作指示を出力し、
    前記確証度が前記第１確証度よりも低い第２確証度である場合に、前記報知制御部に対して、前記エアコン制御部の操作支援が必要か否かを前記ユーザに問い合わせるための前記動作指示を出力する、制御装置。
11. 請求項１～７のいずれか１項に記載の制御装置であって、
    前記認識部は、前記所定挙動として、車両内の前記ユーザの前傾姿勢を認識し、
    前記出力部は、前記制御部に対して、道案内に関する前記動作指示を出力する、制御装置。
12. 請求項１１に記載の制御装置であって、
    前記評価部は、視線の変化と顔向きの変化の少なくとも一方に基づいて前記確証度を評価する、制御装置。
13. 請求項１２に記載の制御装置であって、
    前記制御部は、画面に地図を表示するナビゲーション制御部と、報知制御部と、を含み、
    前記出力部は、
    前記確証度が第１確証度である場合に、前記ナビゲーション制御部に対して、前記車両の周辺の詳細地図を表示するための前記動作指示を出力し、
    前記確証度が第１確証度よりも低い第２確証度である場合に、前記報知制御部に対して、前記道案内が必要か否かを前記ユーザに問い合わせるための前記動作指示を出力する、制御装置。
14. 所定機能を制御する制御部に対して動作指示を出力する制御方法であって、
    コンピュータを用いて、
    ユーザの所定挙動を認識し、
    認識される前記所定挙動に基づいて前記ユーザの迷い状態の種類を推定し、
    推定結果の確証度を評価し、
    前記制御部に対して前記確証度に対応する前記動作指示を出力し、
    前記確証度を評価するための評価要素を示す評価要素情報と前記ユーザの迷い状態の種類を示す状態情報とを紐付ける評価要素テーブルを記憶し、
    前記評価要素テーブルでは、複数の前記評価要素情報が、１つの前記状態情報に紐付けられており、
    前記評価要素情報では、前記ユーザの挙動の状況または前記ユーザの周囲の状況が定められており、
    前記推定結果に対応する前記状態情報を判定し、前記評価要素テーブルにおいて、判定した前記状態情報に紐付けられた各々の前記評価要素情報を参照し、各々の前記評価要素情報が示す前記評価要素が現在の前記ユーザの挙動の状況または現在の前記ユーザの周囲の状況と合致するか否かを判定し、合致する前記評価要素の数を判定し、判定した数に基づいて前記確証度を評価する、制御方法。
    

Images