JP5061074B2 - 車載機器制御装置および車載機器制御方法 - Google Patents

Description

本発明は、エアコン、オーディオ等の車載機器を制御するための制御装置に関し、特に、簡単なインターフェースで制御可能な車載機器制御装置に関する。

車両内には、エアコン、オーディオ等の様々な車載装置があり、従来から、これらの車載装置をドライバが安全に操作できるようにするための制御装置が提案されている。

特許文献１は、発話内容を音声認識して車載機器を制御する装置に関する発明である。このような音声を用いたインターフェースは、ドライバがハンドルから手を離さずに安全に車載機器を操作できるというメリットがあるが、実際問題としては、他の乗員の話し声、オーディオの音楽、あるいは、外部から入ってくる騒音などの雑音があるため、発話内容を認識するのは容易ではない。

ドライバがハンドルから手を離さないで装置に対する働きかけを行う別のインターフェースとして、頷きを判定する方法も知られている。例えば、特許文献２には、顔の向き計算手段によって計算したドライバの顔の向きに基づいてドライバの頷きを判定し、判定結果に基づいて第２警報を発するか否かを制御する発明が記載されている。
特開２００７−２８６１３６号公報 特開平７−１１７５９３号公報

上記した頷きによって操作等を受け付けるインターフェースは、音声認識の場合と異なり、雑音の影響を受けないというメリットがある。しかしながら、ドライバは、例えば、バックミラーや側方を確認したり、信号を見たりというように、車両を運転するために必要な様々な行動をとるので、これらの動きをドライバのリアクションと誤検出するおそれがあり、ドライバの頷きを精度良く検出することは容易ではなかった。

そこで、本発明は、ドライバのリアクションを精度良く検出し、適切な車載機器制御を行える車載機器制御装置を提供することを目的とする。

本発明の車載機器制御装置は、車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、ドライバを撮影するカメラと、車載機器の制御を行うか否かを問い合わせるメッセージを記憶したメッセージ記憶部と、前記メッセージ記憶部からメッセージを読み出し、読み出したメッセージを出力するメッセージ出力部と、前記メッセージの出力開始から前記メッセージの出力後一定時間が経過するまでの間に前記カメラにて撮像される映像から、ドライバが所定の方向を見ながら顔を縦に振る動きを肯定のリアクションとして検出し、ドライバが所定の方向を見ながら顔を横に振る動きを否定のリアクションとしてとして検出するリアクション検出部と、前記リアクション検出部にて肯定のリアクションを検出したときに、前記メッセージに係る制御を行うための制御信号を前記車載機器に送信する制御信号送信部とを備える。

このようにドライバが所定の方向を見ながら顔を縦または横に振る動きをドライバのリアクションとして検出することにより、問い合わせのメッセージに対するドライバのリアクションと、運転の必要上行う様々な動きとを区別し、リアクションの検出精度を高めることができる。なお、「所定の方向」は、例えば、車両の進行方向としてよいし、ヘッドアップディスプレイやインストルメントパネルの方向としてもよい。

本発明の車載機器制御装置において、前記リアクション検出部は、ドライバが顔を縦または横に振る動きを検出したときに、縦または横に振る動きの直前にドライバの顔が所定の方向を向いていたか否かによって、ドライバが所定の方向を見ながら顔を縦または横に振ったか否かを判定してもよい。

このようにドライバの顔の縦または横に動く直前に、ドライバの顔が所定の方向を向いていたか否かを判定するという簡単な構成により、ドライバが顔を縦または横に振ったときに所定の方向を見ていたか否かを判定できる。

本発明の車載機器制御装置は、カメラの映像からドライバの視線を検出する視線検出部を備え、前記リアクション検出部は、前記視線検出部にて検出したドライバの視線が所定の方向を向いていて、かつ、ドライバが顔を縦または横に振る動きを検出したときに、ドライバのリアクションを検出してもよい。

この構成により、ドライバの顔が縦または横に動いている最中に、所定の方向を見ていたか否かを正確に求めることができる。なお、ドライバの顔の動きの検出とドライバの視線方向の判定はどちらを先に行ってもよい。すなわち、ドライバの顔が縦または横に動いたことを検出した時点で、その間に視線が所定方向を見ていたか否かを判定してもよいし、視線が所定方向を見ていると判定された期間からドライバの顔が縦または横に動くか否かを検出してもよい。

本発明の車載機器制御装置において、前記メッセージ出力部は、前記メッセージの音声出力に同期して、前記ヘッドアップディスプレイまたは前記インストルメントパネルに、前記メッセージを知らせるキャラクターをアニメーション表示してもよい。

この構成により、ドライバは、キャラクターと対話する感覚で、問い合わせのメッセージに対して返事をすることができる。また、リアクション時にドライバが見る方向をキャラクターの表示されたヘッドアップディスプレイまたはインストルメントパネルに誘導できるので、ドライバは、どちらを向いてリアクションをとるべきかをあらかじめ記憶しておく必要がない。

本発明の車載機器制御装置において、前記メッセージ出力部は、前記ヘッドアップディスプレイまたは前記インストルメントパネルに、前記メッセージを表示してもよい。

この構成により、ドライバは、メッセージを見つつリアクションをとるので、リアクション時にドライバが見る方向をメッセージの表示されたヘッドアップディスプレイまたはインストルメントパネルに誘導できる。これにより、ドライバは、どちらを向いてリアクションをとるべきかをあらかじめ記憶しておく必要がない。

本発明の車載機器制御装置は、前記リアクション検出部にてドライバのリアクションを検出したときに、リアクションを検出したことをドライバに知らせる報知情報を出力してもよい。

この構成により、ドライバは、リアクションが装置に認識されたかどうか分かるので、ドライバはリアクションの動作をやめてもよいかを判断できる。報知情報は、例えば、音声によって報知してもよいし、表示によって報知してもよい。

本発明の車載機器制御装置は、前記カメラにて撮影したドライバの映像から、前記メッセージ出力部にてメッセージが出力されていないときにドライバの顔が縦または横に動く非リアクションパターンを検出する非リアクションパターン検出部と、前記非リアクションパターン検出部にて検出した非リアクションパターンを記憶する非リアクションパターン記憶部とを備え、前記リアクション検出部は、ドライバの顔の動きを、前記リアクションパターン記憶部に記憶されたリアクションパターンおよび前記非リアクションパターン記憶部に記憶された非リアクションパターンと比較することにより、ドライバのリアクションを検出してもよい。

例えば、ドライバが同乗者と会話をしているときや音楽を聴いているときなどのように、メッセージに対するリアクションをとる以外の状況において、顔を縦または横に動かす動きを非リアクションパターンとして記憶しておき、非リアクションパターンをも用いてカメラの映像からリアクションを検出することにより、リアクション検出の精度を高めることができる。非リアクションパターンを用いた検出の一例としては、ドライバが顔を縦または横に動かす動きが、リアクションパターンと非リアクションパターンのいずれに類似しているかを判定し、非リアクションパターンよりリアクションパターンの方に類似している場合に、リアクションとして検出する構成とすることができる。

本発明の車載機器制御装置において、前記制御信号送信部が前記車載機器に前記制御信号を送信した後の一定時間内に、前記リアクション検出部にて否定のリアクションを検出したときに、前記制御信号送信部は、前記車載機器への指示を取り消す制御信号を送信してもよい。

この構成により、リアクションを誤検出した場合やドライバの気が変わった場合等に、顔を横に振るという簡単なリアクションにより、直ちに、車載機器の制御を取り消すことができる。

本発明の車載機器制御方法は、車載機器に制御信号を送信して車載機器の制御を行う方法であって、車載機器の制御を行うか否かを問い合わせるメッセージを記憶したメッセージ記憶部を準備するステップと、カメラにてドライバを撮影するステップと、前記メッセージ記憶部からメッセージを読み出し、読み出したメッセージを出力するステップと、前記メッセージの出力開始から前記メッセージの出力後一定時間が経過するまでの間に前記カメラにて撮像される映像から、ドライバが所定の方向を見ながら顔を縦に振る動きを肯定のリアクションとして検出し、ドライバが所定の方向を見ながら顔を横に振る動きを否定のリアクションとしてとして検出するステップと、リアクションを検出するステップにおいて肯定のリアクションを検出したときに、前記メッセージに係る制御を行うための制御信号を前記車載機器に送信するステップとを備える。

この構成により、ドライバのリアクションの検出精度を高めることができる。なお、本発明の車載機器制御装置の各種の構成を本発明の車載機器制御方法に適用することが可能である。

本発明のプログラムは、車載機器に制御信号を送信して車載機器の制御を行うためのプログラムであって、コンピュータに、車載機器の制御を行うか否かを問い合わせるメッセージを記憶したメッセージ記憶部からメッセージを読み出し、読み出したメッセージを出力するステップと、前記メッセージの出力開始から前記メッセージの出力後一定時間が経過するまでの間にカメラにて撮像されるドライバの映像から、ドライバが所定の方向を見ながら顔を縦に振る動きを肯定のリアクションとして検出し、ドライバが所定の方向を見ながら顔を横に振る動きを否定のリアクションとしてとして検出するステップと、リアクションを検出するステップにおいて肯定のリアクションを検出したときに、前記メッセージに係る制御を行うための制御信号を前記車載機器に送信するステップとを実行させる。

この構成により、ドライバのリアクションの検出精度を高めることができる。なお、本発明の車載機器制御装置の各種の構成を本発明のプログラムに適用することが可能である。

本発明によれば、ドライバが所定の方向を見ながら顔を縦または横に振る動きを検出することにより、問い合わせに対するドライバのリアクションと、運転の必要上行う様々な動きとを区別し、リアクションの検出精度を高めることができる。

以下、本発明の実施の形態の車載機器制御装置の構成について説明する。
（第１の実施の形態）
図１は、第１の実施の形態の車載機器制御装置１の構成を示す図である。第１の実施の形態の車載機器制御装置１は、ナビゲーション装置４２、オーディオ４４、エアコン４６、電話４８等の車載機器４０に接続されている。車載機器制御装置１は、車載機器４０に制御信号を送信し、車載機器４０の制御を行なう。

車載機器制御装置１は、ドライバを撮影するカメラ１０と、カメラ１０にて撮影した映像に基づいて車載機器４０を制御するか否かの判断処理等を行なう制御部１２と、音声メッセージのデータを記憶したメッセージ記憶部３０と、音声メッセージを出力するスピーカ３２と、ドライバのリアクションのパターンを記憶したリアクションパターン記憶部３４と、車載機器４０と通信を行う通信インターフェース３６とを有している。

制御部１２は、視線検出部１４と、車載機器特定部１６と、ドライバ識別部１８と、リアクション検出部２０と、リアクション学習部２４と、メッセージ出力部２６と、制御信号送信部２８とを有している。制御部１２が有するこれらの機能は、図示しないＲＯＭ等に記憶されたプログラムをコンピュータにて実行することによって実現される。制御部１２の機能を実現するプログラムも本発明の範囲に含まれる。

視線検出部１４は、カメラ１０にて撮影した映像からドライバの頭部の位置およびドライバの眼球の動きを検出し、検出したデータを解析してドライバの視線を検出する。なお、視線検出部１４は、カメラ１０の設置位置とドライバの座席との位置関係を示すデータを有しており、このデータを用いて車両内の座標系における視線方向を検出する。

車載機器特定部１６は、視線検出部１４にて求めたドライバの視線上にある車載機器４０を求め、求めた車載機器４０をドライバが見た車載機器４０として特定する。なお、車載機器特定部１６は、ドライバの視線が車載機器４０に向けられた時間が一定時間以上になったとき、あるいはドライバの視線が車載機器４０に向けられた回数が所定の回数以上になったときに車載機器４０を特定する構成としてもよい。これにより、たまたま車載機器４０の方向に視線が向けられた場合に、その車載機器４０をドライバが制御を望んでいる車載機器として特定しないようにし、ドライバの意図にそぐわない問合せの動作を回避できる。

ドライバ識別部１８は、車両を運転しているドライバを識別する機能を有する。ドライバ識別部１８は、カメラ１０にて撮影されたドライバの顔画像と、予め登録されたドライバの基準画像とのマッチングを行うことにより、ドライバを特定する。なお、ドライバを識別する手法は、カメラ１０の映像を使う方法に限られない。例えば、シートの調整量を検知するセンサからシートの調整量を示すデータを取得し、取得したデータとあらかじめ記憶しておいた各ドライバ特有のシートの調整量とに基づいて、ドライバを特定してもよい。また、ドライバを特定するＩＤの入力を受け付け、入力されたＩＤにてドライバを特定してもよい。

リアクション検出部２０は、カメラ１０にて撮影したドライバの顔の動きと、リアクションパターン記憶部３４に記憶されたリアクションパターンとを比較してドライバのリアクションを求める。

図２は、リアクションパターン記憶部３４に記憶されたリアクションパターンの例を示す図である。リアクションパターン記憶部３４には、肯定のリアクションパターン、否定のリアクションパターンを記憶している。リアクションパターンは、縦方向（図３（ａ）参照）、横方向（図３（ｂ）参照）への顔および頭部の振り角の変位を規定したパターンである。

ここで、本実施の形態における顔および頭部の振り角の求め方について説明する。本実施の形態では、画像中に含まれる顔部品（目、鼻、口等）の位置の動きに基づいて顔および頭部の振り角を求める。また、本実施の形態では、リアクションの検出精度を高めるために、顔部品から求めた振り角を時間方向に加重平均することによってノイズを低減する処理を行う。具体的には、一定範囲内の過去における振り角の値Ｄ（ｔ−ｎ）から現時点の振り角の値Ｄ（ｔ）までの値の加重平均値Ｄ_ａｖ（ｔ）を求める。具体的には、例えば、下記の式（１）に示すように、新しいデータの重みを古いデータより重くして重み付けを行うことにより、加重平均値Ｄ_ａｖ（ｔ）を求める。
Ｄ_ａｖ（ｔ）＝（ｋ_１×Ｄ（ｔ−ｎ）＋ｋ_２×Ｄ（ｔ−ｎ＋１）＋・・・＋ｋ_ｎ×Ｄ（ｔ））／ｎ （ただし、ｋ_１＜ｋ_２＜・・・＜ｋ_ｎ） ・・・（１）

図２に示すように、肯定のリアクションパターンは、顔・頭部は一定時間内（この例では１秒間）に下方向に向いてから上方向に戻り、かつ、横方向に大きい変化がないパターンである。否定のリアクションパターンは、顔・頭部は一定時間内（この例では１秒間）に左（又は右）方向に向いてから右（又は左）方向に戻り、かつ、縦方向に大きい変化がないパターンである。

なお、リアクションパターンには、個人差がある。図２では、肯定、否定のリアクションパターンを一つずつしか示していないが、リアクションパターン記憶部３４は、各ドライバに対応したリアクションパターンを記憶している。ドライバごとのリアクションパターンは、例えば、以下のようにして生成する。まず、リアクションパターン記憶部３４に、初期パターンとして肯定、否定の一般的なリアクションパターンを登録しておく。なお、一般的なリアクションパターンとは、例えば、多数のドライバの平均のリアクションパターンである。リアクション学習部２４が、各ドライバの肯定、否定のリアクションを教師信号として初期パターンから学習を行なうことによって、各ドライバに対応したリアクションパターンを生成する。

次に、リアクション検出部２０が行なう処理について説明する。リアクション検出部２０は、ドライバ識別部１８にて求めたドライバの識別データに対応するリアクションパターンをリアクションパターン記憶部３４から読み出す。

リアクション検出部２０は、顔向き検出部２２を有している。顔向き検出部２２は、カメラ１０にて撮影した映像からドライバの顔の向きを検出する。リアクション検出部２０は、まず、カメラ１０にて撮影した映像から、ドライバの顔および頭部の振り角の変位を求め、求めた変位が読み出したリアクションパターンに対応するか否かを判断する。ここで、ドライバの顔のおよび頭部の縦方向、横方向の振り角の変位がリアクションパターンに対応するとは、両者が完全に一致することを意味するのではなく、両者の類似度が所定の閾値より高いことを意味する。

類似度は、例えば、差分絶対値和を用いて定量化することができる。すなわち、顔および頭部方向の移動ベクトルパターンとリアクションパターン記憶部３４との差分（傾きと角度）を求め、差分によって類似度を表わす。差分が小さいほど、類似度は高いと判断される。また、差分絶対値和を求める方法のほかにも、ＤＰ法を用いて類似度を求めることも可能である。ＤＰ法は、音声や文字（サイン）などの認証技術として知られている方法である。リアクション検出部２０は、リアクションパターン記憶部３４に記憶されたパターンとのマッチングにより、リアクションパターンに対応するドライバの動きを検出することができる。なお、ここまでの処理により求めたドライバの動きは、肯定または否定のリアクションの候補である。

次に、顔向き検出部２２は、リアクションパターンにマッチングした動きの開始前におけるドライバの顔向きを求める。そして、リアクション検出部２０は、肯定または否定のリアクション候補の動きの直前に、ドライバの顔がヘッドアップディスプレイ（以下、「ＨＵＤ」という）の方向に向いているか否かを判定する。この結果、ドライバの顔がＨＵＤの方向を見ていた場合には、肯定のリアクションまたは否定のリアクションを検出する。なお、ここでは、ドライバの顔がＨＵＤを見ているか否かを判定しているが、この方向は、運転に差し障りのない方向を適宜決定することができる。例えば、車両の進行方向であってもよいし、インストルメントパネルの方向でもよい。

メッセージ出力部２６は、車載機器４０の制御を行なうか否かを問い合わせるためのメッセージをメッセージ記憶部３０から読み出し、読み出したメッセージをスピーカ３２から出力する。

図４は、メッセージ記憶部３０に記憶されたメッセージの例を示す図である。メッセージ記憶部３０には、車載機器、ステータス、メッセージＩＤ、メッセージ内容のデータが記憶されている。車載機器、ステータスは、出力すべきメッセージを選択するための条件である。メッセージＩＤは、メッセージ内容を特定する識別子であり、メッセージＩＤとメッセージ内容とは対応している。

図４に示す例では、制御対象の車載機器がエアコン、ステータスが「電源：オン、設定温度：２３℃以下」である場合には、メッセージＡ００１、メッセージＡ００２、メッセージＡ００３をあらかじめ定められた順番に従って、出力する。

メッセージ出力部２６は、車載機器特定部１６にて特定された車載機器４０とそのステータスに応じて、メッセージ記憶部３０からメッセージのデータを順次読み出し、読み出したメッセージのデータをスピーカ３２に渡す。ドライバの肯定のレスポンスを検出したときには、以降のメッセージの読み出しを停止する。

スピーカ３２は、渡されたメッセージのデータを音声出力する。なお、リアクション検出部２０は、メッセージの出力開始後からドライバのリアクションを検出することができる。もし、リアクション検出部２０が、メッセージの出力途中でドライバのリアクションを検出した場合には、スピーカ３２は、そのメッセージの出力を途中で停止してもよい。この構成により、ドライバは、メッセージに対するリアクションをすれば、そのメッセージを最後まで聞かなくてもよいので、車載機器４０への制御信号の送信を迅速に行えると共に、ドライバにとってはメッセージを全部聞く煩わしさがなくなる。

制御信号送信部２８は、リアクション検出部２０にて肯定のリアクションが検出された場合に、メッセージ出力部２６にて出力したメッセージに係る制御を行なうようにするための制御信号を、通信インターフェース３６を通じて該当の車載機器４０に送信する。

図５は、第１の実施の形態の車載機器制御装置１の動作を示すフローチャートである。図５を参照して、車載機器制御装置１の動作について説明する。

車載機器制御装置１は、まず、ドライバ識別部１８にてドライバを識別する（Ｓ１０）。具体的には、ドライバ識別部１８は、カメラ１０にてドライバを撮影し、撮影したドライバの顔画像とあらかじめ記憶しているドライバの基準画像とのマッチングを行なことにより、ドライバを識別する。この処理は、リアクション検出部２０にて用いるリアクションパターンを決定するための準備である。

車載機器制御装置１は、カメラ１０にて撮影したドライバの映像からドライバの視線を検出し（Ｓ１２）、ドライバの視線上にある車載機器４０を特定する（Ｓ１４）。次に、車載機器制御装置１は、車載機器４０のステータスを取得する（Ｓ１６）。車載機器制御装置１は、車載機器４０とそのステータスに対応するメッセージを、メッセージ記憶部３０から読み出し、読み出したメッセージを音声出力する（Ｓ１８）。例えば、車載機器特定部１６にてエアコン４６が特定され、その時点でエアコン４６のステータスが、電源オン、設定温度２３℃の場合には、図４に示すメッセージ記憶部３０からメッセージＡ００１を読み出して出力する。

なお、車載機器制御装置１は、ドライバが車両前方を見ているタイミングに問合せメッセージを音声出力することが安全運転の観点から望ましい。従って、メッセージ出力部２６は、カメラ１０の映像を監視して、ドライバの視線が車載機器４０から車両前方に戻ったタイミングでメッセージデータをスピーカ３２に送信する構成としてもよい。

続いて、車載機器制御装置１は、メッセージの出力開始からメッセージ出力後の一定時間が経過するまでのカメラ映像からドライバのリアクションを検出する（Ｓ２０）。つまり、メッセージの出力開始後の一定時間にドライバのリアクションを受け付ける。なお、車載機器制御装置１は、ドライバのリアクションを受け付けていることをドライバに報知してもよい。例えば、リアクションの受付中に、リアクション受付けの残り時間を示す棒グラフをＨＵＤに表示してもよいし、残り時間に応じて変える色（青→黄→赤等）を表示してもよいし、残り秒数をカウントダウンの数字で表示してもよい。

図６は、ドライバのリアクションを検出する処理（Ｓ２０）の詳細を示す図である。リアクション検出部２０は、まず、リアクションパターン記憶部３４から、識別されたドライバに対応するリアクションパターンを読み出す（Ｓ３０）。次に、リアクション検出部２０は、メッセージの出力開始からメッセージの出力後一定時間（例えば、５秒間）が経過するまでに撮影されるドライバの映像から、リアクションパターンにマッチングするドライバの動きを検出する（Ｓ３２）。

次に、リアクション検出部２０は、パターンマッチングにより、ドライバの顔の縦振りまたは横振りが検出されたか否か判定する（Ｓ３４）。ドライバの顔の縦振りまたは横振りが検出されなかった場合（Ｓ３４でＮＯ）、メッセージ出力後の一定時間が経過したか否か判定し（Ｓ３８）、メッセージの出力後一定時間が経過していない場合には（Ｓ３８でＮＯ）、新たに撮影されたカメラ映像のパターンマッチング処理を行う（Ｓ３２）。

ドライバの顔の縦振りまたは横振りが検出された場合（Ｓ３４でＹＥＳ）、顔向き検出部２２は、ドライバの顔の縦振りまたは横振りが検出される直前におけるドライバの顔向きを検出する。リアクション検出部２０は、顔向き検出部２２にて検出された顔向きがＨＵＤの方向か否かを判定する（Ｓ３６）。ドライバの顔向きがＨＵＤの方向を向いていた場合には（Ｓ３６でＹＥＳ）、リアクション検出部２０は、ステップＳ４２で求めたドライバの動きを、メッセージに対するドライバの肯定または否定のリアクションとして検出する（Ｓ４０）。

なお、リアクション検出部２０は、メッセージ出力後一定時間が経過する前にもリアクションを検出することができるように、順次撮像されるカメラ１０の映像に対して上記処理をリアルタイムに行う。

図５を再び参照して、車載機器制御装置１の動作について説明する。車載機器制御装置１は、リアクション検出部２０にてリアクションが検出されたか否かを判定する（Ｓ２２）。リアクションが検出されなかった場合（Ｓ２２でＮＯ）、メッセージ出力部２６は、次のメッセージがあるか否か判定する（Ｓ２８）。次のメッセージとは、車載機器４０のステータスに対して複数のメッセージが存在する場合において、まだ出力していないメッセージである。図４に示す例で説明すると、例えば、エアコン４６のステータスが電源オン、設定温度２３℃以下の場合に、メッセージＡ００１〜Ａ００３を順次出力するとすれば、メッセージＡ００１が出力された後の次のメッセージはメッセージＡ００２であり、メッセージＡ００２が出力された後の次のメッセージはＡ００３である。

次のメッセージがある場合には（Ｓ２８でＹＥＳ）、メッセージ出力部２６は、次のメッセージをスピーカ３２から出力する（Ｓ１８）。次のメッセージがない場合には（Ｓ２８でＮＯ）、車載機器制御装置１は、ドライバの視線検出（Ｓ１２）に基づく処理を終了し、ドライバの視線が車載機器４０に向けられるまで待つ。

リアクション検出部２０にてリアクションが検出された場合（Ｓ２２でＹＥＳ）、車載機器制御装置１は、リアクションの種類を判定する（Ｓ２４）。検出したリアクションが肯定のリアクションであった場合、車載機器制御装置１は、出力したメッセージに対応する制御を指示する制御信号を車載機器４０に送信する（Ｓ２６）。

検出されたリアクションが否定のリアクションであった場合、メッセージ出力部２６は、次のメッセージがあるか否かを判定する（Ｓ２８）。リアクションが検出されなかった場合（Ｓ２２でＮＯ）と同様に、次のメッセージがあるか否かの判定（Ｓ２８）に移行する。以上、第１の実施の形態の車載機器制御装置１の構成および動作について説明した。

車載機器制御装置１は、車載機器４０を制御するか否かを問い合わせるメッセージを音声出力し、この問合せに対する応答を、頷きまたは首振りの動作によって受け付けるので、ドライバはハンドルから手を離さずに、車載機器４０を制御することができる。また、ドライバを撮影した映像からリアクションを検出するので、雑音があっても、ドライバの応答を適切に検出できる。

車載機器制御装置１は、ドライバがＨＵＤの方向を見ながら行ったリアクションを検出するので、例えば、ドライバが信号を見たり、左右の安全確認を行う動きのように運転に必要な動きを、メッセージに対するリアクションと誤検出することがなく、ドライバのリアクションの検出精度を高めることができる。

上記した実施の形態では、肯定のリアクションを検出した場合に、車載機器制御装置１が車載機器４０に制御信号を送信し（Ｓ２６）、処理を終了する例について説明したが、図７に示すように、肯定のリアクションを検出した場合に、車載機器４０に対して制御信号を送信した後に、次のメッセージがあるか否かを判定する処理（Ｓ２８）を行ってもよい。この構成により、車載機器制御装置１は、車載機器４０に対して複数の制御信号を送信することができる。

図４に示す例で説明すると、エアコン４６のステータスが電源オン、設定温度２３℃以下の場合に、「温度を上げますか？」というメッセージＡ００１を出力し、これに対してドライバが頷いた（肯定のリアクションをとった）ときにエアコン４６に対して温度を上げる制御信号を送信し、続いて「風量を上げますか？」というメッセージＡ００２を出力する。これに対してドライバが頷いたときに、エアコン４６に対して風量を上げる制御信号を送信し、続いて「風向きを変えますか？」というメッセージＡ００３を出力する。さらにこれに対してドライバが頷いたときに、エアコン４６に対して風向きを変える制御信号を送信するというように、複数の制御を指示できる。

（第２の実施の形態）
図８は、本発明の第２の実施の形態の車載機器制御装置２の構成を示す図である。第２の実施の形態の車載機器制御装置２の基本的な構成は、第１の実施の形態の車載機器制御装置１（図１参照）と同じであるが、第２の実施の形態では、制御部１２がアニメーション生成部５０をさらに有している。

アニメーション生成部５０は、スピーカ３２から出力されるメッセージに同期して動くキャラクターの映像を生成し、生成した映像をＨＵＤ５２に送信する。

また、本実施の形態では、リアクション検出部２０にてメッセージに対する肯定のリアクションを検出したときに、メッセージ出力部２６は、肯定のリアクションを受け付けたことを報知するフィードバックメッセージのデータをスピーカ３２に渡し、スピーカ３２からフィードバックのメッセージを出力する。フィードバックのメッセージとしては、例えば、「了解しました。エアコンの温度を上げます。」等のように、リアクションの受付けを示すメッセージと、リアクションに基づいて行う制御内容を示すメッセージを出力する。なお、リアクションの受付けを示すメッセージを省略して、リアクションに基づいて行う制御内容を示すメッセージだけを出力してもよい。この例としては、「エアコンの温度を上げます。」等のようになる。アニメーション生成部５０は、フィードバックメッセージにも同期して動くキャラクターの映像を生成し、ＨＵＤ５２に送信する。

図９は、第２の実施の形態の車載機器制御装置２の動作を示す図である。第２の実施の形態の車載機器制御装置２の基本的な動作は、第１の実施の形態の車載機器制御装置１の動作と同じである。以下では、第１の実施の形態の車載機器制御装置１の動作との相違点を中心に説明する。

第２の実施の形態の車載機器制御装置２は、カメラ１０にて撮影したドライバの映像からドライバの視線を検出し（Ｓ１２）、ドライバの視線上にある車載機器４０を特定すると共に（Ｓ１４）、その車載機器４０のステータスを取得する（Ｓ１６）。車載機器制御装置２は、ドライバが見た車載機器４０およびそのステータスに基づいて、メッセージ記憶部３０からメッセージのデータを読み出し、読み出したメッセージを音声出力すると共に、音声に同期してメッセージを伝えるキャラクターをアニメーション表示する（Ｓ１９）。

続いて、車載機器制御装置２は、第１の実施の形態と同様にドライバのリアクションを検出する処理を行い（Ｓ２０）、リアクションの有無および種類に応じて処理を行う。車載機器制御装置２は、メッセージに対する肯定のリアクションを検出した場合には、肯定のリアクションを検出したことを示すフィードバックを出力する（Ｓ２５）。フィードバックは、「了解しました。エアコンの温度を上げます。」等のメッセージを音声によって通知すると共に、図１０に示すように、音声に同期してキャラクターをＨＵＤ５２にアニメーション表示する。

第２の実施の形態の車載機器制御装置２は、ＨＵＤ５２に、メッセージを伝えるキャラクターを表示するので、ドライバは、そのキャラクターと対話する感覚で自然にリアクションをとることができる。また、対話形式をとることにより、メッセージに対してリアクションするときに、ドライバの視線をキャラクターの方向、すなわち、ＨＵＤ５２の方向に誘導することができる。

また、本実施の形態において、キャラクターと共に、フィードバックのメッセージもＨＵＤ５２に表示することとしてもよい。この場合、ＨＵＤ５２に表示するメッセージは、ドライバが即座に認識できるように、長すぎない文字数とすることが好ましい。図１１は、ＨＵＤ５２に、キャラクターと共にメッセージを表示した例を示す図である。図１１に示すように、ＨＵＤ５２に「ＹＥＳ！」と表示することにより、ドライバは、リアクションが受け付けられたことを即座に認識できる。なお、音声によるメッセージとしては、「了解しました。エアコンの温度を上げます。」等のようなメッセージを出力する。これにより、ドライバは、音声で具体的な制御内容を知ることができる。

なお、本実施の形態では、キャラクターをＨＵＤ５２に表示してメッセージを伝える例について説明したが、キャラクターを表示せずに、メッセージだけを文字によってＨＵＤ５２に表示することも可能である。例えば、ＨＵＤ５２に「温度を上げますか？」等の表示を行うことにより、ドライバの視線をＨＵＤ５２に誘導することができる。

また、本実施の形態では、フィードバックのメッセージを出力する構成についても、メッセージを伝えるキャラクターを表示する例について説明したが、フィードバックを行う構成は、本実施の形態の構成に限られない。

例えば、キャラクターなしで、フィードバックのメッセージの音声出力だけとすることも可能である。キャラクターを表示しなくても、フィードバックのメッセージが音声出力されれば、ドライバは、リアクションが車載機器制御装置２に認識されたか否かを知ることができる。

また、音声ではなく、映像によってフィードバックを報知してもよい。例えば、リアクション検出部２０にてリアクションを検出したときの映像をＨＵＤ５２に表示してもよい。

（第３の実施の形態）
図１２は、第３の実施の形態の車載機器制御装置３の構成を示す図である。第３の実施の形態の車載機器制御装置３の基本的な構成は、第１の実施の形態の車載機器制御装置１（図１参照）と同じであるが、第３の実施の形態の車載機器制御装置３は、非リアクションパターン記憶部５４をさらに備えている。

非リアクションパターン記憶部５４は、ドライバのメッセージに対するリアクション以外の動きのうち、顔が縦方向または横方向に動く動きを非リアクションパターンとして記憶している。非リアクションパターン記憶部５４は、メッセージを出力したとき以外に、ドライバが顔を縦方向または横方向に動かしたときの動きを検出し、その動きのパターンを記憶する。非リアクションパターン記憶部５４は、リアクションパターン記憶部３４と同様に、顔および頭部の変位を示すデータによって非リアクションパターンを記憶する。

車載機器制御装置３のリアクション検出部２０は、リアクションパターン記憶部３４から読み出したリアクションパターンに加え、非リアクションパターン記憶部５４から読み出した非リアクションパターンのデータを用いてリアクションを検出する。例えば、リアクション検出部２０は、ドライバを撮影したカメラ映像が、リアクションパターンと非リアクションパターンのどちらに近いかを判定する。カメラ映像が、リアクションパターンに近い場合には、メッセージに対するリアクションと判定し、非リアクションパターンに近い場合には、メッセージに対するリアクションではないと判定する。

第３の実施の形態の車載機器制御装置３は、非リアクションパターン記憶部５４に記憶された非リアクションパターンを用いて、メッセージに対するリアクションに似て非なる動きを検出し、非リアクションパターンを検出しないようにするので、より適切にリアクションを検出することができる。

（第４の実施の形態）
図１３は、本発明の第４の実施の形態の車載機器制御装置４の構成を示す図である。第４の車載機器制御装置４の基本的な構成は、第１の実施の形態の車載機器制御装置１と同じであるが、リアクション検出部２１によるリアクションの検出の仕方が異なる。第４の実施の形態の車載機器制御装置４では、ドライバの顔向きによってドライバがＨＵＤを見ているか否かを判定するのではなく、ドライバの視線によってドライバがＨＵＤを見ているか否かを判定する。ドライバの視線のデータは視線検出部１４によって検出する。

図１４は、第４の実施の形態の車載機器制御装置４におけるリアクション検出部２１の処理を示す図である。リアクション検出部２１の基本的な処理は、第１の実施の形態におけるリアクション検出部２０と同じであるが、ドライバの顔の縦振りまたは横振りを検出した場合に（Ｓ３４でＹＥＳ）、その動きの最中におけるドライバの視線がＨＵＤの方向であるか否かを判定する（Ｓ３７）点が異なる。

第４の実施の形態の車載機器制御装置４は、顔を振る動作の最中におけるドライバの視線がＨＵＤの方向であるか否かを判定しているので、メッセージに対するリアクションであるか否かを精度良く求めることができる。

なお、本実施の形態では、第１の実施の形態において、顔向き検出部２２にて検出された顔向きに代えて視線を用いる例について説明したが、本実施の形態で説明した視線を用いてリアクションを検出する構成は、第２の実施の形態、第３の実施の形態の構成にも適用することができる。

また、本実施の形態では、ドライバの顔振りの動作を検出した後に（Ｓ３４）、ドライバの視線方向を判定する（Ｓ３７）例について説明したが、この処理の順番を変えることも可能である。すなわち、先にドライバの視線方向を求め、ドライバの視線方向がＨＵＤの方向であるときに、ドライバの顔振りの動作を検出した場合に、メッセージに対するドライバのリアクションを検出することとしてもよい。

以上、本発明の車載機器制御装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態において、いったん指示した操作を取り消すことができる構成を採用してもよい。例えば、ドライバの肯定のリアクションを検出し、車載機器４０への制御信号を送信した後の一定の時間内に、ドライバの否定のリアクションを検出した場合に、車載機器に制御を取り消す制御信号を送信してもよい。運転の傍ら車載機器４０を操作するドライバが常に適切な判断を下すのは困難なので、いったん指示した操作を容易に取り消すことができる構成を採用することにより、使い勝手のよいインターフェースを実現できる。

上記した実施の形態においては、リアクション検出部２０が、肯定のリアクションか、否定のリアクションのいずれかを検出する例について説明したが、頷きや首振りの度合いに応じて、肯定と否定の確信度を検出することとしてもよい。これにより、確信度の度合いに基づいて、アプリケーションの制御を行うことができる。例えば、肯定の確信度が高いときには、操作指示に係る制御信号を即座に送信すると共にキャンセルを受け付けないようにし、肯定の確信度が低いときにはキャンセルを受け付け可能な時間を設けるというような制御を行える。また、否定の確信度が高い場合には、ドライバがメッセージを問いかけられるのを嫌がっていると判断し、車載機器制御装置１による処理をしばらく停止してもよい。

上記した実施の形態において、ドライバが会話しているときにはメッセージの出力を停止し、会話していないときにメッセージを出力する構成としてもよい。例えば、ドライバが会話中に所定の車載機器４０を見たときに、所定の車載機器４０を見たというデータを記憶しておき、会話が途切れたときに、記憶していたデータを読み出して、所定の車載機器４０の制御に関するメッセージを出力する。なお、ドライバが会話中であるか否かは、マイクによってドライバと同乗者の音声を集音して求めてもよいし、カメラ１０の映像からドライバの顔向きを検出し、同乗者の方を見ているか否かによって推定してもよい。

上記した実施の形態では、カメラ１０にてドライバを撮影し、ドライバのリアクションを検出する例について説明したが、助手席や後部座席に座っている同乗者のリアクションを検出し、複数の人間のリアクションに基づいて車両機器４０の制御を行ってもよい。例えば、「エアコンを入れますか？」というメッセージに対して、ドライバおよび同乗者のリアクションを検出し、検出したリアクションの多数決をとってエアコンを入れるか否かを決定してもよい。同乗者の座席ごとにエアコンを制御できるような車両においては、車載機器制御装置１は、各同乗者のリアクションに応じて個別に制御を行うこととしてもよい。なお、同乗者を撮影するためのカメラとしては、セキュリティカメラを用いることができる。

上記した実施の形態において、リアクション検出部２０は、音声メッセージの出力開始からメッセージ出力後の一定時間が経過するまでの映像から、リアクションを検出する処理を行なっているが、この時間はドライバごとに変えてもよい。判断の早いドライバとそうでないドライバがいるので、ドライバの過去にリアクションまでに要した時間のデータに基づいて、リアクションを検出するための時間を調節してもよい。

上記した実施の形態では、視線検出部１４にて検出した視線に基づいてドライバが見た車載機器４０を特定し、その車載機器の制御を行なうか否かの問い合わせを行なう例について説明したが、車載機器４０の制御の問い合わせを行なうトリガは、ドライバが車載機器４０を見たことに限定されない。例えば、車両の周辺が一定の閾値より暗いことを検出した場合に、「ライトを点灯しますか？」という問合せメッセージを出力してもよい。

上記した実施の形態では、一般的なリアクションパターンから学習を行なうことによってドライバに対応するリアクションパターンを生成する例について説明したが、ドライバごとのリアクションパターンを最初に登録する構成を採用してもよい。例えば、初期設定時に、ドライバに対して、肯定、否定のリアクションをするように指示し、そのリアクションをカメラ１０にて撮影し、得られた映像を分析してリアクションパターンを求める。また、ドライバに対して明示的にリアクションをするように指示する方法のほかに、肯定または否定することが予想される質問メッセージをドライバに投げかけ、そのリアクションを分析してリアクションパターンを求めてもよい。例えば、晴れの日に「今日は良いお天気ですね？」という質問メッセージを出力し、そのリアクションを肯定のリアクションとして登録してもよい。

以上説明したように、本発明によれば、問合せのメッセージに対するリアクションの検出の精度を高めることができ、エアコン、オーディオ等の車載機器を制御するための制御装置等として有用である。

第１の実施の形態の車載機器制御装置の構成を示す図である。 リアクションパターン記憶部に記憶されたデータの例を示す図である。 （ａ）顔および頭部の縦方向の動きを示す図である。（ｂ）顔および頭部の横方向の動きを示す図である。 メッセージ記憶部に記憶されたデータの例を示す図である。 第１の実施の形態の車載機器制御装置の動作を示す図である。 リアクション検出部の動作を示す図である。 第１の実施の形態の車載機器制御装置の動作の別の例を示す図である。 第２の実施の形態の車載機器制御装置の構成を示す図である。 第２の実施の形態の車載機器制御装置の動作を示す図である。 ＨＵＤにキャラクタを表示した例を示す図である。 ＨＵＤにキャラクタとメッセージを表示した例を示す図である。 第３の実施の形態の車載機器制御装置の構成を示す図である。 第４の実施の形態の車載機器制御装置の構成を示す図である。 第４の実施の形態におけるリアクション検出部の動作を示す図である。

符号の説明

１〜３ 車載機器制御装置
１０ カメラ
１２ 制御部
１４ 視線検出部
１６ 車載機器特定部
１８ ドライバ識別部
２０，２１ リアクション検出部
２２ 顔向き検出部
２４ リアクション学習部
２６ メッセージ出力部
２８ 制御信号送信部
３０ メッセージ記憶部
３２ スピーカ
３４ リアクションパターン記憶部
３６ 通信インターフェース
４０ 車載機器
４２ ナビゲーション装置
４４ オーディオ
４６ エアコン
４８ 電話
５０ アニメーション生成部
５２ ヘッドアップディスプレイ（ＨＵＤ）
５４ 非リアクションパターン記憶部

Claims (8)

1. 車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、
   ドライバを撮影するカメラと、
   車載機器の制御を行うか否かを問い合わせるメッセージを記憶したメッセージ記憶部と、
   前記メッセージ記憶部からメッセージを読み出し、読み出したメッセージを出力するメッセージ出力部と、
   肯定のリアクションパターンおよび否定のリアクションパターンを記憶したリアクションパターン記憶部と、
   前記カメラにて撮影したドライバの映像から、前記メッセージ出力部にてメッセージが出力されていないときにドライバの顔が縦または横に動く非リアクションパターンを検出する非リアクションパターン検出部と、
   前記非リアクションパターン検出部にて検出した非リアクションパターンを記憶する非リアクションパターン記憶部と、
   前記メッセージの出力開始から前記メッセージの出力後一定時間が経過するまでの間に前記カメラにて撮像される映像から、ドライバが顔を縦または横に振り、かつ、その直前にドライバの顔がヘッドアップディスプレイまたはインストルメントパネルの方向を向いていたときに、ヘッドアップディスプレイまたはインストルメントパネルの方向を見ながら顔を縦または横に振るドライバの顔の動きを検出し、検出されたドライバの顔の動きを、前記リアクションパターン記憶部に記憶されたリアクションパターンおよび前記非リアクションパターン記憶部に記憶された非リアクションパターンと比較することにより、ドライバの肯定のリアクションまたは否定のリアクションを検出するリアクション検出部と、
   前記リアクション検出部にて肯定のリアクションを検出したときに、前記メッセージに係る制御を行うための制御信号を前記車載機器に送信する制御信号送信部と、
   を備える車載機器制御装置。
2. 前記制御信号送信部が前記車載機器に前記制御信号を送信した後の一定時間内に、前記リアクション検出部にて否定のリアクションを検出したときに、前記制御信号送信部は、前記車載機器への指示を取り消す制御信号を送信する請求項１に記載の車載機器制御装置。
3. 車載機器に制御信号を送信して車載機器の制御を行う車載機器制御装置であって、
   ドライバを撮影するカメラと、
   車載機器の制御を行うか否かを問い合わせるメッセージを記憶したメッセージ記憶部と、
   前記メッセージ記憶部からメッセージを読み出し、読み出したメッセージを出力するメッセージ出力部と、
   前記メッセージの出力開始から前記メッセージの出力後一定時間が経過するまでのリアクション受付中に、リアクション受付けの残り時間を表示する残り時間表示部と、
   前記メッセージの出力開始から前記メッセージの出力後一定時間が経過するまでの間に前記カメラにて撮像される映像から、ドライバが顔を縦または横に振り、かつ、その直前にドライバの顔がヘッドアップディスプレイまたはインストルメントパネルの方向を向いていたときに、ヘッドアップディスプレイまたはインストルメントパネルの方向を見ながら顔を縦または横に振るドライバの顔の動きを検出し、顔を縦に振る動きを肯定のリアクションとして検出し、顔を横に振る動きを否定のリアクションとしてとして検出するリアクション検出部と、
   前記リアクション検出部にて肯定のリアクションを検出したときに、前記メッセージに係る制御を行うための制御信号を前記車載機器に送信する制御信号送信部と、
   を備える車載機器制御装置。
4. 前記メッセージ出力部は、前記メッセージの音声出力に同期して、前記ヘッドアップディスプレイまたは前記インストルメントパネルに、前記メッセージを知らせるキャラクターをアニメーション表示する請求項１〜３のいずれかに記載の車載機器制御装置。
5. 前記メッセージ出力部は、前記ヘッドアップディスプレイまたは前記インストルメントパネルに、前記メッセージを表示する請求項１〜３のいずれかに記載の車載機器制御装置。
6. 前記リアクション検出部にてドライバのリアクションを検出したときに、リアクションを検出したことをドライバに知らせる報知情報を出力する請求項１〜５のいずれかに記載の車載機器制御装置。
7. 車載機器に制御信号を送信して車載機器の制御を行う方法であって、
   車載機器の制御を行うか否かを問い合わせるメッセージを記憶したメッセージ記憶部を準備するステップと、
   カメラにてドライバを撮影するステップと、
   前記メッセージ記憶部からメッセージを読み出し、読み出したメッセージを出力するステップと、
   前記カメラにて撮影したドライバの映像から、前記メッセージが出力されていないときにドライバの顔が縦または横に動く非リアクションパターンを検出するステップと、
   検出した非リアクションパターンを非リアクションパターン記憶部に記憶するステップと、
   前記メッセージの出力開始から前記メッセージの出力後一定時間が経過するまでの間に前記カメラにて撮像される映像から、ドライバが顔を縦または横に振り、かつ、その直前にドライバの顔がヘッドアップディスプレイまたはインストルメントパネルの方向を向いていたときに、ヘッドアップディスプレイまたはインストルメントパネルの方向を見ながら顔を縦または横に振るドライバの顔の動きを検出し、検出されたドライバの顔の動きを、リアクションパターン記憶部に記憶された肯定のリアクションパターン、否定のリアクションパターンおよび前記非リアクションパターン記憶部に記憶された非リアクションパターンと比較することにより、ドライバの肯定のリアクションまたは否定のリアクションを検出するステップと、
   リアクションを検出するステップにおいて肯定のリアクションを検出したときに、前記メッセージに係る制御を行うための制御信号を前記車載機器に送信するステップと、
   を備える車載機器制御方法。
8. 車載機器に制御信号を送信して車載機器の制御を行うためのプログラムであって、コンピュータに、
   カメラにて撮影したドライバの映像を取得するステップと、
   車載機器の制御を行うか否かを問い合わせるメッセージを記憶したメッセージ記憶部からメッセージを読み出し、読み出したメッセージを出力するステップと、
   前記ドライバの映像から、前記メッセージが出力されていないときにドライバの顔が縦または横に動く非リアクションパターンを検出するステップと、
   検出した非リアクションパターンを非リアクションパターン記憶部に記憶するステップと、
   前記メッセージの出力開始から前記メッセージの出力後一定時間が経過するまでの間に前記ドライバの映像から、ドライバが顔を縦または横に振り、かつ、その直前にドライバの顔がヘッドアップディスプレイまたはインストルメントパネルの方向を向いていたときに、ヘッドアップディスプレイまたはインストルメントパネルの方向を見ながら顔を縦または横に振るドライバの顔の動きを検出し、検出されたドライバの顔の動きを、リアクションパターン記憶部に記憶された肯定のリアクションパターン、否定のリアクションパターンおよび前記非リアクションパターン記憶部に記憶された非リアクションパターンと比較することにより、ドライバの肯定のリアクションまたは否定のリアクションを検出するステップと、
   リアクションを検出するステップにおいて肯定のリアクションを検出したときに、前記メッセージに係る制御を行うための制御信号を前記車載機器に送信するステップと、
   を実行させるプログラム。