JP7165864B2 - 機器制御システム、移動体、機器制御方法及びプログラム - Google Patents

Description

本開示は、一般に機器制御システム、移動体、機器制御方法及びプログラムに関し、より詳細には、操作対象機器に対する操作が入力される入力装置を備えた機器制御システム、機器制御システムを備えた移動体、機器制御方法及びプログラムに関する。

特許文献１に記載の操作システムは、操作デバイス（入力装置）と、選択手段（決定装置）とを備える。操作デバイスは、ユーザにより手動操作され、複数の機器のうち、選択された指令対象機器（対象機器）に対して作動内容（処理内容）を指令する。選択手段は、視線検知センサにより検知されたユーザの視線方向に基づき、視線方向にある視線領域に関連付けられた機器を指令対象機器として選択する。

特開２０１６－１８２８５７号公報

特許文献１に記載の操作システムでは、視線で指令対象機器を選択してから、操作デバイスにおいて目的の操作画面に辿り着くまで、操作デバイスに複数回の操作（指によるスイッチ操作）を行う必要がある。または、操作デバイスの操作だけでは、目的の機能を実施できないことがある。このため、操作デバイスでの指令対象機器に対する操作の操作性が低下していた。

本開示は、上記事由に鑑みて、入力装置での対象機器に対する操作の操作性を向上できる機器制御システム、機器制御システムを備えた移動体、機器制御方法及びプログラムを提供することを目的とする。

本開示の一態様に係る機器制御システムは、入力装置と、検出装置と、決定装置と、を備えている。前記入力装置には、１つ以上の機器の中の何れか１つの機器である対象機器に対する操作が入力される。前記検出装置は、利用者の視線の向き又は顔の向きを検出する。前記決定装置は、前記検出装置で検出された前記視線の向き又は前記顔の向きに基づいて、前記１つ以上の機器の中から前記対象機器を決定する。前記決定装置は、前記対象機器に対し、前記検出装置で検出された前記視線の向き又は前記顔の向きに基づいて、前記入力装置に入力される前記操作に対する処理内容を変更させる。前記決定装置は、前記検出装置で検出された前記視線の向き又は前記顔の向きが前記１つ以上の機器のうちの何れの機器にも向けられていない場合は、前記１つ以上の機器のうち、予め決められた機器を前記対象機器に決定する。

本開示の一態様に係る移動体は、前記機器制御システムと、前記移動体本体と、を備える。

本開示の一態様に係る機器制御方法は、入力処理と、検出処理と、決定処理と、を備えている。前記入力処理では、１つ以上の機器の中の何れか１つの機器である対象機器に対する操作が入力される。前記検出処理では、利用者の視線の向き又は顔の向きを検出する。前記決定処理では、前記検出処理で検出した前記視線の向き又は前記顔の向きに基づいて、前記１つ以上の機器の中から前記対象機器を決定する。前記決定処理では、前記対象機器に対し、前記検出処理で検出した前記視線の向き又は前記顔の向きに基づいて、前記入力処理で入力される前記操作に対する処理内容を変更させる。前記決定処理では、前記検出装置で検出された前記視線の向き又は前記顔の向きが前記１つ以上の機器のうちの何れの機器にも向けられていない場合は、前記１つ以上の機器のうち、予め決められた機器を前記対象機器に決定する。

本開示の一態様に係るプログラムは、前記機器制御方法を少なくとも１つのプロセッサに実行させるための、プログラムである。

本開示は、入力装置での対象機器に対する操作の操作性を向上できる、という利点がある。

図１は、実施形態１に係る機器制御システムの動作を説明する説明図である。 図２Ａ及び図２Ｂは、ナビゲーション装置の状態が地図表示状態である場合の機器制御システムの動作を説明する説明図である。図２Ｃ及び図２Ｄは、ナビゲーション装置の状態がエアコン画面状態である場合の機器制御システムの動作を説明する説明図である。 図３は、同上の機器制御システムの構成を示す模式図である。 図４は、同上の機器制御システムの動作を説明するフローチャートである。 図５は、実施形態２に係る機器制御システムの動作を説明するフローチャートである。 図６は、実施形態３に係る機器制御システムの動作を説明するフローチャートである。 図７は、実施形態４に係る機器制御システムの動作を説明するフローチャートである。 図８は、実施形態５に係る機器制御システムの動作を説明するフローチャートである。 図９Ａ～図９Ｃは、同上の機器制御システムの動作を説明する説明図である。 図１０は、実施形態６に係る機器制御システムの動作を説明するフローチャートである。 図１１は、実施形態７に係る機器制御システムの動作を説明するフローチャートである。 図１２は、実施形態８に係る機器制御システムの動作を説明するフローチャートである。 図１３は、実施形態９に係る機器制御システムの動作を説明するフローチャートである。 図１４Ａ～図１４Ｃは、同上の機器制御システムの動作を説明する説明図である。 図１５は、電子ミラーを正面から見た正面図である。 図１６は、同上の機器制御システムが搭載された車両を上から見た平面図である。 図１７は、同上機器制御システムの動作を説明するフローチャートである。

以下、実施形態に係る機器制御システムについて説明する。下記の実施形態は、本開示の様々な実施形態の例に過ぎない。また、下記の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。

（実施形態１）
図１～図４を参照して、本実施形態に係る機器制御システム１について説明する。

図１を参照して、機器制御システム１の概要を説明する。図１は、車両Ｋ１の車室内において前方（フロントウインドウ１００）を見た状態を示す。車両のフロントウインドウ１００の上部の中央には、電子ミラー４２が配置されている。フロントウインドウ１００の中央の下側には、ナビゲーション装置４１が配置されている。以下、「ナビゲーション装置」を「ナビ装置」と記載する場合がある。フロントウインドウ１００の右部の下側には、ステアリングホイール１０１が配置されている。ステアリングホイール１０１には、ステアリングスイッチ１０２が配置されている。ステアリングスイッチ１０２は、車両に搭載された複数の機器４（ナビゲーション装置４１及び電子ミラー４２）を操作するための操作スイッチである。

図１に示すように、機器制御システム１は、例えば車両に搭載されて用いられ、第１入力装置２及び視線読取装置３を用いて、車両に搭載された複数（図１の例では２つ）の機器４を操作可能とするシステムである。複数の機器４は、例えば、ナビゲーション装置４１及び電子ミラー４２を含む。なお、機器４の数は複数に限定されず１つでもよい。第１入力装置２は、例えば、ステアリングスイッチ１０２である。視線読取装置３は、運転者Ｈ１（利用者）の視線Ｑ１の向きを検出し、検出した視線Ｑ１の向きに基づいて、複数の機器４の中の何れか１つの機器４を、第１入力装置２の操作対象となる操作対象機器に決定する装置である。以下、操作対象機器を対象機器とも記載する。視線読取装置３は、例えば、ドライブレコーダ用のカメラを利用した装置である。

より詳細には、視線読取装置３は、運転者Ｈ１の視線Ｑ１の向きを検出する。そして、視線読取装置３は、検出した視線Ｑ１が向けられている領域Ｒ１，Ｒ２（図１の例では領域Ｒ１）を検出し、検出した領域Ｒ１，Ｒ２に対応付けられた機器４を操作対象機器に決定する。なお、領域Ｒ１，Ｒ２は、車室の空間に設定された領域である。領域Ｒ１は、ナビゲーション装置４１が配置されている範囲であり、ナビゲーション装置４１に対応付けられている。領域Ｒ２は、電子ミラー４２が配置されている範囲であり、電子ミラー４２に対応付けられている。例えば、運転者Ｈ１の視線Ｑ１が領域Ｒ１に向けられた場合は、領域Ｒ１に対応付けられたナビゲーション装置４１が対象機器に決定される。運転者Ｈ１の視線Ｑ１が領域Ｒ２に向けられた場合は、領域Ｒ２に対応付けられた電子ミラー４２が対象機器に決定される。

そして、視線読取装置３は、検出した視線Ｑ１の向きに基づいて、第１入力装置２に入力される操作の操作内容を変更する。すなわち、視線読取装置３は、対象機器に対し、検出された視線Ｑ１の向きに基づいて、第１入力装置２に入力される操作に対する処理内容を変更させる。この視線Ｑ１に基づく処理内容の変更により、第１入力装置２に入力される操作の回数を低減、もしくは、第１入力装置２の操作だけでは実施できなかった処理を実施できる。例えば、第１入力装置２の操作だけでは、オーディオの選曲が実施でき、視線Ｑ１の向きに基づいて処理内容をサービスエリアの表示に変更させることで、サービスエリアの表示の処理も実施できる。この結果、第１入力装置２での対象機器に対する操作の操作性を向上できる。なお、上記の操作内容とは、第１入力装置２に入力される操作によって対象機器に実行させる処理の処理内容である。

本実施形態では、視線読取装置３は、対象機器が決定された決定時の対象機器の状態に応じて、第１入力装置２に入力される操作の操作内容を変更する。すなわち、視線読取装置３は、対象機器に対し、上記の決定時の対象機器の状態に応じて、第１入力装置２に入力される操作に対する処理内容を変更させる。これにより、第１入力装置２に入力される操作の操作内容が、上記の決定時の対象機器の状態に合った操作内容に変更される。これにより、第１入力装置２において簡単で直感的な操作を行うことができる。

具体的には、図２Ａ～図２Ｄに示すように、例えば、視線Ｑ１の向きによってナビゲーション装置４１が対象機器に決定される場合を想定する。図２Ａの表示画像Ｐ１に示すように、ナビゲーション装置４１の状態が地図表示状態Ｊ１である場合において、第１入力装置２でＵＰボタンが押下されると、図２Ｂの表示画像Ｐ２に示すように、地図画像Ｇ１にサービスエリア情報Ｇ２が表示される。すなわち、第１入力装置２に入力される操作の操作内容は、デフォルト設定では例えばオーディオの選曲を行うという操作内容であるが、ナビゲーション装置４１の状態が地図表示状態Ｊ１である場合は、地図表示状態Ｊ１に合った操作内容として、例えばサービスエリア情報Ｇ２を表示するという操作内容に変更される。なお、地図表示状態Ｊ１とは、ナビゲーション装置４１の表示部に地図画像Ｇ１を表示する状態である。地図画像Ｇ１は、車両の目的地までの経路を示すための地図を示す画像である。表示画像Ｐ１，Ｐ２は、ナビゲーション装置４１の表示画像である。サービスエリア情報Ｇ２とは、サービスエリアを紹介する情報である。なお、上記のＵＰボタンの押下は、第１入力装置２に入力される操作の一例である。

また、図２Ｃの表示画像Ｐ３に示すように、ナビゲーション装置４１の状態がエアコン画面状態Ｊ２である場合において、第１入力装置２でＵＰボタンが押下されると、図２Ｄの表示画像Ｐ４に示すように、エアコン画面Ｇ３に表示された設定温度情報Ｔ１（例えば「２５℃」）が変更後の設定温度情報Ｔ２（例えば「２６℃」）に変更される。すなわち、第１入力装置２に入力される操作の操作内容は、デフォルト設定では例えばオーディオの選曲を行うという操作内容であるが、ナビゲーション装置４１の状態がエアコン画面状態Ｊ２である場合は、エアコン画面状態Ｊ２に合った操作内容として、例えば設定温度変更後の設定温度情報Ｔ２を表示するという操作内容に変更される。なお、表示画像Ｐ３，Ｐ４は、ナビゲーション装置４１の表示画像である。エアコン画面状態とは、エアコン画面を表示する状態である。エアコン画面とは、エアコン装置の設定温度を表示する画面である。

図３を参照して、機器制御システム１の構成を説明する。図３に示すように、機器制御システム１は、ナビゲーション装置４１と、電子ミラー４２と、エアコン装置４３と、第１入力装置２と、第２入力装置５と、視線読取装置３（検出装置、決定装置）とを備えている。

ナビゲーション装置４１、電子ミラー４２、エアコン装置４３、第１入力装置２、第２入力装置５、視線読取装置３は、車両内に設けられた通信網６（例えば車内ＬＡＮ（local area network））に接続されており、互いの間で双方向通信が可能である。

ナビゲーション装置４１は、車両の目的地までの経路を表示し、また、例えば経路の周辺のサービスエリアの情報を表示可能な装置である。ナビゲーション装置４１は、機能実行部４１ａと、機器状態判定部４１ｂと、通信部４１ｃと、表示部４１ｄとを備えている。なお、ナビゲーション装置４１は、表示部４１ｄを備えるため、表示装置でもある。

通信部４１ｃは、第１入力装置２から送信された操作イベント、視線読取装置３から送信された決定通知、及び、第２入力装置５から送信された解除通知などを受信する回路である。操作イベントとは、第１入力装置２に入力された操作（すなわち対象機器に対する操作）の操作内容である。決定通知とは、どの機器４が対象機器に決定されたかを表す通知である。解除通知とは、第１入力装置２の操作対象から解除された事を表す通知である。

機器状態判定部４１ｂは、視線読取装置３によってナビゲーション装置４１が対象機器に決定されたとき、その決定時のナビゲーション装置４１の状態（例えば地図表示状態Ｊ１及びエアコン画面状態Ｊ２など）を判定する回路である。なお、上記の「視線読取装置３によってナビゲーション装置４１が対象機器に決定されたとき」とは、例えば、通信部４１ｃが、ナビゲーション装置４１が対象機器であることを示す決定通知を受信したとき、である。

機能実行部４１ａは、ナビゲーション装置４１の機能を実行する回路である。ナビゲーション装置４１の機能は、例えば、車両の目的地までの経路を表示部４１ｄに表示し、また経路の周辺のサービスエリアの情報を表示部４１ｄに表示する機能である。なお、ナビゲーション装置４１の機能は、上記の機能に限定されない。また、機能実行部４１ａは、ナビゲーション装置４１が対象機器に決定された旨の決定通知を通信部４１ｃが受信した場合に、操作イベントを通信部４１ｃが更に受信すると、機器状態判定部４１ｂが判定したナビゲーション装置４１の状態に対応した処理内容を実行する。すなわち、視線読取装置３は、決定通知をナビゲーション装置４１に送信することで、ナビゲーション装置４１に対し、ナビゲーション装置４１が実行する処理の処理内容を、機器状態判定部４１ｂが判定したナビゲーション装置４１の状態に応じた処理内容に変更させている。

表示部４１ｄは、各種の情報を表す画像を表示可能な表示装置である。各種の情報を表す画像は、例えば、ナビゲーション装置４１の地図画像Ｇ１（図２Ａ参照）又はエアコン画面Ｇ３（図２Ｃ参照）を含む。

電子ミラー４２は、車両に搭載された１つ以上のカメラが動画で撮像した車両周辺の画像（例えば後方を映した後方画像）を表示する表示装置である。電子ミラー４２は、機能実行部４２ａと、機器状態判定部４２ｂと、通信部４２ｃと、表示部４２ｄとを備えている。

通信部４２ｃ及び機器状態判定部４２ｂは、ナビゲーション装置４１の通信部４１ｃ及び機器状態判定部４１ｂと同様に構成されている。機能実行部４２ａは、電子ミラー４２の機能を実行する回路である。電子ミラー４２の機能は、例えば、車両に搭載された１つ以上のカメラが撮像した車両周辺の画像（例えば後方画像）を表示部４２ｄに表示する機能である。また、機能実行部４２ａは、電子ミラー４２が対象機器に決定された旨の決定通知を通信部４２ｃが受信した場合に、操作イベントを通信部４２ｃが更に受信すると、機器状態判定部４２ｂが判定した電子ミラー４２の状態に対応した処理内容を実行する。すなわち、視線読取装置３は、決定通知を電子ミラー４２に送信することで、電子ミラー４２に対し、電子ミラー４２が実行する処理の処理内容を、機器状態判定部４２ｂが判定した電子ミラー４２の状態に応じた処理内容に変更させている。表示部４２ｄは、各種の情報の画像を表示可能な表示装置である。各種の情報の画像とは、例えば上記の１つ以上のカメラのカメラ画像である。

エアコン装置４３は、機能実行部４３ａと、機器状態判定部４３ｂと、通信部４３ｃとを備えている。通信部４３ｃ及び機器状態判定部４３ｂは、ナビゲーション装置４１の通信部４１ｃ及び機器状態判定部４１ｂと同様に構成されている。機能実行部４３ａは、エアコン装置４３の機能を実行する回路である。エアコン装置４３の機能は、例えば、温風又は冷風を車室内に送風して車室内の温度を設定温度に合わせる機能である。また、機能実行部４３ａは、エアコン装置４３が対象機器に決定された決定通知を通信部４３ｃが受信した場合に、操作イベントを通信部４３ｃが更に受信すると、機器状態判定部４３ｂが判定したエアコン装置４３の状態に対応した処理内容を実行する。すなわち、視線読取装置３は、決定通知をエアコン装置４３に送信することで、エアコン装置４３に対し、エアコン装置４３が実行する処理の処理内容を、機器状態判定部４３ｂが判定したエアコン装置４３の状態に応じた処理内容に変更させている。

第１入力装置２は、対象機器に対する操作が入力される装置であり、例えばステアリングスイッチ１０２（図１参照）である。第１入力装置２は、通信部２１を備えている。通信部２１は、対象機器に対する操作が第１入力装置２に入力されると、操作イベントを各機器４（ナビゲーション装置４１、電子ミラー４２、エアコン装置４３）に送信する。

第２入力装置５は、対象機器を第１入力装置２の操作対象から解除するための解除操作が入力される装置である。第２入力装置５は、例えば、ステアリングホイール１０１に設けられた所定の操作スイッチである。第２入力装置５は、通信部５１を備えている。通信部５１は、第２入力装置５に解除操作が入力されると、その旨を表す解除通知を各機器４（ナビゲーション装置４１、電子ミラー４２、エアコン装置４３）に送信する。対象機器に決定されている機器４は、解除通知を受信することで、第１入力装置２の操作対象から解除される。すなわち、第２入力装置５は、解除操作が入力された場合、解除通知を対象機器に送信することで、対象機器に対し、第１入力装置２の操作対象から解除させる。

視線読取装置３は、視線検出部３１（検出装置）と、視線判定部３２（決定装置）と、通信部３３とを備えている。

視線検出部３１は、利用者（例えば車両の運転者）の視線Ｑ１（図１参照）の向きを検出する回路である。また、視線判定部３２は、視線検出部３１が検出した視線Ｑ１の向きに基づいて、複数の機器４（ナビゲーション装置４１、電子ミラー４２及びエアコン装置４３）の中から第１入力装置２の対象機器を決定する回路である。本実施形態では、視線判定部３２は、視線Ｑの向きが向けられた機器４を対象機器に決定する。より詳細には、複数の機器４の各々は、車室内の領域Ｒ１，Ｒ２，…（図１参照）に対応付けられている。例えば、ナビゲーション装置４１は、領域Ｒ１に対応付けられ、電子ミラー４２は、領域Ｒ２に対応付けられている。視線判定部３２は、検出された視線Ｑ１の向きに基づいて、その視線Ｑ１が向けられた領域Ｒ１，Ｒ２，…を検出し、上記の対応付けに基づいて、検出した領域Ｒ１，Ｒ２，…にどの機器４が対応付けられているかを判定し、その判定した機器４を対象機器に決定する。通信部３３は、視線判定部３２が対象機器を決定すると、どの機器４が対象機器に決定されたかを表す決定通知を、上記の複数の機器４（ナビゲーション装置４１、電子ミラー４２及びエアコン装置４３）に通知する。

なお、機能実行部４１ａ～４３ａはそれぞれ、例えば、ＣＰＵ及びメモリを主構成とするマイクロコンピュータで構成されている。言い換えれば、機能実行部４１ａ～４３ａは、ＣＰＵ及びメモリを有するコンピュータで実現されており、ＣＰＵがメモリに格納されているプログラムを実行することにより、コンピュータが機能実行部４１ａ～４３ａとして機能する。プログラムはメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて、提供されてもよい。同様に、通信部４１ｃ～４３ｃ，２１，５１，３３、視線検出部３１及び視線判定部３２も、例えば、ＣＰＵ及びメモリを主構成とするマイクロコンピュータで構成されている。

次に図４を参照して、機器制御システム１の動作を説明する。

視線読取装置３において、視線検出部３１が運転者の視線Ｑ１の向きを検出する（Ｓ１）。そして、視線判定部３２は、視線検出部３１が検出した視線Ｑ１の向きに基づいて、視線Ｑ１がどの機器４に向けられているかを判定し、判定した機器４を対象機器に決定する。すなわち、視線判定部３２は、複数の機器４（例えばナビゲーション装置４１、電子ミラー４２及びエアコン装置４３）の中から対象機器を決定する（Ｓ２）。そして、通信部３３は、どの機器４が対象機器に決定されたかを表す決定通知を各機器４（ナビゲーション装置４１、電子ミラー４２及びエアコン装置４３）に送信（通知）する（Ｓ３）。その後、第１入力装置２は、第１入力装置２に対象機器に対する操作が入力されたとき、その操作の操作内容（操作イベント）を対象機器に送信する（Ｓ４）。そして、対象機器は、その操作イベントを受信したときの状態に応じて、操作イベントに対応する処理を実行する（Ｓ５）。

以上、この実施形態に係る機器制御システム１によれば、対象機器は、視線Ｑ１の向きに基づいて、第１入力装置２に入力される操作に対する処理内容を変更する。このような視線に基づく処理内容の変更により、第１入力装置２に入力される操作の回数を低減、もしくは、第１入力装置２の操作だけでは実施できなかった処理を実施できる。この結果、第１入力装置２での対象機器に対する操作性を向上できる。

また、第１入力装置２において対象機器の状態に合った操作内容の操作を行うことができる。これにより、第１入力装置２において簡単で直感的な操作を行うことができる。

以下、実施形態２～１０で実施形態１の機器制御システム１の動作の具体例を説明する。実施形態２～１０において、実施形態１と同じ構成要素には同じ符号を付し、説明を省略する場合がある。

（実施形態２）
本実施形態では、図５を参照して、車両が高速道路に位置するときにナビゲーション装置４１が対象機器に決定された場合の動作を説明する。以下の説明では、ナビゲーション装置４１の状態は、地図表示状態及びエアコン画面状態の２つの状態を想定する。

図５に示すように、視線読取装置３が、運転者の視線Ｑ１の向きがナビゲーション装置４１に向けられていると判定して、ナビゲーション装置４１を対象機器に決定する（Ｓ１１）。そして、視線読取装置３（視線判定部３２）は、ナビゲーション装置４１が対象機器に決定した旨の決定通知を全ての機器４に送信する（Ｓ１２）。そして、ナビゲーション装置４１（機器状態判定部４１ｂ）は、上記の決定通知を受信すると、ナビゲーション装置４１の状態を判定する（Ｓ１３）。この判定の結果、ナビゲーション装置４１の状態が地図表示状態Ｊ１（図２Ａの表示画像Ｐ１参照）である場合（Ｓ１４：Ｙｅｓ）、ナビゲーション装置４１（機器状態判定部４１ｂ）は、車両が高速道路を走行中であるか否かを判定する（Ｓ１５）。この判定の結果、車両が高速道路を走行中である場合（Ｓ１５：Ｙｅｓ）は、第１入力装置２のＵＰボタンが押下されると（Ｓ１６）、ナビゲーション装置４１（機能実行部４１ａ）は、サービスエリア情報Ｇ２（図２Ｂの表示画像Ｐ２参照）をナビゲーション装置４１の表示部４１ｄに表示する（Ｓ１７）。この場合は、ナビゲーション装置４１（機能実行部４１ａ）は、ナビゲーション装置４１の状態が地図表示状態Ｊ１かつ地図画像Ｇ１上の自車両が高速道路走行中である場合は、この状態に応じた処理として、サービスエリア紹介情報を表示する処理を実行する。そして、処理が終了する。

他方、ステップＳ１５の判定の結果、車両が高速道路を走行中でない場合（Ｓ１５：Ｎｏ）は、第１入力装置２のＵＰボタンが押下されると（Ｓ１８）、ナビゲーション装置４１（機能実行部４１ａ）は、地図画像Ｇ１を画面の上方に移動させる（Ｓ１９）。この場合、ナビゲーション装置４１（機能実行部４１ａ）は、ナビゲーション装置４１の状態が地図表示状態Ｊ１かつ地図上の自車両が高速道路を走行していない場合は、この状態に応じた処理として、地図画像Ｇ１を画面の上方に移動させる処理を実行する。そして、処理が終了する。

また、ステップＳ１４の判定の結果が、ナビゲーション装置４１の状態が地図表示状態Ｊ１でない場合（Ｓ１４：Ｎｏ）は、ナビゲーション装置４１（機器状態判定部４１ｂ）は、ナビゲーション装置４１の状態がエアコン画面状態Ｊ２（図２Ｃの表示画像Ｐ３参照）であるか否かを判定する（Ｓ２０）。この判定の結果が、ナビゲーション装置４１の状態がエアコン画面状態Ｊ２である場合（Ｓ２０：Ｙｅｓ）は、第１入力装置２のＵＰボタンが押下されると（Ｓ２１）、ナビゲーション装置４１（機能実行部４１ａ）は、エアコン画面Ｇ３（図２Ｄの表示画像Ｐ４参照）に表示された設定温度情報Ｔ１（例えば２５℃）を１℃上げて変更後の設定温度情報Ｔ２（例えば２６℃、図２Ｃの表示画像Ｐ４参照）に変更する（Ｓ２２）。この場合、ナビゲーション装置４１（機能実行部４１ａ）は、ナビゲーション装置４１の状態がエアコン画面状態である場合は、この状態に応じた処理として、エアコン画面Ｇ３での設定温度情報Ｔ１を１つ上げて設定温度情報Ｔ２に変更する処理を実行する。そして、処理が終了する。

他方、ステップＳ２０の判定の結果が、ナビゲーション装置４１の状態がエアコン画面状態Ｊ２でない場合（Ｓ２０：Ｎｏ）は、第１入力装置２のＵＰボタンが押下されると（Ｓ２３）、ナビゲーション装置４１（機能実行部４１ａ）は、オーディオの選曲として次の曲を選曲する（Ｓ２４）。この場合は、ナビゲーション装置４１（機能実行部４１ａ）は、ナビゲーション装置４１の状態が地図表示状態Ｊ１でもエアコン画面状態Ｊ２でもないため、予め設定された処理（デフォルト設定された処理）として、次の曲を選曲する処理が実行される。そして、処理が終了する。

（実施形態３）
本実施形態では、図６を参照して、視線Ｑ１の向きがどの機器４にも向けられていない場合の動作を説明する。この場合は、複数の機器４のうち、デフォルト設定された機器（すなわち予め決められた機器）４が対象機器に決定される。この場合の対象機器は、第１入力装置２に入力された操作に対して、対象機器の状態に依らず、デフォルト設定された処理（予め決められた処理）を実行する。

このように、視線Ｑ１の向きがどの機器４にも向けられていない場合は、デフォルト設定した機器４を操作対象とすることで、第１入力装置２の操作対象となる機器が存在しなくなることを回避できる。以下、デフォルト設定された機器４をデフォルト機器とも記載する。以下、この場合の動作を詳しく説明する。

図６に示すように、視線読取装置３（視線判定部３２）が、運転者の視線Ｑ１の向きがどの機器４にも向けられていないことを検出する（Ｓ１２１）。そして、視線読取装置３（視線判定部３２）は、対象機器が存在しない旨の不存在通知を全ての機器４に送信する（Ｓ１２２）。本実施形態では、ナビゲーション装置４１は、視線Ｑ１の向きがどの機器４にも向けられていない場合の対象機器としてデフォルト設定されている。デフォルト設定されたナビゲーション装置４１は、不存在通知を受信すると、対象機器として機能する。すなわち、視線読取装置３（視線判定部３２）は、不存在通知をナビゲーション装置４１に送信することで、デフォルト設定されているナビゲーション装置４１を対象機器に決定する。そして、第１入力装置２のＵＰボタンが押下されると（Ｓ１２３）、第１入力装置２は、操作イベントを対象機器であるナビゲーション装置４１に送信する（Ｓ１２４）。そして、ナビゲーション装置４１は、受信した操作イベントに対して、デフォルト設定された処理として、次の曲を選曲する処理を実行する（Ｓ１２５）。すなわち、ナビゲーション装置４１は、その状態に依らず、デフォルト設定された処理であるオーディオの選曲を実行する。

なお、ステップＳ１２２では、第１入力装置２は、全ての機器４に操作イベントを送信するが、対象機器以外の機器４は受信した操作イベントを無効とし、対象機器のみが、ステップＳ１２２で受信した操作イベントを実行する。

なお、この動作の例では、ナビゲーション装置４１は、運転者の視線Ｑ１に基づいて対象機器に決定されている。そして、視線読取装置３は、ナビゲーション装置４１に不在通知を送信することで、ナビゲーション装置４１に対し、運転者の視線Ｑ１の向きに基づいて、第１入力装置２に入力された操作に対する処理内容を（或る処理から選曲処理に）変更させている。

（実施形態４）
本実施形態では、図７を参照して、利用者が第２入力装置５に解除操作を入力することで、対象機器を第１入力装置２の操作対象から解除する場合の動作を説明する。

なお、以下の説明では、対象機器が第１入力装置２の操作対象から解除された場合、デフォルト設定された機器（例えばナビゲーション装置４１）が対象機器になる。この場合の対象機器は、その状態に依らず、デフォルト設定された処理（例えば次の曲を選曲する処理）を実行する。

図７のステップＳ３１～Ｓ３３は、図５のステップＳ１１～Ｓ１３と同じであるので、説明を省略して、図７のステップＳ３４から説明する。

ステップＳ３４では、利用者が第２入力装置５に解除操作を入力する。これにより、第２入力装置５は、解除通知を全ての機器４に送信する。解除通知は、第２入力装置５に解除操作が入力された旨を知らせる通知である。そして、対象機器であるナビゲーション装置４１が上記の解除通知を受信すると、ナビゲーション装置４１は、対象機器から解除される（Ｓ３５）。すなわち、第２入力装置５は、第２入力装置５に解除操作が入力された場合、解除通知をナビゲーション装置４１に送信することで、ナビゲーション装置４１に対し、第１入力装置２の操作対象から解除させる。なお、この例では、ナビゲーション装置４１は、デフォルト設定された機器４（デフォルト機器）であるため、上記の解除通知を受信すると、対象機器として機能する。ただし、デフォルト設定された対象機器は、第１入力装置２への操作に対し、操作対処機器の状態に依らず、デフォルト設定された処理を実行する。

そして、第１入力装置２のＵＰボタンが押下されると（Ｓ３６）、第１入力装置２は、操作イベントをナビゲーション装置４１に送信する（Ｓ３７）。そして、デフォルト設定で対象機器になったナビゲーション装置４１は、その操作イベントを受信すると、その操作イベントに対してデフォルト設定された処理（次の曲を選曲する処理）を実行する（Ｓ３８）。そして、処理が終了する。

この例では、ナビゲーション装置４１は、当初、運転者の視線Ｑ１の向きによって対象機器に決定された状態である。この状態では、第１入力装置２の例えばＵＰボタンが押下されると、上記の決定のときのナビゲーション装置４１の状態に応じた処理（例えば次のサービスエリアの情報の表示）を行う。しかし、ナビゲーション装置４１は、対象機器から一旦解除され、解除操作によって対象機器になると、第１入力装置２の例えばＵＰボタンが押下されると、ナビゲーション装置４１の状態に依らず、デフォルト設定された処理（例えばオーディオの次の曲を選曲する処理）を実行する。

この実施形態によれば、運転者の視線Ｑ１によって機器４が対象機器に決定された場合でも、第２入力装置５に解除操作を入力することで、第１入力装置２の操作対象となる機器４に、対象機器の状態に依らない他の処理を実行させること可能になる。

（実施形態５）
本実施形態では、図８及び図９Ａ～図９Ｃを参照して、操作ガイダンス（操作案内情報）を表示する場合の動作を説明する。操作ガイダンスは、第１入力装置２から操作可能な操作の操作内容を示した情報である。より詳細には、操作ガイダンスは、第１入力装置２に入力可能な操作と、この操作に割り当てられた対象機器の処理内容との対応関係を表す情報である。

図８のステップＳ４１～Ｓ４３は、図５のステップＳ１１～Ｓ１３と同じであるので、説明を省略して、図８のステップＳ４４から説明する。

ステップＳ４４では、ナビゲーション装置４１の状態が地図表示状態かつ地図画像上で車両Ｋ１が高速道路走行中である場合（Ｓ４４：Ｙｅｓ）は、ナビゲーション装置４１は、図９Ａの表示画像Ｐ５に示すように、操作ガイダンスＧ４を表示部４１ｄに表示する（Ｓ４５）。なお、図９Ａの表示画像Ｐ５では、操作ガイダンスＧ４は、地図画像Ｇ１上に重ねて表示部４１ｄに表示されている。なお、表示画像Ｐ５は、ナビゲーション装置４１の表示画像である。すなわち、視線読取装置３（視線判定部３２）は、決定通知をナビゲーション装置４１に送信することで、ナビゲーション装置４１を対象機器に決定し（Ｓ４２）、表示装置としても機能するナビゲーション装置４１に操作ガイダンスＧ４を表示させている（Ｓ４５）。

そして、第１入力装置２のＵＰボタンが押下されると（Ｓ４６：Ｙｅｓ）、第１入力装置２は、ＵＰボタンが押下されたことを知らせる操作イベントをナビゲーション装置４１に送信する。ナビゲーション装置４１は、その操作イベントを受信すると、対象機器に決定されたときのナビゲーション装置４１の状態に応じた処理として、図９Ｂの表示画像Ｐ６に示すように、サービスエリア情報Ｇ２を表示部４１ｄに表示する処理を実行する（Ｓ４７）。なお、図９Ｂの表示画像Ｐ６では、サービスエリア情報Ｇ２は、地図画像Ｇ１上に重ねて表示部４１ｄに表示されている。なお、表示画像Ｐ６は、ナビゲーション装置４１の表示画像である。

他方、ステップＳ４６で、第１入力装置２のＵＰボタンが押下されない場合（Ｓ４６：Ｎｏ）において、第１入力装置２のＤＯＷＮボタンが押下されると（Ｓ４８：Ｙｅｓ）、第１入力装置２は、ＤＯＷＮボタンが押下されたことを知らせる操作イベントをナビゲーション装置４１に送信する。ナビゲーション装置４１は、その操作イベントを受信すると、図９Ｃの表示画像Ｐ７に示すように、表示部４１ｄに表示した操作ガイダンスＧ４の表示を停止する（Ｓ４９）。なお、表示画像Ｐ７は、ナビゲーション装置４１の表示画像である。そして、処理が終了する。他方、ステップＳ４８で、第１入力装置２のＤＯＷＮボタンが押下されない場合（Ｓ４８：Ｎｏ）は、処理を終了する。

このように、機器制御システム１では、運転者の視線Ｑの向きを所望の機器４に向けて所望の機器４を対象機器を決定すると、その決定のときの所望の機器４の状態に応じて、操作ガイダンスＧ４が表示部４１ｄに表示される。第１入力装置２への操作で制御される対象機器での処理内容は、対象機器が決定されたときの状態に応じて変化するが、操作ガイダンスＧ４の内容は、その変化する処理内容に対応した内容である。機器制御システム１では、対象機器が決定されたときの機器４の状態に応じて、第１入力装置２に入力される操作の操作内容が変化するが、操作ガイダンスＧ４の表示により、利用者は第１入力装置２に入力する操作の操作内容を容易に把握できる。また、第１入力装置２への操作（ＤＯＷＮボタン押下）で、操作ガイダンスＧ４の表示を停止できるため、操作ガイダンスＧ４が不要である場合は、操作ガイダンスＧ４を消すことも可能である。

（実施形態６）
本実施形態では、図１０を参照して、操作ガイダンスＧ４の表示を自動的に停止する場合の動作を説明する。この例では、運転者の視線Ｑ１の向きが機器（対象機器に決定したい機器）４に向けられると、操作ガイダンスＧ４が表示部４１ｄに表示される。そして、運転者の視線Ｑ１の向きが上記の機器４（例えば全ての機器４）から外されると、操作ガイダンスＧ４の表示が自動的に停止される。以下、この場合の動作を詳しく説明する。

図１０に示すように、ステップＳ５１では、運転者の視線Ｑ１の向きがナビゲーション装置４１に向けられてナビゲーション装置４１が対象機器に決定される。そして、ナビゲーション装置４１の表示部４１ｄには、操作ガイダンスＧ４が表示されている。そして、運転者の視線が全ての機器４（ナビゲーション装置４１を含む）から外されて、視線読取装置３（視線判定部３２）が、運転者の視線Ｑ１の向きがどの機器４にも向けられていないことを検出する（Ｓ５２）。そして、視線読取装置３（視線判定部３２）は、対象機器が存在しない旨の不存在通知を全ての機器４に送信する（Ｓ５３）。その不存在通知をナビゲーション装置４１が受信することで、ナビゲーション装置４１は、対象機器から解除される。

そして、ナビゲーション装置４１は、ナビゲーション装置４１の状態を判定する（Ｓ５４）。その判定の結果、ナビゲーション装置４１の状態が地図表示状態かつ地図画像上で自車両が高速道路走行中である場合（Ｓ５５：Ｙｅｓ）は、ナビゲーション装置４１は、表示部４１ｄに表示されている操作ガイダンスＧ４の表示を停止する（Ｓ５６）。すなわち、視線読取装置３（視線判定部３２）は、ナビゲーション装置４１に不存在通知を送信することで、ナビゲーション装置を対象機器から解除し（Ｓ５３）、表示装置としても機能するナビゲーション装置４１に操作ガイダンスＧ４の表示を停止させている（Ｓ５６）。なお、この例では、操作ガイダンスＧ４は、ナビゲーション装置４１の状態が地図表示状態かつ地図画像での自車両が高速道路走行中である場合のみ表示されていることを想定している。

他方、ステップＳ５４の判定の結果、ナビゲーション装置４１の状態が地図表示状態かつ地図画像での自車両が高速道路走行中でない場合（Ｓ５５：Ｎｏ）は、操作ガイダンスＧ４は表示されていないため、処理が終了する。

（実施形態７）
本実施形態では、図１１を参照して、運転者の視線Ｑ１の向きが一定時間向けられた機器４を対象機器に決定する場合の動作を説明する。この動作により、意図せずに視線を機器４に向けることで、意に反してその機器４が対象機器に決定されることを抑制できる。なお、上記の動作では、対象機器が決定されると、対象機器に対する操作の操作ガイダンスＧ４の表示が表示される。以下、この場合の動作について詳しく説明する。

図１１に示すように、ステップＳ６１では、視線読取装置３（視線判定部３２）が、運転者の視線Ｑ１の向きがナビゲーション装置４１に向けられていると判定する。そして、視線読取装置３（視線判定部３２）は、運転者の視線Ｑ１の向きがナビゲーション装置４１に向けられた時から一定時間待機する（Ｓ６２）。そして、視線読取装置３は、運転者の視線Ｑ１の向きが未だナビゲーション装置４１に向けられているか否かを判定する（Ｓ６２）。すなわち、視線読取装置３（視線判定部３２）は、運転者の視線Ｑ１の向きがナビゲーション装置４１に一定時間向けられているか否かを判定する。そして、その判定の結果、運転者の視線Ｑ１の向きがナビゲーション装置４１に一定時間向けられている場合（Ｓ６３：Ｙｅｓ）は、視線読取装置３（視線判定部３２）は、ナビゲーション装置４１を対象機器に決定し、ナビゲーション装置４１が対象機器に決定した旨の決定通知を全ての機器４に送信する（Ｓ６４）。そして、ナビゲーション装置４１（機器状態判定部４１ｂ）は、上記の決定通知を受信すると、対象機器として機能する。すなわち、視線読取装置３（視線判定部３２）は、運転者の視線Ｑ１の向きが一定時間向けられたナビゲーション装置４１に、決定通知を送信することで、ナビゲーション装置４１を対象機器に決定している。

そして、ナビゲーション装置４１は、ナビゲーション装置４１の状態を判定する（Ｓ６５）。そして、ナビゲーション装置４１は、判定したナビゲーション装置４１の状態に応じて、操作ガイダンスＧ４を表示部４１ｄに表示する。そして、処理が終了する。他方、ステップＳ６５の判定の結果、運転者の視線Ｑ１の向きがナビゲーション装置４１に一定時間向けられていない場合（Ｓ６３：Ｎｏ）は、ナビゲーション装置４１を対象機器に決定せずに、処理が終了する。

なお、この動作例では、運転者の視線Ｑ１の向きが一定時間向けられた機器４を対象機器に決定するが、運転者の視線Ｑ１の向きが機器４に向けられると、直ぐに、その機器４を対象機器に決定してもよい。

（実施形態８）
本実施形態では、図１２を参照して、運転者の視線Ｑ１の向きが対象機器から一定時間外れた場合に対象機器を操作対象から解除する場合の動作を説明する。この動作により、意図せずに視線が機器４から外れることで、意に反してその機器４が対象機器から解除されることを抑制できる。なお、上記の動作では、運転者の視線Ｑ１の向きが対象機器から一定時間外れると、対象機器に対する操作の操作ガイダンスＧ４の表示が停止される。以下、この場合の動作について詳しく説明する。

図１２のフローチャートは、図１０のフローチャートにおいて、ステップＳ５２１，Ｓ５２２，Ｓ５２３を追加して構成されている。すなわち、図１２のステップＳ５１～Ｓ５５は、図１０のステップＳ５１～Ｓ５５と同じである。よって、以下の説明では、図１２のステップＳ５１～Ｓ５５の説明は省略して、図１２のステップＳ５２１，Ｓ５２２，Ｓ５２３について説明する。

図１２に示すように、ステップＳ５２１では、視線読取装置３（視線判定部３２）は、ステップＳ５２で運転者の視線Ｑ１の向きがどの機器４にも向けられていないことを検出した時から一定時間待機する。そして、視線読取装置３は、運転者の視線Ｑ１の向きが未だナビゲーション装置４１から外れているかを判定する（Ｓ５２２）。すなわち、視線読取装置３は、運転者の視線Ｑ１の向きがナビゲーション装置４１から一定時間外されたか否かを判定する。そして、その判定の結果、運転者の視線Ｑ１の向きがナビゲーション装置４１から一定時間外された場合（Ｓ５２２：Ｙｅｓ）は、処理がステップＳ５３に進み、視線読取装置３（視線判定部３２）は、対象機器が存在しない旨の不存在通知を全ての機器４に送信する（Ｓ５３）。その不存在通知をナビゲーション装置４１が受信することで、ナビゲーション装置４１は、対象機器から解除される。すなわち、視線読取装置３（視線判定部３２）は、視線Ｑ１の向きがナビゲーション装置４１（対象機器）から一定時間外れた場合（Ｓ５２２：Ｙｅｓ）、ナビゲーション装置４１に対し、不存在通知を送信することで（Ｓ５３）、ナビゲーション装置４１を対象機器から解除させている。そして、処理がステップＳ５４に進む。ステップＳ５４以降の処理は、図１０での説明と同様である。

他方、ステップＳ５２２の判定結果が否定である場合（Ｓ５２２：Ｎｏ）は、運転者の視線Ｑ１の向きがナビゲーション装置４１から一定時間外されていない。このため、視線読取装置３（視線判定部３２）は、ナビゲーション装置４１を対象機器から解除せず、ナビゲーション装置４１を引き続き対象機器とする。これにより、ナビゲーション装置４１は、表示部４１ｄへの操作ガイダンスＧ４の表示を継続する（Ｓ５２３）。そして、処理が終了する。

（実施形態９）
本実施形態では、図１３及び図１４Ａ～図１４Ｃを参照して、運転者の視線Ｑ１の向きが対象機器の特定領域に向けられた場合、第１入力装置２への操作の操作内容を特定領域に対応した操作内容に変更する場合の動作を説明する。この動作により、視線等を対象機器の特定領域に向けるだけで、第１入力装置２での対象機器に対する操作内容を特定領域に対応した操作内容に変更できる。これにより、第１入力装置２において、対象機器の特定領域に応じた様々な操作を行える。

以下の説明では、一例として、ナビゲーション装置４１が対象機器に決定される。ナビゲーション装置４１は、図１４Ａに示すように、操作部４１ｅを有する。操作部４１ｅは、表示部４１ｄに表示された地図画像（ナビ画像）Ｇ１を拡大縮小するための操作を入力する部分である。なお、領域Ｒ１は、ナビゲーション装置４１の範囲に対応付けられている。領域Ｒ１は、特定領域Ｒ７，Ｒ８で構成され、特定領域Ｒ７は操作部４１ｅの範囲であり、特定領域Ｒ８は、領域Ｒ１のうちの特定領域Ｒ７以外の範囲である。以下、特定領域Ｒ７，Ｒ８を単に領域Ｒ７，Ｒ８とも記載する。

以下、この場合の動作について詳しく説明する。

図１３に示すように、視線読取装置３（視線判定部３２）が、運転者の視線Ｑ１の向きがナビゲーション装置４１に向けられていると判定して、ナビゲーション装置４１を対象機器に決定する（Ｓ８１）。その際、視線読取装置３は、視線Ｑ１が向けられた領域が、領域Ｒ１内のどの領域（領域Ｒ７又は領域Ｒ８）であるかを特定する。そして、視線読取装置３（視線判定部３２）は、決定通知及び領域情報を全ての機器４に送信する（Ｓ８２）。決定通知は、ナビゲーション装置４１が対象機器に決定した旨の通知である。領域情報は、上記の特定された領域（領域Ｒ７又領域Ｒ８）に関する情報である。なお、上記の決定通知をナビゲーション装置４１が受信することで、ナビゲーション装置４１は対象機器として機能する。

そして、ナビゲーション装置４１（機器状態判定部４１ｂ）は、上記の決定通知及び領域情報を受信すると、上記の決定通知及び領域情報に基づいて、ナビゲーション装置４１の状態を判定する（Ｓ８３）。その際、ナビゲーション装置４１（機器状態判定部４１ｂ）は、上記の領域情報に基づいて、視線Ｑ１が向けられた領域（領域Ｒ７又領域Ｒ８）を特定している。なお、ステップＳ８３の判定では、ナビゲーション装置４１は、ナビゲーション装置４１の状態を、例えば、地図表示状態かつ領域Ｒ７に視線Ｑ１が向けられた状態などと判定する。すなわち、ナビゲーション装置４１は、運転者の視線Ｑも考慮して、ナビゲーション装置４１の状態を判定する。なお、地図表示状態では、ナビゲーション装置４１の表示部４１ｄには、地図画像Ｇ１が表示されている。

そして、ナビゲーション装置４１（機器状態判定部４１ｂ）が受信した上記の領域情報で特定された領域が領域Ｒ７である場合（すなわち運転者が領域Ｒ７（すなわち操作部４１ｅ）を見た場合）（Ｓ８４：Ｒ７）は、図１４Ｃの表示画像Ｐ１１に示すように、ナビゲーション装置４１（機器状態判定部４１ｂ）は、地図画像Ｇ１を拡大縮小する場合の操作ガイダンスＧ４８を表示部４１ｄに表示する（Ｓ８５）。そして、第１入力装置２のＵＰボタンが押下されると（Ｓ８６）、ナビゲーション装置４１（機能実行部４１ａ）は、ナビゲーション装置４１の状態に応じた処理として、表示部４１ｄに表示された地図画像Ｇ１を拡大する処理を実行する（Ｓ８７）。すなわち、運転者が見ていた操作部４１ｅの操作内容が第１入力装置２への操作で行えるようになる。なお、操作ガイダンスＧ４ａは、第１入力装置２に入力される操作の操作内容を案内する情報である。

他方、ナビゲーション装置４１（機器状態判定部４１ｂ）が受信した上記の領域情報で特定された領域が領域Ｒ８である場合は（すなわち運転者が領域Ｒ８（すなわち操作部４１ｅ以外の範囲）を見た場合）（Ｓ８４：Ｒ８）は、図１４Ｂの表示画像Ｐ１０に示すように、ナビゲーション装置４１（機器状態判定部４１ｂ）は、サービスエリアを紹介する場合の操作ガイダンスＧ４６を表示部４１ｄに表示する（Ｓ８８）。そして、第１入力装置２のＵＰボタンが押下されると（Ｓ８９）、ナビゲーション装置４１（機能実行部４１ａ）は、ナビゲーション装置４１の状態に応じた処理として、次のサービスエリアを紹介する情報を表示部４１ｄに表示する処理を実行する（Ｓ９０）。なお、操作ガイダンスＧ４６は、第１入力装置２に入力される操作の操作内容を案内する情報である。

なお、本実施形態では、視線読取装置３（視線判定部３２）は、ナビゲーション装置４１に対し、決定通知及び領域情報を送信することで（Ｓ８２）、視線Ｑ１がナビゲーション装置４１の特定領域Ｒ７に向けられた場合は、第１入力装置２に入力される操作に対する処理内容を、デフォルト処理（例えば選曲処理）から特定領域Ｒ７に対応した処理（例えば拡大縮小処理）に変更させている。また、視線読取装置３（視線判定部３２）は、ナビゲーション装置４１に対し、視線Ｑ１がナビゲーション装置４１の特定領域Ｒ８に向けられた場合、第１入力装置２に入力される操作に対する処理内容を、デフォルト処理（例えば選曲処理）から特定領域Ｒ８に対応した処理（例えばサービスエリア紹介処理）に変更させている。

（実施形態１０）
実施形態９では、ナビゲーション装置４１に特定領域が設定されるが、本実施形態では、電子ミラー４２に特定領域が設定される。図１５に示すように、本実施形態では、電子ミラー４２の表示面は、左領域４２Ｌ、右領域４２Ｒ及び中間領域４２Ｓの３つの領域を有する。中間領域４２Ｓは、左領域４２Ｌ及び右領域４２Ｒの間の領域である。この例では、電子ミラー４２の左領域４２Ｌ、右領域４２Ｒ及び中間領域４２Ｓがそれぞれ、特定領域に設定されている。以下、左領域４２Ｌ、右領域４２Ｒ及び中間領域４２Ｓをそれぞれ、領域４２Ｒ、領域４２Ｒ及び領域４２Ｓとも記載する。

図１６に示すように、複数の機器４（図３参照）は、左カメラ４４Ｌと、右カメラ４４Ｒと、後方カメラ４４Ｂとを含む。左カメラ４４Ｌは、車両Ｋ１の左サイドミラー付近には配置され、車両Ｋ１の左方周辺の様子を例えば動画で撮像する。右カメラ４４Ｒは、車両Ｋ１の右サイドミラー４５Ｒ付近には配置され、車両Ｋ１の右方周辺の様子を例えば動画で撮像する。後方カメラ４４Ｂは、車両Ｋ１の後部には配置され、車両の後方周辺の様子を例えば動画で撮像する。各カメラ４４Ｌ，４４Ｒ，４４Ｂは、撮像方向を変更可能に車両Ｋ１に設置されており、電子ミラー４２からの制御で撮像方向の変更が可能である。

左カメラ４４Ｌのカメラ画像（左サイド画像）は、電子ミラー４２の左領域４２Ｌ（図１５参照）に表示される。右カメラ４４Ｒのカメラ画像（右サイド画像）は、電子ミラー４２の右領域４２Ｒ（図１５参照）に表示される。後方カメラ４４Ｂのカメラ画像（後方画像）は、電子ミラー４２の中間領域４２Ｓ（図１５参照）に表示される。

次に図１７を参照して、このように電子ミラー４２に特定領域が設定された場合の動作を説明する。

図１７に示すように、視線読取装置３（視線判定部３２）が、運転者の視線Ｑ１の向きが電子ミラー４２に向けられていると判定して、電子ミラー４２を対象機器に決定する（Ｓ９１）。その際、視線読取装置３は、視線Ｑ１が向けられた領域が、電子ミラー４２のどの領域（領域４２Ｌ、領域４２Ｌ又は領域４２Ｓ）であるかを特定する（Ｓ９１）。そして、視線読取装置３（視線判定部３２）は、決定通知及び領域情報を全ての機器４に送信する（Ｓ９２）。決定通知は、電子ミラー４２が対象機器に決定した旨の通知である。領域情報は、上記の特定された領域（左領域４２Ｌ、右領域４２Ｒ又は中間領域４２Ｓ）に関する情報である。なお、上記の決定通知を電子ミラー４２が受信することで、電子ミラー４２は対象機器として機能する。

そして、電子ミラー４２（機器状態判定部３２ｂ）は、上記の決定通知及び領域情報を受信すると、上記の決定通知及び領域情報に基づいて、電子ミラー４２の状態を判定する（Ｓ９３）。その際、電子ミラー４２（機器状態判定部３２ｂ）は、上記の領域情報に基づいて、視線Ｑ１が向けられた領域（領域４２Ｒ、領域４２Ｌ又領域４２Ｓ）を特定している。ステップＳ９３の判定では、電子ミラー４２は、例えば、電子ミラー４２の状態を、領域４２Ｌに視線Ｑ１が向けられた状態などと判定する。すなわち、電子ミラー４２は、運転者の視線Ｑを考慮して、電子ミラー４２の状態を判定する。

そして、電子ミラー４２（機器状態判定部３２ｂ）が受信した上記の領域情報で特定された領域が領域４２Ｒである場合（すなわち運転者が電子ミラー４２の右領域４２Ｒを見た場合）（Ｓ９４：Ｙｅｓ）は、処理がステップＳ９５に進む。そして、ステップＳ９５で、第１入力装置のＵＰボタンが押下されると、電子ミラー４２の状態に応じた処理として、電子ミラー４２（機能実行部３２ａ）は、右カメラ４４Ｒの撮像方向を変更する処理を実行する（Ｓ９６）。そして、処理が終了する。

他方、ステップＳ９４で、電子ミラー４２（機器状態判定部３２ｂ）が受信した上記の領域情報で特定された領域が領域４２Ｒでない場合（Ｓ９４：Ｎｏ）は、処理がステップＳ９７に進む。ステップＳ９７では、電子ミラー４２（機器状態判定部３２ｂ）が受信した領域情報が領域４２Ｌである場合（すなわち運転者が電子ミラー４２の左領域４２Ｌを見た場合）（Ｓ９７：Ｙｅｓ）は、処理がステップＳ９８に進む。そして、ステップＳ９８で、第１入力装置のＵＰボタンが押下されると、電子ミラー４２の状態に応じた処理として、電子ミラー４２（機能実行部３２ａ）は、左カメラ４４Ｌの撮像方向を変更する処理を実行する（Ｓ９９）。そして、処理が終了する。

他方、ステップＳ９７で、電子ミラー４２が受信した上記の領域情報で特定された領域が領域４２Ｌでない場合（Ｓ９７：Ｎｏ）は、電子ミラー４２が受信した上記の領域情報で特定された領域が領域４２Ｓである場合（すなわち運転者が電子ミラー４２の中間領域４２Ｓを見た場合）である。この場合は、処理がステップＳ１００に進む。ステップＳ１００で第１入力装置のＵＰボタンが押下されると、電子ミラー４２の状態に応じた処理として、電子ミラー４２（機能実行部３２ａ）は、後方カメラ４４Ｂの撮像方向を変更する処理を実行する（Ｓ１０１）。そして、処理が終了する。

なお、本実施形態では、視線読取装置３（視線判定部３２）は、電子ミラー４２に対し、決定通知及び領域情報を送信することで（Ｓ９２）、視線Ｑ１が電子ミラー４２の領域３２Ｒに向けられた場合は、第１入力装置２に入力される操作に対する処理内容を、デフォルト処理（例えば選曲処理）から領域３２Ｒに対応した処理（例えば右カメラ４４Ｒを動かす処理）に変更させている。また、視線読取装置３（視線判定部３２）は、電子ミラー４２に対し、視線Ｑ１が電子ミラー４２の領域４２Ｌに向けられた場合、第１入力装置２に入力される操作に対する処理内容を、デフォルト処理（例えば選曲処理）から領域４２Ｌに対応した処理（例えば左カメラ４４Ｌを動かす処理）に変更させている。また、視線読取装置３（視線判定部３２）は、電子ミラー４２に対し、視線Ｑ１が電子ミラー４２の領域４２Ｓに向けられた場合、第１入力装置２に入力される操作に対する処理内容を、デフォルト処理（例えば選曲処理）から領域４２Ｓに対応した処理（例えば後方カメラ４４Ｂを動かす処理）に変更させている。

（変形例）
上記の実施形態は、本開示の様々な実施形態の一つに過ぎない。上記の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。さらに、上記の実施形態に係る態様は、単体の機器制御システム１で具現化されることに限らない。例えば、機器制御システム１を備える移動体、機器制御方法、機器制御方法を少なくとも１つのプロセッサで実行するためのプログラム等で、上記の実施形態に係る態様が具現化されてもよい。以下に説明する変形例は、適宜組み合わせて適用可能である。

上記の移動体は、機器制御システム１と、移動体の移動体本体と、を備える。

上記の機器制御方法は、入力処理と、検出処理と、決定処理と、を備えている。入力処理は、１つ以上の機器４の中から操作対象に決定された対象機器に対する操作を入力する。検出処理は、利用者の視線の向き又は顔の向きを検出する。決定処理は、検出処理で検出した視線の向き又は前記顔の向きに基づいて、１つ以上の機器４の中から対象機器を決定する決定処理と、を備えている。決定処理は、対象機器に対し、検出処理で検出した視線の向き又は顔の向きに基づいて、入力処理で入力される操作に対する処理内容を変更させる。

上記の実施形態では、利用者の視線Ｑ１の向きに基づいて対象機器を決定したが、利用者の顔の向きに基づいて対象機器を決定してもよい。また、視線の向き及び顔の向きの両方に基づいて対象機器を決定してもよい。

また、上記の実施形態では、第１入力装置２は、ステアリングスイッチ１０２であることを想定したが、ステアリングスイッチ１０２に限定されない。複数の機器４のうちの何れかの機器４が有するスイッチであってもよい。

（まとめ）
第１の態様に係る機器制御システム（１）は、入力装置（２）と、検出装置（３）と、決定装置（３）と、を備えている。入力装置（２）は、１つ以上の機器（４）の中の何れか１つの機器である対象機器に対する操作が入力される。検出装置（３）は、利用者（Ｈ１）の視線（Ｑ１）の向き又は顔の向きを検出する。決定装置（３）は、検出装置（３）で検出された視線（Ｑ１）の向き又は顔の向きに基づいて、１つ以上の機器（４）の中から対象機器を決定する。決定装置（３）は、対象機器に対し、検出装置（３）で検出された視線（Ｑ１）の向き又は顔の向きに基づいて、入力装置（２）に入力される操作に対する処理内容を変更させる。

この構成によれば、対象機器は、視線（Ｑ１）の向き又は顔の向きに基づいて、入力装置（２）に入力される操作に対する処理内容を変更する。このような視線（Ｑ１）に基づく処理内容の変更により、入力装置（２）に入力される操作の回数を低減できる。この結果、入力装置（２）での対象機器に対する操作の操作性を向上できる。

第２の態様に係る機器制御システム（１）では、第１の態様において、決定装置（３）は、１つ以上の機器（４）のうち、検出装置（３）で検出された視線（Ｑ１）の向き又は顔の向きが向けられている機器（４）を、対象機器に決定する。

この構成によれば、視線（Ｑ１）移動等の簡単な動作で対象機器を決定できる。

第３の態様に係る機器制御システム（１）では、第２の態様において、決定装置（３）は、１つ以上の機器（４）のうち、検出装置（３）で検出された視線（Ｑ１）の向き又は顔の向きが一定時間向けられた機器（４）を、対象機器に決定する。

この構成によれば、意図せずに視線（Ｑ１）等を機器に向けることで、意に反してその機器（４）が対象機器に決定されることを抑制できる。

第４の態様に係る機器制御システム（１）では、第１～第３の態様の何れかの態様において、決定装置（３）は、対象機器に対し、対象機器に決定されたときの対象機器の状態に応じて、入力装置（２）に入力される操作に対する処理内容を変更させる。

この構成によれば、入力装置（２）において対象機器の状態に合った操作内容の操作を行うことができる。これにより、入力装置（２）において簡単で直感的な操作を行うことができる。

第５の態様に係る機器制御システム（１）では、第１～第４の態様の何れかの態様において、決定装置（３）は、検出装置（３）で検出された視線（Ｑ１）の向き又は顔の向きが１つ以上の機器（４）のうちの何れの機器（４）にも向けられていない場合は、１つ以上の機器（４）のうち、予め決められた機器を対象機器に決定する。

この構成によれば、視線（Ｑ１）の向き又は顔の向きがどの機器（４）にも向けられていない場合、入力装置（２）の操作対象となる機器（４）が存在しなくなることを回避できる。

第６の態様に係る機器制御システム（１）では、第１～第５の態様の何れかの態様において、入力装置（２）を第１入力装置（２）とする。対象機器を入力装置（２）の操作対象から解除する解除操作が入力される第２入力装置（５）を更に備えている。第２入力装置（５）は、第２入力装置（５）に解除操作が入力された場合、対象機器に対し、入力装置（２）の操作対象から解除させる。

この構成によれば、視線（Ｑ１）の向き又は顔の向きに依らずに、対象機器を操作対象から解除できる。

第７の態様に係る機器制御システム（１）では、第１～第６の態様の何れかの態様において、１つ以上の機器（４）の中には、表示装置（４１）が含まれる。決定装置（３）は、決定装置（３）が対象機器を決定した場合、表示装置（４１）に操作案内情報を表示させる。操作案内情報は、入力装置（２）に対する操作と、この操作に割り当てられた対象機器の処理内容との対応関係を表す情報である。

この構成によれば、入力装置（２）に入力する操作の操作内容を容易に把握できる。

第８の態様に係る機器制御システム（１）では、第７の態様において、決定装置（３）は、対象機器が入力装置（２）の操作対象から解除された場合、表示装置（４１）に対して、操作案内情報の表示を停止させる。

この構成によれば、不要になった操作案内情報が表示装置（４１）に表示されることを抑制できる。

第９の態様に係る機器制御システム（１）では、第１～第８の態様の何れかの態様において、決定装置（３）は、検出装置（３）で検出された視線（Ｑ１）の向き又は顔の向きが対象機器から一定時間外れた場合、対象機器に対し、入力装置（２）の操作対象から解除させる。

この構成によれば、意図せずに視線（Ｑ１）等が機器から外れることで、意に反してその機器（４）が対象機器から解除されることを抑制できる。

第１０の態様に係る機器制御システム（１）では、第１～第９の態様の何れかの態様において、決定装置（３）は、対象機器に対し、検出装置（３）で検出された視線（Ｑ１）が対象機器の特定領域に向けられた場合、入力装置（２）に入力される操作に対する処理内容を特定領域に対応した処理内容に変更させる。

この構成によれば、視線（Ｑ１）等を対象機器の特定領域（Ｒ７，Ｒ８，３２Ｌ，３２Ｒ，３２Ｓ）に向けるだけで、入力装置（２）での対象機器に対する操作内容を変更できる。これにより、対象機器の特定領域（Ｒ７，Ｒ８，３２Ｌ，３２Ｒ，３２Ｓ）に応じた様々な操作を行える。

第１１の態様に係る機器制御システム（１）では、第１～第１０の態様の何れかの態様において、１つ以上の機器（４）の各々は、移動体（Ｋ１）の移動体本体に搭載された機器である。

この構成によれば、移動体本体に搭載された機器に適用できる。

第１２の態様に係る移動体は、第１１の態様の機器制御システム（１）と、移動体本体と、を備える。

この構成によれば、上記の機器制御システム（１）の効果を奏する移動体を提供できる。

第１３の態様に係る機器制御方法は、入力処理と、検出処理と、決定処理と、を備えている。入力処理では、１つ以上の機器（４）の中の何れか１つの機器である対象機器に対する操作を受け付ける。検出処理では、利用者（Ｈ１）の視線（Ｑ１）の向き又は顔の向きを検出する。決定処理では、検出処理で検出した視線（Ｑ１）の向き又は顔の向きに基づいて、１つ以上の機器（４）の中から対象機器を決定する。決定処理では、対象機器に対し、検出処理で検出した視線（Ｑ１）の向き又は顔の向きに基づいて、入力処理で入力される操作に対する処理内容を変更させる。

この構成によれば、対象機器は、視線（Ｑ１）の向き又は顔の向きに基づいて、入力処理で入力される操作に対する処理内容を変更する。このような視線（Ｑ１）に基づく処理内容の変更により、入力装置（２）に入力される操作の回数を低減できる。この結果、入力装置（２）での対象機器に対する操作の操作性を向上できる。

第１４の態様に係るプログラムは、第１３の態様の機器（４）制御方法を少なくとも１つのプロセッサに実行させるための、プログラムである。

この構成によれば、機器制御方法を少なくとも１つのプロセッサに実行させるためのプログラムを提供できる。

１ 機器制御システム
２ 第１入力装置（入力装置）
３ 視線読取装置（決定装置、検出装置）
４ 機器
５ 第２入力装置
４１ ナビゲーション装置（機器、表示装置）
４２ 電子ミラー（機器）
Ｈ１ 運転者（利用者）
Ｑ１ 視線
Ｒ７，Ｒ８，３２Ｌ，３２Ｒ，３２Ｓ 特定領域

Claims (13)

1. １つ以上の機器の中の何れか１つの機器である対象機器に対する操作が入力される入力装置と、
   利用者の視線の向き又は顔の向きを検出する検出装置と、
   前記検出装置で検出された前記視線の向き又は前記顔の向きに基づいて、前記１つ以上の機器の中から前記対象機器を決定する決定装置と、を備え、
   前記決定装置は、前記対象機器に対し、前記検出装置で検出された前記視線の向き又は前記顔の向きに基づいて、前記入力装置に入力される前記操作に対する処理内容を変更させ、
   前記決定装置は、前記検出装置で検出された前記視線の向き又は前記顔の向きが前記１つ以上の機器のうちの何れの機器にも向けられていない場合は、前記１つ以上の機器のうち、予め決められた機器を前記対象機器に決定する、
   機器制御システム。
2. 前記決定装置は、前記１つ以上の機器のうち、前記検出装置で検出された前記視線の向き又は前記顔の向きが向けられている機器を、前記対象機器に決定する、
   請求項１に記載の機器制御システム。
3. 前記決定装置は、前記１つ以上の機器のうち、前記検出装置で検出された前記視線の向き又は前記顔の向きが一定時間向けられた機器を、前記対象機器に決定する、
   請求項２に記載の機器制御システム。
4. 前記決定装置は、前記対象機器に対し、前記対象機器に決定されたときの前記対象機器の状態に応じて、前記入力装置に入力される前記操作に対する処理内容を変更させる、
   請求項１～３の何れか１項に記載の機器制御システム。
5. 前記入力装置を第１入力装置とし、
   前記対象機器を前記入力装置の操作対象から解除する解除操作が入力される第２入力装置を更に備え、
   前記第２入力装置は、前記第２入力装置に前記解除操作が入力された場合、前記対象機器に対し、前記入力装置の操作対象から解除させる、
   請求項１～４の何れか１項に記載の機器制御システム。
6. 前記１つ以上の機器の中には、表示装置が含まれ、
   前記決定装置は、前記決定装置が前記対象機器を決定した場合、前記表示装置に操作案内情報を表示させ、
   前記操作案内情報は、前記入力装置に対する操作と、この操作に割り当てられた前記対象機器の処理内容との対応関係を表す情報である、
   請求項１～５の何れか１項に記載の機器制御システム。
7. 前記決定装置は、前記対象機器が前記入力装置の操作対象から解除された場合、前記表示装置に対して、前記操作案内情報の表示を停止させる、
   請求項６に記載の機器制御システム。
8. 前記決定装置は、前記検出装置で検出された前記視線の向き又は前記顔の向きが前記対象機器から一定時間外れた場合、前記対象機器に対し、前記入力装置の操作対象から解除させる、
   請求項１～７の何れか1項に記載の機器制御システム。
9. 前記決定装置は、前記対象機器に対し、前記検出装置で検出された前記視線が前記対象機器の特定領域に向けられた場合、前記入力装置に入力される前記操作に対する処理内容を前記特定領域に対応した処理内容に変更させる
   請求項１～８の何れか１項に記載の機器制御システム。
10. 前記１つ以上の機器の各々は、移動体の移動体本体に搭載された機器である、
    請求項１～９の何れか１項に記載の機器制御システム。
11. 請求項１０に記載の機器制御システムと、
    前記移動体本体と、を備える、
    移動体。
12. １つ以上の機器の中の何れか１つの機器である対象機器に対する操作を受け付ける入力処理と、
    利用者の視線の向き又は顔の向きを検出する検出処理と、
    前記検出処理で検出した前記視線の向き又は前記顔の向きに基づいて、前記１つ以上の機器の中から前記対象機器を決定する決定処理と、を備え、
    前記決定処理では、前記対象機器に対し、前記検出処理で検出した前記視線の向き又は前記顔の向きに基づいて、前記入力処理で入力される前記操作に対する処理内容を変更させ、
    前記決定処理では、前記検出処理で検出された前記視線の向き又は前記顔の向きが前記１つ以上の機器のうちの何れの機器にも向けられていない場合は、前記１つ以上の機器のうち、予め決められた機器を前記対象機器に決定する、
    機器制御方法。
13. 請求項１２に記載の機器制御方法を少なくとも１つのプロセッサに実行させるための、プログラム。

Images