JP6819539B2 - ジェスチャ入力装置 - Google Patents

Description

本発明は、操作者のジェスチャによる入力を可能とするジェスチャ入力装置に関するものである。

従来のジェスチャ入力装置として、例えば、特許文献１に記載されたものが知られている。特許文献１のジェスチャ入力装置（操作装置）は、操作者の手を撮像する撮像部と、各種車載機器の操作画面を個別に表示する複数の画像表示部と、運転者の視線を検出する視線検出部と、視線検出部が検出した視線が、どの画像表示部を注視しているか検出する視線領域判定部とを備えている。そして、運転者がいずれかの画像表示部を注視していることを視線領域判定部が検出すると、注視している画像表示部の操作画面と操作した手の形状とが重畳して表示されるようになっている。つまり、運転者の視線によって、操作対象となる画像表示部（車載機器）が選択されるようになっている。

特開２０１０−２１５１９４号公報

しかしながら、上記特許文献１では、運転者が画像表示部を注視しているか否かを検出するにあたって、視線が一定時間以上、一カ所（いずれかの画像表示部）に留まっていた場合に、注視していると判定するようになっているので、運転時の基本的な安全確認（前方確認等）がおろそかになる可能性がある。

本発明の目的は、上記問題に鑑み、運転に係る安全確認に支障をきたすことなく、操作対象の選択を可能とするジェスチャ入力装置を提供することにある。

本発明は上記目的を達成するために、以下の技術的手段を採用する。

第１の発明では、操作者のジェスチャ操作に基づいて、操作対象（１１１、１１２、１１３）に対する入力操作が行われるジェスチャ入力装置において、
操作者のジェスチャ操作を検出するジェスチャ検出部（１２０）と、
ジェスチャ操作から操作対象を判定する判定部（１３０）と、を備え、
判定部は、ジェスチャ検出部によって検出されたジェスチャ操作が、操作者の手によって指し示される手差しジェスチャであると判定すると、指し示された対象を操作対象として選択確定するようになっており、
操作対象は、複数設けられており、複数の操作対象（１１１、１１２、１１３）の作動状態をそれぞれ表示する複数の表示部（１１１ａ、１１２ａ、１１３ａ）を有しており、
判定部からの判定内容に応じて、複数の表示部の表示状態を制御する制御部（１４０）を備え、
判定部によって、複数の表示部のうち、任意の表示部（１１１ａ）に対する手差しジェスチャが判定され、選択確定されたのち、任意の表示部とは異なる別の表示部（１１２ａ）に対する別の手差しジェスチャが判定されると、
制御部は、任意の表示部における表示を、別の表示部に表示させることを特徴としている。
また、第２の発明では、操作対象は、複数設けられており、操作対象（１１１、１１２、１１３）の作動状態を表示する表示部（１１１ａ）を有しており、
判定部からの判定内容に応じて、表示部の表示状態を制御する制御部（１４０）を備え、
判定部によって、表示部に対する手差しジェスチャが判定され、選択確定されたのち、手差しジェスチャとは異なる別のジェスチャが判定されると、
制御部は、複数の操作対象のうち、表示部における元の操作対象の表示を、別の操作対象の表示に切替えることを特徴としている。

この発明によれば、操作者の手差しジェスチャによって操作対象が選択確定されるので、操作者は、操作対象の選択確定のために、従来技術のように操作対象に対して注視する必要がない。よって、運転に係る安全確認に支障をきたすことなく、操作対象の選択確定が可能となる。

尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。

第１実施形態におけるジェスチャ入力装置の構成を示すブロック図である。 第１実施形態における制御内容を示すフローチャートである。 第１実施形態その１の操作要領を示す説明図である。 第１実施形態その２の操作要領を示す説明図である。 第２実施形態におけるジェスチャ入力装置の構成を示すブロック図である。 第２実施形態その１の操作要領を示す説明図である。 第２実施形態その２の操作要領を示す説明図である。 第３実施形態におけるジェスチャ入力装置の構成を示すブロック図である。 第３実施形態における制御内容を示すフローチャートである。 第３実施形態の操作要領を示す説明図である。 第４実施形態におけるジェスチャ入力装置の構成を示すブロック図である。 第４実施形態の操作要領を示す説明図である。 第５実施形態におけるジェスチャ入力装置の構成を示すブロック図である。 第５実施形態における制御内容を示すフローチャートである。 第５実施形態の操作要領を示す説明図である。 第５実施形態のジェスチャ操作後の表示状態を示す説明図である。 第５実施形態の変形例１における操作要領を示す説明図である。 第５実施形態の変形例２における操作要領を示す説明図である。 第６実施形態におけるジェスチャ入力装置の構成を示すブロック図である。 第６実施形態における制御内容を示すフローチャートである。 図２０中の指示対象候補リスト更新の要領を示すサブフローチャートである。 図２１中の指示対象候補登録の要領を示すサブフローチャートである。 図２１中の指示対象候補削除の要領を示すサブフローチャートである。 第６実施形態の操作要領を示す説明図である。

以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。

（第１実施形態）
第１実施形態のジェスチャ入力装置１００Ａについて図１〜図４を用いて説明する。本実施形態のジェスチャ入力装置１００Ａは、車両に搭載され、運転者（操作者）の体の特定部位の動き（ジェスチャ操作）に基づいて、各種車両機器に対する入力操作を行うものである。

各種車両機器としては、例えば、車室内の空調を行う空調装置１１１、フロントウインドウに各種車両情報を虚像として表示するヘッドアップディスプレイ装置１１２（以下、ＨＵＤ装置１１２）、自車の現在位置表示あるいは目的地への案内表示等を行うカーナビゲーション装置１１３（以下、カーナビ装置１１３）等、複数設定されている。空調装置１１１、ＨＵＤ装置１１２、およびカーナビ装置１１３等は、本発明の操作対象に対応する。尚、各種車両機器としては、上記に限らず、ルームランプ装置、オーディオ装置、後席サンシェード装置、電動シート装置、グローボックス開閉装置等がある。

そして、空調装置１１１は、空調の作動状態や、空調条件設定用のスイッチ等を表示する空調表示部１１１ａを有している。空調表示部１１１ａは、例えば、液晶ディスプレイ、あるいは有機ＥＬディスプレイ等によって形成されている。空調表示部１１１ａは、例えば、インストルメントパネルの操作者側となる面で、車両の幅方向の中央位置に配置されている。空調表示部１１１ａは、例えばタッチパネルを有しており、運転者の指によるタッチ操作によって各種スイッチに対する入力が可能となっている。空調表示部１１１ａは、本発明の表示部、または任意の表示部に対応する。

また、ＨＵＤ装置１１２は、各種車情報（例えば、車速等）を表示するヘッドアップ表示部１１２ａを有している。ヘッドアップ表示部１１２ａは、フロントウインドウの運転者と対向する位置に形成されるようになっている。ヘッドアップ表示部１１２ａは、本発明の表示部、または別の表示部に対応する。

また、カーナビ装置１１３は、地図上における自車位置や目的地案内等のナビ情報を表示するためのナビ表示部１１３ａを有している。このナビ表示部１１３ａは、例えば、液晶ディスプレイ、あるいは有機ＥＬディスプレイ等によって形成されている。ナビ表示部１１３ａは、ここでは、上記の空調表示部１１１ａと兼用とされており、後述する表示制御部１４０によって、画面の切替えが行われて、空調情報と、ナビ情報とが切替え表示されるようになっている。尚、ナビ表示部１１３ａには、目的地案内の設定のためのナビスイッチが表示され、空調表示部１１１ａの場合と同様に、運転者の指によるタッチ操作によってナビスイッチに対する入力が可能となっている。ナビ表示部１１３ａは、本発明の表示部に対応する。

ジェスチャ入力装置１００Ａは、図１に示すように、指示動作検出部１２０、指示対象判定部１３０、および表示制御部１４０等を備えている。

指示動作検出部１２０は、運転者の体の特定部位の動きを検出するジェスチャ検出部となっている。指示動作検出部１２０は、運転者の体の特定部位を画像によって検知し、時間経過に対する画像の変化から、運転者の体の特定部位の動きを検出するようになっている。

運転者の体の特定部位としては、例えば、運転者の手の指、手の平、腕（手差しジェスチャ）等とすることができる。本実施形態では、入力操作の対象機器を選択確定するために、運転者の体の特定部位として、主に手の指（指差しジェスチャ）を用いるものとしている。指示動作検出部１２０としては、２次元画像、あるいは３次元画像を形成するセンサやカメラ等を用いることができる。

センサとしては、例えば、近赤外線を用いた近赤外線センサ、あるいは遠赤外線を用いた遠赤外線センサ等がある。また、カメラとしては、例えば、複数の方向から同時に撮影して奥行方向の情報も記録できるステレオカメラ、あるいは、ＴｏＦ（Time of Flight）方式を用いて対象物を立体的に撮影するＴｏＦカメラ等がある。本実施形態では、指示動作検出部１２０としては、カメラを用いたものとしている。指示動作検出部１２０は、例えば、車両天井に取付けされており、ステアリングを握りながら指し示される運転者の指（指の形、動き、どの車両機器に向けられているか等）を検出するようになっている。

指の動き（ジェスチャ）は、予め、種々のパターンを決めておくことができるが、ここでは、選択確定用として、操作したい車両機器に向けて一本の指を向ける指差しジェスチャ、および、確定後の次の操作用として、指を素早く振るようなフリックジェスチャ等が設定されている。指示動作検出部１２０で検出された指のジェスチャ信号は、後述する指示対象判定部１３０に出力されるようになっている。

指示対象判定部１３０は、指示動作検出部１２０で得られたジェスチャ信号から、運転者がどの車両機器を操作対象としたいかを判定する判定部となっている。つまり、指示対象判定部１３０は、指示動作検出部１２０によって検出されたジェスチャ操作が、運転者の指によって指し示される指差しジェスチャであると判定すると、指し示された対象を操作対象として選択確定するようになっている。

表示制御部１４０は、指示対象判定部１３０による判定内容に応じて、複数の表示部１１１ａ〜１１３ａの表示状態を制御する制御部となっている。表示制御部１４０が行う表示制御の詳細については後述する。

本実施形態のジェスチャ入力装置１００Ａの構成は、以上のようになっており、以下、図２〜図４を加えて、その作動および作用効果について説明する。

まず、図２に示すステップＳ１００で、指示動作検出部１２０は、運転者による指差しジェスチャを検出する。即ち、指示動作検出部１２０は、運転者の指の動きを画像として検出し、検出した画像データ（ジェスチャ信号）を指示対象判定部１３０に出力する。

次に、ステップＳ１１０で、指示対象判定部１３０は、画像データから指の動きが、任意の車両機器の表示部に向けられた指差しのジェスチャとなっているかを判定する（図３（ａ）の状態）。図３（ａ）の例では、任意の車両機器の表示部は、例えば、空調表示部１１１ａとなっている。

そして、指示対象判定部１３０は、ステップＳ１２０で、この指差しのジェスチャが、任意の車両機器の表示部に向けて、予め定めた一定時間以上継続されているか否かを判定する。

ステップＳ１２０で、否と判定すると、ステップＳ１００に戻り、ステップＳ１１０〜ステップＳ１２０を繰り返す。しかしながら、ステップＳ１２０で肯定判定すると、指示対象判定部１３０は、ステップＳ１３０で、指差しされた対象元の表示部（例えば、空調表示部１１１ａ）を操作対象として選択確定する。

次に、指示対象判定部１３０は、ステップＳ１４０で、切替え操作の判定を行う。即ち、上記の指差しジェスチャで指差しされた空調表示部１１１ａとは異なる別の表示部（例えば、ヘッドアップ表示部１１２ａ）に対する別の指差しジェスチャ（手差しジェスチャ）があるかを判定する。

そして、ステップＳ１５０で、ステップＳ１４０における別の指差しジェスチャとして、予め定義しておいたフリック操作か否かを判定し、ステップＳ１５０で否と判定すると、指示対象判定部１３０は、ステップＳ１６０で、指差しジェスチャが対象元以外の表示部について、一定時間以上継続しているか否かを判定する（図３（ｂ）の状態）。

そして、指示対象判定部１３０がステップＳ１６０で、肯定判定すれば、表示制御部１４０は、ステップＳ１７０で、先に指差しされた元の空調表示部１１１ａにおける表示を、次に指差しされたヘッドアップ表示部１１２ａに表示させる。つまり、最初の指差しによって、空調表示部１１１ａに表示されていた空調情報が選択確定されて、その空調情報が、次に指差しされたヘッドアップ表示部１１２ａに切替え表示されるのである。ステップＳ１７０の後は、ステップＳ１９０に移行する。尚、ステップＳ１６０で、否と判定されると、ステップＳ１７０をスキップして後述するステップＳ１９０に移行する。

一方、ステップＳ１５０で、肯定判定すると、表示制御部１４０は、ステップＳ１８０で、空調表示部１１１ａにおける元の空調情報の表示を、別の車両機器の表示内容、例えば、ナビ情報に切替える（図４（ｂ））。つまり、最初の指差しによって、空調表示部１１１ａに表示されていた空調情報が選択確定されて（図４（ａ））、その空調情報が、別の指差しジェスチャ（フリック操作）によって、ナビ情報に切替え表示されるのである。

そして、ステップＳ１９０で、切替え操作の終了を確認して、ステップＳ１００に戻る。切替え操作が終了していないときは、ステップＳ１５０に戻る。

以上のように、本実施形態によれば、運転者の手差しジェスチャ（指差しジェスチャ）によって操作対象が選択確定されるので、運転者は、操作対象の選択確定のために、従来技術のように操作対象に対して注視する必要がない。よって、運転に係る安全確認に支障をきたすことなく、操作対象の選択確定が可能となる。

また、手差しジェスチャとして、指差しジェスチャを採用しており、指差しジェスチャとすることで、指示した対象を操作対象として選択確定することができ、直感的に分かりやすいジェスチャ操作とすることができる。

また、指差しジェスチャを採用することで、例えば、ステアリングを握った状態で、車両機器に対する指差しが可能となり、ステアリング操作が阻害されることがない。

また、図３で説明したように、任意の表示部（空調表示部１１１ａ）を選択確定した後に、次の指差しにより、別の表示部（ヘッドアップ表示部１１２ａ）に表示切替えをすることで、運転者にとって、見やすい位置での表示確認（視認）が可能となる。

また、図４で説明したように、任意の表示部（空調表示部１１１ａ）を選択確定した後に、次の別のジェスチャ（フリック操作）により、表示部（空調表示部１１１ａ）の表示内容（空調表示）を、別の表示内容（ナビ表示）に表示切替えをするようにすることで、運転者にとって、容易に、見たい情報を確認することができる。

尚、図３（ｂ）で説明した元の表示部（空調表示部１１１ａ）から次の表示部（ヘッドアップ表示部１１２ａ）に表示内容を移動させるジェスチャとして、元の表示部の画面を摘まんで次の表示部側へ運ぶようなジェスチャ、あるいは元の表示部から次の表示部に向けて払うようなジェスチャ、更に、指差しに代えて、手（腕全体）を用いたジェスチャ（手差しジェスチャ）等としてもよい。

また、図４（ｂ）で説明した表示内容を変更させるジェスチャとして、フリック操作ジェスチャに代えて、表示部を指さしてクルクル回すようなジェスチャ、あるいはステアリングで指をタップするようなジェスチャ、更に、指に代えて、手（腕全体）を用いたジェスチャ等としてもよい。

また、図４（ｂ）において、表示制御部１４０によって、空調表示部１１１ａにおける空調表示がナビ表示に切替えられた（ステップＳ１８０）後に、指示対象判定部１３０によって、予め定められたデフォルト用のジェスチャが判定されると、表示制御部１４０は、所定時間、予め定めたデフォルト表示（元の空調表示）を行うようにしてもよい。デフォルト用のジェスチャは、例えば、手によって上から下に抑えるようなジェスチャとすることができる。これにより、元の表示部（空調表示部１１１ａ）における本来の表示内容を確認することができる。

（第２実施形態）
第２実施形態のジェスチャ入力装置１００Ｂを図５〜図７に示す。第２実施形態は、上記第１実施形態に対して、運転者の声を検出して、検出した声を指示対象判定部１３０に出力する声検出部１５０を追加したものである。

声検出部１５０は、図５に示すように、例えば、マイクロホンが使用されて、運転者の声を検出して、検出した声信号を指示対象判定部１３０に出力するようになっている。

本実施形態では、図６、図７に示すように、指示対象判定部１３０、および表示制御部１４０は、ジェスチャ操作の条件（判定結果）に、声検出部１５０からの声の条件を加えて、選択確定、および表示の変更を行うようになっている。

例えば、表示位置を移動させるにあたっては、図６（ａ）に示すように、指示対象判定部１３０は、指示動作検出部１２０からの指差しジェスチャと、声検出部１５０からの「そこから」という運転者の発声に基づいて、操作対象となる表示部（空調表示部１１１ａ）を選択確定する。また、図６（ｂ）に示すように、指示対象判定部１３０は、指示動作検出部１２０からの別の表示部（ヘッドアップ表示部１１２ａ）に対する指差しジェスチャと、声検出部１５０からの「そこへ」という運転者の発声に基づいて、元の表示部（空調表示部１１１ａ）の表示内容を別の表示部（ヘッドアップ表示部１１２ａ）へ移動させるように、表示制御部１４０へ表示の変更指示を行う。

また、表示内容を切替えるにあたっては、図７（ａ）に示すように、指示対象判定部１３０は、指示動作検出部１２０からの指差しジェスチャと、声検出部１５０からの「それを」という運転者の発声に基づいて、操作対象となる表示部（空調表示部１１１ａ）を選択確定する。また、図７（ｂ）に示すように、指示対象判定部１３０は、指示動作検出部１２０からの継続される指差しジェスチャと、声検出部１５０からの「ナビにして」という運転者の発声に基づいて、元の表示部（空調表示部１１１ａ）の表示内容を別の表示内容に切替えるように、表示制御部１４０へ表示の変更指示を行う。

本実施形態では、運転者の声も使用して、操作対象を選択確定し、更に表示部における表示形態を変更するようにしているので、指差しジェスチャに対して、声による運転者自身の意思を組み入れた入力操作とすることができ、意図しないジェスチャによる入力を無くして、確実なジェスチャ入力操作が可能となる。

（第３実施形態）
第３実施形態のジェスチャ入力装置１００Ｃを図８〜図１０に示す。第３実施形態は、上記第１実施形態に対して、指差しジェスチャによって、任意の車両機器（操作対象）を選択確定した後に、表示部に任意の車両機器の操作用画面を表示し、その操作用画面に対して、操作ジェスチャが行われると入力操作が受付されるようにしたものである。

ジェスチャ入力装置１００Ｃにおいては、複数の車両機器のうち、任意の操作対象として、ルームランプ装置１１５を入力操作の対象例として説明する。ルームランプ装置１１５は、図１０に示すように、例えば、車両の天井の前部で、ルームミラーに近接した位置に設けられており、必要に応じてスイッチ操作して点灯させることで車室内の照明を行うものとなっている。

図９に示すフローチャートにおいて、ステップＳ１００〜Ｓ１２０は、第１実施形態の図２で説明したステップＳ１００〜Ｓ１２０と同じである。即ち、ステップＳ１００で、運転者による指差しジェスチャを検出し、ステップＳ１１０で、任意の操作対象（ここでは、ルームランプ装置１１５）に指差しジェスチャが行われているかを判定する（図１０（ａ）の状態）。そして、ステップＳ１２０で、この指差しジェスチャがルームランプ装置１１５に向けて、一定時間以上継続されているか否かを判定する。

ステップＳ１２０で、否と判定すると、ステップＳ１００に戻り、ステップＳ１１０〜ステップＳ１２０を繰り返す。しかしながら、ステップＳ１２０で肯定判定すると、ステップＳ２３０で、指示対象判定部１３０は、表示制御部１４０に対して、指差しされたルームランプ装置１１５に係る操作用画面を、表示部として、例えば、ヘッドアップ表示部１１２ａに表示させる。操作用画面は、例えば、ルームランプ装置１１５をＯＮにするか、ＯＦＦにするかを選択するためのスイッチ画像が表示されるものとなっている（図１０（ｂ）の状態）。

次に、ステップＳ２４０で、指示対象判定部１３０は、新たに複数指によるフリック操作があったか否かを判定する。複数指は、例えば、２本の指である。複数指によるフリック操作は、本発明の手差しジェスチャとは異なる操作ジェスチャに対応する。ステップＳ２４０で否と判定すると、ステップＳ２４０を繰り返す。ステップＳ２４０で肯定判定すると、ステップＳ２５０に移行する。

ステップＳ２５０では、指示対象判定部１３０は、複数指によるフリック操作の方向が、ヘッドアップ表示部１１２ａに表示されたＯＮの方向（図１０（ｃ）の右方向）か、ＯＦＦの方向（図１０（ｃ）の左方向）か、を判定する。

ステップＳ２５０で、指示対象判定部１３０は、複数指によるフリック操作の方向が、ＯＮの方向であると判定すると、ステップＳ２６０で、ルームランプ装置１１５が点灯される（点灯のための入力操作が受付される）。

また、ステップＳ２５０で、指示対象判定部１３０は、複数指によるフリック操作の方向が、ＯＦＦの方向である判定すると、ステップＳ２７０で、ルームランプ装置１１５が消灯される（消灯のための入力操作が受付される）。

尚、ステップＳ２５０で、指示対象判定部１３０は、複数指によるフリック操作の方向がＯＮ、ＯＦＦの方向以外であると、ステップＳ２６０、Ｓ２７０をスキップして、ステップＳ２８０に移行する。

そして、ステップＳ２６０、Ｓ２７０の後に、ステップＳ２８０で、操作の終了を確認して、ステップＳ１００に戻る。操作が終了していないときは、ステップＳ２４０に戻る。

以上のように、本実施形態では、指差しによって選択確定された車両機器（ルームランプ装置１１５）の操作用画面が表示部（ヘッドアップ表示部１１２ａ）に表示され、その操作用画面に対して、最初の指差しジェスチャとは異なる操作ジェスチャを行うことで、車両機器の入力操作が受付けされる。よって、手の届きにくい車両機器に対しても、手元で容易に入力操作が可能となる。

（第４実施形態）
第４実施形態のジェスチャ入力装置１００Ｄを図１１、図１２に示す。第４実施形態は、上記第１実施形態に対して、指差しジェスチャによって、任意の車両機器（操作対象）を選択確定した後に、任意の車両機器の操作用画面を表示し、その操作用画面に対して、手による直接的な手入力操作、あるいは、声による声入力操作が行われると入力操作が受付されるようにしたものである。

ジェスチャ入力装置１００Ｄにおいて、複数の車両機器のうち、上記第３実施形態と同様に、ルームランプ装置１１５を入力操作の対象例として説明する。

操作用画面を表示するための表示部は、例えば、インストルメントパネルの操作者側となる面で、車両の幅方向の中央位置に配置されるセンタ表示部１１４ａとなっている。センタ表示部１１４ａは、各種車両機器の作動状態表示や、設定用の各種スイッチ表示等を行い、各種車両機器ごとにその表示を切替え可能とする表示部となっている。センタ表示部１１４ａは、タッチパネルを有しており、運転者の指によるタッチ操作によって、表示された各種スイッチに対する入力が可能となっている。センタ表示部１１４ａの位置は、運転者のタッチ操作しやすい位置となっている。また、センタ表示部１１４ａに対しては、運転者の発声によっても、入力設定が可能となっている。

図１２（ａ）に示すように、操作対象としてルームランプ装置１１５を選択確定するための指差しジェスチャとしては、ここでは、ルームランプ装置１１５に対して指差しをしながら、ルームランプ装置１１５を円で囲むようなジェスチャとしている。

上記指差しジェスチャによって、ルームランプ装置１１５が選択確定されると、センタ表示部１１４ａに、ルームランプ装置１１５に係る操作用画面が表示される。操作用画面は、例えば、ルームランプ装置１１５をＯＮにするか、ＯＦＦにするかを選択するためのスイッチ画像が表示されるものとなっている（図１２（ｂ）の状態）。

そして、図１２（ｃ−１）に示すように、運転者が、タッチ操作によって、ＯＮあるいはＯＦＦをタッチすることで、ルームランプ装置１１５の点灯あるいは消灯が受付けされる。あるいは、図１２（ｃ−２）に示すように、運転者が「ＯＮ」（「ＯＦＦ」）と発声すると、ルームランプ装置１１５の点灯（消灯）が受付される。

以上のように、本実施形態では、指差しによって選択確定された車両機器（ルームランプ装置１１５）の操作用画面が手元の表示部（センタ表示部１１４ａ）に表示され、その操作用画面に対して、直接的にタッチ操作することで入力操作が受付けされる、あるいは発生によって入力操作が受付けされる。したがって、上記第３実施形態と同様に、手の届きにくい車両機器に対しても、手元で容易に入力操作が可能となる。

（第５実施形態）
第５実施形態のジェスチャ入力装置１００Ｅを図１３〜図１６に示す。第５実施形態は、上記第１〜第４実施形態に対して、操作対象を、車外に設けられ、運転者に特定の情報をもたらす複数の情報表示部１１６としたものである。複数の情報表示部１１６のうち、運転者の指差しジェスチャによって、指し示された情報表示部１１６が選択確定されるようになっている。

情報表示部１１６は、例えば、道路脇に設けられた案内表示、あるいはランドマーク（建物）等を含む複数の表示部である。案内表示は、例えば、地名、施設名（サービスエリア、駐車場等）等が表記され、それらがどの方向にあるか、あるいは何キロ先にあるか等を運転者に示すものである。

ジェスチャ入力装置１００Ｅは、図１３に示すように、指示動作検出部１２０、補助動作検出部１６０、車外情報取得部１７０、指示対象判定部１３０、呼出機能選択部１８０、および情報処理装置１９０等を備えている。

指示動作検出部１２０は、上記第１実施形態で説明したものと同一であり、運転者の指差しジェスチャを検出するようになっている。指示動作検出部１２０で検出された指差しのジェスチャ信号は、指示対象判定部１３０に出力されるようになっている。

補助動作検出部１６０は、例えば、指示動作検出部１２０と同様のカメラ等が用いられて、運転者の補助ジェスチャを検出するものとなっている。補助ジェスチャは、本発明の別のジェスチャに対応する。補助ジェスチャとしては、例えば、頷き、ウインク、ステアリングへの指によるタップ操作の動き等が予め設定されている。補助動作検出部１６０は、例えば、車両天井に取付けされており、運転者の補助ジェスチャを検出して、その補助ジェスチャ信号を指示対象判定部１３０に出力するようになっている。

尚、運転者の補助ジェスチャが、指示動作検出部１２０によって、指差しジェスチャと共に、検出できる場合は、補助動作検出部１６０は、指示動作検出部１２０と兼用されるものとしてもよい。

車外情報取得部１７０は、車外前方における景色を捉えることで、車両前方に存在する複数の情報表示部１１６を取得するものであり、例えば、指示動作検出部１２０と同様のカメラが用いられている。車外情報取得部１７０は、例えば、車両天井の前方部で、ルームミラーと併設されるようにして、車外前方に向けて取付けされている。車外情報取得部１７０によって、取得された情報表示部１１６（情報表示部の信号）は、指示対象判定部１３０に出力されるようになっている。

指示対象判定部１３０は、指示動作検出部１２０によって検出された指差しジェスチャと、車外情報取得部１７０によって取得された複数の情報表示部１１６とを関連付けて、複数の情報表示部１１６のうち、指差しジェスチャによって指し示された情報表示部１１６を操作対象として選択確定するようになっている。選択確定された情報表示部１１６（情報表示部の信号）は、後述する呼出機能選択部１８０に出力されるようになっている。また、指示対象判定部１３０は、補助動作検出部１６０によって検出された補助ジェスチャ信号から補助ジェスチャの発生の有無を把握する。

呼出機能選択部１８０は、予め定めたテーブルにおいて、指示対象判定部１３０で選択確定された情報表示部１１６に基づいて、運転者に対して行う詳細表示や、目的案内等のメニューを選択し、情報処理装置１９０に対する実行指示を行うようになっている。情報処理装置１９０は、例えば、ＨＵＤ装置１１２（表示装置）、カーナビ装置１１３等である。

本実施形態のジェスチャ入力装置１００Ｅの構成は、以上のようになっており、以下、図１４〜図１６を加えて、その作動および作用効果について説明する。

まず、図１４に示すステップＳ３００で、指示動作検出部１２０は、運転者による指差しジェスチャを検出する。即ち、指示動作検出部１２０は、運転者の指の動きを画像として検出し、検出した画像データ（ジェスチャ信号）を指示対象判定部１３０に出力する。

次に、ステップＳ３１０で、車外情報取得部１７０は、車外前方の景色を撮影することで、複数の情報表示部１１６を取得し、取得した情報表示部の信号を指示対象判定部１３０に出力する。

次に、ステップＳ３２０で、指示対象判定部１３０は、指示動作検出部１２０によって検出された指差しジェスチャと、車外情報取得部１７０によって取得された複数の情報表示部１１６との関連付けを行う。そして、複数の情報表示部１１６のうち、指差しジェスチャによって指し示された任意の情報表示部１１６を検出する（図１５（ａ）の状態）。

次に、ステップＳ３３０で、指示対象判定部１３０は、ステップＳ３２０における指差しジェスチャが、任意の情報表示部１１６に向けて、予め定めた一定時間以上継続されているか否かを判定する。

ステップＳ３３０で、肯定判定すると、ステップＳ３４０で、指示対象判定部１３０は、任意の情報表示部１１６を指示対象（操作対象）の候補として設定する。

一方、ステップＳ３３０で、否定判定すると、ステップＳ３５０で、指差しジェスチャなしで、一定時間経過したか否かを判定し、肯定判定すると、ステップＳ３９０に移行し、否定判定するとステップＳ３６０に移行する。つまり、指差しジェスチャがなされていない状態で、一定時間経過していない状態であれば、次のステップＳ３６０における頷きの検出を有効とする。

そして、ステップＳ３６０で、指示対象判定部１３０は、補助動作検出部１６０からの運転者の頷きジェスチャを検出する（図１５（ｂ）の状態）。そして、ステップＳ３７０で、運転者による指示対象があるか否かを判定し、肯定判定すると、ステップＳ３８０で、指示対象判定部１３０は、ステップＳ３４０における指示対象を操作対象として選択確定し、呼出機能選択部１８０に出力する。尚、ステップＳ３７０で、否と判定すれば、本制御を終了する。

選択確定された情報表示部１１６が、例えば、施設名や建物名であると、呼出機能選択部１８０は、図１６に示すように、例えば、ＨＵＤ装置１１２のヘッドアップ表示部１１２ａに施設や建物の詳細情報を表示させる。あるいは、選択確定された情報表示部１１６が、例えば、運転者の向かう地名（行先）であると、呼出機能選択部１８０は、ヘッドアップ表示部１１２ａ、あるいはカーナビ装置１１３に目的案内を行うように指示をする。

そして、ステップＳ３８０が完了すると、ステップＳ３９０で、指差しジェスチャによって指示された指示対象を解除する。

以上のように、本実施形態によれば、車外情報取得部１７０を設けて、指差しジェスチャおよび補助ジェスチャにより、車両機器に限らず、車外の情報表示部１１６を操作対象とすることができる。尚、上記第１実施形態と同様に指差しジェスチャを基本として、操作対象を選択確定するので、従来技術のように操作対象を注視することが不要であり、運転に係る安全確認に支障をきたすことがない。

また、指差しジェスチャに補助ジェスチャ（頷きのジェスチャ）を加えて、情報表示部１１６の選択確定が成されるようにしているので、運転者の意図を確実に反映した選択確定が可能となる。

尚、本実施形態では、車外の情報表示部１１６を取得するために、車外情報取得部１７０を設けるものとしたが、これに代えて、路車間通信、あるいはＧＰＳ等を活用して情報表示部１１６を取得するものとしてもよい。

（第５実施形態の変形例）
上記第５実施形態の補助ジェスチャとして、頷きのジェスチャを用いたが、これに限定されることなく、図１７（ｂ）に示すウインクや、図１８（ｂ）に示すステアリング上でのタップ操作ジェスチャ等とすることが可能である。

尚、制御用のフローチャートについては、図１４で説明したステップＳ３６０の制御内容を、「頷き」から「ウインク」あるいは「タップ操作」等に変更すればよい。

（第６実施形態）
第６実施形態のジェスチャ入力装置１００Ｆを図１９〜図２４に示す。第６実施形態は、上記第５実施形態に対して、視線計測部１９５を設けて、運転者に視認された複数の情報表示部１１６を登録リストとして作成するようにしたものである。そして、登録リストに揚げられた複数の情報表示部のいずれかに対して指差しジェスチャがあると、操作対象として選択確定するようにしている。

図１９に示すように、視線計測部１９５は、例えば、指示動作検出部１２０と同様のカメラ等が用いられて、運転者の視線方向を計測するものとなっている。視線計測部１９５は、例えば、車両天井に取付けされており、運転者の顔の位置、顔の向きに対する瞳の位置から視線方向を計測するようになっている。視線計測部１９５は、計測した運転者の視線方向の信号を指示対象判定部１３０に出力するようになっている。

尚、運転者の視線方向が、指示動作検出部１２０によって、指差しジェスチャと共に、検出できる場合は、視線計測部１９５は、指示動作検出部１２０と兼用されるものとしてもよい。

本実施形態のジェスチャ入力装置１００Ｆの構成は、以上のようになっており、以下、図２０〜図２４を加えて、その作動および作用効果について説明する。

まず、図２０に示すフローチャートにおいて、指示対象判定部１３０は、ステップＳ４００で、指示対象候補リストを更新する。指示対象候補リストは、運転者が視認した複数の情報表示部１１６を、指示される可能性のある対象としてリストアップしたものである。

指示対象候補リストの更新要領は、図２１のサブフローに示すように、ステップＳ４０１で、指示対象候補を登録し、また、ステップＳ４０２で指示対象候補を削除することで実行される。

ステップＳ４０１の指示対象候補の登録は、図２２のサブフローに基づいて実行される。即ち、ステップＳ４０１１で、視線計測部１９５は変化する運転者の視線方向の計測を行う。次に、ステップＳ４０１２で、車外情報取得部１７０は車外情報（複数の情報表示部１１６）を取得する。次に、ステップＳ４０１３で、指示対象判定部１３０は、視線方向と情報表示部１１６との関連付けして、運転者によって視認された複数の情報表示部１１６を視認対象として検出する（図２４（ａ）の状態）。

次に、ステップＳ４０１４で、指示対象判定部１３０は、予め定めた一定時間以上、任意の情報表示部１１６が視認されたか否かを判定する。ステップＳ４０１４で否定判定すると本制御を終了する。一方、ステップＳ４０１４で肯定判定すると、指示対象判定部１３０は、ステップＳ４０１５で、視認された情報表示部１１６が、指示対象の候補リスト（登録リスト）に登録済みか否かを判定する。ステップＳ４０１５で肯定判定すれば、ステップＳ４０１６に進み、否定判定すれば、ステップＳ４０１７に進む。

ステップＳ４０１６では、視認対象がすでに指示対象の候補リストに登録されていることから、指示対象判定部１３０は、候補リスト内の変更は何ら行わずに、この時の指示時刻（視認があった時刻）のみ更新する。つまり、この時刻に、候補リストがチェックされたという経歴を残していく。

一方、ステップＳ４０１７では、視認対象は指示対象の候補リストに登録されていないことから、指示対象判定部１３０は、視認対象を指示対象として候補リストに登録する。つまり、新たに視認された情報表示部１１６が候補リストに追加されていく。

また、ステップＳ４０２の指示対象候補の削除は、図２３のサブフローに基づいて実行される。即ち、ステップＳ４０２１で、指示対象判定部１３０は、複数の指示対象（候補リスト）から指示対象候補を１つ選択する。

そして、ステップＳ４０２２で、指示対象判定部１３０は、指示時刻から一定時間経過したか否かを判定する。否定判定すると、ステップＳ２０２４に進み、肯定判定すると、指示対象判定部１３０は、ステップＳ４０２３で、選択した指示対象候補を削除する。つまり、一定時間以上経過して、再び視認されなかった指示対象候補は削除されていく。

ステップＳ４０２４では、複数の指示対象のそれぞれについて、上記ステップ４０２１〜４０２３による確認をすべて実施したか否かを判定し、否定判定すると、ステップＳ４０２１〜Ｓ４０２４を繰り返し、肯定判定すると本制御を終了する。

図２０に戻って、ステップＳ４００で指示対象候補リストの更新を実施した後、ステップＳ４１０で、指示動作検出部１２０は、運転者による指差しジェスチャを検出し、ステップＳ４２０で、車外情報取得部１７０は、車外前方の景色を撮影することで、複数の情報表示部１１６を取得する。

そして、ステップＳ４３０で、指示対象判定部１３０は、指示動作検出部１２０によって検出された指差しジェスチャと、車外情報取得部１７０によって取得された複数の情報表示部１１６との関連付けを行う。そして、複数の情報表示部１１６のうち、指差しジェスチャによって指し示された任意の情報表示部１１６を検出する（図２４（ｂ）の状態）。

次に、ステップＳ４４０で、指示対象判定部１３０は、ステップＳ４３０における指差しジェスチャが、任意の情報表示部１１６に向けて、予め定めた一定時間以上継続されているか否かを判定する。否定判定すると、本制御を終了する。

ステップＳ４４０で肯定判定すると、ステップＳ４５０で、指示対象判定部１３０は、任意の情報表示部１１６が指示対象候補リストに登録済みか否かを判定する。否定判定すると、本制御を終了する。

ステップＳ４５０で肯定判定すると、ステップＳ４６０で、指示された対象を操作対象として選択確定し、呼出機能選択部１８０に出力する。上記第５実施形態と同様に、呼出機能選択部１８０は、ＨＵＤ装置１１２のヘッドアップ表示部１１２ａに施設や建物の詳細情報を表示させる。あるいは、選択確定された情報表示部１１６が、例えば、運転者の向かう地名であると、呼出機能選択部１８０は、ヘッドアップ表示部１１２ａ、あるいはカーナビ装置１１３に目的案内を行うように指示をする。

以上のように本実施形態によれば、視認された対象（情報表示部１１６）を対象リスト（登録リスト）に載せて、対象リストに揚げられた複数の視認対象のいずれかに対して手差しジェスチャがあると、指示された対象（情報表示部１１６）が操作対象として選択確定される。よって、複数の情報表示部１１６のうち、運転者の視認したものが前提となって選択確定されるので、運転者の意図しないものが選択確定されることがない。

尚、本実施形態の指示対象候補リストを、上記第５実施形態、および第５実施形態の変形例に採用してもよい。

（その他の実施形態）
上記各実施形態に対して、指差しジェスチャによって操作対象が選択確定されたときに、運転者に対して確認用のフィードバックを与える機能（フィードバック部）を追加したものとしてもよい。例えば、ステアリングを振動させる振動発生部を設けて、指示対象が選択確定された後に、ステアリングを振動させるようにしてもよい。あるいは、効果音や音声を発生させる発生部を設けて、指示対象が選択確定された後に、効果音（ピッ）や音声（選択確定されました）等を運転者に伝えるようにしてもよい。これにより、運転者が指差した車両機器が、確かに選択確定されたことを知ることができ、安心して入力操作を行うことができる。

また、入力操作を終了するための終了ジェスチャ、例えば、指差しをやめてステアリングを握るジェスチャや、手で払うようなジェスチャを予め定めておき、指示対象判定部１３０は、この終了ジェスチャを判定することで、ひとつの入力操作を終了させるようにしてもよい。

また、上記各実施形態では、指示動作検出部１２０として、センサやカメラを用いるものとして説明したが、これに代えて、例えば、指の曲り具合いを検出可能とするセンサを設けた手袋（グローブ）を用いて、指差しジェスチャを検出するものとしてもよい。

また、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、上記の各種ジェスチャを行うことで、指示動作検出部１２０によるジェスチャ認識が行われて、各種車両機器の操作が可能となる。

１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ ジェスチャ入力装置
１１１ 空調装置（操作対象）
１１１ａ 空調表示部（表示部、任意の表示部）
１１２ ヘッドアップディスプレイ装置（操作対象、表示装置）
１１２ａ ヘッドアップ表示部（表示部、別の表示部）
１１３ カーナビゲーション装置（操作対象）
１１３ａ ナビ表示部（表示部）
１１４ａ センタ表示部（表示部）
１１５ ルームランプ装置（任意の操作対象）
１１６ 情報表示部
１２０ 指示動作検出部（ジェスチャ検出部）
１３０ 指示対象判定部（判定部）
１４０ 表示制御部（制御部）
１５０ 声検出部
１７０ 車外情報取得部
１９５ 視線計測部

Claims (6)

1. 操作者のジェスチャ操作に基づいて、操作対象（１１１、１１２、１１３）に対する入力操作が行われるジェスチャ入力装置において、
   前記操作者の前記ジェスチャ操作を検出するジェスチャ検出部（１２０）と、
   前記ジェスチャ操作から前記操作対象を判定する判定部（１３０）と、を備え、
   前記判定部は、前記ジェスチャ検出部によって検出された前記ジェスチャ操作が、前記操作者の手によって指し示される手差しジェスチャであると判定すると、指し示された対象を前記操作対象として選択確定するようになっており、
   前記操作対象は、複数設けられており、複数の前記操作対象（１１１、１１２、１１３）の作動状態をそれぞれ表示する複数の表示部（１１１ａ、１１２ａ、１１３ａ）を有しており、
   前記判定部からの判定内容に応じて、複数の前記表示部の表示状態を制御する制御部（１４０）を備え、
   前記判定部によって、複数の前記表示部のうち、任意の表示部（１１１ａ）に対する前記手差しジェスチャが判定され、選択確定されたのち、前記任意の表示部とは異なる別の表示部（１１２ａ）に対する別の手差しジェスチャが判定されると、
   前記制御部は、前記任意の表示部における表示を、前記別の表示部に表示させるジェスチャ入力装置。
2. 操作者のジェスチャ操作に基づいて、操作対象（１１１、１１２、１１３）に対する入力操作が行われるジェスチャ入力装置において、
   前記操作者の前記ジェスチャ操作を検出するジェスチャ検出部（１２０）と、
   前記ジェスチャ操作から前記操作対象を判定する判定部（１３０）と、を備え、
   前記判定部は、前記ジェスチャ検出部によって検出された前記ジェスチャ操作が、前記操作者の手によって指し示される手差しジェスチャであると判定すると、指し示された対象を前記操作対象として選択確定するようになっており、
   前記操作対象は、複数設けられており、前記操作対象（１１１、１１２、１１３）の作動状態を表示する表示部（１１１ａ）を有しており、
   前記判定部からの判定内容に応じて、前記表示部の表示状態を制御する制御部（１４０）を備え、
   前記判定部によって、前記表示部に対する前記手差しジェスチャが判定され、選択確定されたのち、前記手差しジェスチャとは異なる別のジェスチャが判定されると、
   前記制御部は、複数の前記操作対象のうち、前記表示部における元の操作対象の表示を、別の操作対象の表示に切替えるジェスチャ入力装置。
3. 前記制御部によって、前記表示部における表示が切替えられた後に、前記判定部によって、予め定められたデフォルト用のジェスチャが判定されると、前記制御部は、所定時間、予め定めたデフォルト表示を行う請求項２に記載のジェスチャ入力装置。
4. 前記操作者の声を検出して、検出した前記声を前記判定部に出力する声検出部（１５０）を備え、
   前記判定部は、前記ジェスチャ操作の条件に、前記声検出部からの前記声の条件を加えて、前記選択確定、および前記制御部に対する表示の変更指示を行う請求項１〜請求項３のいずれか１つに記載のジェスチャ入力装置。
5. 前記手差しジェスチャは、手の指による指差しジェスチャである請求項１〜請求項４のいずれか１つに記載のジェスチャ入力装置。
6. 前記操作対象の選択確定を前記操作者に対してフィードバックするフィードバック部を備え、
   前記判定部は、選択確定を行うと前記フィードバック部を作動させる請求項１〜請求項５のいずれか１つに記載のジェスチャ入力装置。

Images