JP6589796B2 - ジェスチャ検出装置 - Google Patents

Description

この明細書による開示は、操作者のジェスチャを検出するジェスチャ検出装置に関する。

従来、例えば特許文献１には、ジェスチャを検出する技術の一種として、操作者を撮影するカメラの画像データを用いることで、操作者の視線の向きと顔向きとを共に検知する認識装置が開示されている。この認識装置は、操作者の視線の向きと顔向きとの違いに基づき、操作者の意思を示すジェスチャが有ったと判定する。

特開２００７‐９４６１９号公報

さて、本開示の発明者は、特許文献１の技術を用いたジェスチャ検出装置について開発を行ってきた。具体的に、ジェスチャ検出装置は、表示画面にアイコン等の表示物を表示させる。操作者が表示物を目視しつつ顔向きを変化させるジェスチャを行うと、ジェスチャ検出装置は、視線方向と顔向きとの差分の拡大を検出して、ジェスチャが入力されたと判定する。こうしたジェスチャ検出装置であれば、操作者は、手を使うことなく、操作を入力できるようになる。

しかしながら、視線方向と顔向きとの差分の拡大に基づき、ジェスチャの有無を判定する処理だけでは、操作性が良好になり難かった。詳しく説明すると、操作者は、ジェスチャを行う際に、無意識的に、顔向きだけでなく視線も顔向きと同じ方向に動かしてしまう。その結果、視線方向と顔向きとの差分が拡大し難くなり、ジェスチャが有るとの判定が遅延し易くなっていた。こうした欠点を解消するため、視線方向と顔向きとの差分が小さい段階でジェスチャが有るとの判定をしてしまうと、表示画面から視線を外すような単なる視線移動が行われた場合でも、ジェスチャ検出装置は、ジェスチャが有ると誤判定する虞があった。

本開示は、上記問題点に鑑みてなされたものであり、その目的は、誤判定の低減と、ジェスチャの円滑な入力とが両立された操作感に優れるジェスチャ検出装置を提供することにある。

上記目的を達成するため、開示された第一の態様は、表示領域（５０）に表示された対象表示物（５１）を目視しつつ顔向きを変化させる操作者（Ｕ）のジェスチャを検出するジェスチャ検出装置であって、操作者を撮影する撮像部（１０）の撮像画像（ＰＩ）から、操作者の視線方向を検出する視線検出部（３１）と、撮像画像から操作者の顔向きを検出する顔向き検出部（３２）と、視線方向と顔向きとの差分の拡大に加えて、顔向きの変化が開始される第一タイミング（ｔｆ）と視線方向の変化が開始される第二タイミング（ｔｇ）とを比較し、第一タイミングに対する第二タイミングの遅れに基づくことで、対象表示物に対するジェスチャの有無を判定するジェスチャ判定部（３４）と、を備えるジェスチャ検出装置とされる。

本開示の発明者は、操作者が単なる視線移動を行う場合と、ジェスチャを行う場合とにおいて、顔向きの変化が開始される第一タイミングと、視線方向の変化が開始される第二タイミングとの間に差があることに着目した。詳記すると、単なる視線移動の場合、操作者は、視線方向の変化を先行させ、その後で顔向きを変化させる傾向がある。一方で、ジェスチャを行う場合、顔向きの変化が開始される第一タイミングは、視線方向の変化が開始される第二タイミングに対して、単純な視線移動よりも早くなる傾向がある。

こうした知見に基づくことにより、この態様によるジェスチャ判定部は、第一タイミングに対する第二タイミングの遅れを、ジェスチャの有無の判定に用いている。以上の判定基準の採用によれば、視線方向と顔向きとの差分が小さい段階でも、ジェスチャ判定部は、顔向き変化及び視線方向変化の各開始タイミングの違いから、ジェスチャの入力が有ると精度良く判定できる。その結果、誤判定を低減しつつ、ジェスチャの入力が円滑に受け付けられるようになるため、操作感の優れたジェスチャ検出装置が実現される。

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

第一実施形態によるジェスチャ検出装置を含む車載された構成の全体像を示すブロック図である。 ジェスチャを行う操作者Ｕの様子を表示領域の表示と共に示す図である。 運転席の周囲に設けられた複数の表示領域の配置を示す図である。 ジェスチャ及び視線移動の判定に用いられる判定テーブルを模式的に示す図である。 ジェスチャ検出装置にて実施されるジェスチャ検出処理の詳細を示す図である。 判定テーブルに基づき、ジェスチャが有ると直ちに判定される場合の操作者の動作を示す図である。 判定テーブルに基づくポイントの累積により、ジェスチャが有ると判定される場合の操作者の動作を示す図である。 判定テーブルに基づき、視線移動が有ると直ちに判定される場合の操作者の動作を示す図である。 判定テーブルに基づくポイントの累積により、視線移動が有ると判定される場合の操作者の動作を示す図である。 第二実施形態によるジェスチャ検出装置等の全体像を示すブロック図である。 第二実施形態による判定テーブルを模式的に示す図である。

以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

（第一実施形態）
図１及び図２に示す本開示の第一実施形態によるジェスチャ検出装置１００は、車両Ａに搭載されている。ジェスチャ検出装置１００は、運転者である操作者Ｕのジェスチャを検出する。ジェスチャは、表示領域５０に表示されたアイコン５１を目視しつつ、顔向きを上下（ピッチ）方向又は左右（ヨー）方向に変化させる操作者Ｕの動作である。ジェスチャ検出装置１００は、操作者Ｕによるジェスチャの検出に基づき、目視されたアイコン５１（図２のドット参照）と関連付けられた車載機器６０を制御する。ジェスチャ検出装置１００の機能によれば、操作者Ｕは、運転中に手を使うことなく、車両Ａに搭載された車載機器６０を操作可能となる。

ジェスチャ検出装置１００は、カメラ１０、複数の表示器４０、及び複数の車載機器６０と電気的に接続されている。

カメラ１０は、操作者Ｕを撮影する撮像部である。カメラ１０は、撮像素子及び投光部と、これらを制御する制御ユニット等とによって構成されている。カメラ１０は、運転席側に撮像素子の撮像面を向けた姿勢で、車両Ａの車室内に固定されている。カメラ１０は、投光部によって近赤外光を投射された操作者Ｕの顔及びその周囲を、撮像素子によって繰り返し撮影することにより、多数の撮像画像ＰＩを生成する。カメラ１０は、生成した多数の撮像画像ＰＩを、ジェスチャ検出装置１００へ向けて逐次出力する。

複数の表示器４０は、表示領域５０に表示させた画像により、操作者Ｕに情報を提示するインターフェース機器である。各表示器４０は、ジェスチャ検出装置１００から取得する制御信号基づき、各表示領域５０に種々の画像を表示させる。複数の表示器４０には、図１及び図３に示すヘッドアップディスプレイ（ＨＵＤ）４１、センターインフォメーションディスプレイ（ＣＩＤ）４２、及びマルチインフォメーションディスプレイ（ＭＩＤ）４３等が含まれている。

ＨＵＤ４１は、制御信号に基づき生成した画像の光を、例えば車両Ａのウインドシールド又はコンバイナ等に設定された表示領域５０に投影する。表示領域５０によって車室内側に反射された画像の光は、運転者に着座する操作者Ｕによって知覚される。操作者Ｕは、ＨＵＤ４１によって投影された画像の虚像を、車両Ａの前景と重ねて視認することができる。以上により、ＨＵＤ４１は、アイコン５１（図２参照）を含む画像を、表示領域５０に表示させることができる。

ＣＩＤ４２及びＭＩＤ４３は、例えば液晶ディスプレイ等であり、制御信号に基づき生成したアイコン５１（図２参照）を含む画像を、表示領域５０としての表示画面に表示させる。ＣＩＤ４２は、例えば車室内にてセンタクラスタの上方に設置されている。ＭＩＤ４３は、例えば運転席の正面に設置されている。ＣＩＤ４２及びＭＩＤ４３の各表示画面は共に、運転席に着座する操作者Ｕから視認可能である。

複数の車載機器６０は、図１に示すジェスチャ検出装置１００からの、制御信号を取得することにより、制御信号に従った作動を行う。複数の車載機器６０には、空調制御装置６１、オーディオ装置６２、及び電話機６３等が含まれている。空調制御装置６１は、車両Ａに搭載された空調機器を制御する電子装置である。空調制御装置６１は、操作者Ｕのジェスチャに基づき、空調機器の設定温度、風量、及び風向等を変更する。オーディオ装置６２は、操作者Ｕのジェスチャに基づき、再生中のトラック及び音量等を変更する。電話機６３は、操作者Ｕのジェスチャに基づき、連絡先の設定や設定した連絡先へ向けての電話の呼び出し等を行う。

ジェスチャ検出装置１００は、カメラ１０から取得する多数の撮像画像ＰＩを解析する画像解析機能と、複数の表示器４０及び複数の車載機器６０を制御する制御機能とを備えた電気回路である。ジェスチャ検出装置１００は、少なくとも一つのプロセッサ、ＲＡＭ、及び記憶媒体等を含むマイクロコンピュータを主体に構成されている。記憶媒体は、例えばフラッシュメモリ等であり、プロセッサによる情報の読み取りが可能な非遷移的実体的記録媒体(non-transitory tangible storage medium)である。ジェスチャ検出装置１００は、記憶媒体に記憶されたジェスチャ検出プログラムをプロセッサによって実行させることで、複数の機能ブロックを備える。ジェスチャ検出装置１００には、視線検出部３１、顔向き検出部３２、目視表示判定部３３、ジェスチャ判定部３４、表示制御部３５、及び機器制御部３６等が構築される。

視線検出部３１は、連続して撮影された一連の撮像画像ＰＩから、操作者Ｕの視線方向を検出する。視線検出部３１は、個々の撮像画像ＰＩにおける操作者Ｕの目の位置を特定し、さらに目の輪郭と黒目の位置とを抽出する。視線検出部３１は、目の輪郭内における黒目の位置から、操作者Ｕの視線方向を演算することで、操作者Ｕが目視又は注視している目視位置を特定する。加えて視線検出部３１は、操作者Ｕが視線方向を変化させている場合に、個々の撮像画像ＰＩにおける視線方向の変化の推移に基づき、視線方向の変化する角速度を、視線移動速度ωｇ（図６等参照）として検出する。

顔向き検出部３２は、連続して撮影された一連の撮像画像ＰＩから、操作者Ｕの顔向きを検出する。顔向き検出部３２は、個々の撮像画像ＰＩにおける操作者Ｕの両眼及び鼻等の位置と、顔の輪郭とを抽出する。顔向き検出部３２は、顔の輪郭内における両眼及び鼻等の位置から、操作者Ｕの顔が向けられている方向を演算する。加えて顔向き検出部３２は、操作者Ｕが顔向きを変化させている場合に、個々の撮像画像ＰＩにおける顔向きの変化の推移に基づき、顔向きの変化する角速度を、顔向き移動速度ωｆ（図６等参照）として検出する。

目視表示判定部３３は、視線検出部３１にて検出された操作者Ｕの視線方向に基づき、操作者Ｕの目視位置が、各表示器４０の表示領域５０なのか、車両Ａの外部の状況を確認する確認範囲ＬＡなのか、又はこれら以外の範囲であるのかを判定する。確認範囲ＬＡには、例えばウインドシールド及び左右のサイドウインドの各範囲、並びに電子ミラーシステムの各表示画面５５等が含まれる。尚、電子ミラーシステムの表示画面５５に替えて、バックミラー及びサイドミラーが確認範囲ＬＡとされてもよい。

加えて目視表示判定部３３は、アイコン５１（図２参照）を表示している表示領域５０を操作者Ｕが目視していると判定した場合、表示された複数のアイコン５１のうちで操作者Ｕが目視状態としている一つのアイコン５１をさらに判定する。また目視表示判定部３３は、ジェスチャ判定部３４にて後述する視線移動が有ったと判定された場合、操作者Ｕによる視線移動の移動先が確認範囲ＬＡであるか否かをさらに判定する。目視表示判定部３３は、視線移動の移動先が確認範囲ＬＡであると判定した場合、視線移動の前（直前）にて操作者Ｕの目視対象となっていたアイコン５１に対する目視状態の判定を維持する。以上により、操作者Ｕが周囲の環境把握のために表示領域５０から確認範囲ＬＡへと視線を一時的に外した場合でも、特定のアイコン５１の選択状態は、維持される。

ジェスチャ判定部３４は、目視表示判定部３３によって目視状態と判定されている特定のアイコン５１（図２参照）が有る場合に、当該アイコン５１に対するジェスチャの有無を判定する。加えてジェスチャ判定部３４は、表示領域５０を目視していた操作者Ｕが当該表示領域５０の外に目視位置を変更する視線移動の有無を判定する。ジェスチャ判定部３４は、視線方向と顔向きとの差分が予め規定された角度閾値を超えて拡大したことを条件に、判定テーブル（図４参照）を用いて、ジェスチャ及び視線移動の有無を判定する。

ジェスチャ判定部３４は、視線検出部３１の検出結果に基づき、視線方向の変化が開始される視線変化タイミングｔｇ（図６等参照）を特定する。ジェスチャ判定部３４は、顔向き検出部３２の検出結果に基づき、顔向きの変化が開始される顔向き変化タイミングｔｆ（図６等参照）を特定する。ジェスチャ判定部３４は、顔向き変化タイミングｔｆと視線変化タイミングｔｇとを比較し、顔向き変化タイミングｔｆに対する視線変化タイミングｔｇの遅れを算出する。視線方向の変化と顔向き変化との間の開始時間差（ｔｆ−ｔｇ）は、判定テーブル（図４参照）において、ジェスチャ及び視線移動の各有無を判定する判定基準として用いられている。

加えてジェスチャ判定部３４は、顔向き検出部３２にて検出された顔向きと、視線検出部３１にて検出された視線方向との差分を算出する。さらにジェスチャ判定部３４は、顔向き検出部３２にて検出された顔向き移動速度ωｆと視線検出部３１にて検出された視線移動速度ωｇとを比較し、顔向き移動速度ωｆ及び視線移動速度ωｇの（角）速度差を算出する。視線方向の変化と顔向き変化との間の速度差（ωｆ−ωｇ）は、判定テーブル（図４参照）において、ジェスチャ及び視線移動の各有無を判定する判定基準として用いられている。

以上のジェスチャ判定部３４にて用いられる判定テーブルの（図４参照）は、操作者Ｕによって行われる動作の態様がジェスチャと視線移動との間で異なっているという新たな知見に基づいて設定されている。詳記すると、単なる視線移動を行う場合、操作者Ｕは、視線方向の変化を先行させ、その後で顔向きを変化させる傾向がある。このとき、顔向き移動速度ωｆよりも視線移動速度ωｇが速くなり易い。一方で、ジェスチャを行う場合、顔向きの変化が開始される顔向き変化タイミングｔｆは、視線方向の変化が開始される視線変化タイミングｔｇに対して、視線移動を行う場合よりも早くなる傾向がある。このとき、顔向き移動速度ωｆは、視線移動速度ωｇよりも速くなり易い。こうした操作者Ｕの挙動の特性に基づき、判定テーブルは、設定されている。

ジェスチャ判定部３４は、判定テーブル（図４参照）を用いることにより、顔向き変化タイミングｔｆに対する視線変化タイミングｔｇの遅れと、顔向き移動速度ωｆ及び視線移動速度ωｇの差分とに基づき、ジェスチャ及び視線移動の各有無を判定する。ジェスチャ判定部３４は、顔向き変化タイミングｔｆに対する視線変化タイミングｔｇの遅れがジェスチャ時間閾値を超え、且つ、顔向き移動速度ωｆが視線移動速度ωｇに対してジェスチャ速度閾値を超えて速い場合に、ジェスチャが有ると判定する。ジェスチャ時間閾値及びジェスチャ速度閾値は、予め規定された値である。判定テーブルにおける開始時間差Ｔ２，Ｔ３がジェスチャ時間閾値に相当し、速度差Ｖ２，Ｖ３がジェスチャ速度閾値に相当する。具体的に、開始時間差がＴ３以上且つ速度差がＶ２以上の場合、又は開始時間差がＴ２以上且つ速度差がＶ３以上の場合に、ジェスチャ判定部３４は、ジェスチャが有ると判定する。

一方、ジェスチャ判定部３４は、顔向き変化タイミングｔｆに対する視線変化タイミングｔｇの遅れが視線時間閾値未満であり、且つ、視線移動速度ωｇに対する顔向き移動速度ωｆの速さが視線速度閾値未満である場合に、視線移動が有ると判定する。視線時間閾値は、ジェスチャ時間閾値以下か、又はジェスチャ時間閾値よりも短い時間に予め設定されており、判定テーブル（図４参照）における開始時間差Ｔ１，Ｔ２に相当する。同様に、視線速度閾値は、ジェスチャ速度閾値以下か、又はジェスチャ速度閾値よりも遅い値に予め設定されており、判定テーブルにおける速度差Ｖ１，Ｖ２に相当する。

以上の設定により、開始時間差がＴ２未満且つ速度差がＶ１未満の場合、又は開始時間差がＴ１未満且つ速度差がＶ２未満の場合に、ジェスチャ判定部３４は、視線移動が有ると判定する。加えて、顔向き変化タイミングｔｆよりも視線変化タイミングｔｇが早い場合、及び顔向き移動速度ωｆよりも視線移動速度ωｇが速い場合も、ジェスチャ判定部３４は、視線移動が有ると判定する。

ジェスチャ判定部３４は、ジェスチャ及び視線移動のいずれも無いと判定した場合に、視線検出部３１及び顔向き検出部３２にて検出される視線方向及び顔向きの新たな各情報に基づいて、ジェスチャ及び視線移動の各有無を再判定する。判定テーブル（図４参照）においてジェスチャ及び視線移動のいずれにも該当しない範囲には、ポイントが設定されている。ジェスチャ判定部３４は、再判定を繰り返す場合、開始時間差及び速度差に該当するポイントを積算する。視線移動よりもジェスチャの動作に類似した動作が検出された場合、プラスのポイントが積算されていく。ジェスチャ判定部３４は、累積したポイントの値が予め設定された上限ポイント閾値Ｐ１以上となった場合に、ジェスチャが有ると判定する。一方で、ジェスチャよりも視線移動の動作に類似した動作が検出された場合、マイナスのポイントが積算されていく。ジェスチャ判定部３４は、累積したポイントの値が予め設定された下限ポイント閾値Ｐ２以下となった場合に、視線移動が有ると判定する。

こうした累積ポイントに基づく判定であれば、過去の判定にてジェスチャに類似した動作が検出されたという判定結果を導出していた場合、次回の再判定においては、ジェスチャ判定部３４は、過去の判定結果を反映し、ジェスチャが有ると判定し易くなる。同様に、過去の判定にて視線移動に類似した動作が検出されたという判定結果を導出していた場合、次回の再判定においては、ジェスチャ判定部３４は、過去の判定結果を反映し、視線移動が有ると判定し易くなる。

表示制御部３５は、各表示器４０へ向けて出力する制御信号を生成することで、各表示領域５０の表示の態様を制御する。表示制御部３５は、ジェスチャによる入力が可能な状態において、各表示器４０の少なくとも一つの表示領域５０に、複数のアイコン５１を表示させる。加えて表示制御部３５は、目視表示判定部３３によって操作者Ｕが目視状態に有ると判定されている特定のアイコン５１を、ハイライト等の方法によって強調表示させる。

加えて表示制御部３５は、ジェスチャ判定部３４によるジェスチャ及び視線移動の各有無の判定に連動して、各表示領域５０の表示態様を連続的に遷移させる。具体的に、表示制御部３５は、ジェスチャが有ると判定された場合に、ジェスチャが受け付けられたことを操作者Ｕに報知する第一表示態様に、表示領域５０の表示を変更する。第一表示態様では、一例としてアイコン５１を表示する表示領域５０の四つの縁部が一旦ハイライトされたうえで、選択されたアイコン５１の内容に情報が更新される。

また表示制御部３５は、一つの表示領域５０から他の一つの表示領域５０への視線移動が有ると判定された場合に、視線移動が行われたことを操作者Ｕに報知する第二表示態様に、各表示領域５０の表示を変更する。第二表示態様では、一例として視線移動先となる表示領域５０の四つの縁部が一旦ハイライトされる。

さらに、表示制御部３５は、ジェスチャ判定部３４によって再判定が行われている期間にて、各表示領域５０の表示を遷移表示態様に制御する。遷移表示態様では、一例としてアイコン５１を表示する表示領域５０の四つの縁部は、第一表示態様よりも薄くハイライトされた状態となる。加えて、視線移動の移動先の候補とされている他の表示領域５０は、移動基となる表示領域５０に最も近い一つの縁部を、第二表示態様よりも薄くハイライトされた状態となる。以上のように、第一表示態様及び第二表示態様の両方への遷移に対応した遷移表示態様によれば、ジェスチャが有ると判定された場合も、視線移動が有ると判定された場合も、各表示領域５０のハイライトが段階的に強調されていくようになる。

機器制御部３６は、各車載機器６０へ向けて出力する制御信号を生成することで、各車載機器６０の作動を制御する。機器制御部３６は、ジェスチャ判定部３４にてジェスチャが有ると判定された場合に、目視表示判定部３３にて目視対象とされたアイコン５１と関連付けられた制御が実行されるよう、制御信号の生成及び出力を実行する。

以上のジェスチャ検出装置１００によって実施されるジェスチャ検出処理の詳細を、図５に基づき、図１〜図４を参照しつつ説明する。ジェスチャ検出処理は、例えば表示領域５０にアイコン５１が表示され、ジェスチャ操作の可能な入力モードがオン状態になったことに基づいて開始される。ジェスチャ検出処理は、ジェスチャ操作の可能な入力モードがオフ状態とされるまで、繰り返し開始される。

Ｓ１０１では、カメラ１０から複数フレーム分の撮像画像ＰＩを取得し、Ｓ１０２に進む。Ｓ１０２では、Ｓ１０１にて取得された撮像画像ＰＩから、操作者Ｕの視線方向と視線移動速度ωｇとを検出し、Ｓ１０３に進む。Ｓ１０３では、直前のＳ１０２にて検出された視線方向に基づき、表示領域５０に表示されたアイコン５１の目視が有るか否かを判定する。Ｓ１０３にて、アイコン５１の目視が無いと判定した場合、Ｓ１０１に戻る。一方、Ｓ１０３にて、アイコン５１の目視が有ると判定した場合、Ｓ１０４に進む。

Ｓ１０４では、Ｓ１０１にて取得された撮像画像ＰＩから、操作者Ｕの顔向きと顔向き移動速度ωｆとを検出し、Ｓ１０５に進む。Ｓ１０５では、直前のＳ１０２及びＳ１０４にて検出された視線方向と顔向きを示す各角度が、予め規定した各角度の角度閾値以上か否かを判定する。視線方向及び顔向きを示す各角度は、操作者の黒目の位置からＳ１０３にて判定したアイコン５１へ向かう仮想軸線と、視線方向及び顔向きをそれぞれ示す各仮想軸線との間の角度である。Ｓ１０５にて、視線方向を示す角度及び顔向きを示す角度の少なくとも一方が角度閾値以上である場合、Ｓ１０８に進む。一方で、視線方向を示す角度及び顔向きを示す角度が共に角度閾値未満である場合、Ｓ１０６に進む。

Ｓ１０６では、直前のＳ１０２及びＳ１０４にて検出された視線方向と顔向きとの差分である角度差が角度閾値以上か否かを判定する。角度差は、視線方向を示す仮想軸線と顔向きを示す仮想軸線との間の角度である。Ｓ１０６にて、視線方向と顔向きとの角度差が角度閾値未満であると判定した場合、Ｓ１０７に進む。Ｓ１０７では、Ｓ１０３にて目視があるとされたアイコン５１をハイライト表示の状態とし、Ｓ１０１に戻る。一方、Ｓ１０６にて、角度差が角度閾値以上であると判定した場合、Ｓ１０８に進む。

Ｓ１０８では、判定テーブルに基づくジェスチャ及び視線移動の有無の判定を行う。Ｓ１０８では、顔向き変化タイミングｔｆ及び視線変化タイミングｔｇの開始時間差と、顔向き移動速度ωｆ及び視線移動速度ωｇの速度差とを算出し、算出結果の判定テーブルへの当てはめを実施する。判定テーブルに基づき、ジェスチャ及び視線移動のいずれも無いと判定した場合、Ｓ１０９に進み、再判定処理に移行する。再判定処理への移行に伴い、Ｓ１１０にて、少なくとも一つの表示領域５０の表示を遷移表示態様に変更し、Ｓ１０１に戻る。

Ｓ１０８にて、視線移動が有ると判定した場合、Ｓ１１１に進む。Ｓ１１１では、移動対象判定処理の実施によって視線移動の移動先を判定し、Ｓ１１２に進む。Ｓ１１２では、Ｓ１１２の判定結果に基づき、一つ又は複数の表示領域５０の表示態様を設定する。Ｓ１１２にて、一つの表示領域５０から他の一つの表示領域５０への視線移動を判定した場合、Ｓ１１２では、他の一つの表示領域５０の表示を第二表示態様に変更する。また、Ｓ１１１にて、確認範囲ＬＡへの視線移動が行われたと判定した場合、Ｓ１１２では、移動基となる表示領域５０の表示について、視線移動を実施する前の表示状態、即ち、特定のアイコン５１を選択状態としている操作画面が保持される。そして、Ｓ１１２による表示制御の完了後、ジェスチャ検出処理を一旦終了する。

Ｓ１０８にて、ジェスチャが有ると判定した場合、Ｓ１１３に進む。Ｓ１１３では、検出されたジェスチャのタイプを判定し、Ｓ１１４に進む。Ｓ１１３では、一例として顔を上下に振るピッチ方向のジェスチャが行われたのか、又は顔を左右に振るロール方向のジェスチャが行われたのかを判定する。Ｓ１１４では、Ｓ１１３にて判定されたジェスチャに対応する表示に表示領域５０を変更し、Ｓ１１５に進む。Ｓ１１４による表示変化は、ジェスチャへの応答表示であり、ジェスチャが受け付けられたことを操作者Ｕに報知する機能を有する。

Ｓ１１５では、Ｓ１１３にて判定されたジェスチャのタイプに対応した車載機器６０の操作を実行する。Ｓ１１５では、選択状態にあったアイコン５１に対応した制御信号を生成し、操作対象とされる車載機器６０へ向けて生成した制御信号を出力する。Ｓ１１５による機器操作の完了後、ジェスチャ検出処理を一旦終了する。

ここまで説明した判定テーブルに基づく判定により、ジェスチャ及び視線移動の各有無が判定される具体例を、以下、図６〜図９に基づき、図１及び図４を参照しつつ順に説明する。

図６に示す操作者Ｕの挙動では、顔向き変化タイミングｔｆ及び視線変化タイミングｔｇの間の開始時間差がＴ２〜Ｔ３の値となっている。加えて、顔向き移動速度ωｆ及び視線移動速度ωｇの間の速度差がＶ３以上の値となっている。こうした操作者Ｕの挙動であれば、視線方向と顔向きとの角度差が角度閾値以上なった段階で、ジェスチャ判定部３４は、判定テーブルに基づいてジェスチャが有ると判定する。この場合では、開始時間差及び速度差の両方にジェスチャ特有の特徴が顕著に現れているため、角度閾値が小さい値に設定されていても、ジェスチャの誤判定は、低減される。

図７に示す操作者Ｕの挙動では、顔向き変化タイミングｔｆ及び視線変化タイミングｔｇの間の開始時間差がＴ３以上の値となっている。加えて、顔向き移動速度ωｆ及び視線移動速度ωｇの間の速度差がＶ１〜Ｖ２の値となっている。このようにジェスチャに類似した操作者Ｕの挙動が検出された場合、ジェスチャ判定部３４は、判定テーブルに基づき、「＋２」ポイントを加算したうえで、再判定処理に移行する。そして、累積ポイントが上限ポイント閾値Ｐ１以上となった段階で、ジェスチャ判定部３４は、ジェスチャが有ると判定する。以上のように、操作者Ｕの挙動の経過を鑑みることにより、ジェスチャ判定部３４は、ジェスチャと判別し難い挙動に対して、ジェスチャが有るという判定を、より短時間で行うことができる。

図８に示す操作者Ｕの挙動では、視線変化タイミングｔｇが顔向き変化タイミングｔｆに対して先行している。その結果、顔向き変化タイミングｔｆ及び視線変化タイミングｔｇの間の開始時間差は、Ｔ１未満の値となっている。また、視線移動速度ωｇは、顔向き移動速度ωｆよりも速い値を示している。その結果、顔向き移動速度ωｆ及び視線移動速度ωｇの間の速度差は、Ｖ１未満の値となっている。こうした操作者Ｕの挙動であれば、視線方向と顔向きとの角度差が角度閾値以上なった段階で、ジェスチャ判定部３４は、判定テーブルに基づいて視線移動が有ると判定する。この場合では、開始時間差及び速度差の両方に視線移動特有の特徴が顕著に現れているため、角度閾値が小さい値に設定されていても、視線移動の誤判定は、低減される。

図９に示す操作者Ｕの挙動では、顔向き変化タイミングｔｆ及び視線変化タイミングｔｇの間の開始時間差がＴ２〜Ｔ３の値となっている。一方で、視線移動速度ωｇは、顔向き移動速度ωｆよりも速い値を示している。このように視線移動に類似した操作者Ｕの挙動が検出された場合、ジェスチャ判定部３４は、判定テーブルに基づき、「−１」ポイントを積算したうえで、再判定処理に移行する。そして、累積ポイントが下限ポイント閾値Ｐ２以下となった段階で、ジェスチャ判定部３４は、視線移動が有ると判定する。以上のように、操作者Ｕの挙動の経過を鑑みることにより、ジェスチャ判定部３４は、視線移動と判別し難い挙動に対して、視線移動が有るという判定を、より短時間で行うことができる。

ここまで説明した第一実施形態では、操作者Ｕの挙動に係る新たな知見に基づき、ジェスチャ判定部３４は、顔向き変化タイミングｔｆに対する視線変化タイミングｔｇの遅れ、即ち、開度時間差を、ジェスチャの有無の判定に用いている。以上の判定基準の採用によれば、視線方向と顔向きとの角度差が小さい段階でも、ジェスチャ判定部３４は、顔向き変化及び視線方向変化の各タイミングの違いから、ジェスチャの入力が有ると精度良く判定し得る。その結果、誤判定を低減しつつ、ジェスチャの入力が円滑に受け付けられるようになる。したがって、操作感の優れたジェスチャ検出装置１００が実現される。

加えて第一実施形態では、操作者Ｕの挙動に係る新たな知見に基づき、ジェスチャ判定部３４は、顔向き移動速度ωｆ及び顔向き移動速度ωｆの速度差を、ジェスチャの有無の判定にさらに用いている。こうした判定基準のさらなる採用によれば、視線方向と顔向きとの角度差が小さい段階でも、ジェスチャ判定部３４は、開始時間差及び速度差を組み合わせて、ジェスチャの入力が有ると精度良く判定できる。以上によれば、誤判定をさらに低減しつつ、ジェスチャの入力は、さらに素早く且つ高精度に検出される。

また第一実施形態では、開始時間差及び速度差のそれぞれに多段階の閾値を設けた判定テーブルを用いて、ジェスチャ判定部３４は、ジェスチャ及び視線移動の各有無を判定している。このような判定テーブルを用いて操作者Ｕの挙動を判別する形態であれば、ジェスチャ判定部３４は、ジェスチャ及び視線移動の各有無を、高速に判定することができる。

また第一実施形態のジェスチャ判定部３４は、ジェスチャ及び視線移動のいずれも無いと判定した場合に、新たな情報に基づいて再判定処理を行う。そして、ジェスチャ判定部３４は、ポイントを累積させる処理により、操作者Ｕの挙動の推移を鑑みて、ジェスチャの有り判定及び視線移動の有り判定を行うことができる。以上によれば、ジェスチャ判定部３４は、ジェスチャと明確に判別し難いジェスチャに似た動作に対しても、過去の判定結果を反映させることで、より早いタイミングでジェスチャが有ると判定できる。同様に、ジェスチャ判定部３４は、視線移動と明確に判別し難い視線移動に似た動作に対しても、過去の判定結果を反映させることで、より早いタイミングで視線移動が有ると判定できる。

さらに第一実施形態では、ジェスチャ判定部３４によって再判定が行われているときに、各表示領域５０の表示は、第一表示態様及び第二表示態様の両方への遷移に対応した遷移表示態様とされている。以上によれば、操作者Ｕの曖昧な動作によって再判定の期間が生じた場合でも、各表示領域５０の表示は、判定が確定するまでの間に、段階的に切り替わっていく。その結果、操作者Ｕは、自らの挙動に対応して変化する表示により、いっそう良好な操作感を得ることができる。

加えて第一実施形態によれば、視線移動の移動先が確認範囲ＬＡである場合、視線移動の前に操作者Ｕの目視対象となっていたアイコン５１への目視状態の判定が維持される。その結果、操作者Ｕが周囲の走行環境の把握のために表示領域５０から確認範囲ＬＡへと視線を外した場合でも、特定のアイコン５１の選択状態は、維持される。以上によれば、操作中であった表示領域５０の表示が保持されるため、操作者Ｕは、確認範囲ＬＡから表示領域５０へと視線を戻した後で、ジェスチャによる車載機器６０の操作を速やかに再開できる。

尚、第一実施形態において、カメラ１０が「撮像部」に相当し、アイコン５１が「対象表示物」に相当する。また、顔向き変化タイミングｔｆが「第一タイミング」に相当し、視線変化タイミングｔｇが「第二タイミング」に相当し、顔向き移動速度ωｆが「第一速度」に相当し、視線移動速度ωｇが「第二速度」に相当する。

（第二実施形態）
図１０及び図１１に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態によるジェスチャ検出装置２００は、車両Ａに搭載された表示装置の一つであるコンビネーションメータ１４０と接続されている。第二実施形態では、第一実施形態のジェスチャ検出装置１００（図１参照）の一部の機能が、コンビネーションメータ１４０によって果たされている。また第二実施形態の判定テーブルは、第一実施形態よりも簡素化されている。以下、第二実施形態によるジェスチャ検出装置２００等の詳細を、順に説明する。

ジェスチャ検出装置２００は、ジェスチャ検出プログラムの実行により、第一実施形態と実質同一の視線検出部３１、顔向き検出部３２、目視表示判定部３３、及びジェスチャ判定部３４を構築する。一方で、表示制御部３５及び機器制御部３６（図１参照）に相当する機能部は、ジェスチャ検出装置２００には構築されない。

コンビネーションメータ１４０は、ＭＩＤ４３及び制御回路を含む車両用の表示装置である。制御回路は、少なくとも一つのプロセッサ、ＲＡＭ、及び記憶媒体等を含むマイクロコンピュータを主体に構成されている。コンビネーションメータ１４０は、プロセッサによる表示制御プログラムの実行により、表示制御部２３５及び機器制御部２３６を構築する。

表示制御部２３５は、第一実施形態の表示制御部３５（図１参照）に相当する機能部である。表示制御部２３５は、ジェスチャ及び視線移動の判定結果をジェスチャ判定部３４から取得する。表示制御部２３５は、取得した判定結果に基づき、ＭＩＤ４３の表示に加えて、ＨＵＤ４１及びＣＩＤ４２の各表示を制御する。

機器制御部２３６は、第一実施形態の機器制御部３６（図１参照）に相当する機能部である。機器制御部２３６は、ジェスチャによる操作の対象とされている車載機器６０と、選択状態にあるアイコン５１（図２参照）に関連する具体的な制御内容とを設定する。機器制御部２３６は、表示制御部２３５にて取得された判定結果に基づき、各車載機器６０を操作する制御を実行する。

第二実施形態の判定テーブルには、第一実施形態と実質同一のジェスチャ時間閾値及び視線時間閾値、即ちＴ１〜Ｔ３が設定されている。一方で、判定テーブルには、ジェスチャ速度閾値及び視線速度閾値、即ち、第一実施形態のＶ１〜Ｖ３（図４参照）は、設定されていない。こうした判定テーブルに基づくことにより、ジェスチャ判定部３４は、Ｓ１０８（図５参照）に相当する処理にて、開始時間差だけに基づき、ジェスチャ及び視線移動の各有無を判定する。

具体的に、ジェスチャ判定部３４は、開始時間差がＴ１未満である場合に、視線移動が有ると判定する。ジェスチャ判定部３４は、開始時間差がＴ３以上である場合に、ジェスチャが有ると判定する。さらにジェスチャ判定部３４は、開始時間差がＴ１以上且つＴ３未満である場合に、再判定処理（図５ Ｓ１０７参照）に移行させる。再判定処理では、開始時間差がＴ１以上且つＴ２未満である場合に、累積ポイントが減算されていく。一方で、開始時間差がＴ２以上且つＴ３未満である場合には、累積ポイントが加算されていく。以上により、ジェスチャ判定部３４は、図１０の判定テーブルを用いた場合でも、累積ポイントを利用してジェスチャ及び視線移動の各有り判定を行うことができる。

ここまで説明した第二実施形態でも、開始時間差を判定基準に用いることで、第一実施形態と同様の効果を奏し、誤判定を低減とジェスチャの円滑な入力の両立が可能となる。加えて、ジェスチャ検出装置２００は、ジェスチャ及び視線移動の検出結果を、装置外部の表示制御部２３５及び機器制御部２３６に提供する形態であってもよい。さらに、第二実施形態のように、判定基準として速度差が用いられなくても、ジェスチャ判定部３４は、従来よりも高精度にジェスチャ及び視線移動を検出できる。

（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記第一実施形態では、開始時間差及び速度差のそれぞれについて段階的に複数の閾値を設定し、複数の閾値群を組み合わせることにより、判定テーブルが規定されていた。そして、ジェスチャ判定部は、ジェスチャ及び視線移動の各有無を判定テーブルに基づき判定していた。しかし、開示時間差及び速度差を用いていれば、ジェスチャ判定部の実施する判定処理の具体的な手法は、適宜変更されてよい。一例として、ジェスチャ判定部は、機械学習によって予め規定された識別器を用いることにより、ジェスチャ及び視線移動の有無を判定可能である。識別器は、開始時間差、又は開始時間差及び速度差の両方を入力として与えられることにより、ジェスチャ及び視線移動の有無の判定結果を出力できる。

上記実施形態のジェスチャ判定部は、ジェスチャ及び視線移動のいずれも無いと判定した場合、再判定を実施していた。しかし、ジェスチャ判定部は、再判定を実施せずに、ジェスチャ検出処理を一旦終了させてもよい。加えて上記実施形態の再判定では、操作者Ｕの挙動の推移が鑑みられることにより、ジェスチャ又は視線移動の有り判定が行われ易かった。しかし、再判定にてジェスチャ及び視線移動の有り判定が行われる条件は、最初の判定と同一であってもよい。即ち、ジェスチャ判定部は、累積ポイントに基づくジェスチャ及び視線移動の判定を実施しなくてもよい。

上記実施形態では、ＨＵＤ、ＣＩＤ、及びＭＩＤという三つの表示器を用いることにより、複数の表示領域を通じた操作者への情報提供が可能にされていた。しかし、表示領域の数及び大きさ等は、適宜変更可能である。加えて、ジェスチャのためのアイコンの形態、表示位置、及び表示数等も、運転席の周囲に規定される表示領域の数及び大きさ等に応じて適宜変更されてよい。また、表示領域の表示を実現する表示器の具体的な構成も、上記実施形態の構成に限定されない。さらに、表示制御部は、再判定中において各表示領域の表示を遷移表示態様にする制御を実施しなくてもよい。

上記実施形態では、車両Ａの周囲を確認するために確認範囲ＬＡに視線移動を行った場合には、特定のアイコンの選択状態が維持されていた。しかし、こうした処理は実施されなくてもよく、表示領域から目視位置が外れたことに基づき、特定のアイコンの選択状態は、一旦解除されてもよい。

上記実施形態では、マイクロコンピュータを主体としたジェスチャ検出装置の電子回路がジェスチャ検出プログラムを実行していた。しかし、ジェスチャ検出プログラム及び当該プログラムに基づくジェスチャ検出方法を実行する具体的な構成は、上記実施形態の構成とは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせであってよい。例えば、車両Ａに搭載されたナビゲーション装置の制御回路が、ジェスチャ検出装置として機能してもよい。さらに、操作者を撮影するカメラの制御ユニットが、ジェスチャ検出装置として機能してもよい。

上記実施形態では、車両Ａに搭載されるジェスチャ検出装置に本開示の特徴部分を適用した例を説明したが、ジェスチャ検出装置は、車載される態様に限定されない。例えば、携帯端末、パーソナルコンピュータ、及び医療用機器といった種々の電子機器の入力インターフェースとして採用されるジェスチャ検出装置に、本開示の特徴部分は適用可能である。

Ａ 車両、Ｕ 操作者、１０ カメラ（撮像部）、３１ 視線検出部、３２ 顔向き検出部、３３ 目視表示判定部、３４ ジェスチャ判定部、３５，２３５ 表示制御部、５０ 表示領域、５１ アイコン（対象表示物）、１００，２００ ジェスチャ検出装置、ＬＡ 確認範囲、ＰＩ 撮像画像、Ｔ１ 閾値（視線時間閾値）、Ｔ３ 閾値（ジェスチャ時間閾値）、Ｖ３ 閾値（ジェスチャ速度閾値）、ｔｆ 顔向き変化タイミング（第一タイミング）、ｔｇ 視線変化タイミング（第二タイミング）、ωｆ 顔向き移動速度（第一速度）、ωｇ 視線移動速度（第二速度）

Claims (11)

1. 表示領域（５０）に表示された対象表示物（５１）を目視しつつ顔向きを変化させる操作者（Ｕ）のジェスチャを検出するジェスチャ検出装置であって、
   前記操作者を撮影する撮像部（１０）の撮像画像（ＰＩ）から、前記操作者の視線方向を検出する視線検出部（３１）と、
   前記撮像画像から前記操作者の顔向きを検出する顔向き検出部（３２）と、
   視線方向と顔向きとの差分の拡大に加えて、顔向きの変化が開始される第一タイミング（ｔｆ）と視線方向の変化が開始される第二タイミング（ｔｇ）とを比較し、前記第一タイミングに対する前記第二タイミングの遅れに基づくことで、前記対象表示物に対する前記ジェスチャの有無を判定するジェスチャ判定部（３４）と、
   を備えるジェスチャ検出装置。
2. 前記顔向き検出部は、前記操作者が顔向きを変化させる角速度を第一速度（ωｆ）として検出し、
   前記視線検出部は、前記操作者が視線方向を変化させる角速度を第二速度（ωｇ）として検出し、
   前記ジェスチャ判定部は、視線方向及び顔向きの差分の拡大と前記第一タイミングに対する前記第二タイミングの遅れとに加えて、前記第一速度と前記第二速度との差分に基づくことで、前記ジェスチャの有無を判定する請求項１に記載のジェスチャ検出装置。
3. 前記ジェスチャ判定部は、前記第一速度が前記第二速度に対して予め規定されたジェスチャ速度閾値（Ｖ３）を超えて速い場合に、前記ジェスチャが有ると判定する請求項２に記載のジェスチャ検出装置。
4. 前記ジェスチャ判定部は、
   視線方向と顔向きとの差分が拡大したとき、前記第二速度に対する前記第一速度の速さがジェスチャ速度閾値（Ｖ３）よりも遅い視線速度閾値（Ｖ１）未満であるか、又は前記第一速度よりも前記第二速度が速い場合に、前記操作者の視線移動があったと判定する請求項３に記載のジェスチャ検出装置。
5. 前記ジェスチャ判定部は、前記第一タイミングに対する前記第二タイミングの遅れが予め規定されたジェスチャ時間閾値（Ｔ３）を超えた場合に、前記ジェスチャが有ると判定する請求項１〜４のいずれか一項に記載のジェスチャ検出装置。
6. 前記ジェスチャ判定部は、
   視線方向と顔向きとの差分が拡大したとき、前記第一タイミングに対する前記第二タイミングの遅れが前記ジェスチャ時間閾値よりも短い視線時間閾値（Ｔ１）未満であるか、又は前記第一タイミングよりも前記第二タイミングが早い場合に、前記操作者の視線移動があったと判定する請求項５に記載のジェスチャ検出装置。
7. 前記ジェスチャ判定部は、前記ジェスチャ及び前記視線移動のいずれも無いと判定した場合に、視線方向及び顔向きの新たな各情報に基づいて、前記ジェスチャ及び前記視線移動の有無を再判定する請求項４又は６に記載のジェスチャ検出装置。
8. 前記ジェスチャ判定部は、過去の判定にて前記操作者の動作が前記視線移動よりも前記ジェスチャの動作に類似していたという判定結果を導出していた場合、前記再判定では過去の判定結果を反映し、前記ジェスチャが有ると判定し易くなる請求項７に記載のジェスチャ検出装置。
9. 前記ジェスチャ判定部は、過去の判定にて前記操作者の動作が前記ジェスチャよりも前記視線移動の動作に類似していたという判定結果を導出していた場合、前記再判定では過去の判定結果を反映し、前記視線移動が有ると判定し易くなる請求項７又は８に記載のジェスチャ検出装置。
10. 前記ジェスチャ判定部によって前記ジェスチャが有ると判定された場合に前記表示領域の表示を第一表示態様に制御し、前記視線移動が有ると判定された場合に前記表示領域の表示を第二表示態様に制御する表示制御部（３５）、をさらに備え、
    前記表示制御部は、前記ジェスチャ判定部によって前記再判定が行われている期間にて、前記第一表示態様及び前記第二表示態様の両方への遷移に対応した遷移表示態様に前記表示領域の表示を制御する請求項７〜９のいずれか一項に記載のジェスチャ検出装置。
11. 車両（Ａ）に搭載されるジェスチャ検出装置であって、
    前記視線検出部にて検出された視線方向に基づき、前記操作者が目視している前記対象表示物を判定する目視表示判定部（３３）、をさらに備え、
    前記目視表示判定部は、
    前記ジェスチャ判定部にて前記視線移動が有ると判定された場合に、前記視線移動の移動先が前記車両の外部の状況を確認する確認範囲（ＬＡ）であるか否かをさらに判定し、
    前記視線移動の移動先が前記確認範囲であると判定した場合に、この視線移動の前に前記操作者の目視対象となっていた前記対象表示物に対する目視状態の判定を維持する請求項４，６〜１０のいずれか一項に記載のジェスチャ検出装置。

Images