JP6516241B2 - ジェスチャ入力装置 - Google Patents

Description

本発明は、ユーザのジェスチャ入力を受け付ける技術に関するものである。

ユーザのジェスチャ入力を受け付ける技術としては、自動車のステアリングホイールの開口部においてユーザが手で行ったジェスチャを認識し、認識したジェスチャに応じた処理を行うシステムが知られている（たとえば、特許文献１、２）。

また、自動車のメータクラスタ内に配置したディスプレイに速度などを表示すると共に、ディスプレイの手前の空間に、２面コーナーリフレクタアレイを用いた実鏡映像結像光学系により結像させた経路案内用の画像を表示する技術も知られている（たとえば、特許文献３）。

特許3979002公報 特開2013-86750号公報 特開2011-242729号公報

上述した自動車のステアリングホイールの開口部におけるジェスチャを認識する技術によって、メータクラスタ内に配置したディスプレイの表示画面に対するジェスチャ操作を受け付けるユーザインタフェースを構築する場合、ユーザが、ジェスチャ操作を行うべき位置を把握し難いという問題が生じる。すなわち、たとえば、メータクラスタ内に配置したディスプレイに複数のアイコンを配置した表示画面を表示し、個々のアイコンに対する操作をユーザのジェスチャに応じて受け付けるユーザインタフェースにおいては、所望のアイコンを操作するために、ステアリングホイールの開口部内の、どの位置に対してジェスチャを行うべきか、ユーザが直感的に把握することは難しい。

そこで、本発明は、ディスプレイの表示画面に対する操作を、ディスプレイの前方の面上でのジェスチャによって受け付けるジェスチャ入力装置において、ジェスチャを行うべき位置をユーザが容易に把握できるようにすることを課題とする。

前記課題達成のために、本発明は、ユーザのジェスチャによる入力を受け付けるジェスチャ入力装置に、ディスプレイと、ディスプレイの表示画面の前方に位置する所定の面である操作受付面の周辺において行われるユーザのジェスチャを認識し、認識したジェスチャが行われた位置に応じて前記表示画面に対する操作を受け付けるジェスチャ入力受付手段と、前記操作受付面の上に、前記ディスプレイの表示画面を見るユーザに対して、前記ディスプレイの表示画面の境界の少なくとも一部を表す像を結像する映像結像手段とを備えたものである。

ここで、このようなジェスチャ入力装置は、前記映像結像手段において、前記ディスプレイの表示画面を見るユーザに対して、前記ディスプレイの表示画面の外枠を表す像を、前記操作受付面の上に結像するように構成してもよい。

また、以上のジェスチャ入力装置は、当該ジェスチャ入力装置に、さらに、前記ディスプレイの表示画面を見るユーザの視点の位置を検出する視点位置検出手段を備え、前記映像結像手段において、前記視点位置検出手段が検出した視点の位置に応じて、前記像の前記操作受付面上の結像位置を調整するように構成してもよい。

また、以上のジェスチャ入力装置に、ユーザの手が前記操作受付面の周辺に位置するか否かを検出するユーザ検出手段を備え、前記映像結像手段において、前記ユーザ検出手段が、ユーザの手が前記操作受付面の周辺に位置していることを検出している期間と、検出していない期間とで、前記像の輝度もしくは色を異ならせるように構成してもよい。

または、以上のジェスチャ入力装置に、ユーザの手が前記操作受付面の周辺に位置するか否かを検出するユーザ検出手段を備え、前記映像結像手段において、前記ユーザ検出手段が、ユーザの手が前記操作受付面の周辺に位置していることを検出している期間にのみ、前記像を結像するように構成してもよい。

また、以上のジェスチャ入力装置において、前記映像結像手段は、所定形状の光源と、前記光源の実像を前記操作受付面の上に結像する２面コーナーリフレクタアレイとを含んで構成されるものであってもよい。

また、以上のジェスチャ入力装置は、前記ディスプレイが、自動車のメータクラスタ内に配置され、前記操作受付面を、前記自動車の中立位置にあるときのステアリングホイールの上部のリムとスポークとの間のステアリングホイールの面と平行な面とした車載のジェスチャ入力装置であってもよい。

また、この場合、ジェスチャ入力装置に、前記ステアリングホイールが中立位置にあるか否かを検出するステアリングホイール監視手段を備え、前記映像結像手段において、前記ステアリングホイール監視手段が、前記ステアリングホイールが中立位置にないことを検出している期間には、前記像の結像を行わないようにしてもよい。

以上のように、本発明に係るジェスチャ入力システムによれば、ユーザのジェスチャの認識を行う操作受付面、すなわち、ジェスチャ入力のためにユーザが、その周辺でジェスチャを行う面に、前記ディスプレイの表示画面を見るユーザに対して、前記ディスプレイの表示画面の境界の少なくとも一部を表す像を結像する。

したがって、ユーザは、操作受付面上の像を目安にして、表示画面に対する操作のためにジェスチャ操作を行うべき、操作受付面上の位置を容易に把握できるようになる。

以上のように、本発明によれば、ディスプレイの表示画面に対する操作を、ディスプレイの前方の面上でのジェスチャ操作によって受け付けるジェスチャ入力装置において、ユーザがジェスチャ操作を行うべき位置を容易に把握できるようになる。

本発明の実施形態に係るジェスチャ入力システムの構成を示すブロック図である。 本発明の実施形態に係るジェスチャ入力システムの各部の配置を示す図である。 本発明の実施形態に係るフレーム像とディスプレイとステアリングホイールの位置関係を示す図である。 本発明の実施形態に係るフレーム表示装置の構成を示す図である。 本発明の実施形態に係るフレーム表示装置の表示例を示す図である。 本発明の実施形態に係るフレーム表示装置の他の表示例を示す図である。

以下、本発明の実施形態について説明する。
図１に本実施形態に係るジェスチャ入力システムの構成を示す。
ジェスチャ入力システムは、自動車に搭載されるシステムであり、図示するように、運転席のユーザのジェスチャを撮影するジェスチャ撮影カメラ１、ジェスチャ撮影カメラ１で撮影した映像より運転席のユーザのジェスチャを認識するジェスチャ認識部２、運転席のユーザの頭部周辺を撮影する頭部撮影カメラ３、頭部撮影カメラ３で撮影した映像より運転席のユーザの視点の位置を検出する視点位置検出部４、フレーム像表示装置５、フレーム像表示装置５を駆動する駆動部６、ディスプレイ７、ディスプレイ７の表示を制御するディスプレイコントローラ８、制御装置９、１つまたは複数の機能部１０を備えている。

ここで、機能部１０は、たとえば、自動車の各種状態を計測する計測システムや、バックカメラで自動車後方を撮影するバックカメラシステムや、ＡＶシステムや、ナビゲーションシステムなどである。

そして、制御装置９は、ディスプレイコントローラ８を介してディスプレイ７に表示画面を表示し、ジェスチャ認識部２が認識したジェスチャに応じてディスプレイ７の表示画面に対する操作を受け付け、受け付けた操作に応じて、各機能部１０の動作を制御する。

なお、このような車載システムは、ＣＰＵやメモリを備えたコンピュータを用いて構成されるものであってよく、この場合、ジェスチャ認識部２や視点位置検出部４や制御装置９は、コンピュータが所定のコンピュータプログラムを実行することにより実現されるものであってよい。

次に、図２ａに示すように、ジェスチャ撮影カメラ１は、ステアリングホイールの後方上部よりステアリングホイールと、その周辺を撮影する。そして、中立位置にあるステアリングホイールの上部のリムとスポークとの間のステアリングホイールの面と平行な面を操作受付面として、ジェスチャ認識部２は、ジェスチャ撮影カメラ１で撮影した映像より、運転席のユーザの、操作受付面周辺におけるジェスチャを認識する。そして、ジェスチャ認識部２は、ジェスチャを認識したならば、ジェスチャが行われた、操作受付面上の位置の座標や、行われたジェスチャの種類などをジェスチャ情報として制御装置９に出力する。なお、中立位置とは、回転角度が自動車が直進する回転角度にあるときのステアリングホイールの位置であり、正立しているときのステアリングホイールの位置である。

なお、ジェスチャ認識部２は、ユーザのジェスチャが、操作受付面周辺において行われたものであるかどうかをジェスチャ撮影カメラ１が撮影したユーザの手の大きさなどより識別する。

すなわち、たとえば、ジェスチャ認識部２は、ジェスチャ撮影カメラ１が撮影したユーザの手がステアリングホイールのリムの上にあるときに、当該手のサイズを基準サイズとして記憶しておく。そして、ジェスチャ撮影カメラ１が撮影した映像中において、ユーザの手が中立位置のステアリングホイールの上部のリムとスポークとの間に位置し、かつ、撮影された手のサイズが、基準サイズより算定される操作受付面に手があるときの手のサイズと近似していれば、ユーザの手が、操作受付面周辺に位置すると判定する。そして、操作受付面周辺に手が位置する期間中にのみジェスチャの認識を行うことにより、操作受付面周辺において行われたジェスチャを認識する。

また、頭部撮影カメラ３は運転積の前方上部より運転席のユーザの頭部を含む上半身を撮影し、視点位置検出部４は、頭部撮影カメラ３が撮影した画像より、運転席の頭部の位置を画像認識し、画像認識した頭部の位置より、運転席のユーザの目の位置を推定し、推定した目の位置を視点位置として検出する。ただし、視点位置検出部４においては、頭部撮影カメラ３が撮影した画像より、ユーザの目の位置を画像認識により算定し、算定した目の位置を視点位置として検出するようにしてもよい。

また、図２ｂに示すように、ディスプレイ７はメータクラスタ内に配置される。そして、フレーム像表示装置５は、図２ｂ、図３ａに示すように中立位置にあるステアリングホイールの上部のリムとスポークとの間の空間に、フレーム像２００を、図２ｂに示すように、フレーム像２００がディスプレイ７の表示面を囲んだフレームとして運転席のユーザに視認されるように結像する。

以下、フレーム像表示装置５について説明する。
図４ａ、ｂ、ｃに、フレーム像表示装置５の構成を示す。
ここで、図４ａ１はフレーム像表示装置５の上面を、図４ｂはフレーム像表示装置５の前面を、図４ｃはフレーム像表示装置５の後面を、図４ｄ１はフレーム像表示装置５の側面を表す図である。

図示するように、フレーム像表示装置５は、上枠用実鏡映像結像光学系５１、下枠用実鏡映像結像光学系５２、右枠用実鏡映像結像光学系５３、左枠用実鏡映像結像光学系５４の４つの実鏡映像結像光学系を備えている。

そして、各実鏡映像結像光学系は、それぞれ、ディスプレイ７の後方に配置されたライン状光源４０１と、ディスプレイ７の後方に配置された凹面鏡４０２と、ディスプレイ７の辺の外側に配置された２面コーナーリフレクタアレイ４０３を備えている。
ここで、上枠用実鏡映像結像光学系５１において、２面コーナーリフレクタアレイ４０３はディスプレイ７の上方に設けられており、凹面鏡４０２は２面コーナーリフレクタアレイ４０３の下方に設けられており、ライン状光源４０１は凹面鏡４０２の後方に、凹面鏡４０２に向かって光を出射するように配置されている。

また、下枠用実鏡映像結像光学系５２において、２面コーナーリフレクタアレイ４０３はディスプレイ７の下方に設けられており、凹面鏡４０２は２面コーナーリフレクタアレイ４０３の上方に設けられており、ライン状光源４０１は凹面鏡４０２の後方に、凹面鏡４０２に向かって光を出射するように配置されている。

また、右枠用実鏡映像結像光学系５３において、２面コーナーリフレクタアレイ４０３はディスプレイ７の右方に設けられており、凹面鏡４０２は２面コーナーリフレクタアレイ４０３の左方に設けられており、ライン状光源４０１は凹面鏡４０２の後方に、凹面鏡４０２に向かって光を出射するように配置されている。

また、左枠用実鏡映像結像光学系５４において、２面コーナーリフレクタアレイ４０３はディスプレイ７の左方に設けられており、凹面鏡４０２は２面コーナーリフレクタアレイ４０３の右方に設けられており、ライン状光源４０１は凹面鏡４０２の後方に、凹面鏡４０２に向かって光を出射するように配置されている。

そして、各実鏡映像結像光学系において、ライン状光源４０１から出射された光は、凹面鏡４０２で反射して、２面コーナーリフレクタアレイ４０３に入射する。そして、２面コーナーリフレクタアレイ４０３はライン状光源４０１の実像を、ディスプレイ７の前方の、２面コーナーリフレクタアレイ４０３に対するライン状光源４０１の光学的位置と、２面コーナーリフレクタアレイ４０３の面について面対称な位置に結像する。

ここで、各実鏡映像結像光学系の各部の配置は、各実鏡映像結像光学系のライン状光源４０１の実像の結像位置が操作受付面上の位置となり、かつ、４つの実鏡映像結像光学系が結像した４つのライン状光源４０１の実像が、操作受付面上で連結してフレーム像２００を形成するように設定される。すなわち、上枠用実鏡映像結像光学系５１が結像するライン状光源４０１の実像がフレーム像２００の上辺を成す枠部分を形成し、下枠用実鏡映像結像光学系５２が結像するライン状光源４０１の実像がフレーム像２００の下辺を成す枠部分を形成し、右枠用実鏡映像結像光学系５３が結像するライン状光源４０１の実像がフレーム像２００の右辺を成す枠部分を形成し、左枠用実鏡映像結像光学系５４が結像するライン状光源４０１の実像がフレーム像２００の左辺を成す枠部分を形成するように、実鏡映像結像光学系の各部の配置は設定される。

次に、駆動部６は、図４ａ２、図４ｄ２に示すように、各実鏡映像結像光学系において、ライン状光源４０１と凹面鏡４０２のセットを２面コーナーリフレクタアレイ４０３に対して遠近方向に移動する機構を備えており、ライン状光源４０１と凹面鏡４０２のセットと、２面コーナーリフレクタアレイ４０３の距離を変化させることにより、ライン状光源４０１の像の結像位置までの距離を変化させることができる。

また、駆動部６は、図４ａ３、図４ｄ３に示すように、フレーム像表示装置５の全体を、ディスプレイ７の表示面の左右方向に一致する方向の軸のまわりと、表示面の上下方向に一致する方向の軸のまわりの軸回りに傾ける機構を備えており、フレーム像表示装置５の全体を傾けることによりフレーム像２００を結像する方向を変化させることができる。

そこで、制御装置９は、視点位置検出部４が検出した視点位置に応じて、駆動部６を介して、各実鏡映像結像光学系におけるライン状光源４０１と凹面鏡４０２のセットの位置や、フレーム像表示装置５の傾きなどを制御して、図５ａや図５ｂに示すようにフレーム像２００の結像位置を調整し、運転席のユーザの頭部、視点の位置に関わらずに、ディスプレイ７の表示面を囲むフレームとしてフレーム像２００が運転席のユーザに視認されるようにする。なお、各、ライン状光源４０１を、発光させるライン状光源４０１の部分を任意に制御できるように構成し、四角形のフレーム像２００を形成する上で必要な場合には、駆動部６において、各実鏡映像結像光学系のライン状光源４０１の発光させる部分を、四角形のフレーム像２００が形成されるように調整するようにしてもよい。

また、制御装置９は、図３に示すように、視点位置検出部４が検出した視点位置に応じて、ジェスチャ認識部２が出力したジェスチャ情報が表す、ジェスチャ操作が行われた、操作受付面上の座標（ｘ、ｙ）に対応するディスプレイ７の表示画面上の座標（Ｘ、Ｙ）を算出し、算出した座標に対する、ジェスチャ情報が表すジェスチャ種別に応じた操作を受け付ける。

ここで、ジェスチャ操作が行われた位置に応じた座標（ｘ、ｙ）に対応するディスプレイ７の表示画面上の座標（Ｘ、Ｙ）とは、運転席のユーザから見て、操作受付面上の座標（ｘ、ｙ）に重なるディスプレイ７の表示画面上の位置である。また、表示画面上の座標（Ｘ、Ｙ）に対する操作とは、たとえば、ユーザが行ったジェスチャのジェスチャ種別がポインティングジェスチャ（指さし動作）であれば、表示画面の、座標（Ｘ、Ｙ）を含む座標範囲に表示しているアイコンの選択操作などである。

以上、本発明の実施形態について説明した。
なお、以上の実施形態では、フレーム像２００としてディスプレイ７の表示面を囲む矩形形状の像を用いたが、フレーム像２００としては、図６ａに示すようにディスプレイ７の表示面の左右の端部のみを囲む像や、図６ｂに示すようにディスプレイ７の表示面のコーナ部分のみを囲む像など、ディスプレイ７の表示面の境界をユーザに対して表す像であれば、他の形状の像を用いるようにしてもよい。

また、以上の実施形態において、ジェスチャ認識部２が、ユーザの手が操作受付面周辺に位置すると判定している期間と他の期間とで、フレーム像２００の表示形態を変化させるようにしてもよい。

すなわち、たとえば、制御装置９において、駆動部６を介して、フレーム像表示装置５の各ライン状光源４０１を制御し、ジェスチャ認識部２が、ユーザの手が操作受付面周辺に位置すると判定している期間中は、図５ａに示すように高輝度でフレーム像２００を表示し、他の期間中は図５ｂに示すように輝度を下げてフレーム像２００を表示するようにしてもよい。

または、制御装置９において、ユーザの手が操作受付面周辺に位置すると判定している期間中と、その他の期間中で、異なる色でフレーム像２００を表示するようにしてもよい。

または、制御装置９において、ジェスチャ認識部２が、ユーザの手が操作受付面周辺に位置すると判定している期間中のみ、フレーム像２００を表示するようにしてもよい。

また、以上の実施形態においては、機能部１０としてステアリングホイールの回転角を検出する計測システムを設け、制御装置９において、ステアリングホイールが中立位置にない期間には無条件にフレーム像２００を表示しないようにしてもよい。

また、以上の実施形態は、フレーム像２００の結像位置を固定として実施するようにしてもよい。この場合、上述した駆動部６の、各実鏡映像結像光学系のライン状光源４０１と凹面鏡４０２のセットを移動する機構や、フレーム像表示装置５の全体を傾ける機構は設ける必要はない。

また、以上の実施形態では、メータクラスタ内のディスプレイ７の表示画面に対するジェスチャ操作を受け付けるジェスチャ入力システムへの適用について説明したが、以上の実施形態は、ディスプレイ７の前方に設定した面上でディスプレイ７の表示画面に対するジェスチャ操作を受け付ける任意のジェスチャ入力システムに同様に適用可能である。

以上のように本実施形態によれば、ユーザのジェスチャの認識を行う面、すなわち、ジェスチャ入力のためにユーザが、その周辺でジェスチャを行う面に、表示画面を見るユーザに対して、表示画面の境界を表す像を結像する。したがって、ユーザは、当該像を目安にして、表示画面に対する操作のためにジェスチャ操作を行うべき、当該面上の位置を容易に把握できるようになる。

１…ジェスチャ撮影カメラ、２…ジェスチャ認識部、３…頭部撮影カメラ、４…視点位置検出部、５…フレーム像表示装置、６…駆動部、７…ディスプレイ、８…ディスプレイコントローラ、９…制御装置、１０…機能部、５１…上枠用実鏡映像結像光学系、５２…下枠用実鏡映像結像光学系、５３…右枠用実鏡映像結像光学系、５４…左枠用実鏡映像結像光学系、２００…フレーム像、４０１…ライン状光源、４０２…凹面鏡、４０３…２面コーナーリフレクタアレイ。

Claims (8)

1. ユーザのジェスチャによる入力を受け付けるジェスチャ入力装置であって、
   ディスプレイと、
   ディスプレイの表示画面の前方に位置する所定の面である操作受付面の周辺において行われるユーザのジェスチャを認識し、認識したジェスチャが行われた位置に応じて前記表示画面に対する操作を受け付けるジェスチャ入力受付手段と、
   前記操作受付面の上に、前記ディスプレイの表示画面を見るユーザに対して、前記ディスプレイの表示画面の境界の少なくとも一部を表す像を結像する映像結像手段とを有することを特徴とするジェスチャ入力装置。
2. 請求項１記載のジェスチャ入力装置であって、
   前記映像結像手段は、前記ディスプレイの表示画面を見るユーザに対して、前記ディスプレイの表示画面の外枠を表す像を、前記操作受付面の上に結像することを特徴とするジェスチャ入力装置。
3. 請求項１または２記載のジェスチャ入力装置であって、
   前記ディスプレイの表示画面を見るユーザの視点の位置を検出する視点位置検出手段を備え、
   前記映像結像手段は、前記視点位置検出手段が検出した視点の位置に応じて、前記像の前記操作受付面上の結像位置を調整することを特徴とするジェスチャ入力装置。
4. 請求項１、２または３記載のジェスチャ入力装置であって、
   ユーザの手が前記操作受付面の周辺に位置するか否かを検出するユーザ検出手段を備え、
   前記映像結像手段は、前記ユーザ検出手段が、ユーザの手が前記操作受付面の周辺に位置していることを検出している期間と、検出していない期間とで、前記像の輝度もしくは色を異ならせることを特徴とするジェスチャ入力装置。
5. 請求項１、２または３記載のジェスチャ入力装置であって、
   ユーザの手が前記操作受付面の周辺に位置するか否かを検出するユーザ検出手段を備え、
   前記映像結像手段は、前記ユーザ検出手段が、ユーザの手が前記操作受付面の周辺に位置していることを検出している期間にのみ、前記像を結像することを特徴とするジェスチャ入力装置。
6. 請求項１、２、３、４または５記載のジェスチャ入力装置であって、
   前記映像結像手段は、所定形状の光源と、前記光源の実像を前記操作受付面の上に結像する２面コーナーリフレクタアレイとを含んで構成されることを特徴とするジェスチャ入力装置。
7. 請求項１、２、３、４または５記載のジェスチャ入力装置であって、
   前記ディスプレイは自動車のメータクラスタ内に配置されており、
   前記操作受付面は、前記自動車の中立位置にあるときのステアリングホイールの上部のリムとスポークとの間のステアリングホイールの面と平行な面であることを特徴とするジェスチャ入力装置。
8. 請求項７記載のジェスチャ入力装置であって、
   前記ステアリングホイールが中立位置にあるか否かを検出するステアリングホイール監視手段を備え、
   前記映像結像手段は、前記ステアリングホイール監視手段が、前記ステアリングホイールが中立位置にないことを検出している期間には、前記像の結像を行わないことを特徴とするジェスチャ入力装置。