JP6167932B2 - 入力装置および入力取得方法 - Google Patents

入力装置および入力取得方法 Download PDF

Info

Publication number
JP6167932B2
JP6167932B2 JP2014030602A JP2014030602A JP6167932B2 JP 6167932 B2 JP6167932 B2 JP 6167932B2 JP 2014030602 A JP2014030602 A JP 2014030602A JP 2014030602 A JP2014030602 A JP 2014030602A JP 6167932 B2 JP6167932 B2 JP 6167932B2
Authority
JP
Japan
Prior art keywords
reference position
contact
gripping
pattern
grip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014030602A
Other languages
English (en)
Other versions
JP2015156096A (ja
Inventor
沙耶香 吉津
沙耶香 吉津
千尋 三宮
千尋 三宮
駿介 小山
駿介 小山
裕太 杉浦
裕太 杉浦
ドン アニューシャ インドラジット ウイタナゲ
ドン アニューシャ インドラジット ウイタナゲ
正泰 尾形
正泰 尾形
稲見 昌彦
昌彦 稲見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2014030602A priority Critical patent/JP6167932B2/ja
Publication of JP2015156096A publication Critical patent/JP2015156096A/ja
Application granted granted Critical
Publication of JP6167932B2 publication Critical patent/JP6167932B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、手で入力操作を行う入力装置に関する。
車両の運転者が車載機器に対して入力操作を行うための装置として、様々な種類の装置が考案されている。
入力装置として現在普及しているタッチパネルディスプレイは、主に運転席と助手席の間にあるセンターコンソールに配置されているため、操作を行うためには手を移動させる必要がある。すなわち、操作を行うために一定の負荷があり、運転中に操作しにくいという課題があった。
入力操作にかかる運転者の負荷を減らすことができる入力装置として、例えば特許文献1に記載の装置がある。特許文献1に記載の装置は、ステアリングホイールの全周にタッチセンサが内蔵されており、運転者がステアリングホイール上で手を移動させる操作を行うことで、車載機器に対する入力を行うことができる。
また、特許文献2に記載の入力装置は、ステアリングホイールの把持部近傍にタッチパッドが配置されており、タッチ操作によって行われたジェスチャを認識することができる。
特開2009−248629号公報 特開2009−298285号公報
特許文献1に記載の装置では、ステアリングホイールの円周に沿って設けられたセンサによって入力を行うため、一次元の情報しか入力することができないという制限がある。
一方、特許文献2に記載の装置では、タッチ操作に基づいてジェスチャを認識することができるため、車載機器に対して様々な入力を行うことができるが、ステアリングホイールから手を離さなければ操作を行うことができないため、運転者にかかる負荷を減らすという課題が十分に解決できない。
そこで、これらの発明を組み合わせ、ステアリングホイールの運転者が触れる面にタッチセンサを巻きつけるように配置し、接触による入力を取得するという形態が考えられる。このような構成にすることで、運転者がステアリングホイールを握ったままで、タッチ操作によるジェスチャ入力を行える装置を実現することができる。
しかし、当該構成にも問題がある。
ジェスチャを認識させるためには、手の形状ごとにあらかじめセンサが出力するデータのパターンをテンプレートとして記憶させておき、取得したパターンと比較する必要があるが、運転者がステアリングホイールを把持する位置には個人差があるため、センサから取得したデータをそのまま比較に用いることはできない。すなわち、手の位置を合わせた状態でマッチングを行う必要があるが、テンプレートの位置をずらしながら探索を行うと、計算量が増大し、リアルタイムでの処理が難しくなってしまう。
この問題を解決するために、重心などを用いてパターン同士の位置を合わせるといった
方法も考えられるが、重心は握り方の個人差によって変動するため、正確な位置合わせを行うことができず、結果としてマッチングの精度が低下してしまう。すなわち、操作者によって異なるマッチング結果が出てしまうおそれがある。
本発明は上記の課題を考慮してなされたものであり、把持部を把持した状態で入力を行う入力装置において、少ない処理量で精度よく把持状態を検出する技術を提供することを目的とする。
上記課題を解決するために、本発明に係る入力装置は、
操作者が手で把持するための把持部と、前記把持部の表面に配置された接触センサと、前記接触センサから情報を取得し、操作者の手の接触位置の分布を表す接触分布を取得するセンサ情報取得手段と、前記接触分布から、手の特定の部位に対応する基準位置を検出する基準位置検出手段と、前記接触分布および基準位置に基づいて、操作者が前記把持部を把持する際のパターンである把持状態を特定する把持状態特定手段と、を有することを特徴とする。
把持部とは、操作者の手によって把持される部分であり、典型的には車両のステアリングホイールである。
把持部の表面には、接触センサが配置されている。接触センサは、操作者の指の接触位置を検出できるセンサであり、典型的にはタッチパッドに用いられているような平板状のセンサであるが、複数個のセンサが配列されたものであってもよい。
接触センサは、把持部を把持した操作者の指の接触位置を検出できれば、どこに配置されていてもよい。例えば把持部がステアリングホイールである場合、接触センサがホイール全体を覆っていてもよいし、円周上の一部分のみに配置されていてもよい。また、運転者に向き合う面のみに配置されていてもよい。また、接触センサは、必ずしも表面に露出していなくてもよい。
また、センサ情報取得手段は、接触センサから情報を取得し、操作者の手の接触位置の分布を表すデータである接触分布を生成する手段である。例えば、二次元平面上に接触位置の分布をプロットしたデータを取得することができる。
基準位置検出手段は、取得した接触分布から、手の特定の部位に対応する基準位置を検出する手段である。接触分布は、接触の有無を表す情報の集合であるが、手が置かれている位置そのものを表す情報ではない。そこで本発明では、接触分布を解析することで、特定の部位がどこにあるかを検出し、基準位置とする。基準位置は、例えば、特定の指の付け根や、指の辺縁部など、手の特定の部位に対応する箇所であり、操作を行う指との位置関係が、操作者によって大きく変わらない箇所であることが好ましい。
そして、把持状態特定手段が、マッチングの結果に基づいて、把持状態(操作者が把持部をどのように握っているかをパターン分けしたもの)を特定する。
前述したように、把持の仕方には個人差があるため、センサ情報のみを用いてマッチングを行うと計算量が膨大になってしまうが、基準位置を用いてマッチングを行うことで、低いコストでマッチングを行うことができる。
また、前記基準位置は、親指と人差し指の付け根に対応する点であることを特徴としてもよい。
基準位置によって表される手の部位は、操作を行う指に近い位置にあり、かつ、検出が容易な箇所であることが好ましい。このような箇所として、例えば、親指と人差し指の付け根が好適である。
また、前記把持状態特定手段は、特定の把持状態に対応する接触分布である把持パターンを複数記憶しており、取得した接触分布と記憶された把持パターンを比較することで把持状態を特定するようにしてもよい。また、前記把持状態特定手段が記憶する把持パターンは、当該把持パターンに対応する基準位置の情報を含んでおり、前記把持状態特定手段は、基準位置を用いて位置合わせを行ったうえで、取得した接触分布と記憶された把持パターンとの比較を行うようにしてもよい。
把持状態は、取得した接触分布と記憶されたパターンとを比較(マッチング)することによって特定することができる。また、比較を行う際は、最初に基準位置を用いて位置合わせを行うことが好ましい。基準位置を用いて位置合わせを行うことで、手の大きさが操作者ごとに異なるような場合であっても、パターンとの重なり量を大きくすることができ、精度よくマッチングを行うことができる。また、位置を変えながら探索を行う必要がなくなるため、短時間で比較結果を得ることができる。
また、前記基準位置検出手段は、取得した接触分布から基準位置を検出できない場合に、過去に検出した基準位置を用いて現在の基準位置を推定することを特徴としてもよい。また、前記基準位置検出手段は、取得した接触分布から基準位置を検出した場合に、前記基準位置とは異なる、手の特定の部位に対応する第二の基準位置を検出し、基準位置を検出できない場合であって、第二の基準位置を検出済みである場合に、前記第二の基準位置を用いて現在の基準位置を推定することを特徴としてもよい。
入力操作の内容によっては、操作中に手が大きく動くことで、基準位置の検出ができなくなる場合がある。
このような場合、過去に検出した基準位置を用いて基準位置を推定することができる。例えば、最後に基準位置が検出できた座標に現在の基準位置があるものと推定して処理を行ってもよい。入力操作中には手の位置は大きく変動しないと考えられるためである。
また、基準位置を検出した場合に、第二の基準位置を検出しておき、基準位置を見失った場合に、第二の基準位置を用いて基準位置の座標を推定するようにしてもよい。例えば、親指と人差し指の付け根が基準位置である場合、親指の付け根部分の手のひら(母指球)の位置を第二の基準位置として記憶するようにしてもよい。
また、本発明に係る入力装置は、前記把持状態の時間的変化に基づいて、入力されたジェスチャを特定するジェスチャ特定手段をさらに有することを特徴としてもよい。
ジェスチャ特定手段は、特定した把持状態の時間的変化を検出することでジェスチャを特定する。このように構成することで、接触分布の変化のみを用いてジェスチャを特定する場合と比較して、精度よくジェスチャを特定することができる。
また、本発明に係る入力装置は、外部機器に対して送信する信号である外部信号を記憶し、前記ジェスチャ特定手段が特定したジェスチャに対応する外部信号を前記外部機器に送信する信号送信手段をさらに有することを特徴としてもよい。
取得した入力操作は、外部機器に対する信号に置き換えて当該機器に送信するようにしてもよい。このようにすることで、取得した入力操作を任意の機器に送信することができるようになる。
また、前記把持部は、車両用ステアリングホイールであることを特徴としてもよい。
本発明は、把持部から手を離すことなく入力操作を行えるため、特に車両の操舵を行う装置に適用すると好適である。
なお、本発明は、上記手段の少なくとも一部を含む入力装置として特定することができる。また、本発明は、上記処理の少なくとも一部を含む入力取得方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
本発明によれば、把持部を把持した状態で入力を行う入力装置において、少ない処理量で精度よく把持状態を検出することができる。
第一の実施形態に係るステアリングホイールの外観図である。 第一の実施形態に係る車両用入力装置のシステム構成図である。 センサ情報取得部が生成するセンサ情報の例である。 第一の実施形態における把持パターンの例である。 基準点の位置を検出する方法を説明する図である。 第一の実施形態に係るジェスチャ判定データの例である。 第一の実施形態に係る制御装置の処理フローチャート図である。 把持パターンのキューイングを説明する図である。 車載端末が出力する画面例である。 第二の実施形態の課題を説明する図である。 第二の実施形態に係る制御装置の処理フローチャート図である。 第二の実施形態における基準点の推定方法を説明する図である。
(第一の実施形態)
<システム構成>
第一の実施形態に係る車両用入力装置は、運転者が行ったジェスチャ操作を取得し、対応する信号を外部の車載端末に出力する装置である。第一の実施形態に係る車両用入力装置は、ステアリングホイール10および制御装置20から構成される。以下、図1〜図3を参照しながら、システム構成について説明する。
図1は、ステアリングホイール10の物理構成を説明する図である。
符号11は、運転者が通常の運転操作において両手で把持する部分(本発明における把持部)であり、円形のホイールである。
符号12Aおよび12Bは、把持部の表面に配置された接触センサである。接触センサは、把持部に巻きつけられる形でステアリングホイールを覆っており、右手が触れる部分(12A)と、左手が触れる部分(12B)の二つに分かれて配置されている。
接触センサ12Aおよび12Bは、把持部上で運転者の指が接触している位置を検出することができれば、どのようなセンサであってもよい。例えば、静電容量の変化を検出する静電センサであってもよいし、圧力センサなどであってもよい。本実施形態では、接触センサは、検知面を複数の領域に区切り、接触を検知している領域の位置を出力することができるセンサである。接触センサは、複数箇所における接触を同時に検知できるセンサであればよい。例えば、複数箇所での接触を一つのセンサで検知できるものであってもよいし、単一箇所での接触を検知するセンサの集合であってもよい。
なお、以降、右手の部分に配置された接触センサ12Aと左手の部分に配置された接触センサ12Bをまとめて接触センサ12と称する。また、実施形態の説明では、接触センサ12Aを用いて右手の動きのみを検出する例を挙げるが、左手の動きを検出する同様の
処理を並列に実施してもよい。また、接触センサ12Aと12Bからそれぞれ出力される情報を結合し、仮想的な一つのセンサとみなして処理を行ってもよい。
図2は、本実施形態に係る車両用入力装置のシステム構成図である。
制御装置20は、ステアリングホイール10に配置された接触センサ12から情報を取得し、運転者が行った入力操作に基づいてジェスチャを判定し、対応する信号を車載端末30に出力する装置である。
制御装置20は、専用に設計されたハードウェアによって実現されてもよいし、CPU、主記憶装置、補助記憶装置を有するコンピュータによって実現されてもよい。コンピュータによって実現される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、CPUによって実行されることによって図2に図示した各手段が機能する(CPU、主記憶装置、補助記憶装置はいずれも不図示)。以下、制御装置20を構成する各手段を説明する。
センサ情報取得部21は、接触センサ12から情報を取得する手段であり、本発明におけるセンサ情報取得手段である。センサ情報取得部21は、接触センサ12から取得した情報に基づいて、接触センサの検出結果を表すビットマップを生成する。当該ビットマップをセンサ情報と称する。
図3は、センサ情報取得部21が生成するセンサ情報の例である。長方形のビットマップ300が、把持部に巻きついている接触センサ12Aを展開したものに対応する。図3の例では、接触センサが接触を検知している領域を黒塗りで示している(白線は手の位置を表す)。以降、接触センサが接触を検知している領域を接触領域と称する。
把持パターン記憶部22は、運転者がステアリングホイールを把持するパターン(以下、把持パターン)を記憶する手段である。把持パターンは、運転者がステアリングホイールを握った場合の静的な接触パターンであり、例えば図4に示したように、センサ情報と同様のビットマップ形式で記憶される(図4中、白丸の説明は後述)。なお、運転者がステアリングホイールを握る位置は一定ではないため、ホイールのどこに手を置くかは記憶されない。従って、把持パターンの大きさはセンサ情報の大きさよりも小さい。
把持状態判定部23は、接触センサ12から取得したセンサ情報と、把持パターン記憶部22に記憶された把持パターンとを照合し、把持状態を決定する手段である。
例えば、図4のように、右手がステアリングホイールを握った状態を把持パターンとして記憶している場合を考える。把持状態判定部23は、取得したセンサ情報と記憶された複数の把持パターンを比較し、最も類似度の高い把持パターンを決定する。把持パターンを比較する方法については後述する。
なお、図4に示した把持パターンが、本発明における把持状態であり、把持状態判定部23が、本発明における基準位置検出手段および把持状態特定手段である。
ジェスチャ判定部24は、時間の経過に伴う把持パターンの変化を取得し、運転者によってどのようなジェスチャが行われたかを判定する手段である。具体的には、把持状態判定部23から周期的に把持パターンを取得し、把持パターンの変化が、記憶されたジェスチャのパターンと一致するかを判定する。これにより、例えば「右方向へのスワイプ操作が行われた」、「ダブルタップ操作が行われた」といった判定を行うことができる。
ジェスチャ判定部24が、本発明におけるジェスチャ特定手段である。
ジェスチャ記憶部25は、運転者が行ったジェスチャ操作を判定するためのデータ(ジェスチャ判定データ)を記憶する手段である。例えば、ジェスチャ判定データが図6のように定義されていた場合であって、把持パターンが「1→2→1」と変化した場合、親指によるタップ操作が行われたと判定することができる。
操作情報出力部26は、ジェスチャ判定部24が判定した操作入力の内容を、車載端末30が解釈できる信号に変換する手段である。例えば、ジェスチャ判定部24が判定した操作入力が左スワイプであった場合、左へカーソルを移動させる信号を生成し、送信する。また、ジェスチャ判定部24が判定した操作入力がダブルタップであった場合、入力確定を意味する信号を生成し、送信する。操作情報出力部26が、本発明における信号送信手段である。
車載端末30は、操作対象の端末であり、典型的にはスマートフォン、タブレット型コンピュータ、カーナビゲーションシステム、車載AVシステムなどである。また、車載端末30は、不図示の表示手段を有しており、画面を表示することができる。画面は、例えば運転席に備えられたヘッドアップディスプレイに表示してもよいし、フロントガラスに投影してもよい。液晶ディスプレイ装置などに表示してもよいが、運転者が視線を移動せずに視認できる装置であることが好ましい。
次に、センサ情報に基づいて把持パターンを特定する処理について説明する。図5は、把持状態判定部23が取得したセンサ情報の例である。
一般的なパターンマッチングでは、図4に示した複数のパターンと、取得したセンサ情報とをマッチングさせるため、位置をずらしながら比較を行い、評価値を求めるという方法が用いられている。これに対して本実施形態では、予め把持パターンに基準点を設定しておき、また、センサ情報から基準点を求め、それぞれの位置合わせを行ったうえでマッチングを行う。基準点とは、手における特定の位置を表す点であり、第一の実施形態では「人差し指と親指の付け根に対応する点」である。基準点が、本発明における基準位置である。
図4に示した白丸は、基準点の位置を表し、各パターンに対応したものがあらかじめ記憶されている。
一方、把持状態判定部23は、センサ情報から基準点の位置を求める。具体的には、取得したセンサ情報(図5)から、接触領域が直角または鋭角を成しており、かつ、最も右上にある箇所(符号500)を検出する。通常、親指と人差し指は鋭角をなすため、このような処理によって、親指と人差し指の位置を推定することができる。また、指の付け根に対応する点(符号501)を特定し、基準点とする。
なお、本例では直角または鋭角を検出したが、90度、60度など複数の角度を検出するようにしてもよい。
このように、本実施形態では、パターンマッチングを行う際に、センサ情報に対応する基準点の位置を特定し、記憶されているパターンとの位置合わせを行ったうえで、通常のマッチング(類似度や評価値の算出)を行う。これにより、把持パターンを短時間で特定することができる。
<処理フローチャート>
次に、第一の実施形態に係る車両用入力装置が行う、入力操作の取得処理について、図7を参照しながら具体的に説明する。図7に示した処理は、周期的に実行される。
なお本例では、右手に対応する把持パターンが、図4に示したようなビットマップ形式で記憶されているものとする。
まず、ステップS11で、センサ情報取得部21が、接触センサ12から情報を取得し、センサ情報を生成する。ここで、前回のステップS11の処理から所定の時間が経過していない場合は、所定の時間になるまで待ち時間を挿入する。所定の時間とは、例えば50ミリ秒とすることができる。
なお、接触センサのうち、手が接触する範囲は一部分であるため、手の接触範囲のみを矩形に切り出すことで情報量を減らすことができる。センサ情報を切り出す場合、手の動きを想定して多少広めに切り出すとよい。生成されたセンサ情報は、把持状態判定部23へ送信される。
ステップS12では、把持状態判定部23が、センサ情報であるビットマップから、前述した方法によって基準点を抽出する。ここで、もし基準点の抽出に失敗した場合、ステップS13以降の処理をスキップしてステップS11へ遷移してもよいし、次のステップへ進み、基準点を用いない従来の方法によってパターンマッチングを行うようにしてもよい。
ステップS13では、把持状態判定部23が、抽出した基準点を用いてセンサ情報と記憶された把持パターンの位置合わせを行ったうえでパターンマッチングを行い、類似度を算出する。そして、最も類似度が高くなる把持パターンを特定する。なお、パターンマッチングにおける類似度が所定値に満たない場合は、一致する把持パターンが無いものと判定し(ステップS14)、処理をステップS11へ遷移させる。一致する把持パターンがあった場合、当該把持パターンについての情報をジェスチャ判定部24に送信する。
なお、把持パターンが前回のパターンと同一である場合、ステップS11へ戻るようにしてもよい。
ステップS15〜S17は、ジェスチャ判定部24が行う処理である。まず、ステップS15で、把持パターンの変化を収集する。
運転者が行う入力操作は、フリックやスワイプなど連続性のある操作であるため、把持パターンの変化を取得しなければジェスチャを特定することができない。そこで、本ステップでは、把持パターンをキューに蓄積することによって、全体として意味のあるジェスチャが行われたかを判別する。
図8は、把持パターンが格納されるキューを説明する図である。それぞれの矩形が把持パターンを表し、左側がキューに追加される把持パターン、右側がキューから削除される把持パターンを表している。ここでは、合計5つの情報がキューに保持されるものとする。すなわち、把持パターンが到着順に蓄積され、6つ目の把持パターンが到着すると、最も古い把持パターンが削除される。
ステップS16では、キューに蓄積されている把持パターンの変化が、特定のジェスチャに一致するかを判定し、一致した場合はステップS17へ遷移し、対応するジェスチャを操作情報出力部26に出力する。また、一致しない場合はステップS11へ遷移する。なお、キューに蓄積された把持パターンのうち一部が一致する場合、当該操作がされたものとみなす。例えば、蓄積された把持パターンが「1,2,1」と続いている場合は「親指シングルタップ」を表す情報を出力し、「1,2,1,2,1」と続いている場合は「親指ダブルタップ」を表す情報を出力する。キューに複数のジェスチャが含まれている場合、より長いジェスチャを優先させるようにしてもよいし、ジェスチャごとに優先度を定義し、より優先度が低いジェスチャを無視するようにしてもよい。
操作情報出力部26は、取得したジェスチャに基づいて、当該ジェスチャに対応するコマンドを車載端末30へ出力する。この処理は、図7の処理とは独立して実行される。例えば、ジェスチャを取得してから未入力状態が500ミリ秒間続いた場合に、当該ジェスチャに対応するコマンドを生成し、出力する。
この例では、例えば、「シングルタップ」というジェスチャを受信した後、0.5秒以内に「ダブルタップ」というジェスチャを受信した場合、ダブルタップがなされたものと判断してコマンドを生成し、出力する。
図9は、入力操作の例を示した図である。符号901は、車載端末30が有する表示手段(不図示)によってフロントガラスに投影された画面である。ここでは、上下左右の方向を車載端末30に指示することで、対応するアプリケーションが起動するものとする。例えば、運転者が、ステアリングホイールを把持したまま、指を左方向にスワイプする操作を行うことで、メールアプリケーションを起動させることができる。
第一の実施形態によると、運転者がステアリングホイールを把持した状態のまま、車載端末に対する入力操作を行うことができる。
基準位置を用いない場合、センサ情報のみに基づいて位置合わせを行わなければならないため、処理量の増加やマッチングの精度低下が起こるおそれがあるが、本実施形態に係る入力装置では、基準位置を用いて位置合わせを行うため、入力されたジェスチャを少ない処理量で精度よく検出することができる。
なお、本例では、説明を容易にするために、キューの長さを把持パターン5つぶんとしたが、キュー全体を参照することでジェスチャを判定することができれば、どのような長さのキューを用いてもよい。
また、第一の実施形態では、運転者がステアリングホイールを把持するパターンを把持パターン記憶部にあらかじめ記憶させたが、把持パターンは学習によって取得、あるいは更新するようにしてもよい。例えば、キャリブレーション等によって情報を更新するようにしてもよい。
また、第一の実施形態では、人差し指と親指の付け根にあたる点を基準位置としたが、基準位置は他の点であってもよいし、点以外であってもよい。例えば、人差し指や親指の辺縁部を表す直線を基準位置として用いてもよい。操作者が変わっても、操作を行う指との位置関係が大きく変化しない箇所であれば、点や直線、閉領域など、基準位置にはどのようなものを用いてもよい。
(第二の実施形態)
第一の実施形態では、人差し指と親指の付け根を表す基準点を基準位置として位置合わせを行った。しかし、把持状態が変わると、基準点を検出できなくなる場合が考えられる。第二の実施形態は、これに対応するため、複数の基準位置を用いて位置合わせを行う形態である。
第二の実施形態に係る車両用入力装置のシステム構成は、第一の実施形態と同様であるため、相違点以外の説明は省略する。
図10を参照しながら、基準点の検出ができなくなるケースを説明する。図10のケースでは、操作者の親指が寝ているため、図3のケースと比較すると、突出した領域がなくなり、基準点を検出することができない。従って、入力操作中にこのような状態になると、基準点を用いた位置合わせができなくなってしまう。
この問題に対応するため、第二の実施形態では、第一の実施形態におけるステップS12とステップS13の間に、図11のフローチャートに示した処理を追加する。
まず、ステップS121では、把持状態判定部23が、基準点を正常に抽出できたかを判定する。基準点を抽出できた場合、ステップS122で基準領域の位置を推定し、一時的に記憶する。基準領域とは、基準点を推定するために補助的に記憶する領域であり、本実施形態では、親指の付け根にあたる手のひらの一部(母指球)に対応する領域である。
図12(A)のハッチングで示した領域1201が、基準領域である。基準領域は、親指と人差し指の角度が90度である場合、基準点の直下に位置する。
もし、基準点の抽出に失敗した場合、ステップS123へ遷移し、基準領域が抽出済みであるかを判定する。ここで、基準領域が抽出済みであった場合、ステップS124で、基準領域の位置に基づいて、基準点の位置を推定する。例えば、図12(B)のように、基準領域の真上にある領域1202に基準点があると推定する。
このように、第二の実施形態では、入力操作中において動かない領域を補助的に記憶し、基準点を見失った場合に、当該基準領域を用いて基準点の位置を推定する。これにより、ジェスチャ認識の精度を向上させることができる。
なお、第二の実施形態では、基準領域を記憶することで基準点の位置を推定したが、基準点を見失った場合に、最後に検出した基準点の座標に現在も基準点があるものと推定して処理を続行するようにしてもよい。親指と人差し指の付け根は入力操作中であっても大きく動くことはないため、このようにしても、ジェスチャ認識の精度を確保することができる。
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、各実施形態では、ステアリングホイールを把持部としたが、操作者が手で把持して利用するトーラス状あるいは筒状のデバイスであれば、どのようなものを用いてもよい。例えば、操縦桿やマスターコントローラ等であってもよい。
また、各実施形態では、接触センサ12Aと接触センサ12Bが離れて配置されているが、それぞれの長さを延長し、隙間なく配置するようにしてもよい。
また、実施形態の説明では、収集したセンサ情報から把持パターンを特定し、把持パターンをキューイングすることでジェスチャを判定したが、異なる時刻において取得したセンサ情報に基づいて把持パターンを特定し、把持パターンの変化に基づいてジェスチャを特定することができれば、他の方法を用いてもよい。
10 ステアリングホイール
12 接触センサ
20 制御装置
21 センサ情報取得部
22 把持パターン記憶部
23 把持状態判定部
24 ジェスチャ判定部
25 ジェスチャ記憶部
26 操作情報出力部
30 車載端末

Claims (9)

  1. 操作者が手で把持するための把持部と、
    前記把持部の表面に配置された接触センサと、
    前記接触センサから情報を取得し、操作者の手の接触位置の分布を表す接触分布を取得するセンサ情報取得手段と、
    前記接触分布から、親指と人差し指の付け根に対応する点である基準位置を検出する基準位置検出手段と、
    前記接触分布および基準位置に基づいて、操作者が前記把持部を把持する際のパターンである把持状態を特定する把持状態特定手段と、
    を有する、入力装置。
  2. 前記把持状態特定手段は、特定の把持状態に対応する接触分布である把持パターンを複数記憶しており、取得した接触分布と記憶された把持パターンを比較することで把持状態を特定する、
    請求項1に記載の入力装置。
  3. 前記把持状態特定手段が記憶する把持パターンは、当該把持パターンに対応する基準位置の情報を含んでおり、
    前記把持状態特定手段は、基準位置を用いて位置合わせを行ったうえで、取得した接触分布と記憶された把持パターンとの比較を行う、
    請求項2に記載の入力装置。
  4. 前記基準位置検出手段は、取得した接触分布から基準位置を検出できない場合に、過去に検出した基準位置を用いて現在の基準位置を推定する、
    請求項1から3のいずれかに記載の入力装置。
  5. 前記基準位置検出手段は、取得した接触分布から基準位置を検出した場合に、前記基準位置とは異なる、手の特定の部位に対応する第二の基準位置を検出し、基準位置を検出できない場合であって、第二の基準位置を検出済みである場合に、前記第二の基準位置を用いて現在の基準位置を推定する、
    請求項1から3のいずれかに記載の入力装置。
  6. 前記把持状態の時間的変化に基づいて、入力されたジェスチャを特定するジェスチャ特定手段をさらに有する、
    請求項1から5のいずれかに記載の入力装置。
  7. 外部機器に対して送信する信号である外部信号を記憶し、前記ジェスチャ特定手段が特定したジェスチャに対応する外部信号を前記外部機器に送信する信号送信手段をさらに有する、
    請求項6に記載の入力装置。
  8. 前記把持部は、車両用ステアリングホイールである、
    請求項1から7のいずれかに記載の入力装置。
  9. 操作者が手で把持するための把持部と、前記把持部の表面に配置された接触センサと、を有する入力装置が行う入力取得方法であって、 前記接触センサから情報を取得し、操作者の手の接触位置の分布を表す接触分布を生成するセンサ情報取得ステップと、
    前記接触分布から、親指と人差し指の付け根に対応する点である基準位置を検出する基準位置検出ステップと、
    前記接触分布および基準位置に基づいて、操作者が前記把持部を把持する際のパターンである把持状態を特定する把持状態特定ステップと、
    を含む、入力取得方法。
JP2014030602A 2014-02-20 2014-02-20 入力装置および入力取得方法 Active JP6167932B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014030602A JP6167932B2 (ja) 2014-02-20 2014-02-20 入力装置および入力取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014030602A JP6167932B2 (ja) 2014-02-20 2014-02-20 入力装置および入力取得方法

Publications (2)

Publication Number Publication Date
JP2015156096A JP2015156096A (ja) 2015-08-27
JP6167932B2 true JP6167932B2 (ja) 2017-07-26

Family

ID=54775380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014030602A Active JP6167932B2 (ja) 2014-02-20 2014-02-20 入力装置および入力取得方法

Country Status (1)

Country Link
JP (1) JP6167932B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107179826B (zh) * 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
CN107199888A (zh) * 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
CN114340975B (zh) * 2019-09-11 2023-11-28 三菱电机株式会社 信息提示装置、信息提示方法以及计算机能读取的记录介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812118A (en) * 1996-06-25 1998-09-22 International Business Machines Corporation Method, apparatus, and memory for creating at least two virtual pointing devices
JP4747874B2 (ja) * 2006-02-14 2011-08-17 パナソニック電工株式会社 リモコン装置及び遠隔制御システム
JP2007164814A (ja) * 2007-02-09 2007-06-28 Toshiba Corp インタフェース装置
JP2009248629A (ja) * 2008-04-02 2009-10-29 Hitachi Ltd 車載機器の入力装置及び車載機器の入力方法
JP2009298285A (ja) * 2008-06-12 2009-12-24 Tokai Rika Co Ltd 入力装置
JP5062898B2 (ja) * 2008-06-26 2012-10-31 パナソニック株式会社 ユーザインタフェイス装置
JP4962466B2 (ja) * 2008-10-20 2012-06-27 パナソニック株式会社 入力装置および入力方法
US20110169750A1 (en) * 2010-01-14 2011-07-14 Continental Automotive Systems, Inc. Multi-touchpad multi-touch user interface
JP2013079056A (ja) * 2011-09-21 2013-05-02 Jvc Kenwood Corp 車両における操作対象装置の制御装置及び運転者特定方法
JP5884742B2 (ja) * 2013-01-21 2016-03-15 トヨタ自動車株式会社 ユーザインタフェース装置および入力取得方法

Also Published As

Publication number Publication date
JP2015156096A (ja) 2015-08-27

Similar Documents

Publication Publication Date Title
JP5884742B2 (ja) ユーザインタフェース装置および入力取得方法
JP6233248B2 (ja) 把持状態判定装置、把持状態判定方法、入力装置、入力取得方法
JP5640486B2 (ja) 情報表示装置
JP2009129171A (ja) 移動体に搭載される情報処理装置
EP2998846B1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
US10035539B2 (en) Steering wheel control system
JP2013218391A (ja) 操作入力装置、操作入力方法、及び、操作入力プログラム
US20150199020A1 (en) Gesture ui device, gesture ui method, and computer-readable recording medium
US9720593B2 (en) Touch panel operation device and operation event determination method in touch panel operation device
JP5023953B2 (ja) 車載表示制御装置、車載表示制御方法および車載表示制御プログラム
US10296101B2 (en) Information processing system, information processing apparatus, control method, and program
JP6167932B2 (ja) 入力装置および入力取得方法
US9804773B2 (en) Multi-touch based drawing input method and apparatus
KR101892390B1 (ko) 사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법
US9823780B2 (en) Touch operation detection apparatus
US20140320430A1 (en) Input device
US20210001914A1 (en) Vehicle input device
JP2016115121A (ja) 車両の操作装置
JP2018195052A (ja) 画像処理装置、画像処理プログラム及びジェスチャ認識システム
JP2019152988A (ja) タッチセンサ装置及びタッチ座標推定プログラム
JP2017045472A (ja) タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法
JP2016115039A (ja) タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法
JP2008129690A (ja) タッチパネルを備えた入力装置、その入力方法
JP6541475B2 (ja) 表示装置、表示方法および表示プログラム
JP2013142943A (ja) タッチ入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170612

R151 Written notification of patent or utility model registration

Ref document number: 6167932

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151