JP6167932B2 - 入力装置および入力取得方法 - Google Patents
入力装置および入力取得方法 Download PDFInfo
- Publication number
- JP6167932B2 JP6167932B2 JP2014030602A JP2014030602A JP6167932B2 JP 6167932 B2 JP6167932 B2 JP 6167932B2 JP 2014030602 A JP2014030602 A JP 2014030602A JP 2014030602 A JP2014030602 A JP 2014030602A JP 6167932 B2 JP6167932 B2 JP 6167932B2
- Authority
- JP
- Japan
- Prior art keywords
- reference position
- contact
- gripping
- pattern
- grip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
入力装置として現在普及しているタッチパネルディスプレイは、主に運転席と助手席の間にあるセンターコンソールに配置されているため、操作を行うためには手を移動させる必要がある。すなわち、操作を行うために一定の負荷があり、運転中に操作しにくいという課題があった。
また、特許文献2に記載の入力装置は、ステアリングホイールの把持部近傍にタッチパッドが配置されており、タッチ操作によって行われたジェスチャを認識することができる。
一方、特許文献2に記載の装置では、タッチ操作に基づいてジェスチャを認識することができるため、車載機器に対して様々な入力を行うことができるが、ステアリングホイールから手を離さなければ操作を行うことができないため、運転者にかかる負荷を減らすという課題が十分に解決できない。
ジェスチャを認識させるためには、手の形状ごとにあらかじめセンサが出力するデータのパターンをテンプレートとして記憶させておき、取得したパターンと比較する必要があるが、運転者がステアリングホイールを把持する位置には個人差があるため、センサから取得したデータをそのまま比較に用いることはできない。すなわち、手の位置を合わせた状態でマッチングを行う必要があるが、テンプレートの位置をずらしながら探索を行うと、計算量が増大し、リアルタイムでの処理が難しくなってしまう。
方法も考えられるが、重心は握り方の個人差によって変動するため、正確な位置合わせを行うことができず、結果としてマッチングの精度が低下してしまう。すなわち、操作者によって異なるマッチング結果が出てしまうおそれがある。
操作者が手で把持するための把持部と、前記把持部の表面に配置された接触センサと、前記接触センサから情報を取得し、操作者の手の接触位置の分布を表す接触分布を取得するセンサ情報取得手段と、前記接触分布から、手の特定の部位に対応する基準位置を検出する基準位置検出手段と、前記接触分布および基準位置に基づいて、操作者が前記把持部を把持する際のパターンである把持状態を特定する把持状態特定手段と、を有することを特徴とする。
把持部の表面には、接触センサが配置されている。接触センサは、操作者の指の接触位置を検出できるセンサであり、典型的にはタッチパッドに用いられているような平板状のセンサであるが、複数個のセンサが配列されたものであってもよい。
接触センサは、把持部を把持した操作者の指の接触位置を検出できれば、どこに配置されていてもよい。例えば把持部がステアリングホイールである場合、接触センサがホイール全体を覆っていてもよいし、円周上の一部分のみに配置されていてもよい。また、運転者に向き合う面のみに配置されていてもよい。また、接触センサは、必ずしも表面に露出していなくてもよい。
基準位置検出手段は、取得した接触分布から、手の特定の部位に対応する基準位置を検出する手段である。接触分布は、接触の有無を表す情報の集合であるが、手が置かれている位置そのものを表す情報ではない。そこで本発明では、接触分布を解析することで、特定の部位がどこにあるかを検出し、基準位置とする。基準位置は、例えば、特定の指の付け根や、指の辺縁部など、手の特定の部位に対応する箇所であり、操作を行う指との位置関係が、操作者によって大きく変わらない箇所であることが好ましい。
前述したように、把持の仕方には個人差があるため、センサ情報のみを用いてマッチングを行うと計算量が膨大になってしまうが、基準位置を用いてマッチングを行うことで、低いコストでマッチングを行うことができる。
このような場合、過去に検出した基準位置を用いて基準位置を推定することができる。例えば、最後に基準位置が検出できた座標に現在の基準位置があるものと推定して処理を行ってもよい。入力操作中には手の位置は大きく変動しないと考えられるためである。
また、基準位置を検出した場合に、第二の基準位置を検出しておき、基準位置を見失った場合に、第二の基準位置を用いて基準位置の座標を推定するようにしてもよい。例えば、親指と人差し指の付け根が基準位置である場合、親指の付け根部分の手のひら(母指球)の位置を第二の基準位置として記憶するようにしてもよい。
本発明は、把持部から手を離すことなく入力操作を行えるため、特に車両の操舵を行う装置に適用すると好適である。
<システム構成>
第一の実施形態に係る車両用入力装置は、運転者が行ったジェスチャ操作を取得し、対応する信号を外部の車載端末に出力する装置である。第一の実施形態に係る車両用入力装置は、ステアリングホイール10および制御装置20から構成される。以下、図1〜図3を参照しながら、システム構成について説明する。
符号11は、運転者が通常の運転操作において両手で把持する部分(本発明における把持部)であり、円形のホイールである。
符号12Aおよび12Bは、把持部の表面に配置された接触センサである。接触センサは、把持部に巻きつけられる形でステアリングホイールを覆っており、右手が触れる部分(12A)と、左手が触れる部分(12B)の二つに分かれて配置されている。
処理を並列に実施してもよい。また、接触センサ12Aと12Bからそれぞれ出力される情報を結合し、仮想的な一つのセンサとみなして処理を行ってもよい。
制御装置20は、ステアリングホイール10に配置された接触センサ12から情報を取得し、運転者が行った入力操作に基づいてジェスチャを判定し、対応する信号を車載端末30に出力する装置である。
制御装置20は、専用に設計されたハードウェアによって実現されてもよいし、CPU、主記憶装置、補助記憶装置を有するコンピュータによって実現されてもよい。コンピュータによって実現される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、CPUによって実行されることによって図2に図示した各手段が機能する(CPU、主記憶装置、補助記憶装置はいずれも不図示)。以下、制御装置20を構成する各手段を説明する。
図3は、センサ情報取得部21が生成するセンサ情報の例である。長方形のビットマップ300が、把持部に巻きついている接触センサ12Aを展開したものに対応する。図3の例では、接触センサが接触を検知している領域を黒塗りで示している(白線は手の位置を表す)。以降、接触センサが接触を検知している領域を接触領域と称する。
例えば、図4のように、右手がステアリングホイールを握った状態を把持パターンとして記憶している場合を考える。把持状態判定部23は、取得したセンサ情報と記憶された複数の把持パターンを比較し、最も類似度の高い把持パターンを決定する。把持パターンを比較する方法については後述する。
なお、図4に示した把持パターンが、本発明における把持状態であり、把持状態判定部23が、本発明における基準位置検出手段および把持状態特定手段である。
ジェスチャ判定部24が、本発明におけるジェスチャ特定手段である。
一般的なパターンマッチングでは、図4に示した複数のパターンと、取得したセンサ情報とをマッチングさせるため、位置をずらしながら比較を行い、評価値を求めるという方法が用いられている。これに対して本実施形態では、予め把持パターンに基準点を設定しておき、また、センサ情報から基準点を求め、それぞれの位置合わせを行ったうえでマッチングを行う。基準点とは、手における特定の位置を表す点であり、第一の実施形態では「人差し指と親指の付け根に対応する点」である。基準点が、本発明における基準位置である。
一方、把持状態判定部23は、センサ情報から基準点の位置を求める。具体的には、取得したセンサ情報(図5)から、接触領域が直角または鋭角を成しており、かつ、最も右上にある箇所(符号500)を検出する。通常、親指と人差し指は鋭角をなすため、このような処理によって、親指と人差し指の位置を推定することができる。また、指の付け根に対応する点(符号501)を特定し、基準点とする。
なお、本例では直角または鋭角を検出したが、90度、60度など複数の角度を検出するようにしてもよい。
次に、第一の実施形態に係る車両用入力装置が行う、入力操作の取得処理について、図7を参照しながら具体的に説明する。図7に示した処理は、周期的に実行される。
なお本例では、右手に対応する把持パターンが、図4に示したようなビットマップ形式で記憶されているものとする。
なお、接触センサのうち、手が接触する範囲は一部分であるため、手の接触範囲のみを矩形に切り出すことで情報量を減らすことができる。センサ情報を切り出す場合、手の動きを想定して多少広めに切り出すとよい。生成されたセンサ情報は、把持状態判定部23へ送信される。
なお、把持パターンが前回のパターンと同一である場合、ステップS11へ戻るようにしてもよい。
運転者が行う入力操作は、フリックやスワイプなど連続性のある操作であるため、把持パターンの変化を取得しなければジェスチャを特定することができない。そこで、本ステップでは、把持パターンをキューに蓄積することによって、全体として意味のあるジェスチャが行われたかを判別する。
この例では、例えば、「シングルタップ」というジェスチャを受信した後、0.5秒以内に「ダブルタップ」というジェスチャを受信した場合、ダブルタップがなされたものと判断してコマンドを生成し、出力する。
基準位置を用いない場合、センサ情報のみに基づいて位置合わせを行わなければならないため、処理量の増加やマッチングの精度低下が起こるおそれがあるが、本実施形態に係る入力装置では、基準位置を用いて位置合わせを行うため、入力されたジェスチャを少ない処理量で精度よく検出することができる。
第一の実施形態では、人差し指と親指の付け根を表す基準点を基準位置として位置合わせを行った。しかし、把持状態が変わると、基準点を検出できなくなる場合が考えられる。第二の実施形態は、これに対応するため、複数の基準位置を用いて位置合わせを行う形態である。
第二の実施形態に係る車両用入力装置のシステム構成は、第一の実施形態と同様であるため、相違点以外の説明は省略する。
まず、ステップS121では、把持状態判定部23が、基準点を正常に抽出できたかを判定する。基準点を抽出できた場合、ステップS122で基準領域の位置を推定し、一時的に記憶する。基準領域とは、基準点を推定するために補助的に記憶する領域であり、本実施形態では、親指の付け根にあたる手のひらの一部(母指球)に対応する領域である。
図12(A)のハッチングで示した領域1201が、基準領域である。基準領域は、親指と人差し指の角度が90度である場合、基準点の直下に位置する。
例えば、各実施形態では、ステアリングホイールを把持部としたが、操作者が手で把持して利用するトーラス状あるいは筒状のデバイスであれば、どのようなものを用いてもよい。例えば、操縦桿やマスターコントローラ等であってもよい。
12 接触センサ
20 制御装置
21 センサ情報取得部
22 把持パターン記憶部
23 把持状態判定部
24 ジェスチャ判定部
25 ジェスチャ記憶部
26 操作情報出力部
30 車載端末
Claims (9)
- 操作者が手で把持するための把持部と、
前記把持部の表面に配置された接触センサと、
前記接触センサから情報を取得し、操作者の手の接触位置の分布を表す接触分布を取得するセンサ情報取得手段と、
前記接触分布から、親指と人差し指の付け根に対応する点である基準位置を検出する基準位置検出手段と、
前記接触分布および基準位置に基づいて、操作者が前記把持部を把持する際のパターンである把持状態を特定する把持状態特定手段と、
を有する、入力装置。 - 前記把持状態特定手段は、特定の把持状態に対応する接触分布である把持パターンを複数記憶しており、取得した接触分布と記憶された把持パターンを比較することで把持状態を特定する、
請求項1に記載の入力装置。 - 前記把持状態特定手段が記憶する把持パターンは、当該把持パターンに対応する基準位置の情報を含んでおり、
前記把持状態特定手段は、基準位置を用いて位置合わせを行ったうえで、取得した接触分布と記憶された把持パターンとの比較を行う、
請求項2に記載の入力装置。 - 前記基準位置検出手段は、取得した接触分布から基準位置を検出できない場合に、過去に検出した基準位置を用いて現在の基準位置を推定する、
請求項1から3のいずれかに記載の入力装置。 - 前記基準位置検出手段は、取得した接触分布から基準位置を検出した場合に、前記基準位置とは異なる、手の特定の部位に対応する第二の基準位置を検出し、基準位置を検出できない場合であって、第二の基準位置を検出済みである場合に、前記第二の基準位置を用いて現在の基準位置を推定する、
請求項1から3のいずれかに記載の入力装置。 - 前記把持状態の時間的変化に基づいて、入力されたジェスチャを特定するジェスチャ特定手段をさらに有する、
請求項1から5のいずれかに記載の入力装置。 - 外部機器に対して送信する信号である外部信号を記憶し、前記ジェスチャ特定手段が特定したジェスチャに対応する外部信号を前記外部機器に送信する信号送信手段をさらに有する、
請求項6に記載の入力装置。 - 前記把持部は、車両用ステアリングホイールである、
請求項1から7のいずれかに記載の入力装置。 - 操作者が手で把持するための把持部と、前記把持部の表面に配置された接触センサと、を有する入力装置が行う入力取得方法であって、 前記接触センサから情報を取得し、操作者の手の接触位置の分布を表す接触分布を生成するセンサ情報取得ステップと、
前記接触分布から、親指と人差し指の付け根に対応する点である基準位置を検出する基準位置検出ステップと、
前記接触分布および基準位置に基づいて、操作者が前記把持部を把持する際のパターンである把持状態を特定する把持状態特定ステップと、
を含む、入力取得方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014030602A JP6167932B2 (ja) | 2014-02-20 | 2014-02-20 | 入力装置および入力取得方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014030602A JP6167932B2 (ja) | 2014-02-20 | 2014-02-20 | 入力装置および入力取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015156096A JP2015156096A (ja) | 2015-08-27 |
JP6167932B2 true JP6167932B2 (ja) | 2017-07-26 |
Family
ID=54775380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014030602A Active JP6167932B2 (ja) | 2014-02-20 | 2014-02-20 | 入力装置および入力取得方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6167932B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107179826B (zh) * | 2016-03-11 | 2021-08-31 | 松下知识产权经营株式会社 | 姿势输入系统和姿势输入方法 |
CN107199888A (zh) * | 2016-03-18 | 2017-09-26 | 松下知识产权经营株式会社 | 姿势输入系统和姿势输入方法 |
CN114340975B (zh) * | 2019-09-11 | 2023-11-28 | 三菱电机株式会社 | 信息提示装置、信息提示方法以及计算机能读取的记录介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5812118A (en) * | 1996-06-25 | 1998-09-22 | International Business Machines Corporation | Method, apparatus, and memory for creating at least two virtual pointing devices |
JP4747874B2 (ja) * | 2006-02-14 | 2011-08-17 | パナソニック電工株式会社 | リモコン装置及び遠隔制御システム |
JP2007164814A (ja) * | 2007-02-09 | 2007-06-28 | Toshiba Corp | インタフェース装置 |
JP2009248629A (ja) * | 2008-04-02 | 2009-10-29 | Hitachi Ltd | 車載機器の入力装置及び車載機器の入力方法 |
JP2009298285A (ja) * | 2008-06-12 | 2009-12-24 | Tokai Rika Co Ltd | 入力装置 |
JP5062898B2 (ja) * | 2008-06-26 | 2012-10-31 | パナソニック株式会社 | ユーザインタフェイス装置 |
JP4962466B2 (ja) * | 2008-10-20 | 2012-06-27 | パナソニック株式会社 | 入力装置および入力方法 |
US20110169750A1 (en) * | 2010-01-14 | 2011-07-14 | Continental Automotive Systems, Inc. | Multi-touchpad multi-touch user interface |
JP2013079056A (ja) * | 2011-09-21 | 2013-05-02 | Jvc Kenwood Corp | 車両における操作対象装置の制御装置及び運転者特定方法 |
JP5884742B2 (ja) * | 2013-01-21 | 2016-03-15 | トヨタ自動車株式会社 | ユーザインタフェース装置および入力取得方法 |
-
2014
- 2014-02-20 JP JP2014030602A patent/JP6167932B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015156096A (ja) | 2015-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5884742B2 (ja) | ユーザインタフェース装置および入力取得方法 | |
JP6233248B2 (ja) | 把持状態判定装置、把持状態判定方法、入力装置、入力取得方法 | |
JP5640486B2 (ja) | 情報表示装置 | |
JP2009129171A (ja) | 移動体に搭載される情報処理装置 | |
EP2998846B1 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
US10035539B2 (en) | Steering wheel control system | |
JP2013218391A (ja) | 操作入力装置、操作入力方法、及び、操作入力プログラム | |
US20150199020A1 (en) | Gesture ui device, gesture ui method, and computer-readable recording medium | |
US9720593B2 (en) | Touch panel operation device and operation event determination method in touch panel operation device | |
JP5023953B2 (ja) | 車載表示制御装置、車載表示制御方法および車載表示制御プログラム | |
US10296101B2 (en) | Information processing system, information processing apparatus, control method, and program | |
JP6167932B2 (ja) | 入力装置および入力取得方法 | |
US9804773B2 (en) | Multi-touch based drawing input method and apparatus | |
KR101892390B1 (ko) | 사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법 | |
US9823780B2 (en) | Touch operation detection apparatus | |
US20140320430A1 (en) | Input device | |
US20210001914A1 (en) | Vehicle input device | |
JP2016115121A (ja) | 車両の操作装置 | |
JP2018195052A (ja) | 画像処理装置、画像処理プログラム及びジェスチャ認識システム | |
JP2019152988A (ja) | タッチセンサ装置及びタッチ座標推定プログラム | |
JP2017045472A (ja) | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 | |
JP2016115039A (ja) | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 | |
JP2008129690A (ja) | タッチパネルを備えた入力装置、その入力方法 | |
JP6541475B2 (ja) | 表示装置、表示方法および表示プログラム | |
JP2013142943A (ja) | タッチ入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170612 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6167932 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |