JP6011579B2 - ジェスチャ入力装置 - Google Patents

ジェスチャ入力装置 Download PDF

Info

Publication number
JP6011579B2
JP6011579B2 JP2014105558A JP2014105558A JP6011579B2 JP 6011579 B2 JP6011579 B2 JP 6011579B2 JP 2014105558 A JP2014105558 A JP 2014105558A JP 2014105558 A JP2014105558 A JP 2014105558A JP 6011579 B2 JP6011579 B2 JP 6011579B2
Authority
JP
Japan
Prior art keywords
command
predetermined
gesture
output
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014105558A
Other languages
English (en)
Other versions
JP2015219885A (ja
Inventor
康司 浜田
康司 浜田
徹也 登丸
徹也 登丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014105558A priority Critical patent/JP6011579B2/ja
Priority to US14/709,584 priority patent/US9448641B2/en
Publication of JP2015219885A publication Critical patent/JP2015219885A/ja
Application granted granted Critical
Publication of JP6011579B2 publication Critical patent/JP6011579B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両に乗車している操作者の上肢のジェスチャに応じたコマンドを出力する、ジェスチャ入力装置に関する。
特許文献1には、車両に乗車している操作者の指のジェスチャを検出し、検出したジェスチャに応じたコマンドを出力する車両用のジェスチャ入力装置が開示されている。具体的には、ナビゲーション装置等の車載装置を作動させるための各種コマンドを、カメラにより撮影された指の動きに応じて認識して出力する。
特開2013−218391号公報
しかしながら、入力装置への入力を目的とした指の動き(ジェスチャ)と、入力目的以外の指の動きを判別することは困難である。よって、入力目的以外で指を動かした場合に、その指の動きがジェスチャとして誤認識され、操作者の意図に反してコマンドが出力される問題がある。
本発明は、上記問題を鑑みてなされたもので、その目的は、操作者の意図に反してコマンドが出力されることの抑制を図ったジェスチャ入力装置を提供することにある。
ここに開示される発明は上記目的を達成するために以下の技術的手段を採用する。なお、特許請求の範囲およびこの項に記載した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものであって、発明の技術的範囲を限定するものではない。
開示される発明のひとつは、車両に搭載され、車両に乗車している操作者の上肢の第1部位(P1)のジェスチャに応じたコマンドを判別するコマンド判別手段(22)と、コマンド判別手段により判別されたコマンドを出力するコマンド出力手段(24)と、上肢のうち第1部位よりも肩側に位置する第2部位(P2)の移動速度を検出する速度検出手段(25)と、速度検出手段により検出された移動速度が所定速度以上である場合に、出力手段によるコマンドの出力を禁止する出力禁止手段(26)と、を備えることを特徴とする。
ここで、入力目的で上肢を動かしてジェスチャ入力する場合には、上肢のうち第1部位(例えば指)を所望のコマンドに合わせて動かすこととなる。このようにジェスチャ入力する場合には、上肢のうち第1部位よりも肩側に位置する所定部位を支点として第1部位を動かす蓋然性が高い。例えば、手首(所定部位)を支点として指(第1部位)を動かしたり、前腕部の一部(所定部位)を支点として手(第1部位)を動かしたりすることが具体例として挙げられる。
したがって、入力目的の場合には所定部位を支点に第1部位を動かすため、所定部位は殆ど移動せず、ひいては、第1部位よりも肩側に位置する第2部位が速く移動することはない筈である。これに対し、入力目的以外の場合には、上肢の全体が第1部位とともに移動する蓋然性が高いので、第2部位の移動速度は入力目的時に比べて速くなっている可能性が高い。
以上の点を鑑み、上記発明によれば、第2部位の移動速度が所定速度以上である場合に、第1部位のジェスチャに応じたコマンドの出力が禁止される。そのため、ジェスチャ入力目的以外の場合において上肢全体が第1部位とともに動いている場合には、第2部位の移動速度が所定速度以上となるのでコマンドの出力が禁止される。一方、ジェスチャ入力しようとして所定部位を支点に第1部位を動かすと、第2部位の移動速度が所定速度未満となるのでジェスチャに応じたコマンドが出力される。したがって、上記発明によれば、操作者の意図に反したコマンドの出力が抑制される。
本発明の第1実施形態に係るジェスチャ入力装置が搭載される、車両室内のレイアウトを示す斜視図。 指を上下方向に移動させるジェスチャで入力する状況を示す側面図。 指を左右方向に移動させるジェスチャで入力する状況を示す上面図。 第1実施形態に係るジェスチャ入力装置の電気ブロック図。 入力を目的として指を動かしている状況を示す上面図。 入力を目的としていない時の指の動きを示す上面図。 第1実施形態に係るジェスチャ入力装置による、ジェスチャに応じたコマンドを出力する処理の手順を示すフローチャート。 本発明の第2実施形態に係るジェスチャ入力装置による、ジェスチャに応じたコマンドを出力する処理の手順を示すフローチャート。 本発明の第3実施形態に係るジェスチャ入力装置による、ジェスチャに応じたコマンドを出力する処理の手順を示すフローチャート。
以下、図面を参照しながら発明を実施するための複数の形態を説明する。各形態において、先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において、構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を参照し適用することができる。
(第1実施形態)
図1に示す車両1は、車両左右方向の右側に運転席2が設けられた右ハンドル仕様である。図1中の矢印は、車両1に対する上下前後左右方向を示す。車室内に設置されたインストルメントパネル3のうち、運転席2の正面に位置する部分には、車速等を表示するメータ装置4が取り付けられている。インストルメントパネル3のうち車両左右方向の中央部分には表示装置5が取り付けられている。表示装置5は、ナビゲート装置が有する地図情報や、空調装置の設定情報、オーディオ装置の情報等を表示する。
表示装置5の表示内容はジェスチャ入力により設定可能である。また、このジェスチャ入力により、ナビゲート装置、空調装置およびオーディオ装置等の各種車載装置の設定内容が入力可能である。図1の例では、運転席2に乗車している操作者の指96の動きをセンサユニット10で検知し、検知した指96の動き(ジェスチャ)に対応して表示装置5の表示内容を変化させている。
図1中の符号90は、操作者の左側の上肢を示す。上肢90とは、肩から指先までの全ての部分のことである。したがって、肩から肘92にかけての上腕91、肘92から手首94にかけての前腕93、および手首94より指先側の手95は、上肢90に含まれる。指96は手95に含まれる。
運転席2にはアームレスト6が取り付けられている。アームレスト6は、操作者の左側の上肢90を下方から支持する。詳細には、アームレスト6は、少なくとも前腕93を支持するように配置されており、操作者によっては、図3および図4に示すように、上腕91とともに手首94および手95の一部がアームレスト6に置かれる。指96によるジェスチャ入力は、アームレスト6に上肢90を置いた状態で為されることを想定している。
図2に示すように、センサユニット10は、カメラ11および抽出手段12を有する。カメラ11は、アームレスト6に置かれた上肢90の手95の下方に配置されている。カメラ11は、所定距離離れた一対の撮像素子を有するステレオカメラである。抽出手段12は、マイクロコンピュータ(マイコン)が所定のプログラムに基づき作動することで提供されるものであり、カメラ11により撮影された手95の画像から、以下に説明する第1部位P1および第2部位P2を抽出する。
さらに抽出手段12は、一対の撮像素子による画像の相違に基づく画像解析を実施することにより、第1部位P1および第2部位P2の、車室内における絶対位置を演算する。換言すれば、第1部位P1および第2部位P2の上下左右前後方向の3軸上における座標(空間位置)を、抽出手段12は演算する。
さらに、センサユニット10が有するマイコンは、第1部位P1に設定されている人指し指96以外の指の先端部位についても、空間位置を演算する。これにより、5本の指がどのようなジェスチャをしているかを把握できるようになる。また、5本の指先の空間位置に加えて、5本の指先の向きおよび手95の向きも画像解析される。これにより、手95がどのようなジェスチャをしているかも把握できるようになる。
図3および図4に示すように、第1部位P1は、指96の先端部分、具体的には第1関節よりも先端側の部分であり、画像解析により画像の中から抽出される。第2部位P2は、第1部位P1よりも肩側に位置する部分であり、画像解析により画像の中から抽出される。例えば、第1部位P1から手首94の中心に向けて所定長さ移動させた点が第2部位P2として抽出される。第2部位P2が手95の甲に存在することとなるよう、所定長さは予め設定されている。なお、図3は、矢印Yに示す如く上下方向に人差し指96を動かすジェスチャをしている様子を示し、図4は、矢印Xに示す如く左右方向に人差し指96を動かすジェスチャをしている様子を示す。
図2の説明に戻り、センサユニット10により検出された第1部位P1および第2部位P2の位置に基づき、制御装置20はジェスチャの種類を判別し、ジェスチャの種類に応じたコマンドを表示装置5またはスピーカ7に出力する。このような機能を制御装置20が発揮するために、制御装置20は以下の手段を有する。すなわち、位置取得手段21、第1パラメータ算出手段22、コマンド判別手段23、コマンド出力手段24、第2パラメータ算出手段25(速度検出手段)、出力禁止手段26、および閾値設定手段27を有する。これらの手段は、制御装置20が有するマイコンが所定のプログラムに基づき作動することで提供される。そして、これらの手段を有する制御装置20は、ジェスチャに応じたコマンドを各種の車載装置へ出力する「ジェスチャ入力装置」を提供する。
位置取得手段21は、抽出手段12により演算された第1部位P1および第2部位P2の空間位置を、センサユニット10から取得する。第1パラメータ算出手段22は、位置取得手段21により取得された第1部位P1の位置情報に基づき、第1部位P1が移動した軌跡、および第1部位P1の移動速度VP1を算出する。コマンド判別手段23は、第1パラメータ算出手段22により算出された第1部位P1の軌跡および移動速度VP1に基づき、予め設定されている複数のコマンドの中から、該当するコマンドがいずれであるかを判別する。つまり、第1部位P1のジェスチャに応じたコマンドを認識する。
なお、第1パラメータ算出手段22により算出される第1部位P1の移動軌跡は、図3および図4に示す上下左右方向を含む平面に投影した軌跡である。コマンド判別手段23は、上記平面に投影された軌跡が、予め設定された軌跡のいずれに該当するかを判別することで、ジェスチャに応じたコマンドを認識する。
コマンド出力手段24は、コマンド判別手段23により認識されたコマンドを、表示装置5およびスピーカ7へ出力する。これにより、操作者のジェスチャに応じて表示装置5およびスピーカ7が作動することとなる。例えば、ジェスチャ入力が受付けられて表示装置5へコマンドが送信されたタイミングで音を出力するようにスピーカ7を作動させる。これにより、ジェスチャ入力が受付けられた旨を操作者に報知する。また、後述するようにジェスチャ入力がキャンセルされた場合に、キャンセルされた旨を操作者に報知する音をスピーカ7から出力させる。また、受付けられたジェスチャの種類に応じて、異なる音をスピーカ7から出力させる。
第2パラメータ算出手段25は、位置取得手段21により取得された第2部位P2の位置情報に基づき、第2部位P2が移動した軌跡、および第2部位P2の移動速度VP2を算出する。出力禁止手段26は、第2部位P2の移動速度VP2が所定速度Vth未満であるか否かを判定する。所定速度Vth未満であると判定されている期間には、コマンド判別手段23により認識されたコマンドの出力を禁止させる禁止フラグがオン設定される。コマンド出力手段24は、出力禁止手段26により禁止フラグがオン設定されている場合には、先述したコマンドの出力を禁止する。これにより、第1部位P1の移動に応じたコマンドが認識されても、そのコマンドの出力が禁止される。
閾値設定手段27は、出力禁止手段26の判定で用いられる所定速度Vthの値を、操作者の入力操作に応じて設定する。これにより、所定速度Vthを操作者が設定できるようになり、ジェスチャ入力の受付け感度またはキャンセル感度を操作者が調整できるようになる。例えば、実際に指96を動かして受付けおよびキャンセルの閾値を設定することで、所定速度Vthを設定する、チュートリアル機能を閾値設定手段27は有する。この閾値設定手段27は、操作者による設定入力操作に基づき所定速度Vthを設定する「設定手段」に相当する。
ここで、入力目的で指96を動かしてジェスチャ入力する場合には、アームレスト6に上肢90を置いた状態で指96を動かす蓋然性が高く、その場合には、上肢90のうち第1部位P1よりも肩側に位置する所定部位を支点として第1部位を動かす蓋然性が高い。支点となる所定部位の具体例としては、手首94、前腕93の一部、肘92等が挙げられる。例えば、図5の実線位置から点線位置へ手95を動かした場合のように、アームレスト6に置かれた手首94を支点として指96(第1部位)を動かす。或いは、アームレスト6に置かれた前腕93の一部や肘92を支点として手95(第1部位)を動かす。
このように、入力目的の場合には所定部位を支点に第1部位P1を動かすため、その所定部位は殆ど移動しない。そして、第1部位P1よりも肩側に位置する第2部位P2は、第1部位P1よりも所定部位(支点)に近い位置にあるため、第2部位P2が第1部位P1よりも速く移動することはない筈である。
これに対し、入力目的以外の場合には、図6の実線位置から点線位置へ手95を動かした場合のように、上肢90の全体が第1部位P1とともに移動する蓋然性が高い。よって、第2部位P2の移動速度は入力目的時に比べて速くなっている可能性が高い。
以上の点を鑑み、制御装置20が有するマイコンは、図7の処理にしたがってジェスチャ入力を認識してコマンドを出力している。
すなわち、先ずステップS10において、位置取得手段21により第1部位P1の空間位置が取得されたか否かを判定する。例えば、アームレスト6に上肢90を置いていない場合等、センサユニット10による検知が可能な空間内に指96が存在していなければ、第1部位P1の空間位置が取得されることはない。第1部位P1の空間位置が取得されたと判定された場合、続くステップS20において、位置取得手段21により第2部位P2の空間位置が取得されたか否かを判定する。この場合もステップS10と同様にして、検知可能空間内に手95が存在していなければ、第2部位P2の空間位置が取得されることはない。
第2部位P2の空間位置が取得されたと判定された場合、続くステップS30において、第2パラメータ算出手段25による移動速度VP2の算出を実施する。続くステップS40では、出力禁止手段26による判定を実施する。すなわち、ステップS30で算出した移動速度VP2が、閾値設定手段27により設定された所定速度Vth未満であるか否かを判定する。
移動速度VP2が所定速度Vth未満であると判定されると、次のステップS50において、コマンド判別手段23およびコマンド出力手段24による処理を実施する。すなわち、第1部位P1の移動軌跡に応じたコマンドを認識し、認識したコマンドを表示装置5およびスピーカ7へ出力する。一方、移動速度VP2が所定速度Vth未満でないと判定されると、次のステップS60において、コマンド出力手段24によるコマンド出力を禁止させる。
以上により、本実施形態によれば、第2部位P2の移動速度が所定速度Vth以上である場合に、第1部位P1のジェスチャに応じたコマンドの出力が禁止される。そのため、入力目的以外の場合において上肢90全体を動かした場合には、第2部位P2の移動速度が所定速度以上となり、ジェスチャにより認識されたコマンドの出力が禁止される。一方、アームレスト6に置かれた手首94を支点に指96を動かしてジェスチャ入力しようとすると、第2部位P2の移動速度が所定速度未満となり、ジェスチャにより認識されたコマンドの出力が許可される。したがって、本実施形態によれば、操作者の意図に反したコマンドの出力が抑制される。
さらに本実施形態によれば、操作者による操作に基づき所定速度Vthを設定する閾値設定手段27を備える。そのため、所定速度Vthにより決定されるジェスチャ入力の受付け感度を、操作者の好みの感度に調節できる。
(第2実施形態)
本実施形態では、上記第1実施形態における図7の処理に、図8に示すステップS41、S42の処理を追加している。なお、本実施形態に係るハード構成については、図2に示すハード構成と同一である。
図8に示すステップS40において、第2部位P2の移動速度VP2が所定速度Vth未満でないと否定判定されると、続くステップS41において、第2部位P2の移動量LP2を算出する。具体的には、ステップS20で取得された第2部位P2の空間位置に基づき第2部位P2の移動量LP2を算出する。算出対象となる期間は、ステップS40にて否定判定されている期間、つまり移動速度VP2が所定速度Vth以上である期間であり、その期間における移動量LP2を算出する。なお、ステップS41の算出を実行している時の制御装置20は「移動量検出手段」に相当する。
続くステップS42では、ステップS41で算出された移動量LP2が所定量Lth未満であるか否かを判定する。そして、所定量Lth未満であると判定された場合には、ステップS60によるコマンド出力禁止をキャンセルし、ステップS50にてコマンド出力を実行する。要するに、ステップS42の判定を実行している時の制御装置20は、移動量LP2が所定量Lth未満である場合に、コマンド出力禁止をキャンセルしてコマンドの出力を許可する「第1許可手段」に相当する。また、ステップS42の判定に用いられる所定量Lthは、第1部位P1の移動速度VP1が速いほど大きい値に設定変更される。
以上により、本実施形態によれば、移動速度VP2が所定速度Vth以上であったとしても、移動量LP2が所定量Lth未満であれば、ジェスチャに応じたコマンドが出力される。そのため、以下に例示するように誤ってコマンド出力禁止が為されることが、回避されるようになる。すなわち、例えば上肢90の所定部位を支点に指96を動かしてジェスチャ操作する場合であっても、車両1の振動で上肢90の所定部位がアームレスト6上でずれて移動する場合がある。この場合、第2部位P2の移動速度VP2が所定速度Vth以上になる可能性が高くなるものの、図6に示すように第2部位P2が大きく移動する可能性は低い。つまり、移動速度VP2が所定速度Vth以上であっても移動量LP2が所定量Lth未満となる可能性が高い。よって、ステップS41、S42の処理を追加した本実施形態によれば、上述した場合にはコマンド出力が許可されるので、誤ってジェスチャ入力が受付けられなくなる不具合を抑制できる。
ここで、例えば上肢90の所定部位を支点に指96を動かしてジェスチャ操作する場合に、指96を速く動かす場合であるほど、支点が移動する可能性が高くなる。この点を鑑みた本実施形態では、ジェスチャ操作する第1部位P1の移動速度VP1が速いほど、ステップS42の判定に用いる所定量Lthを大きく設定する。そのため、指96を速く動かすことに起因して移動速度VP2が所定速度Vth以上になった場合に、誤ってジェスチャ入力が受付けられなくなることを抑制できる。
(第3実施形態)
本実施形態では、上記第1実施形態における図7の処理に、図9に示すステップS43の処理を追加している。なお、本実施形態に係るハード構成については、図2に示すハード構成と同一である。
図8に示すステップS40において、第2部位P2の移動速度VP2が所定速度Vth未満でないと否定判定されると、続くステップS43において、第2部位P2が所定エリア内に位置するか否かを判定する。所定エリアは、アームレスト6に前腕93の一部が置かれた状態で第2部位P2が存在しうる範囲に設定されている。該ステップS43による判定は、ステップS40にて否定判定されている期間、つまり移動速度VP2が所定速度Vth以上である期間に実施される。そして、第2部位P2が所定エリア内に位置していると判定された場合には、ステップS60によるコマンド出力禁止をキャンセルし、ステップS50にてコマンド出力を実行する。
要するに、ステップS43の算出を実行している時の制御装置20は、第2部位P2が所定エリア内に位置する場合に、コマンド出力禁止をキャンセルしてコマンドの出力を許可する「第2許可手段」に相当する。また、ステップS43の判定に用いられる所定エリアは、第1部位P1の移動速度VP1が速いほど広い領域に設定変更される。
以上により、本実施形態によれば、移動速度VP2が所定速度Vth以上であったとしても、第2部位P2が所定エリア内に位置していれば、ジェスチャに応じたコマンドが出力される。そのため、以下に例示するように誤ってコマンド出力禁止が為されることが、回避されるようになる。すなわち、例えば上肢90の所定部位を支点に指96を動かしてジェスチャ操作する場合であっても、車両1の振動で上肢90の所定部位がアームレスト6上でずれて移動する場合がある。この場合、第2部位P2の移動速度VP2が所定速度Vth以上になる可能性が高くなるものの、図6に示すように第2部位P2が大きく移動する可能性は低い。つまり、移動速度VP2が所定速度Vth以上であっても第2部位P2が所定エリア内に位置する可能性が高い。よって、ステップS43の処理を追加した本実施形態によれば、上述した場合にはコマンド出力が許可されるので、誤ってジェスチャ入力が受付けられなくなる不具合を抑制できる。
ここで、例えば上肢90の所定部位を支点に指96を動かしてジェスチャ操作する場合に、指96を速く動かす場合であるほど、支点が移動する可能性が高くなる。この点を鑑みた本実施形態では、ジェスチャ操作する第1部位P1の移動速度VP1が速いほど、ステップS43の判定に用いる所定エリアを大きく設定する。そのため、指96を速く動かすことに起因して移動速度VP2が所定速度Vth以上になった場合に、誤ってジェスチャ入力が受付けられなくなることを抑制できる。
(他の実施形態)
以上、発明の好ましい実施形態について説明したが、発明は上述した実施形態に何ら制限されることなく、以下に例示するように種々変形して実施することが可能である。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。
図2に示す実施形態では閾値設定手段27を備えているが、この閾値設定手段27を廃止してもよい。その場合、ステップS40の判定に用いる所定速度Vthを、予め設定した値に固定してもよいし、第1部位P1の移動速度VP1が速いほど、所定速度Vthを大きくするように可変設定してもよい。この可変設定による効果を以下に説明する。
例えば上肢90の所定部位を支点に指96を動かしてジェスチャ操作する場合に、指96を速く動かす場合であるほど、支点が移動する可能性が高くなる。すると、ジェスチャ操作しているにも拘らず移動速度VP2が所定速度Vth以上になる可能性が高くなる。この懸念に対し、上記可変設定を実施すれば、指96を速く動かすことに起因して移動速度VP2が所定速度Vth以上になった場合に、誤ってジェスチャ入力が受付けられなくなることを抑制できる。
図7、図8および図9のステップS40では、第2部位P2の移動速度VP2が所定速度Vth未満であるか否かを判定している。これに対し、当該ステップS40において、移動速度VP2が所定速度Vth未満である状態が所定時間以上継続したか否かを判定するようにしてもよい。つまり、移動速度VP2が所定速度Vth未満であっても、その状態が所定時間以上継続しなければ、ステップS60に進みコマンド出力を禁止させる。この場合、上述した所定時間を、ジェスチャの内容に応じて異なる値に設定することが望ましい。例えば、指96を下向きに動かすジェスチャは、上向きに動かすジェスチャに比べて動かし易い。そのため、上述した所定時間を、下向きのジェスチャの場合には上向きの場合に比べて短くすることが望ましい。
図3に示す例では、第1部位P1を指96に設定しており、指96のジェスチャで入力できるように構成されている。これに対し本発明は、指96以外の上肢90の一部を第1部位として設定してもよい。例えば、手の平や拳を第1部位として設定してもよい。また、図3に示す例では、第2部位P2を手95の甲に設定している。これに対し本発明は、手95の甲以外の上肢90の一部を第2部位として設定してもよい。例えば、手首94や前腕93の一部、肘92を第2部位として設定してもよい。
図2に示す実施形態では、カメラ11により撮影された手95の画像から第1部位P1および第2部位P2を抽出する処理を、センサユニット10で実施している。これに対し、上記処理を制御装置20で実施するようにしてもよい。
上記第2実施形態および第3実施形態を組み合わせて制御してもよい。すなわち、図8に示すステップS42において、移動量LP2が所定量Lth未満でないと否定判定された場合に、図9に示すステップS43の判定を実施する。そして、第2部位P2が所定エリア内に位置していると肯定判定された場合にはステップS50にてコマンドを出力し、所定エリア内に位置していないと否定判定された場合にはステップS60にてコマンド出力を禁止する。
23…コマンド判別手段、24…コマンド出力手段、25…速度検出手段、26…出力禁止手段。

Claims (7)

  1. 車両に搭載され、前記車両に乗車している操作者の上肢の第1部位(P1)のジェスチャに応じたコマンドを判別するコマンド判別手段(23)と、
    前記コマンド判別手段により判別されたコマンドを出力するコマンド出力手段(24)と、
    前記上肢のうち前記第1部位よりも肩側に位置する第2部位(P2)の移動速度を検出する速度検出手段(25)と、
    前記速度検出手段により検出された前記移動速度が所定速度以上である場合に、前記コマンド出力手段による前記コマンドの出力を禁止する出力禁止手段(26)と、
    を備えることを特徴とするジェスチャ入力装置。
  2. 前記移動速度が前記所定速度以上である期間における、前記第2部位の移動量を検出する移動量検出手段(S41)と、
    前記移動量検出手段により検出された前記移動量が所定量未満である場合には、前記出力禁止手段による禁止をキャンセルして前記コマンドの出力を許可する第1許可手段(S42)と、
    を備えることを特徴とする請求項1に記載のジェスチャ入力装置。
  3. 前記第1部位の移動速度が速いほど、前記所定量を大きく設定することを特徴とする請求項2に記載のジェスチャ入力装置。
  4. 前記移動速度が前記所定速度以上である期間に、前記第2部位が所定エリア内に位置する場合には、前記出力禁止手段による禁止をキャンセルして前記コマンドの出力を許可する第2許可手段(S43)を備えることを特徴とする請求項1〜3のいずれか1つに記載のジェスチャ入力装置。
  5. 前記第1部位の移動速度が速いほど、前記所定エリアを大きく設定することを特徴とする請求項4に記載のジェスチャ入力装置。
  6. 前記第1部位の移動速度が速いほど、前記所定速度を大きく設定することを特徴とする請求項1〜5のいずれか1つに記載のジェスチャ入力装置。
  7. 前記操作者による設定入力操作に基づき、前記所定速度を設定する設定手段(27)を備えることを特徴とする請求項1〜5のいずれか1つに記載のジェスチャ入力装置。
JP2014105558A 2014-05-21 2014-05-21 ジェスチャ入力装置 Expired - Fee Related JP6011579B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014105558A JP6011579B2 (ja) 2014-05-21 2014-05-21 ジェスチャ入力装置
US14/709,584 US9448641B2 (en) 2014-05-21 2015-05-12 Gesture input apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014105558A JP6011579B2 (ja) 2014-05-21 2014-05-21 ジェスチャ入力装置

Publications (2)

Publication Number Publication Date
JP2015219885A JP2015219885A (ja) 2015-12-07
JP6011579B2 true JP6011579B2 (ja) 2016-10-19

Family

ID=54556048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014105558A Expired - Fee Related JP6011579B2 (ja) 2014-05-21 2014-05-21 ジェスチャ入力装置

Country Status (2)

Country Link
US (1) US9448641B2 (ja)
JP (1) JP6011579B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922454B1 (ko) * 2017-03-30 2018-11-27 한국오므론전장 주식회사 전하량 변화를 이용한 제스처 인식 시스템 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6699406B2 (ja) * 2016-07-05 2020-05-27 株式会社リコー 情報処理装置、プログラム、位置情報作成方法、情報処理システム
JP6686930B2 (ja) * 2017-02-21 2020-04-22 トヨタ自動車株式会社 運転支援装置
JP7062930B2 (ja) 2017-12-01 2022-05-09 株式会社アイシン 制御装置およびプログラム
JP2019101826A (ja) 2017-12-04 2019-06-24 アイシン精機株式会社 ジェスチャ判定装置およびプログラム
JP7212531B2 (ja) * 2019-01-28 2023-01-25 株式会社東海理化電機製作所 動作判別装置、コンピュータプログラム、および記憶媒体
WO2024079831A1 (ja) * 2022-10-13 2024-04-18 三菱電機株式会社 インタフェースシステム、制御装置、及び操作支援方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US20090273574A1 (en) * 1995-06-29 2009-11-05 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US9031207B2 (en) * 2006-12-18 2015-05-12 Centurylink Intellectual Property Llc System and method for providing location information for addressed based E-911 calls to public safety answering points
JP5187280B2 (ja) * 2009-06-22 2013-04-24 ソニー株式会社 操作制御装置および操作制御方法
US9551590B2 (en) * 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
WO2013109869A1 (en) * 2012-01-20 2013-07-25 Magna Electronics, Inc. Vehicle vision system with free positional virtual panoramic view
JP2013218391A (ja) 2012-04-05 2013-10-24 Pioneer Electronic Corp 操作入力装置、操作入力方法、及び、操作入力プログラム
JP5148004B1 (ja) 2012-04-26 2013-02-20 株式会社三菱東京Ufj銀行 情報処理装置、電子機器およびプログラム
JP2013250637A (ja) 2012-05-30 2013-12-12 Toshiba Corp 認識装置
US8947353B2 (en) * 2012-06-12 2015-02-03 Microsoft Corporation Photosensor array gesture detection
JP2014085964A (ja) 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理方法、情報処理装置、及びプログラム
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922454B1 (ko) * 2017-03-30 2018-11-27 한국오므론전장 주식회사 전하량 변화를 이용한 제스처 인식 시스템 및 방법

Also Published As

Publication number Publication date
US9448641B2 (en) 2016-09-20
JP2015219885A (ja) 2015-12-07
US20150338922A1 (en) 2015-11-26

Similar Documents

Publication Publication Date Title
JP6011579B2 (ja) ジェスチャ入力装置
JP5261554B2 (ja) 指先ポインティング、ジェスチャに基づく車両用ヒューマンマシンインタフェース
KR101550604B1 (ko) 차량용 조작 장치
CN104755308B (zh) 具有手势识别的机动车操作接口
CN103492987B (zh) 尤其在交通工具内提供用户接口的方法和设备
JP2018150043A (ja) 自動車における情報伝送のためのシステム
US10732760B2 (en) Vehicle and method for controlling the vehicle
JP5899251B2 (ja) 車両用入力装置
US10618773B2 (en) Elevator operation control device and method using monitor
US20160349850A1 (en) Detection device and gesture input device
JPWO2015125243A1 (ja) 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
JP2017211884A (ja) 動き検出システム
JP2010184600A (ja) 車載用ジェスチャースイッチ装置
JP2009129171A (ja) 移動体に搭載される情報処理装置
JP5968573B2 (ja) 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
KR101438615B1 (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
JP2010108255A (ja) 車載操作システム
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
CN110968184B (zh) 设备控制装置
JP6342874B2 (ja) 画像認識装置
JP2017059103A (ja) 判定装置、判定方法、判定プログラムおよび記録媒体
JP6581482B2 (ja) 画像認識装置
JP6424749B2 (ja) 車両用情報処理装置、車両用情報処理システム、および車両用情報処理プログラム
KR101892390B1 (ko) 사용자 인터페이스, 이동 수단 및 사용자의 손을 인식하기 위한 방법
JP5136948B2 (ja) 車両用操作装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160905

R151 Written notification of patent or utility model registration

Ref document number: 6011579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees