JP7293620B2 - ジェスチャ検出装置、およびジェスチャ検出方法 - Google Patents
ジェスチャ検出装置、およびジェスチャ検出方法 Download PDFInfo
- Publication number
- JP7293620B2 JP7293620B2 JP2018220240A JP2018220240A JP7293620B2 JP 7293620 B2 JP7293620 B2 JP 7293620B2 JP 2018220240 A JP2018220240 A JP 2018220240A JP 2018220240 A JP2018220240 A JP 2018220240A JP 7293620 B2 JP7293620 B2 JP 7293620B2
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- operator
- pointing direction
- gesture
- body posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
操作者の体の姿勢を取得する取得部(110)と、
取得部によって取得された体の姿勢と、体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で指差し方向を算出して、操作対象に対する入力を行う制御部(120)とを備え、
算出された指差し方向が、複数ある場合、
制御部は、
予め定められた優先順位に従って、最終的な指差し方向として決定する、
あるいは、複数の指差し方向の平均値を、最終的な指差し方向として決定することを特徴としている。
操作者の体の姿勢を取得する取得ステップ(S100)と、
取得ステップによって取得された体の姿勢と、体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で指差し方向を算出して、操作対象に対する入力を行う算出入力ステップ(S110、S140)とを備え、
算出された指差し方向が、複数ある場合、
予め定められた優先順位に従って、最終的な指差し方向として決定するステップを備える、
あるいは、複数の指差し方向の平均値を、最終的な指差し方向として決定するステップを備えることを特徴としている。
コンピュータを、
操作者の体の姿勢を取得する取得部(110)によって取得された体の姿勢データと、体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で指差し方向を算出して、操作対象に対する入力を行うと共に、
算出された指差し方向が、複数ある場合、
予め定められた優先順位に従って、最終的な指差し方向として決定する、
あるいは、複数の指差し方向の平均値を、最終的な指差し方向として決定する制御部(120)として機能させることを特徴としている。
第1実施形態のジェスチャ検出装置100について図1~図8を用いて説明する。本実施形態のジェスチャ検出装置100は、例えば車両に搭載され、操作者(運転者)の指差しジェスチャによる指差し方向に基づいて、各種車両機器10に対する入力指示を行う装置となっている。指差しジェスチャにおける指は、例えば、人差し指とすることができる。
指差し方向算出部122は、操作者の肘が曲がっており、且つ、指の第1関節、および第2関節が伸びている状態を判定すると、指差し方法としては、パターン1を適用するものと判断する。具体的には、指差し方向算出部122は、図4に示すように、上腕と下腕との成す角度をθeとしたときに、
角度θe≦閾値The
となる場合に肘が曲がっていると判定すると共に、図5に示すように、指の第1関節における角度をθ1、第2関節における角度をθ2としたときに、
角度θ1≧閾値Th1
角度θ2≧閾値Th2
となる場合に指の各関節が伸びていると判定する。そして、指差し方向算出部122は、指の伸びる延長線の方向を指差し方向として算出する。
指差し方向算出部122は、操作者の視線の中心付近に指先が位置しており、図6に示すように、視線方向Vgと、眼球位置Peおよび指先位置Ptを結ぶ線分との成す角を∠(Vg、Pe-Pt)としたとき、
∠(Vg、Pe-Pt)≦閾値Thf
となる場合に、指差し方法としては、パターン2を適用するものと判断する。そして、指差し方向算出部122は、眼球位置Peおよび指先位置Ptを結ぶ線分の方向を指差し方向として算出する。
指差し方向算出部122は、操作者の肘が伸びている状態を判定すると、指差し方法としては、パターン3を適用するものと判断する。具体的には、指差し方向算出部122は、図7に示すように、上腕と下腕との成す角度をθeとしたときに、
角度θe≧閾値The´
となる場合に肘が伸びていると判定する。そして、指差し方向算出部122は、肩と指先とを結ぶ線分の方向を指差し方向として算出する。
指差し方向算出部122は、肘が曲がっており、且つ、指の第1関節、および第2関節が曲がっている状態を判定すると、指差し方法としては、パターン4を適用するものと判断する。具体的には、指差し方向算出部122は、図4に示すように、上腕と下腕との成す角度をθeとしたときに、
角度θe≦閾値The
となる場合に肘が曲がっていると判定すると共に、図8に示すように、指の第1関節における角度をθ1、第2関節における角度をθ2としたときに、
角度θ1≦閾値Th1´
角度θ2≦閾値Th2´
となる場合に指の各関節が曲がっていると判定する。そして、指差し方向算出部122は、手首と指先とを結ぶ線分の方向を指差し方向として算出する。
第1実施形態の変形例を図3(変形例)、図9、図10に示す。本変形例は、上記第1実施形態に対して、指差し方向の算出要領を変更したものである。
1)指差し方法の判断として、操作者の肘が曲がっているという条件に代えて、図9に示すように、手首が曲がっているという条件にしてもよい。指差し方向算出部122は、手首における曲げ角度をθwとしたときに、
角度θw≦閾値Thw
となる場合に手首が曲がっていると判定する。そして、指差し方向算出部122は、指の伸びる延長線の方向を指差し方向として算出する。
角度θ3≦閾値Th3
となる場合に指の第3関節が曲がっていると判定する。そして、指差し方向算出部122は、指の伸びる延長線の方向を指差し方向として算出する。
1)指差し方法の判断として、指差し方向算出部122は、操作者の指が上側を向いている場合という条件を採用してもよい。即ち、指のピッチ方向(上方向)のベクトルをPf、上を向いていることを示す閾値をThfとしたとき、
ベクトルPf≧閾値Thf
となる場合に、指が上側を向いていると判定し、例えば、指先と、表示部11における複数のアイコン11bのうち一番近いアイコン11bとを結ぶ線分の方向を指差し方向として算出する。
予め記憶部121に記憶された操作者の利き目情報を使用する、あるいは、
左右の目の平均値を使用する、あるいは、
指を指している手と同じ側の目を利き目とする(指差しをしている手が右手ならば、右目を利き目とする)、あるいは、
指先が位置する側の目を利き目とする(左右の手は関係なく、指差しジェスチャする指が操作者の右側にあれば、右目を利き目とする)、ことができる。
操作者自身の指によって操作対象(例えば、カーソル11aやアイコン11b)を隠さないように、視線方向Vgに対して、少し下側を指差す場合があるため、指先が視線方向Vgに対して下側にある場合は、閾値Thfを所定量だけ、大きくした値に変更してもよい。
上記各実施形態では、操作対象を各種車両機器10としたが、これに限定されることなく、家庭用や施設用に設けられた機器に適用してもよい。仮定用機器としては、例えば、テレビや、オーディオ等、また、施設用機器としては、例えば、銀行のATMや、駅の自動券売機等が挙げられる。
100 ジェスチャ検出装置
110 取得部
120 制御部
Claims (6)
- 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出装置において、
前記操作者の体の姿勢を取得する取得部(110)と、
前記取得部によって取得された前記体の姿勢と、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う制御部(120)とを備え、
算出された前記指差し方向が、複数ある場合、
前記制御部は、予め定められた優先順位に従って、最終的な指差し方向として決定するジェスチャ検出装置。 - 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出装置において、
前記操作者の体の姿勢を取得する取得部(110)と、
前記取得部によって取得された前記体の姿勢と、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う制御部(120)とを備え、
算出された前記指差し方向が、複数ある場合、
前記制御部は、複数の前記指差し方向の平均値を、最終的な指差し方向として決定するジェスチャ検出装置。 - 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出方法において、
前記操作者の体の姿勢を取得する取得ステップ(S100)と、
前記取得ステップによって取得された前記体の姿勢と、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う算出入力ステップ(S110、S140)とを備え、
算出された前記指差し方向が、複数ある場合、
予め定められた優先順位に従って、最終的な指差し方向として決定するステップを備えるジェスチャ検出方法。 - 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出方法において、
前記操作者の体の姿勢を取得する取得ステップ(S100)と、
前記取得ステップによって取得された前記体の姿勢と、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う算出入力ステップ(S110、S140)とを備え、
算出された前記指差し方向が、複数ある場合、
複数の前記指差し方向の平均値を、最終的な指差し方向として決定するステップを備えるジェスチャ検出方法。 - 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出制御プログラムにおいて、
コンピュータを、
前記操作者の体の姿勢を取得する取得部(110)によって取得された前記体の姿勢データと、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行うと共に、
算出された前記指差し方向が、複数ある場合、予め定められた優先順位に従って、最終的な指差し方向として決定する制御部(120)として機能させるジェスチャ検出制御プログラム。 - 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出制御プログラムにおいて、
コンピュータを、
前記操作者の体の姿勢を取得する取得部(110)によって取得された前記体の姿勢データと、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行うと共に、
算出された前記指差し方向が、複数ある場合、複数の前記指差し方向の平均値を、最終的な指差し方向として決定する制御部(120)として機能させるジェスチャ検出制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220240A JP7293620B2 (ja) | 2018-11-26 | 2018-11-26 | ジェスチャ検出装置、およびジェスチャ検出方法 |
PCT/JP2019/044341 WO2020110706A1 (ja) | 2018-11-26 | 2019-11-12 | ジェスチャ検出装置、およびジェスチャ検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220240A JP7293620B2 (ja) | 2018-11-26 | 2018-11-26 | ジェスチャ検出装置、およびジェスチャ検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020086913A JP2020086913A (ja) | 2020-06-04 |
JP7293620B2 true JP7293620B2 (ja) | 2023-06-20 |
Family
ID=70853813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018220240A Active JP7293620B2 (ja) | 2018-11-26 | 2018-11-26 | ジェスチャ検出装置、およびジェスチャ検出方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7293620B2 (ja) |
WO (1) | WO2020110706A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021182677A (ja) | 2020-05-18 | 2021-11-25 | キヤノン株式会社 | 通信装置、制御方法、およびプログラム |
JP7568913B2 (ja) | 2020-11-24 | 2024-10-17 | 富士通株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014013434A (ja) | 2012-07-03 | 2014-01-23 | Ntt Docomo Inc | 表示装置、処理方法及びプログラム |
-
2018
- 2018-11-26 JP JP2018220240A patent/JP7293620B2/ja active Active
-
2019
- 2019-11-12 WO PCT/JP2019/044341 patent/WO2020110706A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014013434A (ja) | 2012-07-03 | 2014-01-23 | Ntt Docomo Inc | 表示装置、処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020110706A1 (ja) | 2020-06-04 |
JP2020086913A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11314335B2 (en) | Systems and methods of direct pointing detection for interaction with a digital device | |
US20170351338A1 (en) | Input unit for controlling a display image according to a distance of the input unit and user | |
US9329691B2 (en) | Operation input apparatus and method using distinct determination and control areas | |
US9489500B2 (en) | Manipulation apparatus | |
US10496236B2 (en) | Vehicle display device and method for controlling vehicle display device | |
CN109213363B (zh) | 预测指示器触摸位置或确定3d空间中指向的系统和方法 | |
CN110869882B (zh) | 用于运行用于机动车的显示设备的方法以及机动车 | |
JP7293620B2 (ja) | ジェスチャ検出装置、およびジェスチャ検出方法 | |
US20210397247A1 (en) | Optimize power consumption of display and projection devices by tracing passenger's trajectory in car cabin | |
CN105759955B (zh) | 输入装置 | |
JP7163649B2 (ja) | ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム | |
KR20150027608A (ko) | 제스처 기반의 원격 조작 시스템 및 그 조작 방법 | |
JP2020107031A (ja) | 指示ジェスチャ検出装置、およびその検出方法 | |
JP7024702B2 (ja) | ジェスチャ検出装置、およびジェスチャ検出方法 | |
WO2017188098A1 (ja) | 車載用情報処理システム | |
JP6696357B2 (ja) | ポインタ制御システムおよびポインタ制御プログラム | |
JP2020190941A (ja) | ポインティング入力装置 | |
US20160283103A1 (en) | Electronic devices provided with touch display panel | |
JP2018041219A (ja) | 視点取得システムおよび視点取得プログラム | |
JP2018092518A (ja) | 表示制御システムおよび表示制御プログラム | |
JP2018010583A (ja) | 操作支援装置及びコンピュータプログラム | |
JP2018063506A (ja) | 操作支援装置及びコンピュータプログラム | |
JP2018041354A (ja) | ポインタ制御システムおよびポインタ制御プログラム | |
JP2018163555A (ja) | 情報入力システムおよび情報入力プログラム | |
JP2018063523A (ja) | 表示制御システムおよび表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7293620 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |