JP7293620B2 - ジェスチャ検出装置、およびジェスチャ検出方法 - Google Patents

ジェスチャ検出装置、およびジェスチャ検出方法 Download PDF

Info

Publication number
JP7293620B2
JP7293620B2 JP2018220240A JP2018220240A JP7293620B2 JP 7293620 B2 JP7293620 B2 JP 7293620B2 JP 2018220240 A JP2018220240 A JP 2018220240A JP 2018220240 A JP2018220240 A JP 2018220240A JP 7293620 B2 JP7293620 B2 JP 7293620B2
Authority
JP
Japan
Prior art keywords
pointing
operator
pointing direction
gesture
body posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018220240A
Other languages
English (en)
Other versions
JP2020086913A (ja
Inventor
佳行 津田
勝之 今西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2018220240A priority Critical patent/JP7293620B2/ja
Priority to PCT/JP2019/044341 priority patent/WO2020110706A1/ja
Publication of JP2020086913A publication Critical patent/JP2020086913A/ja
Application granted granted Critical
Publication of JP7293620B2 publication Critical patent/JP7293620B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本発明は、入力操作に用いるジェスチャを検出するジェスチャ検出装置、およびジェスチャ検出方法に関するものである。
従来のジェスチャ検出装置として、例えば、特許文献1に記載されたものが知られている。特許文献1のジェスチャ検出装置(情報入力装置)では、機器制御器は、操作者のジェスチャ(手の形状、状態、状態の変化)に基づいて、制御対象機器を特定し、更に、制御コマンドを決定し、制御対象機器に対する入力(遠隔操作)ができるようになっている。例えば、操作者のジェスチャとして、人差し指を立てた指差しジェスチャによって、ディスプレイ(テレビ)画面が指し示されると、機器制御器は、制御対象機器がテレビであることを認識し、この指差しジェスチャによって、指の延長線上に位置したディスプレイ上のカーソルを移動することができるようになっている。
また、特許文献2のジェスチャ検出装置(操作入力装置)では、ディスプレイ画面と、ディスプレイ画面の外側領域となる延長面とによって、展開面が設定されている。そして、操作者の目の位置(基準点)と、展開面の前方にかざされた手の指先(指示物)とを結ぶ仮想線によって、指差しによる展開面上の位置(対象点)が定義されるようになっている。
特開2013-205983号公報 特開2005-321870号公報
しかしながら、上記特許文献1、2では、それぞれ、所定の指差し方法が予め決められており、その方法を前提として、指差し方向が特定されるようになっている。よって、操作者が、所定の指差し方法とは異なる指差しジェスチャを行うと誤操作が発生する。一方、誤操作を回避するために、どの部位でどのように指差しをするのかを操作者に制約すると、操作者は煩わしさを感じる。
本発明の目的は、上記問題に鑑み、操作者に対して煩わしさを感じさせることなく、誤操作の低減を可能とするジェスチャ検出装置、およびジェスチャ検出方法を提供することにある。
本発明は上記目的を達成するために、以下の技術的手段を採用する。
第1の発明では、操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出装置において、
操作者の体の姿勢を取得する取得部(110)と、
取得部によって取得された体の姿勢と、体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で指差し方向を算出して、操作対象に対する入力を行う制御部(120)とを備え
算出された指差し方向が、複数ある場合、
制御部は、
予め定められた優先順位に従って、最終的な指差し方向として決定する、
あるいは、複数の指差し方向の平均値を、最終的な指差し方向として決定することを特徴としている。
また、第2の発明では、操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出方法において、
操作者の体の姿勢を取得する取得ステップ(S100)と、
取得ステップによって取得された体の姿勢と、体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で指差し方向を算出して、操作対象に対する入力を行う算出入力ステップ(S110、S140)とを備え
算出された指差し方向が、複数ある場合、
予め定められた優先順位に従って、最終的な指差し方向として決定するステップを備える、
あるいは、複数の指差し方向の平均値を、最終的な指差し方向として決定するステップを備えることを特徴としている。
また、第3の発明では、操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出制御プログラムにおいて、
コンピュータを、
操作者の体の姿勢を取得する取得部(110)によって取得された体の姿勢データと、体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で指差し方向を算出して、操作対象に対する入力を行うと共に、
算出された指差し方向が、複数ある場合、
予め定められた優先順位に従って、最終的な指差し方向として決定する、
あるいは、複数の指差し方向の平均値を、最終的な指差し方向として決定する制御部(120)として機能させることを特徴としている。
これにより、制御部(120)は、操作者の体の姿勢と、予め定められた閾値とに基づいて、操作者がどの方向(位置)を指差しているのかを自動判定することができるので、操作者に対して煩わしさを感じさせることなく、誤操作の低減を図ることができる。
尚、上記各手段の括弧内の符号は、後述する実施形態記載の具体的手段との対応関係を示すものである。
第1実施形態におけるジェスチャ検出装置の全体構成を示すブロック図である。 制御部が行う制御内容を示すフローチャートである。 具体的に指差し方向を算出する際に用いる閾値(判断基準)を示す表である。 肘が曲がっている状態を示す説明図である。 指の第1関節と第2関節とが伸びている状態を示す説明図である。 視線方向、眼球位置、および指先位置を示す説明図である。 肘が伸びている状態を示す説明図である。 肘、および指の第1、第2関節が曲がっている状態を示す説明図である。 変形例において、手首が曲がっている状態を示す説明図である。 変形例において、指の第3関節が曲がっている状態を示す説明図である。
以下に、図面を参照しながら本発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
(第1実施形態)
第1実施形態のジェスチャ検出装置100について図1~図8を用いて説明する。本実施形態のジェスチャ検出装置100は、例えば車両に搭載され、操作者(運転者)の指差しジェスチャによる指差し方向に基づいて、各種車両機器10に対する入力指示を行う装置となっている。指差しジェスチャにおける指は、例えば、人差し指とすることができる。
各種車両機器10としては、例えば、車室内の空調を行う空調装置、自車の現在位置表示あるいは目的地への案内表示等を行うカーナビゲーション装置(以下、カーナビ装置)、テレビ放映、ラジオ放送、CD/DVDの再生等を行うオーディオ装置等、がある。これらの車両機器10は、本発明の操作対象に対応する。尚、各種車両機器10としては、上記に限らず、ヘッドアップディスプレイ装置、ルームランプ装置、後席サンシェード装置、電動シート装置、グローボックス開閉装置等がある。
空調装置、カーナビゲーション装置、およびオーディオ装置等は、例えば、液晶ディスプレイや有機ELディスプレイ等を用いた表示部11を有しており、この表示部11には、例えば、カーソル11a、操作用のアイコン11b、更にはそれぞれの作動状態等が表示されるようになっている。
ジェスチャ検出装置100は、図1に示すように、取得部110、および制御部120等を備えている。制御部120は、取得部110によって取得された操作者の指差しジェスチャの姿勢データ(体の姿勢)と、後述する各種閾値とをもとに、予め定められた各種パターン(図3)の中から適合する指差し方法を判断し、この指差し方法に対応する算出方法で指差し方向を算出するようになっている。そして、制御部120は、この指差し方向のデータを各種車両機器10に出力することで、各種車両機器10に対する入力指示(入力操作のための指示)を行うようになっている。
つまり、指差しジェスチャが行われることで、指差し方向と交わるカーソル11aが移動される、また、指差し方向と交わるアイコン11bが選択されることで、各種車両機器10における作動条件が変更され、表示部11には、操作の結果(作動状態等)が表示される。
尚、各種車両機器10は、指差しジェスチャによって、例えば、空調装置であると、設定温度の変更、空調風の風量の変更等が行われ、また、カーナビ装置では、地図の拡大縮小、目的地設定等が行われ、また、オーディオ装置では、テレビ局、ラジオ局の変更、楽曲の選択、音量の変更等が行われる。
取得部110は、操作者の指差しジェスチャ(体の姿勢)を連続的に(時間経過と共に)取得し、指差しジェスチャデータ(体の姿勢データ)として制御部120に出力するようになっている。取得部110は、操作者の主に上半身における顔、目の位置(視線方向Vg)、および肩、肘、手首、指等の姿勢、更には表示部11を取得するようになっている。
取得部110としては、対象物の輝度画像を形成するカメラ、距離画像を形成する距離画像センサ、あるいはそれらの組合せを用いることができる。カメラとしては、近赤外線を捉える近赤外線カメラ、あるいは可視光を捉える可視光カメラ等がある。また、距離画像センサとしては、例えば、複数のカメラで同時に撮影して視差から奥行方向の情報を計測するステレオカメラ、あるいは、光源からの光が対象物で反射して返るまでの時間で奥行きを計測するToF(Time of Flight)カメラ等がある。本実施形態では、取得部110としては、上記のように対象物の輝度画像を形成するカメラを用いたものとしている。
制御部120は、例えば、CPU、ROM、RAM等を備えたコンピュータであり、記憶部121、指差し方向算出部122、および入力制御部123等を備えている。
記憶部121は、指差し方法を判断する際の判定条件となる各種閾値(予め定められた各種パターンごとの閾値)、および算出された指差し方向が複数ある場合の優先順位等を記憶する部位となっている。
各種閾値としては、図3~図8に示すように、肘の曲り具合(角度θe)を判定する閾値The、閾値The´、更に、指の第1関節、および第2関節の曲り具合(角度θ1、θ2)を判定する閾値Th1、閾値Th2、閾値Th1´、閾値Th2´がある。また、各種閾値として、視線方向Vg、眼球位置Pe、および指先位置Ptをもとにして、視線方向Vgと、眼球位置Peおよび指先位置Ptを結ぶ線分との成す角∠(Vg、Pe-Pt)(図6)を判定する閾値Thfがある。
また、優先順位は、後述するように指差し方向が複数、算出された場合に、どの方向を優先して指差し方向として採用するかを決めるための順位として予め定められている。
記憶部121に記憶された各種閾値データ、および優先順位は、後述するように指差し方向が算出される際(図2のステップS110)に、指差し方向算出部122によって、参照されるようになっている。
指差し方向算出部122は、取得部110から出力される操作者の指差しジェスチャデータと、記憶部121に記憶された各種閾値、優先順位とを用いて、指差し方法を判断し、この指差し方法に対応する算出方法で、操作者の指差しジェスチャによる実際の指差し方向を算出する部位となっている。
入力制御部123は、指差し方向算出部122によって算出された指差し方向のデータを、各種車両機器10に出力する部位となっている。
本実施形態のジェスチャ検出装置100は、以上のような構成となっており、以下、作動および作用効果について説明する(図2~図8)。
図2に示すフローチャートにおいて、まず、ステップS100で、取得部110によって操作者の指差しジェスチャ(姿勢データ)が取得され、取得された指差しジェスチャのデータは、制御部120における指差し方向算出部122に出力される。ステップS100は、本発明の取得ステップに対応する。
ステップS110で、指差し方向算出部122は、出力された指差しジェスチャデータと、記憶部121にある各種閾値とから、例えば、図3の模式図、および判断基準(各種パターン)に示すように、適合する指差し方法を判断し、この指差し方法に対応する算出方法で実際の指差し方向を算出する。以下、指差し方法の判断の要領と、指差し方向の算出要領(ここでは、以下の4つのパターン例)について具体的に説明する。
パターン1(指の方向に基づくパターン)
指差し方向算出部122は、操作者の肘が曲がっており、且つ、指の第1関節、および第2関節が伸びている状態を判定すると、指差し方法としては、パターン1を適用するものと判断する。具体的には、指差し方向算出部122は、図4に示すように、上腕と下腕との成す角度をθeとしたときに、
角度θe≦閾値The
となる場合に肘が曲がっていると判定すると共に、図5に示すように、指の第1関節における角度をθ1、第2関節における角度をθ2としたときに、
角度θ1≧閾値Th1
角度θ2≧閾値Th2
となる場合に指の各関節が伸びていると判定する。そして、指差し方向算出部122は、指の伸びる延長線の方向を指差し方向として算出する。
パターン2(目-指先に基づくパターン)
指差し方向算出部122は、操作者の視線の中心付近に指先が位置しており、図6に示すように、視線方向Vgと、眼球位置Peおよび指先位置Ptを結ぶ線分との成す角を∠(Vg、Pe-Pt)としたとき、
∠(Vg、Pe-Pt)≦閾値Thf
となる場合に、指差し方法としては、パターン2を適用するものと判断する。そして、指差し方向算出部122は、眼球位置Peおよび指先位置Ptを結ぶ線分の方向を指差し方向として算出する。
パターン3(肩-指先に基づくパターン)
指差し方向算出部122は、操作者の肘が伸びている状態を判定すると、指差し方法としては、パターン3を適用するものと判断する。具体的には、指差し方向算出部122は、図7に示すように、上腕と下腕との成す角度をθeとしたときに、
角度θe≧閾値The´
となる場合に肘が伸びていると判定する。そして、指差し方向算出部122は、肩と指先とを結ぶ線分の方向を指差し方向として算出する。
パターン4(手の方向に基づくパターン)
指差し方向算出部122は、肘が曲がっており、且つ、指の第1関節、および第2関節が曲がっている状態を判定すると、指差し方法としては、パターン4を適用するものと判断する。具体的には、指差し方向算出部122は、図4に示すように、上腕と下腕との成す角度をθeとしたときに、
角度θe≦閾値The
となる場合に肘が曲がっていると判定すると共に、図8に示すように、指の第1関節における角度をθ1、第2関節における角度をθ2としたときに、
角度θ1≦閾値Th1´
角度θ2≦閾値Th2´
となる場合に指の各関節が曲がっていると判定する。そして、指差し方向算出部122は、手首と指先とを結ぶ線分の方向を指差し方向として算出する。
尚、指差し方向算出部122は、上記のパターン1~4において、算出条件を満たすものについては、全て算出する。また、指の第1関節、および第2関節は、同時に曲がる、あるいは伸びることを前提としている。
図2に戻って、次に、ステップS120で、指差し方向算出部122は、上記ステップS110で算出した指差し方向が、車両機器10の表示部11に交わっているか否かを判定し、交わっていると判定した場合は、ステップS130に進み、否と判定した場合は、本制御を終了し、スタートに戻る。
ステップS130では、更に、指差し方向算出部122は、ステップS110におけるパターン1~4の算出のうち、複数の指差し方向が算出されたか否かを判定し、複数の指差し方向が算出された場合は、ステップS150に移行し、また、否と判定した場合は、ステップS140に移行する。
ステップS140では、入力制御部123は、ステップS110で算出した指差し方向(1つの指差し方向)に基づいて、車両機器10に対する入力指示を実施する。上記ステップS110、および本ステップS140は、本発明の算出入力ステップに対応する。
また、ステップS150では、指差し方向算出部122は、複数算出された指差し方向に対して、記憶部121に予め記憶された優先順位に基づいて、最終の指差し方向を決定して、ステップS140に進む。尚、優先順位としては、図3において、例えば、1位を目-指先に基づくもの、2位を指の方向に基づくもの、3位を手の方向に基づくもの、4位を肩-指先に基づくものと設定することが可能である。あるいは、図3において、例えば、1位を目-指先に基づくもの、2位を肩-指先に基づくもの、3位を指の方向に基づくもの、4位を手の方向に基づくものと設定することも可能である。
あるいは、ステップS150においては、指差し方向算出部122は、複数算出された指差し方向に対して、平均化することで、最終の指差し方向として決定するようにしてもよい。
尚、指差しジェスチャにおける指は、人差し指として説明したが(図3~図8)、人差し指に限らず、他の指を使用するものとしてもよい。
以上のように、本実施形態では、制御部120は、取得部110によって取得された操作者の体の姿勢と、体の姿勢に対して予め定められた閾値とに基づいて、指差し方法を判断し、指差し方法に対応する算出方法で指差しジェスチャにおける指差し方向を算出して、各種車両機器10に対する入力を行うようにしている。
これにより、制御部120は、操作者の体の姿勢が種々の形態を取る場合であっても、体の姿勢と、予め定められた閾値とに基づいて指差し方法を判断し、指差し方法に対応する算出方法で操作者がどの方向(位置)を指差しているのかを、自動判定することができるので、操作者に対して煩わしさを感じさせることなく、誤操作の低減を図ることができる。
また、本実施形態では、算出された指し方向が、表示部11(操作対象)に交わらない場合、制御部120は、入力制御の対象から除外するようにしている(ステップS120のNoの場合)。これにより、操作者の意図しない指差しジェスチャに対する入力を禁止して、入力操作の信頼性を向上させることができる。
また、本実施形態では、算出された指差し方向が、複数ある場合、制御部120は、予め定められた優先順位に従って、あるいは、平均値を用いる(平均化する)ことで、最終的な指差し方向として決定するようにしている。これにより、算出される指差し方向の信頼度を向上させることができる。
(第1実施形態の変形例)
第1実施形態の変形例を図3(変形例)、図9、図10に示す。本変形例は、上記第1実施形態に対して、指差し方向の算出要領を変更したものである。
尚、記憶部121には、上記各種閾値、および優先順位に加えて、予め、操作者の利き目がどちら側であるか(右目か左目か)という利き目情報が記憶されている。利き目情報は、予め操作者によって登録されたもの、あるいは、操作者の視線移動パターンから判定したもの、あるいは、操作者の視線方向Vgおよび注視点から判定したもの等とすることができる。
1.図3中のパターン1(指の方向)に基づく算出において、
1)指差し方法の判断として、操作者の肘が曲がっているという条件に代えて、図9に示すように、手首が曲がっているという条件にしてもよい。指差し方向算出部122は、手首における曲げ角度をθwとしたときに、
角度θw≦閾値Thw
となる場合に手首が曲がっていると判定する。そして、指差し方向算出部122は、指の伸びる延長線の方向を指差し方向として算出する。
2)指差し方法の判断として、操作者の肘が曲がっているという条件に代えて、図10に示すように、指の第3関節が曲がっているという条件にしてもよい。指差し方向算出部122は、第3関節における角度をθ3としたときに、
角度θ3≦閾値Th3
となる場合に指の第3関節が曲がっていると判定する。そして、指差し方向算出部122は、指の伸びる延長線の方向を指差し方向として算出する。
3)更に、指差し方法の判断として、操作者の肘、手首、指の第3関節のうち、2つ以上の条件の組合せとして、指差し方向を算出するようにしてもよい。
2.図3中のパターン2(目-指先)に基づく算出において、
1)指差し方法の判断として、指差し方向算出部122は、操作者の指が上側を向いている場合という条件を採用してもよい。即ち、指のピッチ方向(上方向)のベクトルをPf、上を向いていることを示す閾値をThfとしたとき、
ベクトルPf≧閾値Thf
となる場合に、指が上側を向いていると判定し、例えば、指先と、表示部11における複数のアイコン11bのうち一番近いアイコン11bとを結ぶ線分の方向を指差し方向として算出する。
尚、指が上側を向く場合というのは、例えば、操作者が、表示部11のアイコン11bを指で押すときのイメージをもって空中で指差し、指が上側を向くことを想定したものである。操作者の視線が、ハードウエア構成上の理由や、外乱光等によって一時的に検知失敗をしたような場合に、この算出要領は有効となる。
2)操作者の左右どちらの目の視線方向Vg、眼球位置Peを使うかについて、
予め記憶部121に記憶された操作者の利き目情報を使用する、あるいは、
左右の目の平均値を使用する、あるいは、
指を指している手と同じ側の目を利き目とする(指差しをしている手が右手ならば、右目を利き目とする)、あるいは、
指先が位置する側の目を利き目とする(左右の手は関係なく、指差しジェスチャする指が操作者の右側にあれば、右目を利き目とする)、ことができる。
3)閾値Thfの設定について、
操作者自身の指によって操作対象(例えば、カーソル11aやアイコン11b)を隠さないように、視線方向Vgに対して、少し下側を指差す場合があるため、指先が視線方向Vgに対して下側にある場合は、閾値Thfを所定量だけ、大きくした値に変更してもよい。
以上のように、本変形例においても、上記第1実施形態と同様に、操作者がどの方向(位置)を指差しているのかを、自動判定することができるので、操作者に対して煩わしさを感じさせることなく、誤操作の低減を図ることができる。
(その他の実施形態)
上記各実施形態では、操作対象を各種車両機器10としたが、これに限定されることなく、家庭用や施設用に設けられた機器に適用してもよい。仮定用機器としては、例えば、テレビや、オーディオ等、また、施設用機器としては、例えば、銀行のATMや、駅の自動券売機等が挙げられる。
また、車両に搭載されるものにおいて、対象となる操作者は、運転者に限らず、助手席者としてもよい。この場合、助手席者も、ジェスチャを行うことで、ジェスチャ検出装置100によるジェスチャ検出が行われて、各種車両機器10の操作が可能となる。
この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、更に請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
本開示に記載の制御部120、およびその手法は、コンピュータプログラムにより具体化された一つないしは複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置、およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置、およびその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
10 車両機器
100 ジェスチャ検出装置
110 取得部
120 制御部

Claims (6)

  1. 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出装置において、
    前記操作者の体の姿勢を取得する取得部(110)と、
    前記取得部によって取得された前記体の姿勢と、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う制御部(120)とを備え
    算出された前記指差し方向が、複数ある場合、
    前記制御部は、予め定められた優先順位に従って、最終的な指差し方向として決定するジェスチャ検出装置。
  2. 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出装置において、
    前記操作者の体の姿勢を取得する取得部(110)と、
    前記取得部によって取得された前記体の姿勢と、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う制御部(120)とを備え
    算出された前記指差し方向が、複数ある場合、
    前記制御部は、複数の前記指差し方向の平均値を、最終的な指差し方向として決定するジェスチャ検出装置。
  3. 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出方法において、
    前記操作者の体の姿勢を取得する取得ステップ(S100)と、
    前記取得ステップによって取得された前記体の姿勢と、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う算出入力ステップ(S110、S140)とを備え
    算出された前記指差し方向が、複数ある場合、
    予め定められた優先順位に従って、最終的な指差し方向として決定するステップを備えるジェスチャ検出方法。
  4. 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出方法において、
    前記操作者の体の姿勢を取得する取得ステップ(S100)と、
    前記取得ステップによって取得された前記体の姿勢と、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行う算出入力ステップ(S110、S140)とを備え、
    算出された前記指差し方向が、複数ある場合、
    複数の前記指差し方向の平均値を、最終的な指差し方向として決定するステップを備えるジェスチャ検出方法。
  5. 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出制御プログラムにおいて、
    コンピュータを、
    前記操作者の体の姿勢を取得する取得部(110)によって取得された前記体の姿勢データと、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行うと共に、
    算出された前記指差し方向が、複数ある場合、予め定められた優先順位に従って、最終的な指差し方向として決定する制御部(120)として機能させるジェスチャ検出制御プログラム。
  6. 操作者の指差しジェスチャによる指差し方向に基づいて、操作対象(10)に対する入力を行うジェスチャ検出制御プログラムにおいて、
    コンピュータを、
    前記操作者の体の姿勢を取得する取得部(110)によって取得された前記体の姿勢データと、前記体の姿勢に対して予め定められた閾値とに基づいて指差し方法を判断し、前記指差し方法に対応する算出方法で前記指差し方向を算出して、前記操作対象に対する入力を行うと共に、
    算出された前記指差し方向が、複数ある場合、複数の前記指差し方向の平均値を、最終的な指差し方向として決定する制御部(120)として機能させるジェスチャ検出制御プログラム。
JP2018220240A 2018-11-26 2018-11-26 ジェスチャ検出装置、およびジェスチャ検出方法 Active JP7293620B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018220240A JP7293620B2 (ja) 2018-11-26 2018-11-26 ジェスチャ検出装置、およびジェスチャ検出方法
PCT/JP2019/044341 WO2020110706A1 (ja) 2018-11-26 2019-11-12 ジェスチャ検出装置、およびジェスチャ検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018220240A JP7293620B2 (ja) 2018-11-26 2018-11-26 ジェスチャ検出装置、およびジェスチャ検出方法

Publications (2)

Publication Number Publication Date
JP2020086913A JP2020086913A (ja) 2020-06-04
JP7293620B2 true JP7293620B2 (ja) 2023-06-20

Family

ID=70853813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018220240A Active JP7293620B2 (ja) 2018-11-26 2018-11-26 ジェスチャ検出装置、およびジェスチャ検出方法

Country Status (2)

Country Link
JP (1) JP7293620B2 (ja)
WO (1) WO2020110706A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021182677A (ja) 2020-05-18 2021-11-25 キヤノン株式会社 通信装置、制御方法、およびプログラム
JP7568913B2 (ja) 2020-11-24 2024-10-17 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014013434A (ja) 2012-07-03 2014-01-23 Ntt Docomo Inc 表示装置、処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014013434A (ja) 2012-07-03 2014-01-23 Ntt Docomo Inc 表示装置、処理方法及びプログラム

Also Published As

Publication number Publication date
WO2020110706A1 (ja) 2020-06-04
JP2020086913A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
US11314335B2 (en) Systems and methods of direct pointing detection for interaction with a digital device
US20170351338A1 (en) Input unit for controlling a display image according to a distance of the input unit and user
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
US9489500B2 (en) Manipulation apparatus
US10496236B2 (en) Vehicle display device and method for controlling vehicle display device
CN109213363B (zh) 预测指示器触摸位置或确定3d空间中指向的系统和方法
CN110869882B (zh) 用于运行用于机动车的显示设备的方法以及机动车
JP7293620B2 (ja) ジェスチャ検出装置、およびジェスチャ検出方法
US20210397247A1 (en) Optimize power consumption of display and projection devices by tracing passenger's trajectory in car cabin
CN105759955B (zh) 输入装置
JP7163649B2 (ja) ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム
KR20150027608A (ko) 제스처 기반의 원격 조작 시스템 및 그 조작 방법
JP2020107031A (ja) 指示ジェスチャ検出装置、およびその検出方法
JP7024702B2 (ja) ジェスチャ検出装置、およびジェスチャ検出方法
WO2017188098A1 (ja) 車載用情報処理システム
JP6696357B2 (ja) ポインタ制御システムおよびポインタ制御プログラム
JP2020190941A (ja) ポインティング入力装置
US20160283103A1 (en) Electronic devices provided with touch display panel
JP2018041219A (ja) 視点取得システムおよび視点取得プログラム
JP2018092518A (ja) 表示制御システムおよび表示制御プログラム
JP2018010583A (ja) 操作支援装置及びコンピュータプログラム
JP2018063506A (ja) 操作支援装置及びコンピュータプログラム
JP2018041354A (ja) ポインタ制御システムおよびポインタ制御プログラム
JP2018163555A (ja) 情報入力システムおよび情報入力プログラム
JP2018063523A (ja) 表示制御システムおよび表示制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R150 Certificate of patent or registration of utility model

Ref document number: 7293620

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150