JP2023518562A - デバイスのハンドジェスチャベースの制御のための方法及びシステム - Google Patents
デバイスのハンドジェスチャベースの制御のための方法及びシステム Download PDFInfo
- Publication number
- JP2023518562A JP2023518562A JP2022557658A JP2022557658A JP2023518562A JP 2023518562 A JP2023518562 A JP 2023518562A JP 2022557658 A JP2022557658 A JP 2022557658A JP 2022557658 A JP2022557658 A JP 2022557658A JP 2023518562 A JP2023518562 A JP 2023518562A
- Authority
- JP
- Japan
- Prior art keywords
- gesture
- hand
- space
- detected
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 138
- 238000001514 detection method Methods 0.000 claims description 152
- 238000012545 processing Methods 0.000 claims description 49
- 230000015654 memory Effects 0.000 claims description 14
- 210000003484 anatomy Anatomy 0.000 claims 2
- 238000004590 computer program Methods 0.000 claims 2
- 230000003044 adaptive effect Effects 0.000 description 61
- 230000008859 change Effects 0.000 description 27
- 210000000887 face Anatomy 0.000 description 22
- 230000003068 static effect Effects 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 230000007704 transition Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 241000699666 Mus <mouse, genus> Species 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000001976 improved effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Social Psychology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
(外1)
は、所定のスケールパラメータである。パラメータ(Δx,Δy)及び
(外2)
は、それに従う結果として仮想ジェスチャ空間704の所望のサイズ及び仮想ジェスチャ空間704内のバウンディングボックス702の所望のポジショニングをもたらすように、(例えばユーザ10によって又はジェスチャ制御デバイス100の製造者によって)予め定義され得る。いくつかの例において、仮想ジェスチャ空間704は、顔12のバウンディングボックス702が部分的又は全体的に仮想ジェスチャ空間704の外部にあるように生成されてもよいことに留意されたい。すなわち、仮想ジェスチャ空間704を生成するための基礎として顔12が使用され得るが、必ずしも仮想ジェスチャ空間704が顔12を含む必要はない。
(外3)
は、検出された手に関する所定のスケールパラメータである。パラメータ(Δxh、Δyh)及び
(外4)
は、それに従う結果として、再定義された仮想ジェスチャ空間704bの所望のサイズ及び再定義された仮想ジェスチャ空間704b内のバウンディングボックス706の所望のポジショニングをもたらすように、(例えばユーザ10によって又はジェスチャ制御デバイス100の製造者によって)予め定義され得る。注目すべきことに、図10Bの例に示されるように、顔12は、再定義された仮想ジェスチャ空間704bから部分的又は全体的に除外され得る。
前述したように、いくつかの例では、手検出及び追跡サブシステム316は、ジェスチャ認識のためにジェスチャ認識サブシステム322によって使用されるべきバウンディングボックスを出力し得る。いくつかの実施形態では、ジェスチャ認識サブシステム322は、機械学習アルゴリズムを使用して構築されるモデルを実装し得る。いくつかの実施形態では、ジェスチャ認識サブシステム322は、ジェスチャ分類を実行するために構成される、トレーニングされたニューラルネットワーク(以下、トレーニングされたジェスチャ分類ネットワークと称する)を含み得る。トレーニングされたジェスチャ分類ネットワークは、ニューラルネットワークのパラメータ(例えば重み)を学習するために既知の機械学習アルゴリズムを用いてトレーニングされている。トレーニングされたジェスチャ分類は、検出されたハンドジェスチャのためのバウンディングボックスを受け取り、バウンディングボックスに対応するジェスチャクラスの所定のセットから特定のジェスチャクラスを予測する。
(外5)
は、m回目のバウンディングボックス及び最終的な精緻化バウンディングボックスの対応する重み(例えばIoU(intersection over union))である。
及び
(外7)
は、それぞれ、低光及び好ましい照明条件下でキャプチャされた顔画像について、所定の(例えば較正を介して経験的に決定された又は事前コード化された)平均値及びピクセル強度の標準偏差を示すものとする。
Claims (22)
- デバイスのカメラによってキャプチャされたフレームのシーケンスの入力フレームを処理して、前記入力フレーム内の区別的な解剖学的特徴の少なくとも1つの検出されたインスタンスの位置を決定するステップと、
前記区別的な解剖学的特徴の前記少なくとも1つの検出されたインスタンスのうちの少なくとも選択された1つについて、前記区別的な解剖学的特徴の前記選択された1つのインスタンスの位置に基づいて仮想ジェスチャ空間を定義するステップであって、前記仮想ジェスチャ空間は、ジェスチャ入力を検出するために定義された空間である、ステップと、
前記フレームのシーケンス内の各フレームを前記仮想ジェスチャ空間内のみにおいて処理して、少なくとも1つの手を検出及び追跡し、該少なくとも1つの手を検出及び追跡することから生成される情報を使用して、前記少なくとも1つの手に関連付けられるジェスチャクラスを予測するステップと、
前記少なくとも1つの手に関連付けられる前記予測されたジェスチャクラスを出力するステップと、
を含む、方法。 - 前記区別的な解剖学的特徴は人間の顔である、
請求項1に記載の方法。 - 前記区別的な解剖学的特徴の複数の検出されたインスタンスが存在し、それぞれの検出されたインスタンスの各々について1つの仮想ジェスチャ空間が定義され、各仮想ジェスチャ空間は、手検出及び追跡を実行するために処理される、
請求項1又は2に記載の方法。 - 前記仮想ジェスチャ空間が定義された後に、該定義された仮想ジェスチャ空間内で手検出及び追跡を実行することによって、少なくとも1つの後続の入力フレームを、該後続の入力フレーム内で前記区別的な解剖学的特徴の検出を更に実行することなく、処理するステップ、
を更に含む、請求項1乃至3のいずれか一項に記載の方法。 - 前記少なくとも1つの手を検出及び追跡することから生成される情報を使用して、前記少なくとも1つの手の検出された位置に基づいて、前記仮想ジェスチャ空間を再定義するステップ、
を更に含む、請求項1乃至4のいずれか一項に記載の方法。 - 前記少なくとも1つの手の前記検出された位置に基づいて、前記仮想ジェスチャ空間を再定義した後に、該再定義された仮想ジェスチャ空間内で手検出及び追跡を実行することによって、少なくとも1つの後続の入力フレームを、該後続の入力フレーム内で前記区別的な解剖学的特徴の検出を更に実行することなく、処理するステップ、
を更に含む、請求項5に記載の方法。 - 前記少なくとも1つの手を検出及び追跡することから生成される前記情報は、前記入力フレーム内の前記少なくとも1つの手を定義しているバウンディングボックスを含み、ジェスチャ分類は前記バウンディングボックスを使用して実行される、
請求項1乃至6のいずれか一項に記載の方法。 - 前記仮想ジェスチャ空間内の1つ以上の部分空間を定義するステップ、
を更に含み、
前記少なくとも1つの手を検出及び追跡することから生成される情報は、前記少なくとも1つの手が前記1つ以上の部分空間のうちの1つにおいて検出されたことを示す情報を含み、
各部分空間はそれぞれのマウス入力に関連付けられる、
請求項1乃至7のいずれか一項に記載の方法。 - 前記フレームのシーケンス内の各入力フレームを前記仮想ジェスチャ空間内のみにおいて処理して、前記少なくとも1つの手を検出及び追跡するステップと、
前記少なくとも1つの手を検出及び追跡することから生成される情報を使用して、前記少なくとも1つの手に関連付けられるジェスチャクラスを出力するステップと、
を更に含む、請求項1乃至8のいずれか一項に記載の方法。 - 装置であって、
機械実行可能な命令を記憶するメモリに結合された処理デバイスを含み、前記命令は、前記処理デバイスによって実行されると、当該装置に、
入力フレームを処理させて、該入力フレーム内の区別的な解剖学的特徴の少なくとも1つの検出されたインスタンスの位置を決定させ、
前記区別的な解剖学的特徴の前記少なくとも1つの検出されたインスタンスのうちの少なくとも選択された1つについて、前記区別的な解剖学的特徴の前記選択された1つのインスタンスの位置に基づいて仮想ジェスチャ空間を定義させ、前記仮想ジェスチャ空間は、ジェスチャ入力を検出するために定義された空間であり、
前記入力フレームを前記仮想ジェスチャ空間内のみにおいて処理させて、少なくとも1つの手を検出及び追跡させ、
前記少なくとも1つの手を検出及び追跡することから生成される情報を使用して、前記少なくとも1つの手に関連付けられるジェスチャクラスを決定させる、
装置。 - 前記区別的な解剖学的特徴は人間の顔である、
請求項10に記載の装置。 - 前記区別的な解剖学的特徴の複数の検出されたインスタンスが存在し、それぞれの検出されたインスタンスの各々について1つの仮想ジェスチャ空間が定義され、各仮想ジェスチャ空間は、手検出及び追跡を実行するために処理される、
請求項10又は11に記載の装置。 - 前記命令は、当該装置に更に、
前記仮想ジェスチャ空間が定義された後に、該定義された仮想ジェスチャ空間内で手検出及び追跡を実行することによって、少なくとも1つの後続の入力フレームを、該後続の入力フレーム内で前記区別的な解剖学的特徴の検出を更に実行することなく、処理させる、
請求項10乃至12のいずれか一項に記載の装置。 - 前記命令は、当該装置に更に、
前記少なくとも1つの手を検出及び追跡することから生成される情報を使用して、前記少なくとも1つの手の検出された位置に基づいて、前記仮想ジェスチャ空間を再定義させる、
請求項10乃至13のいずれか一項に記載の装置。 - 前記命令は、当該装置に更に、
前記少なくとも1つの手の前記検出された位置に基づいて、前記仮想ジェスチャ空間を再定義した後に、該再定義された仮想ジェスチャ空間内で手検出及び追跡を実行することによって、少なくとも1つの後続の入力フレームを、該後続の入力フレーム内で前記区別的な解剖学的特徴の検出を更に実行することなく、処理させる、
請求項14に記載の装置。 - 前記少なくとも1つの手を検出及び追跡することから生成される前記情報は、前記入力フレーム内の前記少なくとも1つの手を定義しているバウンディングボックスを含み、ジェスチャ分類は前記バウンディングボックスを使用して実行される、
請求項10乃至15のいずれか一項に記載の装置。 - 前記命令は、当該装置に更に、
前記仮想ジェスチャ空間内の1つ以上の部分空間を定義させ、
前記少なくとも1つの手を検出及び追跡することから生成される情報は、前記少なくとも1つの手が前記1つ以上の部分空間のうちの1つにおいて検出されたことを示す情報を含み、
各部分空間はそれぞれのマウス入力に関連付けられる、
請求項10乃至16のいずれか一項に記載の装置。 - 当該装置は、ジェスチャ制御デバイスであり、前記決定されたジェスチャクラスは、前記ジェスチャ制御デバイスへのコマンド入力を決定するために使用される、
請求項10乃至17のいずれか一項に記載の装置。 - 前記入力フレームを含むフレームのシーケンスをキャプチャするためのカメラを更に含む、
請求項18に記載の装置。 - 前記ジェスチャ制御デバイスは、
テレビ、
スマートフォン、
タブレット、
車両結合デバイス
モノのインターネットデバイス、
人工現実デバイス、又は
仮想現実デバイス、
のうちの1つである、請求項18又は19に記載の装置。 - その上に記憶される機械実行可能な命令を有するコンピュータ読取可能媒体であって、前記命令は、装置の処理デバイスによって実行されると、前記装置に請求項1乃至9のいずれか一項に記載の方法を実行させる、コンピュータ読取可能媒体。
- その上に記憶される機械実行可能な命令を有するコンピュータプログラムであって、前記命令は、装置の処理デバイスによって実行されると、前記装置に請求項1乃至9のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/080562 WO2021189173A1 (en) | 2020-03-23 | 2020-03-23 | Methods and systems for hand gesture-based control of a device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023518562A true JP2023518562A (ja) | 2023-05-02 |
JP7447302B2 JP7447302B2 (ja) | 2024-03-11 |
Family
ID=77890797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022557658A Active JP7447302B2 (ja) | 2020-03-23 | 2020-03-23 | デバイスのハンドジェスチャベースの制御のための方法及びシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230082789A1 (ja) |
EP (1) | EP4115264A4 (ja) |
JP (1) | JP7447302B2 (ja) |
KR (1) | KR20220156601A (ja) |
CN (1) | CN115298638A (ja) |
BR (1) | BR112022019021A2 (ja) |
WO (1) | WO2021189173A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230107097A1 (en) * | 2021-10-06 | 2023-04-06 | Fotonation Limited | Method for identifying a gesture |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11275453B1 (en) | 2019-09-30 | 2022-03-15 | Snap Inc. | Smart ring for manipulating virtual objects displayed by a wearable device |
US11798429B1 (en) | 2020-05-04 | 2023-10-24 | Snap Inc. | Virtual tutorials for musical instruments with finger tracking in augmented reality |
US11925863B2 (en) * | 2020-09-18 | 2024-03-12 | Snap Inc. | Tracking hand gestures for interactive game control in augmented reality |
US11740313B2 (en) | 2020-12-30 | 2023-08-29 | Snap Inc. | Augmented reality precision tracking and display |
CN117178247A (zh) | 2021-04-19 | 2023-12-05 | 斯纳普公司 | 用于动画化及控制虚拟和图形元素的手势 |
KR20230073869A (ko) * | 2021-11-19 | 2023-05-26 | 삼성전자주식회사 | 인터랙션을 지원하는 사용자 인터페이스를 제공하는 방법 및 이를 수행하는 전자 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011039844A (ja) * | 2009-08-12 | 2011-02-24 | Shimane Prefecture | 画像認識装置および操作判定方法並びにプログラム |
JP2012515968A (ja) * | 2009-01-21 | 2012-07-12 | トムソン ライセンシング | 顔検出及びホットスポットの動きによりメディアを制御する方法 |
US20120236180A1 (en) * | 2011-03-15 | 2012-09-20 | Zhao-Yuan Lin | Image adjustment method and electronics system using the same |
JP2013257762A (ja) * | 2012-06-13 | 2013-12-26 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
US20190057246A1 (en) * | 2017-08-16 | 2019-02-21 | Boe Technology Group Co., Ltd. | Method and device for gesture recognition |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5766957B2 (ja) | 2011-01-14 | 2015-08-19 | オリンパス株式会社 | ジェスチャ入力装置 |
CN106383452B (zh) * | 2016-11-24 | 2020-06-19 | 北京地平线机器人技术研发有限公司 | 智能控制模块和包括其的厨电设备 |
JP2018147054A (ja) | 2017-03-01 | 2018-09-20 | 学校法人東邦大学 | 非接触遠隔ポインター制御装置 |
CN108108024B (zh) * | 2018-01-02 | 2021-01-22 | 京东方科技集团股份有限公司 | 动态手势获取方法及装置、显示装置 |
CN108460329B (zh) * | 2018-01-15 | 2022-02-11 | 任俊芬 | 一种基于深度学习检测的人脸手势配合验证方法 |
-
2020
- 2020-03-23 EP EP20927727.6A patent/EP4115264A4/en active Pending
- 2020-03-23 BR BR112022019021A patent/BR112022019021A2/pt unknown
- 2020-03-23 WO PCT/CN2020/080562 patent/WO2021189173A1/en unknown
- 2020-03-23 JP JP2022557658A patent/JP7447302B2/ja active Active
- 2020-03-23 KR KR1020227036600A patent/KR20220156601A/ko unknown
- 2020-03-23 CN CN202080098779.9A patent/CN115298638A/zh active Pending
-
2022
- 2022-09-22 US US17/950,246 patent/US20230082789A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012515968A (ja) * | 2009-01-21 | 2012-07-12 | トムソン ライセンシング | 顔検出及びホットスポットの動きによりメディアを制御する方法 |
JP2011039844A (ja) * | 2009-08-12 | 2011-02-24 | Shimane Prefecture | 画像認識装置および操作判定方法並びにプログラム |
US20120236180A1 (en) * | 2011-03-15 | 2012-09-20 | Zhao-Yuan Lin | Image adjustment method and electronics system using the same |
JP2013257762A (ja) * | 2012-06-13 | 2013-12-26 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
US20190057246A1 (en) * | 2017-08-16 | 2019-02-21 | Boe Technology Group Co., Ltd. | Method and device for gesture recognition |
Non-Patent Citations (2)
Title |
---|
SARANG SURESH KAKKOTH: "Visual descriptors based Real Time Hand Gesture Recognition", 2018 INTERNATIONAL CONFERENCE ON ADVANCES IN COMMUNICATION AND COMPUTING TECHNOLOGY (ICACCT), JPN6023038971, 8 February 2018 (2018-02-08), ID, pages 361 - 367, XP033444685, ISSN: 0005159709, DOI: 10.1109/ICACCT.2018.8529663 * |
今村 勇也: "操作者周辺に固定したコマンド空間を用いた家電操作手法の構築", 電気学会研究会資料, vol. PI-13-12, JPN6023038972, 26 April 2013 (2013-04-26), JP, pages 23 - 26, ISSN: 0005159708 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230107097A1 (en) * | 2021-10-06 | 2023-04-06 | Fotonation Limited | Method for identifying a gesture |
US11983327B2 (en) * | 2021-10-06 | 2024-05-14 | Fotonation Limited | Method for identifying a gesture |
Also Published As
Publication number | Publication date |
---|---|
EP4115264A4 (en) | 2023-04-12 |
KR20220156601A (ko) | 2022-11-25 |
CN115298638A (zh) | 2022-11-04 |
WO2021189173A1 (en) | 2021-09-30 |
BR112022019021A2 (pt) | 2022-11-01 |
JP7447302B2 (ja) | 2024-03-11 |
EP4115264A1 (en) | 2023-01-11 |
US20230082789A1 (en) | 2023-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11249557B2 (en) | Methods and systems for controlling a device using hand gestures in multi-user environment | |
JP7447302B2 (ja) | デバイスのハンドジェスチャベースの制御のための方法及びシステム | |
US10217195B1 (en) | Generation of semantic depth of field effect | |
US9256324B2 (en) | Interactive operation method of electronic apparatus | |
US8553931B2 (en) | System and method for adaptively defining a region of interest for motion analysis in digital video | |
KR20230013243A (ko) | 프레임에서 타겟 오브젝트를 위한 고정된 크기 유지 | |
US11106903B1 (en) | Object detection in image data | |
US11809637B2 (en) | Method and device for adjusting the control-display gain of a gesture controlled electronic device | |
CN110959160A (zh) | 一种手势识别方法、装置及设备 | |
US20120069168A1 (en) | Gesture recognition system for tv control | |
US11385526B2 (en) | Method of processing image based on artificial intelligence and image processing device performing the same | |
WO2021184356A1 (en) | Methods and systems for hand gesture-based control of a device | |
KR20180074124A (ko) | 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치 | |
US12001613B2 (en) | Methods and systems for hand gesture-based control of a device | |
KR101909326B1 (ko) | 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템 | |
Spinsante et al. | Home automation systems control by head tracking in AAL applications | |
US20230115371A1 (en) | Efficient vision perception | |
CN118043859A (zh) | 高效视觉感知 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7447302 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |