JP2023527906A - 制御方法、装置、端末および記憶媒体 - Google Patents
制御方法、装置、端末および記憶媒体 Download PDFInfo
- Publication number
- JP2023527906A JP2023527906A JP2022574219A JP2022574219A JP2023527906A JP 2023527906 A JP2023527906 A JP 2023527906A JP 2022574219 A JP2022574219 A JP 2022574219A JP 2022574219 A JP2022574219 A JP 2022574219A JP 2023527906 A JP2023527906 A JP 2023527906A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- control method
- navigation identifier
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000033001 locomotion Effects 0.000 claims abstract description 118
- 230000000007 visual effect Effects 0.000 claims abstract description 55
- 230000008859 change Effects 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000010801 machine learning Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 210000000707 wrist Anatomy 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000003550 marker Substances 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Neurosurgery (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
本出願は、2020年06月05日付けで出願された、発明の名称が「制御方法、装置、端末及び記憶媒体」である中国特許出願第202010507222.8号の優先権を主張して出願されたものであり、当該中国特許出願の全ての内容はここで参照により本出願に援用される。
本開示は、コンピュータ技術の分野に関するものであり、特に、制御方法、装置、端末および記憶媒体に関する。
画像を受信することと、
前記画像からユーザの第1の部位の位置情報及び第2の部位の姿勢情報を取得することと、
前記第1の部位の位置情報に基づいてナビゲーション識別子の移動軌跡を特定することと、
前記第2の部位の姿勢情報に基づいて、前記ナビゲーション識別子が指す視覚要素を制御するために使用される制御指令を特定することと、を含む制御方法が提供される。
画像を受信することと、
前記画像からユーザの第1の部位の位置情報及び第2の部位の姿勢情報を取得することと、
第1の部位の位置情報に基づいてナビゲーション識別子が指す制御対象要素を特定することと、
前記第2の部位の姿勢情報に基づいて、前記ナビゲーション識別子が指す制御対象要素を制御するために使用される制御指令を特定することと、
を含む制御方法が提供される。
画像を受信するデータ受信部と、
前記画像に基づいて、ユーザの第1の部位の位置情報及び第2の部位の姿勢情報を取得する取得認識部と、
前記第1の部位の位置情報に基づいてナビゲーション識別子の移動軌跡を特定する移動軌跡部と、
前記第2の部位の姿勢情報に基づいて、前記ナビゲーション識別子が指す視覚要素を制御するために使用される制御指令を特定する制御指令部と、を含む
制御装置が提供される。
画像を受信するデータ受信部と、
前記画像に基づいて、ユーザの第1の部位の位置情報及び第2の部位の姿勢情報を取得する取得認識部と、
第1の部位の位置情報に基づいてナビゲーション識別子の位置情報を特定する、及び/又は、前記第1の部位の位置情報及び/又は第2の部位の所定の姿勢に基づいて制御対象 要素を移動させる移動軌跡部と、
前記第2の部位の姿勢情報に基づいて、前記ナビゲーション識別子が指す制御対象要素を制御するために使用される制御指令を特定する制御指令部と、を含む制御装置が提供される。
端末が提供され、
該端末は、少なくとも1つのメモリおよび少なくとも1つのプロセッサを含み、
前記メモリがプログラムコードを格納するために使用され、前記プロセッサがメモリに格納されたプログラムコードを呼び出すために使用されることにより、本開示の1つまたは複数の実施例による制御方法を前記端末に実行させる。
ステップA1:第1の計算モジュールによって前記画像からユーザの第1の部位の位置情報を取得する。
ステップB1:前記第2の部位の姿勢情報が所定の第1の姿勢に合致している場合、前記第2の部位の姿勢情報に基づいて前記制御要素を制御する。
ステップB2:前記第2の部位の姿勢情報が所定の第1の姿勢に合致しない場合、前記制御対象要素を制御しない。
ステップC1:前記画像における第1の部位のキーポイントを特定する。
ステップS105:少なくとも2つのフレームの対象画像から取得された第1の部位の位置情報に基づいて、ナビゲーション識別子が指す視覚要素を制御する。例として、少なくとも2つのフレームの対象画像から取得する第1の部位の位置変化情報に基づいて、前記ナビゲーション識別子が指す制御対象要素を制御することができる。ここで、ナビゲーション識別子が指す制御対象要素を制御する方法は、例えばアプリケーションインターフェース、アイコン、または他のコントロールなどを移動またはスクロールすることなど、制御デバイス上での制御対象要素の移動を移動またはスクロールの方式で制御することを含むが、これらに限定されるものではない。
ステップD1:前記第2の部位の姿勢情報が所定の第2の姿勢に合致する場合、前記第2の部位の姿勢情報に対応する画像を対象画像とする。
ステップE1:前記少なくとも2つのフレームの対象画像から取得された第1の部位の位置情報に基づいて、第1の部位の動き情報を特定する。
前記第1の部位の動き情報が所定の動き条件を満たすか否かを判定する。
前記画像中の第1の部位のキーポイントを特定するためのキーポイント特定サブユニットと、
前記画像における第1の部位のキーポイントの位置に基づいて、第1の部位の位置情報を特定する位置特定サブユニットと、を含む。
前記第2の部位の姿勢情報が所定の第2の姿勢に合致する場合に、前記第2の部位の姿勢情報に対応する画像を対象画像とする対象画像特定サブユニットと、
連続する複数のフレームの前記対象画像から少なくとも2つのフレームの対象画像を選択する対象画像選択サブユニットと、を含む。
前記少なくとも2つのフレームの対象画像から取得された第1の部位の位置情報に基づいて、第1の部位の動き情報を特定する動き情報サブユニットと、
前記第1の部位の動き情報に基づいて前記視覚要素をスクロールするスクロールサブユニットと、を含む。
少なくとも1つのメモリおよび少なくとも1つのプロセッサを含み、
メモリは、プログラムコードを格納するために使用され、プロセッサは、メモリに格納されたプログラムコードを呼び出すために使用されることにより、本開示の1つまたは複数の実施例に係る制御方法を端末に実行させる、
端末装置が提供される。
本出願は、2020年06月05日付けで出願された、発明の名称が「制御方法、装置、端末及び記憶媒体」である中国特許出願第202010507222.8号の優先権を主張して2021年6月4日付けで出願された、発明の名称が「制御方法、装置、端末及び記憶媒体」である国際特許出願第PCT/CN2021/098464号に基づくものであり、両出願の全ての内容はここで参照により本出願に援用される。
Claims (30)
- 画像を受信することと、
前記画像からユーザの第1の部位の位置情報及び第2の部位の姿勢情報を取得することと、
前記第1の部位の位置情報に基づいてナビゲーション識別子の移動軌跡を特定することと、
前記第2の部位の姿勢情報に基づいて、前記ナビゲーション識別子が指す視覚要素を制御するために使用される制御指令を特定することと、
を含むことを特徴とする制御方法。 - 前記第1の部位と前記第2の部位とは、同一ユーザの異なる身体部位に属することを特徴とする請求項1に記載の制御方法。
- 前記第2の部位の位置は、前記第1の部位の位置の変化に追従して変化することができ、および/または、前記第1の部位自体の位置および/または姿勢は、前記第2の部位の姿勢に影響を及ぼさないことを特徴とする請求項2に記載の制御方法。
- 前記第1の部位が手であり、前記第2の部位が手首であることを特徴とする請求項3に記載の制御方法。
- 前記画像からユーザの第1の部位の位置情報および第2の部位の姿勢情報を取得することは、
第1の計算モジュールによって前記画像からユーザの第1の部位の位置情報を取得することと、
第2の計算モジュールによって前記画像からユーザの第2の部位の姿勢情報を取得することと、を含むことを特徴とする請求項1に記載の制御方法。 - 前記第1の計算モジュールは、第1の機械学習モデルを実行するためのものであり、前記第2の計算モジュールは、第2の機械学習モデルを実行するためのものであることを特徴とする請求項5に記載の制御方法。
- 前記した、前記第2の部位の姿勢情報に基づいて、前記ナビゲーション識別子が指す視覚要素を制御するために使用される制御指令を特定することには、
前記第2の部位の姿勢情報が所定の第1の姿勢に合致する場合、前記第2の部位の姿勢情報に応じて前記視覚要素を制御することを含む、
ことを特徴とする請求項1に記載の制御方法。 - 前記した、前記第2の部位の姿勢情報に基づいて、前記ナビゲーション識別子が指す視覚要素を制御するために使用される制御指令を特定することには、
前記第2の部位の姿勢情報が所定の第1の姿勢に適合しない場合には、前記視覚要素の制御は行われないことを含むことを特徴とする請求項7に記載の制御方法。 - 前記画像からユーザの第1の部位の位置情報を取得することには、
前記画像中の第1の部位のキーポイントを決定することと、
前記画像における前記第1の部位のキーポイントの位置に基づいて前記第1の部位の位置情報を特定することを含むことを特徴とする請求項1に記載の制御方法。 - 少なくとも2つのフレームの対象画像から取得された第1の部位の位置情報に基づいて、前記ナビゲーション識別子が指す視覚要素を制御することをさらに含み、
前記少なくとも2つのフレームの対象画像を特定する方法には、
前記第2の部位の姿勢情報が所定の第2の姿勢に合致する場合、前記第2の部位の姿勢情報に対応する画像を対象画像とすることと、
連続する複数のフレームの前記対象画像から少なくとも2つのフレームの対象画像を選択することと、を含む、
ことを特徴とする請求項1に記載の制御方法。 - 少なくとも2つのフレームの対象画像から取得された第1の部位の位置情報に基づいて、前記ナビゲーション識別子が指す視覚要素を制御することには、
前記少なくとも2つのフレームの対象画像から取得された第1の部位の位置情報に基づいて、第1の部位の動き情報を特定することと、
前記第1の部位の動き情報に基づいて前記視覚要素を制御することと、を含む、
ことを特徴とする請求項10に記載の制御方法。 - 前記第1の部位の動き情報は、第1の部位の動き時間、第1の部位の動き速度、第1の部位の動き変位、第1の部位の動き加速度の1つ以上を含む、ことを特徴とする請求項11に記載の制御方法。
- 前記した、前記第1の部位の動き情報に基づいて前記視覚要素を制御することには、
前記第1の部位の動き情報が所定の動き条件を満たすか否かを判定することと、
満たす場合、前記第1の部位の動き情報に基づいて、前記視覚要素のスクロール方向およびスクロール距離を特定することと、
を含むことを特徴とする請求項11に記載の制御方法。 - 前記した、前記ナビゲーション識別子が指す視覚要素を制御することには、
前記視覚要素をスクロールまたは移動することを含む、
ことを特徴とする請求項10に記載の制御方法。 - 前記第2の姿勢は、所定の数の指が開くことであることを特徴とする請求項10に記載の制御方法。
- 前記第1の部位の位置情報に基づいてナビゲーション識別子の移動軌跡を特定することには、
前記第2の部位の姿勢情報が所定の第3の姿勢に合致する場合には、前記第1の部位の位置情報に基づいてナビゲーション識別子の移動軌跡を特定することを含む、ことを特徴とする請求項1に記載の制御方法。 - 前記した、前記第1の部位の位置情報からナビゲーション識別子の移動軌跡を特定することには、
隔離した画像から取得した第1の部位の位置情報からナビゲーション識別子の移動軌跡を特定することを含む、ことを特徴とする請求項1に記載の制御方法。 - 前記した、画像を受信することには、撮像装置によって取得された画像を受信することを含む、ことを特徴とする請求項1に記載の制御方法。
- 前記撮像装置は、単一のRGBカメラであり、
前記制御方法は、前記画像の色空間をHSV色空間に変換するために、前記画像をHSV色空間前処理することをさらに含む、ことを特徴とする請求項18に記載の制御方法。 - 前記第1の機械学習モデルは、畳み込みニューラルネットワークモデルであり、
前記制御方法は、さらに、前記画像に対して2値化前処理とホワイトバランス前処理とを行うことを含むことを特徴とする請求項6に記載の制御方法。 - 前記した、前記第1の部位の位置情報からナビゲーション識別子の移動軌跡を特定することには、
前記第1の部位の位置情報に基づいてフィルタリングアルゴリズム及び手振れ防止アルゴリズムを用いて前記ナビゲーション識別子の最終的な移動軌跡を特定することを含む、ことを特徴とする請求項1に記載の制御方法。 - 前記した、前記画像からユーザの第1の部位の位置情報および第2の部位の姿勢情報を取得することには、
前記画像中のユーザの第1の部位の位置情報と第2の部位の姿勢情報とを取得することを含む、ことを特徴とする請求項1に記載の制御方法。 - 前記した、前記第1の部位の位置情報に基づいてナビゲーション識別子の移動軌跡を特定することには、
制御対象機器に対する前記第1の部位の位置情報に基づいて、前記制御対象機器上のナビゲーション識別子の移動軌跡を特定することを含み、
前記制御指令が前記ナビゲーション識別子が指す視覚要素を制御するために使用されることには、前記制御指令が、前記ナビゲーション識別子が指す、前記制御対象機器上に位置する視覚要素を制御するために使用されることを含む、
ことを特徴とする請求項1に記載の制御方法。 - 画像を受信することと、
前記画像からユーザの第1の部位の位置情報及び第2の部位の姿勢情報を取得することと、
前記第1の部位の位置情報に基づいてナビゲーション識別子が指す制御対象要素を特定することと、
前記第2の部位の姿勢情報に基づいて、前記ナビゲーション識別子が指す制御対象要素を制御するために使用される制御指令を特定することと、を含む、
ことを特徴とする制御方法。 - 前記した、第1の部位の位置情報からナビゲーション識別子が指す制御対象要素を特定することには、
制御対象装置に対する前記第1の部位の位置情報に基づいて、前記制御対象装置上のナビゲーション識別子の位置および/または移動軌跡を特定し、前記位置および/または移動軌跡に基づいて、前記ナビゲーション識別子が指す制御対象要素を特定すること、および/または、
少なくとも2つのフレームの対象画像によって取得された第1の部位の位置変化情報に基づいて、前記ナビゲーション識別子が指す制御対象要素を制御することと、を含む、
ことを特徴とする請求項24に記載の制御方法。 - 前記ナビゲーション識別子が指す制御対象要素を制御することには、
制御対象装置上での制御対象要素の移動を制御すること、を含むことを特徴とする請求項25に記載の制御方法。 - 画像を受信するデータ受信部と、
前記画像に基づいて、ユーザの第1の部位の位置情報及び第2の部位の姿勢情報を取得する取得認識部と、
前記第1の部位の位置情報に基づいてナビゲーション識別子の移動軌跡を特定する移動軌跡部と、
前記第2の部位の姿勢情報に基づいて、前記ナビゲーション識別子が指す視覚要素を制御するために使用される制御指令を特定する制御指令部と、を含むことを特徴とする制御装置。 - 画像を受信するデータ受信部と、
前記画像に基づいて、ユーザの第1の部位の位置情報及び第2の部位の姿勢情報を取得する取得認識部と、
前記第1の部位の位置情報に基づいてナビゲーション識別子の位置情報を特定する、及び/又は、前記第1の部位の位置情報及び/又は第2の部位の所定の姿勢に基づいて制御対象要素を移動させる移動軌跡部と、
前記第2の部位の姿勢情報に基づいて、前記ナビゲーション識別子が指す制御対象要素を制御するために使用される制御指令を特定する制御指令部と、を含むことを特徴とする制御装置。 - 少なくとも1つのメモリおよび少なくとも1つのプロセッサを含み、
前記メモリは、プログラムコードを記憶するためのものであり、前記プロセッサは、請求項1~26のいずれか一項に記載の制御方法を端末に実行させるように前記メモリに記憶されたプログラムコードを呼び出す、
ことを特徴とする端末。 - コンピュータ装置により実行されたときに、請求項1~26のいずれか一項に記載の制御方法を前記コンピュータ装置に実行させるプログラムコードが記憶されることを特徴とするコンピュータ記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010507222.8 | 2020-06-05 | ||
CN202010507222.8A CN111601129B (zh) | 2020-06-05 | 2020-06-05 | 控制方法、装置、终端及存储介质 |
PCT/CN2021/098464 WO2021244650A1 (zh) | 2020-06-05 | 2021-06-04 | 控制方法、装置、终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023527906A true JP2023527906A (ja) | 2023-06-30 |
JP7514331B2 JP7514331B2 (ja) | 2024-07-10 |
Family
ID=72192464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022574219A Active JP7514331B2 (ja) | 2020-06-05 | 2021-06-04 | 制御方法、装置、端末および記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230093983A1 (ja) |
EP (1) | EP4149116A4 (ja) |
JP (1) | JP7514331B2 (ja) |
CN (1) | CN111601129B (ja) |
WO (1) | WO2021244650A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111601129B (zh) * | 2020-06-05 | 2022-04-01 | 北京字节跳动网络技术有限公司 | 控制方法、装置、终端及存储介质 |
CN112256367A (zh) * | 2020-10-19 | 2021-01-22 | 北京字节跳动网络技术有限公司 | 图形用户界面的显示方法、装置、终端和存储介质 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8793620B2 (en) * | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
JP5228439B2 (ja) | 2007-10-22 | 2013-07-03 | 三菱電機株式会社 | 操作入力装置 |
JP5381569B2 (ja) | 2009-09-29 | 2014-01-08 | 富士通株式会社 | ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム |
US9069386B2 (en) | 2010-05-11 | 2015-06-30 | Nippon Systemware Co., Ltd. | Gesture recognition device, method, program, and computer-readable medium upon which program is stored |
US8416189B2 (en) * | 2010-06-04 | 2013-04-09 | Acer Incorporated | Manual human machine interface operation system and method thereof |
US20110304541A1 (en) * | 2010-06-11 | 2011-12-15 | Navneet Dalal | Method and system for detecting gestures |
CN102324041B (zh) * | 2011-09-09 | 2014-12-03 | 深圳泰山在线科技有限公司 | 像素归类方法、关节体姿态识别方法及鼠标指令生成方法 |
CN103135745B (zh) * | 2011-11-25 | 2018-01-02 | 夏普株式会社 | 基于深度图像的非接触控制方法、信息设备和系统 |
KR20130081580A (ko) | 2012-01-09 | 2013-07-17 | 삼성전자주식회사 | 표시 장치 및 그 제어 방법 |
US20130249793A1 (en) * | 2012-03-22 | 2013-09-26 | Ingeonix Corporation | Touch free user input recognition |
CN103425238A (zh) * | 2012-05-21 | 2013-12-04 | 刘鸿达 | 以手势为输入的控制系统云端系统 |
EP2877909B1 (en) | 2012-07-27 | 2018-12-26 | Nokia Technologies Oy | Multimodal interaction with near-to-eye display |
CN102854983B (zh) * | 2012-09-10 | 2015-12-02 | 中国电子科技集团公司第二十八研究所 | 一种基于手势识别的人机交互方法 |
CN102981742A (zh) * | 2012-11-28 | 2013-03-20 | 无锡市爱福瑞科技发展有限公司 | 基于计算机视觉的手势交互系统 |
US9696867B2 (en) * | 2013-01-15 | 2017-07-04 | Leap Motion, Inc. | Dynamic user interactions for display control and identifying dominant gestures |
CN103970260B (zh) * | 2013-01-31 | 2017-06-06 | 华为技术有限公司 | 一种非接触式手势控制方法及电子终端设备 |
KR20140139726A (ko) * | 2013-05-28 | 2014-12-08 | 엘에스산전 주식회사 | Hmi의 동작 인식장치 |
WO2015102658A1 (en) * | 2014-01-03 | 2015-07-09 | Intel Corporation | Systems and techniques for user interface control |
EP2891950B1 (en) | 2014-01-07 | 2018-08-15 | Sony Depthsensing Solutions | Human-to-computer natural three-dimensional hand gesture based navigation method |
WO2016097841A2 (en) * | 2014-12-16 | 2016-06-23 | Quan Xiao | Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback |
JP2015122124A (ja) | 2015-03-31 | 2015-07-02 | 株式会社ナカヨ | 仮想マウスによるデータ入力機能を有する情報装置 |
CN104750397B (zh) * | 2015-04-09 | 2018-06-15 | 重庆邮电大学 | 一种基于体感的虚拟矿井自然交互方法 |
JP2018516422A (ja) * | 2015-05-28 | 2018-06-21 | アイサイト モバイル テクノロジーズ エルティーディー. | スマートホームのためのジェスチャ制御システム及び方法 |
CN105892636A (zh) * | 2015-11-20 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 一种应用于头戴设备的控制方法及头戴设备 |
CN105867717A (zh) * | 2015-11-20 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 用户界面的操控方法、装置及终端 |
EP3267289B1 (en) | 2016-07-05 | 2019-02-27 | Ricoh Company, Ltd. | Information processing apparatus, position information generation method, and information processing system |
JP6834197B2 (ja) | 2016-07-05 | 2021-02-24 | 株式会社リコー | 情報処理装置、表示システム、プログラム |
CN106569596A (zh) * | 2016-10-20 | 2017-04-19 | 努比亚技术有限公司 | 一种手势控制方法和设备 |
EP3316075B1 (en) * | 2016-10-26 | 2021-04-07 | Harman Becker Automotive Systems GmbH | Combined eye and gesture tracking |
JP2018131110A (ja) | 2017-02-16 | 2018-08-23 | パナソニックIpマネジメント株式会社 | 推定装置、推定方法、及び推定プログラム |
CN206922960U (zh) * | 2017-05-31 | 2018-01-23 | 广东长虹电子有限公司 | 一种使用手势遥控的智能电视机 |
EP3652701A4 (en) * | 2017-07-13 | 2021-11-03 | Shiseido Company, Limited | VIRTUAL FACE MAKEUP REMOVAL, FAST FACE RECOGNITION AND LANDMARK TRACKING |
KR102481883B1 (ko) | 2017-09-27 | 2022-12-27 | 삼성전자주식회사 | 위험 상황을 감지하는 방법 및 장치 |
CN107958218A (zh) * | 2017-11-22 | 2018-04-24 | 南京邮电大学 | 一种实时手势识别的方法 |
US11221669B2 (en) * | 2017-12-20 | 2022-01-11 | Microsoft Technology Licensing, Llc | Non-verbal engagement of a virtual assistant |
US10296102B1 (en) * | 2018-01-31 | 2019-05-21 | Piccolo Labs Inc. | Gesture and motion recognition using skeleton tracking |
JP2019133395A (ja) | 2018-01-31 | 2019-08-08 | アルパイン株式会社 | 入力装置 |
CN110045825B (zh) * | 2018-03-27 | 2022-05-13 | 杭州凌感科技有限公司 | 用于车辆交互控制的手势识别系统 |
WO2020049692A2 (ja) | 2018-09-06 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | 推定装置、学習装置、推定方法、学習方法及びプログラム |
CN109696958A (zh) * | 2018-11-28 | 2019-04-30 | 南京华捷艾米软件科技有限公司 | 一种基于深度传感器手势识别的手势控制方法及系统 |
CN109614922B (zh) * | 2018-12-07 | 2023-05-02 | 南京富士通南大软件技术有限公司 | 一种动静态手势识别方法和系统 |
CN109710071B (zh) * | 2018-12-26 | 2022-05-17 | 青岛小鸟看看科技有限公司 | 一种屏幕控制方法和装置 |
CN111601129B (zh) * | 2020-06-05 | 2022-04-01 | 北京字节跳动网络技术有限公司 | 控制方法、装置、终端及存储介质 |
-
2020
- 2020-06-05 CN CN202010507222.8A patent/CN111601129B/zh active Active
-
2021
- 2021-06-04 WO PCT/CN2021/098464 patent/WO2021244650A1/zh unknown
- 2021-06-04 EP EP21817903.4A patent/EP4149116A4/en active Pending
- 2021-06-04 JP JP2022574219A patent/JP7514331B2/ja active Active
-
2022
- 2022-12-02 US US18/073,567 patent/US20230093983A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4149116A1 (en) | 2023-03-15 |
EP4149116A4 (en) | 2023-11-08 |
CN111601129B (zh) | 2022-04-01 |
JP7514331B2 (ja) | 2024-07-10 |
WO2021244650A1 (zh) | 2021-12-09 |
CN111601129A (zh) | 2020-08-28 |
US20230093983A1 (en) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11550399B2 (en) | Sharing across environments | |
US20200166988A1 (en) | Gesture actions for interface elements | |
US9395821B2 (en) | Systems and techniques for user interface control | |
CN110476189B (zh) | 用于在电子装置中提供增强现实功能的方法和设备 | |
KR102003255B1 (ko) | 다중 입력 처리 방법 및 장치 | |
US10572012B2 (en) | Electronic device for performing gestures and methods for determining orientation thereof | |
US20160034039A1 (en) | Information processing apparatus, operation control method and program | |
US20230093983A1 (en) | Control method and device, terminal and storage medium | |
US10528145B1 (en) | Systems and methods involving gesture based user interaction, user interface and/or other features | |
JP7181375B2 (ja) | 目標対象の動作認識方法、装置及び電子機器 | |
CN104081307A (zh) | 图像处理装置、图像处理方法和程序 | |
CN107450717B (zh) | 一种信息处理方法及穿戴式设备 | |
CN106569716B (zh) | 单手操控方法及操控系统 | |
CN115033097A (zh) | 一种智能眼镜的控制方法、装置和智能眼镜 | |
US20230199262A1 (en) | Information display method and device, and terminal and storage medium | |
CN110069126B (zh) | 虚拟对象的控制方法和装置 | |
CN111258413A (zh) | 虚拟对象的控制方法和装置 | |
CN110941327A (zh) | 虚拟对象的显示方法和装置 | |
CN113703704A (zh) | 界面显示方法、头戴式显示设备和计算机可读介质 | |
KR20230034351A (ko) | 얼굴 이미지 표시 방법, 장치, 전자기기 및 저장매체 | |
CN111103967A (zh) | 虚拟对象的控制方法和装置 | |
CN117784919A (zh) | 虚拟输入设备的显示方法、装置、电子设备以及存储介质 | |
CN112987923A (zh) | 用于设备交互的方法、装置、设备和存储介质 | |
CN117806450A (zh) | 增强现实设备操控方法、装置、电子设备及可读存储介质 | |
CN117666809A (zh) | 基于扩展现实的输入方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240417 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |