KR20210038446A - 제스처를 기반으로 전자기기를 제어하는 방법 및 장치 - Google Patents

제스처를 기반으로 전자기기를 제어하는 방법 및 장치 Download PDF

Info

Publication number
KR20210038446A
KR20210038446A KR1020210018954A KR20210018954A KR20210038446A KR 20210038446 A KR20210038446 A KR 20210038446A KR 1020210018954 A KR1020210018954 A KR 1020210018954A KR 20210018954 A KR20210018954 A KR 20210018954A KR 20210038446 A KR20210038446 A KR 20210038446A
Authority
KR
South Korea
Prior art keywords
gesture
gesture image
image
target
control information
Prior art date
Application number
KR1020210018954A
Other languages
English (en)
Inventor
이펑 왕
웬항 리
웨이송 짜오
팅 웬
구어칭 천
요우쟝 리
칭웬 옌
Original Assignee
베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 filed Critical 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드
Publication of KR20210038446A publication Critical patent/KR20210038446A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 출원의 실시예는 제스처를 기반으로 전자기기를 제어하는 방법 및 장치에 관한 것으로서, 스마트 단말 기술에 관한 것이다. 구체적인 구현 방안에 따르면, 연속되는 N 프레임의 제1 제스처 영상을 획득하고, N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하되, N은 1보다 큰 정수이고; 적어도 1 프레임의 제스처 영상을 획득하되; 적어도 1 프레임의 제스처 영상과 상기 N 프레임의 제1 제스처 영상 중의 부분 제스처 영상은 연속되는 N 프레임의 제2 제스처 영상을 구성하고, 적어도 1 프레임의 제스처 영상의 획득 시간은 상기 N 프레임의 제1 제스처 영상의 획득 시간 뒤의 시간이고; N 프레임의 제2 제스처 영상을 기초로, 계속하여 스크린 상에 표시되는 제1 대상을 제어한다.

Description

제스처를 기반으로 전자기기를 제어하는 방법 및 장치{METHOD AND APPARATUS FOR CONTROLLING ELECTRONIC DEVICE BASED ON GESTURE}
본 출원의 실시예는 영상 처리 기술에 관한 것으로서, 특히는 스마트 단말 기술에 관한 것이다.
현재, 사용자는 전자기기를 터치하지 않고, 제스처를 통해 전자기기에 대한 제어를 구현할 수 있으므로, 전자기기에 대한 사용자의 제어가 극히 편리해지고 있으며, 전자기기에 대한 사용자의 조작 효율이 향상된다.
현재 제스처를 기반으로 인식하는 전자기기 제어 방법은 일반적으로 제스처마다 하나의 명령에 대응된다. 예를 들어, "C"를 그리는 제스처는 카메라 온 명령에 대응되고, 또 예를 들어 사용자의 단일 손가락 슬라이딩은 페이지 이동 명령에 대응된다. 전자기기는 사용자가 단일 손가락으로 슬라이딩하는 제스처를 검출하게 되면, 현재 페이지가 소정 거리만큼 이동하도록 제어한다. 상기와 같이, 현재 동적 제스처를 통한 전자기기에 대한 제어는 보다 거시적으로서, 정밀화 정도가 부족하다.
본 출원의 실시예는 제스처를 기반으로 전자기기를 제어하는 방법과 장치에 관한 것으로서, 동적 제스처를 통해 전자기기에 대해 정밀화 제어하는 목적을 구현할 수 있다.
제1 측면에 따르면, 본 출원의 실시예는 제스처를 기반으로 전자기기를 제어하는 방법을 제공한다. 해당 방법은,
연속되는 N 프레임의 제1 제스처 영상을 획득하고, 상기 N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하되, N은 1보다 큰 정수인 단계; 적어도 1 프레임의 제스처 영상을 획득하되; 여기서, 상기 적어도 1 프레임의 제스처 영상과 상기 N 프레임의 제1 제스처 영상 중의 부분 제스처 영상은 연속되는 N 프레임의 제2 제스처 영상을 구성하되, 상기 적어도 1 프레임의 제스처 영상의 획득 시간은 상기 N 프레임의 제1 제스처 영상의 획득 시간 뒤의 시간인 단계; 상기 N 프레임의 제2 제스처 영상을 기초로, 계속하여 상기 스크린 상에 표시되는 제1 대상을 제어하는 단계;를 포함한다.
본 방안에서, 현재 동적 제스처를 통해 전자기기에 대해 제어하는 과정에서, 보다 적은 수량의 제스처 영상을 획득한 후 제1 대상에 대해 한번 제어하되, 제1 대상에 대한 서로 인접한 두번 제어의 근거가 되는 제스처 영상은 동일한 제스처 영상을 가지므로, 동적 제스처를 통해 전자기기에 대해 정밀화 제어를 수행하는 목적을 구현한다.
일 가능한 실시형태에서, 상기 N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하는 단계는, 상기 N 프레임의 제1 제스처 영상을 기초로, 제스처가 제1 동적 제스처인 것으로 인식하는 단계; 상기 N 프레임의 제1 제스처 영상 중 부분 제스처 영상을 기초로 상기 제1 대상의 제1 제어 정보를 결정하는 단계; 상기 제1 제어 정보를 기초로, 상기 제1 동적 제스처에 대응되는 제1 명령을 실행하여 상기 제1 대상을 제어하는 단계;를 포함한다.
제1 제어 정보는 제1 대상의 이동 거리 또는 제1 대상의 사이즈 변화값일 수 있다. 본 방안에서 제1 대상의 제어 정보는 기설정된 것이 아니라, N 프레임의 제1 제스처 영상 중 부분 제스처 영상을 기초로 획득되는 것으로서, 제스처를 통해 전자기기에 대한 정밀화 제어를 구현하는 기초 상에서, 전자기기에 대한 제어가 사용자의 수요에 보다 부합되도록 함으로써, 사용자의 사용 체험을 향상시킨다.
일 가능한 실시형태에서, 상기 N 프레임의 제1 제스처 영상 중 부분 제스처 영상을 기초로 상기 제1 대상의 제1 제어 정보를 결정하는 단계는, 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하는 단계를 포함하되; 여기서, 상기 제2 목표 제스처 영상은 상기 N 프레임의 제1 제스처 영상 중 맨 마지막에 획득된 제스처 영상이고, 상기 제1 목표 제스처 영상은 상기 제2 목표 제스처 영상을 획득하기 전에 최근에 획득한 1 프레임의 제스처 영상이다.
본 방안에서는 제1 대상의 제어 정보를 결정하는 일 구체적인 구현형태를 제공한다.
일 가능한 실시형태에서, 상기 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하는 단계는, 상기 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 상기 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값과 상기 제1 동적 제스처를 기초로, 상기 제1 제어 정보를 결정하는 단계를 포함한다.
본 방안에서는 제1 대상의 제어 정보를 결정하는 다른 일 구체적인 구현형태를 제공한다. 본 방안에서 제1 대상의 제어 정보를 결정할 때 제스처의 종류를 더 고려하며, 다양한 제스처가 동일한 명령에 대응되고, 해당 다양한 제스처 중의 서로 다른 제스처가 제1 대상에 대한 서로 다른 정도의 제어에 대응되는 목적을 구현할 수 있다. 예를 들어, 손바닥 슬라이딩은 페이지가 고속으로 슬라이딩하도록 제어할 수 있고, 두 손가락 슬라이딩은 페이지가 저속으로 슬라이딩하도록 제어할 수 있다.
일 가능한 실시형태에서, 상기 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하는 단계 전에, 상기 방법은, 제1 기계 학습 모델을 사용하여 상기 제1 제스처 영상에 대해 학습하는 단계; 상기 제1 기계 학습 모델의 출력을 획득하되, 상기 출력은 상기 제1 제스처 영상에 대응되는 핸드 핵심 포인트 좌표를 포함하는 단계;를 더 포함한다.
본 방안에서, 제1 기계 학습을 기초로 제스처 영상에 대해 학습한 후, 바로 핸드 핵심 포인트 좌표를 얻을 수 있으며, 먼저 손을 검출하는 모델을 사용하여 영상에 손 존재 여부를 검출하고, 만약 손이 존재하면 영상 중의 핸드 영상을 분할해낸 다음, 핵심 포인트 검출 모델을 사용하여 분할해낸 핸드 영상에 대응되는 핸드 핵심 포인트를 검출하는 방안에 비해, 핸드 핵심 포인트 좌표 획득 효율 및 정확도를 향상시킬 수 있으며, 이에 따라 사용자가 제스처를 통해 전자기기를 제어하는 효율도 보다 높게 된다.
일 가능한 실시형태에서, 상기 제1 제어 정보를 기초로, 상기 제1 동적 제스처에 대응되는 제1 명령을 실행하여 상기 제1 대상을 제어하는 단계는, 상기 제1 제어 정보와 제1 과거 제어 정보를 기초로, 상기 제1 대상의 새로운 제어 정보를 획득하되, 상기 제1 과거 제어 정보는 현재 상기 제1 대상에 대한 제어 과정 중 지난번에 상기 제1 대상을 제어할 때 근거가 된 제어 정보인 단계; 상기 새로운 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계;를 포함한다.
본 방안은 제1 대상을 제어하는 과정에서, 제1 대상의 변화가 더욱 평온하도록 할 수 있다.
일 가능한 실시형태에서, 상기 제1 동적 제스처는 단일 손가락이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향 상에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 포지션 마크이며; 상기 제1 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계는, 상기 포지션 마크가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어하는 단계를 포함한다.
일 가능한 실시형태에서, 상기 제1 동적 제스처는 두 손가락이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 제1 페이지이며; 상기 제1 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계는, 상기 제1 페이지가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어하는 단계를 포함한다.
일 가능한 실시형태에서, 상기 제1 동적 제스처는 손바닥이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 제1 페이지이며; 상기 제1 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계는, 상기 제1 페이지가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어하는 단계를 포함한다.
일 가능한 실시형태에서, 상기 제1 동적 제스처는 두 손가락이 점차적으로 벌어지는 것이고, 상기 제1 명령은 상기 제1 대상을 확대하는 것이며; 상기 제1 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계는, 상기 제1 대상의 사이즈를 상기 사이즈 변화값만큼 확대하는 단계를 포함한다.
일 가능한 실시형태에서, 상기 제1 동적 제스처는 두 손가락이 합쳐지는 것이고, 상기 제1 명령은 상기 제1 대상을 축소하는 것이며; 상기 제1 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계는, 상기 제1 대상의 사이즈를 상기 사이즈 변화값만큼 축소하는 단계를 포함한다.
제2 측면에 따르면, 본 출원의 실시예는 제스처를 기반으로 전자기기를 제어하는 장치를 제공한다. 해당 장치는, 연속되는 N 프레임의 제1 제스처 영상을 획득하되; N은 1보다 큰 정수인 획득모듈; 상기 N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하는 제어모듈;을 포함하고, 획득모듈은 또한 적어도 1 프레임의 제스처 영상을 획득하고; 여기서, 상기 적어도 1 프레임의 제스처 영상과 상기 N 프레임의 제1 제스처 영상 중의 부분 제스처 영상은 연속되는 N 프레임의 제2 제스처 영상을 구성하되, 상기 적어도 1 프레임의 제스처 영상의 획득 시간은 상기 N 프레임의 제1 제스처 영상의 획득 시간 뒤의 시간이고; 제어모듈은 또한 상기 N 프레임의 제2 제스처 영상을 기초로, 계속하여 상기 스크린 상에 표시되는 제1 대상을 제어한다.
일 가능한 실시형태에서, 상기 제어모듈은 구체적으로, 상기 N 프레임의 제1 제스처 영상을 기초로, 제스처가 제1 동적 제스처인 것으로 인식하고; 상기 N 프레임의 제1 제스처 영상 중 부분 제스처 영상을 기초로 상기 제1 대상의 제1 제어 정보를 결정하고; 상기 제1 제어 정보를 기초로, 상기 제1 동적 제스처에 대응되는 제1 명령을 실행하여 상기 제1 대상을 제어한다.
일 가능한 실시형태에서, 상기 제어모듈은 구체적으로, 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하고; 상기 제2 목표 제스처 영상은 상기 N 프레임의 제1 제스처 영상 중 맨 마지막에 획득된 제스처 영상이고, 상기 제1 목표 제스처 영상은 상기 제2 목표 제스처 영상을 획득하기 전에 최근에 획득한 1 프레임의 제스처 영상이다.
일 가능한 실시형태에서, 상기 제어모듈은 구체적으로, 상기 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 상기 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값과 상기 제1 동적 제스처를 기초로, 상기 제1 제어 정보를 결정한다.
일 가능한 실시형태에서, 상기 제어모듈은 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하기 전에, 상기 획득모듈은 또한, 제1 기계 학습 모델을 사용하여 상기 제1 제스처 영상에 대해 학습하고; 상기 제1 기계 학습 모델의 출력을 획득하되, 상기 출력은 상기 제1 제스처 영상에 대응되는 핸드 핵심 포인트 좌표를 포함한다.
일 가능한 실시형태에서, 상기 제어모듈은 구체적으로, 상기 제1 제어 정보와 제1 과거 제어 정보를 기초로, 상기 제1 대상의 새로운 제어 정보를 획득하되, 상기 제1 과거 제어 정보는 현재 상기 제1 대상에 대한 제어 과정 중 지난번에 상기 제1 대상을 제어할 때 근거가 된 제어 정보이고; 상기 새로운 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어한다.
일 가능한 실시형태에서, 상기 제1 제어 정보는 제1 이동 거리이다.
일 가능한 실시형태에서, 상기 제1 동적 제스처는 단일 손가락이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향 상에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 포지션 마크이며; 상기 제어모듈은 구체적으로, 상기 포지션 마크가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어한다.
일 가능한 실시형태에서, 상기 제1 동적 제스처는 두 손가락이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 제1 페이지이며; 상기 제어모듈은 구체적으로, 상기 제1 페이지가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어한다.
일 가능한 실시형태에서, 상기 제1 동적 제스처는 손바닥이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 제1 페이지이며; 상기 제어모듈은 구체적으로, 상기 제1 페이지가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어한다.
일 가능한 실시형태에서, 상기 제1 제어 정보는 사이즈 변화값이다.
일 가능한 실시형태에서, 상기 제1 동적 제스처는 두 손가락이 점차적으로 벌어지는 것이고, 상기 제1 명령은 상기 제1 대상을 확대하는 것이며; 상기 제어모듈은 구체적으로, 상기 제1 대상의 사이즈를 상기 사이즈 변화값만큼 확대하는 것이다.
일 가능한 실시형태에서, 상기 제1 동적 제스처는 두 손가락이 합쳐지는 것이고, 상기 제1 명령은 상기 제1 대상을 축소하는 것이며; 상기 제어모듈은 구체적으로, 상기 제1 대상의 사이즈를 상기 사이즈 변화값만큼 축소한다.
제3 측면에 따르면, 본 출원의 실시예는 전자기기를 제공한다. 해당 전자기기는, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하되, 여기서, 상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1 측면에 및 제1 측면의 어느 일 가능한 실시형태에 따른 방법을 수행할 수 있도록 한다.
제4 측면에 따르면, 본 출원은 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하며, 상기 컴퓨터 명령은 상기 컴퓨터가 제1 측면 및 제1 측면의 어느 일 가능한 실시형태에 따른 방법을 수행하도록 하기 위한 것이다.
제5 측면에 따르면, 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 제공하며, 전자기기의 적어도 하나의 프로세서는 상기 판독 가능 저장매체로부터 상기 컴퓨터 프로그램을 판독할 수 있으며, 상기 적어도 하나의 프로세서는 상기 컴퓨터 프로그램을 수행하여 상기 전자기기가 제1측면에 따른 방법을 수행하도록 한다.
상술한 출원에 따른 일 실시예는 아래와 같은 이점 또는 유리한 효과를 구비한다. 동적 제스처를 통해 전자기기를 정밀하게 제어하는 목적을 구현할 수 있다. 현재 동적 제스처를 통해 전자기기에 대해 제어하는 과정에서, 보다 적은 수량의 제스처 영상을 획득한 후 제1 대상에 대해 한번 제어하되, 제1 대상에 대한 서로 인접한 두번 제어의 근거가 되는 제스처 영상은 동일한 제스처 영상을 가지는 기술적 해결수단을 통해, 동적 제스처를 통한 사용자의 전자기기에 대한 제어가 보다 거시적인 종래기술의 기술 문제를 극복하여, 동적 제스처를 통해 전자기기를 정밀화 제어할 수 있는 기술효과를 확보한다.
상술한 선택적인 형태에 따른 기타 효과는 아래에서 구체적인 실시예를 결합하여 설명한다.
첨부되는 도면은 본 기술적 해결수단을 더 충분히 이해할 수 있도록 제공되는 것으로서, 본 출원에 대한 한정은 아니다.
도 1은 현재 전자기기에 대해 정밀화 제어를 수행할 때 대응되는 인터페이스 인터랙션 도면이다.
도 2는 본 출원의 실시예에서 제공하는 제스처를 기반으로 전자기기를 제어하는 방법의 흐름도 1이다.
도 3은 본 출원의 실시예에서 제공하는 제스처 영상을 획득하는 도면이다.
도 4는 본 출원의 실시예에서 제공하는 인터페이스 인터랙션 도면 1이다.
도 5는 본 출원의 실시예에서 제공하는 인터페이스 인터랙션 도면 2이다.
도 6는 본 출원의 실시예에서 제공하는 인터페이스 인터랙션 도면 3이다.
도 7은 본 출원의 실시예에서 제공하는 인터페이스 인터랙션 도면 4이다.
도 8은 본 출원의 실시예에서 제공하는 인터페이스 인터랙션 도면 5이다.
도 9는 본 출원의 실시예에서 제공하는 제스처를 기반으로 전자기기를 제어하는 장치의 구조도이다.
도 10은 본 출원의 실시예의 제스처를 기반으로 전자기기를 제어하는 방법을 구현하기 위한 전자기기의 블록도이다.
아래에서는 첨부되는 도면을 결합하여 본 출원의 예시적 실시예에 대해 설명하되, 여기에는 본 출원의 실시예의 다양한 새부 내용을 포함하여 쉽게 이해할 수 있도록 하며, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 분야의 통상의 지식을 가진 자라면, 여기에 기재된 실시예에 대해 다양한 변경과 수정을 가할 수 있으며, 이들은 본 출원의 범위와 정신을 벗어나지 않는다. 마찬가지로, 명확성과 간략성을 위하여, 아래의 기재에서 공지 기능와 구조에 대한 설명을 생략한다.
본 출원에서, "적어도 하나"는 하나 또는 복수를 의미하며, "복수"는 둘 또는 둘 이상을 의미한다. "및/또는"은, 관련 대상의 관련 관계를 나타내는 것으로서, 세가지 관계가 존재할 수 있음을 나타내는 바, 예를 들어, A 및/또는 B는 A만 존재하는 경우, A와 B가 모두 존재하는 경우, B만 존재하는 경우인 세가지 경우를 포함할 수 있으며, 여기서 A, B는 단수 또는 복수일 수 있다. 부호 "/"는 일반적으로 전후 관련 대상이 "또는"의 관계임을 나타낸다. "아래 적어도 한 항(하나)" 또는 그 유사한 표현은, 이러한 항 중의 임의의 조합을 의미하며, 단일 항(개) 또는 복수 항(개)의 임의의 조합을 의미한다. 예를 들어, a,b, 또는 c 중 적어도 한 항(개)는 a, b, c, a-b, a-c, b-c, 또는 a-b-c를 나타낼 수 있다. 여기서, a, b, c는 단수일 수 있고, 복수일 수도 있다. 본 출원에서 용어 "제1", "제2" 등은 유사한 대상을 구분하기 위한 것으로서, 특정 순서 또는 선후 순서를 나타낼 필요는 없다.
현재, 사용자는 정적 제스처와 동적 제스처를 통해 전자기기에 대한 제어를 구현할 수 있다.
정적 제스처에 대하여, 예를 들어, 사용자가 "OK"라는 제스처를 취하면, 전자기기는 카메라에 의해 수집된 제스처 영상을 기초로, 사용자가 "OK"라는 정적 제스처를 취한 것으로 결정하고, "OK" 제스처에 대응되는 제어 대상이 스크린 상에 표시되는 이미지인 것으로 결정하고, 이때 전자기기는 "OK"라는 제스처에 대응되는 제어 대상 저장 명령을 실행하며, 전자기기는 해당 이미지를 저장한다.
동적 제스처에 대하여, 예를 들어 사용자가 M을 그리면, 전자기기는 카메라에 의해 수집된 제스처 영상을 기초로, 사용자가 M을 그리는 제스처를 취한 것으로 결정하고, 전자기기는 M을 그리는 제스처에 대응되는 위챗을 온시키는 조작을 수행한다. 또 예를 들어, 사용자가 단일 손가락이 아래로 슬라이딩하는 제스처를 취하면, 전자기기는 카메라에 의해 수집된 제스처 영상을 기초로, 사용자가 단일 손가락이 아래로 슬라이딩하는 제스처를 취한 것으로 결정하고, 전자기기는 단일 손가락이 아래로 슬라이딩하는 제스처에 대응되는 페이지를 아래로 이동시키는 명령을 실행하여, 페이지가 아래로 기설정 거리만큼 이동하도록 제어한다. 이로부터 현재 사용자가 동적 제스처를 취할 때마다, 대응되게 전자기기에 대한 1회의 보다 거시적인 제어를 수행함을 알 수 있다. 많은 시나리오에서, 전자기기에 대한 정밀한 제어가 필요한 바, 예를 들어, 페이지를 점차적으로 이동, 영상 등을 점차적으로 확대 등이 있다. 현재 전자기기에 대한 정밀한 제어를 구현하는 방법은 일반적으로 사용자의 손이 전자기기의 스크린 상에서 점차적으로 이동하면서, 전자기기가 실시간 디스플레이 스크린의 정전용량 변화를 기초로 손의 터치 궤적을 결정하고 터치 궤적에 대응되는 명령을 실행하여, 해당 전자기기에 대한 정밀화 제어를 구현하는 것이다. 기존의 전자기기에 대한 정밀한 제어를 구현하는 방법에 대응되는 인터페이스 인터랙션 도면은 도 1에 도시된 바와 같다. 도 1을 참조하면, 손의 단일 손가락으로 스크린을 터치하고, 손이 아래로 이동하여, 도 1 중의 (a) 도면 위치로부터 점차적으로 (b) 도면 위치로 이동하면, 현재 표시되는 페이지는 이를 따라 아래로 슬라이딩되어, 페이지 상에 표시되는 내용이 도 1 중의 (a) 도면에 표시되는 내용으로부터 (b) 도면에 표시되는 내용으로 업데이트된다. 손이 계속하여 아래로 이동하여, 손이 도 1 중의 (b) 도면 위치로부터 점차적으로 (c) 도면 위치까지 슬라이딩하면, 현재 표시되는 페이지는 이를 따라 아래로 슬라이딩하며, 페이지 상에 표시되는 내용은 도 1 중의 (b) 도면에 표시되는 내용으로부터 (c) 도면에 표시되는 내용으로 업데이트된다.
그러나 동적 제스처를 통해 전자기기를 제어할 때에는, 복수의 제스처 영상이 획득된다. 디스플레이 스크린의 정전용량은 변하지 않으므로, 실시간으로 디스플레이 스크린의 정전용량 변화를 기초로 손의 터치 궤적을 결정하고 터치 궤적에 대응되는 명령을 실행함으로써 해당 전자기기에 대한 정밀화 제어를 구현할 수 없다. 발명자는, 현재 동적 제스처를 통해 전자기기에 대해 제어하는 과정에서, 보다 적은 수량의 제스처 영상을 획득한 후 제1 대상에 대해 한번 제어하되, 제1 대상에 대한 서로 인접한 두번 제어의 근거가 되는 제스처 영상은 동일한 제스처 영상을 가지므로, 전자기기에 대해 정밀화 제어하는 목적을 구현할 수 있다.
아래에서는 구체적인 실시예를 사용하여 본 출원에서 제공하는 제스처를 기반으로 전자기기를 제어하는 방법에 대해 설명한다.
도 2는 본 출원의 실시예에서 제공하는 제스처를 기반으로 전자기기를 제어하는 방법의 흐름도 1이다. 본 실시예의 수행 주체는 전자기기이다. 도 2를 참조하면, 본 실시예의 방법은 아래의 단계들을 포함한다.
연속되는 N 프레임의 제1 제스처 영상을 획득하고, N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하되, N은 1보다 큰 정수이다(단계 S201).
여기서, 전자기기 상에 카메라가 설치되고, 카메라는 초당 복수 프레임의 영상, 예를 들어 10 프레임 영상을 획득할 수 있다. 획득한 각 프레임 영상에 대하여, 전자기기는 해당 영상이 제스처 영상인지 여부를 결정하되, 제스처 영상은 손을 포함하는 영상이다. 여기서, 본 출원의 실시예에서 기재되는 영상 획득과 영상 수집은 동일의 의미를 가진다.
일 구체적인 구현에서, 전자기기가 해당 영상이 제스처 영상인지 여부를 결정하는 방법에 따르면, 제1 기계 학습 모델을 사용하여 해당 영상에 대해 학습하여, 제1 기계 학습 모델의 출력을 획득한다. 해당 출력은 해당 영상에 손 포함 확률을 포함하되, 만약 해당 출력이 해당 영상에 손 포함 확률이 제1 기설정 확률 이하임을 지시하면, 해당 영상은 제스처 영상이 아닌 것으로 결정하고, 만약 해당 출력이 영상에 손 포함 확률이 제2 기설정 확률보다 큼을 지시하면, 해당 영상은 제스처 영상인 것으로 결정한다. 한편, 만약 해당 출력이 영상에 손 포함 확률이 제2 기설정 확률보다 큼을 지시하면, 해당 출력은 핸드 핵심 포인트 좌표를 더 포함한다. 다시 말해서, 제스처 영상에 대하여, 제1 기계 학습 모델을 사용하여 해당 제스처 영상에 대해 학습하여, 제1 기계 학습 모델의 출력을 획득하되, 해당 출력은 해당 제스처 영상에 대응되는 핸드 핵심 포인트 좌표를 포함한다. 도 3에 도시된 바와 같이, 제스처 영상은 제1 기계 학습 모델로 입력되고, 출력은 해당 제스처 영상에 대응되는 핸드 핵심 포인트 좌표를 포함한다.
본 실시예에서는 제1 기계 학습을 통해 제스처 영상에 대해 학습하여 바로 핸드 핵심 포인트 좌표를 얻을 수 있다. 먼저 손을 검출하는 모델을 사용하여 영상에 손 존재 여부를 결정하고, 만약 손이 존재하면 영상 중의 손 영상을 분할해 내어, 핵심 포인트 검출 모델을 사용하여 분할된 손 영상에 대응되는 핸드 핵심 포인트를 검출하는 방안에 비해, 핸드 핵심 포인트 좌표 획득 효율 및 정확도를 향상시킬 수 있으며, 이에 따라 제스처를 통해 전자기기를 제어하는 사용자의 효율도 보다 높게 된다.
전자기기는 연속되는 N 프레임의 제1 제스처 영상을 획득한 후, N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어한다. N은 1보다 큰 정수이고, 선택적으로, N은 [4,10] 구간 중의 임의의 정수일 수 있다. 여기서, 연속되는 N 프레임의 제1 제스처 영상은 카메라가 시간 순서에 따라 순차적으로 획득한 N 프레임의 제1 제스처 영상을 의미하며, 즉 N 프레임의 제1 제스처 영상 중 획득 시간 상에서 인접한 임의의 두 프레임의 제1 제스처 영상에 대하여, 해당 두 프레임의 제1 제스처 영상의 획득 시간 사이에 카메라에 의해 기타 제스처 영상이 획득되지 않았다.
예시적으로, 카메라에 의해 순차적으로 영상 1~7이 획득되었으며, 영상 1과 영상 2는 제스처 영상이 아니고, 영상 3, 영상 4, 영상 5, 영상 6 및 영상 7은 제스처 영상이면, 영상 3과 영상 4는 연속되는 2 프레임의 제스처 영상이고, 영상 4~6은 연속되는 3 프레임의 제스처 영상이고, 영상 3~7의 제스처 영상은 연속되는 5 프레임의 제스처 영상이다.
아래에서는, N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하는 구체적인 구현에 대해 설명한다.
일 구체적인 구현에서, N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하는 단계는 아래 a1~a3을 포함한다.
a1, N 프레임의 제1 제스처 영상을 기초로, 제스처가 제1 동적 제스처인 것으로 인식한다.
N 프레임의 제1 제스처 영상 각각에 대응되는 핸드 핵심 포인트 좌표를 기초로, 제스처가 제1 동적 제스처인 것으로 인식할 수 있다. 일 구체적인 구현에서, N 프레임의 제1 제스처 영상 각각에 대응되는 핸드 핵심 포인트 좌표를 기초로, 제스처가 제1 동적 제스처인 것으로 인식하는 단계는, N 프레임의 제1 제스처 영상 각각에 대응되는 핸드 핵심 포인트 좌표를 제스처 분류 모델의 입력으로 하여, 제스처 분류 모델의 학습을 거쳐 출력을 획득한다. 해당 출력은 제1 동적 제스처를 지시한다. 여기서, 제스처 분류 모델은 뉴럴 네트워크 모델과 같은 현재 통상적으로 사용되는 제스처 분류 모델일 수 있다.
여기서, 제1 동적 제스처는, 예컨대 단일 손가락 슬라이딩, 두 손가락 슬라이딩, 두 손가락 점차적으로 벌어짐, 두 손가락 합쳐짐, 손바닥 슬라이딩일 수 있다.
a2, N 프레임의 제1 제스처 영상 중의 적어도 부분 제스처 영상을 기초로 제1 대상의 제1 제어 정보를 결정한다.
제1 방안에서, 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 제1 대상의 제1 제어 정보를 결정한다. 여기서, 제1 목표 제스처 영상과 제2 목표 제스처 영상은 N 프레임의 제1 제스처 영상 중 맨 마지막에 획득된 두 프레임의 제스처 영상이고, 제2 목표 제스처 영상은 N 프레임의 제1 제스처 영상 중 맨 마지막에 획득된 제스처 영상이다.
해당 제1 방안은, 현재 제1 동적 제스처를 통해 전자기기 상에 표시되는 제1 대상을 제어하는 과정에서, N 프레임의 제1 제스처 영상을 기초로 제1 대상을 제어하기 전에, 또한 적어도 연속되는 N 프레임의 제3 제스처 영상을 기초로 제1 대상을 제어하는 경우에 적용되며, 여기서, N 프레임의 제1 제스처 영상은 N 프레임의 제3 제스처 영상 중의 부분 제스처 영상을 포함하고, N 프레임의 제3 제스처 영상 중 최초에 획득된 제스처 영상의 획득 시간은 N 프레임의 제1 제스처 영상 중의 임의의 프레임의 제스처 영상의 획득 시간보다 이르다. 만약 N = 5이면, N 프레임의 제1 제스처 영상은 연속되는 N 프레임의 제3 제스처 영상 후에 획득된 4 프레임의 제스처 영상과 해당 4 프레임의 제스처 영상 후에 처음으로 획득되는 1 프레임의 제스처 영상을 포함할 수 있으며, 또는, N 프레임의 제1 제스처 영상은 연속되는 N 프레임의 제3 제스처 영상 중 마지막으로 획득된 3 프레임의 제스처 영상과 해당 3 프레임의 제스처 영상 후에 맨 처음 획득되는 2 프레임의 제스처 영상을 포함할 수도 있다.
제1 방안은 또한 N 프레임의 제1 제스처 영상이 현재 제1 동적 제스처를 통해 전자기기 상에 표시되는 제1 대상을 제어하는 과정에서, 맨 처음에 획득한 N 프레임의 제1 제스처 영상인 경우에 적용된다.
아래에서는 제1 대상의 제1 제어 정보를 결정하는 구체적인 구현에 대해 설명한다.
여기서, 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 제1 대상의 제1 제어 정보를 결정하는 단계는, 아래의 a21~a24를 포함할 수 있다.
a21, 핸드 핵심 포인트 중 각각의 제1 동적 제스처에 대응되는 목표 핸드 핵심 포인트에 대하여, 목표 핸드 핵심 포인트의 제2 목표 제스처 영상에서의 제1 좌표와 목표 핸드 핵심 포인트의 제1 목표 제스처 영상에서의 제2 좌표를 기초로, 목표 핸드 핵심 포인트의 이동 거리를 획득한다.
일반적으로 21개의 핸드 핵심 포인트가 기설정되어 있으며, 목표 핸드 핵심 포인트는 21개의 핸드 핵심 포인트 중 제1 동적 제스처에 대응되는 핸드 핵심 포인트일 수 있다. 예를 들어, 동적 제스처가 단일 손가락 슬라이딩이면, 해당 단일 손가락 상에 위치하는 핵심 포인트가 목표 핸드 핵심 포인트이고; 동적 제스처가 두 손가락 벌어짐이면, 해당 두 손가락 상에 위치하는 핵심 포인트가 목표 핸드 핵심 포인트이다.
여기서, 만약 제1 좌표가 (x1, y1)이고, 제2 좌표가 (x2, y2)이면, 목표 핸드 핵심 포인트의 이동 거리는 (x1- x2)2+ (y1- y2)2일 수 있다.
a22, 각 목표 핸드 핵심 포인트의 이동 거리의 평균값을 획득한다.
a23, 기설정 배수를 획득한다.
해당 방안에서, 다양한 동적 제스처에 대하여, 기설정 배수는 동일하다. 기설정 배수는 전자기기에 저장될 수 있다.
a24, 기설정 배수와 각 목표 핸드 핵심 포인트의 이동 거리의 평균값을 기초로, 제1 대상의 제1 제어 정보를 결정한다.
제1 대상의 제1 제어 정보가 제1 대상의 제1 이동 거리를 포함할 때, 각 목표 핸드 핵심 포인트의 이동 거리의 평균값을 기초로, 제1 대상의 제1 제어 정보를 결정하는 단계는, 각 목표 핸드 핵심 포인트의 이동 거리의 평균값의 기설정 배수를 제1 대상의 제1 이동 거리로 결정하는 단계를 포함한다.
제1 대상의 제1 제어 정보가 제1 대상의 사이즈 변화값을 포함할 때, 각 목표 핸드 핵심 포인트의 이동 거리의 평균값을 기초로, 제1 대상의 제1 제어 정보를 결정하는 단계는, 제1 이동 거리를 획득하되, 제1 이동 거리는 각 목표 핸드 핵심 포인트의 이동 거리의 평균값의 기설정 배수인 단계; 제1 이동 거리와 제1 거리의 비율을 기초로, 사이즈 변화 비율을 획득하되, 제1 거리는 제1 대상에 대응되는 구형 영역의 대각선 길이의 절반이고, 제1 대상에 대응되는 구형 영역은 제1 대상을 표시하기 위한 영역인 단계; 사이즈 변화 비율과 제1 대상의 현재 사이즈의 곱셈을 기초로 사이즈 변화값을 획득하는 단계를 포함한다.
제2 방안에서, 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값과 제1 동적 제스처를 기초로, 제1 대상의 제1 제어 정보를 결정한다. 여기서, 제1 목표 제스처 영상과 제2 목표 제스처 영상은 N 프레임의 제1 제스처 영상 중 맨 마지막에 획득된 두 프레임의 제스처 영상이고, 제2 목표 제스처 영상은 N 프레임의 제1 제스처 영상에서 맨 마지막에 획득된 제스처 영상이다.
본 방안의 적용 조건은 제1 방안의 적용 조건과 동일하다.
아래에서는 제1 대상의 제1 제어 정보를 결정하는 구체적인 구현에 대해 설명한다.
제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값과 제1 동적 제스처를 기초로, 제1 대상의 제1 제어 정보를 결정하는 단계는, 아래의 a26~ a29를 포함할 수 있다.
a26, 핸드 핵심 포인트 중 각각의 제1 동적 제스처에 대응되는 목표 핸드 핵심 포인트에 대하여, 목표 핸드 핵심 포인트의 제2 목표 제스처 영상에서의 제1 좌표와 목표 핸드 핵심 포인트의 제1 목표 제스처 영상에서의 제2 좌표를 기초로, 목표 핸드 핵심 포인트의 이동 거리를 획득한다.
a26의 구체적인 구현은 a21의 기재를 참조할 수 있다.
a27, 각 목표 핸드 핵심 포인트의 이동 거리의 평균값을 획득한다.
a27의 구체적인 구현은 a22의 기재를 참조할 수 있다.
a28, 제1 동적 제스처를 기초로, 제1 기설정 배수를 결정한다.
전자기기에 다양한 동적 제스처에 대응되는 기설정 배수가 저장되어 있다. 여기서, 서로 다른 명령에 대응되는 동적 제스처의 기설정 배수는 동일하거나 다를 수 있으며, 동일한 명령에 대응되는 동적 제스처의 기설정 배수는 서로 다르다.
a29, 제1 기설정 배수와 각 목표 핸드 핵심 포인트의 이동 거리의 평균값을 기초로, 제1 대상의 제1 제어 정보를 결정한다.
a29의 구체적인 구현은 a24 중의 기재를 참조할 수 있으며, a24 중의 기설정 배수를 제1 기설정 배수로 업데이트하기만 하면 된다. 예를 들어 두 손가락이 슬라이딩하는 동적 제스처는 기설정 배수 1에 대응되고, 손바닥이 슬라이딩하는 동적 제스처는 기설정 배수 2에 대응되고, 두 손가락이 슬라이딩하는 동적 제스처는 페이지 슬라이딩에 대응되고, 손바닥이 슬라이딩하는 동적 제스처도 페이지 슬라이딩에 대응되면, 기설정 배수 2가 기설정 배수 1보다 큰 경우에, 손바닥 슬라이딩에 대응되는 페이지 슬라이딩 속도는 두 손가락 슬라이딩에 대응되는 페이지 슬라이딩 속도보다 크다. 즉, 손바닥 슬라이딩은 페이지 고속 슬라이딩에 대응되고, 두 손가락 슬라이딩은 페이지 저속 슬라이딩에 대응된다.
제3 방안에서, 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 제1 대상의 제1 제어 정보를 결정하되; 여기서, 제1 목표 제스처 영상과 제2 목표 제스처 영상은 각각 N 프레임의 제1 제스처 영상 중 맨 처음에 획득한 것과 맨 마지막에 획득된 제스처 영상이고, 제2 목표 제스처 영상은 N 프레임의 제1 제스처 영상 중 맨 마지막에 획득된 제스처 영상이다.
제3 방안은 N 프레임의 제1 제스처 영상이 현재 제1 동적 제스처를 통해 전자기기 상에 표시되는 제1 대상을 제어하는 과정에서, 맨 처음에 획득된 N 프레임의 제스처 영상인 경우에 적용된다.
상술한 3종 방안에 따르면, 본 실시예에서 매번 전자기기 상에 표시되는 제1 대상에 대한 제어 정보는 기설정된 것이 아니라, 핸드 핵심 포인트 위치의 변화를 기초로 획득한 것으로서, 제1 대상에 대한 제어가 더 정밀하고, 사용자의 수요에 더 부합되도록 하며, 사용자의 사용 체험을 향상시킨다.
a3, 제1 대상의 제1 제어 정보를 기초로, 제1 동적 제스처에 대응되는 제1 명령을 실행하여 제1 대상을 제어한다.
여기서, 전자기기에 다양한 동적 제스처에 대응되는 명령이 저장되어 있다. 전자기기에서 제스처가 제1 동적 제스처인 것으로 인식하고 제1 대상의 제1 제어 정보를 결정한 후, 전자기기는 제1 제어 정보를 기초로, 제1 동적 제스처에 대응되는 제1 명령을 실행함으로써 제1 대상을 제어한다.
제1 대상을 제어하는 과정에서, 제1 대상의 변화가 더욱 평온하고, 제1 대상에 대한 제어가 더욱 평온하도록, 제1 제어 정보를 기초로, 제1 명령을 실행하여 계속하여 상기 제1 대상을 제어하는 단계는, 제1 제어 정보와 제1 과거 제어 정보를 기초로, 제1 대상의 새로운 제어 정보를 획득하되, 제1 과거 제어 정보는 현재 제1 대상을 제어하는 과정 중 지난번에 제1 대상을 제어할 때 근거가 된 제어 정보인 단계; 새로운 제어 정보를 기초로, 제1 명령을 실행하여 제1 대상을 제어하는 단계;를 포함한다.
여기서, 제1 제어 정보와 제1 과거 제어 정보를 기초로, 제1 대상의 새로운 제어 정보를 획득하는 단계는 구체적으로 아래의 수식을 통해 구현될 수 있다.
vn = [αvn-1+(1-α)sn]/(1-αn); (1)
여기서, v0 = 0, n≥1, sn은 제1 제어 정보에 대응되고, vn은 새로운 제어 정보에 대응되고, vn-1은 제1 과거 제어 정보에 대응된다.
적어도 1 프레임의 제스처 영상을 획득하되; 여기서, 적어도 1 프레임의 제스처 영상과 N 프레임의 제1 제스처 영상 중의 부분 제스처 영상은 연속되는 N 프레임의 제2 제스처 영상을 구성하고, 적어도 1 프레임의 제스처 영상의 획득 시간은 N 프레임의 제1 제스처 영상의 획득 시간 뒤의 시간이다(단계 S202).
적어도 1 프레임의 제스처 영상은 전자기기가 N 프레임의 제1 제스처 영상을 획득한 후, 맨 처음에 획득한 일 프레임 또는 멀티 프레임의 제스처 영상이고, 적어도 1 프레임의 제스처 영상과 N 프레임의 제1 제스처 영상 중의 부분 제스처 영상은 연속되는 N 프레임의 제2 제스처 영상을 구성한다.
일 구체적인 구현에서, 적어도 1 프레임의 제스처 영상은 1 프레임의 제스처 영상이다. 다시 말해서 1 프레임의 새로운 제스처 영상이 획득될 때마다, 전에 획득된 제스처 영상이 연속되는 멀티 프레임의 제스처 영상을 구성하기 쉽고, 멀티 프레임의 제스처 영상은 예를 들어 상술한 N 프레임의 제1 제스처 영상이고, N 프레임의 제2 제스처 영상이다.
예시적으로, N = 5이고, N 프레임의 제1 제스처 영상은 현재 제1 대상에 대한 제어 과정에서 순차적으로 획득된 제2 ~ 6 프레임의 제스처 영상이고, 적어도 1 프레임의 제스처 영상은 제7 프레임의 제스처 영상이고, N 프레임의 제2 제스처 영상은 현재 제1 대상에 대한 제어 과정에서 순차적으로 획득된 제3 ~ 7 프레임의 제스처 영상이다.
다른 일 구체적인 구현에서, 적어도 1 프레임의 제스처 영상은 2 프레임의 제스처 영상이다.
예시적으로, N = 5이고, N 프레임의 제1 제스처 영상은 현재 제1 대상에 대한 제어 과정에서 순차적으로 획득된 제2 ~ 6 프레임의 제스처 영상이고, 적어도 1 프레임의 제스처 영상은 제7 프레임과 제8 프레임의 제스처 영상이고, N 프레임의 제2 제스처 영상은 현재 제1 대상에 대한 제어 과정에서 순차적으로 획득된 제 4 ~ 8 프레임의 제스처 영상이다.
N 프레임의 제2 제스처 영상을 기초로, 계속하여 스크린 상에 표시되는 제1 대상을 제어한다(단계 S203).
아래에서는 N 프레임의 제2 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하는 구체적인 구현에 대해 설명한다.
일 구체적인 구현에서, N 프레임의 제2 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하는 단계는 아래의 b1~b4를 포함한다.
b1, N 프레임의 제2 제스처 영상을 기초로, 제스처가 제1 동적 제스처인 것으로 인식한다.
여기서, b1의 구체적인 구현은 a1 중의 구체적인 구현을 참조할 수 있으며, 여기서는 중복되는 설명을 생략한다.
b2, N 프레임의 제2 제스처 영상 중 부분 제스처 영상을 기초로 제1 대상의 제2 제어 정보를 결정한다.
여기서, b2의 구체적인 구현은 a2 중의 "N 프레임의 제1 제스처 영상 중의 적어도 부분 제스처 영상를 기초로 제1 대상의 제1 제어 정보를 결정"하는 제1 방안과 제2 방안의 구체적인 구현을 참조할 수 있으며, 여기서는 중복되는 설명을 생략한다.
b3, 제1 대상의 제2 제어 정보를 기초로, 제1 명령을 실행함으로써 계속하여 제1 대상을 제어한다.
여기서, b3의 구체적인 구현은 a3 중의 구체적인 구현을 참조할 수 있으며, 여기서는 중복되는 설명을 생략한다.
본 실시예에서 사용자가 현재에 제1 동적 제스처를 통해 전자기기에 표시되는 제1 대상을 제어하는 과정에서, 제1 대상에 대한 연속되는 복수회의 제어를 구현할 수 있으며, 단계(S201 ~ S203)는 제1 대상에 대한 연속되는 복수회의 제어 중 임의의 인접한 2회의 제어 방법이다. 예를 들면, N = 5일 경우, 사용자가 현재에 제1 동적 제스처를 통해 전자기기에 표시되는 제1 대상을 제어하는 과정에서, 전자기기는 앞에 5 프레임의 제스처 영상을 기초로 제스처가 제1 동적 제스처인 것으로 인식하고, 제4 프레임의 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제5 프레임의 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화를 기초로 제어 정보를 획득 및 해당 제어 정보를 기초로 제1 대상을 제어하거나 또는 앞에 5 프레임의 제스처 영상을 기초로 제스처가 제1 동적 제스처인 것으로 인식하고, 제1 프레임의 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제5 프레임의 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화를 기초로 제어 정보를 획득 및 해당 제어 정보를 기초로 제1 대상을 제어한다. 다음, 제2 ~ 6 프레임의 제스처 영상을 기초로 제스처가 제1 동적 제스처인 것으로 인식하고, 제5 프레임의 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제6 프레임의 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화를 기초로 일 제어 정보를 획득 및 해당 제어 정보를 기초로 제1 대상을 제어하고, 이어서 제3 ~ 7 프레임의 제스처 영상을 기초로 제스처가 제1 동적 제스처인 것으로 인식하고, 제6 프레임의 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제7 프레임의 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화를 기초로 제어 정보를 획득 및 해당 제어 정보를 기초로 제1 대상을 제어하며, 마지막 5 프레임의 제스처 영상을 기초로 제스처가 제1 동적 제스처인 것으로 인식될 까지, 마지막 제2 프레임의 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 마지막 1 프레임의 제스처 영상에 대응되는 핸드 핵심 포인트 위치 변화를 기초로 일 제어 정보를 획득 및 해당 제어 정보를 기초로 제1 대상을 제어하며, 이렇게 순차적으로 유추한다.
본 실시예의 방법은, 현재에 동적 제스처를 통해 전자기기에 대해 제어하는 과정에서, 보다 적은 수량의 제스처 영상을 획득한 후 제1 대상에 대해 1회의 제어를 수행하되, 제1 대상에 대한 인접한 2회의 두번 제어의 근거가 되는 제스처 영상은 동일한 제스처 영상을 가지므로, 동적 제스처를 통해 전자기기에 대해 정밀화 제어하는 목적을 구현한다.
아래에서는 몇가지 구체적인 동적 제스처 시나리오에서 대응되는 전자기기의 제어 방법에 대해 설명한다.
우선, 동적 제스처가 단일 손가락이 제1 방향을 향해 슬라이딩하는 것인 시나리오에 대응되는 전자기기의 제어 방법에 대해 설명한다. 본 출원에 따른 제1 방향은 임의의 방향, 예를 들어 상측 방향, 하측 방향, 좌측 방향, 우측 방향 등일 수 있다.
사용자가 현재에 단일 손가락을 통해 제1 방향을 향해 슬라이딩하여 전자기기 상의 제1 대상을 제어하되, 제1 대상이 포지션 마크일 때,
전자기기는 획득한 앞에 5 프레임의 제스처 영상을 기초로 제스처가 단일 손가락이 제1 방향을 향해 슬라이딩하는 것으로 인식하고, 제4 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제5 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 이동 거리와 제1 기설정 배수의 곱셈을 기초로 포지션 마크의 제1 이동 거리를 획득하고, 이어서 포지션 마크가 제1 방향 상에서 제1 이동 거리만큼 이동하도록 제어한다.
전자기기는 획득한 제6 프레임의 제스처 영상과 제2 ~ 5 프레임의 제스처 영상으로 연속되는 5 프레임의 영상을 구성하고, 제2 ~ 6 프레임의 제스처 영상을 기초로 제스처가 단일 손가락이 제1 방향을 향해 슬라이딩하는 것으로 인식하고, 제5 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제6 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제1 기설정 배수를 기초로 포지션 마크의 제2 이동 거리를 획득하고, 포지션 마크가 제1 방향 상에서 제2 이동 거리만큼 이동하도록 제어한다.
전자기기는 획득한 제7 프레임의 제스처 영상과 제3 ~ 6 프레임의 제스처 영상으로 연속되는 5 프레임의 영상을 구성하고, 제3 ~ 7 프레임의 제스처 영상을 기초로 제스처가 단일 손가락이 제1 방향을 향해 슬라이딩하는 것으로 인식하고, 제6 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제7 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제1 기설정 배수를 기초로 포지션 마크의 제3 이동 거리를 획득하고, 포지션 마크가 제1 방향 상에서 제3 이동 거리만큼 이동하도록 제어한다.
이렇게 순차적으로 유추하며, 전자기기에 총 50 프레임의 제스처 영상이 획득될 경우, 제46 ~ 50 프레임의 제스처 영상을 기초로 제스처가 단일 손가락이 제1 방향을 향해 슬라이딩하는 것으로 인식될 때까지, 제49 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제50 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제1 기설정 배수를 기초로 포지션 마크의 제4 이동 거리를 획득하고, 포지션 마크가 제1 방향 상에서 제4 이동 거리만큼 이동하도록 제어한다.
여기서, 본 실시예에 따른 포지션 마크는 마우스 화살표일 수 있고, 사용자가 현재 제1 대상을 제어하는 과정에서, 처음으로 제스처가 단일 손가락이 제1 방향을 향해 슬라이딩하는 것인 것으로 인식될 때 표시되는 포지션 마크일 수도 있으며, 예를 들어 커서 또는 화살표 등이 있다.
해당 실시예에 대응되는 인터페이스 인터랙션 도면은 도 4에 도시된 바와 같을 수 있다. 도 4를 참조하면, 손이 실제로는 스크린의 전방에 위치하며, 도시의 명확성을 위하여, 손을 핸드폰의 하방에 표시하였다. 손이 도 4 중 (a) 도면 위치로부터 점차적으로 (b) 도면 위치까지 슬라이딩한다. 즉, 단일 손가락이 우측을 향해 슬라이딩하고, 포지션 마크는 점차적으로 도 4 중의 (a) 도면 위치로부터 (b) 도면 위치로 슬라이딩한다.
본 실시예에 따른 방법은 단일 손가락이 우측을 향해 슬라이딩함으로써 포지션 마크의 이동을 정밀하게 제어할 수 있다.
다음, 동적 제스처가 두 손가락이 제1 방향을 향해 슬라이딩하는 것인 시나리오에 대응되는 전자기기의 제어 방법에 대해 설명한다.
사용자가 현재 두 손가락을 통해 제1 방향을 향해 슬라이딩하여 전자기기 상의 제1 대상을 제어할 때, 제1 대상은 현재 표시되는 제1 페이지이다.
전자기기는 획득한 앞에 6 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 제1 방향을 향해 슬라이딩하는 것으로 인식한다.
전자기기는 획득한 제7 프레임의 제스처 영상과 제2 ~ 6 프레임의 제스처 영상으로 연속되는 6 프레임의 영상을 구성하고, 제2 ~ 7 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 제1 방향을 향해 슬라이딩하는 것으로 인식하고, 제6 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제7 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제2 기설정 배수를 기초로 제1 페이지의 제1 이동 거리를 획득하고, 제1 페이지가 제1 방향 상에서 제1 이동 거리만큼 이동하도록 제어한다. 제1 기설정 배수와 제2 기설정 배수는 동일할 수 있고 서로 다를 수도 있다.
전자기기는 획득한 제8 프레임의 제스처 영상과 제3 ~ 7 프레임의 제스처 영상으로 연속되는 6 프레임의 영상을 구성하고, 제3 ~ 8 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 제1 방향을 향해 슬라이딩하는 것으로 인식하고, 제7 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치에 대한 제8 프레임의 제스처 영상 중 목표 핵심 포인트의 평균 이동 거리와 제2 기설정 배수를 기초로 제1 페이지의 제2 이동 거리를 획득하고, 제1 페이지가 제1 방향 상에서 제2 이동 거리만큼 이동하도록 제어한다.
이렇게 순차적으로 유추하며, 전자기기에 총 60 프레임의 제스처 영상이 획득될 경우, 제55 ~ 60 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 제1 방향을 향해 슬라이딩하는 것으로 인식될 때까지, 제59 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제60 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리를 기초로 제1 페이지의 제3 이동 거리를 획득하고, 제1 페이지가 제1 방향 상에서 제3 이동 거리만큼 이동하도록 제어한다.
해당 실시예에 대응되는 인터페이스 인터랙션 도면은 도 5에 도시된 바와 같을 수 있다. 도 5를 참조하면, 손이 실제로는 스크린의 전방에 위치하며, 도시의 명확성을 위하여, 손을 핸드폰의 하방에 표시하였다. 두 손가락이 하측으로 슬라이딩하면, 손은 도 5 중 (a) 도면 위치로부터 점차적으로 (b) 도면 위치까지 슬라이딩하며, 현재 표시되는 페이지는 이에 따라 아래로 슬라이딩하여, 페이지 상에 표시되는 내용이 도5 중 (a) 도면에 표시되는 내용으로부터 (b) 도면에 표시되는 내용으로 업데이트된다. 두 손가락이 계속하여 하측으로 슬라이딩하여, 손이 도 5 중 (b) 도면 위치로부터 점차적으로 (c) 도면 위치까지 슬라이딩하며, 현재 표시되는 페이지는 이에 따라 아래로 슬라이딩하여, 페이지 상에 표시되는 내용이 도 5 중 (b) 도면에 표시되는 내용으로부터 (c) 도면에 표시되는 내용으로 업데이트된다.
여기서, (b)와 (c) 도면 중 글자체가 굵은 내용은 페이지가 아래로 슬라이딩하기 때문에, 페이지 상에 새롭게 표시되는 내용이다. (b)와 (c) 도면 중 페이지 상에 새롭게 표시되는 내용을 굵게 나타내는 이유는, 페이지가 아래로 슬라이딩한 후에 새롭게 표시되는 내용을 나타내기 위한 것이며, 실제 과정에서, 페이지가 아래로 슬라이딩된 후 새롭게 표시되는 내용의 구체적인 표시 형태에 대해, 본 실시예에서는 한정하지 않는다.
본 실시예는 두 손가락이 슬라이딩하는 동적 제스처를 통해 페이지 이동을 정밀하게 제어하는 목적을 구현한다.
이어서, 동적 제스처가 손바닥이 제1 방향을 향해 슬라이딩하는 것인 시나리오에 대응되는 전자기기의 제어 방법에 대해 설명한다.
사용자가 현재에 손바닥을 통해 제1 방향을 향해 슬라이딩하여 전자기기 상의 제1 대상을 제어할 때, 제1 대상은 현재 표시되는 제1 페이지이다.
전자기기는 획득한 앞에 5 프레임의 제스처 영상을 기초로 제스처가 손바닥이 제1 방향을 향해 슬라이딩하는 것으로 인식하고, 제4 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제5 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제3 기설정 배수를 기초로 제1 페이지의 제1 이동 거리를 획득하고, 제1 페이지가 제1 방향 상에서 제1 이동 거리만큼 이동하도록 제어한다. 제3 기설정 배수는 제2 기설정 배수보다 크다.
전자기기는 획득한 제6 프레임의 제스처 영상과 제2~4 프레임의 제스처 영상으로 구성되는 연속되는 5 프레임의 영상을 구성하고, 제2 ~ 6 프레임의 제스처 영상을 기초로 제스처가 손바닥이 제1 방향을 향해 슬라이딩하는 것으로 인식하고, 제5 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제6 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제3 기설정 배수를 기초로 제1 페이지의 제2 이동 거리를 획득하고, 제1 페이지가 제1 방향 상에서 제2 이동 거리만큼 이동하도록 제어한다.
전자기기는 획득한 제7 프레임의 제스처 영상과 제3 ~ 6 프레임의 제스처 영상으로 연속되는 5 프레임의 영상을 구성하고, 제3 ~ 7 프레임의 제스처 영상을 기초로 제스처가 손바닥이 제1 방향을 향해 슬라이딩하는 것으로 인식하고, 제6 프레임의 제스처 영상 중 목표핵심 포인트에 대한 제7 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제3 기설정 배수를 기초로 제1 페이지의 제3 이동 거리를 획득하고, 제1 페이지가 제1 방향 상에서 제3 이동 거리만큼 이동하도록 제어한다.
이렇게 순차적으로 유추하며, 전자기기에 총 50 프레임의 제스처 영상이 획득될 경우, 제46 ~ 50 프레임의 제스처 영상을 기초로 제스처가 손바닥이 제1 방향을 향해 슬라이딩하는 것으로 인식될 때까지, 제49 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제50 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리를 기초로 제1 페이지의 제4 이동 거리를 획득하고, 제1 페이지가 제1 방향 상에서 제4 이동 거리만큼 이동하도록 제어한다.
도 2에 도시된 실시예 중 제1 대상의 제어 정보를 획득하는 방법에 따르면, 제3 기설정 배수가 제2 기설정 배수보다 클 때, 두 손가락 슬라이딩과 손바닥 슬라이딩에 대응되는 인접한 두 프레임의 제스처 영상 중 목표 핵심 포인트의 이동 거리가 동일할 경우, 두 손가락 슬라이딩으로 제어되는 제1 페이지의 이동 속도가 손바닥 슬라이딩으로 제어되는 제1 페이지의 이동 속도보다 느리다. 따라서, 만약 사용자가 페이지를 고속하게 이동시키려면, 손바닥 슬라이딩 제스처를 취할 수 있으며, 만약 사용자가 페이지를 저속으로 이동시키려면, 두 손가락 슬라이딩 제스처를 취할 수 있다.
해당 실시예에 대응되는 인터페이스 인터랙션 도면은 도 6에 도시된 바와 같을 수 있다. 도 6을 참조하면, 손이 실제로는 스크린의 전방에 위치하며, 도시의 명확성을 위하여, 손을 핸드폰의 우측에 표시하였다. 손바닥이 하방으로 슬라이딩하여, 손이 도 6 중 (a) 도면 위치로부터 점차적으로 (b) 도면 위치로 슬라이딩하며, 현재 표시되는 페이지는 이에 따라 아래로 슬라이딩하고, 페이지 상에 표시되는 내용은 도 6 중 (a) 도면에 표시되는 내용으로부터 (b) 도면에 표시되는 내용으로 업데이트된다. 손바닥이 계속하여 하방으로 슬라이딩하고, 손이 도 6 중 (b) 도면 위치로부터 점차적으로 (c) 도면 위치까지 슬리이딩하며, 현재 표시되는 페이지는 이에 따라 아래로 슬라이딩하여, 페이지 상에 표시되는 내용이 도 6 중 (b) 도면에 표시되는 내용으로부터 (c) 도면에 표시되는 내용으로 업데이트된다.
도 6과 도 5을 비교하면, 손이 유사한 거리를 이동할 경우, 손바닥 슬라이딩에 대응되는 페이지 이동 속도가 두 손가락 슬라이딩에 대응되는 페이지 이동 속도보다 크다.
본 실시예는 손바닥이 슬라이딩하는 동적 제스처를 통해 페이지 이동을 정밀하게 제어하는 목적을 구현한다.
다음, 동적 제스처가 두 손가락이 점차적으로 벌어지는 것인 시나리오에 대응되는 전자기기의 제어 방법에 대해 설명한다.
사용자가 현재 두 손가락을 점차적으로 벌려 전자기기 상의 제1 대상을 제어하고, 제1 대상이 현재 표시되는 제1 이미지일 때,
전자기기는 획득한 앞에 4 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 점차적으로 벌어지는 것으로 인식하고, 제1 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제4 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제4 기설정 배수를 기초로 제1 이미지의 제1 사이즈 변화값을 획득하고, 제1 이미지의 현재 사이즈가 제1 사이즈 변화값만큼 확대하도록 제어한다.
전자기기는 획득한 제5 프레임의 제스처 영상과 제2 ~ 4 프레임의 제스처 영상으로 연속되는 4 프레임의 영상을 구성하고, 제2 ~ 5 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 점차적으로 벌어지는 것으로 인식하고, 제4 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제5 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제4 기설정 배수를 기초로 제1 이미지의 제2 사이즈 변화값을 획득하고, 제1 이미지의 현재 사이즈가 계속하여 제2 사이즈 변화값만큼 확대하도록 제어한다.
전자기기는 획득한 제6 프레임의 제스처 영상과 제3 ~ 5 프레임의 제스처 영상으로 연속되는 4 프레임의 영상을 구성하고, 제3 ~ 6 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 점차적으로 벌어지는 것으로 인식하고, 제5 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제6 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제4 기설정 배수를 기초로 제1 이미지의 제3 사이즈 변화값을 획득하고, 제1 이미지의 현재 사이즈가 계속하여 제3 사이즈 변화값만큼 확대하도록 제어한다.
이렇게 순차적으로 유추하며, 전자기기에 총 30 프레임의 제스처 영상이 획득될 경우, 제27 ~ 30 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 점차적으로 벌어지는 것으로 인식될 때까지, 제29 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제30 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제4 기설정 배수를 기초로 제1 이미지의 제4 사이즈 변화값을 획득하고, 제1 이미지의 현재 사이즈가 계속하여 제4 사이즈 변화값만큼 확대하도록 제어한다.
해당 실시예에 대응되는 인터페이스 인터랙션 도면은 도 7에 도시된 바와 같을 수 있다. 도 7을 참조하면, 손이 실제로는 스크린의 전방에 위치하며, 도시의 명확성을 위하여, 손을 핸드폰의 하방에 표시하였다. 도 7 중 (a) 도면의 제스처는 점차적으로 도 7 중 (b) 도면의 제스처로 변한다. 즉, 두 손가락이 점차적으로 벌어지고, 현재 표시되는 이미지의 사이즈는 점차적으로 도 7 중 (a) 도면의 사이즈로부터 도 7 중 (b) 도면의 사이즈로 변경된다.
본 실시예는 두 손가락이 점차적으로 벌어지는 동적 제스처를 통해 이미지 획대를 정밀하게 제어하는 목적을 구현한다.
다음, 동적 제스처가 두 손가락이 점차적으로 합쳐지는 것인 시나리오에 대응되는 전자기기의 제어 방법에 대해 설명한다.
사용자가 현재 두 손가락을 점차적으로 합쳐 전자기기 상의 제1 대상을 제어하고, 제1 대상이 현재 표시되는 제1 이미지일 때,
전자기기는 획득한 앞에 5 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 점차적으로 합쳐지는 것으로 인식하고, 제4 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제5 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제5 기설정 배수를 기초로 제1 이미지의 제1 사이즈 변화값을 획득하고, 제1 이미지의 현재 사이즈가 제1 사이즈 변화값만큼 축소하도록 제어한다.
전자기기는 획득한 제6 프레임의 제스처 영상 및 제7 프레임의 제스처 영상과 제3 ~ 5 프레임의 제스처 영상으로 연속되는 5 프레임의 영상을 구성하고, 제3 ~ 7 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 점차적으로 합쳐지는 것으로 인식하고, 제6 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제7 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제5 기설정 배수를 기초로 제1 이미지의 제2 사이즈 변화값을 획득하고, 제1 이미지의 현재 사이즈가 계속하여 제2 사이즈 변화값만큼 축소하도록 제어한다.
전자기기는 획득한 제8 프레임의 제스처 영상 및 제9 프레임의 제스처 영상과 제5 ~ 7 프레임의 제스처 영상으로 연속되는 5 프레임의 영상을 구성하고, 제5 ~ 9 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 점차적으로 합쳐지는 것으로 인식하고, 제8 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제9 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제5 기설정 배수를 기초로 제1 이미지의 제3 사이즈 변화값을 획득하고, 제1 이미지의 현재 사이즈가 계속하여 제3 사이즈 변화값만큼 축소하도록 제어한다.
이렇게 순차적으로 유추하며, 전자기기에 총 50 프레임의 제스처 영상이 획득될 경우, 제46 ~ 50 프레임의 제스처 영상을 기초로 제스처가 두 손가락이 점차적으로 합쳐지는 것으로 인식될 때까지, 제49 프레임의 제스처 영상 중 목표 핵심 포인트에 대한 제50 프레임의 제스처 영상 중 목표 핸드 핵심 포인트 위치의 평균 이동 거리와 제5 기설정 배수를 기촐 제1 이미지의 제4 사이즈 변화값을 획득하고, 제1 이미지의 현재 사이즈가 계속하여 제4 사이즈 변화값만큼 축소하도록 제어한다.
해당 실시예에 대응되는 인터페이스 인터랙션 도면은 도 8에 도시된 바와 같을 수 있다. 도 8을 참조하면, 손이 실제로는 스크린의 전방에 위치하며, 도시의 명확성을 위하여, 손을 핸드폰의 하방에 표시하였다. 도 8 중 (a) 도면의 제스처는 점차적으로 도 8 중 (b) 도면의 제스처로 변한다. 즉, 두 손가락이 점차적으로 합쳐지고, 현재 표시되는 이미지의 사이즈는 점차적으로 도 8 중 (a) 도면의 사이즈로부터 도 8 중 (b) 도면의 사이즈로 변경된다.
본 실시예는 두 손가락이 점차적으로 합쳐지는 동적 제스처를 통해 이미지 확대를 정밀하게 제어하는 목적을 구현한다.
아래에서는 구체적인 실시예를 통해 상술한 실시예 중의 제1 기계 학습 모델에 대해 설명한다.
도 2에 도시된 실시예에서 영상이 제스처 영상인지 여부를 인식 및 제스처 영상에 대응되는 핸드 핵심 포인트 위치를 획득할 수 있는 제1 기계 학습 모델은 뉴럴 네트워크 모델, 예를 들어 컨벌루션 뉴럴 네트워크 모델, 이중 방향 뉴럴 네트워크 모델 등일 수 있다. 일 방안에서, 제1 기계 학습 모델의 입력은 카메라에 의해 획득된 영상이 형상 (256, 256, 3)으로 처리된 영상일 수 있다. 여기서, (256, 256, 3)는 길이가 256개의 픽셀이고, 폭이 256개 픽셀이며, 채널 수량이 RGB 3 채널인 칼라 이미지를 의미한다. 제1 기계 모델의 출력은 (anchors, 1+4+21*2)일 수 있다. 여기서 anchors는 네트워크의 출력 앵커 박스 개수를 나타내고, 1은 해당 앵커 박스에 손 포함 확률 크기를 나타내며, 4는 손의 경계 박스의 죄표를 나타내는 바, 구체적으로, 왼쪽 상단 모서리의 x와 y 좌표, 오른쪽 하단 모서리의 x와 y좌표이다. 21*2는 21개의 핸드 핵심 포인트의 죄표(x,y)를 나타낸다.
제1 기계 학습 모델을 트레이닝할 때, 대량의 양성 샘플 이미지와 음성 샘플 이미지를 획득할 수 있으며, 여기서, 양성 샘플 이미지에는 손이 포함되고, 음성 샘플 이미지에는 손이 포함되지 않는다. 인공적으로 각각의 샘플 이미지의 태그―(anchors, 1+4+21*2)를 표기한다. 대량의 양성 샘플 이미지와 음성 이미지 및 샘플 이미지 각각의 태그를 통해, 모니터링이 존재하는 트레이닝을 수행하여, 최종적으로 제1 기계 학습 모델을 획득할 수 있다. 제1 기계 학습 모델의 정밀도를 확보시키기 위하여, 제1 기계 학습 모델을 획득한 후, 테스트 이미지를 사용하여 제1 기계 학습 모델의 정밀도를 테스트할 수도 있다. 만약 정밀도가 기설정된 정밀도를 만족하지 않으면, 정밀도가 기설정된 정밀도를 만족할 때까지 계속하여 모니터링이 존재하는 트레이닝을 수행한다.
제1 기계 학습 모델에 대응되는 네트워크 구조는 기존의 솔리드 스테이트 드라이브(SSD) 네트워크 구조의 기초 상에서 변경된 것일 수 있고, 새로 설계된 것일 수도 있다. 본 실시예는 이에 대해 한정하지 않는다.
본 실시예에서 획득한 제1 기계 학습 모델은 핸드 핵심 포인트 좌표 획득 효율 및 정확도를 향상시킬 수 있으며, 이에 따라 사용자가 제스처를 통해 전자기기를 제어하는 제어 효율을 향상시킬 수 있다.
도 9는 본 출원의 실시예에서 제공하는 제스처를 기반으로 전자기기를 제어하는 장치의 구조도이다. 도 9에 도시된 바와 같이, 본 실시예의 장치는 획득모듈(901)과 제어모듈(902)을 포함할 수 있다.
획득모듈(901)은 연속되는 N 프레임의 제1 제스처 영상을 획득하되; N은 1보다 큰 정수이고; 제어모듈(902)은 상기 N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하고; 획득모듈(901)은 또한 적어도 1 프레임의 제스처 영상을 획득하고; 여기서, 상기 적어도 1 프레임의 제스처 영상과 상기 N 프레임의 제1 제스처 영상 중 부분 제스처 영상은 연속되는 N 프레임의 제2 제스처 영상을 구성하되, 상기 적어도 1 프레임의 제스처 영상의 획득 시간은 상기 N 프레임의 제1 제스처 영상의 획득 시간 뒤의 시간이고; 제어모듈(902)은 또한 상기 N 프레임의 제2 제스처 영상을 기초로, 계속하여 상기 스크린 상에 표시되는 제1 대상을 제어한다.
선택적으로, 상기 제어모듈(902)은 구체적으로, 상기 N 프레임의 제1 제스처 영상을 기초로, 제스처가 제1 동적 제스처인 것으로 인식하고; 상기 N 프레임의 제1 제스처 영상 중 부분 제스처 영상을 기초로 상기 제1 대상의 제1 제어 정보를 결정하고; 상기 제1 제어 정보를 기초로, 상기 제1 동적 제스처에 대응되는 제1 명령을 실행하여 상기 제1 대상을 제어한다.
선택적으로, 상기 제어모듈(902)은 구체적으로, 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하되; 여기서, 상기 제2 목표 제스처 영상은 상기 N 프레임의 제1 제스처 영상 중 맨 마지막에 획득된 제스처 영상이고, 상기 제1 목표 제스처 영상은 상기 제2 목표 제스처 영상을 획득하기 전에 최근에 획득한 1 프레임의 제스처 영상이다.
선택적으로, 상기 제어모듈(902)은 구체적으로, 상기 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 상기 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값과 상기 제1 동적 제스처를 기초로, 상기 제1 제어 정보를 결정한다.
선택적으로, 상기 제어모듈(902)이 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하기 전에, 상기 획득모듈(901)은 또한, 제1 기계 학습 모델을 사용하여 상기 제1 제스처 영상에 대해 학습하여; 상기 제1 기계 학습 모델의 출력을 획득하되, 상기 출력은 상기 제1 제스처 영상에 대응되는 핸드 핵심 포인트 좌표를 포함한다.
선택적으로, 상기 제어모듈(902)은 구체적으로, 상기 제1 제어 정보와 제1 과거 제어 정보를 기초로, 상기 제1 대상의 새로운 제어 정보를 획득하되, 상기 제1 과거 제어 정보는 현재 상기 제1 대상에 대한 제어 과정 중 지난번에 상기 제1 대상을 제어할 때 근거가 된 제어 정보이고; 상기 새로운 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어한다.
선택적으로, 상기 제1 제어 정보는 제1 이동 거리이다.
선택적으로, 상기 제1 동적 제스처는 단일 손가락이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향 상에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 포지션 마크이며; 상기 제어모듈(902)은 구체적으로, 상기 포지션 마크가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어한다.
선택적으로, 상기 제1 동적 제스처는 두 손가락이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 제1 페이지이며; 상기 제어모듈(902)은 구체적으로, 상기 제1 페이지가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어한다.
선택적으로, 상기 제1 동적 제스처는 손바닥이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 제1 페이지이며; 상기 제어모듈(902)은 구체적으로, 상기 제1 페이지가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어한다.
선택적으로, 상기 제1 제어 정보는 사이즈 변화값이다.
선택적으로, 상기 제1 동적 제스처는 두 손가락이 점차적으로 벌어지는 것이고, 상기 제1 명령은 상기 제1 대상을 확대하는 것이며; 상기 제어모듈(902)은 구체적으로, 상기 제1 대상의 사이즈를 상기 사이즈 변화값만큼 확대하는 것이다.
선택적으로, 상기 제1 동적 제스처는 두 손가락이 합쳐지는 것이고, 상기 제1 명령은 상기 제1 대상을 축소하는 것이며; 상기 제어모듈(902)은 구체적으로, 상기 제1 대상의 사이즈를 상기 사이즈 변화값만큼 축소하는 것이다.
본 실시예의 장치는 상술한 방법 실시예의 기술적 해결수단을 수행할 수 있으며, 그 구현원리와 기술효과가 유사하므로, 여기서는 중복되는 설명을 생략한다.
본 출원의 실시예에 따르면, 본 출원은 전자기기와 판독 가능 저장매체를 더 제공한다.
도 10은 본 출원의 실시예에 따른 제스처를 기반으로 전자기기를 제어하는 방법을 구현하기 위한 전자기기의 블록도이다. 전자기기는 다양한 형태의 디지털 컴퓨터, 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 휴대 단말, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터를 의미한다. 전자기기는 다양한 형태의 이동장치, 예컨대, 개인 휴대 정보 처리, 셀폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치를 의미할 수도 있다. 본문에 개시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것이며, 본문에 개시된 것 및/또는 요구하는 본 출원의 구현을 한정하려는 의도가 아니다.
도 10에 도시된 바와 같이, 해당 전자기기는 하나 또는 복수의 프로세서(1001), 메모리(1002), 및 각 부재를 연결시키기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각각의 부재는 서로 다른 버스를 통해 서로 연결되며, 공통 메인보드에 장착되거나 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리 내 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플링된 디스플레이 기기) 상에 GUI의 그래픽 정보를 표시하는 명령을 포함할 수 있다. 기타 실시형태에서, 수요에 따라, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 같이 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있으며, 각각의 기기는 부분 필요한 조작을 제공한다(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 멀티 프로세서 시스템으로서). 도 10은 하나의 프로세서(1001)를 예로 든다.
메모리(1002)는 바로 본 출원에 따른 비일시적 컴퓨터 판독 가능 저장매체이다. 여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원에 따른 제스처를 기반으로 전자기기를 제어하는 방법을 수행하도록 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장매체는 컴퓨터 명령을 저장하고, 해당 컴퓨터 명령은 컴퓨터가 본 출원에 따른 제스처를 기반으로 전자기기를 제어하는 방법을 수행하도록 한다.
메모리(1002)는 비일시적 컴퓨터 판독 가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예컨대 본 출원의 실시예에 따른 제스처를 기반으로 전자기기를 제어하는 방법에 대응되는 프로그램 명령/모듈(예를 들어, 도 9에 도시된 획득모듈(901) 및 제어모듈(902))을 저장할 수 있다. 프로세서(1001)는 메모리(1002)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여, 전자기기의 다양한 기능 응용 및 데이터 처리를 수행한다. 즉, 상술한 방법 실시예 중 제스처를 기반으로 전자기기를 제어하는 방법을 구현한다.
메모리(1002)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장 영역은 제스처를 기반으로 전자기기를 제어하는 방법을 구현하기 위한 전자기기의 사용에 따라 구축되는 데이터 등을 저장할 수 있다. 한편, 메모리(1002)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예를 들어 적어도 하나의 자기 저장 장치, 플래시 메모리, 또는 기타 비일시적 솔리드 스테이트 저장 장치와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(1002)는 선택적으로 프로세서(1001)에 대해 원격으로 설치되는 메모리를 포함할 수 있다. 이러한 원격 메모리는 네트워크를 통해 제스처를 기반으로 전자기기를 제어하는 방법을 구현하는 전자기기에 연결될 수 있다. 상술한 네트워크의 실예로서 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 그 조합을 포함하지만 이에 한정되지 않는다.
제스처를 기반으로 전자기기를 제어하는 방법을 구현하는 전자기기는 입력장치(1003)와 출력장치(1004)를 더 포함할 수 있다. 프로세서(1001), 메모리(1002), 입력장치(1003) 및 출력장치(1004)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 10에서는 버스를 통해 연결되는 것을 예시하고 있다.
입력장치(1003)는 입력되는 숫자 또는 문자 부호 정보를 수신할 수 있고, 제스터를 기반으로 전자기기를 제어하는 방법을 구현하는 전자기기의 사용자 설정 및 기능 제어에 대한 키 신호 입력을 생성할 수 있다. 예를 들어 터치 스크린, 키패드, 마우스, 트랙패드, 터치패널, 지시레버, 하나 또는 복수의 마우스 버튼, 트랙볼, 조종레버 등의 입력장치를 포함할 수 있다. 출력장치(1004)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 기기는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이 등을 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.
여기에 기재되는 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행 및/또는 해석될 수 있으며, 해당 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치, 및 해당 적어도 하나의 출력장치로 전송한다.
본 출원의 실시예에 따르면, 본 출원은 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램을 더 제공하며, 전자기기의 적어도 하나의 프로세서는 판독 가능 저장매체로부터 컴퓨터 명령을 판독할 수 있으며, 적어도 하나의 프로세서는 컴퓨터 프로그램을 실행하여 전자기기가 상술한 어느 실시예에 따른 방안을 수행하도록 한다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 응용, 또는 코드라고도 지칭)은 프로그래머블 프로세서의 기계적 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계적 언어를 이용하여 이러한 컴퓨팅 프로그램을 실행할 수 있다. 예컨대 본문에서 사용되는 용어 "기계 판독 가능 매체"와 "컴퓨터 판독 가능 매체"는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래머블 논리 디바이스(PLD))를 가리키고, 기계 판독 가능 신호인 기계적 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계적 명령 및/또는 데이터를 프로그래머블 프로세서로 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위하여, 컴퓨터 상에서 여기에 기재되는 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(캐소드레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 지향 장치(예를 들어, 마우스 또는 트랙볼)를 구비하고, 사용자는 해당 키보드와 해당 지향 장치를 통해 입력을 컴퓨터로 제공할 수 있다. 기타 종류의 장치는 사용자와의 인터랙션을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.
여기에 기재되는 시스템과 기술은 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 중간부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 유저 인터페이스 또는 해당 인터넷 브라우저를 통해 여기에 기재되는 시스템 및 기술의 실시형태와 인터랙션할 수 있다), 또는 이러한 배그라운드 부재, 중간 부재, 또는 프론트 엔드 부재를 포함하는 임의의 조합의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신 네트워크의 예시로서, 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터 상에서 실행되며 서로 클라이언트 - 서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.
본 출원에서, 현재 동적 제스처를 통해 전자기기에 대해 제어하는 과정에서, 보다 적은 수량의 제스처 영상을 획득한 후 제1 대상에 대해 한번 제어하되, 제1 대상에 대한 서로 인접한 두번 제어의 근거가 되는 제스처 영상은 동일한 제스처 영상을 가지므로, 동적 제스처를 통해 전자기기에 대해 정밀화 제어를 수행하는 목적을 구현한다.
상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있다. 예를 들어, 본 출원에 기재된 각 단계는 병열로 수행될 수 있고 순차적으로 수행될 수도 있고 서로 다른 순서로 수행될 수도 있으며, 본 출원에 개시된 기술적 해결수단이 원하는 결과를 얻을 수만 있다면, 본문에서는 여기서 한정하지 않는다.
상술한 구체적인 실시형태는 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 통상의 지식을 가진 자라면, 설계 요구와 기타 요소를 기초로, 다양한 수정, 조합, 서브 조합 및 대체를 가할 수 있음을 이해할 수 있을 것이다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 치환 및 개선 등은 모두 본 출원의 보호 범위 내에 속한다.

Claims (21)

  1. 연속되는 N 프레임의 제1 제스처 영상을 획득하고, 상기 N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하되, N은 1보다 큰 정수인 단계;
    적어도 1 프레임의 제스처 영상을 획득하되; 상기 적어도 1 프레임의 제스처 영상과 상기 N 프레임의 제1 제스처 영상 중의 부분 제스처 영상은 연속되는 N 프레임의 제2 제스처 영상을 구성하되, 상기 적어도 1 프레임의 제스처 영상의 획득 시간은 상기 N 프레임의 제1 제스처 영상의 획득 시간 뒤의 시간인 단계;
    상기 N 프레임의 제2 제스처 영상을 기초로, 계속하여 상기 스크린 상에 표시되는 제1 대상을 제어하는 단계를 포함하는 것을 특징으로 하는 제스처를 기반으로 전자기기를 제어하는 방법.
  2. 제1항에 있어서,
    상기 N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하는 단계는,
    상기 N 프레임의 제1 제스처 영상을 기초로, 제스처가 제1 동적 제스처인 것으로 인식하는 단계;
    상기 N 프레임의 제1 제스처 영상 중 부분 제스처 영상을 기초로 상기 제1 대상의 제1 제어 정보를 결정하는 단계;
    상기 제1 제어 정보를 기초로, 상기 제1 동적 제스처에 대응되는 제1 명령을 실행하여 상기 제1 대상을 제어하는 단계;를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 N 프레임의 제1 제스처 영상 중 부분 제스처 영상을 기초로 상기 제1 대상의 제1 제어 정보를 결정하는 단계는,
    제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하는 단계를 포함하되,
    여기서, 상기 제2 목표 제스처 영상은 상기 N 프레임의 제1 제스처 영상 중 맨 마지막에 획득된 제스처 영상이고, 상기 제1 목표 제스처 영상은 상기 제2 목표 제스처 영상을 획득하기 전에 최근에 획득한 1 프레임의 제스처 영상인 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하는 단계는,
    상기 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 상기 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값과 상기 제1 동적 제스처를 기초로, 상기 제1 제어 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하는 단계 전에, 상기 방법은,
    제1 기계 학습 모델을 사용하여 상기 제1 제스처 영상에 대해 학습하는 단계;
    상기 제1 기계 학습 모델의 출력을 획득하되, 상기 출력은 상기 제1 제스처 영상에 대응되는 핸드 핵심 포인트 좌표를 포함하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  6. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 제1 제어 정보를 기초로, 상기 제1 동적 제스처에 대응되는 제1 명령을 실행하여 상기 제1 대상을 제어하는 단계는,
    상기 제1 제어 정보와 제1 과거 제어 정보를 기초로, 상기 제1 대상의 새로운 제어 정보를 획득하되, 상기 제1 과거 제어 정보는 현재 상기 제1 대상에 대한 제어 과정 중 지난번에 상기 제1 대상을 제어할 때 근거가 된 제어 정보이고;
    상기 새로운 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계;를 포함하는 것을 특징으로 하는 방법.
  7. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 제1 제어 정보는 제1 이동 거리인 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 제1 동적 제스처는 단일 손가락이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향 상에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 포지션 마크이며;
    상기 제1 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계는, 상기 포지션 마크가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제7항에 있어서,
    상기 제1 동적 제스처는 두 손가락이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 제1 페이지이며;
    상기 제1 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계는, 상기 제1 페이지가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제7항에 있어서,
    상기 제1 동적 제스처는 손바닥이 제1 방향을 향해 슬라이딩하는 것이고, 상기 제1 명령은 상기 제1 방향에서 상기 제1 대상을 이동시키는 것이고, 상기 제1 대상은 제1 페이지이며;
    상기 제1 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계는, 상기 제1 페이지가 상기 제1 방향 상에서 상기 제1 이동 거리만큼 이동하도록 제어하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 제1 제어 정보는 사이즈 변화값인 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 제1 동적 제스처는 두 손가락이 점차적으로 벌어지는 것이고, 상기 제1 명령은 상기 제1 대상을 확대하는 것이며;
    상기 제1 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계는, 상기 제1 대상의 사이즈를 상기 사이즈 변화값만큼 확대하는 단계를 포함하는 것인 것을 특징으로 하는 방법.
  13. 제11항에 있어서,
    상기 제1 동적 제스처는 두 손가락이 합쳐지는 것이고, 상기 제1 명령은 상기 제1 대상을 축소하는 것이며;
    상기 제1 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하는 단계는, 상기 제1 대상의 사이즈를 상기 사이즈 변화값만큼 축소하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 연속되는 N 프레임의 제1 제스처 영상을 획득하되; N은 1보다 큰 정수인 획득모듈;
    상기 N 프레임의 제1 제스처 영상을 기초로 스크린 상에 표시되는 제1 대상을 제어하는 제어모듈; 을 포함하되,
    획득모듈은 또한 적어도 1 프레임의 제스처 영상을 획득하되; 여기서, 상기 적어도 1 프레임의 제스처 영상과 상기 N 프레임의 제1 제스처 영상 중의 부분 제스처 영상은 연속되는 N 프레임의 제2 제스처 영상을 구성하고, 상기 적어도 1 프레임의 제스처 영상의 획득 시간은 상기 N 프레임의 제1 제스처 영상의 획득 시간 뒤의 시간이고;
    제어모듈은 또한 상기 N 프레임의 제2 제스처 영상을 기초로, 계속하여 상기 스크린 상에 표시되는 제1 대상을 제어하는 것을 특징으로 하는 제스처를 기반으로 전자기기를 제어하는 장치.
  15. 제14항에 있어서,
    상기 제어모듈은 구체적으로,
    상기 N 프레임의 제1 제스처 영상을 기초로, 제스처가 제1 동적 제스처인 것으로 인식하고;
    상기 N 프레임의 제1 제스처 영상 중 부분 제스처 영상을 기초로 상기 제1 대상의 제1 제어 정보를 결정하고;
    상기 제1 제어 정보를 기초로, 상기 제1 동적 제스처에 대응되는 제1 명령을 실행하여 상기 제1 대상을 제어하는 것을 특징으로 하는 장치.
  16. 제15항에 있어서,
    상기 제어모듈은 구체적으로,
    제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하고;
    여기서, 상기 제2 목표 제스처 영상은 상기 N 프레임의 제1 제스처 영상 중 맨 마지막에 획득된 제스처 영상이고, 상기 제1 목표 제스처 영상은 상기 제2 목표 제스처 영상을 획득하기 전에 최근에 획득한 1 프레임의 제스처 영상인 것을 특징으로 하는 장치.
  17. 제16항에 있어서,
    상기 제어모듈이 제1 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치에 대한 제2 목표 제스처 영상에 대응되는 핸드 핵심 포인트 위치의 변화값을 기초로, 상기 제1 제어 정보를 결정하기 전에, 상기 획득모듈은 또한,
    제1 기계 학습 모델을 사용하여 상기 제1 제스처 영상에 대해 학습하고;
    상기 제1 기계 학습 모델의 출력을 획득하되, 상기 출력은 상기 제1 제스처 영상에 대응되는 핸드 핵심 포인트 좌표를 포함하는 것을 특징으로 하는 장치.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 제어모듈은 구체적으로,
    상기 제1 제어 정보와 제1 과거 제어 정보를 기초로, 상기 제1 대상의 새로운 제어 정보를 획득하되, 상기 제1 과거 제어 정보는 현재 상기 제1 대상에 대한 제어 과정 중 지난번에 상기 제1 대상을 제어할 때 근거가 된 제어 정보이고;
    상기 새로운 제어 정보를 기초로, 상기 제1 명령을 실행함으로써 상기 제1 대상을 제어하하는 것을 특징으로 하는 장치.
  19. 적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결되는 메모리; 를 포함하되,
    상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제4항 중 어느 하나에 따른 방법을 수행할 수 있도록 하는 것을 특징으로 하는 전자기기.
  20. 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제4항 중 어느 하나에 따른 방법을 수행하도록 하는 것을 특징으로 하는 컴퓨터 판독 가능 저장매체.
  21. 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제4항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램.
KR1020210018954A 2020-02-14 2021-02-10 제스처를 기반으로 전자기기를 제어하는 방법 및 장치 KR20210038446A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010095286.1A CN111273778B (zh) 2020-02-14 2020-02-14 基于手势控制电子设备的方法和装置
CN202010095286.1 2020-02-14

Publications (1)

Publication Number Publication Date
KR20210038446A true KR20210038446A (ko) 2021-04-07

Family

ID=71002768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210018954A KR20210038446A (ko) 2020-02-14 2021-02-10 제스처를 기반으로 전자기기를 제어하는 방법 및 장치

Country Status (5)

Country Link
US (1) US20210191611A1 (ko)
EP (1) EP3832439A3 (ko)
JP (1) JP7146977B2 (ko)
KR (1) KR20210038446A (ko)
CN (1) CN111273778B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078238A1 (zh) * 2022-10-11 2024-04-18 华为技术有限公司 一种视频录制控制方法、电子设备及介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112613384B (zh) * 2020-12-18 2023-09-19 安徽鸿程光电有限公司 手势识别方法、手势识别装置及交互显示设备的控制方法
CN112684895A (zh) * 2020-12-31 2021-04-20 安徽鸿程光电有限公司 标记方法、装置、设备及计算机存储介质
CN113190107B (zh) * 2021-03-16 2023-04-14 青岛小鸟看看科技有限公司 手势识别方法、装置及电子设备
CN113282169B (zh) * 2021-05-08 2023-04-07 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
CN113407029B (zh) * 2021-06-25 2024-02-20 腾讯云计算（北京）有限责任公司 一种页面对象状态信息确定方法、装置、设备和可读介质
CN113448485B (zh) * 2021-07-12 2024-09-13 交互未来(北京)科技有限公司 一种大屏幕窗口控制方法、装置、存储介质和设备
CN115695743A (zh) * 2021-07-26 2023-02-03 成都极米科技股份有限公司 投影画面调节方法、装置及投影仪
CN113986093A (zh) * 2021-09-26 2022-01-28 展讯通信（上海）有限公司 互动方法及相关装置
CN114463833A (zh) * 2021-11-01 2022-05-10 成都市挟翼劼世科技有限公司 基于MediaPipe手势识别模型的安卓人机交互方法
WO2023077886A1 (zh) * 2021-11-04 2023-05-11 海信视像科技股份有限公司 一种显示设备及其控制方法
CN114327056A (zh) * 2021-12-23 2022-04-12 新疆爱华盈通信息技术有限公司 目标对象控制方法、装置和存储介质
CN114546114A (zh) * 2022-02-15 2022-05-27 美的集团(上海)有限公司 移动机器人的控制方法、控制装置及移动机器人
CN115798054B (zh) * 2023-02-10 2023-11-10 国网山东省电力公司泰安供电公司 一种基于ar/mr技术的手势识别方法及电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
JP2013080413A (ja) * 2011-10-05 2013-05-02 Sony Corp 入力装置、入力認識方法
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
CN103926999B (zh) * 2013-01-16 2017-03-01 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
KR20130088104A (ko) * 2013-04-09 2013-08-07 삼성전자주식회사 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법
KR20150019370A (ko) * 2013-08-13 2015-02-25 삼성전자주식회사 휴대 장치에서 3차원 방식의 페이지 탐색 방법 및 이를 위한 휴대 장치
RU2014117521A (ru) * 2014-04-29 2015-11-10 ЭлЭсАй Корпорейшн Распознавание динамических жестов с использованием свойств, извлекаемых из нескольких интервалов
KR102339839B1 (ko) * 2014-12-26 2021-12-15 삼성전자주식회사 제스처 입력 처리 방법 및 장치
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US10187568B1 (en) * 2016-05-02 2019-01-22 Bao Tran Video smart phone
CN106354413A (zh) * 2016-09-06 2017-01-25 百度在线网络技术（北京）有限公司 一种屏幕控制方法及装置
EP3467707B1 (en) * 2017-10-07 2024-03-13 Tata Consultancy Services Limited System and method for deep learning based hand gesture recognition in first person view
FR3075107B1 (fr) * 2017-12-20 2020-05-15 Valeo Systemes Thermiques Dispositif de ventilation destine a generer un flux d'air a travers un echangeur de chaleur de vehicule automobile a conduits orientes
SG11201909139TA (en) * 2017-12-22 2019-10-30 Beijing Sensetime Technology Development Co Ltd Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction
CN108762505B (zh) * 2018-05-29 2020-01-24 腾讯科技（深圳）有限公司 基于手势的虚拟对象控制方法、装置、存储介质和设备
CN109255324A (zh) * 2018-09-05 2019-01-22 北京航空航天大学青岛研究院 手势处理方法、交互控制方法及设备
CN109598198A (zh) * 2018-10-31 2019-04-09 深圳市商汤科技有限公司 用于识别手势移动方向的方法、装置、介质、程序及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078238A1 (zh) * 2022-10-11 2024-04-18 华为技术有限公司 一种视频录制控制方法、电子设备及介质

Also Published As

Publication number Publication date
US20210191611A1 (en) 2021-06-24
CN111273778A (zh) 2020-06-12
EP3832439A2 (en) 2021-06-09
JP7146977B2 (ja) 2022-10-04
CN111273778B (zh) 2023-11-07
JP2021089761A (ja) 2021-06-10
EP3832439A3 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
KR20210038446A (ko) 제스처를 기반으로 전자기기를 제어하는 방법 및 장치
US11694461B2 (en) Optical character recognition method and apparatus, electronic device and storage medium
JP2022116104A (ja) リアルタイム手書き認識の管理
US20120174029A1 (en) Dynamically magnifying logical segments of a view
CN104281385A (zh) 输入法虚拟键盘的调整方法和输入法装置
US20160092728A1 (en) Electronic device and method for processing handwritten documents
US9177405B2 (en) Image processing apparatus, computer program product, and image processing system
CN110532415B (zh) 图像搜索处理方法、装置、设备及存储介质
JP2015032050A (ja) 表示制御装置、表示制御方法およびプログラム
Chua et al. Hand gesture control for human–computer interaction with Deep Learning
JP2012053867A (ja) 手書きデータ出力処理装置
US11830242B2 (en) Method for generating a license plate defacement classification model, license plate defacement classification method, electronic device and storage medium
CN112036315A (zh) 字符识别方法、装置、电子设备及存储介质
US9778839B2 (en) Motion-based input method and system for electronic device
EP3989051A1 (en) Input device, input method, medium, and program
CN110727383A (zh) 基于小程序的触控交互方法、装置、电子设备与存储介质
CN110235097B (zh) 用于着墨应用用户界面的可反转数字墨水
CN107391015B (zh) 一种智能平板的控制方法、装置、设备及存储介质
TW201539308A (zh) 使用者介面顯示方法及其電子裝置
Kostakos et al. A directional stroke recognition technique for mobile interaction in a pervasive computing world
JP2016218819A (ja) ペン入力システム、タッチペン、及び、ペン入力方法
US10423314B2 (en) User interface with quantum curves and quantum arcs
CN110941374B (zh) 一种多显示器显示鹰眼图的方法、设备、介质、装置
EP2871570A2 (en) Electronic apparatus, method and storage medium
CN117666797A (zh) 基于拇指相对位置识别的隔空手势输入方法和装置

Legal Events

Date Code Title Description
G15R Request for early publication
E902 Notification of reason for refusal
E601 Decision to refuse application