KR101718837B1 - 응용프로그램의 제어방법, 장치 및 전자장비 - Google Patents

응용프로그램의 제어방법, 장치 및 전자장비 Download PDF

Info

Publication number
KR101718837B1
KR101718837B1 KR1020157023540A KR20157023540A KR101718837B1 KR 101718837 B1 KR101718837 B1 KR 101718837B1 KR 1020157023540 A KR1020157023540 A KR 1020157023540A KR 20157023540 A KR20157023540 A KR 20157023540A KR 101718837 B1 KR101718837 B1 KR 101718837B1
Authority
KR
South Korea
Prior art keywords
user
posture
data
target
attitude
Prior art date
Application number
KR1020157023540A
Other languages
English (en)
Other versions
KR20160060003A (ko
Inventor
팡 한
Original Assignee
보에 테크놀로지 그룹 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 보에 테크놀로지 그룹 컴퍼니 리미티드 filed Critical 보에 테크놀로지 그룹 컴퍼니 리미티드
Publication of KR20160060003A publication Critical patent/KR20160060003A/ko
Application granted granted Critical
Publication of KR101718837B1 publication Critical patent/KR101718837B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H04N13/0022—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 응용프로그램의 제어방법, 제어장치 및 전자장비에 관한 것으로, 상기 제어방법은: 유저의 운동을 기록하는 깊이 이미지 시퀀스를 획득하고; 수학변환모델에 의하여 상기 깊이 이미지 시퀀스를 제1유저 자세 데이터 시퀀스로 미리 변환시키고; 기 설정된 표준 자세 데이터 시퀀스로부터 서로 매칭되는 제1목표 자세 데이터를 획득하고, 또한 상기 제1목표 자세 데이터에 기초하여 응용제어 처리를 진행하며; 상기 제1목표 자세 데이터에 대응되는 목표 자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과할 때, 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하는 것을 포함한다.

Description

응용프로그램의 제어방법, 장치 및 전자장비{A method, a device, and an electronic equipment for controlling an Application Program}
본 출원은 2014년 10월 14일자로 중국에 출원한 중국특허출원번호 No. 201410542224.5의 우선권을 주장하며, 그 전부의 내용을 여기에서 인용하도록 한다.
본 발명은 인체제어기술을 응용한 영역에 속하며, 특히 응용프로그램의 제어방법, 장치 및 전자장비에 관한 것이다.
체감게임은 이전의 단순히 키 입력을 처리하는 조종방식을 넘어 사지의 움직임 변화로부터 조종하는 신형의 전자게임이다.
체감게임은 이미 대형 게임 플랫폼, 예를 들면, Wii 플랫폼, PS 플랫폼 및 Xbox 플랫폼 등에서 많이 응용되고 있다.
현재, 체감게임에서 유저의 동작을 획득하는 방식 중 하나는, 카메라를 통하여 유저의 이미지를 획득하고, 상기 이미지에 기초하여 처리를 진행하여 유저의 움직임을 묘사하는 데이터를 획득하며, 나아가 상기 데이터에 근거하여 게임을 제어한다. 즉, 유저의 움직임이 게임 시스템에 의하여 게임에 영향을 주기 위해 사용되는 제어로 해석되는 것이다. 다시 말하면, 유저는 움직임을 사용하여 게임을 제어한다. 유저의 움직임은 거의 대개 임의 유형의 게임 제어로 해석될 수 있다. 예를 들면, 게임 중의 피 제어 대상의 동작을 제어하거나, 게임을 저장하거나 게임에서 퇴장하거나 등 메뉴와 관련된 작업을 제어하는 것이다.
그러나, 현재의 체감게임은 자원 소모에 큰 문제점이 있는데, 이하 서술한다.
이미지 방식으로 유저 움직임을 센싱하는 체감게임에서, 우선 유저의 이미지를 획득해야 하고, 다음 획득한 유저의 이미지에 기초하여 모델을 형성하며, 마지막으로 모델의 매칭(즉, 동작에 대한 해석을 진행)을 진행하여 대응되는 지령을 확정해야 한다.
주지하는 바와 같이, 이미지 처리는 현재 컴퓨터 시스템에서 자원을 많이 소모하는 성질의 처리로써, 만일 획득한 매 이미지에 대하여 모두 상기 처리를 한다면 프로그램의 수행이 느려져 유저가 잘 체험할 수 없게 된다.
물론, 이상에서는 체감게임을 예로 하여 설명을 하였으나, 이미지 방식으로 유저의 움직임을 센싱하여 응용프로그램을 제어하는 것이라면, 모두 상기 문제가 존재함은 이해해야 할 것이며, 여기에서 일일이 설명하지 않는다.
본 발명의 실시예의 목적은 응용프로그램의 제어방법, 장치 및 전자장비를 제공하여 응용프로그램의 수행속도를 높이는 것이다.
위 목적을 이루기 위하여, 본 발명의 실시예는 일종의 응용프로그램의 제어방법을 제공하며, 상기 제어방법은: 유저의 움직임을 기록하는 깊이 이미지 시퀀스를 획득하고; 수학변환모델에 의하여 상기 깊이 이미지 시퀀스을 제1유저 자세 데이터 시퀀스로 미리 변환시키고; 상기 응용프로그램에 기 설정된 표준 자세 데이터 시퀀스로부터 상기 제1유저 자세 데이터 시퀀스 중 대기 처리할 유저 자세 데이터와 서로 매칭되는 제1목표 자세 데이터를 획득하고, 또한 상기 제1목표 자세 데이터에 기초하여 응용제어처리를 진행하며; 상기 제1목표 자세 데이터에 대응되는 목표자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과할 때, 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하며, 상기 제2유저 자세 데이터 시퀀스와 기 처리한 유저 자세 데이터가 형성하는 데이터 시퀀스는 서로 이웃하며, 또한 제2유저 자세 데이터 시퀀스의 길이와 상기 목표 자세를 유지하는데 필요한 시간은 서로 관련되는 것을 포함한다.
선택적으로, 대응되는 목표자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과하는 자세 데이터에는 하나의 목표자세 초기 서브데이터, 적어도 하나의 목표자세 중간 서브데이터, 및 하나의 목표자세 종료 서브데이터가 포함된다.
선택적으로, 상기 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하는 것에는 구체적으로, 적어도 하나의 목표자세 중간 서브데이터와 하나의 목표자세 종료 서브데이터에 대응하여 상기 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리에 사용하는 것을 포함한다.
선택적으로, 상기 제1유저 자세 데이터 시퀀스로 변환시키는 연산은 상기 응용프로그램이 상기 유저 자세 데이터의 사용이 필요한 단계 전에 완성한다.
선택적으로, 상기 수학변환모델은 여러 개의 응용프로그램과 서로 대응되며, 상기 제어방법은 또한, 제1유저 자세 데이터 시퀀스를 획득한 후 상기 여러 개의 응용프로그램으로부터 목표 응용프로그램을 확정하며, 상기 목표 응용프로그램에 대응하는 목표 자세 데이터 시퀀스를 확정하여 자세 매칭에 사용하는 것을 포함한다.
선택적으로, 유저의 움직임을 기록하는 깊이 이미지 시퀀스를 획득하는 것에는 유저의 원시 이미지 시퀀스를 얻고, 상기 원시 이미지 시퀀스 내의 이미지에 대하여 분별율을 낮추거나 배경을 제거하거나 잡음을 제거하거나, 깊이 값 조정 중의 적어도 하나를 진행하여, 상기 깊이 이미지 시퀀스를 얻는 것을 포함한다.
선택적으로, 각각의 표준 자세 데이터는 스크린에 디스플레이될 하나의 스크린 유저 형상에 대응되고, 상기 목표 자세 데이터에 기초하여 응용제어 처리를 진행하는 것에는 구체적으로, 스크린에 디스플레이되는 스크린 유저 형상을 상기 목표 자세 데이터에 대응하는 제1스크린 유저 형상으로 변화시키는 것을 포함한다.
선택적으로, 각각의 표준자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어방법은 또한 응용 수행시간을 확정하고, 응용 수행시간 및 표준 자세 데이터 시퀀스 내의 각각의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여 제2목표 자세 데이터를 확정하며, 상기 제2목표 자세 데이터와 제1목표 자세 데이터가 상이할 경우 경고 연산을 진행하도록 하는 것을 포함한다.
선택적으로, 매 하나의 표준자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어방법은 또한 응용 수행시간을 확정하고, 응용 수행시간 및 표준 자세 데이터행렬 중의 매 하나의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여 제2목표 자세 데이터를 확정하며, 제2목표 자세 데이터에 대응되는 제2스크린 유저 형상을 확정하고, 상기 제2스크린 유저 형상과 제1스크린 유저 형상의 차이가 기 설정된 차이 표준을 초과할 경우 경고 연산을 진행하도록 하는 것을 포함한다.
상기 목적을 더욱 잘 이루기 위하여, 본 발명의 실시예는 또한 응용프로그램의 제어장치를 제공하며, 상기 제어장치는: 유저의 운동을 기록하는 깊이 이미지 시퀀스를 획득하는 획득모듈; 수학변환모델에 의하여 상기 깊이 이미지 시퀀스를 제1유저 자세 데이터 시퀀스로 미리 변환시키는 변환모듈; 상기 응용프로그램에 기 설정된 표준 자세 데이터 시퀀스로부터 상기 제1유저 자세 데이터 시퀀스 중 대기 처리할 유저 자세 데이터와 서로 매칭되는 제1목표 자세 데이터를 획득하고, 또한 상기 제1목표 자세 데이터에 기초하여 응용제어처리를 진행하는 처리모듈; 상기 제1목표 자세 데이터에 대응되는 목표 자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과할 때, 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하며, 상기 제2유저 자세 데이터 시퀀스와 기 처리한 유저 자세 데이터가 형성하는 데이터 시퀀스는 서로 이웃하며, 또한 제2유저 자세 데이터 시퀀스의 길이와 상기 목표자세를 유지하는데 필요한 시간은 서로 관련되는 것에 사용되는 선택모듈을 포함한다.
선택적으로, 대응되는 목표자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과하는 자세 데이터에는 하나의 목표자세 초기 서브데이터, 적어도 하나의 목표자세 중간 서브데이터, 및 하나의 목표자세 종료 서브데이터가 포함된다.
선택적으로, 상기 선택모듈은 구체적으로, 적어도 하나의 목표자세 중간 서브데이터와 하나의 목표자세 종료 서브데이터에 대응하여 상기 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리에 사용하는 것을 포함한다.
선택적으로, 상기 제1유저 자세 데이터 시퀀스로 변환시키는 연산은 상기 응용프로그램이 상기 유저 자세 데이터의 사용이 필요한 단계 전에 완성한다.
선택적으로, 상기 수학변환모델은 여러 개의 응용프로그램과 서로 대응되며, 상기 제어장치는 또한, 제1유저자세데이터행열을 획득한 후 상기 여러 개의 응용프로그램으로부터 목표 응용프로그램을 확정하는 프로그램 확정 모듈, 및 상기 목표 응용프로그램에 대응하는 목표 자세 데이터 시퀀스를 확정하여 자세 매칭에 사용하는 표준 자세 시퀀스 확정 모듈을 포함한다.
선택적으로, 획득모듈은 유저의 원시 이미지 시퀀스를 획득하는데 사용되는 원시 이미지 획득 유닛, 상기 원시 이미지 시퀀스 내의 이미지에 대하여 분별율을 낮추거나 배경을 제거하거나 잡음을 제거하거나 깊이 값 조정 중의 적어도 하나를 진행하여 상기 깊이 이미지 시퀀스를 얻는 최적화 유닛을 포함한다.
선택적으로, 각각의 표준자세데이터는 스크린에 디스플레이될 하나의 스크린 유저 형상에 대응되고, 상기 처리모듈은 구체적으로 스크린에 디스플레이되는 스크린 유저 형상을 상기 목표 자세 데이터에 대응하는 제1스크린 유저 형상으로 변화시켜 상기 응용제어처리를 실현하는 것에 사용된다.
선택적으로, 각각의 표준자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어장치는: 응용 수행시간을 확정하는 시간 확정 모듈; 응용 수행시간 및 표준 자세 데이터시퀀스 내의 각각 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여, 제2목표 자세 데이터를 확정하는 목표 자세 데이터 확정 모듈; 상기 제2목표 자세 데이터와 제1목표 자세 데이터가 상이할 경우 경고 연산을 진행하도록 하는 제1경고 모듈도 포함한다.
선택적으로, 각각의 표준자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어장치는: 응용 수행시간을 확정하는 시간 확정 모듈; 응용 수행시간 및 표준 자세 데이터 시퀀스 내의 각각의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여 제2목표 자세 데이터를 확정하는 목표 자세 데이터 확정 모듈; 제2목표 자세 데이터에 대응되는 제2스크린 유저 형상을 확정하는 스크린 유저 형상 확정 모듈; 상기 제2스크린 유저 형상과 제1스크린 유저 형상의 차이가 기 설정된 차이 표준을 초과할 경우 경고 연산을 진행하도록 하는 제2경고 모듈도 포함한다.
상기 목적을 더욱 잘 이루기 위하여, 본 발명의 실시예는 전자장비에도 제공되며, 상기 전자장비는 상기 제어장치를 포함한다.
본 발명의 실시예는 다음과 같은 효과가 있다.
본 발명 실시예의 응용프로그램의 제어방법, 장치 및 전자장비에서는 유저의 움직임 이미지를 획득하고, 다음 이미지 분석을 통하여 유저 자세 데이터 시퀀스를 획득하며, 임의의 유저 자세 데이터와 매칭되는 표준 자세 데이터에 대응되는 목표 자세를 유지하는데 필요한 시간이 비교적 길 때, 후속되는 유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하여, 응용프로그램의 수행속도를 높이는 것이다.
도 1은 본 발명 실시예의 응용프로그램의 제어방법을 나타내는 흐름도.
도 2는 본 발명 실시예의 응용프로그램의 제어장치의 구조를 나타내는 도면.
도 3은 본 발명 실시예의 응용프로그램의 제어방법의 구현과정을 상세하게 나타내는 흐름도.
본 발명 실시예의 응용프로그램의 제어방법, 장치 및 전자장비에서는 유저의 움직임 이미지를 획득하고, 다음 이미지 분석을 통하여 유저 자세 데이터 시퀀스를 획득하며, 임의의 유저 자세 데이터와 매칭되는 표준 자세 데이터에 대응되는 목표자세를 유지하는데 필요한 시간이 비교적 길 때, 후속되는 유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하고 후속적인 매칭 처리를 하여, 응용프로그램의 수행속도를 높이는 것이다.
본 발명 실시예의 응용프로그램의 제어 방법은 도 1과 같고, 상기 제어방법은: 유저의 운동을 기록하는 심도 이미지 시퀀스를 획득하는 단계(101); 수학변환모델에 의하여 상기 심도 이미지 시퀀스를 제1유저 자세 데이터 시퀀스로 미리 변환시키는 단계(102); 상기 응용프로그램에 기 설정된 표준 자세 데이터 시퀀스로부터 상기 제1유저 자세 데이터 시퀀스 중 대기 처리할 유저 자세 데이터와 서로 매칭되는 제1목표 자세 데이터를 획득하고, 또한 상기 제1목표 자세 데이터에 기초하여 응용제어 처리를 진행하는 단계(103); 상기 제1목표 자세 데이터에 대응되는 목표자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과할 때, 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하며, 상기 제2유저 자세 데이터 시퀀스와 기 처리한 유저자세데이터가 형성하는 데이터 시퀀스는 서로 이웃하며, 또한 제2유저 자세 데이터 시퀀스의 길이와 상기 목표자세를 유지하는데 필요한 시간은 서로 관련되는 단계(104)를 포함한다.
본 발명 실시예의 응용프로그램의 제어방법, 장치 및 전자장비에서는 유저의 움직임 이미지를 획득하고, 다음 이미지 분석을 통하여 유저 자세 데이터 시퀀스를 획득하며, 임의의 유저 자세 데이터와 매칭되는 표준 자세 데이터에 대응되는 목표 자세가 응용프로그램에 의하여 비교적 긴 시간 유지할 필요가 있다고 정의될 때, 후속되는 유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하여, 응용프로그램의 수행속도를 높이는 것이다.
다음, 상기 유효한 효과에 대하여 상세한 서술한다.
이미지 획득 설비의 획득 속도를 X 장/s 이라 하고, 종래기술에서 획득 지속 시간과 응용 처리(이미지 변환과 매칭) 시간이 Y초로 동일하다고 가정하면, 획득된 이미지 수량은 X*Y 이다. 만일 매개 이미지에 대응되는 유저 자세 데이터에 대한 매칭 처리를 함에 있어 소모되는 프로세서의 자원(이미지를 유저 자세 데이터로 변환시키는데 소모되는 자원은 포함하지 않음)을 Z라고 하면, 종래기술에서 소모되는 프로세서의 자원은 X*Y*Z 이며, 단위시간 당 소모되는 프로세서의 자원은 X*Z 이다.
응용프로그램의 운행속도를 높이기 위하여 다음과 같은 두 가지 면을 고려한다.
1. 처리에 필요한 데이터 량을 전체적으로 감소시킨다.
2. 단위시간 당 프로세서의 자원소모량을 감소시킨다.
본 발명 실시예에서 제시한 방법에서 목표자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과할 때, 후속 처리에서 데이터 시퀀스 중 부분적인 데이터를 선택하고 후속적인 매칭 처리를 하여, 종래기술에 비하여 처리하여야 하는 데이터 량을 감소시키고, 따라서 응용프로그램의 수행속도를 높일 수 있다.
단위시간 당 프로세서의 자원 소모량으로부터 볼 때, 본 발명 실시예의 방법은 두 단계 즉, 데이터 변환 단계와 데이터 매칭 단계로 나눌 수 있다, 그러나 종래기술은 하나의 단계, 즉 데이터 변환 단계와 데이터 매칭 단계를 동시에 실현하는 단계만 있다. 본 발명 실시예에 따른 방법은 처리하여야 하는 데이터 량을 감소하지 않았지만, 그 처리시간은 종래기술보다 길다(게임운행 전의 변환 전처리를 증가시켰음). 따라서, 본 발명의 실시예에 따른 방법은 단위시간 당 프로세서의 자원 소모량이 종래기술의 단위시간당 프로세서의 자원 소모량보다 적으며, 이로 인하여 응용프로그램의 수행속도가 높아 질 수도 있다.
다시 말하면, 본 발명 실시예에 따른 방법은 처리하여야 하는 데이터 량을 감소시키는 동시에, 이런 데이터들을 처리하는 시간을 연장하여, 본 발명 실시예에 따른 방법은 응용프로그램의 수행속도를 높일 수 있다.
동시에, 이해해야 할 것은, 본 발명 실시예에 따른 방법은 깊이 이미지 시퀀스에 근거하여 유저 자세 데이터 시퀀스를 미리 얻는 것이기는 하나, 유저 제어 응용프로그램에 대하여 불리한 영향을 발생하지 않으며, 이에 대한 해석은 다음과 같다.
우선, 본 발명 실시예가 목표로 하는 응용은 다음과 같은 특징이 있다.
1. 응용프로그램에는 표준 자세 데이터 시퀀스가 미리 설정되어 있다. 다시 말하면, 유저는 일정한 순서에 따라 표준 자세 데이터 시퀀스에 대응되는 표준자세를 완성하여야 한다. 즉, 유저가 응용프로그램에서 실행해야 하는 동작은 미리 규정되어 있으며, 유저도 미리 알 수 있는 것이다.
예를 들면, 상기 응용프로그램이 체감 요가게임이라면, 상기 게임은 유저가 일정한 순서에 따라 일련의 동작을 완성하여 도전에 성공하도록 규정한다. 또 예를 들면, 상기 응용프로그램이 체감 댄스게임이라면, 상기 게임은 유저가 일정한 순서에 따라 일련의 동작을 완성하여 현 단계를 완성하도록 규정한다. 또 예를 들면, 상기 응용프로그램이 체감 미로게임이라면, 유저가 일정한 순서에 따라 운동하여, 최적의 방식으로 현 단계에 대응되는 미로를 빠져나가도록 규정한다.
이런 유형의 응용은 아주 많은데, 여기서 일일이 예를 들어 설명하지 않는다.
이러한 응용이 유저가 제어하는 실시간성에 대한 요구가 매우 낮기 때문에, 이러한 유형의 응용에서 이미지를 미리 획득하여 유저 자세 데이터 시퀀스를 형성하는 것은 유저의 게임 제어에 대하여 도저히 제어할 수 없는 영향을 주는 것이 아니다.
2. 응용 설정에 따라, 유저가 어떤 동작을 완성함에 있어 일정한 시간을 유지하여야 한다. 예를 들면, 요가게임에서 유저는 어떤 자세를 일정한 시간 동안 유지하여야 한다. 또 예를 들면, 체감댄스게임에서 동일한 음이 나오는 시간 동안 유저는 어떤 자세를 유지하여야 한다.
이상의 서술로부터, 이러한 응용의 특수성으로 인하여 유저가 일정한 시간 동안의 자세를 유지하여야 할 경우, 10 장의 이미지/s 의 속도로 이미지를 획득하면 5초 내에 획득하는 이미지는 50 장이 되며, 만일 유저가 요구에 따라 동작을 수행하면, 상기 50 장의 이미지에 대응되는 유저 자세 데이터에 대한 매칭을 하여도 모두 동일한 하나의 표준 자세 데이터를 얻을 것이다.
본 발명 실시예에서는, 상기 5초 내에 획득한 이미지에 대응되는 50 개의 유저 자세 데이터에 대하여 일정한 시간 간격으로 부분적인 자세 데이터를 획득하여도 유저 동작에 대한 완성도 및 정확도를 실현할 수 있으며, 이에 대한 설명은 다음과 같다.
5 개의 유저 자세 데이터 중 1 개의 자세 데이터를 추출한다면, 상기 50 개의 유저 자세 데이터에서는 10개의 유저 자세 데이터를 추출할 수 있고, 상기 10개의 유저 자세 데이터에 의하여 매칭을 한다. 10 개의 유저 자세 데이터와 매칭되는 표준 자세 데이터가 모두 동일할 때, 유저가 규정된 동작을 완성하였음을 나타낼 수 있다.
다시 말하면, 동작의 특수성에 의하여, 대응되는 유저 동작 데이터 시퀀스에서 부분적인 유저 동작 데이터를 추출하여도 동일한 기능을 완성하고 (예를 들면 유저 동작 완성의 지속성을 검증한다든지, 동작 시퀀스에 의하여 지령을 확정하는 등), 동일한 효과를 얻는다.
종합하면, 본 발명 실시예에 따른 방법은 상기 응용프로그램에 대하여 완전한 체감제어를 실현하는 동시에 응용프로그램의 수행속도를 높일 수 있다.
이상의 서술로부터 제2유저 자세 데이터 시퀀스의 확정과 목표자세를 유지하는데 필요한 시간은 상관됨을 알 수 있다.
유저가 일정시간 동안(예를 들면, 5초 동안)의 자세를 유지하여야 하므로, 자세 초기 시작점을 확정한 후 제2유저 자세 데이터 시퀀스는 자세 초기 시작점 후의 5초 이내에 획득한 이미지를 변환하여 획득한 유저 자세 데이터이다. 이미지획득 속도가 10 장이미지/s 일 때, 자세 초기 시작점을 확정한 후 제2유저 자세 데이터 시퀀스는 자세 초기 시작점 후의 10초 이내에 획득한 이미지를 변환하여 획득한 유저 자세 데이터이다.
본 발명의 실시예에서, 깊이 이미지 시퀀스는 깊이 카메라, 비디오 카메라, 입체 카메라와/또는 기타 적당한 획득설비로 얻을 수 있다.
판단의 정확성을 높이기 위하여, 본 발명의 구체적 실시예에서는 상기의 일정한 시간 동안 유지하여야 하는 목표자세에 대응하는 데이터를 세 부분으로 나눈다. 즉, 하나의 목표자세 초기 서브데이터, 적어도 하나의 목표자세 중간 서브데이터, 및 하나의 목표자세 종료 서브데이터로 나눈다.
이러한 상황에서, 상기 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하는 것에는 구체적으로, 적어도 하나의 목표자세 중간 서브데이터와 하나의 목표자세 종료 서브데이터에 대응하여 상기 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리에 사용하는 것을 포함한다.
다시 말하면, 설정한 목표 자세 중간 서브 데이터의 수량이 많을수록 선택해야 할 유저 자세 데이터는 더욱 많으나, 대응하는 후속 제어처리의 결과가 더욱 정확하게 된다.
본 발명의 구체적 실시예에서, 상기 자세데이터는 모두, 유저의 신체부위, 부위위치 및 부위 사이의 상대적 위치 관계를 나타내는 데이터이다.
상기 자세데이터는 종래기술 중 인체를 묘사할 수 있는 임의의 모델을 통하여 묘사할 수 있다. 예를 들면, 골격과 관절이 공동으로 구성된 골격 모델, 또 예를 들면, 와이어 프레임 격자 모델 등을 통하여 묘사할 수 있는데, 여기서는 상세히 설명하지 않는다.
본 발명의 구체적 실시예에서 이미지 획득 설비에서 직접 획득한 이미지에 대하여 직접 변환하여 유저 자세 데이터를 얻을 수 있지만, 본 발명의 실시예에서는 데이터 처리량 및 변환정밀도 등을 종합적으로 고려하여, 직접 획득한 이미지에 대하여 먼저 최적화처리를 진행한다. 다시 말하면, 상기 유저의 운동을 기록하는 깊이 이미지 시퀀스를 획득하는 것에는 유저의 원시 이미지 시퀀스를 얻고, 상기 원시 이미지 시퀀스 내의 이미지에 대하여 분별율을 낮추거나 배경을 제거하거나 잡음을 제거하거나 깊이값 조정 중의 적어도 하나를 진행하여, 상기 깊이 이미지 시퀀스를 얻는 것을 포함한다.
상기의 분별율을 낮추거나 배경을 제거하는 것을 선택할 수 있는 처리는 후속 변환이 비교적 작은 계산 부하에서 이루어지도록 한다.
예를 들면, 이미지 획득 과정에서 여러 가지 무작위적인 또는 시스템성 오차가 발생할 수 있고, 이미지 획득 설비 자체도 획득한 이미지에 결함이나 기형이 존재할 수 있다. 따라서, 잡음 제거를 통하여 상기 결함을 더욱 더 제거하여, 더욱 정확하고 완전한 데이터를 얻을 수 있으며, 후속 변환하여 얻은 유저 자세 데이터의 정확성을 보증한다.
물론, 이해해야 할 것은, 상기 최적화는 예시에 불과하며, 본 발명의 실시예에서는 사용한 구체적인 최적화 수단에 대하여 구체적으로 한정하지 않는다.
이해해야 할 것은, 일련의 수학 변환 모델을 얻는 것에는 상당한 대가가 필요하다. 따라서, 개발비용을 낮추기 위하여, 본 발명의 실시예에서는 일련의 수학변환모델을 여러 개의 응용프로그램에 배분하여 사용한다. 그러나 매개 응용프로그램에 각각 대응되는 표준 자세 데이터 시퀀스는 대부분 상황에서 서로 상이다. 이런 상황에서 본 발명의 실시예는 또한 제1유저 자세 데이터 시퀀스를 획득한 후 상기 여러 개의 응용프로그램으로부터 목표 응용프로그램을 확정하며, 상기 목표 응용프로그램에 대응하는 목표 자세 데이터 시퀀스를 확정하여 자세 매칭에 사용됨을 포함한다.
유저가 본인이 처리하려고 하는 응용프로그램에서 규정된 동작을 미리 완성하면 바로 목표 응용프로그램을 확정할 수 있다. 더 나아가 목표 응용프로그램에 대응하는 목표 자세 데이터시퀀스를 선택하여 획득한 상기 유저 자세 데이터 시퀀스에 대하여 처리를 진행한다.
상기 방식을 통하여, 하나의 수학변환모델이 여러 개의 응용프로그램에서 사용되도록 하여, 개발비용을 크게 낮춘다. 위에서 예를 든 요가체감게임, 댄스체감게임, 및 미로체감게임은 목표 대상이 기본적으로 동일하기 때문에, 하나의 수학변환모델을 사용할 수 있고, 따라서 개발비용도 낮출 수 있다.
본 발명의 실시예의 응용프로그램의 제어방법에서, 상기 제1유저 자세 데이터 시퀀스로 변환시키는 연산은 상기 응용프로그램이 상기 유저 자세 데이터의 사용이 필요한 단계 전에 완성한다. 따라서, 데이터 변환과 데이터 매칭은 두 단계로 나뉘어 데이터처리시간이 연장되며 단위시간 당 자원 처리에 대한 수요를 감소시켜 응용프로그램의 수행속도를 높일 수 있다.
여기서, 응용프로그램이 유저 자세 데이터를 사용하여야 할 시기에 대하여 예를 들어 설명한다.
체감댄스 게임을 예를 들어 설명하면, 유저가 응용프로그램의 작동을 시작할 때는 유저 자세 데이터가 필요하지 않다. 단지 유저가 게임 난이도, 게임 장면 등을 선택하고 또는 “게임시작”을 선택한 후에야 비로서 응용프로그램이 유저 자세 데이터를 사용하여야 할 단계에 진입한다.
본 발명의 실시예에서 제시된 방법은 여러 가지 장면에 사용할 수 있다. 비교적 전형적인 한가지 장면은 신체 동작 추적 장면이다. 즉, 각각의 표준 자세 데이터는 스크린에 디스플레이될 하나의 스크린 유저 형상에 대응되고, 상기 목표 자세 데이터에 기초하여 응용제어처리를 진행하는 것에는 구체적으로, 스크린에 디스플레이되는 스크린 유저 형상을 상기 목표 자세 데이터에 대응하는 제1스크린 유저 형상으로 변화시키는 것이다.
구체적으로 예를 들어 설명하면, 유저가 선 자세에서 앉은 자세로 할 때, 획득된 유저의 앉은 자세 이미지는 유저 자세 데이터로 변환될 수 있으며, 상기 유저 자세 데이터와 표준 자세 데이터 중의 앉은 자세데이터가 서로 매칭된다. 이때, 소정의 디스플레이 처리수단을 통하여 스크린에 디스플레이된 선 사람을 앉은 사람으로 변환시킨다.
반드시 이해해야 할 것은, 상기 과정에 대한 서술은 단지 이해를 돕기 위한 간단한 묘사에 불과하며, 실제처리과정에서는 유저가 더욱 좋은 체험을 할 수 있는 처리수단을 필요로 할 수도 있으며, 여기서는 상세하게 설명하지 않는다.
본 발명 실시예에서는 유저의 동작이 요구에 부합되는지에 따라 경고를 진행한다. 이러한 경고는 여러 가지 방식에 따라 할 수 있으며, 아래 두 가지 가능한 구현방식에 대하여 상세하게 설명한다.
응용프로그램이 유저가 실행하여야 할 동작의 순서 및 매 동작의 지속시간을 미리 설정하여 놓았기 때문에, 어떤 시간점에서 유저는 반드시 어떤 특정한 자세를 하게 되며, 예를 들면 다음과 같다.
응용프로그램이 미리 설정한 표준 자세 행열은 A1자세 B1초, A2자세 B2초, A3자세 B3초, A4자세 B4초라고 가정한다. 이때, 시간점이 [B1, B1+B2] 구간에 있을 때, 유저는 A2자세를 취한다.
매 자세가 하나의 표준 자세 데이터에 대응되기 때문에, 이상의 분석으로부터 응용 수행의 시간이 확정되었을 때, 유저가 현재 하여야 할 동작을 확정할 수 있으며, 유저가 현재 취해야 하는 표준 자세에 대응하는 표준 자세 데이터도 확정할 수 있음을 알 수 있다.
그러나 유저가 현재 취한 실제 자세는 확정할 수 있으며, 양자가 상이할 경우, 유저가 요구에 다라 동작을 하지 않음을 즉시 알 수 있어 즉시 경고할 수 있다.
따라서, 상기 방식에서, 본 발명 실시예의 응용프로그램 제어방법 중 각각의 표준자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어방법은 또한 응용 수행시간을 확정하고, 응용 수행시간 및 표준 자세 데이터 시퀀스 내의 각각의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여 제2목표 자세 데이터를 확정하며, 상기 제2목표 자세 데이터와 제1목표 자세 데이터가 상이할 경우 경고 연산을 진행하도록 하는 것을 포함한다.
이상에서는 자세 데이터를 참조로 하여 유저 동작이 요구에 부합되는지 판단하였으나, 자세 데이터가 모두 스크린 유저형상에 대응되기 때문에, 스크린 유저형상의 차이가 예정된 차이 표준을 초과하였는지 여부에 따라 판단을 할 수도 있음은 당연한 것이다.
이런 방식에서, 상기 제어방법은 또한 응용 수행시간을 확정하고, 응용 수행시간 및 표준자세데이터행열 중의 각각의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여 제2목표 자세 데이터를 확정하며, 제2목표 자세 데이터에 대응되는 제2스크린 유저 형상을 확정하고, 상기 제2스크린 유저 형상과 제1스크린 유저 형상의 차이가 기 설정된 차이 표준을 초과할 경우 경고 연산을 진행하도록 하는 것을 포함한다.
본 발명의 실시예는 또한 응용프로그램의 제어장치도 제공하며, 도2와 같다. 상기 제어장치는: 유저의 운동을 기록하는 깊이 이미지 시퀀스를 획득하는 획득모듈; 수학변환모델에 의하여 상기 깊이 이미지 시퀀스를 제1유저 자세 데이터 시퀀스로 미리 변환시키는 변환모듈; 상기 응용프로그램에 기 설정된 표준 자세 데이터 시퀀스로부터 상기 제1유저 자세 데이터 시퀀스 중 대기 처리할 유저 자세 데이터와 서로 매칭되는 제1목표 자세 데이터를 획득하고, 또한 상기 제1목표 자세 데이터에 기초하여 응용 제어처리를 진행하는 처리모듈; 상기 제1목표 자세 데이터에 대응되는 목표 자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과할 때, 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하며, 상기 제2유저 자세 데이터 시퀀스와 기 처리한 유저 자세 데이터가 형성하는 데이터 시퀀스는 서로 이웃하며, 또한 제2유저 자세 데이터 시퀀스의 길이와 상기 목표 자세를 유지하는데 필요한 시간은 서로 관련되는 것에 사용되는 선택모듈을 포함한다.
여기서, 비교의 편의를 위하여 본 발명 실시예 중, 대응되는 목표자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과하는 자세 데이터에는 하나의 목표자세 초기 서브데이터, 적어도 하나의 목표자세 중간 서브데이터, 및 하나의 목표자세 종료 서브데이터가 포함되며, 상기 선택 모듈은 구체적으로, 적어도 하나의 목표자세 중간 서브데이터와 하나의 목표자세 종료 서브데이터에 대응하여 상기 제2유저 자세 데이터 시퀀스로부터 부분적인 유저자세데이터를 선택하여 후속적인 매칭 처리에 사용된다.
상기 제어장치에서 상기 제1유저 자세 데이터 시퀀스로 변환시키는 연산은 상기 응용프로그램이 상기 유저 자세 데이터의 사용이 필요한 단계 전에 완성되고, 데이터 처리를 다단계로 하며, 데이터 처리시간을 연장하여, 단위시간 당 처리자원의 요구를 낮추어 응용프로그램의 운행속도를 높인다.
개발비용을 낮추기 위하여, 본 발명 실시예 중의 상기 제어장치에서 상기 수학 변환 모델은 여러 개의 응용 프로그램과 서로 대응되며, 상기 제어장치는 또한, 제1유저 자세 데이터 시퀀스를 획득한 후 상기 여러 개의 응용프로그램으로부터 목표 응용프로그램을 확정하는 프로그램 확정 모듈, 및 상기 목표 응용프로그램에 대응하는 목표 자세 데이터 시퀀스를 확정하여 자세 매칭에 사용하는 표준 자세 시퀀스 확정 모듈을 포함하는 것을 포함한다.
수행속도를 더욱 높이기 위하여, 혹은 유저 데이터 시퀀스에 대한 계산의 정확성을 높이기 위하여, 본 발명 실시예의 제어장치 중 획득모듈은 유저의 원시 이미지 시퀀스을 획득하는데 사용되는 원시 이미지 획득유닛, 상기 원시 이미지 시퀀스 중의 이미지에 대하여 분별율을 낮추거나 배경을 제거하거나 잡음을 제거하거나 깊이값 조정 중의 적어도 하나를 진행하여 상기 깊이 이미지 시퀀스을 얻는 최적화유닛을 포함한다.
본 발명 실시예의 응용프로그램의 제어장치는 유저 동작의 추적에 사용될 수 있으며, 각각의 표준자세데이터는 스크린에 디스플레이될 하나의 스크린 유저 형상에 대응되고, 상기 처리모듈은 구체적으로 스크린에 디스플레이되는 스크린 유저 형상을 상기 목표 자세 데이터에 대응하는 제1스크린 유저 형상으로 변화시켜 상기 응용제어처리를 실현하는 것에 사용된다.
유저의 비표준화된 동작에 대한 경고를 위하여, 본 발명 실시예 중 각각의 표준자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어장치는: 응용 수행시간을 확정하는 시간 확정모듈; 응용 수행시간 및 표준 자세 데이터 시퀀스 내의 각각의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여, 제2목표 자세 데이터를 확정하는 목표 자세 데이터 확정 모듈; 상기 제2목표 자세 데이터와 제1목표 자세 데이터가 상이할 경우 경고 연산을 진행하도록 하는 제1경고 모듈도 포함한다.
유저의 비표준화된 동작에 대한 경고를 위하여, 본 발명 실시예 중 각각의 표준자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어장치는: 응용운행시간을 확정하는 시간 확정 모듈; 응용 수행 시간 및 표준 자세 데이터 시퀀스 내의 각각의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여, 제2목표 자세 데이터를 확정하는 목표 자세 데이터확정모듈; 상기 제2목표 자세 데이터와 제1목표 자세 데이터가 상이할 경우 경고 연산을 진행하도록 하는 제1경고 모듈도 포함한다.
본 발명의 실시예는 또한 전자장비도 제공하는데, 상기 전자장비는 상기 제어장치를 포함하는 것을 특징으로 한다.
그 중, 상기 전자장비는 PC, 게임 플랫폼, 또는 TV 등일 수 있다.
다음, 본 발명 실시예의 방법에 대한 작동과정에 대하여 상세하게 설명한다.
도3과 같이, 응용프로그램이 유저 자세 데이터를 사용하기 전에 단계(301)를 진행하여, 이미지 획득 설비(예를 들면, 깊이 카메라)가 획득한 이미지를 얻어 이미지 시퀀스를 획득한다.
상기 이미지 시퀀스를 획득한 후, 선택적으로 상기 이미지 시퀀스의 이미지에 대하여 일련의 최적화 처리를 진행한다. 예를 들면, 잡음을 제거하거나, 배경 이미지를 제거하거나 분별율을 낮춘다.
단계(302)에서 골격모델과 신체부위모델을 이용하여, 획득한 실제 인물의 깊이 이미지를 유저 자세 데이터로 변환시켜 유저 동작에 대한 모델링을 완성하여, 유저 자세 데이터 시퀀스를 얻고 이를 저장 유닛에 저장한다.
이런 유저 자세 데이터 시퀀스는 유저의 신체부위에 관한 관련 정보(예를 들면, 위치, 자세, 및 부위 사이의 상관관계 등)를 규정하여, 후속 매칭을 진행할 수 있다.
하나의 모델이 여러 개의 응용프로그램에 사용될 때, 단계(303)에서 하나의 목표 응용프로그램을 확정하여야 하고, 또한 상기 목표 응용프로그램이 미리 설정한 목표 자세 데이터 시퀀스를 획득하여 후속 매칭 작업을 진행한다.
단계(304)에서 유저 자세 데이터와 표준 자세 데이터 시퀀스에 대한 매칭 처리를 하여, 현재 대기 처리 중의 유저 자세 데이터와 매칭되는 표준 자세 데이터를 확정한다.
단계(305)에는 응용프로그램에서 미리 설정한 상기 매칭되는 표준 자세 데이터에 대응하는 자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과하였는지 여부를 판단하며, 판단결과가 “예”일 경우 유저가 그 자세를 비교적 긴 시간 유지함을 의미한다.
유저가 그 자세를 비교적 긴 시간 유지한다고 판단되면, 비교적 적은 데이터를 이용하여 후속되는 일정시간 동안의 매칭 준비를 한다. 따라서 단계(306)에서 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 진행하며, 그렇지 않으면, 정상적인 흐름에 따라 처리한다.
부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 진행하는 과정에서, 표준 자세 데이터 시퀀스 중 일정시간 지속되는 자세를 미리 세 부분으로 구분한다. 즉, 초기 노드에 대응되는 대응되는 자세 데이터, 하나 혹은 복수 개의 중간 노드에 대응되는 자세 데이터, 및 종결 노드에 대응되는 대응되는 자세 데이터를 포함한다. 상기 구분에 따라 다음 차례의 유저 자세 데이터의 선택과 매칭을 진행한다.
물론, 매칭 과정에서 자세 데이터 사이의 비교 또는 스크린 상에 실제 디스플레이되는 유저 이미지와 예정된 유저 이미지 사이의 비교로부터 유저가 요구에 다라 동작하는지 여부를 판단하여 경고 기능을 실현할 수 있다.
이상에서 본 발명의 비교적 최적한 실시예에 대하여 서술하였지만, 본 기술분야의 통상의 기술자라면 본 발명의 기술적 사상을 이탈하지 않는 범위 내에서 다양한 변경을 가할 수 있는데, 이것도 본 발명의 보호범위에 속한다고 보아야 할 것이다.

Claims (19)

  1. 응용프로그램의 제어방법에 있어서, 상기 제어방법은:
    유저의 움직임을 기록하는 깊이 이미지 시퀀스를 획득하고;
    수학변환모델에 의하여 상기 깊이 이미지 시퀀스를 제1유저 자세 데이터 시퀀스로 미리 변환시키고;
    상기 응용프로그램에 기 설정된 표준 자세 데이터 시퀀스로부터 상기 제1유저 자세 데이터 시퀀스 중 대기 처리할 유저 자세 데이터와 서로 매칭되는 제1목표 자세 데이터를 획득하고, 상기 제1목표 자세 데이터에 기초하여 응용제어처리를 진행하며;
    상기 제1목표 자세 데이터에 대응되는 목표 자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과할 때, 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하며, 상기 제2유저 자세 데이터 시퀀스와 기 처리한 유저 자세 데이터가 형성하는 데이터 시퀀스는 서로 이웃하며, 제2유저 자세 데이터 시퀀스의 길이와 상기 목표 자세를 유지하는데 필요한 시간은 서로 관련되는 것을 포함하는 응용프로그램의 제어방법.
  2. 제1항에 있어서, 대응되는 목표 자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과하는 자세 데이터에는 하나의 목표 자세 초기 서브데이터, 적어도 하나의 목표 자세 중간 서브데이터, 및 하나의 목표 자세 종료 서브데이터를 포함하는 응용프로그램의 제어방법.
  3. 제2항에 있어서, 상기 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하는 것에는 적어도 하나의 목표자세 중간 서브데이터와 하나의 목표자세 종료 서브데이터에 대응하여 상기 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리에 사용하는 것을 포함하는 응용프로그램의 제어방법.
  4. 제1항에 있어서, 상기 제1유저 자세 데이터 시퀀스로 변환시키는 연산은 상기 응용프로그램이 상기 유저자세데이터의 사용이 필요한 단계 전에 완성하는 응용프로그램의 제어방법.
  5. 제1항에 있어서, 상기 수학변환모델은 여러 개의 응용프로그램과 서로 대응되며, 상기 제어방법은 제1유저 자세 데이터 시퀀스를 획득한 후 상기 여러 개의 응용프로그램으로부터 목표 응용프로그램을 확정하며, 상기 목표 응용프로그램에 대응하는 목표 자세 데이터 시퀀스를 확정하여 자세 매칭에 사용됨을 더 포함하는 응용프로그램의 제어방법.
  6. 제1항에 있어서, 유저의 운동을 기록하는 깊이 이미지 시퀀스를 획득하는 것에는 유저의 원시 이미지 시퀀스를 얻고, 상기 원시 이미지 시퀀스 내의 이미지에 대하여 분별율을 낮추거나 배경을 제거하거나 잡음을 제거하거나 깊이값 조정 중의 적어도 하나를 진행하여, 상기 깊이 이미지 시퀀스를 얻는 것을 포함하는 응용프로그램의 제어방법.
  7. 제1항에 있어서, 각각의 표준자세데이터는 스크린에 디스플레이될 하나의 스크린 유저 형상에 대응되고, 상기 목표 자세 데이터에 기초하여 응용 제어 처리를 진행하는 것에는 스크린에 디스플레이되는 스크린 유저 형상을 상기 목표 자세 데이터에 대응하는 제1스크린 유저 형상으로 변화시키는 응용프로그램의 제어방법.
  8. 제6항에 있어서, 각각의 표준자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어방법은 응용 수행시간을 확정하고, 응용 운행시간 및 표준 자세 데이터 행열 중의 각각의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여 제2목표 자세 데이터를 확정하며, 상기 제2목표 자세 데이터와 제1목표 자세 데이터가 상이할 경우 경고 연산을 진행하도록 하는 것을 더 포함하는 응용프로그램의 제어방법.
  9. 제6항에 있어서, 각각의 표준자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어방법은 응용 수행시간을 확정하고, 응용 수행시간 및 표준 자세 데이터 시퀀스 내의 각각의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여 제2목표 자세 데이터를 확정하며, 제2목표 자세 데이터에 대응되는 제2스크린 유저 형상을 확정하고, 상기 제2스크린 유저 형상과 제1스크린 유저 형상의 차이가 기 설정된 차이 표준을 초과할 경우 경고 연산을 진행하도록 하는 것을 더 포함하는 응용프로그램의 제어방법.
  10. 응용프로그램의 제어장치에 있어서, 상기 제어장치는:
    유저의 운동을 기록하는 깊이 이미지 시퀀스를 획득하는 획득 모듈;
    수학 변환 모델에 의하여 상기 깊이 이미지 시퀀스를 제1유저 자세 데이터 시퀀스로 미리 변환시키는 변환모듈;
    상기 응용프로그램에 기 설정된 표준 자세 데이터 시퀀스로부터 상기 제1유저 자세 데이터 시퀀스 중 대기 처리할 유저 자세 데이터와 서로 매칭되는 제1목표 자세 데이터를 획득하고, 상기 제1목표 자세 데이터에 기초하여 응용제어처리를 진행하는 처리모듈;
    상기 제1목표 자세 데이터에 대응되는 목표 자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과할 때, 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리를 하며, 상기 제2유저 자세 데이터 시퀀스와 기 처리한 유저 자세 데이터가 형성하는 데이터 시퀀스는 서로 이웃하며, 제2유저 자세 데이터 시퀀스의 길이와 상기 목표자세를 유지하는데 필요한 시간은 서로 관련되는 것에 사용되는 선택 모듈을 포함하는 응용프로그램의 제어장치.
  11. 제10항에 있어서, 대응되는 목표 자세를 유지하는데 필요한 시간이 기 설정된 시간 문턱값을 초과하는 자세 데이터에는 하나의 목표 자세 초기 서브데이터, 적어도 하나의 목표 자세 중간 서브데이터, 및 하나의 목표 자세 종료 서브데이터가 포함되는 응용프로그램의 제어장치.
  12. 제11항에 있어서, 상기 선택 모듈은 적어도 하나의 목표 자세 중간 서브데이터와 하나의 목표 자세 종료 서브데이터에 대응하여 상기 제2유저 자세 데이터 시퀀스로부터 부분적인 유저 자세 데이터를 선택하여 후속적인 매칭 처리에 사용되는 응용프로그램의 제어장치.
  13. 제10항에 있어서, 상기 제1유저 자세 데이터 시퀀스로 변환시키는 연산은 상기 응용프로그램이 상기 유저 자세 데이터의 사용이 필요한 단계 전에 완성하는 응용프로그램의 제어장치.
  14. 제10항에 있어서, 상기 수학 변환 모델은 여러 개의 응용프로그램과 서로 대응되며, 상기 제어장치는 제1유저 자세 데이터 시퀀스를 획득한 후 상기 여러 개의 응용프로그램으로부터 목표 응용프로그램을 확정하는 프로그램 확정 모듈, 및 상기 목표 응용프로그램에 대응하는 목표 자세 데이터 시퀀스를 확정하여 자세 매칭에 사용하는 표준 자세 시퀀스 확정 모듈을 더 포함하는 응용프로그램의 제어장치.
  15. 제10항에 있어서, 획득 모듈은 유저의 원시 이미지 시퀀스를 획득하는데 사용되는 원시 이미지 획득 유닛, 상기 원시 이미지 시퀀스 내의 이미지에 대하여 분별율을 낮추거나 배경을 제거하거나 잡음을 제거하거나 깊이값 조정 중의 적어도 하나를 진행하여 상기 깊이 이미지 시퀀스를 얻는 최적화 유닛을 포함하는 응용프로그램의 제어장치.
  16. 제10항에 있어서, 각각의 표준자세데이터는 스크린에 디스플레이될 하나의 스크린 유저 형상에 대응되고, 상기 처리 모듈은 스크린에 디스플레이되는 스크린 유저 형상을 상기 목표 자세 데이터에 대응하는 제1스크린 유저 형상으로 변화시켜 상기 응용제어처리를 실현하는 것에 사용되는 응용프로그램의 제어장치.
  17. 제16항에 있어서, 각각의 표준자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어장치는: 응용 수행시간을 확정하는 시간 확정 모듈; 응용 수행시간 및 표준 자세 데이터 시퀀스 내의 각각의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여, 제2목표 자세 데이터를 확정하는 목표 자세 데이터 확정 모듈; 상기 제2목표 자세 데이터와 제1목표 자세 데이터가 상이할 경우 경고 연산을 진행하도록 하는 제1경고 모듈도 포함하는 응용프로그램의 제어장치.
  18. 제16항에 있어서, 각각의 표준 자세는 하나의 자세를 유지하는데 필요한 시간과 대응되고, 상기 제어장치는: 응용 수행시간을 확정하는 시간 확정 모듈; 응용 수행시간 및 표준 자세 데이터 시퀀스 내의 각각의 표준자세에 대응되는 자세를 유지하는데 필요한 시간에 근거하여 제2목표 자세 데이터를 확정하는 목표 자세 데이터 확정 모듈; 제2목표 자세 데이터에 대응되는 제2스크린 유저 형상을 확정하는 스크린 유저 형상 확정 모듈; 상기 제2스크린 유저 형상과 제1스크린 유저 형상의 차이가 기 설정된 차이 표준을 초과할 경우 경고 연산을 진행하도록 하는 제2경고 모듈도 포함하는 응용프로그램의 제어장치.
  19. 전자장비에 있어서, 상기 전자장비는 제10항 내지 제18항 중 어느 한 항에 따른 제어장치를 포함하는 전자장비.
KR1020157023540A 2014-10-14 2015-02-09 응용프로그램의 제어방법, 장치 및 전자장비 KR101718837B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410542224.5 2014-10-14
CN201410542224.5A CN104281265B (zh) 2014-10-14 2014-10-14 一种应用程序的控制方法、装置及电子设备
PCT/CN2015/072520 WO2016058303A1 (zh) 2014-10-14 2015-02-09 一种应用程序的控制方法、装置及电子设备

Publications (2)

Publication Number Publication Date
KR20160060003A KR20160060003A (ko) 2016-05-27
KR101718837B1 true KR101718837B1 (ko) 2017-03-22

Family

ID=52256227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157023540A KR101718837B1 (ko) 2014-10-14 2015-02-09 응용프로그램의 제어방법, 장치 및 전자장비

Country Status (6)

Country Link
US (1) US20160349848A1 (ko)
EP (1) EP3208686A4 (ko)
JP (1) JP6545271B2 (ko)
KR (1) KR101718837B1 (ko)
CN (1) CN104281265B (ko)
WO (1) WO2016058303A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281265B (zh) * 2014-10-14 2017-06-16 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备
CN105046249B (zh) * 2015-09-07 2018-09-11 哈尔滨市一舍科技有限公司 一种人机交互方法
CN105160323B (zh) * 2015-09-07 2018-11-27 哈尔滨市一舍科技有限公司 一种手势识别方法
CN105045399B (zh) * 2015-09-07 2018-08-14 哈尔滨市一舍科技有限公司 一种具有3d摄像组件的电子设备
CN105068662B (zh) * 2015-09-07 2018-03-06 哈尔滨市一舍科技有限公司 一种用于人机交互的电子设备
CN106919928A (zh) * 2017-03-08 2017-07-04 京东方科技集团股份有限公司 手势识别系统、方法及显示设备
CN110170171A (zh) * 2019-06-03 2019-08-27 深圳市腾讯网域计算机网络有限公司 一种目标对象的控制方法及装置
EP4160377A4 (en) 2020-07-31 2023-11-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. GESTURE CONTROL METHOD AND ASSOCIATED DEVICE
CN111880660B (zh) * 2020-07-31 2022-10-21 Oppo广东移动通信有限公司 显示画面的控制方法、装置、计算机设备和存储介质
CN112121280B (zh) * 2020-08-31 2022-04-01 浙江大学 一种心音盒的控制方法及控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426480A (zh) 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN103646425A (zh) 2013-11-20 2014-03-19 深圳先进技术研究院 一种体感交互的方法及系统
CN104281265A (zh) 2014-10-14 2015-01-14 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
CN102200830A (zh) * 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制系统和控制方法
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US8657683B2 (en) * 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
JP5325327B2 (ja) * 2011-11-04 2013-10-23 株式会社コナミデジタルエンタテインメント ゲーム装置、詳細提示方法、および、プログラム
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US9646200B2 (en) * 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
JP5759439B2 (ja) * 2012-10-19 2015-08-05 日本電信電話株式会社 映像コミュニケーションシステム及び映像コミュニケーション方法
WO2014088621A1 (en) * 2012-12-03 2014-06-12 Google, Inc. System and method for detecting gestures
US20150046808A1 (en) * 2013-08-08 2015-02-12 Beamz Interactive, Inc. Apparatus and method for multilayered music playback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426480A (zh) 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
CN103646425A (zh) 2013-11-20 2014-03-19 深圳先进技术研究院 一种体感交互的方法及系统
CN104281265A (zh) 2014-10-14 2015-01-14 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备

Also Published As

Publication number Publication date
EP3208686A1 (en) 2017-08-23
EP3208686A4 (en) 2018-06-06
CN104281265A (zh) 2015-01-14
KR20160060003A (ko) 2016-05-27
US20160349848A1 (en) 2016-12-01
CN104281265B (zh) 2017-06-16
JP6545271B2 (ja) 2019-07-17
JP2018502403A (ja) 2018-01-25
WO2016058303A1 (zh) 2016-04-21

Similar Documents

Publication Publication Date Title
KR101718837B1 (ko) 응용프로그램의 제어방법, 장치 및 전자장비
EP3531418B1 (en) Electronic device displaying interface for editing video data and method for controlling same
US8751191B2 (en) Action analysis device and action analysis method
CN103970264B (zh) 手势辨识与控制方法及其装置
CN110414546A (zh) 使用中间损失函数训练图像信号处理器
JP2010524113A (ja) 人−機械インターフェース装置システム及び方法
US20200371604A1 (en) Display Terminal and Display Control Method
CN103795931A (zh) 一种信息处理方法及电子设备
JP6810048B2 (ja) モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法
KR101916675B1 (ko) 사용자 인터랙션을 위한 제스처 인식 방법 및 시스템
CN112084959B (zh) 一种人群图像处理方法及装置
GB2541073B (en) Information processing apparatus, method for controlling information processing apparatus, image processing system and storage medium
US20220269360A1 (en) Device, method and program for generating multidimensional reaction-type image, and method and program for reproducing multidimensional reaction-type image
CN113096225A (zh) 一种图像特效的生成方法、装置、电子设备及存储介质
EP3206188A1 (en) Method and system for realizing motion-sensing control based on intelligent device, and intelligent device
KR20230093191A (ko) 오차 종류별 관절 인식 방법, 서버
KR101280225B1 (ko) 자세추적을 이용하여 프로그램을 진행하는 로봇 및 그 방법
CN114610155A (zh) 手势控制方法、装置、显示终端及存储介质
JP5713655B2 (ja) 映像処理装置、映像処理方法及びプログラム
CN111124106A (zh) 一种追踪虚拟现实系统的方法
JP5620449B2 (ja) 人−機械インターフェース装置システム及び方法
CN109947344B (zh) 一种应用策略模型的训练方法及装置
CN114995633A (zh) 一种基于沉浸式体验的智能化三维影像生成方法及系统
KR101599810B1 (ko) 바둑 복기 시스템
CN116149467A (zh) 触觉模拟方法、装置、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 4