KR101605740B1 - Method for recognizing personalized gestures of smartphone users and Game thereof - Google Patents
Method for recognizing personalized gestures of smartphone users and Game thereof Download PDFInfo
- Publication number
- KR101605740B1 KR101605740B1 KR1020140065125A KR20140065125A KR101605740B1 KR 101605740 B1 KR101605740 B1 KR 101605740B1 KR 1020140065125 A KR1020140065125 A KR 1020140065125A KR 20140065125 A KR20140065125 A KR 20140065125A KR 101605740 B1 KR101605740 B1 KR 101605740B1
- Authority
- KR
- South Korea
- Prior art keywords
- personalized
- smartphone
- sensor
- user
- delete delete
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
본 발명은 별도의 입력장치를 사용하지 않고, 스마트폰에 장착된 각종 센서를 이용하여 개인화된 모델로 스마트폰 사용자의 동작을 학습시켜 상호작용을 하는 방법에 관한 것으로서, 스마트폰의 동작인식 센서로부터 데이터를 입력받는 단계, 상기 센서의 각 축별 센서값의 실효값을 특징값으로 삼는 단계, 사용자에 따른 상기 특징값을 시간적 배열로 수집하는 단계 및 상기 시간적 배열의 특징값을 기계학습 방법을 이용하여 동작별 모델을 구축하는 단계를 포함하는 것을 특징으로 한다.The present invention relates to a method of interacting with a smartphone user by learning the operation of a smartphone user using a personalized model using various sensors mounted on the smartphone without using a separate input device, The method comprising the steps of: receiving data, taking an effective value of a sensor value for each axis of the sensor as a feature value, collecting the feature values according to a user in a temporal arrangement, And constructing a model for each operation.
Description
본 발명은 스마트폰 사용자의 개인화된 동작인식 방법에 관한 것으로, 더욱 상세하게는 별도의 입력장치를 사용하지 않고, 스마트폰에 장착된 각종 센서를 이용하여 개인화된 모델로 스마트폰 사용자의 동작을 학습시켜 상호작용을 하는 방법에 관한 것이다.The present invention relates to a personalized operation recognition method of a smartphone user, and more particularly, to a personalized operation recognition method of a smartphone user using a variety of sensors mounted on the smartphone, without using a separate input device To interact with each other.
일반적으로 컴퓨터, TV 또는 핸드폰과 같은 스마트기기에서의 동작 지시나 컨텐츠 제어는 마우스 또는 리모컨과 같은 물리적인 입력 장치를 사용하였다.In general, a physical input device such as a mouse or a remote control is used for operation instruction or content control in a smart device such as a computer, a TV, or a mobile phone.
최근 동작인식 기술의 등장으로 물리적인 입력장치 없이 스마트기기를 제어 가능하게 되었다. 동작인식 기술은 사용자의 움직임을 인식하여 기기와 상호작용하는 기술로서, 리모컨을 움직이는 동작을 인식하는 닌텐도의 위(Wii) 게임을 통해서 상품화되었다. 또한, 카메라 모듈로 사용자의 모션을 캡쳐하여 움직임을 인식하는 MS의 키넥트가 선보여 사용자가 키넥트 앞에서 동작을 하면 그대로를 인식한다. 또한, 손의 동작을 인식하는 기술로서 클릭 및 드래그 등을 인식할 수 있는 립모션이라는 제품이 출시되었다. With the advent of motion recognition technology, it has become possible to control a smart device without a physical input device. Motion recognition technology is commercialized through Nintendo Wii games that recognize the movements of the remote control. In addition, the MS Kinect, which captures the motion of the user and recognizes the motion by the camera module, is presented. When the user operates in front of the Kinect, it recognizes the motion as it is. In addition, as a technology for recognizing the motion of a hand, a product called lip motion capable of recognizing click and drag has been introduced.
이와 같이 동작인식 기술은 게임 또는 교육 등 다양한 분야에서 활용되고 있다.Thus, motion recognition technology is utilized in various fields such as game or education.
동작인식에 관한 종래의 기술로서 특허문헌 1에 물리적 모델에 기초한 동작인식 기술이 제시되어 있다. 특허문헌 1은 시뮬레이션된 물리적 개체를 생성하여 센서 데이터를 가하고 관측하며, 푸시 버튼이나 슬라이더 등의 사용자 인터페이스로 어플리케이션에 입력하며 입력된 반응에 피드백으로 햅틱 효과를 발생시키는 것을 특징으로 하고 있다.As a conventional technique relating to motion recognition, a motion recognition technique based on a physical model is proposed in Patent Document 1. [ Patent Document 1 is characterized in that a simulated physical entity is generated, sensor data is added and observed, input is made to a user through a user interface such as a push button or a slider, and a haptic effect is generated by feedback to the input reaction.
본 발명은 별도의 입력장치를 사용하지 않고, 스마트폰에 장착된 각종 센서를 이용하여 개인화된 모델로 스마트폰 사용자의 동작을 학습시켜, 가상의 3차원 가상인격체(아바타)와 상호작용을 하는 방법을 제공하고자 한다. A method of interacting with a virtual three-dimensional virtual person (avatar) by learning the operation of a smartphone user with a personalized model using various sensors mounted on the smart phone without using a separate input device .
상기의 해결하고자 하는 과제를 위한 본 발명에 따른 스마트폰 사용자의 개인화된 동작인식 학습방법은, 스마트폰의 동작인식 센서로부터 데이터를 입력받는 단계, 상기 센서의 각 축별 센서값의 실효값을 특징값으로 삼는 단계, 사용자에 따른 상기 특징값을 시간적 배열로 수집하는 단계 및 상기 시간적 배열의 특징값을 기계학습 방법을 이용하여 동작별 모델을 구축하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of learning personalized motion recognition of a smartphone user, comprising: receiving data from a motion recognition sensor of a smartphone; Collecting the feature values according to a user in a temporal arrangement, and constructing a model for each operation using a machine learning method for the feature values of the temporal arrangement.
본 발명의 바람직한 실시예로서, 상기 동작인식 센서는 가속도센서, 자이로센서 및 지자기센서 중에서 선택되는 어느 하나 또는 2 이상인 것을 특징으로 한다.In a preferred embodiment of the present invention, the motion recognition sensor is any one or two or more selected from an acceleration sensor, a gyro sensor, and a geomagnetic sensor.
본 발명의 바람직한 실시예로서, 상기 특징값은 각 센서로부터 최대 3축의 데이터를 받아 각 축별 제곱평균제곱근(root mean square: RMS)으로 계산한 것을 특징으로 한다.In a preferred embodiment of the present invention, the feature value is calculated by calculating root mean square (RMS) of each axis by receiving maximum 3-axis data from each sensor.
본 발명의 바람직한 실시예로서, 상기 기계학습 방법은 HMM(hidden markov model) 또는 DTW(dynamic time warping)인 것을 특징으로 한다.In a preferred embodiment of the present invention, the machine learning method is a hidden markov model (HMM) or dynamic time warping (DTW).
본 발명의 바람직한 실시예로서, 상기 동작별 모델은 실제 사용자의 동작과 유사도를 계산하여 선택되는 것을 특징으로 한다.In a preferred embodiment of the present invention, the operation-specific model is selected by calculating the similarity between the operation of the actual user and the operation.
본 발명의 바람직한 실시예로서, 상기 기계학습 시 동적계획법(dynamic programing)과 탐욕적 알고리즘(greedy algorithm)이 적용된 비터비 알고리즘(Viterbi algorithm)을 보조로 사용하는 것을 특징으로 한다. As a preferred embodiment of the present invention, a Viterbi algorithm using dynamic programming and a greedy algorithm is used as an auxiliary in the machine learning.
본 발명의 다른 실시예로서, 스마트폰 사용자의 개인화된 동작을 인식하는 방법은 스마트폰의 동작인식 센서를 이용하고, 3차원 궤적 추적 기술을 적용한다.In another embodiment of the present invention, a method for recognizing a personalized operation of a smartphone user uses a motion recognition sensor of a smartphone and applies a three-dimensional trajectory tracking technique.
본 발명의 바람직한 실시예로서, 상기 3차원 궤적 추적 기술은, 가속도센서, 자이로센서 및 지자기센서를 이용하여 초기 스마트폰의 위치와 지면에 대한 스마트폰의 각 축의 기울기 및 방위각을 측정하는 단계 및 스마트폰 사용자의 동작이 시작된 후 각 센서의 측정된 값을 시계열로 누적하여 적분하는 단계를 포함하며, 칼만 필터를 사용하여 보정하는 단계를 더 포함할 수 있다.As a preferred embodiment of the present invention, the three-dimensional trajectory tracking technique includes measuring the tilt and azimuth angle of each axis of the smartphone with respect to an initial smartphone position and ground using an acceleration sensor, a gyro sensor and a geomagnetic sensor, And integrating the measured values of the respective sensors in a time series after the operation of the phone user is started, the method further comprising the step of calibrating using the Kalman filter.
본 발명의 다른 실시예로서, 스마트폰 사용자의 개인화된 동작과 상호작용을 하는 게임 방법은, 사람의 얼굴을 3차원 모델링하거나 사진 맵핑을 하여 가상인격체를 생성하는 단계, 학습된 동작별 모델에서 실제 사용자의 동작과 유사도를 계산하여 선택된 모델을 상기 가상인격체에 적용하는 단계 및 3차원 궤적 추적 기술을 적용하여 상기 가상인격체와 상호작용을 하는 단계를 포함한다.According to another embodiment of the present invention, a game method for interacting with a personalized operation of a smartphone user includes the steps of generating a virtual personality by three-dimensionally modeling a face of a person or mapping a photo, Applying the selected model to the virtual personality by calculating the similarity of the user's action, and interacting with the virtual person by applying the 3D trajectory tracking technique.
본 발명의 바람직한 실시예로서, 상기 3차원 궤적 추적 기술의 방향 및 속도를 상기 가상인격체에 적용하여 표출하는 것을 특징으로 한다.As a preferred embodiment of the present invention, the direction and speed of the three-dimensional trajectory tracking technique are applied to the virtual personality to be displayed.
본 발명은 방대하고 복잡한 데이터와 많은 CPU 사용률을 요구하는 통계적 분석에 비하여 간단한 모델로 학습을 시켜 단순한 미니 게임에 적용할 수 있어 메모리나 AP의 부담을 덜어줄 수 있다. The present invention can be applied to a simple mini game by learning with a simple model in comparison with a statistical analysis requiring a large amount of complex data and a large CPU usage rate, thereby reducing the burden on the memory and the AP.
또한, 종래의 획일화된 동작인식에 비하여 본 발명은 사용자마다 다를 수 있는 개인화된 동작(제스처) 등을 정밀하게 인식할 수 있다.In addition, the present invention can accurately recognize a personalized operation (gesture) or the like that may be different for each user, compared with the conventional uniformized motion recognition.
또한, 본 발명의 동작인식 기술을 적용하여 게임의 몰입감과 흥미를 높이기 위하여 사람의 얼굴을 3차원 모델링과 사진 텍스쳐 맵핑을 통해서 가상의 3차원 아바타에 적용하거나, 잘 알려진 연예인, 유명인, 가상의 애니메이션이나 영화 캐릭터 등 실제 사람과 신체의 일부 또는 전부를 유사하게 만들어 적용할 수 있다. In order to apply the motion recognition technology of the present invention, a human face may be applied to a virtual three-dimensional avatar through three-dimensional modeling and photo texture mapping, or a well-known entertainer, a famous person, Or a movie character, can be created and applied to some or all of the body in a similar way.
도 1은 본 발명에 따른 개인화된 동작인식의 실시예의 흐름도1 is a flowchart of an embodiment of personalized motion recognition according to the present invention;
이하 본 발명의 실시를 위한 구체적인 실시예를 도면을 참고하여 설명한다. 본 발명의 실시예는 하나의 발명을 설명하기 위한 것으로서 권리범위는 예시된 실시예에 한정되지 아니하고, 예시된 도면은 발명의 명확성을 위하여 핵심적인 내용만 확대 도시하고 부수적인 것을 생략하였으므로 도면에 한정하여 해석하여서는 아니 된다. Hereinafter, embodiments of the present invention will be described with reference to the drawings. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not intended to limit the invention to the particular forms disclosed. And shall not interpret it.
도 1은 본 발명에 따른 스마트폰 사용자의 개인화된 동작인식 방법의 흐름도이다.1 is a flowchart of a personalized motion recognition method of a smartphone user according to the present invention.
본 발명은 스마트폰 사용자마다 서로 다를 수 있는 개인화된 동작(제스처)을 인식하고, 개인화된 동작모델을 이용하여 아바타와 같은 가상인격체에 상호작용하게 적용하는 방법에 관한 것이다.The present invention relates to a method for recognizing personalized actions (gestures) that may be different for each smartphone user and interactively applying to a virtual personality such as an avatar using a personalized action model.
본 발명에서의 제스처는 스마트폰 사용자가 스마트폰을 손에 쥐고 공간상에 손을 움직이는 것으로서, 아바타와 상호작용을 위한 쓰다듬기, 꿀밤, 펀치 또는 따귀 등의 행동이 될 수 있다. 스마트폰을 쥐는 방법은 스마트폰의 뒷면을 움켜잡거나 화면을 말아 쥐는 등 다양한 방법이 될 수 있다.The gesture according to the present invention may be a behavior such as stroking, honeybee, punching, or slapping for interaction with an avatar as a smartphone user holding a smartphone in his hand and moving his / her hand in space. Holding a smartphone can be a variety of ways, including grabbing the back of the smartphone or curling the screen.
본 발명의 동작감지 센서는 스마트폰에 내장된 가속도센서, 자이로센서 및 지자기센서(컴퍼스) 등의 각종 센서를 이용하여 스마트폰 사용자의 동작을 감지한다. 상기 센서 외에 GPS, 터치센서(터치스크린), 압력센서, 광센서 또는 카메라 등을 포함할 수 있으며, 다양한 생체감지센서도 포함될 수 있다. 상기 센서들은 가속, 경사, 관성, 압력 또는 위치변화를 감지할 수 있다.The motion sensing sensor of the present invention senses the operation of a smartphone user using various sensors such as an acceleration sensor, a gyro sensor, and a geomagnetic sensor (compass) built in a smart phone. In addition to the above sensors, it may include a GPS, a touch sensor (touch screen), a pressure sensor, an optical sensor, a camera, or the like, and may include various biometric sensors. The sensors can sense acceleration, tilt, inertia, pressure or position changes.
본 발명에 따른 스마트폰 사용자의 개인화된 동작인식 학습방법은, 스마트폰의 동작인식 센서로부터 데이터를 입력받는 단계, 상기 센서의 각 축별 센서값의 실효값을 특징값으로 삼는 단계, 사용자에 따른 상기 특징값을 시간적 배열로 수집하는 단계 및 상기 시간적 배열의 특징값을 기계학습 방법을 이용하여 동작별 모델을 구축하는 단계를 포함하는 것을 특징으로 한다.A personalized action recognition learning method of a smartphone user according to the present invention includes the steps of receiving data from a motion recognition sensor of a smartphone, taking an effective value of a sensor value for each axis of the sensor as a feature value, Collecting the feature values in a temporal arrangement, and constructing a model for each operation using the machine learning method for the feature values of the temporal arrangement.
상기 동작인식 센서는 가속도센서, 자이로센서 및 지자기센서 중에서 선택되는 어느 하나 또는 2 이상의 조합일 수 있고, 터치센서나 압력센서도 포함될 수 있다.The motion recognition sensor may be any one or a combination of two or more selected from an acceleration sensor, a gyro sensor, and a geomagnetic sensor, and may include a touch sensor or a pressure sensor.
상기 특징값은 각 센서로부터 최대 3축의 데이터를 받아 각 축별 제곱평균제곱근(root mean square: RMS)으로 계산한다. 예를 들면, 가속도센서, 자이로센서, 및 지자기센서의 각 최대 3축의 데이터인 AccelX, AccelY, AccelZ, GyroX, GyroY, GyroZ, CompassX, CompassY, CompassZ를 입력받고, 각 센서의 축 별 RMS(root mean square)값으로 AccelRMS, GyroRMS, CompassRMS를 게산하여 센서의 특징값으로 삼는다.The feature value is calculated from the root mean square (RMS) of each axis by receiving maximum 3 axes data from each sensor. For example, it receives inputs of AccelX, AccelY, AccelZ, GyroX, GyroY, GyroZ, CompassX, CompassY and CompassZ, which are the maximum three axes data of acceleration sensor, gyro sensor and geomagnetic sensor, The values of AccelRMS, GyroRMS, and CompassRMS are taken as characteristic values of the sensor.
상기 특징값은 사용자의 개인화된 동작에 따라서 시간적으로 변화하는 값이므로, 특징값들의 시간적 배열(AccelX_t0, AccelY_t0, …), (AccelX_t1, AccelY_t1, …), (AccelX_tn, AccelY_tn, …)을 각 개인화된 동작의 타입에 따라 수집한다....), (AccelX_t1, AccelY_t1, ...), (AccelX_tn, AccelY_tn, ...) to the respective personalized values Collect according to the type of action.
상기 시간적 배열 특징값을 기계학습 방법인 HMM(hidden markov model) 또는 DTW(dynamic time warping)을 사용하여 동작별 모델을 구축한다. HMM은 크게 두 가지 확률(전이확률, 생성확률)의 곱으로 계산된다. 이 모델은 두 가지 경우로 나누어 생각할 수 있는데 유형별 동작 모델들의 순서열에 따른 확률 및 각 측정된 동작 입력이 유형별 동작 모델에 미치는 확률이다.A behavior-specific model is constructed using HMM (hidden markov model) or DTW (dynamic time warping), which is a machine learning method. HMM is roughly calculated as the product of two probabilities (transition probability, creation probability). This model can be divided into two cases: the probability according to the sequence of the type-specific action models and the probability that each measured action input affects the type-specific action model.
기계학습 방법은 HMM이나 DTW와 같은 확률기반 모델을 사용하거나 이들 모델에 규칙기반 모델들을 혼용하여 사용할 수 있다.Machine learning methods can use probabilistic models such as HMM or DTW, or they can be used in combination with rule-based models.
기계학습의 수행 시 동작 입력 데이터의 크기에 따라 확률 데이터의 수가 급격히 늘어나서 스마트폰의 데이터처리 능력을 벗어나는 것을 해결하기 위해 동적계획법(dynamic programing)과 탐욕적 알고리즘(greedy algorithm)이 적용된 비터비 알고리즘(Viterbi algorithm)을 보조하여 사용할 수 있다. In order to solve the problem of deviating from the data processing capability of the smartphone due to the increase in the number of probability data according to the size of the operation input data during the execution of the machine learning, a Viterbi algorithm (dynamic programming and greedy algorithm) algorithm can be used to assist.
상호작용 유형을 추론하였다 하더라도, 이대로 사용자의 개인화된 동작에 대한 가상인격체의 반응을 대응시키는 방법으로 애플리케이션을 작성하면, 개인화된 동작이 사람들의 구체적인 움직임을 반영하지 않고 개인화된 동작의 유형별로 획일화되는 결과가 나타난다. 따라서 실제 개인화된 동작들을 정밀하게 인식하기 위한 3차원 궤적 추적 기술이 필요하다. Even if the interaction type is inferred, if an application is created by a method of responding to the reaction of the virtual personality to the personalized action of the user as such, the personalized action does not reflect the specific movement of the person but is uniformized according to the type of the personalized action . Therefore, there is a need for a three-dimensional trajectory tracking technique for precisely recognizing actual personalized motions.
본 발명에서 스마트폰 사용자의 개인화된 동작을 인식하는 방법은 스마트폰의 동작인식 센서를 이용하고, 3차원 궤적 추적 기술을 적용한다. In the present invention, a method of recognizing a personalized operation of a smartphone user uses a motion recognition sensor of a smart phone and applies a three-dimensional trajectory tracking technology.
상기 3차원 궤적 추적 기술은, 가속도센서, 자이로센서 및 지자기센서를 이용하여 초기 스마트폰의 위치와 지면에 대한 스마트폰의 각 축의 기울기 및 방위각을 측정하는 단계 및 스마트폰 사용자의 동작이 시작된 후 각 센서의 측정된 값을 시계열로 누적하여 적분하는 단계를 포함하며, 칼만 필터를 사용하여 보정하는 단계를 더 포함할 수 있다.The three-dimensional trajectory tracking technique includes measuring an inclination and an azimuth of each axis of the smartphone with respect to an initial smartphone position and ground using an acceleration sensor, a gyro sensor, and a geomagnetic sensor, Accumulating the measured values of the sensor in a time series, and further comprising the step of calibrating using the Kalman filter.
본 발명의 다른 실시예로서, 스마트폰 사용자의 개인화된 동작과 상호작용을 하는 게임 방법은, 사람의 얼굴을 3차원 모델링하거나 사진 맵핑을 하여 가상인격체를 생성하는 단계, 학습된 동작별 모델에서 실제 사용자의 동작과 유사도를 계산하여 선택된 모델을 상기 가상인격체에 적용하는 단계 및 3차원 궤적 추적 기술을 적용하여 상기 가상인격체와 상호작용을 하는 단계를 포함한다.According to another embodiment of the present invention, a game method for interacting with a personalized operation of a smartphone user includes the steps of generating a virtual personality by three-dimensionally modeling a face of a person or mapping a photo, Applying the selected model to the virtual personality by calculating the similarity of the user's action, and interacting with the virtual person by applying the 3D trajectory tracking technique.
가상의 2차원 또는 3차원 가상인격체는, 몰입감과 흥미를 높이기 위하여 실제 사람의 얼굴을 2차원 또는 3차원 모델링과 사진 텍스쳐 맵핑을 통하여 적용하거나, 잘 알려진 연예인, 유명인 또는 가상의 애니메이션이나 영화 캐릭터 등의 실제 사람과 신체 일부 또는 전부가 유사하게 만들 수 있다.A virtual two-dimensional or three-dimensional virtual personality can be applied to two-dimensional or three-dimensional modeling and photo texture mapping of a real person's face to enhance immersiveness and interest, or to a well-known entertainer, a famous person or a virtual animation or a movie character Some or all of the body of an actual person can be made similar.
가상인격체와의 상호작용 유형을 추론하기 위한 개인화된 인식 기술은 쓰다듬기, 꿀밤, 펀치, 따귀 등 다양한 물리적 상호작용을 위하여 해당 개인화된 동작들 중에서 사용자가 어떠한 유형의 개인화된 동작을 수행하였는지를 인식하여야 한다.The personalized recognition technique for inferring the interaction type with the virtual personality recognizes the type of personalized action performed by the user among the personalized actions for various physical interactions such as stroking, honeybee, punch, do.
상기 3차원 궤적 추적 기술의 방향 및 속도를 상기 가상인격체에 적용하여 표출할 수 있다.The direction and speed of the three-dimensional trajectory tracking technique can be applied to the virtual personality to be displayed.
본 발명에서 가상인격체는 하나의 캐릭터를 한정하는 것이 아니라 아바타, 로봇 등과 같은 모든 것을 포함하는 총칭이다.In the present invention, a virtual person is not a single character but a generic name including an avatar, a robot, and the like.
본 발명의 다른 실시예로서, 하나 이상의 스마트폰에서 근접통신센서 또는 무선인터넷으로 데이터 전송을 통해 개인화된 유형별 동작을 표현하며 서로 상호작용하는 가상인격체를 구현하는 것이다. 이때 각 스마트폰의 유형별 동작은 개인화 되어 있어 동작의 크기가 다르고 유형이 미세하게 달라 간단한 게임에 효과적으로 응용될 수 있다. Another embodiment of the present invention is to implement a virtual personality that interacts with one another to represent personalized type-specific actions through data transmission from one or more smart phones to a proximity sensor or wireless Internet. At this time, the operation of each type of smartphone is personalized, and the size of the operation is different and the type is finely different, so that it can be effectively applied to a simple game.
인식된 개인화된 유형별 동작을 가상인격체의 움직임에 대응시키는 방법은 다음과 같다.A method of associating the perceived personalized type action with the motion of the virtual personality is as follows.
(1) 개인화된 동작의 유형에 따라 가상인격체의 반응 표정과 자세, 움직임의 유형을 결정한다. 예를 들어 펀치의 경우, 가상인격체가 눈살을 찌푸린 표정과 급격하게 넘어지는 움직임 및 최종적으로 쓰러져 누워 있는 자세를 가지게 된다. 쓰다듬는 경우, 가상인격체가 웃는 표정과 머리가 약간 움츠러드는 움직임을 가지게 된다.(1) The type of personalized action determines the reaction expression, posture, and type of movement of a virtual personality. For example, in the case of a punch, the virtual personality has a frowning expression, a sudden fall, and finally a lying down posture. When stroking, the virtual personality has a smiling face and a slightly shrunk movement of the head.
(2) 가상인격체가 반응하는 방향이나 속도와 같은 세밀한 개인화된 반응을 처리하기 위하여, 추적된 3차원 궤적의 방향과 속도 등의 정보를 가상인격체의 반응 방향과 속도에 대응시킨다. 예를 들어 펀치를 오른쪽에서 왼쪽으로 돌리면서 치는 경우나 복싱의 훅과 같은 경우 가상인격체가 왼쪽으로 돌면서 넘어지게 된다. 스트레이트와 같이 정면으로 치는 경우 가상인격체는 정면 반대 방향으로 주저앉게 된다. 또한, 펀치의 속도가 빠르면 가상인격체가 빠르게 넘어지고, 속도가 느리면 가상인격체가 느리게 넘어지게 된다. 사실적인 표현을 위하여 3차원 물리 엔진을 사용할 수 있다.(2) In order to deal with the detailed personalized response such as the direction or speed of the reaction of the virtual person, the information such as the direction and velocity of the traced 3-dimensional trajectory corresponds to the reaction direction and velocity of the virtual person. For example, if you punch a punch from right to left, or you hit a boxing hook, the virtual person will turn to the left and fall. If you strike face to face like straight, the virtual personality sits in the opposite direction. Also, if the speed of the punch is fast, the virtual personality will fall quickly, and if the speed is slow, the virtual personality will fall slowly. A 3D physics engine can be used for realistic representation.
최신 스마트폰은 중앙처리장치의 데이터처리능력이 향상되어 개인화된 유형별 동작 수를 증가시킬 수 있고, 또한, 생체기능측정모듈 등이 장착되어 있어 상기의 유형별 동작에 생체기능측정모듈로부터 측정된 개인화된 심장맥박수와 같은 물리적 데이터를 동기화시킬 수 있다. The latest smartphone is capable of increasing the data processing capability of the central processing unit to increase the number of individualized types of operation and further includes a biofunction measurement module to perform the personalized operation measured by the biofunction measurement module It is possible to synchronize physical data such as heart rate.
20: 유형별 동작데이터 생성부 21: 동작인식모듈
22: 개인화된 유형별 동작 23: 유형별 동작
24: 기계학습 시스템 25: 학습된 유형별 동작모델
26: 개인화된 유형별 동작데이터 30: 유형별 동작데이터 적용부
36: 개인화된 동작데이터
37: 개인화된 유형별 가상인격체 동작모델
38: 개인화된 유형별 가상인격체 동작데이터
40: 표시부20: type-specific operation data generation unit 21: operation recognition module
22: Actions by personalized type 23: Actions by type
24: Machine learning system 25: Behavior model for learned type
26: Operation data by personalized type 30: Operation data by type
36: Personalized motion data
37: Virtual Personality Behavioral Model by Personalized Type
38: Virtual personality behavior data by personalized type
40:
Claims (10)
가속도센서, 자이로센서 및 지자기센서를 이용하여 초기 스마트폰의 위치와 지면에 대한 스마트폰의 각 축의 기울기 및 방위각을 측정하는 단계;
스마트폰 사용자의 동작이 시작된 후 각 센서의 측정된 값을 시계열로 누적하여 적분하는 단계 및
칼만 필터를 사용하여 보정하는 단계를 포함한 3차원 궤적 추적기술을 이용하여 스마트폰 사용자의 유형별 동작을 개인화된 동작으로 인식하는 방법. 1. A method for recognizing a personalized operation for each smartphone user using a motion recognition sensor built in a smart phone, the gesture moving in a space holding a smart phone in a hand,
Measuring the tilt and azimuth of each axis of the smartphone with respect to the initial smartphone position and ground using an acceleration sensor, a gyro sensor, and a geomagnetic sensor;
Accumulating and integrating the measured values of the respective sensors in a time series after the operation of the smartphone user starts;
A method for recognizing a type of motion of a smartphone user as a personalized motion using a 3D trajectory tracking technique including a step of calibrating using a Kalman filter.
사람의 얼굴을 3차원 모델링하거나 사진 맵핑을 하여 가상인격체를 생성하는 단계;
학습된 동작별 모델에서 실제 사용자의 동작과 유사도를 계산하여 선택된 모델을 상기 가상인격체에 적용하는 단계 및
제8항의 방법으로 개인화된 동작을 상기 가상인격체에 적용하여 표시부에 표출하는 단계를 포함하는 것을 특징으로 하는 게임 방법.A game method for interacting with a personalized action of a smartphone user and a virtual personality,
Generating a virtual personality by three-dimensionally modeling a face of a person or by mapping a photo;
Calculating the similarity of the actual user with the learned motion-based model and applying the selected model to the virtual personality; and
The method according to claim 8, further comprising the step of applying the personalized action to the virtual person and displaying the personalized action on the display unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140065125A KR101605740B1 (en) | 2014-05-29 | 2014-05-29 | Method for recognizing personalized gestures of smartphone users and Game thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140065125A KR101605740B1 (en) | 2014-05-29 | 2014-05-29 | Method for recognizing personalized gestures of smartphone users and Game thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150137376A KR20150137376A (en) | 2015-12-09 |
| KR101605740B1 true KR101605740B1 (en) | 2016-03-23 |
Family
ID=54873318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140065125A KR101605740B1 (en) | 2014-05-29 | 2014-05-29 | Method for recognizing personalized gestures of smartphone users and Game thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101605740B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101704975B1 (en) * | 2016-06-23 | 2017-02-08 | 조희만 | Apparatus of speed quiz game |
-
2014
- 2014-05-29 KR KR1020140065125A patent/KR101605740B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150137376A (en) | 2015-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11775080B2 (en) | User-defined virtual interaction space and manipulation of virtual cameras with vectors | |
| US11798215B2 (en) | Avatar facial expression representation in multidimensional space | |
| US11379036B2 (en) | Eye tracking calibration techniques | |
| KR20180094799A (en) | Automatic localized haptics generation system | |
| JP2018142313A (en) | System and method for touch of virtual feeling | |
| KR101605740B1 (en) | Method for recognizing personalized gestures of smartphone users and Game thereof | |
| Han et al. | Connecting users to virtual worlds within MPEG-V standardization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190318 Year of fee payment: 4 |