KR102125640B1 - Personal broadcasting control system using user gesture - Google Patents

Personal broadcasting control system using user gesture Download PDF

Info

Publication number
KR102125640B1
KR102125640B1 KR1020190010846A KR20190010846A KR102125640B1 KR 102125640 B1 KR102125640 B1 KR 102125640B1 KR 1020190010846 A KR1020190010846 A KR 1020190010846A KR 20190010846 A KR20190010846 A KR 20190010846A KR 102125640 B1 KR102125640 B1 KR 102125640B1
Authority
KR
South Korea
Prior art keywords
gesture
user
information
sensing data
personal
Prior art date
Application number
KR1020190010846A
Other languages
Korean (ko)
Inventor
박상일
박미리
유성근
정서경
송민정
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020190010846A priority Critical patent/KR102125640B1/en
Application granted granted Critical
Publication of KR102125640B1 publication Critical patent/KR102125640B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A personal broadcasting control system using a user gesture, according to the present invention, comprises: a sensor unit including a plurality of sensors which are attached to a part of a body of a user who is performing personal broadcasting, and when the part of the body of the user moves, generates sensing data including angular velocity and acceleration information; an image acquisition unit which photographs the user and generates image information including the part of the user body to which the plurality of sensors are attached; and a server which receives the sensing data from the sensor unit and the image information from the image acquisition unit, respectively, checks a user gesture based on the received data and information, and controls the driving of the personal broadcast according to control information previously matched with the checked gesture. The personal broadcasting control system using a user gesture, according to the present invention, senses the motion of the part of the body of the user who is performing the personal broadcasting, defines and learns the user gesture, and easily controls the driving of the personal broadcasting from the recognized user gesture.

Description

사용자 제스처를 이용한 개인방송 제어 시스템{Personal broadcasting control system using user gesture}Personal broadcasting control system using user gestures

본 발명은 사용자 제스처를 이용한 개인방송 제어 시스템에 관한 것으로, 더욱 상세하게는 온라인을 통해 개인방송을 진행하는 사용자의 제스처를 사전에 학습하고, 학습 결과 이후 인식되는 사용자의 제스처를 이용해 현재 진행 중인 개인방송을 용이하게 제어할 수 있는 사용자 제스처를 이용한 개인방송 제어 시스템에 관한 것이다.The present invention relates to a personal broadcasting control system using a user gesture, and more specifically, an individual currently in progress using a gesture of a user recognized in advance after learning a gesture of a user who performs a personal broadcast through online. It relates to a personal broadcast control system using a user gesture that can easily control the broadcast.

요즘 들어, 남녀노소를 불문하고 많은 사람들이 손쉽게 SNS를 이용하고 있는데, 그 이용 패턴을 살펴보면, 초기에는 일부 특정 사람들이 생성한 콘텐츠를 단순히 시청만 하여 소비하는데 그쳤었다. 하지만, 최근에는 SNS를 이용하는 사용자 누구나 자신이 개인방송을 통해 직접 새로운 콘텐츠를 제작하고, 이를 다른 사용자들과 공유하는 추세로 점차 변화하고 있다. Nowadays, many people, regardless of age or gender, are using SNS easily. Looking at the usage pattern, in the beginning, it was only to consume content created by some specific people by simply watching. However, recently, all users using SNS are gradually changing to a trend in which they create new content directly through personal broadcasting and share it with other users.

특히, 이러한 개인방송은 콘텐츠 제작인 개인이 직접 촬영과 편집 등을 수행하므로, 콘텐츠를 제작하는데 있어 많은 시간과 노력이 소요된다. 특히, 영상을 촬영하고, 편집하기 위해서는 촬영장비 및 편집 프로그램을 능숙하게 다룰 줄 알아야 한다. 따라서, 콘텐츠 제작자가 촬영장비 및 편집 프로그램의 사용에 능숙하지 못하거나, 어려움을 겪는 중장년층인 경우에는 자신이 직접 콘텐츠를 생성하는데 어려움을 느끼는 문제점이 발생했다. In particular, such personal broadcasts take a lot of time and effort to produce the content, because the individual who is the content creator directly performs shooting and editing. In particular, in order to shoot and edit a video, you need to know how to handle the shooting equipment and editing program skillfully. Therefore, if the content producer is not proficient in the use of the photographing equipment and the editing program, or the middle-aged people who have difficulties, there is a problem in that it is difficult to create content by themselves.

하지만 이와 달리, 콘텐츠 제작자가 청소년 및 청년층인 경우에는 중장년층에 비하여 상대적으로 매우 손쉽게 촬영장비와 편집 프로그램을 사용할 수 있어, 콘텐츠 제작에 큰 부담을 느끼지 않는다. 하지만, 이처럼 촬영장비와 편집 프로그램의 사용이 익숙한 콘텐츠 제작자라 하더라도 콘텐츠를 직접 촬영하고, 편집하는데 있어서 많은 시간과 노력이 소요되므로 콘텐츠 제작에 번거로운 문제점 또한 발생했다.However, if the content creator is adolescents and adolescents, it is relatively easy to use filming equipment and editing programs compared to middle-aged people, so there is no burden on content production. However, even if the content producers who are familiar with the use of the shooting equipment and the editing program like this, it takes a lot of time and effort to directly shoot and edit the content, which also causes a troublesome problem in content production.

한국 등록특허공보 10-1868520 (2018.06.11.)Korean Registered Patent Publication 10-1868520 (2018.06.11.)

따라서, 본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명의 해결하고자 하는 과제는 개인방송을 진행하는 사용자의 제스처를 학습을 통해 인식한 후, 이어지는 사용자의 제스처를 인식하여 진행 중인 개인방송을 용이하게 제어할 수 있는 사용자 제스처를 이용한 개인방송 제어 시스템을 제공하는 것이다.Accordingly, the present invention is to solve this problem, and the problem to be solved by the present invention is to recognize a user's gesture through a personal broadcast through learning, and then recognize a gesture of a subsequent user to facilitate the ongoing personal broadcast. It is to provide a personal broadcast control system using a user gesture that can be controlled.

본 발명의 일 실시 예에 의한 사용자 제스처를 이용한 개인방송 제어 시스템은 개인방송을 진행 중인 사용자의 신체 일부에 복수 개의 센서가 부착되고, 상기 사용자의 신체 일부가 움직이면, 상기 복수 개의 센서가 각속도 및 가속도 정보를 포함하는 센싱 데이터를 생성하는 센서부, 상기 사용자를 촬영하여, 상기 복수 개의 센서가 부착된 상기 사용자의 신체 일부가 포함되는 영상 정보를 생성하는 영상획득부 및 상기 센서부로부터 상기 센싱 데이터와 상기 영상획득부로부터 상기 영상 정보를 각각 수신하고, 이에 기초하여 상기 사용자의 제스처를 확인한 후, 확인된 제스처와 미리 매칭된 제어정보에 따라 상기 개인방송의 구동을 제어하는 서버를 포함한다.In a personal broadcast control system using a user gesture according to an embodiment of the present invention, when a plurality of sensors are attached to a body part of a user who is in the process of personal broadcasting, and when the body part of the user moves, the plurality of sensors are angular velocity and acceleration. The sensor unit for generating sensing data including information, and the sensing data from the image acquisition unit and the sensor unit for photographing the user to generate image information including a part of the user's body to which the plurality of sensors are attached. And a server that receives each of the image information from the image acquisition unit, checks the user's gesture based on this, and controls the driving of the personal broadcast according to the identified gesture and pre-matched control information.

상기 센서부는 상기 복수 개의 센서로부터 생성된 센싱 데이터를 IoT(Internet of Things) 네트워크를 통해 라우터 및 서버로 전송할 수 있다. The sensor unit may transmit sensing data generated from the plurality of sensors to a router and a server through an Internet of Things (IoT) network.

상기 영상획득부는 상기 영상 정보의 타임 스탬프 정보를 상기 라우터의 시간 정보와 동기화시킨 후, 상기 영상 정보를 상기 서버로 전송할 수 있다. The image acquisition unit may synchronize the time stamp information of the image information with time information of the router, and then transmit the image information to the server.

상기 서버는 상기 센서부로부터 이전에 수신한 다수의 센싱 데이터와 상기 영상획득부로부터 이전에 수신한 다수의 영상 정보에 기초하여 상기 사용자의 신체 움직임에 대한 다수의 제스처를 정의한 후 라벨링하고, 상기 다수의 센싱 데이터 및 영상 정보에 기초하여 정의된 제스처를 딥러닝 기술을 통해 다수 회 학습하고, 이후 상기 센서부로부터 현재 수신한 센싱 데이터 및 상기 영상획득부로부터 현재 수신한 영상 정보가 나타내는 제스처를 학습 결과에 따라 확인하는 제스처 학습부 및 라벨링된 각 제스처별로 미리 할당되어 매칭된 개인방송의 구동용 제어정보를 확인하고, 상기 제어정보에 따라 상기 개인방송의 구동을 제어하는 방송 제어부를 포함한다.The server defines and labels a plurality of gestures for the body movement of the user based on a plurality of sensing data previously received from the sensor unit and a plurality of image information previously received from the image acquisition unit, and the plurality of The gesture defined based on the sensing data and the image information of the learner is learned a number of times through deep learning technology, and then the gesture data currently received from the sensor unit and the gesture indicated by the image information currently received from the image acquisition unit are learned. It includes a gesture learning unit that checks according to each, and a broadcast control unit that checks control information for driving personal broadcasts that are pre-allocated and matched for each labeled gesture, and controls the driving of the personal broadcast according to the control information.

상기 센서부로부터 수신한 센싱 데이터, 상기 영상획득부로부터 수신한 영상 정보, 상기 센싱 데이터와 영상 정보에 기초하여 정의된 제스처 정보 및 각 제스처별로 미리 할당되어 매칭되는 개인방송의 구동용 제어정보를 각각 저장하는 데이터베이스를 더 포함할 수 있다.Sensing data received from the sensor unit, image information received from the image acquisition unit, gesture information defined on the basis of the sensing data and image information, and control information for driving personal broadcasts that are pre-allocated and matched for each gesture, respectively. It may further include a database to store.

이와 같이, 본 발명에 의한 사용자 제스처를 이용한 개인방송 제어 시스템은 개인방송을 진행 중인 사용자의 신체 일부에 대한 움직임을 센싱하여 사용자의 제스처를 정의한 후 학습하고, 이후 인식한 사용자의 제스처로부터 개인방송의 구동을 용이하게 제어할 수 있다.As described above, the personal broadcast control system using the user gesture according to the present invention defines and learns the user's gesture by sensing the movement of the user's body part in the middle of personal broadcasting, and then learns the personal broadcast from the recognized user's gesture. Driving can be easily controlled.

또한, 본 발명에 의한 사용자 제스처를 이용한 개인방송 제어 시스템은 사용자의 신체 일부에 대한 움직임을 센싱하여 획득한 센싱 데이터를 딥러닝 기술에 적용하여 학습하는 과정에서 각 신경망의 레이어 마다 각기 다른 활성화 함수를 적용하여, 적용하는 함수마다 달라지는 비선형적 특성을 보완함으로써, 제스처 학습 효율을 더욱 향상시킬 수 있다. In addition, the personal broadcast control system using a user gesture according to the present invention applies a different activation function to each layer of a neural network in the course of learning by applying sensing data obtained by sensing a motion of a user's body part to a deep learning technology. By applying and compensating for the non-linear characteristics that are different for each applied function, the gesture learning efficiency can be further improved.

더불어, 본 발명에 의한 사용자 제스처를 이용한 개인방송 제어 시스템은 다양한 연령층의 사용자가 제스처만을 이용하여 개인방송을 제작할 수 있으므로, 콘텐츠 제작의 진입 장벽이 낮아져 미디어 산업이 더욱 크게 발전할 수 있다.In addition, the personal broadcast control system using a user gesture according to the present invention can create a personal broadcast using only gestures by users of various age groups, so the entry barrier of content production is lowered, and the media industry can further develop.

도 1은 본 발명의 일 실시 예에 따른 사용자 제스처를 이용한 개인방송 제어 시스템을 나타낸 개략도이다.
도 2는 사용자의 제스처 학습을 수행하는 과정을 나타낸 도면이다.
도 3은 사용자의 제스처별 할당된 개인방송의 구동용 제어정보를 나타낸 도면이다. 1 is a schematic diagram showing a personal broadcast control system using a user gesture according to an embodiment of the present invention.
2 is a diagram illustrating a process of performing a gesture learning of a user.
3 is a diagram showing control information for driving personal broadcasts allocated for each gesture of a user.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시 예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.Hereinafter, preferred embodiments in which a person having ordinary knowledge in the art to which the present invention pertains can easily implement the present invention will be described in detail with reference to the accompanying drawings. However, these examples are intended to illustrate the present invention in more detail, and it will be apparent to those skilled in the art that the scope of the present invention is not limited thereby.

본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명 시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The configuration of the invention for clarifying the solution to the problem to be solved by the present invention will be described in detail with reference to the accompanying drawings based on preferred embodiments of the present invention, but the same is used in assigning reference numbers to components of the drawings. The same reference numbers are assigned to the components even though they are on other drawings, and it is revealed in advance that components of other drawings may be cited when necessary for the description of the drawings. However, this is not intended to limit the present invention to a specific disclosure form, and it should be understood as including all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.In addition, in the detailed description of the operation principle of the preferred embodiment of the present invention, if it is determined that a detailed description of known functions or configurations related to the present invention and other matters may unnecessarily obscure the subject matter of the present invention, The detailed description is omitted.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, throughout the specification, when a part is said to be'connected' to another part, it is not only'directly connected', but also'indirectly connected' with another element in between. Includes. In addition, "including" a component means that other components may be included, not excluded, unless otherwise stated.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Further, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from other components. For example, the first component may be referred to as the second component without departing from the scope of the present invention, and similarly, the second component may also be referred to as the first component.

본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprises" or "have" are intended to indicate that a feature, number, step, action, component, part, or combination thereof is implemented, one or more other features or numbers. It should be understood that it does not preclude the presence or addition possibilities of, steps, actions, components, parts or combinations thereof.

특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless specifically defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms, such as those defined in the commonly used dictionary, should be interpreted as meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. .

최근 들어, 유튜브나 인스타그램과 같은 SNS의 유행으로 인하여, 남녀노소와 상관없이 다양한 연령층의 사람들이 자신만의 개인방송을 만들어 콘텐츠를 직접 제작하고, 이와 같이 제작한 콘텐츠를 SNS를 통해 다른 사용자들과 손쉽게 공유하고 있다. Recently, due to the popularity of SNS such as YouTube and Instagram, people of various ages, regardless of age or gender, create their own personal broadcasts to create their own content, and other users through the SNS Easy sharing with others.

이에 따라, 본 발명은 개인방송을 직접 촬영하고 제작하는 사용자가 방송 중에 발생하는 특정 제스처를 학습하고, 이후 학습한 결과에 따라 인식한 사용자의 제스처를 인식해 현재 진행 중인 개인방송을 용이하게 제어할 수 있는 사용자 제스처를 이용한 개인방송 제어 시스템에 관한 것이다. Accordingly, according to the present invention, a user who directly photographs and manufactures a personal broadcast learns a specific gesture occurring during broadcast, and then easily recognizes the gesture of the recognized user according to the learned result to easily control the current personal broadcast. It relates to a personal broadcast control system using a user gesture that can.

이하에서는 도 1을 참조하여 본 발명의 일 실시 예에 따른 사용자 제스처를 이용한 개인방송 제어 시스템에 대하여 보다 자세히 살펴보도록 한다.Hereinafter, a personal broadcasting control system using a user gesture according to an embodiment of the present invention will be described in more detail with reference to FIG. 1.

도 1은 본 발명의 일 실시 예에 따른 사용자 제스처를 이용한 개인방송 제어 시스템을 나타낸 개략도이다.1 is a schematic diagram showing a personal broadcast control system using a user gesture according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 사용자 제스처를 이용한 개인방송 제어 시스템(100)은 센서부(120), 영상획득부(140) 및 서버(160)를 포함한다.As shown in FIG. 1, the personal broadcast control system 100 using the user gesture of the present invention includes a sensor unit 120, an image acquisition unit 140, and a server 160.

센서부(120)는 개인방송을 진행 중인 사용자의 신체 일부(예를 들면, 사용자의 손목, 다리, 손가락 등)에 복수 개의 센서가 부착되고, 상기 센서가 부착된 상기 사용자의 신체 일부가 움직이면, 상기 복수 개의 센서가 각속도 및 가속도 정보를 포함하는 센싱 데이터를 생성한다. 이때, 상기 센서부(120)는 복수 개의 자이로 센서 및 가속도 센서를 포함하여 이루어지며, 복수 개의 센서로부터 각각 생성된 센싱 데이터를 IoT(Internet of Things) 네트워크를 통해 라우터(R) 및 서버(160)로 전송할 수 있다. The sensor unit 120 is a plurality of sensors attached to the body part of the user (for example, the user's wrist, leg, finger, etc.) in the process of personal broadcasting, and the body part of the user to which the sensor is attached moves, The plurality of sensors generates sensing data including angular velocity and acceleration information. At this time, the sensor unit 120 is composed of a plurality of gyro sensors and an acceleration sensor, and the sensing data generated from the plurality of sensors is respectively a router (R) and a server 160 through an Internet of Things (IoT) network. Can be transferred to.

예를 들어, 상기 센서부(120)가 사용자의 신체 일부에 부착된 센서로부터 초당 10 샘플링 속도로 센싱 데이터를 수집하여 Bluetooth BLE와 같은 IoT(Internet of Things) 네트워크를 통해 라우터(R)로 전송하고, 이어서 상기 라우터(R)는 상기 센서부(120)로부터 수신한 센싱 데이터를 클라우드 서버(160)로 전송한다. 상기 서버(160)가 수신한 센싱 데이터를 데이터베이스에 저장하여 데이터 분석을 위한 프레임 워크를 구성할 수 있다. For example, the sensor unit 120 collects sensing data at a sampling rate of 10 per second from a sensor attached to a user's body part and transmits it to a router R through an Internet of Things (IoT) network such as Bluetooth BLE. Subsequently, the router R transmits the sensing data received from the sensor unit 120 to the cloud server 160. The sensing data received by the server 160 may be stored in a database to configure a framework for data analysis.

영상획득부(140)는 개인방송을 진행 중인 사용자의 모습을 촬영하여, 복수 개의 센서가 부착된 상기 사용자의 신체 일부를 포함하는 영상 정보를 생성한다. 이때, 상기 영상획득부(140)는 카메라와 같은 영상 촬영장치와, 생성된 영상 정보에 대한 일부 메타 데이터를 제어하기 위한 마이크로프로세서와 같은 제어장치를 포함할 수 있다. 이때, 이러한 영상획득부(140)는 IoT 네트워크를 통해 연결된 라우터(R)로부터 시간 정보를 수신하고, 상기 영상 정보의 메타 데이터 중에서 타임 스탬프 정보를 상기 라우터(R)의 시간 정보와 동기화시킨 후, 상기 영상 정보와, 상기 영상 정보에 대한 메타 데이터를 상기 서버(160)로 전송할 수 있다. 즉, 신체 일부에 센서를 부착한 상태에서 개인방송을 진행 중이던 사용자를 촬영하고, 이때 생성된 영상 정보의 타임 스탬프 정보와 라우터(R)의 시간 정보를 서로 동기화시킴에 따라, 상기 센싱 데이터를 상기 영상 정보에 포함된 동작과 정확하게 일치시킬 수 있다. 따라서, 사용자의 제스처를 보다 정확하게 인식할 수 있다.The image acquisition unit 140 photographs the appearance of a user who is in the process of personal broadcasting, and generates image information including a part of the user's body to which a plurality of sensors are attached. At this time, the image acquisition unit 140 may include a video capture device such as a camera, and a control device such as a microprocessor for controlling some metadata about the generated video information. At this time, the image acquisition unit 140 receives the time information from the router (R) connected through the IoT network, and after synchronizing the time stamp information from the metadata of the image information with the time information of the router (R), The video information and meta data about the video information may be transmitted to the server 160. That is, as the sensor is attached to the body part, the user who was in the process of personal broadcasting is photographed, and the time stamp information of the generated video information and the time information of the router R are synchronized with each other, so that the sensing data is recalled. It is possible to accurately match the operation included in the image information. Therefore, the user's gesture can be recognized more accurately.

서버(160)는 상기 센서부(120)로부터 상기 센싱 데이터와 상기 영상획득부(140)로부터 상기 영상 정보를 각각 수신하고, 이에 기초하여 상기 사용자의 제스처를 확인한 후, 확인된 제스처와 미리 매칭된 제어정보에 따라 개인방송의 구동을 제어한다. 이러한 서버(160)는 클라우드 서버로 이루어질 수 있으며, 제스처 학습부 및 방송 제어부를 포함한다. The server 160 receives the sensing data from the sensor unit 120 and the image information from the image acquisition unit 140, confirms the user's gesture based on this, and matches the identified gesture in advance. Controls the operation of personal broadcasting according to the control information. The server 160 may be formed of a cloud server, and includes a gesture learning unit and a broadcast control unit.

제스처 학습부는 상기 센서부(120)로부터 이전에 수신한 다수의 센싱 데이터와 상기 영상획득부(140)로부터 이전에 수신한 다수의 영상 정보에 기초하여 상기 사용자의 신체 움직임에 대한 다수의 제스처를 정의한 후 라벨링한다. 이어서, 상기 제스처 학습부는 상기 다수의 센싱 데이터 및 영상 정보에 기초하여 정의된 제스처를 딥러닝(Deep learning) 기술을 통해 다수 회 학습하고, 이후 상기 센서부(120)로부터 현재 수신한 센싱 데이터 및 상기 영상획득부(140)로부터 현재 수신한 영상 정보가 나타내는 제스처를 학습 결과에 따라 확인한다.The gesture learning unit defines a plurality of gestures for body movement of the user based on a plurality of sensing data previously received from the sensor unit 120 and a plurality of image information previously received from the image acquisition unit 140. After labeling. Subsequently, the gesture learning unit learns a gesture defined based on the plurality of sensing data and image information multiple times through a deep learning technique, and thereafter the sensing data currently received from the sensor unit 120 and the The gesture indicated by the image information currently received from the image acquisition unit 140 is checked according to the learning result.

이하에서는 도 2를 참조하여, 센싱 데이터 및 영상 정보를 이용하여 사용자의 제스처를 학습하는 과정에 대하여 보다 자세히 살펴보도록 한다. Hereinafter, a process of learning a user's gesture using sensing data and image information will be described in more detail with reference to FIG. 2.

도 2에 도시된 바와 같이, 서버(160)의 제스처 학습부에서 구현되는 인공 신경망은 총 512개의 노드(node)로 6층으로 이루어지고, 센싱 데이터 내 각속도 정보와 가속도 정보에 대해 각각 x, y, z 스칼라 값을 6개 입력받아 학습하고, 이와 같이, 학습된 인공 신경망은 이후 각속도 정보와 가속도 정보가 입력되면, 상태를 분류하여 제스처를 인식한다. As shown in FIG. 2, the artificial neural network implemented in the gesture learning unit of the server 160 is composed of six layers of 512 nodes in total, and x and y for angular velocity information and acceleration information in sensing data, respectively. , z receives 6 scalar values and learns them. As such, when the angular velocity information and acceleration information are input, the learned artificial neural network recognizes gestures by classifying states.

특히, 본 발명에서는 인공 신경망의 각 레이어마다 서로 다른 종류의 활성화 함수를 사용하여 각 노드의 임계값을 결정한다. 즉, ReLU 및 Sigmoid를 반복하여 활성화 함수에 적용하여, 각 함수마다 각각 다른 비선형적 입력에 대해서도 학습 및 인식이 가능하도록 할 수 있다. In particular, in the present invention, a threshold value of each node is determined using different types of activation functions for each layer of the artificial neural network. That is, ReLU and Sigmoid may be repeatedly applied to the activation function, so that learning and recognition of different nonlinear inputs for each function may be possible.

또한, 본 발명의 서버(160) 내 방송 제어부는 앞서 제스처 학습부를 통해 정의하고, 라벨링된 각 제스처별로 미리 할당되어 매칭된 개인방송의 구동용 제어정보를 확인하고, 상기 제어정보에 따라 상기 개인방송의 구동을 제어한다.In addition, the broadcast control unit in the server 160 of the present invention is previously defined through the gesture learning unit, checks control information for driving the matched personal broadcast by being pre-allocated for each labeled gesture, and the personal broadcast according to the control information To control the drive.

예를 들어, 도 3을 참조하면, 제스처 학습부를 통해 정의된 각 제스처에 대해 1 내지 5로 라벨링될 수 있다. For example, referring to FIG. 3, it may be labeled 1 to 5 for each gesture defined through the gesture learning unit.

만약, 사용자의 오른손을 들어올리는 제스처를 제1 제스처로 정의하여 라벨링한 경우, 상기 제1 제스처에 할당되어 매칭되는 개인방송 구동용 제어 정보가 데이터베이스에 기저장될 수 있다. 만약, 상기 제1 제스처에 할당되어 매칭된 개인방송 구동용 제어정보가 방송 시작을 나타낼 수 있고, 사용자의 오른손을 흔드는 제2 제스처에 할당되어 매칭된 개인방송 구동용 제어정보가 방송 종료를 나타낼 수 있다. 또한, 사용자가 박수치는 제3 제스처에 할당되어 매칭된 개인방송 구동용 제어정보가 음향 효과를 추가하는 것을 나타낼 수 있고, 사용자가 양 손을 엇갈려 가슴에서 교차하는 제4 제스처에 할당되어 매칭된 개인방송 구동용 제어정보가 방송의 일시 중지를 나타낼 수 있으며, 사용자가 오른손을 하부에서 스윙하는 제5 제스처에 할당되어 매칭된 개인방송 구동용 제어정보가 현재 촬영 중인 카메라를 변경하는 것을 나타낼 수 있다. If the gesture for raising the user's right hand is defined and labeled as the first gesture, control information for driving the personal broadcast assigned to the first gesture and matched may be pre-stored in the database. If, the control information for driving the personal broadcast matched to the first gesture may indicate the start of broadcast, and the control information for driving the personal broadcast matched to the second gesture to shake the user's right hand may indicate the end of broadcast. have. In addition, the applause by the user is assigned to the third gesture, and the matched personal broadcast driving control information may indicate that a sound effect is added, and the user is assigned to the matched fourth gesture that is crossed at the chest with both hands crossed. The broadcast driving control information may indicate the pause of the broadcast, and the user may be assigned to the fifth gesture swinging the right hand from the bottom to indicate that the matched personal broadcast driving control information changes the camera currently being photographed.

결과적으로, 본 발명은 개인방송을 진행하는 사용자의 제스처를 인식하여, 인식한 제스처에 할당된 개인방송 구동용 제어를 진행할 수 있다. 만약, 상기 개인 방송이 실시간으로 다른 SNS 사용자 단말로 전송되는 경우에, 개인 방송을 진행하는 사용자가 행동한 제스처에 할당된 제어 내용이 현재 진행 중인 개인 방송에 반영될 수 있다. 즉, 사용자가 다수의 SNS 사용자로부터 현재 촬영 중인 카메라 상태가 정상적이지 않다는 의견을 수신하면, 오른손을 하부에서 스윙하는 제스처를 수행하고, 본 발명의 사용자 제스처를 이용한 개인방송 제어 시스템이 상기 제스처를 인식하고, 이에 할당된 제어 내용인 촬영 카메라를 변경한다. 즉, 사용자와 개인 방송 콘텐츠를 공유하는 다른 사용자간의 빠른 상호 피드백이 반영될 수 있다. As a result, the present invention can recognize the gesture of the user who is performing the personal broadcast, and proceed to the control for driving the personal broadcast assigned to the recognized gesture. If the personal broadcast is transmitted in real time to another SNS user terminal, the control content assigned to the gesture acted by the user who proceeds with the personal broadcast may be reflected in the current personal broadcast. That is, when the user receives an opinion that the status of the camera being photographed is not normal from a plurality of SNS users, a gesture for swinging the right hand from the bottom is performed, and the personal broadcast control system using the user gesture of the present invention recognizes the gesture Then, the photographing camera, which is the control content assigned to it, is changed. That is, quick mutual feedback between a user and another user sharing personal broadcast content may be reflected.

뿐만 아니라, 사용자가 현재 촬영 중인 개인 방송이 실시간 방송이 아니더라도 촬영 이후의 편집 과정에서 해야 할 작업들을 사용자의 제스처를 통해 신속하게 처리할 수 있다. 특히, 사용자의 제스처가 인식되는 타이밍에 맞춰 인식된 제스처에 할당된 개인 방송의 구동이 이루어짐으로써, 구동 제어의 정확성을 더욱 향상시킬 수 있다. In addition, even if the personal broadcast currently being photographed is not a real-time broadcast, tasks to be performed in the editing process after shooting can be quickly processed through a user's gesture. In particular, by driving the personal broadcast allocated to the recognized gesture according to the timing at which the user's gesture is recognized, the accuracy of the driving control can be further improved.

또한, 본 발명의 사용자 제스처를 이용한 개인방송 제어 시스템(100)은 상술한 센서부(120), 영상획득부(140), 서버(160)에 더하여, 데이터베이스(180)를 더 포함할 수 있다.In addition, the personal broadcasting control system 100 using the user gesture of the present invention may further include a database 180 in addition to the above-described sensor unit 120, image acquisition unit 140, and server 160.

데이터베이스(180)는 상기 센서부(120)로부터 수신한 센싱 데이터, 상기 영상획득부(140)로부터 수신한 영상 정보, 상기 센싱 데이터와 영상 정보에 기초하여 정의된 제스처 정보 및 각 제스처별로 미리 할당되어 매칭되는 개인방송의 구동용 제어정보를 각각 저장한다. 이때, 상기 센싱 데이터를 나타내는 각속도 정보의 x, y, z 스칼라 값과, 가속도 정보의 x, y, z 스칼라 값이 상기 데이터베이스(180)에 저장된다. 또한, 상기 영상 정보는 신체의 일부에 센서가 부착된 사용자의 모습을 촬영한 정보로서 상기 영상 정보와 함께, 상기 영상 정보가 생성될 당시의 메타 데이터 또한 함께 상기 데이터베이스(180)에 저장될 수 있다. The database 180 is previously allocated for each gesture and gesture information defined based on the sensing data received from the sensor unit 120, the image information received from the image acquisition unit 140, and the sensing data and image information. The matching control information for driving personal broadcasts is stored. At this time, the x, y, and z scalar values of the angular velocity information representing the sensing data and the x, y, and z scalar values of the acceleration information are stored in the database 180. In addition, the image information is information obtained by photographing the appearance of a user with a sensor attached to a part of the body, along with the image information, metadata at the time when the image information is generated may also be stored in the database 180. .

이와 같이, 본 발명에 의한 사용자 제스처를 이용한 개인방송 제어 시스템은 개인방송을 진행 중인 사용자의 신체 일부에 대한 움직임을 센싱하여 사용자의 제스처를 정의한 후 학습하고, 이후 인식한 사용자의 제스처로부터 개인방송의 구동을 용이하게 제어할 수 있다.As described above, the personal broadcast control system using the user gesture according to the present invention defines and learns the user's gesture by sensing the movement of the user's body part in the middle of personal broadcasting, and then learns the personal broadcast from the recognized user's gesture. Driving can be easily controlled.

또한, 본 발명에 의한 사용자 제스처를 이용한 개인방송 제어 시스템은 사용자의 신체 일부에 대한 움직임을 센싱하여 획득한 센싱 데이터를 딥러닝 기술에 적용하여 학습하는 과정에서 각 신경망의 레이어 마다 각기 다른 활성화 함수를 적용하여, 적용하는 함수마다 달라지는 비선형적 특성을 보완함으로써, 제스처 학습 효율을 더욱 향상시킬 수 있다. In addition, the personal broadcast control system using a user gesture according to the present invention applies a different activation function to each layer of a neural network in the course of learning by applying sensing data obtained by sensing a motion of a user's body part to a deep learning technology. By applying and compensating for the non-linear characteristics that are different for each applied function, the gesture learning efficiency can be further improved.

더불어, 본 발명에 의한 사용자 제스처를 이용한 개인방송 제어 시스템은 다양한 연령층의 사용자가 제스처만을 이용하여 개인방송을 제작할 수 있으므로, 콘텐츠 제작의 진입 장벽이 낮아져 미디어 산업이 더욱 크게 발전할 수 있다.In addition, the personal broadcast control system using a user gesture according to the present invention can create a personal broadcast using only gestures by users of various age groups, so the entry barrier of content production is lowered, and the media industry can further develop.

상기한 본 발명의 바람직한 실시 예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.The above-described preferred embodiments of the present invention are disclosed for the purpose of illustration, and those skilled in the art will appreciate various modifications, changes, and additions within the spirit and scope of the present invention. The addition should be considered to fall within the scope of the following claims.

120: 센서부 140: 영상획득부
R: 라우터 160: 서버
180: 데이터베이스 120: sensor unit 140: image acquisition unit
R: Router 160: Server
180: database

Claims (5)

개인방송을 진행 중인 사용자의 신체 일부에 복수 개의 센서가 부착되고, 상기 사용자의 신체 일부가 움직이면, 상기 복수 개의 센서가 각속도 및 가속도 정보를 포함하는 센싱 데이터를 생성하는 센서부;
상기 사용자를 촬영하여, 상기 복수 개의 센서가 부착된 상기 사용자의 신체 일부가 포함되는 영상 정보를 생성하는 영상획득부;
상기 센서부로부터 상기 센싱 데이터와 상기 영상획득부로부터 상기 영상 정보를 각각 수신하고, 이에 기초하여 상기 사용자의 제스처를 확인한 후, 확인된 제스처와 미리 매칭된 제어정보에 따라 상기 개인방송의 구동을 제어하는 서버; 및
상기 센서부로부터 수신한 센싱 데이터, 상기 영상획득부로부터 수신한 영상 정보, 상기 영상 정보의 메타 데이터, 상기 센싱 데이터와 영상 정보에 기초하여 정의된 제스처 정보 및 각 제스처별로 미리 할당되어 매칭되는 개인방송의 구동용 제어정보를 각각 저장하는 데이터베이스;
를 포함하고,
상기 서버는
상기 센서부로부터 이전에 수신한 다수의 센싱 데이터와 상기 영상획득부로부터 이전에 수신한 다수의 영상 정보에 기초하여 상기 사용자의 신체 움직임에 대한 다수의 제스처를 정의한 후 라벨링하고, 상기 다수의 센싱 데이터 및 영상 정보에 기초하여 정의된 제스처를 딥러닝 기술을 통해 다수 회 학습하고, 이후 상기 센서부로부터 현재 수신한 센싱 데이터 및 상기 영상획득부로부터 현재 수신한 영상 정보가 나타내는 제스처를 학습 결과에 따라 확인하는 제스처 학습부; 및
라벨링된 각 제스처별로 미리 할당되어 매칭된 개인방송의 구동용 제어정보를 확인하고, 상기 제어정보에 따라 상기 개인방송의 구동을 제어하는 방송 제어부;를 포함하고,
상기 제스처 학습부는
상기 딥러닝 기술에 사용되는 인공 신경망의 각 레이어 마다 서로 다른 종류의 활성화 함수를 적용하는 것을 특징으로 하는 사용자 제스처를 이용한 개인방송 제어 시스템.
A sensor unit to which a plurality of sensors are attached to a body part of a user who is in the process of personal broadcasting, and when the body part of the user moves, the plurality of sensors generate sensing data including angular velocity and acceleration information;
An image acquisition unit that photographs the user and generates image information including a body part of the user to which the plurality of sensors are attached;
After receiving the sensing data from the sensor unit and the image information from the image acquisition unit, and confirming the user's gesture based on this, control the driving of the personal broadcast according to the identified gesture and control information matched in advance. Server to do; And
Sensing data received from the sensor unit, image information received from the image acquisition unit, meta data of the image information, gesture information defined based on the sensing data and image information, and personal broadcasting pre-allocated and matched for each gesture A database for storing control information for driving each;
Including,
The server
Define and label a plurality of gestures for the body movement of the user based on the plurality of sensing data previously received from the sensor unit and the plurality of image information previously received from the image acquisition unit, and label the plurality of sensing data And learning a gesture defined based on the image information a number of times through deep learning technology, and then confirm the sensing data currently received from the sensor unit and the gesture indicated by the image information currently received from the image acquisition unit according to the learning result. Gesture learning unit to do; And
It includes; a broadcast control unit for pre-allocated for each labeled gesture to check the matching control information for driving the personal broadcast, and controlling the driving of the personal broadcast according to the control information
The gesture learning unit
A personal broadcast control system using a user gesture, characterized in that different types of activation functions are applied to each layer of the artificial neural network used in the deep learning technology.
제1항에 있어서,
상기 센서부는
상기 복수 개의 센서로부터 생성된 센싱 데이터를 IoT(Internet of Things) 네트워크를 통해 라우터 및 서버로 전송하는 것을 특징으로 하는 사용자 제스처를 이용한 개인방송 제어 시스템.
According to claim 1,
The sensor unit
Personal broadcast control system using a user gesture, characterized in that for transmitting the sensing data generated from the plurality of sensors to the router and the server through the Internet of Things (IoT) network.
제2항에 있어서,
상기 영상획득부는
상기 영상 정보의 타임 스탬프 정보를 상기 라우터의 시간 정보와 동기화시킨 후, 상기 영상 정보를 상기 서버로 전송하는 것을 특징으로 하는 사용자 제스처를 이용한 개인방송 제어 시스템.
According to claim 2,
The image acquisition unit
After synchronizing the time stamp information of the video information with the time information of the router, the personal broadcast control system using a user gesture, characterized in that for transmitting the video information to the server.
삭제delete 삭제delete
KR1020190010846A 2019-01-29 2019-01-29 Personal broadcasting control system using user gesture KR102125640B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190010846A KR102125640B1 (en) 2019-01-29 2019-01-29 Personal broadcasting control system using user gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190010846A KR102125640B1 (en) 2019-01-29 2019-01-29 Personal broadcasting control system using user gesture

Publications (1)

Publication Number Publication Date
KR102125640B1 true KR102125640B1 (en) 2020-06-22

Family

ID=71142244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010846A KR102125640B1 (en) 2019-01-29 2019-01-29 Personal broadcasting control system using user gesture

Country Status (1)

Country Link
KR (1) KR102125640B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102290505B1 (en) * 2020-07-15 2021-08-13 이영훈 Method for automatically controlling smart tv based on deep learning
KR102318394B1 (en) * 2020-08-06 2021-10-27 주식회사 더발라 playing back section moving apparatus using learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763441B1 (en) * 2006-09-30 2007-10-04 광주과학기술원 Synchronized multiplexing method, device therefor, demultiplexing method and device therefor
JP2017126935A (en) * 2016-01-15 2017-07-20 ソニー株式会社 Information processing apparatus, information processing system, and information processing method and program
KR101868520B1 (en) 2012-01-06 2018-06-19 한국전자통신연구원 Method for hand-gesture recognition and apparatus thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100763441B1 (en) * 2006-09-30 2007-10-04 광주과학기술원 Synchronized multiplexing method, device therefor, demultiplexing method and device therefor
KR101868520B1 (en) 2012-01-06 2018-06-19 한국전자통신연구원 Method for hand-gesture recognition and apparatus thereof
JP2017126935A (en) * 2016-01-15 2017-07-20 ソニー株式会社 Information processing apparatus, information processing system, and information processing method and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102290505B1 (en) * 2020-07-15 2021-08-13 이영훈 Method for automatically controlling smart tv based on deep learning
KR102290510B1 (en) * 2020-07-15 2021-08-13 이영훈 Method for automatically controlling smart tv based on deep learning
KR102318394B1 (en) * 2020-08-06 2021-10-27 주식회사 더발라 playing back section moving apparatus using learning

Similar Documents

Publication Publication Date Title
Ginosar et al. Learning individual styles of conversational gesture
JP7254772B2 (en) Methods and devices for robot interaction
US20160088286A1 (en) Method and system for an automatic sensing, analysis, composition and direction of a 3d space, scene, object, and equipment
Florence et al. Emotional detection and music recommendation system based on user facial expression
JP5706340B2 (en) Method for controlling media by face detection and hot spot movement
KR102125640B1 (en) Personal broadcasting control system using user gesture
CN108983979B (en) Gesture tracking recognition method and device and intelligent equipment
KR20210023680A (en) Content creation in augmented reality environment
Hrytsyk et al. Augmented reality for people with disabilities
JP2022534708A (en) A Multimodal Model for Dynamically Reacting Virtual Characters
CN107066081B (en) Interactive control method and device of virtual reality system and virtual reality equipment
CN112527113A (en) Method and apparatus for training gesture recognition and gesture recognition network, medium, and device
CN107210001A (en) Use the autonomous learning systems of video segment
Niewiadomski et al. Human and virtual agent expressive gesture quality analysis and synthesis
Parasar et al. Music recommendation system based on emotion detection
Castellano et al. Multimodal affect recognition for naturalistic human-computer and human-robot interactions
Wagner et al. Real-time sensing of affect and social signals in a multimodal framework: a practical approach
Bennett et al. MotionSynthesis Toolset (MoST): an open source tool and data set for human motion data synthesis and validation
Varni et al. Emotional entrainment in music performance
KR102212035B1 (en) System and method for providing a remote education service based on gesture recognition
Smith et al. Effects of deep neural networks on the perceived creative autonomy of a generative musical system
Guillén et al. Affective robots: Evaluation of automatic emotion recognition approaches on a humanoid robot towards emotionally intelligent machines
Hao et al. EvIs-Kitchen: Egocentric Human Activities Recognition with Video and Inertial Sensor data
Kumra et al. Dual flexible 7 dof arm robot learns like a child to dance using q-learning
CN111782858A (en) Music matching method and device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant