KR102013367B1 - System for providing touch interaction of virtual space - Google Patents
System for providing touch interaction of virtual space Download PDFInfo
- Publication number
- KR102013367B1 KR102013367B1 KR1020170097395A KR20170097395A KR102013367B1 KR 102013367 B1 KR102013367 B1 KR 102013367B1 KR 1020170097395 A KR1020170097395 A KR 1020170097395A KR 20170097395 A KR20170097395 A KR 20170097395A KR 102013367 B1 KR102013367 B1 KR 102013367B1
- Authority
- KR
- South Korea
- Prior art keywords
- dynamic object
- kinect camera
- dynamic
- present
- control system
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G06K9/00342—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Abstract
본 발명은 참여자가 인터렉션 가능하게 구현되는 실감체험공간 시스템에 있어, 참여자의 위치에 따라 가상공간상의 터치 인식 방식을 달리 설정하여, 참여자의 위치에 관계없이 정확한 인터렉션을 구현하도록 하는 발명에 관한 것으로, 본 발명은 체험공간 내에 위치한 동적 오브젝트를 인식하기 위해, 상기 체험공간을 향해 설치되는 키넥트카메라와; 상기 키넥트카메라로부터 인식된 동적 오브젝트의 위치 및 형태를 통해 상기 동적 오브젝트의 입력명령을 인식하는 제어시스템을 포함하여 구성되고: 상기 제어시스템은, 상기 키넥트카메라로부터 촬영된 촬영정보로부터, 상기 동적 오브젝트의 기 설정된 부분의 위치에 따라 사용자 명령의 입력 여부를 판별한다. 이와 같은 본 발명에 의하면, 본 발명은 참여자의 참여 공간 내 위치나 인접한 구조물에 관계없이, 사용자의 가상공간 내의 터치 인식을 정확히 인식할 수 있는 효과가 있다.The present invention relates to an invention in which a participant can interact in a realistic experience space system, by setting a touch recognition method in a virtual space differently according to a participant's location, to implement accurate interaction regardless of the participant's location. The present invention includes a Kinect camera installed toward the experience space to recognize a dynamic object located in the experience space; And a control system for recognizing an input command of the dynamic object through the position and shape of the dynamic object recognized from the Kinect camera: wherein the control system is configured to generate the dynamic information from the photographing information captured by the Kinect camera. It determines whether the user command is input based on the position of the preset part of the object. According to the present invention as described above, the present invention has the effect of accurately recognizing the touch recognition in the virtual space of the user, regardless of the location of the participant's participation space or the adjacent structure.
Description
본 발명은 참여자가 인터렉션 가능하게 구현되는 실감체험공간 시스템에 있어, 참여자의 위치에 따라 가상공간상의 터치 인식 방식을 달리 설정하여, 참여자의 위치에 관계없이 정확한 인터렉션을 구현하도록 하는 발명에 관한 것으로, 2015년도 서울시 산학연 협력사업 기업성장기술개발 지원사업 중 '인터렉티브 실감미디어 기술융합 과학학습 체험관 서비스개발' 과제를 수행함에 있어 산출된 결과물에 대한 발명이다.The present invention relates to an invention in which a participant can interact in a realistic experience space system, by setting a touch recognition method in a virtual space differently according to a participant's location, to implement accurate interaction regardless of the participant's location. It is an invention about the result that is produced in performing the 'Interactive Realistic Media Technology Convergence Science Learning Experience Center Service Development' project of 2015 Industry-University-Academic Cooperation Project for Corporate Growth Technology Development.
근래에 멀티미디어 환경의 급속한 발달에 따라, 가상공간의 영상을 사용자에게 제공하는 기술은 이미 널리 보급된 바 있다.In recent years, with the rapid development of the multimedia environment, a technology for providing a user with an image of a virtual space has been widely spread.
이에 최근에는 제공되는 가상공간에 참여자가 직접 참여하여, 가상공간의 콘텐츠와 서로 인터렉션하는 기술이 개발되고 있다.Recently, a participant directly participates in the provided virtual space, and a technology for interacting with the contents of the virtual space has been developed.
이에 따라, 상기 가상공간은 사용자가 참여할 수 있는 물리적인 공간이 마련되고, 상기 물리적인 공간의 벽면은 콘텐츠를 출력할 수 있도록 구현되어, 상기 공간상에 콘텐츠를 출력하고, 사용자는 해당 공간에 참여하여 상기 콘텐츠와 인터렉션하며, 상기 인터렉션의 결과에 따라 재생산된 콘텐츠가 출력된다.Accordingly, the virtual space is provided with a physical space for the user to participate, the wall of the physical space is implemented to output the content, output the content on the space, the user participates in the space And interact with the content, and the reproduced content is output according to the result of the interaction.
이와 같은, 실감형 체험공간을 제공하기 위해서는, 기본적으로 물리적인 입체 공간상에 콘텐츠를 출력하는 기술과, 참여자의 행위를 통한 사용자 명령을 처리하는 기술이 제공되어야 한다.In order to provide such a realistic experience space, a technique for basically outputting content on a physical three-dimensional space and a technique for processing a user command through an action of a participant should be provided.
이때, 참여자 인터렉션을 위한 참여자의 사용자 명령 인식방법 중 하나는 사용자의 액션을 상용화된 키넥트 카메라와 같은 뎁스카메라를 이용하여 참여자의 행동을 인식하여 공간 터치를 통한 사용자 명령 입력 기술이다.At this time, one of the participant's user command recognition method for the participant interaction is a user command input technology through space touch by recognizing the participant's behavior using a depth camera such as a Kinect camera commercialized.
한편, 이와 같은 키넥트 카메라를 이용한 사용자의 명령 입력은, 대한민국 공개특허 제10-2016-0075884호 및 본원 특허의 선행 특허 출원 제10-2016-0104053호 등에 개시된 바 있다.On the other hand, the user's command input using the Kinect camera has been disclosed in the Republic of Korea Patent Publication No. 10-2016-0075884 and the prior patent application No. 10-2016-0104053 of the present patent.
그러나 종래의 뎁스카메라를 이용한 사용자 명령의 입력은, 사용자와 구조물 간의 거리 및 위치관계에 따라 인식오류가 발생되는 문제점이 있었다.However, input of a user command using a conventional depth camera has a problem that a recognition error occurs according to a distance and a positional relationship between a user and a structure.
즉, 종래 기술에서는 사용자가 구조물과 인접한 위치에 있는 경우, 구조물에 의해 사용자의 스켈레톤 인식에 오류율이 현저히 증가하는 문제점이 있었다.That is, in the prior art, when the user is in a position adjacent to the structure, there is a problem that the error rate is significantly increased in the user's skeleton recognition by the structure.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 참여자의 참여 공간 내 위치나 인접한 구조물에 관계없이, 사용자의 가상공간 내의 터치 인식을 정확히 인식할 수 있도록 하는 가상공간상의 사용자 터치 인터렉션 제공 시스템을 제공하고자 하는 것이다.The present invention has been made to solve the above-mentioned conventional problems, the present invention is to be able to accurately recognize the touch recognition in the user's virtual space, regardless of the location of the participant's participation space or adjacent structures. It is to provide a user touch interaction providing system.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은, 체험공간 내에 위치한 동적 오브젝트를 인식하기 위해, 상기 체험공간을 향해 설치되는 키넥트카메라와; 상기 키넥트카메라로부터 인식된 동적 오브젝트의 위치 및 형태를 통해 상기 동적 오브젝트의 입력명령을 인식하는 제어시스템을 포함하여 구성되고: 상기 제어시스템은, 상기 키넥트카메라로부터 촬영된 촬영정보로부터, 상기 동적 오브젝트의 기 설정된 부분의 위치에 따라 사용자 명령의 입력 여부를 판별한다.According to a feature of the present invention for achieving the above object, the present invention, the Kinect camera is installed toward the experience space to recognize the dynamic object located in the experience space; And a control system for recognizing an input command of the dynamic object through the position and shape of the dynamic object recognized from the Kinect camera: wherein the control system is configured to generate the dynamic information from the photographing information captured by the Kinect camera. It determines whether the user command is input based on the position of the preset part of the object.
이때, 상기 제어시스템은, 상기 키넥트카메라의 촬영데이터를 수신받는 통신모듈과; 상기 키넥트카메라로부터 수신된 촬영데이터를 저장하는 데이터베이스; 그리고 상기 수신된 촬영데이터로부터 스켈레톤 데이터를 산출하여, 동적 대상체의 특정 부위의 위치 및 동작을 식별하는 제어모듈을 포함하여 구성될 수도 있다.At this time, the control system, Communication module for receiving the photographing data of the Kinect camera; A database for storing photographing data received from the Kinect camera; And it may be configured to include a control module for calculating the skeleton data from the received photographing data, to identify the position and operation of a specific portion of the dynamic object.
그리고 상기 제어시스템은, 상기 키넥트카메라의 촬영정보를 시계열적으로 누적 판단하여, 동적 오브젝트와 정적 오브젝트를 구분할 수도 있다.The control system may distinguish the dynamic object from the static object by accumulating the photographing information of the Kinect camera in time series.
또한, 상기 동적 오브젝트와 상기 정적 오브젝트의 거리가 기설정된 설정값을 초과하는 경우, 상기 제어시스템은, 상기 키넥트카메라의 촬영정보에 포함된 뎁스정보로부터 스켈레톤 데이터를 생성하고; 상기 스켈레톤 데이터로부터 동적 오브젝트의 형태를 및 동작을 파악할 수도 있다.In addition, when the distance between the dynamic object and the static object exceeds a predetermined setting value, the control system generates skeleton data from depth information included in the photographing information of the Kinect camera; The shape and operation of the dynamic object may be grasped from the skeleton data.
그리고 상기 동적 오브젝트와 상기 정적 오브젝트의 거리가 기설정된 설정값을 이하인 경우, 상기 제어시스템은, 상기 키넥트카메라의 촬영정보에 포함된 뎁스정보로부터 상기 동적 오브젝트의 형태를 및 동작을 파악할 수도 있다.When the distance between the dynamic object and the static object is less than or equal to a preset value, the control system may determine the shape and operation of the dynamic object from depth information included in the photographing information of the Kinect camera.
한편, 상기 제어시스템은, 상기 동적 오브젝트와 상기 정적 오브젝트의 거리가 기설정된 설정값을 이하이고, 상기 동적 오브젝트의 전면이 상기 정적 오브젝트를 향하는 경우, 상기 키넥트카메라의 촬영정보에 포함된 뎁스정보로부터 상기 동적 오브젝트의 형태를 및 동작을 파악할 수도 있다.The control system may further include depth information included in photographing information of the Kinect camera when the distance between the dynamic object and the static object is less than or equal to a preset value, and the front surface of the dynamic object faces the static object. The shape and operation of the dynamic object can also be grasped from.
그리고 상기 동적 오브젝트의 방향은, 누적되어 저장된 동적 오브젝트의 스켈레톤 동작정보의 벡터 방향을 독출하고, 독출된 벡터 방향의 이동량의 평균벡터값을 산출하여, 상기 평균 벡터값에 따라 판별될 수도 있다.The direction of the dynamic object may be determined according to the average vector value by reading the vector direction of the skeleton motion information of the accumulated dynamic object, calculating an average vector value of the movement amount of the read vector direction.
위에서 살핀 바와 같은 본 발명에 의한 가상공간상의 사용자 터치 인터렉션 제공 시스템에서는 다음과 같은 효과를 기대할 수 있다.In the system for providing user touch interaction in the virtual space according to the present invention as described above, the following effects can be expected.
즉, 본 발명에서는 참여자의 참여 공간 내 위치나 인접한 구조물에 관계없이, 사용자의 가상공간 내의 터치 인식을 정확히 인식할 수 있는 효과가 있다.That is, in the present invention, regardless of the location of the participant's participation space or the adjacent structure, the touch recognition in the virtual space of the user can be accurately recognized.
따라서, 본 발명은 스켈레톤 데이터의 처리에 의한 데이터 처리 효율증가라는 장점을 취하면서도, 주변 구조물과의 인식오류라는 단점을 보완할 수 있어, 스켈레톤 데이터 처리의 효율성을 극대화 할 수 있는 효과가 있다. Therefore, the present invention can take advantage of an increase in data processing efficiency by processing skeleton data, and can compensate for a disadvantage of recognition error with surrounding structures, thereby maximizing the efficiency of skeleton data processing.
도 1은 본 발명에 의한 실감체험공간 내 사용자 인터렉션 제공 시스템이 구축된 실 예를 촬영한 도면.
도 2는 본 발명의 구체적인 실시예에 의한 가상공간상의 사용자 터치 인터렉션 제공 시스템의 구성을 도시한 블록도.
도 3은 본 발명의 구체적인 실시예에 의한 가상공간상의 사용자 터치 인터렉션 제공 방법을 도시한 흐름도.
도 4는 본 발명에 적용되는 키넥트카메라의 사용자 인식 형태의 원리를 도시한 예시도.
도 5는 본 발명에 적용되는 스켈레톤 인식의 일 예를 도시한 예시도.
도 6은 본 발명에 적용되는 뎁스 인식의 일예를 도시한 예시도.
도 7은 본 발명에 적용되는 스켈레톤 인식과 뎁스 인식을 서로 비교하여 도시한 예시도.
도 8은 본 발명에 의한 동적 오브젝트의 방향을 판별하는 방법의 일 예를 도시한 예시도.1 is a view showing an example in which a system for providing user interaction in a sensory experience space according to the present invention is constructed;
2 is a block diagram illustrating a configuration of a system for providing user touch interaction in a virtual space according to a specific embodiment of the present invention.
3 is a flowchart illustrating a method for providing user touch interaction in a virtual space according to a specific embodiment of the present invention.
Figure 4 is an exemplary view showing the principle of the user recognition form of the Kinect camera applied to the present invention.
5 is an exemplary diagram showing an example of skeleton recognition applied to the present invention.
6 is an exemplary diagram illustrating an example of depth recognition applied to the present invention.
7 is an exemplary diagram illustrating comparison of skeleton recognition and depth recognition applied to the present invention.
8 is an exemplary view showing an example of a method for determining the direction of a dynamic object according to the present invention.
이하에서는 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 의한 가상공간상의 사용자 터치 인터렉션 제공 시스템을 살펴보기로 한다.Hereinafter, a user touch interaction providing system in a virtual space according to a specific embodiment of the present invention will be described with reference to the accompanying drawings.
설명에 앞서 먼저, 본 발명의 효과, 특징 및 이를 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예에서 명확해진다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Prior to the description, the effects, features and methods of achieving the same of the present invention will be apparent in the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only the embodiments of the present invention make the disclosure of the present invention complete and the general knowledge in the technical field to which the present invention belongs. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present disclosure, when it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present disclosure, the detailed description thereof will be omitted, and the following terms will be omitted. Terms defined in consideration of the function of the may vary depending on the user or operator's intention or custom. Therefore, the definition should be made based on the contents throughout the specification.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.Combinations of each block of the block diagrams and respective steps of the flowcharts may be performed by computer program instructions (executable engines), which may be executed on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment. As such, instructions executed through a processor of a computer or other programmable data processing equipment create means for performing the functions described in each block of the block diagram or in each step of the flowchart.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory. The instructions stored therein may also produce an article of manufacture containing instruction means for performing the functions described in each block of the block diagram or in each step of the flowchart.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.And computer program instructions can also be mounted on a computer or other programmable data processing equipment, such that a series of operating steps can be performed on the computer or other programmable data processing equipment to create a computer-executable process to generate a computer or other programmable data. Instructions for performing data processing equipment may also provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.In addition, each block or step may represent a portion of a module, segment or code that includes one or more executable instructions for executing specific logical functions, and in some alternative embodiments referred to in blocks or steps It is also possible that functions occur out of order.
즉, 도시된 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.That is, the two blocks or steps shown may in fact be executed substantially concurrently, and the blocks or steps may be performed in the reverse order of the corresponding functions as required.
도 1은 본 발명에 의한 실감체험공간 내 사용자 인터렉션 제공 시스템이 구축된 실 예를 촬영한 도면이고, 도 2는 본 발명의 구체적인 실시예에 의한 가상공간상의 사용자 터치 인터렉션 제공 시스템의 구성을 도시한 블록도이다.FIG. 1 is a view showing an example in which a user interaction providing system in a sensory experience space according to the present invention is constructed, and FIG. 2 is a diagram illustrating a configuration of a system for providing user touch interaction in a virtual space according to a specific embodiment of the present invention. It is a block diagram.
먼저, 본 발명에 의한 상공간상의 사용자 터치 인터렉션 제공 시스템은 체험공간(DS)과 상기 체험공간(DS)을 향해 설치되는 키넥트카메라(100), 프로젝터(200), 상기 키넥트카메라(100)와 프로젝터(200)를 제어하는 제어시스템(300)을 포함하여 구성된다.First, the user touch interaction providing system in the upper space according to the present invention is a Kinect camera 100, a projector 200, the Kinect camera 100 installed toward the experience space DS and the experience space DS. And a
상기 체험 공간(DS)은 첨부된 도면에서는 벽체로 구성된 입체 공간을 예로 들어 도시하였으나, 가상 공간을 체험할 수 있는 다양한 현실공간으로 구성될 수 있다.Although the experience space DS is illustrated as an example of a three-dimensional space composed of walls in the accompanying drawings, the experience space DS may be configured of various real spaces in which a virtual space can be experienced.
한편, 상기 체험공간(DS)에 의해 형성된 공간상에는 사용자(체험자)가 위치하여 이동하면서 출력되는 콘텐츠와 인터렉션한다.On the other hand, in the space formed by the experience space (DS), the user (experienced person) is located and interacts with the output content while moving.
이를 위해 상기 체험 공간(DS) 일 측에는 상기 체험 공간(DS)에 콘텐츠를 출력하기 위한 프로젝터(200)와 상기 공간상에 위치한 사용자(체험자)를 인식하고 추적하기 위한 키넥트카메라(100)가 구비된다.To this end, one side of the experience space DS includes a projector 200 for outputting content to the experience space DS and a Kinect camera 100 for recognizing and tracking a user (experienced person) located in the space. do.
상기 프로젝터(200)는 각 프로젝터(200)의 화각에 따른 출력 범위 및 설치위치에 따라 상기 체험 공간(DS) 전체를 커버할 수 있도록 설치 위치와 개수가 설정된다.The projector 200 has an installation position and the number of installation positions of the projector 200 to cover the entire experience space DS according to the output range and the installation position according to the angle of view of each projector 200.
물론, 본 발명은 키넥트카메라(100)에 의해 사용자 입력을 파악하기 위한 것으로, 가상공간의 구현은 개시된 실시예 이외의 다양한 방법에 의해 구현되는 것도 가능하다.Of course, the present invention is to grasp the user input by the Kinect camera 100, the virtual space can be implemented by various methods other than the disclosed embodiment.
즉, 상기 프로젝터(200)의 구성은 선택적으로 적용될 수 있고, 가상 콘텐츠의 제공은 웨어러블 디바이스 등을 통해 사용자에게 제공될 수 있다.That is, the configuration of the projector 200 may be selectively applied, and the provision of the virtual content may be provided to the user through a wearable device.
한편, 상기 키넥트 카메라(100)는 오브젝트(피사체)의 형태 및 거리를 인식하고, 상기 오브젝트의 이동을 감지하는 상용화된 뎁스카메라의 대표적인 예로, 동일한 기능을 수행할 수 있는 다양한 뎁스카메라를 포함하는 의미로 사용된다.Meanwhile, the Kinect camera 100 is a representative example of a commercially available depth camera that recognizes the shape and distance of an object (subject) and detects movement of the object, and includes various depth cameras capable of performing the same function. Used in the sense.
여기서, 상기 키넥트 카메라(100)는 단일 키넥트 카메라로 구성될 수도 있고, 오브젝트의 감지 정확성을 향상시키기 위하여, 다수개의 키넥트카메라(101, 102)들로 구성될 수 있다.Here, the Kinect camera 100 may be configured as a single Kinect camera or may be configured with a plurality of Kinect
한편, 상기 제어시스템(300)은 상기 키넥트카메라(100)의 촬영데이터를 이용하여, 오브젝트를 동적 오브젝트와 정적오브젝트로 구분하고, 상기 동적 오브젝트의 특정 신체부위 위치 및 동작을 감지하여 사용자 명령의 입력여부를 판별한다.Meanwhile, the
이때, 상기 제어시스템의 사용자 명령의 판별방법은 다시 상세히 설명하기로 한다.At this time, the method of determining the user command of the control system will be described in detail again.
이를 위해 상기 제어시스템(300)은 제어모듈(310) 및 데이터베이스(330)를 포함하여 구성된다.For this purpose, the
상기 제어모듈(310)은 상기 키넥트카메라(100)로부터 수신된 오브젝트를 동적 오브젝트와 정적 오브젝트로 구분하는데, 시계열적으로 동적 변화가 있는 오브젝트를 동적 오브젝트로 판별하고, 동적 변화가 없는 오브젝트를 정적 오브젝트로 구분한다.The
그리고 상기 제어모듈(310)은, 기본적으로 상기 키넥트카메라(100)로부터 수신된 촬영데이터를 통해 동적 오브젝트의 스켈레톤 데이터를 산출하여, 상기 스켈레톤 데이터를 통해 상기 동적 오브젝트의 위치 및 동작을 판단한다.The
즉, 상기 제어모듈(310)은 상기 키넥트카메라(100)로부터 수신된 촬영데이터에 포함된 뎁스정보를 이용하여, 상기 동적 오브젝트의 스케레톤 데이터를 생성하고, 생성된 스켈레톤 데이터의 시계열적 변화를 파악하여, 상기 동적 오브젝트의 위치 및 동작을 파악한다.That is, the
이와 같은, 스켈레톤 데이터를 이용한 동작의 파악은, 정확도와 데이터의 처리효율면에서 뛰어난 장점이 있으나, 오브젝트 근처에 다른 오브젝트가 근접하여 위치하는 경우, 오브젝트 간의 교차인식으로 인하여, 인식오류가 쉽게 발생되는 문제점이 있다.Such grasping operation using skeleton data has excellent advantages in terms of accuracy and processing efficiency. However, when another object is located close to an object, recognition errors are easily generated due to cross recognition between the objects. There is a problem.
이에 따라 본 발명에 의한 제어모듈(310)은, 기본적으로 스켈레톤 데이터에 의한 동적 오브젝트의 동작을 인식하다가, 상기 동적 오브젝트가 상기 정적 오브젝트와 설정된 거리 이내에 인접하여 위치하는 경우, 스켈레톤 데이터가 아닌 뎁스정보를 이용하여 상기 동적 오브젝트의 동작을 인식한다.Accordingly, the
한편, 상기 데이터베이스에는 산출된 동적 오브젝트의 동작 및 위치를 시계열적으로 저장한다.On the other hand, the database stores the calculated motion and position of the dynamic object in time series.
이때, 상기 스켈레톤 인식이라 함은 도 4에 도시된 바와 같이, 오브젝트를 관절위치로 구분된 골격으로 인식하는 것을 말한다.In this case, the skeleton recognition refers to recognizing an object as a skeleton divided by joint positions, as shown in FIG. 4.
한편, 본 발명에 의한 제어시스템(300)은 도시되지는 않았으나, 상기 키넥트카메라(100)의 촬영 데이터를 수신하기 위한 통신모듈을 더 포함하여 구성될 수도 있다.Meanwhile, although not shown, the
이하에서는 상기한 바와 같은 본 발명에 의한 가상공간상의 사용자 터치 인터렉션 제공 방법을 첨부된 도면을 참고하여 상세하게 설명한다.Hereinafter, a user touch interaction providing method in a virtual space according to the present invention as described above will be described in detail with reference to the accompanying drawings.
도 3은 본 발명의 구체적인 실시예에 의한 가상공간상의 사용자 터치 인터렉션 제공 방법을 도시한 흐름도이고, 도 4는 본 발명에 적용되는 키넥트카메라의 사용자 인식 형태의 원리를 도시한 예시도이며, 도 5는 본 발명에 적용되는 스켈레톤 인식의 일 예를 도시한 예시도이고, 도 6은 본 발명에 적용되는 뎁스 인식의 일예를 도시한 예시도이며, 도 7은 본 발명에 적용되는 스켈레톤 인식과 뎁스 인식을 서로 비교하여 도시한 예시도이고, 도 8은 본 발명에 의한 동적 오브젝트의 방향을 판별하는 방법의 일 예를 도시한 예시도이다.3 is a flowchart illustrating a method of providing a user touch interaction in a virtual space according to a specific embodiment of the present invention, and FIG. 4 is an exemplary view illustrating a principle of a user recognition form of a Kinect camera applied to the present invention. 5 is an exemplary diagram showing an example of skeleton recognition applied to the present invention, Figure 6 is an exemplary diagram showing an example of depth recognition applied to the present invention, Figure 7 is a skeleton recognition and depth applied to the present invention FIG. 8 is an exemplary diagram showing recognitions compared with each other, and FIG. 8 is an exemplary diagram illustrating an example of a method of determining a direction of a dynamic object according to the present invention.
먼저, 도 3에 도시된 바와 같이, 본 발명에 의한 가상공간상의 사용자 터치 인터렉션 제공 방법은 먼저, 키넥트 카메라로부터 수신된 촬영데이터로부터 오브젝트를 인식한다(S110).First, as shown in FIG. 3, the method for providing user touch interaction in a virtual space according to the present invention first recognizes an object from photographing data received from a Kinect camera (S110).
이때, 상기 키넥트 촬영데이터로 부터 뎁스정보를 수신하고, 상기 뎁스정보로부터 오브젝트의 스켈레톤을 식별한다(S120, S130).At this time, depth information is received from the Kinect photographing data, and a skeleton of the object is identified from the depth information (S120 and S130).
이와 함께, 상기 제어시스템(300)은 오브젝트를 동적 오브젝트와 정적 오브젝트로 구분한다(S140).In addition, the
그리고 설정된 조건에 따라, 상기 제어시스템은 서로 다른 방법에 따라 오브젝트의 동작과 위치를 판별한다.And according to the set condition, the control system determines the operation and position of the object in different ways.
즉, 일반적으로는 동적 오브젝트의 뎁스정보로부터 스켈레톤을 산출하여 인식하고, 상기 스켈레톤 위치에 따라 사용자 명령의 입력여부를 판별한다(S310, S320).That is, in general, the skeleton is calculated and recognized from the depth information of the dynamic object, and whether the user command is input is determined according to the skeleton position (S310 and S320).
상기 스켈레톤에 의한 동적 오브켁트의 인식이라 함은 도 5에 도시된 바와 같이, 동적 오브젝트(사용자)의 각 관절을 구분점으로 하여, 연속된 선형의 조합으로 상기 동적 오브젝트를 단순화시켜 인식하는 것을 말한다.Recognition of the dynamic object by the skeleton means that the dynamic object is simplified and recognized by a combination of continuous linear lines, with each joint of the dynamic object (user) as a break point as shown in FIG. 5. .
그러나 상기 동적 오브젝트와 정적 오브젝트 간의 거리가 설정값 이하로 가까우면서, 상기 동적 오브젝트의 전면이 정적 오브젝트를 향하는 경우(S150, S160), 상기 제어시스템(300)은 동적 오브젝트의 스켈레톤 정보를 이용하여 동적 오브젝트의 위치를 파악하지 않고, 뎁스정보에 따라 동적 오브젝트의 위치를 파악한다.However, when the distance between the dynamic object and the static object is close to the set value or less, when the front of the dynamic object faces the static object (S150, S160), the
즉, 상기 제어시스템(300)은 키넥트카메라로부터 수신되는 동적 오브젝트의 뎁스를 인식하고(S210), 상기 뎁스 정보로부터 상기 동적 오브젝트의 위치를 인식하여, 사용자 명령 입력여부를 판별한다(S220).That is, the
이때, 뎁스정보를 이용하여 동적 오브젝트를 인식한다 함은 도 6에 도시된 바와 같이, 대상체의 원근 거리값에 의해 오브젝트의 위치 및 동작을 인식하는 것을 말한다.At this time, recognizing the dynamic object using the depth information refers to recognizing the position and the motion of the object based on the distance value of the object as shown in FIG. 6.
즉, 도 7과 같이, 동일한 하나의 동적 오브젝트(사용자)를 스켈레톤 데이터를 생성하여 상기 스켈레톤의 송 위치에 따라 사용자 명령 입력 여부를 판별할 수도 있고, 사용자 송위치의 뎁스값에 따라 사용자 명령의 입력 여부를 판별할 수도 있다.That is, as shown in FIG. 7, the same single dynamic object (user) may generate skeleton data to determine whether to input a user command according to the song position of the skeleton, or input the user command according to the depth value of the user song position. You can also determine whether or not.
한편, 상기 동적 오브젝트의 방향은, 데이터 베이스(330)에 누적되어 저장된 동적 오브젝트에 대한 스켈레톤 동작정보의 벡터 방향으로부터 판단될 수 있다.Meanwhile, the direction of the dynamic object may be determined from the vector direction of skeleton motion information of the dynamic object accumulated and stored in the
즉, 상기 데이터베이스(330)로부터 독출된 벡터의 이동량에 대하여 평균벡터값을 산출하여, 상기 평균 벡터값이 향하는 방향에 따라 상기 동적 오브젝트의 방향을 판별할 수 있다.That is, an average vector value may be calculated with respect to the movement amount of the vector read from the
도 8에 도시된 바와 같이, 판단 부위가 팔인 경우, 스켈레톤의 팔부위의 백터 평균을 산출하고, 평균 벡터의 방향이 상기 동적 오브젝트의 전면이 된다.As shown in FIG. 8, when the determination portion is an arm, a vector average of the arm portion of the skeleton is calculated, and the direction of the average vector becomes the front surface of the dynamic object.
반면에 판단 부위가 발인 경우, 스켈레톤의 발 부위의 백터 평균을 산출하고, 평균 벡터의 반대 방향이 상기 동적 오브젝트의 전면이 된다.On the other hand, when the judgment site is the foot, a vector average of the foot site of the skeleton is calculated, and the opposite direction of the average vector becomes the front face of the dynamic object.
물론, 이와 같은 판단 기준은 상기 동적 오브젝트가 인간인 경우에 적용되는 것으로, 상기 판단기준은 상기 동적오브젝트의 종류에 따라 다르게 설정되는 것도 가능하다.Of course, such a criterion is applied when the dynamic object is a human, and the criterion may be set differently according to the type of the dynamic object.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.The rights of the present invention are not limited to the embodiments described above, but are defined by the claims, and those skilled in the art can make various modifications and adaptations within the scope of the claims. It is self-evident.
본 발명은 참여자가 인터렉션 가능하게 구현되는 실감체험공간 시스템에 있어, 참여자의 위치에 따라 가상공간상의 터치 인식 방식을 달리 설정하여, 참여자의 위치에 관계없이 정확한 인터렉션을 구현하도록 하는 발명에 관한 것으로, 본 발명에 의하면, 본 발명은 참여자의 참여 공간 내 위치나 인접한 구조물에 관계없이, 사용자의 가상공간 내의 터치 인식을 정확히 인식할 수 있는 효과가 있다.The present invention relates to an invention in which a participant can interact in a realistic experience space system, by setting a touch recognition method in a virtual space differently according to a participant's location, to implement accurate interaction regardless of the participant's location. According to the present invention, the present invention has the effect of accurately recognizing the touch recognition in the virtual space of the user, regardless of the location of the participant's participation space or the adjacent structure.
100 : 키넥트카메라 200 : 프로젝터
300 : 제어시스템 310 : 제어모듈
330 : 데이터베이스100: Kinect camera 200: projector
300: control system 310: control module
330: Database
Claims (5)
상기 키넥트카메라로부터 인식된 동적 오브젝트의 위치 및 형태를 통해 상기 동적 오브젝트의 입력명령을 인식하는 제어시스템을 포함하여 구성되고:
상기 제어시스템은,
상기 키넥트카메라로부터 촬영된 촬영정보로부터, 상기 동적 오브젝트의 기 설정된 부분의 위치에 따라 사용자 명령의 입력 여부를 판별하고:
상기 제어시스템은,
상기 키넥트카메라의 촬영데이터를 수신받는 통신모듈과;
상기 키넥트카메라로부터 수신된 촬영데이터를 저장하는 데이터베이스; 그리고
상기 수신된 촬영데이터로부터 스켈레톤 데이터를 산출하여, 동적 대상체의 특정 부위의 위치 및 동작을 식별하는 제어모듈을 포함하여 구성되며:
상기 제어시스템은,
상기 키넥트카메라의 촬영정보를 시계열적으로 누적하여 시계열적으로 동적 변화가 있는 오브젝트를 동적 오브젝트로 판별하고, 동적 변화가 없는 오브젝트를 정적 오브젝트로 구분하고;
상기 동적 오브젝트와 상기 정적 오브젝트의 거리가 기설정된 설정값을 초과하는 경우, 상기 키넥트카메라의 촬영정보에 포함된 뎁스정보로부터 스켈레톤 데이터를 생성하고, 상기 스켈레톤 데이터로부터 동적 오브젝트의 형태 및 동작을 파악하며;
상기 동적 오브젝트와 상기 정적 오브젝트의 거리가 기설정된 설정값 이하이면서, 상기 동적 오브젝트의 전면이 정적 오브젝트를 향하는 경우, 상기 키넥트카메라의 촬영정보에 포함된 뎁스정보로부터 상기 동적 오브젝트의 형태 및 동작을 파악하되:
상기 동적 오브젝트의 방향은,
상기 데이터 베이스에 누적되어 저장된 동적 오브젝트의 스켈레톤 동작정보로부터 팔 또는 발 부위의 평균 벡터값이 향하는 방향에 따라 판별됨을 특징으로 하는 가상공간상의 사용자 터치 인터렉션 제공 시스템.
A Kinect camera installed toward the experience space to recognize a dynamic object located in the experience space;
And a control system for recognizing an input command of the dynamic object through the position and shape of the dynamic object recognized from the Kinect camera:
The control system,
Determining whether a user command is input based on a position of a preset portion of the dynamic object from the photographing information photographed by the Kinect camera;
The control system,
A communication module to receive photographing data of the Kinect camera;
A database for storing photographing data received from the Kinect camera; And
Comprising a control module for calculating the skeleton data from the received photographing data, to identify the position and motion of a specific portion of the dynamic object:
The control system,
Accumulating the photographing information of the Kinect camera in time series to determine an object having dynamic change in time series as a dynamic object, and classifying an object having no dynamic change as a static object;
When the distance between the dynamic object and the static object exceeds a predetermined setting value, skeleton data is generated from depth information included in the photographing information of the Kinect camera, and the shape and motion of the dynamic object are determined from the skeleton data. To;
When the distance between the dynamic object and the static object is equal to or less than a preset value and the front surface of the dynamic object faces the static object, the shape and operation of the dynamic object are determined from depth information included in the photographing information of the Kinect camera. Figure out:
The direction of the dynamic object,
And a user's touch interaction in the virtual space, wherein the average vector value of the arm or foot region is determined from the skeleton motion information of the dynamic object accumulated and stored in the database.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170097395A KR102013367B1 (en) | 2017-07-31 | 2017-07-31 | System for providing touch interaction of virtual space |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170097395A KR102013367B1 (en) | 2017-07-31 | 2017-07-31 | System for providing touch interaction of virtual space |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190013186A KR20190013186A (en) | 2019-02-11 |
| KR102013367B1 true KR102013367B1 (en) | 2019-08-22 |
Family
ID=65370078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170097395A KR102013367B1 (en) | 2017-07-31 | 2017-07-31 | System for providing touch interaction of virtual space |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102013367B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059580B (en) * | 2019-03-27 | 2023-01-31 | 长春理工大学 | Dynamic gesture recognition enhancing method based on leap motion |
| US11508077B2 (en) | 2020-05-18 | 2022-11-22 | Samsung Electronics Co., Ltd. | Method and apparatus with moving object detection |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120157203A1 (en) * | 2010-12-21 | 2012-06-21 | Microsoft Corporation | Skeletal control of three-dimensional virtual world |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104752639B (en) | 2013-12-31 | 2017-07-04 | 比亚迪股份有限公司 | Electrokinetic cell module |
| KR101636171B1 (en) | 2014-12-19 | 2016-07-05 | 동국대학교 경주캠퍼스 산학협력단 | Skeleton tracking method and keleton tracking system using the method |
-
2017
- 2017-07-31 KR KR1020170097395A patent/KR102013367B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120157203A1 (en) * | 2010-12-21 | 2012-06-21 | Microsoft Corporation | Skeletal control of three-dimensional virtual world |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190013186A (en) | 2019-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102365730B1 (en) | Apparatus for controlling interactive contents and method thereof | |
| CN108369742B (en) | Optimized object scanning using sensor fusion | |
| KR101278430B1 (en) | Method and circuit arrangement for recognising and tracking eyes of several observers in real time | |
| JP6424510B2 (en) | Moving object detection method and system | |
| CN109298629B (en) | System and method for guiding mobile platform in non-mapped region | |
| KR20200005999A (en) | Slam method and slam system using dual event camaer | |
| KR101534742B1 (en) | System and method for gesture recognition of vehicle | |
| CN104317391A (en) | Stereoscopic vision-based three-dimensional palm posture recognition interactive method and system | |
| KR101347840B1 (en) | Body gesture recognition method and apparatus | |
| US9098934B2 (en) | Augmented reality system with correlation among multiple markers | |
| KR20150144730A (en) | APPARATUS FOR RECOGNIZING LOCATION MOBILE ROBOT USING KEY POINT BASED ON ADoG AND METHOD THEREOF | |
| EP2746897B1 (en) | Volumetric image display device and method of providing user interface using visual indicator | |
| KR102013367B1 (en) | System for providing touch interaction of virtual space | |
| KR101207535B1 (en) | Image-based simultaneous localization and mapping for moving robot | |
| CN110555869A (en) | method and system for extracting primary and secondary motion in augmented reality systems | |
| CN113807460A (en) | Method and device for determining intelligent body action, electronic equipment and medium | |
| JP2017103688A5 (en) | ||
| CN102799271A (en) | Method and system for identifying interactive commands based on human hand gestures | |
| KR20210058686A (en) | Device and method of implementing simultaneous localization and mapping | |
| CN103033145B (en) | For identifying the method and system of the shape of multiple object | |
| Zhou et al. | Mogde: Boosting mobile monocular 3d object detection with ground depth estimation | |
| US20170115727A1 (en) | Image processing apparatus, image processing method, and program | |
| KR102063408B1 (en) | Method and apparatus for interaction with virtual objects | |
| JP2008085491A (en) | Image processor, and image processing method thereof | |
| KR20180082739A (en) | Moving Object Detection Method and System with Single Camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |