KR101517892B1 - Method for generating and processing augmented reality item by recognizing gesture - Google Patents

Method for generating and processing augmented reality item by recognizing gesture Download PDF

Info

Publication number
KR101517892B1
KR101517892B1 KR1020130019275A KR20130019275A KR101517892B1 KR 101517892 B1 KR101517892 B1 KR 101517892B1 KR 1020130019275 A KR1020130019275 A KR 1020130019275A KR 20130019275 A KR20130019275 A KR 20130019275A KR 101517892 B1 KR101517892 B1 KR 101517892B1
Authority
KR
South Korea
Prior art keywords
user
virtual object
virtual
augmented reality
stored
Prior art date
Application number
KR1020130019275A
Other languages
Korean (ko)
Other versions
KR20140105258A (en
Inventor
임창주
정윤근
박승구
Original Assignee
(주) 미디어인터랙티브
더디엔에이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 미디어인터랙티브, 더디엔에이 주식회사 filed Critical (주) 미디어인터랙티브
Priority to KR1020130019275A priority Critical patent/KR101517892B1/en
Publication of KR20140105258A publication Critical patent/KR20140105258A/en
Application granted granted Critical
Publication of KR101517892B1 publication Critical patent/KR101517892B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 동작인식을 이용한 가상 객체 정합 방법에 관한 것으로서, 사용자의 동작을 인식하는 단계, 상기 인식한 동작에 해당하는 가상 객체를 생성하는 단계, 상기 생성된 가상 객체를 상기 사용자에 정합시키는 단계, 및 상기 사용자의 움직임에 따라 증강현실을 통해 상기 가상 객체를 동작시키는 단계를 포함함으로써, 사용자의 동작을 인식하고, 인식된 정보를 기반으로 증강현실 가상 객체의 생성 및 관리할 수 있다.The present invention relates to a virtual object matching method using motion recognition, comprising: recognizing an operation of a user, generating a virtual object corresponding to the recognized operation, matching the generated virtual object to the user, And operating the virtual object through the augmented reality according to the movement of the user, thereby recognizing the operation of the user and generating and managing the augmented reality virtual object based on the recognized information.

Description

동작인식 체감형 증강현실 아이템 생성 및 처리방법 {Method for generating and processing augmented reality item by recognizing gesture}FIELD OF THE INVENTION [0001] The present invention relates to a method for generating and processing an augmented reality item,

본 발명은 동작인식을 이용한 가상 객체 정합 방법에 관한 것으로서, 보다 상세하게는 사용자의 동작을 인식하고, 인식된 정보를 기반으로 증강현실 가상 객체(Object)의 생성 및 관리할 수 있는 동작인식을 이용한 가상 객체 정합 방법에 관한 것이다.
The present invention relates to a virtual object matching method using motion recognition, and more particularly, to a virtual object matching method using motion recognition that recognizes a user's motion and generates and manages an augmented reality virtual object based on the recognized information And a virtual object matching method.

최근에 들어, 스마트 TV, 스마트 휴대폰 등 콘텐츠를 제공하기 위한 기기의 유형이 다양화되어 있고, 이들을 통해 제공되는 콘텐츠의 유형도 영화, 음악, 게임에서 교육, 의료, 홈쇼핑 등으로 다양화되고 있는 추세이다.Recently, various types of devices for providing contents such as smart TVs and smart phones have been diversified, and types of contents provided through them have also been diversified from movies, music, games, education, medical care, and home shopping. to be.

콘텐츠를 제어하기 위한 종래의 인터페이스 방법으로는 콘텐츠를 제공하는 기기와 유/무선으로 무선으로 연결된 마우스, 키보드, 리모컨 등 도구를 사용하는 방식을 생각해볼 수 있는데 이러한 방법들에 따르면, 사용자가 도구를 사용해 콘텐츠를 일일이 특정하고 제어해야 한다는 불편함이 있었다. 또한, 상기와 같은 도구 사용의 미스가 빈번하게 일어날 수 있는바 콘텐츠를 원하는 대로 제어하기가 쉽지 않을 수도 있고, 상기와 같은 도구를 별도로 유지 및 관리해야 관리해야 한다는 문제점 이 있었다. 뿐만 아니라 3D 게임과 같이 사실감이 강조되는 콘텐츠의 경우 상기와 같은 도구를 사용하여 사용하여 콘텐츠를 제어하고자 하는 경우 사용자가 콘텐츠를 사실감 있게 느끼지 못하는 중요한 원인이 되기도 하였다.As a conventional interface method for controlling contents, there is a method of using a tool such as a mouse, a keyboard, and a remote controller wirelessly connected with a device providing contents, wirelessly or wirelessly. According to these methods, There was an inconvenience that content should be individually specified and controlled. In addition, it is difficult to control the contents as desired, and it is necessary to separately maintain and manage the above-mentioned tools. In addition, in the case of content that emphasizes realism such as a 3D game, when the user attempts to control the content using the above-described tool, the user is not able to feel the content realistically.

상술한 종래 기술의 문제점을 극복하기 위해 사용자의 동작을 이용하여 콘텐츠를 제어하는 방식에 대한 연구가 활발히 진행되고 있다. 사용자의 동작을 이용하여 콘텐츠를 제어하는데, 증강현실과 동작인식 기술이 이용될 수 있다. 사용자의 동작을 인식하여 콘텐츠를 제어하는 방식에 대한 기술로, 한국공개특허공보 제2011-0053396호 등이 있다. 상기 한국공개특허공보에는 단말기 카메라부를 이용하여 사용자의 손동작에 대한 영상을 획득하고, 획득된 영상을 분석하여 특징점을 추출하고, 추출된 특징점의 이동을 감지하여 특정 동작을 인식한 후 인식된 동작을 이용해 단말기의 특정 기능을 실행하는 기술이 개시되어 있다.[0006] In order to overcome the above-described problems of the related art, researches on a method of controlling contents using a user's action have been actively conducted. Augmented reality and motion recognition technology can be used to control content using the user's actions. Korean Patent Laid-Open Publication No. 2011-0053396 discloses a method of controlling a content by recognizing a user's action. The Korean Patent Laid-Open Publication No. 2002-325950 discloses a method of acquiring an image of a user's hand operation using a terminal camera unit, extracting feature points by analyzing the obtained images, detecting a movement of the extracted feature points, recognizing a specific operation, To execute a specific function of the terminal.

그러나, 이 기술을 포함한 종래의 동작 인식 방법들은 동일한 동일한 사용자의 동작 패턴을 인식하는 경우에는 좋은 동작 인식률을 나타내나, 스마트 TV 또는 개인용 컴퓨터와 같이, 하나의 장치를 여러 사람이 사용하는 경우, 예를 들면, 사용자의 연령 층이 달라지는 경우에는 동작 인식률이 떨어지게 된다는 문제점이 있다. 즉, 종래의 동작 인식 방법들은 사용자의 동작 패턴과 데이터베이스에 저장된 표준 동작 패턴과의 일치 여부를 비교함에 의해서 동작을 인식하게 되는데, 사용자가 어린이, 성인 또는 시니어 이냐에 따라 동작의 크기 및 속도가 달라질 수 있다. 이 경우에, 사용자가 데이터베이스에 저장된 표준 동작 패턴대로 입력 하였음에도 불구하고 동작 인식이 되지 않아 사용자의 동작 패턴에 따른 명령이 수행되지 않게 된다는 문제점이 있다. 특히, 게임을 하는 경우에 전신을 이용하게 되는데, 연령 층에 따라 동작의 크기 및 속도가 다르기 때문에 동작 인식률이 낮아지게 되는 문제점이 있다.
However, the conventional motion recognition methods including this technique show a good motion recognition rate when recognizing the same motion pattern of the same user. However, when a plurality of people use one device such as a smart TV or a personal computer, For example, when the age of the user varies, the operation recognition rate is lowered. That is, in the conventional motion recognition methods, the motion is recognized by comparing the motion pattern of the user with the standard motion pattern stored in the database, and the magnitude and speed of the motion are changed according to whether the user is a child, an adult or a senior . In this case, there is a problem in that the operation is not recognized even though the user has input in accordance with the standard operation pattern stored in the database, and the instruction according to the operation pattern of the user is not performed. Particularly, when a game is played, the whole body is used. Since the size and speed of motion are different according to the age group, the motion recognition rate is lowered.

본 발명이 해결하고자 하는 첫 번째 과제는 사용자의 동작을 인식하고, 인식된 정보를 기반으로 증강현실 가상 객체의 생성 및 관리할 수 있는 동작인식을 이용한 가상 객체 정합 방법을 제공하는 것이다.A first object of the present invention is to provide a virtual object matching method using motion recognition capable of recognizing an operation of a user and generating and managing an augmented reality virtual object based on the recognized information.

본 발명이 해결하고자 하는 두 번째 과제는 사용자의 동작을 인식하고, 인식된 정보를 기반으로 증강현실 가상 객체의 생성 및 관리할 수 있는 동작인식을 이용한 가상 객체 정합 장치를 제공하는 것이다.A second object of the present invention is to provide a virtual object matching apparatus that recognizes an operation of a user and can generate and manage an augmented reality virtual object based on the recognized information.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
It is another object of the present invention to provide a computer-readable recording medium storing a program for causing a computer to execute the above-described method.

본 발명은 상기 첫 번째 과제를 해결하기 위하여, 동작인식을 이용한 가상 객체 정합 방법에 있어서, 사용자의 동작을 인식하는 단계; 상기 인식한 동작에 해당하는 가상 객체를 생성하는 단계; 상기 생성된 가상 객체를 상기 사용자에 정합시키는 단계; 및 상기 사용자의 움직임에 따라 증강현실을 통해 상기 가상 객체를 동작시키는 단계를 포함하는 방법을 제공한다.In order to solve the first problem, the present invention provides a virtual object matching method using motion recognition, comprising: recognizing a motion of a user; Generating a virtual object corresponding to the recognized operation; Matching the generated virtual object to the user; And operating the virtual object through the augmented reality according to the movement of the user.

본 발명의 일 실시예에 의하면, 상기 사용자를 인식하는 단계; 및 상기 인식한 사용자가 등록된 사용자인지 판단하는 단계를 더 포함하고, 상기 가상 객체는 상기 등록된 사용자에 설정된 가상 객체 중 하나일 수 있고, 상기 인식한 사용자가 등록된 사용자인지 판단하는 단계의 판단 결과, 상기 사용자가 등록된 사용자가 아닌 경우, 상기 사용자를 인증하는 단계; 상기 인증된 사용자에 대한 사용자 정보를 저장하는 단계; 상기 사용자가 가상 공간상에서 콘텐츠를 수행하는데 필요한 가상 객체를 설정하여 저장하는 단계; 및 상기 사용자에게 상기 저장된 객체를 생성시키기 위한 동작을 수행하도록 하고, 상기 사용자가 상기 가상 객체를 생성시키기 위한 동작을 수행하는 동안, 상기 사용자의 동작 정보를 저장하는 단계를 포함하고, 상기 콘텐츠는 증강현실을 통해 가상 객체를 동작시키는 콘텐츠인 것을 특징으로 하는 방법일 수 있다.According to an embodiment of the present invention, the step of recognizing the user includes: recognizing the user; And determining whether the recognized user is a registered user, wherein the virtual object may be one of virtual objects set in the registered user, and determining whether the recognized user is a registered user Authenticating the user if the user is not a registered user; Storing user information for the authenticated user; Setting and storing a virtual object necessary for the user to perform the content in the virtual space; And performing an operation for creating the stored object to the user and storing operation information of the user while the user performs an operation for creating the virtual object, And the content is a content that operates the virtual object through the reality.

본 발명의 다른 실시예에 의하면, 상기 가상 객체를 동작시키는 단계는, 상기 사용자 및 상기 생성된 가상 객체의 가상 공간 속성값을 추출하는 단계; 및 상기 추출된 가상 공간 속성값을 이용하여 가상 공간상에서 상기 사용자와 상기 가상 객체 간의 상호작용을 구현하는 단계를 포함할 수 있다.According to another embodiment of the present invention, the step of operating the virtual object includes: extracting a virtual space attribute value of the user and the generated virtual object; And implementing an interaction between the user and the virtual object in the virtual space using the extracted virtual space attribute value.

본 발명의 다른 실시예에 의하면, 상기 가상 객체는 가상 객체 데이터베이스에 사용자 정보와 함께 저장될 수 있고, 상기 객체 데이터베이스는, 상기 사용자가 수행하고자 하는 콘텐츠가 저장하고 있는 가상 객체들을 수신하여 저장하거나, 상기 사용자가 직접 생성한 가상 객체들을 저장할 수 있으며, 상기 가상 객체는 상기 사용자의 동작정보에 따라 수정되어 저장되는 것을 특징으로 하는 방법일 수 있다.According to another embodiment of the present invention, the virtual object may be stored together with the user information in the virtual object database, and the object database may receive and store the virtual objects stored in the content to be executed by the user, The virtual object may be stored in the virtual object created by the user, and the virtual object may be modified and stored according to the operation information of the user.

본 발명은 상기 두 번째 과제를 해결하기 위하여, 동작인식을 이용한 가상 객체 정합 장치에 있어서, 사용자의 동작을 인식하는 사용자 동작 인식부; 상기 인식한 동작에 해당하는 가상 객체를 생성하는 가상 객체 생성부; 및 상기 생성된 가상 객체를 상기 사용자에 정합시키고, 상기 사용자의 움직임에 따라 증강현실을 통해 상기 가상 객체를 동작시키는 증강현실부를 포함하는 장치를 제공한다.In order to solve the second problem, the present invention provides a virtual object matching apparatus using motion recognition, comprising: a user motion recognizing unit recognizing a motion of a user; A virtual object generation unit for generating a virtual object corresponding to the recognized operation; And an augmented reality unit for matching the generated virtual object with the user and operating the virtual object through an augmented reality according to the motion of the user.

본 발명의 일 실시예에 의하면, 상기 사용자를 인식하고, 상기 인식한 사용자가 등록된 사용자인지 판단하는 사용자 인식부를 더 포함하고, 상기 가상 객체는 상기 등록된 사용자에 설정된 가상 객체 중 하나인 것을 특징으로 하는 장치일 수 있다.According to an embodiment of the present invention, the method further includes a user recognition unit that recognizes the user and determines whether the recognized user is a registered user, and the virtual object is one of virtual objects set in the registered user As shown in FIG.

본 발명의 다른 실시예에 의하면, 상기 사용자 인식부의 판단 결과, 상기 인식한 사용자가 등록된 사용자인지 판단하는 단계의 판단 결과, 상기 사용자가 등록된 사용자가 아닌 경우, 상기 사용자를 인증하고, 상기 인증된 사용자에 대한 사용자 정보를 저장하고, 상기 사용자가 가상 공간상에서 콘텐츠를 수행하는데 필요한 가상 객체를 설정하여 저장하며, 상기 사용자에게 상기 저장된 객체를 생성시키기 위한 동작을 수행하도록 하고, 상기 사용자가 상기 가상 객체를 생성시키기 위한 동작을 수행하는 동안, 상기 사용자의 동작 정보를 저장하는 가상 객체 설정부를 더 포함하고, 상기 콘텐츠는 증강현실을 통해 가상 객체를 동작시키는 콘텐츠인 것을 특징으로 하는 장치일 수 있다.According to another embodiment of the present invention, when it is determined that the recognized user is a registered user as a result of the determination by the user recognition unit, when the user is not a registered user, Storing the user information for the user who has performed the virtual space, setting and storing a virtual object necessary for the user to perform the content in the virtual space, and performing an operation for creating the stored object to the user, And a virtual object setting unit for storing the operation information of the user during the operation of creating the object, wherein the content is a content for operating the virtual object through the augmented reality.

본 발명의 다른 실시예에 의하면, 상기 증강현실부는, 상기 사용자의 가상 공간 속성값 및 상기 생성된 가상 객체의 가상 공간 속성값을 추출하고, 상기 추출된 상기 사용자의 가상 공간 속성값 및 상기 생성된 가상 객체의 가상 공간 속성값을 이용하여 가상 공간상에서 상기 사용자와 상기 가상 객체 간의 상호작용을 구현할 수 있고, 상기 가상 객체를 사용자 정보와 함께 저장하는 가상 객체 데이터베이스를 더 포함하는 장치일 수 있다.According to another embodiment of the present invention, the augmenting reality unit extracts the virtual space attribute value of the user and the virtual space attribute value of the generated virtual object, and extracts the extracted virtual space attribute value of the user and the generated And a virtual object database that can implement an interaction between the user and the virtual object in the virtual space using the virtual space attribute value of the virtual object and store the virtual object together with the user information.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 동작인식을 이용한 가상 객체 정합 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
According to another aspect of the present invention, there is provided a computer-readable recording medium storing a program for causing a computer to execute a virtual object matching method using motion recognition.

본 발명에 따르면, 사용자의 동작을 인식하고, 인식된 정보를 기반으로 증강현실 가상 객체의 생성 및 관리할 수 있다. 또한, 게임콘텐츠 및 유아교육용 콘텐츠를 체감형으로 제작하여 사용자의 상호작용을 증진시킬 수 있다.
According to the present invention, an operation of a user can be recognized and an augmented reality virtual object can be created and managed based on the recognized information. In addition, game contents and infant education contents can be produced in a sensible manner, thereby enhancing user interaction.

도 1은 본 발명의 일 실시예에 따른 동작인식을 이용한 가상 객체 정합 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 동작인식을 이용한 가상 객체 정합 방법의 흐름도이다.
도 3 내지 5는 본 발명의 다른 실시예에 따른 동작인식을 이용한 가상 객체 정합합 방법의 흐름도이다.
도 6은 동작인식을 이용한 가상 객체 정합 방법을 도시한 것이다.
도 7은 동작인식을 이용한 가상 객체 정합 방법에 의한 동작인식 및 증강현실 구현을 도시한 것이다.
도 8은 동작인식을 이용한 가상 객체 정합 방법의 각 단계의 관계를 도시한 것이다.
도 9는 증강현실을 통해 가상 객체를 가상 공간상에서 동작시키는 것을 도시한 것이다.1 is a block diagram of a virtual object matching apparatus using motion recognition according to an embodiment of the present invention.
2 is a flowchart of a virtual object matching method using motion recognition according to an embodiment of the present invention.
3 to 5 are flowcharts of a virtual object matching summing method using motion recognition according to another embodiment of the present invention.
6 illustrates a virtual object matching method using motion recognition.
FIG. 7 shows an operation recognition and augmented reality realization by a virtual object matching method using motion recognition.
FIG. 8 shows the relationship of each step of the virtual object matching method using motion recognition.
FIG. 9 illustrates the operation of a virtual object in a virtual space through an augmented reality.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.Prior to the description of the concrete contents of the present invention, for the sake of understanding, the outline of the solution of the problem to be solved by the present invention or the core of the technical idea is first given.

본 발명의 일 실시예에 동작인식을 이용한 가상 객체 정합 방법은, 사용자의 동작을 인식하는 단계, 상기 인식한 동작에 해당하는 가상 객체를 생성하는 단계, 상기 생성된 가상 객체를 상기 사용자에 정합시키는 단계, 및 상기 사용자의 움직임에 따라 증강현실을 통해 상기 가상 객체를 동작시키는 단계를 포함한다.According to an embodiment of the present invention, a virtual object matching method using motion recognition includes recognizing an operation of a user, generating a virtual object corresponding to the recognized operation, matching the generated virtual object with the user And operating the virtual object through the augmented reality according to the motion of the user.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It will be apparent to those skilled in the art, however, that these examples are provided to further illustrate the present invention, and the scope of the present invention is not limited thereto.

본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
BRIEF DESCRIPTION OF THE DRAWINGS The above and other features and advantages of the present invention will become more apparent by describing in detail preferred embodiments thereof with reference to the attached drawings in which: It is possible to quote the above. In the following detailed description of the principles of operation of the preferred embodiments of the present invention, it is to be understood that the present invention is not limited to the details of the known functions and configurations, and other matters may be unnecessarily obscured, A detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 동작인식을 이용한 가상 객체 정합 장치의 블록도이다.1 is a block diagram of a virtual object matching apparatus using motion recognition according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 동작인식을 이용한 가상 객체 정합 장치(100)는 동작 인식부(110), 가상 객체 생성부(120), 및 증강현실부(130)로 구성되고, 사용자 인식부(140), 가상 객체 설정부(150), 및 가상 객체 데이터베이스(160)를 더 포함할 수 있다.The virtual object matching apparatus 100 using motion recognition according to an exemplary embodiment of the present invention includes an operation recognition unit 110, a virtual object generation unit 120, and an augmented reality unit 130, 140, a virtual object setting unit 150, and a virtual object database 160.

동작 인식부(110)는 사용자의 동작을 인식한다.The motion recognition unit 110 recognizes the motion of the user.

보다 구체적으로, 동작 인식부(110)는 가상 객체를 생성하기 위한 사용자의 동작을 인식한다. 가상 객체를 생성하기 위해 필요한 사용자의 인식은 상이하다. 가상 객체로 칼을 생성하기 위해 사용자가 칼을 잡는 동작을 취하면, 동작 인식부(110)는 상기 사용자의 칼을 잡는 동작을 인식한다. 즉, 사용자가 가상 객체를 생성하기 위한 특정 동작을 수행하면 동작 인식부(110)는 상기 사용자의 동작을 인식한다. 동작 인식부(110) 촬상 수단을 통해 사용자의 동작을 인식할 수 있으며, TV의 부착되어 있는 카메라를 통해 사용자의 동작을 인식할 수도 있다.More specifically, the motion recognition unit 110 recognizes the motion of the user for creating the virtual object. The user's perception required to create a virtual object is different. When the user takes an operation of catching a knife to generate a knife as a virtual object, the motion recognition unit 110 recognizes the operation of catching the knife of the user. That is, when the user performs a specific operation for creating a virtual object, the operation recognition unit 110 recognizes the operation of the user. The operation recognizing unit 110 can recognize the operation of the user through the imaging unit and can recognize the operation of the user through the camera attached to the TV.

가상 객체 생성부(120)는 상기 인식한 동작에 해당하는 가상 객체를 생성한다.The virtual object creation unit 120 creates a virtual object corresponding to the recognized operation.

보다 구체적으로, 동작 인식부(110)가 인식한 사용자의 동작에 해당하는 가상 객체를 생성한다. 사용자의 칼을 잡는 동작을 인식하면, 상기 칼을 잡는 동작에 해당하는 가상 객체로 칼을 가상 공간상에 생성할 수 있다. 상기 가상 객체는 대응하는 동작과 함께 저장되어 있을 수 있으며, 상기 대응하는 동작이 인식되는 경우, 상기 동작에 해당 가상 객체를 생성한다.More specifically, a virtual object corresponding to the operation of the user recognized by the action recognition unit 110 is generated. When the operation of catching the knife of the user is recognized, the knife can be created on the virtual space as a virtual object corresponding to the operation of catching the knife. The virtual object may be stored together with a corresponding operation, and if the corresponding operation is recognized, the virtual object is created in the operation.

증강현실부(130)는 상기 생성된 가상 객체를 상기 사용자에 정합시키고, 상기 사용자의 움직임에 따라 증강현실을 통해 상기 가상 객체를 동작시킨다.The augmented reality unit 130 matches the generated virtual object to the user and operates the virtual object through the augmented reality according to the movement of the user.

보다 구체적으로, 가상 객체 생성부(120)에서 생성한 가상 객체를 이용하여 사용자에게 증강현실을 제공하기 위하여, 우선 상기 생성된 가상 객체를 상기 사용자에 정합시킨다. 상기 사용자와 가상 객체간의 정합이 완료되면, 상기 사용자의 움직임에 따라 증강현실을 통해 상기 정합된 가상 객체를 동작시킨다. More specifically, in order to provide the augmented reality to the user using the virtual object generated by the virtual object generation unit 120, the generated virtual object is first matched to the user. When the matching between the user and the virtual object is completed, the matching virtual object is operated through the augmented reality according to the movement of the user.

증강현실부(130)는 상기 사용자의 가상 공간 속성값 및 상기 생성된 가상 객체의 가상 공간 속성값을 추출하고, 상기 추출된 상기 사용자의 가상 공간 속성값 및 상기 생성된 가상 객체의 가상 공간 속성값을 이용하여 가상 공간상에서 상기 사용자와 상기 가상 객체 간의 상호작용을 구현할 수 있다. 상기 사용자와 상기 가상 객체를 정합시키기 위하여, 상기 사용자와 가상 객체의 가상 공간 속성값을 추출한다. 상기 공간 속성값은 가상공간을 형성하는 3차원 공간좌표일 수 있다. 상기 공간 속성값을 이용하여 가상 공간상에서 상기 사용자와 가상 객체의 위치 및 방향을 정합시킨다. 또한, 사용자의 움직임을 계속 추적하면서, 상기 가상 객체의 위치 및 방향을 상기 사용자의 움직임에 따라 변화시킨다. 또한, 상기 가상 객체의 변화를 주기 위한 동작을 상기 사용자로부터 인식한 경우, 해당 사용자의 동작에 따라 가상 객체에 상기 인식된 동작에 해당하는 작업을 수행할 수 있다.The augmenting / realizing unit 130 extracts the virtual space attribute value of the user and the virtual space attribute value of the generated virtual object, and outputs the extracted virtual space attribute value of the user and the virtual space attribute value Can be used to implement the interaction between the user and the virtual object in the virtual space. In order to match the user with the virtual object, a virtual space attribute value of the user and the virtual object is extracted. The spatial attribute value may be a three-dimensional space coordinate forming a virtual space. And uses the spatial attribute value to match the position and direction of the user with the virtual object in the virtual space. Further, the position and direction of the virtual object are changed according to the movement of the user, while continuously tracking the movement of the user. In addition, if the user recognizes an operation for changing the virtual object, the virtual object may perform an operation corresponding to the recognized operation according to the operation of the user.

사용자 인식부(140)는 상기 사용자를 인식하고, 상기 인식한 사용자가 등록된 사용자인지 판단한다.The user recognition unit 140 recognizes the user and determines whether the recognized user is a registered user.

보다 구체적으로, 사용자 인식부(140)는 사용자마다 개별적인 가상 객체를 제공하기 위하여, 사용자를 인식하고 상기 인식한 사용자가 등록된 사용자인지 판단한다. 사용자의 신체의 특징을 촬영하여 상기 사용자를 인식하거나, 특정 사용자에 해당하는 특정동작을 취함으로써 사용자를 인식하고, 상기 사용자가 등록된 사용자인지 판단한다. 등록된 사용자의 사용자 정보는 사용자 데이터베이스에 저장되어 있을 수 있다. 또한, 상기 가상 객체는 상기 등록된 사용자에 설정된 가상 객체 중 하나일 수 있다. 등록된 사용자에 설정되어 저장된 개별화된 가상 객체를 저장하고 있을 수 있다. 동작 인식부(110)에 의해 인식되는 사용자의 동작 정보를 누적 저장하고 분석하여, 저장되어 있는 상기 사용자의 가상 객체들을 상기 사용자에 맞도록 개별화, 최적화할 수 있다. 상기 사용자 인식을 위해 RFID 태그와 같은 통신 수단을 이용할 수 있으며, 지문 인식과 같은 다양한 방법을 이용할 수 있다.More specifically, the user recognition unit 140 recognizes the user and determines whether the recognized user is a registered user, in order to provide individual virtual objects for each user. Recognizes the user by photographing a characteristic of the user's body, or recognizes the user by taking a specific action corresponding to the specific user, and determines whether the user is a registered user. The user information of the registered user may be stored in the user database. In addition, the virtual object may be one of virtual objects set in the registered user. And may store an individualized virtual object set and stored in the registered user. The motion information of the user recognized by the motion recognition unit 110 may be cumulatively stored and analyzed to customize the stored virtual objects of the user to the user. Communication means such as an RFID tag can be used for the user recognition, and various methods such as fingerprint recognition can be used.

가상 객체 설정부(150)는 사용자 인식부(140)의 판단 결과, 상기 인식한 사용자가 등록된 사용자인지 판단하는 단계의 판단 결과, 상기 사용자가 등록된 사용자가 아닌 경우, 상기 사용자를 인증하고, 상기 인증된 사용자에 대한 사용자 정보를 저장하고, 상기 사용자가 가상 공간상에서 콘텐츠를 수행하는데 필요한 가상 객체를 설정하여 저장하며, 상기 사용자에게 상기 저장된 객체를 생성시키기 위한 동작을 수행하도록 하고, 상기 사용자가 상기 가상 객체를 생성시키기 위한 동작을 수행하는 동안, 상기 사용자의 동작 정보를 저장할 수 있다.The virtual object setting unit 150 authenticates the user when the user is not a registered user as a result of the determination by the user recognition unit 140 that the recognized user is a registered user, Storing the user information for the authenticated user, setting and storing a virtual object necessary for the user to perform the content in the virtual space, and performing an operation for creating the stored object to the user, During the operation for creating the virtual object, the operation information of the user may be stored.

보다 구체적으로, 사용자 인식부(140)의 판단 결과, 사용자가 등록되지 않은 새로운 사용자인 경우, 상기 사용자가 사용할 수 있는 가상 객체들이 존재하지 않을 수 있다. 새로운 사용자에게 미리 설정된 초기 가상 객체를 제공하여 이용하게 할 수 있으나, 사용자마다 증강현실을 구현하기 위한 속성값들이 상이한바, 상기 사용자의 속성값에 대응하는 가상 객체를 생성하는 것이 바람직하다. 상기 사용자가 등록된 사용자가 아닌 경우, 우선, 상기 사용자가 가상 객체를 사용할 권한이 있는지를 판단하기 위하여 인증을 수행할 수 있다. 상기 인증된 사용자에 대한 사용자 정보를 저장할 수 있다. 상기 사용자 정보는 사용자의 키나 신체의 형태 등을 포함할 수 있다. 다음으로, 어떤 가상 객체를 사용할지를 사용자로부터 입력받거나, 상기 사용자가 가상 공간상에서 콘텐츠를 수행하는데 필요한 가상 객체들을 상기 사용자가 사용할 가상 객체를 설정하여 저장한다. 가상 객체들이 설정되어 저장되면, 상기 가상 객체들을 생성시키는데 필요한 동작들을 저장한다. 앞서 살펴본 바와 같이, 사용자가 특정 동작을 수행하면, 상기 특정 동작을 인식하고, 그에 해당하는 가상 객체가 생성되는바, 각 가상 객체마다 해당하는 동작을 사용자별로 저장할 수 있다. 즉, 사용자에게 상기 저장된 객체를 생성시키기 위한 동작을 수행하도록 하고, 상기 사용자가 상기 가상 객체를 생성시키기 위한 동작을 수행하는 동안, 상기 사용자의 동작 정보를 저장한다. 상기 동작 정보는 사용자의 동작의 형태와 움직임 방향 등을 포함할 수 있다. 이후, 사용자가 상기 저장되어 있는 동작 정보에 해당하는 동작을 수행하면, 상기 저장된 동작 정보를 이용하여 해당 가상 객체를 생성시킬 수 있다. 상기 콘텐츠는 증강현실을 통해 가상 객체를 동작시키는 콘텐츠일 수 있다. 상기 콘텐츠는 증강현실을 이용하는 다양한 콘텐츠일 수 있으며, 예를 들어, 게임일 수 있고, 교육 콘텐츠이거나 유야용 동물케릭터를 표시하는 콘텐츠일 수 있다. More specifically, as a result of the determination by the user recognition unit 140, if the user is a new user who is not registered, the virtual objects usable by the user may not exist. It is preferable to create a virtual object corresponding to the property value of the user because the property values for implementing the augmented reality are different for each user. If the user is not a registered user, authentication may be performed to determine whether the user is authorized to use the virtual object. And store user information for the authenticated user. The user information may include a user's key or body shape. Next, a user inputs a virtual object to be used or a virtual object necessary for the user to perform the content in the virtual space is set and stored by the user. Once the virtual objects are set and stored, they store the operations necessary to create the virtual objects. As described above, when the user performs a specific operation, the specific operation is recognized and a virtual object corresponding to the specific operation is generated, and the corresponding operation for each virtual object can be stored for each user. That is, an operation for creating the stored object is performed by the user, and the operation information of the user is stored while the user performs the operation for creating the virtual object. The operation information may include a user's operation type, a direction of movement, and the like. Thereafter, when the user performs an operation corresponding to the stored operation information, the virtual object can be created using the stored operation information. The content may be content that operates the virtual object through the augmented reality. The content may be various contents using an augmented reality, and may be, for example, a game, education content, or content for displaying an animal character for a cannibalism.

사용자의 특징에 따라 설정하여 저장할 수 있는 가상 객체가 상이할 수 있다. 사용자의 신체의 특성은 매우 다양하며, 사용자의 나이, 연령, 성별 등에 따라 사용가능한 가상 객체가 상이할 수 있으며, 사용자별로 사용가능한 가상 객체를 제한할 수도 있다.The virtual objects that can be set and stored according to the characteristics of the user may be different. The characteristics of the user's body are very diverse, and the available virtual objects may differ depending on the age, age, and sex of the user, and may limit the available virtual objects for each user.

가상 객체 데이터베이스(160)는 상기 가상 객체를 사용자 정보와 함께 저장한다.The virtual object database 160 stores the virtual object together with the user information.

보다 구체적으로, 상기 가상 객체는 상기 사용자가 수행하고자 하는 콘텐츠가 저장하고 있는 가상 객체들이거나, 상기 사용자가 직접 생성한 가상 객체들일 수 있다. 또는 저장되어 있는 기존 가상 객체들을 수정하여 저장한 것일 수 있다. 상기 가상 객체들을 사용자 정보와 함께 저장함으로써 사용자별로 가상 객체를 생성할 수 있다.More specifically, the virtual objects may be virtual objects stored by the user, or virtual objects created by the user. Alternatively, the stored virtual objects may be modified and stored. By storing the virtual objects together with user information, a virtual object can be created for each user.

또한, 상기 가상 객체는 상기 사용자의 동작정보에 따라 수정되어 저장될 수 있다. 사용자의 동작은 달라질 수 있으며, 연습에 의해 더욱 정교한 동작이 가능할 수 있는바, 상기 사용자의 동작의 변화를 상기 가상 객체에 적용하기 위하여, 상기 가상 객체를 상기 사용자의 동작정보에 따라 수정하여 저장할 수 있다.
In addition, the virtual object may be modified and stored according to the operation information of the user. The operation of the user can be changed and more sophisticated operation can be performed by practice. In order to apply the change of the operation of the user to the virtual object, the virtual object may be modified and stored according to the operation information of the user have.

도 2는 본 발명의 일 실시예에 따른 동작인식을 이용한 가상 객체 정합 방법의 흐름도이다.2 is a flowchart of a virtual object matching method using motion recognition according to an embodiment of the present invention.

210단계는 사용자의 동작을 인식하는 단계이다.Step 210 is a step of recognizing the operation of the user.

보다 구체적으로, 사용자의 동작으로부터 가상 객체를 생성하기 위하여 사용자의 동작을 인식한다. 본 단계에 대한 상세한 설명은 도 1의 동작 인식부(110)에 대한 상세한 설명에 대응하는바, 도 1의 동작 인식부(110)에 대한 상세한 설명으로 대신한다.More specifically, the operation of the user is recognized in order to create a virtual object from the operation of the user. The detailed description of this step corresponds to the detailed description of the motion recognition unit 110 of FIG. 1 and is replaced with a detailed description of the motion recognition unit 110 of FIG.

220단계는 상기 인식한 동작에 해당하는 가상 객체를 생성하는 단계이다.In operation 220, a virtual object corresponding to the recognized operation is generated.

보다 구체적으로, 210단게에서 인식한 동작에 해당하는 가상 객체를 가상 공간상에 생성한다. 본 단계에 대한 상세한 설명은 도 1의 가상 객체 생성부(120)에 대한 상세한 설명에 대응하는바, 도 1의 가상 객체 생성부(120)에 대한 상세한 설명으로 대신한다.More specifically, a virtual object corresponding to the operation recognized in step 210 is created on the virtual space. The detailed description of this step corresponds to the detailed description of the virtual object generating unit 120 of FIG. 1, and is replaced with a detailed description of the virtual object generating unit 120 of FIG.

230단계는 상기 생성된 가상 객체를 상기 사용자에 정합시키는 단계이다.Step 230 is a step of matching the generated virtual object to the user.

보다 구체적으로, 가상 객체와 사용자에 증강현실을 구현하기 위하여, 220단계에 생성된 가상 객체를 상기 사용자에 정합시킨다. 본 단계에 대한 상세한 설명은 도 1의 증강현실부(130)에 대한 상세한 설명에 대응하는바, 도 1의 증강현실부(130)에 대한 상세한 설명으로 대신한다.More specifically, in order to implement an augmented reality for a virtual object and a user, the virtual object generated in step 220 is matched to the user. The detailed description of this step corresponds to the detailed description of the augmented reality part 130 shown in Fig. 1, and is not described in detail for the augmented reality part 130 shown in Fig.

240단게는 상기 사용자의 움직임에 따라 증강현실을 통해 상기 가상 객체를 동작시키는 단계이다.The step 240 is a step of operating the virtual object through the augmented reality according to the motion of the user.

보다 구체적으로, 230단계에서 정합된 이후, 사용자의 움직임에 따라 증강현실을 통해 정합된 가상 객체를 동작시킨다. 본 단계에 대한 상세한 설명은 도 1의 증강현실부(130)에 대한 상세한 설명에 대응하는바, 도 1의 증강현실부(130)에 대한 상세한 설명으로 대신한다.More specifically, after matching in step 230, the matching virtual object is operated according to the movement of the user through the augmented reality. The detailed description of this step corresponds to the detailed description of the augmented reality part 130 shown in Fig. 1, and is not described in detail for the augmented reality part 130 shown in Fig.

상기 가상 객체는 가상 객체 데이터베이스에 사용자 정보와 함께 저장되어 있을 수 있다. 상기 객체 데이터베이스는 상기 사용자가 수행하고자 하는 콘텐츠가 저장하고 있는 가상 객체들을 수신하여 저장하거나, 상기 사용자가 직접 생성한 가상 객체들을 저장할 수 있으며, 상기 가상 객체는 상기 사용자의 동작정보에 따라 수정되어 저장될 수 있다.
The virtual object may be stored in the virtual object database together with the user information. The object database may receive and store virtual objects stored in the content that the user wishes to perform or store the virtual objects generated by the user. The virtual object may be modified according to the operation information of the user and stored .

도 3 내지 5는 본 발명의 다른 실시예에 따른 동작인식을 이용한 가상 객체 정합합 방법의 흐름도이다.3 to 5 are flowcharts of a virtual object matching summing method using motion recognition according to another embodiment of the present invention.

도 3은 사용자가 등록된 사용자인지를 판단하는 방법의 흐름도이다.3 is a flowchart of a method for determining whether a user is a registered user.

310단계는 사용자를 인식하는 단계이고, 320단계는 310단계에서 인식한 사용자가 등록된 사용자인지 판단하는 단계이다. 상기 가상 객체는 상기 등록된 사용자에 설정된 가상 객체 중 하나일 수 있다. 310단계 내지 320단계에 대한 상세한 설명은 도 1의 사용자 인식부(140)에 대한 상세한 설명에 대응하는바, 도 1의 사용자 인식부(140)에 대한 상세한 설명으로 대신한다.Step 310 is a step of recognizing the user, and step 320 is a step of determining whether the user recognized in step 310 is a registered user. The virtual object may be one of the virtual objects set in the registered user. The detailed description of steps 310 to 320 corresponds to the detailed description of the user recognition unit 140 of FIG. 1, and is a detailed description of the user recognition unit 140 of FIG.

도 4는 사용자가 새로운 사용자인 경우, 상기 사용자에게 필요한 가상 객체를 설정하는 방법의 흐름도이다.4 is a flowchart of a method of setting a virtual object necessary for the user when the user is a new user.

410단계는 320단계의 판단결과, 사용자가 등록된 사용자가 아닌 경우, 사용자를 인증하는 단계이고, 420단계는 410단계에서 인증된 사용자에 대한 사용자 정보를 저장하는 단계이며, 430단계는 상기 사용자가 가상 공간상에서 콘텐츠를 수행하는데 필요한 가상 객체를 설정하여 저장하는 단계이고, 440단계는 상기 사용자에게 상기 저장된 객체를 생성시키기 위한 동작을 수행하도록 하고, 상기 사용자가 상기 가상 객체를 생성시키기 위한 동작을 수행하는 동안, 상기 사용자의 동작 정보를 저장하는 단계이다. 상기 콘텐츠는 증강현실을 통해 가상 객체를 동작시키는 콘텐츠일 수 있으며, 상기 저장된 사용자 정보에 따라 선택할 수 있는 가상 객체가 상이할 수 있다. 410단계 내지 440단계에 대한 상세한 설명은 도 1의 가상 객체 설정부(150)에 대한 상세한 설명에 대응하는바, 도 1의 가상 객체 설정부(150)에 대한 상세한 설명으로 대신한다.If it is determined in step 320 that the user is not a registered user, step 410 is a step of authenticating the user. Step 420 is a step of storing user information on an authenticated user in step 410. In step 430, Setting and storing a virtual object necessary for executing the content in the virtual space, and in operation 440, performing an operation for creating the stored object to the user, and performing an operation for creating the virtual object And storing the operation information of the user. The content may be a content for operating a virtual object through the augmented reality, and the virtual objects that can be selected may be different according to the stored user information. The detailed description of steps 410 to 440 corresponds to the detailed description of the virtual object setting unit 150 of FIG. 1 and is replaced with a detailed description of the virtual object setting unit 150 of FIG.

도 5는 증강현실을 통해 가상 객체를 동작시키는 방법의 흐름도이다.5 is a flowchart of a method of operating a virtual object through an augmented reality.

510단계는 사용자와 220단계에서 생성된 가상 객체의 가상 공간 속성 값을 추출하는 단계이고, 520단계는 510단계에서 추출된 가상 공간 속성 값을 이용하여 가상 공간 상에서 상기 사용자와 상기 가상 객체 간의 상호작용을 구현하는 단계이다. 510단계 내지 520단계에 대한 상세한 설명은 도 1의 증강현실부(130)에 대한 상세한 설명에 대응하는바, 도 1의 증강현실부(130)에 대한 상세한 설명으로 대신한다.
Step 510 is a step of extracting a virtual space attribute value of the virtual object created in step 220 and a virtual space attribute value of the virtual object created in step 220. In step 520, . The detailed description of steps 510 to 520 corresponds to the detailed description of the augmented reality part 130 of Fig. 1, and is not described in detail for the augmented reality part 130 of Fig.

도 6은 동작인식을 이용한 가상 객체 정합 방법을 도시한 것이다.6 illustrates a virtual object matching method using motion recognition.

사용자의 제스쳐, 즉 손 또는 몸의 동작을 인식하고, 그에 해당하는 가상 객체를 생성한다. 상기 가상 객체는 가상 객체 데이터베이스로부터 생성될 수 있다. 이후, 사용자와 상기 생성된 가상 객체를 정합하고, 게임 등 콘텐츠에서 상기 정합된 가상 객체를 활용할 수 있다. 상기 가상 객체는 콘텐츠에 따라 상이하며, 칼, 총, 갑옷, 권투글러브, 야구배트, 동물얼굴, 날개 등일 수 있다.
Recognizes the gesture of the user, that is, the motion of the hand or the body, and creates a corresponding virtual object. The virtual object may be generated from a virtual object database. Thereafter, the user can match the generated virtual object, and utilize the matched virtual object in content such as a game. The virtual object is different depending on the content, and may be a knife, a gun, an armor, a boxing glove, a baseball bat, an animal face, a wing, and the like.

도 7은 동작인식을 이용한 가상 객체 정합 방법에 의한 동작인식 및 증강현실 구현을 도시한 것이다.FIG. 7 shows an operation recognition and augmented reality realization by a virtual object matching method using motion recognition.

사용자가 칼을 잡는 동작을 취하면 이를 인식하여 가상 공간상에 칼을 생성하여 상기 칼을 사용자의 손에 쥐어줄 수 있다. 손을 인식함과 동시에 손의 위치를 추적하여 사용자의 동작을 분석한 후, 상기 동작에 해당하는 가상 객체를 생성하여 해당 가상 객체가 위치해야 하는 사용자 몸의 부분에 상기 가상 객체를 위치시켜 정합시킨다. 상기 정합된 가상 객체는 증강현실을 통해 사용자의 움직임에 따라 사용자와 상호작용할 수 있다.
When the user takes an operation of catching a knife, it recognizes the knife and generates a knife in the virtual space to hold the knife in the user's hand. Recognizes the hand, analyzes the user's motion by tracking the position of the hand, creates a virtual object corresponding to the motion, and aligns the virtual object to the part of the user's body where the virtual object should be positioned . The matched virtual object can interact with the user according to the movement of the user through the augmented reality.

도 8은 동작인식을 이용한 가상 객체 정합 방법의 각 단계의 관계를 도시한 것이다.FIG. 8 shows the relationship of each step of the virtual object matching method using motion recognition.

가상 객체 데이터베이스에는 콘텐츠에서 필요로 하는 아이템에 해당하는 가상 객체들이 저장되어 있을 수 있다. 콘텐츠가 시작되면 기존 사용자인지 판단하는 절차가 이루어지며, 기존에 데이터가 존재하지 않아 새로운 사용자가 생성되면 튜토리얼을 통해 사용자를 인증하여 초기값을 세팅하고, 콘텐츠를 플레이하면서 필요로 하는 가상 객체를 가상 객체 데이터베이스에 저장할 수 있다. 이후, 콘텐츠 이용시 사용자의 최근 세팅값을 반영하고 최적화하여 사용자별 사용 가능한 가상 객체들을 분류하여 개인화할 수 있다.
The virtual object database may store virtual objects corresponding to the items required in the contents. When the content starts, a procedure is performed to determine whether the user is an existing user. If a new user is created because no data exists, the user is authenticated through the tutorial and the initial value is set. It can be stored in the object database. Then, the user can classify and personalize usable virtual objects by reflecting and optimizing the user's recent setting values at the time of using the content.

도 9는 증강현실을 통해 가상 객체를 가상 공간상에서 동작시키는 것을 도시한 것이다.FIG. 9 illustrates the operation of a virtual object in a virtual space through an augmented reality.

기존의 3D 게임 콘텐츤느 화면만 깊이감 있게 입체적으로 보여줄 뿐 게임 충돌처리와 같은 내부 로직은 기존 2D 게임 콘텐츠들과 마찬가지로 2차원상의 충돌, 즉 상호작용으로 구현된다. 하지만, 입체적으로 게임 콘텐츠 상의 객체들이 움직이기 때문에 충돌처리 부분도 기존 디스플레이에서 확장하여 가상의 충돌 공간을 만들고 이를 처리할 수 있다. 이를 위하여, 각각의 가상 객체 객체들이 가상의 공간에서 입체적으로 움직일 때 사용자 객체와 충돌을 효과적으로 구현할 수 있는 속성값 추출하고, 상기 속성값을 이용하여 가상공간상에서 가상 객체와 사용자간의 상호작용을 구현할 수 있다. 3D 게임 콘텐츠 특성상 가상 객체들의 속성이 실시간으로 업데이트 되기 때문에 가상 충돌 공간에 효율적으로 접근하여 공간을 생성할 수 있다.
Internal logic, such as game conflict handling, is implemented in two-dimensional conflicts, that is, interactions, in the same way as existing 2D game contents, while showing only the existing 3D game content screen in depth and depth. However, since the objects on the game contents move in three dimensions, the collision processing part can be expanded on the existing display to create a virtual collision space and process it. For this purpose, when each virtual object object moves in three dimensions in a virtual space, an attribute value that can effectively implement a collision with the user object is extracted, and interaction between the virtual object and the user can be implemented using the attribute value have. Because the attributes of the virtual objects are updated in real time in the nature of the 3D game contents, space can be created efficiently by accessing the virtual conflict space.

본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed on various computer means and recorded on a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

100: 가상 객체 정합 장치
110: 동작 인식부
120: 가상 객체 생성부
130: 증강현실부
140: 사용자 인식부
150: 가상 객체 설정부
160: 가상 객체 데이터베이스100: virtual object matching device
110:
120: virtual object creation unit
130: augmented reality part
140:
150: virtual object setting unit
160: virtual object database

Claims (14)

동작인식을 이용한 가상 객체 정합 방법에 있어서,
사용자를 인식하는 단계;
상기 인식한 사용자가 등록된 사용자인지 판단하는 단계;
상기 사용자의 동작을 인식하는 단계;
상기 인식한 동작에 해당하는 가상 객체를 생성하는 단계;
상기 생성된 가상 객체를 상기 사용자에 정합시키는 단계; 및
상기 사용자의 움직임에 따라 증강현실을 통해 상기 가상 객체를 동작시키는 단계를 포함하고,
상기 인식한 사용자가 등록된 사용자인지 판단하는 단계의 판단 결과, 상기 사용자가 등록된 사용자가 아닌 경우,
상기 사용자를 인증하는 단계;
상기 인증된 사용자에 대한 사용자 정보를 저장하는 단계;
상기 사용자가 가상 공간상에서 콘텐츠를 수행하는데 필요한 가상 객체를 설정하여 저장하는 단계; 및
상기 사용자에게 상기 저장된 가상 객체를 생성시키기 위한 동작을 수행하도록 하고, 상기 사용자가 상기 가상 객체를 생성시키기 위한 동작을 수행하는 동안, 상기 사용자의 동작 정보를 저장하는 단계를 포함하고,
상기 콘텐츠는 증강현실을 통해 가상 객체를 동작시키는 콘텐츠인 것을 특징으로 하는 방법.
A virtual object matching method using motion recognition,
Recognizing the user;
Determining whether the recognized user is a registered user;
Recognizing the operation of the user;
Generating a virtual object corresponding to the recognized operation;
Matching the generated virtual object to the user; And
And operating the virtual object through the augmented reality according to the movement of the user,
If it is determined that the recognized user is a registered user,
Authenticating the user;
Storing user information for the authenticated user;
Setting and storing a virtual object necessary for the user to perform the content in the virtual space; And
Performing an operation for creating the stored virtual object to the user and storing operation information of the user while the user performs an operation for creating the virtual object,
Wherein the content is content that operates a virtual object through an augmented reality.
삭제delete 삭제delete 제 1 항에 있어서,
상기 가상 객체를 설정하여 저장하는 단계는,
상기 저장된 사용자 정보에 따라 선택할 수 있는 가상 객체가 상이한 것을 특징으로 하는 방법.
The method according to claim 1,
Wherein the step of setting and storing the virtual object comprises:
Wherein the virtual objects that can be selected according to the stored user information are different.
제 1 항에 있어서,
상기 가상 객체를 동작시키는 단계는,
상기 사용자 및 상기 생성된 가상 객체의 가상 공간 속성값을 추출하는 단계; 및
상기 추출된 가상 공간 속성값을 이용하여 가상 공간상에서 상기 사용자와 상기 가상 객체 간의 상호작용을 구현하는 단계를 포함하는 방법.
The method according to claim 1,
Wherein operating the virtual object comprises:
Extracting a virtual space attribute value of the user and the generated virtual object; And
And implementing an interaction between the user and the virtual object in a virtual space using the extracted virtual space attribute value.
제 1 항에 있어서,
상기 가상 객체는 가상 객체 데이터베이스에 사용자 정보와 함께 저장되어 있는 것을 특징으로 하는 방법.
The method according to claim 1,
Wherein the virtual object is stored in a virtual object database together with user information.
제 6 항에 있어서,
상기 객체 데이터베이스는,
상기 사용자가 수행하고자 하는 콘텐츠가 저장하고 있는 가상 객체들을 수신하여 저장하거나, 상기 사용자가 직접 생성한 가상 객체들을 저장하는 것을 특징으로 하는 방법.
The method according to claim 6,
The object database comprising:
Wherein the virtual objects received by the user are received and stored or the virtual objects generated by the user are stored.
제 6 항에 있어서,
상기 가상 객체는 상기 사용자의 동작정보에 따라 수정되어 저장되는 것을 특징으로 하는 방법.
The method according to claim 6,
Wherein the virtual object is modified and stored according to the operation information of the user.
제 1 항, 및 제 4 항 내지 제 8 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
9. A computer-readable recording medium having recorded thereon a program for causing a computer to execute the method according to any one of claims 1 to 8.
동작인식을 이용한 가상 객체 정합 장치에 있어서,
사용자를 인식하고, 상기 인식한 사용자가 등록된 사용자인지 판단하는 사용자 인식부;
상기 사용자의 동작을 인식하는 사용자 동작 인식부;
상기 인식한 동작에 해당하는 가상 객체를 생성하는 가상 객체 생성부; 및
상기 생성된 가상 객체를 상기 사용자에 정합시키고, 상기 사용자의 움직임에 따라 증강현실을 통해 상기 가상 객체를 동작시키는 증강현실부를 포함하고,
상기 사용자 인식부의 판단 결과, 상기 인식한 사용자가 등록된 사용자인지 판단하는 단계의 판단 결과, 상기 사용자가 등록된 사용자가 아닌 경우,
상기 사용자를 인증하고, 상기 인증된 사용자에 대한 사용자 정보를 저장하고, 상기 사용자가 가상 공간상에서 콘텐츠를 수행하는데 필요한 가상 객체를 설정하여 저장하며, 상기 사용자에게 상기 저장된 객체를 생성시키기 위한 동작을 수행하도록 하고, 상기 사용자가 상기 가상 객체를 생성시키기 위한 동작을 수행하는 동안, 상기 사용자의 동작 정보를 저장하는 가상 객체 설정부를 더 포함하고,
상기 콘텐츠는 증강현실을 통해 가상 객체를 동작시키는 콘텐츠인 것을 특징으로 하는 장치.
A virtual object matching apparatus using motion recognition,
A user recognition unit for recognizing a user and determining whether the recognized user is a registered user;
A user motion recognizing unit recognizing the motion of the user;
A virtual object generation unit for generating a virtual object corresponding to the recognized operation; And
An augmented reality unit for matching the generated virtual object with the user and operating the virtual object through an augmented reality according to a movement of the user,
If it is determined that the recognized user is a registered user as a result of the determination by the user recognition unit,
Storing the user information for the authenticated user, setting and storing a virtual object necessary for the user to perform the content in the virtual space, and performing an operation for creating the stored object to the user And a virtual object setting unit for storing operation information of the user while the user performs an operation for creating the virtual object,
Wherein the content is a content for operating a virtual object through an augmented reality.
삭제delete 삭제delete 제 10 항에 있어서,
상기 증강현실부는,
상기 사용자의 가상 공간 속성값 및 상기 생성된 가상 객체의 가상 공간 속성값을 추출하고, 상기 추출된 상기 사용자의 가상 공간 속성값 및 상기 생성된 가상 객체의 가상 공간 속성값을 이용하여 가상 공간상에서 상기 사용자와 상기 가상 객체 간의 상호작용을 구현하는 것을 특징으로 하는 장치.
11. The method of claim 10,
The augmented reality unit includes:
Extracting the virtual space attribute value of the user and the virtual space attribute value of the generated virtual object, extracting the virtual space attribute value of the user from the extracted virtual space attribute value and the virtual space attribute value of the generated virtual object, Wherein the virtual object implements an interaction between the user and the virtual object.
제 10 항에 있어서,
상기 가상 객체를 사용자 정보와 함께 저장하는 가상 객체 데이터베이스를 더 포함하는 장치.
11. The method of claim 10,
And a virtual object database for storing the virtual object together with user information.
KR1020130019275A 2013-02-22 2013-02-22 Method for generating and processing augmented reality item by recognizing gesture KR101517892B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130019275A KR101517892B1 (en) 2013-02-22 2013-02-22 Method for generating and processing augmented reality item by recognizing gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130019275A KR101517892B1 (en) 2013-02-22 2013-02-22 Method for generating and processing augmented reality item by recognizing gesture

Publications (2)

Publication Number Publication Date
KR20140105258A KR20140105258A (en) 2014-09-01
KR101517892B1 true KR101517892B1 (en) 2015-05-06

Family

ID=51754312

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130019275A KR101517892B1 (en) 2013-02-22 2013-02-22 Method for generating and processing augmented reality item by recognizing gesture

Country Status (1)

Country Link
KR (1) KR101517892B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101696607B1 (en) * 2016-08-17 2017-02-03 (주) 올림플래닛 Computer program storing recording medium for real-time controlling object in virtual reality interface system
KR101974911B1 (en) * 2018-10-29 2019-05-03 (주)앤트로스 Augmented reality based sports game system using trampoline

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101083408B1 (en) * 2010-01-18 2011-11-14 (주)엔시드코프 Augmented reality apparatus and method for supporting interactive mode

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101083408B1 (en) * 2010-01-18 2011-11-14 (주)엔시드코프 Augmented reality apparatus and method for supporting interactive mode

Also Published As

Publication number Publication date
KR20140105258A (en) 2014-09-01

Similar Documents

Publication Publication Date Title
US11263438B2 (en) Augmented reality identity verification
US10860838B1 (en) Universal facial expression translation and character rendering system
US10664060B2 (en) Multimodal input-based interaction method and device
KR102179935B1 (en) Service control and user identity authentication based on virtual reality
JP6929357B2 (en) User identification authentication using virtual reality
US11423624B2 (en) Mapping and localization of a passable world
CN105637564B (en) Generate the Augmented Reality content of unknown object
US20190236259A1 (en) Method for 3d graphical authentication on electronic devices
KR101784328B1 (en) Augmented reality surface displaying
KR102162373B1 (en) Associating an object with a subject
EP3528156A1 (en) Virtual reality environment-based identity authentication method and apparatus
US20210134043A1 (en) Object creation using body gestures
CN110168475A (en) User's interface device is imported into virtual reality/augmented reality system
CN106062673A (en) Controlling a computing-based device using gestures
US20210089639A1 (en) Method and system for 3d graphical authentication on electronic devices
CN105518575A (en) Two-hand interaction with natural user interface
CN108958573B (en) Identity authentication method and device based on virtual reality scene
CN108038916A (en) A kind of display methods of augmented reality
KR101517892B1 (en) Method for generating and processing augmented reality item by recognizing gesture
KR20130066812A (en) Method, apparatus, and computer readable recording medium for recognizing gestures
US20240061546A1 (en) Implementing contactless interactions with displayed digital content
KR102156175B1 (en) Interfacing device of providing user interface expoliting multi-modality and mehod thereof
Zakynthinou et al. Computer vision meets metaverse

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190430

Year of fee payment: 5