KR101692267B1 - Virtual reality contents system capable of interacting between head mounted user and people, and control method thereof - Google Patents
Virtual reality contents system capable of interacting between head mounted user and people, and control method thereof Download PDFInfo
- Publication number
- KR101692267B1 KR101692267B1 KR1020160108161A KR20160108161A KR101692267B1 KR 101692267 B1 KR101692267 B1 KR 101692267B1 KR 1020160108161 A KR1020160108161 A KR 1020160108161A KR 20160108161 A KR20160108161 A KR 20160108161A KR 101692267 B1 KR101692267 B1 KR 101692267B1
- Authority
- KR
- South Korea
- Prior art keywords
- client terminal
- server
- terminal
- content data
- content
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 94
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 28
- 238000013507 mapping Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 238000013506 data mapping Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H04N13/0429—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 대형 전광판을 통하여 출력된 가상현실 컨텐츠를 관람하는 관람객들이 HMD 유저와 상호작용(INTERACTION)이 가능하여 가상현실 컨텐츠에 대한 접근성을 높일 수 있고, 대중화에 기여할 수 있는 HMD 유저와 복수의 일반인들간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법에 관한 것이다. The present invention can improve the accessibility to the virtual reality contents by allowing the visitors who view the virtual reality contents output through the large electric signboard to interoperate with the HMD users, and the HMD users who can contribute to popularization, To a virtual reality content system and a control method thereof.
최근, IT 기술이 급속도록 발전하면서 영상기술과 각종 센서기술과 접목된 3D 가상현실에 대한 관심이 높아지고 있다.Recently, as IT technology has rapidly developed, interest in 3D virtual reality combined with video technology and various sensor technologies is increasing.
이와 같은 3D 가상현실은 특히 영화나 게임과 같은 엔터테인먼트 분야에 접목을 위한 다양한 시도가 이루어지고 있으며, 컴퓨터를 기반으로 동작하는 가상 현실프로그램을 통해 사용자의 동작을 인식하고 특정 상황을 영상처리부를 통해 출력함으로 컨텐츠에 참여할 수 있도록 한다. Such 3D virtual reality has been variously attempted to be applied to an entertainment field such as a movie or a game. A virtual reality program based on a computer recognizes a user's motion and outputs a specific situation through a video processor So that they can participate in content.
하지만, 기존 3D 가상현실 시스템의 경우 착용형 모니터를 비롯하여 각종 센서들이 유선연결을 통해 컴퓨터와 연결되었으며, 이는 각종 케이블로 인한 움직임의 제한과 더불어 컨텐츠에 대한 현실감 및 몰입도를 떨어뜨리는 요인으로 작용하였다. 특히 가상현실의 현실적 요구가 높아짐에 따라 출력되는 영상 및 음향의 품질이 높아지고, 음성, 위치, 동작을 감지하기 위한 센서의 수가 증가함에 따라 각종 유선 케이블의 사용도 증가하였으며, 하나의 가상현실을 복수의 인원이 참여하고자 할 경우 제한된 공간 내에서 사용자의 움직임을 심각하게 제한하게 되는 문제가 야기되었다.However, in the case of the existing 3D virtual reality system, various sensors including a wearable monitor are connected to a computer through a wired connection, which causes a limitation of movement due to various cables, and a factor that deteriorates the realism and immersion of contents . Especially, as the realistic demand of virtual reality increases, the output quality of video and sound increases. As the number of sensors to detect voice, position, and motion increases, the use of various wired cables also increases. The number of users of the mobile communication terminal has a problem that the movement of the user is severely restricted within a limited space.
따라서, 종래에는 상기와 같은 문제점을 해결하기 위한 기술이 다수 제안되었으나, 기본적으로 1인칭 시점의 컨텐츠임에 따라 현실과 고립된 공간의 매니아들을 양산하는 결과를 초래하게 되는 문제점이 있었다. Therefore, in the past, many techniques for solving the above-mentioned problems have been proposed. However, there is a problem in that, as the content is first-person viewpoint, mass production of enthusiasts in a real space and an isolated space is caused.
또한, 종래의 가상현실 컨텐츠는, 예를 들면, 1인칭 게임 위주로 출시됨에 따라 HMD(HEAD-MOUNTED DISPLAY)와 같은 고가의 장비가 필요하고, 조작이 어렵기 때문에 대중화가 늦어지는 문제점이 있었다. In addition, since conventional virtual reality contents are mainly marketed for first-person games, expensive equipment such as an HMD (HEAD-MOUNTED DISPLAY) is required and operation is difficult.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 가상현실과 실제 공간을 연결할 수 있도록 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법을 제공함에 있다. It is an object of the present invention to provide a virtual reality contents system capable of interacting with an HMD user and a plurality of ordinary people so as to connect a virtual reality and an actual space, Method.
또한, 본 발명은 제작 및 설치 비용이 저렴하고, 조작이 간단하여 가상현실 컨텐츠의 대중화에 기여할 수 있는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법을 제공하는 것을 목적으로 한다. It is another object of the present invention to provide a virtual reality contents system and a control method therefor that enable interaction between a plurality of ordinary people and an HMD user that can be manufactured and installed at low cost and simple in operation and contribute to popularization of virtual reality contents The purpose.
또한, 본 발명은 개방된 공간에서 가상현실 컨텐츠 화면의 관람 및 시연을 가능하도록 하여 관람객들의 관심을 유도하여 접근성을 높여 대중화에 기여할 수 있는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 컨텐츠 시스템 및 그 제어방법을 제공하는 것을 목적으로 한다. The present invention also provides a content system capable of interacting with an HMD user and a plurality of ordinary people who can view and demonstrate a virtual reality content screen in an open space, And a control method therefor.
본 발명은 상기와 같은 목적을 달성하기 위하여 하기와 같은 실시예를 포함한다. The present invention includes the following embodiments in order to achieve the above object.
본 발명의 바람직한 실시예는, 가상현실 컨텐츠를 실행하고, HMD 유저의 모션 및 조작명령에 따른 컨텐츠 데이터를 송신하는 클라이언트 단말에서 실행된 1인칭 가상현실 컨텐츠 화면을 1인칭과 3인칭중 어느 하나로 메인 디스플레이에 출력하는 서버와, 클라이언트 단말의 컨텐츠에 참여를 요청하고, 신체의 모션 감지 및 조작 신호중 적어도 하나가 포함된 컨텐츠 데이터를 생성하여 서버로 송신하는 복 수개의 관람객 단말을 포함하고, 서버는 관람객 단말의 컨텐츠 데이터를 클라이언트 단말의 컨텐츠 데이터에 융합시켜 클라이언트 단말로 송신하고, 클라이언트 단말로부터 수신된 관람객 단말과 클라이언트 단말과의 상호 작용에 따른 컨텐츠 진행과정을 메인디스플레이를 통하여 1인칭과 3인칭중 어느 하나의 컨텐츠 실행 화면으로 출력하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템을 제공할 수 있다.
A preferred embodiment of the present invention is a virtual reality contents display method for realizing virtual reality contents in a first person virtual reality contents screen executed in a client terminal which executes virtual reality contents and transmits content data according to an HMD user's motion and operation command, And a plurality of guest terminals for requesting participation in contents of the client terminal and generating content data including at least one of motion detection and operation signals of the body and transmitting the generated content data to the server, The content data of the terminal is merged with the content data of the client terminal and transmitted to the client terminal, and the content progress process according to the interaction between the viewer terminal and the client terminal received from the client terminal is displayed on the main display, either first person or third person HMD output to one content execution screen Interaction between a plurality of the public can provide virtual reality systems available content.
따라서, 본 발명은 가상현실 컨텐츠에서 일반인들의 참여가 매우 용이하고, HMD 유저와 복수의 관람객들간의 상호작용에 의해 컨텐츠가 진행될 수 있어 새로운 비즈니스 모델을 창출할 수 있는 효과가 있다.Therefore, the present invention has the effect of allowing the general public to participate in the virtual reality contents, and the content can be progressed by the interaction between the HMD user and a plurality of viewers, thereby creating a new business model.
또한, 본 발명은 가상현실 장비를 착용한 HMD 유저에 의해 연출되는 가상현실 컨텐츠를 개방된 장소에서 관람할 수 있도록 하여 관람객들의 관심과 참여를 유도할 수 있어 접근성을 향상시킬 수 있는 효과가 있다. In addition, the present invention enables virtual reality contents displayed by an HMD user wearing a virtual reality apparatus to be viewed in an open place, thereby inducing interest and participation of visitors, thereby improving accessibility.
또한, 본 발명은 비용이 저렴하고, 조작이 간편한 디바이스를 활용하여 다수의 관람객들이 동시에 접속할 수 있기에 다자간의 상호작용과, 다양한 분야에서의 능동적 체험, 과학 및 오락적 기능이 융합된 새로운 레저문화를 경험할 수 있게 하는 효과가 있다. Further, since the present invention can access a large number of viewers at the same time using a low-cost and easy-to-operate device, a new leisure culture combining multi-party interaction, active experience in various fields, scientific and entertainment functions There is an effect to be able to experience.
도 1은 본 발명에 따른 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법의 개요를 설명하기 위한 도면이다.
도 2는 본 발명의 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템을 도시한 블럭도이다.
도 3은 본 발명의 이동식 컨테이너의 일예를 도시한 사시도이다.
도 4는 본 발명의 메인 디스플레이 및 그 화면의 일예를 도시한 도면이다.
도 5는 본 발명의 고정단말을 도시한 블럭도이다.
도 6은 본 발명의 모바일 단말을 도시한 블럭도이다.
도 7은 본 발명의 서버 및 메인 디스플레이를 도시한 블럭도이다.
도 8은 본 발명의 설정부를 도시한 블럭도이다.
도 9는 본 발명의 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법을 도시한 순서도이다.
도 10은 본 발명에서 S110 단계를 도시한 순서도이다.
도 11은 본 발명에서 S120 단계를 도시한 순서도이다.
도 12는 본 발명에서 S200 단계의 제1실시예를 도시한 순서도이다.
도 13은 본 발명에서 S200 단계의 제2실시예를 도시한 순서도이다.
도 14는 본 발명에서 S200 단계의 제3실시예를 도시한 순서도이다. FIG. 1 is a view for explaining an outline of a virtual reality contents system and a control method thereof, in which an HMD user and a plurality of ordinary people can interact with each other according to the present invention.
2 is a block diagram illustrating a virtual reality content system capable of interacting with an HMD user of the present invention and a plurality of ordinary people.
3 is a perspective view showing an example of a mobile container of the present invention.
4 is a view showing an example of a main display and its screen of the present invention.
5 is a block diagram illustrating a fixed terminal of the present invention.
6 is a block diagram illustrating a mobile terminal of the present invention.
7 is a block diagram showing a server and a main display of the present invention.
8 is a block diagram showing a setting unit of the present invention.
9 is a flowchart illustrating a method of controlling a virtual reality contents system capable of interacting with an HMD user of the present invention and a plurality of ordinary people.
10 is a flowchart showing the step S110 in the present invention.
11 is a flowchart showing step S120 in the present invention.
12 is a flowchart showing the first embodiment of the step S200 in the present invention.
13 is a flowchart showing a second embodiment of the step S200 in the present invention.
14 is a flowchart showing the third embodiment of the step S200 in the present invention.
이하, 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 구현 예 및 실시 예를 들어 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 구현 예 및 실시 예에 한정되지 않는다.Hereinafter, embodiments and examples of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. It should be understood, however, that the present invention may be embodied in many different forms and is not limited to the embodiments and examples described herein.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "..부", "..부재", "..수단"의 용어는 적어도 하나의 기능이나 동작을 처리하는 구성의 단위를 의미하며, 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, " " absent, "and " means" in the specification mean units of a configuration for processing at least one function or operation and may be implemented by a combination of hardware and / Be able to
이하에서는 본 발명에 따른 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 방법을 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of a virtual reality contents system and a method thereof capable of interacting with an HMD user and a plurality of ordinary people according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법의 개요를 설명하기 위한 도면, 도 2는 본 발명의 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템을 도시한 블럭도이다. FIG. 1 is a view for explaining an outline of a virtual reality contents system and a control method thereof capable of interacting with an HMD user and a plurality of ordinary people according to the present invention. FIG. 2 is a block diagram showing a virtual reality contents system capable of operating.
도 1 및 도 2을 참조하면, 본 발명은 가상현실 컨텐츠를 실행하는 클라이언트 단말(500)과, 관람객들이 조작하는 관람객 단말(200)과, 클라이언트 단말(500)과 관람객 단말(200)에서 송신된 컨텐츠 데이터를 상호 맵핑하는 서버(100)와, 클라이언트 단말(500)과 관람객 단말(200)간의 상호작용에 의하여 구현되는 컨텐츠 화면을 출력하는 메인 디스플레이(400)와, 클라이언트 단말(500) 및/또는 메인 디스플레이(400)의 화면을 출력하는 서브 디스플레이(300)를 포함한다. 1 and 2, the present invention includes a
본 발명은 가상현실 장비를 착용한 HMD 유저의 1인칭 가상현실 컨텐츠의 화면을 3인칭으로 변환하여 공개된 장소에 설치된 메인 디스플레이(400)에 출력하여 다 수의 관람객들에게 관람 및 참여가 가능하다. The present invention converts a screen of a first-person virtual reality contents of an HMD user wearing a virtual reality apparatus into a third person and outputs the converted screen to a
즉, 다수의 관람객은 HMD 유저가 클라이언트 단말(500)로 실행시킨 가상현실 컨텐츠의 화면을 관람할 수 있고, 모션 및/또는 조작명령을 감지할 수 있는 관람객 단말(200)(고정단말(210) 및/또는 모바일 단말(220))을 이용하여 HMD 유저가 실행중인 가상현실 컨텐츠(예를 들면 3D 가상현실 게임)에 참여할 수 있도록 한다. That is, a plurality of viewers can view the virtual reality contents screen executed by the HMD user at the
또한, 공개된 장소에 설치된 메인 디스플레이(400)는 모듈러 방식에 의하여 시공된 건축물(700, 도 4 참조)의 외벽에 설치되는 것이 바람직하다. 모듈러 방식은 다 수개의 조립식 건축물(700)등이 조립되어 하나의 건축물(700)을 완성하는 방식으로 일반적으로 공지된 기술이다. 조립식 건축물(700)은 다양한 구조물이 제안되었으나, 본 발명에서는 조립식 컨테이너(70)를 일예로서 설명한다. Also, it is preferable that the
서브 디스플레이(300)는 복 수개로서 실내에 설치된다. 여기서, 서브 디스플레이(300)는 클라이언트 단말(500)별로 연결되어 클라이언트 단말(500)의 화면과 동일한 화면을 출력할 수 있다. 또는, 서브 디스플레이(300)는 복 수개로서 실내에 위치된 관람객들을 위하여 메인 디스플레이(400)와 동일한 화면을 출력할 수 있다. The
관람객 단말(200)은 메인 디스플레이(400)에서 출력된 컨텐츠 화면을 관람하는 관람객들중에서 컨텐츠에 참여를 희망하는 관람객들의 조작신호 및/또는 모션감지신호를 유선 또는 무선 통신방식으로 서버(100)로 송신한다. The
클라이언트 단말(500)은, 예를 들면, 가상현실(VIRTUAL REALITY)용 장비(예를 들면, HEAD MOUNTED DISPLAY)로 HMD 유저가 착용 및/또는 조작하는 단말에 해당된다. 이와 같은 클라이언트 단말(500)은 공지된 가상현실 장비에 해당되는 것임에 따라 구체적인 설명을 생략한다. The
서버(100)는 클라이언트 단말(500)에서 실행되는 컨텐츠에 복 수개의 관람객 단말(200)들로부터 수신된 컨텐츠 데이터를 맵핑시켜 클라이언트 단말(500)에 송신하고, 클라이언트 단말(500)로부터 수신된 컨텐츠 화면을 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 3인칭 또는 1인칭 화면으로 출력한다.The
예를 들면, 서버(100)는 1대 다수가 진행되는 게임이라면 메인 디스플레이(400)의 화면을 3인칭 화면으로서 출력하고, 1대1 게임이라면 메인 디스플레이(400) 역시 1인칭 시점의 화면으로 출력할 수 있다. For example, the
클라이언트 단말(500)은 서버(100)로부터 수신된 관람객 단말(200)들이 모션 및/또는 조작에 따른 캐릭터의 모션과, HMD 유저의 모션 및/또는 조작에 따른 캐릭터의 모션과 반응에 대하여 판정하고, 그 결과를 서버(100)로 송신할 수 있다. The
이때 서버(100)로 송신되는 클라이언트 단말(500)의 컨텐츠 데이터는 컨텐츠 화면과 관람객 단말(200)들의 캐릭터와, 클라이언트 단말(500)의 캐릭터와, 각 캐릭터간의 모션과, 캐릭터간의 모션에 다른 결과를 포함할 수 있다. At this time, the content data of the
여기서, 컨텐츠를 실행하고, 관람객 단말(200)들과 클라이언트 단말(500)과의 모션 및/또는 조작에 따른 결과를 판정하는 주체는 클라이언트 단말(500)과 서버(100)중에서 선택될 수 있다. Here, the subject for executing the content and determining the result of the motion and / or operation of the
즉, 클라이언트 단말(500)과 서버(100)는 컨텐츠를 진행하는 알고리즘(예를 들면, 데이터 맵핑, 결과판정, 그래픽)의 탑재 여부에 따라서 컨텐츠 진행 주체 여부가 결정될 수 있다. That is, the
서버(100)에서 컨텐츠를 실행시키는 경우에는 관람객 단말(200)들과 클라이언트 단말(500)의 컨텐츠 데이터를 맵핑시켜 그 결과까지 판정하여 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 그 화면을 출력하고, 결과를 클라이언트 단말(500)에 송신한다. The content data of the
또는, 서버는 클라이언트 단말(500)에서 컨텐츠를 실행하는 경우에 관람객 단말(200)들의 컨텐츠 데이터를 맵핑시켜 클라이언트 단말(500)에 송신하고, 클라이언트 단말(500)로부터 수신된 판정결과가 포함된 컨텐츠 데이터를 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 출력하도록 제어한다. Alternatively, when the content is executed by the
관람객 단말(200)은 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 출력된 클라이언트 단말(500)의 컨텐츠 실행과정을 관람하는 관람객들이 직접 게임에 참여할 수 있도록 서버(100)와 유무선 통신을 수행하여 관람객들의 모션 및/또는 조작신호를 서버(100)로 송신한다. 이를 위하여 관람객 단말(200)은 설정된 위치에서 고정된 고정단말(210)과 휴대 및/또는 착용 가능한 모바일 단말(220)중 어느 하나가 선택되거나 고정단말(210)과 모바일 단말(220)의 조합으로 이루어질 수 있다. The
고정단말(210)은 영상을 통하여 관람객들의 모션을 추출하여 게임데이터를 생성한다. 구체적인 구성은 후술한다. The fixed
모바일 단말(220)은 관람객들의 조작에 의하여 조작신호를 송신하는 조작 콘솔, 신체의 일부에 착용되어 모션을 감지하는 센서가 구비된 센서 단말기 또는 휴대용 통신 디바이스(스마트폰, PDA, 태블릿 PC)중 적어도 하나에 해당될 수 있다. The
여기서, 고정단말(210)과 모바일 단말(220)은 서버(100)에서 제공되는 컨텐츠 화면을 통하여 자신이 원하는 캐릭터를 생성 및/또는 선택함도 가능하다. 이와 같은 캐릭터관련 이미지 데이터는 서버(100)에서 저장되거나, 클라이언트 단말(500)에서 제공될 수 있다. Here, the fixed
또한, 메인 디스플레이(400)와 고정단말(210) 및 모바일 단말(220)은 실외에 설치되는 것으로서 설명하였으나, 이에 한정되는 것이 아니다. 즉, 본 발명에서 메인 디스플레이(400)는 실내의 지정된 위치에서 복 수개의 전광판이 조합된 대형 투명전광판으로 구성되거나, 단일의 대형 투명전광판으로서 구현될 수 있다. 마찬가지로, 모바일 단말(220) 및 고정단말(210) 역시 실내에 설치된 메인 디스플레이(400)의 설정된 영역 내에서 서버(100)와 통신을 수행할 수 있다. Also, the
상술한 구성들의 설명은 도 3 내지 도 8을 참조하여 상세히 설명한다. The description of the above-described configurations will be described in detail with reference to Figs. 3 to 8. Fig.
도 3은 본 발명의 조립식 컨테이너의 일예를 도시한 사시도, 도 4는 본 발명의 메인 디스플레이 및 그 화면의 일예를 도시한 도면이다. FIG. 3 is a perspective view showing an example of a prefabricated container of the present invention, and FIG. 4 is a view showing an example of a main display and a screen of the present invention.
도 3 및 도 4를 참조하면, 본 발명에 따른 메인 디스플레이(400)는, 예를 들면, 복 수개가 조립되어 하나의 건축물(700)을 완성하는 모듈러 시공방법에 적용되는 조립식 컨테이너(70)로 구성될 수 있다. 3 and 4, the
이중, 본 발명에서 적용된 조립식 컨테이너(70)는 상하좌우측 벽면중 적어도 하나가 투명전광판(411)으로서 구현된다. 여기서 투명전광판(411)은 복 수개의 발광소자가 투명전극에서 패턴형성된 배선으로부터 인가되는 전원에 의하여 발광되도록 실장되는 발광판과, 발광판에 레진으로서 접착되는 복 수개의 커버판으로서 구성될 수 있다. 이중 복 수개의 커버판은 페어글라스 구조로 이루어져 단열 및 소음차폐가 가능한 것이 바람직하다. In the
즉, 본 발명은 일측 벽면이 투명전광판(411)으로 이루어진 복 수개의 조립식 컨테이너(70)가 적층됨에 따라 복 수개의 투명전광판(411~414))의 조합으로 대형 사이즈의 메인 디스플레이(400)를 구현할 수 있다. That is, according to the present invention, a large-sized
이와 같은 메인 디스플레이(400)의 구성은 예를 위하여 실외측에 위치되는 것으로 설명되었으나, 실내측에 설치됨도 가능하다. Although the structure of the
서브 디스플레이(300)는 위와 같은 조립식 컨테이너(70)의 조립에 의해 완성된 건축물(700)의 내측에서 클라이언트 단말(500) 및/또는 메인 디스플레이(400)의 화면을 출력한다. The
따라서, 본 발명은 복 수개의 조립식 컨테이너(70)에 의해 완성된 모듈러 건축물(700)의 실내에 위치된 클라이언트 단말(500)의 화면 및/또는 메인 디스플레이(400)의 화면을 실내에 위치된 서브 디스플레이(300)를 통하여 확인할 수 있다. Accordingly, the present invention can provide a screen of the
고정단말(210)은 도 4와 도 5를 참조하여 설명한다. The fixed
도 5는 본 발명의 고정단말을 도시한 블럭도이다. 5 is a block diagram illustrating a fixed terminal of the present invention.
도 5를 참조하면, 본 발명의 고정단말(210)은 도 4에 도시된 바와 같이, 메인 디스플레이(400)의 전방에서 설정된 영역을 감시하도록 고정된 단말이다. 보다 상세히 설명하자면, 고정단말(210)은 설정된 영역의 영상을 촬영하는 카메라(212)와, 카메라(212)에서 촬영된 영상의 모션을 추출하는 모션 감지부(213)와, 촬영된 영상의 객체를 추출 및 설정하는 객체 설정부(214)와, 모션감지 신호가 포함된 관람객 단말(200)의 컨텐츠 데이터를 생성하는 고정 제어부(211)와, 고정 제어부(211)의 제어에 의하여 서버(100)에 컨텐츠 데이터를 송신하는 고정 통신부(215)를 포함한다. Referring to FIG. 5, the fixed
카메라(212)는 고정제어부(211)의 제어에 의해 메인 디스플레이(400)의 전방에 설정된 영역에 위치된 관람객(A)을 촬영하여 모션 감지부(213)로 출력한다. The
객체 설정부(214)는 고정 제어부(211)의 제어에 의해 카메라(212)에서 촬영된 영상에서 객체를 설정 및 추출한다. The
모션 감지부(213)는 객체 설정부(214)에서 설정된 객체의 모션을 감지하여 고정 제어부(211)에 출력한다. 여기서, 모션 감지부(213)는, 예를 들면, 카메라(212)에서 촬영된 관람객(A)의 영상에서 이전 영상 프레임과 현재 영상 프레임을 비교하여 객체 설정부(214)에서 설정된 객체의 모션여부를 판별할 수 있다. The
고정 제어부(211)는 카메라(212)에서 영상이 촬영되면, 객체 설정부(214)를 제어하여 촬영된 영상의 객체를 분류하고, 이중 설정된 객체의 모션을 감지하도록 모션 감지부(213)를 제어한다. When the
예를 들면, 고정 제어부(211)는 서버(100)에서 선택된 컨텐츠가 축구일 경우(도 4 참조), 클라이언트 단말(500)에서 조작되는 캐릭터(500')가 골키퍼고, 관람객(A)이 조작하는 캐릭터가 상대방 공격수로 설정된다. 따라서, 관람객(A)은 메인 디스플레이(400)에 출력된 클라이언트 단말(500)의 캐릭터(500')의 전방에서 설정된 위치에 위치하면, 고정단말(210)은 관람객(A)의 발의 움직임과 속도를 감지하여 컨텐츠 데이터를 생성한다. For example, when the content selected by the
즉, 고정단말(210)은 메인 디스플레이(400)에 출력되는 가상현실 컨텐츠에서 관람객(A)의 모션을 감지하여 컨텐츠 데이터(예를 들면, 속도, 방향 및 위치)를 산출하여 서버(100)로 송신한다. That is, the fixed
모바일 단말(220)은 관람객(A)의 신체에 착용되거나 또는 휴대 가능한 단말로서 관람객이 조작에 따른 신호와 센서의 감지에 의한 컨텐츠 데이터를 서버(100)로 송신한다. 모바일 단말(220)은 도 4와 도 6을 참조하여 설명한다. The
도 6은 본 발명의 모바일 단말(220)을 도시한 블럭도이다. 6 is a block diagram illustrating a
도 6을 참조하면, 모바일 단말(220)은 서버(100)와 통신하는 모바일 통신부(222)와, 관람객의 모션을 감지하는 모바일 센서부(223)와, 다 수개의 키패널을 통한 조작 명령을 출력하는 모바일 조작부(224)와, 모바일 통신부(222) 내지 모바일 조작부(224)를 제어하는 모바일 제어부(221)를 포함한다. 6, the
모바일 통신부(222)는 서버(100) 및/또는 고정단말(210)과 무선으로 통신을 수행한다. 예를 들면, 모바일 통신부(222)는 모바일 제어부(221)의 제어에 의하여 관람객의 모션감지 데이터가 포함된 컨텐츠 데이터를 서버(100)에 송신한다. The
모바일 센서부(223)는 관람객(A)의 신체 일부(예를 들면, 팔, 다리, 목)의 위치 및 모션(MOTION)을 감지하여 모바일 제어부(221)에 출력한다. The
모바일 조작부(224)는 조이스틱, 키패널 및 마우스중 어느 하나로서 관람객의 조작에 의한 조작명령을 출력한다. 또는, 모바일 조작부(224)는 입출력이 모두 가능한 터치 스크린에 해당 될 수 있다. The
즉, 모바일 단말(220)은 게임 콘솔, 웨어러블 센서(WEARABLE SENSOR) 및 휴대용 통신 디바이스(스마트폰, PDA, 태블릿 PC)중 적어도 하나에 해당될 수 있다. That is, the
더욱 바람직하게로는 모바일 단말(220)과 고정단말(210)의 조합에 의하여 관람객의 컨텐츠 데이터를 생성하여 서버(100)로 송신하는 것이다. 예를 들면, 고정단말(210)은 카메라(212)의 촬영 영상을 통하여 관람객의 몸짓이나 위치등을 감지하고, 모바일 단말(220)은 관람객(A)의 신체에 착용되어 방향과 속도를 감지한다. More preferably, the
따라서, 서버(100)는 고정단말(210)과 모바일 단말(220)의 모션감지신호를 통하여 관람객의 위치와 방향, 속도에 일치되는 컨텐츠 데이터를 생성하여 클라이언트 단말(500)의 컨텐츠 데이터와 맵핑시켜 상호간의 게임을 진행한다. Accordingly, the
구체적인 예를 들면, 격투 게임의 경우 카메라(212)에서 촬영된 영상을 통하여 관람객의 위치나 움직임으로서 회피 여부를 결정하고, 팔과 다리에 착용된 모바일 단말(220)의 센서 감지를 통하여 클라이언트 단말(500) 캐릭터에 대한 타격시의 모션 데이터(예를 들면, 방향과 속도)를 생성할 수 있다. For example, in the case of a fighting game, it is determined whether or not to avoid the position or movement of the viewer through the image captured by the
서버(100) 및 메인 디스플레이(400)는 도 4와 도 7 및 도 8을 참조하여 설명한다. The
도 7은 본 발명의 서버 및 메인 디스플레이를 도시한 블럭도, 도 8을 서버의 설정부를 도시한 블럭도이다. FIG. 7 is a block diagram showing a server and a main display of the present invention, and FIG. 8 is a block diagram showing a setting unit of a server.
도 7과 도 8을 참조하면, 본 발명의 서버(100)는 관람객 단말(200)(고정단말(210) 및/또는 모바일 단말(220))과 클라이언트 단말(500)과 통신하는 서버 통신부(120)와, 접속 가능한 관람객 단말(200) 및 클라이언트 단말(500)의 숫자와 우선순위를 설정하는 설정부(130)와, 클라이언트 단말(500)의 컨텐츠 데이터와 관람객 단말(200)의 컨텐츠 데이터를 통합하여 하나의 컨텐츠 화면에 맵핑시키는 맵핑부(140)와, 클라이언트 단말(500)에서 실행되는 컨텐츠가 저장된 데이터베이스(150)와, 음향을 출력하는 음향출력부(170)와, 메인 디스플레이(400)를 구동제어하는 전광판 구동부(160)를 포함한다. 7 and 8, the
서버 통신부(120)는 유선 및/또는 무선으로서 클라이언트 단말(500) 및 관람객 단말(200)과 통신을 수행한다. 서버 통신부(120)는 서버 제어부(110)의 제어에 의하여 클라이언트 단말(500)의 컨텐츠 데이터와 관람객 단말(200)의 컨텐츠 데이터를 각각 수신하여 서버 제어부(110)로 출력한다. The
설정부(130)는, 도 8을 참조하면, 동시 접속 가능한 관람객 단말(200)의 숫자가 설정되어 관람객 단말(200)의 접속을 제한하는 리미트 설정모듈(131)과, 메인 디스플레이(400) 및 서브디스플레이의 화면을 분할 제어하는 표시 제어모듈(132)과, 관람객 단말(200)에 우선순위를 부여하는 순위 설정모듈(133)을 포함한다. 8, the
리미트 설정모듈(131)은 설정된 접속 조건에 따라 동시 접속 가능한 관람객 단말(200)의 숫자를 제한한다. 예를 들면, 리미트 설정모듈(131)은 최대 접속 가능한 관람객 단말(200)의 숫자가 7이면, 현재 접속중인 7개의 관람객 단말(200) 외에 다른 관람객 단말(200)의 접속을 제한한다. The
표시 제어모듈(132)은 메인 디스플레이(400) 및/또는 서브디스플레이의 화면을 적어도 2이상으로 분할한다. 예를 들면, 표시 제어모듈(132)은 클라이언트 단말(500)이 2개라면, 메인 디스플레이(400) 화면을 2개로 분할하여 각 클라이언트 단말(500)별로 접속된 관람객 단말(200)이 캐릭터를 출력한다. The
순위 설정모듈(133)은, 관람객 단말(200)들의 접속 및/또는 실행 우선순위를 설정한다. 예를 들면, 축구게임의 경우에 클라이언트 단말(500)의 캐릭터가 골키퍼라면, 관람객 단말(200)은 10명의 필드 플레이어가 된다. 이때, 축구공은 하나임에 따라 페널티킥 상황에서 10명의 필드 플레이어 캐릭터가 동시에 슛할 수 없기에 순위 설정모듈(133)의 우선순위에 따라 10개의 캐릭터가 자동으로 슛팅 순서가 설정된다. The
또는, 순위 설정모듈(133)은 동시 접속의 제한 조건에 따라 현재 접속된 캐릭터외에 접속 대기중인 관람객 단말(200)들에, 예를 들면, 접속 요청 시간대에 따라 우선순위를 설정할 수 있다. Alternatively, the
맵핑부(140)는 클라이언트 단말(500)의 컨텐츠 데이터에 관람객 단말(200)의 컨턴츠 데이터를 맵핑한다. 예를 들면, 맵핑부(140)는 클라이언트 단말(500)의 모션과 위치를 포함한 컨텐츠 데이터에 관람객 단말(200)들의 컨텐츠 데이터를 맵핑시킨다. 여기서 맵핑부(140)에 의해 맵핑된 컨텐츠 데이터는 클라이언트 단말(500)로 송신된다. The
데이터베이스(150)는 리미트 설정조건과, 클라이언트 단말(500) 및 관람객 단말(200)의 고유 식별정보와, 컨텐츠의 실행정보와, 등록된 클라이언트 단말(500)들의 식별정보와, 음향 및 문자로 이루어진 안내메세지등이 포함될 수 있다. 또는 별도의 광고용 컨텐츠가 저장될 수 있다. The
전광판 구동부(160)는 복 수개의 전광판(411)을 순차적 및/또는 일괄제어하여 메인 디스플레이(400)를 구동시킨다. 여기서 메인 디스플레이(400)는 복 수개의 전광판(411)과, 각 전광판(411)을 구동제어하는 복 수개의 컨트롤러를 구비할 수 있다. 전광판(411)은 조립식 컨테이너(70)의 일벽면을 이루는 투명전광판(411)에 해당된다. The electric
서버 제어부(110)는 서버 통신부(120)를 통하여 수신된 클라이언트 단말(500)과 관람객 단말(200)들의 컨텐츠 데이터가 수신되면, 맵핑부(140)를 구동시켜 양 데이터를 융합시키고 클라이언트 단말(500)에 송신한다. 그리고, 서버 제어부(110)는 클라이언트 단말(500)로부터 수신된 컨텐츠 화면을 메인 디스플레이(400)를 통하여 출력하도록 전광판 구동부(160)를 제어한다. The
여기서, 클라이언트 단말(500)은 1인칭 화면을 출력하고, 메인 디스플레이(400)에 출력된 화면은 3인칭 또는 1인칭 시점의 화면으로서 출력된다. 또는 서버 제어부(110)는 컨텐츠 내용에 따라 메인 디스플레이(400)의 화면을 1인칭 또는 3인칭 화면중에서 선택적으로 변환될 수 있다. Here, the
또한, 서버 제어부(110)는 설정부(130)에서 감지된 제한 조건에 해당되면, 리미트 설정모듈(131)과 순위 설정모듈(133)을 제어하여 서버 통신부(120)를 통하여 접속요청되는 관람객 단말(200)들의 접속을 제한하거나 접속된 관람객 단말(200)들별로 설정된 우선순위에 따라서 순차적으로 통신 채널을 개방 또는 차단할 수 있다. 또한, 서버 제어부(110)는 대기중인 관람객 단말(200)들에게 접속 요청 시간에 따라서 우선순위를 부여하여 순차적으로 접속을 허여 할 수 있다. The
또한, 서버 제어부(110)는 서버 통신부(120)를 통하여 접속 요청된 클라이언트 단말(500)의 숫자에 따라서 표시 제어모듈(132)을 구동시킨다. 표시 제어모듈(132)은 전광판 구동부(160)를 구동시켜 클라이언트 단말(500)의 숫자에 따라 화면을 분할하도록 한다. The
또한, 서버 제어부(110)는 음향출력부(170)를 제어하여 메인 디스플레이(400)의 화면에 따라 설정된 음향과, 클라이언트 단말(500) 및 관람객 단말(200)들의 캐릭터별 모션에 따른 음향과, 데이터베이스(150)에 저장된 음성 메세지지등을 출력하도록 음향출력부(170)를 제어할 수 있다. The
본 발명은 상기와 같은 구성을 통하여 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법을 제공할 수 있다. 이는 도 9 내지 도 14를 참조하여 설명한다. The present invention can provide a control method of a virtual reality contents system capable of interacting with an HMD user and a plurality of ordinary people through the above-described configuration. This will be described with reference to Figs. 9 to 14. Fig.
도 9는 본 발명의 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법을 도시한 순서도이다. 9 is a flowchart illustrating a method of controlling a virtual reality contents system capable of interacting with an HMD user of the present invention and a plurality of ordinary people.
도 9를 참조하면, 본 발명은 고정단말(210) 및 모바일 단말(220)로부터 감지된 관람객 단말(200)의 모션 및/또는 조작을 감지하는 관람객 단말(200)의 S100 단계와, 서버(100)에서 관람객 단말(200)들과 클라이언트 단말(500)로부터 수신된 컨텐츠 데이터를 맵핑시켜 메인 디스플레이(400)와 서브 디스플레이(300)에 출력하는 S200 단계와, 클라이언트 단말(500)에서 선택된 컨텐츠를 실행 및 모션을 감지하는 S310 단계 및 S320단계와, 메인 디스플레이(400)에서 클라이언트 단말(500)의 컨텐츠 화면을 출력하는 S410 단계와, 클라이언트 단말(500)과 관람객 단말(200)들의 융합된 컨텐츠 화면을 출력하는 S420 단계를 포함한다. 9, the present invention includes a step S100 of a
먼저, HMD 유저는 S310 단계에서 자신의 클라이언트 단말(500)(예를 들면 HMD)을 착용하고, 컨텐츠를 선택한다. 이와 같은 컨텐츠 선택신호는 서버(100)로 송신된다. 또한, HMD 유저는 S320 단계에서 자신의 클라이언트 단말(500)을 조작하여 컨텐츠를 실행한다. 이때 클라이언트 단말(500)은 HMD 유저의 조작 및 모션을 감지한 컨텐츠 데이터를 생성하여 서버(100)로 송신한다. First, the HMD user wears his / her client terminal 500 (e.g., HMD) in step S310 and selects content. The content selection signal is transmitted to the
따라서, 서버(100)는 S200 단계에서 클라이언트 단말(500)로부터 수신된 컨텐츠 데이터를 메인 디스플레이(400)에 출력한다. 또한, 서버(100)는 서브 디스플레이(300)를 구동시켜 클라이언트 단말(500)의 컨텐츠 데이터를 출력하도록 제어함도 가능하다. Accordingly, the
메인 디스플레이(400)는 S410 단계에서 클라이언트 단말(500)의 컨텐츠 화면을 출력한다. 여기서, S410 단계의 컨텐츠 화면은 클라이언트 단말(500)(예를 들면, HMD)에서 출력된 1인칭 시점의 화면을 3인칭시점으로 변환시킨 화면이다. The
그러므로, 메인 디스플레이(400)는 클라이언트 단말(500)의 컨텐츠 화면이 출력되어 관람객들의 관심을 끌 수 있다. 이때, 서버(100)는 음향출력부(170)를 통하여 클라이언트 단말(500)과의 게임 참여를 유도하는 음성 메세지를 출력할 수 있다. 또는 서버(100)는 메인 디스플레이(400)를 통하여 관람객의 참여를 유도하는 문자메세지를 출력함도 가능하다. Therefore, the
이때, S100 단계에서 실외측 관람객들은 메인 디스플레이(400)를 통하여 출력되는 컨텐츠 화면을 확인하고, 도 4에 도시된 바와 같이, 설정된 영역으로 이동하여 고정단말(210) 및/또는 모바일 단말(220)을 이용하여 메인 디스플레이(400)에 출력된 클라이언트 단말(500)의 캐릭터(500')와의 게임을 진행한다. At this time, in step S100, the out-door viewers check the content screen output through the
아울러, 서버(100)는 S200 단계에서 클라이언트 단말(500)과 복 수개의 관람객 단말(200)로부터 수신된 컨텐츠 데이터를 상호 맵핑하여 메인 디스플레이(400) 및 서브 디스플레이(300)를 통하여 출력시킨다. In step S200, the
이중, S100단계는 모바일 단말(220)에서 관람객의 조작 및/또는 모션을 감지하는 S110단계와, 고정단말(210)에서 관람객의 모션을 감지하는 S120 단계를 포함한다. S110 단계는 첨부된 도 10, S120 단계는 도 11을 참조하여 설명한다. In operation S100, the operation and / or motion of the viewer is sensed in the
도 10은 본 발명에서 S110 단계를 도시한 순서도이다. 10 is a flowchart showing the step S110 in the present invention.
도 10을 참조하면, S110 단계는 모바일 단말(220)이 온되는 S111 단계와, 관람객의 모션 및/또는 입력된 조작명령을 확인하는 S112 단계와, S112 단계에서 감지된 모션 및/또는 조작명령을 설정된 포맷을 변환하여 서버(100)에 송신하는 S113 단계를 포함한다. Referring to FIG. 10, step S110 includes step S111 in which the
S111 단계는 모바일 단말(220)이 관람객의 신체에 착용된 후 온 되거나 관람객의 조작에 의하여 전원이 온되는 단계이다. 상술한 바와 같이, 모바일 단말(220)은 신체에 착용되어 모션을 감지하는 가능한 웨어러블 센서와, 스마트폰과 PDA 및 태블릿PC와 같은 휴대용 통신 디바이스 및 조작 콘솔과 같은 무선통신이 가능한 단말중 적어도 하나가 선택될 수 있다. In step S111, the
웨어러블 센서의 경우는 관람객의 신체(예를 들면, 손, 팔, 다리중 적어도 하나)에 착용되어 착용된 신체 부위의 모션을 감지하여 무선으로 서버(100)에 송신한다. In the case of the wearable sensor, the wearer wears the wearer's body (e.g., at least one of a hand, an arm, and a leg) and senses the motion of the wearer's body and transmits it to the
휴대용 통신 디바이스는, 예를 들면, 스마트폰, PDA, 태블릿 PC중 선택된 어느 하나로서, 서버(100)에서 송신된 컨텐츠의 조작명령을 입력할 수 있는 어플리케이션을 수신 및 실행시켜 상술한 클라이언트 단말(500)의 컨텐츠에 참여할 수 있다. The portable communication device receives and executes an application capable of inputting an operation command of content transmitted from the
여기서, 휴대용 통신 디바이스에 설치되는 어플리케이션은 컨텐츠의 참여 명령과, 참여 캐릭터의 생성 및/또는 선택과, 캐릭터의 모션을 제어할 수 있는 조작명령을 입력할 수 있도록 메뉴가 구성될 수 있다. Here, the application installed in the portable communication device may be configured to input a content participation command, a creation and / or selection of a participating character, and an operation command for controlling the motion of the character.
또한, 조작 콘솔은 모바일 조작부(224)를 통하여 모션을 제어하는 명령을 입력하고, 메인 디스플레이(400)를 통하여 자신의 캐릭터를 생성 및/또는 선택할 수 있도록 한다. Further, the operation console inputs a command for controlling the motion through the
즉, 휴대용 통신 디바이스, 웨어러블 센서 및 조작콘솔중 적어도 하나를 포함하는 모바일 단말(220)은 모션을 감지하는 센서와, 조작명령의 입력 및 메뉴의 선택이 가능한 모바일 조작부(224)중 적어도 하나가 구비되어 캐릭터 모션의 감지 및/또는 조작명령을 입력할 수 있다. 또한, 모바일 단(220) 자신의 캐릭터를 생성 및/또는 선택할 수 있는 것이 바람직하다. That is, the
S112 단계는 모바일 단말(220)에서 관람객의 모션을 감지 및/또는 조작 명령을 수신하는 단계이다. Step S112 is a step of sensing the motion of the viewer at the
웨어러블 센서를 착용한 관람객은, 예를 들면, 도 4에 도시된 바와 같이, 클라이언트 단말(500)의 캐릭터가 축구 골문을 지키는 골키퍼이고, 자신이 골을 넣는 플레이어라면, 축구공을 차기 위한 모션을 취한다. 따라서, 모바일 센서부(223)는 이를 감지하여 모바일 제어부(221)로 출력한다.As shown in Fig. 4, for example, if the character of the
또는, 조작 콘솔 또는 스마트폰을 이용하는 관람객은 모바일 조작부(224)를 조작하여 슈팅 명령을 입력한다. Alternatively, a viewer using the operation console or the smart phone operates the
따라서, 모바일 제어부(221)는 모바일 센서부(223) 및/또는 모바일 조작부(224)로부터 모션감지 또는 조작명령이 입력되는 지를 확인한다. Accordingly, the
S113 단계는 모바일 제어부(221)가 모바일 센서부(223) 또는 모바일 조작부(224)로부터 입력된 모션감지신호와 조작명령이 포함된 컨텐츠 데이터를 서버(100)로 송신하는 단계이다. In step S113, the
여기서, 모바일 제어부(221)는 모바일 센서의 모션 감지신호 및/또는 조작명령과, 고유 식별정보를 포함하는 컨텐츠 데이터를 생성하여 서버(100)로 송신한다. 이때, 송신된 컨텐츠 데이터는 클라이언트 단말(500)의 컨텐츠 데이터에 맵핑된다. Here, the
S120 단계는 고정단말(210)에서 컨텐츠 데이터를 생성하는 과정이며, 이는 도 11을 참조하여 설명한다. In step S120, the fixed
도 11은 S120 단계를 도시한 순서도이다.11 is a flowchart showing step S120.
도 11을 참조하면, 고정단말(210)에서 설정된 영역에 위치된 관람객을 촬영하는 S121 단계와, 촬영된 영상에서 객체를 분류 및 설정하는 S122 단계와, 설정된 객체의 모션을 감지하는 S123 단계와, S123 단계에서 감지된 모션 감지신호를 설정된 포맷의 데이터로 변환하여 서버(100)로 송신하는 S124 단계를 포함한다. Referring to FIG. 11, step S121 of photographing a visitor located in a predetermined area in the fixed
S121 단계는 고정단말(210)에서 카메라(212)가 온되어 메인 디스플레이(400) 전방에 설정된 영역내에 위치된 관람객을 촬영하는 단계이다. 여기서 고정 제어부(211)는 카메라(212)를 온하여 설정된 영역을 촬영한다. 이때, 고정단말(210)은 서버(100)의 제어 또는 별도의 조작 키패널에서 입력된 명령에 따라 온 된다. 이와 같은 고정단말(210)의 온 또는 오프 동작은 일반적으로 공지된 기술을 적용할 수 있어 그 상세한 설명을 생략하였다. In step S121, the
S122 단계는 고정 제어부(211)가 카메라(212)에서 촬영된 영상을 객체 설정부(214)로 출력하여 촬영된 영상에 포함된 객체의 분류 및 설정하는 단계이다. 여기서, 객체 설정부(214)는 컨텐츠별로 모션 감지 대상 객체를 선택적으로 설정할 수 있다. 예를 들면, 객체 설정부(214)는 축구 게임일 경우에 신체의 발과 다리를 대상 객체로 설정하고, 격투 게임경우에 손과, 다리, 목과, 몸통 및 머리로서 객체를 설정한다. In step S122, the fixed
따라서, 객체 설정부(214)는 고정 제어부(211)의 제어에 의해 카메라(212)에서 촬영된 영상중 설정된 객체를 추출하여 모션 감지 대상 객체를 설정한다. Accordingly, the
S123 단계는 고정 제어부(211)의 제어에 의하여 모션 감지부(213)가 구동되어 촬영된 영상에서 설정된 객체의 모션을 감지하는 단계이다. 모션 감지부(213)는 각 영상에서 프레임들을 비교하여 설정된 객체의 모션을 감지하여 고정 제어부(211)에 감지신호를 출력한다. In step S123, the
S124 단계는 고정 제어부(211)가 모션 감지부(213)의 모션감지신호와 고유 식별정보를 조합하여 컨텐츠 데이터를 생성하여 서버(100)에 송신하는 단계이다. 고정 제어부(211)는 설정된 고유 식별정보와, 모션 감지부(213)의 모션 감지신호를 조합하여 설정된 포맷의 데이터로 변환시킨 뒤에 고정 통신부(215)를 제어하여 서버(100)로 송신한다. In step S124, the fixed
서버(100)는 S200 단계에서 상술한 S310 단계 및 S320 단계에서의 클라이언트 단말(500)의 구동과, S110 단계 및/또는 S120 단계에서의 모바일 단말(220)의 구동에 의하여 각각 생성된 컨텐츠 데이터를 맵핑하여 메인 디스플레이(400)에 1인칭 또는 3인칭 시점의 컨텐츠 화면을 출력한다. S200 단계는 도 12 내지 도 14를 참조하여 설명한다. The
도 12는 본 발명의 S200 단계의 제1실시예를 도시한 순서도이다. 12 is a flowchart showing a first embodiment of the step S200 of the present invention.
도 12를 참조하면, S200 단계의 제1실시예는 클라이언트 단말(500)의 접속 요청신호를 수신하는 S211 단계와, 클라이언트 단말(500)의 컨텐츠 데이터를 수신하여 메인 디스플레이(400)에 출력하는 S212 단계와, 관람객 단말(200)의 참여 여부를 판단하는 S213 단계와, 참여신청된 관람객 단말(200)들과 통신 채널을 형성하는 S214 단계와, S214 단계에서 생성된 채널로부터 수신된 컨텐츠 데이터와 컨텐츠 화면을 맵핑하여 메인 디스플레이(400) 및 클라이언트 단말(500)에 송신하는 S215 단계와, 메인 디스플레이(400)에 출력하는 S216 단계를 포함한다. 12, the first embodiment of the step S200 includes a step S211 of receiving an access request signal of the
S211 단계는 서버 제어부(110)가 서버 통신부(120)를 통하여 클라이언트 단말(500)의 접속 신호를 수신하는 단계이다. 클라이언트 단말(500)은 HMD 유저의 조작에 의하여 온되고, 선택된 컨텐츠를 실행시킨다. 이때, 클라이언트 단말(500)은 고유 식별정보를 포함하여 서버(100)에 접속 요청신호를 송신한다. 따라서, 서버 통신부(120)는 클라이언트 단말(500)의 접속 요청신호를 수신하여 서버 제어부(110)를 출력한다. 서버 제어부(110)는 클라이언트 단말(500)이 접속요청신호를 수신하여 고유 식별정보로서 설정된 클라이언트 단말(500)여부를 확인하여 접속을 승인한다. Step S211 is a step in which the
S212 단계는 서버 제어부(110)가 클라이언트 단말(500)로부터 컨텐츠 데이터를 수신하여 메인 디스플레이(400)에 컨텐츠 화면을 출력하는 단계이다. 클라이언트 단말(500)은 선택된 컨텐츠를 실행하고, 실행된 컨텐츠의 데이터(예를 들면, 배경 및 캐릭터 정보, 컨텐츠별 고유 식별정보와, 캐릭터 정보, HMD 유저의 모션, 음향 및 문자 메세지)를 송신한다. In step S212, the
따라서, 서버 제어부(110)는 서버 통신부(120)를 통하여 수신된 클라이언트 단말(500)의 컨텐츠 데이터를 메인 디스플레이(400) 및/또는 서브 디스플레이(300)의 화면에 출력하도록 전광판 구동부(160)를 구동시킨다. Accordingly, the
전광판 구동부(160)는 메인 디스플레이(400)를 이루는 복 수개의 전광판(411)을 선택적으로 제어하여 클라이언트 단말(500)에서 선택된 컨텐츠(예를 들면, 게임) 화면을 출력시킨다. 이때, 각각의 컨트롤러(421~424)는 연결되는 각 전광판(411~414)에 설치된 발광소자를 점멸시켜 소정의 화면을 출력한다. 즉, 메인 디스플레이(400)는 복 수개의 전광판(411)의 조합에 의하여 클라이언트 단말(500)의 컨텐츠 화면을 출력한다. 여기서, 각 전광판(411~414)은 발광소자가 실장되는 발광투명판과 커버투명판이 레진에 의하여 결합된 투명전광판에 해당된다. The electric
S213 단계는 서버 제어부(110)는 관람객 단말(200)로부터 참여 요청신호가 수신되는 지를 판단한다. 여기서, 참여 요청 가능한 관람객 단말(200)은 그 숫자와 순서가 설정됨이 바람직하다. 또한, 서버 제어부(110)는 전광판 구동부(160) 및 음향출력부(170)를 제어하여 메인 디스플레이(400) 및/또는 서브 디스플레이(300)를 통하여 게임 참여 유도 음성 및/또는 문자 메세지를 출력할 수 있다. In step S213, the
그러므로, 관람객들은 메인 디스플레이(400)를 통하여 출력된 메세지를 확인하여 고정단말(210) 및/또는 모바일 단말(220)을 이용하여 클라이언트 단말(500)과의 게임에 참여를 요청한다. 따라서, 고정단말(210)과 모바일 단말(220)은 각각 고유 식별정보를 포함한 참여 요청신호를 서버(100)로 송신한다. Therefore, the guest confirms the message output through the
S214 단계는 서버(100)가 참여 요청신호를 송신하는 관람객 단말(200)들과 통신 채널을 형성하는 단계이다. 여기서, 서버 제어부(110)는 설정부(130)에서 설정된 제한 조건 및 우선순위 조건에 해당되는 관람객 단말(200)들과 선택적으로 채널을 형성하여 모션 감지 및 조작신호가 포함된 컨텐츠 데이터를 수신한다. 이때, 관람객 단말(200)들은 상술한 S100 단계를 통하여 모션 감지 및/또는 조작신호가 포함된 컨텐츠 데이터를 송신한다. In step S214, the
S215 단계는 S214 단계에서 관람객 단말(200)들로부터 수신된 컨텐츠 데이터를 클라이언트 단말(500)의 컨텐츠 데이터와 맵핑하여 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 출력하는 단계이다. In step S215, the content data received from the
여기서, 맵핑이란 클라이언트 단말(500)과 관람객 단말(200)들간의 모션이나 조작을 융합하여 하나의 컨텐츠 화면에 표현하는 것을 의미한다. 즉, 서버 제어부(110)는 맵핑부(140)를 제어하여 클라이언트 단말(500)과 관람객 단말(200)들의 모션 감지 및 조작명령에 따라 메인 디스플레이(400)에서 클라이언트 단말(500) 및 관람객 단말(200)들의 캐릭터를 표현한다. Here, the mapping means that the motion and the operation between the
예를 들면, 출력된 컨텐츠가 축구 게임이라면, S100 단계에서 고정단말(210) 및/또는 모바일 단말(220)은 관람객이 슛하는 모션을 감지하여 서버(100)로 송신한다. For example, if the output content is a soccer game, the fixed
서버(100)는 이와 같은 관람객 단말(200)의 슈팅 모션(방향과 속도)을 컨텐츠 화면에 맵핑시켜 클라이언트 단말(500)로 송신한다. 그러면, HMD 유저는 자신의 디스플레이를 통하여 관람객이 슛한 공의 방향과 속도를 확인하고, 이를 방어하기 위한 모션을 취한다. 클라이언트 단말(500)은 위와 같은 HMD 유저의 모션을 감지하여 서버(100)로 송신한다. The
따라서, 서버 제어부(110)는 위와 같은 양 컨텐츠 데이터를 맵핑 하여 관람객 단말(200)의 슈팅과 클라이언트 단말(500)의 방어에 대한 결과를 판정한다. Accordingly, the
S216 단계는 서버 제어부(110)가 전광판 구동부(160)를 제어하여 메인 디스플레이(400)에 맵핑된 컨텐츠 데이터를 출력하는 단계이다. 서버 제어부(110)는 S215 단계에서 클라이언트 단말(500)과 관람객 단말(200)의 모션에 따른 결과를 메인 디스플레이(400) 및/또는 서브 디스플레이(300)에 출력한다. 또한, 서버 제어부(110)는 서버 통신부(120)를 통하여 클라이언트 단말(500)에 동일한 화면을 제공한다. In step S216, the
즉, 본 발명은 개방된 장소에 설치된 메인 디스플레이(400)를 통하여 출력된 컨텐츠 화면을 근처의 일반인들에게 관람할 수 있도록 하고, 관람객들이 가상현실 장비를 착용한 HMD 유저와의 게임에 참여할 수 있다. 따라서, HMD 유저 측은 고립된 공간이 아닌 개방된 공간에서 다 수의 일반인들과 소통하면서 컨텐츠를 즐길 수 있어 새로운 비즈니스 모델의 창출과 테스트가 용이하다. 또한, 일반인들은 조작이 간편한 관람객 단말(200)을 이용하여 가상현실 컨텐츠를 체험할 수 있어 가상현실 컨텐츠에 대한 접근성이 용이하다. That is, according to the present invention, a content screen output through the
아울러, 본 발명은 복 수의 관람객 단말(200)이 동시에 컨텐츠에 참여하거나 설정된 우선순위에 따라서 순차적으로 참여할 수 있다. 이는 도 13을 참조하여 설명한다. In addition, according to the present invention,
도 13은 본 발명에서 S200 단계의 제2실시예를 도시한 순서도이다. 13 is a flowchart showing a second embodiment of the step S200 in the present invention.
도 13을 참조하면, S200 단계의 제2실시예는 컨텐츠 별로 동시 접속되는 관람객 단말(200)들을 선택적으로 제한하고, 우선순위를 설정하는 것이다. 보다 상세히 설명하자면, S200 단계의 제2실시예는 컨텐츠별로 조건을 설정하는 S221 단계와, 참여 단말들을 카운팅하는 S222 단계와, 설정된 조건에 해당되는 지를 판단하는 S223 단계와, 설정된 우선순위별로 참여요청된 관람객 단말(200)들과 순차적으로 채널을 형성하는 S224 단계를 포함한다. Referring to FIG. 13, the second embodiment of the step S200 selectively restricts the
S221 단계는 컨텐츠별로 조건을 차등하여 설정등록하는 단계이다. 예를 들면, 관리자는 컨텐츠가 1대1 격투 게임일 경우에는 클라이언트 단말(500)과의 접속이 가능한 관람객 단말(200)의 숫자를 1개로 설정하고, 댄싱게임일 경우에는 다 수로서 설정할 수 있다. 이와 같은 설정 조건은 관리자가 키보드등의 조작장치를 이용하여 입력하면, 서버 제어부(110)가 설정부(130)를 구동시켜 등록시킨다. The step S221 is a step for setting and registering the conditions differently for each content. For example, when the content is a one-to-one fighting game, the administrator may set the number of the
S222 단계는 서버 제어부(110)가 참여 요청신호를 송신하는 관람객 단말(200)들의 숫자를 카운팅하는 단계이다. 예를 들면, 서버 제어부(110)는 상술한 제1실시예의 S213 단계에서 참여를 요청한 관람객 단말(200)들의 숫자를 카운팅한다. In step S222, the
S223 단계는 서버 제어부(110)가 참여 요청된 관람객 단말(200)들의 숫자가 설정 조건에 해당되는 지를 판단하는 단계이다. 예를 들면, 서버 제어부(110)는 설정부(130)에 의해 등록된 동시 접속 제한 조건이 2일 경우에는 가장 먼저 접속 요청한 관람객 단말(200)외에 그 다음 순서로 참여 요청신호를 송신한 관람객 단말(200)들의 여부를 판단한다. In step S223, the
S224 단계는 S223 단계에서 확인된 설정된 동시 접속 제한 조건에 해당되는 관람객 단말(200)들에 시간순으로 우선순위를 부여하여 순차적으로 채널을 형성하는 단계이다. 서버 제어부(110)는 설정부(130)의 리미트 설정모듈(131)에 의해 등록된 동시 접속 제한 조건에 해당되는 관람객 단말(200)들의 접속을 제한한다. 이때, 서버 제어부(110)는 참여 요청신호가 접수된 순서대로 채널을 형성하고, 순위 설정모듈(133)을 구동시켜 현재 채널이 형성된 관람객 단말(200)들을 제외한 동시 접속 제한조건에 해당되는 관람객 단말(200)들에 우선순위를 부여한다. In step S224, the
즉, 순위 설정모듈(133)은 현재 접속된 관람객 단말(200)들외에 참여 요청신호를 송신한 시간에 따라 순차적으로 우선순위를 부여한다. 그리고 서버 제어부(110)는 접속된 관람객 단말(200)들이 오프되면, 우선순위에 따라 대기중인 관람객 단말(200)들과 순차적으로 채널을 형성하여 다음 관람객 단말(200)들의 참여를 승인한다. That is, the
S200 단계의 제3실시예는 복 수개의 클라이언트 단말(500)들이 접속되어 복수개의 컨텐츠가 동시에 구현되는 실시예이다. 보다 상세히 설명하자면, S200 단계의 제3실시예는 클라이언트 단말(500)의 접속 요청신호를 수신하는 S231 단계와, 접속 요청된 클라이언트 단말(500)의 숫자가 2 이상인지를 판단하는 S232 단계와, 접속 요청된 클라이언트 단말(500)별로 컨텐츠의 실행이 가능한 관람객 단말(200)들의 그룹 채널을 형성하는 S233 단계와, 클라이언트 단말(500)의 숫자에 메인 디스플레이(400)의 화면을 분할하는 화면분할 단계와, 각 그룹 채널별로 데이터를 맵핑하여 메인 디스플레이(400)에 화면을 출력하는 S235 단계를 포함한다. In the third embodiment of the step S200, a plurality of
S231 단계는 서버 제어부(110)가 서버 통신부(120)로부터 클라이언트 단말(500)의 접속 요청신호를 수신하는 단계이다. 클라이언트 단말(500)은 앞서 설명들인 S310 단계를 통하여 서버(100)에 접속 요청신호를 송신한다. Step S231 is a step in which the
S232 단계는 서버 제어부(110)가 접속 요청신호를 송신하는 클라이언트 단말(500)의 숫자를 확인하는 단계이다. 예를 들면, 클라이언트 단말(500)은 2 이상으로 각각 서로 다른 컨텐츠 또는 동일한 컨텐츠를 선택하여 서버(100)에 접속 요청신호를 송신할 수 있다. 바람직하게로는 설정부(130)의 리미트 설정모듈(131)은 동시 접속 가능한 클라이언트 단말(500)의 숫자를 제한할 수 있고, 순위 설정모듈(133)은 리미트 설정모듈(131)에 의하여 접속이 제한되어 대기중인 클라이언트 단말(500)들에 우선순위를 부여함도 가능하다. In step S232, the
S233 단계는 클라이언트 단말(500)별로 컨텐츠를 참여할 수 있는 관람객 단말(200)들을 그룹화하도록 클라이언트 단말(500)별 그룹 채널을 생성하는 단계이다. 예를 들면, 서버 제어부(110)는 제1클라이언트 단말(500)과 제2클라이언트 단말(500)로부터 접속 요청신호가 수신되면, 제1클라이언트 단말의 컨텐츠에 대한 참여 요청신호를 송신하는 관람객 단말(200)들이 통신 연결되는 제1그룹채널과, 제2클라이언트 단말(500)의 컨텐츠에 대한 참여 요청신호를 송신하는 관람객 단말(200)들이 통신 연결되는 제2그룹채널을 생성한다. Step S233 is a step of creating a group channel for each
S234 단계는 서버 제어부(110)가 전광판 구동부(160)를 제어하여 메인 디스플레이(400)의 화면을 분할하여 각 클라이언트 단말(500)별 컨텐츠 화면을 출력하는 단계이다. 전광판 구동부(160)는 분할 화면의 숫자에 따라서 각 컨트롤러를 선택적으로 구동시킨다. 예를 들면, 전광판 구동부(160)는 제1 내지 제4 전광판(411~414)으로 조합된 메인 디스플레이(400)를 2개의 화면으로 분할할 경우, 제1전광판(411)과 제2전광판(412)을 제1화면, 제3전광판(413)과 제4전광판(414)을 제2화면으로 분할할 수 있다. 이는 전광판 구동부(160)가 제1컨트롤러 내지 제4컨트롤러(421~424)를 선택적으로 제어함에 따라 달성될 수 있다. In step S234, the
S235 단계는 서버 제어부(110)가 맵핑부(140)를 제어하여 각 채널 그룹별로 수신된 컨텐츠 데이터를 맵핑하여 메인 디스플레이(400)의 분할된 화면을 통하여 출력하는 단계이다. 맵핑부(140)는, 예를 들면, 제1채널 그룹을 통하여 수신된 관람객 단말(200)들의 컨텐츠 데이터를 맵핑하여 제1클라이언트 단말(500)에 송신하고, 이후 제1클라이언트 단말(500)에서 수신된 컨텐츠 데이터를 확인하여 메인 디스플레이(400)에서 분할된 화면중 설정된 하나에 출력한다. In operation S235, the
마찬가지로, 맵핑부(140)는 제2채널 그룹을 통하여 수신된 관람객 단말(200)들의 컨텐츠 데이터를 맵핑하여 제2클라이언트 단말(500)에 송신하고, 이후 제2클라이언트 단말(500)에서 수신된 컨텐츠 데이터를 확인하여 메인 디스플레이(400)에 분할된 화면중 설정된 하나에 출력한다. Similarly, the
이때, 서브 디스플레이(300)는 클라이언트 단말(500)별로 분할된 화면을 제공하거나 또는 각 클라이언트 단말(500)별 컨텐츠 화면만을 출력함도 가능하다. 즉, 서브 디스플레이(300)는 조립식 컨테이너(70)가 적층된 건축물(700)의 실내에 복 수개가 설치될 수 있다. At this time, the sub-display 300 may provide a divided screen for each
복 수개의 서브 디스플레이(300)는 클라이언트 단말(500)과 통신연결되어 각 클라이언트 단말(500)에서 출력되는 화면을 출력하거나, 메인 디스플레이(400)에서 분할된 화면중 어느 하나가 전체 화면으로서 출력될 수 있다. 또한, 복 수개의 서브 디스플레이(300)는 메인 디스플레이(400)와 동일하게 분할된 화면을 출력함도 가능하다. A plurality of
이와 같이 본 발명은 고립된 장소에 위치된 HMD 유저와 개방된 장소의 복수의 일반인들간에 상호작용(INTERATION)이 가능함에 따라 다양한 형태의 비즈니스 모델의 창출될 수 있다. 또한, 본 발명은 일반인들에게 조작이 간편한 단말 및 그 방법을 제공함에 따라 종래에 비하여 저렴한 비용으로 가상현실 컨텐츠를 즐길 수 있어 접근성이 개선될 수 있다. As described above, the present invention can create various types of business models as the HMD user located in an isolated place can be interworked with a plurality of public persons in an open place. Further, the present invention provides an easy-to-operate terminal and method thereof to the general public, so that the virtual reality contents can be enjoyed at a lower cost than in the prior art, and the accessibility can be improved.
이상에서 설명된 본 발명의 근거리 무선통신을 이용한 모바일 단말의 영상통화 시스템 및 방법의 실시예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 잘 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.The embodiments of the video call system and method of the mobile terminal using the short range wireless communication of the present invention described above are merely illustrative and those skilled in the art will appreciate that various modifications and equivalent It will be appreciated that other embodiments are possible. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims. It is also to be understood that the invention includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention as defined by the appended claims.
100 : 서버 110 : 서버제어부
120 : 서버 통신부 130 : 설정부
140 : 맵핑부 150 : 데이터베이스
160 : 전광판 구동부 200 : 관람객 단말
210 : 고정단말 211 : 고정제어부
212 : 카메라 213 : 모션 감지부
214 : 객체 설정부 215 : 고정통신부
220 : 모바일 단말 221 : 모바일 제어부
222 : 모바일 통신부 223 : 모바일 센서부
224 : 모바일 조작부 300 : 서브 디스플레이
400 : 메인 디스플레이 411~414 : 전광판
421~424 : 컨트롤러 500 : 클라이언트 단말100: server 110:
120: server communication unit 130: setting unit
140: mapping unit 150:
160: electric panel driving part 200: visitor terminal
210: fixed terminal 211: fixed controller
212: camera 213: motion detection unit
214: object setting unit 215: fixed communication unit
220: mobile terminal 221: mobile controller
222: mobile communication unit 223: mobile sensor unit
224: Mobile operating unit 300: Sub display
400:
421 to 424: Controller 500:
Claims (9)
상기 클라이언트 단말에서 실행된 1인칭 가상현실 컨텐츠 화면을 1인칭과 3인칭중 어느 하나로 메인 디스플레이에 출력하는 서버; 및
상기 서버에 상기 클라이언트 단말의 컨텐츠에 참여를 요청하고, 신체의 모션 감지 및 조작 신호중 적어도 하나가 포함된 컨텐츠 데이터를 생성하여 상기 서버로 송신하는 복 수개의 관람객 단말;을 포함하고,
상기 서버는 상기 관람객 단말의 컨텐츠 데이터를 상기 클라이언트 단말의 컨텐츠 데이터에 융합시켜 상기 클라이언트 단말로 송신하고, 상기 클라이언트 단말로부터 수신된 관람객 단말과 클라이언트 단말과의 상호 작용에 따른 컨텐츠 진행과정을 상기 메인디스플레이를 통하여 1인칭과 3인칭중 어느 하나의 컨텐츠 실행 화면으로 출력하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
A client terminal for executing virtual reality contents and transmitting content data according to HMD user motion and manipulation commands;
A server for outputting the first-person virtual reality contents screen executed by the client terminal to the main display in one of a first person and a third person; And
And a plurality of guest terminals for requesting the server to participate in the contents of the client terminal and generating content data including at least one of motion detection and operation signals of the body and transmitting the generated content data to the server,
Wherein the server transmits the content data of the visitor terminal to the client terminal and transmits the content progress data to the client terminal, A virtual reality contents system capable of interacting with a plurality of public persons and an HMD user outputting the virtual reality contents through a content execution screen of either a first person or a third person.
상기 건축물의 실내에 위치되어 가상현실 컨텐츠를 실행하고, HMD 유저의 모션 및 조작명령에 따른 컨텐츠 데이터를 송신하는 클라이언트 단말;
상기 클라이언트 단말에서 실행된 1인칭 가상현실 컨텐츠 화면을 1인칭과 3인칭중 어느 하나로 상기 메인 디스플레이에 출력하는 서버; 및
상기 서버에 상기 컨텐츠의 참여를 요청하고, 신체의 모션 감지 및 조작 신호중 적어도 하나가 포함된 컨텐츠 데이터를 생성하여 상기 서버로 송신하는 복 수개의 관람객 단말;을 포함하고,
상기 서버는 상기 관람객 단말의 컨텐츠 데이터를 상기 클라이언트 단말의 컨텐츠 데이터에 융합시켜 상기 클라이언트 단말로 송신하고, 상기 클라이언트 단말로부터 수신된 관람객 단말과 클라이언트 단말과의 상호 작용에 따른 진행 상황을 상기 메인디스플레이를 통하여 1인칭과 3인칭중 어느 하나의 컨텐츠 실행화면으로 출력하고,
상기 건축물은 복 수개의 조립식 컨테이너가 조립된 모듈러 건축물인 것을 특징으로 하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
A main display installed on a wall of a building;
A client terminal located in the interior of the building for executing virtual reality contents and transmitting content data according to an HMD user's motion and operation command;
A server for outputting a first-person virtual reality content screen executed by the client terminal to the main display in one of a first person and a third person; And
And a plurality of guest terminals for requesting participation of the contents to the server, generating content data including at least one of motion detection and operation signals of the body, and transmitting the generated content data to the server,
The server transmits the content data of the visitor terminal to the client terminal and transmits the content data to the client terminal, and transmits the progress of the viewer terminal and the client terminal, which are received from the client terminal, To the content execution screen of either the first person or the third person,
Wherein the building is a modular building in which a plurality of assembled containers are assembled, wherein the HMD user and the plurality of ordinary people can interact with each other.
상기 메인 디스플레이는 복 수개의 투명전광판으로 이루어진 것을 특징으로 하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
The method as claimed in claim 1 or 2, wherein the plurality of prefabricated containers each comprise a transparent wall plate,
Wherein the main display comprises a plurality of transparent electric display boards, and the HMD user and the plurality of ordinary people can interact with each other.
설정된 영역내에 위치된 사용자의 모션을 감지하는 고정단말; 및
사용자의 신체 일부에 착용되는 모바일 단말;중 적어도 하나인 것을 특징으로 하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
The method according to claim 1 or 2, wherein the visitor terminal
A fixed terminal for sensing a motion of a user located within a set area; And
And a mobile terminal worn by a part of a body of the user, wherein the HMD user and the plurality of ordinary people can interact with each other.
스마트폰, 태블릿PC, PDA 및 조작 콘솔중 적어도 하나인 것을 특징으로 하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템.
The method according to claim 1 or 2, wherein the visitor terminal
A smartphone, a tablet PC, a PDA, and an operation console, wherein the HMD user and the plurality of ordinary people can interact with each other.
The system of claim 1 or 2, further comprising: an HMD user further including a plurality of sub-displays that output the same screen as at least one of the main display and the client terminal, system.
상기 a)단계에서 클라이언트 단말로부터 수신된 1인칭의 컨텐츠 실행 화면을 1인칭과 3인칭중 어느 하나로 메인 디스플레이에 출력시키는 서버의 b)단계;
상기 b)단계 이후에 상기 서버로 참여 요청신호를 송신하고, 사용자의 모션 감지 및 조작 명령중 적어도 하나가 포함된 컨텐츠 데이터를 송신하는 관람객 단말의 c) 단계; 및
상기 c)단계에서 복 수개의 관람객 단말들로부터 수신된 컨텐츠 데이터를 상기 b)단계에서 수신된 클라이언트 단말의 컨텐츠 데이터와 맵핑시켜 상기 클라이언트 단말과 상기 복수개의 관람객 단말간의 상호 작용에 따른 진행 상황을 상기 메인디스플레이를 통하여 1인칭과 3인칭중 어느 하나의 컨텐츠 실행화면으로 실시간 출력하는 서버의 d)단계;를 포함하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법.
A) a client terminal selecting a virtual reality content to transmit a connection request to a server, and transmitting content data including an HMD user's motion and operation command;
B) a server for outputting a content execution screen of a first person received from the client terminal in the step a) to the main display in one of first and third persons;
C) transmitting the participation request signal to the server after the step b), and transmitting content data including at least one of a motion detection and an operation command of the user; And
Wherein the content data received from the plurality of guest terminals in the step c) is mapped with the content data of the client terminal received in the step b) to display the progress of the interaction between the client terminal and the plurality of viewer terminals And d) a step of d) outputting the content to a content execution screen of any one of a first person and a third person through a main display in a d) step of interacting with a plurality of ordinary people with the HMD user.
전원이 온되면, 상기 서버에 참여 요청신호를 송신하는 c-1)단계;
상기 c-1 단계 이후, 상기 서버로부터 참여 요청신호가 승인되면, 신체의 모션을 감지하는 모션감지신호와, 조작키와 마우스와 조이스틱 및 터치스크린중 적어도 하나에서 입력되는 조작명령중 적어도 하나를 감지하는 c-2)단계;
상기 c-2)단계에서 감지된 모션감지신호와 조작명령중 적어도 하나와 고유 식별정보가 포함된 컨텐츠 데이터를 생성하여 상기 서버로 송신하는 c-3)단계를 포함하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법.
8. The method of claim 7, wherein step c)
C-1) transmitting a participation request signal to the server when the power is turned on;
If the participation request signal is approved from the server after step (c-1), a motion detection signal for sensing a motion of the body and at least one of an operation command input from at least one of an operation key, a mouse, a joystick, C-2) step;
(C-3) of generating content data including at least one of a motion detection signal and an operation command detected in step (c-2) and unique identification information and transmitting the generated content data to the server, and a plurality of general users A method for controlling a virtual reality contents system capable of interacting with each other.
전원이 온되면, 설정된 영역내에 위치된 사용자의 영상을 촬영하는 c-1)단계;
상기 c-1)단계에서 촬영된 영상에서 모션감지 대상 객체를 설정하는 c-2)단계;
상기 c-1)단계에서 촬영된 영상중에서 상기 c-2)단계에서 설정된 객체의 모션을 감지하는 c-3)단계; 및
상기 c-3)단계에서 감지된 객체의 모션 감지신호와 고유 식별정보가 포함된 컨텐츠 데이터를 상기 서버로 송신하는 c-4)단계를 포함하는 HMD 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템의 제어방법.
8. The method of claim 7, wherein step c)
C-1) photographing an image of a user positioned within a set area when the power is turned on;
C-2) setting a motion sensing object in the image photographed in the step c-1);
C-3) detecting a motion of the object set in the step c-2) among the images captured in the step c-1); And
(C-4) transmitting content data including the motion detection signal and the unique identification information of the object sensed in the step (c-3) to the server, and a step A method for controlling a real content system.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160108161A KR101692267B1 (en) | 2016-08-25 | 2016-08-25 | Virtual reality contents system capable of interacting between head mounted user and people, and control method thereof |
PCT/KR2017/002378 WO2018038337A1 (en) | 2016-08-25 | 2017-03-06 | Virtual reality content system enabling interaction between hmd user and plurality of ordinary people and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160108161A KR101692267B1 (en) | 2016-08-25 | 2016-08-25 | Virtual reality contents system capable of interacting between head mounted user and people, and control method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101692267B1 true KR101692267B1 (en) | 2017-01-04 |
Family
ID=57832063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160108161A KR101692267B1 (en) | 2016-08-25 | 2016-08-25 | Virtual reality contents system capable of interacting between head mounted user and people, and control method thereof |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101692267B1 (en) |
WO (1) | WO2018038337A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102516278B1 (en) * | 2022-06-08 | 2023-03-30 | (주)이브이알스튜디오 | User terminal for providing intuitive control environment on media pannel, server, and display apparatus |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6527627B1 (en) * | 2018-08-31 | 2019-06-05 | 株式会社バーチャルキャスト | Content distribution server, content distribution system, content distribution method and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100911719B1 (en) | 2008-10-15 | 2009-08-10 | (주) 전시나라 | Game type virtual reality experience simulator |
KR20130093886A (en) | 2012-02-15 | 2013-08-23 | (주)일렉콤 | Virtual reality shooting simulation system |
KR20140007427A (en) * | 2011-03-10 | 2014-01-17 | 마이크로소프트 코포레이션 | Theme-based augmentation of photorepresentative view |
JP2015162815A (en) * | 2014-02-27 | 2015-09-07 | ブラザー工業株式会社 | Terminal, and program |
KR20150120755A (en) | 2014-04-18 | 2015-10-28 | 주식회사 한신정보기술 | 3d virtual reality system utilizing uwb radio communication |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101335617B1 (en) * | 2009-04-16 | 2013-12-02 | 주식회사 제니텀 | Method and device for implementing augmented reality in mobile environment |
KR101407670B1 (en) * | 2011-09-15 | 2014-06-16 | 주식회사 팬택 | Mobile terminal, server and method for forming communication channel using augmented reality |
KR20130110907A (en) * | 2012-03-30 | 2013-10-10 | 삼성전자주식회사 | Apparatus and method for remote controlling based on virtual reality and augmented reality |
-
2016
- 2016-08-25 KR KR1020160108161A patent/KR101692267B1/en active IP Right Grant
-
2017
- 2017-03-06 WO PCT/KR2017/002378 patent/WO2018038337A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100911719B1 (en) | 2008-10-15 | 2009-08-10 | (주) 전시나라 | Game type virtual reality experience simulator |
KR20140007427A (en) * | 2011-03-10 | 2014-01-17 | 마이크로소프트 코포레이션 | Theme-based augmentation of photorepresentative view |
KR20130093886A (en) | 2012-02-15 | 2013-08-23 | (주)일렉콤 | Virtual reality shooting simulation system |
JP2015162815A (en) * | 2014-02-27 | 2015-09-07 | ブラザー工業株式会社 | Terminal, and program |
KR20150120755A (en) | 2014-04-18 | 2015-10-28 | 주식회사 한신정보기술 | 3d virtual reality system utilizing uwb radio communication |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102516278B1 (en) * | 2022-06-08 | 2023-03-30 | (주)이브이알스튜디오 | User terminal for providing intuitive control environment on media pannel, server, and display apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2018038337A1 (en) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11436803B2 (en) | Insertion of VR spectator in live video of a live event | |
KR101686576B1 (en) | Virtual reality system and audition game system using the same | |
CN109475774B (en) | Audience management at view locations in virtual reality environments | |
US10380798B2 (en) | Projectile object rendering for a virtual reality spectator | |
KR102077108B1 (en) | Apparatus and method for providing contents experience service | |
CN103930180B (en) | To game console calibration and the system and method for biasing | |
CN110536726A (en) | Second screen virtual window of VR environment | |
TWI468734B (en) | Methods, portable device and computer program for maintaining multiple views on a shared stable virtual space | |
US20140304335A1 (en) | Systems and methods for interactive experiences and controllers therefor | |
US20190073830A1 (en) | Program for providing virtual space by head mount display, method and information processing apparatus for executing the program | |
CN111095150A (en) | Robot as personal trainer | |
US20120182431A1 (en) | Method and apparatus for sharing a physical activity between several people | |
JP6697846B2 (en) | Game system, server system and program | |
CN104043245B (en) | Game console | |
US11850509B2 (en) | Interactive theater system with real-time feedback and dynamic special effects | |
JP6785325B2 (en) | Game programs, methods, and information processing equipment | |
WO2022267729A1 (en) | Virtual scene-based interaction method and apparatus, device, medium, and program product | |
JP7305599B2 (en) | program | |
KR20220152428A (en) | Terminal device, virtual sports device, virtual sports system and method for operating virtual sports system | |
KR101692267B1 (en) | Virtual reality contents system capable of interacting between head mounted user and people, and control method thereof | |
JP6726322B1 (en) | Game program, method, and information processing device | |
Yao et al. | Multi-jump: jump roping over distances | |
CN112631417B (en) | Immersive multimedia system, immersive interaction method and movable interaction unit | |
US20210339121A1 (en) | Simulouz | |
WO2022113335A1 (en) | Method, computer-readable medium, and information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191203 Year of fee payment: 4 |