KR20180066704A - Cyber model house experience system based on real-time parallel rendering - Google Patents

Cyber model house experience system based on real-time parallel rendering Download PDF

Info

Publication number
KR20180066704A
KR20180066704A KR1020160167844A KR20160167844A KR20180066704A KR 20180066704 A KR20180066704 A KR 20180066704A KR 1020160167844 A KR1020160167844 A KR 1020160167844A KR 20160167844 A KR20160167844 A KR 20160167844A KR 20180066704 A KR20180066704 A KR 20180066704A
Authority
KR
South Korea
Prior art keywords
data
rendering
motion
unit
model house
Prior art date
Application number
KR1020160167844A
Other languages
Korean (ko)
Inventor
임창수
옥수열
Original Assignee
주식회사 비주얼리액터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비주얼리액터 filed Critical 주식회사 비주얼리액터
Priority to KR1020160167844A priority Critical patent/KR20180066704A/en
Publication of KR20180066704A publication Critical patent/KR20180066704A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

The present invention relates to a system for experiencing a cyber model house by interactively rendering a high-quality 3D model house in real time using a parallel rendering technology. The system can improve an immersion level by rendering ultra-high resolution 3D model house content in real time by using a parallel GPU computing technology, and providing an image system capable of interacting by recognizing a motion of a user.

Description

실시간 병렬 렌더링 기반의 사이버 모델하우스 체험 시스템 {omitted}Cyber model house experience system based on real-time parallel rendering {omitted}

본 발명은 병렬 렌더링 기술을 이용하여 고품질 3D 모델하우스를 실시간으로 인터랙티브하게 렌더링 함으로써 사이버 모델하우스를 체험하기 위한 시스템에 관한 것이다.The present invention relates to a system for experiencing a cyber model house by interactively rendering a high-quality 3D model house in real time using a parallel rendering technique.

현재 대기업 및 중소건설사에서 서비스하고 있는 대부분의 사이버 아파트 모델하우스는 실제 모델하우스 건설 후 그 내부를 촬영하여 제작한 이미지 기반의 VR(Image-Based Virtual Reality) 파노라마 영상 시스템이다.Most cyber apartment model houses that are currently being provided by large corporations and small and medium-sized construction companies are image-based virtual reality (VR) panoramic imaging systems,

이러한 이미지 기반의 VR 체험 시스템은 제작 기술의 한계로 인해 체험자에게 다양한 위치에서의 뷰 제공 및 고품질 영상 서비스가 불가능하여 현장감 및 몰입감이 떨어지는 단점이 있다.This image - based VR experience system has disadvantages that it is impossible to provide viewers in various locations and high - quality video service due to limitations of production technology, resulting in poor sense of presence and immersion.

또한 이미지기반의 VR 영상 체험시스템은 모델링 기반의 VR(Modeling-Based Virtual Reality) 체험시스템에서 가능한 내부 구조 변환, 인테리어 내장재 및 가구를 실시간으로 교체하여 보여줄 수 있는 인터랙티브(Interactive) 체험시스템 구현에 많은 어려움이 있어 체험자의 다양한 요구를 충족시키는 못하는 실정이다.In addition, the image-based VR image experience system has many difficulties in implementing an interactive experience system that can perform internal structure conversion, interiors, and furniture in real-time in a modeling-based virtual reality (VR) Which can not meet the diverse needs of the experiencer.

등록특허 제10-0735676호 (2007.06.28.)Registration No. 10-0735676 (June 28, 2007)

본 발명은 다음과 같은 과제를 해결하고자 한다.The present invention is intended to solve the following problems.

즉, 병렬 GPU 컴퓨팅 기술을 이용하여 초고해상도의 3D 모델하우스 콘텐츠를 실시간으로 렌더링하고, 몰입도 향상을 위해 사용자의 모션인식을 통해 상호작용이 가능한 영상 시스템을 제공하고자 한다.In other words, we intend to provide an image system that can interact with the user through motion recognition to improve real-time 3D model house contents in real time by using parallel GPU computing technology and improve immersion.

본 발명은 상기와 같은 과제를 해결하기 위하여,In order to solve the above problems,

사용자의 모션을 인식하여 모션데이터를 생성하고, 이를 병렬렌더링모듈(100)로 송출하는 모션인식모듈(300);을 포함하고, 상기 병렬렌더링모듈(100)은 다수의 병렬렌더링장치 중 특정된 하나의 병렬렌더링장치가 서버로, 나머지 병렬렌더링장치가 클라이언트로 구성되며, 모델하우스콘텐츠(500)와 분할영역데이터(600)가 각 병렬렌더링장치에 저장되되, 상기 모델하우스콘텐츠(500)는 실내공간을 구성하는 실내공간데이터(512), 실내공간데이터(512)의 창문 밖으로 보이는 조망 이미지에 해당하는 조망데이터(511), 실내공간데이터(512)의 내에 배치되는 가구데이터(513), 광원에 의한 조명데이터(514)를 포함하는 오브젝트(510)로 구성되고, 상기 병렬렌더링장치는 모델하우스콘텐츠(500)와 분할영역데이터(600)가 저장되는 데이터베이스부(160), 데이터베이스부(160)에 저장된 모델하우스콘텐츠(500)를 불러오는 콘텐츠로딩부(110), 데이터베이스부(160)에 저장된 분할영역데이터(600)를 불러오는 분할영역로딩부(120), 모션데이터를 수신하여 데이터베이스부(160)에서 해당 모션데이터와 매칭되는 모션명령데이터를 불러오는 모션처리부(130), 모델하우스콘텐츠(500)를 분할영역데이터(600)에 따라 분할하고 모션명령데이터(700)를 기반으로 분할된 모델하우스콘텐츠를 렌더링하는 렌더링부(140), 렌더링부(140)에 의해 렌더링된 분할 모델하우스콘텐츠를 병렬렌더링장치에 연결된 영상출력장치로 송출하는 분할콘텐츠송출부(150)를 포함하고, 상기 콘텐츠로딩부(110)는 불러온 모델하우스콘텐츠(500)를 오브젝트(510)별로 추출하는 오브젝트추출부(111)를 더 포함하는 것을 특징으로 하며,And a motion recognition module (300) for recognizing the motion of the user and generating motion data and transmitting the motion data to the parallel rendering module (100), wherein the parallel rendering module (100) The modeling house contents 500 are divided into the indoor space 500 and the partitioning area data 600, and the modeling house contents 500 are stored in the indoor space 500, View data 511 corresponding to a view image of the interior space data 512 outside the window, furniture data 513 arranged within the interior space data 512, The parallel rendering apparatus includes a database unit 160 for storing the model house contents 500 and the divided area data 600, a database unit 1 A divided area loading unit 120 for loading the divided area data 600 stored in the database unit 160, a database unit 160 for receiving the motion data, A motion processing unit 130 for fetching motion instruction data matched with the motion data in the model house data storage unit 160 according to the division area data 600, A content rendering unit 140 for rendering the content, and a divided content transmission unit 150 for transmitting the divided model house content rendered by the rendering unit 140 to a video output device connected to the parallel rendering device, (110) further includes an object extraction unit (111) for extracting the imported model house contents (500) by object (510)

상기 렌더링부(140)는 모델하우스콘텐츠(500) 상의 중심을 원점으로 할 때 분할영역데이터(600)의 좌표로 구성되는 직사각형 영역으로 분할된 모델하우스콘텐츠를 추출하는 화면분할부(141), 모션명령데이터(700)를 기반으로 모델하우스콘텐츠를 렌더링 할 렌더링데이터를 생성하는 모션명령데이터처리부(142), 상기 병렬렌더링장치가 클라이언트일 경우 모션명령데이터처리부(142)에서 생성된 렌더링데이터를 서버로 전송하고, 병렬렌더링장치가 서버일 경우 모션명령데이터처리부(142)에서 생성된 렌더링데이터 또는 다른 병렬렌더링장치에서 전송된 렌더링데이터를 나머지 병렬렌더링장치로 전송하는 동기화부(143), 동기화부(143)에 의해 전송된 렌더링데이터를 이용하여 병렬GPU컴퓨팅 방식으로 모델하우스콘텐츠(500)를 렌더링하는 GPU병렬처리부(143)를 포함하는 것을 특징으로 하고,The rendering unit 140 includes a screen dividing unit 141 for extracting model house contents divided into rectangular regions constituted by the coordinates of the divided region data 600 when the center on the model house contents 500 is the origin, A motion command data processing unit 142 for generating rendering data for rendering the model house contents based on the command data 700, and a rendering unit for rendering the rendering data generated by the motion command data processing unit 142 to the server if the parallel rendering apparatus is a client A synchronization unit 143 for transmitting the rendering data generated by the motion command data processing unit 142 or the rendering data transmitted from another parallel rendering apparatus to the remaining parallel rendering apparatus when the parallel rendering apparatus is a server, A GPU parallel processing unit 143 that renders the model house contents 500 in a parallel GPU computing manner using the rendering data transmitted by the GPU computing unit And it characterized in that,

상기 분할영역데이터(600)는 영상출력모듈(200)의 중앙에 위치한 영상출력장치 화면상의 중심점을 원점으로 할 때, 상기 병렬렌더링장치에 연결되는 영상출력장치 화면상의 모서리 네 점 중 세 점에 대한 3차원 좌표로 구성되는 것을 특징으로 하는 실시간 병렬 렌더링 기반의 인터랙티브 고품질 영상 시스템을 제시한다.When the center point on the screen of the video output device 200 located at the center of the video output module 200 is defined as the origin, the divided area data 600 is divided into three pieces of four points among the four corners on the video output device screen connected to the parallel rendering device Dimensional coordinate system, and a three-dimensional coordinate system.

본 발명에서는 다음과 같은 효과를 발휘한다.The present invention has the following effects.

즉, 병렬 GPU 컴퓨팅 기술을 이용하여 초고해상도의 3D 모델하우스 콘텐츠를 실시간으로 렌더링할 수 있으며, 사용자의 모션인식을 통해 상호작용이 가능한 영상 시스템을 제공함으로써 몰입도를 향상시킬 수 있게 된다.That is, it is possible to render ultra-high resolution 3D model house contents in real time by using the parallel GPU computing technology, and to improve the immersion by providing the interactive image system through the motion recognition of the user.

도 1은 본 발명의 전체적인 구성에 대한 블록도.
도 2는 본 발명의 구성 중 병렬렌더링장치의 구성에 대한 블록도.
도 3은 일실시예에 대한 시스템 구성도.
도 4는 다른 실시예에 대한 시스템 구성도.
도 5는 가상 모델하우스 공간의 예시 사진.
도 6은 영상출력장치의 설치 예시 사진.
도 7은 사용자의 모션에 따라 조명이 실시간으로 변경되는 것을 촬영한 사진.1 is a block diagram of an overall configuration of the present invention;
2 is a block diagram of a configuration of a parallel rendering apparatus among the configurations of the present invention;
3 is a system configuration diagram for one embodiment.
4 is a system configuration diagram for another embodiment;
5 is an exemplary photograph of a virtual model house space.
6 is a photograph of an example of the installation of the video output device.
7 is a photograph showing that the illumination is changed in real time according to the motion of the user.

이하 첨부된 도면을 바탕으로 본 발명의 바람직한 실시예에 대해 설명한다. 다만 본 발명의 권리범위는 특허청구범위 기재에 의하여 파악되어야 한다. 또한 본 발명의 요지를 모호하게 하는 공지기술의 설명은 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. However, the scope of the present invention should be understood from the description of the claims. Further, the description of known technology which obscures the gist of the present invention is omitted.

본 발명은 실시간 병렬 렌더링 기반의 인터랙티브 고품질 영상 시스템에 관한 것으로서, 도 1과 같이 병렬렌더링모듈(100), 영상출력모듈(200), 모션인식모듈(300)로 구성된다.The present invention relates to an interactive high-quality image system based on real-time parallel rendering, and comprises a parallel rendering module 100, a video output module 200, and a motion recognition module 300 as shown in FIG.

영상출력모듈(200)은 다수의 영상출력장치(200a,200b,200c, ...)로 구성되는데, 분할된 모델하우스콘텐츠를 출력하는 영상출력장치 다수개가 연결되어 전체로써 하나의 모델하우스콘텐츠(500)를 출력하는 역할을 한다. The video output module 200 includes a plurality of video output devices 200a, 200b, 200c,..., And a plurality of video output devices outputting the divided model house contents are connected, 500).

각 영상출력장치 화면의 경계부가 맞닿게 연속적으로 설치되어 모델하우스 공간을 형성하게 되는데, 실내 벽면을 따라 디스플레이를 설치할 수도 있고, 도 6과 같이 스크린 등의 가시설을 벽처럼 설치하여 모델하우스 공간이 형성되도록 할 수도 있다.The display unit may be installed along the wall of the room. Alternatively, a display screen may be installed as a wall as shown in FIG. 6 to form a model house space. .

특히, 영상출력장치는 영상출력모듈(200)이 하나의 큰 화면을 구성하도록 각 영상출력장치에 의한 화면의 경계부가 맞닿게 설치되는 것으로서, 예를 들어 LED/LCD 디스플레이가 격자형(도 3 참고), 가로일렬(도 4 참고) 또는 세로일렬로 연결될 때 각 디스플레이일 수 있고, 다수의 스크린이 격자형, 가로일렬 또는 세로일렬로 연결되어 다수의 프로젝터가 각각의 스크린에 분할된 영상을 쏠 때 각 프로젝터와 스크린의 결합일 수도 있다. 다만, 상기 '일렬'의 의미는 정면에서 볼 때 한줄로 이어진다는 것이며 다른 방향(위에서 또는 옆에서 보는 등)에서 보면 연결된 디스플레이가 굽어진 형태인 것도 포함한다(도 4 참고). 또한, 전방을 둘러싸도록 화면이 4각 내지 다각으로 연결되어 모델하우스콘텐츠(500)가 출력되는 공간을 형성할 수도 있다.Particularly, the video output device is installed so that the boundary of the screen of each video output device is in contact with each other so that the video output module 200 forms one large screen. For example, when the LED / LCD display is a grid type ), A horizontal row (see FIG. 4), or a vertical row, and when a plurality of screens are connected in a lattice, a row or column, and a plurality of projectors shoot a divided image on each screen It may be a combination of each projector and screen. However, the meaning of 'line-up' means that one line is seen from the front, and that the connected display is curved when viewed from another direction (such as from above or from the side) (see FIG. In addition, a space may be formed in which the screen is surrounded by a square or a polygon so as to surround the front, and the model house contents 500 are output.

모션인식모듈(300)은 사용자의 모션을 인식하여 모션데이터를 생성하고, 이를 병렬렌더링모듈(100)로 송출하는 역할을 하며, 키넥트센서를 이용하여 영상출력모듈(200)이 설치된 공간 내의 사용자의 시선, 손동작, 몸동작 등을 인식할 수 있다.The motion recognition module 300 recognizes the motion of the user and generates motion data and transmits the generated motion data to the parallel rendering module 100. The motion recognition module 300 uses the Kinect sensor to detect motion of the user in the space where the video output module 200 is installed The hand gesture, the gesture, and the like.

병렬렌더링모듈(100)는 다수의 영상출력장치(200a,200b,200c, ...)와 대응 연결되는 다수의 병렬렌더링장치(100a,100b,100c, ...)로 구성된다. 즉, 영상출력장치와 병렬렌더링장치가 1:1로 연결되는 것이다. The parallel rendering module 100 includes a plurality of parallel rendering devices 100a, 100b, 100c, ... connected to a plurality of video output devices 200a, 200b, 200c,. That is, the video output device and the parallel rendering device are connected in a 1: 1 ratio.

이 때, 다수의 병렬렌더링장치(100a,100b,100c, ...) 중 특정된 하나의 병렬렌더링장치(100a)가 서버로, 나머지 병렬렌더링장치(100b,100c, ...)가 클라이언트로 지정되어 서로 네트워크에 의해 연결된다. 이는 후술하는 렌더링의 동기화를 위한 것이다.At this time, one parallel rendering apparatus 100a specified among the plurality of parallel rendering apparatuses 100a, 100b, 100c, ... is a server and the remaining parallel rendering apparatuses 100b, 100c, And are connected to each other by a network. This is for the synchronization of the rendering described below.

병렬렌더링장치(100a)는 모델하우스콘텐츠(500)와 모델하우스콘텐츠(500) 상에서 각 영상출력장치에서 출력되는 영상의 좌표값으로 구성되는 분할영역데이터(600)가 저장되어, 모델하우스콘텐츠(500)를 분할영역데이터(600)에 따라 분할하고, 분할된 모델하우스콘텐츠를 렌더링한 뒤, 렌더링된 분할 모델하우스콘텐츠를 연결된 영상출력장치로 송출하도록 구성된다.The parallel rendering apparatus 100a stores the partition area data 600 composed of the coordinate values of the images output from the respective video output devices on the model house contents 500 and the model house contents 500, ) According to the divided area data 600, and after the divided model house contents are rendered, the rendered divided model house contents are sent to a connected video output device.

각 병렬렌더링장치(100a,100b,100c, ...)는 도 2와 같이 콘텐츠로딩부(110), 분할영역로딩부(120), 모션처리부(130), 렌더링부(140), 분할콘텐츠송출부(150), 데이터베이스부(160)로 구성된다. 상기 구성의 식별번호에 알파벳이 덧붙여진 것은 특정 병렬렌더링장치(100b)의 구성(렌더링부(140b), 데이터베이스부(160b) 등)을 의미하고, 알파벳을 덧붙이지 않은 것(숫자로만 구성된 식별번호)은 각 병렬렌더링장치(100a,100b,100c, ...)의 구성요소를 통칭하는 것이다(렌더링부(140a,40b,140c,...)를 렌더링부(140)로 하는 등).Each of the parallel rendering apparatuses 100a, 100b, 100c, ... has a content loading unit 110, a divided region loading unit 120, a motion processing unit 130, a rendering unit 140, (150), and a database unit (160). The identification numbers of the above configuration are appended with alphabetic characters to indicate the configuration (rendering section 140b, database section 160b, etc.) of the specific parallel rendering apparatus 100b, and alphabetic characters (Rendering units 140a, 140b, 140c,...) To the rendering unit 140, and the like) are collectively referred to as components of the respective parallel rendering apparatuses 100a, 100b, 100c,.

데이터베이스부(160)에는 모델하우스콘텐츠(500)와 분할영역데이터(600)가 저장된다. 또한, 특정 모션데이터에 매칭되는 모션명령데이터(700)도 저장된다.In the database unit 160, the model house contents 500 and the divided area data 600 are stored. In addition, the motion command data 700 matched to the specific motion data is also stored.

분할영역데이터(600)는 영상출력모듈(200)의 중앙에 위치한 영상출력장치 화면상의 중심점을 원점으로 할 때, 상기 병렬렌더링장치에 연결되는 영상출력장치 화면상의 모서리 네 점 중 세 점에 대한 3차원 좌표로 구성된다. The division area data 600 includes three points of three points out of four corners on the screen of the video output device connected to the parallel rendering device when the center point on the video output device screen located at the center of the video output module 200 is set as the origin. Dimensional coordinates.

도 4를 참고하면, 가로일렬로 연결된 세 개의 영상출력장치 중 가운데 제2영상출력장치(200b)의 중심을 좌표원점(0,0,0)으로 설정할 때, 제2영상출력장치(200b)의 분할영역데이터(600b)는 좌측상단의 Pc2(-8,5,0), 좌측하단의 Pa2(-8,-5,0), 우측하단의 Pb2(8,-5,0)으로 구성된다.4, when the center of the second video output device 200b among the three video output devices connected in series is set to the coordinate origin (0, 0, 0), the center of the second video output device 200b The divided area data 600b is composed of Pc2 (-8, 5, 0) at the upper left, Pa2 (-8, -5, 0) at the lower left and Pb2 (8, -5, 0) at the lower right.

제1영상출력장치(200a)의 분할영역데이터(600a)는 좌측상단의 Pc1(-22,5,8), 좌측하단의 Pa1(-22,-5,8), 우측하단의 Pb1(-8,-5,0)으로 구성되며, 마찬가지로 제3영상출력장치(200c)의 분할영역데이터(600c)는 좌측상단의 Pc3(8,5,0), 좌측하단의 Pa3(8,-5,0), 우측하단의 Pb3(22,-5,8)으로 구성된다.The divided region data 600a of the first video output apparatus 200a is divided into Pc1 (-22, 5, 8) at the upper left, Pa1 (-22, -5,8) at the lower left, Pb1 , 5,0). Likewise, the partition area data 600c of the third video output device 200c is composed of Pc3 (8, 5, 0) at the upper left and Pa3 (8, ), And Pb3 (22, -5, 8) in the lower right.

모델하우스콘텐츠(500)는 모델하우스콘텐츠(500)의 창문, 기둥, 벽 등의 실내공간을 구성하는 실내공간데이터(512), 실내공간데이터(512)의 창문 밖으로 보이는 조망 이미지에 해당하는 조망데이터(511), 실내공간데이터(512)의 내에 배치되는 가구데이터(513), 광원에 의한 조명데이터(514)를 포함하는 오브젝트(510)로 구성된다. 이는 렌더링시 오브젝트별로 데이터를 변경하기 위한 것이다.The model house contents 500 includes interior space data 512 constituting an interior space such as a window, a column and a wall of the model house contents 500, viewing data 512 corresponding to a view image outside the window of the interior space data 512, Furniture data 513 arranged in the interior space data 512 of the indoor space data 512 and an object 510 including illumination data 514 by the light source. This is to change the data for each object at the time of rendering.

모션명령데이터(700)는 특정 모션데이터에 매칭되어 모델하우스콘텐츠(500)의 변경을 유도하는 명령데이터이다. 예를 들어 '한 손을 드는 동작'의 모션데이터에는 '실내등을 켬'이라는 모션명령데이터가 매칭되고, '두 손을 드는 동작'의 모션데이터에는 '실내등을 끔'이라는 모션명령데이터가 매칭되고, '한 손을 왼쪽 또는 오른쪽으로 미는 동작'의 모션데이터에는 '특정 가구의 위치를 손의 이동 방향에 따라 옮김'이라는 모션명령데이터가 매칭되고, '고개를 돌리는 동작'의 모션데이터에는 '고개 돌리는 방향에 따라 현재 보이는 화면의 시점을 변경함'이라는 모션명령데이터가 매칭될 수 있다. 특히, 모델하우스에 특화하여 실내공간데이터(512)를 변경하여 벽지나 바닥재를 바꿔보거나 가구데이터(513)를 변경하여 가구 종류 변경 및 배치를 달리하거나 조망데이터(511)를 변경하여 실내 채광정도, 전경을 비교할 수 있고, 조명데이터(514)를 변경하여 실내 조명 밝기, 색깔에 따른 실내 공간 분위기를 확인할 수 있게 된다(도 7 참고). The motion command data 700 is command data that matches a specific motion data and induces a change of the model house contents 500. [ For example, motion command data 'turn on indoor light' is matched with motion data of 'one-handed motion', motion command data such as 'turn off indoor light' is matched to motion data of 'two-handed motion' , Motion command data 'move the position of the specific furniture according to the moving direction of the hand' is matched to the motion data of 'one hand left or right', 'motion data of' To change the viewpoint of the currently displayed screen according to the turning direction '. Particularly, by changing the indoor space data 512 by changing the indoor space data 512 in the model house or by changing the wallpaper or flooring material or changing the furniture data 513 to change the furniture type and layout or change the viewing data 511, The foreground can be compared, and the lighting data 514 can be changed to check the indoor space atmosphere according to the brightness and color of the room lighting (refer to FIG. 7).

콘텐츠로딩부(110)는 데이터베이스부(160)에 저장된 모델하우스콘텐츠(500)를 불러오는 역할을 한다. 특히, 불러온 모델하우스콘텐츠(500)를 오브젝트(510)별로 추출하는 오브젝트추출부(111)를 더 포함할 수 있는데, 조망데이터(511), 실내공간데이터(512), 가구데이터(513), 조명데이터(514)를 각각 별도로 추출하는 것이다.The content loading unit 110 serves to load the model house contents 500 stored in the database unit 160. In particular, it may further include an object extraction unit 111 for extracting the imported model house contents 500 for each object 510. The view data 511, the indoor space data 512, the furniture data 513, And the illumination data 514 are separately extracted.

분할영역로딩부(120)는 데이터베이스부(160)에 저장된 분할영역데이터(600)를 불러오는 역할을 한다. 도 4의 실시예에서는 제1병렬렌더링장치(100a)에서는 Pc1(-22,5,8), Pa1(-22,-5,8), Pb1(-8,-5,0)로 구성된 분할영역데이터(600a)를 불러오고, 제2병렬렌더링장치(100b) 및 제3병렬렌더링장치(100c)도 마찬가지로 각각의 분할영역데이터(600b,600c)를 불러오는 것이다.The division region loading unit 120 serves to load the division region data 600 stored in the database unit 160. In the embodiment of FIG. 4, the first parallel rendering apparatus 100a includes a partitioning area Pc1 (-22,5,8), Pa1 (-22,5,8), Pb1 (-8,5,0) The second parallel rendering apparatus 100b and the third parallel rendering apparatus 100c similarly call up the divided area data 600b and 600c.

모션처리부(130)는 모션데이터를 수신하여 데이터베이스부(160)에서 해당 모션데이터와 매칭되는 모션명령데이터를 불러오는 역할을 하며, 모션데이터수신부(131)와 모션명령데이터생성부(132)로 구성된다.The motion processor 130 receives the motion data and loads the motion command data matching the corresponding motion data in the database unit 160. The motion processor 130 includes a motion data receiver 131 and a motion command data generator 132 .

모션데이터수신부(131)에서 모션인식모듈(300)로부터 모션데이터를 수신하고, 모션명령데이터생성부(132)는 모션데이터수신부(131)에서 수신된 모션데이터를 데이터베이스부(160)에서 검색하여 이와 매칭되는 모션명령데이터(700)를 불러온다. 예를 들어, '한 손을 드는 동작'의 모션데이터가 수신되면 이에 매칭된 '실내등을 켬'이라는 모션명령데이터를 불러오는 것이다.The motion data receiving unit 131 receives the motion data from the motion recognition module 300. The motion command data generating unit 132 searches the database unit 160 for the motion data received from the motion data receiving unit 131, And fetches matched motion command data 700. For example, when motion data of 'one-handed motion' is received, the motion command data 'turn on indoor light' is called.

렌더링부(140)는 모델하우스콘텐츠(500)를 분할영역데이터(600)에 따라 분할하고 모션명령데이터(700)를 기반으로 분할된 모델하우스콘텐츠를 렌더링하는 역할을 하며, 도 2와 같이 화면분할부(141), 모션명령데이터처리부(142), 동기화부(143), GPU병렬처리부(144)로 구성된다.The rendering unit 140 divides the model house contents 500 according to the divided area data 600 and renders the model house contents divided on the basis of the motion instruction data 700, A setting unit 141, a motion command data processing unit 142, a synchronization unit 143, and a GPU parallel processing unit 144.

화면분할부(141)는 모델하우스콘텐츠(500) 상의 중심을 좌표원점(0,0,0)으로 할 때 분할영역데이터(600)의 좌표로 구성되는 직사각형 영역으로 분할된 모델하우스콘텐츠를 추출한다. 도 4의 실시예에서는 제1병렬렌더링장치(100a)에서는 모델하우스콘텐츠(500)상의 Pc1(-22,5,8), Pa1(-22,-5,8), Pb1(-8,-5,0)를 세 모서리로 하는 직사각형 영역을 추출하고, 제2병렬렌더링장치(100b)에서는 분할영역데이터(600b)의 좌표를 세 모서리로 하는 직사각형 영역을 추출하며, 제3병렬렌더링장치(100c)에서는 분할영역데이터(600c)의 좌표를 세 모서리로 하는 직사각형 영역을 추출하는 것이다.The screen dividing unit 141 extracts the model house contents divided into the rectangular area constituted by the coordinates of the divided area data 600 when the center on the model house contents 500 is the coordinate origin (0, 0, 0) . 4, Pc1 (-22, 5, 8), Pa1 (-22, -5, 8), Pb1 (-8, -5) on the model house contents 500 in the first parallel rendering apparatus 100a, And the third parallel rendering apparatus 100b extracts a rectangular area having three corners as the coordinates of the divided area data 600b in the second parallel rendering apparatus 100b, A rectangular area having three edges of the coordinates of the divided area data 600c is extracted.

모션명령데이터처리부(142)는 모션명령데이터(700)를 기반으로 모델하우스콘텐츠를 렌더링 할 렌더링데이터를 생성하는 역할을 한다. 예를 들어 '실내등을 켬'이라는 모션명령데이터에 따라 분할된 모델하우스콘텐츠에 조도설정을 변경할 렌더링데이터를 생성하거나, '특정 가구의 위치를 손의 이동 방향에 따라 옮김'이라는 모션명령데이터에 따라 특정 가구를 추출하여 이동할 렌더링데이터를 생성하거나, '고개 돌리는 방향에 따라 현재 보이는 화면의 시점을 변경함'이라는 모션명령데이터에 따라 모델하우스콘텐츠(500)를 렌더링하는 카메라 시점 설정을 변경할 렌더링데이터를 생성하는 등이다.The motion command data processing unit 142 generates the rendering data for rendering the model house contents based on the motion command data 700. [ For example, in accordance with motion command data such as " moving the position of a specific furniture according to the moving direction of the hand ", it is possible to generate rendering data to change the illumination setting on the divided model house contents according to the motion command data 'turn on interior light' To generate the rendering data to be moved by extracting a specific furniture or to change the camera viewpoint setting to render the model house contents 500 in accordance with the motion command data 'change the viewpoint of the currently visible screen according to the turning direction' And so on.

동기화부(143)는 해당 병렬렌더링장치가 클라이언트일 경우 모션명령데이터처리부(142)에서 생성된 렌더링데이터를 서버로 전송하고, 병렬렌더링장치가 서버일 경우 모션명령데이터처리부(142)에서 생성된 렌더링데이터 또는 다른 병렬렌더링장치에서 전송된 렌더링데이터를 나머지 병렬렌더링장치로 전송하는 역할을 한다.The synchronization unit 143 transmits the rendering data generated by the motion command data processing unit 142 to the server when the parallel rendering apparatus is a client and outputs the rendering data generated by the motion command data processing unit 142 when the parallel rendering apparatus is a server. Data or the rendering data transmitted from another parallel rendering device to the remaining parallel rendering devices.

도 4의 실시예에서 제1병렬렌더링장치(100a)가 서버이고, 제2병렬렌더링장치(100b), 제3병렬렌더링장치(100c)가 클라이언트로 구성되는 경우를 설명하면 다음과 같다.In the embodiment of FIG. 4, the first parallel rendering apparatus 100a is a server, and the second parallel rendering apparatus 100b and the third parallel rendering apparatus 100c are clients.

제1병렬렌더링장치(100a)의 모션명령데이터처리부(142)에서 렌더링데이터를 생성할 경우 이를 클라이언트인 제2,3병렬렌더링장치(100b,100c)로 전송한다. 이와 달리 제2병렬렌더링장치(100b)의 모션명령데이터처리부(142)에서 렌더링데이터를 생성할 경우 이를 제1병렬렌더링장치(100a)로 전송하는데, 제1병렬렌더링장치(100a)에서 이를 받아 다른 클라이언트, 즉 제3병렬렌더링장치(100c)로 전송한다. 따라서 모든 병렬렌더링장치가 동기화된 렌더링데이터를 갖게 되는 것이다.When generating the rendering data in the motion command data processing unit 142 of the first parallel rendering apparatus 100a, the rendering data is transmitted to the second and third parallel rendering apparatuses 100b and 100c as clients. In contrast, when the motion command data processing unit 142 of the second parallel rendering apparatus 100b generates rendering data, it transmits it to the first parallel rendering apparatus 100a. The first parallel rendering apparatus 100a receives the rendering data, Client, that is, the third parallel rendering apparatus 100c. Thus, all of the parallel rendering devices will have synchronized rendering data.

동기화부(143)는 동기화부(143)에 의해 전송된 렌더링데이터를 이용하여 병렬GPU컴퓨팅 방식으로 모델하우스콘텐츠(500)를 렌더링하게 된다. 즉, GPU를 이용하여 병렬적으로 렌더링 처리함으로써 수많은 오브젝트를 실시간으로 처리할 수 있게 된다. 따라서 도 3과 같이 병렬렌더링장치가 병렬GPU컴퓨팅이 가능하도록 다수의 GPU를 내장하고 있어야 함은 당연하다.The synchronization unit 143 renders the model house contents 500 in a parallel GPU computing manner using the rendering data transmitted by the synchronization unit 143. In other words, a large number of objects can be processed in real time by performing rendering processing in parallel using the GPU. Therefore, as shown in FIG. 3, it is natural that the parallel rendering device should have a plurality of GPUs built in to enable parallel GPU computing.

분할콘텐츠송출부(150)는 렌더링부(140)에 의해 렌더링된 분할 모델하우스콘텐츠를 병렬렌더링장치에 연결된 영상출력장치로 송출하는 역할을 한다. 즉, 제1병렬렌더링장치(100a)에서 제1영상출력장치(200a)로, 제2병렬렌더링장치(100b)에서 제2영상출력장치(200b)로 각각 송출하는 것이다. 이로써 도 5와 같이 체험가능한 모델하우스 공간이 형성된다.The divided contents sending unit 150 transmits the divided model house contents rendered by the rendering unit 140 to a video output apparatus connected to the parallel rendering apparatus. That is, the first parallel rendering apparatus 100a transmits the first parallel rendering apparatus 100a to the first image output apparatus 200a, and the second parallel rendering apparatus 100b transmits the second parallel rendering apparatus 100b to the second image output apparatus 200b. As a result, a model house space that can be experienced as shown in Fig. 5 is formed.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어서 명백할 것이다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be clear to those who have knowledge.

100 : 병렬렌더링모듈
100a,100b,100c : 병렬렌더링장치
110 : 콘텐츠로딩부
111 : 오브젝트추출부
120 : 분할영역로딩부
130 : 모션처리부
131 : 모션데이터수신부
132 : 모션명령데이터생성부
140 : 렌더링부
141 : 화면분할부
142 : 모션명령데이터처리부
143 : 동기화부
144 : GPU병렬처리부
150 : 분할콘텐츠송출부
160 : 데이터베이스부
200 : 영상출력모듈
200a,200b,200c : 영상출력장치
300 : 모션인식모듈
500 : 모델하우스콘텐츠
500a,500b,500c : 분할 콘텐츠
510 : 오브젝트
511 : 조망데이터
512 : 실내공간데이터
513 : 가구데이터
514 : 조명데이터
600 : 분할영역데이터
700 : 모션명령데이터100: Parallel rendering module
100a, 100b, 100c: parallel rendering device
110: Content loading section
111:
120:
130: Motion processor
131: Motion data receiver
132: Motion command data generation unit
140:
141: Screen division
142: Motion command data processor
143:
144: GPU parallel processor
150:
160:
200: Video output module
200a, 200b, 200c: Video output device
300: Motion recognition module
500: Model house content
500a, 500b, and 500c:
510: Object
511: Viewing data
512: indoor spatial data
513: Furniture data
514: Lighting data
600: partition area data
700: Motion command data

Claims (3)

각 화면의 경계부가 맞닿게 연속적으로 설치되어 모델하우스 공간을 형성하는 다수의 영상출력장치로 구성되는 영상출력모듈(200);
다수의 영상출력장치와 대응 연결되는 다수의 병렬렌더링장치로 구성되는 병렬렌더링모듈(100);
사용자의 모션을 인식하여 모션데이터를 생성하고, 이를 병렬렌더링모듈(100)로 송출하는 모션인식모듈(300);을 포함하고,

상기 병렬렌더링모듈(100)은
다수의 병렬렌더링장치 중 특정된 하나의 병렬렌더링장치가 서버로, 나머지 병렬렌더링장치가 클라이언트로 구성되며,

모델하우스콘텐츠(500)와 분할영역데이터(600)가 각 병렬렌더링장치에 저장되되,
상기 모델하우스콘텐츠(500)는
실내공간을 구성하는 실내공간데이터(512),
실내공간데이터(512)의 창문 밖으로 보이는 조망 이미지에 해당하는 조망데이터(511),
실내공간데이터(512)의 내에 배치되는 가구데이터(513),
광원에 의한 조명데이터(514)를 포함하는 오브젝트(510)로 구성되고,

상기 병렬렌더링장치는
모델하우스콘텐츠(500)와 분할영역데이터(600)가 저장되는 데이터베이스부(160),
데이터베이스부(160)에 저장된 모델하우스콘텐츠(500)를 불러오는 콘텐츠로딩부(110),
데이터베이스부(160)에 저장된 분할영역데이터(600)를 불러오는 분할영역로딩부(120),
모션데이터를 수신하여 데이터베이스부(160)에서 해당 모션데이터와 매칭되는 모션명령데이터를 불러오는 모션처리부(130),
모델하우스콘텐츠(500)를 분할영역데이터(600)에 따라 분할하고 모션명령데이터(700)를 기반으로 분할된 모델하우스콘텐츠를 렌더링하는 렌더링부(140),
렌더링부(140)에 의해 렌더링된 분할 모델하우스콘텐츠를 병렬렌더링장치에 연결된 영상출력장치로 송출하는 분할콘텐츠송출부(150)를 포함하고,
상기 콘텐츠로딩부(110)는 불러온 모델하우스콘텐츠(500)를 오브젝트(510)별로 추출하는 오브젝트추출부(111)를 더 포함하는 것을 특징으로 하는
실시간 병렬 렌더링 기반의 인터랙티브 고품질 영상 시스템
A video output module (200) composed of a plurality of video output devices which are installed continuously with boundaries of respective screens so as to form a model house space;
A parallel rendering module (100) comprising a plurality of parallel rendering devices connected in correspondence with a plurality of video output devices;
And a motion recognition module (300) for recognizing the motion of the user to generate motion data and transmitting the motion data to the parallel rendering module (100)

The parallel rendering module (100)
One parallel rendering apparatus specified among a plurality of parallel rendering apparatuses is configured as a server and the remaining parallel rendering apparatuses are configured as clients,

The model house content 500 and the partition area data 600 are stored in each parallel rendering device,
The model house content (500)
The indoor space data 512,
View data 511 corresponding to a view image of the indoor space data 512 outside the window,
The furniture data 513 arranged in the indoor space data 512,
And an object 510 including illumination data 514 by a light source,

The parallel rendering device
A database unit 160 for storing the model house contents 500 and the divided area data 600,
A content loading unit 110 for loading the model house contents 500 stored in the database unit 160,
A partition area loading unit 120 for loading the partition area data 600 stored in the database unit 160,
A motion processor 130 for receiving the motion data and loading the motion command data matching the corresponding motion data in the database unit 160,
A rendering unit 140 that divides the model house contents 500 according to the partition area data 600 and renders the model house contents divided based on the motion instruction data 700,
And a divided content sending unit (150) for sending the divided model house contents rendered by the rendering unit (140) to a video output device connected to the parallel rendering device,
The content loading unit 110 may further include an object extracting unit 111 for extracting the imported model house contents 500 by objects 510
Interactive high-quality video system based on real-time parallel rendering
제 1 항에 있어서,
상기 렌더링부(140)는
모델하우스콘텐츠(500) 상의 중심을 원점으로 할 때 분할영역데이터(600)의 좌표로 구성되는 직사각형 영역으로 분할된 모델하우스콘텐츠를 추출하는 화면분할부(141),
모션명령데이터(700)를 기반으로 모델하우스콘텐츠를 렌더링 할 렌더링데이터를 생성하는 모션명령데이터처리부(142),
상기 병렬렌더링장치가 클라이언트일 경우 모션명령데이터처리부(142)에서 생성된 렌더링데이터를 서버로 전송하고, 병렬렌더링장치가 서버일 경우 모션명령데이터처리부(142)에서 생성된 렌더링데이터 또는 다른 병렬렌더링장치에서 전송된 렌더링데이터를 나머지 병렬렌더링장치로 전송하는 동기화부(143),
동기화부(143)에 의해 전송된 렌더링데이터를 이용하여 병렬GPU컴퓨팅 방식으로 모델하우스콘텐츠(500)를 렌더링하는 GPU병렬처리부(143)를 포함하는 것을 특징으로 하는
실시간 병렬 렌더링 기반의 인터랙티브 고품질 영상 시스템.
The method according to claim 1,
The rendering unit 140
A screen dividing unit 141 for extracting model house contents divided into a rectangular area constituted by the coordinates of the divided area data 600 when the center on the model house contents 500 is the origin,
A motion command data processing unit 142 for generating rendering data to render the model house contents based on the motion command data 700,
When the parallel rendering apparatus is a client, the rendering data generated by the motion command data processing unit 142 is transmitted to the server. When the parallel rendering apparatus is a server, the rendering data generated by the motion command data processing unit 142, A synchronization unit 143 for transmitting the rendering data transmitted from the rendering device to the remaining parallel rendering devices,
And a GPU parallel processing unit (143) for rendering the model house contents (500) in a parallel GPU computing manner using the rendering data transmitted by the synchronization unit (143)
Interactive high - quality image system based on real - time parallel rendering.
제 1 항 또는 제 2 항에 있어서,
상기 분할영역데이터(600)는
영상출력모듈(200)의 중앙에 위치한 영상출력장치 화면상의 중심점을 원점으로 할 때, 상기 병렬렌더링장치에 연결되는 영상출력장치 화면상의 모서리 네 점 중 세 점에 대한 3차원 좌표로 구성되는 것을 특징으로 하는
실시간 병렬 렌더링 기반의 인터랙티브 고품질 영상 시스템.
3. The method according to claim 1 or 2,
The partition area data 600 is
Dimensional coordinates of three points out of the four corners on the screen of the video output device connected to the parallel rendering device when the center point on the screen of the video output device located at the center of the video output module 200 is defined as the origin To
Interactive high - quality image system based on real - time parallel rendering.
KR1020160167844A 2016-12-09 2016-12-09 Cyber model house experience system based on real-time parallel rendering KR20180066704A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160167844A KR20180066704A (en) 2016-12-09 2016-12-09 Cyber model house experience system based on real-time parallel rendering

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160167844A KR20180066704A (en) 2016-12-09 2016-12-09 Cyber model house experience system based on real-time parallel rendering

Publications (1)

Publication Number Publication Date
KR20180066704A true KR20180066704A (en) 2018-06-19

Family

ID=62790451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160167844A KR20180066704A (en) 2016-12-09 2016-12-09 Cyber model house experience system based on real-time parallel rendering

Country Status (1)

Country Link
KR (1) KR20180066704A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004695A1 (en) * 2018-06-29 2020-01-02 주식회사 에이펀인터렉티브 System for performing real-time parallel rendering of motion capture image by using gpu
KR20200021685A (en) 2018-08-21 2020-03-02 (주) 군월드 System, server and method for providing model house service
KR20200021687A (en) 2018-08-21 2020-03-02 (주) 군월드 System, server and method for providing complex model house service

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735676B1 (en) 2006-02-24 2007-07-06 조현덕 Operating system for model house with virtual reality and method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100735676B1 (en) 2006-02-24 2007-07-06 조현덕 Operating system for model house with virtual reality and method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004695A1 (en) * 2018-06-29 2020-01-02 주식회사 에이펀인터렉티브 System for performing real-time parallel rendering of motion capture image by using gpu
KR20200021685A (en) 2018-08-21 2020-03-02 (주) 군월드 System, server and method for providing model house service
KR20200021687A (en) 2018-08-21 2020-03-02 (주) 군월드 System, server and method for providing complex model house service

Similar Documents

Publication Publication Date Title
US11386618B2 (en) Systems and methods for model-based modification of a three-dimensional (3D) mesh
EP3018903B1 (en) Method and system for projector calibration
JP5961249B2 (en) Color channel and light marker
US20150348326A1 (en) Immersion photography with dynamic matte screen
KR20070103347A (en) Contents dispaly on large screen with 360 degrees panoramic camera
US11488348B1 (en) Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings
KR20180066702A (en) Interactive high-quality video system based on real-time parallel rendering
KR20180066704A (en) Cyber model house experience system based on real-time parallel rendering
US20120251995A1 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
KR20110107691A (en) Spatial augmented reality-based interactive display system and method of the same
US10296080B2 (en) Systems and methods to simulate user presence in a real-world three-dimensional space
Debenham et al. Evolutionary augmented reality at the natural history museum
KR101609368B1 (en) Multi-screen synchronization system for realtime 3D image
WO2022023142A1 (en) Virtual window
US20210374982A1 (en) Systems and Methods for Illuminating Physical Space with Shadows of Virtual Objects
JP2006318015A (en) Image processing device, image processing method, image display system, and program
US20200382765A1 (en) Method and system for generating a two-dimensional and a three-dimensional image stream
KR20240003584A (en) Vr-based apartment experience method and system
KR20240003585A (en) Vr image matching method and system
KR20240003586A (en) Vr image matching method and system
KR20230104662A (en) 3D video conferencing systems and methods for displaying stereoscopically rendered image data captured from multiple viewpoints
US11388378B2 (en) Image processing apparatus, image processing method and projection system
Baillard et al. Mixed reality extended TV
US20210183127A1 (en) System for performing real-time parallel rendering of motion capture image by using gpu
KR101264838B1 (en) Real-time image synthesizing system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application