KR20170096567A - Immersive display system for virtual reality and virtual reality display method using the same - Google Patents

Immersive display system for virtual reality and virtual reality display method using the same Download PDF

Info

Publication number
KR20170096567A
KR20170096567A KR1020160126456A KR20160126456A KR20170096567A KR 20170096567 A KR20170096567 A KR 20170096567A KR 1020160126456 A KR1020160126456 A KR 1020160126456A KR 20160126456 A KR20160126456 A KR 20160126456A KR 20170096567 A KR20170096567 A KR 20170096567A
Authority
KR
South Korea
Prior art keywords
image
virtual reality
screens
display
images
Prior art date
Application number
KR1020160126456A
Other languages
Korean (ko)
Inventor
권영호
Original Assignee
권영호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 권영호 filed Critical 권영호
Publication of KR20170096567A publication Critical patent/KR20170096567A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H04N13/0242—
    • H04N13/0282—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2258—

Abstract

The present invention relates to an immersive display system and a method thereof and, more specifically, relates to an immersive display system and a method thereof, capable of improving the immersion of a user by photographing an image through a plurality of cameras and displaying the image on a plurality of screens through synchronization. Moreover, the present invention includes: a photographing part including a plurality of cameras arranged in different directions; a display part including at least one screen; and an image processing part displaying an image, photographed by the photographing part, on the screen of the display part. The image processing part matches images to create a content image and then, divides the image as many as the number of screens of the display part to synchronize and display the divided images on each of the screens. Accordingly, virtual reality images, synchronized and displayed on a plurality of screens, are provided to a user, thereby improving the immersion of the user.

Description

가상현실용 몰입형 디스플레이 시스템 및 이를 이용한 가상현실 디스플레이 방법{Immersive display system for virtual reality and virtual reality display method using the same}[0001] The present invention relates to an immersive display system for a virtual reality and a virtual reality display method using the same,

본 발명은 가상현실용 몰입형 디스플레이 시스템 및 이를 이용한 가상현실 디스플레이 방법에 관한 것으로, 구체적으로는 복수의 카메라를 이용하여 영상을 촬영하고 이를 동기시켜 복수의 화면에 표시함으로써 사용자의 몰입감을 보다 향상시킬 수 있는 가상현실용 몰입형 디스플레이 시스템 및 이를 이용한 가상현실 디스플레이 방법에 관한 것이다.
The present invention relates to a virtual reality immersion type display system and a virtual reality display method using the same. More specifically, the present invention relates to a virtual reality display system and a virtual reality display method using the plurality of cameras, And a virtual reality display method using the same.

일반적으로, 가상현실(Virtual Reality, VR)은 군사, 오락, 의료, 학습, 영화, 건축설계, 관광 등 다양한 분야에 활용되고 있으며, 가상현실을 구현하는 대표적인 장치로는 대형 디스플레이 장치 및 헤드 마운트 디스플레이(Head mounted Display, HMD)가 있다.Generally, virtual reality (VR) is utilized in various fields such as military, entertainment, medical, learning, film, architectural design, and tourism. Representative devices for realizing virtual reality include a large- (Head mounted Display, HMD).

한편, 종래의 대형 디스플레이 장치는 화면의 크기에 비례하여 제품의 가격이 증가하므로, 고가의 비용을 요구하는 반면에 가상현실을 구현하였을 때의 몰입도가 낮은 문제점이 있었다.On the other hand, in the conventional large-sized display device, since the price of the product increases in proportion to the size of the screen, there is a problem that the cost is high and the degree of immersion when the virtual reality is implemented is low.

또한, 종래의 헤드 마운트 디스플레이는 광학렌즈를 이용하여 화면을 확대하는 구조를 가지므로, 화질이 고르지 않고 가상현실의 구현 시 사용자에게 두통과 같은 부작용을 발생시키는 문제점이 있었다.In addition, since the conventional head-mounted display has a structure for enlarging a screen using an optical lens, there is a problem in that the image quality is uneven and side effects such as a headache are generated in a user in realizing a virtual reality.

특히, 헤드 마운트 디스플레이에서 사용되는 광학렌즈는 청소년의 눈건강에 매우 해로울 수 있으며, 가상현실의 구현을 위해 적어도 6개의 카메라에 의해 촬영된 영상의 처리가 이루어져야 하므로 매우 높은 트래픽이 발생하였다.In particular, the optical lens used in the head mount display can be very detrimental to the eye health of the adolescent, and very high traffic occurs because the image taken by at least six cameras must be processed in order to realize the virtual reality.

따라서, 보다 쉽고 편리하게 가상현실을 체험할 수 있고, 상대적으로 저비용으로 구현할 수 있으며, 가상현실 컨텐츠의 몰입감은 향상시킬 수 있는 기술의 개발이 필요한 실정이다.
Therefore, it is necessary to develop a technique that can experience a virtual reality more easily and conveniently, can be implemented at a relatively low cost, and can improve the immersion feeling of virtual reality contents.

본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 가상현실을 포함하는 컨텐츠의 몰입감을 보다 향상시킬 수 있는 가상현실용 몰입형 디스플레이 시스템 및 이를 이용한 가상현실 디스플레이 방법을 제공하는데 그 목적이 있다.The present invention has been made in view of the above problems, and it is an object of the present invention to provide an immersion type display system for a virtual reality and a virtual reality display method using the same, which can further improve the immersion feeling of contents including virtual reality.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기와 같은 목적을 달성하기 위한 본 발명은 서로 다른 방향으로 배치된 복수의 카메라를 구비하는 촬영부; 상기 촬영부에 구비된 복수의 카메라에 대응하는 갯수 만큼의 화면을 구비하는 디스플레이부; 및 상기 촬영부의 카메라들로부터 촬영된 영상들을 정합하여 하나의 컨텐츠 영상을 생성하고, 그 컨텐츠 영상을 상기 디스플레이부의 화면에서 표시하는 영상 처리부;를 포함하는 가상현실용 몰입형 디스플레이 시스템을 제공한다.According to an aspect of the present invention, there is provided an imaging apparatus including: a photographing unit having a plurality of cameras arranged in different directions; A display unit having a number of screens corresponding to a plurality of cameras provided in the photographing unit; And an image processor for generating a content image by matching the images photographed by the cameras of the photographing unit and displaying the content image on the screen of the display unit.

바람직한 실시예에 있어서, 상기 영상 처리부는 상기 컨텐츠 영상을 상기 디스플레이부의 화면 갯수만큼 분할한 후 각각의 화면에 동기시켜 표시한다.In a preferred embodiment, the image processing unit divides the content image by the number of screens of the display unit, and displays the content images in synchronism with the respective screens.

바람직한 실시예에 있어서, 상기 영상 처리부는 상기 컨텐츠 영상의 중앙에 기준 시점을 설정하고 그 기준 시점이 복수의 화면 중앙에 위치하도록 상기 컨텐츠 영상의 일부를 표시하며, 사용자의 시점 변화에 따라 그 컨텐츠 영상을 상,하 또는 좌,우 방향으로 전환시켜 표시한다.In a preferred embodiment, the image processing unit sets a reference time point at a center of the content image, displays a part of the content image so that the reference time point is located at a center of a plurality of screens, In the upper, lower, left, and right directions.

바람직한 실시예에 있어서, 상기 영상 처리부는 상기 촬영부의 카메라들로부터 촬영된 영상들을 정합할 때, 각 영상의 RGB 색상값을 대상으로 최소자승법(Least Square Method)이 적용된 선형변환(Linear Transform)에 따른 최적 색상값을 계산하여, 서로 인접하는 영상들 간의 경계에서 발생되는 색상 차이를 보정한다.In a preferred embodiment of the present invention, when the images photographed from the cameras of the photographing unit are matched, the image processing unit performs a linear transformation on the RGB color values of each image using a Least Square Method Calculates the optimal color value, and corrects the color difference occurring at the boundary between adjacent images.

바람직한 실시예에 있어서, 상기 촬영부는 3개의 카메라를 구비한 모바일 디바이스를 포함한다.In a preferred embodiment, the photographing unit includes a mobile device having three cameras.

바람직한 실시예에 있어서, 상기 영상 처리부는 셋톱 박스를 포함한다.In a preferred embodiment, the image processing unit includes a set-top box.

바람직한 실시예에 있어서, 상기 디스플레이부는 3개의 모니터가 일체로 설치된 책상을 포함한다.
In a preferred embodiment, the display unit includes a desk in which three monitors are integrally installed.

또한, 본 발명은 가상현실용 몰입형 디스플레이 시스템에서 수행되는 가상현실 디스플레이 방법으로서, (1) 상기 몰입형 디스플레이 시스템이, 서로 다른 방향으로 배치된 복수의 카메라를 이용하여 동시에 복수의 영상을 촬영하는 단계; (2) 상기 몰입형 디스플레이 시스템이, 상기 촬영된 영상들을 정합하여 하나의 컨텐츠 영상을 생성하는 단계; 및 (3) 상기 몰입형 디스플레이 시스템이, 상기 생성된 컨텐츠 영상을 화면에서 표시하는 단계;를 포함하는 가상현실 디스플레이 방법을 제공한다.According to another aspect of the present invention, there is provided a virtual reality display method performed in an immersive display system for a virtual reality, comprising the steps of: (1) capturing a plurality of images simultaneously using a plurality of cameras arranged in different directions step; (2) the immersion type display system may include: generating a content image by matching the photographed images; And (3) displaying the generated content image on the screen by the immersion type display system.

바람직한 실시예에 있어서, 상기 제 (3)단계에서 상기 몰입형 디스플레이 시스템은, 상기 화면이 복수인 경우, 상기 컨텐츠 영상을 상기 화면의 갯수만큼 분할한 후 각각의 화면에 동기시켜 표시한다.In a preferred embodiment, in the step (3), the immersion type display system divides the content image by the number of the screens when the plurality of screens are displayed, and displays the content images in synchronism with the respective screens.

바람직한 실시예에 있어서, 상기 제 (3)단계에서 상기 몰입형 디스플레이 시스템에는, 상기 복수의 카메라에 대응하는 갯수 만큼의 화면이 구비된다.
In a preferred embodiment, in the step (3), the immersion type display system is provided with a number of screens corresponding to the plurality of cameras.

전술한 과제해결 수단에 의해 본 발명은 서로 다른 방향으로 배치된 복수의 카메라를 구비하는 촬영부와, 적어도 하나의 화면을 구비하는 디스플레이부 및 촬영부로부터 촬영된 영상을 디스플레이부의 화면에서 표시하는 영상 처리부를 구비하고, 상기 영상 처리부가 영상들을 정합하여 컨텐츠 영상으로 생성한 다음, 디스플레이부의 화면 갯수만큼 분할하여 각각의 화면에 동기시켜 표시하므로, 복수의 화면에서 동기되어 표시되는 가상현실 영상을 사용자에게 제공할 수 있고, 이로 인해, 사용자의 몰입감을 보다 향상시킬 수 있는 효과가 있다.According to the above-mentioned problem solving means, the present invention provides an image capturing apparatus comprising: a photographing section having a plurality of cameras arranged in different directions; a display section having at least one screen; The image processing unit may generate a content image by matching the images and then divide by the number of screens of the display unit and display the synchronized virtual reality images on a plurality of screens, Therefore, it is possible to improve the immersion feeling of the user.

또한, 본 발명은 바닷가, 비오는 날 및 전원의 경치를 보다 선명하고 몰입감있게 표시할 수 있으므로, 의료 분야에 적용하여 환자의 치료 환경을 개선하거나 여가활동을 즐기는 노인들의 여가 환경을 개선할 수 있다.Further, the present invention can display the seaside, the rainy day, and the scenery of the power source more clearly and with immersion, so that it can be applied to the medical field to improve the therapeutic environment of the patient or improve the leisure environment of the elderly enjoying the leisure activity.

또한, 본 발명은 학원 강의 및 어학 강의 등을 포함하는 현장 영상을 몰입감있게 표시할 수 있으므로, 학생들의 교육환경 개선 및 집중도 향상을 기대할 수 있다. 또한, 본 발명은 기존의 대형 디스플레이 장치 및 헤드 마운트 디스플레이에 비해 상대적으로 적은 비용으로 설치 및 사용이 가능하다.In addition, since the present invention can display the scene image including the lecture and the lecture of the school in an immersive manner, the improvement of the educational environment and the concentration of the students can be expected. Further, the present invention can be installed and used at a relatively low cost as compared with conventional large-sized display devices and head-mounted displays.

또한, 본 발명은 게임 용도로 게임 영상을 표시하거나 군사작전용 시뮬레이션에 적용되어, 보다 실감나는 영상을 제공할 수 있다.In addition, the present invention can display a game image for a game purpose or can be applied to a simulation for a military operation to provide a more realistic image.

또한, 본 발명은 영화 분야에 적용되어, 기존의 평면 화면을 벗어난 영상 컨텐츠를 구현할 수 있게 할 수 있다.In addition, the present invention can be applied to the field of movies, and can realize image content that is out of the conventional flat screen.

또한, 본 발명은 실내용 운동장치와 연계하여 사용자가 운동을 하는 환경을 개선하여 운동 효과를 향상시킬 수도 있다.
In addition, the present invention may improve the exercise environment by improving the exercise environment in cooperation with the indoor exercise device.

도 1은 본 발명의 일실시예에 따른 가상현실용 몰입형 디스플레이 시스템을 설명하기 위한 도면.
도 2는 가상현실용 몰입형 디스플레이 시스템의 촬영부를 설명하기 위한 도면.
도 3은 가상현실용 몰입형 디스플레이 시스템의 디스플레이부를 설명하기 위한 도면.
도 4는 본 발명의 일실시예에 따른 가상현실 디스플레이 방법을 설명하기 위한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view for explaining a immersive display system for a virtual reality according to an embodiment of the present invention; FIG.
2 is a view for explaining a photographing unit of a immersive display system for a virtual reality;
3 is a view for explaining a display unit of a immersive display system for a virtual reality.
4 is a view for explaining a virtual reality display method according to an embodiment of the present invention.

하기의 설명에서 본 발명의 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있는데, 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.It should be understood that the specific details of the invention are set forth in the following description to provide a more thorough understanding of the present invention and that the present invention may be readily practiced without these specific details, It will be clear to those who have knowledge.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도 1 내지 도 4를 참조하여 상세히 설명하되, 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to FIGS. 1 to 4. FIG.

도 1은 본 발명의 일실시예에 따른 가상현실용 몰입형 디스플레이 시스템을 설명하기 위한 도면이고, 도 2는 가상현실용 몰입형 디스플레이 시스템의 촬영부를 설명하기 위한 도면이며, 도 3은 가상현실용 몰입형 디스플레이 시스템의 디스플레이부를 설명하기 위한 도면이다.FIG. 1 is a view for explaining an immersion type display system for a virtual reality according to an embodiment of the present invention, FIG. 2 is a view for explaining a photographing unit of a immersive display system for a virtual reality, 1 is a diagram for explaining a display unit of an immersive display system.

도 1 내지 도 3을 참조하면, 본 발명의 일실시예에 따른 가상현실용 몰입형 디스플레이 시스템은 촬영부(110), 디스플레이부(120) 및 영상 처리부(130)를 포함하여 구성된다.1 to 3, a virtual reality immersion type display system according to an exemplary embodiment of the present invention includes a photographing unit 110, a display unit 120, and an image processing unit 130.

상기 촬영부(110)는 가상현실의 구현을 위한 컨텐츠 영상을 촬영하기 위한 것으로, 바람직하게, 서로 다른 방향으로 배치되어 각각의 방향을 촬영하는 복수의 카메라 또는 복수의 카메라가 탑재된 모바일 디바이스로 구비될 수 있다.The photographing unit 110 is for photographing a content image for realizing a virtual reality, and is preferably a plurality of cameras arranged in different directions to photograph each direction or a mobile device on which a plurality of cameras are mounted .

예컨대, 도 2에서 도시된 바와 같이, 상기 촬영부(110)는 전방측 영역을 촬영하는 제 1카메라(111), 상기 제 1카메라(111)를 기준으로 하여 그 우측 영역을 촬영하는 제 2카메라(112) 및 상기 제 1카메라(111)를 기준으로 하여 그 좌측 영역을 촬영하는 제 3카메라(113)를 포함하는 3개의 카메라를 구비한 모바일 디바이스로 구비된다. 다만, 가상현실로 구현하고자 하는 컨텐츠 영상에 따라서, 더 많거나 적은 갯수의 카메라가 사용될 수도 있다.2, the photographing unit 110 includes a first camera 111 for photographing a front area, a second camera 111 for photographing a right area of the first camera 111, And a third camera 113 for photographing the left area of the first camera 111 and the first camera 111. [ However, more or fewer cameras may be used depending on the content image to be implemented as a virtual reality.

또한, 상기 촬영부(110)는 서로 다른 방향으로 배치된 카메라들이 동시에 촬영을 시작하고 동시에 촬영이 완료되게 함으로써, 컨텐츠 영상의 재생 시 위화감이 없고 높은 몰입감을 구현할 수 있다. 이를 위해, 상기 촬영부(110)는 각 카메라의 리얼타임클럭(Real-Time Clock, RTC)을 확보하여 저장하고, 후술할 영상 처리부(130)에서 이를 이용하여 영상들의 싱크(sync)를 조절하게 할 수 있다.In addition, since the cameras 110 arranged in different directions simultaneously start shooting at the same time and the shooting is completed at the same time, the photographing unit 110 can provide a feeling of uncomfortable feeling and a high immersion feeling during reproduction of the content image. To this end, the photographing unit 110 obtains and stores a real-time clock (RTC) of each camera, and controls the sync of the images using an image processor 130, which will be described later can do.

상기 디스플레이부(120)는 컨텐츠 영상을 표시하기 위한 것으로, 컨텐츠 영상을 표시하는 적어도 하나의 화면을 구비하고, 후술할 영상 처리부(130)의 제어하에 컨텐츠 영상을 화면에서 표시하도록 구비된다.The display unit 120 is for displaying a content image and has at least one screen for displaying a content image and displays the content image on the screen under the control of an image processing unit 130 to be described later.

실질적으로, 상기 디스플레이부(120)에는 복수의 화면이 구비하며, 특히, 상기 촬영부(110)에 구비된 복수의 카메라에 대응하는 갯수 만큼의 화면을 구비할 수 있다. 또한, 상기 디스플레이부(120)는 복수의 모니터 또는 복수의 모니터가 일체로 형성된 책상 형태로 구현될 수 있다.The display unit 120 may include a plurality of screens, and in particular, may have a number of screens corresponding to a plurality of cameras provided in the photographing unit 110. The display unit 120 may be implemented as a desk having a plurality of monitors or a plurality of monitors integrally formed thereon.

예컨대, 도 3에서 도시된 바와 같이, 상기 디스플레이부(120)는 상기 촬영부(110)에 구비된 3개의 카메라와 각각 대응하며, 정면에 위치하는 제 1모니터(121), 상기 제 1모니터(121)를 기준으로 그 우측에 위치하는 제 2모니터(122) 및 상기 제 1모니터(121)를 기준으로 그 좌측에 위치하는 제 3모니터(123)를 포함하는 3개의 모니터가 설치된 책상의 형태로 구현될 수 있다.For example, as shown in FIG. 3, the display unit 120 corresponds to three cameras provided in the photographing unit 110, and includes a first monitor 121, a second monitor 121, And a third monitor 123 positioned on the left side of the first monitor 121 with respect to the second monitor 122 on the right side of the first monitor 121 as a reference, Can be implemented.

상기 영상 처리부(130)는 컨텐츠 영상을 상기 디스플레이부(120)로 출력하기 위한 것으로, 상기 촬영부(110)로부터 촬영된 영상으로부터 컨텐츠 영상을 생성하고, 상기 생성된 컨텐츠 영상을 상기 디스플레이부(120)로 출력하는 기능을 수행한다.The image processor 130 is for outputting a content image to the display unit 120. The image processor 130 generates a content image from the image photographed by the photographing unit 110 and transmits the generated content image to the display unit 120 ).

바람직하게, 상기 영상 처리부(130)는 상기 촬영부(110)로부터 영상을 입력받아, 상기 디스플레이부(120)에 구비된 복수의 모니터로 컨텐츠 영상을 출력하는 셋톱 박스로 구비될 수 있다.The image processing unit 130 may be a set-top box that receives an image from the photographing unit 110 and outputs a content image to a plurality of monitors provided in the display unit 120. [

또한, 상기 영상 처리부(130)는 상기 촬영부(110)의 카메라들로부터 촬영된 영상들의 경계 영역을 서로 중첩하는 방식으로 영상들을 정합하여 하나의 컨텐츠 영상을 생성하여 저장한다. 이때, 상기 영상 처리부(130)는 각 카메라 또는 각 영상의 리얼타임클럭을 이용하여 컨텐츠 영상으로 정합되는 영상들의 싱크를 조절할 수 있다.In addition, the image processing unit 130 generates and stores one content image by matching images in a manner that overlap the boundary regions of the images photographed by the cameras of the photographing unit 110. At this time, the image processor 130 may adjust the synchronization of the images matched to the content image using the real-time clock of each camera or each image.

그리고, 상기 영상 처리부(130)에서 상기 촬영부(110)의 카메라들로부터 촬영된 영상들을 정합할 때에는, 각 영상의 RGB 색상값을 대상으로 최소자승법(Least Square Method)이 적용된 선형변환(Linear Transform)에 따른 최적 색상값을 계산하여, 서로 인접하는 영상들 간의 경계에서 발생되는 색상 차이를 보정할 수 있다.When matching the images photographed by the cameras of the photographing unit 110 in the image processing unit 130, the RGB color values of the respective images are subjected to a linear transformation (linear transformation) using Least Square Method ) To calculate the optimal color value to correct the color difference occurring at the boundary between adjacent images.

또한, 상기 디스플레이부(120)에는 복수의 화면이 구비되므로, 상기 영상 처리부(130)는 상기 디스플레이부(120)의 화면 갯수만큼 컨텐츠 영상을 분할한 후 상기 분할된 컨텐츠 영상을 동기시켜 상기 디스플레이부(120)로 출력함으로써, 상기 분할된 컨텐츠 영상이 상기 디스플레이부(120)의 각 화면에서 동기화된 상태로 재생될 수 있게 한다. 다만, 상기 디스플레이부(120)의 화면이 하나인 경우, 상기 영상 처리부(130)는 컨텐츠 영상을 분할하지 않고 출력할 수도 있다.In addition, since the display unit 120 includes a plurality of screens, the image processing unit 130 divides the content image by the number of screens of the display unit 120, synchronizes the divided content images, (120) so that the divided content images can be reproduced in a synchronized state on each screen of the display unit (120). However, if there is only one screen of the display unit 120, the image processing unit 130 may output the content image without dividing it.

한편, 상기 영상 처리부(130)는 상기 컨텐츠 영상의 중앙에 기준 시점을 설정하고 그 기준 시점이 복수의 화면 중앙에 위치하도록 상기 컨텐츠 영상의 일부를 표시하며, 사용자의 시점 변화에 따라 그 컨텐츠 영상을 상,하 또는 좌,우 방향으로 전환시켜 표시할 수도 있다.Meanwhile, the image processing unit 130 sets a reference time point at the center of the content image, displays a part of the content image so that the reference time point is located at the center of the plurality of screens, and displays the content image The display may be switched to the up, down, left, or right direction.

이때, 전술한 사용자의 시점 변화는 사용자의 눈동자, 고개 및 자세의 변화를 나타내는 것으로, 별도 구비된 카메라, 캠 등의 촬영 수단을 통해 사용자를 촬영하여 그 사용자의 눈동자 위치, 고개 방향 및 자세 변화를 인식할 수 있다.At this time, the above-mentioned change of the viewpoint of the user indicates the change of the user's pupil, head and posture, and the user is photographed through the photographing means such as a camera or a cam provided separately and the change of the pupil position, Can be recognized.

따라서, 본 발명은 복수의 카메라에서 촬영된 영상을 책상 형태로 구현된 디스플레이부(120)의 복수의 화면에서 재생함으로써, 보다 몰입감이 높은 가상현실 영상을 사용자에게 제공할 수 있다.
Accordingly, the present invention can provide a user with a more immersive virtual reality image by reproducing an image photographed by a plurality of cameras on a plurality of screens of a display unit 120 implemented in a desk form.

도 4는 본 발명의 일실시예에 따른 가상현실 디스플레이 방법을 설명하기 위한 도면이다.4 is a view for explaining a virtual reality display method according to an embodiment of the present invention.

도 4를 참조하여, 본 발명의 일실시예에 따른 가상현실용 몰입형 디스플레이 시스템에서 수행되는 가상현실 디스플레이 방법을 설명한다.Referring to FIG. 4, a virtual reality display method performed in the immersive display system for virtual reality according to an embodiment of the present invention will be described.

다만, 도 4에 도시된 가상현실 디스플레이 방법에서 수행되는 기능은 모두 도 1 내지 도 3을 참조하여 설명한 가상현실용 몰입형 디스플레이 시스템에서 수행되므로, 명시적인 설명이 없어도, 도 1 내지 도 3을 참조하여 설명한 모든 기능은 본 발명의 바람직한 실시예에 따른 가상현실 디스플레이 방법에서 수행되고, 도 4를 참조하여 설명하는 모든 기능은 본 발명의 바람직한 실시예에 따른 가상현실용 몰입형 디스플레이 시스템에서 그대로 수행됨을 주의해야 한다.However, since the functions performed in the virtual reality display method shown in FIG. 4 are all performed in the immersion type display system for virtual reality described with reference to FIGS. 1 to 3, All of the functions described above are performed in the virtual reality display method according to the preferred embodiment of the present invention, and all the functions described with reference to FIG. 4 are performed in the virtual reality immersion type display system according to the preferred embodiment of the present invention Be careful.

먼저, 촬영부에 구비된, 서로 다른 방향으로 배치된 복수의 카메라를 이용하여 복수의 영상을 촬영한다(S110).First, a plurality of images are captured using a plurality of cameras arranged in different directions provided in the photographing unit (S110).

이때, 상기 촬영부는 서로 다른 방향을 촬영하는 복수의 카메라가 탑재된 모바일 디바이스로 구비될 수 있다.The photographing unit may be a mobile device having a plurality of cameras for photographing different directions.

그 다음, 영상 처리부는 상기 촬영부에서 촬영된 영상들을 정합하여 하나의 컨텐츠 영상을 생성한다(S120).Then, the image processing unit generates a content image by matching the images photographed by the photographing unit (S120).

이때, 상기 영상 처리부는 셋톱 박스로 구비되어, 상기 촬영부에서 촬영된 영상들을 입력받아 해당 영상들의 경계 영역을 서로 중첩하는 방식으로 영상들을 정합할 수 있다.At this time, the image processing unit is provided as a set-top box, and the images photographed by the photographing unit are received, and the images are registered in such a manner that the boundary regions of the images overlap each other.

그 다음에는, 상기 영상 처리부가 상기 생성된 컨텐츠 영상을, 디스플레이부의 화면에서 표시한다(S130).Then, the image processing unit displays the generated content image on the screen of the display unit (S130).

이때, 상기 영상 처리부는 상기 디스플레이부의 화면이 복수인 경우, 상기 컨텐츠 영상을 상기 디스플레이부의 화면 갯수만큼 분할하여 각각의 화면에 동기시켜 출력하게 된다. 여기서, 상기 디스플레이부는 상기 촬영부에 구비된 복수의 카메라와 동일한 갯수 만큼의 화면을 구비한 책상 형태로 구현될 수 있다.At this time, if the display unit has a plurality of screens, the image processing unit divides the content images by the number of screens of the display unit, and outputs the divided images in synchronization with the respective screens. Here, the display unit may be implemented as a desk having the same number of screens as the plurality of cameras provided in the photographing unit.

이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니며, 특허청구범위에 기재된 범주 내에서 적절하게 변경 가능한 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention.

110 : 촬영부
120 : 디스플레이부
130 : 영상 처리부110:
120:
130:

Claims (5)

서로 다른 방향으로 배치된 복수의 카메라를 구비하는 촬영부;
상기 촬영부에 구비된 복수의 카메라에 대응하는 갯수 만큼의 화면을 구비하는 디스플레이부; 및
상기 촬영부의 카메라들로부터 촬영된 영상들을 정합하여 하나의 컨텐츠 영상을 생성하고, 그 컨텐츠 영상을 상기 디스플레이부의 화면에서 표시하는 영상 처리부;를 포함하는 가상현실용 몰입형 디스플레이 시스템.
A photographing unit having a plurality of cameras arranged in different directions;
A display unit having a number of screens corresponding to a plurality of cameras provided in the photographing unit; And
And an image processing unit for generating a content image by matching the images photographed by the cameras of the photographing unit and displaying the content image on the screen of the display unit.
제 1항에 있어서,
상기 영상 처리부는 상기 컨텐츠 영상을 상기 디스플레이부의 화면 갯수만큼 분할한 후 각각의 화면에 동기시켜 표시하는 것을 특징으로 하는 가상현실용 몰입형 디스플레이 시스템.
The method according to claim 1,
Wherein the image processing unit divides the content image by the number of screens of the display unit and displays the divided image in synchronism with each of the plurality of screens.
제 2항에 있어서,
상기 영상 처리부는 상기 컨텐츠 영상의 중앙에 기준 시점을 설정하고 그 기준 시점이 복수의 화면 중앙에 위치하도록 상기 컨텐츠 영상의 일부를 표시하며, 사용자의 시점 변화에 따라 그 컨텐츠 영상을 상,하 또는 좌,우 방향으로 전환시켜 표시하는 것을 특징으로 하는 가상현실용 몰입형 디스플레이 시스템.
3. The method of claim 2,
Wherein the image processing unit sets a reference time point at a center of the content image and displays a part of the content image so that the reference time point is located at a center of a plurality of screens and displays the content image on an upper, , And the display is switched to the right direction and displayed.
제 2항에 있어서,
상기 영상 처리부는 상기 촬영부의 카메라들로부터 촬영된 영상들을 정합할 때, 각 영상의 RGB 색상값을 대상으로 최소자승법(Least Square Method)이 적용된 선형변환(Linear Transform)에 따른 최적 색상값을 계산하여, 서로 인접하는 영상들 간의 경계에서 발생되는 색상 차이를 보정하는 것을 특징으로 하는 가상현실용 몰입형 디스플레이 시스템.
3. The method of claim 2,
When the images captured from the cameras of the photographing unit are matched with each other, the image processor calculates an optimal color value according to a linear transformation using a Least Square Method on the RGB color values of each image And corrects a color difference occurring at a boundary between images adjacent to each other.
가상현실용 몰입형 디스플레이 시스템에서 수행되는 가상현실 디스플레이 방법으로서,
(1) 상기 몰입형 디스플레이 시스템이, 서로 다른 방향으로 배치된 복수의 카메라를 이용하여 동시에 복수의 영상을 촬영하는 단계;
(2) 상기 몰입형 디스플레이 시스템이, 상기 촬영된 영상들을 정합하여 하나의 컨텐츠 영상을 생성하는 단계; 및
(3) 상기 몰입형 디스플레이 시스템이, 상기 생성된 컨텐츠 영상을 화면에서 표시하는 단계;를 포함하는 가상현실 디스플레이 방법.
A virtual reality display method performed in an immersive display system for virtual reality,
(1) the immersion type display system photographing a plurality of images simultaneously using a plurality of cameras arranged in different directions;
(2) the immersion type display system may include: generating a content image by matching the photographed images; And
(3) The immersion type display system displays the generated content image on a screen.
KR1020160126456A 2016-02-16 2016-09-30 Immersive display system for virtual reality and virtual reality display method using the same KR20170096567A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160018065 2016-02-16
KR1020160018065 2016-02-16

Publications (1)

Publication Number Publication Date
KR20170096567A true KR20170096567A (en) 2017-08-24

Family

ID=59758225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160126456A KR20170096567A (en) 2016-02-16 2016-09-30 Immersive display system for virtual reality and virtual reality display method using the same

Country Status (1)

Country Link
KR (1) KR20170096567A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277271B1 (en) 2021-01-11 2021-07-14 레이징덕 주식회사 VR content central management system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277271B1 (en) 2021-01-11 2021-07-14 레이징덕 주식회사 VR content central management system and method

Similar Documents

Publication Publication Date Title
JP6511386B2 (en) INFORMATION PROCESSING APPARATUS AND IMAGE GENERATION METHOD
US7796134B2 (en) Multi-plane horizontal perspective display
CN104394400B (en) Draw filter antagonism project dummy emulation system and the method for display based on solid more
Nakanuma et al. Natural 3D display with 128 directional images used for human-engineering evaluation
JP5427035B2 (en) Image observation using multiple individual settings
US20060250391A1 (en) Three dimensional horizontal perspective workstation
US20120038635A1 (en) 3-d rendering for a rotated viewer
WO2017094543A1 (en) Information processing device, information processing system, method for controlling information processing device, and method for setting parameter
KR20140010854A (en) System and method for multi-projection comprising a direction-changeable chair for viewing
WO2012175039A1 (en) Image/information display system and method based on temporal psycho-visual modulation
WO2018176927A1 (en) Binocular rendering method and system for virtual active parallax computation compensation
JP6433850B2 (en) Head mounted display, information processing apparatus, information processing system, and content data output method
US20240048677A1 (en) Information processing system, information processing method, and computer program
US11051376B2 (en) Lighting method and system to improve the perspective colour perception of an image observed by a user
KR101821141B1 (en) 3d imaging system and imaging display method for the same
US8400493B2 (en) Virtual stereoscopic camera
Broll et al. VR/AR output devices
KR20170096567A (en) Immersive display system for virtual reality and virtual reality display method using the same
CN110244837A (en) Augmented reality and the experience glasses and its imaging method being superimposed with virtual image
US20130222374A1 (en) Method for outputting three-dimensional (3d) image and display apparatus thereof
US11388378B2 (en) Image processing apparatus, image processing method and projection system
JP2018504014A (en) Method for reproducing an image having a three-dimensional appearance
JP2020530218A (en) How to project immersive audiovisual content
Liu et al. A method of view-dependent stereoscopic projection on curved screen
CN209358683U (en) 2D and 3D multi-screen mixed display device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application