KR20170123741A - 3d display system based on user interaction - Google Patents
3d display system based on user interaction Download PDFInfo
- Publication number
- KR20170123741A KR20170123741A KR1020160052595A KR20160052595A KR20170123741A KR 20170123741 A KR20170123741 A KR 20170123741A KR 1020160052595 A KR1020160052595 A KR 1020160052595A KR 20160052595 A KR20160052595 A KR 20160052595A KR 20170123741 A KR20170123741 A KR 20170123741A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- dimensional
- depth
- input
- user
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
-
- H04N13/0436—
-
- H04N13/0018—
-
- H04N13/0022—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 사용자 인터랙션 기반 3차원 디스플레이 시스템에 대한 것이다.The present invention relates to a user interaction-based three-dimensional display system.
최근, 디스플레이 기술의 발전에 따라 3차원(3D)의 입체영상을 표시할 수 있는 디스플레이 장치가 관심을 끌고 있으며, 다양한 3차원 영상의 디스플레이 방법이 연구되고 있다.2. Description of the Related Art In recent years, a display device capable of displaying three-dimensional (3D) stereoscopic images has been attracting attention as display technology advances, and various 3-dimensional image display methods are being studied.
일반적으로, 3차원 영상 디스플레이 기술에서는 근거리에서 입체감을 인식하는 가장 큰 요인인 양안시차(binocular parallax)를 이용하여 물체의 입체감을 표현한다. 즉, 왼쪽 눈(좌안)과 오른쪽 눈(우안)에는 각각 서로 다른 2차원 영상이 비춰지고, 좌안에 비춰지는 영상(좌안영상)과 우안에 비춰지는 영상(우안영상)이 뇌로 전달되면, 좌안영상과 우안영상은 뇌에서 융합되어 깊이감(depth perception)을 갖는 3차원 영상으로 인식된다.Generally, in 3D image display technology, binocular parallax, which is the largest factor for recognizing a three-dimensional sensation in a short distance, is used to express a stereoscopic effect of an object. That is, when two-dimensional images different from each other are displayed on the left eye (left eye) and the right eye (right eye), and the image (left eye image) And right eye images are recognized as three-dimensional images that are fused in the brain and have depth perception.
입체영상 디스플레이 장치는 양안시차를 이용하는 것으로서, 셔터 글래스(shutter glass), 편광안경(polarized glasses) 등의 안경을 이용하는 안경식(stereoscopic) 입체영상 디스플레이 장치와 안경을 이용하지 않고 디스플레이 장치에 렌티큘러 렌즈(lenticular lens), 패럴랙스 배리어(parallax barrier) 등의 광학계를 배치하는 무안경식(autostereoscopic) 입체영상 디스플레이 장치가 있다.The stereoscopic image display device utilizes binocular parallax, and includes a stereoscopic stereoscopic image display device using glasses such as a shutter glass, polarized glasses, and the like, and a lenticular lens lens, a parallax barrier, and the like are disposed on a substrate.
무안경식은 3차원 영상정보를 수신하여 3차원 영상을 디스플레이하거나, 2차원 영상에 광원, 위치, 색상 등 외부의 정보를 고려하여 입체감을 불어넣어 3차원 영상을 만드는 렌더링(rendering) 방법을 통해 3차원 영상을 디스플레이할 수 있다. 이러한 무안경식 입체영상 디스플레이 장치는 여러 각도에 위치하는 관찰자들을 위해 복수개의 시점(view)에서 영상이 인식될 수 있도록 영상을 표시한다.The non-anisometropic method uses a rendering method to display a three-dimensional image by receiving three-dimensional image information or to generate a three-dimensional image by applying a three-dimensional effect to a two-dimensional image in consideration of external information such as a light source, Dimensional image can be displayed. The non-eye-wear stereoscopic image display apparatus displays an image so that an image can be recognized at a plurality of view points for observers located at various angles.
한편, 전시용 디스플레이에서 재생되는 컨텐츠의 경우, 단순한 컨텐츠 감상에 그치지 않고 관람자가 직접 사용자 인터페이스를 통해 인터랙션(interaction)에 의해 컨텐츠의 관람에 적극 개입하는 경우가 발생한다.On the other hand, in the case of the contents to be reproduced on the display for exhibition, there is a case where the spectators actively intervene in the viewing of the contents by interaction with the user through the user interface.
그러나, 현재 3차원 디스플레이의 경우 단순히 컨텐츠를 재생하는 수준이 그치게 되므로, 관람자의 개입이 어려운 문제점이 있다. However, in the case of the three-dimensional display at present, the level of reproduction of the content is simply stopped, so that it is difficult for the viewer to intervene.
본 발명이 해결하고자 하는 기술적 과제는, 사용자가 인터페이스를 통해 입력하는 인터랙션을 기반으로 3차원 영상을 디스플레이하는 시스템을 제공하는 것이다. SUMMARY OF THE INVENTION It is an object of the present invention to provide a system for displaying a three-dimensional image based on an interaction input by a user via an interface.
상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일실시예의 영상처리장치는, 3차원 모델링 영상(원영상)을 수신하는 영상수신부; 인터랙티브 기능에 대응하는 스크립트 입력을 수신하는 사용자 입력부; 및 가상의 카메라를 기준으로 원영상의 깊이영상을 추출하고, 깊이영상의 깊이정보로부터, 하나의 픽셀에 대한 복수의 시점에 대응하는 시차를 생성하고, 원영상의 컬러정보와 상기 복수의 시점에 대응하는 시차로부터, 상기 하나의 픽셀에 대한 다시점 영상을 생성하는 제어부를 포함할 수 있다. According to an aspect of the present invention, there is provided an image processing apparatus including an image receiving unit receiving a three-dimensional modeling image (original image); A user input for receiving a script input corresponding to an interactive function; And generating a parallax corresponding to a plurality of viewpoints of one pixel from the depth information of the depth image, extracting color information of the original image from the depth information of the original image, From the corresponding time difference, a multi-view image for the one pixel.
상기와 같은 본 발명은, 사용자의 인터랙션 입력에 따라 다시점 영상을 변경가능하게 하는 효과가 있다. According to the present invention as described above, it is possible to change the multi-view image according to the user's interaction input.
도 1은 본 발명의 일실시예의 디스플레이 시스템의 구성도이다.
도 2는 본 발명의 일실시예의 영상처리장치(1)의 상세 구성도이다.
도 3a 내지 도 3e는 본 발명의 일실시예의 디스플레이 시스템에서 영상이 구현되는 것을 설명하기 위한 일예시도이다.
도 4는 디스플레이 장치(2)에 디스플레이되는 다시점 영상의 일예시도이다. 1 is a configuration diagram of a display system according to an embodiment of the present invention.
2 is a detailed configuration diagram of a
3A to 3E are views for explaining how an image is implemented in a display system according to an embodiment of the present invention.
FIG. 4 is an example of a multi-view image displayed on the
본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예의 디스플레이 시스템의 구성도이다. 1 is a configuration diagram of a display system according to an embodiment of the present invention.
도면에 도시된 바와 같이, 본 발명의 일실시예의 시스템은, 영상처리장치(1) 및 디스플레이 장치(2)를 포함할 수 있다. 본 발명의 일예에서는 영상처리장치(1)와 디스플레이 장치(2)가 별도로 구성되는 예를 설명하고 있지만 이는 예시적인 것으로서, 영상처리장치(1)가 디스플레이 장치(2) 내부에 구성될 수도 있을 것이다. 즉, 예를 들어, 영상처리장치(1)가 PC에 구비되고, 디스플레이 장치(2)는 3차원 TV로 구성될 수도 있고, 또는 영상처리장치(1)가 디스플레이 장치(2)인 3차원 TV 내부에 구성될 수도 있을 것이다.As shown in the drawings, the system of an embodiment of the present invention can include an
디스플레이 장치(2)는 3차원 영상을 디스플레이하는 장치일 수 있다. 예를 들어 디스플레이 장치(2)는 다시점 영상을 디스플레이할 수 있는 3차원 디스플레이 장치일 수도 있고, 또는 소정 렌티큘러 패턴이 형성된 렌티큘러 디스플레이 장치일 수도 있다. The
도 2는 본 발명의 일실시예의 영상처리장치(1)의 상세 구성도로서, 영상처리장치(1)가 예를 들어 PC에 구비되는 경우를 예를 들어 설명한 것이다. 또한, 도 3a 내지 도 3d는 본 발명의 일실시예의 디스플레이 시스템에서 영상이 구현되는 것을 설명하기 위한 일예시도이다. Fig. 2 is a detailed configuration diagram of the
도면에 도시된 바와 같이, 본 발명의 일실시예의 영상처리장치(1)는, 제어부(10), 영상수신부(20) 및 사용자 입력부(30)를 포함할 수 있으며, 디스플레이부(50) 및 전송부(40)를 더 포함할 수도 있다.The
영상수신부(20)는 사용자의 입력에 따라 3차원 모델링 영상을 수신할 수 있다. 이에 의해 제어부(10)는 사용자가 수신된 영상을 열람할 수 있도록 디스플레이부(50)를 통해 사용자 인터페이스를 제공할 수 있다. 도 3a는 영상수신부(20)를 통해 수신한 3차원 모델링 데이터를 사용자 인터페이스(user interface, UI)를 통해 제공한 예를 나타낸 것이다.The
사용자 입력부(30)는 사용자의 스크립트 입력을 수신할 수 있다. 이때 제어부(10)는 사용자의 스크립트 입력에 대응하여 인터랙티브 기능을 설정할 수 있다. 사용자가 입력하는 스크립트 입력은, 3차원 모델링 영상에 대한 사용자의 인터랙션 입력 시나리오에 해당할 수 있다. 예를 들어, 인터랙션 입력은 크기변경(scale), 이동(transition), 회전을 포함할 수 있고, 사용자 입력부(30)를 통해 설정된 인터랙티브 기능은 추후 디스플레이 장치(2)에서 관람자의 인터랙션 입력에 해당하는 것일 수 있다. 도 3b는 이러한 인터랙티브 기능을 설정하는 것을 UI를 통해 스크립트 언어를 입력하는 예를 나타낸 것이다. The
제어부(10)는, 가상의 카메라를 세팅하고, 가상의 카메라를 기준으로 3차원 모델링 영상의 깊이영상을 추출하여, 원영상과 깊이영상을 측면에 배열하여 디스플레이부(50)에 디스플레이할 수 있다. 도 3c는 제어부(10)가 3차원 영상에 가상의 카메라를 세팅한 예를 나타낸 것이고, 도 3d는 3차원 원영상과 깊이영상을 측면에 배열한 예를 나타낸 것이다.The
이후 제어부(10)는 깊이영상으로부터 가상의 다시점 카메라의 시차를 생성할 수 있다. 깊이영상에서, 임의의 점에 대해 깊이정보 D를 가정하기로 한다. Then, the
2차원 영상에서, D와 시차 사이에는 다음과 같은 관계가 있다고 할 수 있다.In the two-dimensional image, the following relationship exists between D and time difference.
이때 a는 계수(coefficient)이고, b는 오프셋(offset)일 수 있다. 다만, 실제로 둘 사이는 위 수학식 1과 같이 선형적(linear)이지 않으므로, 비선형적 모델을 활용하여 다시 정리하면 다음과 같다. Where a may be a coefficient and b may be an offset. However, since the two are not linear as shown in Equation (1) above, the nonlinear model is used to rearrange the following equations.
따라서, 가상의 레퍼런스 카메라 c(1)에 대해 베이스라인 상의 다른 카메라인 c(1), c(2), c(3) ..., c(N)을 가정하면, c(1)과 각 가상의 카메라 사이의 시차는 계수인 a를 조절함으로써 얻을 수 있다. Therefore, assuming c (1), c (2), c (3) ..., c (N), which are other cameras on the baseline, for virtual reference camera c The parallax between the virtual cameras can be obtained by adjusting the coefficient a.
일반적인 와이드-베이스라인 카메라 시스템에서, 복수의 카메라 c(1), c(2), c(3) ..., c(N)은 서로 등간격으로 배치되기 때문에, 제어부(10)는 계수 a에 일정한 크기변화를 주어 n시점의 시차를 결정할 수 있다.In the general wide-baseline camera system, since the plurality of cameras c (1), c (2), c (3) ... c (N) are arranged at equal intervals from each other, The time difference of the n point can be determined.
또한, 제어부(10)는 이와 같이 결정된 시차를 이용하여 다시점 영상을 생성할 수 있다. 원영상에서, 임의의 점에 대한 컬러정보를 C라 한다. 시차는 한 점이 각 카메라에 투사되었을 때 u 좌표의 차이임은 위에서 설명한 바와 같다.In addition, the
컬러영상에서 색상정보 C의 좌표를 (u, v)라 하면, n개의 카메라에 대한 시차를 나타내는 P(1), P(2), P(3), ..., P(n)은 시차생성부(30)에 의해 결정되므로, n개의 카메라에서의 해당 점의 좌표는 (u+P(1), v), (u+P(2), v), ..., (u+P(n), v)라 할 수 있다.(1), P (2), P (3), ..., P (n) representing the parallax with respect to the n cameras are expressed as a time difference The coordinates of corresponding points in the n cameras are (u + P (1), v), (u + P (2), v) (n), v).
따라서, 제어부(10)는, 각 카메라의 이미지 공간에 대응하는 좌표 (u+P(n), v)에 컬러정보 C를 부여함으로써 다시점 영상을 생성할 수 있다. 이와 같이 생성된 다시점 영상을 제어부(10)는 코드형태로 3차원 모델링 영상에 합성할 수 있다.Therefore, the
전송부(40)는 이와 같이 다시점 영상이 코드형태로 합성된 3차원 모델링 영상을 디스플레이 장치(2)로 전송할 수 있다. 이때 3차원 모델링 영상에는 스크립트 형식으로 작성된 인터랙티브 기능이 합성될 수 있을 것이다.The transmitting
관람자는, 다시점 영상을 디스플레이 장치(2)에서 관람할 수 있다. 도 4는 디스플레이 장치(2)에 디스플레이되는 다시점 영상의 일예시도이다. The spectator can view the multi-view image on the
관람자는 도 4와 같은 다시점 영상의 관람 도중 인터액션 입력을 할 수 있다. 이때 인터랙션 입력은 디스플레이 장치(2)에 대한 터치입력일 수 있으며, 이를 위해 터치스크린이 구비될 수 있을 것이다. The spectator can input an interaction during the viewing of the multi-view image as shown in FIG. At this time, the interaction input may be a touch input to the
관람자의 인터랙션 입력에 대응하여, 다시점 영상에는 인터랙티브 기능이 합성되어 있으므로, 해당 인터랙션 입력에 해당하는 인터랙티브 기능이 수행될 수 있을 것이다.Since the interactive function is synthesized in the multi-view image corresponding to the interaction input of the spectator, an interactive function corresponding to the interaction input can be performed.
즉, 예를 들어 회전, 이동, 크기변경 등에 해당하는 인터랙션 입력에 따라 인터랙티브 기능이 수행되는 다시점 영상을 디스플레이장치(2)가 디스플레이할 수 있을 것이다That is, the
이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims. Accordingly, the true scope of the present invention should be determined by the following claims.
1: 영상처리장치 2: 디스플레이 장치1: Image processing device 2: Display device
Claims (1)
인터랙티브 기능에 대응하는 스크립트 입력을 수신하는 사용자 입력부; 및
가상의 카메라를 기준으로 원영상의 깊이영상을 추출하고, 깊이영상의 깊이정보로부터, 하나의 픽셀에 대한 복수의 시점에 대응하는 시차를 생성하고, 원영상의 컬러정보와 상기 복수의 시점에 대응하는 시차로부터, 상기 하나의 픽셀에 대한 다시점 영상을 생성하는 제어부를 포함하는 영상처리장치.
An image receiving unit for receiving a three-dimensional modeling image (original image);
A user input for receiving a script input corresponding to an interactive function; And
The depth image of the original image is extracted based on the virtual camera, the parallax corresponding to the plurality of viewpoints of one pixel is generated from the depth information of the depth image, and the color information of the original image and the And generating a multi-view image for the one pixel from the parallax of the one pixel.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160052595A KR20170123741A (en) | 2016-04-29 | 2016-04-29 | 3d display system based on user interaction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160052595A KR20170123741A (en) | 2016-04-29 | 2016-04-29 | 3d display system based on user interaction |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20170123741A true KR20170123741A (en) | 2017-11-09 |
Family
ID=60385689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160052595A KR20170123741A (en) | 2016-04-29 | 2016-04-29 | 3d display system based on user interaction |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20170123741A (en) |
-
2016
- 2016-04-29 KR KR1020160052595A patent/KR20170123741A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20090219383A1 (en) | Image depth augmentation system and method | |
US9049435B2 (en) | Image providing apparatus and image providing method based on user's location | |
US11659158B1 (en) | Frustum change in projection stereo rendering | |
US20060171028A1 (en) | Device and method for display capable of stereoscopic vision | |
WO2006104493A2 (en) | Horizontal perspective display | |
US10136121B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
CN108076208B (en) | Display processing method and device and terminal | |
US20060221071A1 (en) | Horizontal perspective display | |
US20060250390A1 (en) | Horizontal perspective display | |
KR101177058B1 (en) | System for 3D based marker | |
CN107948631A (en) | It is a kind of based on cluster and the bore hole 3D systems that render | |
CN113382224B (en) | Interactive handle display method and device based on holographic sand table | |
KR101212223B1 (en) | Device taking a picture and method to generating the image with depth information | |
US9942540B2 (en) | Method and a device for creating images | |
KR100928523B1 (en) | Stereoscopic presentation system | |
US20160094837A1 (en) | Distributed stereoscopic rendering for stereoscopic projecton and display | |
CN101908233A (en) | Method and system for producing plural viewpoint picture for three-dimensional image reconstruction | |
KR101794492B1 (en) | System for displaying multiview image | |
TWI572899B (en) | Augmented reality imaging method and system | |
CN207603821U (en) | A kind of bore hole 3D systems based on cluster and rendering | |
Lee et al. | Eye tracking based glasses-free 3D display by dynamic light field rendering | |
KR101192121B1 (en) | Method and apparatus for generating anaglyph image using binocular disparity and depth information | |
KR20170123741A (en) | 3d display system based on user interaction | |
US10701345B2 (en) | System and method for generating a stereo pair of images of virtual objects | |
KR101831978B1 (en) | Generation method of elemental image contents for display system with rotated lenticular sheet |