KR20160095500A - 3D Hologram System using Auto-stereoscopic 3D image - Google Patents

3D Hologram System using Auto-stereoscopic 3D image Download PDF

Info

Publication number
KR20160095500A
KR20160095500A KR1020150016830A KR20150016830A KR20160095500A KR 20160095500 A KR20160095500 A KR 20160095500A KR 1020150016830 A KR1020150016830 A KR 1020150016830A KR 20150016830 A KR20150016830 A KR 20150016830A KR 20160095500 A KR20160095500 A KR 20160095500A
Authority
KR
South Korea
Prior art keywords
stereoscopic image
display
image
stereoscopic
distance
Prior art date
Application number
KR1020150016830A
Other languages
Korean (ko)
Inventor
오병기
Original Assignee
주식회사 쓰리디팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쓰리디팩토리 filed Critical 주식회사 쓰리디팩토리
Priority to KR1020150016830A priority Critical patent/KR20160095500A/en
Priority to PCT/KR2015/009489 priority patent/WO2016125972A1/en
Publication of KR20160095500A publication Critical patent/KR20160095500A/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B27/2292
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G02B27/2228
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers

Abstract

An embodiment of the present invention relates to a three-dimensional (3D) hologram implementing system using an auto-stereoscopic 3D image. The 3D hologram implementing system using an auto-stereoscopic 3D image comprises: a playing device synchronizing contents of a first 3D image and contents of a second 3D image to be played; a first auto-stereoscopic 3D display spatially floating the first 3D image on a screen; a second auto-stereoscopic 3D display spatially floating the second 3D image on a screen; and a lens positioned to be slanted at a predetermined angle with respect to the second auto-stereoscopic 3D display and refracting the second 3D image to generate a hologram. The first auto-stereoscopic 3D display and the second auto-stereoscopic 3D display are arranged to be vertical to each other to allow the first image to be arrayed on a rear surface of the hologram. According to the present invention, a 3D image having an improved 3D effect can be provided.

Description

무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템{3D Hologram System using Auto-stereoscopic 3D image}[0001] The present invention relates to a 3D hologram system using 3D glasses,

본 발명은 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템에 관한 것이다.The present invention relates to a system for implementing a 3D hologram using a spectacles 3D image.

최근 입체영상 서비스에 대한 관심이 점점 증대되면서 입체영상을 제공하는 장치들이 계속 개발되고 있다. 이러한 입체영상을 구현하는 방식 중에 스테레오스코픽(Stereoscopic) 방식과 오토스테레오스코픽(Auto-Stereoscopic) 방식이 있다. As the interest in stereoscopic image service has been increasing recently, devices for providing stereoscopic images are continuously being developed. There are stereoscopic and auto-stereoscopic methods for realizing such stereoscopic images.

스테레오스코픽 방식의 기본 원리는, 사람의 좌안과 우안에 서로 직교하도록 배열된 영상을 분리하여 입력하고, 사람의 두뇌에서 좌안과 우안에 각각 입력된 영상이 결합되어 입체영상이 생성되는 방식이다. 이때, 영상이 서로 직교하도록 배열된다는 것은 각 영상이 서로 간섭을 일으키지 않는다는 것을 의미한다. 상기 오토스테레오스코픽(Auto-Stereoscopic) 방식은 무안경 방식으로 불리기도 한다.The basic principle of the stereoscopic method is that a plurality of images orthogonal to each other are input to the left eye and the right eye of a human being, and stereoscopic images are generated by combining images input from the left eye and right eye of the human brain. In this case, the fact that the images are arranged to be orthogonal to each other means that the respective images do not interfere with each other. The auto-stereoscopic method is also referred to as a non-eyeglass method.

즉, 입체영상 디스플레이 장치를 구현하는 방법은, 안경 방식과 무안경 방식으로 크게 나뉠수 있다.That is, the method of implementing the stereoscopic image display apparatus can be largely divided into a spectacle method and a non-spectacle method.

도 1은 무안경 방식의 입체영상의 일 방식을 나타낸 예시도이다.FIG. 1 is an exemplary view showing a system of stereoscopic images in a non-eyeglass system.

먼저, 무안경 방식으로는 다시점 무안경 방식이 있다. 상기 다시점 무안경 방식은 페러렉스 배리어 (Parallax Barrier) 방식과 렌티큘러 렌즈(Lenticular Lens) 방식이 있다. First, there is a non-point-of-view system in the non-eyeglass system. The above-mentioned multi-view glasses system includes a parallax barrier system and a lenticular lens system.

상기 페러렉스 베리어 방식은 디스플레이에 배리어(막)을 입히는데, 상기 베리어(막)은 수직하는 라인들로 이루어지며, 수직 라인들 사이에 슬릿(slit)이 존재한다. 상기 슬릿에 의하여 좌안가 우안에 시차를 만들어 내는 방식이다. The Parental Barrier scheme applies a barrier to the display, wherein the barrier consists of vertical lines, and there is a slit between the vertical lines. And the left eye makes the parallax in the right eye by the slit.

렌티큘러 방식은 디스플레이에 정제된 작은 렌즈들을 디스플레이에 배열하여, 영상이 작은 렌즈들에 의해 굴절되어, 좌안과 우안에 각기 다른 영상을 보여주는 방식이다.The lenticular method arranges the refined small lenses on the display on the display so that the images are refracted by the small lenses to show different images on the left and right eyes.

도 1에 도시된 방식은 일반적인 패러렉스 배리어 방식에 의한 것으로서, 입체영상표시장치(100)는 좌우 영상을 동시에 표시하는 표시패널(30) 및 패러렉스 배리어(20)로 구성된다.1 is based on a general parallax barrier system. The stereoscopic image display apparatus 100 includes a display panel 30 and a parallax barrier 20 for simultaneously displaying left and right images.

이때, 상기 표시패널(30)에는 좌안(左眼)용 영상을 표시하는 좌안 화소(L)와 우안(右眼)용 영상을 표시하는 우안 화소(R)가 번갈아 정의되어 있고, 상기 표시패널(30)과 사용자(40) 사이에 상기 패러렉스 배리어(20)가 배치된다.In this case, the display panel 30 is alternately defined with a left eye pixel L for displaying an image for the left eye and a right eye pixel R for displaying an image for the right eye, The parallax barrier 20 is disposed between the user 30 and the user 40.

상기 패러렉스 배리어(20)에는 좌, 우안 화소(L, R)로부터 나오는 빛을 각각 선택적으로 통과시키는 슬릿(22)과 배리어(21)가 사용자(40)에 대해 세로방향을 향하는 스트라이프 형태로 반복 배열되어 있다.The parallax barrier 20 is repeatedly provided with a slit 22 and a barrier 21 for selectively passing light from the left and right eye pixels L and R in a striped pattern oriented in the vertical direction with respect to the user 40 Respectively.

이에 따라 상기 표시패널(30)의 좌안 화소(L)에 표시되는 좌안 영상은 패러렉스 배리어(20)의 슬릿(22)을 거쳐 사용자(40)의 좌안에 도달되고, 상기 표시패널(20)의 우안 화소(R)에 표시되는 우안 영상은 패러렉스 배리어(20)의 슬릿(22)을 거쳐 사용자(40)의 우안에 도달되는데, 이때 상기 좌, 우안 영상에는 각각 인간이 감지 가능한 시차(視差)를 고려한 별개의 영상이 담겨 있고, 사용자(40)는 이 두 가지 영상을 결합하여 3차원 영상을 인식하게 된다.The left eye image displayed on the left eye pixel L of the display panel 30 reaches the left eye of the user 40 via the slit 22 of the parallax barrier 20, The right eye image displayed on the right eye pixel R reaches the right eye of the user 40 via the slit 22 of the parallax barrier 20. At this time, And the user 40 recognizes the three-dimensional image by combining the two images.

이와 같이 시차(視差)에 따라 3차원 영상을 인식하도록 하는 무안경 3D 디스플레이에서는 영상이 화면 밖으로 심하게 돌출(Pop-Out)될 경우 사용자(40)는 어지러움을 느끼게 되는 고스트 현상이 발생된다. 이러한 고스트 현상에 의해 3차원 영상의 깊이감 표현의 제한을 받게 된다. In the non-eyeglass 3D display for recognizing the three-dimensional image in accordance with the parallax, when the image is significantly out of the screen (pop-out), the ghost phenomenon occurs in which the user 40 feels dizziness. Due to the ghost phenomenon, the depth of the three-dimensional image is limited.

한편, 현재 사용되고 있는 홀로그램은 2D 프로젝터 또는 2D 디스플레이로 2D 영상을 반투명 스크린이나 투웨이 미러(Two way Mirror)에 투영하는 방식으로, 투영된 영상이 2D 이므로 3D 입체감이나 3D 볼륨감을 표현할 수 없었다.
On the other hand, the currently used hologram is a method of projecting a 2D image onto a semitransparent screen or a two-way mirror using a 2D projector or a 2D display. As the projected image is 2D, 3D stereoscopic effect or 3D volume sensation can not be expressed.

전술한 바와 같이, 고스트 현상없이 입체감이 향상된 입체영상을 디스플레이 하는 기술을 제시하는 것을 목적으로 한다.
As described above, the object of the present invention is to provide a technique for displaying a stereoscopic image with improved stereoscopic effect without ghosting.

전술한 목적을 달성하기 위하여, 본 발명의 일 실시예는 입체영상과 홀로그램을 융합하여 입체감이 향상된 입체영상을 제공하는 방안을 제시한다. In order to achieve the above object, an embodiment of the present invention proposes a method of providing a stereoscopic image improved in stereoscopic effect by fusing a stereoscopic image and a hologram.

본 발명의 일 실시예는 무안경 3D 방식으로 생성된 제1 입체영상의 콘텐츠와 제2 입체영상의 콘텐츠를 동기화시켜 재생하는 재생 장치와, 상기 제1 입체영상을 스크린에 공간 부양화시키는 제1 무안경 3D 디스플레이와, 상기 제2 입체영상을 스크린에 공간 부양화시키는 제2 무안경 3D 디스플레이 및 상기 제2 무안경 3D 디스플레이와 소정 각도의 경사만큼 기울어지도록 마련되고 상기 제2 입체영상을 굴절시켜 홀로그램을 생성하는 렌즈(230)를 포함하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템을 제공한다. According to an embodiment of the present invention, there is provided a stereoscopic 3D stereoscopic image display apparatus, comprising: a playback apparatus for synchronously reproducing content of a first stereoscopic image and a content of a second stereoscopic image, A second non-eyeglass 3D display for skewing the second stereoscopic image on the screen, and a second non-eyeglass 3D display for refracting the second stereoscopic image by a predetermined angle with respect to the second non- And a lens 230 for generating a 3D hologram image.

이러한 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템은 상기 홀로그램의 후면에 상기 제1 입체영상이 어레이되도록 상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 앞쪽에 배치되며, 상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 수직한 축 상에 배치되는 것을 특징으로 한다.
The 3D hologram realization system using the spectacles 3D image is arranged in front of the first spectacles 3D display so that the first stereoscopic image is arranged on the rear surface of the hologram, And the spectacles 3D display is arranged on the vertical axis of the first spectacles 3D display.

본 발명의 일 실시예에 의하면, 무안경 3D 디스플레이 기술과 홀로그램 기술을 융합하여 입체감이 향상된 입체영상을 제공할 수 있도록 한다. According to an embodiment of the present invention, a stereoscopic image with improved stereoscopic effect can be provided by integrating a non-spectacles 3D display technology and a hologram technology.

또한, 본 발명의 다른 일 실시예에 의하면 입체영상 어레이의 간격을 조정하여 깊이감을 제어할 수 있도록 한다. According to another embodiment of the present invention, the depth sense can be controlled by adjusting the interval of the stereoscopic image array.

또한, 본 발명의 다른 일 실시예에 의하면 다중 무안경 3D 디스플레이의 영상을 동기화시켜 복수개의 입체영상을 무리없이 제공할 수 있도록 한다.
In addition, according to another embodiment of the present invention, a plurality of stereoscopic images can be seamlessly provided by synchronizing images of a multi-view 3D display.

도 1은 종래의 무안경 방식의 입체영상의 일 방식을 나타낸 예시도이다.
도 2는 본 명세서의 일 실시예에 따른 입체영상 제작 시스템을 나타낸 예시도이다.
도 3은 본 명세서의 일 실시예에 따른 입체영상 제작 시스템을 나타낸 예시도이다.
도 4는 도 3에 도시된 영상 제작 시스템을 제어하는 방안을 나타낸 흐름도이다.
도 5는 도 4의 변형예를 나타낸 흐름도이다.
도 6은 입체영상의 개념을 이해하기 위해 나타낸 예시도이다.
도 7은 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템을 나타낸 예시도이다.
도 8은 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템의 배치를 설명하기 위한 예시도이다.
도 9는 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템의 입체영상 디스플레이 방법을 설명하기 위한 흐름도이다.
도 10은 본 명세서의 일 실시예에 따른 영상 콘텐츠의 포맷을 나타내는 예시도이다.
도 11은 본 명세서의 다른 실시예에 따른 영상 콘텐츠의 포맷을 나타내는 예시도이다.
도 12는 본 명세서의 일 실시예에 따른 제1 입체영상과 제2 입체영상을 디스플레이 셋업하는 방법을 설명하기 위한 예시도이다.
도 13은 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템을 설치한 예시도이다.
FIG. 1 is a diagram showing an example of a conventional stereoscopic image without glasses.
2 is a diagram illustrating an example of a stereoscopic image production system according to an embodiment of the present invention.
3 is a diagram illustrating an example of a stereoscopic image production system according to an embodiment of the present invention.
FIG. 4 is a flowchart illustrating a method for controlling the image production system shown in FIG.
5 is a flowchart showing a modification of Fig.
6 is an exemplary diagram for explaining the concept of a stereoscopic image.
FIG. 7 is an exemplary view illustrating a system for implementing a 3D hologram using an eyeglass 3D image according to an embodiment of the present invention.
FIG. 8 is an exemplary view for explaining an arrangement of a 3D hologram implementing system using a spectacles 3D image according to an embodiment of the present invention.
FIG. 9 is a flowchart illustrating a method of displaying a stereoscopic image of a 3D hologram realization system using a spectacles 3D image according to an embodiment of the present invention.
10 is an exemplary diagram illustrating a format of image content according to an embodiment of the present invention.
11 is an exemplary view showing a format of image contents according to another embodiment of the present invention.
12 is an exemplary diagram illustrating a method of displaying and setting up a first stereoscopic image and a second stereoscopic image according to an embodiment of the present invention.
13 is an exemplary view illustrating a system for implementing a 3D hologram using a spectacles 3D image according to an embodiment of the present invention.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is noted that the technical terms used herein are used only to describe specific embodiments and are not intended to limit the invention. It is also to be understood that the technical terms used herein are to be interpreted in a sense generally understood by a person skilled in the art to which the present invention belongs, Should not be construed to mean, or be interpreted in an excessively reduced sense. Further, when a technical term used herein is an erroneous technical term that does not accurately express the spirit of the present invention, it should be understood that technical terms that can be understood by a person skilled in the art are replaced. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, the singular forms "as used herein include plural referents unless the context clearly dictates otherwise. In the present application, the term "comprising" or "comprising" or the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps.

또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.Further, the suffix "module" and "part" for components used in the present specification are given or mixed in consideration of ease of specification, and do not have their own meaning or role.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다. Furthermore, terms including ordinals such as first, second, etc. used in this specification can be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or similar elements throughout the several views, and redundant description thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. It is to be noted that the accompanying drawings are only for the purpose of facilitating understanding of the present invention, and should not be construed as limiting the scope of the present invention with reference to the accompanying drawings.

설명에 앞서, 본 발명에서 혼용하는 '3D', '3차원', '입체'는 동일한 의미로 사용된다. Prior to the description, '3D', '3D', and 'stereoscopic' mixed in the present invention are used in the same sense.

먼저, 본 발명에서 사용되는 무안경 3D 콘텐츠를 획득하는 방법을 위하여 도 2와 도 3을 참조하여 이하에 설명한다. First, a method for acquiring the spectacles 3D content used in the present invention will be described below with reference to FIGS. 2 and 3. FIG.

도 2는 본 명세서의 일 실시예에 따른 입체영상 제작 시스템을 나타낸 예시도이다.2 is a diagram illustrating an example of a stereoscopic image production system according to an embodiment of the present invention.

도 2를 참조하여 알 수 있는 바와 같이, 본 명세서의 일 실시예에 따르면, 레일(160)에 의해 지지된 다수의 카메라(151 내지 159: 이하, 150으로 통침함)을 이용하여 촬영된 이미지들을 이용하여, 콘텐츠 제작 장치(100)가 입체영상을 제작할 수 있다. 구체적으로 설명하면 다음과 같다.2, according to one embodiment of the present disclosure, images captured using a plurality of cameras 151 through 159 (hereinafter, referred to as 150) supported by rails 160 The content production apparatus 100 can produce a stereoscopic image. Specifically, it is as follows.

상기 다수의 카메라(150)는 일반적인 사진 이미지, 즉 2D 이미지를 촬영할 수 있는 카메라이다. 이러한 상기 카메라(150)는 DSLR(digital single-lens reflex camera), DSLT(Digital Single-Lens Translucent), 혹은 미러리스(Mirror-less) 카메라일 수 있다. 또한, 상기 카메라(150)는 렌즈 장착형 카메라일 수도 있고 혹은 렌즈 교환식 카메라일 수 있다. 즉, 각 카메라(150)에는 예컨대 광각 렌즈, 표준 렌즈, 망원 렌즈 등이 교환 장착될 수 있다. 상기 표준 렌즈라 함은 예컨대 35mm~85mm 초점 거리를 가지는 렌즈를 의미할 수 있다. 그리고 상기 광각 렌즈라 함은 상기 35mm 보다 낮은 초점 거리를 가지는 렌즈를 의미할 수 있다. 또한, 상기 망원 렌즈라 함은 70mm 이상의 초점 거리를 가지는 렌즈를 의미할 수 있다.The plurality of cameras 150 are cameras capable of photographing general photographic images, that is, 2D images. The camera 150 may be a digital single-lens reflex camera (DSLR), a digital single-lens translucent (DSLT), or a mirrorless camera. In addition, the camera 150 may be a lens mount type camera or a lens exchange type camera. That is, for example, a wide-angle lens, a standard lens, a telephoto lens, and the like may be exchangeably mounted on each camera 150. The standard lens may mean, for example, a lens having a focal length of 35 mm to 85 mm. The wide angle lens may mean a lens having a focal length of less than 35 mm. The telephoto lens may mean a lens having a focal length of 70 mm or more.

이하에서는, 렌즈 교환식 카메라를 가정하여 설명하기로 하나, 이에만 한정되는 것은 아니다.Hereinafter, a lens interchangeable camera will be described, but the present invention is not limited thereto.

또한, 상기 다수의 카메라(150)는 동영상을 촬영할 수 있으면 바람직하나, 동영상을 촬영할 수 없더라도, 초당 몇 프레임의 속도로 이미지를 촬영할 수 있으면 무방하다.It is preferable that the plurality of cameras 150 are capable of capturing a moving image, but it is acceptable if an image can be captured at a speed of several frames per second even if a moving image can not be captured.

이러한, 상기 다수의 카메라(150)는 상기 레일(160)에 의하여 지지되는데, 상기 레일(160)은 각 카메라(150)가 도시된 x, y, z 축 방향으로 미세하게 이동 조절 될 수 있도록 한다. 즉, 상기 레일(160)은 각 카메라(150)가 x축 방향으로 직선 이동될 수 있도록 하고, y축을 따라서는 회전 또는 직선 이동될 수 있도록 하고, z축을 따라서는 회전 또는 직선 이동될 수 있도록 한다. 이를 위해, 상기 레일(160)에는 각 카메라(150)를 x, y, z축 방향으로 조정할 수 있게 하는 모터 혹은 액추에이터가 설치될 수 있다. The plurality of cameras 150 are supported by the rails 160 so that each of the cameras 150 can be finely moved in the x, y and z axis directions . That is, the rail 160 allows each camera 150 to be linearly moved in the x-axis direction, rotated or linearly moved along the y-axis, and rotated or linearly moved along the z-axis . To this end, the rail 160 may be provided with a motor or an actuator for adjusting each camera 150 in the x, y, and z axis directions.

한편, 도 5에는 상기 다수의 카메라(150)는 9개의 카메라인 것으로 도시되었으나, 적어도 2개 이상의 카메라로 구현될 수도 있다. In FIG. 5, the plurality of cameras 150 are shown as nine cameras, but they may be implemented by at least two cameras.

한편, 콘텐츠 제작 장치(100)는 상기 레일(160)과 연결되어, 상기 각 카메라(150)를 x,y,z축 방향으로 미세 이동될 수 있도록 한다. 또한, 콘텐츠 제작 장치(100)는 상기 각 카메라(150)와의 연결될 수 있다. 이때, 각 카메라(150)의 연결은 유선 또는 무선으로 이루어질 수 있다. Meanwhile, the content production apparatus 100 is connected to the rail 160 so that each camera 150 can be finely moved in the x, y, and z axis directions. In addition, the content production apparatus 100 may be connected to each of the cameras 150. At this time, the connection of each camera 150 may be wired or wireless.

콘텐츠 제작 장치(100)는 연결된 각 카메라(150)로부터 촬영된 이미지를 내부 메모리 또는 외부 메모리에 저장하고, 상기 이미지에 기초하여 제작하고, 제작된 입체영상을 상기 내부 메모리 또는 외부 메모리에 저장할 수 있다. 여기서 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The content production apparatus 100 may store an image photographed from each connected camera 150 in an internal memory or an external memory, manufacture the stereoscopic image based on the image, and store the stereoscopic image in the internal memory or the external memory . The memory may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), a RAM, a ROM (EEPROM, etc.). ≪ / RTI >

콘텐츠 제작 장치(100)는 상기 레일(160) 및 각 카메라(150)를 제어할 수 있다. 예컨대, 콘텐츠 제작 장치(100)는 상기 레일(160)을 제어하여, 상기 다수의 카메라(150)들이 x축 방향으로 서로 근접하게 하거나 이격되도록 조절할 수 있다. 상기 다수의 카메라(150)들 간에 x축 방향 거리는 도 10과 같이 렌즈 축간 거리로 나타낼 수 있다. 이때, 상기 다수의 카메라(150)들 간에 축간 거리는 인간의 양안시차 평균거리와 렌즈의 초점 거리(L)에 맞춰 조절될 수 있다. 예를 들어, 3개의 카메라(151, 152, 153)이 이용될 경우, 제1 카메라(151)와 제3 카메라(153)의 축간 거리는 인간의 양안시차 평균거리와 렌즈의 초점 거리(L)를 이용하여 조절되고, 제2 카메라(152)는 상기 제1 카메라(151)와 제3 카메라(153)의 중앙에 배치되어, 전술한 바와 같이 기준 포커싱 역할을 하거나, 혹은 미리보기를 위해 이용될 수 있다. The content production apparatus 100 may control the rail 160 and each camera 150. [ For example, the content production apparatus 100 may control the rails 160 to adjust the cameras 150 to be close to or spaced from each other in the x-axis direction. The x-axis direction distance between the plurality of cameras 150 can be expressed as a distance between lens axes as shown in FIG. At this time, the inter-axis distance between the plurality of cameras 150 can be adjusted according to the average binocular disparity distance of the human and the focal length L of the lens. For example, when three cameras 151, 152, and 153 are used, the inter-axis distance between the first camera 151 and the third camera 153 is determined by the average binocular disparity distance of the human and the focal length L of the lens And the second camera 152 is disposed at the center of the first camera 151 and the third camera 153 and serves as a reference focus as described above or can be used for previewing have.

도 3은 도 1에 도시된 영상 제작 시스템을 제어하는 방안을 나타낸 흐름도이고, 도 4는 도 2의 변형예를 나타낸 흐름도이다. 그리고 도 5는 입체영상의 개념을 이해하기 위해 나타낸 예시도이다.FIG. 3 is a flowchart illustrating a method for controlling the image production system shown in FIG. 1, and FIG. 4 is a flowchart illustrating a modification of FIG. 5 is an exemplary diagram for explaining the concept of a stereoscopic image.

도 3 및 도 4에 도시된 방안들은 상기 카메라(150)가 렌즈 교환식 카메라인 것으로 가정하여 설명되나, 이에만 한정되는 것이 아니다.
The schemes shown in Figs. 3 and 4 are described below assuming that the camera 150 is a lens interchangeable camera, but it is not limited thereto.

먼저, 전술한 바와 같이 각 카메라(150)에는 예컨대 광각 렌즈, 표준 렌즈, 망원 렌즈 등이 교환 장착될 수 있다. 따라서, 상기 콘텐츠 제작 장치(100)는 각 카메라(150)에 장착된 렌즈의 초점 거리(L)에 대한 정보를 획득한다(S111).First, as described above, for example, a wide-angle lens, a standard lens, a telephoto lens, and the like may be interchangeably mounted on each camera 150. Therefore, the content production apparatus 100 acquires information on the focal length L of the lens mounted on each camera 150 (S111).

이어서, 콘텐츠 제작 장치(100)는 콘텐츠 제작자가 의도한 컨버젼스 포인트까지의 거리 정보를 획득한다(S113). 컨버젼스 포인트라 함은 입체감이 0인 지점을 말한다. 구체적으로, 각각의 카메라의 초점이 서로 일치하는 지점이 컨버젼스 포인트이다. 이러한 컨버젼스 포인트는 거리 조절이 가능하다. 따라서, 촬영 대상물인 주 피사체를 컨버젼스 포인트 맞추게 되면, 상기 주 피사체는 입체감이 없이, 즉 입체도가 없이 2D로 촬영된다.Subsequently, the content production apparatus 100 acquires distance information to the convergence point intended by the content producer (S113). Convergence point refers to the point where the 3D sensation is zero. Specifically, a convergence point is a point at which the focus of each camera coincides with each other. These convergence points can be adjusted in distance. Therefore, when the main subject, which is an object to be photographed, is set to the convergence point, the main subject is photographed in 2D without stereoscopic effect, that is, without stereoscopic view.

피사체보다 더 멀리 있는 지점에 컨버젼스 포인트를 맞춘 후 촬영하면, 피사체가 컨버전스 포인트에 위치하는 배경보다 전방에 위치하는 것처럼 입체도가 표현될 수 있다.When the convergence point is shot at a point farther away from the subject and then photographed, the stereoscopic view can be expressed as if the subject is located in front of the background located at the convergence point.

다시 도 3을 참조하면, 상기 콘먼저, 전술한 바와 같이 각 카메라(150)에는 예컨대 광각 렌즈, 표준 렌즈, 망원 렌즈 등이 교환 장착될 수 있다. 따라서, 상기 콘텐츠 제작 장치(100)는 각 카메라(150)에 장착된 렌즈의 초점 거리(L)에 대한 정보를 획득한다(S111).Referring again to FIG. 3, the camera 150 may be replaced with a wide-angle lens, a standard lens, a telephoto lens, or the like, as described above. Therefore, the content production apparatus 100 acquires information on the focal length L of the lens mounted on each camera 150 (S111).

이어서, 콘텐츠 제작 장치(100)는 콘텐츠 제작자가 의도한 컨버젼스 포인트까지의 거리 정보를 획득한다(S113). 컨버젼스 포인트라 함은 입체감이 0인 지점을 말한다. 구체적으로, 각각의 카메라의 초점이 서로 일치하는 지점이 컨버젼스 포인트이다. 이러한 컨버젼스 포인트는 거리 조절이 가능하다. 따라서, 촬영 대상물인 주 피사체를 컨버젼스 포인트 맞추게 되면, 상기 주 피사체는 입체감이 없이, 즉 입체도가 없이 2D로 촬영된다.Subsequently, the content production apparatus 100 acquires distance information to the convergence point intended by the content producer (S113). Convergence point refers to the point where the 3D sensation is zero. Specifically, a convergence point is a point at which the focus of each camera coincides with each other. These convergence points can be adjusted in distance. Therefore, when the main subject, which is an object to be photographed, is set to the convergence point, the main subject is photographed in 2D without stereoscopic effect, that is, without stereoscopic view.

피사체보다 더 멀리 있는 지점에 컨버젼스 포인트를 맞춘 후 촬영하면, 피사체가 컨버전스 포인트에 위치하는 배경보다 전방에 위치하는 것처럼 입체도가 표현될 수 있다.When the convergence point is shot at a point farther away from the subject and then photographed, the stereoscopic view can be expressed as if the subject is located in front of the background located at the convergence point.

다시 도 3을 참조하면, 상기 콘텐츠 제작 장치(100)는 컨버젼스 포인트에서 스테이지의 횡폭 정보를 획득한다(S115). 상기 컨버젼스 포인트에서 스테이지의 횡폭이라 함은 도 5에 나타난 바와 같이, 컨버젼스 포인트의 거리(Y)가 스테이지 중앙으로 조절되었을 때, 상기 스테이지에서 상기 컨버젼스 포인트의 가로 횡폭(X)을 의미한다. 이때, 상기 컨버젼스 포인트 보다 전면에 위치한 사물들은 입체영상에서 돌출되는 깊이감을 가지고 표현되고, 컨버젼스 포인트 보다 후면에 위치한 사물은 입체영상에서 후퇴하는 깊이감을 가지고 표현될 수 있다.Referring back to FIG. 3, the content production apparatus 100 acquires the width information of the stage at the convergence point (S115). The horizontal width of the stage at the convergence point means the transverse width X of the convergence point at the stage when the distance Y of the convergence point is adjusted to the center of the stage as shown in FIG. At this time, objects located on the foreground than the convergence point are expressed with a sense of depth protruding from the stereoscopic image, and objects located on the rear side of the convergence point can be expressed with a depth sense of retreating from the stereoscopic image.

전술한 바와 같은 정보들이 획득되면, 상기 콘텐츠 제작 장치(100)는 표현 가능한 깊이감을 산출할 수 있다(S117). 즉, 상기 콘텐츠 제작 장치(100)는 도 5에서 나타난 바와 같이, 표현 가능한 깊이감(d)을 산출할 수 있다.When the above-described information is obtained, the content production apparatus 100 can calculate the depth of view that can be expressed (S117). That is, as shown in FIG. 5, the content production apparatus 100 can calculate the expressible depth sense (d).

전술한 각 과정에 대해 예를 들어 설명하면 다음과 같다. An example of each of the above-described processes will be described below.

전술한 S113 과정에서, 렌즈 축간 거리(x)는 다음과 같이 산출될 수 있다.In the above-described S113 process, the inter-lens-axis distance x can be calculated as follows.

[수학식 1][Equation 1]

렌즈축간거리(x) = 컨버젼스 포인트까지의 거리(Y)/(피사체까지의 거리/인간의 양안시차 평균 거리)Distance between lens axes (x) = distance to convergence point (Y) / (distance to subject / average distance of human binocular parallax)

여기서, 피사체까지의 거리는 시청에 최적인 4,000mm일 수 있다. 그리고 인간의 양안시차 평균거리는 예를 들어, 64.5mm일 수 있다. Here, the distance to the subject can be 4,000 mm which is optimal for viewing. And the human binocular disparity mean distance may be, for example, 64.5 mm.

따라서, 수학식1을 다시 쓰면, 예를 들어, 렌즈 축간 거리(x)=Y/(4000mm/64.5mm)로 나타낼 수 있다.Therefore, if Equation (1) is rewritten, for example, the distance between lens axes (x) = Y / (4000 mm / 64.5 mm) can be expressed.

한편, S115 과정에서 컨버젼스 포인트에서 스테이지의 횡폭 정보는 다음과 같은 수학식으로 획득될 수 있다.On the other hand, in step S115, the width information of the stage at the convergence point can be obtained by the following equation.

[수학식 2]&Quot; (2) "

컨버젼스 포인트에서 스테이지의 횡폭 (X) = (카메라 이미미 센서 크기/L)*YAt the convergence point, the width of the stage (X) = (cameraimic sensor size / L) * Y

여기서, 상기 L은 렌즈의 초점 거리이고, Y는 컨버젼스 포인트까지의 거리이다. 그리고, 상기 카메라 이미지 센서 크기는 필름 카메라 기준으로 36mm일 수 있다. Here, L is the focal length of the lens, and Y is the distance to the convergence point. The size of the camera image sensor may be 36 mm on the basis of a film camera.

그러면, S117 과정에서 상기 표현 가능한 깊이감(d)는 아래의 수학식으로 획득될 수 있다.Then, in step S117, the expressible depth sense (d) can be obtained by the following equation.

[수학식 3]&Quot; (3) "

표현가능한 깊이감(d)=(TAN(ATAN((화면에 표시되는 최대 입체감-최소 입체감)/(렌즈의 최장 초점거리-렌즈의 최단 초점 거리)))*(렌즈의 최장 초점거리 - 실제 렌즈의 초점거리)+(렌즈의 최단 초점 거리))*(Y/최적의 시청거리)(Maximum focal length of the lens - maximum focal length of the lens - shortest focal length of the lens)) * (maximum focal length of the lens - actual lens ) + (The shortest focal distance of the lens)) * (Y / optimal viewing distance)

여기서, 렌즈의 최장 초점거리는 예컨대 55mm일 수 있고, 렌즈의 최단 초점 거리는 18mm일 수 있다.Here, the longest focal distance of the lens may be, for example, 55 mm, and the shortest focal distance of the lens may be 18 mm.

그리고, 만약 입체영상을 디스플레이하는 방식이 렌티큘러 렌즈(Lenticular Lens) 방식일 경우, 상기 화면에 표시되는 최대 입체감은 최적의 시청거리인 4,000mm에서 최대 1,600mm(실제 1,626mm)이고, 최소 800mm(실제 775mm)일 수 있다. If the stereoscopic image display method is a lenticular lens method, the maximum stereoscopic effect displayed on the screen is a maximum viewing distance of 4,000 mm to a maximum of 1,600 mm (actual 1,626 mm), a minimum 800 mm 775 mm).

즉, 렌즈의 초점 거리가 18mm일 때, 최대 1,600mm의 깊이감이 표현될 수 있고, 렌즈의 초점 거리가 55mm 일 때, 800mm의 깊이감이 표현될 수 있다.That is, when the focal length of the lens is 18 mm, a depth of up to 1,600 mm can be expressed, and when the focal length of the lens is 55 mm, a depth of 800 mm can be expressed.

전술한 내용을 표로 정리하면 다음과 같을 수 있다.The above table can be summarized as follows.

컨버젼스 포인트까지의 거리(Y)Distance to convergence point (Y) 4,000 4,000 7,000 7,000 10,000 10,000 렌즈촛점거리(L)Lens Focal Length (L) 55 55 컨버젼스 포인트에서 스테이지의 횡폭(X)At the convergence point, the lateral width (X) 2,618          2,618 4,582          4,582 6,545          6,545 깊이감(d)Depth feeling (d) 800             800 1,400          1,400 2,000          2,000 축간거리(x)Distance between axes (x) 64.5            64.5 112.9          112.9 161.3          161.3 18 18 컨버젼스 포인트에서 스테이지의 횡폭(X)At the convergence point, the lateral width (X) 8,000          8,000 14,000         14,000 20,000         20,000 깊이감(d)Depth feeling (d) 1,600          1,600 2,800          2,800 4,000          4,000 축간거리(x)Distance between axes (x) 64.5            64.5 112.9          112.9 161.3          161.3 28 28 컨버젼스 포인트에서 스테이지의 횡폭(X)At the convergence point, the lateral width (X) 5,143          5,143 9,000          9,000 12,857         12,857 깊이감(d)Depth feeling (d) 1,384          1,384 2,422          2,422 3,459          3,459 축간거리(x)Distance between axes (x) 64.5            64.5 112.9          112.9 161.3          161.3

이상과 같이, 상기 콘텐츠 제작 장치(100)는 획득한 정보들에 기반하여, 표현 가능한 깊이감을 산출할 수 있다.As described above, the content production apparatus 100 can calculate an expressible depth sense based on the acquired information.

한편, 도 4와 같이, 상기 콘텐츠 제작 장치(100)는 도 3에 도시된 순서와 달리 각 과정을 수행함으로써, 렌즈의 초점거리를 산출함으로써, 각 카메라에 장착할 렌즈를 선택할 수 있도록 할 수도 있다. 이러한 도 4의 순서는 전술한 내용을 기반하여, 당업자가 용이하게 이해할 수 있는 바, 상세하게 설명하지 않기로 한다.Meanwhile, as shown in FIG. 4, the content production apparatus 100 may perform a process different from the procedure shown in FIG. 3 to calculate the focal length of the lens so that the lens to be mounted on each camera can be selected . The sequence of FIG. 4 will not be described in detail, as will be readily understood by those skilled in the art based on the foregoing description.

또한, 본 명세서의 일 실시예에서는 복수개의 카메라로 직접 촬영하여 무안경 3D 콘텐츠를 획득한 방법을 설명하였으나, 이에 한정하는 것은 아니다. 다른 변형예에서 컴퓨터 그래픽을 활용하여 카메라의 다시점에서 촬영한 것과 같은 무안경 3D 콘텐츠를 획득할 수 있다.
In addition, in the embodiment of the present invention, a method of acquiring non-spectacles 3D contents by directly shooting with a plurality of cameras has been described, but the present invention is not limited thereto. In another variant, computer graphics can be utilized to acquire a non-eyeglass 3D content such as that shot at the camera's back-point.

도 6은 도 2에 도시된 영상 제작 시스템을 통해 무안경 3D 입체영상을 제작하는 방법을 나타낸 흐름도이다.FIG. 6 is a flowchart illustrating a method for producing a stereoscopic 3D stereoscopic image through the image production system shown in FIG.

도 6을 참조하면, 상기 콘텐츠 제작 장치(100)는 상기 다수의 카메라(150)로부터의 영상을 획득한다(S211).Referring to FIG. 6, the content production apparatus 100 acquires images from the plurality of cameras 150 (S211).

상기 영상이 획득되면, 상기 콘텐츠 제작 장치(100)는 각 카메라 영상의 컬러를 보정한다(S213). 즉, 상기 다수의 카메라(151, 152, 153)은 화이트밸런스, 색온도, 컨트라스트, 명함, 색조 등이 서로 불일치할 수 있으므로, 각 카메라에서 획득된 영상 들간에 이를 일치시킨다.When the image is acquired, the content production apparatus 100 corrects the color of each camera image (S213). That is, the cameras 151, 152, and 153 may coincide with each other because the white balance, the color temperature, the contrast, the name card, the color tone, etc. may be inconsistent with each other.

다음으로, 상기 콘텐츠 제작 장치(100)는 각 카메라의 이미지 프레임의 위치 오프셋을 보정한다(S214). 예를 들어, 상기 카메라(150)가 상기 레일(160) 상에서 y축 방향 및 z축 방향으로 미세 정렬이 잘 안되어, 서로 차이가 있는 경우, 촬영된 이미지들 간에 오프셋이 존재할 수 있다. 따라서, 상기 콘텐츠 제작 장치(100)는 각 카메라에서 촬영된 이미지들 간에 오프셋을 보정한다. Next, the content production apparatus 100 corrects the position offset of the image frame of each camera (S214). For example, if the camera 150 is misaligned in the y-axis direction and the z-axis direction on the rail 160 and there is a difference therebetween, there may be an offset between the photographed images. Therefore, the content production apparatus 100 corrects the offset between the images photographed by each camera.

위와 같이, 컬러 보정 및 오프셋 보정이 완료되면, 상기 콘텐츠 제작 장치(100)는 각 카메라로부터 획득된 영상을 합성하여, 입체영상을 생성한다.
As described above, when the color correction and the offset correction are completed, the content production apparatus 100 synthesizes the images obtained from the respective cameras to generate a stereoscopic image.

다음은 전술한 바와 같이 생성된 입체영상 콘텐츠를 이용한 3D 홀로그램 구현 시스템에 관하여 도 7 내지 13을 참조하여 이하에 설명한다. Next, a 3D hologram implementation system using stereoscopic image contents generated as described above will be described below with reference to Figs. 7 to 13.

도 7은 본 명세서의 일 실시예에 따른 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템을 나타낸 예시도이고, 도 8은 본 명세서의 일 실시예에 따른 입체영상 디스플레이 시스템의 배치를 설명하기 위한 예시도이다. FIG. 7 is an exemplary view illustrating a system for implementing a 3D hologram using a spectacles 3D image according to an embodiment of the present invention, and FIG. 8 is an exemplary view for explaining an arrangement of a stereoscopic image display system according to an embodiment of the present invention to be.

도 7을 참조하여 알 수 있는 바와 같이, 본 명세서의 일 실시예에 따르면, 2개의 디스플레이(210, 220) 및 렌즈(230)를 이용하여 입체영상 어레이 재생 장치(300: 이하, 재생 장치라고 한다)가 입체영상을 어레이 시킬 수 있다. 구체적으로 설명하면 다음과 같다.7, according to an embodiment of the present invention, a stereoscopic image array reproducing apparatus 300 (hereinafter, referred to as a reproducing apparatus) using two displays 210 and 220 and a lens 230 Can array stereoscopic images. Specifically, it is as follows.

2개의 무안경 3D 입체영상의 콘텐츠를 획득한 재생 장치(300)가 제1 무안경 3D 입체영상 콘텐츠와 제2 무안경 3D 입체영상 콘텐츠를 믹싱하고 동기화시켜 각각 제1 무안경 3D 디스플레이(210)와 제2 무안경 3D 디스플레이(220)를 통해 재생시킨다. The reproduction apparatus 300, which has acquired the contents of the two non-eyeglasses 3D stereoscopic images, mixes and synchronizes the first non-stereoscopic 3D stereoscopic image contents and the second non-stereoscopic 3D stereoscopic image contents, And the second non-eyeglasses 3D display 220.

제1 무안경 3D 디스플레이(210)는 상기 재생 장치(300)에 의해 재생되는 제1 무안경 3D 입체영상의 콘텐츠의 영상을 스크린에 공간 부양화시켜 표시하고, 제2 무안경 3D 디스플레이(220)는 상기 재생 장치(300)에 의해 재생되는 제2 무안경 3D 입체영상의 콘텐츠의 영상을 스크린에 공간 부양화시켜 표시한다.The first spectacles 3D display 210 displays an image of the contents of the first spectacles 3D stereoscopic image reproduced by the reproducing apparatus 300 in a floating manner on the screen, Eye 3D stereoscopic image reproduced by the reproducing apparatus 300 is floated on the screen for display.

설명의 편의상, 제1 무안경 3D 디스플레이(210)의 스크린에 표시되는 영상을 제1 입체영상(I1)이라 하고, 제2 무안경 3D 디스플레이(220)에 의해 표시되는 제2 입체영상(I2)이라 한다. An image displayed on the screen of the first spectacles 3D display 210 is referred to as a first stereoscopic image I1 and a second stereoscopic image I2 displayed by the second spectacles 3D display 220 is referred to as a first stereoscopic image I1, Quot;

제2 무안경 3D 디스플레이(220)에 의해 표시되는 제2 입체영상(I2)에 대한 홀로그램을 플로팅(floating) 방식으로 생성하기 위하여, 렌즈(230)를 이용한다. 렌즈(230)는 상기 제2 무안경 3D 디스플레이(220)와 45 각도의 경사만큼 기울어지도록 마련된다. 이 렌즈는 투웨이 미러(TWO WAY MIRROR)일 수 있다. The lens 230 is used to create a hologram in a floating manner for the second stereoscopic image I2, which is represented by the second non-glasses 3D display 220. The lens 230 is provided to be inclined at an angle of 45 angles with the second non-glasses 3D display 220. This lens can be a TWO WAY MIRROR.

또한 렌즈(230)에 의해 생성된 홀로그램(I2')을 제1 입체영상(I1) 앞에 어레이시키기 위하여, 상기 제1 무안경 3D 디스플레이(210)의 앞쪽으로 배치하되, 상기 제1 무안경 3D 디스플레이(210)의 수직 축 상에 제2 무안경 3D 디스플레이(220)를 배치한다. 예컨대, 상기 제2 무안경 3D 디스플레이(220)는 상기 제1 무안경 3D 디스플레이의 앞방향으로 소정 간격 이격된 위치의 천장 또는 바닥에 배치된다. Eye 3D display 210 in order to arrange the hologram I2 'produced by the lens 230 in front of the first stereoscopic image I1, Eyeglass 3D display 220 is placed on the vertical axis of the second non-eyeglass 3D display 220. For example, the second non-glasses 3D display 220 is disposed on the ceiling or floor of a position spaced a predetermined distance in the front direction of the first non-glasses 3D display.

이러한 구성에 따라, 제2 무안경 3D 디스플레이(220)에 의해 표시되는 제2 입체영상(I2)의 홀로그램(I2')이 제1 무안경 3D 디스플레이(210)에 의해 표시되는 제1 입체영상(I1)과 융합된다. According to this configuration, the hologram 12 'of the second stereoscopic image 12 displayed by the second non-spectacle 3D display 220 is displayed on the first stereoscopic image I1).

이 때, 제1 무안경 3D 디스플레이(210)와 제2 무안경 3D 디스플레이(220) 사이의 거리(d)는 제1 입체영상의 최대 돌출(pop-out) 거리와, 제2 입체영상의 최대 깊이감(depth in) 거리와, 제1 입체영상과 제2 입체영상 간 최적거리의 합으로 한다. At this time, the distance d between the first non-spectacle 3D display 210 and the second non-spectacle 3D display 220 is determined by the maximum pop-out distance of the first stereoscopic image, Depth in distance and an optimal distance between the first stereoscopic image and the second stereoscopic image.

상기 제1 입체영상의 최대 돌출(pop-out) 거리와, 제2 입체영상의 최대 깊이감(depth in) 거리와, 제1 입체영상과 제2 입체영상 간 최적거리는 각각 제1 무안경 3D 디스플레이의 가로 폭(w)의 0.5배이고, 제1 무안경 3D 디스플레이(210)와 제2 무안경 3D 디스플레이(220) 사이의 거리(d)는 제1 무안경 3D 디스플레이의 가로 폭(w)의 1.5배가 된다.
The maximum distance between the first and third stereoscopic images and the maximum depth of the second stereoscopic image and the maximum distance between the first stereoscopic image and the second stereoscopic image are respectively set to a first non- And the distance d between the first and second non-glasses 3D displays 210 and 220 is 0.5 times the width w of the first non-glasses 3D display. It doubles.

먼저, 본 명세서의 일 실시예에서와 같이 제1 입체영상 콘텐츠와 제2 입체영상 콘텐츠를 획득한다(S311). 도 10에 도시한 바와 같이, 본 명세서의 일 실시예에서와 같이 9 시점 영상을 위해서는 9개의 영상이 요구된다. 이러한 9 시점 영상을 위해 생성된 제1 입체영상 콘텐츠와 제2 입체영상 콘텐츠는 9 타일(tile) 콘텐츠이다. 또한, 도 11에 도시한 바와 같이, 본 명세서의 다른 실시예에서와 같이 각 영상은 1280×720의 해상도를 가지며, 총 7680×2160의 해상도를 가질 수 있다. First, the first stereoscopic image content and the second stereoscopic image content are acquired as in the embodiment of the present invention (S311). As shown in FIG. 10, nine images are required for a nine-view image as in the embodiment of the present invention. The first stereoscopic image content and the second stereoscopic image content generated for the 9-view image are 9 tile contents. In addition, as shown in FIG. 11, as in the other embodiments of the present invention, each image has a resolution of 1280 x 720 and a total resolution of 7680 x 2160.

이와 같이 획득한 제1 입체영상 콘텐츠와 제2 입체영상 콘텐츠를 하나의 파일로 만든다(S312). The first stereoscopic image content and the second stereoscopic image content thus obtained are made into one file (S312).

9 타일인 제1 입체영상 콘텐츠와 9 타일인 제2 입체영상 콘텐츠를 하나의 파일로 만들기 위해 각각의 9개의 타일의 영상을 묶어 18 타일 영상을 생성한다. 이 때 제1 입체영상과 제2 입체영상의 각각의 타일을 한 쌍으로 묶어 9 타일이라고 할 수도 있다. A tile image is generated by grouping images of nine tiles into one file, which is a first stereoscopic image content that is nine tiles and a second stereoscopic image content that is nine tiles. At this time, each of the tiles of the first and second stereoscopic images may be referred to as a tile 9 by pairing them.

각 영상은 1280×720의 해상도를 가지며, 총 3840×4320의 해상도를 가질 수도 있고 7680×2160 일 수도 있다. Each image has a resolution of 1280 × 720, a total resolution of 3840 × 4320, or 7680 × 2160.

제1 입체영상과 제2 입체영상을 믹싱하여 래스터 파일을 생성한다(S313). The first stereoscopic image and the second stereoscopic image are mixed to generate a raster file (S313).

다음 제1 입체영상용 제1 래스터 파일과 제2 입체영상용 제2 래스터 파일을 생성한다. The first raster file for the first stereoscopic image and the second raster file for the second stereoscopic image are generated.

래스터 파일은 이미지를 2차원 배열 형태의 픽셀로 구성하고, 이 점들의 모습을 조합하여, 일정한 간격의 픽셀들로 하나의 화상 정보를 표현하는 것으로, 연속된 픽셀들의 집합을 의미한다. 래스터 방식의 경우 모든 픽셀들의 위치 정보를 기억장소에 대응시켜 표현한 다음 기억장소에 저장된 정보를 순차적으로 읽어가면서 지정된 값에 출력 장치의 픽셀 모습을 결정하도록 한다. A raster file refers to a set of consecutive pixels in which an image is composed of pixels in the form of a two-dimensional array, the shapes of these points are combined, and one image information is represented by pixels at regular intervals. In the case of the raster method, the position information of all the pixels is represented in correspondence with the storage location, and then the information stored in the storage location is sequentially read to determine the pixel appearance of the output device at the designated value.

생성된 제1 입체영상용 제1 래스터 파일과 제2 입체영상용 제2 래스터 파일을 동기화시켜 재생시킨다(S314). 재생 장치의 재생지시에 따라 제1 무안경 3D 디스플레이와 제2 무안경 3D 디스플레이는 제1 입체영상과 제2 입체영상을 출력하고, 출력된 제2 입체영상의 홀로그램이 제1 입체영상과 어레이된다 The generated first raster file for the first stereoscopic image and the second raster file for the second stereoscopic image are synchronized and reproduced (S314). In accordance with the reproduction instruction of the reproducing apparatus, the first and third no-spectacle 3D displays output the first and second stereoscopic images, and the output hologram of the second stereoscopic image is arrayed with the first stereoscopic image

예를 들어, 동기화를 위해 제1 입체영상 콘텐츠와 제2 입체영상 콘텐츠는 임의의 단위마다 시간정보를 포함할 수 있다. 이 시간정보를 맞추어 동기를 맞출 수 있게 된다. For example, for synchronization, the first stereoscopic image content and the second stereoscopic image content may include time information for arbitrary units. It is possible to synchronize the time information.

또한, 재생 장치의 재생시, 제1 입체영상과 제2 입체영상에 의한 홀로그램 사이의 거리를 조절함으로써 깊이감을 제어할 수 있다. Further, at the time of reproduction of the reproduction apparatus, the depth sense can be controlled by adjusting the distance between the first stereoscopic image and the second stereoscopic image by the hologram.

9안 이상의 고화질(UHD) 영상을 플레이하기 위해서는 현재 일반적으로 사용되는 FHD(Full-HD) 2D 영상보다 9배에서 36배에 이르는 많은 정보를 실시간으로 처리해야 한다. 이를 위해 재생 장치는 고용량 콘텐츠를 효율적으로 압축/재생할 수 있어야 한다.  In order to play high-quality (UHD) images of 9 or more images, a large amount of information (9 to 36 times) than the currently used FHD (Full-HD) 2D image must be processed in real time. To this end, the playback apparatus must be able to efficiently compress / reproduce high-capacity contents.

이 외에도 재생 장치는 동기화가 맞추어진 제1 입체영상 및 제2 입체영상을 기반으로 에러 보정 절차를 수행할 수 있다. 상기 에러 보정 절차는 에러를 체크하고, 에러가 검출된 경우 상기 에러가 검출된 영상 데이터(또는 어느 한 타일 또는 한 픽셀)의 에러를 에러가 검출되지 않은 다른 영상을 기반으로 보정하는 동작을 포함한다. In addition, the playback apparatus may perform an error correction procedure based on the first stereoscopic image and the second stereoscopic image that are synchronized. The error correction procedure includes checking an error and correcting the error of the detected image data (or any tile or one pixel) based on another image in which no error is detected when an error is detected .

예를 들어, 영상 의 블록 단위 DCT(Discrete Cosine Transform) 계수에 포함되는 DC 계수(Direct Current)가 주변 블록의 DC 계수와 비교하여 일정 범위 내에 들어가는지 여부를 검출하고, 일정 범위 내에 들어가지 않는 경우, 그 매크로 블럭 내에 에러가 포함되어 있는 것으로 판정할 수 있다.
For example, it is detected whether the DC coefficient (Direct Current) included in the block-based DCT (Discrete Cosine Transform) coefficient of the image falls within a certain range as compared with the DC coefficient of the surrounding block, , It can be determined that an error is contained in the macroblock.

도 12는 본 명세서의 일 실시예에 따른 제1 입체영상과 제2 입체영상을 디스플레이 셋업하는 방법을 설명하기 위한 예시도이다. 12 is an exemplary diagram illustrating a method of displaying and setting up a first stereoscopic image and a second stereoscopic image according to an embodiment of the present invention.

도 12의 (a)와 (b)에 도시한 바와 같이, 재생 장치에 연결된 PC 등의 표시화면을 통해 디스플레이 설정을 수행할 수 있다. 제1 무안경 3D 디스플레이와 제2 무안경 3D 디스플레이에 제1 입체영상과 제2 입체영상에 각각 영상을 재생하기 위하여 디스플레이 2개를 확장모드로 설정한다. As shown in Figs. 12 (a) and 12 (b), display settings can be performed through a display screen of a PC or the like connected to the playback apparatus. The two displays are set to the extended mode in order to reproduce images in the first stereoscopic image and the second stereoscopic image on the first non-spectacles 3D display and the second non-spectacles 3D display, respectively.

본 명세서의 일 실시예에서는 입체영상 어레이를 위한 콘텐츠 재생시 안정적인 영상을 획득하기 위해서 9안 방식의 디스플레이를 채택한다. 그러나, 휘도가 시점 수에 비례하여 감소하고, 해상도 또한 시점 수에 따라 감소하기 때문에, 9안 방식의 디스플레이를 채택한 경우, 4K(3840x2160) 이상의 고해상도 LCD 패널을 채택하면, 휘도와 해상도가 저하되는 문제를 방지할 수 있다.
In an embodiment of the present invention, a 9-way display is adopted to acquire a stable image when a content is reproduced for a stereoscopic image array. However, since the luminance decreases in proportion to the number of viewpoints and the resolution also decreases with the number of viewpoints, when adopting a 9-way display, adopting a high resolution LCD panel of 4K (3840x2160) Can be prevented.

도 13은 본 명세서의 일 실시예에 따른 입체영상 어레이 디스플레이 시스템을 설치한 예시도이다. FIG. 13 is a view illustrating an example in which a stereoscopic image array display system according to an embodiment of the present invention is installed.

도 13에 도시한 바와 같이 무대의 앞 방향을 설치된 제1 무안경 3D 디스플레이(210)와, 제1 무안경 3D 디스플레이(210) 앞방향의 수직축의 바닥에 놓인 제2 무안경 3D 디스플레이(220)가 마련되어 있다. 13, a first non-spectacle 3D display 210 provided with a front direction of the stage, a second non-spectacle 3D display 220 placed on the bottom of a vertical axis in the front direction of the first non-spectacle 3D display 210, Respectively.

따라서, 관객은 제2 무안경 3D 디스플레이(220)에서 재생되는 영상에 의한 홀로그램이 제1 무안경 3D 디스플레이(210)에서 나온 배경과 융합되어 더 깊은 입체감을 느낄 수 있게 된다.
Therefore, the viewer can feel a deeper three-dimensional feeling by fusing the hologram by the image reproduced in the second non-glasses 3D display 220 with the background from the first non-glasses 3D display 210. [

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. The foregoing description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the spirit of the present invention.

따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
Accordingly, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

210, 220 : 디스플레이
230 : 렌즈
300 : 입체영상 어레이 재생 장치
210, 220: Display
230: lens
300: stereoscopic image array reproduction device

Claims (7)

무안경 3D 방식으로 생성된 제1 입체영상의 콘텐츠와 제2 입체영상의 콘텐츠를 동기화시켜 재생하는 재생 장치;
상기 제1 입체영상을 스크린에 공간 부양화시키는 제1 무안경 3D 디스플레이;
상기 제2 입체영상을 스크린에 공간 부양화시키는 제2 무안경 3D 디스플레이; 및
상기 제2 무안경 3D 디스플레이와 소정 각도의 경사만큼 기울어지도록 마련되고 상기 제2 입체영상을 굴절시켜 홀로그램을 생성하는 렌즈
를 포함하고,
상기 홀로그램의 후면에 상기 제1 입체영상이 어레이되도록 상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 앞쪽에 배치되며, 상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 수직한 축 상에 배치되는 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
A reproducing apparatus for synchronously reproducing the content of the first stereoscopic image and the content of the second stereoscopic image generated in the non-spectacle 3D manner;
A first non-eyeglasses 3D display for floating the first stereoscopic image on a screen;
A second non-spectacle 3D display for floating the second stereoscopic image on a screen; And
And a lens for tilting the second stereoscopic image by a predetermined angle with respect to the second stereoscopic 3D display and refracting the second stereoscopic image to generate a hologram
Lt; / RTI >
Wherein the second non-spectacle 3D display is disposed in front of the first non-spectacle 3D display such that the first stereoscopic image is arranged on a rear surface of the hologram, Wherein the 3D hologram is disposed on a vertical axis.
제1항에 있어서,
상기 제2 무안경 3D 디스플레이는 상기 제1 무안경 3D 디스플레이의 앞방향으로 미리 정해진 간격만큼 이격된 천장 또는 바닥에 배치되는 것을 특징으로 하는무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
The method according to claim 1,
Wherein the second non-eyeglass 3D display is disposed at a ceiling or floor spaced by a predetermined distance in the front direction of the first non-glasses 3D display.
제2항에 있어서,
상기 미리 정해진 간격은 제1 입체영상의 최대 돌출(pop-out) 거리와, 제2 입체영상의 최대 깊이감(depth in) 거리와, 제1 입체영상과 제2 입체영상 간 최적거리의 합인 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
3. The method of claim 2,
The predetermined interval may be a sum of a maximum pop-out distance of the first stereoscopic image, a maximum depth distance of the second stereoscopic image, and an optimal distance between the first stereoscopic image and the second stereoscopic image 3D hologram implementation system using 3D glasses without glasses.
제3항에 있어서, 상기 제1 입체영상의 최대 돌출(pop-out) 거리와, 제2 입체영상의 최대 깊이감(depth in) 거리와, 제1입체영상과 제2 입체영상 간 최적거리는 각각 제1 무안경 3D 디스플레이의 가로 폭(w)의 0.5배이고,
상기 미리 정해진 간격은 제1 무안경 3D 디스플레이의 가로 폭(w)의 1.5배인 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
4. The method according to claim 3, wherein a maximum pop-out distance of the first stereoscopic image, a maximum depth depth distance of the second stereoscopic image, and an optimal distance between the first stereoscopic image and the second stereoscopic image are 0.5 times the horizontal width (w) of the first non-glasses 3D display,
Wherein the predetermined interval is 1.5 times the horizontal width (w) of the first non-spectacle 3D display.
제1항에 있어서, 상기 렌즈는 투웨이 미러(TWO WAY MIRROR)인 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템. The system of claim 1, wherein the lens is a TWO WAY MIRROR. 제1항에 있어서,
상기 재생 장치는 무안경 3D 방식으로 생성된 다시점 제1 입체영상의 콘텐츠와 다시점 제2 입체영상의 콘텐츠를 각각 획득하고, 획득된 다시점 제1 입체영상의 콘텐츠와 제2 입체영상의 콘텐츠를 하나의 파일로 묶은 후, 래스터 파일을 생성하고, 생성된 제1 입체영상용 래스터 파일과 제2 입체영상용 래스터 파일을 동기화하여 재생시키는 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
The method according to claim 1,
The reproducing apparatus acquires the contents of the multi-viewpoint first stereoscopic image and the contents of the multi-viewpoint second stereoscopic image generated by the non-eyeglass 3D method, respectively, and acquires the contents of the obtained multi-viewpoint first stereoscopic image and the contents Dimensional stereoscopic image and the second stereoscopic image raster file are reproduced in synchronism with each other, and a 3D hologram embodying system .
제6항에 있어서,
상기 재생 장치는 제1 입체영상과 제2 입체영상에 의해 투영되는 홀로그램 사이의 거리를 조정함으로써 깊이감을 조정할 수 있는 것을 특징으로 하는 무안경 3D 영상을 이용한 3D 홀로그램 구현 시스템.
The method according to claim 6,
Wherein the reproducing apparatus is capable of adjusting a depth sense by adjusting a distance between the first stereoscopic image and the hologram projected by the second stereoscopic image.
KR1020150016830A 2015-02-03 2015-02-03 3D Hologram System using Auto-stereoscopic 3D image KR20160095500A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150016830A KR20160095500A (en) 2015-02-03 2015-02-03 3D Hologram System using Auto-stereoscopic 3D image
PCT/KR2015/009489 WO2016125972A1 (en) 2015-02-03 2015-09-09 3d hologram implementation system using auto-stereoscopic 3d image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150016830A KR20160095500A (en) 2015-02-03 2015-02-03 3D Hologram System using Auto-stereoscopic 3D image

Publications (1)

Publication Number Publication Date
KR20160095500A true KR20160095500A (en) 2016-08-11

Family

ID=56564286

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150016830A KR20160095500A (en) 2015-02-03 2015-02-03 3D Hologram System using Auto-stereoscopic 3D image

Country Status (2)

Country Link
KR (1) KR20160095500A (en)
WO (1) WO2016125972A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310733B1 (en) * 1996-08-16 2001-10-30 Eugene Dolgoff Optical elements and methods for their manufacture
KR100950628B1 (en) * 2008-04-03 2010-04-01 경희대학교 산학협력단 Integral imaging display system using real and virtual modes
KR101308415B1 (en) * 2011-08-16 2013-09-13 (주)코텍 Image display device
KR101946031B1 (en) * 2012-02-15 2019-02-11 한국전자통신연구원 Holographic display apparatus capable of steering view window
KR20150008727A (en) * 2013-07-15 2015-01-23 광주과학기술원 Two-way Pseudo-hologram device

Also Published As

Publication number Publication date
WO2016125972A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
KR20160143623A (en) layered Hologram System using Auto-stereoscopic 3D image
CN101636747B (en) Two dimensional/three dimensional digital information acquisition and display device
KR101313740B1 (en) OSMU( One Source Multi Use)-type Stereoscopic Camera and Method of Making Stereoscopic Video Content thereof
CN103477645B (en) Mobile device stereo camera shooting machine and image pickup method thereof
US20080278569A1 (en) Automatic Conversion from Monoscopic Video to Stereoscopic Video
US20160344999A1 (en) SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS
KR20110124473A (en) 3-dimensional image generation apparatus and method for multi-view image
CA2933704A1 (en) Systems and methods for producing panoramic and stereoscopic videos
KR20120030005A (en) Image processing device and method, and stereoscopic image display device
JPWO2012002018A1 (en) Stereoscopic image reproduction apparatus, parallax adjustment method thereof, parallax adjustment program, and imaging apparatus
WO2019041035A1 (en) Viewer-adjusted stereoscopic image display
US9479761B2 (en) Document camera, method for controlling document camera, program, and display processing system
CN102238396A (en) Image converting method, imaging method and system of stereoscopic vision
US9258546B2 (en) Three-dimensional imaging system and image reproducing method thereof
KR101686634B1 (en) layered Hologram System using Auto-stereoscopic 3D image
Arai Three-dimensional television system based on spatial imaging method using integral photography
KR102242923B1 (en) Alignment device for stereoscopic camera and method thereof
KR20160095500A (en) 3D Hologram System using Auto-stereoscopic 3D image
KR101463778B1 (en) Method for generating stereoscopic image using multiple cameras and system thereof
CN111684517B (en) Viewer adjusted stereoscopic image display
KR101376734B1 (en) OSMU( One Source Multi Use)-type Stereoscopic Camera and Method of Making Stereoscopic Video Content thereof
KR200421166Y1 (en) kind of a three dimensional and curve-railed digital camera whose convergence and convergence distance are automatically adjusted at a same time
CN107678243A (en) Smart mobile phone digital stereo(3D)Photography and vedio recording and its viewing system
Arai Three-dimensional television system based on integral photography
Lu Computational Photography

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application