KR20130021096A - Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image - Google Patents
Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image Download PDFInfo
- Publication number
- KR20130021096A KR20130021096A KR1020110083413A KR20110083413A KR20130021096A KR 20130021096 A KR20130021096 A KR 20130021096A KR 1020110083413 A KR1020110083413 A KR 1020110083413A KR 20110083413 A KR20110083413 A KR 20110083413A KR 20130021096 A KR20130021096 A KR 20130021096A
- Authority
- KR
- South Korea
- Prior art keywords
- output
- camera
- frame
- stereo image
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
본 발명은 스테레오 영상 촬영 방법, 스테레오 영상 출력 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치에 관한 것으로 더욱 상세하게는 영상 촬영 방법 및 장치, 영상 출력 방법 및 장치에 관한 것이다.The present invention relates to a stereo image capturing method, a stereo image output method, a stereo image capturing apparatus and a stereo image output apparatus, and more particularly, to an image capturing method and apparatus, an image output method and apparatus.
실시간으로 복수개의 카메라를 사용하여 촬영을 하는 경우, 동기화 신호를 사용하는데, 동기화 신호는 수직 동기와 수평 동기화 신호를 가지고 있어서 복수개의 카메라가 동일한 위상으로 영상 신호를 생성하도록 해 준다. 동기화 신호에 의해 실시간으로 영상을 스위칭 하더라도 수평, 수직 주기가 유지되도록 함으로써 수직, 수평의 재동기에 의한 끊김이 없는 영상을 제공할 수 있다. 일반적으로 스테레오 촬영의 경우도 동기화 신호를 사용하여 좌, 우 영상이 동일한 타이밍으로 생성되도록 하고 있다. When shooting with a plurality of cameras in real time, a synchronization signal is used. The synchronization signal has a vertical synchronization signal and a horizontal synchronization signal, which allows the plurality of cameras to generate image signals in the same phase. Even when the image is switched in real time by the synchronization signal, horizontal and vertical periods are maintained to provide a seamless image due to vertical and horizontal resynchronization. In general, in the case of stereo shooting, the left and right images are generated at the same timing by using a synchronization signal.
스테레오 촬영에 있어서 좌, 우 두 대의 카메라는 CCD(Charge Coupled Device)에 잡힌 영상을 영상 신호로 변환할 때, 동기화 신호에 의해 동일한 샘플링 클럭과 동일한 수평, 수직 타이밍으로 영상 프레임 신호를 생성하게 된다. 따라서 두 카메라의 영상 출력은 프레임이나 필드의 시작 시점이 동일하며 좌, 우 영상은 동일한 시점(시간, point of time)에 취득된 영상을 가진다.In stereo photography, two cameras, when converting an image captured by a charge coupled device (CCD) into an image signal, generate an image frame signal at the same horizontal and vertical timing as the same sampling clock by a synchronization signal. Therefore, the image output of two cameras has the same starting point of a frame or field, and the left and right images have images acquired at the same point of time (point of time).
도 1은 동기화 신호에 의한 스테레오 카메라의 동기화를 나타내는 개념도이다. 1 is a conceptual diagram illustrating synchronization of a stereo camera by a synchronization signal.
도 1을 참조하면, 카메라에 의해 촬영된 영상은 샘플링되어 프레임 주기에 걸쳐서 동기 신호 및 블랭크 구간과 함께 직렬 신호로 외부로 제공된다. 이렇게 만들어진 데이터는 보통 압축코딩 후, 전송이나 저장을 거쳐 압축 디코딩 후에 영상 출력 장치나 3D 모니터에서 디스플레이가 된다. 셔터 글래스를 사용하는 영상 출력 장치는 좌영상과 우영상을 시간차를 두고 번갈아서 디스플레이하고 그것과 동기화시켜 좌, 우 안경을 번갈아 열어줌으로써 좌영상은 좌안에, 우영상은 우안에 전달하여 보는 사람에게 입체시 효과를 주게 된다. 편광 안경을 사용하는 영상 출력 장치는 좌, 우 프레임을 동시에 보여 주고 편광을 이용하여 좌영상은 좌안에, 우영상은 우안에 전달하여 입체시 효과를 주게 된다.Referring to FIG. 1, an image photographed by a camera is sampled and provided to the outside as a serial signal along with a sync signal and a blank period over a frame period. This data is usually displayed on a video output device or 3D monitor after compression coding, transmission or storage, and compression decoding. The video output device using the shutter glass alternately displays the left and right images at different time intervals and synchronizes them to open the left and right glasses alternately so that the left image is delivered to the left and the right image to the viewer. Gives a poem effect. An image output apparatus using polarized glasses shows left and right frames simultaneously and transmits a left image to the left and a right image to the right by using polarized light to give a stereoscopic effect.
카메라에서 촬영을 할 때는 하나의 프레임을 구성하는 홀수 라인들로 구성된 필드 1과 짝수 라인들로 구성된 필드 2를 교대로 스캐닝하는 격행(interlaced) 촬영 방식과 하나의 프레임을 구성하는 모든 라인들을 한번에 스캐닝하는 순행(progressive) 스캐닝 방식이 있으나, 최근의 디지털 디스플레이의 경우 촬영 방식과 상관없이 프레임 단위로 보여주는 방식을 취하며, 편광 안경을 사용하는 경우는 두 프레임을 동시에 보여 주고, 셔터 글래스 방식을 사용하는 경우는 좌, 우 영상을 교대로 보여 주게 되어 있다. 편광 안경을 사용하는 경우 좌, 우 두 프레임을 동시에 보여 줄 때 화면 해상도 제약에 따라 각각 하나의 필드만 보여줄 수도 있다.When shooting with the camera, an interlaced shooting method that alternately scans
보통 스테레오 촬영을 할 때는 동일한 시점에서 좌, 우 영상을 취득하지만 셔터 글래스를 사용한 영상 출력 장치에서는 좌, 우를 번갈아 보여 주는 과정에서 필연적으로 한쪽 영상이 프레임 주기의 절반만큼 시간차를 두고 사람의 눈에 전달되게 된다. 이것은 한쪽 눈으로 보는 영상만 프레임 주기의 절반 시간만큼 지연되어 전달되게 함으로써 촬영 시점과 실제 보이는 영상과의 시간 불일치를 유발하여 화질이나 입체감을 떨어뜨리는 요인이 된다.Normally, when shooting in stereo, the left and right images are acquired at the same time, but in the video output device using the shutter glass, one image is inevitably delayed by half the frame period in the process of showing left and right alternately. Will be delivered. This results in delayed transmission of only one image by half of the frame period, which causes a time mismatch between the point of view and the actual image, thereby degrading the image quality or the three-dimensional effect.
따라서, 본 발명의 제1 목적은 제1 카메라와 제2 카메라의 촬영 시간에 시간 차를 두는 스테레오 영상 촬영 방법을 제공하는 것이다. Accordingly, it is a first object of the present invention to provide a stereo image capturing method in which a time difference is provided between photographing times of a first camera and a second camera.
또한, 본 발명의 제2 목적은 셔터 글래스 방식 또는 편광 방식의 스테레오영상 출력 장치에서 촬영 시간 정보를 활용하여 입력된 스테레오 영상을 출력하는 스테레오 영상 디스플레이 방법을 제공하는 것이다.In addition, a second object of the present invention is to provide a stereo image display method for outputting an input stereo image by using shooting time information in a shutter glass type or a polarization type stereo image output apparatus.
또한, 본 발명의 제3 목적은 제1 카메라와 제2 카메라의 촬영 시간에 시간 차를 두는 스테레오 영상 촬영 방법을 사용하는 스테레오 영상 촬영 장치를 제공하는 것이다.In addition, a third object of the present invention is to provide a stereo image photographing apparatus using a stereo image capturing method in which the time difference between the first camera and the second camera is timed.
또한, 본 발명의 제4 목적은 셔터 글래스 방식 또는 편광 방식의 스테레오영상 출력 장치에서 촬영 시간 정보를 활용하여 입력된 스테레오 영상을 출력하는 스테레오 영상 디스플레이 방법을 사용하는 스테레오 영상 디스플레이 장치를 제공하는 것이다.In addition, a fourth object of the present invention is to provide a stereo image display apparatus using a stereo image display method for outputting an input stereo image by using shooting time information in a shutter glass type or a polarization type stereo image output device.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 스테레오 영상 촬영 방법은 제1 카메라로 제1 출력 프레임을 생성하는 단계와 상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후, 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계를 포함할 수 있다. 상기 소정의 주기는 프레임이 생성되는 주기의 절반 주기일 수 있다. 제1항에 있어서, 상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계는 상기 제1 카메라가 상기 제1 출력 프레임의 제2 필드 영상을 생성 시, 상기 제2 카메라가 제2 출력 프레임의 제1 필드 영상을 생성하는 것을 특징으로 할 수 있다. 상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계는 상기 제1 카메라와 상기 제2 카메라로 입력되는 동기화 신호를 기초로 상기 소정의 주기를 조절하는 것을 특징으로 할 수 있다. 상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계는 상기 제1 카메라의 촬영 시간 정보와 상기 제2 카메라의 촬영 시간 정보를 생성된 스테레오 영상의 메타데이터 또는 상위 헤더 정보에 기록하는 것을 특징으로 할 수 있다. According to an aspect of the present invention, a stereo image capturing method includes generating a first output frame with a first camera and generating the first output frame by the first camera. And after a predetermined period of time, generating a second output frame that is paired with the first output frame whose time taken by the second camera is different from the shooting time of the first output frame by the predetermined period. Can be. The predetermined period may be half a period in which a frame is generated. The display apparatus of
또한, 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 스테레오 영상 출력 방법은 입력된 스테레오 영상 데이터를 기초로 스테레오 영상의 촬영 방식을 판단하는 단계와 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계를 포함할 수 있다. 상기 입력된 스테레오 영상 데이터를 기초로 스테레오 영상의 촬영 방식을 판단하는 단계는 영상 촬영 방식이 시간차 촬영 방식인지 동시 촬영 방식인지 여부를 판단할 수 있다. 상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는 영상 출력 장치의 출력 방식이 셔터 글라스 방식인지 편광 방식인지 여부를 판단할 수 있다. 상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는 상기 스테레오 영상의 촬영 방식이 시간차 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 셔터 글라스 방식인 경우, 상기 입력된 스테레오 영상 데이터를 그대로 출력할 수 있다. 상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는 상기 스테레오 영상의 촬영 방식이 시간차 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 편광 방식인 경우, 상기 입력된 스테레오 영상 데이터 중 동일한 촬영 시간에 해당하는 프레임 또는 필드를 매칭시켜 출력할 수 있다. 상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는 상기 스테레오 영상의 촬영 방식이 동시 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 편광 방식인 경우, 상기 입력된 스테레오 영상 데이터를 그대로 출력할 수 있다. 상기 스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계는, In addition, the stereo image output method according to an aspect of the present invention for achieving the above-described second object of the present invention comprises the steps of determining the shooting method of the stereo image based on the input stereo image data and the output of the stereo image output device And determining the output method of the input stereo image data according to the output method of the stereo image output apparatus after determining the method. The determining of the image capturing method of the stereo image based on the input stereo image data may determine whether the image capturing method is a time difference photographing method or a simultaneous photographing method. After determining the output method of the stereo image output device, determining the output method of the input stereo image data according to the output method of the stereo image output device, whether the output method of the image output device is a shutter glass method or a polarization method. You can judge. After determining the output method of the stereo image output device, determining the output method of the input stereo image data according to the output method of the stereo image output device. When the output method is a shutter glass method, the input stereo image data may be output as it is. After determining the output method of the stereo image output device, determining the output method of the input stereo image data according to the output method of the stereo image output device. When the output method is a polarization method, a frame or a field corresponding to the same photographing time among the input stereo image data may be matched and output. Determining the output method of the stereo image output device and determining the output method of the input stereo image data according to the output method of the stereo image output device, the recording method of the stereo image is a simultaneous shooting method and the When the output method is a polarization method, the input stereo image data may be output as it is. After determining the output method of the stereo image output device, determining the output method of the input stereo image data according to the output method of the stereo image output device,
상기 스테레오 영상의 촬영 방식이 동시 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 셔터 글라스 방식인 경우, 제1 카메라 또는 제2 카메라에서 촬영된 영상 중 하나의 영상에 움직임 보상을 수행하여 소정의 주기로 지연된 영상을 출력할 수 있다. 상기 소정의 주기는 프레임이 생성되는 주기의 절반 주기일 수 있다. When the recording method of the stereo image is a simultaneous shooting method and the output method of the image output device is a shutter glass method, motion compensation is performed on one of the images captured by the first camera or the second camera to be delayed by a predetermined period. The video can be output. The predetermined period may be half a period in which a frame is generated.
또한, 상술한 본 발명의 제3 목적을 달성하기 위한 본 발명의 일 측면에 따른 스테레오 영상 촬영 장치는 제1 출력 프레임을 생성하는 제1 카메라와 상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 제2 카메라를 포함할 수 있다. , 상기 제1 카메라와 상기 제2 카메라는 상기 제1 카메라와 상기 제2 카메라로 입력되는 촬영 시간을 조절하는 동기화 신호를 기초로 상기 소정의 주기를 조절할 수 있다. 상기 스테레오 영상 촬영 장치는 동기화 신호를 생성하여 상기 제1 카메라와 상기 제2 카메라에 송신하는 동기화 신호 발생부를 더 포함할 수 있다. 상기 동기화 신호 발생부는 상기 제1 카메라에 제1 동기화 신호를 입력하고, 상기 제2 카메라에 상기 제1 동기화 신호에 소정의 주기만큼 지연된 신호인 제2 동기화 신호를 입력할 수 있다. In addition, the stereo image photographing apparatus according to an aspect of the present invention for achieving the above-described third object of the present invention includes a first camera for generating a first output frame and the first camera generates the first output frame And a second camera generating a second output frame that is paired with a first output frame in which a time taken by the second camera after a predetermined period is different from a shooting time of the first output frame by the predetermined period. Can be. The first camera and the second camera may adjust the predetermined period based on a synchronization signal for adjusting a shooting time input to the first camera and the second camera. The stereo image capturing apparatus may further include a synchronization signal generator which generates a synchronization signal and transmits the synchronization signal to the first camera and the second camera. The synchronization signal generator may input a first synchronization signal to the first camera, and input a second synchronization signal that is a signal delayed by the predetermined period to the first synchronization signal to the second camera.
또한, 상술한 본 발명의 제4 목적을 달성하기 위한 본 발명의 일 측면에 따른 스테레오 영상 출력 장치는 수신된 영상 데이터를 기초로 제1 카메라에서 촬영된 영상과 제2 카메라에서 촬영된 좌, 우 영상에서 짝이 되는 프레임이나 필드간의 상대적인 촬영 시간 정보를 판단하는 촬영 정보 판단부와 상기 촬영 정보 판단부에서 산출된 상기 촬영 시간 정보를 기초로 영상을 출력하는 영상 출력부를 포함할 수 있다. 상기 스테레오 영상 출력 장치는 상기 촬영 정보 판단부에서 산출된 촬영 시간 정보에 따라 제1 카메라 또는 제2 카메라에서 촬영된 영상 중 적어도 하나의 영상의 지연된 시간에 해당하는 움직임 보상된 프레임을 생성하는 움직임 보상 프레임 생성부를 더 포함할 수 있다. 상기 스테레오 영상 출력 장치는 상기 촬영 정보 판단부에서 산출된 촬영 시간 정보를 기초로 제1 카메라에서 촬영된 프레임과 제2 카메라에서 촬영된 프레임을 매핑시키는 프레임 매핑부를 더 포함할 수 있다. In addition, the stereo image output apparatus according to an aspect of the present invention for achieving the fourth object of the present invention described above, the left and right images taken by the first camera and the second camera based on the received image data. The image capturing apparatus may include a photographing information determiner that determines relative photographing time information between a pair of frames or fields in the image, and an image output unit that outputs an image based on the photographing time information calculated by the photographing information determiner. The stereo image output device generates a motion compensation frame that generates a motion compensated frame corresponding to a delayed time of at least one of the images photographed by the first camera or the second camera according to the photographing time information calculated by the photographing information determiner. The apparatus may further include a frame generator. The stereo image output apparatus may further include a frame mapping unit configured to map a frame photographed by the first camera and a frame photographed by the second camera based on the photographing time information calculated by the photographing information determining unit.
상술한 바와 같이 본 발명의 실시예에 따른 스테레오 영상 촬영 방법, 스테레오 영상 디스플레이 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치에 따르면, 촬영되는 시점과 영상이 출력되는 시점을 동일하게 하여 화질 및 입체감을 향상시킬 수 있다. As described above, according to the stereo image capturing method, the stereo image display method, the stereo image capturing apparatus, and the stereo image output apparatus according to the embodiment of the present invention, the image quality and the stereoscopic effect are made by the same point of time when the image is captured and the image output point. Can be improved.
도 1은 동기화 신호에 의한 스테레오 카메라의 동기화를 나타내는 개념도이다.
도 2는 격행(Interlaced) 방식으로 촬영된 프레임과 셔터 글래스 방식으로 출력되는 프레임의 타이밍을 나타낸 개념도이다.
도 3은 순차(Progressive) 방식으로 촬영된 프레임과 셔터 글래스 방식으로 출력되는 프레임의 타이밍을 나타낸 개념도이다.
도 4는 본 발명의 일실시예에 따른 격행 촬영 방식으로 스테레오 영상을 촬영하는 방법을 나타낸 개념도이다.
도 5는 본 발명의 일실시예에 따른 순행 촬영 방식으로 스테레오 영상을 촬영하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 일실시예에 따른 스테레오 영상 촬영 방법을 나타낸 순서도이다.
도 7은 본 발명의 일실시예에 따른 스테레오 영상을 출력하는 방법을 나타낸 순서도이다.
도 8은 본 발명의 일실시예에 따른 스테레오 영상 촬영 장치 및 동기화 신호 발생 장치를 나타낸 개념도이다.
도 9는 본 발명의 일실시예에 따른 편광 방식의 스테레오 영상 출력 장치를 나타낸 개념도이다.
도 10은 본 발명의 일실시예에 따른 셔터 글라스 방식의 스테레오 영상 출력 장치를 나타낸 개념도이다. 1 is a conceptual diagram illustrating synchronization of a stereo camera by a synchronization signal.
2 is a conceptual diagram illustrating timing of a frame photographed in an interlaced manner and a frame output in a shutter glass manner.
3 is a conceptual diagram illustrating timing of a frame photographed in a progressive manner and a frame output in a shutter glass manner.
4 is a conceptual diagram illustrating a method of capturing a stereoscopic image in a capturing manner according to an embodiment of the present invention.
5 is a conceptual diagram illustrating a method of capturing a stereo image by a progressive photographing method according to an embodiment of the present invention.
6 is a flowchart illustrating a stereo image capturing method according to an embodiment of the present invention.
7 is a flowchart illustrating a method of outputting a stereo image according to an embodiment of the present invention.
8 is a conceptual diagram illustrating a stereo image photographing apparatus and a synchronization signal generating apparatus according to an embodiment of the present invention.
9 is a conceptual diagram illustrating a stereoscopic image output device of a polarization method according to an embodiment of the present invention.
10 is a conceptual view illustrating a shutter glass stereo image output device according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.
이하, 본 발명의 일실시예에 따른 스테레오 영상 촬영 방법, 스테레오 영상 출력 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치에서는 두 대의 카메라(제1 카메라, 제2 카메라)를 사용하여 스테레오 영상을 촬영하는 것을 개시하나 본 발명의 본질에서 벋어나지 않는 한 두 대 이상의 카메라를 사용해 스테레오 영상을 촬영하는 것도 가능하다. 또한, 실제 출력 영상은 기술 구현에 따라 제1 카메라에서 촬영한 N번째 프레임과 제2 카메라에서 촬영한 N번째 프레임 사이에 소정의 프레임을 삽입할 수 있고 이러한 프레임 출력 방식 또한 본 발명의 권리 범위에 포함된다.
Hereinafter, a stereo image capturing method, a stereo image output method, a stereo image capturing apparatus, and a stereo image output apparatus according to an embodiment of the present invention capture stereo images using two cameras (a first camera and a second camera). It is also possible to capture stereo images using two or more cameras as long as they do not depart from the nature of the present invention. Also, the actual output image may insert a predetermined frame between the Nth frame photographed by the first camera and the Nth frame photographed by the second camera according to the technical implementation. Included.
도 2는 격행(Interlaced) 방식으로 촬영된 프레임과 셔터 글래스 방식으로 출력되는 프레임의 타이밍을 나타낸 개념도이다. 2 is a conceptual diagram illustrating timing of a frame photographed in an interlaced manner and a frame output in a shutter glass manner.
격행 방식으로 촬영되는 경우, 하나의 프레임은 두 개의 필드로 나누어 진다. 두 대의 카메라는 동기화 신호를 기초로 프레임이나 필드의 시작 시점이 동일하도록 촬영되고, 카메라에서 촬영된 좌, 우 영상은 동일한 시점에 취득된 영상을 가진다. When taken in a clashing manner, one frame is divided into two fields. The two cameras are photographed to have the same starting point of the frame or field based on the synchronization signal, and the left and right images captured by the camera have an image acquired at the same point in time.
이하, 본 발명의 실시 예에서는 제1 카메라로 촬영된 N번째 프레임을 제1 카메라 N번째 프레임이라고 하고, 제2 카메라로 촬영된 N번째 프레임을 제2 카메라 N번째 프레임이라고 한다. Hereinafter, in the embodiment of the present invention, the Nth frame photographed by the first camera is referred to as the first camera Nth frame, and the Nth frame photographed by the second camera is referred to as the second camera Nth frame.
도 2의 상단은 제1 카메라와 제2 카메라에서 각 프레임들을 촬영하는 것을 나타낸다. 제1 카메라와 제2 카메라에서 촬영된 프레임과 각 프레임의 필드는 동기화 신호를 기초로 동일한 시간에 촬영된다.2 shows capturing each frame in the first camera and the second camera. Frames captured by the first and second cameras and fields of each frame are captured at the same time based on the synchronization signal.
도 2의 하단을 참조하면, 셔터 글래스 방식의 영상 출력 장치에서의 촬영된 영상 데이터의 출력 방식을 나타낸다. 예를 들어, 제1 카메라에서 촬영된 N번째 프레임(제1 카메라 N번째 프레임)이 첫 번째로 출력(제1 출력)되고 소정의 주기(프레임이 변하는 프레임 주기의 절반에 해당하는 주기)이후에 제2 카메라에서 촬영된 N번째 프레임(제2 카메라 N번째 프레임)이 두 번째로 출력(제2 출력)된다. 동일한 방식으로 세 번째로 제1 카메라에서 촬영된 N+1번째 프레임이 세 번째로 출력(제3 출력)되고 네 번째로 제2 카메라에서 촬영된 N+1번째 프레임이 출력된다(제4 출력). 이러한 경우, 첫 번째로 출력되는 제1 카메라에서 촬영된 N번째 프레임과 두 번째로 출력되는 제2 카메라에서 촬영된 N번째 프레임은 실제적으로 동일한 시간에 촬영한 프레임들이지만, 출력 시는 소정의 주기만큼의 시간차를 두고 출력된다. 즉, N번째 프레임이 제1 카메라와 제2 카메라에서 촬영된 촬영 시간은 동일한데 반해, N번째 프레임이 영상 출력 장치에서 출력되는 시간은 동일하지 않게 된다.Referring to the lower part of FIG. 2, the output method of photographed image data in the shutter glass type image output apparatus is shown. For example, the Nth frame (first camera Nth frame) photographed by the first camera is first output (first output) and after a predetermined period (period equal to half of the frame period in which the frame changes). The Nth frame (second camera Nth frame) photographed by the second camera is output second (second output). In the same way, the N + 1 th frame photographed by the first camera for the third time is output third (the third output) and the N + 1 th frame photographed for the fourth camera is output (the fourth output). . In this case, the Nth frame photographed by the first camera that is output first and the Nth frame photographed by the second camera that is output second are frames photographed at substantially the same time, but at a predetermined period during output. It is output with time difference. That is, while the shooting time taken by the Nth frame by the first camera and the second camera is the same, the time when the Nth frame is output by the image output device is not the same.
셔터 글라스 방식의 영상 출력 장치에서는 스테레오 영상을 입력받는 안경을 사용해 소정의 주기로 양쪽 눈 중 한쪽 눈으로 들어오는 영상을 차단하는 방식을 사용한다. 안경을 사용해 왼쪽 눈으로 제1 카메라로 찍은 N번째 프레임(제1 출력)을 볼 경우, 오른쪽 눈으로는 영상이 들어오지 않게 하고 소정의 주기 후 오른쪽 눈으로 제2 카메라로 찍은 N번째 프레임(제2 출력)을 볼 경우, 왼쪽 눈으로는 영상이 들어오지 않게 한다. 즉, 제1 카메라 N번째 프레임이 출력된 후 제2 카메라 N번째 프레임이 출력되고, 그다음 제1 카메라 N+1번째 프레임이 출력되고 제2 카메라의 N+1번째 프레임이 출력된다. 이하, 본 발명의 실시예에서는 주기적으로 제1 카메라와 제2 카메라에서 연달아서 생성되는 제1 카메라 N번째 프레임과 제2 카메라 N번째 프레임을 짝이 되는 프레임이라고 하고, 동일한 방식으로 제1 카메라와 제2 카메라에서 연달아서 생성되는 제1 카메라 N+1번째 프레임과 제2 카메라 N+1번째 프레임도 짝이 되는 프레임이라는 용어로 정의한다. 짝이 되는 프레임들은 인코딩될 시 동일한 시간 정보(예를 들어, PTS(Presentation Time Stamp))를 공유할 수 있다.The shutter glass type image output device uses a method of blocking an image coming into one of both eyes at predetermined intervals using glasses receiving stereo images. When viewing the Nth frame (first output) taken by the first camera with the left eye using glasses, the image is not entered with the right eye, and the Nth frame taken by the second camera with the right eye after a predetermined period of time (second Output), make sure the left eye doesn't enter the image. That is, after the first camera N-th frame is output, the second camera N-th frame is output, then the first camera N + 1th frame is output, and the N + 1th frame of the second camera is output. Hereinafter, in the embodiment of the present invention, the first camera Nth frame and the second camera Nth frame, which are periodically generated by the first camera and the second camera, are referred to as paired frames. The first camera N + 1 th frame and the second camera N + 1 th frame, which are consecutively generated by the second camera, are also defined as a term that is a pair. Paired frames may share the same time information (eg, PTS (Presentation Time Stamp)) when encoded.
이러한 출력 방식을 사용하면, 제1 카메라로 찍은 N번째 프레임과 제2 카메라로 찍은 N번째 프레임은 동일한 시간에 촬영한 프레임인데 반해, 출력되어 실제 시청자의 눈에 입력되는 영상은 소정의 주기를 가지는 시간 차이를 가진 영상이 된다. 따라서, 기존의 제1 카메라와 제2 카메라를 시간 차이 없이 동일한 주기로 촬영하는 영상 촬영 방식을 사용할 경우, 촬영 시간과 시청자의 눈에 입력되는 출력 시간의 차이로 인해 촬영된 스테레오 영상을 시청하는 시청자는 눈에 피로감을 느낄 수 있고, 입체감과 화질의 주관적 및 객관적 열화가 존재할 수 있다.Using this output method, the Nth frame taken by the first camera and the Nth frame taken by the second camera are frames taken at the same time, whereas the image outputted and input to the viewer's eye has a predetermined period. It becomes the image with time difference. Therefore, when using the image capturing method in which the existing first camera and the second camera are photographed at the same period without time difference, the viewer who views the stereo image photographed due to the difference between the recording time and the output time input to the viewer's eyes Fatigue may be felt in the eyes, and there may be subjective and objective deterioration of three-dimensional feeling and image quality.
제1 카메라 N번째 프레임이 출력된 후 제2 카메라 N번째 프레임이 출력되고, 그다음 제1 카메라 N+1번째 프레임이 출력되고 제2 카메라의 N+1번째 프레임이 출력된다.
After the first camera Nth frame is output, the second camera Nth frame is output, then the first camera N + 1th frame is output, and the N + 1th frame of the second camera is output.
도 3은 순차(Progressive) 방식으로 촬영된 프레임과 셔터 글래스 방식으로 출력되는 프레임의 타이밍을 나타낸 개념도이다.3 is a conceptual diagram illustrating timing of a frame photographed in a progressive manner and a frame output in a shutter glass manner.
도 3의 상단은 제1 카메라와 제2 카메라는 동기화 신호에 기초하여 동일한 시간에 동일한 번호의 프레임을 촬영하는 것을 나타낸다.3 shows that the first camera and the second camera take frames of the same number at the same time based on the synchronization signal.
도 3의 하단은 전술한 도 2의 하단과 마찬가지로 셔터 글래스 방식의 영상 출력 장치에서의 촬영된 영상 데이터의 출력 방식을 나타낸다. 예를 들어, 제1 카메라에서 촬영된 N번째 프레임(제1 카메라 N번째 프레임)이 첫 번째로 출력(제1 출력)되고 소정의 주기(프레임이 변하는 프레임 주기의 절반에 해당하는 주기)이후에 제2 카메라에서 촬영된 N번째 프레임(제2 카메라 N번째 프레임)이 두 번째로 출력(제2 출력)된다. 동일한 방식으로 세 번째로 제1 카메라에서 촬영된 N+1번째 프레임(제1 카메라 N+1 프레임)이 세 번째로 출력(제3 출력)되고 네 번째로 제2 카메라에서 촬영된 N+1번째 프레임(제2 카메라 N+1 프레임)이 출력(제4 출력)된다. 첫 번째로 출력되는 제1 카메라에서 촬영된 N번째 프레임과 두 번째로 출력되는 제2 카메라에서 촬영된 N번째 프레임은 실제적으로 동일한 시간에 촬영한 프레임들이지만, 출력 시는 소정의 주기만큼의 시간차를 두고 출력되게 된다. 즉, 격행 촬영 방식으로 촬영된 영상과 마찬가지로 순행 촬영 방식으로 촬영된 영상도 N번째 프레임의 경우, 제1 카메라와 제2 카메라에서 촬영된 촬영 시간은 동일한데 반해, 영상 출력 장치에서 출력되는 시간은 동일하지 않게 된다. 격행 촬영 방식과 마찬가지로 촬영 시간과 출력 시간의 차이는 스테레오 영상을 시청하는 시청자는 눈에 피로감을 느낄 수 있고, 입체감과 화질의 주관적 및 객관적 열화가 존재할 수 있다.
The lower part of FIG. 3 illustrates an output method of photographed image data in the shutter glass type image output device similar to the lower part of FIG. 2. For example, the Nth frame (first camera Nth frame) photographed by the first camera is first output (first output) and after a predetermined period (period equal to half of the frame period in which the frame changes). The Nth frame (second camera Nth frame) photographed by the second camera is output second (second output). In the same way, the third N + 1th frame (first camera N + 1 frame) shot by the first camera is the third output (third output) and the fourth N + 1th shot by the second camera. A frame (second camera N + 1 frame) is output (fourth output). The Nth frame photographed by the first camera that is output first and the Nth frame photographed by the second camera that is output second are frames taken at substantially the same time, but the output time difference is a predetermined period. Will be printed. That is, in the case of the N-th frame, similarly to the image captured by the capture recording method, in the case of the N-th frame, the recording time taken by the first camera and the second camera is the same, whereas the time output by the image output device is It will not be the same. As in the conventional shooting method, the difference between the shooting time and the output time may be that the viewer watching the stereo image may feel fatigue, and there may be subjective and objective deterioration of the stereoscopic feeling and the image quality.
도 4는 본 발명의 일실시예에 따른 격행 촬영 방식으로 스테레오 영상을 촬영하는 방법을 나타낸 개념도이다.4 is a conceptual diagram illustrating a method of capturing a stereoscopic image in a capturing manner according to an embodiment of the present invention.
본 발명의 일실시예에 따른 스테레오 영상 촬영 방법에 따르면, 제1 카메라에서 촬영하는 촬영 시점과 제2 카메라에서 촬영하는 촬영 시점에 소정의 차이를 줌으로써 기존의 스테레오 영상 촬영 방식이 가진 촬영 시점과 출력 시점이 불일치하는 문제를 해결할 수 있다. 즉, 격행 촬영 방법으로 촬영시 제1 카메라와 제2 카메라 사이의 촬영 타이밍을 소정의 주기(예를 들어, 프레임 주기의 절반)만큼 다르게 함으로써 촬영 타이밍과 동일한 출력 타이밍을 얻을 수 있다.According to the stereo image capturing method according to an embodiment of the present invention, by taking a predetermined difference between the recording time taken by the first camera and the recording time taken by the second camera, the recording time and output of the conventional stereo image recording method. You can solve the problem of inconsistent viewpoints. In other words, when shooting by the interlocking shooting method, the shooting timing between the first camera and the second camera is changed by a predetermined period (for example, half of the frame period) to obtain the same output timing as the shooting timing.
이하, 본 발명의 실시예에서는 프레임 주기의 절반 주기만큼 시간차를 두어 촬영하는 시간차 방식에 대해 개시하지만, 본 발명의 본질에서 벋어나지 않는 한 촬영 방식에 따라 다른 주기의 시간차로 제1 카메라와 제2 카메라가 시간차를 가진 촬영 방식을 가지는 것도 가능하고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다. Hereinafter, although an embodiment of the present invention discloses a time difference method of capturing a time difference by a half period of a frame period, the first camera and the second camera may have different time intervals according to a recording method, unless it is released from the essence of the present invention. It is also possible for the camera to have a shooting mode with time difference and such embodiments are also within the scope of the present invention.
도 4의 상단을 참조하면, 본 발명의 일실시예에 따른 스테레오 영상 촬영 방법에서는 제1 카메라로 촬영되는 프레임 주기의 절반 주기만큼 제2 카메라의 촬영 주기를 지연되게 한다. 즉, 제1 카메라에 의해 N 번째 프레임의 필드 1이 생성될 때 제2 카메라는 촬영을 수행하지 않고 제1 카메라에 의해 N 번째 프레임의 필드 2가 촬영될 때 제2 카메라는 N번째 프레임의 필드 1을 생성한다. 같은 방식으로 제1 카메라에 의해 N+1 번째 프레임의 필드 1이 생성될 때 제2 카메라는 N번째 프레임의 필드 2를 생성한다. 즉, 프레임 주기의 반에 해당하는 주기만큼 제1 카메라와 제2 카메라의 프레임 및 필드의 생성 주기를 다르게 할 수 있다.Referring to the upper part of FIG. 4, in the stereo image capturing method according to an embodiment of the present invention, the photographing period of the second camera is delayed by half of the frame period photographed by the first camera. That is, when
즉, 순차적으로 스테레오 영상 출력 장치에서 우선적으로 출력되는 프레임을 제1 출력 프레임이라고 하고, 다음으로 출력되는 프레임을 제2 출력 프레임이라고 한다면 제1 카메라로 제1 출력 프레임을 생성하고 제1 카메라가 제1 출력 프레임을 생성한 후 소정의 주기(예를 들어, 반 프레임 주기) 후 제2 카메라로 제2 출력 프레임을 생성할 수 있다. 즉, 제1 카메라가 제2 카메라보다 반 프레임 주기 앞서 촬영하는 방식으로 시간차를 두면, 제1 카메라가 상기 제1 출력 프레임의 제2 필드 영상을 생성 시, 제2 카메라가 제2 출력 프레임의 제1 필드 영상을 생성하게 되고, 촬영된 시간과 출력되는 시간에 시간차가 존재하지 않아 보다 자연스러운 영상을 출력할 수 있다. 전술한 예는 제1 카메라가 우선적으로 촬영할 경우를 전제한 것으로 제1 카메라와 제2 카메라 사이에 시간차를 두어 촬영하는 방식인 경우 본 발명의 권리 범위에 포함된다. In other words, if a frame that is sequentially output from the stereo image output apparatus is called a first output frame, and the next frame that is output second is a second output frame, the first camera generates a first output frame and the first camera generates a first output frame. After generating one output frame, the second output frame may be generated by the second camera after a predetermined period (eg, half frame period). That is, when the first camera makes a time difference in a manner of capturing a half frame period ahead of the second camera, when the first camera generates the second field image of the first output frame, the second camera sets the second output frame. One field image is generated, and there is no time difference between the photographed time and the output time so that a more natural image can be output. The above-described example is based on the premise that the first camera shoots preferentially, and is included in the scope of the present invention in the case where the first camera and the second camera take a time difference.
도 4의 하단은 촬영된 화면의 디스플레이 방법을 나타낸다. 제1 카메라에 의해 촬영된 N번째 프레임(제1 카메라 N 프레임)이 첫 번째로 출력될 수 있고, 프레임 주기의 반주기 이후에 촬영된 두 번째로 제1 카메라에 의해 촬영된 N번째 프레임 과 짝이되는 제2 카메라에 의해 촬영된 N번째 프레임(제2 카메라 N 프레임)이 출력될 수 있다. 동일한 방식으로 세 번째로는 제1 카메라로 촬영된 N+1번째 프레임이 출력될 수 있고 네번째로는 제1 카메라로 촬영된 N+1번째 프레임과 짝이되는 제2 카메라로 촬영된 N+1번재 프레임이 출력될 수 있다. 즉, 제1 카메라와 제2 카메라는 소정의 시간 차이를 두어 촬영하게 되고 이러한 촬영 방식을 사용함으로써 촬영된 화면이 출력 시 촬영된 시간의 순서와 동일한 순서로 출력될 수 있다. 이러한 방법을 사용함으로써 기존의 촬영 방식에 비해 눈의 피로를 줄일 수 있고, 입체감 및 화질의 객관적, 주관적 성능이 증가할 수 있다.
4 shows a method of displaying a captured screen. The Nth frame photographed by the first camera (first camera N frame) may be output first, and the second frame photographed after the half cycle of the frame period is paired with the Nth frame photographed by the first camera. The N-th frame (second camera N frame) photographed by the second camera may be output. In the same way, the third N + 1th frame taken by the first camera may be output and the fourth N + 1 shot by the second camera that is paired with the N + 1th frame taken by the first camera. The burned frame may be output. That is, the first camera and the second camera are photographed with a predetermined time difference, and the photographed screen may be output in the same order as the photographed time when the photographed screen is output by using the photographing method. By using this method, eye fatigue can be reduced, and the objective and subjective performance of stereoscopic and image quality can be increased as compared with the conventional photographing method.
도 5는 본 발명의 일실시예에 따른 순행 촬영 방식으로 스테레오 영상을 촬영하는 방법을 나타낸 개념도이다.5 is a conceptual diagram illustrating a method of capturing a stereo image by a progressive photographing method according to an embodiment of the present invention.
본 발명의 일실시예에 따른 스테레오 영상 촬영 방법에 따르면, 순행 촬영 방식에서도 격행 촬영 방식과 동일하게 제1 카메라에서 촬영하는 촬영 시점과 제2 카메라에서 촬영하는 촬영 시점에 소정의 차이를 줌으로써 기존의 동기화 신호에 의한 촬영 방식이 가진 촬영 시점과 디스플레이 시점이 불일치하는 문제를 없앨 수 있다. According to the stereoscopic image capturing method according to an embodiment of the present invention, in the progressive photographing method, the conventional photographing method provides a predetermined difference between a photographing time photographed by the first camera and a photographing time photographed by the second camera in the same manner as the capture photographing method. It is possible to eliminate the problem of inconsistency between the photographing time point and the display time point of the photographing method by the synchronization signal.
도 5의 상단을 참조하면, 본 발명의 일실시예에 따른 스테레오 영상 촬영 방법에서는 제1 카메라와 제2 카메라의 촬영 주기에 소정의 시간차를 두어 촬영 할 수 있다. 예를 들어, 제1 카메라로 촬영되는 프레임 주기의 절반 주기만큼 제2 카메라의 촬영 주기와 제1 카메라의 촬영 주기에 시간차를 두어촬영할 수 있다. 도 5에서와 같이 제1 카메라와 제2 카메라의 촬영 주기에 소정의 시간차를 두어 제1 카메라에 의해 N 번째 프레임이 촬영될 때 제2 카메라는 촬영을 수행하지 않고 프레임 주기의 반주기만큼 지난 후에 제2 카메라는 N번째 프레임을 촬영할 수 있다. 같은 방식으로 제1 카메라에 의해 N+1 번째 프레임이 촬영된 후 프레임 주기의 반주기만큼 지난 후에 제2 카메라는 N+1번째 프레임을 촬영할 수 있다. 즉, 프레임 주기의 반에 해당하는 주기만큼 제1 카메라와 제2 카메라의 촬영 주기를 다르게 하여 촬영을 수행할 수 있다.Referring to the upper part of FIG. 5, in the stereoscopic image capturing method according to an exemplary embodiment of the present invention, a predetermined time difference may be photographed at a recording period between the first camera and the second camera. For example, an image may be photographed with a time difference between the photographing period of the second camera and the photographing period of the first camera by half of the frame period photographed by the first camera. As shown in FIG. 5, when the Nth frame is photographed by the first camera with a predetermined time difference between the first camera and the second camera, the second camera does not perform the photographing and passes after half of the frame period. 2 The camera can take the Nth frame. In the same manner, after the N + 1th frame is photographed by the first camera, the second camera may photograph the N + 1th frame after half of the frame period. That is, photographing may be performed by different photographing periods of the first camera and the second camera by a period corresponding to half of the frame period.
도 5의 하단은 촬영된 화면의 출력 방법을 나타낸다. 제1 카메라에 의해 촬영된 N번째 프레임(제1 카메라 N번째 프레임)이 첫 번째로 출력(제1 출력)될 수 있고, 두 번째로 제1 카메라 N번째 프레임과 짝이되는 제2 카메라에 의해 촬영된 N번째 프레임(제2 카메라 N번째 프레임)이 출력(제2 출력)될 수 있다. 동일한 방식으로 세 번째로는 제1 카메라에 의해 촬영된 N+1번째 프레임(제1 카메라 N+1번째 프레임)이 출력(제3 출력)될 수 있고 네번째로는 제1 카메라 N+1번째 프레임과 짝이되는 제2 카메라 N+1번째 프레임이 출력(제4 출력)이 될 수 있다. 즉, 격행 촬영 방식과 마찬가지로 순행 촬영 방식의 경우도 촬영된 화면이 출력 시 촬영된 시간의 순서와 동일한 순서로 출력되도록 함으로써 기존의 촬영 방식에 비해 눈의 피로를 줄일 수 있고, 입체감 및 화질의 객관적, 주관적 성능이 증가할 수 있다.
5 shows a method of outputting a captured screen. The Nth frame (first camera Nth frame) photographed by the first camera may be first outputted (first output), and secondly by the second camera paired with the first camera Nth frame. The photographed N-th frame (second camera N-th frame) may be output (second output). In the same way, the third N + 1th frame (first camera N + 1th frame) photographed by the first camera may be output (third output) and the fourth is N + 1th frame of the first camera. The second camera N + 1th frame paired with the output may be an output (fourth output). That is, like the capture shooting method, in the case of the progressive shooting method, the captured screen is output in the same order as the shooting time, so that the eyestrain can be reduced compared to the conventional shooting method, and the three-dimensional and image quality objective As a result, subjective performance may increase.
도 4 및 도 5에서 전술한 제1 카메라와 제2 카메라의 영상 촬영 시간에 시간차를 발생시키기 위해 다양한 방식이 사용될 수 있다. 예를 들어, 제1 카메라와 제2 카메라로 입력되는 동기화 신호를 반 프레임 늦게 넣어주는 방식을 사용할 수 있다. 즉, 제1 카메라에 제1 동기화 신호를 입력하고, 제2 카메라에 제1 동기화 신호에 소정의 주기만큼 지연된 신호인 제2 동기화 신호를 입력할 수 있다. 또 다른 방법으로 제2 카메라 자체에서 입력되는 동기화 신호를 프레임 주기의 절반만큼 지연시키는 방식을 사용할 수도 있다. Various methods may be used to generate a time difference in the image capturing time of the first camera and the second camera described above with reference to FIGS. 4 and 5. For example, a method of inserting a synchronization signal input to the first camera and the second camera by half a frame may be used. That is, the first synchronization signal may be input to the first camera, and the second synchronization signal, which is a signal delayed by a predetermined period, may be input to the second camera. Alternatively, a method of delaying the synchronization signal input from the second camera itself by half of the frame period may be used.
본 발명의 일실시예에 따른 제1 카메라와 제2 카메라의 촬영 시간에 시간차를 두어 스테레오 영상을 촬영하는 방식을 사용하는 경우, 셔터 글래스 방식 영상 출력 장치에서는 제2 카메라에서 촬영된 영상을 제1 카메라에서 촬영된 영상보다 반 프레임만큼 늦게 출력하므로 실제 촬영할 때의 촬영 시간 차이와 출력 시간 차이가 동일하게 되어 기존의 스테레오 영상 촬영 방법을 사용하여 촬영된 영상 컨텐츠를 출력할 때 보다 영상 출력 장치보다 더 자연스러운 영상이 출력될 수 있다.When using a method of capturing a stereo image with a time difference between the capturing times of the first camera and the second camera according to an embodiment of the present invention, the shutter glass type image output apparatus uses the first image captured by the second camera. Since the camera outputs half a frame later than the video recorded by the camera, the difference between the recording time and the output time during actual shooting becomes the same, which is higher than that of the video output device than when outputting video content recorded using the conventional stereo video recording method. A natural image can be output.
반면에 편광 방식의 영상 출력 장치에서 본 발명의 일실시예에 따른 제1 카메라와 제2 카메라의 촬영 시간에 소정의 시간차를 두고 촬영하는 스테레오 영상 촬영 방식을 사용할 경우 문제가 되는데, 셔터 글라스 방식과 달리 제1 카메라에서 촬영된 영상과 제2 카메라에서 촬영된 영상이 순차적으로 출력되는 방식이 아닌 제1 카메라와 제2 카메라에서 촬영된 영상을 동시에 보여주는 출력 방식을 사용하기 때문에 기존의 동기화 신호를 이용한 제1 카메라와 제2 카메라가 동시에 촬영하는 방식을 사용하는 것이 오히려 촬영 시간과 출력 시간의 차이를 발생시키지 않는다. 따라서 본 발명의 일실시예에 따른 제1 카메라와 제2 카메라가 시간차를 두고 촬영을 수행하는 방식을 사용한 스테레오 영상을 편광 방식의 영상 출력 장치에서는 출력할 경우, 시간차를 두어 촬영된 스테레오 영상을 기존의 동시 촬영 방법으로 촬영된 스테레오 영상과 같은 방식으로 다시 재정렬을 수행할 필요가 있다. 편광 방식 출력 장치에서 출력하기 위한 재정렬 방법 중 하나로는 스테레오 영상 데이터의 헤더에 저장된 각 프레임의 촬영 시간 정보와 같은 소정의 촬영 시간 관련 정보를 기초로 동일한 촬영 시간 정보를 가진 프레임끼리 짝을 이루어 재정렬을 수행할 수 있다. 프레임 단위로 촬영 시간 정보를 매핑하는 것도 가능하지만, 스테레오 영상 데이터의 상위 헤더 정보 또는 메타데이터 정보에 현재 스테레오 영상 데이터가 시간차 영상 촬영된 스테레오 영상 데이터인지 아니면 동시 촬영된 스테레오 영상 데이터 인지 여부를 메타 데이터 또는 헤더 정보에 넣어주고, 출력장치에서는 이 정보를이용하여 영상 출력 장치의 방식에 맞추어 스테레오 영상 출력 방법을 다르게 할 수 있다.On the other hand, in the polarization type image output device, a problem arises when using a stereo image photographing method in which a predetermined time difference is taken between the photographing time of the first camera and the second camera according to an embodiment of the present invention. Unlike the method of sequentially outputting the image photographed by the first camera and the image photographed by the second camera, an output method of simultaneously displaying the image captured by the first and second cameras is used. Using a method in which the first camera and the second camera simultaneously shoot does not cause a difference between the shooting time and the output time. Therefore, when a polarized image output device outputs a stereo image using a method in which a first camera and a second camera perform a shooting with a time difference according to an embodiment of the present invention, a stereo image taken with a time difference exists. It is necessary to perform the rearrangement again in the same manner as the stereo image captured by the simultaneous recording method. One of the reordering methods for outputting from the polarization type output device includes realigning frames having the same shooting time information based on predetermined shooting time-related information such as shooting time information of each frame stored in the header of the stereo image data. Can be done. It is also possible to map the shooting time information on a frame-by-frame basis, but the metadata indicates whether the current stereo image data is stereo image data that has been time-lapsed or stereo image data that has been simultaneously recorded in the upper header information or metadata information of the stereo image data. Alternatively, the header information may be included in the output device, and the output device may use the information to change the stereo image output method according to the method of the video output device.
또한 본 발명의 일실시예에 따른 스테레오 영상 출력 방법에서는 기존의 동기화 신호에 의한 동시 촬영 방법을 사용하여 생성된 영상을 셔터 글래스 디스플레이에 디스플레이하는 경우, 제1 카메라로 촬영된 영상 또는 제2 카메라로 촬영된 영상 중 하나의 영상을 움직임 보간을 통해 소정의 주기만큼 지연된 영상을 생성한 후 출력하는 방식을 통해 시간차 촬영 방식을 사용한 경우와 동일한 효과를 가지도록 할 수 있다.
In addition, in the stereo image output method according to an embodiment of the present invention, when displaying an image generated using a simultaneous recording method using an existing synchronization signal on the shutter glass display, the image captured by the first camera or the second camera is displayed. By generating an image delayed by a predetermined period through motion interpolation of one of the captured images and outputting the same, the same effect as in the case of using the time difference photographing method may be achieved.
도 6은 본 발명의 일실시예에 따른 스테레오 영상 촬영 방법을 나타낸 순서도이다. 6 is a flowchart illustrating a stereo image capturing method according to an embodiment of the present invention.
도 6을 참조하면, 제1 카메라로 N번째 프레임(제1 카메라 N번째 프레임)을 생성한다(단계 S600). Referring to FIG. 6, an Nth frame (first camera Nth frame) is generated by the first camera (step S600).
격행 촬영 방식의 경우, 제1 카메라는 N번째 프레임의 제1 필드 영상을 생성하고, 소정의 주기(예를 들어, 프레임 주기의 절반 주기) 후에 N번째 프레임의 제2 필드 영상을 생성한다. 격행 촬영 방식이 아닌 순행 촬영 방식을 사용할 경우, 제1 카메라는 N번째 프레임을 생성하고, 소정의 프레임 주기 후 N+1 번째 프레임을 생성한다. In the case of the capture recording method, the first camera generates a first field image of the N-th frame and generates a second field image of the N-th frame after a predetermined period (for example, half a period of the frame period). When the progressive photographing method is used instead of the progressive photographing method, the first camera generates an Nth frame and generates an N + 1th frame after a predetermined frame period.
제1 카메라로 N번째 프레임을 생성한 후, 소정의 주기 후에 제2 카메라로 N번째 프레임(제2 카메라 N번째 프레임)을 생성한다(단계 S610).After the Nth frame is generated by the first camera, an Nth frame (second camera Nth frame) is generated by the second camera after a predetermined period (step S610).
격행 촬영 방식의 경우, 제2 카메라에서 촬영되는 N번째 프레임이 제1 카메라에서 촬영되는 N번째 프레임보다 프레임 주기의 절반 주기만큼 지연되어 N번째 프레임의 제1 필드 영상을 생성할 수 있다. 순행 촬영 방식의 경우, 제2 카메라에서는 프레임 주기의 절반 주기만큼 지연되어 N번째 프레임을 촬영할 수 있다. 이러한 촬영 방식을 통해 셔터 글래스 방식의 영상 출력 장치에서는 실제 시청자가 시청하는 화면의 시청 주기와 촬영 장치에서 촬영된 촬영 주기(좌,우 시간 차이)가 동일할 수 있다. In the case of the capture recording method, the N-th frame photographed by the second camera may be delayed by half the frame period than the N-th frame photographed by the first camera to generate the first field image of the N-th frame. In the progressive photographing method, the second camera may photograph an Nth frame by being delayed by half of the frame period. Through such a photographing method, in a shutter glass type image output device, a viewing period of a screen viewed by an actual viewer and a shooting period (left and right time difference) captured by the photographing device may be the same.
즉, 제1 카메라와 제2 카메라 사이에 소정의 시간 차이를 두어 촬영을 수행하게 되고 이후 촬영된 화면을 셔터 글래스 방식으로 출력 시 촬영된 순서와 동일한 순서로 출력할 수 있어 기존의 제1 카메라와 제2 카메라 사이에 시간 차이를 두지 않고 촬영하였던 영상 촬영 방식에 비해 화질과 입체감을 향상 시킬 수 있다.
That is, photographing is performed with a predetermined time difference between the first camera and the second camera, and the photographed screen can be output in the same order as the photographing order when the photographed screen is output by the shutter glass method. The image quality and the three-dimensional effect may be improved as compared to the image photographing method, which was photographed without a time difference between the second cameras.
도 7은 본 발명의 일실시예에 따른 스테레오 영상을 출력하는 방법을 나타낸 순서도이다.7 is a flowchart illustrating a method of outputting a stereo image according to an embodiment of the present invention.
도 7을 참조하면, 스테레오 영상의 촬영 방식이 시간차 촬영 방식인지 여부를 판단한다(단계 S700).Referring to FIG. 7, it is determined whether the photographing method of the stereo image is a time difference photographing method (step S700).
본 발명의 일실시예에 따른 셔터 글라스 방식에서 스테레오 영상을 출력하는 방법에서는 입력되는 스테레오 영상의 헤더 정보 또는 메타 데이터 정보를 기초로 해당 스테레오 영상이 좌우 시간차를 두고 촬영된 시간차 촬영 영상인지 동시에 촬영된 동시 촬영 영상인지 여부에 대한 정보인 촬영 시간 정보를 제공받을 수 있다. 헤더 정보 또는 메터 데이터를 사용하여 촬영 시간 정보를 제공받는 것은 예시적인 것으로써 다른 방식(예를 들어, 프레임 단위 동기화 방식)을 통해 입력되는 스테레오 영상의 촬영 방식을 판단하는 것도 가능하다. In the method for outputting a stereo image in the shutter glass method according to an embodiment of the present invention, whether the stereo image is a time-lapse photographed image having a left and right time difference based on the header information or metadata information of the input stereo image. Photographing time information, which is information on whether or not the simultaneous photographing image, may be provided. Receiving the photographing time information using the header information or the meter data is an example, and it is also possible to determine a photographing method of a stereo image input through another method (for example, frame-by-frame synchronization method).
촬영 시간 정보에는 제1 카메라에 의해 생성된 프레임 또는 필드와 제2 카메라에 의해 생성된 프레임이나 필드가 동시에 촬영된 것인지에 관련된 정보, 촬영 시간 정보가 동일한 프레임 또는 필드에 대해서 제1 카메라로 촬영된 프레임이 반 프레임 주기만큼 앞선 것인지 아니면 제2 카메라로 촬영된 프레임이 반 프레임 주기만큼 앞선 것인지 여부 정보 등 촬영 시간과 관련된 화면의 시간차 정보를 표시할 수 있다. 예를 들어, 프레임의 촬영 시간이 동일하면, 제1 카메라로 촬영된 프레임과 제2 카메라로 촬영된 프레임은 영상 데이터를 인코딩할 때 시간 정보인 DTS(Decoding Time Stamp)나 PTS(Presentation Time Stamp)를 동일한 값으로 할당받을 수 있다. The shooting time information includes information related to whether a frame or field generated by the first camera and a frame or field generated by the second camera are taken at the same time, and a frame taken by the first camera for a frame or field having the same shooting time information. Time difference information of the screen related to the shooting time may be displayed, such as whether the frame is advanced by the half frame period or whether the frame photographed by the second camera is advanced by the half frame period. For example, if the shooting time of the frame is the same, the frame photographed by the first camera and the frame photographed by the second camera are decoded time stamp (DTS) or presentation time stamp (PTS) which is time information when encoding image data. Can be assigned the same value.
촬영 시간 정보는 셔터 글래스 방식의 영상 출력 장치 또는 편광 방식 영상 출력 장치에서 스테레오 영상을 출력할 때 출력 방법을 결정하기 위한 정보로 사용될 수 있다.The shooting time information may be used as information for determining an output method when outputting a stereo image in a shutter glass type image output apparatus or a polarization type image output apparatus.
영상 촬영 방식이 촬영을 수행시 제1 카메라와 제2 카메라 사이에 시간차를두는 시간차 촬영 방식인 경우, 영상 출력 장치의 출력 방식이 셔터 글라스 방식인지 여부를 판단한다(단계 S710)If the image capturing method is a time difference capturing method in which a time difference is provided between the first camera and the second camera when photographing, it is determined whether the output method of the image output apparatus is a shutter glass method (step S710).
영상 촬영 방식이 제1 카메라와 제2 카메라 사이에 촬영을 수행시 시간차를두는 시간차 촬영 방식인 경우, 전술한 바와 같이 셔터 글라스 방식의 영상 출력 장치와 편광 방식의 영상 출력 장치에서는 영상을 출력하는 방식이 상이하므로 영상 출력 장치의 출력 방식이 셔터 글라스 방식인지 아니면 편광 방식인지 여부를 판단하여 영상의 출력 방식을 결정할 수 있다.When the image capturing method is a time difference capturing method in which a time difference is obtained when photographing between the first camera and the second camera, a method of outputting an image in the shutter glass image output device and the polarization type image output device as described above. Because of this difference, the output method of the image may be determined by determining whether the output method of the image output apparatus is a shutter glass method or a polarization method.
셔터 글라스 방식의 영상 출력 장치인 경우, 입력된 영상을 그대로 출력한다(단계 S720).In the case of a shutter glass image output device, the input image is output as it is (step S720).
시간차 촬영 영상인 경우, 전술한 바와 같이 제1 카메라와 제2 카메라에서 소정의 시간차를 두어 촬영된 영상의 순서와 셔터 글라스 방식의 영상 출력 장치에서 영상이 출력되는 순서가 매칭되기 때문에 시간차 촬영되어 입력된 스테레오 영상을 그대로 출력할 수 있다.In the case of the time-lapse photographed image, as described above, since the order of the images photographed with a predetermined time difference between the first camera and the second camera is matched with the order in which the images are output from the shutter glass type image output device, time-lapse photographed images are inputted. Stereo image can be output as it is.
편광 방식의 영상 출력 장치에서는 시간차 촬영 방식인 경우, 동일한 촬영 시간 정보를 가진 프레임 또는 필드를 동시에 출력한다(단계 S730).In the polarization type image output device, in the case of the time difference photographing method, a frame or a field having the same photographing time information is simultaneously output (step S730).
전술한 바와 같이 편광 방식의 영상 출력 장치는 셔터 글라스 방식의 영상 출력 장치와 다르게 영상의 출력 시간과 영상의 촬영 시간이 다르지 않으므로 시간차 촬영 방법으로 촬영된 영상은 동일한 촬영 시간 정보를 가진 프레임 또는 필드를 짝을 지어서 동시에 출력할 수 있다.As described above, since the polarization type image output device does not have a different output time from the image output device than the shutter glass type image output device, the image photographed by the time difference photographing method uses a frame or a field having the same recording time information. Can be paired and output simultaneously.
영상의 촬영 방식이 동시 촬영 방식인 경우, 영상 출력 장치의 출력 방식이 셔터 글라스 방식인지 여부를 판단한다(단계 S740).If the image capturing method is the simultaneous capturing method, it is determined whether the output method of the image output apparatus is the shutter glass method (step S740).
촬영 방식이 동시 촬영 방식인 경우, 영상 출력 장치의 방식이 편광 방식인지 아니면 셔터 글라스 방식인지 여부를 판단하여, 영상의 출력 방식을 다르게 할 수 있다.When the photographing method is a simultaneous photographing method, it may be determined whether the method of the image output apparatus is a polarization method or a shutter glass method, and the output method of the image may be different.
셔터 글라스 방식의 영상 출력 장치인 경우, 소정의 주기로 입력되는 영상의 움직임 보상 프레임 또는 필드를 생성하여 출력한다(단계 S750). In the case of a shutter glass type image output device, a motion compensation frame or field of an image input at a predetermined cycle is generated and output (step S750).
동시 촬영 방식의 경우 전술한 바와 같이 셔터 글래스를 사용하면 촬영 시간과 출력 시간의 시간차가 존재하기 때문에 움직임 보상을 수행하여 시간차를 가지는 프레임을 생성함으로써 촬영 시간과 출력 시간의 시간차를 보상할 수 있다. 즉, 동시 촬영 영상인 경우, 영상 출력 장치에서는 입력된 스테레오 영상 중 제1 카메라로 촬영된 영상 또는 제2 카메라로 촬영된 영상 중 하나의 영상을 반 프레임 주기만큼 움직임 보상하여 생성함으로써 시간차 촬영을 수행한 것과 동일한 효과를 낼 수 있다. In the case of the simultaneous shooting method, when the shutter glass is used as described above, since there is a time difference between the shooting time and the output time, the time difference between the shooting time and the output time can be compensated by generating a frame having a time difference by performing motion compensation. That is, in the case of the simultaneous photographing image, the image output apparatus performs time difference photographing by generating motion compensation of one of the images captured by the first camera or the second camera among the input stereo images by half a frame period. You can get the same effect as you did.
편광 방식의 영상 출력 장치에서 동시 촬영 영상인 경우, 입력되는 영상을 그대로 출력한다(단계 S760).In the case of the simultaneous photographing image in the polarization type image output device, the input image is output as it is (step S760).
편광 방식은 셔터 글라스 방식과 다르게 촬영 시간과 출력 시간이 변하지 않으므로 제1 카메라와 제2 카메라가 동일한 주기를 가지고 동시에 촬영된 영상의 경우, 그대로 출력할 수 있다.Unlike the shutter glass method, the polarizing method does not change the photographing time and the output time, and thus, when the first camera and the second camera are simultaneously photographed with the same period, the polarizing method may output the same.
도 7의 순서도는 본 발명의 따른 스테레오 영상 출력 방법의 실시예로써 본 발명의 다른 실시예에 따른 스테레오 영상 출력 방식은 시간차 촬영 방식인지 아니면 동시 촬영 방식인지 여부 및 해당 영상 출력 장치가 편광 방식인지 아니면 셔터 글라스 방식인지 여부를 판단하지 않고 고정된 방식으로 영상을 출력할 수 있다. 예를 들면, 시간차 촬영이 된 경우도 편광 방식의 영상 처리 장치에서 동일 시간에 해당하는 영상으로 정렬하여 그대로 출력할 수 있고, 동시 촬영이 된 경우도 셔터 글라스 방식의 영상 출력 장치에서 움직임 보상을 통해 프레임을 생성하여 교대로 출력할 수도 있다.
7 is an embodiment of a stereo image output method according to the present invention, whether the stereo image output method according to another embodiment of the present invention is a time difference recording method or a simultaneous shooting method, and whether the corresponding image output device is a polarization method or The image may be output in a fixed manner without determining whether the shutter glass is used. For example, even when time-lapse photographing is performed, the polarization-type image processing apparatus may output images as they are arranged at the same time, and even when simultaneous shooting is performed, motion compensation may be performed in the shutter-glass type image output apparatus. Frames can also be generated and output alternately.
도 8은 본 발명의 일실시예에 따른 스테레오 영상 촬영 장치 및 동기화 신호 발생 장치를 나타낸 개념도이다.8 is a conceptual diagram illustrating a stereo image photographing apparatus and a synchronization signal generating apparatus according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 일실시예에 따른 제1 카메라(800) 및 제2 카메라(810)에는 동기화 신호를 생성하는 동기화 신호 발생부(820)가 스테레오 영상 촬영 장치에 유선 또는 무선으로 연결되어 있거나 동기화 신호 발생 장치가 제1 카메라 또는 제2 카메라(800, 810)에 포함될 수 있다. 즉, 본 발명의 본질에서 벋어나지 않는 한 동기화 신호 발생 장치(820)은 다양한 방식으로 구현될 수 있다. 또한, 제1 카메라와 제2 카메라는 하나의 스테레오 영상 촬영 장치로 하나로 구현되는 것도 가능하나 제1 카메라와 제2 카메라가 공간적으로 분리된 위치에 존재할 수도 있다. 서로 짝이되는 프레임을 생성할 때 제1 카메라(800)는 제1 출력 프레임을 생성하고 제2 카메라(810)은 제1 카메라가 제1 출력 프레임을 생성한 후 소정의 주기가 지난 후 제2 출력 프레임을 생성하는 시간차를 둔 촬영 방식을 사용할 수 있다. 예를 들어, 격행 촬영 방식일 경우, 제1 카메라가 제1 출력 프레임의 제2 필드 영상을 생성 시, 제2 카메라가 제2 출력 프레임의 제1 필드 영상을 생성할 수 있다.Referring to FIG. 8, in the
제1 카메라(800) 및 제2 카메라(810)에는 동기화 신호 발생부(820)에서 발생된 동기화 신호를 수신하고 촬영 시간을 결정하는 동기화 신호 수신부(805, 815)가 포함될 수 있다.The
동기화 신호 수신부(805, 815)에서는 동기화 신호 발생 장치(820)에서 입력된 동기화 신호를 제어하여 제1 카메라(800)와 제2 카메라(810)으로 입력되는 동기화 신호에 소정의 주기 차이를 생성할 수 있다.The
본 발명의 일실시예에 따른 스테레오 영상 촬영 방법을 수행하기 위해서 동기화 신호 발생부(820)에서 제1 카메라(800) 또는 제2 카메라(810) 중 적어도 하나 카메라(예를 들어, 제1 카메라)에 제1 동기화 신호를 입력하고 나머지 카메라(예를 들어, 제2 카메라(810))에 제1 동기화 신호에 소정의 주기(예를 들어, 프레임 주기의 반)만큼 지연된 신호인 제2 동기화 신호를 입력할 수 있다. 이러한 방법을 통해 제2 카메라(810)에서는 제1 카메라(800)에서 프레임을 촬영하는 주기보다 반 프레임 주기만큼 뒤에 동일한 시간 정보를 가지는 프레임을 촬영함으로써 셔터 글라스 방식의 영상 출력 장치에서는 영상의 촬영 시간과 영상의 출력 시간이 동일해질 수 있다. In order to perform a stereo image capturing method according to an embodiment of the present invention, at least one camera (eg, a first camera) of the
본 발명의 다른 실시예에 따르면, 동기화 신호 발생부에서는 동일한 동기화 신호를 발생시키고 동기화 신호 수신부(805, 815)에서 수신된 동기화 신호를 소정의 주기만큼 지연시켜 제2 카메라(810)에서는 제1 카메라(800)에서 프레임을 촬영하는 주기보다 반 프레임 주기만큼 뒤에 동일한 시간 정보를 가지는 프레임을 촬영할 수 있다. According to another exemplary embodiment of the present invention, the synchronization signal generator generates the same synchronization signal and delays the synchronization signal received by the
촬영 시간 정보는 프레임 별로 기록될 수 있지만, 스테레오 영상 데이터의 상위 헤더 정보 또는 메타 데이터로써 존재하여 제1 카메라와 제2 카메라에서 촬영된 영상의 시간 정보를 기록하고 영상 출력 장치에서 출력시 이러한 촬영 시간 정보를 활용할 수 있다.
The shooting time information may be recorded frame by frame, but may exist as upper header information or metadata of the stereo image data to record the time information of the images photographed by the first and second cameras and to output the image information from the image output device. Information is available.
도 9는 본 발명의 일실시예에 따른 편광 방식의 스테레오 영상 출력 장치를 나타낸 개념도이다. 9 is a conceptual diagram illustrating a stereoscopic image output device of a polarization method according to an embodiment of the present invention.
도 9를 참조하면, 편광 방식 스테레오 영상 출력 장치는 촬영 정보 판단부(900), 프레임 매핑부(910), 영상 출력부(920)를 포함할 수 있다.Referring to FIG. 9, the polarization type stereo image output apparatus may include a photographing
촬영 정보 판단부(900)는 수신된 스테레오 영상 데이터에서 촬영 시간 정보를 판단할 수 있다. 예를 들어, 촬영 정보 판단부는 스테레오 영상 데이터에 포함된 헤더 정보를 기초로 현재 입력되는 영상이 동시에 촬영된 영상인지 아니면, 시간차를 두고 촬영된 영상인지 여부를 판단할 수 있다. 또한 수신된 영상 데이터를 기초로 제1 카메라에서 촬영된 영상과 제2 카메라에서 촬영된 좌, 우 영상에서 짝이 되는 프레임이나 필드 간의 상대적인 촬영시간 정보를 판단할 수 있다. The shooting
프레임 매핑부(910)는 촬영 정보 판단부(900)에서 입력되는 스테레오 영상 데이터가 제1 카메라와 제2 카메라가 시간차를 두고 촬영하는 시간차 촬영 방식으로 생성된 것으로 판단되는 경우, 입력된 영상 중 촬영 시간이 동일한 프레임을 매핑하여 동시에 출력할 수 있다. 편광 방식의 스테레오 영상 출력 장치의 경우, 만약 촬영 정보 판단부에서 입력되는 스테레오 영상 데이터가 제1 카메라와 제2 카메라가 동시에 촬영하는 동시 촬영 방식으로 생성된 것으로 판단되는 경우, 스테레오 영상 출력 장치는 입력된 스테레오 영상 데이터를 그대로 출력할 수 있다.When it is determined that the stereo image data input by the shooting
영상 출력부(920)는 입력된 스테레오 영상 데이터 및 촬영 정보 판단부(900)의 촬영 시간 정보를 기초로 스테레오 영상을 출력할 수 있다.
The
도 10은 본 발명의 일실시예에 따른 셔터 글라스 방식의 스테레오 영상 출력 장치를 나타낸 개념도이다. 10 is a conceptual view illustrating a shutter glass stereo image output device according to an embodiment of the present invention.
셔터 글라스 방식의 스테레오 영상 출력 장치는 촬영 정보 판단부(1000), 움직임 보상 프레임 생성부(1010), 영상 출력부(1020)를 포함할 수 있다. The shutter glass type stereo image output apparatus may include a photographing
셔터 글라스 방식의 스테레오 영상 출력 장치에 포함된 촬영 정보 판단부(1000)과 영상 출력부(1020)의 기능은 도 9에서 개시한 편광 방식의 스테레오 영상 출력 장치에 포함된 촬영 정보 판단부와 영상 출력부와 동일하다. The functions of the photographing
움직임 보상 프레임 생성부(1010)는 촬영 정보 판단부에서 입력되는 스테레오 영상 데이터가 제1 카메라와 제2 카메라가 동시에 촬영하는 동시 촬영 방식으로 생성된 것으로 판단되는 경우, 스테레오 영상 출력 장치는 촬영 정보 판단부에서 산출된 촬영 시간 정보에 따라 움직임 보상된 프레임을 생성하는 움직임 보상 프레임 생성부를 더 포함할 수 있다. When the motion
촬영 정보 판단부에서 입력되는 스테레오 영상 데이터가 제1 카메라와 제2 카메라가 시간차를 두고 촬영하는 시간차 촬영 방식으로 생성된 것으로 판단되는 경우, 입력된 영상을 그대로 출력할 수 있다.
When it is determined that the stereo image data input by the photographing information determiner is generated by a time difference photographing method in which the first camera and the second camera photograph at a time difference, the input image may be output as it is.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.
Claims (20)
상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후, 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 상기 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 단계를 포함하는 스테레오 영상 촬영 방법.Generating a first output frame with a first camera; And
After a predetermined period after the first camera generates the first output frame, the time taken by the second camera is paired with the first output frame that is different from the shooting time of the first output frame by the predetermined period. And generating a second output frame.
프레임이 생성되는 주기의 절반 주기인 것을 특징으로 하는 스테레오 영상 촬영 방법. The method of claim 1, wherein the predetermined period,
Stereo image recording method characterized in that the half cycle of the frame is generated.
상기 제1 카메라가 상기 제1 출력 프레임의 제2 필드 영상을 생성 시, 상기 제2 카메라가 제2 출력 프레임의 제1 필드 영상을 생성하는 것을 특징으로 하는 스테레오 영상 촬영 방법. The display apparatus of claim 1, wherein the time taken by the second camera after a predetermined period after the first camera generates the first output frame is different from the photographing time of the first output frame by the predetermined period. Generating a second output frame paired with one output frame,
And when the first camera generates the second field image of the first output frame, the second camera generates the first field image of the second output frame.
상기 제1 카메라와 상기 제2 카메라로 입력되는 동기화 신호를 기초로 상기 소정의 주기를 조절하는 것을 특징으로 하는 스테레오 영상 촬영 방법. The display apparatus of claim 1, wherein the time taken by the second camera after a predetermined period after the first camera generates the first output frame is different from the photographing time of the first output frame by the predetermined period. Generating a second output frame paired with one output frame,
And the predetermined period is adjusted based on a synchronization signal input to the first camera and the second camera.
상기 제1 카메라의 촬영 시간 정보와 상기 제2 카메라의 촬영 시간 정보를 생성된 스테레오 영상의 메타데이터 또는 상위 헤더 정보에 기록하는 것을 특징으로 하는 스테레오 영상 촬영 방법.The display apparatus of claim 1, wherein the time taken by the second camera after a predetermined period after the first camera generates the first output frame is different from the photographing time of the first output frame by the predetermined period. Generating a second output frame paired with one output frame,
And recording time information of the first camera and shooting time information of the second camera in metadata or upper header information of the generated stereo image.
스테레오 영상 출력 장치의 출력 방식을 판단 후 상기 스테레오 영상 출력 장치의 출력 방식에 따라 입력된 스테레오 영상 데이터의 출력 방식을 결정하는 단계를 포함하는 스테레오 영상 출력 방법. Determining a photographing method of a stereo image based on the input stereo image data; And
Determining the output method of the input stereo image data according to the output method of the stereo image output device after determining the output method of the stereo image output device.
영상 촬영 방식이 시간차 촬영 방식인지 동시 촬영 방식인지 여부를 판단하는 것을 특징으로 하는 스테레오 영상 출력 방법. The method of claim 6, wherein the determining of the image capturing method of the stereo image based on the input stereo image data comprises:
And determining whether the image capturing method is a time difference photographing method or a simultaneous photographing method.
영상 출력 장치의 출력 방식이 셔터 글라스 방식인지 편광 방식인지 여부를 판단하는 것을 특징으로 하는 스테레오 영상 출력 방법. The method of claim 6, wherein after determining the output method of the stereo image output device, determining the output method of the input stereo image data according to the output method of the stereo image output device,
And determining whether the output method of the image output apparatus is a shutter glass type or a polarization type method.
상기 스테레오 영상의 촬영 방식이 시간차 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 셔터 글라스 방식인 경우, 상기 입력된 스테레오 영상 데이터를 그대로 출력하는 것을 특징으로 하는 스테레오 영상 출력 방법. The method of claim 6, wherein after determining the output method of the stereo image output device, determining the output method of the input stereo image data according to the output method of the stereo image output device,
And outputting the input stereo image data as it is when the photographing method of the stereo image is a time difference photographing method and the output method of the image output device is a shutter glass method.
상기 스테레오 영상의 촬영 방식이 시간차 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 편광 방식인 경우, 상기 입력된 스테레오 영상 데이터 중 동일한 촬영 시간에 해당하는 프레임 또는 필드를 매칭시켜 출력하는 것을 특징으로 하는 스테레오 영상 출력 방법. The method of claim 6, wherein after determining the output method of the stereo image output device, determining the output method of the input stereo image data according to the output method of the stereo image output device,
When the recording method of the stereo image is a time difference recording method and the output method of the image output device is a polarization method, the stereo or the frame corresponding to the same shooting time of the input stereo image data is output by matching Video output method.
상기 스테레오 영상의 촬영 방식이 동시 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 편광 방식인 경우, 상기 입력된 스테레오 영상 데이터를 그대로 출력하는 것을 특징으로 하는 스테레오 영상 출력 방법. The method of claim 6, wherein after determining the output method of the stereo image output device, determining the output method of the input stereo image data according to the output method of the stereo image output device,
And when the photographing method of the stereo image is a simultaneous photographing method and the output method of the image output device is a polarization method, outputting the input stereo image data as it is.
상기 스테레오 영상의 촬영 방식이 동시 촬영 방식이고 상기 영상 출력 장치의 출력 방식이 셔터 글라스 방식인 경우, 제1 카메라 또는 제2 카메라에서 촬영된 영상 중 하나의 영상에 움직임 보상을 수행하여 소정의 주기로 지연된 영상을 출력하는 것을 특징으로 하는 스테레오 영상 출력 방법. The method of claim 6, wherein after determining the output method of the stereo image output device, determining the output method of the input stereo image data according to the output method of the stereo image output device,
When the recording method of the stereo image is a simultaneous shooting method and the output method of the image output device is a shutter glass method, motion compensation is performed on one of the images captured by the first camera or the second camera to be delayed by a predetermined period. Stereo image output method characterized in that for outputting an image.
프레임이 생성되는 주기의 절반 주기인 것을 특징으로 하는 스테레오 영상 출력 방법. The method of claim 12, wherein the predetermined period,
And a half cycle of a cycle in which the frame is generated.
상기 제1 카메라가 상기 제1 출력 프레임을 생성한 후 소정의 주기 후 제2 카메라로 촬영된 시간이 상기 제1 출력 프레임의 촬영 시간과 상기 소정의 주기만큼 차이나는 제1 출력 프레임과 짝이 되는 제2 출력 프레임을 생성하는 제2 카메라를 포함하는 시간차 스테레오 영상 촬영 장치.A first camera generating a first output frame; And
After the first camera generates the first output frame, a time taken by the second camera after a predetermined period is paired with a first output frame that is different from the shooting time of the first output frame by the predetermined period. And a second camera generating a second output frame.
상기 제1 카메라와 상기 제2 카메라로 입력되는 촬영 시간을 조절하는 동기화 신호를 기초로 상기 소정의 주기를 조절하는 것을 특징으로 하는 시간차 스테레오 영상 촬영 장치. The method of claim 14, wherein the first camera and the second camera,
And adjusting the predetermined period based on a synchronization signal for adjusting the shooting time input to the first camera and the second camera.
동기화 신호를 생성하여 상기 제1 카메라와 상기 제2 카메라에 송신하는 동기화 신호 발생부를 더 포함하는 스테레오 영상 촬영 장치. 15. The method of claim 14,
And a synchronization signal generator for generating a synchronization signal and transmitting the synchronization signal to the first camera and the second camera.
상기 제1 카메라에 제1 동기화 신호를 입력하고, 상기 제2 카메라에 상기 제1 동기화 신호에 소정의 주기만큼 지연된 신호인 제2 동기화 신호를 입력하는 것을 특징으로 하는 스테레오 영상 촬영 장치. The method of claim 16, wherein the synchronization signal generator,
And a first synchronization signal input to the first camera, and a second synchronization signal which is a signal delayed by the predetermined period to the first synchronization signal to the second camera.
상기 촬영 정보 판단부에서 산출된 상기 촬영 시간 정보를 기초로 영상을 출력하는 영상 출력부를 포함하는 스테레오 영상 출력 장치.A photographing information determination unit determining relative photographing time information between a pair of frames or fields in an image photographed by the first camera and a left and right image photographed by the second camera based on the received image data; And
And an image output unit configured to output an image based on the shooting time information calculated by the shooting information determination unit.
상기 촬영 정보 판단부에서 산출된 촬영 시간 정보에 따라 제1 카메라 또는 제2 카메라에서 촬영된 영상 중 적어도 하나의 영상의 지연된 시간에 해당하는 움직임 보상된 프레임을 생성하는 움직임 보상 프레임 생성부를 더 포함하는 스테레오 영상 출력 장치.19. The method of claim 18,
The apparatus may further include a motion compensation frame generator configured to generate a motion compensated frame corresponding to a delayed time of at least one of the images photographed by the first camera or the second camera according to the photographing time information calculated by the photographing information determiner. Stereo video output device.
상기 촬영 정보 판단부에서 산출된 촬영 시간 정보를 기초로 제1 카메라에서 촬영된 프레임과 제2 카메라에서 촬영된 프레임을 매핑시키는 프레임 매핑부를 더 포함하는 스테레오 영상 출력 장치.19. The method of claim 18,
And a frame mapping unit configured to map a frame photographed by the first camera and a frame photographed by the second camera based on the photographing time information calculated by the photographing information determining unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110083413A KR101830768B1 (en) | 2011-08-22 | 2011-08-22 | Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110083413A KR101830768B1 (en) | 2011-08-22 | 2011-08-22 | Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130021096A true KR20130021096A (en) | 2013-03-05 |
KR101830768B1 KR101830768B1 (en) | 2018-02-22 |
Family
ID=48174126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110083413A KR101830768B1 (en) | 2011-08-22 | 2011-08-22 | Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101830768B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019054610A1 (en) * | 2017-09-15 | 2019-03-21 | 삼성전자주식회사 | Electronic device and method for controlling plurality of image sensors |
-
2011
- 2011-08-22 KR KR1020110083413A patent/KR101830768B1/en active IP Right Grant
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019054610A1 (en) * | 2017-09-15 | 2019-03-21 | 삼성전자주식회사 | Electronic device and method for controlling plurality of image sensors |
KR20190030946A (en) * | 2017-09-15 | 2019-03-25 | 삼성전자주식회사 | Electronic device and method for controlling a plurality of image sensors |
US11190682B2 (en) | 2017-09-15 | 2021-11-30 | Samsung Electronics Co., Ltd | Electronic device and method for controlling plurality of image sensors |
Also Published As
Publication number | Publication date |
---|---|
KR101830768B1 (en) | 2018-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10341643B2 (en) | Process and system for encoding and playback of stereoscopic video sequences | |
US20100238274A1 (en) | Method of displaying three-dimensional image data and an apparatus of processing three-dimensional image data | |
JP2014502818A (en) | Primary image and secondary image image capturing apparatus and method for image processing | |
JP2011525075A (en) | Stereo image generation chip for mobile equipment and stereo image display method using the same | |
JP4748251B2 (en) | Video conversion method and video conversion apparatus | |
TW201143355A (en) | Apparatus and method for video processing | |
JP2011024003A (en) | Three-dimensional moving image recording method and apparatus, and moving image file conversion method and apparatus | |
CN101765021A (en) | Time division type binocular stereo display method and time division type binocular stereo display system | |
JP4341751B2 (en) | 3D image recording / reproducing method and 3D image display apparatus for displaying the same | |
TW201328323A (en) | Shutter glasses, three-dimensional video system and shutter glasses control method | |
US20150130897A1 (en) | Method for generating, transporting and reconstructing a stereoscopic video stream | |
JPH08223603A (en) | Method and equipment for displaying three-dimensional video picture | |
CN102905148A (en) | Mobile terminals and method for playing 3-dimensional (3D) video by same | |
JP2012138655A (en) | Image processing device and image processing method | |
KR101830768B1 (en) | Methods of filming stereo image, methods of displaying stereo image, apparatuses for filming stereo image and apparatuses for displaying stereo image | |
JP5863356B2 (en) | Stereo moving image imaging apparatus, imaging method, stereo moving image display apparatus, display method, and program | |
TWI222318B (en) | 3-dimensional video recording/reproduction device | |
KR100215436B1 (en) | Stereoscopic picture display apparatus | |
KR20150090647A (en) | The synchronization optimization method of non-synchronized stereoscophic camera | |
KR100868244B1 (en) | Method For Generating Stereoscopic Image Using The Mobile Equipment, And Chipset For Generating Stereoscopic Image Used In The Mobile Equipment | |
KR102094848B1 (en) | Method and apparatus for live streaming of (super) multi-view media | |
JP2010087720A (en) | Device and method for signal processing that converts display scanning method | |
KR20060121016A (en) | Apparatus for generating stereoscopic image | |
KR101120557B1 (en) | Apparatus for synchronizing stereoscopic image | |
JP5759728B2 (en) | Information processing apparatus, information processing apparatus control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) |