KR20090004265A - System for providing solid contents at realtime and method therefor - Google Patents
System for providing solid contents at realtime and method therefor Download PDFInfo
- Publication number
- KR20090004265A KR20090004265A KR1020070068344A KR20070068344A KR20090004265A KR 20090004265 A KR20090004265 A KR 20090004265A KR 1020070068344 A KR1020070068344 A KR 1020070068344A KR 20070068344 A KR20070068344 A KR 20070068344A KR 20090004265 A KR20090004265 A KR 20090004265A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- stereoscopic
- output
- luminance component
- std
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/0002—Serial port, e.g. RS232C
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
본 발명은 실시간 입체 콘텐츠 제공장치 및 제공방법에 관한 것으로서, 특히 입체영상을 위한 촬상장치를 이용하지 않고, 기존 촬상장치를 통해 생성되는 영상 및 기 촬상된 영상을 입체화하는 것을 가능케 하고, 다양한 입력방식 및 출력방식을 지원하여 기존 촬상장치 및 영상 출력장치와의 호환성을 높이고, 소프트웨어의 알고리즘을 하드웨어로 분할하여 수행케 함으로써, 실시간으로 입체영상을 제공하는 실시간 입체 콘텐츠 제공장치 및 제공방법에 관한 것이다.The present invention relates to an apparatus and a method for providing real-time stereoscopic content, and in particular, it is possible to stereoscopically generate an image and a pre-imaged image generated through an existing imager, without using an imager for a stereoscopic image, and various input methods. And an output method to improve compatibility with existing imaging apparatuses and image output apparatuses, and to divide and execute algorithms of software into hardware, to provide a real-time stereoscopic content providing apparatus and a method for providing stereoscopic images in real time.
종래, 입체영상 제공 기술과 관련하여 대한민국 공개 특허 제2000-0002236호 '입체 및 다시점 3차원 영상 표시 장치' 이외에 다수 출원 및 등록된 상태이다. In the related art, a number of applications have been filed and registered in addition to Korean Patent Publication No. 2000-0002236 "stereoscopic and multi-view three-dimensional image display device" in connection with a stereoscopic image providing technology.
상기 입체 및 다시점 3차원 영상 표시 장치는 입체 및 다시점 3차원 영상 표시 장치에 있어서, 조명 광원; 상기 조명 광원으로부터의 광을 선택적으로 투과 또는 차단하기 위한 셔터판; 상기 셔터판의 크기와 실질적으로 동일하고, 상기 셔터판을 통과한 광을 균일하게 확산시키기 위한 확산판; 상기 확산 판으로부터의 광로 상에 배치되어 시역을 형성하기 위한 광학 소자; 및 상기 광학 소자의 크기와 실질 적으로 동일하고, 다시점 영상을 표시하기 위한 투명형 영상 표시판; 을 포함한다. The three-dimensional and multi-view three-dimensional image display device includes a three-dimensional and multi-view three-dimensional image display device, an illumination light source; A shutter plate for selectively transmitting or blocking light from the illumination light source; A diffuser plate that is substantially the same as the size of the shutter plate and uniformly diffuses the light passing through the shutter plate; An optical element disposed on an optical path from the diffusion plate to form a viewing area; And a transparent image display panel that is substantially the same as the size of the optical element and displays a multi-view image. It includes.
그러나, 상기 입체 및 다시점 3차원 영상 표시 장치는 입체촬영을 위한 입체영상 카메라 또는 다수의 카메라를 이용하여 촬영한 영상들을 처리하여 입체영상을 제공함으로써, 영상들을 입체화 하는데 있어서 많은 시간과 비용이 요구 되었으며, 기 촬상된 2차원 동영상의 경우는 입체화 구현이 불가능한 문제점이 있었다.However, the stereoscopic and multi-view three-dimensional image display device requires a lot of time and cost in stereoscopic images by providing a stereoscopic image by processing the images taken using a stereoscopic camera or a plurality of cameras for stereoscopic imaging In the case of the pre-photographed two-dimensional video, there was a problem that it is impossible to implement a three-dimensional image.
그리고, 상기 입체 및 다시점 3차원 영상 표시 장치는 입체영상 관련장치가 기존 촬영장치 및 영상 출력장치와 호환이 용이하지 않은 문제점이 있었다.In addition, the three-dimensional and multi-view three-dimensional image display device has a problem that the three-dimensional image related device is not easily compatible with the existing photographing device and the image output device.
상기한 문제점들을 해결하기 위하여, 본 발명의 목적은 기존의 촬상장치에서 촬영되는 영상을 입체화 하여 실시간으로 제공하고, 다양한 입출력방식을 지원함으로써 기존 촬상장치 및 영상 출력장치와의 호환성을 높일 수 있는 실시간 입체 콘텐츠 제공장치 및 제공방법을 제공함에 있다. In order to solve the above problems, an object of the present invention is to provide a real-time by stereoscopic image of the image taken by the conventional imaging device, and to support a variety of input and output methods in real time to increase the compatibility with the existing imaging device and image output device The present invention provides an apparatus and method for providing stereoscopic contents.
상술한 목적을 달성하기 위한 본 발명은 실시간 입체 콘텐츠 제공시스템에 있어서, 실시간 입체 콘텐츠 제공장치에 관한 것으로서, 2차원 아날로그 영상을 디지털화 시키는 영상처리부와, 디지털화된 신호를 분석하는 입체영상 변환 알고리즘을 통해 3차원화 시키는 영상변환부와, 변환된 영상의 출력영상깊이, 해상도 및 출력방식을 설정하는 출력영상 설정부를 포함하는 입체영상 변환장치; 상기 출력영상 설정부로부터 수신된 영상의 설정을 확인하는 영상 변환장치 제어부와, 스케일러를 이용하여 변환된 입체영상의 화질을 개선시키는 영상화질 개선부와, 화질이 개선된 영상정보를 저장장치에 저장하는 저장부를 포함하는 입체영상 저장장치; 및 상기 입체영상 변환장치와 상기 입체영상 저장장치를 전기적으로 연결하여 변환된 영상 데이터 및 제어 신호를 상호 송수신할 수 있도록 하는 연결 수단; 을 포함한다. The present invention for achieving the above object is a real-time stereoscopic content providing system, relates to a real-time stereoscopic content providing apparatus, through an image processing unit for digitizing a two-dimensional analog image, and through a stereoscopic image conversion algorithm for analyzing the digitized signal A three-dimensional image conversion apparatus including an image conversion unit for three-dimensionalizing and an output image setting unit for setting an output image depth, a resolution, and an output method of the converted image; Confirming the setting of the image received from the output image setting unit A stereoscopic image storage device including an image conversion device control unit, an image quality improvement unit for improving the image quality of the stereoscopic image converted using the scaler, and a storage unit storing the image information with improved image quality in the storage device; And connecting means for electrically connecting the stereoscopic image conversion apparatus and the stereoscopic image storage device to mutually transmit and receive the converted image data and the control signal. It includes.
바람직하게 상기 영상처리부는 Digital RGB, CVBS, S-Video와 같은 입력형태를 지원하는 영상 입력 모듈; 아날로그 영상을 디지털화 시키는 영상해독 모듈; 및 색을 각각 8비트 처리하여 24비트 RGB로 변환 해주는 신호 복호화 모듈을 포함하는 것을 특징으로 한다. Preferably, the image processing unit comprises an image input module supporting an input form such as Digital RGB, CVBS, S-Video; An image decoding module for digitizing an analog image; And a signal decoding module for converting each color into 8-bit RGB by processing 8 bits.
또한 바람직하게 상기 영상변환부는 상기 영상처리부에서 복호화된 2차원영상에서 영상의 형태정보를 파악하기 위해 휘도성분을 추출하는 휘도신호화 모듈; 추출된 휘도성분을 표본화하고 표준 값(Ystd)으로 설정하는 표준화 모듈; 피사체의 경계선을 확인하여 깊이지도를 생성하는 깊이지도 생성 모듈; 출력되는 영상의 결점을 제거하는 깊이지도 마스킹 모듈; 및 깊이지도의 깊이 값을 참조하여 RGB 영상을 시차 처리함으로써 좌·우 시차 처리된 영상을 생성하는 시차처리 모듈; 을 포함하는 것을 특징으로 한다. Preferably, the image conversion unit comprises: a luminance signal module for extracting luminance components to grasp shape information of an image from a 2D image decoded by the image processing unit; A standardization module for sampling the extracted luminance components and setting them to a standard value (Y std ); A depth map generation module for generating a depth map by checking a boundary line of the subject; A depth map masking module for removing defects of the output image; And a parallax processing module configured to generate a left and right parallax processed image by parallaxing an RGB image with reference to a depth value of a depth map; Characterized in that it comprises a.
또한 바람직하게 상기 출력영상 설정부는 상기 영상 변환부(120)에서 변환된 영상의 깊이를 4단계로 조절하는 영상깊이 조절 모듈; 변환된 영상의 출력해상도를 QCIF+, QVGA, VGA, XGA 및 HD-SDI와 같은 출력 신호로 설정하는 해상도 설정 모듈; 및 변환된 영상을 line by line 방식, frame by frame 방식 또는 pixel by pixel 방식으로 출력방식을 설정하는 출력방식 지원 모듈; 을 포함하는 것을 특징으로 한다.Also preferably, the output image setting unit may include: an image depth adjusting module configured to adjust the depth of the image converted by the
그리고 바람직하게 상기 연결 수단은 RS232C Serial 통신 포트인 것을 특징으로 한다. And preferably the connection means is characterized in that the RS232C Serial communication port.
한편 본 발명은 실시간 입체 콘텐츠 제공방법에 관한 것으로서, (a) 입체영상 변환장치가 별도의 2차원 영상 제공장치로부터 수신한 2차원 영상을 RGB 신호로 복호화 하고, 복호화된 RGB 신호에서 휘도성분을 추출하는 단계; (b) 상기 입체영상 변환장치가 추출한 상기 휘도성분을 표본화 한 후, 5단계로 구성된 표준화 작업을 수행하는 단계; (c) 상기 입체영상 변환장치가 표준화가 수행된 영상의 내용을 블록 단위로 분류 하여 블록이 사상될 위치를 확인하고 사상시키는 수직블록 매핑을 수행하는 단계; (d) 상기 입체영상 변환장치가 수직블록 매핑된 피사체의 경계선을 확인하여 깊이지도를 생성한 후, 생성된 깊이지도를 마스킹 하는 단계; (e) 상기 입체영상 변환장치가 상기 마스킹 된 영상을 깊이 정보에 따라, 표준화 단계 중 3단계와 같은 경우는 영시차, 작은 객체인 4, 5 단계의 경우는 음시차, 그리고 큰 객체인 1, 2 단계의 경우는 양시차 처리하여 좌·우 시차 처리된 영상을 생성하는 단계; (f) 상기 입체영상 변환장치가 상기 좌·우 시차 처리된 영상의 출력영상깊이, 출력해상도 및 출력방식을 설정하는 단계; (g) 상기 입체영상 저장장치가 상기 입체영상 변환장치로부터 출력영상깊이, 출력해상도 및 출력방식이 설정된 영상을 수신하고, 수신된 영상의 화질을 스케일러(Scaler)를 이용하여 보정하는 단계; 및 (h) 상기 입체영상 저장장치가 보정되어 화질이 개선된 영상을 저장하는 단계; 를 포함한다. Meanwhile, the present invention relates to a method for providing real-time stereoscopic content, wherein (a) the stereoscopic image converter decodes a two-dimensional image received from a separate two-dimensional image providing apparatus into an RGB signal, and extracts luminance components from the decoded RGB signal. Doing; (b) performing a standardization operation consisting of five steps after sampling the luminance component extracted by the stereoscopic image converter; (c) the stereoscopic image converting apparatus classifying the content of the normalized image in units of blocks and performing vertical block mapping to identify and map a position where a block is mapped; (d) generating a depth map by checking a boundary line of a vertical block-mapped subject by the stereoscopic image conversion apparatus, and masking the generated depth map; (e) The stereoscopic image converting apparatus uses the masked image according to the depth information, in the case of
바람직하게 상기 출력방식은 프레임 전체를 입체화하는 frame by frame 방식, 좌안과 우안의 시차에 따라 처리된 좌·우 2 프레임을 수신한 후, 각 프레임의 소정부분을 직선분할 하여 입체화하는 line by line 방식, 또는 영상의 해상도에 따라 각 픽셀을 입체화하는 pixel by pixel 방식인 것을 특징으로 한다. Preferably, the output method includes a frame by frame method for three-dimensionalizing an entire frame, a line by line method for receiving two left and right frames processed according to a parallax between left and right eyes, and then dividing a predetermined portion of each frame into three-dimensional parts. Or a pixel by pixel method for stereoscopicizing each pixel according to the resolution of an image.
그리고 바람직하게 상기 (b) 단계는 상기 입체영상 변환장치가 2차원 영상 복호화를 통해 휘도성분(Y)이 0~50의 값인 경우 휘도성분 표준 값(Ystd)을 Ystd[0]으로 설정하고, 휘도성분(Y)이 51~101의 값인 경우 휘도성분 표준 값(Ystd)을 Ystd[1]로 설정하고, 휘도성분(Y)이 102~152의 값인 경우 휘도성분 표준 값(Ystd)을 Ystd[2]로 설정하고, 휘도성분(Y)이 153~203의 값인 경우 휘도성분 표준 값(Ystd)을 Ystd[3]으로 설정하며, 휘도성분(Y)이 204~255의 값인 경우 휘도성분 표준 값(Ystd)을 Ystd[4]로 설정함으로써 영상의 휘도성분을 표준화하는 단계; 를 포함하는 것을 특징으로 한다. Preferably, in the step (b), the stereoscopic image conversion apparatus sets the luminance component standard value (Y std ) to Y std [0] when the luminance component (Y) is 0 to 50 through two-dimensional image decoding. If the luminance component (Y) is 51 to 101, set the luminance component standard value (Y std ) to Y std [1], and if the luminance component (Y) is 102 to 152, the luminance component standard value (Y std). ) Is set to Y std [2], and the luminance component standard value (Y std ) is set to Y std [3] when the luminance component (Y) is a value of 153 to 203, and the luminance component (Y) is 204 to 255. Normalizing the luminance component of the image by setting the luminance component standard value (Y std ) to Y std [4] when the value of? Characterized in that it comprises a.
상기와 같은 본 발명에 따르면, 기존 촬상장치로부터 수신된 영상을 실시간으로 입체화 할 수 있고, 다양한 입출력방식을 지원하여 다른 영상 관련 장치와의 호환성을 높일 수 있다. According to the present invention as described above, it is possible to stereoscopic the image received from the existing image pickup device in real time, and to support a variety of input and output methods to increase the compatibility with other image-related devices.
상기 목적을 달성하기 위한 본 발명을 이하 첨부된 도면을 참조하여 설명한다.The present invention for achieving the above object will be described below with reference to the accompanying drawings.
본 발명의 실시예에 따른 실시간 입체 콘텐츠 제공 시스템의 전체적인 구성을 도 1을 참조하여 설명하면 다음과 같다. The overall configuration of a real-time stereoscopic content providing system according to an embodiment of the present invention will be described with reference to FIG. 1 as follows.
도 1은 본 발명의 실시예에 따른 실시간 입체영상 제공시스템의 구성도이다. 1 is a block diagram of a real-time stereoscopic image providing system according to an embodiment of the present invention.
도 1에 도시된 바와 같이 본 발명의 실시예에 따른 실시간 입체영상 제공시스템은 입체영상 변환장치(100), 입체영상 저장장치(200) 및 상기 입체영상 변환장치와 입체영상 저장장치를 전기적으로 연결하는 연결 수단(300)을 포함한다. As shown in FIG. 1, the real-time stereoscopic image providing system according to an exemplary embodiment of the present invention electrically connects a
상기 입체영상 변환장치(100)는 2차원 아날로그 영상을 디지털화 시키는 영상처리부(110), 디지털화된 신호를 분석하여 입체영상 변환 알고리즘을 통해 3차원화 시키는 영상 변환부(120), 그리고 변환된 영상의 출력영상깊이, 해상도 및 출력방식을 설정하는 출력영상 설정부(130)를 포함한다. The stereoscopic
또한, 상기 입체영상 저장장치(200)는 상기 입체영상 변환장치의 출력영상 설정부(130)에 의해 설정된 영상을 수신한다. 상기 출력영상 설정부에서 수신된 영상의 설정을 확인하는 영상 변환장치 제어부(210), 스케일러(Scaler)를 이용하여 변환된 입체영상의 화질을 개선시키는 영상화질 개선부(220) 및 화질개선된 영상정보를 저장장치에 저장하는 저장부(230)를 포함한다.In addition, the stereoscopic
본 실시예에서, 화질개선된 영상정보를 상기 저장부(230)에 저장하는 것으로 설정하였으나, 본 발명이 이에 한정되는 것은 아닌바, 별도의 저장장치 또는 외부 저장소에 저장하는 것도 가능하다. In the present exemplary embodiment, the image quality improved image information is set to be stored in the
그리고, 상기 연결 수단(300)은 상기 입체영상 변환장치(100)와 상기 입체영상 저장장치(200)를 전기적으로 연결하여 변환된 영상 데이터 및 제어 신호를 상호 송수신할 수 있도록 하는 기능을 수행한다. The
본 실시예에서 상기 연결 수단을 상기 입체영상 변환장치(100)와 상기 입체영상 저장장치(200)를 직렬로 연결하는 RS232C Serial 통신으로 설정하였으나, 본 발명은 이에 한정되는 것은 아닌바, 무선통신 방식으로도 연결가능하다. In the present embodiment, the connection means is set to RS232C serial communication connecting the stereoscopic
상술한 입체영상 변환장치(100)의 상세 구성에 대하여 도 2를 참조하여 상세하게 설명하면 다음과 같다. The detailed configuration of the above-described stereoscopic
도 2는 본 발명의 실시예에 따른 실시간 입체영상 변환장치의 상세 구성도이다.2 is a detailed block diagram of a real-time stereoscopic image conversion apparatus according to an embodiment of the present invention.
상기 도 2에 도시된 바와 같이, 상기 영상처리부(110)는 Digital RGB, CVBS, S-Video 등의 다양한 입력형태를 지원하는 영상 입력 모듈(111), 아날로그 영상을 디지털화 시키는 영상해독 모듈(112) 및 색을 각각 8비트 처리하여 24비트 RGB로 변환 해주는 신호 복호화 모듈(113)을 포함한다.As shown in FIG. 2, the
또한 상기 영상 변환부(120)는 상기 영상처리부(110)에서 복호화된 2차원영상에서 영상의 형태정보를 파악하기 위해 휘도성분(Y:Brightness)을 추출하는 휘도신호화 모듈(121), 추출된 휘도성분을 표본화(Sampling)하고 표준 값(Ystd)으로 설정하는 표준화 모듈(122), 피사체의 경계선을 확인하여 깊이지도를 생성하는 깊이지도 생성 모듈(123), 출력되는 영상의 결점을 제거하는 깊이지도 마스킹 모 듈(124) 및 깊이지도의 깊이 값을 참조하여 RGB 영상을 시차 처리함으로써 좌·우 시차 처리된 영상을 생성하는 시차처리 모듈(125)을 포함한다. In addition, the
그리고 상기 출력영상 설정부(130)는 상기 영상 변환부(120)에서 변환된 영상의 깊이를 4단계로 조절하는 영상깊이 조절 모듈(131), 변환된 영상의 출력해상도를 QCIF+, QVGA, VGA, XGA 및 HD-SDI 등의 출력 신호로 설정하는 해상도 설정 모듈(132) 및 변환된 영상을 line by line, frame by frame, pixel by pixel 등의 출력으로 설정하는 출력방식 지원 모듈(133)을 포함한다. The output
상술한 본 발명의 실시예에 따른 실시간 입체 콘텐츠 제공 시스템을 이용하여 입체 콘텐츠 제공 방법에 대하여 도 3 내지 도 7을 참조하여 설명하면 다음과 같다. A method of providing stereoscopic content using a real-time stereoscopic content providing system according to an embodiment of the present invention described above will be described with reference to FIGS. 3 to 7.
도 3은 본 발명의 실시예에 따른 실시간 입체영상 제공방법에 관한 전체적인 흐름도이고, 도 4는 본 발명의 실시예에 따른 5단계 표준화의 예시도이고, 도 5는 본 발명의 실시예에 따른 입체화된 영상의 출력방식 중 frame by frame 방식에 관한 개념도이고, 도 6은 본 발명의 실시예에 따른 입체화된 영상의 출력방식 중 line by line 방식에 관한 개념도이며, 도 7은 본 발명의 실시예에 따른 입체화된 영상의 출력방식 중 pixel by pixel 방식에 관한 개념도이다.3 is an overall flowchart of a real-time stereoscopic image providing method according to an embodiment of the present invention, Figure 4 is an illustration of a five-step standardization according to an embodiment of the present invention, Figure 5 is a stereoscopic according to an embodiment of the present invention FIG. 6 is a conceptual diagram illustrating a frame by frame method among output methods of a processed image, and FIG. 6 is a conceptual diagram illustrating a line by line method among an output method of a stereoscopic image according to an embodiment of the present invention, and FIG. This is a conceptual diagram of a pixel by pixel method of the stereoscopic image output method.
상기 도 3에 도시된 바와 같이, 영상 처리부(110)는 별도의 2차원 영상 제공장치로부터 수신한 2차원 영상을 RGB 신호로 복호화 한다(S2).As shown in FIG. 3, the
영상 변환부(120)는 상기 영상 처리부로부터 수신한 상기 복호화된 RGB 신호에서 휘도성분을 추출한다(S4).The image converter 120 extracts a luminance component from the decoded RGB signal received from the image processor (S4).
상기 영상 변환부(120)는 추출한 상기 휘도성분을 표본화 한 후, 5단계로 구성된 표준화 작업을 수행한다(S6).The image converter 120 samples the extracted luminance components and then performs standardization in five steps (S6).
상기 제 S6 단계인 휘도신호 표본화 및 5단계 표준화 단계에 대하여 도 4를 참조하여 상세하게 설명하면 다음과 같다. The luminance signal sampling and the five standardization steps, which are the sixth step, will be described in detail with reference to FIG. 4 as follows.
도 4는 본 발명의 실시예에 따른 5단계 표준화의 예시도이다.4 is an exemplary diagram of a five-step normalization according to an embodiment of the present invention.
상술한 휘도성분 표준 값(Ystd)은 총 5단계로 설정된다. 즉, 영상 변환부(120)는 2차원 영상 복호화를 통해 휘도성분(Y)이 0~50의 값인 경우 휘도성분 표준 값(Ystd)을 Ystd[0]으로 설정하고, 휘도성분(Y)이 51~101의 값인 경우 휘도성분 표준 값(Ystd)을 Ystd[1]로 설정하고, 휘도성분(Y)이 102~152의 값인 경우 휘도성분 표준 값(Ystd)을 Ystd[2]로 설정하고, 휘도성분(Y)이 153~203의 값인 경우 휘도성분 표준 값(Ystd)을 Ystd[3]으로 설정하며, 휘도성분(Y)이 204~255의 값인 경우 휘도성분 표준 값(Ystd)을 Ystd[4]로 설정함으로써 영상의 휘도성분을 표준화한다. The above-mentioned luminance component standard value Y std is set in five steps in total. That is, the
한편, 본 실시예에서 상기 표준화를 5단계로 한정하였으나, 본 발명은 이에 한정되는 것은 아닌바, 표준화 되는 휘도성분 값을 더 세밀하게 분할하여 표준값을 가감하는 것도 가능하다. Meanwhile, although the standardization is limited to five steps in the present embodiment, the present invention is not limited thereto, and the standard value may be added or subtracted by further dividing the luminance component value to be standardized.
상기 영상 변환부(120)는 표준화가 수행된 영상의 내용을 블록 단위로 분류 하여 블록이 사상( X, Y, Z의 3차원 공간에 좌표값을 대응시키는 것)될 위치를 확인하고 사상시키는 수직블록 매핑(Vertical Block Mapping)을 수행한다(S8).The
상기 영상 변환부(120)는 수직블록 매핑된 피사체의 경계선을 확인하여 깊이지도를 생성한다(S10).The
상기 영상 변환부(120)는 생성된 깊이지도를 마스킹 한다(S12).The
상기 깊이지도를 마스킹 함으로써, 영상신호가 디지털화로 인해 중간농도의 색을 찾지 못하고 각기 다른 색의 점으로 표현되는 결점을 제거할 수 있는 장점이 있다. By masking the depth map, there is an advantage of eliminating defects represented by dots of different colors without finding a medium color due to digitization of the image signal.
상기 영상 변환부(120)는 상기 마스킹 된 영상을 깊이 정보에 따라, 표준화 3단계와 같은 경우는 영시차, 작은 객체인 4, 5 단계의 경우는 음시차, 그리고 큰 객체인 1, 2 단계의 경우 양시차 처리하여 좌·우 시차 처리된 영상을 생성한다(S14). The
상기 출력영상 설정부(130)는 상기 좌·우 시차 처리된 영상의 출력영상깊이, 출력해상도 및 출력방식을 설정한다(S16). The output
본 실시예에서 상기 출력방식을 상기 도 5에 도시된 바와 같이, 프레임 전체를 입체화하는 frame by frame 방식으로 설정하였으나, 본 발명은 이에 한정되지 아니하는바, 상기 도 6에 도시된 바와 같이 좌안과 우안의 시차에 따라 처리된 좌·우 2 프레임을 수신한 후, 각 프레임의 소정부분을 직선분할 하여 입체화하는 line by line 방식, 또는 상기 도 7에 도시된 바와 같이 영상의 해상도에 따라 각 픽셀을 입체화하는 pixel by pixel 방식 등 기타 출력장치에 따라 적합한 방식으로 설정하는 것도 가능하다.In the present embodiment, as shown in FIG. 5, the output method is set to a frame by frame method for three-dimensionalizing the entire frame. However, the present invention is not limited thereto, and the left eye and the left eye as shown in FIG. After receiving the left and right two frames processed according to the parallax of the right eye, each pixel is selected according to a line by line method of linearly dividing a predetermined portion of each frame, or stereoscopically, as shown in FIG. It is also possible to set it in a suitable way according to other output devices such as the pixel by pixel method to make three-dimensionalization.
영상 변환 장치 제어부(210)는 상기 출력영상 설정부(130)로부터 출력영상깊 이, 출력해상도 및 출력방식이 설정된 영상을 수신하고, 영상 화질 개선부(220)로 영상을 송신한다(S18).The image
영상 화질 개선부(220)는 영상 변환 장치 제어부(210)로 부터 수신된 영상을 스케일러(Scaler)를 이용하여 출력장치에서 보다 개선된 영상을 출력할 수 있도록 영상의 화질을 보정한다(S20).The image
저장부(230)는 상기 영상 화질 개선부(220)로 부터 화질이 개선된 영상을 수신받아 저장한다(S22).The
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
도 1은 본 발명의 실시예에 따른 실시간 입체영상 제공시스템의 구성도.1 is a block diagram of a real-time stereoscopic image providing system according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 실시간 입체영상 변환장치의 상세 구성도.2 is a detailed configuration diagram of a real-time stereoscopic image conversion apparatus according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 실시간 입체영상 제공방법에 관한 전체적인 흐름도.3 is an overall flowchart of a method for providing a real-time stereoscopic image according to an embodiment of the present invention.
도 4는 본 발명의 실시예에 따른 5단계 표준화의 예시도.Figure 4 is an illustration of a five-step normalization according to an embodiment of the present invention.
도 5는 본 발명의 실시예에 따른 입체화된 영상의 출력방식 중 frame by frame 방식에 관한 개념도.5 is a conceptual diagram of a frame by frame method of the output method of the stereoscopic image according to an embodiment of the present invention.
도 6은 본 발명의 실시예에 따른 입체화된 영상의 출력방식 중 line by line 방식에 관한 개념도.6 is a conceptual diagram of a line by line method of outputting a stereoscopic image according to an embodiment of the present invention.
도 7은 본 발명의 실시예에 따른 입체화된 영상의 출력방식 중 pixel by pixel 방식에 관한 개념도.7 is a conceptual diagram of a pixel by pixel method of the output method of a stereoscopic image according to an embodiment of the present invention.
** 도면의 주요 부분에 대한 부호의 설명 ** ** Description of symbols for the main parts of the drawing **
100 : 입체영상 변환장치 200 : 입체영상 저장장치100: stereoscopic image converter 200: stereoscopic image storage device
300 : 연결수단 110 : 영상 처리부300: connecting means 110: image processing unit
111 : 영상입력 모듈 112 : 영상 해독 모듈111: video input module 112: video decoding module
113 : 신호 복호화 모듈 120 : 영상 변환부113: signal decoding module 120: image converter
121 : 휘도 신호화 모듈 122 : 표준화 모듈121: luminance signaling module 122: standardization module
123 : 깊이지도 생성 모듈 124 : 깊이지도 마스킹 모듈123: depth map generation module 124: depth map masking module
125 : 시차처리 모듈 130 : 출력영상 설정부125: parallax processing module 130: output image setting unit
131 : 영상깊이 조절 모듈 132 : 해상도 설정 모듈131: video depth control module 132: resolution setting module
133 : 출력방식 지원 모듈 210 : 영상 변환장치 제어부133: output method support module 210: video converter control unit
220 : 영상화질 개선부 230 : 저장부220: Image quality improvement unit 230: Storage unit
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070068344A KR20090004265A (en) | 2007-07-06 | 2007-07-06 | System for providing solid contents at realtime and method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070068344A KR20090004265A (en) | 2007-07-06 | 2007-07-06 | System for providing solid contents at realtime and method therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20090004265A true KR20090004265A (en) | 2009-01-12 |
Family
ID=40486759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070068344A KR20090004265A (en) | 2007-07-06 | 2007-07-06 | System for providing solid contents at realtime and method therefor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20090004265A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101119941B1 (en) * | 2010-12-17 | 2012-03-16 | 강원대학교 산학협력단 | Apparatus and method for improving quality of picture in the stereoscopic |
CN102799404A (en) * | 2011-05-27 | 2012-11-28 | 天津三星电子有限公司 | Data connector converter |
US8610735B2 (en) | 2010-04-12 | 2013-12-17 | Samsung Display Co., Ltd. | Image converting device and three dimensional image display device including the same |
WO2014007450A1 (en) * | 2012-07-06 | 2014-01-09 | 삼성전자주식회사 | Depth image processing device and method |
-
2007
- 2007-07-06 KR KR1020070068344A patent/KR20090004265A/en active IP Right Grant
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8610735B2 (en) | 2010-04-12 | 2013-12-17 | Samsung Display Co., Ltd. | Image converting device and three dimensional image display device including the same |
KR101119941B1 (en) * | 2010-12-17 | 2012-03-16 | 강원대학교 산학협력단 | Apparatus and method for improving quality of picture in the stereoscopic |
CN102799404A (en) * | 2011-05-27 | 2012-11-28 | 天津三星电子有限公司 | Data connector converter |
CN102799404B (en) * | 2011-05-27 | 2015-08-19 | 天津三星电子有限公司 | A kind of data connector converter |
WO2014007450A1 (en) * | 2012-07-06 | 2014-01-09 | 삼성전자주식회사 | Depth image processing device and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI489147B (en) | Three-dimensional image display apparatus and three-dimensional image processing method | |
US9118904B2 (en) | Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed | |
TWI525382B (en) | Camera array systems including at least one bayer type camera and associated methods | |
US11115636B2 (en) | Image processing apparatus for around view monitoring | |
CN108055452A (en) | Image processing method, device and equipment | |
US9961272B2 (en) | Image capturing apparatus and method of controlling the same | |
WO2016045425A1 (en) | Two-viewpoint stereoscopic image synthesizing method and system | |
WO2012042998A1 (en) | Image processing device, image processing method, program, and recording medium | |
WO2011074721A1 (en) | Image processing device and method for matching images obtained from a plurality of wide-angle cameras | |
JP2019041389A (en) | Process and device for capturing and rendering stream of panoramic or stereoscopic image | |
WO2021110035A1 (en) | Eye positioning apparatus and method, and 3d display device, method and terminal | |
WO2015188525A1 (en) | Ultra-high definition three-dimensional conversion device and ultra-high definition three-dimensional display system | |
KR20080047673A (en) | Apparatus for transforming 3d image and the method therefor | |
CN107948511B (en) | Brightness of image processing method, device, storage medium and brightness of image processing equipment | |
KR20090004265A (en) | System for providing solid contents at realtime and method therefor | |
US9049495B2 (en) | Information processing system, information processing apparatus, control method of these, and storage medium | |
US20200099914A1 (en) | Stereo imaging device | |
US20120105595A1 (en) | Method for generating three dimensional image and three dimensional imaging system | |
CN111541886A (en) | Vision enhancement system applied to muddy underwater | |
KR20110064722A (en) | Coding apparatus and method for simultaneous transfer of color information and image processing information | |
AU2013308155B2 (en) | Method for description of object points of the object space and connection for its implementation | |
US7787035B2 (en) | Image acquiring apparatus and image processing method thereof | |
CN109257585B (en) | Brightness correction device and method, display device, display system and method | |
JP2005229280A (en) | Image processing apparatus and method, and program | |
JP2020167660A (en) | Image data transmission method, content processing device, head-mounted display, relay device, and content processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
NORF | Unpaid initial registration fee |