KR20060067238A - Apparatus and its method of transmitting an image associated with a depth and apparatus and its method of rendering stereoscopic images using it - Google Patents

Apparatus and its method of transmitting an image associated with a depth and apparatus and its method of rendering stereoscopic images using it Download PDF

Info

Publication number
KR20060067238A
KR20060067238A KR1020040105832A KR20040105832A KR20060067238A KR 20060067238 A KR20060067238 A KR 20060067238A KR 1020040105832 A KR1020040105832 A KR 1020040105832A KR 20040105832 A KR20040105832 A KR 20040105832A KR 20060067238 A KR20060067238 A KR 20060067238A
Authority
KR
South Korea
Prior art keywords
image
depth information
additional depth
binocular stereoscopic
stereoscopic image
Prior art date
Application number
KR1020040105832A
Other languages
Korean (ko)
Other versions
KR100656783B1 (en
Inventor
허남호
조숙희
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020040105832A priority Critical patent/KR100656783B1/en
Publication of KR20060067238A publication Critical patent/KR20060067238A/en
Application granted granted Critical
Publication of KR100656783B1 publication Critical patent/KR100656783B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야1. TECHNICAL FIELD OF THE INVENTION

본 발명은, 양안식 입체 영상 전송 장치 및 그 방법과 그를 이용한 양안식 입체 영상 렌더링 장치 및 그 방법에 관한 것임.The present invention relates to a binocular stereoscopic image transmission device and a method thereof, and a binocular stereoscopic image rendering device and a method using the same.

2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention

본 발명은, 3차원 카메라 등에서 영상 및 그에 따른 부가 깊이 정보를 획득하여, 영상은 종래 방식대로 부호화하고, 부가 깊이 정보는 외부로부터 선택받은 이산코사인변환(DCT) 계수를 이용하여 부호화한 후, 상기 부호화한 영상과 부가 깊이 정보를 다중화하여 하나의 전송스트림(TS)으로 전송함으로써 부가 깊이 정보 전송에 필요한 비트율을 크게 감소시키는 한편, 양안식 입체 영상을 렌더링하기 위한 장치에서는 상기 3차원 카메라 등으로부터 전달받은 전송스트림(TS)을 역다중화하여 영상과 부가 깊이 정보를 분리하여 각각 복호화하고, 상기 복호화한 영상 및 부가 깊이 정보를 이용하여 양안식 입체 영상을 생성하되, 상기 복호화한 부가 깊이 정보를 비등방 확산 방식을 이용하여 전처리(필터링)한 후 불연속 경계의 변화율을 약화시켜 양안식 입체 영상을 생성함으로써, 렌더링시 발생하는 홀의 개수 및 그 영역을 감소시켜 화질 및 입체감을 개선하기 위한, 양안식 입체 영상 전송 장치 및 그 방법과 그를 이용한 양안식 입체 영상 렌더링 장치 및 그 방법을 제공하는데 그 목적이 있음.The present invention obtains an image and additional depth information according to a 3D camera and the like, encodes the image according to a conventional method, and encodes the additional depth information using a discrete cosine transform (DCT) coefficient selected from the outside. By multiplexing the encoded image and the additional depth information in one transport stream (TS), the bit rate required for transmitting the additional depth information is greatly reduced, while the apparatus for rendering the binocular stereoscopic image is transmitted from the 3D camera or the like. Demultiplexing the received transport stream (TS) to separate and decode the image and the additional depth information, respectively, and generate a binocular stereoscopic image using the decoded image and the additional depth information, but anisotropically spread the decoded additional depth information. After pretreatment (filtering) using the method, the binocular stereogram is weakened by weakening the rate of change of the discrete boundary. The present invention provides a binocular stereoscopic image transmission device and a method thereof, a binocular stereoscopic image rendering device using the same, and a method for improving the image quality and stereoscopic effect by reducing the number of holes generated during rendering and its area by generating an image. There is a purpose.

3. 발명의 해결 방법의 요지3. Summary of the Solution of the Invention

본 발명은, 양안식 입체 영상 전송 장치에 있어서, 양안식 입체 영상을 생성하기 위한 기준 영상 및 부가 깊이 정보를 획득하기 위한 영상 획득 수단; 및 상기 영상 획득 수단에서 획득한 영상을 부호화하고, 상기 영상 획득 수단에서 획득한 부가 깊이 정보를 외부로부터 입력받은 변수에 따라 선택한 부호화 계수를 이용하여 부호화한 후, 상기 부호화한 영상 및 부가 깊이 정보를 다중화하여 출력시키기 위한 부호화 수단을 포함함.The present invention provides a binocular stereoscopic image transmission apparatus comprising: image acquisition means for acquiring a reference image and additional depth information for generating a binocular stereoscopic image; And encoding the image acquired by the image acquisition unit, encoding the additional depth information obtained by the image acquisition unit using a coding coefficient selected according to a variable received from the outside, and then encoding the encoded image and the additional depth information. And encoding means for multiplexing and outputting.

4. 발명의 중요한 용도4. Important uses of the invention

본 발명은 양안식 입체 영상 렌더링 시스템 등에 이용됨.The present invention is used for a binocular stereoscopic image rendering system.

양안식 입체 영상, 렌더링, 부가 깊이 정보, 이산코사인변환(DCT : Discrete Cosine Transform) 계수, 다중화Binocular stereoscopic image, rendering, additional depth information, Discrete Cosine Transform (DCT) coefficient, multiplexing

Description

양안식 입체 영상 전송 장치 및 그 방법과 그를 이용한 양안식 입체 영상 렌더링 장치 및 그 방법{Apparatus and its method of transmitting an image associated with a depth and apparatus and its method of rendering stereoscopic images using it} Apparatus and its method of transmitting an image associated with a depth and apparatus and its method of rendering stereoscopic images using it             

도 1은 종래 일반적인 DIBR 방식의 양안식 입체영상 렌더링 장치의 일실시예 구성도,1 is a configuration diagram of an embodiment of a conventional binocular stereoscopic image rendering apparatus of a general DIBR method;

도 2는 종래 개선된 DIBR 방식의 양안식 입체영상 렌더링 장치의 일실시예 구성도,Figure 2 is a configuration diagram of an embodiment of a conventional binocular stereoscopic image rendering apparatus improved DIBR method,

도 3은 종래 양안식 입체 영상 렌더링 시스템의 일실시예 구성도,3 is a configuration diagram of an embodiment of a conventional binocular stereoscopic rendering system;

도 4는 본 발명에 따른 양안식 입체 영상 전송 장치 및 양안식 입체 영상 렌더링 장치의 일실시예 구성도,4 is a configuration diagram of an embodiment of a binocular stereoscopic image transmission device and a binocular stereoscopic image rendering device according to the present invention;

도 5는 본 발명에 따른 양안식 입체 영상 전송 방법에 대한 일실시예 흐름도,5 is a flowchart illustrating an embodiment of a binocular stereoscopic image transmission method according to the present invention;

도 6은 본 발명에 따른 양안식 입체 영상 렌더링 장치에 대한 일실시예 흐름도이다.6 is a flowchart illustrating an embodiment of a binocular stereoscopic image rendering apparatus according to the present invention.

* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing

41 : 영상 획득부 42 : 부호화부41: image acquisition unit 42: encoder

43 : 복호화부 44 : 필터링부43: decoder 44: filter

45 : 렌더링부 46 : 출력부45: rendering unit 46: output unit

본 발명은, 양안식 입체 영상 전송 장치 및 그 방법과 그를 이용한 양안식 입체 영상 렌더링 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 3차원 카메라 등에서 영상 및 그에 따른 부가 깊이 정보를 획득하여 부호화하는데 있어서 부가 깊이 정보를 외부로부터 선택받은 DCT 계수를 이용하여 부호화함으로써 부가 깊이 정보 전송에 필요한 비트율을 크게 감소시키는 한편, 양안식 입체 영상을 렌더링하기 위한 장치에서는 상기 3차원 카메라 등으로부터 전달받은 영상과 부가 깊이 정보를 각각 복호화하여 양안식 입체 영상을 생성하되, 상기 복호화한 부가 깊이 정보를 비등방 확산 방식을 이용하여 전처리(필터링)한 후 불연속 경계의 변화율을 약화시켜 양안식 입체 영상을 생성함으로써 렌더링시 발생하는 홀의 개수 및 그 영역을 감소시켜 화질 및 입체감을 개선하기 위한, 양안식 입체 영상 전송 장치 및 그 방법과 그를 이용한 양안식 입체 영상 렌더링 장치 및 그 방법에 관한 것이다.The present invention relates to a binocular stereoscopic image transmission apparatus and method, and a binocular stereoscopic image rendering apparatus and method using the same, and more particularly, to obtain and encode an image and its additional depth information using a 3D camera or the like. By encoding the additional depth information using a DCT coefficient selected from the outside, the bit rate required for transmitting the additional depth information is greatly reduced, while in the apparatus for rendering the binocular stereoscopic image, the image and the additional depth received from the 3D camera or the like are added. The binocular stereoscopic image is generated by decoding the respective information, and the decoded additional depth information is preprocessed (filtered) using an anisotropic diffusion method, and then the binocular stereoscopic image is generated by weakening the rate of change of the discontinuous boundary. Reduce the number of holes and their area The present invention relates to a binocular stereoscopic image transmission device and a method thereof, and to a binocular stereoscopic image rendering device and a method for improving the stereoscopic feeling.

종래에 기준 영상과 부가 깊이 정보로부터 양안 입체 영상을 생성해내는 방 식, 즉 DIBR(Depth-Image-Based Rendering)은 카메라 2 대를 사용하는 일반적인 스테레오 방식과는 달리, 양안식 입체영상을 생성하기 위한 별도의 렌더링 과정이 필요하다. 여기서, 부가 깊이 정보라 함은 특정 시점에서 획득한 2차원 기준 영상의 각 픽셀에 대하여 카메라와의 상대적인 거리(또는 깊이) 정보가 부가적으로 포함되어 있는 것을 말하며, 렌더링(Rendering)이란 3차원 모델 데이터로부터 이미지를 생성해내는 계산과정을 말한다.Conventionally, a binocular stereoscopic image is generated from a reference image and additional depth information, that is, DIBR (Depth-Image-Based Rendering) is a method of generating a binocular stereoscopic image, unlike a general stereo method using two cameras. You need a separate rendering process. Here, the additional depth information means that the relative distance (or depth) information with respect to the camera is additionally included with respect to each pixel of the 2D reference image acquired at a specific time point. Rendering is a 3D model. It is a calculation process that generates an image from data.

일반적인 DIBR 방식에 대하여 도 1을 참조하여 좀 더 상세히 살펴보기로 한다.A general DIBR method will be described in more detail with reference to FIG. 1.

도 1은 종래 일반적인 DIBR 방식의 양안식 입체영상 렌더링 장치의 일실시예 구성도이다.1 is a block diagram of a conventional binocular stereoscopic image rendering apparatus according to a related art.

도 1에 도시된 바와 같이 종래 일반적인 DIBR 방식의 양안식 입체영상 렌더링 장치는, 부가 깊이 정보를 이용하여 이미지를 렌더링하여 왼쪽 이미지와 오른쪽 이미지의 양안식 입체영상을 생성한다. 이 때, DIBR 방식의 양안식 입체영상 렌더링 장치는 가상 스테레오 카메라의 간격과 초점거리 등과 같은 변수를 사용자로부터 입력받으며, 그 입력값에 따라 가상의 스테레오 카메라를 가정하여 기준 영상(image) 및 부가 깊이 정보로부터 가상의 두 카메라 시점에 해당하는 양안식 입체영상을 생성해낸다.As shown in FIG. 1, a conventional DIBR-type binocular stereoscopic rendering apparatus generates an binocular stereoscopic image of a left image and a right image by rendering an image using additional depth information. At this time, the DIBR-type binocular stereoscopic image rendering device receives a variable such as a distance and a focal length of the virtual stereo camera from the user, and assuming that the virtual stereo camera is based on the input value, the reference image and the additional depth are assumed. A binocular stereoscopic image corresponding to two virtual camera viewpoints is generated from the information.

즉, 기준 영상을

Figure 112004058974001-PAT00001
로 나타내고, 부가 깊이 정보를
Figure 112004058974001-PAT00002
로 나타내면 가상 스테레오 카메라에 대한 양안식 입체영상은 하기의 [수학식 1]과 [수학식 2]를 이용하여 구할 수 있다.That is, the reference image
Figure 112004058974001-PAT00001
And additional depth information
Figure 112004058974001-PAT00002
As shown by the binocular stereoscopic image for a virtual stereo camera can be obtained using the following [Equation 1] and [Equation 2].

Figure 112004058974001-PAT00003
Figure 112004058974001-PAT00003

Figure 112004058974001-PAT00004
Figure 112004058974001-PAT00004

여기서,

Figure 112004058974001-PAT00005
는 초점거리,
Figure 112004058974001-PAT00006
는 카메라 간격,
Figure 112004058974001-PAT00007
는 입체감을 조절하는데 필요한 변수로 정의한다. 그리고, IL, IR은 좌/우측 입체영상, (x,y)는 원영상의 픽셀좌표, (x',y')는 생성된 입체영상의 픽셀좌표, 그리고 [Z]는 z에 가장 가까운 정수를 나타낸다.here,
Figure 112004058974001-PAT00005
Is the focal length,
Figure 112004058974001-PAT00006
The camera spacing,
Figure 112004058974001-PAT00007
Is defined as a variable needed to control the three-dimensional effect. I L and I R are the left and right stereoscopic images, (x, y) are the pixel coordinates of the original image, (x ', y') are the pixel coordinates of the generated stereoscopic image, and [Z] Represents a near integer.

상기의 [수학식 1]과 [수학식 2]를 살펴보면

Figure 112004058974001-PAT00008
의
Figure 112004058974001-PAT00009
방향으로의 변화율이 1보다 크거나 또는
Figure 112004058974001-PAT00010
방향으로의 변화율이 -1보다 작을 경우에 입체영상에 홀이 발생하는 것을 알 수 있다. 따라서, 렌더링 도중이나 또는 렌더링 이후에 주변의 픽셀을 이용하여 홀(hole)을 채우는 방식이 있으나, 일반적으로는 렌더링 이후에 주변 픽셀을 이용하여 홀(hole)을 채우는 방식의 결과가 조금 더 나은 것으로 알려져 있다.Looking at [Equation 1] and [Equation 2] above
Figure 112004058974001-PAT00008
of
Figure 112004058974001-PAT00009
The rate of change in the direction is greater than 1 or
Figure 112004058974001-PAT00010
It can be seen that a hole is generated in the stereoscopic image when the rate of change in the direction is smaller than -1. Therefore, there is a method of filling a hole using neighboring pixels during or after rendering, but generally, a result of filling a hole using neighboring pixels after rendering is slightly better. Known.

이처럼 DIBR 방식의 양안식 입체영상 렌더링 장치는 특성이 다른 2 대의 카메라를 사용하지 않고서도 부가 깊이 정보를 이용하여 양안식 입체영상을 생성해낼 수 있는 장점이 있는 반면에, 배경과 배경, 객체와 배경 또는 객체와 객체 사이에서 부가 깊이 정보의 불연속으로 인하여 양안식 입체영상에 홀(hole)이 발생할 수 있는 문제점이 있다. 홀(hole)은 주로 폐색 영역에서 발생하며, 고정된 카메라 간격과 초점거리에 대하여 불연속 값이 크면 클수록 홀의 개수와 그 영역이 넓어지는 특성이 있다. 이러한 홀을 제거하기 위한 일반적인 방법으로 주변 픽셀의 영상 정보를 이용하여 홀을 채우는 방법이 있으나 어느 정도의 화질 열화는 피할 수 없다.The binocular stereoscopic rendering device of the DIBR method has the advantage of generating binocular stereoscopic images using additional depth information without using two cameras having different characteristics. Alternatively, a hole may occur in the binocular stereoscopic image due to the discontinuity of the additional depth information between the object and the object. Holes occur mainly in the occlusion area, and the larger the discontinuity value for the fixed camera interval and focal length, the larger the number of holes and the area. As a general method for removing such a hole, there is a method of filling a hole using image information of surrounding pixels, but deterioration of image quality is inevitable to some extent.

한편, 이러한 문제점을 해결하기 위한 방안으로 도 2에 도시된 바와 같은 개선된 DIBR 방식의 양안식 입체영상 렌더링 장치가 제안되었다. 즉, 도 2에 도시된 바와 같이, 개선된 DIBR 방식의 양안식 입체영상 렌더링 장치는 양안식 입체영상을 렌더링하기 이전에 부가 깊이 정보를 가우시안 필터를 이용하여 필터링함으로써, 부가 깊이 정보의 불연속 경계를 약화시키는 방식이다.On the other hand, as a solution to solve this problem has been proposed an improved DIBR-type binocular stereoscopic rendering apparatus as shown in FIG. That is, as shown in FIG. 2, the improved DIBR binocular stereoscopic image rendering apparatus filters the additional depth information by using a Gaussian filter before rendering the binocular stereoscopic image, thereby removing the discontinuous boundary of the additional depth information. It is a way of weakening.

즉, 개선된 DIBR 방식은 부가 깊이 정보를 전처리하여

Figure 112004058974001-PAT00011
의 변화율을 사전에 제한하는 방식이다. 따라서, 홀(hole) 주변의 픽셀을 이용할 경우에 여전히 텍스처(Texture)에 결점이 남는 반면에, 부가 깊이 정보를 전처리하게 되면 화질은 상당히 개선된다.That is, the improved DIBR method preprocesses additional depth information.
Figure 112004058974001-PAT00011
It is a way to limit the rate of change in advance. Thus, the use of pixels around holes still leaves a defect in the texture, while preprocessing additional depth information significantly improves image quality.

따라서, 개선된 DIBR 방식은 양안식 입체영상에 존재하는 홀(hole)을 감소시켜 화질을 개선하는 효과가 있으나, 부가 깊이 정보의 경계가 모호해짐으로써 입체영상 관측시 약간의 입체감 왜곡은 감수하여야 한다. 즉, 개선된 DIBR 방식은 부가 깊이 정보를 과도하게 필터링할 경우에는 입체감 왜곡 또한 심해지므로, 화질 개선과 입체감 왜곡이라는 두가지 상반된 관점이 절충되도록 하여야 한다.Therefore, the improved DIBR method improves image quality by reducing holes in binocular stereoscopic images, but the boundary of additional depth information is blurred, so some stereoscopic distortion must be taken when stereoscopic images are observed. . In other words, the improved DIBR method becomes more severe when three-dimensional distortion is excessively filtered. Therefore, two conflicting viewpoints of image quality improvement and three-dimensional distortion should be compromised.

한편, 일반적인 DIBR 송수신 시스템은 도 3에 도시된 바와 같이 기준 영상과 깊이 정보를 획득하여 전송하는 영상 전송 장치와 상기 영상 전송 장치로부터 전달 받은 영상을 처리하여 양안식 입체 영상을 렌더링하는 렌더링 장치로 나뉠 수 있다. Meanwhile, a general DIBR transmission / reception system is divided into an image transmission device that acquires and transmits a reference image and depth information, and a rendering device that renders a binocular stereoscopic image by processing an image received from the image transmission device as shown in FIG. 3. Can be.

즉, 영상 획득 수단에서 획득한 영상과 부가 깊이 정보는 데이터 전송량을 줄이기 위하여 인코딩(압축)된 후, 렌더링 장치로 전송된다. 이 때, 종래에 영상 획득 수단에서 인코딩(압축)을 수행할 때에는 출력 비트율을 조정할 수는 있었으나 DCT 계수를 직접 선택할 수는 없었기 때문에 부가 깊이 정보 전송에 필요한 비트율(DCT 계수)을 보다 효과적으로 줄일 수 없는 문제점이 있었다. That is, the image and the additional depth information acquired by the image acquiring means are encoded (compressed) to reduce the data transmission amount, and then transmitted to the rendering apparatus. At this time, when performing encoding (compression) by the image capturing means, the output bit rate can be adjusted, but since the DCT coefficient cannot be directly selected, the bit rate (DCT coefficient) required for additional depth information transmission cannot be reduced more effectively. There was a problem.

본 발명은, 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 3차원 카메라 등에서 영상 및 그에 따른 부가 깊이 정보를 획득하여, 영상은 종래 방식대로 부호화하고, 부가 깊이 정보는 외부로부터 선택받은 DCT 계수를 이용하여 부호화한 후, 상기 부호화한 영상과 부가 깊이 정보를 다중화하여 하나의 전송스트림(TS)으로 전송함으로써 부가 깊이 정보 전송에 필요한 비트율을 크게 감소시키기 위한, 양안식 입체 영상 전송 장치 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, by acquiring an image and additional depth information according to a 3D camera, etc., encoding the image according to a conventional method, and adding the depth information to a DCT coefficient selected from the outside. And a method for binocular stereoscopic image transmission for greatly reducing the bit rate required for transmission of additional depth information by multiplexing the encoded image and the additional depth information and transmitting the same by using a single transport stream (TS). The purpose is to provide.

또한, 본 발명은, 양안식 입체 영상을 렌더링하기 위한 장치에서 상기 3차원 카메라 등으로부터 전달받은 전송스트림(TS)을 역다중화하여 영상과 부가 깊이 정보를 분리하여 각각 복호화하고, 상기 복호화한 영상 및 부가 깊이 정보를 이용하여 양안식 입체 영상을 생성하되, 상기 복호화한 부가 깊이 정보를 비등방 확산 방식을 이용하여 전처리(필터링)한 후 불연속 경계의 변화율을 약화시켜 양안식 입체 영상을 생성함으로써, 렌더링시 발생하는 홀의 개수 및 그 영역을 감소시켜 화질 및 입체감을 효과적으로 개선하기 위한, 양안식 입체 영상 렌더링 장치 및 그 방법을 제공하는데 다른 목적이 있다.In addition, the present invention, in the apparatus for rendering a binocular stereoscopic image by demultiplexing the transmission stream (TS) received from the three-dimensional camera, etc. to separate and decode the image and the additional depth information, respectively, the decoded image and Generates a binocular stereoscopic image using the additional depth information, and pre-processes (filters) the decoded additional depth information using an anisotropic diffusion method, and then generates a binocular stereoscopic image by weakening the rate of change of the discontinuous boundary. Another object of the present invention is to provide a binocular stereoscopic image rendering apparatus and a method for effectively improving image quality and stereoscopic effect by reducing the number of holes and its area generated.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명의 장치는, 양안식 입체 영상 전송 장치에 있어서, 양안식 입체 영상을 생성하기 위한 기준 영상 및 부가 깊이 정보를 획득하기 위한 영상 획득 수단; 및 상기 영상 획득 수단에서 획득한 영상을 부호화하고, 상기 영상 획득 수단에서 획득한 부가 깊이 정보를 외부로부터 입력받은 변수에 따라 선택한 부호화 계수를 이용하여 부호화한 후, 상기 부호화한 영상 및 부가 깊이 정보를 다중화하여 출력시키기 위한 부호화 수단을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a binocular stereoscopic image transmission apparatus comprising: image acquisition means for acquiring a reference image and additional depth information for generating a binocular stereoscopic image; And encoding the image acquired by the image acquisition unit, encoding the additional depth information obtained by the image acquisition unit using a coding coefficient selected according to a variable received from the outside, and then encoding the encoded image and the additional depth information. And encoding means for multiplexing and outputting.

또한, 본 발명의 방법은, 양안식 입체 영상 전송 방법에 있어서, 양안식 입체 영상을 생성하기 위한 기준 영상 및 부가 깊이 정보를 획득하는 단계; 상기 획득한 영상을 부호화하는 단계; 외부로부터 입력받은 변수에 따라 부호화 계수를 선택하는 단계; 상기 획득한 부가 깊이 정보를 상기 선택한 부호화 계수를 이용하여 부호화하는 단계; 및 상기 부호화한 영상 및 부가 깊이 정보를 다중화하여 출력시키는 단계를 포함하는 것을 특징으로 한다.In addition, the method of the present invention, in the binocular stereoscopic image transmission method, the method comprising: obtaining a reference image and additional depth information for generating a binocular stereoscopic image; Encoding the obtained image; Selecting an encoding coefficient according to a variable received from an external source; Encoding the obtained additional depth information using the selected coding coefficients; And multiplexing and outputting the encoded image and the additional depth information.

한편, 상기 다른 목적을 달성하기 위한 본 발명의 장치는, 양안식 입체 영상 렌더링 장치에 있어서, 외부로부터 수신한 전송스트림(TS)을 역다중화하여 부호화된 기준 영상 및 특정 부호화 계수를 이용하여 부호화된 부가 깊이 정보로 분리한 후, 상기 분리한 기준 영상 스트림 및 부가 깊이 정보 스트림 각각을 복호화하기 위한 복호화 수단; 상기 복호화 수단에서 복호화한 부가 깊이 정보를 비등방 확산 방식에 따라 필터링하여 잡음을 제거하고 부가 깊이 정보의 변화율을 조절하기 위한 필터링 수단; 상기 복호화 수단에서 복호화된 영상 및 상기 필터링 수단에서 전처리된 부가 깊이 정보를 이용하여 양안식 입체 영상을 생성하기 위한 렌더링 수단; 및 상기 렌더링 수단에서 생성한 양안식 입체 영상을 좌측 영상 및 우측 영상으로 분리하여 출력시키기 위한 출력 수단을 포함하는 것을 특징으로 한다.On the other hand, the apparatus of the present invention for achieving the above another object is, in the binocular stereoscopic image rendering apparatus, decoded by using a reference image and a specific coding coefficient encoded by demultiplexing the transport stream (TS) received from the outside Decoding means for decoding each of the separated reference video stream and the additional depth information stream after separating into additional depth information; Filtering means for filtering the additional depth information decoded by the decoding means according to an anisotropic spreading method to remove noise and to adjust the rate of change of the additional depth information; Rendering means for generating a binocular stereoscopic image using the image decoded by the decoding means and the additional depth information preprocessed by the filtering means; And output means for separating and outputting the binocular stereoscopic image generated by the rendering means into a left image and a right image.

또한, 본 발명의 방법은, 양안식 입체 영상 렌더링 방법에 있어서, 외부로부터 수신한 전송스트림(TS)을 역다중화하여 부호화된 영상 및 특정 부호화 계수를 이용하여 부호화된 부가 깊이 정보로 분리하는 단계; 상기 분리한 기준 영상 스트림을 복호화하는 단계; 상기 분리한 부가 깊이 정보 스트림을 복호화한 후 비등방 확산 방식에 따라 필터링하여 잡음을 제거하고 부가 깊이 정보의 변화율을 조절하는 단계; 및 상기 복호화된 기준 영상 및 상기 필터링된 부가 깊이 정보를 이용하여 양안식 입체 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.The present invention also provides a binocular stereoscopic image rendering method, comprising: demultiplexing a transport stream (TS) received from the outside and separating the encoded image into encoded images and additional depth information encoded using a specific encoding coefficient; Decoding the separated reference video stream; Decoding the separated additional depth information stream and filtering according to an anisotropic spreading method to remove noise and to adjust a rate of change of the additional depth information; And generating a binocular stereoscopic image using the decoded reference image and the filtered additional depth information.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 4는 본 발명에 따른 양안식 입체 영상 전송 장치 및 양안식 입체 영상 렌더링 장치의 일실시예 구성도이다.4 is a diagram illustrating an embodiment of a binocular stereoscopic image transmission device and a binocular stereoscopic image rendering device according to the present invention.

먼저, 도 4에 도시된 바와 같이, 본 발명에 따른 양안식 입체 영상 전송 장치는, "ZCam"과 같은 3차원 카메라를 사용한 3차원 입체방송 송수신 시스템, DIBR 기술을 사용하는 단말장치 또는 컴퓨터 등에 구비되며, 양안식 입체 영상을 생성하기 위한 영상 및 부가 깊이 정보를 획득하기 위한 영상 획득부(41), 및 상기 영상 획득부(41)에서 획득한 영상을 소정의 알고리즘에 따라 부호화(압축)하고, 상기 영상 획득부(41)에서 획득한 부가 깊이 정보를 외부로부터 입력받은 변수에 따라 DCT 계수를 선택하여 부호화(압축)한 후, 상기 부호화(압축)한 영상 및 부가 깊이 정보를 다중화하여 출력시키기 위한 부호화부(42)를 포함한다.First, as shown in FIG. 4, the binocular stereoscopic image transmission apparatus according to the present invention includes a three-dimensional stereoscopic broadcast transmission / reception system using a three-dimensional camera such as “ZCam”, a terminal device or a computer using DIBR technology, and the like. And encoding (compressing) an image obtaining unit 41 for obtaining a binocular stereoscopic image and additional depth information, and an image obtained by the image obtaining unit 41 according to a predetermined algorithm. After selecting and encoding (compressing) DCT coefficients according to a variable received from an external unit, the depth information obtained by the image acquisition unit 41 is used for multiplexing and outputting the encoded (compressed) image and additional depth information. The encoder 42 is included.

상기 영상 획득부(41)는 부가 깊이 정보(

Figure 112004058974001-PAT00012
)와 기준 영상(
Figure 112004058974001-PAT00013
)을 동시에 획득한다. 이 때, 3차원 카메라의 경우에는 촬영에 의하여 부가 깊이 정보와 기준 영상을 획득할 수 있으며, 컴퓨터의 경우에는 컴퓨터 그래픽을 이용하여 부가 깊이 정보와 기준 영상을 획득할 수 있다. 이 때, 모노 영상 시퀀스로부터 거리정보와 기준영상을 추출하여 획득할 수도 있다.The image acquisition unit 41 may provide additional depth information (
Figure 112004058974001-PAT00012
) And reference image (
Figure 112004058974001-PAT00013
) At the same time. In this case, in the case of the 3D camera, the additional depth information and the reference image may be obtained by photographing, and in the case of the computer, the additional depth information and the reference image may be obtained using computer graphics. In this case, the distance information and the reference image may be extracted and obtained from the mono image sequence.

상기 부호화부(42)는 상기 영상 획득부(41)로부터 전달받은 부가 깊이 정보와 기준 영상을 각각 인코딩한다. 이 때, 기준 영상의 부호화(압축)는 기존 방식과 동일하게 이루어지지만, 부가 깊이 정보는 외부(사용자)로부터 입력받은 변수(

Figure 112004058974001-PAT00014
)에 따라 DCT(discrete cosine transform) 계수를 선택하여 부호화(압축)한다. 즉, 상기 부호화부(42)는 부가 깊이 정보의 부호화(압축)에 이용되는 DCT 계수를 조절하여 부가 깊이 정보의 핵심 정보만을 전송한다.The encoder 42 encodes the additional depth information received from the image acquirer 41 and the reference image, respectively. At this time, the encoding (compression) of the reference image is performed in the same manner as the conventional method, but the additional depth information is obtained from a variable (received from an external user).
Figure 112004058974001-PAT00014
Selects and encodes (compresses) DCT (discrete cosine transform) coefficients. That is, the encoder 42 transmits only the core information of the additional depth information by adjusting the DCT coefficient used for encoding (compression) of the additional depth information.

상기 부호화부(42)는 하기의 [수학식 3]과 같은 일반적인 8x8 DCT를 고려한다.The encoder 42 considers a general 8x8 DCT as shown in Equation 3 below.

Figure 112004058974001-PAT00015
Figure 112004058974001-PAT00015

여기서, ap,bp의 값은 p,q가 0 일때는 1이고, p,q가 0이 아닐 때는

Figure 112004058974001-PAT00016
이다. 그리고,
Figure 112004058974001-PAT00017
는 DCT 계수,
Figure 112004058974001-PAT00018
는 DCT 블록 내의 부가 깊이 정보를 나타낸다. 이 때, DCT 블록의 크기는 8x8에만 국한되는 것이 아니라, 화질과 입체감을 고려하여 결정한다. 예를 들어, 8x8 DCT 블록을 사용할 경우에 64개의 계수가 있을 수 있지만 본 발명에서는 특정 DCT 계수를 선택하여 전송한다. 즉, DCT 계수 선택을 위한 변수를
Figure 112004058974001-PAT00019
이라했을 때, 전송할 DCT 계수는 하기의 [수학식 4]를 이용하여 결정한다.Here, the values of a p and b p are 1 when p and q are 0, and when p and q are not 0.
Figure 112004058974001-PAT00016
to be. And,
Figure 112004058974001-PAT00017
Is the DCT coefficient,
Figure 112004058974001-PAT00018
Represents additional depth information in the DCT block. In this case, the size of the DCT block is not limited to 8x8, but is determined in consideration of image quality and three-dimensionality. For example, there may be 64 coefficients when using an 8x8 DCT block, but the present invention selects and transmits specific DCT coefficients. That is, the variable for DCT coefficient selection
Figure 112004058974001-PAT00019
In this case, the DCT coefficient to be transmitted is determined by using Equation 4 below.

Figure 112004058974001-PAT00020
Figure 112004058974001-PAT00021
예를 들어, 을 1로 설정하면 CT = { C00 }만 선택된다. 이것은 8x8 DCT 블록의 DC 계수만을 전송하는 것을 의미한다. 실제로 4개의 테스트 시퀀스에 대한 입체감 및 화질에 대한 주관 평가를 통하여 을 1로 설정하더라도(즉, DC 계수만 전송하더라도) 입체감 및 화질이 우수한 양안식 입체 영상을 얻을 수 있다는 결과를 얻었다.
Figure 112004058974001-PAT00020
Figure 112004058974001-PAT00021
For example, setting to 1 selects only C T = {C 00 }. This means that only DC coefficients of an 8x8 DCT block are transmitted. In fact, subjective evaluation of stereoscopic quality and image quality of four test sequences shows that binocular stereoscopic images with excellent stereoscopic quality and image quality can be obtained even if is set to 1 (ie, only DC coefficients are transmitted).

한편, 상기 부호화부(42)는 이와 같이 각각 인코딩한 부가 깊이 정보 및 영상을 다중화하여 최종적으로 하나의 전송스트림(TS) 형태로 출력한다. 이처럼 상기 부호화부(42)에서 출력한 전송스트림(TS)은 전송 채널을 통하여 양안식 입체 영상 렌더링 장치로 전달된다.On the other hand, the encoder 42 multiplexes the additional depth information and the video encoded in this manner and finally outputs a single transport stream (TS). As described above, the transport stream TS output from the encoder 42 is transmitted to the binocular stereoscopic image rendering apparatus through the transport channel.

한편, 본 발명에 따른 양안식 입체 영상 렌더링 장치는, 외부로부터 수신한 전송스트림(TS)을 역다중화하여 부호화된 영상 및 특정 부호화 계수를 이용하여 부호화된 부가 깊이 정보로 분리한 후, 상기 분리한 영상 및 부가 깊이 정보 각각을 복호화하기 위한 복호화부(43), 상기 복호화부에서 복호화한 부가 깊이 정보를 비등방 확산 방식에 따라 필터링하여 잡음을 제거하고 부가 깊이 정보의 변화율을 조절하기 위한 필터링부(44), 상기 복호화부(43)에서 복호화한 영상 및 상기 필터링부(44)에서 필터링한 부가 깊이 정보를 기설정된 환경 정보(주시거리, 입체감 조절 변수, 카메라 간격 및 초점거리)에 따라 양안식 입체 영상으로 생성하기 위한 렌더링부(45), 및 상기 렌더링부에서 생성한 양안식 입체 영상을 좌측 영상 및 우측 영 상으로 분리하여 출력시키기 위한 출력부(46)를 포함한다.Meanwhile, the binocular stereoscopic image rendering apparatus according to the present invention demultiplexes a transport stream (TS) received from the outside and separates the encoded image and the additional depth information encoded using a specific coding coefficient, and then separates the separated stream. A decoder 43 for decoding each of the image and the additional depth information, and a filtering unit 44 for removing noise and adjusting the rate of change of the additional depth information by filtering the additional depth information decoded by the decoder according to an anisotropic diffusion method. ), The binocular stereoscopic image based on predetermined environment information (a viewing distance, a 3D control parameter, a camera interval, and a focal length) of the image decoded by the decoder 43 and the additional depth information filtered by the filter 44. Rendering unit 45 for generating the image, and the binocular stereoscopic image generated by the rendering unit to separate the left image and the right image to output It includes an output unit 46 for.

상기 복호화부(43)는 외부(영상 전송 장치)로부터 전달받은 전송스트림(TS)을 역다중화하여 부가 깊이 정보와 영상으로 분리한 후, 부가 깊이 정보 및 영상을 각각 복호화한다. 이 때, 영상은 일반적인 방식에 의하여 부호화되어 있으나, 부가 깊이 정보는 특정 DCT 계수를 이용하여 부호화되어 있다. The decoder 43 demultiplexes the transport stream TS received from the outside (the image transmission apparatus) to separate the additional depth information and the image, and then decodes the additional depth information and the image, respectively. In this case, the image is encoded by the general scheme, but the additional depth information is encoded by using a specific DCT coefficient.

상기 필터링부(44)는 상기 복호화한 부가 깊이 정보를 하기의 [수학식 5]와 같은 비등방 확산(anisotropic diffusion) 방식에 따라 필터링하여 확산된 부가 깊이 정보 Dk(x,y)를 출력한다.The filtering unit 44 filters the decoded additional depth information according to an anisotropic diffusion method as shown in Equation 5 below, and outputs diffused additional depth information D k (x, y).

Figure 112004058974001-PAT00022
Figure 112004058974001-PAT00022

여기서,

Figure 112004058974001-PAT00023
는 이산화된 부가 깊이 정보를 나타내고,
Figure 112004058974001-PAT00024
는 타임 스텝(Time Step)을 나타내며,
Figure 112004058974001-PAT00025
와
Figure 112004058974001-PAT00026
는 양의 상수,
Figure 112004058974001-PAT00027
는
Figure 112004058974001-PAT00028
를 중심으로 상,하,좌,우 주변 4개의 픽셀과의 부가 깊이 정보 차이를 나타낸다. 일반적으로 영상의 가장자리를 제외하고는 주변 4개의 픽셀을 이용하지만, 그 이상을 이용할 수도 있다. 부가 깊이 정보 필터의 출력 초기치는
Figure 112004058974001-PAT00029
로 설정한다.here,
Figure 112004058974001-PAT00023
Represents discretized additional depth information,
Figure 112004058974001-PAT00024
Represents the time step,
Figure 112004058974001-PAT00025
Wow
Figure 112004058974001-PAT00026
Is a positive constant,
Figure 112004058974001-PAT00027
Is
Figure 112004058974001-PAT00028
The difference in depth information from the four pixels around the top, bottom, left, and right is shown. Typically, four pixels are used around the edge of the image, but more can be used. The output initial value of the side depth filter
Figure 112004058974001-PAT00029
Set to.

상기의 [수학식 3]에서

Figure 112004058974001-PAT00030
은 "edge-stopping" 함수로 불리며, 이것은 부가 깊이 정보의 불연속 경계를 만날 경우 확산이 중지되는 것을 의미한다. 일반적으로 객체 분할과 같은 응용에 적용되는 비등방 확산 필터와 달리 본 발명에서 부가 깊이 정보에 적용하는 필터는 불연속 경계 부분에서도 약한 확산이 발생하도록 K 값을 설정해 주어야 한다.In [Equation 3] above
Figure 112004058974001-PAT00030
Is called the "edge-stopping" function, which means that the diffusion stops when it encounters a discrete boundary of additional depth information. In general, unlike an anisotropic diffusion filter applied to applications such as object segmentation, the filter applied to the additional depth information in the present invention should set a K value such that weak diffusion occurs even at discrete boundaries.

이처럼 비등방 확산(anisotropic diffusion) 방식을 이용하여 필터링하게 되면 부가 깊이 정보를 표현하는데 필요한 데이터 용량을 크게 줄일 수 있다. 다시 말해, 특정 블록의 대표적인 부가 깊이 정보만 이용하더라도 확산 과정을 거친 후에는 원래의 부가 깊이 정보와 유사하게 복원할 수 있다. 따라서, 부가 깊이 정보를 가지는 영상의 전송 장치에서 DCT 계수를 직접 조절하여 부가 깊이 정보의 핵심 정보만 전송하더라도 비등방 확산 방식을 이용하여 원래의 부가 깊이 정보와 유사하게 복원할 수 있다.Filtering using an anisotropic diffusion method can greatly reduce the data capacity required to represent additional depth information. In other words, even if only the representative depth information of a specific block is used, after the spreading process, the original depth information may be restored similarly to the original additional depth information. Therefore, even if only the core information of the additional depth information is transmitted by directly adjusting the DCT coefficient in the image transmission apparatus having the additional depth information, it can be restored similarly to the original additional depth information by using an anisotropic diffusion method.

상기 렌더링부(45)는 상기 필터링부(44)로부터 입력받은 부가 깊이 정보 Dk(x,y)와 복호화부(43)로부터 입력받은 영상을 이용하여 하기의 [수학식 6] 및 [수학식 7]에 따라 양안식 입체 영상을 생성한다.The rendering unit 45 uses Equation 6 and Equation 5 below using the additional depth information D k (x, y) received from the filtering unit 44 and the image received from the decoding unit 43. 7] to create a binocular stereoscopic image.

Figure 112004058974001-PAT00031
Figure 112004058974001-PAT00031

Figure 112004058974001-PAT00032
Figure 112004058974001-PAT00032

여기서,

Figure 112004058974001-PAT00033
는 초점거리,
Figure 112004058974001-PAT00034
는 카메라 간격,
Figure 112004058974001-PAT00035
는 입체감을 조절하는데 필요한 변수,
Figure 112004058974001-PAT00036
는 원영상의 픽셀좌표,
Figure 112004058974001-PAT00037
는 생성된 입체영상의 픽셀좌표이다.here,
Figure 112004058974001-PAT00033
Is the focal length,
Figure 112004058974001-PAT00034
The camera spacing,
Figure 112004058974001-PAT00035
Is the variable needed to control
Figure 112004058974001-PAT00036
Is the pixel coordinate of the original image,
Figure 112004058974001-PAT00037
Is the pixel coordinate of the generated stereoscopic image.

이처럼, 종래의 [수학식 1]과 [수학식 2]와 달리 [수학식 6]과 [수학식 7]을 이용하여 입체 영상을 생성하면 부가 깊이 정보의 불연속 경계에서의 변화율이 약화되어 기존에 렌더링시 발생하는 홀의 개수 및 그 영역이 감소할 뿐만 아니라 불연속 경계를 중심으로 홀이 좌우측으로 분산된다. 따라서, 렌더링 후에 주변 픽셀의 정보를 이용하여 홀을 채우더라도 화질이 보다 양호하다.As such, unlike conventional [Equation 1] and [Equation 2], when the stereoscopic image is generated using [Equation 6] and [Equation 7], the rate of change at the discontinuous boundary of the additional depth information is weakened. Not only is the number and area of holes generated during rendering reduced, but the holes are distributed to the left and right about the discontinuous boundary. Therefore, even if the hole is filled using the information of the surrounding pixels after rendering, the image quality is better.

상기 출력부(46)는 상기 렌더링부(45)에서 생성한 양안 입체 영상, 즉 좌측 영상과 우측 영상을 출력시킨다.The output unit 46 outputs a binocular stereoscopic image, that is, a left image and a right image, generated by the renderer 45.

본 발명의 전체적인 동작 과정에 대하여서 도 5 및 도 6을 참조하여 한번 살펴보기로 한다.The overall operation of the present invention will be described with reference to FIGS. 5 and 6.

도 5는 본 발명에 따른 양안식 입체 영상 전송 방법의 일실시예 흐름도이다.5 is a flowchart illustrating an embodiment of a binocular stereoscopic image transmission method according to the present invention.

먼저, "ZCam"과 같은 3차원 카메라 또는 컴퓨터 그래픽 툴 등을 이용하여 기준 영상 및 부가 깊이 정보를 획득한다(501). 즉, 기준 영상 및 부가 깊이 정보는 카메라로 직접 획득할 수도 있고, 또는 컴퓨터 그래픽 소프트웨어를 이용하여 획득할 수도 있다.First, a reference image and additional depth information are acquired using a 3D camera or a computer graphic tool such as "ZCam" (501). That is, the reference image and the additional depth information may be obtained directly by a camera or may be obtained by using computer graphics software.

이후, 상기 "501" 과정에서 획득한 영상을 부호화(502)하는 한편, 외부로부터 입력받은 변수에 따라 깊이정보 압축을 위한 DCT의 계수를 선택한다(503). 그리고, 상기 "501" 과정에서 획득한 부가 깊이 정보를 상기 선택한 DCT 계수를 이용하여 부호화한다(504).Thereafter, the image acquired in step 501 is encoded 502, and a coefficient of DCT for depth information compression is selected according to a variable received from the outside (503). In operation 504, the additional depth information acquired in step 501 is encoded using the selected DCT coefficient.

그리고, 상기 부호화된 기준 영상 및 상기 특정 부호화 계수를 이용하여 부호화된 부가 깊이 정보를 다중화하여 하나의 전송스트림(TS)으로 출력시킨다(505).In operation 505, the additional depth information encoded by using the encoded reference image and the specific coding coefficients is multiplexed and output as one transport stream TS.

이와 같이 출력된 전송스트림(TS)은 입체 영상을 렌더링하기 위한 장치로 입력되며, 그 과정은 도 6에 도시된 바와 같다.The transport stream TS output as described above is input to an apparatus for rendering a stereoscopic image, and a process thereof is illustrated in FIG. 6.

도 6은 본 발명에 따른 양안식 입체 영상 렌더링 장치의 일실시예 흐름도이다.6 is a flowchart illustrating an embodiment of a binocular stereoscopic image rendering apparatus according to the present invention.

먼저, 외부로부터 수신한 전송스트림(TS)을 역다중화하여 부호화된 기준 영상 및 특정 부호화 계수를 이용하여 부호화된 부가 깊이 정보로 분리한다(601).First, the transport stream TS received from the outside is demultiplexed and separated into reference depth coded and additional depth information encoded using a specific coding coefficient (601).

그리고, 상기 분리한 기준 영상 스트림을 복호화(602)하는 한편, 상기 분리한 부가 깊이 정보 스트림을 복호화한다(603). 그리고, 상기 복호화한 부가 깊이 정보를 상기의 [수학식 5]를 이용하여 비등방 확산 방식에 따라 필터링하여 잡음을 제거하고 부가 깊이 정보의 변화율을 조절한다(604).The separated reference video stream is decoded (602), and the separated additional depth information stream is decoded (603). The decoded additional depth information is filtered according to the anisotropic diffusion method using Equation 5 above to remove noise and to adjust the rate of change of the additional depth information (604).

이후, 상기 복호화된 기준 영상 및 상기 필터링된 부가 깊이 정보를 이용하여 양안식 입체 영상을 생성하되, 상기의 [수학식 6]과 [수학식 7]을 이용하여 생성한다(605).Thereafter, a binocular stereoscopic image is generated using the decoded reference image and the filtered additional depth information, and is generated using Equation 6 and Equation 7 above (605).

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같이 본 발명은, 3차원 카메라 등에서 영상 및 그에 따른 부가 깊이 정보를 획득하여, 영상은 종래 방식대로 부호화하고, 부가 깊이 정보는 외부로부터 선택받은 DCT 계수를 이용하여 부호화한 후, 상기 부호화한 영상과 부가 깊이 정보를 다중화하여 하나의 전송스트림(TS)으로 전송함으로써, 부가 깊이 정보 전송에 필요한 비트율을 크게 감소시킬 수 있는 효과가 있다.As described above, the present invention obtains an image and additional depth information according to a 3D camera and the like, encodes the image according to a conventional method, encodes the additional depth information using a DCT coefficient selected from the outside, and then encodes the image. By multiplexing the image and the additional depth information and transmitting the same in a transport stream (TS), the bit rate required for transmitting the additional depth information can be greatly reduced.

또한, 본 발명은, 양안식 입체 영상을 렌더링하기 위한 장치에서 외부로부터 수신한 전송스트림(TS)을 역다중화하여 기준 영상과 부가 깊이 정보를 분리하여 각각 복호화하고, 상기 복호화한 기준 영상 및 부가 깊이 정보를 이용하여 양안식 입체 영상을 생성하되, 상기 복호화한 부가 깊이 정보를 비등방 확산 방식을 이용하여 전처리(필터링)한 후 양안식 입체 영상을 생성함으로써, 렌더링시 발생하는 홀의 개수 및 그 영역을 감소시켜 화질 및 입체감을 개선할 수 있는 효과가 있다.In addition, the present invention, the apparatus for rendering a binocular stereoscopic image by demultiplexing the transport stream (TS) received from the outside to separate and decode the reference image and the additional depth information, respectively, and decodes the decoded reference image and the additional depth Generates a binocular stereoscopic image using the information, and generates the binocular stereoscopic image after preprocessing (filtering) the decoded additional depth information using an anisotropic diffusion method, thereby reducing the number of holes and the area generated during rendering. It has the effect of improving the image quality and three-dimensional effect.

Claims (8)

양안식 입체 영상 전송 장치에 있어서,In the binocular stereoscopic image transmission device, 양안식 입체 영상을 생성하기 위한 기준 영상 및 부가 깊이 정보를 획득하기 위한 영상 획득 수단; 및Image acquisition means for obtaining a reference image and additional depth information for generating a binocular stereoscopic image; And 상기 영상 획득 수단에서 획득한 영상을 부호화하고, 상기 영상 획득 수단에서 획득한 부가 깊이 정보를 외부로부터 입력받은 변수에 따라 선택한 부호화 계수를 이용하여 부호화한 후, 상기 부호화한 영상 및 부가 깊이 정보를 다중화하여 출력시키기 위한 부호화 수단Encode the image obtained by the image acquisition unit, encode the additional depth information obtained by the image acquisition unit using a coding coefficient selected according to a variable received from the outside, and then multiplex the encoded image and the additional depth information. Encoding means for outputting 을 포함하는 양안식 입체 영상 전송 장치.Binocular stereoscopic image transmission device comprising a. 제 1 항에 있어서,The method of claim 1, 상기 부호화 계수는,The coding coefficient is 이산코사인변환(DCT : Discrete Cosine Transform) 계수인 것을 특징으로 하는 양안식 입체 영상 전송 장치.A binocular stereoscopic image transmission device, characterized in that it is a Discrete Cosine Transform (DCT) coefficient. 제 1 항에 있어서,The method of claim 1, 상기 이산코사인변환(DCT : Discrete Cosine Transform) 계수는,The Discrete Cosine Transform (DCT) coefficient is
Figure 112004058974001-PAT00038
(단,
Figure 112004058974001-PAT00039
는 DCT 계수,
Figure 112004058974001-PAT00040
은 외부로부터 입력받은 변수)
Figure 112004058974001-PAT00038
(only,
Figure 112004058974001-PAT00039
Is the DCT coefficient,
Figure 112004058974001-PAT00040
Is a variable received from outside) 과 같은 식을 만족하는 것을 특징으로 하는 양안식 입체 영상 전송 장치.A binocular stereoscopic image transmission device, characterized in that the following equation is satisfied. 양안식 입체 영상 전송 방법에 있어서,In the binocular stereoscopic image transmission method, 양안식 입체 영상을 생성하기 위한 기준 영상 및 부가 깊이 정보를 획득하는 단계;Obtaining a reference image and additional depth information for generating a binocular stereoscopic image; 상기 획득한 영상을 부호화하는 단계;Encoding the obtained image; 외부로부터 입력받은 변수에 따라 부호화 계수를 선택하는 단계;Selecting an encoding coefficient according to a variable received from an external source; 상기 획득한 부가 깊이 정보를 상기 선택한 부호화 계수를 이용하여 부호화하는 단계; 및Encoding the obtained additional depth information using the selected coding coefficients; And 상기 부호화한 영상 및 부가 깊이 정보를 다중화하여 출력시키는 단계Multiplexing and outputting the encoded image and additional depth information 를 포함하는 양안식 입체 영상 전송 방법.Binocular stereoscopic image transmission method comprising a. 양안식 입체 영상 렌더링 장치에 있어서,In the binocular stereoscopic rendering device, 외부로부터 수신한 전송스트림(TS)을 역다중화하여 부호화된 기준 영상 및 특정 부호화 계수를 이용하여 부호화된 부가 깊이 정보로 분리한 후, 상기 분리한 기준 영상 스트림 및 부가 깊이 정보 스트림 각각을 복호화하기 위한 복호화 수단;Demultiplexing the transport stream TS received from the outside and separating the encoded reference video and additional depth information encoded using a specific coding coefficient, and then decoding the separated reference video stream and the additional depth information stream, respectively. Decoding means; 상기 복호화 수단에서 복호화한 부가 깊이 정보를 비등방 확산 방식에 따라 필터링하여 잡음을 제거하고 부가 깊이 정보의 변화율을 조절하기 위한 필터링 수단;Filtering means for filtering the additional depth information decoded by the decoding means according to an anisotropic spreading method to remove noise and to adjust the rate of change of the additional depth information; 상기 복호화 수단에서 복호화된 영상 및 상기 필터링 수단에서 전처리된 부가 깊이 정보를 이용하여 양안식 입체 영상을 생성하기 위한 렌더링 수단; 및Rendering means for generating a binocular stereoscopic image using the image decoded by the decoding means and the additional depth information preprocessed by the filtering means; And 상기 렌더링 수단에서 생성한 양안식 입체 영상을 좌측 영상 및 우측 영상으로 분리하여 출력시키기 위한 출력 수단Output means for separating and outputting the binocular stereoscopic image generated by the rendering means into a left image and a right image 을 포함하는 양안식 입체 영상 렌더링 장치.Binocular stereoscopic image rendering apparatus comprising a. 제 5 항에 있어서,The method of claim 5, wherein 상기 필터링 수단이 비등방 확산 방식에 따라 필터링하는 과정은,The filtering by the filtering means according to an anisotropic diffusion method,
Figure 112004058974001-PAT00041
Figure 112004058974001-PAT00041
 (단,
Figure 112004058974001-PAT00042
는 이산화된 부가 깊이 정보,
Figure 112004058974001-PAT00043
는 타임 스텝(Time Step),
Figure 112004058974001-PAT00044
와
Figure 112004058974001-PAT00045
는 양의 상수,
Figure 112004058974001-PAT00046
는
Figure 112004058974001-PAT00047
를 중심으로 상,하,좌,우 주변 4개의 픽셀과의 부가 깊이 정보 차이)(only,
Figure 112004058974001-PAT00042
Discretized additional depth information,
Figure 112004058974001-PAT00043
Is the time step,
Figure 112004058974001-PAT00044
Wow
Figure 112004058974001-PAT00045
Is a positive constant,
Figure 112004058974001-PAT00046
Is
Figure 112004058974001-PAT00047
Difference of additional depth information from 4 pixels around up, down, left, and right. 과 같은 식을 이용하여 필터링하는 하는 것을 특징으로 하는 양안식 입체 영상 렌더링 장치.A binocular stereoscopic image rendering device, characterized in that the filtering using the equation such as. 제 5 항 또는 제 6 항에 있어서,The method according to claim 5 or 6, 상기 렌더링 수단이 양안식 입체 영상을 생성하는 과정은,The process of generating the binocular stereoscopic image by the rendering means,
Figure 112004058974001-PAT00048
Figure 112004058974001-PAT00048
 과 같은 식을 이용하여 좌측 영상을 생성하고,Create the left image using the equation
Figure 112004058974001-PAT00049
Figure 112004058974001-PAT00049
 (단,
Figure 112004058974001-PAT00050
는 초점거리,
Figure 112004058974001-PAT00051
는 카메라 간격,
Figure 112004058974001-PAT00052
는 입체감을 조절하는데 필요한 변수,
Figure 112004058974001-PAT00053
는 원영상의 픽셀좌표,
Figure 112004058974001-PAT00054
는 생성된 입체영상의 픽셀좌표)(only,
Figure 112004058974001-PAT00050
Is the focal length,
Figure 112004058974001-PAT00051
The camera spacing,
Figure 112004058974001-PAT00052
Is the variable needed to control
Figure 112004058974001-PAT00053
Is the pixel coordinate of the original image,
Figure 112004058974001-PAT00054
Is the pixel coordinate of the generated stereoscopic image) 과 같은 식을 이용하여 우측 영상을 생성하는 것을 특징으로 하는 양안식 입체 영상 렌더링 장치.A binocular stereoscopic image rendering apparatus, characterized in that to generate a right image by using the following equation. 양안식 입체 영상 렌더링 방법에 있어서,In the binocular stereoscopic rendering method, 외부로부터 수신한 전송스트림(TS)을 역다중화하여 부호화된 영상 및 특정 부호화 계수를 이용하여 부호화된 부가 깊이 정보로 분리하는 단계;Demultiplexing a transport stream (TS) received from the outside and separating the encoded image into additional depth information encoded using an encoded image and a specific encoding coefficient; 상기 분리한 기준 영상 스트림을 복호화하는 단계;Decoding the separated reference video stream; 상기 분리한 부가 깊이 정보 스트림을 복호화한 후 비등방 확산 방식에 따라 필터링하여 잡음을 제거하고 부가 깊이 정보의 변화율을 조절하는 단계; 및Decoding the separated additional depth information stream and filtering according to an anisotropic spreading method to remove noise and to adjust a rate of change of the additional depth information; And 상기 복호화된 기준 영상 및 상기 필터링된 부가 깊이 정보를 이용하여 양안식 입체 영상을 생성하는 단계Generating a binocular stereoscopic image using the decoded reference image and the filtered additional depth information. 를 포함하는 양안식 입체 영상 렌더링 방법.Binocular stereoscopic image rendering method comprising a.
KR1020040105832A 2004-12-14 2004-12-14 Apparatus and its method of transmitting an image associated with a depth and apparatus and its method of rendering stereoscopic images using it KR100656783B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040105832A KR100656783B1 (en) 2004-12-14 2004-12-14 Apparatus and its method of transmitting an image associated with a depth and apparatus and its method of rendering stereoscopic images using it

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040105832A KR100656783B1 (en) 2004-12-14 2004-12-14 Apparatus and its method of transmitting an image associated with a depth and apparatus and its method of rendering stereoscopic images using it

Publications (2)

Publication Number Publication Date
KR20060067238A true KR20060067238A (en) 2006-06-19
KR100656783B1 KR100656783B1 (en) 2006-12-12

Family

ID=37161830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040105832A KR100656783B1 (en) 2004-12-14 2004-12-14 Apparatus and its method of transmitting an image associated with a depth and apparatus and its method of rendering stereoscopic images using it

Country Status (1)

Country Link
KR (1) KR100656783B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120025834A (en) * 2010-09-08 2012-03-16 엘지전자 주식회사 Mobile terminal and method for controlling the same
US8253733B2 (en) 2008-11-06 2012-08-28 Samsung Electronics Co., Ltd. 3D image generation apparatus and method
KR101331052B1 (en) * 2009-12-21 2013-11-22 한국전자통신연구원 Device for improving stereo matching results, method for improving stereo matching results using the device and system for receving stereo matching results
KR101463029B1 (en) * 2008-12-24 2014-11-19 엘지디스플레이 주식회사 Depth data compensating apparatus for three-dimensional image
KR101498535B1 (en) * 2010-07-07 2015-03-04 스피넬라 아이피 홀딩스, 인코포레이티드 System and method for transmission, processing, and rendering of stereoscopic and multi-view images
US9317906B2 (en) 2013-10-22 2016-04-19 Samsung Electronics Co., Ltd. Image processing apparatus and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101917764B1 (en) 2011-09-08 2018-11-14 삼성디스플레이 주식회사 Three dimensional image display device and method of displaying three dimensional image

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055330A (en) 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
KR100585966B1 (en) * 2004-05-21 2006-06-01 한국전자통신연구원 The three dimensional video digital broadcasting transmitter- receiver and its method using Information for three dimensional video

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8253733B2 (en) 2008-11-06 2012-08-28 Samsung Electronics Co., Ltd. 3D image generation apparatus and method
KR101463029B1 (en) * 2008-12-24 2014-11-19 엘지디스플레이 주식회사 Depth data compensating apparatus for three-dimensional image
KR101331052B1 (en) * 2009-12-21 2013-11-22 한국전자통신연구원 Device for improving stereo matching results, method for improving stereo matching results using the device and system for receving stereo matching results
KR101498535B1 (en) * 2010-07-07 2015-03-04 스피넬라 아이피 홀딩스, 인코포레이티드 System and method for transmission, processing, and rendering of stereoscopic and multi-view images
KR20120025834A (en) * 2010-09-08 2012-03-16 엘지전자 주식회사 Mobile terminal and method for controlling the same
US9317906B2 (en) 2013-10-22 2016-04-19 Samsung Electronics Co., Ltd. Image processing apparatus and method

Also Published As

Publication number Publication date
KR100656783B1 (en) 2006-12-12

Similar Documents

Publication Publication Date Title
US11770558B2 (en) Stereoscopic video encoding and decoding methods and apparatus
KR101498535B1 (en) System and method for transmission, processing, and rendering of stereoscopic and multi-view images
KR101345303B1 (en) Dynamic depth control method or apparatus in stereo-view or multiview sequence images
KR101697598B1 (en) Virtual view image synthesis method and apparatus
EP2201784B1 (en) Method and device for processing a depth-map
EP2059053A2 (en) Method and device for generating depth image using reference image, method for encoding/decoding depth image, and encoder or decoder for the same
US20100309287A1 (en) 3D Data Representation, Conveyance, and Use
HUE026534T2 (en) Hybrid video coding supporting intermediate view synthesis
JP4616564B2 (en) Video encoding / decoding device and method using digital watermarking
JP2010512039A (en) Image processing system for processing a combination of image data and depth data
KR20100008649A (en) Method and device for generating depth image using reference image, and method for encoding or decoding the said depth image, and encoder or decoder for the same, and the recording media storing the image generating the said method
JP2004242318A (en) Video block dividing method and its apparatus
KR100656783B1 (en) Apparatus and its method of transmitting an image associated with a depth and apparatus and its method of rendering stereoscopic images using it
Azzari et al. A modified non-local mean inpainting technique for occlusion filling in depth-image-based rendering
Jung et al. Depth image based rendering for 3D data service over T-DMB
EP3203741B1 (en) Video coding
JP7393931B2 (en) Image encoding device and its program, and image decoding device and its program
Vázquez et al. 3D-TV: Coding of disocclusions for 2D+ depth representation of multiview images
CN113785585A (en) Method and apparatus for encoding and decoding multi-view video sequence
Al Boridi et al. Wavelet decomposition-based stereoscopic 3-D video watermarking—A comparative study
EP3035688B1 (en) Encoding and decoding of 3d hdr images using a tapestry representation
Aflaki et al. Depth-aware 3D video filtering targetting multiview video plus depth compression
He et al. A depth image coding method for 3DTV system based on edge enhancement
Lee et al. Virtual view interpolation at arbitrary view points for mixed-resolution 3D videos
Matyunin et al. 3D Video Compression Using Depth Map Propagation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111129

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee