KR20110055820A - Apparatus and method for compressing 3d video using edge information - Google Patents

Apparatus and method for compressing 3d video using edge information Download PDF

Info

Publication number
KR20110055820A
KR20110055820A KR1020090112402A KR20090112402A KR20110055820A KR 20110055820 A KR20110055820 A KR 20110055820A KR 1020090112402 A KR1020090112402 A KR 1020090112402A KR 20090112402 A KR20090112402 A KR 20090112402A KR 20110055820 A KR20110055820 A KR 20110055820A
Authority
KR
South Korea
Prior art keywords
depth image
block
color image
outline
image
Prior art date
Application number
KR1020090112402A
Other languages
Korean (ko)
Other versions
KR101705025B1 (en
Inventor
이진영
이재준
위호천
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090112402A priority Critical patent/KR101705025B1/en
Publication of KR20110055820A publication Critical patent/KR20110055820A/en
Application granted granted Critical
Publication of KR101705025B1 publication Critical patent/KR101705025B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PURPOSE: A cubic image compression device and method thereof are provided to use contour information. CONSTITUTION: A cubic image compression device(100) includes a contour detection device(130), a quantum parameter offset determining unit(140), a resolution minimizing unit(150), and a depth image encoding unit(170). The contour detection device detects contour information about a decoded color image. The quantum parameter offset determining unit determines quantum parameter offset of a depth image block. The resolution minimizing unit minimized a resolution of a depth image block. The depth image encoding unit encodes the depth image block which a resolution is minimized according to the determined quantum parameter offset.

Description

윤곽선 정보를 이용한 입체 영상 압축 장치 및 방법{APPARATUS AND METHOD FOR COMPRESSING 3D VIDEO USING EDGE INFORMATION}Apparatus and method for stereoscopic image compression using contour information {APPARATUS AND METHOD FOR COMPRESSING 3D VIDEO USING EDGE INFORMATION}

아래의 실시예들은 윤곽선 정보를 이용한 입체 영상 압축 장치 및 방법에 관한 것이다.The following embodiments are related to a stereoscopic image compression apparatus and method using the contour information.

일반적으로 입체 영상은 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 말한다. 이러한 입체 영상은 단순히 좌우 눈에 각각 다른 시점의 영상을 제공하는 스테레오와 달리 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 보는 것과 같은 영상을 제공하기 위해서 여러 시점에서 촬영한 영상들이 필요하다. 하지만 여러 시점에서 찍은 영상은 데이터량이 방대하기 때문에 압축하여 전송하려면 네트워크 인프라, 지상파 대역폭 등을 고려할 때 실현이 거의 불가능하다. In general, a stereoscopic image refers to a 3D image that simultaneously provides shape information about depth and space. Unlike stereo, which provides images of different viewpoints to the left and right eyes, the stereoscopic images need images captured from different viewpoints to provide the same image as seen from different directions whenever the viewer views different views. However, since images taken at various points of view have a large amount of data, it is almost impossible to compress and transmit them in consideration of network infrastructure and terrestrial bandwidth.

본 발명의 일실시예에 따른 윤곽선 정보를 이용한 입체 영상 압축 장치는 복호화된 컬러 영상에 대해 윤곽선 정보를 검출하는 윤곽선 검출기와, 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 양자화 파라미터 오프셋을 결정하는 양자화 파라미터 오프셋 결정기와, 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 해상도를 축소하는 해상도 축소기 및 상기 결정된 양자화 파라미터 오프셋에 따라 상기 해상도가 축소된 깊이 영상 블록을 부호화하는 깊이 영상 인코더를 포함한다.According to an embodiment of the present invention, a 3D image compression apparatus using contour information includes a contour detector for detecting contour information on a decoded color image, and quantization of a depth image block corresponding to a region not including an outline in the color image. A quantization parameter offset determiner for determining a parameter offset, a resolution reducer for reducing the resolution of a depth image block corresponding to an area not including an outline in the color image, and a depth image for which the resolution is reduced according to the determined quantization parameter offset And a depth image encoder for encoding the block.

본 발명의 일측면에서 상기 윤곽선 검출기는 상기 복호화된 컬러 영상 내의 픽셀들을 마스크의 동일 위치에 해당하는 픽셀들과 곱하고 모든 픽셀을 더하는 연산을 X축과 Y축으로 각각 한번씩 수행하며, X축 연산 결과값과 Y축 연산 결과값에 절대값을 취하여 더한 뒤 중심 픽셀에 할당한 값을 기준치와 비교한 결과에 따라 상기 컬러 영상에서 윤곽선을 포함하는지 여부를 검출할 수 있다. In one aspect of the present invention, the contour detector multiplies the pixels in the decoded color image with the pixels corresponding to the same position of the mask and adds all the pixels once for each of the X and Y axes, and an X axis calculation result. The absolute value may be added to the value and the result of the Y-axis calculation, and then the value allocated to the center pixel may be compared with the reference value to detect whether the color image includes an outline.

또한, 본 발명의 일측면에서 상기 결정된 양자화 파라미터 오프셋에 따라 상기 부호화된 깊이 영상 블록을 복호화하는 깊이 영상 디코더를 더 포함하고, 상기 깊이 영상 인코더는 상기 컬러 영상에서 윤곽선이 포함되는 영역에 해당하는 깊이 영상 블록인 경우 왼쪽 위 블록, 오른쪽 위 블록, 왼쪽 아래 블록, 오른쪽 아래 블록 순으로 부호화하고, 상기 깊이 영상 디코더는 상기 컬러 영상에서 윤곽선이 포함되는 영역에 해당하는 상기 부호화된 깊이 영상 블록을 왼쪽 위 블록, 오른쪽 위 블록, 왼쪽 아래 블록, 오른쪽 아래 블록 순으로 복호화할 수 있다. The apparatus may further include a depth image decoder configured to decode the encoded depth image block according to the determined quantization parameter offset. The depth image encoder may further include a depth corresponding to an area including an outline in the color image. In the case of an image block, the upper left block, the upper right block, the lower left block, and the lower right block are encoded in order, and the depth image decoder encodes the encoded depth image block corresponding to an area including an outline in the color image. The blocks can be decoded in the order of the block, the upper right block, the lower left block, and the lower right block.

또한, 본 발명의 일측면에서 상기 양자화 파라미터 오프셋 결정기는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록에 대한 양자화 스텝 크기가 원래 양자화 스텝 크기보다 더 커지도록 상기 양자화 파라미터 오프셋을 결정할 수 있다. Also, in one aspect of the present invention, the quantization parameter offset determiner determines the quantization parameter offset such that the quantization step size for a depth image block corresponding to an area not including an outline in the color image is larger than the original quantization step size. Can be.

또한, 본 발명의 일측면에서 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 복호화된 깊이 영상 블록의 해상도를 확대하는 해상도 확대기를 더 포함할 수 있다. The display apparatus may further include a resolution enlarger for enlarging the resolution of the decoded depth image block corresponding to a region not including an outline in the color image in one aspect of the present invention.

또한, 본 발명의 일실시예에 따른 윤곽선 정보를 이용한 입체 영상 압축 방법은 복호화된 컬러 영상에 대해 윤곽선 정보를 검출하는 단계와, 상기 검출된 윤곽선 정보에 따라 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 양자화 파라미터 오프셋을 결정하는 단계와, 상기 검출된 윤곽선 정보에 따라 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 해상도를 축소하는 단계 및 상기 결정된 양자화 파라미터 오프셋에 따라 상기 해상도가 축소된 깊이 영상 블록을 부호화하는 단계를 포함한다.In addition, the three-dimensional image compression method using the contour information according to an embodiment of the present invention detects the contour information on the decoded color image, and according to the detected contour information in the region that does not include the contour in the color image Determining a quantization parameter offset of a corresponding depth image block, reducing a resolution of a depth image block corresponding to an area not including an outline in a color image according to the detected contour information, and determining the quantization parameter offset And encoding the reduced depth image block.

또한, 본 발명의 일측면에서 상기 윤곽선 정보를 검출하는 단계는 상기 복호화된 컬러 영상 내의 픽셀들을 마스크의 동일 위치에 해당하는 픽셀들과 곱하고 모든 픽셀을 더하는 연산을 X축과 Y축으로 각각 한번씩 수행하며, X축 연산 결과값과 Y축 연산 결과값에 절대값을 취하여 더한 뒤 중심 픽셀에 할당한 값을 기준치와 비교한 결과에 따라 상기 컬러 영상에서 윤곽선이 포함되는지 여부를 검출할 수 있 다.Also, in the aspect of the present invention, the detecting of the contour information may be performed by multiplying pixels in the decoded color image with pixels corresponding to the same position of the mask and adding all the pixels once in the X and Y axes, respectively. The absolute value may be added to the X-axis calculation result and the Y-axis calculation result, and then detected whether the contour is included in the color image according to a result of comparing the value assigned to the center pixel with the reference value.

또한, 본 발명의 일측면에서 상기 결정된 양자화 파라미터 오프셋에 따라 상기 부호화된 깊이 영상 블록을 복호화하는 단계를 더 포함하고, 상기 깊이 영상 블록을 부호화하는 단계는 상기 컬러 영상에서 윤곽선이 포함되는 영역에 해당하는 깊이 영상 블록인 경우 왼쪽 위 블록, 오른쪽 위 블록, 왼쪽 아래 블록, 오른쪽 아래 블록 순으로 부호화하고, 상기 깊이 영상 블록을 복호화하는 단계는 상기 컬러 영상에서 윤곽선이 포함되는 영역에 해당하는 상기 부호화된 깊이 영상 블록을 왼쪽 위 블록, 오른쪽 위 블록, 왼쪽 아래 블록, 오른쪽 아래 블록 순으로 복호화할 수 있다. The method may further include decoding the encoded depth image block according to the determined quantization parameter offset, and the encoding of the depth image block corresponds to an area including an outline in the color image. In the case of the depth image block, the encoding is performed in the order of the upper left block, the upper right block, the lower left block, and the lower right block, and the decoding of the depth image block includes the encoded corresponding to an area including an outline in the color image. The depth image block may be decoded in the order of the upper left block, the upper right block, the lower left block, and the lower right block.

또한, 본 발명의 일측면에서 상기 양자화 파라미터 오프셋을 결정하는 단계는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록에 대한 양자화 스텝 크기를 원래 양자화 스텝 크기보다 더 커지도록 상기 양자화 파라미터 오프셋을 결정할 수 있다. The determining of the quantization parameter offset may include determining the quantization parameter offset such that the quantization step size for a depth image block corresponding to an area not including an outline in the color image is larger than the original quantization step size. The offset can be determined.

또한, 본 발명의 일측면에서 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 복호화된 깊이 영상 블록의 해상도를 확대하는 단계를 더 포함할 수 있다. In addition, the method may further include enlarging the resolution of the decoded depth image block corresponding to an area not including an outline in the color image in one aspect of the present invention.

본 발명의 실시예는 여러 시점의 비디오를 모두 압축 전송하는 대신에 깊이 영상을 만들어 여러 시점의 영상 중에서 일부 시점의 영상과 함께 압축 전송하여 압축 시 발생되는 데이터량을 줄일 수 있다. The embodiment of the present invention can reduce the amount of data generated during compression by compressing and transmitting a depth image by making a depth image instead of compressing and transmitting all the videos of various views.

또한, 본 발명의 실시예는 깊이 영상이 컬러 영상에서 물체가 시청자와 떨어져 있는 거리를 0~255의 값으로 나타낸 영상이기 때문에 그 특징이 컬러 영상과 비슷하여 컬러 영상과 깊이 영상을 압출할 때 서로의 정보를 활용하여 더 좋은 성능을 가질 수 있다. In addition, the embodiment of the present invention, since the depth image is an image representing a distance from the viewer to the viewer in the color image with a value of 0 to 255, the feature is similar to the color image, so that when the color image and the depth image are extruded You can get better performance by utilizing the information of.

또한, 본 발명의 실시예는 깊이 영상 압축 시 복원된 컬러 영상의 윤곽선 정보를 통해 효율적으로 입체 영상을 압축할 수 있다. In addition, the embodiment of the present invention can efficiently compress the stereoscopic image through the contour information of the reconstructed color image during depth image compression.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. Hereinafter, with reference to the contents described in the accompanying drawings will be described in detail an embodiment according to the present invention. However, the present invention is not limited to or limited by the embodiments.

도 1은 본 발명의 일실시예에 따른 입체 영상 압축 장치의 구성을 나타내는 도면이다.1 is a diagram illustrating a configuration of a stereoscopic image compression device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 입체 영상 압축 장치(100)는 컬러 영상 인코더(110), 컬러 영상 디코더(120), 윤곽선 검출기(130), 양자화 파라미터 오프셋 결정기(140), 해상도 축소기(150), 깊이 영상 인코더(160), 깊이 영상 디코더(170), 해상도 확대기(180) 및 영상 합성기(190)를 포함한다.Referring to FIG. 1, the stereoscopic image compression apparatus 100 according to an embodiment of the present invention may include a color image encoder 110, a color image decoder 120, an outline detector 130, a quantization parameter offset determiner 140, The resolution reducer 150, the depth image encoder 160, the depth image decoder 170, the resolution enlarger 180, and the image synthesizer 190 are included.

컬러 영상 인코더(color image encoder)(110)는 컬러 영상을 부호화한다. 상기 컬러 영상은 컬러 영상 인코더(110)를 통해 부호화된다. The color image encoder 110 encodes a color image. The color image is encoded by the color image encoder 110.

컬러 영상 디코더(color image decoder)(120)는 상기 부호화된 컬러 영상을 복호화한다. 상기 부호화된 컬러 영상의 비트 스트림은 컬러 영상 디코더(120)를 통해 다시 복호화된다. A color image decoder 120 decodes the encoded color image. The bit stream of the encoded color image is decoded again through the color image decoder 120.

윤곽선 검출기(edge detector)(130)는 상기 복호화된 컬러 영상에서 여러 종류의 윤곽선 검출 알고리즘을 통해 윤곽선 정보를 검출한다. 윤곽선 검출기(130)는 소벨 마스크 등과 같은 윤곽선 검출 알고리즘을 사용하여 도 5에 도시된 것과 같은 복원된 영상 안의 픽셀들(520)을 마스크의 동일 위치에 해당하는 픽셀들(510)과 곱하고, 상기 곱한 픽셀들을 모두 더한 값을 중심 픽셀(G)에 할당하여 윤곽선 정보(530)을 검출한다. 윤곽선 검출기(130)는 상기 중심 픽셀에 할당된 값의 크기에 따라 상기 픽셀에 윤곽선이 포함되는지 여부를 검출한다. 일례로 윤곽선 검출기(130)는 상기 중심 픽셀에 할당된 값의 크기가 기준치보다 큰 경우 상기 픽셀들이 윤곽선을 포함하는 것으로 판단할 수 있다. 다른 일례로 윤곽선 검출기(130)는 상기 중심 픽셀에 할당된 값의 크기가 기준치보다 작은 경우 상기 픽셀들이 윤곽선을 포함하지 않는 것으로 판단할 수 있다. An edge detector 130 detects edge information from the decoded color image through various edge detection algorithms. The contour detector 130 multiplies the pixels 520 in the reconstructed image as shown in FIG. 5 with the pixels 510 corresponding to the same position of the mask using a contour detection algorithm such as a Sobel mask and the like. The contour information 530 is detected by allocating the sum of the pixels to the center pixel G. The outline detector 130 detects whether the pixel includes an outline according to the size of the value assigned to the center pixel. For example, the contour detector 130 may determine that the pixels include the contour when the size of the value assigned to the center pixel is larger than the reference value. As another example, the contour detector 130 may determine that the pixels do not include the contour when the size of the value assigned to the center pixel is smaller than the reference value.

양자화 파라미터 오프셋 결정기(Quantization Parameter offset determinator)(140)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 양자화 스텝 크기를 결정한다. 즉, 양자화 파라미터 오프셋 결정기(140)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 양자화 스텝 크기를 원래의 양자화 스텝 크기보다 더 크게 결정한다. A quantization parameter offset determinator 140 determines a quantization step size of a depth image block corresponding to an area not including an outline in the color image. That is, the quantization parameter offset determiner 140 determines the quantization step size of the depth image block corresponding to the area not including the contour in the color image, larger than the original quantization step size.

한편, 양자화 파라미터 오프셋 결정기(140)는 상기 컬러 영상에서 윤곽선을 포함하는 영역에 해당하는 깊이 영상 블록의 양자화 스텝 크기를 상기 원래의 양자화 스텝 크기로 결정한다. Meanwhile, the quantization parameter offset determiner 140 determines the quantization step size of the depth image block corresponding to the area including the contour in the color image as the original quantization step size.

해상도 축소기(150)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 해상도를 축소한다. 즉, 해상도 축소기(150)는 윤곽선 검출기(130)에 의해 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 해상도를 축소한다. 일례로 해상도 축소기(150)는 도 4에 도시된 것과 같이 컬러 영상(400)에서 윤곽선(401)을 포함하지 않는 [1], [2], [3], [4]의 블록으로 구성된 제1 블록(410)에 대해 해상도를 수평/수직 방향으로 줄여서 1개의 블록으로 축소할 수 있다. 한편 해상도 축소기(150)는 상기 컬러 영상에서 윤곽선을 포함하는 영역에 해당하는 깊이 영상 블록의 해상도를 축소하지 않는다. 일례로 해상도 축소기(150)는 도 4에 도시된 것과 같이 컬러 영상(400)에서 윤곽선(401)을 포함하는 [5], [6], [7], [8]의 블록으로 구성된 제2 블록(420)에 대해 해상도를 축소하지 않고 그대로 사용한다.The resolution reducer 150 reduces the resolution of a depth image block corresponding to an area not including an outline in the color image. That is, the resolution reducer 150 reduces the resolution of the depth image block corresponding to the area not including the contour in the color image by the contour detector 130. For example, the resolution reducer 150 is formed of blocks of [1], [2], [3], and [4] that do not include the outline 401 in the color image 400 as shown in FIG. The resolution of one block 410 can be reduced to one block by reducing the resolution in the horizontal / vertical direction. Meanwhile, the resolution reducer 150 does not reduce the resolution of the depth image block corresponding to the area including the contour in the color image. For example, the resolution reducer 150 includes a second block composed of blocks [5], [6], [7], and [8] including an outline 401 in the color image 400 as shown in FIG. The block 420 is used as it is without reducing the resolution.

깊이 영상 인코더(160)는 양자화 파라미터 오프셋 결정기(140)에 의해 결정된 양자화 스텝 크기에 따라 해상도 축소기(150)에 의해 결정된 해상도의 깊이 영상을 부호화한다. 즉, 깊이 영상 인코더(160)는 양자화 파라미터 오프셋 결정기(140)에 의해 결정된 양자화 스텝 크기에 따라 해상도 축소기(150)에 의해 결정된 해상도의 깊이 영상을 부호화함으로써 상기 깊이 영상을 압축한다. 일례로 깊이 영상 인코더(160)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당되는 깊이 영상의 블록에 대한 축소된 해상도에 상기 원래 양자화 스텝 크기보다 더 크게 결정된 양자화 스텝 크기로 상기 깊이 영상을 부호화함으로써 상기 깊이 영상을 더 압축할 수 있다. 다른 일례로 깊이 영상 인코더(160)는 상기 컬러 영상에서 윤곽선을 포함하는 영역에 해당되는 깊이 영상의 블록에 대한 원래 해상도에 상기 원래 양자화 스텝 크기로 상기 깊이 영상을 부호화하여 압축한다. The depth image encoder 160 encodes the depth image of the resolution determined by the resolution reducer 150 according to the quantization step size determined by the quantization parameter offset determiner 140. That is, the depth image encoder 160 compresses the depth image by encoding the depth image of the resolution determined by the resolution reducer 150 according to the quantization step size determined by the quantization parameter offset determiner 140. For example, the depth image encoder 160 encodes the depth image with a quantization step size determined to be larger than the original quantization step size at a reduced resolution of a block of the depth image corresponding to an area not including an outline in the color image. As a result, the depth image may be further compressed. In another example, the depth image encoder 160 encodes and compresses the depth image at the original quantization step size at an original resolution of a block of the depth image corresponding to an area including an outline in the color image.

깊이 영상 디코더(depth image decoder)(170)는 깊이 영상 인코더(160)에서 부호화된 깊이 영상을 복호화한다. 즉, 깊이 영상 디코더(170)는 상기 압축된 깊이 영상을 양자화 파라미터 오프셋 결정기(140)에 의해 결정된 양자화 파라미터 오프셋을 참조하여 복원한다. The depth image decoder 170 decodes the depth image encoded by the depth image encoder 160. That is, the depth image decoder 170 reconstructs the compressed depth image by referring to the quantization parameter offset determined by the quantization parameter offset determiner 140.

해상도 확대기(interpolator)(180)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 복호화된 깊이 영상 블록의 해상도를 확대한다. 즉, 해상도 확대기(180)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당되는 깊이 영상의 복호화할 때 원래의 양자화 스텝 크기보다 더 큰 양자화 스텝 크기로 복호화된 깊이 영상의 블록을 원래 크기로 확대하기 위한 보간(interpolation)을 수행한다. 일례로 해상도 확대기(180)는 도 4에 도시된 것과 같이 컬러 영상(400)에서 윤곽선(401)을 포함하지 않는 영역에 해당되는 [1], [2], [3], [4] 4개의 블록으로 구성된 제1 블록(410)을 1개의 블록으로 축소되었던 깊이 영상을 다시 4개의 블록으로 확대하기 위한 보간을 수행할 수 있다. 다른 일례로 해상도 확대기(180)는 도 4에 도시된 것과 같이 컬러 영상(400)에서 윤곽선(401)을 포함하는 영역에 해당되는 [5], [6], [7], [8] 4개의 블록으로 구성된 제2 블록(420)인 경우 해상도 축소기(150)에 의해 해상도가 축소되지 않았기 때문에 상기 복호화된 깊이 영상에 대해 해상도를 확대하지 않고 그대로 출력할 수 있다. The resolution interpolator 180 enlarges the resolution of the decoded depth image block corresponding to an area not including an outline in the color image. That is, the resolution enlarger 180 enlarges the block of the decoded depth image to the original size when the depth image corresponding to the region that does not include the contour in the color image is larger than the original quantization step size. Interpolation is performed. For example, the resolution enlarger 180 may include four [1], [2], [3], and [4] corresponding to areas that do not include the outline 401 in the color image 400 as shown in FIG. The first block 410 composed of blocks may be interpolated to enlarge the depth image, which has been reduced to one block, into four blocks. As another example, the resolution enlarger 180 may include four [5], [6], [7], and [8] corresponding to a region including the outline 401 in the color image 400 as shown in FIG. In the case of the second block 420 composed of blocks, since the resolution is not reduced by the resolution reducer 150, the decoded depth image may be output as it is without expanding the resolution.

영상 합성기(view synetesis)(190)는 복원된 컬러 영상과 복원된 깊이 영상 을 이용하여 임의의 시점 영상을 합성한다. 즉, 영상 합성기(190)는 컬러 영상 디코더(120)로부터 출력되는 상기 복원된 컬러 영상 및 해상도 확대기(180)로부터 출력되는 상기 복원된 깊이 영상을 이용하여 임의의 시점 영상을 합성한다. The image synthesizer 190 synthesizes an arbitrary view image by using the reconstructed color image and the reconstructed depth image. That is, the image synthesizer 190 synthesizes an arbitrary view image by using the reconstructed color image output from the color image decoder 120 and the reconstructed depth image output from the resolution enlarger 180.

이와 같이, 본 발명의 일실시예에 따른 입체 영상 압축 장치(100)는 여러 시점의 비디오를 모두 압축 전송하는 대신에 깊이 영상을 만들어서 여러 시점의 영상 중에서 일부 시점의 영상과 함께 압축 전송함으로써 입체 영상 압축 시 발생하는 데이터량을 줄일 수 있다. As described above, the stereoscopic image compression apparatus 100 according to an exemplary embodiment of the present invention makes a depth image by compressing and transmitting a depth image instead of compressing and transmitting all the videos of various viewpoints, and compresses and transmits the image along with the images of some viewpoints among the images of the various viewpoints. The amount of data generated during compression can be reduced.

또한, 본 발명의 일실시예에 따른 입체 영상 압축 장치(100)는 깊이 영상이 컬러 영상에서 물체가 시청자와 떨어져 있는 거리를 0~255의 값으로 나타내는 영상이기 때문에 그 특징이 컬러 영상과 비슷하므로 컬러 영상과 깊이 영상을 압축할 때 서로의 정보를 잘 활용함으로써 더 좋은 성능을 가질 수 있다. In addition, since the stereoscopic image compression apparatus 100 according to the exemplary embodiment of the present invention has a feature similar to that of the color image because the depth image is an image representing a distance between the object and the viewer in the color image with a value of 0 to 255. When compressing a color image and a depth image, it is possible to have better performance by utilizing each other's information well.

또한 본 발명의 일실시예에 따른 입체 영상 압축 장치(100)는 깊이 영상 압축 시 복원된 컬러 영상의 윤곽선 정보를 이용하여 효율적으로 입체 영상을 압축할 수 있다. In addition, the stereoscopic image compression apparatus 100 according to an embodiment of the present invention may efficiently compress stereoscopic images by using contour information of color images reconstructed during depth image compression.

도 2는 본 발명의 일실시예에 따른 입체 영상 압축 방법에서 깊이 영상 부호화를 위한 동작 흐름도이다.2 is an operation flowchart for depth image encoding in a stereoscopic image compression method according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 단계(210)에서 입체 영상 압축 장치(100)는 부호화된 컬러 영상을 복호화한다. 즉, 단계(210)에서 입체 영상 압축 장치(100)는 컬러 영상 디코더(120)를 통해 상기 부호화된 컬러 영상을 복호화한다. 1 and 2, in operation 210, the 3D image compression apparatus 100 decodes an encoded color image. That is, in operation 210, the stereoscopic image compression apparatus 100 decodes the encoded color image through the color image decoder 120.

단계(220)에서 입체 영상 압축 장치(100)는 상기 복호화된 컬러 영상에서 윤곽선 정보를 검출한다. 즉, 단계(220)에서 입체 영상 압축 장치(100)는 윤곽선 검출기(130)를 통해 상기 복호화된 컬러 영상에 대해 윤곽선 검출 알고리즘을 적용하여 상기 복호화된 컬러 영상으로부터 윤곽선 정보를 검출한다. 일례로 단계(220)에서 윤곽선 검출기(130)는 윤곽선 검출의 가장 대표적인 미분 연산자인 소벨 마스크(sobel mask)를 사용할 경우 도 5에 도시된 것과 같이 상기 복호화된 컬러 영상(520) 안의 픽셀들을 마스크(510)의 동일 위치에 해당하는 픽셀들과 곱하고, 모든 픽셀을 더하는 연산을 통해 윤곽선 정보(530)를 검출할 수 있다. 상기 연산은 상기 복호화된 컬러 영상에서 X축, Y축으로 각각 한번씩 수행되며, X축 연산 시 나온 결과값과 Y축 연산 시 나온 결과값에 절대값을 취하여 더한 뒤 중심 픽셀 G에 할당한다.In operation 220, the 3D image compression apparatus 100 detects contour information from the decoded color image. That is, in operation 220, the stereoscopic image compression apparatus 100 detects contour information from the decoded color image by applying a contour detection algorithm to the decoded color image through the contour detector 130. For example, in operation 220, the contour detector 130 may mask pixels in the decoded color image 520 as illustrated in FIG. 5 when using a sobel mask, which is the most representative derivative operator of contour detection. The contour information 530 may be detected by multiplying the pixels corresponding to the same position of the 510 and adding all the pixels. The operation is performed once on the X-axis and the Y-axis in the decoded color image, respectively, and an absolute value is added to the result value obtained from the X-axis calculation and the result value obtained from the Y-axis calculation, and then assigned to the center pixel G.

단계(230)에서 입체 영상 압축 장치(100)는 상기 검출된 윤곽선 정보를 이용하여 상기 복호화된 컬러 영상에 윤곽선이 있는지 여부를 판단한다. 즉, 단계(230)에서 입체 영상 압축 장치(100)는 윤곽선 검출기(130)를 통해 상기 윤곽선 정보로 연산된 값의 크기가 기준치(threshold)보다 큰지 여부에 따라 상기 복호화된 컬러 영상에 윤곽선이 포함되는지 여부를 판단한다. 일례로 단계(230)에서 입체 영상 압축 장치(100)는 상기 윤곽선 정보로 연산된 값의 크기가 상기 기준치보다 큰 경우, 상기 복호화된 컬러 영상의 픽셀이 윤곽선을 포함하는 것으로 판단할 수 있다. 다른 일례로 단계(230)에서 입체 영상 압축 장치(100)는 상기 윤곽선 정보로 연산된 값의 크기가 상기 기준치보다 크지 않은 경우, 상기 복호화된 컬러 영상의 픽셀이 윤곽선을 포함하지 않은 것으로 판단할 수 있다. In operation 230, the 3D image compression apparatus 100 determines whether the decoded color image has an outline by using the detected contour information. That is, in operation 230, the stereoscopic image compression apparatus 100 includes an outline in the decoded color image according to whether the value of the value calculated from the contour information through the contour detector 130 is greater than a threshold. Determine whether or not. For example, in operation 230, the stereoscopic image compression apparatus 100 may determine that the pixel of the decoded color image includes an outline when the size of the value calculated from the outline information is larger than the reference value. As another example, in operation 230, the stereoscopic image compression apparatus 100 may determine that the pixel of the decoded color image does not include an outline when the value calculated using the outline information is not larger than the reference value. have.

단계(240)에서 입체 영상 압축 장치(100)는 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 해상도를 축소한다. 즉, 단계(240)에서 입체 영상 압축 장치(100)는 윤곽선 검출기(130)에 의해 상기 컬러 영상에서 윤곽선을 포함하지 않는 것으로 판단된 영역에 해당하는 깊이 영상의 블록에 대한 해상도를 해상도 축소기(150)를 통해 축소한다. 일례로 단계(240)에서 입체 영상 압축 장치(100)는 도 4에 도시된 것과 같이 컬러 영상(400)에서 윤곽선(401)을 포함하지 않은 영역에 해당하는 깊이 영상의 블록으로 이루어진 4개의 블록([1], [2], [3], [4])을 수평/수직 방향으로 줄여서 1개의 블록으로 축소할 수 있다. In operation 240, the stereoscopic image compression apparatus 100 reduces the resolution of a depth image block corresponding to an area that does not include an outline in the color image. That is, in operation 240, the stereoscopic image compression apparatus 100 may reduce the resolution of the resolution of the block of the depth image corresponding to the area determined by the contour detector 130 to not include the contour in the color image. To zoom out). For example, in operation 240, the stereoscopic image compression apparatus 100 may include four blocks (blocks) of depth images corresponding to regions that do not include the outline 401 in the color image 400 as illustrated in FIG. 4. [1], [2], [3], and [4]) can be reduced to one block by reducing them in the horizontal / vertical direction.

단계(250)에서 입체 영상 압축 장치(100)는 양자화 파라미터 오프셋을 결정한다. 즉, 단계(250)에서 입체 영상 압축 장치(100)는 윤곽선 검출기(130)에 의해 검출된 상기 컬러 영상에서 윤곽선 유무에 따라 상기 양자화 파라미터 오프셋을 결정한다. In operation 250, the stereoscopic image compression apparatus 100 determines the quantization parameter offset. That is, in operation 250, the stereoscopic image compression apparatus 100 determines the quantization parameter offset according to the presence or absence of a contour in the color image detected by the contour detector 130.

단계(260)에서 입체 영상 압축 장치(100)는 상기 검출된 컬러 영상에서 윤곽선 포함 유무에 따라 깊이 영상을 부호화한다. 즉, 단계(260)에서 입체 영상 압축 장치(100)는 깊이 영상 인코더(160)를 통해 상기 컬러 영상에서 윤곽선 포함 유무에 따라 원래 양자화 스텝 크기 또는 상기 원래 양자화 스텝 크기에 상기 결정된 양자화 파라미터 오프셋이 더해진 양자화 스텝 크기에 의해 상기 깊이 영상을 부호함으로써 상기 깊이 영상을 압축한다. 일례로 단계(260)에서 입체 영상 압축 장치는 상기 컬러 영상에서 윤곽선이 포함되는 영역에 해당하는 깊이 영상을 상기 원래 양자화 스텝 크기로 부호화함으로써 상기 깊이 영상을 압축할 수 있다. In operation 260, the 3D image compression apparatus 100 encodes a depth image according to whether a contour is included in the detected color image. That is, in operation 260, the stereoscopic image compression apparatus 100 adds the determined quantization parameter offset to the original quantization step size or the original quantization step size according to whether the contour is included in the color image through the depth image encoder 160. The depth image is compressed by coding the depth image by a quantization step size. For example, in operation 260, the 3D image compression apparatus may compress the depth image by encoding a depth image corresponding to an area including an outline in the color image to the original quantization step size.

이와 같이, 본 발명에 따른 입체 영상 압축 방법은 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당되는 깊이 영상의 해상도를 축소하고, 원래 양자화 스텝 크기보다 더 크게 하여 압축할 수 있다. As described above, the stereoscopic image compression method according to the present invention can reduce the resolution of the depth image corresponding to the region not including the contour in the color image, and compress it by making it larger than the original quantization step size.

도 3은 본 발명의 일실시예에 따른 입체 영상 압축 방법에서 깊이 영상 복호화를 위한 동작 흐름도이다. 3 is an operation flowchart for depth image decoding in a stereoscopic image compression method according to an embodiment of the present invention.

도 1 및 도 3을 참조하면, 단계(310)에서 입체 영상 압축 장치(100)는 부호화된 컬러 영상을 복호화한다. 즉, 단계(310)에서 입체 영상 압축 장치(100)는 컬러 영상 인코더(110)를 통해 상기 부호화된 컬러 영상의 비트 스트림을 컬러 영상 디코더(120)를 통해 복호화한다. 1 and 3, in operation 310, the 3D image compression apparatus 100 decodes an encoded color image. That is, in operation 310, the stereoscopic image compression apparatus 100 decodes the bit stream of the encoded color image through the color image decoder 120 through the color image encoder 110.

단계(320)에서 입체 영상 압축 장치(100)는 상기 복호화된 컬러 영상에서 윤곽선 정보를 검출한다. 즉, 단계(320)에서 입체 영상 압축 장치(100)는 윤곽선 검출기(130)를 통해 상기 복호화된 컬러 영상에 대해 윤곽선 검출 알고리즘을 적용하여 상기 복호화된 컬러 영상으로부터 윤곽선 정보를 검출한다. 일례로 단계(320)에서 윤곽선 검출기(130)는 윤곽선 검출의 가장 대표적인 미분 연산자인 소벨 마스크(sobel mask)를 사용할 경우 도 5에 도시된 것과 같이 상기 복호화된 컬러 영상 안의 픽셀들을 마스크의 동일 위치에 해당하는 픽셀들과 곱하고, 모든 픽셀을 더하는 연산을 통해 상기 윤곽선 정보를 검출할 수 있다. 상기 연산은 상기 복호화된 컬러 영상에서 X축, Y축으로 각각 한번씩 수행되며, X축 연산 시 나온 결과값과 Y축 연산 시 나온 결과값에 절대값을 취하여 더한 뒤 중심 픽셀 G에 할당한 다.In operation 320, the 3D image compression apparatus 100 detects contour information from the decoded color image. That is, in operation 320, the stereoscopic image compression apparatus 100 detects contour information from the decoded color image by applying a contour detection algorithm to the decoded color image through the contour detector 130. For example, in step 320, when using the sobel mask, which is the most representative derivative operator of contour detection, the contour detector 130 places pixels in the decoded color image at the same position of the mask as shown in FIG. The contour information may be detected by multiplying the corresponding pixels and adding all the pixels. The operation is performed once on the X-axis and the Y-axis in the decoded color image, respectively, and an absolute value is added to the result value obtained from the X-axis calculation and the result value obtained from the Y-axis calculation, and then assigned to the center pixel G.

단계(330)에서 입체 영상 압축 장치(100)는 상기 검출된 윤곽선 정보를 이용하여 상기 복호화된 컬러 영상에 윤곽선이 있는지 여부를 판단한다. 즉, 단계(330)에서 입체 영상 압축 장치(100)는 윤곽선 검출기(130)를 통해 상기 윤곽선 정보로 연산된 값의 크기가 기준치(threshold)보다 큰지 여부에 따라 상기 복호화된 컬러 영상에 윤곽선이 포함되는지 여부를 판단한다. 일례로 단계(330)에서 입체 영상 압축 장치(100)는 상기 윤곽선 정보로 연산된 값의 크기가 상기 기준치보다 큰 경우, 상기 복호화된 컬러 영상의 픽셀이 윤곽선을 포함하는 것으로 판단할 수 있다. 다른 일례로 단계(330)에서 입체 영상 압축 장치(100)는 상기 윤곽선 정보로 연산된 값의 크기가 상기 기준치보다 크지 않은 경우, 상기 복호화된 컬러 영상의 픽셀이 윤곽선을 포함하지 않은 것으로 판단할 수 있다.In operation 330, the 3D image compression apparatus 100 determines whether the decoded color image includes an outline by using the detected contour information. That is, in operation 330, the stereoscopic image compression apparatus 100 includes an outline in the decoded color image according to whether the value of the value calculated as the outline information through the outline detector 130 is greater than a threshold. Determine whether or not. For example, in operation 330, the stereoscopic image compression apparatus 100 may determine that the pixel of the decoded color image includes an outline when the value calculated by the outline information is larger than the reference value. As another example, in operation 330, the stereoscopic image compression apparatus 100 may determine that the pixel of the decoded color image does not include an outline when the value calculated by the outline information is not larger than the reference value. have.

단계(340)에서 깊이 영상 압축 장치(100)는 상기 윤곽선을 포함하지 않는 것으로 판단된 영역에 해당하는 깊이 영상에 대한 양자화 파라미터 오프셋 크기를 결정한다. 즉, 단계(340)에서 입체 영상 압축 장치(100)는 윤곽선 검출기(130)에 의해 검출된 상기 컬러 영상에서 윤곽선이 포함되지 않는 영역에 해당하는 깊이 영상에 대한 양자화 스텝 크기가 상기 원래 양자화 스텝 크기보다 더 커지도록 상기 양자화 파라미터 오프셋을 결정한다. In operation 340, the depth image compression apparatus 100 determines the quantization parameter offset size of the depth image corresponding to the region determined to not include the contour. That is, in operation 340, the stereoscopic image compression apparatus 100 may determine that the quantization step size of the depth image corresponding to the area of the color image detected by the contour detector 130 that does not include the contour is the original quantization step size. The quantization parameter offset is determined to be greater than.

단계(350)에서 깊이 영상 압축 장치(100)는 상기 깊이 영상을 복호화한다. 즉, 단계(350)에서 깊이 영상 압축 장치(100)는 상기 검출된 컬러 영상의 윤곽선 유무에 따라 깊이 영상 디코더(170)를 통해 상기 깊이 영상을 복호화한다. 일례로 단계(350)에서 깊이 영상 압축 장치(100)는 상기 컬러 영상에서 윤곽선이 포함되는 영역에 해당하는 깊이 영상인 경우 상기 원래 양자화 스텝 크기에 의해 부호화되었으므로 상기 원래 양자화 스텝 크기에 따라 상기 깊이 영상을 복호화할 수 있다. In operation 350, the depth image compression apparatus 100 decodes the depth image. That is, in operation 350, the depth image compression apparatus 100 decodes the depth image through the depth image decoder 170 according to whether the detected color image has a contour. For example, in operation 350, when the depth image compression apparatus 100 is a depth image corresponding to an area including an outline in the color image, the depth image compression apparatus 100 is encoded by the original quantization step size, and thus the depth image according to the original quantization step size. Can be decoded.

단계(360)에서 깊이 영상 압축 장치(100)는 상기 복호화된 깊이 영상에 해당하는 복호화된 컬러 영상에서 윤곽선이 있는지 여부를 판단한다. 즉, 단계(360)에서 깊이 영상 압축 장치(100)는 윤곽선 검출기(130)를 통해 검출된 윤곽선 정보로 연산된 값의 크기가 기준치(threshold)보다 큰지 여부에 따라 상기 복호화된 컬러 영상에 윤곽선이 포함되는지 여부를 판단한다. 일례로 단계(360)에서 입체 영상 압축 장치(100)는 상기 윤곽선 정보로 연산된 값의 크기가 상기 기준치보다 큰 경우, 상기 복호화된 깊이 영상에 해당되는 상기 복호화된 컬러 영상의 픽셀이 윤곽선을 포함하는 것으로 판단할 수 있다. 다른 일례로 단계(360)에서 입체 영상 압축 장치(100)는 상기 윤곽선 정보로 연산된 값의 크기가 상기 기준치보다 크지 않은 경우, 상기 복호화된 깊이 영상에 해당되는 상기 복호화된 컬러 영상의 픽셀이 윤곽선을 포함하지 않은 것으로 판단할 수 있다.In operation 360, the depth image compression apparatus 100 determines whether there is an outline in the decoded color image corresponding to the decoded depth image. That is, in operation 360, the depth image compression apparatus 100 may determine that the contour is included in the decoded color image according to whether the value of the value calculated from the contour information detected by the contour detector 130 is greater than a threshold. Determine whether it is included. For example, in operation 360, when the size of the value calculated as the contour information is greater than the reference value, the 3D image compression apparatus 100 includes pixels of the decoded color image corresponding to the decoded depth image. You can judge that. As another example, in operation 360, the stereoscopic image compression apparatus 100 may determine that the pixel of the decoded color image corresponding to the decoded depth image is contoured when the value calculated by the contour information is not greater than the reference value. It can be determined that does not include.

단계(370)에서 입체 영상 압축 장치(100)는 상기 윤곽선을 포함하지 않는 영역에 해당하는 상기 복호화된 깊이 영상 블록의 보간을 수행한다. 즉, 단계(370)에서 입체 영상 압축 장치(100)는 해상도 확대기(180)를 통해 상기 윤곽선을 포함하지 않는 영역에 해당하는 상기 복호화된 깊이 영상의 블록에 대해 보간을 수행함으로써 해상도를 확대한다. 일례로 단계(370)에서 입체 영상 압축 장치(100)는 상기 복호화된 깊이 영상 블록의 보간을 통해 상기 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록이 해상도 축소기(150)에 의해 축소된 해상도만큼 상기 깊이 영상 블록에 대한 해상도를 확대할 수 있다. 예를 들어, 단계(370)에서 입체 영상 압축 장치(100)는 해상도 축소기(150)에 의해 상기 윤곽선을 포함하지 않는 영역에 해당하는 4개의 깊이 영상 블록을 1개의 블록으로 감소시켜 해상도를 '1/4'로 축소시킨 경우, 상기 복호화된 1개의 깊이 영상 블록을 보간하여 4개의 깊이 영상 블록으로 증가시켜 해상도를 확대할 수 있다.In operation 370, the 3D image compression apparatus 100 performs interpolation of the decoded depth image block corresponding to an area not including the contour. That is, in operation 370, the stereoscopic image compression apparatus 100 enlarges the resolution by performing interpolation on the block of the decoded depth image corresponding to the region not including the contour through the resolution enlarger 180. For example, in operation 370, the stereoscopic image compression apparatus 100 may reduce the depth image block corresponding to the region not including the contour by the resolution reducer 150 through interpolation of the decoded depth image block. The resolution of the depth image block may be increased as much. For example, in operation 370, the stereoscopic image compression apparatus 100 may reduce the resolution of the four depth image blocks corresponding to the region not including the outline into one block by using the resolution reducer 150. In the case of a reduction of 1/4 ', the resolution may be increased by interpolating the decoded depth image block to 4 depth image blocks.

이와 같이, 본 발명의 일실시예에 따른 깊이 영상 압축 방법은 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당되는 깊이 영상 블록에 대해 원래 양자화 스텝 크기보다 더 큰 양자화 스텝 크기를 사용하여 복원하고, 상기 복원된 깊이 영상 블록을 원래 블록의 크기로 확대할 수 있다.As described above, the depth image compression method according to an exemplary embodiment of the present invention restores a depth image block corresponding to an area including no contour in a color image by using a quantization step size larger than the original quantization step size. The reconstructed depth image block may be enlarged to the size of the original block.

단계(380)에서 입체 영상 압축 장치(100)는 복원 컬러 영상과 복원 깊이 영상을 이용하여 임의의 시점 영상을 합성한다. 즉, 단계(380)에서 입체 영상 압축 장치(100)는 컬러 영상 디코더(120)를 통해 복호화된 컬러 영상과 깊이 영상 디코더(120)를 통해 복호화된 깊이 영상 또는 해상도 확대기(180)에 의해 상기 해상도가 확대된 깊이 영상을 이용하여 영상 합성기(190)를 통해 임의의 시점 영상을 합성한다. 일례로 상기 윤곽선을 포함하는 깊이 영상인 경우, 단계(380)에서 입체 영상 압축 장치(100)는 컬러 영상 디코더(120)를 통해 복호화된 상기 복원 컬러 영상과 깊이 영상 디코더(120)를 통해 복호화된 상기 복원 깊이 영상을 이용하여 임의의 시점 영상을 합성할 수 있다. 다른 일례로 상기 윤곽선을 포함하지 않는 깊이 영상인 경우, 단계(380)에서 입체 영상 압축 장치(100)는 컬러 영상 디코더(120)를 통해 복호화된 복원 컬러 영상과 해상도 확대기(180)를 통해 상기 해상도가 축소된 깊이 영상을 확대하여 원래 해상도로 복원된 깊이 영상을 이용하여 임의의 시점 영상을 합성할 수 있다.In operation 380, the 3D image compression apparatus 100 synthesizes an arbitrary view image by using the reconstructed color image and the reconstructed depth image. That is, in operation 380, the 3D image compression apparatus 100 may decode the color image decoded by the color image decoder 120 and the depth image or resolution enlarger 180 decoded by the depth image decoder 120. Synthesizes an arbitrary view image through the image synthesizer 190 using the enlarged depth image. For example, in the case of the depth image including the contour, in operation 380, the stereoscopic image compression apparatus 100 is decoded by the reconstructed color image and the depth image decoder 120, which are decoded by the color image decoder 120. An arbitrary viewpoint image may be synthesized using the restored depth image. As another example, when the depth image does not include the contour, in operation 380, the 3D image compression apparatus 100 may use the reconstructed color image and the resolution expander 180 to decode the color image decoder 120. The magnified depth image may be enlarged to synthesize an arbitrary view image by using the depth image reconstructed at the original resolution.

도 4는 윤곽선 유무에 따른 깊이 영상에 대한 압축의 일례를 나타내는 도면이다.4 is a diagram illustrating an example of compression of a depth image with and without an outline.

도 4를 참조하면, 윤곽선 검출기(130)는 컬러 영상(400)에서 윤곽선(401)을 포함하지 않는 영역에 해당하는 [1], [2], [3], [4]의 블록으로 이루어진 제1 블록(410)을 검출할 수 있다. 양자화 파라미터 오프셋 결정기(140)는 컬러 영상(400)에서 윤곽선(401)을 포함하지 않는 영역에 해당하는 제1 블록(410)에 대해 원래 양자화 스텝 크기보다 더 큰 양자화 스텝 크기를 만들기 위해 양자화 파라미터 오프셋을 결정할 수 있다. 해상도 축소기(150)는 컬러 영상(400)에서 윤곽선(401)을 포함하지 않는 4개의 블록으로 구성된 제1 블록(410)을 수평/수직 방향으로 줄여서 1개의 블록으로 해상도를 축소할 수 있다. 깊이 영상 인코더(160)는 상기 해상도가 축소된 윤곽선(401)을 포함하지 않는 영역에 해당하는 깊이 영상을 상기 더 큰 양자화 스텝 크기로 부호화할 수 있다. 깊이 영상 디코더(160)는 상기 더 큰 양자화 스텝 크기로 부호화된 윤곽선(401)을 포함하지 않는 영역에 해당하는 깊이 영상을 상기 더 큰 양자화 스텝 크기에 따라 복호화할 수 있다. 해상도 확대기(180)는 상기 더 큰 양자화 스텝 크기로 복호화된 윤곽선(401)을 포함하지 않는 영역에 해당하는 깊이 영상에 대해 상기 축소된 해상도를 원래 크기로 다시 확대할 수 있다. 영상 합성기(190)는 상기 복호화된 컬러 영상과 상기 원래 크기로 확대 된 윤곽선(401)을 포함하지 않는 영역에 해당하는 복호화된 깊이 영상을 이용하여 임의의 시점 영상을 합성할 수 있다. Referring to FIG. 4, the contour detector 130 is formed of blocks of [1], [2], [3], and [4] corresponding to an area in the color image 400 that does not include the contour 401. One block 410 may be detected. The quantization parameter offset determiner 140 offsets the quantization parameter to make the quantization step size larger than the original quantization step size for the first block 410 corresponding to the area that does not include the contour 401 in the color image 400. Can be determined. The resolution reducer 150 may reduce the resolution to one block by reducing the first block 410 including four blocks not including the outline 401 in the color image 400 in the horizontal / vertical direction. The depth image encoder 160 may encode a depth image corresponding to an area not including the contour 401 whose resolution is reduced to the larger quantization step size. The depth image decoder 160 may decode a depth image corresponding to an area that does not include the contour 401 encoded with the larger quantization step size according to the larger quantization step size. The resolution enlarger 180 may enlarge the reduced resolution back to its original size for a depth image corresponding to an area that does not include the contour 401 decoded with the larger quantization step size. The image synthesizer 190 may synthesize an arbitrary view image by using the decoded depth image corresponding to the decoded color image and an area that does not include the contour 401 enlarged to the original size.

한편, 윤곽선 검출기(130)는 컬러 영상(400)에서 [5], [6], [7], [8]의 블록으로 이루어진 제2 깊이 영상 블록(420)이 윤곽선(401)을 포함하는 것으로 검출할 수 있다. 양자화 파라미터 오프셋 결정기(140)는 컬러 영상(400)에서 윤곽선(401)을 포함하는 영역에 해당하는 제2 깊이 영상 블록(420)에 대해 원래 양자화 스텝 크기로 부호화하여 압축하기 위해 양자화 파라미터 오프셋을 '0'으로 설정할 수 있다. 해상도 축소기(150)는 컬러 영상(400)에서 윤곽선(401)을 포함하는 영역에 해당하는 제2 깊이 영상 블록(420)의 해상도를 축소하지 않는다. 깊이 영상 인코더(160)는 상기 해상도가 축소되지 않은 윤곽선(401)을 포함하는 영역에 해당하는 제2 깊이 영상 블록(420)을 상기 원래 양자화 스텝 크기에 따라 왼쪽 위의 블록[5], 오른쪽 위의 블록[6], 왼쪽 아래의 블록[7], 오른쪽 아래의 블록[8]의 순서로 부호화할 수 있다. 깊이 영상 디코더(170)는 깊이 영상 인코더(160)에 의해 제2 깊이 영상 블록(420)을 상기 원래 양자화 스텝 크기에 따라 왼쪽 위의 블록[5], 오른쪽 위의 블록[6], 왼쪽 아래의 블록[7], 오른쪽 아래의 블록[8]의 순서로 복호화할 수 있다. 해상도 확대기(180)는 제2 깊이 영상 블록(420)인 경우 해상도 축소기(150)에 의해 해상도가 축소되기 않았기 때문에 해상도를 확대할 필요가 없으므로 상기 복호화된 깊이 영상을 그대로 출력할 수 있다. 영상 합성기(190)는 컬러 영상 디코더(120)에 의해 복호화된 컬러 영상과 해상도 확대기(180)로부터 출력되는 상기 복호화된 깊이 영상을 이용하여 임의의 시점 영상을 합성할 수 있다. On the other hand, the contour detector 130 is a second depth image block 420 consisting of blocks of [5], [6], [7], [8] in the color image 400 includes the contour 401 Can be detected. The quantization parameter offset determiner 140 encodes and compresses the quantization parameter offset to the original quantization step size for the second depth image block 420 corresponding to the area including the contour 401 in the color image 400. Can be set to 0 '. The resolution reducer 150 does not reduce the resolution of the second depth image block 420 corresponding to the area including the contour 401 in the color image 400. The depth image encoder 160 selects a second depth image block 420 corresponding to an area including the contour 401 whose resolution is not reduced, according to the original quantization step size. Can be coded in the following order: block [6], lower left block [7], lower right block [8]. The depth image decoder 170 uses the depth image encoder 160 to transfer the second depth image block 420 to the upper left block [5], the upper right block [6], the lower left according to the original quantization step size. The decoding can be performed in the order of the block [7] and the lower right block [8]. In the case of the second depth image block 420, since the resolution is not reduced by the resolution reducer 150, the resolution enlarger 180 does not need to enlarge the resolution, so that the decoded depth image may be output as it is. The image synthesizer 190 may synthesize an arbitrary view image by using the color image decoded by the color image decoder 120 and the decoded depth image output from the resolution expander 180.

이와 같이, 본 발명의 일실시예에 따른 입체 영상 압축 방법은 깊이 영상 압축 시 복원된 컬러 영상의 윤곽선 정보를 이용하여 효율적으로 입체 영상을 압축할 수 있다. As described above, the stereoscopic image compression method according to an embodiment of the present invention can efficiently compress the stereoscopic image by using the contour information of the color image restored during the depth image compression.

한편, 본 발명에 따른 입체 영상 압축 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Meanwhile, the stereoscopic image compression methods according to the present invention may be implemented in the form of program instructions that may be executed by various computer means and may be recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

도 1은 본 발명의 일실시예에 따른 입체 영상 압축 장치의 구성을 나타내는 도면이다.1 is a diagram illustrating a configuration of a stereoscopic image compression device according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 따른 입체 영상 압축 방법에서 깊이 영상 부호화를 위한 흐름도이다.2 is a flowchart for depth image encoding in a stereoscopic image compression method according to an embodiment of the present invention.

도 3은 본 발명의 일실시예에 따른 입체 영상 압축 방법에서 깊이 영상 복호화를 위한 흐름도이다. 3 is a flowchart for depth image decoding in a stereoscopic image compression method according to an embodiment of the present invention.

도 4는 윤곽선 유무에 따른 깊이 영상에 대한 압축의 일례를 나타내는 도면이다.4 is a diagram illustrating an example of compression of a depth image with and without an outline.

도 5는 윤곽선 검출을 위한 마스크 연산 방법의 일례를 나타내는 도면이다.5 is a diagram illustrating an example of a mask calculation method for contour detection.

Claims (11)

복호화된 컬러 영상에 대해 윤곽선 정보를 검출하는 윤곽선 검출기;An outline detector for detecting outline information on the decoded color image; 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 양자화 파라미터 오프셋을 결정하는 양자화 파라미터 오프셋 결정기;A quantization parameter offset determiner for determining a quantization parameter offset of a depth image block corresponding to an area not including an outline in the color image; 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 해상도를 축소하는 해상도 축소기; 및A resolution reducer for reducing the resolution of a depth image block corresponding to an area not including an outline in the color image; And 상기 결정된 양자화 파라미터 오프셋에 따라 상기 해상도가 축소된 깊이 영상 블록을 부호화하는 깊이 영상 인코더A depth image encoder encoding a depth image block of which the resolution is reduced according to the determined quantization parameter offset 를 포함하는, 입체 영상 압축 장치.Included, stereoscopic image compression device. 제1항에 있어서,The method of claim 1, 상기 윤곽선 검출기는,The contour detector, 상기 복호화된 컬러 영상 내의 픽셀들을 마스크의 동일 위치에 해당하는 픽셀들과 곱하고 모든 픽셀을 더하는 연산을 X축과 Y축으로 각각 한번씩 수행하며, X축 연산 결과값과 Y축 연산 결과값에 절대값을 취하여 더한 뒤 중심 픽셀에 할당한 값을 기준치와 비교한 결과에 따라 상기 컬러 영상에서 윤곽선을 포함하는지 여부를 검출하는, 입체 영상 압축 장치.Multiply the pixels in the decoded color image by the pixels corresponding to the same position of the mask and add all the pixels once for each of the X and Y axes, and the absolute value of the X and Y axis calculation results. And adding and then detecting whether an outline is included in the color image according to a result of comparing the value assigned to the center pixel with a reference value. 제1항에 있어서,The method of claim 1, 상기 결정된 양자화 파라미터 오프셋에 따라 상기 부호화된 깊이 영상 블록을 복호화하는 깊이 영상 디코더를 더 포함하고, And a depth image decoder for decoding the encoded depth image block according to the determined quantization parameter offset. 상기 깊이 영상 인코더는,The depth image encoder, 상기 컬러 영상에서 윤곽선이 포함되는 영역에 해당하는 깊이 영상 블록인 경우 왼쪽 위 블록, 오른쪽 위 블록, 왼쪽 아래 블록, 오른쪽 아래 블록 순으로 부호화하고,In the case of a depth image block corresponding to an area including an outline in the color image, an upper left block, an upper right block, a lower left block, and a lower right block are encoded in this order. 상기 깊이 영상 디코더는,The depth image decoder, 상기 컬러 영상에서 윤곽선이 포함되는 영역에 해당하는 상기 부호화된 깊이 영상 블록을 왼쪽 위 블록, 오른쪽 위 블록, 왼쪽 아래 블록, 오른쪽 아래 블록 순으로 복호화하는, 입체 영상 압축 장치.And decoding the encoded depth image block corresponding to an area including an outline in the color image in the order of an upper left block, an upper right block, a lower left block, and a lower right block. 제1항에 있어서,The method of claim 1, 상기 양자화 파라미터 오프셋 결정기는,The quantization parameter offset determiner, 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록에 대한 양자화 스텝 크기가 원래 양자화 스텝 크기보다 더 커지도록 상기 양자화 파라미터 오프셋을 결정하는, 입체 영상 압축 장치.And determining the quantization parameter offset such that a quantization step size for a depth image block corresponding to an area not including an outline in the color image is larger than an original quantization step size. 제1항에 있어서,The method of claim 1, 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 복호화된 깊이 영상 블록의 해상도를 확대하는 해상도 확대기를 더 포함하는, 입체 영상 압축 장치.And a resolution enlarger for enlarging the resolution of the decoded depth image block corresponding to an area not including an outline in the color image. 복호화된 컬러 영상에 대해 윤곽선 정보를 검출하는 단계;Detecting contour information on the decoded color image; 상기 검출된 윤곽선 정보에 따라 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 양자화 파라미터 오프셋을 결정하는 단계;Determining a quantization parameter offset of a depth image block corresponding to an area not including an outline in a color image according to the detected contour information; 상기 검출된 윤곽선 정보에 따라 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록의 해상도를 축소하는 단계; 및Reducing the resolution of a depth image block corresponding to an area not including an outline in a color image according to the detected contour information; And 상기 결정된 양자화 파라미터 오프셋에 따라 상기 해상도가 축소된 깊이 영상 블록을 부호화하는 단계Encoding a depth image block of which the resolution is reduced according to the determined quantization parameter offset 를 포함하는, 입체 영상 압축 방법.Including, stereoscopic image compression method. 제6항에 있어서,The method of claim 6, 상기 윤곽선 정보를 검출하는 단계는,Detecting the contour information, 상기 복호화된 컬러 영상 내의 픽셀들을 마스크의 동일 위치에 해당하는 픽셀들과 곱하고 모든 픽셀을 더하는 연산을 X축과 Y축으로 각각 한번씩 수행하며, X축 연산 결과값과 Y축 연산 결과값에 절대값을 취하여 더한 뒤 중심 픽셀에 할당한 값을 기준치와 비교한 결과에 따라 상기 컬러 영상에서 윤곽선이 포함되는지 여부를 검출하는, 입체 영상 압축 방법.Multiply the pixels in the decoded color image by the pixels corresponding to the same position of the mask and add all the pixels once for each of the X and Y axes, and the absolute value of the X and Y axis calculation results. And adding and then detecting whether an outline is included in the color image according to a result of comparing the value assigned to the center pixel with a reference value. 제6항에 있어서,The method of claim 6, 상기 결정된 양자화 파라미터 오프셋에 따라 상기 부호화된 깊이 영상 블록을 복호화하는 단계를 더 포함하고, Decoding the encoded depth image block according to the determined quantization parameter offset, 상기 깊이 영상 블록을 부호화하는 단계는,The encoding of the depth image block may include: 상기 컬러 영상에서 윤곽선이 포함되는 영역에 해당하는 깊이 영상 블록인 경우 왼쪽 위 블록, 오른쪽 위 블록, 왼쪽 아래 블록, 오른쪽 아래 블록 순으로 부호화하고,In the case of a depth image block corresponding to an area including an outline in the color image, an upper left block, an upper right block, a lower left block, and a lower right block are encoded in this order. 상기 깊이 영상 블록을 복호화하는 단계는,Decoding the depth image block, 상기 컬러 영상에서 윤곽선이 포함되는 영역에 해당하는 상기 부호화된 깊이 영상 블록을 왼쪽 위 블록, 오른쪽 위 블록, 왼쪽 아래 블록, 오른쪽 아래 블록 순으로 복호화하는, 입체 영상 압축 방법.And decoding the encoded depth image block corresponding to an area including an outline in the color image in the order of an upper left block, an upper right block, a lower left block, and a lower right block. 제6항에 있어서,The method of claim 6, 상기 양자화 파라미터 오프셋을 결정하는 단계는,Determining the quantization parameter offset, 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 깊이 영상 블록에 대한 양자화 스텝 크기를 원래 양자화 스텝 크기보다 더 커지도록 상기 양자화 파라미터 오프셋을 결정하는, 입체 영상 압축 방법.And determining the quantization parameter offset such that a quantization step size for a depth image block corresponding to an area including no contour in the color image is larger than an original quantization step size. 제6항에 있어서,The method of claim 6, 상기 컬러 영상에서 윤곽선을 포함하지 않는 영역에 해당하는 복호화된 깊이 영상 블록의 해상도를 확대하는 단계를 더 포함하는, 입체 영상 압축 방법.And enlarging the resolution of the decoded depth image block corresponding to an area not including an outline in the color image. 제6항 내지 제10항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.A computer readable recording medium having recorded thereon a program for performing the method of any one of claims 6 to 10.
KR1020090112402A 2009-11-20 2009-11-20 Apparatus and method for compressing 3d video using edge information KR101705025B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090112402A KR101705025B1 (en) 2009-11-20 2009-11-20 Apparatus and method for compressing 3d video using edge information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090112402A KR101705025B1 (en) 2009-11-20 2009-11-20 Apparatus and method for compressing 3d video using edge information

Publications (2)

Publication Number Publication Date
KR20110055820A true KR20110055820A (en) 2011-05-26
KR101705025B1 KR101705025B1 (en) 2017-02-09

Family

ID=44364485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090112402A KR101705025B1 (en) 2009-11-20 2009-11-20 Apparatus and method for compressing 3d video using edge information

Country Status (1)

Country Link
KR (1) KR101705025B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013027950A2 (en) * 2011-08-25 2013-02-28 삼성전자 주식회사 Apparatus and method for encoding/decoding a depth image using variable quantization parameters
WO2013048105A1 (en) * 2011-09-30 2013-04-04 Lg Innotek Co., Ltd. Apparatus for transmitting image data
KR20140036697A (en) * 2012-09-18 2014-03-26 엘지이노텍 주식회사 Apparatus for transmitting image data
US9111127B2 (en) 2012-06-04 2015-08-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for three-dimensional (3D) image
US9613293B2 (en) 2011-11-29 2017-04-04 Samsung Electronics Co., Ltd. Method and apparatus for converting depth image in high resolution
WO2019015629A1 (en) * 2017-07-19 2019-01-24 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475652B2 (en) 2020-06-30 2022-10-18 Samsung Electronics Co., Ltd. Automatic representation toggling based on depth camera field of view
WO2022005226A1 (en) * 2020-07-01 2022-01-06 Samsung Electronics Co., Ltd. Efficient encoding of depth data across devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053873A (en) * 2006-12-11 2008-06-16 한국전자통신연구원 Method and apparatus of adaptive quantization in video coding to improve 3d image quality
JP2009163716A (en) * 2007-12-10 2009-07-23 Fujifilm Corp Distance image processing apparatus and method, distance image reproducing apparatus and method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080053873A (en) * 2006-12-11 2008-06-16 한국전자통신연구원 Method and apparatus of adaptive quantization in video coding to improve 3d image quality
JP2009163716A (en) * 2007-12-10 2009-07-23 Fujifilm Corp Distance image processing apparatus and method, distance image reproducing apparatus and method, and program

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013027950A2 (en) * 2011-08-25 2013-02-28 삼성전자 주식회사 Apparatus and method for encoding/decoding a depth image using variable quantization parameters
WO2013027950A3 (en) * 2011-08-25 2013-04-25 삼성전자 주식회사 Apparatus and method for encoding/decoding a depth image using variable quantization parameters
WO2013048105A1 (en) * 2011-09-30 2013-04-04 Lg Innotek Co., Ltd. Apparatus for transmitting image data
US9621891B2 (en) 2011-09-30 2017-04-11 Lg Innotek Co., Ltd. Apparatus for transmitting image data
US9613293B2 (en) 2011-11-29 2017-04-04 Samsung Electronics Co., Ltd. Method and apparatus for converting depth image in high resolution
US9111127B2 (en) 2012-06-04 2015-08-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for three-dimensional (3D) image
KR20140036697A (en) * 2012-09-18 2014-03-26 엘지이노텍 주식회사 Apparatus for transmitting image data
WO2019015629A1 (en) * 2017-07-19 2019-01-24 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images
TWI679883B (en) * 2017-07-19 2019-12-11 聯發科技股份有限公司 Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images
US10614609B2 (en) 2017-07-19 2020-04-07 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images
US11049314B2 (en) 2017-07-19 2021-06-29 Mediatek Inc Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images

Also Published As

Publication number Publication date
KR101705025B1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
KR20110055820A (en) Apparatus and method for compressing 3d video using edge information
KR101199498B1 (en) Apparatus for encoding or generation of multi-view video by using a camera parameter, and a method thereof, and a recording medium having a program to implement thereof
US9111376B2 (en) Image processing method and apparatus for 3D video
KR101636539B1 (en) Apparatus and method for compressing three dimensional image
US20150249839A1 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
WO2018199792A1 (en) Apparatuses and methods for encoding and decoding a panoramic video signal
JPWO2014168082A1 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program
KR102004248B1 (en) Method and apparatus for image processing for 3d video
JP2024012332A (en) Method and device for multi-view video decoding, and method and device for image processing
KR102163477B1 (en) Video encoding and decoding method and device using said method
JP2012522285A (en) System and format for encoding data and 3D rendering
KR101910286B1 (en) Method for encording 360-degree video, recording medium and apparatus for performing the method
US10911779B2 (en) Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
US11240512B2 (en) Intra-prediction for video coding using perspective information
JP2024513815A (en) Method, apparatus and computer program for estimating Manhattan layout associated with a scene
KR101357755B1 (en) Apparatus for encoding or generation of multi-view video by using a camera parameter, and a method thereof, and a recording medium having a program to implement thereof
CN112806015A (en) Encoding and decoding of omni-directional video
KR20120131137A (en) Apparatus for encoding or generation of multi-view video by using a camera parameter, and a method thereof, and a recording medium having a program to implement thereof
JP7434667B2 (en) Group-of-pictures-based patch packing for video-based point cloud coding
Mieloch et al. A New Approach to Decoder-Side Depth Estimation in Immersive Video Transmission
US11606556B2 (en) Fast patch generation for video based point cloud coding
US11956478B2 (en) Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
KR101347750B1 (en) Hybrid down sampling method and apparatus, hybrid up sampling method and apparatus and hybrid down/up sampling system
KR20230012558A (en) Fast recoloring for video-based point cloud coding
JP2014099716A (en) Image encoder and control method of the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 4