KR20140043027A - Apparatus and method for encoding and decoding using coding information sharing of color image and depth image - Google Patents

Apparatus and method for encoding and decoding using coding information sharing of color image and depth image Download PDF

Info

Publication number
KR20140043027A
KR20140043027A KR1020130112433A KR20130112433A KR20140043027A KR 20140043027 A KR20140043027 A KR 20140043027A KR 1020130112433 A KR1020130112433 A KR 1020130112433A KR 20130112433 A KR20130112433 A KR 20130112433A KR 20140043027 A KR20140043027 A KR 20140043027A
Authority
KR
South Korea
Prior art keywords
information
depth image
encoding
sharing
color image
Prior art date
Application number
KR1020130112433A
Other languages
Korean (ko)
Inventor
오병태
오관정
이재준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2013/008733 priority Critical patent/WO2014051404A1/en
Publication of KR20140043027A publication Critical patent/KR20140043027A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Provided are a coding/decoding apparatus using sharing of coding/decoding information of a color image and a method thereof. The coding apparatus is capable of coding a corresponding depth image by sharing coding information of a color image as coding information of the depth image when a block size of the color image and the depth image is different. [Reference numerals] (110) Comparing unit; (120) Sharing unit; (130) Mode determining unit; (140) Coding unit

Description

컬러 영상과 깊이 영상의 부호화/복호화 정보 공유를 이용한 부호화/복호화 장치 및 방법{APPARATUS AND METHOD FOR ENCODING AND DECODING USING CODING INFORMATION SHARING OF COLOR IMAGE AND DEPTH IMAGE}Coding / decoding apparatus and method using sharing encoding / decoding information of color image and depth image {APPARATUS AND METHOD FOR ENCODING AND DECODING USING CODING INFORMATION SHARING OF COLOR IMAGE AND DEPTH IMAGE}

아래의 설명은 3차원 영상을 위한 부호화/복호화 장치 및 방법에 관한 것이다.The following description relates to an encoding / decoding apparatus and method for a 3D image.

3차원 영상은 컬러 영상과 이에 상응하는 3차원 데이터인 깊이 영상으로 구성된다. 여기서, 깊이 영상은 3차원 멀티뷰 영상 생성을 위한 필수적 부가정보(supplement data)이다. 이러한 컬러 영상 및 깊이 영상은 독립적으로 또는 의존적으로 부호화/복호화될 수 있다.The 3D image is composed of a color image and a depth image corresponding to 3D data. Here, the depth image is supplementary information (supplement data) for generating a 3D multi-view image. These color images and depth images may be encoded / decoded independently or dependently.

일반적으로 컬러 영상은 깊이 영상보다 많은 영상 정보를 담고 있다. 따라서, 깊이 영상보다 컬러 영상을 통해 정교한 모션 예측이 가능하다. 이러한 특성을 이용하여 컬러 영상의 부호화/복호화 정보를 깊이 영상의 부호화/복호화 정보로 공유하는 기술이 요구된다. 이를 통해 깊이 영상을 보다 효율적으로 압축하는 기술 개발이 필요하다.In general, color images contain more image information than depth images. Therefore, accurate motion prediction is possible through color images rather than depth images. There is a need for a technique of sharing encoding / decoding information of a color image with encoding / decoding information of a depth image by using such a characteristic. This requires the development of technology to compress depth images more efficiently.

일 실시예에 따른 부호화 장치는 컬러 영상 및 깊이 영상의 블록 크기를 비교하는 비교부; 상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 공유부; 및 상기 공유된 부호화 정보를 이용하여 상기 깊이 영상을 부호화하는 부호화부를 포함할 수 있다.An encoding apparatus according to an embodiment includes a comparator configured to compare block sizes of a color image and a depth image; A sharing unit configured to share encoding information of the color image as encoding information of the depth image based on the block size comparison result; And an encoder which encodes the depth image by using the shared encoding information.

상기 공유부는, 상기 깊이 영상의 블록 크기가 상기 컬러 영상의 블록 크기보다 작은 경우, 각각의 깊이 영상의 블록에 대응하는 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.When the block size of the depth image is smaller than the block size of the color image, the sharing unit may share encoding information of a color image corresponding to each block of the depth image as encoding information of the depth image.

상기 공유부는, 상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.When the block size of the color image is smaller than the block size of the depth image, the sharing unit assumes that the block of the depth image is divided into the same size as the block of the color image, and corresponds to the block of the depth image. The encoding information of the color image may be shared as the encoding information of the depth image.

상기 공유부는, 상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 컬러 영상의 부호화 정보 그대로를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.When the block size of the color image is smaller than the block size of the depth image, the sharing unit may share the encoded information of the color image as encoding information of the depth image.

부호화 장치는 플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정하는 모드 결정부를 더 포함하고, 상기 공유부는, 상기 부호화 정보 공유 모드에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The encoding apparatus further includes a mode determiner configured to determine whether to apply coded information sharing and a coded information sharing mode by using a flag, wherein the sharer is configured to determine the coded information of the color image based on the coded information sharing mode. It can be shared as encoded information.

상기 공유부는, 인트라 모드로 부호화된 상기 컬러 영상의 블록이 존재하는 경우, 상기 블록과 인접한 블록의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.When there is a block of the color image encoded in the intra mode, the sharing unit may share encoding information of a block adjacent to the block as encoding information of the depth image.

상기 공유부는, 인트라 모드로 부호화된 상기 컬러 영상의 블록이 존재하는 경우, 미리 결정된 값을 상기 깊이 영상의 부호화 정보로 공유할 수 있다.When the block of the color image encoded in the intra mode exists, the sharing unit may share a predetermined value as encoding information of the depth image.

일 실시예에 따른 복호화 장치는 플래그를 이용하여 복호화 정보 공유 적용 여부 및 복호화 정보 공유 모드를 결정하는 모드 결정부; 상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 공유부; 및 상기 공유된 복호화 정보를 이용하여 상기 깊이 영상을 복호화하는 복호화부를 포함할 수 있다.Decoding apparatus according to an embodiment includes a mode determination unit for determining whether to apply the decoded information sharing and the decoding information sharing mode using a flag; A sharing unit configured to share decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode; And a decoder which decodes the depth image by using the shared decoding information.

상기 공유부는, 상기 복호화 정보 공유 모드에 기초하여 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유할 수 있다.The sharing unit assumes that a block of the depth image is divided into the same size as a block of the color image based on the decoding information sharing mode, and decodes the decoding information of each color image corresponding to the block of the depth image. It can be shared as decoding information of the video.

상기 공유부는, 상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보 그대로를 상기 깊이 영상의 복호화 정보로 공유할 수 있다.The sharing unit may share the decoded information of the color image as the decoded information of the depth image based on the decoded information sharing mode.

일 실시예에 따른 부호화 방법은 컬러 영상 및 깊이 영상의 블록 크기를 비교하는 단계; 상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계; 및 상기 공유된 부호화 정보를 이용하여 상기 깊이 영상을 부호화하는 단계를 포함할 수 있다.An encoding method according to an embodiment may include comparing block sizes of a color image and a depth image; Sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result; And encoding the depth image by using the shared encoding information.

상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 상기 깊이 영상의 블록 크기가 상기 컬러 영상의 블록 크기보다 작은 경우, 각각의 깊이 영상의 블록에 대응하는 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The step of sharing encoding information of the color image as encoding information of the depth image based on a result of the block size comparison may include: when the block size of the depth image is smaller than the block size of the color image, blocks of each depth image. The encoding information of the color image corresponding to may be shared as the encoding information of the depth image.

상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The sharing of the encoding information of the color image as the encoding information of the depth image based on the result of the block size comparison may include: when the block size of the color image is smaller than the block size of the depth image, Assuming that the image is divided into the same size as the block of the color image, encoding information of each color image corresponding to the block of the depth image may be shared as encoding information of the depth image.

상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 컬러 영상의 부호화 정보 그대로를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The step of sharing encoding information of the color image as encoding information of the depth image based on a result of the block size comparison may include encoding information of the color image when the block size of the color image is smaller than the block size of the depth image. It can be shared as the encoding information of the depth image.

부호화 방법은 플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정하는 단계를 더 포함하고, 상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 상기 부호화 정보 공유 모드에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The encoding method may further include determining whether to apply encoding information sharing and a encoding information sharing mode using a flag, and sharing encoding information of the color image as encoding information of the depth image based on a result of the block size comparison. The step may share encoding information of the color image as encoding information of the depth image based on the encoding information sharing mode.

상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 인트라 모드로 부호화된 상기 컬러 영상의 블록이 존재하는 경우, 상기 블록과 인접한 블록의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The sharing of the encoding information of the color image as the encoding information of the depth image based on the result of the block size comparison may include encoding information of a block adjacent to the block when the block of the color image encoded in the intra mode exists. May be shared as encoding information of the depth image.

상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 인트라 모드로 부호화된 상기 컬러 영상의 블록이 존재하는 경우, 미리 결정된 값을 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The sharing of the encoding information of the color image as the encoding information of the depth image based on the result of the block size comparison may include determining a predetermined value of the depth image when a block of the color image encoded in the intra mode exists. It can be shared as encoded information.

일 실시예에 따른 복호화 방법은 플래그를 이용하여 복호화 정보 공유 적용 여부 및 복호화 정보 공유 모드를 결정하는 단계; 상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계; 및 상기 공유된 복호화 정보를 이용하여 상기 깊이 영상을 복호화하는 단계를 포함할 수 있다.Decoding method according to an embodiment comprises the steps of determining whether to apply the decoded information sharing and decoding information sharing mode using a flag; Sharing decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode; And decoding the depth image by using the shared decoding information.

상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계는, 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유할 수 있다.The sharing of the decoded information of the color image as the decoded information of the depth image based on the decoded information sharing mode may include: assuming that the block of the depth image is divided into the same size as the block of the color image; Decoding information of each color image corresponding to a block of may be shared as decoding information of the depth image.

상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계는, 상기 컬러 영상의 복호화 정보 그대로를 상기 깊이 영상의 복호화 정보로 공유할 수 있다.The sharing of the decoding information of the color image as the decoding information of the depth image based on the decoding information sharing mode may share the decoding information of the color image as decoding information of the depth image.

도 1은 일 실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 2는 일 실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.
도 3a, 도 3b 및 도 3c는 일 실시예에 따른 컬러 영상 및 깊이 영상의 분할된 상태를 나타낸 도면이다.
도 4는 일 실시예에 따른 부호화 방법을 도시한 플로우차트이다.
도 5는 일 실시예에 따른 복호화 방법을 도시한 플로우차트이다.1 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment.
2 is a block diagram illustrating a detailed configuration of a decoding apparatus according to an embodiment.
3A, 3B, and 3C are diagrams illustrating a divided state of a color image and a depth image, according to an exemplary embodiment.
4 is a flowchart illustrating an encoding method according to an embodiment.
5 is a flowchart illustrating a decoding method according to an embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.1 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment.

도 1을 참조하면, 부호화 장치(100)는 비교부(110), 공유부(120), 모드 결정부(130) 및 부호화부(140)를 포함할 수 있다. 또한, 부호화 장치(100)는 3차원 영상을 구성하는 깊이 영상을 부호화할 수 있다. 여기서, 부호화된 깊이 영상은 비트스트림의 형태로 복호화 장치에 전송될 수 있다.Referring to FIG. 1, the encoding apparatus 100 may include a comparator 110, a sharer 120, a mode determiner 130, and an encoder 140. In addition, the encoding apparatus 100 may encode a depth image constituting a 3D image. Here, the encoded depth image may be transmitted to the decoding apparatus in the form of a bitstream.

비교부(110)는 컬러 영상 및 깊이 영상의 블록 크기를 비교할 수 있다. 일 실시예에 따르면, 깊이 영상은 컬러 영상보다 더 많이 분할(split)될 수 있으며, 이는 깊이 영상의 블록 크기가 컬러 영상의 블록 크기보다 작은 경우일 수 있다. 다른 일 실시예에 따르면, 컬러 영상은 깊이 영상보다 더 많이 분할될 수 있으며, 이는 컬러 영상의 블록 크기가 깊이 영상의 블록 크기보다 작은 경우일 수 있다. 비교부(110)는 비교를 통해 컬러 영상 및 깊이 영상의 블록 크기가 앞서 언급한 경우 중 어느 하나에 속하는지 인식할 수 있다. 여기서, 블록은 영상을 포함하는 코딩 유닛(CU, coding unit)일 수 있다.The comparator 110 may compare the block sizes of the color image and the depth image. According to an embodiment, the depth image may be split more than the color image, which may be the case where the block size of the depth image is smaller than the block size of the color image. According to another embodiment, the color image may be divided more than the depth image, which may be the case where the block size of the color image is smaller than the block size of the depth image. The comparison unit 110 may recognize whether the block size of the color image and the depth image belongs to any one of the aforementioned cases through the comparison. Here, the block may be a coding unit (CU) including an image.

공유부(120)는 블록 크기 비교 결과에 기초하여 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다. 공유부(120)는 컬러 영상 및 깊이 영상의 블록 크기가 같지 않은 경우에도 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다.The sharing unit 120 may share encoding information of the color image as encoding information of the depth image based on the block size comparison result. The sharing unit 120 may share encoding information of the color image as encoding information of the depth image even when the block sizes of the color image and the depth image are not the same.

공유부(120)는 컬러 영상의 블록에 대한 부호화 정보를 해당 깊이 영상의 블록에 대한 부호화 정보로 공유할 수 있다. 일 실시예에 따르면, 공유부(120)는 모드 결정부(130)가 결정하는 부호화 정보 공유 모드에 기초하여 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유하는 방법을 달리하여 수행할 수 있다. 일례로, 공유부(120)는 플래그(flag)를 통해서 부호화 정보 공유 모드를 달리할 수 있다. 또한, 공유부(120)는 플래그를 통해서 부호화 정보 공유 적용을 하지 않을 수 있다.The sharing unit 120 may share the encoding information of the block of the color image as the encoding information of the block of the depth image. According to an exemplary embodiment, the sharing unit 120 may perform a method of sharing encoding information of a color image as encoding information of a depth image based on the encoding information sharing mode determined by the mode determination unit 130. . For example, the sharing unit 120 may change a coding information sharing mode through a flag. In addition, the sharing unit 120 may not apply encoding information sharing through a flag.

일 실시예에 따르면, 부호화 정보는 컬러 영상의 블록에 대응하는 해당 깊이 영상의 블록을 부호화할 수 있는 정보로서, 모션 벡터(motion vector) 및 모드정보를 포함할 수 있다. 여기서, 모션 벡터는 시간축에 대한 벡터이고, 모드 정보는 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유하는 모드를 나타내는 정보일 수 있다.According to an embodiment, the encoding information is information capable of encoding a block of a corresponding depth image corresponding to a block of a color image, and may include a motion vector and mode information. Here, the motion vector may be a vector with respect to the time axis, and the mode information may be information indicating a mode for sharing encoding information of a color image as encoding information of a depth image.

여기서, 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있는 예시적인 방법에 대해서는 도 3a, 도 3b 및 도 3c를 참조하여 후술한다.Here, an exemplary method of sharing encoding information of a color image as encoding information of a depth image will be described below with reference to FIGS. 3A, 3B, and 3C.

모드 결정부(130)는 부호화 정보를 공유하는 모드를 결정할 수 있다. 일 실시예에 따르면, 모드 결정부(130)는 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유하는 방법을 달리 결정할 수 있다. 일례로, 모드 결정부(130)는 플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정할 수 있다. 또한, 모드 결정부(130)는 모드 적용에 의한 예측 오차의 비트율-왜곡 비용(RDO)에 의해 부호화 정보 공유 모드를 최종 결정할 수 있다.The mode determiner 130 may determine a mode for sharing encoding information. According to an embodiment, the mode determiner 130 may differently determine a method of sharing encoding information of a color image as encoding information of a depth image. For example, the mode determiner 130 may determine whether to apply encoded information sharing and a encoded information sharing mode by using a flag. In addition, the mode determiner 130 may finally determine the encoding information sharing mode based on the bit rate-distortion cost (RDO) of the prediction error due to the mode application.

플래그는 별도의 추가적 정보를 포함할 수 있는 데이터일 수 있다. 일 실시예에 따르면, 플래그는 2-bit 데이터일 수 있으며, 이 때, 플래그가 '00'이면 스킵 모드(skip mode)가 적용되고, 플래그가 '01'이면 컬러 영상과 깊이 영상의 블록 크기가 동일한 경우의 부호화 정보 공유 모드가 적용되고, 플래그가 '10'이면 깊이 영상의 블록 크기가 컬러 영상의 블록 크기보다 작은 경우의 부호화 정보 공유 모드가 적용되며, 플래그가 '11'이면 컬러 영상의 블록 크기가 깊이 영상의 블록 크기보다 작은 경우의 부호화 정보 공유 모드가 적용될 수 있다. 스킵 모드에 대해서는 도 3a, 도 3b 및 도 3c를 참조하여 후술한다.The flag may be data that may include additional additional information. According to an embodiment, the flag may be 2-bit data. When the flag is '00', the skip mode is applied. When the flag is '01', the block size of the color image and the depth image is When the flag is '10', the encoding information sharing mode is applied. If the flag is '10', the encoding information sharing mode is applied when the block size of the depth image is smaller than the block size of the color image. The encoding information sharing mode when the size is smaller than the block size of the depth image may be applied. The skip mode will be described later with reference to FIGS. 3A, 3B, and 3C.

부호화부(140)는 공유된 부호화 정보를 이용하여 깊이 영상을 부호화할 수 있다.The encoder 140 may encode the depth image by using the shared encoding information.

이러한 부호화 정보 공유를 이용한 부호화 장치는 깊이 영상의 비트 발생량을 감소시켜 제한된 대역폭으로 인한 제약을 극복할 수 있다.The encoding apparatus using such encoding information sharing may overcome the limitation due to the limited bandwidth by reducing the bit generation amount of the depth image.

도 2는 일 실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.2 is a block diagram illustrating a detailed configuration of a decoding apparatus according to an embodiment.

도 2를 참조하면, 복호화 장치(200)는 모드 결정부(210), 공유부(220) 및 복호화부(230)를 포함할 수 있다. 또한, 복호화 장치(200)는 부호화된 깊이 영상을 복호화할 수 있다.Referring to FIG. 2, the decoding apparatus 200 may include a mode determiner 210, a sharer 220, and a decoder 230. In addition, the decoding apparatus 200 may decode the encoded depth image.

모드 결정부(210)는 복호화 정보를 공유하는 모드를 결정할 수 있다. 일 실시예에 따르면, 모드 결정부(210)는 컬러 영상의 복호화 정보를 깊이 영상의 복호화 정보로 공유하는 방법을 달리 결정할 수 있다. 일례로, 모드 결정부(210)는 플래그를 이용하여 복호화 정보 공유 적용 여부 및 복호화 정보 공유 모드를 결정할 수 있다. 또 다른 일례로, 모드 결정부(210)는 비트스트림 내의 신호 정보를 이용하여 복호화 정보 공유 모드의 적용유무 및 모드 종류를 결정할 수 있다.The mode determiner 210 may determine a mode for sharing decryption information. According to an embodiment, the mode determiner 210 may differently determine a method of sharing the decoded information of the color image as the decoded information of the depth image. For example, the mode determiner 210 may determine whether to apply decoded information sharing and a decoded information sharing mode by using a flag. As another example, the mode determiner 210 may determine whether the decoding information sharing mode is applied and the mode type using the signal information in the bitstream.

일 실시예에 따르면, 복호화 정보는 컬러 영상의 블록에 대응하는 해당 깊이 영상의 블록을 복호화할 수 있는 정보로서, 모션 벡터 및 모드 정보를 포함할 수 있다.According to an embodiment, the decoding information is information capable of decoding a block of the corresponding depth image corresponding to the block of the color image, and may include motion vector and mode information.

공유부(220)는 모드 결정부(210)가 결정하는 복호화 정보 공유 모드에 기초하여 컬러 영상의 복호화 정보를 깊이 영상의 복호화 정보로 공유하는 방법을 달리할 수 있다. 일례로, 공유부(220)는 플래그를 통해서 복호화 정보 공유 모드를 달리할 수 있다. 또한, 공유부(220)는 플래그를 통해서 복호화 정보 공유 적용을 하지 않을 수 있다.The sharing unit 220 may change a method of sharing the decoded information of the color image as the decoded information of the depth image based on the decoded information sharing mode determined by the mode determiner 210. For example, the sharing unit 220 may change the decoding information sharing mode through the flag. Also, the sharing unit 220 may not apply decryption information sharing through a flag.

복호화부(230)는 공유된 복호화 정보를 이용하여 깊이 영상을 복호화할 수 있다.The decoder 230 may decode the depth image by using the shared decoding information.

도 3a, 도 3b 및 도 3c는 일 실시예에 따른 컬러 영상 및 깊이 영상의 분할된 상태를 나타낸 도면이다.3A, 3B, and 3C are diagrams illustrating a divided state of a color image and a depth image, according to an exemplary embodiment.

도 3a에서 볼 수 있듯이, 깊이 영상의 블록 크기는 컬러 영상의 블록 크기보다 작을 수 있다. 이는 깊이 영상이 컬러 영상보다 더 많이 분할된 경우를 의미할 수 있다. 이 때, 부호화 장치는 각각의 깊이 영상의 블록(312~315)에 대응하는 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다. 이를테면, 부호화 장치는 깊이 영상과 같은 위치에 있는 컬러 영상의 부호화 정보를 그대로 공유할 수 있다.As shown in FIG. 3A, the block size of the depth image may be smaller than the block size of the color image. This may mean that the depth image is divided more than the color image. In this case, the encoding apparatus may share encoding information corresponding to blocks 312 to 315 of each depth image as encoding information of the depth image. For example, the encoding apparatus may share encoding information of a color image at the same position as the depth image.

도 3b에서 볼 수 있듯이, 컬러 영상의 블록 크기는 깊이 영상의 블록 크기보다 작을 수 있다. 이는 컬러 영상이 깊이 영상보다 더 많이 분할된 경우를 의미할 수 있다.As shown in FIG. 3B, the block size of the color image may be smaller than the block size of the depth image. This may mean that the color image is divided more than the depth image.

부호화 장치는 깊이 영상의 블록(325)이 컬러 영상의 블록(321~324)과 같은 크기로 분할되어 있다고 가정하고 깊이 영상의 블록(325)에 대응하는 각각의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다. 일 실시예에 따르면, 부호화 장치는 깊이 영상이 컬러 영상과 같이 분할되어 있지 않더라도 컬러 영상의 분할 방법으로 깊이 영상도 분할되었다고 가정할 수 있다. 따라서, 만약 컬러 영상이 분할되지 않았다면 깊이 영상도 분할되지 않았다고 가정할 수 있고, 만약 컬러 영상이 기본 블록에서 4등분으로 분할되었다면 이에 기초하여 깊이 영상도 기본 블록에서 4등분으로 분할되었다고 가정할 수 있다. 그 후, 부호화 장치는 깊이 영상의 블록(325)에 대응하는 각각의 컬러 영상의 블록(321~324)의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다.The encoding apparatus assumes that the block 325 of the depth image is divided into the same size as the blocks 321 to 324 of the color image, and encodes each encoding information corresponding to the block 325 of the depth image as encoding information of the depth image. Can share According to an embodiment, the encoding apparatus may assume that the depth image is also divided by the method of dividing the color image even if the depth image is not divided like the color image. Therefore, if the color image is not divided, it may be assumed that the depth image is not divided. If the color image is divided into four equal parts in the basic block, it may be assumed that the depth image is divided into four equal parts in the basic block. . Thereafter, the encoding apparatus may share encoding information of blocks 321 to 324 of each color image corresponding to block 325 of the depth image as encoding information of the depth image.

또한, 부호화 장치는 컬러 영상의 분할 정도에 상관없이 컬러 영상의 부호화 정보 그대로를 깊이 영상의 부호화 정보로 공유할 수 있다. 이를테면, 부호화 장치는 분할된 컬러 영상의 블록(321~324)의 부호화 정보 중 어느 하나를 대표값으로 정할 수 있다. 이어서, 부호화 장치는 대표값을 깊이 영상의 부호화 정보로 공유할 수 있다.In addition, the encoding apparatus may share the encoded information of the color image as encoding information of the depth image regardless of the degree of division of the color image. For example, the encoding apparatus may set any one of encoding information of blocks 321 to 324 of the divided color image as a representative value. Subsequently, the encoding apparatus may share the representative value as encoding information of the depth image.

또한, 동일한 부호화 정보를 포함하는 컬러 영상의 블록(321~324)이 두 개 이상 존재하는 경우, 부호화 장치는 해당 부호화 정보를 또 다시 공유하지 않고 대신 동일한 부호화 정보가 존재하는 것을 알리는 데이터를 공유할 수 있다. 여기서, 동일한 부호화 정보가 존재하는 것을 알리는 데이터는 스킵 모드임을 나타내는 플래그일 수 있다. 이러한 경우를 스킵 모드라고 하며, 스킵 모드는 부호화 정보의 압축률이 가장 높은 부호화 정보 공유 모드일 수 있다.In addition, when two or more blocks 321 to 324 of the color image including the same encoding information exist, the encoding apparatus does not share the corresponding encoding information again, but instead may share data indicating that the same encoding information exists. Can be. Here, the data indicating that the same encoding information exists may be a flag indicating that the skip mode is present. This case is called a skip mode, and the skip mode may be a coded information sharing mode having the highest compression rate of coded information.

도 3c에서 볼 수 있듯이, 컬러 영상의 블록 크기가 깊이 영상의 블록 크기보다 작은 경우에 있어서 컬러 영상의 블록(331~334)의 부호화 모드가 모두 같지 않을 수 있다. 일 실시예에 따르면, 컬러 영상의 일부 블록(331, 333~334)의 부호화 모드는 인터(inter)일 수 있고, 일부 블록(332)의 부호화 모드는 인트라(intra)일 수 있다. 여기서, 인터 부호화 모드는 시간축상에서 서로 다른 시간의 하나 또는 두 개의 영상을 이용하여 부호화하는 모드일 수 있다. 또한, 인트라 부호화 모드는 부호화하고자 하는 동일 영상 내의 주변화소를 이용하여 부호화하는 모드일 수 있다. 일례로, 주변화소는 해당 화소의 이미 부호화된 좌측 또는 상측 화소일 수 있다. 따라서, 인트라 부호화 모드가 적용된 블록은 모션 벡터 등 화면간 예측을 위한 부호화 정보를 포함하지 않을 수 있다. 여기서, 인트라 부호화 모드는 인트라 모드와 동일하고, 인터 부호화 모드는 인터 모드와 동일할 수 있다.As shown in FIG. 3C, when the block size of the color image is smaller than the block size of the depth image, the encoding modes of the blocks 331 to 334 of the color image may not all be the same. According to an embodiment, encoding modes of some blocks 331, 333 ˜ 334 of the color image may be inter, and encoding modes of some blocks 332 may be intra. Here, the inter encoding mode may be a mode for encoding using one or two images of different times on the time axis. In addition, the intra encoding mode may be a mode for encoding using neighboring pixels in the same image to be encoded. For example, the peripheral pixel may be an already encoded left or upper pixel of the corresponding pixel. Therefore, a block to which an intra encoding mode is applied may not include encoding information for inter prediction, such as a motion vector. Here, the intra encoding mode may be the same as the intra mode, and the inter encoding mode may be the same as the inter mode.

이 때, 부호화 장치는 인트라 모드로 부호화된 컬러 영상의 블록과 인접한 블록의 부호화 정보를 해당 깊이 영상의 부호화 정보로 공유할 수 있다. 또한, 부호화 장치는 미리 결정된 값을 인트라 모드로 부호화된 컬러 영상의 블록에 대응하는 깊이 영상의 부호화 정보로 공유할 수 있다. 또한, 부호화 장치는 인트라 모드로 부호화된 컬러 영상의 블록의 부호화 정보 공유 모드를 삭제하여, 전체 부호화 정보 공유 모드에 할당되는 bit를 줄일 수 있다.In this case, the encoding apparatus may share encoding information of a block of the color image encoded in the intra mode and a block adjacent to the encoding information of the depth image. Also, the encoding apparatus may share the predetermined value as encoding information of the depth image corresponding to the block of the color image encoded in the intra mode. In addition, the encoding apparatus may reduce the bit allocated to the entire encoded information sharing mode by deleting the encoded information sharing mode of the block of the color image encoded in the intra mode.

앞서 언급한 부호화 정보를 공유하는 방법을 각각 하나의 부호화 정보 공유 모드로 지정할 수 있다. 이러한 부호화 정보 공유 모드는 플래그를 이용하여 구분될 수 있다. 여기서, 각각의 부호화 정보 공유 모드에 대응되는 플래그의 데이터 값에 기초하여 우선순위(priority)가 부여될 수 있다. 또한, 플래그를 이용하여 부호화 정보 공유 적용을 하지 않을 수 있다.Each of the aforementioned methods of sharing the encoded information may be designated as one encoded information sharing mode. Such coding information sharing modes may be distinguished using a flag. Here, priority may be given based on a data value of a flag corresponding to each encoded information sharing mode. In addition, coding information sharing may not be applied using a flag.

일 실시예에 따르면, 플래그가 '00'이면 스킵 모드가 적용되고, 플래그가 '01'이면 컬러 영상과 깊이 영상의 블록 크기가 동일한 경우의 부호화 정보 공유 모드가 적용되고, 플래그가 '10'이면 깊이 영상의 블록 크기가 컬러 영상의 블록 크기보다 작은 경우의 부호화 정보 공유 모드가 적용되며, 플래그가 '11'이면 컬러 영상의 블록 크기가 깊이 영상의 블록 크기보다 작은 경우의 부호화 정보 공유 모드가 적용될 수 있다. 이 때, 가장 낮은 플래그의 데이터 값 '00'을 가지는 스킵 모드가 최우선적으로 적용될 수 있다. 만약 스킵 모드가 적용될 수 없을 경우, 그 후 순차적으로 플래그의 데이터 값 '01', '10' 및 '11'에 대응하는 부호화 정보 공유 모드들이 적용될 수 있다. 이러한 우선순위는 플래그의 데이터 값을 변경함으로써 제어될 수 있다.According to an embodiment, if the flag is '00', the skip mode is applied. If the flag is '01', the encoding information sharing mode is applied when the block size of the color image and the depth image is the same, and if the flag is '10'. The encoding information sharing mode is applied when the block size of the depth image is smaller than the block size of the color image. If the flag is '11', the encoding information sharing mode when the block size of the color image is smaller than the block size of the depth image is applied. Can be. In this case, the skip mode having the lowest data value '00' may be applied as a priority. If the skip mode cannot be applied, encoding information sharing modes corresponding to data values '01', '10', and '11' of the flag may be sequentially applied. This priority can be controlled by changing the data value of the flag.

한편, 컬러 영상의 복호화 정보를 깊이 영상의 복호화 정보로 공유할 수 있는 예시적인 방법들도 위에서 설명한 도 3a, 도 3b 및 도 3c의 설명 내용이 마찬가지로 적용될 수 있으므로, 이에 대한 중복되는 설명은 생략한다.Meanwhile, in the exemplary methods of sharing the decoding information of the color image as the decoding information of the depth image, the descriptions of FIGS. 3A, 3B, and 3C described above may be similarly applied, and thus redundant description thereof will be omitted. .

도 4는 일 실시예에 따른 부호화 방법을 도시한 플로우차트이다.4 is a flowchart illustrating an encoding method according to an embodiment.

도 4를 참조하면, 단계(410)에서, 부호화 장치는 컬러 영상 및 깊이 영상의 블록 크기를 비교할 수 있다. 부호화 장치는 비교를 통해 컬러 영상 및 깊이 영상의 상대적 블록 크기를 인식할 수 있다.Referring to FIG. 4, in operation 410, the encoding apparatus may compare block sizes of a color image and a depth image. The encoding apparatus may recognize the relative block sizes of the color image and the depth image through comparison.

단계(420)에서, 부호화 장치는 플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정할 수 있다. 이러한 플래그에 대해서는 도 1 내지 도 3을 통해 이미 상세히 설명한 바 있다.In operation 420, the encoding apparatus may determine whether to apply encoded information sharing and a encoded information sharing mode by using a flag. Such a flag has already been described in detail with reference to FIGS. 1 to 3.

단계(430)에서, 부호화 장치는 블록 크기 비교 결과와 부호화 정보 공유 모드에 기초하여 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다. 부호화 장치는 컬러 영상 및 깊이 영상의 블록 크기가 같지 않은 경우에도 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다. 이러한 부호화 정보 공유 모드에 대해서는 도 3a, 도 3b 및 도 3c를 통해 이미 상세히 설명한 바 있다.In operation 430, the encoding apparatus may share encoding information of the color image as encoding information of the depth image based on the block size comparison result and the encoding information sharing mode. The encoding apparatus may share encoding information of the color image as encoding information of the depth image even when the block sizes of the color image and the depth image are not the same. The encoding information sharing mode has been described in detail with reference to FIGS. 3A, 3B, and 3C.

단계(440)에서, 부호화 장치는 공유된 부호화 정보를 이용하여 깊이 영상을 부호화할 수 있다.In operation 440, the encoding apparatus may encode the depth image using the shared encoding information.

도 5는 일 실시예에 따른 복호화 방법을 도시한 플로우차트이다.5 is a flowchart illustrating a decoding method according to an embodiment.

도 5를 참조하면, 단계(510)에서, 복호화 장치는 플래그 또는 비트스트림 내의 신호 정보를 이용하여 복호화 정보 공유 적용 여부 및 복호화 정보 공유 모드를 결정할 수 있다. 이러한 플래그에 대해서는 도 1 내지 도 3를 통해 설명된 내용이 그대로 적용될 수 있다.Referring to FIG. 5, in operation 510, the decoding apparatus may determine whether to apply decoding information sharing and a decoding information sharing mode by using signal information in a flag or bitstream. For the flag, the content described with reference to FIGS. 1 to 3 may be applied as it is.

단계(520)에서, 복호화 장치는 복호화 정보 공유 모드에 기초하여 컬러 영상의 복호화 정보를 깊이 영상의 복호화 정보로 공유할 수 있다. 이러한 복호화 정보 공유 모드에 대해서는 도 3a, 도 3b 및 도 3c를 통해 설명된 내용이 그대로 적용될 수 있다.In operation 520, the decoding apparatus may share decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode. For the decryption information sharing mode, the contents described with reference to FIGS. 3A, 3B, and 3C may be applied.

단계(530)에서, 복호화 장치는 공유된 복호화 정보를 이용하여 깊이 영상을 복호화할 수 있다.In operation 530, the decoding apparatus may decode the depth image using the shared decoding information.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 부호화 장치
110: 비교부
120: 공유부
130: 모드 결정부
140: 부호화부100: encoding device
110:
120: sharing
130: mode determination unit
140: encoder

Claims (20)

컬러 영상 및 깊이 영상의 블록 크기를 비교하는 비교부;
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 공유부; 및
상기 공유된 부호화 정보를 이용하여 상기 깊이 영상을 부호화하는 부호화부
를 포함하는 부호화 장치.A comparison unit comparing the block sizes of the color image and the depth image;
A sharing unit configured to share encoding information of the color image as encoding information of the depth image based on the block size comparison result; And
An encoder that encodes the depth image using the shared encoding information.
Encoding apparatus comprising a. 제1항에 있어서,
상기 공유부는,
상기 깊이 영상의 블록 크기가 상기 컬러 영상의 블록 크기보다 작은 경우, 각각의 깊이 영상의 블록에 대응하는 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는
부호화 장치.The method of claim 1,
The sharing unit includes:
When the block size of the depth image is smaller than the block size of the color image, the encoding information of the color image corresponding to each block of the depth image is shared as the encoding information of the depth image.
Encoding device. 제1항에 있어서,
상기 공유부는,
상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는
부호화 장치.The method of claim 1,
The sharing unit includes:
When the block size of the color image is smaller than the block size of the depth image, it is assumed that the block of the depth image is divided into the same size as the block of the color image, and that each color image corresponding to the block of the depth image is divided. To share encoding information as encoding information of the depth image.
Encoding device. 제1항에 있어서,
상기 공유부는,
상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 컬러 영상의 부호화 정보 그대로를 상기 깊이 영상의 부호화 정보로 공유하는
부호화 장치.The method of claim 1,
The sharing unit includes:
When the block size of the color image is smaller than the block size of the depth image, the encoding information of the color image is shared as the encoding information of the depth image.
Encoding device. 제1항에 있어서,
플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정하는 모드 결정부
를 더 포함하고,
상기 공유부는,
상기 부호화 정보 공유 모드에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는
부호화 장치.The method of claim 1,
A mode determination unit that determines whether to apply coded information sharing and a coded information sharing mode using a flag.
Further comprising:
The sharing unit includes:
Sharing encoding information of the color image as encoding information of the depth image based on the encoding information sharing mode.
Encoding device. 제1항에 있어서,
상기 공유부는,
인트라 모드로 부호화된 상기 컬러 영상의 블록이 존재하는 경우, 상기 블록과 인접한 블록의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는
부호화 장치.The method of claim 1,
The sharing unit includes:
When there is a block of the color image encoded in the intra mode, encoding information of a block adjacent to the block is shared as encoding information of the depth image.
Encoding device. 제1항에 있어서,
상기 공유부는,
인트라 모드로 부호화된 상기 컬러 영상의 블록이 존재하는 경우, 미리 결정된 값을 상기 깊이 영상의 부호화 정보로 공유하는
부호화 장치.The method of claim 1,
The sharing unit includes:
When a block of the color image encoded in the intra mode exists, a predetermined value is shared as encoding information of the depth image.
Encoding device. 플래그를 이용하여 복호화 정보 공유 적용 여부 및 복호화 정보 공유 모드를 결정하는 모드 결정부;
상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 공유부; 및
상기 공유된 복호화 정보를 이용하여 상기 깊이 영상을 복호화하는 복호화부
를 포함하는 복호화 장치.A mode determination unit determining whether decoded information sharing is applied and a decoded information sharing mode by using a flag;
A sharing unit configured to share decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode; And
A decoder which decodes the depth image by using the shared decoding information
Decoding apparatus comprising a. 제8항에 있어서,
상기 공유부는,
상기 복호화 정보 공유 모드에 기초하여 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는
복호화 장치.9. The method of claim 8,
The sharing unit includes:
Based on the decoding information sharing mode, it is assumed that blocks of the depth image are divided into the same size as the blocks of the color image, and decoding information of each color image corresponding to the blocks of the depth image is decoded information of the depth image. Shared with
Decryption device. 제8항에 있어서,
상기 공유부는,
상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보 그대로를 상기 깊이 영상의 복호화 정보로 공유하는
복호화 장치.9. The method of claim 8,
The sharing unit includes:
Sharing decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode;
Decryption device. 컬러 영상 및 깊이 영상의 블록 크기를 비교하는 단계;
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계; 및
상기 공유된 부호화 정보를 이용하여 상기 깊이 영상을 부호화하는 단계
를 포함하는 부호화 방법.Comparing the block sizes of the color image and the depth image;
Sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result; And
Encoding the depth image using the shared encoding information
/ RTI > 제11항에 있어서,
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,
상기 깊이 영상의 블록 크기가 상기 컬러 영상의 블록 크기보다 작은 경우, 각각의 깊이 영상의 블록에 대응하는 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는
부호화 방법.12. The method of claim 11,
The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
When the block size of the depth image is smaller than the block size of the color image, the encoding information of the color image corresponding to each block of the depth image is shared as the encoding information of the depth image.
Encoding method. 제11항에 있어서,
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,
상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는
부호화 방법.12. The method of claim 11,
The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
When the block size of the color image is smaller than the block size of the depth image, it is assumed that the block of the depth image is divided into the same size as the block of the color image, and that each color image corresponding to the block of the depth image is divided. To share encoding information as encoding information of the depth image.
Encoding method. 제11항에 있어서,
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,
상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 컬러 영상의 부호화 정보 그대로를 상기 깊이 영상의 부호화 정보로 공유하는
부호화 방법.12. The method of claim 11,
The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
When the block size of the color image is smaller than the block size of the depth image, the encoding information of the color image is shared as the encoding information of the depth image.
Encoding method. 제11항에 있어서,
플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정하는 단계
를 더 포함하고,
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,
상기 부호화 정보 공유 모드에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는
부호화 방법.12. The method of claim 11,
Determining whether to apply encoded information sharing and a coded information sharing mode by using a flag;
Further comprising:
The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
Sharing encoding information of the color image as encoding information of the depth image based on the encoding information sharing mode.
Encoding method. 제11항에 있어서,
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,
인트라 모드로 부호호화된 상기 컬러 영상의 블록이 존재하는 경우, 상기 블록과 인접한 블록의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는
부호화 방법.12. The method of claim 11,
The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
When there is a block of the color image coded in the intra mode, the encoding information of the block adjacent to the block is shared as the encoding information of the depth image.
Encoding method. 제11항에 있어서,
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,
인트라 모드로 부호화된 상기 컬러 영상의 블록이 존재하는 경우, 미리 결정된 값을 상기 깊이 영상의 부호화 정보로 공유하는
부호화 방법.12. The method of claim 11,
The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
When a block of the color image encoded in the intra mode exists, a predetermined value is shared as encoding information of the depth image.
Encoding method. 플래그를 이용하여 복호화 정보 공유 적용 여부 및 복호화 정보 공유 모드를 결정하는 단계;
상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계; 및
상기 공유된 복호화 정보를 이용하여 상기 깊이 영상을 복호화하는 단계
를 포함하는 복호화 방법.Determining whether to apply decrypted information sharing and a decrypted information sharing mode by using a flag;
Sharing decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode; And
Decoding the depth image using the shared decoding information
/ RTI > 제18항에 있어서,
상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계는,
상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는
복호화 방법.19. The method of claim 18,
The step of sharing the decoding information of the color image as the decoding information of the depth image based on the decoding information sharing mode,
Assuming that the block of the depth image is divided into the same size as the block of the color image, the decoding information of each color image corresponding to the block of the depth image is shared as the decoding information of the depth image.
Decryption method. 제18항에 있어서,
상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계는,
상기 컬러 영상의 복호화 정보 그대로를 상기 깊이 영상의 복호화 정보로 공유하는
복호화 방법.19. The method of claim 18,
The step of sharing the decoding information of the color image as the decoding information of the depth image based on the decoding information sharing mode,
Sharing the decoded information of the color image as the decoded information of the depth image
Decryption method.
KR1020130112433A 2012-09-28 2013-09-23 Apparatus and method for encoding and decoding using coding information sharing of color image and depth image KR20140043027A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/008733 WO2014051404A1 (en) 2012-09-28 2013-09-30 Encoding/decoding apparatus and encoding/decoding method using sharing of encoding/decoding information of color image and depth image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261707501P 2012-09-28 2012-09-28
US61/707,501 2012-09-28

Publications (1)

Publication Number Publication Date
KR20140043027A true KR20140043027A (en) 2014-04-08

Family

ID=50651863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130112433A KR20140043027A (en) 2012-09-28 2013-09-23 Apparatus and method for encoding and decoding using coding information sharing of color image and depth image

Country Status (1)

Country Link
KR (1) KR20140043027A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11310517B2 (en) 2017-12-07 2022-04-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding using selective information sharing between channels

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11310517B2 (en) 2017-12-07 2022-04-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding using selective information sharing between channels
US11902553B2 (en) 2017-12-07 2024-02-13 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding using selective information sharing between channels

Similar Documents

Publication Publication Date Title
KR20180122947A (en) Method and apparatus to encode and decode two-dimension point clouds
JP2016518761A5 (en) Method, Coding Method, Decoding Method, Apparatus, and Program
KR102216585B1 (en) Encoding apparatus and decoding apparatus for depth map, and encoding method and decoding method
JP6708374B2 (en) Method, device, program, and readable medium for determining a set of modifiable elements within a set of images
US10771792B2 (en) Encoding data arrays
US10896536B2 (en) Providing output surface data to a display in data processing systems
JP2016187228A5 (en) Image encoding apparatus, moving image encoding method, moving image decoding apparatus, moving image decoding method, moving image encoded data, and recording medium
BR112021014671A2 (en) DISCRETE TRANSFORM FROM ADAPTIVE FORMAT COSINE TO GEOMETRIC PARTITIONING WITH AN ADAPTIVE NUMBER OF REGIONS
KR102423880B1 (en) Method for operating of encoder, and method for operating system on chip including encoder
US20190279330A1 (en) Watermark embedding method and apparatus
US10560708B2 (en) Selecting encoding options to use when encoding an array of data elements
KR102296987B1 (en) Apparatus, method and system for hevc decoding image based on distributed system and machine learning model using block chain network
US20200107026A1 (en) Intra-prediction for video coding using perspective information
US20160142723A1 (en) Frame division into subframes
WO2012096174A1 (en) Image coding apparatus, image coding method and program, image decoding apparatus, and image decoding method and program
KR20140043027A (en) Apparatus and method for encoding and decoding using coding information sharing of color image and depth image
KR101693416B1 (en) Method for image encoding and image decoding, and apparatus for image encoding and image decoding
US10694190B2 (en) Processing apparatuses and controlling methods thereof
US10764607B2 (en) Data processing systems for encoding video data
US10218978B2 (en) Data processing systems
US20150229921A1 (en) Intra searches using inaccurate neighboring pixel data
US10038901B2 (en) Image encoding method and image encoding apparatus
KR20140007283A (en) Method and apparatus
CN103327336B (en) A kind of method and apparatus of 3-dimensional encoding
US10924738B2 (en) Selecting encoding options

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application