WO2014051404A1 - Encoding/decoding apparatus and encoding/decoding method using sharing of encoding/decoding information of color image and depth image - Google Patents

Encoding/decoding apparatus and encoding/decoding method using sharing of encoding/decoding information of color image and depth image Download PDF

Info

Publication number
WO2014051404A1
WO2014051404A1 PCT/KR2013/008733 KR2013008733W WO2014051404A1 WO 2014051404 A1 WO2014051404 A1 WO 2014051404A1 KR 2013008733 W KR2013008733 W KR 2013008733W WO 2014051404 A1 WO2014051404 A1 WO 2014051404A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
depth image
encoding
sharing
color image
Prior art date
Application number
PCT/KR2013/008733
Other languages
French (fr)
Korean (ko)
Inventor
오병태
오관정
이재준
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130112433A external-priority patent/KR20140043027A/en
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2014051404A1 publication Critical patent/WO2014051404A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Definitions

  • the following description relates to an encoding / decoding apparatus and method for a 3D image.
  • the 3D image is composed of a color image and a depth image corresponding to 3D data.
  • the depth image is supplementary information (supplement data) for generating a 3D multi-view image.
  • color images contain more image information than depth images. Therefore, accurate motion prediction is possible through color images rather than depth images.
  • An encoding apparatus includes a comparator configured to compare block sizes of a color image and a depth image; A sharing unit configured to share encoding information of the color image as encoding information of the depth image based on the block size comparison result; And an encoder which encodes the depth image by using the shared encoding information.
  • the sharing unit may share encoding information of a color image corresponding to each block of the depth image as encoding information of the depth image.
  • the sharing unit assumes that the block of the depth image is divided into the same size as the block of the color image, and corresponds to the block of the depth image.
  • the encoding information of the color image may be shared as the encoding information of the depth image.
  • the sharing unit may share the encoded information of the color image as encoding information of the depth image.
  • the encoding apparatus further includes a mode determiner configured to determine whether to apply coded information sharing and a coded information sharing mode by using a flag, wherein the sharer is configured to determine the coded information of the color image based on the coded information sharing mode. It can be shared as encoded information.
  • the sharing unit may share encoding information of a block adjacent to the block as encoding information of the depth image when there is at least one block of the color image that does not include encoding information encoded in an intra mode.
  • the sharing unit may share a predetermined value as encoding information of the depth image when there is at least one block of the color image that does not include encoding information encoded in an intra mode.
  • Decoding apparatus includes a mode determination unit for determining whether to apply the decoded information sharing and the decoding information sharing mode using a flag; A sharing unit configured to share decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode; And a decoder which decodes the depth image by using the shared decoding information.
  • the sharing unit assumes that a block of the depth image is divided into the same size as a block of the color image based on the decoding information sharing mode, and decodes the decoding information of each color image corresponding to the block of the depth image. It can be shared as decoding information of the video.
  • the sharing unit may share the decoded information of the color image as the decoded information of the depth image based on the decoded information sharing mode.
  • An encoding method may include comparing block sizes of a color image and a depth image; Sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result; And encoding the depth image by using the shared encoding information.
  • the step of sharing encoding information of the color image as encoding information of the depth image based on a result of the block size comparison may include: when the block size of the depth image is smaller than the block size of the color image, blocks of each depth image.
  • the encoding information of the color image corresponding to may be shared as the encoding information of the depth image.
  • the sharing of the encoding information of the color image as the encoding information of the depth image based on the result of the block size comparison may include: when the block size of the color image is smaller than the block size of the depth image, Assuming that the image is divided into the same size as the block of the color image, encoding information of each color image corresponding to the block of the depth image may be shared as encoding information of the depth image.
  • the step of sharing encoding information of the color image as encoding information of the depth image based on a result of the block size comparison may include encoding information of the color image when the block size of the color image is smaller than the block size of the depth image. It can be shared as the encoding information of the depth image.
  • the encoding method may further include determining whether to apply encoding information sharing and a encoding information sharing mode using a flag, and sharing encoding information of the color image as encoding information of the depth image based on a result of the block size comparison.
  • the step may share encoding information of the color image as encoding information of the depth image based on the encoding information sharing mode.
  • the sharing of the encoding information of the color image as the encoding information of the depth image based on the block size comparison result may include: when there is at least one block of the color image that does not include encoding information encoded in an intra mode.
  • the encoding information of the block adjacent to the block may be shared as the encoding information of the depth image.
  • the sharing of the encoding information of the color image as the encoding information of the depth image based on the block size comparison result may include: when there is at least one block of the color image that does not include encoding information encoded in an intra mode.
  • the predetermined value may be shared as encoding information of the depth image.
  • Decoding method comprises the steps of determining whether to apply the decoded information sharing and decoding information sharing mode using a flag; Sharing decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode; And decoding the depth image by using the shared decoding information.
  • the sharing of the decoded information of the color image as the decoded information of the depth image based on the decoded information sharing mode may include: assuming that the block of the depth image is divided into the same size as the block of the color image; Decoding information of each color image corresponding to a block of may be shared as decoding information of the depth image.
  • the sharing of the decoding information of the color image as the decoding information of the depth image based on the decoding information sharing mode may share the decoding information of the color image as decoding information of the depth image.
  • FIG. 1 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating a detailed configuration of a decoding apparatus according to an embodiment.
  • 3A, 3B, and 3C are diagrams illustrating a divided state of a color image and a depth image, according to an exemplary embodiment.
  • FIG. 4 is a flowchart illustrating an encoding method according to an embodiment.
  • FIG. 5 is a flowchart illustrating a decoding method according to an embodiment.
  • FIG. 1 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment.
  • the encoding apparatus 100 may include a comparator 110, a sharer 120, a mode determiner 130, and an encoder 140.
  • the encoding apparatus 100 may encode a depth image constituting a 3D image.
  • the encoded depth image may be transmitted to the decoding apparatus in the form of a bitstream.
  • the comparator 110 may compare the block sizes of the color image and the depth image.
  • the depth image may be split more than the color image, which may be the case where the block size of the depth image is smaller than the block size of the color image.
  • the color image may be divided more than the depth image, which may be the case where the block size of the color image is smaller than the block size of the depth image.
  • the comparison unit 110 may recognize whether the block size of the color image and the depth image belongs to any one of the aforementioned cases through the comparison.
  • the block may be a coding unit (CU) including an image.
  • the sharing unit 120 may share encoding information of the color image as encoding information of the depth image based on the block size comparison result.
  • the sharing unit 120 may share encoding information of the color image as encoding information of the depth image even when the block sizes of the color image and the depth image are not the same.
  • the sharing unit 120 may share the encoding information of the block of the color image as the encoding information of the block of the depth image.
  • the sharing unit 120 may perform a method of sharing encoding information of a color image as encoding information of a depth image based on the encoding information sharing mode determined by the mode determination unit 130. .
  • the sharing unit 120 may change a coding information sharing mode through a flag.
  • the sharing unit 120 may not apply encoding information sharing through a flag.
  • the encoding information is information capable of encoding a block of a corresponding depth image corresponding to a block of a color image, and may include a motion vector and mode information.
  • the motion vector may be a vector with respect to the time axis
  • the mode information may be information indicating a mode for sharing encoding information of a color image as encoding information of a depth image.
  • the mode determiner 130 may determine a mode for sharing encoding information. According to an embodiment, the mode determiner 130 may differently determine a method of sharing encoding information of a color image as encoding information of a depth image. For example, the mode determiner 130 may determine whether the encoded information sharing mode is applied and the type of the encoded information sharing mode through the flag. In addition, the mode determiner 130 may finally determine the encoding information sharing mode based on the bit rate-distortion cost (RDO) of the prediction error due to the mode application.
  • RDO bit rate-distortion cost
  • the flag may be data that may include additional additional information.
  • the flag may be 2-bit data.
  • the skip mode is applied.
  • the flag is '01'
  • the block size of the color image and the depth image is
  • the encoding information sharing mode is applied. If the flag is '10', the encoding information sharing mode is applied when the block size of the depth image is smaller than the block size of the color image.
  • the encoding information sharing mode when the size is smaller than the block size of the depth image may be applied.
  • the skip mode will be described later with reference to FIGS. 3A, 3B, and 3C.
  • the encoder 140 may encode the depth image by using the shared encoding information.
  • the encoding apparatus using such encoding information sharing may overcome the limitation due to the limited bandwidth by reducing the bit generation amount of the depth image.
  • FIG. 2 is a block diagram illustrating a detailed configuration of a decoding apparatus according to an embodiment.
  • the decoding apparatus 200 may include a mode determiner 210, a sharer 220, and a decoder 230. In addition, the decoding apparatus 200 may decode the encoded depth image.
  • the mode determiner 210 may determine a mode for sharing decryption information. According to an embodiment, the mode determiner 210 may differently determine a method of sharing the decoded information of the color image as the decoded information of the depth image. For example, the mode determiner 210 may determine whether to apply the decryption information sharing mode and the type of the decryption information sharing mode using the flag. As another example, the mode determiner 210 may determine whether the decoding information sharing mode is applied and the mode type using the signal information in the bitstream.
  • the decoding information is information capable of decoding a block of the corresponding depth image corresponding to the block of the color image, and may include motion vector and mode information.
  • the sharing unit 220 may change a method of sharing the decoded information of the color image as the decoded information of the depth image based on the decoded information sharing mode determined by the mode determiner 210. For example, the sharing unit 220 may change the decoding information sharing mode through the flag. Also, the sharing unit 220 may not apply decryption information sharing through a flag.
  • the decoder 230 may decode the depth image by using the shared decoding information.
  • 3A, 3B, and 3C are diagrams illustrating a divided state of a color image and a depth image, according to an exemplary embodiment.
  • the block size of the depth image may be smaller than the block size of the color image. This may mean that the depth image is divided more than the color image.
  • the encoding apparatus may share encoding information corresponding to blocks 312 to 315 of each depth image as encoding information of the depth image. For example, the encoding apparatus may share encoding information of a color image at the same position as the depth image.
  • the block size of the color image may be smaller than the block size of the depth image. This may mean that the color image is divided more than the depth image.
  • the encoding apparatus assumes that the block 325 of the depth image is divided into the same size as the blocks 321 to 324 of the color image, and encodes each encoding information corresponding to the block 325 of the depth image as encoding information of the depth image.
  • the encoding apparatus may assume that the depth image is also divided by the method of dividing the color image even if the depth image is not divided like the color image. Therefore, if the color image is not divided, it may be assumed that the depth image is not divided. If the color image is divided into four equal parts in the basic block, it may be assumed that the depth image is divided into four equal parts in the basic block. . Thereafter, the encoding apparatus may share encoding information of blocks 321 to 324 of each color image corresponding to block 325 of the depth image as encoding information of the depth image.
  • the encoding apparatus may share the encoded information of the color image as encoding information of the depth image regardless of the degree of division of the color image.
  • the encoding apparatus may set any one of encoding information of blocks 321 to 324 of the divided color image as a representative value. Subsequently, the encoding apparatus may share the representative value as encoding information of the depth image.
  • the encoding apparatus does not share the corresponding encoding information again, but instead may share data indicating that the same encoding information exists.
  • the data indicating that the same encoding information exists may be a flag indicating that the skip mode is present. This case is called a skip mode, and the skip mode may be a coded information sharing mode having the highest compression rate of coded information.
  • the encoding modes of the blocks 331 to 334 of the color image may not all be the same.
  • encoding modes of some blocks 331, 333 ⁇ 334 of the color image may be inter, and encoding modes of some blocks 332 may be intra.
  • the inter encoding mode may be a mode for encoding using one or two images of different times on the time axis.
  • the intra encoding mode may be a mode for encoding using neighboring pixels in the same image to be encoded.
  • the peripheral pixel may be an already encoded left or upper pixel of the corresponding pixel.
  • a block to which an intra encoding mode is applied may not include encoding information for inter prediction, such as a motion vector.
  • the intra encoding mode may be the same as the intra mode
  • the inter encoding mode may be the same as the inter mode.
  • the encoding apparatus may share encoding information of a block that does not include encoding information of the color image encoded in the intra mode and adjacent blocks as encoding information of the corresponding depth image.
  • the encoding apparatus may share the predetermined value as encoding information of the depth image corresponding to the block that does not include encoding information of the color image encoded in the intra mode.
  • the encoding apparatus may reduce the bit allocated to the entire encoding information sharing mode by deleting the encoding information sharing mode of the block that does not include the encoding information of the color image encoded in the intra mode.
  • Each of the aforementioned methods of sharing the encoded information may be designated as one encoded information sharing mode.
  • Such coding information sharing modes may be distinguished using a flag.
  • priority may be given based on a data value of a flag corresponding to each encoded information sharing mode.
  • coding information sharing may not be applied using a flag.
  • the skip mode is applied. If the flag is '01', the encoding information sharing mode is applied when the block size of the color image and the depth image is the same, and if the flag is '10'. The encoding information sharing mode is applied when the block size of the depth image is smaller than the block size of the color image. If the flag is '11', the encoding information sharing mode when the block size of the color image is smaller than the block size of the depth image is applied. Can be. In this case, the skip mode having the lowest data value '00' may be applied as a priority. If the skip mode cannot be applied, encoding information sharing modes corresponding to data values '01', '10', and '11' of the flag may be sequentially applied. This priority can be controlled by changing the data value of the flag.
  • FIG. 4 is a flowchart illustrating an encoding method according to an embodiment.
  • the encoding apparatus may compare block sizes of a color image and a depth image.
  • the encoding apparatus may recognize the relative block sizes of the color image and the depth image through comparison.
  • the encoding apparatus may determine whether to apply encoded information sharing and a encoded information sharing mode by using a flag. Such a flag has already been described in detail with reference to FIGS. 1 to 3.
  • the encoding apparatus may share encoding information of the color image as encoding information of the depth image based on the block size comparison result and the encoding information sharing mode.
  • the encoding apparatus may share encoding information of the color image as encoding information of the depth image even when the block sizes of the color image and the depth image are not the same.
  • the encoding information sharing mode has been described in detail with reference to FIGS. 3A, 3B, and 3C.
  • the encoding apparatus may encode the depth image using the shared encoding information.
  • FIG. 5 is a flowchart illustrating a decoding method according to an embodiment.
  • the decoding apparatus may determine whether the decoding information sharing mode is applied and the type of the decoding information sharing mode by using signal information in a flag or bitstream. For the flag, the content described with reference to FIGS. 1 to 3 may be applied as it is.
  • the decoding apparatus may share decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode.
  • the decryption information sharing mode the contents described with reference to FIGS. 3A, 3B, and 3C may be applied.
  • the decoding apparatus may decode the depth image using the shared decoding information.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include.
  • the processing device may include a plurality of processors or one processor and one controller.
  • other processing configurations are possible, such as parallel processors.
  • the software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device.
  • Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted.
  • the software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable recording media.
  • the method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Abstract

Provided are an encoding/decoding apparatus and an encoding/decoding method using sharing of encoding/decoding information of a color image. The encoding apparatus may share, if a block size of the color image and the block size of a depth image are not the same, the encoding information of the color image as the encoding information of the depth image so as to encode the relevant depth image.

Description

컬러 영상과 깊이 영상의 부호화/복호화 정보 공유를 이용한 부호화/복호화 장치 및 방법Encoding / Decoding Apparatus and Method Using Sharing Encoding / Decoding Information of Color Image and Depth Image
아래의 설명은 3차원 영상을 위한 부호화/복호화 장치 및 방법에 관한 것이다.The following description relates to an encoding / decoding apparatus and method for a 3D image.
3차원 영상은 컬러 영상과 이에 상응하는 3차원 데이터인 깊이 영상으로 구성된다. 여기서, 깊이 영상은 3차원 멀티뷰 영상 생성을 위한 필수적 부가정보(supplement data)이다. 이러한 컬러 영상 및 깊이 영상은 독립적으로 또는 의존적으로 부호화/복호화될 수 있다.The 3D image is composed of a color image and a depth image corresponding to 3D data. Here, the depth image is supplementary information (supplement data) for generating a 3D multi-view image. These color images and depth images may be encoded / decoded independently or dependently.
일반적으로 컬러 영상은 깊이 영상보다 많은 영상 정보를 담고 있다. 따라서, 깊이 영상보다 컬러 영상을 통해 정교한 모션 예측이 가능하다. 이러한 특성을 이용하여 컬러 영상의 부호화/복호화 정보를 깊이 영상의 부호화/복호화 정보로 공유하는 기술이 요구된다. 이를 통해 깊이 영상을 보다 효율적으로 압축하는 기술 개발이 필요하다.In general, color images contain more image information than depth images. Therefore, accurate motion prediction is possible through color images rather than depth images. There is a need for a technique of sharing encoding / decoding information of a color image with encoding / decoding information of a depth image by using such a characteristic. This requires the development of technology to compress depth images more efficiently.
일 실시예에 따른 부호화 장치는 컬러 영상 및 깊이 영상의 블록 크기를 비교하는 비교부; 상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 공유부; 및 상기 공유된 부호화 정보를 이용하여 상기 깊이 영상을 부호화하는 부호화부를 포함할 수 있다.An encoding apparatus according to an embodiment includes a comparator configured to compare block sizes of a color image and a depth image; A sharing unit configured to share encoding information of the color image as encoding information of the depth image based on the block size comparison result; And an encoder which encodes the depth image by using the shared encoding information.
상기 공유부는, 상기 깊이 영상의 블록 크기가 상기 컬러 영상의 블록 크기보다 작은 경우, 각각의 깊이 영상의 블록에 대응하는 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.When the block size of the depth image is smaller than the block size of the color image, the sharing unit may share encoding information of a color image corresponding to each block of the depth image as encoding information of the depth image.
상기 공유부는, 상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.When the block size of the color image is smaller than the block size of the depth image, the sharing unit assumes that the block of the depth image is divided into the same size as the block of the color image, and corresponds to the block of the depth image. The encoding information of the color image may be shared as the encoding information of the depth image.
상기 공유부는, 상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 컬러 영상의 부호화 정보 그대로를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.When the block size of the color image is smaller than the block size of the depth image, the sharing unit may share the encoded information of the color image as encoding information of the depth image.
부호화 장치는 플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정하는 모드 결정부를 더 포함하고, 상기 공유부는, 상기 부호화 정보 공유 모드에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The encoding apparatus further includes a mode determiner configured to determine whether to apply coded information sharing and a coded information sharing mode by using a flag, wherein the sharer is configured to determine the coded information of the color image based on the coded information sharing mode. It can be shared as encoded information.
상기 공유부는, 인트라 모드로 부호화된부호화 정보를 포함하지 않는 적어도 하나의 상기 컬러 영상의 블록이 존재하는 경우, 상기 블록과 인접한 블록의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The sharing unit may share encoding information of a block adjacent to the block as encoding information of the depth image when there is at least one block of the color image that does not include encoding information encoded in an intra mode.
상기 공유부는, 인트라 모드로 부호화된부호화 정보를 포함하지 않는 적어도 하나의 상기 컬러 영상의 블록이 존재하는 경우, 미리 결정된 값을 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The sharing unit may share a predetermined value as encoding information of the depth image when there is at least one block of the color image that does not include encoding information encoded in an intra mode.
일 실시예에 따른 복호화 장치는 플래그를 이용하여 복호화 정보 공유 적용 여부 및 복호화 정보 공유 모드를 결정하는 모드 결정부; 상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 공유부; 및 상기 공유된 복호화 정보를 이용하여 상기 깊이 영상을 복호화하는 복호화부를 포함할 수 있다.Decoding apparatus according to an embodiment includes a mode determination unit for determining whether to apply the decoded information sharing and the decoding information sharing mode using a flag; A sharing unit configured to share decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode; And a decoder which decodes the depth image by using the shared decoding information.
상기 공유부는, 상기 복호화 정보 공유 모드에 기초하여 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유할 수 있다.The sharing unit assumes that a block of the depth image is divided into the same size as a block of the color image based on the decoding information sharing mode, and decodes the decoding information of each color image corresponding to the block of the depth image. It can be shared as decoding information of the video.
상기 공유부는, 상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보 그대로를 상기 깊이 영상의 복호화 정보로 공유할 수 있다.The sharing unit may share the decoded information of the color image as the decoded information of the depth image based on the decoded information sharing mode.
일 실시예에 따른 부호화 방법은 컬러 영상 및 깊이 영상의 블록 크기를 비교하는 단계; 상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계; 및 상기 공유된 부호화 정보를 이용하여 상기 깊이 영상을 부호화하는 단계를 포함할 수 있다.An encoding method according to an embodiment may include comparing block sizes of a color image and a depth image; Sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result; And encoding the depth image by using the shared encoding information.
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 상기 깊이 영상의 블록 크기가 상기 컬러 영상의 블록 크기보다 작은 경우, 각각의 깊이 영상의 블록에 대응하는 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The step of sharing encoding information of the color image as encoding information of the depth image based on a result of the block size comparison may include: when the block size of the depth image is smaller than the block size of the color image, blocks of each depth image. The encoding information of the color image corresponding to may be shared as the encoding information of the depth image.
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The sharing of the encoding information of the color image as the encoding information of the depth image based on the result of the block size comparison may include: when the block size of the color image is smaller than the block size of the depth image, Assuming that the image is divided into the same size as the block of the color image, encoding information of each color image corresponding to the block of the depth image may be shared as encoding information of the depth image.
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 컬러 영상의 부호화 정보 그대로를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The step of sharing encoding information of the color image as encoding information of the depth image based on a result of the block size comparison may include encoding information of the color image when the block size of the color image is smaller than the block size of the depth image. It can be shared as the encoding information of the depth image.
부호화 방법은 플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정하는 단계를 더 포함하고, 상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 상기 부호화 정보 공유 모드에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The encoding method may further include determining whether to apply encoding information sharing and a encoding information sharing mode using a flag, and sharing encoding information of the color image as encoding information of the depth image based on a result of the block size comparison. The step may share encoding information of the color image as encoding information of the depth image based on the encoding information sharing mode.
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 인트라 모드로 부호화된부호화 정보를 포함하지 않는 적어도 하나의 상기 컬러 영상의 블록이 존재하는 경우, 상기 블록과 인접한 블록의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The sharing of the encoding information of the color image as the encoding information of the depth image based on the block size comparison result may include: when there is at least one block of the color image that does not include encoding information encoded in an intra mode. The encoding information of the block adjacent to the block may be shared as the encoding information of the depth image.
상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는, 인트라 모드로 부호화된부호화 정보를 포함하지 않는 적어도 하나의 상기 컬러 영상의 블록이 존재하는 경우, 미리 결정된 값을 상기 깊이 영상의 부호화 정보로 공유할 수 있다.The sharing of the encoding information of the color image as the encoding information of the depth image based on the block size comparison result may include: when there is at least one block of the color image that does not include encoding information encoded in an intra mode. The predetermined value may be shared as encoding information of the depth image.
일 실시예에 따른 복호화 방법은 플래그를 이용하여 복호화 정보 공유 적용 여부 및 복호화 정보 공유 모드를 결정하는 단계; 상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계; 및 상기 공유된 복호화 정보를 이용하여 상기 깊이 영상을 복호화하는 단계를 포함할 수 있다.Decoding method according to an embodiment comprises the steps of determining whether to apply the decoded information sharing and decoding information sharing mode using a flag; Sharing decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode; And decoding the depth image by using the shared decoding information.
상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계는, 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유할 수 있다.The sharing of the decoded information of the color image as the decoded information of the depth image based on the decoded information sharing mode may include: assuming that the block of the depth image is divided into the same size as the block of the color image; Decoding information of each color image corresponding to a block of may be shared as decoding information of the depth image.
상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계는, 상기 컬러 영상의 복호화 정보 그대로를 상기 깊이 영상의 복호화 정보로 공유할 수 있다.The sharing of the decoding information of the color image as the decoding information of the depth image based on the decoding information sharing mode may share the decoding information of the color image as decoding information of the depth image.
도 1은 일 실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.1 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment.
도 2는 일 실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.2 is a block diagram illustrating a detailed configuration of a decoding apparatus according to an embodiment.
도 3a, 도 3b 및 도 3c는 일 실시예에 따른 컬러 영상 및 깊이 영상의 분할된 상태를 나타낸 도면이다.3A, 3B, and 3C are diagrams illustrating a divided state of a color image and a depth image, according to an exemplary embodiment.
도 4는 일 실시예에 따른 부호화 방법을 도시한 플로우차트이다.4 is a flowchart illustrating an encoding method according to an embodiment.
도 5는 일 실시예에 따른 복호화 방법을 도시한 플로우차트이다.5 is a flowchart illustrating a decoding method according to an embodiment.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings.
도 1은 일 실시예에 따른 부호화 장치의 세부 구성을 도시한 블록 다이어그램이다.1 is a block diagram illustrating a detailed configuration of an encoding apparatus according to an embodiment.
도 1을 참조하면, 부호화 장치(100)는 비교부(110), 공유부(120), 모드 결정부(130) 및 부호화부(140)를 포함할 수 있다. 또한, 부호화 장치(100)는 3차원 영상을 구성하는 깊이 영상을 부호화할 수 있다. 여기서, 부호화된 깊이 영상은 비트스트림의 형태로 복호화 장치에 전송될 수 있다.Referring to FIG. 1, the encoding apparatus 100 may include a comparator 110, a sharer 120, a mode determiner 130, and an encoder 140. In addition, the encoding apparatus 100 may encode a depth image constituting a 3D image. Here, the encoded depth image may be transmitted to the decoding apparatus in the form of a bitstream.
비교부(110)는 컬러 영상 및 깊이 영상의 블록 크기를 비교할 수 있다. 일 실시예에 따르면, 깊이 영상은 컬러 영상보다 더 많이 분할(split)될 수 있으며, 이는 깊이 영상의 블록 크기가 컬러 영상의 블록 크기보다 작은 경우일 수 있다. 다른 일 실시예에 따르면, 컬러 영상은 깊이 영상보다 더 많이 분할될 수 있으며, 이는 컬러 영상의 블록 크기가 깊이 영상의 블록 크기보다 작은 경우일 수 있다. 비교부(110)는 비교를 통해 컬러 영상 및 깊이 영상의 블록 크기가 앞서 언급한 경우 중 어느 하나에 속하는지 인식할 수 있다. 여기서, 블록은 영상을 포함하는 코딩 유닛(CU, coding unit)일 수 있다.The comparator 110 may compare the block sizes of the color image and the depth image. According to an embodiment, the depth image may be split more than the color image, which may be the case where the block size of the depth image is smaller than the block size of the color image. According to another embodiment, the color image may be divided more than the depth image, which may be the case where the block size of the color image is smaller than the block size of the depth image. The comparison unit 110 may recognize whether the block size of the color image and the depth image belongs to any one of the aforementioned cases through the comparison. Here, the block may be a coding unit (CU) including an image.
공유부(120)는 블록 크기 비교 결과에 기초하여 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다. 공유부(120)는 컬러 영상 및 깊이 영상의 블록 크기가 같지 않은 경우에도 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다.The sharing unit 120 may share encoding information of the color image as encoding information of the depth image based on the block size comparison result. The sharing unit 120 may share encoding information of the color image as encoding information of the depth image even when the block sizes of the color image and the depth image are not the same.
공유부(120)는 컬러 영상의 블록에 대한 부호화 정보를 해당 깊이 영상의 블록에 대한 부호화 정보로 공유할 수 있다. 일 실시예에 따르면, 공유부(120)는 모드 결정부(130)가 결정하는 부호화 정보 공유 모드에 기초하여 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유하는 방법을 달리하여 수행할 수 있다. 일례로, 공유부(120)는 플래그(flag)를 통해서 부호화 정보 공유 모드를 달리할 수 있다. 또한, 공유부(120)는 플래그를 통해서 부호화 정보 공유 적용을 하지 않을 수 있다.The sharing unit 120 may share the encoding information of the block of the color image as the encoding information of the block of the depth image. According to an exemplary embodiment, the sharing unit 120 may perform a method of sharing encoding information of a color image as encoding information of a depth image based on the encoding information sharing mode determined by the mode determination unit 130. . For example, the sharing unit 120 may change a coding information sharing mode through a flag. In addition, the sharing unit 120 may not apply encoding information sharing through a flag.
일 실시예에 따르면, 부호화 정보는 컬러 영상의 블록에 대응하는 해당 깊이 영상의 블록을 부호화할 수 있는 정보로서, 모션 벡터(motion vector) 및 모드정보를 포함할 수 있다. 여기서, 모션 벡터는 시간축에 대한 벡터이고, 모드 정보는 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유하는 모드를 나타내는 정보일 수 있다.According to an embodiment, the encoding information is information capable of encoding a block of a corresponding depth image corresponding to a block of a color image, and may include a motion vector and mode information. Here, the motion vector may be a vector with respect to the time axis, and the mode information may be information indicating a mode for sharing encoding information of a color image as encoding information of a depth image.
여기서, 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있는 예시적인 방법에 대해서는 도 3a, 도 3b 및 도 3c를 참조하여 후술한다.Here, an exemplary method of sharing encoding information of a color image as encoding information of a depth image will be described below with reference to FIGS. 3A, 3B, and 3C.
모드 결정부(130)는 부호화 정보를 공유하는 모드를 결정할 수 있다. 일 실시예에 따르면, 모드 결정부(130)는 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유하는 방법을 달리 결정할 수 있다. 일례로, 모드 결정부(130)는 플래그를 이용하여통해서 부호화 정보 공유 모드의 적용 여부유무 및 부호화 정보 공유 모드 종류를 결정할 수 있다. 또한, 모드 결정부(130)는 모드 적용에 의한 예측 오차의 비트율-왜곡 비용(RDO)에 의해 부호화 정보 공유 모드를 최종 결정할 수 있다.The mode determiner 130 may determine a mode for sharing encoding information. According to an embodiment, the mode determiner 130 may differently determine a method of sharing encoding information of a color image as encoding information of a depth image. For example, the mode determiner 130 may determine whether the encoded information sharing mode is applied and the type of the encoded information sharing mode through the flag. In addition, the mode determiner 130 may finally determine the encoding information sharing mode based on the bit rate-distortion cost (RDO) of the prediction error due to the mode application.
플래그는 별도의 추가적 정보를 포함할 수 있는 데이터일 수 있다. 일 실시예에 따르면, 플래그는 2-bit 데이터일 수 있으며, 이 때, 플래그가 '00'이면 스킵 모드(skip mode)가 적용되고, 플래그가 '01'이면 컬러 영상과 깊이 영상의 블록 크기가 동일한 경우의 부호화 정보 공유 모드가 적용되고, 플래그가 '10'이면 깊이 영상의 블록 크기가 컬러 영상의 블록 크기보다 작은 경우의 부호화 정보 공유 모드가 적용되며, 플래그가 '11'이면 컬러 영상의 블록 크기가 깊이 영상의 블록 크기보다 작은 경우의 부호화 정보 공유 모드가 적용될 수 있다. 스킵 모드에 대해서는 도 3a, 도 3b 및 도 3c를 참조하여 후술한다.The flag may be data that may include additional additional information. According to an embodiment, the flag may be 2-bit data. When the flag is '00', the skip mode is applied. When the flag is '01', the block size of the color image and the depth image is When the flag is '10', the encoding information sharing mode is applied. If the flag is '10', the encoding information sharing mode is applied when the block size of the depth image is smaller than the block size of the color image. The encoding information sharing mode when the size is smaller than the block size of the depth image may be applied. The skip mode will be described later with reference to FIGS. 3A, 3B, and 3C.
부호화부(140)는 공유된 부호화 정보를 이용하여 깊이 영상을 부호화할 수 있다.The encoder 140 may encode the depth image by using the shared encoding information.
이러한 부호화 정보 공유를 이용한 부호화 장치는 깊이 영상의 비트 발생량을 감소시켜 제한된 대역폭으로 인한 제약을 극복할 수 있다.The encoding apparatus using such encoding information sharing may overcome the limitation due to the limited bandwidth by reducing the bit generation amount of the depth image.
도 2는 일 실시예에 따른 복호화 장치의 세부 구성을 도시한 블록 다이어그램이다.2 is a block diagram illustrating a detailed configuration of a decoding apparatus according to an embodiment.
도 2를 참조하면, 복호화 장치(200)는 모드 결정부(210), 공유부(220) 및 복호화부(230)를 포함할 수 있다. 또한, 복호화 장치(200)는 부호화된 깊이 영상을 복호화할 수 있다.Referring to FIG. 2, the decoding apparatus 200 may include a mode determiner 210, a sharer 220, and a decoder 230. In addition, the decoding apparatus 200 may decode the encoded depth image.
모드 결정부(210)는 복호화 정보를 공유하는 모드를 결정할 수 있다. 일 실시예에 따르면, 모드 결정부(210)는 컬러 영상의 복호화 정보를 깊이 영상의 복호화 정보로 공유하는 방법을 달리 결정할 수 있다. 일례로, 모드 결정부(210)는 플래그를 통해서이용하여 복호화 정보 공유 모드의 적용 여부유무 및 복호화 정보 공유 모드 종류를 결정할 수 있다. 또 다른 일례로, 모드 결정부(210)는 비트스트림 내의 신호 정보를 이용하여 복호화 정보 공유 모드의 적용유무 및 모드 종류를 결정할 수 있다.The mode determiner 210 may determine a mode for sharing decryption information. According to an embodiment, the mode determiner 210 may differently determine a method of sharing the decoded information of the color image as the decoded information of the depth image. For example, the mode determiner 210 may determine whether to apply the decryption information sharing mode and the type of the decryption information sharing mode using the flag. As another example, the mode determiner 210 may determine whether the decoding information sharing mode is applied and the mode type using the signal information in the bitstream.
일 실시예에 따르면, 복호화 정보는 컬러 영상의 블록에 대응하는 해당 깊이 영상의 블록을 복호화할 수 있는 정보로서, 모션 벡터 및 모드 정보를 포함할 수 있다.According to an embodiment, the decoding information is information capable of decoding a block of the corresponding depth image corresponding to the block of the color image, and may include motion vector and mode information.
공유부(220)는 모드 결정부(210)가 결정하는 복호화 정보 공유 모드에 기초하여 컬러 영상의 복호화 정보를 깊이 영상의 복호화 정보로 공유하는 방법을 달리할 수 있다. 일례로, 공유부(220)는 플래그를 통해서 복호화 정보 공유 모드를 달리할 수 있다. 또한, 공유부(220)는 플래그를 통해서 복호화 정보 공유 적용을 하지 않을 수 있다.The sharing unit 220 may change a method of sharing the decoded information of the color image as the decoded information of the depth image based on the decoded information sharing mode determined by the mode determiner 210. For example, the sharing unit 220 may change the decoding information sharing mode through the flag. Also, the sharing unit 220 may not apply decryption information sharing through a flag.
복호화부(230)는 공유된 복호화 정보를 이용하여 깊이 영상을 복호화할 수 있다.The decoder 230 may decode the depth image by using the shared decoding information.
도 3a, 도 3b 및 도 3c는 일 실시예에 따른 컬러 영상 및 깊이 영상의 분할된 상태를 나타낸 도면이다.3A, 3B, and 3C are diagrams illustrating a divided state of a color image and a depth image, according to an exemplary embodiment.
도 3a에서 볼 수 있듯이, 깊이 영상의 블록 크기는 컬러 영상의 블록 크기보다 작을 수 있다. 이는 깊이 영상이 컬러 영상보다 더 많이 분할된 경우를 의미할 수 있다. 이 때, 부호화 장치는 각각의 깊이 영상의 블록(312~315)에 대응하는 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다. 이를테면, 부호화 장치는 깊이 영상과 같은 위치에 있는 컬러 영상의 부호화 정보를 그대로 공유할 수 있다.As shown in FIG. 3A, the block size of the depth image may be smaller than the block size of the color image. This may mean that the depth image is divided more than the color image. In this case, the encoding apparatus may share encoding information corresponding to blocks 312 to 315 of each depth image as encoding information of the depth image. For example, the encoding apparatus may share encoding information of a color image at the same position as the depth image.
도 3b에서 볼 수 있듯이, 컬러 영상의 블록 크기는 깊이 영상의 블록 크기보다 작을 수 있다. 이는 컬러 영상이 깊이 영상보다 더 많이 분할된 경우를 의미할 수 있다.As shown in FIG. 3B, the block size of the color image may be smaller than the block size of the depth image. This may mean that the color image is divided more than the depth image.
부호화 장치는 깊이 영상의 블록(325)이 컬러 영상의 블록(321~324)과 같은 크기로 분할되어 있다고 가정하고 깊이 영상의 블록(325)에 대응하는 각각의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다. 일 실시예에 따르면, 부호화 장치는 깊이 영상이 컬러 영상과 같이 분할되어 있지 않더라도 컬러 영상의 분할 방법으로 깊이 영상도 분할되었다고 가정할 수 있다. 따라서, 만약 컬러 영상이 분할되지 않았다면 깊이 영상도 분할되지 않았다고 가정할 수 있고, 만약 컬러 영상이 기본 블록에서 4등분으로 분할되었다면 이에 기초하여 깊이 영상도 기본 블록에서 4등분으로 분할되었다고 가정할 수 있다. 그 후, 부호화 장치는 깊이 영상의 블록(325)에 대응하는 각각의 컬러 영상의 블록(321~324)의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다.The encoding apparatus assumes that the block 325 of the depth image is divided into the same size as the blocks 321 to 324 of the color image, and encodes each encoding information corresponding to the block 325 of the depth image as encoding information of the depth image. Can share According to an embodiment, the encoding apparatus may assume that the depth image is also divided by the method of dividing the color image even if the depth image is not divided like the color image. Therefore, if the color image is not divided, it may be assumed that the depth image is not divided. If the color image is divided into four equal parts in the basic block, it may be assumed that the depth image is divided into four equal parts in the basic block. . Thereafter, the encoding apparatus may share encoding information of blocks 321 to 324 of each color image corresponding to block 325 of the depth image as encoding information of the depth image.
또한, 부호화 장치는 컬러 영상의 분할 정도에 상관없이 컬러 영상의 부호화 정보 그대로를 깊이 영상의 부호화 정보로 공유할 수 있다. 이를테면, 부호화 장치는 분할된 컬러 영상의 블록(321~324)의 부호화 정보 중 어느 하나를 대표값으로 정할 수 있다. 이어서, 부호화 장치는 대표값을 깊이 영상의 부호화 정보로 공유할 수 있다.In addition, the encoding apparatus may share the encoded information of the color image as encoding information of the depth image regardless of the degree of division of the color image. For example, the encoding apparatus may set any one of encoding information of blocks 321 to 324 of the divided color image as a representative value. Subsequently, the encoding apparatus may share the representative value as encoding information of the depth image.
또한, 동일한 부호화 정보를 포함하는 컬러 영상의 블록(321~324)이 두 개 이상 존재하는 경우, 부호화 장치는 해당 부호화 정보를 또 다시 공유하지 않고 대신 동일한 부호화 정보가 존재하는 것을 알리는 데이터를 공유할 수 있다. 여기서, 동일한 부호화 정보가 존재하는 것을 알리는 데이터는 스킵 모드임을 나타내는 플래그일 수 있다. 이러한 경우를 스킵 모드라고 하며, 스킵 모드는 부호화 정보의 압축률이 가장 높은 부호화 정보 공유 모드일 수 있다.In addition, when two or more blocks 321 to 324 of the color image including the same encoding information exist, the encoding apparatus does not share the corresponding encoding information again, but instead may share data indicating that the same encoding information exists. Can be. Here, the data indicating that the same encoding information exists may be a flag indicating that the skip mode is present. This case is called a skip mode, and the skip mode may be a coded information sharing mode having the highest compression rate of coded information.
도 3c에서 볼 수 있듯이, 컬러 영상의 블록 크기가 깊이 영상의 블록 크기보다 작은 경우에 있어서 컬러 영상의 블록(331~334)의 부호화 모드가 모두 같지 않을 수 있다. 일 실시예에 따르면, 컬러 영상의 일부 블록(331, 333~334)의 부호화 모드는 인터(inter)일 수 있고, 일부 블록(332)의 부호화 모드는 인트라(intra)일 수 있다. 여기서, 인터 부호화 모드는 시간축상에서 서로 다른 시간의 하나 또는 두 개의 영상을 이용하여 부호화하는 모드일 수 있다. 또한, 인트라 부호화 모드는 부호화하고자 하는 동일 영상 내의 주변화소를 이용하여 부호화하는 모드일 수 있다. 일례로, 주변화소는 해당 화소의 이미 부호화된 좌측 또는 상측 화소일 수 있다. 따라서, 인트라 부호화 모드가 적용된 블록은 모션 벡터 등 화면간 예측을 위한 부호화 정보를 포함하지 않을 수 있다. 여기서, 인트라 부호화 모드는 인트라 모드와 동일하고, 인터 부호화 모드는 인터 모드와 동일할 수 있다.As shown in FIG. 3C, when the block size of the color image is smaller than the block size of the depth image, the encoding modes of the blocks 331 to 334 of the color image may not all be the same. According to an embodiment, encoding modes of some blocks 331, 333 ˜ 334 of the color image may be inter, and encoding modes of some blocks 332 may be intra. Here, the inter encoding mode may be a mode for encoding using one or two images of different times on the time axis. In addition, the intra encoding mode may be a mode for encoding using neighboring pixels in the same image to be encoded. For example, the peripheral pixel may be an already encoded left or upper pixel of the corresponding pixel. Therefore, a block to which an intra encoding mode is applied may not include encoding information for inter prediction, such as a motion vector. Here, the intra encoding mode may be the same as the intra mode, and the inter encoding mode may be the same as the inter mode.
이 때, 부호화 장치는 인트라 모드로 부호화된 컬러 영상의부호화 정보를 포함하지 않는 블록과 인접한 블록의 부호화 정보를 해당 깊이 영상의 부호화 정보로 공유할 수 있다. 또한, 부호화 장치는 미리 결정된 값을 인트라 모드로 부호화된 컬러 영상의부호화 정보를 포함하지 않는 블록에 대응하는 깊이 영상의 부호화 정보로 공유할 수 있다. 또한, 부호화 장치는 인트라 모드로 부호화된 컬러 영상의부호화 정보를 포함하지 않는 블록의 부호화 정보 공유 모드를 삭제하여, 전체 부호화 정보 공유 모드에 할당되는 bit를 줄일 수 있다.In this case, the encoding apparatus may share encoding information of a block that does not include encoding information of the color image encoded in the intra mode and adjacent blocks as encoding information of the corresponding depth image. In addition, the encoding apparatus may share the predetermined value as encoding information of the depth image corresponding to the block that does not include encoding information of the color image encoded in the intra mode. In addition, the encoding apparatus may reduce the bit allocated to the entire encoding information sharing mode by deleting the encoding information sharing mode of the block that does not include the encoding information of the color image encoded in the intra mode.
앞서 언급한 부호화 정보를 공유하는 방법을 각각 하나의 부호화 정보 공유 모드로 지정할 수 있다. 이러한 부호화 정보 공유 모드는 플래그를 이용하여 구분될 수 있다. 여기서, 각각의 부호화 정보 공유 모드에 대응되는 플래그의 데이터 값에 기초하여 우선순위(priority)가 부여될 수 있다. 또한, 플래그를 이용하여 부호화 정보 공유 적용을 하지 않을 수 있다.Each of the aforementioned methods of sharing the encoded information may be designated as one encoded information sharing mode. Such coding information sharing modes may be distinguished using a flag. Here, priority may be given based on a data value of a flag corresponding to each encoded information sharing mode. In addition, coding information sharing may not be applied using a flag.
일 실시예에 따르면, 플래그가 '00'이면 스킵 모드가 적용되고, 플래그가 '01'이면 컬러 영상과 깊이 영상의 블록 크기가 동일한 경우의 부호화 정보 공유 모드가 적용되고, 플래그가 '10'이면 깊이 영상의 블록 크기가 컬러 영상의 블록 크기보다 작은 경우의 부호화 정보 공유 모드가 적용되며, 플래그가 '11'이면 컬러 영상의 블록 크기가 깊이 영상의 블록 크기보다 작은 경우의 부호화 정보 공유 모드가 적용될 수 있다. 이 때, 가장 낮은 플래그의 데이터 값 '00'을 가지는 스킵 모드가 최우선적으로 적용될 수 있다. 만약 스킵 모드가 적용될 수 없을 경우, 그 후 순차적으로 플래그의 데이터 값 '01', '10' 및 '11'에 대응하는 부호화 정보 공유 모드들이 적용될 수 있다. 이러한 우선순위는 플래그의 데이터 값을 변경함으로써 제어될 수 있다.According to an embodiment, if the flag is '00', the skip mode is applied. If the flag is '01', the encoding information sharing mode is applied when the block size of the color image and the depth image is the same, and if the flag is '10'. The encoding information sharing mode is applied when the block size of the depth image is smaller than the block size of the color image. If the flag is '11', the encoding information sharing mode when the block size of the color image is smaller than the block size of the depth image is applied. Can be. In this case, the skip mode having the lowest data value '00' may be applied as a priority. If the skip mode cannot be applied, encoding information sharing modes corresponding to data values '01', '10', and '11' of the flag may be sequentially applied. This priority can be controlled by changing the data value of the flag.
한편, 컬러 영상의 복호화 정보를 깊이 영상의 복호화 정보로 공유할 수 있는 예시적인 방법들도 위에서 설명한 도 3a, 도 3b 및 도 3c의 설명 내용이 마찬가지로 적용될 수 있으므로, 이에 대한 중복되는 설명은 생략한다.Meanwhile, in the exemplary methods of sharing the decoding information of the color image as the decoding information of the depth image, the descriptions of FIGS. 3A, 3B, and 3C described above may be similarly applied, and thus redundant description thereof will be omitted. .
도 4는 일 실시예에 따른 부호화 방법을 도시한 플로우차트이다.4 is a flowchart illustrating an encoding method according to an embodiment.
도 4를 참조하면, 단계(410)에서, 부호화 장치는 컬러 영상 및 깊이 영상의 블록 크기를 비교할 수 있다. 부호화 장치는 비교를 통해 컬러 영상 및 깊이 영상의 상대적 블록 크기를 인식할 수 있다.Referring to FIG. 4, in operation 410, the encoding apparatus may compare block sizes of a color image and a depth image. The encoding apparatus may recognize the relative block sizes of the color image and the depth image through comparison.
단계(420)에서, 부호화 장치는 플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정할 수 있다. 이러한 플래그에 대해서는 도 1 내지 도 3을 통해 이미 상세히 설명한 바 있다.In operation 420, the encoding apparatus may determine whether to apply encoded information sharing and a encoded information sharing mode by using a flag. Such a flag has already been described in detail with reference to FIGS. 1 to 3.
단계(430)에서, 부호화 장치는 블록 크기 비교 결과와 부호화 정보 공유 모드에 기초하여 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다. 부호화 장치는 컬러 영상 및 깊이 영상의 블록 크기가 같지 않은 경우에도 컬러 영상의 부호화 정보를 깊이 영상의 부호화 정보로 공유할 수 있다. 이러한 부호화 정보 공유 모드에 대해서는 도 3a, 도 3b 및 도 3c를 통해 이미 상세히 설명한 바 있다.In operation 430, the encoding apparatus may share encoding information of the color image as encoding information of the depth image based on the block size comparison result and the encoding information sharing mode. The encoding apparatus may share encoding information of the color image as encoding information of the depth image even when the block sizes of the color image and the depth image are not the same. The encoding information sharing mode has been described in detail with reference to FIGS. 3A, 3B, and 3C.
단계(440)에서, 부호화 장치는 공유된 부호화 정보를 이용하여 깊이 영상을 부호화할 수 있다.In operation 440, the encoding apparatus may encode the depth image using the shared encoding information.
도 5는 일 실시예에 따른 복호화 방법을 도시한 플로우차트이다.5 is a flowchart illustrating a decoding method according to an embodiment.
도 5를 참조하면, 단계(510)에서, 복호화 장치는 플래그 또는 비트스트림 내의 신호 정보를 이용하여 복호화 정보 공유 모드의 적용유무 여부 및 복호화 정보 공유 모드 종류를 결정할 수 있다. 이러한 플래그에 대해서는 도 1 내지 도 3를 통해 설명된 내용이 그대로 적용될 수 있다.Referring to FIG. 5, in operation 510, the decoding apparatus may determine whether the decoding information sharing mode is applied and the type of the decoding information sharing mode by using signal information in a flag or bitstream. For the flag, the content described with reference to FIGS. 1 to 3 may be applied as it is.
단계(520)에서, 복호화 장치는 복호화 정보 공유 모드에 기초하여 컬러 영상의 복호화 정보를 깊이 영상의 복호화 정보로 공유할 수 있다. 이러한 복호화 정보 공유 모드에 대해서는 도 3a, 도 3b 및 도 3c를 통해 설명된 내용이 그대로 적용될 수 있다.In operation 520, the decoding apparatus may share decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode. For the decryption information sharing mode, the contents described with reference to FIGS. 3A, 3B, and 3C may be applied.
단계(530)에서, 복호화 장치는 공유된 복호화 정보를 이용하여 깊이 영상을 복호화할 수 있다.In operation 530, the decoding apparatus may decode the depth image using the shared decoding information.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다.　 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.　 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the devices and components described in the embodiments may be, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to the execution of the software. For convenience of explanation, one processing device may be described as being used, but one of ordinary skill in the art will appreciate that the processing device includes a plurality of processing elements and / or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the above, and configure the processing device to operate as desired, or process it independently or collectively. You can command the device. Software and / or data may be any type of machine, component, physical device, virtual equipment, computer storage medium or device in order to be interpreted by or to provide instructions or data to the processing device. Or may be permanently or temporarily embodied in a signal wave to be transmitted. The software may be distributed over networked computer systems so that they may be stored or executed in a distributed manner. Software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Although the embodiments have been described by the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components. Or even if replaced or substituted by equivalents, an appropriate result can be achieved. Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims that follow.

Claims (20)

  1. 컬러 영상 및 깊이 영상의 블록 크기를 비교하는 비교부;A comparison unit comparing the block sizes of the color image and the depth image;
    상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 공유부; 및A sharing unit configured to share encoding information of the color image as encoding information of the depth image based on the block size comparison result; And
    상기 공유된 부호화 정보를 이용하여 상기 깊이 영상을 부호화하는 부호화부An encoder that encodes the depth image using the shared encoding information.
    를 포함하는 부호화 장치.Encoding apparatus comprising a.
  2. 제1항에 있어서,The method of claim 1,
    상기 공유부는,The sharing unit,
    상기 깊이 영상의 블록 크기가 상기 컬러 영상의 블록 크기보다 작은 경우, 각각의 깊이 영상의 블록에 대응하는 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는When the block size of the depth image is smaller than the block size of the color image, the encoding information of the color image corresponding to each block of the depth image is shared as the encoding information of the depth image.
    부호화 장치.Encoding device.
  3. 제1항에 있어서,The method of claim 1,
    상기 공유부는,The sharing unit,
    상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 부호화 장치.When the block size of the color image is smaller than the block size of the depth image, it is assumed that the block of the depth image is divided into the same size as the block of the color image, and that each color image corresponding to the block of the depth image is divided. And an encoding device sharing encoding information as encoding information of the depth image.
  4. 제1항에 있어서,The method of claim 1,
    상기 공유부는,The sharing unit,
    상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 컬러 영상의 부호화 정보 그대로를 상기 깊이 영상의 부호화 정보로 공유하는When the block size of the color image is smaller than the block size of the depth image, the encoding information of the color image is shared as the encoding information of the depth image.
    부호화 장치.Encoding device.
  5. 제1항에 있어서,The method of claim 1,
    플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정하는 모드 결정부A mode determination unit that determines whether to apply coded information sharing and a coded information sharing mode using a flag.
    를 더 포함하고,More,
    상기 공유부는,The sharing unit,
    상기 부호화 정보 공유 모드에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 부호화 장치.And encoding information of the color image as encoding information of the depth image based on the encoding information sharing mode.
  6. 제1항에 있어서,The method of claim 1,
    상기 공유부는,The sharing unit,
    인트라 모드로 부호화된부호화 정보를 포함하지 않는 적어도 하나의 상기 컬러 영상의 블록이 존재하는 경우, 상기 블록과 인접한 블록의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 부호화 장치.And encoding information of a block adjacent to the block as encoding information of the depth image when there is at least one block of the color image that does not include encoding information encoded in an intra mode.
  7. 제1항에 있어서,The method of claim 1,
    상기 공유부는,The sharing unit,
    인트라 모드로 부호화된부호화 정보를 포함하지 않는 적어도 하나의 상기 컬러 영상의 블록이 존재하는 경우, 미리 결정된 값을 상기 깊이 영상의 부호화 정보로 공유하는 부호화 장치.And a predetermined value is shared as encoding information of the depth image when at least one block of the color image does not include encoding information encoded in an intra mode.
  8. 플래그를 이용하여 복호화 정보 공유 적용 여부 및 복호화 정보 공유 모드를 결정하는 모드 결정부;A mode determination unit determining whether decoded information sharing is applied and a decoded information sharing mode by using a flag;
    상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 공유부; 및A sharing unit configured to share decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode; And
    상기 공유된 복호화 정보를 이용하여 상기 깊이 영상을 복호화하는 복호화부A decoder which decodes the depth image by using the shared decoding information
    를 포함하는 복호화 장치.Decoding apparatus comprising a.
  9. 제8항에 있어서,The method of claim 8,
    상기 공유부는,The sharing unit,
    상기 복호화 정보 공유 모드에 기초하여 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 복호화 장치.Based on the decoding information sharing mode, it is assumed that blocks of the depth image are divided into the same size as the blocks of the color image, and decoding information of each color image corresponding to the blocks of the depth image is decoded information of the depth image. Decoder shared by.
  10. 제8항에 있어서,The method of claim 8,
    상기 공유부는,The sharing unit,
    상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보 그대로를 상기 깊이 영상의 복호화 정보로 공유하는 복호화 장치.And decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode.
  11. 컬러 영상 및 깊이 영상의 블록 크기를 비교하는 단계;Comparing the block sizes of the color image and the depth image;
    상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계; 및Sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result; And
    상기 공유된 부호화 정보를 이용하여 상기 깊이 영상을 부호화하는 단계Encoding the depth image using the shared encoding information
    를 포함하는 부호화 방법.Encoding method comprising a.
  12. 제11항에 있어서,The method of claim 11,
    상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
    상기 깊이 영상의 블록 크기가 상기 컬러 영상의 블록 크기보다 작은 경우, 각각의 깊이 영상의 블록에 대응하는 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는When the block size of the depth image is smaller than the block size of the color image, the encoding information of the color image corresponding to each block of the depth image is shared as the encoding information of the depth image.
    부호화 방법.Encoding method.
  13. 제11항에 있어서,The method of claim 11,
    상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
    상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 부호화 방법.When the block size of the color image is smaller than the block size of the depth image, it is assumed that the block of the depth image is divided into the same size as the block of the color image, and that each color image corresponding to the block of the depth image is divided. An encoding method for sharing encoding information as encoding information of the depth image.
  14. 제11항에 있어서,The method of claim 11,
    상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
    상기 컬러 영상의 블록 크기가 상기 깊이 영상의 블록 크기보다 작은 경우, 상기 컬러 영상의 부호화 정보 그대로를 상기 깊이 영상의 부호화 정보로 공유하는When the block size of the color image is smaller than the block size of the depth image, the encoding information of the color image is shared as the encoding information of the depth image.
    부호화 방법.Coding method.
  15. 제11항에 있어서,The method of claim 11,
    플래그를 이용하여 부호화 정보 공유 적용 여부 및 부호화 정보 공유 모드를 결정하는 단계Determining whether to apply encoded information sharing and a coded information sharing mode by using a flag;
    를 더 포함하고,More,
    상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
    상기 부호화 정보 공유 모드에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 부호화 방법.And encoding information of the color image as encoding information of the depth image based on the encoding information sharing mode.
  16. 제11항에 있어서,The method of claim 11,
    상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
    인트라 모드로 부호호화된부호화 정보를 포함하지 않는 적어도 하나의 상기 컬러 영상의 블록이 존재하는 경우, 상기 블록과 인접한 블록의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 부호화 방법.And encoding information of a block adjacent to the block as encoding information of the depth image when at least one block of the color image does not include encoding information encoded in an intra mode.
  17. 제11항에 있어서,The method of claim 11,
    상기 블록 크기 비교 결과에 기초하여 상기 컬러 영상의 부호화 정보를 상기 깊이 영상의 부호화 정보로 공유하는 단계는,The step of sharing encoding information of the color image as encoding information of the depth image based on the block size comparison result,
    인트라 모드로 부호화된부호화 정보를 포함하지 않는 적어도 하나의 상기 컬러 영상의 블록이 존재하는 경우, 미리 결정된 값을 상기 깊이 영상의 부호화 정보로 공유하는 부호화 방법.And encoding a predetermined value as encoding information of the depth image when at least one block of the color image does not include encoding information encoded in an intra mode.
  18. 플래그를 이용하여 복호화 정보 공유 적용 여부 및 복호화 정보 공유 모드를 결정하는 단계;Determining whether to apply decrypted information sharing and a decrypted information sharing mode by using a flag;
    상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계; 및Sharing decoding information of the color image as decoding information of the depth image based on the decoding information sharing mode; And
    상기 공유된 복호화 정보를 이용하여 상기 깊이 영상을 복호화하는 단계Decoding the depth image using the shared decoding information
    를 포함하는 복호화 방법.Decryption method comprising a.
  19. 제18항에 있어서,The method of claim 18,
    상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계는,The step of sharing the decoding information of the color image as the decoding information of the depth image based on the decoding information sharing mode,
    상기 깊이 영상의 블록이 상기 컬러 영상의 블록과 같은 크기로 분할되어 있다고 가정하고 상기 깊이 영상의 블록에 대응하는 각각의 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 복호화 방법.And assuming that the block of the depth image is divided into the same size as the block of the color image, sharing the decoding information of each color image corresponding to the block of the depth image as the decoding information of the depth image.
  20. 제18항에 있어서,The method of claim 18,
    상기 복호화 정보 공유 모드에 기초하여 상기 컬러 영상의 복호화 정보를 상기 깊이 영상의 복호화 정보로 공유하는 단계는,The step of sharing the decoding information of the color image as the decoding information of the depth image based on the decoding information sharing mode,
    상기 컬러 영상의 복호화 정보 그대로를 상기 깊이 영상의 복호화 정보로 공유하는 복호화 방법.And decoding information of the color image as the decoding information of the depth image.
PCT/KR2013/008733 2012-09-28 2013-09-30 Encoding/decoding apparatus and encoding/decoding method using sharing of encoding/decoding information of color image and depth image WO2014051404A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261707501P 2012-09-28 2012-09-28
US61/707,501 2012-09-28
KR10-2013-0112433 2013-09-23
KR1020130112433A KR20140043027A (en) 2012-09-28 2013-09-23 Apparatus and method for encoding and decoding using coding information sharing of color image and depth image

Publications (1)

Publication Number Publication Date
WO2014051404A1 true WO2014051404A1 (en) 2014-04-03

Family

ID=50388681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/008733 WO2014051404A1 (en) 2012-09-28 2013-09-30 Encoding/decoding apparatus and encoding/decoding method using sharing of encoding/decoding information of color image and depth image

Country Status (1)

Country Link
WO (1) WO2014051404A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110317912A1 (en) * 2010-06-25 2011-12-29 Samsung Electronics Co., Ltd. Method, apparatus and computer-readable medium coding and decoding depth image using color image
KR20120018906A (en) * 2010-08-24 2012-03-06 삼성전자주식회사 Apparatus and method for encoding and decoding using motion vector sharing of color image and depth image
US20120183066A1 (en) * 2011-01-17 2012-07-19 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
US20120229602A1 (en) * 2011-03-10 2012-09-13 Qualcomm Incorporated Coding multiview video plus depth content
US20120236934A1 (en) * 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110317912A1 (en) * 2010-06-25 2011-12-29 Samsung Electronics Co., Ltd. Method, apparatus and computer-readable medium coding and decoding depth image using color image
KR20120018906A (en) * 2010-08-24 2012-03-06 삼성전자주식회사 Apparatus and method for encoding and decoding using motion vector sharing of color image and depth image
US20120183066A1 (en) * 2011-01-17 2012-07-19 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
US20120229602A1 (en) * 2011-03-10 2012-09-13 Qualcomm Incorporated Coding multiview video plus depth content
US20120236934A1 (en) * 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure

Similar Documents

Publication Publication Date Title
CN110381322B (en) Video stream decoding method and device, terminal equipment and storage medium
WO2017142354A1 (en) Method and system for gpu based virtual reality video streaming server
TWI483213B (en) Integrated gpu, nic and compression hardware for hosted graphics
WO2013183918A1 (en) Image processing apparatus and method for three-dimensional (3d) image
WO2012086917A2 (en) Method for providing a game service in a cloud computing environment, cloud computing server, and cloud computing system
BR112021007865A2 (en) image prediction method and apparatus
TW201709083A (en) Apparatus and method for efficient communication between virtual machines
CN113874916A (en) AI-assisted programmable hardware video codec
WO2018070556A1 (en) Method and apparatus for extracting intra prediction mode data of square or rectangular block
WO2018038316A1 (en) Method and device for transmitting block division information in image codec for security camera
JP7046219B2 (en) Video coding methods, video coding equipment, electronic devices and computer programs
EP3761649A1 (en) Method for transformation in image block coding, and method and apparatus for inverse transformation in image block decoding
KR20110134626A (en) Apparatus and method of processing in parallel of encoding and decoding of image data by using correlation of macroblock
KR20140030473A (en) Method for processing multi-view image, and apparatus for executing the same
WO2020251124A1 (en) Machine learning model-based hevc distributed decoding method, device and system using blockchain
CN108156460B (en) Video decoding system, video decoding method, and computer storage medium therefor
WO2013089664A1 (en) Capturing multiple video channels for video analytics and encoding
WO2014051404A1 (en) Encoding/decoding apparatus and encoding/decoding method using sharing of encoding/decoding information of color image and depth image
WO2009096721A2 (en) Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation
WO2012173317A1 (en) Multi-thread encoding and decoding method, encoder and decoder using same, and computer-readable recording medium
WO2015046991A1 (en) Multi-decoding method and multi-decoder for performing same
WO2013062514A1 (en) Multiple stream processing for video analytics and encoding
WO2013100920A1 (en) Video encoding in video analytics
TWI517695B (en) On die/off die memory management
KR20140043027A (en) Apparatus and method for encoding and decoding using coding information sharing of color image and depth image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13842497

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13842497

Country of ref document: EP

Kind code of ref document: A1