WO2013176485A1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2013176485A1
WO2013176485A1 PCT/KR2013/004491 KR2013004491W WO2013176485A1 WO 2013176485 A1 WO2013176485 A1 WO 2013176485A1 KR 2013004491 W KR2013004491 W KR 2013004491W WO 2013176485 A1 WO2013176485 A1 WO 2013176485A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
block
neighboring block
inter
interview motion
Prior art date
Application number
PCT/KR2013/004491
Other languages
English (en)
French (fr)
Inventor
구문모
정지욱
예세훈
허진
김태섭
성재원
손은영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/402,240 priority Critical patent/US9860555B2/en
Publication of WO2013176485A1 publication Critical patent/WO2013176485A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to a method and apparatus for coding a video signal.
  • Compression coding refers to a series of signal processing techniques that transmit digitized information through a communication line or store the data in a form suitable for a storage medium.
  • the object of compression encoding includes objects such as voice, video, text, and the like.
  • a technique of performing compression encoding on an image is called video image compression.
  • a general feature of a multiview video image is that it has spatial redundancy, temporal redundancy and inter-view redundancy.
  • An object of the present invention is to improve the coding efficiency of a video signal.
  • the present invention is characterized by deriving the interview motion vector of the current texture block based on either the interview motion vector or the disparity vector of the neighboring block.
  • the present invention is characterized by deriving the interview motion vector of the current texture block in consideration of the priority among the candidates including the interview motion vector and the disparity vector of the neighboring block.
  • the present invention derives an interview motion vector from a block coded by temporal inter prediction using a reference view motion vector as well as an interview motion vector of a block coded by inter-view inter prediction among neighboring blocks of the current texture block, and then interviews the current texture block. It is characterized by using as a motion vector candidate.
  • the spatial neighboring block according to the present invention includes at least one of neighboring blocks adjacent to the lower left, the upper left, the upper right, the upper left and the upper left, and considers a block coded by inter-prediction inter prediction in consideration of the priority among the spatial neighboring blocks. Search to obtain a spatial interview motion vector.
  • the temporal neighboring block according to the present invention includes at least one of a block of the same position or a neighboring block adjacent to the block of the same position, and searches for a block coded by inter-view inter prediction in consideration of the priority among the temporal neighboring blocks. And obtaining an interview motion vector.
  • inter-view inter prediction using an interview motion vector may be used to increase the accuracy of video data prediction by utilizing the correlation between views.
  • the interview motion vector further uses interleaved motion vector of a spatial neighboring block, an interview motion vector of a temporal neighboring block, a reference interview motion vector, or a disparity vector, thereby deriving an accurate interview motion vector. Can improve the accuracy and improve the coding efficiency by reducing the amount of residual data transmitted.
  • a reference interview motion vector corresponding to the reference view motion vector is used as a candidate, thereby making accurate interview motion possible.
  • Vectors can be predicted.
  • the complexity of a process of deriving an interview motion vector may be reduced by determining priorities of a plurality of interview motion vector candidates and searching blocks sequentially coded by inter-prediction according to the priorities.
  • FIG. 1 is a schematic block diagram of a video decoder according to an embodiment to which the present invention is applied.
  • FIG. 2 illustrates a schematic configuration of a motion vector list generator as an embodiment to which the present invention is applied.
  • FIG. 3 illustrates an example of a spatial neighboring block as an embodiment to which the present invention is applied.
  • FIG. 4 illustrates an example of a temporal neighboring block as an embodiment to which the present invention is applied.
  • FIG. 5 illustrates a method of deriving a disparity vector of a current texture block using depth data as an embodiment to which the present invention is applied.
  • FIG. 6 is a flowchart illustrating a method of deriving an interview motion vector from a neighboring block coded with inter-view inter prediction based on a predetermined priority according to an embodiment to which the present invention is applied.
  • FIG. 7 illustrates a flowchart of searching for a neighboring block to obtain a reference interview motion vector as an embodiment to which the present invention is applied.
  • FIG 8 illustrates an example of deriving an interview motion vector by parallel processing as an embodiment to which the present invention is applied.
  • FIG. 9 illustrates an embodiment to which a spatial neighboring block is searched according to a location of a current texture block, according to an embodiment to which the present invention is applied.
  • FIG. 10 illustrates a motion information packet in units of coding blocks according to an embodiment to which the present invention is applied.
  • the present invention derives an interview motion vector of the current texture block from any one of the interview motion vector candidates in consideration of the priority among the interview motion vector candidates of the current texture block, and the interview motion vector candidates are selected from the spatial neighboring blocks. And at least one of an interview motion vector, an interview motion vector of a temporal neighboring block, and a reference interview motion vector, and performing inter-view inter prediction on the current texture block using the derived interview motion vector.
  • the reference interview motion vector may be an interview motion vector corresponding to the reference view motion vector when at least one of the spatial neighboring block and the temporal neighboring block is derived from the reference view motion vector. to be.
  • Techniques for compression encoding or decoding multi-view video signal data take into account spatial redundancy, temporal redundancy, and redundancy existing between views.
  • a multiview texture image photographed from two or more viewpoints may be coded to implement a 3D image.
  • depth data corresponding to a multiview texture image may be further coded as necessary.
  • compression coding may be performed in consideration of spatial redundancy, temporal redundancy, or inter-view redundancy.
  • the depth data represents distance information between the camera and the corresponding pixel, and within the present specification, the depth data may be flexibly interpreted as information related to depth, such as depth information, a depth image, a depth picture, a depth sequence, and a depth bitstream.
  • the term coding in this specification may include both the concepts of encoding and decoding, and may be flexibly interpreted according to the technical spirit and technical scope of the present invention.
  • FIG. 1 is a schematic block diagram of a video decoder according to an embodiment to which the present invention is applied.
  • a video decoder includes a NAL parser 100, an entropy decoder 200, an inverse quantization / inverse transform unit 300, an intra predictor 400, an in-loop filter unit 500, and a decoded picture.
  • the buffer unit 600 and the inter prediction unit 700 may be included.
  • the NAL parser 100 may receive a bitstream including multi-view texture data.
  • the bitstream including the encoded depth data may be further received.
  • the input texture data and the depth data may be transmitted in one bitstream or may be transmitted in separate bitstreams.
  • the NAL parser 100 may parse the NAL unit to decode the input bitstream.
  • the input bitstream may further include a camera parameter.
  • Camera parameters can have intrinsic camera parameters and extrinsic camera parameters, and inherent camera parameters include focal length, aspect ratio, and principal. point) and the like, and the non-unique camera parameter may include location information of the camera in the world coordinate system.
  • the entropy decoding unit 200 may extract quantized transform coefficients, coding information for prediction of a texture picture, and the like through entropy decoding.
  • the inverse quantization / inverse transform unit 300 may apply a quantization parameter to the quantized transform coefficients to obtain transform coefficients, and inversely transform the transform coefficients to decode texture data or depth data.
  • the decoded texture data or depth data may include residual data according to the prediction process.
  • the quantization parameter for the depth block may be set in consideration of the complexity of the texture data. For example, when the texture block corresponding to the depth block is a region of high complexity, a low quantization parameter may be set, and in the case of a region of low complexity, a high quantization parameter may be set.
  • the intra predictor 400 may perform intra prediction using the reconstructed texture data in the current texture picture. Intra-prediction may be performed on the depth picture in the same manner as the texture picture. For example, coding information used for intra prediction of a texture picture may be similarly used in a depth picture. Here, the coding information used for intra prediction may include intra prediction mode and partition information of intra prediction.
  • the in-loop filter unit 500 may apply an in-loop filter to each coded block to reduce block distortion.
  • the filter can smooth the edges of the block to improve the quality of the decoded picture.
  • Filtered texture pictures or depth pictures may be output or stored in the decoded picture buffer unit 600 for use as a reference picture.
  • the decoded picture buffer unit 600 stores or opens a previously coded texture picture or a depth picture in order to perform inter prediction.
  • the frame_num and the POC (Picture Order Count) of each picture may be used.
  • some of the previously coded pictures may have depth pictures that are different from the current depth picture. Therefore, in order to use these pictures as a reference picture, view identification information for identifying the view point of the depth picture may be used. have.
  • the depth pictures may be marked with a separate mark to distinguish them from texture pictures in the decoded picture buffer unit, and information for identifying each depth picture may be used in the marking process.
  • the inter prediction unit 700 may perform motion compensation of the current block by using the reference picture and the motion information stored in the decoded picture buffer unit 600.
  • the motion information may be understood as a broad concept including a motion vector and reference index information.
  • the inter prediction unit 700 may perform temporal inter prediction to perform motion compensation.
  • Temporal inter prediction may refer to inter prediction using motion information of a reference picture and a current texture block located at the same time point and different time zone as the current texture block.
  • inter-view inter prediction may be further performed as well as temporal inter prediction.
  • Inter-view inter prediction may refer to inter prediction using a reference picture located at a different point in time from the current texture block and motion information of the current texture block.
  • motion information used for inter-view prediction will be referred to as interview motion vector and interview reference index information. Therefore, in the present specification, motion information may be flexibly interpreted as a concept including interview motion vector and interview reference index information.
  • a method of deriving motion information of a current texture block, in particular, a motion vector, from the inter prediction unit 700 will be described.
  • FIG. 2 illustrates a schematic configuration of a motion vector list generator as an embodiment to which the present invention is applied.
  • the motion vector list generator 710 of the present invention may be included in the inter predictor 700 of the decoder.
  • the motion vector list generator 710 may be largely comprised of a list initializer 720 and a list corrector 730.
  • the list initializer 720 may generate a motion vector list composed of motion vector candidates.
  • the motion vector candidate may mean a set of motion vectors available as the motion vector or the predicted motion vector of the current texture block.
  • the motion vector candidate of the present invention may include at least one of a spatial motion vector, a temporal motion vector, a reference view motion vector, and an interview motion vector.
  • the spatial motion vector, temporal motion vector, reference view motion vector, and interview motion vector included in the motion vector candidate of the present invention are determined by the spatial motion vector determiner 740 and temporal motion vector included in the motion vector list initializer 720.
  • the unit 750, the reference view motion vector determiner 760, and the interview motion vector determiner 770 are respectively acquired.
  • the spatial motion vector determiner 740 may derive the spatial motion vector from the motion vector of the neighboring block spatially adjacent to the current texture block.
  • the spatially adjacent neighboring blocks may be any one of blocks located at the left, top, bottom left, top left, and top right of the current texture block. If it is determined that the reference pictures of the current texture block and the neighboring block are the same, the motion vector of the neighboring block having the same reference picture may be added to the motion vector list.
  • the temporal motion vector determiner 750 may derive the temporal motion vector from the motion vector of the neighboring block temporally adjacent to the current texture block.
  • a temporally adjacent neighbor block is a block located at the same location as the current texture block or a block located at the same location as the current texture block within a reference picture located at the same time and in a different time zone as the current texture block.
  • One block may correspond.
  • the reference picture may be specified by reference index information of a picture including the temporal neighboring block.
  • the reference view motion vector determiner 760 may derive the reference view motion vector from the motion vector of the corresponding block located at a different time point than the current texture block.
  • the corresponding block may be a block indicated by the interview motion vector of the current texture block.
  • a corresponding block in another view may be specified using the interview motion vector of the current texture block, and the motion vector of the specified corresponding block may be set as a reference view motion vector of the current texture block.
  • the interview motion vector determiner 770 is a variation vector derived from a spatial neighboring block of the current texture block or a temporal neighboring block that is coded by inter-view inter prediction, and a depth block of a depth picture corresponding to the current texture block.
  • an interview motion vector indicating the reference block of the current texture block may be derived from the interview motion vector for determining the reference view motion vector.
  • the interview motion vector used to determine the reference view motion vector may also be included in the motion vector candidate of the current texture block to form a motion vector list.
  • the interview motion vector may be included in the motion vector list in consideration of whether the reference picture of the current texture block is located at the same time point or at a different time point. For example, when the reference picture of the current texture block has a different viewpoint than the current texture block, the interview motion vector may be added to the motion vector list.
  • the interview motion vector may be added to the motion vector list when reference index information of the current texture block indicates a reference picture for inter-view prediction. Meanwhile, a method of deriving an interview motion vector according to the present invention will be described with reference to FIGS. 3 to 7.
  • the motion vector list generated by the list initialization unit 720 may be used as a final motion vector list for deriving the motion vector of the current texture block.
  • the list correction unit 730 may be used to remove redundancy between motion vector candidates. It may be modified through. For example, the list corrector 730 may check whether the spatial motion vectors are the same in the motion vector list generated by the list initializer 720. As a result of the check, when the same spatial motion vectors exist, either one may be removed from the motion vector list. Furthermore, if the number of motion vector candidates remaining in the motion vector list is less than two after removing redundancy between the motion vector candidates in the motion vector list, a zero motion vector may be added.
  • the remaining motion vector candidates except for the two motion vector candidates may be removed from the motion vector list.
  • two motion vector candidates remaining in the motion vector list may be candidates having a relatively small list identification index in the motion vector list.
  • the list identification index is assigned to each motion vector candidate included in the motion vector list, and may mean information for identifying each motion vector candidate included in the motion vector list.
  • motion vector identification information about a current texture block may be extracted from a bitstream.
  • the motion vector identification information may be information specifying a motion vector candidate used as a motion vector or a predicted motion vector of the current texture block, that is, extracting a motion vector candidate corresponding to the extracted motion vector identification information from the motion vector list. And, it can be set as the motion vector or predicted motion vector of the current texture block.
  • the motion vector difference value may be used to reconstruct the motion vector of the current texture block.
  • the motion vector difference value may mean a difference vector between the decoded motion vector and the predicted motion vector.
  • the motion vector of the current texture block may be decoded using the predicted motion vector obtained from the motion vector list and the motion vector difference value extracted from the bitstream.
  • the decoded motion vector and the reference picture list may be used to predict pixel values of the current texture block.
  • the reference picture list may include not only a reference picture for temporal inter prediction but also a reference picture for inter-view inter prediction.
  • the interview motion vector described in FIG. 2 may be derived from any one selected from a spatial interview motion vector, a temporal interview motion vector, a disparity vector, and a reference interview motion vector.
  • the spatial interview motion vector of the present invention may be derived from a motion vector of a neighboring block coded with inter-view inter prediction among neighboring blocks spatially adjacent to a current texture block.
  • the spatial interview motion vector may be derived using a neighboring block having an interview motion vector among the spatial neighboring blocks of the current texture block, which will be described with reference to FIG. 3.
  • the temporal interview motion vector of the present invention may be derived from a motion vector of a neighboring block coded with inter-view inter prediction among temporal neighboring blocks of a current texture block.
  • the temporal interview motion vector may be derived using a neighboring block having an interview motion vector among temporal neighboring blocks of the current texture block.
  • the temporal neighboring block may mean a block at the same position and / or adjacent to the current texture block in a reference picture having the same view as the current picture including the current texture block, which will be described with reference to FIG. 4. Shall be.
  • the reference interview motion vector of the present invention may be derived from the interview motion vector for determining the reference view motion vector.
  • the interview motion vector corresponding to the reference view motion vector may be referred to as a reference interview motion vector.
  • the disparity vector of the present invention may represent inter-view variation in a multiview image.
  • inter-view variation may occur according to a camera position, and the disparity vector may compensate for such inter-view variation.
  • a method of deriving a disparity vector will be described with reference to FIG. 5.
  • FIG. 3 illustrates an example of a spatial neighboring block as an embodiment to which the present invention is applied.
  • the spatial neighboring block includes a lower left neighboring block A0, a left neighboring block A1, an upper right neighboring block B0, an upper neighboring block B1, and an upper left neighboring block B2. It may include at least one of.
  • a block coded by inter-view inter prediction may be searched among the above-described spatial neighboring blocks, and the interview motion vector of the neighboring block coded by inter-view inter prediction may be set as the interview motion vector of the current texture block.
  • a block coded by inter-view inter prediction may be searched in consideration of priority among spatial neighboring blocks. In searching a block coded by inter-view inter prediction, it is assumed that priorities of spatial neighboring blocks are set as shown in Table 1.
  • Table 1 Priority Spatial neighboring block 0 Left neighbor block One Top neighbor block 2 Top right neighbor block 3 Bottom left neighbor block 4 Top left neighbor block
  • the search may be performed until a block coded by inter prediction inter prediction is found in the order of the left neighboring block, the upper neighboring block, the upper right neighboring block, the lower left neighboring block, and the upper left neighboring block.
  • the interview motion vector of the left neighboring block may be set as the interview motion vector of the current texture block, and the search may be terminated.
  • the search may be terminated.
  • the left neighboring block is not coded by inter-view inter prediction, it may be checked whether the upper neighboring block is coded by inter-view inter prediction.
  • the search may be performed until a block coded by inter-prediction inter prediction is found in the order of the lower left neighboring block, the left neighboring block, the upper right neighboring block, the upper neighboring block, and the upper left neighboring block.
  • the priority between spatial neighboring blocks is not limited to the above embodiment.
  • whether to be coded by inter-view inter prediction may be determined based on whether a corresponding neighbor block uses an inter-view reference picture list.
  • the inter-view reference picture list may mean a list composed of reference pictures located at different views from the viewpoint of the neighboring block. Alternatively, it may be determined based on the reference index information of the neighboring block. For example, when reference index information of a corresponding neighboring block specifies a reference picture located at a different point in time than that of the corresponding neighboring block, the corresponding neighboring block may be coded by inter prediction between views.
  • the determination may be performed based on whether the POC of the picture including the neighboring block and the POC of the reference picture of the neighboring block are the same.
  • the POC is output order information, and pictures in the same access unit may have the same POC. Therefore, the same POC of both will mean that the picture including the corresponding neighboring block and the reference picture are located at different viewpoints, and in this case, the neighboring block can be specified to be coded by inter-prediction inter prediction.
  • the current texture block may further have at least one left neighboring block.
  • the spatial neighboring block of the present invention may further include left neighboring blocks A2 and A3 located between the left neighboring block A1 and the upper left neighboring block B4. .
  • the spatial neighboring block of the present invention is the upper neighboring block B2 located between the upper neighboring block B1 and the upper left neighboring block B4. , B3) may be further included.
  • FIG. 4 illustrates an example of a temporal neighboring block as an embodiment to which the present invention is applied.
  • a temporal neighboring block may refer to a block (hereinafter, referred to as a block of the same position) at the same position as the current texture block within a reference picture of the current texture block.
  • the reference picture may mean a picture located at the same time point and a different time zone as the current picture including the current texture block.
  • the co-located block of the present invention can be defined in two ways as shown in FIG.
  • a block having the same position may be defined as a block including a C position within a reference picture corresponding to the position C of the center pixel of the current texture block.
  • a block having the same position may be defined as a block including an X position within a reference picture corresponding to the position X of the upper left pixel of the current texture block.
  • the temporal neighboring block of the present invention is not limited to the block of the same position, it may mean a neighboring block adjacent to the block of the same position. As shown in FIG.
  • the lower left neighboring block A0, the left neighboring block A1, the upper right neighboring block B0, the upper neighboring block B1, At least one of the upper left neighboring blocks B2 may be used.
  • neighboring blocks adjacent to the lower and right sides of the same block may also be used as temporal neighboring blocks.
  • the lower right neighboring block C0, the lower neighboring block C1, and the right neighboring block C2 may be used as the temporal neighboring block.
  • a block coded by inter prediction between views may be searched in consideration of a) blocks at the same location, b) neighboring blocks adjacent to the blocks at the same location, and priority, which are mentioned as candidates of the temporal neighboring blocks. That is, it is determined whether the temporal neighboring block having the highest priority is a block coded by inter-prediction inter prediction, and if the temporal neighboring block having the highest priority is not coded by inter-view inter prediction, the temporal neighboring block having sub-priority is It will be determined whether the block is coded by inter-view inter prediction. This may be performed until a block coded by inter-view inter prediction is found. For example, suppose the priority between temporal neighboring blocks is set as shown in Table 2. However, this is only one embodiment, and the present invention is not limited thereto.
  • an interview motion vector may be derived using a neighboring block coded by temporal inter prediction.
  • the interview motion vector hereinafter referred to as the reference interview motion vector
  • the interview motion vector of the current texture block Can be set.
  • the neighboring block may be a spatial neighboring block or a temporal neighboring block.
  • the order of searching whether a neighboring block is coded by temporal inter prediction may include a method of searching for a temporal neighboring block after searching for a spatial neighboring block and a method of searching for a spatial neighboring block after searching for a temporal neighboring block.
  • the searching method in the spatial neighboring block may be the searching method described with reference to FIG. 3.
  • the searching method in the temporal neighboring block may be the searching method described with reference to FIG. 4.
  • a method of searching for a reference interview motion vector by priority will be described with reference to FIG. 7.
  • whether to be coded by the temporal inter prediction may be determined based on the motion vector identification information of the neighboring block.
  • the motion vector identification information designates a motion vector using temporal inter prediction
  • FIG. 5 illustrates a method of deriving a disparity vector of a current texture block using depth data as an embodiment to which the present invention is applied.
  • location information of a depth block (hereinafter, referred to as a current depth block) in a depth picture corresponding thereto may be obtained based on location information of a current texture block of a current picture (S500).
  • the position of the current depth block may be determined in consideration of the spatial resolution between the depth picture and the current picture. For example, when the depth picture and the current picture are coded with the same spatial resolution, the position of the current depth block may be determined as a block having the same position as the current texture block of the current picture. Meanwhile, the current picture and the depth picture may be coded at different spatial resolutions.
  • the decoder may involve an upsampling process for the depth picture before acquiring position information of the current depth block.
  • offset information may be additionally considered when acquiring position information of the current depth block in the upsampled depth picture.
  • the offset information may include at least one of top offset information, left offset information, right offset information, and bottom offset information.
  • the top offset information may indicate a position difference between at least one pixel located at the top of the upsampled depth picture and at least one pixel located at the top of the current picture.
  • Left, right, and bottom offset information may also be defined in the same manner.
  • Depth data corresponding to the position information of the current depth block may be obtained (S510).
  • depth data corresponding to corner pixels of the current depth block may be used.
  • depth data corresponding to the center pixel of the current depth block may be used.
  • any one of a maximum value, a minimum value, and a mode value may be selectively used among the plurality of depth data corresponding to the plurality of pixels, and an average value among the plurality of depth data may be used.
  • the disparity vector of the current texture block may be derived using the acquired depth data and the camera parameter (S520). A detailed derivation method will be described based on Equations 1 and 2 below.
  • Z means a distance from the camera of the pixel
  • D is a value quantized Z, corresponding to the depth data of the present invention.
  • Znear and Zfar mean the minimum value and the maximum value of Z defined for the viewpoint to which the depth picture belongs, respectively.
  • Znear and Zfar may be extracted from the bitstream through a sequence parameter set, a slice header, and the like, and may be information predefined in the decoder. Therefore, when the distance Z from the camera of the pixel is quantized to 256 levels, Z can be restored using depth data, Znear, and Zfar as shown in Equation (3). Then, the reconstructed Z may be used to derive the disparity vector for the current texture block as shown in Equation 4.
  • Equation 2 f means the focal length of the camera, B means the distance between the camera. f and B may be assumed to be the same for all cameras, and thus may be information predefined in the decoder.
  • a disparity vector map storing a disparity vector may be used.
  • the disparity vector map may be a map in which disparity vectors composed of horizontal and vertical components are stored in a two-dimensional array.
  • the disparity vector map of the present invention can be expressed in various sizes. For example, if only one disparity vector is used per picture, it may have a size of 1x1, and if the disparity vector is used for every 4x4 block in the picture, the width and height of the quarter may be adjusted for the picture size. Since the disparity vector map may have a 1/16 size of the picture.
  • the size of the current texture block in one picture may be adaptively determined, and a disparity vector may be stored for each texture block.
  • the interview motion vector may be derived using a global disparity vector (GDV) derived from the syntax of the slice or picture.
  • GDV global disparity vector
  • the global disparity vector is a vector indicating another view in which a reference picture is located at a current view in a slice or picture unit including a plurality of blocks. Since the global disparity vector is equally derived to the plurality of texture blocks, the case where the texture block has a different interview motion vector may additionally transmit an offset vector for compensating the motion vector to find the correct reference block in each texture block.
  • An interview motion vector obtained through the vector sum of the global disparity vector and the offset vector may be included in the interview motion vector candidate of the current texture block.
  • An interview motion vector candidate of the current texture block may include a spatial interview motion vector, a temporal interview motion vector, a disparity vector, and a reference interview motion vector, from which one may be derived the interview motion vector of the current texture block. I looked.
  • a method of deriving the interview motion vector of the current texture block from the interview motion vector candidate will be described.
  • the interview motion vector may be obtained in consideration of the priority among the interview motion vector candidates of the current texture block. Priority among the interview motion vector candidates may be set as shown in Table 3 below.
  • the spatial interview motion vector may have the highest priority, and then the priority may be set in order of the temporal interview motion vector, the reference interview motion vector, and the disparity vector.
  • FIG. 6 a method of deriving an interview motion vector when priorities between candidates are set as shown in Table 3 will be described.
  • priority may be set in order of temporal interview motion vector, spatial interview motion vector, disparity vector, reference interview motion vector, and then in order of variation vector, reference interview motion vector, spatial interview motion vector, temporal interview motion vector.
  • Priority may be set, and priority may be set in order of a reference interview motion vector, a spatial interview motion vector, a temporal interview motion vector, and a disparity vector.
  • the priority may be set in consideration of the frequency of which interview motion vector is used by the interview motion vector of the coded texture block.
  • a priority may be set between only certain categories. For example, the priority may be set between the spatial interview motion vector and the temporal interview motion vector and the reference interview motion vector, or the priority may be set between the spatial interview motion vector and the reference interview motion vector.
  • FIG. 6 illustrates a method of deriving an interview motion vector from a neighboring block coded by inter-view inter prediction based on a predetermined priority according to an embodiment to which the present invention is applied.
  • a block coded by inter-view inter prediction among spatial neighboring blocks may be searched for (S600).
  • priority between spatial neighboring blocks may also be considered in a process of searching for a block coded by inter-view inter prediction.
  • a block coded by inter-view inter prediction may be searched in the order of the lower left neighboring block, the left neighboring block, the upper right neighboring block, the upper neighboring block, and the upper left neighboring block.
  • a method of using the sameness between the POCs of the reference pictures of may be used.
  • the interview motion vector of the current texture block may be derived from the interview motion vector of the corresponding spatial neighboring block (S610).
  • a block coded by inter-view inter prediction among temporal neighboring blocks may be searched (S620).
  • Candidates of the temporal neighboring block may include at least one of a) blocks of the same location, and b) neighboring blocks adjacent to the blocks of the same location, and as described above, the inter-viewpoints may be considered in consideration of priorities among candidates of the temporal neighboring blocks.
  • the interview motion vector of the current texture block may be derived using the interview motion vector of the temporal neighboring block (S630).
  • the spatial or temporal neighboring block is not coded with inter-view inter prediction, that is, even when coded with temporal inter prediction, when the motion vector of the corresponding neighboring block is derived from the reference view motion vector, it corresponds to the reference view motion vector.
  • the reference interview motion vector may be derived (S640).
  • the interview motion vector of the current texture block is obtained by using the reference interview motion vector for determining the reference view motion vector. It can be induced (S650).
  • the interview motion vector may be derived using the disparity vector of the current texture block (S660).
  • FIG. 7 illustrates a method of searching for a neighboring block to obtain a reference interview motion vector as an embodiment to which the present invention is applied.
  • the spatial neighboring block may be A0, A1, B0, B1, B2 of FIG. 3 and additionally C0, C1, D0, D1.
  • the search of the spatial neighboring block may be, for example, A1-> B1-> B0-> A0-> B2 and additionally search for C0, C1, D0, and D1.
  • the spatial neighboring blocks and the order of searching are not limited thereto.
  • a reference interview motion vector for determining the reference view motion vector is derived as the interview motion vector of the current texture block (S710).
  • the motion vector of the spatial neighboring block is not derived from the reference view motion vector, it is checked whether the motion vector of the temporal neighboring block is derived from the reference view motion vector (S720).
  • a reference interview motion vector for determining the corresponding reference view motion vector is derived as the interview motion vector of the current texture block (S730).
  • FIG 8 illustrates an example of deriving an interview motion vector by parallel processing as an embodiment to which the present invention is applied.
  • the parallel motion of adjacent texture blocks can lead to an interview motion vector.
  • the search for the neighboring texture block may be limited based on the split mode of the current texture block. For example, as shown in FIG. 8, in the case where the partition mode of the current texture block is a vertical rectangle (for example, NX 2N) and the block index is 1 (texture block 1), the neighbor block 8 It may limit the search of the interview motion vector for.
  • the interview motion vector is derived by parallel processing as described above, candidates of the interview motion vector may be reduced.
  • the neighboring block 3 which is the neighboring block of the texture block 0, may be searched to obtain information about the interview motion vector.
  • the global disparity vector of adjacent texture blocks may be derived and added to the interview motion vector candidate.
  • the search of the interview motion vector for the top neighboring block of the texture block having the block index 1 is performed. Can be limited. This is because the upper neighboring block is included in the texture block having the block index of 0, and the texture block having the block index of 0 does not exist in the current interview motion vector by parallel processing.
  • FIG. 9 is a diagram illustrating an embodiment of determining whether to search for a spatial neighboring block according to a location of a current texture block as an embodiment to which the present invention is applied.
  • the coding unit refers to a basic unit for processing an image in a process of processing a video signal, for example, intra- or inter-screen prediction, transformation, quantization, and entropy coding.
  • the size of the coding unit used in coding one image may not be constant.
  • One coding unit may be divided into several coding units again.
  • the decoder may determine the size of the coding unit by receiving the maximum size coding unit (LCU) information and the information indicating the difference between the maximum size coding unit and the minimum size coding unit.
  • LCU maximum size coding unit
  • the spatial neighboring blocks searched to derive the interview motion vector of the current texture block include blocks located on the top of the current texture block and blocks located on the left.
  • the spatial neighboring block is located in a maximum coding unit different from the current texture block, it may be restricted so that the interview motion vector of the current texture block is not derived from the interview motion vector of the spatial neighboring block. To do this, storing the interview motion vector of the corresponding spatial neighboring block in the temporary memory can be omitted.
  • the storing of the interview motion vector in the temporary memory may be omitted for only the neighboring block located above the current texture block among the spatial neighboring blocks.
  • the temporary memory may exist for each line of the picture, and in this case, the temporary memory of the line to which the spatial neighboring block belongs is unnecessary and may be removed.
  • the neighboring block belonging to the left maximum size coding unit (Left LCU) located at the left side of the current texture block is located. It may be searched whether it is coded by the interview motion vector or the reference view motion vector, and whether the neighboring block belonging to the upper LCU located above the current texture block is coded by the interview motion vector.
  • the neighbor block belonging to the left maximum size coding unit located on the left side of the current texture block and the information of the current maximum size coding unit may be searched for.
  • the current texture block is located in the current maximum size coding unit (3), it may be searched using only the information of the current maximum size coding unit.
  • FIG. 10 illustrates a motion information packet in units of coding blocks according to an embodiment to which the present invention is applied.
  • the reference interview motion vector is an interview motion vector used in the process of deriving the reference view motion vector. If the reference view motion vector is highly reliable, the reference interview motion vector is also derived correctly and may be usefully used as shown in FIG. 7. Therefore, if the reference interview motion vectors are distributed in units of coding blocks, the accuracy of decoding may be improved more than that of memory congestion.
  • the decoding / encoding device to which the present invention is applied may be provided in a multimedia broadcasting transmission / reception device such as DMB (Digital Multimedia Broadcasting), and may be used to decode video signals and data signals.
  • the multimedia broadcasting transmission / reception apparatus may include a mobile communication terminal.
  • the decoding / encoding method to which the present invention is applied may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and multimedia data having a data structure according to the present invention may also be read by a computer. It can be stored in the recording medium.
  • the computer readable recording medium includes all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, which are also implemented in the form of a carrier wave (eg, transmission over the Internet). It also includes.
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted using a wired / wireless communication network.
  • the invention can be used to code a video signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 고려하여 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 단계와 상기 인터뷰 모션 벡터 후보자는 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터 및 참조 인터뷰 모션 벡터 중 적어도 하나를 포함하고, 상기 유도된 인터뷰 모션 벡터를 이용하여 시점 간 인터 예측을 수행하는 것을 특징으로 하는 비디오 신호 처리 방법입니다. 본 발명은 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터 또는 참조 인터뷰 모션 벡터 중 어느 하나를 선택적으로 이용하여 정확한 인터뷰 모션 벡터를 유도함으로써 시점 간 인터 예측의 정확성을 높일 수 있고, 전송되는 레지듀얼 데이터의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다.

Description

비디오 신호 처리 방법 및 장치
본 발명은 비디오 신호의 코딩 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 다시점 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성 및 시점간 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
본 발명은 이웃 블록의 인터뷰 모션 벡터 또는 변이 벡터 중 하나에 기초하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 것을 특징으로 한다.
본 발명은 이웃 블록의 인터뷰 모션 벡터 및 변이 벡터를 포함한 후보자 간의 우선순위를 고려하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 것을 특징으로 한다.
본 발명은 현재 텍스쳐 블록의 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록의 인터뷰 모션 벡터뿐만 아니라 참조뷰 모션 벡터를 이용하여 시간적 인터 예측으로 코딩된 블록으로부터 인터뷰 모션 벡터를 유도하여 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자로 이용하는 것을 특징으로 한다.
본 발명에 따른 공간적 이웃 블록은 좌측하단, 좌측, 우측상단, 상단, 좌측상단에 인접한 이웃 블록 중 적어도 하나를 포함하고, 공간적 이웃 블록들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색하여 공간적 인터뷰 모션 벡터를 획득하는 것을 특징을 한다.
본 발명에 따른 시간적 이웃 블록은 동일 위치의 블록, 동일 위치의 블록에 인접한 이웃 블록 중 적어도 하나를 포함하고, 시간적 이웃 블록들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색하여 시간적 인터뷰 모션 벡터를 획득하는 것을 특징으로 한다.
본 발명은 인터뷰 모션 벡터를 이용한 시점 간 인터 예측을 수행함으로써, 시점 간의 상관 관계를 활용하여 비디오 데이터 예측의 정확성을 높일 수 있다. 또한, 인터뷰 모션 벡터는 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터, 참조 인터뷰 모션 벡터 또는 변이 벡터 중 어느 하나를 선택적으로 이용함으로써, 정확인 인터뷰 모션 벡터를 유도함으로써 시점 간 인터 예측의 정확성을 높일 수 있고, 전송되는 레지듀얼 데이터의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다. 그리고 공간적 이웃 블록 또는 시간적 이웃 블록의 시점 간 인터 예측으로 코딩된 블록뿐만 아니라 시간적 인터 예측으로 코딩된 블록인 경우에도 참조뷰 모션 벡터에 대응하는 참조 인터뷰 모션 벡터를 후보자로 이용하도록 함으로써, 정확한 인터뷰 모션 벡터를 예측할 수 있다. 한편, 다수의 인터뷰 모션 벡터 후보자에 대해서 우선순위를 결정하고, 해당 우선순위에 따라 순차적으로 시점 간 인터 예측으로 코딩된 블록을 탐색함으로써, 인터뷰 모션 벡터를 유도하는 과정의 복잡도를 줄일 수도 있다.
도 1은 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 모션 벡터 리스트 생성부의 개략적인 구성을 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 공간적 이웃 블록의 예를 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 시간적 이웃 블록의 예를 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 뎁스 데이터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도하는 방법을 도시한 것이다.
도 6은 본 발명이 적용되는 일실시예로서, 기설정된 우선순위에 기초하여 시점 간 인터 예측으로 코딩된 이웃 블록으로부터 인터뷰 모션 벡터를 유도하는 흐름도를 도시한 것이다.
도 7은 본 발명이 적용되는 일실시예로서, 참조 인터뷰 모션벡터를 획득하기 위해 이웃 블록을 탐색하는 흐름도를 도시한 것이다.
도 8은 본 발명이 적용되는 일실시예로서, 병렬 처리에 의해 인터뷰 모션 벡터를 유도하는 예를 도시한 것이다.
도 9는 본 발명이 적용되는 일실시예로서, 현재 텍스쳐 블록의 위치에 따라 공간적 이웃 블록의 탐색 여부를 결정하는 일실시예를 도시한 것이다.
도 10은 본 발명이 적용되는 일실시예로서, 코딩 블록 단위의 모션 정보 패킷을 도시한 것이다.
본 발명은 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 고려하여 상기 인터뷰 모션 벡터 후보자 중 어느 하나로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 단계와 상기 인터뷰 모션 벡터 후보자는 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터 및 참조 인터뷰 모션 벡터 중 적어도 하나를 포함하고, 상기 유도된 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록에 대해 시점 간 인터 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법이다.
본 발명은 상기 참조 인터뷰 모션 벡터는 상기 공간적 이웃 블록과 상기 시간적 이웃 블록 중 적어도 하나가 참조뷰 모션 벡터로 유도된 경우 상기 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터인 것을 특징으로 하는 비디오 신호 처리 방법이다.
다시점 비디오 신호 데이터를 압축 부호화 또는 복호화하는 기술은 공간적 중복성, 시간적 중복성 및 시점간 존재하는 중복성을 고려하고 있다. 또한, 다시점 영상의 경우, 3차원 영상을 구현하기 위해 2개 이상의 시점에서 촬영된 다시점 텍스쳐 영상을 코딩할 수 있다. 또한, 필요에 따라 다시점 텍스쳐 영상에 대응하는 뎁스 데이터를 더 코딩할 수도 있다. 뎁스 데이터를 코딩함에 있어서, 공간적 중복성, 시간적 중복성 또는 시점간 중복성을 고려하여 압축 코딩할 수 있음은 물론이다. 뎁스 데이터는 카메라와 해당 화소 간의 거리 정보를 표현한 것이며, 본 명세서 내에서 뎁스 데이터는 뎁스 정보, 뎁스 영상, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 비트스트림 등과 같이 뎁스에 관련된 정보로 유연하게 해석될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
도 1은 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 1을 참조하면, 비디오 디코더는 NAL 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 인-루프 필터부(500), 복호 픽쳐 버퍼부(600), 인터 예측부(700)를 포함할 수 있다. NAL 파싱부 (100)는 다시점 텍스쳐 데이터를 포함한 비트스트림을 수신할 수 있다. 또한, 뎁스 데이터가 텍스쳐 데이터의 코딩에 필요한 경우, 인코딩된 뎁스 데이터를 포함한 비트스트림을 더 수신할 수도 있다. 이 때 입력되는 텍스쳐 데이터와 뎁스 데이터는 하나의 비트스트림으로 전송될 수 있고, 또는 별개의 비트스트림으로 전송될 수도 있다. NAL 파싱부(100)는 입력된 비트스트림을 복호화하기 위해 NAL 단위로 파싱을 수행할 수 있다. 입력된 비트스트림이 다시점 관련 데이터(예를 들어, 3-Dimensional Video)인 경우, 입력된 비트스트림은 카메라 파라미터를 더 포함할 수 있다. 카메라 파라미터에는 고유의 카메라 파라미터 (intrinsic camera parameter) 및 비고유의 카메라 파라미터 (extrinsic camera parameter)가 있을 수 있고, 고유의 카메라 파라미터는 초점 거리(focal length), 가로세로비(aspect ratio), 주점(principal point) 등을 포함할 수 있고, 비고유의 카메라 파라미터는 세계 좌표계에서의 카메라의 위치정보 등을 포함할 수 있다.
엔트로피 디코딩부(200)는 엔트로피 디코딩을 통하여 양자화된 변환 계수, 텍스쳐 픽쳐의 예측을 위한 코딩 정보 등을 추출할 수 있다.
역양자화/역변환부(300)에서는 양자화된 변환 계수에 양자화 파라미터를 적용하여 변환 계수를 획득하고, 변환 계수를 역변환하여 텍스쳐 데이터 또는 뎁스 데이터를 복호화할 수 있다. 여기서, 복호화된 텍스쳐 데이터 또는 뎁스 데이터는 예측 처리에 따른 레지듀얼 데이터를 포함할 수 있다. 또한, 뎁스 블록에 대한 양자화 파라미터는 텍스쳐 데이터의 복잡도를 고려하여 설정될 수 있다. 예를 들어, 뎁스 블록에 대응하는 텍스쳐 블록이 복잡도가 높은 영역인 경우에는 낮은 양자화 파라미터를 설정하고, 복잡도가 낮은 영역인 경우에는 높은 양자화 파라미터를 설정할 수 있다.
인트라 예측부(400)는 현재 텍스쳐 픽쳐 내의 복원된 텍스쳐 데이터를 이용하여 화면 내 예측을 수행할 수 있다. 뎁스 픽쳐에 대해서도 텍스쳐 픽쳐와 동일한 방식으로 화면 내 예측이 수행될 수 있다. 예를 들어, 텍스쳐 픽쳐의 화면 내 예측을 위해 이용되는 코딩 정보를 뎁스 픽쳐에서도 동일하게 이용할 수 있다. 여기서, 화면 내 예측을 위해 이용되는 코딩 정보는 인트라 예측 모드, 인트라 예측의 파티션 정보를 포함할 수 있다.
인-루프 필터부(500)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 블록에 인-루프 필터를 적용할 수 있다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 픽쳐의 화질을 향상시킬 수 있다. 필터링을 거친 텍스쳐 픽쳐 또는 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장될 수 있다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면 간 예측을 수행하기 위해서 이전에 코딩된 텍스쳐 픽쳐 또는 뎁스 픽쳐를 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용할 수 있다. 나아가, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 뎁스 픽쳐의 시점을 식별하는 시점 식별 정보를 이용할 수도 있다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 텍스쳐 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다.
인터 예측부(700)는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐와 모션 정보를 이용하여 현재 블록의 모션 보상을 수행할 수 있다. 본 명세서에서 모션 정보라 함은 모션 벡터, 레퍼런스 인덱스 정보를 포함하는 광의의 개념으로 이해될 수 있다. 또한, 인터 예측부(700)는 모션 보상을 수행하기 위해 시간적 인터 예측을 수행할 수 있다. 시간적 인터 예측이라 함은 현재 텍스쳐 블록과 동일 시점 및 다른 시간대에 위치한 참조 픽쳐 및 현재 텍스쳐 블록의 모션 정보를 이용한 인터 예측을 의미할 수 있다. 또한, 복수 개의 카메라에 의해 촬영된 다시점 영상의 경우, 시간적 인터 예측뿐만 아니라 시점 간 인터 예측을 더 수행할 수도 있다. 시점 간 인터 예측이라 함은 현재 텍스쳐 블록과 다른 시점에 위치한 참조 픽쳐와 현재 텍스쳐 블록의 모션 정보를 이용한 인터 예측을 의미할 수 있다. 한편, 이해 편의를 위하여 시점 간 예측에 이용되는 모션 정보를 인터뷰 모션 벡터, 인터뷰 레퍼런스 인덱스 정보라 부르기로 한다. 따라서, 본 명세서에서 모션 정보는 인터뷰 모션 벡터와 인터뷰 레퍼런스 인덱스 정보를 포함하는 개념으로 유연하게 해석될 수 있다. 이하, 인터 예측부(700)에서 현재 텍스쳐 블록의 모션 정보 특히, 모션 벡터를 유도하는 방법에 대해서 살펴 보기로 한다.
도 2는 본 발명이 적용되는 일실시예로서, 모션 벡터 리스트 생성부의 개략적인 구성을 도시한 것이다.
발명의 모션 벡터 리스트 생성부(710)는 디코더의 인터 예측부(700)에 포함될 수 있다. 모션 벡터 리스트 생성부(710)는 크게 리스트 초기화부(720)와 리스트 수정부(730)로 구성될 수 있다. 리스트 초기화부(720)는 모션 벡터 후보자들로 구성된 모션 벡터 리스트를 생성할 수 있다. 여기서, 모션 벡터 후보자는 현재 텍스쳐 블록의 모션 벡터 또는 예측된 모션 벡터로 이용 가능한 모션 벡터의 집합을 의미할 수 있다. 본 발명의 모션 벡터 후보자는 공간적 모션 벡터, 시간적 모션 벡터, 참조뷰 모션 벡터 및 인터뷰 모션 벡터 중 적어도 하나를 포함할 수 있다. 본 발명의 모션 벡터 후보자에 포함된 공간적 모션 벡터, 시간적 모션 벡터, 참조뷰 모션 벡터 및 인터뷰 모션 벡터는 모션 벡터 리스트 초기화부(720)에 포함된 공간적 모션 벡터 결정부(740), 시간적 모션 벡터 결정부(750), 참조뷰 모션 벡터 결정부(760) 및 인터뷰 모션 벡터 결정부(770)에서 각각 획득된다.
먼저, 공간적 모션 벡터 결정부(740)는 현재 텍스쳐 블록에 공간적으로 인접한 이웃 블록의 모션 벡터로부터 공간적 모션 벡터를 유도할 수 있다. 예를 들어, 공간적으로 인접한 이웃 블록은 현재 텍스쳐 블록의 좌측, 상단, 좌측하단, 좌측상단, 우측상단에 각각 위치한 블록 중 어느 하나일 수 있다. 현재 텍스쳐 블록과 이웃 블록의 참조 픽쳐가 동일하다고 판단되는 경우, 동일한 참조 픽쳐를 가진 이웃 블록의 모션 벡터를 모션 벡터 리스트에 추가할 수 있다.
시간적 모션 벡터 결정부(750)는 현재 텍스쳐 블록에 시간적으로 인접한 이웃 블록의 모션 벡터로부터 시간적 모션 벡터를 유도할 수 있다. 예를 들어, 시간적으로 인접한 이웃 블록은 현재 텍스쳐 블록과 동일 시점 및 다른 시간대에 위치한 참조 픽쳐 내에서 현재 텍스쳐 블록과 동일한 위치에 있는 블록(collocated block) 또는 현재 텍스쳐 블록과 동일한 위치에 있는 블록과 이웃한 블록이 해당될 수 있다. 여기서, 참조 픽쳐는 상기 시간적 이웃 블록을 포함하고 있는 픽쳐의 레퍼런스 인덱스 정보에 의해서 특정될 수 있다.
참조뷰 모션 벡터 결정부(760)는 현재 텍스쳐 블록과 다른 시점에 위치한 대응 블록의 모션 벡터로부터 참조뷰 모션 벡터를 유도할 수 있다. 여기서, 대응 블록은 현재 텍스쳐 블록의 인터뷰 모션 벡터에 의해 지시된 블록일 수 있다. 예를 들어, 현재 텍스쳐 블록의 인터뷰 모션 벡터를 이용하여 다른 시점 내의 대응 블록을 특정하고, 특정된 대응 블록의 모션 벡터를 현재 텍스쳐 블록의 참조뷰 모션 벡터로 설정할 수 있다.
인터뷰 모션 벡터 결정부(770)는 시점간 인터 예측에 의해 코딩되어 있는 현재 텍스쳐 블록의 공간적 이웃 블록 또는 시간적 이웃 블록의 인터뷰 모션 벡터, 현재 텍스쳐 블록에 대응하는 뎁스 픽쳐의 뎁스 블록으로부터 유도된 변이 벡터, 현재 텍스쳐 블록의 이웃 블록이 참조뷰 모션 벡터를 이용하여 시간적 인터 예측을 하는 경우 참조뷰 모션 벡터를 결정하기 위한 인터뷰 모션 벡터로부터 현재 텍스쳐 블록의 참조 블록을 나타내는 인터뷰 모션 벡터를 유도할 수 있다.
한편, 참조뷰 모션 벡터를 결정할 때 이용되는 인터뷰 모션 벡터 역시 현재 텍스쳐 블록의 모션 벡터 후보자에 포함되어 모션 벡터 리스트를 구성할 수도 있다. 이 경우, 인터뷰 모션 벡터는 현재 텍스쳐 블록의 참조 픽쳐가 동일 시점에 위치하는지, 아니면 다른 시점에 위치하는지를 고려하여 모션 벡터 리스트에 포함될 수 있다. 예를 들어, 현재 텍스쳐 블록의 참조 픽쳐가 현재 텍스쳐 블록과 다른 시점을 가지는 경우에 인터뷰 모션 벡터를 모션 벡터 리스트에 추가할 수 있다. 또는, 현재 텍스쳐 블록의 레퍼런스 인덱스 정보가 시점 간 예측을 위한 참조 픽쳐를 나타내는 경우에 인터뷰 모션 벡터를 모션 벡터 리스트에 추가할 수도 있다. 한편, 본 발명에 따른 인터뷰 모션 벡터를 유도하는 방법에 대해서는 도 3 내지 도 7에서 살펴 보기로 한다.
리스트 초기화부(720)에서 생성된 모션 벡터 리스트는 현재 텍스쳐 블록의 모션 벡터를 유도하기 위한 최종적인 모션 벡터 리스트로 이용될 수도 있고, 모션 벡터 후보자 간의 중복성 제거 등을 위하여 리스트 수정부(730)를 거쳐 수정될 수도 있다. 예를 들어, 리스트 수정부(730)는 리스트 초기화부(720)에서 생성된 모션 벡터 리스트에서 공간적 모션 벡터들 간의 동일 여부를 확인할 수 있다. 확인 결과, 동일한 공간적 모션 벡터들이 존재하는 경우, 둘 중의 어느 하나를 모션 벡터 리스트로부터 제거할 수 있다. 나아가, 모션 벡터 리스트 내에서 모션 벡터 후보자 간의 중복성을 제거한 이후에 모션 벡터 리스트에 남아있는 모션 벡터 후보자의 개수가 2개 미만인 경우에는 제로 모션 벡터(zero motion vector)를 추가할 수 있다. 반면, 모션 벡터 후보자 간의 중복성을 제거한 이후에도 모션 벡터 리스트에 남아있는 모션 벡터 후보자의 개수가 2개를 초과하는 경우에는 2개의 모션 벡터 후보자를 제외한 나머지 모션 벡터 후보자를 모션 벡터 리스트에서 제거할 수 있다. 여기서, 모션 벡터 리스트에 남아있는 2개의 모션 벡터 후보자는 모션 벡터 리스트 내에서 상대적으로 작은 리스트 식별 인덱스를 가진 후보자일 수 있다. 여기서, 리스트 식별 인덱스는 모션 벡터 리스트에 포함된 모션 벡터 후보자에 각각 할당된 것으로서, 모션 벡터 리스트에 포함된 각각의 모션 벡터 후보자를 식별하기 위한 정보를 의미할 수 있다.
이하 인터 예측부(700)에서 모션 벡터 리스트로부터 현재 텍스쳐 블록의 모션 벡터를 유도하는 방법에 대해서 살펴보기로 한다.
먼저, 현재 텍스쳐 블록에 대한 모션 벡터 식별 정보를 비트스트림으로부터 추출할 수 있다. 모션 벡터 식별 정보는 현재 텍스쳐 블록의 모션 벡터 또는 예측된 모션 벡터로 이용되는 모션 벡터 후보자를 특정하는 정보일 수 있다, 즉, 추출된 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자를 모션 벡터 리스트로부터 추출하고, 이를 현재 텍스쳐 블록의 모션 벡터 또는 예측된 모션 벡터로 설정할 수 있다. 또한, 상기 모션 벡터 식별 정보에 대응하는 모션 벡터 후보자가 현재 텍스쳐 블록의 예측된 모션 벡터로 설정되는 경우, 현재 텍스쳐 블록의 모션 벡터를 복원하기 위해 모션 벡터 차분값이 이용될 수 있다. 여기서, 모션 벡터 차분값은 디코딩된 모션 벡터와 예측된 모션 벡터 간의 차분 벡터를 의미할 수 이다. 따라서, 모션 벡터 리스트로부터 획득된 예측된 모션 벡터와 비트스트림으로부터 추출된 모션 벡터 차분값을 이용하여 현재 텍스쳐 블록의 모션 벡터를 디코딩할 수 잇다. 디코딩된 모션 벡터 및 참조 픽쳐 리스트를 이용하여 현재 텍스쳐 블록의 픽셀값을 예측할 수 있다. 여기서, 참조 픽쳐 리스트는 시간적 인터 예측을 위한 참조 픽쳐뿐만 아니라 시점 간 인터 예측을 위한 참조 픽쳐를 포함할 수 있다. 도 2에서 살펴본 인터뷰 모션 벡터는 공간적 인터뷰 모션 벡터, 시간적 인터뷰 모션 벡터, 변이 벡터 및 참조 인터뷰 모션 벡터 중에서 선택된 어느 하나로부터 유도될 수 있다.
본 발명의 공간적 인터뷰 모션 벡터는 현재 텍스쳐 블록에 공간적으로 인접한 이웃 블록 중에서 시점 간 인터 예측으로 코딩된 이웃 블록의 모션 벡터로부터 유도될 수 있다. 다시 말해, 공간적 인터뷰 모션 벡터는 현재 텍스쳐 블록의 공간적 이웃 블록 중 인터뷰 모션 벡터를 가진 이웃 블록을 이용하여 유도될 수 있으며, 이는 도 3를 참조하여 살펴 보기로 한다.
본 발명의 시간적 인터뷰 모션 벡터는 현재 텍스쳐 블록의 시간적 이웃 블록 중에서 시점 간 인터 예측으로 코딩된 이웃 블록의 모션 벡터로부터 유도될 수 있다. 다시 말해, 시간적 인터뷰 모션 벡터는 현재 텍스쳐 블록의 시간적 이웃 블록 중 인터뷰 모션 벡터를 가진 이웃 블록을 이용하여 유도될 수 있다. 여기서, 시간적 이웃 블록은 현재 텍스쳐 블록을 포함한 현재 픽쳐와 동일 시점을 가진 참조 픽쳐 내에서 현재 텍스쳐 블록과 동일 위치 및/또는 인접 위치에 있는 블록을 의미할 수 있으며, 이는 도 4를 참조하여 살펴 보기로 한다.
본 발명의 참조 인터뷰 모션 벡터는 참조뷰 모션 벡터를 결정하기 위한 인터뷰 모션 벡터로부터 유도할 수 있다. 다시 말해, 현재 텍스쳐 블록의 공간적 이웃 블록 또는 시간적 이웃 블록이 참조뷰 모션 벡터를 이용하여 시간적 인터 예측을 하는 경우 참조뷰 모션 벡터에 대응하는 인터뷰 모션벡터를 참조 인터뷰 모션 벡터라고 할 수 있다.
한편, 본 발명의 변이 벡터는 다시점 영상에 있어서의 시점 간 변이를 나타낼 수 있다. 다시점 영상의 경우, 카메라 위치에 따른 시점 간 변이가 발생할 수 있고, 변이 벡터는 이러한 시점 간 변이를 보상해 줄 수도 있다. 변이 벡터를 유도하는 방법에 대해서는 도 5을 참조하여 살펴 보기로 한다.
도 3은 본 발명이 적용되는 일실시예로서, 공간적 이웃 블록의 예를 도시한 것이다.
도 3(a)를 참조하면, 공간적 이웃 블록은 좌측하단 이웃 블록 (A0), 좌측 이웃 블록 (A1), 우측상단 이웃 블록 (B0), 상단 이웃 블록 (B1), 좌측상단 이웃 블록 (B2) 중 적어도 하나를 포함할 수 있다. 먼저, 상기 언급한 공간적 이웃 블록들 중에서 시점 간 인터 예측으로 코딩된 블록을 탐색하고, 시점 간 인터 예측으로 코딩된 이웃 블록의 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 설정할 수 있다. 한편, 공간적 이웃 블록들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다. 시점 간 인터 예측으로 코딩된 블록을 탐색함에 있어서, 공간적 이웃 블록들 간의 우선순위가 표 1과 같이 설정되어 있다고 가정하자.
표 1
우선순위 공간적 이웃 블록
0 좌측 이웃 블록
1 상단 이웃 블록
2 우측상단 이웃 블록
3 좌측하단 이웃 블록
4 좌측상단 이웃 블록
표 1을 참조하면, 우선순위의 값이 작을수록 높은 우선순위를 의미한다.
따라서, 좌측 이웃 블록, 상단 이웃 블록, 우측상단 이웃 블록, 좌측하단 이웃 블록, 좌측상단 이웃 블록 순으로 시점 간 인터 예측으로 코딩된 블록을 찾을 때까지 탐색을 수행할 수 있다. 예를 들어, 좌측 이웃 블록이 시점 간 인터 예측으로 코딩된 블록인 경우, 좌측 이웃 블록의 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 설정하고, 탐색을 종료할 수 있다. 그러나, 탐색 결과, 좌측 이웃 블록이 시점 간 인터 예측으로 코딩되지 아니한 경우에는 상단 이웃 블록이 시점 간 인터 예측으로 코딩되어 있는지 확인할 수 있다. 또는, 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 시점 간 인터 예측으로 코딩된 블록을 찾을 때까지 탐색을 수행할 수도 있다. 다만, 공간적 이웃 블록들 간의 우선순위는 상기 실시예에 한정되지 아니한다.
한편, 시점 간 인터 예측으로 코딩되는지 여부를 판별하는 방법에 대해서 살펴 보기로 한다. 일실시예로서, 시점 간 인터 예측으로 코딩되는지 여부는 해당 이웃 블록이 시점 간 참조 픽쳐 리스트를 이용하는지에 기초하여 판별할 수 있다. 시점 간 참조 픽쳐 리스트는 해당 이웃 블록의 시점과 다른 시점에 위치한 참조 픽쳐로 구성된 리스트를 의미할 수 있다. 또는, 해당 이웃 블록의 레퍼런스 인덱스 정보에 기초하여 판별할 수도 있다. 예를 들어, 해당 이웃 블록의 레퍼런스 인덱스 정보가 해당 이웃 블록의 시점과 다른 시점에 위치한 참조 픽쳐를 특정하는 경우, 해당 이웃 블록은 시점 간 인터 예측으로 코딩됨을 특정할 수 있다. 또는, 해당 이웃 블록을 포함한 픽쳐의 POC와 해당 이웃 블록의 참조 픽쳐의 POC 간의 동일 여부에 기초하여 판별할 수도 있다. POC는 출력 순서 정보이며, 동일 액세스 유닛 (access unit) 내의 픽쳐들은 동일한 POC를 가질 수 있다. 따라서, 양자의 POC가 동일하다는 것은 해당 이웃 블록을 포함한 픽쳐와 참조 픽쳐가 서로 상이한 시점에 위치함을 의미할 것이고, 이 경우 해당 이웃 블록은 시점 간 인터 예측으로 코딩되는 것으로 특정할 수 있다.
도 3(b)는 공간적 이웃 블록의 후보자를 확장한 예이다. 좌측 이웃 블록 (A1)의 크기가 현재 텍스쳐 블록의 크기보다 작은 경우, 현재 텍스쳐 블록은 적어도 하나 이상의 좌측 이웃 블록을 더 가질 수 있다. 예를 들어, 도 3(b)와 같이, 본 발명의 공간적 이웃 블록은 좌측 이웃 블록 (A1)과 좌측상단 이웃 블록 (B4) 사이에 위치한 좌측 이웃 블록 (A2, A3)을 더 포함할 수 있다. 동일한 방식으로 상단 이웃 블록 (B1)의 크기가 현재 텍스쳐 블록의 크기보다 작은 경우, 본 발명의 공간적 이웃 블록은 상단 이웃 블록 (B1)과 좌측상단 이웃 블록 (B4) 사이에 위치한 상단 이웃 블록 (B2, B3)을 더 포함할 수 있다. 이 경우에도 공간적 이웃 블록들 간의 우선순위 (예를 들어, A1 -> B1 -> B0 -> A0 -> B2 -> C0 -> C1 -> D0 -> D1)를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있음은 물론이다. 이와 같이 현재 텍스쳐 블록의 인터뷰 모션 벡터로 유도하기 위한 공간적 이웃 블록의 후보자를 확장함으로써, 현재 텍스쳐 블록의 인터뷰 모션 벡터를 획득할 수 있는 확률을 높일 수 있다.
도 4는 본 발명이 적용되는 일실시예로서, 시간적 이웃 블록의 예를 도시한 것이다.
도 4를 참조하면, 시간적 이웃 블록은 현재 텍스쳐 블록의 참조 픽쳐 내에서 현재 텍스쳐 블록과 동일한 위치에 있는 블록 (이하, 동일 위치의 블록이라 한다.)을 의미할 수 있다. 여기서, 참조 픽쳐는 현재 텍스쳐 블록을 포함한 현재 픽쳐와 동일 시점 및 다른 시간대에 위치한 픽쳐를 의미할 수 있다. 본 발명의 동일 위치의 블록은 도 4에 도시된 바와 같이 2가지 방법으로 정의될 수 있다.
도 4(a)를 참조하면, 동일 위치의 블록은 현재 텍스쳐 블록의 중심 픽셀의 위치 (C)에 대응하는 참조 픽쳐 내에서의 C위치를 포함하는 블록으로 정의될 수 있다. 또는, 도 4(b)를 참조하면, 동일 위치의 블록은 현재 텍스쳐 블록의 좌측상단 픽셀의 위치 (X)에 대응하는 참조 픽쳐 내에서의 X위치를 포함하는 블록으로 정의될 수도 있다. 한편, 본 발명의 시간적 이웃 블록은 동일 위치의 블록에 한정되지 아니하며, 상기 동일 위치의 블록에 인접한 이웃 블록을 의미할 수도 있다. 도 4(a)에 도시된 바와 같이, 동일 위치의 블록에 인접한 이웃 블록으로 좌측하단 이웃 블록 (A0), 좌측 이웃 블록 (A1), 우측상단 이웃 블록 (B0), 상단 이웃 블록 (B1), 좌측상단 이웃 블록 (B2) 중 적어도 어느 하나를 이용할 수 있다. 나아가, 참조 픽쳐는 현재 픽쳐 이전에 이미 디코딩이 되어 있으므로, 동일 위치의 블록의 하단 및 우측에 인접한 이웃 블록도 시간적 이웃 블록으로 이용될 수 있다. 예를 들어, 도 4(a)에 도시된 바와 같이, 시간적 이웃 블록으로 우측하단 이웃 블록 (C0), 하단 이웃 블록 (C1), 우측 이웃 블록 (C2)이 이용될 수도 있다. 한편, 시간적 이웃 블록의 후보자로 언급한 a) 동일 위치의 블록, b) 동일 위치의 블록에 인접한 이웃 블록, 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다. 즉, 최우선순위를 가진 시간적 이웃 블록이 시점 간 인터 예측으로 코딩된 블록인지 여부를 판별하고, 최우선순위를 가진 시간적 이웃 블록이 시점 간 인터 예측으로 코딩되지 아니한 경우에는 차우선순위를 가진 시간적 이웃 블록이 시점 간 인터 예측으로 코딩된 블록인지 여부를 판별할 것이다. 이는 시점 간 인터 예측으로 코딩된 블록을 찾을 때까지 수행할 수 있다. 예를 들어, 시간적 이웃 블록들 간의 우선순위가 표 2와 같이 설정되어 있다고 가정하자. 다만, 이는 일실시예에 불과하며, 본 발명은 이에 한정되지 아니한다.
표 2
우선순위 시간적 이웃 블록
0 동일 위치의 블록
1 동일 위치의 블록에 인접한 이웃 블록
이하에서는 참조 인터뷰 모션 벡터가 유도되는 과정을 설명한다.
공간적 이웃 블록과 시간적 이웃 블록이 모두 시점간 인터 예측으로 코딩되어 있지 않은 경우 시간적 인터 예측으로 코딩되어 있는 이웃 블록을 이용하여 인터뷰 모션 벡터를 유도할 수 있다. 이웃 블록이 참조뷰 모션 벡터를 이용하여 시간적 인터 예측으로 코딩된 경우, 참조뷰 모션 벡터를 결정하기 위해 이용되었던 인터뷰 모션 벡터(이하, 참조 인터뷰 모션 벡터라고 한다)를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 설정할 수 있다.
상기 이웃 블록은 공간적 이웃 블록 또는 시간적 이웃 블록일 수 있다. 그리고 이웃 블록이 시간적 인터 예측으로 코딩되어 있는지 여부를 탐색하는 순서는 공간적 이웃 블록 탐색 후 시간적 이웃 블록을 탐색하는 방법과 시간적 이웃 블록을 탐색 후 공간적 이웃 블록을 탐색하는 방법이 있을 수 있다. 공간적 이웃 블록 내에서의 탐색 방법은 도 3에서 설명한 탐색 방법에 의할 수 있다. 시간적 이웃 블록 내에서의 탐색 방법은 도 4에서 설명한 탐색 방법에 의할 수 있다. 참조 인터뷰 모션 벡터를 우선 순위에 의해 탐색하는 방법은 도 7에서 설명하기로 한다.
한편, 시간적 인터 예측으로 코딩되는지 여부를 판별하는 방법에 대해서 살펴 보기로 한다. 일실시예로, 시간적 인터 예측으로 코딩되는지 여부는 해당 이웃 블록의 모션 벡터 식별 정보에 기초하여 판별할 수 있다. 모션 벡터 식별 정보가 시간적 인터 예측을 이용하는 모션 벡터를 지정하고 있는 경우 이웃 블록은 시간적 인터 예측에 의해 코딩된 블록이라 판단할 수 있다.
도 5는 본 발명이 적용되는 일실시예로서, 뎁스 데이터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도하는 방법을 도시한 것이다.
도 5을 참조하면, 현재 픽쳐의 현재 텍스쳐 블록의 위치 정보에 기초하여 이에 대응하는 뎁스 픽쳐 내의 뎁스 블록 (이하, 현재 뎁스 블록이라 한다.)의 위치 정보를 획득할 수 있다(S500). 현재 뎁스 블록의 위치는 뎁스 픽쳐와 현재 픽쳐 간의 공간 해상도를 고려하여 결정될 수 있다. 예를 들어, 뎁스 픽쳐와 현재 픽쳐가 동일한 공간 해상도로 코딩된 경우, 현재 뎁스 블록의 위치는 현재 픽쳐의 현재 텍스쳐 블록과 동일 위치의 블록으로 결정될 수 있다. 한편, 현재 픽쳐와 뎁스 픽쳐가 상이한 공간 해상도로 코딩될 수도 있다. 카메라와 객체 간의 거리 정보를 나타내는 뎁스 정보의 특성상, 공간 해상도를 낮춰서 코딩하더라도 코딩 효율이 크게 떨어지지 아니할 수 있기 때문이다. 따라서, 뎁스 픽쳐의 공간 해상도가 현재 픽쳐보다 낮게 코딩된 경우, 디코더는 현재 뎁스 블록의 위치 정보를 획득하기 전에 뎁스 픽쳐에 대한 업샘플링 과정을 수반할 수 있다. 또한, 업샘플링된 뎁스 픽쳐와 현재 픽쳐 간의 화면비율 (aspect ratio)이 정확히 일치하지 아니하는 경우, 업샘플링된 뎁스 픽쳐 내에서 현재 뎁스 블록의 위치 정보를 획득함에 있어서 오프셋 정보를 추가적으로 고려할 수 있다. 여기서, 오프셋 정보는 상단 오프셋 정보, 좌측 오프셋 정보, 우측 오프셋 정보, 하단 오프셋 정보 중 적어도 하나를 포함할 수 있다. 상단 오프셋 정보는 업샘플링된 뎁스 픽쳐의 상단에 위치한 적어도 하나의 픽셀과 현재 픽쳐의 상단에 위치한 적어도 하나의 픽셀 간의 위치 차이를 나타낼 수 있다. 좌측, 우측, 하단 오프셋 정보 역시 동일한 방식으로 각각 정의될 수 있다.
현재 뎁스 블록의 위치 정보에 해당하는 뎁스 데이터를 획득할 수 있다(S510). 현재 뎁스 블록 내에 복수 개의 픽셀이 존재하는 경우, 현재 뎁스 블록의 코너 픽셀 (corner pixel)에 대응하는 뎁스 데이터가 이용될 수 있다. 또는, 현재 뎁스 블록의 중앙 픽셀 (center pixel)에 대응하는 뎁스 데이터가 이용될 수도 있다. 또는, 복수 개의 픽셀에 대응하는 복수 개의 뎁스 데이터 중에서 최대값, 최소값, 최빈값 중 어느 하나가 선택적으로 이용될 수 있고, 복수 개의 뎁스 데이터 간의 평균값이 이용될 수도 있다. 획득된 뎁스 데이터와 카메라 파라미터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도할 수 있다(S520). 구체적인 유도 방법은 수학식 1 및 2를 토대로 살펴보기로 한다.
수학식 1
Figure PCTKR2013004491-appb-M000001
수학식 1을 참조하면, Z는 해당 픽셀의 카메라로부터의 거리를 의미하며, D는 Z를 양자화한 값으로서, 본 발명의 뎁스 데이터에 대응된다. Znear 및 Zfar 는 뎁스 픽쳐가 속한 시점에 대해서 정의된 Z의 최소값 및 최대값을 각각 의미한다. 또한, Znear 및 Zfar 는 시퀀스 파라미터 세트, 슬라이스 헤더 등을 통하여 비트스트림으로부터 추출될 수 있고, 디코더 내에 미리 정의된 정보일 수도 있다. 따라서, 해당 픽셀의 카메라로부터의 거리 Z를 256레벨로 양자화한 경우, 수학식 3과 같이 뎁스 데이터, Znear 및 Zfar 를 이용하여 Z를 복원할 수 있다. 그런 다음, 복원된 Z를 이용하여 수학식 4와 같이 현재 텍스쳐 블록에 대한 변이 벡터를 유도할 수 있다.
수학식 2
Figure PCTKR2013004491-appb-M000002
수학식 2에서, f는 카메라의 초점 거리를 의미하고, B는 카메라 간의 거리를 의미한다. f 및 B는 모든 카메라에 대해서 동일하다고 가정할 수 있고, 따라서 디코더에 미리 정의된 정보일 수 있다.
한편, 다시점 영상에 대해서 텍스쳐 데이터만을 코딩하는 경우에는 카메라 파라미터에 관한 정보를 이용할 수 없기 때문에 뎁스 데이터로부터 변이 벡터를 유도하는 방법을 사용할 수 없다. 따라서, 다시점 영상의 텍스쳐 데이터만 코딩하는 경우에는 변이 벡터를 저장한 변이 벡터 맵 (disparity vector map)을 이용할 수 있다. 변이 벡터 맵은 수평 성분과 수직 성분으로 구성된 변이 벡터가 2차원 배열로 저장된 맵일 수 있다. 본 발명의 변이 벡터 맵은 다양한 크기로 표현될 수 있다. 예를 들어, 하나의 픽쳐마다 하나의 변이 벡터만을 사용하는 경우에는 1x1의 크기를 가질 수 있고, 픽쳐 내의 4x4 블록마다 변이 벡터를 사용하는 경우에는 픽쳐 크기에 대비해서 1/4의 너비와 높이를 가지므로 변이 벡터 맵은 픽쳐의 1/16 크기를 가질 수도 있다. 또한, 하나의 픽쳐 내에서 현재 텍스쳐 블록의 크기는 적응적으로 결정될 수 있고, 해당 텍스쳐 블록마다 변이 벡터를 저장할 수도 있다.
인터뷰 모션 벡터는 슬라이스 또는 픽쳐의 신택스(syntax)로부터 유도되는 글로벌 변이 벡터(Global Disparity Vector, GDV)를 이용하여 유도될 수 있다. 글로벌 변이 벡터는 복수의 블록을 포함하는 슬라이스 또는 픽쳐 단위에서 현재 시점에서 참조 픽쳐가 위치하는 다른 시점을 가리키는 벡터이다. 글로벌 변이 벡터는 복수의 텍스쳐 블록에 동일하게 유도되므로, 각 텍스쳐 블록마다 상이한 인터뷰 모션 벡터를 갖는 경우가 각 텍스쳐 블록에 정확한 참조 블록을 찾기 위해 모션 벡터를 보상하는 오프셋 벡터를 추가로 전달할 수 있다. 글로벌 변이 벡터와 오프셋 벡터의 벡터 합을 통해 구한 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자에 포함시킬 수 있다.
현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자에는 공간적 인터뷰 모션 벡터, 시간적 인터뷰 모션 벡터, 변이 벡터 및 참조 인터뷰 모션 벡터가 있을 수 있으며, 이 중에서 선택된 어느 하나로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터가 유도될 수 있음을 살펴 보았다. 이하, 인터뷰 모션 벡터 후보자로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 방법에 대해서 살펴 보기로 한다.
현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 고려하여 인터뷰 모션 벡터를 획득할 수 있다. 인터뷰 모션 벡터 후보자들 간의 우선순위는 아래 표 3과 같이 설정될 수 있다.
표 3
우선순위 카테고리
0 공간적 인터뷰 모션 벡터
1 시간적 인터뷰 모션 벡터
2 참조 인터뷰 모션 벡터
3 변이 벡터
표 3에서 우선순위 값이 작을수록 높은 우선순위를 의미한다. 즉, 공간적 인터뷰 모션 벡터가 최우선순위를 가지고, 다음으로 시간적 인터뷰 모션 벡터, 참조 인터뷰 모션 벡터, 변이 벡터 순으로 우선순위가 설정될 수 있다. 표 3과 같이 후보자들 간의 우선순위가 설정된 경우에 인터뷰 모션 벡터를 유도하는 방법을 도 6를 참조하여 살펴 보기로 한다.
다만, 표 3은 일실시예에 불과하며, 본 발명은 이에 한정되지 아니한다. 예를 들어, 시간적 인터뷰 모션 벡터, 공간적 인터뷰 모션 벡터, 변이 벡터, 참조 인터뷰 모션 벡터 순으로 우선순위가 설정될 수도 있고, 변이 벡터, 참조 인터뷰 모션 벡터, 공간적 인터뷰 모션 벡터, 시간적 인터뷰 모션 벡터 순으로 우선순위가 설정될 수도 있고, 참조 인터뷰 모션 벡터, 공간적 인터뷰 모션 벡터, 시간적 인터뷰 모션 벡터, 변이 벡터 순으로 우선순위가 설정될 수 있다. 코딩이 완료된 텍스쳐 블록의 인터뷰 모션 벡터가 어떠한 인터뷰 모션 벡터를 사용하였는지 빈도 수를 고려하여 우선 순위를 설정할 수 있다. 또는 일정 카테고리만을 가지고 이들 간의 우선순위를 설정할 수도 있다. 예를 들어, 공간적 인터뷰 모션 벡터와 시간적 인터뷰 모션 벡터와 참조 인터뷰 모션 벡터 간의 우선순위를 설정할 수도 있고, 또는 공간적 인터뷰 모션 벡터와 참조 인터뷰 모션 벡터 간의 우선순위를 설정할 수도 있다.
도 6은 본 발명이 적용되는 일실시예로서, 기설정된 우선순위에 기초하여 시점 간 인터 예측으로 코딩된 이웃 블록으로부터 인터뷰 모션 벡터를 유도하는 방법을 도시한 것이다.
도 6를 참조하면, 공간적 이웃 블록들 중 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다(S600). 도 3에서 살펴본 바와 같이 시점 간 인터 예측으로 코딩된 블록을 탐색하는 과정에서도 공간적 이웃 블록들 간의 우선순위를 고려할 수 있다. 예를 들어, 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다. 또한, 시점 간 인터 예측인지 여부를 판별하는 방법과 관련하여, a) 시점 간 참조 픽쳐 리스트를 이용하는 방법, b) 레퍼런스 인덱스 정보를 이용하는 방법, c) 공간적 이웃 블록을 포함한 픽쳐의 POC와 공간적 이웃 블록의 참조 픽쳐의 POC 간의 동일성을 이용하는 방법 등이 이용될 수 있다.
S600의 탐색 결과, 공간적 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록이 존재하는 경우, 해당 공간적 이웃 블록의 인터뷰 모션 벡터로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다(S610). 그러나, S600의 탐색 결과 공간적 이웃 블록 중 시점 간 인터 예측을 코딩된 블록이 존재하지 아니하는 경우, 시간적 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다(S620). 시간적 이웃 블록의 후보자는 a) 동일 위치의 블록, b) 동일 위치의 블록에 인접한 이웃 블록 중 적어도 하나를 포함할 수 있고, 앞서 살펴본 바와 같이 시간적 이웃 블록의 후보자들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있음은 물론이다.
S620의 탐색 결과 시간적 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록이 존재하는 경우에는 해당 시간적 이웃 블록의 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다(S630).
한편, 공간적 또는 시간적 이웃 블록이 시점 간 인터 예측으로 코딩되지 아니한 경우 즉, 시간적 인터 예측으로 코딩된 경우라도 해당 이웃 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도된 경우에는 참조뷰 모션 벡터에 대응하는 참조 인터뷰 모션 벡터를 유도할 수 있다(S640).
S640의 탐색 결과 이웃 블록 중 시간적 인터 예측으로 코딩된 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도된 경우에는 참조뷰 모션 벡터를 결정하기 위한 참조 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도할 수 있다(S650).
반면, 시간적 이웃 블록 중 시점 간 인터 예측으로 코딩된 블록이 존재하지 않는 경우에는 현재 텍스쳐 블록의 변이 벡터를 이용하여 인터뷰 모션 벡터를 유도할 수 있다(S660).
도 7은 본 발명이 적용되는 일실시예로서, 참조 인터뷰 모션벡터를 획득하기 위해 이웃 블록을 탐색하는 방법을 도시한 것이다.
현재 텍스쳐 블록의 공간적 이웃 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도되었는지 확인한다(S700). 공간적 이웃 블록은 도 3의 A0, A1, B0, B1, B2과 추가적으로 C0, C1, D0, D1이 될 수 있다. 그리고 공간적 이웃 블록의 탐색은 예를 들어, A1 -> B1 -> B0 -> A0 -> B2일 수 있고 추가적으로 C0, C1, D0, D1에 대해서도 탐색할 수 있다. 탐색하는 공간적 이웃 블록과 순서는 이에 한정하지 아니한다.
S700의 탐색 결과에 따라, 공간적 이웃 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도된 경우, 해당 참조뷰 모션 벡터를 결정하기 위한 참조 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 유도한다(S710).
공간적 이웃 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도되지 아니한 경우, 시간적 이웃 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도되었는지 확인하다(S720).
S720의 탐색 결과에 따라, 시간적 이웃 블록의 모션 벡터가 참조뷰 모션 벡터로부터 유도된 경우, 해당 참조뷰 모션 벡터를 결정하기 위한 참조 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 유도한다(S730).
도 8은 본 발명이 적용되는 일실시예로서, 병렬 처리에 의해 인터뷰 모션 벡터를 유도하는 예를 도시한 것이다.
인접한 텍스쳐 블록들의 병렬 처리를 통해 인터뷰 모션 벡터를 유도할 수 있다. 다시 말해, 데이터 종속성이 있는 인접한 텍스쳐 블록의 인터뷰 모션 벡터를 참조하지 않도록 할 수 있다. 현재 텍스쳐 블록의 분할 모드에 기초하여 이웃 텍스쳐 블록에 대한 탐색을 제한할 수 있다. 예를 들어, 도 8에서 보듯이 현재 텍스쳐 블록의 분할 모드가 세로 방향의 직사각형이고(예를 들어, N X 2N), 블록 인덱스가 1인 텍스쳐 블록(텍스쳐 블록 1)의 경우, 이웃 블록 (8)에 대한 인터뷰 모션 벡터의 탐색을 제한할 수 있다. 다만 이와 같이 병렬 처리에 의해 인터뷰 모션 벡터를 유도하는 경우, 인터뷰 모션 벡터의 후보자들이 줄어들 수 있다. 이 경우, 텍스쳐 블록 0의 이웃 블록인 이웃 블록 (3)을 탐색하여 인터뷰 모션 벡터에 관한 정보를 얻을 수 있다. 또는 인접한 텍스쳐 블록들의 상기 글로벌 변이 벡터를 유도하여 인터뷰 모션 벡터 후보자에 추가할 수 있다.
또한, 현재 텍스쳐 블록의 분할 모드가 가로 방향의 직사각형이고(예를 들어, 2N X N) 블록 인덱스가 1인 텍스쳐 블록의 경우, 블록 인덱스가 1인 텍스쳐 블록의 상단 이웃 블록에 대한 인터뷰 모션 벡터의 탐색을 제한할 수 있다. 이는, 해당 상단 이웃 블록은 블록 인덱스가 0인 텍스쳐 블록에 포함되는 것이고, 블록 인덱스가 0인 텍스쳐 블록은 병렬 처리에 의해 현재 인터뷰 모션 벡터가 존재 하지 않기 때문이다.
도 9는 본 발명이 적용되는 일실시예로서, 현재 텍스쳐 블록의 위치에 따른 공간적 이웃 블록의 탐색 여부를 정하는 일실시예를 도시한 것이다.
코딩 유닛이란 비디오 신호의 처리 과정, 예를 들어 화면내 또는 화면간 예측, 변환, 양자화 및 엔트로피 코딩 등의 과정에서 영상을 처리하기 위한 기본 단위를 의미한다. 하나의 영상을 코딩하는 데 있어서 사용되는 코딩 유닛의 크기는 일정하지 않을 수 있다, 하나의 코딩 유닛은 다시 여러 개의 코딩 유닛으로 분할 가능하다. 디코더에서는 최대 크기 코딩 유닛(LCU) 정보와 최대 크기 코딩 유닛과 최소 크기 코딩 유닛의 차이를 나타내는 정보를 받아 코딩 유닛의 크기를 정할 수 있다.
현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하기 위해 탐색하는 공간적 이웃 블록에는 현재 텍스쳐 블록의 상단에 위치한 블록들과 좌측에 위치한 블록들이 있다. 현재 텍스쳐 블록과 공간적 이웃 블록이 동일 최대 코딩 유닛에 위치한 경우, 공간적 이웃 블록의 인터뷰 모션 벡터를 획득하기 위해서 해당 공간적 이웃 블록의 인터뷰 모션 벡터를 임시 메모리에 저장해둘 필요가 있다. 그러나, 공간적 이웃 블록이 현재 텍스쳐 블록과 다른 최대 코딩 유닛에 위치한 경우, 공간적 이웃 블록의 인터뷰 모션 벡터로부터 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도되지 않도록 제한할 수 있다. 이를 위해 해당 공간적 이웃 블록의 인터뷰 모션 벡터를 임시 메모리에 저장해두는 것을 생략할 수 있다. 상기 공간적 이웃 블록 중 현재 텍스쳐 블록의 상단에 위치한 이웃 블록에 대해서만 인터뷰 모션 벡터를 임시 메모리에 저장하는 것을 생략하도록 설정할 수 있다. 상기 임시 메모리는 픽쳐의 라인 별로 존재할 수 있고, 이 경우 상기 공간적 이웃 블록이 속한 라인의 임시 메모리는 불필요하므로 제거될 수 있다.
도 9에서 보듯이, 현재 텍스쳐 블록이 현재 최대 크기 코딩 유닛(Current LCU)의 좌측 상단에 위치한 경우(①), 현재 텍스쳐 블록의 좌측에 위치한 좌측 최대 크기 코딩 유닛(Left LCU)에 속한 이웃 블록이 인터뷰 모션 벡터 또는 참조뷰 모션 벡터에 의하여 코딩 되었는지 탐색할 수 있고, 현재 텍스쳐 블록의 위에 위치한 상단 최대 크기 코딩 유닛(Upper LCU)에 속한 이웃 블록이 인터뷰 모션 벡터에 의하여 코딩 되었는지 탐색할 수 있다. 현재 텍스쳐 블록이 현재 최대 크기 코딩 유닛의 좌측 하단에 위치한 경우(②), 현재 텍스쳐 블록의 좌측에 위치한 좌측 최대 크기 코딩 유닛에 속한 이웃 블록과 현재 최대 크기 코딩 유닛의 정보를 탐색할 수 있다. 현재 텍스쳐 블록이 현재 최대 크기 코딩 유닛 내에 위치한 경우(③), 현재 최대 크기 코딩 유닛의 정보만을 사용하여 탐색할 수 있다.
도 10은 본 발명이 적용되는 일실시예로서, 코딩 블록 단위의 모션 정보 패킷을 도시한 것이다.
참조 인터뷰 모션 벡터는 참조뷰 모션 벡터를 유도하는 과정에서 사용되었던 인터뷰 모션 벡터이다. 참조뷰 모션 벡터가 신뢰성이 높다면 참조 인터뷰 모션 벡터도 정확하게 유도되었다는 것으로서 도 7에서와 같이 유용하게 사용될 수 있다. 따라서, 코딩 블록 단위로 분산적으로 참조 인터뷰 모션 벡터를 코딩을 한다면 메모리 정체가 적은 것에 비해 디코딩의 정확성을 더 높일 수 있을 것이다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.

Claims (14)

  1. 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 고려하여 상기 인터뷰 모션 벡터 후보자 중 어느 하나로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 단계; 상기 인터뷰 모션 벡터 후보자는 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터 및 참조 인터뷰 모션 벡터 중 적어도 하나를 포함함; 및
    상기 유도된 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록에 대해 시점 간 인터 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  2. 제 1항에 있어서,
    상기 참조 인터뷰 모션 벡터는 상기 공간적 이웃 블록과 상기 시간적 이웃 블록 중 적어도 하나가 참조뷰 모션 벡터로 유도된 경우 상기 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터인 것을 특징으로 하는 비디오 신호 처리 방법.
  3. 제 2항에 있어서,
    상기 공간적 이웃 블록의 모션 벡터는 상기 시간적 이웃 블록의 인터뷰 모션 벡터보다 높은 우선순위를 가지고, 상기 시간적 이웃 블록의 인터뷰 모션 벡터는 참조 인터뷰 모션 벡터보다 높은 우선순위를 가지고, 상기 참조 인터뷰 모션 벡터는 상기 변이 벡터보다 높은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 방법.
  4. 제 3항에 있어서,
    최우선순위를 가진 상기 공간적 이웃 블록에 대해서 시점 간 인터 예측으로 코딩된 블록을 탐색하는 단계;
    시점 간 인터 예측으로 코딩된 블록이 존재하는 경우, 상기 공간적 이웃 블록의 인터뷰 모션 벡터로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 단계; 및
    시점 간 인터 예측으로 코딩된 블록이 존재하지 않는 경우, 차우선순위를 가진 시간적 이웃 블록에 대해서 시점 간 인터 예측으로 코딩된 블록을 탐색하는 단계를 더 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  5. 제 4항에 있어서,
    상기 공간적 이웃 블록은 상기 현재 텍스쳐 블록의 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록 및 좌측상단 이웃 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  6. 제 5항에 있어서,
    상기 공간적 이웃 블록 간의 우선순위에 따른 순서에 기초하여 탐색하되, 상기 공간적 이웃 블록 간의 우선순위는 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 낮은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 방법.
  7. 제 3항에 있어서,
    상기 시간적 이웃 블록은 동일 위치의 블록 및 동일 위치의 블록에 인접한 이웃 블록을 포함한 코딩 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 신호 처리 방법.
  8. 현재 텍스쳐 블록의 인터뷰 모션 벡터 후보자들 간의 우선순위를 고려하여 상기 인터뷰 모션 벡터 후보자 중 어느 하나로부터 상기 현재 텍스쳐 블록의 인터뷰 모션 벡터를 유도하는 인터 예측부; 상기 인터뷰 모션 벡터 후보자는 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터 및 참조 인터뷰 모션 벡터 중 적어도 하나를 포함함; 및
    상기 유도된 인터뷰 모션 벡터를 이용하여 현재 텍스쳐 블록에 대해 시점 간 인터 예측을 수행하는 상기 인터 예측부를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
  9. 제 8항에 있어서,
    상기 참조 인터뷰 모션 벡터는 상기 공간적 이웃 블록과 상기 시간적 이웃 블록 중 적어도 하나가 참조뷰 모션 벡터로 유도된 경우 상기 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터인 것을 특징으로 하는 비디오 신호 처리 장치.
  10. 제 9항에 있어서,
    상기 공간적 이웃 블록의 모션 벡터는 상기 시간적 이웃 블록의 인터뷰 모션 벡터보다 높은 우선순위를 가지고, 상기 시간적 이웃 블록의 인터뷰 모션 벡터는 참조 인터뷰 모션 벡터보다 높은 우선순위를 가지고, 상기 참조 인터뷰 모션 벡터는 상기 변이 벡터보다 높은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 장치.
  11. 제 10항에 있어서,
    상기 공간적 이웃 블록은 상기 현재 텍스쳐 블록의 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록 및 좌측상단 이웃 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
  12. 제 11항에 있어서,
    상기 공간적 이웃 블록은 상기 현재 텍스쳐 블록의 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록 및 좌측상단 이웃 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
  13. 제 12항에 있어서,
    상기 공간적 이웃 블록 간의 우선순위에 따른 순서에 기초하여 탐색하되, 상기 공간적 이웃 블록 간의 우선순위는 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 낮은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 장치.
  14. 제 10항에 있어서,
    상기 시간적 이웃 블록은 동일 위치의 블록 및 동일 위치의 블록에 인접한 이웃 블록을 포함한 코딩 블록 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 신호 처리 장치.
PCT/KR2013/004491 2012-05-22 2013-05-22 비디오 신호 처리 방법 및 장치 WO2013176485A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/402,240 US9860555B2 (en) 2012-05-22 2013-05-22 Method and apparatus for processing video signal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261650468P 2012-05-22 2012-05-22
US61/650,468 2012-05-22

Publications (1)

Publication Number Publication Date
WO2013176485A1 true WO2013176485A1 (ko) 2013-11-28

Family

ID=49624101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/004491 WO2013176485A1 (ko) 2012-05-22 2013-05-22 비디오 신호 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US9860555B2 (ko)
WO (1) WO2013176485A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002458A (zh) * 2015-06-05 2022-09-02 杜比实验室特许公司 图像编码和解码方法和图像解码设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014044908A1 (en) * 2012-09-21 2014-03-27 Nokia Corporation Method and apparatus for video coding
EP2981090A4 (en) * 2013-04-05 2016-11-02 Samsung Electronics Co Ltd METHOD FOR DETERMINING AN INTERPRETIVE CANDIDATE FOR A METHOD AND APPARATUS FOR DECODING AND INTERCODING ENCODING
US10904551B2 (en) * 2013-04-05 2021-01-26 Texas Instruments Incorporated Video coding using intra block copy
US9800895B2 (en) * 2013-06-27 2017-10-24 Qualcomm Incorporated Depth oriented inter-view motion vector prediction
ES2927627T3 (es) * 2013-10-25 2022-11-08 Nabtesco Corp Sensor de deterioro de lubricante
JP6895247B2 (ja) * 2016-10-06 2021-06-30 日本放送協会 符号化装置、復号装置及びプログラム
CN114009042A (zh) * 2019-04-25 2022-02-01 Op方案有限责任公司 具有全局运动的帧中的候选

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010017166A2 (en) * 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
US20100118939A1 (en) * 2006-10-30 2010-05-13 Nippon Telegraph And Telephone Corporation Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs
KR20110113583A (ko) * 2010-04-09 2011-10-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
JP2012016046A (ja) * 2006-03-21 2012-01-19 Mitsubishi Electric Research Laboratories Inc マルチビュービデオをエンコードする方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
US7710462B2 (en) * 2004-12-17 2010-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for randomly accessing multiview videos
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7605708B2 (en) * 2005-12-22 2009-10-20 Checkpoint Systems, Inc. Smart corrugated cardboard
KR101370919B1 (ko) * 2006-07-12 2014-03-11 엘지전자 주식회사 신호처리방법 및 장치
US8630346B2 (en) * 2007-02-20 2014-01-14 Samsung Electronics Co., Ltd System and method for introducing virtual zero motion vector candidates in areas of a video sequence involving overlays
EP2338281A4 (en) * 2008-10-17 2012-08-15 Nokia Corp SHARING THE MOTION VECTOR IN 3D VIDEO CODING
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
US8755437B2 (en) * 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US9485517B2 (en) * 2011-04-20 2016-11-01 Qualcomm Incorporated Motion vector prediction with motion vectors from multiple views in multi-view video coding
CN103907346B (zh) * 2011-10-11 2017-05-24 联发科技股份有限公司 运动矢量预测子及视差矢量导出方法及其装置
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US20130176390A1 (en) * 2012-01-06 2013-07-11 Qualcomm Incorporated Multi-hypothesis disparity vector construction in 3d video coding with depth
US9549180B2 (en) * 2012-04-20 2017-01-17 Qualcomm Incorporated Disparity vector generation for inter-view prediction for video coding
US20140071235A1 (en) * 2012-09-13 2014-03-13 Qualcomm Incorporated Inter-view motion prediction for 3d video
US9699450B2 (en) * 2012-10-04 2017-07-04 Qualcomm Incorporated Inter-view predicted motion vector for 3D video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012016046A (ja) * 2006-03-21 2012-01-19 Mitsubishi Electric Research Laboratories Inc マルチビュービデオをエンコードする方法
US20100118939A1 (en) * 2006-10-30 2010-05-13 Nippon Telegraph And Telephone Corporation Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs
WO2010017166A2 (en) * 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
KR20110113583A (ko) * 2010-04-09 2011-10-17 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE, SANG HEON ET AL.: "A Motion Vector Prediction Method For Multi-View Video Coding", INTERNATIONAL CONFERENCE ON INTELLIGENT INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING, 15 August 2008 (2008-08-15) - 17 August 2008 (2008-08-17), pages 1247 - 1250 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002458A (zh) * 2015-06-05 2022-09-02 杜比实验室特许公司 图像编码和解码方法和图像解码设备

Also Published As

Publication number Publication date
US9860555B2 (en) 2018-01-02
US20150288983A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
WO2013176485A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013169031A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014010935A1 (ko) 비디오 신호 처리 방법 및 장치
CN112823521B (zh) 使用基于历史的运动信息的图像编码方法及其装置
WO2010068020A9 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
WO2015142054A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2014010918A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013191436A1 (ko) 비디오 신호 처리 방법 및 장치
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
WO2014107083A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013162273A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014168443A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016056822A1 (ko) 3d 비디오 코딩 방법 및 장치
WO2013133627A1 (ko) 비디오 신호 처리 방법
WO2013133648A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013133587A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014073877A1 (ko) 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
WO2016003209A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054897A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014109547A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009091A1 (ko) 비디오 신호 처리 방법 및 장치
CN114073078A (zh) 视频/图像编译系统中的语法信令的方法和装置
WO2018212582A1 (ko) 화면 내 예측 부호화 또는 복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13794626

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14402240

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13794626

Country of ref document: EP

Kind code of ref document: A1