WO2013191436A1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2013191436A1
WO2013191436A1 PCT/KR2013/005349 KR2013005349W WO2013191436A1 WO 2013191436 A1 WO2013191436 A1 WO 2013191436A1 KR 2013005349 W KR2013005349 W KR 2013005349W WO 2013191436 A1 WO2013191436 A1 WO 2013191436A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
motion vector
interview
residual data
temporal
Prior art date
Application number
PCT/KR2013/005349
Other languages
English (en)
French (fr)
Inventor
손은용
정지욱
예세훈
구문모
허진
김태섭
성재원
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to IN2890KON2014 priority Critical patent/IN2014KN02890A/en
Priority to JP2015518329A priority patent/JP6231560B2/ja
Priority to CA2877268A priority patent/CA2877268C/en
Priority to MX2014015341A priority patent/MX341103B/es
Priority to US14/406,604 priority patent/US10021417B2/en
Priority to CN201380032501.1A priority patent/CN104380744B/zh
Priority to AU2013278195A priority patent/AU2013278195B2/en
Priority to EP13806999.2A priority patent/EP2854399B1/en
Priority to RU2014150564A priority patent/RU2653258C2/ru
Priority to KR1020157001373A priority patent/KR102148650B1/ko
Publication of WO2013191436A1 publication Critical patent/WO2013191436A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to a method and apparatus for coding a video signal.
  • Compression coding refers to a series of signal processing techniques that transmit digitized information through a communication line or store the data in a form suitable for a storage medium.
  • the object of compression encoding includes objects such as voice, video, text, and the like.
  • a technique of performing compression encoding on an image is called video image compression.
  • a general feature of a multiview video image is that it has spatial redundancy, temporal redundancy and inter-view redundancy.
  • An object of the present invention is to improve the coding efficiency of a video signal.
  • the present invention relates to interview residual prediction and is characterized by obtaining a motion vector from a neighboring block.
  • the present invention is characterized in that the residual data of the first reference block is obtained using the motion vector of the neighboring block, and the residual data of the second reference block is obtained using the reference view motion vector or the disparity vector.
  • the present invention obtains the residual data prediction value of the current texture block using the residual data of the first reference block and the residual data of the second reference block, and uses the residual data prediction value of the current texture block to obtain the current texture. And coding a block.
  • the present invention is characterized in that the interview residual prediction is applied when the position of the second reference block searched using the reference view motion vector is located in the picture.
  • the present invention is characterized by applying interview residual prediction when the corresponding block is inter prediction.
  • the present invention is characterized by applying an interview residual prediction when a difference is less than or equal to a threshold value by comparing an interview motion vector for finding a corresponding block and a disparity vector using depth data corresponding to a current texture block.
  • the present invention is characterized in that the interview residual prediction is applied when the difference is less than or equal to the threshold by comparing the temporal motion vector of the neighboring block with the interview motion vector for finding the corresponding block.
  • the present invention performs an interview residual prediction using the residual data prediction value of the current texture block obtained by using coded data of different viewpoints belonging to the same time zone, thereby utilizing the correlation between viewpoints to perform video data prediction. Coding efficiency can be improved by increasing accuracy and reducing the amount of residual data transmitted.
  • by obtaining a motion vector for searching the first reference block and the second reference block from the neighboring block of the current texture block it is possible to increase the accuracy of the interview residual prediction and to increase the efficiency of video coding.
  • FIG. 1 is a schematic block diagram of a video decoder according to an embodiment to which the present invention is applied.
  • FIG. 2 illustrates an example of a spatial neighboring block as an embodiment to which the present invention is applied.
  • FIG. 3 illustrates an example of a temporal neighboring block as an embodiment to which the present invention is applied.
  • FIG. 4 illustrates an example of temporal inter prediction and inter-view inter prediction as a type of inter prediction, according to an embodiment to which the present invention is applied.
  • FIG. 5 illustrates a method of deriving a disparity vector of a current texture block using depth data as an embodiment to which the present invention is applied.
  • FIG 6 illustrates an example of interview residual prediction as an embodiment to which the present invention is applied.
  • FIG. 7 is a flowchart illustrating an example of interview residual prediction as an embodiment to which the present invention is applied.
  • FIG. 8 illustrates an example of interview residual prediction corresponding to the flowchart of FIG. 7 according to an embodiment to which the present invention is applied.
  • FIG. 9 is a flowchart illustrating an example of interview residual prediction as an embodiment to which the present invention is applied.
  • FIG. 10 illustrates an example of an interview residual prediction corresponding to FIG. 9 according to an embodiment to which the present invention is applied.
  • FIG. 11 illustrates an example of an interview residual prediction condition according to a position of a first reference block by a reference view motion vector, according to an embodiment to which the present invention is applied.
  • the video signal processing method may obtain an interview motion vector from a neighboring block coded by inter-view inter prediction of a current texture block, and use the interview motion vector to obtain an interview motion vector.
  • a reference view motion vector may be obtained, residual data of the first reference block may be obtained using the reference view motion vector of the corresponding block, and the reference view motion vector of the corresponding block is used as a reference view of the current texture block.
  • Acquire the residual data of the second reference block by using the reference view motion vector of the current texture block by acquiring the motion vector, and using the residual data of the first reference block and the residual data of the second reference block.
  • a residual data prediction value can be obtained, and the current text can be obtained using the residual data prediction value.
  • Block can be decoded.
  • residual data of the second reference block may be derived as zero.
  • the difference vector is obtained by using the depth value of the current texture block and comparing the interview motion vector with the disparity vector, the difference between the interview motion vector and the disparity vector is less than or equal to a threshold value.
  • Dual data and residual data of the second reference block may be obtained.
  • the method may further include obtaining a temporal motion vector from a neighboring block coded by temporal inter prediction of the current texture block, and comparing the temporal motion vector with the reference view motion vector. When the difference between the reference view motion vectors is equal to or less than a threshold value, residual data of the first reference block and residual data of the second reference block may be obtained.
  • the interview motion vector may be derived from at least one of an interview motion vector of a spatial neighboring block, an interview motion vector of a temporal neighboring block, and a reference interview motion vector.
  • the motion vector of the spatial neighboring block may have higher priority than the interview motion vector of the temporal neighboring block, and the interview motion vector of the temporal neighboring block may have higher priority than the reference interview motion vector.
  • the reference interview motion vector may be an interview motion vector corresponding to the reference view motion vector when at least one of the spatial neighboring block and the temporal neighboring block is derived from the reference view motion vector.
  • Techniques for compression encoding or decoding multi-view video signal data take into account spatial redundancy, temporal redundancy, and redundancy existing between views.
  • a multiview texture image photographed from two or more viewpoints may be coded to implement a 3D image.
  • depth data corresponding to a multiview texture image may be further coded as necessary.
  • compression coding may be performed in consideration of spatial redundancy, temporal redundancy, or inter-view redundancy.
  • the depth data represents distance information between the camera and the corresponding pixel, and within the present specification, the depth data may be flexibly interpreted as information related to depth, such as depth information, a depth image, a depth picture, a depth sequence, and a depth bitstream.
  • the term coding in this specification may include both the concepts of encoding and decoding, and may be flexibly interpreted according to the technical spirit and technical scope of the present invention.
  • FIG. 1 is a schematic block diagram of a video decoder according to an embodiment to which the present invention is applied.
  • a video decoder includes a NAL parser 100, an entropy decoder 200, an inverse quantization / inverse transform unit 300, an intra predictor 400, an in-loop filter unit 500, and a decoded picture.
  • the buffer unit 600 and the inter prediction unit 700 may be included.
  • the NAL parser 100 may receive a bitstream including multi-view texture data.
  • the bitstream including the encoded depth data may be further received.
  • the input texture data and the depth data may be transmitted in one bitstream or may be transmitted in separate bitstreams.
  • the NAL parser 100 may parse the NAL unit to decode the input bitstream.
  • the input bitstream may further include a camera parameter.
  • Camera parameters can have intrinsic camera parameters and extrinsic camera parameters, and inherent camera parameters include focal length, aspect ratio, and principal. point) and the like, and the non-unique camera parameter may include location information of the camera in the world coordinate system.
  • the entropy decoding unit 200 may extract quantized transform coefficients, coding information for prediction of a texture picture, and the like through entropy decoding.
  • the inverse quantization / inverse transform unit 300 may apply a quantization parameter to the quantized transform coefficients to obtain transform coefficients, and inversely transform the transform coefficients to decode texture data or depth data.
  • the decoded texture data or depth data may include residual data according to the prediction process.
  • the quantization parameter for the depth block may be obtained in consideration of the complexity of the texture data. For example, when the texture block corresponding to the depth block is a region of high complexity, a low quantization parameter may be obtained. In the case of a region of low complexity, a high quantization parameter may be obtained.
  • the intra predictor 400 may perform intra prediction using the reconstructed texture data in the current texture picture. Intra-prediction may be performed on the depth picture in the same manner as the texture picture. For example, coding information used for intra prediction of a texture picture may be similarly used in a depth picture. Here, the coding information used for intra prediction may include intra prediction mode and partition information of intra prediction.
  • the in-loop filter unit 500 may apply an in-loop filter to each coded block to reduce block distortion.
  • the filter can smooth the edges of the block to improve the quality of the decoded picture.
  • Filtered texture pictures or depth pictures may be output or stored in the decoded picture buffer unit 600 for use as a reference picture.
  • the decoded picture buffer unit 600 stores or opens a previously coded texture picture or a depth picture in order to perform inter prediction.
  • the frame_num and the POC (Picture Order Count) of each picture may be used.
  • some of the previously coded pictures may have depth pictures that are different from the current depth picture. Therefore, in order to use these pictures as a reference picture, view identification information for identifying the view point of the depth picture may be used. have.
  • the depth pictures may be marked with a separate mark to distinguish them from texture pictures in the decoded picture buffer unit, and information for identifying each depth picture may be used in the marking process.
  • the inter prediction unit 700 may perform motion compensation of the current block by using the reference picture and the motion information stored in the decoded picture buffer unit 600.
  • the motion information may be understood as a broad concept including a motion vector and reference index information.
  • the inter prediction unit 700 may perform temporal inter prediction to perform motion compensation.
  • a neighbor block may include a spatial neighbor block and a temporal neighbor block.
  • the spatial neighboring blocks and the temporal neighboring blocks to which the present invention is applied are defined.
  • FIG. 2 illustrates an example of a spatial neighboring block as an embodiment to which the present invention is applied.
  • the spatial neighboring block includes the lower left neighboring block A0, the left neighboring block A1, the upper right neighboring block B0, the upper neighboring block B1, and the upper left neighboring block B2. It may include at least one of.
  • a block for deriving a motion vector among the above-mentioned spatial neighboring blocks may be searched and obtained as the motion vector of the current texture block. Meanwhile, the search may be performed considering the priority of spatial neighboring blocks. Accordingly, the spatial neighboring block search may be performed in the order of the left neighboring block, the upper neighboring block, the upper right neighboring block, the lower left neighboring block, and the upper left neighboring block.
  • the interview motion vector of the left neighboring block is used as the interview motion vector of the current texture block. Can be obtained, and the search can be terminated.
  • the search may be performed until a block coded by inter-prediction inter prediction is found in the order of the lower left neighboring block, the left neighboring block, the upper right neighboring block, the upper neighboring block, and the upper left neighboring block.
  • the priority between spatial neighboring blocks is not limited to the above embodiment.
  • the current texture block may further have at least one left neighboring block.
  • the spatial neighboring block of the present invention may further include left neighboring blocks A2 and A3 located between the left neighboring block A1 and the upper left neighboring block B4. .
  • the spatial neighboring block of the present invention is the upper neighboring block B2 located between the upper neighboring block B1 and the upper left neighboring block B4. , B3) may be further included.
  • FIG. 3 illustrates an example of a temporal neighboring block as an embodiment to which the present invention is applied.
  • a temporal neighboring block may refer to a block (hereinafter, referred to as a block of the same position) at the same position as the current texture block within a reference picture of the current texture block.
  • the reference picture may mean a picture located at the same time point and a different time zone as the current picture including the current texture block.
  • the co-located block of the present invention can be defined in two ways as shown in FIG.
  • a block having the same position may be defined as a block including a C position within a reference picture corresponding to the position C of the center pixel of the current texture block.
  • a block having the same position may be defined as a block including an X position within a reference picture corresponding to the position X of the upper left pixel of the current texture block.
  • the temporal neighboring block of the present invention is not limited to the block of the same position, it may mean a neighboring block adjacent to the block of the same position. As shown in FIG.
  • the lower left neighboring block A0, the left neighboring block A1, the upper right neighboring block B0, the upper neighboring block B1, At least one of the upper left neighboring blocks B2 may be used.
  • neighboring blocks adjacent to the lower and right sides of the same block may also be used as temporal neighboring blocks.
  • the lower right neighboring block C0, the lower neighboring block C1, and the right neighboring block C2 may be used as the temporal neighboring block.
  • the temporal neighboring block may be searched in consideration of a) blocks at the same location, b) neighboring blocks adjacent to the blocks at the same location, and priority.
  • FIG. 4 illustrates an example of temporal inter prediction and inter-view inter prediction as a type of inter prediction, according to an embodiment to which the present invention is applied.
  • MCP Motion Compensated Prediction
  • DCP disparity prediction
  • interview motion vector and interview reference index information motion information used for inter prediction
  • motion information may be flexibly interpreted as a concept including time motion vector, time reference index information, interview motion vector, and interview reference index information.
  • the residual prediction may be a method of predicting the residual data of the current texture block by using the residual data of the reference picture.
  • Interview residual prediction may be a method of predicting residual data of a current texture block using residual data of a reference block within a reference view. The interview residual prediction will be described in detail with reference to FIG. 6.
  • whether to be coded by the temporal inter prediction may be determined based on the motion vector identification information of the neighboring block.
  • the motion vector identification information designates a motion vector using temporal inter prediction
  • whether to be coded by inter-view inter prediction may be determined based on whether a corresponding neighbor block uses an inter-view reference picture list.
  • the inter-view reference picture list may mean a list composed of reference pictures located at different views from the viewpoint of the neighboring block. Alternatively, it may be determined based on the reference index information of the neighboring block. For example, when reference index information of a corresponding neighboring block specifies a reference picture located at a different point in time than that of the corresponding neighboring block, the corresponding neighboring block may be coded by inter prediction between views.
  • the determination may be performed based on whether the POC of the picture including the neighboring block and the POC of the reference picture of the neighboring block are the same.
  • the POC is output order information, and pictures in the same access unit may have the same POC. Therefore, the same POC of both will mean that the picture including the corresponding neighboring block and the reference picture are located at different viewpoints, and in this case, the neighboring block can be specified to be coded by inter-prediction inter prediction.
  • an interview motion vector may be derived using a neighboring block coded by temporal inter prediction.
  • the interview motion vector hereinafter referred to as the reference interview motion vector
  • the interview motion vector of the current texture block Can be obtained.
  • FIG. 5 illustrates a method of deriving a disparity vector of a current texture block using depth data as an embodiment to which the present invention is applied.
  • location information of a depth block (hereinafter, referred to as a current depth block) in a depth picture corresponding thereto may be obtained based on location information of a current texture block of a current picture (S500).
  • the position of the current depth block may be determined in consideration of the spatial resolution between the depth picture and the current picture. For example, when the depth picture and the current picture are coded with the same spatial resolution, the position of the current depth block may be determined as a block having the same position as the current texture block of the current picture. Meanwhile, the current picture and the depth picture may be coded at different spatial resolutions.
  • the decoder may involve an upsampling process for the depth picture before acquiring position information of the current depth block.
  • offset information may be additionally considered when acquiring position information of the current depth block in the upsampled depth picture.
  • the offset information may include at least one of top offset information, left offset information, right offset information, and bottom offset information.
  • the top offset information may indicate a position difference between at least one pixel located at the top of the upsampled depth picture and at least one pixel located at the top of the current picture.
  • Left, right, and bottom offset information may also be defined in the same manner.
  • Depth data corresponding to the position information of the current depth block may be obtained (S510).
  • depth data corresponding to corner pixels of the current depth block may be used.
  • depth data corresponding to the center pixel of the current depth block may be used.
  • any one of a maximum value, a minimum value, and a mode value may be selectively used among the plurality of depth data corresponding to the plurality of pixels, and an average value among the plurality of depth data may be used.
  • the disparity vector of the current texture block may be derived using the acquired depth data and the camera parameter (S520). A detailed derivation method will be described based on Equations 1 and 2 below.
  • Z means a distance from the camera of the pixel
  • D is a value quantized Z, corresponding to the depth data of the present invention.
  • Znear and Zfar mean the minimum value and the maximum value of Z defined for the viewpoint to which the depth picture belongs, respectively.
  • Znear and Zfar may be extracted from the bitstream through a sequence parameter set, a slice header, and the like, and may be information predefined in the decoder. Therefore, when the distance Z from the camera of the pixel is quantized to 256 levels, Z can be restored using depth data, Znear, and Zfar as shown in Equation (3). Then, the reconstructed Z may be used to derive the disparity vector for the current texture block as shown in Equation 4.
  • Equation 2 f means the focal length of the camera, B means the distance between the camera. f and B may be assumed to be the same for all cameras, and thus may be information predefined in the decoder.
  • a disparity vector map storing a disparity vector may be used.
  • the disparity vector map may be a map in which disparity vectors composed of horizontal and vertical components are stored in a two-dimensional array.
  • the disparity vector map of the present invention can be expressed in various sizes. For example, if only one disparity vector is used per picture, it may have a size of 1x1, and if the disparity vector is used for every 4x4 block in the picture, the width and height of the quarter may be adjusted for the picture size. Since the disparity vector map may have a 1/16 size of the picture.
  • the size of the current texture block in one picture may be adaptively determined, and a disparity vector may be stored for each texture block.
  • an interview residual prediction method in which the inter prediction unit 700 obtains a residual data prediction value by using the interview data of the current texture block, in particular, the residual data of the reference block, will be described.
  • FIG 6 illustrates an example of interview residual prediction as an embodiment to which the present invention is applied.
  • Interview residual prediction is a method of obtaining prediction values of residual data of a current texture block using residual data of different views belonging to the same time zone of a multiview image.
  • the efficiency of the current view video coding can be improved.
  • the disparity vector of the current texture block is obtained using the depth value d of the current texture block corresponding to X.
  • the disparity vector indicates a reference block of the current texture block. A reference block of the current texture block may be found in the reference view using the obtained disparity vector.
  • the corresponding reference block position at the reference view point can be found.
  • coding efficiency may be improved by converting only difference data between the residual data at the reference block position and the residual data of the current texture block.
  • the residual data prediction value may be obtained by using the overlapping linear filter of the residual data samples of the reference view.
  • a flag (inter_view_residual_prediction_flag) indicating whether the current texture block applies the interview residual prediction may be included in the bitstream to transmit to the decoder whether to apply the interview residual prediction. If it is determined that the current texture block is effective to perform the interview residual prediction, the inter_view_residual_prediction_flag may be set to 1, and if it is determined that the interview residual prediction is not effective, the inter_view_residual_prediction_flag may be derived to 0.
  • FIG. 7 is a flowchart illustrating an example of interview residual prediction as an embodiment to which the present invention is applied.
  • FIG. 8 illustrates an example of interview residual prediction corresponding to the flowchart of FIG. 7 according to an embodiment to which the present invention is applied.
  • the temporal motion vector 800 of the current texture block may be obtained from the motion information from the neighboring block (S700).
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block. It may include at least one of a lower left neighboring block, a left neighboring block, an upper right neighboring block, an upper neighboring block, and an upper left neighboring block which are spatial neighboring blocks of the current texture block.
  • a spatial neighboring block is coded by temporal inter prediction
  • a temporal motion vector may be obtained from the spatial neighboring block and obtained as the temporal motion vector 800 of the current texture block.
  • a temporal motion vector may be obtained from the temporal neighboring block as the temporal motion vector 800 of the current texture block.
  • a block coded by time inter prediction may be searched in consideration of priority among neighboring blocks.
  • the spatial neighboring block may be searched and the temporal neighboring block may be searched.
  • the temporal neighboring block may be searched and the spatial neighboring block may be searched.
  • a block coded by temporal inter prediction may be searched in consideration of priority among spatial neighboring blocks.
  • the priority among the spatial neighboring blocks may be a left neighboring block, an upper neighboring block, an upper right neighboring block, a lower left neighboring block, and an upper left neighboring block.
  • the position of the first reference block may be searched using the temporal motion vector 800 obtained as the temporal motion vector of the current texture block, and residual data may be obtained from the first reference block (S710).
  • the position of the first reference block may be searched using the temporal motion vector 800 in the current texture block.
  • the upper left position of the first reference block may be searched by adding the temporal motion vector 800 to the upper left position of the current texture block.
  • the first reference block may be located in a picture at a different time at the same time as the current texture block.
  • An interview motion vector 810 of the first reference block may be obtained (S720).
  • the interview motion vector 810 of the first reference block may be a disparity vector obtained using depth data corresponding to the first reference block.
  • an interview motion vector of a block coded by inter-view inter prediction among neighboring blocks of the first reference block may be obtained as the interview motion vector 810 of the first reference block.
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block. It may include at least one of a lower left neighboring block, a left neighboring block, an upper right neighboring block, an upper neighboring block, and an upper left neighboring block which are spatial neighboring blocks of the current texture block.
  • an interview motion vector may be obtained from the spatial neighboring block and obtained as the interview motion vector 810 of the current texture block.
  • an interview motion vector may be obtained from the temporal neighboring block and obtained as the interview motion vector 810 of the current texture block.
  • a block coded by inter-view inter prediction may be searched in consideration of priority among neighboring blocks.
  • the position of the second reference block may be specified using the interview motion vector 810 of the first reference block, and residual data may be obtained from the second reference block (S730).
  • the second reference block may be located in a picture at another point in time at the same time as the first reference block.
  • the position of the second reference block may be searched using the interview motion vector 810.
  • the interview motion vector 810 may be added at the upper left position of the first reference block to specify the upper left position of the second reference block.
  • the residual data prediction value may be obtained by subtracting the residual data of the first reference block and the residual data of the second reference block (S740).
  • An interview residual prediction for decoding of the current texture block may be performed using the residual data prediction value (S750).
  • FIG. 9 is a flowchart illustrating an example of interview residual prediction as an embodiment to which the present invention is applied.
  • FIG. 10 illustrates an example of an interview residual prediction corresponding to FIG. 9 according to an embodiment to which the present invention is applied.
  • An interview motion vector of the current texture block may be obtained (S900).
  • the interview motion vector 1000 of the current texture block may be obtained from a neighboring block of the current texture block.
  • the interview motion vector of the neighboring block may be obtained as the interview motion vector 1000 of the current texture block.
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block. It may include at least one of a lower left neighboring block, a left neighboring block, an upper right neighboring block, an upper neighboring block, and an upper left neighboring block which are spatial neighboring blocks of the current texture block.
  • an interview motion vector may be obtained from the spatial neighboring block and obtained as the interview motion vector 1000 of the current texture block.
  • an interview motion vector may be obtained from the temporal neighboring block and obtained as the interview motion vector 1000 of the current texture block.
  • a block coded by inter-view inter prediction may be searched in consideration of priority among neighboring blocks.
  • the position of the corresponding block may be searched using the acquired interview motion vector (S910).
  • the upper left sample position of the corresponding texture block may be determined by adding the interview motion vector obtained in S900 to the upper left sample position of the current texture block.
  • the corresponding block may be located at a different time point in the same time zone as the current texture block.
  • the reference view motion vector 1010 of the found corresponding block may be obtained.
  • the reference view motion vector 1010 of the corresponding block may be obtained from a neighboring block of the corresponding block.
  • a temporal motion vector used for temporal inter prediction of the neighboring block may be obtained as the reference view motion vector 1010 of the corresponding block.
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block. It may include at least one of a lower left neighboring block, a left neighboring block, an upper right neighboring block, an upper neighboring block, and an upper left neighboring block that are spatial neighboring blocks of the corresponding block.
  • a temporal motion vector may be obtained from the spatial neighboring block and obtained as a reference view motion vector 1010 of the corresponding block.
  • a temporal motion vector may be obtained from the temporal neighboring block as a reference view motion vector 1010 of the corresponding block.
  • a block coded by time inter prediction may be searched in consideration of priority among neighboring blocks.
  • the spatial neighboring block may be searched and the temporal neighboring block may be searched.
  • the temporal neighboring block may be searched and the spatial neighboring block may be searched.
  • a block coded by temporal inter prediction may be searched in consideration of priority among spatial neighboring blocks.
  • the priority among the spatial neighboring blocks may be a left neighboring block, an upper neighboring block, an upper right neighboring block, a lower left neighboring block, and an upper left neighboring block.
  • Residual data of the second reference block may be obtained using the obtained reference view motion vector 1010 of the corresponding block (S930).
  • the upper left sample of the corresponding block may be added to the reference view motion vector 1010 to search for the upper left of the second reference block.
  • Residual data may be obtained from the searched second reference block using the reference view motion vector 1010.
  • the second reference block may be located at the same time point as the other block.
  • the reference view motion vector 1010 of the corresponding block may be obtained as the reference view motion vector 1020 of the current texture block (S940).
  • the reference view motion vector 1010 of the corresponding block may be obtained as the reference view motion vector 1020 of the current texture block by bringing the reference view motion vector acquired in the corresponding block of the reference view to the current view.
  • Residual data of the first reference block may be obtained using the reference view motion vector 1020 of the current texture block (S950).
  • the upper left sample of the current texture block may be added to the reference view motion vector 1020 to search for the upper left of the second reference block.
  • Residual data may be obtained from the searched second reference block using the reference view motion vector 1020.
  • the first reference block may be located at the same time point as the current texture block.
  • the first reference block may be located at a different time point from the same time zone as the second reference block.
  • the residual data prediction value may be obtained by subtracting the residual data of the first reference block and the residual data of the second reference block (S960).
  • An interview residual prediction for decoding of the current texture block may be performed using the residual data prediction value (S970).
  • FIG. 11 illustrates an example of a condition for applying an interview residual prediction according to a position of a first reference block by a reference view motion vector, according to an embodiment to which the present invention is applied.
  • the residual data of the first reference block is acquired, and the interview residual Predictions can be applied.
  • the upper left position of the first reference block is outside the boundary of the picture by adding the reference view motion vector obtained from the reference view and the upper left sample of the current texture block, it indicates an invisible area due to the difference in the line of sight between the current view and the reference view. Can be judged. Therefore, if the upper left position of the first reference block is outside the boundary of the picture, the residual data of the first reference block may be derived to zero. Alternatively, interview residual prediction may not be applied.
  • interview residual prediction may be applied. If the corresponding block searched using the interview motion vector is coded in the intra mode, since the motion vector does not exist, the interview residual prediction may not be applied.
  • the interview motion vector By comparing the disparity vector with the interview motion vector, if the difference between the y-direction components of the disparity vector and the interview motion vector is larger than a predetermined threshold, the interview motion vector is not used and the interview residual prediction may not be applied.
  • the interview residual prediction may not be applied without using the interview motion vector.
  • the reference view motion vector may be obtained to apply to the interview residual prediction when the difference between the two values is smaller than the predetermined threshold value.
  • the reference view motion vector may be acquired so as not to apply to the interview residual prediction.
  • the inter_view_residual_prediction_flag is obtained as 1 to apply the interview residual prediction.
  • the interview residual prediction may not be applied by deriving inter_view_residual_prediction_flag to 0.
  • the decoding / encoding device to which the present invention is applied may be provided in a multimedia broadcasting transmission / reception device such as DMB (Digital Multimedia Broadcasting), and may be used to decode video signals and data signals.
  • the multimedia broadcasting transmission / reception apparatus may include a mobile communication terminal.
  • the decoding / encoding method to which the present invention is applied may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and multimedia data having a data structure according to the present invention may also be read by a computer. It can be stored in the recording medium.
  • the computer readable recording medium includes all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, which are also implemented in the form of a carrier wave (eg, transmission over the Internet). It also includes.
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted using a wired / wireless communication network.
  • the invention can be used to code a video signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 인터뷰 레지듀얼 예측에 관한 것으로 이웃 블록의 모션 벡터를 이용하여 제 1 참조 블록의 레지듀얼 데이터를 획득하고, 참조뷰 모션 벡터 또는 변이 벡터를 이용하여 제 2 참조 블록의 레지듀얼 데이터를 획득하고, 제 1 참조 블록의 레지듀얼 데이터와 제 2 참조 블록의 레지듀얼 데이터를 이용하여 레지듀얼 데이터 예측 값을 획득하고, 레지듀얼 데이터 예측 값을 이용하여 현재 텍스쳐 블록을 코딩하는 것을 특징으로 한다. 본 발명은 같은 시간대에 속해 있는 다른 시점의 코딩된 데이터를 사용하여 획득된 예측 값을 이용하여 인터뷰 레지듀얼 예측을 수행함으로써, 시점 간의 상관 관계를 활용하여 비디오 데이터 예측의 정확성을 높이고 전송되는 레지듀얼 데이터의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다. 또한, 인터뷰 레지듀얼 예측을 적용하기 위한 조건을 추가하여 코딩 과정에서의 복잡도를 줄일 수도 있다.

Description

비디오 신호 처리 방법 및 장치
본 발명은 비디오 신호의 코딩 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하는 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 영상 압축이라고 일컫는다. 다시점 비디오 영상의 일반적인 특징은 공간적 중복성, 시간적 중복성 및 시점간 중복성을 지니고 있는 점에 특징이 있다.
본 발명의 목적은 비디오 신호의 코딩 효율을 높이고자 함에 있다.
본 발명은 인터뷰 레지듀얼 예측에 관한 것으로 이웃 블록으로부터 모션 벡터를 획득하는 것을 특징으로 한다.
본 발명은 이웃 블록의 모션 벡터를 이용하여 제 1 참조 블록의 레지듀얼 데이터를 획득하고, 참조뷰 모션 벡터 또는 변이 벡터를 이용하여 제 2 참조 블록의 레지듀얼 데이터를 획득하는 것을 특징으로 한다.
본 발명은 제 1 참조 블록의 레지듀얼 데이터와 제 2 참조 블록의 레지듀얼 데이터를 이용하여 현재 텍스쳐 블록의 레지듀얼 데이터 예측 값을 획득하고, 현재 텍스쳐 블록의 레지듀얼 데이터 예측 값을 이용하여 현재 텍스쳐 블록을 코딩하는 것을 특징으로 한다.
본 발명은 참조뷰 모션 벡터를 이용하여 탐색한 제 2 참조 블록의 위치가 픽쳐 내에 위치하는 경우에 인터뷰 레지듀얼 예측을 적용하는 것을 특징으로 한다.
본 발명은 대응 블록이 인터 예측인 경우에 인터뷰 레지듀얼 예측을 적용하는 것을 특징으로 한다.
본 발명은 대응 블록을 찾기 위한 인터뷰 모션 벡터와 현재 텍스쳐 블록에 대응되는 뎁스 데이터를 이용한 변이 벡터를 비교하여 차이가 임계 값 이하인 경우에 인터뷰 레지듀얼 예측을 적용하는 것을 특징으로 한다.
본 발명은 이웃 블록의 시간 모션 벡터와 대응 블록을 찾기 위한 인터뷰 모션 벡터를 비교하여 차이가 임계 값 이하인 경우에 인터뷰 레지듀얼 예측을 적용하는 것을 특징으로 한다.
본 발명은 같은 시간대에 속해 있는 다른 시점의 코딩된 데이터를 사용하여 획득된 현재 텍스쳐 블록의 레지듀얼 데이터 예측 값을 이용하여 인터뷰 레지듀얼 예측을 수행함으로써, 시점 간의 상관 관계를 활용하여 비디오 데이터 예측의 정확성을 높이고 전송되는 레지듀얼 데이터의 양을 줄임으로써 코딩 효율을 향상시킬 수 있다. 또한, 제 1 참조 블록과 제 2 참조 블록을 탐색하기 위한 모션 벡터를 현재 텍스쳐 블록의 이웃 블록으로부터 획득하여 인터뷰 레지듀얼 예측의 정확성을 높일 수 있고 비디오 코딩의 효율을 높이는 방법이다. 그리고 인터뷰 레지듀얼 예측을 적용하기 위한 조건을 추가하여 코딩 과정에서의 복잡도를 줄일 수도 있다.
도 1은 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 2는 본 발명이 적용되는 일실시예로서, 공간적 이웃 블록의 예를 도시한 것이다.
도 3은 본 발명이 적용되는 일실시예로서, 시간적 이웃 블록의 예를 도시한 것이다.
도 4는 본 발명이 적용되는 일실시예로서, 인터 예측의 종류로서 시간적 인터 예측과 시점 간 인터 예측의 예를 도시한 것이다.
도 5는 본 발명이 적용되는 일실시예로서, 뎁스 데이터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도하는 방법을 도시한 것이다.
도 6은 본 발명이 적용되는 일실시예로서, 인터뷰 레지듀얼 예측에 관한 예를 도시한 것이다.
도 7은 본 발명이 적용되는 일실시예로서, 인터뷰 레지듀얼 예측의 예에 대한 흐름도를 도시한 것이다.
도 8은 본 발명이 적용되는 일실시예로서, 도 7의 흐름도에 대응되는 인터뷰 레지듀얼 예측의 예를 도시한 것이다.
도 9는 본 발명이 적용되는 일실시예로서, 인터뷰 레지듀얼 예측의 예에 대한 흐름도를 도시한 것이다.
도 10은 본 발명이 적용되는 일실시예로서, 도 9에 대응되는 인터뷰 레지듀얼 예측의 예를 도시한 것이다.
도 11은 본 발명이 적용되는 일실시예로서, 참조뷰 모션 벡터에 의한 제 1 참조 블록의 위치에 따른 인터뷰 레지듀얼 예측 조건의 예를 도시한 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명에 따른 비디오 신호 처리 방법은 현재 텍스쳐 블록의 시점 간 인터 예측으로 코딩된 이웃 블록으로부터 인터뷰 모션 벡터를 획득할 수 있고, 상기 인터뷰 모션 벡터를 이용하여 대응 블록의 참조뷰 모션 벡터를 획득할 수 있고, 상기 대응 블록의 참조뷰 모션 벡터를 이용하여 제 1 참조 블록의 레지듀얼 데이터를 얻을 수 있고, 상기 대응 블록의 참조뷰 모션 벡터를 상기 현재 텍스쳐 블록의 참조뷰 모션 벡터로 획득하여 상기 현재 텍스쳐 블록의 참조뷰 모션 벡터를 이용하여 제 2 참조 블록의 레지듀얼 데이터를 얻어, 상기 제 1 참조 블록의 레지듀얼 데이터와 상기 제 2 참조 블록의 레지듀얼 데이터를 이용하여 레지듀얼 데이터 예측 값을 얻을 수 있고, 상기 레지듀얼 데이터 예측 값을 이용하여 현재 텍스쳐 블록을 디코딩할 수 있다.
본 발명에 따르면, 상기 제 2 참조 블록이 상기 제 2 참조 픽쳐 내에 위치하지 아니한 경우, 상기 제 2 참조 블록의 레지듀얼 데이터를 0으로 유도할 수 있다.
본 발명에 따르면. 상기 현재 텍스쳐 블록의 뎁스 값을 이용하여 변이 벡터를 획득하고, 상기 인터뷰 모션 벡터와 상기 변이 벡터를 비교하여 상기 인터뷰 모션 벡터와 상기 변이 벡터의 차이가 임계 값 이하인 경우, 상기 제 1 참조 블록의 레지듀얼 데이터와 상기 제 2 참조 블록의 레지듀얼 데이터를 얻을 수 있다.
본 발명에 따르면, 상기 현재 텍스쳐 블록의 시간 인터 예측으로 코딩된 이웃 블록으로부터 시간 모션 벡터를 획득하고, 상기 시간 모션 벡터와 상기 참조뷰 모션 벡터를 비교하는 단계를 더 포함하고, 상기 시간 모션 벡터와 상기 참조뷰 모션 벡터의 차이가 임계값 이하인 경우, 상기 제 1 참조 블록의 레지듀얼 데이터와 상기 제 2 참조 블록의 레지듀얼 데이터를 얻을 수 있다.
본 발명에 따르면, 상기 인터뷰 모션 벡터는 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터 및 참조 인터뷰 모션 벡터 중 적어도 하나로부터 유도될 수 있다.
본 발명에 따르면, 상기 공간적 이웃 블록의 모션 벡터는 상기 시간적 이웃 블록의 인터뷰 모션 벡터보다 높은 우선순위를 가지고, 상기 시간적 이웃 블록의 인터뷰 모션 벡터는 참조 인터뷰 모션 벡터보다 높은 우선순위를 가질 수 있다.
본 발명에 따르면, 상기 참조 인터뷰 모션 벡터는 상기 공간적 이웃 블록과 상기 시간적 이웃 블록 중 적어도 하나가 참조뷰 모션 벡터로 유도된 경우 상기 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터일 수 있다.
다시점 비디오 신호 데이터를 압축 부호화 또는 복호화하는 기술은 공간적 중복성, 시간적 중복성 및 시점간 존재하는 중복성을 고려하고 있다. 또한, 다시점 영상의 경우, 3차원 영상을 구현하기 위해 2개 이상의 시점에서 촬영된 다시점 텍스쳐 영상을 코딩할 수 있다. 또한, 필요에 따라 다시점 텍스쳐 영상에 대응하는 뎁스 데이터를 더 코딩할 수도 있다. 뎁스 데이터를 코딩함에 있어서, 공간적 중복성, 시간적 중복성 또는 시점간 중복성을 고려하여 압축 코딩할 수 있음은 물론이다. 뎁스 데이터는 카메라와 해당 화소 간의 거리 정보를 표현한 것이며, 본 명세서 내에서 뎁스 데이터는 뎁스 정보, 뎁스 영상, 뎁스 픽쳐, 뎁스 시퀀스, 뎁스 비트스트림 등과 같이 뎁스에 관련된 정보로 유연하게 해석될 수 있다. 또한, 본 명세서에서 코딩이라 함은 인코딩과 디코딩의 개념을 모두 포함할 수 있고, 본 발명의 기술적 사상 및 기술적 범위에 따라 유연하게 해석할 수 있을 것이다.
도 1은 본 발명이 적용되는 일실시예로서, 비디오 디코더의 개략적인 블록도를 도시한 것이다.
도 1을 참조하면, 비디오 디코더는 NAL 파싱부(100), 엔트로피 디코딩부(200), 역양자화/역변환부(300), 인트라 예측부(400), 인-루프 필터부(500), 복호 픽쳐 버퍼부(600), 인터 예측부(700)를 포함할 수 있다. NAL 파싱부 (100)는 다시점 텍스쳐 데이터를 포함한 비트스트림을 수신할 수 있다. 또한, 뎁스 데이터가 텍스쳐 데이터의 코딩에 필요한 경우, 인코딩된 뎁스 데이터를 포함한 비트스트림을 더 수신할 수도 있다. 이 때 입력되는 텍스쳐 데이터와 뎁스 데이터는 하나의 비트스트림으로 전송될 수 있고, 또는 별개의 비트스트림으로 전송될 수도 있다. NAL 파싱부(100)는 입력된 비트스트림을 복호화하기 위해 NAL 단위로 파싱을 수행할 수 있다. 입력된 비트스트림이 다시점 관련 데이터(예를 들어, 3-Dimensional Video)인 경우, 입력된 비트스트림은 카메라 파라미터를 더 포함할 수 있다. 카메라 파라미터에는 고유의 카메라 파라미터 (intrinsic camera parameter) 및 비고유의 카메라 파라미터 (extrinsic camera parameter)가 있을 수 있고, 고유의 카메라 파라미터는 초점 거리(focal length), 가로세로비(aspect ratio), 주점(principal point) 등을 포함할 수 있고, 비고유의 카메라 파라미터는 세계 좌표계에서의 카메라의 위치정보 등을 포함할 수 있다.
엔트로피 디코딩부(200)는 엔트로피 디코딩을 통하여 양자화된 변환 계수, 텍스쳐 픽쳐의 예측을 위한 코딩 정보 등을 추출할 수 있다.
역양자화/역변환부(300)에서는 양자화된 변환 계수에 양자화 파라미터를 적용하여 변환 계수를 획득하고, 변환 계수를 역변환하여 텍스쳐 데이터 또는 뎁스 데이터를 복호화할 수 있다. 여기서, 복호화된 텍스쳐 데이터 또는 뎁스 데이터는 예측 처리에 따른 레지듀얼 데이터를 포함할 수 있다. 또한, 뎁스 블록에 대한 양자화 파라미터는 텍스쳐 데이터의 복잡도를 고려하여 획득될 수 있다. 예를 들어, 뎁스 블록에 대응하는 텍스쳐 블록이 복잡도가 높은 영역인 경우에는 낮은 양자화 파라미터를 획득하고, 복잡도가 낮은 영역인 경우에는 높은 양자화 파라미터를 획득할 수 있다.
인트라 예측부(400)는 현재 텍스쳐 픽쳐 내의 복원된 텍스쳐 데이터를 이용하여 화면 내 예측을 수행할 수 있다. 뎁스 픽쳐에 대해서도 텍스쳐 픽쳐와 동일한 방식으로 화면 내 예측이 수행될 수 있다. 예를 들어, 텍스쳐 픽쳐의 화면 내 예측을 위해 이용되는 코딩 정보를 뎁스 픽쳐에서도 동일하게 이용할 수 있다. 여기서, 화면 내 예측을 위해 이용되는 코딩 정보는 인트라 예측 모드, 인트라 예측의 파티션 정보를 포함할 수 있다.
인-루프 필터부(500)는 블록 왜곡 현상을 감소시키기 위해 각각의 코딩된 블록에 인-루프 필터를 적용할 수 있다. 필터는 블록의 가장자리를 부드럽게 하여 디코딩된 픽쳐의 화질을 향상시킬 수 있다. 필터링을 거친 텍스쳐 픽쳐 또는 뎁스 픽쳐들은 출력되거나 참조 픽쳐로 이용하기 위해 복호 픽쳐 버퍼부(600)에 저장될 수 있다.
복호 픽쳐 버퍼부(Decoded Picture Buffer unit)(600)에서는 화면 간 예측을 수행하기 위해서 이전에 코딩된 텍스쳐 픽쳐 또는 뎁스 픽쳐를 저장하거나 개방하는 역할 등을 수행한다. 이 때 복호 픽쳐 버퍼부(600)에 저장하거나 개방하기 위해서 각 픽쳐의 frame_num 과 POC(Picture Order Count)를 이용할 수 있다. 나아가, 뎁스 코딩에 있어서 상기 이전에 코딩된 픽쳐들 중에는 현재 뎁스 픽쳐와 다른 시점에 있는 뎁스 픽쳐들도 있으므로, 이러한 픽쳐들을 참조 픽쳐로서 활용하기 위해서는 뎁스 픽쳐의 시점을 식별하는 시점 식별 정보를 이용할 수도 있다. 뎁스 코딩에 있어서, 뎁스 픽쳐들은 복호 픽쳐 버퍼부 내에서 텍스쳐 픽쳐들과 구별하기 위하여 별도의 표시로 마킹될 수 있고, 상기 마킹 과정에서 각 뎁스 픽쳐를 식별해주기 위한 정보가 이용될 수 있다.
인터 예측부(700)는 복호 픽쳐 버퍼부(600)에 저장된 참조 픽쳐와 모션 정보를 이용하여 현재 블록의 모션 보상을 수행할 수 있다. 본 명세서에서 모션 정보라 함은 모션 벡터, 레퍼런스 인덱스 정보를 포함하는 광의의 개념으로 이해될 수 있다. 또한, 인터 예측부(700)는 모션 보상을 수행하기 위해 시간적 인터 예측을 수행할 수 있다.
본 발명에서 이웃 블록은 공간적 이웃 블록과 시간적 이웃 블록이 있을 수 있다. 이하에서는 본 발명에서 적용되는 공간적 이웃 블록과 시간적 이웃 블록에 대해서 정의한다.
도 2는 본 발명이 적용되는 일실시예로서, 공간적 이웃 블록의 예를 도시한 것이다.
도 2(a)를 참조하면, 공간적 이웃 블록은 좌측하단 이웃 블록 (A0), 좌측 이웃 블록 (A1), 우측상단 이웃 블록 (B0), 상단 이웃 블록 (B1), 좌측상단 이웃 블록 (B2) 중 적어도 하나를 포함할 수 있다. 먼저, 상기 언급한 공간적 이웃 블록들 중에서 모션 벡터를 유도하기 위한 블록을 탐색하고, 현재 텍스쳐 블록의 모션 벡터로 획득할 수 있다. 한편, 공간적 이웃 블록들 간의 우선순위를 고려하여 탐색할 수 있다. 따라서, 좌측 이웃 블록, 상단 이웃 블록, 우측상단 이웃 블록, 좌측하단 이웃 블록, 좌측상단 이웃 블록 순으로 공간적 이웃 블록 탐색을 수행할 수 있다. 예를 들어, 현재 텍스쳐 블록의 인터뷰 모션 벡터를 이웃 블록으로부터 유도하려 할 때, 좌측 이웃 블록이 시점 간 인터 예측으로 코딩된 블록인 경우, 좌측 이웃 블록의 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 획득하고, 탐색을 종료할 수 있다. 그러나, 탐색 결과, 좌측 이웃 블록이 시점 간 인터 예측으로 코딩되지 아니한 경우에는 상단 이웃 블록이 시점 간 인터 예측으로 코딩되어 있는지 확인할 수 있다. 또는, 좌측하단 이웃 블록, 좌측 이웃 블록, 우측상단 이웃 블록, 상단 이웃 블록, 좌측상단 이웃 블록 순으로 시점 간 인터 예측으로 코딩된 블록을 찾을 때까지 탐색을 수행할 수도 있다. 다만, 공간적 이웃 블록들 간의 우선순위는 상기 실시예에 한정되지 아니한다.
도 2(b)는 공간적 이웃 블록의 후보자를 확장한 예이다. 좌측 이웃 블록 (A1)의 크기가 현재 텍스쳐 블록의 크기보다 작은 경우, 현재 텍스쳐 블록은 적어도 하나 이상의 좌측 이웃 블록을 더 가질 수 있다. 예를 들어, 도 2(b)와 같이, 본 발명의 공간적 이웃 블록은 좌측 이웃 블록 (A1)과 좌측상단 이웃 블록 (B4) 사이에 위치한 좌측 이웃 블록 (A2, A3)을 더 포함할 수 있다. 동일한 방식으로 상단 이웃 블록 (B1)의 크기가 현재 텍스쳐 블록의 크기보다 작은 경우, 본 발명의 공간적 이웃 블록은 상단 이웃 블록 (B1)과 좌측상단 이웃 블록 (B4) 사이에 위치한 상단 이웃 블록 (B2, B3)을 더 포함할 수 있다. 이 경우에도 공간적 이웃 블록들 간의 우선순위 (예를 들어, A1 -> B1 -> B0 -> A0 -> B2 -> C0 -> C1 -> D0 -> D1)를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있음은 물론이다. 이와 같이 현재 텍스쳐 블록의 인터뷰 모션 벡터로 유도하기 위한 공간적 이웃 블록의 후보자를 확장함으로써, 현재 텍스쳐 블록의 인터뷰 모션 벡터를 획득할 수 있는 확률을 높일 수 있다.
도 3은 본 발명이 적용되는 일실시예로서, 시간적 이웃 블록의 예를 도시한 것이다.
도 3을 참조하면, 시간적 이웃 블록은 현재 텍스쳐 블록의 참조 픽쳐 내에서 현재 텍스쳐 블록과 동일한 위치에 있는 블록 (이하, 동일 위치의 블록이라 한다.)을 의미할 수 있다. 여기서, 참조 픽쳐는 현재 텍스쳐 블록을 포함한 현재 픽쳐와 동일 시점 및 다른 시간대에 위치한 픽쳐를 의미할 수 있다. 본 발명의 동일 위치의 블록은 도 3에 도시된 바와 같이 2가지 방법으로 정의될 수 있다.
도 3(a)를 참조하면, 동일 위치의 블록은 현재 텍스쳐 블록의 중심 픽셀의 위치 (C)에 대응하는 참조 픽쳐 내에서의 C위치를 포함하는 블록으로 정의될 수 있다. 또는, 도 3(b)를 참조하면, 동일 위치의 블록은 현재 텍스쳐 블록의 좌측상단 픽셀의 위치 (X)에 대응하는 참조 픽쳐 내에서의 X위치를 포함하는 블록으로 정의될 수도 있다. 한편, 본 발명의 시간적 이웃 블록은 동일 위치의 블록에 한정되지 아니하며, 상기 동일 위치의 블록에 인접한 이웃 블록을 의미할 수도 있다. 도 3(a)에 도시된 바와 같이, 동일 위치의 블록에 인접한 이웃 블록으로 좌측하단 이웃 블록 (A0), 좌측 이웃 블록 (A1), 우측상단 이웃 블록 (B0), 상단 이웃 블록 (B1), 좌측상단 이웃 블록 (B2) 중 적어도 어느 하나를 이용할 수 있다. 나아가, 참조 픽쳐는 현재 픽쳐 이전에 이미 디코딩이 되어 있으므로, 동일 위치의 블록의 하단 및 우측에 인접한 이웃 블록도 시간적 이웃 블록으로 이용될 수 있다. 예를 들어, 도 3(a)에 도시된 바와 같이, 시간적 이웃 블록으로 우측하단 이웃 블록 (C0), 하단 이웃 블록 (C1), 우측 이웃 블록 (C2)이 이용될 수도 있다. 한편, 시간적 이웃 블록의 후보자로 언급한 a) 동일 위치의 블록, b) 동일 위치의 블록에 인접한 이웃 블록, 우선순위를 고려하여 시간적 이웃 블록을 탐색할 수 있다.
도 4는 본 발명이 적용되는 일실시예로서, 인터 예측의 종류로서 시간적 인터 예측과 시점 간 인터 예측의 예를 도시한 것이다.
시간적 인터 예측(Motion Compensated Prediction, MCP)이라 함은 현재 텍스쳐 블록과 동일 시점 및 다른 시간대에 위치한 참조 픽쳐 및 현재 텍스쳐 블록의 모션 정보를 이용한 인터 예측을 의미할 수 있다. 또한, 복수 개의 카메라에 의해 촬영된 다시점 영상의 경우, 시간적 인터 예측뿐만 아니라 시점 간 인터 예측을 더 수행할 수도 있다. 시점 간 인터 예측 또는 인터뷰 예측(Disparity Compensated Prediction, DCP)이라 함은 현재 텍스쳐 블록과 다른 시점에 위치한 참조 픽쳐와 현재 텍스쳐 블록의 모션 정보를 이용한 인터 예측을 의미할 수 있다. 한편, 이해 편의를 위하여 시간 인터 예측에 이용되는 모션 정보를 시간 모션 벡터, 시간 레퍼런스 인덱스 정보라 부르고, 시점 간 인터 예측에 이용되는 모션 정보를 인터뷰 모션 벡터, 인터뷰 레퍼런스 인덱스 정보라 부르기로 한다. 따라서, 본 명세서에서 모션 정보는 시간 모션 벡터, 시간 레퍼런스 인덱스 정보, 인터뷰 모션 벡터, 인터뷰 레퍼런스 인덱스 정보를 포함하는 개념으로 유연하게 해석될 수 있다.
레지듀얼 예측은 참조 픽쳐의 레지듀얼 데이터를 이용하여 현재 텍스쳐 블록의 레지듀얼 데이터를 예측하는 방법일 수 있다. 인터뷰 레지듀얼 예측은 참조 시점 내 참조 블록의 레지듀얼 데이터를 이용하여 현재 텍스쳐 블록의 레지듀얼 데이터를 예측하는 방법일 수 있다. 인터뷰 레지듀얼 예측에 대해서는 도 6에서 자세히 설명하도록 한다.
이하에서는 이웃 블록이 시간적 인터 예측 또는 시점 간 인터 예측으로 코딩되었는지를 판별하는 방법에 대해서 설명하도록 한다.
시간적 인터 예측으로 코딩되는지 여부를 판별하는 방법에 대해서 살펴 보기로 한다. 일실시예로, 시간적 인터 예측으로 코딩되는지 여부는 해당 이웃 블록의 모션 벡터 식별 정보에 기초하여 판별할 수 있다. 모션 벡터 식별 정보가 시간적 인터 예측을 이용하는 모션 벡터를 지정하고 있는 경우 이웃 블록은 시간적 인터 예측에 의해 코딩된 블록이라 판단할 수 있다.
상기 정의된 공간적 이웃 블록과 시간적 이웃 블록에서 시점 간 인터 예측으로 코딩되는지 여부를 판별하는 방법에 대해서 살펴 보기로 한다. 일실시예로서, 시점 간 인터 예측으로 코딩되는지 여부는 해당 이웃 블록이 시점 간 참조 픽쳐 리스트를 이용하는지에 기초하여 판별할 수 있다. 시점 간 참조 픽쳐 리스트는 해당 이웃 블록의 시점과 다른 시점에 위치한 참조 픽쳐로 구성된 리스트를 의미할 수 있다. 또는, 해당 이웃 블록의 레퍼런스 인덱스 정보에 기초하여 판별할 수도 있다. 예를 들어, 해당 이웃 블록의 레퍼런스 인덱스 정보가 해당 이웃 블록의 시점과 다른 시점에 위치한 참조 픽쳐를 특정하는 경우, 해당 이웃 블록은 시점 간 인터 예측으로 코딩됨을 특정할 수 있다. 또는, 해당 이웃 블록을 포함한 픽쳐의 POC와 해당 이웃 블록의 참조 픽쳐의 POC 간의 동일 여부에 기초하여 판별할 수도 있다. POC는 출력 순서 정보이며, 동일 액세스 유닛 (access unit) 내의 픽쳐들은 동일한 POC를 가질 수 있다. 따라서, 양자의 POC가 동일하다는 것은 해당 이웃 블록을 포함한 픽쳐와 참조 픽쳐가 서로 상이한 시점에 위치함을 의미할 것이고, 이 경우 해당 이웃 블록은 시점 간 인터 예측으로 코딩되는 것으로 특정할 수 있다.
공간적 이웃 블록과 시간적 이웃 블록이 모두 시점간 인터 예측으로 코딩되어 있지 않은 경우 시간적 인터 예측으로 코딩되어 있는 이웃 블록을 이용하여 인터뷰 모션 벡터를 유도할 수 있다. 이웃 블록이 참조뷰 모션 벡터를 이용하여 시간적 인터 예측으로 코딩된 경우, 참조뷰 모션 벡터를 결정하기 위해 이용되었던 인터뷰 모션 벡터(이하, 참조 인터뷰 모션 벡터라고 한다)를 현재 텍스쳐 블록의 인터뷰 모션 벡터로 획득할 수 있다.
도 5는 본 발명이 적용되는 일실시예로서, 뎁스 데이터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도하는 방법을 도시한 것이다.
도 5을 참조하면, 현재 픽쳐의 현재 텍스쳐 블록의 위치 정보에 기초하여 이에 대응하는 뎁스 픽쳐 내의 뎁스 블록 (이하, 현재 뎁스 블록이라 한다.)의 위치 정보를 획득할 수 있다(S500). 현재 뎁스 블록의 위치는 뎁스 픽쳐와 현재 픽쳐 간의 공간 해상도를 고려하여 결정될 수 있다. 예를 들어, 뎁스 픽쳐와 현재 픽쳐가 동일한 공간 해상도로 코딩된 경우, 현재 뎁스 블록의 위치는 현재 픽쳐의 현재 텍스쳐 블록과 동일 위치의 블록으로 결정될 수 있다. 한편, 현재 픽쳐와 뎁스 픽쳐가 상이한 공간 해상도로 코딩될 수도 있다. 카메라와 객체 간의 거리 정보를 나타내는 뎁스 정보의 특성상, 공간 해상도를 낮춰서 코딩하더라도 코딩 효율이 크게 떨어지지 아니할 수 있기 때문이다. 따라서, 뎁스 픽쳐의 공간 해상도가 현재 픽쳐보다 낮게 코딩된 경우, 디코더는 현재 뎁스 블록의 위치 정보를 획득하기 전에 뎁스 픽쳐에 대한 업샘플링 과정을 수반할 수 있다. 또한, 업샘플링된 뎁스 픽쳐와 현재 픽쳐 간의 화면비율 (aspect ratio)이 정확히 일치하지 아니하는 경우, 업샘플링된 뎁스 픽쳐 내에서 현재 뎁스 블록의 위치 정보를 획득함에 있어서 오프셋 정보를 추가적으로 고려할 수 있다. 여기서, 오프셋 정보는 상단 오프셋 정보, 좌측 오프셋 정보, 우측 오프셋 정보, 하단 오프셋 정보 중 적어도 하나를 포함할 수 있다. 상단 오프셋 정보는 업샘플링된 뎁스 픽쳐의 상단에 위치한 적어도 하나의 픽셀과 현재 픽쳐의 상단에 위치한 적어도 하나의 픽셀 간의 위치 차이를 나타낼 수 있다. 좌측, 우측, 하단 오프셋 정보 역시 동일한 방식으로 각각 정의될 수 있다.
현재 뎁스 블록의 위치 정보에 해당하는 뎁스 데이터를 획득할 수 있다(S510). 현재 뎁스 블록 내에 복수 개의 픽셀이 존재하는 경우, 현재 뎁스 블록의 코너 픽셀 (corner pixel)에 대응하는 뎁스 데이터가 이용될 수 있다. 또는, 현재 뎁스 블록의 중앙 픽셀 (center pixel)에 대응하는 뎁스 데이터가 이용될 수도 있다. 또는, 복수 개의 픽셀에 대응하는 복수 개의 뎁스 데이터 중에서 최대값, 최소값, 최빈값 중 어느 하나가 선택적으로 이용될 수 있고, 복수 개의 뎁스 데이터 간의 평균값이 이용될 수도 있다. 획득된 뎁스 데이터와 카메라 파라미터를 이용하여 현재 텍스쳐 블록의 변이 벡터를 유도할 수 있다(S520). 구체적인 유도 방법은 수학식 1 및 2를 토대로 살펴보기로 한다.
수학식 1
Figure PCTKR2013005349-appb-M000001
수학식 1을 참조하면, Z는 해당 픽셀의 카메라로부터의 거리를 의미하며, D는 Z를 양자화한 값으로서, 본 발명의 뎁스 데이터에 대응된다. Znear 및 Zfar 는 뎁스 픽쳐가 속한 시점에 대해서 정의된 Z의 최소값 및 최대값을 각각 의미한다. 또한, Znear 및 Zfar 는 시퀀스 파라미터 세트, 슬라이스 헤더 등을 통하여 비트스트림으로부터 추출될 수 있고, 디코더 내에 미리 정의된 정보일 수도 있다. 따라서, 해당 픽셀의 카메라로부터의 거리 Z를 256레벨로 양자화한 경우, 수학식 3과 같이 뎁스 데이터, Znear 및 Zfar 를 이용하여 Z를 복원할 수 있다. 그런 다음, 복원된 Z를 이용하여 수학식 4와 같이 현재 텍스쳐 블록에 대한 변이 벡터를 유도할 수 있다.
수학식 2
Figure PCTKR2013005349-appb-M000002
수학식 2에서, f는 카메라의 초점 거리를 의미하고, B는 카메라 간의 거리를 의미한다. f 및 B는 모든 카메라에 대해서 동일하다고 가정할 수 있고, 따라서 디코더에 미리 정의된 정보일 수 있다.
한편, 다시점 영상에 대해서 텍스쳐 데이터만을 코딩하는 경우에는 카메라 파라미터에 관한 정보를 이용할 수 없기 때문에 뎁스 데이터로부터 변이 벡터를 유도하는 방법을 사용할 수 없다. 따라서, 다시점 영상의 텍스쳐 데이터만 코딩하는 경우에는 변이 벡터를 저장한 변이 벡터 맵 (disparity vector map)을 이용할 수 있다. 변이 벡터 맵은 수평 성분과 수직 성분으로 구성된 변이 벡터가 2차원 배열로 저장된 맵일 수 있다. 본 발명의 변이 벡터 맵은 다양한 크기로 표현될 수 있다. 예를 들어, 하나의 픽쳐마다 하나의 변이 벡터만을 사용하는 경우에는 1x1의 크기를 가질 수 있고, 픽쳐 내의 4x4 블록마다 변이 벡터를 사용하는 경우에는 픽쳐 크기에 대비해서 1/4의 너비와 높이를 가지므로 변이 벡터 맵은 픽쳐의 1/16 크기를 가질 수도 있다. 또한, 하나의 픽쳐 내에서 현재 텍스쳐 블록의 크기는 적응적으로 결정될 수 있고, 해당 텍스쳐 블록마다 변이 벡터를 저장할 수도 있다.
이하, 인터 예측부(700)에서 현재 텍스쳐 블록의 인터뷰 예측 특히, 참조 블록의 레지듀얼 데이터를 이용하여 레지듀얼 데이터 예측 값을 획득하는 인터뷰 레지듀얼 예측 방법에 대해서 살펴 보기로 한다.
도 6은 본 발명이 적용되는 일실시예로서, 인터뷰 레지듀얼 예측에 관한 예를 도시한 것이다.
인터뷰 레지듀얼 예측은 다시점 영상의 동일 시간대에 속한 다른 시점의 레지듀얼 데이터를 이용하여 현재 텍스쳐 블록의 레지듀얼 데이터의 예측 값을 얻는 방법이다. 상기 방법을 이용하여 현재 텍스쳐 블록의 레지듀얼 데이터를 예측 함으로써 현재 시점 비디오 코딩의 효율을 높일 수 있다. 도 6에서 현재 텍스쳐 블록의 중앙 위치를 X로 잡았을 때, X에 해당되는 현재 텍스쳐 블록의 뎁스 값 d를 사용하여 현재 텍스쳐 블록의 변이 벡터를 획득한다. 여기서, 변이 벡터는 현재 텍스쳐 블록의 참조 블록을 가리킨다. 획득된 변이 벡터를 이용하여 참조 뷰에서 현재 텍스쳐 블록의 참조 블록을 찾을 수 있다. 다시 말해, 현재 텍스쳐 블록의 좌측 상단 위치에서 변이 벡터 값을 더하여 참조 시점에서의 해당 참조 블록 위치를 찾을 수 있다. 참조 블록에 레지듀얼 데이터가 존재하는 경우, 참조 블록 위치의 레지듀얼 데이터와 현재 텍스쳐 블록의 레지듀얼 데이터 간의 차분 데이터만을 변환하여 코딩 효율을 높일 수 있다. 변이 벡터가 가리키는 참조 뷰 블록의 위치가 서브 샘플 위치인 경우, 레지듀얼 데이터 예측 값은 참조 뷰의 레지듀얼 데이터 샘플들을 중첩 선형 필터를 이용하여 얻을 수 있다.
현재 텍스쳐 블록이 인터뷰 레지듀얼 예측을 적용하는지를 나타내는 플래그(inter_view_residual_prediction_flag)를 비트스트림에 포함시켜 인터뷰 레지듀얼 예측을 적용할지 여부를 디코더에 전송할 수 있다. 현재 텍스쳐 블록이 인터뷰 레지듀얼 예측을 하는 것이 효율적이라고 판단되면 inter_view_residual_prediction_flag를 1로, 인터뷰 레지듀얼 예측을 하지 않는 것이 효율적이라고 판단되면 inter_view_residual_prediction_flag를 0으로 유도할 수 있다.
도 7은 본 발명이 적용되는 일실시예로서, 인터뷰 레지듀얼 예측의 예에 대한 흐름도를 도시한 것이다.
도 8은 본 발명이 적용되는 일실시예로서, 도 7의 흐름도에 대응되는 인터뷰 레지듀얼 예측의 예를 도시한 것이다.
도 8에서 보듯이, 현재 텍스쳐 블록에 이웃한 블록 중 시간 인터 예측을 사용하는 블록이 있다면, 이웃 블록으로부터 모션 정보로부터 현재 텍스쳐 블록의 시간 모션 벡터(800)을 획득할 수 있다(S700). 이웃 블록은 공간적 이웃 블록과 시간적 이웃 블록을 포함할 수 있다. 현재 텍스쳐 블록의 공간적 이웃 블록인 좌측 하단 이웃 블록, 좌측 이웃 블록, 우측 상단 이웃 블록, 상단 이웃 블록, 좌측 상단 이웃 블록 중 적어도 하나를 포함할 수 있다. 공간적 이웃 블록이 시간 인터 예측으로 코딩된 경우 공간적 이웃 블록으로부터 시간 모션 벡터를 획득하여 현재 텍스쳐 블록의 시간 모션 벡터(800)로 획득할 수 있다. 또는 시간적 이웃 블록이 시간 인터 예측으로 코딩된 경우 시간적 이웃 블록으로부터 시간 모션 벡터를 획득하여 현재 텍스쳐 블록의 시간 모션 벡터(800)로 획득할 수 있다. 한편 이웃 블록들 간의 우선순위를 고려하여 시간 인터 예측으로 코딩된 블록을 탐색할 수 있다. 공간적 이웃 블록을 탐색하고 시간적 이웃 블록을 탐색할 수 있다. 또는 시간적 이웃 블록을 탐색하고 공간적 이웃 블록을 탐색할 수 있다. 공간적 이웃 블록들 간의 우선순위를 고려하여 시간 인터 예측으로 코딩된 블록을 탐색할 수 있다. 공간적 이웃 블록들 간의 우선 순위는 좌측 이웃 블록, 상단 이웃 블록, 우측 상단 이웃 블록, 좌측 하단 이웃 블록, 좌측 상단 이웃 블록 순일 수 있다.
현재 텍스쳐 블록의 시간 모션 벡터로 획득된 시간 모션 벡터(800)를 이용하여 제 1 참조 블록의 위치를 탐색하고, 제 1 참조 블록으로부터 레지듀얼 데이터를 획득할 수 있다(S710). 현재 텍스쳐 블록에서 시간 모션 벡터(800)를 이용하여 제 1 참조 블록의 위치를 탐색할 수 있다. 현재 텍스쳐 블록의 좌측 상단 위치에서 시간 모션 벡터(800)를 더하여 제 1 참조 블록의 좌측 상단 위치를 탐색할 수 있다. 제 1 참조 블록은 현재 텍스쳐 블록과 동일 시점의 다른 시간의 픽쳐 내에 위치할 수 있다.
제 1 참조 블록의 인터뷰 모션 벡터(810)를 획득할 수 있다(S720). 제 1 참조 블록의 인터뷰 모션 벡터(810)는 제 1 참조 블록에 대응되는 뎁스 데이터를 이용하여 획득된 변이 벡터일 수 있다. 또는 제 1 참조 블록의 이웃 블록 중 시점 간 인터 예측에 의해 코딩된 블록의 인터뷰 모션 벡터를 제 1 참조 블록의 인터뷰 모션 벡터(810)로 획득할 수 있다. 이웃 블록은 공간적 이웃 블록과 시간적 이웃 블록을 포함할 수 있다. 현재 텍스쳐 블록의 공간적 이웃 블록인 좌측 하단 이웃 블록, 좌측 이웃 블록, 우측 상단 이웃 블록 상단 이웃 블록, 좌측 상단 이웃 블록 중 적어도 하나를 포함할 수 있다. 공간적 이웃 블록이 시점 간 인터 예측으로 코딩된 경우 공간적 이웃 블록으로부터 인터뷰 모션 벡터를 획득하여 현재 텍스쳐 블록의 인터뷰 모션 벡터(810)로 획득할 수 있다. 또는 시간적 이웃 블록이 시점 간 인터 예측으로 코딩된 경우 시간적 이웃 블록으로부터 인터뷰 모션 벡터를 획득하여 현재 텍스쳐 블록의 인터뷰 모션 벡터(810)로 획득할 수 있다. 한편 이웃 블록들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다.
제 1 참조 블록의 인터뷰 모션 벡터(810)를 이용하여 제 2 참조 블록의 위치를 특정하고, 제 2 참조 블록으로부터 레지듀얼 데이터를 획득할 수 있다(S730). 제 2 참조 블록은 제 1 참조 블록과 동일 시간의 다른 시점의 픽쳐 내에 위치할 수 있다. 인터뷰 모션 벡터(810)를 이용하여 제 2 참조 블록의 위치를 탐색할 수 있다. 제 1 참조 블록의 좌측 상단 위치에서 인터뷰 모션 벡터(810)를 더하여 제 2 참조 블록의 좌측 상단 위치를 특정할 수 있다.
제 1 참조 블록의 레지듀얼 데이터와 제 2 참조 블록의 레지듀얼 데이터를 빼서 레지듀얼 데이터 예측 값을 얻을 수 있다(S740).
레지듀얼 데이터 예측 값을 이용하여 현재 텍스쳐 블록의 디코딩을 위한 인터뷰 레지듀얼 예측을 수행할 수 있다(S750).
도 9는 본 발명이 적용되는 일실시예로서, 인터뷰 레지듀얼 예측의 예에 대한 흐름도를 도시한 것이다.
도 10은 본 발명이 적용되는 일실시예로서, 도 9에 대응되는 인터뷰 레지듀얼 예측의 예를 도시한 것이다.
현재 텍스쳐 블록의 인터뷰 모션 벡터를 획득할 수 있다(S900). 현재 텍스쳐 블록의 인터뷰 모션 벡터(1000)는 현재 텍스쳐 블록의 이웃 블록으로부터 획득할 수 있다. 현재 텍스쳐 블록의 이웃 블록 중 인터뷰 모션 벡터를 이용하여 코딩된 이웃 블록이 있는 경우, 이웃 블록의 인터뷰 모션 벡터를 현재 텍스쳐 블록의 인터뷰 모션 벡터(1000)로 획득할 수 있다. 이웃 블록은 공간적 이웃 블록과 시간적 이웃 블록을 포함할 수 있다. 현재 텍스쳐 블록의 공간적 이웃 블록인 좌측 하단 이웃 블록, 좌측 이웃 블록, 우측 상단 이웃 블록 상단 이웃 블록, 좌측 상단 이웃 블록 중 적어도 하나를 포함할 수 있다. 공간적 이웃 블록이 시점 간 인터 예측으로 코딩된 경우 공간적 이웃 블록으로부터 인터뷰 모션 벡터를 획득하여 현재 텍스쳐 블록의 인터뷰 모션 벡터(1000)로 획득할 수 있다. 또는 시간적 이웃 블록이 시점 간 인터 예측으로 코딩된 경우 시간적 이웃 블록으로부터 인터뷰 모션 벡터를 획득하여 현재 텍스쳐 블록의 인터뷰 모션 벡터(1000)로 획득할 수 있다. 한편 이웃 블록들 간의 우선순위를 고려하여 시점 간 인터 예측으로 코딩된 블록을 탐색할 수 있다.
획득된 인터뷰 모션 벡터를 이용하여 대응 블록의 위치를 탐색할 수 있다(S910). 현재 텍스쳐 블록의 좌측 상단 샘플 위치에 S900에서 획득된 인터뷰 모션 벡터를 더하여 대응 블록의 좌측 상단 샘플 위치를 결정할 수 있다. 대응 블록은 현재 텍스쳐 블록과 동일 시간대에 다른 시점에 위치할 수 있다.
탐색된 대응 블록의 참조뷰 모션 벡터(1010)를 획득할 수 있다(S920). 대응 블록의 참조뷰 모션 벡터(1010)는 대응 블록의 이웃 블록으로부터 획득할 수 있다. 대응 블록의 이웃 블록 중 시간 인터 예측을 이용하여 코딩된 이웃 블록이 있는 경우, 이웃 블록의 시간 인터 예측에 이용된 시간 모션 벡터를 대응 블록의 참조뷰 모션 벡터(1010)로 획득할 수 있다. 이웃 블록은 공간적 이웃 블록과 시간적 이웃 블록을 포함할 수 있다. 대응 블록의 공간적 이웃 블록인 좌측 하단 이웃 블록, 좌측 이웃 블록, 우측 상단 이웃 블록 상단 이웃 블록, 좌측 상단 이웃 블록 중 적어도 하나를 포함할 수 있다. 공간적 이웃 블록이 시간 인터 예측으로 코딩된 경우 공간적 이웃 블록으로부터 시간 모션 벡터를 획득하여 대응 블록의 참조뷰 모션 벡터(1010)로 획득할 수 있다. 또는 시간적 이웃 블록이 시간 인터 예측으로 코딩된 경우 시간적 이웃 블록으로부터 시간 모션 벡터를 획득하여 대응 블록의 참조뷰 모션 벡터(1010)로 획득할 수 있다. 한편 이웃 블록들 간의 우선순위를 고려하여 시간 인터 예측으로 코딩된 블록을 탐색할 수 있다. 공간적 이웃 블록을 탐색하고 시간적 이웃 블록을 탐색할 수 있다. 또는 시간적 이웃 블록을 탐색하고 공간적 이웃 블록을 탐색할 수 있다. 공간적 이웃 블록들 간의 우선순위를 고려하여 시간 인터 예측으로 코딩된 블록을 탐색할 수 있다. 공간적 이웃 블록들 간의 우선 순위는 좌측 이웃 블록, 상단 이웃 블록, 우측 상단 이웃 블록, 좌측 하단 이웃 블록, 좌측 상단 이웃 블록 순일 수 있다.
획득된 대응 블록의 참조뷰 모션 벡터(1010)를 이용하여 제 2 참조 블록의 레지듀얼 데이터를 획득할 수 있다(S930). 대응 블록의 좌측 상단 샘플에 참조뷰 모션 벡터(1010)를 더하여 제 2 참조 블록의 좌측 상단을 탐색할 수 있다. 참조뷰 모션 벡터(1010)를 이용하여 탐색된 제 2 참조 블록에서 레지듀얼 데이터를 획득할 수 있다. 제 2 참조 블록은 대응 블록과 다른 시간대 동일 시점에 위치할 수 있다.
대응 블록의 참조뷰 모션 벡터(1010)를 현재 텍스쳐 블록의 참조뷰 모션 벡터(1020)로 획득할 수 있다(S940). 참조 시점의 대응 블록에서 획득된 참조뷰 모션 벡터를 현재 시점으로 가져와서 대응 블록의 참조뷰 모션 벡터(1010)를 현재 텍스쳐 블록의 참조뷰 모션 벡터(1020)로 획득할 수 있다.
현재 텍스쳐 블록의 참조뷰 모션 벡터(1020)를 이용하여 제 1 참조 블록의 레지듀얼 데이터를 획득할 수 있다(S950). 현재 텍스쳐 블록의 좌측 상단 샘플에 참조뷰 모션 벡터(1020)를 더하여 제 2 참조 블록의 좌측 상단을 탐색할 수 있다. 참조뷰 모션 벡터(1020)를 이용하여 탐색된 제 2 참조블록에서 레지듀얼 데이터를 획득할 수 있다. 제 1 참조 블록은 현재 텍스쳐 블록과 다른 시간대 동일 시점에 위치할 수 있다. 제 1 참조 블록은 제 2 참조 블록과 동일 시간대 다른 시점에 위치할 수 있다.
제 1 참조 블록의 레지듀얼 데이터와 제 2 참조 블록의 레지듀얼 데이터를 빼서 레지듀얼 데이터 예측 값을 얻을 수 있다(S960).
레지듀얼 데이터 예측 값을 이용하여 현재 텍스쳐 블록의 디코딩을 위한 인터뷰 레지듀얼 예측을 수행할 수 있다(S970).
이하에서는 인터뷰 레지듀얼 예측을 적용하기 위한 조건에 대해서 설명한다.
도 11은 본 발명이 적용되는 일실시예로서, 참조뷰 모션 벡터에 의한 제 1 참조 블록의 위치에 따른 인터뷰 레지듀얼 예측을 적용하기 위한 조건의 예를 도시한 것이다.
참조 시점으로부터 획득된 참조뷰 모션 벡터와 현재 텍스쳐 블록의 좌측 상단 샘플을 더하여 제 1 참조 블록의 좌측 상단 위치가 픽쳐 내에 포함되어 위치하는 경우 제 1 참조 블록의 레지듀얼 데이터를 획득하고, 인터뷰 레지듀얼 예측을 적용할 수 있다. 참조 시점으로부터 획득된 참조뷰 모션 벡터와 현재 텍스쳐 블록의 좌측 상단 샘플을 더하여 제 1 참조 블록의 좌측 상단 위치가 픽쳐의 경계를 벗어나는 경우, 현재 시점과 참조 시점의 시선 차이로 인해 보이지 않는 영역을 가리킨다고 판단할 수 있다. 따라서, 제 1 참조 블록의 좌측 상단 위치가 픽쳐의 경계를 벗어나면 제 1 참조 블록의 레지듀얼 데이터를 0으로 유도할 수 있다. 또는 인터뷰 레지듀얼 예측을 적용하지 않을 수 있다.
인터뷰 모션 벡터를 이용하여 탐색한 대응 블록이 인터 모드로 코딩된 경우에 인터뷰 레지듀얼 예측을 적용할 수 있다. 인터뷰 모션 벡터를 이용하여 탐색한 대응 블록이 인트라 모드로 코딩된 상태라면 모션 벡터가 존재하지 않으므로 인터뷰 레지듀얼 예측을 적용하지 않을 수 있다.
현재 텍스쳐 블록의 뎁스 데이터를 이용하여 변이 벡터를 획득하고, 획득된 변이 벡터와 인터뷰 모션 벡터를 비교하여 인터뷰 레지듀얼 예측을 적용할지 여부를 판단할 수 있다. 변이 벡터와 인터뷰 모션 벡터를 비교하여 변이 벡터와 인터뷰 모션 벡터의 y 방향 성분의 차이가 기결정된 임계값 보다 큰 경우 인터뷰 모션 벡터를 사용하지 않고, 인터뷰 레지듀얼 예측을 적용하지 않을 수 있다. 또는 인터뷰 모션 벡터의 y 값이 큰 경우 실제 변이 벡터와 다를 가능성이 크다고 판단하여 인터뷰 모션 벡터를 사용하지 않고, 인터뷰 레지듀얼 예측을 적용하지 않을 수 있다.
현재 텍스쳐 블록의 이웃 블록 중 시간 인터 예측에 의해 코딩된 이웃 블록이 있는 경우, 이웃 블록의 모션 벡터를 참조뷰 모션 벡터와 비교하여 인터뷰 레지듀얼 예측에 적용할지 여부를 판단할 수 있다. 이웃 블록의 모션 벡터와 참조뷰 모션 벡터를 비교하여 두 값의 차이가 기결정된 임계 값보다 작은 경우에 참조뷰 모션 벡터를 인터뷰 레지듀얼 예측에 적용하도록 획득할 수 있다. 이웃 블록의 모션 벡터와 참조뷰 모션 벡터의 차이가 기결정된 임계 값보다 큰 경우에는 참조뷰 모션 벡터를 인터뷰 레지듀얼 예측에 적용하지 않도록 획득할 수 있다.
상기 인터뷰 레지듀얼 예측을 적용하기 위한 조건을 모두 만족하거나 조건 중 일부 만을 만족하는 경우에 inter_view_residual_prediction_flag를 1로 획득하여 인터뷰 레지듀얼 예측을 적용할 수 있다.
상기 인터뷰 레지듀얼 예측을 적용하기 위한 조건을 모두 만족하지 않거나 조건 중 일부 만을 만족하지 않는 경우에 inter_view_residual_prediction_flag를 0으로 유도하여 인터뷰 레지듀얼 예측을 적용하지 않을 수 있다.
이상에서 설명한 바와 같이, 본 발명이 적용되는 디코딩/인코딩 장치는 DMB(Digital Multimedia Broadcasting)과 같은 멀티미디어 방송 송/수신 장치에 구비되어, 비디오 신호 및 데이터 신호 등을 디코딩하는데 사용될 수 있다. 또한 상기 멀티미디어 방송 송/수신 장치는 이동통신 단말기를 포함할 수 있다.
또한, 본 발명이 적용되는 디코딩/인코딩 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
본 발명은 비디오 신호를 코딩하는데 이용될 수 있다.

Claims (14)

  1. 현재 텍스쳐 블록의 시점 간 인터 예측으로 코딩된 이웃 블록으로부터 인터뷰 모션 벡터를 획득하는 단계;
    상기 인터뷰 모션 벡터를 이용하여 대응 블록의 참조뷰 모션 벡터를 획득하는 단계;
    상기 대응 블록의 참조뷰 모션 벡터를 이용하여 제 1 참조 블록의 레지듀얼 데이터를 얻는 단계;
    상기 제 1 참조 블록은 상기 대응 블록과 동일 시점의 제 1 참조 픽쳐 내에 위치함;
    상기 대응 블록의 참조뷰 모션 벡터를 상기 현재 텍스쳐 블록의 참조뷰 모션 벡터로 획득하는 단계;
    상기 현재 텍스쳐 블록의 참조뷰 모션 벡터를 이용하여 제 2 참조 블록의 레지듀얼 데이터를 얻는 단계;
    상기 제 2 참조 블록은 상기 현재 텍스쳐 블록과 동일 시점의 제 2 참조 픽쳐 내에 위치함;
    상기 제 1 참조 블록의 레지듀얼 데이터와 상기 제 2 참조 블록의 레지듀얼 데이터를 이용하여 레지듀얼 데이터 예측 값을 얻는 단계; 및
    상기 레지듀얼 데이터 예측 값을 이용하여 현재 텍스쳐 블록을 디코딩하는 단계를 포함하는 것을 특징으로 하는 비디오 처리 방법.
  2. 제 1 항에 있어서,
    상기 제 2 참조 블록이 상기 제 2 참조 픽쳐 내에 위치하지 아니한 경우, 상기 제 2 참조 블록의 레지듀얼 데이터를 0으로 유도하는 것을 특징으로 하는 비디오 처리 방법.
  3. 제 1 항에 있어서,
    상기 현재 텍스쳐 블록의 뎁스 값을 이용하여 변이 벡터를 획득하는 단계;
    상기 인터뷰 모션 벡터와 상기 변이 벡터를 비교하는 단계를 더 포함하고,
    상기 인터뷰 모션 벡터와 상기 변이 벡터의 차이가 임계 값 이하인 경우, 상기 제 1 참조 블록의 레지듀얼 데이터와 상기 제 2 참조 블록의 레지듀얼 데이터를 얻는 것을 특징으로 하는 비디오 처리 방법.
  4. 제 1 항에 있어서,
    상기 현재 텍스쳐 블록의 시간 인터 예측으로 코딩된 이웃 블록으로부터 시간 모션 벡터를 획득하는 단계;
    상기 시간 모션 벡터와 상기 참조뷰 모션 벡터를 비교하는 단계를 더 포함하고,
    상기 시간 모션 벡터와 상기 참조뷰 모션 벡터의 차이가 임계값 이하인 경우, 상기 제 1 참조 블록의 레지듀얼 데이터와 상기 제 2 참조 블록의 레지듀얼 데이터를 얻는 것을 특징으로 하는 비디오 처리 방법.
  5. 제 1 항에 있어서,
    상기 인터뷰 모션 벡터는 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터 및 참조 인터뷰 모션 벡터 중 적어도 하나로부터 유도되는 것을 특징으로 하는 비디오 신호 처리 방법.
  6. 제 5 항에 있어서,
    상기 공간적 이웃 블록의 모션 벡터는 상기 시간적 이웃 블록의 인터뷰 모션 벡터보다 높은 우선순위를 가지고, 상기 시간적 이웃 블록의 인터뷰 모션 벡터는 참조 인터뷰 모션 벡터보다 높은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 방법.
  7. 제 6 항에 있어서,
    상기 참조 인터뷰 모션 벡터는 상기 공간적 이웃 블록과 상기 시간적 이웃 블록 중 적어도 하나가 참조뷰 모션 벡터로 유도된 경우 상기 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터인 것을 특징으로 하는 비디오 신호 처리 방법.
  8. 현재 텍스쳐 블록의 시점 간 인터 예측으로 코딩된 이웃 블록으로부터 인터뷰 모션 벡터를 획득하는 인터 예측부;
    상기 인터뷰 모션 벡터를 이용하여 대응 블록의 참조뷰 모션 벡터를 획득하는 상기 인터 예측부;
    상기 대응 블록의 참조뷰 모션 벡터를 이용하여 제 1 참조 블록의 레지듀얼 데이터를 얻는 상기 인터 예측부;
    상기 제 1 참조 블록은 상기 대응 블록과 동일 시점의 제 1 참조 픽쳐 내에 위치함;
    상기 대응 블록의 참조뷰 모션 벡터를 상기 현재 텍스쳐 블록의 참조뷰 모션 벡터로 획득하는 상기 인터 예측부;
    상기 현재 텍스쳐 블록의 참조뷰 모션 벡터를 이용하여 제 2 참조 블록의 레지듀얼 데이터를 얻는 상기 인터 예측부;
    상기 제 2 참조 블록은 상기 현재 텍스쳐 블록과 동일 시점의 제 2 참조 픽쳐 내에 위치함;
    상기 제 1 참조 블록의 레지듀얼 데이터와 상기 제 2 참조 블록의 레지듀얼 데이터를 이용하여 레지듀얼 데이터 예측 값을 얻는 상기 인터 예측부; 및
    상기 레지듀얼 데이터 예측 값을 이용하여 현재 텍스쳐 블록을 인터뷰 레지듀얼 예측을 수행하는 상기 인터 예측부를 포함하는 것을 특징으로 하는 비디오 처리 장치.
  9. 제 8 항에 있어서,
    상기 제 2 참조 블록이 상기 제 2 참조 픽쳐 내에 위치하지 아니한 경우, 상기 제 2 참조 블록의 레지듀얼 데이터를 0으로 유도하는 것을 특징으로 하는 비디오 처리 장치.
  10. 제 8 항에 있어서,
    상기 현재 텍스쳐 블록의 뎁스 값을 이용하여 변이 벡터를 획득하는 상기 인터 예측부; 및
    상기 인터뷰 모션 벡터와 상기 변이 벡터를 비교하는 상기 인터 예측부를 더 포함하고,
    상기 인터뷰 모션 벡터와 상기 변이 벡터의 차이가 임계 값 이하인 경우, 상기 제 1 참조 블록의 레지듀얼 데이터와 상기 제 2 참조 블록의 레지듀얼 데이터를 얻는 것을 특징으로 하는 비디오 처리 장치.
  11. 제 8 항에 있어서,
    상기 현재 텍스쳐 블록의 시간 인터 예측으로 코딩된 이웃 블록으로부터 시간 모션 벡터를 획득하는 상기 인터 예측부; 및
    상기 시간 모션 벡터와 상기 참조뷰 모션 벡터를 비교하는 상기 인터 예측부를 더 포함하고,
    상기 시간 모션 벡터와 상기 참조뷰 모션 벡터의 차이가 임계값 이하인 경우, 상기 제 1 참조 블록의 레지듀얼 데이터와 상기 제 2 참조 블록의 레지듀얼 데이터를 얻는 것을 특징으로 하는 비디오 처리 장치.
  12. 제 8 항에 있어서,
    상기 인터뷰 모션 벡터는 공간적 이웃 블록의 인터뷰 모션 벡터, 시간적 이웃 블록의 인터뷰 모션 벡터 및 참조 인터뷰 모션 벡터 중 적어도 하나로부터 유도되는 것을 특징으로 하는 비디오 신호 처리 장치.
  13. 제 12 항에 있어서,
    상기 공간적 이웃 블록의 모션 벡터는 상기 시간적 이웃 블록의 인터뷰 모션 벡터보다 높은 우선순위를 가지고, 상기 시간적 이웃 블록의 인터뷰 모션 벡터는 참조 인터뷰 모션 벡터보다 높은 우선순위를 가지는 것을 특징으로 하는 비디오 신호 처리 장치.
  14. 제 13 항에 있어서,
    상기 참조 인터뷰 모션 벡터는 상기 공간적 이웃 블록과 상기 시간적 이웃 블록 중 적어도 하나가 참조뷰 모션 벡터로 유도된 경우 상기 참조뷰 모션 벡터에 대응하는 인터뷰 모션 벡터인 것을 특징으로 하는 비디오 신호 처리 장치.
PCT/KR2013/005349 2012-06-19 2013-06-18 비디오 신호 처리 방법 및 장치 WO2013191436A1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
IN2890KON2014 IN2014KN02890A (ko) 2012-06-19 2013-06-18
JP2015518329A JP6231560B2 (ja) 2012-06-19 2013-06-18 ビデオ信号処理方法およびビデオ信号処理装置
CA2877268A CA2877268C (en) 2012-06-19 2013-06-18 Method and device for processing video signal
MX2014015341A MX341103B (es) 2012-06-19 2013-06-18 Metodo y dispositivo para procesar señal de video.
US14/406,604 US10021417B2 (en) 2012-06-19 2013-06-18 Method and device for processing video signal
CN201380032501.1A CN104380744B (zh) 2012-06-19 2013-06-18 处理视频信号的方法和设备
AU2013278195A AU2013278195B2 (en) 2012-06-19 2013-06-18 Method and device for processing video signal
EP13806999.2A EP2854399B1 (en) 2012-06-19 2013-06-18 Method and device for processing video signal
RU2014150564A RU2653258C2 (ru) 2012-06-19 2013-06-18 Способ и устройство для обработки видеосигнала
KR1020157001373A KR102148650B1 (ko) 2012-06-19 2013-06-18 비디오 신호 처리 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261661797P 2012-06-19 2012-06-19
US61/661,797 2012-06-19

Publications (1)

Publication Number Publication Date
WO2013191436A1 true WO2013191436A1 (ko) 2013-12-27

Family

ID=49768983

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005349 WO2013191436A1 (ko) 2012-06-19 2013-06-18 비디오 신호 처리 방법 및 장치

Country Status (11)

Country Link
US (1) US10021417B2 (ko)
EP (1) EP2854399B1 (ko)
JP (1) JP6231560B2 (ko)
KR (1) KR102148650B1 (ko)
CN (1) CN104380744B (ko)
AU (1) AU2013278195B2 (ko)
CA (1) CA2877268C (ko)
IN (1) IN2014KN02890A (ko)
MX (1) MX341103B (ko)
RU (1) RU2653258C2 (ko)
WO (1) WO2013191436A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102137266B1 (ko) * 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
JP6139953B2 (ja) * 2013-04-12 2017-05-31 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体
KR101761331B1 (ko) * 2013-04-12 2017-07-25 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 장치 및 방법, 영상 복호 장치 및 방법과 이들의 프로그램
US9288507B2 (en) * 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
WO2017090968A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
CN108293122A (zh) * 2015-11-24 2018-07-17 三星电子株式会社 对图像进行编码/解码的方法及其设备
JP7437426B2 (ja) * 2019-09-24 2024-02-22 オッポ広東移動通信有限公司 インター予測方法および装置、機器、記憶媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174649A (ja) * 2005-12-19 2007-07-05 Seiko Epson Corp 符号化モードと関連付けられた歪みレベルを推定する方法、符号化モードのレート歪みコストを計算するためのシステム、および符号化モードの推定空間ドメイン残余を変換ドメインで推定するためのモジュール
KR20080073157A (ko) * 2007-02-05 2008-08-08 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
KR20090095317A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
KR20100097286A (ko) * 2009-02-26 2010-09-03 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR20120011428A (ko) * 2010-07-29 2012-02-08 에스케이 텔레콤주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
KR100774296B1 (ko) 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
CN1258925C (zh) * 2003-06-27 2006-06-07 中国科学院计算技术研究所 多视角视频编解码预测补偿方法及装置
US8369406B2 (en) * 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
WO2008053746A1 (fr) 2006-10-30 2008-05-08 Nippon Telegraph And Telephone Corporation Procédé de génération d'informations de référence prédictives, procédé de codage et de décodage d'image dynamiques, leur dispositif, leur programme et support de stockage contenant le programme
KR20100105680A (ko) * 2008-03-07 2010-09-29 가부시끼가이샤 도시바 동화상 부호화/복호화 방법 및 장치
US20130176390A1 (en) * 2012-01-06 2013-07-11 Qualcomm Incorporated Multi-hypothesis disparity vector construction in 3d video coding with depth

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174649A (ja) * 2005-12-19 2007-07-05 Seiko Epson Corp 符号化モードと関連付けられた歪みレベルを推定する方法、符号化モードのレート歪みコストを計算するためのシステム、および符号化モードの推定空間ドメイン残余を変換ドメインで推定するためのモジュール
KR20080073157A (ko) * 2007-02-05 2008-08-08 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
KR20090095317A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
KR20100097286A (ko) * 2009-02-26 2010-09-03 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR20120011428A (ko) * 2010-07-29 2012-02-08 에스케이 텔레콤주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
EP2854399A1 (en) 2015-04-01
RU2653258C2 (ru) 2018-05-07
CA2877268A1 (en) 2013-12-27
CN104380744B (zh) 2018-05-04
CA2877268C (en) 2020-07-21
AU2013278195A1 (en) 2015-01-22
EP2854399B1 (en) 2017-11-22
MX2014015341A (es) 2015-03-05
AU2013278195B2 (en) 2017-01-19
US20150181230A1 (en) 2015-06-25
JP6231560B2 (ja) 2017-11-15
US10021417B2 (en) 2018-07-10
IN2014KN02890A (ko) 2015-05-08
RU2014150564A (ru) 2016-08-10
AU2013278195A2 (en) 2015-04-30
CN104380744A (zh) 2015-02-25
MX341103B (es) 2016-08-08
KR102148650B1 (ko) 2020-08-28
EP2854399A4 (en) 2016-02-24
JP2015524228A (ja) 2015-08-20
KR20150037847A (ko) 2015-04-08

Similar Documents

Publication Publication Date Title
WO2013191436A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014010935A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013169031A1 (ko) 비디오 신호 처리 방법 및 장치
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
WO2013176485A1 (ko) 비디오 신호 처리 방법 및 장치
WO2010068020A2 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치
WO2015142054A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2014107083A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014010918A1 (ko) 비디오 신호 처리 방법 및 장치
WO2010087589A2 (ko) 경계 인트라 코딩을 이용한 비디오 신호 처리 방법 및 장치
WO2014168443A1 (ko) 비디오 신호 처리 방법 및 장치
WO2013133627A1 (ko) 비디오 신호 처리 방법
KR20200130453A (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20200140896A (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2014058207A1 (ko) 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
WO2013133587A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016003209A1 (ko) 다시점 비디오 신호 처리 방법 및 장치
WO2014073877A1 (ko) 다시점 비디오 신호의 처리 방법 및 이에 대한 장치
JPWO2012128241A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014054897A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014109547A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014109563A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014073873A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014077573A2 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13806999

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14406604

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: MX/A/2014/015341

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 2877268

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2015518329

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2013806999

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013806999

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20157001373

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2014150564

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2013278195

Country of ref document: AU

Date of ref document: 20130618

Kind code of ref document: A