WO2010095471A1 - 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム - Google Patents

多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム Download PDF

Info

Publication number
WO2010095471A1
WO2010095471A1 PCT/JP2010/001213 JP2010001213W WO2010095471A1 WO 2010095471 A1 WO2010095471 A1 WO 2010095471A1 JP 2010001213 W JP2010001213 W JP 2010001213W WO 2010095471 A1 WO2010095471 A1 WO 2010095471A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
decoding
encoding
correction
viewpoint
Prior art date
Application number
PCT/JP2010/001213
Other languages
English (en)
French (fr)
Inventor
志水信哉
木全英明
谷本正幸
Original Assignee
日本電信電話株式会社
国立大学法人名古屋大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42633758&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2010095471(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 日本電信電話株式会社, 国立大学法人名古屋大学 filed Critical 日本電信電話株式会社
Priority to RU2011133831/07A priority Critical patent/RU2498522C2/ru
Priority to CA2752567A priority patent/CA2752567C/en
Priority to ES10743600.8T priority patent/ES2524973T3/es
Priority to CN201080007503.1A priority patent/CN102326391B/zh
Priority to US13/201,049 priority patent/US8548228B2/en
Priority to JP2011500540A priority patent/JP5521202B2/ja
Priority to KR1020117018934A priority patent/KR101344425B1/ko
Priority to EP10743600.8A priority patent/EP2400759B1/en
Priority to BRPI1008500-9A priority patent/BRPI1008500B1/pt
Publication of WO2010095471A1 publication Critical patent/WO2010095471A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to a multi-view image encoding method and apparatus for encoding images captured by a plurality of cameras that capture a subject, and a multi-view image encoding method that decodes code data encoded by the multi-view image encoding method.
  • the present invention relates to a viewpoint image decoding method and apparatus, a multi-view image encoding program used for realizing the multi-view image encoding method, and a multi-view image decoding program used for realizing the multi-view image decoding method.
  • a multi-viewpoint image is a plurality of images obtained by photographing the same subject and background with a plurality of cameras, and a multi-viewpoint moving image (multi-viewpoint video) is a moving image thereof.
  • Motion compensation prediction and parallax compensation prediction have been proposed as techniques used for general video encoding and multi-view video encoding.
  • the motion compensation prediction is H.264 is a technique adopted in the international standard of recent video coding systems represented by H.264, and compensates for the motion of a subject between a coding target frame and a reference frame that has already been coded. The difference between the frames is taken and only the difference signal is encoded (see Non-Patent Document 1).
  • the parallax compensation prediction is performed while compensating for the parallax of the subject by using a frame taken by another camera as a reference frame, and taking the inter-frame difference of the image signal (see Non-Patent Document 2).
  • the parallax used here is a difference between positions at which the same position on the subject is projected on the image planes of cameras arranged at different positions. In the parallax compensation prediction, this is expressed by a two-dimensional vector and encoded. As shown in FIG. 9, since the parallax is information generated depending on the position of the camera and the distance (depth) of the subject from the camera, a method called viewpoint synthesis prediction (viewpoint interpolation prediction) using this principle Exists.
  • the depth of the subject is estimated using the camera position information and the principle of triangulation for the multi-view video obtained on the encoding side or the decoding side.
  • This is a method of synthesizing (interpolating) encoding target frames using depth information to obtain a predicted image (see Patent Literature 1 and Non-Patent Literature 3).
  • it is necessary to encode the used depth.
  • a prediction residual to be encoded is suppressed to be small by using a frame in which the luminance and color of the reference frame are corrected as a frame used for prediction.
  • Non-Patent Document 1 H. H.264 employs Weighted Prediction which is corrected using a linear function (see Non-Patent Document 1), and Non-Patent Document 3 proposes a method of correcting using a color table.
  • the first problem is an increase in the amount of codes by adding luminance compensation / color correction parameters. Since normal parallax compensation prediction and viewpoint synthesis (interpolation) prediction need to encode luminance compensation / color correction parameters that did not need to be encoded, encoding efficiency is reduced.
  • the second problem is the accuracy of correction.
  • the entire screen changes in the same manner, and therefore it is possible to perform sufficient luminance compensation or color correction with a single correction parameter.
  • mismatches luminance and color mismatches due to the fact that the subject is not a perfect diffuse reflector and the depth of field and focus are not perfectly matched for each camera depend on the subject, not the scene. It is a mismatch. Therefore, in the correction using a single correction parameter, the mismatch may be enlarged depending on the subject.
  • the present invention has been made in view of such circumstances, and is highly efficient in multi-view images (multi-view still images and moving images) with local luminance and color mismatch between cameras. It is an object of the present invention to provide a new multi-view image encoding and decoding technology that realizes a reduction in the amount of code required for the realization.
  • the present invention divides a frame to be encoded / decoded and encodes / decodes a multi-view image for each region. Take the following measures.
  • the depth information of the subject imaged in the processing target area is obtained.
  • a pixel group in which the same subject as the processing target region is photographed is obtained from the depth information and set as a sample pixel group.
  • a viewpoint composite image is generated for the pixels included in the sample pixel group, and a viewpoint composite image is generated for the pixels included in the processing target region.
  • a correction parameter for correcting a luminance or color mismatch is estimated from the viewpoint composite image and the decoded image in the sample pixel group.
  • a predicted image used for encoding (decoding) an image signal in the processing target region is generated by correcting the viewpoint composite image generated for the processing target region using the estimated correction parameter. .
  • the correction parameter is calculated by comparing the encoding target frame with the reference frame
  • the encoding target frame is not available on the decoding side, so the correction parameter needs to be encoded.
  • the correction parameter is calculated by comparing the image signal of the already encoded / decoded region of the encoding / decoding target frame with the information of the viewpoint composite image generated using the reference frame. Yes. Since these are available on the decoding side, it is not necessary to encode the correction parameters. That is, the present invention can solve the problem of increasing the code amount.
  • the encoding process is a process for converting the input signal as faithfully as possible
  • the image signal to be encoded and the image signal that has been encoded / decoded can be regarded as substantially the same. That is, the correction parameter calculated according to the present invention can make the viewpoint synthesized image close to the encoding target frame and sufficiently reduce the prediction difference that must be encoded.
  • the correction parameter is estimated using information on the adjacent area where the same subject as the subject being photographed in the processing target area is photographed. This makes it possible to correct the luminance and color depending on the subject.
  • the depth information necessary for generating the viewpoint composite image is used for the determination of the subject, it is not necessary to separately encode and transmit the information.
  • a plurality of correction models are changed based on the number of pixels of the sample pixel group.
  • the multi-view image encoding device of the present invention divides an input image of a subject photographed by a first camera into a plurality of encoding target regions, Using the viewpoint composite image synthesized from the depth information about the input image and the already encoded image of the subject photographed by the second camera arranged at a position different from the first camera, An apparatus that encodes a multi-view image (a multi-view still image or a moving image) by performing predictive encoding for each of the encoding target areas, and (1) a subject photographed in the encoding target area A representative depth setting unit for setting the representative depth information, and (2) the same as in the encoding target region based on the depth information and the representative depth information in the already encoded region adjacent to the encoding target region.
  • a sample pixel group setting unit that obtains a pixel group in which the subject is photographed and sets it as a sample pixel group; and (3) the viewpoint synthesized image for the sample pixel group and a decoded image that has already been decoded for the sample pixel group.
  • a correction parameter estimation unit for estimating a correction parameter for correcting a mismatch of luminance and color based on the correction parameter, and (4) a corrected viewpoint synthesis by correcting the viewpoint synthesized image for the encoding target region using the correction parameter.
  • a viewpoint composite image correction unit that generates an image, and (5) an image encoding unit that encodes an image signal of the encoding target region using the corrected viewpoint composite image to generate code data;
  • An image decoding unit that decodes code data and generates a decoded image in the encoding target region.
  • the multi-view image encoding apparatus may further include (7) a subject determination unit that groups pixels in the encoding target area based on depth information of the pixels.
  • the representative depth setting unit sets the representative depth information for each group obtained by the subject determination unit
  • the sample pixel group setting unit sets the sample pixel group for each group obtained by the subject determination unit.
  • the correction parameter estimation unit estimates the correction parameter for each group obtained by the subject determination unit
  • the viewpoint composite image correction unit corrects the viewpoint composite image for each group obtained by the subject determination unit. Also good.
  • the multi-viewpoint image encoding device further includes (8) a correction for selecting a correction model for correcting the viewpoint composite image for the encoding target region according to the number of pixels of the sample pixel group.
  • a model selection unit may be provided.
  • the correction parameter estimation unit estimates a correction parameter in the correction model selected by the correction model selection unit, and the viewpoint composite image correction unit uses the correction model selected by the correction model selection unit. Correct the image.
  • the multi-view image encoding method of the present invention realized by the operation of each of the above processing means can also be realized by a computer program.
  • This computer program is provided by being recorded on an appropriate computer-readable recording medium or provided via a network, and is installed when the present invention is carried out to operate on a control means such as a CPU.
  • the invention can be realized.
  • the image of the subject photographed by the first camera is arranged at a position different from that of the first camera.
  • Code data of a decoding target image encoded using the image of the subject photographed by the second camera, depth information about the decoding target image, and the already decoded subject photographed by the second camera Code data of a multi-view image (a multi-view still image or a moving image) is obtained by performing decoding for each of a plurality of decoding target areas obtained by dividing the decoding target image using a viewpoint synthesized image synthesized from the image of (1) a representative depth setting unit that sets representative depth information about a subject photographed in the decoding target area; and (2) an already decoded area adjacent to the decoding target area.
  • a sample pixel group setting unit for obtaining a pixel group in which the same subject as that in the decoding target area is photographed based on the depth information in the area and the representative depth information, and (3) a sample pixel A correction parameter estimator for estimating a correction parameter for correcting a mismatch in luminance and color based on the viewpoint composite image for the group and a decoded image already decoded for the sample pixel group; and (4) using the correction parameter.
  • a viewpoint synthesized image correction unit that corrects the viewpoint synthesized image for the decoding target area to generate a corrected viewpoint synthesized image, and (5) uses the corrected viewpoint synthesized image to generate an image signal of the decoding target area.
  • the multi-viewpoint image decoding apparatus may further include (6) a subject determination unit that groups pixels in the decoding target area based on depth information of the pixels.
  • the representative depth setting unit sets the representative depth information for each group obtained by the subject determination unit
  • the sample pixel group setting unit sets the sample pixel group for each group obtained by the subject determination unit.
  • the correction parameter estimation unit estimates the correction parameter for each group obtained by the subject determination unit
  • the viewpoint composite image correction unit corrects the viewpoint composite image for each group obtained by the subject determination unit. Also good.
  • the multi-viewpoint image decoding apparatus further includes (7) correction model selection that selects a correction model for correcting the viewpoint composite image for the decoding target area according to the number of pixels of the sample pixel group. May be provided.
  • the correction parameter estimation unit estimates the correction parameter in the correction model selected by the correction model selection unit, and the viewpoint composite image correction unit uses the correction model selected by the correction model selection unit. Correct.
  • the multi-view image decoding method of the present invention realized by the operation of each of the above processing means can also be realized by a computer program.
  • This computer program is provided by being recorded on an appropriate computer-readable recording medium or provided via a network, and is installed when the present invention is carried out to operate on a control means such as a CPU.
  • the invention can be realized.
  • the present invention even when a luminance or color mismatch occurs locally between cameras according to the subject, a correction parameter for dealing with the mismatch is locally obtained according to the subject. Therefore, the prediction difference can be reduced. Therefore, efficient encoding and decoding of multi-view images and multi-view videos can be realized.
  • the present invention since it is not necessary to separately encode / decode the correction parameter thus obtained, the amount of codes for encoding and decoding multi-view images and multi-view moving images is greatly reduced. be able to.
  • FIG. 1 is a block diagram illustrating a multi-view video encoding apparatus according to a first embodiment of the present invention. It is a flowchart which shows the process which the multiview video coding apparatus by the 1st Embodiment of this invention performs. It is a flowchart which shows the detail of the process which the multiview video coding apparatus by the 1st Embodiment of this invention performs. It is a flowchart which shows the process which the multiview video coding apparatus by the 1st Embodiment of this invention performs. It is a block diagram which shows the multiview video decoding apparatus by the 2nd Embodiment of this invention.
  • information that can specify a position (information sandwiched between symbols [] and coordinate values or indexes that can be associated with coordinate values) is added to video (frame) or depth information.
  • the image signal and depth information (defined for each pixel) of the subject photographed at the pixel at that position are shown.
  • FIG. 1 illustrates a device configuration of a multi-view video encoding device 100 according to the first embodiment of the present invention.
  • the encoding target image input unit 101 inputs an image (frame) of a subject photographed by the first camera as an encoding target.
  • the encoding target image memory 102 stores the encoding target frames input from the encoding target image input unit 101.
  • the accumulated encoding target frame is supplied to the image encoding unit 109.
  • the viewpoint composite image input unit 103 is generated using an encoded frame of an image obtained by photographing the same subject with another second camera arranged at a position different from that of the first camera.
  • a viewpoint composite image for the encoding target frame is input.
  • the viewpoint composite image memory 104 stores the viewpoint composite image input from the viewpoint composite image input unit 103.
  • the accumulated viewpoint composite image is supplied to the correction parameter generation unit 107 and the viewpoint composite image correction unit 108.
  • the depth information input unit 105 inputs depth information about the encoding target frame.
  • the depth information memory 106 stores the depth information input from the depth information input unit 105.
  • the accumulated depth information is supplied to the correction parameter generation unit 107.
  • the correction parameter generation unit 107 estimates a correction parameter using the viewpoint composite image, depth information, and decoded image in the peripheral region of the encoding target region, and the depth information in the encoding target region.
  • the viewpoint composite image correction unit 108 corrects the viewpoint composite image of the encoding target region using the estimated correction parameter.
  • the image encoding unit 109 encodes the image signal in the encoding target region while using the corrected viewpoint synthesized image as a prediction signal.
  • the image encoding unit 109 decodes the encoded image signal.
  • the decoded image memory 111 stores the image decoded by the image encoding unit 109.
  • the decoded image stored in the decoded image memory 111 is supplied to the correction parameter generation unit 107.
  • the correction parameter generation unit 107 includes a subject determination unit 107a to which the depth information from the depth information memory 106 is supplied, a representative depth setting unit 107b and a sample pixel sequentially connected downstream of the subject determination unit 107a.
  • a group setting unit 107c is provided.
  • a correction model selection unit 107d and a correction parameter estimation unit 107e are sequentially connected downstream of the sample pixel group setting unit 107c.
  • the correction parameter estimation unit 107e is supplied with the decoded image from the decoded image memory 111 and the viewpoint synthesized image from the viewpoint synthesized image memory 104, and performs viewpoint synthesis on the correction parameters estimated using the supplied decoded image and viewpoint synthesized image.
  • the image is supplied to the image correction unit 108.
  • FIG. 2 shows a flow of processing executed by the multi-view video encoding apparatus 100 of the present embodiment configured as described above.
  • the processing executed by the multi-view video encoding apparatus 100 according to this embodiment will be described in detail according to this processing flow.
  • the encoding target frame Org is input by the encoding target image input unit 101 and stored in the encoding target image memory 102.
  • a viewpoint synthesized image Synth for the encoding target frame Org is input by the viewpoint synthesized image input unit 103 and stored in the viewpoint synthesized image memory 104.
  • Depth information Depth for the encoding target frame Org is input by the depth information input unit 105 and stored in the depth information memory 106 [A1].
  • the viewpoint composite image and depth information input here are the same as those obtained by the decoding device. This is to suppress the occurrence of coding noise such as drift by using the same information as the information obtained by the decoding device. However, when the generation of these encoding noises is allowed, the original one before encoding may be input.
  • the depth information is given from the outside of the multi-view video encoding apparatus 100.
  • the depth information may be obtained by estimation from a frame of another already encoded camera. Is possible. Therefore, it is not necessarily transmitted from the transmission side to the reception side. Also, the viewpoint composite image is generated using the already encoded frame of the second camera and the depth information.
  • the encoding target frame is divided into a plurality of encoding target areas, and the image signal of the encoding target frame is encoded by the image encoding unit 109 while correcting the viewpoint composite image for each area [A2- A15].
  • the encoding apparatus 100 first obtains a set N blk of pixels in the encoded area around the block blk (encoding target area) [A3].
  • peripheral region various units such as an encoding processing block and adjacent pixels adjacent to the block blk can be used. Any definition surrounding area may be used, but it is necessary to use the same definition as that used on the decoding side.
  • the subject determination unit 107a of the correction parameter generation unit 107 performs grouping of pixels in the block blk based on the depth information given for each pixel [Subject determination step A4].
  • the index of each group in the result is represented as obj
  • the number of groups is represented as numObjs
  • the pixels belonging to the group obj are represented as C obj .
  • any method may be used for grouping, but it is necessary to use the same method used on the decoding side.
  • the dispersion of the depth information of the pixels in the block blk is obtained, and if the value is less than the threshold value, the entire group is set as one group. There is a way to divide. In this case, the grouping is terminated when the dispersion of the depth information of the pixels included in all groups falls below a certain threshold value.
  • each pixel forms a group at the beginning, and when two groups are merged, the increase in dispersion of the depth information of the pixels in the group is the smallest There is a way to fuse them in order. In this case, when any two groups are merged, a group having a variance exceeding a certain threshold is generated, and the grouping is terminated.
  • the maximum number of groups may be defined in advance.
  • grouping is terminated, or the minimum number of pixels included in one group is defined in advance to prevent generation of small groups, thereby preventing an increase in the number of groups.
  • the block size is 16 ⁇ 16 pixels, which is the unit block size of general image coding, it is rare that a large number of subjects are photographed in the same block. Therefore, even when the maximum number of groups is 2, high-precision grouping can be performed.
  • the predicted image Pred is generated by correcting the viewpoint composite image for each pixel of each group [A5-A11].
  • the correction parameter generation unit 107 corrects the viewpoint composite image. Steps [A6-A8] for estimating the correction parameters for this are performed. Along with this processing, the viewpoint composite image correction unit 108 repeats the step [A9] of generating the predicted image by correcting the viewpoint composite image for the pixels included in the group obj using the estimated correction parameter.
  • the same subject as the group obj included in the set N blk of pixels in the encoded area around the block blk (encoding target area) is captured.
  • a set of pixels N blk, obj (sample pixel group) is obtained [representative depth setting step and sample pixel group setting step A6].
  • the representative depth setting unit 107b obtains a representative depth value D obj of the group obj (representative depth setting step).
  • a method of obtaining a representative depth value D obj to seek one depth information using the depth information for the pixel C obj in the group obj is possible, it is possible to use any method. However, it is necessary to obtain by the same processing as the decoding side. For example, an average value or a median value can be used.
  • the representative depth value D obj when the average value is used can be expressed by the following equation (1).
  • ⁇ represents the number of pixels in the set.
  • the processing of the representative depth setting step is simultaneously performed in the subject determination step A4.
  • a representative method for performing group representative determination and grouping at the same time is a method called Affinity Propagation. This technique is described in B. J. Frey and D. Dueck, “Clustering by Passing Messages Between Data Points”, Science 2007, Vol. 315 (5814): pp. 972-976.
  • a set N blk, obj sample pixels of pixels in which the same subject as the group obj included in the set N blk is captured.
  • Group sample pixel group setting step.
  • the set N blk, obj is defined by setting the absolute value of the difference between the depth value and the representative depth value for the pixel to be less than a predetermined threshold thSameObj, as represented by the following equation (2). Can do.
  • the correction model selection unit 107d selects a correction model to be used in advance according to the number of pixels in the set [correction model selection step A7].
  • correction models may be prepared, but the same correction model must be prepared on the decoding side, and the correction model to be used should be selected based on the same criteria. If only one correction model is prepared, this step can be omitted.
  • the process of generating the predicted image by correcting the viewpoint synthesized image to be executed in step A9 described later can be expressed as a function that outputs the predicted image with the viewpoint synthesized image as an input.
  • the correction model refers to a function model used at this time. For example, there are correction by offset, correction using a linear function, two-dimensional linear filter processing of tap length k, and the like. Assuming that the pixel to be corrected is p, these can be expressed by the following equations (3) to (5), respectively.
  • ⁇ Correction by offset and correction using a linear function are special examples of correction by linear filter processing.
  • the correction process does not need to be a linear process, and a nonlinear filter may be used as long as the correction parameter can be estimated.
  • An example of a non-linear correction method is gamma correction.
  • the gamma correction can be expressed by the following equation (6).
  • offset, ( ⁇ , ⁇ ), ( ⁇ F i, j ⁇ , o), and ( ⁇ , a, b) are correction parameters, respectively. That is, the number of correction parameters varies depending on the correction model.
  • correction parameters As the number of correction parameters increases, more accurate correction can be performed. However, in order to determine these correction parameters, at least the same number of samples as the correction parameters are required. As described below, the set N blk this sample above, since the view synthesized image and the decoded image of the sample pixels included in the obj, by determining the correction model in accordance with the number of pixels set N blk, obj, Correction can be performed with high accuracy. Note that the robustness of the estimated correction parameter is improved by using as many samples as possible for the correction parameter estimation. Therefore, it is desirable to select a correction model so that sufficient robustness can be maintained.
  • the correction parameter estimation unit 107e uses the viewpoint composite image Synth and the decoded image Dec for the pixels included in the set N blk, obj as samples, and sets the correction parameters included in the correction model. Estimation is performed [correction parameter estimation step A8].
  • the correction model is actually used.
  • the error between the corrected value and the ideal value is determined to be as small as possible.
  • the correction parameter can be determined using the least square method. That is, if the correction is expressed by the function M, the value expressed by the quadratic function of the correction parameter expressed by the following equation (7) may be minimized.
  • the correction parameter can be obtained by solving the simultaneous equations in which the partial differential value of Equation (7) for each correction parameter becomes zero.
  • the viewpoint composite image correction unit 108 corrects the viewpoint composite image Synth for the group obj of the block blk according to the correction parameter, thereby generating the predicted image Pred for the group obj of the block blk [viewpoint Composite image correction step A9].
  • the process of generating the predicted image Pred is performed for each pixel as shown in the processing flow of FIG.
  • pix represents pixel identification information
  • numPix blk, obj represents the number of pixels in the group obj of the block blk.
  • the predicted image Pred is generated according to the above-described equation (3).
  • step A8 the pixel value of the viewpoint composite image for the same subject existing in the surrounding encoded region is set to In, and the pixel value of the decoded image of the subject is set to Out.
  • a correction model to be a pixel value conversion formula is determined.
  • step A9 by substituting the pixel value of the viewpoint composite image for the group obj of the block blk into In of the determined pixel value conversion equation, the predicted image for the group obj of the block blk is corrected. To process.
  • the image encoding unit 109 encodes the encoding target frame Org for the block blk while using the prediction image Pred generated in step A9 as the prediction signal [image code Step A12].
  • any encoding method may be used.
  • encoding is performed by performing DCT, quantization, binarization, and entropy encoding on the difference between Org and Pred.
  • the bit stream of the encoding result is the output of the multi-view video encoding apparatus 100.
  • the bit stream of the encoding result is decoded by the image decoding unit 110 for each block, and the decoded image Dec as the decoding result is stored in the decoded image memory 111 for correction parameter estimation in other blocks [image Decoding step A13].
  • the multi-view video encoding apparatus 100 configured as shown in FIG. 1 can increase the multi-view video even when a luminance or color mismatch occurs locally between the cameras.
  • a correction parameter for dealing with this mismatch is locally determined according to the subject.
  • the multi-view video encoding apparatus 100 encodes the multi-view video while obtaining the correction parameter in a form that does not need to be separately encoded / decoded in order to avoid an increase in the code amount. Execute.
  • the case where the image signal of the block blk ⁇ ⁇ is encoded using the viewpoint composite image without fail is described.
  • the prediction mode in which a plurality of video predictions using the viewpoint composite image described in the present embodiment exist. It is also possible to use it as one of these.
  • FIG. 5 illustrates a device configuration of a multi-view video decoding device 200 according to the second embodiment of the present invention.
  • the code data input unit 201 inputs code data of a subject image (frame) photographed by the first camera as a decoding target.
  • the code data memory 202 stores the code data input from the code data input unit 201.
  • the accumulated code data is supplied to the image decoding unit 209.
  • the viewpoint composite image input unit 203 generates a decoding target frame generated using a decoded frame of an image obtained by photographing the same subject with a second camera arranged at a position different from the first camera.
  • the viewpoint composite image for is input.
  • the viewpoint composite image memory 204 stores the viewpoint composite image input from the viewpoint composite image input unit 203.
  • the accumulated viewpoint composite image is supplied to the correction parameter generation unit 207 and the viewpoint composite image correction unit 208.
  • the depth information input unit 205 inputs depth information regarding the decoding target frame.
  • the depth information memory 206 stores the depth information input from the depth information input unit 205.
  • the accumulated depth information is supplied to the correction parameter generation unit 207.
  • the correction parameter generation unit 207 estimates a correction parameter using the viewpoint composite image, depth information, and decoded image in the peripheral area of the decoding target area, and the depth information in the decoding target area.
  • the viewpoint composite image correction unit 208 corrects the viewpoint composite image of the decoding target area using the estimated correction parameter.
  • the image decoding unit 209 decodes the image signal in the decoding target region while using the corrected viewpoint synthesized image as a prediction signal. (10)
  • the decoded image memory 210 stores the image decoded by the image decoding unit 209.
  • the correction parameter generation unit 207 includes a subject determination unit 207a to which depth information from the depth information memory 206 is supplied, a representative depth setting unit 207b and a sample pixel sequentially connected downstream of the subject determination unit 207a.
  • a group setting unit 207c is provided.
  • a correction model selection unit 207d and a correction parameter estimation unit 207e are sequentially connected downstream of the sample pixel group setting unit 207c.
  • the corrected parameter estimation unit 207e is supplied with the decoded image from the decoded image memory 210 and the viewpoint synthesized image from the viewpoint synthesized image memory 204, and performs viewpoint synthesis on the correction parameters estimated using the supplied decoded image and viewpoint synthesized image. This is supplied to the image correction unit 208.
  • FIG. 6 shows a flow of processing executed by the multi-view video decoding apparatus 200 according to the second embodiment configured as described above.
  • the processing executed by the multi-view video decoding apparatus 200 according to this embodiment will be described in detail according to this processing flow.
  • code data of a decoding target frame is input by the code data input unit 201 and stored in the code data memory 202.
  • a viewpoint synthesized image Synth for the decoding target frame is input by the viewpoint synthesized image input unit 203 and stored in the viewpoint synthesized image memory 204.
  • Depth information Depth for the decoding target frame is input by the depth information input unit 205 and stored in the depth information memory 206 [B1].
  • the viewpoint composite image and the depth information input here are the same as those obtained by the encoding device. This is to suppress the occurrence of encoding noise such as drift by using the same information as the information obtained by the encoding device. However, when the generation of these encoding noises is allowed, a different one from the encoding apparatus may be input.
  • the depth information is given from the outside of the multi-view video decoding apparatus 200.
  • the viewpoint composite image is generated using the already decoded second camera frame and depth information.
  • the decoding target frame is divided into a plurality of decoding target areas, and the image decoding unit 209 decodes the image signal of the decoding target frame while correcting the viewpoint composite image for each area [B2-B14].
  • the decoding apparatus 200 first obtains a set N blk of pixels in the decoded area around the block blk (decoding target area) [B3].
  • peripheral area various units such as a decoding processing block and adjacent pixels adjacent to the block blk can be used. Any definition surrounding area may be used, but it is necessary to use the same definition as that used on the encoding side.
  • the subject determination unit 207a of the correction parameter generation unit 207 performs grouping of pixels in the block blk with reference to the depth information given for each pixel [Subject determination step B4].
  • the index of each group in the result is represented as obj
  • the number of groups is represented as numObjs
  • the pixels belonging to the group obj are represented as C obj .
  • the processing here is the same as the subject determination step A4 of the first embodiment.
  • the predicted image Pred is generated by correcting the viewpoint composite image for each pixel of each group [B5-B11].
  • the correction parameter generation unit 207 corrects the viewpoint composite image. Steps [B6-B8] for estimating the correction parameters for this are performed. Along with this processing, the viewpoint composite image correcting unit 208 repeats the step [B9] of generating a predicted image by correcting the viewpoint composite image for the pixels included in the group obj ⁇ ⁇ ⁇ ⁇ using the estimated correction parameter.
  • step B9 is the same as that in step A9 of the first embodiment, and is performed for each pixel as shown in the processing flow of FIG.
  • pix represents pixel identification information
  • obj represents the number of pixels in the group obj of the block blk.
  • the correction parameter estimation steps [B6-B8] performed by the representative depth setting unit 207b, the sample pixel group setting unit 207c, the correction model selection unit 207d, and the correction parameter estimation unit 207e are steps A6-A8 in the first embodiment. Is the same.
  • the image decoding unit 209 decodes the decoding target image Dec for the block blk using the prediction image Pred generated in step B9 as a prediction signal [B12].
  • decoding processing is performed by adding the prediction signal to the decoded residual signal by performing entropy decoding, multi-value quantization, inverse quantization, and inverse DCT.
  • the decoded image obtained as a result of decoding is output from the multi-view decoding apparatus 200 and is stored in the decoded image memory 210 for correction parameter estimation in other blocks.
  • the multi-view video decoding apparatus 200 configured as shown in FIG. 5 decodes the multi-view video decoding code data generated by the multi-view video encoding apparatus 100 shown in FIG.
  • the description has been given on the assumption that the block blk is encoded using the viewpoint composite image without fail. Even when decoding code data using one of the prediction modes in which a plurality of prediction modes using a viewpoint composite image exist, the image is decoded according to the above-described processing flow only when the prediction mode is used, When other prediction modes are used, an image can be decoded by using a conventional decoding method according to the prediction mode (other prediction modes).
  • correction is performed in all blocks, but whether or not correction is performed is determined by encoding 1-bit flag information for each block. It is also possible to take a configuration to select.
  • values representing the accuracy and effectiveness of the correction as shown in the following equations (8) to (10) may be obtained.
  • the correction parameter generation units 107 and 207 determine the predicted image obtained by correcting the viewpoint composite image in step A9 and step B9 only when the value is larger than a predetermined threshold value, and otherwise generate viewpoint synthesis. The image is directly used as a predicted image.
  • Equation (8) represents the sum of absolute differences between the decoded image Dec and the viewpoint synthesized image Synth
  • the second term represents the sum of absolute differences between the decoded image Dec and the predicted image Pred. That is, Equation (8) indicates how much the sum of absolute differences between the true value and the predicted value is reduced by the correction
  • the first term of Equation (9) indicates the sum of squared differences between the decoded image Dec and the viewpoint synthesized image Synth
  • the second term indicates the sum of squared differences between the decoded image Dec and the predicted image Pred. That is, Equation (9) indicates how much the sum of squared differences between the true value and the predicted value is reduced by the correction.
  • Equation (10) represents how probable it is for the sample for which the correction model is obtained.
  • Equation (10) since all the values are obtained using the values of the peripheral area instead of the processing target block, it is only necessary to encode only the threshold value used as a whole and notify the decoding side.
  • the process of encoding or decoding one frame of one camera has been described. However, it is possible to realize encoding or decoding of a multi-view video by repeating this process for each frame. . Furthermore, it is possible to realize encoding or decoding of multi-view video from a plurality of cameras by repeating for each camera.
  • the processing described above can also be realized by a computer and a software program, and the program can be provided by being recorded on a computer-readable recording medium or can be provided through a network.
  • the multi-view video encoding device and the multi-view video decoding device have been mainly described.
  • the multi-view video code of the present invention is performed by steps corresponding to the operations of the respective units of the multi-view video encoding device. Can be realized.
  • the multi-view video decoding method of the present invention can be realized by steps corresponding to the operation of each unit of the multi-view video decoding device.
  • the present invention can be applied to a multi-view image encoding method.
  • it is possible to realize efficient encoding and decoding of a multi-viewpoint image and a multi-viewpoint video even when a luminance or color mismatch occurs locally between cameras depending on the subject.
  • it is possible to significantly reduce the amount of codes for realizing the above.
  • Multiview video encoding apparatus 101 Encoding object image input part 102 Encoding object image memory 103 Viewpoint synthetic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

　本発明の多視点画像符号化／復号装置は、まず、処理対象領域に撮影されている被写体のデプス情報を求める。次に、処理対象領域に隣接する既に符号化（復号）済みの領域において、処理対象領域と同じ被写体が撮影されている画素群をデプス情報から求めてサンプル画素群を設定する。続いて、サンプル画素群に含まれる画素と処理対象領域に含まれる画素に対して視点合成画像を生成する。続いて、サンプル画素群における視点合成画像および復号画像から輝度や色のミスマッチを補正する補正パラメータを推定する。続いて、推定された補正パラメータを用いて、処理対象領域に対して生成された視点合成画像を補正することによって予測画像を生成する。

Description

多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
　本発明は、ある被写体を撮影する複数のカメラにより撮影された画像を符号化する多視点画像符号化方法およびその装置と、その多視点画像符号化方法により符号化された符号データを復号する多視点画像復号方法およびその装置と、その多視点画像符号化方法の実現に用いられる多視点画像符号化プログラムと、その多視点画像復号方法の実現に用いられる多視点画像復号プログラムとに関する。
　本願は、２００９年２月２３日に、日本に出願された特願２００９－３８７８６号に基づき優先権を主張し、その内容をここに援用する。
　多視点画像とは、複数のカメラで同じ被写体と背景を撮影した複数の画像のことであり、多視点動画像（多視点映像）とは、その動画像のことである。
　一般的な動画像符号化や多視点動画像符号化に用いられる技術として、動き補償予測と視差補償予測とが提案されている。
　動き補償予測は、Ｈ．２６４に代表される近年の動画像符号化方式の国際標準にも採用されている手法であり、符号化対象フレームを既に符号化済みの参照フレームとの間で被写体の動きを補償して画像信号のフレーム間差分を取り、その差分信号のみを符号化する（非特許文献１参照）。
　一方、視差補償予測は、参照フレームとして別のカメラで撮影されたフレームを用いることで被写体の視差を補償して、画像信号のフレーム間差分を取りながら符号化する（非特許文献２参照）。
　ここで用いられる視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ位置が投影される位置の差である。視差補償予測では、これを二次元ベクトルで表現して符号化を行っている。図９に示す通り、視差がカメラの位置と被写体のカメラからの距離（デプス）Depthとに依存して発生する情報であるため、この原理を利用した視点合成予測（視点補間予測）と呼ばれる方式が存在する。
　視点合成予測（視点補間予測）では、符号化側もしくは復号側で得られた多視点映像に対して、カメラの位置情報と三角測量の原理を用いて被写体のデプスを推定し、その推定されたデプス情報を用いて符号化対象フレームを合成（補間）して予測画像とする方式である（特許文献１、非特許文献３参照）。なお、符号化側でデプスを推定する場合には、使用したデプスを符号化する必要がある。
　これら別のカメラで撮影した画像を用いた予測では、カメラの撮像素子の応答に個体差があったり、カメラごとにゲインコントロールやガンマ補正が行われていたり、カメラごとに被写界深度や絞りなどの設定が異なっていたり、シーンに方向依存の照明効果があったりすると、符号化効率が劣化する。この理由は、符号化対象フレームと参照フレームとで被写体の輝度や色が同じであるという前提で予測を行っているためである。
　こうした被写体の輝度や色の変化に対応すべく検討された方式として、輝度補償や色補正と呼ばれるものがある。この方式においては、参照フレームの輝度や色を補正したものを予測に使用するフレームとすることで、符号化する予測残差を小さく抑える。
　Ｈ．２６４では、１次関数を用いて補正するWeighted Prediction が採用されており（非特許文献１参照）、非特許文献３では、色テーブルを用いて補正する方式が提案されている。
特開２００７－０３６８００号公報，“映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体”
ITU-T Rec. H.264/ISO/IEC 11496-10, "Advanced video coding for generic audiovisual services", Final Committee Draft, Document JVT-E022d7, September 2002.(pp.10-13, pp.62-73) Hideaki Kimata and Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)", document M10976 MPEG Redmond Meeting, July, 2004. K.Yamamoto, M.Kitahara, H.Kimata, T.Yendo, T.Fujii, M.Tanimoto, S.Shimizu, K.Kamikura, and Y.Yashima, "Multiview Video Coding Using View Interpolation and Color Correction," IEEE Transactions on Circuits and System for Video Technology, Vol.17, No.11, pp.1436-1449,  November, 2007.
　上記の輝度補償や色補正を用いた符号化の場合、次の二つの問題が存在する。
　一つ目の問題は、輝度補償・色補正パラメータなどを付加することによる符号量の増加である。通常の視差補償予測や視点合成（補間）予測では符号化する必要のなかった輝度補償・色補正パラメータなどを符号化する必要が生じるため、符号化効率が低下する。
　二つ目の問題は、補正の精度である。通常の動画像符号化におけるフェードやフラッシュの場合、画面全体が同様に変化するため、単一の補正パラメータで十分な輝度補償や色補正などを行うことが可能である。しかしながら、被写体が完全な拡散反射体ではないことや、カメラごとに被写界深度やフォーカスが完全に一致していないことによるミスマッチ（輝度や色の不一致）は、シーンではなく、被写体に依存するミスマッチである。そのため単一の補正パラメータによる補正では、被写体によってはミスマッチを拡大させてしまう場合がある。
　この問題に対して、被写体ごとのミスマッチに対応するために複数の補正パラメータを用いる方法も考えられる。しかしながら、この方法を用いると、複数の補正パラメータを符号化する符号量だけでなく、画像領域ごとにどの補正パラメータを用いるのかを示す情報を符号化する必要が生じるため、更なる符号量の増大を招くことになり一つ目の問題を解決することができない。
　本発明はかかる事情に鑑みてなされたものであって、カメラ間で局所的な輝度や色のミスマッチを伴うような多視点画像（多視点の静止画像や動画像）においても、高能率な符号化を実現し、かつ、その実現にあたって必要とされる符号量の削減を実現する新たな多視点画像符号化および復号技術を提供することを目的とする。
　〔１〕本発明の基本的な技術思想
　前述の課題を解決するために、本発明では、符号化／復号対象フレームを分割して、領域ごとに多視点画像の符号化／復号を行う場合において、以下の手段を講ずる。
　まず、処理対象領域に撮影されている被写体のデプス情報を求める。次に、処理対象領域に隣接する既に符号化（復号）済みの領域において、処理対象領域と同じ被写体が撮影されている画素群をデプス情報から求めてサンプル画素群とする。続いて、このサンプル画素群に含まれる画素に対して視点合成画像を生成するとともに、処理対象領域に含まれる画素に対して視点合成画像を生成する。続いて、サンプル画素群における視点合成画像および復号画像から輝度や色のミスマッチを補正する補正パラメータを推定する。続いて、推定された補正パラメータを用いて、処理対象領域に対して生成された視点合成画像を補正することで、処理対象領域における画像信号の符号化（復号）に使用する予測画像を生成する。
　符号化対象フレームと参照フレームとを比較して補正パラメータを算出する従来の方法の場合は、符号化対象フレームは復号側では入手不可能なため、補正パラメータを符号化する必要がある。
　一方、本発明では、符号化／復号対象フレームの既に符号化／復号済みの領域の画像信号と、参照フレームを用いて生成される視点合成画像の情報とを比較して補正パラメータを算出している。これらは復号側で入手可能なものであるため、補正パラメータを符号化する必要がない。つまり、本発明によって符号量増加の問題を解決することが可能である。
　また、符号化処理は入力信号をできるだけ忠実に変換する処理であるため、符号化対象の画像信号と符号化／復号済みの画像信号はほぼ同じものとみなすことが可能である。つまり、本発明によって算出される補正パラメータは視点合成画像を符号化対象フレームに近づけ、符号化しなければならない予測差分を十分小さくすることができる。
　また、本発明では、処理対象領域に撮影されている被写体と同じ被写体が撮影されている隣接領域の情報を用いて補正パラメータの推定を行う。これにより、被写体に依存した輝度や色の補正を行うことが可能となる。なお、この被写体の判定には視点合成画像を生成する際に必要となるデプス情報を用いるため、別途情報を符号化して伝送する必要はない。
　上記の多視点画像符号化／復号において、処理対象領域におけるデプス情報の分散を求めて予め定められた閾値との比較を行うことで、処理対象領域に複数の被写体が撮影されているのか否かを判定し、複数の被写体が撮影されている場合には、被写体ごとにデプス情報及びサンプル画素群を定めて補正パラメータを推定する。なお、処理対象領域に一定画素未満しか存在しない被写体は別の被写体と同時に処理することで、演算量の増加を防ぐことも可能である。
　さらに、上記の多視点画像符号化／復号方法において、サンプル画素群の画素数に基いて、複数存在する補正モデル（補正パラメータ数）を変更する。
　〔２〕本発明の構成
　次に、本発明の多視点画像符号化装置および多視点画像復号装置の構成について説明する。
　［２－１］本発明の多視点画像符号化装置の構成
　本発明の多視点画像符号化装置は、第１のカメラで撮影された被写体の入力画像を複数の符号化対象領域に分割し、前記入力画像についてのデプス情報と前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の既に符号化済みの画像とから合成された視点合成画像を用いて、前記符号化対象領域ごとに予測符号化を行うことによって多視点画像（多視点の静止画像や動画像）を符号化する装置であって、（１）前記符号化対象領域において撮影された被写体についての代表デプス情報を設定する代表デプス設定部と、（２）前記符号化対象領域に隣接する既に符号化済みの領域におけるデプス情報と代表デプス情報とに基づいて、前記符号化対象領域内と同じ被写体が撮影されている画素群を求めてサンプル画素群として設定するサンプル画素群設定部と、（３）サンプル画素群についての前記視点合成画像および前記サンプル画素群について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定部と、（４）前記補正パラメータを用いて、前記符号化対象領域についての前記視点合成画像を補正して補正視点合成画像を生成する視点合成画像補正部と、（５）前記補正視点合成画像を用いて、前記符号化対象領域の画像信号を符号化して符号データを生成する画像符号化部と、（６）前記符号データを復号して、前記符号化対象領域における復号画像を生成する画像復号部とを備える。
　本発明の実施形態による多視点画像符号化装置は、さらに、（７）前記符号化対象領域における画素を、当該画素のデプス情報を基準にしてグルーピングする被写体判定部を備えてもよい。この場合には、代表デプス設定部は、被写体判定部で求められたグループごとに代表デプス情報を設定し、サンプル画素群設定部は、被写体判定部で求められたグループごとにサンプル画素群を設定し、補正パラメータ推定部は、被写体判定部で求められたグループごとに補正パラメータを推定し、視点合成画像補正部は、被写体判定部で求められたグループごとに視点合成画像を補正するようにしてもよい。
　また、本発明の実施形態による多視点画像符号化装置は、さらに、（８）サンプル画素群の画素数に応じて前記符号化対象領域についての前記視点合成画像を補正する補正モデルを選択する補正モデル選択部を備えてもよい。この場合には、補正パラメータ推定部は、補正モデル選択部で選択された補正モデルにおける補正パラメータを推定し、視点合成画像補正部は、補正モデル選択部で選択された補正モデルを用いて視点合成画像を補正する。
　以上の各処理手段が動作することで実現される本発明の多視点画像符号化方法はコンピュータプログラムでも実現できる。このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することができる。
　［２－２］本発明の多視点画像復号装置の構成
　本発明の多視点画像復号装置は、第１のカメラで撮影された被写体の画像を前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の画像を用いて符号化した復号対象画像の符号データを、前記復号対象画像についてのデプス情報と前記第２のカメラで撮影された既に復号済みの前記被写体の画像とから合成された視点合成画像を用いて、前記復号対象画像を分割した複数の復号対象領域ごとに復号を行うことによって多視点画像（多視点の静止画像や動画像）の符号データを復号する装置であって、（１）前記復号対象領域において撮影された被写体についての代表デプス情報を設定する代表デプス設定部と、（２）前記復号対象領域に隣接する既に復号済みの領域におけるデプス情報と前記代表デプス情報とに基づいて、前記復号対象領域内と同じ被写体が撮影されている画素群を求めてサンプル画素群として設定するサンプル画素群設定部と、（３）サンプル画素群についての前記視点合成画像および前記サンプル画素群について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定部と、（４）前記補正パラメータを用いて、前記復号対象領域についての前記視点合成画像を補正して補正視点合成画像を生成する視点合成画像補正部と、（５）前記補正視点合成画像を用いて、前記復号対象領域の画像信号を復号する画像復号部とを備える。
　本発明の実施形態による多視点画像復号装置は、さらに、（６）前記復号対象領域における画素を、当該画素のデプス情報を基準にしてグルーピングする被写体判定部を備えてもよい。この場合には、代表デプス設置部は、被写体判定部で求められたグループごとに代表デプス情報を設定し、サンプル画素群設定部は、被写体判定部で求められたグループごとにサンプル画素群を設定し、補正パラメータ推定部は、被写体判定部で求められたグループごとに補正パラメータを推定し、視点合成画像補正部は、被写体判定部で求められたグループごとに視点合成画像を補正するようにしてもよい。
　また、本発明の実施形態による多視点画像復号装置は、さらに、（７）サンプル画素群の画素数に応じて前記復号対象領域についての前記視点合成画像を補正する補正モデルを選択する補正モデル選択部を備えてもよい。この場合には、補正パラメータ推定部は、補正モデル選択部で選択された補正モデルにおける補正パラメータを推定し視点合成画像補正部は、補正モデル選択部で選択された補正モデルを用いて視点合成画像を補正する。
　以上の各処理手段が動作することで実現される本発明の多視点画像復号方法はコンピュータプログラムでも実現できる。このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することができる。
　本発明によれば、カメラ間で輝度や色のミスマッチが被写体に応じて局所的に生じている場合においても、このミスマッチに対処するための補正パラメータを被写体に応じて局所的に求めるようにしていることから、予測差分を小さくすることができる。したがって、効率的な多視点画像や多視点動画像の符号化および復号を実現することができる。
　しかも、本発明によれば、そのようにして求める補正パラメータを別途符号化／復号する必要がないことから、多視点画像や多視点動画像の符号化および復号にあたっての符号量を大幅に削減することができる。
本発明の第１の実施形態による多視点映像符号化装置を示すブロック図である。 本発明の第１の実施形態による多視点映像符号化装置が実行する処理を示すフローチャートである。 本発明の第１の実施形態による多視点映像符号化装置が実行する処理の詳細を示すフローチャートである。 本発明の第１の実施形態による多視点映像符号化装置が実行する処理を示すフローチャートである。 本発明の第２の実施形態による多視点映像復号装置を示すブロック図である。 本発明の第２の実施形態による多視点映像復号装置が実行する処理を示すフローチャートである。 本発明の第２の実施形態による多視点映像復号装置が実行する処理の詳細を示すフローチャートである。 本発明の第１および第２実施形態における補正パラメータ生成部を示すブロック図である。 視差補償予測方式を示す図である。
　以下、本発明の実施形態を示す図面を参照して本発明を詳細に説明する。
　なお、以下の説明では、映像（フレーム）やデプス情報に、位置を特定可能な情報（記号［］で挟まれた情報であり、座標値もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素に撮影された被写体の画像信号やデプス情報（画素ごとに定義される）を示す。
［１］本発明の第１の実施形態による多視点映像符号化装置
　図１に、本発明の第１の実施形態に係る多視点映像符号化装置１００の装置構成を図示する。
　図１に示すように、本実施形態の多視点映像符号化装置１００において、符号化対象画像入力部１０１は、第１のカメラで撮影された被写体の画像（フレーム）を符号化対象として入力する。符号化対象画像メモリ１０２は、符号化対象画像入力部１０１から入力された符号化対象フレームを蓄積する。蓄積された符号化対象フレームは、画像符号化部１０９に供給される。
　視点合成画像入力部１０３は、第１のカメラとは異なる位置に配置された別の第２のカメラで同一の被写体を撮影して得られた画像の符号化済みのフレームを用いて生成された符号化対象フレームについての視点合成画像を入力する。視点合成画像メモリ１０４は、視点合成画像入力部１０３から入力された視点合成画像を蓄積する。蓄積された視点合成画像は、補正パラメータ生成部１０７および視点合成画像補正部１０８に供給される。
　デプス情報入力部１０５は、符号化対象フレームについてのデプス情報を入力する。デプス情報メモリ１０６は、デプス情報入力部１０５から入力されたデプス情報を蓄積する。蓄積されたデプス情報は、補正パラメータ生成部１０７に供給される。
　補正パラメータ生成部１０７は、符号化対象領域の周辺領域における視点合成画像、デプス情報および復号画像と、符号化対象領域におけるデプス情報とを用いて補正パラメータを推定する。視点合成画像補正部１０８は、推定された補正パラメータを用いて符号化対象領域の視点合成画像を補正する。
　画像符号化部１０９は、補正された視点合成画像を予測信号として使用しながら符号化対象領域の画像信号を符号化する。画像符号化部１０９は、符号化された画像信号を復号する。復号画像メモリ１１１は、画像符号化部１０９によって復号された画像を蓄積する。復号画像メモリ１１１に蓄積された復号画像は、補正パラメータ生成部１０７に供給される。
　補正パラメータ生成部１０７は、図８に示すとおり、デプス情報メモリ１０６からのデプス情報が供給される被写体判定部１０７ａ、この被写体判定部１０７ａの下流に順に接続された代表デプス設定部１０７ｂおよびサンプル画素群設定部１０７ｃを有する。サンプル画素群設定部１０７ｃには、その下流に補正モデル選択部１０７ｄおよび補正パラメータ推定部１０７ｅが順に接続される。補正パラメータ推定部１０７ｅには、復号画像メモリ１１１からの復号画像および視点合成画像メモリ１０４からの視点合成画像が供給され、供給された復号画像および視点合成画像を用いて推定した補正パラメータを視点合成画像補正部１０８に供給する。
　図２に、このように構成される本実施形態の多視点映像符号化装置１００が実行する処理のフローを示す。
　この処理フローに従って、本実施形態の多視点映像符号化装置１００が実行する処理について詳細に説明する。
　まず、符号化対象画像入力部１０１により符号化対象フレームOrgが入力されて符号化対象画像メモリ１０２に格納される。視点合成画像入力部１０３により符号化対象フレームOrgに対しての視点合成画像Synthが入力されて視点合成画像メモリ１０４に格納される。デプス情報入力部１０５により符号化対象フレームOrgに対してのデプス情報Depthが入力されてデプス情報メモリ１０６に格納される［Ａ１］。
　ここで入力される視点合成画像とデプス情報とは復号装置で得られるものと同じものである。これは、復号装置で得られる情報と同じ情報を用いることでドリフト等の符号化ノイズの発生を抑えるためである。ただし、これらの符号化ノイズの発生を許容する場合は、符号化前のオリジナルのものが入力されても構わない。
　なお、デプス情報は多視点映像符号化装置１００の外部より与えられるものとしているが、非特許文献３に記載されたように、既に符号化済みの別のカメラのフレームから推定して求めることも可能である。したがって、必ずしも送信側から受信側へ伝送される必要はない。また、視点合成画像は、既に符号化済みの第２のカメラのフレームとデプス情報とを用いて生成される。
　次に、符号化対象フレームを複数の符号化対象領域に分割し、その領域ごとに視点合成画像を補正しながら、画像符号化部１０９で符号化対象フレームの画像信号を符号化する［Ａ２－Ａ１５］。
　つまり、符号化処理ブロックのインデックスをblk 、総符号化処理ブロック数を numBlks で表すとすると、blk を０で初期化した後［Ａ２］、blk に１を加算しながら［Ａ１４］、blk が numBlks になるまで［Ａ１５］、以下のステップ［Ａ３－Ａ１３］を繰り返す。
　符号化処理ブロックごとに繰り返される処理では、符号化装置１００は、まずブロックblk（符号化対象領域）の周辺の符号化済み領域の画素の集合Nblk を求める［Ａ３］。
  周辺領域としてはブロックblk に隣接する符号化処理ブロックや隣接画素など、様々な単位のものを用いることが可能である。どのような定義の周辺領域を使用しても構わないが、復号側で使用する定義と同じものを使用する必要がある。
  次に、補正パラメータ生成部１０７の被写体判定部１０７ａは、画素ごとに与えられたデプス情報を基準にして、ブロックblk 内の画素のグルーピングを行う［被写体判定ステップＡ４］。
  この結果の各グループのインデックスをobj 、グループ数を numObjs と表し、グループobj に属する画素をCobj と表すことにする。
　グルーピングにはどのような方法を用いても構わないが、復号側で使用する方法と同じものを使用する必要がある。最も簡単なグルーピング方法としては、ブロックblk内の画素のデプス情報の分散を求め、その値が閾値以下なら全体として１つのグループとし、閾値より大きい場合はデプス値の平均を境界にして２つのグループに分割する方法がある。この場合、全てのグループに含まれる画素のデプス情報の分散がある閾値以下になったらグルーピングを終了する。
　より複雑なグルーピング方法としては、初めは各画素が１つのグループを成しているものとし、ある２つのグループを融合した際に、グループ内の画素のもつデプス情報の分散の増加が最も少ないものを順に融合していく方法がある。この場合、どの２つのグループを融合してもある閾値を超える分散を持つグループが発生してしまう場合に、グルーピングを終了する。
　なお、グループ数が増加すると演算量が増加するため、予めグループの最大数を定義しておいてもよい。グループ数がその最大値になったらグルーピングを終了したり、予め１グループに含まれる画素の最小数を定義しておき、小さなグループを生成しないようにしたりすることで、グループ数の増大を防ぐことができる。ブロックサイズが、一般的な画像符号化の単位ブロックサイズの１６×１６画素であった場合、一般に、多数の被写体が同じブロックに撮影されることは稀である。したがって、最大グループ数は２でも精度の高いグルーピングを行うことが可能である。
　グルーピングが終了したら、各グループの画素ごとに視点合成画像を補正することで予測画像Pred を生成する［Ａ５－Ａ１１］。
　つまり、グループインデックスobj を０に初期化した後［Ａ５］、obj に１を加算しながら［Ａ１０］、obj が numObjs になるまで［Ａ１１］、補正パラメータ生成部１０７において、視点合成画像を補正するための補正パラメータを推定するステップ［Ａ６－Ａ８］を行う。この処理とともに、視点合成画像補正部１０８において、推定された補正パラメータを用いてグループobj に含まれる画素についての視点合成画像を補正して予測画像を生成するステップ［Ａ９］とを繰り返す。
　補正パラメータの推定処理では、まずデプス情報をもとに、ブロックblk （符号化対象領域）の周辺の符号化済み領域の画素の集合Nblk に含まれる、グループobj と同じ被写体が撮影されている画素の集合Nblk,obj（サンプル画素群）を求める［代表デプス設定ステップおよびサンプル画素群設定ステップＡ６］。
  具体的な処理としては、まず、代表デプス設定部１０７ｂにおいて、グループobj の代表デプス値Dobj を求める（代表デプス設定ステップ）。代表デプス値Dobj を求める方法としては、グループobj 内の画素Cobj についてのデプス情報を用いて１つのデプス情報を求めることが可能であれば、どのような方法を用いることができる。ただし、復号側と同じ処理で求める必要がある。例えば、平均値や中央値などを使うことができる。平均値を用いる場合の代表デプス値Dobj は次の式（１）で表すことができる。なお、∥∥はその集合の画素数を表す。
Figure JPOXMLDOC01-appb-M000001
 　なお、被写体判定ステップＡ４でデプス情報を基準にして画素のグルーピングを行う際に、グループの代表となる画素やグループを示すデプス情報を決めながら、画素のグルーピングを行う手法が存在する。そのような手法を用いる場合、そのときのグループの代表として用いられた画素の持つデプス情報やグループを示すデプス情報を代表デプス値としても構わない。この場合、代表デプス設定ステップの処理は被写体判定ステップＡ４で同時に行われる。グループの代表決定とグルーピングとを同時に行う手法として代表的なものにAffinity Propagationと呼ばれる手法がある。この手法は、B. J. Frey and D. Dueck, “Clustering by Passing Messages Between Data Points”, Science 2007, Vol. 315(5814): pp. 972-976に記載されている。
　このようにして代表デプス値Dobj を求めると、続いて、サンプル画素群設定部１０７ｃにおいて、集合Nblk に含まれるグループobj と同じ被写体が撮影されている画素の集合Nblk,obj （サンプル画素群）を求める（サンプル画素群設定ステップ）。集合Nblk,obj は、次の式（２）で表されるように、その画素についてのデプス値と代表デプス値との差分絶対値が予め与えられた閾値thSameObj未満とすることで定義することができる。
Figure JPOXMLDOC01-appb-M000002
　集合Nblk,obj が求まった後、その集合の画素数に応じて、補正モデル選択部１０７ｄにおいて、予め準備されている補正モデルの中から使用するものを選択する［補正モデル選択ステップＡ７］。
　幾つの補正モデルを準備しても構わないが、復号側でも同じ補正モデルを準備し、同じ判断基準によって使用する補正モデルを選択しなくてはならない。また、補正モデルが１つしか準備されていない場合は、このステップを省略することができる。
　後述するステップＡ９で実行することになる視点合成画像を補正して予測画像を生成する処理は、視点合成画像を入力として予測画像を出力する関数として表現することが可能である。補正モデルとは、このときに用いる関数のモデルを指す。例えば、オフセットによる補正、１次関数を用いた補正、タップ長ｋの二次元線形フィルタ処理などがある。補正対象の画素をｐとすると、これらは、それぞれ、以下の式（３）～式（５）で表すことが可能である。
Figure JPOXMLDOC01-appb-M000003
　オフセットによる補正や１次関数を用いた補正は、線形フィルタ処理による補正の特殊な例である。なお、補正処理は線形処理である必要はなく、補正パラメータ推定が可能であれば非線形フィルタを使用しても構わない。非線形な補正方法の例としてはガンマ補正がある。ガンマ補正は次の式（６）で表すことができる。
Figure JPOXMLDOC01-appb-M000004
　これらの補正モデルの例では、それぞれ、offset、（α，β）、（｛Fi,j ｝, o）、（γ，ａ，ｂ）が補正パラメータとなる。つまり、補正モデルによって補正パラメータの数が変化する。
　補正パラメータの数が多いほど精度の高い補正を行うことが可能であるが、これらの補正パラメータを決定するためには、最低でも補正パラメータと同じ数だけのサンプルが必要となる。後述するように、このサンプルが前記の集合Nblk,obj に含まれるサンプル画素の視点合成画像および復号画像となるため、集合Nblk,obj の画素数に応じて補正モデルを決定することによって、精度よく補正を行うことが可能となる。なお、補正パラメータ推定には出来るだけ多くのサンプルを用いたほうが、推定された補正パラメータの頑健性が向上する。したがって、十分な頑健性を保つことのできるように補正モデルの選択を行うことが望ましい。
　１つの補正モデルを選択した後、補正パラメータ推定部１０７ｅにおいて、集合Nblk,obj に含まれる画素に対しての視点合成画像Synthおよび復号画像Decをサンプルとして、その補正モデルに含まれる補正パラメータの推定を行う［補正パラメータ推定ステップＡ８］。
　ここで行われる補正パラメータの推定では、集合Nblk,obj に含まれる画素の補正前の値を視点合成画像とし、理想的な補正後の値を復号画像とした際に、実際に補正モデルで補正した際の値と理想値との誤差が出来るだけ小さくなるように求める。
　例えば、補正が線形処理であるとすると、最小二乗法を用いて補正パラメータを決定することができる。つまり、補正を関数Mで表すとすると、次の式（７）で表される補正パラメータの二次関数で表される値を最小化すればよい。
Figure JPOXMLDOC01-appb-M000005
　つまり、各補正パラメータに関する式（７）の偏微分値が０になる連立方程式を解くことで、補正パラメータを求めることができる。
　補正パラメータが推定できたら、視点合成画像補正部１０８において、ブロックblk のグループobj についての視点合成画像Synthを補正パラメータに従って補正することで、ブロックblk のグループobj についての予測画像Pred を生成する［視点合成画像補正ステップＡ９］。
　この予測画像Pred の生成処理は、具体的には、図３の処理フローに示すように、画素ごとに行われる。ここで、図３の処理フローにおいて、pix は画素の識別情報を表し、 numPixblk,obj はブロックblk のグループobj 内の画素数を表す。
　例えば、オフセット値を用いた補正を行う場合には、前述した式（３）従って予測画像Pred が生成される。
　この予測画像Pred の生成について、補正方法（補正モデル）として、オフセット値を用いた式（３）の補正を行う例について説明する。図４に示すように、補正パラメータ推定ステップＡ８において、周辺の符号化済み領域に存在する同じ被写体に対しての視点合成画像の画素値をIn とし、その被写体の復号画像の画素値をOutとした場合のoffsetを推定することで、画素値変換式となる補正モデルを決定する。次に、ステップＡ９で、その決定した画素値変換式のIn に、ブロックblk のグループobj についての視点合成画像の画素値を代入することで、ブロックblk のグループobj についての予測画像を補正するように処理する。
　ブロックblk についての予測画像の生成が終了したら、画像符号化部１０９において、ステップＡ９で生成した予測画像Ｐred を予測信号としながら、ブロックblk についての符号化対象フレームOrgの符号化を行う［画像符号化ステップＡ１２］。
　この符号化ステップＡ１２においては、どのような符号化方法を用いても構わないが、Ｈ．２６４など一般的な符号化手法では、OrgとPred との差分に対して、ＤＣＴ・量子化・２値化・エントロピー符号化を施すことによって符号化を行う。
  符号化結果のビットストリームは多視点映像符号化装置１００の出力となる。また、符号化結果のビットストリームはブロックごとに画像復号部１１０で復号され、復号結果であるところの復号画像Decが他のブロックにおける補正パラメータ推定のために復号画像メモリ１１１に格納される［画像復号ステップＡ１３］。
  このようにして、図１のように構成される多視点映像符号化装置１００は、カメラ間で輝度や色のミスマッチが被写体に応じて局所的に生じている場合においても、多視点映像を高能率に符号化できるようにするために、このミスマッチに対処するための補正パラメータを被写体に応じて局所的に求める。　また、この多視点映像符号化装置１００は、符号量の増加を回避するために、その補正パラメータを別途符号化／復号する必要がない形態で求めるようにしつつ、その多視点映像の符号化を実行する。
  本実施形態では、視点合成画像を必ず使用してブロックblk の画像信号を符号化する場合を説明したが、本実施形態で説明した視点合成画像を用いた映像予測を、複数存在する予測化モードの１つとして使用することも可能である。
［２］本発明の第２の実施形態による多視点映像復号装置
　図５に、本発明の第２の実施形態に係る多視点映像復号装置２００の装置構成を図示する。
　図５に示すように、本実施形態の多視点映像復号装置２００において、符号データ入力部２０１は、第１のカメラで撮影された被写体の画像（フレーム）の符号データを復号対象として入力する。符号データメモリ２０２は、符号データ入力部２０１から入力された符号データを蓄積する。蓄積された符号データは、画像復号部２０９に供給される。
　視点合成画像入力部２０３は、第１のカメラとは異なる位置に配置された第２のカメラで同一の被写体を撮影して得られた画像の復号済みのフレームを用いて生成された復号対象フレームについての視点合成画像を入力する。視点合成画像メモリ２０４は、視点合成画像入力部２０３から入力された視点合成画像を蓄積する。蓄積された視点合成画像は、補正パラメータ生成部２０７および視点合成画像補正部２０８に供給される。
　デプス情報入力部２０５は、復号対象フレームについてのデプス情報を入力する。デプス情報メモリ２０６は、デプス情報入力部２０５から入力されたデプス情報を蓄積する。蓄積されたデプス情報は、補正パラメータ生成部２０７に供給される。
　補正パラメータ生成部２０７は、復号対象領域の周辺領域における視点合成画像、デプス情報および復号画像と、復号対象領域におけるデプス情報とを用いて補正パラメータを推定する。視点合成画像補正部２０８は、推定された補正パラメータを用いて復号対象領域の視点合成画像を補正する。
　画像復号部２０９は、補正された視点合成画像を予測信号として使用しながら復号対象領域の画像信号を復号する。（１０）復号画像メモリ２１０は、画像復号部２０９で復号された画像を蓄積する。
　補正パラメータ生成部２０７は、図８に示すとおり、デプス情報メモリ２０６からのデプス情報が供給される被写体判定部２０７ａ、この被写体判定部２０７ａの下流に順に接続された代表デプス設定部２０７ｂおよびサンプル画素群設定部２０７ｃを有する。サンプル画素群設定部２０７ｃには、その下流に補正モデル選択部２０７ｄおよび補正パラメータ推定部２０７ｅが順に接続される。補正パラメータ推定部２０７ｅには、復号画像メモリ２１０からの復号画像および視点合成画像メモリ２０４からの視点合成画像が供給され、供給された復号画像および視点合成画像を用いて推定した補正パラメータを視点合成画像補正部２０８に供給する。
　図６に、このように構成される第２の実施形態の多視点映像復号装置２００が実行する処理のフローを示す。
　この処理フローに従って、本実施形態の多視点映像復号装置２００が実行する処理について詳細に説明する。
　まず、符号データ入力部２０１により復号対象フレームの符号データが入力されて符号データメモリ２０２に格納される。視点合成画像入力部２０３により復号対象フレームに対しての視点合成画像Synthが入力されて視点合成画像メモリ２０４に格納される。デプス情報入力部２０５により復号対象フレームに対してのデプス情報Depthが入力されてデプス情報メモリ２０６に格納される［Ｂ１］。
　ここで入力される視点合成画像とデプス情報は符号化装置で得られるものと同じものである。これは符号化装置で得られる情報と同じ情報を用いることでドリフト等の符号化ノイズの発生を抑えるためである。ただし、これらの符号化ノイズの発生を許容する場合は、符号化装置と異なるものが入力されても構わない。
　なお、デプス情報は多視点映像復号装置２００の外部より与えられるものとしているが、非特許文献３に記載されたように、既に復号済みの別のカメラのフレームから推定して求めることも可能である。したがって、必ずしも送信側から受信側へ伝送される必要はない。また、視点合成画像は、既に復号済みの第２のカメラのフレームとデプス情報とを用いて生成される。
　次に、復号対象フレームを複数の復号対象領域に分割し、その領域ごとに視点合成画像を補正しながら、画像復号部２０９で復号対象フレームの画像信号を復号する［Ｂ２－Ｂ１４］。
　つまり、復号処理ブロックのインデックスをblk 、総復号処理ブロック数を numBlks で表すとすると、blk を０で初期化した後［Ｂ２］、blk に１を加算しながら［Ｂ１３］、blk が numBlks になるまで［Ｂ１４］、以下のステップ［Ｂ３－Ｂ１２］を繰り返す。
　復号処理ブロックごとに繰り返される処理では、復号装置２００は、まずブロックblk （復号対象領域）の周辺の復号済み領域の画素の集合Nblk を求める［Ｂ３］。
　周辺領域としてはブロックblk に隣接する復号処理ブロックや隣接画素など、様々な単位のものを用いることが可能である。どのような定義の周辺領域を使用しても構わないが、符号化側で使用する定義と同じものを使用する必要がある。
　次に、補正パラメータ生成部２０７の被写体判定部２０７ａは、画素ごとに与えられたデプス情報を基準にして、ブロックblk 内の画素のグルーピングを行う［被写体判定ステップＢ４］。
　この結果の各グループのインデックスをobj 、グループ数を numObjs と表し、グループobj に属する画素をCobj と表すことにする。ここでの処理は第１の実施形態の被写体判定ステップＡ４と同じである。
　グルーピングが終了したら、各グループの画素ごとに視点合成画像を補正することで予測画像Pred を生成する［Ｂ５－Ｂ１１］。
  つまり、グループインデックスobj を０に初期化した後［Ｂ５］、obj に１を加算しながら［Ｂ１０］、obj が numObjs になるまで［Ｂ１１］、補正パラメータ生成部２０７において、視点合成画像を補正するための補正パラメータを推定するステップ［Ｂ６－Ｂ８］を行う。この処理とともに、視点合成画像補正部２０８において、推定された補正パラメータを用いてグループobj に含まれる画素についての視点合成画像を補正して予測画像を生成するステップ［Ｂ９］とを繰り返す。
　このステップＢ９での処理は第１の実施形態のステップＡ９と同じであり、図７の処理フローに示すように、画素ごとに行われる。ここで、図７の処理フローにおいて、pix は画素の識別情報を表し、 numPixblk,obj はブロックblk のグループobj 内の画素数を表す。代表デプス設定部２０７ｂ、サンプル画素群設定部２０７ｃ、補正モデル選択部２０７ｄおよび補正パラメータ推定部２０７ｅによって行われる、補正パラメータの推定ステップ［Ｂ６－Ｂ８］は、第１の実施形態におけるステップＡ６－Ａ８と同じである。
　ブロックblk についての予測画像の生成が終了したら、画像復号部２０９において、ステップＢ９で生成した予測画像Pred を予測信号としながら、ブロックblk についての復号対象画像Decを復号する［Ｂ１２］。
  ここで行われる復号処理は符号データを生成するときに用いられた方法に対応するものを使う必要がある。例えば、Ｈ．２６４を用いて符号化されている場合、エントロピー復号、多値化、逆量子化、逆ＤＣＴを行い復号された残差信号に対して予測信号を足し合わせることで復号処理が行われる。
  復号結果の復号画像は多視点復号装置２００の出力となるとともに、他のブロックにおける補正パラメータ推定のために復号画像メモリ２１０に格納される。
　このようにして、図５のように構成される多視点映像復号装置２００は、図１に示された多視点映像符号化装置１００の生成した多視点映像復号の符号データを復号する。
  本実施形態では、視点合成画像を必ず使用してブロックblk が符号化されているものとして説明を行った。視点合成画像を使う予測モードが複数存在する予測モードの１つとして使われて符号データを復号する場合においても、その予測モードが使われている場合にのみ前述の処理フローに従って画像を復号し、それ以外の予測モードが使われている場合は、その予測モード（それ以外の予測モード）に従った従来の復号方法を用いることで画像を復号することが可能である。
　上記説明を行った第１および第２の実施形態では、全てのブロックにおいて補正を行うようにしているが、ブロックごとに１ビットのフラグ情報を符号化することで、補正を行うか否かを選択する構成をとることもできる。
　また、１ビットのフラグ情報を符号化せずに、補正パラメータの信頼度を測定し、その信頼度に応じて補正をするのか否かを選択する方法もある。
　具体的には、ステップＡ８およびステップＢ８において補正パラメータを求めた後に、以下の式（８）～式（１０）に示すような補正の確からしさと有効性を表現する値を求めてもよい。補正パラメータ生成部１０７および２０７は、その値があらかじめ与えられた閾値よりも大きな場合にのみ、ステップＡ９およびステップＢ９において視点合成画像を補正したものを予測画像とし、それ以外の場合は、視点合成画像をそのまま予測画像とする。
Figure JPOXMLDOC01-appb-M000006
　式（８）の第１項は復号画像Decと視点合成画像Synthとの差分絶対値和を示し、第２項は復号画像Decと予測画像Pred との差分絶対値和を示す。すなわち、式（８）は補正することによって真値と予測値との差分絶対値和がどの程度削減されたかを示す。また、式（９）の第１項は復号画像Decと視点合成画像Synthとの差分二乗和を示し、第２項は復号画像Decと予測画像Pred との差分二乗和を示す。すなわち、式（９）は補正することによって真値と予測値との差分二乗和がどの程度削減されたかを示す。また、式（１０）は補正モデルが得られているサンプルに対してどの程度確からしいかを表す。ここで、どの値も処理対象ブロックではなく周辺領域の値を用いて求められているため、全体で用いる閾値のみを符号化して復号側に通知するだけでよい。
　なお、本実施形態では、１つのカメラの１フレームを符号化又は復号する処理を説明したが、この処理をフレームごとに繰り返すことで多視点映像の符号化又は復号を実現することが可能である。さらに、カメラごとに繰り返すことで複数のカメラの多視点映像の符号化又は復号を実現することが可能である。
　以上説明した処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。
　また、以上の実施の形態では多視点映像符号化装置および多視点映像復号装置を中心に説明したが、この多視点映像符号化装置の各部の動作に対応したステップによって本発明の多視点映像符号化方法を実現することができる。同様に、この多視点映像復号装置の各部の動作に対応したステップによって本発明の多視点映像復号方法を実現することができる。
　以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものでないことは明らかである。したがって、本発明の範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
　本発明は多視点画像の符号化手法に適用できる。本発明を適用することで、カメラ間で輝度や色のミスマッチが被写体に応じて局所的に生じている場合においても、効率的な多視点画像や多視点動画像の符号化および復号を実現できるようになるとともに、その実現にあたっての符号量を大幅に削減することができる。
　１００　多視点映像符号化装置
　１０１　符号化対象画像入力部
　１０２　符号化対象画像メモリ
　１０３　視点合成画像入力部
　１０４　視点合成画像メモリ
　１０５　デプス情報入力部
　１０６　デプス情報メモリ
　１０７　補正パラメータ生成部
　１０８　視点合成画像補正部
　１０９　画像符号化部
　１１０　画像復号部
　１１１　復号画像メモリ
　２００　多視点映像復号装置
　２０１　符号データ入力部
　２０２　符号データメモリ
　２０３　視点合成画像入力部
　２０４　視点合成画像メモリ
　２０５　デプス情報入力部
　２０６　デプス情報メモリ
　２０７　補正パラメータ生成部
　２０８　視点合成画像補正部
　２０９　画像復号部
　２１０　復号画像メモリ

Claims (10)

  1. 　第１のカメラで撮影された被写体の入力画像を複数の符号化対象領域に分割し、前記入力画像についてのデプス情報と前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の既に符号化済みの画像とから合成された視点合成画像を用いて、前記符号化対象領域ごとに予測符号化を行う多視点画像符号化方法であって、
    　前記符号化対象領域において撮影された被写体についての代表デプス情報を設定する代表デプス設定ステップと、
    　前記符号化対象領域に隣接する既に符号化済みの領域におけるデプス情報と前記代表デプス情報とに基づいて、前記符号化対象領域内と同じ被写体が撮影されている画素群を求めてサンプル画素群として設定するサンプル画素群設定ステップと、
    　前記サンプル画素群についての前記視点合成画像および前記サンプル画素群について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、
    　前記補正パラメータを用いて、前記符号化対象領域についての前記視点合成画像を補正して補正視点合成画像を生成する視点合成画像補正ステップと、
    　前記補正視点合成画像を用いて、前記符号化対象領域の画像信号を符号化して符号データを生成する画像符号化ステップと、
    　前記符号データを復号して、前記符号化対象領域における復号画像を生成する画像復号ステップと、
    　を有する多視点画像符号化方法。
  2. 　前記符号化対象領域における画素を、当該画素のデプス情報を基準にしてグルーピングする被写体判定ステップを有し、
    　前記代表デプス設定ステップでは、前記被写体判定ステップで求められたグループごとに代表デプス情報を設定し、
    　前記サンプル画素群設定ステップでは、前記被写体判定ステップで求められたグループごとにサンプル画素群を設定し、
    　前記補正パラメータ推定ステップでは、前記被写体判定ステップで求められたグループごとに補正パラメータを推定し、
    　前記視点合成画像補正ステップでは、前記被写体判定ステップで求められたグループごとに視点合成画像を補正する
    　請求項１に記載の多視点画像符号化方法。
  3. 　前記サンプル画素群の画素数に応じて前記符号化対象領域についての前記視点合成画像を補正する補正モデルを選択する補正モデル選択ステップを備え、
    　前記補正パラメータ推定ステップでは、前記補正モデル選択ステップで選択された前記補正モデルにおける補正パラメータを推定し、
    　前記視点合成画像補正ステップでは、前記補正モデル選択ステップで選択された前記補正モデルを用いて視点合成画像を補正する
    　請求項１または２に記載の多視点画像符号化方法。
  4. 　第１のカメラで撮影された被写体の画像を前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の画像を用いて符号化した復号対象画像の符号データを、前記復号対象画像についてのデプス情報と前記第２のカメラで撮影された既に復号済みの前記被写体の画像とから合成された視点合成画像を用いて、前記復号対象画像を分割した複数の復号対象領域ごとに復号を行う多視点画像復号方法であって、
    　前記復号対象領域において撮影された被写体についての代表デプス情報を設定する代表デプス設定ステップと、
    　前記復号対象領域に隣接する既に復号済みの領域におけるデプス情報と前記代表デプス情報とに基づいて、前記復号対象領域内と同じ被写体が撮影されている画素群を求めてサンプル画素群として設定するサンプル画素群設定ステップと、
    　前記サンプル画素群についての前記視点合成画像および前記サンプル画素群について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、
    　前記補正パラメータを用いて、前記復号対象領域についての前記視点合成画像を補正して補正視点合成画像を生成する視点合成画像補正ステップと、
    　前記補正視点合成画像を用いて、前記復号対象領域の画像信号を復号する画像復号ステップと、
    　を有する多視点画像復号方法。
  5. 　前記復号対象領域における画素を、当該画素のデプス情報を基準にしてグルーピングする被写体判定ステップを有し、
    　前記代表デプス設定ステップでは、前記被写体判定ステップで求められたグループごとに代表デプス情報を設定し、
    　前記サンプル画素群設定ステップでは、前記被写体判定ステップで求められたグループごとにサンプル画素群を設定し、
    　前記補正パラメータ推定ステップでは、前記被写体判定ステップで求められたグループごとに補正パラメータを推定し、
    　前記視点合成画像補正ステップでは、前記被写体判定ステップで求められたグループごとに視点合成画像を補正する
    　請求項４に記載の多視点画像復号方法。
  6. 　前記サンプル画素群の画素数に応じて前記復号対象領域についての前記視点合成画像を補正する補正モデルを選択する補正モデル選択ステップを備え、
    　前記補正パラメータ推定ステップでは、前記補正モデル選択ステップで選択された前記補正モデルにおける補正パラメータを推定し、
    　前記視点合成画像補正ステップでは、前記補正モデル選択ステップで選択された前記補正モデルを用いて視点合成画像を補正する
    　請求項４または５に記載の多視点画像復号方法。
  7. 　第１のカメラで撮影された被写体の入力画像を複数の符号化対象領域に分割し、前記入力画像についてのデプス情報と既に前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の符号化済みの画像とから合成された視点合成画像を用いて、前記符号化対象領域ごとに予測符号化を行う多視点画像符号化装置であって、
    　前記符号化対象領域において撮影された被写体についての代表デプス情報を設定する代表デプス設定部と、
    　前記符号化対象領域に隣接する既に符号化済みの領域におけるデプス情報と前記代表デプス情報とに基づいて、前記符号化対象領域内と同じ被写体が撮影されている画素群を求めてサンプル画素群として設定するサンプル画素群設定部と、
    　前記サンプル画素群についての前記視点合成画像および前記サンプル画素群について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定部と、
    　前記補正パラメータを用いて、前記符号化対象領域についての前記視点合成画像を補正して補正視点合成画像を生成する視点合成画像補正部と、
    　前記補正視点合成画像を用いて、前記符号化対象領域の画像信号を符号化して符号データを生成する画像符号化部と、
    　前記符号データを復号して、前記符号化対象領域における復号画像を生成する画像復号部と、
    　を有する多視点画像符号化装置。
  8. 　第１のカメラで撮影された被写体の画像を前記第１のカメラとは異なる位置に配置された第２のカメラで撮影された前記被写体の画像を用いて符号化した復号対象画像の符号データを、前記復号対象画像についてのデプス情報と前記第２のカメラで撮影された既に復号済みの前記被写体の画像とから合成された視点合成画像を用いて、前記復号対象画像を分割した複数の復号対象領域ごとに復号を行う多視点画像復号装置であって、
    　前記復号対象領域において撮影された被写体についての代表デプス情報を設定する代表デプス設定部と、
    　前記復号対象領域に隣接する既に復号済みの領域におけるデプス情報と前記代表デプス情報とに基づいて、前記復号対象領域内と同じ被写体が撮影されている画素群を求めてサンプル画素群として設定するサンプル画素群設定部と、
    　前記サンプル画素群についての前記視点合成画像および前記サンプル画素群について既に復号された復号画像に基づいて、輝度および色のミスマッチを補正する補正パラメータを推定する補正パラメータ推定部と、
    　前記補正パラメータを用いて、前記復号対象領域についての前記視点合成画像を補正して補正視点合成画像を生成する視点合成画像補正部と、
    　前記補正視点合成画像を用いて、前記復号対象領域の画像信号を復号する画像復号部と、
    　を有する多視点画像復号装置。
  9. 　請求項１ないし３のいずれか１項に記載の多視点画像符号化方法をコンピュータに実行させるための多視点画像符号化プログラム。
  10. 　請求項４ないし６のいずれか１項に記載の多視点画像復号方法をコンピュータに実行させるための多視点画像復号プログラム。
PCT/JP2010/001213 2009-02-23 2010-02-23 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム WO2010095471A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
RU2011133831/07A RU2498522C2 (ru) 2009-02-23 2010-02-23 Способ кодирования многоракурсных изображений, способ декодирования многоракурсных изображений, устройство кодирования многоракурсных изображений, устройство декодирования многоракурсных изображений, компьютерно-читаемый носитель, содержащий программу кодирования многоракурсных изображений, и компьютерно-читаемый носитель, содержащий программу декодирования многоракурсных изображений
CA2752567A CA2752567C (en) 2009-02-23 2010-02-23 Multi-view image coding method, multi-view image decoding method, multi-view image coding device, multi-view image decoding device, multi-view image coding program, and multi-viewimage decoding program
ES10743600.8T ES2524973T3 (es) 2009-02-23 2010-02-23 Codificación y decodificación de imágenes multivista usando corrección de iluminación y de color localizada
CN201080007503.1A CN102326391B (zh) 2009-02-23 2010-02-23 多视点图像编码装置及方法、多视点图像译码装置及方法
US13/201,049 US8548228B2 (en) 2009-02-23 2010-02-23 Multi-view image coding method, multi-view image decoding method, multi-view image coding device, multi-view image decoding device, multi-view image coding program, and multi-view image decoding program
JP2011500540A JP5521202B2 (ja) 2009-02-23 2010-02-23 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
KR1020117018934A KR101344425B1 (ko) 2009-02-23 2010-02-23 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램
EP10743600.8A EP2400759B1 (en) 2009-02-23 2010-02-23 Multi-view image encoding and decoding using localized illumination and color correction
BRPI1008500-9A BRPI1008500B1 (pt) 2009-02-23 2010-02-23 Método de codificação de imagem de multivisão, método de decodificação de imagem de multivisão, dispositivo de codificação de imagem de multivisão e dispositivo de decodificação de imagem de multivisão

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-038786 2009-02-23
JP2009038786 2009-02-23

Publications (1)

Publication Number Publication Date
WO2010095471A1 true WO2010095471A1 (ja) 2010-08-26

Family

ID=42633758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/001213 WO2010095471A1 (ja) 2009-02-23 2010-02-23 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム

Country Status (11)

Country Link
US (1) US8548228B2 (ja)
EP (1) EP2400759B1 (ja)
JP (1) JP5521202B2 (ja)
KR (1) KR101344425B1 (ja)
CN (1) CN102326391B (ja)
BR (1) BRPI1008500B1 (ja)
CA (1) CA2752567C (ja)
ES (1) ES2524973T3 (ja)
RU (1) RU2498522C2 (ja)
TW (2) TWI433544B (ja)
WO (1) WO2010095471A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013074304A (ja) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
JP2013074303A (ja) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2013077304A1 (ja) * 2011-11-21 2013-05-30 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
CN103430549A (zh) * 2011-03-18 2013-12-04 索尼公司 图像处理装置、图像处理方法和程序
WO2014103967A1 (ja) * 2012-12-27 2014-07-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US9538182B2 (en) 2011-01-20 2017-01-03 Samsung Electronics Co., Ltd. Apparatus and method for adaptive frame prediction for multiview video sequence coding
US9924197B2 (en) 2012-12-27 2018-03-20 Nippon Telegraph And Telephone Corporation Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5436458B2 (ja) * 2009-02-12 2014-03-05 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
TWI433544B (zh) * 2009-02-23 2014-04-01 Nippon Telegraph & Telephone 多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式
JP5858380B2 (ja) * 2010-12-03 2016-02-10 国立大学法人名古屋大学 仮想視点画像合成方法及び仮想視点画像合成システム
KR20120082606A (ko) * 2011-01-14 2012-07-24 삼성전자주식회사 깊이 영상의 부호화／복호화 장치 및 방법
JP6072678B2 (ja) * 2011-04-25 2017-02-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
EP3462742A1 (en) * 2011-11-11 2019-04-03 GE Video Compression, LLC Multi-view coding with exploitation of renderable portions
WO2013068493A1 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with effective handling of renderable portions
US9288506B2 (en) 2012-01-05 2016-03-15 Qualcomm Incorporated Signaling view synthesis prediction support in 3D video coding
WO2013115024A1 (ja) * 2012-01-31 2013-08-08 ソニー株式会社 画像処理装置および画像処理方法
WO2013162272A1 (ko) * 2012-04-24 2013-10-31 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN103379349B (zh) * 2012-04-25 2016-06-29 浙江大学 一种视点合成预测编码方法、解码方法、对应的装置及码流
WO2013159330A1 (en) * 2012-04-27 2013-10-31 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
US20130329800A1 (en) * 2012-06-07 2013-12-12 Samsung Electronics Co., Ltd. Method of performing prediction for multiview video processing
US9615089B2 (en) 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
JPWO2015037473A1 (ja) * 2013-09-11 2017-03-02 ソニー株式会社 画像処理装置および方法
JP2016134803A (ja) * 2015-01-20 2016-07-25 キヤノン株式会社 画像処理装置及び画像処理方法
US10699476B2 (en) * 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
KR101764531B1 (ko) 2016-02-29 2017-08-04 한경대학교 산학협력단 네트워크 기반 다중 카메라 영상 처리 및 데이터 전송 방법 및 그 시스템
DE112018006130T5 (de) * 2017-12-01 2020-08-20 Sony Corporation Codierungsvorrichtung, codierungsverfahren, decodierungsvorrichtung und decodierungsverfahren
CN114466174B (zh) * 2022-01-21 2023-04-28 南方科技大学 一种多视点3d图像编码方法、设备、系统和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001509325A (ja) * 1996-10-09 2001-07-10 トラスティース オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク ３次元深度情報を利用したデジタル画像と動画像の分割と圧縮を行う方法及び装置
WO2007081176A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
WO2008048487A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4875095A (en) * 1987-06-30 1989-10-17 Kokusai Denshin Denwa Kabushiki Kaisha Noise-shaping predictive coding system
US7064783B2 (en) * 1999-12-31 2006-06-20 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
JP3519673B2 (ja) * 2000-07-07 2004-04-19 松下電器産業株式会社 動画データ作成装置及び動画符号化装置
RU2237283C2 (ru) * 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
AU2003269525A1 (en) * 2002-10-15 2004-05-04 Samsung Electronics Co., Ltd. Information storage medium with data structure for multi-angle and apparatus therefor
US8284837B2 (en) * 2004-09-16 2012-10-09 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
JP4414379B2 (ja) 2005-07-28 2010-02-10 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20070177671A1 (en) 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
CN101371571B (zh) * 2006-01-12 2013-06-19 Lg电子株式会社 处理多视图视频
KR101293086B1 (ko) * 2006-02-17 2013-08-06 톰슨 라이센싱 비디오 데이터 밝기 변화를 다루는 지역화된 가중 예측
JP2007257287A (ja) * 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
EP2005752A4 (en) 2006-03-30 2010-06-09 Lg Electronics Inc METHOD AND APPARATUS FOR DECODING / ENCODING A VIDEO SIGNAL
JP5436458B2 (ja) * 2009-02-12 2014-03-05 日本電信電話株式会社 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
TWI433544B (zh) * 2009-02-23 2014-04-01 Nippon Telegraph & Telephone 多視點圖像編碼方法、多視點圖像解碼方法、多視點圖像編碼裝置、多視點圖像解碼裝置、多視點圖像編碼程式及多視點圖像解碼程式
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
JP4986086B2 (ja) * 2010-02-26 2012-07-25 ブラザー工業株式会社 画像形成装置、及び、ずれ量測定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001509325A (ja) * 1996-10-09 2001-07-10 トラスティース オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク ３次元深度情報を利用したデジタル画像と動画像の分割と圧縮を行う方法及び装置
WO2007081176A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
WO2008048487A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Local illumination and color compensation without explicit signaling

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"2007 Nen Picture Coding Symposium of Japan Shiryo (PCSJ2007), 31 October 2007 (31.10.2007)", article SHIN'YA SHIMIZU ET AL.: "Depth Map o Mochiita Yosoku Joho Kyoyu ni yoru Tashiten Eizo Fugoka ni Kansuru Kento", pages: 31 - 32 *
See also references of EP2400759A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538182B2 (en) 2011-01-20 2017-01-03 Samsung Electronics Co., Ltd. Apparatus and method for adaptive frame prediction for multiview video sequence coding
CN103430549A (zh) * 2011-03-18 2013-12-04 索尼公司 图像处理装置、图像处理方法和程序
JP2013074304A (ja) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム
JP2013074303A (ja) * 2011-09-26 2013-04-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2013077304A1 (ja) * 2011-11-21 2013-05-30 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
WO2014103967A1 (ja) * 2012-12-27 2014-07-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JPWO2014103967A1 (ja) * 2012-12-27 2017-01-12 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US9924197B2 (en) 2012-12-27 2018-03-20 Nippon Telegraph And Telephone Corporation Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program

Also Published As

Publication number Publication date
EP2400759A1 (en) 2011-12-28
JPWO2010095471A1 (ja) 2012-08-23
EP2400759B1 (en) 2014-08-27
EP2400759A4 (en) 2012-09-05
KR101344425B1 (ko) 2013-12-23
US8548228B2 (en) 2013-10-01
CA2752567A1 (en) 2010-08-26
TWI433544B (zh) 2014-04-01
CN102326391B (zh) 2014-07-09
TW201103339A (en) 2011-01-16
BRPI1008500A2 (pt) 2016-03-08
JP5521202B2 (ja) 2014-06-11
CN102326391A (zh) 2012-01-18
ES2524973T3 (es) 2014-12-16
US20120027291A1 (en) 2012-02-02
TW201424406A (zh) 2014-06-16
KR20110119709A (ko) 2011-11-02
TWI517674B (zh) 2016-01-11
CA2752567C (en) 2014-11-18
RU2498522C2 (ru) 2013-11-10
RU2011133831A (ru) 2013-03-27
BRPI1008500B1 (pt) 2021-08-24

Similar Documents

Publication Publication Date Title
JP5521202B2 (ja) 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
JP5436458B2 (ja) 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
JP5303754B2 (ja) 多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラム
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
KR101818900B1 (ko) 향상된 동적 범위를 갖는 신호들에 대한 계층간 예측
KR20150135457A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
CN114793282B (zh) 带有比特分配的基于神经网络的视频压缩
KR20150137081A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
WO2016047250A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP2018050150A (ja) 画像符号化装置、画像符号化方法及びコンピュータプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080007503.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10743600

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011500540

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20117018934

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010743600

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2752567

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 5890/CHENP/2011

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011133831

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 13201049

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1008500

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1008500

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110812