WO2011158562A1 - 多視点画像符号化装置 - Google Patents

多視点画像符号化装置 Download PDF

Info

Publication number
WO2011158562A1
WO2011158562A1 PCT/JP2011/060034 JP2011060034W WO2011158562A1 WO 2011158562 A1 WO2011158562 A1 WO 2011158562A1 JP 2011060034 W JP2011060034 W JP 2011060034W WO 2011158562 A1 WO2011158562 A1 WO 2011158562A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
viewpoint
viewpoint image
actual distance
image
Prior art date
Application number
PCT/JP2011/060034
Other languages
English (en)
French (fr)
Inventor
毅 金子
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2011158562A1 publication Critical patent/WO2011158562A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • the present invention relates to multi-viewpoint image processing technology, and particularly relates to reduction of processing load in viewpoint image encoding processing.
  • a stereoscopic image display technique As a typical use example of a multi-viewpoint image, there are a stereoscopic image display technique and an arbitrary viewpoint image display technique.
  • the displayed image itself is a planar image, that is, two-dimensional information, and the images 301 and 302 having parallax with respect to the left eye and the right eye of the observer are observed as shown in FIG.
  • the image 303 perceived in the brain gives a pseudo three-dimensional effect similar to that when observing an actual three-dimensional object / three-dimensional space.
  • the arbitrary viewpoint image display technique uses image data 401v to 403v photographed from a plurality of viewpoints, distance information 401d to 403d between the camera and the subject, and the like from a viewpoint that is not photographed.
  • the images 404v, 405v, etc. are generated so that an observer can observe an image from a desired position, that is, an arbitrary viewpoint.
  • the technique for generating and displaying an arbitrary viewpoint image makes it possible to observe an image from an observer's favorite position including a viewpoint that is not photographed.
  • depth information of each subject in the video is required. For example, when the depth information is not used, the region A that can be seen from one viewpoint is hidden behind the object B when viewed from another viewpoint, but in order to reproduce such a relationship in all arbitrary viewpoints. It is necessary to prepare an infinite number of viewpoint images. However, if there is depth information, an image of an arbitrary viewpoint can be reproduced with a small number of viewpoint images.
  • Non-Patent Document 1 discloses a method for generating a higher-quality arbitrary viewpoint image based on the basic method of 3D Warping, which is the basis of the arbitrary viewpoint image generation technique.
  • Such a technique for generating an arbitrary viewpoint image can be applied to the improvement and improvement of a sense of reality even for the above-described stereoscopic image display.
  • stereoscopic display image data 501v and 502v obtained by photographing the subjects 504 and 505 with the two cameras 501 and 502 as shown in FIG.
  • the camera interval 506 is too far from the distance between the left and right eyes of the person (which is said to be around 65 mm)
  • the image becomes unnatural when viewed as a stereoscopic image, or perceived as a stereoscopic image at all. It becomes an image that can not be.
  • the above-described arbitrary viewpoint image generation technique is applied to generate the image 503v at the virtual viewpoint position 503 corresponding to the distance 507 between the left and right eyes of the person from the camera position 501, so that the images 501v and 503v are obtained. It becomes possible to observe as a proper stereoscopic image.
  • the captured images 501v and 502v are stereoscopic images with almost no stereoscopic effect.
  • a virtual viewpoint corresponding to the distance between the left and right eyes from the viewpoint and generating an image at the virtual viewpoint it is possible to observe a stereoscopic image with a sufficient stereoscopic effect.
  • the expression function of the image display system can be improved by using a plurality of viewpoint images and corresponding depth images.
  • depth image data since depth image data is required, there is a problem that the amount of code at the time of recording / transmission increases accordingly.
  • various devices have been made in the multi-view image encoding / decoding device.
  • Patent Document 1 when transmitting depth information, a depth value is encoded so that a transmission amount is preferentially assigned to a frequency component with high perceptual sensitivity according to temporal and spatial frequency characteristics with respect to a visual depth change. Techniques to do this are disclosed.
  • Depth information is usually expressed as image data composed only of luminance values, and the amount of information can be compressed by an encoding method similar to that for a normal image.
  • the quality of depth information that is, depth information is used by assigning a code amount by paying attention to the sensitivity of human depth perception. The amount of code can be reduced while maintaining the quality of the virtual viewpoint image generated in this way.
  • the reduction in the amount of transmission information in this method is effective only for depth information composed only of luminance information, and the information amount of the viewpoint image composed of luminance information and two color difference information does not change. It cannot be said that the effect of reducing the amount of information in the total amount of transmitted information is high.
  • the present invention has been made in view of the above circumstances, and in a multi-viewpoint image processing system, when compressing and encoding a viewpoint image and corresponding depth information, the processing load is reduced while maintaining image quality.
  • an object is to efficiently reduce the amount of information in encoding / transmission of viewpoint images.
  • a first technical means of the present invention is a multi-viewpoint image encoding apparatus that encodes a plurality of viewpoint images and corresponding depth information, and is based on at least the depth information and shooting condition information. Then, the actual distance from the viewpoint of the subject to the subject is calculated, the calculated actual distance is compared with a predetermined threshold value, and color difference information is determined for each pixel or small area constituting the viewpoint image based on the comparison result.
  • Real distance calculation means for outputting conversion information for converting the number of gradations of the image, and converting the number of gradations of the color difference information for each pixel or small region constituting the viewpoint image based on the output conversion information Viewpoint image converting means, wherein the predetermined threshold value is a value determined based on a relationship between an actual distance from the viewpoint of the subject to the subject and a human color discrimination sensitivity. is there.
  • the gradation of color difference information for each pixel or small area constituting the viewpoint image when the actual distance is equal to or greater than a predetermined threshold value, the gradation of color difference information for each pixel or small area constituting the viewpoint image. It is characterized by outputting conversion information for reducing the number.
  • the actual distance calculating means outputs conversion information corresponding to each pixel or small region in one frame for each frame of the depth information. It is characterized by that.
  • the fourth technical means includes viewpoint image encoding means for encoding the viewpoint image in which the number of gradations of the color difference information is converted by the viewpoint image conversion means in any one of the first to third technical means.
  • Depth information encoding means for encoding the depth information, a viewpoint image encoded by the viewpoint image encoding means, and depth information encoded by the depth information encoding means are multiplexed and encoded It further comprises multiplexing means for outputting as data.
  • the multi-view image encoding device of the present invention has the following effects. That is, when compressing and encoding a multi-viewpoint image, considering the effect of the actual distance from the subject's viewpoint to the subject on human color discrimination sensitivity, at least from the depth information and the shooting condition information, the color difference scale of the viewpoint image is calculated. Conversion information for converting the logarithm is obtained, and the information (code) amount of the viewpoint image can be reduced based on the conversion information. Therefore, it is possible to efficiently reduce the amount of information in encoding / transmission while maintaining the subjective image quality of the viewpoint image, particularly human. Further, since this conversion information is a process in which calculation is completed in units of one frame, a delay due to the process can be reduced.
  • FIG. 1 It is a block diagram which shows the structural example of the multiview image coding apparatus which concerns on one Embodiment of this invention. It is a figure which shows an example of a viewpoint image and depth information. It is a figure for demonstrating an example of the actual distance calculation method by an actual distance calculation part. It is a figure which shows the change of the brightness (luminance purity) when an actual distance changes. It is a figure which shows the change of the saturation when an actual distance changes. It is the figure which showed an example of the mode of a change of the luminance information (Y) and the color difference information (Cb, Cr) with respect to the actual distance from the viewpoint of the subject to the subject. It is a figure which shows an example of the small area
  • FIG. 1 is a block diagram showing an example of the configuration of a multi-view image encoding apparatus according to an embodiment of the present invention.
  • 100 indicates the multi-view image encoding apparatus.
  • the multi-view image encoding device 100 includes an actual distance calculation unit 101, a viewpoint image conversion unit 102, a viewpoint image encoding unit 103, a depth information encoding unit 104, and a multiplexing unit 105, and includes a plurality of viewpoint images and viewpoints.
  • This is an apparatus for reducing the amount of information by performing an encoding process using depth information corresponding to an image and shooting condition information as inputs.
  • the actual distance calculation unit 101 corresponds to the actual distance calculation means of the present invention, and at least depth information and shooting condition information are input.
  • the actual distance calculation unit 101 calculates an actual distance from the viewpoint of the subject to the subject based on the input depth information and shooting condition information, compares the calculated actual distance with a predetermined threshold, and based on the comparison result.
  • conversion information for converting the number of gradations of the color difference information is output for each pixel or small area constituting the viewpoint image.
  • the predetermined threshold is a value determined based on the relationship between the actual distance from the viewpoint of the subject to the subject and the human color discrimination sensitivity. In other words, while changing the actual distance from the subject's viewpoint to the subject, the state of the color difference (saturation) and brightness of the pixel or small area of the viewpoint image is measured, and the measured color difference and brightness values are This value is determined based on the relationship with the color discrimination sensitivity. A specific example of how to determine the predetermined threshold will be described later.
  • the viewpoint image conversion unit 102 corresponds to the viewpoint image conversion unit of the present invention, and receives a plurality of viewpoint images composed of luminance information Y and color difference information CbCr, and conversion information from the actual distance calculation unit 101, and this conversion Based on the information, the number of gradations of the color difference information CbCr constituting the viewpoint image is converted.
  • the viewpoint image encoding unit 103 corresponds to the viewpoint image encoding unit of the present invention, and compresses and encodes the viewpoint image converted by the viewpoint image conversion unit 102 based on a predetermined encoding method.
  • a method such as JPEG (Joint Photographic Experts Group) or JPEG2000 is applied. If it is a moving image, MPEG (Moving Picture Experts Group) -2, MPEG -4, MPEG-4 AVC / H. A method such as H.264 can be applied.
  • the depth information encoding unit 104 corresponds to the depth information encoding means of the present invention, and encodes depth information based on a predetermined encoding method.
  • the multiplexing unit 105 corresponds to the multiplexing unit of the present invention, multiplexes the viewpoint image and the depth information encoded as described above, and outputs the multiplexed data to the outside of the apparatus.
  • the multiplexing unit 105 also multiplexes shooting condition information such as a camera arrangement at the time of shooting a viewpoint image as encoded data.
  • the multi-viewpoint image encoding device 100 reduces the number of gradations of the color difference information constituting the viewpoint image when the actual distance from the viewpoint of the subject to the subject is equal to or greater than a predetermined threshold. It is a thing. As a result, it is possible to efficiently reduce the amount of information in encoding / transmission while maintaining the subjective image quality of the viewpoint image, particularly human.
  • the depth information input to the actual distance calculation unit 101 is given a numerical value corresponding to the distance from the viewpoint of the subject corresponding to each pixel, for example, for the viewpoint image as shown in FIG. It is represented as a luminance image as shown in FIG.
  • the depth information indicates how far the object on the viewpoint image is from the camera position (actually converted to a larger value as it gets closer), and the depth value for each pixel by each camera, A maximum depth value (closest) and a minimum depth value (farthest) are defined.
  • the depth information generation method includes, for example, a method using a distance measuring device using infrared rays, ultrasonic waves, or both infrared rays and ultrasonic waves, and a method using software.
  • the distance is measured using the time until the emitted light beam returns.
  • a method using software there is a method of calculating a distance from a pixel shift when matching each pixel of the left and right viewpoint images.
  • the present invention does not limit the depth information generation method, and a depth information generation method based on a conventionally known method can be appropriately applied.
  • the viewpoint image is composed of luminance information (Y) of 8 bits for each pixel and two types of color difference information (Cb, Cr) of 8 bits for each pixel, and the depth information is luminance information of 8 bits for each pixel.
  • the shooting condition information includes at least information about the position and direction of the camera. For example, the distance between the camera 501 and the camera 502 in FIG. 10 described above, the shooting direction (angle) of each camera, and the focus of the camera. Includes distance.
  • the inter-camera distance and the shooting direction of the camera are expressed by coordinate values in the real space, and the actual distance and angle of the camera can be known.
  • the depth information is generally expressed by quantized digital data, and the relative value of the distance is described by, for example, 256 gradation values.
  • the actual distance calculation method by the actual distance calculation unit 101 is roughly divided into three methods. As a first method, since the actual distance is measured or calculated in the process of calculating the depth information in the previous stage of the multi-viewpoint image encoding device 100, the actual distance information is included in the shooting condition information and is actually used together with the depth information. Input to the distance calculation unit 101. As a result, the actual distance calculation unit 101 can determine the actual distance from the input shooting condition information.
  • the shooting condition information does not include the actual distance information
  • the actual distance is calculated from the depth information.
  • a predetermined parameter calculated based on the above-described inter-camera distance, camera focal distance, and the like (Parameters a and b, which will be described later) are required, so the parameters a and b are included in the shooting condition information and input to the actual distance calculation unit 101 together with the depth information. This will be specifically described with reference to FIG.
  • FIG. 3 is a diagram for explaining an example of an actual distance calculation method by the actual distance calculation unit 101.
  • the two cameras C L, the focal length of the C R f, camera C L, B the distance between C R, camera C L, and the actual distance from the C R (viewpoint of the object S1) to the subject S1 D1 Then, d L and d R in the figure are geometrically calculated by the following equations.
  • the actual distance D1 indicates the shortest distance between the line connecting the cameras C L and C R (the viewpoint of the subject S1) and the subject S1.
  • d L f ⁇ s / D1
  • d R f ⁇ (B ⁇ s) / D1
  • D1 f ⁇ B / d1 Formula (4)
  • the actual distance D1 from the viewpoint of the subject S1 to the subject S1 can be expressed by the parallax d1 on the viewpoint image, the camera focal length f, and the inter-camera distance B.
  • the process of calculating the parallaxes d1 and d2 using object recognition or the like among the processes in the actual distance calculation unit 101 Since this is unnecessary, processing can be performed at high speed.
  • depth information and shooting condition information are input to the actual distance calculation unit 101, and the actual distance can be obtained from these information. Specifically, it can be obtained by the above formulas (5) and (6).
  • the inclination a and the intercept b are not described as parameters as shooting condition information, it is necessary to calculate the parallaxes d1 and d2 using object recognition or the like. It is necessary to input a viewpoint image to the unit 101. That is, depth information, shooting condition information, and viewpoint images are input to the actual distance calculation unit 101, and the actual distance can be obtained from these information. Specifically, it can be obtained by the above formulas (4) and (7) or the above formulas (5), (6), (8) and (9).
  • the actual distance calculation unit 101 compares the actual distances D1 and D2 (hereinafter, represented by the actual distance D) obtained from the above with a predetermined threshold value described later, and when the actual distance D is smaller than the threshold value, Since the number of gradations of the color difference is not reduced, conversion information in which the luminance Y and the two types of color differences Cb and Cr are both 8 bits is output to the viewpoint image conversion unit 102, while the actual distance D is greater than the threshold value In order to reduce the number of gradations of the color difference, for example, conversion information in which only the color difference Cb is 7 bits and the luminance Y and the color difference Cr are 8 bits is output to the viewpoint image conversion unit 102. Only the color difference Cr may be 7 bits, and both the color differences Cb and Cr may be 7 bits.
  • the actual distance calculation unit 101 outputs conversion information corresponding to each pixel or small area in one frame for each frame of depth information. That is, since the conversion information calculation process is completed in units of one frame, the delay caused by the process can be reduced.
  • the viewpoint image conversion unit 102 determines the number of gradations of the color difference for each pixel or small region constituting the viewpoint image with respect to the viewpoint image corresponding to the depth information. (Number of bits) is converted, and the number of bits and pixel information of the converted viewpoint image are output to the viewpoint image encoding unit 103.
  • Non-Patent Document 2 based on Non-Patent Document 2, the influence of the actual distance from the viewpoint of the subject to the subject on the luminance Y and the color differences Cb and Cr will be described.
  • a point with a mountain as a subject is determined and fixed, and the color when the observation place (camera position) is changed to 12 km every 1 km so that only the distance from the point changes.
  • Information (R, G, B) is actually measured.
  • FIG. 4 and FIG. 5 show the graphs of the changes as calculated. Further, luminance information (Y) and color difference information (Cb, Cr) that are often used as viewpoint images are also calculated from the actual measurement information, and an example of changes with respect to each actual distance (1 to 12 km) is shown in FIG. Shown in
  • FIG. 6 is a diagram showing an example of changes in luminance information (Y) and color difference information (Cb, Cr) with respect to the actual distance from the viewpoint of the subject to the subject.
  • the luminance information (Y) shows a gentle change from 1 to 12 km
  • the values of the color difference information (Cb, Cr) are saturated around 5 km for both Cb and Cr. Even if the actual distance gets larger, the change is almost gone.
  • the predetermined threshold value used for comparison with the actual distance is determined to be “5 km”, for example. That is, “5 km” is a value determined based on the relationship between the actual distance from the viewpoint of the subject to the subject and the color discrimination sensitivity of the human eye.
  • the actual distance calculation unit 101 calculates the actual distance from the viewpoint of the subject to the subject based on at least the depth information and the shooting condition information, compares the calculated actual distance with “5 km”, and based on the comparison result.
  • conversion information for converting the number of gradations of the color difference information is output for each pixel or small area constituting the viewpoint image.
  • the actual distance calculation unit 101 outputs conversion information for reducing the number of gradations of the color difference information for each pixel or small area constituting the viewpoint image. From FIG.
  • the depth information image is divided into two small areas 201 and 202 by the threshold value of “5 km”. Can be divided.
  • the small area 201 is an area in which the luminance Y and the color differences Cb and Cr of the viewpoint image are both held at 8 bits, and the small area 202 has the gradation number of at least one of the color differences Cb and Cr of the viewpoint image, for example. This area is reduced to 7 bits.
  • tone number (bit number) information for each small region is output as conversion information. Since the number of bits varies for each pixel or each small region, it is necessary to store this number of bits.
  • the number of gradations (bits) corresponding to each pixel is stored. For this reason, although it is slightly disadvantageous for processing speed and information amount reduction, it is possible to maintain higher image quality.
  • the shape of each small area is managed as area information, and the number of bits is stored for each small area. For this reason, contrary to the case of pixel units, it is advantageous for reducing the processing speed and the amount of information, but it is disadvantageous in terms of image quality. It is preferable to select a configuration that can be selected as an option as to whether control is performed in units of pixels or control in units of small areas.
  • the information amount of the viewpoint image is reduced without reducing the information amount of the depth information, whereas in the case of the technique described in Patent Document 1, the information amount of the viewpoint image is reduced. Since the information amount of the depth information is reduced without reduction, the information amount reduction effect is enhanced as compared with the technique described in Patent Document 1. This is because the depth information is a monochrome image having only luminance values, whereas the viewpoint image is a color image composed of luminance values and color difference values. When this color image is considered in terms of YCbCr, the viewpoint image has an information amount that is three times the depth information.
  • the amount of information to be reduced is doubled when the number of gradations is the same as compared with the case of reducing only the luminance value. That is, assuming that the information amount of the viewpoint image (YCbCr) and the depth information (Y) is 100 (Y, Cb, Cr, Y is 25), for example, in the case of the technique described in Patent Document 1, the reduction target The depth information Y is 25, and in the case of the present invention, the reduction target is 50 of the color difference information Cb and Cr.
  • the multi-view image decoding device may decode the encoded data encoded by the multi-view image encoding device.
  • This multi-viewpoint image decoding apparatus is configured to perform a decoding process that is the reverse of the encoding process of the multi-viewpoint image encoding apparatus.
  • part or all of the multi-view image encoding device and the multi-view image decoding device in the above-described embodiment may be realized as an LSI (Large Scale Integration) that is typically an integrated circuit.
  • LSI Large Scale Integration
  • Each functional block of the multi-view image encoding device and the multi-view image decoding device may be individually chipped, or a part or all of them may be integrated into a chip.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • an integrated circuit based on the technology can also be used.
  • DESCRIPTION OF SYMBOLS 100 ... Multi viewpoint image coding apparatus, 101 ... Real distance calculation part, 102 ... View image conversion part, 103 ... View image coding part, 104 ... Depth information coding part, 105 ... Multiplexing part, 201, 202 ... Small region.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

　多視点画像の処理システムにおいて、視点画像と対応する奥行き情報とを圧縮符号化する際に、画像品質を保ちつつ、少ない処理負荷で、視点画像の符号化・伝送における情報量を効率よく削減する。多視点画像符号化装置１００は、少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から被写体までの実距離を算出し、算出した実距離と所定の閾値とを比較し、比較結果に基づいて、視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する実距離算出部１０１と、出力された変換情報に基づいて視点画像を構成する画素または小領域毎に色差情報の階調数を変換する視点画像変換部１０２とを備える。所定の閾値は、被写体の視点から被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値である。

Description

多視点画像符号化装置
　本発明は、多視点画像の処理技術に関するもので、特に視点画像の符号化処理における処理負荷の低減に関するものである。
　複数の視点に対応する画像を利用することにより、従来の単一視点画像だけでは得られない、より臨場感の高い映像表現が可能になる。複数視点画像の代表的な利用例として、立体画像表示技術と任意視点画像表示技術がある。立体画像表示技術は、表示する画像自体は平面画像すなわち二次元情報でありながら、図８のように、観察者の左眼と右眼に対して視差のある画像３０１，３０２を観察させるように与えることにより、脳内で知覚される映像３０３が擬似的に実際の三次元物体・三次元空間の観察時と同様の立体感を与えるものである。
　また、任意視点画像表示技術は、図９のように、複数の視点から撮影された画像データ４０１ｖ～４０３ｖと、カメラと被写体間の距離情報４０１ｄ～４０３ｄなどを利用し、撮影していない視点からの画像４０４ｖ，４０５ｖ等を生成することによって、観察者の好みの位置すなわち任意の視点からの画像を観察可能にするものである。
　このように、任意視点画像の生成・表示技術は、撮影していない視点を含め、観察者の好みの位置からの画像を観察可能にするものである。任意視点画像生成のためには、映像内の各被写体の奥行き情報が必要となる。例えば、奥行き情報を用いない場合、ある視点からは見える領域Ａが、別の視点から見ると物体Ｂの後ろに隠れて見えなくなるが、そのような関係を任意の視点全てにおいて再現するためには、無限の数の視点画像を用意する必要がある。しかし、奥行き情報があれば、少ない視点画像で、任意視点の画像を再現することが可能となる。
　例えば、非特許文献１には、任意視点画像の生成技術の基本となる３ＤＷａｒｐｉｎｇに関し、その基本手法をベースにしつつ、さらに高品質な任意視点画像の生成を行うための方法が開示されている。
　このような任意視点画像の生成技術は、前述の立体画像表示に対しても臨場感の向上や改善に応用することが出来る。例えば、図１０のように２つのカメラ５０１，５０２で被写体５０４，５０５を撮影した立体表示用の画像データ５０１ｖ，５０２ｖがあったとする。しかし、カメラの間隔５０６が人の左右眼の距離（６５ｍｍ前後と言われている）より離れすぎているため、立体画像として観察した場合に不自然な画像になるか、あるいは全く立体画像として知覚できない画像になってしまう。
　このようなケースに、前述の任意視点画像生成技術を適用して、カメラ位置５０１から人の左右眼の距離５０７に相当する仮想視点位置５０３における画像５０３ｖを生成することにより、画像５０１ｖと５０３ｖを用いて、適正な立体画像として観察することが可能になる。
　逆に、２つのカメラ５０１，５０２の間隔が狭すぎる場合には、撮影された画像５０１ｖ，５０２ｖはほとんど立体感の得られない立体画像になってしまうが、このようなケースも同様に、いずれかの視点から左右眼の距離に相当する仮想視点を設定し、その仮想視点における画像を生成することにより、充分な立体感が得られる立体画像として観察することが可能になる。さらに、以上の原理を応用して、任意視点からの立体画像を観察することや、任意視点における立体画像観察時に立体感を調整することが可能である。
　上述のように、複数の視点画像および対応する奥行き画像を利用することにより、画像表示システムの表現機能を向上させることができる。しかし一方で、奥行き画像データを必要とするため、その分、記録・伝送時の符号量が増えるという問題が生じる。この問題を解決するため、多視点画像の符号化復号装置においては、各種の工夫がなされている。
　例えば、特許文献１では、奥行き情報を伝送する際に、視覚の奥行き変化に対する時間及び空間周波数特性に従い、知覚感度の高い周波数成分に対して優先的に伝送量を割り当てるように奥行き値を符号化する技術が開示されている。奥行き情報は、通常、輝度値のみで構成される画像データとして表現され、通常の画像と同様の符号化方法により情報量を圧縮することができる。この特許文献１に記載の方法によれば、奥行き情報の情報量を圧縮する際に、ヒトの奥行き知覚の感度に着目して符号量を割り当てることによって、奥行き情報の品質すなわち奥行き情報を利用して生成される仮想視点画像の品質を保ちつつ、符号量の削減を可能にしている。
特開２００１－６１１６４号公報
森、他：奥行き画像を用いた３Ｄ　ｗａｒｐｉｎｇによる自由視点画像生成、電子情報通信学会総合大会　情報・システム講演論文集２、Ｄ－１１－７、２００８年 金、他：視点・視対象間距離と色彩変化の関係、日本建築学会計画系論文集　第４７５号、２０９－２１５頁、１９９５年
　しかしながら、特許文献１に記載の方法に従う場合、奥行き情報を符号化するためには、一旦、奥行き情報の時間周波数特性および空間周波数特性を分析する必要があり、そのまま符号化する方法に比べて処理量が増加し、処理時間の遅延を招く。特に、時間周波数特性を得るためには、複数のフレームにわたって奥行き情報を分析する必要があり、必ず処理に数フレーム以上の遅延が生じることになる。すなわち、リアルタイムに符号化・復号するようなアプリケーションには適用できないという問題が生じる。
　さらに、この方法における伝送情報量の削減は、輝度情報のみで構成されている奥行き情報のみに有効であり、輝度情報と２つの色差情報で構成されている視点画像の情報量は変化しないため、伝送情報量全体における情報量の削減効果は決して高いとは言えない。
　本発明は、上述のごとき実情に鑑みてなされたものであり、多視点画像の処理システムにおいて、視点画像と対応する奥行き情報とを圧縮符号化する際に、画像品質を保ちつつ、少ない処理負荷で、視点画像の符号化・伝送における情報量を効率よく削減すること、を目的とする。
　上記課題を解決するために、本発明の第１の技術手段は、複数の視点画像および対応する奥行き情報を符号化する多視点画像符号化装置であって、少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から該被写体までの実距離を算出し、該算出した実距離と所定の閾値とを比較し、比較結果に基づいて、前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する実距離算出手段と、該出力された変換情報に基づいて前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換する視点画像変換手段とを備え、前記所定の閾値は、被写体の視点から該被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値であることを特徴としたものである。
　第２の技術手段は、第１の技術手段において、前記実距離算出手段は、前記実距離が所定の閾値以上である場合、前記視点画像を構成する画素または小領域毎に色差情報の階調数を削減するための変換情報を出力することを特徴としたものである。
　第３の技術手段は、第１又は第２の技術手段において、前記実距離算出手段は、前記奥行き情報の１フレーム毎に、１フレーム内の画素または小領域毎に対応する変換情報を出力することを特徴としたものである。
　第４の技術手段は、第１～第３のいずれか１の技術手段において、前記視点画像変換手段により色差情報の階調数が変換された視点画像の符号化を行う視点画像符号化手段と、前記奥行き情報の符号化を行う奥行き情報符号化手段と、前記視点画像符号化手段で符号化された視点画像と前記奥行き情報符号化手段で符号化された奥行き情報とを多重化し、符号化データとして出力する多重化手段とを更に備えたことを特徴としたものである。
　上記構成を備えることにより、本発明の多視点画像符号化装置は、次の効果を奏する。すなわち、多視点画像を圧縮符号化する際に、被写体の視点から被写体までの実距離が人間の色弁別感度に与える影響を考慮し、少なくとも奥行き情報及び撮影条件情報から、視点画像の色差の階調数を変換するための変換情報を求め、その変換情報に基づき視点画像の情報（符号）量を削減することができる。従って、視点画像における、特に人間の主観的な画像品質を保ちつつ、かつ、符号化・伝送における情報量を効率よく削減することができる。また、この変換情報は１フレーム単位で算出が完結する処理であるため、処理による遅延を少なくすることができる。
本発明の一実施形態に係る多視点画像符号化装置の構成例を示すブロック図である。 視点画像と奥行き情報の一例を示す図である。 実距離算出部による実距離算出方法の一例について説明するための図である。 実距離が変化した際の明度（輝度純度）の変化を示す図である。 実距離が変化した際の彩度の変化を示す図である。 被写体の視点から被写体までの実距離に対する輝度情報（Ｙ）と色差情報（Ｃｂ，Ｃｒ）の変化の様子の一例を示した図である。 実距離の閾値を５ｋｍとした場合に、図２の奥行き情報から算出した小領域の一例を示す図である。 背景技術である立体画像表示の概念説明図である。 背景技術である任意視点画像生成の概念説明図である。 任意視点画像生成技術を利用した立体画像表示の補正処理を説明する図である。
　以下、添付図面を参照しながら、本発明の多視点画像符号化装置に係る好適な実施の形態について説明する。
　図１は、本発明の一実施形態に係る多視点画像符号化装置の構成例を示すブロック図で、図中、１００は多視点画像符号化装置を示す。この多視点画像符号化装置１００は、実距離算出部１０１、視点画像変換部１０２、視点画像符号化部１０３、奥行き情報符号化部１０４、及び多重化部１０５を備え、複数の視点画像、視点画像に対応する奥行き情報、及び撮影条件情報を入力として、符号化処理を施して情報量を削減するための装置である。
　実距離算出部１０１は、本発明の実距離算出手段に相当し、少なくとも奥行き情報と撮影条件情報とが入力される。実距離算出部１０１は、入力された奥行き情報及び撮影条件情報に基づいて、被写体の視点から被写体までの実距離を算出し、算出した実距離と所定の閾値とを比較し、比較結果に基づいて、視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する。
　ここで、所定の閾値とは、被写体の視点から被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値である。すなわち、被写体の視点から被写体までの実距離を変化させながら、視点画像の画素または小領域の色差（彩度）及び輝度の変化の様子を実測し、実測した色差及び輝度の値と、人間の色弁別感度との関係に基づいて決定される値である。この所定の閾値の決め方の具体例については後述する。
　視点画像変換部１０２は、本発明の視点画像変換手段に相当し、輝度情報Ｙ及び色差情報ＣｂＣｒで構成される複数の視点画像と、実距離算出部１０１から変換情報とが入力され、この変換情報に基づいて視点画像を構成する色差情報ＣｂＣｒの階調数を変換する。
　視点画像符号化部１０３は、本発明の視点画像符号化手段に相当し、視点画像変換部１０２により変換済みの視点画像を所定の符号化方式に基づいて圧縮符号化する。この符号化方式としては、入力が静止画像であれば、ＪＰＥＧ（Joint Photographic Experts Group）やＪＰＥＧ２０００などの方式が適用され、また、動画像であれば、ＭＰＥＧ（Moving Picture Experts Group）－２、ＭＰＥＧ－４、ＭＰＥＧ－４ＡＶＣ／Ｈ．２６４などの方式が適用できる。
　奥行き情報符号化部１０４は、本発明の奥行き情報符号化手段に相当し、奥行き情報を所定の符号化方式に基づいて符号化する。多重化部１０５は、本発明の多重化手段に相当し、上記により符号化された視点画像と奥行き情報とを多重化し、符号化データとして装置外部に出力する。また、多重化部１０５は、視点画像の撮影時のカメラ配置など、撮影条件情報も併せて符号化データとして多重化する。
　このように、本発明による多視点画像符号化装置１００は、被写体の視点から被写体までの実距離が所定の閾値以上である場合に、視点画像を構成する色差情報の階調数を削減するようにしたものである。これにより、視点画像における、特に人間の主観的な画像品質を保ちつつ、かつ、符号化・伝送における情報量を効率よく削減することができる。
　以下、実距離算出部１０１及び視点画像変換部１０２の各処理について具体的に説明する。まず、実距離算出部１０１に入力される奥行き情報は、例えば、図２（Ａ）のような視点画像に対して、各画素に対応する被写体の視点からの距離に応じた数値が与えられ、図２（Ｂ）のような輝度画像として表される。一般に、奥行き情報は、カメラ位置から視点画像上の物体がどのくらい離れているか（実際には近い程大きい値になるよう変換してある）を示しており、各カメラによって、各画素に対する奥行き値、最大奥行き値（最も近い）、最小奥行き値（最も遠い）が定義されている。
　奥行き情報の生成方法としては、例えば、赤外線、超音波、あるいは、赤外線と超音波の両方を使った距離計測装置による方法や、ソフトウェアによる方法がある。赤外線を使った方法では、出射した光線が戻ってくるまでの時間を用いて距離を計測する。また、ソフトウェアによる方法には、左右の視点画像の各画素をマッチングした際の画素ずれから距離を算出する方法などがある。本発明は、奥行き情報の生成方法を限定するものではなく、従来公知の方法に基づく奥行き情報の生成方法を適宜適用することができる。
　通常、視点画像は各画素８ビットの輝度情報（Ｙ）と、同様に各画素８ビットの２種類の色差情報（Ｃｂ、Ｃｒ）とで構成され、奥行き情報は各画素８ビットの輝度情報で構成される。実距離算出部１０１には撮影条件情報も入力され、図２（Ｂ）のような奥行き情報の各画素や小領域に対応する被写体の視点から被写体までの実際の距離を算出する。なお、撮影条件情報には、少なくとも、カメラの位置や方向等に関する情報が含まれ、例えば、前述の図１０におけるカメラ５０１とカメラ５０２間の距離、各カメラの撮影方向（角度）、カメラの焦点距離などが含まれる。このカメラ間距離やカメラの撮影方向は、実空間上の座標値等で表現され、実際のカメラの距離や角度を知ることができる。
　ここで、奥行き情報は、一般に量子化されたデジタルデータで表現されていて、距離の相対値が、例えば２５６階調値で記述される。実距離算出部１０１による実距離算出の方法には、大きく分けて３通りある。第１の方法として、多視点画像符号化装置１００の前段で奥行き情報を算出する過程において実距離を計測あるいは算出しているため、この実距離情報を撮影条件情報に含めて、奥行き情報と共に実距離算出部１０１に入力する。これにより、実距離算出部１０１は、入力された撮影条件情報から実距離を求めることができる。
　第２の方法として、撮影条件情報に実距離情報を含まない場合、奥行き情報から実距離を算出するが、この際、上述のカメラ間距離、カメラ焦点距離等に基づいて算出される所定のパラメータ（後述のパラメータａ，ｂ）が必要となるため、このパラメータａ，ｂを撮影条件情報に含めて、奥行き情報と共に実距離算出部１０１に入力する。これについて以下の図３に基づいて具体的に説明する。
　図３は、実距離算出部１０１による実距離算出方法の一例について説明するための図である。本例では、２つのカメラＣL，ＣR、被写体Ｓ１が配置されているものとする。そして、２つのカメラＣL，ＣRの焦点距離をｆ、カメラＣL，ＣR間の距離をＢ、カメラＣL，ＣR（被写体Ｓ１の視点）から被写体Ｓ１までの実距離をＤ１とすると、図中のｄL、ｄRは以下の式で幾何学的に算出される。なお、実距離Ｄ１は、カメラＣL，ＣR（被写体Ｓ１の視点）を結ぶ線と被写体Ｓ１との最短距離を示す。
　ｄL＝ｆ×ｓ／Ｄ１　　　　　…式（１）
　ｄR＝ｆ×（Ｂ－ｓ）／Ｄ１　…式（２）
　一方、物体認識や形状認識等により、カメラＣLとカメラＣRの各視点画像から算出可能な視差ｄ１は、ｄ１＝ｄL＋ｄRとなる。そうすると、上記の式（１）、（２）より、
　ｄ１＝ｄL＋ｄR＝ｆ×ｓ／Ｄ１＋ｆ×（Ｂ－ｓ）／Ｄ１＝ｆ×Ｂ／Ｄ１　…式（３）
となる。そして、この式（３）を、
　Ｄ１＝ｆ×Ｂ／ｄ１　…式（４）
と書き換えれば、被写体Ｓ１の視点から被写体Ｓ１までの実距離Ｄ１は、視点画像上の視差ｄ１と、カメラ焦点距離ｆと、カメラ間距離Ｂとにより表わすことができる。
　また、実距離Ｄ１に対応する奥行き値（例えば、０～２５５）は、入力される奥行き情報で与えられている数値であり、これを例えばｄｅｐ１とすれば、この値は、実距離Ｄ１と１対１に対応する数値であるため、最も単純には、例えば、
　Ｄ１＝ａ×ｄｅｐ１＋ｂ　…式（５）
但し、ａは傾きを示すパラメータ、ｂは切片を示すパラメータ
といった一次式で表現することができる。
　上記の計算を、奥行き値の異なる別の被写体Ｓ２に対しても同様に実行すると、実距離Ｄ２と奥行き値ｄｅｐ２との関係を、
　Ｄ２＝ａ×ｄｅｐ２＋ｂ　…式（６）
と表現することができる。
　そして、被写体Ｓ２、実距離Ｄ２における視差をｄ２とすると、上記式（４）と同様に、
　Ｄ２＝ｆ×Ｂ／ｄ２　…式（７）
と表され、上記式（５）、（６）の傾きａ及び切片ｂと、カメラ間距離Ｂとの関係は、上記式（４）～（７）より、
ａ＝（Ｄ１－Ｄ２）／（ｄｅｐ１－ｄｅｐ２）
　＝ｆ×Ｂ×（１／ｄ１－１／ｄ２）／（ｄｅｐ１－ｄｅｐ２）　…式（８）
ｂ＝（ｄｅｐ１×Ｄ２－ｄｅｐ２×Ｄ１）／（ｄｅｐ１－ｄｅｐ２）
　＝ｆ×Ｂ×（ｄｅｐ１／ｄ２－ｄｅｐ２／ｄ１）／（ｄｅｐ１－ｄｅｐ２）…式（９）
となる。
　ここで、撮影条件情報として、予め傾きａと切片ｂをパラメータとして記述している場合には、実距離算出部１０１における処理のうち、物体認識等を用いて視差ｄ１、ｄ２を算出するプロセスが不要となるため、高速に処理を行うことができる。この方法の場合、奥行き情報及び撮影条件情報が実距離算出部１０１に入力され、これらの情報により実距離を求めることができる。具体的には、上記の式（５）、（６）により求めることができる。
　また、第３の方法として、撮影条件情報として、傾きａと切片ｂをパラメータとして記述していない場合には、物体認識等を用いて視差ｄ１、ｄ２を算出する必要があるため、実距離算出部１０１に視点画像を入力する必要がある。すなわち、奥行き情報、撮影条件情報、及び視点画像が実距離算出部１０１に入力され、これらの情報により実距離を求めることができる。具体的には、上記の式（４），（７）、あるいは、上記の式（５）、（６），（８），（９）により求めることができる。
　そして、実距離算出部１０１は、上記より求めた実距離Ｄ１，Ｄ２（以下、実距離Ｄで代表する）を、後述する所定の閾値と比較して、実距離Ｄが閾値より小さい場合は、色差の階調数削減は行わないため、輝度Ｙと２種類の色差Ｃｂ、Ｃｒをいずれも８ビットとした変換情報を視点画像変換部１０２へ出力し、一方、実距離Ｄが閾値より大きい場合は、色差の階調数削減を行うため、例えば、色差Ｃｂだけを７ビットにして、輝度Ｙ及び色差Ｃｒを８ビットとした変換情報を視点画像変換部１０２へ出力する。なお、色差Ｃｒだけを７ビットにしてもよく、色差Ｃｂ，Ｃｒの両方を７ビットにしてもよい。
　この際、実距離算出部１０１は、奥行き情報の１フレーム毎に、１フレーム内の画素または小領域毎に対応する変換情報を出力する。つまり、変換情報の算出処理は１フレーム単位で完了するため、処理による遅延を小さくすることができる。
　視点画像変換部１０２では、実距離算出部１０１から入力された変換情報に基づいて、奥行き情報に対応する視点画像に対して、その視点画像を構成する画素または小領域毎に色差の階調数（ビット数）を変換し、変換後の視点画像のビット数と画素情報を、視点画像符号化部１０３へ出力する。
　ここで、非特許文献２に基づいて、被写体の視点から被写体までの実距離が輝度Ｙや色差Ｃｂ、Ｃｒに及ぼす影響について説明する。この非特許文献２では、被写体として山のある点を決めて固定しておき、その点からの距離のみが変わるように、観察場所（カメラ位置）を１ｋｍ毎に１２ｋｍまで変えたときの、色情報（Ｒ、Ｇ、Ｂ）を実測している。
　この実測情報に基づいて、実距離（１～１２ｋｍ）の変化に対して、彩度と色座標（国際照明委員会ＣＩＥが策定したＣＩＥＬ＊ａ＊ｂ＊色空間におけるａ＊，ｂ＊）の変化の様子を算出しグラフ化したものを図４、図５にそれぞれ示す。また、さらに、この実測情報より、視点画像として使われることの多い輝度情報（Ｙ）と色差情報（Ｃｂ、Ｃｒ）も算出し、それぞれの実距離（１～１２ｋｍ）に対する変化の一例を図６に示す。
　また、これら彩度や色座標といった画像情報（画素値）と、人間の眼の色弁別感度との関係に関しては、一般に、彩度に対しては、高いほど感度が低くなり、色座標によって決まる色相に対しては、彩度に対する感度低下の程度が異なることが知られている。
　従って、上記に基づいて、実距離と人間の眼の色弁別感度との関係を導出すると、図４より、５ｋｍ付近までは実距離が大きくなると共に彩度も高くなっているが、５ｋｍ付近を超えると彩度はほぼ一定になっている。また、図５より、やはり５ｋｍ付近までは色座標（色相）が変化しているが、５ｋｍ付近を超えるとほぼ一定になっているため、５ｋｍ付近までは感度低下の程度が変化しつつ感度の低下が進み、５ｋｍ付近を超えると感度はほぼ一定になることがわかる。
　図６は、被写体の視点から被写体までの実距離に対する輝度情報（Ｙ）と色差情報（Ｃｂ，Ｃｒ）の変化の様子の一例を示した図である。これによれば、輝度情報（Ｙ）は、１～１２ｋｍまでなだらかな変化を示しているのに対して、色差情報（Ｃｂ，Ｃｒ）は、Ｃｂ，Ｃｒとも、５ｋｍ付近で値が飽和して、実距離がさらに大きくなっても、その変化がほとんどなくなっている。これらのことより、実距離との比較に用いる所定の閾値を例えば「５ｋｍ」と決定する。すなわち、この「５ｋｍ」は、被写体の視点から被写体までの実距離と、人間の眼の色弁別感度との関係に基づいて決定される値である。
　そして、実距離算出部１０１は、少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から被写体までの実距離を算出し、算出した実距離と「５ｋｍ」とを比較し、比較結果に基づいて、視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する。つまり、実距離算出部１０１は、実距離が「５ｋｍ」以上である場合、視点画像を構成する画素または小領域毎に色差情報の階調数を削減するための変換情報を出力する。図６より、実距離が「５ｋｍ」以上では、輝度Ｙについてはなだらかな変化を表現するために階調数を８ビットに保持するが、色差Ｃｂ，Ｃｒについては変化がないため階調数を削減したとしても、人間の色弁別感度が低下するため画質に与える影響は少ないと考えられる。一方、実距離が「５ｋｍ」未満の場合は、輝度Ｙ、色差Ｃｂ，Ｃｒとも階調数を８ビットのまま保持することで画質を劣化させないようにする。
　上記について、前述の図２（Ｂ）に示した奥行き情報の画像例で説明すると、「５ｋｍ」という閾値によって、図７に示すように、奥行き情報の画像内が２つの小領域２０１、２０２に分割することができる。小領域２０１は、視点画像の輝度Ｙ、色差Ｃｂ，Ｃｒ共に階調数を８ビットに保持する領域であり、小領域２０２は、視点画像の色差Ｃｂ，Ｃｒの少なくとも一方の階調数を例えば７ビットに削減する領域となる。この奥行き情報に基づいて、小領域毎の階調数（ビット数）情報を変換情報として出力する。なお、画素毎あるいは小領域毎にビット数が変動するため、このビット数を保存しておく必要がある。画素単位の場合、画素毎に対応する階調（ビット）数を保存しておく。このため、処理速度や情報量削減には若干不利となるが、より高画質を保持することができる。また、小領域単位の場合、各小領域の形状を領域情報として管理し、これにより小領域毎にビット数を保存しておく。このため、画素単位の場合とは逆に、処理速度や情報量削減には有利となるが、画質面では不利となる。画素単位の制御とするか、小領域単位の制御とするかは、オプションとして選択可能な構成にしておくとよい。
　ここで、本発明の場合、奥行き情報の情報量は削減せずに、視点画像の情報量を削減するのに対して、前述の特許文献１に記載の技術の場合、視点画像の情報量を削減せずに、奥行き情報の情報量を削減するため、特許文献１に記載の技術と比較して、情報量の削減効果が高くなる。なぜなら、奥行き情報は輝度値のみのモノクロ画像であるのに対して、視点画像は輝度値と色差値とからなるカラー画像である。このカラー画像をＹＣｂＣｒで考えると、視点画像は奥行き情報の３倍の情報量となる。このうちＣｂ，Ｃｒについて情報量の削減が可能であるため、輝度値のみを削減する場合と比べ、同じ階調数であれば、削減対象の情報量は２倍となる。つまり、視点画像（ＹＣｂＣｒ）と奥行き情報（Ｙ）とを合わせた情報量を例えば１００（Ｙ，Ｃｂ，Ｃｒ，Ｙをそれぞれ２５）と仮定すると、特許文献１に記載の技術の場合、削減対象となるのは奥行き情報Ｙの２５、本発明の場合、削減対象となるのは色差情報Ｃｂ，Ｃｒの５０となる。
　また、これまで多視点画像符号化装置について説明したが、多視点画像符号化装置で符号化された符号化データを復号する多視点画像復号装置の形態としてもよいことは言うまでもない。この多視点画像復号装置は、多視点画像符号化装置の符号化処理と逆の復号処理を行うように構成されるものであるが、図示による説明は省略するものとする。
　また、上述した実施形態における多視点画像符号化装置および多視点画像復号装置の一部、または全部を典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現してもよい。多視点画像符号化装置および多視点画像復号装置の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
　以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も本発明の適用範囲に含まれる。
１００…多視点画像符号化装置、１０１…実距離算出部、１０２…視点画像変換部、１０３…視点画像符号化部、１０４…奥行き情報符号化部、１０５…多重化部、２０１，２０２…小領域。

Claims (4)

  1. 　複数の視点画像および対応する奥行き情報を符号化する多視点画像符号化装置であって、
    　少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から該被写体までの実距離を算出し、該算出した実距離と所定の閾値とを比較し、比較結果に基づいて、前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する実距離算出手段と、
    　該出力された変換情報に基づいて前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換する視点画像変換手段とを備え、
    　前記所定の閾値は、被写体の視点から該被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値であることを特徴とする多視点画像符号化装置。
  2. 　前記実距離算出手段は、前記実距離が所定の閾値以上である場合、前記視点画像を構成する画素または小領域毎に色差情報の階調数を削減するための変換情報を出力することを特徴とする請求項１に記載の多視点画像符号化装置。
  3. 　前記実距離算出手段は、前記奥行き情報の１フレーム毎に、１フレーム内の画素または小領域毎に対応する変換情報を出力することを特徴とする請求項１又は２に記載の多視点画像符号化装置。
  4. 　前記視点画像変換手段により色差情報の階調数が変換された視点画像の符号化を行う視点画像符号化手段と、前記奥行き情報の符号化を行う奥行き情報符号化手段と、前記視点画像符号化手段で符号化された視点画像と前記奥行き情報符号化手段で符号化された奥行き情報とを多重化し、符号化データとして出力する多重化手段とを更に備えたことを特徴とする請求項１～３のいずれか１項に記載の多視点画像符号化装置。
PCT/JP2011/060034 2010-06-14 2011-04-25 多視点画像符号化装置 WO2011158562A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010134885A JP4764516B1 (ja) 2010-06-14 2010-06-14 多視点画像符号化装置
JP2010-134885 2010-06-14

Publications (1)

Publication Number Publication Date
WO2011158562A1 true WO2011158562A1 (ja) 2011-12-22

Family

ID=44693545

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/060034 WO2011158562A1 (ja) 2010-06-14 2011-04-25 多視点画像符号化装置

Country Status (2)

Country Link
JP (1) JP4764516B1 (ja)
WO (1) WO2011158562A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107950017A (zh) * 2016-06-15 2018-04-20 索尼公司 图像处理设备、图像处理方法以及摄像设备
CN114466174A (zh) * 2022-01-21 2022-05-10 南方科技大学 一种多视点3d图像编码方法、设备、系统和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61293094A (ja) * 1985-06-20 1986-12-23 Clarion Co Ltd 立体テレビジヨン装置
JPH10126778A (ja) * 1996-10-21 1998-05-15 Fuji Photo Film Co Ltd 画像圧縮方法および装置
JP2001285895A (ja) * 2000-03-30 2001-10-12 Sanyo Electric Co Ltd 画像データ符号化装置及びその方法
JP2008505522A (ja) * 2004-07-02 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ処理
JP2008193530A (ja) * 2007-02-06 2008-08-21 Canon Inc 画像記録装置、画像記録方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61293094A (ja) * 1985-06-20 1986-12-23 Clarion Co Ltd 立体テレビジヨン装置
JPH10126778A (ja) * 1996-10-21 1998-05-15 Fuji Photo Film Co Ltd 画像圧縮方法および装置
JP2001285895A (ja) * 2000-03-30 2001-10-12 Sanyo Electric Co Ltd 画像データ符号化装置及びその方法
JP2008505522A (ja) * 2004-07-02 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ処理
JP2008193530A (ja) * 2007-02-06 2008-08-21 Canon Inc 画像記録装置、画像記録方法、及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107950017A (zh) * 2016-06-15 2018-04-20 索尼公司 图像处理设备、图像处理方法以及摄像设备
CN107950017B (zh) * 2016-06-15 2023-07-21 索尼公司 图像处理设备、图像处理方法以及摄像设备
CN114466174A (zh) * 2022-01-21 2022-05-10 南方科技大学 一种多视点3d图像编码方法、设备、系统和存储介质
CN114466174B (zh) * 2022-01-21 2023-04-28 南方科技大学 一种多视点3d图像编码方法、设备、系统和存储介质
WO2023137869A1 (en) * 2022-01-21 2023-07-27 Southern University Of Science And Technology Multiview 3d image encoding method, apparatus, system and storage medium

Also Published As

Publication number Publication date
JP2012004623A (ja) 2012-01-05
JP4764516B1 (ja) 2011-09-07

Similar Documents

Publication Publication Date Title
JP5763184B2 (ja) ３次元画像に対する視差の算出
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
US7027659B1 (en) Method and apparatus for generating video images
US8116557B2 (en) 3D image processing apparatus and method
JP5960693B2 (ja) 低いダイナミックレンジ画像から高いダイナミックレンジ画像の生成
WO2013094635A1 (ja) 画像処理装置、撮像装置および表示装置
US8761541B2 (en) Comfort noise and film grain processing for 3 dimensional video
JP7105062B2 (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
JP2013540402A (ja) ユーザ選好に基づいて３ｄビデオレンダリングを調節するための３ｄビデオ制御システム
US20210152848A1 (en) Image processing device, image processing method, program, and image transmission system
JP6445026B2 (ja) ３ｄビデオコーディングにおけるカメラパラメータ処理方法および装置
JP2008505522A (ja) ビデオ処理
WO2012133286A1 (ja) 立体画像生成装置及び立体画像生成方法
JP4764516B1 (ja) 多視点画像符号化装置
JP4815004B2 (ja) 多視点画像符号化装置
Ideses et al. 3D from compressed 2D video
JP5881005B2 (ja) 画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラム
JP7393931B2 (ja) 画像符号化装置およびそのプログラム、ならびに、画像復号装置およびそのプログラム
JP4860763B2 (ja) 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
KR20100116520A (ko) 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법
JP5742886B2 (ja) 立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラム
KR100682071B1 (ko) 화상데이터의 입체영상변환장치 및 방법
US10469871B2 (en) Encoding and decoding of 3D HDR images using a tapestry representation
Aflaki et al. Unpaired multiview video plus depth compression

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11795470

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11795470

Country of ref document: EP

Kind code of ref document: A1