WO2011148556A1 - 画像符号化装置、画像符号化方法、プログラムおよび集積回路 - Google Patents

画像符号化装置、画像符号化方法、プログラムおよび集積回路 Download PDF

Info

Publication number
WO2011148556A1
WO2011148556A1 PCT/JP2011/001926 JP2011001926W WO2011148556A1 WO 2011148556 A1 WO2011148556 A1 WO 2011148556A1 JP 2011001926 W JP2011001926 W JP 2011001926W WO 2011148556 A1 WO2011148556 A1 WO 2011148556A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
parallax
region
images
Prior art date
Application number
PCT/JP2011/001926
Other languages
English (en)
French (fr)
Inventor
健二 清水
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180002954.0A priority Critical patent/CN102474647B/zh
Priority to US13/386,069 priority patent/US8994788B2/en
Priority to JP2011536224A priority patent/JP5450643B2/ja
Publication of WO2011148556A1 publication Critical patent/WO2011148556A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to an image encoding device that performs compression encoding of a stereoscopic video signal, and more particularly to an image recording device or an image such as a digital video camera or a digital still camera that handles two video signals with parallax, that is, a stereo video signal.
  • the present invention relates to an image encoding device that is used in transmission equipment and encodes a stereo image.
  • a conventional image encoding device that encodes a stereoscopic video signal (stereo video signal) controls the amount of code by controlling the degree of quantization according to the parallax of the stereo video signal. That is, in the conventional image coding device, when the parallax is small, the importance of the area having the parallax is large. Therefore, the information amount of the area is increased, and when the parallax is large, the area having the parallax is large. The amount of information is reduced, and as a result, processing for blurring the image in that region is performed (see, for example, Patent Document 1).
  • FIG. 1 is a block diagram showing a configuration of a conventional image encoding device described in Patent Document 1.
  • the video signals from the two cameras are input to the respective process circuits 101 and 102 to obtain RGB component signals.
  • the RGB component signals are converted into digital data strings by the AD conversion units 103 and 104 and then stored in the memories 105 and 106.
  • Each of the memories 105 and 106 is a memory that can store digital data strings for 8 lines. Eight lines of digital data strings, that is, data of an area (block) composed of pixels of 8 rows ⁇ 8 columns on the screen are read from the memories 105 and 106, respectively. Subsequent processing is performed for each block.
  • the block data stored in the memory 105 is input to the DCT circuit 107, where it is subjected to discrete cosine transform and converted to a coefficient block composed of real number data in the frequency domain.
  • This coefficient block is input to the quantization circuit 108, where it is multiplied by the inverse of a predetermined quantization step to be converted into an integer.
  • the quantization step is determined by utilizing human visual characteristics, and is set so as to allow less distortion on the lower frequency side and allow more distortion on the higher frequency side. That is, the quantization step for the low frequency side coefficient is set small, and a large amount of code is allocated to the low frequency side.
  • zero run-length encoding by the zero pack circuit 109 is performed on the data quantized in this way. That is, the zero pack circuit 109 encodes the quantized data by counting the number of consecutive zeros and combining the number with the coefficient that stops the consecutive zeros.
  • the image encoding device described in Patent Document 1 includes a subtractor 110 that performs subtraction processing for each pixel of blocks stored in the memories 105 and 106 for each pixel, and a subtraction result obtained by the subtracter 110. And an absolute value sum circuit 111 for obtaining a sum of absolute values (parallax signal).
  • the absolute value sum of the data difference for each pixel obtained in the absolute value sum circuit 111 corresponds to an image shift, that is, parallax, for the block.
  • the quantization circuit 108 adjusts the quantization step according to the parallax signal that is the output of the absolute value sum circuit 111.
  • the Huffman encoding unit 112 performs Huffman encoding, which is one of entropy encoding, on the run-length encoded data output from the zero pack circuit 109.
  • the image encoding device described in Patent Document 1 increases the compression rate of a block with a large parallax, thereby increasing the compression rate of the block and consequently improving the encoding efficiency. At the same time, blurring is applied.
  • FIG. 2A is a diagram showing a photographing method using two cameras.
  • the cameras 21 and 22 photograph the object 23 in a state where the respective optical axes are crossed.
  • the photographing method in such a state is called a crossing method.
  • the optical axis is an axis in the center of an image obtained by photographing with a camera and along a direction perpendicular to the plane of the image.
  • the parallax is a difference between the position of the image (left image) of the object 23 photographed by the camera 21 and the position of the image (right image) of the object 23 photographed by the camera 22.
  • the distance from the cameras 21 and 22 along the direction perpendicular to the arrangement direction of the cameras 21 and 22 is referred to as a shooting distance. Further, the distances from the cameras 21 and 22 along the vertical direction to the intersection and the focal point are referred to as the intersection distance and the focal distance, respectively.
  • the intersection distance and the focal distance are equal, the image of the object 23 is clear, and the parallax of the image is the smallest.
  • the shooting distance is longer than the intersection distance (focal length)
  • the parallax of the image of the distant object 24 at the shooting distance is indicated by the differences 25a and 25b and is sufficiently larger than the parallax of the object 23. .
  • FIG. 2B is a diagram showing the relationship between the shooting distance and the parallax in the intersection method.
  • the parallax D of the image of the subject at the shooting distance L decreases as a positive value as the shooting distance L increases if the shooting distance L is between 0 and the intersection distance L1. Further, the parallax D is 0 at the intersection distance. Further, when the shooting distance L is longer than the intersection distance L1, the parallax D decreases as a negative value as the shooting distance L increases. That is, in this case, the parallax D is a negative value, and the absolute value of the parallax D increases as the shooting distance L increases.
  • the image of the object 23 has no parallax.
  • the parallax of the image of the distant object 24 located farther from the cameras 21 and 22 than the intersection is large in the negative direction.
  • the viewer can easily stereoscopically view the image of the object 23, but in order to stereoscopically view the image of the object 24 in a distant view, it is necessary to keep the eyes of both eyes apart from each other. There is. As a result, both eyes become tired.
  • the image encoding apparatus of Patent Document 1 specifies the difference between the images of one block and the other block as the magnitude of the parallax, and increases the quantization step for a block with a large parallax. In this way, the image of the block having a large parallax is blurred. That is, the image encoding apparatus of Patent Document 1 reduces the amount of information in a region where the parallax is large because the importance of the region is low, and reduces the amount of information in the region where the parallax is small because the importance of the region is large. There are many.
  • Patent Document 1 has a problem that blurring processing may be performed on an important region.
  • Such an encoding technique by the image encoding apparatus is a technique that can be applied only to the imaging method based on the intersection method shown in FIG. 2A and cannot be applied to other imaging methods.
  • FIG. 3A is a diagram showing another photographing method using two cameras.
  • the cameras 21 and 22 photograph the object 23 in a state where the respective optical axes are parallel.
  • the photographing method in such a state is called a parallel method.
  • the cameras 21 and 22 are focused on the object 23.
  • the image of the object 23 is clear.
  • the parallax of the image of the object 23 is indicated by the differences 26a and 26b, and the parallax of the image of the distant object 24 at a position where the shooting distance L is longer than the object 23 is indicated by the differences 27a and 27b.
  • FIG. 3B is a diagram showing the relationship between the shooting distance and the parallax in the parallel method.
  • the parallax D of the image of the subject at the shooting distance L is always a positive value as shown in FIG. 3B, and decreases as the shooting distance L increases.
  • the image of the object 23 has parallax.
  • the parallax of the image of the distant object 24 located farther from the cameras 21 and 22 than the focal point is smaller than the parallax of the image of the object 23.
  • the image encoding device described in Patent Document 1 encodes video signals from the cameras 21 and 22 obtained by the parallel method, a small amount of information is allocated to a large parallax area, and the parallax is small. Since a large amount of information is assigned to a region, blur processing may be performed on an image of an important block (region) that is focused. Thus, the distribution of parallax differs depending on the shooting method, and the smaller the parallax, the more important the area is not necessarily.
  • An object of the present invention is to provide an image encoding device capable of performing the above.
  • an image encoding device is an image encoding device that encodes two images for stereoscopic viewing, and a method for capturing the two images by a camera.
  • a method specifying unit that specifies the parallax, a parallax detection unit that detects a parallax between the two images for each region constituting each of the two images, and a shooting specified by the method specifying unit for each of the regions
  • a method, an adjustment unit determines an adjustment amount for blurring an image based on the parallax detected for the region by the parallax detection unit, and an adjustment amount that is determined for the region for each region
  • an encoding unit that encodes the two images so that the image of the region is blurred.
  • an adjustment amount is determined based not only on the parallax but also on the shooting method.
  • the two images are encoded so that they are blurred. By blurring the image in this way, it is possible to suppress fatigue due to the stereoscopic vision of the viewer.
  • the adjustment amount is determined based not only on the parallax but also on the shooting method, it is possible to prevent blurring processing from being performed on an important region due to the shooting method.
  • the method specifying unit specifies whether the imaging method is a parallel method or a crossing method, and the adjustment unit is configured to specify that the imaging method is specified to be a crossing method by the method specifying unit.
  • the adjustment amount may be determined for a region where the parallax detected by the parallax detection unit is larger than a first threshold.
  • the shooting method is a crossing method
  • the disparity in the distant view region is relatively large. Therefore, the adjustment amount is determined for the region where the disparity is greater than the first threshold value, so that the distant view image with a large disparity is determined. Can be appropriately blurred, and fatigue due to the stereoscopic vision of the viewer can be suppressed.
  • the intersection method the parallax in the area where the subject at the intersection of the optical axes closer to the distant view, that is, the important area is extremely small, and the adjustment amount is not determined for the area where the parallax is small. It is possible to prevent the blurring process from being performed on a heavy region.
  • the adjustment unit may determine an adjustment amount such that the greater the parallax, the greater the degree of blurring.
  • the image encoding device further includes a focus specifying unit that specifies a focused region of each of the two images obtained by photographing with the camera, and the adjustment unit includes the focus You may set the magnitude
  • the parallax in the focused area (so-called focus area) is set as the first threshold value, and the adjustment amount is determined for the area having the parallax larger than the first threshold value. This makes it possible to blur out distant images while improving the image quality.
  • the method specifying unit specifies whether the imaging method is a parallel method or a crossing method, and the adjustment unit is configured to specify that the imaging method is specified by the method specifying unit as a parallel method. May determine the adjustment amount for a region where the parallax detected by the parallax detection unit is smaller than a second threshold.
  • the shooting method is a parallel method
  • the disparity in the region where the distant view is shown is relatively small. Can be properly blurred.
  • the parallax in the area that shows the subject closer to the distant view, that is, the important area is relatively large, and the adjustment amount is not determined for the area where the parallax is large. It is possible to prevent the processing from being performed.
  • the adjustment unit may determine an adjustment amount such that the degree of blurring increases as the parallax decreases.
  • an image with a smaller parallax is blurred with stronger intensity, so that a distant view image can be blurred appropriately.
  • the image encoding device further includes a focus specifying unit that specifies a focused region of each of the two images obtained by photographing with the camera, and the adjustment unit includes the focus You may set the magnitude
  • the parallax in the focused area (so-called focus area) is set as the second threshold value, and the adjustment amount is determined for the area smaller than the second threshold value. In other words, it is possible to blur a distant view image while improving the image quality.
  • the method specifying unit specifies an angle at which two optical axes of the camera for generating each of the two images intersect as a convergence angle, and whether or not the convergence angle is smaller than a predetermined angle.
  • the imaging method is specified as a crossing method.
  • the imaging method is specified as a parallel method. Good.
  • the convergence angle is specified, and according to the convergence angle, whether the imaging method is the parallel method or the crossing method is specified, and thus the imaging method can be appropriately specified.
  • the parallax detection unit detects a parallax between the two images as a parallax vector for each region
  • the method specifying unit includes a distribution of parallax vectors detected for each region by the parallax detection unit. In this case, it is determined whether or not a negative-direction parallax vector and a positive-direction parallax vector are mixed, and if it is determined that they are mixed, the shooting method is identified as a crossing method and mixed. If it is determined that it is not, the photographing method may be specified as a parallel method.
  • the imaging method is the parallel method or the intersection method, and therefore, for example, the convergence angle is set as compared with the case where the imaging method is specified based on the convergence angle. It is not necessary to specify bothersomely, and the configuration and processing operation of the image coding apparatus can be simplified.
  • the encoding unit for each of the two images, a transform unit that performs orthogonal transform for each region, and a quantization that quantizes the frequency coefficient obtained by orthogonal transform by the transform unit for each region
  • the quantization unit increases the quantization step by an adjustment amount determined by the adjustment unit for the region, and the increased quantum
  • the image of the region may be blurred by quantizing the frequency coefficient of the region using the conversion step.
  • the image is blurred due to an increase in the quantization step, so the parameters used for image coding can be diverted to the image blurring process, without adding processing or components for blurring the image.
  • the configuration and processing operation of the image encoding device can be simplified.
  • the encoding unit includes a transform unit that performs orthogonal transform for each of the two images, and the transform unit performs orthogonal transform on any region, and performs the transform on the region.
  • the frequency coefficient included in the area is rounded down to a high frequency area having a width corresponding to the adjustment amount determined by the adjustment unit with respect to the area. You may blur the image.
  • the image is blurred by truncating the frequency coefficient in the high frequency region, so that the image can be appropriately blurred using the data generated by encoding the image, and the processing and components for blurring the image can be performed.
  • the configuration and processing operation of the image coding apparatus can be simplified without adding.
  • the encoding unit generates a predicted image by predicting one of the two images from the other image using the parallax detected for each region, and the one image And calculating the difference between the predicted image and the predicted image.
  • the method specifying unit specifies an angle between lines indicating the imaging directions of the two images as the imaging method, and the adjustment unit is specified by the method specifying unit for each region.
  • the adjustment amount for blurring the image is determined based on the obtained angle and the parallax detected for the region by the parallax detection unit.
  • the image is blurred according to the angle between the so-called center line of each of the two images and the parallax, so that it is possible to prevent blurring processing from being performed on an important region due to the angle. it can.
  • an image encoding apparatus is an image encoding apparatus that encodes two images for stereoscopic viewing, and is obtained by parallel method imaging using a camera.
  • a parallax detection unit that detects the parallax between the generated two images for each region constituting each of the two images, and the parallax detected for each region by the parallax detection unit with respect to the region
  • an adjustment unit that determines an adjustment amount for blurring the image, and for each region, the two images are encoded so that the image in the region is blurred by the adjustment amount determined for the region.
  • an encoding unit Accordingly, it is possible to prevent the blurring process from being performed on an important region when the photographing method is the parallel method.
  • the present invention can be realized not only as such an image encoding apparatus, but also stores a method of processing operation in the image encoding apparatus, a program for causing the image encoding apparatus to perform processing operation, and the program.
  • the present invention can also be realized as a recording medium, a system including the image encoding device, and an image decoding device that decodes a signal encoded by the image encoding device.
  • the image encoding apparatus can suppress fatigue due to stereoscopic viewing of a viewer and can prevent blurring processing from being performed on an important region due to a photographing method.
  • FIG. 1 is a block diagram showing a configuration of a conventional image encoding device.
  • FIG. 2A is a diagram illustrating a photographing method using two cameras.
  • FIG. 2B is a diagram illustrating the relationship between the shooting distance and the parallax in the intersection method.
  • FIG. 3A is a diagram illustrating another imaging method using two cameras.
  • FIG. 3B is a diagram illustrating the relationship between the shooting distance and the parallax in the parallel method.
  • FIG. 4 is a block diagram showing a configuration of the image coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 5A is a diagram showing a range in which blurring processing is performed in the above intersection method.
  • FIG. 5B is a diagram illustrating a range where blurring processing is performed in the parallel method.
  • FIG. 6 is a flowchart showing the operation of the above-described image encoding apparatus.
  • FIG. 7 is a flowchart showing the details of the blurring degree adjustment process.
  • FIG. 8 is a block diagram showing a configuration of an image encoding device according to the modification.
  • FIG. 9A is a diagram illustrating a range where blurring processing is performed in the intersection method according to the modification example.
  • FIG. 9B is a diagram illustrating a range in which blurring processing is performed in the parallel method according to the modified example.
  • FIG. 9C is a diagram illustrating another range in which the blurring process is performed in the parallel method according to the modified example.
  • FIG. 9D is a diagram showing an image of a subject in focus in the parallel method according to the modification example.
  • FIG. 9A is a diagram illustrating a range where blurring processing is performed in the intersection method according to the modification example.
  • FIG. 9B is a diagram illustrating a range in which blurring processing is performed in the parallel method according
  • FIG. 10 is a block diagram showing the configuration of the image coding apparatus according to Embodiment 2 of the present invention.
  • FIG. 11 is a block diagram showing a configuration of an image encoding device according to the modification example.
  • FIG. 12 is a block diagram showing a configuration of an image coding system according to Embodiment 3 of the present invention.
  • FIG. 13 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 4 of the present invention.
  • FIG. 14 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 5 of the present invention.
  • FIG. 15 is a block diagram showing a configuration of an image encoding device according to the present invention.
  • FIG. 16 is a flowchart showing the operation of the image coding apparatus according to the present invention.
  • FIG. 17 is a block diagram showing another configuration of the image encoding device according to the present invention.
  • FIG. 18A is a diagram for explaining a configuration of a camera according to the present invention.
  • FIG. 18B is a diagram for explaining another configuration of the camera according to the present invention.
  • FIG. 4 is a block diagram showing a configuration of the image coding apparatus according to Embodiment 1 of the present invention.
  • Stereo imaging device 300A captures a subject so that it can be viewed stereoscopically, and encodes a stereo video signal generated by the imaging.
  • Such a stereo imaging device 300A includes the image encoding device 300 according to the first embodiment, cameras Ca and Cb, and a storage unit Me.
  • the cameras Ca and Cb are arranged at a distance of, for example, 6.5 cm from each other (an average distance between human eyes) and are perpendicular to the plane including the cameras Ca and Cb (for example, on the paper surface of FIG. 1). It is attached so as to be rotatable around an axis along a vertical direction).
  • Each of the cameras Ca and Cb captures a subject and outputs a video signal obtained by capturing to the image encoding device 300.
  • the video signals output from the cameras Ca and Cb are collectively referred to as a stereo video signal.
  • An image indicated by the video signal output from the camera Ca is referred to as a main image
  • an image indicated by the video signal output from the camera Cb is referred to as a sub-image.
  • the subject image is stereoscopically viewed by the main image and the sub-image.
  • the video signal is composed of a plurality of pictures, and each of the cameras Ca and Cb sequentially generates and outputs pictures at substantially the same timing (
  • the storage unit Me is a recording medium for storing image data (a local decoded image signal described later) output from the image encoding device 300.
  • the image encoding device 300 generates and outputs an encoded stereo video signal by encoding the stereo video signal output from the cameras Ca and Cb.
  • the image encoding device 300 encodes the video signals for each block (area) constituting a picture.
  • the image encoding device 300 encodes each picture included in the video signal as an I picture, a P picture, and a B picture, respectively.
  • the image coding apparatus 300 performs inter-picture prediction coding (motion compensation prediction coding).
  • the image encoding device 300 when encoding the video signal output from the camera Cb, the image encoding device 300 performs disparity compensation prediction encoding and encodes each picture included in the video signal as a P picture. That is, the image encoding apparatus 300 predicts a picture of a sub-image generated at the same timing as the picture from the picture of the main image, and encodes the picture of the sub-image based on the prediction result.
  • Such an image coding apparatus 300 includes a convergence angle adjustment unit 302, a coding adjustment unit 303, a selector 304, a detection unit 305, a subtractor 306, a switch 307, a conversion unit 308, a quantization unit 309, and a variable length coding unit. 310, an inverse quantization unit 311, an inverse transform unit 312, an adder 313, a switch 314, and a compensation unit 316.
  • the convergence angle adjustment unit 302 identifies the convergence angles ⁇ of the cameras Ca and Cb.
  • cameras Ca and Cb are each equipped with a sensor that detects an angle. These sensors detect the orientation of the camera Ca or Cb that is variably set by the above-described rotation as the above-described angle.
  • the convergence angle adjusting unit 302 acquires the angles detected by these sensors, and specifies the convergence angle ⁇ based on these angles.
  • the convergence angle adjustment unit 302 determines whether the imaging method using the cameras Ca and Cb is the parallel method or the cross method based on the convergence angle ⁇ , and encodes and adjusts the imaging method signal indicating the determination result.
  • the data is output to the unit 303. For example, if the convergence angle ⁇ is smaller than a predetermined angle, the convergence angle adjustment unit 302 determines that the imaging method is the parallel method, and if the convergence angle ⁇ is equal to or greater than the predetermined angle, the imaging method Is determined to be an intersection method.
  • the selector 304 acquires video signals output from the cameras Ca and Cb, switches the video signals alternately, and outputs them to the switch 307, the subtractor 306, or the detection unit 305. For example, the selector 304 performs switching for each picture. In this case, when the selector 304 acquires pictures from the cameras Ca and Cb at the same timing, the selector 304 first outputs the picture acquired from the camera Ca, and then outputs the picture acquired from the camera Cb. .
  • the subtractor 306 calculates, for each block, the difference between the encoding target image indicated by the video signal output from the selector 304 and the prediction image indicated by the prediction signal output from the compensation unit 316.
  • the subtractor 306 outputs a prediction error signal indicating the difference to the switch 307.
  • the subtracter 306 calculates the above difference and outputs a prediction error signal.
  • the switch 307 connects the selector 304 to the conversion unit 308 and transfers a video signal indicating the encoding target image from the selector 304 to the conversion unit 308.
  • the switch 307 connects the subtractor 306 to the conversion unit 308 to predict the prediction error of the P picture or B picture. The signal is transferred from the subtractor 306 to the conversion unit 308.
  • the conversion unit 308 acquires a video signal or a prediction error signal as an image signal via the switch 307 for each block, and performs orthogonal transform (for example, discrete cosine transform) on the image signal. Thereby, the conversion unit 308 converts the image signal into a frequency coefficient (DCT coefficient), that is, converts the area of the image signal from the spatial domain to the frequency domain, and outputs the frequency coefficient to the quantization unit 309.
  • DCT coefficient frequency coefficient
  • the quantization unit 309 acquires a frequency coefficient from the conversion unit 308 and performs quantization on the frequency coefficient. That is, the quantization unit 309 generates a quantized value by dividing the frequency coefficient by the quantization step.
  • the quantization unit 309 receives the adjustment signal from the encoding adjustment unit 303, the quantization unit 309 increases the quantization step by the adjustment amount indicated by the adjustment signal.
  • the quantization unit 309 is a quantization determined according to an image encoding standard (specifically, H.264 / AVC). The encoding target block is quantized using steps.
  • the quantization unit 309 When the quantization unit 309 receives the adjustment signal for the encoding target block, the quantization unit 309 adds or multiplies the adjustment amount to the quantization step determined according to the image encoding standard. , Update the quantization step so that the quantization step increases. The quantization unit 309 quantizes the encoding target block using the increased quantization step.
  • variable length encoding unit 310 performs variable length encoding on the quantized value generated by the quantization unit 309 and the vector (motion vector or disparity vector) output from the detection unit 305, thereby encoding encoded stereo video. Generate and output a signal.
  • This variable length coding is a reversible coding.
  • the inverse quantization unit 311 generates an inverse quantization frequency coefficient by performing inverse quantization on the quantized value generated by the quantization unit 309. That is, the inverse quantization unit 311 generates an inverse quantization frequency coefficient by multiplying the quantization value by the quantization step used in the quantization unit 309. Note that the inverse quantization frequency coefficient generated at this time includes a quantization error unlike the frequency coefficient generated by the transform unit 308.
  • the inverse transform unit 312 performs inverse orthogonal transform (for example, inverse discrete cosine transform) on the inverse quantization frequency coefficient generated by the inverse quantization unit 311. Thereby, the inverse transform unit 312 transforms the inverse quantization frequency coefficient into an image signal, that is, transforms the region of the inverse quantization frequency coefficient from the frequency domain to the space domain, and outputs the image signal to the adder 313. To do.
  • inverse orthogonal transform for example, inverse discrete cosine transform
  • the adder 313 stores the image signal output from the inverse conversion unit 312 in the storage unit Me as a locally decoded image signal.
  • the adder 313 compensates for the image signal output from the inverse conversion unit 312 and the switch 314 when the encoding target image is a P-picture or B-picture image (main image or sub-image).
  • the prediction signal output from the unit 316 is added, and the addition result is stored in the storage unit Me as a local decoded image signal.
  • the detection unit 305 obtains an encoding target image from the selector 304, and when the encoding target image is a main image of a P picture or a B picture, a motion vector is obtained for each block with respect to the encoding target image. To detect. That is, the detection unit 305 refers to a locally decoded image signal indicating another main image (I picture or P picture) that has been encoded and decoded and stored in the storage unit Me as a reference image. Then, the detection unit 305 detects a motion of the encoding target image as a motion vector by searching the reference image for a block that is the same as or similar to the encoding target image (encoding target block). Then, the detection unit 305 outputs the motion vector to the compensation unit 316 and the variable length coding unit 310.
  • the detection unit 305 detects a disparity vector for each block with respect to the encoding target image. That is, the detection unit 305 refers to a locally decoded image signal indicating a main image (I picture, P picture, or B picture) that has been encoded and decoded and stored in the storage unit Me as a reference image. Then, the detection unit 305 searches the reference image for a block that is the same or similar to the encoding target image (encoding target block), and thereby determines the positional relationship between the encoding target block and the same or similar block. Is detected as a parallax vector (parallax).
  • the picture of the sub-image including the encoding target block and the reference image (reference picture) as the main image are pictures generated at the same timing by the cameras Ca and Cb, respectively.
  • the detection unit 305 outputs the parallax vector to the encoding adjustment unit 303, the compensation unit 316, and the variable length encoding unit 310.
  • the disparity vector indicates the positional relationship between the blocks as a positional shift in the left-right direction. Further, either one of the left and right is a positive direction, and the other is a negative direction.
  • the compensation unit 316 When the compensation unit 316 acquires a motion vector from the detection unit 305, the compensation unit 316 generates a prediction signal by performing motion compensation using the motion vector and the reference image, and outputs the prediction signal. That is, the same or similar blocks included in the reference image are spatially shifted according to the motion vector. On the other hand, when acquiring the parallax vector from the detection unit 305, the compensation unit 316 generates a prediction signal by performing parallax compensation using the parallax vector and the reference image, and outputs the prediction signal. That is, the same or similar blocks included in the reference image are spatially shifted according to the disparity vector.
  • the switch 314 opens between the compensation unit 316 and the adder 313 when the encoding target image is a main image of an I picture.
  • the switch 314 connects the compensation unit 316 to the adder 313 and adds the prediction signal from the compensation unit 316. Deliver to the container 313.
  • the encoding adjustment unit 303 acquires the imaging method signal from the convergence angle adjustment unit 302 and acquires the parallax vector from the detection unit 305. Then, when the imaging method signal indicates the crossing method, the encoding adjustment unit 303 determines the magnitude of the disparity vector for a block in which a disparity vector having a magnitude greater than the first threshold and a negative direction is detected. An adjustment amount corresponding to the adjustment amount is determined, and an adjustment signal indicating the adjustment amount is output to the quantization unit 309. For example, the encoding adjustment unit 303 outputs an adjustment signal indicating a larger adjustment amount as the size of the parallax vector is larger. In this case, when the quantization unit 309 acquires the adjustment signal, the quantization unit 309 increases the quantization step by the adjustment amount indicated by the adjustment signal.
  • the encoding adjustment unit 303 determines the magnitude of the disparity vector for a block in which a disparity vector having a magnitude smaller than the second threshold and a positive direction is detected. And an adjustment signal indicating the adjustment amount is output to the quantization unit 309. For example, the encoding adjustment unit 303 outputs an adjustment signal indicating a larger adjustment amount as the size of the parallax vector is smaller. In this case, when the quantization unit 309 acquires the adjustment signal, the quantization unit 309 increases the quantization step by the adjustment amount indicated by the adjustment signal.
  • the image of the block is blurred as compared with an image encoded according to the above-described image encoding standard.
  • a process for blurring an image is hereinafter referred to as a blurring process, and the process for determining the adjustment amount is referred to as a blurring degree adjustment process.
  • FIG. 5A is a diagram showing a range where blurring processing is performed in the intersection method.
  • the magnitude of the parallax vector is 0 at the intersection of the optical axes.
  • the first threshold is 0, the direction of the parallax vector of the image of the subject at the shooting distance L far from the intersection is negative, and the magnitude thereof is 0 which is the first threshold. Greater than.
  • the blurring process is performed on the image of the subject at the shooting distance L far from the intersection.
  • FIG. 5B is a diagram showing a range where blurring processing is performed in the parallel method.
  • the magnitude of the parallax vector at the distance La becomes the second threshold value.
  • the direction of the parallax vector of the subject image at the shooting distance L farther than the distance La is positive, and the magnitude thereof is smaller than the second threshold.
  • the blurring process is performed on the image of the subject at the shooting distance L farther than the distance La.
  • FIG. 6 is a flowchart showing the operation of the image coding apparatus 300 in the present embodiment.
  • the image encoding apparatus 300 encodes the pictures for each block.
  • the image encoding device 300 first determines whether or not the encoding target image that is the block is a main image (step S100). For example, a control unit (not shown) provided in the image encoding device 300 determines.
  • the above-described control unit should further perform motion compensation predictive encoding on the encoding target image. Is determined (step S102). For example, when encoding the encoding target image as a P picture or B picture block, the image encoding apparatus 300 determines that motion compensation prediction encoding should be performed, and encodes the encoding target image as an I picture block. When converting, it is determined that motion compensation prediction encoding should not be performed.
  • control unit determines that motion compensation predictive coding should be performed (Y in step S102)
  • control unit controls the switch 307 to connect the subtractor 306 to the conversion unit 308 and the switch 314 to control the compensation unit.
  • 316 is connected to the adder 313.
  • the detection unit 305 detects a motion vector for the block of the encoding target image (step S104). Furthermore, the compensation unit 316 generates a prediction signal for the block of the encoding target image by performing motion compensation using the detected motion vector (step S106). The subtractor 306 generates a prediction error signal by subtracting the image indicated by the prediction signal from the encoding target image (step S108).
  • the transform unit 308 generates a frequency coefficient by performing orthogonal transform on the prediction error signal generated in step S108 (step S110), and the quantization unit 309 quantizes the frequency coefficient by quantizing the frequency coefficient. A value is generated (step S112). Then, the variable length coding unit 310 performs variable length coding on the quantized value (step S114).
  • step S102 when the control unit determines that the motion compensation prediction encoding should not be performed in step S102 (N in step S102), the control unit controls the switch 307 to connect the selector 304 to the conversion unit 308 and control the switch 314. Thus, the gap between the compensation unit 316 and the adder 313 is opened.
  • the transform unit 308 generates a frequency coefficient by performing orthogonal transform on the block of the encoding target image output from the selector 304 (step S110).
  • the quantization unit 309 quantizes the frequency coefficient to generate a quantized value (step S112), and the variable length coding unit 310 performs variable length coding on the quantized value (step S114).
  • control unit determines that the image to be encoded is a sub-image in step S100 (N in step S100)
  • the control unit controls the switch 307 to connect the subtractor 306 to the conversion unit 308 and switch the switch 314.
  • the compensator 316 is connected to the adder 313 under control.
  • the detection unit 305 detects a disparity vector for the block of the encoding target image (step S116). Further, the compensation unit 316 generates a prediction signal for the block of the encoding target image by performing parallax compensation using the detected parallax vector (step S118). The subtractor 306 generates a prediction error signal by subtracting the image indicated by the prediction signal from the encoding target image (step S120).
  • the encoding adjustment unit 303 performs a blurring degree adjustment process based on the disparity vector detected in step S116 and the imaging method signal output from the convergence angle adjustment unit 302 (step S130).
  • the transform unit 308 generates a frequency coefficient by performing orthogonal transform on the prediction error signal generated in step S120 (step S140). Further, the quantization unit 309 generates a quantized value by quantizing the frequency coefficient using the quantization step (step S142).
  • the quantization unit 309 increases the quantization step according to the adjustment amount, and the increased quantization step is determined. Use to quantize.
  • the quantization unit 309 performs quantization using the quantization step determined according to the image encoding standard. .
  • the variable length coding unit 310 performs variable length coding on the quantized value (step S142).
  • FIG. 7 is a flowchart showing details of the blurring degree adjustment process (step S130).
  • the convergence angle adjustment unit 302 identifies the convergence angle ⁇ , and determines whether the imaging method using the cameras Ca and Cb is the cross method or the parallel method based on the convergence angle ⁇ (step S132). If it is determined that the shooting method is the intersection method (intersection method in step S132), the encoding adjustment unit 303 determines the direction of the disparity vector detected by the detection unit 305 with respect to the block of the encoding target image. Is negative and it is determined whether or not the magnitude of the parallax vector is larger than the first threshold (step S134).
  • the encoding adjustment unit 303 determines that the disparity vector Based on the magnitude, the adjustment amount of the quantization step used by the quantization unit 309 is determined (step S138). For example, the encoding adjustment unit 303 determines a larger adjustment amount as the size of the parallax vector is larger.
  • an adjustment amount for example, 0 or 1
  • step S132 when the convergence angle adjustment unit 302 determines that the imaging method is the parallel method (the parallel method in step S132), the encoding adjustment unit 303 detects the block for the encoding target image. It is determined whether the direction of the parallax vector detected by 305 is positive and the magnitude of the parallax vector is smaller than the second threshold (step S136).
  • the encoding adjustment unit 303 determines that the disparity vector Based on the magnitude, the adjustment amount of the quantization step used by the quantization unit 309 is determined (step S138). For example, the encoding adjustment unit 303 determines a larger adjustment amount as the size of the parallax vector is smaller.
  • the encoding adjustment unit 303 determines the adjustment amount. do not do. At this time, the encoding adjustment unit 303 may determine an adjustment amount (for example, 0 or 1) indicating that an increase in the quantization step is unnecessary as described above.
  • the blurring process is performed only on the sub-image, but the blurring process may be performed on the main image and the sub-image.
  • the image encoding apparatus 300 encodes the sub-image for each block after the main image, and after the adjustment amount for each block is determined, the adjustment amount is used to determine the sub-image. Similarly, the main image is encoded again.
  • the shooting method is the intersection method
  • the direction of the parallax vector detected with respect to the block is negative
  • the magnitude of the parallax vector is larger than the first threshold value.
  • a large quantization step is applied to the block.
  • the block is encoded as a blurred image.
  • the magnitude of the disparity vector of the block including the image of the intersection point of the intersection method is 0 (or substantially 0). Therefore, when the first threshold value is 0, the block to which the above-described large quantization step is applied is a region where a distant view where the shooting distance L is longer than the intersection is shown.
  • the shooting method when the shooting method is the parallel method, the direction of the parallax vector detected with respect to the block is positive and the magnitude of the parallax vector is smaller than the second threshold value.
  • a large quantization step is applied to the block.
  • the block is encoded as a blurred image.
  • the magnitude of the disparity vector of the block including the image of the subject at the distance La in the picture indicated by the video signal is the second threshold. Therefore, the block to which the above-described large quantization step is applied is a region in which a distant view where the shooting distance L is longer than the distance La is shown.
  • the present embodiment it is possible to suppress the fatigue due to the stereoscopic vision of the viewer by the blurring process and to prevent the blurring process from being performed on an important area due to the photographing method.
  • the present embodiment by identifying the shooting method based on the convergence angle, even for a disparity distribution that differs depending on the shooting method, high image quality for an important region, and blurring processing for a distant (background) region, Can be performed appropriately.
  • the first threshold value is 0, but other values may be used.
  • image encoding apparatus 300 uses fixed first and second threshold values, but the first and second threshold values may be changed.
  • the encoding adjustment unit 303 receives a signal from the outside of the image encoding apparatus 300 and changes the first or second threshold according to the signal. Thereby, the above-mentioned important area can be changed.
  • the image of the encoding target block is blurred by increasing the quantization step.
  • the image of the block may be blurred by discarding the frequency coefficient in the high frequency region of the block.
  • the encoding adjustment unit 303 outputs the adjustment signal described above to the conversion unit 308.
  • the adjustment amount indicated by this adjustment signal is handled as the size of the high frequency region that is cut off by the conversion unit 308.
  • the conversion unit 308 when acquiring the adjustment signal from the encoding adjustment unit 303, the conversion unit 308 has a high frequency having a width corresponding to the adjustment amount indicated by the adjustment signal among the frequency coefficients of the block generated by the orthogonal transformation.
  • the frequency coefficient included in the region is rounded down. That is, the conversion unit 308 changes the frequency coefficient in the high frequency region in a wide range to 0 if the adjustment amount is large, and changes the frequency coefficient in the high frequency region in a narrow range to 0 if the adjustment amount is small.
  • the image encoding apparatus adjusts the focal point, and appropriately blurs the image of the region where the distant view where the shooting distance L is longer than the focal point is reflected without blurring the image of the subject at the focal point. There is a feature in the point.
  • FIG. 8 is a block diagram showing a configuration of an image encoding device according to this modification.
  • the image encoding apparatus 500 further includes a focus adjustment unit 402 in addition to the above-described image encoding apparatus 300, and performs encoding adjustment instead of the encoding adjustment unit 303 of the image encoding apparatus 300. Part 503.
  • the focus adjustment unit 402 adjusts the focus of the cameras Ca and Cb. At this time, the focus adjustment unit 402 performs adjustment so that the focal points (focal lengths) of the cameras Ca and Cb are the same. In addition, the focus adjustment unit 402 outputs a focus signal indicating the position of the block including the image of the focused subject in the pictures output from the cameras Ca and Cb to the encoding adjustment unit 503. For example, the focus adjustment unit 402 identifies the block by autofocus (specifically, a contrast detection method or the like).
  • the encoding adjustment unit 503 When the encoding adjustment unit 503 acquires a focus signal for each picture, the magnitude of the disparity vector detected by the detection unit 305 for the block at the position indicated by the focus signal is used as the first or second threshold value. Set. That is, when the imaging method signal acquired from the convergence angle adjustment unit 302 indicates the intersection method, the encoding adjustment unit 503 sets the above-described parallax vector magnitude as the first threshold value. On the other hand, when the imaging method signal acquired from the convergence angle adjustment unit 302 indicates the parallel method, the encoding adjustment unit 503 sets the above-described parallax vector magnitude as the second threshold value.
  • FIG. 9A is a diagram showing a range where blurring processing is performed in the intersection method.
  • the first threshold is set to the magnitude of the parallax vector at the focal point. Then, the blurring process is performed on a block having a negative direction and a disparity vector whose magnitude is larger than the first threshold.
  • the focal distance L may be shorter than the intersection.
  • a position where a disparity vector having a negative direction and a magnitude equal to the first threshold value is referred to as a focus corresponding position, and a disparity vector of an image of a subject at a shooting distance L farther than the focus corresponding position.
  • the direction is negative and its magnitude is greater than the first threshold.
  • the blurring process is performed on the image (distant view) of the subject at the shooting distance L farther than the focus corresponding position.
  • the blurring process may be performed on the image (distant view) of the subject at the shooting distance L far from the focal point instead of the focus corresponding position.
  • a fourth threshold value (not shown) that is larger than the magnitude of the parallax vector at the focal point by a predetermined magnitude or ratio may be set.
  • the direction of the parallax vector of the image of the subject at a shooting distance L that is closer to the focus and closer to the position corresponding to the fourth threshold is positive, and the magnitude thereof is Greater than the threshold of 4.
  • the encoding adjustment unit 303 also determines an adjustment amount according to the magnitude of the disparity vector, even for a block in which a disparity vector whose magnitude is greater than the fourth threshold and whose direction is positive is detected, and the adjustment The adjustment signal indicating the amount is output to the quantization unit 309.
  • the blurring process is also performed on an image of a subject such as a foreground at a shooting distance L closer to the focal point. Thereby, the fatigue of the viewer due to the large parallax of the foreground can be suppressed.
  • FIG. 9B is a diagram showing a range where blurring processing is performed in the parallel method.
  • the second threshold value is set to the magnitude of the parallax vector at the focal point. Therefore, in the parallel method, the direction of the parallax vector of the image of the subject at the shooting distance L far from the focus is positive, and the magnitude thereof is smaller than the second threshold value. As a result, the blurring process is performed on the image of the subject at the shooting distance L far from the focus.
  • the image of the region (focus area) including the image of the subject at the focus can be sharpened, and the image of the region where the distant view other than the focus area can be blurred. it can. That is, there is a high possibility that the focal point and the intersection are shifted during general camera shooting, and a more natural three-dimensional image can be formed in accordance with the shooting composition intended by the photographer.
  • FIG. 9C is a diagram showing another range where blurring processing is performed in the parallel method.
  • the second threshold value may be set to a value that is smaller than the magnitude of the parallax vector at the focal point and close to 0 as much as possible.
  • the direction of the parallax vector of the image of the subject (for example, an image of a distant background, etc.) that is far from the focus and is farther away from the position Lb corresponding to the second threshold is It is positive and its magnitude is less than the second threshold.
  • blurring processing is performed on an image of a subject such as a background at a shooting distance L farther than the focus.
  • a third threshold value that is larger than the magnitude of the parallax vector at the focal point by a predetermined magnitude or ratio may be set.
  • the direction of the parallax vector of the subject image at a shooting distance L that is closer to the focus and closer to the position Lc corresponding to the third threshold is positive, and the magnitude thereof is Greater than the third threshold.
  • the encoding adjustment unit 303 determines an adjustment amount corresponding to the magnitude of the disparity vector even for a block in which a disparity vector having a magnitude larger than the third threshold and a positive direction is detected.
  • the adjustment signal indicating the amount is output to the quantization unit 309.
  • the blurring process is also performed on an image of a subject such as a foreground at a shooting distance L closer to the focal point. Thereby, the fatigue of the viewer due to the large parallax of the foreground can be suppressed.
  • parallax (parallax vector) is generated with respect to the image of the subject at the focus. Due to such parallax, the position of the subject image shown in each of the main image and the sub-image may be shifted, making it difficult to see the subject image.
  • FIG. 9D is a diagram showing an image of a subject in focus.
  • the main image pL and the sub-image pR show subject images dL and dR, respectively. Also, the subject is focused. At this time, the positions of the images dL and dR of the subjects are shifted due to the parallax (parallax vector) at the focal point. For example, the position of the subject image dL is shifted to the right from the center of the main image pL, and the position of the subject image dR is shifted to the left from the center of the sub-image pR.
  • the image decoding device image reproduction device
  • the stereoscopic image pLR obtained by stereoscopically viewing the main image pL and the sub-image pR includes the subject image dL.
  • dR are displayed shifted to the left and right respectively. Therefore, the image decoding device (reproducing device) may display the stereoscopic image pLR ′ by shifting the images dL and dR of the subject so that the magnitude of the parallax vector becomes zero. Thereby, the image dLR of the subject in focus can be clearly displayed.
  • the image coding apparatus 500 includes only one focus adjustment unit 402, but may include one focus adjustment unit 402 for each of the cameras Ca and Cb.
  • the convergence angle adjustment unit 302 may rotate the cameras Ca and Cb. That is, the convergence angle adjustment unit 302 receives a signal indicating an angle (setting angle) to be set from the outside of the image encoding device, and rotates the cameras Ca and Cb so that the convergence angle ⁇ becomes the setting angle. You may let them. In this case, the convergence angle adjustment unit 302 specifies the set angle as the convergence angle ⁇ .
  • the image coding apparatus includes only one convergence angle adjustment unit 302. However, the image coding apparatus may include one convergence angle adjustment unit 302 for each of the cameras Ca and Cb. Good.
  • the image coding apparatus is characterized in that a shooting method is specified based on the distribution (disparity distribution) of disparity vectors detected for each block constituting a picture.
  • FIG. 10 is a block diagram showing a configuration of the image coding apparatus according to Embodiment 2 of the present invention.
  • the image coding apparatus 600 includes a parallax distribution identification unit 601, a coding adjustment unit 602, a selector 304, a detection unit 305, a subtractor 306, a switch 307, a conversion unit 308, a quantization unit 309, a variable length code.
  • the same constituent elements as those included in the image encoding apparatus 300 according to the first embodiment are used. The same reference numerals are assigned and detailed description is omitted.
  • the image coding apparatus 600 includes a parallax distribution identification unit 601 and a coding adjustment unit 602 instead of the convergence angle adjustment unit 302 and the coding adjustment unit 303 as compared with the image coding apparatus 300 of the first embodiment. I have.
  • the image encoding device 600 generates a parallax distribution and specifies whether the imaging method is a parallel method or a crossing method based on the parallax distribution.
  • the image encoding device 600 causes the cameras Ca and Cb to perform trial shooting of the main image and the sub image in order to generate a parallax distribution.
  • the image encoding apparatus 600 encodes (orthogonal transform and quantization) an I picture included in the video signal output from the camera Ca, decodes (inverse orthogonal transform and inverse quantization), and The local decoded image signal is stored in the storage unit Me.
  • the detection unit 305 acquires a picture included in the video signal output from the camera Cb, and detects a disparity vector of the block for each block constituting the picture. That is, the detection unit 305 detects the disparity vector of each block included in the sub-picture picture by referring to the above-described local decoded image signal of the I picture stored in the storage unit Me as a reference image.
  • the disparity distribution identifying unit 601 acquires the disparity vector detected by the detecting unit 305, and generates a disparity vector distribution of each block included in the sub-picture picture, that is, a disparity distribution. Then, the parallax distribution identifying unit 601 determines whether or not a positive-direction parallax vector and a negative-direction parallax vector are mixed in the parallax distribution, and outputs a shooting method signal indicating the determination result.
  • the data is output to the encoding adjustment unit 602. Specifically, when the parallax distribution identifying unit 601 determines that the shooting methods are mixed, the parallax distribution identification unit 601 outputs a shooting method signal indicating that the shooting method is a crossing method.
  • the imaging method signal indicating that the imaging method is the parallel method is output.
  • the encoding adjustment unit 602 acquires a shooting method signal from the parallax distribution identification unit 601. Similar to the encoding adjustment unit 303 of the first embodiment, the encoding adjustment unit 602 generates a disparity vector whose magnitude is larger than the first threshold and whose direction is negative when the imaging method signal indicates a crossing method. An adjustment amount corresponding to the magnitude of the parallax vector is determined for the block having the same, and an adjustment signal indicating the adjustment amount is output to the quantization unit 309. On the other hand, when the imaging method signal indicates the parallel method, the encoding adjustment unit 602 responds to the size of the disparity vector with respect to a block having a disparity vector whose size is smaller than the second threshold and whose direction is positive. The adjustment amount is determined, and an adjustment signal indicating the adjustment amount is output to the quantization unit 309.
  • the sensor for detecting the angles of the cameras Ca and Cb, the convergence angle adjustment unit 302, and the like as in the first embodiment are required.
  • the configuration and processing of the image encoding device can be simplified.
  • the block image is blurred by increasing the quantization step.
  • the block image is reduced by truncating the frequency coefficient in the high frequency region of the block. It may be blurred.
  • the encoding adjustment unit 602 outputs the adjustment signal described above to the conversion unit 308.
  • the adjustment amount indicated by this adjustment signal is handled as the size of the high frequency region that is cut off by the conversion unit 308.
  • the transform unit 308 when acquiring the adjustment signal from the encoding adjustment unit 602, the transform unit 308 has a high frequency with a width corresponding to the adjustment amount indicated by the adjustment signal, among the frequency coefficients of the block generated by the orthogonal transform.
  • the frequency coefficient included in the region is rounded down. That is, the conversion unit 308 changes the frequency coefficient in the high frequency region in a wide range to 0 if the adjustment amount is large, and changes the frequency coefficient in the high frequency region in a narrow range to 0 if the adjustment amount is small.
  • the image coding apparatus is in a position where the shooting distance L is longer than the focus without adjusting the focus and blurring the image of the subject at the focus, as in the second modification of the first embodiment.
  • the feature is that the image of the area where the distant view is reflected is appropriately blurred.
  • FIG. 11 is a block diagram showing a configuration of an image encoding device according to this modification.
  • the image encoding apparatus 700 further includes a focus adjustment unit 402 in addition to the above-described image encoding apparatus 600, and performs encoding adjustment instead of the encoding adjustment unit 602 of the image encoding apparatus 600. Part 702.
  • the focus adjustment unit 402 adjusts the focus of the cameras Ca and Cb. At this time, the focus adjustment unit 402 performs adjustment so that the focal points (focal lengths) of the cameras Ca and Cb are the same. In addition, the focus adjustment unit 402 outputs, to the encoding adjustment unit 702, a focus signal indicating the position of the block including the focused subject image in the pictures output from the cameras Ca and Cb.
  • the encoding adjustment unit 702 When the encoding adjustment unit 702 obtains a focus signal for each picture, the magnitude of the disparity vector detected by the detection unit 305 for the block at the position indicated by the focus signal is used as the first or second threshold value.
  • the encoding adjustment unit 702 sets the above-described parallax vector magnitude as the first threshold value.
  • the imaging method signal acquired from the parallax distribution identification unit 601 indicates the parallel method
  • the encoding adjustment unit 702 sets the above-described magnitude of the parallax vector as the second threshold value.
  • the image encoding apparatus 700 includes only one focus adjustment unit 402, but may include one focus adjustment unit 402 for each of the cameras Ca and Cb.
  • FIG. 12 is a block diagram showing the configuration of the image coding system in the present embodiment.
  • the image encoding system 800 includes an image encoding unit 801, a storage unit Me, a camera Ca, a camera Cb, a display unit 804, and an external recording device 805.
  • Storage unit Me, camera Ca, and camera Cb in the present embodiment are the same as storage unit Me, camera Ca, and camera Cb in the first and second embodiments and their modifications.
  • the image encoding unit 801 in the present embodiment is the image encoding device 300, 500, 600, or 700 in the first and second embodiments and their modifications.
  • the camera Ca includes a lens Ca1, an image sensor Ca2, a main control unit Ca3, and a lens control unit Ca4.
  • the image pickup device Ca2 is composed of, for example, a CCD (Charge Coupled Device), acquires an optical signal via the lens Ca1, converts the optical signal into an electrical signal, and outputs the electrical signal to the main controller Ca3.
  • the lens control unit Ca4 adjusts the focal point of the lens Ca1 and the like according to the control from the main control unit Ca3.
  • the main control unit Ca3 is composed of, for example, an IC (Integrated Circuit), acquires the electric signal output from the image sensor Ca2, and outputs the electric signal to the image encoding unit 801 as a video signal. Further, the main control unit Ca3 performs shutter speed, gain adjustment, focus adjustment, and the like by controlling the image sensor Ca2 and the lens control unit Ca4.
  • the camera Cb includes a lens Cb1, an image sensor Cb2, a main control unit Cb3, and a lens control unit Cb4. These components included in the camera Cb are the same as the above-described components included in the camera Ca.
  • the main control units Ca3 and Cb3 perform a cooperative operation so that the focal points and shutter speeds of the cameras Ca and Cb are the same.
  • the display unit 804 includes a liquid crystal display, for example, acquires a stereo video signal from the image encoding unit 801, and displays a main image and a sub-image indicated by the stereo video signal. Note that the display unit 804 may acquire the local decoded image signal from the image encoding unit 801 and display the main image and the sub image indicated by the local decoded image signal.
  • the external recording device 805 is configured to be loaded with a recording medium such as a CD (Compact Disc), an MO (Magnet Optical Disc), a DVD (Digital Versatile Disc), a BD (Blu-ray Disc), or a semiconductor memory. ing. Then, the external recording device 805 acquires the encoded stereo video signal from the image encoding unit 801 and writes the encoded stereo video signal to the recording medium attached.
  • a recording medium such as a CD (Compact Disc), an MO (Magnet Optical Disc), a DVD (Digital Versatile Disc), a BD (Blu-ray Disc), or a semiconductor memory.
  • FIG. 13 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 4 of the present invention.
  • the image decoding apparatus 1000 is an apparatus that decodes the encoded stereo video signal output from the image encoding apparatus according to the first or second embodiment, or a modification thereof, and includes a variable length decoding unit 1001, an inverse quantization / inverse A conversion unit 1002, a motion / disparity compensation unit 1003, an adder 1004, a deblocking filter 1005, a filter processing identification unit 1006, an edge enhancement unit 1007, and a switch 1008 are provided.
  • the image decoding apparatus 1000 decodes the main image and the sub-picture included in the encoded stereo video signal for each block while storing and reading data in the storage unit Me1, and enables stereoscopic viewing.
  • the decoded picture is displayed on the display unit D1.
  • the image decoding apparatus 1000 displays only the main image included in the encoded stereo video signal on the display unit D1. That is, when the display unit D1 does not support 3D video display, the image decoding apparatus 1000 displays the 2D video on the display unit D1.
  • the variable length decoding unit 1001 performs variable length decoding on the encoded stereo video signal.
  • the imaging method signal, the quantization value, the quantization step, and the motion vector or the disparity vector that have been variable-length encoded are decoded.
  • the encoded stereo video signal output from the image encoding device according to the first or second embodiment or the modification thereof includes a shooting method signal that is variable-length encoded and a quantum that is variable-length encoded for each block. And a quantization step (quantization parameter) and a motion vector or a disparity vector that is variable-length-coded for each block.
  • variable length decoding unit 1001 outputs a motion vector or a disparity vector to the motion / disparity compensation unit 1003, outputs a quantized value and a quantization step (quantization parameter) to the inverse quantization / inverse transform unit 1002, and captures a shooting method.
  • the signal is output to the filter processing identification unit 1006.
  • the inverse quantization / inverse transform unit 1002 uses the quantization step for the quantization value. Quantization is performed, and as a result, an inverse quantization frequency coefficient is generated for each block. Further, the inverse quantization / inverse transform unit 1002 performs inverse orthogonal transform (for example, inverse discrete cosine transform) on the inverse quantization frequency coefficient.
  • inverse orthogonal transform for example, inverse discrete cosine transform
  • the inverse quantization / inverse transform unit 1002 converts the inverse quantization frequency coefficient into an image signal, that is, converts the region of the inverse quantization frequency coefficient from the frequency domain to the spatial domain, and adds the image signal. Output to the device 1004. Further, the inverse quantization / inverse transform unit 1002 outputs the quantization step used for the inverse quantization for each block to the filter processing identification unit 1006.
  • the adder 1004 When the decoding target image is a main image of an I picture, the adder 1004 outputs the image signal output from the inverse quantization / inverse transform unit 1002 to the deblocking filter 1005 as a decoded image signal. Further, when the decoding target image is a P-picture or B-picture image (main image or sub-image), the adder 1004 and the image signal output from the inverse quantization / inverse transform unit 1002 and the motion / disparity The prediction signal output from the compensation unit 1003 is added, and the addition result is output to the deblocking filter 1005 as a decoded image signal.
  • the deblocking filter 1005 When the deblocking filter 1005 acquires the decoded image signal from the adder 1004, the deblocking filter 1005 filters the decoded image signal. That is, the deblocking filter 1005 removes distortion (blocking distortion) of the image of the block indicated by the decoded image signal, and stores the decoded image signal from which the distortion is removed in the storage unit Me1.
  • the deblocking filter 1005 removes distortion (blocking distortion) of the image of the block indicated by the decoded image signal, and stores the decoded image signal from which the distortion is removed in the storage unit Me1.
  • the motion / disparity compensation unit 1003 performs motion compensation using the motion vector acquired from the variable length decoding unit 1001 when the decoding target image (decoding target block) is a main image of a P picture or a B picture. A prediction signal is generated, and the prediction signal is output to the adder 1004. That is, the motion / disparity compensation unit 1003 refers to the decoded image signal indicating the already decoded main image (I picture or P picture) stored in the storage unit Me1 as a reference image. Then, the motion / disparity compensation unit 1003 spatially shifts the block in the reference image according to the motion vector, and generates and outputs a signal indicating the image of the block as a prediction signal.
  • the motion / disparity compensation unit 1003 performs prediction by performing disparity compensation using the disparity vector acquired from the variable length decoding unit 1001. A signal is generated and the predicted signal is output to the adder 1004. That is, the motion / disparity compensation unit 1003 refers to the decoded image signal indicating the already decoded main image (I picture, P picture, or B picture) stored in the storage unit Me1 as a reference image. Then, the motion / disparity compensation unit 1003 spatially shifts the block in the reference image according to the parallax vector, and generates and outputs a signal indicating the image of the block as a prediction signal. Furthermore, the motion / disparity compensation unit 1003 outputs the disparity vector used for the disparity compensation to the filter processing identification unit 1006.
  • the edge enhancement unit 1007 obtains the adjustment signal from the filter processing identification unit 1006, based on the adjustment signal, the edge enhancement unit 1007 performs a process of enhancing the edge of the image of the decoded image signal stored in the storage unit Me1, and the processing is performed.
  • the decoded image signal is output to the switch 1008.
  • Switch 1008 switches connection according to control by filter processing identification unit 1006. That is, the switch 1008 connects the display unit D1 to the storage unit Me1 via the edge enhancement unit 1007, or connects the display unit D1 to the storage unit Me1 without using the edge enhancement unit 1007.
  • the filter processing identification unit 1006 controls the switch 1008,
  • the display unit D1 is connected to the storage unit Me1.
  • the decoded image signal indicating the main image and the sub image stored in the storage unit Me1 is read, and the main image and the sub image are alternately displayed on the display unit D1. Therefore, in this case, an image is displayed in a three-dimensional manner.
  • the filter processing identifying unit 1006 when the filter processing identifying unit 1006 has acquired a main image display signal indicating that only the main image should be displayed, the filter processing identifying unit 1006 causes the switch 1008 to switch the connection for each block of the main image to be displayed. That is, for each block, the filter processing identification unit 1006 indicates whether or not the blurring process has been performed on the block at the time of encoding, and the disparity vector corresponding to the block output from the motion / disparity compensation unit 1003. The determination is made based on the imaging method signal output from the variable length decoding unit 1001. Then, the filter processing identification unit 1006 controls the switch 1008 according to the determination result.
  • the filter processing identification unit 1006 when the imaging method signal indicates the intersection method, the filter processing identification unit 1006 has a negative parallax vector corresponding to the block and has a magnitude greater than the first threshold. Then, it is determined that the blur process has been performed on the block at the time of encoding. In addition, when the imaging method signal indicates the parallel method, the filter processing identification unit 1006 determines that the block when the direction of the disparity vector corresponding to the block is positive and the size is smaller than the second threshold value. It is determined that a blurring process has been performed during encoding.
  • the filtering process identifying unit 1006 determines that the blurring process is not performed, the filtering process identifying unit 1006 controls the switch 1008 to connect the display unit D1 to the storage unit Me1. Thereby, the decoded image signal indicating the block of the main image stored in the storage unit Me1 is read, and the block of the main image is displayed on the display unit D1. On the other hand, when determining that the blurring process is performed, the filter processing identification unit 1006 controls the switch 1008 to connect the display unit D1 to the edge enhancement unit 1007.
  • the edge enhancement unit 1007 reads out the decoded image signal indicating the block of the main image on which the blurring process has been performed from the storage unit Me1, emphasizes the edge of the main image (block) indicated by the decoded image signal, The block of the main image is displayed on the display unit D1.
  • the filtering process identifying unit 1006 determines that the blurring process is performed, the filtering process identifying unit 1006 is based on the quantization step used for the inverse quantization of the block of the main image output from the inverse quantization / inverse transform unit 1002.
  • the filter processing identification unit 1006 performs a predetermined quantization step (for example, a quantization step determined by the image coding standard) from the quantization step used for the inverse quantization of the main image block. Subtraction is performed, and the subtraction result is specified as the adjustment amount. Then, the filter processing identification unit 1006 outputs an adjustment signal indicating the adjustment amount to the edge enhancement unit 1007.
  • the edge enhancement unit 1007 emphasizes the edge of the main image (block) indicated by the decoded image signal
  • the edge enhancement unit 1007 acquires the adjustment signal from the edge enhancement unit 1007 and emphasizes the edge by the adjustment amount indicated by the adjustment signal. To do.
  • the image decoding apparatus 1000 appropriately decodes the encoded stereo video signal generated by the image encoding apparatus according to the first or second embodiment or the modification thereof so as to be stereoscopically viewed. And can be displayed on the display unit D1. Furthermore, the image decoding apparatus 1000 according to the present embodiment can display only the main image on the display unit D1 when the display unit D1 does not support 3D video display. At this time, the image decoding apparatus 1000 appropriately emphasizes the edge of the blurred main image to make the main image clear 2D video even if the main image is blurred at the time of encoding. As the display portion D1.
  • FIG. 14 is a block diagram showing the configuration of the image decoding apparatus according to Embodiment 5 of the present invention.
  • the image decoding apparatus 1100 is an apparatus that decodes the encoded stereo video signal output from the image encoding apparatus according to the first or second embodiment, or a modification thereof, and includes a variable length decoding unit 1001, an inverse quantization / inverse A conversion unit 1002, a motion / disparity compensation unit 1003, an adder 1004, a deblocking filter 1010, a filter processing identification unit 1011, and a switch 1009 are provided.
  • the image decoding apparatus 1100 decodes the main image and the sub-picture included in the encoded stereo video signal for each block while storing and reading data in the storage unit Me1, and can be stereoscopically viewed. Thus, the decoded picture is displayed on the display unit D1. Further, when the main image display signal is acquired from the outside, the image decoding device 1100 displays only the main image included in the encoded stereo video signal on the display unit D1. That is, when the display unit D1 does not support 3D video display, the image decoding apparatus 1000 displays the 2D video on the display unit D1.
  • the encoded stereo video signal decoded in the present embodiment not only the sub-picture but also the main picture is subjected to the blurring process in the first and second embodiments or their modifications.
  • the same constituent elements as those included in the image decoding apparatus 1000 according to the fourth embodiment are the same as the constituent elements according to the fourth embodiment.
  • the same reference numerals are assigned and detailed description is omitted.
  • Switch 1009 switches the connection according to control by the filter processing identification unit 1011. That is, the switch 1009 connects the adder 1004 to the input of the deblocking filter 1010, or connects the storage unit Me1 to the input of the deblocking filter 1010.
  • the deblocking filter 1010 filters the decoded image signal, as in the deblocking filter 1005 of the fourth embodiment. That is, the deblocking filter 1010 removes the distortion (blocking distortion) of the image of the block indicated by the decoded image signal, and stores the decoded image signal from which the distortion is removed in the storage unit Me1.
  • the deblocking filter 1010 acquires the adjustment signal from the filter processing identification unit 1011, the deblocking filter 1010 performs intensity filtering according to the adjustment amount indicated by the adjustment signal.
  • the filter processing identification unit 1011 controls the switch 1009, Adder 1004 is connected to the input of deblocking filter 1010.
  • the decoded image signal indicating the main image and the sub image stored in the storage unit Me1 is read, and the main image and the sub image are alternately displayed on the display unit D1. Therefore, in this case, an image is displayed in a three-dimensional manner.
  • the filter processing identifying unit 1011 when the filter processing identifying unit 1011 acquires a main image display signal indicating that only the main image should be displayed, the filter processing identifying unit 1011 causes the switch 1009 to switch the connection for each block of the main image to be displayed. That is, the filtering process identifying unit 1011 determines whether or not the blurring process has been performed on each block at the time of encoding, similar to the filtering process identifying unit 1006 of the fourth embodiment. The determination is made based on the disparity vector corresponding to the block output from 1003 and the imaging method signal output from the variable length decoding unit 1001. Then, the filter processing identification unit 1011 controls the switch 1009 according to the determination result.
  • the filtering process identifying unit 1011 determines that the blurring process is not performed, the filtering process identifying unit 1011 controls the switch 1009 to connect the adder 1004 to the input of the deblocking filter 1010.
  • the decoded image signal indicating the main image block output from the adder 1004 is filtered by the deblocking filter 1010, output to the display unit D1 via the storage unit Me1, and displayed on the display unit D1. .
  • the filter processing identifying unit 1011 determines that the blurring process is being performed, the filter processing identifying unit 1011 first controls the switch 1009 to connect the adder 1004 to the input of the deblocking filter 1010.
  • the decoded image signal indicating the main image block output from the adder 1004 is filtered by the deblocking filter 1010 and stored in the storage unit Me1.
  • the filter processing identification unit 1011 controls the switch 1009 to connect the storage unit Me1 to the input of the deblocking filter 1010.
  • the above-described decoded image signal that has been filtered and stored in the storage unit Me1 is further filtered again by the deblocking filter 1010.
  • the decoded image signal filtered again is output to the display unit D1 via the storage unit Me1, and displayed on the display unit D1.
  • the filtering process identifying unit 1011 determines that the blurring process is being performed, the filtering process identifying unit 1011 is based on the quantization step used for the inverse quantization of the block of the main image output from the inverse quantization / inverse transform unit 1002.
  • the filter processing identification unit 1011 performs a predetermined quantization step (for example, a quantization step determined by the image coding standard) from the quantization step used for inverse quantization of the block of the main image. Subtraction is performed, and the subtraction result is specified as the adjustment amount. Then, the filter processing identification unit 1011 outputs an adjustment signal indicating the adjustment amount to the deblocking filter 1010.
  • the deblocking filter 1010 acquires the adjustment signal from the filter processing identification unit 1011 and performs filtering of the intensity according to the adjustment amount indicated by the adjustment signal.
  • the image decoding apparatus 1100 appropriately decodes the encoded stereo video signal generated by the image encoding apparatus according to the first or second embodiment or the modification thereof so as to be stereoscopically viewed. And can be displayed on the display unit D1. Furthermore, the image decoding apparatus 1100 according to the present embodiment can display only the main image on the display unit D1 when the display unit D1 does not support 3D video display. At this time, the image decoding apparatus 1100 appropriately removes the distortion of the blurred main image even if the main image is subjected to the blurring process at the time of encoding, so that the main image becomes a clear 2D video. As the display portion D1.
  • the image coding apparatus, the image coding system, and the image decoding apparatus according to the present invention have been described using Embodiments 1 to 5 and their modifications, but the present invention is not limited to these. It is not a thing.
  • the image coding apparatus according to the present invention does not have to include all of the components shown in FIGS. 4, 8, 10 and 11, and may not include any of the components (for example, The components of FIG. 15 or FIG. 17 alone can achieve the effects of the present invention.
  • FIG. 15 is a block diagram showing a configuration of an image encoding device according to the present invention.
  • An image encoding device 10 is an image encoding device that encodes two images for stereoscopic viewing, and a method specifying unit that specifies a method for capturing two images by two cameras Ca and Cb. 12 and a parallax detection unit 11 that detects the parallax between the two images for each region that constitutes each of the two images, a shooting method that is identified by the method identification unit 12 for each region, and parallax detection
  • An adjustment unit 13 that determines an adjustment amount for blurring an image based on the parallax detected for the region by the unit 11, and an adjustment amount determined for the region for each region.
  • An encoding unit 14 that encodes two images is provided so that the images are blurred.
  • the parallax detection unit 11 corresponds to the detection unit 305 in the first to fifth embodiments and their modifications.
  • the method specifying unit 12 corresponds to the convergence angle adjusting unit 302 or the parallax distribution identifying unit 601 in the first to fifth embodiments and the modifications thereof.
  • the adjustment unit 13 corresponds to the coding adjustment units 303, 503, 602, and 702 in the first to fifth embodiments and their modifications.
  • Encoding section 14 corresponds to conversion section 308, quantization section 309, and variable length encoding section 310 in the first to fifth embodiments and their modifications.
  • the image coding method according to the present invention does not need to include all of the steps shown in FIGS. 6 and 7, and does not include any of the steps (for example, only the steps shown in FIG. 16). However, the effects of the present invention can be achieved.
  • FIG. 16 is a flowchart showing an image encoding method according to the present invention.
  • the image encoding method according to the present invention is an image encoding method for encoding two images for stereoscopic viewing, and specifies a method for capturing two images by two cameras (step S10).
  • the parallax between the two images is detected for each area constituting each of the two images (step S12), and for each of the areas, based on the imaging method specified and the parallax detected for the area,
  • An adjustment amount for blurring the image is determined (step S14), and for each region, the two images are encoded so that the image in the region is blurred by the adjustment amount determined for the region (step S16).
  • Encoding by such an image encoding method is performed by the image encoding device 10 shown in FIG.
  • the image encoding device 10 and the image encoding method thereof according to the present invention when two images for stereoscopic viewing (for example, a main image and a sub image) are encoded, only parallax is used. Instead, the adjustment amount is determined based on the shooting method, and the two images are encoded so that the image is blurred by the adjustment amount. By blurring the image in this way, it is possible to suppress fatigue due to the stereoscopic vision of the viewer. Furthermore, since the adjustment amount is determined based not only on the parallax but also on the shooting method, it is possible to prevent blurring processing from being performed on an important region due to the shooting method.
  • the encoding in the encoding unit 14 is not limited to the encoding (orthogonal transformation, quantization, variable length encoding, etc.) in the first to fifth embodiments and their modifications. .
  • FIG. 17 is a block diagram showing another configuration of the image encoding device according to the present invention.
  • An image encoding device 10a is an image encoding device that encodes two images for stereoscopic viewing, and a method specifying unit that specifies a method for capturing two images by two cameras Ca and Cb. 12 and a parallax detection unit 11 that detects the parallax between the two images for each region that constitutes each of the two images, a shooting method that is identified by the method identification unit 12 for each region, and parallax detection Based on the parallax detected for the region by the unit 11, an adjustment unit 13a that determines an adjustment amount for blurring the image, and for each region, the adjustment amount determined for the region An encoding unit 14 that encodes two images is provided so that the images are blurred.
  • the image encoding device 10a further includes a focus specifying unit 15 that specifies a focused area of each of two images obtained by photographing with two cameras, and the adjustment unit 13a has a focus.
  • the magnitude of the parallax detected by the parallax detection unit 11 for the area specified by the specifying unit 15 is set as the first or second threshold.
  • the focus identifying unit 15 corresponds to the focus adjusting unit 402 in the first to fifth embodiments and their modifications.
  • the effects of the above-described image encoding device 10 can be achieved, and since the parallax in the focus area is set as the first or second threshold value, the focus area is clearly defined. That is, it is possible to blur a distant view image while improving the image quality. Therefore, among the constituent elements in the first to fifth embodiments and the modifications thereof, those other than the constituent elements included in the image encoding device 10a are not essential constituent elements.
  • the image of the area in which the distant view (background) is shown is blurred, but conversely, a large amount of information is allocated to the focus area, and the focus area is improved in image quality. May be.
  • the image of the region in which the distant view (background) is shown is blurred. For example, the image of the region in which the close-up view whose shooting distance L is closer to the focus is shown. You may blur, and you may blur the image of the area
  • the adjustment amount according to the magnitude of the parallax vector is determined, but a fixed adjustment amount may be determined regardless of the magnitude of the parallax vector.
  • the parallax compensation prediction coding is performed on the video signal (sub-picture) output from the camera Cb, but the parallax compensation prediction coding and the motion compensation prediction code are performed. You may perform. That is, the image encoding apparatus may use a compression encoding method that uses both parallax compensation prediction and motion compensation prediction as a multi-view profile (MVC: Multi-View Profile).
  • MVC Multi-View Profile
  • stereo photographing apparatus 300A includes two cameras (Ca and Cb), but may include only one camera.
  • the camera may have all the functions and configurations of the cameras Ca and Cb, or may include only one image sensor (for example, a CCD) for two optical devices (lenses).
  • image sensor for example, a CCD
  • the one image sensor receives light output from each of the two optical devices, and outputs an electrical signal indicating a main image and a sub-image. Convert to the electrical signal shown.
  • the direction of the parallax vector does not change from positive to negative as the shooting distance L increases.
  • the cameras (Ca and Cb) may be configured such that the direction of the parallax vector is changed as in the intersection method (as shown in FIG. 5A).
  • 18A and 18B are diagrams for explaining the configuration of the camera.
  • the optical axes of the cameras Ca and Cb intersect each other.
  • an optical device and an image sensor corresponding to the optical device are arranged along the optical axis.
  • the center line from the optical device of the camera Ca toward the center of the imaging region corresponding to the main image coincides with the optical axis of the optical device of the camera Ca.
  • the center line from the optical device of the camera Cb toward the center of the shooting area corresponding to the sub-image coincides with the optical axis of the optical device of the camera Cb.
  • these center lines are lines indicating the direction in which the main image or the sub-image is captured. Therefore, when the two optical axes intersect, the two center lines also intersect.
  • the direction of the parallax vector changes from positive to negative as the shooting distance L increases as shown in FIG. 5A.
  • the cameras Ca and Cb are arranged so that the optical axes of the cameras Ca and Cb are parallel to each other, photographing by the parallel method described above is performed. In this case, the center lines of the cameras Ca and Cb are also parallel. Therefore, as shown in FIG. 5B, the direction of the parallax vector does not change from positive to negative as the shooting distance L increases.
  • the direction of the parallax vector changes from positive to negative as the shooting distance L increases as in the crossing method, that is, as shown in FIG. 5A.
  • the imaging element is arranged so as to be shifted from the optical axis. That is, the cameras Ca and Cb are configured as so-called lens shift cameras.
  • the center lines of the cameras Ca and Cb cross each other due to the displacement of the imaging device. As the center lines intersect, the direction of the parallax vector changes from positive to negative as the shooting distance L increases as shown in FIG. 5A.
  • the image coding apparatus specifies the angle between the center lines as a shooting method, and the coding adjustment unit performs the operation for each block (region).
  • An adjustment amount for blurring the image may be determined based on the specified angle and the parallax detected for the block.
  • the center line is intersected in the parallel method by the lens shift camera.
  • the center line may be intersected in the parallel method by another configuration.
  • an optical device and an image sensor corresponding to the optical device are arranged along the optical axis, and the viewing angle of the optical device and the light reception of the image sensor.
  • the area is set widely. Then, a part of the image generated by the image sensor (a part on the image side generated by the other image sensor) is trimmed as a main image or a sub-image. Even with such two cameras, the center lines can be crossed while being parallel, like the lens shift camera described above.
  • the method for capturing two pictures (main image and sub-image) by the camera is specified, but the method for capturing the images may not be specified.
  • the shooting method is a parallel method
  • the image of the block is blurred by an adjustment amount corresponding to the parallax between two pictures for each block (area) without specifying the shooting method.
  • Two pictures are encoded. For example, if the parallax is smaller than the threshold value, two pictures are encoded so that the image of the block corresponding to the parallax is blurred, and the image of the block corresponding to the parallax is strongly blurred as the parallax is small. Accordingly, it is possible to prevent the blurring process from being performed on an important region when the photographing method is the parallel method.
  • the present invention includes the following cases.
  • Each of the above devices is specifically a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is stored in the RAM or hard disk unit.
  • Each device achieves its function by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • a part or all of the components constituting each of the above devices may be configured by one system LSI (Large Scale Integration).
  • the system LSI is a super multifunctional LSI manufactured by integrating a plurality of components on one chip, and specifically, a computer system including a microprocessor, a ROM, a RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • each part of the constituent elements constituting each of the above devices may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the system LSI is called here, but it may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • an FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • a part or all of the constituent elements constituting each of the above devices may be constituted by an IC card or a single module that can be attached to and detached from each device.
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention also provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc). ), Recorded in a semiconductor memory or the like. Further, the digital signal may be recorded on these recording media.
  • a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc).
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and is executed by another independent computer system. It is good.
  • the image encoding apparatus when encoding a stereoscopic video from two video signals, can easily view a stereoscopic video by blurring a background area and assigning information to a focus area regardless of a stereoscopic video shooting method.
  • it is useful as a digital video camera, a digital still camera, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　観視者の立体視による疲労を抑え、且つ、撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことが可能な画像符号化装置を提供する。画像符号化装置（１０）は、２つの画像の撮影方法を特定する方法特定部（１２）と、２つの画像間の視差を、２つの画像のそれぞれを構成するブロックごとに検出する視差検出部（１１）と、ブロックごとに、特定された撮影方法、および当該ブロックに対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部（１３）と、ブロックごとに、当該ブロックに対して決定された調整量だけ当該ブロックの画像がぼけるように、２つの画像を符号化する符号化部（１４）とを備える。

Description

画像符号化装置、画像符号化方法、プログラムおよび集積回路
　本発明は、立体映像信号の圧縮符号化を行う画像符号化装置などに関し、特に、視差のある二つの映像信号、すなわちステレオ映像信号を扱うデジタルビデオカメラやデジタルスチルカメラなどの画像記録機器または画像伝送機器に用いられ、ステレオ画像を符号化する画像符号化装置などに関する。
　立体映像信号を撮影時に想定したスクリーンより大きなスクリーンに映写する場合、スクリーン面より後方に見える左右の像の間の距離が、両眼の間の距離よりも大きくなる。この場合、観視者は、その像を立体視するために、両眼の融合を維持しようとして、両眼の筋力と脳に強い疲労を覚える。そして、さらに距離（開き）が大きくなると、観視者はもはや両眼の融合を維持できなくなり、立体視が破綻してしまう問題がある。この問題を防ぐために、従来、観視者の注意が遠景に向けられないように、遠景をぼかす処理が行われる（例えば、非特許文献１参照）。
　また、この遠景をぼかす処理を符号化時に行うことが考えられている。
　従来の立体映像信号（ステレオ映像信号）を符号化する画像符号化装置は、ステレオ映像信号の視差に応じて量子化の度合いを制御することにより、符号量を制御する。すなわち、従来の画像符号化装置は、視差が小さい場合には、その視差を有する領域の重要度が大きいため、その領域の情報量を多くし、視差が大きい場合には、その視差を有する領域の情報量を少なくし、結果的にその領域の画像をぼかす処理を行っている（例えば、特許文献１参照）。
　図１は、上記特許文献１に記載された従来の画像符号化装置の構成を示すブロック図である。
　図１に示すように、二つのカメラからの映像信号は、それぞれのプロセス回路１０１および１０２に入力されることによって、ＲＧＢコンポーネント信号が得られる。このＲＧＢコンポーネント信号は、ＡＤ変換部１０３および１０４によってデジタルデータ列に変換された後、メモリ１０５および１０６に蓄積される。なお、メモリ１０５および１０６はそれぞれ、８ライン分のデジタルデータ列を格納し得るメモリである。８ライン分のデジタルデータ列、つまり、画面上の８行×８列の画素からなる領域（ブロック）のデータは、このメモリ１０５および１０６からそれぞれ読み出される。その後の処理はブロック毎に行われる。
　メモリ１０５に蓄積されたブロックのデータは、ＤＣＴ回路１０７に入力され、ここで離散コサイン変換され、周波数領域上の実数データからなる係数ブロックに変換される。そして、この係数ブロックは量子化回路１０８に入力され、ここで所定の量子化ステップの逆数を乗算され、整数化される。量子化ステップは、人の視覚特性を利用して定められ、低周波数側ほど歪を少なく許容し、高周波数側ほど歪を多く許容するように設定されている。すなわち、低周波数側の係数に対する量子化ステップが小さく設定され、低周波数側に符号量が多く割り当てられる。
　そして、このようにして量子化されたデータに対して、ゼロパック回路１０９による零のランレングス符号化が施される。すなわち、ゼロパック回路１０９は、連続している零の数を数え、その数と、その連続する零を止めている係数とを組にすることによって、量子化されたデータを符号化する。
　ここで、上記特許文献１記載の画像符号化装置は、メモリ１０５および１０６にそれぞれ格納されているブロックのデータ間の減算処理を画素ごとに行う減算器１１０と、この減算器１１０による減算結果の絶対値の和（視差信号）を求める絶対値和回路１１１とを有している。そして、この絶対値和回路１１１において得られる画素毎のデータの差の絶対値和は、そのブロックについての画像のずれ、すなわち視差に対応する。
　量子化回路１０８は、絶対値和回路１１１の出力である視差信号に応じて量子化ステップを調節する。
　ハフマン符号化部１１２は、ゼロパック回路１０９から出力されるランレングス符号化されたデータに対して、エントロピー符号化の一つであるハフマン符号化を行う。
　このように、上記特許文献１記載の画像符号化装置は、視差が大きいブロックに対しては、量子化ステップを大きくすることで、そのブロックの圧縮率を高め、結果として符号化効率を向上すると共に、ぼかし処理を施している。
　ここで、カメラの撮影方法について説明する。
　図２Ａは、２つのカメラによる撮影方法を示す図である。
　カメラ２１および２２は、それぞれの光軸を交差させた状態で物体２３を撮影する。このような状態における撮影方法を交差法という。
　なお、光軸とは、カメラによる撮影によって得られる画像の中心にあって、その画像の面に対して垂直な方向に沿った軸である。視差は、カメラ２１によって撮影された物体２３の像（左像）の位置と、カメラ２２によって撮影された物体２３の像（右像）の位置との差である。また、カメラ２１および２２の配列方向に対して垂直な方向に沿った、カメラ２１および２２からの距離を、撮影距離という。さらに、上記垂直な方向に沿ったカメラ２１および２２から交点および焦点までの距離をそれぞれ、交点距離および焦点距離という。
　例えば、カメラ２１の光軸とカメラ２２の光軸との交点に物体２３があり、その交点にカメラ２１および２２の焦点が当てられている。このような場合、交点距離および焦点距離は等しく、その物体２３の像は鮮明であり、その像の視差は最も小さい。一方、撮影距離が交点距離（焦点距離）よりも長い場合には、その撮影距離にある遠景の物体２４の像の視差は、差２５ａおよび２５ｂによって示され、物体２３の視差よりも十分に大きい。
　図２Ｂは、交差法における撮影距離と視差との関係を示す図である。
　撮影距離Ｌにある被写体の像の視差Ｄは、図２Ｂに示すように、撮影距離Ｌが０から交点距離Ｌ１の間であれば、撮影距離Ｌが長くなるほど正の値として小さくなる。また、視差Ｄは、交点距離では０となる。また、視差Ｄは、撮影距離Ｌが交点距離Ｌ１よりも長い場合には、撮影距離Ｌが長くなるほど負の値として小さくなる。つまり、この場合には、視差Ｄは負の値で、撮影距離Ｌが長くなるほど視差Ｄの絶対値が大きくなる。
　このように、物体２３が交点（焦点）にある場合には、その物体２３の像には視差がない。そして、交点よりもカメラ２１および２２から離れた位置にある遠景の物体２４の像の視差は、負方向に大きい。この場合には、観視者は、物体２３の像を容易に立体視することができるが、遠景にある物体２４の像を立体視するには、両眼の視線を互いに離すようにする必要がある。その結果、両眼が疲れてしまう。
　そこで、上記特許文献１の画像符号化装置は、一方のブロックと他方のブロックとの画像の差分を、視差の大きさとして特定し、視差が大きいブロックに対しては、量子化ステップを大きくすることで、視差の大きいブロックの画像をぼかしている。つまり、上記特許文献１の画像符号化装置は、視差が大きい領域では、その領域の重要度は低いため情報量を少なくし、視差が小さい領域では、その領域の重要度が大きいため情報量を多くしている。
特開平６－２８４４４９号公報
本田捷夫監修「立体映像技術－空間表現メディアの最新動向－」シーエムシー出版、２００８年７月３１日（Ｐ６１－Ｐ６２）
　しかしながら、上記特許文献１記載の画像符号化装置では、重要な領域にぼかし処理を行ってしまう場合があるという問題がある。
　つまり、上記特許文献１記載の画像符号化装置では、上述のように、視差が大きい領域では、その領域の重要度が低いため情報量を少なくし、視差が小さい領域では、その領域の重要度が大きいため情報量を多くする。このような画像符号化装置による符号化技術は、図２Ａに示す交差法による撮影方法のみに適応できる技術であって、他の撮影方法には適用することができない。
　図３Ａは、２つのカメラによる他の撮影方法を示す図である。
　カメラ２１および２２は、それぞれの光軸を平行にさせた状態で物体２３を撮影する。このような状態における撮影方法を平行法という。例えば、カメラ２１および２２の焦点は物体２３に当てられている。このような場合、その物体２３の像は鮮明である。また、物体２３の像の視差は、差２６ａおよび２６ｂによって示され、物体２３よりも撮影距離Ｌが長い位置にある遠景の物体２４の像の視差は、差２７ａおよび差２７ｂによって示される。
　図３Ｂは、平行法における撮影距離と視差との関係を示す図である。
　撮影距離Ｌにある被写体の像の視差Ｄは、図３Ｂに示すように、常に正の値であって、撮影距離Ｌが長くなるほど０に近づくように小さくなる。
　つまり、平行法では、交差法と異なり、物体２３が焦点にある場合であっても、その物体２３の像には視差がある。さらに、焦点よりもカメラ２１および２２から離れた位置にある遠景の物体２４の像の視差は、物体２３の像の視差よりも小さい。言い換えれば、カメラ２１および２２によって得られる画像のうち、焦点が当てられている重要度が大きい領域には比較的大きな視差があり、焦点が当てられていない重要度が小さい領域（遠景）には０に近い小さな視差がある。
　したがって、上記特許文献１記載の画像符号化装置が、平行法による撮影によって得られたカメラ２１および２２からの映像信号を符号化すると、視差が大きい領域には情報量を少なく割り当て、視差が小さい領域には情報量を多く割り当てるため、焦点が当てられた重要なブロック（領域）の画像に対してぼかし処理を行ってしまうことがある。このように、撮影方法によっては視差の分布が異なり、視差の小さい領域ほど、その領域の重要度が大きいとは限らないのである。
　そこで、本発明は、かかる問題に鑑みてなされたものであって、観視者の立体視による疲労を抑え、且つ撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことが可能な画像符号化装置を提供することを目的とする。
　上記目的を達成するために、本発明の一態様に係る画像符号化装置は、立体視するための２つの画像を符号化する画像符号化装置であって、カメラによる前記２つの画像の撮影方法を特定する方法特定部と、前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出する視差検出部と、前記領域ごとに、前記方法特定部によって特定された撮影方法、および前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部と、前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する符号化部とを備える。
　これにより、立体視するための２つの画像（例えば、主画像と副画像）が符号化される際には、視差だけでなく撮影方法にも基づいて調整量が決定され、その調整量だけ画像がぼけるように、その２つの画像が符号化される。このように画像がぼかされることによって、観視者の立体視による疲労を抑えることができる。さらに、視差だけでなく撮影方法にも基づいて調整量が決定されるため、撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことができる。
　また、方法特定部は、前記撮影方法が平行法であるか交差法であるかを特定し、前記調整部は、前記方法特定部によって前記撮影方法が交差法であると特定された場合には、前記視差検出部によって検出された視差が第１の閾値より大きい領域に対して前記調整量を決定してもよい。
　撮影方法が交差法である場合には、遠景を映す領域における視差は比較的大きいため、視差が第１の閾値より大きい領域に対して調整量が決定されることによって、視差の大きい遠景の画像を適切にぼかすことができ、観視者の立体視による疲労を抑えることができる。さらに、交差法の場合には、遠景より近い光軸の交点にある被写体を映す領域、つまり重要な領域における視差は極めて小さく、その視差が小さい領域に対しては調整量が決定されないため、その重量な領域にぼかし処理が行われてしまうのを防ぐことができる。
　また、前記調整部は、前記視差が大きいほど、ぼかしの度合いが大きくなるような調整量を決定してもよい。
　これにより、視差が大きい画像ほど強い強度でぼかされるため、観視者の疲労を適切に抑えることができる。
　また、前記画像符号化装置は、さらに、前記カメラによる撮影によって得られる前記２つの画像のそれぞれのうち、焦点が当てられている領域を特定する焦点特定部を備え、前記調整部は、前記焦点特定部によって特定された領域に対して前記視差検出部によって検出された視差の大きさを、前記第１の閾値として設定してもよい。
　これにより、焦点が当てられている領域（いわゆるフォーカスエリア）における視差が第１の閾値として設定され、その第１の閾値より大きい視差を有する領域に対して調整量が決定されるため、フォーカスエリアを鮮明に、つまり高画質化しながら、遠景の画像をぼかすことができる。
　また、前記方法特定部は、前記撮影方法が平行法であるか交差法であるかを特定し、前記調整部は、前記方法特定部によって前記撮影方法が平行法であると特定された場合には、前記視差検出部によって検出された視差が第２の閾値より小さい領域に対して前記調整量を決定してもよい。
　撮影方法が平行法である場合には、遠景を映す領域における視差は比較的小さいため、視差が第２の閾値より小さい領域に対して調整量が決定されることによって、視差の小さい遠景の画像を適切にぼかすことができる。さらに、交差法の場合には、遠景より近い被写体を映す領域、つまり重要な領域における視差は比較的大きく、その視差が大きい領域に対しては調整量が決定されないため、その重量な領域にぼかし処理が行われてしまうのを防ぐことができる。
　また、前記調整部は、前記視差が小さいほど、ぼかしの度合いが大きくなるような調整量を決定してもよい。
　これにより、視差が小さい画像ほど強い強度でぼかされるため、遠景の画像を適切にぼかすことができる。
　また、前記画像符号化装置は、さらに、前記カメラによる撮影によって得られる前記２つの画像のそれぞれのうち、焦点が当てられている領域を特定する焦点特定部を備え、前記調整部は、前記焦点特定部によって特定された領域に対して前記視差検出部によって検出された視差の大きさを、前記第２の閾値として設定してもよい。
　これにより、焦点が当てられている領域（いわゆるフォーカスエリア）における視差が第２の閾値として設定され、その第２の閾値より小さい領域に対して調整量が決定されるため、フォーカスエリアを鮮明に、つまり高画質化しながら、遠景の画像をぼかすことができる。
　また、前記方法特定部は、前記２つの画像のそれぞれを生成するための前記カメラの２つの光軸が交わる角度を輻輳角として特定し、前記輻輳角が予め定められた角度より小さいか否かを判別し、前記輻輳角が小さくないと判別したときには、前記撮影方法が交差法であると特定し、前記輻輳角が小さいと判別したときには、前記撮影方法が平行法であると特定してもよい。
　これにより、輻輳角が特定され、その輻輳角に応じて、撮影方法が平行法であるか交差法であるかが特定されるため、撮影方法を適切に特定することができる。
　また、前記視差検出部は、前記２つの画像の間の視差を視差ベクトルとして前記領域ごとに検出し、前記方法特定部は、前記視差検出部によって領域ごとに検出される視差ベクトルの分布の中で、負の向きの視差ベクトルと正の向きの視差ベクトルとが混在しているか否かを判別し、混在していると判別したときには、前記撮影方法が交差法であると特定し、混在していないと判別したときには、前記撮影方法が平行法であると特定してもよい。
　これにより、視差ベクトルの分布に応じて、撮影方法が平行法であるか交差法であるかが特定されるため、例えば、輻輳角に基づいて撮影方法を特定する場合と比べて、輻輳角をわざわざ特定する必要がなく、画像符号化装置の構成および処理動作を簡単にすることができる。
　また、前記符号化部は、前記２つの画像のそれぞれについて、前記領域ごとに直交変換する変換部と、前記領域ごとに、前記変換部による直交変換によって得られた周波数係数を量子化する量子化部とを備え、前記量子化部は、何れかの領域の周波数係数を量子化するときには、当該領域に対して前記調整部によって決定された調整量だけ量子化ステップを増加し、増加された量子化ステップを用いて当該領域の周波数係数を量子化することにより、当該領域の画像をぼかしてもよい。
　これにより、量子化ステップの増加によって画像がぼかされるため、画像の符号化に用いられるパラメータを、画像のぼかし処理に流用することができ、画像をぼかすための処理や構成要素を追加することなく、画像符号化装置の構成および処理動作を簡単にすることができる。
　また、前記符号化部は、前記２つの画像のそれぞれについて、前記領域ごとに直交変換する変換部を備え、前記変換部は、何れかの領域に対して直交変換を行い、当該領域に対して周波数係数を生成したときには、当該領域に含まれる周波数係数のうち、当該領域に対して前記調整部によって決定された調整量に応じた広さの高周波数領域の周波数係数を切り捨てることにより、当該領域の画像をぼかしてもよい。
　これにより、高周波数領域の周波数係数を切り捨てることによって画像がぼかされるため、画像の符号化によって生成されるデータを使って適切に画像をぼかすことができ、画像をぼかすための処理や構成要素を追加することなく、画像符号化装置の構成および処理動作を簡単にすることができる。
　また、前記符号化部は、前記領域ごとに検出された視差を用いて、前記２つの画像のうちの一方の画像を、他方の画像から予測することによって予測画像を生成し、前記一方の画像と前記予測画像との差分を算出することによって、前記一方の画像を符号化してもよい。
　これにより、いわゆる視差補償予測符号化が行われるため、２つの画像の符号化効率を向上することができる。
　また、前記方法特定部は、前記２つの画像のそれぞれの撮像の向きを示す線の間の角度を前記撮影方法として特定し、前記調整部は、前記領域ごとに、前記方法特定部によって特定された角度、および前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する。
　これにより、２つの画像のそれぞれのいわゆる中心線の間の角度と視差とに応じて画像がぼかされるため、その角度に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことができる。
　また、上記目的を達成するために、本発明の一態様に係る画像符号化装置は、立体視するための２つの画像を符号化する画像符号化装置であって、カメラによる平行法の撮影によって生成された前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出する視差検出部と、前記領域ごとに、前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部と、前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する符号化部とを備える。これにより、撮影方法が平行法である場合において、重要な領域にぼかし処理が行われてしまうのを防ぐことができる。
　なお、本発明は、このような画像符号化装置として実現することができるだけでなく、その画像符号化装置における処理動作の方法、画像符号化装置に処理動作させるためのプログラム、そのプログラムを格納する記録媒体、その画像符号化装置を備えるシステムや、その画像符号化装置によって符号化された信号を復号する画像復号装置としても実現することができる。
　本発明の画像符号化装置は、観視者の立体視による疲労を抑え、且つ撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことができる。
図１は、従来の画像符号化装置の構成を示すブロック図である。 図２Ａは、２つのカメラによる撮影方法を示す図である。 図２Ｂは、交差法における撮影距離と視差との関係を示す図である。 図３Ａは、２つのカメラによる他の撮影方法を示す図である。 図３Ｂは、平行法における撮影距離と視差との関係を示す図である。 図４は、本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。 図５Ａは、同上の交差法においてぼかし処理が行われる範囲を示す図である。 図５Ｂは、同上の平行法においてぼかし処理が行われる範囲を示す図である。 図６は、同上の画像符号化装置の動作を示すフローチャートである。 図７は、同上のぼかし度合い調整処理の詳細を示すフローチャートである。 図８は、同上の変形例に係る画像符号化装置の構成を示すブロック図である。 図９Ａは、同上の変形例に係る交差法においてぼかし処理が行われる範囲を示す図である。 図９Ｂは、同上の変形例に係る平行法においてぼかし処理が行われる範囲を示す図である。 図９Ｃは、同上の変形例に係る平行法においてぼかし処理が行われる他の範囲を示す図である。 図９Ｄは、同上の変形例に係る平行法において焦点にある被写体の像を示す図である。 図１０は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。 図１１は、同上の変形例に係る画像符号化装置の構成を示すブロック図である。 図１２は、本発明の実施の形態３における画像符号化システムの構成を示すブロック図である。 図１３は、本発明の実施の形態４における画像復号装置の構成を示すブロック図である。 図１４は、本発明の実施の形態５における画像復号装置の構成を示すブロック図である。 図１５は、本発明に係る画像符号化装置の構成を示すブロック図である。 図１６は、本発明に係る画像符号化装置の動作を示すフローチャートである。 図１７は、本発明に係る画像符号化装置の他の構成を示すブロック図である。 図１８Ａは、本発明に係るカメラの構成を説明するための図である。 図１８Ｂは、本発明に係るカメラの他の構成を説明するための図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　図４は、本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。
　ステレオ撮影機器３００Ａは、被写体を立体視可能なように撮影し、撮影によって生成されたステレオ映像信号を符号化する。このようなステレオ撮影機器３００Ａは、実施の形態１における画像符号化装置３００と、カメラＣａおよびＣｂと、記憶部Ｍｅとを備えている。
　カメラＣａおよびＣｂは、それぞれ互いに例えば６．５ｃｍの距離（人の両眼の平均的な間隔）を離して配置され、カメラＣａおよびＣｂを含む平面に垂直な方向（例えば、図１の紙面に垂直な方向）に沿う軸を中心に回動自在に取り付けられている。また、カメラＣａおよびＣｂはそれぞれ、被写体を撮影し、撮影によって得られた映像信号を画像符号化装置３００に出力する。なお、カメラＣａおよびＣｂのそれぞれから出力される映像信号を合わせて、ステレオ映像信号という。また、カメラＣａから出力される映像信号によって示される画像を、主画像と称し、カメラＣｂから出力される映像信号によって示される画像を、副画像と称す。この主画像および副画像によって、被写体の像が立体視される。映像信号は複数のピクチャから構成され、カメラＣａおよびＣｂのそれぞれは順次、略同一のタイミング（時刻）にピクチャを生成して出力する。
　記憶部Ｍｅは、画像符号化装置３００から出力される画像データ（後述の局所復号画像信号）を格納するための記録媒体である。
　画像符号化装置３００は、カメラＣａおよびＣｂから出力されるステレオ映像信号を符号化することによって、符号化ステレオ映像信号を生成して出力する。また、画像符号化装置３００は、ステレオ映像信号に含まれる２つの映像信号を符号化するときには、ピクチャを構成するブロック（領域）ごとにそれらの映像信号を符号化する。ここで、画像符号化装置３００は、カメラＣａから出力される映像信号を符号化するときには、映像信号に含まれる各ピクチャをそれぞれＩピクチャ、ＰピクチャおよびＢピクチャとして符号化する。なお、ＰピクチャおよびＢピクチャを符号化するときには、画像符号化装置３００は画面間予測符号化（動き補償予測符号化）を行う。一方、画像符号化装置３００は、カメラＣｂから出力される映像信号を符号化するときには、視差補償予測符号化を行い、映像信号に含まれる各ピクチャをそれぞれＰピクチャとして符号化する。つまり、画像符号化装置３００は、主画像のピクチャから、そのピクチャと同一のタイミングで生成された副画像のピクチャを予測し、その予測結果に基づいて副画像のピクチャを符号化する。
　このような画像符号化装置３００は、輻輳角調整部３０２、符号化調整部３０３、セレクタ３０４、検出部３０５、減算器３０６、スイッチ３０７、変換部３０８、量子化部３０９、可変長符号化部３１０、逆量子化部３１１、逆変換部３１２、加算器３１３、スイッチ３１４、および補償部３１６を備える。
　輻輳角調整部３０２は、カメラＣａおよびＣｂの輻輳角θを特定する。例えば、カメラＣａおよびＣｂにはそれぞれ角度を検出するセンサが取り付けられている。これらのセンサは、上述の回動によって可変に設定されているカメラＣａまたはＣｂの向きを上述の角度として検出する。輻輳角調整部３０２は、それらのセンサによって検出された角度を取得し、それらの角度に基づいて輻輳角θを特定する。
　さらに、輻輳角調整部３０２は、輻輳角θに基づいて、カメラＣａおよびＣｂによる撮影方法が平行法であるか交差法であるかを判別し、その判別結果を示す撮影方法信号を符号化調整部３０３に出力する。例えば、輻輳角調整部３０２は、輻輳角θが予め定められた角度よりも小さければ、撮影方法が平行法であると判別し、輻輳角θが予め定められた角度以上であれば、撮影方法が交差法であると判別する。
　セレクタ３０４は、カメラＣａおよびＣｂのそれぞれから出力される映像信号を取得し、それらの映像信号を交互に切り替えてスイッチ３０７、減算器３０６または検出部３０５に出力する。例えば、セレクタ３０４はピクチャ単位に切り替えを行う。この場合には、セレクタ３０４は、カメラＣａおよびＣｂからそれぞれ同一のタイミングでピクチャを取得すると、まず、カメラＣａから取得されたピクチャを出力し、次に、カメラＣｂから取得されたピクチャを出力する。
　減算器３０６は、セレクタ３０４から出力される映像信号によって示される符号化対象画像と、補償部３１６から出力される予測信号によって示される予測画像との差分をブロックごとに算出する。減算器３０６は、その差分を示す予測誤差信号をスイッチ３０７に出力する。ここで、減算器３０６は、符号化対象画像がＰピクチャまたはＢピクチャの画像（ブロック）である場合に、上述の差分を算出して予測誤差信号を出力する。
　スイッチ３０７は、符号化対象画像がＩピクチャの主画像である場合には、セレクタ３０４を変換部３０８に接続し、その符号化対象画像を示す映像信号をセレクタ３０４から変換部３０８に受け渡す。また、スイッチ３０７は、符号化対象画像がＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、減算器３０６を変換部３０８に接続し、ＰピクチャまたはＢピクチャの予測誤差信号を減算器３０６から変換部３０８に受け渡す。
　変換部３０８は、ブロックごとに、映像信号または予測誤差信号を画像信号としてスイッチ３０７を介して取得し、その画像信号に対して直交変換（例えば離散コサイン変換）を行う。これにより、変換部３０８は、画像信号を周波数係数（ＤＣＴ係数）に変換し、つまり、その画像信号の領域を空間領域から周波数領域に変換し、その周波数係数を量子化部３０９に出力する。
　量子化部３０９は、変換部３０８から周波数係数を取得し、その周波数係数に対して量子化を行う。つまり、量子化部３０９は、周波数係数を量子化ステップで除算することによって量子化値を生成する。ここで、量子化部３０９は、符号化調整部３０３から調整信号を受けたときには、その調整信号によって示される調整量だけ量子化ステップを増加する。例えば、量子化部３０９は、符号化対象ブロックに対して調整信号を受けていない場合には、画像符号化規格（具体的には、Ｈ．２６４／ＡＶＣなど）にしたがって決められている量子化ステップを用いてその符号化対象ブロックを量子化する。そして、量子化部３０９は、符号化対象ブロックに対して調整信号を受けた場合には、その画像符号化規格にしたがって決められている量子化ステップに上述の調整量を加算または乗算することによって、その量子化ステップが増加するように、その量子化ステップを更新する。量子化部３０９は、このように増加された量子化ステップを用いて符号化対象ブロックを量子化する。
　可変長符号化部３１０は、量子化部３０９によって生成された量子化値と、検出部３０５から出力されるベクトル（動きベクトルまたは視差ベクトル）とを可変長符号化することによって、符号化ステレオ映像信号を生成して出力する。なお、この可変長符号化は可逆的な符号化である。
　逆量子化部３１１は、量子化部３０９によって生成された量子化値に対して逆量子化を行うことによって逆量子化周波数係数を生成する。つまり、逆量子化部３１１は、量子化部３０９で用いられた量子化ステップを量子化値に乗算することよって逆量子化周波数係数を生成する。なお、このときに生成される逆量子化周波数係数は、変換部３０８によって生成された周波数係数と異なり量子化誤差を含んでいる。
　逆変換部３１２は、逆量子化部３１１によって生成された逆量子化周波数係数に対して逆直交変換（例えば逆離散コサイン変換）を行う。これにより、逆変換部３１２は、逆量子化周波数係数を画像信号に変換し、つまり、その逆量子化周波数係数の領域を周波数領域から空間領域に変換し、その画像信号を加算器３１３に出力する。
　加算器３１３は、符号化対象画像がＩピクチャの主画像である場合には、逆変換部３１２から出力される画像信号を局所復号画像信号として記憶部Ｍｅに格納する。また、加算器３１３は、符号化対象画像がＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、逆変換部３１２から出力される画像信号と、スイッチ３１４を介して補償部３１６から出力される予測信号とを加算し、その加算結果を局所復号画像信号として記憶部Ｍｅに格納する。
　検出部３０５は、セレクタ３０４から符号化対象画像を取得し、その符号化対象画像がＰピクチャまたはＢピクチャの主画像である場合には、その符号化対象画像に対してブロックごとに動きベクトルを検出する。つまり、検出部３０５は、記憶部Ｍｅに格納されている、既に符号化されて復号された他の主画像（ＩピクチャまたはＰピクチャ）を示す局所復号画像信号を参照画像として参照する。そして、検出部３０５は、符号化対象画像（符号化対象ブロック）と同一または類似のブロックをその参照画像から探索することによって、その符号化対象画像の動きを動きベクトルとして検出する。そして、検出部３０５は、その動きベクトルを補償部３１６および可変長符号化部３１０に出力する。
　一方、検出部３０５は、セレクタ３０４から取得した符号化対象画像がＰピクチャの副画像である場合には、その符号化対象画像に対してブロックごとに視差ベクトルを検出する。つまり、検出部３０５は、記憶部Ｍｅに格納されている、既に符号化されて復号された主画像（Ｉピクチャ、ＰピクチャまたはＢピクチャ）を示す局所復号画像信号を参照画像として参照する。そして、検出部３０５は、符号化対象画像（符号化対象ブロック）と同一または類似のブロックをその参照画像から探索することによって、その符号化対象ブロックと、同一または類似のブロックと間の位置関係を視差ベクトル（視差）として検出する。なお、符号化対象ブロックを含む副画像のピクチャと、主画像である参照画像（参照ピクチャ）とはそれぞれ、カメラＣａおよびＣｂによって同一のタイミングで生成されたピクチャである。そして、検出部３０５は、その視差ベクトルを符号化調整部３０３、補償部３１６および可変長符号化部３１０に出力する。なお、視差ベクトルは、上記ブロック間の位置関係を、左右方向の位置のずれとして示す。また、左右の何れか一方が正の向きであり、他方が負の向きである。
　補償部３１６は、検出部３０５から動きベクトルを取得したときには、その動きベクトルと参照画像を用いて動き補償を行うことによって予測信号を生成し、その予測信号を出力する。つまり、参照画像に含まれる上記同一または類似のブロックが上記動きベクトルに応じて空間的にシフトされる。一方、補償部３１６は、検出部３０５から視差ベクトルを取得したときには、その視差ベクトルと参照画像を用いて視差補償を行うことによって予測信号を生成し、その予測信号を出力する。つまり、参照画像に含まれる上記同一または類似のブロックが上記視差ベクトルに応じて空間的にシフトされる。
　スイッチ３１４は、符号化対象画像がＩピクチャの主画像である場合には、補償部３１６と加算器３１３との間を開放する。一方、スイッチ３１４は、符号化対象画像がＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、補償部３１６を加算器３１３に接続し、予測信号を補償部３１６から加算器３１３へ受け渡す。
　符号化調整部３０３は、輻輳角調整部３０２から撮影方法信号を取得するとともに、検出部３０５から視差ベクトルを取得する。そして、符号化調整部３０３は、その撮影方法信号が交差法を示すときには、大きさが第１の閾値より大きく、向きが負の視差ベクトルが検出されたブロックに対して、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。例えば、符号化調整部３０３は、視差ベクトルの大きさが大きいほど、大きい調整量を示す調整信号を出力する。この場合、量子化部３０９は、その調整信号を取得すると、その調整信号の示す調整量だけ量子化ステップを増加させる。
　一方、符号化調整部３０３は、撮影方法信号が平行法を示すときには、大きさが第２の閾値より小さく、向きが正の視差ベクトルが検出されたブロックに対して、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。例えば、符号化調整部３０３は、視差ベクトルの大きさが小さいほど、大きい調整量を示す調整信号を出力する。この場合、量子化部３０９は、その調整信号を取得すると、その調整信号の示す調整量だけ量子化ステップを増加させる。
　このように、増加された量子化ステップによってブロックの周波数係数が量子化されると、そのブロックの画像は、上述の画像符号化規格にしたがって符号化される画像と比べて、ぼけることとなる。このような画像をぼかす処理を、以下、ぼかし処理といい、上述の調整量を決定する処理をぼかし度合い調整処理という。
　図５Ａは、交差法においてぼかし処理が行われる範囲を示す図である。
　図５Ａに示すように、光軸の交点では、視差ベクトルの大きさは０である。ここで、例えば、第１の閾値が０の場合には、交点よりも遠い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、負であり、その大きさは第１の閾値である０より大きい。その結果、本実施の形態における画像符号化装置３００では、交点よりも遠い撮影距離Ｌにある被写体の像に対してぼかし処理が行われる。
　図５Ｂは、平行法においてぼかし処理が行われる範囲を示す図である。
　例えば、図５Ｂに示すように、撮影距離Ｌが距離Ｌａのときに、その距離Ｌａにおける視差ベクトルの大きさは第２の閾値となる。このような場合には、距離Ｌａよりも遠い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、正であり、その大きさは第２の閾値より小さい。その結果、本実施の形態における画像符号化装置３００では、距離Ｌａよりも遠い撮影距離Ｌにある被写体の像に対してぼかし処理が行われる。
　図６は、本実施の形態における画像符号化装置３００の動作を示すフローチャートである。
　画像符号化装置３００は、ステレオ映像信号に含まれるピクチャを順次符号化するときには、そのピクチャをブロックごとに符号化する。画像符号化装置３００は、そのブロックを符号化するときには、まず、そのブロックである符号化対象画像が主画像か否かを判別する（ステップＳ１００）。例えば、画像符号化装置３００に備えられた制御部（図示せず）が判別する。
　ここで、符号化対象画像が主画像であると判別されると（ステップＳ１００のＹ）、上述の制御部は、さらに、その符号化対象画像に対して動き補償予測符号化を行うべきか否かを判別する（ステップＳ１０２）。例えば、画像符号化装置３００は、符号化対象画像をＰピクチャまたはＢピクチャのブロックとして符号化するときには、動き補償予測符号化を行うべきと判別し、符号化対象画像をＩピクチャのブロックとして符号化するときには、動き補償予測符号化を行うべきでないと判別する。
　制御部は、動き補償予測符号化を行うべきと判別すると（ステップＳ１０２のＹ）、スイッチ３０７を制御して、減算器３０６を変換部３０８に接続させるとともに、スイッチ３１４を制御して、補償部３１６を加算器３１３に接続させる。
　次に、検出部３０５は、その符号化対象画像のブロックに対して動きベクトルを検出する（ステップＳ１０４）。さらに、補償部３１６は、その検出された動きベクトルを用いて動き補償を行うことによって、符号化対象画像のブロックに対する予測信号を生成する（ステップＳ１０６）。また、減算器３０６は、符号化対象画像から、予測信号の示す画像を減算することによって予測誤差信号を生成する（ステップＳ１０８）。
　変換部３０８は、ステップＳ１０８で生成された予測誤差信号に対して直交変換を行うことによって周波数係数を生成し（ステップＳ１１０）、量子化部３０９は、その周波数係数を量子化することによって量子化値を生成する（ステップＳ１１２）。そして、可変長符号化部３１０はその量子化値を可変長符号化する（ステップＳ１１４）。
　一方、制御部は、ステップＳ１０２で動き補償予測符号化を行うべきでないと判別すると（ステップＳ１０２のＮ）、スイッチ３０７を制御して、セレクタ３０４を変換部３０８に接続させるとともに、スイッチ３１４を制御して、補償部３１６と加算器３１３との間を開放させる。その結果、変換部３０８は、セレクタ３０４から出力された符号化対象画像のブロックに対して直交変換を行うことによって周波数係数を生成する（ステップＳ１１０）。量子化部３０９は、その周波数係数を量子化することによって量子化値を生成し（ステップＳ１１２）、可変長符号化部３１０はその量子化値を可変長符号化する（ステップＳ１１４）。
　また、制御部は、ステップＳ１００で符号化対象画像が副画像であると判別すると（ステップＳ１００のＮ）、スイッチ３０７を制御して、減算器３０６を変換部３０８に接続させるとともに、スイッチ３１４を制御して、補償部３１６を加算器３１３に接続させる。
　次に、検出部３０５は、その符号化対象画像のブロックに対して視差ベクトルを検出する（ステップＳ１１６）。さらに、補償部３１６は、その検出された視差ベクトルを用いて視差補償を行うことによって、符号化対象画像のブロックに対する予測信号を生成する（ステップＳ１１８）。また、減算器３０６は、符号化対象画像から、予測信号の示す画像を減算することによって予測誤差信号を生成する（ステップＳ１２０）。
　ここで、符号化調整部３０３は、ステップＳ１１６で検出された視差ベクトルと、輻輳角調整部３０２から出力された撮影方法信号とに基づいて、ぼかし度合い調整処理を実行する（ステップＳ１３０）。
　その後、変換部３０８は、ステップＳ１２０で生成された予測誤差信号に対して直交変換を行うことによって周波数係数を生成する（ステップＳ１４０）。さらに、量子化部３０９は、量子化ステップを用いてその周波数係数を量子化することによって量子化値を生成する（ステップＳ１４２）。ここで、量子化部３０９は、ステップＳ１３０で実行されたぼかし度合い調整処理によって調整量が決定された場合には、その調整量にしたがって量子化ステップを増加し、その増加された量子化ステップを用いて量子化を行う。また、量子化部３０９は、ステップＳ１３０で実行されたぼかし度合い調整処理によって調整量が決定されなかった場合には、画像符号化規格にしたがって決められている量子化ステップを用いて量子化を行う。そして、可変長符号化部３１０はその量子化値を可変長符号化する（ステップＳ１４２）。
　図７は、ぼかし度合い調整処理（ステップＳ１３０）の詳細を示すフローチャートである。
　まず、輻輳角調整部３０２は、輻輳角θを特定し、その輻輳角θに基づいて、カメラＣａおよびＣｂによる撮影方法が交差法であるか平行法であるかを判別する（ステップＳ１３２）。ここで、撮影方法が交差法であると判別されると（ステップＳ１３２の交差法）、符号化調整部３０３は、符号化対象画像のブロックに対して検出部３０５によって検出された視差ベクトルの向きが負であって、その視差ベクトルの大きさが第１の閾値よりも大きいか否かを判別する（ステップＳ１３４）。
　ここで、視差ベクトルの向きが負であって、その視差ベクトルの大きさが第１の閾値よりも大きいと判別されると（ステップＳ１３４のＹ）、符号化調整部３０３は、その視差ベクトルの大きさに基づいて、量子化部３０９によって用いられる量子化ステップの調整量を決定する（ステップＳ１３８）。例えば、符号化調整部３０３は、視差ベクトルの大きさが大きいほど大きい調整量を決定する。
　一方、ステップＳ１３４で、視差ベクトルの向きが負でない、または、その視差ベクトルの大きさが第１の閾値以下と判別されると（ステップＳ１３４のＮ）、符号化調整部３０３は調整量を決定しない。なお、このとき、符号化調整部３０３は、量子化ステップの増加が不要であることを示す調整量（例えば、０または１）を決定し、その調整量を示す調整信号を量子化部３０９に出力してもよい。この場合、量子化部３０９は、その調整信号を取得すると、画像符号化規格にしたがって決められている量子化ステップに対して、その調整信号の示す調整量＝０を加算、または、その調整量＝１を乗算する。その結果、量子化部３０９は、画像符号化規格にしたがって決められている量子化ステップを増加することなく、その量子化ステップを用いて量子化を行う。
　また、ステップＳ１３２で、輻輳角調整部３０２によって撮影方法が平行法であると判別されると（ステップＳ１３２の平行法）、符号化調整部３０３は、符号化対象画像のブロックに対して検出部３０５によって検出された視差ベクトルの向きが正であって、その視差ベクトルの大きさが第２の閾値よりも小さいか否かを判別する（ステップＳ１３６）。
　ここで、視差ベクトルの向きが正であって、その視差ベクトルの大きさが第２の閾値よりも小さいと判別されると（ステップＳ１３６のＹ）、符号化調整部３０３は、その視差ベクトルの大きさに基づいて、量子化部３０９によって用いられる量子化ステップの調整量を決定する（ステップＳ１３８）。例えば、符号化調整部３０３は、視差ベクトルの大きさが小さいほど大きい調整量を決定する。
　一方、ステップＳ１３６で、視差ベクトルの向きが正でない、または、その視差ベクトルの大きさが第２の閾値以上と判別されると（ステップＳ１３６のＮ）、符号化調整部３０３は調整量を決定しない。なお、このとき、符号化調整部３０３は、上述と同様、量子化ステップの増加が不要であることを示す調整量（例えば、０または１）を決定してもよい。
　なお、上述の説明では、副画像に対してのみぼかし処理を行ったが、主画像および副画像に対してぼかし処理を行ってもよい。この場合には、画像符号化装置３００は、上述のように、主画像の後に副画像をブロックごとに符号化し、ブロックごとの調整量が決定された後に、その調整量を用いて、副画像と同様に、もう一度、主画像を符号化する。
　このように本実施の形態では、撮影方法が交差法である場合に、ブロックに対して検出された視差ベクトルの向きが負であって、その視差ベクトルの大きさが第１の閾値よりも大きいときには、そのブロックには大きな量子化ステップが適用される。その結果、そのブロックはぼけた画像として符号化される。ここで、図５Ａに示すように、映像信号の示すピクチャの中で、交差法の交点の像を含むブロックの視差ベクトルの大きさは０（または略０）である。したがって、第１の閾値が０の場合には、上述の大きな量子化ステップが適用されるブロックは、撮影距離Ｌが交点よりも長い位置にある遠景が映っている領域である。その結果、撮影距離Ｌが交点よりも長い位置にある遠景が映っている領域の画像をぼかすことができる。また、交点の像を含むブロックが観視者にとって重要な領域であれば、その重要な領域の画像をぼかしてしまうのを防ぎ、重量な領域以外の遠景が映っている領域の画像をぼかすことができる。
　また、本実施の形態では、撮影方法が平行法である場合に、ブロックに対して検出された視差ベクトルの向きが正であって、その視差ベクトルの大きさが第２の閾値よりも小さいときには、そのブロックには大きな量子化ステップが適用される。その結果、そのブロックはぼけた画像として符号化される。ここで、図５Ｂに示すように、映像信号の示すピクチャの中で、距離Ｌａにある被写体の像を含むブロックの視差ベクトルの大きさは第２の閾値である。したがって、上述の大きな量子化ステップが適用されるブロックは、撮影距離Ｌが距離Ｌａよりも長い位置にある遠景が映っている領域である。その結果、撮影距離Ｌが距離Ｌａよりも長い位置にある遠景が映っている領域の画像をぼかすことができる。また、距離Ｌａの位置の被写体の像を含むブロックが観視者にとって重要な領域であれば、その重要な領域の画像をぼかしてしまうのを防ぎ、重量な領域以外の遠景が映っている領域の画像をぼかすことができる。
　このように、本実施の形態では、ぼかし処理によって観視者の立体視による疲労を抑え、且つ撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことができる。つまり、本実施の形態では、輻輳角によって撮影方法を識別することによって、撮影方法によって異なる視差の分布に対しても、重要な領域に対する高画質化と、遠景（背景）の領域に対するぼかし処理とを適切に行うことができる。
　なお、本実施の形態では、第１の閾値を０としたが、それ以外の値にしてもよい。また、本実施の形態では、画像符号化装置３００は、固定された第１および第２の閾値を用いたが、第１および第２の閾値を変更してもよい。例えば、符号化調整部３０３は、画像符号化装置３００の外部から信号を受信し、その信号にしたがって、第１または第２の閾値を変更する。これにより、上述の重要な領域を変更することができる。
　（変形例１）
　以下、本実施の形態における第１の変形例について説明する。本実施の形態では、量子化ステップを増加することによって符号化対象ブロックの画像をぼかしたが、そのブロックの高周波数領域の周波数係数を切り捨てることによってそのブロックの画像をぼかしてもよい。
　つまり、本変形例に係る符号化調整部３０３は、上述の調整信号を変換部３０８に出力する。この調整信号によって示される調整量は、変換部３０８において切り捨てられる高周波数領域の広さとして扱われる。
　具体的には、変換部３０８は、符号化調整部３０３から調整信号を取得すると、直交変換によって生成されたブロックの周波数係数のうち、その調整信号の示す調整量に応じた広さの高周波数領域に含まれる周波数係数を切り捨てる。つまり、変換部３０８は、調整量が大きければ、広い範囲の高周波数領域の周波数係数を０に変更し、調整量が小さければ、狭い範囲の高周波数領域の周波数係数を０に変更する。
　なお、周波数係数の切り捨てと、量子化ステップの増加とを共に行ってもよい。
　（変形例２）
　以下、本実施の形態における第２の変形例について説明する。本変形例に係る画像符号化装置は焦点を調整し、その焦点にある被写体の画像をぼかすことなく、撮影距離Ｌが焦点よりも長い位置にある遠景が映っている領域の画像を適切にぼかす点に特徴がある。
　図８は、本変形例に係る画像符号化装置の構成を示すブロック図である。
　本変形例に係る画像符号化装置５００は、上述の画像符号化装置３００に対して、さらに、焦点調整部４０２を備えるとともに、画像符号化装置３００の符号化調整部３０３の代わりに符号化調整部５０３を備える。
　焦点調整部４０２は、カメラＣａおよびＣｂの焦点を調整する。このとき、焦点調整部４０２は、カメラＣａおよびＣｂの焦点（焦点距離）が同一となるように調整する。また、焦点調整部４０２は、カメラＣａおよびＣｂから出力されるピクチャの中で、焦点が当てられている被写体の像を含むブロックの位置を示す焦点信号を符号化調整部５０３に出力する。例えば、焦点調整部４０２は、オートフォーカス（具体的には、コントラスト検出方式など）によって上記ブロックを識別する。
　符号化調整部５０３は、ピクチャごとに焦点信号を取得すると、その焦点信号によって示される位置のブロックに対して検出部３０５によって検出された視差ベクトルの大きさを、第１または第２の閾値として設定する。つまり、符号化調整部５０３は、輻輳角調整部３０２から取得された撮影方法信号が交差法を示す場合には、上述の視差ベクトルの大きさを第１の閾値として設定する。一方、符号化調整部５０３は、輻輳角調整部３０２から取得された撮影方法信号が平行法を示す場合には、上述の視差ベクトルの大きさを第２の閾値として設定する。
　図９Ａは、交差法においてぼかし処理が行われる範囲を示す図である。
　図９Ａに示すように、第１の閾値は、焦点における視差ベクトルの大きさに設定される。そして、向きが負であって、大きさが第１の閾値より大きい視差ベクトルを有するブロックに対してぼかし処理が行われる。
　ここで、例えば、焦点の撮影距離Ｌが交点よりも短い場合がある。この場合、向きが負であって、大きさが第１の閾値と等しい視差ベクトルが生じる位置を焦点対応位置といい、その焦点対応位置よりも遠い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、負であり、その大きさは第１の閾値より大きい。その結果、焦点対応位置よりも遠い撮影距離Ｌにある被写体の像（遠景）に対してぼかし処理が行われる。
　なお、焦点の撮影距離Ｌが交点よりも短い場合であっても、焦点対応位置ではなく、その焦点より遠い撮影距離Ｌにある被写体の像（遠景）に対してぼかし処理を行ってもよい。
　また、さらに、焦点における視差ベクトルの大きさよりも、予め定められた大きさまたは割合だけ大きい第４の閾値（図示せず）が設定されてもよい。この場合、交差法において、焦点より近い位置であってその第４の閾値に対応する位置よりさらに近い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、正であり、その大きさは第４の閾値より大きい。符号化調整部３０３は、大きさが第４の閾値より大きく、向きが正の視差ベクトルが検出されたブロックに対しても、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。その結果、焦点よりも近い撮影距離Ｌにある前景などの被写体の像に対してもぼかし処理が行われる。これにより、前景の大きな視差による観視者の疲労を抑えることができる。
　図９Ｂは、平行法においてぼかし処理が行われる範囲を示す図である。
　図９Ｂに示すように、第２の閾値は、焦点における視差ベクトルの大きさに設定される。したがって、平行法において、焦点よりも遠い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、正であり、その大きさは第２の閾値より小さい。その結果、焦点よりも遠い撮影距離Ｌにある被写体の像に対してぼかし処理が行われる。
　このように、本変形例では、撮影方法に関わらず、焦点にある被写体の像を含む領域（フォーカスエリア）の画像を鮮明にし、フォーカスエリア以外の遠景が映っている領域の画像をぼかすことができる。つまり、一般的なカメラ撮影時に、焦点と交点とがずれる可能性が高く、撮影者が意図した撮影構図に合わせた、より自然な立体画像を形成することができる。
　図９Ｃは、平行法においてぼかし処理が行われる他の範囲を示す図である。
　図９Ｃに示すように、第２の閾値は、焦点における視差ベクトルの大きさよりも小さく、限りなく０に近い値に設定されてもよい。この場合、平行法において、焦点より遠い位置であってその第２の閾値に対応する位置Ｌｂよりさらに遠い撮影距離Ｌにある被写体の像（例えば遠い背景などの像）の視差ベクトルの向きは、正であり、その大きさは第２の閾値より小さい。その結果、焦点よりもより遠い撮影距離Ｌにある背景などの被写体の像に対してぼかし処理が行われる。
　ここで、さらに、焦点における視差ベクトルの大きさよりも、予め定められた大きさまたは割合だけ大きい第３の閾値が設定されてもよい。この場合、平行法において、焦点より近い位置であってその第３の閾値に対応する位置Ｌｃよりさらに近い撮影距離Ｌにある被写体の像の視差ベクトルの向きは、正であり、その大きさは第３の閾値より大きい。符号化調整部３０３は、大きさが第３の閾値より大きく、向きが正の視差ベクトルが検出されたブロックに対しても、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。その結果、焦点よりも近い撮影距離Ｌにある前景などの被写体の像に対してもぼかし処理が行われる。これにより、前景の大きな視差による観視者の疲労を抑えることができる。
　また、上述のような場合には、焦点にある被写体の像に対して視差（視差ベクトル）が生じている。このような視差によって、主画像と副画像のそれぞれに映っている被写体の像の位置がずれ、その被写体の像が見づらくなることがある。
　図９Ｄは、焦点にある被写体の像を示す図である。
　主画像ｐＬおよび副画像ｐＲには、それぞれ被写体の像ｄＬおよびｄＲが映っている。また、その被写体に焦点が当てられている。このとき、その焦点における視差（視差ベクトル）によって、それらの被写体の像ｄＬおよびｄＲの位置はずれている。例えば、被写体の像ｄＬの位置は、主画像ｐＬの中心から右にずれ、被写体の像ｄＲの位置は副画像ｐＲの中心から左にずれている。
　したがって、画像復号装置（画像再生装置）が主画像ｐＬおよび副画像ｐＲを単純に再生する場合、主画像ｐＬおよび副画像ｐＲを立体視することよって得られる立体画像ｐＬＲには、被写体の像ｄＬおよびｄＲがそれぞれ左右にずれて表示される。そこで、画像復号装置（再生装置）は、それらの被写体の像ｄＬおよびｄＲを、視差ベクトルの大きさが０となるようにシフトさせて立体画像ｐＬＲ’を表示してもよい。これにより、焦点にある被写体の像ｄＬＲを鮮明に表示させることができる。
　なお、本変形例では、画像符号化装置５００は、焦点調整部４０２を１つだけ備えたが、カメラＣａおよびＣｂのそれぞれに１つずつ焦点調整部４０２を備えても良い。
　なお、本実施の形態およびその変形例では、輻輳角調整部３０２が、カメラＣａおよびＣｂを回動させてもよい。つまり、輻輳角調整部３０２は、画像符号化装置の外部から、設定すべき角度（設定角度）を示す信号を受信し、輻輳角θがその設定角度となるようにカメラＣａおよびＣｂを回動させてもよい。この場合、輻輳角調整部３０２は、その設定角度を輻輳角θとして特定する。また、本実施の形態およびその変形例では、画像符号化装置は輻輳角調整部３０２を１だけ備えたが、カメラＣａおよびＣｂのそれぞれに対して１つずつ輻輳角調整部３０２を備えてもよい。
　（実施の形態２）
　本実施の形態における画像符号化装置は、ピクチャを構成する各ブロックに対して検出された視差ベクトルの分布（視差分布）に基づいて撮影方法を特定する点に特徴がある。
　図１０は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。
　本実施の形態における画像符号化装置６００は、視差分布識別部６０１、符号化調整部６０２、セレクタ３０４、検出部３０５、減算器３０６、スイッチ３０７、変換部３０８、量子化部３０９、可変長符号化部３１０、逆量子化部３１１、逆変換部３１２、加算器３１３、スイッチ３１４、および補償部３１６を備える。なお、本実施の形態では、画像符号化装置６００が備える構成要素のうち、実施の形態１の画像符号化装置３００が備える構成要素と同一のものに対しては、実施の形態１の構成要素と同一の参照符号を付し、詳細な説明を省略する。つまり、画像符号化装置６００は、実施の形態１の画像符号化装置３００と比べて、輻輳角調整部３０２および符号化調整部３０３の代わりに、視差分布識別部６０１および符号化調整部６０２を備えている。
　この画像符号化装置６００は、視差分布を生成し、その視差分布に基づいて撮影方法が平行法か交差法かを特定する。画像符号化装置６００は、視差分布を生成するために、カメラＣａおよびＣｂに対して主画像および副画像の試し撮りを実行させる。
　つまり、画像符号化装置６００は、カメラＣａから出力される映像信号に含まれるＩピクチャを符号化（直交変換および量子化）して復号（逆直交変換および逆量子化）し、そのＩピクチャの局所復号画像信号を記憶部Ｍｅに格納する。
　次に、検出部３０５は、カメラＣｂから出力される映像信号に含まれるピクチャを取得し、そのピクチャを構成するブロックごとに、そのブロックの視差ベクトルを検出する。つまり、検出部３０５は、記憶部Ｍｅに格納されている上述のＩピクチャの局所復号画像信号を参照画像として参照することによって、副画像のピクチャに含まれる各ブロックの視差ベクトルを検出する。
　視差分布識別部６０１は、検出部３０５によって検出された視差ベクトルを取得し、副画像のピクチャに含まれる各ブロックの視差ベクトルの分布、つまり視差分布を生成する。そして、視差分布識別部６０１は、その視差分布の中で、正の向きの視差ベクトルと負の向きの視差ベクトルとが混在しているか否かを判別し、その判別結果を示す撮影方法信号を符号化調整部６０２に出力する。具体的には、視差分布識別部６０１は、混在していると判別した場合には、撮影方法が交差法であることを示す撮影方法信号を出力し、混在していないと判別した場合には、撮影方法が平行法であることを示す撮影方法信号を出力する。
　符号化調整部６０２は、視差分布識別部６０１から撮影方法信号を取得する。そして、符号化調整部６０２は、実施の形態１の符号化調整部３０３と同様、その撮影方法信号が交差法を示すときには、大きさが第１の閾値より大きく、向きが負の視差ベクトルを有するブロックに対して、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。一方、符号化調整部６０２は、撮影方法信号が平行法を示すときには、大きさが第２の閾値より小さく、向きが正の視差ベクトルを有するブロックに対して、その視差ベクトルの大きさに応じた調整量を決定し、その調整量を示す調整信号を量子化部３０９に出力する。
　このように、本実施の形態では、視差分布から撮影方法を特定するため、実施の形態１のような、カメラＣａおよびＣｂの角度を検出するセンサや輻輳角調整部３０２などを必要とすることなく、画像符号化装置の構成および処理を簡単にすることができる。
　（変形例１）
　以下、本実施の形態における第１の変形例について説明する。本実施の形態では、量子化ステップを増加することによってブロックの画像をぼかしたが、実施の形態１の変形例１と同様、ブロックの高周波数領域の周波数係数を切り捨てることによってそのブロックの画像をぼかしてもよい。
　つまり、本変形例に係る符号化調整部６０２は、上述の調整信号を変換部３０８に出力する。この調整信号によって示される調整量は、変換部３０８において切り捨てられる高周波数領域の広さとして扱われる。
　具体的には、変換部３０８は、符号化調整部６０２から調整信号を取得すると、直交変換によって生成されたブロックの周波数係数のうち、その調整信号の示す調整量に応じた広さの高周波数領域に含まれる周波数係数を切り捨てる。つまり、変換部３０８は、調整量が大きければ、広い範囲の高周波数領域の周波数係数を０に変更し、調整量が小さければ、狭い範囲の高周波数領域の周波数係数を０に変更する。
　なお、周波数係数の切り捨てと、量子化ステップの増加とを共に行ってもよい。
　（変形例２）
　以下、本実施の形態における第２の変形例について説明する。本変形例に係る画像符号化装置は、実施の形態１の変形例２と同様、焦点を調整し、その焦点にある被写体の画像をぼかすことなく、撮影距離Ｌが焦点よりも長い位置にある遠景が映っている領域の画像を適切にぼかす点に特徴がある。
　図１１は、本変形例に係る画像符号化装置の構成を示すブロック図である。
　本変形例に係る画像符号化装置７００は、上述の画像符号化装置６００に対して、さらに、焦点調整部４０２を備えるとともに、画像符号化装置６００の符号化調整部６０２の代わりに符号化調整部７０２を備える。
　焦点調整部４０２は、カメラＣａおよびＣｂの焦点を調整する。このとき、焦点調整部４０２は、カメラＣａおよびＣｂの焦点（焦点距離）が同一となるように調整する。また、焦点調整部４０２は、カメラＣａおよびＣｂから出力されるピクチャの中で、焦点が当てられている被写体の像を含むブロックの位置を示す焦点信号を符号化調整部７０２に出力する。
　符号化調整部７０２は、ピクチャごとに焦点信号を取得すると、その焦点信号によって示される位置のブロックに対して検出部３０５によって検出された視差ベクトルの大きさを、第１または第２の閾値として設定する。つまり、符号化調整部７０２は、視差分布識別部６０１から取得された撮影方法信号が交差法を示す場合には、上述の視差ベクトルの大きさを第１の閾値として設定する。一方、符号化調整部７０２は、視差分布識別部６０１から取得された撮影方法信号が平行法を示す場合には、上述の視差ベクトルの大きさを第２の閾値として設定する。
　このように、本変形例では、実施の形態１の変形例２と同様、撮影方法に関わらず、焦点にある被写体の像を含む領域（フォーカスエリア）の画像を鮮明にし、フォーカスエリア以外の遠景が映っている領域の画像をぼかすことができる。なお、本変形例では、画像符号化装置７００は、焦点調整部４０２を１つだけ備えたが、カメラＣａおよびＣｂのそれぞれに１つずつ焦点調整部４０２を備えても良い。
　（実施の形態３）
　本実施の形態では、本発明に係る画像符号化装置を備えたシステムについて説明する。
　図１２は、本実施の形態における画像符号化システムの構成を示すブロック図である。
　画像符号化システム８００は、画像符号化部８０１、記憶部Ｍｅ、カメラＣａ、カメラＣｂ、表示部８０４、および外部記録装置８０５を備える。本実施の形態における記憶部Ｍｅ、カメラＣａおよびカメラＣｂは、実施の形態１および２とそれらの変形例における記憶部Ｍｅ、カメラＣａおよびカメラＣｂと同一である。また、本実施の形態における画像符号化部８０１は、実施の形態１および２とそれらの変形例における画像符号化装置３００、５００、６００または７００である。
　カメラＣａは、レンズＣａ１、撮像素子Ｃａ２、主制御部Ｃａ３およびレンズ制御部Ｃａ４を備える。撮像素子Ｃａ２は、例えばＣＣＤ（Charge Coupled Device）から構成され、レンズＣａ１を介して光信号を取得し、その光信号を電気信号に変換して主制御部Ｃａ３に出力する。レンズ制御部Ｃａ４は、主制御部Ｃａ３からの制御に応じて、レンズＣａ１の焦点などを調整する。主制御部Ｃａ３は、例えばＩＣ（Integrated Circuit）から構成され、撮像素子Ｃａ２から出力された電気信号を取得し、その電気信号を映像信号として画像符号化部８０１に出力する。さらに、主制御部Ｃａ３は、撮像素子Ｃａ２およびレンズ制御部Ｃａ４を制御することにより、シャッタースピード、ゲイン調整、および焦点調整などを行う。
　カメラＣｂは、レンズＣｂ１、撮像素子Ｃｂ２、主制御部Ｃｂ３およびレンズ制御部Ｃｂ４を備える。カメラＣｂが備えるこれらの構成要素は、それぞれカメラＣａが備える上述の各構成要素と同一である。
　なお、主制御部Ｃａ３およびＣｂ３はそれぞれ、カメラＣａおよびＣｂの焦点およびシャッタースピードなどが同一となるように協調動作を行う。
　表示部８０４は、例えば液晶ディスプレイなどを備え、画像符号化部８０１からステレオ映像信号を取得し、そのステレオ映像信号により示される主画像および副画像を表示する。なお、表示部８０４は、画像符号化部８０１から局所復号画像信号を取得し、その局所復号画像信号により示される主画像および副画像を表示してもよい。
　外部記録装置８０５は、例えばＣＤ（Compact Disc）、ＭＯ（Magnet Optical disk）、ＤＶＤ（Digital Versatile Disk）、ＢＤ（Blu-ray Disc）、または半導体メモリなどの記録媒体が装着されるように構成されている。そして、外部記録装置８０５は、画像符号化部８０１から符号化ステレオ映像信号を取得し、その符号化ステレオ映像信号を装着された記録媒体に書き込む。
　（実施の形態４）
　図１３は、本発明の実施の形態４における画像復号装置の構成を示すブロック図である。
　画像復号装置１０００は、実施の形態１、２またはそれらの変形例の画像符号化装置から出力される符号化ステレオ映像信号を復号する装置であって、可変長復号部１００１、逆量子化／逆変換部１００２、動き／視差補償部１００３、加算器１００４、デブロッキングフィルタ１００５、フィルタ処理識別部１００６、エッジ強調部１００７、およびスイッチ１００８を備える。
　また、この画像復号装置１０００は、記憶部Ｍｅ１にデータを格納したり読み出したりしながら、符号化ステレオ映像信号に含まれる主画像および副画像のピクチャをそれぞれブロックごとに復号し、立体視可能なように、復号されたピクチャを表示部Ｄ１に表示せる。さらに、画像復号装置１０００は、外部から主画像表示信号を取得したときには、符号化ステレオ映像信号に含まれる主画像だけを表示部Ｄ１に表示させる。つまり、表示部Ｄ１が３Ｄ映像の表示に対応していない場合には、画像復号装置１０００は２Ｄ映像を表示部Ｄ１に表示させる。
　なお、本実施の形態において復号される符号化ステレオ映像信号では、副画像だけでなく主画像に対しても、実施の形態１、２またはそれらの変形例における、ぼかし処理が行われている。
　可変長復号部１００１は、符号化ステレオ映像信号を可変長復号する。これによって、可変長符号化された、撮影方法信号と、量子化値と、量子化ステップと、動きベクトルまたは視差ベクトルとが復号される。つまり、実施の形態１、２またはそれらの変形例の画像符号化装置から出力される符号化ステレオ映像信号は、可変長符号化された撮影方法信号と、ブロックごとに可変長符号化された量子化値および量子化ステップ（量子化パラメータ）と、ブロックごとに可変長符号化された動きベクトルまたは視差ベクトルとを含んでいる。
　可変長復号部１００１は、動きベクトルまたは視差ベクトルを動き／視差補償部１００３に出力し、量子化値および量子化ステップ（量子化パラメータ）を逆量子化／逆変換部１００２に出力し、撮影方法信号をフィルタ処理識別部１００６に出力する。
　逆量子化／逆変換部１００２は、可変長復号部１００１から量子化値および量子化ステップ（量子化パラメータ）をブロックごとに取得すると、その量子化値に対して、量子化ステップを用いた逆量子化を行い、その結果、ブロックごとに逆量子化周波数係数を生成する。さらに、逆量子化／逆変換部１００２は、逆量子化周波数係数に対して逆直交変換（例えば逆離散コサイン変換）を行う。これにより、逆量子化／逆変換部１００２は、逆量子化周波数係数を画像信号に変換し、つまり、その逆量子化周波数係数の領域を周波数領域から空間領域に変換し、その画像信号を加算器１００４に出力する。さらに、逆量子化／逆変換部１００２は、ブロックごとに逆量子化に用いた量子化ステップをフィルタ処理識別部１００６に出力する。
　加算器１００４は、復号対象画像がＩピクチャの主画像である場合には、逆量子化／逆変換部１００２から出力される画像信号を復号画像信号としてデブロッキングフィルタ１００５に出力する。また、加算器１００４は、復号対象画像がＰピクチャまたはＢピクチャの画像（主画像または副画像）である場合には、逆量子化／逆変換部１００２から出力される画像信号と、動き／視差補償部１００３から出力される予測信号とを加算し、その加算結果を復号画像信号としてデブロッキングフィルタ１００５に出力する。
　デブロッキングフィルタ１００５は、加算器１００４から復号画像信号を取得すると、その復号画像信号をフィルタリングする。つまり、デブロッキングフィルタ１００５は、その復号画像信号が示すブロックの画像の歪（ブロッキング歪）を除去し、その歪が除去された復号画像信号を記憶部Ｍｅ１に格納する。
　動き／視差補償部１００３は、復号対象画像（復号対象ブロック）がＰピクチャまたはＢピクチャの主画像である場合には、可変長復号部１００１から取得した動きベクトルを用いて動き補償を行うことによって予測信号を生成し、その予測信号を加算器１００４に出力する。つまり、動き／視差補償部１００３は、記憶部Ｍｅ１に格納されている、既に復号された主画像（ＩピクチャまたはＰピクチャ）を示す復号画像信号を参照画像として参照する。そして、動き／視差補償部１００３は、その参照画像中のブロックを動きベクトルに応じて空間的にシフトし、そのブロックの画像を示す信号を予測信号として生成して出力する。
　一方、動き／視差補償部１００３は、復号対象画像（復号対象ブロック）がＰピクチャの副画像である場合には、可変長復号部１００１から取得した視差ベクトルを用いて視差補償を行うことによって予測信号を生成し、その予測信号を加算器１００４に出力する。つまり、動き／視差補償部１００３は、記憶部Ｍｅ１に格納されている、既に復号された主画像（Ｉピクチャ、ＰピクチャまたはＢピクチャ）を示す復号画像信号を参照画像として参照する。そして、動き／視差補償部１００３は、その参照画像中のブロックを視差ベクトルに応じて空間的にシフトし、そのブロックの画像を示す信号を予測信号として生成して出力する。さらに、動き／視差補償部１００３は、その視差補償に用いた視差ベクトルをフィルタ処理識別部１００６に出力する。
　エッジ強調部１００７は、フィルタ処理識別部１００６から調整信号を取得すると、その調整信号に基づいて、記憶部Ｍｅ１に格納されている復号画像信号の画像のエッジを強調する処理を行い、その処理された復号画像信号をスイッチ１００８に出力する。
　スイッチ１００８は、フィルタ処理識別部１００６による制御に応じて接続を切り替える。つまり、スイッチ１００８は、エッジ強調部１００７を介して表示部Ｄ１を記憶部Ｍｅ１に接続させたり、エッジ強調部１００７を介さずに表示部Ｄ１を記憶部Ｍｅ１に接続させたりする。
　フィルタ処理識別部１００６は、主画像および副画像を表示する場合には、つまり、主画像のみを表示すべきことを示す主画像表示信号を取得していない場合には、スイッチ１００８を制御し、表示部Ｄ１を記憶部Ｍｅ１に接続させる。これにより、記憶部Ｍｅ１に格納されている主画像および副画像を示す復号画像信号が読み出され、主画像および副画像が表示部Ｄ１に交互に表示される。したがって、この場合には、立体的に画像が表示される。
　一方、フィルタ処理識別部１００６は、主画像のみを表示すべきことを示す主画像表示信号を取得した場合には、表示対象の主画像のブロックごとに、スイッチ１００８に接続を切り替えさせる。つまり、フィルタ処理識別部１００６は、ブロックごとに、そのブロックに対して符号化時にぼかし処理が行われた否かを、動き／視差補償部１００３から出力される、そのブロックに対応する視差ベクトルと、可変長復号部１００１から出力される撮影方法信号とに基づいて判別する。そして、フィルタ処理識別部１００６は、その判別結果に応じてスイッチ１００８を制御する。
　具体的には、フィルタ処理識別部１００６は、撮影方法信号が交差法を示す場合には、ブロックに対応する視差ベクトルの向きが負で、且つその大きさが第１の閾値よりも大きいときに、そのブロックに対して符号化時にぼかし処理が行われた判別する。また、フィルタ処理識別部１００６は、撮影方法信号が平行法を示す場合には、ブロックに対応する視差ベクトルの向きが正で、且つその大きさが第２の閾値よりも小さいときに、そのブロックに対して符号化時にぼかし処理が行われたと判別する。
　フィルタ処理識別部１００６は、ぼかし処理が行われていないと判別すると、スイッチ１００８を制御することにより、表示部Ｄ１を記憶部Ｍｅ１に接続させる。これにより、記憶部Ｍｅ１に格納されている主画像のブロックを示す復号画像信号が読み出され、その主画像のブロックが表示部Ｄ１に表示される。一方、フィルタ処理識別部１００６は、ぼかし処理が行われていると判別すると、スイッチ１００８を制御することにより、表示部Ｄ１をエッジ強調部１００７に接続させる。これにより、エッジ強調部１００７は、ぼかし処理が行われた主画像のブロックを示す復号画像信号を記憶部Ｍｅ１から読み出し、その復号画像信号によって示される主画像（ブロック）のエッジを強調し、その主画像のブロックを表示部Ｄ１に表示させる。
　さらに、フィルタ処理識別部１００６は、ぼかし処理が行われていると判別すると、逆量子化／逆変換部１００２から出力された、主画像のブロックの逆量子化に用いられた量子化ステップに基づいて、ぼかし度合いを示す上述の調整量を特定する。つまり、フィルタ処理識別部１００６は、主画像のブロックの逆量子化に用いられた量子化ステップから、予め定められた量子化ステップ（例えば、画像符号化規格によって決められている量子化ステップ）を減算し、その減算結果を調整量として特定する。そして、フィルタ処理識別部１００６は、その調整量を示す調整信号をエッジ強調部１００７に出力する。これにより、エッジ強調部１００７は、復号画像信号によって示される主画像（ブロック）のエッジを強調するときには、エッジ強調部１００７から調整信号を取得し、その調整信号により示される調整量だけエッジを強調する。
　このように、本実施の形態における画像復号装置１０００は、実施の形態１、２またはそれらの変形例における画像符号化装置によって生成される符号化ステレオ映像信号を立体視し得るように適切に復号して表示部Ｄ１に表示することができる。さらに、本実施の形態における画像復号装置１０００は、表示部Ｄ１が３Ｄ映像の表示に対応していない場合には、主画像のみを表示部Ｄ１に表示させることができる。このとき、画像復号装置１０００は、その主画像に対して符号化時にぼかし処理が行われていても、そのぼかされた主画像のエッジを適切に強調して、主画像を鮮明な２Ｄ映像として表示部Ｄ１にすることができる。
　（実施の形態５）
　図１４は、本発明の実施の形態５における画像復号装置の構成を示すブロック図である。
　画像復号装置１１００は、実施の形態１、２またはそれらの変形例の画像符号化装置から出力される符号化ステレオ映像信号を復号する装置であって、可変長復号部１００１、逆量子化／逆変換部１００２、動き／視差補償部１００３、加算器１００４、デブロッキングフィルタ１０１０、フィルタ処理識別部１０１１、およびスイッチ１００９を備える。
　また、この画像復号装置１１００は、記憶部Ｍｅ１にデータを格納したり読み出したりしながら、符号化ステレオ映像信号に含まれる主画像および副画像のピクチャをそれぞれブロックごとに復号し、立体視可能なように、復号されたピクチャを表示部Ｄ１に表示せる。さらに、画像復号装置１１００は、外部から主画像表示信号を取得したときには、符号化ステレオ映像信号に含まれる主画像だけを表示部Ｄ１に表示させる。つまり、表示部Ｄ１が３Ｄ映像の表示に対応していない場合には、画像復号装置１０００は２Ｄ映像を表示部Ｄ１に表示させる。
　なお、本実施の形態において復号される符号化ステレオ映像信号では、副画像だけでなく主画像に対しても、実施の形態１、２またはそれらの変形例における、ぼかし処理が行われている。また、本実施の形態では、画像復号装置１１００が備える各構成要素のうち、実施の形態４の画像復号装置１０００が備える構成要素と同一のものに対しては、実施の形態４の構成要素と同一の参照符号を付し、詳細な説明を省略する。
　スイッチ１００９は、フィルタ処理識別部１０１１による制御に応じて接続を切り替える。つまり、スイッチ１００９は、加算器１００４をデブロッキングフィルタ１０１０の入力に接続させたり、記憶部Ｍｅ１をデブロッキングフィルタ１０１０の入力に接続させたりする。
　デブロッキングフィルタ１０１０は、実施の形態４のデブロッキングフィルタ１００５と同様、加算器１００４から復号画像信号を取得すると、その復号画像信号をフィルタリングする。つまり、デブロッキングフィルタ１０１０は、その復号画像信号が示すブロックの画像の歪（ブロッキング歪）を除去し、その歪が除去された復号画像信号を記憶部Ｍｅ１に格納する。また、デブロッキングフィルタ１０１０は、フィルタ処理識別部１０１１から調整信号を取得したときには、その調整信号によって示される調整量に応じた強度のフィルタリングを実行する。
　フィルタ処理識別部１０１１は、主画像および副画像を表示する場合には、つまり、主画像のみを表示すべきことを示す主画像表示信号を取得していない場合には、スイッチ１００９を制御し、加算器１００４をデブロッキングフィルタ１０１０の入力に接続させる。これにより、記憶部Ｍｅ１に格納されている主画像および副画像を示す復号画像信号が読み出され、主画像および副画像が表示部Ｄ１に交互に表示される。したがって、この場合には、立体的に画像が表示される。
　一方、フィルタ処理識別部１０１１は、主画像のみを表示すべきことを示す主画像表示信号を取得した場合には、表示対象の主画像のブロックごとに、スイッチ１００９に接続を切り替えさせる。つまり、フィルタ処理識別部１０１１は、実施の形態４のフィルタ処理識別部１００６と同様に、ブロックごとに、そのブロックに対して符号化時にぼかし処理が行われた否かを、動き／視差補償部１００３から出力される、そのブロックに対応する視差ベクトルと、可変長復号部１００１から出力される撮影方法信号とに基づいて判別する。そして、フィルタ処理識別部１０１１は、その判別結果に応じてスイッチ１００９を制御する。
　フィルタ処理識別部１０１１は、ぼかし処理が行われていないと判別すると、スイッチ１００９を制御することにより、加算器１００４をデブロッキングフィルタ１０１０の入力に接続させる。これにより、加算器１００４から出力される主画像のブロックを示す復号画像信号は、デブロッキングフィルタ１０１０によってフィルタリングされ、記憶部Ｍｅ１を介して表示部Ｄ１に出力され、その表示部Ｄ１に表示される。
　一方、フィルタ処理識別部１０１１は、ぼかし処理が行われていると判別すると、まず、スイッチ１００９を制御することにより、加算器１００４をデブロッキングフィルタ１０１０の入力に接続させる。これにより、加算器１００４から出力される主画像のブロックを示す復号画像信号は、デブロッキングフィルタ１０１０によってフィルタリングされ、記憶部Ｍｅ１に格納される。次に、フィルタ処理識別部１０１１は、スイッチ１００９を制御することにより、記憶部Ｍｅ１をデブロッキングフィルタ１０１０の入力に接続させる。これにより、フィルタリングされて記憶部Ｍｅ１に格納された上述の復号画像信号は、さらに、デブロッキングフィルタ１０１０によって再びフィルタリングされる。再びフィルタリングされた復号画像信号は、記憶部Ｍｅ１を介して表示部Ｄ１に出力され、その表示部Ｄ１に表示される。
　さらに、フィルタ処理識別部１０１１は、ぼかし処理が行われていると判別すると、逆量子化／逆変換部１００２から出力された、主画像のブロックの逆量子化に用いられた量子化ステップに基づいて、ぼかし度合いを示す上述の調整量を特定する。つまり、フィルタ処理識別部１０１１は、主画像のブロックの逆量子化に用いられた量子化ステップから、予め定められた量子化ステップ（例えば、画像符号化規格によって決められている量子化ステップ）を減算し、その減算結果を調整量として特定する。そして、フィルタ処理識別部１０１１は、その調整量を示す調整信号をデブロッキングフィルタ１０１０に出力する。これにより、デブロッキングフィルタ１０１０は、復号画像信号を再びフィルタリングするときには、フィルタ処理識別部１０１１から調整信号を取得し、その調整信号により示される調整量に応じた強度のフィルタリングを行う。
　このように、本実施の形態における画像復号装置１１００は、実施の形態１、２またはそれらの変形例における画像符号化装置によって生成される符号化ステレオ映像信号を立体視し得るように適切に復号して表示部Ｄ１に表示することができる。さらに、本実施の形態における画像復号装置１１００は、表示部Ｄ１が３Ｄ映像の表示に対応していない場合には、主画像のみを表示部Ｄ１に表示させることができる。このとき、画像復号装置１１００は、その主画像に対して符号化時にぼかし処理が行われていても、そのぼかされた主画像の歪みを適切に除去して、主画像を鮮明な２Ｄ映像として表示部Ｄ１にすることができる。
　以上のように、本発明に係る画像符号化装置、画像符号化システムおよび画像復号装置について、実施の形態１～５およびそれらの変形例を用いて説明したが、本発明はこれらに限定されるものではない。
　例えば、本発明に係る画像符号化装置は、図４、図８、図１０および図１１に示す構成要素の全てを備えている必要はなく、何れかの構成要素を備えていなくても（例えば、図１５または図１７に示す構成要素だけでも）、本発明の効果を奏することができる。
　図１５は、本発明に係る画像符号化装置の構成を示すブロック図である。
　本発明に係る画像符号化装置１０は、立体視するための２つの画像を符号化する画像符号化装置であって、２つのカメラＣａおよびＣｂによる２つの画像の撮影方法を特定する方法特定部１２と、２つの画像間の視差を、その２つの画像のそれぞれを構成する領域ごとに検出する視差検出部１１と、その領域ごとに、方法特定部１２によって特定された撮影方法、および視差検出部１１によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部１３と、その領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、２つの画像を符号化する符号化部１４とを備える。ここで、視差検出部１１は、実施の形態１～５およびそれらの変形例における検出部３０５に対応する。方法特定部１２は、実施の形態１～５およびそれらの変形例における輻輳角調整部３０２または視差分布識別部６０１に対応する。調整部１３は、実施の形態１～５およびそれらの変形例における符号化調整部３０３，５０３，６０２，７０２に対応する。符号化部１４は、実施の形態１～５およびそれらの変形例における変換部３０８、量子化部３０９および可変長符号化部３１０に対応する。
　また、本発明に係る画像符号化方法は、図６および図７に示すステップの全てを含んでいる必要はなく、何れかのステップを含んでいなくても（例えば、図１６に示すステップだけでも）、本発明の効果を奏することができる。
　図１６は、本発明に係る画像符号化方法を示すフローチャートである。
　本発明に係る画像符号化方法は、立体視するための２つの画像を符号化する画像符号化方法であって、２つのカメラによる２つの画像の撮影方法を特定し（ステップＳ１０）、その２つの画像間の視差を、２つの画像のそれぞれを構成する領域ごとに検出し（ステップＳ１２）、その領域ごとに、特定された撮影方法、および当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定し（ステップＳ１４）、その領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、２つの画像を符号化する（ステップＳ１６）。このような画像符号化方法による符号化は、図１５に示す画像符号化装置１０によって行われる。
　このように、本発明に係る画像符号化装置１０およびその画像符号化方法では、立体視するための２つの画像（例えば、主画像と副画像）が符号化される際には、視差だけでなく撮影方法にも基づいて調整量が決定され、その調整量だけ画像がぼけるように、その２つの画像が符号化される。このように画像がぼかされることによって、観視者の立体視による疲労を抑えることができる。さらに、視差だけでなく撮影方法にも基づいて調整量が決定されるため、撮影方法に起因して重要な領域にぼかし処理が行われてしまうのを防ぐことができる。したがって、実施の形態１～５およびそれらの変形例における構成要素のうち、画像符号化装置１０が備える各構成要素以外のものについては、必須の構成要素ではない。また、符号化部１４（ステップＳ１６）における符号化についても、実施の形態１～５およびそれらの変形例における符号化（直交変換や量子化、可変長符号化など）に限定されるものではない。
　図１７は、本発明に係る画像符号化装置の他の構成を示すブロック図である。
　本発明に係る画像符号化装置１０ａは、立体視するための２つの画像を符号化する画像符号化装置であって、２つのカメラＣａおよびＣｂによる２つの画像の撮影方法を特定する方法特定部１２と、２つの画像間の視差を、その２つの画像のそれぞれを構成する領域ごとに検出する視差検出部１１と、その領域ごとに、方法特定部１２によって特定された撮影方法、および視差検出部１１によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部１３ａと、その領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、２つの画像を符号化する符号化部１４とを備える。また、画像符号化装置１０ａは、さらに、２つのカメラによる撮影によって得られる２つの画像のそれぞれのうち、焦点が当てられている領域を特定する焦点特定部１５を備え、調整部１３ａは、焦点特定部１５によって特定された領域に対して視差検出部１１によって検出された視差の大きさを、第１または第２の閾値として設定する。ここで、焦点特定部１５は、実施の形態１～５およびそれらの変形例における焦点調整部４０２に対応する。
　このような画像符号化装置１０ａでは、上述の画像符号化装置１０の効果を奏することができるとともに、フォーカスエリアにおける視差が第１または第２の閾値として設定されるため、フォーカスエリアを鮮明に、つまり高画質化しながら、遠景の画像をぼかすことができる。したがって、実施の形態１～５およびそれらの変形例における構成要素のうち、画像符号化装置１０ａが備える各構成要素以外のものについては、必須の構成要素ではない。
　また、実施の形態１～５およびそれらの変形例では、遠景（背景）が映っている領域の画像をぼかしたが、逆に、フォーカスエリアに情報量を多く割り当て、そのフォーカスエリアを高画質化してもよい。また、実施の形態１～５およびそれらの変形例では、遠景（背景）が映っている領域の画像をぼかしたが、例えば、撮影距離Ｌが焦点よりも近い近景が映っている領域の画像をぼかしてもよく、遠景および近景のそれぞれが映っている領域の画像を共にぼかしてもよい。
　また、実施の形態１～５およびそれらの変形例では、視差ベクトルの大きさに応じた調整量を決定したが、視差ベクトルの大きさに関わらず固定された調整量を決定してもよい。
　また、実施の形態１～５およびそれらの変形例では、カメラＣｂから出力される映像信号（副画像）に対して視差補償予測符号化を行ったが、視差補償予測符号化と動き補償予測符号化とを行ってもよい。つまり、画像符号化装置はマルチビュープロファイル（MVC:Multi-View Profile）として、視差補償予測と動き補償予測の両方式を利用した圧縮符号化方式を使用してもよい。
　また、実施の形態１～５およびそれらの変形例では、ステレオ撮影機器３００Ａは２つのカメラ（ＣａおよびＣｂ）を備えていたが、１つのカメラだけ備えていてもよい。この場合、カメラは、カメラＣａおよびＣｂが有する機能および構成を全て備えていてもよく、２つの光学機器（レンズ）に対して撮像素子（例えばＣＣＤ）を１つだけ備えていてもよい。カメラが撮像素子（例えばＣＣＤ）を１つだけ備えている場合には、その１つの撮像素子は、２つの光学機器のそれぞれから出力される光を受け、主画像を示す電気信号と副画像を示す電気信号に変換する。
　また、実施の形態１～５およびそれらの変形例では、平行法の場合、図５Ｂに示すように、撮影距離Ｌの増加に伴って視差ベクトルの向きが正から負に転換することはない。しかし、平行法であっても、交差法のように（図５Ａに示すように）視差ベクトルの向きが転換するように、カメラ（ＣａおよびＣｂ）を構成してもよい。
　図１８Ａおよび図１８Ｂは、カメラの構成を説明するための図である。
　図１８Ａに示すように、交差法の場合には、カメラＣａおよびＣｂ（２つの光学機器）のそれぞれの光軸は交差する。ここで、カメラＣａおよびＣｂのそれぞれでは、光学機器と、その光学機器に対応する撮像素子とが光軸に沿って配置されている。その結果、カメラＣａの光学機器から、主画像に対応する撮影領域の中心に向かう中心線は、そのカメラＣａの光学機器の光軸と一致している。同様に、カメラＣｂの光学機器から、副画像に対応する撮影領域の中心に向かう中心線は、そのカメラＣｂの光学機器の光軸と一致している。なお、これらの中心線は、主画像または副画像の撮像の向きを示す線である。したがって、２つの光軸が交差する場合には、２つの中心線も交差している。この中心線が交差していることによって、図５Ａに示すように、撮影距離Ｌの増加に応じて視差ベクトルの向きが正から負に転換する。
　一方、このようなカメラＣａおよびＣｂの光軸が平行になるように、カメラＣａおよびＣｂを配置すれば、上述の平行法による撮影が行われる。この場合には、カメラＣａおよびＣｂのそれぞれの中心線も平行になる。したがって、図５Ｂに示すように、撮影距離Ｌの増加に応じて視差ベクトルの向きが正から負に転換することはない。
　しかし、図１８Ｂに示すように、平行法であっても、交差法のように、つまり図５Ａに示すように、撮影距離Ｌの増加に応じて視差ベクトルの向きが正から負に転換することがある。この場合、カメラＣａおよびＣｂのそれぞれでは、撮像素子が光軸からずれて配置されている。つまり、カメラＣａおよびＣｂはいわゆるレンズシフトカメラとして構成されている。カメラＣａおよびＣｂのそれぞれの光軸が平行であっても、その撮像素子のずれによって、カメラＣａおよびＣｂのそれぞれの中心線が交差する。この中心線が交差していることによって、図５Ａに示すように、撮影距離Ｌの増加に応じて視差ベクトルの向きが正から負に転換する。
　したがって、実施の形態１～５およびそれらの変形例において、画像符号化装置は、それらの中心線の間の角度を撮影方法として特定し、符号化調整部は、ブロック（領域）ごとに、その特定された角度、およびそのブロックに対して検出された視差に基づいて、画像をぼかすための調整量を決定してもよい。
　なお、上述の例では、レンズシフトカメラによって、平行法において中心線を交差させたが、他の構成によって、平行法において中心線を交差させてもよい。例えば、光軸が平行に揃えられた２つのカメラのそれぞれでは、光学機器と、その光学機器に対応する撮像素子とが光軸に沿って配置され、その光学機器の視野角および撮像素子の受光面積が広く設定されている。そして、撮像素子によって生成される画像の一部（他方の撮像素子によって生成される画像側の一部）が主画像または副画像としてトリミングされる。このような２つのカメラであっても、上述のレンズシフトカメラのように、平行法でありながら中心線を交差させることができる。
　また、実施の形態１～５およびそれらの変形例では、カメラによる２つのピクチャ（主画像および副画像）の撮影方法を特定したが、その撮影方法を特定しなくてもよい。例えば、その撮影方法が平行法である場合には、その撮影方法を特定することなく、ブロック（領域）ごとに、２つのピクチャ間における視差に応じた調整量だけそのブロックの画像がぼけるように、２つのピクチャを符号化する。例えば、視差が閾値よりも小さければ、その視差に対応するブロックの画像がぼけるように２つのピクチャが符号化され、視差が小さいほど、その視差に対応するブロックの画像が強くぼける。これにより、撮影方法が平行法である場合において、重要な領域にぼかし処理が行われてしまうのを防ぐことができる。
　また、本発明は、以下のような場合も本発明に含まれる。
　（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。上記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
　（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。上記ＲＡＭには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
　また、上記の各装置を構成する構成要素の各部は、個別に１チップ化されていてもよいし、一部またはすべてを含むように１チップ化されていてもよい。
　また、ここでは、システムＬＳＩと呼称したが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
　（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。上記ＩＣカードまたは上記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。上記ＩＣカードまたは上記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記ＩＣカードまたは上記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
　（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。
　また、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
　また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムにしたがって動作するとしてもよい。
　また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　（５）上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
　本発明にかかる画像符号化装置は、二つの映像信号から立体映像の符号化を行う際、立体映像の撮影方法によらずに、背景領域をぼかし、フォーカスエリアに情報を割り当てる事で見やすい立体映像の符号化を行える効果を奏し、例えば、デジタルビデオカメラやデジタルスチルカメラ等として有用である。
　１０，３００，５００，６００，７００　　画像符号化装置
　１１　　視差検出部
　１２　　方法特定部
　１３　　調整部
　１４　　符号化部
　３０２　　輻輳角調整部
　３０３，５０３，６０２，７０２　　符号化調整部
　３０４　　セレクタ
　３０５　　検出部
　３０６　　減算器
　３０７，３１４，１００８，１００９　　スイッチ
　３０８　　変換部
　３０９　　量子化部
　３１０　　可変長符号化部
　３１１　　逆量子化部
　３１２　　逆変換部
　３１３，１００４　　加算器
　３１６　　補償部
　４０２　　焦点調整部
　６０１　　視差分布識別部
　８００　　画像符号化システム
　８０１　　画像符号化部
　８０４　　表示部
　８０５　　外部記録装置
　１０００，１１００　　画像復号装置
　１００１　　可変長復号部
　１００２　　逆量子化／逆変換部
　１００３　　動き／視差補償部
　１００５，１０１０　　デブロッキングフィルタ
　１００６，１０１１　　フィルタ処理識別部
　１００７　　エッジ強調部
　Ｃａ，Ｃｂ　　カメラ
　Ｄ１　　表示部
　Ｍｅ，Ｍｅ１　　記憶部
 

Claims (17)

  1. 　立体視するための２つの画像を符号化する画像符号化装置であって、
    　カメラによる前記２つの画像の撮影方法を特定する方法特定部と、
    　前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出する視差検出部と、
    　前記領域ごとに、前記方法特定部によって特定された撮影方法、および前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部と、
    　前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する符号化部と
    　を備える画像符号化装置。
  2. 　前記方法特定部は、前記撮影方法が平行法であるか交差法であるかを特定し、
    　前記調整部は、
    　前記方法特定部によって前記撮影方法が交差法であると特定された場合には、
    　前記視差検出部によって検出された視差が第１の閾値より大きい領域に対して前記調整量を決定する、
    　請求項１に記載の画像符号化装置。
  3. 　前記調整部は、前記視差が大きいほど、ぼかしの度合いが大きくなるような調整量を決定する、
    　請求項２に記載の画像符号化装置。
  4. 　前記画像符号化装置は、さらに、
    　前記カメラによる撮影によって得られる前記２つの画像のそれぞれのうち、焦点が当てられている領域を特定する焦点特定部を備え、
    　前記調整部は、前記焦点特定部によって特定された領域に対して前記視差検出部によって検出された視差の大きさを、前記第１の閾値として設定する、
    　請求項２または３に記載の画像符号化装置。
  5. 　前記方法特定部は、前記撮影方法が平行法であるか交差法であるかを特定し、
    　前記調整部は、
    　前記方法特定部によって前記撮影方法が平行法であると特定された場合には、
    　前記視差検出部によって検出された視差が第２の閾値より小さい領域に対して前記調整量を決定する、
    　請求項１に記載の画像符号化装置。
  6. 　前記調整部は、前記視差が小さいほど、ぼかしの度合いが大きくなるような調整量を決定する、
    　請求項５に記載の画像符号化装置。
  7. 　前記画像符号化装置は、さらに、
    　前記カメラによる撮影によって得られる前記２つの画像のそれぞれのうち、焦点が当てられている領域を特定する焦点特定部を備え、
    　前記調整部は、前記焦点特定部によって特定された領域に対して前記視差検出部によって検出された視差の大きさを、前記第２の閾値として設定する、
    　請求項５または６に記載の画像符号化装置。
  8. 　前記方法特定部は、
    　前記２つの画像のそれぞれを生成するための前記カメラの２つの光軸が交わる角度を輻輳角として特定し、前記輻輳角が予め定められた角度より小さいか否かを判別し、前記輻輳角が小さくないと判別したときには、前記撮影方法が交差法であると特定し、前記輻輳角が小さいと判別したときには、前記撮影方法が平行法であると特定する、
    　請求項１～５の何れか１項に記載の画像符号化装置。
  9. 　前記視差検出部は、前記２つの画像の間の視差を視差ベクトルとして前記領域ごとに検出し、
    　前記方法特定部は、
    　前記視差検出部によって領域ごとに検出される視差ベクトルの分布の中で、負の向きの視差ベクトルと正の向きの視差ベクトルとが混在しているか否かを判別し、混在していると判別したときには、前記撮影方法が交差法であると特定し、混在していないと判別したときには、前記撮影方法が平行法であると特定する、
    　請求項１～５の何れか１項に記載の画像符号化装置。
  10. 　前記符号化部は、
    　前記２つの画像のそれぞれについて、前記領域ごとに直交変換する変換部と、
    　前記領域ごとに、前記変換部による直交変換によって得られた周波数係数を量子化する量子化部とを備え、
    　前記量子化部は、何れかの領域の周波数係数を量子化するときには、当該領域に対して前記調整部によって決定された調整量だけ量子化ステップを増加し、増加された量子化ステップを用いて当該領域の周波数係数を量子化することにより、当該領域の画像をぼかす
    　請求項１～９の何れか１項に記載の画像符号化装置。
  11. 　前記符号化部は、
    　前記２つの画像のそれぞれについて、前記領域ごとに直交変換する変換部を備え、
    　前記変換部は、何れかの領域に対して直交変換を行い、当該領域に対して周波数係数を生成したときには、当該領域に含まれる周波数係数のうち、当該領域に対して前記調整部によって決定された調整量に応じた広さの高周波数領域の周波数係数を切り捨てることにより、当該領域の画像をぼかす、
    　請求項１～９の何れか１項に記載の画像符号化装置。
  12. 　前記符号化部は、
    　前記領域ごとに検出された視差を用いて、前記２つの画像のうちの一方の画像を、他方の画像から予測することによって予測画像を生成し、前記一方の画像と前記予測画像との差分を算出することによって、前記一方の画像を符号化する、
    　請求項１～１１の何れか１項に記載の画像符号化装置。
  13. 　前記方法特定部は、前記２つの画像のそれぞれの撮像の向きを示す線の間の角度を前記撮影方法として特定し、
    　前記調整部は、前記領域ごとに、前記方法特定部によって特定された角度、および前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する
    　請求項１に記載の画像符号化装置。
  14. 　カメラと、
    　前記カメラによる撮影によって生成される、立体視するための２つの画像を符号化する請求項１～１３の何れか１項に記載の画像符号化装置と、
    　前記画像符号化装置による符号化によって生成される信号を記録するための記録媒体と
    　を備える画像符号化システム。
  15. 　立体視するための２つの画像を符号化する画像符号化方法であって、
    　カメラによる前記２つの画像の撮影方法を特定し、
    　前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出し、
    　前記領域ごとに、特定された前記撮影方法、および当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定し、
    　前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する
    　画像符号化方法。
  16. 　立体視するための２つの画像を符号化するためのプログラムであって、
    　カメラによる前記２つの画像の撮影方法を特定し、
    　前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出し、
    　前記領域ごとに、特定された前記撮影方法、および当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定し、
    　前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する
    　ことをコンピュータに実行させるプログラム。
  17. 　立体視するための２つの画像を符号化する集積回路であって、
    　カメラによる前記２つの画像の撮影方法を特定する方法特定部と、
    　前記２つの画像間の視差を、前記２つの画像のそれぞれを構成する領域ごとに検出する視差検出部と、
    　前記領域ごとに、前記方法特定部によって特定された撮影方法、および前記視差検出部によって当該領域に対して検出された視差に基づいて、画像をぼかすための調整量を決定する調整部と、
    　前記領域ごとに、当該領域に対して決定された調整量だけ当該領域の画像がぼけるように、前記２つの画像を符号化する符号化部と
    　を備える集積回路。
PCT/JP2011/001926 2010-05-25 2011-03-30 画像符号化装置、画像符号化方法、プログラムおよび集積回路 WO2011148556A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180002954.0A CN102474647B (zh) 2010-05-25 2011-03-30 图像编码装置、图像编码方法以及集成电路
US13/386,069 US8994788B2 (en) 2010-05-25 2011-03-30 Image coding apparatus, method, program, and circuit using blurred images based on disparity
JP2011536224A JP5450643B2 (ja) 2010-05-25 2011-03-30 画像符号化装置、画像符号化方法、プログラムおよび集積回路

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-119908 2010-05-25
JP2010119908 2010-05-25

Publications (1)

Publication Number Publication Date
WO2011148556A1 true WO2011148556A1 (ja) 2011-12-01

Family

ID=45003558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001926 WO2011148556A1 (ja) 2010-05-25 2011-03-30 画像符号化装置、画像符号化方法、プログラムおよび集積回路

Country Status (4)

Country Link
US (1) US8994788B2 (ja)
JP (1) JP5450643B2 (ja)
CN (1) CN102474647B (ja)
WO (1) WO2011148556A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220540A (zh) * 2012-01-21 2013-07-24 瑞昱半导体股份有限公司 图像处理装置与方法
CN103369333A (zh) * 2012-04-05 2013-10-23 联发科技（新加坡）私人有限公司 识别成对立体图像实际观看顺序的方法和电子装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9045961B2 (en) 2011-01-31 2015-06-02 National Oilwell Varco, L.P. Blowout preventer seal and method of using same
WO2013155191A2 (en) 2012-04-10 2013-10-17 National Oilwell Varco, L.P. Blowout preventer seal assembly and method of using same
KR20140043264A (ko) * 2012-09-26 2014-04-09 삼성전자주식회사 다시점 영상 처리 장치 및 방법
CN102883173A (zh) * 2012-09-27 2013-01-16 彩虹集团公司 一种用于3d显示的画质优化方法
WO2016086379A1 (en) * 2014-12-04 2016-06-09 SZ DJI Technology Co., Ltd. Imaging system and method
CN105100772B (zh) * 2015-07-16 2017-03-15 深圳市华星光电技术有限公司 一种三维图像处理方法及装置
WO2020045050A1 (ja) * 2018-08-27 2020-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284449A (ja) * 1993-03-25 1994-10-07 Kyocera Corp 視差を利用した映像信号の帯域圧縮回路および画像符号化装置
JPH09181966A (ja) * 1995-12-22 1997-07-11 Olympus Optical Co Ltd 画像処理方法及び装置
JP2007124278A (ja) * 2005-10-28 2007-05-17 Nikon Corp 撮像装置
JP2010114577A (ja) * 2008-11-05 2010-05-20 Fujifilm Corp 撮像装置、画像処理装置、撮像装置の制御方法及び画像処理方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028608A (en) * 1997-05-09 2000-02-22 Jenkins; Barry System and method of perception-based image generation and encoding
US6762794B1 (en) * 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
JP2000115782A (ja) * 1998-10-06 2000-04-21 Canon Inc 符号化装置及び方法及び記憶媒体
JP2000207549A (ja) * 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
JP2000251090A (ja) * 1999-03-01 2000-09-14 Sony Computer Entertainment Inc 描画装置及び該描画装置で被写界深度を表現する方法
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
US6618054B2 (en) * 2000-05-16 2003-09-09 Sun Microsystems, Inc. Dynamic depth-of-field emulation based on eye-tracking
US6847735B2 (en) * 2000-06-07 2005-01-25 Canon Kabushiki Kaisha Image processing system, image processing apparatus, image input apparatus, image output apparatus and method, and storage medium
TW527518B (en) * 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
JP3659157B2 (ja) * 2000-10-17 2005-06-15 日本電気株式会社 映像内容に重み付けをする画像圧縮方式
US20030151689A1 (en) * 2002-02-11 2003-08-14 Murphy Charles Douglas Digital images with composite exposure
WO2004077820A1 (ja) * 2003-02-25 2004-09-10 Matsushita Electric Industrial Co. Ltd. 画像撮像処理方法および画像撮像装置
US7532234B2 (en) * 2003-06-19 2009-05-12 Microsoft Corporation Automatic analysis and adjustment of digital images upon acquisition
US20050017968A1 (en) * 2003-07-21 2005-01-27 Stephan Wurmlin Differential stream of point samples for real-time 3D video
WO2006074310A2 (en) * 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
JP4630149B2 (ja) 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
WO2007116549A1 (ja) * 2006-04-07 2007-10-18 Sharp Kabushiki Kaisha 画像処理装置
JP4757812B2 (ja) * 2007-02-20 2011-08-24 富士フイルム株式会社 立体撮影装置および方法並びにプログラム
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
WO2008140656A2 (en) * 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
US8031954B2 (en) * 2007-04-26 2011-10-04 Canon Kabushiki Kaisha Image encoding apparatus and control method thereof using prediction encoding and pixel classification
JP5040440B2 (ja) * 2007-05-23 2012-10-03 ソニー株式会社 撮像防止装置、撮像防止方法
JP5109803B2 (ja) * 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
FR2917845B1 (fr) * 2007-06-19 2011-08-19 Christophe Brossier Procede de visualisation d'une sequence d'images produisant une sensation de relief
US7817187B2 (en) * 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
US7852980B2 (en) * 2007-10-31 2010-12-14 Xoran Technologies, Inc. Computed tomography with resolution recovery
US8107700B2 (en) * 2007-11-21 2012-01-31 Merge Cad Inc. System and method for efficient workflow in reading medical image data
KR101520619B1 (ko) * 2008-02-20 2015-05-18 삼성전자주식회사 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치
US8405708B2 (en) * 2008-06-06 2013-03-26 Reald Inc. Blur enhancement of stereoscopic images
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
KR101520620B1 (ko) * 2008-08-18 2015-05-18 삼성전자주식회사 2차원/3차원 재생 모드 결정 방법 및 장치
JP4625517B2 (ja) * 2008-10-27 2011-02-02 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
US20110304689A1 (en) * 2010-06-15 2011-12-15 Sharp Laboratories Of America, Inc. Remote user control for stereoscopic display
US9123115B2 (en) * 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow
US9076267B2 (en) * 2011-07-19 2015-07-07 Panasonic Intellectual Property Corporation Of America Image coding device, integrated circuit thereof, and image coding method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284449A (ja) * 1993-03-25 1994-10-07 Kyocera Corp 視差を利用した映像信号の帯域圧縮回路および画像符号化装置
JPH09181966A (ja) * 1995-12-22 1997-07-11 Olympus Optical Co Ltd 画像処理方法及び装置
JP2007124278A (ja) * 2005-10-28 2007-05-17 Nikon Corp 撮像装置
JP2010114577A (ja) * 2008-11-05 2010-05-20 Fujifilm Corp 撮像装置、画像処理装置、撮像装置の制御方法及び画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220540A (zh) * 2012-01-21 2013-07-24 瑞昱半导体股份有限公司 图像处理装置与方法
CN103220540B (zh) * 2012-01-21 2017-04-12 瑞昱半导体股份有限公司 图像处理装置与方法
CN103369333A (zh) * 2012-04-05 2013-10-23 联发科技（新加坡）私人有限公司 识别成对立体图像实际观看顺序的方法和电子装置
US9031316B2 (en) 2012-04-05 2015-05-12 Mediatek Singapore Pte. Ltd. Method for identifying view order of image frames of stereo image pair according to image characteristics and related machine readable medium thereof
CN103369333B (zh) * 2012-04-05 2015-11-18 联发科技（新加坡）私人有限公司 识别成对立体图像实际观看顺序的方法和电子装置

Also Published As

Publication number Publication date
CN102474647A (zh) 2012-05-23
JPWO2011148556A1 (ja) 2013-07-25
US8994788B2 (en) 2015-03-31
JP5450643B2 (ja) 2014-03-26
US20120120193A1 (en) 2012-05-17
CN102474647B (zh) 2015-08-19

Similar Documents

Publication Publication Date Title
JP5450643B2 (ja) 画像符号化装置、画像符号化方法、プログラムおよび集積回路
JP6178017B2 (ja) ステレオビデオのための深度認識向上
JP5565001B2 (ja) 立体映像撮像装置、立体映像処理装置および立体映像撮像方法
WO2013011608A1 (ja) 画像符号化装置とその集積回路、および画像符号化方法
CN106851239B (zh) 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置
WO2012111757A1 (ja) 画像処理装置および画像処理方法
US20180262754A1 (en) Image compression apparatus, image decoding apparatus, and image processing method
JP2012257198A (ja) 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
WO2012060156A1 (ja) 多視点画像符号化装置及び多視点画像復号装置
JP4964355B2 (ja) 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法
JP5395911B2 (ja) ステレオ画像符号化装置、方法
WO2011074189A1 (ja) 画像符号化方法及び画像符号化装置
JP2013051637A (ja) 符号化装置及び符号化方法
JP5869839B2 (ja) 画像処理装置およびその制御方法
JP6341598B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP4375662B2 (ja) 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置
JP2012178818A (ja) 映像符号化装置および映像符号化方法
Liu et al. Motion blur compensation in HEVC using fixed-length adaptive filter
Phi Perceptually Optimized Plenoptic Data Representation and Coding
JP4136680B2 (ja) 撮像装置、撮像方法、コンピュータプログラム及び記録媒体
WO2011102131A1 (ja) 画像符号化装置、画像符号化方法、プログラム、及び集積回路
JP2005143029A (ja) 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置
BR112016020544B1 (pt) Realce consciente de profundidade para vídeo estéreo
JP2013085064A (ja) 多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法及び多視点画像復号方法
JP2012147073A (ja) 画像符号化装置、画像符号化方法、及び撮像システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180002954.0

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011536224

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11786260

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13386069

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11786260

Country of ref document: EP

Kind code of ref document: A1