WO2013080697A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
WO2013080697A1
WO2013080697A1 PCT/JP2012/077067 JP2012077067W WO2013080697A1 WO 2013080697 A1 WO2013080697 A1 WO 2013080697A1 JP 2012077067 W JP2012077067 W JP 2012077067W WO 2013080697 A1 WO2013080697 A1 WO 2013080697A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye image
input
depth map
stereo
Prior art date
Application number
PCT/JP2012/077067
Other languages
English (en)
French (fr)
Inventor
厚史 伊藤
山崎　知洋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP12853046.6A priority Critical patent/EP2787735A1/en
Priority to US14/359,428 priority patent/US20140300703A1/en
Priority to CN201280057537.0A priority patent/CN103959770A/zh
Publication of WO2013080697A1 publication Critical patent/WO2013080697A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program. More specifically, the present invention relates to an image processing apparatus, an image processing method, and a program for generating a three-dimensional image (3D image) that can be viewed in stereo (stereoscopic view).
  • 3D image three-dimensional image
  • An image corresponding to stereoscopic vision (stereoscopic vision) that can be viewed as a stereoscopic image having a depth depends on a combination of two images, a left-eye image for the left eye and a right-eye image for the right eye, which are images from different viewpoints. Composed. In order to obtain images from these two viewpoints, that is, binocular parallax images, for example, two imaging devices are spaced apart from each other and imaged.
  • a pair of captured stereo images is A left eye image captured by the left imaging device and observed with the left eye; A right eye image captured by the right imaging device and observed with the right eye; It is comprised by the pair image.
  • a stereo image pair composed of a paired image of a left eye image and a right eye image on a display device that separates the left eye image and the right eye image and presents them to the left and right eyes of the observer
  • the observer can perceive the image as a stereoscopic image.
  • a camera having a two-eye (compound eye) configuration is used as a configuration for capturing a pair image of a left-eye image and a right-eye image by one imaging process with one camera.
  • Such a two-lens camera is called a stereo camera, for example.
  • FIG. 1 shows an imaging method by an imaging apparatus having a stereo imaging system.
  • a camera 10 shown in FIG. 1 is a stereo camera having a two-eye (compound eye) configuration that captures a left-eye image and a right-eye image.
  • an imaging apparatus having such a binocular (compound eye) stereo imaging system it is normally assumed that the camera is horizontally held, and a parallax image is acquired by a shift between the horizontal positions of the left and right.
  • FIG. 2 is a diagram illustrating an example of horizontal holding imaging by an imaging apparatus having a stereo imaging system.
  • FIG. 2A shows a left eye image
  • FIGS. 2B and 2C are the same figure and are right eye images.
  • the photographing direction differs depending on the displacement of the lens position of the camera. Therefore, the arrangement of these subjects on each image is slightly different.
  • a dotted line connecting the left eye image in FIG. 2A and the right eye image in FIG. 2B indicates that each subject is not displaced vertically.
  • the dotted line connecting the left eye image in FIG. 2A and the right eye image in FIG. 2C indicates that the subject position of each image is in the left-right direction (horizontal direction) according to the distance from the imaging device. This indicates that a deviation has occurred.
  • This deviation in the left-right direction is parallax.
  • a display device that can be presented to the left and right eyes of the viewer, the viewer can perceive the images as a stereoscopic image.
  • the camera 10 In order to capture a left-eye image and a right-eye image having parallax with a camera having a two-eye (compound eye) configuration, the camera 10 must be held sideways as shown in FIG.
  • the camera when shooting a vertically long composition, the camera is tilted 90 degrees. Take a picture with the so-called vertical holding. If the camera 10 having the two-lens configuration shown in FIG. 1 is tilted 90 degrees and held vertically, no parallax occurs in the horizontal direction in the left-eye image and the right-eye image obtained as a captured image. As a result, the image cannot be displayed as a stereo image.
  • FIG. 3 is a diagram illustrating a processing example in which a two-lens configuration camera 10 having a stereo imaging system is photographed while being vertically held by 90 degrees.
  • FIG. 4 shows (a) a left eye image and (b) a right eye image obtained by the vertical holding shooting shown in FIG. Images captured in this way are normally displayed as images in FIGS. 4C and 4D in a state of being rotated 90 degrees during display.
  • FIG. (A) Left-eye image and right-eye image taken with a horizontal stereo camera and having horizontal parallax and no vertical deviation
  • (B) Having a horizontal parallax taken with a vertical stereo camera The left eye image and the right eye image with only a vertical shift. These images are shown.
  • the image pair (A) is displayed on the 3D display device, the stereoscopic effect can be perceived, but even when the image pair (B) is displayed on the 3D display device, the stereoscopic effect cannot be perceived.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2008-1415164
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2009-188931 proposes a method of performing stereoscopic shooting by mechanically rotating and moving an image sensor when vertically held.
  • Patent Document 1 Japanese Patent Laid-Open No. 2008-1415164 is a process that makes stereoscopic shooting impossible during vertical holding shooting, and is not essentially a solution for realizing stereoscopic shooting.
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2009-188931
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2009-188931
  • problems such as an increase in the size of the image pickup device and a tendency for the right and left eye positions and orientation deviations to easily occur due to mechanical accuracy.
  • a time lag occurs when switching between horizontal holding and vertical holding, so that immediate shooting cannot be performed, and switching between horizontal holding and vertical holding during moving image shooting becomes difficult.
  • the present disclosure has been made in view of the above-described problem, for example, and an image processing apparatus and an image processing method capable of generating an image capable of perceiving a stereoscopic effect without depending on how the camera is held,
  • the purpose is to provide a program.
  • An object of the present invention is to provide an image processing device, an image processing method, and a program capable of generating a perceptible parallax image.
  • the first aspect of the present disclosure is: An image input unit that inputs a left-eye image and a right-eye image taken from different viewpoints as input images; A shooting angle determination unit that outputs a control signal according to the angle of the camera at the time of shooting the input image; When the control signal indicates that the image is a horizontally held image obtained by a 2 lens camera, the left eye image and the right eye image that are the input images are output; In the case where the control signal indicates that the image is a vertically held image obtained by vertically holding a binocular camera, either the left eye image or the right eye image is input to the stereo image generation processing unit, and the stereo image is generated.
  • the image generation processing unit outputs a left eye image and a right eye image generated by executing a 2D 3D conversion process for generating a left eye image and a right eye image for 3D image display by an image conversion process based on one 2D image. It is in the image processing apparatus.
  • the image processing apparatus includes a depth map generation processing unit that generates a depth map based on the input image, and the stereo image generation processing unit includes the depth map. Is applied to execute 2D3D conversion processing in which parallax is set according to the subject distance to generate a left eye image and a right eye image.
  • the image processing device generates an image rotation unit that rotates an image input to the stereo image generation processing unit by 90 degrees, and a depth map based on the input image.
  • the stereo image generation processing unit is an image rotated by 90 degrees from the image rotation unit.
  • the photographing angle determination unit is configured such that the input image is (A) Whether the image is a horizontally held image obtained by horizontally holding a twin-lens camera, (B) whether the image is a vertically held image by vertically holding shooting with a twin-lens camera, with the left side of the camera being the upper side and the right side being the lower side, (C) is a vertically held image obtained by vertically holding shooting with a twin-lens camera, and is a captured image with the left side of the camera facing down and the right side facing up, (A) to (c) A control signal that makes it possible to distinguish the three types of photographing angles is generated and output.
  • the stereo image generation processing unit generates a left eye image and a right eye image by executing a 2D3D conversion process to which a depth map is not applied.
  • the image processing device has a configuration in which a depth map based on the input image is input from outside, and the stereo image generation processing unit has a depth input from outside.
  • the map is applied to execute 2D3D conversion processing in which parallax is set according to the subject distance to generate a left eye image and a right eye image.
  • the image processing device when the control signal indicates that the captured image is a vertically held image obtained by vertically holding a binocular camera, A control signal for inputting only one of the left-eye image and the right-eye image, or a control signal for capturing only one of the images is output.
  • the image processing device includes a depth map generation processing unit that generates a depth map based on the input image, and the imaging angle determination unit includes the depth map of the depth map.
  • An analysis process is executed, a camera angle at the time of capturing the input image is determined based on the analysis result, and a control signal corresponding to the determination result is output.
  • the second aspect of the present disclosure is: An image processing method executed in an image processing apparatus, Image input processing for inputting a left-eye image and a right-eye image taken from different viewpoints as input images; Shooting angle determination processing for outputting a control signal according to the camera angle at the time of shooting the input image; As image output processing, When the control signal indicates that the image is a horizontally held image obtained by horizontally holding a binocular camera, a process of outputting a left eye image and a right eye image that are the input images; In the case where the control signal indicates that the image is a vertically held image obtained by vertically holding a binocular camera, either the left eye image or the right eye image is input to the stereo image generation processing unit, and the stereo image is generated.
  • the image generation processing unit outputs a left eye image and a right eye image generated by executing a 2D 3D conversion process for generating a left eye image and a right eye image for 3D image display by an image conversion process based on one 2D image.
  • the third aspect of the present disclosure is: A program for executing image processing in an image processing apparatus; Image input processing for inputting a left-eye image and a right-eye image taken from different viewpoints as input images; Shooting angle determination processing for outputting a control signal according to the camera angle at the time of shooting the input image; As image output processing, When the control signal indicates that the image is a horizontally held image obtained by horizontally holding a binocular camera, a process of outputting a left eye image and a right eye image that are the input images; When the control signal indicates that the image is a vertically held image obtained by vertically holding shooting with a binocular camera, either the left eye image or the right eye image is input to a stereo image generation processing unit, and a stereo image is generated.
  • the image generation processing unit outputs a left eye image and a right eye image generated by executing a 2D 3D conversion process for generating a left eye image and a right eye image for 3D image display by an image conversion process based on one 2D image.
  • processing A process for selectively executing any one of the above image output processes; It is in the program that executes
  • the program of the present disclosure is a program provided by, for example, a storage medium to an information processing apparatus or a computer system that can execute various program codes. By executing such a program by the program execution unit on the information processing apparatus or the computer system, processing according to the program is realized.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • an apparatus and a method capable of outputting a stereo image that can be displayed in 3D can be realized in both cases of horizontal shooting and vertical shooting of a binocular camera.
  • an image input unit that inputs a left eye image and a right eye image captured from different viewpoints as input images
  • a shooting angle determination unit that outputs a control signal according to the angle of the camera at the time of shooting the input image
  • the control signal indicates that the image is a horizontally-held image obtained by horizontally-holding shooting with a binocular camera
  • the left-eye image and the right-eye image that are the input images are output, and the control signal is
  • the stereo image generation processing unit is based on one image.
  • the left eye image and right eye image generated by the 2D3D conversion process are output.
  • FIG. 7 is a diagram illustrating a configuration of an example of an image processing apparatus according to the present disclosure.
  • the image processing apparatus 100 includes a right eye image input unit 101, a left eye image input unit 102, a shooting angle determination unit 103, an output image selection processing unit 104, an image rotation unit 105, a depth map generation processing unit 106, and a depth map rotation unit 107.
  • the stereo image generation processing unit 108 is included.
  • the image processing apparatus 100 inputs a binocular stereo image signal.
  • the input image signals are two images that are input via lenses set at two different positions as shown in FIGS. 1 and 3, that is, a right eye image and a left eye image. Note that the photographing process can be either horizontally held or vertically held.
  • the right eye image and the left eye image input to the image processing apparatus 100 are input to the right eye image input unit 101 and the left eye image input unit 102, respectively.
  • the shooting angle determination unit 103 includes information necessary to determine the angle of the camera at the time of shooting the input image, that is, whether it is horizontal shooting or vertical shooting, for example, an imaging device (camera). Sensor information and the like for detecting the direction of the input are input. The shooting angle determination unit 103 determines “vertical shooting” and “horizontal shooting” using such sensor information. Note that the user of the imaging apparatus may input whether the current shooting is “longitudinal holding” or “horizontal holding” via an input unit.
  • the determination result in the shooting angle determination unit 103 is output as a control signal to the output image selection unit 104, the image rotation unit 106, and the depth map rotation unit 107.
  • the control signal output by the shooting angle determination unit 103 is: “0” for “landscape shooting” During “portrait shooting” As shown in FIG. 2, when it is determined that the imaging device is held with the left eye side of the imaging device up (toward the ceiling) and the right eye side down (toward the ground), When the setting shown in FIG. 2 is rotated 180 degrees, that is, when it is determined that the imaging device is held with the right eye side up (ceiling direction) and the left eye side down (ground direction) “2”, These three types of control signals are output.
  • Both the right and left stereo images input to the right eye image input unit 101 and the left eye image input unit 102 of the image processing apparatus 100 are input to the output image selection processing unit 104.
  • a control signal output from the shooting angle determination unit 103 is also input to the output image selection processing unit 104.
  • Case 1 is processing when the control signal output from the shooting angle determination unit 103 is “0”.
  • the case where the control signal output from the shooting angle determination unit 103 is “0” is a case where shooting is performed while holding the imaging device sideways.
  • the output image selection processing unit 104 receives the control signal “0” from the shooting angle determination unit 103.
  • the output image selection processing unit 104 When the control signal “0” is input from the shooting angle determination unit 103, the output image selection processing unit 104 outputs the input left and right stereo images as they are as the output of the image processing apparatus 100. This is an output right eye image and an output left eye image that are outputs of the image processing apparatus 100.
  • Case 2 [CASE 2] is processing when the control signal output by the shooting angle determination unit 103 is “1” or “2”.
  • the case where the control signal output from the shooting angle determination unit 103 is “1” or “2” is the case of vertical shooting with the image pickup apparatus held vertically.
  • the image processing apparatus 100 performs 2D / 3D conversion on one of the two images input to the right eye image input unit 101 and the left eye image input unit 102. Then, a left eye image and a right eye image as stereo images are generated and output.
  • the output image selection processing unit 104 receives the control signal “1” or “2” from the shooting angle determination unit 103.
  • the output image selection processing unit 104 first inputs the input left and right stereo images to the depth map generation processing unit 105.
  • the depth map generation processing unit 105 stereo matching processing is performed, and a depth map is generated and output.
  • the depth map generation processing unit 105 executes stereo matching processing of the two input images, and based on the amount of deviation of the corresponding pixel position, the distance (depth) to the subject at each pixel position, that is, the subject distance from the camera Is calculated.
  • the depth map generation processing unit 105 generates and outputs a depth map in which distance information is associated with each pixel of the input image.
  • the depth map is data indicating the subject distance (distance from the camera) of the subject of the pixels constituting the image.
  • the depth map is obtained by converting the distance information of the subject of each pixel of the image into luminance information. Composed.
  • Pixels with subjects with a short subject distance are high-intensity pixels (bright pixels)
  • Pixels with subjects with a large subject distance are low-luminance pixels (dark pixels)
  • An image having such a setting is used as a depth map.
  • the depth map is data in which the distance of the subject included in the image is held as pixel correspondence data.
  • the depth map is generated as image data set by converting the subject distance into a pixel value.
  • the output image selection processing unit 104 further inputs one of the input left and right stereo images (left eye image in this example) to the stereo image generation processing unit 108.
  • the image rotation unit 106 rotates the input left-eye image by 90 degrees and converts it into vertically long image data.
  • the image rotation unit 106 determines the rotation direction using the control signal output from the shooting angle determination unit 103. Depending on whether the control signal is “1” or “2”, rotation processing is performed in which the upper and lower sides of the image signal are set correctly.
  • the depth map output from the depth map generation processing unit 105 is also rotated in the depth map rotation unit 107.
  • the depth map rotation unit 107 also determines the rotation direction using the control signal output from the shooting angle determination unit 103. Depending on whether the control signal is “1” or “2”, rotation processing is performed in which the upper and lower sides of the image signal are set correctly.
  • the image having the correct vertical direction and the depth map that have been subjected to the rotation process are input to the stereo image generation processing unit 108.
  • the stereo image generation processing unit 108 generates a pair of a left eye image and a right eye image as a stereo image from one of the input left and right stereo images (left eye image in this example).
  • the stereo image generation processing unit 108 generates a left-eye image and a right-eye image set with parallax to be applied to 3D image display, based on one 2D image.
  • a so-called 2D3D conversion process is executed to generate a stereo image.
  • a parallax setting process corresponding to the subject distance (depth) obtained from the depth map is executed.
  • the image processing apparatus 100 inputs an image captured by vertical shooting, the right-eye image and the left-eye image generated by the stereo image generation processing unit 108 by the 2D3D conversion process are used as output images of the image processing apparatus 100. .
  • the image processing apparatus 100 shown in FIG. If the left-eye image and right-eye image that are input to the image processing device are images that are taken sideways, output them as they are, If the left-eye image and right-eye image input to the image processing device are images that are taken vertically, the left-eye image and the right-eye image are generated by 2D3D conversion processing after rotating either image by 90 degrees. Then, these generated images are output.
  • These output images are displayed on the 3D image display device.
  • a pair of left eye image and right eye image in which the parallax is set in the horizontal direction is displayed on the 3D display device for both the horizontally held image and the vertically held image. It is possible to display a 3D image reminiscent of feeling.
  • the depth map is data indicating the subject distance (distance from the camera) of the subject of the pixels constituting the image.
  • the distance information of the subject of each pixel of the image is converted into luminance information. Consists of the images shown.
  • Pixels with subjects with a short subject distance are high-intensity pixels (bright pixels)
  • Pixels with subjects with a large subject distance are low-luminance pixels (dark pixels)
  • An image having such a setting is used as a depth map.
  • the depth map is data in which the distance of the subject included in the image is held as pixel correspondence data.
  • the depth map is generated as image data set by converting the subject distance into a pixel value.
  • a general method using stereo matching can be applied. That is, by calculating the correspondence between the left eye image and the right eye image input to the image processing apparatus 100 in this example, images obtained from a plurality of different viewpoints, the distance from the camera of the subject in the image is calculated. Can do. Many techniques have been proposed for obtaining correspondence between images obtained from a plurality of viewpoints with high accuracy or at high speed.
  • Japanese Patent Laid-Open No. 2003-085566 discloses an optimum correspondence with respect to a pixel column on a horizontal scanning line based on a Viterbi algorithm which is a kind of dynamic programming. The allocation method is disclosed.
  • Japanese Patent Application Laid-Open No. 07-103734 discloses that the image is reduced to form a hierarchical structure, and the result of correspondence detection in a lower resolution layer is propagated to a higher resolution layer.
  • a technique for reducing correspondence search processing in a hierarchy with high resolution is disclosed.
  • depth map generation processing can be performed by applying these existing methods, for example.
  • FIG. 8 is a diagram illustrating a configuration of the image processing apparatus 100 that does not generate a depth map internally. The difference from the image processing apparatus shown in FIG. The depth map generation processing unit 105 and the depth map rotation unit 107 shown in FIG. 7 are not provided.
  • the stereo image generation unit 108 of the image processing apparatus 100 illustrated in FIG. 8 does not use a depth map, but uses one image input from the image rotation unit 106, in this example, a left eye image as a stereo image. An eye image and a right eye image are generated.
  • 2D3D conversion processing for generating a left-eye image and a right-eye image as a 3D image from one 2D image without using a depth map is a prior application filed by the same applicant as the present application. This is described in Japanese Patent No. 063083.
  • the stereo image generation unit 108 of the image processing apparatus 100 illustrated in FIG. 8 applies, for example, the technique described in Japanese Patent Application Laid-Open No. 2010-063083 to the left eye image and the right eye as a 3D image from one 2D image. Generate an image.
  • the image processing apparatus 100 shown in FIG. 9 is different from the image processing apparatus shown in FIG.
  • the depth map generation processing unit 105 and the depth map rotation unit 107 shown in FIG. 7 are not provided. That is, it is the same as the image processing apparatus shown in FIG. However, unlike the configuration shown in FIG. 8, the image processing apparatus 100 shown in FIG. 9 inputs a depth map from the outside.
  • the stereo image generation unit 108 of the image processing apparatus 100 illustrated in FIG. 9 uses a depth map input from the outside, and uses one image input from the image rotation unit 106, in this example, a stereo image from one left eye image. A left eye image and a right eye image are generated.
  • the depth map is acquired by the imaging apparatus and input to the image processing apparatus.
  • the imaging apparatus has a function of measuring a subject distance such as a range sensor.
  • the imaging apparatus generates a depth map based on the measured subject distance information and outputs the depth map to the image processing apparatus 100.
  • the stereo image generation processing unit 108 generates and outputs left and right stereo images using the depth map input from the outside.
  • the image processing apparatus 100 shown in FIG. 10 is different from the image processing apparatus shown in FIG.
  • the output image selection processing unit 104 is set as the final processing unit of the image processing apparatus 100.
  • the stereo image generation processing unit 108 By adopting a configuration in which the output image selection processing unit 104 is set in the subsequent stage, the stereo image generation processing unit 108 always performs stereo image generation processing by 2D3D conversion processing.
  • the following images are always input to the output image selection processing unit 104. (1) a right eye image from the right eye image input unit 101, (2) a left eye image from the left eye image input unit 102, (3) a stereo image composed of a left eye image and a right eye image generated by the 2D3D conversion processing based on one image by the stereo image generation processing unit 108; These images are always input.
  • the output image selection processing unit 104 is responsive to an input signal from the shooting angle determination unit 103. (1) a right eye image from the right eye image input unit 101; (2) a left eye image from the left eye image input unit 102; Or (3) a stereo image composed of a left eye image and a right eye image generated by the 2D3D conversion processing based on one image by the stereo image generation processing unit 108; Either the image pair (1), (2) or the image pair (3) is output.
  • the output image selection processing unit 104 When the control signal output from the shooting angle determination unit 103 is “0”, that is, in the case of normal horizontal shooting with the image pickup device held sideways, the output image selection processing unit 104 directly inputs the left and right stereo images. Output. That is, the image pair (1) and (2) is output as an output right eye image and an output left eye image.
  • the output image selection processing unit 104 performs the above (3). Output the image.
  • a stereo image composed of a left eye image and a right eye image generated by the 2D3D conversion processing based on one image by the stereo image generation processing unit 108 is set as an output image.
  • the image processing apparatus 100 shown in FIG. 11 is different from the image processing apparatus shown in FIG. The point where the depth map rotation unit 107 shown in FIG. 7 is omitted,
  • the image rotation unit 106 shown in FIG. 7 is set as a subsequent stage of the stereo image generation processing unit 108 and configured as a right eye image rotation unit 106R and a left eye image rotation unit 106L. It is.
  • one image (left-eye image in this example) without 90-degree rotation is directly input from the output image selection unit 104 to the stereo image generation processing unit 108. Further, the depth map generated by the depth map generation processing unit 105 is directly input to the stereo image generation processing unit 108.
  • the stereo image generation processing unit 108 performs one 2D image that has not been subjected to rotation processing and 2D3D conversion processing using a depth map, and generates two images with parallax set in the vertical direction. Thereafter, the two parallax setting images are input to the right eye image rotation unit 106R and the left eye image rotation unit 106L, respectively, and the images are rotated by 90 degrees to generate an image reflecting the vertical direction of the actual subject. And output.
  • a control signal corresponding to the shooting angle is input from the shooting angle determination unit 103 to the right eye image rotation unit 106R and the left eye image rotation unit 106L.
  • the right-eye image rotation unit 106R and the left-eye image rotation unit 106L execute rotation processing based on a control signal corresponding to the shooting angle input from the shooting angle determination unit 103, and reflect the vertical direction of the actual subject. Is generated and output.
  • the stereo image generation processing unit 108 uses the left eye image or the right eye image as a stereo image generated by 2D3D conversion processing based on either the left eye image or the right eye image. An eye image and a right eye image are generated and output.
  • the image processing apparatus shown in FIG. 12 of the present embodiment takes into consideration the above situation, and when vertical holding shooting is executed, only one of the two images of the left eye image and the right eye image is executed. Control to shoot.
  • the image processing apparatus shown in FIG. 12 shows a configuration example that performs such shooting control.
  • the image processing apparatus 100 outputs a control signal for the imaging apparatus 200.
  • the output image selection processing unit 104 is connected to the right eye image imaging unit of the imaging apparatus 200.
  • a shooting stop command signal or a captured image input stop command is output.
  • the unnecessary right eye image that is not required is not input to the image processing apparatus 100.
  • FIG. 13 is a diagram illustrating a configuration of the image processing apparatus according to the present exemplary embodiment.
  • the image processing apparatus 100 illustrated in FIG. 13 is configured such that sensor information or the like for detecting the orientation of the imaging apparatus is not input to the imaging angle determination unit 103.
  • an input right eye image, an input left eye image, and a depth map generated by the depth map generation processing unit 105 using the left and right stereo images are input to the imaging angle determination unit 103.
  • the shooting angle determination unit 103 uses these pieces of information to determine whether the user has performed vertical shooting or horizontal shooting. In order to determine in which direction the imaging apparatus is held and imaged from only one of the left and right or both image signals in the imaging angle determination unit 103, for example, (A) a shooting angle determination process based on a process for detecting a human face in a shot image; (B) a shooting angle determination process based on a process for detecting a human body in the shot image; (C) a shooting angle determination process based on a detection process of an empty area in the shot image; (D) a shooting angle determination process based on a detection process of a horizontal line in the shot image; Any of these processes (a) to (d) can be applied.
  • the shooting angle determination unit 103 can determine whether the user has performed vertical holding shooting or horizontal holding shooting using these existing technologies.
  • a method of using the depth map generated by the depth map generation processing unit 105 for example, a method of generating and using a depth map analysis result shown in FIG. 14 is applicable.
  • FIG. (A) Depth map analysis result for a captured image holding a stereo camera horizontally; (B) Depth map analysis result for a captured image with a stereo camera held vertically (left eye image on top), (C) Depth map analysis result for a captured image (right-eye image on top) with a stereo camera held vertically, These are shown.
  • the depth map and the LPF application result are expressed with higher luminance as the subject distance (depth) is longer, and lower luminance as it is closer.
  • the average depth distribution in the vertical direction of the horizontally captured image tends to have a higher (farther) value in the upper coordinate than the ordinate in the image.
  • the average depth distribution in the horizontal direction tends to be flat with little inclination with respect to the abscissa of the image.
  • the average depth distribution in the vertical direction of the vertically captured image tends to have a flat distribution with little inclination with respect to the ordinate of the image. The same is true when both the left and right eyes are positioned upward.
  • the average depth distribution in the horizontal direction tends to have a higher (distant) value for the left coordinate when the left eye is positioned above the abscissa of the image.
  • the distribution When the image is picked up at the top, there is a tendency for the distribution to be higher (farther) as the coordinates on the right side.
  • the imaging angle determination unit 103 receives the depth map generated by the depth map generation processing unit 105, generates the analysis data shown in FIG. 14, and determines whether the captured image is horizontally held based on the generated analysis data. When the image is held vertically or is held vertically, it is determined whether the left eye image is up or the right eye image is up.
  • the control signals (0 to 2) described above are generated and output according to these discrimination results.
  • the image processing apparatus shown in FIG. 15 has a configuration for inputting a right eye image to the stereo image generation processing unit 108.
  • the stereo image generation processing unit 108 receives the right eye image, executes 2D3D conversion processing based on the right eye image, generates and outputs a left eye image and a right eye image as a stereo image.
  • a right-eye image is input to the stereo image generation processing unit 108, and a 2D3D conversion process based on the right-eye image is executed to obtain a left-eye image as a stereo image and A configuration for generating and outputting a right-eye image is possible.
  • the stereo image generation processing unit 108 Execute a 2D3D conversion process based on the left eye image, Perform 2D3D conversion processing based on the right eye image, A configuration may be adopted in which these are selectively applied.
  • the process for determining which image to select is, for example, a processing mode for determining which image to process in accordance with a control signal input from the shooting angle determination unit 103 to the output image selection processing unit 104.
  • a processing mode for determining which image to process in accordance with a control signal input from the shooting angle determination unit 103 to the output image selection processing unit 104.
  • it is set to select an image captured on the upper (ceiling direction) side of the vertically held imaging apparatus as a processing target. In such a setting, when the input control signal is “1”, the left image is selected as the 2D3D conversion target image, and when the input control signal is “2”, the right image is selected. Can be selectively output to the stereo image generation processing unit 108.
  • a method of determining and selecting which of the left and right images is better seen from the human eye can be considered.
  • the main subject is selected in the center of the composition, or the one in which the focus position is more consistent is selected.
  • An image evaluation unit that executes the determination information is configured in the image processing apparatus 100, and an evaluation result of the image evaluation unit is input to the output image selection processing unit 104.
  • the output image selection processing unit 104 selects an image with a high evaluation according to the input evaluation result and outputs it to the stereo image generation processing unit 108.
  • the image input to the image processing apparatus 100 is based on the input of a left and right stereo image acquired by a binocular imaging apparatus having left and right imaging elements.
  • the image input to the image processing apparatus 100 may be an input of a left and right stereo image acquired by a monocular stereo image capturing apparatus.
  • left and right stereo image shooting and generation processing using a single-lens imaging device that is not a two-lens configuration includes, for example, a configuration described in Japanese Patent Application Laid-Open No. 2011-35853.
  • Left and right stereo images using a monocular imaging device such as the configuration described in Japanese Patent Laid-Open No. 2011-35853 may be input.
  • the technology disclosed in this specification can take the following configurations.
  • an image input unit that inputs a left eye image and a right eye image taken from different viewpoints as input images;
  • a shooting angle determination unit that outputs a control signal according to the angle of the camera at the time of shooting the input image;
  • the control signal indicates that the image is a horizontally held image obtained by a 2 lens camera, the left eye image and the right eye image that are the input images are output;
  • the control signal indicates that the image is a vertically held image obtained by vertically holding a binocular camera, either the left eye image or the right eye image is input to the stereo image generation processing unit, and the stereo image is generated.
  • the image generation processing unit outputs a left eye image and a right eye image generated by executing a 2D 3D conversion process for generating a left eye image and a right eye image for 3D image display by an image conversion process based on one 2D image.
  • Image processing device outputs a left eye image and a right eye image generated by executing a 2D 3D conversion process for generating a left eye image and a right eye image for 3D image display by an image conversion process based on one 2D image.
  • the image processing apparatus includes a depth map generation processing unit that generates a depth map based on the input image, and the stereo image generation processing unit applies the depth map to generate a parallax corresponding to a subject distance.
  • the image processing apparatus according to (1) wherein a 2D3D conversion process in which is set is executed to generate a left eye image and a right eye image.
  • the image processing apparatus includes an image rotation unit that rotates an image input to the stereo image generation processing unit by 90 degrees, a depth map generation processing unit that generates a depth map based on the input image, and the depth map generation.
  • a depth map rotation unit that rotates the depth map generated by the processing unit by 90 degrees, and the stereo image generation processing unit rotates the image rotated by 90 degrees from the image rotation unit and rotates by 90 degrees from the depth map rotation unit;
  • the depth map is input, and based on these input data, the 2D3D conversion process in which the parallax according to the subject distance is set is executed to generate the left eye image and the right eye image (1) or (2) An image processing apparatus according to 1.
  • the photographing angle determination unit is configured such that the input image is (A) Whether the image is a horizontally held image obtained by horizontally holding a twin-lens camera, (B) whether the image is a vertically held image by vertically holding shooting with a twin-lens camera, with the left side of the camera being the upper side and the right side being the lower side, (C) is a vertically held image obtained by vertically holding shooting with a twin-lens camera, and is a captured image with the left side of the camera facing down and the right side facing up, (A) to (c) The image processing apparatus according to any one of (1) to (3), wherein a control signal that enables discrimination of the three types of photographing angles is generated and output. (5) The image processing device according to any one of (1) to (4), wherein the stereo image generation processing unit generates a left-eye image and a right-eye image by executing 2D3D conversion processing without applying a depth map.
  • the image processing apparatus has a configuration in which a depth map based on the input image is input from the outside, and the stereo image generation processing unit applies the depth map input from the outside to respond to the subject distance.
  • the image processing apparatus according to any one of (1) to (5), wherein a 2D3D conversion process in which parallax is set is executed to generate a left eye image and a right eye image.
  • the control signal indicates that the image is a vertically held image obtained by vertically holding shooting with a two-lens camera
  • the image processing device has either a left-eye image or a right-eye image for the imaging device.
  • the image processing apparatus includes a depth map generation processing unit that generates a depth map based on the input image, and the imaging angle determination unit executes an analysis process of the depth map, and based on the analysis result.
  • the image processing apparatus according to any one of (1) to (7), wherein a camera angle at the time of capturing the input image is determined and a control signal corresponding to the determination result is output.
  • the configuration of the present disclosure includes a method of processing executed in the above-described apparatus and the like, and a program for executing processing.
  • the series of processing described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • an apparatus and a method capable of outputting a stereo image that can be displayed in 3D in both the case of horizontal shooting and vertical shooting of a binocular camera.
  • an image input unit that inputs a left eye image and a right eye image captured from different viewpoints as input images
  • a shooting angle determination unit that outputs a control signal according to the angle of the camera at the time of shooting the input image
  • the control signal indicates that the image is a horizontally-held image obtained by horizontally-holding shooting with a binocular camera
  • the left-eye image and the right-eye image that are the input images are output, and the control signal is
  • the stereo image generation processing unit is based on one image.
  • the left eye image and right eye image generated by the 2D3D conversion process are output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法を提供する。異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、左眼画像または右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像を出力する。

Description

画像処理装置、および画像処理方法、並びにプログラム
　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
　奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用の左眼画像と右眼用の右眼画像の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。
　撮像された一対のステレオ画像は、
　左側の撮像装置で撮像し、左眼で観察する左眼画像と、
　右側の撮像装置で撮像し、右眼で観察する右眼画像と、
　のペア画像によって構成される。
　左眼画像と右眼画像のペア画像によって構成されるステレオ画像対を、左眼画像と右眼画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。
　１台のカメラによる１回の撮影処理によって、左眼画像と右眼画像のペア画像を撮影する構成として２眼（複眼）構成を持つカメラが利用される。このような２眼構成のカメラは例えばステレオカメラと呼ばれる。
　図１は、ステレオ撮像系を有する撮像装置による撮像方法を示すものである。
　図１に示すカメラ１０は、左眼画像と右眼画像を撮影する２眼（複眼）構成を持つステレオカメラである。このような２眼（複眼）ステレオ撮像系を有する撮像装置においては、通常横持ちを前提としており、左右の水平位置のズレにより、視差画像を取得する。
　図２は、ステレオ撮像系を有する撮像装置による横持ち撮像例を示す図である。
　図２（ａ）は左眼画像、
　図２（ｂ）、（ｃ）はいずれも同じ図であり右眼画像である。
　（ａ）左眼画像も、（ｂ），（ｃ）右眼画像も、いずれも被写体として、自動車、ビル、木、家が撮影されているが、カメラのレンズ位置のずれによって撮影方向が異なるため、各画像上におけるこれら被写体の配置が少し異なる配置となっている。
　図２（ａ）の左眼画像と、図２（ｂ）の右眼画像間を結ぶ点線は、各被写体が上下にズレを生じていないことを示している。
　一方、図２（ａ）の左眼画像と、図２（ｃ）の右眼画像間を結ぶ点線は、各画像の被写体位置が、撮像装置からの距離に応じて、左右方向（水平方向）にズレが発生していることを示している。
　この左右方向（水平方向）のズレが視差である。このように視差を有する２つの画像を、観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。
　２眼（複眼）構成を持つカメラによって、視差を有する左眼画像と右眼画像を撮影するためには、図１に示すようにカメラ１０を横持ちしなければならない。
　しかし、縦長の構図を撮像する際にはカメラを９０度傾けて撮影する。いわゆる縦持ちをした撮影を行う。
　図１に示すような２眼構成のカメラ１０を９０度傾けて縦持ちして撮影すると、撮影画像として得られる左眼画像と右眼画像には水平方向の視差が発生しない。結果としてステレオ画像としての表示ができない画像となってしまう。
　図３は、ステレオ撮像系を有する２眼構成のカメラ１０を９０度傾けて縦持ちして撮影した処理例を示す図である。
　図４は、図３に示す縦持ち撮影によって得られる（ａ）左眼画像と（ｂ）右眼画像を示している。
　このように撮像された画像は通常、表示時には９０度回転した状態、図４（ｃ），（ｄ）の画像として表示される。
　図５は、
　（ａ）表示部に表示される左眼画像（＝図４（ｃ））
　（ｂ），（ｃ）表示部に表示される右眼画像（＝図４（ｄ））
　これらを示している。
　点線は、各画像間におけるズレを示している。
　図５（ａ），（ｃ）間の点線によって理解されるように、（ａ）左眼画像と（ｃ）右眼画像には水平方向のズレがない。すなわち視差がなく、これらの２つの画像を３Ｄ画像表示装置に表示しても立体感を知覚することはできない。
　一方、図５（ａ），（ｂ）間の点線によって理解されるように、（ａ）左眼画像と（ｂ）右眼画像には垂直方向のズレが発生している。これらの２つの画像を３Ｄ画像表示装置に表示した場合、上下の画像ブレを知覚するのみであり、何ら立体感を得ることはできない。
　３Ｄディスプレイは、水平方向の視差の設定された２つの画像を人間の左右の目に入射させることで立体感を想起させることを前提としているためである。
　図６は、
　（Ａ）横持ちステレオカメラによって撮影された水平方向に視差を有し、縦方向のズレはない左眼画像と右眼画像
　（Ｂ）縦持ちステレオカメラによって撮影された水平方向に視差を有さず、縦方向のズレのみがある左眼画像と右眼画像
　これらの画像を示している。
　（Ａ）の画像ペアを３Ｄ表示装置に表示すれば立体感を知覚できるが、（Ｂ）の画像ペアを３Ｄ表示装置に表示しても立体感は知覚できない。
　このように２眼カメラを用いたステレオ画像撮影において縦持ち撮影された画像は、３Ｄ表示装置において利用できなくなるという問題がある。
　この問題を鑑みて、例えば特許文献１（特開２００８－１４１５１４号公報）は、２眼構成のステレオカメラを利用した構成において、縦持ち時には左右一方の撮像データを記録しないことで省メモリを図る方法を提案している。
　また、特許文献２（特開２００９－１８８９３１号公報）は、縦持ち時に撮像素子が機械的に回転、移動することで立体撮影を行なう方法を提案している。
　しかし、特許文献１（特開２００８－１４１５１４号公報）は、縦持ち撮影時には立体撮影は不可能としてしまう処理であり、本質的に立体撮影を実現する解決策ではない。
　一方、特許文献２（特開２００９－１８８９３１号公報）の解決策は、縦持ち時の立体撮影が可能となる。しかし、撮像素子の機械的な回転を実現させるため、撮像装置が大型化すること、メカ精度に起因する左右両眼の位置や向きずれの発生しやすいことなどの問題がある。さらに、横持ちと縦持ちを切り換える際のタイムラグが発生し、即座の撮影には対応できず、また、動画撮影中の横持ちと縦持ちの切り換えが困難になるという問題がある。
特開２００８－１４１５１４号公報 特開２００９－１８８９３１号公報
　本開示は、例えば上記の問題に鑑みてなされたものであり、カメラの持ち方に依存することなく、立体感を知覚可能な画像を生成すること可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
　本開示の一実施例においては、ステレオカメラによって撮影された左右いずれか一方の２Ｄ画像から左右視差画像を生成する機能（２Ｄ／３Ｄ変換機能）を持たせることにより、縦持ちにおいても立体感を知覚できる視差画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、
　前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、
　前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、
　前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する画像処理装置にある。
　さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記ステレオ画像生成処理部は、前記デプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記ステレオ画像生成処理部に入力する画像を９０度回転させる画像回転部と、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部と、前記デプスマップ生成処理部の生成したデプスマップを９０度回転させるデプスマップ回転部を有し、前記ステレオ画像生成処理部は、前記画像回転部から、９０度回転した画像と、前記デプスマップ回転部から９０度回転したデプスマップを入力して、これらの入力データに基づいて、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
　さらに、本開示の画像処理装置の一実施態様において、前記撮影角度判定部は、前記入力画像が、
　（ａ）２眼カメラの横持ち撮影による横持ち撮影画像であるか、
　（ｂ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を上、右側を下とした撮影画像であるか、
　（ｃ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を下、右側を上とした撮影画像であるか、
　上記（ａ）～（ｃ）３種類の撮影角度を判別可能とした制御信号を生成して出力する。
　さらに、本開示の画像処理装置の一実施態様において、前記ステレオ画像生成処理部は、デプスマップを適用しない２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記入力画像に基づくデプスマップを外部から入力する構成を有し、前記ステレオ画像生成処理部は、外部から入力するデプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、撮像装置に対して、左眼画像または右眼画像のいずれか一方のみの画像を入力させる制御信号、またはいずれか一方のみの画像を撮影させる制御信号を出力する。
　さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記撮影角度判定部は、前記デプスマップの解析処理を実行し、解析結果に基づいて前記入力画像の撮影時のカメラの角度を判定し、判定結果に応じた制御信号を出力する。
　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
　前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
　画像出力処理として、
　前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
　前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
　上記いずれかの画像出力処理を選択的に実行する処理を行う画像処理方法にある。
　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
　前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
　画像出力処理として、
　前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
　前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
　上記いずれかの画像出力処理を選択的に実行する処理、
　を実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
　具体的には、異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、左眼画像または右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像を出力する。
　この構成により、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
２眼構成を持つステレオカメラを用いた横持ち撮影処理例について説明する図である。 ２眼構成を持つステレオカメラを用いた横持ち撮影処理がなされた画像について説明する図である。 ２眼構成を持つステレオカメラを用いた縦持ち撮影処理例について説明する図である。 ２眼構成を持つステレオカメラを用いた縦持ち撮影処理がなされた画像について説明する図である。 ２眼構成を持つステレオカメラを用いた縦持ち撮影処理がなされた画像について説明する図である。 ２眼構成を持つステレオカメラを用いた横持ち撮影処理がなされた画像と、縦持ち撮影処理がなされた画像について説明する図である。 本開示の画像処理装置の一実施例の構成について説明する図である。 本開示の画像処理装置の一実施例の構成について説明する図である。 本開示の画像処理装置の一実施例の構成について説明する図である。 本開示の画像処理装置の一実施例の構成について説明する図である。 本開示の画像処理装置の一実施例の構成について説明する図である。 本開示の画像処理装置の一実施例の構成について説明する図である。 本開示の画像処理装置の一実施例の構成について説明する図である。 デプスマップに基づく撮影角度判定処理について説明する図である。 本開示の画像処理装置の一実施例の構成について説明する図である。
　以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
　１．本開示の画像処理装置の構成と処理例（実施例１）について
　２．デプスマップ生成処理部で行われるデプス生成処理について
　３．デプスマップを内部で生成しない画像処理装置の構成と処理例（実施例２）について
　４．デプスマップを外部から入力する画像処理装置の構成と処理例（実施例３）について
　５．出力画像選択処理部を後段処理として設定した画像処理装置の構成と処理例（実施例４）について
　６．デプスマップの９０度回転を行なわない画像処理装置の構成と処理例（実施例５）について
　７．撮像装置へ制御信号を送る構成を持つ画像処理装置の構成と処理例（実施例６）について
　８．撮影角度判定部における撮影角度判定処理を、デプスマップを適用して実行する画像処理装置の構成と処理例（実施例７）について
　９．２Ｄ３Ｄ変換処理に適用する画像を右眼画像とした画像処理装置の構成と処理例（実施例８）について
　１０．その他の実施例
　１１．本開示の構成のまとめ
　　［１．本開示の画像処理装置の構成と処理例（実施例１）について］
　図７以下を参照して本開示の画像処理装置の構成と処理例（実施例１）について説明する。
　図７は、本開示の画像処理装置の一実施例の構成を示す図である。
　画像処理装置１００は、右眼画像入力部１０１、左眼画像入力部１０２、撮影角度判定部１０３、出力画像選択処理部１０４、画像回転部１０５、デプスマップ生成処理部１０６、デプスマップ回転部１０７、ステレオ画像生成処理部１０８を有する。
　画像処理装置１００は、２眼ステレオ画像信号を入力する。入力画像信号は、図１や図３に示すような２つの異なる位置に設定されたレンズを介して入力した２つの画像、すなわち右眼画像と左眼画像である。
　なお、撮影処理は、横持ちである場合、縦持ちである場合、いずれの場合もあり得るものとする。
　画像処理装置１００に入力する右眼画像と左眼画像はそれぞれ、右眼画像入力部１０１および左眼画像入力部１０２に入力される。
　さらに、撮影角度判定部１０３には、入力画像の撮影時のカメラの角度、すなわち横持ち撮影であるか、縦持ち撮影であるかを判別するために必要な情報、例えば、撮像装置（カメラ）の向きを検出するためのセンサ情報などが入力される。撮影角度判定部１０３は、このようなセンサ情報を用いて、「縦持ち撮影」と「横持ち撮影」を判別する。なお、撮像装置のユーザによって、現在の撮影が「縦持ち」か「横持ち」か、入力部を介して入力する構成としてもよい。
　撮影角度判定部１０３における判別結果は、制御信号として出力画像選択部１０４、画像回転部１０６、デプスマップ回転部１０７に出力される。
　撮影角度判定部１０３の出力する制御信号は、
　「横持ち撮影」時には「０」、
　「縦持ち撮影」時には、
　図２に示すように、撮像装置の左眼側を上（天井方向）、右眼側を下（地面方向）に撮像装置が構えられていると判別した場合には「１」、
　図２に示す設定に対して、１８０度回転した設定、すなわち、右眼側を上（天井方向）、左眼側を下（地面方向）に撮像装置が構えられていると判別した場合には「２」、
　これら３種類の制御信号を出力する。
　画像処理装置１００の右眼画像入力部１０１および左眼画像入力部１０２に入力された左右のステレオ画像の双方は、出力画像選択処理部１０４へ入力する。一方、撮影角度判定部１０３から出力された制御信号も出力画像選択処理部１０４へ入力する。
　図７には、画像処理装置１００の画像出力例として、
　（１）ケース１［Ｃａｓｅ１］、
　（２）ケース２［Ｃａｓｅ２］、
　これらの２つのケースを示している。
　ケース１［ＣＡＳＥ１］は、撮影角度判定部１０３の出力する制御信号が「０」の場合の処理である。
　撮影角度判定部１０３から出力する制御信号が「０」の場合とは、撮像装置を横持ちした撮影が行われた場合である。
　この横持ち撮影処理が行われた場合、出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「０」を入力する。
　出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「０」を入力すると、入力された左右のステレオ画像を、画像処理装置１００の出力としてそのまま出力する。これが、画像処理装置１００の出力である出力右眼画像と出力左眼画像となる。
　一方、ケース２［ＣＡＳＥ２］の場合は、撮影角度判定部１０３の出力する制御信号が「１」または「２」の場合の処理である。
　撮影角度判定部１０３から出力する制御信号が「１」または「２」の場合とは、撮像装置を縦持ちした縦撮影の場合である。
　この縦持ちした縦撮影処理が行われた場合には、画像処理装置１００は、右眼画像入力部１０１および左眼画像入力部１０２に入力された２つの画像の一方の画像を２Ｄ／３Ｄ変換して、ステレオ画像としての左眼画像と右眼画像を生成して出力する。
　このケース２［ＣＡＳＥ２］の場合の処理の流れについて詳細に説明する。
　縦持ち撮影処理が行われた場合、出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「１」または「２」を入力する。
　出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「１」または「２」を入力すると、入力された左右のステレオ画像を、まずデプスマップ生成処理部１０５へと入力する。デプスマップ生成処理部１０５において、ステレオマッチングの処理が行われ、デプスマップが生成、出力される。
　デプスマップ生成処理部１０５は、入力された２つの画像のステレオマッチング処理を実行して、対応画素位置のずれ量に基づいて各画素位置の被写体までの距離（デプス）、すなわちカメラからの被写体距離を算出する。
　デプスマップ生成処理部１０５は、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
　デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
　具体的には、例えば、
　被写体距離が小さい（カメラに近い）被写体を持つ画素は高輝度画素（明るい画素）、
　被写体距離が大きい（カメラから遠い）被写体を持つ画素は低輝度画素（暗い画素）、
　このような設定とした画像がデプスマップとして利用される。
　このように、デプスマップは画像に含まれる被写体の距離を画素対応データとして保持したデータであり、具体的には例えば被写体距離を画素値に変換して設定した画像データとして生成される。
　出力画像選択処理部１０４は、さらに、入力された左右のステレオ画像のうち、一方の画像（本例では左眼画像）をステレオ画像生成処理部１０８へ入力される。この入力の前に、画像回転部１０６において、入力左眼画像を９０度回転し、縦長の画像データに変換する。
　画像回転部１０６は、この回転処理に際して、撮影角度判定部１０３から出力された制御信号を用いて回転方向を決める。制御信号が「１」であるか「２」であるかに応じて、画像信号の上下を正しく設定した回転処理を行う。
　また、デプスマップ生成処理部１０５から出力されたデプスマップも、デプスマップ回転部１０７において回転処理がなされる。
　デプスマップ回転部１０７も、撮影角度判定部１０３から出力された制御信号を用いて回転方向を決める。制御信号が「１」であるか「２」であるかに応じて、画像信号の上下を正しく設定した回転処理を行う。
　回転処理が施され、正しい上下方向を有する画像とデプスマップは、ステレオ画像生成処理部１０８に入力される。
　ステレオ画像生成処理部１０８は、入力された左右のステレオ画像のうち、一方の画像（本例では左眼画像）１枚から、ステレオ画像としての左眼画像と右眼画像のペアを生成する。
　すなわち、ステレオ画像生成処理部１０８は、１枚の２Ｄ画像に基づいて、３Ｄ画像表示に適用する視差の設定された左眼画像と右眼画像を生成する。いわゆる２Ｄ３Ｄ変換処理を実行してステレオ画像を生成する。なお、この２Ｄ３Ｄ変換処理においては、デプスマップから得られる被写体距離（デプス）に応じた視差設定処理を実行する。
　なお、この被写体距離（デプス）に応じた視差設定を伴う２Ｄ３Ｄ変換処理によるステレオ画像生成処理は、本出願人が先に出願した特開２０１１－１２４９３５号公報に記載の処理を適用することができる。
　画像処理装置１００は、縦持ち撮影によって撮影された画像を入力した場合、ステレオ画像生成処理部１０８が２Ｄ３Ｄ変換処理によって生成した右眼画像と左眼画像を、画像処理装置１００の出力画像とする。
　このように、図７に示す画像処理装置１００は、
　画像処理装置に入力する左目画像と右眼画像が横持ち撮影された画像である場合はそのまま出力し、
　画像処理装置に入力する左目画像と右眼画像が縦持ち撮影された画像である場合は、いずれか一方の画像を９０度回転した上で、２Ｄ３Ｄ変換処理によって左眼画像と右眼画像を生成してこれらの生成画像を出力する。
　これらの出力画像が３Ｄ画像表示装置に表示される。この処理によって横持ち撮影画像についても縦持ち撮影画像についても水平方向に視差の設定された左眼画像と右眼画像のペアが３Ｄ表示装置に表示されることになり、視覚者に対して立体感を想起させる３Ｄ画像の表示が可能となる。
　　［２．デプスマップ生成処理部で行われるデプス生成処理について］
　次に、デプスマップ生成処理部１０５の実行するデプスマップ生成処理の具体例について説明する。
　前述したように、デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
　具体的には、例えば、
　被写体距離が小さい（カメラに近い）被写体を持つ画素は高輝度画素（明るい画素）、
　被写体距離が大きい（カメラから遠い）被写体を持つ画素は低輝度画素（暗い画素）、
　このような設定とした画像がデプスマップとして利用される。
　このように、デプスマップは画像に含まれる被写体の距離を画素対応データとして保持したデータであり、具体的には例えば被写体距離を画素値に変換して設定した画像データとして生成される。
　デプスマップ生成処理部１０５の実行するデプスマップ生成処理では、ステレオマッチングを用いた一般的な手法が適用可能である。
　すなわち、複数の異なる視点から得られた画像、本例では、画像処理装置１００に入力する左目画像と右眼画像間の対応を求めることで，画像中の被写体のカメラからの距離を算出することができる。
　複数の視点から得られた画像間の対応を、精度良く、または高速に求める手法については、数多く提案されている。
　例えば，高精度に画像間の対応を求める手法として、特開２００３－０８５５６６号公報には、動的計画法の一種であるビタビアルゴリズムに基づき，水平走査線上の画素列に対して最適な対応を割り当てる手法を開示している．
　また，高速に画像間の対応を求める手法として、特開平０７－１０３７３４号公報には、画像を縮小し階層構造を形成し、解像度の低い階層における対応検出の結果をより解像度の高い階層に伝播し、解像度の高い階層における対応探索処理の低減を図る手法を開示している。
　図１に示す画像処理装置１００のデプスマップ生成処理部１０５においては、例えばこれらの既存の手法を適用することでデプスマップ生成処理を行うことができる。
　　［３．デプスマップを内部で生成しない画像処理装置の構成と処理例（実施例２）について］
　次に、デプスマップを内部で生成しない画像処理装置の構成と処理例について、実施例２として説明する。
　図８は、デプスマップを内部で生成しない画像処理装置１００の構成を示す図である。
　先に説明した図７に示す画像処理装置との違いは、
　図７に示すデプスマップ生成処理部１０５と、デプスマップ回転部１０７を有していない点である。
　図８に示す画像処理装置１００のステレオ画像生成部１０８は、デプスマップを用いずに、画像回転部１０６から入力する１枚の画像、本例では、左眼画像１枚からステレオ画像としての左眼画像と右眼画像を生成する。
　なお、デプスマップを用いずに１枚の２Ｄ画像から３Ｄ画像としての左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理については、本特許出願と同一出願人の先行出願である特開２０１０－０６３０８３号公報に記載がある。
　図８に示す画像処理装置１００のステレオ画像生成部１０８は、例えば、この特開２０１０－０６３０８３号公報に記載の手法を適用して１枚の２Ｄ画像から３Ｄ画像としての左眼画像と右眼画像を生成する。
　　［４．デプスマップを外部から入力する画像処理装置の構成と処理例（実施例３）について］
　次に、デプスマップを外部から入力する画像処理装置の構成と処理例（実施例３）について、図９を参照して説明する。
　図９に示す画像処理装置１００において、先に説明した図７に示す画像処理装置との違いは、
　図７に示すデプスマップ生成処理部１０５と、デプスマップ回転部１０７を有していない点である。
　すなわち、図８に示す画像処理装置と同様である。
　ただし、図９に示す画像処理装置１００は、図８に示す構成とは異なり、デプスマップを外部から入力する。
　図９に示す画像処理装置１００のステレオ画像生成部１０８は、外部から入力するデプスマップを用いて、画像回転部１０６から入力する１枚の画像、本例では、左眼画像１枚からステレオ画像としての左眼画像と右眼画像を生成する。
　例えば撮像装置においてデプスマップを取得して画像処理装置に入力する。例えば、撮像装置は、レンジセンサなどの被写体距離を計測する機能を有する。撮像装置が、計測した被写体距離情報に基づくデプスマップを生成して画像処理装置１００に出力する。ステレオ画像生成処理部１０８は、この外部から入力するデプスマップを用いて左右のステレオ画像を生成して、出力する。
　　［５．出力画像選択処理部を後段処理として設定した画像処理装置の構成と処理例（実施例４）について］
　次に、出力画像選択処理部を後段処理として設定した画像処理装置の構成と処理例（実施例４）について、図１０を参照して説明する。
　図１０に示す画像処理装置１００において、先に説明した図７に示す画像処理装置との違いは、
　出力画像選択処理部１０４を画像処理装置１００の最終処理部として設定した点である。
　出力画像選択処理部１０４を後段に設定した構成とすることで、ステレオ画像生成処理部１０８は、常に２Ｄ３Ｄ変換処理によるステレオ画像生成処理を行なう。
　出力画像選択処理部１０４には、常時、以下の各画像が入力される。
　（１）右眼画像入力部１０１からの右眼画像、
　（２）左眼画像入力部１０２からの左眼画像、
　（３）ステレオ画像生成処理部１０８が１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像からなるステレオ画像、
　これらの画像を常時、入力する。
　出力画像選択処理部１０４は、撮影角度判定部１０３からの入力信号に応じて、
　（１）右眼画像入力部１０１からの右眼画像と、（２）左眼画像入力部１０２からの左眼画像、
　または、
　（３）ステレオ画像生成処理部１０８が１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像からなるステレオ画像、
　上記の（１），（２）の画像ペア、または（３）の画像ペアのいずれかを出力する。
　撮影角度判定部１０３の出力する制御信号が「０」の場合、すなわち、撮像装置を横持ちした通常の横撮影である場合、出力画像選択処理部１０４は、入力された左右のステレオ画像をそのまま出力する。すなわち、上記の（１），（２）の画像ペアを出力右眼画像と出力左眼画像として出力する。
　一方、撮影角度判定部１０３の出力する制御信号が「１」または「２」の場合、すなわち、撮像装置を縦持ちした縦撮影の場合には、出力画像選択処理部１０４は、上記（３）の画像を出力する。ステレオ画像生成処理部１０８が１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像からなるステレオ画像を出力画像とする。
　　［６．デプスマップの９０度回転を行なわない画像処理装置の構成と処理例（実施例５）について］
　次に、デプスマップの９０度回転を行なわない設定とした画像処理装置の構成と処理例（実施例５）について、図１１を参照して説明する。
　図１１に示す画像処理装置１００において、先に説明した図７に示す画像処理装置との違いは、
　図７に示すデプスマップ回転部１０７を省略した点、
　図７に示す画像回転部１０６を、ステレオ画像生成処理部１０８の後段に設定して、右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌとして構成した点、
　である。
　本構成では、図１１に示すように、出力画像選択部１０４から、９０度回転なしの１つの画像（本例では左眼画像）が直接、ステレオ画像生成処理部１０８に入力される。また、デプスマップ生成処理部１０５の生成したデプスマップが直接、ステレオ画像生成処理部１０８に入力される。
　ステレオ画像生成処理部１０８は、回転処理の施されていない１枚の２Ｄ画像と、デプスマップを用いた２Ｄ３Ｄ変換処理を行って、視差を上下方向に設定した２枚の画像を生成する。
　その後、２枚の視差設定画像を右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌにそれぞれ入力して、それぞれの画像を９０度回転して実際の被写体の上下方向を反映させた画像を生成して出力する。
　なお、これら右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌには、撮影角度判定部１０３から撮影角度に応じた制御信号が入力される。
　右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌは、撮影角度判定部１０３から入力する撮影角度に応じた制御信号に基づく回転処理を実行して、実際の被写体の上下方向を反映させた画像を生成して出力する。
　　［７．撮像装置へ制御信号を送る構成を持つ画像処理装置の構成と処理例（実施例６）について］
　画像処理装置１００は、カメラの縦持ち撮影を行った場合は、ステレオ画像生成処理部１０８が左眼画像または右眼画像のいずれか一方の画像に基づく２Ｄ３Ｄ変換処理によって生成したステレオ画像としての左眼画像と右眼画像を生成して出力する。
　従って、カメラの縦持ち撮影を行った場合は、左眼画像と右眼画像の２つの画像のいずれか一方は不要となる。すなわち左眼画像または右眼画像の一方のみが撮影されればよく、他方の画像の撮影処理は不要となる。
　本実施例の図１２に示す画像処理装置は、上記の事情を考慮して、縦持ち撮影が実行される場合には、左眼画像と右眼画像の２つの画像のうち、一方の画像のみを撮影するように制御する。
　図１２に示す画像処理装置は、このような撮影制御を行う構成例を示している。
　画像処理装置１００は、撮像装置２００に対する制御信号を出力する。
　図１２に示す画像処理装置１００の撮影角度判定部１０３の制御信号が縦持ち撮影であることを示す制御信号である場合、出力画像選択処理部１０４は、撮像装置２００の右眼画像撮像部に対して撮影停止命令信号、あるいは撮像画像の入力停止命令を出力する。
　このような設定とすることで、画像処理装置１００には、必要としない無駄な右眼画像が入力されない。
　こうした構成で右眼画像の入力を制御することで、帯域削減や低消費電力化を実現できる。
　　［８．撮影角度判定部における撮影角度判定処理を、デプスマップを適用して実行する画像処理装置の構成と処理例（実施例７）について］
　次に、撮影角度判定部における撮影角度判定処理を、デプスマップを適用して実行する画像処理装置の構成と処理例（実施例７）について説明する。
　これまでの実施例では、撮影角度判定部１０３における撮影角度判定処理は、外部から情報の入力を用いて行なう構成であったが、入力している画像情報のみを用いてこの判定を行なう方法も考えられる。
　図１３は、本実施例の画像処理装置の構成を示す図である。
　図１３に示す画像処理装置１００は、撮影角度判定部１０３に、撮像装置の向きを検出するためのセンサ情報などを入力しない構成に変更したものである。図１３の構成においては、撮影角度判定部１０３に、入力右眼画像、入力左眼画像、および、この左右ステレオ画像を用いてデプスマップ生成処理部１０５で生成されたデプスマップを入力する。
　撮影角度判定部１０３は、これらの情報を用いて、ユーザが縦持ち撮影を実行したか、横持ち撮影を実行したかを判別する。
　撮影角度判定部１０３において、左右いずれか、または、双方の画像信号のみから、撮像装置がどの向きに持たれて撮像されたかを判別するためには、例えば、
　（ａ）撮影画像中の人の顔の検出処理に基づく撮影角度判定処理、
　（ｂ）撮影画像中の人の体の検出処理に基づく撮影角度判定処理、
　（ｃ）撮影画像中の空領域の検出処理に基づく撮影角度判定処理、
　（ｄ）撮影画像中の水平線の検出処理に基づく撮影角度判定処理、
　これら（ａ）～（ｄ）のいずれかの処理を適用することができる。
　なお、これら（ａ）～（ｄ）の処理には、既存技術が利用可能である。例えば、
　（ａ）撮影画像中の人の顔の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
　Ｐ．Ｖｉｏｌａ，　Ｍ．Ｊｏｎｅｓ：　Ｒｏｂｕｓｔ　Ｒｅａｌ－ｔｉｍｅ　Ｏｂｊｅｃｔ　Ｄｅｔｅｃｔｉｏｎ，　ＩＪＣＶ　２００１．
　また、（ｂ）撮影画像中の人の体の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
　Ｎ．Ｄａｌａｌ，　Ｂ．Ｔｒｉｇｇｓ：　Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ　ｆｏｒ　Ｈｕｍａｎ　Ｄｅｔｅｃｔｉｏｎ，　ＣＶＰＲ　２００５．
　また、（ｃ）撮影画像中の空領域の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
　Ｊ．Ｌｕｏ，　Ｅｔｚ　Ｓ．Ｐ．：　Ａ　Ｐｈｙｓｉｃａｌ　Ｍｏｄｅｌ－Ｂａｓｅｄ　Ａｐｐｒｏａｃｈ　ｔｏ　Ｄｅｔｅｃｔｉｎｇ　Ｓｋｙ　ｉｎ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｉｍａｇｅｓ．　ＩＥＥＥ　Ｔｒａｎｓ．　ｏｎ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，　Ｖｏｌ．１１　Ｉｓｓｕｅ３，　２００２．
　また、（ｄ）撮影画像中の水平線の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
　Ｓ．　Ｔ．　Ｂａｒｎａｒｄ：　Ｉｎｔｅｒｐｒｅｔｉｎｇ　ｐｅｒｓｐｅｃｔｉｖｅ　ｉｍａｇｅｓ．　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　２１，　１９８３．
　撮影角度判定部１０３は、これらの既存技術を用いて、ユーザが縦持ち撮影を実行したか、横持ち撮影を実行したかを判別することができる。
　また、デプスマップ生成処理部１０５で生成されたデプスマップを用いる方法としては、たとえば、図１４に示すデプスマップ解析結果を生成して用いる方法が適用可能である。
　図１４には、
　（ａ）ステレオカメラを横持ちした撮影画像に対するデプスマップの解析結果、
　（ｂ）ステレオカメラを縦持ちした撮影画像（左眼画像を上側）に対するデプスマップの解析結果、
　（ｃ）ステレオカメラを縦持ちした撮影画像（右眼画像を上側）に対するデプスマップの解析結果、
　これらを示している。
　（ａ）～（ｃ）とも、上段から、
　デプスマップに対する空間ローパスフィル（ＬＰＦ）タの適用結果、
　ＬＰＦ適用画像から得られる縦方向の平均デプスデータ（横軸が縦方向の画素位置、縦軸がデプス）、
　ＬＰＦ適用画像から得られる横方向の平均デプスデータ（横軸が横方向の画素位置、縦軸がデプス）、
　これらの３つのデータを示している。
　デプスマップ、およびそのＬＰＦ適用結果は、被写体距離（デプス）が遠いほど高い輝度、近いほど低い輝度で表現される。
　上段に示すＬＰＦ適用デプスマップに基づいて、
　中段に示す縦方向の平均デプス（ライン毎の平均値）分布、および、
　下段に示す横方向の平均デプス（カラム毎の平均値）分布、
　これらの各データを算出する。
　中断と下段に示す平均デプスデータの分布から見てとれるように、
　横持ち撮像された画像の、縦方向の平均デプス分布は、画像の縦座標に対し、上部の座標ほど高い（遠い）値となる分布の傾向がある。
　一方、横方向の平均デプス分布は、画像の横座標に対し、傾きがほとんどなく平坦な分布をとる傾向がある。
　また、縦持ち撮像された画像の縦方向の平均デプス分布は、画像の縦座標に対し、傾きがほとんどなく平坦な分布をとる傾向がある。左右のどちらの眼を上に位置する場合でも同じである。
　一方、横方向の平均デプス分布は、画像の横座標に対し、左眼を上に位置して撮像した場合は、左部の座標ほど高い（遠い）値となる分布の傾向があり、右眼を上に位置して撮像した場合は、右部の座標ほど高い（遠い）値となる分布の傾向がある。
　このように、縦横方向の平均デプス分布は、撮像装置の向きに応じて異なる分布となる傾向がある。
　撮影角度判定部１０３は、デプスマップ生成処理部１０５の生成したデプスマップを入力して、図１４に示す解析データを生成して、生成した解析データに基づいて、撮影画像が横持ちであるか、縦持ちであるか、さらに縦持ちである場合は、左眼画像がうえであるか右眼画像が上であるかを判別する。
　これらの判別結果に応じて前述の制御信号（０～２）を生成して出力する。
　　［９．２Ｄ３Ｄ変換処理に適用する画像を右眼画像とした画像処理装置の構成と処理例（実施例８）について］
　ここまでの実施例においては、ステレオ画像生成処理部１０８において実行する２Ｄ／３Ｄ変換処理の処理対象画像は、左眼画像とした例について説明したが、ステレオ画像生成処理部１０８において実行する２Ｄ／３Ｄ変換処理の処理対象画像は、右眼画像としてもよい。
　図１５に示す画像処理装置は、図７に示す画像処理装置と異なり、ステレオ画像生成処理部１０８に右眼画像を入力する構成を持つ。
　ステレオ画像生成処理部１０８は、右眼画像を入力して、右眼画像に基づく２Ｄ３Ｄ変換処理を実行してステレオ画像としての左眼画像と右眼画像を生成して出力する。
　なお、先に説明した実施例２～７においても、ステレオ画像生成処理部１０８に、右眼画像を入力して、右眼画像に基づく２Ｄ３Ｄ変換処理を実行してステレオ画像としての左眼画像と右眼画像を生成して出力する構成が可能である。
　なお、ステレオ画像生成処理部１０８において、
　左眼画像に基づく２Ｄ３Ｄ変換処理を実行するか、
　右眼画像に基づく２Ｄ３Ｄ変換処理を実行するか、
　これらを選択適用する構成としてもよい。
　どちらの画像を選択するかの決定処理は、例えば、撮影角度判定部１０３から出力画像選択処理部１０４へ入力される制御信号に応じて、どちらの画像を処理するかを決定する処理態様などが可能である。
　例えば、縦持ちされた撮像装置の上（天井方向）側で撮像された画像を処理対象として選択する設定とする。
　このような設定では、入力された制御信号が「１」の場合には左側の画像を、入力された制御信号が「２」の場合には右側の画像を、それぞれ２Ｄ３Ｄ変換対象画像として選択し、ステレオ画像生成処理部１０８に選択出力することができる。
　その他の選択基準としては、例えば、左右画像のどちらが人の目から見て映りがよいか、を判断して選択する手法も考えられる。例えば、主たる被写体が、より構図の中心にある方を選ぶ、あるいは、フォーカス位置がより合致している方を選ぶ、などである。これらの判断情報を実行する画像評価部を画像処理装置１００内に構成し、この画像評価部の評価結果を出力画像選択処理部１０４に入力する。
　出力画像選択処理部１０４は入力する評価結果に応じて、評価の高い画像を選択してステレオ画像生成処理部１０８に出力する。
　なお、撮影画像の中から総合的に良い画像を自動で評価する処理としては、例えば、特開２０１０－１１９０９７号公報に記載の構成が適用可能である。
　　［１０．その他の実施例］
　これまでに説明した実施例では、画像処理装置１００に入力する画像は、左右の撮像素子を有した２眼撮像装置で取得された、左右ステレオ画像の入力を前提としていた。しかし、画像処理装置１００に入力する画像は、単眼によるステレオ画像撮像装置で取得された左右ステレオ画像の入力としてもよい。
　なお、２眼構成でない単眼構成の撮像装置を利用した左右ステレオ画像の撮影と生成処理については、例えば、特開２０１１－３５８５３号公報に記載の構成がある。
　この特開２０１１－３５８５３号公報に記載の構成等、単眼構成の撮像装置を利用した左右ステレオ画像を入力としてもよい。
　　［１１．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、
　前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、
　前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、
　前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する画像処理装置。
　（２）前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記ステレオ画像生成処理部は、前記デプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）に記載の画像処理装置。
　（３）前記画像処理装置は、前記ステレオ画像生成処理部に入力する画像を９０度回転させる画像回転部と、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部と、前記デプスマップ生成処理部の生成したデプスマップを９０度回転させるデプスマップ回転部を有し、前記ステレオ画像生成処理部は、前記画像回転部から、９０度回転した画像と、前記デプスマップ回転部から９０度回転したデプスマップを入力して、これらの入力データに基づいて、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）または（２）に記載の画像処理装置。
　（４）前記撮影角度判定部は、前記入力画像が、
　（ａ）２眼カメラの横持ち撮影による横持ち撮影画像であるか、
　（ｂ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を上、右側を下とした撮影画像であるか、
　（ｃ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を下、右側を上とした撮影画像であるか、
　上記（ａ）～（ｃ）３種類の撮影角度を判別可能とした制御信号を生成して出力する前記（１）～（３）いずれかに記載の画像処理装置。
　（５）前記ステレオ画像生成処理部は、デプスマップを適用しない２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）～（４）いずれかに記載の画像処理装置。
　（６）前記画像処理装置は、前記入力画像に基づくデプスマップを外部から入力する構成を有し、前記ステレオ画像生成処理部は、外部から入力するデプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）～（５）いずれかに記載の画像処理装置。
　（７）前記画像処理装置は、前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、撮像装置に対して、左眼画像または右眼画像のいずれか一方のみの画像を入力させる制御信号、またはいずれか一方のみの画像を撮影させる制御信号を出力する前記（１）～（６）に記載の画像処理装置。
　（８）前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記撮影角度判定部は、前記デプスマップの解析処理を実行し、解析結果に基づいて前記入力画像の撮影時のカメラの角度を判定し、判定結果に応じた制御信号を出力する全期（１）～（７）いずれかに記載の画像処理装置。
　さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
　具体的には、異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、左眼画像または右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像を出力する。
　この構成により、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
　１００　画像処理装置
　１０１　右眼画像入力部
　１０２　左眼画像入力部
　１０３　撮影角度判定部
　１０４　出力画像選択処理部
　１０５　デプスマップ生成処理部
　１０６　画像回転部
　１０６ａ　右眼画像回転部
　１０６ｂ　左眼画像回転部
　１０７　デプスマップ回転部
　１０８　ステレオ画像生成処理部

Claims (10)

  1. 　異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、
    　前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、
    　前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、
    　前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する画像処理装置。
  2. 　前記画像処理装置は、
    　前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、
    　前記ステレオ画像生成処理部は、
    　前記デプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
  3. 　前記画像処理装置は、
    　前記ステレオ画像生成処理部に入力する画像を９０度回転させる画像回転部と、
    　前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部と、
    　前記デプスマップ生成処理部の生成したデプスマップを９０度回転させるデプスマップ回転部を有し、
    　前記ステレオ画像生成処理部は、
    　前記画像回転部から、９０度回転した画像と、前記デプスマップ回転部から９０度回転したデプスマップを入力して、これらの入力データに基づいて、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
  4. 　前記撮影角度判定部は、
    　前記入力画像が、
    　（ａ）２眼カメラの横持ち撮影による横持ち撮影画像であるか、
    　（ｂ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を上、右側を下とした撮影画像であるか、
    　（ｃ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を下、右側を上とした撮影画像であるか、
    　上記（ａ）～（ｃ）３種類の撮影角度を判別可能とした制御信号を生成して出力する請求項１に記載の画像処理装置。
  5. 　前記ステレオ画像生成処理部は、
    　デプスマップを適用しない２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
  6. 　前記画像処理装置は、
    　前記入力画像に基づくデプスマップを外部から入力する構成を有し、
    　前記ステレオ画像生成処理部は、
    　外部から入力するデプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
  7. 　前記画像処理装置は、
    　前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、
    　撮像装置に対して、左眼画像または右眼画像のいずれか一方のみの画像を入力させる制御信号、またはいずれか一方のみの画像を撮影させる制御信号を出力する請求項１に記載の画像処理装置。
  8. 　前記画像処理装置は、
    　前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、
    　前記撮影角度判定部は、
    　前記デプスマップの解析処理を実行し、解析結果に基づいて前記入力画像の撮影時のカメラの角度を判定し、判定結果に応じた制御信号を出力する請求項１に記載の画像処理装置。
  9. 　画像処理装置において実行する画像処理方法であり、
    　異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
    　前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
    　画像出力処理として、
    　前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
    　前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
    　上記いずれかの画像出力処理を選択的に実行する処理を行う画像処理方法。
  10. 　画像処理装置において画像処理を実行させるプログラムであり、
    　異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
    　前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
    　画像出力処理として、
    　前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
    　前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
    　上記いずれかの画像出力処理を選択的に実行する処理、
    　を実行させるプログラム。
PCT/JP2012/077067 2011-11-29 2012-10-19 画像処理装置、および画像処理方法、並びにプログラム WO2013080697A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12853046.6A EP2787735A1 (en) 2011-11-29 2012-10-19 Image processing device, image processing method and program
US14/359,428 US20140300703A1 (en) 2011-11-29 2012-10-19 Image processing apparatus, image processing method, and program
CN201280057537.0A CN103959770A (zh) 2011-11-29 2012-10-19 图像处理设备、图像处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011261033A JP2013115668A (ja) 2011-11-29 2011-11-29 画像処理装置、および画像処理方法、並びにプログラム
JP2011-261033 2011-11-29

Publications (1)

Publication Number Publication Date
WO2013080697A1 true WO2013080697A1 (ja) 2013-06-06

Family

ID=48535168

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077067 WO2013080697A1 (ja) 2011-11-29 2012-10-19 画像処理装置、および画像処理方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20140300703A1 (ja)
EP (1) EP2787735A1 (ja)
JP (1) JP2013115668A (ja)
CN (1) CN103959770A (ja)
WO (1) WO2013080697A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9143754B2 (en) * 2012-02-02 2015-09-22 Cyberlink Corp. Systems and methods for modifying stereoscopic images
US9483829B2 (en) * 2013-09-04 2016-11-01 International Business Machines Corporation Efficient visual surface finding
US9667948B2 (en) 2013-10-28 2017-05-30 Ray Wang Method and system for providing three-dimensional (3D) display of two-dimensional (2D) information
JP2015177269A (ja) * 2014-03-13 2015-10-05 株式会社東芝 画像処理装置、画像処理システムおよび画像処理方法
US10992917B2 (en) * 2016-06-17 2021-04-27 Sony Corporation Image processing device, image processing method, program, and image processing system that use parallax information
WO2019035177A1 (ja) * 2017-08-15 2019-02-21 三菱電機株式会社 車載表示装置、画像処理装置および表示制御方法
CN108712643B (zh) * 2018-04-27 2020-02-21 苏州新光维医疗科技有限公司 二维图像转换成三维图像的方法、装置及三维成像系统
CN108737810B (zh) * 2018-05-23 2019-08-06 苏州新光维医疗科技有限公司 图像处理方法、装置及三维成像系统
CN113344778B (zh) * 2021-08-05 2021-11-05 成都市谛视科技有限公司 一种成像控制方法、装置、设备及计算机可读存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07103734A (ja) 1993-10-01 1995-04-18 Sharp Corp ステレオ対応探索装置
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及びその方法
JP2003085566A (ja) 2001-09-10 2003-03-20 Nippon Hoso Kyokai <Nhk> 対応点探索方法及びこれを用いたマッチング装置
JP2003222804A (ja) * 2001-10-31 2003-08-08 Olympus Optical Co Ltd 光学観察装置及びこれに用いる立体画像入力光学系
JP2004200814A (ja) * 2002-12-16 2004-07-15 Sanyo Electric Co Ltd 立体映像生成方法及び立体映像生成装置
JP2005500757A (ja) * 2001-08-15 2005-01-06 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ３ｄビデオ会議システム
JP2005151534A (ja) * 2003-09-24 2005-06-09 Victor Co Of Japan Ltd 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
JP2008141514A (ja) 2006-12-01 2008-06-19 Fujifilm Corp 複眼デジタルカメラ
JP2008289065A (ja) * 2007-05-21 2008-11-27 Fujifilm Corp 撮像装置、画像再生装置、撮像方法及びプログラム
JP2009188931A (ja) 2008-02-08 2009-08-20 Fujifilm Corp 複眼カメラ及び撮影方法
JP2010063083A (ja) 2008-08-06 2010-03-18 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2010119097A (ja) 2008-10-16 2010-05-27 Nikon Corp 画像評価装置及びカメラ
JP2011019028A (ja) * 2009-07-08 2011-01-27 Canon Inc 撮像装置、情報処理装置、撮像装置の制御方法、情報処理装置の制御方法、及びコンピュータプログラム
JP2011035853A (ja) 2009-08-06 2011-02-17 Sony Corp 撮像装置および映像記録再生システム
JP2011124935A (ja) 2009-12-14 2011-06-23 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011135374A (ja) * 2009-12-24 2011-07-07 Casio Computer Co Ltd ３次元デジタルカメラ
JP2012023557A (ja) * 2010-07-14 2012-02-02 Sharp Corp 画像撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
WO2011142086A1 (ja) * 2010-05-14 2011-11-17 パナソニック株式会社 カメラ本体、交換レンズユニット、撮像装置、カメラ本体の制御方法、交換レンズユニットの制御方法、プログラムおよびプログラムを記録した記録媒体
US20130033490A1 (en) * 2011-08-04 2013-02-07 Texas Instruments Incorporated Method, System and Computer Program Product for Reorienting a Stereoscopic Image

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07103734A (ja) 1993-10-01 1995-04-18 Sharp Corp ステレオ対応探索装置
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及びその方法
JP2005500757A (ja) * 2001-08-15 2005-01-06 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ３ｄビデオ会議システム
JP2003085566A (ja) 2001-09-10 2003-03-20 Nippon Hoso Kyokai <Nhk> 対応点探索方法及びこれを用いたマッチング装置
JP2003222804A (ja) * 2001-10-31 2003-08-08 Olympus Optical Co Ltd 光学観察装置及びこれに用いる立体画像入力光学系
JP2004200814A (ja) * 2002-12-16 2004-07-15 Sanyo Electric Co Ltd 立体映像生成方法及び立体映像生成装置
JP2005151534A (ja) * 2003-09-24 2005-06-09 Victor Co Of Japan Ltd 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
JP2008141514A (ja) 2006-12-01 2008-06-19 Fujifilm Corp 複眼デジタルカメラ
JP2008289065A (ja) * 2007-05-21 2008-11-27 Fujifilm Corp 撮像装置、画像再生装置、撮像方法及びプログラム
JP2009188931A (ja) 2008-02-08 2009-08-20 Fujifilm Corp 複眼カメラ及び撮影方法
JP2010063083A (ja) 2008-08-06 2010-03-18 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2010119097A (ja) 2008-10-16 2010-05-27 Nikon Corp 画像評価装置及びカメラ
JP2011019028A (ja) * 2009-07-08 2011-01-27 Canon Inc 撮像装置、情報処理装置、撮像装置の制御方法、情報処理装置の制御方法、及びコンピュータプログラム
JP2011035853A (ja) 2009-08-06 2011-02-17 Sony Corp 撮像装置および映像記録再生システム
JP2011124935A (ja) 2009-12-14 2011-06-23 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011135374A (ja) * 2009-12-24 2011-07-07 Casio Computer Co Ltd ３次元デジタルカメラ
JP2012023557A (ja) * 2010-07-14 2012-02-02 Sharp Corp 画像撮像装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
J. LUO; ETZ S.P.: "A Physical Model-Based Approach to Detecting Sky in Photographic Images", IEEE TRANS. ON IMAGE PROCESSING, vol. 11, no. 3, 2002
N. DALAL; B. TRIGGS: "Histograms of Oriented Gradients for Human Detection", CVPR, 2005
P. VIOLA; M. JONES: "Robust Real-time Object Detection", IJCV, 2001
S. T. BARNARD: "Interpreting perspective images", ARTIFICIAL INTELLIGENCE, vol. 21, 1983

Also Published As

Publication number Publication date
CN103959770A (zh) 2014-07-30
EP2787735A1 (en) 2014-10-08
US20140300703A1 (en) 2014-10-09
JP2013115668A (ja) 2013-06-10

Similar Documents

Publication Publication Date Title
WO2013080697A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9948919B2 (en) Stereoscopic 3D camera for virtual reality experience
CA2969482C (en) Method and apparatus for multiple technology depth map acquisition and fusion
US9071827B1 (en) Method and system for automatic 3-D image creation
US8456518B2 (en) Stereoscopic camera with automatic obstruction removal
CN102428707B (zh) 立体视用图像对位装置和立体视用图像对位方法
JP5899684B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20110025830A1 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
JP2011166264A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US20080158340A1 (en) Video chat apparatus and method
US20130162786A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US20140098201A1 (en) Image processing apparatus and method for performing image rendering based on orientation of display
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
JP3990271B2 (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
KR20150003576A (ko) 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
US20130027520A1 (en) 3d image recording device and 3d image signal processing device
US10397540B2 (en) Method for obtaining and merging multi-resolution data
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
US9177380B2 (en) 3D video camera using plural lenses and sensors having different resolutions and/or qualities
JP2011211551A (ja) 画像処理装置および画像処理方法
WO2015141185A1 (ja) 撮像制御装置、撮像制御方法および記録媒体
JP2013201688A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
US20210037230A1 (en) Multiview interactive digital media representation inventory verification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12853046

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012853046

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14359428

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE