WO2011114683A1 - 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム - Google Patents

立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム Download PDF

Info

Publication number
WO2011114683A1
WO2011114683A1 PCT/JP2011/001455 JP2011001455W WO2011114683A1 WO 2011114683 A1 WO2011114683 A1 WO 2011114683A1 JP 2011001455 W JP2011001455 W JP 2011001455W WO 2011114683 A1 WO2011114683 A1 WO 2011114683A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
point
pair
stereoscopic
matrix
Prior art date
Application number
PCT/JP2011/001455
Other languages
English (en)
French (fr)
Inventor
ボ リ
ポンサク ラーサン
チン ペク オン
シェンメイ シェン
田川　潤一
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/320,640 priority Critical patent/US8890934B2/en
Priority to JP2011536681A priority patent/JP5679978B2/ja
Priority to CN201180002079.6A priority patent/CN102428707B/zh
Priority to EP11755876.7A priority patent/EP2549762B1/en
Publication of WO2011114683A1 publication Critical patent/WO2011114683A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Definitions

  • the present invention relates to a stereoscopic image alignment device that detects corresponding points from a plurality of image pairs and aligns them so as to satisfy a certain standard, and in particular, stereoscopic viewing is possible in a stereoscopic display device.
  • the present invention relates to an image alignment apparatus for stereoscopic viewing and the like that aligns image pairs as described above.
  • Stereo imaging has been studied for many years in this technology. Stereoscopic images allow viewers to feel depth and feel a sense of realism, and in the home entertainment industry, it is now a hot topic. Stereo imaging applications range from military navigation to medical imaging, industrial testing, consumer electronics, and more.
  • the principle of stereoscopic imaging and display is well known. That is, the left-eye and right-eye images constituting the image pair are taken from slightly different viewpoints (usually viewpoints whose positions are shifted in the horizontal direction). By displaying the left eye image separately for the left eye and the right eye image for the right eye separately, the human brain combines them and perceives these parallaxes as depth.
  • this image pair can be obtained by using a photographing device (for example, a digital stereo camera) having two image sensors.
  • a photographing device for example, a digital stereo camera
  • two image sensors including the optical system
  • the captured image may be distorted due to lens distortion or camera structure.
  • a difference occurs between the horizontal direction and the vertical direction.
  • the vertical and horizontal differences between two images are commonly known as parallax.
  • at least the vertical parallax must be eliminated and the horizontal parallax must be adjusted appropriately. is there.
  • an image pair for stereoscopic viewing can be obtained by capturing one image and moving the camera to capture the next image.
  • a monocular sensor device There are two advantages of using a monocular sensor device. One is that the cost is low compared to the case of using a twin-lens (stereo) sensor device. Another advantage is the flexibility to change the distance between the left image and the right image depending on the scene content.
  • the main problem with this method is that when a handheld DSC (Digital still camera) is used, the left image and the right image are misaligned mainly due to camera shake.
  • DSC Digital still camera
  • Patent Document 1 discloses a method and apparatus for correcting an optical misalignment of a stereoscopic image capturing system such as a stereoscopic electronic endoscope. Is disclosed. In this method, calibration information is determined by calculating a conversion rate, a rotation rate, and a scale using a calibration target. Then, alignment of the image pair is performed using the determined calibration information.
  • Patent Document 2 Japanese Patent Laid-Open No. 2003-244500 discloses an imaging system that captures right and left parallax images in time series to obtain a stereoscopic image of an object.
  • the LCD viewfinder is used to guide the user to align the two images during shooting.
  • Patent Document 3 discloses a method for determining a parallel transformation of a pair of images.
  • US Pat. No. 6,606,404 discloses a system and method for calculating a projective transformation correction for stereoscopic processing of a three-dimensional object. Yes.
  • An object of the present invention is to convert the left and right images so that the epipole is mapped to infinity and the epipolar line is parallel to the horizontal axis. By this method, an image suitable for stereoscopic viewing can be output.
  • Patent Document 1 cannot be applied when the position of the camera is changed due to, for example, an impact. Also, this method is difficult to apply to image pairs taken with a monocular device. Also, this method is difficult to apply to image pairs taken with a variable baseline stereo camera.
  • Patent Document 3 is a method particularly configured for a stereo camera in which the distance between two sensors is fixed and the left and right images are taken simultaneously. Therefore, it is difficult to apply this method to image pairs photographed with a monocular device. Also, this method is difficult to apply to image pairs taken with a variable baseline stereo camera.
  • the present invention does not depend on camera parameters and can also be applied to image pairs taken with a monocular camera and a variable baseline camera, and automatically aligns image pairs for stereoscopic viewing in a shorter time than before.
  • An object of the present invention is to provide a stereoscopic image alignment device and the like.
  • a stereoscopic image registration device acquires an image pair including a left-eye image and a right-eye image corresponding to the left-eye image.
  • a corresponding point detection unit that detects a corresponding point that is a set with a certain second point, and the first parallax is such that the vertical parallax between the first point and the second point is minimized and the epipolar constraint is satisfied.
  • a first matrix calculating unit that calculates a projective transformation matrix that transforms the points, a converting unit that converts the first image using the projective transformation matrix, and a third image that is the converted first image.
  • An output unit configured to output an image and the second image;
  • the stereoscopic image alignment apparatus can perform alignment so as to eliminate the vertical parallax of the left and right images included in the image pair.
  • the parallax necessary for stereoscopic viewing is horizontal parallax, and the vertical parallax hinders the natural stereoscopic effect.
  • the stereoscopic image according to this embodiment is used.
  • the alignment device is effective.
  • the calculation method of the projective transformation matrix in the present embodiment can be automated by a computer, and does not depend on camera parameters, and can also be applied to image pairs taken with a monocular camera and a variable baseline camera.
  • the two images are converted into two images as in the prior art. Roughly half the matrix calculation is required rather than processing. Therefore, the calculation can be performed in a shorter time than in the past.
  • the image pair acquisition unit displays two images simultaneously captured by two image sensors and two lenses, one image sensor and two lenses, or two image sensors and one lens. You may acquire as a pair.
  • the image pair acquisition unit may acquire two images taken at different times from different viewpoints as the image pair using one image sensor and one lens.
  • a second matrix for calculating an oblique transformation matrix for transforming the third image so that the coordinate system of the third image has orthogonality and has the same aspect ratio as the first image A calculation unit; and a matrix synthesis unit that generates a composite transformation matrix by combining the projection transformation matrix and the oblique transformation matrix, and the transformation unit uses the synthetic transformation matrix to generate the first image. May be converted.
  • the second matrix calculation unit has the orthogonality of the coordinate system of the inclined third image (that is, the horizontal axis and the vertical axis in the image plane are vertical), and the second matrix calculation unit An oblique transformation matrix for transforming the third image is calculated so as to have the same aspect ratio as that of the first image.
  • the acquired image pair can be output as an image pair capable of more accurate stereoscopic viewing.
  • the image processing apparatus further includes a viewing zone calculation unit that calculates a viewing zone that is a region common to the first image and the second image, and the second matrix calculation unit includes the viewing zone in the third image.
  • the oblique transformation matrix may be calculated so that the coordinate system of the portion included in the image has orthogonality and has the same aspect ratio as the portion included in the viewing area in the first image. .
  • the image area that hinders the effect of stereoscopic vision can be deleted in advance by the viewing area calculation unit.
  • the viewing area calculation unit it is possible to perform processing only on an image area effective for comfortable stereoscopic viewing, thereby shortening the processing time and outputting an image pair capable of more comfortable stereoscopic viewing.
  • the corresponding point detection unit includes a plurality of small regions uniformly distributed within a predetermined range from the center of each of the first image and the second image included in the image pair. It is also possible to select and detect the corresponding point from the small area.
  • the corresponding point detection unit can detect the target point by paying attention to the region where the corresponding point is easy to find among the regions included in the target image. As a result, the detection accuracy of the corresponding points is improved, and the image correction processing using the more accurate projective transformation matrix becomes possible.
  • a blur region detection unit that detects a blur region in the image pair may be further provided, and the corresponding point detection unit may detect the corresponding point from a region other than the blur region in the image pair.
  • the output unit obtains adjustment information indicating at least one of an input operation from the viewing user, a size of the display device, and a distance between the display device and the viewing user, and based on the adjustment information,
  • the parallax, the 3D pop-up, and the deep-in effect of the third image and the second image may be adjusted and output.
  • the output unit can give the optimal stereoscopic effect to the output image based on the index of comfort and safety based on the context of the place.
  • the image pair acquisition unit acquires image pair candidates that are candidates for a plurality of image pairs, and (B) each of the plurality of image pair candidates is common to each of the other image pair candidates.
  • a common viewing area that is the viewing area is specified, quality information that is information on at least one of the light amount, the luminance, the color, and the sharpness in the common viewing area is acquired, and (C) indicated by the quality information
  • the image pair candidate having the best image quality may be selected as the image pair.
  • the image pair acquisition unit selects an image from which a higher quality stereoscopic effect can be obtained, Can be paired.
  • the image pair acquisition unit may (1) compress the image group including the left-eye image and the right-eye image and store them in the memory card, or (2) compress the image group. If the image group is transmitted from an external device via a network, the compressed image group may be decoded.
  • the image pair acquisition unit can make corrections that enable more appropriate stereoscopic viewing of an image acquired via an external storage medium or a communication network.
  • the corresponding point detection unit may calculate a rotation parameter and a shift parameter used for creating the projective transformation matrix so as to coincide with an output from a gyro sensor that outputs information corresponding to a rotation angle.
  • the corresponding point detection unit can calculate the corresponding point faster and more accurately by using the corresponding point detection algorithm related to the related technology and the actually measured value by the gyro sensor.
  • the present invention can be realized not only as such a stereoscopic image alignment apparatus, but also as a stereoscopic image alignment method using characteristic means included in the stereoscopic image alignment apparatus as a step. Or, it can be realized as a program for causing a computer to execute such characteristic steps. Such a program can be distributed via a recording medium such as a CD-ROM (Compact Disc Only Memory) and a transmission medium such as the Internet.
  • a recording medium such as a CD-ROM (Compact Disc Only Memory)
  • a transmission medium such as the Internet.
  • the present invention can be realized as a semiconductor integrated circuit (LSI) that realizes part or all of the functions of such a stereoscopic image alignment device, or a stereoscopic image including such a stereoscopic image alignment device. It can be realized as a visual image alignment system.
  • LSI semiconductor integrated circuit
  • Stereoscopic images that are independent of camera parameters and can be applied to image pairs taken with a monocular camera and variable baseline camera, and automatically align image pairs for stereoscopic viewing in a shorter time than before.
  • An alignment device or the like can be provided.
  • the present invention can be processed automatically, it has an effect over the prior art in Patent Document 2. Moreover, since this invention does not depend on a calibration target, it has the effect over the prior art in patent document 1.
  • FIG. in addition, the present invention is designed for a monocular camera and can be applied to a pair of images taken by a variable baseline twin-lens camera, and thus exceeds the prior art in Patent Document 1 and Patent Document 3. Has an effect.
  • FIGS. 5a, 5b, and 5c The method in U.S. Patent No. 6,057,051 shows the camera and image orientation prior to alignment, shown as left image 402 and right image 404 in Fig. 5a, as parallelized left image 406 and parallelized right image 408 in Fig. 5b.
  • the purpose is to realize alignment (parallelization) in such a direction.
  • the epipole is mapped to infinity, and the epipolar line is parallel to the horizontal axis.
  • the present invention is not intended to achieve this. Instead, the present invention aims to achieve the alignment shown in FIG. 5c.
  • the right image 404 is transformed (deformed) as indicated by the right image 410.
  • the present invention performs image conversion of either one of the left image and the right image. Therefore, the present invention has an effect that the processing time can be shortened because the complexity is lower than the prior art in Patent Document 4 (processing is simple).
  • FIG. 1 is a diagram illustrating a positional deviation of a pair of stereoscopic images captured using a hand-held monocular imaging device.
  • FIG. 2 is a block diagram showing an overview of the stereoscopic image alignment apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a block diagram showing a detailed functional configuration of the image alignment module according to Embodiments 1 and 2 of the present invention.
  • FIG. 4a is a flowchart showing processing of the image alignment module according to Embodiments 1 and 2 of the present invention.
  • FIG. 4b is a flowchart showing the processing of the image alignment module including the blur region operation function according to Embodiments 1 and 2 of the present invention.
  • FIG. 5a is a diagram showing the direction of the camera and the image before alignment.
  • FIG. 5b is a diagram showing the direction of the camera and image after parallelization according to the prior art.
  • FIG. 5c is a diagram illustrating the direction of the camera and the image after alignment by the stereoscopic image alignment apparatus according to Embodiments 1 and 2 of the present invention.
  • FIG. 6a is a diagram illustrating the concept of a viewing area or an overlapping area from an image pair.
  • FIG. 6B is a diagram illustrating the aspect ratio of the viewing area or the overlapping area before and after performing the transformation based on the concept of orthogonality and the projective transformation matrix.
  • FIG. 7 is a block diagram of an imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 8 shows one of the results showing the effects of the stereoscopic image alignment device according to the first and second embodiments of the present invention.
  • FIG. 9 shows an application example in which the present invention is used as a 3D processing engine.
  • FIG. 10A is a diagram illustrating a case where stereoscopic display is performed with normal parallax.
  • FIG. 10B is a diagram illustrating a case where stereoscopic display is performed with zero parallax.
  • FIG. 10A is a diagram illustrating a case where stereoscopic display is performed with normal parallax.
  • FIG. 10B is a diagram illustrating a case where stereoscopic display is performed with zero parallax.
  • FIG. 10c is a diagram illustrating a case where stereoscopic display is performed with negative parallax.
  • FIG. 11 is a diagram illustrating user interaction communicating with a 3D processing engine in a 3D display via a 3D display button.
  • FIG. 12a is a first diagram illustrating feature point extraction and image region selection for generating a deformation matrix.
  • FIG. 12b is a second diagram illustrating feature point extraction and image region selection for generating a deformation matrix.
  • FIG. 13 is a diagram for explaining an example of a method of calculating the oblique transformation matrix in the first and second embodiments of the present invention.
  • FIG. 14 is a conceptual diagram showing an image of the image conversion process using the projective transformation matrix and the oblique transformation matrix in the first and second embodiments of the present invention.
  • FIG. 1 shows an example in which an image pair is photographed using a monocular imaging device (that is, provided with one lens and one image sensor).
  • the left image 102 and the right image 104 are continuously photographed from different viewpoints using the monocular digital camera 106.
  • the moving distance of the camera between the shooting of the left image 102 and the shooting of the right image 104 is indicated by a distance 108.
  • the user captures the left image 102 at a certain position and then moves the hand to the right by the distance 108 to capture the right image 104.
  • the captured images (left image 102 and right image 104) are not aligned and include the effects of transformation and rotation due to camera movement (eg, by hand).
  • the distance 108 may vary depending on the scene. For example, the distance 108 becomes shorter when the object is near, and becomes longer when the object is far.
  • the left image 102 and the right image 104 photographed in this example can be appropriately aligned by the stereoscopic image alignment device according to the present invention.
  • FIG. 2 is a block diagram of a stereoscopic image alignment apparatus 200 according to an embodiment of the present invention.
  • the stereoscopic image registration apparatus 200 includes an image pair acquisition unit 205, an image registration module 208, an output unit 210, and an internal buffer 212.
  • the image pair acquisition unit 205 acquires an image pair including a left eye image and a right eye image corresponding to the left eye image.
  • the image pair acquisition unit 205 may acquire an image pair from a photographing device (not shown) including an image sensor and a lens, or may acquire an image pair via a storage medium or a network.
  • the image pair acquisition unit 205 acquires an image pair from the imaging device, (1) two image sensors and two lenses, (2) one image sensor and two lenses, or (3) two It is conceivable to acquire two images captured at the same time as an image pair by an imaging device including either an image sensor or one lens.
  • the image pair acquisition unit 205 may acquire two images captured at different times from different viewpoints as an image pair using one image sensor and one lens.
  • the image pair acquisition unit 205 includes a storage medium reader 202 and an image decoder 204.
  • the storage medium reader 202 acquires image data from the storage medium.
  • the image decoder 204 decodes the image data as necessary.
  • the image decoder 204 may decode encoded data acquired via a network, for example. That is, the image pair acquisition unit 205 (1) when the image group including the left eye image and the right eye image is compressed and stored in the memory card, or (2) the image group is compressed, In addition, when the image is transmitted from the external device via the network, the compressed image group may be decoded.
  • the image alignment module 208 aligns the uncompressed image pair S23 by performing image conversion. Intermediate data associated with the alignment process is recorded in the internal buffer 212. The aligned image pair S25 is transmitted to the output unit 210.
  • the output unit 210 outputs an image pair including an image converted by alignment. Specifically, the output unit 210 adjusts the output image format according to a preferred output type. For example, the output unit 210 may adjust the image format to match the display format that can be displayed by the display device 214 in order to display on the display device 214.
  • Such formats include formats for autostereoscopic devices that are viewed without glasses, gray / color anaglyphs (viewed using glasses), interlace formats, checkerboard formats, or active shutter glasses. Other formats for a frame sequential stereoscopic display device may be included.
  • the registered image pair S ⁇ b> 26 may be stored / transmitted using the storage / transmission device 216.
  • Examples of storage devices include, but are not limited to, flash-based memory cards, hard drives, and optical drives.
  • Examples of the transmission device include, but are not limited to, an HDMI interface, a USB interface, a wireless interface, and a direct-to-printer interface. Data processed by the storage device or the transmission device may be arbitrarily reversible or lossy compressed.
  • the aligned image pair S26 can also be output for printing by the printer 218.
  • the printer 218 may include a lenticular sheet that builds an illusion of depth on the printed image.
  • the image stored in the storage / transmission device 216 may be transmitted directly to the printer 218 or may be transmitted to the display device 214 via the signal S27. If necessary, a feedback signal S29 that may include the width of the display may be fed back to the image registration module 208.
  • the image alignment module 208 and other internal modules included in the stereoscopic image alignment apparatus 200 are usually an IC (integrated circuit), an ASIC (application-limited integrated circuit), an LSI (large scale integrated circuit), a DSP (DSP). Digital signal processor) or a machine including a CPU-based processor and a PC.
  • IC integrated circuit
  • ASIC application-limited integrated circuit
  • LSI large scale integrated circuit
  • DSP digital signal processor
  • Each of these modules can be provided in a plurality of single function LSIs or in one integrated LSI.
  • the name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • a method for realizing the integration not only the LSI but also a dedicated circuit or a general-purpose processor can be integrated.
  • An FPGA Field Programmable Gate Array
  • DSPs Digital Signal Processors
  • An FPGA Field Programmable Gate Array
  • LSI manufacture or a processor that can reconfigure the connection or configuration of the LSI can be used for the same application.
  • manufacturing and processing technologies will improve and entirely new technologies may replace LSIs. Accumulation can also be performed by this technique.
  • Stereoscopic display on a display device capable of displaying a stereoscopic image such as a liquid crystal display device or plasma display device that displays images in time series, a display device to which a lenticular lens layer is added, or another type of display device.
  • the image alignment apparatus 200 may be incorporated.
  • the stereoscopic image alignment device 200 may be implemented in digital media player devices such as digital video disc players, Blu-ray® disc players, and other types of digital media players. It is also possible to mount the stereoscopic image registration device 200 in other types of devices, and does not limit the scope of the present application.
  • FIG. 3 is a block diagram showing a detailed functional configuration of the image alignment module 208 according to the present embodiment.
  • the image registration module 208 includes a corresponding point detection unit 252, a first matrix calculation unit 254, a second matrix calculation unit 256, a matrix synthesis unit 258, a conversion unit 260, and a blurring unit.
  • An area detection unit 220 and a viewing area calculation unit 262 are provided.
  • the corresponding point detection unit 252 is a first point included in the first image that is one of the image pairs acquired by the image pair acquisition unit 205 and a point included in the second image that is the other. A corresponding point that is a set with a second point that is a point corresponding to this point is detected.
  • the blur area detector 220 detects a blur area in the image pair. Any method for detecting the blur region can be used. For example, by dividing the image into a plurality of blocks and detecting the ratio of the portion where the density change of multiple pixels aligned in one direction is greater than or equal to the threshold for each block, blur region detection that identifies blocks with blur A method or the like may be used.
  • the corresponding point detection unit 252 preferably detects the corresponding point from a region other than the region specified as the blur region in the image pair.
  • the first matrix calculation unit 254 calculates a projective transformation matrix for converting the first point so that the vertical parallax between the first point and the second point is minimized and the epipolar constraint is satisfied. Note that the vertical parallax is a difference in vertical position values. Details will be described later.
  • the second matrix calculation unit 256 has a third image coordinate system, which is the first image converted by the projective transformation matrix calculated by the first matrix calculation unit 254, has orthogonality, and the first matrix A slope transformation matrix for transforming the third image again is calculated so as to have the same aspect ratio as the image. More details will be described later.
  • the viewing area calculation unit 262 calculates a viewing area that is an area common to the first image and the second image.
  • the second matrix calculation unit 256 does not include all the third images, but the portion of the third image included in the viewing zone has orthogonality and the first image It is preferable to calculate the oblique transformation matrix so as to have the same aspect ratio as that of the portion included in the viewing area. Details of the viewing zone will be described later.
  • the matrix composition unit 258 generates a composite transformation matrix by combining the projective transformation matrix and the oblique transformation matrix.
  • the conversion unit 260 converts the first image using the composite conversion matrix.
  • the image pair including the third image and the second image thus converted by the image alignment module 208 is output from the output unit 210 as a corrected image pair.
  • FIG. 4A is a flowchart showing the operation of the image alignment module 208 according to the present embodiment.
  • the image pair acquisition unit 205 acquires the image pair, so that the image pair is input to the stereoscopic image alignment apparatus 200.
  • the corresponding point detection unit 252 detects the corresponding point of the image pair.
  • step S304 is performed in order to shorten the processing time.
  • the corresponding point detection unit 252 calculates the rotation parameter and the shift parameter used by the first matrix calculation unit 254 to create the projective transformation matrix so as to match the output from the gyro sensor that outputs information corresponding to the rotation angle. By doing so, the processing time for matrix calculation can be shortened and the accuracy can be improved.
  • step S306 the first matrix calculation unit 254 calculates a basic matrix (F matrix) using the corresponding points.
  • step S308 the first matrix calculation unit 254 calculates a projective transformation matrix using the corresponding points. This is intended to find a matrix for transforming one of the images so that the vertical parallax of the corresponding points is minimized and the epipolar constraint is satisfied.
  • the second matrix calculation unit 256 calculates the oblique transformation matrix so that the viewing area of the deformed image maintains orthogonality and has the same aspect ratio as the viewing area before the deformation.
  • the viewing area is a cut-out area used for stereoscopic viewing and includes an area common to both images. Only the corresponding points in the common area, which is the overlapping area of the left and right images, are useful for calculating the oblique transformation matrix, and the quality of the finally obtained 3D image is not guaranteed if other areas are used.
  • step S312 the matrix synthesis unit 258 synthesizes the projective transformation matrix and the oblique transformation matrix.
  • step S314 one image of the image pair is converted according to the combined conversion matrix (combined conversion matrix).
  • step S316 the aligned stereoscopic image pair is output from the output unit 210.
  • FIG. 4b is another flowchart including a blur region detection step S317 (b), a blur region compensation step S318 (b), a parallax adjustment step S319 (b), and a user feedback step S320 (b).
  • step S304 (b) to detect corresponding points.
  • a certain area is a target for corresponding point detection.
  • the central region is preferable to use the central region as the target region for detecting the corresponding points in order to suitably represent the common or overlapping region of the two images.
  • the blur area may be avoided from the target area of the corresponding point detection by using the result from the blur area detection step S317 (b). In order to reduce complexity or speed up feature point extraction, only an evenly distributed region around the center may be selected as a corresponding point detection target region.
  • the corresponding point detection unit 252 selects a plurality of small regions uniformly distributed within a predetermined range from the center of each of the first image and the second image included in the image pair, Corresponding points may be detected from the small area. 12a and 12b show one such configuration, which will be described later in the present embodiment.
  • step S306 (b), step S308 (b), and step S310 (b) by using only these selected candidate points, and excluding all points in the blur region, the first matrix calculation unit 254 and The second matrix calculation unit 256 generates a conversion matrix.
  • step S318 (b) the blur region or blur object in one frame is compensated or shifted back by referring to the same blur region or step object in another frame. Then, the obtained image is subjected to deformation processing in step S314 (b).
  • step S319 (b) the output unit 210 performs a parallax or 3D effect such as a pop-up effect (effect in which the image pops out) or a deep-in effect (effect in which the image sinks) from step S320 (b). Can be adjusted by changing the baseline or other parameters.
  • a parallax or 3D effect such as a pop-up effect (effect in which the image pops out) or a deep-in effect (effect in which the image sinks) from step S320 (b).
  • a parallax or 3D effect such as a pop-up effect (effect in which the image pops out) or a deep-in effect (effect in which the image sinks) from step S320 (b).
  • a parallax or 3D effect such as a pop-up effect (effect in which the image pops out) or a deep-in effect (effect in which the image sinks) from step S320 (b).
  • the output unit 210 may perform image processing on the image pair so that the 3
  • user feedback can be performed by pressing a 3D display button, and a feedback signal is transmitted to the 3D processing engine shown in FIG.
  • a feedback signal is transmitted to the 3D processing engine shown in FIG.
  • pressing the “3D parallax” up / down button will make the depth deeper or shallower, or the button “pop-up” or “deep-in” Press to adjust the 3D effect of the content.
  • the output unit 210 may acquire the size of the display device, and may output the image pair after performing image processing on the image pair so as to weaken the 3D effect as the display device is larger.
  • the output unit 210 acquires adjustment information indicating at least one of the input operation from the viewing user, the size of the display device, and the distance between the display device and the viewing user, and based on the adjustment information, And adjusting and outputting at least one of the parallax, the 3D pop-up, and the deep-in effect of the third image and the second image.
  • the output unit 210 adjusts the parallax between the left and right images included in the image pair. For example, in the cross parallax in which the right eye image is arranged on the left side of the left eye image with reference to the left eye image, the output unit 210 increases the cross parallax (that is, the right eye image). 3) The pop-up effect can be enhanced. Further, in the non-crossing parallax in which the right-eye image is arranged on the right side of the left-eye image with reference to the left-eye image, the larger the non-crossing parallax (that is, the right-eye image becomes the left-eye image). The deeper the effect is, the more the image is placed on the right side of the image.
  • the corresponding point detection unit 252 may divide the image 1100 into five sub-blocks B1, B2, B3, B4, and B5 as shown in FIG. 12a. These blocks (or some blocks) may be used for feature detection, descriptor calculation, and corresponding point determination. In this case, it is not necessary to process the entire image. This speeds up the computation time of the system. In addition, these blocks help improve the accuracy of the transformation matrix and speed up the selection of the desired corresponding points. Also, in the case of a homogeneous block, there are usually no useful features. Therefore, homogeneous blocks should be excluded. Considering block B1 in FIG.
  • B1 is a homogeneous block
  • a non-homogeneous block around B1 eg, B1 ′ if B1 ′ is a non-homogeneous block
  • B1 ′ if B1 ′ is a non-homogeneous block
  • the block is homogeneous means that the dispersion of the image information included in the block is small. For example, (1) when the number of pixels (so-called edge portions) in which the pixel values of adjacent pixels in the block change more than a predetermined threshold value is smaller than a predetermined threshold value, or (2) block If the median or average value of each spatial frequency is smaller than a predetermined threshold value, the block may be determined to be homogeneous, and the other blocks may be determined to be non-homogeneous.
  • Corresponding point detection unit 252 can use any corresponding point detection method in the prior art for detecting corresponding points. For example, each image in the image pair is divided into predetermined blocks having the same size, and the edges included in each block are extracted. After that, it is conceivable to calculate a similarity (for example, least square sum, likelihood, AIC, etc.) for each edge and detect a point included in the most similar edge as a corresponding point. More specifically, examples of known methods include “Object recognition from local scale-invariant features” in D.Lowe's "International Conference on Computer Vision” (1999), and H. Bay et al. It is disclosed in “SURF: Speeded up robustness” (Non-patent Document 2) in “European Conference on Computer Vision” (2006). Note that the corresponding point detection unit 252 may use other methods for detecting corresponding points, and this does not affect the scope and spirit of the present invention.
  • a similarity for example, least square sum, likelihood, AIC, etc.
  • step S306 the first matrix calculation unit 254 calculates a basic matrix F using the detected corresponding points.
  • the method for obtaining the basic matrix F will be briefly described below.
  • the 9-dimensional vector u may be estimated.
  • the basic matrix F can be obtained by a method such as determining u numerically so as to maximize the likelihood by the maximum likelihood estimation method. More specifically, for example, R. Hartley and A. Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, London, 2000 (Non-Patent Document 3), X. Armangue and J. Salvi, “Overall view regarding fundamental matrix estimation ", Image and Vision Computing, Vol. 21, 2003, pp. 205-220, and Z. Zhang,” Determining the epipolar geometry and its uncertainty: a review "," International Journal of Computer Vision " Vol. 27, 1998, pages 161-198 (Non-Patent Document 5) can be used.
  • the second matrix calculation unit 256 calculates a projective transformation matrix for deforming one image of the image pair. Either image may be selected. In the present embodiment, the image for the right eye is selected as a deformation target. However, the selection of the left eye image does not affect the scope or spirit of the present invention. There may be an adaptive algorithm that selects a left-eye image or a right-eye image for deformation based on certain criteria. For example, the left eye image or the right eye image is more horizontal, the left eye image or the right eye image is clearer, or the left eye image or the right eye image. Such as which of the images contains the object of interest.
  • the present invention uses projection transformation corresponding to epipolar geometry, that is, projection transformation that matches or matches the basic matrix (see Non-Patent Document 3). This is expressed by the following formula 2 in which the degree of freedom of normal projective transformation is limited to 3 instead of 8.
  • F is the 3 ⁇ 3 basic matrix F calculated in step S306.
  • [A] x b is an outer product, which means a ⁇ b.
  • v T includes parameters of three degrees of freedom, a 1 ⁇ 3 vector.
  • the first matrix calculation unit 254 as the vertical parallax between the corresponding points is minimized, obtaining a parameterized H by v T. That is, v satisfying the following formula 3 is obtained.
  • XL is a list of corresponding points in the left image
  • XR is a list of corresponding points in the right image.
  • y_component_of (X) means the vertical coordinate component of point X.
  • the first matrix calculation unit 254 can determine the parameter v T numerically from a plurality of corresponding points (X L and X R ). For example, it is possible to determine v that minimizes Equation 3 by the method of least squares.
  • a method for obtaining H there is a method for obtaining H of each pair of corresponding points and obtaining an average thereof.
  • the projective transformation matrix calculated in step S308 does not constrain parallax in the x direction. Therefore, since the image that has undergone projective transformation by H may be tilted, it is necessary to correct the tilt of the image by performing oblique tilt conversion. In order to calculate the tilt amount, the present invention restores the orthogonality of the aspect ratio and the viewing zone.
  • view zone The terms “view zone”, “aspect ratio”, and “orthogonality” will be described with reference to FIGS. 6a and 6b.
  • FIG. 6 a shows a left eye image 502 and a right eye image 504.
  • Inner rectangles 506 and 508 indicate the outer shape of an area common to both images. The area outside the inner rectangles 506 and 508 appears only in one of the images. In stereoscopic view, these areas are uncomfortable. This is because these regions are viewed with only one eye, and the human brain cannot extract disparity information for perceiving depth.
  • the rectangles 506 and 508 which are the inner common areas are called viewing areas.
  • FIG. 6b shows a pre-deformation image 510 and a post-deformation image 512 of either the left or right image.
  • the pre-deformation viewing area 514 has a certain aspect ratio, and this aspect ratio can be determined by the ratio between the distance between the points 518 and 522 and the distance between the points 520 and 524. Corner 526 is also a right angle.
  • the post-deformation viewing zone 516 is determined by the deformation points 528, 530, 532, and 534 and may have different aspect ratios.
  • the corner 540 may not be a right angle.
  • a shear transformation matrix is calculated to restore orthogonality and aspect ratio.
  • Equation 4 shows the general form of the shear transformation matrix.
  • the matrix S expressed by Equation 4 represents the inclination of the right-eye image 352 that is the result of converting the right-eye image 350 by the matrix H calculated by the first matrix calculation unit 254. This is a matrix for returning to the original and obtaining the image 354 for the right eye whose coordinate axes are orthogonal.
  • the corresponding points are as follows. That is, the point a of the right eye image 350 corresponds to the point a ′ of the right eye image 352, and the point a ′ of the right eye image 352 corresponds to the point a ′′ of the right eye image 354.
  • a ′ Ha
  • b ′ Hb
  • c ′ Hc
  • d ′ Hd
  • a ′′ SHa
  • b ′′ SHb
  • c ′′ SHc
  • d ′′ SHd.
  • the line segment a ′′ c ′′ 355 and the line segment b ′′ d ′′ 356 in the right-eye image 354 are orthogonal to each other. Further, since the aspect ratios of the right eye image 350 and the right eye image 352 match, the ratio of the length of the line segment a ′′ c ′′ 355 to the length of the line segment b ′′ d ′′ 356 is The length h 0 of the line segment ac is equal to the ratio of the length w 0 of the line segment bd.
  • the second matrix calculation unit 256 calculates the variables s1 and s2 included in the oblique transformation matrix S so as to satisfy both of the two constraints represented by the following Expression 5.
  • the centroids of a plurality of corresponding points in the left eye image are calculated.
  • corresponding points in the right-eye image are converted, and the centroids of the plurality of converted corresponding points are calculated.
  • the difference between these centroids is calculated.
  • the vertical component of the centroid difference corresponds to the vertical difference 536 in FIG. 6a.
  • the horizontal component of the difference in the center of gravity corresponds to the horizontal difference 538 in FIG. 6a. Therefore, the size of the viewing zone can be derived from the difference between the original image size and the center of gravity.
  • a perfect viewing zone may not be required. That is, there may be a difference between the calculated viewing area and the actual viewing area. However, satisfactory results are obtained with this method.
  • Projective transformation matrix and shear transformation matrix are calculated using corresponding points.
  • the image itself is not deformed. It is preferable to combine the projective transformation and the shear transformation matrix before performing one transformation process rather than two separate transformation processes.
  • FIG. 14 is a conceptual diagram showing an image of image conversion processing using the projective transformation matrix H and the oblique transformation matrix S.
  • the viewing area 362 included in the left-eye image plane and the viewing area 364a included in the right-eye image plane are images acquired by the image pair acquisition unit 205 according to the present embodiment.
  • the viewing zones of the left and right images included in the pair are used.
  • a point 372 included in the viewing area 362 and a point 378 included in the viewing area 364a are an image plane for the left eye and an image for the right eye when the point 370 is viewed from the left focus c ′ and the right focus c, respectively. It is a point that is copied on each surface. That is, point 372 and point 378 are corresponding points.
  • the vertical positions of the point 372 and the point 378 are greatly different. Similarly, the vertical positions of other corresponding points are also greatly different.
  • the viewing zone 364b is an image obtained by converting the viewing zone 364a by the projective transformation matrix H. By this conversion, the vertical positions of the corresponding points in the viewing area 362 and the viewing area 364b coincide. For example, the vertical position of the point 372 and the corresponding point 376 coincide with each other.
  • the viewing zone 364b is inclined with the coordinate axes not orthogonal to each other.
  • the viewing zone 364c is an image in which the vertical positions of the corresponding points (points 372 and 374) coincide with the viewing zone 362 and the orthogonality of the coordinates in the viewing zone is maintained.
  • the viewing zone 364a can be directly converted to the viewing zone 364c.
  • the first matrix calculation unit 254 calculates a projective transformation matrix H.
  • the second matrix calculation unit 256 calculates the oblique transformation matrix S.
  • the matrix synthesis unit 258 calculates the matrix H S.
  • the conversion unit 260 performs conversion by the matrix H S on the viewing zone (for example, the viewing zone 364a) included in one of the acquired image pairs.
  • the image alignment module 208 is incorporated in a photographing apparatus.
  • the image alignment module 1246 in FIG. 7 has the same configuration as the stereoscopic image alignment module 200.
  • FIG. 7 shows a schematic block diagram of a photographing apparatus 1200 according to another embodiment of the present invention.
  • the photographing apparatus 1200 includes an optical system 1202, an image sensor 1204, an ADC (analog-digital converter) 1206, an image processor 1208, a microcomputer 1210, an external memory 1212, a driver controller 1220, and an OIS (optical type). (Shake prevention mechanism) sensor 1218, operation unit 1222, storage / transmission device 1216, and display device 1214.
  • the image processor 1208 includes an internal memory 1240, an image registration module 1246, an original image processor 1242, and a color image processor 1244. Other components such as a microphone, speaker, etc. are not shown, but this does not limit the scope and spirit of the present invention.
  • the optical system 1202 may include components such as a plurality of lenses or a set of lenses, a zoom / focus mechanism, an actuator, a shutter, and an opening in order to control an optical signal reaching the image sensor 1204.
  • the image sensor 1204 stores an incident optical signal under the control of the microcomputer 1210 and converts the optical signal into an electrical signal.
  • the electrical signal is converted into digital data (original image data) by the ADC 1206 and stored in the internal memory 1240 or the external memory 1212.
  • the original image data may include a pair of stereoscopic images in which left and right images are continuously captured from different viewpoints.
  • the original image processor 1242 acquires the original image data from the internal memory 1240 (or the external memory 1212), performs many preprocessing (not shown) such as noise reduction, linear correction, white balance, gamma correction, and the like.
  • a preprocessed original image may be output. This preprocessed original image can be stored or transmitted by the storage / transmission device 1216.
  • a color image such as RGB or YCbCr can be generated by processing the preprocessed original image by the color image processor 1244.
  • the color image processor 1244 may include color interpolation, color correction, tonal range adjustment, color noise reduction, etc. to generate a suitable color image.
  • the image registration module 1246 captures and aligns color images of a stereoscopic image pair.
  • the output three-dimensional image pair that has been aligned can be displayed by a display device 1214 such as a liquid crystal monitor to which a lenticular lens layer capable of displaying a stereoscopic image for 3D viewing is attached.
  • the image can also be displayed in 2D.
  • the output registered stereo image pair can also be stored in the storage / transmission device.
  • the preprocessed original image and output image may be compressed by a compression unit (not shown) before being stored / transmitted by the storage / transmission device 1216.
  • Examples of storage devices include, but are not limited to, flash-based memory cards, hard drives, and optical drives.
  • Examples of the transmission device include, but are not limited to, an HDMI interface, a USB interface, a wireless interface, and a direct-to-printer interface. Data processed by the storage device or the transmission device may be arbitrarily reversible or lossy compressed.
  • the optical system 1202 may be controlled by the driver controller 1220.
  • the driver controller 1220 is controlled by the microcomputer 1210.
  • the operation unit 1222 receives a user operation input and transmits an electric signal to the microprocessor 1210, so that modules associated with the user input, such as a driver controller 1220, an image sensor 1204, an image processor 1208, and the like. Can be controlled.
  • the OIS sensor 1218 detects shaking due to camera shake or camera movement, and transmits the electrical signal to the microcomputer 1210.
  • the microcomputer 1210 controls the driver controller 1220 to control an actuator or the like in the optical system 1202 to move the lens so as to compensate for the shake, so that camera shake or camera shake is reduced.
  • the details of the image alignment module 1246 can be referred to the embodiment described above. Processing by the image pair selection module 1251 may be performed prior to processing of the image alignment module 1246 to facilitate selection of image pairs that provide a better 3D effect that results in comfortable viewing on certain criteria. .
  • the image processing 1208, the image alignment module 1246, and the modules inside thereof are usually realized in the form of an IC (Integrated Circuit), an ASIC (Application Specific Integrated Circuit), or an LSI (Large Scale Integrated Circuit).
  • Each of these modules can be provided in a plurality of single function LSIs or in one integrated LSI.
  • the name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • LSI Integrated Circuit
  • LSI Large Scale Integrated Circuit
  • An FPGA Field Programmable Gate Array
  • LSI manufacture or a processor that can reconfigure the connection or configuration of the LSI can be used for the same application.
  • manufacturing and processing technologies will improve and entirely new technologies may replace LSIs. Accumulation can also be performed by this technique.
  • FIG. 8 is an example of an image result illustrating the effect of the stereoscopic image alignment apparatus 200 according to Embodiment 1 of the present invention.
  • the obtained image 13LR shows an overlay image between the left-eye image and the right-eye image of the stereoscopic image pair before image alignment. Further, a difference line (for example, L1302) indicating correspondence (displacement) between these images is shown superimposed on the overlay image. From the obtained image 13LR, it can be seen that the difference line extends long in both the vertical direction and the horizontal direction due to camera shake, and is not aligned.
  • the stereoscopic image pair of the obtained image 13LR is displayed for 3D viewing, the viewer may experience eye strain and visual discomfort due to the displayed image.
  • the obtained image 14LR shows an overlay image of the left image and the right image of the stereoscopic image pair after the image alignment according to the present invention is performed. From the obtained image 14LR, it can be seen that the difference line (L1304) is properly aligned (the image pair is preferably aligned). A line L1306 indicates a cutout area. When this aligned stereoscopic image pair is displayed, a very comfortable 3D view can be generated. Therefore, the effect of the present invention is demonstrated by FIG.
  • the stereoscopic image registration device 200 may be used in an image capturing device that operates in the multi-shot mode. In such a mode, a plurality of images are automatically taken when the user presses a button. When the user moves the camera during multi-shot shooting, a plurality of images of the same scene are shot from different viewpoints.
  • the image pair can be selected from a plurality of images. Selection criteria can be based on corresponding points. Preferably, image pairs with a sufficient number of corresponding points are selected for input to the image registration module.
  • a method for detecting corresponding points is disclosed in the first embodiment.
  • the time interval between each photographing can be set by a timer.
  • Each photographing can be started by moving the photographing device. In order to determine such movement, a gyro sensor or an acceleration sensor can be used. It is preferable to start photographing when the photographing apparatus moves a predetermined distance so that the parallax is sufficient for stereoscopic viewing.
  • the object may have different depths in one shooting scene.
  • the distance for moving the apparatus When the object is close, the distance for moving the apparatus is short, and when the object is far, the distance for moving the apparatus is long.
  • This distance can be calculated adaptively according to the depth of the object.
  • One method for obtaining the depth is to obtain the depth based on the in-focus position.
  • the stereoscopic image alignment apparatus 200 in a video shooting apparatus that creates an image pair by pairing the current image with one of adjacent images, the stereoscopic image alignment apparatus 200 according to Embodiment 1 can be used. Accordingly, a stereoscopic video can be generated from a normal 2D video.
  • FIG. 9 shows possible uses.
  • a normal camera or mobile phone is used to capture two or more images and is stored in an SD card or other memory card.
  • the alignment of the 3D image can be performed inside the camera or the mobile phone.
  • 3D image alignment can be performed in any player or display by incorporating the 3D image alignment module 208 into the player or display hardware.
  • the alignment of the 3D image can also be performed by a PC or a server before being displayed on the 3D display.
  • the feedback signal S29 in FIG. 2 may be the viewing distance from the viewer to the display.
  • the feedback signal can be obtained automatically or via user interaction.
  • the image alignment module 208 can adjust the baseline of the left and right images during or after image deformation or conversion.
  • the API application interface
  • an external button on the display screen is made like a button for adjusting the contrast or brightness of the display. Via this external button, the user can adjust visual comfort and 3D effects, and the user's request can be sent to the image registration module 208.
  • the above configuration can be applied to other 3D display devices to create a user interface between the 3D processing module and the user.
  • FIGS. 10a, 10b and 10c A detailed description of the different 3D effects is shown in FIGS. 10a, 10b and 10c.
  • FIG. 10a the normal parallax is shown.
  • a left object 9L that is an image for the left eye is displayed on the left side of the display screen 900
  • a right object 9R that is an image for the right eye is displayed on the right side of the display screen 900.
  • the observer perceives that the object PO is behind the display screen.
  • x R is a position on the screen of the right-eye image
  • x L is the position on the screen of the left-eye image.
  • the perceived depth of the object can be controlled by d x .
  • d x As d x increases, the perceived depth increases, while as d x decreases, the perceived depth decreases.
  • FIG. 10b zero parallax is shown.
  • the left object 9L and the right object 9R overlap each other and are displayed on the display screen 900. In this case, the observer perceives that the object PO is on the display screen.
  • FIG. 10c negative parallax is shown.
  • the left object 9L is displayed on the right side, and the right object 9R is displayed on the left side. In this case, the observer perceives that the object PO is in front of the display screen.
  • d x is limited by the observer's eyes.
  • the interocular space e is in the range of 50 mm to 70 mm (average 65 mm). This means that on the display screen, the physical difference between the left image and the right image must not exceed the distance e.
  • the stereoscopic image alignment apparatus 200 has the same effect as the invention even if it does not include all of the above-described configurations.
  • the stereoscopic image registration device 200 may not include the blur region detection unit 220. This is because the corresponding points can be detected from an image including blurring. In correspondence point detection, an image with less blur is preferable, so that, for example, in a shooting situation where camera shake is severe, improvement in the accuracy of correspondence point detection can be expected when the blur region detection unit 220 is provided.
  • the stereoscopic image registration device 200 may not include the second matrix calculation unit 256.
  • the conversion unit 260 stores a predetermined inclination conversion matrix and applies the inclination conversion matrix to the third image, so that the second matrix calculation unit 256 is not provided.
  • the second matrix calculation unit 256 calculates a slope transformation matrix according to the shooting conditions, thereby making it possible to impart a more natural stereoscopic effect to the image.
  • the conversion unit 260 converts the first image using the projective transformation matrix calculated by the first matrix calculation unit 254. .
  • the stereoscopic image registration device 200 may not include the viewing area calculation unit 262. It is generally considered that areas common to the left and right images do not differ greatly each time. Therefore, for example, the second matrix is obtained by following a predetermined rule, such as specifying the region for 80% of the left eye image and the region of the left 80% portion of the right eye image as the viewing region.
  • the calculation unit 256 can determine the processing region in the image without the viewing zone calculation unit 262. By providing the viewing area calculation unit 262, the viewing area can be specified more accurately, and as a result, a more natural stereoscopic effect can be added to the image.
  • the stereoscopic image registration device 200 may not include the matrix composition unit 258.
  • the matrix synthesis unit 258 is not necessary.
  • the conversion unit 260 sequentially uses the projective transformation matrix and the oblique transformation matrix stored in the storage area. Since conversion processing can be performed on one image, the same invention effect can be obtained without performing synthesis by the matrix synthesis unit 258.
  • the image pair acquisition unit 205 acquires (A) an image pair candidate that is a candidate for a plurality of image pairs, and (B) another image pair candidate for each of the plurality of image pair candidates.
  • a common visual field that is a common visual field with each of the information, obtain quality information that is information on at least one of the light amount, luminance, color, and sharpness in the common visual field, and (C) according to the quality information
  • An image pair candidate with the best image quality shown may be selected as an image pair.
  • (A) above as a method of acquiring a plurality of image pairs, for example, it is easily acquired by holding a digital still camera set to the continuous shooting mode and moving the user's holding hand in the horizontal direction. Is possible.
  • a processor such as a CPU executing a program.
  • the present invention may be the above program or a recording medium on which the above program is recorded.
  • the program can be distributed via a transmission medium such as the Internet.
  • the present invention can be applied to a stereoscopic image alignment device that detects corresponding points from a plurality of image pairs and aligns them so as to satisfy a certain standard, and in particular, stereoscopic viewing is possible in a stereoscopic display device.
  • the present invention can be applied to a stereoscopic image alignment device that aligns image pairs in such a manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　カメラパラメータに依存せず、単眼式カメラ及び可変ベースラインカメラで撮影した画像対にも適用でき、従来よりも短時間で自動的に立体視のために画像対を位置合わせするために、立体視用画像位置合わせ装置（２００）は、左眼用画像と、左眼用画像に対応する右眼用画像とを含む画像対を取得する画像対取得部（２０５）と、画像対の一方である第１の画像に含まれる第１の点と、他方である第２の画像に含まれる点であり、第１の点に対応する点である第２の点との組である対応点を検出する対応点検出部（２５２）と、第１の点と第２の点との垂直視差が最小となり、かつエピポーラ拘束を満たすように第１の点を変換する射影変換行列を算出する第１行列算出部（２５４）と、射影変換行列を用いて第１の画像を変換する変換部（２６０）と、変換された第１の画像である第３の画像と、第２の画像とを出力する出力部（２１０）とを備える。

Description

立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
　本発明は、複数の画像対から対応点を検出し、それらを一定の基準を満たすように位置合わせする立体視用画像位置合わせ装置等に関し、特に、立体視表示装置において立体視が可能となるように画像対を位置合わせする、立体視用画像位置合わせ装置等に関する。
　立体画像化は、当該技術において長年研究されてきた。立体画像により、視聴者は奥行きを感じて臨場感を得ることができ、家庭向け娯楽産業においては、現在では期待の高い最新の話題になっている。立体画像化の用途は、軍用ナビゲーションから、医療用画像、産業用検査、消費者用電子機器などまで多岐に亘る。立体画像化および表示の原理は、よく知られている。すなわち、画像対を構成する左眼用及び右眼用の各画像が、わずかに異なる視点（通常は、水平方向に位置がずれた視点）から撮影される。左眼用画像を左目に、かつ右眼用画像を右目に別々に表示することにより、人間の脳はそれらを組み合わせて、これらの視差を奥行きと知覚する。
　従来、この画像対は、２つのイメージセンサを有する撮影装置（たとえば、デジタルステレオカメラ）を使用することで得ることができる。撮影した画像対が適切に位置合わせされると、視聴者／観察者が見たときに、快適な３Ｄ感覚を得る。残念ながら、撮影された画像対は、通常、（多くの理由により）適切に位置合わせされていない。たとえば、製造時における２つのイメージセンサ（光学系を含む）の配置は、完璧ではない。さらに、撮影された画像は、レンズの歪みまたはカメラの構造により、歪むことがある。これにより、水平方向および垂直方向に差異が生じる。２つの画像間の垂直方向および水平方向の差異は、一般的には視差として知られている。観察者の視覚的不快感と眼精疲労とを軽減し、立体視の効果を得るには、少なくとも垂直方向の視差を排除しなくてはならず、水平方向の視差を適切に調整する必要がある。
　また、単眼式イメージセンサ装置を用いて異なる視点から連続的に撮影することにより、画像対を撮影することもできる。すなわち、１つの画像を撮影して、カメラを移動して次の画像を撮影することで立体視のための画像対を得ることができる。単眼式センサの装置を用いることの利点は２つある。１つは、二眼式の（ステレオ）センサ装置を用いる場合と比較して低コストであるということである。もう１つの利点は、左画像と右画像との距離を、そのシーン内容により変更できる柔軟性である。しかしながら、この方法による主な課題は、手持ち式のＤＳＣ（Digital still camera；デジタルスチルカメラ）を用いた場合、主に手振れにより左画像と右画像との位置ずれが起こることである。
　特許文献１（米国特許第６，１９１，８０９、２００１年２月２０日に発行）は、たとえば立体電子内視鏡などの立体画像撮影システムの光学的な位置ずれを補正するための方法および装置を開示している。この方法は、較正目標を用いて、変換率、回転率、および縮尺を算出することで較正情報を決定している。そして、この決定された較正情報を用いて画像対の位置合わせを行う。
　特許文献２（特開２００３－２４４５００）は、時系列的に左右の視差画像を撮影して対象物の立体画像を得る撮影システムを開示している。この発明では、ＬＣＤビューファインダを用いて、撮影中に２つの画像の位置合わせを行うようにユーザをガイドしている。
　特許文献３（米国特許第７，１１３，６３２、２００６年９月２６日に発行）は、一対の画像の平行化変換を決定する方法を開示している。
　特許文献４（米国特許第６，６０６，４０４、１９９９年６月１９日に出願）は、３次元の対象物を立体視処理するための射影変換の修正を算出するシステムおよび方法を開示している。この発明の目的は、エピポールが無限遠にマッピングされ、エピポーラ線が水平軸と平行になるように左右の画像を変換することである。この方法により、立体視に適切な画像を出力することができる。
米国特許第６，１９１，８０９号明細書 特開２００３－２４４５００号公報 米国特許第７，１１３，６３２号明細書 米国特許第６，６０６，４０４号明細書
D.Lowe, "Object recognition from local scale-invariant features", International Conference on Computer Vision, 1999 H.Bay, et al., "SURF: Speeded up robust features", European Conference on Computer Vision, 2006 R.Hartley and A.Zisserman, "Multiple View Geometry in Computer Vision", Cambridge University Press、London, 2000 X. Armangue and J. Salvi, "Overall view regarding fundamental matrix estimation", Image and Vision Computing, 2003, Vol.21, p. 205-220 Z.Zhang, "Determining the epipolar geometry and its uncertainty:a review", International Journal of Computer Vision, 1998, Vol.27, p. 161-198
　しかし、特許文献１に開示された方法は、たとえば、衝撃などでカメラの位置が変更された場合には適用できない。また、この方法は、単眼式の装置で撮影された画像対への適用は困難である。また、この方法は可変ベースラインステレオカメラで撮影された画像対への適用も困難である。
　また、特許文献２に開示された方法は、その位置合わせの質と精度は、ユーザの技量に大きく依存する。ユーザによる位置合わせの調整には長時間かかることもあり、不便である。すなわち、この方法は、自動的ではない。
　また、特許文献３に開始された方法は、特に、２つのセンサ間の距離が固定され、左右の画像が同時に撮影されるステレオカメラ用に構成されている方法である。よって、この方法は、単眼式の装置で撮影する画像対への適用は困難である。また、この方法は、可変ベースラインステレオカメラで撮影された画像対への適用も困難である。
　また、特許文献４に開始された方法では、エピポールを無限遠にマッピングし、エピポーラ線を水平軸と平行にするが、しかしながら、立体視には、エピポールを無限遠にマッピングする必要も、エピポーラ線を水平軸と平行にする必要もない。よって、この方法は、立体視のために画像対の位置合わせを行うには必要以上に処理が複雑である。
　そこで本発明は、カメラパラメータに依存せず、単眼式カメラ及び可変ベースラインカメラで撮影した画像対にも適用でき、従来よりも短時間で自動的に立体視のために画像対を位置合わせする、立体視用画像位置合わせ装置等を提供することを目的としている。
　上記課題を解決するために、本発明のある局面に係る立体視用画像位置合わせ装置は、左眼用画像と、前記左眼用画像に対応する右眼用画像とを含む画像対を取得する画像対取得部と、前記画像対の一方である第１の画像に含まれる第１の点と、他方である第２の画像に含まれる点であり、前記第１の点に対応する点である第２の点との組である対応点を検出する対応点検出部と、前記第１の点と前記第２の点との垂直視差が最小となり、かつエピポーラ拘束を満たすように前記第１の点を変換する射影変換行列を算出する第１行列算出部と、前記射影変換行列を用いて前記第１の画像を変換する変換部と、前記変換された第１の画像である第３の画像と、前記第２の画像とを出力する出力部とを備える。
　この構成によると、立体視用画像位置合わせ装置は、画像対に含まれる左右の画像が有する垂直方向の視差をなくすよう、位置合わせをすることができる。一般に、立体視に必要な視差は水平方向の視差であり、垂直方向の視差は、自然な立体視の効果を妨げる。特に、１つのレンズ及びイメージセンサしか備えていない通常のデジタルスチルカメラで２度にわけて左右の画像を撮影し、立体視用画像を作成する場合に、本実施の形態にかかる立体視用画像位置合わせ装置は効果的である。本実施の形態における射影変換行列の算出方法は、計算機で自動化可能であり、カメラパラメータに依存せず、単眼式カメラ及び可変ベースラインカメラで撮影した画像対にも適用できる。また、画像対に含まれる２枚の画像のうち、一方を基準にして、この画像と垂直方向の視差をなくすよう、他方の画像のみを変換するため、従来技術のように２枚の画像に処理を施すよりも、およそ半分の行列計算で済む。したがって、従来よりも短時間で計算を行うことができる。
　具体的には、前記画像対取得部は、２つのイメージセンサと２つのレンズ、１つのイメージセンサと２つのレンズ、または２つのイメージセンサと１つのレンズにより同時に撮影された２つの画像を前記画像対として取得するとしてもよい。
　また、前記画像対取得部は、１つのイメージセンサと１つのレンズを用いて、異なる視点から異なる時間に撮影された２つの画像を前記画像対として取得するとしてもよい。
　また、前記第３の画像の座標系が直交性を有し、かつ、前記第１の画像と同じアスペクト比を有するように前記第３の画像を変換する斜傾変換行列を算出する第２行列算出部と、前記射影変換行列と前記斜傾変換行列とを組み合わせて合成変換行列を生成する行列合成部とをさらに備え、前記変換部は、前記合成変換行列を用いて、前記第１の画像を変換するとしてもよい。
　この構成において、第２行列算出部は、斜傾した第３の画像の座標系が直交性を有し（すなわち、画像面における水平方向の軸と垂直方向の軸が垂直となり）、かつ、第１の画像と同じアスペクト比を有するように、第３の画像を変換する斜傾変換行列を算出する。これにより、取得した画像対を、より精度の高い立体視が可能な画像対を出力することができる。
　また、前記第１の画像及び前記第２の画像に共通する領域である視域を算出する視域算出部をさらに備え、前記第２行列算出部は、前記第３の画像のうち前記視域に含まれる部分の座標系が、直交性を有し、かつ、前記第１の画像のうち前記視域に含まれる部分と同じアスペクト比を有するように前記斜傾変換行列を算出するとしてもよい。
　これによると、視域算出部により立体視の効果を妨げる画像領域を事前に削除することができる。その結果、快適な立体視に有効な画像領域のみを対象に処理を施し、処理時間を短縮すると共に、より快適な立体視が可能な画像対を出力することができる。
　また、前記対応点検出部は、前記画像対に含まれる前記第１の画像及び前記第２の画像の各々の中心から事前に定められた範囲内において、均一に分散された複数の小領域を選択し、当該小領域のなかから前記対応点を検出するとしてもよい。
　これによると、対応点検出部は、対象画像に含まれる領域のうち、より対応点を見つけやすい領域に注目して、対象点を検出することができる。その結果、対応点の検出精度が高まり、より正確な射影変換行列による画像の補正処理が可能となる。
　また、前記画像対においてブレ領域を検出するブレ領域検出部をさらに備え、前記対応点検出部は、前記画像対のうち前記ブレ領域以外の領域から前記対応点を検出するとしてもよい。
　一般に、ブレ領域からの対応点検出は困難である。したがって、この構成により、事前にブレ領域を取り除くことで、対応点検出部による対応点検出の精度を向上させることができる。
　また、前記出力部は、視聴ユーザからの入力操作、表示装置の大きさ、及び、表示装置と視聴ユーザとの距離のうち少なくとも１つを示す調整情報を取得し、前記調整情報に基づいて、前記第３の画像及び前記第２の画像の視差、３Ｄポップアップ、及びディープイン効果のうち少なくとも１つを調整して出力するとしてもよい。
　この構成によると、出力部はその場のコンテキストに基づき、快適性や安全性等の指標を基準に最適な立体視の効果を出力画像に付与することができる。
　また、前記画像対取得部は、（Ａ）複数の画像対の候補である画像対候補を取得し、（Ｂ）前記複数の画像対候補の各々について、他の画像対候補の各々と共通する前記視域である共通視域を特定し、前記共通視域における光量、輝度、色、及び鮮明度のうち少なくとも１つに関する情報である品質情報を取得し、（Ｃ）前記品質情報によって示される画像品質が最もよい前記画像対候補を前記画像対として選択するとしてもよい。
　この構成によれば、画像対取得部は、画像対となるべき画像を大量に取得した場合であっても、その中から、より品質のよい立体視の効果が得られる画像を選択し、画像対とすることができる。
　また、前記画像対取得部は、（１）前記左眼用画像及び右眼用画像を含む画像群が圧縮され、かつメモリカードに記憶されている場合、または、（２）前記画像群が圧縮され、かつ外部装置からネットワークを介して送信されている場合は、圧縮されている前記画像群を復号するとしてもよい。
　この構成によると、画像対取得部は、外部記憶媒体や通信ネットワークを介して取得した画像に対して、より適切な立体視が可能となる修正を施すことが可能となる。
　また、前記対応点検出部は、回転角に対応する情報を出力するジャイロセンサからの出力に一致するように、前記射影変換行列の作成に用いる回転パラメータおよびシフトパラメータを算出するとしてもよい。
　この構成によると、対応点検出部は、関連技術に係る対応点検出アルゴリズムとジャイロセンサによる実測値を併用することで、より高速かつ正確に、対応点を算出することができる。
　なお、本発明は、このような立体視用画像位置合わせ装置として実現できるだけでなく、立体視用画像位置合わせ装置に含まれる特徴的な手段をステップとする立体視用画像位置合わせ方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　さらに、本発明は、このような立体視用画像位置合わせ装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような立体視用画像位置合わせ装置を含む立体視用画像位置合わせシステムとして実現したりできる。
　カメラパラメータに依存せず、単眼式カメラ及び可変ベースラインカメラで撮影した画像対にも適用でき、従来よりも短時間で自動的に立体視のために画像対を位置合わせする、立体視用画像位置合わせ装置等を提供できる。
　すなわち、本発明は、自動的に処理が可能であるため、特許文献２における先行技術を超える効果を有する。また、本発明は、較正目標に依存しないため、特許文献１における先行技術を超える効果を有する。また、本発明は、単眼式カメラ用に設計されたものであり、可変ベースラインの二眼式カメラで撮影された画像対にも適用できるため、特許文献１および特許文献３における先行技術を超える効果を有する。
　その他の効果を、図５ａ、図５ｂ、および図５ｃを用いて説明する。特許文献４における方法は、図５ａに左画像４０２および右画像４０４として示される、位置合わせ前のカメラ及び画像の向きを、図５ｂに平行化済み左画像４０６および平行化済み右画像４０８として示されるような向きとする位置合わせ（平行化）を実現することを目的としている。ここではエピポールが無限遠にマッピングされ、エピポーラ線が水平軸と平行になっている。一方、本発明は、これを実現することを目的としていない。その代わりに、本発明は図５ｃにおいて示す位置合わせを実現することを目的としている。ここでは、垂直視差が最小限となり、アスペクト比および視域の直交性が保持される（詳細は、実施形態において説明する）。右画像４０４は、右画像４１０によって示されているように、変換（変形）される。本発明は、左画像及び右画像の両方ではなく、いずれか一方の画像変換を行う。したがって、本発明は、特許文献４における先行技術よりも複雑性が低い（処理が簡単である）ため、処理時間を短縮できるという効果を有する。
　本発明における好ましい特徴を、付属図面を参照して図示例を用いて説明する。当該図面は、以下を示す。
図１は、手持ち式の単眼式撮影装置を用いて撮影された立体画像対の位置ずれを示す図である。 図２は、本発明の実施の形態１に係る立体視用画像位置合わせ装置の概要を示すブロック図である。 図３は、本発明の実施の形態１及び２に係る画像位置合わせモジュールの詳細な機能構成を示すブロック図である。 図４ａは、本発明の実施の形態１及び２に係る画像位置合わせモジュールの処理を示すフローチャートである。 図４ｂは、本発明の実施の形態１及び２に係るブレ領域操作機能を含む画像位置合わせモジュールの処理を示すフローチャートである。 図５ａは、位置合わせを行う前のカメラと画像との方向を示す図である。 図５ｂは、先行技術による平行化を行った後のカメラと画像との方向を示す図である。 図５ｃは、本発明の実施の形態１及び２に係る立体視用画像位置合わせ装置による位置合わせを行った後のカメラと画像との方向を示す図である。 図６ａは、画像対からの視域または重なり合う領域の概念を示す図である。 図６ｂは、直交性の概念および射影変換行列による変形を行う前後の視域または重なり合う領域のアスペクト比を示す図である。 図７は、本発明の実施形態２に係る撮影装置のブロック図である。 図８は、本発明の実施形態１及び２に係る立体視用画像位置合わせ装置等の効果を示した結果の１つである。 図９は、３Ｄ処理エンジンとして本発明を用いた適用例である。 図１０ａは、正視差で立体表示を行う場合を示す図である。 図１０ｂは、ゼロ視差で立体表示を行う場合を示す図である。 図１０ｃは、負視差で立体表示を行う場合を示す図である。 図１１は、３Ｄ表示ボタンを介して３Ｄ表示内の３Ｄ処理エンジンと通信する、ユーザインタラクションを示す図である。 図１２ａは、特徴点の抽出および変形行列を生成するための画像領域選択を示す第１の図である。 図１２ｂは、特徴点の抽出および変形行列を生成するための画像領域選択を示す第２の図である。 図１３は、本発明の実施の形態１及び２における斜傾変換行列の算出方法の一例を説明する図である。 図１４は、本発明の実施の形態１及び２における射影変換行列及び斜傾変換行列による画像変換処理のイメージを示す概念図である。
　図１は、単眼式の（すなわち、１つのレンズと、１つのイメージセンサを備える）撮影装置を用いて画像対を撮影する例を示す。左画像１０２および右画像１０４は、単眼式デジタルカメラ１０６を用いて、異なる視点から連続的に撮影される。左画像１０２の撮影と右画像１０４の撮影間のカメラの移動距離は、距離１０８で示される。たとえば、ユーザがある位置で左画像１０２を撮影した後、手を距離１０８だけ右へ移動させて右画像１０４を撮影することが考えられる。
　この例において、撮影された画像（左画像１０２および右画像１０４）は位置合わせされておらず、カメラの（たとえば、手による）動きによる、変換および回転の影響を含む。なお、距離１０８は、シーンに応じて変動してもよい。たとえば、距離１０８は、対象物が近い場合には短くなり、対象物が遠い場合には、長くなる。この例で撮影された左画像１０２および右画像１０４を、本発明における立体視用画像位置合わせ装置によって適切に位置合わせすることが可能である。
　図２は、本発明の一実施形態に係る立体視用画像位置合わせ装置２００のブロック図である。
　図２に示されるように、本実施の形態に係る立体視用画像位置合わせ装置２００は、画像対取得部２０５と、画像位置合わせモジュール２０８と、出力部２１０と、内部バッファ２１２とを備える。
　画像対取得部２０５は、左眼用画像と、左眼用画像に対応する右眼用画像とを含む画像対を取得する。画像対取得部２０５は、イメージセンサ及びレンズよりなる撮影装置（図示なし）から画像対を取得してもよく、記憶媒体又はネットワーク等を介して、画像対を取得してもよい。
　ここで、画像対取得部２０５が撮影装置から画像対を取得する場合、（１）２つのイメージセンサと２つのレンズ、（２）１つのイメージセンサと２つのレンズ、または、（３）２つのイメージセンサと１つのレンズのいずれかを備えた撮影装置により、同時に撮影された２つの画像を画像対として取得することが考えられる。または、画像対取得部２０５は、１つのイメージセンサと１つのレンズを用いて、異なる視点から異なる時間に撮影された２つの画像を画像対として取得してもよい。
　画像対取得部２０５は、記憶媒体リーダ２０２と、画像デコーダ２０４とを有する。たとえば、ＳＤメモリカードのような記憶媒体から画像対である画像データを取得する場合、記憶媒体リーダ２０２は、記憶媒体から画像データを取得する。画像データＳ２２が符号化されている場合は、必要に応じて、画像デコーダ２０４は、画像データを復号する。なお、画像デコーダ２０４は、たとえばネットワークを介して取得した符号化データを復号してもよい。すなわち、画像対取得部２０５は、（１）左眼用画像及び右眼用画像を含む画像群が圧縮され、かつメモリカードに記憶されている場合、または、（２）画像群が圧縮され、かつ外部装置からネットワークを介して送信されている場合は、圧縮されている画像群を復号してもよい。
　画像位置合わせモジュール２０８は、画像変換を行うことで圧縮されていない画像対Ｓ２３を位置合わせする。位置合わせ処理に伴う中間データは、内部バッファ２１２に記録される。位置合わせされた画像対Ｓ２５は、出力部２１０に送信される。
　出力部２１０は、位置合わせにより変換された画像を含む画像対を出力する。具体的には、出力部２１０は、好ましい出力タイプに応じて出力画像フォーマットを調整する。たとえば、出力部２１０は、表示装置２１４に表示させるため、表示装置２１４が表示可能な表示フォーマットに合致するように画像フォーマットを調整してもよい。このような形式には、眼鏡を使用せずに視聴する裸眼立体装置のための形式、（眼鏡を使用して視聴する）グレー／カラーアナグリフ、インターレース形式、チェッカーボード形式、またはアクティブシャッターメガネを用いて視聴する、フレームシーケンシャル型立体表示装置のための他の形式が含まれてもよい。または、位置合わせされた画像対Ｓ２６を、記憶／送信装置２１６を用いて記憶／送信してもよい。記憶装置の例には、フラッシュベースのメモリカード、ハードドライブ、および光学ドライブが含まれるが、これらに限定されない。送信装置の例には、ＨＤＭＩインターフェース、ＵＳＢインターフェース、ワイヤレスインターフェースおよびｄｉｒｅｃｔ－ｔｏ－ｐｒｉｎｔｅｒインターフェースが含まれるが、これらに限定されない。記憶装置または送信装置で処理されるデータは、任意に可逆または不可逆圧縮されていてもよい。位置合わせされた画像対Ｓ２６は、プリンタ２１８で印刷するために出力することもできる。プリンタ２１８は、印刷される画像上に奥行きの錯覚を構築する、レンチキュラーシートを備えてもよい。記憶／送信装置２１６において記憶された画像は、プリンタ２１８に直接送信されてもよく、または信号Ｓ２７を介して表示装置２１４に送信されてもよい。必要に応じて、表示の幅を含むことができるフィードバック信号Ｓ２９を画像位置合わせモジュール２０８にフィードバックしてもよい。
　立体視用画像位置合わせ装置２００が備える、画像位置合わせモジュール２０８、および他の内部モジュールは、通常、ＩＣ（集積回路）、ＡＳＩＣ（用途限定集積回路）、ＬＳＩ（大規模集積回路）、ＤＳＰ（デジタルシグナルプロセッサ）の形で実現することができ、またはＣＰＵベースのプロセッサおよびＰＣを含む機械により実現される。これらの各モジュールは、複数の単一機能ＬＳＩ内、または１つの集積ＬＳＩ内にも備えることができる。ここで用いた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩとも呼ばれることもある。さらに、集積化を実現する方法としては、ＬＳＩのみではなく、専用回路または汎用プロセッサなども集積化を実現することができる。これには、プログラム命令により制御することができる、ＤＳＰ（デジタルシグナルプロセッサ）など、特化したマイクロプロセッサが含まれる。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）、またはＬＳＩの接続もしくは構成を再構成可能なプロセッサを、同じ用途に用いることができる。将来的には、製造および処理技術が向上し、全く新しい技術がＬＳＩにとって代わるかもしれない。その技術により、集積を行うこともできる。実施の際に、時系列に画像を表示する液晶表示装置またはプラズマ表示装置、レンチキュラーレンズ層が付加された表示装置、または他の種類の表示装置等、立体画像を表示可能な表示装置に立体視用画像位置合わせ装置２００を組み込んでもよい。立体視用画像位置合わせ装置２００は、デジタルビデオディスクプレーヤ、ブルーレイ（登録商標）ディスクプレーヤ、および他の種類のデジタルメディアプレーヤなどのデジタルメディアプレーヤ装置に実装されてもよい。他の種類の装置において立体視用画像位置合わせ装置２００を実装することも可能であり、本願の範囲を限定するものではない。
　図３は、本実施の形態に係る画像位置合わせモジュール２０８の詳細な機能構成を示すブロック図である。
　図３に示されるように、画像位置合わせモジュール２０８は、対応点検出部２５２と、第１行列算出部２５４と、第２行列算出部２５６と、行列合成部２５８と、変換部２６０と、ブレ領域検出部２２０と、視域算出部２６２とを備える。
　対応点検出部２５２は、画像対取得部２０５が取得した画像対の一方である第１の画像に含まれる第１の点と、他方である第２の画像に含まれる点であり、第１の点に対応する点である第２の点との組である対応点を検出する。
　ブレ領域検出部２２０は、画像対においてブレ領域を検出する。ブレ領域の検出方法は、任意のものを使用できる。たとえば、画像を複数のブロックに分割し、ブロックごとに、一方向に並んだ複数の画素の濃度変化が閾値以上である部分の割合を検出することで、ブレがあるブロックを特定するブレ領域検出方法等を利用してもよい。
　ブレ領域検出部２２０によりブレ領域が検出された場合、対応点検出部２５２は、画像対のうちブレ領域として特定された領域以外の領域から対応点を検出することが好ましい。
　第１行列算出部２５４は、第１の点と第２の点との垂直視差が最小となり、かつエピポーラ拘束を満たすように第１の点を変換する射影変換行列を算出する。なお、垂直視差とは、垂直位置値の差である。詳細については、後述する。
　第２行列算出部２５６は、第１行列算出部２５４が算出した射影変換行列により変換された第１の画像である第３の画像の座標系が、直交性を有し、かつ、第１の画像と同じアスペクト比を有するように、第３の画像を再度、変換する斜傾変換行列を算出する。より詳細には、後述する。
　視域算出部２６２は、第１の画像及び第２の画像に共通する領域である視域を算出する。なお、視域が算出された場合、第２行列算出部２５６は、第３の画像すべてではなく、第３の画像のうち、視域に含まれる部分が直交性を有し、かつ、第１の画像のうち視域に含まれる部分と同じアスペクト比を有するように斜傾変換行列を算出することが好ましい。なお、視域の詳細については後述する。
　行列合成部２５８は、射影変換行列と斜傾変換行列とを組み合わせて合成変換行列を生成する。
　最後に、変換部２６０は、合成変換行列を用いて、第１の画像を変換する。
　こうして画像位置合わせモジュール２０８によって変換された、第３の画像と、第２の画像とを含む画像対は、出力部２１０から補正後の画像対として出力される。
　以上、図３を参照して画像位置合わせモジュール２０８の構成について説明した。
　次に、画像位置合わせモジュール２０８が備える各処理部の処理内容について、より詳細に説明する。
　図４ａは、本実施形態に係る画像位置合わせモジュール２０８の動作を示すフロー図である。ステップＳ３０２では、画像対取得部２０５が画像対を取得することで、立体視用画像位置合わせ装置２００へ画像対が入力される。ステップＳ３０４では、対応点検出部２５２により、画像対の対応点が検出される。
　なお、画像対に含まれる２つの画像が撮影されたときに、ジャイロセンサのようなセンサを用いて２つの撮影位置の間の回転量を導き出す場合には、処理時間を短縮するためにステップＳ３０４を省くことができる。すなわち、対応点検出部２５２は、回転角に対応する情報を出力するジャイロセンサからの出力に一致するように、第１行列算出部２５４が射影変換行列の作成に用いる回転パラメータおよびシフトパラメータを算出することで、行列算出のための処理時間を短縮し、精度を向上させることができる。
　ステップＳ３０６において、第１行列算出部２５４は、対応点を用いて基礎行列（Ｆｕｎｄａｍｅｎｔａｌ　Ｍａｔｒｉｘ；Ｆ行列）を算出する。ステップＳ３０８において、第１行列算出部２５４は、対応点を用いて射影変換行列を算出する。これは、対応点の垂直視差が最小となり、かつエピポーラ拘束が満たされるように画像の一方を変形するための行列を見つけることを目的としている。
　ステップＳ３１０において、第２行列算出部２５６は、変形された画像の視域が直交性を保ち、変形前の視域と同じアスペクト比を有するように斜傾変換行列を算出する。視域は、立体視のために用いられる、切り出し領域であり、両画像に共通する領域を含む。左右の画像の重なり合う領域である共通領域内の対応点のみが、斜傾変換行列の算出に役立ち、それ以外の領域を使用した場合は最終的に得られる３Ｄ画像の品質が保証されない。
　ステップＳ３１２において、行列合成部２５８は、射影変換行列および斜傾変換行列を合成する。次にステップＳ３１４において、合成された変換行列（合成変換行列）に応じて画像対のうち一方の画像が変換される。最後に、ステップＳ３１６において、出力部２１０から位置合わせされた立体画像対が出力される。
　図４ｂは、ブレ領域検出ステップＳ３１７（ｂ）、ブレ領域補償ステップＳ３１８（ｂ）、視差調整ステップＳ３１９（ｂ）、およびユーザフィードバックステップＳ３２０（ｂ）を含む別のフロー図である。
　ステップＳ３０２（ｂ）における入力画像対は、対応点検出のためにステップＳ３０４（ｂ）に移る。ここではある一定の領域のみが対応点検出の対象とされる。具体的には、中央領域は、２つの画像の共通または重なり合う領域を好適に表すために、対応点検出の対象領域として中央領域を用いることが好ましい。また、ブレ領域検出ステップＳ３１７（ｂ）からの結果を用いることによって対応点検出の対象領域からブレ領域を避けてもよい。複雑性を低減させるため、または特徴点抽出を迅速化するために中央周辺の均等に分布された領域のみを対応点検出の対象領域として選択してもよい。すなわち、対応点検出部２５２は、画像対に含まれる第１の画像及び第２の画像の各々の中心から事前に定められた範囲内において、均一に分散された複数の小領域を選択し、当該小領域のなかから対応点を検出してもよい。図１２ａ及び図１２ｂは、そのような構成の１つを示しており、その説明は本実施の形態の後半部分において行う。
　ステップＳ３０６（ｂ）、ステップＳ３０８（ｂ）、およびステップＳ３１０（ｂ）において、選択されたこれらの候補点のみを用いて、ブレ領域におけるあらゆる点を除外することにより、第１行列算出部２５４及び第２行列算出部２５６は、変換行列を生成する。
　ステップＳ３１８（ｂ）において、１つのフレーム内のブレ領域またはブレ対象物が、他のフレーム内の同じブレ領域またはステップ対象物を参照することにより補償またはシフトバックされる。そして、得られた画像は、ステップＳ３１４（ｂ）において変形処理が施される。
　ステップＳ３１９（ｂ）において、出力部２１０は、ポップアップ効果（画像が飛び出る向きの効果）またはディープイン効果（画像が沈み込む向きの効果）のような視差または３Ｄ効果を、ステップＳ３２０（ｂ）からのフィードバックでベースラインまたは他のパラメータを変更することによって調整することができる。そのフィードバックは、たとえば３Ｄ表示ボタン（図１１に示す）を押すことによるユーザインタラクションによりステップＳ３１９（ｂ）にフィードバックが行われるか、または測距センサもしくは２カメラシステムなどによって、視聴距離を自動的に検出することでステップＳ３１９（ｂ）にフィードバックが行われる。たとえば、ユーザとの距離が近いほど、３Ｄ効果を弱めるように出力部２１０が画像対に対して画像処理を施した後、出力してもよい。
　また、図１１において、ユーザフィードバックは、３Ｄ表示ボタンを押すことで行うことができ、フィードバック信号は、図１１に示す３Ｄ処理エンジンに送信される。たとえば、ユーザの可視距離およびユーザの目の許容範囲に応じて、「３Ｄ視差」上／下ボタンを押すことにより、さらに奥行きが深くまたは浅くなり、または「ポップアップ」もしくは「ディープイン」というボタンを押すことでコンテンツの３Ｄ効果を調整する。
　また、出力部２１０は表示装置の大きさを取得し、表示装置が大きいほど、より３Ｄ効果を弱めるように画像対に対して画像処理を施した後、出力してもよい。
　すなわち、出力部２１０は、視聴ユーザからの入力操作、表示装置の大きさ、及び、表示装置と視聴ユーザとの距離のうち少なくとも１つを示す調整情報を取得し、調整情報に基づいて、第３の画像及び第２の画像の視差、３Ｄポップアップ、及びディープイン効果のうち少なくとも１つを調整して出力する。
　なお、３Ｄポップアップ及びディープイン効果等の３Ｄ効果を調整する際は、具体的には、出力部２１０は、画像対に含まれる左右画像の視差を調整する。たとえば、出力部２１０は、左眼用画像を基準にして、右眼用画像が左眼用画像よりも左側に配置される交差視差では、その交差視差を大きくするほど（すなわち、右眼用画像が左眼用画像よりも、より左側に配置されるほど）、３Ｄポップアップ効果を強めることができる。また、左眼用画像を基準にして、右眼用画像が左眼用画像よりも右側に配置される非交差視差では、その非交差視差を大きくするほど（すなわち、右眼用画像が左眼用画像よりも、より右側に配置されるほど）、ディープイン効果を強めることができる。
　なお、図１２ａを参照し、対応点検出部２５２は、図１２ａに示されるように、画像１１００を５つのサブブロックである、Ｂ１、Ｂ２、Ｂ３、Ｂ４、およびＢ５に分割してもよい。これらのブロック（または一部のブロック）は、特徴の検出、記述子の算出、および対応点の決定に用いてもよい。この場合、画像全体の処理は必要ない。これにより、システムの演算時間が迅速化される。さらに、これらのブロックは、変換行列の精度の向上、および望ましい対応点の選択の迅速化に役立つ。また、均質なブロックの場合は、通常、有益な特徴が存在しない。したがって、均質なブロックは除外すべきである。図１２（ｂ）のブロックＢ１を例に考えると、Ｂ１が均質なブロックである場合、Ｂ１の周囲の非均質なブロック（たとえば、Ｂ１’が非均質なブロックであればＢ１’）が選択される。これは、選択されたブロックがすべて有益な特徴を含むようにするためである。上記の前提で、画像領域選択の他の方式を用いてもよい。
　ここで、ブロックが均質であるとは、当該ブロックに含まれる画像情報の分散が小さいことを意味する。たとえば、（１）ブロック内で隣接する画素の画素値が、事前に定められた閾値以上変化する画素（いわゆるエッジ部分）の数が事前に定められた閾値より小さい場合、又は、（２）ブロックごとの空間周波数の中央値又は平均値が事前に定められた閾値より小さい場合に、当該ブロックは均質であると判断し、その他のブロックは非均質であると判断してもよい。
　対応点検出部２５２は、従来技術における任意の対応点検出方法を、対応点の検出に用いることができる。例えば、画像対の各々の画像を同一サイズの所定のブロックに分割し、各ブロックに含まれるエッジ間を抽出する。その後、エッジごとに類似度（例えば最小二乗和、尤度、ＡＩＣ等）を算出し、最も類似するエッジに含まれる点を対応点として検出することなどが考えられる。より詳細には、既知の方法の例が、D.Loweの"International Conference on Computer Vision"(1999)における"Object recognition from local scale-invariant features"（非特許文献１）、およびH.Bayらの"European Conference on Computer Vision"(2006)における"SURF:Speeded up robust features"（非特許文献２）に開示されている。なお、対応点検出部２５２は、対応点検出の他の方法を用いてもよく、これは本発明の範囲および精神に影響するものではない。
　次に、ステップＳ３０６において、第１行列算出部２５４は検出された対応点を用いて基礎行列Ｆを算出する。以下簡単に基礎行列Ｆの求め方を説明する。
　基礎行列Ｆは、ランク２の３×３の行列であり、第１の画像に含まれる点を、第２の画像に含まれるエピポーラ線へと変換する行列である。すなわち、第１の画像に含まれる点ｒを基礎行列Ｆで変換したＦｒは、第２の画像におけるエピポーラ線となる。ここから明らかなように、基礎行列Ｆは、ｌΤＦｒ＝０となる性質を有する。なお、ｌは、第２の画像における、ｒの対応点である。
　ここで、ｌ、Ｆ、ｒをそれぞれ以下の数式１で表すとする。
Figure JPOXMLDOC01-appb-M000001
　さらに、ベクトルｕ＝（ｆ１１、ｆ１２、ｆ１３、ｆ２１、ｆ２２、ｆ２３、ｆ３１、ｆ３２、ｆ３３）Ｔとし、ベクトルξ＝（ｌｘｒｘ、ｌｘｒｙ、ｌｘ、ｌｙｒｘ、ｌｙｒｙ、ｌｙ、ｒｘ、ｒｙ、１）Ｔとすると、ｌΤＦｒ＝０より、ｕ・ξ＝０となる。
　したがって、対応点検出部２５２で検出された、複数の対応点（実際にはこれらは、誤差を含む）で生成される９次元ベクトルデータ｛ξα｝から、内積が０になるという制約条件のもとで、９次元ベクトルｕを推定すればよい。この解法は様々なものが知られているが、例えば最尤推定法により、尤度が最大になるように数値計算的にｕを決定する等の方法で基礎行列Ｆを求めることができる。より詳細には、たとえば、R.Hartley and A.Zisserman、Multiple View Geometry in Computer Vision、Cambridge University Press、London、2000（非特許文献３）、X. Armangue and J. Salvi、"Overall view regarding fundamental matrix estimation"、 Image and Vision Computing、Vol.21、2003、205-220頁（非特許文献４）、およびZ.Zhang、"Determining the epipolar geometry and its uncertainty:a review"、"International Journal of Computer Vision"、Vol.27、1998、161-198頁（非特許文献５）に記載の方法を用いることができる。
　次に、ステップＳ３０８における射影変換行列の演算に関する詳細をここに開示する。第２行列算出部２５６は、画像対のうち一方の画像を変形するための射影変換行列を算出する。どちらの画像を選択してもよい。本実施形態において、右眼用画像を変形の対象として選択する。しかしながら、左眼用画像が選択されたとしても、本発明の範囲または精神に影響することはない。一定の基準に基づき、変形のために左眼用画像または右眼用画像を選択する順応的アルゴリズムがあってもよい。その基準は、たとえば、左眼用画像もしくは右眼用画像のどちらがより水平であるか、左眼用画像もしくは右眼用画像のどちらがより鮮明であるか、または、左眼用画像もしくは右眼用画像のどちらが興味の対象を含んでいるかなどである。
　本発明は、エピポーラ幾何対応の射影変換、すなわち、基礎行列に一致または適合する射影変換を用いている(非特許文献３を参照)。これは、通常の射影変換の自由度が８ではなく、３に制限され、以下の数式２によって表される。
Figure JPOXMLDOC01-appb-M000002
　数式２において、Ｈは、右画像を変換するための３×３の射影変換行列（いわゆるホモグラフィ；Ｈｏｍｏｇｒａｐｈｙ）である。すなわち、第１の画像に含まれる点をｒ、第２の画像に含まれる点をｌとすると、ｌ＝Ｈｒとなるようにｒの座標を変換する行列である。
　また、Ｆは、ステップＳ３０６において算出された３×３の基礎行列Ｆである。
　また、ｅ’は、右画像のエピポールの３×１同次座標である。これは、基礎行列Ｆから導き出すことができる。具体的には、エピポールｅ’は、基礎行列ＦによりＦＴｅ’＝０となる性質を有するので、エピポールｅ’は、行列ＦＦＴの最小の固有値に対応する固有ベクトルとして求められる。
　また、［ａ］ｘｂは、外積であり、ａ×ｂを意味する。
　また、ｖＴは、自由度３のパラメータを含む、１×３ベクトルである。
　本実施の形態に係る第１行列算出部２５４は、対応点間の垂直視差が最小化されるように、ｖＴによってパラメータ化されたＨを求める。すなわち、次の数式３を満たすｖを求める。ここで、ＸＬは、左画像における対応点のリストであり、ＸＲが右画像における対応点のリストであるとする。数式３を以下に示す。
Figure JPOXMLDOC01-appb-M000003
　ここで、y_component_of (X) は、点Ｘの垂直座標成分を意味する。
　したがって、第１行列算出部２５４は、複数の対応点（ＸＬ及びＸＲ）から、数値計算的にパラメータｖＴを決定することができる。例えば、最小二乗法により、数式３を最小化するｖを決定することが可能である。なお、Ｈを求める他の方法としては、各対応点の対のＨを求め、その平均を求める方法もある。
　次に、ステップＳ３１０における斜傾変換行列を算出する方法の詳細をここに開示する。ステップＳ３０８において算出された射影変換行列は、ｘ方向における視差を拘束しない。したがって、Ｈによって射影変換された画像は傾斜することもあるため、斜傾変換を行うことにより画像の傾斜をなおす必要がある。傾斜量を算出するために、本発明はアスペクト比と視域の直交性を復元する。「視域」、「アスペクト比」、および「直交性」という用語を、図６ａおよび図６ｂを用いて説明する。
　図６ａは、左眼用画像５０２および右眼用画像５０４を示す。内側の矩形５０６、５０８は、両画像に共通する領域の外形を示している。内側の矩形５０６、５０８より外側の領域は、どちらか一方の画像のみに現れる。立体視において、これらの領域は不快である。なぜなら、これらの領域は１つの目のみで見ているため、人間の脳は、奥行きを知覚するための視差情報を抽出することができないからである。この内側の共通領域である矩形５０６、５０８を、視域と呼ぶ。図６ｂは、左右いずれかの画像の、変形前画像５１０および変形後画像５１２を示す。変形前視域５１４は、一定のアスペクト比を有しており、このアスペクト比は、点５１８および点５２２間の距離と、点５２０および点５２４間の距離との比により決定することができる。角５２６も直角である。変形後視域５１６も同様に、アスペクト比は変形点５２８、５３０、５３２、５３４により決定され、異なるアスペクト比を有してもよい。角５４０は、直角でなくてもよい。シアー変換行列は、直交性およびアスペクト比を復元させるために算出される。
　以下、第２行列算出部２５６が算出する斜傾変換行列であるシアー変換行列の算出方法について、より具体的に説明する。
　数式４に、シアー変換行列の一般形を示す。
Figure JPOXMLDOC01-appb-M000004
　図１３を参照して、数式４で表される行列Ｓは、第１行列算出部２５４で算出された行列Ｈにより右眼用画像３５０を変換した結果である右眼用画像３５２の斜傾を元にもどし、座標軸が直交した右眼用画像３５４を得るための行列である。
　ここで、右眼用画像３５０、右眼用画像３５２、及び右眼用画像３５４において、それぞれ対応する点は、以下のとおりである。すなわち、右眼用画像３５０の点ａは、右眼用画像３５２の点ａ’に対応し、右眼用画像３５２の点ａ’は、右眼用画像３５４の点ａ’’に対応する。
　以下同様に、ｂ、ｂ’、及びｂ’’が対応し、ｃ、ｃ’、及びｃ’’が対応し、ｄ、ｄ’、及びｄ’’が対応する。
　さらに、定義よりａ’＝Ｈａ、ｂ’＝Ｈｂ、ｃ’＝Ｈｃ、ｄ’＝Ｈｄであり、ａ’’＝ＳＨａ、ｂ’’＝ＳＨｂ、ｃ’’＝ＳＨｃ、ｄ’’＝ＳＨｄである。
　また、前述のとおり、右眼用画像３５４内の線分ａ’’ｃ’’３５５と、線分ｂ’’ｄ’’３５６は直交する。さらに、右眼用画像３５０と右眼用画像３５２のアスペクト比が一致することから、線分ａ’’ｃ’’３５５の長さと、線分ｂ’’ｄ’’３５６の長さの比は、線分ａｃの長さｈ０と、線分ｂｄの長さｗ０の比に一致する。
　以上から、第２行列算出部２５６は、以下の数式５で示される２つの制約条件をともに満たすように、斜傾変換行列Ｓに含まれる変数ｓ１及びｓ２を算出する。
Figure JPOXMLDOC01-appb-M000005
　次に、視域を算出する方法の１つを説明する。まず、左眼用画像における複数の対応点の重心を算出する。次に、右眼用画像における対応点を変換し、変換された複数の対応点の重心を算出する。その結果、これらの重心の差が算出される。重心の差の垂直方向の成分は、図６ａの垂直差５３６に対応する。また、重心の差の水平方向の成分は、図６ａの水平差５３８に対応する。よって、視域の寸法は、元の画像サイズおよび重心の差から導き出すことができる。この方法によって、完璧な視域を求められないことがある。すなわち、算出された視域と、実際の視域との間に差異が生じる可能性がある。しかしながら、この方法で十分満足な結果が得られる。
　射影変換行列およびシアー変換行列は、対応点を用いて算出される。画像そのものは、変形されていない。別々の２つの変換処理ではなく、１つの変換処理を行う前に、射影変換とシアー変換行列とを組み合わせることが好ましい。
　以上説明した、ステップＳ３０８～ステップＳ３１４における処理の効果を、図１４を参照して、再度、説明する。
　図１４は、射影変換行列Ｈ及び斜傾変換行列Ｓによる画像変換処理のイメージを示す概念図である。
　図１４に示される画像のうち、左眼用画像面に含まれる視域３６２と、右眼用画像面に含まれる視域３６４ａが、本実施の形態に係る画像対取得部２０５が取得した画像対に含まれる左右２つの画像の視域とする。なお、視域３６２に含まれる点３７２と、視域３６４ａに含まれる点３７８は、点３７０を左焦点ｃ’及び右焦点ｃからそれぞれ見たときに、左眼用画像面及び右眼用画像面にそれぞれ写される点である。すなわち、点３７２と、点３７８は対応点である。
　ここで、点３７２と、点３７８の垂直位置は大きく異なっている。同様に、他の対応点の垂直位置も大きく異なっている。
　視域３６４ｂは、視域３６４ａを射影変換行列Ｈにより変換した画像である。この変換により、視域３６２と、視域３６４ｂの対応点の垂直位置は一致する。例えば、点３７２と、その対応点である点３７６の垂直位置は一致している。
　しかし、図１４に示されるように、視域３６２と視域３６４ｂとを比較すると、視域３６４ｂは座標軸が直交せず、傾斜している。
　この視域３６４ｂを斜傾変換行列Ｓにより変換した画像が、視域３６４ｃである。視域３６４ｃは、視域３６２と対応点（点３７２及び点３７４）の垂直位置が一致し、かつ、視域内の座標の直交性が保たれた画像となる。
　なお、行列Ｈと行列Ｓを合成した行列ＨＳ（＝ＳＨ）を算出することにより、視域３６４ａから直接に視域３６４ｃへと変換できる。
　図３との対応を示すと、第１行列算出部２５４は、射影変換行列Ｈを算出する。第２行列算出部２５６は、斜傾変換行列Ｓを算出する。行列合成部２５８は、行列ＨＳを算出する。変換部２６０は、行列ＨＳによる変換を取得画像対の一方に含まれる視域（例えば、視域３６４ａ）に施す。
　次に、図７を参照して、本発明の実施の形態２について説明する。実施の形態２では、画像位置合わせモジュール２０８を撮影装置に組み込んだ実施形態について説明する。なお、図７における画像位置合わせモジュール１２４６は、立体視用画像位置合わせモジュール２００と同様の構成を有する。
　図７は、本発明の他の実施形態による撮影装置１２００の概略ブロック図を示す。撮影装置１２００は、光学系１２０２と、イメージセンサ１２０４と、ＡＤＣ（アナログ－デジタル変換器）１２０６と、イメージプロセッサ１２０８と、マイクロコンピュータ１２１０と、外部メモリ１２１２と、ドライバコントローラ１２２０と、ＯＩＳ（光学式手振れ防止機構）センサ１２１８と、操作部１２２２と、記憶／送信装置１２１６と、表示装置１２１４とを備える。イメージプロセッサ１２０８は、内部メモリ１２４０と、画像位置合わせモジュール１２４６と、原画像プロセッサ１２４２と、カラー画像プロセッサ１２４４とを備える。マイク、スピーカなどの他の構成要素は図示されていないが、これは本発明の範囲および精神を限定するものではない。
　光学系１２０２は、イメージセンサ１２０４に到達する光信号を制御するために、複数のレンズまたはレンズの集合、ズーム／フォーカス機構、アクチュエータ、シャッター、開口部などの構成要素を備えてもよい。イメージセンサ１２０４は、マイクロコンピュータ１２１０の制御によって入射光信号を蓄積してその光信号を電気信号に変換する。電気信号は、ＡＤＣ１２０６によりデジタルデータ（原画像データ）に変換され、内部メモリ１２４０または外部メモリ１２１２に記憶される。原画像データは、左右の画像が異なる視点から連続的に撮影された立体画像対を含んでもよい。原画像プロセッサ１２４２は、原画像データを内部メモリ１２４０（または外部メモリ１２１２）から取得し、ノイズ低減、リニア補正、ホワイトバランス、ガンマ補正等、多くの前処理（図示せず）を行ってから、前処理された原画像を出力してもよい。この前処理された原画像を、記憶／送信装置１２１６により記憶または送信することができる。前処理された原画像を、カラー画像プロセッサ１２４４で処理することで、ＲＧＢまたはＹＣｂＣｒ等のカラー画像を生成することもできる。カラー画像プロセッサ１２４４は、好適なカラー画像を生成するために、色補間、色補正、色調範囲の調整、色ノイズの低減等を含んでもよい。画像位置合わせモジュール１２４６は、立体画像対のカラー画像を取り込み、位置合わせする。出力される位置合わせ済み立体画像対は、３Ｄ視用の立体画像を表示可能なレンチキュラーレンズ層が付着された液晶モニタ等の表示装置１２１４により、表示することができる。上記画像は、２Ｄで表示することもできる。出力される位置合わせ済み立体画像対は、記憶／送信装置に記憶することもできる。前処理された原画像および出力画像は、記憶／送信装置１２１６により記憶／送信される前に、圧縮部（図示せず）により圧縮されてもよい。記憶装置の例には、フラッシュベースのメモリカード、ハードドライブ、および光学ドライブが含まれるが、これらに限定されない。送信装置の例には、ＨＤＭＩインターフェース、ＵＳＢインターフェース、ワイヤレスインターフェースおよびｄｉｒｅｃｔ－ｔｏ－ｐｒｉｎｔｅｒインターフェースが含まれるが、これらに限定されない。記憶装置または送信装置で処理されるデータは、任意に可逆または不可逆圧縮されていてもよい。
　光学系１２０２は、ドライバコントローラ１２２０により制御されてもよい。ドライバコントローラ１２２０は、マイクロコンピュータ１２１０により制御される。操作部１２２２は、ユーザ操作入力を受信し、その電気信号をマイクロプロセッサ１２１０に送信することで、ユーザの入力に対応して関連するモジュール、たとえば、ドライバコントローラ１２２０、イメージセンサ１２０４、イメージプロセッサ１２０８等を制御することができる。ＯＩＳセンサ１２１８は、手振れまたはカメラの動きによる揺れを検出し、その電気信号をマイクロコンピュータ１２１０に送信する。マイクロコンピュータ１２１０は、ドライバコントローラ１２２０を制御して、揺れを補償するようレンズを動かすために光学系１２０２におけるアクチュエータ等を制御するので、手振れまたはカメラの動きに起因するブレを低減させる。
　画像位置合わせモジュール１２４６の詳細については、前述の実施形態を参照することができる。一定の基準において快適な視聴をもたらす、よりよい３Ｄ効果を与える画像対を選択しやすくするために、画像位置合わせモジュール１２４６の処理を行う前に、画像対選択モジュール１２５１による処理を行ってもよい。
　画像撮影が異なる時間に行われた場合、３Ｄで視聴する際、被写体のブレ領域検出および補償モジュール１２５０を適用して被写体のモーションブラーを除去することがよいであろう。
　画像処理１２０８、画像位置合わせモジュール１２４６、およびその内部のモジュールは、通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途集積回路）、またはＬＳＩ（大規模集積回路）の形で実現される。これらの各モジュールは、複数の単一機能ＬＳＩ内、または１つの集積ＬＳＩ内にも備えることができる。ここで用いた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩとも呼ばれることもある。さらに、集積化を達成する方法は、ＬＳＩのみではなく、専用回路または汎用プロセッサなども集積化を達成することができる。これには、プログラム命令により制御することができる、ＤＳＰ（デジタルシグナルプロセッサ）など、特化したマイクロプロセッサが含まれる。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）、またはＬＳＩの接続または構成を再構成可能なプロセッサを、同じ用途に用いることができる。将来的には、製造および処理技術が向上し、全く新しい技術がＬＳＩにとって代わるかもしれない。その技術により、集積を行うこともできる。
　図８は、本発明の実施の形態１に係る立体視用画像位置合わせ装置２００の効果を図示した画像結果の例である。得られた画像１３ＬＲは、画像の位置合わせを行う前の立体画像対の左眼用画像および右眼用画像間のオーバーレイ画像を示す。さらに、これらの画像間の対応（ズレ）を示す差分線（たとえば、Ｌ１３０２）が、オーバーレイ画像に重畳されて示されている。得られた画像１３ＬＲから、差分線は手振れのため垂直方向および水平方向のどちらにおいても長く伸びており、位置合わせされていないことがわかる。得られた画像１３ＬＲの立体画像対が３Ｄ視用に表示される場合、表示された画像により、視聴者は眼精疲労および視覚的不快感を覚える可能性がある。
　得られた画像１４ＬＲは、本発明による画像位置合わせを行った後の立体画像対の左画像と右画像とのオーバーレイ画像を示す。得られた画像１４ＬＲから、差分線（Ｌ１３０４）は、好適に位置合わせされている（画像対が好適に位置合わせされている）ことがわかる。また、線Ｌ１３０６は、切り出し領域を示す。この位置合わせされた立体画像対を表示すると、非常に快適な３Ｄ視を生成することができる。したがって、本発明の効果は図８により実証される。
　なお、実施の形態１に係る立体視用画像位置合わせ装置２００をマルチショットモードで動作する画像撮影装置において用いてもよい。このようなモードにおいては、ユーザがボタンを押した際、複数の画像が自動的に撮影される。マルチショット撮影中にユーザがカメラを動かすと、異なる視点から同じシーンの画像が複数撮影される。画像対は、複数の画像から選択することができる。選択の基準は、対応点に基づくことができる。画像位置合わせモジュールに入力するために、十分な数の対応点を有する画像対を選択することが好ましい。対応点を検出する方法は、前述の実施形態１において開示されている。各撮影間の時間間隔は、タイマーによって設定することができる。各撮影は、撮影装置を動かすことにより開始することもできる。このような動きを判定するために、ジャイロセンサまたは加速度センサを用いることができる。視差が立体視に十分となるように、撮影装置が所定の距離を移動した際に、撮影を開始させることが好ましい。
　また、１つの撮影シーンの中で対象物が異なる奥行きを有することもある。対象物が近い場合は、装置を動かす距離は短くなり、対象物が遠い場合には、装置を動かす距離は長くなる。この距離は、対象物の奥行きに応じて適応的に算出することができる。奥行きを求める方法の１つとして、合焦位置により求められるものがある。
　また、現在の画像を隣接する画像のうち１つと対にして画像対を作成するビデオ撮影装置において、実施の形態１に係る立体視用画像位置合わせ装置２００を用いることができる。よって、通常の２Ｄ映像から立体映像を生成することができる。
　図９において、可能性のある用途を示している。通常のカメラまたは携帯電話が２以上の画像の撮影に用いられ、ＳＤカードまたは他のメモリカードに記憶される。３Ｄ画像の位置合わせは、カメラまたは携帯電話の内部において行うことができる。また、３Ｄ画像の位置合わせは、３Ｄ画像位置合わせモジュール２０８をプレーヤまたはディスプレイのハードウェアに組み込むことで、任意のプレーヤまたはディスプレイにおいて行うことができる。３Ｄ画像の位置合わせは、３Ｄディスプレイに表示する前に、ＰＣまたはサーバによって行うことも可能である。
　前述のように、図２におけるフィードバック信号Ｓ２９は、視聴者からディスプレイまでの視聴距離となることもある。フィードバック信号は、自動的にまたはユーザインタラクションを介して得ることができる。このフィードバックを得ることにより、画像位置合わせモジュール２０８は、画像変形または変換の途中または処理後に、左右の画像のベースラインを調整することができる。
　画像位置合わせモジュール２０８と表示画面上の外部ボタンとの間のＡＰＩ（アプリケーションインターフェース）は、表示のコントラストまたは明るさを調整するボタンのように作られる。この外部ボタンを介して、ユーザは視覚的な快適さおよび３Ｄ効果を調整することができ、ユーザの要求を画像位置合わせモジュール２０８に送信することができる。
　上記の構成を他の３Ｄ表示装置に適用して、３Ｄ処理モジュールおよびユーザ間のユーザインターフェースを作成することが可能である。
　異なる３Ｄ効果の詳細な説明を、図１０ａ、図１０ｂおよび図１０ｃに示す。図１０ａにおいて、正視差を示す。左眼用画像である左対象物９Ｌが、表示画面９００の左側に表示され、右眼用画像である右対象物９Ｒが、表示画面９００の右側に表示される。この場合、観察者は、対象物ＰＯが表示画面の後ろにあるように知覚する。水平視差は、たとえば原点を表示画面の左下端にとった場合、ｄｘ＝ｘＲ－ｘＬ＞０となる。なお、式中ｘＲは、右目画像の画面上の位置であり、ｘＬは、左眼用画像の画面上の位置である。知覚された対象物の奥行きは、ｄｘによって制御することができる。ｄｘが大きくなるほど、知覚される奥行きが大きくなり、一方ｄｘが小さくなるほど、知覚される奥行きが小さくなる。図１０ｂにおいて、ゼロ視差を示す。左対象物９Ｌと、右対象物９Ｒとが重なり合って、表示画面９００に表示されている。この場合、観察者は、対象物ＰＯが表示画面上にあるように知覚する。この水平視差は、ｄｘ＝ｘＲ－ｘＬ＝０である。図１０ｃにおいて、負視差を示す。表示画面９００において、左対象物９Ｌが右側に表示され、右対象物９Ｒが左側に表示される。この場合、観察者は対象物ＰＯが表示画面より手前にあるように知覚する。水平視差は、ｄｘ＝ｘＲ－ｘＬ＜０である。快適な３Ｄ視のための立体画像対を生成するために、水平視差ｄｘを調整する必要がある。その理由の１つは、観察者の目には、ｄｘに限界があるからである。そのような限界は、眼間ｅ（左目ＥＬと右目ＥＲとの間の距離である）によって生じる。眼間ｅは、５０ｍｍ～７０ｍｍ（平均６５ｍｍ）の範囲である。これは、表示画面上において、左画像および右画像の間の物理的差異が、距離ｅを超えてはならないことを意味する。
　なお、立体視用画像位置合わせ装置２００は、前述した構成の全てを備えなくとも、同様の発明の効果を奏する。
　たとえば、立体視用画像位置合わせ装置２００は、ブレ領域検出部２２０を備えなくてもよい。ブレを含む画像からも、対応点の検出は可能なためである。なお、対応点検出においては、ブレの少ない画像の方が好ましいため、たとえば手振れが激しい撮影状況では、ブレ領域検出部２２０を備えた方が、対応点検出の精度向上が期待できる。
　また、立体視用画像位置合わせ装置２００は、第２行列算出部２５６を備えなくてもよい。通常、一方の画像からみて他方の画像が極端に歪むこと、及び、アスペクト比に大きな差が生じることはまれである。よって、たとえば、事前に定められた斜傾変換行列を、変換部２６０が記憶しておき、この斜傾変換行列を第３の画像に適用することで、第２行列算出部２５６を備えなくても発明の効果を奏する。なお、第２行列算出部２５６により、撮影条件に応じて斜傾変換行列を算出することで、より、自然な立体効果を画像に付与することが可能となる。なお、立体視用画像位置合わせ装置２００が第２行列算出部２５６を備えない場合、変換部２６０は、第１行列算出部２５４で算出された射影変換行列を用いて第１の画像を変換する。
　また、立体視用画像位置合わせ装置２００は、視域算出部２６２を備えなくてもよい。左右画像で共通する領域は、通常、毎回大きく異なることはないと考えられる。よって、たとえば、左眼用画像のうち右８０％分の領域と、右眼用画像の左８０％部の領域を視域と特定するなど、事前に定められたルールに従うことで、第２行列算出部２５６は、視域算出部２６２を備えなくても、画像中の処理領域を決定することができる。なお、視域算出部２６２を備えることで、より正確に視域を特定できる結果、より自然な立体効果を画像に付与することが可能となる。
　また、立体視用画像位置合わせ装置２００は、行列合成部２５８を備えなくてもよい。立体視用画像位置合わせ装置２００が第２行列算出部２５６を備えない場合、行列合成部２５８は不要である。また、立体視用画像位置合わせ装置２００が第２行列算出部２５６を備える場合であっても、変換部２６０は、記憶領域に記憶されている射影変換行列及び斜傾変換行列を順次用いて第１の画像に変換処理を施すことができるため、行列合成部２５８による合成を行わなくても、同様の発明の効果を奏する。
　なお、実施の形態１に係る画像対取得部２０５は、（Ａ）複数の画像対の候補である画像対候補を取得し、（Ｂ）複数の画像対候補の各々について、他の画像対候補の各々と共通する視域である共通視域を特定し、共通視域における光量、輝度、色、及び鮮明度のうち少なくとも１つに関する情報である品質情報を取得し、（Ｃ）品質情報によって示される画像品質が最もよい画像対候補を画像対として選択してもよい。上記（Ａ）で、複数の画像対を取得する方法としては、例えば、連続撮影モードに設定されたデジタルスチルカメラを把持し、ユーザが把持した手を水平方向に移動させることにより、容易に取得することが可能である。
　また、本発明の実施の形態１及び２に係る、立体視用画像位置合わせ装置２００の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのはいうまでもない。
　本発明は、複数の画像対から対応点を検出し、それらを一定の基準を満たすように位置合わせする立体視用画像位置合わせ装置等に適用でき、特に立体視表示装置において立体視が可能となるように画像対を位置合わせする、立体視用画像位置合わせ装置等に適用できる。
１３ＬＲ、１４ＬＲ、１１００　画像
１０２、４０２、４０６　左画像
１０４、４０４、４０８、４１０　右画像
１０６　単眼式デジタルカメラ
１０８　距離
２００　立体視用画像位置合わせ装置
２０２　記憶媒体リーダ
２０４　画像デコーダ
２０５　画像対取得部
２０８　画像位置合わせモジュール
２１０　出力部
２１２　内部バッファ
２１４　表示装置
２１６　記憶／送信装置
２１８　プリンタ
２２０　ブレ領域検出部
２５２　対応点検出部
２５４　第１行列算出部
２５６　第２行列算出部
２５８　行列合成部
２６０　変換部
２６２　視域算出部
３５０、３５２、３５４、５０４　右眼用画像
３５５　線分ａ’’ｃ’’
３５６　線分ｂ’’ｄ’’
３６２、３６４ａ、３６４ｂ、３６４ｃ　視域
３７０、３７２、３７４、３７６、３７８　点
５０２　左眼用画像
５０６、５０８　矩形
５１０　変形前画像
５１２　変形後画像
５１４　変形前視域
５１６　変形後視域
５１８、５２０、５２２、５２４　点
５２８、５３０、５３２、５３４　変形点
５２６、５４０　角
５３６　垂直差
５３８　水平差
９００　表示画面
Ｌ１３０２、Ｌ１３０４　差分線

Claims (17)

  1. 　左眼用画像と、前記左眼用画像に対応する右眼用画像とを含む画像対を取得する画像対取得部と、
    　前記画像対の一方である第１の画像に含まれる第１の点と、他方である第２の画像に含まれる点であり、前記第１の点に対応する点である第２の点との組である対応点を検出する対応点検出部と、
    　前記第１の点と前記第２の点との垂直視差が最小となり、かつエピポーラ拘束を満たすように前記第１の点を変換する射影変換行列を算出する第１行列算出部と、
    　前記射影変換行列を用いて前記第１の画像を変換する変換部と、
    　前記変換された第１の画像である第３の画像と、前記第２の画像とを出力する出力部とを備える
    　立体視用画像位置合わせ装置。
  2. 　前記画像対取得部は、２つのイメージセンサと２つのレンズ、１つのイメージセンサと２つのレンズ、または２つのイメージセンサと１つのレンズにより同時に撮影された２つの画像を前記画像対として取得する
    　請求項１に記載の立体視用画像位置合わせ装置。
  3. 　前記画像対取得部は、１つのイメージセンサと１つのレンズを用いて、異なる視点から異なる時間に撮影された２つの画像を前記画像対として取得する
    　請求項１に記載の立体視用画像位置合わせ装置。
  4. 　さらに、前記第３の画像の座標系が直交性を有し、かつ、前記第１の画像と同じアスペクト比を有するように前記第３の画像を変換する斜傾変換行列を算出する第２行列算出部と、
    　前記射影変換行列と前記斜傾変換行列とを組み合わせて合成変換行列を生成する行列合成部とを備え、
    　前記変換部は、前記合成変換行列を用いて、前記第１の画像を変換する
    　請求項１に記載の立体視用画像位置合わせ装置。
  5. 　さらに、前記第１の画像及び前記第２の画像に共通する領域である視域を算出する視域算出部を備え、
    　前記第２行列算出部は、前記第３の画像のうち前記視域に含まれる部分の座標系が、直交性を有し、かつ、前記第１の画像のうち前記視域に含まれる部分と同じアスペクト比を有するように前記斜傾変換行列を算出する
    　請求項４に記載の立体視用画像位置合わせ装置。
  6. 　前記対応点検出部は、前記画像対に含まれる前記第１の画像及び前記第２の画像の各々の中心から事前に定められた範囲内において、均一に分散された複数の小領域を選択し、当該小領域のなかから前記対応点を検出する
    　請求項１に記載の立体視用画像位置合わせ装置。
  7. 　さらに、前記画像対においてブレ領域を検出するブレ領域検出部を備え、
    　前記対応点検出部は、前記画像対のうち前記ブレ領域以外の領域から前記対応点を検出する
    　請求項１または３に記載の立体視用画像位置合わせ装置。
  8. 　前記出力部は、視聴ユーザからの入力操作、表示装置の大きさ、及び、表示装置と視聴ユーザとの距離のうち少なくとも１つを示す調整情報を取得し、前記調整情報に基づいて、前記第３の画像及び前記第２の画像の視差、３Ｄポップアップ、及びディープイン効果のうち少なくとも１つを調整して出力する
    　請求項１に記載の立体視用画像位置合わせ装置。
  9. 　前記画像対取得部は、（Ａ）複数の画像対の候補である画像対候補を取得し、（Ｂ）前記複数の画像対候補の各々について、他の画像対候補の各々と共通する前記視域である共通視域を特定し、前記共通視域における光量、輝度、色、及び鮮明度のうち少なくとも１つに関する情報である品質情報を取得し、（Ｃ）前記品質情報によって示される画像品質が最もよい前記画像対候補を前記画像対として選択する
    　請求項１に記載の立体視用画像位置合わせ装置。
  10. 　前記画像対取得部は、（１）前記左眼用画像及び右眼用画像を含む画像群が圧縮され、かつメモリカードに記憶されている場合、または、（２）前記画像群が圧縮され、かつ外部装置からネットワークを介して送信されている場合は、圧縮されている前記画像群を復号する
    　請求項１に記載の立体視用画像位置合わせ装置。
  11. 　前記対応点検出部は、回転角に対応する情報を出力するジャイロセンサからの出力に一致するように、前記射影変換行列の作成に用いる回転パラメータおよびシフトパラメータを算出する
    　請求項１に記載の立体視用画像位置合わせ装置。
  12. 　２Ｄカメラに組み込むことで３Ｄカメラになり、３Ｄ処理エンジンとして３Ｄディスプレイに組み込むことで２Ｄ画像群を３Ｄ画像または３Ｄ映像に変換し、プレーヤまたはレコーダに組み込むことで２Ｄ画像群を３Ｄ画像または３Ｄ映像に変換する
    　請求項１に記載の立体視用画像位置合わせ装置。
  13. 　左眼用画像と、前記左眼用画像に対応する右眼用画像とを含む画像対を取得し、
    　前記画像対の一方である第１の画像に含まれる第１の点と、他方である第２の画像に含まれる点であり、前記第１の点に対応する点である第２の点との組である対応点を検出し、
    　前記第１の点と、前記第２の点とが同じ垂直位置値を有し、かつエピポーラ拘束を満たすように前記第１の点を変換する射影変換行列を算出し、
    　前記射影変換行列を用いて前記第１の画像を変換し、
    　前記変換された第１の画像である第３の画像と、前記第２の画像とを出力する
    　立体視用画像位置合わせ方法。
  14. 　請求項１３に記載の立体視用画像位置合わせ方法をコンピュータに実行させる
    　プログラム。
  15. 　請求項１４に記載のプログラムを記録した
    　コンピュータ読み取り可能な記録媒体。
  16. 　左眼用画像と右眼用画像とを含む画像対を取得する画像対取得部と、
    　前記画像対に含まれる一方である第１の画像に含まれる第１の点と、他方である第２の画像に含まれる点であり、前記第１の点に対応する点である第２の点との組である対応点を検出する対応点検出部と、
    　前記第１の点と、前記第２の点とが同じ垂直位置値を有し、かつエピポーラ拘束を満たすように前記第１の点を変換する射影変換行列を算出する第１行列算出部と、
    　前記射影変換行列を用いて前記第１の画像を変換する変換部と、
    　前記変換された第１の画像である第３の画像と、前記第２の画像とを出力する出力部とを備える
    　集積回路。
  17. 　請求項３に記載の立体視用画像位置合わせ装置を備える
    　デジタルスチルカメラ。
PCT/JP2011/001455 2010-03-19 2011-03-14 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム WO2011114683A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/320,640 US8890934B2 (en) 2010-03-19 2011-03-14 Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
JP2011536681A JP5679978B2 (ja) 2010-03-19 2011-03-14 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
CN201180002079.6A CN102428707B (zh) 2010-03-19 2011-03-14 立体视用图像对位装置和立体视用图像对位方法
EP11755876.7A EP2549762B1 (en) 2010-03-19 2011-03-14 Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-065185 2010-03-19
JP2010065185 2010-03-19

Publications (1)

Publication Number Publication Date
WO2011114683A1 true WO2011114683A1 (ja) 2011-09-22

Family

ID=44648797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001455 WO2011114683A1 (ja) 2010-03-19 2011-03-14 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム

Country Status (5)

Country Link
US (1) US8890934B2 (ja)
EP (1) EP2549762B1 (ja)
JP (1) JP5679978B2 (ja)
CN (1) CN102428707B (ja)
WO (1) WO2011114683A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130127843A1 (en) * 2011-11-22 2013-05-23 Samsung Electronics Co., Ltd. Display apparatus and display method thereof
EP2761875A1 (en) * 2011-09-29 2014-08-06 Qualcomm Incorporated Methods and apparatus for conditional display of a stereoscopic image pair
JP2015502058A (ja) * 2011-11-04 2015-01-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチスペクトル撮像システム
JP2017005380A (ja) * 2015-06-05 2017-01-05 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US9961322B2 (en) 2011-12-09 2018-05-01 Lg Innotek Co., Ltd. Apparatus and method for eliminating noise in stereo image
CN110223355A (zh) * 2019-05-15 2019-09-10 大连理工大学 一种基于双重极线约束的特征标志点匹配方法
CN110969659A (zh) * 2019-10-31 2020-04-07 浙江未来技术研究院(嘉兴) 一种被动式标记点的空间定位装置和方法

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2509324A1 (en) * 2011-04-08 2012-10-10 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
US20130033713A1 (en) * 2011-08-02 2013-02-07 Samsung Electronics Co., Ltd Apparatus and method of forming image, terminal and method of print control, and computer-readable medium
US9305361B2 (en) * 2011-09-12 2016-04-05 Qualcomm Incorporated Resolving homography decomposition ambiguity based on orientation sensors
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US20140195983A1 (en) * 2012-06-30 2014-07-10 Yangzhou Du 3d graphical user interface
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US8948497B2 (en) * 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9148651B2 (en) * 2012-10-05 2015-09-29 Blackberry Limited Methods and devices for generating a stereoscopic image
CN103792667B (zh) 2012-10-30 2016-06-01 财团法人工业技术研究院 立体摄像装置、自动校正装置与校正方法
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
EP2757524B1 (en) * 2013-01-16 2018-12-19 Honda Research Institute Europe GmbH Depth sensing method and system for autonomous vehicles
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
CN105339756B (zh) * 2013-04-08 2019-08-06 C3D增强实感解决方案有限公司 使用多个相机设备的距离评估
JP2014207519A (ja) * 2013-04-11 2014-10-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
CN104113684B (zh) * 2013-04-15 2017-09-22 宏达国际电子股份有限公司 控制方法及电子装置
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
CN104811688B (zh) * 2014-01-28 2017-09-01 聚晶半导体股份有限公司 图像获取装置及其图像形变检测方法
TWI520098B (zh) 2014-01-28 2016-02-01 聚晶半導體股份有限公司 影像擷取裝置及其影像形變偵測方法
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9613408B2 (en) * 2014-09-25 2017-04-04 Intel Corporation High dynamic range image composition using multiple images
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
KR101932547B1 (ko) * 2014-10-23 2018-12-27 한화테크윈 주식회사 카메라 시스템 및 이의 영상 정합 방법
HUP1400600A2 (hu) * 2014-12-17 2016-06-28 Pi Holding Zrt Eljárás képszegmens tartalmának lecserélésére
US10931933B2 (en) * 2014-12-30 2021-02-23 Eys3D Microelectronics, Co. Calibration guidance system and operation method of a calibration guidance system
EP3278709B1 (en) * 2015-03-31 2020-01-08 Sony Corporation Medical observation device, information processing method, program and video microscope device
US10275863B2 (en) * 2015-04-03 2019-04-30 Cognex Corporation Homography rectification
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP6628866B2 (ja) * 2015-09-08 2020-01-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 三次元表示を実現する方法、及びシステム
US10097747B2 (en) * 2015-10-21 2018-10-09 Qualcomm Incorporated Multiple camera autofocus synchronization
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
CN109070803B (zh) * 2016-04-14 2021-10-08 金泰克斯公司 提供深度信息的车辆显示系统
US10796425B1 (en) * 2016-09-06 2020-10-06 Amazon Technologies, Inc. Imagery-based member deformation gauge
KR102529928B1 (ko) * 2016-09-22 2023-05-09 삼성전자주식회사 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치
US10284761B2 (en) 2016-11-17 2019-05-07 Motorola Mobility Llc Multi-camera capture of a high dynamic range image
CN107046638A (zh) * 2016-12-30 2017-08-15 无锡易维视显示技术有限公司 单摄像头的3d影像拍摄方法
US10250794B2 (en) 2017-01-04 2019-04-02 Motorola Mobility Llc Capturing an image using multi-camera automatic focus
US10169671B2 (en) 2017-02-17 2019-01-01 Motorola Mobility Llc Face detection with temperature and distance validation
US10250795B2 (en) 2017-03-15 2019-04-02 Motorola Mobility Llc Identifying a focus point in a scene utilizing a plurality of cameras
CN107147898B (zh) * 2017-05-10 2019-02-05 宁波视睿迪光电有限公司 一种3d显示屏对位系统和方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
WO2020097128A1 (en) 2018-11-06 2020-05-14 Flir Commercial Systems, Inc. Automatic co-registration of thermal and visible image pairs
US11650596B2 (en) * 2019-05-31 2023-05-16 Cascade Corporation Load alignment aid
CN110533711A (zh) * 2019-09-04 2019-12-03 云南电网有限责任公司带电作业分公司 一种基于加速稳健特征的高效大尺度立体匹配算法
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
US11375180B2 (en) * 2019-12-10 2022-06-28 Yousseff El Moumni Video engine for generating an enhanced impression of depth based upon two-dimensioned video content
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191809B1 (en) 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
JP2002324234A (ja) * 2001-02-23 2002-11-08 Sharp Corp 立体画像を偏歪修正する方法および装置
US6606404B1 (en) 1999-06-19 2003-08-12 Microsoft Corporation System and method for computing rectifying homographies for stereo vision processing of three dimensional objects
JP2003244500A (ja) 2002-02-13 2003-08-29 Pentax Corp ステレオ画像撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7343035B1 (en) * 2003-10-20 2008-03-11 Open Invention Network Llc Method and system for three-dimensional feature attribution through synergy of rational polynomial coefficients and projective geometry
DE102006050379A1 (de) * 2006-10-25 2008-05-08 Norbert Prof. Dr. Link Verfahren und Vorrichtung zur Überwachung eines Raumvolumens sowie Kalibrierverfahren
US8135238B2 (en) * 2008-06-05 2012-03-13 Kia Sha Managment Liability Company Free view generation in ray-space
CN102576154A (zh) * 2009-10-30 2012-07-11 惠普发展公司，有限责任合伙企业 立体显示系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191809B1 (en) 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
JP2001517414A (ja) * 1998-01-15 2001-10-02 ビスタ・メディカル・テクノロジーズ・インコーポレーテッド 立体像を位置合わせする方法および装置
US6606404B1 (en) 1999-06-19 2003-08-12 Microsoft Corporation System and method for computing rectifying homographies for stereo vision processing of three dimensional objects
JP2002324234A (ja) * 2001-02-23 2002-11-08 Sharp Corp 立体画像を偏歪修正する方法および装置
US7113632B2 (en) 2001-02-23 2006-09-26 Sharp Kabushiki Kaisha Method of and apparatus for rectifying a stereoscopic image
JP2003244500A (ja) 2002-02-13 2003-08-29 Pentax Corp ステレオ画像撮像装置

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
D. LOWE: "Object recognition from local scale-invariant features", INTERNATIONAL CONFERENCE ON COMPUTER VISION, 1999
D.LOWE: "Object recognition from local scale-invariant features", INTERNATIONAL CONFERENCE ON COMPUTER VISION, 1999
H. BAY ET AL.: "SURF: Speeded up robust features", EUROPEAN CONFERENCE ON COMPUTER VISION, 2006
H.BAY ET AL.: "SURF: Speeded up robust features", EUROPEAN CONFERENCE ON COMPUTER VISION, 2006
R. HARTLEY, A. ZISSERMAN: "Multiple View Geometry in Computer Vision", 2000, CAMBRIDGE UNIVERSITY PRESS
R.HARTLEY, A.ZISSERMAN: "Multiple View Geometry in Computer Vision", 2000, CAMBRIDGE UNIVERSITY PRESS
See also references of EP2549762A4
X. ARMANGUE, J. SALVI: "Overall view regarding fundamental matrix estimation", IMAGE AND VISION COMPUTING, vol. 21, 2003, pages 205 - 220, XP055284449, DOI: doi:10.1016/S0262-8856(02)00154-3
X.ARMANGUE, J. SALVI: "Overall view regarding fundamental matrix estimation", IMAGE AND VISION COMPUTING, vol. 21, 2003, pages 205 - 220, XP055284449, DOI: doi:10.1016/S0262-8856(02)00154-3
Z. ZHANG: "Determining the epipolar geometry and its uncertainty: a review", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 27, 1998, pages 161 - 198
Z.ZHANG: "Determining the epipolar geometry and its uncertainty: a review", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 27, 1998, pages 161 - 198

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2761875A1 (en) * 2011-09-29 2014-08-06 Qualcomm Incorporated Methods and apparatus for conditional display of a stereoscopic image pair
JP2015502058A (ja) * 2011-11-04 2015-01-19 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチスペクトル撮像システム
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
US20130127843A1 (en) * 2011-11-22 2013-05-23 Samsung Electronics Co., Ltd. Display apparatus and display method thereof
US9547933B2 (en) * 2011-11-22 2017-01-17 Samsung Electronics Co., Ltd Display apparatus and display method thereof
US9961322B2 (en) 2011-12-09 2018-05-01 Lg Innotek Co., Ltd. Apparatus and method for eliminating noise in stereo image
KR101862404B1 (ko) * 2011-12-09 2018-05-29 엘지이노텍 주식회사 스테레오 영상의 노이즈 제거장치 및 방법
JP2017005380A (ja) * 2015-06-05 2017-01-05 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN110223355A (zh) * 2019-05-15 2019-09-10 大连理工大学 一种基于双重极线约束的特征标志点匹配方法
CN110969659A (zh) * 2019-10-31 2020-04-07 浙江未来技术研究院(嘉兴) 一种被动式标记点的空间定位装置和方法
CN110969659B (zh) * 2019-10-31 2024-03-15 浙江清华长三角研究院 一种被动式标记点的空间定位装置和方法

Also Published As

Publication number Publication date
JP5679978B2 (ja) 2015-03-04
EP2549762A1 (en) 2013-01-23
EP2549762B1 (en) 2017-05-03
CN102428707A (zh) 2012-04-25
US8890934B2 (en) 2014-11-18
JPWO2011114683A1 (ja) 2013-06-27
EP2549762A4 (en) 2014-06-25
US20120147139A1 (en) 2012-06-14
CN102428707B (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
JP5679978B2 (ja) 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
US8908011B2 (en) Three-dimensional video creating device and three-dimensional video creating method
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US8274552B2 (en) Primary and auxiliary image capture devices for image processing and related methods
US8760502B2 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
US20110063421A1 (en) Stereoscopic image display apparatus
JP5814692B2 (ja) 撮像装置及びその制御方法、プログラム
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
JP5420075B2 (ja) 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置
US20130027520A1 (en) 3d image recording device and 3d image signal processing device
JP5840022B2 (ja) 立体画像処理装置、立体画像撮像装置、立体画像表示装置
US20130050427A1 (en) Method and apparatus for capturing three-dimensional image and apparatus for displaying three-dimensional image
JP5453552B2 (ja) 撮影装置、方法及びプログラム
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
JP5689693B2 (ja) 描画処理装置
JP2006184434A (ja) 立体視画像撮影装置および方法
JP2012220603A (ja) ３ｄ映像信号撮影装置
JP2015029215A (ja) 立体画像処理装置
JP2005072674A (ja) 三次元画像生成装置および三次元画像生成システム
JP6022212B2 (ja) 空間情報算出システム
JP2012147370A (ja) 撮像装置
JP2013223133A (ja) 誘導装置、誘導方法、及び誘導プログラム
CA2982015A1 (en) Method and apparatus for depth enhanced imaging
WO2013001839A1 (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180002079.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011536681

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11755876

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2011755876

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011755876

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13320640

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE