WO2014064783A1 - 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 Download PDF

Info

Publication number
WO2014064783A1
WO2014064783A1 PCT/JP2012/077491 JP2012077491W WO2014064783A1 WO 2014064783 A1 WO2014064783 A1 WO 2014064783A1 JP 2012077491 W JP2012077491 W JP 2012077491W WO 2014064783 A1 WO2014064783 A1 WO 2014064783A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
input
unit
reference image
target image
Prior art date
Application number
PCT/JP2012/077491
Other languages
English (en)
French (fr)
Inventor
省吾 澤井
平賀　督基
健 三浦
Original Assignee
株式会社モルフォ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社モルフォ filed Critical 株式会社モルフォ
Priority to US14/233,294 priority Critical patent/US10136054B2/en
Priority to KR1020167036356A priority patent/KR101819851B1/ko
Priority to CN201280072705.3A priority patent/CN104272344B/zh
Priority to PCT/JP2012/077491 priority patent/WO2014064783A1/ja
Priority to CN201710531324.1A priority patent/CN107256532B/zh
Priority to JP2013513456A priority patent/JP5493114B1/ja
Priority to KR1020157011097A priority patent/KR101692652B1/ko
Publication of WO2014064783A1 publication Critical patent/WO2014064783A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, an image processing program, and a recording medium.
  • Patent Literature 1 an apparatus that creates a panoramic still image that is a single wide-angle still image by connecting captured images is known (see, for example, Patent Document 1).
  • the image processing apparatus described in Patent Literature 1 combines a plurality of images obtained by imaging different directions from the same point. Specifically, both images are synthesized after unifying the coordinate systems of the two images using a transformation matrix. This transformation matrix is calculated by the least square method.
  • the components of the conversion matrix are not particularly limited, for example, a conversion matrix that minimizes the position error between two images after conversion using the least square method is used. As a result, a matrix that changes the size of the image in the reduction direction tends to be a solution.
  • the image processing apparatus described in Patent Document 1 when inputting target images picked up in different orientations sequentially and generating a panoramic image by sequentially synthesizing the input reference image and the target image, The reduced target images are reduced and combined, and the transformation matrix of the next target image is estimated based on the reduced target images. For this reason, errors are accumulated at the time of synthesis, and as a result, a high-quality panoramic image may not be obtained.
  • an image processing apparatus is an image processing apparatus that sequentially inputs images picked up by an image pickup device and generates a composite image by joining the images each time they are input.
  • the apparatus includes an input unit, a selection unit, a matching unit, an estimation unit, and a synthesis unit.
  • the input unit sequentially inputs images.
  • the selection unit selects a reference image from input images including one or a plurality of images input by the input unit before the target image that is a processing target image newly input by the input unit.
  • the matching unit calculates a correspondence relationship between the feature points of the reference image and the feature points of the target image.
  • the estimation unit assumes that the movement between the reference image and the target image is only the rotational movement of the image sensor, and uses the positional information of the feature point pair whose correspondence is calculated by the matching unit, A conversion formula that matches the coordinate system of the target image is estimated.
  • the synthesizing unit generates a synthesized image by connecting the reference image and the target image based on the conversion formula.
  • a conversion formula that correlates the coordinate systems of both images is estimated on the assumption that the movement between the reference image and the target image is caused only by the rotational movement of the image sensor. For this reason, the conversion formula does not include parameters such as enlargement, reduction, and parallel movement, so that it is possible to avoid the occurrence of an error due to reduction of the input target image. Furthermore, by limiting to only the rotation component, it is possible to avoid the target image that has been reduced or the like as a reference image for the next time or later, and therefore it is possible to avoid accumulation of errors. Therefore, even when the input images are sequentially stitched together, even if images with different imaging orientations are included, accumulation of errors can be suppressed and a high-quality panoramic image can be obtained.
  • the estimation unit may estimate a conversion formula consisting only of rotational components of each axis of a three-dimensional coordinate system with the position of the image sensor as the origin.
  • the estimation unit prepares an objective function including a difference in position information of each pair of feature points converted using the conversion formula, and uses the optimization method so that the objective function becomes the minimum value.
  • the conversion formula may be estimated by performing a convergence calculation.
  • the estimation unit uses an image input by the input unit immediately before the target image as an initial value of the convergence calculation.
  • a conversion formula may be adopted.
  • the estimation unit projects the feature point pair whose correspondence has been calculated by the matching unit onto a spherical surface, and uses the positional information of the projected feature point pair and the reference image coordinate system and the target image. You may estimate the conversion formula which makes a coordinate system correspond. By configuring in this way, the coordinates after using the conversion formula can be made into a form that does not include variable division, so that the calculation cost can be suppressed and the calculation speed can be improved.
  • the estimation unit includes a plurality of images input by the input unit before the target image, and at least one of the images input by the input unit before the target image is a reference image.
  • the reference image, the image overlapped with the reference image, and a pair of feature points of the target image are used to correspond the coordinate system of the reference image with the coordinate system of the image overlapped with the reference image.
  • An equation and a conversion equation that associates the coordinate system of the reference image with the coordinate system of the target image may be estimated in association with each other. With this configuration, the positional relationship between these images can be estimated in consideration of not only the positional relationship between the reference image and the target image but also the positional relationship between the reference image and other images. The accuracy of the conversion formula can be improved.
  • the selection unit selects a target image that is a target image that is newly input from the next time by the input unit. It may be selected as a reference image. By selecting in this way, a reference image having a large overlapping area with the target image can be selected.
  • the selection unit when the distance between the target image and the past reference image is smaller than the distance between the target image and the reference image, the selection unit newly inputs the past reference image after the next time. You may select as a reference
  • the matching unit further calculates a correspondence relationship between the feature point of the past reference image and the feature point of the target image when the distance between the target image and the past reference image is a predetermined value or less
  • the estimation unit further estimates a conversion formula that associates the coordinate system of the past reference image with the coordinate system of the target image using the position information of the feature point pairs of the past reference image and the target image
  • the reference image and the past reference image are made to correspond to each other by using a conversion formula that associates the coordinate system of the target image with the coordinate system of the target image, and a conversion formula that matches the coordinate system of the past reference image and the coordinate system of the target image. May be.
  • the image processing apparatus further includes a guide unit that is connected to a display unit that displays an image and displays a guide display that guides a user's camera operation on the display unit.
  • the image is linked and the relative position is recorded as a determined pair
  • the combining unit outputs the combined image to the display unit
  • the guide unit is connected to the current reference image of the pair whose relative position has been determined.
  • a guidance display for guiding the imaging position from the current imaging position to the image position of the first image is displayed on the display unit. You may let them.
  • An image processing method is an image processing method for sequentially inputting images picked up by an image sensor and connecting them each time they are input to generate a composite image.
  • the method includes an input step, a selection step, a matching step, an estimation step, and a synthesis step.
  • images are sequentially input.
  • a selection step a reference image is selected from input images including one or a plurality of images input in the input step before the target image that is a processing target image newly input in the input step.
  • the matching step a correspondence relationship between the feature points of the reference image and the feature points of the target image is calculated.
  • the estimation step it is assumed that the movement between the reference image and the target image is only the rotational movement of the image sensor, and the coordinate system of the reference image is calculated using the position information of the feature point pair whose correspondence is calculated by the matching step.
  • a conversion formula that matches the coordinate system of the target image is estimated.
  • the synthesis step the reference image and the target image are connected based on the conversion formula to generate a synthesized image.
  • An image processing program is an image processing program for causing a computer to function so as to sequentially input images picked up by an image sensor and connect them each time it is input to generate a composite image.
  • the program causes the computer to function as an input unit, a selection unit, a matching unit, an estimation unit, and a synthesis unit.
  • the input unit sequentially inputs images.
  • the selection unit selects a reference image from input images including one or a plurality of images input by the input unit before the target image that is a processing target image newly input by the input unit.
  • the matching unit calculates a correspondence relationship between the feature points of the reference image and the feature points of the target image.
  • the estimation unit assumes that the movement between the reference image and the target image is only the rotational movement of the image sensor, and uses the positional information of the feature point pair whose correspondence is calculated by the matching unit, A conversion formula that matches the coordinate system of the target image is estimated.
  • the synthesizing unit generates a synthesized image by connecting the reference image and the target image based on the conversion formula.
  • a recording medium is a computer-readable recording of an image processing program that causes a computer to sequentially input images picked up by an image pickup device and connect them each time it is input to generate a composite image. It is a possible recording medium.
  • the program causes the computer to function as an input unit, a selection unit, a matching unit, an estimation unit, and a synthesis unit.
  • the input unit sequentially inputs images.
  • the selection unit selects a reference image from input images including one or a plurality of images input by the input unit before the target image that is a processing target image newly input by the input unit.
  • the matching unit calculates a correspondence relationship between the feature points of the reference image and the feature points of the target image.
  • the estimation unit assumes that the movement between the reference image and the target image is only the rotational movement of the image sensor, and uses the positional information of the feature point pair whose correspondence is calculated by the matching unit, A conversion formula that matches the coordinate system of the target image is estimated.
  • the combining unit combines the input image and the target image based on the conversion formula to generate a combined image.
  • an image processing apparatus when images that have been input are sequentially stitched together, even if images with different imaging orientations are included, error accumulation is suppressed, and a high-quality panorama is achieved.
  • the image processing apparatus is an apparatus that sequentially creates a single image by joining input images every time it is input. For example, a plurality of continuously captured images are joined in real time. This is suitably employed when generating a panoramic image having a wider angle than the captured image.
  • the image processing apparatus according to the present embodiment is preferably mounted on a mobile terminal with limited resources such as a mobile phone, a digital camera, and a PDA (Personal Digital Assistant), but is not limited thereto. For example, it may be mounted on a normal computer system.
  • a mobile terminal having a camera function will be described as an example of the image processing apparatus according to the present invention in consideration of ease of understanding.
  • FIG. 1 is a functional block diagram of a mobile terminal 2 including an image processing apparatus 1 according to the present embodiment.
  • a mobile terminal 2 shown in FIG. 1 is a mobile terminal carried by a user, for example, and has a hardware configuration shown in FIG.
  • FIG. 2 is a hardware configuration diagram of the mobile terminal 2.
  • the portable terminal 2 physically includes a main storage device such as a CPU (Central Processing Unit) 100, a ROM (Read Only Memory) 101, and a RAM (Random Access Memory) 102, a camera, a keyboard, and the like.
  • the input device 103, the output device 104 such as a display, the auxiliary storage device 105 such as a hard disk, and the like are configured as a normal computer system.
  • Each function of the portable terminal 2 and the image processing apparatus 1 to be described later causes the input device 103 and the output device 104 to be controlled under the control of the CPU 100 by reading predetermined computer software on hardware such as the CPU 100, the ROM 101, and the RAM 102. This is realized by operating and reading and writing data in the main storage device and the auxiliary storage device 105.
  • the image processing apparatus 1 normally includes a CPU 100, a main storage device such as the ROM 101 and the RAM 102, an input device 103, an output device 104, an auxiliary storage device 105, and the like. It may be configured as a computer system.
  • the mobile terminal 2 may include a communication module or the like.
  • the portable terminal 2 includes a camera 20, an image processing device 1, and a display unit 21.
  • the camera 20 has a function of capturing an image.
  • an image sensor or the like is used as the camera 20.
  • the camera 20 has a continuous imaging function that repeatedly captures images at a predetermined interval from a timing specified by a user operation or the like, for example.
  • the user can take a continuous image that overlaps at least in the vertical and horizontal directions by sliding the camera 20 or rotating the camera 20 around a predetermined position.
  • the camera 20 has a function of outputting a captured image to the image processing apparatus 1 every time it is captured.
  • the display unit 21 is a display device that can display a composite image and the like.
  • the image processing apparatus 1 has a function of sequentially joining captured images to generate a wide-angle panoramic composite image.
  • the viewing angle of a normal camera is about 50 to 65 degrees (diagonal angle of view).
  • the image processing apparatus 1 has a function described later so that images with an angle of view of 65 degrees or more can be joined by joining input images.
  • Generate For example, as shown in FIG. 3, when the imaging direction of the camera 20 changes as indicated by the arrow K, the sequentially input images are connected and the combined images are sequentially drawn on the combining plane Sp. For example, if the image input this time is Ic, the image Ic is combined with the previous combined image It to generate a single combined image.
  • the image processing apparatus 1 does not simply connect the target image Ic, which is the processing target to be combined, to the composite image It, but also connects it after performing deformation processing.
  • the image processing apparatus 1 (A) enlarges / reduces the target image Ic, (B) a parallelogram (horizontal direction), (C) a parallelogram (vertical direction), and (D). Rotation, (E) Parallel movement (horizontal direction), (F) Parallel movement (vertical direction), (G) Trapezoid (horizontal direction), (H) Trapezoid (vertical direction).
  • the target image Ic that has undergone these deformation processes or a combination of the deformation processes is drawn on the composite plane Sp.
  • the image processing apparatus 1 includes an input unit 10, a selection unit 11, a matching unit 12, an estimation unit 13, a synthesis unit 14, and a guide unit 15.
  • the input unit 10 has a function of inputting an image captured by the camera 20.
  • the input unit 10 has a function of inputting, for example, an image captured by the camera 20 every time it is captured. Further, the input unit 10 has a function of saving the first input image in a first temporary storage area (output image buffer) provided in the mobile terminal 2. Further, the input unit 10 has a function of saving images input continuously from the next time in a second temporary storage area (input image buffer) provided in the mobile terminal.
  • a second temporary storage area input image is stored in the second temporary storage area.
  • positioning of the image is performed and whether or not the image is a drawing target is determined.
  • the output image stored in the first temporary storage area is updated by synthesis and overwritten.
  • the image stored in the first temporary storage area is described as a composite image It, and the image stored in the second temporary storage area is described as a target image Ic (input image).
  • the selection unit 11 has a function of selecting a reference image for alignment.
  • the reference image is an image serving as a reference for alignment of the target image Ic.
  • the selection unit 11 is configured to be able to refer to a memory 18 that stores information related to an input image.
  • the input image is an image input by the input unit 10 before the target image Ic, and may be one or a plurality of images. That is, if the n-th target image Ic is Ic (n ⁇ 1), the input images are Ic (n ⁇ 2), Ic (n ⁇ 3),... Ic0. When there is one input image, the selection unit 11 selects the image Ic1 as the reference image Ir0 of the target image Ic2.
  • the predetermined condition is when the distance between the reference image and the target image Ic (n) is a predetermined value or more.
  • the selection unit 11 selects the target image Ic (n) as the reference image Ir (k) of the next new target image Ic (n + 1), and stores information on the target image Ic (n) in the memory 18. save.
  • the information related to the target image Ic (n) may be, for example, only the pixel values and position information of feature points derived by the matching unit 12 described later. As described above, by limiting the information to be recorded in the memory 18, it is possible to reduce the used memory capacity as compared with the case of storing the reference image Ir itself.
  • the selection unit 11 When the target image Ic (n + 1) is input, the selection unit 11 refers to the memory 18 and selects the target image Ic (n) as the reference image Ir (k). As described above, the selection unit 11 selects one reference image Ir for each target image Ic. In one embodiment, the selection unit 11 may also select a temporary reference image for the target image Ic (n) when a predetermined condition is satisfied.
  • the temporary reference image is an image selected from input images and is a temporary reference image. Details of the selection process of the temporary reference image will be described later.
  • the selection unit 11 outputs image information related to the reference image Ir (information including at least pixel information and position information of feature points) to the matching unit 12.
  • the matching unit 12 acquires the correspondence relationship between the reference image Ir and the target image Ic.
  • the matching unit 12 acquires information on the feature points of the reference image Ir and the feature points of the target image Ic.
  • the matching unit 12 acquires the correspondence between the reference image Ir and the target image Ic based on the pixel value of the feature point.
  • a matching method a conventional method such as a block matching method can be used.
  • the matching unit 12 may perform matching after making the reference image Ir and the target image Ic multi-resolution.
  • the matching unit 12 changes the resolution of the reference image Ir and the target image Ic in stages, and generates a plurality of images having different resolutions.
  • the matching part 12 may acquire the amount of parallel movement of a feature point between images with the smallest resolution, and may perform the matching of the feature point in pixels between images with a higher resolution. In this case, the processing speed can be increased and the calculation cost can be reduced.
  • the matching unit 12 acquires the position information (coordinate information) of the feature point pair for which the correspondence relationship between the reference image Ir and the target image Ic is calculated. That is, the matching unit 12 acquires a pair of position information of a feature point of the reference image Ir and position information of a feature point of the target image Ic corresponding to the feature point. The matching unit 12 acquires a plurality of pairs of feature points for alignment processing described later. The matching unit 12 outputs the acquired feature point pair to the estimation unit 13. As described above, when the selection unit 11 adds the target image Ic as the reference image Ir for the next and subsequent times, the matching unit 12 sends the pixel values and position information of the feature points of the target image Ic to the selection unit 11. Output.
  • the estimation unit 13 has a function of aligning the reference image Ir and the target image Ic based on the correspondence relationship between the reference image Ir and the target image Ic.
  • FIG. 5 is a schematic diagram for explaining an outline of alignment between the reference image and the target image Ic. For example, as shown in FIG. 5A, when only the first image is input, the image is selected as the reference image Ir0. When the second image (target image Ic) is input, the estimation unit 13 aligns the target image Ic with the position of the reference image Ir0 as a reference. In the alignment, for example, as shown in FIG.
  • a relative position between a predetermined point (here, center C0) of the reference image Ir0 and a predetermined point (here, center C1) of the target image Ic is determined. That is.
  • the estimation unit 13 searches for a position where the feature point pairs acquired by the matching unit 12 overlap each other most. Then, as shown in FIG. 5C, when the estimation unit 13 completes the alignment of the reference image Ir0 and the target image Ic, the fact that the positional relationship is linked to each other (link Re1) is recorded. To do.
  • the selection unit 11 sets the target image Ic to the next and subsequent times. Since it is necessary to add as the reference image Ir1, the matching unit 12 outputs the pixel value and position information of the feature point of the target image Ic to the selection unit 11.
  • FIG. 6 is a schematic diagram for explaining an imaging surface by the rotation of the camera 20.
  • the imaging surface of the camera 20 before rotation is S0 and the imaging surface of the rotated camera 20 is S1
  • the imaging surface S0 and the imaging surface S1 do not exist in the same plane. Therefore, the position at which the feature point pairs are overlapped by translation is different from the original overlap position. That is, when positioning is performed, the position of the feature point of the reference image Ir and the position of the feature point of the target image Ic are aligned on the same three-dimensional coordinate system in consideration of the movement of the camera. It is necessary to match.
  • the estimation unit 13 estimates a conversion formula that matches the three-dimensional coordinate system of the reference image Ir0 with the three-dimensional coordinate system of the target image Ic. As shown in FIG. 7, the coordinates of the feature points of the reference image Ir0 are (x 0 , y 0 , 1), and the coordinates of the feature points of the target image Ic corresponding to the feature points are (x 1 , y 1 , 1). Then, the estimation unit 13 estimates a conversion formula in which (x 0 , y 0 , 1) matches (x 1 , y 1 , 1).
  • the degree of freedom of the camera is 1 degree of freedom for the focal length, 3 degrees of freedom for camera movement (parallel movement in the xy direction, enlargement / reduction by movement in the z direction), and rotation of the camera (x direction, y direction).
  • the distortion of the image (trapezoid) and the rotation of the image in the z-axis are 3 degrees of freedom and 7 degrees of freedom, and considering the rolling shutter distortion (focal plane distortion) to be 8 degrees of freedom, It is expressed by the following formula 1.
  • the parameters a 1 to h 1 of the conversion matrix (conversion formula) are parameters related to the above-described eight degrees of freedom.
  • the estimation unit 13 obtains a parameter of a transformation matrix that allows a plurality of feature point pairs to satisfy the above relationship by convergence calculation using an optimization method. Specifically, the difference between the position (x 0 , y 0 , 1) of the feature point of the reference image Ir and the position after converting the position (x 1 , y 1 , 1) of the feature point of the target image Ic. Convergence calculation is performed so that the objective function including is the minimum value.
  • the optimization method a known method such as Newton method or Gauss Newton method is adopted.
  • the estimation unit 13 limits the movement of the camera 20 to three degrees of freedom, and position information of feature point pairs.
  • the position of the feature point (x 0 , y 0 , 1) of the reference image Ir and the position of the feature point (x 1 , y 1 , 1) of the target image Ic are expressed by the following formula 2 using the transformation matrix R: It can be made to correspond as follows.
  • (c x , c y ) is the respective center coordinates when the reference image Ir and the target image Ic have the same image size.
  • F is a focal length.
  • the focal length F may be a value obtained from the specification information of the camera 20.
  • the estimation unit 13 projects the two-dimensional coordinates of the feature points on the spherical surface of the three-dimensional space Sp when the transformation matrix is estimated by performing the convergence calculation on Equation 2, and the correspondence relationship of the projected coordinates is expressed.
  • FIG. 8 is a schematic diagram illustrating details of the alignment between the reference image Ir and the target image Ic. As shown in FIGS. 8A and 8B, the estimation unit 13 determines the position (x 0 , y 0 , 1) of the feature point of the reference image Ir in the two-dimensional coordinate system and the target image in the two-dimensional coordinate system. The position (x 1 , y 1 , 1) of Ic is perspectively projected onto the spherical surface of the three-dimensional space Sp.
  • the coordinates after projection are (X n , Y n , Z n )
  • the coordinates (x 1 , y 1 , F) Is projected and projected for example, according to Equation 3 below.
  • the coordinate points after conversion by the conversion matrix R can be expressed as follows.
  • the objective function of the convergence calculation includes the following difference r. Note that the conversion of Expression 3 can be omitted when it is assumed that the target image Ic is close to the reference image Ir. In this case, since the difference r does not include division, it is not necessary to consider the carry-over due to division.
  • the calculation can be facilitated. Therefore, when calculating by projecting onto a spherical surface in a three-dimensional space, the calculation cost can be reduced.
  • the estimation unit 13 estimates the transformation matrix R by the above processing, and aligns the reference image Ir and the target image Ic.
  • the estimation unit 13 sequentially aligns the reference image Ir selected by the selection unit 11 and the input target image Ic to generate a link ((C) in FIG. 8).
  • FIG. 9 shows a link in which positioning is performed between eight input images. As shown in FIG. 9, the centers C0 to C7 of the eight input images are linked (links Re1 to Re7).
  • the estimation unit 13 estimates the transformation matrix R by projecting onto a spherical surface, and aligns the reference image and the target image. Therefore, when performing coordinate transformation between the two-dimensional plane and the spherical surface, for example, 8 shown in FIG. A degree of freedom of image deformation is considered. In other words, the estimating unit 13 can perform image deformation shown in FIG. 4 when the combining unit 14 described later projects from a spherical surface to a plane by positioning on the spherical surface.
  • FIG. 10 is a schematic diagram illustrating the reference image Ir and the temporary reference image Itr.
  • FIG. 10A when an image is input, the image becomes a reference image Ir for the next and subsequent times.
  • a target image Ic separated from the reference image Ir by a predetermined value or more is input as shown in FIG.
  • the target image Ic is set as a temporary reference image Itr that is a temporary reference image after the next time.
  • the temporary reference image Itr is a temporary reference image that is not saved as a history.
  • a target image Ic separated from the temporary reference image Itr is input as shown in (D) of FIG. 10, and the target image Ic separated from the temporary reference image Itr by a predetermined value or more as shown in (E) of FIG. Is entered.
  • the temporary reference image Itr thus far is discarded, and the target image Ic is set as a temporary reference image Itr that is a temporary reference image from the next time onward.
  • (H) of FIG. 10 it is assumed that the target image Ic separated from the reference image Ir as well as the temporary reference image Itr by a predetermined value or more is input.
  • the temporary reference image Itr up to this time is discarded, and the target image Ic is set as a reference image Ir for the next time and thereafter.
  • the reference image up to this time that is, the first reference image is Ir0, and the next and subsequent reference images are Ir1.
  • Information about the feature points of the reference images Ir0 and Ir1 is stored for alignment.
  • the target image Ic separated from the reference image Ir1 by a certain value or more is input.
  • the target image Ic is set as a temporary reference image Itr that is a temporary reference image after the next time, as shown in FIG.
  • the target image Ic closer to the reference image Ir0 than the temporary reference image Itr is input as shown in (L) of FIG.
  • the temporary reference image Itr up to this time is discarded, and the next and subsequent reference images are set as the reference image Ir0.
  • the target image can be aligned based on the past reference image even when the camera 20 returns to the original position.
  • the temporary reference image Itr and the reference image Ir it is possible to minimize the data that needs to be recorded.
  • the estimation part 13 may estimate the motion between several images simultaneously, when several images have overlapped. For example, as shown in FIG. 11, it is assumed that there is an image (past target image Ip1) that overlaps the reference image Ir and the target image Ic. Reference image Ir and past state of being positioned in the target image Ip1, i.e., the conversion matrix R 1 have already been derived. Then, the coordinates of the feature points of the reference image Ir are (x 0 , y 0 , 1), the coordinates of the feature points of the past target image Ip1 are (x 1 , y 1 , 1), and the coordinates of the feature points of the target image Ic. Is (x 2 , y 2 , 1).
  • Expression 7 associates conversion expression R 1 and conversion expression R 2 .
  • the estimation unit 13 simultaneously estimates R 1 and R 2 that can satisfy the above formulas 5 to 7 by convergence calculation using an optimization method. In this case, it is possible to avoid wasting information on the feature point pairs of the reference image Ir and the past target image Ip1. Further, by simultaneously estimating between a plurality of images, it is possible to suppress accumulation of errors compared to a case where links are connected in series.
  • the estimation unit 13 when the target image Ic is close to the past reference image Ir, the estimation unit 13 performs alignment not only with the current reference image Ir but also with the past reference image Ir. For example, as shown in FIG. 13A, the target image Ic13 whose image center is C13 has a link Re13 and a reference image Ir12 whose image center is C12, and the relative position is determined.
  • the estimation unit 13 aligns the reference image Ir1 and the target image Ic13 when the target image Ic13 is close to the past reference image Ir1 at the image center C1. Do. Thereby, the link Re14 is extended between the reference image Ir1 and the target image Ic13.
  • the reference image Ir1 and the reference image Ir12 can be aligned using the target image Ic13. As described above, by achieving the alignment between the reference images Ir using the target image Ic, it is possible to position the reference images Ir that originally have little overlap.
  • the estimation unit 13 may have a function of adjusting the overall position.
  • the adjustment of the overall position is to adjust the overall positional relationship of the drawing target image (the image written in the output image buffer). For example, the entire drawing target image is updated at a timing when a new link is established between the reference images Ir or when a plurality of past transformation matrices are updated by executing simultaneous estimation of movements of a plurality of images.
  • the position is finely adjusted. That is, the conversion matrix R of all drawing target images is recalculated.
  • the overall position does not use the feature points output by the matching unit 12, but randomly extracts corresponding points between images based on the result of the alignment or extracts from a predetermined position.
  • the entire alignment is performed based on the position information. In this case, since it is not necessary to hold a pair of past feature points, the memory usage can be reduced.
  • the guide unit 15 has a function of guiding user operations.
  • the guide unit 15 is connected to a display unit 21 that displays an image, and causes the display unit 21 to display a guide display that guides the user's camera operation.
  • the guide unit 15 has a first hop count that is greater than or equal to a predetermined value and does not overlap with the current reference image Ir in the pair of the reference image Ir and the target image Ic whose relative positions have been determined. If an image exists, a guidance display for guiding the imaging position from the current imaging position to the image position of the first image is displayed on the display unit. For example, as illustrated in FIG.
  • the guide unit 15 determines the number of hops (the number of links Re) between the image at the image center C0 (first image) and the current reference image at the image center C8. Count. Then, the guide unit 15 calculates the distance between the image at the image center C0 and the current reference image at the image center C8. Then, the guide unit 15 determines that the images are long in series when the count number is equal to or greater than the predetermined value and the distance is smaller than the predetermined value (for example, when they do not overlap). If images are long and connected in series, errors are likely to accumulate. Therefore, as shown in FIG. 13B, the guide unit 15 displays the guidance display Ga so that the imaging position of the camera 20 is directed toward the image (first image) at the image center C0.
  • the guidance display Ga As the guidance display Ga, a frame, an arrow, an icon, or the like is used, and a voice may be given.
  • a link is formed between the image at the image center C0 and the image at the image center C8, as shown in FIG. The position can be adjusted.
  • the guide unit 15 avoids accumulation of errors by guiding the user.
  • the composition unit 14 is connected to the display unit 21 and has a function of drawing a composite image on the display unit 21.
  • the synthesizing unit 14 projects an image group (image to be drawn) aligned on the spherical surface in the three-dimensional space by the transformation matrix estimated by the estimating unit 13 onto a two-dimensional plane.
  • image deformation shown in FIG. 4 is performed.
  • the drawing target image is recorded in the output image buffer as a single composite image. For example, as shown in FIG. 14, it is assumed that the composite plane Sp is divided into a lattice pattern.
  • the synthesizing unit 14 draws only the cells whose four corners are included in the image Id projected onto the synthesis plane Sp.
  • the synthesizing unit 14 adjusts the blend ratio and the like at the boundary between images. In this way, a plurality of drawing target images Id are projected onto the synthesis plane Sp to generate a synthesized image.
  • 15 and 16 are flowcharts showing the operation of the image processing apparatus 1 according to this embodiment.
  • the control processing shown in FIGS. 15 and 16 is executed, for example, at the timing when the imaging function of the mobile terminal 2 is turned on, and is repeatedly executed at a predetermined cycle.
  • the target image Ic is assumed to be the second and subsequent input images in consideration of ease of understanding.
  • the image processing apparatus 1 executes an image input process (S10: input step).
  • S10 image input process
  • the input unit 10 inputs the target image Ic from the camera 20.
  • the process of S10 ends, the process proceeds to the alignment process (S12).
  • the selection unit 11 selects the reference image Ir from the input image (S30: selection step).
  • the matching unit 12 and the estimation unit 13 align the reference image Ir and the target image Ic (S32: matching step and estimation step).
  • the estimation unit 13 determines whether or not the past (or other) reference image Ir and the target image Ic can be compared (S34). In the process of S34, when the estimation unit 13 determines that the comparison is possible, the past reference image Ir and the target image Ic are aligned (S36, for example, FIG. 12B).
  • the estimation unit 13 sets a redraw flag to 1 for adjusting the overall position (S38).
  • the selection unit 11 determines whether or not the distance between the target image Ic and the past reference image Ir is a predetermined value or more (S40).
  • the target image Ic is recorded in the reference image list to be the next reference image Ir (S42).
  • the reference image list is a list for referring to data in which pixel values and coordinates of feature points of the reference image are recorded.
  • the process of S34 when the estimation unit 13 determines that the comparison is not possible, the process proceeds to a process of determining the distance between the target image Ic and the past reference image Ir (S40).
  • the process of S40 when the selection unit 11 determines that the distance is not greater than or equal to the predetermined value, the alignment process illustrated in FIG.
  • the synthesis unit 14 determines whether or not to add the target image Ic input in the process of S10 as a drawing image.
  • the synthesizing unit 14 is configured to be able to refer to a drawing image list that can refer to image information of an image to be drawn, and the distance from the closest image among the images described in the list Is equal to or greater than the predetermined value, the target image Ic input in the process of S10 is added to the drawing image. If it is determined in the process of S14 that it is an addition, the process proceeds to a storage process (S16).
  • the composition unit 14 adds the target image Ic to the drawing list and stores the target image Ic.
  • the process proceeds to a redraw determination process (S18).
  • the estimation unit 13 performs the entire alignment process.
  • the estimation unit 13 adjusts the positions of all the drawing images using the updated conversion matrix.
  • the process of S20 ends, the process proceeds to a preview image drawing process (S22).
  • the synthesizing unit 14 specifies an image to be drawn from, for example, the drawing image list, and generates a preview synthesized image by projecting from the spherical surface of the three-dimensional space onto the two-dimensional plane (S22: synthesizing step). ). Thereafter, a preview image is output and displayed on the display unit 21 or the like (S24). When the processing of S24 is completed, the routine proceeds to image input determination processing (S26).
  • the input unit 10 determines whether or not the input of the target image Ic has been completed. If the input of the target image Ic is not completed in the process of S26, the process proceeds to S10 again. On the other hand, when the input of the target image Ic is completed, the process proceeds to a result image output process (S28).
  • the synthesis unit 14 displays the synthesized image on the display unit 21 or the like.
  • the control process shown in FIGS. 15 and 16 is completed.
  • the image processing program includes a main module, an input module, and an arithmetic processing module.
  • the main module is a part that comprehensively controls image processing.
  • the input module operates the mobile terminal 2 so as to acquire an input image.
  • the arithmetic processing module includes a selection module, a matching module, an estimation module, a synthesis module, and a guidance module. Functions realized by executing the main module, the input module, and the arithmetic processing module are the input unit 10, the selection unit 11, the matching unit 12, the estimation unit 13, the synthesis unit 14, and the guide unit 15 of the image processing apparatus 1 described above. These functions are the same.
  • the image processing program is provided by a recording medium such as a ROM or a semiconductor memory, for example.
  • the image processing program may be provided as a data signal via a network.
  • the image processing device 1 As described above, according to the image processing device 1, the image processing method, and the image processing program according to the present embodiment, it is assumed that the movement between the reference image Ir and the target image Ic is caused only by the rotational movement of the camera 20.
  • a transformation matrix R to which the system is associated is estimated.
  • the transformation matrix R does not include parameters such as enlargement, reduction, and parallel movement, so that it is possible to avoid the occurrence of an error due to the input target image Ic being reduced.
  • the rotation component it is possible to avoid the target image Ic that has been reduced or the like as the reference image Ir for the next and subsequent times, so that accumulation of errors can be avoided. Therefore, even when the input images are sequentially stitched together, even if images with different imaging orientations are included, accumulation of errors can be suppressed and a high-quality panoramic image can be obtained.
  • the above-described embodiment shows an example of the image processing apparatus according to the present invention.
  • the image processing apparatus according to the present invention is not limited to the image processing apparatus 1 according to the embodiment, and the image processing apparatus according to the embodiment may be modified or otherwise changed without changing the gist described in each claim. It may be applied to the above.
  • the camera 20 may capture a moving image.
  • the input unit 10 may have a function of extracting continuous images from the captured moving image.
  • the image input by the input unit 10 may be an image transmitted from another device via a network.
  • the size of the image captured by the camera 20 has been described as being the same. However, the size of the captured image may be different for each imaging.
  • the case where the input unit 10, the selection unit 11, the matching unit 12, the estimation unit 13, the synthesis unit 14, and the guide unit 15 are provided has been described. Also good.
  • the guide unit 15 may not be provided as necessary.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　画像処理装置は、入力部、選択部、マッチング部、推定部及び合成部を備える。入力部は、画像を順次入力する。選択部は、入力済画像の中から基準画像を選択する。マッチング部は、基準画像の特徴点と対象画像の特徴点との対応関係を算出する。推定部は、基準画像と対象画像との間の動きが撮像素子の回転運動のみであるとして、マッチング部によって対応関係が算出された特徴点のペアの位置情報を用いて基準画像の座標系と対象画像の座標系とを対応させる変換式を推定する。合成部は、変換式に基づいて、入力済画像と対象画像とを合成して合成画像を生成する。

Description

画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
　本発明は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関するものである。
　従来、画像処理装置として、撮像された画像をつなぎ合わせて一枚の広角な静止画像であるパノラマ静止画像を作成する装置が知られている（例えば、特許文献１参照）。特許文献１記載の画像処理装置は、同一地点から異なった方位を撮像した複数の画像を合成する。具体的には、２つの画像のそれぞれの座標系を、変換行列を用いて統一させた上で両画像を合成する。この変換行列は、最小二乗法で算出される。
特開平１１－７３４９２号公報
　しかしながら、特許文献１記載の画像処理装置にあっては、変換行列の成分が特に限定されていないため、例えば最小二乗法を用いて変換後の２枚間の位置誤差を最小とさせる変換行列を求めると、画像の大きさを縮小方向へ変更する行列が解となる傾向にある。そうすると、特許文献１記載の画像処理装置にあっては、異なる方位で撮像された対象画像を順次入力し、入力済みの基準画像と対象画像とを逐次合成してパノラマ画像を生成する場合、入力された対象画像が縮小されて合成され、その縮小された対象画像を基準として次回の対象画像の変換行列が推定される。このため、合成の度に誤差が累積し、結果として良質のパノラマ画像を得ることができないおそれがある。
　本技術分野では、入力された画像を順次つなぎ合わせる際に、撮像方位の異なる画像が含まれていた場合であっても、誤差の蓄積を抑制し、良質なパノラマ画像を得ることが望まれている。
　すなわち、本発明の一側面に係る画像処理装置は、撮像素子によって撮像された画像を順次入力し、入力の度につなぎ合わせて合成画像を生成する画像処理装置である。該装置は、入力部、選択部、マッチング部、推定部及び合成部を備える。入力部は、画像を順次入力する。選択部は、入力部によって新たに入力された処理対象の画像である対象画像よりも前に入力部によって入力された１又は複数の画像からなる入力済画像の中から基準画像を選択する。マッチング部は、基準画像の特徴点と対象画像の特徴点との対応関係を算出する。推定部は、基準画像と対象画像との間の動きが撮像素子の回転運動のみであるとして、マッチング部によって対応関係が算出された特徴点のペアの位置情報を用いて基準画像の座標系と対象画像の座標系とを対応させる変換式を推定する。合成部は、変換式に基づいて、基準画像と対象画像とを繋ぎ合わせて合成画像を生成する。
　本発明の一側面に係る画像処理装置では、基準画像と対象画像との間の動きが撮像素子の回転運動のみに起因するとして両画像の座標系を対応させる変換式を推定する。このため、変換式には、拡大・縮小・平行移動等のパラメータが含まれないことになるので、入力された対象画像が縮小等されて誤差が生じることを回避することができる。さらに、回転成分のみに限定することで、縮小等された対象画像を次回以降の基準画像とすることを回避することが可能であるため、誤差の蓄積を回避することができる。よって、入力された画像を順次つなぎ合わせる際に、撮像方位の異なる画像が含まれていた場合であっても、誤差の蓄積を抑制し、良質なパノラマ画像を得ることが可能となる。
　一実施形態では、推定部は、撮像素子の位置を原点とした三次元座標系の各軸の回転成分のみからなる変換式を推定してもよい。
　一実施形態では、推定部は、変換式を用いて変換された特徴点のペアのそれぞれの位置情報の差分を含む目的関数を用意し、最適化手法を用いて目的関数が最小値となるように収束演算することで変換式を推定してもよい。このように構成することで、基準画像と対象画像との間の座標系を対応させる変換式を精度良く推定することができる。
　一実施形態では、推定部は、対象画像よりも前に入力部によって入力された画像が複数存在する場合には、収束演算の初期値として、対象画像の直前に入力部によって入力された画像の変換式を採用してもよい。このように構成することで、演算の収束が早くなるため、計算コストの抑制と演算速度の向上を実現することができる。
　一実施形態では、推定部は、マッチング部によって対応関係が算出された特徴点のペアを球面に投影し、投影後の特徴点のペアの位置情報を用いて基準画像の座標系と対象画像の座標系とを対応させる変換式を推定してもよい。このように構成することで、変換式を用いた後の座標に変数の除算が含まれない形とすることができるため、計算コストの抑制と演算速度の向上を実現することができる。
　一実施形態では、推定部は、対象画像よりも前に入力部によって入力された画像が複数存在し、かつ、対象画像よりも前に入力部によって入力された画像の中の少なくとも１つが基準画像及び対象画像と重なる場合には、基準画像、基準画像に重なる画像及び対象画像のそれぞれの特徴点のペアを用いて、基準画像の座標系と基準画像に重なる画像の座標系とを対応させる変換式、及び、基準画像の座標系と対象画像の座標系とを対応させる変換式を、互いに関連づけて推定してもよい。このように構成することで、基準画像と対象画像との位置関係のみならず、基準画像と他の画像との位置関係を考慮した上で、これらの画像の位置関係を推定することができるため、変換式の精度を向上させることが可能となる。
　一実施形態では、選択部は、基準画像と対象画像との距離が所定値以上である場合には、当該対象画像を入力部によって次回以降新たに入力される処理対象の画像である対象画像の基準画像として選択してもよい。このように選択することで、対象画像との重なり面積が大きい基準画像を選択することができる。
　一実施形態では、選択部は、対象画像と基準画像との距離よりも対象画像と過去の基準画像との距離の方が小さい場合には、過去の基準画像を次回以降新たに入力される処理対象の画像である対象画像の基準画像として選択してもよい。このように選択することで、対象画像との重なり面積が大きい基準画像を選択することができる。
　一実施形態では、マッチング部は、対象画像と過去の基準画像との距離が所定値以下の場合には、過去の基準画像の特徴点と対象画像の特徴点との対応関係をさらに算出し、推定部は、過去の基準画像と対象画像との特徴点のペアの位置情報を用いて、過去の基準画像の座標系と対象画像の座標系とを対応させる変換式をさらに推定し、基準画像の座標系と対象画像の座標系とを対応させる変換式、過去の基準画像の座標系と対象画像の座標系とを対応させる変換式を用いて、基準画像と過去の基準画像とを対応させてもよい。このように構成することで、本来重なりが非常に少ない基準画像同士を、対象画像を介してマッチングすることができるため、より良質なパノラマ画像を得ることが可能となる。
　一実施形態では、画像を表示する表示部に接続され、ユーザのカメラ操作を誘導する案内表示を前記表示部に表示させる案内部をさらに備え、推定部は、変換式を推定した基準画像と対象画像とをリンクさせ、相対位置を決定済みのペアであるとして記録し、合成部は、合成画像を表示部へ出力し、案内部は、相対位置を決定済みのペアのうち今回の基準画像とのホップ数が所定値以上でかつ今回の基準画像と重ならない第１画像が存在する場合には、現在の撮像位置から第１画像の画像位置へ撮像位置を誘導する案内表示を表示部へ表示させてもよい。このように構成することで、第１画像と基準画像との位置関係が複数枚の画像を介して相対的に決定されていることにより誤差が蓄積した状態で合成する状況を回避するようにユーザ操作を促すことができる。
　本発明の他の側面に係る画像処理方法は、撮像素子によって撮像された画像を順次入力し、入力の度につなぎ合わせて合成画像を生成する画像処理方法である。該方法は、入力ステップ、選択ステップ、マッチングステップ、推定ステップ及び合成ステップを備える。入力ステップは、画像を順次入力する。選択ステップでは、入力ステップによって新たに入力された処理対象の画像である対象画像よりも前に入力ステップによって入力された１又は複数の画像からなる入力済画像の中から基準画像を選択する。マッチングステップでは、基準画像の特徴点と対象画像の特徴点との対応関係を算出する。推定ステップでは、基準画像と対象画像との間の動きが撮像素子の回転運動のみであるとして、マッチングステップによって対応関係が算出された特徴点のペアの位置情報を用いて基準画像の座標系と対象画像の座標系とを対応させる変換式を推定する。合成ステップでは、変換式に基づいて、基準画像と対象画像とを繋ぎ合わせて合成画像を生成する。
　この画像処理方法によれば、上述した本発明の一側面に係る画像処理装置と同様の効果を奏する。
　本発明の他の側面に係る画像処理プログラムは、撮像素子によって撮像された画像を順次入力し、入力の度につなぎ合わせて合成画像を生成するようにコンピュータを機能させる画像処理プログラムである。該プログラムは、コンピュータを、入力部、選択部、マッチング部、推定部及び合成部として機能させる。入力部は、画像を順次入力する。選択部は、入力部によって新たに入力された処理対象の画像である対象画像よりも前に入力部によって入力された１又は複数の画像からなる入力済画像の中から基準画像を選択する。マッチング部は、基準画像の特徴点と対象画像の特徴点との対応関係を算出する。推定部は、基準画像と対象画像との間の動きが撮像素子の回転運動のみであるとして、マッチング部によって対応関係が算出された特徴点のペアの位置情報を用いて基準画像の座標系と対象画像の座標系とを対応させる変換式を推定する。合成部は、変換式に基づいて、基準画像と対象画像とを繋ぎ合わせて合成画像を生成する。
　この画像処理プログラムによれば、上述した本発明の一側面に係る画像処理装置と同様の効果を奏する。
　本発明の他の側面に係る記録媒体は、撮像素子によって撮像された画像を順次入力し、入力の度につなぎ合わせて合成画像を生成するようにコンピュータを機能させる画像処理プログラムを記録したコンピュータ読取可能な記録媒体である。該プログラムは、コンピュータを、入力部、選択部、マッチング部、推定部及び合成部として機能させる。入力部は、画像を順次入力する。選択部は、入力部によって新たに入力された処理対象の画像である対象画像よりも前に入力部によって入力された１又は複数の画像からなる入力済画像の中から基準画像を選択する。マッチング部は、基準画像の特徴点と対象画像の特徴点との対応関係を算出する。推定部は、基準画像と対象画像との間の動きが撮像素子の回転運動のみであるとして、マッチング部によって対応関係が算出された特徴点のペアの位置情報を用いて基準画像の座標系と対象画像の座標系とを対応させる変換式を推定する。合成部は、変換式に基づいて、入力済画像と対象画像とを合成して合成画像を生成する。
　この記録媒体によれば、上述した本発明の一側面に係る画像処理装置と同様の効果を奏する。
　本発明の種々の側面及び実施形態によれば、入力された画像を順次つなぎ合わせる際に、撮像方位の異なる画像が含まれていた場合であっても、誤差の蓄積を抑制し、良質なパノラマ画像を得ることができる画像処理装置、画像処理方法、画像処理プログラム及び記録媒体が提供される。
実施形態に係る画像処理装置を搭載した携帯端末の機能ブロック図である。 実施形態に係る画像処理装置が搭載される携帯端末のハードウェア構成図である。 広角パノラマ合成画像を説明する概要図である。 対象画像の合成時の変形を説明する概要図である。 基準画像と対象画像の位置合わせを説明する概要図である。 対象画像の合成時の変形をカメラ回転に基づいて説明する概要図である。 基準画像と対象画像の対応点を説明する概要図である。 基準画像と対象画像の位置合わせの詳細を説明する概要図である。 複数の画像の位置合わせを説明する概要図である。 基準画像の選択条件を説明する概要図である。 複数画像の動きを同時に推定する場合を説明する概要図である。 基準画像同士の位置合わせを説明する概要図である。 案内表示を説明する概要図である。 合成処理を説明する概要図である。 実施形態に係る画像処理装置の動作を説明するフローチャートである。 実施形態に係る画像処理装置の動作を説明するフローチャートである。
　以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。
　本実施形態に係る画像処理装置は、入力画像を入力の度につなぎ合わせて一枚の画像を逐次作成する装置であって、例えば連続撮像された複数の画像をリアルタイムでつなぎ合わせ、１枚の撮像画像よりも広角なパノラマ画像を生成する場合に好適に採用されるものである。本実施形態に係る画像処理装置は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal　Digital　Assistant）等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像処理装置の一例として、カメラ機能を備えた携帯端末に搭載される画像処理装置を説明する。
　図１は、本実施形態に係る画像処理装置１を備える携帯端末２の機能ブロック図である。図１に示す携帯端末２は、例えばユーザにより携帯される移動端末であり、図２に示すハードウェア構成を有する。図２は、携帯端末２のハードウェア構成図である。図２に示すように、携帯端末２は、物理的には、ＣＰＵ（Central　Processing　Unit）１００、ＲＯＭ（Read　Only　Memory）１０１及びＲＡＭ（Random　Access　Memory）１０２等の主記憶装置、カメラ又はキーボード等の入力デバイス１０３、ディスプレイ等の出力デバイス１０４、ハードディスク等の補助記憶装置１０５などを含む通常のコンピュータシステムとして構成される。後述する携帯端末２及び画像処理装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の元で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。なお、上記の説明は携帯端末２のハードウェア構成として説明したが、画像処理装置１がＣＰＵ１００、ＲＯＭ１０１及びＲＡＭ１０２等の主記憶装置、入力デバイス１０３、出力デバイス１０４、補助記憶装置１０５などを含む通常のコンピュータシステムとして構成されてもよい。また、携帯端末２は、通信モジュール等を備えてもよい。
　図１に示すように、携帯端末２は、カメラ２０、画像処理装置１及び表示部２１を備えている。カメラ２０は、画像を撮像する機能を有している。カメラ２０として、例えば撮像素子等が用いられる。カメラ２０は、例えばユーザ操作等により指定されたタイミングから所定の間隔で繰り返し撮像する連続撮像機能を有している。ユーザは、例えばカメラ２０をスライド又は所定位置を原点として回転させて少なくとも上下左右において重なる連続画像を撮像することができる。そして、カメラ２０は、例えば撮像された画像を撮像の度に画像処理装置１へ出力する機能を有している。表示部２１は、合成画像等を表示可能なディスプレイ装置である。
　画像処理装置１は、撮像された画像を順次つなぎ合わせて広角のパノラマ合成画像を生成する機能を有する。通常のカメラの視野角は約５０～６５度（対角線画角）であるところ、画像処理装置１は、後述する機能を有することで、入力画像をつなぎ合わせて６５度以上の画角の画像を生成する。例えば、図３に示すように、カメラ２０の撮像方向が矢印Ｋに示すように変化した場合には、順次入力された画像をつなぎ合わせ、合成平面Ｓｐに合成画像を順次描画する。例えば今回入力された画像がＩｃであるとすると、画像Ｉｃが今までの合成画像Ｉｔと合成されて一枚の合成画像が生成される。なお、画像処理装置１は、合成する処理対象である対象画像Ｉｃを単に合成画像Ｉｔに繋げるだけではなく、変形処理を施した後に繋げる。例えば、図４に示すように、画像処理装置１は対象画像Ｉｃを（Ａ）拡大/縮小、（Ｂ）平行四辺形（横方向）、（Ｃ）平行四辺形（縦方向）、（Ｄ）回転、（Ｅ）平行移動（横方向）、（Ｆ）平行移動（縦方向）、（Ｇ）台形（横方向）、（Ｈ）台形（縦方向）に変形する。これらの変形処理あるいは組み合わせた変形処理を施した対象画像Ｉｃが、合成平面Ｓｐへ描画される。（Ａ）～（Ｈ）の８自由度の変形を採用することで、画像のつなぎ目にてズレが生じにくくなり、自然な広角パノラマを得ることができる。
　以下では、画像処理装置１の詳細を説明する。画像処理装置１は、入力部１０、選択部１１、マッチング部１２、推定部１３、合成部１４及び案内部１５を備えている。
　入力部１０は、カメラ２０により撮像された画像を入力する機能を有している。入力部１０は、例えばカメラ２０により撮像された画像を撮像の度に入力する機能を有している。また、入力部１０は、最初に入力した画像を、携帯端末２に備わる第１の一時記憶領域（出力画像用バッファ）に保存する機能を有している。また、入力部１０は、次回以降連続して入力される画像を、携帯端末に備わる第２の一時記憶領域（入力画像用バッファ）に保存する機能を有している。なお、第２の一時記憶領域に画像が保存されると、該画像の位置決めが行われるとともに該画像が描画対象であるか否かが判断され、描画対象の画像と判断された場合には、第１の一時記憶領域に格納された出力画像が合成により更新され上書き保存される。以下では、第１の一時記憶領域に格納された画像を合成画像Ｉｔ、第２の一時記憶領域に格納された画像を対象画像Ｉｃ（入力画像）として説明する。
　選択部１１は、位置合わせ用の基準画像を選択する機能を有する。基準画像とは、対象画像Ｉｃの位置合わせの基準となる画像である。例えば、選択部１１は、入力済画像に関する情報を格納したメモリ１８を参照可能に構成されている。入力済画像は、対象画像Ｉｃよりも前に入力部１０によって入力された画像であり、１又は複数の画像であり得る。すなわち、ｎ番目の対象画像ＩｃをＩｃ（ｎ－１）とすると、入力済画像は、Ｉｃ（ｎ－２），Ｉｃ（ｎ－３），…Ｉｃ０となる。選択部１１は、入力済画像が１枚の場合には、該画像Ｉｃ１を対象画像Ｉｃ２の基準画像Ｉｒ０として選択する。以降、所定条件を満たす場合を除き、選択部１１は、当該基準画像を変更しない。所定条件とは、基準画像と対象画像Ｉｃ（ｎ）との距離が所定値以上離れた場合である。この場合には、選択部１１は、対象画像Ｉｃ（ｎ）を次回の新たな対象画像Ｉｃ（ｎ＋１）の基準画像Ｉｒ（ｋ）として選択し、対象画像Ｉｃ（ｎ）に関する情報をメモリ１８に保存する。対象画像Ｉｃ（ｎ）に関する情報とは、例えば、後述するマッチング部１２によって導出された特徴点の画素値及び位置情報のみであってもよい。このように、メモリ１８に記録する情報を制限することで、基準画像Ｉｒそのものを保存する場合に比べて使用メモリ容量を削減することができる。そして、選択部１１は、対象画像Ｉｃ（ｎ＋１）を入力した際には、メモリ１８を参照し、基準画像Ｉｒ（ｋ）として対象画像Ｉｃ（ｎ）を選択する。以上、選択部１１は、対象画像Ｉｃごとに１つの基準画像Ｉｒを選択する。一実施形態では、選択部１１は、所定の条件を満たした場合、対象画像Ｉｃ（ｎ）に対して一時基準画像も選択してもよい。一時基準画像は、入力済画像の中から選択される画像であって一時的な基準画像である。一時基準画像の選択処理の詳細については後述する。選択部１１は、基準画像Ｉｒに関する画像情報（少なくとも特徴点の画素情報及び位置情報を含む情報）をマッチング部１２へ出力する。
　マッチング部１２は、基準画像Ｉｒ及び対象画像Ｉｃの対応関係を取得する。マッチング部１２は、基準画像Ｉｒの特徴点及び対象画像Ｉｃの特徴点に関する情報を取得する。マッチング部１２は、例えば特徴点の画素値に基づいて基準画像Ｉｒ及び対象画像Ｉｃの対応関係を取得する。マッチング方法としては、ブロックマッチング法等、従来の手法を用いることができる。一実施形態では、マッチング部１２は、基準画像Ｉｒ及び対象画像Ｉｃを多重解像度化した上でマッチングしてもよい。例えば、マッチング部１２は、基準画像Ｉｒ及び対象画像Ｉｃの解像度をそれぞれ段階的に変更して、解像度の異なる複数の画像を生成する。そして、マッチング部１２は、最も解像度の小さい画像間で特徴点の平行移動量を取得し、より解像度の大きい画像間で特徴点のピクセル単位のマッチングを行ってもよい。この場合、処理高速化及び演算コストを低減させることができる。
　マッチング部１２は、基準画像Ｉｒと対象画像Ｉｃとの対応関係が算出された特徴点のペアの位置情報（座標情報）を取得する。すなわち、マッチング部１２は、基準画像Ｉｒのある特徴点の位置情報と、当該特徴点に対応する対象画像Ｉｃの特徴点の位置情報とを、ペアにして取得する。マッチング部１２は、後述する位置合わせ処理のために、特徴点のペアを複数取得する。マッチング部１２は、取得した特徴点のペアを推定部１３へ出力する。なお、前述のとおり、選択部１１が該対象画像Ｉｃを次回以降の基準画像Ｉｒとして追加する場合には、マッチング部１２は、対象画像Ｉｃの特徴点の画素値及び位置情報を選択部１１へ出力する。
　推定部１３は、基準画像Ｉｒと対象画像Ｉｃとの対応関係に基づいて、基準画像Ｉｒと対象画像Ｉｃとの位置合わせを行う機能を有している。図５は、基準画像と対象画像Ｉｃの位置合わせの概要を説明する概要図である。例えば、図５の（Ａ）に示すように、一枚目の画像のみが入力されている場合には、該画像が基準画像Ｉｒ０として選択される。そして、二枚目の画像（対象画像Ｉｃ）が入力された場合には、推定部１３は、基準画像Ｉｒ０の位置を基準として、対象画像Ｉｃを位置合わせする。位置合わせとは、例えば図５の（Ｂ）に示すように、基準画像Ｉｒ０の所定点（ここでは中心Ｃ０）と、対象画像Ｉｃの所定点（ここでは中心Ｃ１）との相対位置を決定することである。推定部１３は、マッチング部１２によって取得された特徴点のペアが互いに最も重なる位置を探索する。そして、図５の（Ｃ）に示すように、推定部１３によって、基準画像Ｉｒ０と対象画像Ｉｃとの位置合わせが完了した場合には、互いに位置関係がリンクされた旨（リンクＲｅ１）を記録する。なお、前述のとおり、推定部１３によって位置合わせが完了し基準画像Ｉｒ０と対象画像Ｉｃとの相対距離が所定値以上となっている場合には、選択部１１が該対象画像Ｉｃを次回以降の基準画像Ｉｒ１として追加する必要があるため、マッチング部１２は、対象画像Ｉｃの特徴点の画素値及び位置情報を選択部１１へ出力する。
　推定部１３は、カメラの動きを考慮して基準画像Ｉｒと対象画像Ｉｃとの位置合わせを行う。図６は、カメラ２０の回転による撮像面を説明する概要図である。例えば、図６に示すように、回転前のカメラ２０の撮像面をＳ０、回転後のカメラ２０の撮像面をＳ１とすると、撮像面Ｓ０と撮像面Ｓ１とが同一平面内に存在しない。したがって、特徴点のペアを平行移動によって重ねた位置は本来の重ね合わせ位置とは異なることになる。すなわち、位置合わせを行う場合には、カメラの動きを考慮して、基準画像Ｉｒの特徴点の位置と対象画像Ｉｃの特徴点の位置とが同一の三次元座標系上で一致するように位置合わせする必要がある。
　よって、推定部１３は、基準画像Ｉｒ０の三次元の座標系と、対象画像Ｉｃの三次元の座標系とを一致させる変換式を推定する。図７に示すように、基準画像Ｉｒ０の特徴点の座標を（ｘ０，ｙ０，１）、当該特徴点に対応する対象画像Ｉｃの特徴点の座標を（ｘ１，ｙ１，１）とすると、推定部１３は、（ｘ０，ｙ０，１）と（ｘ１，ｙ１，１）とが一致する変換式を推定する。ここで、カメラの自由度は、焦点距離が１自由度、カメラの動き（ｘｙ方向への平行移動、ｚ方向への移動による拡大縮小）が３自由度、カメラの回転（ｘ方向、ｙ方向への画像の歪み（台形）、及びｚ軸における画像の回転が３自由度であり、７自由度である。ローリングシャッタ歪み（フォーカルプレーン歪み）を考慮して８自由度であると近似すると、以下の数式１で表現される。
Figure JPOXMLDOC01-appb-M000001
 上記変換行列（変換式）のパラメータａ１～ｈ１は、上述した８自由度に関するパラメータである。推定部１３は、複数の特徴点のペアが上記関係を満たすことができる変換行列のパラメータを最適化手法による収束演算により求める。具体的には、基準画像Ｉｒの特徴点の位置（ｘ０，ｙ０，１）と、対象画像Ｉｃの特徴点の位置（ｘ１，ｙ１，１）を変換した後の位置との差分を含む目的関数が最小値となるように収束演算を行う。最適化手法は、ニュートン法又はガウスニュートン法等、公知の手法が採用される。
　ここで、推定部１３は、基準画像Ｉｒと対象画像Ｉｃとの間の動きがカメラ２０の回転運動のみであるとして、カメラ２０の動きを３自由度に限定し、特徴点のペアの位置情報を用い変換式を推定する機能を有している。例えば、図７に示すように、カメラ２０の撮像位置を原点とすると、カメラの自由度をＸ軸，Ｙ軸，Ｚ軸の回転のみに限定する。各軸のパラメータを（β，α，γ）とすると、変換行列Ｒは以下のように表現することができる。
Figure JPOXMLDOC01-appb-M000002
 すなわち、基準画像Ｉｒの特徴点の位置（ｘ０，ｙ０，１）と対象画像Ｉｃの特徴点の位置（ｘ１，ｙ１，１）とは、変換行列Ｒを用いて以下の数式２のように対応させることができる。
Figure JPOXMLDOC01-appb-M000003
 ここで、（ｃｘ，ｃｙ）は、基準画像Ｉｒ及び対象画像Ｉｃの画像サイズを同一とした場合の、それぞれの中心座標である。また、Ｆは、焦点距離である。なお、焦点距離Ｆはカメラ２０の諸元情報から得られる値を適用させてもよい。
　数式１のように、縮小成分が考慮された変換行列を用いて、かつ、さらに誤差を小さくすることを優先させて収束演算をした場合には、画像を縮小した方が誤差は相対的に小さくなることから、縮小成分の度合いが大きくなる変換行列が解となる傾向になる。この場合、逐次合成するごとに誤差が蓄積されていき、結果として良質なパノラマ画像とはならない。これに対して、数式２に示すように、変換行列Ｒを回転成分のみに限定することで、最適化手法による収束演算の際に縮小成分が考慮されることはないため、誤差の蓄積を回避でき、良質なパノラマ合成画像が生成される。なお、ガウスニュートン法等の最適化手法の収束演算の初期値として、前回の対象画像Ｉｃの変換行列を採用してもよい。この場合、収束演算がより早く収束しやすくなることから、演算速度を向上させることができる。
　一実施形態では、推定部１３は、数式２を収束演算して変換行列を推定する際には、特徴点の二次元座標を三次元空間Ｓｐの球面に投影し、投影した座標の対応関係を用いて変換行列を推定する。図８は、基準画像Ｉｒと対象画像Ｉｃの位置合わせの詳細を説明する概要図である。図８の（Ａ），（Ｂ）に示すように、推定部１３は、二次元座標系の基準画像Ｉｒの特徴点の位置（ｘ０，ｙ０，１）と二次元座標系の対象画像Ｉｃの位置（ｘ１，ｙ１，１）とを三次元空間Ｓｐの球面へ透視射影する。ｘｎ－ｃｘをベクトルｘｎ、ｙｎ－ｃｘをベクトルｙｎとし、投影後の座標を（Ｘｎ，Ｙｎ，Ｚｎ）とすると、座標（ｘ１，ｙ１，Ｆ）については、例えば以下の数式３で射影投影される。
Figure JPOXMLDOC01-appb-M000004
 また、変換行列Ｒによる変換後の座標点は以下のように表現できる。
Figure JPOXMLDOC01-appb-M000005
 このため、収束演算の目的関数が以下の差分ｒを含むことになる。
Figure JPOXMLDOC01-appb-M000006
 なお、数式３の変換は、対象画像Ｉｃが基準画像Ｉｒとの距離が近いと仮定した場合、省略することができる。この場合、上記差分ｒは除算を含まない形となるため、除算による桁落ちを考慮する必要がなくなる。このため、例えば目的関数をガウスニュートン法等による最適化処理により収束演算する際に、演算を容易とすることができる。よって、三次元空間の球面へ射影して演算する場合、演算コストを低減させることが可能となる。
　推定部１３は、上記処理によって、変換行列Ｒを推定し、基準画像Ｉｒと対象画像Ｉｃとの位置合わせを行う。推定部１３は、選択部１１が選択した基準画像Ｉｒと入力された対象画像Ｉｃとを逐次位置合わせを行い、リンクを生成する（図８の（Ｃ））。図９は、８枚の入力画像間の位置決めを行ったリンクを示している。図９に示すように、８枚の入力画像の中心Ｃ０～Ｃ７の間がリンクされている（リンクＲｅ１～Ｒｅ７）。選択部１１が基準画像を選択し、推定部１３がリンクを形成するという動作を繰り返すことで、図９に示すように画像を位置合わせしながらつなぐことができる。
　なお、推定部１３は、球面に投影して変換行列Ｒを推定し、基準画像と対象画像とを位置合わせするため、二次元平面と球面との座標変換の際に、例えば図４に示す８自由度の画像変形が考慮される。言い換えれば、推定部１３は、球面上で位置決めすることで、後述する合成部１４が球面から平面へ投影する際に、図４に示す画像変形をすることができる。
　以下では、選択部１１及び推定部１３の変形例について説明する。一実施形態では、選択部１１は、基準画像Ｉｒだけでなく一時基準画像Ｉｔｒを用いてもよい。図１０は、基準画像Ｉｒ及び一時基準画像Ｉｔｒを説明する概要図である。まず、図１０の（Ａ）に示すように、画像が入力された場合には、該画像が次回以降の基準画像Ｉｒとなる。次に、図１０の（Ｂ）に示すように基準画像Ｉｒから一定値以上離れた対象画像Ｉｃが入力されたとする。この場合、図１０の（Ｃ）に示すように、対象画像Ｉｃを次回以降の一時的な基準画像である一時基準画像Ｉｔｒとする。一時基準画像Ｉｔｒは、履歴として保存されない一時的な基準画像である。次に、図１０の（Ｄ）に示すように一時基準画像Ｉｔｒから離れた対象画像Ｉｃが入力され、図１０の（Ｅ）に示すように一時基準画像Ｉｔｒから一定値以上離れた対象画像Ｉｃが入力されたとする。この場合、図１０の（Ｆ），（Ｇ）に示すように、今回までの一時基準画像Ｉｔｒを破棄し、対象画像Ｉｃを次回以降の一時的な基準画像である一時基準画像Ｉｔｒとする。次に、図１０の（Ｈ）に示すように一時基準画像Ｉｔｒのみならず基準画像Ｉｒからも一定値以上離れた対象画像Ｉｃが入力されたとする。この場合、図１０の（Ｉ）に示すように、今回までの一時基準画像Ｉｔｒを破棄し、対象画像Ｉｃを次回以降の基準画像Ｉｒとする。ここで、今回までの基準画像すなわち１番目の基準画像をＩｒ０とし、次回以降の基準画像をＩｒ１とする。基準画像Ｉｒ０，Ｉｒ１の特徴点に関する情報は位置合わせのために保存される。次に、図１０の（Ｊ）に示すように基準画像Ｉｒ１からも一定値以上離れた対象画像Ｉｃが入力されたとする。この場合、図１０の（Ｃ）と同様に、図１０の（Ｋ）に示すように対象画像Ｉｃを次回以降の一時的な基準画像である一時基準画像Ｉｔｒとする。次に、図１０の（Ｌ）に示すように一時基準画像Ｉｔｒよりも基準画像Ｉｒ０に近い対象画像Ｉｃが入力されたとする。この場合、今回までの一時基準画像Ｉｔｒを破棄し、次回以降の基準画像を基準画像Ｉｒ０とする。このように、基準画像の情報を保持しておくことで、カメラ２０が元の位置に戻ってきた場合であっても過去の基準画像を基準に対象画像を位置合わせすることができる。また、一時基準画像Ｉｔｒと基準画像Ｉｒとを用いることで、記録しておく必要のあるデータを最小限にすることができる。
　また、一実施形態では、推定部１３は、複数の画像が重なっている場合には、複数の画像間の動きを同時に推定してもよい。例えば、図１１に示すように、基準画像Ｉｒと対象画像Ｉｃに重なる画像（過去の対象画像Ｉｐ１）が存在するとする。基準画像Ｉｒと過去の対象画像Ｉｐ１とは位置決めされた状態、すなわち、変換行列Ｒ１が既に導出されているとする。そして、基準画像Ｉｒの特徴点の座標を（ｘ０，ｙ０，１）、過去の対象画像Ｉｐ１の特徴点の座標を（ｘ１，ｙ１，１）、対象画像Ｉｃの特徴点の座標を（ｘ２，ｙ２，１）とする。ここで、基準画像Ｉｒの座標系と対象画像Ｉｃの座標系とを対応させる変換行列Ｒ２を導出する際に、以下の条件を設定する。
Figure JPOXMLDOC01-appb-M000007
 数式７によって、変換式Ｒ１と変換式Ｒ２とを関連付けしている。推定部１３は、上記数式５～７を満たすことができるＲ１、Ｒ２を最適化手法による収束演算によって同時に推定する。この場合、基準画像Ｉｒと過去の対象画像Ｉｐ１との特徴点のペアに関する情報を無駄にすることを回避できる。また、複数の画像間を同時に推定することで、リンクが直列に繋がっていく場合に比べて誤差の蓄積を抑制することができる。
　また、一実施形態では、推定部１３は、対象画像Ｉｃが過去の基準画像Ｉｒにも近い場合には、現在の基準画像Ｉｒだけでなく過去の基準画像Ｉｒとも位置合わせを行う。例えば、図１３の（Ａ）に示すように、画像中心がＣ１３の対象画像Ｉｃ１３は、画像中心がＣ１２の基準画像Ｉｒ１２とリンクＲｅ１３が張られており、相対位置が決定している。ここで、推定部１３は、図１３の（Ｂ）に示すように、対象画像Ｉｃ１３が画像中心Ｃ１の過去の基準画像Ｉｒ１とも近い場合には、基準画像Ｉｒ１と対象画像Ｉｃ１３との位置合わせを行う。これにより、基準画像Ｉｒ１と対象画像Ｉｃ１３との間にはリンクＲｅ１４が張られる。すなわち、基準画像Ｉｒ１と基準画像Ｉｒ１２との位置合わせを、対象画像Ｉｃ１３を用いて行うことができる。このように、基準画像Ｉｒ同士の位置合わせを、対象画像Ｉｃを用いて達成することで、本来重なりの少ない基準画像Ｉｒ同士の位置決めをすることが可能となる。
　また、一実施形態では、推定部１３は、全体位置の調整をする機能を有していてもよい。全体位置の調整とは、描画対象の画像（出力用画像バッファに書き出される画像）の全体の位置関係を調整することである。例えば、基準画像Ｉｒ間で新たなリンクが張られたタイミングや、複数画像の動きの同時推定を実行することにより、複数の過去の変換行列が更新されたタイミングで、全ての描画対象画像の全体位置が微調整される。すなわち、全ての描画対象画像の変換行列Ｒが再演算される。全体位置は、マッチング部１２により出力された特徴点を用いるのではなく、位置合わせされた結果を元に画像から画像間の対応点をランダムに抽出又は所定位置から抽出し、抽出された点の位置情報に基づいて全体の位置合わせを行う。この場合、過去の特徴点のペアを保持する必要がないため、メモリ使用量を削減することができる。
　次に、案内部１５について説明する。案内部１５は、ユーザ操作を案内する機能を有している。案内部１５は、画像を表示する表示部２１に接続され、ユーザのカメラ操作を誘導する案内表示を表示部２１に表示させる。例えば、案内部１５は、相対位置を決定済みの基準画像Ｉｒと対象画像Ｉｃとのペアのうち今回の基準画像Ｉｒとのホップ数が所定値以上でかつ今回の基準画像Ｉｒと重ならない第１画像が存在する場合には、現在の撮像位置から第１画像の画像位置へ撮像位置を誘導する案内表示を表示部へ表示させる。例えば、案内部１５は、図１３の（Ａ）に示すように、画像中心Ｃ０の画像（第１画像）と、画像中心Ｃ８の現在の基準画像との間のホップ数（リンクＲｅの数）をカウントする。そして、案内部１５は、画像中心Ｃ０の画像と画像中心Ｃ８の現在の基準画像との間の距離を算出する。そして、案内部１５は、カウント数が所定値以上であって、距離が所定値より小さい場合（例えば重ならない場合）には、画像が直列で長く繋がっていると判断する。直列で長く画像が繋がる場合には、誤差が蓄積されやすい。このため、案内部１５は、図１３の（Ｂ）に示すように、カメラ２０の撮像位置が画像中心Ｃ０の画像（第１画像）の方に向くように案内表示Ｇａを表示する。案内表示Ｇａは、枠、矢印又はアイコン等が用いられ、音声を付与してもよい。ユーザが案内表示Ｇａに案内されてカメラ２０の撮像方向を変えることで、図１３の（Ｃ）に示すように、画像中心Ｃ０の画像と画像中心Ｃ８の画像との間にリンクを形成して位置調整することができる。このように、案内部１５は、ユーザを案内することで誤差の蓄積を回避する。
　次に、合成部１４について説明する。合成部１４は、表示部２１に接続されており、合成画像を表示部２１に描画する機能を有する。合成部１４は、推定部１３によって推定された変換行列によって三次元空間の球面上で位置合わせした画像群（描画対象の画像）を二次元平面に投影する。球面から平面への投影の際に、例えば図４に示す画像変形がなされる。そして、描画対象の画像を一枚の合成画像として出力画像用バッファへ記録する。例えば図１４に示すように、合成平面Ｓｐが格子状に分割されているとする。合成部１４は、合成平面Ｓｐへ投影された画像Ｉｄに四隅が含まれるセルのみを描画する。また、合成部１４は、画像間の境目ではブレンド比等を調整する。このようにして、複数の描画対象の画像Ｉｄを合成平面Ｓｐへ投影し、合成画像を生成する。
　次に、本実施形態に係る画像処理装置１の動作について説明する。図１５，図１６は、本実施形態に係る画像処理装置１の動作を示すフローチャートである。図１５，図１６に示す制御処理は、例えば携帯端末２の撮像機能をＯＮしたタイミングで実行され、所定の周期で繰り返し実行される。なお、説明理解の容易性を考慮して、対象画像Ｉｃは２番目以降の入力画像であるとする。
　図１５に示すように、最初に画像処理装置１が画像入力処理を実行する（Ｓ１０：入力ステップ）。Ｓ１０の処理では、入力部１０が、カメラ２０から対象画像Ｉｃを入力する。Ｓ１０の処理が終了すると、位置合わせ処理へ移行する（Ｓ１２）。
　Ｓ１２の処理では、選択部１１、マッチング部１２及び推定部１３が、基準画像Ｉｒと対象画像Ｉｃとの相対的な位置合わせを行う。この処理の詳細は図１６となる。まず、選択部１１が入力済画像から基準画像Ｉｒを選択する（Ｓ３０：選択ステップ）。次に、マッチング部１２及び推定部１３が基準画像Ｉｒと対象画像Ｉｃとの位置合わせを行う（Ｓ３２：マッチングステップ及び推定ステップ）。次に、推定部１３は、過去（又は他の）の基準画像Ｉｒと対象画像Ｉｃとが比較できるか否かを判定する（Ｓ３４）。Ｓ３４の処理において、推定部１３が比較可能であると判断した場合には、過去の基準画像Ｉｒと対象画像Ｉｃとの位置合わせを行う（Ｓ３６、例えば図１２の（Ｂ））。そして、推定部１３は、全体位置の調整のために、再描画フラグを１にセットする（Ｓ３８）。その後、選択部１１は、対象画像Ｉｃと過去の基準画像Ｉｒとの距離が所定値以上であるか否かを判断する（Ｓ４０）。Ｓ４０の処理において、選択部１１により距離が所定値以上であると判定された場合には、対象画像Ｉｃを次回以降の基準画像Ｉｒにすべく基準画像リストへ記録する（Ｓ４２）。基準画像リストとは、基準画像の特徴点の画素値及び座標を記録したデータを参照するためのリストである。Ｓ４２の処理が終了すると、図１６に示す位置合わせ処理を終了する。
　一方、Ｓ３４の処理において、推定部１３が比較可能でないと判断した場合には、対象画像Ｉｃと過去の基準画像Ｉｒとの距離を判断する処理へ移行する（Ｓ４０）。一方、Ｓ４０の処理において、選択部１１により距離が所定値以上でないと判定された場合には、図１６に示す位置合わせ処理を終了する。
　図１５に戻り、Ｓ１２の処理が終了すると判定処理へ移行する（Ｓ１４）。
　Ｓ１４の処理では、合成部１４が、Ｓ１０の処理で入力した対象画像Ｉｃを描画用画像として追加するか否かを判定する。例えば、合成部１４は、描画すべき画像の画像情報を参照可能とする描画用画像リストを参照可能に構成されており、該リストに記載されている画像のうち最も位置が近い画像との距離が所定値以上である場合には、Ｓ１０の処理で入力した対象画像Ｉｃを描画用画像に追加する。Ｓ１４の処理において、追加と判断した場合には、保存処理へ移行する（Ｓ１６）。
　Ｓ１６の処理では、合成部１４が、描画用リストに該対象画像Ｉｃを追加し、対象画像Ｉｃを保存する。Ｓ１６の処理が終了すると、再描画判定処理へ移行する（Ｓ１８）。
　Ｓ１８の処理では、推定部１３が、再描画フラグ＝０であるか否かを判定する。Ｓ１８の処理において、再描画フラグ＝１である場合には、描画位置の再計算処理へ移行する（Ｓ２０）。
　Ｓ２０の処理では、推定部１３が、全体位置合わせの処理を行う。推定部１３は、更新された変換行列を用いて全ての描画用画像の位置を調整する。Ｓ２０の処理が終了すると、プレビュー画像描画処理へ移行する（Ｓ２２）。
　Ｓ２２の処理では、合成部１４が、例えば描画用画像リストから描画すべき画像を特定し、三次元空間の球面から二次元平面に投影してプレビュー用の合成画像を生成する（Ｓ２２：合成ステップ）。その後、プレビュー用の画像が出力され、表示部２１等に表示される（Ｓ２４）。Ｓ２４の処理が終了すると、画像入力の判定処理へ移行する（Ｓ２６）。
　一方、Ｓ１４の処理において、合成部１４が追加と判断しない場合には、再描画判定処理へ移行する（Ｓ１８）。また、Ｓ１８の処理において、再描画フラグ＝０である場合には、プレビュー画像描画処理へ移行する（Ｓ２２）。
　Ｓ２６の処理では、入力部１０が、対象画像Ｉｃの入力が終了したか否かを判定する。Ｓ２６の処理において、対象画像Ｉｃの入力が終了していない場合には、Ｓ１０の処理へ再度移行する。一方、対象画像Ｉｃの入力が終了した場合には、結果画像出力処理へ移行する（Ｓ２８）。
　Ｓ２８の処理では、合成部１４が合成画像を表示部２１等に表示する。以上で図１５，１６に示す制御処理を終了する。図１５，１６に示す制御処理を実行することで、誤差の蓄積を回避して良質なパノラマ合成画像を得ることができる。
　次に、携帯端末（コンピュータ）２を上記画像処理装置１として機能させるための画像処理プログラムを説明する。
　画像処理プログラムは、メインモジュール、入力モジュール及び演算処理モジュールを備えている。メインモジュールは、画像処理を統括的に制御する部分である。入力モジュールは、入力画像を取得するように携帯端末２を動作させる。演算処理モジュールは、選択モジュール、マッチングモジュール、推定モジュール、合成モジュール及び案内モジュールを備えている。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、上述した画像処理装置１の入力部１０、選択部１１、マッチング部１２、推定部１３、合成部１４及び案内部１５の機能とそれぞれ同様である。
　画像処理プログラムは、例えば、ＲＯＭ等の記録媒体または半導体メモリによって提供される。また、画像処理プログラムは、データ信号としてネットワークを介して提供されてもよい。
　以上、本実施形態に係る画像処理装置１、画像処理方法及び画像処理プログラムによれば、基準画像Ｉｒと対象画像Ｉｃとの間の動きがカメラ２０の回転運動のみに起因するとして両画像の座標系を対応させる変換行列Ｒを推定する。このため、変換行列Ｒには、拡大・縮小・平行移動等のパラメータが含まれないことになるので、入力された対象画像Ｉｃが縮小等されて誤差が生じることを回避することができる。さらに、回転成分のみに限定することで、縮小等された対象画像Ｉｃを次回以降の基準画像Ｉｒとすることを回避することが可能であるため、誤差の蓄積を回避することができる。よって、入力された画像を順次つなぎ合わせる際に、撮像方位の異なる画像が含まれていた場合であっても、誤差の蓄積を抑制し、良質なパノラマ画像を得ることが可能となる。
　なお、上述した実施形態は本発明に係る画像処理装置の一例を示すものである。本発明に係る画像処理装置は、実施形態に係る画像処理装置１に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像処理装置を変形し、又は他のものに適用したものであってもよい。
　例えば、上述した実施形態では、カメラ２０が静止画像を連続撮像する例を説明したが、カメラ２０は、動画を撮像するものであってもよい。この場合、入力部１０は、撮像された動画から連続する画像を抽出する機能を有していてもよい。また、入力部１０が入力する画像は、別の機器からネットワークを介して送信された画像であってもよい。
　また、上述した実施形態では、カメラ２０により撮像された画像の大きさは同一であるとして説明したが、撮像された画像の大きさは撮像の度に異なる大きさであってもよい。
　また、上述した実施形態では、入力部１０、選択部１１、マッチング部１２、推定部１３、合成部１４及び案内部１５を備える場合を説明したが、要求される性能に応じて適宜変更してもよい。例えば、必要に応じて案内部１５は備えなくてもよい。
　さらに、上述した実施形態では、画像を図５に示す８自由度で変形する場合を説明したが、８自由度に限られるものではなく、例えば図５中の（Ａ）～（Ｆ）に示す６自由度であってもよい。
　１…画像処理装置、１０…入力部、１１…選択部、１２…マッチング部、１３…推定部、１４…合成部、１５…案内部、２０…カメラ、２１…表示部。

Claims (13)

  1. 　撮像素子によって撮像された画像を順次入力し、入力の度につなぎ合わせて合成画像を生成する画像処理装置であって、
    　前記画像を順次入力する入力部と、
    　前記入力部によって新たに入力された処理対象の画像である対象画像よりも前に前記入力部によって入力された１又は複数の画像からなる入力済画像の中から基準画像を選択する選択部と、
    　前記基準画像の特徴点と前記対象画像の特徴点との対応関係を算出するマッチング部と、
    　前記基準画像と前記対象画像との間の動きが前記撮像素子の回転運動のみであるとして、前記マッチング部によって前記対応関係が算出された前記特徴点のペアの位置情報を用いて前記基準画像の座標系と前記対象画像の座標系とを対応させる変換式を推定する推定部と、
    　前記変換式に基づいて、前記基準画像と前記対象画像とを繋ぎ合わせて前記合成画像を生成する合成部と、
    を備える画像処理装置。
  2. 　前記推定部は、前記撮像素子の位置を原点とした三次元座標系の各軸の回転成分のみからなる変換式を推定する請求項１に記載の画像処理装置。
  3. 　前記推定部は、前記変換式を用いて変換された前記特徴点のペアのそれぞれの位置情報の差分を含む目的関数を用意し、最適化手法を用いて前記目的関数が最小値となるように収束演算することで前記変換式を推定する請求項１又は２に記載の画像処理装置。
  4. 　前記推定部は、前記対象画像よりも前に前記入力部によって入力された画像が複数存在する場合には、収束演算の初期値として、前記対象画像の直前に前記入力部によって入力された画像の前記変換式を採用する請求項３に記載の画像処理装置。
  5. 　前記推定部は、前記マッチング部によって前記対応関係が算出された前記特徴点のペアを球面に投影し、投影後の前記特徴点のペアの位置情報を用いて前記基準画像の座標系と前記対象画像の座標系とを対応させる変換式を推定する請求項３に記載の画像処理装置。
  6. 　前記推定部は、前記対象画像よりも前に前記入力部によって入力された画像が複数存在し、かつ、前記対象画像よりも前に前記入力部によって入力された画像の中の少なくとも１つが前記基準画像及び前記対象画像と重なる場合には、前記基準画像、前記基準画像に重なる画像及び前記対象画像のそれぞれの特徴点のペアを用いて、前記基準画像の座標系と前記基準画像に重なる画像の座標系とを対応させる変換式、及び、前記基準画像の座標系と前記対象画像の座標系とを対応させる変換式を、互いに関連づけて推定する請求項１～５の何れか一項に記載の画像処理装置。
  7. 　前記選択部は、前記基準画像と前記対象画像との距離が所定値以上である場合には、当該対象画像を前記入力部によって次回以降新たに入力される処理対象の画像である対象画像の前記基準画像として選択する請求項１～６の何れか一項に記載の画像処理装置。
  8. 　前記選択部は、前記対象画像と前記基準画像との距離よりも前記対象画像と過去の前記基準画像との距離の方が小さい場合には、過去の基準画像を次回以降新たに入力される処理対象の画像である対象画像の前記基準画像として選択する請求項７に記載の画像処理装置。
  9. 　前記マッチング部は、前記対象画像と過去の前記基準画像との距離が所定値以下の場合には、過去の前記基準画像の特徴点と前記対象画像の特徴点との対応関係をさらに算出し、
    　前記推定部は、過去の前記基準画像と前記対象画像との前記特徴点のペアの位置情報を用いて、過去の前記基準画像の座標系と前記対象画像の座標系とを対応させる変換式をさらに推定し、
    　前記基準画像の座標系と前記対象画像の座標系とを対応させる変換式、過去の前記基準画像の座標系と前記対象画像の座標系とを対応させる変換式を用いて、前記基準画像と過去の前記基準画像とを対応させる請求項８に記載の画像処理装置。
  10. 　画像を表示する表示部に接続され、ユーザのカメラ操作を誘導する案内表示を前記表示部に表示させる案内部をさらに備え、
    　前記推定部は、前記変換式を推定した前記基準画像と前記対象画像とをリンクさせ、相対位置を決定済みのペアであるとして記録し、
    　前記合成部は、前記合成画像を前記表示部へ出力し、
    　前記案内部は、前記相対位置を決定済みのペアのうち今回の前記基準画像とのホップ数が所定値以上でかつ今回の前記基準画像と重ならない第１画像が存在する場合には、現在の撮像位置から前記第１画像の画像位置へ撮像位置を誘導する前記案内表示を前記表示部へ表示させる請求項１～９の何れか一項に記載の画像処理装置。
  11. 　撮像素子によって撮像された画像を順次入力し、入力の度につなぎ合わせて合成画像を生成する画像処理方法であって、
    　前記画像を順次入力する入力ステップと、
    　前記入力ステップによって新たに入力された処理対象の画像である対象画像よりも前に前記入力ステップによって入力された１又は複数の画像からなる入力済画像の中から基準画像を選択する選択ステップと、
    　前記基準画像の特徴点と前記対象画像の特徴点との対応関係を算出するマッチングステップと、
    　前記基準画像と前記対象画像との間の動きが前記撮像素子の回転運動のみであるとして、前記マッチングステップによって前記対応関係が算出された前記特徴点のペアの位置情報を用いて前記基準画像の座標系と前記対象画像の座標系とを対応させる変換式を推定する推定ステップと、
    　前記変換式に基づいて、前記基準画像と前記対象画像とを繋ぎ合わせて前記合成画像を生成する合成ステップと、
    を備える画像処理方法。
  12. 　撮像素子によって撮像された画像を順次入力し、入力の度につなぎ合わせて合成画像を生成するようにコンピュータを機能させる画像処理プログラムであって、
    　前記コンピュータを、
    　前記画像を順次入力する入力部、
    　前記入力部によって新たに入力された処理対象の画像である対象画像よりも前に前記入力部によって入力された１又は複数の画像からなる入力済画像の中から基準画像を選択する選択部、
    　前記基準画像の特徴点と前記対象画像の特徴点との対応関係を算出するマッチング部、
    　前記基準画像と前記対象画像との間の動きが前記撮像素子の回転運動のみであるとして、前記マッチング部によって前記対応関係が算出された前記特徴点のペアの位置情報を用いて前記基準画像の座標系と前記対象画像の座標系とを対応させる変換式を推定する推定部、及び、
    　前記変換式に基づいて、前記基準画像と前記対象画像とを繋ぎ合わせて前記合成画像を生成する合成部として機能させる画像処理プログラム。
  13. 　撮像素子によって撮像された画像を順次入力し、入力の度につなぎ合わせて合成画像を生成するようにコンピュータを機能させる画像処理プログラムを記録したコンピュータ読取可能な記録媒体であって、
    　前記コンピュータを、
    　前記画像を順次入力する入力部、
    　前記入力部によって新たに入力された処理対象の画像である対象画像よりも前に前記入力部によって入力された１又は複数の画像からなる入力済画像の中から基準画像を選択する選択部、
    　前記基準画像の特徴点と前記対象画像の特徴点との対応関係を算出するマッチング部、
    　前記基準画像と前記対象画像との間の動きが前記撮像素子の回転運動のみであるとして、前記マッチング部によって前記対応関係が算出された前記特徴点のペアの位置情報を用いて前記基準画像の座標系と前記対象画像の座標系とを対応させる変換式を推定する推定部、及び、
    　前記変換式に基づいて、前記基準画像と前記対象画像とを繋ぎ合わせて前記合成画像を生成する合成部として機能させる前記画像処理プログラムを記録した記録媒体。
PCT/JP2012/077491 2012-10-24 2012-10-24 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 WO2014064783A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US14/233,294 US10136054B2 (en) 2012-10-24 2012-10-24 Image processing device for compositing panoramic images, image processing program and recording medium
KR1020167036356A KR101819851B1 (ko) 2012-10-24 2012-10-24 화상 처리 장치, 화상 처리 방법, 및 기록 매체
CN201280072705.3A CN104272344B (zh) 2012-10-24 2012-10-24 图像处理装置以及图像处理方法
PCT/JP2012/077491 WO2014064783A1 (ja) 2012-10-24 2012-10-24 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN201710531324.1A CN107256532B (zh) 2012-10-24 2012-10-24 图像处理装置、图像处理方法以及记录介质
JP2013513456A JP5493114B1 (ja) 2012-10-24 2012-10-24 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
KR1020157011097A KR101692652B1 (ko) 2012-10-24 2012-10-24 화상 처리 장치, 화상 처리 방법, 및 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/077491 WO2014064783A1 (ja) 2012-10-24 2012-10-24 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
WO2014064783A1 true WO2014064783A1 (ja) 2014-05-01

Family

ID=50544181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077491 WO2014064783A1 (ja) 2012-10-24 2012-10-24 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US10136054B2 (ja)
JP (1) JP5493114B1 (ja)
KR (2) KR101692652B1 (ja)
CN (2) CN104272344B (ja)
WO (1) WO2014064783A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
JP2017120653A (ja) * 2015-01-19 2017-07-06 株式会社リコー 線形パノラマ画像連結のためのプレビュー画像取得ユーザインタフェース
US10713828B2 (en) 2016-02-02 2020-07-14 Morpho, Inc. Image processing device, image processing method, non-transitory computer readable recording medium and photographing assist equipment

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3039617B1 (en) 2013-08-31 2020-05-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
EP3540683A1 (en) 2013-12-03 2019-09-18 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
WO2015104235A1 (en) 2014-01-07 2015-07-16 Dacuda Ag Dynamic updating of composite images
EP3748953B1 (en) * 2014-01-07 2024-04-17 ML Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
JP6452440B2 (ja) * 2014-12-26 2019-01-16 任天堂株式会社 画像表示システム、画像表示装置、画像表示方法、およびプログラム
KR102468086B1 (ko) * 2015-11-06 2022-11-17 삼성전자주식회사 컨텐츠 표시 방법 및 이를 구현한 전자 장치
JP6604908B2 (ja) 2016-06-10 2019-11-13 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
EP3515317B1 (en) * 2016-09-20 2020-05-20 Koninklijke Philips N.V. Ultrasound transducer tile registration
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10410362B2 (en) * 2016-11-14 2019-09-10 Htc Corporation Method, device, and non-transitory computer readable storage medium for image processing
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
JP6699902B2 (ja) * 2016-12-27 2020-05-27 株式会社東芝 画像処理装置及び画像処理方法
US10616551B2 (en) * 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams
CN108965687B (zh) * 2017-05-22 2021-01-29 阿里巴巴集团控股有限公司 拍摄方向识别方法、服务器及监控方法、系统及摄像设备
JP2019012360A (ja) * 2017-06-29 2019-01-24 キヤノン株式会社 情報処理装置、プログラム及び情報処理方法
CN107945204B (zh) * 2017-10-27 2021-06-25 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
JP7118729B2 (ja) * 2018-05-11 2022-08-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN109074757B (zh) * 2018-07-03 2021-11-09 达闼机器人有限公司 一种建立地图的方法、终端和计算机可读存储介质
US10719944B2 (en) * 2018-09-13 2020-07-21 Seiko Epson Corporation Dynamic object tracking
US10986287B2 (en) 2019-02-19 2021-04-20 Samsung Electronics Co., Ltd. Capturing a photo using a signature motion of a mobile device
CN110232654A (zh) * 2019-04-24 2019-09-13 薄涛 图像合成方法、装置、设备及其存储介质
FI20196125A1 (en) * 2019-12-23 2021-06-24 Truemed Oy A method for identifying the authenticity of an object
KR20210133472A (ko) * 2020-04-29 2021-11-08 삼성전자주식회사 이미지 병합 방법 및 이를 수행하는 데이터 처리 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173492A (ja) * 1996-11-08 1999-03-16 Ricoh Co Ltd 座標変換方法、画像合成方法及び情報記録媒体
JP2002042125A (ja) * 2000-07-26 2002-02-08 Minolta Co Ltd 画像合成装置、画像合成方法、および、画像合成プログラムを記録したコンピュータ読取可能な記録媒体
JP2009060278A (ja) * 2007-08-30 2009-03-19 Olympus Imaging Corp カメラ及びこれに適用されるパノラマ撮影ガイド表示方法，パノラマ撮影ガイド表示プログラム
JP2011104137A (ja) * 2009-11-18 2011-06-02 Aloka Co Ltd 超音波診断システム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5977977A (en) * 1995-08-04 1999-11-02 Microsoft Corporation Method and system for multi-pass rendering
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6104840A (en) * 1996-11-08 2000-08-15 Ricoh Company, Ltd. Method and system for generating a composite image from partially overlapping adjacent images taken along a plurality of axes
US7092012B2 (en) * 1996-11-15 2006-08-15 Canon Kabushiki Kaisha Image processing apparatus and method, storage medium, and communication system
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
US6657667B1 (en) * 1997-11-25 2003-12-02 Flashpoint Technology, Inc. Method and apparatus for capturing a multidimensional array of overlapping images for composite image generation
US6891561B1 (en) * 1999-03-31 2005-05-10 Vulcan Patents Llc Providing visual context for a mobile active visual display of a panoramic region
JP2001104137A (ja) 1999-10-07 2001-04-17 Denso Corp 皿用ｉｄタグ
JP4169464B2 (ja) 1999-12-28 2008-10-22 株式会社リコー 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体
US7656429B2 (en) * 2004-02-04 2010-02-02 Hewlett-Packard Development Company, L.P. Digital camera and method for in creating still panoramas and composite photographs
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US7639897B2 (en) * 2006-01-24 2009-12-29 Hewlett-Packard Development Company, L.P. Method and apparatus for composing a panoramic photograph
US7995861B2 (en) * 2006-12-13 2011-08-09 Adobe Systems Incorporated Selecting a reference image for images to be joined
KR100800804B1 (ko) * 2006-12-27 2008-02-04 삼성전자주식회사 파노라마 영상 촬영 방법
KR100869952B1 (ko) * 2007-02-14 2008-11-24 삼성전자주식회사 파노라마 사진 촬영 방법 및 장치
CN101304515A (zh) * 2007-05-11 2008-11-12 徐世刚 全景式倒车引导系统
EP2158576A1 (en) * 2007-06-08 2010-03-03 Tele Atlas B.V. Method of and apparatus for producing a multi-viewpoint panorama
US8717412B2 (en) * 2007-07-18 2014-05-06 Samsung Electronics Co., Ltd. Panoramic image production
JP4377932B2 (ja) * 2007-07-26 2009-12-02 株式会社モルフォ パノラマ画像生成装置およびプログラム
JP5144237B2 (ja) * 2007-12-05 2013-02-13 キヤノン株式会社 画像処理装置、その制御方法、プログラム
JP5223318B2 (ja) * 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4720859B2 (ja) * 2008-07-09 2011-07-13 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
CN101656840B (zh) * 2008-08-22 2011-09-28 原相科技股份有限公司 广角传感器阵列模块及其图像校正方法、操作方法与应用
WO2010025309A1 (en) * 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
IL193906A (en) * 2008-09-04 2012-06-28 Pro Track Ltd Methods and systems for creating an aligned bank of images with an iterative self-correction technique for coordinate acquisition and object detection
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
JP5163676B2 (ja) * 2010-03-19 2013-03-13 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US8428390B2 (en) * 2010-06-14 2013-04-23 Microsoft Corporation Generating sharp images, panoramas, and videos from motion-blurred videos
CN101963751B (zh) 2010-08-19 2011-11-30 西北工业大学 高分辨率实时全景高动态范围图像获取装置及方法
CN101984463A (zh) 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
KR101106567B1 (ko) * 2011-09-29 2012-01-19 한국종합설계 주식회사 도화이미지의 부분수정이 가능한 편집용 영상도화 처리시스템
JP5522545B2 (ja) * 2011-10-18 2014-06-18 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
US9516223B2 (en) * 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
US9325861B1 (en) * 2012-10-26 2016-04-26 Google Inc. Method, system, and computer program product for providing a target user interface for capturing panoramic images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173492A (ja) * 1996-11-08 1999-03-16 Ricoh Co Ltd 座標変換方法、画像合成方法及び情報記録媒体
JP2002042125A (ja) * 2000-07-26 2002-02-08 Minolta Co Ltd 画像合成装置、画像合成方法、および、画像合成プログラムを記録したコンピュータ読取可能な記録媒体
JP2009060278A (ja) * 2007-08-30 2009-03-19 Olympus Imaging Corp カメラ及びこれに適用されるパノラマ撮影ガイド表示方法，パノラマ撮影ガイド表示プログラム
JP2011104137A (ja) * 2009-11-18 2011-06-02 Aloka Co Ltd 超音波診断システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017120653A (ja) * 2015-01-19 2017-07-06 株式会社リコー 線形パノラマ画像連結のためのプレビュー画像取得ユーザインタフェース
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
WO2017027884A1 (en) * 2015-08-13 2017-02-16 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US10713828B2 (en) 2016-02-02 2020-07-14 Morpho, Inc. Image processing device, image processing method, non-transitory computer readable recording medium and photographing assist equipment

Also Published As

Publication number Publication date
KR101819851B1 (ko) 2018-01-17
CN107256532A (zh) 2017-10-17
US20150229840A1 (en) 2015-08-13
KR20170002693A (ko) 2017-01-06
KR101692652B1 (ko) 2017-01-03
CN107256532B (zh) 2020-09-18
KR20150065778A (ko) 2015-06-15
CN104272344A (zh) 2015-01-07
JPWO2014064783A1 (ja) 2016-09-05
CN104272344B (zh) 2017-07-14
US10136054B2 (en) 2018-11-20
JP5493114B1 (ja) 2014-05-14

Similar Documents

Publication Publication Date Title
WO2014064783A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4196216B2 (ja) 画像合成システム、画像合成方法及びプログラム
US10452945B2 (en) Image generating device, electronic device, image generating method and recording medium
JP4620607B2 (ja) 画像処理装置
JP6100089B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4941950B1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4377932B2 (ja) パノラマ画像生成装置およびプログラム
WO2014068779A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US20090225174A1 (en) Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program
US20120269444A1 (en) Image compositing apparatus, image compositing method and program recording device
JP5493112B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5022498B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2012003503A (ja) 画像処理装置およびその制御方法、並びにプログラム
JP5687370B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4128123B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4930304B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
US11106042B2 (en) Image processing apparatus, head-mounted display, and image displaying method
JP5928228B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP2013042213A (ja) 画像処理装置および画像処理方法、プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013513456

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14233294

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12887273

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20157011097

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 12887273

Country of ref document: EP

Kind code of ref document: A1