WO2016185556A1 - 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム - Google Patents

合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム Download PDF

Info

Publication number
WO2016185556A1
WO2016185556A1 PCT/JP2015/064292 JP2015064292W WO2016185556A1 WO 2016185556 A1 WO2016185556 A1 WO 2016185556A1 JP 2015064292 W JP2015064292 W JP 2015064292W WO 2016185556 A1 WO2016185556 A1 WO 2016185556A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
composite image
unit
image generation
region
Prior art date
Application number
PCT/JP2015/064292
Other languages
English (en)
French (fr)
Inventor
洋平 三木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2015/064292 priority Critical patent/WO2016185556A1/ja
Priority to JP2015554911A priority patent/JPWO2016185556A1/ja
Publication of WO2016185556A1 publication Critical patent/WO2016185556A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to a technique for synthesizing a plurality of images.
  • a panoramic image can be generated by virtually projecting a photographed image using a position and orientation information of the photographing apparatus on a plane that is virtually defined at an arbitrary distant position.
  • a plurality of captured images are combined into one image. For this reason, if appropriate combining is not performed at a portion where a plurality of photographed images overlap, the images are displayed in a doubled manner.
  • Patent Document 1 discloses a technique for acquiring an image with little optical parallax.
  • a composite image is generated after reducing the influence of parallax by appropriately arranging lenses.
  • two input images are aligned based on landmark images included in the two input images.
  • geometric transformation is performed on two input images so that landmark images of the two input images overlap.
  • Patent Document 1 in order to reduce the influence of parallax between photographing devices that causes a positional shift when generating a panoramic image, a lens is arranged at a position where an image with little optical parallax can be acquired.
  • a panoramic image is generated from a plurality of photographed images photographed at one photographing position. For this reason, the technique of Patent Document 1 cannot be applied when generating a panoramic image using a plurality of captured images captured at a plurality of capturing positions.
  • Patent Document 2 the alignment of two input images is performed on the basis of a landmark.
  • a transformation matrix corresponding to the landmark is also performed for an area other than the image area of the landmark. For this reason, there is a possibility that subjects other than landmarks are displayed twice, and the closer the subject is, the greater the amount of positional deviation.
  • the present invention has been made in view of the above circumstances, and it is a main object of the present invention to obtain a composite image with little positional deviation even if it is a plurality of images shot at different shooting positions.
  • the composite image generating apparatus is A composite image generation apparatus that generates a composite image by superimposing a first overlap region that is a partial region of a first image and a second overlap region that is a partial region of a second image.
  • a feature point extraction unit that divides the first overlapping region into a plurality of blocks and extracts feature points in units of blocks;
  • a corresponding point extracting unit that extracts corresponding points in the second overlapping region corresponding to the feature points extracted by the feature point extracting unit;
  • An image deforming unit that deforms the first overlapping region and the second overlapping region based on the corresponding feature point and the coordinate position of the corresponding point;
  • a composite image generation unit that generates a composite image by superimposing the first overlap region after being deformed by the image deformation unit and the second overlap region after being deformed by the image deformation unit. And have.
  • the first overlapping region is divided into a plurality of blocks, feature points are extracted in units of blocks in the first overlapping region, and a second overlapping is performed for each feature point extracted in units of blocks. Corresponding points are extracted in the region. For this reason, in the present invention, there are a plurality of dispersed points in the first overlapping region and the second overlapping region, and fine alignment can be performed. Therefore, even if there are a plurality of images shot at different shooting positions, a composite image with little positional deviation can be obtained.
  • FIG. 3 is a diagram illustrating a hardware configuration example of a composite image generation device according to the first embodiment.
  • FIG. 3 is a diagram illustrating a functional configuration example of a composite image generation device according to the first embodiment.
  • FIG. 4 is a flowchart showing an operation example of the composite image generation apparatus according to the first embodiment.
  • FIG. 4 is a diagram showing an example of a projection image according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of an overlapping area according to the first embodiment.
  • FIG. 4 shows an example of block division according to the first embodiment.
  • FIG. 10 is a diagram illustrating a functional configuration example of a composite image generation device according to a second embodiment.
  • FIG. 9 is a flowchart showing an operation example of the composite image generation apparatus according to the second embodiment.
  • FIG. 10 is a diagram illustrating a functional configuration example of a composite image generation device according to a third embodiment.
  • FIG. 9 is a flowchart showing an operation example of a composite image generation apparatus according to Embodiment 3.
  • FIG. *** Explanation of configuration *** FIG. 1 shows a hardware configuration example of a composite image generation apparatus according to the present embodiment.
  • the composite image generation apparatus according to the present embodiment is a computer and includes an arithmetic processor 1, a system memory 2, a drawing graphics LSI (Large-Scale Integration) 3, a graphics memory 5, and an image capture LSI 6.
  • the arithmetic processor 1 is composed of, for example, a CPU (Central Processing Unit) and has a function of executing arithmetic processing.
  • the arithmetic processor 1 mounts an OS (Operating System) and executes a composite image generation program 4 on the OS.
  • the composite image generation program 4 is a program that realizes the functions of the image acquisition unit 101, the projection image generation unit 104, the feature point extraction unit 105, the corresponding point extraction unit 106, the image deformation unit 107, and the composite image generation unit 108 shown in FIG. It is.
  • the system memory 2 holds data such as an OS, a composite image generation program 4, and photographing apparatus position information described later, and inputs and outputs these data in response to a request from the arithmetic processor 1.
  • the drawing graphics LSI 3 draws a composite image in accordance with an instruction from the arithmetic processor 1.
  • the drawing graphics LSI 3 is connected to the graphics memory 5, and the graphics memory 5 holds an image to be synthesized and an image after synthesis.
  • the drawing graphics LSI 3 inputs / outputs the stored data in response to a request from the arithmetic processor 1.
  • the image capture LSI 6 acquires an image from the photographing apparatus and inputs / outputs data according to an instruction from the arithmetic processor 1.
  • the functions of the image acquisition unit 101, the projection image generation unit 104, the feature point extraction unit 105, the corresponding point extraction unit 106, the image deformation unit 107, and the composite image generation unit 108 may be provided as “circuitry”.
  • the functions of the image acquisition unit 101, the projection image generation unit 104, the feature point extraction unit 105, the corresponding point extraction unit 106, the image deformation unit 107, and the composite image generation unit 108 may be “circuit”, “process”, “procedure”, or It may be read as “processing”.
  • Circuit and “Circuitry” include not only the arithmetic processor 1 but also other types of processing circuits such as logic IC, GA (Gate Array), ASIC (Application Specific Integrated Circuit), or FPGA (Field-Programmable Gate Array). Is a concept that also includes
  • FIG. 2 shows a functional configuration example of the composite image generation apparatus 100 according to the present embodiment.
  • the composite image generation apparatus 100 is connected to the imaging apparatus 301, the imaging apparatus 302, the imaging apparatus 303, and the display apparatus 200.
  • the imaging device 300 When there is no need to distinguish the imaging device 301, the imaging device 302, and the imaging device 303, the imaging device 301, the imaging device 302, and the imaging device 303 are collectively referred to as the imaging device 300.
  • FIG. 2 shows an example in which there are three photographing devices 300, the number of photographing devices 300 may be any number.
  • the composite image generation apparatus 100 includes an image acquisition unit 101, an imaging device information storage unit 102, a projection plane information storage unit 103, a projection image generation unit 104, a feature point extraction unit 105, a corresponding point extraction unit 106, an image deformation unit 107, a synthesis An image generation unit 108 is provided. Each element will be described below.
  • the image acquisition unit 101 acquires a captured image captured by the imaging apparatus 300.
  • the imaging device information storage unit 102 holds imaging position / orientation information and lens characteristic information.
  • the photographing position / orientation information is information on the installation position and orientation of the photographing apparatus 300.
  • the lens characteristic information is information such as a focal length of the lens of the photographing apparatus 300 and parameters for correcting lens distortion.
  • the projection plane information storage unit 103 holds projection plane information that is information on the shape and position of the virtual projection plane.
  • the virtual projection plane is a virtual projection plane for projecting the captured image acquired by the image acquisition unit 101 prior to the generation of the composite image.
  • the projection image generation unit 104 generates a projection image by projecting the captured image acquired by the image acquisition unit 101 on a projection plane. More specifically, the projection image generation unit 104 includes the imaging device position / orientation information and lens characteristic information held in the imaging device information storage unit 102 and the projection plane information held in the projection plane information storage unit 103. In addition, the captured image is projected onto the projection plane to generate a projection image.
  • the feature point extraction unit 105 extracts feature points. Specifically, the feature point extraction unit 105 obtains a region to be superimposed (hereinafter referred to as a superimposed region) for each of two adjacent projection images in image synthesis. Then, the feature point extraction unit 105 divides the first overlapping area, which is an overlapping area of one projection image (example of the first image), into a plurality of blocks, and extracts feature points in units of blocks.
  • the corresponding point extraction unit 106 corresponds to the feature point extracted by the feature point extraction unit 105, and corresponds to the second overlapping region that is the overlapping region of the other projection image (second image example). To extract.
  • the corresponding point extraction unit 106 extracts a point in the second overlapping region having a feature in common with the feature point extracted by the feature point extraction unit 105 as a corresponding point.
  • the corresponding point extraction unit 106 calculates the luminance gradient of the feature point extracted by the feature point extraction unit 105, and extracts the corresponding point in the second overlapping region based on the calculated luminance gradient.
  • the image deforming unit 107 deforms the first overlapping region and the second overlapping region based on the feature points in correspondence and the coordinate positions of the corresponding points. More specifically, the shift between the coordinate positions of the feature points and the corresponding points in the correspondence relationship is obtained, and the first overlap region and the second overlap region are deformed so that the shift is eliminated.
  • the composite image generation unit 108 combines the two projection images after being deformed by the image deformation unit 107 into one image. In other words, the composite image generation unit 108 superimposes the first overlap region after being deformed by the image deformation unit 107 and the second overlap region after being deformed by the image deformation unit 107 on the composite image. Is generated.
  • the display device 200 displays the composite image generated by the composite image generation device 100.
  • the photographing position / orientation information and lens characteristic information of the photographing apparatus 300 are stored in the photographing apparatus information storage unit 102 (step ST101).
  • the projection plane information is stored in the projection plane information storage unit (step ST102).
  • the shape of the virtual projection plane used in this embodiment is an appropriate shape depending on the display target, such as a plane when a wide plane display is desired, or a cylinder when a wide angle display is desired from a certain viewpoint. Is defined.
  • Steps ST101 and ST102 are operations performed in advance prior to the generation of the composite image.
  • the image acquisition unit 101 acquires captured images captured by the imaging devices 301 to 303 (step ST103).
  • the projection image generation unit 104 reads projection plane information from the projection plane information storage unit 103.
  • the projection image generation unit 104 reads shooting position / orientation information and lens characteristic information from the shooting apparatus information storage unit 102.
  • the projection image generation unit 104 uses the projection plane information, the shooting position / orientation information, and the lens characteristic information to generate a projection image when each shot image is projected onto the virtual projection plane (step ST104).
  • the projection image generation unit 104 can generate a projection image as follows.
  • the projection image generation unit 104 converts the projection plane information into polygon information, and changes from the intersection of the three-dimensional position of each polygon vertex and the center of the imaging device to the vertex of each polygon from the intersection of the imaging device plane of the imaging device.
  • three-dimensional position D the pixel on the corresponding captured image (dist x, dist y, dist z) determining the T.
  • the point Q ′ on the imaging element plane of the imaging apparatus is represented by the equation (2).
  • Q (P ⁇ C) * t + C (1)
  • Q ′ u * a + v * b + I (2)
  • u represents a unit vector in the x-axis direction of the image sensor
  • v represents a unit vector in the y-axis direction on the image sensor
  • I represents a center coordinate of the image sensor.
  • the projection image generation unit 104 generates a projection image from the position of the image sensor corresponding to each pixel on the projection surface obtained in this way.
  • the feature point extraction unit 105 extracts feature points in units of blocks in the overlapping area (step ST105) (feature point extraction processing).
  • feature point extraction processing The operation of the feature point extraction unit 105 will be described with reference to FIGS. 4, 5, and 6.
  • a first projection image 401 is a projection image generated from a first photographed image (for example, a photographed image of the photographing device 301) photographed at the first photographing position.
  • the second projected image 402 is a projected image generated from a second photographed image (for example, a photographed image of the photographing device 302) photographed at a second photographing position different from the first photographing position.
  • the first projection image 401 and the second projection image 402 are adjacent projection images in the image composition.
  • the feature point extraction unit 105 obtains an overlapping area (first overlapping area) of the first projection image 401 and an overlapping area (second overlapping area) of the second projection image 402. As shown in FIG.
  • the region surrounded by the frame line 501 in the first projection image 401 is the first overlapping region
  • the region surrounded by the frame line 501 in the second projection image 402. The region is the second overlapping region.
  • the feature point extraction unit 105 divides the first overlapping region of the first projection image 401 into a plurality of rectangular blocks 601 and extracts feature points in units of blocks 601. .
  • the feature point extraction unit 105 may extract one or more feature points from all the blocks 601, or may not extract feature points from some blocks 601. However, it is assumed that the feature point extraction unit 105 extracts feature points from 70% or more of all blocks in the first overlapping region.
  • the feature point extraction unit 105 extracts feature points using, for example, a Harris Detector.
  • the corresponding point extraction unit 106 extracts a corresponding point in the other projected image for each feature point extracted in step ST105 (step ST106) (corresponding point extraction process).
  • the corresponding point extraction unit 106 searches for the periphery of the same coordinate position as the feature point in the second overlapping region of the second projection image 402 shown in FIG. Extract as For example, the corresponding point extraction unit 106 calculates a luminance gradient of the feature point, and extracts a corresponding point showing the same tendency as the calculated luminance gradient. Note that the corresponding point extraction unit 106 can search for feature points using a technique such as normalized cross-correlation.
  • the image deformation unit 107 deforms both projection images so that the corresponding feature points and the corresponding points coincide (step ST107) (image deformation processing). That is, the image deformation unit 107 deforms both projection images so that the deviation amount between the coordinate position of the feature point and the coordinate position of the corresponding point becomes zero.
  • the image transformation unit 107 changes the ratio of moving each feature point according to the distance of each feature point from the center of the original captured image. Similarly, the image transformation unit 107 changes the ratio of moving each corresponding point according to the distance from the center of the original captured image of each corresponding point.
  • the image transformation unit 107 obtains the destination of each feature point in the first overlapping region, and then obtains the destination of another point (a point other than the feature point).
  • the image transformation unit 107 obtains a destination of each corresponding point in the second overlapping area, and then obtains a destination of another point (a point other than the corresponding point).
  • the image transformation unit 107 obtains the movement destination of other points by linear interpolation based on the movement destinations of feature points or corresponding points around the other points. For blocks for which feature points could not be extracted in step ST105, the image transformation unit 107 could not extract feature points based on the amount of movement of feature points around the blocks for which feature points could not be extracted.
  • the destination of the point inside is obtained by linear interpolation.
  • the image transformation unit 107 instead of matching the coordinate positions of the feature points and the corresponding points, the corresponding points around the corresponding points. Based on the movement destination, the movement destination of the corresponding point is obtained by linear interpolation.
  • the feature point is moved based on the destination of the surrounding feature point. Find the destination by linear interpolation. Derivation of the movement destination by such linear interpolation can prevent erroneous deformation processing.
  • the synthesized image generation unit 108 synthesizes the projection image after the overlapping area is deformed (step ST108) (synthesized image generation process). That is, the composite image generation unit 108 generates a composite image by superimposing the respective overlap regions on the two projection images after the overlap region is deformed. Note that the composite image generation unit 108 obtains the color information of each pixel after the overlapping regions are overlapped, for example, by adding and averaging the color information of the respective overlapping regions. Further, the composite image generation unit 108 may obtain the color information of each pixel after the overlapping region is overlapped by a method in which the influence of the shooting center is stronger as the pixel is closer to the shooting center.
  • the composite image generation unit 108 obtains a line with a small luminance gradient from the upper end to the lower end of the overlapping area, and determines the density of pixel information to be displayed on the left and right of the line, thereby making the composite part inconspicuous. Can do.
  • the first overlapping region is divided into a plurality of blocks, feature points are extracted in units of blocks in the first overlapping region, and each feature point extracted in units of blocks is extracted.
  • corresponding points are extracted in the second overlapping region.
  • a plurality of points serving as a reference for alignment exist in the first overlap region and the second overlap region, and fine alignment can be performed. Therefore, even if there are a plurality of images shot at different shooting positions, a composite image with little positional deviation can be obtained.
  • by performing local image deformation in the overlapping region it is possible to avoid double display of objects in the image and to generate a natural composite image.
  • Embodiment 2 An example in which a projection image is generated by adjusting the projection angle of a captured image on a virtual projection plane will be described.
  • FIG. 7 shows a functional configuration example of the composite image generation apparatus 100 according to the present embodiment.
  • a viewpoint information storage unit 109 is added compared to FIG.
  • the viewpoint information storage unit 109 holds viewpoint information.
  • the viewpoint information is information that defines a viewpoint position when generating a projection image.
  • the elements other than the viewpoint information storage unit 109 are the same as those shown in FIG.
  • Step ST201 and step ST202 are the same as step ST101 and step 102 of FIG.
  • the projection image generation unit 104 acquires viewpoint information from the viewpoint information storage unit 109 (step ST203).
  • the viewpoint information is information such as the three-dimensional position of the viewpoint and the viewing angle.
  • a viewpoint position with respect to the composite image displayed on the display device 200 is defined.
  • the composite image generated by the composite image generation apparatus 100 according to the present embodiment is an image based on the viewpoint position defined by the viewpoint information.
  • the image acquisition unit 101 acquires captured images captured by the imaging devices 301 to 303 (step ST204).
  • the projection image generation unit 104 uses the projection plane information, the shooting position and orientation information, the lens characteristic information, and the viewpoint information to generate a projection image when each shot image is projected onto the virtual projection plane (step ST205). ).
  • the projection image generation unit 104 uses the viewpoint position and the viewing angle defined by the viewpoint information, so that each pixel of the composite image displayed on the display device 200 is displayed on the virtual projection plane. It can be determined whether it corresponds to the position.
  • the projection image generation unit 104 projects the pixel value of the photographed image at the intersection of a straight line connecting the viewpoint position and the pixel position of the photographed image and the virtual projection plane.
  • the projection image generation unit 104 generates a projection image by adjusting the projection angle of the captured image on the virtual projection plane in accordance with the viewpoint position.
  • steps ST206 to ST209 are the same as steps ST105 to 108 in FIG.
  • Embodiment 3 The composite image generation apparatus 100 according to Embodiments 1 and 2 deforms the overlapping region of the projection image immediately after extracting the feature points and the corresponding points.
  • the composite image generation apparatus 100 according to the present embodiment derives a deformation procedure for the overlapping area after extracting the feature points and the corresponding points, generates deformation procedure information describing the derived deformation procedure, and generates the deformation procedure information.
  • the composite image generation apparatus 100 according to the present embodiment deforms the first overlap region and the second overlap region according to the deformation procedure described in the deformation procedure information when combining the projection images.
  • FIG. 10 shows a functional configuration example of the composite image generation apparatus 100 according to the present embodiment.
  • a deformation procedure information storage unit 110 and a deformation procedure information generation unit 111 are added, and an image deformation unit 112 is included instead of the image deformation unit 107.
  • the deformation procedure information generation unit 111 generates deformation procedure information.
  • the deformation procedure information is information describing a deformation procedure of the first overlapping area and the second overlapping area.
  • the deformation procedure information generation unit 111 generates deformation procedure information based on the feature points in correspondence and the coordinate positions of the corresponding points.
  • the modification procedure information storage unit 110 holds the modification procedure information generated by the modification procedure information generation unit 111.
  • the image deformation unit 112 deforms the first overlapping region and the second overlapping region according to the deformation procedure described in the deformation procedure information.
  • the image transformation unit 107 according to the first embodiment calculates the destination of the feature point and the destination of the corresponding point that sets the deviation amount between the feature point and the corresponding point to 0, and first calculates the first based on the calculated destination.
  • the overlapping region and the second overlapping region are deformed.
  • the image deforming unit 112 does not calculate the movement destinations of the feature points and the corresponding points, and performs the first overlapping region and the second overlapping region according to the deformation procedure of the deformation procedure information. Deform.
  • the elements other than the deformation procedure information storage unit 110, the deformation procedure information generation unit 111, and the image deformation unit 112 are the same as those illustrated in FIG.
  • Steps ST301 to ST307 are the same as steps ST201 to 207 in FIG.
  • the deformation procedure information generation unit 111 generates deformation procedure information.
  • the deformation procedure information generation unit 111 performs the same analysis as the image deformation unit 107 of the first embodiment and generates deformation procedure information. That is, the transformation procedure information generation unit 111 calculates the destination of the feature point destination and the destination of the corresponding point where the deviation amount between the coordinate position of the feature point and the coordinate position of the corresponding point is zero.
  • the deformation procedure information generation unit 111 calculates the movement destination of a point other than the feature point for the first overlapping area by linear interpolation, and determines the movement destination of the point other than the corresponding point for the second overlapping area.
  • the deformation procedure information generation unit 111 derives a deformation procedure for the first overlapping area and a deformation procedure for the second overlapping area. Then, the deformation procedure information generation unit 111 generates deformation procedure information in which the deformation procedure of the first overlapping area and the deformation procedure of the second overlapping area are described, and the deformation procedure information is stored in the deformation procedure information storage unit 110. Store.
  • a certain feature point is located far away from the surrounding feature points. The processing in a certain case is the same as that of the image transformation unit 107 of the first embodiment.
  • the image deformation unit 112 reads the deformation procedure information from the deformation procedure information storage unit 110, and deforms the first overlap area and the second overlap area according to the deformation procedure described in the deformation procedure information. .
  • the synthesized image generation unit 108 synthesizes the two projected images after deformation to generate a synthesized image (step ST310).
  • the image deforming unit 107 when the frame of the moving image data is composed of the composite image, it is necessary for the image deforming unit 107 to derive the deformation procedure of the first overlapping region and the second overlapping region for each frame. is there.
  • the image deforming unit 112 determines the first overlapping area and the The second overlapping region can be deformed, and there is no need to derive a deformation procedure for each frame. For this reason, the image acquisition unit 101 can acquire a captured image at a short time interval and display a composite image on the display device 200 at the same interval.
  • the deformation procedure information generation unit 111 may generate the deformation procedure information only when there is a change in the drawing content in the overlapping area. Further, the deformation procedure information generation unit 111 may update the deformation procedure information at regular time intervals.
  • 1 arithmetic processor, 2 system memory, 3 drawing graphics LSI, 4 composite image generation program, 5 graphics memory, 6 image capture LSI, 100 composite image generation device, 101 image acquisition unit, 102 photographing device information storage unit, 103 projection Surface information storage unit, 104 Projection image generation unit, 105 Feature point extraction unit, 106 Corresponding point extraction unit, 107 Image deformation unit, 108 Composite image generation unit, 109 View point information storage unit, 110 Deformation procedure information storage unit, 111 Deformation procedure Information generating unit, 112, image deforming unit, 200 display device, 300 photographing device, 301 photographing device, 302 photographing device, 303 photographing device.

Abstract

合成画像生成装置（１００）は、第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成する。特徴点抽出部（１０５）は、第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する。対応点抽出部（１０６）は、特徴点抽出部（１０５）により抽出された特徴点に対応する、第２の重ね合わせ領域内の対応点を抽出する。画像変形部（１０７）は、対応関係にある特徴点と対応点の座標位置に基づき、第１の重ね合わせ領域と第２の重ね合わせ領域とを変形させる。合成画像生成部（１０８）は、画像変形部（１０７）により変形された後の第１の重ね合わせ領域と、画像変形部（１０７）により変形された後の第２の重ね合わせ領域とを重ね合わせて合成画像を生成する。

Description

合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム
　本発明は、複数の画像を合成する技術に関する。
　仮想的に遠方の任意の位置に定義された平面に撮影装置の位置及び姿勢情報を用いて撮影画像を仮想的に投影することで、パノラマ画像を生成することができる。
　パノラマ画像の生成では、複数の撮影画像を１つの画像に合成する。
　このため、複数の撮影画像が重なり合う部分で適切な合成を行わないと画像が二重にぶれて表示されてしまう。
　この問題に関して、特許文献１では、光学的に視差の少ない画像を取得する技術が開示されている。
　つまり、特許文献１では、レンズを適切な配置することで視差の影響を少なくしたうえで合成画像を生成している。
　また、特許文献２では、２つの入力画像に含まれるランドマークの画像を基準にして２つの入力画像の位置合わせを行っている。
　特許文献２では、例えば、２つの入力画像のランドマークの画像が重なり合うように２つの入力画像に幾何学的変換を施している。
特願２０１０－９７２２１号公報 特開２０１４－０８６９４８号公報
　特許文献１では、パノラマ画像を生成する際に位置ずれの要因となる撮影装置間の視差の影響を軽減させるために、光学的に視差の少ない画像を取得できる位置にレンズを配置している。
　特許文献１では、１つの撮影位置で撮影された複数の撮影画像でパノラマ画像を生成している。
　このため、特許文献１の技術は、複数の撮影位置で撮影された複数の撮影画像を用いてパノラマ画像を生成する場合には適用することができない。
　また、特許文献２では、ランドマークを基準に２つの入力画像の位置合わせを行っているが、ランドマークの画像領域以外の領域についても、ランドマークに合わせた変換行列を行っている。
　そのため、ランドマーク以外の被写体が二重に表示される可能性があり、被写体が近距離にあるほど、位置ずれの量が大きくなる。
　本発明は、上記の事情に鑑みたものであり、異なる撮影位置で撮影された複数の画像であっても、位置ずれの少ない合成画像を得ることを主な目的とする。
　本発明に係る合成画像生成装置は、
　第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成装置であって、
　前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出部と、
　前記特徴点抽出部により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出部と、
　対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形部と、
　前記画像変形部により変形された後の前記第１の重ね合わせ領域と、前記画像変形部により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成部とを有する。
　本発明では、第１の重ね合わせ領域を複数のブロックに分割し、第１の重ね合わせ領域においてブロック単位で特徴点を抽出し、ブロック単位で抽出された特徴点ごとに、第２の重ね合わせ領域において対応点を抽出する。
　このため、本発明では、位置合わせの基準となる点が第１の重ね合わせ領域と第２の重ね合わせ領域において分散して複数存在し、精細な位置合わせを行うことができる。
　従って、異なる撮影位置で撮影された複数の画像であっても、位置ずれの少ない合成画像を得ることができる。
実施の形態１に係る合成画像生成装置のハードウェア構成例を示す図。 実施の形態１に係る合成画像生成装置の機能構成例を示す図。 実施の形態１に係る合成画像生成装置の動作例を示すフローチャート図。 実施の形態１に係る投影画像の例を示す図。 実施の形態１に係る重ね合わせ領域の例を示す図。 実施の形態１に係るブロック分割の例を示す図。 実施の形態２に係る合成画像生成装置の機能構成例を示す図。 実施の形態２に係る合成画像生成装置の動作例を示すフローチャート図。 実施の形態２に係る視点位置と撮影画像と仮想投影面との関係を示す図。 実施の形態３に係る合成画像生成装置の機能構成例を示す図。 実施の形態３に係る合成画像生成装置の動作例を示すフローチャート図。
　実施の形態１．
＊＊＊構成の説明＊＊＊
　図１は、本実施の形態に係る合成画像生成装置のハードウェア構成例を示す。
　本実施の形態に係る合成画像生成装置は、コンピュータであり、演算プロセッサ１、システムメモリ２、描画グラフィックスＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）３、グラフィックスメモリ５、画像キャプチャＬＳＩ６で構成される。
　演算プロセッサ１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）で構成され、演算処理を実行する機能を有している。
　演算プロセッサ１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）を実装し、このＯＳ上で合成画像生成プログラム４を実行する。
　合成画像生成プログラム４は、図２に示す画像取得部１０１、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８の機能を実現するプログラムである。
　システムメモリ２は、ＯＳ、合成画像生成プログラム４、後述する撮影装置位置情報等のデータを保持しており、演算プロセッサ１からの要求に応じてこれらのデータの入出力を行う。
　つまり、システムメモリ２からＯＳ及び合成画像生成プログラム４が演算プロセッサ１にロードされ、演算プロセッサ１によりＯＳ及び合成画像生成プログラム４が実行される。
　描画グラフィックスＬＳＩ３は、演算プロセッサ１からの指示に従って合成画像を描画する。
　描画グラフィックスＬＳＩ３は、グラフィックスメモリ５に接続されており、グラフィックスメモリ５は合成する画像や合成後の画像を保持している。
　また、描画グラフィックスＬＳＩ３は、演算プロセッサ１からの要求に応じて記憶したデータの入出力を行う。
　画像キャプチャＬＳＩ６は、撮影装置から画像を取得し、演算プロセッサ１からの指示に従って、データの入出力を行う。
　なお、画像取得部１０１、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８の機能を「サーキットリー」で提供してもよい。
　また、画像取得部１０１、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８の機能を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
　「回路」及び「サーキットリー」は、演算プロセッサ１だけでなく、ロジックＩＣ又はＧＡ（Ｇａｔｅ　Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）といった他の種類の処理回路をも包含する概念である。
　図２は、本実施の形態に係る合成画像生成装置１００の機能構成例を示す。
　合成画像生成装置１００は、撮影装置３０１、撮影装置３０２、撮影装置３０３と表示装置２００に接続されている。
　撮影装置３０１、撮影装置３０２、撮影装置３０３をそれぞれ区別する必要がない場合は、撮影装置３０１、撮影装置３０２、撮影装置３０３をまとめて撮影装置３００と表記する。
　図２では、撮影装置３００が３台である例を示しているが、撮影装置３００の台数は何台でもよい。
　合成画像生成装置１００は、画像取得部１０１、撮影装置情報格納部１０２、投影面情報格納部１０３、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８を備える。
　以下にて、各々の要素について説明する。
　画像取得部１０１は、撮影装置３００で撮影された撮影画像を取得する。
　撮影装置情報格納部１０２は、撮影位置姿勢情報及びレンズ特性情報を保持する。
　撮影位置姿勢情報は、撮影装置３００の設置位置や向きの情報である。
　レンズ特性情報は、撮影装置３００のレンズの焦点距離、レンズ歪を補正する際のパラメータなどの情報である。
　投影面情報格納部１０３は、仮想投影面の形状と位置の情報である投影面情報を保持する。
　仮想投影面は、合成画像の生成に先立ち、画像取得部１０１で取得された撮影画像を投影するための仮想的な投影面である。
　投影画像生成部１０４は、画像取得部１０１で取得された撮影画像を投影面に投影して投影画像を生成する。
　より具体的には、投影画像生成部１０４は、撮影装置情報格納部１０２で保持されている撮影装置位置姿勢情報及びレンズ特性情報と投影面情報格納部１０３で保持されている投影面情報をもとに、撮影画像を投影面に投影して投影画像を生成する。
　特徴点抽出部１０５は、特徴点を抽出する。
　具体的には、特徴点抽出部１０５は、画像合成において隣り合う２つの投影画像の各々に対して、重ね合わせの対象の領域（以下、重ね合わせ領域という）を求める。
　そして、特徴点抽出部１０５は、一方の投影画像（第１の画像の例）の重ね合わせ領域である第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する。
　対応点抽出部１０６は、特徴点抽出部１０５により抽出された特徴点に対応する、他方の投影画像（第２の画像の例）の重ね合わせ領域である第２の重ね合わせ領域内の対応点を抽出する。
　対応点抽出部１０６は、特徴点抽出部１０５により抽出された特徴点と共通する特徴をもつ、第２の重ね合わせ領域内の点を対応点として抽出する。
　例えば、対応点抽出部１０６は、特徴点抽出部１０５により抽出された特徴点の輝度勾配を算出し、算出した輝度勾配に基づき、第２の重ね合わせ領域内の対応点を抽出する。
　画像変形部１０７は、対応関係にある特徴点と対応点の座標位置に基づき、第１の重ね合わせ領域と第２の重ね合わせ領域とを変形させる。
　より具体的には、対応関係にある特徴点と対応点の座標位置のずれを求め、ずれがなくなるように、第１の重ね合わせ領域と第２の重ね合わせ領域とを変形させる。
　合成画像生成部１０８は、画像変形部１０７で変形された後の２つの投影画像を１つの画像に合成する。
　つまり、合成画像生成部１０８は、画像変形部１０７により変形された後の第１の重ね合わせ領域と、画像変形部１０７により変形された後の第２の重ね合わせ領域とを重ね合わせて合成画像を生成する。
　表示装置２００は、合成画像生成装置１００で生成された合成画像を表示する。
＊＊＊動作の説明＊＊＊
　次に、実施の形態１の合成画像生成装置１００の動作を図３のフローチャートに基づいて説明する。
　図３に示す手順は、合成画像生成方法及び合成画像生成プログラムの処理例に相当する。
　まず、撮影装置３００の撮影位置姿勢情報及びレンズ特性情報が撮影装置情報格納部１０２に格納される（ステップＳＴ１０１）。
　次に、投影面情報が投影面情報格納部に格納される（ステップＳＴ１０２）。
　なお、本実施の形態で利用する仮想投影面の形状は、広い平面の表示を行いたい場合は平面、ある視点からの広角な表示を行いたい場合は円筒というように、表示対象によって適切な形状が定義される。
　ステップＳＴ１０１及びステップＳＴ１０２は、合成画像の生成に先立って、あらかじめ実施される動作である。
　次に、画像取得部１０１が、撮影装置３０１～３０３で撮影された撮影画像を取得する（ステップＳＴ１０３）。
　次に、投影画像生成部１０４が、投影面情報格納部１０３から投影面情報を読み出す。
　また、投影画像生成部１０４は、撮影装置情報格納部１０２から撮影位置姿勢情報及びレンズ特性情報を読み出す。
　そして、投影画像生成部１０４は、投影面情報、撮影位置姿勢情報及びレンズ特性情報を利用して、各撮影画像を仮想投影面に投影した場合の投影画像を生成する（ステップＳＴ１０４）。
　投影画像生成部１０４は、例えば、以下のようにして、投影画像を生成することができる。
　投影画像生成部１０４は、投影面情報をポリゴン情報に変換し、各ポリゴン頂点の３次元位置と撮影装置の中心を結んだ直線と、撮影装置の撮像素子平面との交点から各ポリゴンの頂点に対応する撮影画像上の画素の３次元位置Ｄ＝（ｄｉｓｔｘ，ｄｉｓｔｙ，ｄｉｓｔｚ）Ｔを求める。
　このとき、各ポリゴン頂点Ｐ＝（Ｐｘ，Ｐｙ，Ｐｚ）Ｔの３次元位置と光学中心Ｃ＝（Ｃｘ，Ｃｙ，Ｃｚ）Ｔを結んだ直線の点Ｑは、式（１）によって表される。
　また、撮影装置の撮像素子平面上の点Ｑ’については、式（２）によって表される。
　Ｑ＝（Ｐ－Ｃ）＊ｔ＋Ｃ　　　　　（１）
　Ｑ’＝ｕ＊ａ＋ｖ＊ｂ＋Ｉ　　　　（２）
　ここで、ｕは撮像素子のｘ軸方向の単位ベクトル、ｖは撮像素子上のｙ軸方向の単位ベクトルを表しており、Ｉは撮像素子の中心座標を表している。
　これらは、レンズの焦点距離、撮影装置の姿勢情報から求めることができる。
　また、３次元位置Ｄは式（１）で表される直線上、更には、式（２）で表される平面上に存在する。
　このため、式（１）及び式（２）を式（３）にまとめることができ、式（３）から、３次元位置Ｄを求めることができる。
　Ｃ－Ｉ＝［ｕ　ｖ　Ｐ－Ｃ］（ａ　ｂ　ｔ）Ｔ　　　（３）
　ここで求まった３次元位置Ｄを撮影画像上の画素位置（ｉｍａｇｅ＿ｘ，ｉｍａｇｅ＿ｙ）に変換させるには式（４）及び式（５）を用いる。
　ここで、ｃａｍｅｒａ＿ｐｘ＿ｗｉｄｔｈは撮像素子のｘ軸方向の画素数、ｃａｍｅｒａ＿ｐｘ＿ｈｅｉｇｈｔは撮像素子のｙ軸方向の画素数を表す。
　ｉｍａｇｅ＿ｘ
　＝ａ＊ｃａｍｅｒａ＿ｐｘ＿ｗｉｄｔｈ＋ｃａｍｅｒａ＿ｐｘ＿ｗｉｄｔｈ／２　　　　　　　　（４）
　ｉｍａｇｅ＿ｙ
　＝ｂ＊ｃａｍｅｒａ＿ｐｘ＿ｈｅｉｇｈｔ＋ｃａｍｅｒａ＿ｐｘ＿ｈｅｉｇｈｔ／２　　　　　　（５）
　投影画像生成部１０４は、このようにして求めた、投影面の各画素に対応する撮像素子の位置から投影画像を生成する。
　次に、特徴点抽出部１０５が、重ね合わせ領域のブロック単位で、特徴点を抽出する（ステップＳＴ１０５）（特徴点抽出処理）。
　特徴点抽出部１０５の動作を図４、図５及び図６を参照して説明する。
　図４において、第１の投影画像４０１は、第１の撮影位置で撮影された第１の撮影画像（例えば、撮影装置３０１の撮影画像）から生成された投影画像である。
　第２の投影画像４０２は、第１の撮影位置とは異なる第２の撮影位置で撮影された第２の撮影画像（例えば、撮影装置３０２の撮影画像）から生成された投影画像である。
　第１の投影画像４０１と第２の投影画像４０２は、画像合成において隣り合う投影画像である。
　特徴点抽出部１０５は、第１の投影画像４０１の重ね合わせ領域（第１の重ね合わせ領域）と第２の投影画像４０２の重ね合わせ領域（第２の重ね合わせ領域）を求める。
　図５に示すように、第１の投影画像４０１のうち符号５０１の枠線で囲まれる領域が第１の重ね合わせ領域であり、第２の投影画像４０２のうち符号５０１の枠線で囲まれる領域が第２の重ね合わせ領域である。
　次に、特徴点抽出部１０５は、図６に示すように、第１の投影画像４０１の第１の重ね合わせ領域を複数の矩形のブロック６０１に分割し、ブロック６０１単位で特徴点を抽出する。
　特徴点抽出部１０５は、全てのブロック６０１で１つ以上の特徴点を抽出してもよいし、一部のブロック６０１では特徴点を抽出しないようにしてもよい。
　但し、特徴点抽出部１０５は、第１の重ね合わせ領域の全ブロックのうちの７０％以上のブロックで特徴点を抽出するものとする。
　特徴点抽出部１０５は、例えば、Ｈａｒｒｉｓ　Ｄｅｔｅｃｔｏｒを利用して特徴点を抽出する。
　次に、対応点抽出部１０６が、ステップＳＴ１０５で抽出された特徴点ごとに、他方の投影画像において、対応点を抽出する（ステップＳＴ１０６）（対応点抽出処理）。
　対応点抽出部１０６は、図５に示す第２の投影画像４０２の第２の重ね合わせ領域において、特徴点と同じ座標位置の周辺を探索し、特徴点と共通する特徴をもつ点を対応点として抽出する。
　例えば、対応点抽出部１０６は、特徴点の輝度勾配を算出し、算出した輝度勾配と同じ傾向を示す対応点を抽出する。
　なお、対応点抽出部１０６は、正規化相互相関などの手法を利用して特徴点を探索することができる。
　次に、画像変形部１０７が、対応関係にある特徴点と対応点が一致するように、双方の投影画像を変形させる（ステップＳＴ１０７）（画像変形処理）。
　つまり、画像変形部１０７は、特徴点の座標位置と対応点の座標位置とのずれ量が０となるように双方の投影画像を変形させる。
　画像変形部１０７は、各特徴点の、もとの撮影画像の中心からの距離に応じて、各特徴点を移動させる比率を変化させる。
　同様に、画像変形部１０７は、各対応点の、もとの撮影画像の中心からの距離に応じて、各対応点を移動させる比率を変化させる。
　画像変形部１０７は、第１の重ね合わせ領域において、各特徴点の移動先を求めた後、他の点（特徴点以外の点）の移動先を求める。
　同様に、画像変形部１０７は、第２の重ね合わせ領域において、各対応点の移動先を求めた後、他の点（対応点以外の点）の移動先を求める。
　画像変形部１０７は、他の点の移動先は、他の点の周囲にある特徴点又は対応点の移動先をもとに、線形補間で求める。
　また、ステップＳＴ１０５で特徴点が抽出できなかったブロックについては、画像変形部１０７は、特徴点が抽出できなかったブロックの周囲の特徴点の移動量に基づいて、特徴点が抽出できなかったブロック内の点の移動先を線形補間で求める。
　また、ステップＳＴ１０６で求めた対応点の特徴点との相関が弱い場合は、画像変形部１０７は、特徴点と対応点との座標位置を一致させる代わりに、当該対応点の周囲の対応点の移動先に基づいて、当該対応点の移動先を線形補間で求める。
　また、ある特徴点が周囲の特徴点から大きく離れた位置にある場合は、特徴点と対応点を一致させる代わりに、当該特徴点の周囲の特徴点の移動先に基づいて、当該特徴点の移動先を線形補間で求める。
　このような線形補間による移動先の導出により、間違った変形処理を防ぐことができる。
　そして、合成画像生成部１０８が、重ね合わせ領域が変形された後の投影画像を合成する（ステップＳＴ１０８）（合成画像生成処理）。
　つまり、合成画像生成部１０８は、重ね合わせ領域が変形された後の２つの投影画像をそれぞれの重ね合わせ領域を重ね合わせて合成画像を生成する。
　なお、合成画像生成部１０８は、重ね合わせ領域を重ね合わせた後の各画素の色情報を、例えば、それぞれの重ね合わせ領域の色情報の加算平均で求める。
　また、合成画像生成部１０８は、重ね合わせ領域を重ね合わせた後の各画素の色情報を、撮像中心に近い画素ほど撮影中心の影響を強くさせる手法で求めてもよい。
　また、合成画像生成部１０８は、重ね合わせ領域の上端から下端までの輝度勾配が少ないラインを求め、そのラインの左右で表示する画素情報の濃度を決定することで、合成部分を目立たなくすることができる。
＊＊＊実施の形態の効果＊＊＊
　以上のように、本実施の形態では、第１の重ね合わせ領域を複数のブロックに分割し、第１の重ね合わせ領域においてブロック単位で特徴点を抽出し、ブロック単位で抽出された特徴点ごとに、第２の重ね合わせ領域において対応点を抽出する。
　このため、本実施の形態では、位置合わせの基準となる点が第１の重ね合わせ領域と第２の重ね合わせ領域において分散して複数存在し、精細な位置合わせを行うことができる。
　従って、異なる撮影位置で撮影された複数の画像であっても、位置ずれの少ない合成画像を得ることができる。
　また、重ね合わせ領域における局所的な画像変形を行うことにより、画像内の物体が二重に表示されることを回避し、自然な合成画像を生成することができる。
　実施の形態２．
　本実施の形態では、撮影画像の仮想投影面への投影角度を調整して投影画像を生成する例を説明する。
＊＊＊構成の説明＊＊＊
　図７は、本実施の形態に係る合成画像生成装置１００の機能構成例を示す。
　図７では、図２と比較して、視点情報格納部１０９が追加されている。
　視点情報格納部１０９は、視点情報を保持する。
　視点情報は、投影画像を生成する際の視点位置を定義する情報である。
　なお、図７において、視点情報格納部１０９以外の要素は、図２に示したものと同じであるため、説明を省略する。
＊＊＊動作の説明＊＊＊
　次に、本実施の形態に係る合成画像生成装置１００の動作例を図８のフローチャートに基づいて説明する。
　ステップＳＴ２０１及びステップＳＴ２０２は、図３のステップＳＴ１０１及びステップ１０２と同様であるため、説明を省略する。
　次に、投影画像生成部１０４が、視点情報格納部１０９から視点情報を取得する（ステップＳＴ２０３）。
　視点情報は、視点の三次元位置と視野角などの情報である。
　視点情報には、表示装置２００に表示される合成画像に対する視点位置が定義されている。
　本実施の形態に係る合成画像生成装置１００で生成される合成画像は、視点情報で定義されている視点位置を基準にした画像である。
　次に、画像取得部１０１が、撮影装置３０１～３０３で撮影された撮影画像を取得する（ステップＳＴ２０４）。
　次に、投影画像生成部１０４が、投影面情報、撮影位置姿勢情報及びレンズ特性情報、視点情報を利用して、各撮影画像を仮想投影面に投影した場合の投影画像を生成する（ステップＳＴ２０５）。
　投影画像生成部１０４は、図９に示すように、視点情報で定義されている視点位置と視野角を利用することにより、表示装置２００で表示される合成画像の各画素が仮想投影面のどの位置に対応するかを求めることができる。
　具体的には、投影画像生成部１０４は、視点位置と撮影画像の画素位置とを結ぶ直線と仮想投影面の交点に撮影画像の画素値を投影する。
　このように、本実施の形態では、投影画像生成部１０４は、視点位置に応じて撮影画像の仮想投影面への投影角度を調整して投影画像を生成する。
　ステップＳＴ２０６からステップＳＴ２０９については、図３のステップＳＴ１０５からステップ１０８までと同様であるため、説明を省略する。
＊＊＊実施の形態の効果＊＊＊
　以上のように、本実施の形態によれば、視点情報格納部を備えたことにより、ニ次元平面で定義できない仮想投影面を定義した場合でも、指定した視野内の画像を表示することができ、また、視点情報を変更することで広角画像の一部を拡大して表示することができる。
　実施の形態３．
　実施の形態１及び２に係る合成画像生成装置１００は、特徴点及び対応点の抽出後に、直ちに投影画像の重ね合わせ領域を変形させている。
　本実施の形態に係る合成画像生成装置１００は、特徴点及び対応点の抽出後に、重ね合わせ領域の変形手順を導出し、導出した変形手順が記述される変形手順情報を生成し、変形手順情報を記憶しておく。
　そして、本実施の形態に係る合成画像生成装置１００は、投影画像の合成を行う際に、変形手順情報に記述される変形手順に従って、第１の重ね合わせ領域と第２の重ね合わせ領域を変形させる。
＊＊＊構成の説明＊＊＊
　図１０は、本実施の形態に係る合成画像生成装置１００の機能構成例を示す。
　図１０では、図７と比較して、変形手順情報格納部１１０、変形手順情報生成部１１１が追加され、また、画像変形部１０７の代わりに画像変形部１１２が含まれている。
　変形手順情報生成部１１１は、変形手順情報を生成する。
　変形手順情報は、第１の重ね合わせ領域と前記第２の重ね合わせ領域の変形手順が記述される情報である。
　変形手順情報生成部１１１は、対応関係にある特徴点と対応点の座標位置に基づき、変形手順情報を生成する。
　変形手順情報格納部１１０は、変形手順情報生成部１１１により生成された変形手順情報を保持する。
　画像変形部１１２は、変形手順情報に記述される変形手順に従って、第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる。
　実施の形態１の画像変形部１０７は、特徴点と対応点の間のずれ量を０にする特徴点の移動先及び対応点の移動先を算出して、算出した移動先に基づいて第１の重ね合わせ領域及び第２の重ね合わせ領域を変形させている。
　本実施の形態の画像変形部１１２は、特徴点及び対応点の移動先の算出は行わずに、変形手順情報の変形手順に従って、第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる。
　なお、図１０において、変形手順情報格納部１１０、変形手順情報生成部１１１及び画像変形部１１２以外の要素は、図７に示したものと同じであるため、説明を省略する。
＊＊＊動作の説明＊＊＊
　次に、本実施の形態に係る合成画像生成装置１００の動作例を図１１のフローチャートに基づいて説明する。
　ステップＳＴ３０１からステップＳＴ３０７までは、図８のステップＳＴ２０１からステップ２０７までと同様であるため、説明を省略する。
　ステップＳＴ３０８において、変形手順情報生成部１１１が変形手順情報を生成する。
　変形手順情報生成部１１１は、実施の形態１の画像変形部１０７と同様の解析を行って変形手順情報を生成する。
　つまり、変形手順情報生成部１１１は、特徴点の座標位置と対応点の座標位置とのずれ量が０となる特徴点移動先の移動先及び対応点の移動先を算出する。
　また、変形手順情報生成部１１１は、第１の重ね合わせ領域について特徴点以外の点の移動先を線形補間により算出し、また、第２の重ね合わせ領域について対応点以外の点の移動先を線形補間により算出する。
　このようにして、変形手順情報生成部１１１は、第１の重ね合わせ領域の変形手順及び第２の重ね合わせ領域の変形手順を導出する。
　そして、変形手順情報生成部１１１は第１の重ね合わせ領域の変形手順及び第２の重ね合わせ領域の変形手順が記述される変形手順情報を生成し、変形手順情報を変形手順情報格納部１１０に格納する。
　なお、ステップＳＴ３０６で特徴点が抽出できなかったブロックが存在する場合や、ステップＳＴ３０７で求めた対応点の特徴点との相関が弱い場合、ある特徴点が周囲の特徴点から大きく離れた位置にある場合の処理は、実施の形態１の画像変形部１０７と同じである。
　次に、画像変形部１１２が、変形手順情報格納部１１０から変形手順情報を読み出し、変形手順情報に記述されている変形手順に従って、第１の重ね合わせ領域と第２の重ね合わせ領域を変形させる。
　そして、合成画像生成部１０８が、実施の形態１と同様に、変形後の２つの投影画像を合成して、合成画像を生成する（ステップＳＴ３１０）。
＊＊＊実施の形態の効果の説明＊＊＊
　合成画像で動画データのフレームが構成される場合に、実施の形態１では、フレームごとに、画像変形部１０７が第１の重ね合わせ領域及び第２の重ね合わせ領域の変形手順を導出する必要がある。
　これに対して、本実施の形態では、前後のフレームで重ね合わせ領域における描画内容に変化がない場合は、画像変形部１１２は、各フレームで、変形手順情報に従って、第１の重ね合わせ領域及び第２の重ね合わせ領域の変形を行うことができ、フレームごとに変形手順を導出する必要がない。
　このため、画像取得部１０１で短い時間間隔で撮影画像を取得し、表示装置２００に同じ間隔で合成画像を表示することができるようになる。
　変形手順情報生成部１１１は、重ね合わせ領域における描画内容に変化がある場合にのみ、変形手順情報を生成すればよい。
　また、変形手順情報生成部１１１は、一定時間間隔ごとに変形手順情報を更新するようにしてもよい。
　以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
　あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
　あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
　なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
　１　演算プロセッサ、２　システムメモリ、３　描画グラフィックスＬＳＩ、４　合成画像生成プログラム、５　グラフィックスメモリ、６　画像キャプチャＬＳＩ、１００　合成画像生成装置、１０１　画像取得部、１０２　撮影装置情報格納部、１０３　投影面情報格納部、１０４　投影画像生成部、１０５　特徴点抽出部、１０６　対応点抽出部、１０７　画像変形部、１０８　合成画像生成部、１０９　視点情報格納部、１１０　変形手順情報格納部、１１１　変形手順情報生成部、１１２　画像変形部、２００　表示装置、３００　撮影装置、３０１　撮影装置、３０２　撮影装置、３０３　撮影装置。

Claims (9)

  1. 　第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成装置であって、
    　前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出部と、
    　前記特徴点抽出部により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出部と、
    　対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形部と、
    　前記画像変形部により変形された後の前記第１の重ね合わせ領域と、前記画像変形部により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成部とを有する合成画像生成装置。
  2. 　前記対応点抽出部は、
    　前記特徴点抽出部により抽出された特徴点の輝度勾配を算出し、算出した輝度勾配に基づき、前記第２の重ね合わせ領域内の対応点を抽出する請求項１に記載の合成画像生成装置。
  3. 　前記対応点抽出部は、
    　前記特徴点抽出部により抽出された特徴点と共通する特徴をもつ、前記第２の重ね合わせ領域内の点を対応点として抽出する請求項１に記載の合成画像生成装置。
  4. 　前記画像変形部は、
    　対応関係にある特徴点と対応点の座標位置のずれがなくなるように、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる請求項１に記載の合成画像生成装置。
  5. 　前記合成画像生成装置は、更に、
    　前記第１の画像として、第１の撮影位置で撮影された第１の撮影画像を仮想投影面に投影させた第１の投影画像を生成し、前記第２の画像として、前記第１の撮影位置とは異なる第２の撮影位置で撮影された第２の撮影画像を前記仮想投影面に投影させた第２の投影画像を生成する投影画像生成部を有し、
    　前記特徴点抽出部は、
    　前記第１の投影画像の前記１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出し、
    　前記対応点抽出部は、
    　前記特徴点抽出部により抽出された特徴点に対応する、前記第２の投影画像の前記第２の重ね合わせ領域内の対応点を抽出する請求項１に記載の合成画像生成装置。
  6. 　前記投影画像生成部は、
    　視点位置に応じて前記第１の撮影画像及び前記第２の撮影画像の前記仮想投影面への投影角度を調整して前記第１の投影画像及び前記第２の投影画像を生成する請求項５に記載の合成画像生成装置。
  7. 　前記合成画像生成装置は、更に、
    　対応関係にある特徴点と対応点の座標位置に基づき、前記画像変形部による前記第１の重ね合わせ領域と前記第２の重ね合わせ領域の変形手順が記述される変形手順情報を生成する変形手順情報生成部を有し、
    　前記画像変形部は、
    　前記変形手順情報生成部により生成された前記変形手順情報に記述される変形手順に従って、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる請求項１に記載の合成画像生成装置。
  8. 　第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成するコンピュータが、
    　前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出し、
    　抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出し、
    　対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させ、
    　変形後の前記第１の重ね合わせ領域と、変形後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成方法。
  9. 　第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成するコンピュータに、
    　前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出処理と、
    　前記特徴点抽出処理により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出処理と、
    　対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形処理と、
    　前記画像変形処理により変形された後の前記第１の重ね合わせ領域と、前記画像変形処理により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成処理とを実行させる合成画像生成プログラム。
PCT/JP2015/064292 2015-05-19 2015-05-19 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム WO2016185556A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/064292 WO2016185556A1 (ja) 2015-05-19 2015-05-19 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム
JP2015554911A JPWO2016185556A1 (ja) 2015-05-19 2015-05-19 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064292 WO2016185556A1 (ja) 2015-05-19 2015-05-19 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム

Publications (1)

Publication Number Publication Date
WO2016185556A1 true WO2016185556A1 (ja) 2016-11-24

Family

ID=57319654

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064292 WO2016185556A1 (ja) 2015-05-19 2015-05-19 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム

Country Status (2)

Country Link
JP (1) JPWO2016185556A1 (ja)
WO (1) WO2016185556A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355928A (zh) * 2020-02-28 2020-06-30 济南浪潮高新科技投资发展有限公司 一种基于多摄像头内容分析的视频拼接方法及其系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087319A (ja) * 2010-12-06 2011-04-28 Sanyo Electric Co Ltd 車載パノラマカメラシステム
JP2012080432A (ja) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc パノラマ画像生成装置およびパノラマ画像生成方法
JP2013074423A (ja) * 2011-09-27 2013-04-22 Aisin Seiki Co Ltd 車両周辺監視装置
JP2013186853A (ja) * 2012-03-12 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2013187799A (ja) * 2012-03-09 2013-09-19 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム
JP2014127839A (ja) * 2012-12-26 2014-07-07 Mitsubishi Electric Corp 画像合成装置、および画像合成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012080432A (ja) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc パノラマ画像生成装置およびパノラマ画像生成方法
JP2011087319A (ja) * 2010-12-06 2011-04-28 Sanyo Electric Co Ltd 車載パノラマカメラシステム
JP2013074423A (ja) * 2011-09-27 2013-04-22 Aisin Seiki Co Ltd 車両周辺監視装置
JP2013187799A (ja) * 2012-03-09 2013-09-19 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム
JP2013186853A (ja) * 2012-03-12 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2014127839A (ja) * 2012-12-26 2014-07-07 Mitsubishi Electric Corp 画像合成装置、および画像合成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355928A (zh) * 2020-02-28 2020-06-30 济南浪潮高新科技投资发展有限公司 一种基于多摄像头内容分析的视频拼接方法及其系统

Also Published As

Publication number Publication date
JPWO2016185556A1 (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
CN112017216B (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US8797387B2 (en) Self calibrating stereo camera
JP6701930B2 (ja) オーサリング装置、オーサリング方法およびオーサリングプログラム
JP6518115B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
JP2016171463A (ja) 画像処理装置、画像処理方法およびプログラム
CN106997579B (zh) 图像拼接的方法和装置
JP4941565B2 (ja) 対応点探索装置および対応点探索方法
WO2022028594A1 (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
TW201839716A (zh) 環景影像的拼接方法及其系統
JP5847610B2 (ja) Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
TWI615808B (zh) 全景即時影像處理方法
KR20130077414A (ko) 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라
JP2004186922A (ja) 複数台のカメラを使用した広域撮影方法
JP2015036841A (ja) 画像処理装置、距離計測装置、撮像装置、画像処理方法
CN102081796A (zh) 图像拼接方法和装置
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
TW201342303A (zh) 三維空間圖像的獲取系統及方法
WO2016185556A1 (ja) 合成画像生成装置及び合成画像生成方法及び合成画像生成プログラム
JP2019220032A (ja) 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
JP2008203538A (ja) 画像表示システム
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
KR102074072B1 (ko) 듀얼 카메라가 장착된 이동형 디바이스를 이용한 포커스 콘텍스트 영상 처리 장치 및 그 방법
JP6242009B2 (ja) 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法
JP2007257331A (ja) 映像合成装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015554911

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15892556

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15892556

Country of ref document: EP

Kind code of ref document: A1