JPWO2016185556A1 - Composite image generation apparatus, composite image generation method, and composite image generation program - Google Patents

Composite image generation apparatus, composite image generation method, and composite image generation program Download PDF

Info

Publication number
JPWO2016185556A1
JPWO2016185556A1 JP2015554911A JP2015554911A JPWO2016185556A1 JP WO2016185556 A1 JPWO2016185556 A1 JP WO2016185556A1 JP 2015554911 A JP2015554911 A JP 2015554911A JP 2015554911 A JP2015554911 A JP 2015554911A JP WO2016185556 A1 JPWO2016185556 A1 JP WO2016185556A1
Authority
JP
Japan
Prior art keywords
image
composite image
unit
overlapping region
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015554911A
Other languages
Japanese (ja)
Inventor
洋平 三木
洋平 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2016185556A1 publication Critical patent/JPWO2016185556A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

合成画像生成装置（１００）は、第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成する。特徴点抽出部（１０５）は、第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する。対応点抽出部（１０６）は、特徴点抽出部（１０５）により抽出された特徴点に対応する、第２の重ね合わせ領域内の対応点を抽出する。画像変形部（１０７）は、対応関係にある特徴点と対応点の座標位置に基づき、第１の重ね合わせ領域と第２の重ね合わせ領域とを変形させる。合成画像生成部（１０８）は、画像変形部（１０７）により変形された後の第１の重ね合わせ領域と、画像変形部（１０７）により変形された後の第２の重ね合わせ領域とを重ね合わせて合成画像を生成する。The composite image generation device (100) combines a first overlapping region that is a partial region of the first image and a second overlapping region that is a partial region of the second image. Generate an image. The feature point extraction unit (105) divides the first overlapping region into a plurality of blocks, and extracts feature points in units of blocks. The corresponding point extraction unit (106) extracts corresponding points in the second overlapping region corresponding to the feature points extracted by the feature point extraction unit (105). The image deforming unit (107) deforms the first overlapping region and the second overlapping region based on the feature points in the correspondence relationship and the coordinate positions of the corresponding points. The composite image generation unit (108) superimposes the first overlapping region after being deformed by the image deformation unit (107) and the second overlapping region after being deformed by the image deformation unit (107). Together, a composite image is generated.

Description

本発明は、複数の画像を合成する技術に関する。   The present invention relates to a technique for combining a plurality of images.

仮想的に遠方の任意の位置に定義された平面に撮影装置の位置及び姿勢情報を用いて撮影画像を仮想的に投影することで、パノラマ画像を生成することができる。
パノラマ画像の生成では、複数の撮影画像を１つの画像に合成する。
このため、複数の撮影画像が重なり合う部分で適切な合成を行わないと画像が二重にぶれて表示されてしまう。
この問題に関して、特許文献１では、光学的に視差の少ない画像を取得する技術が開示されている。
つまり、特許文献１では、レンズを適切な配置することで視差の影響を少なくしたうえで合成画像を生成している。
また、特許文献２では、２つの入力画像に含まれるランドマークの画像を基準にして２つの入力画像の位置合わせを行っている。
特許文献２では、例えば、２つの入力画像のランドマークの画像が重なり合うように２つの入力画像に幾何学的変換を施している。A panoramic image can be generated by virtually projecting a photographed image using a position and orientation information of the photographing apparatus on a plane that is virtually defined at an arbitrary distant position.
In generating a panoramic image, a plurality of captured images are combined into one image.
For this reason, if appropriate combining is not performed at a portion where a plurality of photographed images overlap, the images are displayed in a doubled manner.
With regard to this problem, Patent Document 1 discloses a technique for acquiring an image with little optical parallax.
In other words, in Patent Document 1, a composite image is generated after reducing the influence of parallax by appropriately arranging lenses.
In Patent Document 2, two input images are aligned based on landmark images included in the two input images.
In Patent Document 2, for example, geometric transformation is performed on two input images so that landmark images of the two input images overlap.

特願２０１０−９７２２１号公報Japanese Patent Application No. 2010-97221 特開２０１４−０８６９４８号公報JP 2014-086948 A

特許文献１では、パノラマ画像を生成する際に位置ずれの要因となる撮影装置間の視差の影響を軽減させるために、光学的に視差の少ない画像を取得できる位置にレンズを配置している。
特許文献１では、１つの撮影位置で撮影された複数の撮影画像でパノラマ画像を生成している。
このため、特許文献１の技術は、複数の撮影位置で撮影された複数の撮影画像を用いてパノラマ画像を生成する場合には適用することができない。In Patent Document 1, in order to reduce the influence of parallax between photographing devices that causes a positional shift when generating a panoramic image, a lens is arranged at a position where an image with little optical parallax can be acquired.
In Patent Document 1, a panoramic image is generated from a plurality of photographed images photographed at one photographing position.
For this reason, the technique of Patent Document 1 cannot be applied when generating a panoramic image using a plurality of captured images captured at a plurality of capturing positions.

また、特許文献２では、ランドマークを基準に２つの入力画像の位置合わせを行っているが、ランドマークの画像領域以外の領域についても、ランドマークに合わせた変換行列を行っている。
そのため、ランドマーク以外の被写体が二重に表示される可能性があり、被写体が近距離にあるほど、位置ずれの量が大きくなる。In Patent Document 2, the alignment of two input images is performed on the basis of a landmark. However, a transformation matrix corresponding to the landmark is also performed for an area other than the image area of the landmark.
For this reason, there is a possibility that subjects other than landmarks are displayed twice, and the closer the subject is, the greater the amount of positional deviation.

本発明は、上記の事情に鑑みたものであり、異なる撮影位置で撮影された複数の画像であっても、位置ずれの少ない合成画像を得ることを主な目的とする。   The present invention has been made in view of the above circumstances, and it is a main object of the present invention to obtain a composite image with little positional deviation even if it is a plurality of images shot at different shooting positions.

本発明に係る合成画像生成装置は、
第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成装置であって、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出部と、
対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形部と、
前記画像変形部により変形された後の前記第１の重ね合わせ領域と、前記画像変形部により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成部とを有する。The composite image generating apparatus according to the present invention is
A composite image generation apparatus that generates a composite image by superimposing a first overlap region that is a partial region of a first image and a second overlap region that is a partial region of a second image. There,
A feature point extraction unit that divides the first overlapping region into a plurality of blocks and extracts feature points in units of blocks;
A corresponding point extracting unit that extracts corresponding points in the second overlapping region corresponding to the feature points extracted by the feature point extracting unit;
An image deforming unit that deforms the first overlapping region and the second overlapping region based on the corresponding feature point and the coordinate position of the corresponding point;
A composite image generation unit that generates a composite image by superimposing the first overlap region after being deformed by the image deformation unit and the second overlap region after being deformed by the image deformation unit. And have.

本発明では、第１の重ね合わせ領域を複数のブロックに分割し、第１の重ね合わせ領域においてブロック単位で特徴点を抽出し、ブロック単位で抽出された特徴点ごとに、第２の重ね合わせ領域において対応点を抽出する。
このため、本発明では、位置合わせの基準となる点が第１の重ね合わせ領域と第２の重ね合わせ領域において分散して複数存在し、精細な位置合わせを行うことができる。
従って、異なる撮影位置で撮影された複数の画像であっても、位置ずれの少ない合成画像を得ることができる。In the present invention, the first overlapping region is divided into a plurality of blocks, feature points are extracted in units of blocks in the first overlapping region, and a second overlapping is performed for each feature point extracted in units of blocks. Corresponding points are extracted in the region.
For this reason, in the present invention, there are a plurality of dispersed points in the first overlapping region and the second overlapping region, and fine alignment can be performed.
Therefore, even if there are a plurality of images shot at different shooting positions, a composite image with little positional deviation can be obtained.

実施の形態１に係る合成画像生成装置のハードウェア構成例を示す図。FIG. 3 is a diagram illustrating a hardware configuration example of a composite image generation device according to the first embodiment. 実施の形態１に係る合成画像生成装置の機能構成例を示す図。FIG. 3 is a diagram illustrating a functional configuration example of a composite image generation device according to the first embodiment. 実施の形態１に係る合成画像生成装置の動作例を示すフローチャート図。FIG. 4 is a flowchart showing an operation example of the composite image generation apparatus according to the first embodiment. 実施の形態１に係る投影画像の例を示す図。FIG. 4 is a diagram showing an example of a projection image according to the first embodiment. 実施の形態１に係る重ね合わせ領域の例を示す図。FIG. 4 is a diagram illustrating an example of an overlapping area according to the first embodiment. 実施の形態１に係るブロック分割の例を示す図。FIG. 4 shows an example of block division according to the first embodiment. 実施の形態２に係る合成画像生成装置の機能構成例を示す図。FIG. 10 is a diagram illustrating a functional configuration example of a composite image generation device according to a second embodiment. 実施の形態２に係る合成画像生成装置の動作例を示すフローチャート図。FIG. 9 is a flowchart showing an operation example of the composite image generation apparatus according to the second embodiment. 実施の形態２に係る視点位置と撮影画像と仮想投影面との関係を示す図。The figure which shows the relationship between the viewpoint position which concerns on Embodiment 2, a picked-up image, and a virtual projection surface. 実施の形態３に係る合成画像生成装置の機能構成例を示す図。FIG. 10 is a diagram illustrating a functional configuration example of a composite image generation device according to a third embodiment. 実施の形態３に係る合成画像生成装置の動作例を示すフローチャート図。FIG. 9 is a flowchart showing an operation example of a composite image generation apparatus according to Embodiment 3.

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る合成画像生成装置のハードウェア構成例を示す。
本実施の形態に係る合成画像生成装置は、コンピュータであり、演算プロセッサ１、システムメモリ２、描画グラフィックスＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）３、グラフィックスメモリ５、画像キャプチャＬＳＩ６で構成される。Embodiment 1 FIG.
*** Explanation of configuration ***
FIG. 1 shows a hardware configuration example of a composite image generation apparatus according to the present embodiment.
The composite image generation apparatus according to the present embodiment is a computer and includes an arithmetic processor 1, a system memory 2, a drawing graphics LSI (Large-Scale Integration) 3, a graphics memory 5, and an image capture LSI 6.

演算プロセッサ１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成され、演算処理を実行する機能を有している。
演算プロセッサ１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を実装し、このＯＳ上で合成画像生成プログラム４を実行する。
合成画像生成プログラム４は、図２に示す画像取得部１０１、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８の機能を実現するプログラムである。
システムメモリ２は、ＯＳ、合成画像生成プログラム４、後述する撮影装置位置情報等のデータを保持しており、演算プロセッサ１からの要求に応じてこれらのデータの入出力を行う。
つまり、システムメモリ２からＯＳ及び合成画像生成プログラム４が演算プロセッサ１にロードされ、演算プロセッサ１によりＯＳ及び合成画像生成プログラム４が実行される。
描画グラフィックスＬＳＩ３は、演算プロセッサ１からの指示に従って合成画像を描画する。
描画グラフィックスＬＳＩ３は、グラフィックスメモリ５に接続されており、グラフィックスメモリ５は合成する画像や合成後の画像を保持している。
また、描画グラフィックスＬＳＩ３は、演算プロセッサ１からの要求に応じて記憶したデータの入出力を行う。
画像キャプチャＬＳＩ６は、撮影装置から画像を取得し、演算プロセッサ１からの指示に従って、データの入出力を行う。
なお、画像取得部１０１、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８の機能を「サーキットリー」で提供してもよい。
また、画像取得部１０１、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８の機能を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
「回路」及び「サーキットリー」は、演算プロセッサ１だけでなく、ロジックＩＣ又はＧＡ（Ｇａｔｅ Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった他の種類の処理回路をも包含する概念である。The arithmetic processor 1 is composed of, for example, a CPU (Central Processing Unit) and has a function of executing arithmetic processing.
The arithmetic processor 1 mounts an OS (Operating System) and executes a composite image generation program 4 on the OS.
The composite image generation program 4 is a program that realizes the functions of the image acquisition unit 101, the projection image generation unit 104, the feature point extraction unit 105, the corresponding point extraction unit 106, the image deformation unit 107, and the composite image generation unit 108 shown in FIG. It is.
The system memory 2 holds data such as an OS, a composite image generation program 4, and photographing apparatus position information described later, and inputs and outputs these data in response to a request from the arithmetic processor 1.
That is, the OS and the composite image generation program 4 are loaded from the system memory 2 to the arithmetic processor 1, and the OS and the composite image generation program 4 are executed by the arithmetic processor 1.
The drawing graphics LSI 3 draws a composite image in accordance with an instruction from the arithmetic processor 1.
The drawing graphics LSI 3 is connected to the graphics memory 5, and the graphics memory 5 holds an image to be synthesized and an image after synthesis.
The drawing graphics LSI 3 inputs / outputs the stored data in response to a request from the arithmetic processor 1.
The image capture LSI 6 acquires an image from the photographing apparatus and inputs / outputs data according to an instruction from the arithmetic processor 1.
Note that the functions of the image acquisition unit 101, the projection image generation unit 104, the feature point extraction unit 105, the corresponding point extraction unit 106, the image deformation unit 107, and the composite image generation unit 108 may be provided as “circuitry”.
In addition, the functions of the image acquisition unit 101, the projection image generation unit 104, the feature point extraction unit 105, the corresponding point extraction unit 106, the image deformation unit 107, and the composite image generation unit 108 may be “circuit”, “process”, “procedure”, or It may be read as “processing”.
“Circuit” and “Circuitry” include not only the arithmetic processor 1 but also other types of processing circuits such as logic IC, GA (Gate Array), ASIC (Application Specific Integrated Circuit), or FPGA (Field-Programmable Gate Array). Is a concept that also includes

図２は、本実施の形態に係る合成画像生成装置１００の機能構成例を示す。   FIG. 2 shows a functional configuration example of the composite image generation apparatus 100 according to the present embodiment.

合成画像生成装置１００は、撮影装置３０１、撮影装置３０２、撮影装置３０３と表示装置２００に接続されている。
撮影装置３０１、撮影装置３０２、撮影装置３０３をそれぞれ区別する必要がない場合は、撮影装置３０１、撮影装置３０２、撮影装置３０３をまとめて撮影装置３００と表記する。
図２では、撮影装置３００が３台である例を示しているが、撮影装置３００の台数は何台でもよい。The composite image generation apparatus 100 is connected to the imaging apparatus 301, the imaging apparatus 302, the imaging apparatus 303, and the display apparatus 200.
When there is no need to distinguish the imaging device 301, the imaging device 302, and the imaging device 303, the imaging device 301, the imaging device 302, and the imaging device 303 are collectively referred to as the imaging device 300.
Although FIG. 2 shows an example in which there are three photographing devices 300, the number of photographing devices 300 may be any number.

合成画像生成装置１００は、画像取得部１０１、撮影装置情報格納部１０２、投影面情報格納部１０３、投影画像生成部１０４、特徴点抽出部１０５、対応点抽出部１０６、画像変形部１０７、合成画像生成部１０８を備える。
以下にて、各々の要素について説明する。The composite image generation apparatus 100 includes an image acquisition unit 101, an imaging device information storage unit 102, a projection plane information storage unit 103, a projection image generation unit 104, a feature point extraction unit 105, a corresponding point extraction unit 106, an image deformation unit 107, a synthesis An image generation unit 108 is provided.
Each element will be described below.

画像取得部１０１は、撮影装置３００で撮影された撮影画像を取得する。   The image acquisition unit 101 acquires a captured image captured by the imaging apparatus 300.

撮影装置情報格納部１０２は、撮影位置姿勢情報及びレンズ特性情報を保持する。
撮影位置姿勢情報は、撮影装置３００の設置位置や向きの情報である。
レンズ特性情報は、撮影装置３００のレンズの焦点距離、レンズ歪を補正する際のパラメータなどの情報である。The imaging device information storage unit 102 holds imaging position / orientation information and lens characteristic information.
The photographing position / orientation information is information on the installation position and orientation of the photographing apparatus 300.
The lens characteristic information is information such as a focal length of the lens of the photographing apparatus 300 and parameters for correcting lens distortion.

投影面情報格納部１０３は、仮想投影面の形状と位置の情報である投影面情報を保持する。
仮想投影面は、合成画像の生成に先立ち、画像取得部１０１で取得された撮影画像を投影するための仮想的な投影面である。The projection plane information storage unit 103 holds projection plane information that is information on the shape and position of the virtual projection plane.
The virtual projection plane is a virtual projection plane for projecting the captured image acquired by the image acquisition unit 101 prior to the generation of the composite image.

投影画像生成部１０４は、画像取得部１０１で取得された撮影画像を投影面に投影して投影画像を生成する。
より具体的には、投影画像生成部１０４は、撮影装置情報格納部１０２で保持されている撮影装置位置姿勢情報及びレンズ特性情報と投影面情報格納部１０３で保持されている投影面情報をもとに、撮影画像を投影面に投影して投影画像を生成する。The projection image generation unit 104 generates a projection image by projecting the captured image acquired by the image acquisition unit 101 on a projection plane.
More specifically, the projection image generation unit 104 includes the imaging device position / orientation information and lens characteristic information held in the imaging device information storage unit 102 and the projection plane information held in the projection plane information storage unit 103. In addition, the captured image is projected onto the projection plane to generate a projection image.

特徴点抽出部１０５は、特徴点を抽出する。
具体的には、特徴点抽出部１０５は、画像合成において隣り合う２つの投影画像の各々に対して、重ね合わせの対象の領域（以下、重ね合わせ領域という）を求める。
そして、特徴点抽出部１０５は、一方の投影画像（第１の画像の例）の重ね合わせ領域である第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する。The feature point extraction unit 105 extracts feature points.
Specifically, the feature point extraction unit 105 obtains a region to be superimposed (hereinafter referred to as a superimposed region) for each of two adjacent projection images in image synthesis.
Then, the feature point extraction unit 105 divides the first overlapping area, which is an overlapping area of one projection image (example of the first image), into a plurality of blocks, and extracts feature points in units of blocks.

対応点抽出部１０６は、特徴点抽出部１０５により抽出された特徴点に対応する、他方の投影画像（第２の画像の例）の重ね合わせ領域である第２の重ね合わせ領域内の対応点を抽出する。
対応点抽出部１０６は、特徴点抽出部１０５により抽出された特徴点と共通する特徴をもつ、第２の重ね合わせ領域内の点を対応点として抽出する。
例えば、対応点抽出部１０６は、特徴点抽出部１０５により抽出された特徴点の輝度勾配を算出し、算出した輝度勾配に基づき、第２の重ね合わせ領域内の対応点を抽出する。The corresponding point extraction unit 106 corresponds to the feature point extracted by the feature point extraction unit 105, and corresponds to the second overlapping region that is the overlapping region of the other projection image (second image example). To extract.
The corresponding point extraction unit 106 extracts a point in the second overlapping region having a feature in common with the feature point extracted by the feature point extraction unit 105 as a corresponding point.
For example, the corresponding point extraction unit 106 calculates the luminance gradient of the feature point extracted by the feature point extraction unit 105, and extracts the corresponding point in the second overlapping region based on the calculated luminance gradient.

画像変形部１０７は、対応関係にある特徴点と対応点の座標位置に基づき、第１の重ね合わせ領域と第２の重ね合わせ領域とを変形させる。
より具体的には、対応関係にある特徴点と対応点の座標位置のずれを求め、ずれがなくなるように、第１の重ね合わせ領域と第２の重ね合わせ領域とを変形させる。The image deforming unit 107 deforms the first overlapping region and the second overlapping region based on the feature points in correspondence and the coordinate positions of the corresponding points.
More specifically, the shift between the coordinate positions of the feature points and the corresponding points in the correspondence relationship is obtained, and the first overlap region and the second overlap region are deformed so that the shift is eliminated.

合成画像生成部１０８は、画像変形部１０７で変形された後の２つの投影画像を１つの画像に合成する。
つまり、合成画像生成部１０８は、画像変形部１０７により変形された後の第１の重ね合わせ領域と、画像変形部１０７により変形された後の第２の重ね合わせ領域とを重ね合わせて合成画像を生成する。The composite image generation unit 108 combines the two projection images after being deformed by the image deformation unit 107 into one image.
In other words, the composite image generation unit 108 superimposes the first overlap region after being deformed by the image deformation unit 107 and the second overlap region after being deformed by the image deformation unit 107 on the composite image. Is generated.

表示装置２００は、合成画像生成装置１００で生成された合成画像を表示する。   The display device 200 displays the composite image generated by the composite image generation device 100.

＊＊＊動作の説明＊＊＊
次に、実施の形態１の合成画像生成装置１００の動作を図３のフローチャートに基づいて説明する。
図３に示す手順は、合成画像生成方法及び合成画像生成プログラムの処理例に相当する。*** Explanation of operation ***
Next, the operation of the composite image generation apparatus 100 of Embodiment 1 will be described based on the flowchart of FIG.
The procedure shown in FIG. 3 corresponds to a processing example of a composite image generation method and a composite image generation program.

まず、撮影装置３００の撮影位置姿勢情報及びレンズ特性情報が撮影装置情報格納部１０２に格納される（ステップＳＴ１０１）。
次に、投影面情報が投影面情報格納部に格納される（ステップＳＴ１０２）。
なお、本実施の形態で利用する仮想投影面の形状は、広い平面の表示を行いたい場合は平面、ある視点からの広角な表示を行いたい場合は円筒というように、表示対象によって適切な形状が定義される。
ステップＳＴ１０１及びステップＳＴ１０２は、合成画像の生成に先立って、あらかじめ実施される動作である。First, the photographing position / orientation information and lens characteristic information of the photographing apparatus 300 are stored in the photographing apparatus information storage unit 102 (step ST101).
Next, the projection plane information is stored in the projection plane information storage unit (step ST102).
Note that the shape of the virtual projection plane used in this embodiment is an appropriate shape depending on the display target, such as a plane when a wide plane display is desired, or a cylinder when a wide angle display is desired from a certain viewpoint. Is defined.
Steps ST101 and ST102 are operations performed in advance prior to the generation of the composite image.

次に、画像取得部１０１が、撮影装置３０１〜３０３で撮影された撮影画像を取得する（ステップＳＴ１０３）。   Next, the image acquisition part 101 acquires the picked-up image image | photographed with the imaging devices 301-303 (step ST103).

次に、投影画像生成部１０４が、投影面情報格納部１０３から投影面情報を読み出す。
また、投影画像生成部１０４は、撮影装置情報格納部１０２から撮影位置姿勢情報及びレンズ特性情報を読み出す。
そして、投影画像生成部１０４は、投影面情報、撮影位置姿勢情報及びレンズ特性情報を利用して、各撮影画像を仮想投影面に投影した場合の投影画像を生成する（ステップＳＴ１０４）。
投影画像生成部１０４は、例えば、以下のようにして、投影画像を生成することができる。Next, the projection image generation unit 104 reads projection plane information from the projection plane information storage unit 103.
In addition, the projection image generation unit 104 reads shooting position / orientation information and lens characteristic information from the shooting apparatus information storage unit 102.
Then, the projection image generation unit 104 uses the projection plane information, the shooting position / orientation information, and the lens characteristic information to generate a projection image when each shot image is projected onto the virtual projection plane (step ST104).
For example, the projection image generation unit 104 can generate a projection image as follows.

投影画像生成部１０４は、投影面情報をポリゴン情報に変換し、各ポリゴン頂点の３次元位置と撮影装置の中心を結んだ直線と、撮影装置の撮像素子平面との交点から各ポリゴンの頂点に対応する撮影画像上の画素の３次元位置Ｄ＝（ｄｉｓｔｘ，ｄｉｓｔｙ，ｄｉｓｔｚ）Ｔを求める。
このとき、各ポリゴン頂点Ｐ＝（Ｐｘ，Ｐｙ，Ｐｚ）Ｔの３次元位置と光学中心Ｃ＝（Ｃｘ，Ｃｙ，Ｃｚ）Ｔを結んだ直線の点Ｑは、式（１）によって表される。
また、撮影装置の撮像素子平面上の点Ｑ’については、式（２）によって表される。
Ｑ＝（Ｐ−Ｃ）＊ｔ＋Ｃ （１）
Ｑ’＝ｕ＊ａ＋ｖ＊ｂ＋Ｉ （２）
ここで、ｕは撮像素子のｘ軸方向の単位ベクトル、ｖは撮像素子上のｙ軸方向の単位ベクトルを表しており、Ｉは撮像素子の中心座標を表している。
これらは、レンズの焦点距離、撮影装置の姿勢情報から求めることができる。
また、３次元位置Ｄは式（１）で表される直線上、更には、式（２）で表される平面上に存在する。
このため、式（１）及び式（２）を式（３）にまとめることができ、式（３）から、３次元位置Ｄを求めることができる。
Ｃ−Ｉ＝［ｕ ｖ Ｐ−Ｃ］（ａ ｂ ｔ）Ｔ （３）
ここで求まった３次元位置Ｄを撮影画像上の画素位置（ｉｍａｇｅ＿ｘ，ｉｍａｇｅ＿ｙ）に変換させるには式（４）及び式（５）を用いる。
ここで、ｃａｍｅｒａ＿ｐｘ＿ｗｉｄｔｈは撮像素子のｘ軸方向の画素数、ｃａｍｅｒａ＿ｐｘ＿ｈｅｉｇｈｔは撮像素子のｙ軸方向の画素数を表す。
ｉｍａｇｅ＿ｘ
＝ａ＊ｃａｍｅｒａ＿ｐｘ＿ｗｉｄｔｈ＋ｃａｍｅｒａ＿ｐｘ＿ｗｉｄｔｈ／２ （４）
ｉｍａｇｅ＿ｙ
＝ｂ＊ｃａｍｅｒａ＿ｐｘ＿ｈｅｉｇｈｔ＋ｃａｍｅｒａ＿ｐｘ＿ｈｅｉｇｈｔ／２ （５）The projection image generation unit 104 converts the projection plane information into polygon information, and changes from the intersection of the three-dimensional position of each polygon vertex and the center of the imaging device to the vertex of each polygon from the intersection of the imaging device plane of the imaging device. three-dimensional position D = the pixel on the corresponding captured image (dist x, dist y, dist z) determining the T.
At this time, the point Q of a straight line connecting the three-dimensional position of each polygon vertex P = (P x , P y , P z ) T and the optical center C = (C x , C y , C z ) T Represented by 1).
Further, the point Q ′ on the imaging element plane of the imaging apparatus is represented by the equation (2).
Q = (P−C) * t + C (1)
Q ′ = u * a + v * b + I (2)
Here, u represents a unit vector in the x-axis direction of the image sensor, v represents a unit vector in the y-axis direction on the image sensor, and I represents a center coordinate of the image sensor.
These can be obtained from the focal length of the lens and the attitude information of the photographing apparatus.
The three-dimensional position D exists on the straight line represented by the formula (1) and further on the plane represented by the formula (2).
For this reason, Formula (1) and Formula (2) can be put together into Formula (3), and the three-dimensional position D can be calculated | required from Formula (3).
C−I = [u v PC] (ab t) T (3)
In order to convert the three-dimensional position D obtained here into a pixel position (image_x, image_y) on the captured image, Expressions (4) and (5) are used.
Here, camera_px_width represents the number of pixels in the x-axis direction of the image sensor, and camera_px_height represents the number of pixels in the y-axis direction of the image sensor.
image_x
= A * camera_px_width + camera_px_width / 2 (4)
image_y
= B * camera_px_height + camera_px_height / 2 (5)

投影画像生成部１０４は、このようにして求めた、投影面の各画素に対応する撮像素子の位置から投影画像を生成する。   The projection image generation unit 104 generates a projection image from the position of the imaging element corresponding to each pixel on the projection plane obtained in this way.

次に、特徴点抽出部１０５が、重ね合わせ領域のブロック単位で、特徴点を抽出する（ステップＳＴ１０５）（特徴点抽出処理）。
特徴点抽出部１０５の動作を図４、図５及び図６を参照して説明する。Next, the feature point extraction unit 105 extracts feature points in units of blocks in the overlapping area (step ST105) (feature point extraction processing).
The operation of the feature point extraction unit 105 will be described with reference to FIGS. 4, 5, and 6.

図４において、第１の投影画像４０１は、第１の撮影位置で撮影された第１の撮影画像（例えば、撮影装置３０１の撮影画像）から生成された投影画像である。
第２の投影画像４０２は、第１の撮影位置とは異なる第２の撮影位置で撮影された第２の撮影画像（例えば、撮影装置３０２の撮影画像）から生成された投影画像である。
第１の投影画像４０１と第２の投影画像４０２は、画像合成において隣り合う投影画像である。
特徴点抽出部１０５は、第１の投影画像４０１の重ね合わせ領域（第１の重ね合わせ領域）と第２の投影画像４０２の重ね合わせ領域（第２の重ね合わせ領域）を求める。
図５に示すように、第１の投影画像４０１のうち符号５０１の枠線で囲まれる領域が第１の重ね合わせ領域であり、第２の投影画像４０２のうち符号５０１の枠線で囲まれる領域が第２の重ね合わせ領域である。
次に、特徴点抽出部１０５は、図６に示すように、第１の投影画像４０１の第１の重ね合わせ領域を複数の矩形のブロック６０１に分割し、ブロック６０１単位で特徴点を抽出する。
特徴点抽出部１０５は、全てのブロック６０１で１つ以上の特徴点を抽出してもよいし、一部のブロック６０１では特徴点を抽出しないようにしてもよい。
但し、特徴点抽出部１０５は、第１の重ね合わせ領域の全ブロックのうちの７０％以上のブロックで特徴点を抽出するものとする。
特徴点抽出部１０５は、例えば、Ｈａｒｒｉｓ Ｄｅｔｅｃｔｏｒを利用して特徴点を抽出する。In FIG. 4, a first projection image 401 is a projection image generated from a first photographed image (for example, a photographed image of the photographing device 301) photographed at the first photographing position.
The second projected image 402 is a projected image generated from a second photographed image (for example, a photographed image of the photographing device 302) photographed at a second photographing position different from the first photographing position.
The first projection image 401 and the second projection image 402 are adjacent projection images in the image composition.
The feature point extraction unit 105 obtains an overlapping area (first overlapping area) of the first projection image 401 and an overlapping area (second overlapping area) of the second projection image 402.
As shown in FIG. 5, the region surrounded by the frame line 501 in the first projection image 401 is the first overlapping region, and the region surrounded by the frame line 501 in the second projection image 402. The region is the second overlapping region.
Next, as shown in FIG. 6, the feature point extraction unit 105 divides the first overlapping region of the first projection image 401 into a plurality of rectangular blocks 601 and extracts feature points in units of blocks 601. .
The feature point extraction unit 105 may extract one or more feature points from all the blocks 601, or may not extract feature points from some blocks 601.
However, it is assumed that the feature point extraction unit 105 extracts feature points from 70% or more of all blocks in the first overlapping region.
The feature point extraction unit 105 extracts feature points using, for example, a Harris Detector.

次に、対応点抽出部１０６が、ステップＳＴ１０５で抽出された特徴点ごとに、他方の投影画像において、対応点を抽出する（ステップＳＴ１０６）（対応点抽出処理）。
対応点抽出部１０６は、図５に示す第２の投影画像４０２の第２の重ね合わせ領域において、特徴点と同じ座標位置の周辺を探索し、特徴点と共通する特徴をもつ点を対応点として抽出する。
例えば、対応点抽出部１０６は、特徴点の輝度勾配を算出し、算出した輝度勾配と同じ傾向を示す対応点を抽出する。
なお、対応点抽出部１０６は、正規化相互相関などの手法を利用して特徴点を探索することができる。Next, the corresponding point extraction unit 106 extracts a corresponding point in the other projected image for each feature point extracted in step ST105 (step ST106) (corresponding point extraction process).
The corresponding point extraction unit 106 searches for the periphery of the same coordinate position as the feature point in the second overlapping region of the second projection image 402 shown in FIG. Extract as
For example, the corresponding point extraction unit 106 calculates a luminance gradient of the feature point, and extracts a corresponding point showing the same tendency as the calculated luminance gradient.
Note that the corresponding point extraction unit 106 can search for feature points using a technique such as normalized cross-correlation.

次に、画像変形部１０７が、対応関係にある特徴点と対応点が一致するように、双方の投影画像を変形させる（ステップＳＴ１０７）（画像変形処理）。
つまり、画像変形部１０７は、特徴点の座標位置と対応点の座標位置とのずれ量が０となるように双方の投影画像を変形させる。
画像変形部１０７は、各特徴点の、もとの撮影画像の中心からの距離に応じて、各特徴点を移動させる比率を変化させる。
同様に、画像変形部１０７は、各対応点の、もとの撮影画像の中心からの距離に応じて、各対応点を移動させる比率を変化させる。
画像変形部１０７は、第１の重ね合わせ領域において、各特徴点の移動先を求めた後、他の点（特徴点以外の点）の移動先を求める。
同様に、画像変形部１０７は、第２の重ね合わせ領域において、各対応点の移動先を求めた後、他の点（対応点以外の点）の移動先を求める。
画像変形部１０７は、他の点の移動先は、他の点の周囲にある特徴点又は対応点の移動先をもとに、線形補間で求める。
また、ステップＳＴ１０５で特徴点が抽出できなかったブロックについては、画像変形部１０７は、特徴点が抽出できなかったブロックの周囲の特徴点の移動量に基づいて、特徴点が抽出できなかったブロック内の点の移動先を線形補間で求める。
また、ステップＳＴ１０６で求めた対応点の特徴点との相関が弱い場合は、画像変形部１０７は、特徴点と対応点との座標位置を一致させる代わりに、当該対応点の周囲の対応点の移動先に基づいて、当該対応点の移動先を線形補間で求める。
また、ある特徴点が周囲の特徴点から大きく離れた位置にある場合は、特徴点と対応点を一致させる代わりに、当該特徴点の周囲の特徴点の移動先に基づいて、当該特徴点の移動先を線形補間で求める。
このような線形補間による移動先の導出により、間違った変形処理を防ぐことができる。Next, the image deformation unit 107 deforms both projection images so that the corresponding feature points and the corresponding points coincide (step ST107) (image deformation processing).
That is, the image deformation unit 107 deforms both projection images so that the deviation amount between the coordinate position of the feature point and the coordinate position of the corresponding point becomes zero.
The image transformation unit 107 changes the ratio of moving each feature point according to the distance of each feature point from the center of the original captured image.
Similarly, the image transformation unit 107 changes the ratio of moving each corresponding point according to the distance from the center of the original captured image of each corresponding point.
The image transformation unit 107 obtains the destination of each feature point in the first overlapping region, and then obtains the destination of another point (a point other than the feature point).
Similarly, the image transformation unit 107 obtains a destination of each corresponding point in the second overlapping area, and then obtains a destination of another point (a point other than the corresponding point).
The image transformation unit 107 obtains the movement destination of other points by linear interpolation based on the movement destinations of feature points or corresponding points around the other points.
For blocks for which feature points could not be extracted in step ST105, the image transformation unit 107 could not extract feature points based on the amount of movement of feature points around the blocks for which feature points could not be extracted. The destination of the point inside is obtained by linear interpolation.
When the correlation between the corresponding points obtained in step ST106 and the feature points is weak, the image transformation unit 107 instead of matching the coordinate positions of the feature points and the corresponding points, the corresponding points around the corresponding points. Based on the movement destination, the movement destination of the corresponding point is obtained by linear interpolation.
In addition, when a certain feature point is located far away from surrounding feature points, instead of matching the corresponding feature point with the corresponding point, the feature point is moved based on the destination of the surrounding feature point. Find the destination by linear interpolation.
Derivation of the movement destination by such linear interpolation can prevent erroneous deformation processing.

そして、合成画像生成部１０８が、重ね合わせ領域が変形された後の投影画像を合成する（ステップＳＴ１０８）（合成画像生成処理）。
つまり、合成画像生成部１０８は、重ね合わせ領域が変形された後の２つの投影画像をそれぞれの重ね合わせ領域を重ね合わせて合成画像を生成する。
なお、合成画像生成部１０８は、重ね合わせ領域を重ね合わせた後の各画素の色情報を、例えば、それぞれの重ね合わせ領域の色情報の加算平均で求める。
また、合成画像生成部１０８は、重ね合わせ領域を重ね合わせた後の各画素の色情報を、撮像中心に近い画素ほど撮影中心の影響を強くさせる手法で求めてもよい。
また、合成画像生成部１０８は、重ね合わせ領域の上端から下端までの輝度勾配が少ないラインを求め、そのラインの左右で表示する画素情報の濃度を決定することで、合成部分を目立たなくすることができる。Then, the synthesized image generation unit 108 synthesizes the projection image after the overlapping area is deformed (step ST108) (synthesized image generation process).
That is, the composite image generation unit 108 generates a composite image by superimposing the respective overlap regions on the two projection images after the overlap region is deformed.
Note that the composite image generation unit 108 obtains the color information of each pixel after the overlapping regions are overlapped, for example, by adding and averaging the color information of the respective overlapping regions.
Further, the composite image generation unit 108 may obtain the color information of each pixel after the overlapping region is overlapped by a method in which the influence of the shooting center is stronger as the pixel is closer to the shooting center.
Further, the composite image generation unit 108 obtains a line with a small luminance gradient from the upper end to the lower end of the overlapping area, and determines the density of pixel information to be displayed on the left and right of the line, thereby making the composite part inconspicuous. Can do.

＊＊＊実施の形態の効果＊＊＊
以上のように、本実施の形態では、第１の重ね合わせ領域を複数のブロックに分割し、第１の重ね合わせ領域においてブロック単位で特徴点を抽出し、ブロック単位で抽出された特徴点ごとに、第２の重ね合わせ領域において対応点を抽出する。
このため、本実施の形態では、位置合わせの基準となる点が第１の重ね合わせ領域と第２の重ね合わせ領域において分散して複数存在し、精細な位置合わせを行うことができる。
従って、異なる撮影位置で撮影された複数の画像であっても、位置ずれの少ない合成画像を得ることができる。
また、重ね合わせ領域における局所的な画像変形を行うことにより、画像内の物体が二重に表示されることを回避し、自然な合成画像を生成することができる。*** Effect of the embodiment ***
As described above, in the present embodiment, the first overlapping region is divided into a plurality of blocks, feature points are extracted in units of blocks in the first overlapping region, and each feature point extracted in units of blocks is extracted. In addition, corresponding points are extracted in the second overlapping region.
For this reason, in the present embodiment, a plurality of points serving as a reference for alignment exist in the first overlap region and the second overlap region, and fine alignment can be performed.
Therefore, even if there are a plurality of images shot at different shooting positions, a composite image with little positional deviation can be obtained.
In addition, by performing local image deformation in the overlapping region, it is possible to avoid double display of objects in the image and to generate a natural composite image.

実施の形態２．
本実施の形態では、撮影画像の仮想投影面への投影角度を調整して投影画像を生成する例を説明する。Embodiment 2. FIG.
In this embodiment, an example in which a projection image is generated by adjusting the projection angle of a captured image on a virtual projection plane will be described.

＊＊＊構成の説明＊＊＊
図７は、本実施の形態に係る合成画像生成装置１００の機能構成例を示す。
図７では、図２と比較して、視点情報格納部１０９が追加されている。
視点情報格納部１０９は、視点情報を保持する。
視点情報は、投影画像を生成する際の視点位置を定義する情報である。
なお、図７において、視点情報格納部１０９以外の要素は、図２に示したものと同じであるため、説明を省略する。*** Explanation of configuration ***
FIG. 7 shows a functional configuration example of the composite image generation apparatus 100 according to the present embodiment.
In FIG. 7, a viewpoint information storage unit 109 is added compared to FIG.
The viewpoint information storage unit 109 holds viewpoint information.
The viewpoint information is information that defines a viewpoint position when generating a projection image.
In FIG. 7, the elements other than the viewpoint information storage unit 109 are the same as those shown in FIG.

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係る合成画像生成装置１００の動作例を図８のフローチャートに基づいて説明する。*** Explanation of operation ***
Next, an operation example of the composite image generation apparatus 100 according to the present embodiment will be described based on the flowchart of FIG.

ステップＳＴ２０１及びステップＳＴ２０２は、図３のステップＳＴ１０１及びステップ１０２と同様であるため、説明を省略する。
次に、投影画像生成部１０４が、視点情報格納部１０９から視点情報を取得する（ステップＳＴ２０３）。
視点情報は、視点の三次元位置と視野角などの情報である。
視点情報には、表示装置２００に表示される合成画像に対する視点位置が定義されている。
本実施の形態に係る合成画像生成装置１００で生成される合成画像は、視点情報で定義されている視点位置を基準にした画像である。Step ST201 and step ST202 are the same as step ST101 and step 102 of FIG.
Next, the projection image generation unit 104 acquires viewpoint information from the viewpoint information storage unit 109 (step ST203).
The viewpoint information is information such as the three-dimensional position of the viewpoint and the viewing angle.
In the viewpoint information, a viewpoint position with respect to the composite image displayed on the display device 200 is defined.
The composite image generated by the composite image generation apparatus 100 according to the present embodiment is an image based on the viewpoint position defined by the viewpoint information.

次に、画像取得部１０１が、撮影装置３０１〜３０３で撮影された撮影画像を取得する（ステップＳＴ２０４）。   Next, the image acquisition unit 101 acquires a captured image captured by the imaging devices 301 to 303 (step ST204).

次に、投影画像生成部１０４が、投影面情報、撮影位置姿勢情報及びレンズ特性情報、視点情報を利用して、各撮影画像を仮想投影面に投影した場合の投影画像を生成する（ステップＳＴ２０５）。
投影画像生成部１０４は、図９に示すように、視点情報で定義されている視点位置と視野角を利用することにより、表示装置２００で表示される合成画像の各画素が仮想投影面のどの位置に対応するかを求めることができる。
具体的には、投影画像生成部１０４は、視点位置と撮影画像の画素位置とを結ぶ直線と仮想投影面の交点に撮影画像の画素値を投影する。
このように、本実施の形態では、投影画像生成部１０４は、視点位置に応じて撮影画像の仮想投影面への投影角度を調整して投影画像を生成する。Next, the projection image generation unit 104 uses the projection plane information, the shooting position and orientation information, the lens characteristic information, and the viewpoint information to generate a projection image when each shot image is projected onto the virtual projection plane (step ST205). ).
As illustrated in FIG. 9, the projection image generation unit 104 uses the viewpoint position and the viewing angle defined by the viewpoint information, so that each pixel of the composite image displayed on the display device 200 is displayed on the virtual projection plane. It can be determined whether it corresponds to the position.
Specifically, the projection image generation unit 104 projects the pixel value of the photographed image at the intersection of a straight line connecting the viewpoint position and the pixel position of the photographed image and the virtual projection plane.
Thus, in the present embodiment, the projection image generation unit 104 generates a projection image by adjusting the projection angle of the captured image on the virtual projection plane in accordance with the viewpoint position.

ステップＳＴ２０６からステップＳＴ２０９については、図３のステップＳＴ１０５からステップ１０８までと同様であるため、説明を省略する。   Steps ST206 to ST209 are the same as steps ST105 to 108 in FIG.

＊＊＊実施の形態の効果＊＊＊
以上のように、本実施の形態によれば、視点情報格納部を備えたことにより、ニ次元平面で定義できない仮想投影面を定義した場合でも、指定した視野内の画像を表示することができ、また、視点情報を変更することで広角画像の一部を拡大して表示することができる。*** Effect of the embodiment ***
As described above, according to the present embodiment, since the viewpoint information storage unit is provided, even when a virtual projection plane that cannot be defined by a two-dimensional plane is defined, an image within a designated field of view can be displayed. In addition, a part of the wide-angle image can be enlarged and displayed by changing the viewpoint information.

実施の形態３．
実施の形態１及び２に係る合成画像生成装置１００は、特徴点及び対応点の抽出後に、直ちに投影画像の重ね合わせ領域を変形させている。
本実施の形態に係る合成画像生成装置１００は、特徴点及び対応点の抽出後に、重ね合わせ領域の変形手順を導出し、導出した変形手順が記述される変形手順情報を生成し、変形手順情報を記憶しておく。
そして、本実施の形態に係る合成画像生成装置１００は、投影画像の合成を行う際に、変形手順情報に記述される変形手順に従って、第１の重ね合わせ領域と第２の重ね合わせ領域を変形させる。Embodiment 3 FIG.
The composite image generation apparatus 100 according to Embodiments 1 and 2 deforms the overlapping region of the projection image immediately after extracting the feature points and the corresponding points.
The composite image generation apparatus 100 according to the present embodiment derives a deformation procedure for the overlapping area after extracting the feature points and the corresponding points, generates deformation procedure information describing the derived deformation procedure, and generates the deformation procedure information. Remember.
The composite image generation apparatus 100 according to the present embodiment deforms the first overlap region and the second overlap region according to the deformation procedure described in the deformation procedure information when combining the projection images. Let

＊＊＊構成の説明＊＊＊
図１０は、本実施の形態に係る合成画像生成装置１００の機能構成例を示す。
図１０では、図７と比較して、変形手順情報格納部１１０、変形手順情報生成部１１１が追加され、また、画像変形部１０７の代わりに画像変形部１１２が含まれている。*** Explanation of configuration ***
FIG. 10 shows a functional configuration example of the composite image generation apparatus 100 according to the present embodiment.
In FIG. 10, as compared with FIG. 7, a deformation procedure information storage unit 110 and a deformation procedure information generation unit 111 are added, and an image deformation unit 112 is included instead of the image deformation unit 107.

変形手順情報生成部１１１は、変形手順情報を生成する。
変形手順情報は、第１の重ね合わせ領域と前記第２の重ね合わせ領域の変形手順が記述される情報である。
変形手順情報生成部１１１は、対応関係にある特徴点と対応点の座標位置に基づき、変形手順情報を生成する。
変形手順情報格納部１１０は、変形手順情報生成部１１１により生成された変形手順情報を保持する。
画像変形部１１２は、変形手順情報に記述される変形手順に従って、第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる。
実施の形態１の画像変形部１０７は、特徴点と対応点の間のずれ量を０にする特徴点の移動先及び対応点の移動先を算出して、算出した移動先に基づいて第１の重ね合わせ領域及び第２の重ね合わせ領域を変形させている。
本実施の形態の画像変形部１１２は、特徴点及び対応点の移動先の算出は行わずに、変形手順情報の変形手順に従って、第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる。
なお、図１０において、変形手順情報格納部１１０、変形手順情報生成部１１１及び画像変形部１１２以外の要素は、図７に示したものと同じであるため、説明を省略する。The deformation procedure information generation unit 111 generates deformation procedure information.
The deformation procedure information is information describing a deformation procedure of the first overlapping area and the second overlapping area.
The deformation procedure information generation unit 111 generates deformation procedure information based on the feature points in correspondence and the coordinate positions of the corresponding points.
The modification procedure information storage unit 110 holds the modification procedure information generated by the modification procedure information generation unit 111.
The image deformation unit 112 deforms the first overlapping region and the second overlapping region according to the deformation procedure described in the deformation procedure information.
The image transformation unit 107 according to the first embodiment calculates the destination of the feature point and the destination of the corresponding point that sets the deviation amount between the feature point and the corresponding point to 0, and first calculates the first based on the calculated destination. The overlapping region and the second overlapping region are deformed.
The image deforming unit 112 according to the present embodiment does not calculate the movement destinations of the feature points and the corresponding points, and performs the first overlapping region and the second overlapping region according to the deformation procedure of the deformation procedure information. Deform.
In FIG. 10, the elements other than the deformation procedure information storage unit 110, the deformation procedure information generation unit 111, and the image deformation unit 112 are the same as those illustrated in FIG.

＊＊＊動作の説明＊＊＊
次に、本実施の形態に係る合成画像生成装置１００の動作例を図１１のフローチャートに基づいて説明する。*** Explanation of operation ***
Next, an operation example of the composite image generation apparatus 100 according to the present embodiment will be described based on the flowchart of FIG.

ステップＳＴ３０１からステップＳＴ３０７までは、図８のステップＳＴ２０１からステップ２０７までと同様であるため、説明を省略する。
ステップＳＴ３０８において、変形手順情報生成部１１１が変形手順情報を生成する。
変形手順情報生成部１１１は、実施の形態１の画像変形部１０７と同様の解析を行って変形手順情報を生成する。
つまり、変形手順情報生成部１１１は、特徴点の座標位置と対応点の座標位置とのずれ量が０となる特徴点移動先の移動先及び対応点の移動先を算出する。
また、変形手順情報生成部１１１は、第１の重ね合わせ領域について特徴点以外の点の移動先を線形補間により算出し、また、第２の重ね合わせ領域について対応点以外の点の移動先を線形補間により算出する。
このようにして、変形手順情報生成部１１１は、第１の重ね合わせ領域の変形手順及び第２の重ね合わせ領域の変形手順を導出する。
そして、変形手順情報生成部１１１は第１の重ね合わせ領域の変形手順及び第２の重ね合わせ領域の変形手順が記述される変形手順情報を生成し、変形手順情報を変形手順情報格納部１１０に格納する。
なお、ステップＳＴ３０６で特徴点が抽出できなかったブロックが存在する場合や、ステップＳＴ３０７で求めた対応点の特徴点との相関が弱い場合、ある特徴点が周囲の特徴点から大きく離れた位置にある場合の処理は、実施の形態１の画像変形部１０７と同じである。Steps ST301 to ST307 are the same as steps ST201 to 207 in FIG.
In step ST308, the deformation procedure information generation unit 111 generates deformation procedure information.
The deformation procedure information generation unit 111 performs the same analysis as the image deformation unit 107 of the first embodiment and generates deformation procedure information.
That is, the transformation procedure information generation unit 111 calculates the destination of the feature point destination and the destination of the corresponding point where the deviation amount between the coordinate position of the feature point and the coordinate position of the corresponding point is zero.
In addition, the deformation procedure information generation unit 111 calculates the movement destination of a point other than the feature point for the first overlapping area by linear interpolation, and determines the movement destination of the point other than the corresponding point for the second overlapping area. Calculate by linear interpolation.
In this way, the deformation procedure information generation unit 111 derives a deformation procedure for the first overlapping area and a deformation procedure for the second overlapping area.
Then, the deformation procedure information generation unit 111 generates deformation procedure information in which the deformation procedure of the first overlapping area and the deformation procedure of the second overlapping area are described, and the deformation procedure information is stored in the deformation procedure information storage unit 110. Store.
When there is a block from which feature points could not be extracted in step ST306, or when the correlation with the feature points of the corresponding points obtained in step ST307 is weak, a certain feature point is located far away from the surrounding feature points. Processing in a certain case is the same as that of the image transformation unit 107 of the first embodiment.

次に、画像変形部１１２が、変形手順情報格納部１１０から変形手順情報を読み出し、変形手順情報に記述されている変形手順に従って、第１の重ね合わせ領域と第２の重ね合わせ領域を変形させる。
そして、合成画像生成部１０８が、実施の形態１と同様に、変形後の２つの投影画像を合成して、合成画像を生成する（ステップＳＴ３１０）。Next, the image deformation unit 112 reads the deformation procedure information from the deformation procedure information storage unit 110, and deforms the first overlap area and the second overlap area according to the deformation procedure described in the deformation procedure information. .
Then, similarly to the first embodiment, the synthesized image generation unit 108 synthesizes the two projected images after deformation to generate a synthesized image (step ST310).

＊＊＊実施の形態の効果の説明＊＊＊
合成画像で動画データのフレームが構成される場合に、実施の形態１では、フレームごとに、画像変形部１０７が第１の重ね合わせ領域及び第２の重ね合わせ領域の変形手順を導出する必要がある。
これに対して、本実施の形態では、前後のフレームで重ね合わせ領域における描画内容に変化がない場合は、画像変形部１１２は、各フレームで、変形手順情報に従って、第１の重ね合わせ領域及び第２の重ね合わせ領域の変形を行うことができ、フレームごとに変形手順を導出する必要がない。
このため、画像取得部１０１で短い時間間隔で撮影画像を取得し、表示装置２００に同じ間隔で合成画像を表示することができるようになる。
変形手順情報生成部１１１は、重ね合わせ領域における描画内容に変化がある場合にのみ、変形手順情報を生成すればよい。
また、変形手順情報生成部１１１は、一定時間間隔ごとに変形手順情報を更新するようにしてもよい。*** Explanation of the effect of the embodiment ***
In the first embodiment, when the frame of the moving image data is composed of the composite image, it is necessary for the image deforming unit 107 to derive the deformation procedure of the first overlapping region and the second overlapping region for each frame. is there.
On the other hand, in the present embodiment, when there is no change in the drawing content in the overlapping area between the previous and next frames, the image deforming unit 112 determines the first overlapping area and the The second overlapping region can be deformed, and there is no need to derive a deformation procedure for each frame.
For this reason, the image acquisition unit 101 can acquire a captured image at a short time interval and display a composite image on the display device 200 at the same interval.
The deformation procedure information generation unit 111 may generate the deformation procedure information only when there is a change in the drawing content in the overlapping area.
Further, the deformation procedure information generation unit 111 may update the deformation procedure information at regular time intervals.

以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。As mentioned above, although embodiment of this invention was described, you may implement in combination of 2 or more among these embodiment.
Alternatively, one of these embodiments may be partially implemented.
Alternatively, two or more of these embodiments may be partially combined.
In addition, this invention is not limited to these embodiment, A various change is possible as needed.

１ 演算プロセッサ、２ システムメモリ、３ 描画グラフィックスＬＳＩ、４ 合成画像生成プログラム、５ グラフィックスメモリ、６ 画像キャプチャＬＳＩ、１００ 合成画像生成装置、１０１ 画像取得部、１０２ 撮影装置情報格納部、１０３ 投影面情報格納部、１０４ 投影画像生成部、１０５ 特徴点抽出部、１０６ 対応点抽出部、１０７ 画像変形部、１０８ 合成画像生成部、１０９ 視点情報格納部、１１０ 変形手順情報格納部、１１１ 変形手順情報生成部、１１２ 画像変形部、２００ 表示装置、３００ 撮影装置、３０１ 撮影装置、３０２ 撮影装置、３０３ 撮影装置。   DESCRIPTION OF SYMBOLS 1 Arithmetic processor, 2 System memory, 3 Drawing graphics LSI, 4 Composite image generation program, 5 Graphics memory, 6 Image capture LSI, 100 Composite image generation apparatus, 101 Image acquisition part, 102 Imaging device information storage part, 103 Projection Surface information storage unit, 104 Projection image generation unit, 105 Feature point extraction unit, 106 Corresponding point extraction unit, 107 Image deformation unit, 108 Composite image generation unit, 109 View point information storage unit, 110 Deformation procedure information storage unit, 111 Deformation procedure Information generating unit, 112 image transformation unit, 200 display device, 300 photographing device, 301 photographing device, 302 photographing device, 303 photographing device.

Claims (9)

第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成装置であって、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出部と、
対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形部と、
前記画像変形部により変形された後の前記第１の重ね合わせ領域と、前記画像変形部により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成部とを有する合成画像生成装置。A composite image generation apparatus that generates a composite image by superimposing a first overlap region that is a partial region of a first image and a second overlap region that is a partial region of a second image. There,
A feature point extraction unit that divides the first overlapping region into a plurality of blocks and extracts feature points in units of blocks;
A corresponding point extracting unit that extracts corresponding points in the second overlapping region corresponding to the feature points extracted by the feature point extracting unit;
An image deforming unit that deforms the first overlapping region and the second overlapping region based on the corresponding feature point and the coordinate position of the corresponding point;
A composite image generation unit that generates a composite image by superimposing the first overlap region after being deformed by the image deformation unit and the second overlap region after being deformed by the image deformation unit. A composite image generating apparatus. 前記対応点抽出部は、
前記特徴点抽出部により抽出された特徴点の輝度勾配を算出し、算出した輝度勾配に基づき、前記第２の重ね合わせ領域内の対応点を抽出する請求項１に記載の合成画像生成装置。The corresponding point extraction unit
The composite image generation apparatus according to claim 1, wherein a luminance gradient of the feature point extracted by the feature point extraction unit is calculated, and a corresponding point in the second overlapping region is extracted based on the calculated luminance gradient. 前記対応点抽出部は、
前記特徴点抽出部により抽出された特徴点と共通する特徴をもつ、前記第２の重ね合わせ領域内の点を対応点として抽出する請求項１に記載の合成画像生成装置。The corresponding point extraction unit
The composite image generation apparatus according to claim 1, wherein a point in the second overlapping region having a feature common to the feature point extracted by the feature point extraction unit is extracted as a corresponding point. 前記画像変形部は、
対応関係にある特徴点と対応点の座標位置のずれがなくなるように、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる請求項１に記載の合成画像生成装置。The image transformation unit
The composite image generating apparatus according to claim 1, wherein the first overlapping region and the second overlapping region are deformed so that a shift in the coordinate position between the feature point in the correspondence relationship and the corresponding point is eliminated. 前記合成画像生成装置は、更に、
前記第１の画像として、第１の撮影位置で撮影された第１の撮影画像を仮想投影面に投影させた第１の投影画像を生成し、前記第２の画像として、前記第１の撮影位置とは異なる第２の撮影位置で撮影された第２の撮影画像を前記仮想投影面に投影させた第２の投影画像を生成する投影画像生成部を有し、
前記特徴点抽出部は、
前記第１の投影画像の前記１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出し、
前記対応点抽出部は、
前記特徴点抽出部により抽出された特徴点に対応する、前記第２の投影画像の前記第２の重ね合わせ領域内の対応点を抽出する請求項１に記載の合成画像生成装置。The composite image generation device further includes:
As the first image, a first projection image obtained by projecting the first photographed image taken at the first photographing position onto a virtual projection plane is generated, and the first image is taken as the second image. A projection image generation unit that generates a second projection image obtained by projecting the second captured image captured at a second imaging position different from the position onto the virtual projection plane;
The feature point extraction unit includes:
Dividing the one overlap region of the first projection image into a plurality of blocks, extracting feature points in units of blocks;
The corresponding point extraction unit
The composite image generation apparatus according to claim 1, wherein corresponding points in the second overlapping region of the second projection image corresponding to the feature points extracted by the feature point extraction unit are extracted. 前記投影画像生成部は、
視点位置に応じて前記第１の撮影画像及び前記第２の撮影画像の前記仮想投影面への投影角度を調整して前記第１の投影画像及び前記第２の投影画像を生成する請求項５に記載の合成画像生成装置。The projection image generation unit
6. The first projection image and the second projection image are generated by adjusting a projection angle of the first photographed image and the second photographed image on the virtual projection plane according to a viewpoint position. The composite image generation apparatus described in 1. 前記合成画像生成装置は、更に、
対応関係にある特徴点と対応点の座標位置に基づき、前記画像変形部による前記第１の重ね合わせ領域と前記第２の重ね合わせ領域の変形手順が記述される変形手順情報を生成する変形手順情報生成部を有し、
前記画像変形部は、
前記変形手順情報生成部により生成された前記変形手順情報に記述される変形手順に従って、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる請求項１に記載の合成画像生成装置。The composite image generation device further includes:
A deformation procedure for generating deformation procedure information describing a deformation procedure of the first overlapping area and the second overlapping area by the image deformation unit based on the feature points in correspondence and the coordinate positions of the corresponding points. Having an information generator,
The image transformation unit
2. The composite image generation according to claim 1, wherein the first overlapping area and the second overlapping area are deformed according to a deformation procedure described in the deformation procedure information generated by the deformation procedure information generation unit. apparatus. 第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成するコンピュータが、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出し、
抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出し、
対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させ、
変形後の前記第１の重ね合わせ領域と、変形後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成方法。A computer that generates a composite image by superimposing a first overlapping region that is a partial region of the first image and a second overlapping region that is a partial region of the second image;
Dividing the first overlapping region into a plurality of blocks, extracting feature points in units of blocks;
Extracting corresponding points in the second overlapping region corresponding to the extracted feature points;
Based on the corresponding feature point and the coordinate position of the corresponding point, the first overlapping region and the second overlapping region are deformed,
A composite image generation method for generating a composite image by superimposing the first overlap region after deformation and the second overlap region after deformation. 第１の画像の一部の領域である第１の重ね合わせ領域と第２の画像の一部の領域である第２の重ね合わせ領域とを重ね合わせて合成画像を生成するコンピュータに、
前記第１の重ね合わせ領域を複数のブロックに分割し、ブロック単位で特徴点を抽出する特徴点抽出処理と、
前記特徴点抽出処理により抽出された特徴点に対応する、前記第２の重ね合わせ領域内の対応点を抽出する対応点抽出処理と、
対応関係にある特徴点と対応点の座標位置に基づき、前記第１の重ね合わせ領域と前記第２の重ね合わせ領域とを変形させる画像変形処理と、
前記画像変形処理により変形された後の前記第１の重ね合わせ領域と、前記画像変形処理により変形された後の前記第２の重ね合わせ領域とを重ね合わせて合成画像を生成する合成画像生成処理とを実行させる合成画像生成プログラム。A computer that generates a composite image by superimposing a first overlapping region that is a partial region of the first image and a second overlapping region that is a partial region of the second image;
A feature point extraction process of dividing the first overlapping region into a plurality of blocks and extracting feature points in units of blocks;
Corresponding point extraction processing for extracting corresponding points in the second overlapping region corresponding to the feature points extracted by the feature point extraction processing;
An image deformation process for deforming the first overlap region and the second overlap region based on the feature points in correspondence and the coordinate positions of the corresponding points;
Composite image generation processing for generating a composite image by superimposing the first overlap region after being deformed by the image deformation processing and the second overlap region after being deformed by the image deformation processing A composite image generation program for executing
JP2015554911A 2015-05-19 2015-05-19 Composite image generation apparatus, composite image generation method, and composite image generation program Pending JPWO2016185556A1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064292 WO2016185556A1 (en) 2015-05-19 2015-05-19 Composite image generation device, composite image generation method, and composite image generation program

Publications (1)

Publication Number Publication Date
JPWO2016185556A1 true JPWO2016185556A1 (en) 2017-06-01

Family

ID=57319654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015554911A Pending JPWO2016185556A1 (en) 2015-05-19 2015-05-19 Composite image generation apparatus, composite image generation method, and composite image generation program

Country Status (2)

Country Link
JP (1) JPWO2016185556A1 (en)
WO (1) WO2016185556A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111355928A (en) * 2020-02-28 2020-06-30 济南浪潮高新科技投资发展有限公司 Video stitching method and system based on multi-camera content analysis

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087319A (en) * 2010-12-06 2011-04-28 Sanyo Electric Co Ltd In-vehicle panorama camera system
JP2012080432A (en) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc Panoramic image generation device and panoramic image generation method
JP2013074423A (en) * 2011-09-27 2013-04-22 Aisin Seiki Co Ltd Vehicle periphery monitoring device
JP2013186853A (en) * 2012-03-12 2013-09-19 Casio Comput Co Ltd Image processing device, image processing method and program
JP2013187799A (en) * 2012-03-09 2013-09-19 Canon Inc Image processing apparatus, image processing method and computer program
JP2014127839A (en) * 2012-12-26 2014-07-07 Mitsubishi Electric Corp Image synthesizing apparatus and image synthesizing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012080432A (en) * 2010-10-05 2012-04-19 Sony Computer Entertainment Inc Panoramic image generation device and panoramic image generation method
JP2011087319A (en) * 2010-12-06 2011-04-28 Sanyo Electric Co Ltd In-vehicle panorama camera system
JP2013074423A (en) * 2011-09-27 2013-04-22 Aisin Seiki Co Ltd Vehicle periphery monitoring device
JP2013187799A (en) * 2012-03-09 2013-09-19 Canon Inc Image processing apparatus, image processing method and computer program
JP2013186853A (en) * 2012-03-12 2013-09-19 Casio Comput Co Ltd Image processing device, image processing method and program
JP2014127839A (en) * 2012-12-26 2014-07-07 Mitsubishi Electric Corp Image synthesizing apparatus and image synthesizing method

Also Published As

Publication number Publication date
WO2016185556A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
CN112017216B (en) Image processing method, device, computer readable storage medium and computer equipment
KR102170182B1 (en) System for distortion correction and calibration using pattern projection, and method using the same
JP6701930B2 (en) Authoring device, authoring method, and authoring program
JP6518115B2 (en) IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, CONTROL METHOD OF IMAGE PROCESSING APPARATUS, AND PROGRAM
JP2016171463A (en) Image processing system, image processing method, and program
WO2013151883A1 (en) Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system
JP2013009050A (en) Image processing apparatus and image processing method
JP4941565B2 (en) Corresponding point search apparatus and corresponding point searching method
CN112017215B (en) Image processing method, device, computer readable storage medium and computer equipment
JP2015036841A (en) Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method
TWI615808B (en) Image processing method for immediately producing panoramic images
KR20130077414A (en) Optical axis error compensation method using image processing, the method of the same, and the zoom camera provided for the compensation function of the optical axis error
JP2013171522A (en) System and method of computer graphics image processing using ar technology
JP5321417B2 (en) Perspective transformation parameter generation device, image correction device, perspective transformation parameter generation method, image correction method, and program
TW201342303A (en) Three-dimensional image obtaining system and three-dimensional image obtaining method
WO2016185556A1 (en) Composite image generation device, composite image generation method, and composite image generation program
JP2014075685A (en) Image processor and image processing method
JP2019220032A (en) Program, apparatus and method that generate display image which is transformed from original image on the basis of target image
JP2008203538A (en) Image display system
JP2018032991A (en) Image display unit, image display method and computer program for image display
JP2013130930A (en) Image processing system, image processing method, and program for image processing
KR102074072B1 (en) A focus-context display techinique and apparatus using a mobile device with a dual camera
JP6242009B2 (en) Video transfer system, terminal, program, and method for displaying a shooting area frame superimposed on a wide area image
US10097772B2 (en) Image processing device and image processing method
JP2016015036A (en) Image processing device, and image processing method

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160809