JP2821042B2

JP2821042B2 - 画像合成装置

Info

Publication number: JP2821042B2
Application number: JP3100038A
Authority: JP
Inventors: 功川原
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1991-05-01
Filing date: 1991-05-01
Publication date: 1998-11-05
Anticipated expiration: 2013-11-05
Also published as: JPH04329484A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の画像を統合して
表示する画像合成装置に関する。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば図７に示すものがある。図７は、この従来の画像
合成装置の構成図を示すものである。図７において、３
は入力した両画像間の対応する画素位置を検出する画素
位置対応検出手段であり、７１は画素位置対応検出手段
３にて検出した画像の対応結果に基づいて、画像のひと
つを座標変換するアフィン変換手段である。７２は入力
した画像とアフィン変換した画像の両者を合成する画像
合成手段である。７３は合成した画像の一部を切り出す
画像切り出し手段である。このように構成された従来の
画像合成装置について以下その動作を説明する。

【０００３】図７において、画素位置対応検出手段３
は、入力された複数の画像から共通の対象物が存在する
部分をパターンマッチング等の方法によって検出し、入
力画像１と入力画像２の平行移動量、あるいは画面に垂
直な軸のまわりの回転角度等の対応関係を求める。この
対応関係を用いてアフィン変換手段７１により入力画像
１に座標変換を施すことにより、平行移動分の補正や回
転によるずれ等を補正して、入力画像１を入力画像２の
延長とみなし、画像合成手段７２により、アフィン変換
画像と入力画像２とを合成し、画像切り出し手段７３を
通して合成画像全体またはその一部分を出力しようとす
るものである。

【０００４】

【発明が解決しようとする課題】しかしながら、図７の
ような構成では、複数の画像のうち、いずれかひとつの
画像を基準として他の画像をアフィン変換するという方
式であるため、たとえば広角レンズを用いて立体的な奥
行きをもった対象物を撮影した画像の場合には平行移動
や画面に垂直な軸のまわりの回転などの相似変形だけで
は必ずしも変換後の画像がうまく重ならないという課題
を有していた。

【０００５】また、画像を合成する際、複数の画像のい
ずれかを基準として他の画像を変形して合成を行うた
め、中間的な視角で撮影した画像を得ることができなか
った。たとえばカメラを左右に振った角度で撮影した２
枚の入力画像（左画像および右画像とする）がある場
合、左画像を基準として右画像を変換した画像を合成す
る場合、または逆に右画像を基準として左画像を変換し
た画像を合成する場合のいずれかしか行えず、カメラが
正面を向いて撮影した場合と等価な合成画像を得ること
ができないという課題があった。

【０００６】また、対象物の一部が重なるように撮影さ
れた複数の画像が与えられた場合、画像の相対位置関係
に応じて画像基準位置の設定を行っていなかったので、
入力された原画像からの幾何学的変形を抑制するような
画像合成ができなかった。

【０００７】また、画像を合成する場合に、複数の画像
の画素位置の対応に応じて画像を切り出して合成してい
ないので、複数の画像間で対象物の移動が発生したよう
な場合、切り出し部分が不連続になるという課題を有し
ていた。

【０００８】また、画像の一部を切り出す領域を連続的
に変化させて、動画像的な効果を得ようとしても、複数
の画像のうち特定の画像を基準として全画面が合成され
ているので、等価的なカメラ角度が常に一定の画像とな
り、切り出す領域をたとえ連続的に変化させても、単に
壁に描かれた絵の一部を表示しているとの感覚しか得ら
れなかった。

【０００９】本発明は、上記従来の画像合成装置の種々
の課題を解決するもので、広角レンズを用いて立体的な
奥行きをもった対象物を撮影した画像の場合において
も、精度よく画像合成を行うとともに、画像の基準位置
の柔軟な設定を実現して、複数の画像の合成を効果的に
行う画像合成装置を提供することを目的としている。

【００１０】

【課題を解決するための手段】本発明は上記目的を達成
するために、画像の一部分が他の画像の一部分と共通の
対象物を含む複数の画像を入力して、この複数の画像間
の対応する画素位置を検出する画素位置対応検出手段
と、画像の基準座標位置を設定する画像基準位置設定手
段と、前記画像位置対応決定手段の出力と前記画像基準
位置設定手段の出力とを用いて画像の２次元位置の変換
を表す変換パラメータを算出する変換パラメータ算出手
段と、入力した複数の画像を前記変換パラメータを用い
て座標変換する画像変換手段と、前記座標変換した複数
の画像の各々を前記画素位置対応検出手段の出力によっ
て切り出す複数の画像切り出し手段と、前記切り出した
複数の画像を合成出力する画像合成手段とを備えてなる
ものである。

【００１１】

【作用】本発明によれば、上記した構成により、複数の
画像の対応する画素位置を検出し、画像中の任意の位置
に設定した点を基準として入力画像をあらためて画像変
換して合成しているので、広角レンズを用いて立体的な
奥行きをもった対象物を撮影した画像の場合、たとえば
カメラの角度変化によって２本の直線のなす角度が変化
するような画像を対象とする場合でも、カメラの角度に
応じた画像の変換が可能になり、単に平行移動や回転な
どの相似変形では処理できなかった画像を合成すること
ができるものである。

【００１２】また画像基準を画像中心点に固定するので
はなく、任意の位置に移動してこれを基準として画像変
換パラメータを算出し、このパラメータを用いて入力画
像を座標変換して画像合成しているので、実際には撮影
していないカメラ角度での画像を仮想的に合成すること
ができるものである。

【００１３】また、対象物の一部が重なるように撮影さ
れた複数の画像が与えられた場合、画像の相対位置関係
を検出し、複数の画像の中央に相当する画像が存在する
場合にはこれを画像基準位置とすることにより、入力さ
れた原画像からの幾何学的変形をできるだけ抑制した画
像合成が可能となるものである。また複数の画像が、そ
の相対位置関係から、ある領域を中心として撮影された
複数の画像であると判定される場合は、たとえその中央
の領域が画像の中央にくるような角度で撮影された画像
が存在しない場合においても、仮想的に中央の位置を画
像基準位置として設定することにより、入力された原画
像からの幾何学的変形をできるだけ抑制した画像合成が
可能となるものである。

【００１４】また、画像を合成する場合に、複数の画像
の画素位置の対応に応じて画像を切り出して合成するこ
とにより、複数の画像間で対象物の移動が発生したよう
な場合であっても、切り出し合成を行う部分での不連続
の発生を抑制するものである。

【００１５】また、画像基準位置を連続的に変化させて
合成した画像の一部を連続的に切り出して動画像的な効
果を得ようとする場合、画像基準位置に応じて合成する
画像をその都度変換して合成するので実際にカメラの角
度を変化させて撮影した動画像と同様の臨場感をもった
動画像を得ることができるものである。

【００１６】

【実施例】以下、本発明の実施例について図面を参照し
ながら説明する。

【００１７】図１は、本発明の第１の実施例における画
像合成装置の構成図を示すものである。図１において、
１〜２は画像入力端子、３は入力した画像間の画素位置
の対応を検出する画素位置対応検出手段、４は画像の基
準位置を設定する画像基準位置設定手段、５〜６は画像
の変換マトリクスの係数を計算する変換マトリクス算出
手段、７〜８は画像変換手段、９〜１０は画像切り出し
手段、１１は画像合成手段、１２は合成画像出力であ
る。

【００１８】以上のように構成された本発明の第１の実
施例の画像合成装置について、以下その動作を説明す
る。

【００１９】画素位置対応検出手段３は入力された２つ
の画像を比較し、共通の対象物が存在する領域を検出
し、一方の画像と他方の画像の画素位置関係を検出す
る。

【００２０】画像基準位置設定手段４は、画像の基準位
置を設定するもので、合成した画像における座標系の原
点をどこに設定するかを決めることと等価である。この
画像基準位置設定のもっとも簡単な例としては、例え
ば、入力画像の一方を基準画像とし、画像原点、すなわ
ち視点をこの基準画像の中心点とすることである。

【００２１】２つの画像においては、それぞれのカメラ
の角度が一般には異なっているので、２つの画像に写っ
た同一の対象物の各点は、平行移動や画面に垂直な軸に
関する回転だけでは、かならずしも十分画素位置が一致
させることができない。しかし対象またはカメラの動き
を回転行列と並進ベクトルを用いて表現し、これに基づ
いて画像を変換すれば対応する画素どうしの位置を一致
させることができる。とくにカメラの動きがレンズ中心
を固定した回転とみなせる場合や、対象となる画像が遠
景の場合のようにカメラの平行移動成分が無視できると
きには、この画像の変換は変換マトリクスの係数Ｒ
_ij（i,j=1,2,3）を用いて簡単に表現できる。画像上の
点（ｘ，ｙ）が点（Ｘ，Ｙ）に変換されるとき、レンズ
の焦点距離をｆとして、Ｘ＝ｆ（Ｒ₁₁ｘ＋Ｒ₂₁ｙ＋Ｒ₃₁ｆ）／（Ｒ₁₃ｘ＋Ｒ₂₃ｙ＋Ｒ₃₃ｆ）Ｙ＝ｆ（Ｒ₁₂ｘ＋Ｒ₂₂ｙ＋Ｒ₃₂ｆ）／（Ｒ₁₃ｘ＋Ｒ₂₃ｙ＋Ｒ₃₃ｆ）で表現できる。

【００２２】変換マトリクス算出手段５および６は、画
素位置対応検出手段３で検出した２つの画像間の画素位
置の対応する情報と、画像基準位置設定手段４の座標位
置を用いて変換マトリクス係数Ｒ_ij（i,j=1,2,3）を検
出することができる。この変換マトリクスの計算につい
ては、対応する画素の組が２組あれば理論的には計算可
能なことが知られており、また３組以上あれば数値計算
誤差を抑えて計算する方法がいくつか知られている。

【００２３】前述した変換マトリクス算出手段５および
６で得られた変換マトリクス係数Ｒ _ij（i,j=1,2,3）及
び変換式に基づき、画像変換手段７および８は入力画像
を各々変換し、画像切り出し手段９および１０に供給す
る。画像切り出し手段９および１０は画素位置対応検出
３の出力に基づき、２つの画像間で互いに対応がつく画
素を結ぶ線分で画像を切り出し、これらの画像を画像合
成手段１１により合成して、接続部分での不連続の発生
を抑えた合成画像を得ることができる。

【００２４】図２は画像切り出し手段９および１０の処
理を説明する図である。図２（ａ）のように、カメラを
ＡまたはＢのように変化させて撮影した２つの画像、す
なわち図２（ｂ）および図２（ｃ）の画像を合成する場
合について説明する。２つの画像は点Ｐ₁と点Ｐ₂を結ぶ
直線で最も対応がとれているため、図２（ｄ）のような
切り出し線で２つの画像を合成することが最も簡単であ
るが、移動する物体が視野に入り込んだために、図２
（ｄ）のような切り出し線を用いると、図２（ｅ）のよ
うな不自然な合成画像となってしまう。そこで、図２
（ｆ）または（ｈ）のように、画像間で互いに対応がつ
く画素に着目してそれら画素を結ぶ線を画像切り出し線
として選択すれば、図２（ｇ）または（ｈ）のようによ
り自然な合成画像を得ることができる。なお図２の例の
人と自動車のように、切り出し線の選択によっては画像
の離れた位置の動いている対象物の時間関係がかならず
しも正しく再現されない場合が発生するが、図２（ｅ）
のように対象物が不連続に切断されることと比較すると
はるかに自然な合成画像を得ることができる。

【００２５】図３は本実施例における画像基準位置設定
の動作例を示す説明図である。図２と同様、図３（ａ）
は２つのカメラ角度でのそれぞれの画像である。画像基
準位置を画像Ａ中の点Ｐ_Aに設定した場合、画像基準位
置付近の合成画像は図３（ｂ）のようになり、画像Ｂの
部分は合成画像では大きく変形することになる。画像基
準位置を画像Ｂ中の点Ｐ_Bに設定した場合も同様に画像
基準位置付近の合成画像は図３（ｄ）のようになり、画
像Ａの部分は合成画像では大きく変形することになる。
画像基準位置を図３（ｃ）のようにＰ_A、Ｐ_Bの中間にと
ることにより、画像の極端な変形を抑えた合成画像を得
ること、あるいは実際には撮影していないカメラ角度で
の合成画像を得ることができる。

【００２６】なお本実施例において、画素基準位置を図
４Ａ〜Ｄのように連続して変化させて発生させ、これに
あわせて画像を合成することにより、出力画像はその都
度、複数の画像を異なった変換を施した画像を合成して
得られるので、実際にカメラの角度を変化させて撮影し
た場合と等価な臨場感のある動画像を得ることができる
ものである。

【００２７】また、図４Ａ〜Ｄのような画像中の任意の
点と前記複数の画像のうち他の画像中の任意の点との２
点を通る線上のいずれかの点を画像基準位置として選択
するようにしてもかまわない。

【００２８】以上のように、本実施例によれば、複数の
画像の対応する画素位置を検出し、カメラの角度変化に
よる画像の変化を運動パラメータとして算出し、入力画
像をこの運動パラメータを用いて画像変換して合成して
いるので、広角レンズを用いて立体的な奥行きをもった
対象物を撮影した画像の場合、たとえばカメラの角度変
化によって２本の直線のなす角度が変化するような画像
を対象とする場合でも、カメラの角度に応じた画像の変
換が可能になり、単に平行移動や回転などの相似変形で
は処理できなかった画像を合成することがことが可能と
なる。また、画像切り出しを行う際に、複数の画像間で
互いに対応がつく画素を結ぶ線を画像切り出し線として
いるので２つの画像間で対象物の移動が発生したような
場合であっても、画像接続部分での不連続を抑えてより
自然な合成画像を得ることができる。また画像基準位置
の設定を柔軟におこなっているので、画像の変形を抑え
た合成画像を得ること、あるいは実際には撮影していな
いカメラ角度での画像と等価な画像を得ることができ
る。

【００２９】図５は本発明の第２の実施例の画像合成装
置における構成図の一部である。図６は本実施例での入
力画像と被写体の関係を示す図である。図５において２
１〜２５は画像入力端子、２６は画像配置検出手段、２
７は基準画像選択手段、２８は基準画像、２９〜３２は
画素位置対応検出手段、３３〜３６は変換パラメータ算
出手段、３７〜４０は画像変換手段、４１〜４４は変換
画像であって、それら内容は、次の通りである。以上の
ように構成された本発明の第２の実施例について、第１
の実施例の場合と異なる部分について説明する。入力画
像２１〜２５は画像の一部の領域が他の画像の一部と共
通の被写体を含んでおり、画像配置検出手段２６により
入力された画像のうち、中央部に配置しているものを検
出する。図６（ｂ）のように、画像入力端子２５の入力
画像５が中央に配置されているので基準画像選択手段２
７は基準画像２８として入力画像５を選択する。画素位
置対応検出手段２９〜３２は、基準画像２８と各画像と
によって、対応する画素位置を検出する。変換パラメー
タ算出手段３３〜３６は、基準画像２８と画素位置対応
情報から、基準画像５に対する各入力画像の変換のため
のパラメータを得る。そして、各々の変換パラメータを
用いて画像変換手段３７〜４０にて変換された各画像
１、２、３、４は、図１の場合と同様にして、入力画像
５の周辺の延長画像として使用することができる。各入
力画像の中央部に配置する画像を基準としているので、
合成画像で発生する画像の変形はそれほど大きくなく、
自然な画像合成を自動的に行うことが可能となる。

【００３０】以上のように、本実施例によれば、複数の
画像の相対位置を判定して基準画像を選択しているの
で、入力画像の各々をあまり変形させずに自動的に画像
合成を行うことができる。

【００３１】なお、本発明は上記実施例に限定されるも
のでなく、本発明の趣旨に基づいて種々の変形が可能で
ある。

【００３２】

【発明の効果】以上説明したように、本発明は、カメラ
の角度変化による画像の変化を運動パラメータとして算
出し、入力画像をこの運動パラメータを用いて画像変換
して合成しているので、奥行きのある画像の場合でも合
成することがてきる。

【００３３】また、本発明は、画像基準位置設定を柔軟
に行っているので、画像変形の少ない合成または実際に
は撮影していない角度での画像を得ることができる。

【００３４】また、本発明は、複数の画像の相対位置を
判定して基準画像を選択しているので、入力画像の各々
をあまり変形させずに自動的に画像合成を行うことがで
きる。

【００３５】また、本発明は、画像を切り出して合成す
る際に、複数の画像で対応のつく画素を結んで切り出す
ことにより、不連続のない画像合成が実現できる。

【００３６】また、本発明は、画素基準位置を連続して
変化させて発生させ、これにあわせて画像を合成するこ
とにより、実際にカメラの角度を変化させて撮影した場
合と等価な臨場感のある動画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における画像合成装置の
構成図である。

【図２】本発明の第１の実施例におけるは画像切り出し
手段９および１０の処理を説明する図である。

【図３】本発明の第１の実施例における画像基準位置設
定の動作例を示す説明図である。

【図４】本発明の第１の実施例における画素基準位置を
示す図である。

【図５】本発明の第２の実施例における画像合成装置の
構成図の一部である。

【図６】本発明の第２の実施例における入力画像と被写
体の関係を示す図である。

【図７】従来の画像合成装置の構成図である。

【符号の説明】

１、２入力画像３画素位置対応検出手段４画像基準位置設定手段５、６変換パラメータ算出手段７、８画像変換手段９、１０画像切り出し手段１１画像合成手段１２画像合成出力２１〜２５入力画像２９〜３２画素位置対応検出手段３３〜３６変換パラメータ算出手段３７〜４０画像変換手段４１〜４４変換画像

Claims

(57)【特許請求の範囲】

【請求項１】画像の一部分が他の画像の一部分と共通
の対象物を含む複数の画像を入力する画像入力手段と、
前記複数の画像間の対応する画素位置を検出する画素位
置対応検出手段と、画像の基準座標位置を設定する画像
基準位置設定手段と、前記画像位置対応決定手段の出力
と前記画像基準位置設定手段の出力とを用いて画像の２
次元位置の変換を表す変換パラメータを算出する変換算
出手段と、前記入力した複数の画像を前記変換パラメー
タを用いて座標変換する画像変換手段と、前記座標変換
した複数の画像の各々を前記画素位置対応検出手段の出
力によって切り出す複数の画像切り出し手段と、前記切
り出した複数の画像を合成出力する画像合成手段とを備
えたことを特徴とする画像合成装置。
【請求項２】画像基準位置設定手段は、前記複数の画
像のうちのひとつの画像中の任意の点と前記複数の画像
のうち他の画像中の任意の点との２点を通る線上の点を
画像基準位置として選択することを特徴とする請求項１
の画像合成装置。
【請求項３】画像切り出し手段は、複数の画像間で互
いに対応がつく画素を結ぶ線を画像切り出し線とするこ
とを特徴とする請求項１の画像合成装置。
【請求項４】画像基準位置設定手段は、前記複数の画
像中の任意の点を始点および終点として継続して画像基
準位置情報として発生させるものであって、それによっ
て動画的な画像を得ることを特徴とする請求項１の画像
合成装置。
【請求項５】画像の一部分が他の画像の一部分と共通
の対象物を含む複数の画像を入力する画像入力手段と、
入力した複数の画像間の相対的位置を検出する画像位置
検出手段と、前記画像位置検出手段の検出結果に基づい
て前記入力した複数の画像のひとつを基準画像として選
択する基準画像選択手段と、前記選択した基準画像と前
記入力した複数の画像のうち他の画像の各々との画素間
の対応する画素位置を検出する画素位置対応検出手段
と、前記画像位置対応決定手段の出力及び前記基準画像
情報を用いて画像の位置の変換を表す変換パラメータを
算出する変換算出手段と、前記入力した複数の画像を前
記変換パラメータを用いて座標変換する画像変換手段
と、前記座標変換した複数の画像の各々を前記画素位置
対応検出手段の出力によって切り出す複数の画像切り出
し手段と、前記切り出した複数の画像を合成出力する画
像合成手段とを備えたことを特徴とする画像合成装置。