JPH10247234A

JPH10247234A - 画像合成装置

Info

Publication number: JPH10247234A
Application number: JP9050347A
Authority: JP
Inventors: Katsuyuki Kamei; 克之亀井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1997-03-05
Filing date: 1997-03-05
Publication date: 1998-09-14
Anticipated expiration: 2017-03-05
Also published as: JP3395564B2

Abstract

(57)【要約】【課題】複数の入力画像を用いての景観画像の合成に
際して、あらかじめ密に定められた視点位置に対応させ
て入力画像を用意することなく、自由に、また、疎に配
置された視点位置で得られている入力画像を用い、短時
間で合成画像を生成する画像合成装置を得る。【解決手段】入力画像および合成画像について地平面
に垂直な面との共通線分ごとに部分画像を設定し、合成
画像の各部分画像に対して入力画像のうち最適な部分画
像を検索、転写することで、自由に、疎に配置された視
点位置で得られている入力画像を用いて、短時間で合成
画像を生成できるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は異なる視点位置ある
いは方向の景観を表す複数の既存画像を用いて新たな視
点位置での景観を表す画像を合成する画像合成装置に関
するものである。

【０００２】

【従来の技術】図２８は、例えば、特開平７−２８７７
６１号公報に示された従来の画像合成装置の動作を示す
説明図である。図において、１は画像を入力する視点位
置が並ぶ平面、２は画像を入力する視点、３は視点２で
撮影された入力画像、４は新たに合成する画像の視点、
５は視点４での合成画像、６は合成画像５の画素、７は
合成画像５の画像面、８は視点４と画素６を結ぶ直線、
９は視点４から画素６に向かう視線ベクトル、１０は視
線ベクトル９が平面１と交差する仮想視点、１１は入力
画像３の画素、１２は入力画像３の画像面、１３は画素
１１に投影される空間中の点、１４は視点２を起点とす
る画素１１に対応する視線ベクトル、１５は点１３を含
む被写体、１６は入力画像３の光軸、１７は合成画像５
の光軸である。

【０００３】従来の画像合成装置では、図２８に示すよ
うに、平面１の上に配置された十分間隔の細かい複数の
視点位置２（Ｐn（n＝1,..,N））より撮影された入力画
像３（Ｉn （ｉ，ｊ））を用いて、他の視点位置４
（Ｑ）からの景観と合致する合成画像５（Ｊ（ｉ，
ｊ））を合成する。合成画像５の各画素６ごとに、視点
４と画像面７上の画素６を結ぶ直線８上の視線ベクトル
９を求め、この視線ベクトル９が平面１と交差する点を
仮想視点１０とする。その仮想視点１０を視点２とする
入力画像３の画素１１を選択する。この画素１１は、仮
想視点１０から画像面１２上の画素１１に向かう視線ベ
クトル１４が、視線ベクトル９と同一直線８上となる画
素である。この画素１１を画素６に転写することによっ
て合成を行う。画素６には、そこに投影されるはずの被
写体１５上の点１３が、それを写す画素１１の転写によ
り描かれ、この動作を合成画像５のすべての画素につい
て行うことにより、適切な合成画像５が得られる。な
お、図中、１６は入力画像３の光軸、１７は合成画像５
の光軸である。

【０００４】

【発明が解決しようとする課題】上記のような従来の画
像合成装置では、入力画像３の視点２の位置を特定の平
面１上に置かなければならないという問題点があり、さ
らに、合成の際、得られる仮想視点１０に対して、常に
その仮想視点１０を視点２とする入力画像３がなけらば
ならない、すなわち、平面１上、視点２を十分細かい間
隔で配置し、入力画像３を撮影しておかなければならな
いという問題点があった。このため、必要となる画像の
量が膨大となるのはもちろん、例えば、航空機からの空
中写真画像に対して、従来の画像合成装置により鳥瞰画
像の合成を行おうとすれば、航空機を上空の平面上、正
確に、かつ、十分細かく何度も往復飛行させて画像を入
力せねばならないという問題点があった。さらに、合成
画像の画素単位に合成動作を行うため、合成画像の面積
に比例した演算量が必要となり、大きなサイズの画像を
合成しようとすれば、処理に時間がかかるという問題点
があった。

【０００５】本発明は、かかる問題点を解決するために
なされたものであり、都市の空中からの景観を対象に、
細かく設定された視点位置に対応させて画像を用意する
ことなく、自由に、また、疎に配置された視点位置で得
られている入力画像を用いて合成画像を得る画像合成装
置を得ることを目的としている。また、少ない演算量で
合成画像を得る画像合成装置を得ることを目的としてい
る。

【０００６】

【課題を解決するための手段】本発明の第１の構成であ
る画像合成装置においては、空中から下方に向けて撮影
された入力画像および合成を行う合成画像中に部分画像
を設定し、合成画像の各部分画像について、存在する中
から最も適切な入力画像の部分画像を検索しそのパター
ンを転写することによって合成画像の生成を行うように
したものである。

【０００７】本発明の第２の構成である画像合成装置に
おいては、入力画像の部分画像の扱いが容易になるよう
に、それぞれを、あるいは複数個まとめたものを画像デ
ータとして保持するようにしたものである。

【０００８】本発明の第３の構成である画像合成装置に
おいては、入力画像および合成画像中にそれぞれの視点
を通り地平面に垂直な平面と画像面との交線ごとに部分
画像を設定するようにしたものである。

【０００９】本発明の第４の構成である画像合成装置に
おいては、合成画像中にその上辺および左右辺の画素ご
とに部分画像を設定するようにしたものである。

【００１０】本発明の第５の構成である画像合成装置に
おいては、入力画像および合成画像中に設定された各部
分画像について、設定に用いた地平面に垂直な平面と地
平面との交線上に視線を定義したものである。

【００１１】本発明の第６の構成である画像合成装置に
おいては、合成画像中に設定された各部分画像につい
て、視線上に焦点位置を設定するようにしたものであ
る。

【００１２】本発明の第７の構成である画像合成装置に
おいては、合成画像の部分画像に転写する入力画像の部
分画像の検索を視線を用いて行い、同一焦点位置の被写
体を描き視線の方向の差が小さい入力画像の部分画像を
選択するようにしたものである。

【００１３】本発明の第８の構成である画像合成装置に
おいては、入力画像の部分画像の合成画像の部分画像へ
の転写の際の倍率を、それぞれの視点から焦点位置まで
の距離に応じて変化させるようにしたものである。

【００１４】本発明の第９の構成である画像合成装置に
おいては、部分画像をさらに複数の区分領域に分割して
合成を行うようにしたものである。

【００１５】本発明の第１０の構成である画像合成装置
においては、画像の部分画像を景観中の建造物に対応す
る領域と地面に対応する領域の二つの区分領域に分けて
合成処理を行うようにしたものである。

【００１６】

【発明の実施の形態】

実施の形態１．図１は本発明の実施の形態１を示すブロ
ック図であり、図において、１８は画像を入力する手段
である画像入力装置（画像入力手段）、１９は画像入力
装置１８より入力される画像の視点位置と光軸方向、画
角情報を入力する手段である視点情報入力装置（視点入
力手段）、２０は入力画像中に部分画像を設定する手段
である入力画像処理装置（入力画像処理手段）、２１は
画像および画像の視点、視線情報を記憶する手段である
記憶装置（記憶手段）、２２は合成画像中に部分画像を
設定する手段である合成画像処理装置（合成画像処理手
段）、２３は画像合成を行う新たな視点位置および光軸
方向を指定する手段である視点指示装置（視点指示手
段）、２４は部分画像を視線情報および交点情報を用い
て入力画像の部分画像を検索する検索装置（検索手
段）、２５は視点指示装置２３より入力された視点位置
と光軸方向をもつ画像を合成するように合成画像の部分
画像に入力画像の部分画像を転写する手段である転写装
置（転写手段）、２６は合成画像処理装置２２により合
成された画像を出力する手段であるディスプレイ装置で
ある。

【００１７】図２は本発明の実施の形態１の動作を示す
説明図である。図３は本発明の実施の形態１の動作を示
すフローチャートである。図４、図５、図６、図７、図
８、図９、図１０および図１１は本発明の実施の形態１
の動作を示す説明図である。図１２は本発明の実施の形
態１の動作を示すフローチャートである。図１３、図１
４、図１５および図１６は本発明の実施の形態１の動作
を示す説明図である。図１７は本発明の実施の形態の動
作を示すフローチャートである。図１８は本発明の実施
の形態１の動作を示す説明図である。図において、２７
は地平面であるｘｙ平面、２８は被写体１５である建造
物、２９は建造物２８の壁面、３０は壁面２９中の垂直
線分上にある垂直部分、３１は入力画像３を分解した入
力部分画像、３２は視点２を通りｘｙ平面２７に垂直な
平面、３３は平面３２と画像面１２との交線、３４は視
点２からｘｙ平面２７に下ろした垂線、３５は垂線３４
と画像面１２の交点、３６は平面３２とｘｙ平面２７の
交線、３７は垂線３４の足、３８はｘｙ平面２７上の原
点、３９は入力画像３の部分画像３１の視線ベクトル１
４のθρ平面での軌跡、４０は入力画像３中の画像合成
に用いる部分画像３１の領域を示す台形、４１は合成画
像５を分解した部分画像、４２は視点４を通りｘｙ平面
２７に垂直な平面、４３は平面４０と画像面７との交
線、４４は視点４からｘｙ平面２７に下ろした垂線、４
５は垂線４４と画像面７の交点、４６は平面４２とｘｙ
平面２７との交線、４７は垂線４４の足、４８は視線ベ
クトル９の延長上に設定された焦点位置、４９は焦点位
置４８を通過する視線ベクトル１４のθρ平面での軌
跡、５０は視線ベクトル９のθρ平面への変換点、５１
は軌跡３９と軌跡４９とのθρ平面での交点、５２は焦
点位置４８の部分画像３１への投影点、５３は焦点位置
４８の部分画像４１への投影点、６５は台形４０のｘｙ
平面２７への投影図形である投影台形、６６は投影台形
６５の下底、６７は、入力画像３のｘｙ平面２７への投
影図形である投影台形、６８は合成画像５の最上の一
行、６９は合成画像５の最左の一列、７０は合成画像５
の最右の一列、７１は光軸１６を含みｘｙ平面２７に垂
直な平面、７２は平面７１上の視点２を通りｘｙ平面２
７に平行な直線である。

【００１８】前記のように構成された画像合成装置にお
いては、都市上空からの景観画像の合成を行うものであ
る。図２に示すように、水平地平面をｘｙ平面２７と
し、入力画像３の視点２のｚ座標はｚ≧０とする。この
とき、画像のｉ軸はｘｙ平面に平行であるとする。そう
でない場合は、事前に適当な変換を施し、ｉ軸をｘｙ平
面に平行にしておく。本発明においては、この範囲内に
おいて、視点２の位置と光軸１６の方向、また入力画像
３の数は任意である。入力画像３、また合成画像５に対
し、被写体１５となる建造物２８の壁面２９中の垂直部
分３０を描く部分ごとに部分画像を設定する。これは、
都市の空中写真の場合、その画面の多くは建造物で占め
られるため、合成画像５中の被写体建造物２８につい
て、その垂直部分３０ごとに入力画像３から該当部分を
転写することによって、合成画像５を合成していくため
である。壁面２９の垂直部分３０を単位に部分画像を構
成することにより、壁面２９の位置、法線方向によらな
い部分画像の設定が可能である。入力画像３に対し、視
点２を通り地平面（ｘｙ平面）２７に垂直な平面３２を
考え、この平面３２と画像面１２との交線３３ごとに部
分画像３１を設定すればよい。合成画像５についても同
様である。合成画像５は、入力画像３の部分画像３１の
組合せで表現していく。

【００１９】まず、入力画像３の処理動作について、図
３のフローチャートにより説明する。ステップＳＴ１で
は、入力画像３のフレーム数Ｎを設定するとともに、入
力画像３の番号を示す変数ｎを１に初期化する。ステッ
プＳＴ２では、画像入力装置１８によりｎ番目の入力画
像３を入力しこれをＩｎ（ｉ，ｊ）、ｉ＝１，．．，Ｍ
ｘ、ｊ＝１，．．，Ｍｙとして、同時に視点情報入力装
置１９により画像３を撮影した視点２の位置（ｘｎ，ｙ
ｎ，ｚｎ）と光軸１６のｚ軸まわりの方向Θｎ、水平面
からの俯角ψｎ、カメラの画角φｎを入力する。ここ
で、ｚｎ≧０、０≦ψｎ≦π／２である。これら変数を
図４に示す。図中、７１は光軸１６を含みｘｙ平面２７
に垂直な平面、７２は平面７１上の視点２を通りｘｙ平
面２７に平行な直線である。画像入力装置１８による画
像入力は、写真の計算機への読み込み、ビデオカメラで
の画像撮影や磁気ディスク装置に記憶されている画像デ
ータの読み込みなどにより実現できる。また、視点情報
入力装置１９による視点情報の入力は、写真やビデオカ
メラを用いる場合は例えばカメラに位置センサを取り付
けてこれにより計測、また磁気ディスク装置を用いる場
合は視点情報を画像データとともに記憶しておき、これ
の読み出しにより実現できる。

【００２０】ステップＳＴ３では、入力画像処理装置２
０によりｎ番目の入力画像３について部分画像３１を設
定し、その視線ベクトル１４で表現する。これは以下の
ように行う。部分画像３１は、入力画像３の視点位置２
を通りｘｙ平面２７に垂直な平面３２を考え、この平面
３２と画像面１２との共通部分である交線３３上に設定
する。部分画像３１には、被写体１５の平面３２との共
通部分、すなわち、ｘｙ平面２７に垂直な部分が描かれ
る。この部分画像３１は図５に示すように、視点２から
ｘｙ平面２７に下ろした垂線３４と画像面１２との交点
３５を通る直線上に設定される。入力画像３のｉ軸はｘ
ｙ平面２７に平行にとっているので、交点３５の画像上
の座標系によるｉ座標値は、Ｍｘ／２である。ｊ座標値
は、図６に示す平面７１での断面図より、次のように表
すことができる。

【００２１】

【数１】

【００２２】ｆｎはカメラの焦点距離に相当する。した
がって、入力画像３上の点（ｉａ，ｊａ）が含まれる部
分画像３１は、次式に示す直線上の画像となる。

【００２３】

【数２】

【００２４】部分画像３１について、視線を定義する。
これは、平面３２とｘｙ平面２７との交線３６上、視点
２からｘｙ平面２７へ下ろした垂線の足３７を始点と
し、方向（ｘｙ平面内）をαとする視線ベクトル１４で
表す。αは、交線３６上、光軸方向Θｎに近い方向（画
像が存在する側）にとる。本発明においては、視線ベク
トルの大きさは重要ではないが、便宜上、大きさ１とし
ておく。なお、以下で、点がこの視線ベクトルの延長上
に存在する場合も、視線ベクトル上に存在すると表現す
る。この視線ベクトル１４を、θとρにより図７に示す
ように、次のように表す。

【００２５】

【数３】

【００２６】なお、θは０≦θ＜２πの範囲とする。ρ
は原点３８と視線ベクトル１４がのる交線３６との距離
に符号をつけたものになる。このように表現すれば、ｘ
ｙ平面２７上の任意の視線ベクトル１４に対応できる。
このとき、入力画像３の各部分画像３１についての、ρ
θ平面上の軌跡３９は、数３より図８に示すように、 ρ＝ｘn ｃｏｓθ＋ｙn ｓｉｎθ の正弦曲線の一部で表される。ここで、軌跡３９のθの
有効幅、つまり部分画像３１を設定する幅については、
部分画像の大きさを考慮し、交点３５が入力画像３の外
にある場合は、図９に示すように、部分画像３１が入力
画像３の最も上の一行内を通過するような、台形４０内
の部分画像３１を有効とする。入力画像３のｚ軸まわり
の光軸方向Θｎと有効とする部分画像３１の視線ベクト
ル１４の方向との差の最大値βは、次のようになる。

【００２７】

【数４】

【００２８】図１０に示すように、右辺の分母は、ｘｙ
平面２７上、垂線の足３７から、入力画像３を投影した
台形６５の遠い辺、すなわち下底６６までの距離を表
す。このβを用いて、θの有効幅は、次のようになる。

【００２９】

【数５】

【００３０】また、交点３５が入力画像３の中にある場
合は、図１１に示すように、

【００３１】

【数６】

【００３２】とする。このステップＳＴ３では、入力画
像３の部分画像３１を表す軌跡３９を与えるθ値θ１、
θ２を求める。なお、θ１、θ２は０から２πまでの範
囲で考えるので、この範囲から外れる場合は、２π加え
るか減じて調整を行う。

【００３３】ステップＳＴ４では、軌跡３９を与える情
報、すなわち、座標値ｘｎ、ｙｎ、両端のθ値θ１、θ
２を記憶装置２１に記憶する。それぞれ、配列ＡＸ、Ａ
Ｙ、ＡＳ、ＡＥのｎ番目に記憶する。ステップＳＴ５で
は、ｎを１増やす。ステップＳＴ６では、ｎがＮ以下か
どうかを判定し、以下ならステップＳＴ２に戻り、そう
でなければ画像の入力、記憶処理を終了する。

【００３４】次に、新たな視点４と光軸１７方向をもつ
画像の合成の動作について、図１２のフローチャートに
より説明する。合成画像５をＪ（ｉ，ｊ）とする。画像
のサイズは入力画像３と同様にＭｘ×Ｍｙとして説明す
る。この合成画像５についても、図１３に示すように部
分画像４１の設定を行う。視点Ｑ４を通り、ｘｙ平面２
７に垂直な平面４２を考え、画像面７との共通部分４３
ごとに部分画像４１を設定する。部分画像４１は視点４
からｘｙ平面２７に下ろした垂線４４と画像面７との交
点４５を通過する直線上になる。その視線ベクトル９の
定義も、同様に、平面４２とｘｙ平面２７の交線４６
上、視点４のｘｙ平面２７への垂線の足４７を始点と
し、交線４６上の方向をもつものとする。各部分画像４
１に対して、その被写体である壁面２９の垂直部分３０
を、できるだけ部分画像４１と同方向から写す部分画像
３１を検索して、部分画像４１に転写する。

【００３５】ステップＳＴ１１では、視点指示装置２３
により合成する画像５の視点４の位置（ｘ座標値をＸ，
ｙ座標値をＹ，ｚ座標値をＺとする）と光軸１７の方向
Θｓと俯角Ψ、カメラの画角Φを入力し、合成画像処理
装置２２に送る。この入力は例えば、マウスあるいはキ
ーボードにより実現される。さらに合成画像５の部分画
像数Ｌを合成画像処理装置２２に送る。このＬは以下の
ように求める。部分画像がのる直線４３は、入力画像３
の場合と同様、次式に示す交点４５を通る。

【００３６】

【数７】

【００３７】Ｆはカメラの焦点距離に相当する。この直
線４３は放射状に変化するため、合成画像５の辺上で、
画素単位に部分画像４１を移動して処理することによ
り、合成画像５上、隙間なく処理が行える。図１４に示
すように交点４５が合成画像の外（画像の下）にある場
合、Ｌは合成画像５の上端の一行６８と左端の一列６
９、右端の一列７０の画素数の和となるから、Ｌ＝Ｍ_x ＋２Ｍ_y また、図１５に示すように点が合成画像の内部にある場
合は、合成画像５の上端の一行６８と、左端の一列６９
および右端の一列７０のうちｊ座標値が交点４５のｊｂ
以上の画素数の和となるから、次の通りである。

【００３８】

【数８】

【００３９】以下は主に合成画像処理装置２２により実
行される。ステップＳＴ１２では、画像の処理位置を示
す変数ｉｏを１に初期化する。画像の処理位置とは、合
成画像５の部分画像４１が通る辺上の画素で示し、ここ
では、まず上端の行６８のｉ座標値に対応させて処理を
行い、続いて左端６９上の画素を上から順に、さらに右
端７０上の画素を今度は下から順に処理していくように
構成する。ステップＳＴ１３では、合成画像５の視点４
からｉｏ番目の部分画像４１へ向かう視線ベクトル９を
求める。これは視点４のｘｙ平面２７への垂線の足４７
を始点とし、平面４７とｘｙ平面２７の交線４６上のベ
クトルである。その方向αｓは、ｉｏがＭｘ以下、すな
わち、合成画像５の上端６８を通過する部分画像４１の
合成を行う場合は、

【００４０】

【数９】

【００４１】そうでない場合は、左右端を通過し、

【００４２】

【数１０】

【００４３】のように得られる。これより、視線ベクト
ル９の値θｓ、ρ値ρｓは、

【００４４】

【数１１】

【００４５】となる。ステップＳＴ１４では、視線ベク
トル９上、焦点位置（ｘｃ，ｙｃ）４８を設定する。こ
れは、例えば、被写体１５の形状が未知である場合、点
４７からの距離がｄとなる位置とする。このｄは正であ
ればよい。一例としては、垂線４４の足４７から光軸１
７とｘｙ平面２７の交点までの距離といった値を用い
る。部分画像４１には、焦点位置４８に壁面２９の垂直
部分３０が存在するとして、その垂直部分３０を描く。

【００４６】ステップＳＴ１５では、検索装置２４によ
り、焦点位置４８を通過する視線ベクトル１４のうち、
視線ベクトル９とのなす角が最も小さいものを検索す
る。これには、パラメタ空間上での軌跡を利用する。図
１６に示すように、焦点位置４８を通過する視線ベクト
ルの軌跡４９も正弦曲線で表現できる。この軌跡４９と
入力画像による軌跡３９の交点５１は、すなわち、焦点
位置４８を通過し、対応する入力画像３の視点２を始点
とする視線ベクトル１４を表すから、この交点５１を求
めることによって、垂直部分３０を描いている部分画像
３１を検索することができる。

【００４７】この動作の詳細について図１７のフローチ
ャートを用いて説明する。図１７のステップＳＴ２１で
は、焦点位置４８を通過する視線についてパラメタ空間
での軌跡（正弦曲線）４９を求める。この軌跡４９は、
視線ベクトル９に対応する点５０を含み、 ρ＝ｘ_C ｃｏｓθ＋ｙ_C ｓｉｎθ ｘ_C ＝Ｘ＋ｄｃｏｓα_S ｙ_C ＝Ｙ＋ｄｓｉｎα_S となる。ステップＳＴ２２では、方向の差を示す変数Ｔ
を十分大きな値２πに、また、検索された入力画像３を
示す変数Ｎｃを−１に初期化する。ステップＳＴ２３で
は、入力画像３を示す変数ｎを１に初期化する。ステッ
プＳＴ２４では、記憶装置２１に格納されたｎ番目の入
力画像Ｉｎ（ｉ，ｊ）の軌跡３９と軌跡４９との交点５
１を求める。これは、配列ＡＸ、ＡＹの値を用い、 ρ＝ｘ_nｃｏｓθ＋ｙ_nｓｉｎθ ρ＝ｘ_cｃｏｓθ＋ｙ_cｓｉｎθ より、交点５１のθ値θｃ

【００４８】

【数１２】

【００４９】を求める。これには２πの範囲内でπだけ
異なる２つの解が存在する。ここでは、部分画像４１の
視線ベクトル９の値θｓに近いものを交点５１として採
用する。ステップＳＴ２５では、交点５１が軌跡３９内
かどうかを判定し、そうでなければステップＳＴ３１に
進む。これは、θｃがＡＳ［ｎ］以上ＡＥ［ｎ］以下か
どうかで判定する。ただし、θ値は０から２πの範囲と
しているので、ＡＳ［ｎ］＞ＡＥ［ｎ］の場合は、θｃ
がＡＳ［ｎ］以上またはＡＥ［ｎ］以下であればよい。
ステップＳＴ２６では、交点５１のθｃと視線ベクトル
９のθｓとの差Δθを求める。これは、 Δθ＝｜θ_C −θ_S ｜となる。なお、△θとして求めたいのは、交点５１に対
応する視線ベクトル１４と視線ベクトル９とのなす角で
あるので、△θがπより大きくなる場合は２π−△θを
改めて△θとする。Δθが変数Ｔより小さいかどうかを
判定し、そうであれば、ステップＳＴ２８に進み、そう
でなければ、ステップＳＴ３０に進む。Δθが小さいほ
ど焦点位置４８を同方向から見ることになり、正確な合
成画像５を生成することができる。ステップＳＴ２８で
は、ｎ番目の入力画像３内の焦点位置４８を描く部分画
像３１を転写の候補として、ｎと交点５１のθｃ値によ
り、これを特定する。これは、求める部分画像３１が画
像面１２上の点（ｉｃ，Ｍｙ）を通過するとすれば、視
線ベクトルの方向について、

【００５０】

【数１３】

【００５１】とる。このｉｃを求めて、

【００５２】

【数１４】

【００５３】であるので、このｉｃを用いて求める部分
画像３１を、ｎ番目の入力画像３の次式で示される直線
上にある部分画像３１とする。

【００５４】

【数１５】

【００５５】ｉｃ≦０、または、ｉｃ＞Ｍｘのときは、
入力画像３の左右どちらかの辺と交差する直線３３上の
部分画像３１となる。ステップＳＴ２９では、転写に用
いる入力画像３を示す変数Ｎｃをｎに更新し、また、方
向の差を示す変数ＴをΔθに変更する。このＴは、現在
まで処理されている入力画像３のうち最も小さいΔθの
値を示し、以降、ΔθがこのＴ以下になる場合に転写の
候補となる部分画像３１を更新することによって、最も
小さいΔθを与える部分画像３１を得る。ステップＳＴ
３０では、ｎに１加える。ステップＳＴ３１では、ｎが
Ｎ以下かどうかを判定し、そうであればステップＳＴ２
４に戻り、そうでなければ検索処理を終了する。

【００５６】図１２のステップＳＴ１６では、部分画像
３１が検索されたかどうかを判定し、検索されていなけ
れば、部分画像４１の描画を行わず、ステップＳＴ１８
に進む。これはステップＳＴ１５のＮｃの値により判定
し、正の場合は検索されたとしてその値を改めてｎとお
き、−１の場合は、検索されていないとする。すべてに
部分画像３１が検索されるには、合成画像５の各部分画
像４１に対して、その焦点位置４８を描く部分画像３１
を用意しておくことが要求されるが、焦点位置４８が入
力画像３のうちひとつの視野に入っていれば検索される
ため、従来の技術の比べ、入力画像３の必要枚数は格段
に少なく、視点２の位置も自由度が高い。

【００５７】ステップＳＴ１７では、転写装置２５によ
り、選択された入力画像３の部分画像３１を部分画像４
１に転写する。この際、図１８に示す、焦点位置４８が
部分画像３１上に投影される点５２が、部分画像４１上
でも正しい投影点５３に転写されるようにする。さら
に、被写体１５の入力部分画像３１上での大きさ、すな
わち、画素数と、合成画像５の部分画像４１上での大き
さは、それぞれの視点から焦点位置４８までの距離に反
比例、画像のサイズに比例、画角の１／２の正接に比
例、といった具合に変化する。ここでは、画像のサイ
ズ、画角は同一として、焦点位置４８までの距離に反比
例させ、転写の際に部分画像３１をｊ軸方向に倍率ｒを

【００５８】

【数１６】

【００５９】として拡大または縮小して転写する。部分
画像３１上、投影点５２の座標を求めてみると、まず、
視点２を原点に平行移動し、ｚ軸まわりに−Θｎ、さら
にｙ軸まわりに−ψｎ回転させて、

【００６０】

【数１７】

【００６１】を得、さらに画像面１２上に投影させて、

【００６２】

【数１８】

【００６３】となる。同様に、部分画像４１上、投影点
５３の座標は、

【００６４】

【数１９】

【００６５】より、

【００６６】

【数２０】

【００６７】である。部分画像３１がのる直線は、媒介
変数ｔにより、

【００６８】

【数２１】

【００６９】となる。このｔは投影点５２からの距離を
表す。交点３５への向きを正とする。同様に、部分画像
４１がのる直線は、媒介変数ｔにより、

【００７０】

【数２２】

【００７１】となる。このｔは投影点５３からの距離を
表す。そこで、転写は、

【００７２】

【数２３】

【００７３】のように実行される。この転写は、例え
ば、ｔを正負それぞれに１ずつ変化させて部分画像４１
内で、対応する画素値を順次転写することで実行する。
ここで、座標値は、必ずしも整数になるとは限らない。
そこで、転写にあたっては、部分画像３１については、
コンピュータグラフィックスのテクスチャマッピングで
用いられる、周囲の画素値の加重平均をとるような手法
により転写する画素値を求め、部分画像４１について
は、やはりコンピュータグラフィックスで用いられる、
アンチエリアシング処理により、周囲の画素に分配して
転写する。また、対応する部分画像３１の画素が部分画
像３１の外になる部分画像４１の画素については、転写
を行わない。テクスチャマッピング、アンチエリアシン
グについては、Foley 他の「 Computer Graphics - PRI
NCIPLES AND PRACTICE, Second Edition」ADDISON WESL
EY,1990（平成２）年発行、に記されている。

【００７４】ステップＳＴ１８では、ｉｏを１増やす。
ステップＳＴ１９では、ｉｏがＬ以下かどうかを判定
し、そうであればステップＳＴ１３に戻る。ステップＳ
Ｔ２０では、合成画像５をディスプレイ装置２６に表示
して、画像合成処理を終了する。

【００７５】以上の処理により、合成画像５においては
壁面２９の垂直部分３０が正確に描かれ、したがって、
視点４からの景観を表す合成画像が得られる。本発明に
よれば、入力画像３の視点２の位置は自由であり、必要
とする入力画像３の量も少なくてすむ。また、合成は部
分画像単位に行っており、その数Ｌは合成画像５の辺長
のオーダーであるので、合成画像５のサイズが大きい場
合でも、効率が大きく低下することはない。

【００７６】実施の形態２．図１９は本発明の実施の形
態２を示すブロック図である。図において、５４は記憶
装置２１を構成する主記憶装置、５５は記憶装置２１を
構成する二次記憶装置である。図２０は本発明の実施の
形態２の動作を示すフローチャートである。図２１は本
発明の実施の形態２の動作を示す説明図である。図２２
は本発明の実施の形態２の動作を示すフローチャートで
ある。図２３は本発明の実施の形態２の動作を示す説明
図である。図において、５６は入力画像３の部分画像３
１を格納する画像データ、５７は入力画像３の上端の一
行、７３は画像データ５６上の部分画像３１の投影点５
２に対応する点である。

【００７７】本発明の実施の形態２の画像合成装置にお
いては、実施の形態１と同様、都市街路の景観画像の合
成を行う。実施の形態１においては、合成に用いる部分
画像３１を入力画像３から直接転写したが、使用する入
力画像３の数が多くなった場合、たとえその一部の部分
画像３１が使用されるにとどまっても、入力画像３をす
べて主記憶装置にもっておかねばならず、大容量の主記
憶装置を必要とした。また、小容量の主記憶装置により
実行した場合、入力画像３の主記憶装置へのローディン
グが頻繁に発生し、処理の遅れが予想される。このた
め、本実施の形態においては、入力画像３の部分画像３
１をいくつかまとめて画像データとし、これを単位とし
て主記憶装置へのローディングを行うように構成する。
これにより、同一入力画像３内においても、必要な箇所
のみをローディングすることが可能となり、小容量の主
記憶装置を用いた場合でも、高速に合成画像５の合成を
行うことが可能になる。

【００７８】本形態の動作について、まず、図２０のフ
ローチャートにより、入力画像３の処理動作について説
明する。図２０のフローチャートは、ステップＳＴ４１
からステップＳＴ４４が図３に示す第一の実施の形態の
動作に付加されている。ここでは、部分画像３１がそれ
ぞれ画像データ５６を構成するものとして、また、交点
３５が入力画像３の外部にあるとして説明する。すなわ
ち、画像データは、Ｈｎｉ（ｋ）と表す。添え字ｎは入
力画像３を示し、ｉは上端の一行５７でのｉ座標値によ
り部分画像３１を示す。ｋは最大部分画像３１の長さで
あるから、そのサイズは入力画像３の対角線の長さ

【００７９】

【数２４】

【００８０】とすればよい。便宜上、ｋは０からとる。
幅は１である。

【００８１】ステップＳＴ４１においては、部分画像３
１を示す変数ｉｏの１に初期化する。ステップＳＴ４２
では、部分画像３１を画像データ５６に変換する。部分
画像３１は、数２に示す直線上にあり、この直線上のパ
ターンを画像データ５６、Ｈｎｉｏ（ｋ）に、Ｈ_nio（ｔ）←Ｉ（ｉ₀ ＋ｔｓ_X ，Ｍ_y ＋ｔｓ_y ）のように転写する。これを図２１に示す。この転写は、
図９、図１１に示した入力画像３の合成に用いる領域内
について、辺上の各画素を通過する直線上の部分画像３
１について行う。これにより、用いる入力画像３のほぼ
すべての画素を網羅できる。なお、転写はｔを０から１
づつ増加させて転写元の画素が入力画像３の外部に出る
まで行なう。図２１に示すように、部分画像３１の上端
の１行５７上の画素が画像データ５６のＨｎｉｏ（０）
に転写されるようにしている。なお、転写元の点は、必
ずしも入力画像３の画素上にないため、このような場合
には、周囲の画素の画素値により補間して転写を行う。
この画像データ５６は磁気ディスク装置などにより構成
される二次記憶装置５５に格納する。ステップＳＴ４３
ではｉｏに１追加し、ステップＳＴ４４では、ｉｏがＭ
ｘ以下かどうかを判定し、そうであればステップＳＴ４
２に戻る。

【００８２】次に、合成部分の動作について図２２のフ
ローチャートにより説明する。この動作は図１２に示す
第一の形態の動作と同様であるが、ステップＳＴ４５か
らステップＳＴ４８が異なる。ステップＳＴ４５では、
得られた部分画像３１に対応する画像データ５６を特定
する。これは、得られた部分画像３１が入力画像３の辺
上のどの画素を通過するかを求め、その画素に対応する
画像データ５６として特定される。この画素のｉ座標値
は、ステップＳＴ１５の部分画像の検索処理で得たｉｃ
である。なお、整数とならない場合は四捨五入する。こ
れより、画像データ５６は、Ｈｎｉｃ（ｋ）となる。ス
テップＳＴ４６では、この画像データが、主記憶装置５
４上に存在するかどうかを判定し、存在すれば、ステッ
プＳＴ４８へ、そうでなけれなステップＳＴ４７へ進
む。この判定は、例えば、画像データ５６ごとにフラグ
を用意し、ロードすれば、１、退避すれば０となるよう
に構成し、この値により判定する。ステップＳＴ４７で
は、特定された画像データ５６を二次記憶装置５５から
主記憶装置５４にロードし、対応する変数を１にセット
する。これに先立ち、主記憶装置５４の記憶容量が十分
かどうかを調べ、十分でない場合、そこに記憶されてい
る画像データ５６のひとつを退避し、対応する変数を０
にする。この退避する画像データの選定は、例えば、Ｌ
ＲＵ(Least Recently Used) アルゴリズムによって行
う。これは、最も使用されていない画像データ５６を選
定する方式である。ステップＳＴ４８では、画像データ
５６を部分画像４１に転写する。これは、図２３に示す
ように、

【００８３】

【数２５】

【００８４】のようになる。図中、７３は部分画像３１
の投影点５２に対応する画像データ５６上の点であり、
Ｈｎｉｃ（ｋｏ）で示される。なお、転写先の点は、必
ずしも合成画像５の画素上にないため、このような場合
には、周囲の画素に分配して転写を行う。

【００８５】このように、本実施の形態においては、画
像データ５６の利用により、部分画像３１の効率的な管
理を行い、少ない記憶容量の主記憶装置を利用する場合
でも、短時間で合成画像５を得る画像合成装置を構成す
ることができる。

【００８６】実施の形態３．本発明の実施の形態３を示
すブロック図は図１と同一である。図２４は本発明の実
施の形態３の動作を示すフローチャートである。図２
５、図２６および図２７は本発明の実施の形態３の動作
を示す説明図である。図において、５８はｘｙ平面２７
上にある地面、５９は部分画像３１中で壁面２９が描か
れる壁面領域、６０は部分画像３１中で地面５６が描か
れる地面領域、６１は部分画像４１中で壁面２９が描か
れる壁面領域、６２は部分画像４１中で地面５６が描か
れる地面領域、６３は画像上の単位長さの領域、６４は
領域６３に投影される垂直部分３０上の被写範囲、７４
は領域６３に投影される地面５８上の被写範囲である。

【００８７】本発明の実施の形態３の画像合成装置にお
いては、実施の形態１と同様、都市街路の景観画像の合
成を行う。ただし、部分画像３１および部分画像４１の
被写体を建造物２８の壁面２９とｘｙ平面２７上の地面
５８とみなす。被写体を構成する面が画像面７と平行で
ない場合は、転写において部分画像２７を視点からの距
離に反比例させて拡大おるいは縮小するだけでは正確に
描けない場合がある。そこで、被写体を壁面２９と地面
５６と仮定し、それぞれに転写倍率を設定することによ
って、合成画像５の画質の向上を図る。つまり、部分画
像３１から部分画像４１への転写において、双方を壁面
を写す領域と地面を写す領域とに区分し、それぞれに転
写倍率を設定する。

【００８８】画像の入力の動作は図３のフローチャート
に示す、実施の形態１のものと同様である。

【００８９】次に、新たな視点４と光軸１７の方向をも
つ画像の合成の動作について、図２４のフローチャート
により説明する。この動作は図１２に示す実施の形態１
の動作と同様であるが、ステップＳＴ１７の動作がステ
ップＳＴ５１に置き換えられている。ステップＳＴ５１
では、得られた部分画像３１を合成画像５の部分画像４
１に転写する。この際、部分画像３１を壁面領域５９と
地面領域６０に、部分画像４１をやはり同様に壁面領域
６１と地面領域６２に分割する。これは図２５に示すよ
うに、焦点位置４８の投影点５２と５３を境界として分
割する。入力画像３、合成画像５とも、部分画像につい
ては、この境界より上に壁面が描かれ、下には地面が描
かれる。そこで、地面領域には水平な面、壁面領域には
垂直な面の被写体が存在すると仮定し、倍率を設定す
る。被写体の個々の地点が正確に写されるように厳密に
転写を行ってもよいが、この場合は、単純な倍率という
訳にはいかず、処理が複雑になる。そこで、画像の俯角
により倍率を設定することで、処理の簡略化を図る。ま
ず、壁面に関して、入力画像３の視点２および合成画像
５の視点４が、ともにｘｙ平面２７から十分高い位置に
あると仮定し、平行投影とみなす。このとき、図２６に
示すように、画像面１２上の長さ１の単位長さの領域６
３に描かれるのは、壁面２９の垂直部分３０の長さ１／
ｃｏｓψ_n の被写範囲６４となる。合成画像５について
同様に１／ｃｏｓψの被写範囲が描かれるようにするた
め、壁面領域の転写倍率ｒｗは、

【００９０】

【数２６】

【００９１】となる。地面領域でも同様に、図２７に示
すように、画像面１２上の長さ１の単位長さ領域６３に
描かれるのは、地面５８の１／ｓｉｎψ_n の被写範囲７
４となる。したがって、壁面領域の転写倍率ｒｇは、

【００９２】

【数２７】

【００９３】となる。これより、転写は、

【００９４】

【数２８】

【００９５】のように実行する。

【００９６】実施の形態１においては、壁面部分、地面
部分とも同倍率で転写しているため、壁面部分、地面部
分とも平坦な絵のように感じられ、空中での視点移動に
おける視覚的効果が十分出ない可能性があったが、本実
施の形態においては、そのような影響を回避し、十分視
覚的効果を与える効果がある。

【００９７】なお、上記形態では、ｉ軸がｘｙ平面に平
行になるような画像を用いて説明したが、適宜補正ある
いは変換することにより、一般的に撮影された画像を用
いて合成画像を生成するように構成してもよい。

【００９８】また、上記形態では、入力画像３と合成画
像５について画角を入力するように構成したが、焦点距
離を入力するように構成しても同様の効果を奏する。

【００９９】また、上記形態では、壁面領域、地面領域
について、拡大あるいは縮小しての転写によって表現し
たが、もちろん、透視変換を考慮し、より精密に画素間
の対応をとって転写するように構成してもよい。

【０１００】また、上記形態では、合成画像５に対する
入力画像３の部分画像３１の選択を、視線ベクトルを用
い変数θ、ρによって変換して求めたが、これを他の方
式により行うように構成してもよい。

【０１０１】また、上記形態では、入力画像３の枚数を
限定し、先に入力処理を行うように構成したが、入力処
理と合成処理とを並行して行い、また、入力画像３の数
を限定せずにビデオカメラなどを利用して随時入力する
ように構成してもよい。

【０１０２】また、上記形態においては、合成画像５の
部分画像４１ごとに描かれる部分画像３１を検索して画
像の合成を行っていたが、すべての部分画像４１につい
て部分画像３１を求めたのち、転写を行うように構成し
てもよい。

【０１０３】さらに、すべての部分画像４１について部
分画像３１を求めたのちに転写を行う際、隣接する部分
画像４１について同一の入力画像３の近接する部分画像
３１からの転写が指定されている場合、その部分画像３
１を含む領域を部分画像４１を含む領域に一度に転写す
るようにして、合成画像３の合成を行うように構成して
もよい。

【０１０４】また、上記形態においては、焦点位置４８
を交点４７から一定の距離ｄの位置に設定したが、被写
体の３次元形状情報が得られているならば、これを用い
て視線ベクトルと形状との交点に焦点位置を決定するよ
うに構成してもよい。

【０１０５】さらに、ｄの値は合成処理ごとにインタラ
クティブに変更できるように構成してもよい。

【０１０６】また、上記実施の形態においては、部分画
像３１の検索に際し、θρ平面での正弦曲線の交点計算
を、すべての入力画像３の軌跡３９に対して行ったが、
軌跡３９である正弦曲線をθとρの値により構造化して
管理することにより、合成画像５の視線ベクトル９に対
応する点５０の近傍にある軌跡３９に限定して交点計算
を行うように構成してもよい。この場合、交点５１を求
める際の処理時間が節約できる。

【０１０７】さらに、θρ平面での軌跡９６また軌跡４
９の正弦曲線を区分的に線分で近似して表現し、線分ど
うしの交差判定に置き換えて部分画像３１を求めるよう
に構成してもよい。

【０１０８】また、上記実施の形態においては、θとρ
を用いる部分画像３１の検索に際し、交点５１と視線ベ
クトル９とのθ値の差をもって部分画像３１を決定した
が、視点位置と被写体位置との距離の差を用いて、ある
いは、これとθ値の差を併用して部分画像３１を決定す
るように構成してもよい。距離が同程度であれば、上下
方向の視野も同程度となるため、転写の際の拡大縮小に
よる画像の劣化が少なくてすむ。

【０１０９】また、上記実施の形態においては、θとρ
を用いる部分画像３１の検索に際し、交点５１と視線ベ
クトル９とのθ値の差をもって部分画像３１を決定した
が、焦点位置４８の投影点５２が、部分画像３１内にな
い場合、あるいは上下端部にある場合は、部分画像４１
の被写体との共通部分が少ないことが考えられるので、
得られた部分画像３１を採用せずに、新たな部分画像３
１の検索を行うように構成してもよい。

【０１１０】また、上記実施の形態においては、θとρ
を用いて視線ベクトルを表現したが、他の変数により表
現、また、管理するように構成してもよい。

【０１１１】また、上記形態では、画像入力装置１８、
視点情報入力装置１９、入力画像処理装置２０、視点指
示装置２３、合成画像処理装置２２、検索装置２４、転
写装置２５を用いて画像合成装置を構成したが、これら
の処理のすべてあるいは一部を計算機のソフトウェアに
より実行するように構成してもよい。

【０１１２】また、上記形態では、ディスプレイ装置２
６を用い、合成画像５を表示するように構成したが、合
成画像５を記憶装置２１に格納するように構成してもよ
い。

【０１１３】

【発明の効果】本発明は、以上説明したように構成され
ているので、以下に記載されたような効果を奏する。

【０１１４】本発明の第１の構成である画像合成装置に
よれば、入力画像が細かい視点間隔で得られていない場
合や入力画像数が少ない場合でも合成画像を生成するこ
とができるようになる。また、合成画像のサイズが大き
い場合でも短時間に合成画像を生成することができるよ
うになる。

【０１１５】本発明の第２の構成である画像合成装置に
よれば、入力画像が細かい視点間隔で得られていない場
合でも合成画像を生成することができるようになるとと
もに、入力画像を効率的に保持し、短時間で合成画像を
得ることができるようになる。

【０１１６】本発明の第３の構成である画像合成装置に
よれば、部分画像を被写体の垂直部分に対応させている
ので、建築物の壁面など垂直な要素の多い都市の景観画
像を容易に合成することができるようになる。

【０１１７】本発明の第４の構成である画像合成装置に
よれば、合成画像の上辺および左右辺に対応させて部分
画像を設定するようにしたので、合成画像を、それを構
成するに必要かつ十分な数の部分画像で表現することが
できるようになる。

【０１１８】本発明の第５の構成である画像合成装置に
よれば、視線を地平面（ｘｙ平面）上のベクトルとして
表現したので、視線の表現や部分画像の検索が容易に実
行できるようになる。

【０１１９】本発明の第６の構成である画像合成装置に
よれば、視線上に焦点位置を設定するように構成したの
で、被写体の詳細な３次元形状を求めることなく合成画
像を生成することができるようになる。

【０１２０】本発明の第７の構成である画像合成装置に
よれば、焦点位置と視線方向を考慮して存在する入力画
像の中から最適な部分画像を選択して転写合成を行うの
で、焦点位置にある被写体を正確に表現する合成画像を
生成することができるとともに、入力画像が密に得られ
ていない場合でも正確な合成画像を生成することができ
るようになる。

【０１２１】本発明の第８の構成である画像合成装置に
よれば、視点から焦点位置までの距離を考慮して合成を
行うので焦点位置にある被写体の大きさを正確に表現す
る合成画像を生成することができるようになる。

【０１２２】本発明の第９の構成である画像合成装置に
よれば、被写体の形状に合わせて部分画像を複数の区分
領域に分割しそれぞれに異なる倍率を設定して転写を行
うようにしたので被写体を正確に表現する合成画像を生
成することができるようになる。

【０１２３】本発明の第１０の構成である画像合成装置
によれば、入力画像および合成画像を建造物の壁面領域
と地面領域とに分割して処理するので、それぞれを正確
に表現する合成画像を生成することができるようにな
る。

【図面の簡単な説明】

【図１】本発明の実施の形態１を示すブロック図であ
る。

【図２】本発明の実施の形態１の動作を示す説明図で
ある。

【図３】本発明の実施の形態１の動作を示すフローチ
ャートである。

【図４】本発明の実施の形態１の動作を示す説明図で
ある。

【図５】本発明の実施の形態１の動作を示す説明図で
ある。

【図６】本発明の実施の形態１の動作を示す説明図で
ある。

【図７】本発明の実施の形態１の動作を示す説明図で
ある。

【図８】本発明の実施の形態１の動作を示す説明図で
ある。

【図９】本発明の実施の形態１の動作を示す説明図で
ある。

【図１０】本発明の実施の形態１の動作を示す説明図
である。

【図１１】本発明の実施の形態１の動作を示す説明図
である。

【図１２】本発明の実施の形態１の動作を示すフロー
チャートである。

【図１３】本発明の実施の形態１の動作を示す説明図
である。

【図１４】本発明の実施の形態１の動作を示す説明図
である。

【図１５】本発明の実施の形態１の動作を示す説明図
である。

【図１６】本発明の実施の形態１の動作を示す説明図
である。

【図１７】本発明の実施の形態１の動作を示すフロー
チャートである。

【図１８】本発明の実施の形態１の動作を示す説明図
である。

【図１９】本発明の実施の形態２の示すブロック図で
ある。

【図２０】本発明の実施の形態２の動作を示すフロー
チャートである。

【図２１】本発明の実施の形態２の動作を示す説明図
である。

【図２２】本発明の実施の形態２の動作を示すフロー
チャートである。

【図２３】本発明の実施の形態２の動作を示す説明図
である。

【図２４】本発明の実施の形態３の動作を示すフロー
チャートである。

【図２５】本発明の実施の形態３の動作を示す説明図
である。

【図２６】本発明の実施の形態３の動作を示す説明図
である。

【図２７】本発明の実施の形態３の動作を示す説明図
である。

【図２８】従来の画像合成装置の動作を示す説明図で
ある。

【符号の説明】

１画像を入力する視点位置がならぶ平面、２画像を
入力する視点、３入力画像、４新たに合成する画像
の視点、５合成画像、６合成画像５の画素、７合
成画像５の画像面、８視点４と画素６を結ぶ直線、９
視点４から画素６に向かう視線ベクトル、１０仮想
視点、１１入力画像３の画素、１２入力画像３の画像
面、１３画素１１に投影される空間中の点、１４視
点２から画素１１に向かう視線ベクトル、１５被写
体、１６入力画像３の光軸、１７合成画像５の光
軸、１８画像入力装置、１９視点情報入力装置、２
０入力画像処理装置、２１記憶装置、２２合成画像
処理装置、２３視点指示装置、２４検索装置、２５
転写装置、２６ディスプレイ装置、２７ｘｙ平
面、２８被写体となる建造物、２９建造物２８の壁
面、３０壁面２９中の垂直線分上にある垂直部分、３
１入力画像３を分解した入力部分画像、３２視点２を
通りｘｙ平面２７に垂直な平面、３３平面３２と画像
面１２との交線、３４視点２からｘｙ平面２７に下ろ
した垂線、３５垂線３４と画像面１２の交点、３６
平面３２とｘｙ平面２７の交線、３７垂線３４の足、
３８原点、３９部分画像３１の視線ベクトル１４のθ
ρ平面での軌跡、４０入力画像３中の画像合成に用い
る部分画像３１の領域を示す台形、４１合成画像５を
分解した部分画像、４２視点４を通りｘｙ平面２７に
垂直な平面、４３平面４０と画像面７との交線、４４
視点４からｘｙ平面２７に下ろした垂線、４５垂線
４４と画像面７の交点、４６平面４２とｘｙ平面２７
との交線、４７垂線４４の足、４８焦点位置、４９
焦点位置４８を通過する視線ベクトル１４のθρ平面で
の軌跡、５０視線ベクトル９のθρ平面への変換点、
５１軌跡３９と軌跡４９との交点、５２焦点位置４８
の部分画像３１への投影点、５３焦点位置４８の部分
画像４１への投影点、５４主記憶装置、５５二次記
憶装置、５６画像データ、５７入力画像３の上端の
一行、５８地面、５９部分画像３１中で壁面２９が
描かれる壁面領域、６０部分画像３１中で地面５６が
描かれる地面領域、６１部分画像４１中で壁面２９が
描かれる壁面領域、６２部分画像４１中で地面５６が
描かれる地面領域、６３画像面１２上の単位長さの領
域、６４領域６３に投影される垂直部分３０上の被写
範囲、６５台形４０のｘｙ平面２７への投影図形であ
る投影台形、６６投影台形６５の下底、６７入力画
像３のｘｙ平面２７への投影図形である投影台形、６８
合成画像５の最上の一行、６９合成画像５の最左の一
列、７０合成画像５の最右の一列、７１光軸１６を
含みｘｙ平面２７に垂直な平面、７２平面７１上の視
点２を通りｘｙ平面２７に平行な直線、７３画像デー
タ５６上の部分画像３１の投影点５２に対応する点、７
４領域６３に投影される地面５８上の被写範囲。

Claims

【特許請求の範囲】

【請求項１】画像を入力する画像入力手段と、画像入
力手段により入力される入力画像の視点位置と画角およ
び光軸方向とを入力する入力手段と、入力画像中に複数
の部分画像を設定し各部分画像に対応する視線を求める
入力画像処理手段と、合成を行う合成画像の視点位置と
画角および光軸方向とを指定する指示手段と、合成画像
中に複数の部分画像を設定し各部分画像に対応する視線
を求めるとともに被写体が存在する焦点位置を設定する
合成画像処理手段と、合成画像の各部分画像に対して視
線と焦点位置とにより入力画像の部分画像をひとつ検索
する検索手段と、合成画像の部分画像に検索手段により
得られる入力画像の部分画像を拡大または縮小を施して
転写する転写手段と、入力画像の部分画像の視線情報を
記憶する記憶手段とを備えた画像合成装置。
【請求項２】画像を入力する画像入力手段と、画像入
力手段により入力される入力画像の視点位置と画角およ
び光軸方向とを入力する入力手段と、入力画像中に複数
の部分画像を設定し各部分画像に対応する視線を求める
入力画像処理手段と、入力画像中に設定された部分画像
について各部分画像をひとつあるいは複数個まとめて画
像データとする入力画像編集手段と、合成を行う合成画
像の視点位置と画角および光軸方向とを指定する指示手
段と、合成画像中に複数の部分画像を設定し各部分画像
に対応する視線を求めるとともに被写体が存在する焦点
位置を設定する合成画像処理手段と、合成画像の各部分
画像に対して視線と焦点位置とにより入力画像の部分画
像をひとつ指定する検索手段と、合成画像の部分画像に
検索手段により得られる入力画像の部分画像に対応する
画像データを拡大または縮小を施して転写する転写手段
と、入力画像の部分画像の視線情報を記憶する記憶手段
とを備えた画像合成装置。
【請求項３】上記入力画像処理手段および合成画像処
理手段はそれぞれ上記入力画像および合成画像中に複数
の部分画像を設定する際、各々の視点位置をとおり地平
面に垂直な平面と入力画像および合成画像の画像面との
共通部分である交線上に部分画像を設定することを特徴
とする請求項１または請求項２記載の画像合成装置。
【請求項４】上記合成画像処理手段は上記合成画像中
に複数の部分画像を設定する際、各々の部分画像が合成
画像の上辺あるいは左右辺の画素に対応し、その画素上
を通過するように部分画像数を決定することを特徴とす
る請求項３記載の画像合成装置。
【請求項５】上記入力画像処理手段および合成画像処
理手段はそれぞれ上記入力画像および合成画像中に設定
された部分画像の視線を、各々の視点位置から地平面に
下ろした垂線の足を起点とし、部分画像の設定に用いた
上記平面と地平面との交線上にのるベクトルとすること
を特徴とする請求項３記載の画像合成装置。
【請求項６】上記合成画像処理手段における焦点位置
の設定は、合成画像の視点から地平面に下ろした垂線の
足から視線上一定距離の位置に設定することを特徴とす
る請求項５記載の画像合成装置。
【請求項７】上記検索手段における入力画像の部分画
像の検索においては、その視線の延長上に焦点位置を有
し、かつ、その視線と合成画像の部分画像の視線との方
向の差が最も小さくなる入力画像の部分画像を検索する
ことを特徴とする請求項１〜請求項６のいずれかに記載
の画像合成装置。
【請求項８】上記転写手段は転写の際の拡大または縮
小の倍率を視点位置から焦点位置までの距離の値を用い
て決定することを特徴とする請求項１〜請求項７のいず
れかに記載の画像合成装置。
【請求項９】上記入力画像処理手段および合成画像処
理手段は入力画像および合成画像の部分画像を複数の区
分領域に分割し転写手段における転写の際にそれぞれの
拡大または縮小の倍率を変更することを特徴とする請求
項３記載の画像合成装置。
【請求項１０】上記入力画像処理手段および合成画像
処理手段における入力画像と合成画像の部分画像の区分
領域への分割は視点位置と上記焦点位置によって決まる
境界により２つの区分領域に分割することを特徴とする
請求項９記載の画像合成装置。