JP3503655B2

JP3503655B2 - 画像合成装置

Info

Publication number: JP3503655B2
Application number: JP10897694A
Authority: JP
Inventors: 敏道濱田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-04-25
Filing date: 1994-04-25
Publication date: 2004-03-08
Anticipated expiration: 2019-03-08
Also published as: JPH07298137A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、ビデオカメラなどに
適用して好適な画像合成装置に関する。

【０００２】

【従来の技術】従来、光学カメラで風景などを撮影する
際に、所望の被写体がレンズの画角を超えている場合
は、例えば、水平面内で角度を変えて、被写体が部分的
に重複するように、複数枚に分割して撮影し、印画紙に
焼き付けた段階でつなぎ合わせることにより、高い画質
で、広い視野の被写体の全体像を得る、いわゆる、パノ
ラマ撮影技法が用いられていた。

【０００３】

【発明が解決しようとする課題】ところで、出願人は、
ビデオカメラで風景などを撮影する際に、ビデオカメラ
のレンズの画角よりも広い範囲の被写体の画像を得るこ
とができるようにした画像合成装置を提案している。そ
の概略を以下に説明する。

【０００４】例えば、図７に示すように、ビデオカメ
ラのレンズの水平画角（撮像画像の最大水平区間に相
当）の、例えばほぼ３倍にわたるような風景などを撮影
して、それを１画面の画像として合成する場合は、当該
風景の左端から右端まで、ビデオカメラをパンしなが
ら、複数フィールドにわたって、それぞれ前後のフィー
ルドの被写体が部分的に重複するような状態で撮影す
る。図７では、カメラのパン操作により８フィールドの
画像Ｐ１〜Ｐ８が得られる。

【０００５】この８フィールドの画像の撮像信号は、所
定のサンプリング周波数でサンプリングされて、デジタ
ル画像データとされる。そして、複数フィールドのデジ
タル画像データを、以下のように、メモリ上で合成する
ことにより、パノラマ合成画像を得る。

【０００６】一般に、ビデオカメラを手持ちでパンする
場合、当該広い範囲の被写体の左端に対応するフィール
ドから右端に対応するフィールドまでの、複数フィール
ドにおいて、ビデオカメラの水平方向の変移量は一定で
はなく、また、カメラのパン操作を正確に水平方向に保
って行うことも困難である。

【０００７】そこで、合成に際しては、前の画像の撮像
位置から次の画像の撮像位置までのパノラマ合成画像上
の変移量および変移方向が必要である。この変移量およ
び変移方向は、前の画像の撮像位置から次の画像の撮像
位置までの動きベクトルとして検出する。この動きベク
トルは、角速度センサを用いて検出することができる。
また、前の画像と後の画像とから画像処理により求める
こともできる。

【０００８】図８に示すように、撮影された例えば８
フィールドの画像Ｐ１〜Ｐ８は、デジタル画像データと
されると共に、左右両端の画像Ｐ１，Ｐ８間の水平方向
の変移量に応じて定まる縮小率（以下これをパノラマ縮
小率という）で、それぞれ水平方向に縮小されて、各フ
ィールドの水平縮小画像Ｐh1〜Ｐh8が形成される。この
水平縮小処理は、各ラインの画素を間引くことにより行
なわれる。

【０００９】図９Ａに示すように、各フィールドの水
平縮小画像Ｐh1〜Ｐh8は、合成用のメモリ上で、パノラ
マ静止画に合成される。この合成時には、前述したよう
に、ビデオカメラに設けた角速度センサの出力に基づい
て、もしくは画像処理によって、画像Ｐ１〜Ｐ８間の各
ビデオカメラの撮像位置の変化が動きベクトルとして算
出され、この動きベクトルが、各フィールドの水平縮小
画像Ｐh1〜Ｐh8の相対位置を決定するために用いられ
る。

【００１０】そして、図９Ｂに示すように、水平方向
と同じパノラマ縮小率で、垂直方向にも縮小されて、合
成されたパノラマ画像がモニタに表示され、あるいは磁
気テープに記録される。垂直方向の縮小処理は、ライン
を間引くことにより行なわれる。このように、水平およ
び垂直方向に同じ縮小率で縮小することで、レンズの画
角よりも広い範囲の被写体の画像を、歪みなく１画面に
表示できる合成画像が得られる。

【００１１】ところが、上述のようにして、ビデオカメ
ラによる撮影画像を合成する場合においては、動きベク
トルに応じた合成処理が、画素およびライン単位で行わ
れると、例えば、斜めの線が不連続になるなど、パノラ
マ画像のつなぎ目が目立ち、高画質が得られないという
問題がある。

【００１２】すなわち、図１０は、ある撮像位置か
ら、動きベクトルＶで示される移動量および移動方向だ
け撮像位置が変更されたときの、それぞれの撮像位置で
の画像Ｐａ、Ｐｂを示している。それぞれの画像Ｐａ、
Ｐｂにおいて、○印は、メモリに蓄積される画像データ
の単位である画素ドットを示している。また、図１１
は、図１０の画像ＰａとＰｂの重なり部分の拡大図であ
る。

【００１３】図１０および図１１から分かるように、
画像Ｐａの撮像位置から画像Ｐｂの撮像位置までの動き
量は、一般に、画素ドット単位、ライン単位であるとは
限らない。画像Ｐａおよび画像Ｐｂとで画像合成を行う
場合に、各画素ドット位置および各ライン位置を、図１
１に示すように、画素位置を前の画像Ｐａに合わせると
すると、合成時の画像Ｐｂとしては、本来は、図１１で
◇印で示す位置の画素データが必要になる。

【００１４】しかし、上述したように、画像の合成を画
素ドット単位、ライン単位の画像データをそのまま使用
する場合には、画像Ｐｂは、図中、○印で示す画素がそ
のまま使用されることになり、斜め線などの場合に、合
成画のつなぎ目が、特に、垂直方向において目立ってし
まう欠点があった。

【００１５】この発明は、以上の点に鑑み、高画質のパ
ノラマ画像などの合成画像を比較的容易に得ることがで
きる画像合成装置を提供するところにある。

【００１６】

【課題を解決するための手段】前記課題を解決するた
め、第１のこの発明による画像合成装置は、後述の実施
例の参照符号を対応させると、所定の画角を有する撮像
装置により、撮像位置を、被写体が部分的に重複するよ
うに変更して撮像された複数枚の画像のデータをメモリ
４１上で合成して、前記画角よりも広い範囲に渡る被写
体の静止画像を得るようにした画像合成装置であって、
前の撮像位置から次の撮像位置までの前記画像の動きベ
クトルを、前記画像データを構成する画素ドット単位以
下および水平ライン単位以下の精度で算出する変移量算
出手段２４と、変移量算出手段２４で算出された動きベ
クトルに応じて、前記次の撮像位置の画像のデータとし
て、前記画素ドット単位以下および水平ライン単位以下
の精度の位置のデータを形成する補間処理手段５０と、
補間処理手段５０で形成した画像を、前記動きベクトル
だけ変移した位置において、それまでの合成画像と合成
した画像のデータをメモリ４１上に得る合成手段４２、
４６とを設けたことを特徴とする。

【００１７】

【作用】かかる構成によれば、隣接する２フィールドの
画像の間の変移量が画素単位、ライン単位に満たない部
分を含む場合も、補間処理手段５０により、合成する２
フィールドの画像の画素およびラインの、空間的位置が
微調整されて、高画質のパノラマ画像が比較的容易に得
られる。

【００１８】

【実施例】以下、この発明による画像合成装置の一実施
例を、パノラマ画像合成機能を備えるビデオカメラに適
用した場合を例にとって図１〜図６を参照しながら説明
する。

【００１９】この例のビデオカメラの全体の構成を図３
に示し、その要部の構成を図１，図２に示す。図３にお
いて、１０は撮像系、２０は合成制御系、３０は出力
系、４０はパノラマ合成処理回路である。パノラマ合成
処理回路４０については後述する。

【００２０】撮像系１０では、レンズ１１を通ってくる
撮像光が、ＣＣＤ固体撮像素子１２により、アナログ映
像信号に変換される。撮像素子１２の出力は、サンプル
ホールド・ＡＧＣ回路１３を経て、Ａ−Ｄ変換器１４に
供給され、例えば、８ビット／画素のデジタル映像信号
に変換される。このデジタル映像信号は、撮像信号処理
回路１５において、ガンマ補正や白バランスのような信
号処理が施され、パノラマ合成処理回路４０に供給され
る。

【００２１】一方、合成制御系２０では、角速度センサ
２１の出力が、ハイパスフィルタ２２に供給されて、低
周波成分が除去され、増幅器（図示は省略）により増幅
された後、Ａ−Ｄ変換器２３によりデジタル信号に変換
され、動きベクトル演算回路（マイクロコンピュータ）
２４に供給される。この演算回路２４においては、積分
演算により、動き量と、方位角φおよび俯仰角θの角度
情報が得られ、これらの情報が更に加工されて、動きベ
クトル情報が生成され、パノラマ合成処理回路４０に供
給される。ここで、演算回路２４で得られる動き量は、
画素ピッチおよびラインピッチよりも細かい精度で得ら
れる。

【００２２】この合成処理回路４０の出力信号は、出力
系３０の映像信号処理回路３１において、コンポジット
映像信号として成形され、Ｄ−Ａ変換器３２に供給され
て、アナログ映像信号に変換され、表示素子３３上に表
示される。

【００２３】また、モード切換信号Ｓmdにより、記録モ
ードに切り換えられたときは、記録信号処理部３１ｒに
おいて、エンファシス・周波数変調・低域変換など、記
録のための所要の信号処理が施され、Ｄ−Ａ変換器３４
に供給されて、アナログ映像信号に変換され、記録増幅
器（図示は省略）を通じて、ビデオヘッド３５に供給さ
れて、磁気テープＭＴに記録される。

【００２４】図１に示すように、パノラマ合成処理回路
４０は、合成用のフィールドメモリ４１と、縮小・補間
回路５０と、両者を制御するメモリ制御回路４２とを含
んで構成される。

【００２５】また、図２に示すように、縮小・補間回路
５０は、４個のラインメモリ５１〜５４と、２個の水平
補間回路６１，６２と、単一の垂直補間回路６３とを含
んで構成され、あらかじめ定められた所定のパノラマ縮
小率での水平方向縮小処理と、パノラマ合成処理時の各
画像の画素ドットと、ライン位置の空間的相対位置の微
調整のための水平および垂直の補間処理とを行なう。

【００２６】図１において、合成処理回路４０の入力端
子４０ｉは本線４０TLに接続される。入力端子４０ｉか
らのデジタル映像信号は、この本線４０TLを通じ、スイ
ッチ回路４３の一方の入力端ｕを通じて出力端子４０ｏ
に導出される。

【００２７】入力端子４０ｉからのデジタル映像信号
は、また、１対のスイッチ回路４４，４５の入力端ｕ側
をそれぞれ通じて、縮小・補間回路５０の１対の入力端
子５０ａ，５０ｂにそれぞれ供給される。スイッチ回路
４４，４５の入力端ｖ側には、フィールドメモリ４１の
１対の読出ポート４１ａ，４１ｂから読み出された画像
データがそれぞれ供給される。

【００２８】縮小・補間回路５０の出力が、スイッチ回
路４３の入力端ｖ側に供給されると共に、スイッチ回路
４６の入力端ｕ側に供給される。スイッチ回路４６の入
力端ｖ側には、フィールドメモリ４１の第２の読出ポー
ト４１ｂの出力が供給される。スイッチ回路４６の出力
は、帰還線路４０FBにより、フィールドメモリ４１の書
込ポートに供給される。

【００２９】なお、後述もするように、メモリ制御回路
４２から、縮小・補間回路５０内の水平補間回路６１お
よび６２と、垂直補間回路６３とに、水平および垂直の
補間係数αおよびβが、供給される。これらの補間係数
αおよびβは、動きベクトル演算回路２４からの、各フ
ィールドごとの動きベクトル情報に基づいて、メモリ制
御回路４２において求められる。また、図１に点線で示
すように、スイッチ回路４３、４４、４５、４６もメモ
リ制御回路４２により切り換え制御される。

【００３０】図２において、縮小・補間回路５０の一方
の入力端子５０ａに、１対のラインメモリ５１，５２が
共通に接続されると共に、他方の入力端子５０ｂには、
他の１対のラインメモリ５３，５４が共通に接続され
る。ラインメモリ５１〜５４としては、それぞれＳＲＡ
Ｍが用いられる。

【００３１】水平補間回路６１は、１対の係数乗算器６
１ａ，６１ｂと、両係数乗算器６１ａ，６１ｂの出力を
加算する加算器６１ｃと、第２の係数乗算器６１ｂの前
段に挿入された、１画素相当の遅延時間の遅延回路６１
ｄとから構成される。他方の水平補間回路６２も全く同
様に、１対の係数乗算器６２ａ，６２ｂと、加算器６２
ｃと、１画素相当の遅延時間の遅延回路６２ｄとから構
成される。

【００３２】また、垂直補間回路６３は、１対の係数乗
算器６３ａ，６３ｂと、両係数乗算器６３ａ，６３ｂの
出力を加算する加算器６３ｃとから構成される。

【００３３】両水平補間回路６１，６２の各一方の乗
算器６１ａ，６２ａの係数α、各他方の乗算器６１ｂ，
６２ｂの係数（１−α）と、垂直補間回路６３の乗算器
６３ａ，６３ｂの係数β，（１−β）とは、合成する２
画像に関して、パノラマ縮小率と、動きベクトルの、画
素ドット単位およびライン単位以下の値に対応したもの
となる。すなわち、これは、パノラマ縮小率および動き
ベクトルを画素ドットおよびライン単位を整数としたと
きに、その小数点以下の値部分に対応するもので、前述
の図１０、図１１にも示したように、前記小数点以下の
値のために、合成する２枚の画像の間で、画素およびラ
インが、空間的にずれるため、両者の空間的位置合わせ
を行うためのものである。

【００３４】この空間的位置合わせは、この例では、図
４に示すように、後から合成する方の画像の位置あわせ
後の画素位置の画素をＱとしたとき、この画素Ｑの画素
データを、その周辺の４画素Ａ〜Ｄから補間処理に得る
ことにより行う。前記係数α、係数（１−α）、係数
β、係数（１−β）は、画素Ｑと、その周辺の画素Ａ〜
Ｄとの空間的距離に応じたものである。

【００３５】この実施例では、４個のラインメモリ５１
〜５４の出力信号Ｓ51〜Ｓ54から、水平補間回路６１、
６２、垂直補間回路６３に必要な信号を形成するため、
水平周期ごとに連動して切り換えられる４個のスイッチ
回路５５〜５８を用いる。

【００３６】第１のラインメモリ５１の出力信号Ｓ51
が、第１のスイッチ回路５５の入力端ｖ側と、第３のス
イッチ回路５７の入力端ｕ側とに共通に供給されると共
に、第３のラインメモリ５３の出力信号Ｓ53が、スイッ
チ回路５５の入力端ｕ側と、スイッチ回路５７の入力端
ｖ側とに共通に供給される。

【００３７】また、第２のラインメモリ５２の出力信号
Ｓ52が、第２のスイッチ回路５６の入力端ｖ側と、第４
のスイッチ回路５８の入力端ｕ側とに共通に供給される
と共に、第４のラインメモリ５４の出力信号Ｓ54が、ス
イッチ回路５６の入力端ｕ側と、スイッチ回路５８の入
力端ｖ側とに共通に供給される。

【００３８】そして、スイッチ回路５５の出力信号Ｓ55
が、水平補間回路６１の一方の係数乗算器６１ａに供給
されると共に、他方の係数乗算器６１ｂには、遅延回路
６１ｄを通じて、スイッチ回路５６の出力信号Ｓ56が供
給される。

【００３９】また、スイッチ回路５７の出力信号Ｓ57
が、水平補間回路６２の一方の係数乗算器６２ａに供給
されると共に、他方の係数乗算器６２ｂには、遅延回路
６２ｄを通じて、スイッチ回路５８の出力信号Ｓ58が供
給される。

【００４０】一方の水平補間回路６１の出力が、垂直補
間回路６３の一方の係数乗算器６３ａに供給されると共
に、他方の係数乗算器６３ｂには、他方の水平補間回路
６２の出力信号が供給され、垂直補間回路６３の出力信
号が、縮小・補間回路５０の出力端子５０ｏに導出され
る。

【００４１】次に、図５および図６をも参照しながら、
この発明の一実施例のパノラマ画像合成処理について説
明する。

【００４２】前出図９に示すようなパン撮影を行なった
場合、動きベクトル演算回路２４においては、角速度セ
ンサ２１の出力に基づいて、図５に示すような動きベク
トルＡ12〜Ａ78の情報が生成されて、メモリ制御回路４
２に供給される。

【００４３】パノラマ画像の合成処理をする前の初期状
態では、図１のスイッチ回路４３が図示のように入力端
ｕ側に接続されると共に、スイッチ回路４４，４５は、
図示とは逆の状態に接続される。そして、フィールドメ
モリ４１には画像データが書き込まれていない。

【００４４】前出図７に示すようなパン撮影画像の合
成処理が開始されると、スイッチ回路４４、４５は、図
示のように入力端ｕに接続される状態に切り換えられ、
また、入力端子４０ｉには、１番目のフィールドの画像
Ｐ１の画像データが供給される。

【００４５】この画像データは、本線４０TLとスイッチ
回路４３を通じて、出力端子４０ｏにそのまま導出され
て、合成処理中でも、表示素子３３（図３参照）に供給
される。したがって、撮像された画像は、パノラマ合成
中であっても、表示素子３３で、モニターすることがで
きる。

【００４６】そして、１番目のフィールドの画像Ｐ１
の画像データは、スイッチ回路４４，４５を通じて、縮
小・補間回路５０に供給され、後述のような水平縮小・
４点補間処理が施される。そして、この縮小・補間回路
５０からは、１番目のフィールドの水平縮小画像Ｐh1
（前出図８参照）の画像データが、スイッチ回路４６の
ｕ側接点に導出される。

【００４７】スイッチ回路４６は、メモリ制御回路４２
に制御されて、各ラインごとに、現に縮小・補間回路５
０から出力されている水平縮小画像、例えば、Ｐh1の有
効画面サイズに対応する期間中は入力端ｕ側に接続さ
れ、その余の期間は入力端ｖ側に切り換えられる。

【００４８】これにより、縮小・補間回路５０から出力
された縮小原画像Ｐh1の画像データが、スイッチ回路４
６と帰還線路４０FBとを通じて、フィールドメモリ４１
に書き込まれる。

【００４９】この実施例では、フィールドメモリ４１と
して、１カラム単位のランダムアクセスができない構成
の、ビデオカメラ向けの廉価なフィールドメモリを用い
ており、フィールドメモリ４１への書込みは、すべて上
書きとされる。

【００５０】一方、縮小・補間回路５０内では、図６Ａ
に示すような、ライン順の画像データが１対の入力端子
５０ａ，５０ｂに共通に供給されると、図６Ｂ，Ｄに示
すような、互いに逆位相の書込制御信号が、メモリ制御
回路４２から、図２の２対のラインメモリ５１，５２；
５３，５４にそれぞれ供給されて、図６Ａに示すような
ライン順の画像データが、１対のラインメモリ５１，５
２と、他の１対のラインメモリ５３，５４とに、１ライ
ンごとに交互に書き込まれる。

【００５１】そして、１対のラインメモリ５１，５２か
らは、同じ奇数ラインが２回ずつ繰り返して読み出さ
れ、信号Ｓ51，Ｓ52として図６Ｃに示すような信号が出
力されると共に、他の１対のラインメモリ５３，５４か
らは、同じ偶数ラインが２回ずつ繰り返して読み出さ
れ、信号Ｓ53，Ｓ54として図６Ｅに示すような信号が出
力される。

【００５２】この実施例では、それぞれ１ライン分の画
像データが書き込まれたラインメモリ５１〜５４からの
読み出しの際に、所定のパノラマ縮小率の整数部分の値
に応じて、間引きが行なわれ、画像が水平方向に縮小さ
れる。

【００５３】そして、パノラマ縮小率が整数でない場合
には、その小数点以下の部分の値に応じて水平補間回路
６１，６２において、それぞれ水平補間が行なわれる。

【００５４】図２のスイッチ回路５５，５６からは、図
６Ｆに示すような、ライン順の信号Ｓ55，Ｓ56が一方の
水平補間回路６１に供給されると共に、スイッチ回路５
７，５８からは、図６Ｇに示すように、図６Ｆの信号よ
りも１ラインだけ遅れた、ライン順の信号Ｓ57，Ｓ58が
他方の水平補間回路６２に供給される。

【００５５】これにより、両水平補間回路６１，６２で
は、それぞれ隣接する２画素による水平方向の補間が可
能となり、また、垂直補間回路６３では、隣接する２ラ
インによる垂直方向の補間が可能となって、図４に示し
たように、目的画素の周辺の４個の画素Ａ，Ｂ；Ｃ，Ｄ
による補間が行なわれる。

【００５６】なお、垂直補間では、常時、隣接２ライン
が必要であるから、この実施例では、フィールドメモリ
４１として、１対の読出ポート４１ａ，４１ｂを備える
ものが用いられている。

【００５７】次に、２番目のフィールドの画像Ｐ２
（前出図７参照）の画像データが、入力端子４０ｉから
供給されると、縮小・補間回路５０において、後述する
ように、パノラマ縮小率と、動きベクトルの小数点以下
の数値に応じた上述のような水平縮小・４点補間処理を
施されて、２番目のフィールドの水平縮小画像Ｐh2（前
出図８参照）の画像データがスイッチ回路４６のｕ側接
点に導出される。

【００５８】一方、フィールドメモリ４１の第２の読出
ポート４１ｂからは、先に書き込まれている水平縮小画
像Ｐh1の画像データが、もとの画像Ｐ１と２番目の画像
Ｐ２との間の動きベクトルＡ12に応じたタイミングで読
み出され、スイッチ回路４６のｖ側接点に導出される。

【００５９】前述のように、このスイッチ回路４６は、
メモリ制御回路４２により、各ラインごとに、現に縮小
・補間回路５０から出力されている縮小原画像、例え
ば、水平縮小画像Ｐh2に対応する期間中はｕ側接点に接
続され、その余の期間はｖ側接点に切り換えられる。

【００６０】これにより、スイッチ回路４６の出力端に
は、縮小・補間回路５０から出力された縮小原画像Ｐh2
と、フィールドメモリ４１から読み出された縮小画像Ｐ
h1とを、両縮小画像間の水平方向の変移量（φ12／パノ
ラマ縮小率）に相当する時間だけずらして、合成した画
像データが各ラインごとに形成される。

【００６１】そして、この合成画像データが、帰還線路
４０FBを通じて、フィールドメモリ４１の同じ位置に上
書きされて、２つのフィールドの縮小画像Ｐh1，Ｐh2と
の合成が終了する。

【００６２】この実施例では、縮小・補間回路５０にお
ける、原画像データの処理が固定のタイミングで行なわ
れるため、フィールドメモリ４１からの画像データの読
出しのタイミングを、動きベクトルと逆方向にずらすこ
とにより、両画像データを合成する際の位置調整を行な
っている。

【００６３】そして、動きベクトルを所定のパノラマ縮
小率で除算した商が、画素単位またはライン単位に満た
ない小数部分を含むときは、メモリ制御回路４２によ
り、前述のような水平・垂直の補間係数α，βを制御し
て、縮小・補間回路５０において入力画像データについ
ての補間処理を行って、画像データを合成する際の空間
的位置合わせを行なっている。

【００６４】また、前出図９Ａに示すように、フィー
ルドメモリ４１には、パン撮影に対して、垂直方向に余
裕があり、合成時、フィールドメモリ４１上の静止画像
は、水平方向だけが縮小されており、画質の維持が図ら
れている。

【００６５】以下、同様の処理が繰り返されて、フィ
ールドメモリ４１上に、前出図９Ａに示すように、８つ
のフィールドの水平縮小画像Ｐh1〜Ｐh8を合成した静止
画像が形成される。

【００６６】上述のようにして、水平縮小画像Ｐh1〜Ｐ
h8の合成が終わると、スイッチ回路４３〜４５が図示と
は逆の状態に切り換えられて、フィールドメモリ４１か
ら、合成静止画像が読み出され、縮小・補間回路５０と
スイッチ回路４３とを通じて、出力端子４０ｏに導出さ
れる。

【００６７】このとき、奇数フィールドと偶数ィールド
ごとに、インタレースするように、ラインを間引いて読
み出され、縮小・補間回路５０における垂直補間と連動
して、垂直方向の縮小処理が行なわれる。また、縮小・
補間回路５０での遅延を考慮して、フィールドメモリ４
１からの読出しは、水平・垂直が同期するように行なわ
れる。

【００６８】そして、表示素子３３（図３参照）の画
面には、前出図９Ｂに示すような、パノラマ静止画が映
出される。

【００６９】なお、この表示時には、縮小・補間回路５
０における水平処理は行なわれず、また、スイッチ回路
４６の可動接点は、ｕ，ｖのいずれに接続されていても
よい。

【００７０】この実施例では、隣接する２フィールドの
画像の間の変移量が画素単位またはライン単位に満たな
い小数部分を含む場合も、メモリ制御回路４２により、
前述のような水平・垂直の補間係数α，βを制御するよ
うにしたので、隣接２フィールドの画像の相対位置が微
調整されて、合成画像のつなぎ目が目立たない、高画質
のパノラマ画像が得られる。

【００７１】また、この実施例では、新たに合成処理す
る後続フィールドの画像データと、フィールドメモリ４
１上で合成処理済みの先行フィールドの画像データと
を、切換えスイッチ回路４６の入力端ｕ側および入力端
ｖ側に供給すると共に、後続フィールドの縮小画像に対
応する期間は、スイッチ回路４６を入力端ｕ側に切り換
えて、先行および後続フィールドの画像データを合成し
てフィールドメモリに上書きするようにしたので、フィ
ールドメモリ４１として、１カラム単位のランダムアク
セスができない構成の、ビデオカメラ向けの廉価なフィ
ールドメモリを用いることができると共に、メモリ制御
を簡易化することができて、ランダムアクセスが可能な
フィールドメモリを用いる場合に比べて、コストを大幅
に低減することができる。

【００７２】さらに、この実施例では、スイッチ回路４
３から本線信号を導出するようにしたので、パノラマ画
像合成処理中でも、撮影画像をモニタすることが可能で
ある。

【００７３】

【００７４】

【００７５】

【００７６】

【００７７】

【００７８】

【００７９】

【００８０】なお、上述の実施例では、この発明をビデ
オカメラによる動画を合成処理する場合に適用したが、
この発明は、電子スチルカメラによる静止画像を合成処
理する場合にも、全く同様に適用することができる。

【００８１】

【発明の効果】以上説明したように、この発明によれ
ば、隣接する２フィールドの画像の間の変移量が画素単
位またはライン単位に満たない小数部分を含む場合も、
水平・垂直の補間係数を制御することにより、合成する
２つの画像の空間的な画素およびライン位置を一致させ
ることができるので、合成画像のつなぎ目が目立たな
い、高画質のパノラマ画像が得られる。

【００８２】また、新たに合成処理する後続フィールド
の画像データと、メモリ上で合成処理済みの先行フィー
ルドの画像データとを、スイッチ回路の切り換えによ
り、合成するようにしたので、１カラム単位のランダム
アクセスができない構成の、廉価なフィールドメモリを
用いることができると共に、メモリ制御を簡易化するこ
とができて、ランダムアクセスが可能なフィールドメモ
リを用いる場合に比べて、コストを大幅に低減すること
ができる。

【００８３】さらに、画像の合成中であっても、本線信
号を導出するスイッチ回路を設けたので、撮影画像をモ
ニターすることが可能である。

【図面の簡単な説明】

【図１】この発明による画像合成装置の一実施例の要部
の構成を示すブロック図である。

【図２】この発明の一実施例の他の要部の構成を示すブ
ロック図である。

【図３】この発明の一実施例の全体の構成を示すブロッ
ク図である。

【図４】この発明の一実施例の動作を説明するための概
念図である。

【図５】この発明の一実施例の動作を説明するための概
念図である。

【図６】この発明の一実施例の動作を説明するためのタ
イムチャートである。

【図７】この発明を説明するための概念図である。

【図８】先に提案した画像合成装置の動作を説明するた
めの概念図である。

【図９】先に提案した画像合成装置の動作を説明するた
めの概念図である。

【図１０】この発明が解決しようとする問題点を説明す
るための図である。

【図１１】この発明が解決しようとする問題点を説明す
るための図である。

【符号の説明】

１０撮像系２０合成制御系２１角速度センサ２４動きベクトル演算回路（マイクロコン
ピュータ）４０，４０Ｍパノラマ合成処理回路４１，４７フィールドメモリ４２メモリ制御回路４８動きベクトル検出回路５０縮小・補間回路５１〜５４ラインメモリ６１，６２水平補間回路６３垂直補間回路

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平１−251962（ＪＰ，Ａ) 特開平５−37856（ＪＰ，Ａ) 特開平６−284321（ＪＰ，Ａ) 特開平６−303561（ＪＰ，Ａ) 特開平６−326965（ＪＰ，Ａ) 特開平６−315116（ＪＰ，Ａ) 特開平２−151182（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/222 - 5/28 H04N 1/38 - 1/393 G06T 1/00 G06T 3/00 - 5/50

Claims

(57)【特許請求の範囲】

【請求項１】所定の画角を有する撮像装置により、撮像
位置を、被写体が部分的に重複するように変更して撮像
された複数枚の画像のデータをメモリ上で合成して、前
記画角よりも広い範囲に渡る被写体の静止画像を得るよ
うにした画像合成装置であって、前の撮像位置から次の撮像位置までの前記画像の動きベ
クトルを、前記画像データを構成する画素ドット単位以
下および水平ライン単位以下の精度で算出する変移量算
出手段と、前記変移量算出手段で算出された動きベクトルに応じ
て、前記次の撮像位置の画像のデータとして、前記画素
ドット単位以下および水平ライン単位以下の精度の位置
のデータを形成する補間処理手段と、前記補間処理手段で形成した画像を、前記動きベクトル
だけ変移した位置において、それまでの合成画像と合成
した画像のデータを前記メモリ上に得る合成手段とを設
けたことを特徴とする画像合成装置。
【請求項２】前記合成手段は、前記メモリの画像のデータを、前記前の撮像位置から次
の撮像位置までの前記画像の動きベクトルに応じたタイ
ミングだけ、前記補間処理手段で形成された画像よりず
れたタイミングで読み出す読み出し手段と、前記補間処理手段から画像データが得られる期間では、
この補間処理手段からの画像データを選択し、その他の
期間では、前記メモリから読み出された画像データを選
択するスイッチ回路と、前記スイッチ回路の出力画像データを、前記メモリに書
き戻す手段とからなる請求項１に記載の画像合成装置。
【請求項３】前記メモリ上で、それまでの画像に次の撮
像位置の画像を合成するときに、前記次の撮像位置の画
像の映像信号を、画像モニター手段に供給するようにす
ることを特徴とする請求項１または請求項２に記載の画
像合成装置。