JPH0991407A - パノラマ画像合成システム及びパノラマ画像合成方法 - Google Patents

Abstract

(57)【要約】 【課題】 ダミー領域のない良好な画像を得ることがで
きるパノラマ画像合成システムを提供する。 【解決手段】 ステップＳ１で、ユーザカタログ３４に
ドロップされたサムネールに対応する画像データとそれ
に付随した属性情報を取得する。ステップＳ２では、属
性情報中の撮影モードを調べてパノラマ撮影モードで撮
影された画像であるかをチェックする。パノラマ画像で
ない場合は、ステップＳ６で通常の画像データとしてユ
ーザカタログ３４に登録する。パノラマ画像であるとき
は、ステップＳ３で属性情報中に同一のパノラマＩＤを
含む画像データをカメラから転送する。ステップＳ４で
は、得られた複数の画像を用いて、後述するパノラマ合
成処理を行う。その後、ステップＳ５において画像抽出
処理により得られたパノラマ画像を適切な矩形の画像デ
ータにして最終的なパノラマ画像を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の一部がオー
バーラップしている複数の画像を合成して１枚の画像を
得るパノラマ画像合成システム、及びパノラマ画像合成
方法に関するものである。

【０００２】

【従来の技術】ワイドな画像を撮影して１枚の画像にす
るという要求から、画像の一部がオーバーラップしてい
る複数の画像を合成するパノラマ画像合成と呼ばれる手
法が従来より一般的に知られている。

【０００３】電子カメラにおいては、銀塩カメラやスキ
ャナと比較した短所として、解像度の低さ（画像数の少
なさ）が指定されている。この電子カメラで撮影された
画像にとってパノラマ画像合成は、ワイドな画像を撮る
ということだけでなく、高解像度な画像を撮る手段とし
ても重要である。具体的には、１枚の紙の原稿や雑誌等
を複数に分けて撮影し、スキャナ並みの高解像度データ
を取得したり、また風景を複数に分割してワイドで高解
像度に撮影したりすることに威力を発揮する。

【０００４】図１６（ａ），（ｂ），（ｃ）は、従来の
パノラマ画像合成の一例を示す。同図（ａ），（ｂ）に
おいては、２枚の画像２０１，２０２からオーバーラッ
プしている部分を検出し、それらが重なるように画像を
合成してパノラマ画像２０３を得ている。

【０００５】

【発明が解決しようとする課題】しかしながら、上記パ
ノラマ画像処理においては、次のような問題点があっ
た。

【０００６】図１６（ｂ）のパノラマ画像２０３のよう
に複数の画像を合成した結果できる画像が矩形になって
いない場合、結果となる画像を矩形にし、コンピュータ
で扱えるデータ形式にするため、図１６（ｃ）に示すよ
うにパノラマ画像２０３を包含する矩形２０４を設定
し、矩形２０４内の画像情報が存在しない領域（ダミー
領域）２０５を適当な色やパターンで埋める等の手段が
とられていた。そのため、パノラマ画像合成によりでき
た画像は、ダミー領域を含んだ良好とはいえない画像に
なっていた。

【０００７】本発明は上記従来の問題点に鑑み、ダミー
領域のない良好な画像を得ることができるパノラマ画像
合成システム、及びパノラマ画像合成方法を提供するこ
とを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、請求項１のパノラマ画像合成システムは、領域とし
て一部がオーバーラップしている複数の画像を合成して
１枚のパノラマ画像を作成するパノラマ画像合成システ
ムにおいて、前記複数の画像の合成後の画像内から矩形
となる領域に含まれる画像データを自動的に抽出する矩
形領域抽出手段と、前記矩形領域抽出手段の抽出結果に
基づいて前記パノラマ画像を作成するパノラマ画像作成
手段とを備えたものである。

【０００９】請求項２のパノラマ画像合成システムは、
上記請求項１のパノラマ画像合成システムにおいて、前
記矩形となる領域は、前記複数の画像の合成後の画像の
形状によって予め決められたものである。

【００１０】請求項３のパノラマ画像合成システムは、
上記請求項１のパノラマ画像合成システムにおいて、前
記矩形領域抽出手段は、複数の矩形パターンにより前記
画像データを抽出する構成とし、その中から任意のもの
を選択してその選択結果を前記パノラマ画像としたもの
である。

【００１１】請求項４のパノラマ画像合成方法は、領域
として一部がオーバーラップしている複数の画像を合成
し、１枚のパノラマ画像を作成するパノラマ画像合成方
法において、前記複数の画像の合成後の画像内から矩形
となる領域に含まれる画像データを自動的に抽出する矩
形領域抽出処理を行い、その矩形領域抽出処理の抽出結
果に基づいて前記パノラマ画像を作成するようにしたも
のである。

【００１２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００１３】図１は、本発明の実施の一形態に係るパノ
ラマ画像合成システムの構成を示すブロック図、及び図
２は、本発明のパノラマ画像合成システムが実施される
プラットフォームであるパーソナルコンピュータシステ
ムの構成を示す外観図である。なお、本実施形態は、電
子カメラで撮影された複数の画像をパーソナルコンピュ
ータ上で合成して１枚のパノラマ画像を作成する場合を
示すものである。

【００１４】まず、図２に示すパーソナルコンピュータ
システムにおいて、１はコンピュータシステム本体、２
はデータを表示するディスプレイ、３は代表的なポイン
ティングデバイスであるマウス、４はマウスボタン、５
はキーボードである。さらに、コンピュータシステム本
体１には、汎用インターフェース６によって電子カメラ
７が接続されている。汎用インターフェース６は、双方
向パラレルインタフェースやＳＣＳＩインターフェース
等の、高速で画像転送可能な汎用インターフェースであ
る。

【００１５】次に、本実施形態のパノラマ画像合成シス
テムの構成を図１を用いて説明する。

【００１６】図１において、１１はハードウェア、１２
はハードウェア１１の上で動作するオペレーティングシ
ステム（ＯＳ）、１３はＯＳ１２の上で動作するアプリ
ケーションソフトウェアである。なお、ハードウェア１
１とＯＳ１２を構成するブロックのうち、構成要件とし
ては当然含まれるが本発明の実施形態を説明する上で直
接必要としないブロックに関しては図示していない。そ
のような図示していないブロックの例として、ハードウ
ェアではＣＰＵやメモリ等が、またＯＳではメモリ管理
システム等がある。

【００１７】また、１４はファイルやデータを物理的に
格納するハードディスク、１５はＯＳを構成するファイ
ルシステムであり、アプリケーションソフトウェアがハ
ードウェアを意識せずにファイルの入出力を行えるよう
にする機能がある。１６はファイルシステム１５がハー
ドディスク１４の読み書きを行うためのディスクＩＯイ
ンターフェースである。１７はＯＳを構成する描画管理
システムであり、アプリケーションソフトウェアを意識
せずに描画が行えるようにする機能がある。

【００１８】１８は描画管理システム１７がディスプレ
イ２に描画を行うためのビデオインターフェースであ
る。１９はＯＳを構成する入力デバイス管理システムで
あり、アプリケーションソフトウェアを意識せずにユー
ザの入力を受け取ることができるようにする機能があ
る。２０は入力デバイス管理システム１９がキーボード
５の入力を受け取るためのキーボードインターフェー
ス、２１は入力デバイス管理システム１９がマウス３か
らの入力を受けとることができるようにするためのマウ
スインターフェースである。

【００１９】さらに、電子カメラ７は、双方向インター
フェースもしくはＳＣＳＩインターフェース２２に接続
され、入力デバイス管理システム１９を通して、画像デ
ータ等のやり取りを行うことができる。２３は画像デー
タ管理システムであり、２４は画像データをファイル名
や属性情報、もしくはユーザの入力によるキーワード等
で管理するためのデータ管理手段である。２５は管理さ
れている画像データを、その属性情報もしくはユーザの
入力によるキーワード等で検索し表示するデータ表示手
段である。

【００２０】パノラマ画像作成システム２６は、画像間
のオーバーラップ位置を求めて画像を合成するパノラマ
合成手段２７と、本発明の特徴である合成してできた画
像を適切な矩形で抽出する画像抽出手段２８とからな
る。

【００２１】前述した通り、本システムは、電子カメラ
で撮影された複数の画像を合成して１枚のパノラマ画像
を作成するものである。本システムは、パノラマ画像合
成を電子カメラ７からパソコンに画像データをコピー
（転送）する際に行う。

【００２２】電子カメラ７では、撮影された画像と共
に、属性情報として撮影日時や撮影モード等が記録され
る。パノラマ画像用の画像を撮影する際には電子カメラ
７の撮影モードを“パノラマ画像撮影モード”にセット
する。

【００２３】パノラマ画像撮影モード中に撮影された画
像は、属性情報中に、撮影モードには“パノラマ画像撮
影モード”が、また、１つのパノラマ画像を構成するた
めに撮影された一連の画像には同一のパノラマＩＤが設
定される。

【００２４】図３は、カメラ内の画像データをコンピュ
ータ内へコピーする際の操作を示す図である。

【００２５】カメラ７を汎用インターフェース６を介し
てコンピュータに接続し、画像データ管理システム２３
を起動する。画像データ管理システム２３は、カメラ内
のデータを、カメラカタログと名前の付けられたウイン
ドウ３１に表示する。３２は画像データの縮小画像（サ
ムネール画像）、３３は画像の属性情報として撮影日時
等が表示される。３４はパーソナルコンピュータのハー
ドディスク中に存在するユーザの画像データベースの一
部を表示しているものであり、これを本システムではユ
ーザカタログと読んでいる。

【００２６】ユーザはカメラカタログ３１中から画像を
選択して（３５は選択されたことを表示する枠）、ユー
ザカタログ３４にマウス３でＤｒａｇ＆Ｄｒｏｐの操作
を行うとコピーが行われる。このとき、コピーなのか
（カメラ内にデータは残る）、移動なのか（カメラ内の
データは消去される）は、ユーザの指定でどちらにでも
切り替えられる。

【００２７】このコピー操作の最中に、パノラマ撮影モ
ードで撮影された画像であれば、パノラマ画像合成処理
を行う。以上の処理を図４のフローチャートを用いて説
明する。

【００２８】図４において、まず、ステップＳ１で、ユ
ーザカタログ３４にドロップされたサムネールに対応す
る画像データとそれに付随した属性情報を取得する。ス
テップＳ２では、属性情報中の撮影モードを調べてパノ
ラマ撮影モードで撮影された画像であるかをチェックす
る。パノラマ画像でない場合は、ステップＳ６で通常の
画像データとしてユーザカタログ３４に登録する。パノ
ラマ画像であるときは、ステップＳ３で属性情報中に同
一のパノラマＩＤを含む画像データをカメラから転送す
る。ステップＳ４では、得られた複数の画像を用いて、
後述するパノラマ合成処理を行う。その後、ステップＳ
５において画像抽出処理により得られたパノラマ画像を
適切な矩形の画像データにして最終的なパノラマ画像を
得る。

【００２９】図５は、前記ステップＳ４のパノラマ合成
処理のフローチャートである。

【００３０】まず、ステップＳ１１では、合成する画像
を調べて、画像間のオーバーラップ位置（対応点）を検
出する。次にステップＳ１２において、前記ステップＳ
１１で検出された対応点から合成に用いる際の画像の変
形等のためのパラメータを算出する。それを基にステッ
プＳ１３では、複数の画像を合成して１枚のパノラマ画
像を得る。

【００３１】図６は、対応点抽出処理のアルゴリズムの
フローチャート、及び図７は、対応点抽出処理でのテン
プレート画像とマッチング範囲を示す図である。なお、
ここでは、左と右の画像４１，４２の２枚の例を示す。
画像の枚数が２枚よりも大きいときは２枚の合成を何回
か繰り返せばよいので処理としては基本的に同じであ
る。

【００３２】本システムでは、パノラマ画像として撮影
するときのルールとして、最小１０％、最大５０％画像
をオーバーラップさせることと、それに直角する方向の
ずれをそれぞれ５％以下と決められている。このことに
より、テンプレートを設定する範囲４３は、縦９０％、
横１０％の範囲に設定する。また、サーチする範囲は、
対応する点が存在する可能性の範囲ということで、縦１
００％、横５０％の範囲４４に設定される。

【００３３】画像中のエリア４３から、エッジが所定値
以上強い点を探し、そこの中心として縦、横ｎ画素の矩
形をテンプレート画像として切り出す。このテンプレー
ト画像４５を、サーチ範囲４６上において、画素単位で
その差分をとる。この合計が最小となるところを、サー
チ範囲上を１画素ずつずらして求める。サーチ範囲上を
全てサーチした結果の最小値が、所定値以下であれば、
そのポイント同士（ｘ，ｙ）と（ｘ’，ｙ’）を対応点
のペアとして保持する。

【００３４】以上が処理の概要となるが、これを図６の
フローチャートに沿って詳細にもう一度に説明する。

【００３５】まず、ステップＳ２１でエッジ抽出画像を
作成し、ステップＳ２２で、このエッジ抽出画像の中の
テンプレートを設定する範囲４３から、エッジが所定値
以上強いポイントを探す。、そのポイントがあれば、そ
のポイントから縦横±ｎ画素ずつの矩形で画像を切り出
しテンプレート画像４５とし（ステップＳ２３）、その
ポイントの位置から、右画像４２中のサーチ範囲４６を
設定する（ステップＳ２４）。

【００３６】そして、サーチ範囲中の画像４６と、テン
プレート画像４５を重ね合わせ、画素単位で、画素値の
差の絶対値をとりその合計を求める（ステップＳ２
５）。この差分の合計値が、それまでの最小値かどうか
をチェックし（ステップＳ２６）、そうであればステッ
プＳ２７で、そのサーチ範囲中のポイントの座標とその
最小値とを保持する。以上をサーチ範囲全てに繰り返
し、最も一致する（最小の差分を持つ）点を見つけ出
す。

【００３７】さらに、ステップＳ２８でサーチ範囲全て
をやったかをチェックし、ステップＳ２９で、その結果
求められた最小値が十分小さな値であるか（確かな対応
点か）を、所定値Ｌと比較して判断する。所定値Ｌより
小さかった場合は、対応点のリストにテンプレート画像
を切り出したポイントの座標（ｘ，ｙ）と、最小値が求
められたポイントの座標（ｘ’，ｙ’）と、その最小値
の値とを登録する（ステップＳ３０）。

【００３８】以上をテンプレート設定範囲全部に対して
行い（ステップＳ３１）、終了したら対応点のリスト中
の全ての最小値からその平均値を求め、これを一致レベ
ル値として保持する（ステップＳ３２）。以上で対応点
抽出処理を終了する。

【００３９】次に、前記ステップＳ１１の対応点抽出処
理後に行われるステップＳ１２の合成パラメータ算出処
理について説明する。

【００４０】画像を２枚としたときに（２枚以上の合成
の場合も、２枚の合成の繰り返しなので、まずは２枚と
考えてよい）、そのずれは、ｘ，ｙ方向の並進、回転及
び拡大率の差で表すことができる。よって、対応する点
（ｘ，ｙ）、（ｘ’，ｙ’）は以下のように表せる。

【００４１】

【数１】 ここで、θは回転角、Δｘ及びΔｙは並進、ｍは倍率を
示す。よって、パラメータＡ，Ｂ，Ｃ，Ｄを求めること
によりこの座標変換を表すことができる。先の対応点抽
出処理では、対応点（ｘ，ｙ）、（ｘ’，ｙ’）の複数
の組を取得した。これを最小自乗法を用いてパラメータ
Ａ，Ｂ，Ｃ，Ｄを求める。

【００４２】

【数２】 の条件で、

【００４３】

【数３】 を満たすパラメータＡ，Ｂ，Ｃ，Ｄを求める。ここで、

【００４４】

【数４】 とすると、パラメータＡ，Ｂ，Ｃ，Ｄは次のように表す
ことができる。

【００４５】

【数５】 このパラメータｐ１からｐ８を求め、上式に代入するこ
とにより、パラメータＡ，Ｂ，Ｃ，Ｄを算出する。

【００４６】次に、ステップＳ１３の画像合成処理につ
いて説明する。パラメータＡ，Ｂ，Ｃ，Ｄは求められた
ので、次式

【００４７】

【数６】 に代入すれば合成画像を得ることができる。図８にこの
画像合成処理を図示する。画像が左、右画像５１，５２
の場合、左画像５１の２倍の大きさを合成画像５３とし
て確保する。ここに、まず左画像５１をそのままコピー
してくる（５１’）。次に、合成画像の残りの領域
（ｘ，ｙ）５４について、上式から、対応する領域
（ｘ’，ｙ’）５５を求める。そして、右画像５２の
（ｘ’，ｙ’）の画素を（ｘ，ｙ）にコピーする（５
２’）。これを合成画像の残りの領域全てに対して行
う。

【００４８】図９は、画像合成処理を示すフローチャー
トである。

【００４９】ステップＳ４１で、第１の画像（図８での
左画像）の２倍の領域を合成画像領域として確保する。
ステップＳ４２で、第１の画像をこの合成画像領域に単
純にコピーする。ステップＳ４３で、合成画像の残りの
領域（ｘ，ｙ）について、上式から、対応する領域
（ｘ’，ｙ’）を求める。ステップＳ４４では、
（ｘ’，ｙ’）が、第２の画像（図８での右画像）内に
ある可動かをチェックし、有ればステップＳ４５で
（ｘ’，ｙ’）の画素を（ｘ，ｙ）にコピーする。

【００５０】以上を合成画像の残りの領域全てに対して
繰り返し、合成処理は終了する。これによって、パノラ
マ画像を得ることができる。

【００５１】次に、図４示したステップＳ５の画像抽出
処理の説明を行う。この画像抽出処理は画像抽出手段２
８において行われる。本システムでは、複数の抽出方法
をユーザに示し、その中から任意の方法を選択すること
により抽出画像が決定される。図１０（ａ）〜（ｄ）
は、２枚の画像を合成してできたパノラマ画像から矩形
領域を抽出する方法を示す図である。

【００５２】パノラマ画像を作成するために２枚の画像
を電子カメラ等で撮影した場合、三脚等を使用しない場
合には、画像間でずれや、傾きが生じやすい。図１０
（ａ）〜（ｄ）に示すパノラマ画像は、２枚の画像６
１，６２が角度θ傾いて、同図に示すようにずれて合成
されたものである。本実施形態の画像抽出手段２８で
は、いくつかの抽出方法を設け、パノラマ画像の元にな
る画像それぞれに合わせて矩形を抽出したり、または傾
きの中間をとって抽出することを自動的に可能としてい
る。

【００５３】まず、同図（ａ）に示す抽出方法１は、水
平となっている画像を基準とするもので、この例では矩
形６３が抽出される。同図（ｂ）に示す抽出方法２は、
合成のために傾けられたもう一方の画像を基準とするも
ので、この例では矩形６４が抽出される。同図（ｃ）に
示す抽出方法３は、２枚の画像間の傾きの半分だけ傾い
た矩形を抽出するもので、この例ではθ／２傾いた矩形
６５が抽出される。なお、抽出方法２及び抽出方法３の
抽出画像６４，６５は、それぞれ−θ，−θ／２だけ回
転されて傾きのない画像データとなる。同図（ｄ）に示
す抽出方法４は、２枚の画像を共に含んでいる矩形を抽
出するもので、この例では矩形６６がこれに当たる。

【００５４】ところで、２枚の画像の重なり方には様々
なパターンが考えられる。また、パノラマ画像内で矩形
領域の抽出方法は様々なものが考えられるが、本システ
ムでは、全ての重なり方について、矩形領域の抽出方法
を予め決めている。図１１は２枚の画像の重なり方と抽
出する矩形の一例を示す図であり、これは、抽出方法１
による場合を表しており、各パノラマ画像７１中の網掛
け部分が抽出領域７２となる。本システムでは、これら
のデータを抽出パターンテーブルとして保持している。
図１２にその抽出パターンテーブルの一部を示す。

【００５５】図１２の行８１は、図１１に示したパノラ
マ画像のケースに相当するものである。これを図１３を
用いて説明する。

【００５６】図１３は、抽出パターンテーブルの説明図
であり、それぞれの矩形の左上の座標と回転角θで矩形
の位置を表している。図１３より２つの矩形の重なり方
がパノラマ画像７１のようになるための条件として条件
９１が求められる。また、抽出領域７２の各頂点の座標
は９２のように求められる。抽出パターンテーブル８０
には、これらのデータがそれぞれ格納される。さらに、
抽出後の領域の各辺がｘ軸もしくはｙ軸に水平でない場
合に抽出画像を回転する必要があるので、そのときの角
度を記述する項目も含んである。

【００５７】このようにして求めた値が全ての重なり方
ごとに格納されている。また、抽出パターンテーブルは
各抽出方法毎に存在するものである。

【００５８】次に上述した抽出パターンテーブルを用い
て画像を抽出する処理を図１４のフローチャートを用い
て説明する。

【００５９】まず、ステップＳ５１において、上述した
抽出パターンテーブルのうち抽出方法に対応したテーブ
ルにおける“条件”の項目を調べることにより、処理す
るパノラマ画像がどのパターンに相当するかを調べる。
次に、ステップＳ５２において、テーブルから対応する
抽出領域のデータを取り出し、それに応じた部分の画像
データをパノラマ画像から抽出する。その後のステップ
Ｓ５３では、テーブルの“回転”の項目を調べ、必要に
応じて抽出画像データを回転させる。

【００６０】以上より、様々な重なり方、また様々な抽
出方法を用いた場合の抽出画像データが得られる。

【００６１】次に、パノラマ画像から抽出する矩形を選
択するための操作画面を図１５に示す。

【００６２】図１５の１００は、図３において、ユーザ
カタログ３４にカメラカタログ３１からパノラマ画像デ
ータがＤｒａｇ＆Ｄｒｏｐされた場合に表示される画面
である。図１５において、１０１はパノラマ合成された
画像１０２が表示されるパノラマ画像表示領域である。
抽象画像サンプル１０３から１０６はパノラマ画像１０
２から上述した様々な抽出方法で矩形領域を抽出した場
合の結果を縮小画像で表示しており、それぞれ抽出方法
１から抽出方法４に相当している。

【００６３】ユーザは表示されている抽出画像サンプル
から任意のものをマウス３でクリックするとその抽出方
法に対応した矩形領域が、パノラマ画像１０２上に抽出
矩形１０７のように表示される。また、選択されている
抽出画像サンプル１０８のように枠で囲まれて表示され
る。所望の抽出方法が見つかるまで抽出画像サンプルを
繰り返し指定して抽出される矩形領域をパノラマ画像表
示領域１０１で確認することができる。所望の抽出方法
が見つかった場合は、ＯＫボタン１０９を指定すること
により、指定されている方法の画像がシステムに登録さ
れる。なお、予めシステムに抽出方法を指定しておくこ
とにより、ここで、説明した抽出画像を選択するステッ
プを省略することもできる。

【００６４】以上の説明においては、パノラマ画像を作
成するための画像が２枚で、それらが横方向につながっ
て合成される場合について述べてきたが、それに限るこ
となく、２枚以上の画像からなるパノラマ画像やあらゆ
る方法につながるパノラマ画像にも適応可能である。ま
た、パノラマ画像から矩形となる画像を抽出する方法は
上記実施形態に示した方法のみではなく様々なものが適
応可能である。

【００６５】

【発明の効果】以上詳述したように、請求項１のパノラ
マ画像合成システムによれば、複数の画像の合成後の画
像内から矩形となる領域に含まれる画像データを自動的
に抽出する矩形領域抽出手段と、前記矩形領域抽出手段
の抽出結果に基づいて前記パノラマ画像を作成するパノ
ラマ画像作成手段とを備えたので、ダミー領域のない良
好な画像を得ることが可能となる。

【００６６】請求項２のパノラマ画像合成システムによ
れば、上記請求項１のパノラマ画像合成システムにおい
て、前記矩形となる領域を、前記複数の画像の合成後の
画像の形状によって予め決めるようにしたので、ダミー
領域のない良好な画像を簡単且つ的確に得ることが可能
となる。

【００６７】請求項３のパノラマ画像合成システムによ
れば、上記請求項１のパノラマ画像合成システムにおい
て、前記矩形領域抽出手段は、複数の矩形パターンによ
り前記画像データを抽出する構成とし、その中から任意
のものを選択してその選択結果を前記パノラマ画像とし
たので、画像の内容によって抽出方法を選択することが
でき、ダミー領域のない良好な画像を簡単且つ的確に得
ることが可能となる。

【００６８】請求項４のパノラマ画像合成方法によれ
ば、領域として一部がオーバーラップしている複数の画
像を合成し、１枚のパノラマ画像を作成するパノラマ画
像合成方法において、前記複数の画像の合成後の画像内
から矩形となる領域に含まれる画像データを自動的に抽
出する矩形領域抽出処理を行い、その矩形領域抽出処理
の抽出結果に基づいて前記パノラマ画像を作成するよう
にしたので、ダミー領域のない良好な画像を得ることが
可能となる。

【図面の簡単な説明】

【図１】本発明の実施の一形態に係るパノラマ画像合成
システムの構成を示すブロック図である。

【図２】本発明のパノラマ画像合成システムが実施され
るプラットフォームであるパーソナルコンピュータシス
テムの構成を示す外観図である。

【図３】カメラ内の画像データをコンピュータ内へコピ
ーする操作を示す図である。

【図４】カメラ内の画像データをコンピュータ内へコピ
ーする際に行う処理を示すフローチャートである。

【図５】パノラマ合成処理のフローチャートである。

【図６】対応点抽出処理のアルゴリズムのフローチャー
トである。

【図７】対応点抽出処理でのテンプレート画像とマッチ
ング範囲を示す図である。

【図８】画像合成処理を示す図である。

【図９】画像合成処理を示すフローチャートである。

【図１０】パノラマ画像から矩形領域を抽出する方法を
示す図である。

【図１１】２枚の画像の重なり方と抽出する矩形の一例
を示す図である。

【図１２】抽出パターンテーブルの一例を示す図であ
る。

【図１３】抽出パターンテーブルの説明図である。

【図１４】画像抽出処理を示す図である。

【図１５】パノラマ画像から抽出する矩形領域を選択す
る操作を示す図である。

【図１６】従来のパノラマ画像合成の一例を示す図であ
る。

【符号の説明】

１ コンピュータシステム本体 ２ ディスプレイ ３ マウス ４ マウスボタン ５ キーボード ６ 汎用インターフェース ７ 電子カメラ １１ ハードウェア １２ ＯＳ １３ アプリケーションソフトウェア １４ ハードディスク １５ ファイルシステム １６ ディスクＩＯインターフェース １７ 描画管理システム １８ ビデオインターフェース １９ 入力デバイス管理システム ２０ キーボードインターフェース ２１ マウスインターフェース ２２ 双方向インターフェース／ＳＣＳＩインターフェ
ース ２３ 画像データ管理システム ２４ データ管理手段 ２５ データ表示手段 ２６ パノラマ画像作成システム ２７ パノラマ合成手段 ２８ 画像抽出手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 矢野 光太郎 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 片山 達嗣 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 領域として一部がオーバーラップしてい
   る複数の画像を合成して１枚のパノラマ画像を作成する
   パノラマ画像合成システムにおいて、 前記複数の画像の合成後の画像内から矩形となる領域に
   含まれる画像データを自動的に抽出する矩形領域抽出手
   段と、 前記矩形領域抽出手段の抽出結果に基づいて前記パノラ
   マ画像を作成するパノラマ画像作成手段とを備えたこと
   を特徴とするパノラマ画像合成システム。
2. 【請求項２】 前記矩形となる領域は、前記複数の画像
   の合成後の画像の形状によって予め決められていること
   を特徴とする請求項１記載のパノラマ画像合成システ
   ム。
3. 【請求項３】 前記矩形領域抽出手段は、複数の矩形パ
   ターンにより前記画像データを抽出する構成とし、その
   中から任意のものを選択してその選択結果を前記パノラ
   マ画像としたことを特徴とする請求項１記載のパノラマ
   画像合成システム。
4. 【請求項４】 領域として一部がオーバーラップしてい
   る複数の画像を合成し、１枚のパノラマ画像を作成する
   パノラマ画像合成方法において、 前記複数の画像の合成後の画像内から矩形となる領域に
   含まれる画像データを自動的に抽出する矩形領域抽出処
   理を行い、 その矩形領域抽出処理の抽出結果に基づいて前記パノラ
   マ画像を作成することを特徴とするパノラマ画像合成方
   法。