JPH09322059A

JPH09322059A - 画像合成装置及び撮像装置

Info

Publication number: JPH09322059A
Application number: JP13363996A
Authority: JP
Inventors: Hideo Takiguchi; 英夫滝口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-05-28
Filing date: 1996-05-28
Publication date: 1997-12-12
Anticipated expiration: 2016-05-28
Also published as: JP3832894B2

Abstract

(57)【要約】【課題】オーバーラップ部分を有する複数枚の画像を
簡単にパノラマ合成して１枚の画像を作成する。【解決手段】電子カメラ３０７で被写体を一部オーバ
ーラップしながら複数に分割しそれぞれ撮像して複数枚
の画像を得る。画像が２枚のときは自動的にオーバーラ
ップ部分が検出されて２枚の画像がつなぎ合わされる。
画像が３枚以上のときは、各画像がディスプレイ２で表
示され、ユーザがこれを見て各画像を適切に配置した
後、オーバーラップ部分が検出されて各画像が合成され
る。オーバーラップ部分が充分に得られない場合は、各
画像が表示され、ユーザがだいたいのオーバラップ部分
を配置した後、画像が合成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の一部がオー
バーラップしている複数の画像をコンピュータ上で合成
を行うパノラマ合成システム等に用いて好適な画像合成
装置及び上記複数の画像を得るための撮像装置に関す
る。

【０００２】

【従来の技術】画像の一部の辺がオーバーラップしてい
る複数の画像をコンピュータ上で合成する処理を一般的
にパノラマ合成と呼ぶ。これはワイドな被写体を撮影し
て一枚の画像にしたい、という要求からの処理といえ
る。また、電子カメラにおいては、銀塩カメラやスキャ
ナと比較した短所として、解像度の低さ（画素数の少な
さ）が指摘されている。この電子カメラで撮影された画
像にとってのパノラマ画像合成は、ワイドな画像を撮る
ということだけでなく、高解像度な画像を撮る手段とし
ても重要である。具体的には、一枚の紙の原稿や雑誌等
を複数に分けて撮影し、スキャナ並みの高解像度データ
を取得したり、また風景を複数に分割してワイドで高解
像度に撮影したりする場合に威力を発揮する。

【０００３】パノラマ合成において、最も重要でかつ難
しいのは、複数の画像のオーバーラップ位置を見つける
処理である。これは言い換えると、２つの画像の中から
同じ点（以降、対応点と呼ぶ）を探しだす処理である
（以降、対応点抽出処理と呼ぶ）。対応点抽出処理の難
しさ（エラーレート）は各々の画像によって異なる。オ
ーバーラップしている領域内に、他の箇所にはないユニ
ークな特徴形状が多数あるときは、対応点を間違えない
で探すことができる。しかしオーバーラップ内の他の箇
所にも、似たようなパターンが存在する場合は（例えば
原稿中の文字等）、対応点を間違える場合が発生する。

【０００４】そこで従来は、ユーザに対応する点を明示
的に指定してもらい、その位置をもとに微調整をして合
成を行うというのが一般的である。図２１に従来例を示
す。まずユーザが合成したい複数の画像を指定すると、
図２１のようなウインドウが開く。２枚の画像での対応
するポイントをユーザが指定し、マーク２１ａ、２１
ｂ、２２ａ、２２ｂをつける。処理としては、各々のマ
ークの中心からごく近傍のパターンを調べて、両者が最
も合致する位置関係を求め対応点とする。そしてこの対
応点に基づいて合成のためのパラメータを求め，合成処
理を行う。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来例においては、以下のような問題点がある。まず、ユ
ーザが合成したい画像のセットを指示しなければならな
い。コンピュータ上で管理している画像の全枚数がそれ
ほど多くないときは問題にはならないが、数千枚以上も
の多くの画像を管理している場合は、見落とし等が発生
する。また、ユーザが対応点のポイントをほぼ正確に指
定しなければならず、これも作業の回数が増えるにつれ
てユーザの負担となる。

【０００６】本発明は上記のような実情に鑑みて成され
たもので、もっと簡単にパノラマ画像合成を行うことの
できる画像合成装置を得ることを目的としている。

【０００７】

【課題を解決するための手段】請求項１の発明による画
像合成装置においては、入力される所定の複数枚の画像
のオーバーラップ部分を検出する検出手段と、上記検出
されたオーバーラップ部分に基づいて上記所定の複数枚
数の画像をつなぎ合わせて１枚の画像を作成する合成処
理手段とを設けている。

【０００８】請求項９の発明による撮像装置において
は、被写体を複数に分割し、各分割部分でオーバーラッ
プ部分を持つようにしてそれぞれ撮像し、複数枚の画像
を得るとき、上記複数枚の画像の各々に識別情報を挿入
して出力する挿入手段を設けている。

【０００９】

【作用】請求項１の発明による画像合成装置によれば、
入力される複数枚の画像が所定枚数のときは、オーバー
ラップ部分が自動的に検出され、このオーバーラップ部
分を用いて各画像の配置を定めて合成処理手段が各画像
をつなぎ合わせて１枚の画像を作成する。

【００１０】請求項９の発明による撮像装置によれば、
パノラマ合成を行うためにオーバーラップ部分を持つよ
うにして複数枚の画像を撮像する際に、各画像に識別情
報を挿入して出力するので、各画像を合成して１枚の画
像を作成する場合に上記識別情報に基づいて合成すべき
複数枚の画像であることを識別することができる。

【００１１】

【発明の実施の形態】本実施の形態は、以下の手順によ
り簡単で便利なパノラマ画像合成を行うものである。（１）まず、電子カメラで画像を撮影する際に、ユーザ
は“パノラマ画像撮影モード”にカメラをセットしてか
ら撮影を行う。このモードにより、撮影された画像の属
性情報中に、１セットのパノラマ画像を示す識別子が自
動的に記録される。（２）そして、このカメラをコンピュータに接続して、
カメラ内のメモリ中にある画像＋属性情報をコンピュー
タのＨＤにコピーする際に、アプリケーションソフトウ
ェアを介してこの属性情報をチェックする。属性情報中
にパノラマ画像撮影モードでの識別子が存在するものか
ら自動的に１セットの画像を抽出する。

【００１２】次にパノラマ画像合成処理に入る。画像合
成においては、画像が２枚のときのみ完全自動で行う後
述するフルオート合成を行う。３枚以上のときは、画像
の上下左右の相対位置だけをユーザに指定してもらう後
述するオート合成を行う。またこれらのフルオート合
成、オート合成のチェック段階で対応点が十分求められ
なかったとき、またはユーザが対応点の検出に要する時
間を省いてより短い時間で合成処理を行いたいときは、
ユーザがだいたいのオーバーラップ位置を指定する後述
するセミオート合成を行う。

【００１３】（３）「フルオート合成」：上記（２）で
パノラマ画像の１セットを抽出して、それが２枚だった
ときはフルオート合成処理に入る。２枚の合成位置とし
ては、図３（ａ）〜（ｄ）に示すように上下左右の４通
りが考えられる。そこでこの４つの場合の対応点を求め
る処理を行い、所定のレベル以上一致している対応点が
最も多く求まったところを、正しい合成位置として合成
する。このとき、４つのいずれの場合も、所定レベル以
上一致している対応点の数が所定の量以下のときは、確
実性が低いといえる。このときはフルオート合成処理を
打ち切り、セミオート合成処理に移行する。このモード
でのユーザの操作としては、画像をカメラからコンピュ
ータ中へコピーする操作だけで、あとは自動でやってく
れることになる。特殊な用途以外は通常は２枚合成がほ
とんどと考えられるので、この合成処理が行われる場合
が最も多い。

【００１４】（４）「オート合成」：上記（２）でパノ
ラマ画像の１セットを抽出して、それが３枚以上だった
ときこのオート合成処理に入る。このオート合成では１
セットの画像をウインドウに表示する。図４は４枚の画
像を表示する場合を示す。ユーザはこれらの画像をｄｒ
ａｇして配置を色々考え、上下、左右の位置関係のみを
指示する。これに基づいて対応点抽出処理を行う。この
結果、所定のレベル以上一致している対応点の数が所定
の量以上のときは、正しい合成位置として合成する。そ
うでなければ確実性が低いので、オート合成処理を打ち
切り、セミオート合成処理に移行する。

【００１５】（５）「セミオート合成」：上記（３）
（４）で対応点抽出の確実性が低かったとき、または対
応点抽出に要する時間を節約してより早い合成結果を得
たい場合は、このセミオート処理を行う。ユーザはこれ
らの画像をｄｒａｇして、図５に示すようにオーバーラ
ップのだいたいの位置を指定する。この位置情報に基づ
いてオート処理でのときよりずっと狭い範囲で対応点抽
出処理を行う。この結果最も一致する位置を求め、合成
処理を行う。

【００１６】上記（４）（５）の場合、ユーザは対応点
抽出のための操作を行うが、どちらも画像をｄｒａｇす
るだけの操作であり、これは最も単純でかつ共通の操作
であるので、ユーザの負担は小さい。また、（５）のセ
ミオート合成のとき、画像をｄｒａｇしてだいたいの位
置に合わせるだけなので、従来例のポイントを明示的に
指定する操作よりもずっと簡単で楽である。

【００１７】図２は本発明が実施されうるプラットフォ
ームであるパーソナルコンピュータシステムの構成例を
示している。図２において、３０１はコンピュータシス
テム本体、３０２はデータを表示するディスプレイ、３
０３は代表的なポインティングデバイスであるマウス、
３０４はマウスボタン、３０５はキーボードである。３
０７はコンピュータに接続可能な電子カメラであり、こ
れは３０６で示す双方向パラレルインターフェースやＳ
ＣＳＩインターフェース等の、高速で画像転送可能な汎
用インターフェースによって接続されている。

【００１８】図１はソフトウェアとハードウェアとを含
むパノラマ画像合成システムの構成を示す図である。図
１において、５０９はハードウェアであり、ＣＰＵ５１
８を有している。５０５はハードウェア５０９の上で動
作するオペレーディングシステム（ＯＳ）であり、５０
４はＯＳ５０５の上で動作するアプリケーションソフト
ウェアである。なお、ハードウェア５０９とＯＳ５０５
を構成するブロックのうち、構成要素として当然含まれ
るが本発明の実施の形態を説明する上で直接必要としな
いブロックに関しては図示していない。そのような図示
していないブロックの例としてハードウェアとしてはメ
モリ、ＯＳとしてはメモリ管理システム等がある。

【００１９】図１において５１５はファイルやデータを
物理的に格納するハードディスク、５０８はＯＳ５０５
を構成するファイルシステムであり、アプリケーション
ソフトウェア５０４がハードウェア５０９を意識せずに
ファイルの入出力が行えるようにする機能がある。５１
４はファイルシステム５０８がハードディスク５１５の
読み書きを行うためのディスクＩＯインターフェースで
ある。５０７はＯＳ５０５を構成する描画管理システム
であり、アプリケーションソフトウェア５０４がハード
ウェア５０９を意識せずに描画が行えるようにする機能
がある。

【００２０】５１３は描画管理システム５０７がディス
プレー３０２に描画を行うためのビデオインターフェー
スである。５０６はＯＳ５０５を構成する入力デバイス
管理システムであり、アプリケーションソフトウェア５
０４がハードウェア５０９を意識せずユーザの入力を受
け取ることができるようにする機能がある。５１０は入
力デバイス管理システム５０６がキーボード３０５の入
力を受け取るためのキーボードインターフェース、５１
２は入力デバイス管理システム５０６がマウス３０３か
らの入力を受け取ることができるようにするためのマウ
スインターフェースである。

【００２１】さらに、電子カメラ３０７は、双方向イン
ターフェースもしくはＳＣＳＩインターフェース等５１
６に接続され、入力デバイス管理システム５０６を通し
て、画像データ等のやりとりを行うことができる。５０
１は画像データ管理システムであり、５０２は画像デー
タを属性情報もしくはユーザの入力によるキーワード等
で管理するためのデータ管理部である。５０３は管理さ
れている画像データを、その属性情報もしくはユーザの
入力によるキーワード等で検索し表示するデータ表示部
である。５１７はパノラマ画像合成システムであり、画
像データ管理システム５０１からパノラマ撮影モードで
撮影した画像を受け取り、パノラマ画像合成処理を行
う。そして合成した結果の画像を画像データ管理システ
ム５０１へ登録する。

【００２２】図６はカメラ内の内蔵メモリに格納される
画像データおよび属性情報のデータ構造を示す。まずメ
モリ内には画像管理テーブル８１が置かれ、対応する画
像データ８２と属性情報８３とが参照される。画像デー
タ８２は、カメラ独自のフォーマットデータ（ネィティ
ブデータ）か、ＪＰＥＧ等の汎用フォーマットデータの
いずれかで格納されている。ネィティブデータは、例え
ば、ＣＣＤから出力を単にＡ／Ｄして得られたデータ等
である。一般的にネィティブデータは記録に要する時間
が短いが、データサイズが大きく、ＪＰＥＧデータは、
記録に要する時間はかかるが、データサイズを小さくで
きるという点が異なる。ユーザは撮影状況に応じてこれ
らのどちらかを選択して格納することになる。

【００２３】属性情報８３の中には、ファイル名８４、
フィルタタイプ８５、撮影日時８６、撮影モード８７が
記録されている。ファイル名８４は、カメラが自動的に
付けるユニークなファイル名である。フィルタタイプ８
５は、ネィティブデータフォーマットなのかＪＰＥＧフ
ォーマットなのか、あるいはカメラがサポートする他の
汎用フォーマットなのかを示す。撮影日時８６は、カメ
ラは内部にカレンダーとタイマとを持っており、カメラ
のシャッターボタンを押された時点の日時と時間が記録
される。撮影モード８７は、カメラの有する数種類の撮
影モードのうち撮影時に選択されているモードを示す。
これが“パノラマ撮影モード”の場合は、さらに識別子
８８が付加される。この識別子はパノラマ撮影モードに
セットしたときにセットされるユニークな番号であるモ
ードＩＤ８９とそのモードでの何枚目かを示すデータ９
０とが格納される。従ってパノラマ撮影モードにおいて
同じモードＩＤ８９を持つ複数の画像が１セットである
ということになる。この図６の例では、風景を左右２枚
の画像として撮影しているので、８９ａと８９ｂとは同
じモードＩＤである。以上のようにしてカメラ内に画像
データ８２および属性情報８３が格納される。

【００２４】図７はカメラ内のデータをパーソナルコン
ピュータへコピーするときの画面を示す。図１のカメラ
３０７を汎用インターフェース３０６を介してコンピュ
ータに接続し、画像データ管理システム５０２を起動す
る。画像データ管理システム５０２は、カメラ内のデー
タを図７のカメラカタログ９１と名前の付けられたウイ
ンドウに表示する。ここで９４は画像データの縮小画像
（サムネール画像）、９５は属性情報中のファイル名、
フィルタタイプ等である。属性情報のうちどこまで表示
するかはユーザ指定で変更できる。９２はパーソナルコ
ンピュータのハードディスク中に存在するユーザの画像
データベースの一部を表示しているユーザカタログであ
る。

【００２５】ユーザはカメラカタログ９１中から画像を
選択して（９３は選択されたことを表示する枠）ユーザ
カタログ９２にＤｒａｇ＆Ｄｒｏｐの操作を行うとコピ
ーが行われる。このとき、コピーなのか（カメラ内にデ
ータは残る）、移動なのか（カメラ内のデータは消去さ
れる）はユーザの指定でどちらにでも切り替えられる。
このコピー操作の最中に、・ネィティブデータを所定の汎用フォーマットに変換す
る。・パノラマ撮影モードで撮影された画像があれば、それ
らの合成を行う。

【００２６】以上の操作を自動的にその必要性を検知し
て実行する。図８にその際のユーザカタログ９１上での
データ構造を示し、図９にフローチャートを示す。まず
図８の説明をする。まず画像データ管理システム５０８
では、内部に格納している画像データについて固有のＩ
Ｄ番号を付けて管理している。それがデータ管理テーブ
ル１１０８である。これは、データＩＤ１１０９と、そ
れにリンクされている画像データ、属性情報との対応が
とられる。このデータＩＤが管理の基本となる。画像デ
ータ管理システム５０２では、ユーザが任意の個数だけ
ユーザカタログ９２を持つことができる。この一個のカ
タログごとに、カタログテーブル１１００を持つ。また
カタログ内の画像データをユーザが複数の画像をひとつ
のグループとしてカテゴリー分けをする機能を有する。
これによりひとつのカタログ内を階層化してデータを管
理できる。

【００２７】カタログテーブル１１００内には、このカ
タログに属する画像のデータＩＤ１１０１と、属するグ
ループのグループＩＤ１１０２が保持される。そしてグ
ループＩＤ１１０２はグループテーブル１１０３とリン
クする。グループ属性テーブル１１０４は基本的にカタ
ログテーブルと同じであり、このグループに属する画像
のデータＩＤ、またはこのグループに属するグループＩ
Ｄを持つ。違いは頭にグループ属性データ１１０４を持
つところが異なる。これにはグループ名１１０６、作成
日時１１０７、グループタイプ１１１０が格納される。
グループ名１１０６はユーザが付けた任意の名前がつ
く。パノラマ画像のセットとしてグループが作られたと
きは、このグループ名はデフォルトで“パノラマ画像”
と付けられる。

【００２８】作成日時は、このグループが作成されたと
きの日時が格納されている。グループタイプ１１１０
は、ユーザが作成した場合は“ユーザ作成”、パノラマ
画像のセットとしてグループが作られたときは、“パノ
ラマ画像”と入っている。パノラマ画像のときは、さら
に識別子とリンクしモードＩＤ８９ａが納められる。そ
して実際の画像データ、属性情報は図６の場合と同じ構
造で格納され、これらはデータ管理テーブル１１０８か
ら参照される。

【００２９】次に図９の説明を行う。ステップ１０００
で全てのコピーする画像データの処理が終了しない間に
おいて、ステップ１００１で、コピー操作の中でまず一
個の画像データとそれに付随した属性情報とを取得す
る。ステップ１００２で、属性情報内のフィルタタイプ
８５から、この画像データがネィティブデータかどうか
を判断する。そうであればステップ１００３でデフォル
トとして決まっている汎用フォーマット（ＪＰＥＧやＴ
ＩＦＦ等）にネィティブデータを変換する。変換が終わ
ったらフィルタタイプ８５も更新する。次にステップ１
００４で、撮影モード８７を調べてパノラマ撮影モード
で撮影された画であるかをチェックする。パノラマ画像
でない場合は、ステップ１００８で通常の画像データと
して登録する。具体的には図８でのデータ管理テーブル
１１０８に固有のデータＩＤを付けて登録し、そのデー
タＩＤをカタログテーブル１１００に登録する。

【００３０】パノラマ画像であるときは、このパノラマ
画像用のグループがすでに作成済みかどうかをチェック
する。これは図８のカタログテーブル１１００をたどっ
ていって、グループＩＤのモードＩＤ８９ａが、画像の
モードＩＤ８９ａと同じかどうかを見ることによって行
われる。対応するグループがないときはグループを作成
する。これはカタログテーブル１１００に新たにグルー
プＩＤ１１０２を登録し、グループ名１１０６、作成日
時１１０７、グループタイプ１１１０を作成する。グル
ープタイプ１１１０には“パノラマ撮影”と記録され、
画像の属性情報中のモードＩＤ８９ａが納められる。そ
してステップ１００７で、このパノラマ画像データに固
有のデータＩＤを付けて管理テーブル１１０８に登録
し、そのデータＩＤ１１０５を登録する。

【００３１】以上の一連の処理をコピーする画像全てに
対して行う。全ての画像に対して処理が終わったなら
ば、ステップ１００９に移る。ステップ１００９では、
今までコピーしたものの中でパノラマ画像のグループが
作られたかをチェックし、そうであればグループ内の画
像を用いてステップ１０１０で後述するパノラマ画像合
成処理を行う。そうでなければ処理を終了する。

【００３２】図１０に上記ステップ１０１０のパノラマ
画像合成処理のフローチャートを示す。まずステップ１
２００でグループ内の画像が２枚か２枚より多いかをチ
ェックする。２枚のときはステップ１２０２で後述する
フルオート処理に入る。２枚より多いときはステップ１
２０１で後述するオート合成処理に入る。このステップ
１２０１、１２０２の処理は、ステップ１２０３、１２
０４でその結果が成功か失敗かをチェックする。この成
功か失敗かの判断は、画像同士の対応するポイントを十
分見つけられたかどうかで判断する。従って、合成処理
全体の中では早い段階で判断を下すので、結果が失敗で
もユーザがその結果を得るまで待つ時間は短くて済む。
そして成功であれば処理は終了で、失敗であれば、ステ
ップ１２０５で後述するセミオート処理を行う。

【００３３】図１１にオート合成処理のユーザインター
フェースを示す。まず画面上に上記ステップ１００９に
おけるパノラマ画像のグループに属する画像全てがウイ
ンドウに入る大きさにリサイズされて表示される。これ
をユーザが見て正しい順番にＤｒａｇして並べ替える。
この図１１の例では、３枚の画像が表示され、同図
（ａ）の下に位置している画像が本当は一番右になるの
で、右側にＤｒａｇすると、その位置から横に３つ並ぶ
同図（ｂ）のようなパノラマであることを検知する。そ
してウインドウに入りきるように再度リサイズされて表
示される。

【００３４】図１２にオート合成処理のフローチャート
を示す。まずステップ１３０１で、ユーザが並べ替えた
位置関係の情報を取得する。ステップ１３０２で一致す
る対応点を見つけるのにサーチする範囲を設定する。こ
れを図１３で説明する。パノラマ画像として撮影すると
きのルールとして、最小１０％、最大５０％オーバーラ
ップさせることと、それに直交する上下方向のずれをそ
れぞれ５％以下と決めると、必ずオーバーラップする範
囲は図１３（ａ）の１５０４で示す範囲となる。またオ
ーバーラップしている可能性のある範囲は図５（ｂ）の
１５０５で示す範囲となる。上記範囲１５０４の中にあ
るポイント１５０３は上記のルールに従うと、上記範囲
１５０５のサーチ範囲中の１５０６の中に対応する点が
あることになる。後述する対応点抽出処理では、このサ
ーチ範囲１５０６に対してマッチングするかどうかを見
ていくことになる。

【００３５】再び図１２のフローチャートに戻ると、ス
テップ１３０２では、以上のサーチ範囲１５０６設定に
用いるパラメータをセットする。ステップ１３０３で
は、対応点を抽出する処理を行う。この詳細については
後述する。ステップ１３０４では、求まった対応点の数
が所定値以上かどうかを判断し、所定値以下のときは十
分対応点を自動で見つけることができなかったので、セ
ミオート処理へ進む。所定値より多かったときは、ステ
ップ１３０５の合成パラメータ処理へ進む。ここでは合
成の際に用いる移動、拡大（縮小）、回転のパラメータ
を先の対応点の座標から求める。その詳細は後述する。
ステップ１３０６ではこれらパラメータをもとに画像を
合成する。その詳細も後述する。

【００３６】図１４にフルオート処理のフローチャート
を示す。まず、ステップ１６０１でマッチング範囲設定
を行うが、これは上記ステップ１３０２と処理は同一で
ある。次に４回対応点抽出処理を行う。フルオートの場
合、枚数は２枚に限定しているので、考えられる位置関
係は画像１と画像２が上下、下上、左右、右左の４通り
である。そこでこの４つの場合について対応点抽出処理
をして、それぞれ対応点として抽出できた数、これらの
平均一致レベルを保持する。これらの処理が、ステップ
１６０２から１６０９までの処理である。そしてステッ
プ１６１０で上記４つの場合について所定値以上の対応
点を抽出できたものがあるかをチェックする。もし一つ
もなければセミオート処理へ進む。

【００３７】所定以上の所定値があれば、ステップ１６
１１でその中で平均一致レベルの最もよいものを真の位
置関係であるとする。通常の画像では、対応点が所定値
以上の場合は４つのうちの一つだけになるはずだが、例
えば原稿等を分割して撮った場合似たような字が並んで
いて、正しくない位置関係のときでも所定値以上を対応
点として抽出してしまう場合があり得る。そこでこのス
テップ１６１１では最もフィットしているもの（平均一
致レベルが最も高いもの）を選択するようにする。ステ
ップ１６１２の合成パラメータ処理、ステップ１６１３
の画像合成処理は上記ステップ１３０５、１３０６と同
一処理である。

【００３８】図１５にセミーオート処理でのユーザイン
ターフェースを示す。まず画面上に前記ステップ１００
９でのパノラマ画像のグループに属する画像全てがウイ
ンドウに入る大きさにリサイズされて表示される。これ
をユーザが見てだいたいのオーバーラップ位置を合わせ
て重ね合わせる。重ね合うところは、画素単位でビット
ごとにＡＮＤ演算をして表示する。従って重なった部分
は両方の画像が透けて見える。そしてウィンドウに入り
きるように再度リサイズされて表示される。

【００３９】以上の操作は、基本的にオート処理で操作
と同一であり、ユーザの負担は少ない。違いはマウス等
のポインティングデバイスで画像をＤｒａｇして離した
位置を、位置関係の情報だけを使って並べ替えて表示す
る（オート処理）ことと位置の情報をそのまま使ってオ
ーパーラップして表示する（セミオート処理）ことだけ
である。またＤｒａｇ中にも先のＡＮＤ演算で透けて見
えるため、だいたいの位置を容易に合わすことができ
る。

【００４０】図１６にセミオート処理でのフローチャー
トを示す。ここでの処理はオート処理のときとほとんど
同一である。ステップ１７０１で、画像のユーザが合わ
せたオーバーラップ位置情報を取得する。ステップ１７
０２でマッチング範囲を設定するが、ここでの範囲は、
所定の範囲（想定されるユーザの合わせた位置の誤差範
囲＋マージン）となる。従って、オート処理の時の範囲
よりはずっと狭い範囲となり、計算時間の短縮と精度の
向上が図られる。ステップ１７０３、１７０４、１７０
５の対応点抽出処理、合成パラメータ設定処理、画像合
成処理は、いずれもオート処理のときと同一である。

【００４１】図１７に対応点抽出処理フローチャート、
図１８にそれを図示したものを示す。図１８は、左と右
の画像２枚の例を示す。画像の枚数が２枚より大きいと
きは、２枚の合成を何回か繰り返せばよいので処理とし
ては基本的に同じである。まず、撮影時のルールにのっ
とり、テンプレートを設定する範囲２００５は、縦９０
％横１０％の範囲に設定する。また、サーチする範囲
は、対応する点が存在する可能性の範囲ということで、
縦１００％、横５０％の範囲２００６に設定される。画
像中の範囲２００５からエッジが所定値以上強い点を探
し、そこを中心として縦、横ｎ画素の矩形をテンプレー
ト画像として切り出す。このテンプレート画像２００３
をサーチ範囲２００４範囲上に置いて画素単位でその差
分をとる。この合計が最小となるところをサーチ範囲２
００４上を１画素ずらして求める。サーチ範囲２００４
上を全てサーチした結果の最小値が、所定値以下であれ
ば、そのそのポイント同士（ｘ，ｙ）と（ｘ′，ｙ′）
を対応点のペアとして保持する。

【００４２】以上が処理の概要となるが、これを図１７
のフローチャートに沿ってもう一度説明する。まずステ
ップ１９０１でエッジ抽出画像を作成する。そしてステ
ップ１９０２で、このエッジ抽出画像の中のテンプレー
トを設定する範囲２００５からエッジが所定値以上強い
ポイントを探す。そしてそのポイントがあれば、ステッ
プ１９０３でそのポイントから縦横±ｎ画素ずつの矩形
で画像を切り出しテンプレート画像とする。そのポイン
トの位置からステップ１９０４で右画像中のサーチ範囲
を設定する。そしてステップ１９０５でサーチ範囲中の
画像とテンプレート画像とを重ね合わせ、画素単位で画
素値の差の絶対値をとりその合計を求める。その差分の
合計値が、それまでの最小値かどうかをステップ１９０
６でチェックし、そうであれば、ステップ１９０７で、
そのサーチ範囲中のポイントの座標とその最小値とを保
持する。

【００４３】以上をサーチ範囲全てにおいて繰り返し、
最も一致する（最小の差分を持つ）点を見けだす。ステ
ップ１９０８でサーチ範囲全てにおいて行ったかチェッ
クし、ステップ１９０９で、その結果求められた最小値
が十分小さな値であるか（確かな対応点か）を、所定値
Ｌと比較して判断する。所定値Ｌより小さかった場合
は、ステップ１９１０で、対応点のリストにテンプレー
ト画像を切り出したポイントの座標（ｘ，ｙ）と、最小
値が求められたポイントの座標（ｘ′，ｙ′）と、その
最小値の値とを登録する。以上をステップ１９１１でテ
ンプレート設定範囲全部に対して行い、終了したら対応
点のリスト中の全ての最小値からその平均値を求め、こ
れをステップ１９１２で一致レベル値として保持する。
以上で対応点抽出処理を終了する。

【００４４】次に、合成パラメータ設定処理について説
明する。画像を２枚としたときに（２枚以上の合成の場
合も２枚の合成の繰り返しなので、まずは２枚で考えて
よい）、そのずれは、ｘ、ｙ方向の並進、回転、および
拡大率の差で表すことができる。よって対応する点
（ｘ，ｙ）、（ｘ′，ｙ′）は以下のように表せる。

【００４５】

【数１】

【００４６】ここで、θは回転角、Δｘおよびｙは並
進、ｍは倍率を示す。従ってパラメータＡ、Ｂ、Ｃ、Ｄ
を求めることによりこの座標変換を表すことができる。
先の対応点抽出処理では、対応点（ｘ，ｙ）、（ｘ′，
ｙ′）の複数の組を取得した。これを最小自乗法を用い
てパラメータＡ、Ｂ、Ｃ、Ｄを求める。

【００４７】

【数２】

【００４８】の条件で、

【００４９】

【数３】

【００５０】を満たすパラメータＡ、Ｂ、Ｃ、Ｄを求め
る。ここで、

【００５１】

【数４】

【００５２】とすると、パラメータＡ、Ｂ、Ｃ、Ｄは次
のように表すことができる。

【００５３】

【数５】

【００５４】このパラメータｐ₁からｐ₈を求め、上式
に代入することにより、パラメータＡ、Ｂ、Ｃ、Ｄを算
出する。

【００５５】最後に、画像合成処理について説明する。
すでに、パラメータＡ、Ｂ、Ｃ、Ｄは求められているの
で、次の式ｘ′＝Ａｘ＋Ｂｙ＋Ｃｙ′＝−Ｂｘ＋Ａｙ＋Ｄに代入すればよい。

【００５６】図１９にこれを図示したものを示す。画像
が左、右画像の場合、左画像の２倍の大きさを合成画像
２１０３として確保する。ここに、まず左画像をそのま
まコピーしてくる。次に合成画像の残りの領域（ｘ，
ｙ）について、上式から対応する（ｘ′，ｙ′）を求め
る。そして右画像の（ｘ′，ｙ′）の画素を（ｘ，ｙ）
にコピーする。これを合成画像の残りの領域全てに対し
て行う。

【００５７】図２０に同様の内容をフローチャートに示
す。ステップＳ２２０１で、第１の画像（２０での左画
像）の２倍の領域を合成画像領域として確保する。ステ
ップＳ２２０２で、第１の画像をこの合成画像領域に単
純にコピーする。ステップＳ２２０３で、合成画像の残
りの領域（ｘ，ｙ）について、上式から対応する
（ｘ′，ｙ′）を求める。ステップ２２０４で、
（ｘ′，ｙ′）は第２の画像（図１９での右画像）内に
あるかどうかをチェックし、あればステップＳ２２０５
で（ｘ′，ｙ′）の画素を（ｘ，ｙ）にコピーする。以
上を合成画像の残りの領域全てに対して繰り返し、処理
は終了する。以上によって、最終的なパノラマ合成画像
を作成することができる。

【００５８】本実施の形態によれば、まず、自動的にパ
ノラマ画像として合成する画像のセットを抽出してくれ
る。これによりユーザが合成したい画像のセットを指示
する必要がない。また、合成する画像のセットが２枚の
ときはフルオートで、２枚より多いときもユーザは位置
関係を指示するだけ（オート）で合成処理を行うことが
でき、ユーザの負担は非常に軽いものとなっている。さ
らにフルオート、オートのときに十分な対応点を検出で
きなかったときには、セミオート処理に切り替え、この
場合もユーザは画像をドラッグして重ね合わせた簡単な
位置を指定するだけである。このセミオート処理に切り
替わる場合は少ないし、またそうなっても非常に簡単な
操作で行えるので、これもユーザの負担は軽いと言え
る。

【００５９】

【発明の効果】以上のように請求項１の発明による画像
合成装置によれば、所定枚数の画像を用いて、実施の形
態で前述したフルオート合成処理を行うことができる。
請求項２の発明によれば、２枚の画像のときフルオート
処理を行うことにより、容易に処理を行うことができ
る。

【００６０】請求項３の発明によれば、画像枚数が所定
枚数より多いとき、ユーザ等が第１の指定手段を操作す
ることにより、前述したオート処理を行うことができ
る。請求項４の発明によれば、第２の指定手段をユーザ
等が操作することにより、前述したセミオート処理を行
うことができる。

【００６１】請求項５の発明によれば、オーバーラップ
部分が少いときは自動的に、又はユーザの指示によりオ
ート処理を行うことができる。請求項６の発明によれ
ば、オーバーラップ部分が少いときは自動的に、又はユ
ーザの指示によりセミオート処理を行うことができる。

【００６２】請求項７、８の発明によれば、表示画像上
でユーザが各画像をドラッグして所望の合成画像に配置
した上で、オート処理やセミオート処理を行うことがで
きる。

【００６３】請求項９の発明による撮像装置によれば、
画像合成すべき１セットのオーバーラップを持った複数
枚の画像を識別情報に基づいて容易に識別することがで
きる。

【図面の簡単な説明】

【図１】本発明の実施の形態を示すブロック図である。

【図２】機器の構成例を示す構成図である。

【図３】フルオート処理のときに想定される２枚の画像
の組み合わせを示す構成図である。

【図４】オート処理における相対的位置を指示するユー
ザインターフェースを示す構成図である。

【図５】セミオート処理におけるだいだいのオーバーラ
ップ位置を指示するユーザインターフェースを示す構成
図である。

【図６】カラメ内に記録された画像データの構成図であ
る。

【図７】カメラ内の画像データをコンピュータ内へコピ
ーする操作を示す構成図である。

【図８】コンピュータ内で管理するデータの構成図であ
る。

【図９】カメラ内の画像データをコンピュータ内へコピ
ーする際に行う処理のフローチャートである。

【図１０】パノラマ合成のフルオート、オート、セミオ
ートの流れを示すフローチャートである。

【図１１】オート処理のユーザインターフェースを示す
構成図である。

【図１２】オート処理のフローチャートである。

【図１３】合成時のマッチングが範囲を示す構成図であ
る。

【図１４】フルオート処理のフローチャートである。

【図１５】セミオート処理のユーザインターフェースを
示す構成図である。

【図１６】セミオート処理のフローチャートである。

【図１７】対応点抽出処理のフローチャートである。

【図１８】対応点抽出装置でのテンプレート画像とマッ
チング範囲を示す構成図である。

【図１９】合成処理を示す構成図である。

【図２０】合成処理のフローチャートである。

【図２１】従来の対応点指示を示す構成図である。

【符号の説明】

３０１コンピュータシステム本体３０２ディスプレイ３０３マウス３０５キーボード３０７電子カメラ５０４アプリケーションソフトウェア５０５オペレーティングシステム５１８ＣＵＰ

Claims

【特許請求の範囲】

【請求項１】入力される所定の複数枚の画像のオーバ
ーラップ部分を検出する検出手段と、上記検出されたオーバーラップ部分に基づいて上記所定
の複数枚数の画像をつなぎ合わせて１枚の画像を作成す
る合成処理手段とを備えた画像合成装置。
【請求項２】上記所定の複数枚数が２枚である請求項
１記載の画像合成装置。
【請求項３】上記所定の複数枚より多い複数枚の画像
が入力されたとき、これらの画像を画面表示して各画像
の相対位置を指定する第１の指定手段を設け、上記検出
手段は上記指定された相対位置に基づいて上記オーバー
ラップ部分を検出することを特徴とする請求項１記載の
画像合成装置。
【請求項４】上記複数枚の画像を画面表示して各画像
のだいたいのオーバーラップ部分を指定する第２の指定
手段を設け、上記検出手段は上記指定されただいたいの
オーバーラップ部分に基づいて上記オーバーラップ部分
を検出することを特徴とする請求項１又は３記載の画像
合成装置。
【請求項５】上記第２の指定手段は、上記検出された
オーバーラップ部分が所定値以下のときあるいはユーザ
の指定により動作することを特徴とする請求項４記載の
画像合成装置。
【請求項６】上記入力される複数枚の画像には、各画
像が上記オーバーラップ部分を有することを示す識別情
報が含まれており、上記検出手段、画像合成手段は上記
識別情報に基づいて処理を行うことを特徴とする請求項
１又は３記載の画像合成装置。
【請求項７】上記第１の指定手段は、上記各画像の相
対位置を、各画像を上記表示画面上でドラッグさせるこ
とにより指定するように成されている請求項３記載の画
像合成装置。
【請求項８】上記第２の指定手段は、上記各画像のだ
いたいのオーバーラップ部分を、各画像を上記表示画面
上でドラッグさせることにより指定するように成されて
いる請求項４記載の画像合成装置。
【請求項９】被写体を複数に分割し、各分割部分でオ
ーバーラップ部分を持つようにしてそれぞれ撮像し、複
数枚の画像を得るとき、上記複数枚の画像の各々に識別
情報を挿入して出力する挿入手段を設けたことを特徴と
する撮像装置。