JPH0993431A - パノラマ画像合成装置 - Google Patents

Abstract

(57)【要約】 【課題】 簡素な構成でありながら複数の画像を良好に
合成することが可能なパノラマ画像合成装置を提供する
ことを目的とする。 【解決手段】 電子カメラ３０７で撮影された画像は汎
用インターフェース３０６を介してコンピュータ本体３
０１のＨＤにコピーされ、ディスプレー３０２に表示さ
れる。また、本装置は、画像合成に係る画像の対応点抽
出処理が終わって画像のオーバーラップ範囲が求められ
た後に、文字主体の原稿画像なのか、通常の自然画なの
かの判別を行う。次に、この判別結果に基づいてシーム
レス処理のやり方を変えて合成処理を実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の一部がオー
バーラップしている複数の画像を合成し、一つの合成画
像を作成するパノラマ画像合成装置に関する。

【０００２】

【従来の技術】画像の一部がオーバーラップ（重複）し
ている複数の画像をコンピュータ上で合成し、一つの合
成画像を作成するという処理を、一般的にパノラマ合成
と呼ぶ。これは、ワイドな画像を撮影して一枚の画像に
したい、という要求からの処理といえる。また、電子カ
メラにおいては、銀塩カメラやスキャナと比較した短所
として、解像度の低さ（画素数の少なさ）が指摘されて
いるが、そのため、この電子カメラで撮影された画像に
とってパノラマ合成は、ワイドな画像を撮るということ
だけでなく、高解像度な画像を撮る手段としても重要で
ある。具体的には、一枚の紙の原稿や雑誌等を複数に分
けて撮影し、スキャナ並みの高解像度データを取得した
り、また風景を複数に分割してワイドで高解像度に撮影
したりすることに威力を発揮する。

【０００３】ここで、パノラマ合成においては、そのつ
なぎ目を消し去る処理は重要であり、できあがった合成
画像の品位に大きく影響する。一般的な手法としては、
図３８に示すようなつなぎ目を消し去る処理（以降、
「シームレス処理」という。）が行われる。すなわち、
オーバーラップする部分において、画素の位置に応じて
徐々に合成比率を変えて、真ん中の位置で双方の画像が
５０％づつになるように加算する。オーバーラップが大
きいときは、図４０に示すように所定の幅で、シームレ
ス処理を行う。

【０００４】このシームレス処理は、特に風景等の自然
画において有効であり、つなぎ目のない品位の高い画像
が得られる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
ような従来の技術においては、以下のような問題があっ
た。

【０００６】パノラマ合成の際には、合成する複数の画
像間で対応点を抽出する方法を用いてオーバーラップし
た画像の合成位置を決めていくが、このときに合成位置
には誤差が多少含まれる。すなわち、対応点の抽出のと
きの最小の抽出精度は１画素であり、それ以下の精度は
保証できず、よって、画素の合成位置としては、１画素
未満のずれが生じる。

【０００７】また、電子カメラ等で撮影した画像の場合
には、レンズの周辺部に位置する部分の画像は、画像の
多少の歪みが生じており、この理由においてもずれは含
まれる。

【０００８】一方、原稿等の文字がある画像において
は、紙の白と文字の黒とのコントラストがはっきりして
いる。この原稿を合成し、かつしシームレス処理を施す
と、図２５に示すようにシームレス処理を施した部分の
文字はお互いが透けて見え、かつ文字のコントラストは
高いため、そのずれが顕著に見えてしまう。但し、自然
画の場合は、文字画像に比べてコントラストは低く、ま
た、なめらかにつながっている方が好ましいためシーム
レス処理は有効である。しかし、原稿等の文字があるも
のについては、前述のように逆効果を生む場合も多い。

【０００９】そこで、本発明はこのような問題を解決す
るためになされたものであり、簡素な構成でありながら
複数の画像を良好に合成することが可能なパノラマ画像
合成装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に本発明は、互いに重複した画像領域を有する複数の画
像を合成し、画角の広い一つの合成画像を作成するパノ
ラマ画像合成装置において、前記重複した画像領域の画
像が文字を主体とする画像か否かを判別する判別手段
と、この判別結果に応じて異なる画像処理を行った後、
前記画像合成を行う合成手段とを有することを特徴とす
る。

【００１１】尚、前記合成手段は、前記判別手段が文字
を主体としない画像だと判別した場合には前記重複した
画像領域の画像にシームレス処理を施し、文字を主体と
する画像だと判別した場合にはシームレス処理を施さな
いで前記画像合成を行うようにしてもよい。また、前記
判別手段は、前記重複した画像領域の画像が文字を主体
とする画像か否かを前記重複した画像領域における画像
の輝度分布を基に判別するようにしてもよい。

【００１２】また、本発明は、互いに重複した画像領域
を有する複数の画像を合成し、画角の広い一つの合成画
像を作成するパノラマ画像合成装置において、前記複数
の画像をつなぎ合わせる境界部分に対してぼかし処理を
加えて前記画像合成を行う合成手段を有することをも特
徴とする。

【００１３】さらに、本発明は、互いに重複した画像領
域を有する複数の画像を合成し、画角の広い一つの合成
画像を作成するとともに、この合成画像を指定されたプ
リンタにより印字するパノラマ画像合成装置において、
前記プリンタとして誤差拡散法で印字する２値プリンタ
が指定された場合には、前記重複した画像領域における
画像の輝度が最も高いラインを境界にして前記画像合成
を行う合成手段を有したことをも特徴とする。

【００１４】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。

【００１５】（第１の実施の形態）まず、本発明による
第１の実施の形態を説明する。

【００１６】図１は、本発明によるパノラマ画像合成装
置をパーソナルコンピュータに適用した例を示す概略外
観図である。

【００１７】同図に示したように、本装置は、コンピュ
ータ本体３０１を有し、これに各々接続される、パノラ
マ合成に係る画像を含む各種データを表示するディスプ
レー３０２と、マウス３０３と、キーボード３０５と、
さらに、電子カメラ３０７とを具備して構成されてい
る。

【００１８】ここで、マウス３０３は、代表的なポイン
ティングデバイスであり、マウスボタン３０４を備えて
いるものである。

【００１９】また、電子カメラ３０７は、自身が撮影し
た画像に関する情報を記録する内蔵メモリを有し、さら
に、双方向パラレルインターフェースやＳＣＳＩインタ
ーフェース等の、高速で画像転送可能な汎用インターフ
ェース３０６によってコンピュータ本体３０１に接続さ
れるものである。そして、電子カメラ３０７は、通常の
撮影時とは別にパノラマ合成に係る画像を撮影する場合
には、パノラマ画像撮影モードにセットするようになっ
ている。

【００２０】図２はソフトウェアとハードウェアを含む
本装置の構成を示すブロック図である。

【００２１】同図に示すように、本装置は、ハードウェ
ア５０９と、このハードウェア５０９の上で動作するオ
ペレーティングシステム（ＯＳ）５０５と、このＯＳ５
０５の上で動作するアプリケーションソフトウェア５０
４とを有して構成されている。尚、ハードウェア５０９
とＯＳ５０５を構成するブロックのうち構成要件として
当然含まれるが本発明の実施の形態例を説明する上で直
接必要としないブロックに関しては図示していない。そ
のような図示していないブロックの例としては、ハード
ウェア５０９においてはＣＰＵ、メモリ、ＯＳ５０５に
おいてはメモリ管理システム等がある。

【００２２】ここで、ＯＳ５０５は、入力デバイス管理
システム５０６と、描画管理システム５０７と、ファイ
ルシステム５０８とを具備している。

【００２３】入力デバイス管理システム５０６は、アプ
リケーションソフトウェア５０４がハードウェア５０９
を意識せずにユーザーの入力を受け取ることができるよ
うにする機能を有している。

【００２４】描画管理システム５０７は、アプリケーシ
ョンソフトウェア５０４がハードウェア５０９を意識せ
ずに描画が行えるようにする機能を有している。

【００２５】ファイルシステム５０８は、アプリケーシ
ョンソフトフェア５０４がハードウェア５０９を意識せ
ずにファイルの入出力が行えるようにする機能があるも
のである。

【００２６】また、ハードウェア５０９は、キーボード
インターフェース５１０と、マウスインターフェース５
１２と、ビデオインターフェース５１３と、ディスクＩ
Ｏインターフェース５１４と、ファイルやデータを物理
的に格納するハードディスク（ＨＤ）５１５と、双方向
パラレルインターフェース又はＳＣＳＩインターフェー
ス等の汎用インターフェース３０６とを具備している。

【００２７】ここで、ディスクＩＯインターフェース５
１４は、ファイルシステム５０８がＨＤ５１５の読み書
きを行うためのものである。

【００２８】ビデオインターフェース５１３は、描画管
理システム５０７がディスプレー３０２に描画を行うた
めのものである。

【００２９】キーボードインターフェース５１０は、入
力デバイス管理システム５０６がキーボード３０５の入
力を受け取るためのものである。

【００３０】マウスインターフェース５１２は、入力デ
バイス管理システム５０６がマウス３０３からの入力を
受け取ることができるようにするためのものである。

【００３１】汎用インターフェース３０６は、電子カメ
ラ３０７をコンピュータ本体３０１に接続するものであ
り、これにより電子カメラ３０７が入力デバイス管理シ
ステム５０６を通して、画像データ等のやりとりを行う
ことができるようになっているものである。

【００３２】また、アプリケーションソフトウェア５０
４は、データ管理手段５０２及びデータ表示手段５０３
を有した画像データ管理システム５０１と、パノラマ画
像合成手段５１７とを具備している。

【００３３】ここで、データ管理手段５０２は、画像デ
ータを属性情報もしくはユーザの入力によるキーワード
等で管理するためのものである。

【００３４】データ表示手段５０３は、管理されている
画像データを、その属性情報もしくはユーザの入力によ
るキーワード等で検索し表示するものである。

【００３５】また、パノラマ画像合成手段５１７は、画
像データ管理システム５０１を介してパノラマ撮影モー
ドで撮影した画像を受け取り、後述する３種類の合成モ
ード（フルオート合成、オート合成及びセミオート合
成）でパノラマ画像合成処理を行うものであり、さらに
合成した結果の画像を画像データ管理システム５０１へ
登録するようになっている。

【００３６】さらにパノラマ画像合成手段５１７は、重
複した画像領域の画像が文字を主体とする画像か否かを
判別する判別手段としての機能を実現するものであり、
さらに、この判別結果に応じて異なる画像処理を行った
後、前記画像合成を行う合成手段としての機能を実現す
るようになっている。

【００３７】合成手段としてのパノラマ画像合成手段５
１７は、判別結果により、文字主体と判断されたときに
は、シームレス処理を行わないで、図３のように合成を
行うものである。すなわち、オーバーラップ位置の真ん
中のライン２６０１を境に画像を貼り合わせるようにな
っている。この手法により、貼り合わせた文字部分で若
干のずれは生じるが、従来例の図４０に示したようなシ
ームレス処理での結果と比べ、ずれている箇所の量は減
るのでより品質の高い合成画像となる。尚、文字主体の
ものでないときには、通常のシームレス処理を行うよう
になっている。

【００３８】判別手段としてのパノラマ画像合成手段５
１７は、合成する画像が文字主体のものであるのかどう
かの判別を行うが、この合成する画像が文字主体のもの
であるのかどうかの判別は、画像の輝度のヒストグラム
をとって判別するようになっている。すなわち、図４及
び図５に示すような輝度分布により判断し、例えば図５
のように輝度分布が全体に分布しているようであれば自
然画と判断するものである。ここで、輝度のヒストグラ
ムをとる範囲は画像がオーバーラップする範囲でよく、
画像全体に渡ってやる必要はないので処理の高速化が図
れる。

【００３９】次に、電子カメラ３０７内の内蔵メモリに
格納される、電子カメラ３０７が撮影した画像に関する
情報、すなわち画像データ及び属性情報のデータ構造を
図６を用いて説明する。

【００４０】本実施の形態では、前述のように電子カメ
ラ３０７で画像を撮影する際に、ユーザは“パノラマ画
像撮影モード”に電子カメラ３０７をセットしてから撮
影を行うが、この撮影モードにすることにより、内蔵メ
モリに記録される撮影された画像の属性情報中に、１セ
ットのパノラマ画像を示す識別子が自動的に記録される
ようになっている。

【００４１】図６に示すように、内蔵メモリ内には画像
管理テーブル８１が置かれ、画像データ格納領域８２
と、属性情報格納領域８３とを有し、撮影された画像ご
とに対応する画像データと、属性情報が参照されるよう
になっている。

【００４２】ここで、画像データ格納領域８２には、画
像データ８２ａ及び８２ｂが電子カメラ３０７独自のフ
ォーマットデータ（ネィティブデータ）か、又はＪＰＥ
Ｇ等の汎用フォーマットデータかのいずれかで格納され
ており、ユーザは撮影状況に応じてこれらのどちらかを
選択して格納することができるようになっている。尚、
ネィティブデータとは、例えば、ＣＣＤからの出力を単
にＡ／Ｄして得られたデータ等であり、一般的に、記録
に要する時間は短いがデータサイズを大きくできるよう
になっているものである。また、ＪＰＥＧデータとは、
ネィティブデータとは異なり記録に要する時間はかかる
が、データサイズを小さくすることができるものであ
る。

【００４３】属性情報格納領域８３には、属性情報とし
てファイル名８４ａ及び８４ｂと、ファイルタイプ８５
ａ及び８５ｂと、撮影日時８６ａ及び８６ｂと、撮影モ
ード８７ａ及び８７ｂとが記録されるようになってい
る。

【００４４】ここで、ファイル名８４ａ及び８４ｂは、
電子カメラ３０７が自動的に付けるユニークなファイル
名である。

【００４５】ファイルタイプ８５ａ及び８５ｂは、ネィ
ティブデータフォーマットなのか、ＪＰＥＧフォーマッ
トなのか、あるいは電子カメラ３０７がサポートする他
の汎用フォーマットなのかを示すものである。

【００４６】撮影日時８６ａ及び８６ｂは、電子カメラ
３０７内部のカレンダー及びタイマーにより計時された
シャッターボタンが押された時点の日時と時間が記録さ
れるものである。

【００４７】撮影モード８７ａ及び８７ｂは、電子カメ
ラ３０７の有する数種類の撮影モードのうち、撮影時に
選択されている撮影モードを示すものであり、これが
“パノラマ撮影モード”の場合は、さらに識別子８８ａ
及び８８ｂが付加されるようになっている。

【００４８】この識別子８８ａ及び８８ｂは、パノラマ
撮影モードにセットしたときにセットされるユニークな
番号であるモードＩＤ８９ａ及び８９ｂと、そのモード
での何枚目かを示す枚数情報９０ａ及び９０ｂが格納さ
れるものである。よってパノラマ撮影モードにおいて同
じモードＩＤ８９ａ及び８９ｂを持つ複数の画像が１セ
ットであるということになる。尚、図６の例では、風景
を左右２枚の画像として撮影しているので、モードＩＤ
８９ａ及び８９ｂとは同じＩＤモードとなっている。

【００４９】本装置では、以上のようにして電子カメラ
３０７内に画像データ及び属性情報が格納されるが、さ
らに、電子カメラ３０７をコンピュータ本体３０１に接
続して、内蔵メモリ中にある画像＋属性情報を、ＨＤ５
１５にコピーするようになっている。

【００５０】次に、上記のように電子カメラ内に記録さ
れたデータをコンピュータにコピーする手段について述
べる。

【００５１】図７は、電子カメラ３０７内のデータをＨ
Ｄ５１５へコピーするときの画面を示したものである。

【００５２】この画面は、画像データ管理システム５０
１によりディスプレー３０２に表示されるものであり、
ウインドウ９１及びウインドウ９２が表示されるように
なっている。

【００５３】ウインドウ９１には、カメラカタログと呼
ばれる電子カメラ３０７内の内蔵メモリのデータが表示
されるようになっており、画像データの縮小画像（サム
ネール画像）９４と、属性情報表示領域９５とが表示さ
れるようになっている。また、ウインドウ９１は、ユー
ザーにより画像が選択された場合には、選択されたこと
を表示する枠９３が表示されるようになっている。

【００５４】属性情報表示領域９５には、属性情報中の
ファイル名、ファイルタイプ等が表示されるようになっ
ている。尚、この属性情報のうちどこまで表示するか
は、ユーザ指定で変更できるようになっている。

【００５５】ウインドウ９２には、ＨＤ５１５中に存在
するユーザの画像データベースの一部であるユーザカタ
ログと呼ばれるデータが表示されるようになっている。
また、ウインドウ９２は、ユーザがウインドウ９１中か
ら画像を選択して、Ｄｒａｇ＆Ｄｒｏｐの操作を行うと
コピーが行われるようになっている。

【００５６】尚、このとき、コピーなのか（電子カメラ
３０７内にデータは残る）、移動なのか（電子カメラ３
０７内のデータは消去される）は、ユーザの指定でどち
らにでも切り替えられるようになっている。また、この
コピー操作の最中に、画像データ管理システム５０１に
よりネィティブデータを、所定の汎用フォーマットに変
換し、さらにパノラマ画像管理手段５１７によりパノラ
マ撮影モードで撮影された画像があれば、それらの合成
が必要に応じて行われるようになっている。

【００５７】次に、上記のようにしてコピーされたデー
タがユーザカタログにおいて、どのようなデータ構造を
有しているかを述べる。

【００５８】図８は、ウインドウ９２に表示されるユー
ザカタログ上でのデータ構造を示すものである。

【００５９】ユーザカタログは、画像データ管理システ
ム５０１により、内部に格納している画像データについ
て、固有のＩＤ番号を付けて管理されるようになってい
る。すなわち、ＩＤ番号にリンクされている画像デー
タ、属性情報との対応がとられ、これにより管理の基本
が確率されている。

【００６０】また、ユーザカタログは、ユーザが任意の
個数を持つことができるが、この一個のユーザカタログ
ごとに、図８に示すようにカタログテーブル１１００が
用意されるようになっている。

【００６１】ここで、このカタログテーブル１１００内
には、このカタログに属する画像のデータＩＤ１１０１
と、属するグループのグループＩＤ１１０２が保持され
るようになっている。

【００６２】また、グループＩＤ１１０２は、グループ
属性テーブル１１０３とリンクするようになっているも
のである。

【００６３】このグループ属性テーブル１１０３は、基
本的にカタログテーブル１１００と同じであり、このグ
ループに属する画像のデータＩＤ１１０５、又はこのグ
ループに属するグループＩＤを持つものである。尚、カ
タログテーブル１１００との違いは、頭にグループ属性
データ１１０４を持つところが異なる。

【００６４】このグループ属性データ１１０４は、グル
ープ名１１０６、作成日時１１０７及びグループタイプ
１１１０が格納されるものである。

【００６５】グループ名１１０６は、ユーザが付けた任
意の名前がつくようになっており、パノラマ画像のセッ
トとしてグループが作られたときは、このグループ名は
デフォルトで“パノラマ画像”と付けられるようになっ
ている。

【００６６】作成日時１１０７は、グループが作成され
たときの日時が格納されているものである。

【００６７】グループタイプ１１１０は、ユーザが作成
した場合は“ユーザ作成”、パノラマ画像のセットとし
てグループが作られたときは、“パノラマ撮影”という
情報が入るようになっているものである。但し、パノラ
マ画像のときは、さらに識別子とリンクし、モードＩＤ
８９ａが納められるようになっている。

【００６８】また、ユーザカタログ上においては、実際
の画像データ、属性情報は前述の図６の画像管理テーブ
ル８１と同じような構造で格納されるようになってい
る。すなわち、これらは、データ管理テーブル１１０８
から参照されるようになっており、さらに、データ管理
テーブル１１０８内でデータＩＤ１１０９にリンクされ
て、各画像データ、属性情報との対応がとられるように
なっている。

【００６９】上記のように、本装置においては、ユーザ
カタログ内の画像データをユーザが複数の画像をひとつ
のグループとしてカテゴリー分けをする機能を有するよ
うになっている。すなわち、これにより、ひとつのユー
ザカタログ内を階層化してデータを管理できるようにな
っているものである。

【００７０】次に、パノラマ画像合成手段５１７による
パノラマ画像合成処理に係る３種類の合成モードについ
て説明する。

【００７１】本装置では、電子カメラ３０７をコンピュ
ータ本体３０１に接続して、内蔵メモリ中にある画像＋
属性情報を、ＨＤ５１５にコピーする際に、画像データ
管理システム５０１により、この属性情報がチェックさ
れるようになっている。ここで、ユーザカタログの属性
情報中にパノラマ画像撮影モードでの識別子が存在する
ものから、自動的に１セットの画像を抽出し、次に、パ
ノラマ画像作成の処理に入るようになっている。但し、
本発明では画像合成処理の合成モードを複数持っている
ので、次に挙げる合成モードの選択を行う。

【００７２】この合成モードは、画像が２枚のときに、
完全自動で合成を行うフルオート合成と、３枚以上のと
きに、画像の上下左右の相対位置だけをユーザに指定し
てもらうオート合成と、そして、これらフルオート合
成、又はオート合成のチェック段階で対応点が十分求め
られなかったとき、又はユーザが対応点の検出に要する
時間を省いてより短い時間で合成処理を行いたいとき
に、ユーザがだいたいのオーバーラップ位置を指定する
ことで合成が行われるセミオート合成とからなってい
る。

【００７３】ここで、フルオート合成は、パノラマ画像
の１セットが抽出されて、それが２枚だったときに選択
されるモードである。このフルオート合成では、２枚の
画像の合成位置としては、図９乃至図１２に示すように
上下左右の４通りが考えられるので、この４つの場合の
オーバーラップした部分の対応点を求める処理を行い、
所定のレベル以上一致している対応点が最も多く求まっ
たところを、正しい合成位置として合成するようになっ
ている。尚、この合成モードでは、ユーザの操作として
は、画像を電子カメラ３０７からコンピュータ中へコピ
ーする操作だけで、あとはパノラマ合成手段５１７が自
動でやってくれることになる。また、特殊な用途以外
は、通常、２枚合成がほとんどと考えられるので、この
合成処理が行われる場合が最も多い。さらに、本実施の
形態においては、対応点を求める処理を行うときに、４
つのいずれの場合も、所定のレベル以上一致している対
応点の数が所定の量以下のときは、確実性が低いといえ
るので、このときは、フルオート合成処理を打ち切り、
セミオート合成処理に移行するようになっている。

【００７４】オート合成は、パノラマ画像の１セットが
抽出されて、それが３枚以上だったときに選択されるモ
ードである。そして、このオート合成では、１セットの
画像を図１３及び１４に示すようなユーザーインターフ
ェースとしてのウインドウに表示するようになってい
る。このウインドウには、まず画面上にパノラマ画像の
グループに属する画像全てがウインドウに入る大きさに
リサイズされて表示され、これをユーザが見て、正しい
順番にＤｒａｇして上下、左右の位置関係のみを指示
し、並べ替えるようになっている。例えば、図１４の例
では、ウインドウ１４０１の下に位置している画像が本
当は一番右になるので、左側にＤｒａｇすると、その位
置から、横に３つ並ぶパノラマであることをパノラマ画
像合成手段５１７が検知する。そしてウインドウに入り
きるように再度リサイズされてウインドウ１４０２のよ
うに表示される。すなわち、各画像の対応点を求める対
応点抽出処理は、ユーザの指示を元に行うようになって
いる。尚、本実施の形態においては、パノラマ画像合成
手段５１７によりオート合成での対応点抽出処理の際
に、所定のレベル以上一致している対応点の数が所定の
量以上のときは、正しい合成位置として合成するように
なっており、そうでなければ、確実性が低いのでオート
合成処理を打ち切り、セミオート合成処理に移行するよ
うになっている。

【００７５】セミオート合成は、フルオート合成又はオ
ート合成処理において対応点抽出の確実性が低かったと
き、又はユーザーが対応点抽出に要する時間を節約して
より早く合成結果を得たい場合に選択されるモードであ
る。そして、このセミオート合成では、ユーザは図１５
及び図１６に示すようなユーザーインターフェースとし
てのウインドウに表示された画像をｄｒａｇして、オー
バーラップのだいたいの位置を指定するようになってい
る。すなわち、このセミオート合成では、各画像の対応
点を求める対応点抽出処理は、ユーザにより指定された
位置情報を元に、オート合成処理でのときより、ずっと
狭い範囲で対応点抽出処理を行うようになっており、こ
の結果から、最も一致する位置を求め、さらに合成処理
を行うようになっている。例えば、図１６の例では、ウ
インドウ１８０１に示すように、まず画面上にパノラマ
画像のグループに属する画像全てがウインドウ１８０１
に入る大きさにリサイズされて表示され、これをユーザ
が見て、ウインドウ１８０２に示すようにだいたいのオ
ーバーラップ位置を合わせて重ね合わせるようになって
いる。重ね合うところは、画素単位でビットごとにＡＮ
Ｄ演算をして表示するので、重なった部分は両方の画像
が透けて見えるようになっている。そしてウインドウに
入りきるように再度リサイズされて表示される。尚、こ
のウインドウ上におけるセミオート合成での操作は、基
本的にオート合成での操作と同一であり、ユーザの負担
は少ない。違いは、マウス等のポインティングデバイス
で画像をＤｒａｇして離した位置を、位置関係の情報だ
けを使って、並べ替えて表示する（オート合成処理）の
と位置の情報をそのまま使ってオーバーラップして表示
する（セミオート合成処理）点だけである。また、Ｄｒ
ａｇ中にも先のＡＮＤ演算で透けて見えるため、だいた
いの位置を容易に合わすことができるようになってい
る。

【００７６】尚、上記合成モードのいずれの場合におい
ても、対応点抽出処理が終わって画像のオーバーラップ
範囲が求められた後に、文字主体の原稿画像なのか、通
常の自然画なのかの判別を行い、次に、この判別結果に
基づいて後述するようにシームレス処理のやり方を変え
て合成処理を実行するようになっている。また、オート
合成及びセミオート合成では、上記のように、ユーザは
対応点抽出のための操作を行うが、どちらも画像をｄｒ
ａｇするだけの操作であり、これは最も単純で、かつ共
通の操作であるので、ユーザの負担は小さい。また、セ
ミオート合成のとき、画像をｄｒａｇしてだいたいの位
置に合わせるだけなので、従来例のポイントを明示的に
指定する操作よりもずっと簡単で楽である。

【００７７】次に、図１７乃至図２２を参照しつつ、図
２３乃至図３１のフローチャートに従って本実施の形態
の動作を説明する。

【００７８】まず、電子カメラ内の画像データをコンピ
ュータ内へコピーする際の動作について説明する。

【００７９】図２３は、電子カメラ内の画像データをコ
ンピュータ内へコピーする際に行う処理のフローチャー
トである。尚、図２３のフローチャートにおいて、特に
断りのない限りは画像データ管理システム５０１がその
処理動作を行うようになっている。

【００８０】同図において、まず、コピーが必要な画像
全てに対して処理を行うため、全ての画像に対して処理
が終わっているかどうかを判断する（Ｓ１０００）。処
理が終わっているならば、後述のステップＳ１００９へ
処理を進め、まだ終わっていなければ次のステップＳ１
００１へ処理を進める。

【００８１】まず、コピー操作の中で、まず一個の画像
データとそれに付随した属性情報を取得する（Ｓ１００
１）。属性情報内のファイルタイプ８５ａ及び８５ｂか
ら、この画像データがネィティブデータかどうかを判断
する（Ｓ１００２）。ネィティブデータでなければ、後
述のステップＳ１００４に処理を進める。また、ネィテ
ィブデータであれば、デフォルトとして決まっている汎
用フォーマット（ＪＰＥＧやＴＩＦＦ等）にネィティブ
データを変換する（Ｓ１００３）。そして、変換が終わ
ったらファイルタイプ８５ａ及び８５ｂも更新する。

【００８２】次に撮影モード８７ａ及び８７ｂを調べて
パノラマ撮影モードで撮影された画像であるかをチェッ
クする（Ｓ１００４）。パノラマ画像でない場合は、通
常の画像データとして登録する（Ｓ１００８）。具体的
には図８でのデータ管理テーブル１１０８に固有のデー
タＩＤを付けて登録し、そのデータＩＤをカタログテー
ブル１１００に登録する。

【００８３】パノラマ画像であるときは、このパノラマ
画像用のグループがすでに作成済みかどうかをチェック
する（Ｓ１００５）。これは図８のカタログテーブルを
たどっていって、グループＩＤのモードＩＤ８９ａが、
画像のモードＩＤ８９ａと同じかどうかを見ることによ
って行われる。

【００８４】対応するグループがないときは、グループ
を作成する（Ｓ１００６）。これは、カタログテーブル
１１００に新たにグループＩＤ１１０２を登録し、グル
ープ名１１０６、作成日時１１０７、グループタイプ１
１１０を作成する。グループタイプ１１１０には“パノ
ラマ撮影”と記録され、画像の属性情報中のモードＩＤ
８９ａが納められる。

【００８５】そして、このパノラマ画像データに固有の
データＩＤを付けて、管理テーブル１１０８に登録し、
データＩＤ１１０５に登録する（Ｓ１００７）。

【００８６】以上のステップＳ１０００からＳ１００８
の一連の処理をコピーする画像全てに対して行う。全て
の画像に対して処理が終わったならば、今までコピーし
たものの中で、パノラマ画像のグループが作られたかど
うかをチェックし（Ｓ１００９）、もし作られてあれ
ば、パノラマ画像合成手段５１７により、グループ内の
画像を用いて後述するパノラマ画像合成処理を行う（Ｓ
１０１０）。なければこれにて処理を終了する。

【００８７】次に、前記ステップＳ１０１０におけるパ
ノラマ画像合成処理についての説明をする。

【００８８】図２４は、パノラマ画像合成処理のフロー
チャートを示すものである。尚、図２４のフローチャー
トにおいては、特に断りのない限りパノラマ画像合成手
段５１７がその処理動作を行うようになっている。

【００８９】同図において、パノラマ画像合成手段５１
７は、まず、グループ内の画像が２枚か、２枚より多い
かをチェックする（Ｓ１２００）。２枚のときは、後述
するフルオート合成処理に入る（Ｓ１２０２）。２枚よ
り多いときは、後述するオート合成処理に入る（Ｓ１２
０１）。このステップＳ１２０１、Ｓ１２０２でのそれ
ぞれの処理が終わると、その合成処理の結果が成功か失
敗かをチェックする（Ｓ１２０３、Ｓ１２０４）。この
成功か失敗かの判断は、画像同士の対応するポイントを
十分見つけられたかどうかで判断する。よって合成処理
全体の中では早い段階で判断を下すので、結果が失敗で
もユーザがその結果を得るまで待つ時間は短くて済む。
そして成功であれば処理は終了で、失敗であれば、後述
するセミオート合成処理を行った後（Ｓ１２０５）、処
理を終了する。

【００９０】次に、前記ステップＳ１２０１におけるフ
ルオート合成処理についての説明をする。

【００９１】図２５は、オート合成処理のフローチャー
トを示すものである。尚、図２５のフローチャートにお
いては、特に断りのない限りパノラマ画像合成手段５１
７がその処理動作を行うようになっている。

【００９２】同図において、パノラマ画像合成手段５１
７は、まず、ユーザが並べ替えた位置関係の情報を取得
する（Ｓ１３０１）。次に、一致する対応点を見つける
のにサーチする範囲、すなわちマッチング範囲を設定す
る（Ｓ１３０２）。尚、パノラマ画像として撮影すると
きのルールとして、最小１０％、最大５０％オーバーラ
ップさせることと、それに直角する方向のずれをそれぞ
れ５％以下と決めると、図１７に示すように、必ずオー
バーラップする範囲は図１７の左画像１５０１の斜線エ
リア１５０４に示す範囲となる。また、オーバーラップ
している可能性のある範囲は右画像１５０２の斜線エリ
ア１５０５に示す範囲となる。今、斜線エリア１５０４
のエリア中にあるポイント１５０３に示すポイントは上
記のルールに従うと、斜線エリア１５０５のエリア中の
サーチ範囲１５０６に示すエリア中に対応する点がある
ことになる。後述する対応点抽出処理では、このエリア
に対してマッチングするかどうかを見ていくことにな
る。

【００９３】フローチャートに戻ると、前記ステップＳ
１３０２で、以上のサーチする範囲設定に用いるパラメ
ータをセットすると、次に対応点を抽出する処理を行う
（Ｓ１３０３）。尚、この対応点抽出処理の詳細につい
ては後述する。対応点抽出処理が終わると、求まった対
応点の数が所定値（Ｎ個）以上かどうかを判断し（Ｓ１
３０４）、所定値以下のときは、十分対応点を自動で見
つけることができなかったので、セミオート合成処理へ
進む。所定値より多かったときは、合成パラメータ設定
処理へ進む（Ｓ１３０５）。この合成パラメータ設定処
理では、合成の際に用いる移動、拡大（縮小）、回転の
パラメータを、先の対応点の座標から求める。尚、この
詳細は後述する。最後に、これらパラメータをもとに画
像合成処理を行う（Ｓ１３０６）。この詳細も後述す
る。

【００９４】次に、前記ステップＳ１２０２におけるフ
ルオート合成処理についての説明をする。

【００９５】図２６は、フルオート合成処理のフローチ
ャートを示すものである。尚、図２６のフローチャート
においては、特に断りのない限りパノラマ画像合成手段
５１７がその処理動作を行うようになっている。

【００９６】同図において、パノラマ画像合成手段５１
７は、まず、マッチング範囲設定を行うが（Ｓ１６０
１）、これは前記ステップＳ１３０２と処理は同一であ
る。

【００９７】次に、４回対応点抽出処理を行う。フルオ
ート合成処理の場合、枚数は２枚に限定しているので、
考えられる位置関係は、画像１と画像２が、上下、下
上、左右、右左の４通りである。そこで、この４つの場
合について対応点抽出処理をして、それぞれ対応点とし
て抽出できた数、これらの平均一致レベルを保持する。
これらの処理が、ステップＳ１６０２からＳ１６０９ま
での処理である。

【００９８】そして、上の４つの場合で、所定値（Ｎ
個）以上の対応点を抽出できたものがあるかをチェック
する（Ｓ１６１０）。もし一つもなければセミオート合
成処理へ進む。もしあれば、その中で、平均一致レベル
の最もよいものを真の位置関係であるとする（Ｓ１６１
１）。尚、通常の画像では、対応点が所定値以上の場合
は４つのうちの一つだけになるはずだが、例えば、原稿
等を分割して撮った場合似たような字が並んでいて、正
しくない位置関係のときでも所定値以上を対応点として
抽出してしまう場合があり得る。そこで、このステップ
Ｓ１６１１で、最もフィットしているもの（平均一致レ
ベルが最も高いもの）を選択するようにする。

【００９９】ステップＳ１６１１の処理が終わると、次
の合成パラメータ処理（Ｓ１６１２）、画像合成処理
（Ｓ１６１３）へと進むが、これは前記ステップＳ１３
０５、Ｓ１３０６と同一処理であり、詳細は後述する。

【０１００】次に、前記ステップＳ１２０５におけるセ
ミオート合成処理についての説明をする。ここでの処理
はオート合成処理のときとほとんど同一である。

【０１０１】図２７は、セミオート合成処理のフローチ
ャートを示すものである。尚、図２７のフローチャート
においては、特に断りのない限りパノラマ画像合成手段
５１７がその処理動作を行うようになっている。

【０１０２】同図において、パノラマ画像合成手段５１
７は、まず、画像のユーザが合わせたオーバーラップ位
置情報を取得する（Ｓ１７０１）。そしてマッチング範
囲を設定するが（Ｓ１７０２）、ここでの範囲は、所定
の範囲（想定されるユーザの合わせた位置の誤差範囲＋
マージン）となる。よって、オート合成処理の時の範囲
よりはずっと狭い範囲となり、計算時間の短縮と精度の
向上が図られる。

【０１０３】ステップＳ１７０２の処理が終わると、次
の対応点抽出処理（Ｓ１７０３）、合成パラメータ設定
処理（Ｓ１７０４）、画像合成処理（Ｓ１７０５）へと
進むが、これらはいずれもオート合成処理のときと同一
である。

【０１０４】次に、対応点抽出処理についての説明をす
る。

【０１０５】まず、図１８を参照して対応点抽出処理の
概要を述べる。

【０１０６】ここで図１８は、対応点抽出の際の左と右
の画像２枚のときの例を示す。画像の枚数が２枚より大
きいときは、２枚の合成を何回か繰り返せばよいので処
理としては基本的に同じである。

【０１０７】まず、撮影時のルールにのっとり、テンプ
レートを設定する範囲２００５は、縦９０％横１０％の
範囲に設定する。また、サーチする範囲は、対応する点
が存在する可能性の範囲ということで、縦１００％、横
５０％の範囲２００６に設定される。画像中のテンプレ
ート設定範囲２００５のエリアから、エッジが所定値以
上強い点を探し、そこを中心として縦、横ｎ画素の矩形
をテンプレート画像２００３として切り出す。このテン
プレート画像２００３を、サーチ範囲２００４上に置い
て、画素単位でその差分をとる。この合計が最小となる
ところを、サーチ範囲２００４上を１画素ずつずらして
求める。サーチ範囲上を全てサーチした結果の最小値
が、所定値以下であれば、そのポイント同士（ｘ，ｙ）
と（ｘ′，ｙ′）を対応点のペアとして保持する。

【０１０８】以上の処理が対応点抽出処理の概要となる
が、これを図２８のフローチャートに沿ってもう一度説
明する。

【０１０９】図２８は、対応点抽出処理のフローチャー
トを示すものである。尚、図２８のフローチャートにお
いては、特に断りのない限りパノラマ画像合成手段５１
７がその処理動作を行うようになっている。

【０１１０】同図において、パノラマ画像合成手段５１
７は、まず、エッジ抽出画像を作成する（Ｓ１９０
１）。そして、このエッジ抽出画像中のテンプレートを
設定する範囲２００５から、エッジが所定値以上強いポ
イントを探す（Ｓ１９０２）。そして、そのポイントが
あれば、そのポイントから縦横±ｎ画素ずつの矩形で画
像を切り出しテンプレート画像とする（Ｓ１９０３）。

【０１１１】次に、そのポイントの位置から、右画像中
のサーチ範囲を設定する（Ｓ１９０４）。そして、サー
チ範囲中の画像と、テンプレート画像を重ね合わせ、画
素単位で、画素値の差が絶対値をとりその合計を求める
（Ｓ１９０５）。

【０１１２】また、この差分の合計値が、それまでの最
小値かどうかをチェックし（Ｓ１９０６）、そうであれ
ば、そのサーチ範囲中のポイントの座標と、その最小値
を保持する（Ｓ１９０７）。以上をサーチ範囲全てに繰
り返し、最も一致する（最小の差分を持つ）点を見つけ
だす。

【０１１３】そして、サーチ範囲全てをサーチしたかチ
ェックし（Ｓ１９０８）、その結果求められた最小値が
十分小さな値であるか（確かな対応点か）を、所定値Ｌ
と比較して判断する（Ｓ１９０９）。所定値Ｌより小さ
かった場合は、対応点のリストにテンプレート画像を切
り出したポイントの座標（ｘ，ｙ）と、最小値が求めら
れたポイントの座標（ｘ′，ｙ′）と、その最小値の値
を登録する（Ｓ１９１０）。

【０１１４】以上をテンプレート設定範囲全部に対して
行い（Ｓ１９１１）、終了したら対応点のリスト中の全
ての最小値からその平均値を求め、これを一致レベル値
として保持する（Ｓ１９１２）。以上で対応点抽出処理
を終了する。

【０１１５】次に、合成パラメータ設定処理について説
明する。画像を２枚としたときに（２枚以上の合成の場
合も、２枚の合成の繰り返しなので、まずは２枚で考え
てよい）、そのずれは、ｘ，ｙ方向の並進、回転、及び
拡大率の差で表すことができる。よって対応する点
（ｘ，ｙ）、（ｘ′，ｙ′）は以下のように表せる。

【０１１６】

【数１】 ここで、θはＺ軸回りの回転角、Δｘ及びΔｙは並進、
ｍは倍率を示す。よってパラメータＡ、Ｂ、Ｃ及びＤを
求めることによりこの座標変換を表すことができる。先
の対応点抽出処理では、対応点（ｘ，ｙ）、（ｘ′，
ｙ′）の複数の組を取得した。これを最小自乗法を用い
てパラメータＡ、Ｂ、Ｃ及びＤを求める。

【０１１７】すなわち、 ε＝Σ［｛（Ａｘ＋Ｂｙ＋Ｃ）−ｘ′｝2＋｛（−Ｂｘ
＋Ａｙ＋Ｄ）−ｙ′｝2 ］→ｍｉｎ の条件で、

【０１１８】

【数２】 を満たすパラメータＡ、Ｂ、Ｃ及びＤを求める。

【０１１９】ここで、 Ｐ1 ＝Σｘ2 ＋Σｙ2 Ｐ2 ＝Σｘ Ｐ3 ＝Σｙ Ｐ4 ＝Σｘｘ′＋Σｙｙ′ Ｐ5 ＝Σｘｙ′−Σｘ′ｙ Ｐ6 ＝Σｘ′ Ｐ7 ＝Σｙ′ Ｐ8 ＝ｎ（対応点の数） とすると、パラメータＡ、Ｂ、Ｃ及びＤは次のように表
すことができる。

【０１２０】

【数３】 このパラメータＰ１からＰ８を求め、上数式に代入する
ことにより、パラメータＡ、Ｂ、Ｃ及びＤを算出する。

【０１２１】次に、画像合成処理について説明する。

【０１２２】図２９は、合成処理全体のフローチャート
を示すものである。尚、図２９のフローチャートにおい
ては、特に断りのない限りパノラマ画像合成手段５１７
がその処理動作を行うようになっている。

【０１２３】同図において、パノラマ画像合成手段５１
７は、まず、オーバーラップ範囲と、つなぎ合わせるラ
インの設定、及びシームレス処理を行う際の範囲設定を
行う（Ｓ２９０１）。

【０１２４】このオーバーラップ範囲の設定について
は、上で求めた数式、 ｘ′＝Ａｘ＋Ｂｙ＋Ｃ ｙ′＝−Ｂｘ＋Ａｙ＋Ｄ を使用する。

【０１２５】例えば図１９に示すように左に位置する画
像３００４が６４０×４８０ドットの画像とすると、座
標（６３９，０）と（６３９，４７９）を上数式（ｘ，
ｙ）に代入して得られた（ｘ１′，ｙ１′）、（ｘ
２′，ｙ２′）が、右の画像３００５のオーバーラップ
範囲となる。ここから、オーバーラップ範囲３００２が
左画像の座標位置として求まり、この範囲の真ん中のラ
イン３００１が、つなぎ合わせるラインとして求められ
る。シームレス処理を行う際の範囲は、オーバーラップ
範囲の中央からあらかじめ設定された所定幅の領域３０
０３を求めて設定する。このときオーバーラップ範囲の
幅が所定幅より狭いときは、オーバーラップ範囲の幅を
もって領域３００３とする。

【０１２６】次に、文字主体の画像なのか、自然画像な
のかを判別するヒストグラム処理を行う（Ｓ２９０
２）。

【０１２７】まず、オーバーラップ範囲内３００２の画
素について輝度のヒストグラムを作成する。このとき、
両方の画像に対して実行しても同じ結果がでるだけなの
で、片方の画像（例えば左側の画像）のみに対してでよ
い。よって、ヒストグラム設定範囲は狭く、かつ片方の
画像だけなので、ヒストグラム処理に要する時間はごく
短くて済む。

【０１２８】ここで、図２０及び図２１に輝度のヒスト
グラムを用いた、文字主体の画像なのか、自然画像なの
かを判別する図を示す。これらの図に示すように、ヒス
トグラムの輝度の軸を大きく３分割し、各々のレンジａ
１、ａ２、ａ３の総度数ｂ１、ｂ２、ｂ３を求める。そ
して、ｂ１がしきい値ｔｈ１より大きく（文字と思われ
る部分を一定量以上含んでいて）、ｂ２がしきい値ｔｈ
２より小さく（文字でも紙でもないと思われる明るさの
ものが一定量より少なく）、ｂ３がしいき値ｔｈ３より
大きい（紙と思われる部分を一定量以上含んでいる）場
合に、文字画像と判断し、それ以外は自然画像と判断す
る。

【０１２９】上記のようにしてステップＳ２９０２でヒ
ストグラム処理を終えると、次に、これにより文字画像
かどうか判別し（Ｓ２９０３）、この判別結果によっ
て、シームレス処理を含まない合成処理（Ｓ２９０
４）、又はシームレス処理を含む合成処理を行い（Ｓ２
９０５）、処理を終了する。

【０１３０】次に、前記ステップＳ２９０４のシームレ
ス処理を含まない画像合成処理について説明する。

【０１３１】まず、図２２を参照してシームレス処理を
含まない画像合成処理の概要を述べる。

【０１３２】図２２にこれを図示したものを示す。画像
が左画像２１０１、右画像２１０２の場合、左画像２１
０１の２倍の大きさを合成画像領域２１０３として確保
する。この合成画像領域２１０３に、まず左画像２１０
１をつなぎ合わせのライン３００１までの領域をそのま
まコピーしてくる。

【０１３３】次に、合成画像の残りの領域（ｘ，ｙ）に
ついて、数式 ｘ′＝Ａｘ＋Ｂｙ＋Ｃ ｙ′＝−Ｂｘ＋Ａｙ＋Ｄ により、対応する（ｘ′，ｙ′）を求める。そして右画
像の（ｘ′，ｙ′）の画素を（ｘ，ｙ）にコピーする。
これを合成画像領域２１０３の残りの領域全てに対して
行う。

【０１３４】図３０は、シームレス処理を含まない画像
合成処理のフローチャートを示すものである。尚、図３
０のフローチャートにおいては、特に断りのない限りパ
ノラマ画像合成手段５１７がその処理動作を行うように
なっている。

【０１３５】まず、第１の画像（図２２での左画像）の
２倍の領域を合成画像領域として確保する（Ｓ２２０
１）。そして、第１の画像のライン３００１より左側の
領域をこの合成画像領域に単純にコピーする（Ｓ２２０
２）。

【０１３６】次に、合成画像の残りの領域（ｘ，ｙ）に
ついて、数式 ｘ′＝Ａｘ＋Ｂｙ＋Ｃ ｙ′＝−Ｂｘ＋Ａｙ＋Ｄ により、対応する（ｘ′，ｙ′）を求める（Ｓ２２０
３）。そして、（ｘ′，ｙ′）は第２の画像（図２２で
の右画像）内にあるかどうかをチェックし（Ｓ２２０
４）、なければ、後述のステップＳ２２０６へ処理を進
め、あれば、（ｘ′，ｙ′）の画素を（ｘ，ｙ）にコピ
ーする（Ｓ２２０５）。

【０１３７】さらに、以上のステップＳ２２０３からＳ
２２０５までの処理を合成画像の残りの領域全てに対し
て繰り返し行ったかどうかを判断し（Ｓ２２０６）、全
領域に対して行ったならばこれにて処理は終了する。

【０１３８】次に、前記ステップＳ２９０５のシームレ
ス処理を含む画像合成処理について説明する。

【０１３９】図３１は、シームレス処理を含む画像合成
処理のフローチャートを示すものである。尚、図３１の
フローチャートにおいては、特に断りのない限りパノラ
マ画像合成手段５１７がその処理動作を行うようになっ
ている。

【０１４０】まず、前記ステップＳ２２０１と同様に、
第１の画像（図２２での左画像）の２倍の領域を合成画
像領域として確保する（Ｓ３２０１）。次に、シームレ
ス処理を行う範囲３００３よりも左側の領域を合成画像
領域に単純にコピーする（Ｓ３２０２）。

【０１４１】そして、シームレス処理を行う（Ｓ３２０
３）。すなわち、まず数式 ｘ′＝Ａｘ＋Ｂｙ＋Ｃ ｙ′＝−Ｂｘ＋Ａｙ＋Ｄ により、対応する座標を求め、両方の画像の対応する画
素ｐ１、ｐ２を求める。そして、 合成画素ｐ３＝（１−ａ）＊ｐ１＋ａ＊ｐ２ ａ＝シームレス範囲内での画素のｘ方向の位置／シーム
レス範囲の幅により、シームレス処理を行う。

【０１４２】ステップＳ３２０３でシームレス処理を終
えると、次に、第２の画像の残りの領域を合成画像領域
にコピーし（Ｓ３２０４）、処理を終了する。尚、この
やり方は、図３０のステップＳ２２０３からＳ２２０６
までの処理と同一である。以上で、最終的なパノラマ合
成画像を作成することができる。

【０１４３】以上説明したように本実施の形態によれ
ば、パノラマ合成処理に先だって、合成する画像が文字
主体のものであるのかどうかを判別し、文字主体と判断
されたときにはシームレス処理は行わないことにより、
文字における２重写しの問題を解決することができ、パ
ノラマ合成画像における、つなぎ目が目立ってしまうと
いう問題が解決できる。

【０１４４】（第２の実施の形態）次に、本発明による
第２の実施の形態を説明する。

【０１４５】以下に第２の実施の形態として、文字画像
のときのつなぎ合わせのラインを、オーバーラップ範囲
の中で最も特徴点の少ない（輝度の高い）ラインに設定
する方法について説明する。

【０１４６】尚、この第２の実施の形態での構成及び動
作は、基本的に第１の実施の形態と同様であり、図１９
での３００１のつなぎ合わせのラインを求めるところだ
けが異なる。よってここでは、第１の実施の形態とは異
なる部分についてのみ説明する。

【０１４７】前記第１の実施の形態ではパノラマ合成手
段５１７により、貼り合わせの位置を真ん中のラインに
したが、本実施の形態では図３２に示すように、オーバ
ーラップの中の取り得る貼り合わせの幅２８０２のう
ち、最も、特徴点の少ないライン２８０１をさがし、そ
こで貼り合わせを行うようになっている。これにより、
さらにつなぎ目の目立たない合成処理を行うことができ
る。

【０１４８】次に本実施の形態での動作を説明する。

【０１４９】図３３に本実施の形態での特徴的な部分の
処理のフローチャートを示す。尚、このフローチャート
では、左右の合成の場合として説明する。但し、上下の
場合も同様に考えてよい。

【０１５０】同図において、パノラマ画像合成手段５１
７は、まず、最大値を保持する変数ｍａｘを０に初期化
する（Ｓ３３０１）。そして、図１９の３００２で示す
オーバーラップ範囲の最も左側から、縦のラインに属す
る全ての画素を取得する（Ｓ３３０２）。

【０１５１】次に、これらの画素値の総和を求め変数Ｓ
ｕｍに代入する（Ｓ３３０３）。尚ここで、画像は文字
画像であるから、紙は白かあるいは明るい他の色で、文
字は黒かあるいは暗い他の色であると言える。そこで、
ライン毎に画素の総和を求め、その中で最も大きい値の
ラインが、最も文字を分断することが少ないと言える。
また、ライン毎に文字エッジの個数を調べるため、例え
ば３×３のフィルタを通して、計算して決定してもよい
が、先の文字画像という特徴を利用した単純な加算の方
が処理時間が短くてよい。

【０１５２】そして、変数Ｓｕｍが変数ｍａｘより大き
いかどうか判断し（Ｓ３３０４）、変数Ｓｕｍが変数ｍ
ａｘより大きければ、文字の部分が少ないということに
なり、変数Ｓｕｍを変数ｍａｘに代入して保持する（Ｓ
３３０５）。またラインの位置ｐｏｓも保持する。

【０１５３】以上をオーバーラップ範囲の最も右側まで
順次行うと、保持している位置ｐｏｓが最も文字の部分
が少ないラインということになる。この位置のラインを
図１９でのライン３００１として設定し、以降の処理を
続けていく。

【０１５４】上記のような第２の実施の形態によれば、
オーバーラップの中の取り得る貼り合わせの幅のうち、
最も、特徴点の少ないラインをさがし、そこで貼り合わ
せを行う。これにより、さらにつなぎ目の目立たない合
成処理を行うことができる。

【０１５５】（第３の実施の形態）次に、本発明による
第３の実施の形態を説明する。

【０１５６】以下に第３の実施の形態として、従来のシ
ームレス処理とは違う別の手段として、合成は貼り合わ
せを行い、その貼り合わせた境界部分に沿ってぼかし処
理を加えつなぎ目を消すという手法について説明する。

【０１５７】尚、この第３の実施の形態での構成及び動
作は、基本的に第１の実施の形態と同様であるが、図２
９で示す輝度ヒストグラムの判定部分が不要となり、ま
た図１９で示す合成処理の内容のみが異なっている。よ
ってここでは、第１の実施の形態とは異なる部分につい
てのみ説明する。

【０１５８】本実施の形態によるぼかし処理は、パノラ
マ画像合成手段５１７により、図３４、図３５に示すよ
うに行う。

【０１５９】すなわち、本実施の形態では、図３４に示
すように、第１の画像３５０３はそのまま全てを合成画
像の一部として用い、その端部分３５０１に対してぼか
し処理を加えるようになっている。さらに、ぼかし処理
のフィルタとしては、例えば図３５に示すような３×３
のマトリクス３５０２を用いて行うようになっている。

【０１６０】次に、本実施の形態における動作を説明す
る。

【０１６１】図３６に本実施の形態における画像合成処
理のフローチャートを示す。

【０１６２】同図において、パノラマ画像合成手段５１
７は、まず、第１の画像（図３４での左画像）の２倍の
領域を合成画像領域として確保する（Ｓ３４０１）。そ
して、第１の画像をこの合成画像領域に単純にコピーす
る（Ｓ３４０２）。

【０１６３】次に、合成画像の残りの領域（ｘ，ｙ）に
ついて、数式 ｘ′＝Ａｘ＋Ｂｙ＋Ｃ ｙ′＝−Ｂｘ＋Ａｙ＋Ｄ により、対応する（ｘ′，ｙ′）を求める（Ｓ３４０
３）。そして、（ｘ′，ｙ′）は第２の画像（図３４で
の右画像）内にあるかどうかをチェックし（Ｓ３４０
４）、なければ、後述のステップＳ３４０２へ処理を進
め、あれば（ｘ′，ｙ′）の画素を（ｘ，ｙ）にコピー
する（Ｓ３４０５）。

【０１６４】さらに、以上のステップＳ３４０３からＳ
３４０５までの処理を合成画像の残りの領域全てに対し
て繰り返し行ったかどうかを判断し（Ｓ３４０６）、行
ってなければ、合成画像の残りの領域全てに対して処理
を繰り返すために、前記ステップＳ３４０３に処理を戻
す。

【０１６５】また、ステップＳ３４０６にて全領域に対
して行ったと判断したならば、第１の画像の端部分（図
３４での３５０１）に対して３５０２のフィルタをかけ
てぼかし処理を行い（Ｓ３４０７）、これにて処理は終
了する。

【０１６６】このように、第３の実施の形態では、従来
のシームレス処理とは違う別の手段として、合成は貼り
合わせを行い、その貼り合わせた部分に沿ってぼかし処
理を加えつなぎ目を消すという手法を採ることで、先の
シームレス処理に比べて若干のつなぎ目は残るが、処理
時間が短時間で済む利点がある。また、文字主体の画
像、自然画像という判別も不要となるという効果が得ら
れる。

【０１６７】（第４の実施の形態）次に、本発明による
第４の実施の形態を説明する。

【０１６８】以下に第４の実施の形態として、パノラマ
画像を後でプリントする場合に、使用者が印画するプリ
ンタを前もって指定する手段を持ち、指定されたプリン
タがインクジェットプリンタ（ＢＪ）やレーザービーム
プリンタ（ＬＢＰ）といった誤差拡散法で印字する２値
の出力を行うプリンタ（２値プリタ）の場合は、濃度の
低いライン（輝度の高いライン）で画像の貼り合わせを
行うという方法について説明する。

【０１６９】尚、この第４の実施の形態での構成及び動
作は、基本的に第１の実施の形態と同様であるが、上述
のようにプリンタとして誤差拡散法で印字する２値プリ
ンタが指定された場合には、重複した画像領域における
画像の輝度が最も高いラインを境界にして画像合成を行
うことを特徴とするものであり、これに関する処理の内
容が異なっている。よってここでは、第１の実施の形態
とは異なる部分についてのみ説明する。

【０１７０】図３７に全体の動作を説明するフローチャ
ートを示す。

【０１７１】まず、パノラマ画像合成手段５１７は、使
用者にプリンタが設定されているかチェックし（Ｓ３６
０１）、それが２値プリンタかチェックする（Ｓ３６０
２）。

【０１７２】２値プリンタであれば、以降説明する処理
を行う（Ｓ３６０３）。プリンタが指定されていない、
もしくは２値プリンタでなければ第１の実施の形態の処
理を行う（Ｓ３６０４）。

【０１７３】尚、本実施の形態での合成処理は基本的に
は第１の実施の形態と同じであるが、図２９に示す、文
字画像か自然画像かの判別が不要となる。そして、図１
９でのつなぎ合わせライン３００１を求めるところから
異なる。

【０１７４】図３３は、本実施の形態での処理のフロー
チャートをも示す図であり、画像がオーバーラップして
いる範囲から最も明るいラインを求める際のパノラマ画
像合成手段５１７による処理動作を示すものである。但
し、このフローチャートでは、左右の合成の場合として
説明する。また、上下の場合も同様に考えてよい。

【０１７５】まず、パノラマ画像合成手段５１７は、最
大値を保持する変数ｍａｘを０に初期化する（Ｓ３３０
１）。そして、図１９で示すオーバーラップ範囲３００
２の最も左側から、縦のラインに属する全ての画素を取
得する（Ｓ３３０２）。これらの画素値の総和を求め変
数Ｓｕｍに代入する（Ｓ３３０３）。Ｓｕｍがｍａｘよ
り大きいかどうか判断し（Ｓ３３０４）、Ｓｕｍがｍａ
ｘより大きければ、より明るいラインということにな
り、値Ｓｕｍをｍａｘに代入して保持する（Ｓ３３０
５）。また、ラインの位置ｐｏｓも保持する。以上をオ
ーバーラップ範囲の最も右側まで順次行うと、保持して
いる位置ｐｏｓが最も明るいラインということになる。
この位置のラインを図１９でのライン３００１として設
定する。

【０１７６】次に、パノラマ画像合成手段５１７による
実際の合成処理を行う際の処理動作を説明する。図３０
は、本実施の形態での処理のフローチャートをも示す図
である。

【０１７７】同図において、パノラマ画像合成手段５１
７は、まず、第１の画像（図２２での左画像）の２倍の
領域を合成画像領域として確保する（Ｓ２２０１）。そ
して、第１の画像のライン３００１より左側の領域をこ
の合成画像領域に単純にコピーする（Ｓ２２０２）。合
成画像の残りの領域（ｘ，ｙ）について、数式 ｘ′＝Ａｘ＋Ｂｙ＋Ｃ ｙ′＝−Ｂｘ＋Ａｙ＋Ｄ から、対応する（ｘ′，ｙ′）を求める（Ｓ２２０
３）。

【０１７８】次に、（ｘ′，ｙ′）が第２の画像（図２
２での右画像）内にあるかどうかをチェックし（Ｓ２２
０４）、あれば（ｘ′，ｙ′）の画素を（ｘ，ｙ）にコ
ピーする（Ｓ２２０５）。以上を合成画像の残りの領域
全てに対して繰り返し、処理は終了する。

【０１７９】上記のような第４の実施の形態によれば、
合成画像をプリントする場合のプリンタを指定する手段
を持ち、使用者に指定されたプリンタが、ＢＪや、ＬＢ
Ｐ等の２値の出力を行う２値プリンタの場合は、つなぎ
合わせるラインを、最も輝度の高いライン（最も濃度の
低いライン）にする。これにより、２値プリンタの場
合、誤差拡散法で出力するのが一般的であり、このと
き、濃度の低いところは、最も印字ドットが拡散するの
で、つなぎ目が目立たないという効果を生む。また、現
在のオフィスやホームにおけるプリンタのほとんどが前
記ＢＪやＬＢＰ等の２値プリンタであり、さらに、使用
者がプリンタを明示的に使用した場合のほとんどにおい
て、この処理を適用できると考えられる。

【０１８０】

【発明の効果】以上詳述したように本発明によれば、上
述した構成としたことにより、重複した画像領域の画像
が文字を主体とする画像か否かを判別し、この判別結果
に応じて異なる画像処理を行った後、画像合成を行うこ
とにより、パノラマ合成画像におけるつなぎ目が目立っ
てしまうという問題が解決でき、良好な画像合成が可能
となる。

【０１８１】また、従来のシームレス処理とは違う別の
手段として、複数の画像をつなぎ合わせる境界部分に対
してぼかし処理を加えて画像合成を行うことにより、ぼ
かした部分の解像度はやや落ちるが、つなぎ目が目立た
ない高速な処理を実現できる。

【０１８２】さらに、合成画像を出力するプリンタとし
て誤差拡散法で印字する２値プリンタが指定された場合
には、重複した画像領域における画像の輝度が最も高い
ラインを境界にして画像合成を行うことにより、プリン
トの際に、濃度の低いところは、最も印字ドットが拡散
し、これにより、つなぎ目が目立たないという効果を得
ることができる。

【図面の簡単な説明】

【図１】本装置の概略外観図である。

【図２】本装置の構成を示すブロック図である。

【図３】文字画像に第１の実施例を適用した場合を示す
図である。

【図４】文字画像における輝度のヒストグラムを示す図
である。

【図５】自然画像における輝度のヒストグラムを示す図
である。

【図６】電子カメラ内に記録された画像データのデータ
構造を示す図である。

【図７】電子カメラ内の画像データをコピーする際の画
面を示す図である。

【図８】コンピュータ内でデータを管理するときのデー
タ構造である。

【図９】フルオート合成処理のときに想定される２枚の
画像の組み合わせを示す図である。

【図１０】フルオート合成処理のときに想定される２枚
の画像の組み合わせを示す図である。

【図１１】フルオート合成処理のときに想定される２枚
の画像の組み合わせを示す図である。

【図１２】フルオート合成処理のときに想定される２枚
の画像の組み合わせを示す図である。

【図１３】オート合成処理のユーザインターフェースを
示す図である。

【図１４】オート合成処理のユーザインターフェースを
示す図である。

【図１５】セミオート合成処理のユーザインターフェー
スを示す図である。

【図１６】セミオート合成処理のユーザインターフェー
スを示す図である。

【図１７】合成のときのマッチング範囲を示す図であ
る。

【図１８】対応点抽出処理でのテンプレート画像とマッ
チング範囲を示す図である。

【図１９】オーバーラップ範囲、つなぎ合わせのライン
の設定を示す図である。

【図２０】文字画像か自然画像かを判別するための輝度
のヒストグラムを示す図である。

【図２１】文字画像か自然画像かを判別するための輝度
のヒストグラムを示す図である。

【図２２】合成処理を図示した図である。

【図２３】電子カメラ内の画像データをコピーする際に
行う処理のフローチャートである。

【図２４】パノラマ合成の際の全体の流れを示すフロー
チャートである。

【図２５】オート合成処理のフローチャートである。

【図２６】フルオート合成処理のフローチャートであ
る。

【図２７】セミオート合成処理のフローチャートであ
る。

【図２８】対応点抽出処理のフローチャートである。

【図２９】文字画像かどうかの判別を含めた全体の処理
動作を示すフローチャートである。

【図３０】合成処理のフローチャートである。

【図３１】シームレス処理を含めた合成処理についての
フローチャートである。

【図３２】文字画像に第２の実施例を適用した場合を示
す図である。

【図３３】オーバーラップ範囲から最も明るいラインを
求める際のフローチャートである。

【図３４】第３の実施例におけるぼかし処理を示す図で
ある。

【図３５】ぼかし処理に用いるフィルタを示す図であ
る。

【図３６】第３の実施例における合成処理のフローチャ
ートである。

【図３７】第４の実施例での全体の処理動作を示すフロ
ーチャートである。

【図３８】シームレス処理を説明する図である。

【図３９】オーバーラップ幅が大きいときのシームレス
処理を説明する図である。

【図４０】文字画像にシームレス処理を施した場合を示
す図である。

【符号の説明】

３０１ コンピュータ本体 ３０２ ディスプレー ３０３ マウス ３０６ 汎用インターフェース ３０７ 電子カメラ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 片山 達嗣 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 互いに重複した画像領域を有する複数の
   画像を合成し、画角の広い一つの合成画像を作成するパ
   ノラマ画像合成装置において、前記重複した画像領域の
   画像が文字を主体とする画像か否かを判別する判別手段
   と、この判別結果に応じて異なる画像処理を行った後、
   前記画像合成を行う合成手段とを有することを特徴とす
   るパノラマ画像合成装置。
2. 【請求項２】 互いに重複した画像領域を有する複数の
   画像を合成し、画角の広い一つの合成画像を作成するパ
   ノラマ画像合成装置において、前記複数の画像をつなぎ
   合わせる境界部分に対してぼかし処理を加えて前記画像
   合成を行う合成手段を有することを特徴とするパノラマ
   画像合成装置。
3. 【請求項３】 互いに重複した画像領域を有する複数の
   画像を合成し、画角の広い一つの合成画像を作成すると
   ともに、この合成画像を指定されたプリンタにより印字
   するパノラマ画像合成装置において、 前記プリンタとして誤差拡散法で印字する２値プリンタ
   が指定された場合には、前記重複した画像領域における
   画像の輝度が最も高いラインを境界にして前記画像合成
   を行う合成手段を有したことを特徴とするパノラマ画像
   合成装置。
4. 【請求項４】 前記重複した画像領域の画像が文字を主
   体とする画像か否かを判別する判別手段を有し、前記合
   成手段は、前記プリンタとして誤差拡散法で印字する２
   値プリンタが指定されなかった場合には、前記判別手段
   の判別結果に応じて異なる画像処理を行った後、前記画
   像合成を行うことを特徴とする請求項３記載のパノラマ
   画像合成装置。
5. 【請求項５】 前記合成手段は、前記判別手段が文字を
   主体としない画像だと判別した場合には前記重複した画
   像領域の画像にシームレス処理を施し、文字を主体とす
   る画像だと判別した場合にはシームレス処理を施さない
   で前記画像合成を行うことを特徴とする請求項１又は４
   記載のパノラマ画像合成装置。
6. 【請求項６】 前記判別手段は、前記重複した画像領域
   の画像が文字を主体とする画像か否かを前記重複した画
   像領域における画像の輝度分布を基に判別することを特
   徴とする請求項１、４又は５記載のパノラマ画像合成装
   置。
7. 【請求項７】 前記合成手段は、前記判別手段が文字を
   主体とする画像だと判別した場合には前記重複した画像
   領域の画像にシームレス処理を施さず、前記重複した画
   像領域における画像の輝度が最も高いラインを境界にし
   て前記画像合成を行うことを特徴とする請求項１、４、
   ５又は６記載のパノラマ画像合成装置。