JP4146938B2

JP4146938B2 - パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体

Info

Publication number: JP4146938B2
Application number: JP25403198A
Authority: JP
Inventors: 康達大浦
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1998-09-08
Filing date: 1998-09-08
Publication date: 2008-09-10
Anticipated expiration: 2018-09-08
Also published as: JP2000090232A; US6392658B1

Description

【０００１】
【発明の属する技術分野】
本発明は、連続性のある複数の画像を合成してパノラマ画像を生成するためのパノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
近年、デジタルカメラ（電子スチルカメラ）で得られた複数の画像を基にパノラマ画像を合成するパノラマ画像合成装置が提案されている。この装置では、デジタルカメラにより画像の一部が重複するように被写体像を複数に分割して撮像し、該撮像して得られた複数の画像に対し隣接画像の繋ぎ合わせにより合成してパノラマ画像を生成する。
【０００３】
このような画像処理は、デジタルカメラ自体で行っても良いが、カメラのコスト，画像データのサイズ，処理速度，及び処理プログラムのサイズなどから、パーソナルコンピュータ（以下、パソコンと略記する）等のコンピュータ上で行うのが現実的である。そしてこの場合、ユーザーが複雑な操作を行う必要なく、画像合成を手軽に行うことのできる処理装置や処理プログラムの実現が望まれている。
【０００４】
【発明が解決しようとする課題】
しかしながら、全ての画像からなる全体画像をパソコンのディスプレイに表示し、これを基に隣接画像の繋ぎ合わせ及び確認の処理を行う場合、画像数が多くなるに伴い個々の画像の表示領域が小さくなる。このため、合成処理すべき２つの画像の表示領域が小さくなり、正確な繋ぎ合わせを行うのは困難となる。これに対し、全体画像を表示するのではなく合成処理すべき部分画像のみを順次拡大表示し、この拡大した部分画像を見ながら繋ぎ合わせ処理を行う場合、正確な繋ぎ合わせの確認は可能となるものの、合成結果の全体をイメージすることができないという問題がある。
【０００５】
また、多数の画像に対して隣接画像の繋ぎ合わせを手動で行うには多大な時間がかかり、ユーザーの負担が大きい。一方、隣接画像の繋ぎ合わせを自動で行うようにすれば、ユーザーの負担を小さくできるが、この場合は画像の繋ぎ合わせの自由度が少なくなる。
【０００６】
本発明は、上記事情を考慮して成されたもので、その目的とするところは、画像数が多くなっても画像の正確な繋ぎ合わせを行うことができ、且つ合成処理中にも合成結果の全体をイメージすることのできるパノラマ画像合成装置を提供することにある。
【０００７】
また、本発明の他の目的は、画像数が多くなっても画像の繋ぎ合わせに要するユーザーの負担を小さくすることができ、且つ画像の繋ぎ合わせの自由度を保つことのできるパノラマ画像合成装置を提供することにある。
また、本発明の他の目的は、上記処理をコンピュータで実現するためのパノラマ画像合成プログラムを格納した記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
（構成）
上記課題を解決するために本発明は次のような構成を採用している。
即ち本発明は、画像の一部が重複するように被写体像を複数に分割して撮像された複数の画像データを合成してパノラマ画像を生成するパノラマ画像合成手段と、前記パノラマ画像を表示するパノラマ画像表示手段と、前記パノラマ画像のうち所定範囲の複数の画像を含む部分画像を指定する部分画像指定手段と、前記部分画像を拡大した画像を前記パノラマ画像と同一画面上に表示する部分画像表示手段と、前記部分画像に含まれる複数の画像を再結合するための再処理を行い、この再処理結果に基づいて前記パノラマ画像を再合成する再合成手段と、を具備してなることを特徴とする。
【００１０】
ここで、本発明の望ましい実施態様としては次のものがあげられる。
(1) 部分画像指定手段は、パノラマ画像の表示部において、隣接する２つの部分画像に相当する領域の周囲に枠を表示するものであること。
(2) 再合成手段は、前記部分画像に対して、手動合成又は自動合成のいずれかに任意に切換可能であること。
【００１６】
また本発明は、コンピュータによって読み取り可能で、複数の画像を合成してパノラマ画像を生成するようにコンピュータを制御するためのプログラムを格納した記録媒体であって、
前記プログラムは前記コンピュータを、画像の一部が重複するように被写体像を複数に分割して撮像された複数の画像データを合成してパノラマ画像を生成するパノラマ画像合成手段、前記パノラマ画像を表示するパノラマ画像表示手段、前記パノラマ画像のうち所定範囲の複数の画像を含む部分画像を指定する部分画像指定手段、前記部分画像を拡大した画像を前記パノラマ画像と同一画面上に表示する部分画像表示手段、前記部分画像に含まれる複数の画像を再結合するための再処理を行い、この再処理結果に基づいて前記パノラマ画像を再合成する再合成手段、として機能させることを特徴とする。
【００１７】
（作用）
本発明によれば、パノラマ画像の全体画像と全体画像のうち所定範囲の複数の部分画像を拡大した画像を同一画面上に表示することにより、合成結果の全体をイメージしながら隣接画像の繋ぎ合わせを行うことができる。そしてこの場合、パノラマ画像合成の対象となる部分画像は拡大表示されているので、画像の繋ぎ合わせを正確に行うことが可能となる。さらに、全体画像のうち所定範囲の部分画像を指定し、指定された部分画像に基づいて手動操作により画像を再合成することにより、より正確な画像合成を行うことが可能となる。
【００１８】
また、パノラマ画像の全体画像とパノラマ画像合成の対象となる複数の部分画像を拡大した画像とを同一画面上に表示した状態で、部分画像に基づいて画像を手動又は自動に切り換えて合成することにより、画像の繋ぎ合わせの自由度を保つことができると共に、画像合成に要するユーザーの負担を小さくすることができる。
【００１９】
【発明の実施の形態】
以下、本発明の詳細を図示の実施形態によって説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係わるパノラマ画像合成装置のシステム構成を示す図である。
【００２０】
デジタルカメラ１は、内蔵するＣＣＤ等の撮像素子により光電変換した画像のデータを、例えばフラッシュメモリ等でなる着脱自在の記録媒体２に記録するものである。この記録媒体２は、コンピュータとしてのパーソナルコンピュータ（以下、パソコンと略記する）３に設けられたリーダ部に装着されて、記録された画像データがパソコン３に読み込まれるようになっている。
【００２１】
パソコン３には、画像やその他の処理情報を表示するためのディスプレイ４と、主として文字入力等を行うためのキーボード５と、ディスプレイ４に表示された画面上の位置を指し示すためのマウス６とが接続されている。さらに、このパソコン３には、大量の画像データを記録するためのデジタルレコーダ７や、画像の印刷を行うためのプリンタ８などが、必要に応じて接続されるようになっている。
【００２２】
次に、図２を参照して上記パソコン３の内部構成について、簡単に説明しておく。
このパソコン３は、画像合成処理プログラムに従って画像の繋ぎ合わせを行うと共に、その他の各種プログラムに応じて各種の演算や制御などを行う手段であり、画像合成手段を兼ねたＣＰＵ１１と、このＣＰＵ１１の作業領域であって上記画像合成処理プログラムがロードされるメインメモリ１２と、例えばハードディスクやフロッピーディスク等でなり上記画像合成処理プログラムを記録した記録媒体たる内部記録媒体１３と、前記デジタルレコーダ７やプリンタ８などの各種の外部機器に接続するための外部ポート１４と、前記ディスプレイ４に接続するインターフェース（以下、ＩＦと略記する）１６と、前記キーボード５やマウス６を接続するＩＦ１７と、前記記録媒体２が電気的に接続されるコネクタ１８及びＩＦ１５と、を有して構成されている。そして、ＣＰＵ１１，メインメモリ１２，内部記録媒体１３，外部ポート１４，ＩＦ１５，１６，１７は、バスを介して互いに接続されている。
【００２３】
図３は、画像の繋ぎ合わせ処理の基本的なアルゴリズムを示したものであり、このアルゴリズムについて図４を参照して説明する。
ここで、繋ぎ合わせ処理が行われる前の段階において、ＣＰＵ１１により、パノラマ画像を構成する複数コマの画像情報が、識別情報に基づいて、図４の最上段に示すように、左から右に向かう所定の順序に並べ替えられるようになっている。
【００２４】
この繋ぎ合わせ処理が始まると、まず左から１枚目の画像（図４の画像１）を読み込むと共に（ステップＳ１）、その次の右画像（図４の画像２）を読み込んで（ステップＳ２）、これら２枚の画像について繋ぎ合わせ演算処理を行って（ステップＳ３）、結果画像を得る。そして、次の右画像はまだあるか否かを判断し（ステップＳ４）、ある場合には上記処理した結果画像を左画像として（ステップＳ５）、上記ステップＳ２に戻り、続く右側画像の繋ぎ合わせ処理を行う。また、ステップＳ４において、右画像がもう無いと判断される場合には、この処理を抜ける。
【００２５】
このように、上記の繋ぎ合わせ処理においては、左側から画像を順に２枚ずつ順次繋ぎ合わせて最終的なパノラマ画像を、自動処理によって得るようになっている。
【００２６】
次に、本実施形態の特徴である全体プレビューと部分プレビューの同時表示、及び手動操作による再合成処理について説明する。図５は、その処理内容を示すフローチャートである。なお、このフローは、例えば磁気ディスク等の記録媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御される先のパソコンによって実現される。
【００２７】
まず、インデックス画像（サムネイル画像）の表示を行い（ステップＳ１）、パノラマ対象画像を判別する（ステップＳ２）。この判別は、デジタルカメラで撮像画像を記録する際に、通常の画像とパノラマ対象画像とに異なる識別名等を付しておくことにより可能となる。そして、パノラマ合成処理対象画像（ステップＳ３）を選択する。
【００２８】
パノラマ合成処理対象画像が選択されると、選択された画像が例えば左側から順に自動処理により繋ぎ合わせ処理される（ステップＳ４〜Ｓ６）。この処理は、前記図３及び図４に示したアルゴリズムと基本的に同じである。また、この処理を途中で中断した場合は、後述するように中断するまでに合成処理した部分画像が表示される（ステップＳ７）。
【００２９】
全ての画像の繋ぎ合わせ処理が終わると、その自動処理結果が図６に示すように表示される（ステップＳ８）。図中の上側の領域が全体画像を示し、中央の領域が部分画像を示し、下側の領域が各種操作選択画面を示している。なお、全体画像の一部は枠で囲っており、この枠で囲った領域が部分画像として拡大表示されている。部分画像の直下にはスクロールバーがあり、このスクロールバーにより部分画像を移動することにより、全体画像における枠の位置も移動するようになっている。また、各種操作選択画面には、自動処理／手動処理の切換、合成処理のスタート／ストップの切換、等を指定するためのスイッチ領域が設けられている。
【００３０】
このように、合成結果画像の全体プレビューと部分プレビューを同一ウインドウで同時に表示する。全体プレビューは、合成結果の全体を一つのウインドウ内で表示し、これにより合成結果の全体イメージを把握することができる。部分プレビューは、合成結果の一部をやや大きめに表示し、これによりスクロールによって各画像を結合した部分が正しく合成されているかを確認できる。また、全体プレビュー内に、部分プレビューが表示されている箇所を示す枠を表示することにより、２つのプレビューの関連性が明確になる。
【００３１】
次に、部分画像をスクロールすることにより画像を結合した部分が正しく合成されているか否かを確認し（ステップＳ９）、手動で繋ぎ合わせの再処理を行うか否かを選択する（ステップＳ１０）。もし、正しくないところを発見した場合は、全体プレビュー上の枠をクリックすることにより（ステップＳ１１）、再処理すべき２枚の画像を選択し、全体の結果画像を２つに切り離して表示する（ステップＳ１２）。この状態を、図７に示している。
【００３２】
手動処理（ステップＳ１３）としては、左右の部分画像の結合すべきポイントを画面上で例えば２箇所ずつ選択することにより行う。図７中の十字マークが結合ポイントである。再処理結果は、全体プレビュー及び部分プレビューに反映される（ステップＳ１４）。そして、ステップＳ９に戻り、再び部分画像をスクロールすることにより画像を結合した部分が正しく合成されているか否かを確認し、手動で繋ぎ合わせの再処理を行うか否かを選択する。再処理を行わない場合は終了する。
【００３３】
このように本実施形態によれば、パノラマ画像を構成する全ての画像からなる全体画像に相当する全体プレビューと、全体画像の一部に相当する部分プレビューとを同一画面に同時表示することにより、合成結果の全体イメージを把握しながら、画像を結合した部分が正しく合成されているかを簡易に確認できる。しかも、全体プレビュー内に、部分プレビューで表示されている個所を示す枠を表示することにより、２つのプレビューの関連性が明確になる。また、部分プレビューから合成結果を簡単にしかもはっきりと確認することができることから、正しくない部分のみを手動処理により再合成することにより、パノラマ画像合成処理を正確に且つ速やかに行うことができる。
【００３４】
（第２の実施形態）
図８は、本発明の第２の実施形態に係わるパノラマ画像合成処理を示すフローチャートである。本実施形態は、画像合成処理の自動処理と手動処理を切り替えを可能としたものである。
【００３５】
自動処理結果表示（ステップＳ８）までは前記図５に示した第１の実施形態と同様である。本実施形態ではこの処理の後、処理結果画像が満足できるものであるかを判断し（ステップＳ９）、そうでない場合は以降の処理を選択する（ステップＳ１０）。即ち、自動処理を行うか（ステップＳ１１）、手動処理を行うか（ステップＳ１２）、又は残り全てに自動処理を行うか（ステップＳ１３）を選択する。自動処理の仕方及び手動処理の仕方は第１の実施形態と同様である。
【００３６】
自動処理又は手動処理が選択された場合、その処理による部分処理結果が表示される（ステップＳ１４）。そして、次の処理対象画像があるか否かが判定され（ステップＳ１５）、有る場合はステップＳ１０に戻り、無い場合は全体の処理結果を表示して（ステップＳ１６）、パノラマ画像合成処理を終了する。また、残り全ての自動処理が選択された場合は、全体の処理結果を表示して（ステップＳ１６）、パノラマ画像合成処理を終了する。
【００３７】
ここで、図９（ａ）〜（ｃ）に示すような３枚の画像の合成を例に取り説明する。ステップＳ８の自動処理結果表示では、図１０に示すように、左側から１枚目（ａ）と２枚目（ｂ）が拡大表示される。このとき、前記図６に示すように、全体プレビューと部分プレビューを同時表示するようにしても良い。ここで、自動処理を選択すると、先に説明したアルゴリズムに従って画像の繋ぎ合わせが行われ、図１１に示すように、１枚目と２枚目の処理結果が表示される。このとき、全体プレビューと部分プレビューが同時表示される。次いで、図１２に示すように、２枚目と３枚目に対し手動処理を選択する。これにより、最終的に図１３に示すようなパノラマ画像が作成される。
【００３８】
このように本実施形態によれば、部分画像を拡大表示した部分プレビューに基づいて、手動又は自動を任意に切り換えて画像を合成することができる。このため、全ての画像を手動で合成処理するのに比べて、合成処理に要するユーザーの負担を大幅に軽減することができる。また、全ての画像を自動で合成するのではなく、一部を任意に手動で処理できることから、より正確な合成（繋ぎ合わせ処理）が可能となる。さらに、ユーザーのニーズに応じた特殊な繋ぎ合わせも可能となり、画像合成処理の自由度が増す。
【００３９】
また、手動合成又は自動合成を選択する際に、全体プレビューと部分プレビューとを同時表示することにより、第１の実施形態と同様に、合成結果の全体イメージを把握しながら、画像を結合した部分が正しく合成されているかを簡易に確認することができる。
【００４０】
なお、パノラマの自動合成処理において、途中の結果画像を進行状況のプレビューとして画像番号と共に表示することにより、画像合成がどこまで処理されているかが一目瞭然になる。ここで、前記図５及び図８のステップＳ５に相当するストップボタンを画面中に設けることにより、ユーザーが上記の進行状況を確認しながら、処理を任意に中断でき、今までの処理結果を部分画像のパノラマ合成画像として得ることができる。
【００４１】
このとき、前記３枚の画像をパノラマ処理する場合は、図１４に示すような画面となる。また、その処理結果は、図１５に示すような画面となる。
また、複数画像をパノラマ処理する場合は、図１６に示すように、手動処理の特徴点／対応点抽出の時に、今までの合成結果画像をプレビューとして別ウインドウに表示することにより、ユーザーがスクロールしなくても、結果の把握や処理がどこまで進行していたかを簡易に確認することができる。
【００４２】
なお、本発明は上述した各実施形態に限定されるものではない。第２の実施形態においては、ステップＳ１０の処理選択の前に、予め自動で画像合成処理を行ったが、必ずしも予め画像合成処理を行う必要はない。即ち、前記図１０に示す状態で２つの部分画像を見ながら自動又は手動を選択して合成処理を進めるようにしても良い。また、自動合成における画像の繋ぎ合わせ処理は、必ずしも前記図３及び図４に示したアルゴリズムに限るものではなく、仕様に応じて適宜変更可能である。同様に、手動合成による画像の繋ぎ合わせ処理も、仕様に応じて適宜変更可能である。
【００４３】
また、実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フロッピーディスク，ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、通信媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
その他、本発明の要旨を逸脱しない範囲で、種々変形して実施することができる。
【００４４】
【発明の効果】
以上詳述したように本発明によれば、パノラマ画像の全体プレビューと部分プレビューとを同一画面上に表示することにより、合成結果の全体をイメージしながら隣接画像の繋ぎ合わせを行うことができる。従って、画像数が多くなっても画像の正確な繋ぎ合わせを行うことができ、且つ合成処理中にも合成結果の全体をイメージすることができる。
【００４５】
また、部分プレビューに基づいて手動又は自動に切り換えて画像を合成処理することにより、画像数が多くなっても画像の繋ぎ合わせに要するユーザーの負担を小さくすることができ、且つ画像の繋ぎ合わせの自由度を保つことができる。
【図面の簡単な説明】
【図１】第１の実施形態に係わるパノラマ画像合成装置のシステム構成を示す図。
【図２】図１に示したパソコンの内部構成を示すブロック図。
【図３】画像の繋ぎ合わせ処理の基本的なアルゴリズムを示す図。
【図４】図３のアルゴリズムにより繋ぎ合わされる画像の様子を示す図。
【図５】本実施形態の特徴である全体プレビューと部分プレビューの同時表示、及び手動操作による再合成処理を示すフローチャート。
【図６】全体プレビューと部分プレビューを同一ウインドウに表示した状態を示す図。
【図７】再処理すべき２つの部分画像を選択した状態を示す図。
【図８】第２の実施形態に係わるパノラマ画像合成処理を示すフローチャート。
【図９】パノラマ処理すべき３枚の画像を示す図。
【図１０】１枚目と２枚目の画像が拡大表示されている状態を示す図。
【図１１】１枚目と２枚目の画像が合成処理された結果画像を示す図。
【図１２】２枚目と３枚目の画像が拡大表示されている状態を示す図。
【図１３】３枚の画像が合成処理された結果画像を示す図。
【図１４】パノラマの自動処理において、途中の結果画像を進行状況のプレビューとして表示している状態を示す図。
【図１５】パノラマ画像合成処理を途中で中断したときの結果画像を示す図。
【図１６】手動処理の特徴点／対応点抽出の時に、今までの合成結果画像をプレビューとして別ウインドウに表示した状態を示す図。
【符号の説明】
１…デジタルカメラ
２…記録媒体
３…パソコン
４…ディスプレイ
１１…ＣＰＵ
１２…メインメモリ
１３…内部記録媒体

Claims

画像の一部が重複するように被写体像を複数に分割して撮像された複数の画像データを合成してパノラマ画像を生成するパノラマ画像合成手段と、
前記パノラマ画像を表示するパノラマ画像表示手段と、
前記パノラマ画像のうち所定範囲の複数の画像を含む部分画像を指定する部分画像指定手段と、
前記部分画像を拡大した画像を前記パノラマ画像と同一画面上に表示する部分画像表示手段と、
前記部分画像に含まれる複数の画像を再結合するための再処理を行い、この再処理結果に基づいて前記パノラマ画像を再合成する再合成手段と、
を具備してなることを特徴とするパノラマ画像合成装置。
前記部分画像指定手段は、前記パノラマ画像の表示部において、前記部分画像に相当する領域の周囲に枠を表示するものであることを特徴とする請求項１記載のパノラマ画像合成装置。
前記再合成手段は、前記部分画像に対して、手動合成又は自動合成のいずれかに任意に切換可能であることを特徴とする請求項１記載のパノラマ画像合成装置。
コンピュータによって読み取り可能で、複数の画像を合成してパノラマ画像を生成するようにコンピュータを制御するためのプログラムを格納した記録媒体であって、
前記プログラムは前記コンピュータを、画像の一部が重複するように被写体像を複数に分割して撮像された複数の画像データを合成してパノラマ画像を生成するパノラマ画像合成手段、前記パノラマ画像を表示するパノラマ画像表示手段、前記パノラマ画像のうち所定範囲の複数の画像を含む部分画像を指定する部分画像指定手段、前記部分画像を拡大した画像を前記パノラマ画像と同一画面上に表示する部分画像表示手段、前記部分画像に含まれる複数の画像を再結合するための再処理を行い、この再処理結果に基づいて前記パノラマ画像を再合成する再合成手段、として機能させることを特徴とするパノラマ画像合成プログラムを格納した記録媒体。