JPH0991409A - パノラマ画像合成システム - Google Patents

Abstract

(57)【要約】 【課題】 ダミー領域の判別が可能なパノラマ画像合成
システムを提供することを目的とする。 【解決手段】 例えばパノラマ合成の結果が矩形でない
合成画像を矩形の画像データとする際、本来の画像デー
タが存在しない領域（ダミー領域）に画素値として予め
定められた値をダミーデータとして与えると共に、本来
の画像データを有する領域に与える画素値を算出した結
果がダミーデータと同じ値となったときに、この画素に
対してダミーデータ近傍の値を与えることによって、後
にダミー領域の判別が可能なパノラマ合成画像データを
作成することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の一部がオー
バーラップしている複数の画像を、例えばコンピュータ
上で合成するパノラマ画像合成システムに関するもので
ある。

【０００２】

【従来の技術】ワイドな画像を撮影して１枚の画像にす
るという要求から、画像の一部の辺がオーバーラップし
ている複数の画像を合成するパノラマ画像合成と呼ばれ
る手法が従来より一般的に知られている。

【０００３】電子カメラにおいては、銀塩カメラやスキ
ャナと比較した短所として、解像度の低さ（画像数の少
なさ）が指定されている。この電子カメラで撮影された
画像にとってパノラマ画像合成は、ワイドな画像を撮る
ということだけでなく、高解像度な画像を撮る手段とし
ても重要である。具体的には、１枚の紙の原稿や雑誌等
を複数に分けて撮影し、スキャナ並みの高解像度データ
を取得したり、また風景を複数に分割してワイドで高解
像度に撮影したりすることに威力を発揮する。

【０００４】パノラマ合成処理では、複数枚の矩形の画
像から対応点を抽出し、対応点が同じ位置に配置される
ように該複数毎の画像を移動、回転、拡大縮小した後、
対応する画素同士の画素値の平均値をとるなどして合成
画像を得ていた。

【０００５】ところが、移動、回転、拡大縮小を行うた
め、合成される画像は必ずしも矩形とはならず、一般に
用いられる画像ファイルフォーマットで合成結果を保存
するために、合成された画像を取り囲む矩形を作り、こ
の矩形のうち、画像データの存在しない部分にはダミー
データを与える。これによって、矩形の合成画像データ
を作成して、任意の画像ファイルフォーマットにて、合
成画像ファイルを作成していた。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来例では、合成画像に対して、さらに画像を合成しよう
としたときに不都合が起きる。つまり、合成画像のダミ
ーデータとして、本来の画像データの画素値（濃度）の
ダイナミックレンジ内の値を与えていたため、合成画像
にさらに画像を合成しようとした際、合成画像中の画素
値が画像本来のデータなのか、ダミーデータなのかの区
別がつかないため、以下の問題が生じていた。

【０００７】（１）パノラマ合成処理で一般的に行われ
る対応点抽出処理の際、ダミーデータを対応点抽出の演
算に用いてしまうため、間違った対応点を見つけてしま
う。

【０００８】（２）対応点抽出処理における対応点サー
チの際、ダミーデータの領域までサーチしてしまうた
め、余計の演算に時間を費やしていた。

【０００９】（３）対応する画素の画素値から、合成画
像の画素値を算出する際、ダミーデタを含めて算出する
ため、合成画像の画素値が原画像の画素値とはほど遠い
値になってしまうことがあった。

【００１０】本発明は上記従来の問題点に鑑み、ダミー
領域の判別が可能で、対応点抽出処理の高速化が図られ
ると共に、適切な濃度を有した合成画像を得ることがで
きるパノラマ画像合成システムを提供することを目的と
する。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に第１の発明は、複数の画像を合成してパノラマ画像を
作成する際に、合成された画像が矩形でない場合に該合
成された画像を囲む矩形画像をパノラマ画像として作成
するパノラマ画像合成システムにおいて、前記矩形画像
を作成するときに、画像データの存在しない画素の画素
値としてダミーデータを与えるダミーデータ付加手段
と、前記ダミーデータがｎの値を有した場合に、画像デ
ータ中のｎの値を有する画素値をｎではないｎ近傍の値
に置き換えて前記パノラマ画像を作成するパノラマ画像
作成手段とを備えたものである。

【００１２】第２の発明は、上記第１の発明において、
前記複数の画像の合成に先だって行われる対応点抽出処
理における対応点サーチ処理中に、前記ダミーデータを
有する領域を、前記対応点サーチ処理を行うサーチ範囲
より除外するようにしたものである。

【００１３】第３の発明は、上記第２の発明において、
複数画像から合成された画像の画素値を算出する際に、
該合成前の複数画像に対応する画素の画素値の中に、ダ
ミーデータ以外の画素値が一つ以上存在する画素につい
ては、該ダミーデータ以外の一つ以上の画素値から合成
画像の画素値を算出するようにしたものである。

【００１４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００１５】図１は、本発明の実施の一形態に係るパノ
ラマ画像合成システムの構成を示すブロック図、及び図
２は、本発明のパノラマ画像合成システムが実施される
プラットフォームであるパーソナルコンピュータシステ
ムの構成を示す外観図である。なお、本実施形態は、電
子カメラで撮影された複数の画像をパーソナルコンピュ
ータ上で合成して１枚のパノラマ画像を作成する場合を
示すものである。

【００１６】まず、図２に示すパーソナルコンピュータ
システムにおいて、１はコンピュータシステム本体、２
はデータを表示するディスプレイ、３は代表的なポイン
ティングデバイスであるマウス、４はマウスボタン、５
はキーボードである。さらに、コンピュータシステム本
体１には、汎用インターフェース６によって電子カメラ
７が接続されている。汎用インターフェース６は、双方
向パラレルインタフェースやＳＣＳＩインターフェース
等の、高速で画像転送可能な汎用インターフェースであ
る。

【００１７】次に、本実施形態のパノラマ画像合成シス
テムの構成を図１を用いて説明する。

【００１８】図１において、１１はハードウェア、１２
はハードウェア１１の上で動作するオペレーティングシ
ステム（ＯＳ）、１３はＯＳ１２の上で動作するアプリ
ケーションソフトウェアである。なお、ハードウェア１
１とＯＳ１２を構成するブロックのうち、構成要件とし
ては当然含まれるが本発明の実施形態を説明する上で直
接必要としないブロックに関しては図示していない。そ
のような図示していないブロックの例として、ハードウ
ェアではＣＰＵやメモリ等が、またＯＳではメモリ管理
システム等がある。

【００１９】また、１４はファイルやデータを物理的に
格納するハードディスク、１５はＯＳを構成するファイ
ルシステムであり、アプリケーションソフトウェアがハ
ードウェアを意識せずにファイルの入出力を行えるよう
にする機能がある。１６はファイルシステム１５がハー
ドディスク１４の読み書きを行うためのディスクＩＯイ
ンターフェースである。１７はＯＳを構成する描画管理
システムであり、アプリケーションソフトウェアを意識
せずに描画が行えるようにする機能がある。

【００２０】１８は描画管理システム１７がディスプレ
イ２に描画を行うためのビデオインターフェースであ
る。１９はＯＳを構成する入力デバイス管理システムで
あり、アプリケーションソフトウェアを意識せずにユー
ザの入力を受け取ることができるようにする機能があ
る。２０は入力デバイス管理システム１９がキーボード
５の入力を受け取るためのキーボードインターフェー
ス、２１は入力デバイス管理システム１９がマウス３か
らの入力を受けとることができるようにするためのマウ
スインターフェースである。さらに、電子カメラ７は、
双方向インターフェースもしくはＳＣＳＩインターフェ
ース２２に接続され、入力デバイス管理システム１９を
通して、画像データ等のやり取りを行うことができる。

【００２１】パノラマ画像合成システム３０は、ユーザ
からの指示に従って、デジタルカメラ７またはハードデ
ィスク１４に格納されているパノラマ撮影モードで撮影
した画像を受け取り、パノラマ画像合成処理を行う。そ
して、合成した結果の画像をハードディスク１４等に格
納する。３１は、パノラマ画像合成システム３０のユー
ザインターフェースを提供するために、画像等のデータ
を表示するデータ表示手段である。３２は、合成画像に
対して、さらには画像を合成する際、合成画像からダミ
ーデータを有する領域を検出するためのダミー領域検出
手段である。３３は、合成する複数画像の各対応画素値
から合成画像の画素値を算出する合成画素値算出手段で
ある。３４は、合成された画像を取り囲む矩形を算出
し、さらに矩形内の領域を管理する矩形領域管理手段で
ある。３５は、画像の対応点抽出処理を行う対応点抽出
手段である。

【００２２】図３は、本実施形態のパノラマ画像合成シ
ステム３０による合成処理の処理手順を示す図、及び図
４は、デジタルカメラ７によりパノラマ撮影を行った３
枚の画像を示す図である。

【００２３】次に、図４に示す３枚の画像５１，５２，
５３を本実施形態のパノラマ画像合成システム３０がパ
ノラマ合成する処理手順を説明する。

【００２４】本実施形態のパノラマ画像合成システム３
０は、ユーザからの指示に従って、デジタルカメラ７よ
り、パノラマ撮影された画像データを読み込む。ユーザ
が図４の第１画像５１と第２画像５２の読み込みを指示
すると、本実施形態のパノラマ画像合成システム３０
は、第１画像５１と第２画像５２とを自身の管理するメ
モリ上に読み込む。なお、本実施形態における画像デー
タは、０〜２５５の画素値を有するシングルプレーンの
モノクローム画像データであり、縦４８０、横６４０の
画素数を有するものとする。

【００２５】ここで、ユーザがパノラマ画像合成システ
ム３０に対して、第１画像５１と第２画像５２とのパノ
ラマ合成処理実行の命令を入力すると、パノラマ画像合
成システム３０は図３の処理手順で示されるパノラマ合
成処理を開始する。

【００２６】まず、ステップＳ１にて、合成する画像
（第１画像５１及び第２画像５２）に既にパノラマ合成
処理が行われた画像がある場合に、ユーザにこれの指定
を行わせるためのユーザインターフェースをディスプレ
イ２上に表示する。次にステップＳ２にて、合成画像が
ステップＳ１にて１つでも指定された場合には、判断が
肯定（ＹＥＳ）となり、ステップＳ３へと処理を進め
る。

【００２７】ステップＳ３において、ダミー領域検出手
段３２は、利用者が合成画像であることを指定した画像
についてダミー領域を検出し、この領域情報をメモリ上
に記憶する。ステップＳ１にて合成画像の指定がなかっ
た場合には、判断が否定（ＮＯ）となりステップＳ４へ
と処理を進める。ここで、図４の画像５１及び画像５２
はどちらもパノラマ合成された画像ではないので、ステ
ップＳ２の判断は否定（ＮＯ）となり、ステップＳ４へ
と処理を進める。

【００２８】ステップＳ４では、対応点抽出手段３５に
より、第１画像５１及び第２画像５２の対応点抽出処理
が行われる。

【００２９】対応点抽出処理では、以下のような手順で
処理を行う。

【００３０】（１）第１画像５１の内、比較的空間周波
数の高いダミー領域ではないエリア（ここではエリア１
とする）を選択し、第２画像５２の中から、エリア１と
の画素値の二乗和が最小となる同面積のエリア（ここで
はエリア２とする）をサーチする。サーチする際、第２
画像５２の中にダミー領域がある場合にはダミー領域を
避けてサーチする。

【００３１】（２）サーチされたエリア２とエリア１と
の差分の二乗和が所定の閾値以下であるなら、エリア１
とエリア２との対応関係を抽出された対応点として残
す。

【００３２】（３）第１画像５１の中から例えば１００
カ所の空間的に分散したダミー領域ではないエリアを選
択して、上記手順（１）及び（２）の処理を繰り返す。

【００３３】（４）上記手順（１）〜（３）の処理で２
つ以上の対応点が抽出されたら、次の手順（５）の処理
へ移る。２つ以上の対応点が抽出されないときには対応
点抽出処理失敗のフラグを立てて、対応点抽出処理を終
了する。

【００３４】（５）抽出された２つ以上の対応点の中か
ら、２つの対応点候補を選び２つの対応点を空間的に一
致させるために、第２画像５２に施すべき横方向のずら
し量Ｘ、縦方向のずらし量Ｙ、拡大縮小率ｎ、回転角度
θの各パラメータを算出した後、対応点抽出処理成功の
フラグを立てて、対応点抽出処理を終了する。また、必
要に応じて抽出された２つ以上の対応点から２つの対応
点を選ぶ他の組み合わせ（他の組み合わせがあれば）に
ついても、Ｘ，Ｙ，ｍ，θを求めて、各組み合わせにお
けるＸ，Ｙ，ｍ，θの平均値をパラメータ算出結果とし
て、対応点抽出処理成功のフラグを立てた後、対応点抽
出処理を終了してもよい。

【００３５】次にステップＳ５では、フラグを参照する
ことによってステップＳ４の対応点抽出処理が成功した
か否かを判断する。成功の場合には判断が肯定（ＹＥ
Ｓ）となり、ステップＳ６へと処理を進める。失敗の場
合には判断が否定（ＮＯ）となり、ステップＳ１０に
て、パノラマ画像合成処理失敗のメッセージをディスプ
レイ２に表示した後、図３に示されるパノラマ合成処理
を終了する。なお、図４における第１画像５１及び第２
画像５２では対応点が２つ以上見つかり、ステップＳ４
での処理が成功してステップＳ５よりステップＳ６へと
処理を進めるものとする。

【００３６】次に、ステップＳ６にて矩形領域管理手段
３４は、ステップＳ４で求められたＸ，Ｙ，ｍ，θの各
値を用いて、合成結果画像の矩形を算出し、この矩形の
中を第１画像領域、第２画像領域、及び第１〜第ｎダミ
ーデータ領域に領域分けしたマップを作成する。例え
ば、図４における第１画像５１及び第２画像５２では、
図５に示すように第１画像５１及び第２画像５２を取り
囲む領域６０は、第１画像領域６１、第２画像領域６
２、第１ダミー領域６３、第２ダミー領域６４、第３ダ
ミー領域６５、及び第４ダミー領域６６の各領域に領域
分けして管理する。

【００３７】また、図６に示すように第１画像（例えば
図５に示す矩形領域６０）と第２画像（例えば画像５
３）内にダミー領域が存在する場合には、これらのダミ
ー領域のうち、もう一方の画像のダミー領域でない領域
と重ならない領域を、やはりダミー領域とする。図７
は、この様子を示すものであるが、第１画像のダミー領
域（図中斜線部分）のうち、第２画像と重ならない部分
（縦線部分）７０がやはりダミー領域となっていること
が分かる。

【００３８】次にステップＳ７にて、合成画素値算出手
段３３は、第１矩形領域内の全画素について、以下の
（１）〜（４）の規則に従って画素値を求め、パノラマ
合成結果用メモリにストアしてゆく。

【００３９】（１）ダミー領域では合成画素値を２５５
とする。

【００４０】以下、ダミー領域以外について、 （２）第１画像領域かつ第２画像領域外では、第１画像
の画素値を合成画素値とする。もし第１画像の画素値が
２５５であるならば、２５５を合成画素値とする。

【００４１】（３）第２画像領域かつ第１画像領域外で
は、第２画像の画素値を合成画素値とする。もし、第２
画像の画素値が２５５であるならば、２５４を合成画素
値とする。

【００４２】（４）第１画像領域かつ第２画像領域で
は、（第１画像の画素値＋第２画像の画素値）／２を合
成画素値とする。もしこの値が２５５であるならば、２
５４を合成画素値とする。なお、本実施形態では第１画
像と第２画像の対応画素値の平均値を合成画素値とした
が、計算方法はこの限りではない。

【００４３】ステップＳ７にて、第１矩形領域内の全て
の画素について画素値を求め、パノラマ合成結果用メモ
リに代入したら、ステップＳ８にてこれをパノラマ合成
結果画像として、ディスプレイ２に表示した後、図３の
パノラマ合成処理手順で示されるパノラマ合成処理を終
了する。

【００４４】このように、本実施形態におけるパノラマ
画像合成システムでは、合成画像の画素値を算出する
際、本来の画像データが存在しない領域をダミー領域と
して扱い、この領域内の画素に対して、予め定められた
ダミーデータ認識用画素値（例えば２５５等）をダミー
データとして与える。本来の画像データを有する画素の
画素値置が前記ダミーデータ認識用画素値であった場合
に、この画素に対してはダミーデータ認識用画素値近傍
の値（例えば２５４）を与えることによって、後にダミ
ー領域を認識することが可能なパノラマ合成画像データ
を作成することができる。

【００４５】そして、パノラマ合成画像に対してさらに
他の画像を合成する際、ダミー領域検出手段３２がダミ
ーデータ認識用画素値を有する領域を検出し、対応点抽
出手段３５が対応点を抽出する際に、サーチエリヤから
ダミー領域を除外するため、対応点抽出の高速化と精度
の向上が図れる。

【００４６】また、合成画素値算出手段は、合成画像の
画素値を算出する際、ダミー領域の画素値を本来の画像
情報と間違って合成画素値算出の演算に用いてしまうこ
とがないため、算出される合成画像の画素値が誤って原
画像の画素値とほど遠い値となることはない。

【００４７】なお、本発明のパノラマ合成システムで
は、パノラマ合成処理により得られた合成結果画像をフ
ァイルとして、ハードディスクに保存することができ
る。保存する画像ファイルのフォーマットとしては現在
一般的に用いられているもので構わない。

【００４８】

【発明の効果】以上詳述したように、第１の発明によれ
ば、矩形画像を作成するときに、画像データの存在しな
い画素の画素値としてダミーデータを与えるダミーデー
タ付加手段と、前記ダミーデータがｎの値を有した場合
に、画像データ中のｎの値を有する画素値をｎではない
ｎ近傍の値に置き換えてパノラマ画像を作成するパノラ
マ画像作成手段とを備えたので、例えば、パノラマ合成
の結果が矩形でない合成画像を矩形の画像データとする
際、本来の画像データが存在しない領域（ダミー領域）
に画素値として予め定められた値をダミーデータとして
与えると共に、本来の画像データを有する領域に与える
画素値を算出した結果がダミーデータと同じ値となった
ときに、この画素に対してダミーデータ近傍の値を与え
ることによって、後にダミー領域の判別が可能なパノラ
マ合成画像データを作成することができる。

【００４９】第２の発明によれば、上記第１の発明にお
いて、前記複数の画像の合成に先だって行われる対応点
抽出処理における対応点サーチ処理中に、前記ダミーデ
ータを有する領域を、前記対応点サーチ処理を行うサー
チ範囲より除外するようにしたので、例えば、パノラマ
合成された画像に対して更に他の画像をパノラマ合成す
る際には、ダミーデータを有するダミー領域を検出し、
この領域を対応点抽出処理での対応点サーチエリアから
除外するため、対応点抽出処理の高速化が図れると共
に、ダミーの領域を対応点として抽出してしまう誤りを
無くすことができる。

【００５０】第３の発明によれば、上記第２の発明にお
いて、複数画像から合成された画像の画素値を算出する
際に、該合成前の複数画像にの対応する画素の画素値の
中に、ダミーデータ以外の画素値が一つ以上存在する画
素については、該ダミーデータ以外の一つ以上の画素値
から合成画像の画素値を算出するようにしたので、例え
ば、合成結果画像の画素値（濃度）を算出する際に、ダ
ミーの画素値を誤って画像情報として扱ってしまうこと
がないため、適切な濃度を有した合成画像を得ることが
できる。

【図面の簡単な説明】

【図１】本発明の実施の一形態に係るパノラマ画像合成
システムの構成を示すブロック図である。

【図２】本発明のパノラマ画像合成システムが実施され
るプラットフォームであるパーソナルコンピュータシス
テムの構成を示す外観図である。

【図３】本実施形態のパノラマ画像合成システム３０に
よる合成処理の処理手順を示す図である。

【図４】パノラマ撮影画像のサンプルを示す図である。

【図５】矩形領域管理手段による領域分割例を示す図で
ある。

【図６】ダミー領域算出方法を説明するための図であ
る。

【図７】パノラマ合成画像を示す図である。

【符号の説明】

３０ パノラマ画像合成システム ３１ データ表示手段 ３２ ダミー領域検出手段 ３３ 合成画素値算出手段 ３４ 領域管理手段 ３５ 対応点抽出手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 矢野 光太郎 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内 (72)発明者 片山 達嗣 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の画像を合成してパノラマ画像を作
   成する際に、合成された画像が矩形でない場合に該合成
   された画像を囲む矩形画像をパノラマ画像として作成す
   るパノラマ画像合成システムにおいて、 前記矩形画像を作成するときに、画像データの存在しな
   い画素の画素値としてダミーデータを与えるダミーデー
   タ付加手段と、 前記ダミーデータがｎの値を有した場合に、画像データ
   中のｎの値を有する画素値をｎではないｎ近傍の値に置
   き換えて前記パノラマ画像を作成するパノラマ画像作成
   手段とを備えたことを特徴とするパノラマ画像合成シス
   テム。
2. 【請求項２】 前記複数の画像の合成に先だって行われ
   る対応点抽出処理における対応点サーチ処理中に、前記
   ダミーデータを有する領域を、前記対応点サーチ処理を
   行うサーチ範囲より除外することを特徴とした請求項１
   記載のパノラマ画像合成システム。
3. 【請求項３】 複数画像から合成された画像の画素値を
   算出する際に、該合成前の複数画像に対応する画素の画
   素値の中に、ダミーデータ以外の画素値が一つ以上存在
   する画素については、該ダミーデータ以外の一つ以上の
   画素値から合成画像の画素値を算出することを特徴とす
   る請求項２記載のパノラマ画像合成システム。