JPH0785246A

JPH0785246A - 画像合成装置

Info

Publication number: JPH0785246A
Application number: JP5226154A
Authority: JP
Inventors: Koutatsu Ou; 康達王
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1993-09-10
Filing date: 1993-09-10
Publication date: 1995-03-31
Anticipated expiration: 2017-10-07
Also published as: JP3333012B2

Abstract

(57)【要約】【目的】本発明は、合成する画像間の変位量を可変可能
な任意の大きさのサーチエリア及びサーチラインに基づ
く最適な平均濃度の基準ブロックの設定及び対横転の検
出によりから求め補間された画像合成を高速処理する画
像合成装置を提供することを目的とする。【構成】本発明は、撮像され２値化処理された合成画像
データのオーバーラップ領域３内で記憶する任意の大き
さのサーチエリア４を設定し、最適平均濃度演算回路に
よる相関性の判断でエリア内の好適な位置に基準ブロッ
ク５を設定し基準点９を抽出し該基準点９から下部にサ
ーチライン７を延ばし該ライン上の相関のある位置に基
準ブロック６を設定し基準点１０を抽出して、基準点
９，１０を求める基準ブロック設定回路２１と、前記基
準点から変位量Ｒ，Ｓを求める変位量検出回路２２と、
画像を補間する補間回路２３と画像合成を行う合成回路
２４とからなる画像合成装置である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、互いにオーバーラップ
領域を有する複数のデジタル画像（２値画像）を好適に
合成する画像合成装置に関する。

【０００２】

【従来の技術】従来、２枚以上のデジタル画像（２値画
像）等を合成する際に、互いの画像の端部等には合成に
よって重なり合う領域すなわち、オーバラップ領域がで
きる。このオーバーラップ領域内では、合成される画像
側の画素の位置と、合成する画像側の画素の位置との間
にずれが生じるが、種々の手法によって位置や濃度等が
補正され、繋りよく合成されている。

【０００３】例えば、特開昭６３−６４１８０号公報に
は、ハンドスキャナを用いて、大型の画像をイメージ画
像として入力した際に、ハンドスキャナの撮影できる範
囲はある程度に制限されるため、複数のブロックに分割
して撮影入力し、再現する場合に各ブロックごとにイメ
ージ画像を重畳して合成し（マッチング）、合成画像や
大型画像を再現する合成方式が記載されている。

【０００４】また、特開平３−１８２９７６号公報に
は、合成する画像の濃度が等しくなるように変換して２
値化処理を行い、各画像に特定の粒子状の重心を求め
て、マッチングをとる合成方法が記載されている。

【０００５】

【発明が解決しようとする課題】前述した各公報におい
ては、合成する際にオーバーラップ領域内のある範囲の
領域（エリア）を基準となるブロック（基準ブロック）
として定め、これに基づき、種々の補正を施して複数の
画像を合成処理している。

【０００６】つまり、基準ブロックの設定は、画像内の
一定領域のある位置に固定しておく方式と、オペレータ
がマニュアルで画像内の任意の位置に指定する方式があ
る。前述した特開昭６３−６４１８０号公報に記載され
るマスクパターンは、予め固定された位置に設定され、
特開平３−１８２９７６号公報に記載される方式では、
画面上の粒子状に表されている部分の画素数を特定の範
囲に限定することにより、２つの基準点が任意の位置に
決められている。

【０００７】この画像合成装置をカメラ等に搭載し、会
議中の黒板や掲示される資料、ＯＨＰ（オーバーヘッド
プロジェクタ）、本等を撮影することなどに用いられる
場合には、内容によっては直ちに撮影した画像を再生し
なければならない場合もある。そのためには高速な処理
が要求されると共に、合成の際の基準ブロックの検出や
対応点の抽出処理は、撮影の後にその場で自動的に処理
される必要がある。

【０００８】さらに実際に撮影される画像のデータは様
々であるため、基準ブロックが固定された位置に設定さ
れる場合には、基準ブロック内に、平均濃度が極端に高
い（２値画像の場合は、白画素数が黒画素数より極端に
多い、または真白）可能性と、平均濃度が極端に低い可
能性があり、このような基準ブロックに基づいて対応点
を抽出すると、正しいマッチングがとれないことにな
る。

【０００９】また、特開昭６３−６４１８０号公報に記
載されるように、合成する画像間のオーバーラップ領域
における対応点の抽出が、予め設定された大きさの基準
ブロック内に配置されており、当然、基準ブロックが大
きいほど画像のずれが大きくても対処できるが、常に処
理に時間を要することになる。

【００１０】従って、固定された大きさの基準ブロック
は、常に適正な対応点が抽出できる範囲を持ち、且つ効
率的な大きさとは限らない。また、特開平３−１８２９
７６号公報に記載される方式は、特徴粒子がある特定の
金属組織の検査のための結晶写真に対して実現できるも
のであり、本願発明が趣旨とする汎用的な利用に用いる
ようには構成されておらず、さらには撮影直後に再生す
る必要がないため、処理時間の高速化・短縮化について
考慮されておらず、この方式では高速処理を実現するこ
とができない。

【００１１】そこで本発明は、合成する画像間の変位量
を可変可能な任意の大きさのサーチエリア及びサーチラ
インに基づく最適な平均濃度の基準ブロックから求め補
間された画像合成を高速処理する画像合成装置を提供す
ることを目的とする。

【００１２】

【課題を解決するための手段】本発明は上記目的を達成
するために、画像データを所定幅で重合せた時の互いに
オーバーラップする領域内に第１のサーチエリアを設定
し、この第１のサーチエリア内の画像データの濃度に基
づく相関性を有する所定サイズの第１の基準ブロックを
設定し、前記第１の基準ブロックから前記オーバーラッ
プ領域の長方向に沿って延ばした第２のサーチエリア内
の前記相関性を有する位置に第２の基準ブロックを設定
する基準ブロック設定手段と、前記基準ブロック設定手
段により設定された各基準ブロック内の所定画素から合
成に際して補間されるべき画素の位置への変位量を検出
する変位量検出手段と、前記変位量検出手段により検出
された変位量に基づき合成する画像を補間する補間手段
と、前記画像データと前記補間手段により補間された画
像データを合成する画像合成手段とで構成された画像合
成装置を提供する。

【００１３】

【作用】以上のような構成の画像合成装置は、複数の合
成する画像が互いにオーバーラップする領域内に予め定
められた大きさに基づき選択された大きさのサーチエリ
ア（サーチライン）が上または下部に設定され、それら
のサーチエリア（サーチライン）内で相関性の判断結果
により好適する位置に基準ブロックが設定され、その基
準ブロックに基づき対応点の検出処理が行なわれ、基準
ブロック及び対応点から算出された変位量により合成す
る側の画像の補間が施されて画像が合成される。

【００１４】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。まず図１を参照して、本発明による画像合
成装置の画像合成の概略について説明する。

【００１５】この画像合成装置は、基準ブロックを設定
するのに適正な位置にサーチエリアを定め、相関性を持
つ基準ブロックを抽出し、抽出された基準ブロックに基
づき対応点の検出処理を行い、算出された変位量から画
像を補間し合成する処理をユーザーによる操作なしに迅
速に処理するものである。すなわち、この画像合成装置
は合成する画像の互いのオーバーラップ領域において、
画像間の変位量を計算するために、移動可能なサーチエ
リアを設定し、基準ブロックの位置を相関性の判断結果
に基づき自動的に設定するものである。ここで前記基準
ブロック及びオーバーラップ領域の基準となる大きさ
は、予めユーザが画像の大きさ及び重ね合わせの具合に
よって任意に設定し記憶しておく。この実施例では、基
準ブロックを１７×１７画素程度、オーバーラップ領域
を画像（６３８×５００画素）の面積の１５〜２０％
（横方向に１００〜１３０画素）程度と想定した。

【００１６】図１は、画像２枚を合成させる例を示し、
左画像１を合成される画像（基準画像）とし、右画像２
を合成する画像とする。各画像の重なり合う領域をオー
バーラップ領域３とする。

【００１７】前記基準画像１のオーバーラップ領域３内
に、任意の大きさのサーチエリア４を設け、このエリア
内で後述する相関性判断を行い適正な位置に基準ブロッ
ク５が設定される。そして、設定された基準ブロック５
の中心点から延長線（サーチライン）７を下部３ｂに向
かって延ばし、そのサーチライン７上に相関性を持つ基
準ブロック６を設定できるか判定する。このサーチライ
ン７上のみの探索により相関性を持つ基準ブロック６が
検出され、検索のための計算量が軽減され、後の合成処
理の座標変換を簡単にする。

【００１８】前記サーチエリア４及びサーチライン７上
の基準ブロックの設けられる領域は、２値画像のデータ
で表せられるため、各画素毎に次の処理により、各ブロ
ックの平均濃度をチェックし、それぞれ（１）式を満た
す箇所に基準ブロックとして設定する。

【００１９】Ｖ₀ ＝Ｍｉｎ｜Ｃ₀ −Ｃ／２｜若しくは、Ｖ₁ ＝Ｍｉｎ｜Ｃ₁ −Ｃ／２｜ …（１）但し、Ｃ₀ ；ブロック内０の画素数、Ｃ₁ ；ブロック内
１の画素数、Ｃ；ブロック内全画素数（Ｃ₀ ＋Ｃ₁ ）と
する。

【００２０】一方、前述したオーバーラップ領域３のサ
ーチエリア４とサーチライン７上の基準ブロックを設け
る領域の平均濃度は、撮影された画像によって異なり、
極端に高い若しくは、極端に低い可能性がある。この場
合は、不完全な合成（ミスマッチング）の確率が高くな
る。この問題を解決するために設定された基準ブロック
の平均濃度を下記の（２）式により評価する（以下、相
関性判断と称する）。

【００２１】｜Ｖ₀ −Ｃ／２｜＜ｐ・Ｃ／２若しくは、｜Ｖ₁ −Ｃ／２｜＜ｐ・Ｃ／２ …（２）但し、０＜ｐ＜２０％とする。この（２）式の条件を満
たせば、相関性がないと見なすことができる。このｐの
範囲は、試験的に実施した結果から好適すると思われる
数値である。

【００２２】図２には、第１実施例としての２値画像を
出力する電子カメラ等に前述した画像合成装置を搭載し
た構成例を示し、説明する。この構成は、撮像部１１と
画像合成装置１２と出力装置となる印刷部１３及び表示
部１４とからなる。この撮像部１１は、特願平５−６３
９７８号に記載されたようなＣＣＤを利用し、前面に設
けた鏡を回転させて方向の異なる画像を得る構成や、Ｔ
Ｖカメラを回転させて連続画像信号を得る構成などを用
いている。

【００２３】前記撮像部１１により撮像された画像信号
が画像合成部１２のＡ／Ｄ部１５でデジタル化され、さ
らに２値化回路１６で２値化処理される。この２値化処
理は、例えば、本出願人が提案した特願平５−９４５５
４号に記載されるような高速な２値化方法を用いて、２
値化処理を行なう。ここで２値化処理を行うのは、最後
に出力する画像が２値画像であるため、いずれ２値化処
理を行う必要がある点、また、後に行う２値画像に対す
る基準ブロックや対応点の検出処理が高速化できるとい
う利点から２値化処理を撮像直後の画像に施している。

【００２４】この２値化回路１６から出力された画像デ
ータは、フレームメモリＡ１７に一時的に記憶される。
そしてフレームメモリＡ１７から所定のフレーム分の画
像データが読出され、画像合成回路１８により後述する
ような合成処理が行われ、その結果がフレームメモリＢ
１９に記憶される。

【００２５】前記フレームメモリＢ１９に記憶された合
成画像は読出されて、印刷部９により印刷される、若し
くはＤ／Ａ部２０によりアナログ化され、ブラウン管等
の表示部１４に表示される。

【００２６】次に図３には、図２に示した画像合成回路
の具体的な構成例を示し説明する。この画像合成回路
は、フレームメモリＡ１７から読出された画像データか
ら基準ブロックを設定する基準ブロック設定回路２１
と、設定された基準ブロックと前記画像データとから対
応点の変位量を検出する変位量検出回路２２と、検出さ
れた変位量に基づき合成する画像を補間する補間回路２
３と、フレームメモリＡ１７から読出された合成される
画像と補間された合成する画像とを合成する合成回路２
４とで構成される。

【００２７】なお、この変位量検出回路２２、補間回路
２３、合成回路２４は、本出願人が提案した特願平５−
４２４０２号に記載したものと同一である。また図４に
は、図３に示した基準ブロック設定回路の具体的な構成
例を示し、説明する。

【００２８】この基準ブロック設定回路は、図示しない
フレームメモリＡ１７からの画像データが入力し図１に
示す上部３ａにサーチエリア４を設定する上部サーチエ
リア設定回路３１と、前記上部サーチエリア設定回路３
１がサーチエリア４を設定する際に基準となるブロック
サイズ及びオーバーラップ領域の大きさの数値を記憶す
るメモリ３２と、サーチエリア内の画像データの濃度の
最適平均値を算出する最適平均濃度演算回路３３と、同
様に下部３ｂにサーチライン（基準ブロック６）を設定
する下部サーチライン設定回路３４と、サーチエリア内
の画像データの濃度の最適平均値を算出する最適平均濃
度演算回路３５とで構成される。前記上，下部の最適平
均濃度演算回路３３，３５から上，下の基準ブロック
が、図３に示す変位量検出回路２２に出力される。

【００２９】次に図５には、図４に示した最適平均濃度
演算回路の具体的な構成例を示し、説明する。この最適
平均濃度演算回路は、設定されたサーチエリアの画像デ
ータから基準ブロックに相当する範囲のブロックを読出
すブロック読出し回路３６と、“０”若しくは“１”の
どちらかの画素数をカウントするカウンタ回路３７と、
１／２ブロックサイズ（ブロック内の全画素数の１／
２）を記憶するメモリ３８と、カウンタ回路３７で所定
数までカウントされた数値から１／２ブロックサイズを
減じる減算器３９と、それらの結果の絶対値をとる演算
回路４０と、得られた数値の中から最小値を検出する最
小値検出回路４１とで構成される。

【００３０】ここで、メモリが１／２ブロックサイズを
記憶し、カウントされた数値（ブロック内の“０”か
“１”側の画素数）から減じるのは、前述した（１）式
に示すように、１／２の値がコントラストが高い値とな
るため、これをカウント数から減じると最小の値が求め
られる。

【００３１】このように構成された画像処理装置におい
ては、必ずしも図１に示すようなオーバーラップ領域３
のサーチエリア４とサーチライン７上の基準ブロックの
平均濃度が適切ではない場合もあり、すなわち相関性が
ない場合があり、サーチエリア又はサーチラインを移動
させて、再検索を行なう必要がある。

【００３２】そこで図６には、第２実施例の画像処理装
置としての基準ブロック設定回路（２）を示し説明す
る。この基準ブロック設定回路の各構成部材は、図４に
示す基準ブロック設定回路の構成部材と同様な動作を行
うため、詳細な説明は省略し、図７に示すフローチャー
ト及び図８に示すオーバーラップ領域内のサーチエリア
（サーチライン）と基準ブロックの配置関係を参照し
て、構成及びその動作を説明する。

【００３３】この画像処理装置において、サーチエリア
に設定した基準ブロックの相関性の有無を判定し、相関
性がなければ、サーチエリア又はサーチラインを移動さ
せて、新たな基準ブロックを設定し、再度検索を行なう
ことにより、様々な画像信号データに対応する。

【００３４】まず、上部サーチエリア設定回路５０は、
メモリ５１から読出したブロックサイズ及びオーバーラ
ップ領域の大きさに基づき、図８（ａ）に示すようなサ
ーチエリア４を設定する。そして最適平均濃度演算回路
５２により、サーチエリア４内に設定した基準ブロック
５の平均濃度を算出し、相関性判定回路５３で相関性の
有無を判定する（ステップＳ１，Ｓ２）。

【００３５】このステップＳ２の判定で相関性があると
判定された場合には（ＹＥＳ）、下部サーチライン設定
回路５４により、オーバーラップ領域３の下部３ｂにサ
ーチライン７を延ばし、該サーチライン７上において設
定する基準ブロック６の相関性を検索し（ステップＳ
３）、相関性判定回路５６で相関性の有無を判定する
（ステップＳ４）。

【００３６】この相関性判定回路５６の判定で相関性が
あると判定された場合には（ＹＥＳ）、図１に示したよ
うな基準ブロックが設定され、図３に示す変位量検出回
路２２により変位量Ｒ，Ｓ（Ｒ：回転ベクトル、Ｓ：ず
れベクトル）が演算され（ステップＳ５）、その変位量
Ｒ，Ｓに基づき補間処理が行われ画像が合成される（ス
テップＳ６）。しかし相関性がないと判定された場合に
は（ＮＯ）、下部サーチライン再設定回路５７により、
図８（ａ）に示すような下部３ｂからサーチエリア４に
向かって延長サーチライン７ａを延ばし、最適平均濃度
演算回路５８及び相関性判定回路５９により基準ブロッ
ク６の相関性を再度検索し、その相関性の有無を判定す
る（ステップＳ７，Ｓ８）。このステップＳ８の判定
で相関性があると判定された場合（ＹＥＳ）、ステップ
Ｓ５に移行し、変位量Ｒ，Ｓが演算され、画像が合成さ
れる。しかし相関性がないと判定された場合（ＮＯ）、
図８（ｂ）に示すような状態となり、変位量検出回路２
２により変位量Ｓが演算され（ステップＳ９）、前記変
位量Ｓに基づき平行移動のみの画像合成処理が行われる
（ステップＳ１０）。

【００３７】また、前記ステップＳ２の判定において、
相関性がないと判定された場合（ＮＯ）、下部サーチエ
リア設定回路６０により設定された下部のサーチエリア
８内に設ける基準ブロック６の相関性を検索し、相関性
判定回路６２により相関性の有無を判定する（ステップ
Ｓ１１，Ｓ１２）。

【００３８】このステップＳ１２の判定で相関性がある
と判定された場合（ＹＥＳ）、図８（ｃ）の状態のよう
に、オーバーラップ領域３の下部３ｂから上部３ａに向
かって、上部サーチライン再設定回路６３で延長サーチ
ラインを延ばし、再度基準ブロック５の相関性を検索
し、その相関性の有無を判定する（ステップＳ１３，Ｓ
１４）。

【００３９】このステップＳ１４の判定で相関性がない
と判定された場合（ＮＯ）、図８（ｄ）に示すような状
態となり、ステップＳ９に移行し、変位量Ｓに基づき平
行移動のみの画像合成処理が行われる。しかし、相関性
があると判定された場合（ＹＥＳ）、ステップＳ５に移
行し、変異料Ｒ，Ｓが演算され、画像が合成される。ス
テップＳ１２の判定で相関性がないと判定された場合
（ＮＯ）、図８（ｅ）に示すような状態となり、単に重
ね合わせられて画像合成（べた貼り）される（ステップ
Ｓ１５）。

【００４０】以上のことから、本実施例は、基準となる
ブロックの設定処理に関して、移動可能なサーチエリア
及びサーチラインを設け、最適な平均濃度を持つ場所を
サーチすることと、基準ブロック内の平均濃度を評価す
ることによって、高速な自動処理を可能にさせ、様々な
画像信号データに対応することができる。

【００４１】次に前述した第１，２実施例では、オーバ
ーラップ領域の大きさが固定され、基準点（対応点）を
抽出している。また、特開平３−１８２９７６号公報に
おいても、基準点の抽出は、既に分かっているオーバー
ラップ領域内の画像に対して、２値化をしてから抽出処
理を行なっていた。

【００４２】しかし、オーバーラップ領域の大きさが固
定されている場合に、合成する画像間のずれが大きくな
ければ対応できるが、ずれが大きくなりすぎた場合に
は、図９に示すように、対応点検出する領域がないた
め、ミスマッチングの発生が一層高くなる。特に、手持
ち型の撮像装置では、手振れにより合成する画像間が大
きくずれる可能性がある。

【００４３】そこで本発明による第３実施例として、オ
ーバーラップ領域の大きさを可変する画像合成装置につ
いて説明する。図１０には、オーバーラップ領域と設定
する基準ブロック及び基準点の位置関係を示し、図１１
にはその設定処理を行う画像合成装置における画像合成
回路の構成例を示す。

【００４４】図１１は画像合成回路の具体的な構成を示
し、画像合成装置の全体的な構成は図２に示す構成と同
様であるものとする。この画像合成回路の構成は、フレ
ームメモリＡからの画像データから実際のオーバーラッ
プ領域の大きさを検出するオーバーラップ領域検出回路
７１と、検出されたオーバーラップ領域及び上部の基準
ブロックからサーチライン７上の下部の基準ブロックを
設定する基準ブロック設定回路７２と、設定された基準
ブロックと前記画像データから基準点１０を設定する下
部の対応点２６ｂを検出する対応点検出回路７４と、前
記オーバーラップ領域、基準ブロック及び対応点から変
位係数（変位量）を算出する変位係数算出回路７３と、
算出された変位量Ｒ，Ｓに基づき画像データを２値補間
する２値補間回路７５と、補間された画像データと前記
フレームメモリＡからの画像データを合成する合成回路
７６とで構成される。

【００４５】この第３実施例は図１０に示すように、ま
ず、実際のオーバーラップ領域を検出しサーチエリア４
ａを左画像の右端線に設定する（サーチラインに相当す
る）。さらに上部の基準ブロック５ａの大きさを例え
ば、５１×５１画素程度の第１実施例よりも大きめなブ
ロックに設定する。そして、左画像の右端線に沿って、
相関性高い場所を探す。下部の基準ブロック６は計算量
を減らすために前述した基準ブロックの大きさ（１７×
１７画素）と同じに設定する。

【００４６】上部の対応点２６ａの検出は、横方向が大
きめに設定されたサーチエリア２５ａ内を行なう。対応
点がマッチング処理によって検出された場合、そのブロ
ックの右端線の位置は、実際のオーバーラップ領域の大
きさを示す。下部の対応点サーチエリア２５ｂは前述し
た実施例と同様である。

【００４７】この第３実施例は、大きめに設定された上
部の基準ブロックが左画像の右端線に設けたサーチエリ
アから探されるため、画像間に大きなずれがあったとし
ても、右画像に対応する点を検出することができ、実際
のオーバーラップ領域の大きさも分かることによって、
右画像の下部の対応点を検出するためのサーチエリアが
適正に設定され、正確且つ効率的な処理ができる。

【００４８】また、以上第１〜３実施例において、左画
像の基準ブロック（基準点）に対する右画像の対応点の
検出をさらに高速化した第４実施例としての画像合成装
置を説明する。この対応点は、左画像のオーバーラップ
領域の基準点に対応する右画像の対応点である。

【００４９】この第４実施例の画像合成装置は、変位量
検出回路に特徴を持つものであり、他の構成部は第１実
施例と同等であり、それらの説明は省略する。まず、対
応点検出の高速化を実現するための手法として、公知な
テンプレートマッチングや構造マッチングなどがある。
本実施例では、オーバーラップする画像をサーチエリア
として、テンプレートマッチングを適用して対応点の検
出を行なう。

【００５０】このテンプレートマッチングにおいて、例
えば特開昭６３−６４１８０号公報に記載されているよ
うに、一般的にはマッチングを行なうエリアは予め固定
されている。対応点の検出における適正さを求める場合
に、エリアが大きく設定されるほど正確になる反面、マ
ッチングを行なう領域が広くなるため、計算量が増え高
速な処理が難しくなる。逆にエリアを小さく設定する
と、合成する画像間のずれが大きかった場合には、ミス
マッチングの可能性がある。

【００５１】図１２には、変位量検出回路の構成を示し
説明する。この変位量検出回路は、大別して対応点検出
回路８１と変位係数算出器８２からなる。前記対応点検
出回路８１は、例えば図３に示した基準ブロック設定回
路２１から出力された基準データと、図示しないフレー
ムメモリＡから読出された画像データとが入力され、小
領域のサーチエリアを設けてマッチング処理を行なう小
領域内マッチング部８３と、予め設定された閾値以上の
場合に、サーチエリアを拡張した拡張領域サーチエリア
で再度をマッチング処理を行なう拡張領域内マッチング
部８４と、さらに閾値以上の場合には、基準ブロックを
拡大し若しくは隣接しない位置に配置される２対の基準
ブロックを使って、それぞれマッチング処理を行なう基
準ブロック拡大マッチング部８５とで構成される。

【００５２】また各マッチング部は、同じように構成さ
れており、その構成を図１３に示し説明する。このマッ
チング部は、決められた大きさのサーチエリア（サーチ
エリアブロック）から、入力した画像データを基準ブロ
ックの大きさに基づき読出すサーチエリアデータ読出回
路８６と、基準データ（基準ブロック）と読出されたサ
ーチエリアデータとの後述する排他的論理和をとるＮＯ
Ｒ回路８７と、前記ＮＯＲ回路８７からの出力で、合わ
ない箇所（点）を加算する加算器８８と、加算された値
を比較して最小の値を検出し図１２に示す変位係数算出
器８２に出力する最小値検出回路８９とで構成される。

【００５３】図１４乃至図１７を参照して、第４実施例
の画像合成装置におけるマッチング処理について説明す
る。このマッチング処理は、合成する画像が２値画像で
あるため、次式のような排他的論理和を用いて、計算の
高速化を図る。

【００５４】

【数１】ただし、Ｔ(x) ；基準ブロック、Ｓ(x) ；サーチエリア
ブロックとする。

【００５５】まず、図１４に示すように、比較的小領域
をサーチエリア２７として設定して、小領域内マッチン
グ部８３によりマッチング処理を行う。このサーチエリ
アの中心点は、左画像に検出された基準ブロックの中心
点（基準点）の位置から、オーバーラップ領域の大きさ
に基づきマッピングすることによって得られる。

【００５６】次に前記小領域内マッチング部８３からの
結果が予め設定され閾値（例えば、基準ブロック画素数
の１０％）よりも大きい場合、マッチングが取れなかっ
たものと判定し、さらに図１５に示すように、拡張領域
内マッチング部８４により、サーチエリア２８を一段と
拡張した後、再度、マッチング処理を行なう。

【００５７】この拡張サーチエリアでも予め設定された
閾値以上になり、マッチングができなかった場合には、
図１６に示すように、基準とするテンプレートブロック
を拡大して、マッチング処理を行う。この場合には、評
価閾値を前述したマッチングの際の閾値よりも多少幅を
持たせて、例えば２０％に設定することによって、合成
する画像間に比較的大きなずれが生じていても対応する
ことができる。

【００５８】このようなマッチング処理を行っても閾値
以上になる場合には、図１７に示すように、サーチエリ
ア内で互いに隣接しない位置に基準ブロックを設定し、
２対の基準ブロックを使って、それぞれマッチング処理
を行ってもよい。

【００５９】この場合は、得られた２個の回転角度（変
位係数の１つ）の差によって対応点を決める。ずれ等に
より差が大きい場合には、絶対値の小さいの方を採用
し、差が小さくなるならば、それぞれの変位係数を求め
平均する。

【００６０】また、２対の基準ブロックを用いたが３対
以上の基準ブロックを用いてさらに高精度のマッチング
処理をしてもよい。さらに多数の基準ブロックを設定
し、それぞれのマッチング処理の結果を解析して求めて
もよい。

【００６１】従って、第４実施例の画像合成装置は、画
像間の対応点検出処理に関して、マッチング処理を行な
うサーチエリア及び基準ブロックの大きさを固定せず
に、合成する画像に対応して拡大でき、さらにマッチン
グ処理を多段階に分けて処理することにより、予め大き
く領域を固定したものと同等の精度が得られつつ、且つ
高速な対応点検出ができる。

【００６２】なお、マッチング処理を行うサーチエリア
の順次拡大手段は第３実施例にも応用できる。次に、本
発明による第５実施例としての画像合成装置の２値画像
の補間について説明する。

【００６３】画像合成の際に行う画像の補間に関して
は、スプライン及び線型など方法が一般に知られてい
る。例えば、本出願人が提案した特願平５−４２４０２
号においては、高解像度画像が得られる撮像装置に、主
として線型補間を用いている。

【００６４】しかし、撮影する被写体や撮像装置によっ
ては、撮影直後に画像を必要とする場合もあり、速い処
理による高画質な２値画像が要求されている。従来は、
図１８に示すように線型補間においては、特願平４−０
８９０９０号に記載する第３実施例のように補間係数を
離散化させても、各画素毎に最低４回乗算と、３回の加
算が必要である。さらに、この補間演算により算出され
るデータが“１”，“０”に区別される２値化データで
ない場合が多く、再２値化処理を施す必要があり、さら
に処理時間が増えることになる。

【００６５】この第５実施例では、２値画像に対して高
速な補間処理を行なう画像合成装置の画像合成回路を示
し説明する。本実施例において、画像合成回路以外の構
成部材は、第１実施例と同等であり、その説明は省略す
る。

【００６６】図１９に示すように、この画像合成回路
は、フレームメモリＡ１７から読出された合成される画
像データに基づき基準ブロックを設定する基準ブロック
設定回路９１と、設定された基準ブロックと同じくフレ
ームメモリＡ１７から読出された合成する画像データか
ら変位量を検出する変位量検出回路９２と、検出された
変位量Ｒ，Ｓに基づき、前記合成する画像データを２値
補間する２値補間回路９３と、２値補間された画像デー
タとフレームメモリＡ１７から読出された合成される画
像データとを合成する合成回路９４とで構成される。

【００６７】また図２０には、前記２値補間回路の具体
的な構成を示す。この２値補間回路は、図１９に示す変
位量検出回路９２からの変位量Ｒ，Ｓに基づき、合成す
る画像側の特定された画素（原画素）の座標を変換する
座標変換回路９５と、座標変換された新画素とそれに近
傍する原画素との距離を算出する近傍距離算出回路９６
と、算出された距離により、新画素の位置をどこの領域
に従属するか判定する距離判定回路９７と、判定された
結果によって合成する画像データ（原画素の値）を補間
として読出す画像データ読出回路９８とで構成される。

【００６８】図２１乃至図２４を参照して、このような
画像合成回路の動作について説明する。図２１（ａ）乃
至（ｆ）に示すように、合成する画像データ（原画像）
は、“１”若しくは“０”の値であるため、同図（ａ）
に示すように“１”の２値の４つの画素に囲まれている
領域１００に座標変換された新画素Ｖ’がある場合、こ
の画素の値は“１”と判定され、これとは反対に同図
（ｂ）に示す領域１０１にある画素の値は“０”と判定
される。

【００６９】その他の場合、同図（ｃ）〜（ｆ）に示す
ように、等分割して、新画素の値が一番近い原画素の値
によって決まる。従って、図２２に示すように、座標変
換された新画素座標の近傍にある４つの原画素Ｖａ，Ｖ
ｂ，Ｖｃ，Ｖｄによる囲まれた領域を４等分し、新画素
Ｖ’がいずれかこの等分割された領域の１つに従属し、
従属された領域の一番近い原画素の値によって囲まれた
領域が“１”若しくは“０”値の領域に最大４分割され
ることになる。このいずれかの領域の中の位置によって
補間される画素の数値が決定される。

【００７０】図２３のフローチャートを参照して、画素
の補間の動作について説明する。まず、補間される画素
Ｖ’の値ｍ，ｐ［座標；（Ｖ´ｘ，Ｖ´ｙ）］と近傍の
原画像との距離ｍ，ｐを算出する（ステップＳ２１）。
この値ｍ，ｐは図１８（ｂ）に示すように画素Ｖａから
の距離を示すものである。但し、０≦ｍ≦１，０≦ｐ≦
１とする。

【００７１】次に、求められた値ｍがｍ＜１／２か否か
判定する（ステップＳ２２）。この判定で値ｍが１／２
未満であれば（ＹＥＳ）、値ｐが、ｐ＜１／２か否か判
定する（ステップＳ２３）。このステップＳ２３の判定
で、値ｐが１／２未満であれば（ＹＥＳ）、画素Ｖ’は
Ｖａの値になり、しかし値ｐが１／２以上であれば（Ｎ
Ｏ）、画素Ｖ’はＶｃの値になる。

【００７２】そして、前記ステップＳ２２の判定で値ｍ
が１／２以上であれば（ＮＯ）、ステップＳ２３と同様
に、値ｐがｐ＜１／２か否か判定する（ステップＳ２
６）。このステップＳ２６の判定で、値ｐが１／２未満
であれば（ＹＥＳ）、画素Ｖ’はＶｂの値になり、しか
し値ｐが１／２以上であれば（ＮＯ）、画素Ｖ’はＶｄ
の値になる。

【００７３】また、４つの画素で囲まれた領域の分割に
ついて、画素値が３：１の割合になっている場合に、前
述した図２１（ｅ），（ｆ）では、領域も３：１の割合
に分割したが、画素間の距離で考えて、図２４（ａ），
（ｂ）に示すように、領域を８：１に分割する考え方も
ある。

【００７４】従ってこの第５実施例は、２値画像の補間
処理に関して、補間される画素は、近傍する４つの画素
が囲む画素領域を等分割し、最も近い画素の値に補間す
る画素の値とすることにより、高速処理に好適する。ま
た本発明は、前述した実施例に限定されるものではな
く、他にも発明の要旨を逸脱しない範囲で種々の変形や
応用が可能であることは勿論である。

【００７５】

【発明の効果】以上詳述したように本発明によれば、合
成する画像間の変位量を移動可能で可変可能な任意の大
きさのサーチエリア及びサーチラインに基づく最適な平
均濃度の基準ブロックの設定及び対応点の検出により求
め補間された画像合成を高速処理する画像合成装置を提
供することができる。

【図面の簡単な説明】

【図１】本発明による画像合成装置の画像合成の概略を
説明するための図である。

【図２】本発明による第１実施例としての２値画像を出
力する電子カメラ等に画像合成装置を搭載した構成例を
示す図である。

【図３】図２に示した画像合成回路の具体的な構成例を
示す図である。

【図４】図３に示した基準ブロック設定回路の具体的な
構成例を示す図である。

【図５】図４に示した最適平均濃度演算回路の具体的な
構成例を示す図である。

【図６】本発明による第２実施例の画像合成装置の基準
ブロック設定回路の構成を示し図である。

【図７】第２実施例の画像合成装置の基準ブロック設定
回路の動作を説明するためのフローチャートである。

【図８】第２実施例の画像合成装置により合成する画像
のオーバーラップ領域内のサーチエリアと基準ブロック
の配置関係を示す図である。

【図９】対応点を検出する領域がない場合のサーチエリ
アと基準ブロックの配置関係を示す図である。

【図１０】本発明による第３実施例としての画像合成装
置によるオーバーラップ領域と設定する基準ブロック及
び対応点の位置関係を示す図である。

【図１１】第３実施例の設定処理を行う画像合成装置に
おける画像合成回路の構成例を示す図である。

【図１２】本発明による第４実施例としての画像合成装
置の変位量検出回路の構成例を示す図である。

【図１３】図１２に示した変位量検出回路内のマッチン
グ部の具体的な構成例を示した図である。

【図１４】第４実施例において、比較的小領域をサーチ
エリアとして設定するサーチエリアと基準ブロックの配
置関係を示す図である。

【図１５】第４実施例において、拡張した領域をサーチ
エリアとして設定するサーチエリアと基準ブロックの配
置関係を示す図である。

【図１６】第４実施例において、基準とするテンプレー
トブロックを拡大して設定するサーチエリアと基準ブロ
ックの配置関係を示す図である。

【図１７】第４実施例において、複数の基準ブロックを
用いてマッチング処理する場合のサーチエリアと基準ブ
ロックの配置関係を示す図である。

【図１８】従来の線型補間を説明するための図である。

【図１９】本発明による第５実施例としての画像合成装
置の画像合成回路を示す図である。

【図２０】図１９に示した２値補間回路の具体的な構成
例を示す図である。

【図２１】４つの画素に分割された領域に位置する補間
される画素の画素値を示す図である。

【図２２】４つの画素に囲まれた領域の分割状態を示す
図である。

【図２３】４つの画素に分割された領域に位置する補間
される画素の画素値を決定するためのフローチャートで
ある。

【図２４】４つの画素に分割された領域の分割例の一例
である。

【符号の説明】

１…左画像（基準画像：合成される画像）、２…右画像
（合成する画像）、３…オーバーラップ領域、３ａ…上
部、３ｂ…下部、４，８，２５ａ，２５ｂ…サーチエリ
ア、５，６…基準ブロック、７…延長線（サーチライ
ン）、９，１０…基準点、１１…撮像部、１２…画像合
成部、１３…印刷部、１４…表示部、１５…Ａ／Ｄ部、
１６…２値化回路、１７…フレームメモリＡ、１８…画
像合成回路、１９…フレームメモリＢ、２０…Ｄ／Ａ
部、２１…基準ブロック設定回路、２２…変位量検出回
路、２３…補間回路、２４…合成回路、２６ａ，２６ｂ
…対応点、２７…小リサーチエリア、２８…拡張リサー
チエリア、３１…上部サーチエリア設定回路、３２，３
８…メモリ、３３…最適平均濃度演算回路、３４…下部
サーチライン設定回路、３５…最適平均濃度演算回路、
３６…ブロック読出し回路、３７…カウンタ回路、３９
…減算器、４０…演算回路、４１…最小値検出回路。

Claims

【特許請求の範囲】

【請求項１】画像データを所定幅で重合せた時の互い
にオーバーラップする領域内に第１のサーチエリアを設
定し、この第１のサーチエリア内の画像データの濃度に
基づく相関性を有する所定サイズの第１の基準ブロック
を設定し、前記第１の基準ブロックから前記オーバーラ
ップ領域の長方向に沿って延ばした第２のサーチエリア
内の前記相関性を有する位置に第２の基準ブロックを設
定する基準ブロック設定手段と、前記基準ブロック設定手段により設定された各基準ブロ
ック内の所定画素から合成に際して補間されるべき画素
の位置への変位量を検出する変位量検出手段と、前記変位量検出手段により検出された変位量に基づき合
成する画像を補間する補間手段と、前記画像データと前記補間手段により補間された画像デ
ータを合成する画像合成手段とを具備することを特徴と
する画像合成装置。
【請求項２】画像データを所定幅で重合せた時の互い
にオーバーラップする領域内に第１の基準ブロックを設
定するための第１のサーチエリアを所定画素の端線に設
定し、この第１のサーチエリア内の画像データの濃度の
最適平均値に基づく相関性を有する所定サイズの第１の
基準ブロックを設定し、前記第１の基準ブロックから前
記オーバーラップ領域の長方向に沿って延ばしたサーチ
ライン上もしくは、このサーチラインを含み第１のサー
チエリアより小さいサイズの第２のサーチエリアを設定
して検索し、この第２のサーチエリア内の濃度の最適平
均値に基づく相関性を有する位置に第２の基準ブロック
を設定する基準ブロック設定手段と、前記設定された第１基準ブロックに基づき、これに対応
する別の画像上の対応点及びオーバーラップ領域を検出
して第２基準ブロックに対応する対応点を検出し、これ
らの基準ブロック及び対応点から画像間の変位量を算出
する変位量算出手段と、算出された変位量に基づき画像データを補間する補間手
段と、前記画像データと前記補間手段により補間された画像デ
ータを合成する画像合成手段とを具備することを特徴と
する画像合成装置。
【請求項３】請求項１記載の画像合成装置の変位量検
出手段において、合成する第１画像に設定された第１及び第２の基準ブロ
ックを所定オーバーラップ領域に基づき、それぞれ第２
画像にマッピングし、対応する第１及び第２サーチエリ
アにおけるマッチングを行なう対応ブロック検出の処理
結果が、予め設定された範囲を越えた場合にサーチエリ
アを順次拡大してマッチング処理を行なうサーチエリア
拡張マッチング部と、前記サーチエリア拡張マッチング部で定めた範囲を越え
た場合には、基準ブロック及び対応ブロックを拡大し若
しくは隣接しない２対の基準，対応ブロックを用いて、
それぞれマッチング処理を行なう基準ブロック拡大マッ
チング部からなる対応点検出手段と、前記対応点検出手段の各サーチエリア拡張マッチング部
と基準ブロック拡大マッチング部からの結果から変位量
を算出する変位係数算手段とをさらに具備することを特
徴とする画像合成装置。
【請求項４】２値化された画像データを所定幅で重合
せた時の互いにオーバーラップする領域内に所定サイズ
の基準ブロックを設定する基準ブロック設定手段と、設定された基準ブロックと前記画像データから変位量を
検出する変位量検出手段と、検出された変位量に基づき合成する画像側の画素（原画
素）の座標を変換する座標変換部と、座標変換された新
画素とこれに近傍する原画素との距離を算出する近傍距
離算出部と、算出された距離により、新画素の位置を判
定する距離判定部と、判定された位置から画像データを
補間する画像データ読出部とからなる２値補間手段と、２値補間された画像データと合成される画像データとを
合成する合成する画像合成手段とを具備することを特徴
とする画像合成装置。