JPH07284013A - 画像取り扱い装置 - Google Patents

Abstract

(57)【要約】 【目的】貼合わせのずれの検出精度（認識精度）、検出
速度を向上でき、演算の回路規模を縮小することが出来
る画像取り扱い装置を提供すること。 【構成】２つの貼り合わせ部Ｍ１５，Ｍ１６のように基
準となる画面Ｍ１５上の第１特徴点Ｂa0（ｘ，ｙ1 ）を
設定後、該特徴点Ｂa0を通るｙ軸と平行線上に第２特徴
点Ｂb0（ｘ，ｙ2 ）を設定することにより、従来例にお
ける傾き角θ1が０となり、回転ずれの△θの値は、１
つのarc ｔａｎの項を求めるだけでよく、演算が単純化
し、精度も上がり、回路規模も小さくなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像取り扱い装置、詳
しくは、画像データの所定のブロック領域に関するコン
トラスト情報を取り込み、評価する機能部を有する画像
取り扱い装置に関するものである。

【０００２】

【従来の技術】従来、画像データの所定のブロック領域
に関するコントラスト情報を取り込み、評価する機能部
を有するような画像取り扱い装置として、例えば、可動
ミラーを走査させることによって、１被写体像を分割
し、その分割被写体像を撮像素子で取り込み、その分割
被写体像の画像データを重複部を貼り合わせることによ
って、１被写体像に対する画像データを生成するカメラ
が考えられる。そして、この種のカメラは、通常の分解
能を持つ撮像素子を適用したとしても、効果的に得られ
る１フレーム（フィールド）の画像に対応して、精細度
の高い撮影画像データを取り込むことが可能なものであ
る。

【０００３】本カメラにおいて、上記分割画像データの
貼り合わせは、できる限り食い違いなく重ね合わせる処
理が必要であるが、機械的走査精度により撮影毎に該貼
り合わせ部分が僅かにずれることが考えられることか
ら、撮影毎にずれ量を検出し、該ずれ量に基づいて貼り
合わせを行う必要がある。

【０００４】そこで、考えられる貼り合わせ処理は、図
３７に示すように貼り合わせの基準となる１枚目の撮影
画面Ｍ１１（図３参照）の第１の貼り合わせ部Ｒ１１上
のブロック領域Ｐから求められる２つの第１，第２特徴
領域Ｂａ，Ｂｂに対して、貼り合わされる２枚目の撮影
画面Ｍ１２（図３参照）の第２の貼り合わせ部Ｒ１２上
にあって、上記特徴領域との相関性が高く、重ね合わせ
るべき２つの対応領域Ｂｃ，Ｂｄを検出して、そのずれ
量を検出する。そして、上記１枚目の画面に対して特徴
領域Ｂａ，Ｂｂと２枚目の画面の対応領域Ｂｃ，Ｂｄを
重ね合わせるように該２枚目の画面を相対移動させるこ
とによって、該貼り合わせ部が目立たないような１被写
体像に対する撮影画面Ｍ１０（図３参照）の画像データ
を生成する。上記領域の重ね合わせは、特徴領域Ｂａ，
Ｂｂの所定の左上点である特徴領域点Ｂa0，Ｂb0と対応
領域Ｂｃ，Ｂｄの所定の左上点である対応領域点Ｂc0，
Ｂd0とを一致させることによって行われる。

【０００５】なお、上記画像データの貼り合わせ技術
は、上記画像貼り合わせを行う分割撮影式カメラに限ら
ず、２つの被写体画像のずれ量、即ち、動きベクトル量
を検出する技術としても適用されるものである。

【０００６】

【発明が解決しようとする課題】ところで、図４４は、
従来の分割撮影式カメラにおける貼り合わせ画面のそれ
ぞれの貼り合わせ部の特徴点と対応点を示した図であ
る。

【０００７】この従来例においては、基準となる画面の
貼り合わせ領域Ｒ１１には、任意の位置に第１特徴点Ｂ
a0（ｘ1 ，ｙ1 ）と第２特徴点Ｂb0（ｘ2 ，ｙ2 ）がｘ
ｙ座標上に設定される。そして、その領域に対応する重
ね合わせられるべき第１対応点Ｂc0（Ｘ3 ，Ｙ3 ）と第
２対応点Ｂd0（Ｘ4 ，Ｙ4 ）がＸＹ座標上で検出され
る。上記第１特徴点Ｂa0（ｘ1 ，ｙ1 ）と第２特徴点Ｂ
b0（ｘ2 ，ｙ2 ）のｙ軸に対する傾き角をθ1 とし、第
１対応点Ｂc0（Ｘ3 ，Ｙ3 ）と第２対応点Ｂd0（Ｘ4 ，
Ｙ4 ）のｙ軸に対する傾き角をθ2 とする。なお、基準
画面と、張り合わされる画面とは前記ミラースキャンの
誤差や手振れによる位置ずれ以外に構造上の所定の静的
な座標ずれがあって、ｘｙ座標系とＸＹ座標系とは、例
えば、

【０００８】

【数１】（Ｘ，Ｙ）＝（ｘ，ｙ）＋１０ の座標ずれがある。従って、上記Ｘ，Ｙの値は（数１）
の補正が必要である。

【０００９】しかしながら、この従来例における貼り合
わせのずれを求めるには、上記第１特徴点Ｂa0（ｘ1 ，
ｙ1 ）と第１対応点Ｂc0（Ｘ3 ，Ｙ3 ）との差△ｘ，△
ｙと、第２特徴点Ｂb0 （ｘ2 ，ｙ2 ）と第２対応点Ｂ
d0（Ｘ4 ，Ｙ4 ）とを合わせるための回転角度差△θを
求める必要がある。即ち、上記（数１）の補正をした
後、

【００１０】

【数２】△ｘ＝Ｘ1 −Ｘ3

【００１１】

【数３】△ｙ＝Ｙ1 −Ｙ3

【００１２】

【数４】△θ＝arc ｔａｎ｛（ｘ2 −ｘ1 ）／（ｙ2 −
ｙ1 ）｝＋arc ｔａｎ｛（Ｘ3 −Ｘ4 ）／（Ｙ4 −Ｙ3
）｝ この場合、（数４）による△θの値の演算は、arc ｔａ
ｎの項が２つあって、演算が複雑化するという課題があ
る。

【００１３】本発明は、上述の不具合を解決するために
なされたものであり、貼合わせのずれの検出精度（認識
精度）、検出速度を向上でき、演算の回路規模を縮小す
ることが出来る画像取り扱い装置を提供することを目的
とするものである。

【００１４】

【課題を解決するための手段】本発明は、部分的に重複
する当該一の領域に係る画像と当該他の領域に係る画像
とを、重複する領域に係って少なくとも一の領域に係る
重複する領域中の第１の特徴部及び第２の特徴部として
設定した領域がこれらに対応すべき他の領域に係る重複
する領域中の第１の対応部及び第２の対応部として認識
される領域と正規に重なるようにして動きを検出処理す
るための機能部を有する画像取り扱い装置であって、第
１の特徴部及び第２の特徴部を設定するに際し、これら
各部をその座標位置を表すための直交座標系における一
方の座標位置を同じくする如く設定する手段を備えた画
像取り扱い装置である。

【００１５】

【作用】本発明は、第１の特徴部及び第２の特徴部を設
定するに際し、これら各部をその座標位置を表すための
直交座標系における一方の座標位置を同じくする如く設
定する。

【００１６】

【実施例】以下、本発明の実施例を図に基づいて説明す
る。

【００１７】図１は、本発明の第１実施例を示すカメラ
の主要ブロック構成図である。

【００１８】本実施例のカメラは、特に黒板等に記載さ
れた文字や書類等に記載された文字や写真等の記録に好
適な画像取り扱い装置であるカメラであって、高精細な
撮影画像を得ることの可能な画面分割撮影式のカメラで
ある。そして、１フレーム（フィールド）を構成する撮
影画像データの生成は、該被写体の撮影領域を可動ミラ
ーの走査により画面水平方向に分割し、分割領域を上下
に配設された２系統のＣＣＤで構成される２板構成撮像
光学系２により各分割領域毎に取り込む。そして、図２
に示すように水平方向に分割されたＡ〜Ｄの各領域の分
割画面領域Ｍ１〜Ｍ４の撮像画像の重複部を貼り合わせ
処理により、撮影毎に走査位置のずれ補正を行い、１撮
影画面（１フレーム）Ｍ0 の画像データとして形成せし
めるものとする。

【００１９】なお、該分割画面Ｍ１〜Ｍ４には、隣接す
る画面同士で共有する重複する貼り合わせ領域Ｒ１〜Ｒ
６を有している。更に、上記分割画面Ｍ１〜Ｍ４の分割
撮影画像データはそれぞれ２系統の撮影出力で構成さ
れ、その上下２画面Ｍ1a，Ｍ1bの画像の接合処理を行う
必要があるが、この接合には、走査位置ずれが発生しな
いので、撮影の度に補正する必要はない。また、上記貼
り合わせ処理により得られた主映像信号に基づく撮像画
像は、モニタに表示されるが、更に、記録媒体に画像デ
ータとして記録される。この記録媒体としては、メモリ
カード、フロッピィディスク、ハードディスク、光磁気
ディスク等を適用し得る。また、プリンタ等に出力さ
れ、プリントアウトも可能である。

【００２０】図１に示すように本カメラにおいては、被
写体像は回動ミラー機構で構成されるミラースキャン部
１で走査され、分割被写体領域毎に上下２板構成の撮像
光学系２にて結像し、各領域の分割画面Ｍ１〜Ｍ４毎
（図２参照）の２系統の撮像信号がモノクロプロセス回
路３に出力される。その出力は、分割画面の画像データ
としてフレームバッファ４に取り込まれる。このフレー
ムバッファ４においては、ミラー反転処理やノンインタ
ーレース処理と第１メモリコントローラ１６を介して行
われる貼り合わせ時のずれ補正処理も行われる。

【００２１】そして、補間演算回路５で補間処理がなさ
れ、その出力は、ガンマ補正回路６、擬似中間調補正回
路７を介して処理される。そして、該画像補正出力は、
像域分離回路１５でコントロールされる切り換えスイッ
チ１０に入力される。該切り換えスイッチ１０の画像デ
ータ出力は、ＣＰＵ１２でコントロールされる圧縮回路
１１で圧縮処理され、カード１／Ｆ１３を介してメモリ
カード２２に書き込まれる。

【００２２】また、補間演算回路５の出力は、エッヂ強
調回路８とＣＰＵ２１で閾値を設定される２値化回路９
により２値化されて、切り換えスイッチ１０に入力さ
れ、また、上期２値化画像信号のうち貼り合わせられる
２分割画面の重複部分である２つの貼り合わせ部の画像
データが、第２メモリコントローラ１９により書き込み
アドレスがコントロールされた状態で、後述する貼り合
わせのずれ量演算用メモリである境界バッファ１７に書
き込まれる。

【００２３】更に、補間演算回路５の出力は、ＡＦ（自
動合焦），ＡＥ（自動露光）処理回路１４、および、像
域分離回路１５に入力される。ＡＦ，ＡＥ処理回路１４
の出力は、ＣＰＵ２１に取り込まれ、自動合焦、また
は、自動露光制御が実行される。また、上記像域分離回
路１５の出力により、切り換えスイッチ１０の切り換え
動作がコントロールされる。即ち、フレームバッファ４
からの補間出力が、自然画像データであると判断したと
きは、擬似中間調補正回路７の出力を取り込み、文字画
像データであると判断したときは、２値化回路９の出力
を取り込むようにコントロールされる。

【００２４】上記境界バッファ１７に取り込まれた画像
データであって、互いに貼り合わせられる２つ貼り合わ
せ部の画像データに基づいて、相関演算処理回路１８ａ
にて２画像データについての動きベクトルとしての相関
演算が行われ、貼り合わせのためのずれ量がずれ算出回
路１８ｂにて算出される。そのずれ量は、前（最初の貼
り合わせ処理では１枚目となる）の画面を基準にして、
後続の（最初の貼り合わせでは２枚目）画面のずれを移
動量（水平移動量ｘ，垂直移動量ｙ）と回転量（θ）と
ズーム率とで与えられる。詳しくは、図４のブロック図
により後述する。

【００２５】上記ずれ量を示す移動量（水平移動量ｘ，
垂直移動量ｙ）と回転量（θ）とズーム率が、ＣＰＵ２
１でコントロールされる第１メモリコントローラ１６に
入力され、フレームバッファ４の画像データの書き込み
アドレスの補正を行う。なお、上記第１メモリコントロ
ーラ１６は、上記ずれ量補正以外に、フレームバッファ
４におけるミラー歪の補正やノンインターレース処理も
行う。

【００２６】次に、相関演算とずれ算出処理について、
貼り合わせ画面を示す図である図３と、上記相関演算処
理回路１８ａとずれ算出回路１８ｂとで構成される検出
回路１８まわりのブロック図である図４等を用いて説明
する。

【００２７】図３の（Ａ）は、２つの貼り合わせるべき
分割画面Ｍ１１，Ｍ１２を示し、図３の（Ｂ）は、貼り
合わせ後の画面である撮影画面Ｍ１０を示している。な
お、本実施例において、被写体像は図２では４分割され
て撮影されている。しかし、以下の説明では当該２枚の
画面を貼り合わせる処理につき詳細に説明するが、それ
以上の貼り合わせは同一の処理が繰り返される。

【００２８】図４の状態では、フレームバッファ４に２
枚目の撮影画像データが取り込まれた後の状態におい
て、境界バッファ１７には基準となる前の（１枚目とし
て説明する）撮影画面Ｍ１１の貼り合わせ部Ｒ１１の２
値化画像データと貼り合わされるべき、後続の（２枚目
として説明する）撮影画面Ｍ１２の重複部である貼り合
わせ部Ｒ１２の２値化画像データとが取り込まれる。

【００２９】ところで、従来の分割画面貼り合わせカメ
ラにおいて、対応する領域との相関性を求めるための上
記特徴領域Ｂａ，Ｂｂが全領域白色（例えば、図３７の
領域Ｂｅ）、あるいは、全領域黒色のようにコントラス
トがない領域の画面であってはその対応領域を検索する
のに具合が悪い。そこで、上記特徴領域Ｂａ，Ｂｂを撮
影画面上に設定するために、該当する領域のコントラス
トの状態をチェックする必要がある。

【００３０】そのチェックの方法としては、図３８の画
面領域拡大図に示すように検出対象の所定数の画素数の
ブロック画素数ｎB （この場合、５×５画素とする）で
構成されるブロック領域Ｐにおける各画素の画素データ
Ｄs である０，１データ、この例では、モノクロ画像と
し、所定の閾値を境にして求められるデータにて、黒を
０，白を１として検出する。そして、その値の総和であ
る累積加算値ΣP （ＤS ）をコントラストの程度を示す
指数として求める。なお、この場合、ブロック領域Ｐを
５×５画素で形成させるとして該加算値Σp （Ｄs ）
は、次式で示される。即ち、

【００３１】

【数５】 Σp （Ｄs ）＝Ｄk ＋Ｄk ＋1 …………＋Ｄk ＋24 となる。そして、この値が所定数の画素数ｎB 、この場
合、２５画素数の１／２にできる限り近い値を示すよう
な領域Ｐを特徴領域Ｂａ，Ｂｂとして選定することにな
る。

【００３２】そこで、この各ブロック領域に対する総和
の累積加算値Σp （Ｄs ）は、１枚目の撮影画面の貼り
合わせ部の上方部分、または、下方部分の範囲で、画素
の位置を１行、または、１列ずつ変化させて、図３９に
示すようにΣ0 （Ｄs ）からΣ1 （Ｄs ）……を求めて
ゆく。そのΣ0 （Ｄs ），Σ1 （Ｄs ）は次式で示され
る。即ち、

【００３３】

【数６】Σ0 （Ｄs ）＝Ｄ0 ＋Ｄ1 …………＋Ｄ24

【００３４】

【数７】Σ1 （Ｄs ）＝Ｄ5 ＋Ｄ6 …………＋Ｄ29にな
る。

【００３５】この例においては、上記（数６），（数
７）、更に、後続するブロック領域Ｐに関してΣm （Ｄ
s ）について上記（数５）により演算し、Σp （Ｄs ）
が画素数ｎB の１／２に近い値を示すコントラストの度
合いの高い高コントラスト領域を検索して、第１特徴領
域Ｂａ、または、第２特徴領域Ｂｂとして設定する。

【００３６】図４０は、上記累積加算を行う累積加算演
算回路図である。コントロール部５１０により指定され
る画像メモリ５１１の画素ｍ列×画素ｎ行の領域Ｐ（ｐ
＝０）の画素データを累積加算器５１２にて累積加算
し、累積加算値Σp （Ｄs ）が求められる。領域の累積
演算が終了するとリセット信号ＲＳＴによりリセットさ
れ、領域Ｐ（ｐ＝１），Ｐ（ｐ＝２）……についての演
算が順次実行される。

【００３７】図４１は、メモリ５１１の画像データ出力
信号とＲＳＴ信号、および、累積加算値Σp （Ｄs ）の
出力信号のタイムチャートを示している。

【００３８】ところが、従来のカメラによる累積加算演
算処理では、領域ｐを１行、または、１列変える毎に上
記（数５）の演算を行うことになり、処理時間が極めて
長くなってしまう。そこで、図４２の累積加算演算回路
を用いた累積演算により累積加算値Σp （Ｄs ）を求
め、第１，第２特徴領域を設定する方法が考えられる。

【００３９】この演算方法は、累積加算値Σp （Ｄs ）
を次式によって求める。即ち、

【００４０】

【数８】Σp(Ｄs)＝Σp −1(Ｄs)− (Ｄk ＋…＋Ｄk ＋
4)＋ (Ｄk ＋25＋…＋Ｄk ＋29) で示す演算を行う。但し、この演算では、最初の１行目
を含む領域Ｐ（ｐ＝０）での値Σ0 （Ｄs ）のみは（数
５）、従って、（数６）により加算演算を行う。その次
の１行下がった領域Ｐ（ｐ＝１）以降に対しては、上記
（数８）に従う。即ち、

【００４１】

【数９】Σ1 （Ｄs ）＝Σ0 （Ｄs ）−（Ｄ0 ＋…＋Ｄ
4 ）＋（Ｄ25＋…＋Ｄ29） で示す演算を行う。上記（数９）は、前領域のΣ0 （Ｄ
s ）に対して、１行目の画素データの和の値（Ｄ0 ＋…
＋Ｄ4 ）を差し引いて、新規追加（Ｄ25＋…＋Ｄ29）の
和の値を加えて累積加算値Σ1 （Ｄs ）を求めることに
なる。以下の領域についても同様である。このようにし
て各ブロック領域を検索して、第１特徴領域、または、
第２特徴領域を設定する。

【００４２】図４２は、上記累積加算を行う累積加算演
算回路図である。前記図４０に対してコントロール部５
１０のＳＥＬ信号により±１が切り換えられる切り換え
スイッチ付き乗算器５１３を追加した回路である。他の
構成は図４０と同一の構成である。この回路により上記
（数８）の演算が行われる。

【００４３】図４３は、図４２の回路によるメモリ５１
１の画像データ出力信号とＳＥＬ信号、および、累積加
算値Σp （Ｄs ）の出力信号のタイムチャートを示して
いる。

【００４４】しかしながら、この演算処理においても、
検出ブロック領域ｐを１行変える毎に、（数８）の（Ｄ
k ＋…＋Ｄk ＋4 ）の加算と（Ｄk ＋25＋…＋Ｄk ＋2
9）の加算を行う必要があって、演算時間が非常に長く
なってしまう。そして、第１特徴領域、または、第２特
徴領域を選定する場合の単位領域の画素数を増やした場
合には、更に演算時間が延びてしまい、短時間に高コン
トラストの領域の第１特徴領域、または、第２特徴領域
を選定することができず、結果的に１フレーム（フィー
ルド）を構成する画像データを得るまでに時間が掛かり
すぎてしまうことになる。

【００４５】そこで、本実施例においては、評価すべき
ブロック領域を逐次移動してブロック領域内での画像の
コントラストの程度を評価する演算が極めて素早く実行
でき、高精細な画像データを素早く取り扱うことが可能
な構成としている。

【００４６】次に、検出回路１８を構成する相関検出回
路１８ａにおいて、上記図３７〜図４３により従来例の
カメラにおける貼り合わせ処理で説明したように、１枚
目の撮影画面Ｍ１１の該貼り合わせ部Ｒ１１に、ｍ列×
ｎ行の画素、この場合、５×５画素のブロック領域の大
きさを持つ第１の特徴領域Ｂａと第２の特徴領域Ｂｂを
設定し、それらの特徴領域のコントラストの程度を評価
する値、即ち、（数８）に示す画素データを加算した累
積加算値Σp （Ｄs ）により等しい値を示すブロック領
域である。２枚目の撮影画面Ｍ１２の貼り合わせ部Ｒ１
２上で第１の対応領域Ｂｃ、または、第２の対応領域Ｂ
ｄを検索する。

【００４７】そして、検出回路１８を構成するずれ算出
回路１８ｂにおいて、上記第１の特徴領域Ｂａと第２の
特徴領域Ｂｂ上の所定の左上点である特徴領域点Ｂa0，
Ｂb0と、上記第１の対応領域Ｂｃと第２の対応領域Ｂｄ
上の所定の左上点である対応領域点Ｂc0，Ｂd0とを一致
させるための貼り合わせるときのずれ量を算出する。こ
のずれ量は、移動量（水平移動量ｘ，垂直移動量ｙ）と
回転量（θ）とズーム率で示される。

【００４８】本実施例のカメラにおいては、上記第１の
特徴領域Ｂａと第２の特徴領域Ｂｂの位置を設定する方
法に特徴があるが、その処理の詳細については後で説明
する。

【００４９】上記ずれ量データは第１メモリコントロー
ラ１６に出力され、フレームバッファ４に書き込まれて
いる２枚目の画像データを該ずれ量に基づいて補正す
る。その後、２枚目画像データの貼り合わせ部を境界バ
ッファ１７のＲ１１側に書き、そして、３枚目画像デー
タの貼り合わせ部をＲ１２側に書いて繰り返す。以降に
取り込まれる分割撮影画面についても同様にずれ量が検
出され、それぞれ貼り合わせが実行される。

【００５０】図５は、図４の検出回路１８の相関検出回
路１８ａにおける上記累積加算値Σp （Ｄs ）を出力す
る部分のブロック構成を示す図である。

【００５１】本実施例のカメラにおいては、上記第１，
第２特徴領域Ｂａ，Ｂｂを設定する際に、参照される検
出ブロック領域Ｐに関する累積加算値Σp （Ｄs ）を求
めるのにレジスタを用いることによって演算を単純化
し、演算時間を短縮し、素早く第１，第２特徴領域Ｂ
ａ，Ｂｂを設定できる。

【００５２】即ち、検出ブロック領域Ｐは前記図３８に
示すブロック領域と同一のｍ列×ｎ行の画素、この場
合、５×５の画素とし、その各画素データ０，１を加算
した累積加算値を求め、ａ行ずつ移動させる。本例で
は、１行ずつ垂直方向に移動させて上記累積加算値を求
める。そして、前記（数６），（数７）、または、（数
８），（数９）等に示されるような演算値Σ0 （Ｄs
），Σ1 （Ｄs ），……Σp（Ｄs ）を求めるが、その
際、本実施例の場合、図３９に示されるブロック領域１
行当たりの部分和である（Ｄk ＋…＋Ｄk+4 ）の値を、
順次に行対応のレジスタ（１）１８a2，レジスタ（２）
１８a3，……レジスタ（ｎ）１８a4に書き込み、それら
の値を加算器１８a5で加算することによってΣp （Ｄs
）を求める。なお、この実施例では、ｎ＝５であるこ
とからレジスタ（ｎ）は、以下の説明では、レジスタ
（５）とする。

【００５３】具体的に説明すると前記（数５）を書き換
え、（数１０）を求める。即ち、

【００５４】

【数１０】Σp （Ｄs ）＝Ｄk ＋Ｄk ＋1 …………＋Ｄ
k ＋24＝（Ｄk ＋…＋Ｄk ＋4 ）＋（Ｄk ＋5 ＋…＋Ｄ
k ＋9 ）＋（Ｄk ＋10＋…＋Ｄk ＋14）＋（Ｄk ＋15＋
…＋Ｄk ＋19）＋（Ｄk ＋20＋…＋Ｄk ＋24） に示す右辺の（）内の各行の部分加算値をレジスタ
（１）〜レジスタ（５）にそれぞれ書き込み、それらの
レジスタの値を加算器１８a5で加算して、累積加算値Σ
p （Ｄs ）を出力する。

【００５５】図６は、上記各領域の累積加算値Σp （Ｄ
s ）を演算する場合のタイムチャートを示す。本図の下
方にはメモリ出力等の拡大波形を示している。対象とす
るブロック領域の画像データは図３９に示す。

【００５６】累積加算を開始する際、最初はメモリ１７
からブロック領域の画素数ｍ×ｎ分の画素データＤ0 か
らＤ24を出力し、Ｑ点の加算出力を１行分のｍ個のデー
タ毎にレジスタ（１）〜レジスタ（５）に格納する。レ
ジスタ切り換え時には第２メモリコントローラ１９は、
ＣＮＴ信号を出力し、上記各行の加算値を書き込むレジ
スタの番号順１〜ｎ，即ち、１〜５を切り換える。ま
た、その度毎に第２メモリコントローラ１９からのＲＳ
Ｔ信号で加算器１８a1の加算出力はリセットされるもの
とする。そして、各レジスタの格納値を加算回路１８a5
で加算して最初のブロック領域の累積加算値Σ０（Ｄ
ｓ）を演算する。

【００５７】そこで、第２メモリコントローラ１９は、
レジスタのデータを書き換えるＣＮＴ信号を出力して、
部分和データの格納先のレジスタ番号をｎ，即ち、５か
ら１に切り換える。従って、次の１行ずらしたブロック
領域での累積加算値Σ1 （Ｄs ）を求める場合、新規の
１行分の画素データ、例えば、Ｄ２５〜Ｄ２９の和の値
は、レジスタ（１）に格納される。そして、各レジスタ
の格納値を加算回路１８a5で加算して累積加算値Σ1
（Ｄs ）を出力する。以下、領域を１行ずつずらして、
ブロック領域の重なり部を形成しながら順次累積加算値
Σp （Ｄs ）を求める。

【００５８】本実施例によれば、所定範囲の順次移動し
て指定されるブロック領域の累積加算値Σp （Ｄs ）を
演算する場合、ブロック領域の重なり部をもって指定位
置を１行移動したときに、レジスタの値の書き換えと、
レジスタに１行分の画素データの和の格納と、ブロック
領域行数分のレジスタの値の加算を行う、少ない回数の
処理で上記累積加算値Σp （Ｄs ）を求めることができ
る。従って、上記累積加算値Σp （Ｄs ）によって、高
コントラストを示すブロック領域が素早く検出され、そ
の領域を第１，第２の特徴領域Ｂａ，Ｂｂとして選定す
ることができ、より精度の高い貼り合わせが実行でき
る。

【００５９】図８は、本実施例のカメラにおける累積加
算値Σp （Ｄs ）を求めるための演算処理回数を前記２
種類の従来例の技術の例で述べたカメラの場合と比較を
示したものである。図中、ｍ，ｎはブロック領域の列，
行数を示し、ｋは累積加算値Σp （Ｄs ）を求める検索
ブロック領域数を示す。本図に示すように本実施例の場
合、数分の１の処理回数となる。

【００６０】なお、上記実施例においては、累積加算値
Σp （Ｄs ）を求めるためのデータ抽出単位はブロック
領域の構成単位の１画素を単位としたが、数画素を１単
位として累積加算値Σp （Ｄs ）を求めるようにしても
良い。

【００６１】また、演算のためのブロック領域の移動単
位としても、１列，１行と限る必要はなく、上記ｍ列，
ｎ行のブロック領域に係って、ｍ、または、ｎより小さ
い自然数ａを上記単位領域（画素）の該当する方向の寸
法に乗じた量だけ列、または、行方向に移動させてもよ
い。

【００６２】更に、移動方向としては水平、または、垂
直方向以外に、例えば、斜め方向等の如何なる方向への
移動を行うにせよ本発明の概念に包摂されるものであ
る。

【００６３】次に、本実施例における貼り合わせ処理、
即ち、基準とする１枚目画面上に設定された上記第１，
第２の特徴領域Ｂａ，Ｂｂと、貼り合わせられる２枚目
画面で検索された第１，第２の対応領域を一致させ、１
枚目と２枚目の分割画面を貼り合わせる処理について説
明する。

【００６４】図９は、２つの分割画面Ｍ１１，Ｍ１２
と、それらを貼り合わせた画面Ｍ１０を示す図である。
この貼り合わせは、設定された第１，第２の特徴領域Ｂ
ａ，Ｂｂと２枚目上で検索された第１，第２の対応領域
Ｂｃ，Ｂｄを重ねる場合、図示するように第１，第２の
特徴領域Ｂａ，Ｂｂ上の特徴点Ｂa0，Ｂb0と、第１，第
２の対応領域Ｂｃ，Ｂｄ上の対応点Ｂc0，Ｂd0に一致さ
せて貼り合わせる。

【００６５】図１０は、第１，第２対応点Ｂc0，Ｂd0が
ずれている場合の貼り合わせ状態を示した図である。１
枚目の画面Ｍ１３の特徴点Ｂa0，Ｂb0に対応する位置ず
れのない対応点Ｂa0′，Ｂb0′に対して、２枚目の画面
Ｍ１４の実際の対応点Ｂc0，Ｂd0がずれている場合、本
図のように貼り合わせを行う。

【００６６】図１１は、上記の画面Ｍ１３，Ｍ１４の貼
り合わせ処理状態を示した図であって、（Ａ）に示すよ
うに、まず、第１の特徴点Ｂa0と第１の対応点Ｂc0とを
ずらして合わせる。そして、（Ｂ）に示すように、２枚
目の画面Ｍ１４を回転させて第２の特徴点Ｂb0と第２の
対応点Ｂd0と一致させて貼り合わせを行う。

【００６７】そこで、本実施例の場合、上記回転角度差
△θの演算が簡単に行えるずれ量演算方法を適用する。
即ち、図１２に示す２つの貼り合わせ部Ｍ１５，Ｍ１６
のように基準となる画面Ｍ１５上の第１特徴点Ｂa0
（ｘ，ｙ1 ）を設定後、該特徴点Ｂa0を通るｙ軸と平行
線上に第２特徴点Ｂb0（ｘ，ｙ2 ）を設定する。従っ
て、上記従来例における傾き角θ1 が０となる。貼り合
わされる画面の貼り合わせ部Ｍ１６上の第１対応点Ｂc0
（Ｘ3 ，Ｙ3 ）と第２対応点Ｂd0（Ｘ4 ，Ｙ4 ）は上記
従来例と同一にして求める。第１対応点のずれ、第２対
応点の回転角は、上記（数１）の補正をした後、

【００６８】

【数１１】△ｘ＝Ｘ−Ｘ3

【００６９】

【数１２】△ｙ＝Ｙ1 −Ｙ3

【００７０】

【数１３】 θ＝arc ｔａｎ｛（Ｘ4 −Ｘ3 ）／（Ｙ4 −Ｙ3 ）｝ この場合、回転ずれの△θの値は、１つのarc ｔａｎの
項を求めるだけでよく、演算が単純化し、精度も上が
る。回路規模も小さくなる。

【００７１】なお、上記（数１１），（数１２），（数
１３）の演算はソフトにより演算しても良いが、ハード
構成により演算を行うようにしてもよい。図１３の演算
回路は、該演算を行うためのずれ演算回路２１ａのブロ
ック構成図であり、４つの減算器とarc ｔａｎ（ａ／
ｂ）の値を書き込んだＲＯＭテーブルにより構成されて
いる。また、このずれ量演算回路２１ａは、前記図４の
ＣＰＵ２１に内蔵される。そして、その出力△ｘ，△
ｙ，θは、第１メモリコントローラ１６に出力され、フ
レームバッファ４の画像データの貼り合わせが行われ
る。

【００７２】次に前記基準画面の特徴領域のコントラス
ト状態に対応する貼り合わせられる画面の対応領域の検
索処理の変形例について説明する。

【００７３】図４５に示す従来例におけるブロック総和
検出処理は、基準画面の特徴領域、例えば、４列×４行
の領域の画像データ０，１の累積加算値Σの値が一致す
る貼り合わせ画面上の対応ブロック領域を対応領域とし
て指定するものである。この図の場合、基準画面側の貼
り合わせ部Ｍ２１上の特徴領域Ｂ２１の累積加算値Σは
８である。そして、貼り合わされる画面側の貼り合わせ
部Ｍ２２のブロック領域Ｂ２２，Ｂ２３，Ｂ２４の累積
加算値Σをチェックしたとき、０，１６，８であった場
合、累積加算値Σが８であるブロック領域Ｂ２４を対応
領域として指定することになる。

【００７４】図４６の例は、領域のパターンマッチング
方法を適用するものであって、画像データのパターンが
一致するブロック領域を対応領域に指定する。この場
合、特徴領域Ｂ２１の画像パターンに一致するパターン
を有するブロック領域はＢ２５，Ｂ２６，Ｂ２７のう
ち、ブロック領域Ｂ２７を対応領域として指定すること
になる。

【００７５】ところが、上記図４５に示したブロック総
和方式の場合、累積加算値Σが一致したとしても画像パ
ターンが異なるものを指定してしまう場合がある。図４
７の特徴領域と対応領域の画像データに示すように、累
積加算値Σが４である特徴領域Ｂ３１に対して累積加算
値Σが一致する領域として、パターンが一致する領域Ｂ
３２が対応するがパターンが異なるブロック領域Ｂ３
３，Ｂ３４，Ｂ３５が対応領域として指定されてしま
う。

【００７６】また、上記図４６に示したパターンマッチ
ング方式では、図４８の特徴領域と対応領域の画面に示
すように、基準画面Ｍ３１に対して貼り合わされる画面
Ｍ３２が回転して撮影された場合、特徴領域Ｂ３６に対
して、本来、対応しているブロック領域であるにも関わ
らず、パターンが相対的に傾いているために対応しない
と判断してしまう。

【００７７】そこで、上記実施例のカメラにおける特徴
領域に対する対応領域の検索処理の変形例として提案す
るものは、前記ブロック総和方式とパターンマッチング
方式とを併用する処理である。

【００７８】本処理では、図１４の（Ａ）に示す基準画
面Ｍ５１に貼り合わせ画面Ｍ５２を貼り合わせ、図１４
の（Ｂ）に示す合成された１撮影画面Ｍ５０を得るもの
とする。本処理を実行する回路構成は前記図４に示す検
出回路まわりのブロック構成図と略同一であるが、検出
回路自体が図１５，図１６に示すようにブロック総和検
出回路１８Ａとパターンマッチング検出回路１８Ｂとで
構成されている点が異なる。

【００７９】本処理において、まず、基準画面Ｍ５１の
貼り合わせ部Ｒ５１と、貼り合わせる画面Ｍ５２の重複
貼り合わせ部Ｒ５２の画像データを境界バッファ１７に
取り込む。そして、図１５の検出回路１８に内蔵される
ブロック総和検出回路１８Ａにより特徴領域Ｂ５１の累
積加算値Σを求め、その値に対応する累積加算値Σを有
するブロック領域を検索することによって、対応領域Ｂ
５２を指定し、回転成分θを含むずれ量を検出する。

【００８０】続いて、図１６に示す検出回路まわりのブ
ロック構成図に示すように、上記検出された回転成分を
含むずれ量に基づき、第１メモリコントローラ１６を介
してフレームバッファ４の貼り合わせ画面Ｍ５２を書き
換え補正画面Ｍ５３を生成する。その後、更に、補正画
面Ｍ５３の貼り合わせＲ５３の画像データを境界バッフ
ァ１７に取り込む。そして、基準画面の貼り合わせ部Ｒ
５１と上記貼り合わせ部Ｒ５３とのパターンマッチング
検出を検出回路１８に内蔵されるパターンマッチング検
出回路１８Ｂにより実行する。

【００８１】この場合、補正画面Ｍ５３が回転補正がな
されていることから、累積加算値Σ上、パターンともに
完全に対応しているブロック領域を対応領域として指定
することになる。

【００８２】このように本変形例によると、累積加算値
Σが一致し、しかも、パターンも一致するブロック領域
を検索し、特徴領域により完全に対応する対応領域を検
索することが可能となる。そして、前記図４７に示した
ように、累積加算値Σが一致してもパターンが一致しな
いようなブロック領域を対応領域から除外することがで
きる。

【００８３】次に、前記基準画面の特徴領域のコントラ
スト状態に対応して貼り合わせられる画面の対応領域の
検索処理の別の変形例について説明する。

【００８４】図４９は、従来例における対応領域検出処
理の検出状態を示す図であって、基準画面Ｍ６１と貼り
合わせ画面Ｍ６２を貼り合わせる場合の第１，第２の特
徴領域Ａ，Ｂと、検出された第１，第２の対応領域Ｃ，
Ｄを示した図である。この従来の検出処理においては、
特徴領域Ａに対して、△ｘ，△ｙだけ移動した対応領域
Ｃが検出され、更に、特徴領域Ｂに対応する対応領域Ｄ
が検出され、貼り合わせ画面の回転成分θが検出され
る。

【００８５】図５０は、上記基準画面Ｍ６１と貼り合わ
せ画面Ｍ６２を貼り合わせた状態を示す図であるが、貼
り合わせ画面Ｍ６２を移動量△ｘ，△ｙだけ移動し、更
に、相対的に角度θだけ回転させて貼り合わせる。この
貼り合わせ状態で、第２の特徴領域Ｂと第２の対応領域
Ｄとは、特徴領域間距離ＡＢと対応領域間距離ＣＤが合
わないために一致しない。本処理では、このような対応
領域検出ミスの状態のままで貼り合わせを行ってしまう
ことが起こり得る。

【００８６】そこで、上述のような不具合が生じない対
応領域検出処理として、本変形例を提案する。この処理
における検出回路まわりのブロック構成図は、図１７に
示すように、前記図４のブロック構成図と略同一である
が、検出回路１８が異なる。

【００８７】即ち、本検出回路における検出処理では、
図２１のフローチャートに示すように、まず、一回目の
検索における対応領域として認識する許容限度の累積加
算値Σの差の許容値△ｄを５に設定する。即ち、特徴領
域とブロック領域との累積加算値Σの差が５以内であれ
ば、一応、そのブロック領域を対応領域として扱うこと
になる。この値△ｄは、適正な対応領域が求められない
ときには、順次、値を減らしてゆく。例えば、図１８の
検索状態図に示すように、特徴領域Ｂ５５の累積加算値
Σが１００であった場合、最初の段階で差の許容値△ｄ
を５として、累積加算値Σが８０，９５，９９であるブ
ロック領域Ｂ５６，Ｂ５７，Ｂ５８等を比較すると、領
域Ｂ５７を対応領域としての検索許容対象として認め
る。なお、後述する次ステップの処理段階で、許容差△
ｄを４とした場合は、上記領域Ｂ５８のみを対応領域と
しての検索許容対象として認めることにする。

【００８８】続いて、図２１のフローチャートにおい
て、第１の対応領域の検索のためのブロック領域位置を
示すｐを０にリセットする。以下、図２０に示すように
貼り合わせ部Ｒ５６において、ｐをインクリメントしな
がらブロック領域ＣをＣｏから順次Ｃｐへ対象とする領
域を変化させ、特徴領域Ａに対してブロック領域Ｃｐと
の累積加算値Σの差が値△ｄ以内、この場合、５以内で
あるかをチェックする。５以内であった場合、ブロック
領域Ｃｐを第１の対応領域として設定する。

【００８９】更に、第２の対応領域の検索のためのブロ
ック領域位置を示すｑを０にリセットする。以下、図２
０に示すように貼り合わせ部Ｒ５６において、ｑをイン
クリメントしながらブロック領域ＤをＤｏから順次Ｄｑ
へ対象とする領域を変化させ、特徴領域Ｂに対してブロ
ック領域Ｄｑとの累積加算値Σの差が値△ｄ以内、この
場合、５以内であるかをチェックする。５以内であった
場合、ブロック領域Ｄｑを第２の対応領域として設定す
る。

【００９０】その後、図１９に示すように第１，第２の
特徴領域Ａ，Ｂ間の距離と上記の処理で検出された第
１，第２の対応領域Ｃ，Ｄ間の距離とを比較する。両者
の距離が一致したときは、第１，第２の特徴領域Ａ，Ｂ
に対応する第１，第２の対応領域Ｃ，Ｄが検出されたと
して、ずれ量演算を実行する。

【００９１】また、両者の距離が一致しないときは、累
積加算値Σの許容差の値△ｄをデクリメントして、前記
ブロック領域Ｃｐとの累積加算値Σの差が上記値△ｄ以
内であるかのチェックと、前記ブロック領域Ｄｑとの累
積加算値Σの差が上記値△ｄ以内であるかのチェックを
再開する。

【００９２】このように適合した対応領域が求められな
い場合には、許容差の値を徐々にデクリメントしてゆ
き、累積加算値Σの差が少ない領域での検索を繰り返
す。

【００９３】そして、累積加算値Σの許容差の値△ｄが
０となっても、適合する対応領域Ｃ，Ｄが検出できなか
った場合、対応領域検出不能としてアラームを鳴らす等
のエラー処理を行う。

【００９４】上記図２１のフローチャートに示す変形例
の対応領域検出処理に対して、更に、別の対応領域検出
処理について説明する。

【００９５】この処理は、図１９の分割撮影画面の貼り
合わせ部に示すように第１と第２の特徴領域間隔と検出
された第１と第２の対応領域間隔とが一致しなかった場
合、基準となる画面の特徴領域の選定自体が適正ではな
かったとして、ＡＦ，ＡＥのやり直しやシャッタ速度、
更には、２値化処理時の閾値等の変更を行い、その状態
で特徴領域の選定と対応領域を検出をやり直すようにす
るものである。

【００９６】図２２は、本変形例の特徴領域，対応領域
検出処理のフローチャートである。まず、ＡＦ，ＡＥ処
理、並びに、２値化処理を行って得られた基準画面と貼
り合わせ画面をフレームバッファに書き込み、その貼り
合わせ部を境界バッファに取り込む。特徴領域Ａ，Ｂの
選出を行った後、対応領域Ｃ，Ｄの検出を行う。そこ
で、特徴領域Ａ，Ｂ間の距離と対応領域Ｃ，Ｄ間の距離
を比較し、一致すれば、検出された特徴領域Ａ，Ｂと対
応領域Ｃ，Ｄとが適合性の高いものであると判別し、ず
れ量演算を行う。一致しなければ、再度、ＡＦ，ＡＥ処
理等の常数や２値化処理における閾値レベル、または、
シャッタ速度等の再設定を行って撮影し、再度、前記の
画像データの書き込みを行う。そして、特徴領域の設定
や対応領域の検出を行うことになる。

【００９７】上記図２１のフローチャートに示す変形例
の対応領域検出処理に対して、更に、別の対応領域検出
処理について説明する。

【００９８】この処理は、図２３にそのフローチャート
を示すが、図１９の分割撮影画面の貼り合わせ部に示す
ような第１と第２の特徴領域間隔と検出された第１と第
２の対応領域間隔とが一致しなかった場合、ズーム倍率
を変更し、変更後の撮影画像データに基づいて対応領域
検出処理を行うものである。

【００９９】更に、上記検出処理で適合する対応領域が
検出できないとき、上記図２１，２２，２３に示すフロ
ーチャートの検出処理を順次繰り返すようにすれば、効
果的な検出が行われる。

【０１００】次に、上記実施例の画像取り扱い装置であ
るカメラにおける分割画の貼り合わせと関連する動き検
出技術を有する画像取り扱い装置について説明する。

【０１０１】図５１は、従来の画像取り扱い装置である
ビデオカメラにおける２画像データ画面の動き検出処理
における参照画像と対象画像、並びに、代表点（特徴
点）のエリア拡大図を示すものである。

【０１０２】この従来例は、代表点（特徴点）マッチン
グ方法を適用するものであって、参照画像Ｍ７１が動き
検出のためのマッチング基準となる画像であり、対象画
像Ｍ７２が移動した後の画像とする。参照画像Ｍ７１と
対象画像Ｍ７２とは、４つの領域に分割される。そし
て、対象画像Ｍ７２の４分割画面上にそれぞれ設定され
る代表点エリアＢ７２は、例えば、８×８画素で構成さ
れる。また、上記代表点エリアＢ７２に対応する画像デ
ータが検索されるべきサーチエリアＲ７１が参照画像Ｍ
７１の４分割画面上に設定される。

【０１０３】この従来例においては、上記画像の画像デ
ータは２値化データであり、上記代表点エリアＢ７２の
黒，白部分に対応する画像データ０，１の総和、即ち、
累積加算値Σに等しい８×８画素で構成されるブロック
領域を参照画面Ｍ７１のサーチエリアＲ７１の中から対
応点として検出して、その検出対応点エリアのメモリ空
間アドレスと、上記代表点エリアＢ７２のメモリ空間ア
ドレスとから移動による動き量、即ち、ずれ量が算出さ
れる。

【０１０４】上記従来例の場合、代表点エリア（特徴領
域）Ｂ７２が対象画像の絵柄のコントラスト状態に関係
なく固定された位置に設定されており、真っ白の部分と
か、真っ黒の部分が設定されることもあり、必ずしもサ
ーチに適当な画像情報を有していない。従って、動き検
出の精度が上がらない。

【０１０５】この従来例に対して、ここで提案する本例
の画像取り扱い装置は、対象画像上の代表点エリアとし
てコントラストの高いエリアを速やかに選定することが
でき、精度の高い動き検出が可能とするものである。

【０１０６】図２４は、上記提案の画像取り扱い装置の
動き検出部のブロック構成図である。図２４において、
撮像系から出力される画像データは、まず、１フィール
ド目の撮像画像データが参照画像データとしてフィール
ドメモリ５２に書き込まれる。同時に、該１フィールド
目の画像データにおけるコントラスト値に関する情報が
領域情報とともにコントラスト検出回路５１で検出さ
れ、動き検出回路５３に取り込まれる。

【０１０７】その後、２フィールド目の撮像画像データ
が対象画像データとして、動き検出回路５３に取り込ま
れ、同時にフィールドメモリ５２より読み出され、１フ
ィールド目の参照画像データが動き検出回路５３に取り
込まれる。

【０１０８】そこで、上述の動き検出回路５３に取り込
まれている上記１フィールド目の画像データに対するコ
ントラスト情報より、高コントラスト部分を検出する。
この高コントラスト部の検出は、例えば、図２７の画像
データ画面Ｍ７５における所定分割数による分割画面の
内の分割エリアＲ７５を検出することになる。そして、
高コントラスト分割エリアＲ７５位置情報をそのまま２
枚目の画像データ用の高コントラスト位置情報として適
用する。

【０１０９】これは、１枚目と２枚目画像間では、高コ
ントラスト領域の大きな移動はないと見做して、１枚目
画像のコントラスト情報を２枚目用として流用するもの
である。

【０１１０】そして、図２７に示すように２枚目の対象
画像データ用の高コントラストを示す分割エリアＲ２５
の更にその中心位置の領域を特徴領域Ｂｆとして指定す
る。また、動き検出回路５３において、１枚目の参照画
面Ｍ７４の画像データにおいて、上記高コントラストエ
リアＲ７５に対応しているエリアＲ７６の画像データの
中から、上記特徴領域Ｂｆの高コントラスト状態を示す
累積加算値Σが一致する対応ブロック領域を対応領域と
して選定する。その対応領域と上記特徴領域Ｂｆとの位
置の相対ずれ量から１枚目に対する２枚目の動き量を演
算し、動きベクトル情報として出力する。この動きベク
トル情報は、図１に示される第１メモリコントローラ１
６に出力され、フレームバッファ４の画像データの書き
換えが行われる。

【０１１１】図２５は、上記図２４の動き検出部の画像
データのコントラスト情報取り込み処理のタイムチャー
トを示す。画像データは、Ａフィールドデータ，Ｂフィ
ールドデータ，……と順次対象画像データが出力される
と、その各フィールドでのコントラストデータがコント
ラスト検出回路５１を介して動き検出回路５３に取り込
まれる。同時に各フィールドの画像データがフィールド
メモリ５２にも取り込まれる。

【０１１２】画像データ読み込み直後、垂直同期信号出
力期間中に、取り込まれている上記コントラストデータ
から対象画像の高コントラスト位置情報を読み出す。次
フィールド期間で、ＣＰＵによる対象画像上での位置指
定情報を出力する。

【０１１３】図２６は、上記図２４の動き検出部のコン
トラスト検出回路５１の詳細なブロック構成と各処理経
過中の信号波形を記載した図である。検出回路５１に取
り込まれた画像データ（輝度信号）はＢＰＦ（バンドパ
スフィルタ）５１ａで所定の高周波成分が抽出され、絶
対値処理回路５１ｂで処理した後、累積加算器５１ｃで
絶対値処理出力を加算し、コントラスト値として図２７
に示す各分割領域に対応したアドレスにコントラストデ
ータメモリ５１ｄに書き込む。更に、ＣＰＵ５１ｅによ
り、上記コントラストデータメモリ５１ｄのデータか
ら、高コントラストの分割領域Ｒ７５（図２７参照）の
位置情報を出力する。

【０１１４】上記図２７は、取り込み画像データ画面の
分割状態を示した図であって、本例の装置にあっては、
上記高コントラストを有する分割エリアＲ７５を上記コ
ントラスト検出回路５１で検出する。そして、該エリア
の中の中央に位置する領域を特徴領域Ｂｆとして設定す
る。

【０１１５】以上説明したように、本例の画像取り扱い
装置によると、対象画像における特徴領域を設定する際
に、まず、上記対象画面の分割エリア毎のコントラスト
データを取り込み、その中で高コントラストを示す分割
エリアを検出し、その分割エリアの中心領域を上記特徴
領域に設定するので、後の対応領域検出時に用いる特徴
領域に理想的な高コントラスト領域を指定することがで
き、精度の高い動き検出が可能となる。

【０１１６】上記の画像取り扱い装置の図２７で説明し
た特徴領域の設定方法に対する変形例として、図２８に
示す方法は、図２４のコントラスト検出回路５１で検出
された高コントラストの分割エリアＲ７５について、更
にそのエリアの中でコントラストを示す領域を確実に検
索する方法である。即ち、エリアＲ７５を所定の数、例
えば、図２８のように１２分割する。その分割エリアＰ
ｃを順次移動して、各エリアのコントラスト情報を検出
し、高コントラストを示すエリアを特徴領域Ｂｇとして
設定するものである。

【０１１７】この方法によると、分割エリアＲ７５中の
高コントラストを示す領域を確実に検索することができ
る。

【０１１８】また、特徴領域の設定方法に対する別の変
形例として、図２９に示す方法は、図２４のコントラス
ト検出回路５１で検出された高コントラストの分割エリ
アＲ７５について、高コントラスト領域を検索する場
合、例えば、その分割エリアＰｆｍ列×ｎ行画素で構成
するものとし、ａ画素分だけ行、または、列を順次移動
させながら、各エリアのコントラスト情報を検出し、高
コントラストを示すエリアを特徴領域Ｂｇとして設定す
るものである。

【０１１９】この方法によると、分割エリアＲ７５中の
高コントラストを示す領域を確実にしかも細かく検索す
ることができる。

【０１２０】次に、前記分割画の貼り合わせと関連する
動き検出技術についての別の例の画像取り扱い装置につ
いて説明する。

【０１２１】図３０は、本提案の画像取り扱い装置の動
き検出部のブロック構成図である。なお、上記図３０に
示す以外の撮像素子系等の構成は、図１のカメラの構成
と同一とする。

【０１２２】撮像系で出力される画像データは、２値化
回路６１で処理され、基準となる１枚目の撮像画像デー
タの重複する部分（貼り合わせ部）Ｒｈの２値化画像デ
ータと、重ね合わされるべき２枚目の撮像画像データの
重複する部分（貼り合わせ部）Ｒｉの２値化画像データ
とが境界バッファ６２に対象画像データ、および、参照
画像データとして書き込まれる。

【０１２３】コントラスト検出回路６３にて、１枚目の
領域Ｒｈの中の所定の大きさ、例えば、１００×１００
画素のブロック領域毎の画像データ（０，１）のコント
ラスト情報を検出して、高コントラストを示す２つの領
域を高コントラストを示す領域Ｒｈ，Ｒｉの位置情報を
動き検出回路６４に取り込む。更に、領域Ｐｈ，Ｒｉの
大きさより狭い領域、例えば、８×８画素のブロック領
域について、画素データ（０，１）による高コントラス
トを示す領域を検出し、その領域を２つの特徴領域Ｂ
ｈ，Ｂｉとして設定する。

【０１２４】更に、上記領域Ｐｈ，Ｒｉに対応する２枚
目画像における領域Ｒｊ，Ｒｋ内において、上記特徴領
域Ｂｈ，Ｂｉのコントラスト情報（画像データの累積加
算値）と各一致するブロック領域を検索して、２つの対
応領域Ｂｊ，Ｂｋとする。そして、１枚目画面の上記特
徴領域Ｂｈ，Ｂｉに対して、２枚目画面の上記対応領域
Ｂｊ，Ｂｋを一致させて重ねたときの移動量と回転量を
ずれ量として出力する。

【０１２５】上記ずれ量は、図１に示す第１メモリコン
トローラ１６に入力される。そして、フレームバッファ
４に取り込まれている２枚目画面のデータを上記ずれ量
に基づいて、移動，回転させて重ね合わせを行う。

【０１２６】図３１は、上記コントラスト検出回路６
３、または、動き検出回路６４における高コントラスト
領域の検出回路の処理状態を合わせて示したブロック構
成図である。この回路の処理状態を、例えば、８×８画
素のブロック領域についてのコントラストデータを検出
する動作として説明する。

【０１２７】いま、検索ブロック領域Ｐｉ，Ｐｊの２領
域の画像データのコントラストデータについて考えると
して、画像データが図３２の（Ａ），（Ｂ）に示すよう
なデータとする。まず、図３１の累積加算器６５によ
り、検索ブロック領域Ｐｉ，Ｐｊの画像データ（０，
１）を累積し、値６０，３０を得る。減算器６６にて、
上記出力値６０，３０からブロック領域の画素数６４の
１／２である値３２を減算し、値２８，−２を得る。絶
対値化回路６７で絶対値をとり、減算器６８にて、上記
ブロック領域の画素数の１／２である値３２から上記絶
対値化した値２８，２を減算し、コントラストの高さを
示すコントラストデータとして４，３０を出力する。こ
の出力値により検索ブロック領域Ｐｉ，Ｐｊのコントラ
スト状態としては領域Ｐｊの方が高コントラストであ
り、領域Ｐｉが低コントラストであると判別される。

【０１２８】なお、図３２の（Ｃ）に示すブロック領域
Ｐｋのコントラストデータは、各画素が殆ど黒（０）で
あり、低コントラストである状態を示している。

【０１２９】次に、分割画の貼り合わせと関連する動き
検出技術を有する更に別の画像取り扱い装置について説
明する。

【０１３０】図３３は、上記提案の画像取り扱い装置の
動き検出部のブロック構成図である。この検出部は、前
記図２４に示すものと略同一の構成を有している。異な
っている点は、コントラスト検出回路５１Ａが対象画像
データのブロック領域のコントラスト情報を検出する処
理以外、撮影光学系のＡＦ（自動合焦）制御用に用いら
れる点である。図１のＡＦ／ＡＥ回路１４のＡＦ部が上
記コントラスト検出回路５１Ａに対応する。

【０１３１】図３４は、ＡＦ処理用の撮影画面のＡＦエ
リアＭ８１の分割状態を示し、１分割ブロックが３０×
９６画素のブロック領域Ｒ８１で構成され、所定領域の
コントラスト情報がＡＦ制御に用いられる。また、本変
形例の場合、この分割エリアがそのまま画像重ね合わせ
処理の特徴領域の検出にも用いられることになる。

【０１３２】図３５に示す上記コントラスト検出回路５
１Ａは、前記図２６のコントラスト検出回路５１と略同
一の構成を有しており、前述のようにＣＰＵ５１ｅから
ＡＦ用のコントラスト情報も出力される。

【０１３３】本変形例によれば、コントラスト検出回路
５１ＡがＡＦ制御用と画像重ね合わせ処理の特徴領域の
検出用とに共用して用いられることから、回路規模が大
型化することがなくなる。

【０１３４】次に、分割画の貼り合わせと関連する動き
検出技術を用いた更に別の画像取り扱い装置について説
明する。

【０１３５】図３６は、上記提案の画像取り扱い装置の
動き検出部のブロック構成図である。この検出部は、前
記図３０に示すものと略同一の構成を有している。異な
っている点は、コントラスト検出回路６３Ａが対象画像
データのブロック領域のコントラスト情報を検出する処
理以外、撮影光学系のＡＦ（自動合焦）制御用にも用い
られる点が異なる。但し、上記コントラスト検出回路６
３Ａには、２値化される前の画像データが取り込まれる
ものとする。

【０１３６】本変形例においても、コントラスト検出回
路５１ＡがＡＦ制御用と画像重ね合わせ処理の特徴領域
の検出用とに共用して用いられることから、回路規模が
大型化することがなくなる。

【０１３７】以上説明した実施例、または、その変形例
の装置に基づいて、画像取り扱い装置として次のような
構成を有する装置が提案される。即ち、１つの画像取り
扱い装置は、当該画面において、各所定寸法を有してな
り映像信号レベル検出の単位とするものとしてその形状
と大きさを規定してなる単位領域を所定方向に沿って整
列させて構成されるブロック領域を想定し、該ブロック
領域を所定方向に沿って移動の前後において重なり部を
形成しながら逐次移動するときの毎回の停止位置での当
該ブロック領域内に含まれる上記単位領域毎の映像信号
レベルの総和を求めることによって、上記毎回の停止位
置でのブロック領域内での画像のコントラストの程度を
評価する機能部を有する画像取り扱い装置であって、上
記ブロック領域の所定数の単位領域毎の映像信号レベル
値を累積加算する累積加算手段と、上記累積加算手段に
よる当該ブロック領域の単位領域毎の映像信号レベルの
累積加算値を保持すべく設けられた保持手段と、上記保
持手段に保持された値の総和を得るための加算手段と、
上記ブロック領域の垂直又は水平方向の逐次移動に追随
して上記保持手段のうちの一部に保持された値を該逐次
移動に対応して上記累積加算手段により新たに得られる
値に更新する保持値更新手段を備えてなることを特徴と
する。

【０１３８】この画像取り扱い装置によると、評価すべ
きブロック領域を逐次移動してブロック領域内での画像
のコントラストの程度を評価する演算が極めて素早く実
行でき、高精細な画像データを素早く取り扱うことが可
能となる。

【０１３９】他の１つの画像取り扱い装置は、部分的に
重複する当該一の領域に係る画像と当該他の領域に係る
画像とを、上記重複する領域に係って少なくとも上記一
の領域に係る上記重複する領域中の第１の特徴部及び第
２の特徴部として設定した領域がこれらに対応すべき上
記他の領域に係る上記重複する領域中の第１の対応部及
び第２の対応部として認識される領域と正規に重なるよ
うにして貼り合わせ処理するための機能部を有する画像
取り扱い装置であって、上記第１の対応部及び／又は第
２の対応部の認識を、上記第１の特徴部及び／又は第２
の特徴部との比較対象とされる当該部内での映像信号レ
ベルの累算値が同等か否かの第１の識別動作の後に上記
一の領域に係る画像と当該他の領域に係る画像との相対
位置を整合させる動作を行いこの後当該部内でのパター
ンが同等か否かの第２の識別動作を行う識別手段を備え
てなることを特徴とする。

【０１４０】この画像取り扱い装置によると、検出精度
（認識精度）が向上する。

【０１４１】更に他の１つの画像取り扱い装置は、部分
的に重複する当該一の領域に係る画像と当該他の領域に
係る画像とを、上記重複する領域に係って少なくとも上
記一の領域に係る上記重複する領域中の第１の特徴部及
び第２の特徴部として設定した領域がこれらに対応すべ
き上記他の領域に係る上記重複する領域中の第１の対応
部及び第２の対応部として認識される領域と正規に重な
るようにして貼り合わせ処理するための機能部を有する
画像取り扱い装置であって、上記第１の対応部及び第２
の対応部として認識される領域間の距離が上記第１の特
徴部及び第２の特徴部として設定した領域間の距離と所
定の許容範囲を越えて異なる旨識別されたときには、上
記第１の特徴部及び／又は第２の特徴部についての当初
の条件を変えての設定動作、上記第１の対応部及び／又
は第２の対応部についての当初の条件を変えての認識動
作、上記異なった双方の距離を等しくするための電子的
画像倍率可変動作、又は、上記３種の動作のうちの２以
上の動作を順次実行する動作を行うための手段を備えて
なることを特徴とする。

【０１４２】更に他の１つの画像取り扱い装置は、部分
的に重複する当該一の領域に係る画像と当該他の領域に
係る画像とを、上記重複する領域に係って少なくとも上
記一の領域に係る上記重複する領域中の一つの特徴部と
して設定した領域がこれらに対応すべき上記他の領域に
係る上記重複する領域中の一つの対応部として認識され
る領域と正規に重なるようにして貼り合わせ処理するた
めの機能部を有する画像取り扱い装置であって、上記特
徴部を設定するに際し、この特徴部を自己の中に設定す
べき領域を該特徴部よりも大きい複数のブロックに分割
し、当該ブロック内に上記特徴部を設定するに相応する
画像のコントラスト値等の所定の第１の要件を満たすか
否かの第１の弁別動作を上記各ブロック単位での比較的
粗な領域弁別動作として実行し、その後、第１の弁別動
作によって自己の内に上記特徴部を設定するに相応する
所定要件を満たすものと弁別されたブロックについての
み同ブロック内領域について上記特徴部として設定する
に相応する画像のコントラスト値等の所定の第２の要件
を満たす小領域を特定する第２の弁別動作を当該ブロッ
ク内領域についての比較的密な領域弁別動作として実行
するための設定手段を備えてなることを特徴とする。

【０１４３】この画像取り扱い装置によると、特徴部の
選定が速やかになされるため、装置全体として処理速度
が向上する。

【０１４４】更に他の画像取り扱い装置は、画像のコン
トラスト状態の如何を識別して合焦状態の如何を評価す
るための第１の機能部、及び、部分的に重複する当該一
の領域に係る画像と当該地の領域に係る画像とを、上記
重複する領域に係って少なくとも上記一の領域に係る上
記重複する領域中の一つの特徴部として設定した領域が
これらに対応すべき上記他の領域に係る上記重複する領
域中の一つの対応部として認識される領域と正規に重な
るようにして貼り合わせ処理するための第２の機能部を
有する画像取り扱い装置であって、上記特徴部を設定す
るに際し、この特徴部を上記第１の機能部によってコン
トラストが所定程度以上あるものと識別された領域中か
ら選定する手段を備えてなることを特徴とする。

【０１４５】この画像取り扱い装置によると、ＡＦ手段
と特徴部設定のための手段が部分的に重複して構成され
るため簡素化される。

【０１４６】

【発明の効果】上述のように本発明の画像取り扱い装置
は、貼合わせのずれの検出精度（認識精度）、検出速度
を向上でき、演算の回路規模を縮小することが出来ると
いう長所を有する。

【図面の簡単な説明】

【図１】本発明の一実施例を示す画像取り扱い装置であ
るカメラの構成を示すブロック構成図である。

【図２】上記図１のカメラにおける撮影画面の分割画面
を示す図である。

【図３】上記図１のカメラにおける撮影画面の分割画面
の貼り合わせ状態を示す図、（Ａ）は分割画面、（Ｂ）
は貼り合わせ画面を示す図である。

【図４】上記図１のカメラにおける検出回路まわりの詳
細なブロック構成図である。

【図５】上記図１のカメラにおける検出回路の更に詳細
なブロック構成図である。

【図６】上記図１のカメラにおける検出回路の検出処理
のタイムチャートである。

【図７】上記図１のカメラにおける検出回路の検出処理
の検索ブロック領域の移動状態を示す図である。

【図８】上記図１のカメラと別途に規定されたカメラと
において、特徴領域検出のための検索回数を比較して示
した図である。

【図９】上記図１のカメラにおける分割画面の貼り合わ
せ状態を示す図である。

【図１０】上記図１のカメラにおける分割画面の貼り合
わせ方を示す図である。

【図１１】上記図１のカメラにおける分割画面の貼り合
わせ方を示す図である。

【図１２】上記図１のカメラにおける分割画面の特徴領
域と対応領域を示す図である。

【図１３】上記図１のカメラにおける検出回路の加算回
路の一例を示す図である。

【図１４】上記図１のカメラにおける検出処理の変形例
の画面貼り合わせ状態を示す図である。

【図１５】上記図１のカメラにおける検出回路の変形例
の回路のブロック構成図の一部である。

【図１６】上記図１のカメラにおける検出回路の変形例
の回路のブロック構成図の一部である。

【図１７】上記図１のカメラにおける検出回路の別の変
形例の回路のブロック構成図である。

【図１８】上記図１のカメラにおける検出処理の変形例
の特徴領域検索状態を示す図である。

【図１９】上記図１のカメラにおける検出処理の変形例
で貼り合わされる画面の特徴領域と対応領域を示す図で
ある。

【図２０】上記図１のカメラにおける検出処理の変形例
で対応領域を検出するためのブロック領域の移動状態を
示す図である。

【図２１】上記図１のカメラにおける検出処理の変形例
のフローチャートである。

【図２２】上記図１のカメラにおける検出処理の別の変
形例のフローチャートである。

【図２３】上記図１のカメラにおける検出処理の更に別
の変形例のフローチャートである。

【図２４】本発明の装置に関連する画像取り扱い装置の
動き検出部のブロック構成図である。

【図２５】上記図２４の動き検出部のコントラストデー
タ取り込み処理のタイムチャートである。

【図２６】上記図２４の動き検出部のコントラスト検出
回路のブロック構成図である。

【図２７】上記図２４の動き検出部におけるコントラス
ト検出のための分割ブロック領域を示す図である。

【図２８】上記図２４の動き検出部の検出処理の変形例
における分割ブロック内の高コントラスト検索状態を示
す図である。

【図２９】上記図２４の動き検出部の検出処理の別の変
形例における分割ブロック内の高コントラスト検索状態
を示す図である。

【図３０】本発明の装置に関連する別の例の画像取り扱
い装置の動き検出部のブロック構成図である。

【図３１】上記図３０の動き検出部のコントラスト検出
回路のブロック構成図である。

【図３２】上記図３１のコントラスト検出処理に適用さ
れるブロック領域の画像データを示す図である。

【図３３】本説明の装置に関連する更に別の例の画像取
り扱い装置の動き検出部のブロック構成図である。

【図３４】上記図３３の動き検出部の検出処理における
検出対象画面の分割状態を示す図である。

【図３５】上記図３３の動き検出部のコントラスト検出
回路のブロック構成図である。

【図３６】本発明の装置に関連する更に別の例の画像取
り扱い装置の動き検出部のブロック構成図である。

【図３７】一つの構想による画像取り扱い装置における
貼り合わせ画面の２枚の重ね合わせ部（貼り合わせ部）
の画面を示す図である。

【図３８】一つの構想による画像取り扱い装置における
貼り合わせ処理の特徴領域検出に適用されるブロック領
域の拡大図である。

【図３９】一つの構想による画像取り扱い装置における
貼り合わせ処理の特徴領域検索のためのコントラスト情
報検出に適用されるブロック領域の画素拡大図である。

【図４０】一つの構想による画像取り扱い装置の貼り合
わせ処理のための画像データ累積加算値演算回路のブロ
ック構成図である。

【図４１】上記図４０の画像取り扱い装置の累積加算値
演算回路のタイムチャートである。

【図４２】他の構想による画像取り扱い装置の貼り合わ
せ処理のための画像データ累積加算値演算回路のブロッ
ク構成図である。

【図４３】上記図４２の画像取り扱い装置の累積加算値
演算回路のタイムチャートである。

【図４４】他の構想による画像取り扱い装置の貼り合わ
せ処理における特徴領域と対応領域を示す図である。

【図４５】他の構想による画像取り扱い装置の貼り合わ
せ処理における特徴領域に対応するブロック領域を検索
する状態を示す図である。

【図４６】他の構想による画像取り扱い装置の貼り合わ
せ処置における特徴領域に対応するブロック領域を検索
する状態を示す図である。

【図４７】他の構想による画像取り扱い装置の貼り合わ
せ処置における特徴領域に対応するブロック領域を検索
する状態を示す図である。

【図４８】他の構想による画像取り扱い装置の貼り合わ
せ処置における特徴領域に対応するブロック領域を検索
する状態を示す図である。

【図４９】他の構想による画像取り扱い装置の貼り合わ
せ処理における特徴領域と対応領域を示す図である。

【図５０】上記図４９の構想による貼り合わせ処理にお
ける貼り合わせ状態を示す図である。

【図５１】他の構想による画像取り扱い装置の動き検出
処理における重ね合わせるべき対象画面と参照画面を示
す図である。

【符号の説明】

１８a1 加算器（累積加算手段） １８a5 加算器（加算手段） １９ 第２メモリコントローラ（レジスタ保持更新
手段） Ｂa 第１特徴領域（第１の特徴部） Ｂb 第２特徴領域（第２の特徴部） Ｂc 第１対応領域（第１の対応部） Ｂd 第２対応領域（第２の対応部） Ｂ55，Ｂｆ，Ｂｇ 特徴領域（特徴部） Ｐ，Ｐk ブロック領域

Claims (1)

【特許請求の範囲】
1. 【請求項１】部分的に重複する当該一の領域に係る画像
   と当該他の領域に係る画像とを、前記重複する領域に係
   って少なくとも前記一の領域に係る前記重複する領域中
   の第１の特徴部及び第２の特徴部として設定した領域が
   これらに対応すべき前記他の領域に係る前記重複する領
   域中の第１の対応部及び第２の対応部として認識される
   領域と正規に重なるようにして動きを検出処理するため
   の機能部を有する画像取り扱い装置であって、 前記第１の特徴部及び第２の特徴部を設定するに際し、
   これら各部をその座標位置を表すための直交座標系にお
   ける一方の座標位置を同じくする如く設定する手段を備
   えてなることを特徴とする画像取り扱い装置。