JPH0973536A

JPH0973536A - ２次元デジタル信号処理方法

Info

Publication number: JPH0973536A
Application number: JP7229507A
Authority: JP
Inventors: Shin Aoki; 青木　　伸
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1995-09-06
Filing date: 1995-09-06
Publication date: 1997-03-18

Abstract

(57)【要約】【課題】回転、ズームなどの平行移動とは限らない標
本化位置の変化を持つ複数の２次元デジタルデータに対
して、その折り返し成分を打ち消すことにより、折り返
し歪を低減し、原信号の高周波成分を復元する。【解決手段】同一の対象を、位置をずらして標本化し
たｎ組の２次元デジタルデータが入力１され、各入力デ
ータが複数ブロックに分割される。位置差推定部４は、
各ブロック毎の標本化位置を求める。加重計算部５は、
標本化位置差に応じた重みを求める。広帯域ＬＰＦ及び
高解像度化部７は、入力データをＬＰＦ処理した後、高
解像度化し、積和部９は、中間バッファ８のデータに重
みを掛けて足し合わせる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、平行移動以外の標
本化位置のずれを持つ複数の２次元デジタルデータに対
して、標本化によって生じる折り返し成分を打ち消し、
原信号が持つ高周波成分を復元する２次元デジタル信号
処理方法に関する。

【０００２】

【従来の技術】本出願人は先に、同一の対象物を、同一
の標本化間隔、異なる標本化位置で標本化した複数のデ
ジタルデータを用い、折り返し成分をキャンセルするこ
とにより、原データのナイキスト周波数以上の高周波成
分を復元する方法および装置を提案した（特願平７−１
４２７７５号、同７−２２２８９１号）。

【０００３】

【発明が解決しようとする課題】上記した方法は、複数
のデータの間の標本化位置の差が平行移動に限られてい
た。しかし、一般にカメラやスキャナなどデジタル画像
入力機器では、その標本化位置のずれは平行移動だけと
は限らない。例えば、同一の対象に対してカメラで複数
回撮影すれば、回転、ズームなどの変化が起こり得る。

【０００４】例えば、カメラが回転した場合を考える。
標本化位置が回転すると、周波数空間上での折り返し成
分の位置も回転してしまうので、先に提案した方法のよ
うな単純な加重和では完全に折り返し成分を打ち消すこ
とができない。

【０００５】画像サイズが６４０×４８０画素の場合、
カメラが０．１度回転すると、ｓｉｎ（０．１゜）×６４０≒１．１と画面の左右端では１画素程度の位置のずれになる。折
り返し成分の打ち消しのためには、１画素以下の標本化
位置差が重要なので、このずれは十分大きい。

【０００６】しかし、微小な回転ならば、局所的にはほ
ぼ平行移動とみなすこともできる。例えば、画面を１６
×１６画素の小領域に分割すると、同じ０．１度の回転
でのブロックの左右端のずれは、ｓｉｎ（０．１゜）×１６≒０．０２８となり、図３に示すように、各ブロックは少しづつ異な
る方向と距離だけ、ほぼ平行移動しているとみなすこと
ができる。

【０００７】そこで、画面全体をブロックに分割し、各
ブロックがそれぞれ異なる標本化位置を持つと考え、ブ
ロック毎に独立に処理すれば、微小な回転に対しても、
先願の原理を適用することができる。従って、本発明の
目的は、回転、ズームなどの平行移動とは限らない標本
化位置の変化を持つ複数の２次元デジタルデータに対し
て、その折り返し成分を打ち消すことにより、折り返し
歪を低減し、原信号の高周波成分を復元する２次元デジ
タル信号処理方法を提供することにある。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、請求項１記載の発明では、同一の信号について、標
本化位置を変えて同一の標本化間隔でｎ回の標本化によ
って得られるｎ組の２次元入力デジタルデータに対し
て、標本化周波数の１／２以上の周波数帯域を含む、必
要な原信号の帯域を全て透過するローパス特性を持つフ
ィルタ処理と、該フィルタ処理されたｎ組の信号をそれ
ぞれ高解像度化する処理と、前記各デジタルデータの標
本化位置に応じて、該フィルタ手段の透過帯域に含まれ
る不要な折り返し成分を打ち消すような重みを算出する
処理と、対応する位置における各高解像度化データに該
重みをつけて加重和をとり出力する処理を行う２次元デ
ジタル信号処理方法において、前記各入力デジタルデー
タを複数の小領域に分割し、該分割された各小領域に対
して独立に前記各処理を施すことを特徴としている。

【０００９】請求項２記載の発明では、前記分割された
各小領域毎に独立に標本化位置を推定し、前記入力デジ
タルデータ中の各小領域の位置と、該推定された各標本
化位置の関係を所定の関数で近似し、該近似関数により
前記各小領域の標本化位置を求めることを特徴としてい
る。

【００１０】請求項３記載の発明では、前記関数として
アフィン変換を用いることを特徴としている。

【００１１】請求項４記載の発明では、前記小領域毎に
独立に推定された標本化位置の内、信頼性の高い小領域
で得られた標本化位置のみを用いて関数近似を行うこと
を特徴としている。

【００１２】請求項５記載の発明では、小領域内の濃度
変化が小さいとき、または濃度変化の方向が単一である
とき、信頼性が低い小領域であると判定することを特徴
としている。

【００１３】

【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。図１は、本発明の実施例のブロック構成
図である。入力デジタルデータ１として、同一の対象を
位置を変え、同じ標本化間隔で複数回撮影したデジタル
画像データ（ｉｎ０，ｉｎ１，... ）が入力される。領
域分割部２は、各入力データを複数の小領域（ブロッ
ク）に分割する。このブロックのサイズは、例えば１６
×１６画素の大きさである。

【００１４】基準データバッファ３は、標本化位置の基
準の位置とするため、入力データの内、１つのデータ
（ｉｎ０）を基準データとして格納するバッファであ
る。位置差推定部４では、それぞれの入力データ（ｉｎ
１，ｉｎ２... ）について、基準データバッファ３に格
納された基準データ（ｉｎ０）との、相対的な標本化位
置の差を推定することにより、各入力データの相対的な
標本化位置を推定する。ここでは分割された各ブロック
毎に標本化位置を推定する。

【００１５】加重計算部５は、推定された標本化位置差
から、折り返し成分を打ち消すような重みを求める。重
みはブロック毎に、入力画像の枚数分を位置差から求め
る。解像度倍率指定部６は、出力デジタルデータの解像
度を、入力デジタルデータの解像度の倍率として指定す
る手段である。

【００１６】広帯域ＬＰＦ処理および高解像度化処理部
７では、入力データ（ｉｎ０，...）を広帯域ＬＰＦ処
理し、さらに高解像度化したデータ（ｍｉｄ０，ｍｉｄ
１，... ）を作成し、中間データバッファ８に格納す
る。高解像度化データの各画素位置は、各ブロック毎
に、推定された標本化位置により決める。積和部９で
は、高解像度化データ（ｍｉｄ０，ｍｉｄ１，... ）に
対し、ブロック毎に上記重みを使った加重和をとる。こ
のように、本発明は、先願の発明と同じ処理をブロック
毎に適用するものである。

【００１７】本発明の方法を、カメラなどで撮影した画
像データに適用するためには、画像データから、各領域
での標本化位置を推定する必要がある。先願の発明で使
用した位置推定方法は、対象を平行移動に限定したもの
であり、回転などの変化に対してはそのままでは適用で
きない。

【００１８】この位置推定方法をブロック毎に独立に適
用することもできるが、そうすると推定誤差のため、各
ブロックでの推定値が微妙にずれる恐れがある。推定位
置は、最終的な画像品質に決定的な影響を与える重要な
パラメータなので、それがブロック毎にずれると、出力
画像の画質もブロック毎に変化することになり都合が悪
い。

【００１９】そこで、一度全画面を小さなブロックに分
解し、このブロック毎に平行移動量を推定した後、各ブ
ロックでの移動量を全体として滑らかな変化となるよう
近似することでブロック毎の推定値のバラツキをなくす
ることができる（図４）。このように、未知の標本化位
置を持つ画像データに対して、本発明の方法を適用する
ために、バラツキなく各ブロックの標本化位置を推定す
ることが必要となる。

【００２０】以下に、２枚のデジタル画像データを入力
し、標本化位置の差を推定する位置差推定部について説
明する。図２は、位置差推定部のブロック構成図を示
す。本実施例では、入力画像データを１６×１６画素の
ブロックに分割し、各ブロック毎に標本化位置差を推定
し、その推定位置差に基づいて、ブロック毎に高解像度
化を行う。

【００２１】（ブロック毎の位置推定）２つの入力画像
データをブロックに分割し、ブロック毎に標本化位置差
を平行移動として推定する。このときのブロックサイズ
は、高解像度化や加重計算の単位となるブロックサイズ
と同じである必要はない。ブロックサイズが大きいほど
利用する画素数が多くなるのでノイズなどに強くなる
が、画像が回転している場合、平行移動とのずれが大き
くなる。ここでは、１ブロックを３２×３２画素とす
る。

【００２２】なお、以下の説明で用いるアルゴリズム
は、「画像の時空間微分算法を用いた速度ベクトルの分
布計測システム」（計測自動制御学会論文集）Ｖｏ
ｌ．２２，Ｎｏ．１２，ｐｐ８８−９４（昭和６１年１
２月）に記載されたものである。

【００２３】２つのデジタルデータの標本化位置のずれ
は、移動する対象物の速度とも考えることができる。そ
こで、速度（ｓ，ｔ）で平行移動する１次元の連続関数
ｆ（ｘ，ｙ，ｔ）を例に考える。変化が微小ならば、Ｔ
ａｙｌｅｒ展開の１次近似として、

【００２４】

【数１】

【００２５】が各点で成り立つ。この式の∂ｆ／∂ｘ，
∂ｆ／∂ｙおよび∂ｆ／∂ｔから、各点で変化速度
（ｓ，ｔ）を求めることができる。

【００２６】しかし、上記した式では、（１）１次近似からの外れ（２）雑音の影響などのため精度が悪いので、次式のような、式（１）の
左辺の２乗をある領域内で積分した値を評価関数とし、
この評価関数が最小値をとる（ｓ，ｔ）を求めること
で、正確な値が得られる。

【００２７】

【数２】

【００２８】式（２）を最小化する（ｓ，ｔ）は、次式
の計算で求められる。

【００２９】

【数３】

【００３０】ただし、

【００３１】

【数４】

【００３２】である。

【００３３】デジタルデータの場合は、上式の微分、積
分を差分、和に置き換え、第０組の入力データの位置
（ｉ，ｊ）の画素をｉｎ０〔ｉ，ｊ〕として、

【００３４】

【数５】

【００３５】とする。

【００３６】ここで、式（３）の分母は、入力画像が一
様な濃度の場合、または勾配が一定方向だけにある場合
に０となる。つまりこの量が小さいときは、画像の位置
を推定するための模様が少ないことを示す。これを後述
する有効推定値の選択に使用する。

【００３７】

【数６】

【００３８】図４（ａ）は、ブロック毎の位置推定を示
す。すなわち、実線で示す４×６個のブロックに分割さ
れた基準データに対する、ｎ番目のデータの各ブロック
毎の、推定された位置差（ずれ）が矢印（ベクトル）で
表されている。ｎ番目のデータの各ブロック中のベクト
ルの方向と大きさが（ｓ，ｔ）を表す。

【００３９】（有効推定値の選択）上記したように、各
ブロックで独立に位置推定を行うが、各ブロックの推定
値には誤差が含まれる。局所的なノイズなどによって大
きな誤差を持つブロックがある場合、それを含めて関数
近似を行うと、全体に誤差が伝搬してしまう。

【００４０】図５は、ブロック１，２，４は正しく位置
を推定したが、ブロック３だけはノイズなどのため誤っ
た推定をした場合、１〜４全てのブロックでの推定値を
使った近似式が真の値とずれてしまう様子を示してい
る。ここで、ブロック１，２，４だけを使って近似すれ
ば、より精度のよい結果が得られることになる。そこ
で、本実施例では、このように局所的な推定の誤りに影
響されず、精度よく近似を行うものである。

【００４１】また、各ブロックで独立に位置推定を行う
とき、画像データの中には濃度変化がない部分または少
ない部分がある。そのような部分だけを含むブロックで
は、変化の手がかりがないため、標本化位置を推定する
ことが難しい。例えば、ブロック内の全画素が一様な濃
度であれば、当然位置の変化を探す手がかりがないため
推定はできない。

【００４２】さらに、このような状態では、ノイズがあ
るとそれを手がかりとして全く間違った推定をする可能
性も高い。例えば、図６に示すように、一様な濃度
（０）の２枚の画像に、偶然同じ値（１）がノイズとし
てのると、他に手がかりがないため、そのノイズのある
位置を対象物上の同じ位置と推定してしまう。

【００４３】また、図７に示すように、横方向には濃度
変化があるが、縦方向には変化がない場合、ずれの横方
向成分は推定できるが、縦方向成分は推定できず、この
場合もやはり図６と同様にノイズの影響を受けやすい。

【００４４】そこで、本実施例では、このようにブロッ
ク内で濃度変化が少ない、あるいは一定方向にしか変化
がない場合は、位置推定値は無効と判定することで、近
似による推定精度を向上させるようにしたものである。

【００４５】本実施例では、上記したブロック毎の位置
推定で得られた式（４）の値（ｄｅｔ）を使い、同時に
計算される推定値のうち、信頼性の高いものだけを選択
する。つまり、勾配強度に対して閾値（ｔｈ）を設定
し、ｄｅｔ＞ｔｈとなるブロックで推定された位置推定
値だけを後述するアフィン近似に使用する。

【００４６】これにより、本来は模様のないブロックに
ついて、雑音によって誤った位置差を推定し、それがア
フィン近似に悪影響を与えるのを防ぐことができる。

【００４７】（最小２乗近似）カメラで複数枚の画像を
撮影する場合、実際の標本化位置移動には回転、拡大／
縮小、その他歪の要素が含まれる。各領域の画像中の位
置と推定された各標本化位置の関係を関数で近似すると
き、その近似関数としては、正確な近似のためには、な
るべく多くの移動要素を含む関数の方がよいが、複雑な
関数の近似には繰返し演算などが必要となり、実現が困
難になる。

【００４８】アフィン変換での最小２乗近似は、標本化
位置変化の重要な要素である回転、拡大、縮小を含むた
め近似精度がよく、また簡単な行列演算で実現すること
ができる。

【００４９】ここでは、各ブロックについて独立に推定
された標本化位置を、全体として滑らかな変化となるよ
うに近似する。本実施例では、全体を１つのアフィン変
換として最小２乗近似する。つまり、第ｎブロックの中
心位置を（ｘｎ，ｙｎ）とし、そのブロックについて推
定された位置差を（ｐｎ，ｑｎ）とすると、

【００５０】

【数７】

【００５１】を最小化するパラメータ（ａ，ｂ，ｃ，
ｄ，ｅ，ｆ）を求める。ここで総和は、上記したように
有効推定値と判定されたブロックについてとる。式
（５）の最小化は、線形最小２乗法であり、簡単な行列
演算で解くことができる。図４（ｂ）の実線は、アフィ
ン変換で近似されたｎ番目のデータを示す。図中、破線
は、ブロックに分割された基準データである。

【００５２】（近似式計算、ブロック毎の位置設定）上
記したようにして得られたアフィン変換パラメータ
（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）を用いて、各ブロックの標
本化位置を再計算する。このときのブロックは、上述の
微分演算による位置推定を行ったブロックとは同じであ
る必要はなく、重み計算や加重和計算の単位となるブロ
ックである。ブロックが小さいほど、ブロック間のずれ
が小さくて済む。そのかわり、ブロック数が多くなるの
で、位置差から加重を計算する回数が多くなる。ここで
は、１６×１６画素のブロックサイズとする。

【００５３】中心位置ｘｍ，ｙｍの第ｍブロックについ
ての標本化位置（ｒｍ，ｓｍ）を

【００５４】

【数８】

【００５５】とする。そして、このブロック毎の標本化
位置を位置差推定部４に設定し、以降の処理に使用す
る。

【００５６】図４（ｃ）は、式（６）に従って計算され
た、ｎ番目のデータの各ブロックの標本化位置を示す。
すなわち、各ブロック内の矢印の先端位置が標本化位置
（ｒｍ，ｓｍ）を示す。このようにして得られた各ブロ
ックの標本化位置を、各画像データの位置合わせ、加重
計算に使用して高解像度化処理を行う。

【００５７】

【発明の効果】以上、説明したように、請求項１記載の
発明によれば、回転、ズームなど平行移動とは限らない
標本化位置の変化を持つ複数の２次元デジタルデータに
対して、その折り返し成分を打ち消すことにより、折り
返し歪を低減し、原信号の高周波成分を復元することが
できる。

【００５８】請求項２記載の発明によれば、ブロック毎
の推定値のバラツキをなくし、出力画像品質のブロック
毎の変化を抑えることができる。

【００５９】請求項３記載の発明によれば、各ブロック
の標本化位置を簡単な演算で正確に近似することができ
る。

【００６０】請求項４、５記載の発明によれば、局所的
なノイズに影響されることを抑え、標本化位置の推定精
度を向上させることができる。

【図面の簡単な説明】

【図１】本発明の実施例のブロック構成図である。

【図２】位置差推定部のブロック構成図である。

【図３】０．１度回転した場合のブロックのずれを示
す。

【図４】（ａ）、（ｂ）、（ｃ）は、ブロック毎の位置
推定、関数近似、標本化位置の再設定を説明する図であ
る。

【図５】局所的な推定誤差による近似誤差の増大を説明
する図である。

【図６】濃度変化のない画像とノイズを示す。

【図７】一方向しか濃度変化のない場合の例を示す。

【符号の説明】

１入力デジタルデータ２領域分割部３基準データバッファ４位置差推定部５加重計算部６出力解像度指定部７広帯域ＬＰＦ処理および高解像度化処理部８中間データバッファ９積和部１０出力デジタルデータ

Claims

【特許請求の範囲】

【請求項１】同一の信号について、標本化位置を変え
て同一の標本化間隔でｎ回の標本化によって得られるｎ
組の２次元入力デジタルデータに対して、標本化周波数
の１／２以上の周波数帯域を含む、必要な原信号の帯域
を全て透過するローパス特性を持つフィルタ処理と、該
フィルタ処理されたｎ組の信号をそれぞれ高解像度化す
る処理と、前記各デジタルデータの標本化位置に応じ
て、該フィルタ手段の透過帯域に含まれる不要な折り返
し成分を打ち消すような重みを算出する処理と、対応す
る位置における各高解像度化データに該重みをつけて加
重和をとり出力する処理を行う２次元デジタル信号処理
方法において、前記各入力デジタルデータを複数の小領
域に分割し、該分割された各小領域に対して独立に前記
各処理を施すことを特徴とする２次元デジタル信号処理
方法。
【請求項２】前記分割された各小領域毎に独立に標本
化位置を推定し、前記入力デジタルデータ中の各小領域
の位置と、該推定された各標本化位置の関係を所定の関
数で近似し、該近似関数により前記各小領域の標本化位
置を求めることを特徴とする請求項１記載の２次元デジ
タル信号処理方法。
【請求項３】前記関数としてアフィン変換を用いるこ
とを特徴とする請求項２記載の２次元デジタル信号処理
方法。
【請求項４】前記小領域毎に独立に推定された標本化
位置の内、信頼性の高い小領域で得られた標本化位置の
みを用いて関数近似を行うことを特徴とする請求項２記
載の２次元デジタル信号処理方法。
【請求項５】小領域内の濃度変化が小さいとき、また
は濃度変化の方向が単一であるとき、信頼性が低い小領
域であると判定することを特徴とする請求項４記載の２
次元デジタル信号処理方法。