JP3799212B2 - Signal processing method and apparatus - Google Patents

Description

したがって、離散化された後の信号ｆｓ（ｔ）は式（２）のように表される。
【０００６】
【数２】

原信号ｆ（ｔ）を離散化した後の信号における周波数成分は、式（２）によるｆｓ（ｔ）のフーリエ変換により求められ、下記の式（３）に示すものとなる。
【０００７】
【数３】

式（３）から分かるように、連続信号ｆ（ｔ）を離散化した信号のスペクトルは、図６に示すように原信号のスペクトルを周期２π／Ｔで無限に繰り返したものとなる。したがって、−π／Ｔ＜ω＜π／Ｔの範囲における周波数成分を理想低域フィルタによって取り出すことにより、下記の式（４）に示す信号Ｆｓｂ（ω）が得られ、このＦｓｂ（ω）を逆フーリエ変換することによって離散化後の信号から元の連続信号ｆ（ｔ）を完全に復元できることが分かる。ここで、理想低域フィルタとは、｜ｆ｜≦π／Ｔなる周波数帯域の信号を出力し、｜ｆ｜＞π／Ｔなる周波数帯域の信号は出力しない特性を有するフィルタのことをいい、その特性は図７に示すものとなる。
【０００８】
【数４】

次に、線形補間操作が信号の周波数特性に与える影響について考える。以下では原信号のサンプリングタイミングをτ・Ｔだけ遅延させたときに得られる離散信号を、ｆｓ（ｔ）の線形補間により近似的に求める。そして、この線形補間により得られた補間信号の周波数解析を行うことにより、補間操作が信号の周波数特性に与える影響を考える。補間信号は図８に示すものとなり、式（５）におけるｆｓ′（ｔ）により表される。
【０００９】
【数５】

式（５）をフーリエ変換すると式（６）のようになる。
【００１０】
【数６】

式（６）の信号は、依然として−π／Ｔ＜ω＜π／Ｔにより帯域制限された信号を、周期２π／Ｔにより無限に繰り返した形式となっている。そこで、−π／Ｔ＜ω＜π／Ｔの範囲の信号を理想低域フィルタにより取り出すと、下記の式（７）に示すようになり、元の連続信号のスペクトルに近い信号を再現することができる。ただし、式（４）の場合とは異なり、原信号のスペクトルに式（８）のフィルタ特性で示される帯域通過特性を適用したものになる。
【００１１】
【数７】

【数８】

式（８）のフィルタのゲイン特性は式（９）に示すものとなる。
【００１２】
【数９】

ここで、式（９）における右辺の平方根中の式を変形すると式（９ａ）に示すものとなり、２（１−ｃｏｓＴω）≧０であることから、式（９）はτ＝１／２のときに最小、τ＝０，１のときに最大１となることが分かる。すなわち、τ＝１／２のときに減衰量が最大となり、τ＝０，１のときに減衰なしとなる。
【００１３】
【数１０】

また、
【数１１】

となり、０≦τ≦１として考えていることから、τを固定したときに振幅比は図９に示すような特性を有することが分かる。そして、この図９から式（８）のフィルタが低域通過特性を持つこと、およびτにより高周波成分（高域成分）の減衰量が変化することが分かる。なお、式（１０）にτ＝１／２のときのフィルタ特性を示す。
【００１４】
【数１２】

以上のように１次元信号の補間処理により発生する低域通過特性が解析されるが、同様の特性は画像のような２次元標本信号の補間を行った場合にも発生する。ある２次元信号の標本位置を（ｄｘ・Ｔｘ，ｄｙ・Ｔｙ）だけ平行移動したときに得られる標本信号を、元の２次元標本信号から線形補間近似により求めた場合に発生する低域通過特性を式（１１）に示す。ただしＴｘおよびＴｙはそれぞれｘ軸およびｙ軸方向の標本化周期である。したがって、（ｄｘ，ｄｙ）は標本化周期で正規化した標本位置の平行移動量を表す。
【００１５】
【数１３】

ただし、式（１１）の低域通過特性は、補間位置おける標本値を、補間位置を囲む元の４標本点の標本値から式（１２）の線形補間近似により求めた場合に発生するものである。
【００１６】
【数１４】

１次元信号の場合と同様に、式（１１）のフィルタも、元の標本位置と補間標本位置との正規化位置偏差（ｄｘ，ｄｙ）により高域成分の減衰量が変化する低域通過特性を持つ。高域成分の減衰量はｄｘ＝０またはｄｘ＝１、かつｄｙ＝０またはｄｙ＝１のときに最小（減衰なし）となる。また、ｄｘ＝１／２かつｄｙ＝１／２のときに減衰量は最大となる。式（１３）はｄｘ＝１／２かつｄｙ＝１／２のときのフィルタ特性を示す。
【００１７】
【数１５】

以上のように、線形補間処理を行うと、補間位置に依存した高周波成分の劣化が生じる。したがって、音声信号の遅延や画像の平行移動などを線形補間処理によって行う場合と、遅延量や移動量の違いにより、補間処理された信号の周波数特性が元の信号の周波数特性と異なるものとなってしまうという問題がある。
【００１８】
また、動画像信号のフレームレートの微調整や、画像の微少角度回転、拡大／縮小率の微調整、あるいは音声ピッチの微調整を線形補間で行う場合にはさらに複雑な問題が発生する。調整量が微小である場合、信号を局所的に眺めると標本位置と補間位置との間の位置偏差は略一定に保たれている。しかしながら、信号を大局的に見ると上記位置偏差は周期的に大きく変動し、画像信号では画像のボケ、音声信号では音のこもりが周期的に発生するという問題が生じる。
【００１９】
本発明は上記事情に鑑みなされたものであり、上述した線形補間処理を行う際における高周波成分の劣化や、画像のボケ等を防止できる信号処理方法および装置を提供することを目的とするものである。
【００２０】
【課題を解決するための手段】
本発明による信号処理方法は、原信号を標本化して得た離散信号から標本位置以外の補間位置における補間信号を線形補間処理により求める信号処理方法において、
前記標本位置と前記補間位置との位置偏差に応じて前記線形補間処理の低域通過特性を補償する可変特性フィルタ処理を、前記補間信号に対して施すことを特徴とするものである。
【００２１】
なお、本発明の信号処理方法において、前記可変特性フィルタ処理は、前記線形補間処理の低域通過特性の逆関数を伝達関数に持つフィルタによるフィルタ処理であることが好ましい。
【００２２】
また、前記可変特性フィルタ処理は、微分オペレータの適用強度を前記標本位置と前記補間位置との位置偏差に応じて変化させるフィルタ処理であることが好ましい。
【００２３】
本発明による信号処理装置は、原信号を標本化して得た離散信号から標本位置以外の補間位置における補間信号を線形補間処理により求める信号処理装置において、
前記標本位置と前記補間位置との位置偏差に応じて前記線形補間処理の低域通過特性を補償する可変特性フィルタ処理を、前記補間信号に対して施すフィルタ処理手段を備えたことを特徴とするものである。
【００２４】
なお、前記フィルタ処理手段は、前記線形補間処理の低域通過特性の逆関数を伝達関数に持つフィルタによるフィルタ処理を行う手段、あるいは微分オペレータの適用強度を前記標本位置と前記補間位置との位置偏差に応じて変化させるフィルタ処理を行う手段であることが好ましい。
【００２５】
【発明の効果】
本発明によれば、標本位置と補間位置との位置偏差に応じて、線形補間処理の低域通過特性を補償する可変フィルタ処理を補間信号に対して施すようにしたため、線形補間処理を伴うデジタル信号処理で問題となる、信号の高域成分の劣化を効果的に補正することができる。また、本発明を画像処理や音声信号処理に応用することで、動画像信号のフレームレートの微調整や、画像の微少角度回転、拡大／縮小率の微調整などを行う場合に発生する周期的な画像のボケや、音声ピッチの微調整を行う場合に発生する周期的な音のこもりを改善することができる。
【００２６】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００２７】
図１は本発明の実施形態による信号処理装置を適用した、原稿の傾き補正機能付き複写装置の構成を示す概略ブロック図である。なお、本装置の傾き補正機能は、原稿用紙に対する印字のスキューや原稿読み取り時に生じるスキャナと原稿用紙間の角度誤差など、数度以内の微少な傾き角の補正を行うものである。
【００２８】
スキャナ１により読み取られ、標本化された画像の標本値Ｓ１（以下実標本値とする）は一旦画像メモリ２に蓄えられ、傾き角検出部３において入力画像の傾き角すなわち画像の傾きを補正するための回転角θ１が検出される。なお、傾き角検出部３は傾き角をオペレータが直接入力する構成とすることもできる。傾き角検出部３は、検出した回転角θ１を斜め走査座標計算部４に出力する。
【００２９】
画像の回転は、原画像を回転角θ１に等しい傾きにより斜めに走査し、原画像を再標本化することにより行われる。この原理を、図２（ａ）のように角度θ０の傾きを持つ文字列画像の傾き補正を例にとって説明する。図２（ａ）中、水平方向をｘ軸、垂直方向をｙ軸にとり、画像中央を座標原点とする。スキャナにより標本化が行われる位置（以下、実標本位置とする）（ｘｍ，ｙｎ）は、
【数１６】

となる。ただし、式（１４）におけるＴｘ，Ｔｙはそれぞれｘ方向、ｙ方向の標本化周期であり、（ｍ，ｎ）は、
【数１７】

である。したがって、スキャナ１により取り込まれる画像の大きさは式（１６）に示すものとなる。
【００３０】
【数１８】

図２（ａ）の画像を角度−θ０回転させて傾きを補正するためには、図２（ｂ）に示すように角度θ０傾斜させて主走査を行い、図２（ｂ）の実線枠で示された領域内の画像データを標本化し直せばよい。すなわち、ｘ−ｙ座標系をθ０だけ回転させた新たな座標系をｘ′−ｙ′座標系として、この座標系上で画像を見ると図２（ｃ）のようになり、画像の傾き修正が行われる。
【００３１】
ｘ′−ｙ′座標系のｎライン目の主走査線上におけるｍ番目の標本点の座標を（ｘ′ｍ，ｙ′ｎ）とする。このｘ′−ｙ′座標上での位置（ｘ′ｍ，ｙ′ｎ）が、ｘ‐ｙ座標系においては（ｘ″ｍ，ｙ″ｎ）の位置に対応すると考えると、座標（ｘ″ｍ，ｙ″ｎ）と座標（ｘｍ，ｙｎ）との間には式（１７）に示す関係が存在する。
【００３２】
【数１９】

そして、この座標（ｘ″ｍ，ｙ″ｎ）を新たな標本点として原画像を再標本化することにより、画像を回転させることができる。
【００３３】
しかしながら、一般に座標（ｘ″ｍ，ｙ″ｎ）は実標本位置とは一致しない。また、図１の画像メモリ２内には式（１４）の座標（ｘｍ，ｙｎ）を標本点とする実標本位置Ｓ１での標本値しか保存されていないため、式（１７）の座標（ｘ″ｍ，ｙ″ｎ）における標本値を得るためには何らかの画素値復元処理を行う必要がある。ここでは座標（ｘ″ｍ，ｙ″ｎ）を囲む４実標本点の標本値から、線形予測法を用いて座標（ｘ″ｍ，ｙ″ｎ）における画素値を近似的に復元する方法について説明する。
【００３４】
座標（ｘ″ｍ，ｙ″ｎ）を囲む４実標本点の座標をそれぞれ（ｘａ，ｙｂ）、（ｘａ＋Ｔｘ，ｙｂ）、（ｘａ，ｙｂ＋Ｔｙ）、（ｘａ＋Ｔｘ，ｙｂ＋Ｔｙ）とする。図１における斜め走査座標計算部４はこれら４点に相当するメモリアドレスを計算し、画像メモリ２の読み出しアドレスとして出力する。画像メモリ２からは上記４実標本点の標本値Ｓ２が読み出され、読み出された標本値Ｓ２は線形補間処理部５に送られる。
【００３５】
線形補間処理部５においては４実標本点の標本値Ｓ２と、補間標本位置−実標本位置間の位置偏差を用いて、座標（ｘ″ｍ，ｙ″ｎ）における補間標本値ｐｉ（ｘ″ｍ，ｙ″ｎ）を線形補間により求める。この際の補間標本位置−実標本位置間の位置偏差（ｄｘ・Ｔｘ，ｄｙ・Ｔｙ）は式（１８）で表される。
【００３６】
【数２０】

式（１８）より（ｘ″ｍ，ｙ″ｎ）＝（ｘａ＋ｄｘ・Ｔｘ，ｙｂ＋ｄｙ・Ｔｙ）であるから、式（１２）においてｘ＝ｘａ、ｙ＝ｙｂとおくことにより補間標本値ｐｉ（ｘ″ｍ，ｙ″ｎ）を求めることができる。式（１２）において用いられる標本化周期により正規化した位置偏差（ｄｘ，ｄｙ）は、斜め走査座標計算部４から出力される。上述したように本実施形態による装置は微少な傾き角の補正を行うことを目的としており、傾き補正角度が微少であるという条件の下では、近傍の補間標本点同士に関しては正規化位置偏差（ｄｘ，ｄｙ）は略一定となる。これを検証するため、以下では補間標本点（ｘ″ｍ，ｙ″ｎ）と（ｘ″ｍ＋ｉ，ｙ″ｎ＋ｊ）について、それぞれの正規化位置偏差（ｄｘ，ｄｙ）および（ｄｘ′，ｄｙ′）を考える。ここで（ｘ″ｍ＋ｉ，ｙ″ｎ＋ｊ）は、ｘ′−ｙ′座標上での位置（ｘ′ｍ，ｙ′ｎ）からｘ′軸方向にｉサンプル、ｙ′軸方向にｊサンプルだけ離れた補間標本点（ｘ′ｍ＋ｉ，ｙ′ｎ＋ｊ）の、ｘ−ｙ座標系における位置を表す。この正規化位置偏差（ｄｘ，ｄｙ）と（ｄｘ′，ｄｙ′）の間には式（１９）に示す関係がある。
【００３７】
【数２１】

式（１９）においてθ１は傾き補正角度を表す。本実施形態の装置は微少な傾き角の補正を行うことを目的としているためθ１は非常に小さな角度である。したがって、主走査および副走査方向の標本化周期に著しい差が無ければ、式（１９）のｉおよびｊが小さな整数の場合には２つの補間標本点の正規化位置偏差は略等しくなる。すなわち、近傍の補間標本点同士の正規化位置偏差は略一定となる。逆にｉまたはｊが大きな整数の場合は、２つの補間標本点の正規化位置偏差は大きく異なる。つまり遠く離れた補間標本点同士の正規化位置偏差は大きく異なる。
【００３８】
一方、上記式（１１）により、補間によって発生する低域通過特性は（ｄｘ，ｄｙ）により決定されることが分かる。このことから、微少な傾き角の補正を線形補間処理によって行う場合、局所的には正規化位置偏差（ｄｘ，ｄｙ）は略一定であるから、補間処理によって発生する低域通過特性も局所的に見れば略一定と考えてよいことが分かる。一般にデジタル画像処理で用いられる２次元ＦＩＲフィルタの大きさは、回路構成の容易さから、３×３もしくは５×５程度の小さなものが多い。上記より３×３あるいは５×５程度の局所領域での低域通過特性は略一定と考えてよいため、逆フィルタなどを用いた通常の補正フィルタ処理によって、線形補間により生じるボケの補正を行うことができる。ところが、局所領域内では略一定の低域通過特性も、大域的に見るとその低域通過特性は場所によって大きく異なるため、単一特性の補正フィルタ処理では画像全体のボケ補正を適切に行うことができない。そこで、可変特性の補正フィルタ処理が必要になる。
【００３９】
図１に示す可変特性フィルタ処理部６においては、線形補間処理部５から出力される補間標本値ｐｉ（ｘ″ｍ，ｙ″ｎ）に対して、線形補間処理により生じる画像のボケの補正処理を行う。式（１１）で示したように、発生するボケの特性は補間位置と標本位置との間の位置偏差により変化するため、可変特性フィルタ処理部６では（ｄｘ，ｄｙ）の値に応じて帯域通過特性が異なるフィルタを用いたボケ補正処理が行われる。以下に可変特性フィルタ処理に関して２通りの実現法を示す。
【００４０】
可変特性フィルタ処理を実現する方法の一つは、補間により発生する低域通過特性の逆関数を伝達特性に持つ逆フィルタを補間画像に適用する方法である。式（１１）に示したように、補間により発生する低域通過特性は補間位置と標本位置との間の位置偏差により異なるため、逆フィルタの伝達関数も位置偏差に応じて可変でなければならない。とくに処理の高速性が要求されない場合は、ＤＳＰ（Digital Signal Processor）等を用いたソフトウェアによる信号処理によって、上記のような可変特性のデジタルフィルタを構成することができる。
【００４１】
一方、高速性が要求される用途では、図３に示すようなフィルタバンク方式の専用ハードウェアを構成することにより、可変特性のフィルタを実現することができる。図３に示すフィルタバンク方式によれば、所望の逆フィルタ特性を正確に実現できるため、高精度のボケ補正が可能となる。しかしながら、補正の精度を高めるためには数多くのフィルタからなるフィルタバンクを用いなければならず、回路規模が大きくなるという問題もある。
【００４２】
可変特性フィルタ処理を実現するもう一つの方法は、図４に示すように微分オペレータを使用し、その適用強度を重み付けにより変化させる方法である。この方法ではフィルタバンク方式に比べてボケ補正の精度は低くなるが、より簡易なハードウェアで近似的に可変特性フィルタ処理を実現することができる。
【００４３】
図４の例では微分オペレータとしてラプラシアンオペレータを用いている。図４における補間標本値、およびフィルタ出力を前述のｘ′−ｙ′座標系での表記を用いてそれぞれ、ｐｉ（ｘ′，ｙ′）、およびｐｉｆ（ｘ′，ｙ′，ｄｘ，ｄｙ）とすると、フィルタ出力は式（２０）に示すものとなる。
【００４４】
【数２２】

式（２０）における関数ｋ（）がラプラシアンオペレータの適用強度を決定している。上述したように、補間処理により発生するボケは、補間位置の標本位置からの正規化位置偏差（ｄｘ，ｄｙ）が、（ｄｘ，ｄｙ）＝（１／２，１／２）のときに最大となり、補間位置が標本位置に近づくほど小さくなる。補間位置と標本位置が一致する場合にはボケは発生しない。そこで、関数ｋ（）として、（ｄｘ，ｄｙ）＝（１／２，１／２）のときに最大値をとり、補間位置が標本位置に近づくにつれて小さくなり、さらに補間位置と標本位置が一致する場合にはゼロになるような関数を選べば、近似的に補間処理による低域通過特性を補償する可変特性フィルタ処理が実現できる。このような関数ｋ（）の一例を式（２１）に示す。
【００４５】
【数２３】

図４のゲイン決定回路は式（２１）のような大きさを持つゲイン調整信号を出力する。
【００４６】
以上のように、補間処理によって画像に発生したボケの補正処理が行われ、補正後の画像が図１の画像出力部７に送られて、傾き補正処理の施された印刷物が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態による信号処理装置を適用した、原稿の傾き補正機能付き複写装置の構成を示す概略ブロック図
【図２】傾き補正の原理を説明するための図
【図３】フィルタバンクを用いた可変特性フィルタを示す図
【図４】微分オペレータを用いた可変特性フィルタを示す図
【図５】評価する１次元信号の周波数特性を示す図
【図６】ｆ（ｔ）の離散化を示す図
【図７】理想低域フィルタの特性を示す図
【図８】サンプリングタイミングに遅延τＴを加えた場合の離散信号を、線形補間により近似した状態を示す図
【図９】式（８）のフィルタの特性を示す図
【符号の説明】
１ スキャナ
２ 画像メモリ
３ 傾き角検出部
４ 斜め走査座標計算部
５ 線形補間処理部
６ 可変特性フィルタ処理部
７ 画像出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a signal processing method and apparatus, and more particularly to a signal processing method and apparatus for correcting deterioration of a high frequency component of a signal, which is a problem in digital signal processing involving linear interpolation processing.
[0002]
[Prior art]
When performing frame rate conversion of sampled video signals, image rotation, enlargement / reduction, or pitch conversion of sampled audio signals, signals at points other than sample points (interpolation positions) are required. The As a method for obtaining signals at points other than sample points, for example, Japanese Patent Laid-Open No. 2-294784, Journal of the Japan Printing Society (Vol. 32 No. 5 (1995), “Introduction to Prepress”) proposes a method using linear interpolation. Yes.
[0003]
[Problems to be solved by the invention]
However, it is known that low-pass characteristics depending on the interpolation position occur when linear interpolation is performed. Hereinafter, the analysis of the low-pass characteristics generated by the linear interpolation process will be described by taking the interpolation of a one-dimensional signal as an example.
[0004]
Consider a one-dimensional signal whose band is limited to −π / T <ω <π / T as shown in FIG. In FIG. 5, f (t) is a one-dimensional signal as a model, and F (ω) is its frequency component. The operation of discretizing f (t) at the sampling period T is equivalent to multiplying the original signal f (t) by an impulse train as shown in Expression (1).
[0005]
[Expression 1]

Therefore, the signal fs (t) after being discretized is expressed as in Expression (2).
[0006]
[Expression 2]

The frequency component in the signal after discretizing the original signal f (t) is obtained by the Fourier transform of fs (t) according to the equation (2), and is represented by the following equation (3).
[0007]
[Equation 3]

As can be seen from Equation (3), the spectrum of the signal obtained by discretizing the continuous signal f (t) is an infinite repetition of the spectrum of the original signal with a period of 2π / T as shown in FIG. Therefore, by extracting the frequency component in the range of −π / T <ω <π / T by the ideal low-pass filter, a signal Fsb (ω) shown in the following equation (4) is obtained, and this Fsb (ω) is expressed as It can be seen that the original continuous signal f (t) can be completely restored from the discretized signal by performing inverse Fourier transform. Here, the ideal low-pass filter refers to a filter having a characteristic of outputting a signal in a frequency band of | f | ≦ π / T and not outputting a signal in a frequency band of | f |> π / T. The characteristics are as shown in FIG.
[0008]
[Expression 4]

Next, consider the effect of linear interpolation operation on the frequency characteristics of the signal. Hereinafter, a discrete signal obtained when the sampling timing of the original signal is delayed by τ · T is approximately obtained by linear interpolation of fs (t). Then, by performing frequency analysis of the interpolation signal obtained by this linear interpolation, the influence of the interpolation operation on the frequency characteristic of the signal is considered. The interpolated signal is as shown in FIG. 8, and is represented by fs ′ (t) in equation (5).
[0009]
[Equation 5]

When Expression (5) is Fourier transformed, Expression (6) is obtained.
[0010]
[Formula 6]

The signal of the equation (6) is still in a form in which a signal whose band is limited by −π / T <ω <π / T is repeated infinitely with a period of 2π / T. Therefore, when a signal in the range of −π / T <ω <π / T is extracted by an ideal low-pass filter, the following equation (7) is obtained, and a signal close to the spectrum of the original continuous signal is reproduced. Can do. However, unlike the case of Expression (4), the band pass characteristic indicated by the filter characteristic of Expression (8) is applied to the spectrum of the original signal.
[0011]
[Expression 7]

[Equation 8]

The gain characteristic of the filter of equation (8) is as shown in equation (9).
[0012]
[Equation 9]

Here, when the expression in the square root of the right side in Expression (9) is transformed, it becomes as shown in Expression (9a), and since 2 (1-cosTω) ≧ 0, Expression (9) is obtained when τ = 1/2. It can be seen that sometimes the minimum, and when τ = 0, 1, the maximum is 1. That is, the amount of attenuation is maximized when τ = 1/2, and there is no attenuation when τ = 0,1.
[0013]
[Expression 10]

Also,
[Expression 11]

Thus, since 0 ≦ τ ≦ 1, the amplitude ratio has the characteristics shown in FIG. 9 when τ is fixed. Then, it can be seen from FIG. 9 that the filter of the formula (8) has a low-pass characteristic and that the attenuation amount of the high-frequency component (high-frequency component) varies depending on τ. Equation (10) shows the filter characteristics when τ = ½.
[0014]
[Expression 12]

As described above, the low-pass characteristic generated by the interpolation process of the one-dimensional signal is analyzed, but the same characteristic occurs when the two-dimensional sample signal such as an image is interpolated. Low-pass characteristics generated when a sample signal obtained when the sample position of a certain two-dimensional signal is translated by (dx · Tx, dy · Ty) is obtained from the original two-dimensional sample signal by linear interpolation approximation Is shown in equation (11). However, Tx and Ty are sampling periods in the x-axis and y-axis directions, respectively. Therefore, (dx, dy) represents the amount of translation of the sample position normalized by the sampling period.
[0015]
[Formula 13]

However, the low-pass characteristic of Equation (11) occurs when the sample value at the interpolation position is obtained by the linear interpolation approximation of Equation (12) from the sample values of the original four sample points surrounding the interpolation position. is there.
[0016]
[Expression 14]

Similar to the case of the one-dimensional signal, the filter of Expression (11) also has a low-pass characteristic in which the attenuation amount of the high-frequency component changes depending on the normalized position deviation (dx, dy) between the original sample position and the interpolated sample position. have. The attenuation amount of the high frequency component is minimum (no attenuation) when dx = 0 or dx = 1 and dy = 0 or dy = 1. Further, the attenuation amount is maximized when dx = 1/2 and dy = 1/2. Equation (13) shows the filter characteristics when dx = 1/2 and dy = 1/2.
[0017]
[Expression 15]

As described above, when linear interpolation processing is performed, high-frequency components are degraded depending on the interpolation position. Therefore, the frequency characteristic of the interpolated signal differs from that of the original signal due to the difference in the delay amount and movement amount when the audio signal is delayed and the image is moved in parallel by linear interpolation processing. There is a problem that it ends up.
[0018]
Further, when the fine adjustment of the frame rate of the moving image signal, the fine angle rotation of the image, the fine adjustment of the enlargement / reduction ratio, or the fine adjustment of the audio pitch is performed by linear interpolation, a more complicated problem occurs. When the adjustment amount is small, the position deviation between the sample position and the interpolation position is kept substantially constant when the signal is viewed locally. However, when the signal is viewed globally, the positional deviation largely fluctuates periodically, and there arises a problem that image blur occurs periodically in the image signal and sound accumulation occurs periodically in the audio signal.
[0019]
The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a signal processing method and apparatus that can prevent deterioration of high-frequency components, blurring of an image, and the like when performing the above-described linear interpolation processing. is there.
[0020]
[Means for Solving the Problems]
A signal processing method according to the present invention is a signal processing method for obtaining an interpolation signal at an interpolation position other than a sample position from a discrete signal obtained by sampling an original signal by linear interpolation processing.
A variable characteristic filtering process that compensates for a low-pass characteristic of the linear interpolation process according to a positional deviation between the sample position and the interpolation position is performed on the interpolation signal.
[0021]
In the signal processing method of the present invention, it is preferable that the variable characteristic filter process is a filter process using a filter having an inverse function of a low-pass characteristic of the linear interpolation process as a transfer function.
[0022]
Further, it is preferable that the variable characteristic filter process is a filter process that changes the applied strength of the differential operator in accordance with a position deviation between the sample position and the interpolation position.
[0023]
The signal processing device according to the present invention is a signal processing device that obtains an interpolation signal at an interpolation position other than the sample position from a discrete signal obtained by sampling an original signal by linear interpolation processing.
A filter processing means is provided for performing a variable characteristic filter process for compensating for a low-pass characteristic of the linear interpolation process on the interpolation signal in accordance with a position deviation between the sample position and the interpolation position. Is.
[0024]
The filter processing means is means for performing a filter process using a filter having a transfer function that is an inverse function of the low-pass characteristic of the linear interpolation process, or the applied strength of the differential operator is determined between the position of the sample position and the interpolation position. It is preferable that it is a means to perform the filter process which changes according to a deviation.
[0025]
【The invention's effect】
According to the present invention, the variable filter process for compensating the low-pass characteristic of the linear interpolation process is performed on the interpolation signal in accordance with the position deviation between the sample position and the interpolation position. It is possible to effectively correct the deterioration of the high frequency component of the signal, which is a problem in signal processing. In addition, by applying the present invention to image processing and audio signal processing, the periodicity generated when performing fine adjustment of the frame rate of a moving image signal, fine angle rotation of an image, fine adjustment of an enlargement / reduction ratio, etc. Therefore, it is possible to improve the periodic sound accumulation that occurs when the image is blurred or the audio pitch is finely adjusted.
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0027]
FIG. 1 is a schematic block diagram showing the configuration of a copying apparatus with a document inclination correction function to which a signal processing apparatus according to an embodiment of the present invention is applied. Note that the tilt correction function of this apparatus corrects a slight tilt angle within a few degrees, such as a printing skew with respect to a document sheet and an angle error between the scanner and the document sheet that occurs during document reading.
[0028]
A sample value S1 (hereinafter referred to as an actual sample value) of an image read and sampled by the scanner 1 is temporarily stored in the image memory 2, and the tilt angle detection unit 3 corrects the tilt angle of the input image, that is, the tilt of the image. A rotation angle θ1 is detected. Note that the tilt angle detection unit 3 may be configured such that the operator directly inputs the tilt angle. The tilt angle detection unit 3 outputs the detected rotation angle θ1 to the oblique scanning coordinate calculation unit 4.
[0029]
The image is rotated by scanning the original image obliquely with a tilt equal to the rotation angle θ1 and re-sampling the original image. This principle will be described by taking as an example the correction of the inclination of a character string image having an inclination of angle θ0 as shown in FIG. In FIG. 2A, the horizontal direction is the x axis, the vertical direction is the y axis, and the center of the image is the coordinate origin. The position where sampling is performed by the scanner (hereinafter referred to as the actual sample position) (xm, yn) is
[Expression 16]

It becomes. However, Tx and Ty in Equation (14) are sampling periods in the x direction and y direction, respectively, and (m, n) is
[Expression 17]

It is. Therefore, the size of the image captured by the scanner 1 is as shown in Expression (16).
[0030]
[Formula 18]

In order to correct the inclination by rotating the image of FIG. 2A by the angle −θ0, main scanning is performed with the angle θ0 inclined as shown in FIG. 2B, and the solid line frame in FIG. The image data in the indicated area may be resampled. That is, when a new coordinate system obtained by rotating the xy coordinate system by θ0 is taken as an x′-y ′ coordinate system and an image is viewed on this coordinate system, it becomes as shown in FIG. Is done.
[0031]
The coordinates of the mth sample point on the nth main scanning line in the x′-y ′ coordinate system are (x′m, y′n). If the position (x′m, y′n) on the x′-y ′ coordinate corresponds to the position (x ″ m, y ″ n) in the xy coordinate system, the coordinate (x ″) There is a relationship shown in Expression (17) between m, y ″ n) and coordinates (xm, yn).
[0032]
[Equation 19]

The image can be rotated by re-sampling the original image using the coordinates (x ″ m, y ″ n) as a new sample point.
[0033]
However, in general, the coordinates (x ″ m, y ″ n) do not coincide with the actual sample position. Further, since only the sample value at the actual sample position S1 with the coordinate (xm, yn) of the equation (14) as the sample point is stored in the image memory 2 of FIG. 1, the coordinate (x of the equation (17)) In order to obtain a sample value at “m, y” n), it is necessary to perform some pixel value restoration processing. Here, a method of approximately restoring the pixel value at the coordinates (x ″ m, y ″ n) from the sample values of the four real sample points surrounding the coordinates (x ″ m, y ″ n) using the linear prediction method. explain.
[0034]
The coordinates of the four real sample points surrounding the coordinates (x ″ m, y ″ n) are (xa, yb), (xa + Tx, yb), (xa, yb + Ty), and (xa + Tx, yb + Ty), respectively. An oblique scanning coordinate calculation unit 4 in FIG. 1 calculates memory addresses corresponding to these four points and outputs them as read addresses of the image memory 2. The sample value S2 of the four actual sample points is read from the image memory 2, and the read sample value S2 is sent to the linear interpolation processing unit 5.
[0035]
The linear interpolation processing unit 5 uses the sample value S2 of the four actual sample points and the position deviation between the interpolated sample position and the actual sample position, and uses the interpolated sample value pi (x ″) at the coordinates (x ″ m, y ″ n). m, y ″ n) is obtained by linear interpolation. The positional deviation (dx · Tx, dy · Ty) between the interpolation sample position and the actual sample position at this time is expressed by Expression (18).
[0036]
[Expression 20]

Since (x ″ m, y ″ n) = (xa + dx · Tx, yb + dy · Ty) from the equation (18), by setting x = xa and y = yb in the equation (12), the interpolated sample value pi (x "M, y" n) can be determined. The positional deviation (dx, dy) normalized by the sampling period used in Expression (12) is output from the oblique scanning coordinate calculation unit 4. As described above, the apparatus according to the present embodiment is intended to correct a slight tilt angle. Under the condition that the tilt correction angle is small, the normalized positional deviation ( dx, dy) is substantially constant. In order to verify this, in the following, for the interpolated sample points (x ″ m, y ″ n) and (x ″ m + i, y ″ n + j), the respective normalized position deviations (dx, dy) and (dx ′, dy ′) )think of. Here, (x ″ m + i, y ″ n + j) is separated from the position (x′m, y′n) on the x′−y ′ coordinate by i samples in the x ′ axis direction and j samples in the y ′ axis direction. Represents the position of the interpolation sample point (x′m + i, y′n + j) in the xy coordinate system. The normalized position deviation (dx, dy) and (dx ′, dy ′) have the relationship shown in the equation (19).
[0037]
[Expression 21]

In the equation (19), θ1 represents an inclination correction angle. Since the apparatus of this embodiment is intended to correct a slight tilt angle, θ1 is a very small angle. Therefore, if there is no significant difference between the sampling periods in the main scanning direction and the sub-scanning direction, the normalized position deviations of the two interpolated sampling points are substantially equal when i and j in Equation (19) are small integers. That is, the normalized position deviation between neighboring interpolation sample points is substantially constant. Conversely, when i or j is a large integer, the normalized position deviations of the two interpolation sample points are greatly different. In other words, the normalized position deviations between interpolated sample points that are far apart are greatly different.
[0038]
On the other hand, it can be seen from the above equation (11) that the low-pass characteristic generated by interpolation is determined by (dx, dy). Therefore, when a slight inclination angle correction is performed by linear interpolation processing, the normalized position deviation (dx, dy) is locally constant, and therefore the low-pass characteristics generated by the interpolation processing are also localized. It can be seen that it may be considered to be substantially constant. In general, the size of a two-dimensional FIR filter used in digital image processing is often as small as 3 × 3 or 5 × 5 because of the ease of circuit configuration. From the above, the low-pass characteristics in the local region of about 3 × 3 or 5 × 5 may be considered to be substantially constant, and thus blur caused by linear interpolation is corrected by normal correction filter processing using an inverse filter or the like. be able to. However, even if the low-pass characteristics that are almost constant in the local area are globally different, the low-pass characteristics vary greatly depending on the location. I can't. Therefore, variable characteristic correction filter processing is required.
[0039]
In the variable characteristic filter processing unit 6 shown in FIG. 1, correction processing for blurring of an image caused by linear interpolation processing is performed on the interpolation sample value pi (x ″ m, y ″ n) output from the linear interpolation processing unit 5. I do. As shown in the equation (11), since the characteristic of the blur to be generated changes due to the position deviation between the interpolation position and the sample position, the variable characteristic filter processing unit 6 uses a band according to the value of (dx, dy). A blur correction process using filters having different pass characteristics is performed. In the following, two methods for realizing variable characteristic filter processing will be described.
[0040]
One of the methods for realizing the variable characteristic filter processing is a method in which an inverse filter having an inverse function of a low-pass characteristic generated by interpolation as a transfer characteristic is applied to an interpolation image. As shown in the equation (11), the low-pass characteristics generated by the interpolation differ depending on the position deviation between the interpolation position and the sample position, and therefore the transfer function of the inverse filter must be variable according to the position deviation. . In particular, when high-speed processing is not required, a digital filter having the above variable characteristics can be configured by signal processing by software using a DSP (Digital Signal Processor) or the like.
[0041]
On the other hand, in applications where high speed is required, a filter with variable characteristics can be realized by configuring a dedicated filter bank type hardware as shown in FIG. According to the filter bank method shown in FIG. 3, since a desired inverse filter characteristic can be accurately realized, high-accuracy blur correction is possible. However, in order to increase the correction accuracy, a filter bank consisting of a large number of filters must be used, and there is a problem that the circuit scale becomes large.
[0042]
Another method for realizing the variable characteristic filter processing is a method of using a differential operator as shown in FIG. 4 and changing the applied intensity by weighting. In this method, the accuracy of blur correction is lower than that in the filter bank method, but variable characteristic filter processing can be approximately realized with simpler hardware.
[0043]
In the example of FIG. 4, a Laplacian operator is used as the differential operator. The interpolated sample values and filter outputs in FIG. 4 are respectively represented by pi (x ′, y ′) and pif (x ′, y ′, dx, dy) using the above-described notation in the x′-y ′ coordinate system. Then, the filter output is as shown in Expression (20).
[0044]
[Expression 22]

The function k () in equation (20) determines the applied strength of the Laplacian operator. As described above, the blur generated by the interpolation process is maximum when the normalized position deviation (dx, dy) from the sample position of the interpolation position is (dx, dy) = (1/2, 1/2). Thus, the closer the interpolation position is to the sample position, the smaller it becomes. When the interpolation position and the sample position match, no blur occurs. Therefore, the function k () takes the maximum value when (dx, dy) = (1/2, 1/2), and becomes smaller as the interpolation position approaches the sample position, and the interpolation position and the sample position coincide with each other. In such a case, if a function that becomes zero is selected, a variable characteristic filter process that approximately compensates for the low-pass characteristic by the interpolation process can be realized. An example of such a function k () is shown in equation (21).
[0045]
[Expression 23]

The gain determination circuit in FIG. 4 outputs a gain adjustment signal having a magnitude as shown in Expression (21).
[0046]
As described above, the correction process of the blur generated in the image by the interpolation process is performed, and the corrected image is sent to the image output unit 7 in FIG. 1 to obtain the printed matter subjected to the tilt correction process.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a configuration of a copying apparatus with an original inclination correction function to which a signal processing apparatus according to an embodiment of the present invention is applied. FIG. 2 is a view for explaining the principle of inclination correction. FIG. 4 is a diagram showing a variable characteristic filter using a filter bank. FIG. 4 is a diagram showing a variable characteristic filter using a differential operator. FIG. 5 is a diagram showing frequency characteristics of a one-dimensional signal to be evaluated. FIG. 7 is a diagram showing characteristics of an ideal low-pass filter. FIG. 8 is a diagram showing a state where a discrete signal is approximated by linear interpolation when a delay τT is added to the sampling timing. Diagram showing the characteristics of the filter in (8) [Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Scanner 2 Image memory 3 Inclination angle detection part 4 Oblique scanning coordinate calculation part 5 Linear interpolation process part 6 Variable characteristic filter process part 7 Image output part

Claims (4)

In a signal processing method for obtaining an interpolation signal at an interpolation position other than a sample position from a discrete signal obtained by sampling an original image signal by linear interpolation processing,
In order to make the low-pass characteristic of the linear interpolation process in the entire original image represented by the original image signal substantially constant, filters having different band-pass characteristics according to the positional deviation between the sample position and the interpolation position A signal processing method characterized by performing blur correction processing using a signal on the interpolation signal. In a signal processing method for obtaining an interpolation signal at an interpolation position other than a sample position from a discrete signal obtained by sampling an original image signal by linear interpolation processing,
  In order to make the low-pass characteristic of the linear interpolation processing in the entire original image represented by the original image signal substantially constant, the application strength of the differential operator is changed according to the position deviation between the sample position and the interpolation position. A signal processing method characterized by performing blur correction processing on the interpolation signal. In a signal processing apparatus that obtains an interpolation signal at an interpolation position other than a sample position from a discrete signal obtained by sampling an original image signal by linear interpolation processing,
In order to make the low-pass characteristic of the linear interpolation process in the entire original image represented by the original image signal substantially constant, filters having different band-pass characteristics according to the positional deviation between the sample position and the interpolation position A signal processing apparatus comprising: filter processing means for performing blur correction processing using a signal on the interpolation signal. In a signal processing apparatus that obtains an interpolation signal at an interpolation position other than a sample position from a discrete signal obtained by sampling an original image signal by linear interpolation processing,
  In order to make the low-pass characteristic of the linear interpolation processing in the entire original image represented by the original image signal substantially constant, the application strength of the differential operator is changed according to the position deviation between the sample position and the interpolation position. A signal processing apparatus comprising: filter processing means for performing blur correction processing on the interpolation signal.

Images