JP3583831B2

JP3583831B2 - 信号処理装置

Info

Publication number: JP3583831B2
Application number: JP14277595A
Authority: JP
Inventors: 伸青木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1995-06-09
Filing date: 1995-06-09
Publication date: 2004-11-04
Anticipated expiration: 2019-11-04
Also published as: JPH08336046A

Description

【０００１】
【産業上の利用分野】
本発明は、標本化によって生じる折り返し成分を打ち消し、原信号が持つ高周波成分を復元し、また、デジタル信号を高解像度化する信号処理装置に関する。
【０００２】
【従来の技術】
デジタル信号は、連続信号である原信号を標本化して作られる。標本化定理によれば、原信号が標本化周波数の半分の周波数（以下、ナイキスト周波数）以下に帯域制限されていれば、標本値から原信号を完全に復元することができ、また帯域制限されていなければ、完全な復元が不可能であることが知られている。
【０００３】
デジタル信号を高解像度化する場合、高解像度化された出力信号の標本化周波数は、入力信号のそれよりも高いので、出力信号は、入力信号の表現できる帯域よりも広い帯域を持つ。つまり、出力信号の方が入力より多くの情報を表現できる。しかし、原信号に関する情報を得る手段を一つの入力デジタル信号だけに限定すれば、得られる情報は原信号（入力デジタル信号）のナイキスト周波数以下の帯域だけであり、それ以上の高周波成分を復元することは不可能である。
【０００４】
この事実は、具体的にはキュービックスプライン補間や、周波数空間法による高解像度化では、高周波成分を含まない、ぼけた信号しか得られないという問題となって現れる。なお、キュービックスプライン補間とは、非格子点の濃度を、その周囲の１６個の格子点における濃度を用いて、３次式によって補間するもので、その詳細は、例えば「コンピュータ画像処理入門」（総研出版）第４章に記載されている。また、周波数空間法としては、画像をＤＣＴ（２次元離散コサイン変換）によって空間領域から周波数領域に変換し、高周波成分として０を追加して、逆ＤＣＴによって空間領域に逆変換する画像の拡大方式がある（特開平２−７６４７２号公報）。
【０００５】
そこで、原信号に関するより多くの情報を総合して高解像度信号を得る方法として、一つの原信号を、標本化の位置（タイミング）を変えて同一の標本化間隔で標本化した複数組のデータを利用することを考える。図２は、同一の原信号について標本化位置を変えて同一の標本化間隔で標本化した、３組の標本化信号（１，２，３）を示す。
【０００６】
標本化位置を標本化間隔の１／２だけずらして２回標本化すれば、１／２の標本化間隔で１回標本化したものと同等になることは明らかである。
【０００７】
【発明が解決しようとする課題】
ところで、上記したようなデータを生成するために、例えばデジタルカメラを使い、複数回撮影することを考える。カメラの内部で１／２画素分、センサを移動させて２回撮影したとしても、丁度１／２画素だけずれたデータを得るためには、
（１）カメラ自身を完全に固定しなければならない
（２）撮影対象も完全に静止していなければならない
など、条件が厳しく、適用できる範囲が狭い。
【０００８】
逆に言えば、カメラや撮影対象が移動する場合、移動量が不明であるが、とにかく異なる位置で標本化したデータが得られるので、このようなデータを統合することにより、原信号（撮影対象）の高周波成分の情報を的確に取り出すことができれば、その適用範囲は非常に広いと言える。
【０００９】
本発明は、上記した事情を考慮してなされたもので、
本発明の目的は、標本化位置の異なる複数組のデジタルデータから、ナイキスト周波数以上の原信号の高周波成分を復元し、ぼけの少ない高解像度データを得るようにした信号処理装置を提供することにある。
【００１０】
【課題を解決するための手段】
前記目的を達成するために、請求項１記載の発明では、標本化位置を変えて同一の標本化間隔で標本化された複数組のデジタルデータに対して、標本化周波数の半分の周波数以上の高周波成分を透過するフィルタ手段と、該フィルタ処理された複数組の信号をそれぞれ高解像度化する手段と、前記各デジタルデータの標本化位置に応じた重みを算出する手段と、対応する位置における各高解像度化データに該重みをつけて加重和をとり出力する手段とを備えたことを特徴としている。
【００１１】
請求項２記載の発明では、前記標本化位置に応じた重みｗｋは、
【００１２】
【数６】

【００１３】
の関係を満たすことを特徴としている。
【００１４】
ここで、
ｗｋはｋ番目のデジタルデータのための重み
Δｋはｋ番目のデジタルデータの標本化位置
２πｉ中のｉは虚数単位。
【００１５】
請求項３記載の発明では、前記標本化位置に応じた重みｗｋは、
【００１６】
【数７】

【００１７】
の関係を満たし、かつ
【００１８】
【数８】

【００１９】
を最小化することを特徴としている。
【００２０】
請求項４記載の発明では、前記標本化位置に応じた重みｗｋは、
【００２１】
【数９】

【００２２】
の関係を満たし、かつ
【００２３】
【数１０】

【００２４】
なる量の増加関数からなる評価関数を最小化することを特徴としている。
【００２５】
請求項５記載の発明では、前記各デジタルデータの標本化位置の差を、与えられたデジタルデータから推定することを特徴としている。
【００２６】
【作用】
周波数空間上で〔−２π，２π〕に帯域制限されている原信号を、３組の異なる標本化位置（その標本化間隔は同一）で標本化する。それをＬＰＦ処理すると、基本波は同一で、高調波は標本化位置のずれに従って、その位相がずれている。位相の異なるこれらの信号に、適当な重みをつけて平均することにより、高調波を打ち消し、基本波だけを残すことができる。
【００２７】
【実施例】
以下、本発明の一実施例を図面を用いて具体的に説明する。
まず、本発明の原理について説明する。
〈折り返し成分復元の必要性〉
標本化定理より、理想的に帯域制限された原信号ならば、１組の標本信号から完全に復元されるので、標本化位置を変えて標本化しても得られる情報は増えない。つまり、異なる位置で標本化することで情報を増やすためには、標本化される原信号が理想的に帯域制限されておらず、折り返し歪が含まれていることが必要である。
【００２８】
折り返された成分は、元々原信号が持っていたナイキスト周波数以上の成分であり、折り返しによって、より低い帯域と重なってしまったために歪となっているが、逆にその重なりを分離することができれば、原信号の高周波成分という重要な情報を得ることができる。
【００２９】
本発明は、このような折り返しを含む複数の信号から、折り返し成分を取り除き、同時に原信号の高周波成分を復元するものである。
【００３０】
〈解析〉
まず、異なる複数の位置で標本化した信号がどのような性質を持つかを解析する。ここでは、簡単のため一次元の原信号（連続信号）を例にして説明する。
【００３１】
原信号をｆ（ｘ）、それを間隔１で標本化した標本化信号をｄ（ｘ）とする。また、フーリエ変換、および畳み込みを式（１）、（２）、（３）のように定義する。
【００３２】
【数１１】

【００３３】
このとき、式（４）、（５）に示す性質を持つことが知られている。
【００３４】
【数１２】

【００３５】
標本化は、原信号と、以下のようなδパルス列（ｓ（ｘ））との積をとる操作と考えられる。
【００３６】
【数１３】

【００３７】
ここで、Ｓ（ω）はｓ（ｘ）のフーリエ変換で、周波数空間での表現である。以下、大文字の英字が周波数空間での表現であり、小文字の英字が実空間での表現である。
【００３８】
そうすると、標本化したデジタル信号ｄ（ｘ）およびそのフーリエ変換Ｄ（ω）は、式（７）、（８）で表される。
【００３９】
【数１４】

【００４０】
図３は、実空間での標本化の過程を説明する図であり、（ａ）はｆ（ｘ）、（ｂ）はｓ（ｘ）、（ｃ）はｆ（ｘ）ｓ（ｘ）である。ここで、ｆ（ｘ）が画像信号であるとき、ｓ（ｘ）が主走査信号となって、画像信号がサンプルされ（ｓ（ｘ）の周期が画素間隔となる）、その振幅値（ｆ（ｘ）ｓ（ｘ））が量子化される。
【００４１】
図４は、実空間をフーリエ変換した周波数空間における標本化の過程を説明する図であり、（ａ）はｆ（ｘ）のスペクトル、（ｂ）はｓ（ｘ）のスペクトル、（ｃ）はｄ（ｘ）のスペクトルであり、原信号ｆ（ｘ）のフーリエ変換Ｆ（ω）を２π間隔で繰り返し並べた形になっている（標本化周波数＝２π、ナイキスト周波数＝π）。以下、式（８）のｋ＝０の項を基本波、ｋ＝ｍの項をｍ次高調波と呼ぶ。
【００４２】
次に、同じｆ（ｘ）について、標本化位置をΔだけずらして同一の標本化間隔で標本化する場合を考える。この標本化した信号をｄΔ（ｘ）とする。これは、式（６）のδパルス列ｓ（ｘ）を、Δだけずらしたものｓ（ｘ−Δ）に変えることに相当する。位置をずらしたパルス列のフーリエ変換は、前述した式（４）の性質から
【００４３】
【数１５】

【００４４】
となる。
【００４５】
これは、式（６）にｅｘｐ（−ｉωΔ）を掛けた形である。つまり、Ｓ（ω）をωに比例して位相を変化させた、「ねじれた」形になる（図６）。図５は、標本化位置をずらした場合の実空間における標本化の過程を示し、図６は、その周波数空間における標本化の過程を示す。Ｓ（ｗ）は複素ベクトル（Ｒｅが実軸、Ｉｍが虚軸）であり、そのベクトルの長さは変わらずに、左右にいくに従って、ベクトルの位相がずれていく（図６（ｂ）では、このずれを、破線の円周上でベクトルが回転している様子で表している）。
【００４６】
そうすると、このずれた位置で標本化した信号（ｄΔ（ｘ）＝ｆ（ｘ）ｓ（ｘ−Δ））のフーリエ変換は、
【００４７】
【数１６】

【００４８】
となり、やはり「ねじれた」形になる。図６（ｃ）において、２πの位置のベクトルは、Ｆ（ω）を２πだけ位相をずらし（Ｆ（ω−２π））、実軸から２πΔだけ回転（ｅｘｐ（−２πΔ））したものであり、−２πの位置のベクトルは、Ｆ（ω）を−２πだけ位相をずらし（Ｆ（ω＋２π））、実軸から２πΔだけ回転（ｅｘｐ（−２πΔ））したものである。
【００４９】
このように、折り返し歪を含み、標本化位置の異なる複数組のデジタルデータを周波数空間で見ると、基本波は標本化位置のずれ（Δ）によらず原信号と同一で、ｋ次高調波は２πｋΔだけ位相がずれていることが分かる。この位相のずれを使って、以下説明するように、折り返された成分だけを取り除き、本来の高周波成分を復元することができる。
【００５０】
〈高周波成分の復元〉
以上の解析結果を使い、一つの原信号を異なる位置で標本化した複数の組の標本化信号から、折り返し成分を取り除き、原信号の高周波成分を復元する原理を説明する。
【００５１】
ここでは、原信号ｆ（ｘ）が、周波数空間上で、ナイキスト周波数の２倍、つまり〔−２π，２π〕に帯域制限されているものと仮定する。この場合、図７（ａ）に示すように、周波数空間では、隣接する信号分布の裾が重なり、折り返し成分の重なりは２重である。つまり、ある周波数に存在する成分は、基本波、高調波の内、たかだか２つを足したものとなる。
【００５２】
また、ここでは標本化信号の標本化位置は既知であると仮定し、３つの位置Δ０、Δ１、Δ２で標本化した標本化信号をそれぞれｄ０（ｘ）、ｄ１（ｘ）、ｄ２（ｘ）とし、またそれぞれのフーリエ変換をＤ０（ω）、Ｄ１（ω）、Ｄ２（ω）とする。
【００５３】
まず、一つの標本化信号ｄ０（ｘ）にローパスフィルタＬＰＦをかけ、〔−２π，２π〕の帯域だけを取り出す。この信号をｅ０（ｘ）とする。そのフーリエ変換（Ｅ０（ω））は次のようになる。
【００５４】
【数１７】

【００５５】
これは、基本波と±１次高調波の半分づつが重なった信号である（図７（ａ）、図８）。
【００５６】
同様に、標本化信号ｄ１（ｘ）、ｄ２（ｘ）もそれぞれＬＰＦ処理し、ｅ１（ｘ）、ｅ２（ｘ）を求める。これら３つの信号は、式（１０）より、基本波は同一で、高調波は標本化位置（Δ０，Δ１，Δ２）に従い、その位相がずれている（図９）。
【００５７】
図９は、周波数空間上で、標本化位置のずれによる位相のずれを説明する図である。３つの基本波の位相は実軸にあり、信号Ｅ０（ω）の１次高調波の位相は、実軸から２πΔ０だけ位相がずれていて、信号Ｅ１（ω）の１次高調波の位相は、実軸から２πΔ１だけ位相がずれていて、信号Ｅ２（ω）の１次高調波の位相は、実軸から２πΔ２だけ位相がずれている。
【００５８】
次に、これら３つの信号を、適当な重みをつけて加重和をとる。３つの信号を重みｗｋで加重和をとった信号、
【００５９】
【数１８】

【００６０】
は、周波数空間で表現すれば、式（１２）より、
【００６１】
【数１９】

【００６２】
となる。よって、
【００６３】
【数２０】

【００６４】
なる関係を満たす重み（ｗｋ）を使えば、式（１５）より、高調波成分は打ち消され、従って折り返し成分が打ち消され、同時に式（１４）より基本波（Ｆ(ω)）はそのまま残り、結果として原信号（Ｆ（ω））を復元することができる。図７（ｃ）は、式１４、１５によって打ち消された高調波成分を示し、図７（ｄ）は、復元された基本波を示す。式（１４）、（１５）は、重みｗｋについての連立１次方程式なので、行列演算によって簡単に解を求めることができる。
【００６５】
ここでは、原信号は〔−２π，２π〕に帯域制限されているものと仮定した。そのため折り返しは２重となり、一つの高調波成分を打ち消すため式（１５）の条件が一つ必要であった。より広い帯域の信号を扱う場合、打ち消すべき折り返し成分が増えるため、式（１５）に相当する条件式が増え、打ち消すために必要なデジタル信号の数が増えることになる。例えば、原信号が〔−（Ｍ＋１）π，（Ｍ＋１）π〕の帯域を持つ場合、原信号を復元するためには、Ｍ個の折り返し成分を打ち消す必要があるため、式（１５）に相当する打ち消し条件式が２Ｍ個となる。重み総和条件と併せて２Ｍ＋１個の連立方程式を解くためには、２Ｍ＋１個のデジタル信号が必要となる。
【００６６】
〈雑音への対応〉
上記した説明では、各信号には雑音は含まれないものと考え、原信号の完全な復元を行うものであった。しかし、現実には信号に必ず雑音が含まれるので、雑音に強い信号処理方法が求められる。
【００６７】
ここでは、まず前述したような加重和による信号の雑音の現れ方を解析し、それに対する２つの対処方法を説明する。
【００６８】
一般に、複数の信号が、互いに無相関で分散σ²の雑音を含むとすると、重みｗｋを使ったそれらの加重平均信号の雑音は、
【００６９】
【数２１】

【００７０】
なる分散を持つ。つまり、加重平均信号の雑音は、それぞれの信号のΣ（ｗｋ）²倍になると考えられる。
【００７１】
式（１４）、（１５）で求められる重み（ｗｋ）は、雑音を考慮していないので、標本化位置の組み合わせによっては、Σ（ｗｋ）² が非常に大きくなる場合があり、得られる加重平均信号は折り返し成分が打ち消されると同時に雑音が強調される可能性がある。そこで、雑音の低減も考慮した重みを考える。
【００７２】
〈「折り返し成分を打ち消し」かつ「雑音最小化」のための重み〉
３つの入力信号を使う場合は、折り返し成分を打ち消すような加重（ｗｋ）は、式（１５）の条件から一意に決まる。一方、４つ以上の入力信号を使えば、自由度が増えるので、式（１５）を満たした上で、残る自由度を使って式（１６）を最小化する重みをとることにより、折り返し成分を打ち消した上で、更に雑音の低減を図ることができる。
【００７３】
つまり、式（１４）、（１５）を満たす重みの代わりに、
【００７４】
【数２２】

【００７５】
を最小化する重みを使う。
【００７６】
これはｗｋについて、１次式の条件付き、２乗和の最小化であるので、公知の計算法（Ｌａｇｒａｎｇｅの未定乗数法）により、連立１次方程式を解くことで簡単に解が得られる。
【００７７】
〈「折り返し成分および雑音」の最小化のための重み〉
雑音成分との兼ね合いを考えると、折り返し成分も一種の雑音であり、必ずしも０にする必要はない。折り返し成分および雑音成分をそれぞれ低減する重みも有効である。
【００７８】
これは、式（１５）を束縛条件とはせず、次式のような、その絶対値の２乗値
【００７９】
【数２３】

【００８０】
を式（１６）と同等の雑音評価値と考え、それぞれの雑音評価値に対して増加関数となる評価関数をとり、それを最小化する重みを採用することによって実現できる。
【００８１】
例えば、Σｗｋ＝１の条件のもとで、次式のような、式（１８）と式（１６）の加重和を評価関数とし、
【００８２】
【数２４】

【００８３】
これを最小化する重みを使う。この場合、α≒０では折り返し成分の打ち消しが優先となり、α≒１では基本波の雑音低減が優先となる。式（１９）も、ｗｋについての２乗和の最小化であり、やはり、連立１次方程式を解くことで簡単に解が得られる。この場合は、２組以上の入力データが必要である。
【００８４】
〈標本化位置の推定〉
上記した説明では、それぞれの入力標本化信号について、標本化位置は既知であるとして考えてきた。しかし、前述したようなデジタルカメラを動かしながら撮影したデータを扱う場合などにおいては、標本化位置を予め知ることができないので、与えられたデジタルデータからそれぞれの標本化位置を推定する必要がある。その推定方法を以下、説明する。
【００８５】
２つのデジタルデータの標本化位置のずれは、移動する対象物の速度とも考えることができる。そこで、速度ｖで平行移動する１次元の連続関数ｆ（ｘ，ｔ）を例に考える。変化が微小ならば、Ｔａｙｌｅｒ展開の１次近似として、
【００８６】
【数２５】

【００８７】
が各点で成り立つ。この式の∂ｆ／∂ｘおよび∂ｆ／∂ｔから、各点で変化速度ｖを求めることができる。
【００８８】
しかし、上記した式では、
（１）１次近似からの外れ
（２）雑音の影響
などのため精度が悪いので、次式のような、式（２０）の左辺の２乗をある領域内で積分した値を評価関数とし、この評価関数が最小値をとるｖを求めることで、正確な値が得られる。
【００８９】
【数２６】

【００９０】
このようにして、２つのデータ間の相対位置が分かれば、１つのデータを基準として、他の全てのデータとの相対位置を求めることにより、全てのデータの相対位置を推定することができる。
【００９１】
〈実施例〉
図１は、本発明の実施例のブロック構成図である。本実施例では、前述した本発明の原理に基づき、同一の対象を異なる複数の標本化位置で標本化したデジタルデータを入力し、標本化される前の原信号の高周波成分を復元した、高解像度のデジタルデータを得るための信号処理方法を説明する。以下、各部分について、その機能を説明する。
【００９２】
（入力デジタルデータ）
本発明で使用する入力デジタルデータ１は、同一の対象を、位置をずらして同一の標本化間隔で標本化した３組のデジタルデータである。入力デジタルデータとしては、例えば以下のようにして作成されたものが使用される。
【００９３】
（ａ）イメージスキャナによって、一枚の原稿を、少しずつ原稿の設置位置をずらして、３回スキャンして得られる３枚のデジタル画像データ。
（ｂ）デジタルカメラの位置、または方向を少しずつずらしながら、ほぼ静止した対象を３回撮影することによって得られる３枚のデジタル画像データ。
（ｃ）ビデオカメラの位置、または方向を少しずつずらしながら、ほぼ静止した対象を撮影し、そのビデオデータの連続する３コマ分をデジタル化したデータ。
【００９４】
一般的に、上記したスキャナの如きデジタル画像入力装置の内部では、図１０に示すような信号処理が行われている。図１０は、デジタル画像入力装置の信号処理を説明する図である。すなわち、
１．濃度分布ｏｒｉｇ（ｘ）を持つ原稿に対し、
２．光学系やセンサの開口特性などによる伝達関数（点像広がり関数、ｐｓｆ（ｘ））が作用し、
３．その後、式（６）のサンプルパルス列（ｓ（ｘ））を掛けることにより、標本化される。
【００９５】
本発明の原理で説明した復元すべき原信号（ｆ（ｘ））とは、量子化される直前の信号である。この場合は、原稿濃度分布に点像広がり関数が作用した信号、ｏｒｉｇ（ｘ）＊ｐｓｆ（ｘ）がその原信号に相当する。
【００９６】
さて、このようなデジタル画像入力装置を使用した場合の原信号の特性について説明する。一般にデジタル画像入力装置においては、上記した点像広がり関数が適切なＬＰＦ特性を持つように設計することによって、折り返し歪を防止するための帯域制限を実施している。しかし、実際の帯域制限は、
理想的なＬＰＦの特性（周波数空間で矩形関数）は実現が困難である、
エッジ再現性のため高周波成分も保存したい、
などの理由から不完全であり、得られるデジタルデータは、通常ある程度の折り返し歪を含んでいる。このような不完全に帯域制限された原信号（ｆ（ｘ））は、原理の説明で述べたような、〔−２π，２π〕に帯域制限した信号と考えられ、本発明の信号処理によって原信号の高周波成分を復元することができる。図１１は、帯域制限フィルタの周波数特性を示し、２１は〔−π，π〕で１、それ以外では０となる理想的な帯域制限フィルタの特性であり、２２は実際のｐｓｆによる帯域制限フィルタの特性であり、２３は本発明の帯域制限フィルタの特性である。
【００９７】
上記した入力デジタルデータの例は、２次元のデジタルデータであるが、以下では簡単のため、１次元のデータを処理する方法を説明する。以下の説明から２次元データ処理への拡張も容易である。また、２次元の画像データでも、その標本化位置のずれを横方向に限定できれば、各列毎に独立した１次元のデータとして扱うこともできる。
【００９８】
本実施例では、３組のデジタルデータを使用する。以下、３組の入力デジタルデータをそれぞれｉｎ０，ｉｎ１，ｉｎ２とする。また、第ｉ組の入力デジタルデータ（ｉｎｉ）の、第ｊ番目のサンプル（画素）を、ｉｎｉ〔ｊ〕とする。
【００９９】
（基準データバッファ）
基準データバッファ２は、標本化位置の基準の位置とするため、第０組のデータ（ｉｎ０）を格納するバッファである。後段の位置差推定部では、２組のデジタルデータを入力し、それらの標本化位置の差を推定する。第０組のデータ（ｉｎ０）を基準データとし、ｉｎ０とｉｎ１、およびｉｎ０とｉｎ２の標本化位置差を推定することにより、第０組のデータの標本化位置を基準として、３組のデータの相対的な標本化位置を推定することができる。
【０１００】
（位置差推定部）
位置差推定部３は、それぞれの入力データ（ｉｎ１，ｉｎ２）について、基準データバッファに格納された基準データ（ｉｎ０）との、標本化位置の差を推定することにより、３組の入力データの相対的な標本化位置を推定する手段である。
【０１０１】
第１組のデータの標本化位置をΔ１、第２組のデータの標本化位置をΔ２として出力する（基準となる第０組のデータの標本化位置は０である）。このような推定は、式（２１）の微分、積分をデジタルデータの差分、加算に置き換えることにより実現できる。
【０１０２】
すなわち、ｉｎ０とｉｎｉの位置差（Δｉ）を推定するには、式（２１）を
【０１０３】
【数２７】

【０１０４】
と置き換え、また、対象の速度（ｖ）ではなく、標本化位置の移動量を測るので、符号を変えて、
【０１０５】
【数２８】

【０１０６】
を最小化するΔｉとして求められる。これは線形最小２乗法により解くことができる。
【０１０７】
（加重計算部）
加重計算部４は、位置差推定部３で得られた標本化位置（０，Δ１，Δ２）に基づいて、後段の積和部で使用される加重を求める手段である。第０，１，２組の入力デジタルデータに対する加重として、それぞれｗ０，ｗ１，ｗ２を出力する。具体的には、式（１４）、（１５）を解く演算を行う。
【０１０８】
また、他の方法として、４組以上の入力デジタルデータを使い、式（１４）、（１５）の束縛条件のもとで、式（１７）を最小化する重みを求めることもできる。さらに、他の方法として、２組以上の入力デジタルデータを使い、式（１４）の束縛条件のもとで、式（１９）を最小化する重みを求めることもできる。
【０１０９】
（解像度倍率指定部）
本実施例の最終的な出力デジタルデータは、入力デジタルデータよりも画素数の多い高解像度なデータである。解像度倍率指定部５は、出力デジタルデータの解像度を、入力デジタルデータの解像度の倍率として指定する手段である。ここでは、解像度を１０倍にするものとする。つまり、出力デジタルデータは入力デジタルデータに比べ、サンプル数が１０倍、標本化周期が１／１０となる。
【０１１０】
解像度の倍率は、利用者が指定するようにしてもよい。ただし、本実施例では、ナイキスト周波数の２倍の周波数成分までを復元するので、出力データに折り返し歪を含めないためには、倍率は２倍以上としなければならない。
【０１１１】
（広帯域ＬＰＦ処理および高解像度化処理部）
この部分は、本発明の原理で説明した「〔−２π，２π〕の透過帯域を持つＬＰＦにより、基本波全部および１次高調波の半分を足した信号を取り出す」部分に相当する。
【０１１２】
入力デジタルデータは、ｉｎｉ〔ｊ〕というデータ列であるが、これを次式のように、位置（ｘ）に対する連続関数（デルタパルス列）と考えたものが式(８)の標本化信号ｄ（ｘ）にあたる。
【０１１３】
【数２９】

【０１１４】
この信号（ｄｉ（ｘ））に、式（１１）の広帯域ＬＰＦを掛ける。
【０１１５】
理想的なＬＰＦ処理は、周波数空間では、
【０１１６】
【数３０】

【０１１７】
なる矩形関数との乗算であり、実空間では、ｓｉｎ（２ｘ）／２ｘ（ｓｉｎｃ関数）とのコンボリューションである。
【０１１８】
ｄｉ（ｘ）をＬＰＦ処理した信号をｅｉ（ｘ）とすると、
【０１１９】
【数３１】

【０１２０】
となる。
【０１２１】
さらに、式（２３）より、入力デジタルデータ（ｉｎｉ〔ｊ〕）を使って書き換えると、
【０１２２】
【数３２】

【０１２３】
となる。
【０１２４】
このＬＰＦ処理によって得られる信号（ｅｉ（ｘ））は連続信号であり、これを標本化した信号を、このブロック６の出力デジタル信号とする。そのため、連続信号の内、欲しい（標本化される）位置（ｘ）についてだけ式（２４）の計算をすればよい。
【０１２５】
このようにして「広帯域ＬＰＦ処理および高解像度化処理部６」で得られるデジタルデータをｍｉｄｉ〔ｊ〕とする。ここでは新たな標本化間隔を１／１０としたので、ｍｉｄｉ〔ｊ〕は結局、
【０１２６】
【数３３】

【０１２７】
となり、予めｓｉｎ（２（ｊ／１０−ｋ））／（２（ｊ／１０−ｋ））なるテーブル（実際には有限の範囲内でそれを近似したもの）を用意しておけば、入力デジタル信号ｉｎｉの積和によって計算できる。
【０１２８】
ＬＰＦ処理された信号ｅｉ（ｘ）は、原信号のナイキスト周波数よりも高い周波数成分を含む信号である。そしてそれを有効に表現するためには、つまり原信号の高周波成分を復元するためには、ＬＰＦ処理された信号ｅｉ（ｘ）に対するサンプリング間隔は、入力信号のサンプリング間隔より狭い間隔でなければならない。信号ｅｉ（ｘ）に対するサンプリング間隔が、入力信号のサンプリング間隔より狭くなければ、再び折り返し歪が発生し、意味がない。そのため、ここでは１／１０としている。
【０１２９】
（中間データバッファ）
中間データバッファ７は、高解像度化処理された中間デジタルデータ（ｍｉｄｉ〔ｊ〕）を保存するバッファである。
【０１３０】
（積和部）
この積和部７での加重和計算は、本発明の原理で説明した「式（１３）の加重和をとり、周波数空間で３本のベクトルで表される高調波成分を打ち消す」部分に相当する。本実施例の構成では、実空間で処理する。実空間でもやはり各中間データに、それぞれ加重ｗｉをかけた後、加算すればよい。
【０１３１】
ここで、注意しなければならないことは、原理の説明では、原信号の位置は固定されていて、サンプリング位置の方が移動していることである。一方、中間デジタルデータは、各入力デジタルデータの標本化位置のずれに係らず、入力デジタルデータだけから計算されるので、ｍｉｄ０〔０〕（第０組の中間データの０番目のサンプル）は、ｉｎ０〔０〕（第０組の入力データの０番目のサンプル）と同じ位置というだけで、ｍｉｄ１〔０〕（第１組の中間データの０番目のサンプル）と同じ位置にあたる訳ではない。
【０１３２】
このように、入力デジタル信号の各サンプルは、それぞれ異なる位置に対応しているので、同じ位置、つまり図１２の縦方向に並んだ中間データ同志を足し合わせるためには、加算するときに各中間データバッファの１番目のサンプル同志ではなく、位置をずらせて足し合わせなければならない。
【０１３３】
図１２は、中間データ間の位置関係を説明する図である。入力データｄ０(ｘ)は、サンプリング間隔（＝１）でサンプルされる。すなわち、図の太い矢印で示すように、サンプル点はｊ＝０、次のサンプル点はｊ＝１０である。入力データｄ１（ｘ）は、位置差推定部で推定されたΔ１だけずれた位置から、同様に、サンプリング間隔（＝１）でサンプルされ、そのサンプル点はｊ＝０、次はｊ＝１０である。入力データｄ２（ｘ）は、位置差推定部で推定されたΔ２だけずれた位置から、同様に、サンプリング間隔（＝１）でサンプルされ、そのサンプル点はｊ＝０、次はｊ＝１０である。
【０１３４】
ｅｏ（ｘ），ｅ１（ｘ），ｅ２（ｘ）は、それぞれｄｉ（ｘ）をＬＰＦ処理した連続信号であり、ｅｉ（ｘ）を、サンプリング間隔（＝１／１０）でサンプル（ｅｉ（ｘ）上の各点がサンプル点）した値が、それぞれｍｉｄｉ〔ｊ〕となる。中間データバッファｍｉｄ０には、例えばサンプル点ｊ＝０を開始点として、サンプリング間隔（＝１／１０）でサンプルしたデータが、図１３に示すように格納される。同様に、中間データバッファｍｉｄ１，２には、サンプル点ｊ＝０を開始点として、サンプリング間隔（＝１／１０）でサンプルしたデータが格納される。図１３では、位置差を付けて格納しているが、実際には各バッファにはサンプル点ｊ＝０から順に、その値が格納される。
【０１３５】
例えば、「位置差推定部」で、Δ１＝１／１０、Δ２＝３／１０と推定されたとする。ここでは、中間データは入力データの１０倍の密度であるので、この位置差は、積和部８で１０倍に変換される。従って、第１番目の中間データｍｉｄ１と第０番目の中間データｍｉｄ０は、１サンプル分のずれとなり、第２番目の中間データｍｉｄ１と第０番目の中間データｍｉｄ０は、３サンプル分のずれとなる。
【０１３６】
そして、図１２の縦方向に並んだ中間データ同志を足し合わせるとき、各データはサンプル点ｊを基点としているので、例えばサンプル点ｊ＝０で中間データ同志を足し合わせる場合は、第０番目の中間データはｍｉｄ０〔０〕であり、第１番目の中間データは、１サンプル前である（−１）番目のサンプルのｍｉｄ０〔−１〕となり、第２番目の中間データは、３サンプル前である（−３）番目のサンプルのｍｉｄ０〔−３〕となる。
【０１３７】
従って、積和部８は、図１３に示すように位置をずらして、中間データバッファ７から、各データｍｉｄ０〔ｊ〕、ｍｉｄ０〔ｊ−１〕、ｍｉｄ０〔ｊ−３〕を読み出し、加重計算部からの重みｗ０，ｗ１，ｗ２を掛けて足し合わせる。以下、同様にして、ｊ＋１、ｊ＋２．．．の各サンプル点で出力を算出する。
【０１３８】
このように、推定された標本化位置（Δｉ）と解像度倍率に従って、中間データバッファから位置をずらして各サンプル点のデータを取り出し、加重和をとる。出力データ（ｏｕｔ〔ｊ〕）は、基準データ（ｉｎ０）と同じ位置とすると、最終的に出力されるデータ（ｏｕｔ〔ｊ〕）は、
【０１３９】
【数３４】

【０１４０】
となる。
【０１４１】
上記した実施例では、簡単のため１次元の信号について説明したが、多次元信号についても同様に説明される。ただし２次元信号の場合、折り返しが縦横２方向から来るので、原信号の帯域が縦横共に２倍に広がると、３つの折り返し成分が重なり、それらを打ち消すためには２Ｍ＋１＝７個のデジタルデータを必要とする。
【０１４２】
また、上記した実施例は、複数のデジタルデータを使い、１つの高解像度化データを得る方法であるが、動画像を入力として、例えば、フレーム１からフレーム９の９枚のデータを使ってフレーム５を高解像度化し、続いてフレーム２からフレーム１０を使ってフレーム６を高解像度化し、と続けることにより、動画像から動画像への高解像度化を実現することも可能となる。
【０１４３】
【発明の効果】
以上、説明したように、本発明によれば、標本化間隔が同一で標本化位置を変えた複数組のデジタルデータを用いることにより、標本化による折り返し歪を打ち消し、原信号の高周波成分を復元することができる。これにより、ぼけ、歪の少ない高解像度のデータを得ることが可能となる。
【０１４４】
本発明によれば、標本化間隔が同一で標本化位置を変えた複数組のデジタルデータをフィルタ処理し、フィルタ処理後の信号を高解像度化処理し、標本化位置に応じた重みで積和演算を行っているので、単純な演算によって折り返し成分を打ち消して、原信号の高周波成分を復元することができる。
【０１４５】
本発明によれば、雑音の少ないデータに対して、高精度に原信号の高周波成分を復元することができる。
【０１４６】
本発明によれば、雑音を含むデータに対しても、折り返し成分と雑音を同時に低減することができる。
【０１４７】
本発明によれば、標本化位置が未知の場合に、入力されたデジタルデータから標本化位置を推定しているので、未知の標本化位置を持つデジタルデータに対しても、原信号の高周波成分を復元することができる。
【図面の簡単な説明】
【図１】本発明の実施例のブロック構成図である。
【図２】同一の原信号について標本化位置を変えて標本化した、３組の標本化信号を示す。
【図３】（ａ）、（ｂ）、（ｃ）は、実空間での標本化の過程を説明する図である。
【図４】（ａ）、（ｂ）、（ｃ）は、周波数空間における標本化の過程を説明する図である。
【図５】（ａ）、（ｂ）、（ｃ）は、標本化位置をずらした場合の実空間における標本化の過程を示す。
【図６】（ａ）、（ｂ）、（ｃ）は、標本化位置をずらした場合の周波数空間における標本化の過程を示す。
【図７】（ａ）、（ｂ）、（ｃ）、（ｄ）は、本発明による高周波成分の復元を説明する図である。
【図８】ＬＰＦ処理された信号を示す図である。
【図９】周波数空間上で、標本化位置のずれによる位相のずれを説明する図である。
【図１０】デジタル画像入力装置の信号処理を説明する図である。
【図１１】帯域制限フィルタの周波数特性を示
【図１２】中間データ間の位置関係を説明する図である。
【図１３】中間データバッファからのデータの取り出し方を説明する図である。
【符号の説明】
１入力デジタルデータ
２基準データバッファ
３位置差推定部
４加重計算部
５出力解像度指定部
６広帯域ＬＰＦ処理および高解像度化処理部
７中間データバッファ
８積和部
９出力デジタルデータ
８出力デジタルデータ

Claims

標本化位置を変えて同一の標本化間隔で標本化された複数組のデジタルデータに対して、標本化周波数の半分の周波数以上の高周波成分を透過するフィルタ手段と、該フィルタ処理された複数組の信号をそれぞれ高解像度化する手段と、前記各デジタルデータの標本化位置に応じた重みを算出する手段と、対応する位置における各高解像度化データに該重みをつけて加重和をとり出力する手段とを備えたことを特徴とする信号処理装置。
前記標本化位置に応じた重みｗｋは、

の関係を満たすことを特徴とする請求項１記載の信号処理装置。
ここで、
ｗｋはｋ番目のデジタルデータのための重み
Δｋはｋ番目のデジタルデータの標本化位置
２πｉ中のｉは虚数単位
前記標本化位置に応じた重みｗｋは、

の関係を満たし、かつ

を最小化することを特徴とする請求項１記載の信号処理装置。
前記標本化位置に応じた重みｗｋは、

の関係を満たし、かつ

なる量の増加関数からなる評価関数を最小化することを特徴とする請求項１記載の信号処理装置。
前記各デジタルデータの標本化位置の差を、与えられたデジタルデータから推定することを特徴とする請求項１記載の信号処理装置。