JP3498928B2 - 画像処理システムおよび画像処理装置並びに画像処理方法 - Google Patents

画像処理システムおよび画像処理装置並びに画像処理方法

Info

Publication number
JP3498928B2
JP3498928B2 JP26943895A JP26943895A JP3498928B2 JP 3498928 B2 JP3498928 B2 JP 3498928B2 JP 26943895 A JP26943895 A JP 26943895A JP 26943895 A JP26943895 A JP 26943895A JP 3498928 B2 JP3498928 B2 JP 3498928B2
Authority
JP
Japan
Prior art keywords
scan
prototype
pixel
high resolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26943895A
Other languages
English (en)
Other versions
JPH0898009A (ja
Inventor
ジェイ． ウォルフ グレゴリイ
ジェイ． バン スティーンキスト レジス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPH0898009A publication Critical patent/JPH0898009A/ja
Application granted granted Critical
Publication of JP3498928B2 publication Critical patent/JP3498928B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0458—Additional arrangements for improving or optimising scanning resolution or quality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Scanning Arrangements (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ファクシミリ通信
などの分野に関し、特に、高解像度画像を生成する画像
処理システムおよび画像処理装置並びに画像処理方法に
関する。
【０００２】
【従来の技術】静止画像を送信するのに用いられるファ
クシミリシステムには、送信機が備わっており、送信機
は、送信されるべき対象画像を受取る手段と、対象画像
(例えば、原稿上の画像，あるいは、ドラム上に形成さ
れた画像等)を照射し、該対象画像からの反射光を解析
することによって画像情報を抽出し、検出画像情報を電
気信号に変換して受信機に送信するためのスキャナとを
有している。また、受信機は、送信された電気信号を受
信して、電気信号に対応する画像を適当な記録用媒体に
記録する記録機構を有している。
【０００３】典型的には、対象画像を照射するのに拡散
光源が用いられ、光学システムの有効開口によって、ド
キュメント(原稿)を走査するのに用いられる要素領域(e
lemental area)が規定される。送信機と受信機との間の
整合性を保証するため、国際的な規格が存在する。ファ
クシミリ電気信号は、要素領域の行および列のラスタ，
すなわち矩形格子を表わしており、このファクシミリ電
気信号，すなわち要素領域の行および列のラスタから、
対象画像を近似的に再構成することができる。
【０００４】スキャナには、直線状(rectilinear)スキ
ャナとアレイスキャナとの２つの基本的なタイプのもの
がある。直線状スキャナは、単一の光電セルを用い、対
象画像からの拡散反射光を連続的なアナログ信号として
検出するため、この光電セルを所定方向(列方向)に沿っ
て掃引するようにしている。また、アレイスキャナは、
光電セル(フォトダイオードあるいはＣＣＤ)の行からな
っており、各光電セルは、行方向における各要素領域ご
とにそれぞれ設けられている。
【０００５】走査方法は、機械的あるいは電気的になさ
れる。機械的なスキャナ(走査デバイス)の代表的なもの
には、回転ドラム式のもの、あるいは、ポリゴンミラー
やロッキング球面ミラーを用いるミラー式のものがあ
る。
【０００６】ドラム式のスキャナは、図１に示すよう
に、一定の角速度で回転するドラムに対象画像を形成す
るものであり、走査光学系は、ドラムの回転軸と平行な
方向に沿って、ドラムの１回転ごとに１画素分移動しな
がら、対象画像を横切り、かくして、一連のラスタ走査
(ラスタスキャン)として電気的画像が生成される。
【０００７】また、ポリゴンミラー式のスキャナは、図
２に示すように、照射光が対象画像の一方向を走査する
ように多面ミラーを回転することによって、２次元の対
象画像を走査するようになっている。また、ロッキング
ミラー式のスキャナは、鋸歯状波電流によって駆動され
るd'Arsonvalガルバノメータの移動を用いて、対象画像
を走査するようになっている。このかわりに、機械的な
カムを回転させて、球面ミラーを走査移動させるように
しても良い。走査とは直交する方向において、ミラーと
対象画像との間の相対的な移動によって、ラスタ全体を
作成することが可能となる。
【０００８】電気的なスキャナの代表的なものには、ビ
ジコン，光電アレイに基づくものがある。ビジコンは、
拡散光によって対象画像を照射するとき対象画像からテ
レビジョン形式のラスタを生成する。より一般的に、光
電アレイは、図３に示すように、対物レンズを使用し
て、シリコンセンサのリニアアレイ上に画像を形成す
る。例えば、デジタルファクシミリについてのＣＣＩＴ
Ｔグループ３の国際標準規格は、８．５インチ幅の対象
画像を撮像するのに、行方向に１．０２インチ幅で、
１，７２８個のセンサ用いることが規定されている。一
方、アナログファクシミリについてのＣＣＩＴＴグルー
プ２の国際標準規格は、１回の掃引当り、１，５３６個
のピクセル(画素)を生成するために、５１２個の光電セ
ンサのアレイを３組用いることが規定されている。な
お、１個のピクセルは、１つのスキャンの１つの要素領
域のグレースケールを表わす値である。１，７２８個の
シリコンフォトダイオードのリニアアレイは、各々のフ
ォトダイオードが２７５μインチ×６３０μインチの開
口を有している。
【０００９】スキャン(走査)によって得られるラスタ電
気信号は、オリジナルな画像を表わしているが、ラスタ
電気信号には、スキャン(走査)に伴なう誤差が含まれて
いる。これらの誤差には、光学収差，垂直および水平方
向の走査変動によって生じる走査トラッキング誤差，電
気的ノイズなどがある。これらの誤差は、通信チャンネ
ルによるノイズやファクシミリ受信側に固有の画像再構
成誤差とともに、画像品質および解像度を劣化させる。
【００１０】従って、完全な通信チャンネルおよび受信
機が用いられるとしても、１回のラスタスキャンによっ
て得られる画像の品質などは、送信側での誤差によって
影響されてしまう。
【００１１】ファクシミリシステムについてのより詳細
な説明は、例えば著者 Donald G. Finkによる文献「"El
ectronics Engineer's Handbook" 第２版， McGraw-Hi
ll Book C., 1975年 pp.20-87〜20-107」に記載されて
いる。
【００１２】
【発明が解決しようとする課題】上述のように、ファク
シミリ対象画像に対し１回のラスタスキャンによって得
られる画像の品質は、光情報(visual information)を電
気信号に変換するスキャン(走査)の過程によって制限さ
れることがわかる。
【００１３】従って、本発明は、１回のラスタスキャン
によって得られる画像に比べてより高解像度の画像を得
ることの可能な画像処理システムおよび画像処理装置並
びに画像処理方法を提供することを目的としている。
【００１４】
【課題を解決するための手段】上記目的を達成するため
に、請求項１乃至請求項３３記載の発明では、基本的に
は、オリジナルな低解像度のラスタスキャン画像のセッ
トから高解像度画像を形成する場合、 (ａ) ２次元の既知の値のセットによって表現されたポ
イント広がり関数ＰＳＦをもち、オリジナル画像をラス
タスキャンし、オリジナル画像のラスタスキャンごとに
１つの信号を出力信号として生成するようになってお
り、さらに、高解像度のラスタスキャン画像を再構成す
るためにオリジナル画像の各ラスタスキャンに適切な変
化を与えるためのトラッキング誤差を導入する手段が設
けられているスキャナと、 (ｂ) スキャナからの出力信号を所定間隔でサンプリン
グし量子化して、スキャナからの出力信号ごとに１つの
ピクセル値セットを生成するコンバータ手段と、 (ｃ) コンバータ手段によって生成された複数のピクセ
ル値セットを蓄積するための記憶手段と、 (ｄ) 記憶手段に蓄積されたピクセル値セットを読出し
て、高解像度処理を行なって、前記記憶手段に蓄積する
処理手段とを有し、該処理手段は、 ｉ) 記憶手段から複数のピクセル値セットのうちの１
つをプロトタイプスキャンとして選択し、 ii) 選択したプロトタイプスキャンのピクセル値に補
間処理を施して、より高密度のピクセル値をミクセルと
してもつ高解像度プロトタイプスキャンを生成し、 iii) プロトタイプスキャン以外の残りのピクセルスキ
ャンの中から１つのピクセルスキャンを１つの残りのピ
クセルスキャンとして選択し、上記ii)において生成さ
れた高解像度プロトタイプスキャンを、残りのピクセル
スキャンの中から上記のように選択した１つの残りのピ
クセルスキャンと整列させ、 iV) 選択された１つの残りのピクセルスキャンの選択
されたピクセルと高解像度プロトタイプスキャンのミク
セル値からスキャナ手段の既知のＰＳＦを用いて計算さ
れたピクセル値との間の差を表わす誤差コスト関数を最
小化することによって、整列された高解像度プロトタイ
プスキャンを調整して、更新されたプロトタイプスキャ
ンを生成し、 V) 高解像度プロトタイプスキャンを整列させる上記ii
i)の処理と、整列されたプロトタイプスキャンを調整す
る上記iV)の処理とを、未だ選択されていない残りのス
キャンの各々について、高解像度プロトタイプスキャン
としての更新されたプロトタイプスキャンを用いて、繰
り返し行ない、残りのスキャンの全てについて処理がな
された後に、更新されたプロトタイプスキャンがオリジ
ナル画像の最終的な高解像度ラスタスキャン画像となる
ようにしているので、極めて良好な高解像度画像を得る
ことができる。
【００１５】なお、整列された高解像度プロトタイプス
キャンのミクセル値の調整には、請求項５に記載のよう
に、グラディエント降下法(ＧＤ法)を用いることもでき
るし、あるいは、請求項１０に記載のように、ＭＣ法を
用いることもでき、ＭＣ法を用いる場合には、反復処理
を加速させ、有効解像度をより高めることができる。
【００１６】また、請求項３４乃至請求項３９記載の発
明では、請求項１乃至請求項３３と同様の処理方法によ
って、文字画像の再構成を極めて良好に行なうことがで
きる。
【００１７】
【発明の実施の形態】１ページ上の対象画像（例えば原
稿画像)のスキャン(走査)は、該画像からの反射光強度
を十分なサンプリング密度でサンプリングすることによ
ってなされ、これにより、サンプリングされた反射光強
度から再構成される画像をオリジナルな画像を良く表わ
したものにすることができる。再構成画像の品質は、サ
ンプリング点(ピクセル(画素))の大きさおよび密度，並
びに、光学系，光電センサの品質による。通常、オリジ
ナル画像の再構成には、１回のスキャンによる画像が用
いられるが、１回のスキャンによる画像には、スキャン
処理，再構成処理の全ての欠陥が含まれている。
【００１８】走査系が、スキャンごとに異なる誤差をラ
スタスキャン画像にもたらす場合、サンプリングされた
ピクセル(画素)は、対象画像の同じ箇所について、その
都度異なるものとなる。しかしながら、より重要なの
は、同じ対象画像についてのこれらの“異なる側面から
の画像”には、オリジナル画像の詳細がさらに含まれて
いることである。同じ対象画像についてのこれらの画像
間の差異は、主に、光電センサの位置決め誤差や、セン
サ，光源の変動によるものである。センサ，光源の変動
による誤差は、走査された画像データセットの位置合わ
せが適切なものであるならば、これらの平均をとること
によって、著しく低減させることができる。従って、平
均化は、僅かな位置決め誤差、あるいは、個々のラスタ
スキャン画像を互いに整列させる手段を意味している。
【００１９】特に、異なるスキャン(走査)ごとにセンサ
の相対的位置決めの変動によって生ずる位置合わせ誤差
は、オリジナル画像についての付加的な情報を与えるこ
とができる。複数回のスキャン(走査)に含まれる情報を
組み合せることは、逆問題を解く上で必要となる。すな
わち、複数回のスキャン画像の組と、スキャン(走査)処
理についての何らかの知識とが与えられたときに、最も
らしいオリジナル画像を見出すという問題を解く上で必
要となる。
【００２０】この逆問題は、オリジナル画像の強度とサ
ンプリング走査されたピクセル(画素)の強度との間の、
パラメータを含む確率関係のセットを定めることによっ
て、解かれる。すなわち、パラメータとサンプリングさ
れたピクセル強度とについて最もらしい値を探索するこ
とによって解かれる。
【００２１】以下の説明では、スキャンラスタは、画像
を直線方向にサンプリングしたものを表わすものである
とする。すなわち、水平方向(行方向(ｘ方向))および垂
直方向(列方向(ｙ方向))の両方向にサンプリングしたも
のを表わすものであるとする。なお、ＣＣＤリニアアレ
イや２次元アレイのような近年の光電センサアレイで
は、行方向に沿ったサンプリングを行なうことができ
る。行方向に沿った連続アナログラスタスキャンでは、
標準的なＡ／Ｄ変換器によってサンプリングがなされ、
２次元的にサンプリングされたラスタを生成することが
できる。
【００２２】また、以下の説明では、走査機構は、連続
的なラスタスキャンにおいて、２つのタイプの相対位置
誤差を発生させるとする。すなわち、ラスタの全体的な
位置に影響を与える“静的な”変位誤差と、スキャン画
像を得るときに予定されている局所(ピクセル)位置を変
動させる“動的な”誤差との２つのタイプの相対位置誤
差が発生するとする。ピクセル位置誤差は、予定されて
いる位置の±１／２ピクセル（すなわち、±１／２要素
領域）内にあるとする。さらに、動的なピクセル位置誤
差は、ラスタごとに異なるとする。
【００２３】図４には、局所的位置誤差の一般的な２つ
のタイプのものが示されている。すなわち、図４(ａ)は
理想的に位置決めされた要素領域の列を示す図であり、
図４(ｂ)は水平方向の位置誤差すなわちジッター誤差を
示す図であり、図４(ｃ)はジッター誤差とコギング(cog
ging)誤差すなわち垂直方向の位置誤差との組合せを示
す図である。いずれの場合にも、要素領域に対応するピ
クセル(画素)位置は、対応する要素領域の幾何学的中心
にあるとする。
【００２４】要素領域の大きさは、基本的には、光電セ
ンサ上に焦点の合わされた画像を形成するのに用いられ
る対物レンズ系の有限な開口によって、制限される。要
素領域(アレイディスク)の最小径は、レンズの直径に反
比例する。色収差のような他の光学的欠陥によって、要
素領域の有効な最小径はさらに増加する。この結果、実
用的なレンズ系では、対象画像の解像度は、１つのポイ
ントとともにその周りの領域も同時に撮像したものとな
ってしまう。中央の光強度は、中央の領域で最も損失が
少なく(最大のゲインとなり)、中央から離れるに従って
損失が増加するというように、集光される。このゲイン
重み関数は、光学的なポイント広がり関数(ＰＳＦ)とし
て知られている。図５はポイント位置を通る中心軸線か
らの半径方向の距離の関数としてのＰＳＦの代表的なゲ
イン特性を示す図である。この結果、光学系の出力側で
記録される強度は、ＰＳＦによる強度の重み付け平均と
なっている。従って、強度の低いポイントに近接する強
度の高いポイントは、ＰＳＦに従って、高い強度から低
い強度にならされる。光学的に検出される画像は、オリ
ジナル画像とＰＳＦとの２次元のコンボルーション(畳
み込み)である。
【００２５】図６は水平方向のジッター位置誤差がスキ
ャンごとに発生するときに(コギング誤差はないとす
る)、対象画像の所定領域をどの程度繰り返し走査(スキ
ャン)すれば解像度を向上させるかを示す図である。図
６(ａ)には、スキャン１，２，３にそれぞれ属するサン
プリング位置が、スキャン番号(１，２，３)に対応する
番号をもつＰＳＦの円によって示されている。図６(ａ)
において、画像の中央領域は、低強度領域Ａを有してお
り、低強度領域Ａの両側および上側には、高強度領域Ｂ
がある。
【００２６】行方向において、３つの連続スキャン１，
２，３により得られた各サンプルの強度をそれぞれ平均
化し、平均化した各サンプルの強度をこれらの基準位置
へ割り当てると、低強度の基準位置に割り当てられたデ
ータは、図６(ｂ)に示すように、低強度の広い領域を表
わすものとして解釈される。
【００２７】しかしながら、ジッターによる水平方向の
変位量(シフト)が知られているならば、上記のようにし
て割り当てられるデータを、画像の実際の行方向の強度
により近い、より狭く、かつより良好に定められた低強
度の領域を表わすものとして解釈することができる。
【００２８】また、コギング誤差が存在する場合、各ピ
クセル(画素)ごとのコギング誤差が知られているなら
ば、基準となる行方向に沿ったサンプルの垂直方向のば
らつきは、垂直方向における画像についての情報をさら
に与えることができる。
【００２９】上述した簡単な例示は、スキャナの有効解
像度を高めるために、ラスタスキャンを重ね合わせるに
先立ってなされるべき処理が、適切な位置合わせ(位置
決め；registration)であることを示している。
【００３０】ラスタスキャンの重ね合わせを行なうため
の自動手順には、以下の５つの基本処理工程が含まれ
る。すなわち、(１) Ｋ(行)×Ｌ(列)をもつラスタスキ
ャンのＮ回の組(各々を０，１，２，…，Ｑ−１で番号
付けする)を集める処理と、(２) Ｎ回のラスタスキャ
ンのうちから、プロトタイプ(標準)となる１つのラスタ
スキャンを、(Ｎ−１)個の他のラスタスキャンを整列さ
せる目的のために、選択する処理と、(３) スキャナの
適切な全てのパラメータ情報を用いて、オリジナルな行
のサンプリング点の間にｑ個の新たなサンプリング点を
生成し、オリジナルなＫ個の行の各々についてｐ個の新
たな行を生成するというように、オリジナルなＫ×Ｌサ
ンプルのプロトタイプのラスタスキャンを２次元補間す
ることによってＫ×Ｌ個の“pixels”(ピクセル；画素)
をもつオリジナルなプロトタイプから“mixels”(ミク
セル)と呼ばれるＫ(ｐ＋１)(ｑ＋１)個の補間要素をも
つ高解像度のプロトタイプのラスタスキャンを生成する
処理と、(５) 高解像度のプロトタイプのラスタスキャ
ン上に他の(残りの)ラスタスキャンをそれぞれ整列させ
て選択的に重ね合わせ、スキャナＰＳＦで畳み込み演算
された更新プロトタイプのラスタスキャンと上記選択さ
れた整列ラスタスキャンとの間の誤差に基づくコスト関
数を最小にするように、各ミクセル値を調整することに
よって、更新プロトタイプのラスタスキャンを形成する
処理とを有している。
【００３１】上述の手順によって、“コギング”ラスタ
スキャン，“ジッター”ラスタスキャンの全てを解像度
を高めるのに寄与させて、Ｋ(ｐ＋１)(ｑ＋１)個のミク
セルの更新プロトタイプラスタを形成することができ
る。
【００３２】実際には、上記手順(５)の結果を新たなプ
ロトタイプとして用い、残りのＮ−１個のラスタスキャ
ンについて新たなオフセット整列値を計算し、上記手順
(２)〜(５)を繰り返し行なうのが良い。第１回目の処理
(手順(２)〜(５)のパス)によりプロトタイプの解像度が
増加することによって、次の処理(次の手順(２)〜(５)
のパス)における整列処理がより良好なものとなり、解
像度をさらに高めることが可能となる。しかしながら、
実験の結果、上記手順(２)〜(５)のパスを２回あるいは
３回繰り返した後は、画像解像度は最早増加しない(飽
和する)ことがわかった。
【００３３】図７には、プロトタイプラスタに補間処理
を施した結果が示されている。図７において、各ピクセ
ル(画素)位置は、斜線円によって示されている。簡単の
ため、ＰＳＦ平均化領域，すなわち、(ｘ，ｙ)のところ
に中心があるとしたときに光学的なポイントスプレッド
関数(ＰＳＦ)によってカバーされる領域は、その輪郭が
破線によって示されている領域であるとする。各オリジ
ナルピクセルＰxyについて、ピクセルＰxyとその近傍ピ
クセル(Ｐx-1,y-1,Ｐx,y-1，Ｐx+1,y-1，Ｐx-1,y，Ｐ
x+1,y，Ｐx-1,y+1，Ｐx,y+1，Ｐx+1,y+1）との間に、２
つの新たな値を補間(間挿)するというように、一定の間
隔を隔てた新たなサンプル値を導入する場合、補間され
たミクセル格子は、元の“解像度”要素の３2＝９倍の
要素をもち、従って、オリジナルピクセルの各々から
は、(９−１)＝８個の新たなポイント(要素)が生成され
る。
【００３４】最も単純な補間方式としては、図７の破線
輪郭の領域内に含まれている新たなミクセルのうち、ピ
クセルＰxyに最も近いミクセルにピクセルＰxyの値を割
り当てる方式が考えられる。この補間処理は、オリジナ
ルなピクセルラスタスキャンを、図８(ａ)，(ｂ)に示す
一様に重み付けのなされた２次元演算子で畳み込み演算
することに対応する。なお、図８(ｂ)は図８(ａ)を平面
的に示したものであり、図８(ｂ)において、ドット(点)
がミクセル位置に対応し、各ドットに付された数字がミ
クセルの値である。ｘ方向あるいはｙ方向に、より多く
の補間値をカバーするように、この畳み込み演算子を拡
張することもできる。
【００３５】多くの場合、ＰＳＦの平均化領域は、隣接
ピクセル間の距離の半分の距離を越えて広がっており、
この結果、補間されたミクセル値は、１つ以上の隣接ピ
クセル値を含んでいる。図８(ｃ)には、図７の格子に対
して、最近接の隣接ピクセル間に直線補間ミクセル値を
生成する“リニア”補間用の２次元演算子が示されてい
る。
【００３６】さらに、ガウシアンで重み付けされた２次
元補間演算子や指数関数的に重み付けされた２次元補間
演算子のような他の補間関数を用いることもできるし、
あるいは、スキャナＰＳＦが既知である場合、スキャナ
ＰＳＦに対応するＰＳＦ補間演算子を用いることもでき
る。
【００３７】重要なことは、再構成処理の開始点とし
て、プロトタイプピクセル値を用い、さらには、高解像
度プロトタイプラスタスキャンを生成するのに必要な他
の情報を用いて、高解像度のプロトタイプ格子のミクセ
ル値を生成することである。
【００３８】プロトタイプのピクセルラスタスキャンに
ラスタスキャン補間を行なった後、この高解像度ミクセ
ル格子を用いて、プロトタイプに対し、ジッター誤差お
よびコギング誤差を有している他のラスタスキャンの各
々を整列させる。
【００３９】Ｐn(ｘ，ｙ）が(ｘ，ｙ)平面におけるｎ番
目のラスタスキャンのオリジナルな画像強度を表わすも
のであるとすると、(ｘ，ｙ)平面を一定の間隔でサンプ
リングするとき、サンプリングされたラスタスキャンの
画像強度は、次式のようになる。
【００４０】
【数１】
【００４１】ここで、ｘ0，ｙ0はピクセル間の間隔を表
わし、ｋ，ｌは画像平面の離散的な番号(０，１，２，
…)であり、δ(・)はクロネッカーデルタ関数(ｘ＝０の
ときにδ(ｘ)＝１，ｘ≠０のときにδ(ｘ)＝０)であ
る。
【００４２】プロトタイプとして、Ｐ0(ｋｘ0，ｌｙ0)
が選定されるとすると、補間処理によって、ｘ0／ｍ，
ｙ0／ｍの間隔をもつ細かな格子が形成され、高解像度
プロトタイプは、Ｐ0〔ｉ(ｘ0／ｍ)，j（ｙ0／ｍ)〕の
ように表現できる。
【００４３】絶対的な静的位置誤差は既知でないので、
各非プロトタイプスキャン(プロトタイプスキャンでは
ない他のスキャン)についてのこれらの位置誤差を、プ
ロトタイプスキャンがｎ番目のスキャンとの間の相対的
な静的(すなわち平均化された)位置の差Δｘn，Δｙnを
含むように、プロトタイプスキャンに反映させる。従っ
て、補間されたプロトタイプスキャンを、ｎ番目のラス
タスキャンに対してＰ0〔ｉ(ｘ0／ｍ)，j（ｙ0／ｍ)，
Δｘn，Δｙn〕のように表現することができる。
【００４４】かくして、各スキャンＰn(ｋｘ0，ｌｙ0)
について、Ｐ0〔ｉ(ｘ0／ｍ)，j（ｙ0／ｍ)，Δｘn，Δ
ｙn〕を用いてＰn(ｋｘ0，ｌｙ0)の適確な位置合わせを
行なうために、Δｘn，Δｙnが高解像度要素(ｘ0／
ｍ)，（ｙ0／ｍ)のミクセル(ｉ，ｊ)により表現される
ようΔｘn，Δｙnを決定する必要がある。
【００４５】相対的な位置合わせ(registration)を行な
うために、Ｐ0とＰnとの差を表わすコスト関数が用いら
れる。すなわち、コスト関数を最小にすることによって
相対的な位置合わせを行なうことができる。簡単なコス
ト関数は、次式のような２次誤差関数Ｅ2である。
【００４６】
【数２】
【００４７】ここで、＊は、畳み込み演算を表わし、
〈ＰＳＦ(ｉ，ｊ)〉は、ミクセル間隔(ｉ，ｊ)でサンプ
リングされたＰＳＦ関数であり、〈ＰＳＦ(ｉ，ｊ)〉が
Ｐ0と畳み込み演算されるとき、その演算結果は、ピク
セル値Ｐn(ｋ，ｌ)に対応するようにｍ×ｍ個のミクセ
ルを組み合わせた(コンバインさせた)ものとなる。
【００４８】Δｘn，Δｙnは、Ｅ2を最小にするΔｘn，
Δｙnの値を見出すことによって近似的に推定される。
【００４９】なお、これのかわりに、オフセット(Δ
ｘn，Δｙn)に関して、次式のように相互共分散(クロス
コバリエンス)を最大にすることによって、Δｘn，Δｙ
nをオフセットとして見出すこともできる。
【００５０】
【数３】
【００５１】いずれの場合にも、Δｘn，Δｙnの範囲
は、ピクセル間隔ｘ0，ｙ0よりも通常小さい。これによ
り、Δｘn，Δｙnのピクセル増加変位量の限られた範囲
だけを調べれば良い。
【００５２】さらに、詳細な情報がラスタスキャンの所
定の重要な領域にアプリオリに限られているならば、
ｋ，ｌの値に対する上述の計算を、ラスタスキャンの所
定の重要な領域内にあるｋ，ｌの値だけに制限すること
によって、計算量をさらに減少させることができる。
【００５３】ジッターおよびコギングトラッキング誤差
に加えて、回転トラッキング誤差も存在する可能性があ
る。回転トラッキング誤差は、スキャナの水平，垂直軸
線に対する画像平面内での相対的な角度変位によるもの
である。ラスタスキャン毎の動的な回転誤差は、ジッタ
ー誤差，コギング誤差に比べて、通常小さく、これらの
影響は、適当なコスト関数を最小にするプロトタイプに
対して各ラスタスキャンを整列させるための回転調整手
順を含ませることによって、低減(最小化)することがで
きる。
【００５４】前述のような簡単な２次コスト関数の場合
には、プロトタイプラスタスキャンに対するｎ番目のラ
スタスキャンの相対回転変位Δθnを含むように、関数
表現を次式のように変形することができる。
【００５５】
【数４】
【００５６】この場合、Ｅ2を最小にするオフセットΔ
ｘn，Δｙn，Δθnの値を見出すことによって、オフセ
ットΔｘn，Δｙn，Δθnの近似値を得ることができ
る。
【００５７】上述の例では、簡単な２次コスト関数を用
いたが、例えば、文献「“Quantitative Dissemblance
Measures”in“Digital Pattern Recognition”，編者
“Fu,K.S．”,Springer-Verlag，N.Y.，1976，pp．52〜
53」に示されているような種々の距離および重みの関数
を含むより一般的なコスト関数を用いることもできる。
【００５８】プロトタイプラスタスキャンをｎ番目のラ
スタスキャンに整列させるのに必要とされるオフセット
が得られると、ｎ番目のラスタスキャンからの詳細情報
をプロトタイプに組み込むことが可能である。これを行
なうために、所謂、統計モデルの逆問題を解くこと，す
なわち、所定のスキャナによってＮ個のラスタスキャン
の標本のセットを生成させうるのに最も可能性のある画
像を見出すことが必要である。この逆の確率は、ベイズ
(Bayes')ルールによって次式のように与えられる。
【００５９】
【数５】Ｐ(Ｉ｜Ｐn)＝Ｐ(Ｐn｜Ｉ)・Ｐ(Ｉ)／Ｐ(Ｐn)
【００６０】ここで、Ｐ(Ｉ｜Ｐn)は、ラスタスキャン
Ｐnが与えられたときにオリジナル画像Ｉが生起する確
率であり、Ｐ(Ｐn｜Ｉ)は、オリジナル画像Ｉが与えら
れたときにラスタスキャンＰnが生起する確率であり、
Ｐ(Ｉ)，Ｐ(Ｐn)は、収集されたデータセットとは独立
に得られた画像Ｉ，Ｐnの生起確率である。
【００６１】Ｐ(Ｉ)，Ｐ(Ｐn)は、データセット(ラスタ
スキャン)とは独立なものであることにより、これらの
値を、所定のデータセットに対して定数として扱うこと
ができる。従って、Ｐ(Ｐn｜Ｉ)を最大にすることによ
って、すなわち、生成される値Ｐnの確率を最大にする
強度値Ｉの画像を見出すことによって、Ｐ(Ｉ｜Ｐn)を
最大にすることができる。
【００６２】ｎ番目のラスタスキャンＰnは、オリジナ
ル画像Ｉにより、次式のように表わされる。
【００６３】
【数６】Ｐn(ｘ，ｙ)＝ＰＳＦ｛Ｉ，ｘ，ｙ，Δｘn，Δ
ｙn｝＋Ｇ(０，σ)
【００６４】ここで、ＰＳＦ(・)は、画像Ｉに作用する
Δｘn，Δｙnの誤差をもつスキャナのポイントスプレッ
ド関数であり、Ｇ(０，σ)は、平均が０，標準偏差がσ
のガウシアンノイズ関数である。ノイズ成分は、所定の
画像強度Ｉに対するスキャナ出力の変動を表わす。かく
して、ノイズ成分は、次式のように表わされる。
【００６５】
【数７】Ｇ(０，σ)＝ＰＳＦ｛Ｉ，ｘ，ｙ，Δｘn，Δ
ｙn｝−Ｐn(ｘ，ｙ)
【００６６】これにより、次式のガウシアン確率モデル
が与えられる。
【００６７】
【数８】
【００６８】数７の表現を用いる場合、探索される情報
としてのオリジナル画像強度Ｉの知識が必要となるとい
う問題がある。
【００６９】この問題を迂回する(避ける)ため、初期画
像にプロトタイプ画像を用い、次式のように、プロトタ
イプ画像Ｐ0(ｉ，ｊ)とラスタスキャン画像Ｐ(ｋ，ｌ)
との差を最小にすることによって、２次誤差(コスト)関
数を最小にするミクセル値のセットを見出すよう、反復
(iterative)サーチを行なう。
【００７０】
【数９】
【００７１】ここで、｛ｍij｝は、次式のように、Ｐ
(ｉ，ｊ)を生成するためにＰＳＦによって作用されたミ
クセル値の試行セットである。
【００７２】
【数１０】
【００７３】ここで、ｐｓｆi+r,j+sは、ｉ，ｊのとこ
ろにＰＳＦの中心値があるとしたときに、この中心ｉ，
ｊからｒ，ｓへだてたユニットのＰＳＦの値である。数
１０において、総和(summation)は、ＰＳＦの中心が
ｉ，ｊに位置決めされているとしたときに、このＰＳＦ
が取り囲む有効領域をカバーするｒ，ｓについて、とら
れる。また、上記ミクセル値ｍijには、位置合わせ変位
量(シフト量)Δｘn，Δｙnが内在している。
【００７４】特定のミクセルｍijによる誤差の最小化
は、局所的に調整されるので、１つのピクセルＰ(ｋ，
ｌ)についての局所誤差関数のミクセル値ｍijに関して
一次微分(勾配；グラディエント)／成分が、次式のよう
に求まる。
【００７５】
【数１１】
【００７６】この確率近似過程における安定性への考慮
から、ｍijの値に加えられる修正量は、グラディエント
とは反対の方向に全体のグラディエントのα／２のもの
であるべきである。これにより、修正量Δnｍijは次式
のようになる。
【００７７】
【数１２】Δnｍij＝−α(Ｐ(ｉ，ｊ)−Ｐn(ｋ，ｌ))ｐ
ｓｆi,j
【００７８】そして、ｍijの新たな値は、次式のように
なる。
【００７９】
【数１３】ｍi,j,n＝ｍi,j,n-1＋Δnｍij
【００８０】実験の結果、α＝０．００１のとき、安定
した推定がなされることがわかった。
【００８１】このように、プロトタイプのミクセル値ｍ
ij(ｍi,j,n)は、ＰＳＦによって変換されたプロトタイ
プのミクセル値｛ｍij｝間の差に基づくピクセル位置
(ｋ，ｌ)での誤差関数のｍijに対するグラディエントを
推定することによって更新され、推定に用いた上記ＰＳ
Ｆを有する特定のスキャナで走査したならば得られるで
あろう実際の画像の(ｎ−１)番目の更新された推定画像
を得る。
【００８２】かくして、高解像度のミクセルセットをも
つように補間された初期のプロトタイプ画像は、画像Ｐ
1(ｋ，ｌ)に整合するようにプロトタイプのオフセット
を調整することによって更新され、次いで、上述のグラ
ディエント技法を用いミクセル値を修正することによっ
て調整される。次の反復処理では、このように更新され
たプロトタイプと画像Ｐ2(ｋ，ｌ)とを用いる。このよ
うな処理を、サンプル画像の全てが用いられるまで繰り
返す。この結果、スキャナのＰＳＦとラスタトラッキン
グ(ジッター，コギング)誤差とによって劣化していたオ
リジナル画像を近似する高解像度画像が得られる。
【００８３】前述のように、初期のプロトタイプ画像と
しては、利用できる(アベイラブルな)データのセットを
処理し、補間処理を省略し、各ラスタスキャンごとに新
たなオフセット(Δｘn，Δｙn)を検出して、プロトタイ
プのミクセル値の新たなセットを計算した後に得られる
プロトタイプ画像を用いるのが良い。
【００８４】図９は複数回の画像スキャンを組合せて改
良された解像度の画像を得る上述した処理を示すフロー
チャートである。先ず、ステップ５００では、同じ画像
のＮ回のスキャンのセットが得られるとし、各スキャン
は、ｎ(０≦ｎ≦Ｎ−１)によって任意に順序付けがなさ
れるとし、また、ｎ，ｑは“０”に初期設定されるとす
る。ステップ５０２では、プロトタイプとして、画像Ｐ
n(例えば、ｎ＝０；Ｐ0）を選択し、ステップ５０４で
は、この画像Ｐn(≡Ｐ0)に対し、所望の解像度の補間処
理を行なう。ステップ５０６では、ｎを歩進し、ステッ
プ５０８ではＰ0をＰnと整列させる。整列処理を行なっ
た後、グラディエント要素およびプロトタイプのミクセ
ル修正量｛Δｍij｝を計算し、これをプロトタイプのミ
クセルのセット｛ｍij｝に加えて、ステップ５０４の補
間処理によって得られる解像度のオリジナル画像を近似
する更新プロトタイプを作成する。ステップ５１２で
は、Ｎ個のオリジナル画像スキャンの全てを処理してプ
ロトタイプを更新したか否かを判断する。ステップ５１
２においてＮ個のオリジナル画像スキャンの全てを処理
してプロトタイプを更新したと判断されると、ステップ
Ｓ５１４においてステップ５０６〜ステップ５１２の処
理の繰り返し回数をカウントするｑを歩進する。ステッ
プ５１６では、繰り返し回数ｑがＱとなったかを判断
し、Ｑに達していない場合は、ステップ５１８におい
て、ｎを“０”にリセットし、ステップ５０６に戻る。
ステップ５１６において、ｑがＱとなったときには、処
理を終了する。
【００８５】なお、ステップ５１８において、スキャン
画像(ｎ＝１〜(Ｎ−１))を再順序付けすることによって
画像スキャンのシーケンスを変更しても良く、この場合
には、画像がプロトタイプに影響を与える順序を変更す
ることによって繰り返し処理(ステップ５０６〜５１２)
の効果を高めることができる。
【００８６】上述の説明では、スキャナ機構に固有の誤
差によりスキャンごとに未知の大きな位置決め(整列)誤
差が生じることによって、静的および動的な整列誤差が
生じるとしたが、再構成画像セットの解像度を高めるた
めに、スキャナ機構に整列誤差を意図的に生じさせるこ
ともできる。
【００８７】例えば、静的および動的誤差のないスキャ
ナを考えると、誤差は、主に、ＰＳＦおよびシステムノ
イズ(例えば電気的ノイズ)によるだけのものとなる。こ
の場合には、ステップ５０８の整列処理以外は図９に示
された処理方法を用いて、スキャナＰＳＦの知識だけに
基づいて、すなわち、スキャナＰＳＦの適切な推定値を
用いることによってのみ、高解像度の画像の再構成を行
なうことができる。なお、図９の処理方法は、オリジナ
ル画像に作用するＰＳＦのデコンボルーション(deconvo
lution；分解)を行ない、オリジナル画像の“より鮮明
な”推定表現を得るものであるが、これのかわりに、間
接周波数ドメイン演算(indirect frequency domain ope
rations)のような良く知られたデコンボルーション技法
を用いて２次元デコンボルーションを行なうこともでき
る。しかしながら、画像の異なる側面を与えるスキャン
を用いることなく、ＰＳＦのデコンポジションだけによ
って高解像度の画像の再構成を行なうには限界がある。
【００８８】スキャン画像の解像度を高めるための実用
的なシステムでは、使用されるアルゴリズムの計算量が
重要なものとなる。問題が多元のものであることから、
グラディエント降下(ＧＤ)アプローチを反復して用いて
プロトタイプの各ミクセル値を調整することにより、大
きなマトリックスについて実用的ではない逆マトリック
スをとることを避けることができる。しかし、この方法
の欠点は、１回の反復当り、ｎ2 PSf・ｎx・ｎy・ｎSの
オーダの多数の演算を必要とすることである。ここで、
ｎPSfはミクセルユニット内のＰＳＦの幅あるいは高さ
であり、ｎxはｘ方向の１回のスキャン当りのピクセル
の個数であり、ｎyはｙ方向のピクセルユニットの個数
であり、ｎSはラスタスキャンの総数である。
【００８９】より有効な方法としては、ミクセルクラス
タリング(ＭＣ)法がある。ＭＣ法は、反復処理を加速さ
せ、ＧＤ法に対して有効解像度を高める方法を提供す
る。
【００９０】ＭＣ法は、ピクセルあるいはミクセルの直
線状アレイのサブセットであるゾーンのセット｛Ｚi｝
を生成することによって、反復解を加速させる。プロト
タイプのミクセル値の調整は、ミクセル寸法(dimention
s)のゾーンで逆マトリックスをとり、逆問題を直接解く
ことによってなされる。ゾーンの寸法は、代表的には、
ＰＳＦの寸法と同じオーダである。ゾーンについての反
復処理により、ゾーンによって共有(share)される共通
の(common)ミクセルの相互作用について調整し、画像を
等質的に高めることができる。
【００９１】ＭＣ法は、２次コスト関数Ｅ2を次式のよ
うに再定義することによって、最も良く説明できる。
【００９２】
【数１４】Ｅ2＝(Ｐ・ｘ−ｇ)T(Ｐ・ｘ−ｇ)
【００９３】ここで、ｘはプロトタイプ画像のミクセル
の個数(Ｘ・Ｙ)に等しい長さの列ベクトルである。すな
わち、ｘは次式によって与えられる。
【００９４】
【数１５】 ｘ＝(ｍ0…ｍX-1ｍX…ｍ2X-1…ｍ(Y-1)X-1…ｍXY-1)T
【００９５】なお、数１５において、Ｘは水平方向のミ
クセル要素の総数であり、Ｙは垂直方向のミクセル要素
の総数である。また、ｍpX+qは、オリジナルなプロトタ
イプの座標系のミクセル値ｍpqに対応している。
【００９６】また、数１４において、ｇは、オリジナル
なラスタスキャンにおけるピクセル要素の総数Ｎp≡Ｎ
(ｐ)＝Ｘp・Ｙp≡Ｘ(p)・Ｙ(p)に等しい長さをもつピク
セル値の列ベクトルである。すなわち、ｇは次式によっ
て与えられる。
【００９７】
【数１６】ｇ＝(ｇ0ｇ1…ｇk…ｇN(p)-1)T
【００９８】数１６において、ｇiX(p)+j＝ｇijは、オ
リジナルなピクセルの座標系での座標(ｉ，ｊ)における
ピクセル値である。
【００９９】また、数１４において、Ｔは、転置演算子
であり、Ｐは次式で与えられる。
【０１００】
【数１７】Ｐ＝(Ｐ0，Ｐ1，…，Ｐk，…，ＰN(p)-1)T
【０１０１】数１７において、Ｐkは、Ｐのｋ番目の行
を表わし、次式で与えられる。
【０１０２】
【数１８】Ｐk・ｘ＝ｇk ｘT・ＰT・Ｐ・ｘ＝ｇTｇ＝∫Ω(ｐｓｆ＊Ｉ)2ｄΩ
【０１０３】数１８において、ｐｓｆ＊Ｉは、オリジナ
ル画像Ｉのｐｓｆとの畳み込み(コンボルーション)を表
わしており、また、Ωは画像平面を表わしている。
【０１０４】かくして、マトリックスＰは、行ベクトル
｛Ｐk｝を有し、行ベクトル｛Ｐk｝は、ピクセル値ｇ
iX(p)+j＝ｇij；ｋ＝ｉＸp＋ｊに対応する座標(ｉ，ｊ)
に中心をもつＰＳＦによって張られた領域に対応した矩
形領域をカバーするＰＳＦ重みのセットを表わしてい
る。この結果、各行ベクトルＰkは、ほぼ“０”の要素
をもつ。
【０１０５】隣接するピクセル要素をグループ化し、す
なわちクラスタリングし、次式の関係を満たすゾーンを
定める。
【０１０６】
【数１９】 〈Ｐ〉・〈ｘi〉＝〈ｇi〉 ｉ＝１，２，…，ｎP
【０１０７】ここで、〈Ｐ〉は、ゾーンＺiに属するピ
クセルおよびミクセルに対応するマトリックスＰの行ベ
クトルである。また、ｇiは、ゾーンＺiの行ベクトルに
対応するｇの列ベクトル要素である。また、〈ｘ〉は、
ゾーン内のミクセルに対応するｘのサブセットである。
図１０は水平方向，垂直方向にそれぞれＸ個，Ｙ個のミ
クセル要素をもつｎ番目のラスタスキャン５００を示す
図である。ここで、ミクセルクラスタ５１０は、ピクセ
ルｇijのところに中心があり、ＳPSF個のミクセル要素
分の幅および高さを有している。
【０１０８】ゾーンＺiのミクセル値〈ｘi〉について、
２次コスト関数Ｅ2を最小にするＭＣ解は、ゾーンＺiに
ついて次式の反復(iterative)関係によって与えられ
る。
【０１０９】
【数２０】〈ｘi(ｍ＋１)〉＝〈ｘi(ｍ)〉＋〈Ｐ〉T・
(〈Ｐ〉・〈Ｐ〉T)-1・(〈ｇi〉−〈Ｐ〉・〈ｘ
i(ｍ)〉)
【０１１０】ここで、〈ｘi(ｍ)〉は、ｍ回目の反復近
似値であり、〈ｘi(０)〉は、ミクセル値の初期セット
である。
【０１１１】〈ｘi〉についての上述の式では、各ゾー
ンについて、マトリックス｛〈Ｐi〉・〈Ｐi〉T｝の逆
行列を１回求める必要がある。マトリックス｛〈Ｐi〉
・〈Ｐi〉T｝におけるマトリックス要素数は、１からｎ
pまでの間で可変である。なお、これらの極限要素値
は、ゾーンとしてのＰマトリックス全体の逆行列をとり
(実用的ではない)、単一ピクセルに対応するミクセルの
ゾーンの逆行列をとる(非常に遅い)とした場合に対応し
ている。一般に、演算数は、これらの極限要素数値
“１”，“ｎP”間の値について最小となる。すなわ
ち、ゾーンマトリックスサイズを増加したときにゾーン
のマトリックスサイズにより単調増加する演算数とミク
セル更新数により単調減少する演算数とによって決まる
最小値に対応する値について、最小となる。マトリック
ス〈Ｐ〉T(〈Ｐ〉・〈Ｐ〉T)-1は、１回だけ計算され、
あるゾーンのミクセル値を求めるために保存(記憶)され
る。
【０１１２】反復手順では、各クラスタに“ラウンドロ
ビン方式(丸め処理)”を適用する。ラウンドロビン方式
では、ＰＳＦすなわちトラッキング誤差広がりによるゾ
ーン間のオーバーラップ領域を、オーバーラップしてい
るミクセル要素に影響を与えるオーバーラップしている
ゾーンごとに調整する。この処理は、図９において、ス
テップ５１０の処理が、〈ｘi(ｍ)〉についての式(数１
９)によってなされ、この処理をステップ５１２に進む
前に、全てのゾーン｛Ｚi｝について繰り返し行なう以
外は、基本的に、図９に示す処理手順によってなされ
る。
【０１１３】ＭＣアルゴリズムに含まれる演算数は、マ
トリックスの逆行列をとるための演算数(ｎcｎs)3と、
１回の反復(iteration)当りの演算数(ｎSｎxｎy／ｎc、
ゾーンのｘ方向のオーバーラップしていない幅とΔｘの
範囲との和、および、ゾーンの高さ方向のオーバーラッ
プしている範囲とΔｙの範囲との和)に比例)との和とな
る。
【０１１４】Ｘ方向およびＹ方向の両方に、別々に、あ
るいは、一緒に、静的な位置合わせ誤差を意図的に含ま
せることによって、付加的な解像度情報を得ることがで
きる。例えば、各ラスタスキャンごとに異なる水平方向
(Ｘ方向)オフセット(ΔＸシフト量)を含ませることによ
って、スキャンのサブセットを生成し、各ラスタスキャ
ンごとに別個の(異なる)オフセット(ΔＹシフト量)を含
ませることによって、スキャンの他のサブセットを生成
することができる。また、ラスタスキャンごとに既知の
異なる静的Ｘオフセット，静的Ｙオフセットを含ませる
こともできる。
【０１１５】各ラスタスキャンと関連したオフセットは
既知であるので、図９の再構成法においてΔＸn，ΔＹn
の初期値は既知であり、従って、ΔＸnおよび／または
ΔＹnの初期値をステップ５０８の整列処理で用いるこ
とができる。仮に、残存する整列誤差が十分に小さいな
らば、整列については反復(iterative)手順を省略で
き、補間されたプロトタイプラスタスキャンに対する既
知の変位を取り除く決定論的な整列手順を行なうだけ
で、高解像度画像を得ることもできるが、未知のオフセ
ット誤差について修正するため、反復手順を行なうこと
もできる。
【０１１６】変形例として、行ごとに、あるいは、列ご
とに、あるいは、ピクセルごとに、動的ランダム変位
(動的ランダムシフト)すなわち擬ランダム変位(擬ラン
ダムシフト)を導入することもできる。動的ランダム変
位を導入する場合には、導入した動的な変位を格納する
のに必要とされるデータ量が増加するとともに、スキャ
ナ駆動システムにおける動的な変化の重ね合せを必要と
するので、処理が複雑となるが、この情報を格納した
後、ステップ５０８においてこれを用いてΔｘn，Δｙn
のオフセット値を得ることができる。
【０１１７】図１１(ａ)，(ｂ)は図１に示すようなスキ
ャナ駆動システムの内部変位を説明するための図であ
る。図１１(ａ)において、シャフト４０３は、走査され
るべき画像が形成されるドラム用の駆動シャフトであ
る。シャフト４０３には、かさ歯車４０５が取り付けら
れ、かさ歯車４０５は、シャフト４０３とともに角速度
ω2で回転する。また、歯車４０５には、かさ歯車４０
６が連結しており、かさ歯車４０６は、直角の回転変換
を行ない、角速度をω2からω4に減らしてシャフト(ト
ラバースベルト駆動シャフト)４０７に回転を与える。
ドラムシャフト４０３を駆動するのに必要なトルクは、
差動歯車４０４によって与えられる。ここで、差動歯車
４０４は、適当なモータによって角速度ω1で駆動さ
れ、また、他の駆動源によって入力シャフト４０２を介
し角速度ω2で駆動される。差動歯車４０４における角
速度間の関係は良く知られており、次式で与えられる。
【０１１８】
【数２１】ω2＝ω1−ω3／γ
【０１１９】ここで、γは、ω2＝０のときのω3に対す
るω1の内部ギア比率、あるいは、ω1＝０のときのω3
に対するω2の内部ギア比率である。
【０１２０】ω3＝０ならば、ω1＝ω2であり、シャフ
ト４０３は、シャフト４０１と同じ角速度で駆動され
る。しかしながら、角速度ω3がシャフト４０２に加わ
る場合、ドラムシャフト４０３の角速度ω2は、Ｘ方向
のジッターを生じさせる上述の関係に従って、変動す
る。トラバースベルト駆動シャフト４０７は、歯車４０
５，４０６を介してシャフト４０３に連結しているの
で、シャフト４０３のＸ方向の変動に伴ないシャフト４
０７は、Ｙ方向に変動し、これによってコギングが生ず
る。また、シャフト４０２への角速度の履歴(memory)印
加によって静的な変位が生ずるが、この静的な変位は、
角速度の瞬時変動を時間的に積分したものである。
【０１２１】また、図１１(ｂ)に示すように、別個の差
動歯車機構４０４，４０９を用いてＸ方向およびＹ方向
にそれぞれ独立した変動を生じさせ、ドラムシャフトお
よびトラバースベルト駆動シャフトに角速度の変動を加
えることもできる。シャフト４０１は、角速度ω1で駆
動されるメインの駆動シャフトである。また、差動歯車
機構４０４は、シャフト４０１およびシャフト４０２に
よって駆動され、出力シャフト４０３に角速度変動ω3
を与えて、出力シャフト４０３をω2＝ω1−ω3／γの
角速度で回転させるものである。また、駆動シャフト４
０７は、かさ歯車４０５からかさ歯車４０６を介して角
速度ω4で駆動され、この角速度ω4の回転は、差動歯車
機構４０９の一方の入力端に加わる。差動歯車機構４０
９の他方の入力端には、角速度ω5で駆動されるシャフ
ト４１０が連結されており、これにより、出力側の駆動
シャフト４０８は、ω6＝ω4−ω5／γの角速度で回転
する。このような仕方で、Ｘ方向およびＹ方向の両方向
のトラッキングオフセット誤差を互いに独立に生じさせ
ることができる。
【０１２２】また、d'Arsonvalガルバノメータの移動に
よって制御される走査用ミラーにおけるオフセット電流
を用いてまた、ビデオカメラと対象画像との間での相対
的な移動変化により、走査機構に対し画像を移動させる
ことによって、静的変位(静的シフト)および動的変位
(動的シフト)を生じさせることもできる。同様に、画像
に対して走査機構を移動させる小型のステッピングモー
タによって、電気光学的な走査変動を生じさせることも
できる。例えば２つのステッピングモータを用い、これ
らのうち一方をＸ方向に移動させ、他方をＹ方向に移動
させて走査変動を生じさせたり、あるいは、１つのステ
ッピングモータだけを用い、これを対角方向に移動させ
て走査変動を生じさせることもできる。
【０１２３】上述のような走査変動技術に関し、用途に
応じて他の種々の変形を行なうことは、当業者にとって
明らかである。例えば、水平方向および垂直方向の偏向
コイルに適当な信号を印加することによって、イメージ
オルシコンカメラあるいはビデオカメラの走査電子ビー
ムを変動させることもできる。
【０１２４】上述の説明では、フルカラー画像ファクシ
ミリ，すなわちフルカラービデオ画像について述べてい
ないが、多色ラスタスキャン画像の解像度を高めるため
に、多色ラスタスキャン画像に上述したのと同じ原理を
適用する(上述の原理を多色ラスタスキャン画像用に拡
張する)ことは、当業者にとって明らかである。すなわ
ち、カラー再生は、フルカラー画像ごとに２個以上の
(代表的には３個の)ラスタスキャン画像を生成すること
を意味しており、フルカラーレンジを合成するため、色
(カラー)の各々について、１つの補色ラスタスキャン画
像が選択される。複数の補色ラスタスキャン画像を重ね
合せることによって、オリジナルなカラー画像について
のフルカラー近似画像が形成される。カラー画像を２つ
以上の補色ラスタスキャン画像に分けることは、光学フ
ィルタによって行なうことができ、この場合、単一の画
像スキャンを２つあるいは３つの補色ラスタスキャンに
同時に分けることができる。
【０１２５】光学色フィルタリングに先立ってスキャナ
にトラッキング誤差(ランダム誤差等)を生じさせる場
合、補色ラスタスキャンの各々には、同じトラッキング
誤差が含まれる。従って、他のスキャンとのプロトタイ
プの整列処理は、補色ラスタ画像の１つを比べて行なう
ことができる。しかる後、各フルカラー画像を表わす２
つあるいは３つのカラーラスタスキャンの全てについて
整列誤差を調整することができる。
【０１２６】色ごとに分けられた各カラー画像セットに
ついてトラッキング誤差の整列誤差を調整した後、各色
のピクセルカラー強度を、前述したモノクローム(白黒
画像)における方法に従って調整する。しかる後、プロ
トタイプについての２つあるいは３つの補色ラスタスキ
ャンを組合せる(合成する)ことによって、高解像度のフ
ルカラー画像が最終的に得られる。
【０１２７】このように、本発明は、基本的には、オリ
ジナルな低解像度のラスタスキャン画像のセットから高
解像度画像を形成する場合、 (ａ) ２次元の既知の値のセットによって表現されたポ
イント広がり関数ＰＳＦをもち、オリジナル画像をラス
タスキャンし、オリジナル画像のラスタスキャンごとに
１つの信号を出力信号として生成するようになってお
り、さらに、高解像度のラスタスキャン画像を再構成す
るためにオリジナル画像の各ラスタスキャンに適切な変
化を与えるためのトラッキング誤差を導入する手段が設
けられているスキャナと、 (ｂ) スキャナからの出力信号を所定間隔でサンプリン
グし量子化して、スキャナからの出力信号ごとに１つの
ピクセル値セットを生成するコンバータ手段と、 (ｃ) コンバータ手段によって生成された複数のピクセ
ル値セットを蓄積するための記憶手段と、 (ｄ) 記憶手段に蓄積されたピクセル値セットを読出し
て、高解像度処理を行なって、前記記憶手段に蓄積する
処理手段とを有し、該処理手段は、 ｉ) 記憶手段から複数のピクセル値セットのうちの１
つをプロトタイプスキャンとして選択し、 ii) 選択したプロトタイプスキャンのピクセル値に補
間処理を施して、より高密度のピクセル値をミクセルと
してもつ高解像度プロトタイプスキャンを生成し、 iii) プロトタイプスキャン以外の残りのピクセルスキ
ャンの中から１つのピクセルスキャンを１つの残りのピ
クセルスキャンとして選択し、上記ii)において生成さ
れた高解像度プロトタイプスキャンを、残りのピクセル
スキャンの中から上記のように選択した１つの残りのピ
クセルスキャンと整列させ、 iV) 選択された１つの残りのピクセルスキャンの選択
されたピクセルと高解像度プロトタイプスキャンのミク
セル値からスキャナ手段の既知のＰＳＦを用いて計算さ
れたピクセル値との間の差を表わす誤差コスト関数を最
小化することによって、整列された高解像度プロトタイ
プスキャンを調整して、更新されたプロトタイプスキャ
ンを生成し、 V) 高解像度プロトタイプスキャンを整列させる上記ii
i)の処理と、整列されたプロトタイプスキャンを調整す
る上記iV)の処理とを、未だ選択されていない残りのス
キャンの各々について、高解像度プロトタイプスキャン
としての更新されたプロトタイプスキャンを用いて、繰
り返し行ない、残りのスキャンの全てについて処理がな
された後に、更新されたプロトタイプスキャンがオリジ
ナル画像の最終的な高解像度ラスタスキャン画像となる
ようにしている。
【０１２８】ここで、トラッキング誤差は、既知の形式
のものであり、また、処理手段は、複数のピクセル値セ
ットの各々から既知の形式のトラッキング誤差を除去す
るための手段をさらに有している。
【０１２９】また、選択されたピクセルスキャンとの高
解像度プロトタイプスキャンの整列は、選択されたピク
セルスキャンとこれに対応する高解像度プロトタイプス
キャンのミクセル値との差を表わす距離関数を最小化す
ることによってなされる。ここで、距離関数は、２次形
式のものであるか、あるいは、距離関数は、選択された
ピクセルスキャンとこれに対応する高解像度プロトタイ
プスキャンのミクセル値との差の絶対値に基づいたもの
である。
【０１３０】また、選択されたピクセルスキャンとのプ
ロトタイプスキャンの整列は、２次元の相互共分散関数
を最大化することによっても行なうことができる。
【０１３１】また、整列された高解像度プロトタイプス
キャンのミクセル値の調整は、グラディエント降下アル
ゴリズムを反復して誤差コスト関数を最小化することに
よって行なうことができる。
【０１３２】あるいは、このグラディエント降下法(Ｇ
Ｄ法)のかわりに、ＭＣ法を用いることもできる。すな
わち、ＭＣ法では、整列されたプロトタイプスキャンの
ミクセル値の前記調整処理は、(aa) 矩形アレイ内に含
まれている隣接する(contiguous)プロトタイプミクセル
要素からオーバーラップクラスタゾーンを形成し、(bb)
オーバーラップクラスタゾーン内に含まれているプロ
トタイプスキャンミクセル値に対応する要素をもつミク
セルゾーンベクトルをオーバーラップクラスタゾーンの
各々と関連させて生成し、(cc) 各行が既知のＰＳＦ値
を表わす要素をもち、関連したミクセルゾーンベクトル
と乗算されるとき、該ミクセルゾーンベクトルと関連し
たオーバーラップクラスタゾーン内に含まれているピク
セル要素を表わすピクセル値のベクトルとなるゾーンマ
トリックスを生成し、(dd) プロトタイプスキャンのミ
クセル値を更新するために、ミクセルゾーンベクトルの
オーバーラップしている任意の要素を用いて各ミクセル
ゾーンベクトルについて順次に解くようにしている。
【０１３３】また、このような本発明の高解像度画像修
復処理は、ファクシミリのみならず、種々の分野に適用
することができる。例えば、所定文字の低い解像度の画
像からこの所定文字のより高解像度の画像を構成し、高
解像度のアルファベット文字を用いて、文字からなる全
体のページを再構成する文字再構成(character reconst
ruction)の分野にも適用できる。
【０１３４】文字再構成に用いられる基本的な方法は、
画像の再構成を１度に１つの文字に限るということ以外
は、前述した方法と同じである。例えば、関連した文字
からなる１枚のページを走査し、走査した全文字画像を
文字の種別ごとに分類し、文字標本セットに割り当て
る。この割り当て処理は、例えば、文献「Simard et a
l.,“Efficient Pattern Recognition Using a New Tra
nsformation Distance”,NIPS-5(Neural Information P
rocessing Systems 5),編者Hanson et al.,1993 pp.50
〜58」に示されているように、良く知られた多くの文字
認識技術のいずれかを用いて、視覚的にすなわち自動的
に行なうことができる。
【０１３５】ラスタスキャンの抽出された部分によって
表現された文字標本の各々を低い解像度のラスタスキャ
ンとして取り扱い、前述した技法と同じ技法を用いて、
すなわち、文字標本セットから１つのプロトタイプを選
択し、このプロトタイプに補間処理を施こし、プロトタ
イプを残りの標本の１つと整列させ、プロトタイプのミ
クセル強度を調整し、このような整列処理とミクセル強
度の調整処理とを残りの標本と繰り返し行なって、所定
文字の高解像度画像を生成する。
【０１３６】前述のように、整列処理とミクセル強度の
調整処理とは、所望の場合には繰り返し行なうことがで
きる。このような処理の結果、所定文字の高解像度画像
が得られる。必要とされる種類の文字の全てについて
(必要な限りのオリジナルページについて)再構成を行な
った後、再構成された画像セットを用いて、全ページを
出力(印刷)することができる。この再構成処理は、テキ
ストが、任意のフォント，任意のアルファベット，言語
記号，数学記号や他の記号の任意の組合せからなりうる
ので、文脈には依存しない。この処理で要求されるの
は、非常に良好な文字再構成を実現するために十分な標
本が必要となるということだけである。
【０１３７】すなわち、文字を含むドキュメントのラス
タスキャン画像から文字画像を再構成する処理は、基本
的に、(ａ) 既知のポイント広がり関数ＰＳＦをもつス
キャナを用いて、再構成されるべき文字を含む少なくと
も１つのドキュメントをラスタスキャンし、所定間隔で
サンプリングされ量子化されたピクセルラスタスキャン
を生成する工程と、(ｂ) 各ピクセルラスタスキャンを
蓄積する工程と、(ｃ) 少なくとも１つのピクセルラス
タスキャンから所定の文字画像の標本セットを選択する
工程と、(ｄ) 前記標本セットのうちの１つを所定の文
字画像のプロトタイプとして選択する工程と、(ｅ) 所
定の文字画像のプロトタイプのピクセル値に補間処理を
施して、より高密度のピクセル値をミクセルとしてもつ
高解像度プロトタイプを生成する工程と、(ｆ) プロト
タイプ以外の残りの標本セットの中から１つの標本を１
つの残りの標本として選択し、上記(ｅ)において生成さ
れた高解像度プロトタイプを、残りの標本セットの中か
ら上記のように選択した１つの残りの標本と整列させる
工程と、(ｇ) 高解像度プロトタイプのミクセル値から
既知のＰＳＦコンボルーション演算子として用いてピク
セル値を計算し、計算されたピクセル値を上記のように
選択した１つの残りの標本のピクセル値と比較すること
によって、整列された高解像度プロトタイプスキャンを
調整して、高解像度の更新された文字プロトタイプを生
成する工程と、（ｈ) 上記工程(ｃ)において選択され
た標本セットの各々について、工程(ｆ)，(ｇ)を繰り返
し行ない、（ｉ) 上記工程（ｃ)において選択された標
本の全てについて工程(ｆ)，(ｇ)がなされた後に、更新
されたプロトタイプの文字画像が再構成された所定の文
字画像となる。
【０１３８】かくして、画像の解像度を高めるのに用い
られるのと同じ装置および方法を、文字再構成の用途に
も用いることができる。
【０１３９】図１２は画像解像度を高める手段が内蔵さ
れているシステムのブロック図である。図１２を参照す
ると、このシステムは、入力画像を走査し、ラスタスキ
ャン画像のセットを生成し、出力するスキャナ３０１を
有しており、スキャナ３０１からの出力(ラスタスキャ
ン画像)は、Ａ／Ｄ変換器(ＡＤＣ)３０９に加わり、Ａ
ＤＣ３０９ではピクセルのサンプリングおよび量子化を
行なうようになっている。また、ＡＤＣ３０９からのエ
ンコードされたバイナリ出力は、必要ならば、バッファ
ストレージ３０２に蓄積された後、メイン画像メモリ３
０３に格納される。メイン画像メモリ３０３に格納され
たバイナリ出力は、出力バッファ３０５，ＣＰＵコント
ローラ３０７，演算プロセッサ３０４によってアクセス
可能となっている。演算プロセッサ３０４はＣＰＵ３０
７の制御下で、プロトタイプの選択，プロトタイプの補
間処理，画像の整列処理，ミクセルの調整処理，メモリ
３０３に結果を格納する処理を含む画像信号の処理，演
算を行なう。出力バッファ３０５は、演算プロセッサ３
０４によって処理され解像度が高められたラスタスキャ
ンを一時的に蓄積して、出力レコーダ３０６を駆動する
のに必要なバイナリコード信号とともにＤ／Ａ変換器３
１０に与える。出力レコーダ３０６では、改善された解
像度のラスタスキャン再構成画像を生成する。
【０１４０】ＣＰＵコントローラ３０７は、システム全
体の制御を行なう。ジッター／ゴギング制御ユニット
(オフセット制御ユニット)３０８は、既知のオフセット
“誤差”をスキャナ３０１のラスタスキャンに加えるた
め、スキャナ３０１に補助入力信号および制御信号を与
える。これと同じ情報は、ＣＰＵ３０７によって、演算
プロセッサ３０４に与えられる。この構成では、図１２
のシステムは、低解像度スキャナ３０１を用いて入力画
像の高解像度出力コピーを生成する内蔵複写ユニットで
ある。このシステム構成は、高解像度画像複写機とし
て、あるいは、文字最構成システムとして用いられるの
に適している。文字再構成システムとして用いる場合に
は、出力されるラスタスキャンは、再構成された文字に
基づくものであり、ＣＰＵ３０７の制御下で生成され
る。
【０１４１】しかしながら、画像走査機能と出力記録機
能とを通信接続で分離するように図１２のシステムを構
成することもできる。図１３にはスキャナ／送信ユニッ
ト３２０，画像プロセッサ／コントローラユニット３４
０，記録用受信機３３０が示されている。一例として、
スキャナ／送信ユニット３２０は、破線Ａ−Ａで示され
ているように、通信接続線３２１によりユニット３４
０，３３０から分離されている。オプションとしての制
御部３２５は、スキャナ／送信ユニット３２０で必要と
されるローカルな制御機能を与える。
【０１４２】他の例として、破線Ｂ−Ｂのところでシス
テムを区分することもでき、この場合には、画像プロセ
ッサ／コントローラユニット３４０はスキャナ／送信ユ
ニット３２０とともに、画像発生源として機能し、ロー
カル制御部(オプションとしての制御部)３３５と関連し
て動作するデコーダ／受信機３３０への通信経路は、デ
ータリンク３３１によって与えられる。
【０１４３】前記他の例の構成では、システムは、通信
リンク３３１により１つの高解像度画像を伝送するが、
前記一の例の構成では、複数の画像がデータリンク３２
１により伝送される。
【０１４４】図１４(ａ)乃至(ｄ)は、上述の方法によっ
て作成された高解像度画像の一例を示す図である。図１
４(ａ)には、６つのオリジナルスキャンが示されてお
り、また、図１４(ｂ)には、補間処理のなされたプロト
タイプが示され、図１４(ｃ)には、１回の反復処理を行
なった後のミクセル画像が示され、図１４(ｄ)には、反
復処理を繰り返し行なった後の高解像度画像が示されて
いる。
【０１４５】図１５(ａ)乃至(ｄ)は文字“ａ”の再構成
処理の一例を示す図である。図１５(ａ)には、同一の原
稿から収集された異なるスキャンごとの文字“ａ”の１
０×１０＝１００個の画像標本が示されている。また、
図１５(ｂ)には、補間処理がなされたプロトタイプが示
されている。また、図１５(ｃ)には、１回の反復処理を
行なった後の画像が示されている。また、図１５(ｄ)に
は、１００個の標本に２回の反復処理を行ない、閾値処
理を行なった後の文字“ａ”が示されている。なお、上
記閾値処理は、再構成された文字の低強度部分を抑えて
画像コントラストを高めるために行なった。
【０１４６】図１６には、４８０×４８０個の要素をも
つフレネルパターン画像が示されている。図１７は９１
×９１個のピクセルを用いて図１６の画像を走査した結
果を示す図である。
【０１４７】図１８(ａ)には、ＭＣ法を用いて再構成し
たパターンが示され、図１８(ｂ)には、グラディエント
降下法(ＧＤ法)を用いて再構成したパターンが示されて
いる。いずれの場合も、再構成は、２５個のラスタスキ
ャンを用いて４８０×４８０個のミクセルの広がり画像
についてなされている。なお、ＭＣ法では、３×３＝９
個のミクセルのクラスタを用いた。図１８(ａ)のＭＣ法
による画像は、図１８(ｂ)のＧＤ法による画像に比べて
明らかに優れた画像となっている。
【０１４８】このように、本発明では、同じ対象画像に
対する複数のラスタスキャンを用い、統計的な処理技法
を用いることによって、１つのラスタスキャンだけによ
って得られるものよりも高解像度の画像を例えばファク
シミリ受信機において再構成することができる。
【０１４９】また、本発明では、統計的な変動を与えて
複数のラスタスキャンを生成することによって、高解像
度の画像再構成を容易にし、例えば、既存のファクシミ
リスキャナの性能を向上させることができる。
【０１５０】また、本発明では、低解像度のスキャナ源
から高解像度の最終画像を高解像度の記録手段(レコー
ダ)により記録させることができる。
【０１５１】より具体的に、本発明は、例えばポイント
オブオリジン(point-of-origin)のイメージスキャナを
もつファクシミリ(送信側のファクシミリ)に適用可能で
あって、ポイントオブオリジンのイメージスキャナから
の出力信号(画像)に対して、上述したような高解像度変
換を行ない、この高解像度画像を受信側に送信すること
ができる。
【０１５２】また、本発明は、受信側のファクシミリに
も適用可能であって、この場合、送信側から低解像度画
像が送信されたとき、受信側のファクシミリは、低解像
度画像に対して、上述のような高解像度変換を行ない、
高解像度画像を記録させることができる。
【０１５３】また、本発明では、上述した複数のラスタ
スキャン技術をテレビジョンシステムにも、適用するこ
とができ、この場合、１つのラスタスキャンだけによっ
て得られるものよりも高解像度の画像をテレビジョン受
像機(ディスプレイ)に表示させることができる。
【０１５４】また、本発明では、上記特徴により、低コ
スト，低解像度のスキャナを、高解像度のファクシミリ
やテレビジョンシステムに用いることができ、この場合
にも、この低コスト，低解像度スキャナから高解像度の
画像を生成することができる。
【０１５５】また、本発明では、同じ文字に対して、上
述した複数のスキャンを用いることで、この文字のより
良好な画像を再構成することができる。
【０１５６】上述の説明では、本発明を特定の実施形態
に基づいて説明したが、本発明の技術思想を逸脱するこ
となく、上記実施形態に種々の変形，変更を加えること
も可能である。従って、本発明は、上述の実施形態に限
定されることなく解釈されるべきである。
【０１５７】
【発明の効果】以上に説明したように、請求項１乃至請
求項３３記載の発明によれば、基本的には、オリジナル
な低解像度のラスタスキャン画像のセットから高解像度
画像を形成する場合、 (ａ) ２次元の既知の値のセットによって表現されたポ
イント広がり関数ＰＳＦをもち、オリジナル画像をラス
タスキャンし、オリジナル画像のラスタスキャンごとに
１つの信号を出力信号として生成するようになってお
り、さらに、高解像度のラスタスキャン画像を再構成す
るためにオリジナル画像の各ラスタスキャンに適切な変
化を与えるためのトラッキング誤差を導入する手段が設
けられているスキャナと、 (ｂ) スキャナからの出力信号を所定間隔でサンプリン
グし量子化して、スキャナからの出力信号ごとに１つの
ピクセル値セットを生成するコンバータ手段と、 (ｃ) コンバータ手段によって生成された複数のピクセ
ル値セットを蓄積するための記憶手段と、 (ｄ) 記憶手段に蓄積されたピクセル値セットを読出し
て、高解像度処理を行なって、前記記憶手段に蓄積する
処理手段とを有し、該処理手段は、 ｉ) 記憶手段から複数のピクセル値セットのうちの１
つをプロトタイプスキャンとして選択し、 ii) 選択したプロトタイプスキャンのピクセル値に補
間処理を施して、より高密度のピクセル値をミクセルと
してもつ高解像度プロトタイプスキャンを生成し、 iii) プロトタイプスキャン以外の残りのピクセルスキ
ャンの中から１つのピクセルスキャンを１つの残りのピ
クセルスキャンとして選択し、上記ii)において生成さ
れた高解像度プロトタイプスキャンを、残りのピクセル
スキャンの中から上記のように選択した１つの残りのピ
クセルスキャンと整列させ、 iV) 選択された１つの残りのピクセルスキャンの選択
されたピクセルと高解像度プロトタイプスキャンのミク
セル値からスキャナ手段の既知のＰＳＦを用いて計算さ
れたピクセル値との間の差を表わす誤差コスト関数を最
小化することによって、整列された高解像度プロトタイ
プスキャンを調整して、更新されたプロトタイプスキャ
ンを生成し、 V) 高解像度プロトタイプスキャンを整列させる上記ii
i)の処理と、整列されたプロトタイプスキャンを調整す
る上記iV)の処理とを、未だ選択されていない残りのス
キャンの各々について、高解像度プロトタイプスキャン
としての更新されたプロトタイプスキャンを用いて、繰
り返し行ない、残りのスキャンの全てについて処理がな
された後に、更新されたプロトタイプスキャンがオリジ
ナル画像の最終的な高解像度ラスタスキャン画像となる
ようにしているので、極めて良好な高解像度画像を得る
ことができる。
【０１５８】なお、整列された高解像度プロトタイプス
キャンのミクセル値の調整には、請求項５に記載のよう
に、グラディエント降下法(ＧＤ法)を用いることもでき
るし、あるいは、請求項１０に記載のように、ＭＣ法を
用いることもでき、ＭＣ法を用いる場合には、反復処理
を加速させ、有効解像度をより高めることができる。
【０１５９】また、請求項３４乃至請求項３９記載の発
明によれば、請求項１乃至請求項３３と同様の処理方法
によって、文字画像の再構成を極めて良好に行なうこと
ができる。
【図面の簡単な説明】
【図１】ドラム式のスキャナを示す図である。
【図２】ポリゴンミラー式のスキャナを示す図である。
【図３】リニア光電センサアレイスキャナを示す図であ
る。
【図４】スキャナのジッター誤差およびコギング誤差を
説明するための図である。
【図５】ＰＳＦの代表的なゲイン特性を示す図である。
【図６】水平方向のスキャン誤差(ジッター誤差)の効果
を示す図である。
【図７】ミクセルとピクセルとの関係を示す図である。
【図８】補間用の２次元畳み込み演算子の例を示す図で
ある。
【図９】画像再構成処理の処理流れを示すフローチャー
トである。
【図１０】１つのラスタスキャンにおけるミクセルクラ
スタを示す図である。
【図１１】機械式スキャナにトラッキング変位誤差を導
入するのに用いられる差動歯車を示す図である。
【図１２】画像解像度を高めるシステムの構成図であ
る。
【図１３】高解像度の出力画像を与えるファクシミリシ
ステムの構成図である。
【図１４】本発明の方法によって作成された高解像度画
像の一例を示す図である。
【図１５】文字の再構成処理の一例を示す図である。
【図１６】４８０×４８０個の要素をもつフレネルパタ
ーン画像を示す図である。
【図１７】９１×９１個のピクセルを用いて図１６の画
像を走査した結果を示す図である。
【図１８】ＭＣ法を用いて再構成したパターン，ＧＤ法
を用いて再構成したパターンを示す図である。
【符号の説明】
５００ ｎ番目のラスタスキャン ５１０ ミクセルクラスタ ３０１ スキャナ ３０２ バッファストレージ ３０３ メイン画像メモリ ３０４ 演算プロセッサ ３０５ 出力バッファ ３０６ 出力レコーダ ３０７ ＣＰＵコントローラ ３０８ ジッター／コギング制御ユニット ３０９ Ａ／Ｄ変換器 ３１０ Ｄ／Ａ変換器 ３２０ スキャナ／送信ユニット ３２１ 通信接続線 ３３０ 記録用受信機 ３３１ データリンク ３３５ ローカル制御部 ３４０ 画像プロセッサ／コントローラユニッ
ト
───────────────────────────────────────────────────── フロントページの続き (72)発明者 レジス ジェイ． バン スティーンキ スト アメリカ合衆国 カリフォルニア州 メ ンロパーク サンドヒルロード 2882 スイート 115 リコーコーポレーショ ン内 (56)参考文献 特開 平６−141148（ＪＰ，Ａ) 特開 平６−178181（ＪＰ，Ａ) 特開 平５−216984（ＪＰ，Ａ) 特開 平６−6584（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 1/387

Claims (39)

    (57)【特許請求の範囲】
  1. 【請求項１】 オリジナルな低解像度のラスタスキャン
    画像のセットから高解像度画像を形成する画像処理シス
    テムにおいて、該システムは、 (ａ) ２次元の既知の値のセットによって表現されたポ
    イント広がり関数ＰＳＦをもち、オリジナル画像をラス
    タスキャンし、オリジナル画像のラスタスキャンごとに
    １つの信号を出力信号として生成するようになってお
    り、さらに、高解像度のラスタスキャン画像を再構成す
    るためにオリジナル画像の各ラスタスキャンに適切な変
    化を与えるためのトラッキング誤差を導入する手段が設
    けられているスキャナと、 (ｂ) スキャナからの出力信号を所定間隔でサンプリン
    グし量子化して、スキャナからの出力信号ごとに１つの
    ピクセル値セットを生成するコンバータ手段と、 (ｃ) コンバータ手段によって生成された複数のピクセ
    ル値セットを蓄積するための記憶手段と、 (ｄ) 記憶手段に蓄積されたピクセル値セットを読出し
    て、高解像度処理を行なって、前記記憶手段に蓄積する
    処理手段とを有し、該処理手段は、 ｉ) 記憶手段から複数のピクセル値セットのうちの１
    つをプロトタイプスキャンとして選択し、 ii) 選択したプロトタイプスキャンのピクセル値に補
    間処理を施して、より高密度のピクセル値をミクセルと
    してもつ高解像度プロトタイプスキャンを生成し、 iii) プロトタイプスキャン以外の残りのピクセルスキ
    ャンの中から１つのピクセルスキャンを１つの残りのピ
    クセルスキャンとして選択し、上記ii)において生成さ
    れた高解像度プロトタイプスキャンを、残りのピクセル
    スキャンの中から上記のように選択した１つの残りのピ
    クセルスキャンと整列させ、 iV) 選択された１つの残りのピクセルスキャンの選択
    されたピクセルと高解像度プロトタイプスキャンのミク
    セル値からスキャナ手段の既知のＰＳＦを用いて計算さ
    れたピクセル値との間の差を表わす誤差コスト関数を最
    小化することによって、整列された高解像度プロトタイ
    プスキャンを調整して、更新されたプロトタイプスキャ
    ンを生成し、 V) 高解像度プロトタイプスキャンを整列させる上記ii
    i)の処理と、整列されたプロトタイプスキャンを調整す
    る上記iV)の処理とを、未だ選択されていない残りのス
    キャンの各々について、高解像度プロトタイプスキャン
    としての更新されたプロトタイプスキャンを用いて、繰
    り返し行ない、残りのスキャンの全てについて処理がな
    された後に、更新されたプロトタイプスキャンがオリジ
    ナル画像の最終的な高解像度ラスタスキャン画像となる
    ようにすることを特徴とする画像処理システム。
  2. 【請求項２】 請求項１記載の画像処理システムにおい
    て、前記記憶手段に蓄積された高解像度プロトタイプス
    キャンを受信し、該高解像度プロトタイプスキャンから
    高解像度画像を形成する記録手段をさらに備えているこ
    とを特徴とする画像処理システム。
  3. 【請求項３】 請求項１記載の画像処理システムにおい
    て、前記トラッキング誤差は、既知の形式のものである
    ことを特徴とする画像処理システム。
  4. 【請求項４】 請求項３記載の画像処理システムにおい
    て、前記処理手段は、複数のピクセル値セットの各々か
    ら既知の形式のトラッキング誤差を除去するための手段
    をさらに有していることを特徴とする画像処理システ
    ム。
  5. 【請求項５】 請求項１記載の画像処理システムにおい
    て、整列された高解像度プロトタイプスキャンのミクセ
    ル値の調整は、グラディエント降下アルゴリズムを反復
    して誤差コスト関数を最小化することによってなされる
    ことを特徴とする画像処理システム。
  6. 【請求項６】 請求項１記載の画像処理システムにおい
    て、選択されたピクセルスキャンとの高解像度プロトタ
    イプスキャンの整列は、選択されたピクセルスキャンと
    これに対応する高解像度プロトタイプスキャンのミクセ
    ル値との差を表わす距離関数を最小化することによって
    なされることを特徴とする画像処理システム。
  7. 【請求項７】 請求項６記載の画像処理システムにおい
    て、前記距離関数は、２次形式のものであることを特徴
    とする画像処理システム。
  8. 【請求項８】 請求項６記載の画像処理システムにおい
    て、前記距離関数は、選択されたピクセルスキャンとこ
    れに対応する高解像度プロトタイプスキャンのミクセル
    値との差の絶対値に基づいたものであることを特徴とす
    る画像処理システム。
  9. 【請求項９】 請求項１記載の画像処理システムにおい
    て、選択されたピクセルスキャンとのプロトタイプスキ
    ャンの整列は、２次元の相互共分散関数を最大化するこ
    とによってなされることを特徴とする画像処理システ
    ム。
  10. 【請求項１０】 オリジナルな低解像度のラスタスキャ
    ン画像のセットから高解像度画像を形成する画像処理シ
    ステムにおいて、該システムは、 (ａ) ２次元の既知の値のセットによって表現されたポ
    イント広がり関数ＰＳＦをもち、オリジナル画像をラス
    タスキャンし、オリジナル画像のラスタスキャンごとに
    １つの信号を出力信号として生成するようになってお
    り、さらに、高解像度のラスタスキャン画像を再構成す
    るためにオリジナル画像の各ラスタスキャンに適切な変
    化を与えるためのトラッキング誤差を導入する手段が設
    けられているスキャナと、 (ｂ) スキャナからの出力信号を所定間隔でサンプリン
    グし量子化して、スキャナからの出力信号ごとに１つの
    ピクセル値セットを生成するコンバータ手段と、 (ｃ) コンバータ手段によって生成された複数のピクセ
    ル値セットを蓄積するための記憶手段と、 (ｄ) 記憶手段に蓄積されたピクセル値セットを読出し
    て、高解像度処理を行なって、前記記憶手段に蓄積する
    処理手段とを有し、該処理手段は、 ｉ) 記憶手段から複数のピクセル値セットのうちの１
    つをプロトタイプスキャンとして選択し、 ii) 選択したプロトタイプスキャンのピクセル値に補
    間処理を施して、より高密度のピクセル値をミクセルと
    してもつ高解像度プロトタイプスキャンを生成し、 iii) プロトタイプスキャン以外の残りのピクセルスキ
    ャンの中から１つのピクセルスキャンを１つの残りのピ
    クセルスキャンとして選択し、上記ii)において生成さ
    れた高解像度プロトタイプスキャンを、残りのピクセル
    スキャンの中から上記のように選択した１つの残りのピ
    クセルスキャンと整列させ、 iV) 選択された１つの残りのピクセルスキャンの選択
    されたピクセルと高解像度プロトタイプスキャンのミク
    セル値からスキャナ手段の既知のＰＳＦを用いて計算さ
    れたピクセル値との間の差を表わす誤差コスト関数を最
    小化することによって、整列された高解像度プロトタイ
    プスキャンを調整して、更新されたプロトタイプスキャ
    ンを生成し、 V) 高解像度プロトタイプスキャンを整列させる上記 i
    ii)の処理と、整列されたプロトタイプスキャンを調整
    する上記iV)の処理とを、未だ選択されていない残りの
    スキャンの各々について、高解像度プロトタイプスキャ
    ンとしての更新されたプロトタイプスキャンを用いて、
    繰り返し行ない、残りのスキャンの全てについて処理が
    なされた後に、更新されたプロトタイプスキャンがオリ
    ジナル画像の最終的な高解像度ラスタスキャン画像とな
    るようにし、 整列されたプロトタイプスキャンのミクセル値の前記調
    整処理は、 (aa) 矩形アレイ内に含まれている隣接する(contiguou
    s)プロトタイプミクセル要素からオーバーラップクラス
    タゾーンを形成し、 (bb) オーバーラップクラスタゾーン内に含まれている
    プロトタイプスキャンミクセル値に対応する要素をもつ
    ミクセルゾーンベクトルをオーバーラップクラスタゾー
    ンの各々と関連させて生成し、 (cc) 各行が既知のＰＳＦ値を表わす要素をもち、関連
    したミクセルゾーンベクトルと乗算されるとき、該ミク
    セルゾーンベクトルと関連したオーバーラップクラスタ
    ゾーン内に含まれているピクセル要素を表わすピクセル
    値のベクトルとなるゾーンマトリックスを生成し、 (dd) プロトタイプスキャンのミクセル値の調整を、ミ
    クセル寸法のゾーンで逆マトリックスをとり、逆問題を
    直接解くことによって行なうことを特徴とする画像処理
    システム。
  11. 【請求項１１】 請求項１０記載の画像処理システムに
    おいて、前記記憶手段に蓄積された高解像度プロトタイ
    プスキャンを受信し、該高解像度プロトタイプスキャン
    から高解像度画像を形成する記録手段をさらに備えてい
    ることを特徴とする画像処理システム。
  12. 【請求項１２】 画像スキャナと、画像スキャナに接続
    された高解像度手段とを有し、画像スキャナから、ピク
    セル値セットを各々形成するサンプリングされ量子化さ
    れた複数のラスタスキャンが出力されるとき、前記高解
    像度手段は、 ａ) 複数のピクセル値セットを蓄積するための記憶手
    段と、 (ｂ) 記憶手段に蓄積されたピクセル値セットを読出し
    て、高解像度処理を行なって、前記記憶手段に蓄積する
    処理手段とを有し、該処理手段は、 ｉ) 記憶手段から複数のピクセル値セットのうちの１
    つをプロトタイプスキャンとして選択し、 ii) 選択したプロトタイプスキャンのピクセル値に補
    間処理を施して、より高密度のピクセル値をミクセルと
    してもつ高解像度プロトタイプスキャンを生成し、 iii) プロトタイプスキャン以外の残りのピクセルスキ
    ャンの中から１つのピクセルスキャンを１つの残りのピ
    クセルスキャンとして選択し、上記ii)において生成さ
    れた高解像度プロトタイプスキャンを、残りのピクセル
    スキャンの中から上記のように選択した１つの残りのピ
    クセルスキャンと整列させ、 iV) 選択された１つの残りのピクセルスキャンの選択
    されたピクセルと高解像度プロトタイプスキャンのミク
    セル値からスキャナの既知のポイント広がり関数ＰＳＦ
    を用いて計算されたピクセル値との間の差を表わす誤差
    コスト関数を最小化することによって、整列された高解
    像度プロトタイプスキャンを調整して、更新されたプロ
    トタイプスキャンを生成し、 V) 高解像度プロトタイプスキャンを整列させる上記 i
    ii)の処理と、整列されたプロトタイプスキャンを調整
    する上記iV)の処理とを、未だ選択されていない残りの
    スキャンの各々について、高解像度プロトタイプスキャ
    ンとしての更新されたプロトタイプスキャンを用いて、
    繰り返し行ない、残りのスキャンの全てについて処理が
    なされた後に、更新されたプロトタイプスキャンがオリ
    ジナル画像の最終的な高解像度ラスタスキャン画像とな
    るようにし、 整列されたプロトタイプスキャンのミクセル値の前記調
    整処理は、 (aa) 矩形アレイ内に含まれている隣接する(contiguou
    s)プロトタイプミクセル要素からオーバーラップクラス
    タゾーンを形成し、 (bb) オーバーラップクラスタゾーン内に含まれている
    プロトタイプスキャンミクセル値に対応する要素をもつ
    ミクセルゾーンベクトルをオーバーラップクラスタゾー
    ンの各々と関連させて生成し、 (cc) 各行が既知のＰＳＦ値を表わす要素をもち、関連
    したミクセルゾーンベクトルと乗算されるとき、該ミク
    セルゾーンベクトルと関連したオーバーラップクラスタ
    ゾーン内に含まれているピクセル要素を表わすピクセル
    値のベクトルとなるゾーンマトリックスを生成し、 (dd) プロトタイプスキャンのミクセル値の調整を、ミ
    クセル寸法のゾーンで逆マトリックスをとり、逆問題を
    直接解くことによって行なうことを特徴とする画像処理
    装置。
  13. 【請求項１３】 送信側の装置に用いられ、送信用の高
    解像度画像を形成する画像処理システムにおいて、該シ
    ステムは、 (ａ) 既知のポイント広がり関数ＰＳＦをもち、オリジ
    ナル画像をラスタスキャンし、オリジナル画像のラスタ
    スキャンごとに１つの信号を出力信号として生成するス
    キャナと、 (ｂ) スキャナからの出力信号を所定間隔でサンプリン
    グし量子化して、スキャナからの出力信号ごとに１つの
    ピクセル値セットを生成するコンバータ手段と、 (ｃ) コンバータ手段によって生成された複数のピクセ
    ル値セットを蓄積するための記憶手段と、 (ｄ) 記憶手段に蓄積されたピクセル値セットを読出し
    て、高解像度処理を行なって、前記記憶手段に蓄積する
    処理手段とを有し、該処理手段は、 ｉ) 記憶手段から複数のピクセル値セットのうちの１
    つをプロトタイプスキャンとして選択し、 ii) 選択したプロトタイプスキャンのピクセル値に補
    間処理を施して、より高密度のピクセル値をミクセルと
    してもつ高解像度プロトタイプスキャンを生成し、 iii) プロトタイプスキャン以外の残りのピクセルスキ
    ャンの中から１つのピクセルスキャンを１つの残りのピ
    クセルスキャンとして選択し、上記ii)において生成さ
    れた高解像度プロトタイプスキャンを、残りのピクセル
    スキャンの中から上記のように選択した１つの残りのピ
    クセルスキャンと整列させ、 iV) 選択された１つの残りのピクセルスキャンの選択
    されたピクセルと高解像度プロトタイプスキャンのミク
    セル値からスキャナ手段の既知のＰＳＦを用いて計算さ
    れたピクセル値との間の差を表わす誤差コスト関数を最
    小化することによって、整列された高解像度プロトタイ
    プスキャンを調整して、更新されたプロトタイプスキャ
    ンを生成し、 V) 高解像度プロトタイプスキャンを整列させる上記 i
    ii)の処理と、整列されたプロトタイプスキャンを調整
    する上記iV)の処理とを、未だ選択されていない残りの
    スキャンの各々について、高解像度プロトタイプスキャ
    ンとしての更新されたプロトタイプスキャンを用いて、
    繰り返し行ない、残りのスキャンの全てについて処理が
    なされた後に、更新されたプロトタイプスキャンがオリ
    ジナル画像の最終的な高解像度ラスタスキャン画像とな
    るようにし、 整列されたプロトタイプスキャンのミクセル値の前記調
    整処理は、 (aa) 矩形アレイ内に含まれている隣接する(contiguou
    s)プロトタイプミクセル要素からオーバーラップクラス
    タゾーンを形成し、 (bb) オーバーラップクラスタゾーン内に含まれている
    プロトタイプスキャンミクセル値に対応する要素をもつ
    ミクセルゾーンベクトルをオーバーラップクラスタゾー
    ンの各々と関連させて生成し、 (cc) 各行が既知のＰＳＦ値を表わす要素をもち、関連
    したミクセルゾーンベクトルと乗算されるとき、該ミク
    セルゾーンベクトルと関連したオーバーラップクラスタ
    ゾーン内に含まれているピクセル要素を表わすピクセル
    値のベクトルとなるゾーンマトリックスを生成し、 (dd) プロトタイプスキャンのミクセル値の調整を、ミ
    クセル寸法のゾーンで逆マトリックスをとり、逆問題を
    直接解くことによって行なうことを特徴とする画像処理
    システム。
  14. 【請求項１４】 請求項１３記載の画像処理システムに
    おいて、所定の解像度レベルをもつ少ない個数のラスタ
    スキャンを用いて高解像度スキャン画像の再構成を行な
    うために、オフセット誤差を導入してスキャナに変動を
    与えてオリジナル画像の各ラスタスキャンに適切な変化
    を与える手段をさらに備えていることを特徴とする画像
    処理システム。
  15. 【請求項１５】 請求項１４記載の画像処理システムに
    おいて、前記オフセット誤差は、既知の形式のものであ
    ることを特徴とする画像処理システム。
  16. 【請求項１６】 請求項１５記載の画像処理システムに
    おいて、前記処理手段は、複数のピクセル値セットの各
    々から既知の形式のオフセット誤差を除去するための手
    段をさらに有していることを特徴とする画像処理システ
    ム。
  17. 【請求項１７】 請求項１３記載の画像処理システムに
    おいて、整列された高解像度プロトタイプスキャンのミ
    クセル値の調整は、グラディエント降下アルゴリズムを
    反復して誤差コスト関数を最小化することによってなさ
    れることを特徴とする画像処理システム。
  18. 【請求項１８】 請求項１３記載の画像処理システムに
    おいて、選択されたピクセルスキャンとの高解像度プロ
    トタイプスキャンの整列は、選択されたピクセルスキャ
    ンとこれに対応する高解像度プロトタイプスキャンのミ
    クセル値との差を表わす距離関数を最小化することによ
    ってなされることを特徴とする画像処理システム。
  19. 【請求項１９】 請求項１８記載の画像処理システムに
    おいて、前記距離関数は、２次形式のものであることを
    特徴とする画像処理システム。
  20. 【請求項２０】 請求項１８記載の画像処理システムに
    おいて、前記距離関数は、選択されたピクセルスキャン
    とこれに対応する高解像度プロトタイプスキャンのミク
    セル値との差の絶対値に基づいたものであることを特徴
    とする画像処理システム。
  21. 【請求項２１】 請求項１８記載の画像処理システムに
    おいて、選択されたピクセルスキャンとのプロトタイプ
    スキャンの整列は、２次元の相互共分散関数を最大化す
    ることによってなされることを特徴とする画像処理シス
    テム。
  22. 【請求項２２】 受信側の装置に用いられ、ピクセル値
    セットを各々形成するサンプリングされ量子化された複
    数の低解像度ラスタスキャン画像を受信するとき、受信
    した複数の低解像度のラスタスキャン画像から高解像度
    画像を形成する画像処理システムにおいて、該システム
    は、 (ａ) 複数のピクセル値セットを蓄積するための記憶手
    段と、 (ｂ) 記憶手段に蓄積されたピクセル値セットを読出し
    て、高解像度処理を行なって、前記記憶手段に蓄積する
    処理手段とを有し、該処理手段は、 ｉ) 記憶手段から複数のピクセル値セットのうちの１
    つをプロトタイプスキャンとして選択し、 ii) 選択したプロトタイプスキャンのピクセル値に補
    間処理を施して、より高密度のピクセル値をミクセルと
    してもつ高解像度プロトタイプスキャンを生成し、 iii) プロトタイプスキャン以外の残りのピクセルスキ
    ャンの中から１つのピクセルスキャンを１つの残りのピ
    クセルスキャンとして選択し、上記ii)において生成さ
    れた高解像度プロトタイプスキャンを、残りのピクセル
    スキャンの中から上記のように選択した１つの残りのピ
    クセルスキャンと整列させ、 iV) 選択された１つの残りのピクセルスキャンの選択
    されたピクセルと高解像度プロトタイプスキャンのミク
    セル値からスキャナの既知のＰＳＦを用いて計算された
    ピクセル値との間の差を表わす誤差コスト関数を最小化
    することによって、整列された高解像度プロトタイプス
    キャンを調整して、更新されたプロトタイプスキャンを
    生成し、 V) 高解像度プロトタイプスキャンを整列させる上記 i
    ii)の処理と、整列されたプロトタイプスキャンを調整
    する上記iV)の処理とを、未だ選択されていない残りの
    スキャンの各々について、高解像度プロトタイプスキャ
    ンとしての更新されたプロトタイプスキャンを用いて、
    繰り返し行ない、残りのスキャンの全てについて処理が
    なされた後に、更新されたプロトタイプスキャンがオリ
    ジナル画像の最終的な高解像度ラスタスキャン画像とな
    るようにし、 整列されたプロトタイプスキャンのミクセル値の前記調
    整処理は、 (aa) 矩形アレイ内に含まれている隣接する(contiguou
    s)プロトタイプミクセル要素からオーバーラップクラス
    タゾーンを形成し、 (bb) オーバーラップクラスタゾーン内に含まれている
    プロトタイプスキャンミクセル値に対応する要素をもつ
    ミクセルゾーンベクトルをオーバーラップクラスタゾー
    ンの各々について生成し、 (cc) 各行が既知のＰＳＦ値を表わす要素をもち、関連
    したミクセルゾーンベクトルと乗算されるとき、該ミク
    セルゾーンベクトルと関連したオーバーラップクラスタ
    ゾーン内に含まれているピクセル要素を表わすピクセル
    値のベクトルとなるゾーンマトリックスを生成し、 (dd) プロトタイプスキャンのミクセル値の調整を、ミ
    クセル寸法のゾーンで逆マトリックスをとり、逆問題を
    直接解くことによって行なうことを特徴とする画像処理
    システム。
  23. 【請求項２３】 請求項２２記載の画像処理システムに
    おいて、整列された高解像度プロトタイプスキャンのミ
    クセル値の調整は、グラディエント降下アルゴリズムを
    反復して誤差コスト関数を最小化することによってなさ
    れることを特徴とする画像処理システム。
  24. 【請求項２４】 請求項２２記載の画像処理システムに
    おいて、選択されたピクセルスキャンとの高解像度プロ
    トタイプスキャンの整列は、選択されたピクセルスキャ
    ンとこれに対応する高解像度プロトタイプスキャンのミ
    クセル値との差を表わす距離関数を最小化することによ
    ってなされることを特徴とする画像処理システム。
  25. 【請求項２５】 請求項２２記載の画像処理システムに
    おいて、選択されたピクセルスキャンとのプロトタイプ
    スキャンの整列は、２次元の相互共分散関数を最大化す
    ることによってなされることを特徴とする画像処理シス
    テム。
  26. 【請求項２６】 既知のポイント広がり関数ＰＳＦをも
    つスキャナによって生成され、ピクセル値セットを各々
    形成するサンプリングされ量子化された複数の低解像度
    のラスタスキャン画像から、高解像度画像を形成する画
    像処理方法において、該画像処理方法は、 (ａ) 複数の低解像度のラスタスキャン画像を記憶手段
    に蓄積する工程と、 (ｂ) 記憶手段に蓄積された複数のピクセル値セットの
    うちの１つをプロトタイプスキャンとして選択する工程
    と、 (ｃ) 選択したプロトタイプスキャンのピクセル値に補
    間処理を施して、より高密度のピクセル値をミクセルと
    してもつ高解像度プロトタイプスキャンを生成する工程
    と、 (ｄ) プロトタイプスキャン以外の残りのピクセルスキ
    ャンの中から１つのピクセルスキャンを１つの残りのピ
    クセルスキャンとして選択し、上記(ｃ)において生成さ
    れた高解像度プロトタイプスキャンを、残りのピクセル
    スキャンの中から上記のように選択した１つの残りのピ
    クセルスキャンと整列させる工程と、 (ｅ) 選択された１つの残りのピクセルスキャンの選択
    されたピクセルと高解像度プロトタイプスキャンのミク
    セル値からスキャナの既知のＰＳＦを用いて計算された
    ピクセル値との間の差を表わす誤差コスト関数を最小化
    することによって、整列された高解像度プロトタイプス
    キャンを調整して、更新されたプロトタイプスキャンを
    生成する工程と、 (ｆ) 高解像度プロトタイプスキャンを整列させる上記
    (ｄ)の工程と、整列されたプロトタイプスキャンを調整
    する上記(ｅ)の工程とを、未だ選択されていない残りの
    スキャンの各々について、高解像度プロトタイプスキャ
    ンとしての更新されたプロトタイプスキャンを用いて、
    繰り返し行ない、残りのスキャンの全てについて処理が
    なされた後に、更新されたプロトタイプスキャンがオリ
    ジナル画像の最終的な高解像度ラスタスキャン画像とな
    るようにし、 整列されたプロトタイプスキャンのミクセル値の前記
    (ｅ)の調整工程は、 (ｉ) 矩形アレイ内に含まれている隣接する(contiguou
    s)プロトタイプミクセル要素からオーバーラップクラス
    タゾーンを形成し、 (ii) オーバーラップクラスタゾーン内に含まれている
    プロトタイプスキャンミクセル値に対応する要素をもつ
    ミクセルゾーンベクトルをオーバーラップクラスタゾー
    ンの各々と関連させて生成し、 (iii) 各行が既知のＰＳＦ値を表わす要素をもち、関
    連したミクセルゾーンベクトルと乗算されるとき、該ミ
    クセルゾーンベクトルと関連したオーバーラップクラス
    タゾーン内に含まれているピクセル要素を表わすピクセ
    ル値のベクトルとなるゾーンマトリックスを生成し、 (iv) プロトタイプスキャンのミクセル値の調整を、ミ
    クセル寸法のゾーンで逆マトリックスをとり、逆問題を
    直接解くことによって行なうことを特徴とする画像処理
    方法。
  27. 【請求項２７】 請求項２６記載の画像処理方法におい
    て、既知のポイント広がり関数ＰＳＦは、スキャナの既
    知の物理的特性から見積られることを特徴とする画像処
    理方法。
  28. 【請求項２８】 請求項２６記載の画像処理方法におい
    て、既知のポイント広がり関数ＰＳＦをもつスキャナで
    オリジナル画像を複数回走査し、スキャナを既知の形の
    オフセット誤差で変動させることを特徴とする画像処理
    方法。
  29. 【請求項２９】 請求項２８記載の画像処理方法におい
    て、複数の低解像度ラスタスキャン画像から既知のオフ
    セット誤差を取り除く工程をさらに有していることを特
    徴とする画像処理方法。
  30. 【請求項３０】 請求項２９記載の画像処理方法におい
    て、整列された高解像度プロトタイプスキャンのミクセ
    ル値の調整は、グラディエント降下アルゴリズムを反復
    することによって誤差コスト関数を最小化することによ
    ってなされることを特徴とする画像処理方法。
  31. 【請求項３１】 請求項２８記載の画像処理方法におい
    て、スキャナをオフセット誤差で変動させる工程は、ラ
    スタスキャンごとにそれぞれ異なる水平方向および垂直
    方向の所定の変位を与えることによってなされることを
    特徴とする画像処理方法。
  32. 【請求項３２】 請求項２６記載の画像処理方法におい
    て、選択されたピクセルスキャンとの高解像度プロトタ
    イプスキャンの整列は、選択されたピクセルスキャンと
    これに対応する高解像度プロトタイプスキャンのミクセ
    ル値との差を表わす距離関数を最小化することによって
    なされることを特徴とする画像処理方法。
  33. 【請求項３３】 請求項２６記載の画像処理方法におい
    て、選択されたピクセルスキャンとのプロトタイプスキ
    ャンの整列は、２次元の相互共分散関数を最大化するこ
    とによってなされることを特徴とする画像処理方法。
  34. 【請求項３４】 文字を含むドキュメントのラスタスキ
    ャン画像から文字画像を再構成する画像処理方法におい
    て、該画像処理方法は、 (ａ) 既知のポイント広がり関数ＰＳＦをもつスキャナ
    を用いて、再構成されるべき文字を含む少なくとも１つ
    のドキュメントをラスタスキャンし、所定間隔でサンプ
    リングされ量子化されたピクセルラスタスキャンを生成
    する工程と、 (ｂ) 各ピクセルラスタスキャンを蓄積する工程と、 (ｃ) 少なくとも１つのピクセルラスタスキャンから所
    定の文字画像の標本セットを選択する工程と、 (ｄ) 前記標本セットのうちの１つを所定の文字画像の
    プロトタイプとして選択する工程と、 (ｅ) 所定の文字画像のプロトタイプのピクセル値に補
    間処理を施して、より高密度のピクセル値をミクセルと
    してもつ高解像度プロトタイプを生成する工程と、 (ｆ) プロトタイプ以外の残りの標本セットの中から１
    つの標本を１つの残りの標本として選択し、上記(ｅ)に
    おいて生成された高解像度プロトタイプを、残りの標本
    セットの中から上記のように選択した１つの残りの標本
    と整列させる工程と、 (ｇ) 既知のＰＳＦをコンボルーション演算子として用
    いて高解像度プロトタイプのミクセル値からピクセル値
    を計算し、計算されたピクセル値を上記のように選択し
    た１つの残りの標本のピクセル値と比較することによっ
    て、整列された高解像度プロトタイプスキャンを調整し
    て、高解像度の更新された文字プロトタイプを生成する
    工程と、 （ｈ) 上記工程(ｃ)において選択された標本セットの
    各々について、工程(ｆ)，(ｇ)を繰り返し行ない、 （ｉ） 上記工程（ｃ）において選択された標本の全て
    について工程(ｆ)，(ｇ)がなされた後に、更新されたプ
    ロトタイプの文字画像が再構成された所定の文字画像と
    なることを特徴とする画像処理方法。
  35. 【請求項３５】 請求項３４記載の画像処理方法におい
    て、既知のポイント広がり関数ＰＳＦは、スキャナの既
    知の物理的特性から見積られることを特徴とする画像処
    理方法。
  36. 【請求項３６】 請求項３４記載の画像処理方法におい
    て、より鮮明な文字画像を生成するために、再構成され
    た所定の文字画像に対して閾値処理を施す工程をさらに
    有していることを特徴とする画像処理方法。
  37. 【請求項３７】 請求項３４記載の画像処理方法におい
    て、前記ラスタスキャンの工程は、高解像度ラスタスキ
    ャン画像の再構成を行なうために、オリジナル画像の各
    ラスタスキャンに適切な変化を保証するトラッキング誤
    差を与える処理をさらに有していることを特徴とする画
    像処理方法。
  38. 【請求項３８】 請求項３４記載の画像処理方法におい
    て、整列された高解像度プロトタイプのミクセル値の調
    整には、グラディエント降下アルゴリズムを反復して用
    いることを特徴とする画像処理方法。
  39. 【請求項３９】 請求項３４記載の画像処理方法におい
    て、整列されたプロトタイプのミクセル値の前記調整工
    程は、選択された１つの残りの標本の選択されたピクセ
    ルと高解像度プロトタイプのミクセル値からスキャナＰ
    ＳＦを用いて計算されたピクセル値との間の差を表わす
    誤差コスト関数を最小化することによって、整列された
    高解像度プロトタイプのミクセル値を調整して、更新さ
    れたプロトタイプを生成し、 整列されたプロトタイプのミクセル値の前記調整工程
    は、 (ａ) 矩形アレイ内に含まれている隣接する(contiguou
    s)プロトタイプミクセル要素からオーバーラップクラス
    タゾーンを形成し、 (ｂ) オーバーラップクラスタゾーン内に含まれている
    プロトタイプスキャンミクセル値に対応する要素をもつ
    ミクセルゾーンベクトルをオーバーラップクラスタゾー
    ンの各々と関連させて生成し、 (ｃ) 各行が既知のＰＳＦ値を表わす要素をもち、関連
    したミクセルゾーンベクトルと乗算されるとき、該ミク
    セルゾーンベクトルと関連したオーバーラップクラスタ
    ゾーン内に含まれているピクセル要素を表わすピクセル
    値のベクトルとなるゾーンマトリックスを生成し、 (ｄ) プロトタイプスキャンのミクセル値の調整を、ミ
    クセル寸法のゾーンで逆マトリックスをとり、逆問題を
    直接解くことによって行なうことを特徴とする画像処理
    方法。
JP26943895A 1994-09-26 1995-09-22 画像処理システムおよび画像処理装置並びに画像処理方法 Expired - Fee Related JP3498928B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/312141 1994-09-26
US08/312,141 US5767987A (en) 1994-09-26 1994-09-26 Method and apparatus for combining multiple image scans for enhanced resolution

Publications (2)

Publication Number Publication Date
JPH0898009A JPH0898009A (ja) 1996-04-12
JP3498928B2 true JP3498928B2 (ja) 2004-02-23

Family

ID=23210058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26943895A Expired - Fee Related JP3498928B2 (ja) 1994-09-26 1995-09-22 画像処理システムおよび画像処理装置並びに画像処理方法

Country Status (4)

Country Link
US (1) US5767987A (ja)
JP (1) JP3498928B2 (ja)
DE (1) DE19535586B4 (ja)
NL (1) NL1001289C2 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6320680B1 (en) * 1998-06-18 2001-11-20 Digimarc Corporation Stochastic scanning documents to change moire effects
US6208765B1 (en) * 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
US6304297B1 (en) * 1998-07-21 2001-10-16 Ati Technologies, Inc. Method and apparatus for manipulating display of update rate
JP4032527B2 (ja) 1998-10-05 2008-01-16 コニカミノルタビジネステクノロジーズ株式会社 画像読取装置
US6285804B1 (en) 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6570613B1 (en) * 1999-02-26 2003-05-27 Paul Howell Resolution-enhancement method for digital imaging
US6429953B1 (en) * 1999-05-10 2002-08-06 Sharp Laboratories Of America, Inc. Super resolution scanning using color multiplexing of image capture devices
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US6650704B1 (en) 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter
US6466618B1 (en) 1999-11-19 2002-10-15 Sharp Laboratories Of America, Inc. Resolution improvement for multiple images
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US7346184B1 (en) 2000-05-02 2008-03-18 Digimarc Corporation Processing methods combining multiple frames of image data
US6265874B1 (en) * 2000-05-23 2001-07-24 Mayo Foundation For Medical Education And Research Autocorrection of MR images using multiple metrics
WO2002009086A1 (en) * 2000-07-08 2002-01-31 Motorola, Inc. Adaptive presentation system
US6947133B2 (en) * 2000-08-08 2005-09-20 Carl Zeiss Jena Gmbh Method for increasing the spectral and spatial resolution of detectors
US8958654B1 (en) * 2001-04-25 2015-02-17 Lockheed Martin Corporation Method and apparatus for enhancing three-dimensional imagery data
US7239428B2 (en) * 2001-06-11 2007-07-03 Solectronics, Llc Method of super image resolution
AU2002350949A1 (en) * 2001-06-25 2003-01-08 Redhawk Vision Inc. Video event capture, storage and processing method and apparatus
US7218751B2 (en) * 2001-06-29 2007-05-15 Digimarc Corporation Generating super resolution digital images
US20080036886A1 (en) * 2001-06-29 2008-02-14 Hannigan Brett T Methods For Generating Enhanced Digital Images
WO2003047234A2 (en) * 2001-11-30 2003-06-05 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for providing multi-sensor super-resolution
US7123780B2 (en) * 2001-12-11 2006-10-17 Sony Corporation Resolution enhancement for images stored in a database
US6678003B2 (en) * 2002-05-21 2004-01-13 Alcon, Inc. Image deinterlacing system for removing motion artifacts and associated methods
US7327496B2 (en) 2003-04-11 2008-02-05 Hewlett-Packard Development Company, L.P. Imaging apparatus and method
EP1508813B1 (en) * 2003-08-20 2007-01-31 Agilent Technologies, Inc. Spectral jitter analysis allowing jitter modulation waveform analysis
US20060001921A1 (en) * 2004-06-30 2006-01-05 Bailey James R System and method for high-performance scanner calibration
EP1657681B1 (en) * 2004-11-10 2009-01-21 Agfa HealthCare NV Method of performing measurements on digital images
EP1657680A1 (en) * 2004-11-10 2006-05-17 Agfa-Gevaert Display device for displaying a blended image
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7856154B2 (en) * 2005-01-19 2010-12-21 The United States Of America As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
US7567254B2 (en) * 2005-06-30 2009-07-28 Microsoft Corporation Parallel texture synthesis having controllable jitter
US7714892B2 (en) * 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
JP4646146B2 (ja) * 2006-11-30 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US7945119B2 (en) * 2007-06-26 2011-05-17 Microsoft Corporation Optimizing character rendering
KR101589711B1 (ko) * 2007-10-12 2016-01-28 도요타 모터 유럽 비디오 데이터의 처리 방법 및 시스템
US8412000B2 (en) * 2007-11-30 2013-04-02 Texas Instruments Incorporated System and method for reducing motion artifacts by displaying partial-resolution images
JP5004856B2 (ja) * 2008-04-18 2012-08-22 キヤノン株式会社 画像形成装置及び画像形成方法及び記憶媒体、プログラム
JP4565016B2 (ja) * 2008-05-16 2010-10-20 キヤノン株式会社 画像処理装置、画像処理方法及びそのプログラムならびにこのプログラムを記憶させたコンピュータ読み取り可能な記憶媒体
KR101509254B1 (ko) * 2008-11-10 2015-04-08 삼성전자주식회사 고해상도 영상 재구성 방법
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
US20110102915A1 (en) * 2009-10-30 2011-05-05 Michael Pham Device to create high definition photos
US8542418B2 (en) * 2010-08-25 2013-09-24 Ricoh Production Print Solutions LLC Printer calibration for printers with fixed print array structures
WO2012050832A1 (en) 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US8699819B1 (en) * 2012-05-10 2014-04-15 Google Inc. Mosaicing documents for translation using video streams
WO2013173292A1 (en) 2012-05-14 2013-11-21 Motorola Mobility Llc Scalable video coding with enhanced base layer
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US10008030B2 (en) 2015-09-07 2018-06-26 Samsung Electronics Co., Ltd. Method and apparatus for generating images
CN112015929B (zh) 2019-05-30 2024-07-05 阿里云计算有限公司 栅格数据访问方法、装置、电子设备及计算机存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4517599A (en) * 1983-01-27 1985-05-14 Hughes Aircraft Company Resolution enhancement and zoom by degradation estimates
US4720745A (en) * 1983-06-22 1988-01-19 Digivision, Inc. Method and apparatus for enhancing video displays
JP2577748B2 (ja) * 1986-12-01 1997-02-05 サカタインクス株式会社 画像信号の補間方法及びそれを実施する画像信号処理装置
US4797942A (en) * 1987-03-02 1989-01-10 General Electric Pyramid processor for building large-area, high-resolution image by parts
US5225916A (en) * 1987-09-14 1993-07-06 Ricoh Company, Ltd. Image reading method for an image recording system
KR920004067Y1 (ko) * 1988-12-12 1992-06-20 삼성전관 주식회사 Id-tv의 더블 스캔회로
US5023719A (en) * 1989-10-16 1991-06-11 Hughes Aircraft Company Imaging system for providing multiple simultaneous real time images
JPH0445671A (ja) * 1990-06-12 1992-02-14 Sony Corp テレビジョン信号の輪郭強調回路
US5239625A (en) * 1991-03-05 1993-08-24 Rampage Systems, Inc. Apparatus and method to merge images rasterized at different resolutions
US5325449A (en) * 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor

Also Published As

Publication number Publication date
DE19535586B4 (de) 2005-09-22
NL1001289C2 (nl) 1998-01-28
NL1001289A1 (nl) 1996-03-26
DE19535586A1 (de) 1996-04-04
JPH0898009A (ja) 1996-04-12
US5767987A (en) 1998-06-16

Similar Documents

Publication Publication Date Title
JP3498928B2 (ja) 画像処理システムおよび画像処理装置並びに画像処理方法
US4920501A (en) Digital halftoning with minimum visual modulation patterns
US4646355A (en) Method and apparatus for input picture enhancement by removal of undersired dots and voids
US7764848B2 (en) High resolution enabling apparatus and method
DE69516456T2 (de) Drehung von nichtrotationssymmetrischen Halbtonrasterpunkten zur Kodierung eingebetteter Daten in einem Drucker mit hoher Schärfe
US6646246B1 (en) Method and system of noise removal for a sparsely sampled extended dynamic range image sensing device
JPH0364908B2 (ja)
EP1169847A1 (en) A method and system for super resolution
US4907096A (en) Image processing
EP1209900B1 (en) Method and apparatus for performing tone scale modifications
US7558442B2 (en) System and method for anti-moire' imaging in a one dimensional sensor array
JPH0622123A (ja) ディジタル画像用ハーフトーンマスク及びその作成方法
EP1384203B1 (en) Method and system for enhancing the performance of a fixed focal length imaging device
Fernandez et al. Sentinel-3 super-resolution based on dense multireceptive channel attention
US20040218232A1 (en) Method and apparatus for image formation from scan data and control of a scanning apparatus for the same
US7173659B2 (en) System and method for anti-moire imaging
Stadtmiller et al. Reduction of aliasing in staring infrared imagers utilizing subpixel techniques
Du et al. Controlled angular and radial scanning for super resolution concentric circular imaging
US20240012614A1 (en) Processing of data arrays and applications including image processing
Hinkle et al. Interlaced scan patterns based on progressive hexagonal grids
JPH07143337A (ja) 画像２値化方法
WO2022231465A1 (ru) Способ формирования цифрового изображения
JPH0740719B2 (ja) 原稿読取装置
klein Gebbinck et al. Area Estimation with Subpixel Acuracy for Industrial Imaging Systems
Haindl et al. An adaptive image line reconstruction method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081205

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081205

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091205

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees