JP5028328B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、解像度変換機能を備える画像処理装置における画像処理技術に関するものである。

従来より、解像度変換機能の１つとして、低解像度の複数の画像データから高解像度の画像データを生成する超解像処理技術が知られている。当該技術を用いれば、低解像度のデバイスにより取得された画像データであっても、高解像度の画像データに変換することができる（例えば、特許文献１参照）。

しかし、超解像処理技術の利用にあたっては、サブピクセル単位（１画素よりも小さい単位）で位相をずらした低解像度の画像データを複数用意しておく必要があり、事前の準備に時間がかかる。このため、これまでは、デジタルビデオカメラで撮影された動画像データやデジタルカメラで撮影された静止画像データ等、高品質な画像データが要求される特定の分野に、その利用が限定されていた（例えば特許文献２参照）。

しかし、最近では、複写機やファクシミリ装置といった画像処理装置の分野においても、高品質な画像データが要求されるようになってきている。このため、当該分野における超解像処理技術の適用が検討されるようになってきた。

ここで、複写機やファクシミリ装置等の画像処理装置は、従来、ライン順次で原稿の読み取りを行うのが一般的であり、読み取り装置としては、ＣＣＤラインセンサやコンタクトイメージセンサ等を用いていた。

しかし、近年、デジタルカメラの普及に伴って、ＣＣＤエリアイメージセンサの低価格化が進み、複写機やファクシミリ装置等の画像処理装置においても、ＣＣＤエリアイメージセンサが用いられるようになってきている。

このため、画像処理装置への超解像処理技術の適用にあたっては、読み取り装置として、ＣＣＤエリアイメージセンサが用いられる場合について検討することが望ましい。
特開２００７−１５１０８０号公報 ＷＯ２００４／０６８８６２

ここで、ＣＣＤエリアイメージセンサは、通常（デジタルビデオカメラ等で用いられる場合）、フレーム単位（主走査・副走査方向の画像データの同時取得）で撮像を行う。

しかしながら、複写機やファクシミリ等の画像処理装置において超解像度処理を行う場合は、位相をずらした複数の画像データを効率的に取得するために、ＣＣＤエリアイメージセンサを副走査方向に動作させる。

そして、このようにして得られる画像データは、フレーム単位で処理するのではなく、ＣＣＤエリアイメージセンサを構成する各ラインごとに処理する。このような処理をすることにより、位相がずれた画像データを副走査方向の１回の動作で、ライン数分取得することができるからである。

このとき、ＣＣＤエリアイメージセンサの動作範囲を原稿サイズの範囲内に限定してしまうと、得られるライン数分の画像データにより網羅される原稿上の領域が、均等にならなくなってしまう。つまり、得られる画像データが網羅する原稿上の領域が、原稿の中央部分において多く、原稿の上流部分と下流部分において少なくなってしまう。

図２４、２５を用いて具体例を挙げて説明する。例えば、ＣＣＤエリアイメージセンサの１フレームのサイズが主走査方向＝２９０ｍｍ、副走査方向＝２００ｍｍであったとする。最上流の位置にＣＣＤエリアイメージセンサがあった場合、第１フレームが網羅する領域は、原稿の上端から副走査方向の１フレームのサイズと同じ２００ｍｍの位置までとなる。

次にＣＣＤエリアイメージセンサを副走査方向に１０ｍｍ移動させると、第２フレームが網羅する領域は、最上流から１０ｍｍの位置から２１０ｍｍの位置までとなる。

ここで、この２枚の画像データ（第１及び第２フレームの画像データ）を比べると、原稿の最上流から１０ｍｍの部分には、画像データが１枚しか存在していない。一方、原稿の中央の１０ｍｍから２００ｍｍまでの部分には、２枚の画像データが存在していることとなる（図２４参照）。

そして、ＣＣＤエリアイメージセンサが原稿サイズの範囲内を移動した結果得られるライン数分の画像データは、図２５（ａ）のようになる。つまり、画像データの多い部分と少ない部分とが必ず生じることとなる（図２５（ｂ））。

このように、ＣＣＤエリアイメージセンサの動作範囲を原稿サイズの範囲内に限定してしまうと、副走査方向の上流部分の画像データのデータ量と下流部分の画像データのデータ量は少なくなる。反対に、副走査方向の中央部分に向かうに従って画像データのデータ量が多くなる。

この場合（図２５（ａ）に示す画像データを用いた場合）、超解像処理を行ったとしても、所望の解像度を有する画像データを得ることはできない。

一方で、このような事態を回避すべく、ＣＣＤエリアイメージセンサの動作範囲を広げ、原稿サイズの範囲よりも大きく設定することが考えられる。しかしながら、ＣＣＤエリアイメージセンサの動作範囲を拡大すると、画像処理装置の大型化を招くこととなり、望ましくない。

本発明は、上記課題に鑑みてなされたものであり、エリアイメージセンサを用いた画像処理装置において解像度変換を行うにあたり、所望の解像度を有する画像データを省スペースで生成できるようにすることを目的とする。

上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
読み取り位置を主走査方向及び副走査方向にずらして原稿を読み取ることにより取得された複数の画像データであって、該原稿の副走査方向の各位置における、取得された画像データの枚数が異なる該複数の画像データを処理する画像処理装置であって、
ターゲットとなる解像度の設定を受け付ける受付手段と、
前記設定された解像度に到達する第１の枚数の画像データが取得された、前記原稿の副走査方向の第１の位置において、該第１の枚数の画像データを用いて超解像処理する超解像処理手段と、
前記第１の枚数より少ない第２の枚数の画像データが取得された、前記原稿の副走査方向の第２の位置において、該取得された画像データを用いて変倍処理する変倍処理手段と、
前記超解像処理手段により超解像処理された第１の位置の画像データと前記変倍処理手段により変倍処理された第２の位置の画像データとを合成し、前記読み取った原稿から前記受付手段により設定を受け付けた解像度の画像データを生成する生成手段とを備える。

本発明によれば、エリアイメージセンサを用いた画像処理装置において解像度変換を行うにあたり、所望の解像度を有する画像データを省スペースで生成することが可能となる。

以下、図面を参照しながら、本発明の好適な実施の形態について説明する。

［第１の実施形態］
１．画像処理装置の構成
図１は、本発明の第１の実施形態にかかる画像処理装置１００の外観を示す図である。画像処理装置１００は原稿を読み取って画像データを生成するスキャナ部１１０と、生成された画像データを印刷するプリンタ部１２０と、画像処理装置１００の各種動作設定を行う操作部１３０とに大別することができる。

スキャナ部１１０は、原稿を露光走査して得られた反射光をＣＣＤエリアイメージセンサに入力することで反射光を電気信号に変換する。スキャナ部１１０はさらに電気信号をＲ、Ｇ、Ｂ各色からなる輝度信号に変換した後、当該輝度信号を画像データとして、後述する制御装置に出力する。

なお、原稿は原稿フィーダ１５０のトレイ１４０にセットされる。ユーザが操作部１３０から原稿の読み取りを指示すると、制御装置からスキャナ部１１０に原稿読み取り指示が与えられる。

スキャナ部１１０では、この指示を受け付けると原稿フィーダ１５０のトレイ１４０から原稿を１枚ずつフィードして、原稿の読み取り動作を行う。なお、原稿の読み取り方法は原稿フィーダ１５０による自動送り方式に限定されるものではなく、原稿を不図示のガラス面上に載置し、読み取り光学ユニットを移動させることにより原稿の読み取り動作を行う方式であってもよい。

プリンタ部１２０は、制御装置から受け取った画像データを用紙上に印刷する。なお、本実施形態では、画像処理方式として、感光体ドラムや感光体ベルトを用いた電子写真方式を利用するものとして説明を行うが、本発明は当該方式に限られるものではない。例えば、微少ノズルアレイからインクを吐出して用紙上に印刷するインクジェット方式等を利用してもよい。

また、プリンタ部１２０には、異なる用紙サイズ又は異なる用紙向きを選択可能にするため、複数の用紙カセット１７０、１８０、１９０が設けられている。なお、排紙トレイ１６０には印刷後の用紙が排出される。

２．スキャナ部１１０の構成
図２は、スキャナ部１１０の構成を示す図である。図２の２００と２０１はスキャナ部１１０の筐体である。２０３は一体型の読み取り光学ユニットであり、内部には照明装置２０４、反射ミラー２０５〜２０７、レンズ２０８、ＣＣＤエリアイメージセンサ２０９が内蔵されている。

ＣＣＤエリアイメージセンサ２０９は、超解像処理に用いる画像データを生成するのに適した設置方法により設置されていることが望ましい。但し、原稿の配置や光学路における処理により超解像処理に用いる画像データを生成する方法もあるため、必ずしも超解像処理に用いる画像データを生成するのに適した設置方法である必要はない。

読み取り光学ユニット２０３は、ステッピングモータ２１２の駆動により、搬送用ベルト２１１と滑車２１３とが動作することで副走査方向に移動できるように構成されている。本実施形態では、読み取り光学ユニット２０３が副走査方向に移動しながら、照明装置２０４が、原稿台２０２上の原稿に向けて光を照射する。

照明装置２０４により照射された原稿台２０２上の原稿からは、反射光が入力され、反射ミラー２０５〜２０７及びレンズ２０８を通ってＣＣＤエリアイメージセンサ２０９にて受光される。このような構成のもと、ＣＣＤエリアイメージセンサ２０９が受光できるエリア（例えば主走査方向２９０ｍｍ、副走査方向２００ｍｍ）を副走査方向に移動させることで、原稿を読み取ることができる。

ステッピングモータ２１２はケーブル２１４を介してモータ駆動制御回路２１５と接続され、モータ駆動制御回路２１５によって制御される。また、ＣＣＤエリアイメージセンサ２０９において生成された画像データはケーブル２１０を介して制御装置２１６に出力される。

３．制御装置２１６の内部構成
次に、制御装置２１６の内部構成について、図３を用いて詳細に説明する。図３の３００はユーザインタフェースであり、ユーザパネル等を介してユーザからの指示を受け付け、データ処理装置３０１に対してコマンドを転送する。本実施形態にかかる画像処理装置１００では、ユーザインタフェース３００を介して、スキャナ部１１０に対する原稿読み取り指示やターゲット解像度の選択指示等を受け付ける（受付手段）。

データ処理装置３０１は、超解像処理や変倍処理を含む解像度変換処理を実行したり、モータ駆動制御回路２１５への制御指示を出力したりする。また、ＬＡＮコントローラ３０５に画像データを転送したり、ユーザインタフェース３００からコマンドを受信したりする。

さらに、ＲＡＭ３０６やＲＯＭ３０７、主走査用ルックアップテーブル３０３、副走査用ルックアップテーブル３０４と接続され、解像度変換処理を実行するのに必要なコマンドの送・受信を行ったりする。更に、ＣＣＤエリアイメージセンサ２０９から送信され、ＡＤコンバータ３０２においてデジタル化された画像データを受信したりする。

４．ＣＣＤエリアイメージセンサ２０９の詳細
次に、ＣＣＤエリアイメージセンサ２０９の詳細について説明する。

４．１ ＣＣＤエリアイメージセンサの画素センサの配列
ＣＣＤエリアイメージセンサ２０９は、デジタルカメラなどに適用されるセンサと同じであり、従来の画像処理装置において用いられていたライン単位のセンサとは異なる。具体的には、原稿を読み取るための画素センサが、主走査方向及び副走査方向に２次元的に配列されている。

なお、ここでいう主走査方向とは、原稿台２０２上に載置された原稿をスキャナ部１１０が読み取る際、原稿に対して読み取り光学ユニット２０３が移動する方向に垂直な方向をいうものとする。一方、副走査方向とは、読み取り光学ユニット２０３が移動する方向と水平な方向をいうものとする。

図４は、一般的なＣＣＤエリアイメージセンサの構成を示す図である。図４において、４０１はＣＣＤエリアイメージセンサを構成する画素センサを示しており、主走査方向にＨ画素、副走査方向にＬ画素配列されている。ＣＣＤエリアイメージセンサの解像度は画素センサ間の距離Ｎにより決定される。

４．２ ＣＣＤエリアイメージセンサの設置方法および撮像処理方法
続いて、本実施形態にかかる画像処理装置１００におけるＣＣＤエリアイメージセンサ２０９の設置方法および撮像処理方法について説明する。なお、説明にあたっては、本実施形態にかかる画像処理装置１００の特徴をより明確にするために、はじめに、一般的なデジタルカメラおよび一般的な画像処理装置におけるＣＣＤエリアイメージセンサの設置方法および撮像処理方法について説明する。

（１）一般的なデジタルカメラの場合
ＣＣＤエリアイメージセンサがデジタルカメラ等に用いられる場合、通常、ＣＣＤエリアイメージセンサは入力される画像データを２次元領域として捉えて撮像を行う。つまり、１回の撮像において２次元に配列された画素センサをすべて用いる。

そして、ＣＣＤエリアイメージセンサは、撮像した画像データを横方向、縦方向に歪みのない画像データとするため、画素センサが傾斜なく配列されるように設置される。

例えば一般的なデジタルカメラ内にＣＣＤエリアイメージセンサが設置される場合、図４の４０２の黒枠で示すラインの画素センサにより読み取られる撮像対象は、撮像対象の最上端部を構成することとなる。この際、生成される画像データはラインを構成する方向に対して傾きがないものとなる。

同様に、４０３の黒枠で示すラインの画素センサにより読み取られる撮像対象は、４０２の黒枠で示すラインの画素センサにより読み取られた撮像対象の位置とは異なる位置、すなわち垂直方向下の位置を構成することとなる。また、４０４は４０２で読み取った撮像対象の位置よりも、更に垂直方向に４つ下の位置を構成することとなる。

このように、デジタルカメラにおいてＣＣＤエリアイメージセンサを用いる場合、画像データを２次元領域として撮像するため、ＣＣＤエリアイメージセンサを構成する画素センサは全て撮像対象の異なる位置を撮像することとなる。

（２）一般的な画像処理装置の場合
これに対して、一般的な画像処理装置の場合、ＣＣＤエリアイメージセンサの設置方法及び撮像処理方法は以下の通りとなる。

ｉ）設置方法
画像処理装置の場合、ＣＣＤエリアイメージセンサは読み取り光学ユニットの基準となる設置位置に設置される。

一般的な画像処理装置では、光源から原稿に照射される光の反射光が画素センサに取り込まれる際、この反射光が画素センサに対して傾くことがないように取り込まれる。つまり、画素センサはほぼ傾斜なく反射光を取り込むことができるように設置される。

具体的には、ＣＣＤエリアイメージセンサにおける主走査方向は画素センサの設置面に対してほぼ水平に、副走査方向は、設置面に対してほぼ垂直に設置される。なお、このとき実際に存在するわずかな傾斜は補正され、傾斜がないものとして撮像処理がなされる。

ｉｉ）撮像処理方法
続いて、画像処理装置におけるＣＣＤエリアイメージセンサの撮像処理方法について説明する。

画像処理装置では、ＣＣＤエリアイメージセンサが実装された読み取り光学ユニットを、副走査方向に移動させながら、原稿台に載置された原稿を読み取る。

つまり、４０２等の黒枠で示すラインに含まれる画素センサを、ラインセンサのように扱うことにより撮像処理を行う（このようなラインセンサを、読み取りラインセンサと称し、得られるデータをラインデータと呼ぶ）。

以下、読み取りラインセンサ４０２及び４０３によって読み取られることにより、画像処理装置においてどのような画像データが生成されるかについて具体例を挙げて説明する。なお、ここでの説明において読み取り対象とする原稿の画像データを図５に示す。図５における格子は、読み取りラインセンサ４０２等を構成する画素センサの解像度を示している。

読み取り光学ユニットが、原稿台下を副走査方向に移動すると、読み取りラインセンサ４０２、４０３により、順次、原稿が読み取られる。

つまり、図５に示す原稿のうち、読み取り光学ユニットの位置に対応する各読み取りラインセンサのライン幅に対応する部分が、順次、読み取られていく。

このときの読み取り動作を、図６〜図１０を用いて説明する。読み取り光学ユニットが原稿台下を副走査方向へ移動すると、図６（ａ）、図７（ａ）、図８（ａ）、図９（ａ）で示す原稿の斜線部に、光源からの光が照射される。

いま、図６（ａ）の原稿の斜線部に光源からの光が照射されているとすると、ＣＣＤエリアイメージセンサでは、原稿からの反射光を検知して、光が照射された部分（斜線部）におけるライン幅部分のラインデータを生成する。

具体的には、読み取りラインセンサ４０２は図６（ｂ）に示されるような画像データを生成する。同時に読み取りラインセンサ４０３は図６（ｃ）に示されるような画像データを生成する。

２つの画像データ間において読み取り位置にずれがあるのは、２つの読み取りラインセンサ４０２、４０３が副走査方向に物理的な距離をもって設置されているためである。

そして、図６（ｄ）、（ｅ）に示すように、各読み取りラインセンサにおいて原稿が読み取られることにより生成された画像データは、読み取りラインセンサごとに異なる記憶媒体（ＲＡＭ等）に記憶される。

次に、読み取り光学ユニットが移動し、光源が動くとともに、図７（ａ）に示すように読み取りラインセンサが読み取る原稿上の位置が変わると、読み取りラインセンサ４０２は図７（ｂ）に示すような画像データを生成する。また、読み取りラインセンサ４０３は図７（ｃ）に示すような画像データを生成する。

そして、各読み取りラインセンサ４０２、４０３において生成された画像データは、図７（ｄ）、（ｅ）に示すように、それぞれ、異なる記憶媒体（ＲＡＭ等）に記憶される。

同様に、図８（ａ）の斜線部に示した位置で原稿が読み取られると、図８（ｂ）、（ｃ）に示すような画像データが生成される。そして、各読み取りラインセンサ４０２、４０３において生成された画像データは、図８（ｄ）、（ｅ）に示すように、読み取りラインセンサごとに異なる記憶媒体（ＲＡＭ等）に記憶される。

更に、図９（ａ）の斜線部に示した位置で原稿が読み取られると、図９（ｂ）、（ｃ）に示すような画像データが生成される。そして、各読み取りラインセンサにおいて生成された画像データは、図９（ｄ）、（ｅ）に示すように、読み取りラインセンサごとに異なる記憶媒体（ＲＡＭ等）に記憶される。

最終的には、原稿の全てに光源からの光が照射され、各読み取りラインセンサ４０２、４０３がそれぞれの位置にて原稿を読み取る。

このようにして、生成された画像データは、順次、記憶媒体に記憶されるため、最終的に図１０（ａ）、（ｂ）に示すような副走査方向に１画素分ずれた画像データが２枚生成される。

なお、全ての読み取りラインセンサが同様に動作すると、このように副走査方向にずれた画像データは、ＣＣＤエリアイメージセンサに含まれる読み取りラインセンサのライン数分だけ生成されることとなる。

つまり、このような撮像処理を行うと、一回の読み取り動作で副走査方向に連続して位相がずれた画像データを、複数枚（読み取りラインセンサのライン数分）生成することができる。

４．３ 本実施形態にかかる画像処理装置１００におけるＣＣＤエリアイメージセンサの設置方法
これに対して、超解像処理の実行に際しては、上述のように主走査方向及び副走査方向に原稿の読み取り位置がずれた画像データを複数生成する必要がある。更に、このときの読み取り位置のずれは、１画素未満（サブピクセル）となっていることが必要である。

このため、本実施形態にかかる画像処理装置１００の場合、ＣＣＤエリアイメージセンサは、以下のような設置方法により設置されている。

図１１は、本実施形態にかかる画像処理装置１００におけるＣＣＤエリアイメージセンサ２０９の設置方法を説明するための図である。図１１において、２０９はＣＣＤエリアイメージセンサを示している。

図１１に示すように、本実施形態にかかる画像処理装置１００では、ＣＣＤエリアイメージセンサ２０９を、基準となる設置位置から主走査方向及び副走査方向に対して傾斜させて設置する点に特徴がある。

つまり、基準となる設置位置に設置された場合のＣＣＤエリアイメージセンサ（図４）の主走査方向に対して、ＣＣＤエリアイメージセンサ２０９内の一番下に配列されている読み取りラインセンサが傾斜角度θをなすように設置する。

なお、この場合のＣＣＤエリアイメージセンサ２０９を構成する画素センサの位置は、ＣＣＤエリアイメージセンサ２０９の左端上部を原点として、主走査方向をｘ方向、副走査方向をｙ方向として表すこととする。

つまり、左端上部の座標は（ｘ，ｙ）＝（０，０）と表わし、右端上部の座標は（ｘ，ｙ）＝（１９，０）と表わすこととする。同様に、左端下部の座標は（ｘ，ｙ）＝（０，９）と表わし、右端下部の座標は（ｘ，ｙ）＝（１９，９）と表わすこととする。

１１０３は、ＣＣＤエリアイメージセンサ２０９を構成する１ライン分の読み取りラインセンサを示している。読み取りラインセンサ１１０３は、主走査方向に配列された２０個の画素センサにより構成されている。

つまり、座標位置がそれぞれ（０，４）、（１，４）、（２，４）、・・・・（１９，４）の画素センサにより構成されている。

同様に読み取りラインセンサ１１０４は、座標位置がそれぞれ（０，５）、（１，５）、（２，５）、・・・・（１９，５）の画素センサにより構成されている。

４．４ 本実施形態にかかる画像処理装置１００におけるＣＣＤエリアイメージセンサによる撮像処理方法
次に、上記設置方法によりＣＣＤエリアイメージセンサ２０９が設置された本実施形態にかかる画像処理装置１００の場合における、撮像処理方法について説明する。なお、一般的な画像処理装置における撮像処理方法との相違を明確にするため、説明にあたっては、原稿の画像データとして図５を用いることとする。

以下、読み取りラインセンサ１１０３及び１１０４によって読み取られることにより、どのような画像データが生成されるかについて具体例を挙げて説明する。

なお、読み取りラインセンサ１１０３及び１１０４による読み取り動作は、読み取りラインセンサ４０２及び４０３による読み取り動作と同様である。ただし、基準となる設置位置に対して傾斜角度θを有しているため、各読み取りラインセンサでは、傾斜角度θだけ傾斜した画像データが生成されることとなる。

例えば、読み取りラインセンサ１１０３、１１０４は、図１２（ｂ）、（ｃ）に示すような画像データが生成される。そして、図１２（ｄ）、（ｅ）に示すように、これらの画像データは傾斜したままそれぞれ異なる記憶媒体（ＲＡＭ等）に記憶される。

同様に、読み取り光学ユニット２０３が移動し、光源が動くとともに、図１３（ａ）に示すように、読み取りラインセンサ１１０３、１１０４が読み取る原稿上の位置が変わると、図１３（ｂ）、（ｃ）に示すような画像データが生成される。

そして、図１３（ｄ）、（ｅ）に示すように、各読み取りラインセンサ１１０３、１１０４において生成された画像データはそれぞれ異なる記憶媒体（ＲＡＭ等）に記憶される。

さらに、読み取り光学ユニット２０３が移動し、光源が動くとともに、図１４（ａ）に示すように、読み取りラインセンサ１１０３、１１０４が読み取る原稿上の位置が変わると、図１４（ｂ）、（ｃ）に示すような画像データが生成される。

そして、図１４（ｄ）、（ｅ）に示すように、各読み取りラインセンサにおいて生成された画像データはそれぞれ異なる記憶媒体（ＲＡＭ等）に記憶される。

読み取りラインセンサ１１０３、１１０４にて読み取られた原稿は、最終的には図１５（ａ）、（ｂ）に示すような画像データとなる（いずれも傾斜角度θの傾斜を有する画像データとなる）。

なお、図１１を用いて説明したように、読み取りラインセンサ１１０３と読み取りラインセンサ１１０４は、物理的に副走査方向に１画素センサ分ずれている。したがって、読み取りラインセンサ１１０３を構成する画素センサと、読み取りラインセンサ１１０４を構成する画素センサとでは、水平方向に位相がずれている。

例えば、読み取りラインセンサ１１０３の座標（ｘ，ｙ）＝（１５，４）に位置する画素センサと、読み取りラインセンサ１１０４の座標（ｘ，ｙ）＝（１５，５）に位置する画素センサとでは、ｙ軸方向における位置としてｙ＝１画素センサ分ずれている。このずれは、副走査方向にΔβ画素センサ分のずれをもたらす。

一方、ｘ軸方向における位置は全く同じｘ＝１５である。しかし、傾斜角度θにより、ＣＣＤエリアイメージセンサ２０９全体を傾斜させる前の主走査方向である水平方向で見ると、サブピクセル以内の微小量Δαだけ位相がずれている。

つまり、読み取りラインセンサ内においてｘ軸方向に同じ位置の画素センサであっても、ＣＣＤエリアイメージセンサ２０９を傾斜して設置することにより、主走査方向である水平方向に傾斜角度に依存した微小単位の位相ずれが発生する。

したがって、ＣＣＤエリアイメージセンサ２０９内に定義した読み取りラインセンサにより生成された画像データは、読み取りラインセンサ毎に、異なる位相ずれを持った画像データとなる。

例えば、図１５（ａ）の読み取り画像データと図１５（ｂ）の読み取り画像データとでは、副走査方向にΔβ分ずれるだけでなく、主走査方向にもΔα分だけ、位相がずれたものとなっている。

なお、ここでは、２つの読み取りラインセンサ（読み取りラインセンサ１１０３、１１０４）について説明したが、ＣＣＤエリアイメージセンサを構成する他の読み取りラインセンサについても同様である。

このように、ＣＣＤエリアイメージセンサを傾斜して設置することにより、原稿の１回の読み取り動作で、副走査方向及び主走査方向の位相ずれが１画素未満の画像データを、読み取りラインセンサのライン数分生成することが可能となる。

５．制御装置２１６における解像度変換機能の説明
続いて、制御装置２１６における解像度変換機能について説明する。制御装置２１６における解像度変換機能は、超解像処理と変倍処理とを組み合わせることにより、ターゲット解像度の画像データを生成することを特徴としている。

そこで、以下では、まず、超解像処理の詳細について説明したうえで、本実施形態の制御装置２１６における解像度変換機能について説明することとする。

５．１ 超解像処理の詳細
はじめに、超解像処理の詳細について、具体例を用いて説明する。図１６は、スキャナ部１１０において取得された４枚の低解像度の画像データに基づいて、超解像処理を実施する場合の流れを説明するための図である。

スキャナ部１１０において取得された低解像度の画像データは、傾斜を有しているため、はじめにこれを補正する。この際、取得された低解像度の画像データの傾斜角度θは、ＣＣＤエリアイメージセンサ２０９を含む画像処理装置１００の組み立て過程において、ＣＣＤエリアイメージセンサ２０９を読み取り光学ユニット２０３に実装した際に取得される値である。なお、傾斜角度θは、実装された機器固有の値として画像処理装置１００内部の記憶媒体に保持されているものとする。

画像処理装置１００では、当該傾斜角度情報を用いてアフィン変換を行うことで、生成された低解像度の画像データを回転させ、画像データを走査方向に対しての傾斜を減らすよう補償することで画像データの傾斜を補正する。

アフィン変換前の座標を（Ｘ，Ｙ）、アフィン変換後の座標を（Ｘ’，Ｙ’）、回転角度（ＣＣＤエリアイメージセンサ２０９の傾斜角度）をθとすると、式１に示すようなアフィン変換処理により傾斜を補正した画像データを得ることができる。

上記アフィン変換処理により得られた画像データは、傾斜が補正された低解像度の画像データである。なお、このように傾斜を補正する方法はアフィン変換に限られるものではなく、他の方法を用いても良い。

そして、複数の画像データの傾斜が補正されると、続いて超解像処理が実施される。

図１６において、１６０１〜１６０４は原稿を示している。また、１６１１は原稿をＣＣＤエリアイメージセンサ２０９で読み取ることにより得られた画像データであって、傾斜が補正された基準低解像度画像データを示している。更に、１６１２〜１６１４は対象低解像度画像データを示している。

また、１６２１は基準低解像度画像データ１６１１と対象低解像度画像データ１６１２〜１６１４とを用いて超解像処理することにより得られた超解像画像データを示している。

更に、原稿１６０１〜１６０４をそれぞれ囲む点線矩形は、基準低解像度画像データ１６１１をＣＣＤエリアイメージセンサ２０９で読み取った際の読み取り領域を示している。また、実線矩形は対象低解像度画像データ１６１２〜１６１４それぞれを、ＣＣＤエリアイメージセンサ２０９で読み取った際の読み取り領域を示している。

超解像処理に用いられる複数の低解像度画像データは、主走査方向と副走査方向に対して１画素未満の位相ずれが生じている。そして、この微小な位相ずれを利用することで超解像処理が可能となる。

したがって、生成される超解像画像データを構成する各画素（以下「超解像画素」という）の中には、基準低解像度画像データ及び対象低解像度画像データのいずれにも存在しない画素が存在する。

このような画素については、その超解像画素の周辺に存在する画素の画素値を表す画素データを用いて、所定の補間処理を行うことにより、合成を行いつつ超解像処理を行う。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストレイバ法等を用いることができる。以下、図１７を用いてバイ・リニア法による補間処理について説明する。

バイ・リニア法による補間処理を用いる場合、まず、基準低解像度画像データ及び対象低解像度画像データから、超解像画素１７０１の位置に最も近い距離にある最近傍画素１７０２を抽出する。そして、対象低解像度画像データのうち超解像画素位置を囲む４つの画素を周辺画素１７０２〜１７０５として決定し、周辺画素のデータ値に所定の重み付けを加えた値を平均化して、以下の式により超解像画素のデータ値を得る。
ｆ（ｘ，ｙ）＝［｜ｘ１―ｘ｜｛｜ｙ１−ｙ｜ｆ（ｘ０，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ０，ｙ１）｝＋｜ｘ−ｘ０｜｛｜ｙ１−ｙ｜ｆ（ｘ，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ１，ｙ１）｝］／｜ｘ１−ｘ０｜｜ｙ１−ｙ０｜
以上の処理を各超解像画素について繰り返すことにより、例えば、図１６に示す低解像度画像データから解像度が２倍の超解像画像データ１６２１を得ることができる。なお、解像度は２倍に限らず、種々の倍率とすることができるものとする。また、補間処理に多くの低解像度画像データのデータ値を用いるほど、高精細な超解像画像を得ることが可能となる。

５．２ 本実施形態における解像度変換機能の説明
次に、本実施形態にかかる画像処理装置１００における解像度変換処理の流れについて図１８のフローチャートを用いて説明する。尚、図１８に示すフローチャートに従って実行される解像度変換処理は、ＲＯＭ３０７に格納されたプログラムをデータ処理装置３０１が読み出して実行することにより実現される。

当該プログラムは、ユーザインタフェース３００やＬＡＮコントローラ３０５からの原稿読み取り指示、及びターゲット解像度の選択指示を受け付けると、ステップＳ１８０１にて処理を開始する。

尚、ここではターゲット解像度を２４００ｄｐｉとして説明するが、本実施形態にかかる画像処理装置１００が選択可能なターゲット解像度は、２４００ｄｐｉに限定されない。また、本実施形態で用いるＣＣＤエリアイメージセンサ２０９の解像度は、主走査方向１００ｄｐｉ×副走査方向１００ｄｐｉとして説明するが、これ以外の解像度を有するＣＣＤエリアイメージセンサを用いてもよいことはいうまでもない。

ステップＳ１８０２では、読み取り動作を実行する。具体的には、ＣＣＤエリアイメージセンサ２０９が原稿の撮像を実行する。この時に取得される画像データの画素数は、フレームサイズを２９０ｍｍ×２００ｍｍとすると、ＣＣＤエリアイメージセンサ２０９の解像度は１００ｄｐｉであるため、約１１４０画素×７８０画素となる。

スキャナ部１１０では、照明装置２０４により照明された光が原稿台２０２の原稿にて反射し、更に２０５から２０７までのミラーによって反射される。そして、レンズ２０８によって集光された後、ＣＣＤエリアイメージセンサ２０９にて受光される。

なお、ＣＣＤエリアイメージセンサ２０９では、受光した光信号をアナログ電圧に変換し、ケーブル２１０を介して点順次に制御装置２１６に出力する。

ステップＳ１８０３では、制御装置２１６が、受信したアナログ電圧をデジタル変換し、１１４０画素×７８０画素の画像データを生成する。ステップＳ１８０４では、生成した画像データをＲＡＭ３０６に格納する。

ステップＳ１８０５では、読み取り位置を移動する。この時の移動距離は予め決められているものとする（ただし、指示されたターゲット解像度などに基づいて変更するように構成してもよい）。本実施形態では、移動距離は約１０ｍｍと設定されているものとする。

なお、超解像処理を実行する為には、位相がずれた画像データを複数生成しなければならない。したがって、このときの移動距離は副走査方向に位相ずれを生じさせるものであることが望ましく、ＣＣＤエリアイメージセンサ２０９の副走査方向の解像度（１００ｄｐｉ）の整数倍にならないように設定されることが望ましい。

読み取り位置の移動は、データ処理装置３０１からモータ駆動制御回路２１５に制御信号を出力し、ステッピングモータ２１２が駆動した結果、読み取り光学ユニット２０３が移動することにより実現される。

この動作により、次に読み取り動作が実行された時にＣＣＤエリアイメージセンサ２０９が読み取る原稿の位置は副走査方向に１０ｍｍ移動することとなる。

ステップＳ１８０６では、読み取り位置が原稿終端（最終ライン）に移動したか否かを判断する。ここで、原稿終端まで移動していると判断された場合には、ステップＳ１８０７に進む。一方、原稿終端まで移動していないと判断した場合には、ステップＳ１８０２に戻り、読み取り動作を継続する。

ステップＳ１８０６において、読み取り位置が終端位置まで移動していると判断された時点で、ＲＡＭ３０６には、副走査方向及び主走査方向の位相ずれが１画素未満の画像データが、読み取りラインセンサのライン数分記憶されていることとなる。本実施形態では、１００ｄｐｉの画像データが２１枚記憶されていることとなる。

但し、この２１枚の画像データはそれぞれの読み取り位置が１０ｍｍずつ副走査方向にずれている為、画像データの疎密が出来てしまっている。そして、画像データの密な部分（副走査方向の中央部）は超解像処理によって２４００ｄｐｉの超解像画像データに変換可能である。

一方、上流部分・下流部分は超解像処理により２４００ｄｐｉにするには画像データのデータ量が不足している。そこで、制御装置２１６では、以下のような処理を実行する。なお、以下では、ステップＳ１８０４で記憶されている２１枚の画像データをｉｍｇ［ｍ］（ｍ＝０〜２０）と表わすものとする。

ステップＳ１８０７では、Ｌ＝０として変数Ｌに初期値０を設定する。変数Ｌは、超解像処理を実行する原稿上の副走査方向の位置を示す。本実施形態の場合、読み取り光学ユニット２０３は１０ｍｍずつ、２２０ｍｍ分を移動する。よって副走査位置は０〜２０まで存在することとなる。

ステップＳ１８０８では、Ｌの数字に応じた主走査用ＬＵＴテーブル（Ｈ＿ＴＢＬ［Ｌ］）３０３の値を読み込み、変数ｈｍａｇに格納する。Ｈ＿ＴＢＬ３０３の具体例を、図１９（ａ）に示す。同図に示すように、Ｈ＿ＴＢＬ３０３は、副走査位置（Ｌ）が入力されると、主走査方向において実現可能な解像度が出力される。

ステップＳ１８０９では、Ｌの数字に応じた副走査用ＬＵＴテーブル（Ｖ＿ＴＢＬ［Ｌ］）３０４の値を読み込み、変数ｖｍａｇに格納する。Ｖ＿ＴＢＬ３０４の具体例を、図１９（ｂ）に示す。同図に示すように、Ｖ＿ＴＢＬ３０４は副走査位置（Ｌ）が入力されると、副走査方向において実現可能な解像度が出力される。

ステップＳ１８１０では、超解像処理に用いる画像データを決定する。上述のように原稿端部では１枚の画像データしか選択することができないが、中央部分では最大２０枚までの画像データを選択することができる。

ターゲット解像度である２４００ｄｐｉの解像度変換を行うために必要な画像データを、副走査位置Ｌごとにそれぞれの枚数分選択する。つまり、副走査位置Ｌに対応した枚数の画像データを選択することで副走査位置Ｌにおいてターゲット解像度を実現することができる。

例えば、画像データをｉｍｇ［ｍ］とすると、Ｌ＝０ならばｍ＝０（画像データは１枚）であるが、Ｌ＝１１ならば、ｍ＝１〜２０まで画像データを使うことができるため、Ｎ＝２０となる。図１９（ａ）、（ｂ）の場合、主走査方向、副走査方向共に１００ｄｐｉから２４００ｄｐｉに変換する超解像処理を実行することができる。

ステップＳ１８１１では、実際に指定されたｉｍｇ［ｍ］のＮ枚の画像データの読み込みを行う。読み込んだ画像データに対しては、ステップＳ１８１２にて超解像処理を実行する。この時、ｈｍａｇ、ｖｍａｇそれぞれの解像度で超解像処理を実行し、１枚の超解像画像データを生成する。

ステップＳ１８１３では、ステップＳ１８１２で生成された超解像画像データについて、超解像処理におけるターゲット解像度である２４００ｄｐｉに到達しなかった場合の解像度変換処理として、主走査方向、副走査方向についてそれぞれ変倍処理を実行する。この変倍処理方法については一般的に利用されている方法、例えばバイ・キュービック法などを利用することとする。

ただし、変倍処理方法はこれらに限定されるものではなく、好適な変倍処理を用いることにより２４００ｄｐｉに解像度を変換するものとする。なお、ステップＳ１８１３において用いられる変倍率は、主走査方向については、（２４００ｄｐｉ−ｈｍａｇ）÷ｈｍａｇ、副走査方向については（２４００ｄｐｉ−ｖｍａｇ）÷ｖｍａｇにより算出することができる。

以上の解像度変換処理における超解像処理と変倍処理との割合を図２０の（ａ）、（ｂ）に示す。解像度変換処理をする副走査方向の各位置に応じて、超解像処理と変倍処理の割合が変わり、これにより全ての副走査位置においてターゲット解像度である２４００ｄｐｉの解像度を実現することができる。

例えば、図２０では副走査位置Ｌにおいてｈｍａg＝８００ｄｐｉ、ｖｍａｇ＝６００ｄｐｉであるから、それぞれの変倍率は、
主走査変倍率＝（２４００ｄｐｉ−８００ｄｐｉ）／８００ｄｐｉ＝２００％
副走査変倍率＝（２４００ｄｐｉ−６００ｄｐｉ）／６００ｄｐｉ＝３００％
となる。

ステップＳ１８１４では、最終ライン（Ｌ＝２０）まで解像度変換処理が終了したか否かを判断し、終了していないと判断した場合には、Ｌをインクリメントする。一方、終了したと判断した場合には、ステップＳ１８１６に進む。

ステップＳ１８１６では、解像度変換処理が実行されたＬ＝０〜２０までの画像データ（２１枚）を画像データの副走査方向の各位置に応じて合成する。これにより、低解像度の複数の画像データから超解像画像データを生成することが可能となる。

ステップＳ１８１６において生成された超解像画像データに対しては、ステップＳ１８１７において、領域に応じたフィルタリング処理が実行される。これは、領域ごとに超解像処理と変倍処理とを切り替えたことに起因して発生する切替時の段差を低減させるためである。例えば、変倍処理の割合が大きい原稿端部であるＬ＝０〜３、Ｌ＝１６〜２０では、既に変倍処理によって解像度が落ちている為、弱いフィルタが選択される（第１のフィルタリング手段）。

一方、Ｌ＝８〜１２では超解像処理が効果的に実行されているため、解像度は落ちていない。したがって、フィルタを強くしてＬ＝０〜３、Ｌ＝１６〜２０に近い解像度に落とすことで解像度の差分を低減させる（第２のフィルタリング手段）。

但し、フィルタリング処理に関しては設計時の調整事項であるため、ここに記述した内容に限定されるものではない。

例えば、原稿内の文字の位置を検出して、当該文字が超解像処理での解像度が低い領域に存在しなければ、フィルタリング処理で解像度を多く調整する必要も無くなる。また、ＯＣＲ（文字認識）に利用する場合には、解像度は高い方が良いため、超解像処理での解像度が高い領域において、解像度を調整する必要はない。

以上の説明から明らかなように、本実施形態では、超解像処理に用いる画像データを生成するにあたり、ＣＣＤエリアイメージセンサを原稿サイズの範囲内で動作させる構成とした。そして、超解像処理だけではターゲット解像度を実現することができない、原稿の上流部分と下流部分については、変倍処理を行うことで、ターゲット解像度を実現することとした。

この結果、所望の解像度を省スペースで実現することが可能となった。

［第２の実施形態］
上記第１の実施形態では、原稿サイズが最大の場合について説明したが、本発明はこれに限定されない。

本実施形態では、原稿サイズが最大でない場合（例えばＡ３対応のスキャナ部でＡ４原稿を読み取る場合）について説明する。なお、本実施形態では、第１の実施形態との差異点を中心に説明する。

原稿サイズがＣＣＤエリアイメージセンサの動作範囲に対して最大ではない場合、画像処理装置１００における好適な原稿の載置位置は、副走査方向下流側に移動した位置となる（図２１を参照）。これにより、フレームが重なる領域が原稿台２０２の端部に原稿を載置する場合よりも増え、超解像処理のみでターゲット解像度を実現できる副走査方向の位置が増えることになる。

このように載置された原稿について、第２の実施形態では、図２２のフローチャートに従って解像度変換処理を実行する。但し、図２２のフローチャートのステップＳ２２０１〜ステップＳ２２１７は図１８のステップＳ１８０１〜ステップＳ１８１７と同一の処理であるため、ここでは説明を省略する。

ステップＳ１８１８では、実際のＡ４サイズ領域について超解像処理と変倍処理とによってターゲット解像度を実現した超解像画像データを、適切にＡ４サイズに切り取る。

この場合、生成される超解像画像データは第１の実施形態と同じようになる。但し、実際の読み取り領域は超解像処理の割合が大きい場所とすることで、好適な超解像の画像データが得られることになる。

以上の説明から明らかなように、本実施形態によれば、ＣＣＤエリアイメージセンサの読み取り動作範囲よりも原稿サイズが小さい場合に、最適な解像度変換処理が割り当てられることになる。

［第３の実施形態］
第３の実施形態では、解像度変換処理をＣＣＤエリアイメージセンサ２０９の副走査方向のラインを単位として実行する場合の実施形態を説明する。

図２３を用いて、本実施形態におけるＣＣＤエリアイメージセンサの撮像処理方法について説明する。この場合、ＣＣＤエリアイメージセンサについては、主走査方向の１ラインを１つの画像単位とし、副走査方向の画素センサの数を画像の単位としている。つまり、副走査方向は７８０ライン存在する為、画像データは７８０枚生成される。

第１の実施形態のように１０ｍｍ単位で移動する場合、例えば図２３の第１ラインは原稿上端０ｍｍの位置から１０ｍｍずつで原稿下端部から２００ｍｍまで移動する。一方、第７８０ラインは原稿上端２００ｍｍから、原稿下端０ｍｍまでを１０ｍｍずつ移動する。つまり、第１ラインから第７８０ラインまでは、主走査方向は１１４０画素（約１００ｄｐｉ）であり、副走査方向は２００ｍｍ／１０ｍｍで２０画素（約２.５ｄｐｉ）の画像データが作成される。

但し、第３の実施形態における処理も図１８と同じシーケンスで処理を実行するため、図１８に沿って説明を行う。また、第３の実施形態の場合も、データ処理装置３０１がＲＯＭ３０７に格納されたプログラムにより、上記処理を実行するものとする。

図３の３００や３０５から原稿読み取り指示、及びターゲット解像度の選択指示を受け付けると、図１８のステップＳ１８０１にて処理が開始される。尚、ここでもターゲット解像度を２４００ｄｐｉとして説明するが、本発明はこれに限定されず、２４００ｄｐｉ以外のターゲット解像度を選択可能であることは言うまでもない。また、本実施形態にかかる画像処理装置１００で利用するＣＣＤエリアイメージセンサ２０９の解像度は１００ｄｐｉとして説明するが、１００ｄｐｉ以外のＣＣＤエリアイメージセンサを用いてもよいことはいうまでもない。

ステップＳ１８０２では、読み取り動作を実行する。具体的には、ＣＣＤエリアイメージセンサ２０９が原稿を読み取り、上述のように主走査方向１１４０画素の画像データを７８０枚生成する。

スキャナ部１１０では、照明装置２０４により照明された光が原稿台の原稿にて反射された後、２０５から２０７までのミラーによって反射される。そして、レンズ２０８によって集光されてＣＣＤエリアイメージセンサ２０９にて受光される。

なお、ＣＣＤエリアイメージセンサ２０９では、受光した光信号をアナログ電圧に変換し、ケーブル２１０を介して点順次に制御装置２１６に出力する。

ステップＳ１８０３では、制御装置２１６が、受信したアナログ電圧をデジタル変換し、１１４０画素×７８０画素の画像データを生成する。ステップＳ１８０４では、生成した画像データをＲＡＭ３０６に格納する。

ステップＳ１８０５では、読み取り位置を移動する。この時の移動距離は予め決められているものとする（ただし、指示されたターゲット解像度などによって変更するように構成してもよい）。本実施形態では、移動距離は約１０ｍｍと設定されているものとする。

読み取り位置の移動は、データ処理装置３０１からモータ駆動制御回路２１５に制御信号を出力し、ステッピングモータ２１２を駆動した結果、読み取り光学ユニット２０３が移動することにより実現される。

この動作により、次に読み取り動作が実行された時にＣＣＤエリアイメージセンサ２０９が読み取る原稿の位置は副走査方向に１０ｍｍ移動していることとなる。

ステップＳ１８０６において、読み取り位置が終端位置に到達していると判断された時点で、１１４０画素×２０画素の画像データが７８０枚生成されていることとなる。

但し、画像データの疎密は第１の実施形態と変わっておらず、原稿の上下流部分の画像データのデータ量が少なく、反対に原稿中央部の画像データのデータ量が多い。

ここで、画像データの密な部分（副走査方向の中央部）は超解像処理によって２４００ｄｐｉの超解像画像データに変換することが可能である。一方、上流部分・下流部分は超解像処理で２４００ｄｐｉにするには画像データのデータ量が不足している。本実施形態では、ステップＳ１８０４で記憶されている７８０枚の画像データをｉｍｇ［ｍ］とし、ｍ＝０〜７７９とする。

ステップＳ１８０７では、Ｌ＝０として変数Ｌに初期値０を設定する。変数Ｌは、超解像処理を実行する原稿上の副走査方向の位置を示す。本実施形態の場合、副走査位置は０〜２０まで存在することになる。これは、１０ｍｍずつで移動して読み取り動作を実行している為、第１の実施形態と第３の実施形態は同じ領域分割になる。

ステップＳ１８０８では、Ｌの数字に応じた主走査用ＬＵＴテーブル（Ｈ＿ＴＢＬ［Ｌ］）３０３の値を読み込み、変数ｈｍａｇに格納する。Ｈ＿ＴＢＬ３０３の具体例を、図１９（ａ）に示す。同図に示すように、Ｈ＿ＴＢＬ３０３は、副走査位置（Ｌ）が入力されると、主走査方向において実現可能な解像度が出力される。

ステップＳ１８０９では、Ｌの数字に応じた副走査用ＬＵＴテーブル（Ｖ＿ＴＢＬ［Ｌ］）３０４の値を読み込み、変数ｖｍａｇに格納する。Ｖ＿ＴＢＬ３０４の具体例を、図１９（ｂ）に示す。同図に示すように、Ｖ＿ＴＢＬ３０４は、副走査位置（Ｌ）が入力されると、副走査方向において実現可能な解像度が出力される。

ステップＳ１８１０では、超解像処理に用いる画像データを決定する。上述のように原稿端部では１枚の画像データしか選択することができないが、中央部分では最大７８０枚までの画像データを選択することができる。

ステップＳ１８１１では、実際に指定されたｉｍｇ［ｍ］のＮ枚の画像データの読み込みを行う。読み込んだ画像データに対しては、ステップＳ１８１２にて超解像処理を実行する。この時、ｈｍａｇ、ｖｍａｇそれぞれの解像度で超解像処理を実行し、１枚の超解像画像データを生成する。

ステップＳ１８１３では、ステップＳ１８１２で生成された超解像画像データについて、超解像処理におけるターゲット解像度である２４００ｄｐｉに到達しなかった場合の解像度変換処理として、主走査方向、副走査方向についてそれぞれ変倍処理を実行する。この変倍処理方法については一般的に利用されている方法、例えばバイ・キュービック法などを利用することとする。

ただし、変倍処理方法はこれらに限定されるものではなく、好適な変倍処理を用いることにより２４００ｄｐｉに解像度を変換するものとする。なお、ステップＳ１８１３において用いられる変倍率は、主走査方向については、（２４００ｄｐｉ−ｈｍａｇ）÷ｈｍａｇ、副走査方向については（２４００ｄｐｉ−ｖｍａｇ）÷ｖｍａｇにより算出することができる。

以上の解像度変換処理における超解像処理と変倍処理との割合を図２０の（ａ）、（ｂ）に示す。解像度変換処理をする副走査方向の各位置に応じて、超解像処理と変倍処理の割合が変わり、これにより全ての副走査位置においてターゲット解像度である２４００ｄｐｉの解像度を実現することができる。

例えば、図２０では副走査位置Ｌにおいてｈｍａg＝８００ｄｐｉ、ｖｍａｇ＝６００ｄｐｉであるから、それぞれの変倍率は、
主走査変倍率＝（２４００ｄｐｉ−８００ｄｐｉ）／８００ｄｐｉ＝２００％
副走査変倍率＝（２４００ｄｐｉ−６００ｄｐｉ）／６００ｄｐｉ＝３００％
となる。

ステップＳ１８１４では、最終ライン（Ｌ＝７８０）まで解像度変換処理が終了したか否かを判断し、終了していないと判断した場合には、Ｌをインクリメントする。一方、終了したと判断した場合には、ステップＳ１８１６に進む。

ステップＳ１８１６では、解像度変換処理が実行されたＬ＝０〜７８０までの画像データ（７８０枚）を画像データの副走査方向の各位置に応じて合成する。これにより、低解像度の複数の画像データから超解像画像データを生成することが可能となる。

以上の説明から明らかなように、本実施形態では、超解像処理に用いる画像データを生成するにあたり、ＣＣＤエリアイメージセンサを原稿サイズ内で動作させる構成とした。そして、超解像処理だけではターゲット解像度を実現することができない、原稿の上流部分と下流部分については、変倍処理を行うことで、ターゲット解像度を実現することとした。

この結果、所望の解像度を省スペースで実現することが可能となった。

［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読取可能な記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。

本発明の第１の実施形態にかかる画像処理装置１００の外観を示す図である。 スキャナ部１１０の構成を示す図である。 制御装置２１６の内部構成を示す図である。 一般的なＣＣＤエリアイメージセンサの構成を示す図である。 読み取り対象となる原稿の画像データの一例を示す図である。 一般的な画像処理装置において、読み取りラインセンサにより読み取られることにより生成される画像データを示す図である。 一般的な画像処理装置において、読み取りラインセンサにより読み取られることにより生成される画像データを示す図である。 一般的な画像処理装置において、読み取りラインセンサにより読み取られることにより生成される画像データを示す図である。 一般的な画像処理装置において、読み取りラインセンサにより読み取られることにより生成される画像データを示す図である。 一般的な画像処理装置において、読み取りラインセンサによる読み取りが完了した際に生成される画像データを示す図である。 画像処理装置１００におけるＣＣＤエリアイメージセンサの設置方法を説明するための図である。 画像処理装置１００における読み取りラインセンサにより読み取られることにより生成される画像データを示す図である。 画像処理装置１００における読み取りラインセンサにより読み取られることにより生成される画像データを示す図である。 画像処理装置１００における読み取りラインセンサにより読み取られることにより生成される画像データを示す図である。 画像処理装置１００における読み取りラインセンサによる読み取りが完了した際に生成される画像データを示す図である。 スキャナ部１１０において取得された４枚の低解像度の画像データに基づいて、超解像処理を実施する場合の流れを説明するための図である。 超解像処理の詳細を示す図である。 画像処理装置１００における超解像処理の流れを示すフローチャートである。 主走査位置及び副走査位置における各解像度が記載されたテーブルを示す図である。 解像度変換の割合を示す図である。 原稿サイズが読み取り領域に対して最大でない場合の、好適な読み取り位置を示す図である。 画像処理装置１００における超解像処理の流れを示すフローチャートである。 ＣＣＤエリアイメージセンサの撮像処理方法を説明するための図である。 原稿の範囲内をＣＣＤエリアイメージセンサで読み取り動作することにより得られた画像データと、画像データの疎密との関係を示す図である。 ＣＣＤエリアイメージセンサで読み取り動作する場合の、重複領域を示した図である。

Claims (6)

1. 読み取り位置を主走査方向及び副走査方向にずらして原稿を読み取ることにより取得された複数の画像データであって、該原稿の副走査方向の各位置における、取得された画像データの枚数が異なる該複数の画像データを処理する画像処理装置であって、
   ターゲットとなる解像度の設定を受け付ける受付手段と、
   前記設定された解像度に到達する第１の枚数の画像データが取得された、前記原稿の副走査方向の第１の位置において、該第１の枚数の画像データを用いて超解像処理する超解像処理手段と、
   前記第１の枚数より少ない第２の枚数の画像データが取得された、前記原稿の副走査方向の第２の位置において、該取得された画像データを用いて変倍処理する変倍処理手段と、
   前記超解像処理手段により超解像処理された第１の位置の画像データと前記変倍処理手段により変倍処理された第２の位置の画像データとを合成し、前記読み取った原稿から前記受付手段により設定を受け付けた解像度の画像データを生成する生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記原稿の副走査方向の各位置で取得された画像データを用いて超解像処理した場合の解像度が記録されたテーブルを保持する保持手段を更に備え、
   前記変倍処理手段は、前記保持手段により保持された解像度と、前記受付手段により設定された解像度との差分を用いて、前記第２の位置において変倍処理する際の変倍率を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成された画像データをフィルタリング処理するフィルタリング手段を更に備え、
   前記フィルタリング手段は、前記超解像処理された画像データの解像度が前記受付手段により設定された解像度に到達しない、前記原稿の副走査方向の第２の位置の画像データに対するフィルタリング処理を、前記受付手段により設定された解像度に到達する、前記原稿の副走査方向の第１の位置の画像データに対するフィルタリング処理で用いられるフィルタよりも弱いフィルタを用いて行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記複数の画像データを生成するエリアイメージセンサを更に備え、
   前記エリアイメージセンサは、前記原稿の副走査方向の上端部から副走査方向の下端部までの範囲内を動作することを特徴とする請求項１に記載の画像処理装置。
5. 読み取り位置を主走査方向及び副走査方向にずらして原稿を読み取ることにより取得された複数の画像データであって、該原稿の副走査方向の各位置における、取得された画像データの枚数が異なる該複数の画像データを処理する画像処理装置の画像処理方法であって、
   ターゲットとなる解像度の設定を受け付ける受付工程と、
   前記設定された解像度に到達する第１の枚数の画像データが取得された、前記原稿の副走査方向の第１の位置において、該第１の枚数の画像データを用いて超解像処理する超解像処理工程と、
   前記第１の枚数より少ない第２の枚数の画像データが取得された、前記原稿の副走査方向の第２の位置において、該取得された画像データを用いて変倍処理する変倍処理工程と、
   前記超解像処理工程において超解像処理された第１の位置の画像データと前記変倍処理工程において変倍処理された第２の位置の画像データとを合成し、前記読み取った原稿から前記受付手段により設定を受け付けた解像度の画像データを生成する生成工程と
   を備えることを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法をコンピュータに実行させるためのプログラムを格納したコンピュータ読取可能な記憶媒体。

Images