JP7521311B2 - 読取装置、画像形成装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、読取装置、画像形成装置、画像処理方法およびプログラムに関する。

高速の読み取りによって取得した画像データを高解像度化する読取装置が開発されている。

例えば、シートスルードキュメントフィーダによって読み取られた縮小された画像データを、バイキュービック法等の変倍方法によって拡大する画像処理装置が開示されている。

また、拡大後の画像を高品質にするために、ニューラルネットワークを用いた超解像処理によって画像を拡大する画像処理装置が開示されている。

バイキュービック法、バイリニア法等による拡大処理では、拡大後の画質が十分ではないという問題がある。また、ニューラルネットワークを用いて拡大処理を行うと、演算量が多くなり、画像の拡大に時間がかかるという問題がある。さらに、ニューラルネットワークを用いて画像を拡大する場合、演算結果によっては、拡大された画像が元の画像と乖離した画像になってしまう可能性があるという問題がある。

開示の技術は、十分な画質を維持しつつ、画像の拡大処理を高速化することを目的とする。

開示の技術は、変倍率が５０％であって、前記変倍率に応じて対象物の画像を読み取った読取画像データに予測モデルを用いて第一画像データを生成する第一画像生成部と、前記読取画像データと前記第一画像データとに基づき、第二画像データを生成する第二画像生成部と、前記第一画像データと、前記第二画像データとを合成した画像データを出力する画像出力部と、を備える読取装置である。

十分な画質を維持しつつ、画像の拡大処理を高速化することができる。

読取装置を有する画像形成装置のハードウェア構成の一例を示す図である。 読取装置のハードウェア構成の一例を示す図である。 読取装置の機能の一例を示す図である。 読取装置の処理フローの一例を示す図である。 画像の読み取り方法を説明するための図である。 （ａ）等倍読取画像の一例を示す図、（ｂ）変倍率５０％の読取画像の一例を示す図である。 変倍率５０％の読取画像の生成方法を説明するための図である。 読取装置の画像処理を説明するための図である。 読取装置の画像処理の変形例を説明するための図である。 従来の画像処理方法を説明するための第一の図である。 従来の画像処理方法を説明するための第二の図である。

以下に図面を参照して、本発明の実施の形態について説明する。

図１は、読取装置を有する画像形成装置のハードウェア構成の一例を示す図である。

画像形成装置１００は、読取装置１１０と、印刷装置１２０と、給紙装置１４０と、操作装置１５０と、を備える。

読取装置１１０は、対象物の画像を読み取って、画像データを出力する装置である。読取装置１１０は、密着センサ１１１と、白色ローラ１１２と、挿入口から挿入された対象物を密着センサ１１１と白色ローラ１１２との間に搬送するローラ１１３と、画像データを画像処理によって加工して出力する制御装置１１４と、を有する。

密着センサ１１１に取り付けられたＬＥＤ（Light Emitted Diode）は、ローラ１１３により搬送された対象物に対して光を照射する。また、密着センサ１１１に取り付けられたイメージセンサは、対象物からの反射光を検出して、電気信号を出力する。イメージセンサから出力される電気信号は、Ａ／Ｄ変換回路等によってデジタル信号に変換され、制御装置１１４に送信される。

印刷装置１２０は、読取装置１１０が出力した画像データに示される画像を印刷する装置である。印刷装置１２０は、帯電装置１２１と、発光素子アレイユニット１２２と、感光体ドラム１２３と、を有する。

帯電装置１２１は、感光体ドラム１２３を－１２００ボルトに一様に帯電させるグリッド付きのスコロトロンチャージャである。発光素子アレイユニット１２２は、ＬＥＤ（もしくはＬＤ）をアレイ状に並べたものであり、ＳＬＡ（セルフォック（登録商標）レンズアレイ）を介して感光体ドラム１２３に対してＬＥＤ光（もしくはＬＤ光）を照射する。

発光素子アレイユニット１２２は、感光体ドラム１２３に対してＬＥＤ光を照射するにあたり、対象物の画像において濃度の淡い部分については、ＬＥＤを発光せず、対象物の画像において濃度の濃い部分については、ＬＥＤを発光する。これにより、感光体ドラム１２３には、対象物の画像の濃淡に対応した静電潜像が形成される。

印刷装置１２０は、更に、現像ユニット１２４と、レジストローラ１２５と、転写チャージャ１２６と、分離チャージャ１２７と、搬送タンク１２８と、定着ユニット１２９と、排紙ローラ１３０，１３１と、を有する。

現像ユニット１２４は、感光体ドラム１２３に形成された静電潜像を現像する。現像ユニット１２４内のトナーは撹拌により負に帯電されており、－７００ボルトのバイアスが印加されているため、現像ユニット１２４は、ＬＥＤ光が照射された部分にだけトナーを付着させることができる。

レジストローラ１２５は、所定のタイミングで感光体ドラム１２３の下部を用紙が通過するように、当該用紙を搬送する。転写チャージャ１２６は、レジストローラ１２５により感光体ドラム１２３の下部を用紙が通過している間に、トナー像を当該用紙に転写する。

分離チャージャ１２７は、トナー像が転写された用紙を感光体ドラム１２３から分離させる。搬送タンク１２８は、分離された用紙を定着ユニット１２９に搬送する。

定着ユニット１２９は、用紙に転写されたトナー像を定着させる。排紙ローラ１３０、１３１は、トナー像が定着された用紙を排紙する。

給紙装置１４０は、用紙を印刷装置１２０に供給する装置である。また、操作装置１５０は、ユーザから画像の読み取り、印刷の開始等の操作を受ける装置である。

図２[岩瀬1]は、読取装置のハードウェア構成の一例を示す図である。

読取装置１１０は、前述のように、密着センサ１１１と、白色ローラ１１２と、ローラ１１３と、制御装置１１４と、を備える。

制御装置１１４は、読取装置１１０の各機器を制御する。また、制御装置１１４は、密着センサ１１１から取得した信号に基づいて画像データを生成し、生成した画像データを印刷装置１２０に送信する。

制御装置１１４は、コンピュータによって構成され、ＣＰＵ（Central Processing Unit）１１４１と、メモリ１１４２と、通信ＩＦ１１４３と、を備える。

ＣＰＵ１１４１は、演算装置であって、後述する各種処理を実行する。

メモリ１１４２は、主記憶装置であって、ＣＰＵ１１４１に各種の処理を実行させるためのプログラムや各種情報を記憶する。また、メモリ１１４２は、ＣＰＵ１１４１のワークエリアとして使用される。

通信ＩＦ１１４３は、密着センサ１１１、白色ローラ１１２、ローラ１１３等の読取装置１１０が備える機器との間、または印刷装置１２０、給紙装置１４０、操作装置１５０等の画像形成装置１００が備える他の装置との間で、データ通信をするためのインターフェースである。

図３は、読取装置の機能の一例を示す図である。

読取装置１１０は、記憶部１１と、読取部１２と、読取画像生成部１３と、第一画像生成部１４と、第二画像生成部１５と、画像合成部１６と、画像出力部１７と、を備える。

記憶部１１は、各種データを記憶する。具体的には、記憶部１１は、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）９０を記憶する。畳み込みニューラルネットワーク９０は、入力されたパラメータに基づいて出力値を算出するための予測モデルの一例である。記憶部１１は、制御装置１１４のメモリ１１４２によって実現される。

読取部１２は、所定の変倍率に応じた速度でラインごとに対象物の画像を読み取る。変倍率は、操作装置１５０を介してユーザからの指示を受けて決定される。例えば、変倍率が５０％と指定されると、読取部１２は、等倍と指定された場合の約２倍の速度で読み取る。読取部１２は、密着センサ１１１によって実現される。

読取画像生成部１３は、読取部１２が読み取った対象物の画像を示す読取画像データを生成する。例えば、変倍率が５０％と指定されると、生成される読取画像データは、副走査方向の解像度が等倍と指定された場合の半分のデータである。

第一画像生成部１４は、読取画像データに基づいて第一画像データを生成する。具体的には、第一画像生成部１４は、畳み込みニューラルネットワーク９０を用いて第一画像データを生成する。例えば、変倍率が５０％と指定された場合は、第一画像生成部１４は、偶数ラインの画素値を推定して、偶数ラインの画素値からなる偶数ライン画像データを生成する。偶数ライン画像データは、変倍率が５０％と指定された場合の第一画像データの一例である。なお、偶数ラインとは、副走査方向のライン数が２ライン目、４ライン目、６ライン目、・・・である。

第二画像生成部１５は、読取画像データと第一画像データとに基づく演算によって第二画像データを生成する。例えば、変倍率が５０％と指定された場合は、読取画像データに含まれる画素値（読取画素値ｃ）と第一画像データに含まれる画素値（第一画素値ａ）とに基づいて、読取画素値ｃが第一画素値あと第二画素値ｂとの平均値となる第二画素値ｂを算出し、算出された第二画素値ｂによって示される第二画像データを生成する。

すなわち、読取画素値ｃ、第一画素値ａおよび第二画素値ｂは、以下の式（１）の関係となる。

ｃ＝（ａ＋ｂ）／２・・・式（１）

すなわち、第二画像生成部１５は、以下の式（２）によって、第二画素値ｂを算出する。

ｂ＝２ｃ－ａ・・・式（２）

この場合、第二画素値ｂは、奇数ラインの画素値であって、第二画像データは、奇数ラインの画素値からなる奇数ライン画像データである。したがって、奇数ライン画像データは、変倍率が５０％と指定された場合の第二画像データの一例である。

画像合成部１６は、第一画像データに含まれる画素値または第二画像データに含まれる画素値をラインごとに含む画像を示す画像データを生成する。例えば、変倍率が５０％と指定された場合は、画像合成部１６は、第一画像データに含まれる画素値と第二画像データに含まれる画素値とをラインごとに交互に配置して、拡大された画像データを生成する。

読取画像生成部１３、第一画像生成部１４、第二画像生成部１５および画像合成部１６は、ＣＰＵ１１４１によって実現される。

画像出力部１７は、画像合成部１６によって生成された画像データを印刷装置１２０に出力する。画像出力部１７は、通信ＩＦ１１４３によって実現される。

次に、画像形成装置１００の動作について説明する。

操作装置１５０は、ユーザの操作を受けて、対象物の読み取りの開始と、指定された変倍率と、を示す信号を読取装置１１０に送信する。

読取装置１１０は、操作装置１５０から信号を受信すると、対処物を読み取る処理を開始する。

図４は、読取装置の処理フローの一例を示す図である。

読取装置１１０の読取部１２は、対象物の画像を読み取る（ステップＳ１１）。具体的には、読取部１２は、指定された変倍率に対応した速度で対象物の画像を読み取る。例えば、読取装置１１０は、密着センサ１１１が備えるラインセンサ等を用いて、対象物をライン単位で読み取っていく。以下、変倍率が５０％と指定された場合の例を示す。

図５は、画像の読み取り方法を説明するための図である。

読取部１２は、ラインセンサ２０１または対象物２００を副走査方向に移動させつつ、対象物２００をライン単位で主走査方向に読み取る。変倍率が指定されると、読取部１２は、ラインセンサ２０１または対象物２００の副走査方向への移動速度を変えることによって、等倍よりも高速に読み取ることができる。

図４に戻り、次に、読取画像生成部１３は、変倍率５０％の読取画像データを生成する（ステップＳ１２）。

図６は、（ａ）等倍読取画像の一例を示す図、（ｂ）変倍率５０％の読取画像の一例を示す図である。

例えば、読取部１２は、等倍が指定された場合の読取画像２０２の主走査方向および副走査方向の解像度がともに６００ｄｐｉである場合、変倍率５０％が指定された場合の読取画像２０３の主走査方向の解像度は６００ｄｐｉ、副走査方向の解像度は３００ｄｐｉである。

図７は、変倍率５０％の読取画像の生成方法を説明するための図である。

読取部１２は、変倍率５０％で読み取る場合、２ライン分をまとめて1ラインとして読み取る。例えば、図６（ａ）に示す等倍の読取画像データ２１０の７ライン目と８ライン目について注目すると、読取画像データ２１０には、7ライン目と８ライン目の画素値を示すライン画像データ２１１が含まれる。

この場合、読取画像生成部１３は、ライン画像データ２１１を平均化したライン画像データ２１２を生成する。例えば、ライン画像データ２１２は、ライン画像データ２１１の上下２つ分の画素値の平均値を画素値とする画素から構成される。

図４に戻り、第一画像生成部１４は、畳み込みニューラルネットワーク９０に読取画像データを入力して、偶数ライン画像データを生成する（ステップＳ１３）。

具体的には、第一画像生成部１４は、畳み込みニューラルネットワーク９０を用いて、読取画像データから偶数ラインの画素値を推定して、推定された偶数ラインの画素値からなる偶数ライン画像データを生成する。

次に、第二画像生成部１５は、読取画像データと偶数ライン画像データに基づく演算によって、奇数ライン画像データを生成する（ステップＳ１４）。

具体的には、第二画像生成部１５は、読取画像データに含まれる画素値（読取画素値ｃ）と第一画像データに含まれる画素値（第一画素値ａ）とに基づいて、読取画素値ｃが第一画素値あと第二画素値ｂとの平均値となる第二画素値ｂを算出し、算出された第二画素値ｂによって示される第二画像データを生成する。

続いて、画像合成部１６は、偶数ライン画像データと奇数ライン画像データとを合成して、拡大された画像データを生成する（ステップＳ１５）。

具体的には、画像合成部１６は、画像合成部１６は、第一画像データに含まれる画素値と第二画像データに含まれる画素値とをラインごとに交互に配置して、拡大された画像データを生成する。

そして、画像出力部１７は、拡大された画像データを出力する（ステップＳ１６）。出力された画像データに基づいて、印刷装置１２０は、用紙等に画像を印刷する。

図８は、読取装置の画像処理を説明するための図である。

読取画像データ２２０は、読取画像生成部１３によって図４のステップＳ１２で生成される画像データである。偶数ライン画像データ２２１は、第一画像生成部１４によってステップＳ１３の処理で、読取画像データ２２０を畳み込みニューラルネットワーク９０に入力して、生成される画像データである。

第二画像生成部１５は、ステップＳ１４の処理によって、偶数ライン画像データ２２１の画素値ａと、読取画像データ２２０の画素値ｃと、に基づいて、奇数ライン画像データの画素値ｂを算出する。

図８に示す画像データ２２２は、奇数ラインの画素値を０として、偶数ライン画像データ２２１を引き延ばしたものである。また、画像データ２２３は、偶数ラインの画素値を０として、奇数ライン画像データを引き延ばした画像データである。

画像合成部１６は、画像データ２２２と画像データ２２３とを合成することによって、偶数ライン画像データ２２１の画素値と奇数ライン画像データの画素値とをラインごとに交互に配置した画像データ２２４を生成する。

次に、第一画像生成部１４による第一画像データの別の生成方法について、説明する。

図９は、読取装置の画像処理の変形例を説明するための図である。

第一画像生成部１４は、畳み込みニューラルネットワーク９０に読取画像データ２２０を入力して、読取画像データ２２０の特徴量を算出しても良い。この場合、第一画像生成部１４は、算出された特徴量を示すデータ２３０を用いて、読取画像データ２２０から偶数ライン画像データ２２１を生成する。

具体的には、データ２３０は、偶数ラインの各画素における係数αの集合である。第一画像生成部１４は、読取画像データ２２０の各画素値ｃに係数αを掛けた値ａを、生成される偶数ライン画像データ２２１の画素値とする。すなわち、偶数ライン画像データ２２１の画素値ａは、以下の式（３）によって算出される。

ａ＝ｃ×α・・・式（３）

次に、本実施形態との比較のために、従来の画像処理方法について説明する。

従来、変倍率が小さく指定された画像を等倍で読み取られた画像と同じサイズに拡大する方法として、バイキュービック法、バイリニア法といった、処理対象の画素の周囲の数画素の画素値を用いて推定することによって、拡大後の画像データを生成する方法が知られている。このような従来の方法では、等倍で読み取られた画像と比較して、拡大後の画像の精度が高くないという問題があった。

これに対して、本実施形態に係る読取装置１１０によれば、畳み込みニューラルネットワークを使用することによって、精度の高い画像を得ることができる。

また、畳み込みニューラルネットワークを使用する画像処理方法についての従来の方法を例示する。

図１０は、従来の画像処理方法を説明するための第一の図である。

従来のＳＲＣＮＮ（Super-Resolution Convolution Neural Network）による画像処理方法では、入力画像をバイキュービック法にて、所望の解像度（副走査方向：Ｈ画素、主走査方向：Ｗ画素）に拡大し、拡大された画像データを畳み込みニューラルネットワークに入力することによって、拡大された画像データを得る。

図１１は、従来の画像処理方法を説明するための第二の図である。

従来のＳＲＲｅｓｎｅｔ（Super-Resolution Residual Network）による画像処理方法では、入力画像（副走査方向：h画素、主走査方向：w画素）のサイズのまま畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークの最終段付近では所望の解像度（副走査方向：Ｈ画素、主走査方向：Ｗ画素）に拡大された画像を入力させる。

図１０および図１１に示した従来の画像処理方法では、いずれも入力画像から拡大された画像に対して畳み込み演算を行うため、演算量が多い。これに対して、上述した実施形態に係る読取装置１１０によれば、入力画像のサイズのまま処理を行うため、図１０および図１１に示した従来の画像処理方法よりも演算量が少ない。

具体的には、読取装置１１０は、偶数ライン画像データの作成にのみ畳み込み演算を行い、奇数ライン画像データの作成には畳み込み演算を行わないため、従来の畳み込みニューラルネットワークを用いた超解像処理に比べて演算量を削減することができる。例えば、従来のＳＲＣＮＮによる画像処理方法と比較して、演算量を約半分にすることができる。

また、本実施形態では、変倍率が５０％と指定された場合について例示したが、本発明の範囲はこれに限られない。例えば、変倍率が７５％と指定された場合は、読取部１２は、等倍が指定された場合の４／３の移動速度で、対象物の画像を読み取る。そして、読取画像生成部１３は、副走査方向の解像度が、等倍で読み取った場合の３／４の読取画像データを生成する。

この場合、第一画像生成部１４は、４ラインごとに３ライン分の第一画像データを生成し、第二画像生成部１５は、４ラインごとに１ライン分の第二画像データを生成する。画像合成部１６は、４ラインごとに３ライン分の第一画像データの画素値と、４ラインごとに１ライン分の第二画像データの画素値と、を含む画像データを生成する。

このように、指定された変倍率に応じた配分で、第一画像データと第二画像データとをラインごとに配置することによって、指定された変倍率に応じた画像処理が可能となる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１１ 記憶部
１２ 読取部
１３ 読取画像生成部
１４ 第一画像生成部
１５ 第二画像生成部
１６ 画像合成部
１７ 画像出力部
１００ 画像形成装置
１１０ 読取装置
１２０ 印刷装置
１４０ 給紙装置
１５０ 操作装置

特開２００１－１５７０４２号公報 国際公開第２０１８／２１６２０７号

Claims (8)

1. 変倍率が５０％であって、前記変倍率に応じて対象物の画像を読み取った読取画像データに予測モデルを用いて第一画像データを生成する第一画像生成部と、
   前記読取画像データと前記第一画像データとに基づき、第二画像データを生成する第二画像生成部と、
   前記第一画像データと、前記第二画像データとを合成した画像データを出力する画像出力部と、を備える、
   読取装置。
2. 前記予測モデルは、畳み込みニューラルネットワークである、
   請求項１に記載の読取装置。
3. 前記変倍率が５０％である場合、
   前記画像出力部は、前記第一画像データに含まれる画素値と前記第二画像データに含まれる画素値とをラインごとに交互に含む画像を示す前記画像データを出力する、
   請求項１または２に記載の読取装置。
4. 前記第二画像生成部は、前記読取画像データに含まれる読取画素値と前記第一画像データに含まれる第一画素値とに基づいて、前記読取画素値が前記第一画素値と第二画素値との平均値となる第二画素値を算出し、算出された前記第二画素値によって示される前記第二画像データを生成する、
   請求項２に記載の読取装置。
5. 前記第一画像生成部は、畳み込みニューラルネットワークを用いて前記読取画像データの特徴量を算出し、算出された前記特徴量に基づいて前記第一画像データを生成する、
   請求項１から３のいずれか１項に記載の読取装置。
6. 読取装置と印刷装置とを備える画像形成装置であって、
   前記読取装置は、
   変倍率が５０％であって、前記変倍率に応じて対象物の画像を読み取った読取画像データに予測モデルを用いて第一画像データを生成する第一画像生成部と、
   前記読取画像データと前記第一画像データとに基づき、第二画像データを生成する第二画像生成部と、
   前記第一画像データと、前記第二画像データとを合成した画像データを出力する画像出力部と、を備え、
   前記印刷装置は、前記画像出力部が出力した前記画像データに示される画像を印刷する、
   画像形成装置。
7. 読取装置が実行する画像処理方法であって、
   変倍率が５０％であって、前記変倍率に応じて対象物の画像を読み取った読取画像データに予測モデルを用いて第一画像データを生成するステップと、
   前記読取画像データと前記第一画像データとに基づき、第二画像データを生成するステップと、
   前記第一画像データと、前記第二画像データとを合成した画像データを出力するステップと、を備える、
   画像処理方法。
8. コンピュータに、
   変倍率が５０％であって、前記変倍率に応じて対象物の画像を読み取った読取画像データに予測モデルを用いて第一画像データを生成するステップと、
   前記読取画像データと前記第一画像データとに基づき、第二画像データを生成するステップと、
   前記第一画像データと、前記第二画像データとを合成した画像データを出力するステップと、
   を実行させるためのプログラム。

Images