JP6953372B2 - 画像処理装置、制御方法及び制御プログラム - Google Patents

Description

本発明は、画像処理装置、制御方法及び制御プログラムに関し、特に、搬送された原稿の表面を撮像した表面画像と裏面を撮像した裏面画像とを合成する画像処理装置、制御方法及び制御プログラムに関する。

一般に、原稿を搬送させながら撮像するスキャナ等の画像処理装置は、搬送される原稿を分離するための分離機能を有し、原稿トレイに載置された複数の原稿を分離しながら一枚ずつ搬送させる。しかしながら、二つ折りの原稿等が搬送される場合に原稿を分離しようとすると原稿の損傷又はジャムが発生する可能性がある。そのため、二つ折りの原稿を搬送させる場合、利用者は、画像処理装置において分離機能を停止するように設定してから原稿を搬送させる。また、一般に、画像処理装置は、原稿の表面を撮像する撮像装置と裏面を撮像する撮像装置とを有し、原稿の表面と裏面をまとめて撮像する。即ち、二つ折りの原稿が搬送される場合、画像処理装置は、二つ折りにされた外側の面をまとめて撮像する。その場合、二つの撮像装置により撮像された二つの画像には、一つの繋がった原稿が撮像されているため、画像処理装置は、その二つの画像を合成することが望ましい。

例えば、画像処理装置は、分離機能を停止するように設定されているか否かにより、原稿の表面を撮像した画像と、裏面を撮像した画像とを合成するか否かを決定することができる。しかしながら、薄紙、傷を有する原稿、ミシン目を有する原稿、又は、付箋紙若しくは写真が貼り付けられた原稿等が搬送される場合も原稿を分離しようとすると原稿の損傷が発生する可能性がある。したがって、二つ折りの原稿以外の原稿が搬送される場合にも、画像処理装置において分離機能を停止するように設定されている可能性がある。画像処理装置では、表面を撮像した画像と、裏面を撮像した画像とを合成するか否かを適切に決定することが望まれている。

超音波式の重送検知センサを用いて原稿の重送を検知する重送検知手段と、重送検知後の次操作を指定する操作手段とを備え、操作手段の操作に基づいて、重送と検知された原稿の表裏画像を結合する画像処理装置が開示されている（特許文献１を参照）。

大判読み取りモードが設定され、超音波受信器の受信結果から、搬送される原稿が半折された原稿であると判定した場合に、原稿を表側から読み取った画像と裏側から読み取った画像とを１つの画像に連結する画像読取装置が開示されている（特許文献２を参照）。

二つ折り原稿の両面読み取り指示を受け付けた場合、両面の画像を合成して１つの画像データとする読取装置が開示されている（特許文献３を参照）。

特開２０１７−２０８６２７号公報 特開２０１０−１５４１１２号公報 特開２０１６−１２７３３０号公報

画像処理装置に対する画像の合成指示を利用者に実行させると、利用者にとって手間となる。そのため、画像処理装置が、搬送された原稿が、表面を撮像した画像と、裏面を撮像した画像とを合成すべき原稿であるか否かを判定して、二つの画像を合成するか否かを自動的に決定することが望まれている。

本発明の目的は、搬送された原稿が、表面を撮像した画像と、裏面を撮像した画像とを合成すべき原稿であるか否かをより高精度に判定することができる画像処理装置、制御方法及び制御プログラムを提供することにある。

本実施形態の一側面に係る画像処理装置は、搬送された原稿の表面を撮像した表面画像と、搬送された原稿の裏面を撮像した裏面画像とを生成する画像生成部と、搬送された原稿の特徴を検出する特徴検出部と、撮像部が生成した表面画像及び裏面画像と、特徴検出部が検出した特徴とに基づいて、表面画像の第１端部と第１端部に対応する裏面画像の第２端部とが連結しているか否かを判定する連結判定部と、連結判定部が第１端部と第２端部とが連結していると判定した場合、表面画像と裏面画像を合成する合成部とを有する。

また、本実施形態の一側面に係る制御方法は、画像処理装置の制御方法であって、搬送された原稿の表面を撮像した表面画像と、搬送された原稿の裏面を撮像した裏面画像とを生成し、搬送された原稿の特徴を検出し、生成した表面画像及び裏面画像と、検出した特徴とに基づいて、表面画像の第１端部と第１端部に対応する裏面画像の第２端部とが連結しているか否かを判定し、第１端部と第２端部とが連結していると判定した場合、表面画像と裏面画像を合成することを含む。

また、本実施形態の一側面に係る制御プログラムは、画像処理装置の制御プログラムであって、搬送された原稿の表面を撮像した表面画像と、搬送された原稿の裏面を撮像した裏面画像とを生成し、搬送された原稿の特徴を検出し、生成した表面画像及び裏面画像と、検出した特徴とに基づいて、表面画像の第１端部と第１端部に対応する裏面画像の第２端部とが連結しているか否かを判定し、第１端部と第２端部とが連結していると判定した場合、表面画像と裏面画像を合成することを画像処理装置に実行させる。

本発明によれば、画像処理装置、制御方法及び制御プログラムは、搬送された原稿が、表面を撮像した画像と、裏面を撮像した画像とを合成すべき原稿であるか否かをより高精度に判定することが可能となる。

実施形態に従った画像処理システムの一例の構成図である。 画像読取装置内部の搬送経路を説明するための図である。 画像読取装置及び情報処理装置の概略構成を示すブロック図である。 第１記憶装置及び第１ＣＰＵの概略構成を示す図である。 画像読取装置の全体処理の動作の例を示すフローチャートである。 判定処理の動作の例を示すフローチャートである。 出力信号の特性について説明するための図である。 原稿の折り目ずれについて説明するための図である。 原稿の折り目ずれについて説明するための図である。 原稿の折り目ずれについて説明するための図である。 累積スキューによる原稿の傾きについて説明するための図である。 連結判定処理の動作の例を示すフローチャートである。 他の連結判定処理の動作の例を示すフローチャートである。 さらに他の連結判定処理の動作の例を示すフローチャートである。 他の実施形態に従った第１処理回路の概略構成を示すブロック図である。

以下、本発明の一側面に係る画像処理システムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に従った画像処理システム１の一例の構成図である。

画像処理システム１は、画像読取装置１００及び情報処理装置２００を備える。画像読取装置１００は、画像処理装置の一例であり、イメージスキャナ等である。画像読取装置１００は、複写機、ファクシミリ、ＭＦＰ（Multifunction Peripheral）等でもよい。情報処理装置２００は、画像処理装置の他の例であり、パーソナルコンピュータ、多機能携帯端末、携帯電話等である。画像読取装置１００及び情報処理装置２００は、相互に接続されている。

画像読取装置１００は、下側筐体１０１、上側筐体１０２、原稿台１０３、排出台１０５及び表示操作装置１０６等を備える。

上側筐体１０２は、画像読取装置１００の上面を覆う位置に配置され、下側筐体１０１に係合している。原稿台１０３は、原稿を載置可能な位置に配置され、原稿の載置台として機能する。排出台１０５は、排出された原稿を保持する。

表示操作装置１０６は、表示部及び操作部の一例である。表示操作装置１０６は、液晶、有機ＥＬ（Electro-Luminescence）等から構成されるディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、画像データをディスプレイに表示する。また、表示操作装置１０６は、タッチパネル式の入力デバイス及び入力デバイスから信号を取得するインタフェース回路をさらに有し、利用者による操作を受け付け、利用者の入力に応じた信号を出力する。なお、表示装置と操作装置は、別個に設けられてもよい。

図２は、画像読取装置１００内部の搬送経路を説明するための図である。

画像読取装置１００内部の搬送経路は、第１センサ１１１、給紙ローラ１１２ａ、１１２ｂ、リタードローラ１１３ａ、１１３ｂ、超音波発振器１１４ａ、超音波受信器１１４ｂ、第１搬送ローラ１１５ａ、１１５ｂ、第１従動ローラ１１６ａ、１１６ｂ、第１撮像装置１１８ａ、第２撮像装置１１８ｂ、第２搬送ローラ１２０ａ、１２０ｂ及び第２従動ローラ１２１ａ、１２１ｂ等を有している。

以下では、給紙ローラ１１２ａ、１１２ｂを総じて給紙ローラ１１２と称する場合がある。また、リタードローラ１１３ａ、１１３ｂを総じてリタードローラ１１３と称する場合がある。また、第１搬送ローラ１１５ａ及び１１５ｂを総じて第１搬送ローラ１１５と称する場合がある。また、第１従動ローラ１１６ａ及び１１６ｂを総じて第１従動ローラ１１６と称する場合がある。また、第２搬送ローラ１２０ａ及び１２０ｂを総じて第２搬送ローラ１２０と称する場合がある。また、第２従動ローラ１２１ａ及び１２１ｂを総じて第２従動ローラ１２１と称する場合がある。また、第１撮像装置１１８ａ及び第２撮像装置１１８ｂを総じて撮像装置１１８と称する場合がある。

上側筐体１０２の下面は原稿の搬送路の上側ガイド１０８ａを形成し、下側筐体１０１の上面は原稿の搬送路の下側ガイド１０８ｂを形成する。図２において矢印Ａ１は原稿の搬送方向を示す。以下では、上流とは原稿の搬送方向Ａ１の上流のことをいい、下流とは原稿の搬送方向Ａ１の下流のことをいう。

第１センサ１１１は、接触検出センサであり、給紙ローラ１１２及びリタードローラ１１３の上流側に配置され、原稿台１０３に原稿が載置されているか否かを検出する。

超音波発振器１１４ａ及び超音波受信器１１４ｂは、原稿の搬送路の近傍に、搬送路を挟んで対向して配置される。超音波発振器１１４ａは超音波を出力する。超音波受信器１１４ｂは、超音波発振器１１４ａから出力され、原稿を通過した超音波を受信し、受信した超音波に応じた電気信号である出力信号を生成して出力する。以下では、超音波発振器１１４ａ及び超音波受信器１１４ｂを総じて超音波センサ１１４と称する場合がある。

第１撮像装置１１８ａは、撮像部の一例であり、主走査方向に直線状に配列されたＣＣＤ（Charge Coupled Device）による撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）を有する。また、第１撮像装置１１８ａは、撮像素子上に像を結ぶレンズと、撮像素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。第１撮像装置１１８ａは、搬送された原稿の裏面を撮像した裏面入力画像を生成して出力する。

同様に、第２撮像装置１１８ｂは、撮像部の一例であり、主走査方向に直線状に配列されたＣＣＤによる撮像素子を備える等倍光学系タイプのＣＩＳを有する。また、第２撮像装置１１８ｂは、撮像素子上に像を結ぶレンズと、撮像素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。第２撮像装置１１８ｂは、搬送された原稿の表面を撮像した表面入力画像を生成して出力する。

なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）が使用されてもよい。また、ＣＩＳの代わりに縮小光学系タイプの撮像センサが使用されてもよい。

原稿台１０３に載置された原稿は、給紙ローラ１１２が矢印Ａ２の方向に回転することによって、上側ガイド１０８ａと下側ガイド１０８ｂの間を原稿搬送方向Ａ１に向かって搬送される。リタードローラ１１３は、原稿搬送時、矢印Ａ３の方向に回転する。給紙ローラ１１２及びリタードローラ１１３の働きにより、原稿台１０３に複数の原稿が載置されている場合、原稿台１０３に載置されている原稿のうち給紙ローラ１１２と接触している原稿のみが分離される。これにより、給紙ローラ１１２及びリタードローラ１１３は、原稿を搬送する搬送部として機能するとともに、分離された原稿以外の原稿の搬送が制限されるように動作し（重送の防止）、原稿を分離する分離部として機能する。

原稿は、上側ガイド１０８ａと下側ガイド１０８ｂによりガイドされながら、第１搬送ローラ１１５と第１従動ローラ１１６の間に送り込まれる。原稿は、第１搬送ローラ１１５が矢印Ａ４の方向に回転することによって、第１撮像装置１１８ａと第２撮像装置１１８ｂの間に送り込まれる。撮像装置１１８により読み取られた原稿は、第２搬送ローラ１２０が矢印Ａ５の方向に回転することによって排出台１０５上に排出される。

図３は、画像読取装置１００及び情報処理装置２００の概略構成を示すブロック図である。

画像読取装置１００は、前述した構成に加えて、駆動装置１３４、第１インタフェース装置１３５、第１記憶装置１４０、第１ＣＰＵ（Central Processing Unit）１６０及び第１処理回路１８０等をさらに有する。

駆動装置１３４は、１つ又は複数のモータを含み、ＣＰＵ１６０からの制御信号によって、給紙ローラ１１２、リタードローラ１１３、第１搬送ローラ１１５及び第２搬送ローラ１２０を回転させて原稿の搬送動作を行う。

第１インタフェース装置１３５は、例えばＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインタフェース回路を有する。第１インタフェース装置１３５は、情報処理装置２００と通信接続して各種の画像及び情報を送受信する。また、第１インタフェース装置１３５の代わりに、無線信号を送受信するアンテナと、所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信部が用いられてもよい。所定の通信プロトコルは、例えば無線ＬＡＮ（Local Area Network）である。

第１記憶装置１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶装置１４０には、画像読取装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第１記憶装置１４０にインストールされてもよい。可搬型記録媒体は、例えばＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等である。また、第１記憶装置１４０には、データとして、各種の画像が格納される。

第１ＣＰＵ１６０は、予め第１記憶装置１４０に記憶されているプログラムに基づいて動作する。なお、第１ＣＰＵ１６０に代えて、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）等が用いられてよい。また、第１ＣＰＵ１６０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programming Gate Array）等が用いられてもよい。

第１ＣＰＵ１６０は、表示操作装置１０６、第１センサ１１１、超音波センサ１１４、撮像装置１１８、駆動装置１３４、第１インタフェース装置１３５、第１記憶装置１４０及び第１処理回路１８０等と接続され、これらの各部を制御する。第１ＣＰＵ１６０は、駆動装置１３４の駆動制御、撮像装置１１８の原稿読取制御等を行う。

第１処理回路１８０は、撮像装置１１８から取得した画像に補正処理等の所定の画像処理を施す。なお、第１処理回路１８０として、ＬＳＩ、ＤＳＰ、ＡＳＩＣ又はＦＰＧＡ等が用いられてもよい。

情報処理装置２００は、表示装置２０１、操作装置２０２、第２インタフェース装置２０３、第２記憶装置２２０、第２ＣＰＵ２４０及び第２処理回路２６０等を有する。

表示装置２０１は、液晶、有機ＥＬ等から構成されるディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有し、第２ＣＰＵ２４０からの指示に従って、画像データをディスプレイに表示する。

操作装置２０２は、入力デバイス及び入力デバイスから信号を取得するインタフェース回路をさらに有し、利用者による操作を受け付け、利用者の入力に応じた信号を第２ＣＰＵ２４０に出力する。

第２インタフェース装置２０３は、第１インタフェース装置１３５と同様のインタフェース回路又は無線通信インタフェース回路を有し、画像読取装置１００と通信接続して各種の画像及び情報を送受信する。

第２記憶装置２２０は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第２記憶装置２２０には、情報処理装置２００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第２記憶装置２２０にインストールされてもよい。また、第２記憶装置２２０には、データとして、各種の画像が格納される。

第２ＣＰＵ２４０は、予め第２記憶装置２２０に記憶されているプログラムに基づいて動作する。なお、第２ＣＰＵ２４０に代えて、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。

第２ＣＰＵ２４０は、表示装置２０１、操作装置２０２、第２インタフェース装置２０３、第２記憶装置２２０及び第２処理回路２６０等と接続され、これらの各部を制御する。第２ＣＰＵ２４０は、各装置の制御を行い、画像読取装置１００から取得した画像に対する画像処理を実行する。

第２処理回路２６０は、画像読取装置１００から取得した画像に補正処理等の所定の画像処理を施す。なお、第２処理回路２６０として、ＬＳＩ、ＤＳＰ、ＡＳＩＣ又はＦＰＧＡ等が用いられてもよい。

図４は、画像読取装置１００の第１記憶装置１４０及び第１ＣＰＵ１６０の概略構成を示す図である。

図４に示すように、第１記憶装置１４０には、画像生成プログラム１４１、特徴検出プログラム１４２、連結判定プログラム１４３、合成プログラム１４４及び画像出力プログラム１４５等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。第１ＣＰＵ１６０は、第１記憶装置１４０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、第１ＣＰＵ１６０は、画像生成部１６１、特徴検出部１６２、連結判定部１６３、合成部１６４及び画像出力部１６５として機能する。

図５は、画像読取装置１００の全体処理の動作の例を示すフローチャートである。以下、図５に示したフローチャートを参照しつつ、画像読取装置１００の全体処理の動作の例を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１４０に記憶されているプログラムに基づき主に第１ＣＰＵ１６０により画像読取装置１００の各要素と協働して実行される。なお、全体処理が実行される際、原稿の分離機能は停止し、リタードローラ１１３は、給紙ローラ１１２に従って回転するように設定されている。

最初に、画像生成部１６１は、利用者により、表示操作装置１０６を用いて、原稿の読み取りを指示する操作が実行され、その操作に応じた操作信号を表示操作装置１０６から受信するまで待機する（ステップＳ１０１）。

次に、画像生成部１６１は、第１センサ１１１から受信する第１原稿検出信号に基づいて原稿台１０３に原稿が載置されているか否かを判定する（ステップＳ１０２）。

原稿台１０３に原稿が載置されていない場合、画像生成部１６１は、ステップＳ１０１へ処理を戻し、表示操作装置１０６から新たに操作信号を受信するまで待機する。

一方、原稿台１０３に原稿が載置されている場合、画像生成部１６１は、駆動装置１３４を駆動して給紙ローラ１１２、第１搬送ローラ１１５及び第２搬送ローラ１２０を回転させて、原稿を搬送させる（ステップＳ１０３）。

次に、画像生成部１６１は、搬送された原稿を撮像装置１１８に読み取らせ、撮像装置１１８から表面入力画像及び裏面入力画像を取得する。画像生成部１６１は、表面入力画像から、搬送された原稿の表面を撮像した表面画像を生成し、裏面入力画像から、搬送された原稿の裏面を撮像した裏面画像を生成する（ステップＳ１０４）。

画像生成部１６１は、まず、表面入力画像及び裏面入力画像のそれぞれから水平方向（主走査方向）、垂直方向（副走査方向）のそれぞれについてエッジ画素を抽出する。画像生成部１６１は、各入力画像の水平方向、垂直方向のそれぞれについてエッジ画素からなるエッジ画像を生成する。画像生成部１６１は、各入力画像内の画素の水平方向の両隣の画素の輝度値の差の絶対値（以下、隣接差分値と称する）を算出し、隣接差分値が閾値Th1を越える場合、その入力画像上の画素を垂直エッジ画素として抽出する。この閾値Th1は、例えば、人が画像上の輝度の違いを目視により判別可能な輝度値の差（例えば20）に設定することができる。画像生成部１６１は、各入力画像について垂直方向にも同様の処理を行い、水平エッジ画素を抽出する。

なお、画像生成部１６１は、各入力画像内の画素の水平又は垂直方向の所定距離だけ離れた画素の輝度値の差の絶対値を隣接差分値として算出してもよい。また、画像生成部１６１は、各画素の輝度値に代えて、各画素の色値（Ｒ値、Ｇ値又はＢ値）を用いて隣接差分値を算出してもよい。また、画像生成部１６１は、各入力画像の輝度値又は色値を閾値と比較することによりエッジ画素を抽出してもよい。例えば、画像生成部１６１は、特定の画素の輝度値又は色値が閾値未満であり、その特定の画素に隣接する画素又はその特定の画素から所定距離だけ離れた画素の輝度値又は色値が閾値以上である場合、その特定の画素をエッジ画素とする。

次に、画像生成部１６１は、抽出したエッジ画素から複数の直線を検出する。画像生成部１６１は、水平方向、垂直方向の各エッジ画像から複数の直線を抽出する。画像生成部１６１は、ハフ変換を用いて直線を検出する。なお、画像生成部１６１は、最小二乗法を用いて直線を検出してもよい。

次に、画像生成部１６１は、検出した複数の直線から矩形を検出する。画像生成部１６１は、検出した複数の直線のうち二本ずつが略直交する四本の直線から構成される複数の矩形候補を抽出する。画像生成部１６１は、まず水平方向の直線（以下、第１の水平線と称する）を一つ選択し、選択した直線と略平行（例えば±3°以内）かつ閾値Th2以上離れた水平方向の直線（以下、第２の水平線と称する）を抽出する。次に、画像生成部１６１は、第１の水平線と略直交する（例えば90°に対して±3°以内）垂直方向の直線（以下、第１の垂直線と称する）を抽出する。次に、画像生成部１６１は、第１の水平線と略直交し、かつ第１の垂直線と閾値Th3以上離れた垂直方向の直線（以下、第２の垂直線と称する）を抽出する。なお、閾値Th2及び閾値Th3は、画像読取装置１００の読取りの対象となる原稿のサイズに応じて予め定められ、同じ値としてもよい。

画像生成部１６１は、抽出した全ての直線について、上記の条件を満たす第１の水平線、第２の水平線、第１の垂直線及び第２の垂直線の全ての組合せを抽出し、抽出した各組合せから構成される矩形を矩形候補として抽出する。画像生成部１６１は、抽出した矩形候補について面積を算出し、面積が所定値未満である矩形候補を除去する。画像生成部１６１は、残った矩形候補の中で最も面積が大きい矩形候補を矩形として検出する。一方、画像生成部１６１は、矩形候補が一つも残らなかった場合、矩形を検出しない。画像生成部１６１は、表面入力画像から検出した矩形を切り出して表面画像を生成し、裏面入力画像から検出した矩形を切り出して裏面画像を生成する。

次に、特徴検出部１６２は、超音波センサ１１４から、原稿が搬送されている間に出力された出力信号を取得する（ステップＳ１０５）。

次に、特徴検出部１６２及び連結判定部１６３は、判定処理を実行する（ステップＳ１０６）。判定処理において、特徴検出部１６２は、搬送された原稿の特徴を検出する。また、判定処理において、連結判定部１６３は、表面画像及び裏面画像と、特徴検出部１６２が検出した特徴とに基づいて、表面画像の何れかの端部である第１端部と、その第１端部に対応する裏面画像の第２端部とが連結しているか否かを判定する。判定処理の詳細については後述する。

次に、合成部１６４は、判定処理において、連結判定部１６３が第１端部と第２端部とが連結していると判定したか否かを判定する（ステップＳ１０７）。

連結判定部１６３が第１端部と第２端部とが連結していると判定した場合、合成部１６４は、表面画像と裏面画像とを合成し、合成画像を生成する（ステップＳ１０８）。合成部１６４は、表面画像の第１端部と裏面画像の第２端部において相互に対応する画素同士が接するように合成画像を生成する。一方、連結判定部１６３が第１端部と第２端部とが連結していないと判定した場合、合成部１６４は、表面画像と裏面画像とを合成しない。

次に、画像出力部１６５は、合成画像又は表面画像及び裏面画像を第１インタフェース装置１３５を介して情報処理装置２００へ出力する（ステップＳ１０９）。画像出力部１６５は、合成部１６４が合成画像を生成した場合、合成画像を情報処理装置２００へ出力し、合成部１６４が合成画像を生成していない場合、表面画像及び裏面画像を情報処理装置２００へ出力する。情報処理装置２００は、第２インタフェース装置２０３を介して合成画像又は表面画像及び裏面画像を取得し、取得した画像を表示装置２０１に表示する。

次に、画像生成部１６１は、第１センサ１１１から受信する第１原稿検出信号に基づいて原稿台１０３に原稿が残っているか否かを判定する（ステップＳ１１０）。

原稿台１０３に原稿が残っている場合、画像生成部１６１は、ステップＳ１０３へ処理を戻し、ステップＳ１０３〜Ｓ１１０の処理を繰り返す。一方、原稿台１０３に原稿が残っていない場合、画像生成部１６１は、一連の処理を終了する。

図６は、判定処理の動作の例を示すフローチャートである。図６に示す判定処理は、図５に示すフローチャートのステップＳ１０６において実行される。

最初に、特徴検出部１６２は、搬送された原稿の特徴として、超音波センサ１１４から取得した出力信号に基づいて、搬送された原稿の重送が発生しているか否かを検出する（ステップＳ２０１）。

図７は、出力信号の特性について説明するための図である。

図７のグラフ７００において、実線７０１は単数のＰＰＣ（Plain Paper Copier）用紙の原稿が搬送されている場合の出力信号の特性を示し、実線７０２は単数の厚紙の原稿が搬送されている場合の出力信号の特性を示す。一方、実線７０３は複数のＰＰＣ用紙の原稿が搬送されている場合の出力信号の特性を示し、実線７０４は複数の厚紙の原稿が搬送されている場合の出力信号の特性を示す。グラフ７００の横軸は時間を示し、縦軸は出力信号の信号値を示す。グラフ７００に示されるように、原稿が超音波センサ１１４の間を通過する区間７０５において、超音波発振器１１４ａから出力される超音波は原稿を通過することにより減衰し、出力信号は減衰する。特に、超音波発振器１１４ａから出力される超音波が複数の原稿を通過したときの出力信号の減衰量は、単数の原稿を通過したときの出力信号の減衰量より大きくなる。そのため、出力信号の信号値が重送判定閾値未満であるか否かにより原稿が複数搬送されているか否かを判定することができる。

特徴検出部１６２は、原稿が超音波センサ１１４を通過している間に取得した出力信号の信号値が、予め設定された重送判定用閾値未満であるか否かを判定することにより、原稿の重送が発生しているか否かを判定する。特徴検出部１６２は、出力信号の信号値の最小値が重送判定用閾値未満であり、且つ、出力信号の信号値が重送判定用閾値未満である期間が所定期間以上である場合、原稿の重送が発生したと判定する。特に、特徴検出部１６２は、出力信号の信号値の最大値と最小値の差が所定値以上である場合、サイズが異なる複数の原稿又は揃っていない状態の複数の原稿が搬送されていると判定する。一方、特徴検出部１６２は、出力信号の最大値と最小値の差が所定値未満である場合、サイズが同一である複数の原稿が揃って搬送されていると判定する。

また、特徴検出部１６２は、出力信号の信号値の最小値が重送判定用閾値以上である場合、又は、出力信号の信号値の最小値が重送判定用閾値未満である期間が所定期間未満である場合、原稿の重送が発生していないと判定する。特に、特徴検出部１６２は、出力信号の信号値の最小値が重送判定用閾値未満であり、且つ、出力信号の信号値の最小値が重送判定用閾値未満である期間が所定期間未満である場合、付箋紙又は写真が貼り付けられた原稿が搬送されていると判定する。

特徴検出部１６２が原稿の重送が発生していないと判定した場合、連結判定部１６３は、搬送される原稿は一枚であり、表面画像の第１端部と裏面画像の第２端部とが連結していないと判定し（ステップＳ２０２）、一連のステップを終了する。

一方、特徴検出部１６２は、原稿の重送が発生していると判定した場合、搬送された原稿の特徴として、超音波センサ１１４から取得した出力信号に基づいて、搬送された原稿の厚さを検出する（ステップＳ２０３）。

図７のグラフ７００に示されるように、区間７０５において、超音波発振器１１４ａから出力される超音波が厚紙の原稿を通過したときの出力信号の減衰量は、ＰＰＣ用紙の原稿を通過したときの出力信号の減衰量より大きくなる。そのため、出力信号の信号値が厚紙判定閾値未満であるか否かにより、搬送される原稿が厚紙であるか否かを判定することができる。

特徴検出部１６２は、取得した出力信号の信号値が、予め設定された厚紙判定用閾値未満であるか否かを判定することにより、搬送された原稿が厚紙であるか否かを判定する。なお、画像読取装置１００は、複数の厚さ毎に、各厚さの原稿に対応する信号値の範囲を第１記憶装置１４０に予め記憶しておいてもよい。その場合、特徴検出部１６２は、第１記憶装置１４０に記憶された範囲の中から、取得した出力信号の信号値が含まれる範囲を特定し、特定した範囲に対応する厚さを、搬送された原稿の厚さとして検出する。

次に、特徴検出部１６２は、搬送された原稿の特徴として、画像生成部１６１により生成された表面画像又は裏面画像に写っている原稿の外形に第１歪みが発生しているか否かを検出する（ステップＳ２０４）。第１歪みは、原稿の折り目ずれである。

図８Ａ〜図８Ｃは、原稿の折り目ずれについて説明するための図である。

図８Ａに示す画像８００は、一枚だけ搬送された原稿を撮像した画像である。図８Ａに示すように、原稿が一枚だけ搬送される場合、搬送された原稿８０１を撮像した画像８００から直線８０２〜８０５が良好に検出され、直線８０２〜８０５から矩形８０６が良好に検出される。

図８Ｂに示す画像８１０は、複数枚まとめて搬送された原稿を撮像した画像である。図８Ｂに示すように、原稿が複数枚まとめて搬送される場合、搬送された複数の原稿８１１〜８１３から様々な直線が検出され、矩形が検出されない可能性が高い。また、各原稿は、様々な方向に向けて且つ様々なタイミングで搬送される可能性が高く、矩形が検出された場合でも、矩形内において原稿及び背景がどのように写るかは、各原稿が搬送される方向及びタイミングに応じて大きく異なる。

図８Ｃに示す画像８２０は、二つ折りにされた原稿を撮像した画像である。図８Ｃに示すように、原稿が二つ折りにされている場合、二つ折りにされた原稿８２１と原稿８２２がずれた状態で搬送されて、原稿８２１と原稿８２２の間に折り目ずれが発生する可能性がある。その場合、画像８２０において、折り目ずれにより、原稿８２１及び原稿８２２に基づいて検出される矩形８２３と、原稿８２１及び原稿８２２との間に、背景（原稿の裏当て）８２４、８２５が写る可能性がある。

特徴検出部１６２は、画像生成部１６１により抽出された矩形候補の内、表面画像（又は裏面画像）の右上端、右下端、左上端又は左下端の何れかを含み且つ面積が所定範囲内である矩形候補を、折り目ずれにより写った背景として検出する。所定範囲は、事前の実験により、予め設定される。特徴検出部１６２は、表面画像（又は裏面画像）の左上端及び左下端に折り目ずれにより写った背景を検出し且つその画像の右上端及び右下端に折り目ずれにより写った背景を検出しなかった場合、その画像の左端側に折り目ずれが発生していると判定する。その場合、特徴検出部１６２は、その画像の右端側に原稿の折り目が存在すると判定する。一方、特徴検出部１６２は、表面画像（又は裏面画像）の右上端及び右下端に折り目ずれにより写った背景を検出し且つその画像の左上端及び左下端に折り目ずれにより写った背景を検出しなかった場合、その画像の右端側に折り目ずれが発生していると判定する。その場合、特徴検出部１６２は、その画像の左端側に原稿の折り目が存在すると判定する。また、特徴検出部１６２は、他の場合には、原稿の外形に折り目ずれが発生していないと判定する。

なお、特徴検出部１６２は、画像が入力された場合に、その画像に写っている原稿が折り目ずれを有している度合いを出力するように事前学習された識別器により、原稿の外形に折り目ずれが発生しているか否かを判定してもよい。この識別器は、例えばディープラーニング等により、二つ折りでない原稿を撮影した複数の画像、及び、二つ折りの原稿を撮影した複数の画像を用いて事前学習され、予め第１記憶装置１４０に記憶される。この識別器は、入力された画像の右端側に折り目ずれが発生している可能性が高い程、第１出力値が高くなり、入力された画像の左端側に折り目ずれが発生している可能性が高い程、第２出力値が高くなるように事前学習される。特徴検出部１６２は、表面画像（又は裏面画像）を識別器に入力し、識別器から出力された各出力値が所定値以上であるか否かにより、原稿の外形に折り目ずれが発生しているか否かを判定する。

次に、特徴検出部１６２は、搬送された原稿の特徴として、画像生成部１６１により生成された表面画像又は裏面画像に写っている原稿の外形に第２歪みが発生しているか否かを検出する（ステップＳ２０５）。第２歪みは、累積スキューによる原稿の傾きである。

累積スキューとは、給紙ローラ１１２ａ及びリタードローラ１１３ａと、給紙ローラ１１２ｂ及びリタードローラ１１３ｂとで、搬送される原稿に加えられる力（負荷）が異なることにより、原稿が搬送されるにつれて特定の方向に傾いていくことをいう。画像読取装置１００内部の搬送経路には、原稿搬送方向Ａ１と直交する方向（主走査方向）において、中央部を挟んで、給紙ローラ１１２ａ及びリタードローラ１１３ａと、給紙ローラ１１２ｂ及びリタードローラ１１３ｂとが配置されている。二つ折りの原稿が搬送される場合、折り目が膨らむことにより、折り目が存在する側の厚さは、折り目が存在しない側の厚さより厚くなる。そのため、給紙ローラ１１２ａ及びリタードローラ１１３ａと、給紙ローラ１１２ｂ及びリタードローラ１１３ｂとで、搬送される原稿に加えられる力（負荷）が異なり、原稿は、搬送されるにつれて折り目が存在する側に傾いていく。

図９は、累積スキューによる原稿の傾きについて説明するための図である。

図９に示す画像９００は、累積スキューにより傾いて搬送された原稿を撮像した画像である。図９に示すように、累積スキューにより原稿が傾いて搬送される場合、原稿９０１は、先端側９０３から後端側９０２に向かって、徐々に傾いていくように撮像される。したがって、原稿９０１の右端について、後端側９０２で検出される直線９０４と垂直方向Ａ６とがなす角度θ１は、先端側９０３で検出される直線９０５と垂直方向Ａ６とがなす角度θ２より大きくなる。同様に、原稿９０１の左端について、後端側９０２で検出される直線９０６と垂直方向Ａ６とがなす角度θ３は、先端側９０３で検出される直線９０７と垂直方向Ａ６とがなす角度θ４より大きくなる。

一方、一枚の原稿が搬送される場合、仮にその原稿が傾いて搬送されても、累積スキューは発生せずに、原稿は常に一定の方向に傾いて搬送される。したがって、画像上で検出される矩形は全体的に傾き、矩形に含まれる各直線と垂直方向とがなす角度は変化しない。また、複数枚まとめて原稿が搬送される場合、上記したように、搬送された複数の原稿から様々な直線が検出され、矩形が検出されない可能性が高い。また、複数枚まとめて原稿が搬送される場合も、累積スキューは発生しないため、仮に矩形が検出されても、その矩形は全体的に傾き、矩形に含まれる各直線と垂直方向とがなす角度は変化しない。

特徴検出部１６２は、画像生成部１６１により垂直エッジ画素から検出された直線の内、水平方向Ａ７において最も外側であり且つ垂直方向Ａ６において最も上側に検出された二つの直線を抽出する。特徴検出部１６２は、抽出した各直線と垂直方向Ａ６とがなす角度θ１、θ３を算出し、その平均値を算出する。同様に、特徴検出部１６２は、画像生成部１６１により垂直エッジ画素から検出された直線の内、水平方向Ａ７において最も外側であり且つ垂直方向Ａ６において最も下側に検出された二つの直線を抽出する。特徴検出部１６２は、抽出した各直線と垂直方向Ａ６とがなす角度θ２、θ４を算出し、その平均値を算出する。特徴検出部１６２は、角度θ１、θ３の平均値と角度θ２、θ４の平均値との差が所定値以上である場合、累積スキューによる原稿の傾きが発生していると判定し、その差が所定値未満である場合、累積スキューによる原稿の傾きが発生していないと判定する。また、特徴検出部１６２は、累積スキューによる原稿の傾きが発生していると判定した場合、その画像内で、原稿の下端側が傾いていく方向と反対側に折り目が存在すると判定する。

次に、特徴検出部１６２は、搬送された原稿の特徴として、画像生成部１６１により生成された表面画像又は裏面画像のサイズを検出する（ステップＳ２０６）。特徴検出部１６２は、表面画像又は裏面画像の面積（画素数）をそのサイズとして算出する。

次に、連結判定部１６３は、特徴検出部１６２が検出した特徴に基づいて、表面画像と裏面画像とが連結している確度（確からしさ）を算出する（ステップＳ２０７）。なお、連結判定部１６３は、表面画像（又は裏面画像）の四つの端部毎に、各端部が連結している確度を算出してもよい。

ステップＳ２０１で、サイズが同一である複数の原稿が揃って搬送されていると判定された場合、サイズが異なる複数の原稿又は揃っていない状態の複数の原稿が搬送されていると判定された場合より、二つ折りの原稿が搬送されている可能性が高い。そのため、連結判定部１６３は、サイズが同一である複数の原稿が揃って搬送されていると判定された場合の確度が、サイズが異なる複数の原稿又は揃っていない状態の複数の原稿が搬送されていると判定された場合の確度より高くなるように確度を算出する。なお、連結判定部１６３は、原稿の重送が発生していないと判定された場合、各画像が連結していないと判定しなくてもよい。その場合、連結判定部１６３は、原稿の重送が発生していないと判定された場合の確度が、サイズが異なる複数の原稿又は揃っていない状態の複数の原稿が搬送されていると判定された場合の確度よりさらに低くなるように確度を算出する。

また、厚紙を二つ折りにすることは困難であるため、ステップＳ２０３で、厚紙が搬送されていると判定された場合、二つ折りの原稿が搬送されている可能性が低い。そのため、連結判定部１６３は、ステップＳ２０３で検出された原稿の厚さが薄い程、確度が高くなるように確度を算出する。

また、ステップＳ２０４で原稿の折り目ずれが検出された場合、二つ折りの原稿が搬送されている可能性が高い。そのため、連結判定部１６３は、原稿の折り目ずれが検出された場合の確度が、原稿の折り目ずれが検出されていない場合の確度より高くなるように確度を算出する。また、連結判定部１６３は、原稿の折り目ずれが検出された場合、さらに、折り目が存在すると判定された端部の確度が、他の端部の確度より高くなるように、各端部の確度を算出してもよい。

また、ステップＳ２０５で累積スキューによる原稿の傾きが検出された場合、二つ折りの原稿が搬送されている可能性が高い。そのため、連結判定部１６３は、累積スキューによる原稿の傾きが検出された場合の確度が、累積スキューによる原稿の傾きが検出されていない場合の確度より高くなるように確度を算出する。また、連結判定部１６３は、累積スキューによる原稿の傾きが検出された場合、さらに、折り目が存在すると判定された端部の確度が、他の端部の確度より高くなるように、各端部の確度を算出してもよい。

また、画像読取装置１００で搬送可能なサイズの原稿は、二つ折りにして搬送される可能性が低い。したがって、ステップＳ２０６で検出された画像のサイズが、画像読取装置１００の搬送可能サイズの５０％以下である場合、二つ折りの原稿が搬送されている可能性が低い。そのため、連結判定部１６３は、ステップＳ２０６で検出された画像のサイズが、画像読取装置１００の搬送可能サイズの５０％を超える場合の確度が、５０％以下である場合の確度より高くなるように確度を算出する。

なお、特徴検出部１６２は、検出した特徴の内の少なくとも一つに基づいて確度を算出すればよく、検出した特徴の任意の組合せに基づいて確度を算出してよい。

次に、連結判定部１６３は、特徴検出部１６２が算出した確度に基づいて、表面画像の第１端部と裏面画像の第２端部とが連結しているか否かを判定するための所定の基準を変更する（ステップＳ２０８）。所定の基準の詳細については後述する。

次に、連結判定部１６３は、連結判定処理を実行し（ステップＳ２０９）、一連の処理を終了する。連結判定処理において、連結判定部１６３は、表面画像及び裏面画像と、特徴検出部１６２が検出した特徴とに基づいて、表面画像の第１端部と裏面画像の第２端部とが連結しているか否かを判定する。特に、連結判定部１６３は、ステップＳ２０８で変更された所定の基準に基づいて、表面画像の第１端部と裏面画像の第２端部とが連結しているか否かを判定する。連結判定処理の詳細については後述する。

図１０は、連結判定処理の動作の例を示すフローチャートである。図１０に示す連結判定処理は、図６に示すフローチャートのステップＳ２０９において実行される。

最初に、連結判定部１６３は、表面画像の四つの端部のそれぞれに対応する（各端部と連結している可能性がある）裏面画像の端部を抽出する（ステップＳ３０１）。連結判定部１６３は、表面画像の右辺、左辺、上辺及び下辺にそれぞれ対応する裏面画像の端部として、裏面画像の左辺、右辺、上辺及び下辺を抽出する。

次に、連結判定部１６３は、表面画像の四つの端部毎に、各端部と、各端部に対応する裏面画像の端部とが連結している度合いを示す評価値を算出する（ステップＳ３０２）。まず、連結判定部１６３は、表面画像の特定の端部に含まれる特定の画素から所定範囲内に位置する画素の階調値の平均値を算出する。次に、連結判定部１６３は、その特定の端部に対応する裏面画像の端部において、その特定の画素に対応する各位置（二つの端部が隣接している場合に接する位置）から所定範囲内に位置する画素の階調値の平均値を算出する。

連結判定部１６３は、ＲＧＢ各色毎に、各階調値の平均値を算出し、表面画像の特定の端部について算出した階調値の平均値と、裏面画像の対応する端部について算出した階調値の平均値との差分値を算出する。連結判定部１６３は、表面画像の特定の端部に含まれる全ての画素についてＲＧＢ各色毎にこの差分値を算出し、ＲＧＢ各色毎に算出した差分値の平均値（又は最大値）が第１閾値以下である画素の数を、その特定の端部の評価値として算出する。

次に、連結判定部１６３は、表面画像の四つの端部の全てについて評価値を算出したか否かを判定する（ステップＳ３０３）。

まだ評価値を算出していない端部が存在する場合、連結判定部１６３は、処理をステップＳ３０２に戻し、まだ評価値を算出していない端部について評価値を算出する。表面画像の全ての端部について評価値を算出した場合、連結判定部１６３は、評価値が最も高い表面画像の端部、及び、その端部に対応する裏面画像の端部を合成候補として抽出する（ステップＳ３０４）。

次に、連結判定部１６３は、表面画像の四つの端部の評価値の総和に対する、合成候補の端部の評価値の比率を算出する（ステップＳ３０５）。

次に、連結判定部１６３は、算出した比率が第２閾値以上であるか否かを判定する（ステップＳ３０６）。

算出した比率が第２閾値以上である場合、連結判定部１６３は、表面画像の合成候補の端部と裏面画像の合成候補の端部とが連結していると判定し（ステップＳ３０７）、一連のステップを終了する。

一方、算出した比率が第２閾値未満である場合、連結判定部１６３は、表面画像の端部と裏面画像の端部とが連結していないと判定し（ステップＳ３０８）、一連のステップを終了する。

このように、連結判定部１６３は、表面画像の四つの端部の評価値の総和に対する、第１端部の評価値の比率を第２閾値と比較した結果に基づいて、第１端部と第２端部とが連結しているか否かを判定する。連結判定部１６３は、端部が連結しているか否かを、その端部のみに対する絶対的な評価だけでなく、全ての端部と比較した相対的な評価、即ち各端部における評価の偏りに基づいて判定するため、判定精度を向上させることができる。

また、連結判定部１６３は、第１端部に対応する各画素から所定範囲内の画素の階調値の平均値と、第２端部に対応する各画素から所定範囲内の画素の階調値の平均値とを比較した結果に基づいて、第１端部と前記第２端部とが連結しているか否かを判定する。特に、連結判定部１６３は、第１端部に係る平均値と、第２端部に係る平均値との差分値を第１閾値と比較した結果に基づいて、第１端部と第２端部とが連結しているか否かを判定する。連結判定部１６３は、端部が連結しているか否かを、画像の色味の連続性に基づいて判定するため、判定精度を向上させることができる。

連続判定処理で使用される所定範囲、第１閾値及び／又は第２閾値は、所定の基準の一例であり、事前に設定され、図６のステップＳ２０８において変更される。

例えば、所定範囲の最小範囲は、水平及び垂直方向に１画素以内の範囲に設定され、所定範囲の最大範囲は、水平及び垂直方向に５画素以内の範囲に設定される。連結判定部１６３は、特徴検出部１６２が算出した確度が高い程、所定範囲が大きくなるように所定範囲を変更し、表面画像と裏面画像とが連結していると判定し易くする。また、端部毎に確度が算出されている場合、連結判定部１６３は、端部毎に、確度が高い程、所定範囲が大きくなるように所定範囲を変更し、その端部とその端部に対応する裏面画像の端部とが連結していると判定し易くする。

第１閾値は、例えば、４以上且つ１６以下の値に設定される。また、連結判定部１６３は、確度が高い程、第１閾値が大きくなるように第１閾値を補正し、表面画像と裏面画像とが連結していると判定し易くする。なお、連結判定部１６３は、確度が高い程、表面画像の各端部について算出した差分値が小さくなるように、差分値を補正してもよい。また、端部毎に確度が算出されている場合、連結判定部１６３は、端部毎に、確度が高い程、第１閾値が大きくなるように第１閾値を補正し、その端部とその端部に対応する裏面画像の端部とが連結していると判定し易くする。なお、連結判定部１６３は、端部毎に、確度が高い程、表面画像のその端部について算出した差分値が小さくなるように、差分値を補正してもよい。

第２閾値は、例えば、２５％以上且つ７５％以下の値に設定される。また、連結判定部１６３は、確度が高い程、第２閾値が小さくなるように第２閾値を補正し、表面画像と裏面画像とが連結していると判定し易くする。なお、連結判定部１６３は、確度が高い程、合成候補の端部について算出した比率が大きくなるように、比率を補正してもよい。また、端部毎に確度が算出されている場合、連結判定部１６３は、合成候補の端部の確度が高い程、又は、他の端部の確度が低い程、第２閾値が小さくなるように第２閾値を補正し、その端部とその端部に対応する裏面画像の端部とが連結していると判定し易くする。なお、連結判定部１６３は、合成候補の端部の確度が高い程、又は、他の端部の確度が低い程、合成候補の端部について算出した比率が大きくなるように、比率を補正してもよい。

なお、連結判定部１６３は、所定範囲、第１閾値、差分値、第２閾値及び比率の内の少なくとも一つを変更又は補正すればよく、任意の組合せに係るパラメータを変更又は補正してもよい。連結判定部１６３は、各パラメータを変更又は補正することにより、判定感度を容易且つ適切に調整することができる。

以上詳述したように、画像読取装置１００は、表面画像及び裏面画像と、搬送された原稿の特徴とに基づいて、表面画像の第１端部と裏面画像の第２端部とが連結しているか否かを判定する。したがって、画像読取装置１００は、搬送された原稿が、表面画像と、裏面画像とを合成すべき原稿であるか否かをより高精度に判定することが可能となる。

特に、画像読取装置１００は、表面画像及び裏面画像に基づいて表面画像と裏面画像が連結しているか否かを判定するための基準を、搬送された原稿の特徴に基づいて変更する。そのため、画像読取装置１００は、共通の見出しが端部に写るように印刷された複数の原稿が搬送された場合でも、その原稿が二つ折りの原稿でなければ、合成すべきでないと判定し易くなる。また、画像読取装置１００は、端部にコンテンツが印刷されていない複数の原稿が搬送された場合でも、その原稿が二つ折りの原稿であれば、合成すべきであると判定し易くなる。したがって、画像読取装置１００は、各画像を合成すべきか否かを、各画像の端部における画像特徴のみに基づいて判定する場合より、高精度に判定することが可能となる。

これにより、利用者は、二つ折りの原稿を画像読取装置１００に読み取らせる際に、画像読取装置１００に対して画像の合成を指示したり、二つ折りの原稿であることを示す特定のマーカを原稿に貼付したりする必要がなくなる。したがって、画像読取装置１００は、利用者の利便性を向上させることが可能となる。

また、一般に、スキャナ等の原稿搬送装置は、超音波センサを備え、原稿の重送が発生しているか否かを検出する機能を有している。画像読取装置１００は、その機能を利用して、原稿の重送が発生しているか否かを、原稿の特徴として使用する。また、画像読取装置１００は、重送を検出するための超音波センサを用いて、原稿の特徴として、原稿の厚さを検出する。また、一般に、スキャナ等の画像読取装置は、原稿を撮像するための撮像装置を備えている。画像読取装置１００は、撮像装置１１８を用いて、原稿の特徴として、各画像に写っている原稿の外形に歪みが発生しているか否かを検出する。また、画像読取装置１００は、撮像装置１１８を用いて、原稿の特徴として、各画像のサイズを検出する。即ち、画像読取装置１００は、特別なセンサを使用せずに原稿の特徴を検出できるため、装置コストの増大を抑制することが可能となる。また、既に出荷済みの画像読取装置も、ソフトウェアを更新することにより、本発明を適用することが可能となる。

図１１は、他の実施形態に従った連結判定処理の動作の例を示すフローチャートである。図１１に示す連結判定処理は、図６に示すフローチャートのステップＳ２０８において図１０に示す連結判定処理の代わりに、実行される。

最初に、連結判定部１６３は、表面画像及び裏面画像をそれぞれ二値化し、表面二値化画像及び裏面二値化画像を生成する（ステップＳ４０１）。連結判定部１６３は、予め設定された閾値を用いて、各画像内の各画素の輝度値を二値化することにより、各画素を背景画素（白色画素）と非背景画素（黒色画素）とに分離した二値化画像を生成する。この閾値は、例えば輝度値が取り得る範囲の中央値（例えば１２８）に設定される。

次に、連結判定部１６３は、図１０のステップＳ３０１と同様にして、表面画像の四つの端部のそれぞれに対応する裏面画像の端部を抽出するとともに、表面二値化画像の四つの端部のそれぞれに対応する裏面二値化画像の端部を抽出する（ステップＳ４０２）。

次に、連結判定部１６３は、表面画像の四つの端部毎に評価値を算出する（ステップＳ４０３）。まず、連結判定部１６３は、表面二値化画像の特定の端部内で非背景画素を抽出する。連結判定部１６３は、抽出した非背景画素毎に、その特定の端部に対応する裏面二値化画像の端部において、各非背景画素が存在する位置に対応する位置（二つの端部が隣接している場合に接する位置）から所定範囲内に非背景画素が存在するか否かを判定する。連結判定部１６３は、裏面二値化画像において対応する位置から所定範囲内に非背景画素が存在する、表面二値化画像の非背景画素の数を各端部の評価値として算出する。

次に、連結判定部１６３は、表面二値化画像の四つの端部の全てについて評価値を算出したか否かを判定する（ステップＳ４０４）。

まだ評価値を算出していない端部が存在する場合、連結判定部１６３は、処理をステップＳ４０３に戻し、まだ評価値を算出していない端部について評価値を算出する。表面二値化画像の全ての端部について評価値を算出した場合、連結判定部１６３は、評価値が最も高い表面二値化画像の端部に対応する表面画像の端部（同じ位置の端部）、及び、その端部に対応する裏面画像の端部を合成候補として抽出する（ステップＳ４０５）。

ステップＳ４０６〜Ｓ４０９の処理は、図１０のステップＳ３０５〜Ｓ３０８の処理と同様であるため、詳細な説明を省略する。

表面二値化画像及び裏面二値化画像内で非背景画素が存在する位置（座標）は、表面画像及び裏面画像内で非背景画素が存在する位置（座標）に対応している。即ち、連結判定部１６３は、表面画像の第１端部内で非背景画素が存在する位置に対応する裏面画像の第２端部内の位置から所定範囲内に非背景画素が存在する第１端部内の非背景画素の数に基づいて、第１端部と第２端部とが連結しているか否かを判定している。連結判定部１６３は、端部が連結しているか否かを、非背景画素の連続性に基づいて判定するため、判定精度を向上させることができる。

この連続判定処理で使用される所定範囲及び第２閾値は、所定の基準の一例であり、事前に設定され、図６のステップＳ２０８において変更される。

例えば、所定範囲の最小範囲は、１画素以内の範囲に設定され、所定範囲の最大範囲は、５画素以内の範囲に設定される。連結判定部１６３は、特徴検出部１６２が算出した確度が高い程、所定範囲が大きくなるように所定範囲を変更し、表面画像と裏面画像とが連結していると判定し易くする。また、端部毎に確度が算出されている場合、連結判定部１６３は、端部毎に、確度が高い程、所定範囲が大きくなるように所定範囲を変更し、その端部とその端部に対応する裏面画像の端部とが連結していると判定し易くする。

この連続判定処理で使用される比率及び／又は第２閾値は、図１０の連続判定処理で使用される比率及び／又は第２閾値と同様にして、補正される。

なお、連結判定部１６３は、所定範囲、第２閾値及び比率の内の少なくとも一つを変更又は補正すればよく、任意の組合せに係るパラメータを変更又は補正してもよい。連結判定部１６３は、各パラメータを変更又は補正することにより、判定感度を容易且つ適切に調整することができる。

本実施形態に従った画像読取装置１００も、上記した各効果と同様の効果を奏することができる。

図１２は、さらに他の実施形態に従った連結判定処理の動作の例を示すフローチャートである。図１２に示す連結判定処理は、図６に示すフローチャートのステップＳ２０８において図１０に示す連結判定処理の代わりに、実行される。この実施形態に従った連結判定処理が実行される場合、画像読取装置１００は、第１記憶装置１４０に複数の単語を予め記憶しておく。

最初に、連結判定部１６３は、公知のＯＣＲ（Optical Character Recognition）技術を利用して、表面画像及び裏面画像からそれぞれ文字を検出し、各文字を検出した位置（座標）を記憶する（ステップＳ５０１）。

次に、連結判定部１６３は、図１０のステップＳ３０１と同様にして、表面画像の四つの端部のそれぞれに対応する裏面画像の端部を抽出する（ステップＳ５０２）。

次に、連結判定部１６３は、表面画像の四つの端部毎に評価値を算出する（ステップＳ５０３）。連結判定部１６３は、表面画像内で、特定の端部から所定距離内に検出された、その特定の端部の延伸方向と直交する方向に連続する文字群を抽出する。次に、連結判定部１６３は、裏面画像内でその特定の端部に対応する端部において各文字群の検出位置に対応する位置（二つの端部が隣接している場合に接する位置）から所定距離内に検出された、その端部の延伸方向と直交する方向に連続する文字群を抽出する。なお、文字群は、何文字でもよく、一文字でもよい。連結判定部１６３は、表面画像の各端部において抽出された文字群と、その端部に対応する裏面画像の端部から抽出された文字群とを繋げた文字群の内、第１記憶装置１４０に記憶された単語と一致する文字群の総数を各端部の評価値として算出する。

次に、連結判定部１６３は、表面画像の四つの端部の全てについて評価値を算出したか否かを判定する（ステップＳ５０４）。

まだ評価値を算出していない端部が存在する場合、連結判定部１６３は、処理をステップＳ５０３に戻し、まだ評価値を算出していない端部について評価値を算出する。表面画像の全ての端部について評価値を算出した場合、連結判定部１６３は、評価値が最も高い表面画像の端部、及び、その端部に対応する裏面画像の端部を合成候補として抽出する（ステップＳ５０５）。

次に、連結判定部１６３は、合成候補として抽出した端部について算出した評価値（総数）が第３閾値以上であるか否かを判定する（ステップＳ５０６）。

算出した評価値が第３閾値以上である場合、連結判定部１６３は、表面画像の合成候補の端部と裏面画像の合成候補の端部とが連結していると判定し（ステップＳ５０７）、一連のステップを終了する。

一方、算出した評価値が第３閾値未満である場合、連結判定部１６３は、表面画像の端部と裏面画像の端部とが連結していないと判定し（ステップＳ５０８）、一連のステップを終了する。

表面画像から抽出された文字群と裏面画像から抽出された文字群とを繋げた文字群が、予め登録された単語と一致する場合、表面画像及び裏面画像からそれぞれ抽出された文字群の内、最も端部側に位置する各文字は相互に対応していることを意味する。即ち、連結判定部１６３は、裏面画像から検出された文字の内、表面画像から検出された文字に対応する文字の総数を第３閾値と比較した結果に基づいて、第１端部と第２端部とが連結しているか否かを判定している。連結判定部１６３は、端部が連結しているか否かを、文字の連続性に基づいて判定するため、判定精度を向上させることができる。

この連続判定処理で使用される第３閾値は、所定の基準の一例であり、事前に設定され、図６のステップＳ２０８において変更される。

第３閾値は、例えば、１単語以上且つ３単語以下の値に設定される。また、連結判定部１６３は、確度が高い程、第３閾値が小さくなるように第３閾値を補正し、表面画像と裏面画像とが連結していると判定し易くする。なお、連結判定部１６３は、確度が高い程、算出した評価値が大きくなるように、評価値を補正してもよい。また、端部毎に確度が算出されている場合、連結判定部１６３は、端部毎に、確度が高い程、その端部と比較する第３閾値が小さくなるように第３閾値を補正し、その端部とその端部に対応する裏面画像の端部とが連結していると判定し易くする。なお、連結判定部１６３は、端部毎に、確度が高い程、その端部について算出した評価値が大きくなるように、評価値を補正してもよい。連結判定部１６３は、各パラメータを変更又は補正することにより、判定感度を容易且つ適切に調整することができる。

本実施形態に従った画像読取装置１００も、上記した各効果と同様の効果を奏することができる。

図１３は、他の実施形態に従った第１処理回路１８０の概略構成を示すブロック図である。

第１処理回路１８０は、第１ＣＰＵ１６０の代わりに、全体処理、判定処理及び連結判定処理等を実行する。第１処理回路１８０は、画像生成回路１８１、特徴検出回路１８２、連結判定回路１８３、合成回路１８４及び画像出力回路１８５等を有する。

画像生成回路１８１は、画像生成部の一例であり、画像生成部１６１と同様の機能を有する。画像生成回路１８１は、撮像装置１１８から表面入力画像及び裏面入力画像を取得し、取得した各画像から表面画像及び裏面画像を生成して特徴検出回路１８２、連結判定回路１８３、合成回路１８４及び画像出力回路１８５に出力する。

特徴検出回路１８２は、特徴検出部の一例であり、特徴検出部１６２と同様の機能を有する。特徴検出回路１８２は、超音波センサ１１４から出力信号を、画像生成回路１８１から表面画像及び裏面画像をそれぞれ取得し、取得した各情報から、搬送された原稿の特徴を検出し、検出した特徴を示す特徴情報を連結判定回路１８３に出力する。

連結判定回路１８３は、連結判定部の一例であり、連結判定部１６３と同様の機能を有する。連結判定回路１８３は、画像生成回路１８１から表面画像及び裏面画像を、特徴検出回路１８２から特徴情報をそれぞれ取得し、取得した各情報に基づいて、表面画像の第１端部と裏面画像の第２端部とが連結しているか否かを判定する。連結判定回路１８３は、判定結果を合成回路１８４に出力する。

合成回路１８４は、合成部の一例であり、合成部１６４と同様の機能を有する。合成回路１８４は、画像生成回路１８１から表面画像及び裏面画像を、連結判定回路１８３から判定結果をそれぞれ取得し、第１端部と第２端部とが連結していると判定された場合、表面画像と裏面画像を合成し、画像出力回路１８５に出力する。

画像出力回路１８５は、画像出力部の一例であり、画像出力部１６５と同様の機能を有する。画像出力回路１８５は、画像生成回路１８１から表面画像及び裏面画像を、合成回路１８４から合成画像をそれぞれ取得し、取得した画像を第１インタフェース装置１３５に出力する。

本実施形態に従った画像読取装置１００も、上記した各効果と同様の効果を奏することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。例えば、情報処理装置２００が全体処理の一部を実行してもよい。その場合、第２記憶装置２２０が、第１記憶装置１４０に記憶された各プログラム及び各データを記憶し、第２ＣＰＵ２４０が、第１ＣＰＵ１６０における各部として機能する。または、第２処理回路２６０が、第１処理回路１８０が有する各回路を有する。

例えば、図６のステップＳ１０４において、第１ＣＰＵ１６０は、取得した表面入力画像及び裏面入力画像を第１インタフェース装置１３５を介して情報処理装置２００に送信する。情報処理装置２００は、第２インタフェース装置２０３を介して表面入力画像及び裏面入力画像を取得し、表面画像及び裏面画像を生成する。また、ステップＳ１０５において、第１ＣＰＵ１６０は、取得した出力信号を第１インタフェース装置１３５を介して情報処理装置２００に送信する。情報処理装置２００は、第２インタフェース装置２０３を介して出力信号を取得する。情報処理装置２００は、ステップＳ１０６〜Ｓ１０８の処理を実行し、ステップＳ１０９の処理は省略される。

なお、画像読取装置及び情報処理装置の各部を画像読取装置と情報処理装置の何れに配置するかは適宜変更可能である。また、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置を分散して配置し、各情報処理装置が協働して、各処理を分担してもよい。

１００ 画像読取装置
１６１ 画像生成部
１６２ 特徴検出部
１６３ 連結判定部
１６４ 合成部

Claims (11)

1. 搬送された原稿の表面を撮像した表面画像と、搬送された原稿の裏面を撮像した裏面画像とを生成する画像生成部と、
   搬送された原稿の特徴として、搬送された原稿の重送が発生しているか否かを検出する特徴検出部と、
   前記画像生成部が生成した表面画像及び裏面画像と、前記特徴検出部が検出した特徴とに基づいて、前記表面画像の第１端部と前記第１端部に対応する前記裏面画像の第２端部とが連結しているか否かを判定する連結判定部と、
   前記連結判定部が前記第１端部と前記第２端部とが連結していると判定した場合、搬送された原稿が前記表面画像と前記裏面画像を合成すべき原稿であると判定し、前記表面画像と前記裏面画像を合成する合成部と、
   を有することを特徴とする画像処理装置。
2. 超音波を出力する超音波発振器と、
   前記超音波発振器と対向して配置され、受信した超音波に応じた出力信号を生成する超音波受信器と、をさらに有し、
   前記特徴検出部は、前記特徴として、前記出力信号に基づいて、搬送された原稿の重送が発生しているか否かを検出する、請求項１に記載の画像処理装置。
3. 前記特徴検出部は、前記特徴として、さらに、前記出力信号に基づいて、搬送された原稿の厚さを検出する、請求項２に記載の画像処理装置。
4. 前記特徴検出部は、前記特徴として、前記表面画像又は前記裏面画像に写っている原稿の外形に歪みが発生しているか否かを検出する、請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記連結判定部は、
   前記表面画像の四つの端部毎に、各端部に対応する各画素から所定範囲内の画素の階調値の平均値と、各端部に対応する前記裏面画像の端部に対応する各画素から前記所定範囲内の画素の階調値の平均値とを比較した結果に基づいて、各端部と、各端部に対応する前記裏面画像の端部とが連結している度合いを示す評価値を算出し、前記四つの端部の評価値の総和に対する、前記第１端部の評価値の比率に基づいて、前記第１端部と前記第２端部とが連結しているか否かを判定し、
   前記特徴検出部が検出した特徴に基づいて、前記所定範囲を変更する、請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記連結判定部は、
   前記表面画像の四つの端部毎に、各端部に対応する各画素から所定範囲内の画素の階調値の平均値と、各端部に対応する前記裏面画像の端部に対応する各画素から前記所定範囲内の画素の階調値の平均値との差分値を閾値と比較した結果に基づいて、各端部と、各端部に対応する前記裏面画像の端部とが連結している度合いを示す評価値を算出し、前記四つの端部の評価値の総和に対する、前記第１端部の評価値の比率に基づいて、前記第１端部と前記第２端部とが連結しているか否かを判定し、
   前記特徴検出部が検出した特徴に基づいて、前記閾値又は前記差分値を補正する、請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記連結判定部は、
   前記表面画像の四つの端部毎に、各端部内で非背景画素が存在する位置に対応する前記裏面画像の端部内の位置から所定範囲内に非背景画素が存在する各端部内の非背景画素の数に基づいて、各端部と、各端部に対応する前記裏面画像の端部とが連結している度合いを示す評価値を算出し、前記四つの端部の評価値の総和に対する、前記第１端部の評価値の比率に基づいて、前記第１端部と前記第２端部とが連結しているか否かを判定し、
   前記特徴検出部が検出した特徴に基づいて、前記所定範囲を変更する、請求項１〜４の何れか一項に記載の画像処理装置。
8. 前記連結判定部は、
   前記表面画像の四つの端部毎に、各端部と、各端部に対応する前記裏面画像の端部とが連結している度合いを示す評価値を算出し、前記四つの端部の評価値の総和に対する、前記第１端部の評価値の比率を第２閾値と比較した結果に基づいて、前記第１端部と前記第２端部とが連結しているか否かを判定し、
   前記特徴検出部が検出した特徴に基づいて、前記第２閾値又は前記比率を補正する、請求項１〜７の何れか一項に記載の画像処理装置。
9. 複数の単語を予め記憶する記憶部をさらに有し、
   前記連結判定部は、
   前記表面画像及び前記裏面画像から文字を検出し、前記表面画像から検出された文字と、対応する前記裏面画像から検出された文字とを繋げた文字群の内、前記記憶部に記憶された単語と一致する文字群の総数を閾値と比較した結果に基づいて、前記第１端部と前記第２端部とが連結しているか否かを判定し、
   前記特徴検出部が検出した特徴に基づいて、前記閾値又は前記総数を補正する、請求項１〜４の何れか一項に記載の画像処理装置。
10. 画像処理装置の制御方法であって、
    搬送された原稿の表面を撮像した表面画像と、搬送された原稿の裏面を撮像した裏面画像とを生成し、
    搬送された原稿の特徴として、搬送された原稿の重送が発生しているか否かを検出し、
    前記生成した表面画像及び裏面画像と、前記検出した特徴とに基づいて、前記表面画像の第１端部と前記第１端部に対応する前記裏面画像の第２端部とが連結しているか否かを判定し、
    前記第１端部と前記第２端部とが連結していると判定した場合、搬送された原稿が前記表面画像と前記裏面画像を合成すべき原稿であると判定し、前記表面画像と前記裏面画像を合成する、
    ことを含むことを特徴とする制御方法。
11. 画像処理装置の制御プログラムであって、
    搬送された原稿の表面を撮像した表面画像と、搬送された原稿の裏面を撮像した裏面画像とを生成し、
    搬送された原稿の特徴として、搬送された原稿の重送が発生しているか否かを検出し、
    前記生成した表面画像及び裏面画像と、前記検出した特徴とに基づいて、前記表面画像の第１端部と前記第１端部に対応する前記裏面画像の第２端部とが連結しているか否かを判定し、
    前記第１端部と前記第２端部とが連結していると判定した場合、搬送された原稿が前記表面画像と前記裏面画像を合成すべき原稿であると判定し、前記表面画像と前記裏面画像を合成する、
    ことを前記画像処理装置に実行させることを特徴とする制御プログラム。

Images