JPWO2015064609A1 - 画像処理装置、及び画像処理方法 - Google Patents

Abstract

本発明の画像処理装置（１）は、画像取得部（３２）、ペア作成部（３３）、第１判定部（３４）、第２判定部（３５）、第３判定部（３６）、画像結合部（３７）を備える。画像取得部は、冊子を構成する複数の原稿のページ毎の画像を取得する。ペア作成部は、取得された複数の画像を前記冊子のページ順に配列し、この配列された各画像に対し、前記冊子を見開き状態としたときに隣り合う一対のページ毎にペアを作成する。第１判定部は、作成された各ペアにおける２つの画像に対し、２つの画像同士の境界部分を含む所定幅の帯状領域における描画像の有無を判定する。第２判定部は、前記２つの画像同士の描画連続性の有無を判定する。第３判定部は、第１判定部及び第２判定部の各判定結果に基づいて、前記２つの画像を結合すべきか否かを判定する。画像結合部は、第３判定部により前記２つの画像を結合すべきであると判定されると、この２つの画像を結合する。

Description

本発明は、冊子を構成する原稿の画像に対して画像処理を実行する画像処理装置、及び画像処理方法に関する。

積層状態で２つ折りにされた複数の原稿が長手方向中央の折り目又はその近傍で綴じられてなる所謂中綴じ冊子の見開き原稿をコピーして中綴じ冊子を得る原稿読取記録装置が知られている（例えば下記特許文献１参照）。この原稿読取記録装置は、中綴じ冊子を見開き毎に読み取ると、その読取画像をページ毎に分割する。次に、原稿読取記録装置は、新たに作成すべき中綴じ冊子のページ順となるように、分割したページ毎の読取画像（分割画像）に対し、各印刷用紙の紙面に集約すべき２つの分割画像の組み合わせを設定する。そして、原稿読取記録装置は、その組み合わせに基づいて各画像を印刷用紙の各紙面に印刷する。

特開２００１−１６４２５号公報

ところで、新たに作成する冊子の種類として、表裏両面に印刷された原稿を一側端部で綴じ込んだ所謂片綴じ冊子がある。一方、冊子をコピーする場合のコピーの態様として、前記のように冊子を見開き状態でコピーするという第１のコピー態様の他、冊子の綴じ込みを解除して互いに分離させた各原稿をそれぞれコピーするという第２のコピー態様がある。

ここで、片綴じ冊子を前記第１のコピー態様でコピーすることによって得られる各ページの画像、或いは、中綴じ冊子を前記第１のコピー態様又は前記第２のコピー態様でコピーして前記分割処理によって得られる各ページの画像を、それぞれ異なる印刷面に印刷して前記片綴じ冊子を作成する場合を考える。

この場合、コピー対象の中綴じ冊子や片綴じ冊子において左右に隣接している２つのページの描画像同士に連続性や関連性がある場合であっても、これらの描画像が、新たに作成すべき片綴じ冊子において同じ用紙の表裏に印刷される可能性がある。このように描画像同士に連続性や関連性がある２つのページの画像が同じ用紙の表裏に印刷されると、コピー対象の冊子においては左右に隣接している２つのページの描画像が新たな冊子においては左右に隣接しない。このような描画像は、見開き全体で一体感のある描画像としてユーザーに視認されるべきものであるが、前記各描画像が左右に隣接しないと、ユーザーはそれらの描画像を一体的に視認することができない。

また、仮にこれらの画像が左右に隣接するように印刷されたとしても、それらの画像は別個の画像として印刷されたものである。そのため、新たに作成すべき冊子においては、左右のページ間に比較的大きな画像のずれが生じるなど、ユーザーに違和感を持たせる画像となることが多い。

本発明は、このような問題に鑑みてなされたものであり、その目的は、冊子から得られる各ページの画像から良好な画像品質を有する画像を生成することのできる画像処理装置、及び画像処理方法を提供することである。

本発明の一の局面に係る画像処理装置は、画像取得部と、ペア作成部と、第１判定部と、第２判定部と、第３判定部と、画像結合部とを備える。前記画像取得部は、冊子を構成する複数の原稿のページ毎の画像を取得する。前記ペア作成部は、前記画像取得部により取得された複数の画像を前記冊子のページ順に配列し、この配列された各画像に対し、前記冊子を見開き状態としたときに隣り合う一対のページ毎にペアを作成する。前記第１判定部は、前記ペア作成部により作成された各ペアにおける２つの画像に対し、この２つの画像同士の境界部分を含む所定幅の帯状領域における描画像の有無を判定する。前記第２判定部は、前記２つの画像同士の描画連続性の有無を判定する。前記第３判定部は、前記第１判定部による判定結果と前記第２判定部による判定結果とに基づいて、前記２つの画像を結合すべきか否かを判定する。前記画像結合部は、前記第３判定部により前記２つの画像を結合すべきであると判定されると、この２つの画像を結合する。

本発明の他の局面に係る画像処理方法は、第１ステップ、第２ステップ、第３ステップ、第４ステップ、第５ステップ及び第６ステップを有する。前記第１ステップは、冊子を構成する複数の原稿のページ毎の画像を取得する。前記第２ステップは、前記第１ステップで取得された画像を前記冊子のページ順に配列し、この配列された各画像に対し、前記冊子を見開き状態としたときに隣り合う一対のページ毎にペアを作成する。前記第３ステップは、前記第２ステップで作成された各ペアにおける２つの画像に対し、この２つの画像同士の境界部分を含む所定幅の帯状領域における描画像の有無を判定する。前記第４ステップは、前記２つの画像同士の描画連続性の有無を判定する。前記第５ステップは、前記第３ステップでの判定結果と前記第４ステップでの判定結果とに基づいて、前記２つの画像を結合すべきか否かを判定する。前記第６ステップは、前記第５ステップにおいて前記２つの画像を結合すべきであると判定されると、この２つの画像を結合する。

本発明によれば、冊子から得られる各ページの画像から良好な画像品質を有する画像を生成することができる。

本発明に係る画像処理装置の一実施形態の内部構成を示す模式図。 画像処理装置の電気的な構成の一例を示すブロック図。 中綴じ冊子の説明図。 中綴じ冊子の説明図。 中綴じ冊子のステープルが取り外されることにより分離した各原稿を示す図。 画像読取部による読み取られた画像（読取画像）を示す図。 図４Ｂに示す読取画像を分割した分割画像を示す図。 図４Ｃに示す分割画像をページ順に並べ替えた状態を示す図。 帯状領域についての説明図。 ペアに設定された２つの分割画像の一例を示す図。 ペアに設定された２つの分割画像の一例を示す図。 ペアに設定された２つの分割画像の一例を示す図。 ペアに設定された２つの分割画像の一例を示す図。 ペアに設定された２つの分割画像の一例を示す図。 ペアに設定された２つの分割画像の一例を示す図。 ペアに設定された２つの分割画像の一例を示す図。 ペアに設定された２つの分割画像の一例を示す図。 結合された画像に対する画像サイズの調整処理の説明図。 制御部により行われる画像処理のフローチャート。 冊子処理の変形例の説明図。 冊子処理の変形例の説明図。 冊子処理の変形例の説明図。 冊子処理の変形例の説明図。

以下、図面を参照しながら、本発明の実施形態について説明する。なお、以下に説明される実施形態は本発明を具体化した一例にすぎず、本発明の技術的範囲を限定するものではない。

まず、図１及び図２を参照して本発明の実施形態に係る画像処理装置１の概略構成について説明する。画像処理装置１は、画像読取機能やファクシミリー機能、画像形成機能などを備えた複合機である。図１に示されるように、画像処理装置１は、画像読取部２、原稿カバー３、自動原稿送り装置（Auto Document Feeder；以下、ＡＤＦという）４、画像形成部５、操作表示部６（図２参照）、給紙カセット７、通信インターフェイス（Ｉ／Ｆ）部８（図２参照）、及びこれらを制御する制御部９（図２参照）を備えている。なお、本発明に係る画像処理装置の一例として複合機である画像処理装置１を例示して説明するが、本発明はこれに限られず、例えばプリンター、ファクシミリー装置、複写機あるいはスキャナー装置も本発明に係る画像処理装置に該当する。

画像読取部２は、原稿から画像データを読み取る画像読取処理を実行する。図１に示されるように、画像読取部２は、コンタクトガラス１０、読取ユニット１１、ミラー１２，１３、光学レンズ１４及びＣＣＤ（Charge Coupled Device）１５などを備えている。

読取ユニット１１は、ＬＥＤ光源１６及びミラー１７を備えており、ステッピングモーター等の駆動モーターを用いた移動機構（不図示）により副走査方向１８（図１における左右方向）へ移動可能に構成されている。そして、前記駆動モーターにより読取ユニット１１が副走査方向１８へ移動されると、ＬＥＤ光源１６から画像読取部２の上面に設けられたコンタクトガラス１０へ向けて照射される光が副走査方向１８へ走査される。

ミラー１７は、ＬＥＤ光源１６から光が照射されたときに、原稿又は原稿カバー３の裏面で反射した反射光をミラー１２へ向けて反射させる。ミラー１７で反射した光は、ミラー１２，１３により光学レンズ１４に導かれる。光学レンズ１４は、入射した光を集光してＣＣＤ１５に入射させる。

ＣＣＤ１５は、受光した光をその光量（輝度の強度）に応じた電気信号（電圧）に変換して制御部９へ出力する光電変換素子である。制御部９では、ＣＣＤ１５からの電気信号を画像処理することにより原稿の画像データを生成する。なお、本実施形態では、撮像素子としてＣＣＤ１５を用いた例について説明するが、ＣＣＤ１５による読取機構に代えて、ＣＣＤ１５よりも焦点距離の短い密着型のイメージセンサー（ＣＩＳ: Contact Image Sensor）を用いた読取機構を適用することも可能である。

画像読取部２には、原稿カバー３が回動自在に設けられている。原稿カバー３が回動操作されることにより、画像読取部２の上面のコンタクトガラス１０が開閉される。原稿カバー３の回動支持部には、リミットスイッチなどのカバー開検出センサー（不図示）が設けられており、ユーザーが原稿の画像を読み取らせようとして原稿カバー３が開けられると、そのカバー開検出センサーが作動して、その検出信号（カバー開検出信号）が制御部９に出力される。

ここで、画像読取部２による原稿画像の読み取りは、以下の手順で行われる。まず、原稿がコンタクトガラス１０上に載置され、その後、原稿カバー３が閉姿勢にされる。その後、操作表示部６から画像読取指示が入力されると、読取ユニット１１を副走査方向１８の右向きへ移動させつつＬＥＤ光源１６から連続して順次１ライン分の光が照射される。そして、原稿又は原稿カバー３の裏面からの反射光がミラー１７，１２，１３及び光学レンズ１４を介してＣＣＤ１５に導かれ、ＣＣＤ１５にて受光した光量に応じた光量データが順次制御部９に出力される。制御部９では、光が照射された領域全体における光量データが得られると、その光量データを処理することにより、前記光量データから原稿の画像データを生成する。この画像データは、長方形状の画像を構成する画像データである。

なお、原稿カバー３にＡＤＦ４が設けられている。ＡＤＦ４は、原稿セット部１９にセットされた一以上の原稿を複数の搬送ローラーにより順次搬送して、コンタクトガラス１０上に定められた自動原稿読取位置を副走査方向１８の右向きへ通過するように原稿を移動させる。ＡＤＦ４による原稿の移動時は、前記自動原稿読取位置の下方に読取ユニット１１が配置され、この位置で読取ユニット１１により移動中の原稿の画像が読み取られる。原稿セット部１９には、接点信号を出力可能な機械的な原稿検出センサー（不図示）が設けられており、原稿セット部１９に原稿がセットされると、前記原稿検出センサーが作動して、その検出信号（原稿検出信号）が制御部９に出力される。

図１に示されるように、画像形成部５は、画像読取部２で読み取られた画像データ、又は外部のパーソナルコンピューター等の情報処理装置から通信Ｉ／Ｆ部８を通じて入力された印刷ジョブに基づいて画像形成処理（印刷処理）を実行する電子写真方式の画像形成部である。具体的には、画像形成部５は、感光体ドラム２０、帯電部２１、現像部２２、トナーコンテナ２３、転写ローラー２４、除電部２５、定着ローラー２６、加圧ローラー２７などを備えている。なお、本実施形態では、電子写真方式の画像形成部５を例にして説明するが、画像形成部５は電子写真方式のものに限られず、インクジェット記録方式のものであっても、或いはそれ以外の記録方式又は印刷方式のものであってもかまわない。

ここで、画像形成部５では、給紙カセット７から供給される印刷用紙に対する画像形成処理が以下の手順で行われる。まず、通信Ｉ／Ｆ部８を通じて印刷指示を含む印刷ジョブが入力されると、帯電部２１により感光体ドラム２０が所定の電位に一様に帯電される。次に、レーザスキャナユニット（Laser Scanner Unit;ＬＳＵ 不図示）により感光体ド
ラム２０の表面に印刷ジョブに含まれる画像データに基づく光が照射される。これにより、感光体ドラム２０の表面に静電潜像が形成される。そして、感光体ドラム２０上の静電潜像は現像部２２によりトナー像として現像（可視像化）される。なお、現像部２２には、トナーコンテナ２３からトナー（現像剤）が補給される。続いて、感光体ドラム２０に形成されたトナー像は転写ローラー２４により印刷用紙に転写される。その後、印刷用紙に転写されたトナー像は、その印刷用紙が定着ローラー２６及び加圧ローラー２７の間を通過して排出される際に定着ローラー２６で加熱されて溶融定着する。なお、感光体ドラム２０の電位は除電部２５で除電される。

図２を参照して、通信Ｉ／Ｆ部８は、画像処理装置１にインターネット又はＬＡＮのような通信ネットワークを介して接続された外部装置との間でデータ通信を実行するインターフェイスである。記憶部２８は、ハードディスクドライブ（Hard Disc Drive；ＨＤＤ）等の不揮発性メモリで構成される。

記憶部２８には、ひらがな、カタカナ、アルファベット、数字等の各種文字の画像データＤ１が予め記憶されている。また、記憶部２８には、これら各種文字の文字列により構成されるワード（言葉、文言、語句）を収集した辞書データＤ２も予め記憶されている。画像データＤ１及び辞書データＤ２は、後述する冊子処理に供される。

制御部９は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を有するメモリとを備えて構成される。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるための制御プログラムなどの情報が予め記憶される不揮発性の記憶部である。前記ＲＡＭは揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される記憶部である。制御部９は、前記ＣＰＵが前記ＲＯＭに記憶されているプログラムを実行することにより、各部の動作を制御する。

操作表示部６は、表示部２９と操作部３０とを有する。表示部２９は、例えばカラー液晶ディスプレイなどで構成され、操作表示部６を操作するユーザーに対して各種の情報を表示する。操作部３０は、表示部２９に隣接配置された各種の押しボタンキーや表示部２９の表示画面上に配置されるタッチパネルセンサーなどで構成され、画像処理装置１のユーザーにより各種の指示が入力される。なお、ユーザーが画像読取動作や画像形成動作を実行させるために操作表示部６に対して操作が行われると、その操作信号が操作表示部６から制御部９に出力される。

画像処理装置１においては、画像読取部２、画像形成部５、操作表示部６、通信Ｉ／Ｆ部８、記憶部２８及び制御部９が相互にデータの入出力を行うことができるように、各構成要素がデータバス２００を介して接続されている。

本実施形態に係る画像処理装置１は、冊子を構成する複数の原稿を読取対象としてコピー動作を行う冊子コピーモードを有する。操作表示部６には、画像処理装置１をこの冊子コピーモードに設定するための設定ボタン３１（図２参照）が設けられている。この設定ボタン３１が操作されると、画像処理装置１は、冊子コピーモードとなる。

冊子の一例を図３に示す。図３に示す冊子Ｓは、積層状態の原稿用紙の長辺方向中央における折り曲げ線に沿って複数のステープル針５００が刺し通された上で積層状態の原稿用紙が前記折り曲げ線で折り畳まれた中綴じタイプの冊子（以下、中綴じ冊子４００という）である。図３に示す中綴じ冊子４００は、３枚の原稿Ｐ１〜Ｐ３により構成されており、外側から順に原稿Ｐ１、Ｐ２、Ｐ３が位置する。原稿Ｐ１の第１面には、１ページ目及び１２ページ目の画像が形成され、その第２面には、２ページ目及び１１ページ目の画像が形成されている。原稿Ｐ２の第１面には、３ページ目及び１０ページ目の画像が形成され、その第２面には、４ページ目及び９ページ目の画像が形成されている。原稿Ｐ３の第１面には、５ページ目及び８ページ目の画像が形成され、その第２面には６ページ目及び７ページ目の画像が形成されている。

本実施形態に係る画像処理装置１においては、図４Ａに示すように、このような中綴じ冊子４００を構成する各原稿がステープル針５００の取外しによって分離され、冊子コピーモードの設定状態でそれらの原稿のコピー指示が行われるというケースが生じ得る。なお、図３、図４Ａ〜図４Ｄの各図における数字は、中綴じ冊子４００におけるページ番号を示している。

この場合、画像処理装置１が各原稿に対してコピーを実施すると、読取対象が例えば図３に示す中綴じ冊子４００のときには、図４Ｂに示すように、それぞれ２ページ分の画像を含んだ６枚分の読取画像１００が生成される。ここで、中綴じ冊子４００において、見開き状態で左右に隣り合う２つのページの各画像同士に描画像の連続性や関連性がある場合がある。ところが、生成される読取画像における各ページの画像は、図４Ｂに示すように、ページ順がばらばらな状態となっている。そのため、各ページの画像をそれぞれ印刷用紙の印刷面に読取順にしたがって印刷すると、新たに生成される印刷物において、画像の配列順がばらばらな状態となり、ユーザーは、連続性や関連性を有する描画像を一体的に視認することができない。

本実施形態の画像処理装置１は、見開き状態で左右に隣り合う２つのページの各画像同士に描画像の連続性や関連性がある場合に、それらの描画像が綺麗な形で一体的に視認される印刷物を生成するための冊子処理機能を有している。以下、この点について詳細に説明する。なお、以下においては、中綴じ冊子４００のステープル針５００が取り外されたことにより分離した各原稿が画像読取部２に読み取られた画像を冊子処理の対象として説明する。

制御部９は、この冊子処理機能に関連して、ＣＰＵがプログラムを実行することにより、図２に示すように、画像分割部３２、ペア作成部３３、第１判定部３４、第２判定部３５、第３判定部３６、画像結合部３７及び画像サイズ調整部３８を有する。画像分割部３２は、画像分割部の一例であり、ペア作成部３３はペア作成部の一例である。また、第１判定部３４は、第１判定部の一例であり、第２判定部３５は、第２判定部の一例である。第３判定部３６は、第３判定部の一例であり、画像結合部３７は、画像結合部の一例であり、画像サイズ調整部３８は、画像サイズ調整部の一例である。

画像分割部３２は、冊子コピーモードの設定時に機能する。画像分割部３２は、図４Ｂに示すように、中綴じ冊子４００を構成する各原稿に対する画像読取部２の読取動作によって得られた各読取画像１００を画像読取部２から取得し、その読取画像１００をそれぞれ長辺方向の中央（図４Ｂに示す点線の位置）で分割する。これにより、図４Ｃに示すように、各読取画像１００は、その中綴じ冊子４００におけるページ毎に分割される。画像分割部３２による分割後の画像を分割画像１５０という。画像分割部３２は、画像取得部の一例である。

ペア作成部３３は、各分割画像１５０を中綴じ冊子４００のページ順に配列する。具体的には、ペア作成部３３は、記憶部２８に格納されている文字画像データＤ１を用いた文字認識機能により各分割画像１５０に含まれるページ番号を検出し、この検出したページ番号に基づいて、分割画像１５０をページ順に配列する。図４Ｄにおいては、１ページ目から１２ページ目までの分割画像１５０が左から昇順に配列されている。

そして、ペア作成部３３は、この配列した各分割画像１５０に対し、中綴じ冊子４００を見開き状態とした場合に隣り合う一対のページごとのペアを作成する。なお、ペア作成部３３は、本実施形態においては、中綴じ冊子４００の表紙及び裏表紙にあたる１ページ目と最終ページをペア作成の対象から外す。図４Ｄは、ペア作成部３３が、中綴じ冊子４００の表紙及び裏表紙にあたる１ページ目と１２ページ目を除く２ページ目から１１ページ目までのページを対象としてペアを作成した結果、ペア３０１〜３０５が設定されたことを示している。

第１判定部３４は、図５に示すように、分割画像１５０のペア３０１〜３０５の各々について、ペアに設定された２つの分割画像１５０に対しその分割端部１２５を含む所定幅の帯状領域１０２，１０３（ハッチング領域）を以下の処理対象に設定する。なお、図５では、ペアに設定された２つの分割画像１５０を区別するため、一方の分割画像を分割画像１０６，他方の分割画像を分割画像１０７と表している。分割端部１２５は、境界部分の一例である。

第１判定部３４は、この帯状領域１０２，１０３における描画像の有無を判定する。描画像とは、例えば線画や文字の画像である。第１判定部３４は、所定値以下の画素値（一定値以上の濃度）を有する画素が帯状領域１０２，１０３に所定数以上存在する場合に、描画像有りと判定する。

ペアに設定された２つの分割画像１０６，１０７の一例を図６Ａ〜図６Ｈに示す。図６Ａ〜図６Ｅは、帯状領域１０２，１０３に描画像が無い２つの分割画像１０６，１０７のペア５０１〜５０５の一例を示す。図６Ｆ〜図６Ｈは、帯状領域１０２，１０３に描画像がある２つの分割画像１０６，１０７のペア５０６〜５０８の一例を示す。

２つの分割画像１０６，１０７のペアが図６Ａ〜図６Ｅに示すペア５０１〜５０５である場合、第１判定部３４は、帯状領域１０２，１０３における画像データが一様な白データであることに基づき、帯状領域１０２，１０３に描画像が無いと判定する。２つの分割画像１０６，１０７のペアが図６Ｆ〜図６Ｈに示すペア５０６〜５０８である場合、第１判定部３４は、帯状領域１０２，１０３における画像データが部位により相違していることに基づき、帯状領域１０２，１０３に描画像があると判定する。

第１判定部３４は、帯状領域１０２，１０３に描画像があると判定した場合、その描画像が、分割画像１０６，１０７間の境界線であるか否かを判定する。前記境界線は、境界画像の一例であり、例えば実線や点線とされている。図６Ｇ及び図６Ｈは、帯状領域１０２，１０３における描画像が境界線１８０，１８１である場合の前記２つの分割画像１０６，１０７のペア５０７，５０８を示している。境界線１８０，１８１が、画像読取部２による読取画像１００の一対の長辺１０１の例えば各中央点を通る場合、図６Ｇ及び図６Ｈに示すように、境界線１８０，１８１は、各分割画像１０６，１０７の分割端部１２５に沿う形で存在する。所定値以下の画素値を有する画素が連続して直線状に並ぶとき、これらの画素は、直線を構成する。また、所定値以下の画素値を有する複数の画素の画素列が間隔を空けて直線状に並ぶとき、これらの画素は、点線を構成する。第１判定部３４は、帯状領域１０２，１０３内において、分割端部１２５に沿う形で、所定値以下の画素値を有する画素が上記のような形態で並んでいる場合に、帯状領域１０２，１０３における描画像を、画像領域１０４，１０５における画像間の境界線と判定する。

図６Ｆに示すペア５０６は、帯状領域１０２，１０３における描画像が、境界線の画像ではなくアルファベット文字「Ａ」，「Ｅ」の画像である。

前記２つの分割画像１０６，１０７のペアが図６Ｆに示すペア５０６である場合、第１判定部３４は、帯状領域１０２，１０３における描画像を前記境界線の画像ではないと判定する。前記２つの分割画像のペアが図６Ｇ及び図６Ｈに示すペア５０７，５０８である場合、第１判定部３４は、帯状領域１０２，１０３における描画像を前記境界線と判定する。

第２判定部３５は、分割画像１０６，１０７における文字の描画像に対し描画連続性の有無を判定する。描画連続性とは、本実施形態では、各分割画像１０６，１０７における文字の描画像が、１つのワードや１つのフレーズ（句、文節）を成すように連続する文字（文字列）をそれぞれ示した画像であることをいう。

第２判定部３５の処理を具体的に説明すると、第２判定部３５は、まず、分割画像１０６，１０７の各々における描画像の有無を判定する。第２判定部３５は、分割画像１０６，１０７の各々に描画像が存在すると判定すると、その描画像が文字を示すか否か、及び、文字を示す場合にはどの文字を示すのかを検出する。前述したように、記憶部２８には、ひらがな等の各種文字の文字画像データＤ１（図２参照）が予め記憶されている。第２判定部３５は、検出した描画像をこの文字画像データＤ１と照合することにより前述の文字検出を行う。

さらに、第２判定部３５は、分割画像１０６，１０７における文字の描画像を検出すると、各画像領域１０４，１０５における文字の描画像に対して描画連続性の有無を判定する。すなわち、第２判定部３５は、各分割画像１０６，１０７における文字の描画像が、１つのワードを成すように連続する文字（文字列）をそれぞれ示した画像であるか否かを判定する。前述したように、記憶部２８には辞書データＤ２（図２参照）が予め記憶されている。第２判定部３５は、その文字列をこの辞書データＤ２と照合することにより前述のワード検出を行う。第２判定部３５は、検出した文字列が辞書データにワードとして登録されていると、各分割画像１０６，１０７における文字の描画像に対して描画連続性が有ると判定する。一方、検出した文字列が辞書データにワードとして登録されていない場合、第２判定部３５は、描画連続性が無いと判定する。

図６Ａに示すペア５０１は、左側の分割画像１０６に「３００」の数字が、右側の分割画像１０７に「ＰＱ」の文字が形成されている。ここで、「３００」の数字及び「ＰＱ」の文字の連続により構成される一群の文字列は１つのワードやフレーズを構成するものではない。したがって、第２判定部３５は、図６Ａに示すペア５０１については描画連続性が無いと判定する。

図６Ｂに示すペア５０２は、左側の分割画像１０６に「ＴＥＳＴ１」の文字が、右側の分割画像１０７に「ＴＥＳＴ２」の文字が形成されている。ここで、「ＴＥＳＴ１」の文字及び「ＴＥＳＴ２」の文字の連続により構成される一群の文字列は、１つのワードやフレーズを構成するものではない。したがって、第２判定部３５は、図６Ｂに示すペア５０１については描画連続性が無いと判定する。

図６Ｃに示すペア５０３は、左側の分割画像１０６にも右側の分割画像１０７にも「ＡＢＣＤＥＦＧ」の文字が形成されている。このように左側の分割画像１０６にも右側の分割画像１０７にも同じ文字列が形成されるケースとして、デフォルト設定により例えば社名等が形成されるケースが考えられる。図６Ｃに示すペア５０３の場合、これら２つの「ＡＢＣＤＥＦＧ」の文字の連続により構成される一群の文字列は、１つのワードやフレーズを構成するものではない。したがって、第２判定部３５は、図６Ｃに示すペア５０３については描画連続性が無いと判定する。

図６Ｄに示すペア５０４は、右側の分割画像１０７にのみ「ＡＢＣＤＥＦＧ」の文字が形成されており、左側の分割画像１０６には何も描画されていない。このように、一方の領域に描画像が無い場合、第２判定部３５は、このペアについては描画連続性が無いと判定する。

図６Ｅに示すペア５０５は、左側の分割画像１０６に「ＴＥ」の文字が、右側の分割画像１０７に「ＳＴ」の文字が形成されている。「ＴＥ」及び「ＳＴ」の文字の連続により構成される一群の文字列は、「ＴＥＳＴ」という１つのワードを構成する。したがって、第２判定部３５は、図６Ｅに示すペア５０５については描画連続性が有ると判定する。

第３判定部３６は、第１判定部３４による検出結果と第２判定部３５による判定結果とに基づいて、このペアに係る２つの分割画像１０６，１０７を結合すべきか否かを判定する。

具体的には、第３判定部３６は、第１判定部３４により帯状領域１０２，１０３に描画像有りと判定されず、且つ、第２判定部３５により各分割画像１０６，１０７における文字の描画像に描画連続性が無いと判定された場合は、この２つの分割画像１０６，１０７を結合する必要はないと判定する。したがって、２つの分割画像１０６，１０７のペアが図６Ａ〜図６Ｄに示すペア５０１〜５０４である場合、第３判定部３６は、これらのペア５０１〜５０４に係る２つの分割画像１０６，１０７を結合する必要はないと判定する。

一方、第３判定部３６は、第１判定部３４により帯状領域１０２，１０３に描画像無しと判定され、且つ、第２判定部３５により各分割画像１０６，１０７における文字の描画像に描画連続性が有ると判定された場合は、このペアに係る２つの分割画像１０６，１０７を結合すべきであると判定する。したがって、２つの分割画像１０６，１０７のペアが図６Ｅに示すペア５０５である場合、第３判定部３６は、このペア５０５に係る２つの分割画像１０６，１０７は結合すべきであると判定する。

さらに、第３判定部３６は、第１判定部３４により帯状領域１０２，１０３に前記境界線の画像が検出された場合、第２判定部３５による判定結果に拘わらず、この２つの分割画像１０６，１０７を結合する必要はないと判定する。したがって、２つの分割画像１０６，１０７のペアが図６Ｇ及び図６Ｈに示すペア５０７，５０８である場合、第３判定部３６は、これらのペア５０７，５０８に係る２つの分割画像１０６，１０７を結合する必要はないと判定する。

また、第３判定部３６は、第１判定部３４により帯状領域１０２，１０３に前記境界線以外の画像が検出された場合、この２つの分割画像１０６，１０７を結合すべきであると判定する。したがって、２つの分割画像１０６，１０７のペアが図６Ｆに示すペア５０６の場合、第３判定部３６は、このペア５０６に係る２つの分割画像１０６，１０７を結合すべきであると判定する。

画像結合部３７は、図７の上段図及び中段図に示すように、第３判定部３６により結合すべきであると判定されたペアの分割画像１０６，１０７について、画像の結合を行う。図６Ａ〜図６Ｈに示すペア５０１〜５０８についていえば、画像結合部３７は、結合すべきであると判定された図６Ｅ及び図６Ｆに示すペア５０５，５０６に係る２つの分割画像１０６，１０７を結合する。画像結合部３７は、これらのペア５０５，５０６に係る２つの分割画像１０６，１０７を分割端部１２５で結合する。画像結合部３７は、分割画像１０６，１０７の結合を行うに際し、分割画像１０６の描画像と分割画像１０７の描画像との位置を揃えたり、濃度をあわせたりするなどの画像処理を行う。画像結合部３７は、このようにして結合した結合画像を画像サイズ調整部３８に出力する。

画像サイズ調整部３８は、画像結合部３７による結合画像の画像サイズと結合されなかった画像の画像サイズとを合わせるサイズ調整を行う。本実施形態では、画像サイズ調整部３８は、結合画像の画像サイズを結合されなかった画像の画像サイズに合わせる。例えば、図７の中段図及び下段図に示すように、結合された２つ分割画像１０６，１０７がそれぞれＡ４サイズを有する画像である場合、結合画像はＡ３サイズとなる。画像サイズ調整部３８は、このＡ３サイズの結合画像を、結合されなかった画像の画像サイズである横向きＡ４サイズに縮小する処理を行う。

次に、制御部９による冊子処理について説明する。図８は、制御部９により行われる冊子処理のフローチャートである。原稿セット部１９に原稿がセットされ、且つ、冊子コピーモードに設定された状態でコピー指示が行われた場合に、制御部９は、この冊子処理を実行する。なお、図８のフローチャートにおいてステップＳ１、Ｓ２、・・・は処理手順（ステップ）番号を表している。

ユーザーにより冊子コピーモードに設定された状態でコピー指示が行われると（ステップＳ１でＹＥＳ）、画像読取部２は、原稿の画像を読み取る（ステップＳ２）。画像分割部３２は、この読取動作によって得られた各読取画像１００をそれぞれ長辺方向の中央で分割する（ステップＳ３）。これにより、各読取画像１００は、その中綴じ冊子４００におけるページ毎に分割され、分割画像１５０（１０６，１０７）が生成される。

また、ペア作成部３３は、各分割画像１０６，１０７に対してペアを作成する処理を行う（ステップＳ４）。すなわち、ペア作成部３３は、まず、各分割画像１０６，１０７を中綴じ冊子４００のページ順に配列する。また、ペア作成部３３は、記憶部２８に格納されている文字画像データＤ１を用いた文字認識機能により各分割画像１０６，１０７に含まれるページ番号を検出する。ペア作成部３３は、この検出したページ番号に基づいてページ順に分割画像１０６，１０７を配列する。そして、ペア作成部３３は、この配列した各分割画像１０６，１０７に対し、中綴じ冊子４００を見開き状態とした場合に隣り合う一対のページごとのペアを作成する。なお、このとき、ペア作成部３３は、各ペアに対してペア番号を付する。

次に、制御部９は、ペア番号が「１」のペアを処理対象に設定する（ステップＳ５）。第１判定部３４は、このペアに係る２つの分割画像１０６，１０７の帯状領域１０２，１０３に描画されているか否かを判定する（ステップＳ６）。

その結果、第１判定部３４は、帯状領域１０２，１０３に描画されていないと判定すると（ステップＳ６でＮＯ）、第２判定部３５は、分割画像１０６，１０７における文字の描画像の検出処理を行う（ステップＳ７）。第２判定部３５は、分割画像１０６，１０７にそれぞれ文字の描画像が存在することを検出した場合、それらの文字の連続により構成される文字列が１つのワードを構成するか否か、すなわち、描画連続性が有るか否かを判定する（ステップＳ８）。

ステップＳ８において第２判定部３５により描画連続性があると判定された場合（ステップＳ８でＮＯ）、第３判定部３６は、この一連の判定を受けてこのペアに係る２つの分割画像１０６，１０７を結合すべきであると判定する（ステップＳ９）。画像結合部３７は、この第３判定部３６の判定結果を受けて２つの分割画像１０６，１０７を結合し（ステップＳ１０）、ステップＳ１２の処理に進む。

なお、ステップＳ８において、第２判定部３５により描画連続性が無いと判定された場合は（ステップＳ８でＹＥＳ）、制御部９は、ステップＳ９，Ｓ１０の処理をスキップしてステップＳ１２の処理を行う。

また、ステップＳ６において、第１判定部３４は、帯状領域１０２，１０３に描画されていると判定すると（ステップＳ６でＹＥＳ）、その描画像が前記境界線の画像か否かを判定する（ステップＳ１１）。その結果、第１判定部３４は、前記描画像を前記境界線の画像でないと判定すると（ステップＳ１１でＮＯ）、ステップＳ９の処理に進む。また、第１判定部３４がこの描画像を前記境界線の画像と判定すると（ステップＳ１１でＹＥＳ）、ステップＳ１２の処理に進む。

ステップＳ１２において、制御部９は、全てのペアについてステップＳ６〜Ｓ１１の処理が終了したか否かを判定する。制御部９は、全てのペアについてステップＳ６〜Ｓ１１の処理が終了していないと判定すると（ステップＳ１１でＮＯ）、１だけインクリメントしたペア番号のペアを処理対象に設定し（ステップＳ１３）、そのペアについてステップＳ６〜Ｓ１１の処理を行う。

一方、制御部９は、全てのペアについてステップＳ６〜Ｓ１１の処理が終了したと判定すると（ステップＳ１２でＹＥＳ）、画像サイズ調整部３８は、画像結合部３７により結合された画像の画像サイズを結合されなかった画像の画像サイズに合わせるサイズ調整を行う（ステップＳ１４）。そして、制御部９は、これらの画像を画像形成部５に出力する（ステップＳ１５）。画像形成部５は、これらの画像を結合されなかった画像の画像サイズに合った用紙に印刷する。画像形成部５は、各画像を印刷用紙の各印刷面にそれぞれ印刷する。なお、このときの印刷形態は、片面印刷でもよいし、両面印刷でもよい。

以上のように、本実施形態に係る画像処理装置１は、画像読取部２で読み取った画像をその長辺方向中央で分割する。また、各分割画像１０６，１０７をページ順に並べ替えてペアを作成する。また、各ペアにおける２つの分割画像１０６，１０７の帯状領域１０２，１０３における描画像の有無を判定する。また、分割画像１０６，１０７同士における描画像の連続性や関連性を判定する。そして、これらの判定結果に応じて、２つの分割画像１０６，１０７の結合の要否を判定する。

具体的には、画像処理装置１は、分割画像１０６，１０７同士に描画連続性があるときには、帯状領域１０２，１０３に描画されていない場合であっても、この２つの分割画像１０６，１０７を結合する。これにより、前記のように片面印刷又は両面印刷された場合に、これら２つの分割画像１０６，１０７が１枚の用紙の一方の印刷面に左右に並ぶことになる。これにより、ユーザーは、描画連続性のある２つの描画像を一体的に視認することができる。また、分割画像１０６，１０７が別個の画像として取り扱われる場合に比べて良好な画像品質を有する画像を生成することができる。

特に本実施形態では、分割画像１０６の描画像と分割画像１０７の描画像との位置を揃えたり、濃度をあわせたりするなどの画像処理を行ったうえで２つの分割画像１０６，１０７を結合する。これにより、さらに良好な画像品質を有する画像を生成することができる。

また、本実施形態に係る画像処理装置１は、帯状領域１０２，１０３に描画されている場合に、その描画像が境界線以外の画像であるときにも、２つの分割画像１０６，１０７を結合する。これによっても、中綴じ冊子４００の２ページ分の描画像を含んだ原稿画像から良好な画像品質を有する画像を生成することができる。

また、本実施形態では、結合された画像の画像サイズが、結合されなかった画像の画像サイズに合わせられる。これにより、指定された印刷用紙が、結合されなかった画像の画像サイズに対応するものである場合に、画像結合部３７による結合画像をそのサイズの用紙にあわせて印刷出力することができる。

以上、本発明の好ましい実施形態について説明したが、本発明は前述した内容のものに限られず、種々の変形例が適用可能である。

前記実施形態では、中綴じ冊子４００のステープル針５００が取り外されることによって分離した原稿をコピーして冊子を片綴じ作成するための印刷物を生成する処理について説明した。ただし、ステープル針５００が取り外されることなく見開き状態でコピーする場合も同様の処理を行うことで、前述した効果と同様の効果を得ることができる。

見開き状態の中綴じ冊子４００をコピーする場合、表紙となる１ページ目と、裏表紙となる１２ページ目は、別々に読み取られることが多い。この場合、図９Ｂに示すように、それぞれ２ページ分の画像を含んだ７枚分の読取画像１００が生成される。１ページ目及び１２ページ目の画像をそれぞれ読み取った読取画像１００は、半分が所謂黒べたの画像となる。図９Ｂの網掛けハッチング領域が前記黒べたの画像を示している。

画像分割部３２は、図９Ｂに示すように、中綴じ冊子４００を構成する各原稿に対する画像読取部２の読取動作によって得られた各読取画像１００をそれぞれ長辺方向の中央（図９Ｂに示す点線の位置）で分割する。これにより、図９Ｃに示すように、各読取画像１００は、その中綴じ冊子４００におけるページ毎に分割され、分割画像１５０が生成される。そして、各分割画像１５０を中綴じ冊子４００のページ順に配列する。なお、このとき、前記黒べたの分割画像１５０は削除される。

そして、図４Ｄに示すように、ペア作成部３３は、この配列した各分割画像１５０に対し、中綴じ冊子４００を見開き状態とした場合に隣り合う一対のページごとにペアを作成する。なお、ペア作成部３３は、本実施形態においても、中綴じ冊子４００の表紙及び裏表紙にあたる１ページ目と最終ページをペア作成の対象から外す。図４Ｄは、ペア作成部３３が、中綴じ冊子４００の表紙及び裏表紙にあたる１ページ目と１２ページ目を除く２ページ目から１１ページ目までのページを対象としてペアを作成した結果、ペア３０１〜３０５が設定されたことを示している。これ以降、第１の実施形態と同様の処理を行えばよい。

本件における処理対象の冊子には、中綴じタイプの冊子に限らず、片面又は両面に１ページ分の画像がそれぞれ形成された複数の原稿が左綴じ又は上綴じによって構成された所謂片綴じ冊子も含まれる。そして、それらの冊子につき、ステープルを取り外すことなく見開き状態でコピーする場合は、図９Ａ〜図９Ｄに示す分割処理を含む一連の冊子処理を行うことで、前述した効果と同様の効果を得ることができる。

一方、前記片綴じ冊子のステープル針５００が取り外されることによって分離した原稿をコピーする場合は、１ページずつ画像が読み取られるため、１つの読取画像には１ページ分の画像しか含まれない。そのため、分割処理を行う必要が無い。よって、ページ順に読み取った場合には、前記各読取画像をペアの作成対象とし、以降、第１の実施形態と同様の処理を行えばよい。

前記実施形態では、画像読取部２で読み取られた画像を冊子処理の対象画像とした。ただし、本件は、この形態に限らず、他の機器から受信した受信画像を冊子処理の対象とすることもできる。この受信画像が、前記中綴じ冊子や前記片綴じ冊子の２ページ分の描画像を含んだ原稿画像である場合、この原稿画像を前記のように分割する必要がある。この場合、画像分割部３２が画像処理装置１の制御部９に設けられる。また、受信画像が前述のような分割画像である場合は、画像分割部３２を設ける必要はなく、通信インターフェイス部８が画像取得部として機能する。

また、前記実施形態では、冊子処理後の画像の用途を印刷出力用としたが、その用途は印刷出力用に限られない。例えば、他の機器への送信用としてもよいし、自機（画像処理装置１）による保存用としてもよい。

また、前記実施形態では、画像結合部３７により結合された画像の画像サイズを、結合されなかった画像の画像サイズに合わせるようにした。ただし、逆に結合されなかった画像の画像サイズを、画像結合部３７により結合された画像の画像サイズに合わせるようにしてもよい。なお、本件において、このような画像のサイズ調整は必須のものではなく、サイズ調整を行わなくてもよい。

Claims (7)

1. 冊子を構成する複数の原稿のページ毎の画像を取得する画像取得部と、
   前記画像取得部により取得された複数の画像を前記冊子のページ順に配列し、この配列された各画像に対し、前記冊子を見開き状態としたときに隣り合う一対のページ毎にペアを作成するペア作成部と、
   前記ペア作成部により作成された各ペアにおける２つの画像に対し、この２つの画像同士の境界部分を含む所定幅の帯状領域における描画像の有無を判定する第１判定部と、
   前記２つの画像同士の描画連続性の有無を判定する第２判定部と、
   前記第１判定部による判定結果と前記第２判定部による判定結果とに基づいて、前記２つの画像を結合すべきか否かを判定する第３判定部と、
   前記第３判定部により前記２つの画像を結合すべきであると判定されると、この２つの画像を結合する画像結合部と、を備える画像処理装置。
2. 前記第３判定部は、前記第１判定部によって前記帯状領域に描画像が無いと判定され、且つ、前記第２判定部により前記描画連続性があると判定された場合、前記２つの画像を結合すべきであると判定する請求項１に記載の画像処理装置。
3. 前記第３判定部は、前記第１判定部により前記帯状領域に描画像があると判定され、前記第１判定部によりその描画像が前記２つの画像間の境界を示す境界画像以外の画像であると判定された場合、前記第２判定部による判定結果に拘わらず、前記２つの画像を結合すべきであると判定する請求項１に記載の画像処理装置。
4. 前記画像結合部により結合された画像の画像サイズと前記画像結合部により結合されなかった画像の画像サイズとを同じサイズに調整する画像サイズ調整部を更に備える請求項１に記載の画像処理装置。
5. 前記冊子は、積層状態で２つ折りにされた複数の原稿が折り目又はその近傍で綴じられてなる中綴じ冊子であり、
   前記画像取得部は、前記中綴じ冊子の綴じ状態を解除することにより互いに分離された複数の原稿がそれぞれ読み取られた画像であって前記中綴じ冊子の２ページ分の描画像を含む画像を前記中綴じ冊子のページ毎に分割することにより前記ページ毎の画像を取得する画像分割部であり、
   前記ペア作成部は、前記画像分割部により分割された各分割画像を前記ペアの作成対象とする請求項１に記載の画像処理装置。
6. 前記画像取得部は、前記冊子が見開き状態で読み取られた画像であって前記中綴じ冊子の２ページ分の描画像を含む画像を前記中綴じ冊子のページ毎に分割することにより前記ページ毎の画像を取得する画像分割部であり、
   前記ペア作成部は、前記画像分割部により分割された各分割画像を前記ペアの作成対象とする請求項１に記載の画像処理装置。
7. 冊子を構成する複数の原稿のページ毎の画像を取得する第１ステップ、
   前記第１ステップで取得された画像を前記冊子のページ順に配列し、この配列された各画像に対し、前記冊子を見開き状態としたときに隣り合う一対のページ毎にペアを作成する第２ステップ、
   前記第２ステップで作成された各ペアにおける２つの画像に対し、この２つの画像同士の境界部分を含む所定幅の帯状領域における描画像の有無を判定する第３ステップ、
   前記２つの画像同士の描画連続性の有無を判定する第４ステップ、
   前記第３ステップでの判定結果と前記第４ステップでの判定結果とに基づいて、前記２つの画像を結合すべきか否かを判定する第５ステップ、
   前記第５ステップにおいて前記２つの画像を結合すべきであると判定されると、この２つの画像を結合する第６ステップ、を備える画像処理方法。

Images