JP4999729B2 - 画像処理方法、及び画像処理装置 - Google Patents

Description

本発明は、ページ集約機能を活用することで作成された電子文書中に、サイズが小さくて視づらい孤立画像が混在していたとしても、電子文書を閲覧するユーザの手を煩わすことなく、快適な閲覧環境を提供可能な画像処理方法、及び画像処理装置に関する。

複数ページにわたる原稿画像を含む電子文書について、個々の原稿画像が正立方向に整列して配置されていれば、これらを閲覧するときに見やすくなって便利である。

こうした要請に応えるために、ファクシミリ送受信部にて受信した画像データをメモリに保持し、送られてきた画像の方向を方向判別部により取得し、同取得結果に基づく方向判別情報を付加して画像データをコンピュータ宛に送ることによって、コンピュータでは、正立方向で原稿を表示させ、再生時の手間を省くようにした画像処理技術が知られている（例えば特許文献１参照）。

また、文字認識の結果を活用して文書画像の方向を９０度単位で判定する際に、複数方向で高い確信度を持つ文字の影響を低減させて文書画像の方向を高精度で判定可能とした技術も公知である（例えば特許文献２参照）。

ところで、例えばデジタル複写機などの画像処理装置は、一般に、複数ページにわたる各原稿画像を縮小することでひとつのページに集約する、2in1 や 4in1 などと呼ばれるページ集約機能を有している。

かかるページ集約機能を活用することで作成された複数ページにわたる原稿画像を含む電子文書にあっては、サイズが小さくて視づらい孤立画像が混在してしまうことが起こり得る。こうした場面は、一般に、ページ集約機能では、全ての原稿ページを同一のサイズ及び方向に統一して処理するのが通常であるが、かかる背景の下で、原稿画像のサイズと方向に基づいて、他のページよりも高い縮小率で変倍処理を行う技術（例えば特許文献３参照）を適用した際に起こり得る。このようにサイズが小さくて視づらい孤立画像がひとつのページに混在しているページ集約画像を含む電子文書に対しては、上述した特許文献１〜３に係る従来技術を単に適用しても、高い縮小率で変倍処理された原稿画像であるか否かにかかわらず、他の原稿画像と同様の画一的な変倍率に従う分割しかできない結果、サイズが小さくて視づらい孤立画像が生じてしまうことは避けられない。
特開平１０−１５０５５１号公報 特開２０００−１１３１０３号公報 特開平６−１０３４１０号公報

解決しようとする問題点は、従来技術では、電子文書のなかから、サイズが小さくて視づらい孤立画像を排除することが難しかった点である。

本発明は、ページ集約機能を活用することで作成された電子文書中に、サイズが小さくて視づらい孤立画像が混在していたとしても、電子文書を閲覧するユーザの手を煩わすことなく、快適な閲覧環境を提供することを目的として、複数ページにわたる原稿を各ページ単位で順次読み取る原稿読取工程と、前記原稿読取工程で順次読み取った原稿に基づき各ページ毎の原稿に係る画像情報を取得する画像情報取得工程と、前記画像情報取得工程で取得した画像情報に基づく文字認識結果から、該当ページ中に存在する画像の方向を取得する画像方向取得工程と、前記画像方向取得工程の取得結果に基づいて、前記画像を正立方向に整列させる修正を行う画像修正工程と、を備えて構成される画像処理方法であって、前記画像情報取得工程で取得した画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求める画像濃度分布演算工程と、前記画像濃度分布演算工程で求められた画像濃度分布に基づいて、該当ページ中における孤立画像の混在状況を取得する混在状況取得工程と、前記混在状況取得工程の取得結果に基づいて、該当ページ中に混在している前記孤立画像を、個々の孤立画像にそれぞれ分割するとともに、当該分割された個々の孤立画像毎に各別のページを割り当てる孤立画像分割工程と、前記孤立画像分割工程で分割後の孤立画像に係る画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求める孤立画像濃度分布演算工程と、前記孤立画像濃度分布演算工程で求められた分割後の孤立画像に係る画像濃度分布に基づいて、該当ページ中における孤立画像に係るサイズを取得する画像サイズ取得工程と、をさらに備え、前記画像方向取得工程では、前記孤立画像分割工程で分割後の孤立画像に係る情報に基づく文字認識結果から、該当ページ中に存在する孤立画像の方向を取得し、前記画像修正工程では、前記画像サイズ取得工程の画像サイズ取得結果と、前記画像方向取得工程の画像方向取得結果と、に基づいて、孤立画像のサイズ拡大及び正立方向への整列に係る修正を行う、ことを特徴とする。

本発明に係る画像処理方法によれば、画像濃度分布演算工程では、前記画像情報取得工程で取得した画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求め、混在状況取得工程では、前記画像濃度分布演算工程で求められた画像濃度分布に基づいて、該当ページ中における孤立画像の混在状況を取得し、孤立画像分割工程では、前記混在状況取得工程の取得結果に基づいて、該当ページ中に混在している前記孤立画像を、個々の孤立画像にそれぞれ分割するとともに、当該分割された個々の孤立画像毎に各別のページを割り当てる。これを受けて孤立画像濃度分布演算工程では、前記孤立画像分割工程で分割後の孤立画像に係る画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求め、画像サイズ取得工程では、前記孤立画像濃度分布演算工程で求められた分割後の孤立画像に係る画像濃度分布に基づいて、該当ページ中における孤立画像に係るサイズを取得し、画像方向取得工程では、前記孤立画像分割工程で分割後の孤立画像に係る情報に基づく文字認識結果から、該当ページ中に存在する孤立画像の方向を取得し、そして、画像修正工程では、前記画像サイズ取得工程の画像サイズ取得結果と、前記画像方向取得工程の画像方向取得結果と、に基づいて、孤立画像のサイズ拡大及び正立方向への整列に係る修正を行う。従って、ページ集約機能を活用することで作成された電子文書の中に、サイズが小さくて視づらい孤立画像が混在していたとしても、こうした孤立画像を、個々の孤立画像にそれぞれ分割するとともに、当該分割された個々の孤立画像毎に各別のページを割り当てた後、孤立画像のサイズ拡大及び正立方向への整列に係る修正処理が行われる結果として、電子文書を閲覧するユーザの手を煩わすことなく、快適な閲覧環境を提供することができる。

ページ集約機能を活用することで作成された電子文書の中に、サイズが小さくて視づらい孤立画像が混在していたとしても、電子文書を閲覧するユーザの手を煩わすことなく、快適な閲覧環境を提供するといった目的を、主として、前記画像サイズ取得工程の画像サイズ取得結果と、前記画像方向取得工程の画像方向取得結果と、に基づいて、孤立画像のサイズ拡大及び正立方向への整列に係る修正を行う画像修正工程によって実現した。

以下、本発明実施例に係る画像処理方法、及び画像処理装置について、図面を参照しつつ詳細に説明する。なお、以下では、本発明に係る画像処理装置の一実施例として、デジタル複合機を例示して説明する。

［本発明実施例に係る画像処理方法を適用したデジタル複合機の概略構成］
図１は、デジタル複合機の概略構成を示すブロック図、図２は、同デジタル複合機における操作パネル部の外観図である。

本機は、例えば、コピージョブ、Fax送信ジョブ、印刷ジョブ、又はネットワーク送信（メール送信やデータ送信）ジョブを含む諸機能が利用可能であり、マイクロコンピュータ及び専用のハードウェア回路等から構成される主制御部１１によって制御される。この主制御部１１に接続され諸機能を担う入出力機器として、本機は、原稿読取部２１、画像処理部３１、エンジン部４１、操作パネル部５１、ファクシミリ通信部６１、ＨＤＤ（ハードディスクドライブ）６３、並びに、ネットワークＩ／Ｆ（インタフェース）部６５を備える。

主制御部１１は、スキャナ機能を実現するための動作制御を行うスキャナコントローラ１３と、ファクシミリ機能を実現するための動作制御を行うファクシミリコントローラ１５、プリンタ機能を実現するための動作制御を行うプリンタコントローラ１７、並びに、コピー機能を実現するための動作制御を行うコピーコントローラ１９を内蔵し、本機全体の動作を統括制御する。

本発明において原稿読取手段として機能する原稿読取部２１は、図示しないスキャナを構成する画像照射ランプ２３及びＣＣＤ（電荷結合素子： Charge Coupled Device ）センサ２５を含む。原稿読取部２１は、画像照射ランプ２３により原稿を照射し、その反射光をＣＣＤセンサ２５で受光することにより、原稿から画像を読み取り、読み取った画像に対応する画像データを画像処理部３１へ送出する。

画像処理部３１は、補正部３３、画像加工部３５及び画像メモリ３７を含む。画像処理部３１は、原稿読取部２１で読み取られた画像データを、必要に応じて補正部３３及び画像加工部３５で処理し、処理後の画像データを画像メモリ３７に記憶させ、或いは、エンジン部４１、ファクシミリ通信部６１等へ送出する。補正部３３は、原稿読取部２１で読み取られた画像データに対してレベル補正、ガンマ補正等の所定の補正処理を行う。画像加工部３５は、画像データの圧縮又は伸張処理、及び拡大又は縮小処理等の種々の加工処理を行う。

エンジン部４１は、図示しない給紙カセットや給紙ローラ等から構成される用紙搬送部４３、図示しない感光体ドラム、露光装置、現像装置等から構成される画像形成部４５、図示しない転写ローラ等から構成される転写部４７、及び図示しない定着ローラ等から構成される定着部４９を含む。エンジン部４１は、原稿読取部２１で読み取られた画像データ、ネットワークＩ／Ｆ部６５を介してＬＡＮ（Local Area Network）によりクライアントＰＣ（パーソナルコンピュータ）等から送信された画像データ、ファクシミリ通信部６１を用いて外部のファクシミリ装置等から受信したファクスデータ等の画像データを用いて画像を用紙に印刷する。具体的には、用紙搬送部４３は用紙を画像形成部４５へ搬送し、画像形成部４５は上記の画像データに対応するトナー像を形成し、転写部４７はトナー像を用紙に転写し、定着部４９はトナー像を用紙に定着させて画像を形成する。

操作パネル部５１は、図１及び図２に示すように、タッチパネル部５３及び機能キー部５５を含む。操作パネル部５１は、ユーザがスキャナ機能、ファクシミリ機能、プリンタ機能、コピー機能等に関する操作を行うために使用され、ユーザによる操作指令等を主制御部１１に与える。

本発明の表示手段として機能するタッチパネル部５３は、タッチパネルとカラーＬＣＤ（Liquid Crystal Display）とを組み合わせたタッチパネルユニット等から構成され、種々の設定画面、例えば、コピー機能実行時には、原稿サイズ、コピーサイズ、複写部数などを設定するための情報を表示するとともに、ユーザが該当部分をタッチすることにより種々の操作指令を入力するための操作ボタン類を表示する。また、タッチパネル部５３は、複数ページにわたる原稿画像を含む電子文書を表示する際に用いられる。

機能キー部５５は、画像形成処理に係る各種機能を選択する際にユーザによって操作される複数の機能キー、並びに、ショートカットキーを備えており、例えば、コピー機能、プリンタ機能、スキャナ機能、ファクシミリ機能など諸機能のなかから、所要機能のキー入力操作をユーザが選択的に実行する際に、又は、ユーザが複写部数やコピー実行指令などを操作入力する際に用いられる。

ファクシミリ通信部６１は、符号化／復号化部（図示省略）、変復調部（図示省略）及びＮＣＵ（Network Control Unit）（図示省略）を含む。ファクシミリ通信部６１は、原稿読取部２１によって読み取られた原稿の画像データを電話回線を介してファクシミリ装置等へ送信したり、ファクシミリ装置等から送信された画像データを受信する。

ＨＤＤ（ハードディスクドライブ）６３は、原稿読取部２１によって読み取られた画像データ及び同画像データに設定されている出力形式等の種々のデータ等を記憶する。ＨＤＤに記憶されている画像データは、デジタル複合機、プログラム及び記録媒体内部で使用されるだけでなく、必要に応じて、ネットワークＩ／Ｆ部６５を介してクライアントＰＣ等から確認したり、クライアントＰＣやＦＴＰサーバ等の所定のフォルダへ転送される。

ネットワークＩ／Ｆ部６５は、ネットワークインタフェース（１０／１００Ｂａｓｅ−ＴＸ）等を用い、ＬＡＮを介して接続されたクライアントＰＣ等のユーザ端末６７に対する種々のデータの送受信を制御する。

さて、ページ集約機能を活用することで作成された電子文書中に、サイズが小さくて視づらい孤立画像が混在していたとしても、電子文書を閲覧するユーザの手を煩わすことなく、快適な閲覧環境を提供するために、本発明実施例に係るデジタル複合機は、複数ページにわたる原稿を各ページ単位で順次読み取る原稿読取部２１（本発明の「原稿読取手段」に相当する。）と、原稿読取部２１で順次読み取った原稿に基づき各ページ毎の原稿に係る画像情報を取得する画像情報取得部（本発明の「画像情報取得手段」に相当する。）７１と、画像情報取得部７１で取得した画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求める画像濃度分布演算部（本発明の「画像濃度分布演算手段」に相当する。）７３と、画像濃度分布演算部７３で求められた画像濃度分布に基づいて、該当ページ中における孤立画像（本発明でいう「孤立画像」とは、相互に異なる方向を指向する異方孤立画像と、相互に共通の方向を指向する同方孤立画像と、の両者を含む概念である。以下、同様。）の混在状況を取得する混在状況取得部（本発明の「混在状況取得手段」に相当する。）７５と、混在状況取得部７５の取得結果に基づいて、該当ページ中に混在している前記孤立画像を、個々の孤立画像にそれぞれ分割するとともに、当該分割された個々の孤立画像毎に各別のページを割り当てる孤立画像分割部（本発明の「孤立画像分割手段」に相当する。）７７と、画像情報取得部７１で取得した画像情報に基づく文字認識結果から、該当ページ中に存在する画像の方向を取得する画像方向取得部（本発明の「画像方向取得手段」に相当する。）７９と、画像濃度分布演算部７３で求められた画像濃度分布に基づいて、該当ページ中における孤立画像に係るサイズを取得する画像サイズ取得部（本発明の「画像サイズ取得手段」に相当する。）８０と、画像サイズ取得部８０の画像サイズ取得結果と、画像方向取得部７９の画像方向取得結果と、に基づいて、孤立画像のサイズ拡大及び正立方向への整列に係る修正を行う画像修正部（本発明の「画像修正手段」に相当する。）８１と、電子文書等をタッチパネル部５３の表示画面上に表示させる制御を行う表示制御部８３と、を備えて構成されている。なお、画像濃度分布演算部７３では、孤立画像分割部７７で分割後の孤立画像に係る画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求め、画像サイズ取得部８０では、画像濃度分布演算部７３で求められた分割後の孤立画像に係る画像濃度分布に基づいて、該当ページ中における孤立画像に係るサイズを取得し、画像方向取得部７９では、孤立画像分割部７７で分割後の孤立画像に係る情報に基づく文字認識結果から、該当ページ中に存在する孤立画像の方向を取得し、画像修正部８１では、画像サイズ取得部８０の画像サイズ取得結果と、画像方向取得部７９の画像方向取得結果と、に基づいて、孤立画像のサイズ拡大及び正立方向への整列に係る修正を行う、ように構成されている。

［本発明実施例に係るデジタル複合機（画像処理装置）の動作］
次に、本発明実施例に係るデジタル複合機の動作について、図３乃至図７を参照して説明する。図３は、本デジタル複合機の動作フローチャート図、図４は、孤立画像が混在している集約原稿ページに係る画像濃度分布の説明に供する図、図５は、該当ページ中に混在している孤立画像が空白領域をもって分割される様子を示す説明図、図６は、分割後の原稿ページに係る画像濃度分布の説明に供する図、図７は、分割後の原稿ページが分割、サイズ拡大、及び方向修正される様子を示す説明図、をそれぞれ示す。

前提として、本発明実施例に係るデジタル複合機は、ページ集約機能と、このページ集約機能を活用することで複数ページにわたる原稿画像を含む電子文書を作成する電子文書作成機能と、を有しているものとする。

図３に示すように、原稿読取部２１における原稿自動送り装置（不図示）に、複数ページにわたる原稿がセットされた後に、同原稿の読み取り指示が操作パネル部５１を介してユーザに操作入力されると、主制御部１１は、原稿読み取りの開始信号を原稿読取部２１に送出する。これを受けて原稿読取部２１は、各ページ単位で原稿読み取りを開始する（ステップ１１）。

ステップＳ１１においてページ単位で読み取られた画像データは、原稿読取部２１から画像情報取得部７１宛に送出される。これを受けて画像情報取得部７１は、当該原稿に係る画像をページ単位で取得し、取得した画像データを、画像メモリ３７に記憶させる（ステップ１２）。

次いで、画像濃度分布演算部７３は、画像情報取得部７１で取得した画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を演算し、これを受けて混在状況取得部７５は、画像濃度分布演算部７３で求められた画像濃度分布に基づいて、該当ページ中における孤立画像の混在状況を取得する（ステップＳ１３）。ここで、ステップＳ１３における画像濃度分布演算処理及び混在状況取得処理について、孤立画像が混在している集約原稿ページ（左側半分は縦向き正立状態の、同ページの略全面にわたって文字が埋め尽くされている横書き原稿であり、右側半分は縦向き正立状態の、同ページの略三分の二の面積を占める空白領域で上下を挟まれた横書き原稿である。）を例示（図４（ａ）参照）して説明すると、画像濃度分布演算部７３は、主走査方向における画像濃度の積算値を行単位で求めるとともに、求められた積算値を副走査方向に展開することで画像濃度分布を演算する（図４（ｂ）参照）一方で、副走査方向における画像濃度の積算値を列単位で求めるとともに、求められた積算値を主走査方向に展開することで画像濃度分布を演算する（図４（ｃ）参照）。これらの濃度積算値分布特性を解析すると、図４（ｂ）に示す行単位（横方向）での濃度積算値分布では、副走査方向（図４（ａ）の集約原稿ページにおける縦方向）に展開された濃度積算値がほぼ切れ目なく分布しているのに対し、図４（ｃ）に示す列単位（縦方向）での濃度積算値分布では、主走査方向（図４（ａ）の集約原稿ページにおける横方向）に展開された濃度積算値のうち、その中央部分に所定間隔の切れ目が存在していることがわかる。この濃度積算値の切れ目は、集約原稿ページにおける空白領域の存在を意味するから、空白領域を中間に挟んで、少なくとも二つの孤立画像が存在することがわかる。従って、混在状況取得部７５は、主走査方向及び副走査方向におけるそれぞれの画像濃度分布を解析することを通じて、集約原稿ページ中に、いくつの孤立画像が混在しているか（"N in 1"における"N"の数）に係る孤立画像の混在状況を取得することができる。

ステップＳ１３における混在状況取得結果に基づいて、混在状況取得部７５は、該当ページ中に、孤立画像が混在しているか否かに係る判定を行う（ステップＳ１４）。

ステップＳ１４における判定の結果、該当ページ中に孤立画像が混在していない旨の判定が下されたとき、混在状況取得部７５は、本発明に係る孤立画像の分割、サイズ拡大、又は正立方向への整列修正処理を実行させる場面は存在しないものとみなして、処理の流れをステップＳ２２における画像表示処理までジャンプさせる。

一方、ステップＳ１４における判定の結果、該当ページ中に孤立画像が混在している旨の判定が下されたとき、孤立画像分割部７７は、混在状況取得部７５の取得結果に基づいて、該当ページ中に混在している孤立画像を、個々の孤立画像にそれぞれ分割するとともに、当該分割された個々の孤立画像毎に各別のページを割り当てる処理を実行する（ステップＳ１５）。

ステップＳ１５における孤立画像の分割及びページ割り当て処理を経て、図５（ａ）に示す分割前における集約原稿ページ（左側半分の第1-1ページは縦向き正立状態の、同ページの略全面にわたって文字が埋め尽くされている横書き原稿であり、右側半分の第1-2ページは縦向き正立状態の、同ページの略三分の二の面積を占める空白領域で上下を挟まれた横書き原稿である。）は、図５（ｂ）に示すように、図５（ａ）の点線部分を境に均等に二分割された各孤立画像に係る二枚の原稿ページへと変換される。

ここで問題となるのが、分割後の各孤立画像に係るそれぞれのサイズである。孤立画像の混在を解消して各孤立画像毎に各別のページを割り当てることができたのにもかかわらず、そのページに係る面積を有効に活用できていない（空白領域のサイズが大きい）態様で、サイズが小さくて視づらい孤立画像がひとつのページに割り当てられていたのでは、本発明に係る初期の目的「快適な閲覧環境を提供」を達成することはできない。

そこで、ステップＳ１６〜Ｓ２１では、サイズが小さくて視づらい孤立画像がひとつのページに割り当てられている場合には、その孤立画像に係るサイズ拡大及び正立方向への整列に係る修正を行うこととしている。

すなわち、ステップＳ１６において、孤立画像濃度分布演算工程の孤立画像濃度分布演算手段として機能する画像濃度分布演算部７３は、前述したステップＳ１３における処理の流れと同様に、孤立画像分割部７７で分割後の孤立画像に係る画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求める（ステップＳ１６）。

ステップＳ１６における孤立画像濃度分布演算結果に基づいて、画像サイズ取得部８０は、該当ページ中における孤立画像に係るサイズを取得するとともに、その取得結果に基づいて、当該孤立画像に係るサイズが縮小されていて視づらいものか否かに係るサイズ判定を行う（ステップＳ１７）。

ステップＳ１７におけるサイズ判定の結果、当該孤立画像が視づらいものではない旨の判定が下されたとき、画像サイズ取得部８０は、本発明に係る孤立画像のサイズ拡大、又は正立方向への整列修正処理を実行させる場面は存在しないものとみなして、処理の流れをステップＳ２２における画像表示処理までジャンプさせる。

一方、ステップＳ１７におけるサイズ判定の結果、当該孤立画像が視づらいものである旨の判定が下されたとき、画像修正部８１は、画像サイズ取得部８０の画像サイズ取得結果に基づいて、当該孤立画像のサイズ拡大に係る修正処理を実行する（ステップＳ１８）。

ここで、ステップＳ１６における孤立画像濃度分布演算処理、ステップＳ１７におけるサイズ判定処理、及びステップＳ１８における画像サイズ修正処理について、図６（ａ）に示す分割後の原稿に係る第２ページ（縦向き正立状態の、同ページの略三分の二の面積を占める空白領域で上下を挟まれた横書き原稿ページ）を例示して詳しく説明する。まず、画像濃度分布演算部７３は、主走査方向における画像濃度の積算値を行単位で求めるとともに、求められた積算値を副走査方向に展開することで画像濃度分布を演算する（図６（ｂ）参照）一方で、副走査方向における画像濃度の積算値を列単位で求めるとともに、求められた積算値を主走査方向に展開することで画像濃度分布を演算する（図６（ｃ）参照）。これらの濃度積算値分布特性を解析すると、図６（ｃ）に示す列単位（縦方向）での濃度積算値分布では、主走査方向（図６（ａ）の原稿ページにおける横方向）に展開された濃度積算値が、展開方向における端から端までほぼ切れ目なく分布しているのに対し、図６（ｂ）に示す行単位（横方向）での濃度積算値分布では、副走査方向（図６（ａ）の原稿ページにおける縦方向）に展開された濃度積算値が、その中央付近にのみ分布しており、展開方向における両端には広い空白領域が存在していることがわかる。この濃度積算値の空白領域は、原稿ページにおける空白領域の存在を意味するから、広い空白領域を両端に挟んで孤立画像が存在することがわかる。この場合、縦方向の原稿ページに存在する当該原稿画像を、縦横変換することで横方向の原稿ページにおける略中央に割り当てれば、ステップＳ１６で求められた濃度積算値における空白領域の大きさに依存した広さの空白領域が出現する。従って、この空白領域を有効に活用することを考慮して、当該原稿画像のサイズ拡大に係る修正処理が実行されることになる。

ステップＳ１８における原稿画像サイズ拡大に係る修正処理の実行後に、画像方向取得部７９は、分割後の孤立画像に係る情報に基づく文字認識結果から、該当ページ中に存在する孤立画像の方向を９０度の角度単位で取得する（ステップＳ１９）。

そして、画像修正部８１は、画像方向取得部７９の取得結果に基づいて、孤立画像を正立方向に整列させる修正を行った後（ステップＳ２１）、修正後の電子文書を表示制御部８３宛に送出する。これを受けて表示制御部８３は、電子文書の画像をタッチパネル部５３に表示させて（ステップＳ２２）、一連の処理の流れを終了させる。

ステップＳ１６〜Ｓ２１における孤立画像に係るサイズ拡大及び正立方向への整列修正処理を経て、図７（ａ）に示す分割前における集約原稿ページ（図５（ａ）と同様。）は、図５（ａ）の点線部分を境に均等に二分割された各孤立画像に係る二枚の原稿ページへと変換された後、原稿に係る第２ページに対して縦横変換、サイズ拡大、及び正立方向への整列修正に係る各処理が順次実行されることによって、図５（ｂ）に示すように、ユーザの閲覧に適した原稿ページへと変換される。

このように、ページ集約機能を活用することで作成された電子文書中に、サイズが小さくて視づらい孤立画像が混在していたとしても、こうした孤立画像を、個々の孤立画像にそれぞれ分割するとともに、当該分割された個々の孤立画像毎に各別のページを割り当てた後、孤立画像のサイズ拡大及び正立方向への整列に係る修正処理が行われる結果として、電子文書を閲覧するユーザの手を煩わすことなく、快適な閲覧環境を提供することができるようになる。

［本発明実施例の効果］
以上述べたように、本発明実施例に係る画像処理方法によれば、孤立画像分割工程で分割後の孤立画像に係る画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求め、求められた分割後の孤立画像に係る画像濃度分布に基づいて、該当ページ中における孤立画像に係るサイズを取得し、孤立画像分割工程で分割後の孤立画像に係る情報に基づく文字認識結果から、該当ページ中に存在する孤立画像の方向を取得し、そして、画像修正工程では、画像サイズ取得工程の画像サイズ取得結果と、画像方向取得工程の画像方向取得結果と、に基づいて、孤立画像のサイズ拡大及び正立方向への整列に係る修正を行うので、従って、ページ集約機能を活用することで作成された電子文書の中に、サイズが小さくて視づらい孤立画像が混在していたとしても、こうした孤立画像を、個々の孤立画像にそれぞれ分割するとともに、当該分割された個々の孤立画像毎に各別のページを割り当てた後、孤立画像のサイズ拡大及び正立方向への整列に係る修正処理が行われる結果として、電子文書を閲覧するユーザの手を煩わすことなく、快適な閲覧環境を提供することができる。

一方、本発明実施例に係る画像処理方法が適用されたデジタル複合機によれば、上述した情報処理方法が適用されることによって、電子文書を閲覧するユーザの手を煩わすことなく、快適な閲覧環境を提供可能な画像処理装置を提供することができる。

［その他］
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨、あるいは技術思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理方法又は画像処理装置もまた、本発明における技術的範囲の射程に包含されるものである。

すなわち、例えば、本発明実施例において、孤立画像を正立方向に整列修正後の電子文書に対する処理乃至取扱いについて、電子文書の画像をタッチパネル部５３に表示させる例をあげて説明したが、本発明はこの例に限定されることなく、整列修正後の電子文書を、例えば、デジタル複合機に装備されている文書ボックスに保存したり、或いは他の装置に送信することができることはいうまでもない。

本発明実施例に係るデジタル複合機の概略構成を示す機能ブロック図である。 本発明実施例に係るデジタル複合機における操作パネル部の外観図である。 本発明実施例に係るデジタル複合機の動作フローチャート図である。 孤立画像が混在している集約原稿ページに係る画像濃度分布の説明に供する図である。 該当ページ中に混在している孤立画像が空白領域をもって分割及び方向修正される様子を示す説明図である。 分割後の原稿ページに係る画像濃度分布の説明に供する図である。 分割後の原稿ページが分割、サイズ拡大、及び方向修正される様子を示す説明図である。

符号の説明

１１ 主制御部
２１ 画像読取部（画像読取手段）
３１ 画像処理部
７１ 画像情報取得部（画像情報取得手段）
７３ 画像濃度分布演算部（画像濃度分布演算手段、孤立画像濃度分布演算手段）
７５ 現在状況取得部（現在状況取得手段）
７７ 孤立画像分割部（孤立画像分割手段）
７９ 画像方向取得部（画像方向取得手段）
８０ 画像サイズ取得部（画像サイズ取得手段）
８１ 画像修正部（画像修正手段）
８３ 表示制御部（表示制御手段）

Claims (7)

1. 複数ページにわたる原稿を各ページ単位で順次読み取る原稿読取工程と、前記原稿読取工程で順次読み取った原稿に基づき各ページ毎の原稿に係る画像情報を取得する画像情報取得工程と、前記画像情報取得工程で取得した画像情報に基づく文字認識結果から、該当ページ中に存在する画像の方向を取得する画像方向取得工程と、前記画像方向取得工程の取得結果に基づいて、前記画像を正立方向に整列させる修正を行う画像修正工程と、を備えて構成される画像処理方法であって、
   前記画像情報取得工程で取得した画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求める画像濃度分布演算工程と、
   前記画像濃度分布演算工程で求められた画像濃度分布に基づいて、該当ページ中における孤立画像の混在状況を取得する混在状況取得工程と、
   前記混在状況取得工程の取得結果に基づいて、該当ページ中に混在している前記孤立画像を、個々の孤立画像にそれぞれ分割するとともに、当該分割された個々の孤立画像毎に各別のページを割り当てる孤立画像分割工程と、
   前記孤立画像分割工程で分割後の孤立画像に係る画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求める孤立画像濃度分布演算工程と、
   前記孤立画像濃度分布演算工程で求められた分割後の孤立画像に係る画像濃度分布に基づいて、該当ページ中における孤立画像に係るサイズを取得する画像サイズ取得工程と、
   をさらに備え、
   前記画像方向取得工程では、
   前記孤立画像分割工程で分割後の孤立画像に係る情報に基づく文字認識結果から、該当ページ中に存在する孤立画像の方向を取得し、
   前記画像修正工程では、
   前記画像サイズ取得工程の画像サイズ取得結果と、前記画像方向取得工程の画像方向取得結果と、に基づいて、孤立画像のサイズ拡大及び正立方向への整列に係る修正を行う、
   ことを特徴とする画像処理方法。
2. 請求項１記載の画像処理方法であって、
   前記画像濃度分布演算工程では、
   主走査方向における画像濃度の積算値を行単位で求めるとともに、求められた積算値を副走査方向に展開することで画像濃度分布を演算する一方で、
   副走査方向における画像濃度の積算値を列単位で求めるとともに、求められた積算値を主走査方向に展開することで画像濃度分布を演算し、
   前記混在状況取得工程では、
   前記画像濃度分布演算工程で求められた主走査方向及び副走査方向における画像濃度分布に基づいて、前記孤立画像間における空白の存在領域を解析し、当該解析結果に基づいて、前記孤立画像の混在状況を取得する、
   ことを特徴とする画像処理方法。
3. 請求項１又は２記載の画像処理方法であって、
   前記孤立画像濃度分布演算工程では、
   主走査方向における画像濃度の積算値を行単位で求めるとともに、求められた積算値を副走査方向に展開することで画像濃度分布を演算する一方で、
   副走査方向における画像濃度の積算値を列単位で求めるとともに、求められた積算値を主走査方向に展開することで画像濃度分布を演算し、
   前記画像サイズ取得工程では、
   前記孤立画像濃度分布演算工程で求められた分割後の孤立画像に係る画像濃度分布に基づいて、主走査方向又は副走査方向における空白の存在領域を解析し、当該解析結果に基づいて、該当ページ中における孤立画像に係るサイズを取得する、
   ことを特徴とする画像処理方法。
4. 複数ページにわたる原稿を各ページ単位で順次読み取る原稿読取手段と、前記原稿読取手段で順次読み取った原稿に基づき各ページ毎の原稿に係る画像情報を取得する画像情報取得手段と、前記画像情報取得手段で取得した画像情報に基づく文字認識結果から、該当ページ中に存在する画像の方向を取得する画像方向取得手段と、前記画像方向取得手段の取得結果に基づいて、前記画像を正立方向に整列させる修正を行う画像修正手段と、を備えて構成される画像処理装置であって、
   前記画像情報取得手段で取得した画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求める画像濃度分布演算手段と、
   前記画像濃度分布演算手段で求められた画像濃度分布に基づいて、該当ページ中における孤立画像の混在状況を取得する混在状況取得手段と、
   前記混在状況取得手段の取得結果に基づいて、該当ページ中に混在している前記孤立画像を、個々の孤立画像にそれぞれ分割するとともに、当該分割された個々の孤立画像毎に各別のページを割り当てる孤立画像分割手段と、
   前記孤立画像分割手段で分割後の孤立画像に係る画像情報に基づいて、主走査方向及び副走査方向における画像濃度分布を求める孤立画像濃度分布演算手段と、
   前記孤立画像濃度分布演算手段で求められた分割後の孤立画像に係る画像濃度分布に基づいて、該当ページ中における孤立画像に係るサイズを取得する画像サイズ取得手段と、
   をさらに備え、
   前記画像方向取得手段では、
   前記孤立画像分割手段で分割後の孤立画像に係る情報に基づく文字認識結果から、該当ページ中に存在する孤立画像の方向を取得し、
   前記画像修正手段では、
   前記画像サイズ取得手段の画像サイズ取得結果と、前記画像方向取得手段の画像方向取得結果と、に基づいて、孤立画像のサイズ拡大及び正立方向への整列に係る修正を行う、
   ことを特徴とする画像処理装置。
5. 請求項４記載の画像処理装置であって、
   前記画像濃度分布演算手段では、
   主走査方向における画像濃度の積算値を行単位で求めるとともに、求められた積算値を副走査方向に展開することで画像濃度分布を演算する一方で、
   副走査方向における画像濃度の積算値を列単位で求めるとともに、求められた積算値を主走査方向に展開することで画像濃度分布を演算し、
   前記混在状況取得手段では、
   前記画像濃度分布演算手段で求められた主走査方向及び副走査方向における画像濃度分布に基づいて、前記孤立画像間における空白の存在領域を解析し、当該解析結果に基づいて、前記孤立画像の混在状況を取得する、
   ことを特徴とする画像処理装置。
6. 請求項４又は５記載の画像処理装置であって、
   前記孤立画像濃度分布演算手段では、
   主走査方向における画像濃度の積算値を行単位で求めるとともに、求められた積算値を副走査方向に展開することで画像濃度分布を演算する一方で、
   副走査方向における画像濃度の積算値を列単位で求めるとともに、求められた積算値を主走査方向に展開することで画像濃度分布を演算し、
   前記画像サイズ取得手段では、
   前記孤立画像濃度分布演算手段で求められた分割後の孤立画像に係る画像濃度分布に基づいて、主走査方向又は副走査方向における空白の存在領域を解析し、当該解析結果に基づいて、該当ページ中における孤立画像に係るサイズを取得する、
   ことを特徴とする画像処理装置。
7. 請求項４〜６のうちいずれか一項に記載の画像処理装置であって、
   複数ページにわたる原稿を含む電子文書を表示するための表示手段をさらに備えた
   ことを特徴とする画像処理装置。