JP5036430B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、画像を複数の領域に分割し、接合条件を満たす２つ以上の領域を接合する画像処理装置及びその制御方法に関する。

原稿を読み取り、その読み取った画像を複数の要素に分割し、各要素毎のデータを管理する文書画像処理装置が特許文献１に記載されている。この特許文献１には、複数ページの文書から、ページを跨って記事を抽出する技術が開示されている。また特許文献２には、ブロックに分割された文書を入力してブロック同士を結合し、１つのブロックに再構成する文書解析装置が記載されている。
特開平１０−２４７２３７公報 特開平１１−１５８２６公報

しかしながら上記特許文献１，２では、文字以外の要素を結合できないという問題があった。即ち、図表や写真等のブロック同士を結合することができないため、これら図表や写真は、別の画像のコンテンツとして管理されてしまう。そのため、画像データを再編集して印刷する際に、複数のコンテンツを編集する必要がある。また文字領域を結合する際、特許文献１では、文字領域でタイトルやセパレータを検出するまで文字領域同士を結合している。このため段組等のレイアウトを指定した文字領域同士を結合するのが難しい。また文字領域が再編集されて、その領域のサイズが増減した後に、それら文字領域を含む文書を印刷すると、その文書に対して元々設定されているレイアウトが崩れてしまうといった問題もあった。

本発明の一態様によれば、上記従来の問題点を解決することを目的としている。

また本願発明の他の態様によれば、複数ページに亘る画像データの各ページの画像をその画像に含まれる部分画像の種別に応じた複数の領域に分割し、それら複数の領域の内、接合対象の領域を検索する方向を含む結合条件を設定する。そしてその接合条件に従って２つ以上の領域を接合する画像処理装置及びその制御方法を提供する。また、その接合された領域を含む画像をページ単位の画像に展開して出力することができる画像処理装置及びその制御方法を提供する。

上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
複数ページにわたる画像データの各ページの画像を当該画像に含まれる部分画像の種別に応じた複数の領域に分割する分割手段と、
前記複数の領域のそれぞれの少なくとも座標、サイズ及び前記種別に関する属性情報を保持する保持手段と、
前記分割手段により分割された複数の領域の１つである第１の領域を、当該複数の領域の１つである第２の領域と接合する際に、ユーザの指示に基づいて前記第２の領域を特定するための方向を設定する設定手段と、
前記複数の領域において前記第１の領域に隣接する複数の隣接領域のうち、前記第１の領域の属性情報が示す前記種別と同一の種別の部分画像に対応する領域であってかつ前記設定手段により設定された方向に隣接する領域が存在すると、該領域を前記第２の領域として特定し、該特定された第２の領域を前記第１の領域と接合して１つの領域とする領域接合手段と、
前記領域接合手段により接合された領域を含む前記画像データの領域に関する情報を記憶する記憶手段と、
を有することを特徴とする。

上記目的を達成するために本発明の一態様に係る画像処理装置の制御方法は以下のような工程を備える。即ち、
画像を複数の領域に分割する画像処理装置の制御方法であって、
複数ページにわたる画像データの各ページの画像を当該画像に含まれる部分画像の種別に応じた複数の領域に分割する分割工程と、
前記複数の領域のそれぞれの少なくとも座標、サイズ及び前記種別に関する属性情報を保持する保持工程と、
前記分割工程で分割された複数の領域の１つである第１の領域を、当該複数の領域の１つである第２の領域と接合する際に、ユーザの指示に基づいて前記第２の領域を特定するための方向を設定する設定工程と、
前記複数の領域において前記第１の領域に隣接する複数の隣接領域のうち、前記第１の領域の属性情報が示す前記種別と同一の種別の部分画像に対応する領域であってかつ前記設定工程で設定された方向に隣接する領域が存在すると、該領域を前記第２の領域として特定し、該特定された第２の領域を前記第１の領域と接合して１つの領域とする領域接合工程と、
前記領域接合工程により接合された領域を含む前記画像データの領域に関する情報を記憶する記憶工程と、
を有することを特徴とする。

本発明によれば、複数ページに亘る画像データの各ページの画像をその画像に含まれる部分画像の種別に応じた複数の領域に分割し、それら複数の領域の内、接合対象の領域を検索する方向を含む結合条件を設定する。そして、その接合条件に従って２つ以上の領域を接合できる。また、その接合された領域を含む画像をページ単位の画像に展開して出力することができる。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

図１は、本発明の実施の形態に係る画像処理システムの構成例を示すブロック図である。

この実施の形態に係る画像処理装置は、多機能装置（以下、ＭＦＰ）１００であり、ＬＡＮ１１０に接続された環境で動作している。ＬＡＮ１１０には、ＭＦＰ１００に印刷指示を行うクライアントＰＣ１０２が接続されている。またＭＦＰ１００には、コンテンツを管理するためのデータベース１０５が接続されている。更にＬＡＮ１１０にはサーバ１０３も接続されており、このサーバ１０３に接続されたデータベース１０４からコンテンツをＬＡＮ１１０に出力したり、またデータベース１０４に格納することができる。またクライアントＰＣ１０２は、サーバ１０３にコンテンツを要求して取得し、そのコンテンツを表示及び修正して再びデータベース１０４に保存できる。

図２は、本実施の形態に係るＭＦＰ１００の構成を説明するブロック図である。

制御部２０００は、画像情報やデバイス情報等を入出力するとともに、このＭＦＰ１００全体の動作を制御している。この制御部２０００は、画像入力デバイスであるカラースキャナ２０１５や画像出力デバイスであるカラープリンタ２０１７と接続し、一方ではＬＡＮ１１０や公衆回線（ＷＡＮ）２０５１と接続している。ＣＰＵ２００１は、この制御部２０００を制御している。ＲＡＭ２００２は、ＣＰＵ２００１が動作するためのプログラムやデータを格納するシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ＲＯＭ２００３はブートＲＯＭであり、システムのブートプログラムを格納している。ＨＤＤ２００４はハードディスクドライブで、ここにはＯＳや各種プログラムがインストールされており、これらプログラムは電源オン時にブートプログラムによってＲＡＭ２００２にロードされ、ＣＰＵ２００１の制御の下に実行される。

操作部Ｉ／Ｆ２００５は、操作部（ＵＩ）２００６のインタフェース部で、操作部２００６に表示する画像データを操作部２００６に出力したり、操作部２００６でユーザが入力した情報をＣＰＵ２００１に伝える役割をする。ネットワークＩ／Ｆ２００７は、ＬＡＮ１１０と接続し、ＬＡＮ１１０との間でデータの入出力を行う。モデム２０５０は公衆回線２０５１と接続して画像情報の入出力を行う。２値画像回転部２０５２及び２値画像圧縮・伸張部２０５３は、モデム２０５０を介して２値画像を送信する前に画像の方向を変換したり、所定の解像度、或は相手能力に合わせた解像度に変換する。尚、この２値画像圧縮・伸張部２０５３は、ＪＢＩＧ，ＭＭＲ，ＭＲ，ＭＨ等の符号化／復号化をサポートしている。ＤＭＡＣ２００９はＤＭＡコントローラであり、ＲＡＭ２００２に格納されている画像データをＤＭＡでイメージバスＩ／Ｆ２０１１に転送する。またイメージバスＩ／Ｆ２０１１から受取った画像データをＤＭＡでＲＡＭ２００２に書き込む。以上のデバイスがシステムバス２００８に接続されている。

イメージバスＩ／Ｆ２０１１は、イメージバス２０１０を介して画像データの入出力を高速に行うことができる。圧縮器２０１２は、イメージバス２０１０に画像データを送出する前に３２画素×３２画素の単位でＪＰＥＧ圧縮する。伸張器２０１３は、イメージバスＩ／Ｆ２０１１を介して送られた符号化された画像データを伸張する。

ラスタイメージプロセッサ（ＲＩＰ）２０１８は、ＰＣ１０２からのＰＤＬコードをＬＡＮ１１０を介して受け取ってシステムバス２００８に出力する。これによりＣＰＵ２００１は、そのＰＤＬコードをＲＡＭ２００２に格納する。ＣＰＵ２００１は、そのＰＤＬコードを中間コードに変換し、再度システムバス２００８を介してＲＩＰ２０１８に供給してビットマップイメージ（多値）に展開させる。スキャナ画像処理部２０１４は、スキャナ２０１５から入力したカラー画像や白黒画像に対して、適切な各種画像処理（例えば補正、加工、編集）を行い、その結果としての画像データ（多値）を圧縮器２０１２に出力する。同様にプリンタ画像処理部２０１６は、プリンタ２０１７に対して適切な各種画像処理（例えば補正、加工、編集）を行ってプリンタ２０１７に出力する。尚、プリント時は伸張器２０１３で２値データから多値データへの変換を行うので、２値及び多値データのデータ出力が可能である。

画像変換部２０３０は、ＲＡＭ２００２に記憶されている画像データを変換し、再度、ＲＡＭ２００２に書き戻すときに使われる各種画像変換機能を有する。回転器２０１９は３２画素×３２画素単位の画像データを、指定された角度で回転でき、２値及び多値データの入出力に対応している。変倍器２０２０は、画像データの解像度を変換（例えば６００ｄｐｉから２００ｄｐｉ）したり、変倍する機能（例えば２５％から４００％まで）を有する。ここで変倍前には、３２×３２画素の画像データを３２ライン単位の画像データに並び替える。色空間変換器２０２１は、多値で入力された画像データをマトリクス演算及びＬＵＴにより、例えばＹＵＶ画像データからＬａｂ画像データに変換する。また、この色空間変換器２０２１は、３×８のマトリクス演算及び、一次元ＬＵＴを有し、公知の下地とばしや裏写り防止を行うことができる。こうして変換された画像データは多値で出力される。２値多値変換部２０２２は、２値データを多値の８ビット（２５６階調）の画像データに変換する。逆に多値２値変換部２０２６は、例えば８ビット（２５６階調）の画像データを、誤差拡散処理などにより２値データに変換する。合成部２０２３は、ＲＡＭ２００２の２つの多値画像データ同士を合成して１つの多値画像データにする機能を有する。例えば、会社ロゴの画像と原稿画像とを合成して、原稿画像に会社ロゴをつけることができる。間引き部２０２４は、多値画像データの画素を間引いて解像度変換を行う。ここでは１／２，１／４，１／８の多値画像データを出力可能である。この間引き部２０２４と変倍器２０２０とを合わせて使うことで、より広範囲な画像データの拡大、縮小を行うことができる。移動部２０２５は、２値画像データ或は多値画像データに余白部分をつけたり、余白部分を削除して出力する。回転器２０１９、変倍器２０２０、色空間変換器２０２１、２値多値変換部２０２２、合成部２０２３、間引き部２０２４、移動部２０２５、多値２値部２０２６はそれぞれ連結して動作することが可能である。例えばＲＡＭ２００２の多値画像データを回転、解像度変換する場合は、これら処理をＲＡＭ２００２を介さずに、回転器２０１９、変倍器２０２０を連結して行うことができる。尚、本実施の形態に係るアルゴリズムのプログラムコードは、ＨＤＤ２００４上のシステムソフトウェアの一部に格納されている。

図３は、本実施の形態に係るスキャナ画像処理部２０１４の構成を説明するブロック図である。

スキャナ２０１５から入力されたＲＧＢ各８ビットの輝度信号は、マスキング部２５０１によりＣＣＤのフィルタ色に依存しない標準的なＲＧＢ色信号に変換される。フィルタ２５０２は、例えば９×９のマトリクスを使用し、画像をぼかしたり、メリハリをつける処理を行う。ヒストグラム作成部２５０３は、入力した画像信号をサンプリングをする処理部で、入力画像の下地レベルの判定に使用される。このヒストグラム作成部２５０３は、主走査方向及び副走査方向にそれぞれ指定した開始点と終了点とで囲まれた矩形領域内のＲＧＢデータを、主走査方向及び副走査方向に一定のピッチでサンプリングしてヒストグラムを作成する。ここで主走査方向はラスタ展開した場合の画像のラスタ方向を指し、副走査方向は、その主走査方向に直交する方向を指す。こうして得られたヒストグラムは、下地とばしや裏写り防止が指定されたときに読み出される。そして、このヒストグラムから原稿の下地を推測し、下地とばしレベルとして画像データとともにＲＡＭ２００２やＨＤＤ２００４に保存され、その画像データの印刷や送信時の画像処理に使用される。ガンマ補正部２５０４は、画像全体の濃度を濃く或は薄くするような処理を行う。例えば入力画像の色空間を任意の色空間に変換したり、入力系の色味に関する補正処理を行う。

色空間変換２５０５は、原稿がカラーか白黒かを判断するために、変倍前の画像信号をＬａｂに変換する。このうちａ，ｂは色信号成分を表している。比較器２５０６は、これら色信号成分を入力し、所定レベル以上であれば有彩色、そうでなければ無彩色として１ビットの判定信号を出力する。カウンタ２５０７は、この比較器２５０６から出力される１ビットの判定信号の数を計数する。文字／写真判定部２５０８は、画像データから文字エッジを抽出して文字領域と写真領域とを判定し、文字写真判定信号２５１０を出力する。この判定信号２５１０も画像データとともにＲＡＭ２００２或はＨＤＤ２００４に格納されて印刷時に使用される。特定原稿判定器２５０９は、入力した画像信号と、この特定原稿判定器２５０９が有している特定のパターンとを比較して、特定原稿に一致しているか、不一致であるかを示す判定信号２５１１を出力する。この判定信号２５１１に応じて画像データを加工し、紙幣や有価証券などの偽造を防止することができる。

図４は、本実施の形態に係るＭＦＰ１００の操作部２００６の構成を示す外観図である。

表示部３００１は、表示画面上にタッチパネルシート３００２が貼られている。この画面上には、システムの操作画面及びソフトキーが表示されており、表示されているキーが押されると、その位置情報がＣＰＵ２００１に伝えられる。スタートキー３００３は原稿の読み取り動作や，ＦＡＸ送信の開始等を指示する場合などに用いる。このスタートキー３００３の中央部には、緑と赤の２色ＬＥＤ３００４が配置されており、その発光色によってスタートキー３００３が使える状態にあるかどうかを示す。ストップキー３００５は、稼働中の動作を止める働きをする。ＩＤキー３００６は、使用者のユーザＩＤを入力する時に用いる。リセットキー３００７は操作部２００６における設定を初期化する時に用いる。

［処理概要］
次に本発明の実施の形態に係るＭＦＰ１００における、画像を領域に分割し、各領域に含まれる文字や罫線、図形、写真等のコンテンツ（領域コンテンツ）を取得する処理全体の概要について図５を用いて説明する。

図５は、本実施の形態に係るＭＦＰ１００において、文書を表す画像データの各ページの画像を画像に含まれる部分画像の種別に応じた複数の領域に分割し、それら領域を接合しコンテンツを生成して出力する処理を説明するフローチャートである。

まずステップＳ１０１で、オペレータにより操作部２００６を通じて、待機画面から本実施の形態に係る画像処理方法（各領域に対応するコンテンツの入力モード）の操作指示が入力される。次にステップＳ１０２に進み、入力される各ページの領域の接合条件が選択される。ここでは同一種別と認識されるコンテンツを、主走査方向或は副走査方向のいずれを優先して、接合対象の領域を検索して選択する。

表示部３００１に表示されたＵＩ画面上で、５００は第１の方向としての主走査方向を優先させる（主走査優先）指示を行うボタン、５０１は、第１の方向に直行する第２の方向としての副走査方向を優先させる（副走査優先）指示を行うボタンである。また５０２は、接合対象の種別が文字領域のみであるように指示するボタンである。また或は、その他の種別の画像、図表領域同士も接合するかを選択できる。また５０３で示す詳細設定を指示すると、領域判定する対象のエリア（トリミング）、領域を大きくとるか細かく取るかの度合い、領域の接合判定の条件等が設定できる。この領域の接合判定の条件には、以下のものが含まれる。例えば、白黒／カラーを考慮しないで接合するか。フォント種別を考慮せずに接合するか。領域間の距離が主走査或は副走査方向で何ミリ以内のものを接合対象とするか。接合対象の２つの領域の主走査幅の差が何ミリ以内のものを接合対象とするか等を含む。こうして接合条件が選択されて指示されるとステップＳ１０３に進む。

ステップＳ１０３で入力する文書を選択する。ここではスキャナ２０１５で読み取った文書の画像データを基に生成するか（「読み取って生成」ボタン５０４で指示）、ＲＡＭ２００２等に保存された文書の画像データを選択して生成する（「保存文書から生成」ボタン５０５で指示）かが選択される。そしてステップＳ１０４に進む。

ステップＳ１０４では、「読み取って生成」５０４が指示されたときは、スキャナ２０１５により１枚の原稿を走査して解像度６００ｄｐｉで１画素が８ビットの画像信号を得る。そして、この画像信号に対しては、スキャナ画像処理部２０１４で前処理を施し、更に画像変換部２０３０を通してＨＤＤ２００４に１ページ分の画像データを保存する。またスキャナ２０１５が、自動ページめくり機構を有するフィーダ付きスキャナである場合は、原稿束分の画像データを読み取って蓄積しても良い。一方、「保存文書から作成」５０５が指示された場合は、保存されている文書の一覧を表示部３００１に表示して、その中からオペレータが所望の文書を選択する。こうして処理対象の文書の画像データが蓄積或は選択されるとステップＳ１０５に進む。

ステップＳ１０５では、ＣＰＵ２００１は、その格納された画像データから先ず、文字／線画部分とハーフトーンの画像部分とに領域を分離する。文字部分は更に段落で部分画像として纏まっているブロック毎に、或いは、線で構成された表、図形という部分画像に分離して各々セグメント化する。一方ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分、背景部等、所謂ブロック毎に独立したオブジェクトに分割するブロックセレクション処理を行う。このブロックセレクション処理は後述する。

次にステップＳ１０６に進み、蓄積した各ページの画像データが、オペレータが意図した領域として正しく認識されているかをオペレータに確認させるために、プレビュー表示する。ここでは領域の並び順、領域の削除、領域の接合や、領域のサイズの微調整等を行うことができる。

次にステップＳ１０７に進み、領域の接合及び出力のための処理を開始するか否かを問い合わせる。ここで更に入力する原稿を追加する場合はステップＳ１０４に戻り、原稿の追加が無い場合はステップＳ１０８の領域の接合処理に進む。この接合処理については後述する。ステップＳ１０８で、領域の接合処理を実行するとステップＳ１０９に進み、接合された後の領域を再度確認するために表示部３００１に表示する。そして必要であれば領域を再調整する。こうして領域が確定されるとステップＳ１１０に進み、各領域の種別に応じてコンテンツの生成処理を実行する。尚、図５において、５０６は、ステップＳ１０６或はステップＳ１０９で表示部３００１に表示される領域分割の確認画面例を示している。

ステップＳ１１０では、その領域のコンテンツが図或は表であれば、ＰＮＧやＧＩＦといった可逆符号化画像データに変換する。またその領域のコンテンツが写真であればＪＰＥＧやＪＰＥＧ２０００といった非可逆符号化画像データに変換する。またその領域のコンテンツの種別が文字であれば、接合部の文字内容を連結して、ＳＪＩＳやＵＴＦ８の文字符号データに変換する。また各領域の画像データ上の位置（座標）やサイズ、フォント種別、色属性、種別などのメタ情報（属性情報）を表示部３００１に表示する。次にステップＳ１１１に進み、こうして得られたコンテンツを、データベース１０５に蓄積し、その蓄積先をメタ情報として保持する。こうすることにより、例えば文書が選択されて印刷が指示された際に、そのメタ情報を基に対応するコンテンツを読み出し、それらをラスタイメージに形成し直すことが可能となる。

［ブロックセレクション処理の説明］
このブロックセレクション処理とは、１ページの画像をその画像に含まれる部分画像の種別に応じた複数の領域に分割する処理のことである。

図６（Ａ）（Ｂ）は、このブロックセレクション（像域分離）処理の具体例を説明する図である。図６（Ａ）は、ステップＳ１０４で、スキャナ２０１５が読み取った、或はメモリから読み出した原稿画像のイメージを示している。図６（Ｂ）は、ステップＳ１０５のブロックセレクション処理で、その原稿画像を複数の部分画像（領域）に分割した状態を示している。ここではブロック＃１〜＃３，＃５，＃６，＃８，＃１０，＃１１，＃１４，＃１６が文字領域、ブロック＃４，＃７，＃１３が線領域、そしてブロック＃１５が図形領域となっている。

このブロックセレクション処理の具体例を以下に説明する。

先ず、その原稿の画像データを白黒に２値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。ここで面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出し、更に、一定面積以上の白画素の塊の内部から再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる種別を持つ領域へ分類する。例えば、縦横比が「１」に近く、大きさが一定の範囲のものを文字相当の画素塊とし、更に、近接する文字が整列良くグループ化可能な部分を文字領域とする。また扁平な画素塊を線領域とする。更に、一定の大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域とする。また不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域などとする。

［文字認識処理］
図７（Ａ）（Ｂ）は、図６（Ｂ）に示す各領域の種別及び座標、更にはテキスト領域に対してＯＣＲ処理がなされたことを示すＯＣＲ情報を記憶したテーブル（Ａ）及び、そのページ情報（Ｂ）を示す。尚、図７（Ａ）のブロック番号１−ｎ（ｎ＝１〜１６）は、１ページ目のブロック＃ｎであることを示している。また種別「１」は文字領域、「２」は図形、「３」は表、「４」は写真をそれぞれ示している。座標（Ｘ，Ｙ）は、ブロックを示す矩形の左上の角の座標を示す。そして幅Ｗと高さＨで、そのブロックの形状を特定できる。また図７（Ｂ）により、１ページ目の画像には１６個のブロックが存在していることがわかる。

ＯＣＲ処理に際しては、文字単位で切り出された画像に対し、パターンマッチングの一手法を用いて文字認識を行って、対応する文字コードを得る。この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、予め字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。

このブロックセレクション処理で抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きかを判定し、各々対応する方向に行を切り出し、その後、文字を切り出して文字画像を得る。横書き、縦書きの判定は、その領域内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断する。また文字列及び文字への分解は、横書きであれば水平方向の射影を利用して行を切り出し、更に、その切り出された行に対する垂直方向の射影から文字を切り出して行う。また縦書きの文字領域に対しては、前述の水平方向と垂直方向を逆にすればよい。尚、このときに文字サイズが検出できる。

［フォント認識］
文字認識の際に用いる、字種の数分の辞書特徴ベクトルを文字の形状種、即ち、フォント種に対して複数用意しておく。そして、照合する際に、文字コードとともにフォント種を出力することにより、その文字のフォントを識別できる。

［文字のカラー判定］
尚、原稿がカラーの場合は、カラー画像から各文字の色を抽出して後述するメタ情報に記憶する。

以上の処理により、文字領域に属する文字コードと、その文字の形状、大きさ、色といった特徴情報を保持できる。これにより文字の配置が変更されても、ほぼ忠実に元の文字を再現できる。このように、各ページ単位で、領域コンテンツの候補となるブロック情報を作成して登録しておく。尚、ここで「領域コンテンツの候補」としたのは、後述する領域同士の接合により、その領域のコンテンツが変動する可能性があるためである。

［領域コンテンツ接合処理概要］
次に、ページ単位でブロックセレクション処理した領域コンテンツ候補に対して、領域同士を接合する領域接合処理について説明する。

図８（Ａ）（Ｂ）は、本実施の形態に係るＭＦＰ１００による領域接合処理を説明する図である。

この領域接合処理は、図８（Ａ）に示すような、前述のステップＳ１０４で読み取り、或は選択された複数ページの領域コンテンツ候補のブロックを、必要に応じて図８（Ｂ）のようにまとめる処理である。例としては、文字／図画／写真／線／表といった画像種別、開始位置／幅といった位置属性、及び前述の接合条件に応じて、図８（Ｂ）に示す様に接合条件を満足する領域同士を接合する。この処理は、ある領域をコンテンツとして登録する前処理として実行される。そして接合した領域の高さ、色情報、フォント情報等のパラメータと、その領域に含まれる文字が更新される。

以下、図８（Ａ）（Ｂ）を参照して、領域接合処理の具体例を説明する。

先ず、読み取った画像８００１の中で、接合対象とする範囲８００２を設定する。この接合対象とする範囲８００２は、図８（Ｂ）の範囲８００５で示すように、副走査方向に接合される。従って、図８（Ａ）の範囲８００３のようなフッタの情報は接合対象外となる。

次に、この範囲８００５の中に存在する、ブロック＃１〜＃１９に相当する各領域に対して近接する領域に画像種別が等しいものがあるか判定する。画像種別が等しい場合は、幅情報の差分を検出する。ここで図８（Ａ）の８００４で示す領域（ブロック＃１６〜＃１８）のように、画像種別も幅も等しい領域があれば、図８（Ｂ）の８００７で示すように、１つの領域（ブロック番号＃１６）として接合する。即ち、この新たなブロック＃１６（図８（Ｂ）の８００７）は、図８（Ａ）のブロック＃１６〜＃１８を一つに纏めたものである。またこの際に、ブロック番号＃１９（８００８）のように、そのブロック番号が下位のブロックは、図８（Ｂ）のブロック８００９のように、ブロック番号が振り直されてブロック＃１７となる。

このようにして、全てのページに含まれる領域（ブロック）を検証し、領域同士の接合及び、その番号を更新する。こうして更新した結果の領域に対してコンテンツ生成処理を実行する。即ち、その領域の種別が文字領域であれば、再度、その領域の文字認識、文字フォントの認識、カラー判定処理を行う。こうして、その領域における、コード化された文字情報及び文字の属性を得る。

図９は、図８に示す領域接合処理の結果得られるメタ情報の具体例を示す図である。図において、要素ＩＤは、ブロックの番号＃に該当している。

各領域の中味である文字情報はデータベース１０５に蓄積され、その蓄積先を保持する。また表及び線画の領域に関しては、ＰＮＧやＧＩＦといった可逆符号化画像データに変換してデータベース１０５に格納し、その格納先をブロック情報として保持する。また写真と判定された領域に対しては、ＪＰＥＧのような非可逆符号化を行ってデータベース１０５に格納し、その格納先をブロック情報として保持する。ここで文字情報と、可逆符号化画像データと非可逆画像データは、それぞれ異なるデータベースに保持しても良い。更に、好適な実施の形態においては、並び順として、前のコンテンツの保存先情報と、次のコンテンツの保存先情報とを関連付けて保存してもよい。このように文書データを意味のある固まり（領域）の単位でコンテンツ化して、分散保存する。

［領域コンテンツ接合処理のバリエーション］
領域を接合するバリエーションを図１０（Ａ）（Ｂ）及び図１１（Ａ）（Ｂ）を参照して説明する。

図１０（Ａ）（Ｂ）は、文字領域の接合を説明する図である。

図において、領域１００１〜１００３のそれぞれは文字領域であり、その領域の主走査幅、高さは全て同じである。また領域１００１と領域１００２の距離と、領域１００１と領域１００３の距離は共に、接合の条件に適合する距離であるとする。

まず図１０（Ａ）に示す主走査方向を優先させる主走査優先を設定した場合で説明する。

領域１００１〜１００３は、共に接合条件｛画像種別：同一／幅：同一／距離：近傍／文字フォント種別:同一／カラー属性:同一／接合対象画像種別：文字｝を満たしているとする。そこで、前述のステップＳ１０２で、オペレータが指定した接合条件が必要となる。主走査優先で接合する場合は、図１０（Ａ）で示すように、領域１００１と、主走査方向に隣接する領域１００２とが主走査方向に並ぶように接合される。次に領域１００１と領域１００２とが接合された領域１００４と領域１００３とが前述の接合条件を満たすため、更に、その領域１００３を主走査方向に並べるように接合される。この場合、図９のメタ情報としては、領域１００２と領域１００３の領域情報が削除され、一塊のコード化された文字情報が登録される。また必要に応じて、それ以降の領域の主査方向の相対位置も更新される。

一方図１０（Ｂ）の場合は、副走査方向を優先させる副走査優先が設定される。ここで領域１００１〜１００３は共に接合条件を満たす。そこで、前述のステップＳ１０２で、オペレータが副走査優先を設定すると、図１０（Ｂ）に示すように、領域１００１は領域１００３と副走査方向に並ぶように接合される。次にこの領域１００１と領域１００３とが接合された領域と領域１００２とが前述の接合条件をさらに満たすため、更に、副走査方向に並ぶように領域１００１，１００２，１００３からなる領域が決定される。即ち、領域１００１、領域１００３及び領域１００２の順に、３つの領域が副走査方向に配列されて接合された領域が得られる。

図１１（Ａ）〜（Ｄ）では、領域１１０１〜１１０３は、主走査方向の幅が同一で、高さは領域１１０２、１１０２'が小さく、領域１１０１と１１０２，１１０２'の距離は、主・副走査方向ともに近接している。また境域１１０２と１１０３の距離は、副走査方向に離れている。

先ず図１１（Ａ）に示す主走査優先を設定した場合で説明する。

領域１１０１と１１０２は、接合条件｛画像種別：同一／幅：同一／距離：近傍／フォント種別:同一／カラー属性:同一／接合対象画像種別：文字｝を満たす。主走査方向に優先的に接合する場合は、領域１１０１は領域１１０２と主走査方向に並ぶように接合される。次に、こうして得られた領域１１０４と領域１１０３とは副走査方向に離れている。このため接合されない。従って、領域１１０４と領域１１０３とが副走査方向に並ぶように配列され、それぞれ別のコンテンツとなるよう決定される。

これに対して副走査優先が設定された場合を、図１１（Ｂ）を参照して説明する。

領域１１０１と領域１１０３は、接合条件｛画像種別：同一／幅：同一／距離：近傍／フォント種別:同一／カラー属性:同一／接合対象画像種別：文字｝を満たす。ここで副走査方向に優先であるため、領域１１０１は領域１１０３と副走査方向に並ぶように接合される。次に、この領域１１０１と１１０３とが接合された領域と、領域１１０２とは近接しており前記条件を満たす。このため接合されるよう決定される。従って、領域１１０１，１１０３，１１０２が副走査方向に並んだ領域となり、この領域に対してコンテンツが決定される。

一方、図１１（Ｃ）（Ｄ）では、領域１１０１，１１０２'，１１０３は、主走査方向の幅が同一で、高さは領域１１０２'が小さく、領域１１０１と領域１１０２'とは主走査方向には近接していて、副走査方向には近接していない。また領域１１０２'と１１０３とは副走査方向に近接している。図１１（Ｃ）の主走査優先が設定された場合で説明する。

領域１１０１と１１０２'は接合条件を満さない。よって、主走査優先で接合する場合は、領域１１０１と領域１１０２'とが接合されないことが決定される。次に領域１１０２'と領域１１０３とは副走査方向に近接している。このため、これら領域１１０２'と１１０３とは接合されるように決定される。

従って、副走査方向に並ぶように、領域１１０１と、領域１１０２'と１１０３とが接合された領域とが決定され、２つの領域がそれぞれ別のコンテンツを含むように決定される。

次に図１１（Ｄ）に示す副走査優先を設定した場合について説明する。

領域１１０１と領域１１０３は副走査方向の接合条件を満たす。副走査方向を優先して接合する場合は、領域１１０１は領域１１０３と副走査方向に並ぶように接合される。次に、この領域１１０１と１１０３とを接合した新たな領域と領域１１０２'とは副走査方向に離れている。このため、領域１１０１と領域１１０３を接合した領域は、領域１１０２'と接合されないことが決定される。従って、主走査方向に並ぶように、領域１１０１と領域１１０３とが接合された領域と、領域１１０２'が決定され、２つの領域がそれぞれ別のコンテンツを含むように決定される。尚、図１１では、文字領域の例を説明したが、その領域の種別が線、画像或は図表同士であっても同様に領域同士が接合される。

［領域コンテンツ接合処理の詳細］
図１２及び図１３は、本実施の形態に係るＭＦＰ１００において領域を接合する処理を説明するフローチャートである。尚、この処理を実行するプログラムは、実行時にはＨＤＤ２００４からＲＡＭ２００２にロードされて、ＣＰＵ２００１の制御の下に実行される。この処理の開始前には、図５に示すフローチャートに従って、接合処理判定のパラメータの全てが決定されている。ここでは、前述のステップＳ１０５で作成された図７に示すテーブルを用いる。ここでは、１ページに含まれる領域の数をＮ、各領域毎の画像種別をＺ、領域の主走査方向の開始位置をＸ、領域の副走査方向の開始位置をＹ、領域の主走査方向の画素数をＷ、副走査方向の領域の画素数をＨとする。また図示しない読み取り或は、蓄積された際の主走査及び副走査方向の読み取り解像度をＲＸ，ＲＹとする。またステップＳ１０２で入力された、主走査方向を優先にするか、副走査方向を優先にするかを示すフラグをＦＳ（オンで主走査優先）とする。また文字領域のみを接合するか、その他の画像・図表領域同士も接合するかを示すフラグをＦＴとする。また領域判定する対象のエリアの開始位置及び終了位置を、それぞれＴＳＸ，ＴＳＹ，ＴＥＸ，ＴＥＹとする。また白黒・カラーを考慮しないで接合するか否かを示すフラグをＦＣ、フォント種別を考慮しないで接合するか否かを示すフラグをＦＦとする。また領域間の距離として、主走査及び副走査で何ミリ以内のものを接合対象とするかをそれぞれＤＸ，ＤＹで示す。更に、２つの領域の主走査幅の差が何ミリ以内のものを接合対象とするかを示す値をＤＨとする。以上の前提に従って、以下、本実施の形態に係る領域接合処理を詳しく説明する。

こうして領域接合処理を開始するとステップＳ２１に進み、１ページ内の領域の数（Ｎ−１）分の領域の評価処理を開始する。ここで現在評価中の領域をＩ（初期値Ｉ＝１）とし、Ｉ番目の領域の各パラメータを（Ｉ）と表記する。次にステップＳ２２に進み、Ｉ番目の領域（領域Ｉ）の主走査方向の範囲が接合対象に入っているかを判定する。即ち、領域Ｉの主走査方向の位置及び幅（Ｘ（Ｉ），Ｘ（Ｉ）＋Ｗ（Ｉ））が、領域判定する対象エリアの主走査方向の幅を示すＴＳＸからＴＥＸ間での間に含まれるかを判定する。ここで、範囲に入らない場合はステップＳ４８でＩに１を加算してステップＳ２１に戻り、次の領域を評価する。範囲内に入っている場合はステップＳ２２からステップＳ２３に進み、この領域Ｉの副走査方向の範囲が接合対象に入っているかを判定する。即ち、領域Ｉの副走査方向の位置及び幅（Ｙ（Ｉ），Ｙ（Ｉ）＋Ｈ（Ｉ））が、領域判定する対象エリアの副走査方向の幅を示すＴＳＹからＴＥＹ間での間に含まれるかを判定する。ここで範囲に入らない場合はステップＳ４８でＩに１を加算してステップＳ２１に戻り、次の領域を評価する。

ステップＳ２３で、範囲に入ると判定した場合はステップＳ２４に進み、領域Ｉの種別（Ｚ（Ｉ））と合致する、それ以降の領域、即ち、｛（Ｉ＋１）〜Ｎ｝｝｝｝｝番目の領域があるか否かを判定する。ここで種別が合致する他の領域がない場合はステップＳ４８でＩに１を加算してステップＳ２１に戻り、次の領域を評価する。

ステップＳ２４で種別が合致する領域があると判定するとステップＳ２５に進み、接合条件に合致する領域のＩＤの集合を集合Ｓ１として保存してステップＳ２６に進む。ステップＳ２６では、領域間の主走査方向の幅の誤差範囲をミリメートルから、画素数に変換する計算を行う。以下の計算式が用いられる。ここでは、領域間の主走査方向の幅の差として何ミリ以内のものを接合対象とするかの度合を示すＤＨ（Ｉ）と、この領域の主走査方向の解像度ＲＸとに基づいて計算する。

画素数＝［与えられる長さ（ミリメートル）］×［解像度（ｄｐｉ）］／２５．４
次にステップＳ２７に進み、集合Ｓ１内に、領域Ｉの主走査方向幅に略等しい領域があるかを判定する。即ち、領域Ｉの主走査方向の画素数Ｗ（Ｉ）に対して誤差が許容される範囲ＤＨ（Ｉ）の主走査方向の幅を有する領域が、前述の集合Ｓ１にあるかを判定する。ここで、そのような領域がない場合はステップＳ４８でＩに１を加算してステップＳ２１に戻り、次の領域を評価する。

ステップＳ２７で、該当する領域があればステップＳ２８に進む。ステップＳ２８では、接合条件に合致する領域のＩＤの集合を集合Ｓ２として保存してステップＳ２９に進む。即ち、ステップＳ２８では、集合Ｓ１に含まれる領域の内、種別及び主走査方向の幅が条件を満たしている領域の集合Ｓ２を求める。ステップＳ２９では、領域間の主走査方向の距離が接合条件を満たしているかを判定するために、ミリメートルから画素数に変換する前述の計算を行う。ここでは、領域間の主走査方向の距離として何ミリ以内のものを接合対象とするかの度合を示すＤＸ（Ｉ）と、主走査方向の解像度ＲＸとに基づいて画素数を計算する。次にステップＳ３０に進む。ステップＳ３０では、集合Ｓ２内に、領域Ｉの主走査方向位置から、指定範囲に収まる主走査位置を持つ領域があるか判定する。即ち、領域Ｉの主走査方向位置｛（Ｘ（Ｉ）＋Ｗ（Ｉ）±ＤＸ（Ｉ）｝に収まる領域があるかを判定する。ここでそのような領域がない場合はステップＳ４８に進み、Ｉに１を加算してステップＳ２１に戻り、次の領域を評価する。

一方、ステップＳ３０で、領域Ｉの範囲に入る領域があればステップＳ３１に進む。ステップＳ３１では、集合Ｓ２の内、接合条件に合致する領域のＩＤの集合を集合Ｓ３として保存してステップＳ３２に進む。ステップＳ３２では、領域間の副走査方向の距離を、ミリメートルから画素数に変換する前述の計算を行ってステップＳ３３に進む。即ち、ここでは領域間の副走査方向の距離として何ミリ以内のものを接合対象とするかの度合を示すＤＹ（Ｉ）と、副走査方向の解像度ＲＹとに基づいて画素数を計算する。

ステップＳ３３では、集合Ｓ３内に、領域Ｉの副走査方向位置から指定範囲に収まる副走査位置を持つ領域があるか判定する。即ち、領域Ｉの副走査方向位置｛（Ｙ（Ｉ）＋Ｈ（Ｉ）±ＤＹ（Ｉ）｝に収まる領域があるかを判定する。ここでそのような領域がない場合はステップＳ４８に進み、Ｉに１を加算してステップＳ２１に戻り、次の領域を評価する。

一方、ステップＳ３３で、領域Ｉから副走査方向の範囲に入る領域があればステップＳ３４に進む。ステップＳ３４では、集合Ｓ３の内、接合条件に合致する領域のＩＤの集合を集合Ｓ４として保存してステップＳ３５（図１３）に進む。ステップＳ３５では、評価対象の領域が、接合対象である文字領域であるか、或は、文字領域以外も接合する設定（ＦＴが真）となっており、かつ文字以外の領域であるか判定する。ここで、評価対象の領域が文字領域以外で、かつ文字領域のみを接合対象とする設定（ＦＴが偽）である場合はステップＳ４８でＩに１を加算してステップＳ２１に戻り、次の領域を評価する。

一方、ステップＳ３５で、評価対象の領域が文字以外であればステップＳ３６に進み、集合Ｓ６に集合Ｓ４を代入してステップＳ４１に進む。また文字領域である場合はステップＳ３７に進み、色属性を考慮する設定（ＦＣが偽）であり、且つ評価対象の文字領域が示す色属性と合致する色属性を持つものが集合Ｓ４内にあるか判定する。ここで、評価対象の領域と同一の色属性を持つ領域が集合Ｓ４内に存在せず、かつカラー属性を考慮して接合する設定である場合はステップＳ４８でＩに１を加算してステップＳ２１に戻り、次の領域を評価する。

一方、ステップＳ３７でカラー属性を考慮しない設定或は、評価対象の領域の色属性に合致する領域が集合Ｓ４にあればステップＳ３８に進み、接合条件に合致する領域のＩＤの集合を集合Ｓ５として保存してステップＳ３９に進む。ステップＳ３９では、フォント種別属性を考慮する設定（ＦＦが偽）であり、且つ評価対象の文字領域が示すフォント種別属性と合致するフォント種別属性を持つものが集合Ｓ５内にあるか判定する。ここで、評価対象の領域と同一のフォント種別属性を持つ領域が集合Ｓ５内に存在せず、かつフォント種別属性を考慮して接合する設定である場合はステップＳ４８でＩに１を加算してステップＳ２１に戻り、次の領域を評価する。

一方、ステップＳ３９で、フォント種別属性を考慮しない設定或は、評価対象の領域のフォント種別属性に合致する領域が集合Ｓ５にあればステップＳ４０に進む。ステップＳ４０では、接合条件に合致する領域のＩＤの集合を集合Ｓ６として保存してステップＳ４１に進む。

ステップＳ４１では、主走査方向を優先して接合するか（ＦＳが真）、或は副走査方向を優先して接合するか（ＦＳが偽）を判定する。主走査方向優先である場合はステップＳ４２に進み、集合Ｓ６内で、主走査距離が最小で、かつ最も若い番号の領域を１つ選択し、これを集合Ｓ７として保存する。

一方、副走査方向優先である場合はステップＳ４３に進み、集合Ｓ６内で副走査距離が最小で、かつ最も若い番号の領域を１つ選択し、これを集合Ｓ７として保存する。こうしてステップＳ４２或はステップＳ４３を実行した後ステップＳ４４に進み、集合Ｓ７の領域と評価対象の領域とを副走査方向に接合した際の新しい高さを、それぞれの高さの和として求める。即ち、ここでは領域Ｉの高さＨ（Ｉ）に、その集合Ｓ７の領域の高さＨ（Ｓ７）を加算して、新たな接合領域の高さＨ（Ｉ'）を求める。

次にステップＳ４５に進み、接合対象として選択された集合Ｓ７に含まれる領域を、削除対象として集合Ｓ８に保存する。この際、評価対象の領域が集合Ｓ８にあれば、その評価対象の領域の各属性を保持するレコードを削除する。

次にステップＳ４６に進み、評価対象である領域の数が全数Ｎに達したか判定する。まだ全数Ｎの領域を評価していない場合は、ステップＳ４８でＩに１を加算してステップＳ２１に戻り、次の領域を評価する。そして、全ての領域の評価が終了するとステップＳ４７に進み、削除されたレコードの番号を詰めるために、１から順にふり直す。また、ついでに最後の領域がレコード削除対象の集合に残っていれば、最後の領域の各属性を保持するレコードを削除する。こうして、全数の領域接合の判定がなされ、各領域の番号のふり直しが完了すると、この処理を終了する。

［領域コンテンツ印刷処理概要］
図１４は、本実施の形態に係るＭＦＰ１００において、領域コンテンツを印刷する際の処理の概要を説明するフローチャートである。

ステップＳ５１で、オペレータにより操作部２００６を通じて、待機画面を操作して本実施の形態に係る画像処理方法（領域コンテンツ出力モード）の操作指示を行う。次にステップＳ５２に進み、印刷対象の文書を選択する。１４００は、表示部３００１に表示される文書の選択画面例を示す。文書情報としてアイコン表示されるメタ情報は、ＭＦＰ１００に記憶されている。文書が選択されるとステップＳ５３に進み、メタ情報の保存先から、ＳＱＬ等のデータベース操作言語によりデータを取得する。取得されたデータは、画像領域であれば復号化処理を行い、元の領域に対してラスタイメージを作成する。一方、文字領域であれば、フォント種別、色属性を加味して、レンダリング処理を行い、元の領域に対してラスタイメージを作成する。次にステップＳ５４に進み、副走査方向でページ単位に区切ってページ画像に展開し、各ページの印刷用イメージデータを生成して印刷処理を行う。

［領域コンテンツ画像形成処理概要］
図１５（Ａ）〜（Ｃ）は、本実施の形態に係るＭＦＰ１００において、領域コンテンツがデータベースで編集され、そのデータ量が変更された場合に印刷用イメージデータを得る処理の概要を説明する図である。

図１５（Ａ）は、ＭＦＰ１００が保持している画像のメタ情報の一例を示し、コミット先のＤＢから領域＃１６のメタ情報が更新されたことを検出した例を示している。図１５（Ａ）において、各領域のＹ座標（副走査方向の座標）は、前の領域のＹ座標に対する相対座標で記憶されている。

図１５（Ｂ）は、領域（ここでは＃１６）のテキスト量が増大した場合、主走査方向のサイズは固定である。そのため、高さ（副走査）方向に領域が拡大される。この場合、各領域の位置が固定であると、その領域の拡大により他の領域との重なりが発生し、レイアウトが崩れる。

しかしながら本実施の形態では、領域間の副走査方向の位置は相対座標で保持している。こうして図１５（Ｂ）に示すように領域と、その領域のコンテンツが決定される。その後、図１５（Ｃ）に示すように、ページ単位にレイアウトして印刷する際に、領域間の重なりが発生せず、大きくレイアウトを崩さずに出力結果を得ることができる。図示しないが、写真や線画、表の場合は、副走査方向に領域を拡張せずに、更新前と同じサイズの領域に、その写真や画像をはめ込み合成を行っても良い。

こうして各領域の位置やサイズが決定されると、データベース１０５から、その領域のコンテンツを読み出してコンテンツを取得し、文字情報であれば、保持していたメタ情報から、文字フォント種別及び文字サイズ、色属性などを参照してレンダリングを行う。この際、文字領域は、主走査方向は変えずに、副走査方向に延びるようにデータを配置する。こうしてレンダリングして作成されたラスタイメージをＲＡＭ２００２にコピーし、次の領域の副走査開始位置を計算する。また写真、線画、表の場合は復号処理を行い、ラスタイメージとして領域サイズに合うように変倍して、ＲＡＭ２００２にコピーする。次の領域の副走査方向の開始位置を計算する。こうして、ＲＡＭ２００２にイメージデータを作成すると、そのイメージデータをページ単位に区切って印刷用のイメージデータを作成する（図１５（Ｃ）参照）。尚、図中の領域＃１７のように、ページ単位に区切った際に、ページの上部に余白が発生する場合は、その余白を詰めてから画像処理を施しても良い。

（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。

なお本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

本発明の実施の形態に係る画像処理システムの構成例を示すブロック図である。 本実施の形態に係るＭＦＰの構成を説明するブロック図である。 本実施の形態に係るスキャナ画像処理部の構成を説明するブロック図である。 本実施の形態に係るＭＦＰの操作部の構成を示す外観図である。 本実施の形態に係るＭＦＰにおいて、文書を表す画像データの各ページの画像を複数の領域に分割し、それら領域を接合しコンテンツを生成して出力する処理を説明するフローチャートである。 本実施の形態に係るブロックセレクション処理の具体例を説明する図である。 図６（Ｂ）に示す各領域の種別及び座標、更にはテキスト領域に対してＯＣＲ処理がなされたことを示すＯＣＲ情報を記憶したテーブル（図７（Ａ））及び、そのページ情報（図７（Ｂ））を示す図である。 本実施の形態に係るＭＦＰによる領域接合処理を説明する図である。 図８に示す領域接合処理の結果として得られるメタ情報の具体例を示す図である。 文字領域の接合を説明する図である。 本実施の形態に係る主走査優先及び副走査優先で領域を接合する例を示す図である。 、 本実施の形態に係るＭＦＰにおいて領域を接合する処理を説明するフローチャートである。 本実施の形態に係るＭＦＰにおいて、領域コンテンツを印刷する際の処理の概要を説明するフローチャートである。 本実施の形態に係るＭＦＰにおいて、領域コンテンツがデータベースで編集され、そのデータ量が変更された場合に印刷用イメージデータを得る処理の概要を説明する図である。

Claims (9)

1. 複数ページにわたる画像データの各ページの画像を当該画像に含まれる部分画像の種別に応じた複数の領域に分割する分割手段と、
   前記複数の領域のそれぞれの少なくとも座標、サイズ及び前記種別に関する属性情報を保持する保持手段と、
   前記分割手段により分割された複数の領域の１つである第１の領域を、当該複数の領域の１つである第２の領域と接合する際に、ユーザの指示に基づいて前記第２の領域を特定するための方向を設定する設定手段と、
   前記複数の領域において前記第１の領域に隣接する複数の隣接領域のうち、前記第１の領域の属性情報が示す前記種別と同一の種別の部分画像に対応する領域であってかつ前記設定手段により設定された方向に隣接する領域が存在すると、該領域を前記第２の領域として特定し、該特定された第２の領域を前記第１の領域と接合して１つの領域とする領域接合手段と、
   前記領域接合手段により接合された領域を含む前記画像データの領域に関する情報を記憶する記憶手段と、
   を有することを特徴とする画像処理装置。
2. 前記設定手段は、前記第２の領域を特定するための方向に加えて、領域同士の距離、領域の種別、各ページの画像における領域の座標の少なくともいずれかを更に設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域接合手段は、複数ページにまたがる２つ以上の領域同士をも接合して１つの領域とすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 原稿を読み取って前記画像データを入力する画像入力手段を更に有することを特徴とする請求項１に記載の画像処理装置。
5. 前記記憶手段は、領域の種別が文字領域であること示している場合、少なくとも当該領域の文字フォント、文字サイズ、文字の色情報を記憶することを特徴とする請求項１に記載の画像処理装置。
6. 前記記憶手段は、各領域の座標を特定の領域に対する相対座標で記憶することを特徴とする請求項１に記載の画像処理装置。
7. 前記領域接合手段により接合された領域を含む画像データを、前記記憶手段に記憶された情報に基づいて前記画像データの各ページの画像に展開する展開手段を更に有することを特徴とする請求項１に記載の画像処理装置。
8. 前記領域接合手段は、複数ページにまたがる２つ以上の領域同士を接合する場合、第１のページに隣接する第２のページの複数の領域のうち、前記属性情報に基づいて特定された領域であってかつ前記設定手段により設定された方向に隣接する前記第２のページの領域を、前記第１のページの領域と接合して１つの領域とすることを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 画像を複数の領域に分割する画像処理装置の制御方法であって、
   複数ページにわたる画像データの各ページの画像を当該画像に含まれる部分画像の種別に応じた複数の領域に分割する分割工程と、
   前記複数の領域のそれぞれの少なくとも座標、サイズ及び前記種別に関する属性情報を保持する保持工程と、
   前記分割工程で分割された複数の領域の１つである第１の領域を、当該複数の領域の１つである第２の領域と接合する際に、ユーザの指示に基づいて前記第２の領域を特定するための方向を設定する設定工程と、
   前記複数の領域において前記第１の領域に隣接する複数の隣接領域のうち、前記第１の領域の属性情報が示す前記種別と同一の種別の部分画像に対応する領域であってかつ前記設定工程で設定された方向に隣接する領域が存在すると、該領域を前記第２の領域として特定し、該特定された第２の領域を前記第１の領域と接合して１つの領域とする領域接合工程と、
   前記領域接合工程により接合された領域を含む前記画像データの領域に関する情報を記憶する記憶工程と、
   を有することを特徴とする画像処理装置の制御方法。

Images