JP5132347B2 - 画像処理システム - Google Patents

Description

本発明は、例えば、複合複写装置等に適用される情報処理方法及び装置、並びに、この情報処理装置を制御するための制御プログラム及び該プログラムを格納した記憶媒体に関する。

近年の複写機は、内部画像処理のデジタル化によって、目覚しいスピードで多機能化が進んでいる。基本的な機能としては、原稿を複写するコピー機能、ホストコンピュータで作成した文書のプリントが可能なＰＤＬ機能がある。他の機能としては、ネットワークを介して原稿を複写機外部に送るＳＥＮＤ機能、コピー機能やＰＤＬ機能によって生成される原稿画像を複写機内部に保存・再利用を可能とするＢＯＸ機能がある。さらに、ＢＯＸ機能によって複写機内部に保存した原稿画像を利用する合成や製本といった編集機能など、数え切れないほどの機能を有している。

こうした中で、読み取った原稿を領域単位に分離し、再利用しやすいように保存し、編集機能で使用するという技術がある。この技術は、原稿に含まれる各領域を例えば、文字、写真、グラフィックスといったオブジェクト領域に分離し、オブジェクト毎に保存するものである。文字とグラフィックスに関しては、ベクトル化処理を行うことによって、ベクトルデータとして保存する。写真に関しては、ＪＰＥＧに変換し保存し、編集機能で使用する。（例えば、特許文献１参照。）この技術によれば、非常に情報量の多い高解像度、多ビット数のビットマップデータを扱うことなく、また編集や変形が容易なベクトルデータを用いることで、コストの低下と操作性の向上が期待できるため、画質と利便性の向上を図ることができる。なお、文字、写真、グラフィック領域以外とみなされた領域は背景オブジェクトである。背景は、編集機能で使用される可能性が低い領域であり、写真に比べて高圧縮率でＪＰＥＧ圧縮処理をされて保存される。

ここで、多くのユーザが無秩序にオブジェクトを保存してしまうと、保存されたオブジェクトが、効率的に再利用できないという問題が生じる。

そこで、特許文献２では、オブジェクト分割後、文字・写真・グラフィックスに分類された各々のオブジェクトに対して、後にどのような用途（Ｃｏｐｙ、Ｓｅｎｄ、ＦＡＸ）で使用し、どのようなフォーマットで保存するかを選択できる、という提案をしている。

特開２００５−１５９５１７号公報 特開２００６−１４６４８６号公報

しかしながら、そもそもあるオブジェクトが、再利用に適したオブジェクトであるかを判断してユーザに提示していないため、本来、背景となるべきオブジェクトが文字または写真またはグラフィックスオブジェクトとしてユーザに提示されてしまう課題がある。

本発明の目的は、複合複写装置等の画像処理装置において、分離保存されたオブジェクトのうち、再利用に適したものを選択して別途保存を行い、これらの再利用に適したオブジェクトのみをユーザに示すことができるようにすることである。

また、再利用に適したオブジェクトか否かの判断基準をユーザが決定できるようにすることである。

上記課題を解決するための本発明の一態様は、画像処理装置であって、入力された画像を構成するオブジェクトを分離する分離手段と、前記分離手段にて分離されたオブジェクトに対して、背景オブジェクトか否か判定する第１の判定手段と、前記第１の判定手段により、背景オブジェクトではないと判定されたオブジェクトのうち、前記オブジェクトが入力された際に適用された圧縮係数または、前記オブジェクトが入力された際の入力形式または、前記分離手段により分離されたときの前記オブジェクトの複雑度または、前記オブジェクトが入力された際の原稿モードの設定のうち少なくとも一つを判定し、該判定の結果を用いて、前記オブジェクトに対してメタデータを付加したオブジェクトとして保存するか否かを判定する第２の判定手段と、前記第１の判定手段により、背景オブジェクトではないと判定されたオブジェクトのうち、前記第２の判定手段によりメタデータを付加して保存すると判定されたオブジェクトは、ユーザからインターフェースを介したアクセスがあったときに、再利用が可能なオブジェクトとして表示すべくメタデータを付加して保存し、前記第１の判定手段により、背景オブジェクトであると判定されたオブジェクトまたは前記第２の判定手段により、メタデータを付加して保存しないと判定されたオブジェクトは、背景オブジェクトとしてマージし、圧縮を施して背景オブジェクトとして保存する保存手段とを備えたことを特徴とする。

上記課題を解決するための本発明の別の態様は、画像処理方法であって、入力された画像を構成するオブジェクトを分離する分離ステップと、前記分離ステップにて分離されたオブジェクトに対して、背景オブジェクトか否か判定する第１の判定ステップと、前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記オブジェクトが入力された際に適用された圧縮係数または、前記オブジェクトが入力された際の入力形式または、前記分離ステップにより分離されたときの前記オブジェクトの複雑度または、前記オブジェクトが入力された際の原稿モードの設定のうち少なくとも一つを判定し、該判定の結果を用いて、前記オブジェクトに対してメタデータを付加したオブジェクトとして保存するか否かを判定する第２の判定ステップと、前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記第２の判定ステップによりメタデータを付加して保存すると判定されたオブジェクトは、ユーザからインターフェースを介したアクセスがあったときに、再利用が可能なオブジェクトとして表示すべくメタデータを付加して保存し、前記第１の判定ステップにより、背景オブジェクトであると判定されたオブジェクトまたは前記第２の判定ステップにより、メタデータを付加して保存しないと判定されたオブジェクトは、背景オブジェクトとしてマージし、圧縮を施して背景オブジェクトとして保存する保存ステップとを含むことを特徴とする。

上記課題を解決するための本発明の別の態様は、プログラムであって、コンピュータに、入力された画像を構成するオブジェクトを分離する分離ステップと、前記分離ステップにて分離されたオブジェクトに対して、背景オブジェクトか否か判定する第１の判定ステップと、前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記オブジェクトが入力された際に適用された圧縮係数または、前記オブジェクトが入力された際の入力形式または、前記分離ステップにより分離されたときの前記オブジェクトの複雑度または、前記オブジェクトが入力された際の原稿モードの設定のうち少なくとも一つを判定し、該判定の結果を用いて、前記オブジェクトに対してメタデータを付加したオブジェクトとして保存するか否かを判定する第２の判定ステップと、前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記第２の判定ステップによりメタデータを付加して保存すると判定されたオブジェクトは、ユーザからインターフェースを介したアクセスがあったときに、再利用が可能なオブジェクトとして表示すべくメタデータを付加して保存し、前記第１の判定ステップにより、背景オブジェクトであると判定されたオブジェクトまたは前記第２の判定ステップにより、メタデータを付加して保存しないと判定されたオブジェクトは、背景オブジェクトとしてマージし、圧縮を施して背景オブジェクトとして保存する保存ステップとを実行させることを特徴とする。

上記課題を解決するための本発明の別の態様は、コンピュータがプログラムコードを読み取り可能に記憶した記憶媒体であって、該プログラムコードが、該コンピュータに、入力された画像を構成するオブジェクトを分離する分離ステップと、前記分離ステップにて分離されたオブジェクトに対して、背景オブジェクトか否か判定する第１の判定ステップと、前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記オブジェクトが入力された際に適用された圧縮係数または、前記オブジェクトが入力された際の入力形式または、前記分離ステップにより分離されたときの前記オブジェクトの複雑度または、前記オブジェクトが入力された際の原稿モードの設定のうち少なくとも一つを判定し、該判定の結果を用いて、前記オブジェクトに対してメタデータを付加したオブジェクトとして保存するか否かを判定する第２の判定ステップと、前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記第２の判定ステップによりメタデータを付加して保存すると判定されたオブジェクトは、ユーザからインターフェースを介したアクセスがあったときに、再利用が可能なオブジェクトとして表示すべくメタデータを付加して保存し、前記第１の判定ステップにより、背景オブジェクトであると判定されたオブジェクトまたは前記第２の判定ステップにより、メタデータを付加して保存しないと判定されたオブジェクトは、背景オブジェクトとしてマージし、圧縮を施して背景オブジェクトとして保存する保存ステップとを実行させることを特徴とする。

上記本発明によれば、再利用に適したオブジェクトであるかを判断してユーザに提示することが可能なため、本来、背景となるべきオブジェクトが文字または写真またはグラフィックスオブジェクトとしてユーザに提示されることがなくなる。
したがって、ユーザの負荷を軽減することが可能となる。
また、ユーザが再利用に適したオブジェクトであるかどうかを判断するためのしきい値の設定を変更可能なため、ユーザに意図に沿った判断を実現することが可能となる。

（実施形態１）
次に本発明に係る画像処理方法の第１実施形態を図面に基づいて説明する。

実施形態１では、オブジェクトの性質に応じて、オブジェクトの保存方法を切り替える方法について説明する。

［画像処理システム］
図１において、本実施形態に係る画像処理システムは、オフィス１０とオフィス２０とをインターネット１０４で接続した環境において使用される。

オフィス１０内に構築されたＬＡＮ１０７には、記録装置としてのマルチファンクション複合機（以下、ＭＦＰ）１００が接続されている。また、ＭＦＰ１００を制御するマネージメントＰＣ１０１、ローカルＰＣ１０２、文書管理サーバ１０６、文書管理サーバ１０６のためのデータベース１０５が接続されている。

オフィス２０内にはＬＡＮ１０８が構築され、ＬＡＮ１０８には文書管理サーバ１０６、および文書管理サーバ１０６のためのデータベース１０５が接続されている。

ＬＡＮ１０７、１０８にはプロキシサーバ１０３が接続され、ＬＡＮ１０７、１０８はプロキシサーバ１０３を介してインターネットに接続される。

ＭＦＰ１００は原稿から読み取った入力画像に対する画像処理の一部を担当し、処理結果としての画像データはＬＡＮ１０９を通じてマネージメントＰＣ１０１に入力する機能をもつ。また、ＭＦＰ１００は、ローカルＰＣ１０２、もしくは汎用ＰＣ（不図示）から送信されるPage Description Language（以下、ＰＤＬ）言語を解釈して、プリンタとして作用する機能をもつ。

さらにＭＦＰ１００は、原稿から読み取った画像をローカルＰＣ１０２もしくは、汎用ＰＣ（不図示）に送信する機能をもつ。マネージメントＰＣ１０１は、画像記憶手段、画像処理手段、表示手段、入力手段等を含む通常のコンピュータであり、機能的にはこれら構成要素の一部がＭＦＰ１００と一体化して、画像処理システムの構成要素となっている。さらにＭＦＰ１００は、ＬＡＮ１０９によってマネージメントＰＣ１０１に直接接続されている。

［ＭＦＰ］
図２において、ＭＦＰ１００は、不図示のAuto Document Feeder（以下、ＡＤＦ）を有する画像読み取り部１１０を備えている。画像読み取り部１１０は束状の或いは１枚の原稿の画像を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度（例えば６００ｄｐｉ）および所定輝度レベル（例えば８ビット）の画像読み取り信号を生成し、この画像読み取り信号からラスターデータよりなる画像データが構成される。

ＭＦＰ１００は、記憶装置（以下、ＢＯＸ）１１１および記録装置１１２を有す。ＭＦＰ１００は、通常の複写機能を実行する際には、イメージデータをデータ処理装置１１５によって、複写用の画像処理を行い、記録信号に変換し、記録信号を一旦ＢＯＸ１１１に記憶保持する。その後、ＭＦＰ１００は、記録装置１１２に記録信号を順次出力して、記録紙上に記録画像を形成する。

ＭＦＰ１００は、ＬＡＮ１０７との接続のためのネットワークＩ／Ｆ１１４を有し、ローカルＰＣ１０２、もしくは他の汎用ＰＣ（不図示）からドライバを利用して出力するＰＤＬ言語を記録装置１１２によって記録し得る。ローカルＰＣ１０２からドライバを経由して出力されるＰＤＬデータは、ＬＡＮ１０７からネットワークＩ／Ｆ１１４を経てデータ処理装置１１５で言語を解釈・処理することで記録可能な記録信号に変換される。その後、変換された記録信号は、ＭＦＰ１００において記録紙上に記録画像として記録される。

ＢＯＸ１１１は、画像読み取り部１１０からのデータやローカルＰＣ１０２からドライバを経由して出力されるＰＤＬデータをレンダリングしたデータを保存できる機能を有している。

ＭＦＰ１００は、ＭＦＰ１００に設けられたキー操作部（入力装置１１３）、あるいはマネージメントＰＣ１０１の入力装置（キーボード、ポインティングデバイス等）を通じて操作される。これらの操作のために、データ処理装置１１５は内部の制御部（不図示）によって所定の制御を実行する。

ＭＦＰ１００は表示装置１１６を有し、操作入力の状態と、処理すべきイメージデータとを、表示装置１１６によって表示し得る。

ＢＯＸ１１１はネットワークＩ／Ｆ１１７を介して、マネージメントＰＣ１０１から直接制御し得る。ＬＡＮ１０９は、ＭＦＰ１００とマネージメントＰＣ１０１との間のデータの授受、制御信号授受に用いられる。

次に、図２のデータ処理装置１１５の詳細について、図３を用いて説明する。尚、図３の１１０〜１１６については、図２の説明において前述しているため説明を一部省略する。

データ処理装置１１５は、ＣＰＵ、メモリ等で構成される制御ユニットであり、画像情報やデバイス情報の入出力を行うコントローラである。ここで、ＣＰＵ１２０はシステム全体を制御するコントローラである。ＲＡＭ１２３はＣＰＵ１２０が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ＲＯＭ１２２はブートＲＯＭであり、システムのブートプログラムが格納されている。操作部Ｉ／Ｆ１２１は操作部１３３とのインターフェース部で、操作部１３３に表示するための画像データを操作部１３３に対して出力する。また、操作部１３３から本画像処理装置の使用者が入力した情報を、ＣＰＵ１２０に伝える役割をする。以上のデバイスがシステムバス１２４上に配置される。

イメージバスインターフェース（Image Bus I/F）１２５はシステムバス１２４と画像データを高速で転送する画像バス１２６とを接続し、データ構造を変換するバスブリッジである。画像バス１２６は、例えば、ＰＣＩバスやＩＥＥＥ１３９４で構成される。画像バス１２６上には以下のデバイスが配置される。ＰＤＬ処理部１２７はＰＤＬコードを解析し、ビットマップイメージに展開する。デバイスＩ／Ｆ部１２８は、信号線１３１を介して画像入出力デバイスである画像読み取り部１１０、信号線１３２を介して記録装置１１２、をそれぞれデータ処理装置１１５に接続し、画像データの同期系／非同期系の変換を行う。スキャナ画像処理部１２９は、入力画像データに対し補正、加工、編集を行う。プリンタ画像処理部１３０は、記録装置１１２に出力すべきプリント出力画像データに対して、記録装置１１２に応じた補正、解像度変換等を行う。

オブジェクト認識部１４０は、後述するオブジェクト分割部１４３で分割したオブジェクトに対し、後述するオブジェクト認識処理を行う。ベクトル化処理部１４１は、後述するオブジェクト分割部１４３で分割したオブジェクトに対し、後述するベクトル化処理を行う。ＯＣＲ処理（文字認識処理）部１４２は、後述するオブジェクト分割部１４３で分割したオブジェクトに対し、後述するＯＣＲ処理（文字認識処理）を行う。オブジェクト分割部１４３は、後述するオブジェクト分割を行う。オブジェクト価値判定部１４４は、前記オブジェクト分割部１４３で分割したオブジェクトに対し、後述するオブジェクト価値判定を行う。メタデータ付与部１４５は、前記オブジェクト分割部１４３で分割したオブジェクトに対し、後述するメタデータの付与を行う。圧縮解凍部１４６は、画像バス１２６および記録装置１１２を効率的に利用するために画像データの圧縮解凍処理を行う。

〔全体フロー〕
図４は、本実施形態全体のフローチャートを示す。 図４に示されている処理は、本発明に係る画像処理システムのＣＰＵによって実行される。

ステップＳ４０１において、画像読み取り部１１０によりビットマップ画像が取得され、データ処理装置１１５においてスキャン画像用の処理が施される。その際、データ処理装置１１５において、主にスキャナ画像処理部１２９、圧縮解凍部１４６が利用される。

ステップＳ４０２において、ローカルＰＣ１０２上においてアプリケーションソフトで作成されたドキュメントが、ネットワークＩ／Ｆ１１４をとおして、ＭＦＰ１１０で受信され、データ処理装置１１５でレンダリングされてビットマップ画像となる。その際、データ処理装置１１５において、主にＰＤＬ処理部１２７、圧縮解凍部１４６が利用される。このように、画像入力の形式として、スキャン画像を入力する方法と、ローカルＰＣ上においてアプリケ−ションソフトを用いて作成された画像をネットワーク経由で入力する方法とがある。

ステップＳ４０３において、ＢＯＸ１１１にステップＳ４０１およびステップＳ４０２で生成されたページ単位のビットマップ画像が保存される。

ステップＳ４０４において、データ処理装置１１５で、ステップＳ４０３で保存されたビットマップ画像にオブジェクト分割処理が施され、オブジェクト毎にＢＯＸ１１１に保存される。その際、データ処理装置１１５において、主にオブジェクト認識部１４０、ベクトル化処理部１４１、ＯＣＲ処理（文字認識処理）部１４２、オブジェクト分割部１４３、オブジェクト価値判定部１４４、メタデータ付与部１４５、圧縮解凍部１４６が利用される。

ステップＳ４０５は、ＢＯＸ保存されたデータを印刷するステップであり、ＢＯＸ１１１に保存されているデータに、データ処理装置１１５でプリント用画像処理が施され、データ処理装置記録装置１１２に出力し、記録紙上に記録画像として記録される。その際、データ処理装置１１５において、主にプリンタ画像処理部１３０、圧縮解凍部１４６が利用される。

〔コピープリント出力と同時にＢＯＸ保存〕
図５にＭＦＰ１００に付属するコントロールパネル画面の一例を示す。

ユーザは、ボタン５０１を選択すると、コピープリント出力が可能となる。その際に、ボタン５０２によりコピープリント出力する際の原稿タイプを選択する。原稿タイプとは、図５では、『文字／写真』、『写真』、『文字』を例として挙げる。『文字／写真』は、文字と写真が存在する原稿をコピーする際に各々のオブジェクトに対して最適な画像処理が適応される。具体的には、文字と写真を領域分離し、文字部には、文字用の画像処理を、写真部には写真用の画像処理を施す。『写真』は、写真に最適な画像処理が適応される。同様に『文字』は、文字に最適な画像処理が適応される。

次に、ボタン５０３を説明する。このボタンが押下されると、図４のステップＳ４０１およびＳ４０３およびＳ４０４およびＳ４０５が実行され、プリント出力と同時にＢＯＸ１１１に画像データが保存される。

〔ＰＤＬプリント出力と同時にＢＯＸ保存〕
なお、ＰＤＬプリント出力と同時にＢＯＸ保存も可能であり、その際には、図４のステップＳ４０２およびＳ４０３およびＳ４０４およびＳ４０５が実行され、プリント出力と同時にＢＯＸ１１１に画像データが保存される。

〔画像読み取り装置を利用したビットマップ画像データの作成（ステップＳ４０１）〕
図６はステップＳ４０１の詳細を説明するフローチャートである。

ステップＳ６０１において、ＭＦＰ１００の画像読み取り部１１０を使用した場合には、ステップＳ６０１において、画像を読み込む。読み込まれた画像は、既にビットマップ画像データである。

ステップＳ６０２において、そのビットマップ画像データは、スキャナに依存する画像処理を施される。主な画像処理は下記の２つである。１）スキャナに最適な色処理を行う。２）フィルタ処理を行う。フィルタは、原稿タイプ毎に最適な処理を行うために、２種類用意されている。文字に最適な強度なエッジ強調をするためのフィルタと写真に最適なスムージング効果があるフィルタである。原稿タイプに応じて、この２種類のフィルタが使い分けられる。

ステップＳ６０３において、ビットマップ画像に対して圧縮処理が施される。この際には、ＪＰＥＧ圧縮が適用される。圧縮処理の際には、規定の画像サイズに収まるように、圧縮係数が調整される。これにより、画像によっては劣化が大きく進む場合がある。

〔プリントデータを利用したビットマップ画像データの作成（ステップＳ４０２）〕
図７はステップＳ４０２の詳細を説明するフローチャートである。

ＰＣ１０２上のアプリケーションソフトを使用して作成したアプリデータは、ステップＳ７０１において、ＰＣ１０２上にあるプリントドライバを介して、プリントデータに変換され、ＭＦＰ１００に送信される。ここで言うプリントデータとは、ＰＤＬを意味し、例えば、ＬＩＰＳ（登録商標）、Ｐｏｓｔｓｃｒｉｐｔ（登録商標）等を指す。

次にステップＳ７０２において、ＭＦＰ１００内部に存在するインタープリタを介して、ディスプレイリストが生成される。

そのディスプレイリストをステップＳ７０３において、レンダリングすることにより、ビットマップ画像データが生成される。

ステップＳ７０４において、ビットマップ画像に対して圧縮処理が施される。この際には、ＪＰＥＧ圧縮が適用される。圧縮処理の際には、規定の画像サイズに収まるように、圧縮係数が調整される。これにより、画像によっては劣化が大きく進む場合がある。

〔オブジェクト分割保存処理（ステップＳ４０４）〕
図８はステップＳ４０４の詳細を説明するフローチャートである。

まず、ステップＳ８００において、Ｓ４０３で保存された圧縮されたビットマップ画像が解凍される。解凍の際には、圧縮の際に利用された圧縮係数に対応する解凍係数が利用される。次に、ステップＳ８０１において、オブジェクト分割が行われる。分割後のオブジェクトの種類は、文字オブジェクト、写真オブジェクト、グラフィックスオブジェクト（図面、線画、表）、背景オブジェクト、を指す。

分割された各々のオブジェクトは、ビットマップデータのままで、ステップＳ８０２においてオブジェクトの種類（文字、写真、グラフィックス、背景）によって振り分けられる。写真の場合、ステップＳ８０３においてビットマップのままＪＰＥＧ圧縮される。また、背景の場合も同様に、ステップＳ８０３においてビットマップのままＪＰＥＧ圧縮される。次に、オブジェクト判定の結果が、グラフィックスの場合、ステップＳ８０４においてベクトル化処理され、パス化されたデータに変換される。最後に、オブジェクト判定の結果が、文字の場合も、ステップＳ８０４においてグラフィックスと同様にベクトル化処理され、パス化されたデータに変換される。更に、文字の場合には、ステップＳ８０８において、ＯＣＲ処理（文字認識処理）が施され、文字コード化されたデータに変換される。全てのオブジェクトデータと、文字コード化されたデータが一つのファイルとしてまとめられる。

次に、ステップＳ８０５において、各オブジェクトに対して、最適なメタデータが付与される。メタデータが付与された各々のオブジェクトは、ステップＳ８０６において、ＢＯＸ１１１に保存される。保存されたデータは、ステップＳ８０７において、ＵＩ画面に表示される。

〔プリント処理（ステップＳ４０５）〕
図９はステップＳ４０５の詳細を説明するフローチャートである。

まず、ステップＳ９０１において、Ｓ４０３で保存された圧縮されたビットマップ画像が解凍される。解凍の際には、圧縮処理の際に利用された圧縮係数に対応する解凍係数が利用される。解凍された画像データは、ステップＳ９０２において、下地除去を施される。次に、ステップＳ９０３において、色変換が施される。この色変換は、ＲＧＢ画像データをＣＭＹＫ画像データに変換するものである。次に、ステップＳ９０４において、ＣＭＹＫ各色に対して、ガンマ補正処理が行われる。次に、ステップＳ９０５において、画像形成処理が施され、ステップＳ９０６において、プリント出力される。

［オブジェクト分割ステップ（オブジェクト分割保存処理詳細）］
公知の領域分割技術を用いてオブジェクト分割を行う。その一例を説明する。

図８のステップＳ８０１（オブジェクト分割ステップ）においては、図１０の右半部の画像１００２に示すように、入力画像を属性毎に矩形ブロックに分割する。前述のように、矩形ブロックの属性としては、文字、写真、グラフィックス（図面、線画、表など）がある。

オブジェクト分割ステップにおいては、まず、ＲＡＭ（不図示）に格納されたイメージデータを白黒に２値化し、黒画素輪郭で囲まれる画素塊を抽出する。

さらに、このように抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。

画素塊の大きさは、例えば画素塊の面積によって評価される。

このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。

例えば、縦横比が１に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックする。そして、近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。

また扁平な画素塊、もしくは、一定大きさ以上でかつ四角形の白画素塊の外接矩形が重ならないで並んでいる黒画素塊をグラフィック領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。

オブジェクト分割ステップでは、このようにして生成された矩形ブロックのそれぞれについて、図１１に示すような、属性等のブロック情報（Ａ）および入力ファイル情報（Ｂ）を生成する。

オブジェクト分割ステップでは、このようにして生成された矩形ブロックのそれぞれについて、図１１（Ａ）（Ｂ）に示す、属性等のブロック情報および入力ファイル情報を生成する。

図１１（Ａ）において、ブロック情報には各ブロックの属性、位置の座標Ｘ、座標Ｙ、幅Ｗ、高さＨ、ＯＣＲ情報が含まれる。属性は１〜３の数値で与えられ、１は文字領域矩形ブロック、２は写真領域矩形ブロック、３はグラフィック領域矩形ブロックを示す。座標Ｘ、座標Ｙは入力画像における各矩形ブロックの始点のＸ、Ｙ座標（左上角の座標）である。幅Ｗ、高さＨは矩形ブロックのＸ座標方向の幅、Ｙ座標方向の高さである。ＯＣＲ情報は入力画像におけるポインタ情報の有無を示す。

さらに、図１１（Ｂ）に示すように入力ファイル情報として矩形ブロックの個数を示すブロック総数Ｎが含まれる。

これらの矩形ブロック毎のブロック情報は、特定領域でのベクトル化に利用される。またブロック情報によって、特定領域とその他の領域を合成する際の相対位置関係を特定でき、入力画像のレイアウトを損なわずにベクトル化領域とラスターデータ領域を合成することが可能となる。

［ベクトル化ステップ（オブジェクト分割保存処理詳細）］
公知のベクトル化技術を用いてベクトル化を行う。その一例を説明する。

図８のステップＳ８０４（ベクトル化処理ステップ）は図１２の処理における各ステップによって実行される。

ステップＳ１２０１：特定領域が文字領域矩形ブロックであるか否か判断し、文字領域矩形ブロックであればステップＳ１２０２以下のステップに進み、パターンマッチングの一手法を用いて認識を行い、対応する文字コードを得る。特定領域が文字領域矩形ブロックでないときは、ステップＳ１２１２に移行する。

ステップＳ１２０２：特定領域に対し横書き、縦書きの判定（組み方向判定）をおこなうために、特定領域内で画素値に対する水平・垂直の射影を取る。

ステップＳ１２０３：ステップＳ１２０２の射影の分散を評価する。水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判断する。

ステップＳ１２０４：ステップＳ１２０３の評価結果に基づき、組み方向を判定し、行の切り出しを行い、その後文字を切り出して文字画像を得る。

文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、切り出された行に対する垂直方向の射影から、文字を切り出す。縦書きの文字領域に対しては、水平と垂直について逆の処理を行う。行、文字切り出しに際して、文字のサイズも検出し得る。

ステップＳ１２０５：ステップＳ１２０４で切り出された各文字について、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを生成する。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴ベクトルとする方法がある。

ステップＳ１２０６：ステップＳ１２０５で得られた観測特徴ベクトルと、あらかじめフォントの種類毎に求められている辞書特徴ベクトルとを比較し、観測特徴ベクトルと辞書特徴ベクトルとの距離を算出する。

ステップＳ１２０７：ステップＳ１２０６で算出された距離を評価し、最も距離の近いフォントの種類を認識結果とする。

ステップＳ１２０８：ステップＳ１２０７における距離評価において、最短距離が所定値よりも大きいか否か、類似度を判断する。類似度が所定値以上の場合は、辞書特徴ベクトルにおいて、形状が類似する他の文字に誤認識している可能性が高い。そこで類似度が所定値以上の場合は、ステップＳ１２０７の認識結果を採用せず、ステップＳ１２１１の処置に進む。類似度が所定値より低い（小さい）ときは、ステップＳ１２０７の認識結果を採用し、ステップＳ９０９に進む。

ステップＳ１２０９（フォント認識ステップ）：データ処理装置１１５は、文字認識の際に用いる、フォントの種類数分の辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数所持する。パターンマッチングの際には、この辞書特徴ベクトルを利用し、文字コードとともにフォント種を出力することで、文字フォントを認識する。

ステップＳ１２１０：文字認識およびフォント認識よって得られた文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、各文字をベクトルデータに変換する。なお、入力画像がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。

ステップＳ１２１１：文字を一般的なグラフィックスと同様に扱い、該文字をアウトライン化する。すなわち誤認識を起こす可能性の高い文字については、可視的にイメージデータに忠実なアウトラインのベクトルデータを生成する。

ステップＳ１２１２：特定領域が文字領域矩形ブロックでないときは、画像の輪郭に基づいてベクトル化の処理を実行する。

以上の処理により、文字領域矩形ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。

［グラフィック領域のベクトル化（オブジェクト分割保存処理詳細）］
図８のステップＳ８０１の文字領域矩形ブロック以外の領域、すなわちグラフィック領域矩形ブロックと判断されたときは、特定領域内で抽出された黒画素塊の輪郭をベクトルデータに変換する。

文字領域以外の領域のベクトル化においては、まず線画等を直線および／または曲線の組み合わせとして表現するために、曲線を複数の区間（画素列）に区切る「角」を検出する。角とは曲率が極大となる点であり、図１３の曲線上の画素Ｐｉが角か否かの判断は以下のように行う。

すなわち、Ｐｉを起点とし、曲線に沿ってＰｉから両方向に所定画素（ｋ個とする。）ずつ離れた画素Ｐｉ−ｋ、Ｐｉ＋ｋを線分Ｌで結ぶ。画素Ｐｉ−ｋ、Ｐ ｉ＋ｋ間の距離をｄ１、線分Ｌと画素Ｐｉとの距離をｄ２、曲線の画素Ｐｉ−ｋ 、Ｐｉ＋ｋ間の弧の長さをＡとするとき、ｄ２が極大となるとき、あるいは比（ｄ１／Ａ）が閾値以下となるときに画素Ｐｉを角と判断する。

角によって分割された画素列を、直線あるいは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は３次スプライン関数などを用いる。画素列を分割する角の画素は近似直線あるいは近似直線における、始端または終端となる。

さらにベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かを判断し、内輪郭が存在するときはその輪郭をベクトル化し、内輪郭の内輪郭というように、再帰的に反転画素の内輪郭をベクトル化する。

以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。

図１４に示すように、ある注目区間で外輪郭ＰＲｊと、内輪郭ＰＲｊ＋１あるいは別の外輪郭が近接している場合、２個あるいは複数の輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、輪郭Ｐｊ＋１の各画素Ｐｉから輪郭ＰＲｊ上で最短距離となる画素Ｑｉまでの距離ＰｉＱｉを算出し、ＰＱｉのばらつきがわずかである場合には、注目区間を画素Ｐｉ、Ｑｉの中点Ｍｉの点列に沿った直線または曲線で近似し得る。近似直線、近似曲線の太さは、例えば距離ＰｉＱｉの平均値とする。

線や線の集合体である表罫線は、太さを持つ線の集合とすることにより、効率よくベクトル表現することができる。

輪郭まとめの処理の後、全体の処理を終了する。

なお写真領域矩形ブロックについては、ベクトル化せず、イメージデータのままとする。

［図形認識（オブジェクト分割保存処理詳細）］
以上の線図形等のアウトラインをベクトル化した後、ベクトル化された区分線を図形オブジェクト毎にグループ化する。

図１５の処理における各ステップは、ベクトルデータを図形オブジェクト毎にグループ化する処理を示す。

ステップＳ１５０１：まず各ベクトルデータの始点、終点を算出する。

ステップＳ１５０２（図形要素検出）：ステップＳ１５０１で求められた始点、終点情報を用いて、図形要素を検出する。図形要素とは、区分線が構成している閉図形であり、検出に際しては、始点、終端となっている共通の角の画素においてベクトルを連結する。すなわち、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用する。

ステップＳ１５０３：次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。

［図形要素の検出（オブジェクト分割保存処理詳細）］
ステップＳ１５０２（図形要素検出）の処理は、図１６の処理における各ステップによって実行される。

ステップＳ１６０１：まず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形を構成するベクトルを抽出する。

ステップＳ１６０２：次に閉図形を構成するベクトルについて、いずれかのベクトルの端点（始点または終点）を開始点とし、一定方向、例えば時計回りに、順にベクトルを探索する。すなわち、他端点において他のベクトルの端点を探索し、所定距離内の最近接端点を連結ベクトルの端点とする。閉図形を構成するベクトルを１まわりして開始点に戻ったとき、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。

ステップＳ１６０３：最後に、ステップＳ１６０１で除去された不要ベクトルのうち、ステップＳ１６０２で閉図形としてグループ化されたベクトルに端点が近接しているベクトルを検出し、一つの図形要素としてグループ化する。

以上の処理によって図形ブロックを、再利用可能な個別の図形オブジェクトとして扱うことが可能になる。

［登録の詳細設定（オブジェクト分割保存処理詳細）］
図８のベクトル化処理Ｓ８０４でベクトル化されたデータのフォーマットの一例を図１７に示す。本実施形態ではＳＶＧ形式で表記しているが、これに限定されるものではない。

図１７では説明のため、オブジェクトの表記を枠で囲っている。枠１７０１はイメージ属性を示し、そこには、イメージオブジェクトの領域の示す領域情報とビットマップ情報が示されている。枠１７０２はテキストオブジェクトの情報が、枠１７０３では、枠１７０２で示した内容をベクターオブジェクトとして表現している。続く、枠１７０４は、表オブジェクトなどのラインアートを表す。

〔メタデータ付け（オブジェクト分割保存処理詳細）〕
ステップＳ８０５のメタデータ付けに関するフローチャートを図１８に示す。

まず、ステップＳ１８０１において、そのオブジェクトの周囲で一番近くに存在する文字オブジェクトを選択する。次に、ステップＳ１８０２において、選択された文字オブジェクトに対して形態素解析を行う。その形態素解析結果により抽出された単語をメタデータとして、ステップＳ１８０３では、各オブジェクトに付加する。

また、メタデータの作成には、形態素解析だけではなく、画像特徴量抽出、構文解析等により、作成できることは言うまでもない。

［ＢＯＸ保存処理（オブジェクト分割保存処理詳細）］
図８のオブジェクト分割ステップ（ステップＳ８０１）の後、ベクトル化（ステップＳ８０４）した結果のデータを用いて、ＢＯＸ保存データへの変換処理を実行する。ステップＳ８０４のベクトル化処理結果は図１９に示す中間データの形式、いわゆるドキュメント・アナリシス・アウトプット・フォーマット（以下、ＤＡＯＦ）と呼ばれる形式で保存されている。

図１９において、ＤＡＯＦは、ヘッダ１９０１、レイアウト記述データ部１９０２、文字認識記述データ部１９０３、表記述データ部１９０４、画像記述データ部１９０５よりなる。

ヘッダ１９０１には、処理対象の入力画像に関する情報が保持される。

レイアウト記述データ部１９０２には、入力画像中の矩形ブロックの属性である文字、線画、図面、表、写真等の情報と、これら属性が認識された各矩形ブロックの位置情報が保持される。

文字認識記述データ部１９０３には、文字領域矩形ブロックのうち、文字認識して得られる文字認識結果が保持される。

表記述データ部１９０４には、表の属性を持つグラフィック領域矩形ブロックの表構造の詳細が格納される。

画像記述データ部１９０５には、グラフィック領域矩形ブロックにおけるイメージデータが、入力画像データから切り出して保持される。

ベクトル化処理を指示された特定領域においては、ブロックに対しては、画像記述データ部１９０５には、ベクトル化処理により得られたブロックの内部構造や、画像の形状や文字コード等あらわすデータの集合が保持される。

一方、ベクトル化処理の対象ではない、特定領域以外の矩形ブロックでは、入力画像データそのものが保持される。

ＢＯＸ保存データへの変換処理は図２０の処理における各ステップにより実行される。

ステップＳ２００１：ＤＡＯＦ形式のデータを入力する。

ステップＳ２００２：アプリデータの元となる文書構造ツリー生成を行う。

ステップＳ２００３：文書構造ツリーを元に、ＤＡＯＦ内の実データを取得し、実際のアプリデータを生成する。

ステップＳ２００２の文書構造ツリー生成処理は図２１の処理における各ステップにより実行される。図２１の処理における全体制御の基本ルールとして、処理の流れはミクロブロック（単一矩形ブロック）からマクロブロック（矩形ブロックの集合体）へ移行する。以後「矩形ブロック」は、ミクロブロックおよびマクロブロック両者を意味するものとする。

ステップＳ２１０１：矩形ブロック単位で、縦方向の関連性に基づいて、矩形ブロックを再グループ化する。図２１の処理は繰り返し実行されることがあるが、処理開始直後はミクロブロック単位での判定となる。

ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどの特徴によって定義される。また、距離、幅、高さなどの情報はＤＡＯＦを参照し、抽出する。

図２２のイメージデータでは、最上部で、矩形ブロックＴ１、Ｔ２が横方向に並列されている。矩形ブロックＴ１、Ｔ２の下には横方向セパレータＳ１が存在し、横方向のセパレータＳ１の下に矩形ブロックＴ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７が存在する。

矩形ブロックＴ３、Ｔ４、Ｔ５は、横方向セパレータＳ１下側の領域における左半部において上から下に、縦方向に配列され、矩形ブロックＴ６、Ｔ７は、横方向セパレータＳ１下側の領域における右半部において上下に配列されている。

図２１に戻って、ステップＳ２１０１の縦方向の関連性に基づくグルーピングの処理を実行する。これによって、矩形ブロックＴ３、Ｔ４、Ｔ５が１個のグループ（矩形ブロック）Ｖ１にまとめられ、矩形ブロックＴ６、Ｔ７が１個のグループ（矩形ブロック）Ｖ２にまとめられる。グループＶ１、Ｖ２は同一階層となる。

ステップＳ２１０２：縦方向のセパレータの有無をチェックする。セパレータは、ＤＡＯＦ中でライン属性を持つオブジェクトであり、アプリケーションソフトウエア中で明示的にブロックを分割する機能をもつ。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として左右に分割する。図２２では縦方向のセパレータは存在しない。

ステップＳ２１０３：縦方向のグループ高さの合計が入力画像の高さに等しくなったか否か判断する。すなわち縦方向（例えば上から下へ。）に処理対象の領域を移動しながら、横方向のグルーピングを行うとき、入力画像全体の処理が終了したときには、グループ高さ合計が入力画像高さになることを利用し、処理の終了判断を行う。グルーピングが終了したときはそのまま処理終了し、グルーピングが終了していなかったときはステップＳ２１０４に進む。

ステップＳ２１０４：横方向の関連位に基づくグルーピングの処理を実行する。これによって、矩形ブロックＴ１、Ｔ２が１個のグループ（矩形ブロック）Ｈ１にまとめられ、矩形ブロックＶ１、Ｖ２が１個のグループ（矩形ブロック）Ｈ２にまとめられる。グループＨ１、Ｈ２は同一階層となる。ここでも、処理開始直後はミクロブロック単位での判定となる。

ステップＳ２１０５：横方向のセパレータの有無をチェックする。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として上下に分割する。図２２では横方向のセパレータＳ１が存在する。

以上の処理結果は図２３のツリーとして登録される。

図２３において、入力画像Ｖ０は、最上位階層にグループＨ１、Ｈ２、セパレータＳ１を有し、グループＨ１には第２階層の矩形ブロックＴ１、Ｔ２が属する。

グループＨ２には、第２階層のグループＶ１、Ｖ２が属し、グループＶ１には、第３階層の矩形ブロックＴ３、Ｔ４、Ｔ５が属し、グループＶ２には、第３階層の矩形ブロックＴ６、Ｔ７が属する。

ステップＳ２１０６：横方向のグループ長合計が入力画像の幅に等しくなったか否か判断する。これによって横方向のグルーピングに関する終了判断を行う。横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成の処理を終了する。横方向のグループ長がページ幅となっていないときは、ステップＳ２１０１に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。

［表示方法（オブジェクト分割保存処理詳細）］
図８のＳ８０７に示したＵＩに表示に関して詳細な説明を行う。

図２４に、ユーザがＢＯＸにアクセスする際に使用されるユーザインターフェースの例を示す。図２４はＢＯＸ内に保存されているデータが表示されているものを示している（２４０１）。一つ一つの文章に名前がついており、入力された時間などの情報も表示される（２４０２）。オブジェクト分割表示を行う場合には、２４０１で原稿を選択して、オブジェクト表示ボタン２４０３を押すことで表示が変わるこれに関しては、後述する。また、２４０１で原稿を選択して、ページ表示ボタン２４０４を押すことで表示が変わる。これに関しては後述する。

図２５に、ユーザがＢＯＸにアクセスする際に使用されるユーザインターフェースの例を示す。図２５の２５０１は、図８のＳ８０６の処理において保存されたデータを表示する。これは、ラスタ画像を縮小した画像を表示することや、前述したＳＶＧを使って表示をさせることも可能である。つまり、前述してきたデータを基にページ全体を表示すれば良い。２５０２は、機能のタブで、コピーや送信、リモート操作、ブラウザー、ＢＯＸといったＭＦＰが持っている機能を選択できる。これ以外の機能に対しても同様の表示を行うことが出来る。２５０３は、原稿を読み取る場合の原稿モードを選択することが出来る。これは原稿タイプによって画像処理を切り替えるために選択をするもので、ここに示した以外のモードも同様に表示選択をすることが出来る。原稿読み取りスタートのボタンを２５０４に示した。これにより、スキャナーが動作して、画像を読み込むことになる。この例では、読込みスタートボタン２５０４を画面内に設けているが、別途スタートボタンによって読み込みを開始してもよい。

図２６には、オブジェクト分割した結果を分かるように各オブジェクトに枠を表示させるようにしたものである。ボタン２６０１を押すことにより、ページ表示画面２６０２に対してそれぞれオブジェクトの枠が表示される。枠には色付けをすることにより、オブジェクトの違いを分かるように表示することや、線の太さ、あるいは、点線、破線の違いなどにより、オブジェクトの違いを分かるように表示を行う。ここでオブジェクトの種類としては、前述したように文字、図面、線画、表、写真等である。２６０３は検索を行うための文字を入力する入力部である。ユーザがアクセスしてここに文字列を入力して、検索を行うことで、オブジェクトあるいはオブジェクトが含まれるページが検索される。検索方法に関しては、前述したメタデータにより、周知の検索手法を用いることで、オブジェクトあるいはページの検索を行う。また、検索されたオブジェクトあるいはページを表示する。

図２７は、オブジェクト表示ボタン２７０２を押すことによりページ内のオブジェクトが表示されるものである。ページという概念ではなく、一つ一つのオブジェクトが部品として表示される（２７０１）。また、ページ表示ボタン２７０４を押すことで１ページの画像として見えるように切替表示を行う。さらに、２７０３は検索を行うための文字を入力する入力部である。ユーザがアクセスしてここに文字列を入力して、検索を行うことで、オブジェクトあるいはオブジェクトが含まれるページが検索される。検索方法に関しては、前述したメタデータにより、周知の検索手法を用いることで、オブジェクトあるいはページの検索を行う。また、検索されたオブジェクトあるいはページを表示する。

図２８は、オブジェクトのメタデータを表示する画面の例である。ある一つのオブジェクトを選択するとそのオブジェクトの画像２８０３と前述したメタデータ２８０２が表示される（２８０１）。メタデータは、エリアの情報、幅、高さ、ユーザ情報、ＭＦＰの設置場所の情報、入力した時間などの付加情報を表示する。ここで、この例では、ｐｉｃｔｕｒｅ属性のオブジェクトであり、オブジェクトの近くにあった文字オブジェクトのＯＣＲ情報から形態素解析を用いて名詞のみを取り出して表示を行っている、それが図示したＴＥＸＴという文字列にあたる。また、メタデータに対しては、各種ボタン２８０４により、編集や追加、削除を行うことを可能としている。さらに、２８０５は検索を行うための文字を入力する入力部である。ユーザがアクセスしてここに文字列を入力して、検索を行うことで、オブジェクトあるいはオブジェクトが含まれるページが検索される。検索方法に関しては、前述したメタデータにより、周知の検索手法を用いることで、オブジェクトあるいはページの検索を行う。また、検索されたオブジェクトあるいはページを表示する。

［本実施形態のオブジェクト分割保存処理（ステップＳ４０４）］
本実施例におけるオブジェクト分割処理について説明をする。図２９は、本実施例におけるステップＳ４０４の詳細を説明するフローチャートである。

まず、ステップＳ２９０１において、Ｓ４０３で保存された圧縮されたビットマップ画像が解凍される。解凍の際には、圧縮処理の際に利用された圧縮係数に対応する解凍係数が利用される。この際に利用された解凍係数は、ステップＳ２９０４におけるオブジェクト価値判定の判定基準となる。

ステップＳ２９０２において、そのビットマップ画像データがオブジェクト分割される。分割された結果が、背景オブジェクト以外であった場合には、ステップＳ２９０４において、オブジェクトの価値が判定される。

そのステップＳ２９０４の判定には、ステップＳ２９０３における画像認識の結果も利用される。ステップＳ２９０３の画像認識においては、一般的な画像解析技術が使用される。例として、画像の分散やＳ／Ｎやエッジ特徴量など、画質的な変数が挙げられる。この解析結果の出力は、そのオブジェクトの複雑性または複雑度となる。

ステップＳ２９０４において、再利用する価値がないと判断されたオブジェクトは、ステップＳ２９０５において背景オブジェクトとマージされる。マージされた背景オブジェクトは、ステップＳ２９０６において、ＪＰＥＧ圧縮が施され、ステップＳ２９０７においてＢＯＸ１１１に背景オブジェクトとして保存される。

一方、ステップＳ２９０４において、再利用する価値があると判断されたオブジェクトについての処理は、図８におけるステップＳ８０２以降の処理と同様である。ただし、背景オブジェクトはＳ２９０４へ入力されることがないため、ステップＳ８０２へ入力されることはない。

［オブジェクト価値判定（Ｓ２９０４詳細）］
図３０は、本実施形態におけるステップＳ２９０４の詳細を説明するフローチャートである。

オブジェクト価値判定処理ステップＳ２９０４では、分割されたオブジェクトを再利用する価値が、ある一定の価値を保っているか否かが判定される。

まず、ステップＳ３００１において、ステップＳ２９０１（図２９）において利用された解凍係数から、ビットマップ画像の圧縮による画像状態が判定される。解凍係数が大きければ、圧縮した際の圧縮係数も大きくなる。圧縮、解凍係数が大きかった場合、具体的には標準画像を１６分の１以下に圧縮するような圧縮係数の場合には、画像劣化が激しいことを示す。画像劣化の視覚に与える影響は、その画像が自然画のように様々な色の信号が含まれているのか、文字のように少ない色の信号が含まれているかで異なる。例えば、同じ圧縮、解凍係数を利用したとしても、自然画においては劣化が目立たず、文字やラインの画像においては、ノイズが大量に発生してしまう。そのため、Ｓ２９０２（図２９）のオブジェクト分割結果で、文字やグラフィックスと判定され場合は、圧縮による劣化の影響が大きいことになる。また、そのオブジェクトの色ヒストグラムから、劣化度合いを予測してもよい。つまり、小さい圧縮・解凍係数が適用され、オブジェクト分割でイメージに分割され、色数の多いオブジェクトほど、再利用価値が高いことになる。このような観点からオブジェクトの再利用価値を判定し、その評価値が出力される。

次に、ステップＳ３００２において、ステップＳ２９０３（図２９）においてオブジェクト認識を行った結果から、オブジェクトの複雑さが判定される。オブジェクトが複雑であるということは、そのオブジェクトが、実際には２つ以上の複数のオブジェクトが重なって１つのオブジェクトを構成している可能性、ベクトル化に失敗する可能性が高いことを意味する。そのため、複雑性または複雑度が少ないオブジェクトほど再利用性が高いことになる。このような観点からオブジェクトの再利用価値を判定し、その評価値が出力される。

次に、ステップＳ３００３において、そのオブジェクトが入力される際にＭＦＰ１００で使用された入力形式から、そのオブジェクトソースの品質が判定される。入力形式とはＰＤＬ、スキャンのいずれかを指す。ＰＤＬの方が、元データがＰＣ上のデジタルデータであるので、オブジェクトソースの品質が高いことになる。このような観点からオブジェクトの再利用価値を判定し、その評価値が出力される。

次に、ステップ３００４において、そのオブジェクトが入力される際にＭＦＰ１００で使用された原稿モードから、どのオブジェクトが重視されているかが判定される。原稿モードとは、文字原稿に最適な画像処理を行う文字モード、写真原稿に最適な画像処理を行う写真モード、中庸的な処理を行う文字／写真モードがある。これはユーザが指定する設定であり、どのオブジェクトをユーザが重要視しているかを判断することができる。このような観点からオブジェクトの再利用価値を判定し、その評価値が出力される。

最後に、ステップＳ３００５において、ステップＳ３００１〜ステップＳ３００４から出力されたオブジェクトの評価値を利用して、そのオブジェクトが再利用される価値があるか否かを判定する。

例えば、ステップＳ３００１では、圧縮率が標準画像を１６分の１以下に圧縮するような高い圧縮率の場合評価値を０点、それよりも低い圧縮率の場合評価値を２点とする。

次のステップＳ３００２においても、オブジェクトが２つ重なるものは評価値を１点、２つ以上重なるものは評価値を０点、１つも重ならないものは評価値を２点とする。

同様に、Ｓ３００３において、ＰＤＬで得た画像なら評価値を２点、スキャン画像なら評価値を０点とする。

最後に、Ｓ３００４において、写真オブジェクトに対して、ユーザがスキャン時に写真モードを用いていたなら評価値を２点、文字モードを用いていたなら評価値を０点とする。

これらの評価値を総合判定時に合計し、ある一定点数以上を得た、つまり一定の閾値を上回ったオブジェクトは再利用される価値があると判定する。

なお、この閾値の値は、例えば「３点以上は再利用する価値があると判断する」といったように、事前にユーザや管理者が設定を決めておくことが可能である。

また、ステップＳ３００１〜ステップＳ３００４で得る評価値のうち、一つでも０点があった場合は、再利用価値が低いと判断してもよい。

判断結果は各評価値の値や閾値の値にも依存するが、下記のような判断例が想定される。

例えば、ユーザが写真モードでスキャンした原稿が、オブジェクト分割され、圧縮・解凍係数が大きい場合には、文字オブジェクトは再利用価値が低いとみなされ、写真オブジェクトは再利用価値が高いとみなされる。これはユーザが、写真モードを指定しているということは、写真の重要度が高く、多少の劣化を許容することが可能と判定されるからである。また、例えば、ユーザが文字モードでスキャンした原稿がオブジェクト分割され、圧縮・解凍係数が大きい場合でも、文字オブジェクトは、再利用される価値が高いとみなされる。この場合には、逆に、写真オブジェクトは再利用される価値がないとみなされる。

再利用価値があると判断されたオブジェクトはＳ８０２（図８）へ出力され、再利用価値がないと判断されたオブジェクトはＳ２９０５（図２９）へ出力される。

本実施形態の効果としては、オブジェクトの再利用価値判断が自動に行われ、価値が高いと判断されたオブジェクトの保存方法が変更されるため、オブジェクトの再利用を行うユーザの負担を減らすことができる。

（実施形態２）
次に本発明に係る画像処理方法の実施形態２を図面に基づいて説明する。なお、実施形態１において説明をした構成図や、フローチャートの図に関する説明は省略することとする。ここでは、本実施形態の特徴を説明するものに関して図示して説明を行う。

図３１に実施形態２のフローチャートを示す。まず、ステップＳ３１０１において、図４のＳ４０３で保存された圧縮されたビットマップ画像が解凍される。解凍の際には、圧縮の際に利用された圧縮係数に対応する解凍係数が利用される。この際に利用された解凍係数は、ステップＳ３１０４におけるオブジェクト価値判定の判定基準となる。ステップＳ３１０２において、そのビットマップ画像データがオブジェクト分割される。オブジェクト分割後のオブジェクトの種類は、前述の通りで、文字、写真、グラフィックス（図面、線画、表）、背景を指す。分割された結果が、背景オブジェクト以外であった場合には、ステップＳ３１０４において、オブジェクトの価値が判定される。

そのステップＳ３１０４の判定には、ステップＳ３１０３における画像認識の結果も利用される。ステップＳ３１０３の画像認識においては、一般的な画像解析技術が使用される。例として、画像の分散やＳ／Ｎやエッジ特徴量など、画質的な変数が挙げられる。この解析結果の出力は、そのオブジェクトの複雑性または複雑度となる。

そのステップＳ３１０４の判定には、ステップＳ３１０８におけるオブジェクト分離レベル指定の結果も利用される。オブジェクト分離レベル指定は、予めユーザが設定するものであり、オブジェクト分離レベルを指定するものである。分離レベルとは、オブジェクトとしての保存のし易さを表現するものである。

つまり、再利用に適したオブジェクトであるかどうかを判断するための閾値の設定をユーザが変更可能であるため、ユーザの意図を反映した価値判断基準を設定できる。

ステップＳ３１０４において、再利用する価値がないと判断されたオブジェクトは、ステップＳ３１０５において背景オブジェクトとマージされる。マージされた背景オブジェクトは、ステップＳ３１０６において、ＪＰＥＧ圧縮が施され、ステップＳ３１０７においてＢＯＸ１１１に背景オブジェクトとして保存される。

一方、ステップＳ３１０４において、再利用する価値があると判断されたオブジェクトについての処理は、図８におけるステップＳ８０２以降の処理と同様である。ただし、背景オブジェクトはＳ３１０４へ入力されることがないため、ステップＳ８０２へ入力されることはない。

［オブジェクト価値判定（Ｓ３１０４詳細）］
図３２は、本実施形態におけるステップＳ３１０４の詳細を説明するフローチャートである。オブジェクト価値判定ブロックＳ３１０４では、分割されたオブジェクトを再利用する価値が、ある一定の画質を保っているか否かが判定される。

まず、ステップＳ３２０１において、図２９のステップＳ２９０１において利用された解凍係数から、ビットマップ画像の圧縮による画像状態が判定される。解凍係数が大きければ、圧縮した際の圧縮係数も大きくなる。圧縮、解凍係数が大きかった場合には、画像劣化が激しいことを示す。画像劣化の視覚に与える影響は、その画像が自然画像のように様々な色の信号が含まれているのか、文字のように少ない色の信号が含まれているかで異なる。例えば、同じ圧縮、解凍係数を利用したとしても、自然画像においては劣化が目立たず、文字やラインの画像においては、ノイズが大量に発生してしまう。そのため、Ｓ２９０２（図２９）のオブジェクト分割結果で、文字やグラフィックスと判定され場合は、圧縮による劣化の影響が大きいことになる。また、そのオブジェクトの色ヒストグラムから、劣化度合いを予測してもよい。つまり、小さい圧縮・解凍係数が適用され、オブジェクト分割でイメージに分割され、色数の多いオブジェクトほど、再利用価値が高いことになる。このような観点からオブジェクトの再利用価値を判定し、その評価値が出力される。この際、ステップＳ３１０８（図３１）で指定されるオブジェクト分離レベルによって、評価値に重みがつけられて出力される。

したがって、大きな圧縮係数が適用されていても、「オブジェクト分離レベルがし易い」と設定されていれば、再利用価値が高いと判断され易くなる。

次に、ステップＳ３２０２において、ステップＳ３１０３においてオブジェクト認識を行った結果から、オブジェクトの複雑さが判定される。オブジェクトが複雑であるということは、そのオブジェクトが、実際には複数のオブジェクトが重なって１つのオブジェクトを構成している可能性、ベクトル化に失敗する可能性が高いことを意味する。そのため、複雑性または複雑度が少ないオブジェクトほど再利用性が高いことになる。このような観点からオブジェクトの再利用価値を判定し、その評価値が出力される。この際、ステップＳ３１０８で指定されるオブジェクト分離レベルによって、評価値に重みがつけられて出力される。

したがって、多数のオブジェクトが重なっていても、「オブジェクト分離レベルがし易い」と設定されていれば、再利用価値が高いと判断され易くなる。

次に、ステップＳ３２０３において、そのオブジェクトが入力される際にＭＦＰ１００で使用された機能から、そのオブジェクトソースの品質が判定される。機能とはＰＤＬ、スキャンのいずれかを指す。ＰＤＬの方が、元データがＰＣ上のデジタルデータであるので、オブジェクトソースの品質が高いことになる。このような観点からオブジェクトの再利用価値を判定し、その評価値が出力される。この際、ステップＳ３１０８（図３１）で指定されるオブジェクト分離レベルによって、評価値に重みがつけられて出力される。

したがって、入力画像がスキャン画像であっても、「オブジェクト分離レベルがし易い」と設定されていれば、再利用価値が高いと判断され易くなる。

次に、ステップ３２０４において、そのオブジェクトが入力される際にＭＦＰ１００で使用された原稿モードから、どのオブジェクトが重視されているかが判定される。原稿モードとは、文字原稿に最適な画像処理を行う文字モード、写真原稿に最適な画像処理を行う写真モード、中庸的な処理を行う文字／写真モードがある。これはユーザが指定する設定であり、どのオブジェクトをユーザが重要視しているかを判断することができる。このような観点からオブジェクトの再利用価値を判定し、その評価値が出力される。この際、ステップＳ３１０８で指定されるオブジェクト分離レベルによって、評価値に重みがつけられて出力される。

したがって、ユーザが重要視していると判断されない画像であっても、「オブジェクト分離レベルがし易い」と設定されていれば、再利用価値が高いと判断され易くなる。

最後に、ステップＳ３２０５において、ステップＳ３２０１〜ステップＳ３２０４から出力されたオブジェクトの評価値を利用して、そのオブジェクトが再利用される価値があるか否かを判定する。各評価値にステップＳ３１０８（図３１）で指定されるオブジェクト分離レベルに基づく重みをつけて足し合わせて、ステップＳ３１０８で指定されたオブジェクト分離レベルに基づく閾値を上回れば、再利用価値があると判断される。その他の場合は再利用価値がないと判断される。

このように、本実施形態では、ユーザの意図を明確に反映した形での再利用価値が判断される。

再利用価値があると判断されたオブジェクトはＳ８０２（図８）へ出力され、再利用価値がないと判断されたオブジェクトはＳ３１０５（図３１）へ出力される。

［オブジェクト分離レベル指定（Ｓ３１０８詳細）］
オブジェクト分離のレベルを設定できるオブジェクト分離レベルの設定画面の一例を図３３に示す。画面３３０１はオブジェクト分離レベルを設定する画面である。この説明図では、バー３３０２を利用することによりレベルを選べるようになっており、左側に寄るほど背景になるような設定となり、右側にするほどオブジェクトとして保存をし易くするものである。

背景になる設定とは、単独のオブジェクトの可能性が高く（複雑性または複雑度が低い）、画質的に品位が良い状態のものだけをオブジェクトとして保存するようにオブジェクト価値判定が行われる設定である。つまり、オブジェクト保存する画像が減少する。

オブジェクトとして保存し易くする設定とは、オブジェクト同士が重なり合っているもの（複雑性または複雑度が高い）や、画質的に品位が悪いと判断された場合においても、オブジェクトとしての保存を行うようにオブジェクト価値判定が行なわれる設定である。

つまり、オブジェクト保存する画像が増加する。

なお、図３３のオブジェクトレベルの設定として、バー３３０２のような形でそのレベルを設定できるものを示したが、レベルの設定は、例えば、数値で表すことも可能である。具体的には、レベルの値の範囲を−５から＋５とすると、通常を０としてマイナス側に数値を大きくすると、背景データとして保存し易くし、プラス方向に値を大きくするとオブジェクトとしての保存をよりし易くする。それを表示にしてユーザに指示をしてもらうことも可能である。また、ここで示したプラスと、マイナスの値の意味を逆にしても問題は無い、ならびに、値の範囲および、刻み幅を固定するものでもない。つまり、レベルの設定そのものはレベルが分かる方法であれば、どのような方法を用いても問題が無い。

さらには、オブジェクト分離レベル指定処理Ｓ３１０８（図３１）を行う方法として他の例に関しても説明する。前述したオブジェクト分離レベル指定処理Ｓ３１０８の方法は、図３３に示したようにオブジェクトの分離し易さのレベルを設定するものであったが、オブジェクト分類する際の選択条件の重み付けを行うことによって、間接的に分離のし易さを指定してもよい。図３１に示したもので、選択条件にあたるものは、原稿モード、機能、圧縮、オブジェクト認識結果である。これらの選択条件に対して、どの選択条件を重視するかあるいは、無視をするかの設定を行うことによりオブジェクト分離指定を行う。この際、重視するか無視するかの２つを選択するだけではなく、それぞれの項目にレベル設定を行っても構わない。

＜他の実施形態＞
本発明は、前述の実施例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体をシステムあるいは装置に装着し、システム等のコンピュータが記録媒体からプログラムコードを読み取り実行することによっても達成される。記録媒体はコンピュータ読み取り可能な記録媒体である。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成する。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現されてもよい。また、記録媒体から読み出されたプログラムコードが、コンピュータの機能拡張カードや機能拡張ユニットに書込まれた後、機能拡張カード等がプログラムコードの指示に基づき処理の一部または全部を行うことで、前述の実施例を実現してもよい。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納される。

本発明に係る画像処理システムを示すブロック図である。 図１におけるＭＦＰを示すブロック図である。 図２におけるデータ処理装置の詳細を説明するためのブロック図である。 本発明に係る画像処理フロー全体を示すフローチャートである。 実施形態１で説明するモードを指定するＵＩを示す図である。 実施形態１で説明するスキャナ処理のフローチャートである。 実施形態１で説明するＰＣレンダリング処理のフローチャートである。 実施形態１で説明する一般的なオブジェクト分割保存処理のフローチャートで 実施形態１で説明するプリント処理のフローチャートである。ある。 オブジェクト分割した結果の一例を示す図である。 オブジェクト分割情報したときの各属性のブロック情報および入力ファイル情報を示す図である。 第１実施形態に係るベクトル化処理のフローチャートである。 ベクトル化の処理における角抽出の処理を示す図である。 ベクトル化の処理における輪郭線まとめの処理を示す図である。 図１２で生成されたベクトルデータのグループ化の処理を示すフローチャートである。 図１５の処理でグループ化されたベクトルデータに対する図形要素検出の処理を示すフローチャートである。 本実施形態で説明するＳＶＧ（Scalable Vector Graphics）形式の一例を示す図である。 実施形態１で説明するメタ情報を付加する処理のフローチャートである。 第１実施形態に係るベクトル化処理結果のデータマップを示す図である。 アプリデータ変換処理を示すフローチャートである。 図２０の文書構造ツリー生成処理を示すフローチャートである。 文書構造ツリー生成処理の対象となる文書を示す図である。 図２１の処理によって生成される文書構造ツリーを示す図である。 第１実施形態で説明する図８のステップＳ３０７のＵＩ表示の例を示す図である。 第１実施形態で説明する図８のステップＳ３０７のＵＩ表示のページ表示の例を示す図である。 第１実施形態で説明する図８のステップＳ３０７のＵＩ表示のオブジェクト属性表示の例を示す図である。 第１実施形態で説明する図８のステップＳ３０７のＵＩ表示のオブジェクト分割された一つのオブジェクトが表示される例を示す図である。 第１実施形態で説明する図８のステップＳ３０７のＵＩ表示のオブジェクトとメタ情報を表示される例を示す図である。 実施形態１で説明する本発明におけるオブジェクト分割保存処理のフロー図である。 実施形態１におけるステップＳ２９０４の詳細を説明するフローチャートである。 実施形態２で説明する本発明におけるオブジェクト分割保存処理のフロー図である。 実施形態２におけるステップＳ３１０４の詳細を説明するフローチャートである。 実施形態２で説明するオブジェクト分離レベルを指定するＵＩを示す図である。

符号の説明

１０，２０ オフィス
１００ マルチファンクション複合機（ＭＦＰ）
１０１ マネージメントＰＣ
１０２ ローカルＰＣ
１０３ プロキシサーバ
１０４ インターネット
１０５ データベース
１０６ 文書管理サーバ
１０７，１０８ ＬＡＮ
１１０ 画像読み取り部（ＡＤＦ）
１１１ 記憶装置（ＢＯＸ）
１１２ 記録装置
１１３ 入力装置
１１４ ネットワークＩ／Ｆ
１１５，１１７ データ処理装置
１１６ 表示装置

Claims (6)

1. 入力された画像を構成するオブジェクトを分離する分離手段と、
   前記分離手段にて分離されたオブジェクトに対して、背景オブジェクトか否か判定する第１の判定手段と、
   前記第１の判定手段により、背景オブジェクトではないと判定されたオブジェクトのうち、前記オブジェクトが入力された際に適用された圧縮係数または、前記オブジェクトが入力された際の入力形式または、前記分離手段により分離されたときの前記オブジェクトの複雑度または、前記オブジェクトが入力された際の原稿モードの設定のうち少なくとも一つを判定し、該判定の結果を用いて、前記オブジェクトに対してメタデータを付加したオブジェクトとして保存するか否かを判定する第２の判定手段と、
   前記第１の判定手段により、背景オブジェクトではないと判定されたオブジェクトのうち、前記第２の判定手段によりメタデータを付加して保存すると判定されたオブジェクトは、ユーザからインターフェースを介したアクセスがあったときに、再利用が可能なオブジェクトとして表示すべくメタデータを付加して保存し、
   前記第１の判定手段により、背景オブジェクトであると判定されたオブジェクトまたは前記第２の判定手段により、メタデータを付加して保存しないと判定されたオブジェクトは、背景オブジェクトとしてマージし、圧縮を施して背景オブジェクトとして保存する保存手段と
   を備えたことを特徴とする画像処理装置。
2. 請求項１の画像処理装置において、
   前記分離されたオブジェクトは前記第２の判定手段によりオブジェクトとして保存すると判定されると、オブジェクトが写真又は背景の場合には圧縮処理が行われ、オブジェクトがグラフィックスの場合にはベクトル化処理が行われ、オブジェクトが文字の場合には該ベクトル化処理または文字認識処理が行われることを特徴とする画像処理装置。
3. 入力された画像を構成するオブジェクトを分離する分離ステップと、
   前記分離ステップにて分離されたオブジェクトに対して、背景オブジェクトか否か判定する第１の判定ステップと、
   前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記オブジェクトが入力された際に適用された圧縮係数または、前記オブジェクトが入力された際の入力形式または、前記分離ステップにより分離されたときの前記オブジェクトの複雑度または、前記オブジェクトが入力された際の原稿モードの設定のうち少なくとも一つを判定し、該判定の結果を用いて、前記オブジェクトに対してメタデータを付加したオブジェクトとして保存するか否かを判定する第２の判定ステップと、
   前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記第２の判定ステップによりメタデータを付加して保存すると判定されたオブジェクトは、ユーザからインターフェースを介したアクセスがあったときに、再利用が可能なオブジェクトとして表示すべくメタデータを付加して保存し、
   前記第１の判定ステップにより、背景オブジェクトであると判定されたオブジェクトまたは前記第２の判定ステップにより、メタデータを付加して保存しないと判定されたオブジェクトは、背景オブジェクトとしてマージし、圧縮を施して背景オブジェクトとして保存する保存ステップと
   を含むことを特徴とする画像処理方法。
4. 請求項３の画像処理方法において、
   前記分離されたオブジェクトは前記第２の判定ステップにてオブジェクトとして保存すると判定されると、オブジェクトが写真又は背景の場合には圧縮処理が行われ、オブジェクトがグラフィックスの場合にはベクトル化処理が行われ、オブジェクトが文字の場合には該ベクトル化処理または文字認識処理が行われることを特徴とする画像処理方法。
5. コンピュータに、
   入力された画像を構成するオブジェクトを分離する分離ステップと、
   前記分離ステップにて分離されたオブジェクトに対して、背景オブジェクトか否か判定する第１の判定ステップと、
   前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記オブジェクトが入力された際に適用された圧縮係数または、前記オブジェクトが入力された際の入力形式または、前記分離ステップにより分離されたときの前記オブジェクトの複雑度または、前記オブジェクトが入力された際の原稿モードの設定のうち少なくとも一つを判定し、該判定の結果を用いて、前記オブジェクトに対してメタデータを付加したオブジェクトとして保存するか否かを判定する第２の判定ステップと、
   前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記第２の判定ステップによりメタデータを付加して保存すると判定されたオブジェクトは、ユーザからインターフェースを介したアクセスがあったときに、再利用が可能なオブジェクトとして表示すべくメタデータを付加して保存し、
   前記第１の判定ステップにより、背景オブジェクトであると判定されたオブジェクトまたは前記第２の判定ステップにより、メタデータを付加して保存しないと判定されたオブジェクトは、背景オブジェクトとしてマージし、圧縮を施して背景オブジェクトとして保存する保存ステップと
   を実行させることを特徴とするプログラム。
6. コンピュータがプログラムコードを読み取り可能に記憶した記憶媒体であって、該プログラムコードが、該コンピュータに、
   入力された画像を構成するオブジェクトを分離する分離ステップと、
   前記分離ステップにて分離されたオブジェクトに対して、背景オブジェクトか否か判定する第１の判定ステップと、
   前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記オブジェクトが入力された際に適用された圧縮係数または、前記オブジェクトが入力された際の入力形式または、前記分離ステップにより分離されたときの前記オブジェクトの複雑度または、前記オブジェクトが入力された際の原稿モードの設定のうち少なくとも一つを判定し、該判定の結果を用いて、前記オブジェクトに対してメタデータを付加したオブジェクトとして保存するか否かを判定する第２の判定ステップと、
   前記第１の判定ステップにより、背景オブジェクトではないと判定されたオブジェクトのうち、前記第２の判定ステップによりメタデータを付加して保存すると判定されたオブジェクトは、ユーザからインターフェースを介したアクセスがあったときに、再利用が可能なオブジェクトとして表示すべくメタデータを付加して保存し、
   前記第１の判定ステップにより、背景オブジェクトであると判定されたオブジェクトまたは前記第２の判定ステップにより、メタデータを付加して保存しないと判定されたオブジェクトは、背景オブジェクトとしてマージし、圧縮を施して背景オブジェクトとして保存する保存ステップと
   を実行させることを特徴とする記憶媒体。

Images