JP5423405B2 - 画像処理システムおよび画像処理方法 - Google Patents

Description

本発明は、画像形成装置と情報処理装置とがネットワーク接続されてなる画像処理システムおよび画像処理方法に関する。

近年では、スキャナ機能とプリンタ機能とを１の筐体内に構成し、スキャナ機能を用いて画像を読み取り、読み取った画像をプリンタ機能を用いて用紙に対して画像形成可能とした複合機が普及している。この複合機とコンピュータとをネットワークで接続し、複合機におけるスキャナ機能による読み取り設定や、プリンタ機能による印刷設定などをコンピュータから行うことを可能としたシステムが開発されている。

また、このようなシステムにおいて、複合機のスキャナ機能を用いて原稿から読み取った画像データ（コンテンツ）の用紙に対するレイアウトを、複合機とネットワークを介して接続されたコンピュータ上で決定する技術が提案されている。

すなわち、複合機においてスキャナ機能を用いて画像を読み取って得られた画像データを、ネットワークを介してコンピュータに送信し、コンピュータ側でレイアウト技術を用いて用紙に対するレイアウトを決定する。大きさの異なる複数のコンテンツを用紙（ページ）上に配置する際のアルゴリズムとしては、例えば非特許文献１に記載されるＦＦＤＨ(First-Fit Decreasing-Height)を適用することができる。コンピュータは決定されたレイアウトに従い、例えばページ記述言語（ＰＤＬ）を用いて描画データを生成し、ネットワークを介して複合機に送信する。複合機は、受信した描画データに従い用紙に対して画像形成を行う。

従来では、上述したようなシステムにおいて、複合機のスキャナ機能により原稿を読み取って取得した画像データをコンピュータに送信し、コンピュータ側で、受信した画像データからのコンテンツの抽出処理や、抽出されたコンテンツのレイアウト決定処理を行っていた。すなわち、コンピュータは、サイズが原稿サイズ、解像度がスキャナ機能における読み取り設定の解像度の画像データを扱うことになる。そのため、コンピュータ側の負荷が大きくなってしまうという問題点があった。

本発明は、上記に鑑みてなされたものであって、複合機で読み取った画像データに基づいたレイアウト決定処理を、複合機とネットワーク接続されたコンピュータ上で行う際の、コンピュータ側の負荷を軽減させることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、情報処理装置と画像形成装置とがネットワークで接続されてなる画像処理システムであって、画像形成装置は、スキャン設定に従って原稿を読み取り画像データを出力するスキャン手段と、レイアウト方法に従って画像データからコンテンツを抽出するコンテンツ抽出手段と、画像データから抽出したコンテンツを情報処理装置に送信するコンテンツ送信手段と、描画データに従い用紙に画像を形成する画像形成手段とを備え、情報処理装置は、スキャン設定とレイアウト方法とを入力する入力手段と、入力手段で入力されたスキャン設定とレイアウト方法とを画像形成装置に送信する設定情報送信手段と、コンテンツ送信手段で送信されたコンテンツの用紙に対応するページに対するレイアウトを、レイアウト方法に従い決定するレイアウト決定手段と、レイアウトに従いコンテンツをページに配置して描画データを生成する描画データ生成手段とを備えることを特徴とする。

また、本発明は、情報処理装置と画像形成装置とがネットワークで接続されてなる画像処理システムの画像処理方法であって、情報処理装置が、スキャン設定とレイアウト方法とを入力する入力ステップと、情報処理装置が、入力ステップにより入力されたスキャン設定とレイアウト方法とを画像形成装置に送信する設定情報送信ステップと、画像形成装置が、設定情報送信ステップにより送信されたスキャン設定に従って原稿を読み取り画像データを出力するスキャンステップと、画像形成装置が、設定情報送信ステップにより送信されたレイアウト方法に従って画像データからコンテンツを抽出するコンテンツ抽出ステップと、画像形成装置が、画像データから抽出したコンテンツを情報処理装置に送信するコンテンツ送信ステップと、情報処理装置が、コンテンツ送信ステップで送信されたコンテンツのページに対するレイアウトを、レイアウト方法に従い決定するレイアウト決定ステップと、情報処理装置が、レイアウトに従いコンテンツをページに配置して描画データを生成する描画データ生成ステップと、画像形成装置が、描画データに従いページに対応する用紙に画像を形成する画像形成ステップとを備えることを特徴とする。

本発明によれば、複合機で読み取った画像データに基づいたレイアウト決定処理を、複合機とネットワークを介して接続されたコンピュータ上で行う際の、コンピュータ側の負荷が軽減されるという効果を奏する。

図１は、第１の実施形態に係る画像処理システムを概略的に示す略線図である。 図２は、第１の実施形態による画像形成装置の一例の機能を示す機能ブロック図である。 図３は、第１の実施形態におけるコンピュータの一例の機能を示す機能ブロック図である。 図４は、ブロックおよび行を説明するための略線図である。 図５は、ネクストフィットアルゴリズムを説明するための一例のフローチャートである。 図６は、ネクストフィットアルゴリズムを説明するための略線図である。 図７は、ネクストフィットアルゴリズムを説明するための略線図である。 図８は、第１の実施形態による画像処理方法を示す一例のシーケンス図である。 図９は、第１のレイアウト方法に従ってコンテンツ抽出を行うように指定されている場合の、レイアウト決定方法の例を示すフローチャートである。 図１０は、複数のレイアウト方法を組み合わせて指定した場合のレイアウト決定方法の例を示すフローチャートである。 図１１は、コンテンツを確認するためのＧＵＩであるコンテンツビューアの一例の表示を示す略線図である。 図１２は、コンテンツビューアの別の例を示す略線図である。 図１３は、第２の実施形態による画像処理システムの一例の機能を示す機能ブロック図である。 図１４は、第２の実施形態に適用可能な画像形成装置の一例の構成を概略的に示すブロック図である。 図１５は、コンピュータの一例の構成を示すブロック図である。 図１６は、スキャンアプリケーションのメイン画面およびスキャン設定情報の入力画面の表示例を示す略線図である。 図１７は、スキャンアプリケーションのアプリケーション情報の例を示す略線図である。 図１８は、ユーザに利用可能なネットワークアプリケーションの一覧の表示処理の処理手順を説明するためのシーケンス図である。 図１９は、ユーザ選択画面の例を示す略線図である。 図２０は、ネットワークアプリケーション選択画面の例を示す略線図である。 図２１は、ウィジェット実行画面の例を示す略線図である。

＜第１の実施形態＞
以下に添付図面を参照して、この発明に係る画像処理システムの第１の実施形態について詳細に説明する。図１は、本発明の第１の実施形態に係る画像処理システム１を概略的に示す。画像処理システム１は、概略的には、画像形成装置２と、情報処理装置としてのコンピュータ（ＰＣ）３とがネットワーク４で接続されて構成される。画像形成装置２は、例えばＭＦＰ(Multi Function Printer)であって、原稿を読み取って画像データを出力するスキャナ部と、描画データに従い印刷を行い用紙に対して画像を形成するプリンタ部とを備える。コンピュータ３は、ＣＰＵ、メモリ、ハードディスク、通信Ｉ／Ｆなどを備える一般的なコンピュータを用いることができる。

画像形成装置２は、原稿を読み取った画像データに対して所定の画像処理を施して、ネットワーク４を介してコンピュータ３に対して送信することができる。一方、コンピュータ３は、ユーザ操作に従い入力された画像形成装置２の設定情報を、ネットワーク４を介して画像形成装置２に対して送信することができる。また、コンピュータ３は、画像形成装置２から送信された画像データの、用紙に対するレイアウトを決定し、決定されたレイアウトに従いページ記述言語などを用いて描画データを生成する。

描画データは、ネットワーク４を介して画像形成装置２に送信される。画像形成装置２は、送信された描画データに従い印刷処理を行い、用紙に対して描画データによる画像を形成する。

図２は、本第１の実施形態による画像形成装置２の一例の機能を示す機能ブロック図である。画像形成装置２は、原稿読み取り部２−１、画像処理部２−２、画像形成部２−３および通信部２−４を有する。原稿読み取り部２−１は、スキャナ部にて原稿を読み取り画像データを出力する。

画像処理部２−２は、原稿読み取り部２−１から出力された画像データに対して、所定の画像処理を施す。例えば、画像処理部２−２は、指定された条件に従い画像データからコンテンツを抽出して出力する。画像形成部２−３は、描画データに従い印刷処理を行い、用紙に対して描画データによる画像を形成する。通信部２−４は、ネットワーク４を介した通信を制御する。原稿読み取り部２−１、画像形成部２−３および通信部２−４の制御、ならびに、画像処理部２−２における画像処理は、例えば画像形成装置２が有する図示されないＣＰＵ上で実行されるプログラムにより実現される。

画像処理部２−２に対してコンテンツ抽出を行う際に指定する条件としては、例えば、画像データ上のコンテンツのカラーモードや種類が挙げられる。カラーモードは、例えば、コンテンツがモノクロ画像およびカラー画像のうち何れによるものかを示す。種類は、例えば、コンテンツがテキストおよびイメージ（写真、イラスト、絵画など）のうち何れによるものかを示す。コンテンツの種類がイメージの場合、さらに、当該イメージが人物を表すか、人物以外（風景など）を表すかを条件として指定することもできる。

図３は、本第１の実施形態におけるコンピュータ３の一例の機能を示す機能ブロック図である。コンピュータ３は、ＵＩ(User Interface）部３−１、レイアウト決定部３−２、通信部３−３および描画データ生成部３−４を有する情報処理装置である。ＵＩ部３−１は、ユーザへの情報の提示と、ユーザによる情報入力とを司る。例えばＵＩ部３−１は、プログラムに従ったＣＰＵの制御により、図示されない表示部に対して情報の提示および入力を行うための画面を表示させる。また、ＵＩ部３−１は、キーボードやマウスといった入力デバイス（図示しない）に対するユーザ操作による情報入力を受け付ける。

レイアウト決定部３−２は、画像形成装置２が印刷を行う用紙の印刷領域に対応するページに対してコンテンツを配置し、レイアウトを決定する。通信部３−３は、ネットワーク４を介した通信を制御する。描画データ生成部３−４は、レイアウト決定部３−２で決定されたコンテンツのページ毎のレイアウトに従い、ページ記述言語などを用いて画像形成のための描画データを生成する。

本第１の実施形態に適用可能な、レイアウト決定部３−２により実行される、コンテンツのレイアウト決定方法の例について、図４〜図７を用いて説明する。

レイアウト決定部３−２は、様々な大きさ（幅×高さ）を有する複数の矩形コンテンツを、幅Ｗ、高さＨの配置領域上に配置する際のレイアウトを生成する。幅Ｗおよび高さＨは、それぞれ有限の値を持ち、一度に表示を行うための領域（ページ）に対応する。ページは、例えば出力画像を用紙上に形成する場合、当該用紙における印刷可能範囲に対応する。また、配置領域の幅を持ち、横方向に隣接し上辺を揃えて並ぶ画像データのうち高さが最大の画像データの上下端で高さおよび配置領域における高さ方向の位置が規定される領域を、「ブロック」と呼び、ブロックとブロックとの区切りを、「行」と呼ぶ（図４参照）。

レイアウト決定部３−２は、ページに対して、下記の条件を満たすように複数のコンテンツを配置する。
（１）コンテンツの形状が矩形であって、幅および高さが有理数値である。
（２）回転を許容しない。
（３）各コンテンツが互いに重ならない。

本第１の実施形態では、ネクストフィット(Next-Fit)アルゴリズムを用いて、上述の（１）〜（３）の条件を満たすように、各ページに対するコンテンツのレイアウトを決定する。図５は、ネクストフィットアルゴリズムを説明するための一例のフローチャートである。図５のフローチャートにおける各処理は、レイアウト決定部３−２において実行される。

先ず、ステップＳ２０で、第ｍページ目の左上隅に、未配置の画像データのうち次に配置すべきコンテンツｎを配置する。なお、コンテンツは、例えば画像形成装置２からの送信順に配置されるものとする。これに限らず、画像形成装置２が送信する各コンテンツに対して割り当てた番号などの順番に配置するようにしてもよい。

次のステップＳ２１で、次に配置すべきコンテンツｎによる画像のサイズ（幅×高さ）が取得される。次のステップＳ２２で、ステップＳ２１で取得されたコンテンツｎによる画像のサイズと、配置済みのコンテンツによる画像のサイズとに基づき、最後に配置したコンテンツ（ｎ−１）による画像の右隣に当該コンテンツｎによる画像が配置可能か否かが判定される。なお、以下では、特に記載のない限り、「コンテンツによる画像」を単に「コンテンツ」として記述する。

このステップＳ２２では、当該コンテンツｎの幅および高さに関して、それぞれ配置可能か否かが判定される。すなわち、最後に配置されたコンテンツ（ｎ−１）の右辺とページ右端との間が当該コンテンツｎの幅より狭いか、若しくは、最後に配置されたコンテンツ（ｎ−１）と当該コンテンツｎとで上辺とを一致させたときに当該コンテンツｎの下辺がページの下端を超える場合に、当該コンテンツｎが最後に配置されたコンテンツ（ｎ−１）の右隣に配置不可であると判定される。

若し、ステップＳ２２で、最後に配置されたコンテンツ（ｎ−１）の右隣に当該コンテンツｎによる画像が配置可能であると判定されたら、処理はステップＳ２３に移行される。ステップＳ２３では、当該コンテンツｎによる画像が最後に配置されたコンテンツ（ｎ−１）の右隣に配置される。

一方、ステップＳ２２で、最後に配置されたコンテンツ（ｎ−１）の右隣に当該コンテンツｎによる画像が配置不可能であると判定されたら、処理はステップＳ２４に移行される。ステップＳ２４では、当該コンテンツｎを、最後に配置されたコンテンツ（ｎ−１）が含まれるブロックの直下に配置すると仮定したときに、当該コンテンツｎがページ内に収まるか否かが判定される。若し、収まらない、すなわち、当該コンテンツｎの下辺がページの下端を超えると判定されたら、処理はステップＳ２０に戻され、次のページの左上隅に、当該コンテンツｎが配置される。

一方、ステップＳ２４で、当該コンテンツｎがページ内に収まると判定されたら、処理はステップＳ２５に移行され、当該コンテンツｎが最後に配置されたコンテンツ（ｎ−１）が含まれるブロックの直下、且つ、ページの左端に配置される。

図６および図７を用いて、より具体的に説明する。図６に例示されるように、ブロック内にコンテンツ＃１〜＃５が既に配置されている状態で、コンテンツ＃６を配置する例について考える。この場合、ステップＳ２１でコンテンツ＃６による画像のサイズが取得され、次のステップＳ２２で、最後に配置したコンテンツ＃５の右隣にこのコンテンツ＃６が配置可能か否かが判定される。図６の例では、最後に配置されたコンテンツ＃５による画像の右辺とページの右端との間の長さよりも、次に配置すべきコンテンツ＃６による画像の幅の方が大きいため、配置不可であると判定される。

コンテンツ＃６がコンテンツ＃５の右隣に配置できないと判定され、処理がステップＳ２４に移行される。そして、コンテンツ＃６を最後に配置されたコンテンツ＃５が含まれるブロックの直下に配置した際に、当該コンテンツ＃６による画像が高さ方向でページ内に収まるか否かが判定される。図６の例では、コンテンツ＃６による画像が高さ方向でページ内に収まるため、処理がステップＳ２５に移行される。ステップＳ２５では、図７に例示されるように、当該コンテンツ＃６がコンテンツ＃５の属するブロックの直下に対し、左に詰めて配置される。

ステップＳ２３またはステップＳ２５で次に配置すべきコンテンツｎが配置されたら、処理はステップＳ２６に移行され、配置すべき全てのコンテンツについて、配置が完了したか否かが判定される。若し、完了したと判定されたら、図５のフローチャートによる一連の処理が終了される。一方、完了していない、すなわち、未だ配置されていないコンテンツが存在すると判定されたら、処理はステップＳ２１に戻され、次のコンテンツについて、同様に処理が行われる。

なお、上述の処理において、ステップＳ２１で次に配置するコンテンツのサイズを取得した際に、当該コンテンツの幅または高さがページのサイズを超える場合には、当該コンテンツをページ内に配置することができない。この場合、例えば、当該コンテンツのサイズを、当該コンテンツがページ内に収まるように縮小する。

次に、本第１の実施形態による画像処理方法についてより詳細に説明する。図８は、本第１の実施形態による画像処理方法を示す一例のシーケンス図である。ここで、画像形成装置２は、原稿読み取り部２−１の機構として、複数の原稿を連続的に読み取ることを可能とするＡＤＦ(Auto Document Feeder)を備え、図８に示されるシーケンスの実行に先立って、このＡＤＦに対して複数の原稿が予めセットされているものとする。

先ず、コンピュータ３において、ユーザ操作により、ＵＩ部３−１に対して画像形成装置２で実行させるスキャン処理の設定が入力される。例えば、スキャンの解像度やカラーモード（カラーまたはモノクロ）といった、スキャン動作に必要な情報がスキャン設定として入力される。

ステップＳ１０では、さらに、スキャン設定と共に、コンテンツのページに対するレイアウト方法を指定するための入力を行う。レイアウトを決定する際の条件としては、例えば次の２種類が考えられる。
第１のレイアウト方法：コンテンツの画像の特性を条件とする。
第２のレイアウト方法：コンテンツが抽出された画像データの元になる原稿の情報を条件とする。

第１のレイアウト方法では、画像の特性が一致するコンテンツを同一ページに配置して、レイアウトを決定する。コンテンツの画像の特性としては、例えばそのコンテンツのカラーモードや種類が挙げられる。これらのうちカラーモードは、そのコンテンツがモノクロ画像およびカラー画像のうち何れによるものかを示す。また、種類は、そのコンテンツの画像の種類を示し、より具体的には、そのコンテンツの画像がテキストおよびイメージの何れによるものかを示す。

第２のレイアウト方法では、コンテンツが抽出された画像データの元になる原稿の情報に基づき当該コンテンツをページに配置して、レイアウトを決定する。原稿の情報の例としては、複数枚の原稿を連続的にスキャンした場合の原稿の読み取り順を示す情報がある。この場合、例えば原稿を読み取った画像データから抽出したコンテンツを、ページに対して、原稿の読み取り順に配置して、レイアウトを決定する。原稿の情報の別の例としては、コンテンツを抽出した画像データの元になる原稿を示す情報がある。この場合、例えば原稿を読み取った画像データから抽出したコンテンツをページに配置する際に、同一の原稿の画像データから抽出されたコンテンツを同一のページに配置して、レイアウトを決定する。

なお、第１および第２のレイアウト方法による４つのレイアウト決定方法は、１つのみを選択して指定してもよいし、複数を組み合わせて指定することもできる。

ステップＳ１０で各種情報の入力などが行われると、通信部３−３により、ステップＳ１０で入力および指定されたスキャン設定を示す情報とレイアウト方法を示す情報とを含むスキャン設定情報が、コンピュータ３から画像形成装置２に対して、ネットワーク４を介して送信される（ＳＥＱ１０）。

スキャン設定情報が画像形成装置２に受信されると、画像形成装置２において、原稿読み取り部２−１は、スキャン設定情報に含まれるスキャン設定を示す情報に従い原稿の読み取り処理を開始する。なお、原稿の読み取り処理は、スキャン設定情報の受信と共に自動的に開始してもよいし、画像形成装置２に対するユーザ操作に応じて開始してもよい。

ステップＳ２０で原稿読み取りが行われると、次のステップＳ２１で、画像処理部２−２は、原稿を読み取った画像データからコンテンツを抽出する。コンテンツの抽出は、上述のＳＥＱ１０でコンピュータ３から送信されたスキャン設定情報に含まれるレイアウト方法を示す情報に示される条件に従い行う。それと共に、抽出したコンテンツの属性を示す属性情報を、当該コンテンツに対応付けて出力する。この属性情報は、スキャン設定情報に含まれるレイアウト方法を示す情報に示される条件に従う。

例えば、第１のレイアウト方法、且つ、カラーモードに従ってレイアウトを決定するように指定されている場合、画像データからモノクロ画像によるコンテンツと、カラー画像によるコンテンツとを抽出する。このとき、既知のオートカラーセレクト技術を用いて画像データからモノクロ画像の領域とカラー画像の領域とを抽出することができる。オートカラーセレクト処理では、例えば、画像データのＲ（赤色）、Ｇ（緑色）およびＢ（青色）の値が一致しているか否かで、当該画像データがモノクロ画像およびカラー画像の何れであるかを判定する。

この、第１のレイアウト方法、且つ、カラーモードに従ってレイアウトを決定するように指定されている場合には、抽出されたコンテンツがモノクロ画像およびカラー画像の何れであるかを示す属性情報が、コンテンツに対応付けられる。

また、第１のレイアウト方法、且つ、種類に従ってレイアウトを決定するように指定されている場合、画像データからテキストによるコンテンツと、イメージによるコンテンツとを抽出する。このとき、既知の像域分離技術を用いて画像データからテキスト領域とイメージ領域とを抽出することができる。像域分離処理では、例えば、画像データの線画領域を認識し、画像データ中の線画領域の割合から、画像データにおけるテキスト領域とイメージ領域とを抽出する。

この、第１のレイアウト方法、且つ、種類に従ってレイアウトを決定するように指定されている場合には、抽出されたコンテンツがテキストおよびイメージの何れであるかを示す属性情報が、コンテンツに対応付けられる。

第２のレイアウト方法が指定され、且つ、原稿の読み取り順に従ってレイアウトを決定するように指定されている場合、画像データから抽出したコンテンツに対して、コンテンツの抽出元の原稿のスキャン順を示す情報を属性情報として対応付ける。このとき、コンテンツは、例えば、ステップＳ２０で原稿から読み取った画像データから、上述したオートカラーセレクト処理や像域分離処理などの方法を用いて抽出することが考えられる。

第２のレイアウト方法が指定され、且つ、原稿の情報としてコンテンツを抽出した画像データの元になる原稿を示す情報を用いる場合、画像データから抽出したコンテンツに対して、コンテンツの抽出元の原稿を特定可能な情報を属性情報として対応付ける。コンテンツの抽出は、上述と同様に、ステップＳ２０で原稿から読み取った画像データから、上述したオートカラーセレクト処理や像域分離処理などの方法を用いて抽出することが考えられる。

ステップＳ２１によるコンテンツ抽出処理が完了すると、抽出されたコンテンツと、当該コンテンツに対応付けられた属性情報とが、画像形成装置２からコンピュータ３に対して、ネットワーク４を介して送信される（ＳＥＱ１１）。このとき、画像形成装置２は、１の原稿から読み取った画像データについて、当該画像データから抽出したコンテンツ領域の画像データのみを、コンピュータ３に対して送信する。

なお、ステップＳ２１のコンテンツ抽出処理は、ステップＳ２０での１の原稿についての読み取り処理毎に行ってもよいし、ステップＳ２０で複数の原稿について読み取り処理を行った後に、纏めて行ってもよい。また、ＳＥＱ１１によるコンテンツおよび属性情報の送信処理は、ステップＳ２１でコンテンツが抽出される毎に逐次的に行ってもよいし、１の画像データに対するコンテンツ抽出が完了する毎に行ってもよい。さらに、ステップＳ２０で複数の原稿について読み取り処理を行った場合に、当該複数の原稿から読み取った画像データ全てに対してコンテンツ抽出が完了した後に、コンテンツおよび属性情報の送信を行ってもよい。

コンテンツおよび属性情報がコンピュータ３に受信されると、コンピュータ３において、レイアウト決定部３−２は、ステップＳ１０で指定したレイアウト方法と、受信した属性情報とに従い、図５〜図７を用いて説明したネクストフィットアルゴリズムなどを用いてコンテンツをページに配置し、レイアウトを決定する（ステップＳ１１）。レイアウトの決定方法の具体的な例については、後述する。

ステップＳ１１でレイアウト決定部３−２によりコンテンツのレイアウトが決定されると、描画データ生成部３−４は、レイアウト決定部３−２から決定されたレイアウトを示すレイアウト情報を取得する。そして、描画データ生成部３−４は、取得したレイアウト情報に基づきページ記述言語を用いて描画データを生成する。生成された描画データは、コンピュータ３から画像形成装置２に対してネットワーク４を介して送信される（ＳＥＱ１２）。

描画データが画像形成装置２に受信されると、画像形成装置２において、画像形成部２−３は、受信した描画データに基づき印刷処理を行い、用紙に対して描画データに従い画像を形成する（ステップＳ２２）。

上述のステップＳ１１におけるレイアウト決定方法の例について説明する。図９は、ステップＳ１０で第１のレイアウト方法に従ってコンテンツ抽出を行うように指定されている場合の、レイアウト決定方法の例を示すフローチャートである。この図９の例では、さらに、第１のレイアウト方法としてカラーモードが指定されている。この場合、属性情報は、対応するコンテンツがモノクロ画像およびカラー画像の何れによるものかを示す。なお、ここでは、コンテンツは、コンテンツの抽出毎に逐次的に送信されるものとする。

先ず、ステップＳ１２０で、レイアウト決定部３−２は、レイアウトを行うコンテンツの属性情報を取得する。次に、ステップＳ１２１で、レイアウト決定部３−２は、取得された属性情報に基づき、レイアウトを行うコンテンツがモノクロ画像およびカラー画像の何れによるものかを判定する。若し、コンテンツがモノクロ画像によるものであると判定されたら、処理はステップＳ１２２に移行され、モノクロ専用ページに当該コンテンツを配置する。一方、コンテンツによる画像がカラー画像によるものであると判定されたら、処理はステップＳ１２３に移行され、カラー専用ページにコンテンツを配置する。

そして、ステップＳ１２４で、全てのコンテンツについて処理が終了したか否かが判定される。例えば、コンテンツの送信を、コンテンツの抽出毎に逐次的に行う場合や、画像データ毎に行う場合には、画像形成装置２からコンピュータ３に対して、全ての原稿についてコンテンツの抽出が完了した旨を示す通知を送信することが考えられる。

ステップＳ１２４で、全てのコンテンツについての処理が終了していないと判定されたら、処理はステップＳ１２０に戻される。一方、全てのコンテンツについて処理が終了したと判定されたら、処理はステップＳ１２５に移行され、レイアウト決定部３−２が、モノクロ専用ページとカラー専用ページのレイアウトを統合してレイアウトを決定する。

このように、モノクロ画像によるコンテンツと、カラー画像によるコンテンツとを異なるページに分けて配置することで、モノクロ画像によるコンテンツが配置されたページは、画像形成装置２においてモノクロによる印字が可能となる。そのため、モノクロ画像のコンテンツとカラー画像のコンテンツとが混在したページをカラー印刷する場合に生じる、モノクロ画像によるコンテンツの画質劣化を防ぐことができる。さらに、カラー印字の枚数を低減することが可能となり、カラー用のトナーセーブが可能となる。

なお、ステップＳ１０で第１のレイアウト方法、且つ、種類に従ってコンテンツ抽出を行うように指定されている場合についても、図９のフローチャートに示される処理と同様にしてレイアウトを決定することができる。この場合、上述の図９のフローチャートの説明において、モノクロ画像およびカラー画像を、テキストおよびイメージにそれぞれ読み替える。

また、第２のレイアウト方法が指定され、且つ、原稿の読み取り順に従ってレイアウトを決定するように指定されている場合については、属性情報に基づき、例えばスキャン順が同一のコンテンツが連続的に配置されるようにレイアウトを決定することができる。このとき、新たに配置するコンテンツのスキャン順が最後に配置されたコンテンツと異なる場合に、処理を図５のフローチャートにおけるステップＳ２４に強制的に移行させ、当該新たに配置するコンテンツを、最後に配置されたコンテンツが含まれるブロックの直下または次のページの左上隅に配置することが考えられる。

さらに、第２のレイアウト方法が指定され、且つ、原稿の情報としてコンテンツを抽出した画像データの元になる原稿を示す情報を用いる場合については、属性情報に基づき、例えば同一の原稿を読み取った画像データから抽出したコンテンツが同一のページに配置されるように、レイアウトを決定する。コンテンツが１ページに収まりきらない場合には、次のページに配置してもよいし、当該コンテンツによる画像を縮小して１ページに収まるようにしてもよい。また、複数の原稿から読み取った画像データから抽出したコンテンツを、１ページ内に配置してもよい。この場合、上述の第２のレイアウト方法と同様に、同一の原稿から読み取ったコンテンツが連続的に配置されるようにレイアウトを決定すると、好ましい。

図１０は、複数のレイアウト方法を組み合わせて指定した場合のレイアウト決定方法の例を示すフローチャートである。この図１０の例では、第１および第２のレイアウト方法が組み合わされ、さらに、文字の大きさレベルが条件として追加されている。文字の大きさレベルは、例えばステップＳ２１によるコンテンツ抽出処理の際に、テキストによるコンテンツを抽出する際に検出され、文字の大きさレベルを示す情報として属性情報に含められる。

先ず、ステップＳ１３０で、レイアウト決定部３−２は、レイアウトを行うコンテンツの属性情報を取得する。次に、ステップＳ１３１で、レイアウト決定部３−２は、取得された属性情報当に基づき、レイアウトを行うコンテンツがテキストおよびイメージのうち何れによるものかを判定する。若し、コンテンツがテキストによるものであると判定されたら、処理はステップＳ１３２に移行され、レイアウト決定部３−２が、属性情報から文字の大きさレベルを示す情報を取得する。そして、次のステップＳ１３３で、レイアウト決定部３−２は、文字の大きさレベルを示す情報に従い、文字の大きさレベル毎のテキスト専用ページに、当該コンテンツを配置する。そして、処理がステップＳ１３６に移行される。

一方、ステップＳ１３１で、コンテンツがイメージによるものであると判定されたら、処理はステップＳ１３４に移行され、レイアウト決定部３−２が、属性情報から当該コンテンツのイメージ種類（モノクロ画像／カラー画像）を取得する。そして、次のステップＳ１３５で、レイアウト決定部３−２は、オブジェクト種類毎に設けられた専用ページに、コンテンツを所定に配置する。そして、処理はステップＳ１３６に移行される。

そして、ステップＳ１３６で、全てのコンテンツについて処理が終了したか否かが判定される。若し、終了していないと判定されたら、処理はステップＳ１３０に戻される。一方、全コンテンツについて処理が終了したと判定されたら、処理はステップＳ１３７に移行され、レイアウト決定部３−２が、各専用ページのレイアウトを統合してレイアウト情報を生成する。

このように、複数のレイアウト方法を組み合わせて指定した場合であっても、各コンテンツを適切に配置してレイアウトを決定することができる。上述では第１のレイアウト方法における複数の方法を組み合わせたが、これはこの例に限らず、第１のレイアウト方法に対して第２のレイアウト方法における２つの方法のうち一方または両方を組み合わせた場合でも、同様にして、各コンテンツによる適切なレイアウトを決定することができる。

コンピュータ３において、ＵＩ部３−１により、コンテンツの配置処理の経過を示すプレビュー画面や、コンテンツのページへの配置を指示するエディット画面を図示されない表示部に対して表示させて、コンテンツ指定やレイアウト確認を行う場合のユーザ支援を行うと好ましい。

図１１は、コンテンツを確認するためのＧＵＩであるコンテンツビューア４０の一例の表示を示す。ＵＩ部３−１は、レイアウト決定部３−２からレイアウト中の各コンテンツの属性情報や画像データを取得して、このコンテンツビューア４０や後述するコンテンツビューア４２を、図示されない表示部に表示させる。図１１に例示されるコンテンツビューア４０は、原稿から画像を読み取って取得したコンテンツによる画像４１Ａ、４１Ｂ、４１Ｃおよび４１Ｄが、属性情報に従い属性毎にグループ分けされて表示される例である。

図１２は、コンテンツビューアの別の例を示す。図１２に例示されるコンテンツビューア４２は、コンテンツの受信順に、各コンテンツ情報４３、４３、…が並べられて表示されている。各コンテンツ情報４３、４３、…は、例えばコンテンツ４４と、当該コンテンツに対応する属性情報４５とが共に表示される。

図１１および図１２に例示されるように、コンテンツを表示する際に、コンテンツ４４に対して選択の指標となる属性情報４５を関連付けて表示することで、ユーザが必要なコンテンツを選択する際のヒントを与えることができる。

例えば、コンテンツがテキストによるコンテンツなのか、イメージによるコンテンツなのかをグループに分けて表示することができる。同様に、コンテンツがモノクロ画像によるコンテンツなのか、カラー画像によるコンテンツなのかをグループに分けて表示することができる。これにより、ユーザは、原稿を読み取った画像から生成されたコンテンツの中から、必要なコンテンツを素早く探すことができるようになる。

このように、本第１の実施形態によれば、原稿から読み取って得られた画像データからコンテンツを抽出する際の条件などをコンピュータ３側で設定してスキャン設定情報として画像形成装置２に送信する。画像形成装置２側では、受信したスキャン設定情報に従い、原稿から読み取って得られた画像データからコンテンツを抽出するようにしている。そのため、コンピュータ３側で画像データからのコンテンツの抽出処理を行う必要が無く、コンピュータ３におけるレイアウト生成および決定処理に伴う負荷が軽減される。

また、画像形成装置２からコンピュータ３に対して、画像データから抽出したコンテンツのみがネットワーク４を介して送信されるため、ネットワーク４のトラフィックが軽減される。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態は、上述した第１の実施形態による画像処理システム１による動作を、ネットワークに接続されたアプリケーション管理サーバに管理されるアプリケーションを用いて実現する例である。

図１３は、本第２の実施形態による画像処理システム１’の一例の機能を示す機能ブロック図である。図１３に例示される画像処理システム１’において、１台以上の画像形成装置１０と、一台以上のコンピュータ２０と、ネットワークアプリケーション管理サーバ３０とが、ＬＡＮ(Local Area Network)などのネットワーク４００によって接続される。ネットワーク４００は、有線または無線の別は問わない。

コンピュータ２０は、例えばユーザ毎に割り当てられたパーソナルコンピュータ（ＰＣ）であり、図１におけるコンピュータ３の機能を含む。コンピュータ２０は、画像形成装置１０との連携により所定のサービスを提供するアプリケーションケーション（以下、ネットワークアプリケーションと呼ぶ）を有する。図１３の例では、ネットワークアプリケーションの一例として印刷アプリケーション２１およびスキャンアプリケーション２２が示されている。

印刷アプリケーション２１は、ネットワーク４００を介して通信可能な画像形成装置１０に印刷ジョブを実行させるネットワークアプリケーションである。印刷アプリケーション２１は、ＵＩ制御部２１１、アプリ情報送信部２１２、連携部２１３、印刷データ生成部２１４および属性情報管理ファイル２１５などを有する。

ＵＩ制御部２１１は、印刷アプリケーション２１に関する各種の表示画面をコンピュータ２０の表示部に表示させる。アプリ情報送信部２１２は、ユーザ操作に応じて、印刷アプリケーション２１に関するアプリケーション情報の登録要求をネットワークアプリケーション管理サーバ３０に送信する。アプリケーション情報には、印刷アプリケーション２１の実行に必要な情報が含まれる。

印刷データ生成部２１４は、画像形成装置１０に印刷させるための描画データを、コンピュータ２０に搭載されているプリンタドライバを利用して生成する。連携部２１３は、画像形成装置１０との連携のための情報のやりとりを制御する。属性情報管理ファイル２１５は、印刷アプリケーション２１の属性情報を格納する。属性情報管理ファイル２１５に格納される属性情報には、例えば、印刷アプリケーション２１の識別子（アプリケーションＩＤ）や、印刷アプリケーション２１の所有者であるユーザのユーザＩＤ、印刷設定情報（印刷条件を示す情報）の初期値などが含まれる。

スキャンアプリケーション２２は、画像形成装置１０において原稿を読み取って得られた画像データに対して、配信や保存など所定の処理を実行するネットワークアプリケーションである。スキャンアプリケーション２２は、ＵＩ制御部２２１、アプリ情報送信部２２２、連携部２２３、スキャンデータ処理部２２４および属性情報管理ファイル２２５などを有する。上述した第１の実施形態におけるコンピュータ３の機能は、例えばこのスキャンアプリケーション２２の機能に対応させることができる。

ＵＩ制御部２２１は、スキャンアプリケーション２２に関する各種の表示画面をコンピュータ２０の表示部に表示させる。アプリ情報送信部２２２は、スキャンアプリケーション２２が起動されたときに、スキャンアプリケーション２２のアプリケーション情報の登録要求をネットワークアプリケーション管理サーバ３０に送信する。スキャンアプリケーション２２のアプリケーション情報は、画像形成装置１０に対するスキャン設定情報および印刷要求を含む。

スキャンデータ処理部２２４は、上述したレイアウト決定部３−２および描画データ生成部３−４の機能を含む。描画データ生成部３−４の機能は、上述した印刷アプリケーション２１における印刷データ生成部２１４の機能を利用してもよい。スキャンデータ処理部２２４は、画像形成装置１０においてスキャンされ、コンピュータ２０に転送された画像データに対して、配信や保存など所定の処理を実行する。また、スキャンデータ処理部２２４は、画像形成装置１０において、コンピュータ２０から送信したスキャン設定情報に従い原稿を読み取った画像データから抽出したコンテンツを受信した際に、指定されたレイアウト方法に従いコンテンツのレイアウトを決定する。

連携部２２３は、画像形成装置１０との連携のためのコミュニケーション（情報のやりとりなど）を制御する。属性情報管理ファイル２２５は、スキャンアプリケーション２２に対する設定情報を格納する。属性情報管理ファイル２２５は、スキャンアプリケーション２２の属性情報を格納する。属性情報管理ファイル２２５に格納される属性情報には、例えば、スキャンアプリケーション２２の識別子（アプリケーションＩＤ）や、スキャンアプリケーション２２の所有者であるユーザのユーザＩＤや、スキャン設定情報の初期値などが含まれる。

印刷アプリケーション２１およびスキャンアプリケーション２２の属性情報管理ファイル２１５または属性情報管理ファイル２２５において、各ネットワークアプリケーションの所有者のユーザＩＤが記録されていることからも分かるように、各ネットワークアプリケーションは、ユーザに属する。したがって、同一のネットワークアプリケーションであっても、各ネットワークアプリケーションが属するユーザが異なる場合、各ネットワークアプリケーションは異なるものとして区別される。

例えば、ユーザＡに属するネットワークアプリケーションは、基本的にはユーザＡに対してのみ利用が許可される。同様に、ユーザＢに属するネットワークアプリケーションは、基本的にはユーザＢに対してのみ利用が許可される。但し、例えば、アクセス制御機能によって他のユーザに対して利用権限を与えることにより、他のユーザに属するネットワークアプリケーションの利用を可能としてもよい。

なお、図１３では、ネットワーク４００に対して１のコンピュータ２０のみが接続されているように示されているが、複数のコンピュータ２０、２０、…がネットワーク４００に接続されていてもよい。また、各コンピュータ２０が有するネットワークアプリケーションの機能は、それぞれ異なっていてもよい。

ネットワークアプリケーション管理サーバ３０は、アプリ情報登録部３１、通知部３２、アプリケーション情報提供部３２および仲介部３４などを有するコンピュータである。アプリ情報登録部３１は、コンピュータ２０より送信されるアプリケーション情報の登録要求を受信し、受信したアプリケーション情報をアプリ情報管理テーブル３５に保存する。アプリ情報管理テーブル３５は、ユーザ毎にネットワークアプリケーション管理サーバ３０の記憶装置に生成される。すなわち、各アプリ情報管理テーブル３５は、対応するユーザに属するネットワークアプリケーションのアプリケーション情報を管理する。

通知部３２は、アプリ情報登録部３１によって受信されたアプリケーション情報に含まれるユーザＩＤを、ネットワーク４００上にブロードキャストやマルチキャストなどにより通知する。通知は、ユーザ単位すなわちユーザＩＤ単位で行われる。具体的には、ユーザＡに関して通知された後、ユーザＡに属する新たなアプリケーション情報が受信されたとしても当該アプリケーション情報に応じた通知は行われない。すなわち、通知部３２による通知は、何らかのネットワークアプリケーションを利用可能になったユーザが新たに発生したことを画像形成装置１０に通知する。これに限らず、アプリケーション情報単位で通知が行われてもよい。この場合、同一ユーザについて重複して通知が発行されることになるが、重複の排除は画像形成装置１０側で行えばよい。

アプリケーション情報提供部３３は、画像形成装置１０からの要求に応じ、アプリ情報管理テーブル３５に登録されているアプリケーション情報を画像形成装置１０に送信する。仲介部３４は、ネットワークアプリケーションと画像形成装置１０との間の情報のやりとりを仲介する。

なお、ネットワーク４００に接続されるコンピュータ２０、２０、…のうち何れか１台がネットワークアプリケーション管理サーバ３０を兼ねてもよい。すなわち、複数のコンピュータ２０のうち何れか１台に、アプリ情報登録部３１、通知部３２、アプリケーション情報提供部３３および仲介部３４などが実装されていてもよい。

画像形成装置１０は、少なくとも印刷機能およびスキャン（画像読み取り）機能を１の筐体で実現するように構成された複合機である。これに限らず、画像形成装置１０は、コピー機能やＦＡＸ機能をさらに有していてもよい。画像形成装置１０は、ユーザ検知部１２１、ＵＩ制御部１２２、アプリ情報取得部１２３、ネットワークアプリ連携部１２４、機能制御部１２５、ユーザ管理テーブル１２６、印刷データ処理部１２７、画像処理部１２８および原稿読み取り部１２９などを有する。

ユーザ検知部１２１は、ネットワークアプリケーション管理サーバ３０より発行される通知に基づいて、ネットワークアプリケーションを利用可能なユーザの存在を検知し、通知に含まれているユーザＩＤなどをユーザ管理テーブル１２６に登録する。ユーザ管理テーブル１２６は、利用可能なネットワークアプリケーションがネットワークワーク４０上に存在するユーザの一覧を管理するテーブルである。

ＵＩ制御部１２２は、ネットワークアプリケーションの操作指示などのユーザ入力を受け付ける。すなわち、ネットワークアプリケーションは、コンピュータ２０に搭載されている一方で、画像形成装置１０の操作パネルからも操作され得る。

アプリ情報取得部１２３は、ユーザ管理テーブル１２６に登録されているユーザの中から選択されたユーザに属するネットワークアプリケーションのアプリケーション情報を、ネットワークアプリケーション管理サーバ３０より取得する。ネットアプリ連携部１２４は、ネットワークアプリケーションとの間の情報のやりとりを制御する。機能制御部１２５は、ネットワークアプリケーションから要求された機能の実行を制御する。例えば、機能制御部１２５の制御により印刷またはスキャンなどが実行される。

印刷データ処理部１２７は、描画データに基づいて用紙に対して印刷画像を生成する。原稿読み取り部１２９は、上述の原稿読み取り部２−１に対応し、スキャナにより原稿を読み取って画像データを出力する。画像処理部１２８は、上述の画像処理部２−２に対応し、ネットワーク４００を介して受信したスキャン設定情報に基づき、原稿読み取り部１２９から出力された画像データからコンテンツを抽出し、抽出したコンテンツと対応する属性情報とを出力する。

図１４は、本第２の実施形態に適用可能な画像形成装置１０の一例の構成を概略的に示す。図１４において、画像形成装置１０は、コントローラ１１、スキャナ１２、プリンタ１３、モデム１４、操作パネル１５、ネットワークインタフェース（Ｉ／Ｆ）１６およびメモリカードスロット１７を有する。

コントローラ１１は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３およびハードディスクドライブ（ＨＤＤ）１１４を有する。ＲＯＭ１１３およびＨＤＤ１１４は、各種のプログラムやプログラムによって利用されるデータなどが予め格納される。ＣＰＵ１１１は、ＲＡＭ１１２をワークメモリとして用い、ＲＯＭ１１３およびＨＤＤ１１４から読み出したプログラムを実行することで、この画像形成装置１０の動作を制御する。

スキャナ１２は、原稿を読み取り画像データを出力する。プリンタ１３は、描画データに従い印刷処理を行い、用紙に対して描画データに基づく画像を形成する。モデム１４は、電話回線に接続してデータ通信を行うもので、ＦＡＸ通信による画像データの送受信を実行するために用いられる。操作パネル１５は、ユーザ操作を受け付ける入力デバイスと、液晶パネルなどによる表示部とを備える。表示部は、例えば入力デバイスと一体的に構成されたタッチパネルである。

ネットワークＩ／Ｆ１６は、ＬＡＮなどのネットワークを介した通信を制御する。メモリカードスロット１７は、半導体メモリを備えるメモリカード８０に記憶されたデータやプログラムを読み取るために利用される。すなわち、画像形成装置１０では、ＲＯＭ１１３やＨＤＤ１１４に予め格納されたプログラムに限らず、メモリカード８０に記憶されたプログラムを読み出して実行させることができる。

図１５は、コンピュータ２０の一例の構成を示す。バス２００に対してＣＰＵ(Central Processing Unit)２０１、メモリ２０２、ドライブ装置２０３、通信Ｉ／Ｆ２０４が接続される。さらに、バス２００に対してハードディスク２０５、入力装置２０６および表示制御部２０７が接続される。バス２００に接続される各部は、バス２００を介して互いに通信可能とされている。

ハードディスク２０５は、ＣＰＵ２０１が動作するためのプログラムや各種データが予め格納される。ＣＰＵ２０１は、メモリ２０２をワークメモリとして用いてハードディスク２０５から読み出したプログラムを実行する。上述したレイアウト決定部３−２、描画データ生成部３−４、ＵＩ部３−１および通信部３−３の各機能は、プログラムがＣＰＵ２０１上で実行されることで実現される。

ドライブ装置２０３は、脱着可能な記録媒体２１０が装填可能とされ、当該記録媒体２１０からのデータの読み出しを行うことができる。ドライブ装置２０３が対応可能な記録媒体２１０としては、ＣＤ(Compact Disc)、ＤＶＤ(Digital Versatile Disk)といったディスク記録媒体や、書き換え可能な不揮発性の半導体メモリ（例えばＥＥＰＲＯＭ）が考えられる。

通信Ｉ／Ｆ２０４は、ネットワーク４００に対する通信を制御する。入力装置２０６は、マウスなどのポインティングデバイスや、キーボードであって、ユーザ操作を受け付ける。入力装置２０６は、ユーザ操作に応じた制御信号を出力し、ＣＰＵ２０１に供給する。

表示制御部２０７は、ＬＣＤ(Liquid Crystal Display)などを表示デバイスとして用いたディスプレイ２０８が接続される。表示制御部２０７は、ＣＰＵ２０１がプログラムに従い生成した表示制御信号を、ディスプレイ２０８が表示可能な信号に変換してディスプレイ２０８に供給する。このディスプレイ２０８における表示と、入力装置２０６とにより、コンピュータ２０に搭載される各アプリケーションを操作するためのＧＵＩ(Graphical User Interface)を構成することができる。

上述したハードディスク２０５に格納されるプログラムなどは、例えば記録媒体２１０に記録されて提供される。ドライブ装置２０３により、記録媒体２１０に記録されるプログラムなどを読み出してハードディスク２０５に所定に格納することで、コンピュータ２０に対してプログラムが実装される。これに限らず、ハードディスク２０５に格納されるプログラムを、ネットワーク４００を介して取得してもよい。

このような画像処理システム１’において、コンピュータ２０において設定されたアプリケーション情報がネットワークアプリケーション管理サーバ３０にユーザＩＤと対応付けられて保存されている。また、画像形成装置１０は、ネットワークアプリケーション管理サーバ３０から、ユーザＩＤに応じたアプリケーション情報を取得することができる。そのため、ユーザは、画像形成装置１０に対するネットワークアプリケーションの登録作業などを行うこと無しに、画像形成装置１０においてユーザの設定に従った動作を行わせることができる。

次に、図１６〜図２１を用いて本第２の実施形態によるネットワークアプリケーションの実行手順について説明する。先ず、スキャンアプリケーション２２のネットワークアプリケーション管理サーバ３０への登録について説明する。コンピュータ２０に対するユーザ操作により、スキャンアプリケーション２２の起動が指示されると、ディスプレイ２０８に対してスキャンアプリケーション２２による画面が表示される。

図１６は、ディスプレイ２０８に表示される、スキャンアプリケーション２２のメイン画面５３０およびスキャン設定情報の入力画面５４０の表示例を示す。なお、メイン画面５３０の内容については、本第２の実施形態と関わりが薄いので、詳細の図示を省略する。

図１６において、メイン画面５３０の右隣に入力画面５４０が表示されている。この例では、入力画面５４０に対し、スキャン設定のための各項目（解像度、カラーモードおよび保存場所）と、レイアウト方法指定のための項目（レイアウトモード）とが表示されている。

スキャン設定のための項目のうち、保存場所は、画像形成装置１０で原稿を読み取って得られた画像データや、当該画像データから抽出したコンテンツを保存する、コンピュータ２０の保存場所を入力する。また、レイアウト方法指定のための項目であるレイアウトモードは、上述した第１および第２のレイアウト方法による４つの方法から１つ、または、複数の方法を組み合わせて指定可能となっている。

スキャン設定画面５４０において各設定項目の値が設定されると、ＵＩ制御部２２１は、設定された情報をスキャン設定情報として例えばメモリ２０２やハードディスク２０５に保存する。

なお、スキャン設定画面５４０の各項目に表示される初期値は、属性情報管理ファイル２２５より取得される。すなわち、属性情報管理ファイル２２５には、ユーザ所望のスキャン設定情報が予め含まれている。したがって、必ずしもスキャン設定画面５４０は表示されなくてもよい。スキャン設定画面５４０を表示させない場合、属性情報管理ファイル２２５より取得されたスキャン設定情報がメモリ２０２にロードされればよい。

アプリ情報送信部２２２は、スキャン設定情報の入力が完了すると、スキャンアプリケーション２２のアプリケーション情報の登録要求を、ネットワークアプリケーション管理サーバ３０に対して送信する。

図１７は、スキャンアプリケーション２２のアプリケーション情報の例を示す。図１７において、スキャンアプリケーション２２のアプリケーション情報は、アプリケーションＩＤ、ユーザＩＤ、連携機能識別子、アドレス情報、表示名、スキャン設定のための情報（図１７ではスキャン設定情報と記載）およびレイアウトモード情報を含む。

アプリケーションＩＤは、各ネットワークアプリケーションを一意に識別するための識別情報である。ユーザＩＤは、スキャンアプリケーション２２の使用権を有するユーザを識別するための識別情報である。連携機能識別子は、スキャンアプリケーション２２と連携する画像形成装置１０が有している必要がある機能、換言すれば、スキャンアプリケーション２２が利用する画像形成装置１０の機能を識別するための識別子である。スキャンアプリケーション２２の場合、連携機能識別子の値は、例えば「ｓｃａｎ」とされる。アドレス情報は、ネットワーク４００を介した通信において、各ネットワークアプリケーションを一意に識別するためのネットワークアドレスである。アドレス情報としては、ＵＲＬ(Uniform Resource Locator)を用いることができる。表示名は、画像形成装置１０において表示される当該スキャンアプリケーション２２の名前である。

これらアプリケーションＩＤ、ユーザＩＤ、連携機能識別子、アドレス情報及び表示名は、属性情報管理ファイル２２５から取得される。

スキャン設定のための情報は、上述したスキャン設定画面５４０において設定されたスキャン設定のための情報または属性情報管理ファイル２２５より取得されたスキャン設定のための情報である。レイアウトモード情報は、スキャン設定画面５４０において設定されたレイアウトモード情報である。

ネットアプリケーション管理サーバ３０に送信されたアプリケーション情報は、ネットアプリケーション管理サーバ３０のアプリ情報登録部３１によって、当該アプリケーション情報に含まれているユーザＩＤに対応するアプリ情報管理テーブル３５に登録される。

なお、印刷アプリケーション２１の場合は、スキャンアプリケーション２２とは異なり、アプリケーション単位ではなくジョブ単位でアプリケーション情報がネットアプリケーション管理サーバ３０に登録される。

コンピュータ２０においてスキャンアプリケーション２２を起動させた後、ユーザは、スキャンアプリケーション２２を動作させるために画像形成装置１０の設置場所へ移動する。なお、複数の画像形成装置１０、１０、…がネットワーク４００に接続されている場合、同一の通知が画像形成装置１０、１０、…それぞれのユーザ検知部１２１によって受信され、画像形成装置１０、１０、…それぞれのユーザ管理テーブル１２６にユーザＩＤおよびアプリケーション情報取得用ＵＲＬが登録される。したがって、ユーザは、複数の画像形成装置１０、１０、…の何れからも、各ネットアプリケーションを動作させることができる。

続いて、画像形成装置１０におけるユーザ操作に応じて実行される処理について説明する。図１８は、ユーザに利用可能なネットワークアプリケーションの一覧の表示処理の処理手順を説明するためのシーケンス図である。

ユーザによって操作パネル１５を介してネットワークアプリケーションの利用指示が入力されると（ステップＳ２０１）、画像形成装置１０のＵＩ制御部１２２は、ユーザ管理テーブル１２６に登録されている情報に基づいてユーザ選択画面を操作パネル１５に表示させる（ステップＳ２０２）。なお、ステップＳ２０２において、ＵＩ制御部１２２は、ネットワークアプリケーション管理サーバ３０よりユーザ情報を取得し、取得されたユーザ情報に基づいてユーザ選択画面を表示させるようにしてもよい。

ユーザ操作によりユーザ選択画面からユーザが選択されると（ステップＳ２０３）、アプリケーション情報取得部１２３は、選択されたユーザのユーザＩＤに関連付けられているアプリケーション情報取得用ＵＲＬを、ユーザ管理テーブル１２６より取得する。なお、ユーザ操作によるユーザの選択の際にユーザの認証を行い、ユーザが認証された場合にのみ、以降の処理が実行されるようにしてもよい。

ユーザが選択されると、アプリケーション情報取得部１２３は、アプリケーション情報取得用ＵＲＬに対してアプリケーション情報の取得要求を送信する（ステップＳ２０４）。アプリケーション情報の取得要求は、ネットワークアプリケーション管理サーバ３０のアプリ情報提供部３３によって受信される。アプリ情報提供部３３は、アプリケーション情報取得用ＵＲＬに対応するアプリ情報管理テーブル３５に登録されている全てのネットワークアプリケーションのアプリケーション情報を取得し、取得されたアプリケーション情報の一覧を画像形成装置１０に送信する（ステップＳ２０５）。

アプリケーション情報の一覧の送信に際し、アプリ情報提供部３３は、画像形成装置１０と各ネットワークアプリケーションとの通信を中継するための中継用ＵＲＬをネットワークアプリケーション毎（すなわちアプリケーション情報毎）に一意に生成する。アプリ情報提供部３３は、ネットワークアプリケーション毎に生成された中継用ＵＲＬを、各ネットワークアプリケーションに対応するアプリケーション情報に付加し、中継用ＵＲＬが付加されたアプリケーション情報の一覧を画像形成装置１０に送信する。

なお、中継用ＵＲＬは、アプリ情報登録部３１がアプリケーション情報をアプリ情報管理テーブル３５に登録する際に生成して、アプリケーション情報に付加しておいてもよい。

アプリケーション情報の一覧が画像形成装置１０に受信されると、画像形成装置１０のＵＩ制御部１２２は、受信されたアプリケーション情報の一覧をＲＡＭ１１２に記憶する。そして、記憶されたこのアプリケーション情報の一覧に基づいて、ユーザが利用可能なネットワークアプリケーションの一覧を含むネットアプリ選択画面を、操作パネル１５の表示部に対して表示させる（ステップＳ２０６）。

図１９は、上述のステップＳ２０２で表示されるユーザ選択画面３００の例を示す。なお、操作パネル１５の表示部は、接触した位置に応じた信号を出力する、所謂タッチパネルとして構成されているものとする。

ユーザ選択画面３００において、ユーザ表示部３０２に対してユーザＩＤ毎にユーザを示すアイコンが表示される。図１９の例では、ユーザ「ＡＡＡ」、「ＢＢＢ」および「ＣＣＣ」が表示されている。このアイコン上を手指などで操作（タッチ）することで、操作したアイコンに対応するユーザＩＤのユーザが選択される。

なお、ユーザ選択画面３００において、ボタン群３０１を操作することで、ユーザの表示方法を変更することができる。また、登録されているユーザ数が多く、ユーザ表示部３０２に全ての登録ユーザが表示しきれない場合には、ボタン群３０３を操作することでユーザ表示部３０２のページが切り替わり、他のユーザが順次、表示される。

図２０は、上述のステップＳ２０６で表示されるネットワークアプリケーション選択画面３１０の例を示す。ネットワークアプリケーション選択画面３１０において、ネットワークアプリケーション表示部３１３に対してネットワークアプリケーションの一覧が表示される。以下、ネットワークアプリケーションを、ウィジェット(Widget)と呼び、ネットワークアプリケーション選択画面３１０をウィジェット選択画面３１０と呼ぶことにする。図２０の例では、Ｗｉｄｇｅｔ＃１〜＃６の６つのウィジェットがウィジェット選択画面３１０の１ページに表示されている。この場合も、ボタン群３１４を操作することで、ウィジェット選択画面３１０のページを切り替え、他のウィジェットを表示させることができる。

このウィジェットの一つとして、上述したスキャンアプリケーション２２が含まれる。印刷アプリケーション２１も、同様にして、ウィジェットの一つである。

なお、ウィジェット選択画面３１０において、ユーザ表示３１２は、上述のユーザ選択画面３００において直前に選択されたユーザ、すなわち、当該ウィジェット選択画面３１０を表示させたユーザを示す情報（ユーザＩＤおよびアイコン）が表示される。また、ボタン３１１を操作することで、上述のユーザ選択画面３００に戻ることができる。

ウィジェット選択画面３１０において、所望のウィジェットが選択されると、図２１に例示されるウィジェット実行画面３２０が表示される。この例では、印刷アプリケーション２１であるＷｉｄｇｅｔ＃４が選択されている。ウィジェット表示３２１は、選択されたウィジェットの表示名が表示される。また、印刷アプリケーション２１が選択されたこの例では、ウィジェット実行画面３２０の主表示部３２２に対して、印刷可能なジョブの一覧が表示される。この場合、ボタン群３２３を操作することで、表示するジョブを順次、切り替えることができる。所望のジョブを選択して、図示されないハードキーとしての実行キーを操作することで、選択されたジョブによる印刷が開始される。

図２０のウィジェット選択画面３１０において、スキャンアプリケーション２２が選択された場合には、図２１のウィジェット実行画面３２０に対して例えば原稿をセットするよう促すメッセージが表示される。そして、原稿のセットの後に実行キーを操作すると、原稿の読み取りが開始され、ウィジェット実行画面３２０に対して例えば原稿読み取りの経過を示す画面が表示される。

そして、原稿を読み取って得られた画像データから、画像処理部１２８によりスキャン設定情報に従いコンテンツが抽出され、抽出されたコンテンツがネットワーク４００を介してコンピュータ２０に送信される。コンピュータ２０では、スキャンデータ処理部２２４が、受信したコンテンツを指定されたレイアウト方法に従いページに配置してレイアウトを決定する。そして、決定されたレイアウトに従い、描画データが生成される。

生成された描画データは、ネットワーク４００を介して画像形成装置１０に送信され、印刷データ処理部１２７により印刷処理がなされ、用紙に対して描画データに基づく画像が形成される。

１，１’ 画像処理システム
２，１０ 画像形成装置
２−１ 原稿読み取り部
２−２ 画像処理部
２−３ 画像形成部
３，２０ コンピュータ
３−１ ＵＩ部
３−２ レイアウト決定部
３−４ 描画データ生成部
４，４００ ネットワーク
２１ 印刷アプリケーション
２２ スキャンアプリケーション
３０ ネットワークアプリケーション管理サーバ

E.G.Coffman, JR., M.R.Garey, D.S.Johonson, R.E.Tarjan(Bell Lab.&Stanford Univ.) "Performance bounds for level-oriented two-dimensional packing algorithms", SIAM J. Comput, vol.9., pp808-826, No.4, 1980.

Claims (8)

1. 情報処理装置と画像形成装置とがネットワークで接続されてなる画像処理システムであって、
   前記画像形成装置は、
   スキャン設定に従って原稿を読み取り画像データを出力するスキャン手段と、
   レイアウト方法に従って前記画像データからコンテンツを抽出するコンテンツ抽出手段と、
   前記画像データから抽出した前記コンテンツを前記情報処理装置に送信するコンテンツ送信手段と、
   描画データに従い用紙に画像を形成する画像形成手段と
   を備え、
   前記情報処理装置は、
   前記スキャン設定と前記レイアウト方法とを入力する入力手段と、
   前記入力手段で入力された前記スキャン設定と前記レイアウト方法とを前記画像形成装置に送信する設定情報送信手段と、
   前記コンテンツ送信手段で送信された前記コンテンツの前記用紙に対応するページに対するレイアウトを、前記レイアウト方法に従い決定するレイアウト決定手段と、
   前記レイアウトに従い前記コンテンツを前記ページに配置して前記描画データを生成する描画データ生成手段と
   を備える
   ことを特徴とする画像処理システム。
2. 前記レイアウト方法は、前記コンテンツの画像特性に従い該コンテンツの前記ページに対するレイアウトを決定する
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記画像特性は、前記コンテンツの画像がモノクロ画像およびカラー画像のうち何れによるものであるかを示す
   ことを特徴とする請求項２に記載の画像処理システム。
4. 前記画像特性は、前記コンテンツの画像がテキストおよびイメージのうち何れによるものであるかを示す
   ことを特徴とする請求項２または請求項３に記載の画像処理システム。
5. 前記レイアウト方法は、前記コンテンツが抽出された前記画像データの元になる前記原稿の情報に従い、該コンテンツの前記ページに対するレイアウトを決定する
   ことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理システム。
6. 前記原稿の情報は、前記原稿が前記スキャン手段で読み取られた順番を示す
   ことを特徴とする請求項５に記載の画像処理システム。
7. 前記原稿の情報は、前記コンテンツが抽出された前記画像データの元になる前記原稿を示す
   ことを特徴とする請求項５または請求項６に記載の画像処理システム。
8. 情報処理装置と画像形成装置とがネットワークで接続されてなる画像処理システムの画像処理方法であって、
   前記情報処理装置が、スキャン設定とレイアウト方法とを入力する入力ステップと、
   前記情報処理装置が、前記入力ステップにより入力された前記スキャン設定と前記レイアウト方法とを前記画像形成装置に送信する設定情報送信ステップと、
   前記画像形成装置が、前記設定情報送信ステップにより送信された前記スキャン設定に従って原稿を読み取り画像データを出力するスキャンステップと、
   前記画像形成装置が、前記設定情報送信ステップにより送信された前記レイアウト方法に従って前記画像データからコンテンツを抽出するコンテンツ抽出ステップと、
   前記画像形成装置が、前記画像データから抽出した前記コンテンツを前記情報処理装置に送信するコンテンツ送信ステップと、
   前記情報処理装置が、前記コンテンツ送信ステップで送信された前記コンテンツのページに対するレイアウトを、前記レイアウト方法に従い決定するレイアウト決定ステップと、
   前記情報処理装置が、前記レイアウトに従い前記コンテンツを前記ページに配置して描画データを生成する描画データ生成ステップと、
   前記画像形成装置が、前記描画データに従い前記ページに対応する用紙に画像を形成する画像形成ステップと
   を備える
   ことを特徴とする画像処理方法。

Images