JP5841747B2 - 画像処理システム及び画像処理サーバ - Google Patents

Description

本発明の実施形態は、１つ以上の端末装置とサーバ装置とをネットワークを介して互いに接続し、サーバ装置において各端末装置から送られてきた各画像データを画像解析する画像処理システム及び画像処理サーバに関する。

かかる画像処理システムは、各端末装置においてそれぞれ原稿をスキャンして各画像データ等（スキャン情報）を取得してサーバ装置に送り、このサーバ装置において各端末装置から送られてきた各画像データを各ジョブとして受け付け、これらジョブとして各画像データの画像解析を行う。この画像処理システムの各端末装置としては、例えばデジタル複合機（ＭＦＰ）がある。この画像処理システムは、各端末装置において取得した各画像データ等を一括で管理することを目的として１台のサーバで画像解析を行う。

このサーバ装置では、各ジョブに対してどのように当該サーバの資源を割り当て各ジョブを実行するかの順番を決定する。このため、サーバ装置は、例えばジョブの受付順に優先度を付けたり、何らかの条件を元にジョブの優先度を付けることによってジョブを実行する順番を決定するスケジューラを持つ。上記条件としては、例えばアクセスログからジョブの処理時間を予測して優先度を付けたり、ジョブ毎に優先度を決めるものがある。

特開２００３−２６３４０９号公報 特開平０８−１０６３６９号公報

ジョブを実行する順番を決定するスケジューリングでは、例えば各ジョブの投入順に優先度を決定するものがある。このようなジョブ実行の順番の決定では、各ジョブを処理するに要する時間が長くなってしまう。

実施の形態の画像処理システムによれば、１つ以上の端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、前記端末装置は、原稿を画像データに変換する画像入力部と、前記画像データに対して画像圧縮した圧縮データを生成する画像符号化部と、当該画像符号化部により生成された前記圧縮データに関する第１の付加情報を取得する圧縮情報取得部とを含む画像処理部とを有し、前記サーバ装置は、前記画像符号化部により生成された前記圧縮データを伸長する画像伸長部と、前記画像伸長部により伸長された画像データを解析する画像解析処理部と、前記圧縮データの前記第１の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部とを有する。

実施の形態の画像処理システムによれば、少なくともと１つの端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、前記端末装置は、原稿を画像データに変換する画像入力部と、前記画像データに対する予め設定された処理を行って１つ以上の第２の付加情報を取得する付加情報取得部と、前記画像データに対して画像圧縮して圧縮データを生成する圧縮情報取得部とを有し、前記サーバ装置は、前記圧縮情報取得部により生成された前記圧縮データを伸長する画像伸長部と、前記画像伸長部により伸長された画像データを解析する画像解析処理部と、前記第２の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部とを有する。
実施の形態の画像処理サーバによれば、原稿を画像データに変換し、前記画像データに対して予め設定された処理を行って付加情報を取得し、前記画像データに対して画像圧縮して圧縮データを生成する端末装置に接続される画像処理サーバであって、前記圧縮データを伸長する画像伸長部と、前記画像伸長部により伸長された画像データを解析する画像解析処理部と、前記付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部とを有する。

第１の実施の形態の画像処理システムを示すブロック構成図。 同システムにおける端末装置の第１の画像処理部の具体的な構成を示すブロック構成図。 同システムにおける第２のプロセッサを示す機能ブロック図。 同システムにおける第２の画像処理部を示す機能ブロック図。 同システムにおける端末装置の端末処理フローチャート。 同システムにおけるサーバ装置のサーバ処理フローチャート。 同システムにおけるスケジューリング部のスケジューリングフローチャート。 同システムにおけるサーバ装置へのジョブの入力の一例を示す図。 従来のシステムにおけるジョブ予約のスケジューリングを示す模式図。 本システムにおけるジョブ予約のスケジューリングを示す模式図。 第２の実施の形態の画像処理システムを示すブロック構成図。 同システムにおける端末装置の端末処理フローチャート。 同システムにおけるサーバ装置のサーバ処理フローチャート。

（第１の実施の形態）
以下、第１の実施の形態について図面を参照して説明する。
図１は画像処理システムのブロック構成図を示す。本システムは、１つ以上の端末装置１とサーバ装置２とをローカルエリアネットワーク（ＬＡＮ）等のネットワーク３を介して互いに接続されている。ここでは１台の端末装置１と１台のサーバ装置２とをネットワーク３を介して互いに接続された構成とする。端末装置１は、例えばコピー、プリンタ又はファクシミリ等を一体的に備えたデジタル複合機（ＭＦＰ）等の機能を有するもので、例えば、端末装置１によりＱＲコードを含む原稿をスキャンしてＱＲコードデータをサーバ装置２に送り、このサーバ装置２によりＱＲコードデータのデコードを行ってＱＲコードに関する情報を得る。なお、端末装置１は、ＭＦＰに限らず、複合機、スキャナ、又はカメラであってもよい。

端末装置１は、第１のプロセッサ１０を備え、この第１のプロセッサ１０にバス１１を介して第１のユーザインタフェース部１２と、画像入力部１３と、第１の記憶部１４と、第１の画像処理部１５と、第１のＮＩＣ（Ｎetwork Ｉnterface Ｃard）１６とを有する。

第１のプロセッサ１０は、コピー、プリンタ又はファクシミリ等の各動作プログラムを予め記憶し、これら動作プログラムを実行してコピー、プリンタ又はファクシミリ等の動作を行うために第１のユーザインタフェース部１２と、画像入力部１３と、第１の記憶部１４と、第１の画像処理部１５と、第１のＮＩＣ１６とに対して命令を発する。

第１のユーザインタフェース部１２は、ユーザの操作を受けてその操作指示を受け付けるもので、例えばキーボード、マウス、タッチパネル等を有する。
画像入力部１３は、第１のプロセッサ１０から原稿のスキャンの依頼を受けると、例えばＱＲコードを含む原稿をスキャンし、原稿を画像データに変換出力する。
記憶部１４は、画像入力部１３から入力された画像データや、第１の画像処理部１５により画像処理された画像データなどを記憶する。

第１の画像処理部１５は、画像入力部１３から入力された画像データに対して画像圧縮して圧縮データを生成すると共に、この圧縮データの第１の付加情報を取得する。この第１の圧縮データの付加情報は、画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量を含む。
なお、圧縮データの第１の付加情報は、圧縮方式、圧縮パラメータ、圧縮データの符号量に限らず、例えば画像解像度(画像の幅高さ)、処理ページ数、画像の幅高さ、画像色数(color/pixel)、bit深度(bits/sample)を用いても良い。

この第１の画像処理部１５は、具体的に図２に示すように画像符号化部３０と、圧縮情報取得部３１とを有する。画像符号化部３０は、画像データに対して画像圧縮して圧縮データを生成する。圧縮情報取得部３１は、画像符号化部３０により生成された圧縮データの第１の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を得る。なお、これら画像符号化部３０と圧縮情報取得部３１とは、第１のプロセッサ１０の機能に含めても良い。

第１のＮＩＣ１６は、端末装置１をＬＡＮ等のネットワーク３と接続するためのインタフェースカードである。

一方、サーバ装置２は、端末装置１から送られてきた圧縮データ等を入力し、この圧縮データに対して画像解析等を行うもので、第２のプロセッサ２０を備え、この第２のプロセッサ２０にバス２１を介して第２のユーザインタフェース部２２と、第２の記憶部２３と、第２の画像処理部２４と、第２のＮＩＣ２５とを有する。このサーバ装置２の第２のプロセッサ２０は、画像解析等を行うための各動作プログラムを予め記憶し、これら動作プログラムを実行して第２のユーザインタフェース部２２と、第２の記憶部２３と、第２の画像処理部２４と、第２のＮＩＣ２５とに対して命令を発するもので、図３に示すようにジョブ受付時間取得部４０と、ジョブ情報保存部４１と、画像解析処理予測部４２と、スケジューリング部４３と、スケジューリング情報保存部４４と、スケジューリング情報削除部４５とを有する。

ジョブ受付時間取得部４０は、端末装置１から送られてきた圧縮データ及びその第１の付加情報（圧縮方式、圧縮パラメータ、圧縮データの符号量等）をジョブとして受け付した受付時間を取得する。
ジョブ情報保存部４１は、端末装置１から送られてきた圧縮データ及びその第１の付加情報（圧縮方式、圧縮パラメータ、圧縮データの符号量等）や、ジョブ受付時間取得部４０により取得したジョブの受付時間を例えば第２の記憶部２３に記憶する。
画像解析処理予測部４２は、第２の記憶部２３に記憶されている圧縮データの第１の付加情報、すなわち圧縮方式、圧縮パラメータ、圧縮データの符号量等を読み出し、これら圧縮方式、圧縮パラメータ、符号量に基づいて端末装置１から送られてきた圧縮データを第２の画像処理部２４により解析するために要する時間（解析処理予測時間）を推測する。

スケジューリング部４３は、画像解析処理予測部４２により推測された圧縮データを解析するに要する解析処理予測時間に基づいて複数の圧縮データを解析するためのスケジューリングを行う。例えば、このスケジューリング部４３は、画像解析処理予測部４２により画像解析の実行待機中のジョブと新規のジョブとのスケジューリングを行うもので、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部４０において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部４２により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行う。なお、スケジューリング部４３は、ジョブの処理時間を予測してスケジューリングするものであれば、如何なるスケジューラでもよい。

スケジューリング情報保存部４４は、スケジューリング部４３により再スケジューリングしたスケジュール情報を例えば第２の記憶部２３に保存する。
スケジューリング情報削除部４５は、スケジューリング情報保存部４４に保存されているスケジュール情報を削除する。
第２のユーザインタフェース部２２は、ユーザの操作を受けてその操作指示を受け付けるもので、例えばキーボード、マウス、タッチパネル等を有する。
第２の記憶部２３は、端末装置１から送られてきた圧縮データや、第２の画像処理部２４により画像処理された画像データなどを記憶する。

第２の画像処理部２４は、端末装置１から送られてきた圧縮データに対して画像解析等を行うもので、図４に示すように画像伸長部５０と、画像解析処理部５１とを有する。画像伸長部５０は、端末装置１から送られてきた圧縮データを伸長する。

画像解析処理部５１は、画像伸長部５０より伸長された画像データを解析、例えば画像データに対してＱＲコードの位置を探索し、かつＱＲコードのデコードを行う。なお、これら画像伸長部５０と画像解析処理部５１とは、第２のプロセッサ２０の機能に含めてもよい。
この画像解析処理部５１は、画像伸長部５０より伸長された画像データに含むＱＲコードの位置の探索を含むデータコードの抽出に限らず、画像伸長部５０より伸長された画像データから光学的な読み取り、又は伸長された画像データ中に含まれる領域を抽出するレイアウト解析を行う。

次に、上記の如く構成されたシステムの端末装置１の動作について図５に示す端末処理フローチャートに従って説明する。
第１のプロセッサ１０は、画像入力部１３に対して原稿のスキャンを依頼する（ＡＣＴ１）。この画像入力部１３は、原稿のスキャンの依頼を受けると、例えばＱＲコードを含む原稿をスキャンし、この原稿を画像データに変換出力する。
第１のプロセッサ１０は、第１の画像処理部１５に対して圧縮処理を依頼する。この第１の画像処理部１５の画像符号化部３０は、画像入力部１３からの画像データを入力し、この画像データに対して画像圧縮して圧縮データを生成する（ＡＣＴ２）。
第１のプロセッサ１０は、第１の画像処理部１５に対して圧縮データの第１の付加情報の取得を依頼する。この第１の画像処理部１５の圧縮情報取得部３１は、画像符号化部３０により生成された圧縮データの第１の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を取得する（ＡＣＴ３）。

第１のプロセッサ１０は、第１のＮＩＣ１６に対して圧縮データ及びその第１の付加情報の送信を依頼する（ＡＣＴ４）。この第１のＮＩＣ１６は、圧縮データ及びその第１の付加情報の送信の依頼を受けると、画像符号化部３０により生成された圧縮データを受け取ると共に、画像符号化部３０により生成された圧縮データの第１の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を受け取り、これら画像データと、その第１の付加情報である圧縮方式、圧縮パラメータ、圧縮データの符号量等をネットワーク３を介して１台のサーバ装置２に送信する。

次に、上記の如く構成されたシステムのサーバ装置２の動作について図６に示すサーバ処理フローチャートに従って説明する。
第２のプロセッサ２０は、第２のＮＩＣ２５に対して端末装置１から送信された圧縮データ及びその第１の付加情報を常時受信するように依頼している。この第２のＮＩＣ２５は、端末装置１から送信された圧縮データ及びその第１の付加情報である圧縮方式、圧縮パラメータ、圧縮データの符号量等を受信すると（ＡＣＴ１０）、これら圧縮データ及びその第１の付加情報である圧縮方式、圧縮パラメータ、圧縮データの符号量等を第２のプロセッサ２０に送る。

この第２のプロセッサ２０のジョブ受付時間取得部４０は、端末装置１から送られてきた圧縮データ及びその圧縮情報取得部３１（圧縮方式、圧縮パラメータ、圧縮データの符号量等）をジョブとして受け付した受付時間を取得する（ＡＣＴ１１）。
ジョブ情報保存部４１は、第２のＮＩＣ２５により受信した圧縮データ及びその圧縮情報取得部３１である圧縮方式、圧縮パラメータ、圧縮データの符号量等や、ジョブ受付時間取得部４０により取得したジョブの受付時間を例えば第２の記憶部２３に記憶する（ＡＣＴ１２）。

画像解析処理予測部４２は、第２の記憶部２３に記憶されている圧縮データの圧縮情報取得部３１、すなわち圧縮方式、圧縮パラメータ、圧縮データの符号量等を読み出し、これら圧縮方式、圧縮パラメータ、符号量に基づいて端末装置１から送られてきた圧縮データを第２の画像処理部２４により解析するために要する解析処理予測時間を推測する（ＡＣＴ１３）。

ところで、画像解析処理予測部４２により圧縮データを解析する場合、この圧縮データの解析に要する処理時間は、端末装置１から送信された圧縮データによって大きく変わることがほとんどである。画像データ（圧縮データを伸長した画像データ）に含まれるＱＲコードをデコード処理するには、先ず、画像データ中からＱＲコードの位置を特定し、この特定された位置でＱＲコードを解析する。

しかしながら、画像データには、例えば文字を多く含んだ画像中にＱＲコードが存在するものがある。このような画像データでは、ＱＲコードの位置を特定するためのオブジェクトすなわち黒画素群等が多くなり、ＱＲコード候補位置を決定するのに長い処理時間を必要とする。これに対してＱＲコード以外に何も書かれていないような画像データの場合には、ＱＲコードの位置を特定するオブジェクトすなわち画像データにおける黒画素群等が少ないために処理時間が短くなる。

ＪＰＥＧやＭＭＲ圧縮等の画像全面に対して一律で、かつ同様の方法によって圧縮をした圧縮データサイズは、画像データの影響を受け、例えば、複雑な画像データすなわちオブジェクトの多い画像データは符号量が多くなり、シンプルな画像すなわちオブジェクトの少ない画像データは符号量が少なくなる傾向にある。
一方で、ＪＰＥＧやＪＰＥＧ２０００のように可逆圧縮／非可逆圧縮が選択でき方式は、見た目は殆ど同じなのに圧縮データサイズが大きく相違する。これは量子化パラメータ等にも同様のことが言える。

従って、画像解析処理予測部４２は、圧縮方式、圧縮パラメータ、符号量から画像データの処理時間を予め把握しテーブルに保存しておき、ＱＲコードのデコード処理時間の推測に用いる。例えば、同一フォーマットで同一パラメータの場合で、符号量とＱＲコードの探索・デコード処理時間に概ね比例関係がある場合、以下のような式を用いる。なお、簡単な計算式で表現できない場合は、画像処理時間の推測テーブルを持つ。
画像解析処理予測部４２は、画像データの解析処理予測時間Ｔ１を次式（１）を演算することにより求める。
処理推測時間Ｔ１＝α×符号量 …（１）
ここで、αは比例定数である。
但し、ＪＰＥＧやＪＰＥＧ２０００等のように圧縮率を調整できるような圧縮方式の場合は、上記次式（１）に示すように符号量だけで画像データの処理推測時間Ｔ１を推測できない場合がある。そこで、例えば圧縮パラメータを高圧縮、中圧縮、低圧縮のように３段階設定できるようにする。３段階のうち高圧縮の画像データに対する圧縮率が最も高く、次に中圧縮が高く、低圧縮が最も低く設定されている。このような３段階の圧縮率を有する圧縮パラメータを設定可能なシステムであれば、例えば、以下の重み付け（±０．５）を行う。

しかるに、画像解析処理予測部４２は、画像データの解析処理予測時間Ｔ１を次式（２）乃至（４）を演算することにより求める。

（ａ）低圧縮
処理推測時間Ｔ１＝α×（１−０．５）×符号量 …（２）
（ｂ）中圧縮
処理推測時間Ｔ１＝α×符号量 …（３）
（ｃ）高圧縮
処理推測時間Ｔ１＝α×（１＋０．５）×符号量 …（４）
中圧縮の上記式（３）は、上記式（１）と同一である。
なお、簡単な計算式で表現できない場合は、画像処理時間の推測テーブルを持つ。圧縮率は、圧縮方法によって異なるので、圧縮方法に応じた重み付を行う。

第２のプロセッサ２０は、スケジューリング部４３に対して再スケジューリングを依頼する。このスケジューリング部４３は、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部４０において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部４２により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行う（ＡＣＴ１４）。
ここで、スケジューリング部４３によるジョブの予約の方法の一例について図７に示すスケジューリングフローチャートに従って説明する。
スケジューリング部４３は、第２の画像処理部２４により圧縮データを解析するジョブを実行するためのスレッドに空きがあるか否かを判定する。スレッドは、例えば第１のスレッドと第２のスレッドとの２つのスレッドがあるものとする（ＡＣＴ３０）。
この判定の結果、２つのスレッドのうちいずれか一方又は両方に空きがあれば、スケジューリング部４３は、当該空スレッドによりジョブを実行する（ＡＣＴ３１）。

上記空スレッドがあるか否か判定の結果、空スレッドがなければ、スケジューリング部４３は、新規に受け付けたジョブを除き、実行待ちにあるジョブ数が１以上存在するか否かを判定する（ＡＣＴ３２）。この判定の結果、実行待ちにあるジョブ数が１以上存在すれば、スケジューリング部４３は、例えばジョブを実行中の２つのスレッドのうち最も終了予定時間の早いスレッドにジョブを予約する（ＡＣＴ３３）。上記判定の結果、実行待ちにあるジョブ数が１以上存在しなければ（ジョブ数ｎ＝０）、スケジューリング部４３は、総実行待ちのジョブ数Ｎ（ｎ＝０）とする（ＡＣＴ３４）。
スケジューリング部４３は、実行待ちにあるジョブを最も終了予定時間の早いスレッドに予約する（ＡＣＴ３５）。

スケジューリング部４３は、実行待ちの未予約のジョブがあるか否か、すなわちＮ≠ｎであるか否かを判定する（ＡＣＴ３６）。この判定の結果、実行待ちの未予約のジョブがあれば、スケジューリング部４３は、実行待ちの未予約のジョブを予約済みのジョブ情報も含めて最も終了予定時間の早いスレッドに予約し、ジョブ数ｎ＝１とする（ＡＣＴ３７）。

スケジューリング部４３は、上記予約したジョブのジョブ終了予定時間と当該ジョブの受付時間との時間差、すなわち
時間差Ｔ２＝ジョブ終了予定時間−ジョブの受付時間 …（５）
を求め、この時間差Ｔ２が規定値よりも短いか否かを判定する（ＡＣＴ３８）。
この規定値は、ユーザが望むジョブのレスポンス、すなわちジョブ受付から処理完了までの時間であるレスポンスタイムのうち最悪値を示し、例えば１０秒以下にすることが求められている。又、レスポンスタイムは、ジョブを投げてから画像解析処理等を行うまで時間が遅くとも５秒以内にするように設定してもよい。

この判定の結果、時間差Ｔ２が規定値よりも短ければ、スケジューリング部４３は、上記ＡＣＴ３６に戻る。時間差Ｔ２が規定値よりも長ければ、スケジューリング部４３は、全ての予約ジョブを再配置して、全てのジョブの終了予定時刻とジョブの受付時間との時間差、すなわち
時間差Ｔ３＝全てのジョブ終了予定時間−ジョブの受付時間 …（６）
を求め、この時間差Ｔ３が規定値よりも短くすることが可能であるか否かを判定する（ＡＣＴ３９）。

この判定の結果、時間差Ｔ３が規定値よりも短ければ、スケジューリング部４３は、上記再配置した予約ジョブのスケジュールを登録する、すなわち予約ジョブのスケジュールデータを第２の記憶部２３に保存する（ＡＣＴ４０）。一方、時間差Ｔ３が規定値よりも長ければ、スケジューリング部４３は、上記再配置した前の予約ジョブのスケジュールを登録する、すなわち当該予約ジョブのスケジュールデータを第２の記憶部２３に保存する（ＡＣＴ４１）。

以下、ジョブのスケジューリングの具体的な一例について説明する。
スケジューリング部４３は、ジョブ受付から処理完了までの時間であるレスポンスタイムを例えば１０秒以下にすることが求められているとする。又、スケジューリング部４３は、上記の通りサーバにおいて２つスレッドを持ち、最大２並列でジョブを処理できるものとする。

図８はサーバ装置２へのジョブの入力の一例を示す。サーバ装置２には、例えば各ジョブＡ、Ｂ、Ｃ、Ｄが１秒（１ｓ）間隔で順次入力している。ジョブＡがサーバ装置２に入力したとき、他の実行中のジョブ、待機中のジョブはないものとする。又、ジョブＡは、処理時間に５秒（５ｓ）を要し、ジョブＢは、処理時間に７秒（７ｓ）、ジョブＣは、処理時間に４秒（４ｓ）、ジョブＤは、処理時間に８秒（８ｓ）を要するものとする。なお、同図において例えばジョブＢに記載の「１＋７ｓ」は、ジョブＢがジョブＡの開始時から１秒後に入力され、処理時間に７秒を要することを表す。

先ず、ジョブＡが第１のスレッドで実行される。このジョブＡの開始時から１秒後にジョブＢが第２のスレッドで実行される。
このジョブＢの開始時から１秒後にジョブＣが入力されると、このジョブＣの入力した時点では、第１のスレッドでジョブＡが実行され、これと共に第２のスレッドでジョブＢが実行されている。このジョブ実行の状態で、ジョブＣが入力すると、ジョブＡが先に終了すると想定されるので、ジョブＣは、第１のスレッドにおけるジョブＡの終了後に予約される。さらに、ジョブＣが入力した１秒後にジョブＤが入力する。

ジョブのスケジューリングをジョブの投入順を優先度として決定すると、上記図８に示すように各ジョブＡ、Ｂ、Ｃ、Ｄが順次入力した場合、図９に示すように第１のスレッドにジョブＡが予約され、次に第２のスレッドにジョブＢが予約され、次に第１のスレッドにジョブＣが予約され、次に第２のスレッドにジョブＤが予約される。
このように各ジョブＡ、Ｂ、Ｃ、Ｄの投入順を優先度として第１と第２のスレッドに各ジョブＡ、Ｂ、Ｃ、Ｄを予約すると、第１のスレッドに各ジョブＡ、Ｃが予約され、第２のスレッドに各ジョブＢ、Ｄが予約されると、第２のスレッドにおいて各ジョブＢ、Ｄが終了するまでに１６秒（１６ｓ）を要してしまい、ジョブ受付から処理完了までのレスポンスタイムが目標時間とする例えば１０秒以下にならず、当該目標時間よりも長くなってしまう。

これに対して本スケジューリング部４３は、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部４０において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部４２により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行うので、各ジョブＡ、Ｂ、Ｃ、Ｄの各処理推測時間Ｔ１から各ジョブＡ、Ｂ、Ｃ、Ｄの各ジョブ終了予定時間を求める。

スケジューリング部４３は、各ジョブＡ、Ｂ、Ｃ、Ｄの各ジョブ終了予定時間を用いて上記式（５）
時間差Ｔ２＝ジョブ終了予定時間−ジョブの受付時間
を演算し、この時間差Ｔ２が規定値よりも短いか否かを判定する。

この判定の結果、時間差Ｔ２が規定値よりも短ければ、スケジューリング部４３は、上記ＡＣＴ３６に戻り、時間差Ｔ２が規定値よりも長ければ、全ての予約ジョブＡ、Ｂ、Ｃ、Ｄを再配置して上記式（６）
時間差Ｔ３＝全てのジョブ終了予定時間−ジョブの受付時間
を求め、この時間差Ｔ３が規定値よりも短くすることが可能であるか否かを判定し、時間差Ｔ３が規定値よりも短ければ、再配置した予約ジョブのスケジュールを登録する。
この結果、例えば図１０に示すようにジョブＣを第２のスレッドに予約し、ジョブＤを第１のスレッドに予約するように再配置し、全てのジョブＡ、Ｂ、Ｃ、Ｄを１０秒以下のレスポンスタイムに調整する。

スケジューリング情報保存部４４は、スケジューリング部４３により再スケジューリングしたスケジュール情報を例えば第２の記憶部２３に保存する（ＡＣＴ１５）。
第２のプロセッサ２０は、特定のジョブ、例えばジョブＡに対してジョブを実行するための命令を第２の画像処理部２４に送ったか否かを判定する。この判定の結果、当該ジョブを実行するための命令を送っていなければ、第２のプロセッサ２０は、当該ジョブを実行するための命令を送られることを確認するまで判定を続ける（ＡＣＴ１６）。
当該ジョブを実行するための命令が送られると、第２の画像処理部２４の画像伸長部５０は、ジョブＡに対するジョブの実行、例えば端末装置１から送られてきた圧縮データを伸長する（ＡＣＴ１７）。

第２のプロセッサ２０は、第２の画像処理部２４に対して画像解析処理を行う命令を送る。第２の画像処理部２４は、画像伸長部５０より伸長された画像データを解析、例えば画像データに対してＱＲコードの位置を探索し、かつＱＲコードのデコードを行う（ＡＣＴ１８）。
スケジューリング情報削除部４５は、スケジューリング情報保存部４４に保存されているスケジュール情報、ここではジョブＡを削除する（ＡＣＴ１９）。
第２のプロセッサ２０は、待機しているジョブが有るか否かを確認する（ＡＣＴ２０）。この判定の結果、待機しているジョブが有れば、第２のプロセッサ２０は、待機しているジョブのうち最も優先度の高いジョブに対して画像解析処理を行う命令を第２の画像処理部２４に送り、上記ＡＣＴ１６に移る（ＡＣＴ２１）。待機しているジョブが無ければ、第２のプロセッサ２０は、サーバ装置２の処理を終了する。

このように上記第１の実施の形態によれば、端末装置１において原稿を読み取ってその画像データの圧縮データを生成すると共に、画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を圧縮情報取得部３１を取得し、サーバ装置２において圧縮方式、圧縮パラメータ、圧縮データの符号量等に基づいて第２の画像処理部２４により圧縮データを解析するために要する解析処理予測時間を推測し、スケジューリング部４３により画像解析処理予測部４２により画像解析の実行待機中のジョブと新規のジョブとのスケジューリングを行うので、各ジョブを処理するに要する時間が長くならず、全てのジョブＡ、Ｂ、Ｃ、Ｄを解析処理の目標時間以下のレスポンスタイムにすることができる。すなわち、圧縮方式、圧縮パラメータ、符号量を用いて画像データを画像解析するときの解析処理量の大きさ、解析処理するときの処理手順の複雑さなどが反映される解析処理予測時間を推測することにより、より精度の良いスケジューラの作成が可能となる。これにより、サーバ装置２では、軽い負荷で精度の高く解析処理予測時間を推測することができ、より精度の良いスケジューラの作成が可能となる。

しかるに、サーバ装置２では、端末装置１で得られる第１の付加情報を基に、画像データ毎に画像解析処理時間をより正確に予測し優先度を付けることにより、レスポンスタイムの長いジョブの発生を減らすことができる。
画像解析処理時間の予測のための付加情報を、端末装置１で必要な処理の第１の付加情報、そこから容易に得られる情報を用いることにより、サーバ装置２の負荷軽減、高速化を実現することができる。

（第２の実施の形態）
次に、第２の実施の形態について図面を参照して説明する。なお、第２の実施の形態の画像処理システムの構成は、上記第１の実施の形態の画像処理システムと同一部分について上記図１乃至図４に示す構成図を援用し、かつ相違する部分について図１１に示す機能ブロック図を参照して説明する。
図１１は端末装置１における第１の画像処理部１５の機能ブロック図を示す。この第１の画像処理部１５は、画像符号化部３０と、圧縮情報取得部３１とに加えて付加情報取得部６０を有する。この付加情報取得部６０は、画像入力部１３から出力された画像データを受け取り、この画像データに対する予め設定された処理を行って１つ以上の第２の付加情報を取得する。この第２の付加情報は、画像データを一定領域毎に分割し、これら分割した一定領域毎に当該一定領域が一定範囲内の画素値で構成されているか否かを含む情報であって、例えばカラー画像におけるＲＧＢ画素のそれぞれの画素値が一定範囲内、例えば±５値以内に収まっているか否かや、画像データにおける黒画素の連結成分数、又は端末装置１において画像データを形成するための命令数である。

第２のプロセッサ２０における画像解析処理予測部４２は、第２の付加情報に基づいて画像解析処理部５１による画像データを解析するに要する時間を推測する。
具体的に、画像解析処理予測部４２は、第２の付加情報、例えば分割した一定領域が一定範囲内の画素値で構成されている前記領域（分割した領域）が多い程、すなわち画像データにおける黒画素の連結成分数から一定値を示す領域が多い程、画像データを解析するに要する時間が短いと推測する。一方、画像解析処理予測部４２は、第２の付加情報、例えば画像データにおける黒画素の連結成分数から、分割した一定領域が一定範囲外の画素値で構成されている一定領域が隣り合っている程、画像データを解析するに要する時間が長いと推測する。

次に、上記の如く構成されたシステムの端末装置１の動作について図１２に示す端末処理フローチャートに従って説明する。
第１のプロセッサ１０は、画像入力部１３に対して原稿のスキャンを依頼する（ＡＣＴ５０）。この画像入力部１３は、原稿のスキャンの依頼を受けると、例えばＱＲコードを含む原稿をスキャンし、この原稿を画像データに変換出力する。
第１のプロセッサ１０は、第１の画像処理部１５に対して第２の付加情報の取得を依頼する。この第１の画像処理部１５の付加情報取得部６０は、画像入力部１３から出力された画像データを受け取り、この画像データに対する予め設定された処理を行って１つ以上の第２の付加情報を取得する。この第２の付加情報は、画像データを一定領域毎に分割し、これら分割した一定領域毎に、当該一定領域が一定範囲内の画素値で構成されているか否かという情報を含むものであって、例えばカラー画像におけるＲＧＢ画素のそれぞれの画素値が一定範囲内、例えば±５値以内に収まっているか否かや、画像データにおける黒画素の連結成分数、又は端末装置１において画像データを形成するための命令数である。

具体的に、付加情報取得部６０は、画像入力部１３から出力された画像データに対してスキャン画像処理を施す、すなわち画像データに対して２値化処理し、この２値化処理時に付加情報として２値化した画像データを一定サイズの複数のブロックにブロック化し、これらブロック毎に画素値が全て白か否かを判定（白／非白判定）し、この判定を示す情報(白ブロック情報)を第２の付加情報として取得する（ＡＣＴ５１）。

第１のプロセッサ１０は、第１の画像処理部１５に対して圧縮処理を依頼する。この第１の画像処理部１５の画像符号化部３０は、画像入力部１３からの画像データを入力し、この画像データに対して画像圧縮して圧縮データを生成する（ＡＣＴ５２）。このとき、圧縮情報取得部３１は、画像符号化部３０により生成された圧縮データの第１の付加情報、すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量等を取得する。

第１のプロセッサ１０は、第１のＮＩＣ１６に対して圧縮データ及び第１と第２の付加情報の送信を依頼する（ＡＣＴ５３）。この第１のＮＩＣ１６は、圧縮データ及び第１と第２の付加情報の送信の依頼を受けると、画像符号化部３０により生成された圧縮データを受け取ると共に、画像符号化部３０により生成された第１の付加情報すなわち画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、付加情報取得部６０により取得された第２の付加情報すなわち画像データにおける複数のブロック毎の白ブロック情報とを受け取り、これら圧縮データ及び第１と第２の付加情報をネットワーク３を介して１台のサーバ装置２に送信する。

次に、上記の如く構成されたシステムのサーバ装置２の動作について図１３に示す端末処理フローチャートに従って説明する。
サーバ装置２の第２のＮＩＣ２５は、端末装置１から送信された圧縮データと、第１の付加情報である画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、第２の付加情報である画像データにおける複数のブロック毎の白ブロック情報とを受信する（ＡＣＴ６０）。

サーバ装置２の第２のプロセッサ２０のジョブ受付時間取得部４０は、端末装置１から送られてきた圧縮データと、第１の付加情報である画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、第２の付加情報である画像データにおける複数のブロック毎の白ブロック情報とをジョブとして受け付し、この受付時間を取得する（ＡＣＴ６１）。
ジョブ情報保存部４１は、第２のＮＩＣ２５により受信した圧縮データと、第１の付加情報である画像データを画像圧縮するときの圧縮方式、圧縮パラメータ、圧縮データの符号量と、第２の付加情報である画像データにおける複数のブロック毎の白ブロック情報と、ジョブ受付時間取得部４０により取得したジョブの受付時間とを例えば第２の記憶部２３に記憶する（ＡＣＴ６２）。

第２のプロセッサ２０の画像解析処理予測部４２は、第２の付加情報である画像データにおける複数のブロック毎の白ブロック情報、例えばカラー画像におけるＲＧＢ画素のそれぞれの画素値が例えば±５値以内に収まっているか否かの情報や、画像データにおける黒画素の連結成分数に基づいて画像解析処理部５１による画像データを解析するに要する時間を推測する（ＡＣＴ６３）。
この画像解析処理予測部４２は、例えば分割した一定領域が一定範囲内の画素値で構成され、これら一定領域が多い程、すなわち画像データにおける黒画素の連結成分数から一定値を示す領域が多い程、画像データを解析するに要する時間が短いと推測し、反対に、例えば画像データにおける黒画素の連結成分数等から分割した一定領域が一定範囲外の画素値で構成されている一定領域が隣り合っている程、画像データを解析するに要する時間が長いと推測する。

具体的に画像解析処理予測部４２は、白ブロック情報から白ブロック数をカウントし、例えば以下に示す式（７）を演算して解析処理予測時間Ｔ１を推測する。
解析処理予測時間Ｔ１＝基本処理時間×｛１−（白ブロック数／ブロック総数）｝
…（７）
なお、画像解析処理予測部４２は、白ブロックでないブロックが隣同士で繋がっている場合、解析処理予測時間Ｔ１に所定時間αを加算する等、処理内容によってそれぞれ計算方法を異ならせてもよい。これら計算方法は、予めテーブル化して第２の記憶部２３に記憶しておいてもよい。

第２の付加情報は、端末装置１の画像処理の方法にも依存するが、例えば以下のような情報としてもよい。
（ａ）第２の付加情報として圧縮データの符号量と画像データの輝度値とは、それぞれが付加情報取得部６０における２値化の閾値より小さい画素値の比率(黒画素となる比率)γ[％]を用いて算出する。
//画素符号量が一定値(th)以上で、画素比率が一定値(γth)以上の場合、
//ＱＲコード候補位置を特定するパターン候補は、符号量に比例せず少ないと想定する。
//（２値化すると同一値となるがノイズの影響で符号量が多い可能性大)
ｉｆ（γ＞γth && 画素符号量＞th）｛解析処理予測時間Ｔ１
＝［β×（１００−γ）／１００］×画像符号量｝
else｛解析処理予測時間Ｔ１＝[β×γ／１００］×画像符号量｝ …（８）
βは比例定数である。
（ｂ）第２の付加情報は、黒画素の連結成分数(オブジェクト数)より算出する。
解析処理予測時間Ｔ１＝γ×基本処理単位時間 …（９）
γは黒画素の連結成分数(オブジェクト数)である。
（ｃ）第２の付加情報は、PostScript等の画像形成の為の命令数より算出する。

解析処理予測時間Ｔ１＝δ×基本処理単位時間 …（１０）
δは命令数である。

第２のプロセッサ２０は、スケジューリング部４３に対して再スケジューリングを依頼する。このスケジューリング部４３は、例えば実行待機中のジョブがあるときに新規のジョブがジョブ受付時間取得部４０において受け付けられると、実行待機中のジョブと新規のジョブとの各受付時間と、画像解析処理予測部４２により推測された解析処理予測時間とに基づいて実行待機中のジョブと新規ジョブとの再スケジューリングを行う（ＡＣＴ１４）。
このスケジューリング部４３は、上記図７に示すスケジューリングフローチャートに従ってジョブの予約を行うもので、ここではその説明を省略する。
スケジューリング情報保存部４４は、スケジューリング部４３により再スケジューリングしたスケジュール情報を例えば第２の記憶部２３に保存する（ＡＣＴ１５）。
以下、第２のプロセッサ２０は、上記図６に示すサーバ処理フローチャートにおけるＡＣＴ１６〜ＡＣＴ２１と同様の動作を行ってサーバ装置２の処理を終了する。

このように上記第２の実施の形態によれば、端末装置１において画像入力部１３から出力された画像データに対する予め設定された処理を行って１つ以上の第２の付加情報、例えば画像データを一定領域毎に分割し、これら分割した一定領域毎に当該各一定領域が一定範囲内の画素値で構成されているか否かという情報を含むものであって、例えばカラー画像におけるＲＧＢ画素のそれぞれの画素値が一定範囲内、例えば±５値以内に収まっているか否かや、画像データにおける黒画素の連結成分数、又は端末装置１において画像データを形成するための命令数を取得し、この第２の付加情報に基づいて画像解析処理予測部４２により画像解析処理部５１による画像データを解析するに要する時間を推測するので、上記第１の実施の形態と同様の効果を奏することができる。

１：端末装置、２：サーバ装置、３：ネットワーク、１０：第１のプロセッサ、１１：バス、１２：第１のユーザインタフェース部、１３：画像入力部、１４：第１の記憶部、１５：第１の画像処理部、１６：第１のニック（ＮＩＣ）、３０：画像符号化部、３１：圧縮情報取得部、２０：第２のプロセッサ、２１：バス、２２：第２のユーザインタフェース部、２３：第２の記憶部、２４：第２の画像処理部、２５：第２のＮＩＣ、４０：ジョブ受付時間取得部、４１：ジョブ情報保存部、４２：画像解析処理予測部、４３：スケジューリング部、４４：スケジューリング情報保存部、４５：スケジューリング情報削除部、５０：画像伸長部、５１：画像解析処理部、６０：付加情報取得部。

Claims (10)

1. １つ以上の端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、
   前記端末装置は、原稿を画像データに変換する画像入力部と、
   前記画像データに対して画像圧縮した圧縮データを生成する画像符号化部と、当該画像符号化部により生成された前記圧縮データに関する第１の付加情報を取得する圧縮情報取得部とを含む画像処理部と、
   を有し、
   前記サーバ装置は、前記画像符号化部により生成された前記圧縮データを伸長する画像伸長部と、
   前記画像伸長部により伸長された画像データを解析する画像解析処理部と、
   前記圧縮データの前記第１の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部と、
   を有することを特徴とする画像処理システム。
2. 前記圧縮データの前記第１の付加情報は、前記画像圧縮における少なくとも圧縮方式、圧縮パラメータ、符号量を含むことを特徴とする請求項１記載の画像処理システム。
3. 少なくともと１つの端末装置とサーバ装置とをネットワークを介して互いに接続された画像処理システムにおいて、
   前記端末装置は、原稿を画像データに変換する画像入力部と、
   前記画像データに対する予め設定された処理を行って１つ以上の第２の付加情報を取得する付加情報取得部と、
   前記画像データに対して画像圧縮して圧縮データを生成する圧縮情報取得部と、
   を有し、
   前記サーバ装置は、前記圧縮情報取得部により生成された前記圧縮データを伸長する画像伸長部と、
   前記画像伸長部により伸長された画像データを解析する画像解析処理部と、
   前記第２の付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部と、
   を有することを特徴とする画像処理システム。
4. 前記第２の付加情報は、前記画像データを一定領域毎に分割し、当該各一定領域毎に当該領域が一定範囲内の画素値で構成されているか否かという情報を含み、
   前記画像解析処理予測部は、前記第２の付加情報から前記一定範囲内の画素値で構成されている前記一定領域が多い程前記画像データを解析するに要する前記時間が短いと推測する、
   ことを特徴とする請求項３記載の画像処理システム。
5. 前記第２の付加情報は、前記画像データを一定領域毎に分割し、当該各一定領域毎に当該領域が一定範囲内の画素値で構成されているか否かという情報を含み、
   前記画像解析処理予測部は、前記第２の付加情報から一定範囲外の画素値で構成されている前記一定領域が隣り合っている程前記画像データを解析するに要する前記時間が長いと推測することを特徴とする請求項３記載の画像処理システム。
6. 前記第２の付加情報は、前記画像データにおける黒画素の連結成分数を含むことを特徴とする請求項３記載の画像処理システム。
7. 前記第２の付加情報は、前記端末装置において前記画像データを形成するための命令数を含むことを特徴とする請求項３記載の画像処理システム。
8. 前記画像解析処理部は、前記伸長された画像データに含むデータコードの抽出、前記伸長された画像データから光学的な読み取り、又は前記伸長された画像データ中に含まれる領域を抽出するレイアウト解析を含むことを特徴とする請求項１又は３記載の画像処理システム。
9. 前記画像解析処理予測部により推測された前記画像データを解析するに要する前記時間に基づいて複数の前記画像データを解析するためのスケジューリングを行うスケジューリング部を有することを特徴とする請求項１又は３記載の画像処理システム。
10. 原稿を画像データに変換し、前記画像データに対して予め設定された処理を行って付加情報を取得し、前記画像データに対して画像圧縮して圧縮データを生成する端末装置に接続される画像処理サーバであって、
    前記圧縮データを伸長する画像伸長部と、
    前記画像伸長部により伸長された画像データを解析する画像解析処理部と、
    前記付加情報に基づいて前記画像解析処理部による前記画像データを解析するに要する時間を推測する画像解析処理予測部と、
    を有する画像処理サーバ。

Images