JP5036588B2

JP5036588B2 - 画像処理装置、画像処理プログラム

Info

Publication number: JP5036588B2
Application number: JP2008039923A
Authority: JP
Inventors: 隆長尾; 幸夫熊澤; 洋一井坂; 信次宍戸; 貴五十嵐; 和幸板垣
Original assignee: Fuji Xerox Co Ltd; Fujifilm Corp; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Corp; Fujifilm Business Innovation Corp
Priority date: 2008-02-21
Filing date: 2008-02-21
Publication date: 2012-09-26
Anticipated expiration: 2028-02-21
Also published as: JP2009199303A

Description

本発明は、画像処理装置、画像処理プログラムに関する。

複数種の画像処理モジュールの中から選択された１つ以上の画像処理モジュールを含んで、それらをパイプライン形態や有向非循環グラフ(DAG)形態に接続した画像処理部を備えた画像処理装置等が特許文献１に開示されている。

具体的に、この特許文献１には、画像処理モジュールを直接接続して各モジュールが自身の前段の画像処理モジュールを呼び出して処理する方式が開示されている。

また、特許文献２には、各画像処理モジュールの間に画像データを一時保持するバッファを配置し、バッファに出力要求に応えられるだけのデータが蓄積されていなければ前段の画像処理モジュールに処理を行わせる事で全体を連携させて処理する方式が開示されている。

更に特許文献３では、メモリ管理手段を設けて各モジュールを処理終了後に一括で解放する技術が開示されている。これは、各モジュールの解放をユーザが行う事の手間を減らし、解放忘れを防ぐ事を目的としたものである。
特許第３６１７８５１号公報特開２００６−３３８４９８号公報特開２００６−３３８５０５号公報

上述した複数の画像処理モジュールを組み合わせて処理する方式において、モジュールやその処理に必要な動的生成されたオブジェクトは、生成したユーザプログラムや生成した別オブジェクトなどにより解放されなければならないが、この解放を実装し忘れてしまう事があり、解放を忘れるとメモリリークとなってプログラム実行の障害となる。

また、各モジュールがバッファを介して接続されているので、あるオブジェクトが別のオブジェクトに依存している。そのため、解放する順番に依存性が生じる場合があり、この順番を間違えると不具合が発生する事になる。

具体的に例えば、パイプラインの前方に位置しているモジュールの削除を指示し、その後にパイプラインの後方に位置しているモジュールに処理の指示を行うと、後方のモジュールは自身の処理に必要な入力画像データを取得するために前段を呼び出すが、その呼び出しがさらに前段に波及し、既に削除指示されたモジュールに至ると、そこで処理が継続できなくなり、結果としてパイプライン/DAG処理全体が失敗となり最悪の場合はプログラムが異常終了することとなる。

また、画像ファイル書き込みモジュールは、例えば圧縮データを書き込んでヘッダ部分に総データバイト数を書き込む場合があるが、このような場合、全てのデータ書き込み処理が終わらないと総バイト数が分からないため、表向き書き込み処理が終わったように見えてもまだ総バイト数の書き込みが残っており、それに気が付かずにデータが書き込まれる出力ストレージを解放してしまうケースがある。

更に特許文献３に開示された技術では、モジュール以外（例えばストレージや、処理パラメータを保持するオブジェクトなど）については考慮されておらず、また依存関係については何も行っていないので、例えばストレージもメモリ管理手段に管理させて一括解放しようとした場合、画像出力モジュールよりも出力ストレージが先に解放されることとなるので、総バイト数の書き込みに失敗してしまうなどの課題が残る。

このようなモジュール等の解放に関する技術として、例えばJava(登録商標)言語などに含まれるガベージコレクタ（GC）機構や、参照数を管理して参照数が０になったら解放するスマートポインタなどがある。

しかしガベージコレクタ機構は、不要になったらなるべく早く解放するのではなく、適当なタイミング（メモリが少なくなった、ＣＰＵ負荷が少ないなど）でオブジェクトを解放してメモリプールに戻すもので、巨大な画像を扱う場合のようになるべく早くメモリ領域を解放した方が良いアプリケーションの場合にはやや不適である。

例えば、上述した圧縮データの総バイト数を書き込む例では、総バイト数の書き込みが終われば書き込みエンジンと出力ストレージの依存関係はなくなり、出力ストレージは解放可能であるが、書き込みエンジンは存在することから、参照関係はなくなっていないため、ガベージコレクタ機構では解放されることはない。

またガベージコレクタ機構もスマートポインタもオブジェクトが他のオブジェクトから参照されているかどうかだけを見て解放の判断をしているが、他のオブジェクトに参照されていても依存されていなければ解放可能であるので、なるべく早くメモリ領域を解放することができない。

上述したガベージコレクタ機構やスマートポインタは、誤った解放処理を回避できる一方で、依存関係がなくなっても解放することが出来ないという問題点があった。

本発明は上記問題点に鑑み、オブジェクトの依存関係が解消した場合には、解放処理を実行可能な画像処理装置、画像処理プログラムを提供することを目的とする。

上記目的を達成するために、請求項１の発明は、画像処理を実行する複数のオブジェクト内の依存関係があるオブジェクトについて、依存先のオブジェクトが存在するオブジェクトに対しては依存先のオブジェクトを示すと共に、依存元のオブジェクトが存在するオブジェクトに対しては依存元のオブジェクトを示す依存関係情報が記録され、かつ前記オブジェクトが解放可能であるか否かを示す解放可能情報が記録される記録手段と、画像処理を実行するオブジェクトに対する解放要求を受信する解放要求受信手段と、前記解放要求が受信された前記オブジェクトを解放対象のオブジェクトとし、前記依存関係情報から前記解放対象のオブジェクトに対し、前記依存元のオブジェクトが存在する場合には、前記解放対象のオブジェクトが解放可能であることを示す解放可能情報を前記記録手段に記録し、前記依存元のオブジェクトが存在しない場合には、前記解放対象のオブジェクトを解放する解放処理を実行する解放手段と、オブジェクトの前記依存関係情報の変化に応じて前記記録手段に記録されている前記依存関係情報を更新する際、前記解放手段が前記解放可能情報を記録した前記解放対象のオブジェクトについて、依存先のオブジェクトがあれば当該依存先のオブジェクトとの間の前記依存関係情報を削除し、前記解放手段が前記解放処理を実行した前記解放対象のオブジェクトについて、当該オブジェクトに対応する前記依存関係情報及び前記解放可能情報を前記記録手段から削除することで、前記記録手段に記録されている前記依存関係情報及び前記解放可能情報を更新する更新手段と、を有する。

また、請求項２の発明は、請求項１の発明において、前記解放手段は、前記解放対象のオブジェクトに対する前記依存先のオブジェクトについて前記記録手段に前記解放可能情報が記録されている場合には、前記依存先のオブジェクトを解放する解放処理を実行するものである。

また、請求項３の発明は、請求項１又は請求項２の発明において、前記解放要求受信手段が、複数の前記オブジェクトに対する前記解放要求を受信した場合には、前記解放手段は、前記解放要求が受信された前記オブジェクト毎に前記解放処理を実行するものである。

また、請求項４の発明は、請求項１から請求項３の何れか１項の発明において、前記画像処理を実行するオブジェクトの前記依存関係情報の変化に応じて前記記録手段に記録されている前記依存関係情報を更新する更新手段を含み、前記更新手段は、前記解放手段が前記解放処理を実行したオブジェクトに対応する前記依存関係情報及び前記解放可能情報を前記記録手段から削除するものである。

また、請求項４の発明は、請求項１から請求項３の発明において、前記オブジェクトから通知される当該オブジェクトの前記依存関係情報の変化を示す更新依存関係情報を受信する更新依存関係情報受信手段を更に有し、前記更新手段は、前記更新依存関係情報受信手段により受信された前記更新依存関係情報に応じ、前記通知した前記オブジェクトについて前記記録手段に記録されている前記依存関係情報を更新するものである。
さらに、請求項５の発明は、請求項１から請求項４の発明において、前記依存関係情報及び前記解放可能情報が削除されているべきオブジェクトの前記依存関係情報及び前記解放可能情報が前記記録手段に記録されている場合には、該当オブジェクトに対する前記解放要求が受信されていないことを示す警告を発生する警告発生手段を更に有するものである。

上記目的を達成するための請求項６の発明は、画像処理装置に設けられたコンピュータを、画像処理を実行するオブジェクトに対する解放要求を受信する解放要求受信手段と、複数の前記オブジェクト内の依存関係のあるオブジェクトについて、依存先のオブジェクトが存在するオブジェクトに対しては依存先のオブジェクトを示すと共に、依存元のオブジェクトが存在するオブジェクトに対しては依存元のオブジェクトを示す記録手段に記録された依存関係情報から、前記解放要求が受信された解放対象の前記オブジェクトに前記依存元のオブジェクトが存在する場合には、前記解放対象のオブジェクトが解放可能であることを示す解放可能情報を前記記録手段に記録し、前記前記依存元のオブジェクトが存在しない場合には、前記解放対象のオブジェクトを解放する解放処理を実行する解放手段と、オブジェクトの前記依存関係情報の変化に応じて前記記録手段に記録されている前記依存関係情報を更新する際、前記解放手段が前記解放可能情報を記録した前記解放対象のオブジェクトについて、依存先のオブジェクトがあれば当該依存先のオブジェクトとの間の前記依存関係情報を削除し、前記解放手段が前記解放処理を実行した前記解放対象のオブジェクトについて、当該オブジェクトに対応する前記依存関係情報及び前記解放可能情報を前記記録手段から削除することで、前記記録手段に記録されている前記依存関係情報及び前記解放可能情報を更新する更新手段と、して機能させるための画像処理プログラムである。

請求項１の発明によれば、オブジェクトの依存関係の変化に応じて依存関係情報を更新し、解放対象となったオブジェクトに依存関係が存在する場合には解放可能であることを示す結果、依存関係が解消した場合には、解放処理を実行可能な画像処理装置を提供することができる。

請求項２の発明によれば、解放処理の対象となったオブジェクトが依存する依存先のオブジェクトが解放可能なことを示す場合には、依存先のオブジェクトの解放処理を実行可能な画像処理装置を提供することができる。

請求項３の発明によれば、複数のオブジェクトに対する解放要求により、オブジェクトの解放漏れを回避することができる画像処理装置を提供することができる。

請求項４の発明によれば、オブジェクトの依存関係の変化をオブジェクトから通知される結果、依存関係が解消した場合には、解放処理を実行可能な画像処理装置を提供することができる。
また、請求項５の発明によれば、解放漏れがあった場合には、その解放漏れがあったことを警告することができる画像処理装置を提供することができる。

請求項６の発明によれば、オブジェクトの依存関係の変化に応じて依存関係情報を更新し、解放対象となったオブジェクトに依存関係が存在する場合には解放可能であることを示す結果、依存関係が解消した場合には、解放処理を実行可能な画像処理プログラムを提供することができる。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１には、本発明に係る画像処理装置として機能することが可能なコンピュータ１０が示されている。なお、このコンピュータ１０は、複写機、プリンタ、ファクシミリ装置、これらの機能を兼ね備えた複合機、スキャナ、写真プリンタ等のように内部で画像処理を行う必要のある任意の画像取扱機器に組み込まれていてもよいし、パーソナル・コンピュータ（ＰＣ）等の独立したコンピュータであってもよく、更にＰＤＡ（Personal Digital Assistant）や携帯電話機等の携帯機器に組み込まれたコンピュータであってもよい。

コンピュータ１０はＣＰＵ１２、メモリ１４、表示部１６、操作部１８、記憶部２０、画像データ供給部２２及び画像出力部２４を備えており、これらはバス２６を介して互いに接続されている。コンピュータ１０が上述したような画像取扱機器に組み込まれている場合、表示部１６や操作部１８としては、画像取扱機器に設けられたＬＣＤ等から成る表示パネルやテンキー等を適用することができる。また、コンピュータ１０が独立したコンピュータである場合、表示部１６や操作部１８としては、当該コンピュータに接続されたディスプレイやキーボード、マウス等を適用することができる。また、記憶部２０としてはＨＤＤ(Hard Disk Drive)が好適であるが、これに代えてフラッシュメモリ等の他の不揮発性記憶手段を用いることも可能である。

また、画像データ供給部２２は処理対象の画像データを供給できるものであればよく、例えば紙や写真フィルム等の記録材料に記録されている画像を読み取って画像データを出力する画像読取部、通信回線を介して外部から画像データを受信する受信部、画像データを記憶する画像記憶部（メモリ１４又は記憶部２０）等を適用することができる。

また、画像出力部２４は画像処理を経た画像データ又は該画像データが表す画像を出力するものであればよく、例えば画像データが表す画像を紙や感光材料等の記録材料に記録する画像記録部、画像データが表す画像をディスプレイ等に表示する表示部、画像データを記録メディアに書き込む書込装置、画像データを通信回線を介して送信する送信部を適用することができる。また、画像出力部２４は画像処理を経た画像データを単に記憶する画像記憶部（メモリ１４又は記憶部２０）であっても構わない。

図１に示すように、記憶部２０には、ＣＰＵ１２によって実行される各種のプログラムとして、メモリ１４等のリソースの管理やＣＰＵ１２によるプログラムの実行の管理、コンピュータ１０と外部との通信等を司るオペレーティングシステム３０のプログラム、コンピュータ１０を本発明に係る画像処理装置として機能させるための画像処理プログラム群３４、ＣＰＵ１２が上記画像処理プログラム群を実行することで実現される画像処理装置に対して所望の画像処理を行わせる各種のアプリケーション３２のプログラム（図１ではアプリケーションプログラム群３２と表記）が各々記憶されている。

画像処理プログラム群３４は、前述した各種の画像取扱機器や携帯機器を開発する際の開発負荷を軽減したり、ＰＣ等で利用可能な画像処理プログラムを開発する際の開発負荷を軽減することを目的として、各種の画像取扱機器や携帯機器、ＰＣ等の各種機器（プラットフォーム）で共通に使用可能に開発されたプログラムであり、本発明に係る画像処理プログラムに対応している。

画像処理プログラム群３４によって実現される画像処理装置は、アプリケーション３２からの構築指示に従い、アプリケーション３２が指示した画像処理を行う画像処理部を構築し、アプリケーション３２からの実行指示に従い、前記画像処理部によって画像処理を行う。画像処理プログラム群３４は、所望の画像処理を行う画像処理部（所望の構成の画像処理部）の構築を指示したり、構築された画像処理部による画像処理の実行を指示するためのインタフェースをアプリケーション３２に提供している。

このため、内部で画像処理を行う必要のある任意の機器を新規開発する等の場合にも、前記画像処理を行うプログラムの開発に関しては、当該機器で必要とされる画像処理を上記のインタフェースを利用して画像処理プログラム群３４に行わせるアプリケーション３２を開発するのみで済み、実際に画像処理を行うプログラムを新たに開発する必要が無くなるので、開発負荷を軽減することができる。

また、画像処理プログラム群３４によって実現される画像処理装置は、前述のように、アプリケーション３２からの構築指示に従い、アプリケーション３２が指示した画像処理を行う画像処理部を構築し、構築した画像処理部によって画像処理を行うので、例えば画像処理対象の画像データの色空間や１画素当たりのビット数が不定であったり、実行すべき画像処理の内容や手順・パラメータ等が不定である場合にも、アプリケーション３２が画像処理部の再構築を指示することで、画像処理装置（画像処理部）によって実行される画像処理を、処理対象の画像データ等に応じて柔軟に変更することができる。

以下、画像処理プログラム群３４について説明する。図１に示すように、画像処理プログラム群３４はモジュールライブラリ３６と、処理構築部４２のプログラムと、処理管理部４６に大別される。

本実施形態に係る処理構築部４２は、アプリケーションからの指示により、例として図２に示すように、予め定められた画像処理を行う１つ以上の画像処理モジュール３８と、個々の画像処理モジュール３８の前段及び後段の少なくとも一方に配置され画像データを記憶するためのバッファを備えたバッファモジュール４０と、がパイプライン形態又はＤＡＧ(Directed Acyclic Graph：有向非循環グラフ)形態で連結されて成る画像処理部５０を構築する。

画像処理部５０を構成する個々の画像処理モジュールの実体はＣＰＵ１２によって実行されＣＰＵ１２で所定の画像処理を行わせるための第１プログラム、又は、ＣＰＵ１２によって実行されＣＰＵ１２により図１に図示されていない外部の画像処理装置（例えば専用画像処理ボード等）に対する処理の実行を指示するための第２プログラムである。上述したモジュールライブラリ３６には、予め定められた互いに異なる画像処理（例えば入力処理やフィルタ処理、色変換処理、拡大・縮小処理、スキュー角検知処理、画像回転処理、画像合成処理、出力処理等）を行う複数種の画像処理モジュール３８のプログラムが各々登録されている。以下では、説明を簡単にするために、画像処理部５０を構成する個々の画像処理モジュールの実体が上記の第１プログラムであるものとして説明する。

個々の画像処理モジュール３８は、例として図３(Ａ)にも示すように、画像データに対する画像処理を所定の単位処理データ量ずつ行う画像処理エンジン３８Ａと、画像処理モジュール３８の前段及び後段のモジュールとの画像データの入出力及び画像処理エンジン３８Ａの制御を行う制御部３８Ｂから構成されている。

個々の画像処理モジュール３８における単位処理データ量は、画像の１ライン分、画像の複数ライン分、画像の１画素分、画像１面分等を含む任意のバイト数の中から、画像処理エンジン３８Ａが行う画像処理の種類等に応じて予め選択・設定されている。例えば色変換処理やフィルタ処理を行う画像処理モジュール３８では単位処理データ量が１画素分とされ、拡大・縮小処理を行う画像処理モジュール３８では単位処理データ量が画像の１ライン分又は画像の複数ライン分とされ、画像回転処理を行う画像処理モジュール３８では単位処理データ量が画像１面分とされ、画像圧縮伸長処理を行う画像処理モジュール３８では単位処理データ量が実行環境に依存するＮバイトとされている。

また、モジュールライブラリ３６には、画像処理エンジン３８Ａが実行する画像処理の種類が同一でかつ実行する画像処理の内容が異なる画像処理モジュール３８も登録されている（図１では、この種の画像処理モジュールを「モジュール１」「モジュール２」と表記して示している）。

例えば拡大・縮小処理を行う画像処理モジュール３８については、入力された画像データを１画素おきに間引くことで50％に縮小する縮小処理を行う画像処理モジュール３８、入力された画像データに対して指定された拡大・縮小率で拡大・縮小処理を行う画像処理モジュール３８等の複数の画像処理モジュール３８が各々用意されている。また、例えば色変換処理を行う画像処理モジュール３８については、ＲＧＢ色空間をＣＭＹ色空間へ変換する画像処理モジュール３８やその逆へ変換する画像処理モジュール３８、Ｌ*ａ*ｂ*色空間等の他の色空間変換を行う画像処理モジュール３８が各々用意されている。

また、画像処理モジュール３８の制御部３８Ｂは、画像処理エンジン３８Ａが単位処理データ量ずつ処理するために必要な画像データを入力するために、自モジュールの前段のモジュール（例えばバッファモジュール４０）から画像データを単位読出データ量ずつ取得し、画像処理エンジン３８Ａから出力される画像データを単位書込データずつ後段のモジュール（例えばバッファモジュール４０）へ出力する（画像処理エンジン３８Ａで圧縮等のデータ量の増減を伴う画像処理が行われなければ単位書込データ量＝単位処理データ量となる）か、画像処理エンジン３８Ａによる画像処理の結果を自モジュールの外部へ出力する（例えば画像処理エンジン３８Ａがスキュー角検知処理等の画像解析処理を行う場合、画像データに代えてスキュー角検知結果等の画像解析処理結果が出力されることがある）処理を行うが、モジュールライブラリ３６には、画像処理エンジン３８Ａが実行する画像処理の種類及び内容が同一で、上記の単位処理データ量や単位読出データ量、単位書込データ量が異なる画像処理モジュール３８も登録されている。例えば、画像回転処理を行う画像処理モジュール３８についても、前述のように単位処理データ量が画像１面分の画像処理モジュール３８のプログラム以外に、単位処理データ量が画像の１ライン分や画像の複数ライン分の画像処理モジュール３８のプログラムがモジュールライブラリ３６に登録されていても良い。

また、モジュールライブラリ３６に登録されている個々の画像処理モジュール３８のプログラムは、画像処理エンジン３８Ａに相当するプログラムと制御部３８Ｂに相当するプログラムから構成されているが、制御部３８Ｂに相当するプログラムは部品化されており、個々の画像処理モジュール３８のうち単位読出データ量及び単位書込データ量が同一の画像処理モジュール３８は、画像処理エンジン３８Ａで実行される画像処理の種類や内容に拘わらず、制御部３８Ｂに相当するプログラムが共通化されている（制御部３８Ｂに相当するプログラムとして同一のプログラムが用いられている）。これにより、画像処理モジュール３８のプログラムの開発にあたっての開発負荷が軽減される。

なお、画像処理モジュール３８の中には、入力される画像の属性が未知の状態では単位読出データ量及び単位書込データ量が確定しておらず、入力画像データの属性を取得し、取得した属性を所定の演算式に代入して演算することで単位読出データ量や単位書込データ量が確定するモジュールが存在している。この種の画像処理モジュール３８については、単位読出データ量と単位書込データ量が互いに同一の演算式を用いて導出される画像処理モジュール３８について、制御部３８Ｂに相当するプログラムを共通化するようにすればよい。

また、本実施形態に係る画像処理プログラム群３４は、前述のように各種機器に実装可能であるが、画像処理プログラム群３４のうちモジュールライブラリ３６に登録する画像処理モジュール３８の数や種類等については、画像処理プログラム群３４を実装する各種機器で必要とされる画像処理に応じて、適宜追加・削除・入替等が可能であることは言うまでもない。

また、画像処理部５０を構成する個々のバッファモジュール４０は、例として図３(Ｂ)にも示すように、バッファ４０Ａと、バッファ制御部４０Ｂとから構成されている。バッファ４０Ａは、コンピュータ１０に設けられたメモリ１４からオペレーティングシステム３０を通じて確保されたメモリ領域で構成される。バッファ制御部４０Ｂは、バッファモジュール４０の前段及び後段のモジュールとの画像データの入出力及びバッファ４０Ａの管理を行う。個々のバッファモジュール４０のバッファ制御部４０Ｂもその実体はＣＰＵ１２によって実行されるプログラムであり、モジュールライブラリ３６にはバッファ制御部４０Ｂのプログラムも登録されている（図１ではバッファ制御部４０Ｂのプログラムを「バッファモジュール」と表記して示している）。

また、アプリケーション３２からの指示に従って画像処理部５０を構築する処理構築部４２は、図１に示すように複数種のモジュール生成部４４から構成されている。複数種のモジュール生成部４４は互いに異なる画像処理に対応しており、アプリケーション３２によって起動されることで、対応する画像処理を実現するための画像処理モジュール３８及びバッファモジュール４０から成るモジュール群を生成する処理を行う。

なお、図１ではモジュール生成部４４の一例として、モジュールライブラリ３６に登録されている個々の画像処理モジュール３８が実行する画像処理の種類に対応するモジュール生成部４４を示しているが、個々のモジュール生成部４４に対応する画像処理は、複数種の画像処理モジュール３８によって実現される画像処理（例えばスキュー角検知処理と画像回転処理から成るスキュー補正処理）であってもよい。必要とされる画像処理が複数種の画像処理を組み合わせた処理である場合、アプリケーション３２は複数種の画像処理の何れかに対応するモジュール生成部４４を順次起動する。これにより、アプリケーション３２によって順次起動されたモジュール生成部４４により、必要とされる画像処理を行う画像処理部５０が構築されることになる。

また図１に示すように、処理管理部４６は、画像処理部５０における画像処理の実行を制御するワークフロー管理部４６Ａ、画像処理部５０の各モジュールによるメモリ１４や各種のファイル等のコンピュータ１０のリソースの使用を管理するリソース管理部４６Ｂ、画像処理部５０で発生したエラーを管理するエラー管理部４６Ｃ、及び、オブジェクトに関する管理を行うオブジェクト情報管理部４６Ｄを含んで構成される。このうち、オブジェクト情報管理部４６Ｄについての詳細は後述する。

次に本実施形態の作用を図４のシーケンス図を参照して説明する。

画像処理プログラム群３４が実装されている機器において、何らかの画像処理を行う必要のある状況になると、この状況が特定のアプリケーション３２によって検知される。

なお、画像処理を行う必要のある状況としては、例えば画像データ供給部２２としての画像読取部によって画像を読み取り、画像出力部２４としての画像記録部により記録材料に画像として記録するか、画像出力部２４としての表示部に画像として表示させるか、画像出力部２４としての書込装置により画像データを記録メディアに書き込むか、画像出力部２４としての送信部により画像データを送信するか、画像出力部２４としての画像記憶部に記憶させるジョブの実行がユーザによって指示された場合、或いは、画像データ供給部２２としての受信部によって受信されるか、画像データ供給部２２としての画像記憶部に記憶されている画像データに対して、上記の記録材料への記録、表示部への表示、記録メディアへの書き込み、送信、画像記憶部への記憶の何れかを行うジョブの実行がユーザによって指示された場合が挙げられる。

また、画像処理を行う必要のある状況は上記に限られるものではなく、例えばユーザからの指示に応じてアプリケーション３２が実行可能な処理の名称等を表示部１６に一覧表示している状態で、実行対象の処理がユーザによって選択された等の場合であってもよい。

まず、アプリケーション３２はステップ１５８で、画像処理対象の画像データを供給する画像データ供給部２２の種別を認識する。また、認識した種別がバッファ領域（メモリ１４の一部領域）であった場合、アプリケーション３２は、画像データ供給部２２として指定されたバッファ領域を稼働中の処理管理部４６へ通知し、画像データ供給部２２として機能するバッファモジュール４０の生成を処理管理部４６へ要求する。この場合、処理管理部４６はステップ１６０で、バッファ制御部４０ＢのプログラムをＣＰＵ１２が実行可能なようにメモリ１４にロードすると共に、通知されたバッファ領域（画像データ供給部２２として指定されたバッファ領域）を既に確保されたバッファ４０Ａとしてバッファ制御部４０Ｂに認識させるパラメータを設定することで、画像データ供給部２２として機能するバッファモジュール４０を生成し、アプリケーション３２へ応答を返す。

続いてステップ１６２では、アプリケーション３２は、画像処理を行った画像データの出力先としての画像出力部２４の種別を認識する。また、認識した種別がバッファ領域（メモリ１４の一部領域）であった場合、アプリケーション３２は、画像出力部２４として指定されたバッファ領域を稼働中の処理管理部４６へ通知し、画像出力部２４として指定されたバッファ領域を含むバッファモジュール４０（画像出力部２４として機能するバッファモジュール４０）を処理管理部４６によって生成させる。この場合も処理管理部４６は上記と同様に、ステップ１６４で、バッファモジュールを生成し、アプリケーション３２へ応答を返す。

次にアプリケーション３２は、ステップ１６６で、実行すべき画像処理の内容を認識し、実行すべき画像処理を、個々のモジュール生成部４４に対応するレベルの画像処理の組み合わせに分解し、実行すべき画像処理を実現するために必要な画像処理の種類及び個々の画像処理の実行順序を判定する。なお、この判定は、例えば上記の画像処理の種類及び個々の画像処理の実行順序を、ユーザが実行を指示可能なジョブの種類と対応付けて予め情報として登録しておき、アプリケーション３２は、実行が指示されたジョブの種類に対応する情報を読み出すことによって実現することができる。

ステップ１６８では、アプリケーション３２は、上記で判定した画像処理の種類、実行順序に基づいて、特定の画像処理に対応するモジュール生成部４４を起動する。

更に、アプリケーション３２は、ステップ１７０で、起動したモジュール生成部４４に対し、当該モジュール生成部４４によるモジュール群の生成に必要な情報として、前記モジュール群に画像データを入力する入力モジュールを識別するための入力モジュール識別情報、前記モジュール群が画像データを出力する出力モジュールを識別するための出力モジュール識別情報、前記モジュール群に入力される入力画像データの属性を表す入力画像属性情報、実行すべき画像処理のパラメータを通知して対応するモジュール群の生成を指示する。

また、必要とされる画像処理が複数種の画像処理を組み合わせた処理である場合、アプリケーション３２は、指示したモジュール生成部４４からモジュール群の生成完了が通知されると、個々の画像処理に対応する他のモジュール生成部４４を起動してモジュール群の生成に必要な情報を通知する処理（ステップ１６８，１７０）を個々の画像処理の実行順序の昇順に繰り返す。

なお、上記の入力モジュールは、実行順序が１番目のモジュール群については画像データ供給部２２が入力モジュールとなり、実行順序が２番目以降のモジュール群については前段のモジュール群の最終モジュール（通常はバッファモジュール４０）が入力モジュールとなる。また、上記の出力モジュールについては、実行順序が最後のモジュール群では画像出力部２４が出力モジュールとなるので、画像出力部２４が出力モジュールとして指定されるが、その他のモジュール群では出力モジュールは未確定のためにアプリケーション３２による指定は行われず、必要な場合はモジュール生成部４４によって生成・設定される。また、入力画像属性や画像処理のパラメータについては、例えばユーザが実行を指示可能なジョブの種類と対応付けて予め情報として登録しておき、実行が指示されたジョブの種類に対応する情報を読み出すことでアプリケーション３２が認識するようにしてもよいし、ユーザに指定させるようにしてもよい。

一方、ステップ１７２では、モジュール生成部４４は、アプリケーション３２によって起動されるとモジュール生成処理を行う。モジュール生成処理では、まず生成対象の画像処理モジュール３８に入力される入力画像データの属性を表す入力画像属性情報を取得する。なお、入力画像データの属性を取得する処理は、生成対象の画像処理モジュール３８の前段にバッファモジュール４０が存在している場合、当該バッファモジュール４０に画像データの書き込みを行う更に前段の画像処理モジュール３８から出力画像データの属性を取得することによって実現できる。

そして、取得した情報が表す入力画像データの属性に基づいて、生成対象の画像処理モジュール３８の生成が必要か否か判定する。例えばモジュール生成部４４が色変換処理を行うモジュール群を生成するモジュール生成部であり、画像処理のパラメータにより出力画像データの色空間としてＣＭＹ色空間がアプリケーション３２から指定された場合、取得した入力画像属性情報に基づいて入力画像データがＲＧＢ色空間のデータであることが判明したときには、色空間処理を行う画像処理モジュール３８としてＲＧＢ→ＣＭＹの色空間変換を行う画像処理モジュール３８を生成する必要があるが、入力画像データがＣＭＹ色空間のデータであったときには、入力画像データの属性と出力画像データの属性が色空間に関して一致しているので、色空間変換処理を行う画像処理モジュール３８は生成不要と判断する。

生成対象の画像処理モジュール３８の生成が必要と判断した場合には、生成対象の画像処理モジュール３８の後段にバッファモジュール４０が必要が否かを判定する。この判定は、画像処理モジュールの後段が出力モジュール（画像出力部２４）である場合（例えば図２(Ａ)〜(Ｃ)に示す画像処理部５０における最後段の画像処理モジュール３８を参照）や、例として図２(Ｂ)に示す画像処理部５０においてスキュー角検知処理を行う画像処理モジュール３８のように、画像処理モジュールが、画像データに対して解析等の画像処理を行いその結果を他の画像処理モジュール３８へ出力するモジュールである場合は否定されるが、上記以外の場合は判定が肯定され、稼働中の処理管理部４６に対して画像処理モジュール３８の後段に連結するバッファモジュール４０の生成を要求する。

バッファモジュール４０の生成が要求されると、ステップ１７２で処理管理部４６はバッファ制御部４０ＢのプログラムをＣＰＵ１２が実行可能なようにメモリ１４にロードすることで、バッファモジュール４０を生成し、モジュール生成部４４へ応答を返す。

続いてモジュール生成部４４は、前段のモジュール（例えばバッファモジュール４０）の情報と後段のバッファモジュール４０の情報、画像処理モジュール３８に入力される入力画像データの属性、処理パラメータを与えて、画像処理モジュール３８を生成する。なお、後段のバッファモジュール４０が不要と判断された画像処理モジュール３８に対しては後段のバッファモジュール４０の情報は与えられず、また例えば50％縮小処理のように処理内容が固定的で特別な画像処理パラメータが必要ない場合には処理パラメータは与えられない。

モジュール生成部４４は、モジュールライブラリ３６に登録されており、画像処理モジュール３８として利用可能な複数の候補モジュールの中から、先に取得した入力画像データの属性、及び画像処理モジュール３８で実行すべき処理パラメータに合致する画像処理モジュール３８を選択し、選択した画像処理モジュール３８のプログラムをＣＰＵ１２が実行可能なようにメモリ１４にロードすると共に、当該画像処理モジュール３８の前段及び後段のモジュールを当該画像処理モジュール３８の制御部３８Ｂに認識させるパラメータを設定することで、画像処理モジュール３８を生成する。

例えばモジュール生成部４４が色変換処理を行うモジュール群を生成するモジュール生成部であり、処理パラメータにより出力画像データの色空間としてＣＭＹ色空間が指定され、更に入力画像データがＲＧＢ色空間のデータであった場合には、モジュールライブラリ３６に登録されている各種の色空間処理を行う複数種の画像処理モジュール３８の中から、ＲＧＢ→ＣＭＹの色空間変換を行う画像処理モジュール３８が選択・生成される。

また、画像処理モジュールが拡大・縮小処理を行う画像処理モジュール３８であり、指定された拡大縮小率が50％以外であった場合には、入力された画像データに対して指定された拡大・縮小率で拡大・縮小処理を行う画像処理モジュール３８が選択・生成され、指定された拡大縮小率が50％であれば、拡大縮小率50％に特化した拡大縮小処理、すなわち入力された画像データを１画素おきに間引くことで50％に縮小する縮小処理を行う画像処理モジュール３８が選択・生成される。

なお、画像処理モジュール３８の選択は上記に限られるものではなく、例えば画像処理エンジン３８Ａによる画像処理における単位処理データ量が異なる画像処理モジュール３８をモジュールライブラリ３６に複数登録しておき、画像処理部５０へ割当可能なメモリ領域のサイズ等の動作環境に応じて、適切な単位処理データ量の画像処理モジュール３８を選択する（例えば上記サイズが小さくなるに従って単位処理データ量の小さい画像処理モジュール３８を選択する等）ようにしてもよいし、アプリケーション３２或いはユーザに選択させるようにしてもよい。

モジュール生成部４４は、画像処理モジュール３８の生成が完了すると、後段のバッファモジュール４０のＩＤと生成した画像処理モジュール３８のＩＤの組を稼働中の処理管理部４６に通知する。このＩＤは、個々のモジュールを一意に判別できる情報であればよく、例えば個々のモジュールの生成順に付与した番号や、バッファモジュール４０や画像処理モジュール３８のオブジェクトのメモリ上でのアドレス等でも良い。

またモジュール生成部４４が、複数種の画像処理モジュール３８によって実現される画像処理（例えばスキュー角検知処理を行う画像処理モジュール３８と画像回転処理を行う画像処理モジュール３８によって実現されるスキュー補正処理）を行うモジュール群を生成する場合には、上記処理が繰り返されて２個以上の画像処理モジュール３８を含むモジュール群が生成される。アプリケーション３２によって順次起動された個々のモジュール生成部４４により、以上のモジュール生成処理が順次行われることで、例として図２(Ａ)〜(Ｃ)に示すように、必要とされる画像処理を行う画像処理部５０が構築される。

一方、アプリケーション３２は、順次起動したモジュール生成部４４によって前述のモジュール生成処理が順次行われることで、必要とされる画像処理を行う画像処理部５０の構築が完了すると、ステップ１７４で、稼働中の処理管理部４６に対して画像処理部５０による画像処理の実行を指示する。

処理管理部４６は、アプリケーション３２から画像処理の実行が指示されると、ステップ１７６で、メモリ１４にロードした画像処理部５０の各モジュールのプログラムを、オペレーティングシステム３０を通じてスレッド（又はプロセス又はオブジェクト）としてＣＰＵ１２に実行させる。

画像処理モジュール３８のプログラムがスレッドとして実行されると、個々の画像処理モジュール３８の制御部３８Ｂは自モジュールの初期化を行う。画像処理モジュール３８の初期化では、まずモジュール生成部４４によって設定されたパラメータに基づいて自モジュールの前段のモジュールを判定する。自モジュールの前段にモジュールが存在していない場合には何ら処理を行わないが、前段のモジュールがバッファモジュール４０以外、例えば画像データ供給部２２や特定のファイル等である場合には、必要に応じてその初期化処理を行う。また、自モジュールの前段にバッファモジュール４０が存在している場合には、前段のバッファモジュール４０からの１回の画像データの読み出しによって取得する画像データのデータ量（単位読出データ量）を認識する。

この単位読出データ量は、自モジュールの前段のバッファモジュール４０の数が１個であれば１個だけであるが、例えば図２(Ｃ)に示す画像処理部５０において画像合成処理を行う画像処理モジュール３８のように、前段のバッファモジュール４０の数が複数で、複数のバッファモジュール４０から各々取得した画像データを用いて画像処理エンジン３８Ａが画像処理を行う等の場合、前段の個々のバッファモジュール４０に対応する単位読出データ量は、自モジュールの画像処理エンジン３８Ａが行う画像処理の種類や内容、前段のバッファモジュール４０の数等に応じて定まる。そして、認識した単位読出データ量を、前段に存在している全てのバッファモジュール４０へ通知することで、前段に存在している全てのバッファモジュール４０に単位読出データ量を設定する（図３(Ａ)の(1)も参照）。

次に、自モジュールの後段のモジュールを判定する。自モジュールの後段のモジュールがバッファモジュール４０以外、例えば画像出力部２４や特定のファイル等の場合には、必要に応じてその初期化処理（例えば後段のモジュールが画像出力部２４であれば、単位書込データ量に相当するデータ量ずつ画像データを出力することを通知する処理等）を行う。また、後段のモジュールがバッファモジュール４０であれば、１回の画像データの書き込みにおける画像データのデータ量（単位書込データ量）を認識し、後段のバッファモジュールに当該単位書込データ量を設定（図３(Ａ)の(2)も参照）する。そして、当該画像処理モジュール３８の初期化の完了を処理管理部４６通知する。

また、バッファモジュール４０（のバッファ制御部４０Ｂ）のプログラムがスレッドとして実行されると、個々のバッファモジュール４０のバッファ制御部４０Ｂは自モジュールの初期化を行う。バッファモジュール４０の初期化では、まず自モジュールの前段の画像処理モジュール３８から単位書込データ量が通知されるか又は自モジュールの後段の画像処理モジュール３８から単位読出データ量が通知される毎に、通知された単位書込データ量又は単位読出データ量を記憶する（図３(Ｂ)の(1),(2)も参照）。

自モジュールと連結されている全ての画像処理モジュール３８から単位書込データ量又は単位読出データ量が通知されると、自モジュールと連結されている個々の画像処理モジュール３８によって各々設定された単位書込データ量及び単位読出データ量に基づいて、自モジュールのバッファ４０Ａの管理単位である単位バッファ領域のサイズを決定し、決定した単位バッファ領域のサイズを記憶する。単位バッファ領域のサイズとしては、自モジュールに設定された単位書込データ量及び単位読出データ量のうちの最大値が好適であるが、単位書込データ量を設定してもよいし、単位読出データ量（自モジュールの後段に複数の画像処理モジュール３８が連結されている場合は、個々の画像処理モジュール３８によって各々設定された単位読出データ量の最大値）を設定してもよいし、単位書込データ量と単位読出データ量（の最大値）の最小公倍数を設定してもよいし、この最小公倍数が所定値未満であれば最小公倍数を、最小公倍数が所定値以上であれば別の値（例えば上述した単位書込データ量及び単位読出データ量のうちの最大値、単位書込データ量、単位読出データ量（の最大値）の何れか）を設定するようにしてもよい。

また、自モジュールが画像データ供給部２２又は画像出力部２４として機能するバッファモジュール４０であった場合には、自モジュールのバッファ４０Ａとして用いるメモリ領域が既に存在しているので、先に決定した単位バッファ領域のサイズを、自モジュールのバッファ４０Ａとして用いる既設のメモリ領域のサイズに変更する。更に、自モジュールの後段の個々の画像処理モジュール３８に対応する有効データポインタを各々生成し、生成した有効データポインタを初期化する。この有効データポインタは、自モジュールの前段の画像処理モジュールによって自モジュールのバッファ４０Ａに書き込まれた画像データのうち、対応する後段の画像処理モジュール３８によって読み出されていない画像データ（有効データ）の先頭位置（次の読出開始位置）と末尾位置を各々指し示すポインタであり、初期化時には通常、有効データが存在していないことを意味する特定の情報が設定されるが、自モジュールが画像データ供給部２２として機能するバッファモジュール４０であれば、自モジュールのバッファ４０Ａとして用いるメモリ領域には既に画像処理対象の画像データが書き込まれていることがあり、この場合は当該画像データの先頭位置及び末尾位置が後段の個々の画像処理モジュール３８に対応する有効データポインタに各々設定される。以上の処理によりバッファモジュール４０の初期化が完了し、バッファ制御部４０Ｂは初期化の完了を処理管理部４６へ通知する。

処理管理部４６は、画像処理部５０を構成する全てのモジュールから初期化の完了が通知されると、ワークフロー管理部４６Ａのプログラムを実行するスレッド（又はプロセス又はオブジェクト）を起動し、ワークフロー管理部４６Ａに対して画像処理部５０による画像処理の実行を指示する。

これらの処理は、画像処理部５０を構成する画像処理モジュール３８に処理要求を入力することで、画像処理部５０に画像処理を行わせるものであるが、以下では画像処理部５０全体の動作説明に先立ち、個々のバッファモジュール４０のバッファ制御部４０Ｂによって行われる処理、個々の画像処理モジュール３８の制御部３８Ｂによって行われる処理について順に説明する。

本実施形態では、画像処理モジュール３８が後段のバッファモジュール４０に画像データを書き込む場合には、画像処理モジュール３８からバッファモジュール４０へ書込要求が入力され、画像処理モジュール３８が前段のバッファモジュール４０から画像データを読み出す場合には、画像処理モジュール３８からバッファモジュール４０へ読出要求が入力される。

データ書込処理では、確保すべきメモリ領域のサイズとして単位書込データ量をリソース管理部４６Ｂに通知し、書込用として用いるメモリ領域（書込用バッファ領域：図５(Ｂ)も参照）を稼働中の処理管理部４６のリソース管理部４６Ｂを介して取得する。次に、自モジュールのバッファ４０Ａを構成する保管用の単位バッファ領域の中に、単位書込データ量以上の空き領域が有る単位バッファ領域（単位書込データ量の画像データを書き込み可能な単位バッファ領域）が存在しているか否か判定する。モジュール生成部４４によって生成されたバッファモジュール４０は、当初はバッファ４０Ａとして用いるメモリ領域（単位バッファ領域）が確保されておらず、メモリ領域の不足が生ずる度に単位バッファ領域を単位として確保されるので、バッファモジュール４０に最初に書込要求が入力されたときにはバッファ４０Ａとして用いるメモリ領域（単位バッファ領域）が存在しておらず、この判定は否定される。また、バッファ４０Ａとして用いる単位バッファ領域が確保された後も、当該単位バッファ領域への画像データの書込に伴って当該単位バッファ領域内の空き領域が単位書込データ量未満になった場合にも上記判定は否定される。

単位書込データ量以上の空き領域が有る単位バッファ領域（単位書込データ量の画像データを書き込み可能な単位バッファ領域）が存在していないと判定された場合は、確保すべきメモリ領域のサイズ（単位バッファ領域のサイズ）をリソース管理部４６Ｂに通知して、自モジュールのバッファ４０Ａとして用いるメモリ領域（画像データの保管に用いる単位バッファ領域）をリソース管理部４６Ｂを介して取得する。そして、先に取得した書込用バッファ領域を書込領域として、当該書込領域の先頭アドレスを書込要求元の画像処理モジュール３８へ通知すると共に、書込対象の画像データを通知した先頭アドレスから順に書き込むよう要請する。これにより、書込要求元の画像処理モジュール３８は、先頭アドレスが通知された書込用バッファ領域に画像データを書き込む（図５(Ｂ)も参照）。

例えば単位バッファ領域のサイズが単位書込データ量の整数倍でない場合、バッファ４０Ａ（単位バッファ領域）への単位書込データ量の画像データの書込が繰り返されることで、例として図５(Ａ)にも示すように、空き領域有りの単位バッファ領域における空き領域のサイズが単位書込データ量よりも小さい状態が生ずる。この場合、単位書込データ量の画像データが書き込まれる領域が複数の単位バッファ領域に跨ることになるが、本実施形態では、バッファ４０Ａとして用いるメモリ領域を単位バッファ領域を単位として確保するので、異なるタイミングで確保した単位バッファ領域が実メモリ（メモリ１４）上で連続する領域であることは保証されない。これに対して本実施形態では、画像処理モジュール３８による画像データの書き込みを、保管用の単位バッファ領域と別に確保した書込用バッファ領域に対して行わせ、図５(Ｃ)に示すように、書込用バッファ領域に一旦書き込まれた画像データを保管用の単一又は複数の単位バッファ領域へ複写するので、画像データが書き込まれる領域が複数の単位バッファ領域に跨るか否かに拘わらず、書込要求元の画像処理モジュール３８への書込領域の通知は、上記のようにその先頭アドレスを通知するのみで済み、画像処理モジュール３８とのインタフェースが簡単になる。

なお、自モジュールがアプリケーション３２によって生成されたバッファモジュール４０である場合、すなわちバッファ４０Ａとして用いるメモリ領域が既に確保されている場合には、既に確保されたメモリ領域のアドレスを画像処理モジュール３８に書込領域のアドレスとして通知し、上記メモリ領域への画像データの書き込みを行わせる。前段の画像処理モジュール３８による書込領域への画像データの書き込みが完了すると、書込用バッファ領域に書き込まれている画像データに属性情報を付加した後に、保管用バッファ領域にそのまま書き込む。なお、空き領域有りの単位バッファ領域における空き領域のサイズが単位書込データ量よりも小さい場合、書込用バッファ領域に書き込まれた画像データは、図５(Ｃ)に示すように、保管用の複数の単位バッファ領域へ分けて書き込まれることになる。

そして、自モジュールの後段の個々の画像処理モジュール３８に対応する有効データポインタのうち有効データの末尾位置を表すポインタを、該ポインタが指し示す有効データの末尾位置が単位書込データ量分だけ後へ移動するように更新する（図５(Ｃ)も参照）と共に、先に書込用バッファ領域として確保したメモリ領域をリソース管理部４６Ｂによって解放させ、データ書込処理を一旦終了する。なお、書込用バッファ領域はバッファモジュール４０の初期化時に確保し、バッファモジュール４０の消去時に解放するように構成してもよい。

続いて、バッファモジュール４０のバッファ制御部４０Ｂによって実行されるデータ読出処理について説明する。

まず、読出用の待ち行列から先頭に登録されている読出要求情報を取り出し、取り出した読出要求情報に含まれる要求元識別情報に基づいて読出要求元の画像処理モジュール３８を認識し、読出要求元の画像処理モジュール３８によって設定された単位読出データ量を認識すると共に、読出要求元の画像処理モジュール３８に対応する有効データポインタに基づいて、読出要求元の画像処理モジュール３８に対応する有効データのバッファ４０Ａ上での先頭位置及び末尾位置を認識する。次に、認識した有効データの先頭位置及び末尾位置に基づいて、読出要求元の画像処理モジュール３８に対応する有効データ（読出要求元の画像処理モジュール３８が読出可能な画像データ）が単位読出データ量以上有るか否か判定する。

読出要求元の画像処理モジュール３８に対応する有効データが単位読出データ量未満であれば、読出要求元の画像処理モジュール３８が読出可能な有効データの末尾が処理対象の画像データの末尾か否か判定する。読出要求元の画像処理モジュール３８に対応する有効データがバッファ４０Ａに単位読出データ量以上記憶されているか、又は、バッファ４０Ａに記憶されている読出要求元の画像処理モジュール３８に対応する有効データが単位読出データ量未満であるものの、当該有効データの末尾が処理対象の画像データの末尾であった場合には、確保すべきメモリ領域のサイズとして読出要求元の画像処理モジュール３８に対応する単位読出データ量をリソース管理部４６Ｂに通知すると共に、読出に用いるメモリ領域（読出用バッファ領域：図６(Ｂ)も参照）の確保をリソース管理部４６Ｂに要求し、リソース管理部４６Ｂを介して読出用バッファ領域を取得する。

次に、読出対象の有効データをバッファ４０Ａから単位読出データ量分だけ読み出して読出用バッファ領域に書き込み、読出用バッファ領域の先頭アドレスを読出領域の先頭アドレスとして読出要求元の画像処理モジュール３８へ通知すると共に、通知した先頭アドレスから画像データを順に読み出すよう要請する。これにより、読出要求元の画像処理モジュール３８は、先頭アドレスが通知された読出領域（読出用バッファ領域）からの画像データの読み出しを行う。なお、読出対象の有効データが処理対象の画像データの末尾に相当するデータであった場合には、画像データの読出要求に際し、読出対象の画像データのサイズと共に、処理対象の画像データの末尾であることも読出要求元の画像処理モジュール３８に通知する。また、自モジュールがアプリケーション３２によって生成されたバッファモジュール４０である場合は、バッファ４０Ａとして用いているメモリ領域（単位バッファ領域の集合体）は連続領域であるので、読出用バッファ領域の確保、読出対象の画像データの読出用バッファ領域への書き込みを省略し、後段の画像処理モジュール３８が単位バッファ領域から直接画像データを読み出すようにしてもよい。

なお、例として図６(Ａ)に示すように、有効データの先頭部分の画像データを記憶している単位バッファ領域に記憶されている有効データのデータ量が単位読出データ量未満であり、読出対象の有効データが複数の単位バッファ領域に跨っている場合には、今回の読出対象の有効データが実メモリ（メモリ１４）上で連続する領域に記憶されているとは限らないが、上記のデータ読出処理では、図６(Ｂ),(Ｃ)に示すように、このような場合にも読出対象の画像データを読出用バッファ領域に一旦書き込んだ後に該読出用バッファ領域から画像データを読み出させるので、読出対象の画像データが複数の単位バッファ領域に跨って記憶されているか否かに拘わらず、読出要求元の画像処理モジュール３８への読出領域の通知は、上記のようにその先頭アドレスを通知するのみで済み、画像処理モジュール３８とのインタフェースが簡単になる。

読出要求元の画像処理モジュール３８による読出領域からの画像データの読み出し完了が通知されると、読出用バッファ領域として確保したメモリ領域の先頭アドレス及びサイズをリソース管理部４６Ｂへ通知して、当該メモリ領域をリソース管理部４６Ｂによって解放させる。この読出用バッファ領域についても、バッファモジュール４０の初期化時に確保しておき、バッファモジュール４０が消去される時に解放するよう構成してもよい。また、読出要求元の画像処理モジュール３８に対応する有効データポインタのうち有効データの先頭位置を表すポインタを、該ポインタが指し示す有効データの先頭位置を単位読出データ量分だけ後へ移動させることで更新する（図６(Ｃ)も参照）。

次に、後段の個々の画像処理モジュール３８に対応する有効データポインタを各々参照し、先のポインタ更新により、バッファ４０Ａを構成する単位バッファ領域の中に、記憶している画像データの後段の各画像処理モジュール３８による読み出しが全て完了した単位バッファ領域、すなわち有効データを記憶していない単位バッファ領域が出現したか否か判定する。判定が否定された場合は、前述した読出用の待ち行列のチェック処理（読出用の待ち行列に読出要求情報が登録されているか否かの判定）を経てデータ読出処理を終了するが、有効データを記憶していない単位バッファ領域が出現した場合は、当該単位バッファ領域をリソース管理部４６Ｂによって解放させた後に読出用の待ち行列のチェック処理を経てデータ読出処理を終了する。

一方、バッファ４０Ａに記憶されており読出要求元の画像処理モジュール３８が読出可能な有効データのデータ量が単位読出データ量未満であり、かつ読出可能な有効データの末尾が処理対象の画像データの末尾でない場合（図３(Ｂ)の(4)で読出可能な有効データ無が検知された場合）には、新たな画像データを要求するデータ要求をワークフロー管理部４６Ａへ出力し（図３(Ｂ)の(5)も参照）、読出用の待ち行列から取り出した読出要求情報を元の待ち行列（の先頭又は末尾）に再度登録した後に、読出用の待ち行列のチェック処理を経てデータ読出処理を終了する。この場合、ワークフロー管理部４６Ａにより、自モジュールの前段の画像処理モジュール３８に処理要求が入力されることになる。これにより、読出可能な有効データのデータ量が単位読出データ量以上になるか、読出可能な有効データの末尾が処理対象の画像データの末尾であることが検知される迄の間、対応する読出要求情報は読出用の待ち行列に保存されると共に定期的に取り出されて要求された処理の実行が繰り返し試行されることになる。

ワークフロー管理部４６Ａはバッファモジュール４０からデータ要求が入力されると、データ要求元のバッファモジュール４０の前段の画像処理モジュール３８に処理要求を入力する（図３(Ｂ)の(6)も参照）。この処理要求の入力をトリガとして前段の画像処理モジュール３８の制御部３８Ｂで行われる処理により、前段の画像処理モジュール３８がバッファモジュール４０へ画像データを書込可能な状態になると、前段の画像処理モジュール３８から書込要求が入力されることで前述したデータ書込処理が行われ、前段の画像処理モジュール３８からバッファモジュール４０のバッファ４０Ａに画像データが書き込まれる（図３(Ｂ)の(7),(8)も参照）。これにより、後段の画像処理モジュール３８によるバッファ４０Ａからの画像データの読出が行われることになる（図３(Ｂ)の(9)も参照）。

なお、上記で説明したデータ読出処理は、並列処理用の画像処理部５０に組み込まれた排他制御機能付きのバッファモジュール４０のバッファ制御部４０Ｂによって行われるデータ読出処理であるが、逐次処理用の画像処理部５０に組み込まれた排他制御機能無しのバッファモジュール４０のバッファ制御部４０Ｂによって行われるデータ読出処理は、排他制御に相当する処理、すなわちバッファ４０Ａが既にアクセス中か否かを判定し、アクセス中でかつ待ち行列に読出要求情報が登録されている場合はタイマをスタートさせ、タイマがタイムアウトするとバッファ４０Ａがアクセス中か否かを再度判定すると共に、単一の読出要求に対する処理が終了した後に待ち行列に読出要求情報が残っているかをチェックする処理を行わない点以外は上記で説明したデータ読出処理と同一である。排他制御機能無しのバッファモジュール４０におけるデータ読出処理は、逐次処理では不要な排他制御に相当する処理が省略されていることで、処理効率を向上させることができる。

続いて、画像処理部５０を構成する個々の画像処理モジュール３８に対してワークフロー管理部４６Ａから処理要求が入力される毎に、個々の画像処理モジュール３８の制御部３８Ｂによって各々行われる画像処理モジュール制御処理（図７）を説明する。

画像処理モジュール制御処理では、まずステップ２１８において、自モジュールの画像処理エンジン３８Ａが行う画像処理の種類や内容等に基づき、自モジュールが使用するメモリのサイズ及び自モジュールが使用する他のリソースの有無を認識する。なお、画像処理モジュール３８が使用するメモリは、画像処理エンジン３８Ａが画像処理を行うために必要なメモリが主であるが、前段のモジュールが画像データ供給部２２である場合や後段のモジュールが画像出力部２４である場合には、前段又は後段のモジュールとの画像データの送受に際して画像データを一時記憶するためのバッファ用のメモリが必要となることもある。また、処理パラメータにテーブル等の情報が含まれている場合には、それを保持するためのメモリ領域が必要となることもある。そして、認識したサイズのメモリ領域の確保をリソース管理部４６Ｂへ要求し、リソース管理部４６Ｂによって確保されたメモリ領域をリソース管理部４６Ｂから取得する。また、自モジュール（の画像処理エンジン３８Ａ）がメモリ以外の他のリソースを必要としていると認識した場合には、上記他のリソースの確保をリソース管理部４６Ｂへ要求し、上記他のリソースをリソース管理部４６Ｂから取得する。

次のステップ２２０では、自モジュールの前段にモジュール（バッファモジュール４０や画像データ供給部２２、画像処理モジュール３８等）が存在している場合に、当該前段のモジュールに対してデータ（画像データ又は解析等の画像処理の処理結果）を要求する。次のステップ２２２では前段のモジュールからデータが取得可能であるかを判定し、ステップ２２２の判定が否定された場合はステップ２２４で全体処理終了が通知されたか否かを判定する。ステップ２２４の判定が否定された場合はステップ２２２に戻り、前段のモジュールからデータを取得可能となる迄ステップ２２２，２２４を繰り返す。ステップ２２２の判定が肯定された場合には、ステップ２２６で前段のモジュールからデータを取得し、取得したデータをステップ２１８で取得したメモリ領域のうちデータの一時保管用のメモリ領域に書き込むデータ取得処理を行う。

ここで、自モジュールの前段のモジュールがバッファモジュール４０である場合には、先のステップ２２０でデータを要求すると（読出要求）、読出可能な有効データがバッファモジュール４０のバッファ４０Ａに単位読出データ量以上記憶されているか、読出可能な有効データの末尾が処理対象の画像データの末尾に一致している状態であれば直ちに、当該状態でなければ、当該バッファモジュール４０の前段の画像処理モジュール３８が当該バッファモジュール４０のバッファ４０Ａに画像データを書き込んだことに伴って前記状態へ変化した後に、バッファモジュール４０から読出領域の先頭アドレスが通知されて画像データの読出が要請される。これにより、ステップ２２２の判定が肯定されてステップ２２６へ移行し、前段のバッファモジュール４０より先頭アドレスが通知された読出領域から単位読出データ量（又はそれ未満のデータ量）の画像データを読み出し、一時保管用のメモリ領域に書き込むデータ取得処理を行う（図３(Ａ)の(3)も参照）。

また、自モジュールの前段のモジュールが画像データ供給部２２であれば、先のステップ２２０でデータ要求を出力すると画像データを取得可能な状態であることが前段の画像データ供給部２２から直ちに通知されることで、ステップ２２２の判定が肯定されてステップ２２６へ移行し、前段の画像データ供給部２２から単位読出データ量の画像データを取得し、一時保管用のメモリ領域に書き込む画像データ取得処理を行う。また、自モジュールの前段のモジュールが画像処理モジュール３８であれば、先のステップ２２０でデータ要求（処理要求）を出力すると、前段の画像処理モジュール３８が画像処理を実行可能な状態であれば書込要求が入力されることでデータ（画像処理結果）を取得可能な状態であることが通知されるので、ステップ２２２の判定が肯定されてステップ２２６へ移行し、前段の画像処理モジュール３８によってデータを書き込ませる一時保管用のメモリ領域のアドレスを通知して書込を要請することで、前段の画像処理モジュール３８から出力されるデータを一時保管用のメモリ領域に書き込ませるデータ取得処理を行う。

次のステップ２２８では、自モジュールの前段に複数のモジュールが連結されているか否か判定する。判定が否定された場合には何ら処理を行うことなくステップ２３２へ移行するが、判定が肯定された場合はステップ２３０へ移行し、前段に連結されている全てのモジュールからデータを取得したか否か判定する。ステップ２３０の判定が否定された場合はステップ２２０に戻り、ステップ２３０の判定が肯定される迄ステップ２２０〜ステップ２３０を繰り返す。前段のモジュールから取得すべきデータが全て揃うと、ステップ２２８の判定が否定されるかステップ２３０の判定が肯定されてステップ２３２へ移行する。

次のステップ２３２では自モジュールの後段のモジュールに対してデータ出力用の領域を要求し、ステップ２３４でデータ出力領域が取得できる迄（データ出力領域の先頭アドレスが通知される迄）繰り返し判定を行う。なお、後段のモジュールがバッファモジュール４０であれば、上記のデータ出力用領域の要求は当該バッファモジュール４０に対して書込要求を出力することによって成される。データ出力領域（後段のモジュールがバッファモジュール４０であれば当該バッファモジュール４０から先頭アドレスが通知された書込領域）が取得できたら（図３(Ａ)の(4)も参照）、次のステップ２３６において、先のデータ取得処理で取得したデータ、後段のモジュールから取得したデータ出力領域（の先頭アドレス）、先のステップ２１８で取得したメモリ領域のうち画像処理エンジンによる画像処理用のメモリ領域（の先頭アドレス及びサイズ）を画像処理エンジン３８Ａに入力し、入力したデータに対し画像処理用のメモリ領域を使用して所定の画像処理を行わせる（図３(Ａ)の(5)も参照）と共に、処理後のデータをデータ出力領域に書き込ませる（図３(Ａ)の(6)も参照）。画像処理エンジン３８Ａへの単位読出データ量のデータの入力が完了し、画像処理エンジン３８Ａから出力されたデータがデータ出力領域に全て書き込まれると、次のステップ２３８で出力が完了したことを後段のモジュールに通知する。

上記のステップ２２０〜ステップ２３８により画像処理モジュール３８における単位処理データ量のデータに対する処理（単位処理）が完了するが、ワークフロー管理部４６Ａから画像処理モジュール３８に入力される処理要求では、ワークフロー管理部４６Ａによって単位処理の実行回数が指定されることがある。このためステップ２４０では、単位処理の実行回数が、入力された処理要求によって指示された実行回数に達したか否か判定する。指示された単位処理の実行回数が１回の場合、この判定は無条件に肯定されるが、指示された単位処理の実行回数が２回以上の場合はステップ２２０に戻り、ステップ２４０の判定が肯定される迄ステップ２２０〜ステップ２４０を繰り返す。ステップ２４０の判定が肯定されるとステップ２４２へ移行し、ワークフロー管理部４６Ａへ処理完了通知を出力することで、入力された処理要求に対応する処理が完了したことをワークフロー管理部４６Ａへ通知し、画像処理モジュール制御処理を終了する。

また、ワークフロー管理部４６Ａから処理要求が入力される毎に上述した処理が繰り返されることで処理対象の画像データを末尾まで処理すると、前段のモジュールから処理対象の画像データの終了が通知されることで、ステップ２２４の判定が肯定されてステップ２４４へ移行し、処理対象の画像データ（なお、処理対象の画像データは１頁分の画像データであることが多いが、複数頁分の画像データであってもよい）に対する処理が終了したことを意味する全体処理終了通知をワークフロー管理部４６Ａ及び後段のモジュールへ各々出力する。また、次のステップ２４６では取得していた全てのリソースの解放を要求して自モジュールを消去する処理を行い、画像処理モジュール制御処理を終了する。

ワークフロー管理部４６Ａは、画像処理の実行が指示されると、図８(Ａ)に示すブロック単位制御処理１を行い、バッファモジュール４０からデータ要求が入力される毎に図８(Ｂ)に示すブロック単位制御処理２を行い、画像処理モジュール３８から処理完了通知が入力される毎に図８(Ｃ)に示すブロック単位制御処理３を行い、画像処理モジュール３８から全体処理終了通知が入力される毎に図８(Ｄ)に示すブロック単位制御処理４を行う。

先にも述べたように、ブロック単位制御処理１では、ワークフロー管理部４６Ａによる画像処理部５０の個々の画像処理モジュール３８への処理要求の入力では、単位処理の実行回数を指定可能とされているが、ステップ５００では、１回の処理要求で指定する単位処理の実行回数を個々の画像処理モジュール３８毎に決定する。この処理要求１回当りの単位処理の実行回数は、例えば処理対象の画像データ全体を処理する間の個々の画像処理モジュール３８への処理要求の入力回数が平均化されるように定めることができるが、他の基準に従って定めてもよい。そして次のステップ５０２において、画像処理部５０のうち最後段の画像処理モジュール３８に処理要求を入力し（図９の(1)も参照）、ブロック単位制御処理１を終了する。

ここで、図９に示す画像処理部５０において、ワークフロー管理部４６Ａから最後段の画像処理モジュール３８₄に処理要求が入力されると、画像処理モジュール３８₄の制御部３８Ｂは前段のバッファモジュール４０₃に読出要求を入力する（図９の(2)参照）。このとき、バッファモジュール４０₃のバッファ４０Ａには画像処理モジュール３８₄が読出可能な有効データ（画像データ）が記憶されていないので、バッファモジュール４０₃のバッファ制御部４０Ｂはワークフロー管理部４６Ａにデータ要求を入力する（図９の(3)参照）。

ワークフロー管理部４６Ａは、バッファモジュール４０からデータ要求が入力される毎に、図８(Ｂ)に示すブロック単位制御処理２を行う。このブロック単位制御処理２では、ステップ５０４において、データ要求入力元のバッファモジュール４０（ここではバッファモジュール４０₃）の前段の画像処理モジュール３８（ここでは画像処理モジュール３８₃）を認識し、認識した前段の画像処理モジュール３８に処理要求を入力（図９の(4)参照）して処理を終了する。

画像処理モジュール３８₃の制御部３８Ｂは、処理要求が入力されると前段のバッファモジュール４０₂に読出要求を入力し（図９の(5)参照）、バッファモジュール４０₂のバッファ４０Ａにも読出可能な画像データが記憶されていないので、バッファモジュール４０₂のバッファ制御部４０Ｂはワークフロー管理部４６Ａにデータ要求を入力する（図９の(6)参照）。ワークフロー管理部４６Ａは、バッファモジュール４０₂からデータ要求が入力された場合も、前述のブロック単位制御処理２を再度行うことで、その前段の画像処理モジュール３８₂に処理要求を入力し（図９の(7)参照）、画像処理モジュール３８₂の制御部３８Ｂは前段のバッファモジュール４０₁に読出要求を入力する（図９の(8)参照）。また、バッファモジュール４０₁のバッファ４０Ａにも読出可能な画像データが記憶されていないので、バッファモジュール４０₁のバッファ制御部４０Ｂもワークフロー管理部４６Ａにデータ要求を入力し（図９の(9)参照）。ワークフロー管理部４６Ａは、バッファモジュール４０₁からデータ要求が入力された場合も、前述のブロック単位制御処理２を再度行うことで、その前段の画像処理モジュール３８₁に処理要求を入力する（図９の(10)参照）。

ここで、画像処理モジュール３８₁の前段のモジュールは画像データ供給部２２であるので、画像処理モジュール３８₁の制御部３８Ｂは、画像データ供給部２２にデータ要求を入力することで画像データ供給部２２から単位読出データ量の画像データを取得し（図９の(11)参照）、取得した画像データに対して画像処理エンジン３８Ａが画像処理を行うことで得られた画像データを、後段のバッファモジュール４０₁のバッファ４０Ａに書き込む（図９の(12)参照）。

また、バッファモジュール４０₁のバッファ制御部４０Ｂは、後段の画像処理モジュール３８₂が読出可能な単位読出データ量以上の有効データが書き込まれると画像処理モジュール３８₂に対して読出を要請し、これに伴い画像処理モジュール３８₂の制御部３８Ｂは、バッファモジュール４０₁のバッファ４０Ａから単位読出データ量の画像データを読み出し（図９の(13)参照）、取得した画像データに対して画像処理エンジン３８Ａが画像処理を行うことで得られた画像データを、後段のバッファモジュール４０₂のバッファ４０Ａに書き込む（図９の(14)参照）。バッファモジュール４０₂のバッファ制御部４０Ｂは、後段の画像処理モジュール３８₃が読出可能な単位読出データ量以上の有効データが書き込まれると画像処理モジュール３８₃へ読出を要請し、画像処理モジュール３８₃の制御部３８Ｂは、バッファモジュール４０₂のバッファ４０Ａから単位読出データ量の画像データを読み出し（図９の(15)参照）、取得した画像データに対して画像処理エンジン３８Ａが画像処理を行うことで得られた画像データを、後段のバッファモジュール４０₃のバッファ４０Ａに書き込む（図９の(16)参照）。

更に、バッファモジュール４０₃のバッファ制御部４０Ｂは、後段の画像処理モジュール３８₄が読出可能な単位読出データ量以上の有効データが書き込まれると画像処理モジュール３８₄に対して読出を要請し、これに伴い画像処理モジュール３８₄の制御部３８Ｂは、バッファモジュール４０₃のバッファ４０Ａから単位読出データ量の画像データを読み出し（図９の(17)参照）、取得した画像データに対して画像処理エンジン３８Ａが画像処理を行うことで得られた画像データを、後段のモジュールである画像出力部２４へ出力する（図９の(18)参照）。

また、個々の画像処理モジュール３８の制御部３８Ｂは、後段のバッファモジュール４０のバッファ４０Ａへの画像データの書き込みを完了すると、ワークフロー管理部４６Ａへ処理完了通知を入力する。ワークフロー管理部４６Ａは、画像処理モジュール３８から処理完了通知が入力される毎に、図８(Ｃ)に示すブロック単位制御処理３を行う。このブロック単位制御処理３では、まずステップ５０６において、処理完了通知元の画像処理モジュール３８が最後段の画像処理モジュール３８か否か判定する。判定が否定された場合は何ら処理を行うことなくブロック単位制御処理３を終了する。また、判定が肯定された場合はステップ５０８へ移行し、処理完了通知元の画像処理モジュール３８に処理要求を再度入力して処理を終了する。

また、ワークフロー管理部４６Ａは、画像処理モジュール３８から全体処理終了通知が入力される毎に、図８(Ｄ)に示すブロック単位制御処理４を行う。このブロック単位制御処理４では、ステップ５１０において、全体処理終了通知入力元の画像処理モジュール３８が最後段の画像処理モジュール３８か否か判定する。判定が否定された場合は何ら処理を行うことなく処理を終了するが、処理対象の画像データに対して必要な画像処理が行われた画像データが画像出力部２４へ全て出力されることで、最後段の画像処理モジュール３８から全体処理終了通知が入力された場合には、ステップ５１０の判定が肯定されてステップ５１２へ移行し、アプリケーション３２に対して画像処理の完了を通知し（図４のステップ１７８も参照）、ブロック単位制御処理を終了する。そして、画像処理の完了が通知されたアプリケーション３２は、ユーザに対して画像処理の完了を通知する（図４のステップ１８０も参照）。

このように、ブロック単位処理では、最後段の画像処理モジュール３８に入力された処理要求がより前段の画像処理モジュール３８へ遡り、最前段の画像処理モジュール３８に到達すると、最前段の画像処理モジュール３８で画像処理が行われて後段のバッファモジュール４０にデータが書き込まれ、それでデータが足りるようならば処理が後段のモジュールへ進んで行くという流れで一連の画像処理が行われる。

なお、上記では画像処理部の個々の画像処理モジュール３８が、画像１面分よりも小さいデータ量を単位として後段へ画像データを引き渡しながら画像処理を行うように動作させることで、画像処理部が全体としてブロック単位処理を行うようにワークフロー管理部４６Ａが制御する態様を説明したが、これに限定されるものではなく、画像処理部の個々の画像処理モジュール３８が、前段の画像処理モジュール３８が画像１面分の画像データに対する画像処理を完了した後に、後段の画像処理モジュール３８が画像１面分の画像データに対する画像処理を行うように動作させることで、画像処理部が全体として面単位処理を行うことも可能なように、ワークフロー管理部４６Ａを構成してもよい。

また、上記のようにワークフロー管理部４６Ａが制御を行っている間、処理管理部４６のエラー管理部４６Ｃも動作している。エラー管理部４６Ｃは、画像処理部５０が画像処理を実行している途中でエラーが発生した場合に、発生したエラーの種別・発生箇所等のエラー情報を取得し、画像処理プログラム群３４がインストールされたコンピュータ１０が組み込まれている機器の種別や構成等を表す装置環境情報を記憶部２０等から取得し、取得した装置環境情報が表す装置環境に応じたエラー通知方法を判断し、判断したエラー通知方法でエラーの発生を通知する処理を行う。

以上が本実施形態における全体的な構成及び処理である。以下、オブジェクト情報管理部４６Ｄの詳細について説明する。

なお、以下の説明において、２つのオブジェクトに依存関係があるとは、どちらか一方のオブジェクトがもう一方のオブジェクトの依存元又は依存先であることをいう。

最初に、図１０を用いて記録部２０により記録された管理テーブルについて説明する。この管理テーブルは、複数のオブジェクトの依存関係を示す依存関係情報、及び各オブジェクトが解放可能か否かを示す解放可能情報が記録された記録手段である。

同図には、（Ａ）（Ｂ）の２種類の管理テーブルが示されているが、これらの違いは同図（Ｂ）に示される管理テーブルに「依存元」という項目が１つだけ多く存在するのみの違いであり、本質的には同じものである。

同図に示される「ＩＤ」は各オブジェクトに一意的に割り当てられたＩＤである。以下の説明では、ＩＤがＮのオブジェクトをオブジェクトＮと表現することがある。なお、本実施の形態におけるオブジェクトとは、データとメソッドの集合がメモリ１４に展開されたインスタンスを示している。

このオブジェクトは、本実施の形態では上述した画像処理モジュール３８やバッファモジュール４０のように上位プログラムにより必要に応じて生成、解放されるものである。なお、オブジェクトの解放は、オブジェクト情報管理部４６Ｄが上位プログラムにより指示されるか、或いはコールされることにより行われ、上記指示、又はコールされることを、本実施の形態では解放要求を受信する、というように表現する。

「解放可能フラグ」は、各オブジェクトが解放可能か否かを示す解放可能情報を示すもので、同図の場合は０が解放可能とされていないことを示し、１が解放可能とされていることを示している。従って、同図の場合はＩＤが５のオブジェクトのみが解放可能とされていることを示している。

また、「依存先」又は「依存元」は、複数のオブジェクトの依存関係を示す依存関係情報である。このうち、「依存先」は、そのオブジェクトが依存するオブジェクトのＩＤを示している。一方、「依存元」は、そのオブジェクトに依存するオブジェクトのＩＤを示している。

従って同図の場合は、例えばオブジェクト３が、２つのオブジェクト１、２に依存していることが示されている。この場合、依存元はオブジェクト３であり、依存先はオブジェクト１、２である。

なお、上述したように、同図（Ｂ）は「依存元」という項目が１つだけ多く存在するが、「依存先」が得られれば「依存元」も得られるため、同図（Ａ）に示されるように「依存先」の項目があれば十分である。しかし、同図（Ａ）の場合、「依存元」を得るためには「依存先」から探さなければならない。そこで、同図（Ｂ）の管理テーブルは、予め「依存元」を探しておき、「依存先」だけではなく「依存元」が１度に認識可能なようにしたものである。

また、オブジェクト情報管理部４６Ｄは、上記依存関係情報、及び解放可能情報に加え、各オブジェクトのポインタなども管理している。

この図１０（Ａ）（Ｂ）で説明した各管理テーブルの各行を、以下の説明ではレコードと表現することがある。

次に、オブジェクト情報管理部４６Ｄにより実行される解放処理の概要を、図１１、図１２を用いて説明する。いずれの図においても、点線で囲まれたオブジェクトは解放されたオブジェクトを示す。また破線で囲まれたオブジェクトは、解放可能とされたオブジェクトを示す。更に、矢印で結ばれたオブジェクトは、矢印が出ているオブジェクトが依存元のオブジェクトを示し、矢印が向かった先のオブジェクトが依存先のオブジェクトを示している。また、２つのオブジェクトを結んでいた矢印が消えたことは、依存関係が解消され、管理テーブルの依存関係情報から、２つのオブジェクトに依存関係があることを示す情報が削除されたことを意味する。

更に、これらの図では解放の対象となった解放対象オブジェクトをオブジェクトＡとしている。また、以下に示す処理概要は、管理テーブルに基づき行われるものである。

図１１（Ａ）は、オブジェクトＡと依存関係にある他のオブジェクトが存在しない場合の処理を示す図である。この場合は通常の解放処理であるので、同図に示されるように、オブジェクト情報管理部４６Ｄは、オブジェクトＡを解放する。

図１１（Ｂ）は、オブジェクトＡに依存する他のオブジェクト（オブジェクトＢ：依存元）が存在する場合の処理を示す図である。この場合、オブジェクト情報管理部４６Ｄは、オブジェクトＡに対する解放要求が受信されると、同図に示されるようにオブジェクトＡの解放可能情報を、当該オブジェクトＡが解放可能であることを示す情報とする。

図１１（Ｃ）は、オブジェクトＡが依存する他のオブジェクト（オブジェクトＣ：依存先）が存在する場合の処理を示す図である。

この場合、オブジェクト情報管理部４６Ｄは、オブジェクトＡとオブジェクトＣとの依存関係があることを示す情報を依存関係情報から削除するとともに、オブジェクトＡを解放する。なお、依存関係があることを示す情報を依存関係情報から削除するとは、依存関係の解消によって、依存関係がある各々のオブジェクトに対応する上述した管理テーブルの「依存先」及び「依存元」を０にすることを意味する。

例えば、図１０において、オブジェクトＮからオブジェクト５への依存関係を削除する場合には、図１０（Ａ）の管理テーブルでは、オブジェクトＮの「依存先」を５から０に変更し、図１０（Ｂ）の管理テーブルでは、オブジェクトＮの「依存先」を５から０に変更するとともに、オブジェクト５の「依存元」をＮから０に変更する。

図１１（Ｄ）は、（Ｃ）において、オブジェクトＣが既に解放可能である場合の処理を示す図である。オブジェクト情報管理部４６Ｄは、オブジェクトＣを解放し、その後に図１１（Ｃ）と同じくオブジェクトＡを解放する。

次の図１２は、オブジェクトＡが依存するオブジェクトＢ（依存元）、及びオブジェクトＡに依存するオブジェクトＣ（依存先）の両方が存在する場合の処理を示している。

図１２（Ａ）では、図１１（Ｂ）に示したように、オブジェクト情報管理部４６Ｄは、オブジェクトＢに対しては何もせずに、図１１（Ｃ）に示したようにオブジェクトＡとオブジェクトＣとの依存関係があることを示す情報を依存関係情報から削除する。また、オブジェクト情報管理部４６Ｄは、Ａに依存するオブジェクトＢが存在するため、オブジェクトＡの解放可能情報を、当該オブジェクトＡが解放可能であることを示す情報とする。

図１２（Ｂ）は、図１２（Ａ）において、オブジェクトＣが既に解放可能である場合の処理を示す図である。オブジェクト情報管理部４６Ｄは、オブジェクトＣを解放し、その後、図１２（Ａ）と同じくオブジェクトＡの解放可能情報を、当該オブジェクトＡが解放可能であることを示す情報とる。

以上説明したオブジェクト情報管理部４６Ｄによる解放処理が含まれるオブジェクト解放処理を、図１３のフローチャートを用いて説明する。なお、このフローチャートでは、オブジェクトＡ、Ｂ、Ｃを単にＡ、Ｂ、Ｃと記している。また、Ａは解放対象オブジェクトであり、ＢはＡに依存する他のオブジェクトであり、ＣはＡが依存する他のオブジェクトである。

まず、ステップ１０１でオブジェクト解放要求を受信すると、ステップ１０２で、Ａが依存するＣが存在するか否かを判断する。このステップ１０２で否定判断した場合には、ステップ１０８で、Ａに依存するＢが存在するか否かを判断する。

このステップ１０８で否定判断した場合には、Ｃが存在せず、かつＡに依存する他のオブジェクトであるＢが存在しないことを示している。そのときは、ステップ１０９でＡを解放し、ステップ１１１で管理テーブルからＡに対応する依存関係情報、及び解放可能情報を削除して処理を終了する。

一方、ステップ１０８で肯定判断した場合には、Ｃが存在せず、かつＡに依存する他のオブジェクトであるＢが存在することを示している。このときは、ステップ１１０で、Ａの解放可能情報を、Ａが解放可能であることを示す情報として処理を終了する。

上記ステップ１０２の処理に戻り、このステップ１０２で肯定判断した場合は、Ａが依存する他のオブジェクトであるＣが存在することを示している。このときは、ステップ１０３で、ＡとＣの依存関係情報を削除する。そして、次のステップ１０４でＣが解放可能か否か判断する。ステップ１０４で否定判断した場合にはステップ１０２の処理に再び戻り、肯定判断した場合には、ステップ１０５でＣに依存する他のオブジェクトが存在するか否かを判断する。

このステップ１０５で肯定判断した場合にはステップ１０２の処理に再び戻り、否定判断した場合には、ステップ１０６でＣを解放し、ステップ１０７で管理テーブルからＣに対応する依存関係情報、及び解放可能情報を削除して、ステップ１０２の処理に再び戻る。

上述したステップ１０２〜ステップ１１１の処理が解放処理に対応している。また、上記ステップ１０７及びステップ１１１における管理テーブルから解放したオブジェクトに対応する依存関係情報、及び解放可能情報の削除は、このレコード全体を削除することを意味する。

次に、図１４を用いて、複数のオブジェクトを解放するためのオブジェクト解放要求が受信された場合に、各オブジェクト毎に解放処理を実行するオブジェクト解放処理について説明する。なお、この図１４におけるオブジェクト解放要求は、上述したオブジェクト解放要求と異なり、複数のオブジェクトを解放するためのオブジェクト解放要求である。

なお、この複数のオブジェクトを解放するためのオブジェクト解放要求は、例えば個々のオブジェクトにも解放要求を行うが、解放忘れによるメモリリークを防ぐ目的で使用されるものである。

まず、ステップ２０１で、オブジェクト解放要求を受信すると、ステップ２０２で、処理対象となるＡを解放対象オブジェクトとし、上述したオブジェクト解放処理（図１３参照）のステップ１０２からステップ１１１までの処理を実行する。

次のステップ２０４で、複数のオブジェクトに対して解放処理を実行したか否か判断し、肯定判断した場合には処理を終了し、否定判断した場合には、ステップ２０５でＡを未だ解放処理が実行されていないオブジェクトとし、再びステップ２０３の処理を実行する。

次に、図１５を用いて、オブジェクトの依存関係の変化に応じて、管理テーブルに記録されている当該オブジェクトの依存関係情報を更新する依存関係更新処理について説明する。

この依存関係更新処理の説明に先立ち、オブジェクトの依存関係の変化について説明する。本実施の形態において、オブジェクトの依存関係の変化とは、（１）あるオブジェクトが他のオブジェクトの依存元になったこと、（２）あるオブジェクトが他のオブジェクトの依存先になったこと、（３）依存関係にあったオブジェクト間の依存関係が存在しなくなったことを示す。

本実施の形態では、上記（１）〜（３）に加え、（４）あるオブジェクトが新たに生成されたことも依存関係の変化に加えている。これは、新たにオブジェクトが生成されると、例えば引数等で、そのオブジェクトのＩＤや依存関係をオブジェクト情報管理部４６Ｄは知ることができるためである。

また、各オブジェクトは、依存関係が変化すると、その変化した依存情報をオブジェクト情報管理部４６Ｄに通知することで、オブジェクト情報管理部４６Ｄは依存関係の変化を知ることができる。図１５のフローチャートでは、このように依存関係が変化したことを示す情報をオブジェクト更新情報と表現し、オブジェクト情報管理部４６Ｄがそのオブジェクト更新情報を知ることを、オブジェクト更新情報を受信する、というように表現する。

依存関係の更新例として、例えば上述したように、本実施の形態では画像処理モジュール３８がデータを後段のバッファモジュール４０へ出力する処理が行われるが、画像処理モジュール３８が全データを書き終わると、バッファモジュール４０への依存関係はなくなるので、このような場合に依存関係が更新される。

まず、ステップ３０１で、上述したオブジェクト更新情報を受信すると、ステップ３０２で、依存関係情報を更新し、処理を終了する。依存関係情報の更新は、上記管理テーブルに対して行われる。具体的に、新たなオブジェクトが生成された場合は、管理テーブルの新たなレコードとして、そのオブジェクトのＩＤと依存関係を追記する。依存元、或いは依存先になったオブジェクトに対しては、それぞれ対応する箇所を０から新たなオブジェクトのＩＤに更新させる。

次に、図１６のフローチャートを用いて、オブジェクト解放要求が受信された際に、管理テーブルにより記録されたオブジェクトが存在する場合には、解放要求が受信されていないオブジェクトが存在することを示す警告を発生する警告発生処理について説明する。なお、この図１６におけるオブジェクト解放要求は、図１４の場合と同様に、複数のオブジェクトを解放するためのオブジェクト解放要求である。

まず、ステップ４０１で、オブジェクト解放要求を受信すると、ステップ４０２で管理テーブルを参照し、ステップ４０３で管理テーブルにレコードが存在するか否か判断する。

オブジェクトの解放は、上述したように本来個々に行われるものであり、解放されたオブジェクトに対応するレコードは削除されていなければならない。特にオブジェクト解放要求を受信した場合には、レコードが削除されていなければならない。従って、管理テーブルにレコードが１つでも存在した場合には、そのレコードに対応するオブジェクトに対して解放要求をしていなかったことを示し、このことは通常であればメモリリークの原因となる。

従って、ステップ４０３で肯定判断した場合には、ステップ４０４で、警告を発生し、処理を終了する。一方、ステップ４０３で否定判断した場合には、そのまま処理を終了する。

なお、警告の発生はこの警告発生処理の戻り値や引数のポインタを用いることで実行することができる。戻り値や、引数のポインタが示すアドレスに格納された値から、警告が発生されたことを、この警告発生処理をコールしたモジュールは認識することができる。

以上説明した上記実施形態では、処理管理部４６のプログラムが、記憶部２０に固定的に記憶されている場合を説明したが、これに限定されず、コンピュータ１０の外部から、例えばＵＳＢメモリ等の外部記憶装置や通信回線等を介して、新たな処理管理部（並列処理管理部や逐次処理管理部）のプログラムを追加したり、既登録の処理管理部のプログラムを上書き更新可能としてもよい。ＣＰＵ１２の新たなアーキテクチャの採用等に応じて、最適な並列化の手法が変わる事も考えられるし、また最適な処理管理部のプログラムを当初より提供することが困難な場合や、処理管理部のアルゴリズムとしてより高効率のアルゴリズムが今後新たに開発される可能性もある。このような場合を考慮し、記憶部２０の処理管理部ライブラリ４７は、処理管理部のプログラムの新規追加や上書き更新が可能に構成することが望ましい。

また、上記では本発明に係る画像処理プログラムに対応する画像処理プログラム群３４が記憶部２０に予め記憶（インストール）されている態様を説明したが、本発明に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

本実施形態に係るコンピュータ（画像処理装置）の概略構成を示すブロック図である。画像処理部の構成例を示すブロック図である。 (Ａ)は画像処理モジュール、(Ｂ)はバッファモジュールの概略構成及び実行される処理を各々示すブロック図である。画像処理部の構築から画像処理の実行に至る一連の処理を説明するためのシーケンス図である。書込対象の画像データが複数の保管用単位バッファ領域に跨る場合を説明する概略図である。読出対象の画像データが複数の保管用単位バッファ領域に跨っていた場合を説明する概略図である。画像処理モジュールの制御部によって実行される画像処理モジュール制御処理の内容を示すフローチャートである。処理管理部のワークフロー管理部によって実行されるブロック単位制御処理の内容を示すフローチャートである。画像処理部における画像処理の流れを説明する概略図である。管理テーブルを示す図である。解放処理概要を示す図である（その１）。解放処理概要を示す図である（その２）。オブジェクト解放処理を示すフローチャートである。オブジェクト解放処理を示すフローチャートである。依存関係更新処理を示すフローチャートである。警告発生処理を示すフローチャートである。

符号の説明

１０コンピュータ
１２ＣＰＵ
２０記憶部
２２画像データ供給部
２４画像出力部
３４画像処理プログラム群
３８画像処理モジュール
４０バッファモジュール
４６処理管理部
４６Ｄオブジェクト情報管理部

Claims

画像処理を実行する複数のオブジェクト内の依存関係があるオブジェクトについて、依存先のオブジェクトが存在するオブジェクトに対しては依存先のオブジェクトを示すと共に、依存元のオブジェクトが存在するオブジェクトに対しては依存元のオブジェクトを示す依存関係情報が記録され、かつ前記オブジェクトが解放可能であるか否かを示す解放可能情報が記録される記録手段と、
画像処理を実行するオブジェクトに対する解放要求を受信する解放要求受信手段と、
前記解放要求が受信された前記オブジェクトを解放対象のオブジェクトとし、前記依存関係情報から前記解放対象のオブジェクトに対し、前記依存元のオブジェクトが存在する場合には、前記解放対象のオブジェクトが解放可能であることを示す解放可能情報を前記記録手段に記録し、前記依存元のオブジェクトが存在しない場合には、前記解放対象のオブジェクトを解放する解放処理を実行する解放手段と、
オブジェクトの前記依存関係情報の変化に応じて前記記録手段に記録されている前記依存関係情報を更新する際、前記解放手段が前記解放可能情報を記録した前記解放対象のオブジェクトについて、依存先のオブジェクトがあれば当該依存先のオブジェクトとの間の前記依存関係情報を削除し、前記解放手段が前記解放処理を実行した前記解放対象のオブジェクトについて、当該オブジェクトに対応する前記依存関係情報及び前記解放可能情報を前記記録手段から削除することで、前記記録手段に記録されている前記依存関係情報及び前記解放可能情報を更新する更新手段と、
を有する画像処理装置。
前記解放手段は、前記解放対象のオブジェクトに対する前記依存先のオブジェクトについて前記記録手段に前記解放可能情報が記録されている場合には、前記依存先のオブジェクトを解放する解放処理を実行する請求項１に記載の画像処理装置。
前記解放要求受信手段が、複数の前記オブジェクトに対する前記解放要求を受信した場合には、前記解放手段は、前記解放要求が受信された前記オブジェクト毎に前記解放処理を実行する請求項１又は請求項２に記載の画像処理装置。
前記オブジェクトから通知される当該オブジェクトの前記依存関係情報の変化を示す更新依存関係情報を受信する更新依存関係情報受信手段を更に有し、
前記更新手段は、前記更新依存関係情報受信手段により受信された前記更新依存関係情報に応じ、前記通知した前記オブジェクトについて前記記録手段に記録されている前記依存関係情報を更新する請求項１から請求項３の何れか１項に記載の画像処理装置。
前記依存関係情報及び前記解放可能情報が削除されているべきオブジェクトの前記依存関係情報及び前記解放可能情報が前記記録手段に記録されている場合には、該当オブジェクトに対する前記解放要求が受信されていないことを示す警告を発生する警告発生手段を更に有する請求項１から請求項４の何れか１項に記載の画像処理装置。
画像処理装置に設けられたコンピュータを、
画像処理を実行するオブジェクトに対する解放要求を受信する解放要求受信手段と、
複数の前記オブジェクト内の依存関係のあるオブジェクトについて、依存先のオブジェクトが存在するオブジェクトに対しては依存先のオブジェクトを示すと共に、依存元のオブジェクトが存在するオブジェクトに対しては依存元のオブジェクトを示す記録手段に記録された依存関係情報から、前記解放要求が受信された解放対象の前記オブジェクトに前記依存元のオブジェクトが存在する場合には、前記解放対象のオブジェクトが解放可能であることを示す解放可能情報を前記記録手段に記録し、前記前記依存元のオブジェクトが存在しない場合には、前記解放対象のオブジェクトを解放する解放処理を実行する解放手段と、
オブジェクトの前記依存関係情報の変化に応じて前記記録手段に記録されている前記依存関係情報を更新する際、前記解放手段が前記解放可能情報を記録した前記解放対象のオブジェクトについて、依存先のオブジェクトがあれば当該依存先のオブジェクトとの間の前記依存関係情報を削除し、前記解放手段が前記解放処理を実行した前記解放対象のオブジェクトについて、当該オブジェクトに対応する前記依存関係情報及び前記解放可能情報を前記記録手段から削除することで、前記記録手段に記録されている前記依存関係情報及び前記解放可能情報を更新する更新手段と、
して機能させるための画像処理プログラム。