JP4585809B2 - 画像処理制御装置 - Google Patents
画像処理制御装置 Download PDFInfo
- Publication number
- JP4585809B2 JP4585809B2 JP2004226202A JP2004226202A JP4585809B2 JP 4585809 B2 JP4585809 B2 JP 4585809B2 JP 2004226202 A JP2004226202 A JP 2004226202A JP 2004226202 A JP2004226202 A JP 2004226202A JP 4585809 B2 JP4585809 B2 JP 4585809B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- dsp
- cpu
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Advance Control (AREA)
- Image Processing (AREA)
Description
図1に画像処理のうちのフィルタ処理における計算例を示す。一般的なクライアントPCのCPUは1画素単位に画像処理を実現するので、図の画像処理を実現するためには6サイクル必要になる(図1(a)参照)。それに対し、DSP(ディジタルシグナルプロセッサ)で同様の画像処理を実現しようとした場合、1SIMD(約数百画素)を同時に計算することができるので、1サイクルで6画素ではなく数百画素画像処理を実行することができる(図1(b)参照)。
このようにクライアントPCの性能が向上していても画像処理のアルゴリズムにおいては繰り返しで同じ計算を実行することがあるので、DSPで実現したほうがより高速化できることがある。関連技術として、特許文献1乃至3がある。
クライアントPCでの画像処理実行にはすべての画像処理が要求可能なので実現しなくてはいけない。この画像処理手段の得意不得意を画像処理制御装置が判断し、画像処理実行を切り分けることによって高速化することが望まれている。
本発明は、装置を単純化し、画像処理の高速化を図ることができる画像処理制御装置を提供することを目的とする。
請求項2記載の発明は、請求項1記載の画像処理制御装置において、前記画像処理制御部は、前記第1の手段で前記CPUの画像処理を実行する際、1ラインずつ処理を実行する機能を有することを特徴とする。
請求項3記載の発明は、請求項1記載の画像処理制御装置において、前記画像処理制御部は、前記第2の手段での前記画像処理デバイスの画像処理に必要なプログラムとデータとをダウンロードする機能を有することを特徴とする。
〔実施例1〕
図2は本発明の画像処理制御装置の構成図である。本装置は、取り扱う画像の表示や行いたい画像処理を決定する表示部1と、表示部1で決められた情報を管理する入力情報管理部2と、入力管理情報を元に画像処理を実行する画像処理制御部3の3つのモジュールを備えている。
表示部1でユーザとのインターフェースと画像処理やパラメータの指定を行う。入力情報管理部2はユーザからの設定値を具体的な値に変換して画像処理制御部3に伝える。画像処理制御部3が画像処理を終了して出力結果を表示部1に出力して処理を終了する。本発明は画像処理制御部3に特徴がある。
この画像処理制御部3の特徴は、クライアントPCのCPUで画像処理を実行する手段と、クライアントPCに設置されている画像処理デバイスで画像処理を実行する手段とを有している点である。
図3は、第1の画像処理制御部の構成図である。画像処理制御部3は、マネージャー層11と、画像処理サービスを提供する複数のサービス層12から構成される。マネージャー層11の機能は、画像処理制御部3に入力された情報の詳細化、サービス13の構築、リソースの管理を行う。
入力情報の詳細化は、入力情報そのままではサービス13が画像処理を実行するのに困難であることに対処したものであり、サービス13ごとに扱う情報が違うのでそれぞれのサービス13に適した情報に変換して画像処理を実現するタイミングに情報を伝達する。
実装されている画像処理デバイスをあらかじめ設定しておき、PCIボード上にディジタルシグナルプロセッサ(以下DSP)を搭載したボードを設置しておくと、マネージャー層11はクライアントPCのCPU(以下CPU)用のサービス13とDSP用のサービス13を構築する。
入力情報の詳細化に際しても、2つのサービス13が画像処理を実行できるようにそれぞれのサービス13に適した値に変換する。リソース管理に際しては、連続で複数の画像処理要求が入力情報管理部2から送られてくることも想定され、前の画像処理が各サービス13で終了していない状態になることがあるので、サービス13のリソース状態を管理し、画像処理実行可能かを判断する。
また、画像処理要求が入力情報管理部2からなされた場合、画像処理要求内容によって実行に必要なサービス13に、詳細化したパラメータとともに画像処理設定及び実行要求を送る。各サービス13は、マネージャー層11から画像処理設定及び実行要求を受け取った場合、変換された詳細情報を元に、CPU用のサービス13は画像処理に必要な1次変数の確保を実行する。DSP用のサービス13はダウンロード設定を行って画像処理実行の準備や、実際にビデオ情報を送られたときにその設定に従って画像処理を実行する。
図4は画像処理制御部のマネージャー層の構成図である。マネージャー層11は、実装されているサービスを制御するためのサービス構築部21、複数もしくは単一のサービス13の状態を判断するためのリソース管理部22、各画像処理モジュールに必要な詳細情報に変換する詳細変換部23を有する。
マネージャー層11は本装置ではこの3つの責務(機能)があるので最低限この処理を実現すればよい。CPUと画像処理デバイスDSP(以下CPUの他にDSPが実装されているとする)のどちらで処理を実現した方が高速化するか判断する手段は詳細変換部23が有する。
図5は第1のマネージャー層の詳細変換部の構成図である。ここで画像処理モジュールごとにどのサービス13用に詳細変換するか決定し、各画像処理モジュールを担当する詳細変換が決定したサービス13用に詳細変換を実行し、詳細情報を出力する。
まず、詳細変換マネージャー31は入力情報管理部2のユーザ入力情報から今回の画像処理で必要なモジュール用変換を決定する。決定されたモジュール、例えばフィルタ、スキュー補正、孤立点除去はそれぞれの詳細情報に変換するフィルタ用詳細変換部32、スキュー補正用詳細変換部33、孤立点除去用詳細変換部34によって変換される。
詳細変換マネージャー31は画像処理を実行するためにどのモジュールに詳細変換を要求するかわかるので、画像処理パスごとに使用するサービスをCPUやDSPに切り替えて個々のモジュールの変換部に伝える。個々の変換部はその詳細変換マネージャー31のどのサービス用の詳細情報に変換するかという情報を元にCPU用の詳細情報、DSP用の詳細情報を作成する。
図6は第2の画像処理制御部の構成図である。画像処理制御部3は、マネージャー層11と、画像処理サービスを提供する複数のサービス層12から構成される。サービス層12はCPU用サービス41とDSP用サービス42を持つ。
本画像処理制御装置は複数もしくは単一の画像処理デバイスを制御できるが、制御対象がCPUとDSPの2つと限定したものになる。したがって、図6の構成のマネージャー層11は、CPU用サービス41用の詳細情報とDSP用サービス42の詳細情報を管理する。他に、サービス構築部21やリソース管理部22もこの2つのサービス41、42が管理対象になる。
実施例3ではCPU用サービス41での画像処理実行要求時の動作になるのでこの処理部の説明をする。図7は画像処理実行要求時の画像ビデオ情報の流れを示す図である。
例として、指定された画像処理はフィルタ、スキュー補正、孤立点除去の順番で要求される。また、フィルタ、孤立点除去はDSP用サービス42が画像処理実行を担当し、スキュー補正処理はCPU用サービス41が担当することとする。
DSPは組込み系の画像処理装置に用いられることが多く内部に画像処理結果を保存する汎用メモリ51を持っている。しかし、クライアントPCに搭載されている汎用メモリに比べて容量が小さく、数ラインの画像データを確保する容量である。また、画像処理単位も数百画素で1ライン分画像データをためて出力する。
それに対しCPUでの画像処理単位は1画素なので、DSPからの処理結果を全ライン分クライアントPCの汎用メモリにためた後で画像処理を実行や、1ラインの出力データ(もしくは画像処理に必要な参照領域分のラインの画像データ)が出力された時点で画像処理を実行できる。
後者の1ラインの出力データ(もしくは画像処理に必要な参照領域分のラインの画像データ)が出力された時点で画像処理を実行するというように、CPUの画像処理を実行するための画像単位をDSPの制約に合わせることによって、無駄に汎用メモリ51に蓄積することを回避する。また、DSPからCPUへ処理を実行する画像処理デバイスを変更し、またDSPへ変更したとしても組込み系で実装されているDSPの画像処理プログラムを変更することなく扱うことが可能になる。
図8はDSP用サービスとDSPを搭載したPCIボードの関係を示す図である。この図は、マネージャー層11から画像処理設定要求がDSP用サービス42として受け付けたときの関係を示している。DSP用サービス42は、DSP制御部61と、プログラムとデータのライブラリ62で構成される。
クライアントPCに実装されている場合、本装置すべて含めてプログラムなので、図7に示した汎用メモリ51に保存されている。また、本装置の制御対象であるDSPを搭載したPCIボード63はPCIバス64に拡張ボードとして搭載していて、DSPを搭載したPCIボード63に画像処理を実行するDSP65が実装されている。
制御の流れを説明する。マネージャー層11から画像処理設定要求を受けたとき、DSP制御部61は、マネージャー層11の詳細変換部23がモジュールごとに変換した詳細情報を元に、今回の画像処理でDSP65に設定が必要なプログラムとデータを自身が保持するプログラムとデータのライブラリ62を参照し具体的な設定値を取得する。具体的な設定値を取得した後、PCIバス64を経由してPCIボード63に搭載されている制御対象であるDSP65にプログラム、データのダウンロードを行い、要求されている画像処理が実現できる状態にする。
また、画像処理実行要求時にはプログラム、データのダウンロード同様にPCIバス64を経由して画像ビデオ情報を、PCIボード63送り、DSP65で画像処理を実行させ、その出力結果を汎用メモリ51に保存する制御を行う。
実施例2は画像処理パスからそのパスを構成する全モジュールについてどのサービス13用の詳細情報に変換するか決定したが、画像処理モジュール単位にサービスを切り替えた方が高速化する例を示す。
図9は第2のマネージャー層の詳細変換部の構成図である。図5との違いは、フィルタ用詳細変換部32はDSP用のフィルタ処理の詳細情報を出力し、スキュー補正用詳細変換部33はCPU用のスキュー補正処理の詳細情報を出力し、孤立点除去用詳細変換部34はDSP用の孤立点除去の詳細情報を出力する点である。
実施例2では詳細変換マネージャー31が画像処理パス等の情報から全体的に決定していたのに対し、図9に示す詳細変換部23は、各モジュールであるフィルタ用詳細変換部32、スキュー補正用詳細変換部33、孤立点除去用詳細変換部34が出力する変換情報を切り替えて作成する。切り替えに際しては前回の画像処理実行時間にかかった時間を計測し、その結果で判断することや、画像サイズから判断する。
しかし、これらの方法で判断することも可能であるが、判断のための処理にも時間がかかる。基本的にCPUの特徴で1処理は高速であるが1画素単位に画像処理を実行する。DSPの特徴で1処理はCPUに比べると遅いが数百画素単位に画像処理を実行する。
このことより、DSPは繰り返し処理には高速に対応できるので、フィルタや孤立点除去処理のように同じ計算の繰り返し処理はあらかじめDSP用の詳細情報しか作成しないように設定し、繰り返し処理ではないスキュー補正処理はCPU用の詳細情報しか作成しないように設定する。
画像処理単位で得意不得意をサービス13ごとに設定しておき、判断せずにその得意の画像処理の詳細情報変換のみを作成しておき、サービス13はこの詳細変換部23が変換した詳細情報を元に変換すれば画像処理の高速化を図ることができる。
図10は画像処理デバイスがDSPとCPUである場合の画像ビデオ情報の流れを示す図である。図の各画像処理デバイスの状態は、マネージャー層11が各サービス13に画像処理設定要求をし終え、各サービスは画像ビデオ情報を送ればユーザが指定した画像処理が実行できる状態である。
また、各画像処理デバイスが担当する画像処理モジュールはフィルタ、スキュー補正、孤立点除去が選ばれた場合で、フィルタと孤立点除去処理はDSP65が担当し、スキュー補正のみCPUで演算することとする。
また、縦軸は時間軸なので、DSP65を搭載したPCIボード63とDSP65は2セット存在しているわけではなく、CPU演算処理後の画像を再び同一のDSPを搭載したPCIボード63とDSP65が実行していることを示している。画像ビデオ情報の流れもマネージャー層11の画像処理実行要求とともに各サービス13が担当し、担当する画像処理デバイスに送る。
ユーザの指定する画像ファイルを開き読み取り可能にし、最初の画像処理はDSP用サービス42で画像処理を実現するので、DSP制御部61がPCIボード63上のDSP65に対し画像ビデオ情報を1もしくは数ライン単位で送る。画像ビデオ情報が送られたDSP65はマネージャー層11からの画像処理設定要求時にDSP用サービス42に設定された画像処理プログラムとデータを用いてフィルタ演算を行い、1もしくは数ライン単位で処理結果を出力する。
その画像ビデオ情報を汎用メモリ51に格納せずに、CPU用サービス41に送りCPU用サービス41の画像処理演算部は画像処理を実行する。その出力画像ビデオ情報を再びDSP用サービス42のDSP制御部61に送り、PCIボード63上のDSP65に対し画像ビデオ情報を1もしくは数ライン単位で送る。最後に孤立点除去処理を終了した画像ビデオ情報を画像ファイルとして保存し、表示部1に情報を送り画像処理出力結果を表示する。
このようにユーザが意識することなく画像処理制御装置は、画像処理デバイスを切り替えて、切り替えた順番に画像ビデオ情報を送り画像処理を実行させることによって高速に出力結果を得ることができる。
Claims (3)
- クライアントPCからの画像処理を実行して結果を出力する画像処理制御装置であって、取り扱う画像を表示できると共に、行いたい画像処理を決定できる表示部と、前記表示部で決められた情報を入力管理情報として管理する入力情報管理部と、前記入力管理情報に基づいて画像処理を実行する画像処理制御部とを備え、
前記画像処理制御部は、前記クライアントPCのCPUにより画像処理を実行させる第1の手段と、前記クライアントPCに設置されている画像処理デバイスにより画像処理を実行させる第2の手段と、前記表示部で決定された画像処理を実行する際、前記第1の手段又は前記第2の手段の何れを実行すれば高速化するかの判断を行わせるために画像処理パスに対して制御情報を用意する第3の手段と、前記第3の手段における前記制御情報に基づく前記判断の結果に応じて前記第1の手段又は前記第2の手段の実行を画像処理手段に対して切り替え制御させる第4の手段と、を備え、更に、前記第4の手段の切り替え制御により前記第1の手段で前記CPUの画像処理を実行するときに当該CPUの画像処理を実行するための画像単位を前記画像処理デバイスの制約に合わせる機能を有することを特徴する画像処理制御装置。 - 請求項1記載の画像処理制御装置において、前記画像処理制御部は、前記第1の手段で前記CPUの画像処理を実行する際、1ラインずつ処理を実行する機能を有することを特徴とする画像処理制御装置。
- 請求項1記載の画像処理制御装置において、前記画像処理制御部は、前記第2の手段での前記画像処理デバイスの画像処理に必要なプログラムとデータとをダウンロードする機能を有することを特徴とする画像処理制御装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004226202A JP4585809B2 (ja) | 2004-08-02 | 2004-08-02 | 画像処理制御装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004226202A JP4585809B2 (ja) | 2004-08-02 | 2004-08-02 | 画像処理制御装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006048254A JP2006048254A (ja) | 2006-02-16 |
JP4585809B2 true JP4585809B2 (ja) | 2010-11-24 |
Family
ID=36026746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004226202A Expired - Fee Related JP4585809B2 (ja) | 2004-08-02 | 2004-08-02 | 画像処理制御装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4585809B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003099249A (ja) * | 2001-07-17 | 2003-04-04 | Sanyo Electric Co Ltd | データ処理装置 |
JP2005524143A (ja) * | 2002-04-25 | 2005-08-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | スケーラブルプロセッサにおける自動タスク分散 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2069711C (en) * | 1991-09-18 | 1999-11-30 | Donald Edward Carmon | Multi-media signal processor computer system |
JPH06250711A (ja) * | 1993-03-01 | 1994-09-09 | Toshiba Corp | プログラマブルコントローラ |
JPH0744504A (ja) * | 1993-07-27 | 1995-02-14 | Hitachi Ltd | Cpuと複数のpu,fpuから成る演算ユニット |
FR2719926B1 (fr) * | 1994-05-10 | 1996-06-07 | Sgs Thomson Microelectronics | Circuit électronique et procédé d'utilisation d'un coprocesseur. |
-
2004
- 2004-08-02 JP JP2004226202A patent/JP4585809B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003099249A (ja) * | 2001-07-17 | 2003-04-04 | Sanyo Electric Co Ltd | データ処理装置 |
JP2005524143A (ja) * | 2002-04-25 | 2005-08-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | スケーラブルプロセッサにおける自動タスク分散 |
Also Published As
Publication number | Publication date |
---|---|
JP2006048254A (ja) | 2006-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5653865B2 (ja) | データ処理システム | |
CN108495043A (zh) | 图像数据处理方法及相关装置 | |
US7724986B2 (en) | Image processor, image processing method, and computer product | |
JP2010016826A (ja) | 画像処理オペレーションを効率的に実行するためのシステム及び方法 | |
JP4640989B2 (ja) | 画像処理装置及び画像処理制御方法 | |
JP4585809B2 (ja) | 画像処理制御装置 | |
JP5277615B2 (ja) | データ処理装置及びデータ処理プログラム | |
US20120222030A1 (en) | Lazy resource management | |
JP4690115B2 (ja) | 制御装置及び画像処理装置 | |
JP5407631B2 (ja) | 回路情報生成装置、機能実行システム、及びプログラム | |
JP2009064303A (ja) | 撮像装置、共用リソース管理方法、およびプログラム | |
JP2009081709A (ja) | 画像処理システムおよび画像処理装置 | |
US20050228966A1 (en) | Processor system and data processing method | |
JP2003036435A (ja) | 画像処理装置及び方法 | |
JP5560785B2 (ja) | 情報処理装置、画像形成装置及び情報処理方法 | |
KR101871941B1 (ko) | 카메라의 동작 방법, 카메라, 및 감시 시스템 | |
US20090024665A1 (en) | Method and apparatus for processing data | |
EP2979428B1 (en) | Efficient socket transfer | |
JP2003249965A (ja) | データ転送方法およびそのデータ転送方法を利用するデータ入力装置,デバイス制御モジュール,画像形成装置 | |
JP3747985B2 (ja) | 情報処理システム | |
JP2007088522A (ja) | 画像処理装置 | |
JP3959407B2 (ja) | 画像処理装置及び画像処理システム | |
KR102056450B1 (ko) | 변경된 품질을 갖는 이미지를 포함하는 콘텐츠를 제공하는 방법 및 장치 | |
JP2008003925A (ja) | ハードウェアデバイス制御装置とその処理データの設定管理方法および画像処理装置 | |
JP2002337400A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070706 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070718 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070718 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100427 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100824 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100906 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |