JPH04114286A - 画像データ処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （概要〕 ビデオ機器の出力する画像データを処理する画像データ
処理装置に関し、 画像データを実時間で処理しつつ、汎用的な画像処理操
作を効率的に施せるようにすることを目的とし、 各プロセンサモジュールが、処理対象の画像データの全
領域を入力メモリに読み込むよう構成するとともに、読
み込んだ画像データを複数の小領域に分割するよう構成
し、かつ、各プロセンサモジュールは、ソフトウェア手
段により構成されて、分割する小領域に対して画像処理
操作を施す画像処理実行手段と、画像処理実行手段の処
理単位の処理終了時に未処理の小領域を特定して、該小
領域に対しての画像処理操作の実行を要求するスケジュ
ーリング手段とを備えて、画像処理実行手段に従って、
スケジューリング手段により指定された小領域を並列的
に画像処理していくよう構成する。

〔産業上の利用分野〕

本発明は、ビデオ機器の出力する画像データを実時間で
処理しつつ、汎用的な画像処理を効率的に施せるように
する画像データ処理装置に関するものである。

近年、様々な分野で、ＴＶカメラ等の画像入力機器から
読み込んだ画像データを計算機処理していく画像処理技
術が利用されている。この画像処理技術では、リアルタ
イムでの検査処理等を可能にするために、画像入力機器
からの画像データを実時間で処理していくことが要求さ
れるとともに、種々の分野への通用を可能とするために
、画像処理操作に汎用性を持たせていくことが要求され
ることになる。この高速性と汎用性という２つの要求は
、画像データの情報量が極めて多いことに起因して互い
に相反する要求となるものであるが、今後の画像データ
処理装置では、この相反する要求である高速性と汎用性
という２つの要求に対応できるようなアーキテクチャを
構築していく必要があるのである。

〔従来の技術〕

従来の画像データ処理装置では、ソフトウェアによる画
像処理操作では実時間処理を実現できないために、画像
処理操作をハードウェアａ構で実現していくという方法
が採られていた。しかしながら、ハードウェア機構によ
る画像処理操作では、画像処理操作の内容が固定的にな
ってしまうため、別の１ｆＪ類の画像処理要求に対して
全く対応できないという問題点があった。

そこで、本出願人は、特開昭６１４３３７９号公報で開
示したように、画像データ処理装置を、種々の画像処理
操作を行う複数のハードウェアモジュールと、それらの
ハードウェアモジュール相互間を任意に組み合わせられ
るようにするネットワーク回路と、このネットワーク回
路を制御するネットワーク制御部とから構成させること
で、任意の画像処理操作のパイプライン処理を実現して
、高速な画像処理を実行しつつ汎用性も持たせられるよ
うにする画像データ処理装置を提案したのである。

〔発明が解決しようとする課題） 確かに、本出願人が開示した特開昭６１−１３３７９号
公報の発明では、高速性を実現しつつある程度の汎用性
を実現できたものの、基本的には、画像処理操作をハー
ドウェアａ構で実行しているようにしていることから、
十分な汎用性を備えているとは言えないものであった。

これを解決するための１つの方法として、第５図に示す
ように、画像データ処理装置をマルチプロセッサで構成
するとともに、各プロセッサモジュールが自モジュール
に割り付けられる小頭域の画像データを読み込んで処理
していくことで処理情報量の削減を図って、実時間処理
で行う画像処理操作をソフトウェアにより実行可能にし
ていくという方法を採ることが考えられる。しかるに、
このような方法を採ると、函体処理操作対象の画像要素
の分布状態により稼働していないプロセンサモジュール
が存在することで、システム性能の低下を招くという新
たな問題点がでてくることになる。また、プロセッサモ
ジュールを画像データの分割数分用意しなければならな
ず、ハードウェア量が大きくなるという問題点もある。

本発明はかかる事情に鑑みてなされたものであって、ビ
デオ機器の出力する画像データを実時間で処理しつつ、
汎用的な画像処理を効率的に施せるようにする新たな画
像データ処理装置の提供を目的とするものである。

〔課題を解決するための手段］ 第１図は本発明の原理構成図である。

図中、１は例えばＴＶカメラ等のようなビデオ入力機器
であって、画像データを連続的に出力するもの、２は複
数備えられるプロセッサモジュールであって、ビデオ入
力機器１の出力する画像データに対して汎用的な画像処
理操作を並列的に実行するもの、３は例えばＴＶ等のよ
うなビデオ出力機器であって、画像処理操作の施された
画像データを表示等するもの、４はビデオ入力機器１と
プロセンサモジュール２との間を接続する入力用ビデオ
バス、５はビデオ出力ｉ器３とプロセッサモジュール２
との間を接続する出力用ビデオバスである。

各プロセッサモジュール２は、ビデオ入力機器１から送
られてくる画像データから画素位置のアドレス情報を生
成するアドレス生成手段６と、ビデオ入力機器１から送
られてくる画像データを格納する第１の入力メモリ７及
び第２の入力メモリ８と、ソフトウェア手段により構成
されて、入力メモリ７．８に格納される画像データの小
領域に対して所定の画像処理操作を施す画像処理実行手
段９と、入力メモリ７．８の一方をビデオ入力機器１側
に接続し、他方を画像処理実行手段９側に接続するとと
もに、この接続関係を入力されてくる画像データ単位毎
に切り換えていく接続切換手段１０と、画像処理実行手
段９の演算結果を格納する第１の出力メモリ１１及び第
２の出力メモリ１２と、出力メモリ１１．１２の一方を
ビデオ出力機器３側に接続し、他方を画像処理実行手段
９側に接続するとともに、この接続関係を出力対象の画
像データ単位毎に切り換えていく接続切換手段１３と、
出力メモリ１１．１２に対して、画像処理実行手段９の
実行する画像処理操作により変化を受けない値を初！ｉ
ｌｌ値データとして書き込む初３１Ｊ］　（ａ書込手段
１４と、出力メモリ１１．１２から画像データを出力す
るときに、比較処理に従って該画像データが初期値書込
手段１４により書き込まれた初期値データ以外のもので
あるか否かを検出する比較手段１５と、画像処理実行手
段９の処理単位の処理終了時に未処理の小領域を特定し
て、画像処理実行手段９に対して該未処理の小領域につ
いての画像処理操作の実行を要求するスケジェーリング
手段１６とを備えるよう構成する。

〔作用〕

本発明では、各プロセッサモジュール２の入力用ビデオ
バス４側に接続された一方の入力メモリ７．８は、アド
レス生成手段６の生成するアドレス情報に同期させて、
ビデオ入力機器１から送られてくる１枚分の画像データ
の全領域を格納していく処理を実行していく。この格納
処理時に、各プロセッサモジュール２の画像処理実行手
段９は、前回の処理サイクル時の１枚分の画像データを
格納しているもう一方の入力メモリ７．８（画像処理実
行手段９側に接続されている）から、スケジューリング
手段１６の指定する小領域の画像データを読み出して画
像処理操作を施していくとともに、その画像処理操作の
演算結果の画像データを画像処理実行手段９側に接続さ
れた一方の出力メモリ１１．１２に書き込んでいくよう
処理する。

画像処理実行手段９による小頭域の画像データに対して
の処理が終了すると、スケジューリング手段１６は、他
のプロセッサモジュール２のスケジューリング手段１６
と通信処理を行うことで、未だ処理されていない小領域
を特定するとともに、処理の終了した自モジュールの画
像処理実行手段９に対して、その特定した小領域の画像
データについての画像処理操作の実行を要求する。この
ようにして、各プロセッサモジュール２の画像処理実行
手段９は、スケジューリング手段１６により指定されて
いく未処理の小領域の画像データを入力メモリ７．８か
ら読み出して画像処理操作を施してい（とともに、その
画像処理操作の演算結果の画像データを出力メモリ１１
．１２に古き込んでいくよう処理していくことになる。

このとき、初期値書込手段１４は、画像処理実行手段９
による画像データの書込処理に先立って、書込対象の出
力メモリ１１．１２に対して、画像処理操作により変化
を受けない値を初期値として書き込んでおくよう処理す
ることになる。

この出力メモリ１１．１２への書込処理時に、前回の処
理サイクル時の画像処理操作の施された１枚分の画像デ
ータを格納しているもう一方の出力メモリ１１．１２（
出力用ビデオハス５側に接続されている）は、アドレス
生成手段６の生成するアドレス情報に同期させて、画像
データを比較手段１５に出力していく処理を実行する。

この出力対象の画像データを受は取ると、比較手段１５
は、出力対象の画素の画像データが初期値書込手段１４
の書き込んだ初期値以外の値を持つものであるときには
、その値の画像データを出力していくよう処理するとと
もに、初期値の値を持つものであるときには、何も出力
していかないよう処理する。この比較手段１５の出力処
理を受けて、ビデオ出力機器３は、各プロセッサモジュ
ール２の比較手段１５から出力されてくる画像データを
合成していくことで、画像処理実行手段９により画像処
理操作された画像データを得るよう処理していくことに
なる。

接続切換手段１０は、ビデオ入力機器１から新たな１枚
分の画像データが送られてくるタイミングになると、そ
れまで入力用ビデオバス４側に接続させていた入力メモ
リ７．８を画像処理実行手段９側に切り換えるとともに
、それまで画像処理実行手段９側に接続させていた入力
メモリ７．８を入力用ビデオバス４側に切り換え、そし
て、接続切換手段１３は、ビデオ入力機器１から新たな
１枚分の画像データが送られてくるタイミングになるこ
とでビデオ出力機器３に画像データを出力していくタイ
ミングになると、それまで画像処理実行手段９側に接続
させていた出力メモリ１１１２を出力用ビデオバス５側
に切り換えていくとともに、それまで出力用ビデオバス
５側に接続させていた出力メモリ１１．１２を画像処理
実行手段９側に切り換えていくことで、続いて送られて
くる１枚分の画像データの画像処理の実行に処理を進行
させていくことになる。

このように、本発明では、１枚分の画像データの画像処
理を分割しながら複数のプロセッサモジュール２で実行
していく構成を採るので、各プロセッサモジュール２の
実行する演算量が少なくでき、ソフトウェアによる画像
処理操作を採用しても実時間処理が可能になることにな
る。これから、汎用的な画像処理を実行できるようにな
る。そして、各プロセッサモジュール２に対して、処理
対象の画像顛域を固定的に割り付けるのではなくて、ス
ケジューリング機能に従って空いたプロセッサモジュー
ル２に未処理の画像領域を割り付けていくように構成す
るものであることから、高速に画像処理を実行できるよ
うになるのである。

〔実施例〕

以下、実施例に従って本発明の詳細な説明する。

第２図に、本発明の一実施例を図示する。図中、２０は
プロセッサモジュールであって、ＭＩＭＤ型の並列計算
機を構成して画像処理を実行するもの、２１は入力用ハ
スであって、ＴＶカメラ等のビデオ機器から転送されて
くる画像データをプロセッサモジュール２０に入力する
もの、２２は出力用バスであって、プロセッサモジュー
ル２０で画像処理された画像データをＴＶ等のビデオ機
器に出力するもの、２３はプロセッサ間通信バスであっ
て、プロセッサモジュール２０間のデータ通信処理のデ
ータの授受を司るものである。

各プロセッサモジュール２０は、ＣＰＵ２４、メモリ２
５、入力用メモリ２６、入力用セレクタ２７、出力用メ
モリ２Ｂ、出力用セレクタ２９、初期化回路３０、初期
値用セレクタ３１、バス制御機構３２及び同期信号分離
回路３３を備える。

このメモリ２５は、ＣＰＵ２４上で走行する画像処理機
能のプログラム（各プロセンサモジュール２０で同時に
実行可能となる形式で記述されることになる）や、Ｓ亥
プログラムのスケジューリングを処理するプログラムを
格納し、入力用メモリ２６は、２＆１１用意されて、入
力用バス２１を介して転送されてくる１枚分の画像デー
タを格納し、入力用セレクタ２７は、画像データの１転
送フレーム毎に入力用メモリ２６を交互に選択して、転
送されてくる画像データをその選択した一方に格納して
いくとともに、もう一方に格納されている画像データ（
前回の処理サイクル時に転送されてきたもの）をＣＰＵ
２４に与えていくよう処理し、出力用メモリ２８は、２
組用意されて、ＣＰＵ２４のプログラム走行処理により
得られる画像データを格納し、出力用セレクタ２９は、
同様に１転送フレーム毎に出力用メモリ２８を交互に選
択して、ＣＰＵ２４からの画像データをその選択した方
に格納していくとともに、もう一方に格納されている画
像データ（前回の処理サイクル時に格納されたもの）を
出力用バス２２を介して外部機器に出力していくよう処
理し、初期化回路３０は、画像データの出力処理後に、
出力処理した出力用メモリ２８に画像処理操作により変
化を受けない値（例えば’Ｏ”）を初期値として書き込
み、初期値用セレクタ３１は、初期化回路３０の書き込
む出力用メモリ２８を選択し、ハス制御機構３２は、画
像データの出力処理を司り、同期信号分離回路３３は、
転送されてくる画像データ中に含まれる同期信号を分離
することで画像データの画素位置のアドレス情報を生成
して、入力用メモリ２６や出力用メモリ２８やバス制御
機構３２に供給していくよう処理する。

第３図に、このバス制御機構３２の詳細な構成例を図示
する。この図に示すように、バス制御機構３２は、初期
化回路３０の書き込む初期値データを保持する初期値格
納レジスタ３４と、この初期値格納レジスタ３４の保持
値と出力用セレクタ２９を介して入力されてくる画像デ
ータとを入力として、入力されてくる画像データが初期
値データと異なる値を持つものであるか否かを検出する
比較器３５と、比較器３５が不一致を検出することを条
件にして、出力用セレクタ２９を介して入力されてくる
画像データを出力用バス２２に出力する出力制御回路３
６とを備えることで、画像処理操作の施された画像デー
タのみを外部機器に出力していくよう制御することにな
る。

このように、入力用メモリ２６を２１ｆｌ用意するとと
もに、この入力用メモリ２６を交互に切り換えていく入
力用セレクタ２７を備える構成を採るのは、入力用バス
２１側に接続されている入力用メモリ２６に１枚分の画
像データを格納している間に、ＣＰＵ２４側に接続され
ている入力用メモリ２６の画像データをＣＰｔＪ２４に
与えてい（ことで、ＣＰＵ２４の走行処理による画像処
理操作を実時間でもって実現できるようにするためであ
り、また、出力用メモリ２８を２組用意するとともに、
この出力用メモリ２８を交互に切り換えていく出力用セ
レクタ２９を備える構成を採るのは、ＣＰＵ２４側に接
続されている出力用メモリ２８に演算結果の画像データ
を格納している間に、出力用バス２２側に接続される出
力用メモリ２９の画像データを出力用バス２２に出力し
ていくことで、画像処理操作の施された画像データの出
力処理を実時間でもって実現できるようにするためであ
る。

第１図でも説明したように、本発明では、画像データを
分割して処理すべくマルチプロセッサシステムを採って
、各プロセッサモジュール２０が少ない画像データを処
理対象とすることで、ソフトウェア処理による汎用的な
画像処理操作の実現を図るとともに、この構成を採るに
あたって、プロセッサモジュール２０を画像データの分
割数分用意するのではなくて、分割数より少ない個数用
意して、空いているプロセッサモジュール２０が未処理
の分割領域部分についての画像処理を実行していくこと
で、効率的な画像処理の実現を図るよう構成するもので
ある。

この各プロセンサモジュール２０の画像処理のスケジュ
ーリングは、具体的には、プロセッサモジュール２０に
より構成されるＭＩＭＤ型の並列計算機の具備するオペ
レーティング、ステムのスケジューリング機能により実
現されることになる。

なお、このＭＩＭＤ型の並列計算機を構成する各プロセ
ンサモジュール２０の結合方式は、密結合でも疎結合で
もよい。

このように、本発明では、処理対象となっている１枚分
の画像データの処理の終了時点まで、画像処理操作の施
された各画素の画像データが、いｆｈのプロセッサモジ
ュール２０の出力用メモリ２８番こ格納されているかが
不明となる構成が採られる。これから、本発明では、各
プロセッサモジュール２０の出力用メモリ２８が、同ル
１信号分離回路３３の発生するアドレス情報の指定する
画素の画像データを同時に読み出してバス制御機構３２
に出力していく構成を採るとともに、初期値以外の画像
データ、すなわち、画像処理操作の施された画像データ
を格納するプロセッサモジュール２０のバス制御機構３
２が、上述の処理に従って画像処理操作の施された画像
データを外部機器に対して出力していくよう構成するこ
とで、画像処理操作の施された画像データの全領域を復
元可能にしていくよう処理するものである。

次に、第４図に示す画像データの具体例に従って、この
ように構成される本発明の有効性について説明する。こ
こで、この説明を分かり易いものにするために、プロセ
ッサモジュール２０の台数を２台で想定するとともに、
画像データを１６個の小領域に分割して処理していくこ
とを想定する。

第４図中の斜線で示す領域が例えば「赤い色」を持つ画
像領域で、この「赤い色」の画像領域の面積値を測定す
る画像処理を実行していく場合、「赤い色」の画像領域
を持たない小頭域では画像処理に”Ｔ”時間を要し、「
赤い色」の画像領域を持つ小領域では“２Ｔ″時間を要
するとすると、本発明の構成を採ることで、プロセッサ
「ｌ」が奇数番号の小領域の画像処理を実行し、プロセ
ッサ「２」が偶数番号の小領域の画像処理を実行しティ
くことで、合計″１３Ｔ”時間でもってすべての画像処
理を終了していくことになる。これに対して、本発明の
ようなスケジューリング処理を実行しない構成を採ると
、プロセッサ「１」は、第１番目から第８番目の小領域
の画像処理を実行していくとともに、プロセッサ「２」
は、第９番目から第１６番目の小領域の画像処理を実行
していくことになるので、プロセッサ「ｌ」が合計“Ｉ
ＯＴ”時間でもってすべての画像処理を終了していくの
に対して、プロセッサ「２」が合計“１６Ｔ”時間でも
ってすべての画像処理を終了していくということになる
ことから、全領域について見るならば、画像処理の完了
までに合計“１６Ｔ”時間を要することになる。

すなわち、この第４図の例からも明らかとなるように、
本発明を用いることで、すべてのプロセッサモジュール
２０が同時に動作状態になることになるので、画像デー
タに対しての画像処理を高速に実行できるようになるの
である。

〔発明の効果］ 以上説明したように、本発明によれば、１枚の画像デー
タの画像処理を分割しながら複数のプロセッサモジュー
ルで実行していく構成を採るので、各プロセッサモジュ
ールの実行する演算量が少なくでき、ソフトウェアによ
る実時間処理の画像処理操作が可能になる。これから、
汎用的な画像処理を実行できるようになる。そして、各
プロセッサモジュールに対して、処理対象の画像領域を
固定的に割り付けるのではなくて、スケジューリング機
能に従って空いたプロセッサモジュールに未処理の画像
領域を割り付けていくように構成するものであることか
ら、高速に画像処理を実行できるようになるのである。

【図面の簡単な説明】

第１図は本発明の原理構成図、 第２図は本発明の一実施例、 第３図はハス制御機構の構成例、 第４図は本発明の詳細な説明するだめの説明図、 第５図は本発明が解決対象としている課題を解決するた
めの技術構成の説明図である。 図中、１はビデオ入力機器、２はプロセッサモジュール
、３はビデオ出力機器、４は入力用ビデオハス、５は出
力用ビデオハス、６はアドレス生成手段、７は第１の入
力メモリ、８は第２の入力メモリ、９は画像処理実行手
段、１０は接続切換手段、１１は第１の出力メモリ、１
２は第２の出力メモリ、１３は接続切換手段、１４は初
期値書込手段、１５は比較手段、１６はスケジューリン
グ手段である。

Claims (3)

【特許請求の範囲】
1. （１）ビデオ機器の出力する画像データを読み込んで画
   像処理を施すとともに、該画像処理により得られた画像
   データを出力していくプロセッサモジュール（２）の複
   数により構成される画像データ処理装置であって、 各プロセッサモジュール（２）が、処理対象の画像デー
   タの全領域を入力メモリに読み込むよう構成するととも
   に、読み込んだ画像データを複数の小領域に分割するよ
   う構成し、 かつ、各プロセッサモジュール（２）は、ソフトウェア
   手段により構成されて、分割する小領域に対して所定の
   画像処理操作を施す画像処理実行手段（９）と、 該画像処理実行手段（９）の処理単位の処理終了時に未
   処理の小領域を特定して、該画像処理実行手段（９）に
   該未処理の小領域に対しての画像処理操作の実行を要求
   するスケジューリング手段（１６）とを備え、 各プロセッサモジュール（２）は、上記画像処理実行手
   段（９）に従って、上記スケジューリング手段（１６）
   により指定された小領域を並列的に画像処理していくよ
   う構成されてなることを、 特徴とする画像データ処理装置。
2. （２）請求項（１）記載の画像データ処理装置において
   、画像処理実行手段（９）の演算結果を格納する出力メ
   モリに、画像処理操作により変化を受けない値を初期値
   データとして書き込む初期値書込手段（１４）と、 出力メモリから画像データを出力するときに、該画像デ
   ータが上記初期値書込手段（１４）により書き込まれた
   初期値データ以外のものであるか否かを検出する比較手
   段（１５）とを備え、 各プロセッサモジュール（２）は、出力対象の画像デー
   タが上記比較手段（１５）により初期値データ以外のも
   のであると検出されるときに該画像データを出力してい
   くことで、画像処理操作の施された画像データの出力処
   理を実行していくよう構成されてなることを、 特徴とする画像データ処理装置。
3. （３）請求項（１）又は（２）記載の画像データ処理装
   置において、 各プロセッサモジュール（２）は、入力メモリ及び出力
   メモリをそれぞれ２つ用意するよう構成し、かつ、２つ
   用意されるメモリの一方を外部機器側に接続し、他方を
   画像処理実行手段（９）側に接続するとともに、この接
   続関係を処理対象となる画像データ単位毎に切り換えて
   いく接続切換手段（１０、１３）を備え、 各プロセッサモジュール（２）は、上記接続切換手段（
   １０、１３）の処理に従って、入力メモリに対して画像
   データを読み込みつつ、画像処理操作を実行していくと
   ともに、出力メモリに対して画像処理操作の演算結果を
   書き込みつつ、外部機器に対して画像データを出力して
   いくよう構成されてなることを、 特徴とする画像データ処理装置。