JPH07334671A - 超高速画像処理システムのフィルタリング処理方式 - Google Patents

Abstract

(57)【要約】 【目的】 複数のフィルタリング処理を逐次的に実行す
る場合の処理時間を短縮する。 【構成】 １行分の画像データの全部または一部をラス
タースキャン順に取り込む複数の入力要素からなる入力
ユニットと、各入力要素からの画像データが同時に転送
され、画素単位で並列的に画像処理演算を行う複数の処
理要素からなる処理ユニットと、各処理要素からの処理
データが同時に転送される複数の出力要素からなる出力
ユニットと、入力ユニット、処理ユニット、出力ユニッ
トを制御するコントローラとを備え、順次各行毎に画素
単位で複数のフィルタリング処理を行う超高速画像処理
システムであって、１回の入出力において複数のフィル
タリング処理を逐次的に実行するようにしたことを特徴
とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は大規模画像の前処理を実
時間で行うことができる超高速画像処理システムＲＩＰ
Ｅ（Ｒｅａｌ−ｔｉｍｅ Ｉｍａｇｅ Ｐｒｏｃｅｓｓ
ｉｎｇ Ｅｎｇｉｎｅ）のフィルタリング処理方式に関
するものである。

【０００２】

【従来の技術】医療、工業生産などの分野で計算機を用
いた画像処理の必要性が高まって来ている。これらの応
用分野における近い将来の目標は２次元またはそれ以上
の多次元大規模画像（高画質画像）の実時間処理であ
る。システムの認識能力を向上させるためには画像自体
の分解能をあげることが必須であるが、そのためには、
画素数を増大させること、および前処理でのフィルタの
マスクサイズを増大させることが必要である。

【０００３】ここ数年間での画像処理に対する具体的要
求の例として以下の３項目が考えられる。

【０００４】１画像当たり２０４８×２０４８以上の
画素を持つ多値およびカラーの画像の処理が可能となる
こと。

【０００５】上記の画像に対してフィルタリングなど
の局所並列処理が高速に行えること、および ５０×５０程度の大きさのマスクを用いたフィルタリ
ング処理が可能であること。

【０００６】画像処理ではフィルタリングを中心とする
前処理が行われる場合が多く、画像の規模およびフィル
タの規模が増大するのに従い、前処理に必要な計算時間
は急激に増加する。

【０００７】これまで医療、工業生産などで実用化され
ている画像処理システムでは、５１２×５１２程度の画
素を持つ画像を対象としているが、２０４８×２０４８
画素程度の解像度を持つ医療用Ｘ線フィルムなどの複雑
な濃淡画像の前処理を行うためには、スーパーコンピュ
ータなどの汎用大型計算機を用いても実時間処理は困難
である。このような大規模画像の前処理を効率よく行う
専用システムを実現するためには、処理の並列化および
パイプライン化が有効であると考えられる。特にフィル
タリング処理のアルゴリズムの多くは並列型の積和演算
を頻繁に用いているので、画素単位での空間並列処理が
効果的であると考えられる。

【０００８】

【発明が解決しようとする課題】ところで、本出願人は
既に超高速画像処理システムＲＩＰＥを提案している。
図１は超高速画像処理システムＲＩＰＥのハードウェア
構成を示す図、図２は各画像処理要素を示す図である。
図中、１はベースポインタ、２はリファレンスポイン
タ、３は加減算器、４はスリットメモリ、１０は入力ユ
ニット（ＬＩＵ）、１０−１〜１０−ｎはラッチ回路
（ＩＥ）、２０は処理ユニット（ＬＰＵ）、２０−１〜
２０−ｎは処理要素（ＰＥ）、３０は出力ユニット（Ｌ
ＯＵ）、３０−１〜３０−ｎはラッチ回路（ＯＥ）、４
０はホストコンピュータ、５０は外部コントローラ、２
１−ｉはセレクタ、２２−ｉは算術論理ユニット（ＡＬ
Ｕ）、２３−ｉはレジスタファイル、２４−ｉはフラグ
レジスタ、２５−ｉは通信コントローラ、２６−ｉはバ
スである。

【０００９】ＲＩＰＥでは、６５５３６階調（１６ビッ
ト）の濃淡画像データに対する各行の処理を、入力−演
算−出力の３つのステージに分割し、パイプライン的に
処理することにより画像データの入出力と演算処理を平
行して行うものであり、演算ステージでは画像１行中の
画素数と同じ個数のＰＥ（Ｐｒｏｃｅｓｓｉｇ Ｅｌｅ
ｍｅｎｔ）を用い、外部コントローラより各ＰＥに対し
て同一の命令を１つづつ与え、それぞれの画像データに
対して同一の処理を行うＳＩＭＤ（Ｓｉｎｇｌｅ Ｉｎ
ｓｔｒｕｃｔｉｏｎ ｓｔｒｅａｍ Ｍｕｌｔｉｐｌｅ
Ｄａｔａ ｓｔｒｅａｍ）型の並列処理が行われるた
め、画像データの処理が１行分同時に行われる。

【００１０】図１のシステムはホストシステムのバック
エンドプロセッサとして動作し、外部コントローラ５
０、入力ユニット１０、演算ユニット２０、出力ユニッ
ト３０からなっている。外部コントローラ５０はホスト
コンピュータ４０との同期をとりながら、入力ユニット
１０、演算ユニット２０、出力ユニット３０の制御を行
い、ユーザーが作成した処理プログラムを格納するＲＡ
Ｍと、予め基本的な処理のプログラムが格納されている
ＲＯＭを持ち、ホストコンピュータ４０からの指示にし
たがってＲＡＭまたはＲＯＭに記憶された命令を１ステ
ップづつ順次各演算ユニット２０に送っており、各演算
ユニットは命令されたことだけを実行する処理機械とし
て機能する。なお、ユーザーが作成した処理プログラム
は処理に先立ち、あらかじめホストコンピュータ４０か
らコントローラ５０のＲＡＭにダウンロードされる。

【００１１】入力ステージを受け持つＬＩＵ１０は１６
ビット幅のｎ個のラッチ回路（ＩＥ）から構成されてシ
フトレジスタとして動作し、他のメモリに記憶されてい
るイメージデータ、或いはカメラで読み込んだイメージ
データがラスタースキャン順に入力され、その画素デー
タを順次シフトし、画像１行分の画素データが揃った時
点で１行分の画素データを同時にＬＰＵ２０の各ＰＥ２
０−１〜２０−ｎに同時並列的に転送する。

【００１２】ＬＰＵ２０はｎ個のＰＥから構成されて演
算ステージを受け持っており、図２に示すような各モジ
ュールからなっている。図２はｉ番目のＰＥ２０−ｉを
示したものであり、ラッチ回路１０−ｉからのデータを
順次スリットメモリ４に読み込み、このデータをバス２
６−ｉを通してＡＬＵ２２−ｉで演算して中間結果をレ
ジスタ２３−ｉに格納し、また結果をセレクタ２１−ｉ
を通してラッチ回路３０−ｉへ出力するものである。各
ＰＥはコントローラ５０からの命令を１ステップづつ受
け取って一斉に同一処理を行っており、自身のメモリに
はプログラムが格納されておらず、外部からの指令によ
って単に処理機械として動作する。

【００１３】スリットメモリ４は、フィルタリング処理
に必要なデータを格納するためのものである。すなわ
ち、画像データに対する局所並列処理では１つの画素の
出力値を決定するために、その画素の近傍の画素データ
も必要となり、この場合全てのＰＥが各自必要なデータ
を内部に持つこととすると、システム全体ではデータが
重複し不経済である。そこで、各ＰＥ内でのスリットメ
モリにそのＰＥが処理を受け持っている列のデータを必
要な個数分、すなわちマスクの縦の画素の個数分だけ記
憶させることにし、残りの近傍データは他のＰＥ内のス
リットメモリに保持されているので、隣接するＰＥ間で
通信コントローラ２５−ｉを通してデータ転送を行うこ
とによって得るようにする。本実施例では各スリットメ
モリは１６ビット幅の６４個のセルからなり、列方向の
長さが６４以下のマスクを用いた局所並列処理が実現で
きる。

【００１４】ＡＬＵ２２−ｉは各画素に対して１６ビッ
ト幅の算術論理演算処理を行うものである。処理内容は
どのようなフィルタ処理を行うかにより異なるが、ＡＬ
Ｕ２２−ｉは外部コントローラから１つづつ与えられる
命令を実行する。

【００１５】レジスタファイル２３−ｉは中間結果等の
データを格納するレジスタが割付けられたファイルで、
１６個の１６ビット幅のＧＲ（Ｇｅｎｅｒａｌ Ｒｅｇ
ｉｓｔｅｒ），通信コントローラ２５−ｉを通して隣接
するＰＥ間で転送されるデータを格納する通信用レジス
タＣＲ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｒｅｇｉｓｔｅ
ｒ）等からなり、またフラグレジスタ２４−ｉは符合、
零、オーバーフロー、キャリー等のフラグの内容を格納
するためのものである。

【００１６】セレクタ２１−ｉは局所処理を行う場合、
画像の外周部では近傍のデータが完全には得られないた
め計算結果は無効となり、従来の画像処理アルゴリズム
では、通常強制的に出力値を０にしたり、処理内容に応
じて適切な定数または近傍の値等を設定するようにして
いるが、この画像外周部の出力値を定数にするか、無効
ではあるが計算値にするかいずれかを設定できるように
し、この機能を行っている。

【００１７】こうして各ＰＥはスリットメモリ４に読み
込まれた必要なデータを順次読み出すと共に、隣接する
処理ユニットからのデータを通信コントローラを通して
受け取り、フィルタリング処理を行いラッチ回路に出力
している。

【００１８】図１のＬＯＵ３０は１６ビット幅のｎ個の
ラッチ回路からなり、出力ステージを受持ち、ＬＰＵ２
０で演算されたデータは１行分同時にＬＯＵ３０に転送
され、その後順次シフトされることによって１画素づつ
ラスタースキャン順に出力される。

【００１９】ところで、ＲＩＰＥにより４つのフィルタ
リング処理Ａ，Ｂ，Ｃ，Ｄを連続して行う場合、図３に
示すように、画像データｆ₀ に対してフィルタリング処
理Ａを施し、得られたデータｆ₁ を一旦メモリに格納す
る。次いで、データｆ₁ を読み出し、フィルタリング処
理Ｂを施して同様にデータｆ₂ を得てこれをメモリに格
納する。以後同様にフィルタリング処理Ｃを行ってデー
タｆ₃ を得、さらにフィルタリング処理Ｄを施してデー
タｆ₄ が得られる。

【００２０】この場合の処理（Ｅｘｅｃｕｔｉｏｎ）時
間と演算（Ｐｒｏｃｅｓｓｉｎｇ）時間とメモリアクセ
ス時間との関係は、図４に示すような関係になってい
る。処理時間とはＰＥにおける処理時間の合計であり、
メモリアクセス時間とはＩＥ，ＯＥに対する入出力に対
する時間であり、演算時間はＰＥにおいて演算に要して
いる時間である。図４から分かるように、各フィルタリ
ング処理演算毎にデータを読みだして記憶するためのメ
モリアクセス時間があるため、演算時間は短いものの、
全体の処理時間は長くなり、ＲＩＰＥのもつ演算性能を
十分に発揮できていないという問題がある。

【００２１】本発明は上記課題を解決するためのもの
で、１回の入出力で複数のフィルタリング処理を逐次的
に実行することにより処理時間の短縮を図ることができ
る超高速画像処理システムのフィルタリング処理方式を
提供することを目的とする。

【００２２】

【課題を解決するための手段】本発明は、１行分の画像
データの全部または一部をラスタースキャン順に取り込
む複数の入力要素からなる入力ユニットと、各入力要素
からの画像データが同時に転送され、画素単位で並列的
に画像処理演算を行う複数の処理要素からなる処理ユニ
ットと、各処理要素からの処理データが同時に転送され
る複数の出力要素からなる出力ユニットと、入力ユニッ
ト、処理ユニット、出力ユニットを制御するコントロー
ラとを備え、順次各行毎に画素単位で複数のフィルタリ
ング処理を行う超高速画像処理システムであって、１回
の入出力において複数のフィルタリング処理を逐次的に
実行するようにしたことを特徴とする。

【００２３】

【作用】本発明は複数のフィルタリング処理を１つのフ
ィルタリング処理として機能させ、１回の入出力におい
て複数のフィルタリング処理を逐次的に適用することに
より、メモリアクセス時間を１回の入出力に限定するこ
とができ、全体の処理時間を大幅に短縮することが可能
となる。

【００２４】

【実施例】図５は本発明のフィルタリング処理方式を説
明する図、図６は複数のフィルタリングプログラムを１
つのフィルタリングプログラムにマージし、１回の入出
力において各フィルタリングを逐次的に適用する場合の
説明図である。本発明は、図１における処理要素（Ｐ
Ｅ）において実行されるフィルタリング処理を対象とし
ている。図５において、画像データｆ₀ は入力ユニット
より読み込まれ、まずフィルタリング処理Ａが施され、
フィルタリング処理Ａにより次のフィルタリング処理Ｂ
を実行できるデータがそろうと、フィルタリング処理Ｂ
が実行され、順次データがそろう毎にフィルタリング処
理Ｃ、Ｄが実行されて、最終的に生成されるデータｆ₄
がメモリに格納される。その結果、図６に示すように、
メモリアクセス時間は図４における１回のフィルタリン
グ処理に要する時間であり、全体の処理時間は各フィル
タリング処理に要する演算処理時間の合計時間となる。
この結果、各フィルタリング処理毎に要したメモリアク
セス時間は不要となり、全体の処理時間を大幅に短縮す
ることが可能となる。

【００２５】次に、図５で示したフィルタリング処理に
ついてさらに詳細に説明する。図７は画像データに対す
る本発明のフィルタリング処理を説明する図で、３×３
のマスクサイズによるフィルタリング処理を考えるとす
る。画像データｆ₀ に対して、３×３のマスクサイズの
フィルタ処理Ａにより、順次ｆ₁ のデータが生成され
る。この処理は図７において、順次下方に向かって行わ
れる。こうして、データｆ₁ が生成されて３×３のマス
クサイズの処理を満たすデータがそろうと、同様にフィ
ルタ処理Ｂを実行してｆ₂ が生成される。さらにｆ₂ の
データが揃うと、フィルタ処理Ｃが、ｆ₃ のデータが揃
うとフィルタ処理Ｄが順次、逐次的に適用され、１回の
入出力において、４つのフィルタ処理が実行されること
になる。

【００２６】これをさらに図８により詳細に説明する
と、図７における第ｉ行についてｆ₀データの
ｆ₀ ^i,-1，ｆ₀ ^i,0 ，ｆ₀ ^i,1 ３つのデータによりｆ₁
^i,0 が、ｆ₀ ^i,0 ，ｆ₀ ^i,1 ，ｆ₀ ^i,2 の３つのデータ
よりｆ₁ ^i,1 が、順次ｆ₀ ^i,(j-1) ，ｆ₀ ^i,j ，ｆ₀
^i,(j+1) よりｆ₁ ^i,j が得られ、また、同様にしてｆ₁
よりｆ₂ データが生成される。

【００２７】この場合、例えば処理Ａ、処理Ｂ、処理Ｃ
のマスクサイズが３×３、処理Ｄが例えば２値化処理で
マスクサイズが１×１であったとすると、各処理におけ
るデータサイズは図９に示すように、処理Ｄにおいては
データ数１、処理Ｃにおいてはデータ数３×３、処理Ｂ
においてはデータ数５×５、処理Ａにおいてはデータ数
７×７の関係になる。つまり、画像データとしては、７
×７のデータ数より最終フィルタリング処理のデータが
得られることになる。

【００２８】図１０は本発明のフィルタリング処理にお
けるスリットメモリへのデータ格納を説明する図であ
る。図１０（ａ）に示すように、７つのｆ₀ データより
５つのｆ₁ データが生成され、５つのｆ₁ より３つのｆ
₂ データが、３つのｆ₂ データから１つのｆ₃ が生成さ
れる。この場合、７つのｆ₀ データのうち、ｆ₁ データ
を生成したｆ₀ ^i,j 、ｆ₀ ^(i,j-1) ，ｆ₀ ^(i,j-2) ，ｆ
₀ ^(i,j-3) のデータは不要となり、またｆ₁ ^(i,j-1) ，
ｆ₁ ^(i,j-2) も不要となるため、これを消去すると、図
１０（ｂ）に示すようになる。この図１０（ｂ）の値に
対して順次新たなｆ₀ のデータが付加され（図１０
（ｃ））、順次処理が実行されることになり、データ消
去により記憶すべきデータ数を少なくすることができ
る。

【００２９】

【発明の効果】以上のように本発明によれば、従来複数
のフィルタリング処理を実行する場合、メモリアクセス
時間がネックとなっていたが、本発明においては、１回
の入出力において、複数のフィルタリング処理を逐次的
に適用するようにしたので、大幅に処理時間の短縮を図
る事が可能となる。

【図面の簡単な説明】

【図１】 超高速画像処理システムＲＩＰＥのハードウ
ェア構成を示す図である。

【図２】 各画像処理要素を示す図である。

【図３】 従来の複数のフィルタリング処理を行う場合
のフローを説明する図である。

【図４】 従来のフィルタリング処理における処理時間
と演算時間とメモリアクセス時間との関係を示す図であ
る。

【図５】 本発明のフィルタリング処理を説明する図で
ある。

【図６】 本発明のフィルタリング処理における処理時
間と演算時間とメモリアクセス時間との関係を示す図で
ある。

【図７】 画像データに対する本発明のフィルタリング
処理を説明する図である。

【図８】 本発明のフィルタリング処理を説明する図で
ある。

【図９】 複数のフィルタリング処理を行う場合のマス
クサイズとデータ数との関係を示す図である。

【図１０】 フィルタリング処理におけるメモリ内デー
タを説明する図である。

【符号の説明】

Ａ，Ｂ，Ｃ，Ｄ…フィルタリング処理

Claims (1)

【特許請求の範囲】
1. 【請求項１】 １行分の画像データの全部または一部を
   ラスタースキャン順に取り込む複数の入力要素からなる
   入力ユニットと、各入力要素からの画像データが同時に
   転送され、画素単位で並列的に画像処理演算を行う複数
   の処理要素からなる処理ユニットと、各処理要素からの
   処理データが同時に転送される複数の出力要素からなる
   出力ユニットと、入力ユニット、処理ユニット、出力ユ
   ニットを制御するコントローラとを備え、順次各行毎に
   画素単位で複数のフィルタリング処理を行う超高速画像
   処理システムであって、１回の入出力において複数のフ
   ィルタリング処理を逐次的に実行するようにしたことを
   特徴とする超高速画像処理システムのフィルタリング処
   理方式。