JP2862388B2 - 超高速画像処理システムのフィルタリング処理方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は大規模画像の前処理を実
時間で行うことができる超高速画像処理システムＲＩＰ
Ｅ（Ｒｅａｌ−ｔｉｍｅ Ｉｍａｇｅ Ｐｒｏｃｅｓｓ
ｉｎｇ Ｅｎｇｉｎｅ）のフィルタリング処理方式に関
するものである。

【０００２】

【従来の技術】医療、工業生産などの分野で計算機を用
いた画像処理の必要性が高まって来ている。これらの応
用分野における近い将来の目標は２次元またはそれ以上
の多次元大規模画像（高画質画像）の実時間処理であ
る。システムの認識能力を向上させるためには画像自体
の分解能をあげることが必須であるが、そのためには、
画素数を増大させること、および前処理でのフィルタの
マスクサイズを増大させることが必要である。

【０００３】ここ数年間での画像処理に対する具体的要
求の例として以下の３項目が考えられる。

【０００４】１画像当たり２０４８×２０４８以上の
画素を持つ多値およびカラーの画像の処理が可能となる
こと。

【０００５】上記の画像に対してフィルタリングなど
の局所並列処理が高速に行えること、および５０×５
０程度の大きさのマスクを用いたフィルタリング処理が
可能であること。

【０００６】画像処理ではフィルタリングを中心とする
前処理が行われる場合が多く、画像の規模およびフィル
タの規模が増大するのに従い、前処理に必要な計算時間
は急激に増加する。

【０００７】これまで医療、工業生産などで実用化され
ている画像処理システムでは、５１２×５１２程度の画
素を持つ画像を対象としているが、２０４８×２０４８
画素程度の解像度を持つ医療用Ｘ線フィルムなどの複雑
な濃淡画像の前処理を行うためには、スーパーコンピュ
ータなどの汎用大型計算機を用いても実時間処理は困難
である。このような大規模画像の前処理を効率よく行う
専用システムを実現するためには、処理の並列化および
パイプライン化が有効であると考えられる。特にフィル
タリング処理のアルゴリズムの多くは並列型の積和演算
を頻繁に用いているので、画素単位での空間並列処理が
効果的であると考えられる。

【０００８】

【発明が解決しようとする課題】ところで、画像１行中
の画素数と同じ個数の処理要素を用意して画素単位での
並列処理を行う、所謂行並列型局所演算におけるフィル
タリング処理は、各処理要素において自分が処理を受け
持つ列の画素データについての演算を行うとともに、他
の列の画素データを転送してもらい、そのデータにフィ
ルタの重みを乗算し、加算する等の処理を行うために各
列間の転送回数、乗算回数、加算回数が多くなり、特に
フィルタのマスクサイズが大きくなった場合にはフィル
タリング処理に時間を要してしまうという問題があっ
た。

【０００９】本発明は上記課題を解決するためのもの
で、行並列型局所演算における乗算回数、加算回数、列
間のデータ転送回数を大幅に低減化してフィルタリング
処理時間を短縮することができる超高速画像処理システ
ムのフィルタリング処理方式を提供することを目的とす
る。

【００１０】

【課題を解決するための手段】本発明は、１行分の画像
データの全部または一部をラスタースキャン順に取り込
む複数の入力要素からなる入力ユニットと、各入力要素
からの画像データが同時に転送され、画素単位で並列的
に画像処理演算を行う複数の処理要素からなる処理ユニ
ットと、各処理要素からの処理データが同時に転送され
る複数の出力要素からなる出力ユニットと、入力ユニッ
ト、処理ユニット、出力ユニットを制御するコントロー
ラとを備え、順次各行毎に画素単位で局所並列的に左右
の対称性を持つ重みを有するフィルタにより画像処理を
行う超高速画像処理システムであって、各処理要素は処
理を受け持つ列の各画素データにフィルタの中心の列の
各重みを乗算し、乗算結果を互いに加算して保持し、さ
らに処理を受け持つ列の各画素データにフィルタの中心
の列の片側の他の列の各重みを乗算し、乗算結果を互い
に加算して保持し、各処理要素は他の列の処理要素が保
持しているデータを転送により受け取ってフィルタリン
グ処理を実行することを特徴とする。

【００１１】

【作用】本発明は画像１行中の画素数と同じかそれ以下
の個数の処理要素を用意して画素単位での並列処理を行
う行並列型局所演算により、左右の対称性を持つフィル
タを使用する画像処理システムにおいて、各処理要素は
処理を受け持つ列の画素データにフィルタの中心の列の
各重みを乗算して加算するとともに、処理を受け持つ列
の画素データにフィルタの中心の列より片方の側の他の
列の各重みを乗算して加算し、各処理要素は他の列の処
理要素が保持している演算結果を転送により受け取って
フィルタリング処理を実行することにより、フィルタリ
ング処理における乗算回数、加算回数、転送回数を大幅
に低減化して超高速での処理を行うことが可能となる。

【００１２】

【実施例】図１は本発明の演算処理を説明するための
図、図２は本発明のハードウェア構成を示す図、図３は
各画像処理要素を示す図である。図中、４はスリットメ
モリ、１０は入力ユニット（ＬＩＵ）、１０−１〜１０
−ｎはラッチ回路（ＩＥ）、２０は処理ユニット（ＬＰ
Ｕ）、２０−１〜２０−ｎは処理要素（ＰＥ）、３０は
出力ユニット（ＬＯＵ）、３０−１〜３０−ｎはラッチ
回路（ＯＥ）、４０はホストコンピュータ、５０は外部
コントローラ、２１−ｉはセレクタ（Ｓｅｌｅｃｔｏ
ｒ）、２２−ｉは算術論理ユニット（ＡＬＵ）、２３−
ｉはレジスタファイル、２４−ｉはフラグレジスタ、２
５−ｉは通信コントローラ、２６−ｉはバスである。

【００１３】まず、本発明の超高速画像処理システムＲ
ＩＰＥを図２、図３により説明する。

【００１４】本発明のＲＩＰＥでは、６５５３６階調
（１６ビット）の濃淡画像データに対する各行の処理
を、入力−演算−出力の３つのステージに分割し、パイ
プライン的に処理することにより画像データの入出力と
演算処理を平行して行うものであり、演算ステージでは
画像１行中の画素数と同じ個数のＰＥ（Ｐｒｏｃｅｓｓ
ｉｇ Ｅｌｅｍｅｎｔ）を用い、外部コントローラより
各ＰＥに対して同一の命令を１つづつ与え、それぞれの
画像データに対して同一の処理を行うＳＩＭＤ（Ｓｉｎ
ｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｔｒｅａｍ Ｍｕ
ｌｔｉｐｌｅ Ｄａｔａ ｓｔｒｅａｍ）型の並列処理
が行われるため、画像データの処理が１行分同時に行わ
れる。

【００１５】本発明のＲＩＰＥのハードウェア構成は図
２に示すようなものであり、このシステムはホストシス
テムのバックエンドプロセッサとして動作し、外部コン
トローラ５０、入力ユニット１０、演算ユニット２０、
出力ユニット３０からなっている。外部コントローラ５
０はホストコンピュータ４０との同期をとりながら、入
力ユニット１０、演算ユニット２０、出力ユニット３０
の制御を行い、ユーザーが作成した処理プログラムを格
納するＲＡＭと、予め基本的な処理のプログラムが格納
されているＲＯＭを持ち、ホストコンピュータ４０から
の指示にしたがってＲＡＭまたはＲＯＭに記憶された命
令を１ステップづつ順次各演算ユニット２０に送ってお
り、各演算ユニットは命令されたことだけを実行する処
理機械として機能する。なお、ユーザーが作成した処理
プログラムは処理に先立ち、あらかじめホストコンピュ
ータ４０からコントローラ５０のＲＡＭにダウンロード
される。

【００１６】入力ステージを受け持つＬＩＵ１０は１６
ビット幅のｎ個のラッチ回路から構成されてシフトレジ
スタとして動作し、他のメモリに記憶されているイメー
ジデータ、或いはカメラで読み込んだイメージデータが
ラスタースキャン順に入力され、その画素データを順次
シフトし、画像１行分の画素データが揃った時点で１行
分の画素データを同時にＬＰＵ２０の各ＰＥ２０−１〜
２０−ｎに同時並列的に転送する。

【００１７】ＬＰＵ２０はｎ個のＰＥから構成されて演
算ステージを受け持っており、図３に示すような各モジ
ュールからなっている。図３はｉ番目のＰＥ２０−ｉを
示したものであり、ラッチ回路１０−ｉからのデータを
一部切り出して記憶装置４（本発明ではスリットメモリ
と称する）に読み込み、このデータをバス２６−ｉを通
してＡＬＵ２２−ｉで演算して中間結果をレジスタ２３
−ｉに格納し、また結果をセレクタ２１−ｉを通してラ
ッチ回路３０−ｉへ出力するものである。各ＰＥはコン
トローラ５０からの命令を１ステップづつ受け取って一
斉に同一処理を行っており、自身のメモリにはプログラ
ムが格納されておらず、外部からの指令によって単に処
理機械として動作する。

【００１８】スリットメモリ４は、フィルタリング処理
に必要なデータを格納するためのものである。すなわ
ち、画像データに対する局所並列処理では１つの画素の
出力値を決定するために、その画素の近傍の画素データ
も必要となり、この場合全てのＰＥが各自必要なデータ
を内部に持つこととすると、システム全体ではデータが
重複し不経済である。そこで、各ＰＥ内でのスリットメ
モリにそのＰＥが処理を受け持っている列のデータを必
要な個数分、すなわちマスクの縦の画素の個数分だけ記
憶させることにし、残りの近傍データは他のＰＥ内のス
リットメモリに保持されているので、隣接するＰＥ間で
通信コントローラ２５−ｉを通してデータ転送を行うこ
とによって得るようにする。本実施例では各スリットメ
モリは１６ビット幅の６４個のセルからなり、列方向の
長さが６４以下のマスクを用いた局所並列処理が実現で
きる。

【００１９】ＡＬＵ２２−ｉは各画素に対して１６ビッ
ト幅の算術論理演算処理を行うものである。処理内容は
どのようなフィルタ処理を行うかにより異なるが、ＡＬ
Ｕ２２−ｉは外部コントローラから１つづつ与えられる
命令を実行する。

【００２０】レジスタファイル２３−ｉは中間結果等の
データを格納するレジスタが割付けられたファイルで、
１６個の１６ビット幅のＧＲ（Ｇｅｎｅｒａｌ Ｒｅｇ
ｉｓｔｅｒ），通信コントローラ２５−ｉを通して隣接
するＰＥ間で転送されるデータを格納する通信用レジス
タＣＲ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｒｅｇｉｓｔｅ
ｒ）等からなり、またフラグレジスタ２４−ｉは符合、
零、オーバーフロー、キャリーなどのフラグの内容を格
納するためのものである。

【００２１】セレクタ２１−ｉは局所並列処理を行う場
合、画像の外周部では近傍のデータが完全には得られな
いため計算結果は無効となり、従来の画像処理アルゴリ
ズムでは、通常強制的に出力値を０にしたり、処理内容
に応じて適切な定数または近傍の値等を設定するように
しているが、この画像外周部の出力値を定数にするか、
無効ではあるが計算値にするかいずれかを設定できるよ
うにし、この機能を行っている。

【００２２】こうして各ＰＥはスリットメモリ４に読み
込まれた必要なデータを順次読み出すと共に、隣接する
処理ユニットからのデータを通信コントローラを通して
受け取り、フィルタリング処理を行いラッチ回路に出力
している。

【００２３】図２のＬＯＵ３０は１６ビット幅のｎ個の
ラッチ回路からなり、出力ステージを受持ち、ＬＰＵ２
０で演算されたデータは１行分同時にＬＯＵ３０に転送
され、その後順次シフトされることによって１画素づつ
ラスタースキャン順に出力される。

【００２４】このようなＲＩＰＥシステムにおいて、図
１（ｂ）に示すような左右対称の３×３のフィルタによ
る処理を行う場合を考える。図１（ａ）は中心が（ｉ，
ｊ）である３×３の画素データであり、行われる演算は
図１（ａ）と図１（ｂ）のマトリックスの要素ごとの積
で得られた次のマトリッスクの各要素の和であるとす
る。

【００２５】 この演算を行うｉ列の処理要素をＰＥｉとすると、Ｐ
Ｅｉはスリットメモリより画素データを読み出して演算
を行い、結果をレジスタに格納する。この演算は次のよ
うになる。

【００２６】ｉ列の各重みと画素データとの乗算処理
（ｄｘ_ij-1，ｅｘ_ij，ｆｘ_ij+1） 加算処理（ｄｘ_ij-1＋ｅｘ_ij＋ｆｘ_ij+1） （ｉ−１）列の画素データの転送処理（ｘ_i-1j-1，ｘ
_i-1j，ｘ_i-1j+1） （ｉ−１）列の画素データと重みの乗算及び乗算結果
の加算処理（ａｘ_i-1j-1＋ｂｘ_i-1j＋ｃｘ_i-1j+1） 加算処理（＋） （ｉ＋１）列の画素データの転送処理（ｘ_i+1j-1，ｘ
_i+1j，ｘ_i+1j+1） （ｉ＋１）列の画素データと重みの乗算及び乗算結果
の加算処理（ａｘ_i+1j-1＋ｂｘ_i+1j＋ｃｘ_i+1j+1） 加算処理（＋） この演算における乗算回数は３×３＝９回、加算回数は
８回、転送回数は６回であり、Ｍ×Ｍのマスクサイズの
場合には、それぞれ乗算回数Ｍ² 回、加算回数Ｍ² −１
回、転送回数Ｍ（Ｍ−１）回となり、Ｍが大きくなると
多くの処理時間を要してしまうことになる。

【００２７】そこで、本発明ではフィルタの重みが左右
対称であることを利用し、各ＰＥｉでの処理負担を軽減
化することを考える。

【００２８】図１（ｃ）に示すように処理要素ＰＥｉ−
１は、自身が処理を受け持つ列の画素データをスリット
メモリより読み出し、重みｄ，ｅ，ｆをそれぞれ乗算し
て互いに加算するとともに、同じ列の画素データに対し
て重みａ，ｂ，ｃを乗算して同様に加算し、 ｄｘ_i-1j-1＋ｅｘ_i-1j＋ｆｘ_i-1j+1 ａｘ_i-1j-1＋ｂｘ_i-1j＋ｃｘ_i-1j+1 の計算結果をそれぞれレジスタに格納する。

【００２９】処理要素ＰＥｉは処理を受け持つ列の画素
データをスリットメモリより読み出し、重みｄ，ｅ，ｆ
を乗算して加算するとともに、同じ列の画素データに対
して重みａ，ｂ，ｃを乗算して加算し、 ｄｘ_ij-1＋ｅｘ_ij＋ｆｘ_ij+1 ａｘ_ij-1＋ｂｘ_ij＋ｃｘ_ij+1 の計算結果をレジスタに格納する。

【００３０】処理要素ＰＥｉ＋１は処理を受け持つ列の
画素データをスリットメモリより読み出し、重みｄ，
ｅ，ｆを乗算して加算するとともに、同じ列の画素デー
タに対して重みａ，ｂ，ｃを乗算して加算し、 ｄｘ_i+1j-1＋ｅｘ_i+1j＋ｆｘ_i+1j+1 ａｘ_i+1j-1＋ｂｘ_i+1j＋ｃｘ_i+1j+1 の計算結果をレジスタに格納する。

【００３１】このように、各列の処理要素は自身が受け
持つ列の各画素データに対してフィルタの中心の列の各
重みを乗ずるとともに、フィルタの中心の列の片方の側
の列の重みも乗算して各々加算する。そして、各処理要
素での演算においては、隣接する列から、その列の画素
データに対して重みａ，ｂ，ｃを乗算した結果のデータ
を転送してもらって演算処理する。例えば、図１（ｃ）
の処理要素ＰＥｉでは図の矢印で示すように隣接するＰ
Ｅｉ−１から ａｘ_i-1j-1＋ｂｘ_i-1j＋ｃｘ_i-1j+1 の計算結果を受け取り、また隣接するＰＥｉ＋１から ａｘ_ij-1＋ｂｘ_ij＋ｃｘ_ij+1 の計算結果を受け取ることにより、フィルタリング処理
の演算を行うことができる。この結果、処理要素ＰＥｉ
で行う乗算回数は６回、加算回数は６回、転送回数は２
回と低減化することができる。この方式をより大きいマ
スクサイズに適用する場合には、フィルタの中心の列で
ない列の数が増えるだけで、これらの列の各重みを処理
を受け持つ列のデータに乗算すればよい。この方式をＭ
×Ｍのマスクサイズに適用した場合には、それぞれ乗算
回数はＭ（Ｍ＋１）／２回、加算回数は（Ｍ−１）（Ｍ
＋３）／２回、転送回数は（Ｍ² −１）／４回となり、
処理時間を短縮することができる。

【００３２】次に、左右対称の特殊な例であるラプラシ
アンフィルタの場合、例えば、 のような重みを持つラプラシアンフィルタの場合には、
右辺の重みの−１，２，−１を−２倍すれば中心の重み
を求めることができるので、各処理要素ＰＥはそれ自身
が処理を受け持つ列の各画素データに対しては−１，
２，−１の重みを乗算して加算し、自分自身は得られた
和を−２倍して用い、隣の列へ加算の結果をそのまま渡
せばよいことになり、乗算回数、加算回数をさらに減ら
すことができ、Ｍ×Ｍのマスクサイズの場合にはＭ² の
乗算回数を（Ｍ＋１）回に、Ｍ² −１の加算回数を２
（Ｍ−１）回に、Ｍ（Ｍ−１）回の転送回数を４Ｍ／３
−２回にそれぞれ低減化することが可能である。

【００３３】さらに、図１（ｂ）のマスクの重みが全て
同じであり、例えば のように一様な場合には、列方向は前述した方法を適用
し、行方向については、１行ずらしたとき２行分は前回
のデータがそのまま使用できるので、これによりさらに
演算の省略ができ、Ｍ×Ｍのマスクサイズの場合では、
（Ｍ² −１）回の加算回数を２（Ｍ−１）回に、Ｍ（Ｍ
−１）回の転送回数を（Ｍ−１）回にそれぞれ低減化す
ることができ、転送回数Ｍ（Ｍ−１）回となる。

【００３４】図４は局所平均化、疑似メディアン、局所
最大値フィルタについて本発明を適用した場合のマスク
サイズとフィルタリング処理時間との関係を示したもの
である。

【００３５】特性Ａ，Ｂ，Ｃは従来法によるもの、Ｄ，
Ｅ，Ｆは本発明によるものであり、例えば局所最大値フ
ィルタの場合にはマスクサイズ６３×６３の場合、従来
法における内部処理時間が８３７．３５ｍｓであるのに
対して、本発明における処理時間は７．６８ｍｓとな
り、約１％にまで短縮され、超高速処理に好適であるこ
とがわかる。

【００３６】なお、本発明の画像処理は、図５に示すよ
うに、カメラ６３で直接読み込んだ画像データをＡ／Ｄ
変換して直接ＲＩＰＥシステム６０に読み込むか、ある
いは一旦メモリ６１に読み込んだデータを読み出してＲ
ＩＰＥシステムに読み込むか、どちらの処理を行っても
良く、この結果をモニタ６４に出力し、あるいは結果を
再度メモリ６１に書き込む等ホストコンピュータ４０か
らの指示により実行することができる。

【００３７】また、上記実施例ではＰＥが画像１行分の
画素分だけ用意されて１行分の画像処理が同時並列的に
実行される場合について説明したが、本発明はこれに限
定されるものではなく、ＰＥが画像１行分の画素に満た
ない場合でも、順次ＰＥを一部重ねながらずらしていく
ことによって対応可能であり、この場合にフィルタのマ
スクサイズに応じて重なり度合を適宜変更すればよい。

【００３８】

【発明の効果】以上のように本発明によれば、各列に対
応する処理要素は自身が受け持つ列の画素データに対し
てフィルタの中心の列の各重みを乗算して互いに加算す
る演算を行うとともに、自身が受け持つ列の画素データ
に対してフィルタの中心の列の片方の側の列の各重みを
乗算して互いに加算する演算を行い、演算結果を各列の
処理要素で互いに転送して利用することにより、乗算回
数、加算回数、転送回数を低減化してフィルタリング処
理時間を大幅に短縮することが可能となる。

【図面の簡単な説明】

【図１】 本発明におけるフィルタリング処理を説明す
るための図である。

【図２】 本発明におけるメモリアクセスのハードウエ
ア構成を説明するための図である。

【図３】 各画像処理要素を示す図である。

【図４】 マスクサイズと実行時間との関係を説明する
図である。

【図５】 ＲＩＰＥシステムを説明するための図であ
る。

【符号の説明】

４…スリットメモリ、１０…入力ユニット（ＬＩＵ）、
１０−１〜１０−ｎ…ラッチ回路、２０…処理ユニット
（ＬＰＵ）、２０−１〜２０−ｎ…処理要素（ＰＥ）、
３０…出力ユニット（ＬＯＵ）、３０−１〜３０−ｎ…
ラッチ回路、４０…ホストコンピュータ、５０…外部コ
ントローラ、２１−ｉ…セレクタ（Ｓｅｌｅｃｔｏ
ｒ）、２２−ｉ…算術論理ユニット（ＡＬＵ）、２３−
ｉ…レジスタファイル、２４−ｉ…フラグレジスタ、２
５−ｉ…通信コントローラ、２６−ｉ…バス。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭63−118885（ＪＰ，Ａ) 特開 昭58−217072（ＪＰ，Ａ) 特開 平２−25987（ＪＰ，Ａ) 特開 平２−300981（ＪＰ，Ａ) 特開 昭63−24469（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 5/20 G06F 15/16 390 G06T 1/20

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 １行分の画像データの全部または一部を
   ラスタースキャン順に取り込む複数の入力要素からなる
   入力ユニットと、各入力要素からの画像データが同時に
   転送され、画素単位で並列的に画像処理演算を行う複数
   の処理要素からなる処理ユニットと、各処理要素からの
   処理データが同時に転送される複数の出力要素からなる
   出力ユニットと、入力ユニット、処理ユニット、出力ユ
   ニットを制御するコントローラとを備え、順次各行毎に
   画素単位で並列的に左右の対称性を持つ重みを有するフ
   ィルタにより画像処理を行う超高速画像処理システムで
   あって、各処理要素は処理を受け持つ列の各画素データ
   にフィルタの中心の列の各重みを乗算し、乗算結果を互
   いに加算して保持し、さらに処理を受け持つ列の各画素
   データにフィルタの中心の列の片側の他の列の各重みを
   乗算し、乗算結果を互いに加算して保持し、各処理要素
   は他の列の処理要素が保持しているデータを転送により
   受け取ってフィルタリング処理を実行することを特徴と
   する超高速画像処理システムのフィルタリング処理方
   式。