JPS58181171A - 並列画像処理プロセツサ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は、空間積和演算等の局所近傍画像処理を実行す
る並列画像処理プロセッサに係９、％にＬＳＩ化に適し
たアーキテクチャを有する並列画像処理プロセッサに関
する。

画像処理プロセッサは、通産省大型プロジェクト［パタ
ーン情報処理システム］（昭和５５年１０月に研究開発
成果発表論文集が発行されている。）にて開発されてい
るように、Ｉ［ｌｌ像データを並列処理し高速化を図ろ
うとしているものが多い。

画像データは２次元の広がりをもつため、全ての画像デ
ータを並列処理することは困難である。しかし、ノイズ
除去や輪郭抽出機能を実現する空間積和演算等のように
、近傍の画像データ間の演算が多いため、例えば画像の
ｍ行×ｎ列の局所的なデータを並列処理する例が多い。

このような局所並列形画像処理は、前記文献あるいは 木戸出正継：画像処理・・−ドウエアの動向：情処理形
を除いてＬＳＩ化されｆｃものはない。従来のアーキテ
クチャのプロセッサ會そのま＼ＬＳＩ化するには、 ■　集積度 ■　ビン数 の点で困難がある。

本発明の目的は、ＬＳＩ化に適したアーキテクチャを有
する並列画像処理プロセッサを提供するにおる。

本発明は、ｍ行×ｎ列の局所並列画像処理を、ｎ個のプ
ロセッサエレメントをもち行単位の演算を行えるように
した基本モジュールをｍモジュールもったアーキテクチ
ャの並列画像処理プロセッサで実現するよりにしたもの
で、各モジュールには演算対象の画像入力ボート及び演
算結果データ出力ボートが最小限１組で済みＬＳＩ化に
適した構成とすることができる。

以下、本発明の実施例を第１図〜第１２図を用いて説明
する。

８１図は典型的な画像処理システムの構成を示すもので
、画像入力装置として工業用テレビジ日ンカメラ５、画
像記憶装置として画像メモリ３、及びこの内容を表示す
るＣＲＴモニタ４が設けられている。１ｉｆｆｉ像メモ
リ３の画像情報が画像処理プロセッサ２により処理され
、この結果がまた画像メモリ３ｖｒ−格納されたり、わ
るいはシステム全体を制御する管理プロセッサ１に与え
られる。

代表的な画像処理機能として空間積和演算がある。これ
は第２図に示すように、例えば４×４画素の局所画像デ
ータｆｉｔ〜ｆ４４に対し、定められた荷重ｗｌｌ−ｗ
４４を乗算し総和をとるものである。

これにより ノイズ除去 輪郭強調 等の画像処理が行える。

このような、例えば４×４画素の局所画像データを処理
する画像処理プロセッサとして、第３図に示すような４
個のプロセッサエレメントモすｌ〜す４）１２をもつ画
像処理プロセッサ基本モジュール１０を４モジユ一ル組
合せた並列画像処理プロセッサ（タイプ■と呼ぶ）２−
Ｉとしている。画像メモリ３からは、局所画像データが
１列分（第３図では’１４〜ｆ４４）並列に与えられ、
その演算結果（第３図ではｇ）が画像メモリ３に格納さ
れる。

基本モジュール１０は、処理対象の行の画像データを取
込む画像データ入力ボート２４、内部処理結果を出力す
る演算結果データ出力ボート３５をもつ。画像データ’
１４が入力されたと無、シフトレジスタ１１を介してｘ
ｍ素毎隣接した画素’Ｈ＋　’１２　、’１１　も対応
するＰＩ１４〜１に入力される。Ｉｉ！ｌｉ素ｆｉｔは
、空間積和演算のサイズを４×４以上に拡張する場合の
ために、画像データ出力ボート２５から出力される。Ｐ
Ｅ１２には、シフトレジスタ１１からの処理対象の画像
データｆと、荷重記憶メモリ１５からの荷重データＷが
与えられ、乗算が実行される。この結果が４個のＰＥ１
２の結果を加算する演算器ｊｉｌｉｌＢによｐ部分和が
とられる。演算結果出力ボート３０から入力される部分
和が演算回路１４Ｖｃより次々と累算され、演算結果出
力ボート３５よ９次段の基本モジュール１０に出力され
る。

このようにして、基本モジュール１０を４段重ねること
により、最終基本モジュールＩＯＤから（５） １＋　　１−１＋１ が出力される。

このタイムチャートを第４図に示す。前述した演算が基
本クロック時間Δｔ１内に実行され結果ｇが出力され、
次のΔ１１では１画素分だけ移動した４×４＃素の入力
画像に対する結果ｇが出力されることになる。したがっ
て、次々と入力される画像データに対する全ての４×４
絵索の空間積和演舞結果が次々と出力される。

第５図の実施例は、前述の実施例のタイ１１画像処理プ
ロセッサ２−Ｉの基本クロック時間Δｔ１を、パイプラ
イン処理により短縮化し九構成を示すものでおる。これ
をタイプ−のパイプラインバージミンの並列画像処理プ
ロセッサー−ＩＰと呼ぶ。即ち、タイプ■では基本クロ
ック時間Δｔ１は ■　画像データ’ｌ＋Ｊのシフトレジスター１への入力
処理 ■　プロセッサエレメント１２による積和荷重（６） Ｗ、９．と画＠ｆ、、饋の乗算処理 ■　演算回路１３による部分和処理 ■　演算回路１４による部分和累算処理の全ての処理時
間の和以上である必要があった。

これに対して、例えば第５図の例のように、■と■、■
と■、及び■と■の間にパイプラインレジスタ１６を介
在させることにより、その基本クロック時間Δ１２を■
〜■の処理時間のうちの最大のもの（全ての和でない）
まで小さくすることが可能になる。このタイムチャート
を第６図に示す。

時刻１で処理■、２で■、３で■、４で■が実行される
。時刻２では次の入力画像に対する処理■、３で■、４
で■、５で■が実行され、次々と各構、成要素をパイプ
ライン的に動作させその処理速度を向上することができ
る。

第７図の実施例は、前述の並列画像処理プロセッサ２−
ＩＰの基本タロツクΔｔ２を更に短縮化しうる構成を示
したもので、タイプＩのパイプラインースキューパージ
ョンの並列画像処理プロセッサ２−ＩＦ８と呼ぶ。第５
図のＩＰタイプでの基本クロック時間Δｔ２は、処理■
の部分和累積時間により制約される可能性が強い。とい
うのは基本モジュール１０をｎ段にした場合、４１２は
演算回路１４での処理時間と演算結果３０．３５の入出
力時間との和のｎ倍の時間が必要になるからである。特
に基本モジュール１０をＬＳＩ化した場合は入出力遅延
時間は無視できない。このため、第５図のタイプＩＰに
更に部分和の累積のパスにパイプラインレジスタ１６を
入れ、基本モジュールｌ０Ａ−Ｄ間での演算もパイプラ
イン処理するようにしたもので、前述のΔ１２の時間規
制を１　／　ｎにしている。この第７図のＩＰ８タイプ
では、第８図のタイムチャートで示すように、同時刻３
で各基本モジュールｌ０Ａ−Ｄの部分和が算出され累積
の部分でのタイミングが合わなくなる。第７図のＩＦ８
では、このタイミング合せのための可変段数スキュー補
正用シフトレジスタ１７を画像データ入力ボート２４に
直後に設置している。各基本モジュールｌ０Ａ−Ｄの累
積パスでのパイプライン段数はＩＲであるため、可変段
数スキュー補正用シフトレジスタ１７の段数は、基本モ
ジュールＩＯＡ・・・・・・・・・・・・　θ段Ｂ・・
・・・・・・・・・・　１段 Ｃ・・・・・・・・・・・・　２段 Ｄ・・・・・・・・・・・・　３ｆＲ に設定される。このようにして第８図のタイムチャー）
ＩＣおける不整合（・・・・・・Ｓ）が補正され、連続
した３１３時間でのパイプライン動作が可能となる。

なお、容易にわかるように、スキュレジスタ１７は、部
分和を求める演算器ｗｔ１３１の直後に設置しても、わ
るいは各ＰＥ１２の直前、直後に設置しても同様にタイ
ミングの不整合は解決される。

第９図に、処理形態が異なる他の実施例金示す。

前述までのタイプＩの構成では、画像データ入力をシフ
トレジスタ１１を介して各ＰＥ１２豐１〜４１Ｃ隣接す
る絵素を分配していた。これに対し本実施例では、入力
画像データは％ＰＲ１２÷１〜４に共進に与え、この乗
算結果を演算回路１８、レジスタ１９を介して累算して
部分和Ｊｌを出力（９） するようにしている。この動作を第１０図のタイムチャ
ートを参照して説明する。

時刻１で画像データ入力ボート２０よｐ画像ｆｌｌが入
力され、ＰＥ１２す１にて荷重記憶メモリ１５から読み
出された荷重町１との積ｆ■＊Ｗｌｌがレジスタ１９◆
２にセットされる。

時刻２で画像データｆ１□が入力され、ＰＥ１３す２ｖ
ｃて荷重Ｗ１ａとの積ｔｔａ牢Ｗｉｇがとられ、これと
レジスタ１９＋２の１直’１１牢ｗｔｔとの和ｆｉｌ牢
Ｗ１１＋ｆｌ□”Ｗｌｍが演算回路１８でとられ、レジ
スタ１９す３にセットされる。

時刻３で画像データｒｔｓが入力され、ＰＥ１２豐３に
て荷重Ｗ１ｍとの積ｒｓｓ’Ｆｗｔｓがとられ、これと
レジスタ１９豐３の（ＩＦ　ｔ、ｓ”Ｉｓ１＋１１ｘ＊
Ｗｓ２との和’＋ｓ　＊　’■＋１１ｚ牢Ｗ１ｚ　＋’
　ｒｓ　＊　Ｗｌｓが演算回路１８でとられ、レジスタ
１９す４にセットされる。

時刻４で画像データ’１４が入力され、ＰＥ１２す４に
て荷重Ｗ１４との積ｆ１４牢Ｗ　Ｋ４がとられ、これと
レジスタ１９豐４０値ｆ１１本Ｗ■＋ｆｕ＊Ｗｕ（１０
） 十’　１８　＊　Ｗｌｍとの和Σ１１　＝　’　Ｉｔ　
”　ｗ、１＋〜十ｆ　１４　＊Ｗ　１４が演算回路１８
でとられる。この部分和Σ１が各基本モジュールｌ０Ａ
−Ｄの演算回路１４で累積され、ｉ＆料段から が出力される。

以下、各基本りｐツク時間４１４間隔で空間積和演算結
果ｇが出力される。

このタイプ■の並列画像処理プロセッサ２−Ｈにも、タ
イプ■と同様に、タイプＩＩＰ及びＩＩＰ８が考えられ
、基本クロック時間Δｔ４を小さくすることがロエ能で
ある。これらは容易に類推で舊るのでここでは省略する
。

第１１図に、更に処理形態が異なる他の実施例を示す。

前述までの各ＰＥ１２に独立に積和荷重（メモＩＪ　）
　ｌ　５を与えていた方式に対し、第１１図の構成では
全ＰＥ１２共通に積和荷重（メモリ）１５を与える方式
でありタイプ■の並列画像処理プロセッサ２−Ｉ［［と
呼ぶ。この動作を第１２図の（１１） タイムチャートを参照して説明する。

まず時刻１で既に画像データ入力ボート２０より画像’
１４が人力されているとする。このと亀シフトレジスタ
１１を介してＰ　Ｅ　１．２す１〜す４にはそれぞれ’
１＋　＋　’１２　＋　’１３１　ｆ１４が与えられて
いる。そして荷重記憶メモＩＪ　ｌ　５から荷重Ｗｌｌ
が読み出され、それぞれの入力画像との積がとられる。

演算回路２０では、時刻ｌのはじめに保持している値が
Ｏ”クリアされ、前述の’１１”ｆｌ◆とＷｌｌとの積
がそれぞれ保持される。

時刻２では画像ｆｌｌ＋が入力され、ＰＥ１２豐ｌ〜＋
４にはそれぞれｒｔｚ〜１１　　が与えられ、次の荷ｆ
ｉＷｔａとの積がとられる。この後演算回路２０で以前
の値との累積処理が行われる。例えばす１では’ｏ　＊
Ｗｔｘ＋ｆｕ　＊Ｗｔａ　Ｘす２ではｆ１２＊Ｗ１１＋
　’　ｓｓ　＊　Ｗｌｍが結果として保持される。

時刻３．４でも同上の処理が実行され、演算回路２（１
１−１４ｉ’ｃは すｌ：Σｓｉ　＝　ｆ　ｔｔ　＊　Ｗｔｔ十ｆ　ｔａ　
＊　Ｗｓａ十ｆｔｓ＊Ｗｓｓ＋ｔ１４牢町４ （１２） ＋２：Σ八”　’ｔｓ　＊Ｗｔｔ＋ｆ１３　＊　ｗ、。

十ｆ　１４　＊　Ｗｓａ＋ｆ　ｔｓ　＊　Ｗｌｌす３：
Σ八”　’ｓｓ　＊ｗ■＋ｆ１４＊Ｗ、。

十ｆｔｉ＊Ｗｔ＠＋ｆｓ・＊Ｗ１４ す４：Σ八”　ｆｔ＋　＊Ｗ■＋ｆｌｓ　＊Ｗｔｍ十’
＊ｓ　＊ｗｌ、＋ｆ、７＊Ｗ１４ とそれぞれの第１部分和が得られ、これが時刻Δの終り
でシフトレジスタ２１にセットされる。

時刻５〜８では、各基本モジュールｌ０Ａ−Ｄのシフト
レジスタ２１から、Σ１．〜Σ１８．Σｌ〜Σ’１ｌｌ
ａムＪ〜Σ１ｓ・Σ口〜Σ１４が演算回路１４により順
次累積され、結果ｇｏ〜ｇｕを出力する。

と同時に、ＰＥす１では画像データｆ１尋〜ｆｔｓ、Ｐ
Ｅす２では’ｓｏ　〜ｆＨ＋、ＰＥす３ではｆｉｔ〜’
１０％ＰＥす４ではｆ　ｔｓ　−ｆ□に対して時刻１〜
４と同様の処理が実行され、部分和Σ１嘔、Σ１−１Σ
１〜。

Σ１−を求め、時刻９〜１２にてこれらが累積され結果
ｇ１ｉ−ｇｓｓが得られる。このようにして連続して空
間積和演算結果が出力される。

このタイプ■の並列画像処理プロセッサ２−ＩＩ（１３
） にも、タイプＩと同様に、タイプ１ｆＩＰ及びＩ［ＩＰ
Ｓが考えられ、基本クロック時間Δｔ５を小さくするこ
とが可能である。

さて、前述のタイプＩ〜■までの実施例では、基本モジ
ュール１０間の演算は、部分和演算回路１４ｔ−直列接
続する形とし、この回路１４も基本モジュール内に含め
ていた。しかしＬＳＩ化のためにビン数が問題となる場
合には、例えば第３図の点線部のみ基本モジュールとし
、モジュール間演算は外部で並列に行うことも可能であ
る。

杢発明によれば、局所並列画像プロセッサを少ない入出
力ボートでかつ規則的な配列のモジュールに分割できる
ため、ＬＳＩ化に適したアーキテクチャとすることがで
きる。

【図面の簡単な説明】

第１図は画イ蒙処理システムの構成を示す図、第２図は
局所並列処理の例を説明する図、第３．５゜７．９．１
１図は本発゛明の並列画像処理プロセッサの構成を示す
ブロック図、第４．６，８，１０゜１２図は並列画像処
理プロセッサのタイムチャー（１４） トを示す図でおる。 ２・・・並列画像処理プロセッサ、３・・・画像メモリ
、ｌＯ・・・画像処理プμ七ツナ基本モジュール、１１
・・・入力１［ｌＬｌ像シフトレジスタ、１２・・・プ
ロセッサエレメント、１３・・・部分和演ｌ＃、１１ｇ
１Ｗ＆、１４・・・部分和凧再演貴回路、１６・・・荷
重鶴己憶メモリ、１６・・・バイシラインレジスタ、１
７・・′・（可変段数）スキュー補正シフトレジスタ、
１８・・・伝播・累積演算回路、１９・・・伝播レジス
タ、２０・・・累積演算回路、２１・・・部分和出力シ
フトレジスタ、２４・・・画像データ人力ボート、２５
・・・Ｉ［１１１ｇｇデータ出力ボート、３０・・・演
算績釆データ入力ボート、３５・・・演算結果データ出
力ボート。　　　　　　　　　　　　−へ−（１５） 第　１　区 第　２　図 第　ｌ−図 ％＋１３＋２　　・・・・ ２−ＩＰ 茅　に　図 し　　　８，２ 第 δ　図 上提ＬＡ島」Ｍヒ括忙す而ＡもＡもＬ ｌ　　　　２　３４５　　　　≦　　　７＋　　　　　
　２　　　　３　　　　　４　　　　５基本しりニール し　　　Ｊ１□ 予１／図

Claims (1)

【特許請求の範囲】
1. １、画像データ供給源からの画像データを取込み局所並
   列画像データ処理を行なう並列画像処理プロセッサにお
   いて、該プロセッサは、少なくとも１つの画像データ入
   力ポー１−１ｉ数個のシフトレジスタ、該シフトレジス
   タの内容を入力してｌＩＩ像処理演算を行なう核複数個
   のプロセッサエレメント、演算結果データを入力する演
   算結果データ入力ボート、該演算結果データと前記複数
   個のプロセッサエレメントの演算結末の加算を行なう加
   算器、および該加算器の演算結果データを出力する演算
   結果データ出力ボートからなる画像処理プロセッサ基本
   モジュールを複数組並列設置し九ことを％徴とする並列
   画像処理プロセッサ。