JPS62164180A - コンボリユ−シヨンを用いる画像信号処理装置 - Google Patents
コンボリユ−シヨンを用いる画像信号処理装置Info
- Publication number
- JPS62164180A JPS62164180A JP61005095A JP509586A JPS62164180A JP S62164180 A JPS62164180 A JP S62164180A JP 61005095 A JP61005095 A JP 61005095A JP 509586 A JP509586 A JP 509586A JP S62164180 A JPS62164180 A JP S62164180A
- Authority
- JP
- Japan
- Prior art keywords
- data
- memory
- image
- storage device
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明はコンボリューションを用いる画像信号処理装置
に関する。本発明による装置は例えば産業用ロボットに
おける対象物を識別するビジュアルセンサ等に関連して
用いられる。
に関する。本発明による装置は例えば産業用ロボットに
おける対象物を識別するビジュアルセンサ等に関連して
用いられる。
画像認識装置における画像信号処理装置は、種々の分野
において知られている。これらの画像信号処理装置にお
ける共通の課題の1つに信号処理スピードを向上させる
ことがある。すなわち画像信号処理においては一般に、
ぼう大な量の画像データについてコンボリューション演
算等の空間的信号処理を施こすので、信号処理の計算自
体に相当時間がか\る上に、信号処理装置と画像データ
が記憶されているメモリとの間のデータ転送回数が非常
に多くデータ転送にも相当時間がか\る。
において知られている。これらの画像信号処理装置にお
ける共通の課題の1つに信号処理スピードを向上させる
ことがある。すなわち画像信号処理においては一般に、
ぼう大な量の画像データについてコンボリューション演
算等の空間的信号処理を施こすので、信号処理の計算自
体に相当時間がか\る上に、信号処理装置と画像データ
が記憶されているメモリとの間のデータ転送回数が非常
に多くデータ転送にも相当時間がか\る。
このような時間は、特に画像信号信号処理が産業用ロボ
ットのビジュアルセンサ等のリアルタイムで作動させる
ような用途においては、応答特性上問題となっていた。
ットのビジュアルセンサ等のリアルタイムで作動させる
ような用途においては、応答特性上問題となっていた。
前者、すなわち信号処理計算時間の問題については主と
して分解能を考慮してアルゴリズムの単純化、或いは信
号処理装置の高速化といった試みがなされている。また
後者、すなわちデータ転送時間の問題については、高速
メモリの活用、バスの高速化等が試みられている。しか
しながらいずれについても経済性の観点から制限がある
のは避けられものであった。
して分解能を考慮してアルゴリズムの単純化、或いは信
号処理装置の高速化といった試みがなされている。また
後者、すなわちデータ転送時間の問題については、高速
メモリの活用、バスの高速化等が試みられている。しか
しながらいずれについても経済性の観点から制限がある
のは避けられものであった。
従来の産業用ロボット用画像信号処理装置を第6図を用
いて説明する。この画像信号処理装置は、システムデー
タバスlOOに接続された演算制御装置cPU 1 、
処理プログラム等が記憶された主記憶装置2および入出
力コントローラ3から成るコンピュータを有する。また
画像信号処理装置は、画像データバス101に接続され
た画像信号処理部、すなわち、画像データフレームメモ
リ4、マルチプレクサ5、ベクトルコンボリューション
プロセッサ10、係数レジスタ11、双方向性ゲート9
および画像処理制御回路(図示せず)を有している。画
像データフレームメモリ4および制御回路はシステムデ
ータバス100にも接続されている。
いて説明する。この画像信号処理装置は、システムデー
タバスlOOに接続された演算制御装置cPU 1 、
処理プログラム等が記憶された主記憶装置2および入出
力コントローラ3から成るコンピュータを有する。また
画像信号処理装置は、画像データバス101に接続され
た画像信号処理部、すなわち、画像データフレームメモ
リ4、マルチプレクサ5、ベクトルコンボリューション
プロセッサ10、係数レジスタ11、双方向性ゲート9
および画像処理制御回路(図示せず)を有している。画
像データフレームメモリ4および制御回路はシステムデ
ータバス100にも接続されている。
画像データフレームメモリ4は、複数のメモリユニット
411〜41nを有している。各々のメモリユニットは
、例えばメモリユニット41について述べると、ダイナ
ミックRAM41 とシリアル入出力回路42とから成
る。ダイナミック)lAM41は、各メモリセルが8ビ
ツトである256 X 256個のメモリセルを有して
いる。シリアル入出力回路42は、256個のシフトレ
ジスタを存し、256個のデータについてシリアルシフ
トが可能であると共に、256個のデータをダイナミッ
クRAM41の1列、すなわち256個のメモリセルに
同時にアクセス可能なようになっている。データフレー
ムメモリ4として夕゛イナミックRAM41を用いてし
)るのは、256x 256個もの大量のデータを比較
的低価格のメモリによって記憶させるためである。しか
しながらダイナミックl?AMは伍速性は期待できない
。
411〜41nを有している。各々のメモリユニットは
、例えばメモリユニット41について述べると、ダイナ
ミックRAM41 とシリアル入出力回路42とから成
る。ダイナミック)lAM41は、各メモリセルが8ビ
ツトである256 X 256個のメモリセルを有して
いる。シリアル入出力回路42は、256個のシフトレ
ジスタを存し、256個のデータについてシリアルシフ
トが可能であると共に、256個のデータをダイナミッ
クRAM41の1列、すなわち256個のメモリセルに
同時にアクセス可能なようになっている。データフレー
ムメモリ4として夕゛イナミックRAM41を用いてし
)るのは、256x 256個もの大量のデータを比較
的低価格のメモリによって記憶させるためである。しか
しながらダイナミックl?AMは伍速性は期待できない
。
従って、通常のランダムアクセスによりデータを1個ご
とアクセスを行うと、ダイナミックRAl’lへのアク
セス時間が相当か\る。そこで、シリアル入出力回路4
2を設けて1列車位でアクセス可能にしている。
とアクセスを行うと、ダイナミックRAl’lへのアク
セス時間が相当か\る。そこで、シリアル入出力回路4
2を設けて1列車位でアクセス可能にしている。
すなわち、画像データを入力時は、CCDカメラ等のイ
メージセンサにて対象物を走査し、走査データを画像人
力6としてA/D変換器して8ビツトのディジタルデー
タに変換しマルチプレクサ5を介してシリアル入出力回
路42に順次格納する。
メージセンサにて対象物を走査し、走査データを画像人
力6としてA/D変換器して8ビツトのディジタルデー
タに変換しマルチプレクサ5を介してシリアル入出力回
路42に順次格納する。
1ライン走査後、シリアル入出力回路42に256個の
データが順次ストアされると、これら256個のデータ
が同時に所望の行アドレスラインに接続されたダイナミ
ックRAM41のメモリセルに記憶される。以下同様に
画像データを記憶していく。
データが順次ストアされると、これら256個のデータ
が同時に所望の行アドレスラインに接続されたダイナミ
ックRAM41のメモリセルに記憶される。以下同様に
画像データを記憶していく。
画像処理時は、所望の行アドレスラインに接続されたダ
イナミックRAM41の256個のメモリセルの値が同
時にシリアル入出力回路42に装荷され、装荷されたデ
ータがゲート16、画像データバス101、双方向性ゲ
ート9を介してベクトルコンボリューションプロセッサ
10に入力されて、画像演算処理が行なわれる。演算処
理結果はダイナミックRAM41に記憶される。演算処
理結果は、上記同様256個同時にシリアル入出力回路
42に読み出され、それぞれ順次D/A変換器7に送出
されてアナログの画像信号に変換され、CRTディスプ
レイ8に印加され、表示される。
イナミックRAM41の256個のメモリセルの値が同
時にシリアル入出力回路42に装荷され、装荷されたデ
ータがゲート16、画像データバス101、双方向性ゲ
ート9を介してベクトルコンボリューションプロセッサ
10に入力されて、画像演算処理が行なわれる。演算処
理結果はダイナミックRAM41に記憶される。演算処
理結果は、上記同様256個同時にシリアル入出力回路
42に読み出され、それぞれ順次D/A変換器7に送出
されてアナログの画像信号に変換され、CRTディスプ
レイ8に印加され、表示される。
このように低価格で大容量のデータ記憶に適するダイナ
ミックRAMの低速性を改善し、しがも高価格化を回避
せんとして上述のシリアル入出力回路を設けた画像デー
タフレームメモリ4を採用している。
ミックRAMの低速性を改善し、しがも高価格化を回避
せんとして上述のシリアル入出力回路を設けた画像デー
タフレームメモリ4を採用している。
画像制御回路(図示せず)はデータフレームメモリ4、
マルチプレクサ5、ゲート9,16、ベクトルコンボリ
ューションプロセッサ10等を制御する。コンピュータ
は画像信号処理部と他の処理部、例えば産業用ロボット
の操作部等との調整の下に画像信号処理部を総括制御す
る。
マルチプレクサ5、ゲート9,16、ベクトルコンボリ
ューションプロセッサ10等を制御する。コンピュータ
は画像信号処理部と他の処理部、例えば産業用ロボット
の操作部等との調整の下に画像信号処理部を総括制御す
る。
この例示においては画像信号処理装置として、ベクトル
コンボリューションプロセッサ10とベクトルコンボリ
ューション演算を行う際の重み係数を記憶している係数
レジスタ11を示している。
コンボリューションプロセッサ10とベクトルコンボリ
ューション演算を行う際の重み係数を記憶している係数
レジスタ11を示している。
ベクトルコンボリューションは一方向におけるたたみ込
み積分を行うものである。注目画像データDijの隣接
するそれぞれ1個の画像データについて重み係数ωm
(m=0.1,2)とした場合、第7図に図示の画像
データアレイについての例として0°、45°、90°
、135°方向の3次のベクトルコンボリューションG
は、それぞれ、次の如く与えられる。
み積分を行うものである。注目画像データDijの隣接
するそれぞれ1個の画像データについて重み係数ωm
(m=0.1,2)とした場合、第7図に図示の画像
データアレイについての例として0°、45°、90°
、135°方向の3次のベクトルコンボリューションG
は、それぞれ、次の如く与えられる。
a、0°方向
G、= Σ Σ Dijωm1=i−1〜
i+l j=constm=0〜2 b、45°方向 G45− Σ Dijωm 1=i−1〜i+1 j=j+1〜j−1 …=O〜2 c、90”方向 G90= Σ Σ Dijωm1=con
st j=j−1〜j+1m=o〜2 d、135°方向 G、、S = Σ Dijωm t=i+1〜1−1 j=j+1”j−1 m=o〜2 他の方向、180°、225°、270°、315°方
向については省略する。
i+l j=constm=0〜2 b、45°方向 G45− Σ Dijωm 1=i−1〜i+1 j=j+1〜j−1 …=O〜2 c、90”方向 G90= Σ Σ Dijωm1=con
st j=j−1〜j+1m=o〜2 d、135°方向 G、、S = Σ Dijωm t=i+1〜1−1 j=j+1”j−1 m=o〜2 他の方向、180°、225°、270°、315°方
向については省略する。
Inのベクトルコンボリューション演算を行うに際し、
0°方向については、ダイナミックRAM41からの1
列のデータ読出しにより256個の画像データがシリア
ル入出力回路42に読み出され、これについて順次、注
目画像データを右方向にずらして計算していけば良く、
1回シリアル入出力回路42へのデータ読出しにより、
256個のベクトルコンボリューションが得られる。
0°方向については、ダイナミックRAM41からの1
列のデータ読出しにより256個の画像データがシリア
ル入出力回路42に読み出され、これについて順次、注
目画像データを右方向にずらして計算していけば良く、
1回シリアル入出力回路42へのデータ読出しにより、
256個のベクトルコンボリューションが得られる。
ところがO°以外の方向、例えば90°方向についてみ
れば、注目画像データDijについて、j−1゜3、j
+1の3列に係るDj+ j−1+ Dtjt D
i、 j+1の画像データが必要であるから、3回のデ
ータ読出しが必要となる。すなわち、シリアル入出力回
路42を設けても、特定方向、この例示においてはO°
力方向ベクトルコンボリューションの計算のデータ読出
の高速性に寄与するにすぎず、他の方向については、シ
リアル入出力回路を介すると、通常のデータ1個ごとの
ランダムアクセスの場合よりアクセス時間が長くなると
いう問題がある。
れば、注目画像データDijについて、j−1゜3、j
+1の3列に係るDj+ j−1+ Dtjt D
i、 j+1の画像データが必要であるから、3回のデ
ータ読出しが必要となる。すなわち、シリアル入出力回
路42を設けても、特定方向、この例示においてはO°
力方向ベクトルコンボリューションの計算のデータ読出
の高速性に寄与するにすぎず、他の方向については、シ
リアル入出力回路を介すると、通常のデータ1個ごとの
ランダムアクセスの場合よりアクセス時間が長くなると
いう問題がある。
また通常のランダムアクセスでは、依然としてデータ読
出しの高速性に欠けるものであった。
出しの高速性に欠けるものであった。
本発明の目的は、シリアルアクセスメモリ回路付画像デ
ータフレームメモリの特徴−を活用しつつ、経済的にか
つベクトルコンボリューションの方向性に依存されず、
高速演算処理可能な、コンボリューションを用いる画像
信号処理を行うことにある。
ータフレームメモリの特徴−を活用しつつ、経済的にか
つベクトルコンボリューションの方向性に依存されず、
高速演算処理可能な、コンボリューションを用いる画像
信号処理を行うことにある。
本発明によれば、マトリクス状に配設されて成る複数の
メモリセル、およびマトリクスの1行の複数のメモリセ
ルに同時にデータ読出又は書込むように構成され且つ該
読出又は書込データをシリアルに転送可能なシリアル入
出力回路を有し、複数の画像データを記憶するデータ記
憶装置、該データ記憶装置のメモリセル内の記憶装置に
基づく一定の関係にある複数の画像データについて画像
信号演算を行う画像処理装置、および前記データ記憶装
置と前記画像処理装置との間に、前記画像処理装置にお
ける画像信号演算を行う複数の画像データの個数に応じ
て設けられた複数のデータ保持手段であって、各データ
保持手段は前記データ記憶装置のマトリクスの複数行分
のデータを保持する容量を有し、前記データ記憶装置よ
り高速な読出および書込動作を行なうように構成され、
各データ保持手段がそれぞれ独立に動作し得るように構
成されたもの、を具備し、該画像処理装置は乗算器を有
し、該乗算器により、画像信号から変換されたディジタ
ル化画像情報に対し鮮鋭化、雑音除去、エツジ抽出等の
ためのコンボリューションが行われることを特徴とする
コンボリユーシヨンを用いる画像信号処理装置、が提供
される。
メモリセル、およびマトリクスの1行の複数のメモリセ
ルに同時にデータ読出又は書込むように構成され且つ該
読出又は書込データをシリアルに転送可能なシリアル入
出力回路を有し、複数の画像データを記憶するデータ記
憶装置、該データ記憶装置のメモリセル内の記憶装置に
基づく一定の関係にある複数の画像データについて画像
信号演算を行う画像処理装置、および前記データ記憶装
置と前記画像処理装置との間に、前記画像処理装置にお
ける画像信号演算を行う複数の画像データの個数に応じ
て設けられた複数のデータ保持手段であって、各データ
保持手段は前記データ記憶装置のマトリクスの複数行分
のデータを保持する容量を有し、前記データ記憶装置よ
り高速な読出および書込動作を行なうように構成され、
各データ保持手段がそれぞれ独立に動作し得るように構
成されたもの、を具備し、該画像処理装置は乗算器を有
し、該乗算器により、画像信号から変換されたディジタ
ル化画像情報に対し鮮鋭化、雑音除去、エツジ抽出等の
ためのコンボリューションが行われることを特徴とする
コンボリユーシヨンを用いる画像信号処理装置、が提供
される。
本発明の一実施例としての画像信号処理装置の構成図を
第1図およびプロセッサとバッファ回路の回路図を第3
図に示す。
第1図およびプロセッサとバッファ回路の回路図を第3
図に示す。
第1図において、画像信号処理装置は、双方向性ゲート
13.14を介して第1および第2のバス110.12
0に接続されたデータ記憶装置20、同様に双方向性ゲ
ー1−15.16を介して第1および第2のバス110
.120に接続されたデータ記憶装置30、係数レジス
タ11、画像信号処理装置としてのベクトルコンボリュ
ーションプロセッサ101データ保持手段としてのマル
チラインバッファ回路40、単方向性ゲート17、およ
び制御1回路19を有している。データ記憶装置20゜
30および制御回路19はシステムバス100にも接続
されている。CPU1、主メモリ2および入出力コント
ローラ3より構成されたコンピュータ部は従来と同様で
ある。また第1図には、簡略化のため、第6図における
マルチプレクサ5、カメラ6、D/Aコンバータ7、デ
ィスプレイ8は図示してない。
13.14を介して第1および第2のバス110.12
0に接続されたデータ記憶装置20、同様に双方向性ゲ
ー1−15.16を介して第1および第2のバス110
.120に接続されたデータ記憶装置30、係数レジス
タ11、画像信号処理装置としてのベクトルコンボリュ
ーションプロセッサ101データ保持手段としてのマル
チラインバッファ回路40、単方向性ゲート17、およ
び制御1回路19を有している。データ記憶装置20゜
30および制御回路19はシステムバス100にも接続
されている。CPU1、主メモリ2および入出力コント
ローラ3より構成されたコンピュータ部は従来と同様で
ある。また第1図には、簡略化のため、第6図における
マルチプレクサ5、カメラ6、D/Aコンバータ7、デ
ィスプレイ8は図示してない。
データ記憶装置20.30はともにメモリセル部21.
31とシリアルアクセスメモリ22.32から構成され
ており、同一仕様の下で装造されている。すなわちメモ
リセル部21.31はともにダイナミックRAMで第2
図に示すように(256行)X (256列) = 6
4 Kバイトのメモリセルを有し、各メモリセルは8ビ
ツトである。この実施例では、データ記憶装置20は、
画像信号処理用データ、すなわち、第6図を参脇すると
、カメラで走査されA/D変換された画像人力6は、マ
ルチプレクサ5を介して保存された8ビツト、256階
調のグレースケールのデータを1メモリセルに1画素の
画像データとして記憶するのに用いる。他方、データ記
憶装置30はベクトルコンポリニージョンの結果を保存
するのに用いる。勿論データ記憶装置20.30の使用
目的は、L記とは逆であってもよい。
31とシリアルアクセスメモリ22.32から構成され
ており、同一仕様の下で装造されている。すなわちメモ
リセル部21.31はともにダイナミックRAMで第2
図に示すように(256行)X (256列) = 6
4 Kバイトのメモリセルを有し、各メモリセルは8ビ
ツトである。この実施例では、データ記憶装置20は、
画像信号処理用データ、すなわち、第6図を参脇すると
、カメラで走査されA/D変換された画像人力6は、マ
ルチプレクサ5を介して保存された8ビツト、256階
調のグレースケールのデータを1メモリセルに1画素の
画像データとして記憶するのに用いる。他方、データ記
憶装置30はベクトルコンポリニージョンの結果を保存
するのに用いる。勿論データ記憶装置20.30の使用
目的は、L記とは逆であってもよい。
シリアルアクセスメモリ (入出力回路)22゜32は
ともに、256個のシフトレジスタおよびポインタシフ
トレジスタを有しており、メモリセル21.31の1行
上の256メモリセルに同時に256個のデータを書込
み、又は読出しすることが可能であり、シフトレジスタ
はサイクリックに256個のデータをシフトすることが
可能であると共に、ポインタシフトレジスタで指定され
た列アドレス画像データから順次、データを入力または
出力することかできるようになっている。
ともに、256個のシフトレジスタおよびポインタシフ
トレジスタを有しており、メモリセル21.31の1行
上の256メモリセルに同時に256個のデータを書込
み、又は読出しすることが可能であり、シフトレジスタ
はサイクリックに256個のデータをシフトすることが
可能であると共に、ポインタシフトレジスタで指定され
た列アドレス画像データから順次、データを入力または
出力することかできるようになっている。
第3図に、コンボリューションプロセッサlO1係数レ
ジスタ11およびマルチラインバッファ回路400回路
図を示す。プロセッサ10は乗算器10’l、 102
.103 、加算器104、レジスタ105 、ライン
バッファ106およびゲート回路107が図示のように
接続されている。係数レジスタ11はそれぞれ係数ω。
ジスタ11およびマルチラインバッファ回路400回路
図を示す。プロセッサ10は乗算器10’l、 102
.103 、加算器104、レジスタ105 、ライン
バッファ106およびゲート回路107が図示のように
接続されている。係数レジスタ11はそれぞれ係数ω。
、ω1.ω2が設定された3個のレジスタ111〜11
3により構成されており、これらのレジスタIll〜1
13がプロセッサ10の乗算器101〜103に接続さ
れている。マルチラインバッファ回路40は、パスライ
ン120に接続されたバッファゲート401〜403、
マルチラインバッファメモリ421〜423、マルチプ
レクサ431〜433およびレジスタ451〜453が
図示の如く接続されている。
3により構成されており、これらのレジスタIll〜1
13がプロセッサ10の乗算器101〜103に接続さ
れている。マルチラインバッファ回路40は、パスライ
ン120に接続されたバッファゲート401〜403、
マルチラインバッファメモリ421〜423、マルチプ
レクサ431〜433およびレジスタ451〜453が
図示の如く接続されている。
各レジスタ451〜453がプロセッサ100乗算器1
01〜103に接続されており、演算に用いる画像デー
タD。、D+、D2を与える。したがって、プロセッサ
10は、係数ω。、ω1.ω2、画像データD6.D1
.D2について、次式で定義されるベクトルコンポリュ
ーション演算グラディエンドGを行う。
01〜103に接続されており、演算に用いる画像デー
タD。、D+、D2を与える。したがって、プロセッサ
10は、係数ω。、ω1.ω2、画像データD6.D1
.D2について、次式で定義されるベクトルコンポリュ
ーション演算グラディエンドGを行う。
G=ω。D0+ωIDI+ωt D Zプロセッサ10
内の1ラインバツフア106およびゲート回路107は
、上記ベクトルコンボリューションを空間的に拡張する
ためのものである。
内の1ラインバツフア106およびゲート回路107は
、上記ベクトルコンボリューションを空間的に拡張する
ためのものである。
マルチラインバッファ回路40の1系列、バッファゲー
ト401 、マルチラインバッファメモリ421、マル
チプレクサ431、レジスタ451の動作を述べる。デ
ータ記憶装置20のシリアルアクセスメモリ22内の2
56個のデータがバス120を介してシリアルにバスバ
ッファ401に入力される。
ト401 、マルチラインバッファメモリ421、マル
チプレクサ431、レジスタ451の動作を述べる。デ
ータ記憶装置20のシリアルアクセスメモリ22内の2
56個のデータがバス120を介してシリアルにバスバ
ッファ401に入力される。
パスバッファ401を介した256個のデータがマルチ
ラインバッファメモリ421の所定のラインに転送され
て保存される。マルチラインバッファメモリ421は、
本実施例においては、第5図に概略の構成を示すように
3行×256画素データ/行のメモリ容量を存するスタ
ティックRAMで構成されている。マルチラインバッフ
ァメモリ421に記憶された画像データは必要に応じて
読出され、マルチプレクサ431、レジスタ451を介
して乗算器101に出力される。他の2系列も同様に動
作する。マルチプレクサ431〜433は、それぞれ対
応するマルチラインバッファメモリ 421〜423か
らのデータをレジスタ451〜453に出力する一方、
必要に応じて、バス120からのデータをレジスタ45
1゜452、453とシリアルに転送する。
ラインバッファメモリ421の所定のラインに転送され
て保存される。マルチラインバッファメモリ421は、
本実施例においては、第5図に概略の構成を示すように
3行×256画素データ/行のメモリ容量を存するスタ
ティックRAMで構成されている。マルチラインバッフ
ァメモリ421に記憶された画像データは必要に応じて
読出され、マルチプレクサ431、レジスタ451を介
して乗算器101に出力される。他の2系列も同様に動
作する。マルチプレクサ431〜433は、それぞれ対
応するマルチラインバッファメモリ 421〜423か
らのデータをレジスタ451〜453に出力する一方、
必要に応じて、バス120からのデータをレジスタ45
1゜452、453とシリアルに転送する。
次に当該画像信号処理装置の動作を第4図に示すベクト
ルコンボリューション演算動作を示す概念図を参照して
述べる。
ルコンボリューション演算動作を示す概念図を参照して
述べる。
第7図における315°方向のベクトルコンボリューシ
ョンを行う場合について述べる。
ョンを行う場合について述べる。
先ず、データ記憶装置20のメモリセル21の第1列目
の256個の画像データD I+ +〜D 、、 、、
6をシリアルアクセスメモリ22にて読出し、ゲート1
4、バス120 、バッファゲート401〜403を介
しそれぞれ各マルチラインバッファメモリ 421〜4
23の第0行目に入力する。以下同様に、メモリセル2
1の第2列目、第3列目の画像データD2.1〜D2.
2い、Dz++ 〜D3.25kをマルチラインバッフ
ァメモリ421〜423の第1行目および第2行目に格
納する。
の256個の画像データD I+ +〜D 、、 、、
6をシリアルアクセスメモリ22にて読出し、ゲート1
4、バス120 、バッファゲート401〜403を介
しそれぞれ各マルチラインバッファメモリ 421〜4
23の第0行目に入力する。以下同様に、メモリセル2
1の第2列目、第3列目の画像データD2.1〜D2.
2い、Dz++ 〜D3.25kをマルチラインバッフ
ァメモリ421〜423の第1行目および第2行目に格
納する。
次に注目画像データD+=Dz、zとし、その315゜
方向両隣の画像データD a = D + 、 + 、
D z = D 3、。
方向両隣の画像データD a = D + 、 + 、
D z = D 3、。
をそれぞれのマルチラインバッファメモリ421〜42
3からレジスタ451〜453を介して取り出し乗算器
101−103に印加する。プロセッサ10は上記画像
データ、D+、+ 、0212 、k3および係数ω。
3からレジスタ451〜453を介して取り出し乗算器
101−103に印加する。プロセッサ10は上記画像
データ、D+、+ 、0212 、k3および係数ω。
、ω1.ω2を用いて、ベクトルコンボリューション演
算について次のグラディエンドGG=ω。D、+ωlD
!+ω2 D !に基づく演算を行う。その結果は、レ
ジスタ105、ゲート17、バス110、双方向性ゲー
ト15を介して、データ記憶装置30のシリアルアクセ
ス・メモリ32に印加する。
算について次のグラディエンドGG=ω。D、+ωlD
!+ω2 D !に基づく演算を行う。その結果は、レ
ジスタ105、ゲート17、バス110、双方向性ゲー
ト15を介して、データ記憶装置30のシリアルアクセ
ス・メモリ32に印加する。
以下同様に、注目画像データD1をD2.1、D2,4
、・・・D2,2いをずらせた上記ベクトルコンボリュ
ーション演算を順次行い、シリアルアクセスメモリ32
に結果を出力していく。以上にて、第1行目について、
02.2.0213 、・・・DZ+2SS、Dz+z
sb 、Dz、+ の順に注目画像データとするベクト
ルコンボリューションがシリアルアクセスメモリ32に
入力されたことになる。シリアルアクセスメモリにおい
て、出力結果の配列がメモリセル21の注目画像データ
の格納アドレスに対応するようにサイクリック・シフト
を行い、得られたすべての結果をメモリセル32の第2
行目に同時に書込む。
、・・・D2,2いをずらせた上記ベクトルコンボリュ
ーション演算を順次行い、シリアルアクセスメモリ32
に結果を出力していく。以上にて、第1行目について、
02.2.0213 、・・・DZ+2SS、Dz+z
sb 、Dz、+ の順に注目画像データとするベクト
ルコンボリューションがシリアルアクセスメモリ32に
入力されたことになる。シリアルアクセスメモリにおい
て、出力結果の配列がメモリセル21の注目画像データ
の格納アドレスに対応するようにサイクリック・シフト
を行い、得られたすべての結果をメモリセル32の第2
行目に同時に書込む。
上記シリアルアクセスメモリ32におけるシフト動作お
よび書込動作と並行して、メモリセル21から4列目の
画像データD4..〜D4+Z’i6をマルチラインバ
ッファメモリ°421〜423の第0行目に転送する。
よび書込動作と並行して、メモリセル21から4列目の
画像データD4..〜D4+Z’i6をマルチラインバ
ッファメモリ°421〜423の第0行目に転送する。
これにより、各マルチラインバッファメモリ421〜4
23には、第0行目に画像データD49.〜D4.zs
a第1行目にD2.1〜Dz、zsth、第2行目にD
3,1〜D:+、zs6が格納されている。
23には、第0行目に画像データD49.〜D4.zs
a第1行目にD2.1〜Dz、zsth、第2行目にD
3,1〜D:+、zs6が格納されている。
したがって、また、注目画像データと両隣の画像データ
を用いて演算を行う。以下、前記と同様に315°方向
のベクトルコンボリューションを行い、データ記憶装置
30のメモリセル31に記憶していく。
を用いて演算を行う。以下、前記と同様に315°方向
のベクトルコンボリューションを行い、データ記憶装置
30のメモリセル31に記憶していく。
すべてのデータについて315°方向のベクトルコンボ
リューション演算を完了すれば、メモリセル31に記憶
された結果はCI?Tディスプレイ8に表示される。
リューション演算を完了すれば、メモリセル31に記憶
された結果はCI?Tディスプレイ8に表示される。
他の45°、90°、135°、225°、270°方
向のベクトルコンボリューション演算についても同様の
演算が行われる。
向のベクトルコンボリューション演算についても同様の
演算が行われる。
0”、180°方向のベクトルコンボリューション演算
については、演算に用いるデータをバス120、レジス
タ451.452.453の順で転送すればよく、マル
チラインバッファメモリは使用しない。
については、演算に用いるデータをバス120、レジス
タ451.452.453の順で転送すればよく、マル
チラインバッファメモリは使用しない。
第3図において、5次のベクトルコンポリューシランイ
ンテグラルに適用する場合には、乗算器101〜103
を5台、係数用レジスタ111〜113を5個、各マル
チラインバッファメモリ 421〜423を5行分のメ
モリ容量に拡張すればよい。
ンテグラルに適用する場合には、乗算器101〜103
を5台、係数用レジスタ111〜113を5個、各マル
チラインバッファメモリ 421〜423を5行分のメ
モリ容量に拡張すればよい。
第5図に本発明の他の一実施例として、コンボリューシ
ョンプロセッサと、ラインバッファ回路の回路図を示す
。こへでは画像データ入力が直接にレジスタ50.51
.52に入り、格納されたデータは、アドレス指定信号
と共にマルチプレクサ47.48.49に入れられる。
ョンプロセッサと、ラインバッファ回路の回路図を示す
。こへでは画像データ入力が直接にレジスタ50.51
.52に入り、格納されたデータは、アドレス指定信号
と共にマルチプレクサ47.48.49に入れられる。
その出力は乗算器用RAMに送られ格納される。
一方シリアルアクセスメモリ付きのDRAMを使って、
シリアルアクセスメモリからシーケンシャルに1行毎に
フレームメモリをアクセスすると高速SRAMなみの速
度で作動させることができるので、例えば0°方向ベク
トルコンボリユーシヨンを高速に実施できるので、繰返
してO°方向ベクトルコンボリューションを行い、その
和をとるように加算器104を用いて加算し、記憶作用
のあるレジスタ105を介して制御装置に出力を送るこ
とによりマトリクスコンボリューションを行うことがで
きる。
シリアルアクセスメモリからシーケンシャルに1行毎に
フレームメモリをアクセスすると高速SRAMなみの速
度で作動させることができるので、例えば0°方向ベク
トルコンボリユーシヨンを高速に実施できるので、繰返
してO°方向ベクトルコンボリューションを行い、その
和をとるように加算器104を用いて加算し、記憶作用
のあるレジスタ105を介して制御装置に出力を送るこ
とによりマトリクスコンボリューションを行うことがで
きる。
また、レジスタ105の読出し出力は、■ラインバッフ
ァレジスタ106を介してゲート回路より加算器104
に入力することができる。
ァレジスタ106を介してゲート回路より加算器104
に入力することができる。
第5図の装置において、乗算器用RAMは小容量高速動
作のものを必要とするが、一方、CPLIにより乗算結
果を予め準備しておくバッファ用DRAMは比較的低速
でよく、更にこのDRAMは、低価格であるにも拘らず
記憶容量が大きいので有用である。
作のものを必要とするが、一方、CPLIにより乗算結
果を予め準備しておくバッファ用DRAMは比較的低速
でよく、更にこのDRAMは、低価格であるにも拘らず
記憶容量が大きいので有用である。
以上はコンボリューションの荷重係数が一定の場合であ
るから荷重係数を変更する場合にはDRAM41から乗
算器用RAMl01〜103に新しい乗算器用テーブル
ルックアップ・データをローディングする必要があり、
この場合オーバヘッド(停止)時間を最短化することが
要求される。之に対応するために、DRAMからシリア
ルアクセスメモリを経由してデータを転送できる構成に
しである。
るから荷重係数を変更する場合にはDRAM41から乗
算器用RAMl01〜103に新しい乗算器用テーブル
ルックアップ・データをローディングする必要があり、
この場合オーバヘッド(停止)時間を最短化することが
要求される。之に対応するために、DRAMからシリア
ルアクセスメモリを経由してデータを転送できる構成に
しである。
第1図の装置においては、大容量の画像データを記憶す
る比較的低速動作のデータ記憶装置と画像信号処理装置
との間に、データ記憶装置よりも高速動作でランダムア
クセス可能な比較的小規模のデータ保持手段を設けられ
、全体として経済的で高速な画像信号の処理が行われる
。
る比較的低速動作のデータ記憶装置と画像信号処理装置
との間に、データ記憶装置よりも高速動作でランダムア
クセス可能な比較的小規模のデータ保持手段を設けられ
、全体として経済的で高速な画像信号の処理が行われる
。
フレームメモリを構成する各DRAMに夫々シリアルア
クセスメモリSAMをイ寸属させ、DRAMにはローデ
ィングデータを予め記憶させておき、データ読出し後は
シリアルアクセスメモリを介して乗算器用RAMに高速
データ転送が行われる。またスタティックRAMに替え
てシリアルアクセスメモリを付属させたDRAMは記憶
容量が大であり製造価格は比較的低度である。
クセスメモリSAMをイ寸属させ、DRAMにはローデ
ィングデータを予め記憶させておき、データ読出し後は
シリアルアクセスメモリを介して乗算器用RAMに高速
データ転送が行われる。またスタティックRAMに替え
てシリアルアクセスメモリを付属させたDRAMは記憶
容量が大であり製造価格は比較的低度である。
第1図装置においては、RAM乗算器の高速ローディン
グ方式を採用することにより、シリアルアクセスメモリ
部は1語あたり100ns (ナノ秒)程度の転送動作
時間が可能である。変数が8ビツトとすると乗算器用の
テーブルは256種類の乗算器用テーブルデータが必要
となり、これを転送するのに約25,6μsのオーバヘ
ッド時間で処理できる。
グ方式を採用することにより、シリアルアクセスメモリ
部は1語あたり100ns (ナノ秒)程度の転送動作
時間が可能である。変数が8ビツトとすると乗算器用の
テーブルは256種類の乗算器用テーブルデータが必要
となり、これを転送するのに約25,6μsのオーバヘ
ッド時間で処理できる。
通常コンボリューションには数10〜数Looms(ミ
リ秒)の時間がか\ることを考慮すればこのオーバヘッ
ド時間約25.6μsは問題にならない程度の値である
。
リ秒)の時間がか\ることを考慮すればこのオーバヘッ
ド時間約25.6μsは問題にならない程度の値である
。
本発明によれば、シリアルアクセスメモリ回路付画像デ
ータフレームメモリの特徴を活用しつつ、経済的にかつ
ベクトルコンボリューションの方向性に依存されず、高
速演算処理可能な、コンボリューションを用いる画像信
号処理を行うことができる。
ータフレームメモリの特徴を活用しつつ、経済的にかつ
ベクトルコンボリューションの方向性に依存されず、高
速演算処理可能な、コンボリューションを用いる画像信
号処理を行うことができる。
第1図は本発明の一実施例としての画像信号処理装置の
構成図、 第2図は第1図のメモリセル内のデータストアアレイを
示す図、 第3図は第1図におけるプロセッサおよびマルチライン
バッファ回路の回路図、 第4図は第1図および第3図の装置のベクトルコンボリ
ューション演算動作を示す概念図、第5図は本発明の他
の実施例としてのコンボリューション・プロセッサの回
路図、 第6図は従来の画像信号処理装置の構成図、第7図は画
像データ角度に関するベクトルコンボリューションの信
号形態を示す図、 である。 (符号の説明) 11・・CPU。 2・・・主メモリ、 3・・・I10コントローラ、 10・・・ヘクトルコンボリューションインテグラルプ
ロセッサ、 11・・・係数レジスタ、 13〜17・・・ゲート、 工9・・・制御回路、 20・・・データ記憶装置、 21・・・メモリセル部、 22・・・シリアルアクセスメモリ、 30・・・データ記憶装置、 31・・・メモリセル部、 32・・・シリアルアクセスメモリ、 40・・・マルチラインバッファ回路、101〜103
・・・乗算器、 104・・・加算器、 105・・・レジスタ、 106・・・1ラインバツフア、 107・・・ゲート回路、 111〜113・・・係数レジスタ、 401〜403・・・バッファゲート、421〜423
・・・マルチラインバッファメモリ、431・・・43
3・・・マルチプレクサ、451〜453・・・レジス
タ。
構成図、 第2図は第1図のメモリセル内のデータストアアレイを
示す図、 第3図は第1図におけるプロセッサおよびマルチライン
バッファ回路の回路図、 第4図は第1図および第3図の装置のベクトルコンボリ
ューション演算動作を示す概念図、第5図は本発明の他
の実施例としてのコンボリューション・プロセッサの回
路図、 第6図は従来の画像信号処理装置の構成図、第7図は画
像データ角度に関するベクトルコンボリューションの信
号形態を示す図、 である。 (符号の説明) 11・・CPU。 2・・・主メモリ、 3・・・I10コントローラ、 10・・・ヘクトルコンボリューションインテグラルプ
ロセッサ、 11・・・係数レジスタ、 13〜17・・・ゲート、 工9・・・制御回路、 20・・・データ記憶装置、 21・・・メモリセル部、 22・・・シリアルアクセスメモリ、 30・・・データ記憶装置、 31・・・メモリセル部、 32・・・シリアルアクセスメモリ、 40・・・マルチラインバッファ回路、101〜103
・・・乗算器、 104・・・加算器、 105・・・レジスタ、 106・・・1ラインバツフア、 107・・・ゲート回路、 111〜113・・・係数レジスタ、 401〜403・・・バッファゲート、421〜423
・・・マルチラインバッファメモリ、431・・・43
3・・・マルチプレクサ、451〜453・・・レジス
タ。
Claims (1)
- 【特許請求の範囲】 1、マトリクス状に配設されて成る複数のメモリセル、
およびマトリクスの1行の複数のメモリセルに同時にデ
ータ読出又は書込むように構成され且つ該読出又は書込
データをシリアルに転送可能なシリアル入出力回路を有
し、複数の画像データを記憶するデータ記憶装置、 該データ記憶装置のメモリセル内の記憶装置に基づく一
定の関係にある複数の画像データについて画像信号演算
を行う画像処理装置、および前記データ記憶装置と前記
画像処理装置との間に、前記画像処理装置における画像
信号演算を行う複数の画像データの個数に応じて設けら
れた複数のデータ保持手段であって、各データ保持手段
は前記データ記憶装置のマトリクスの複数行分のデータ
を保持する容量を有し、前記データ記憶装置より高速な
読出および書込動作を行うように構成され、各データ保
持手段がそれぞれ独立に動作し得るように構成されたも
の、 を具備し、 該画像処理装置は乗算器を有し、 該乗算器により、画像信号から変換されたディジタル化
画像情報に対し鮮鋭化、雑音除去、エッジ抽出等のため
のコンボリューションが行われることを特徴とするコン
ボリューションを用いる画像信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP61005095A JPS62164180A (ja) | 1986-01-16 | 1986-01-16 | コンボリユ−シヨンを用いる画像信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP61005095A JPS62164180A (ja) | 1986-01-16 | 1986-01-16 | コンボリユ−シヨンを用いる画像信号処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPS62164180A true JPS62164180A (ja) | 1987-07-20 |
Family
ID=11601824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP61005095A Pending JPS62164180A (ja) | 1986-01-16 | 1986-01-16 | コンボリユ−シヨンを用いる画像信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPS62164180A (ja) |
-
1986
- 1986-01-16 JP JP61005095A patent/JPS62164180A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100503094B1 (ko) | 넓은 메모리 밴드위스를 갖는 디지털 신호 처리 장치 및그 메모리 맵핑 방법 | |
JPS6247786A (ja) | 近傍画像処理専用メモリ | |
JPS6053349B2 (ja) | 画像処理プロセツサ | |
JP3278756B2 (ja) | 画像処理方法及び装置 | |
GB2277012A (en) | Image data storage | |
US5345563A (en) | Input/output interface for data in parallel processors | |
US4949282A (en) | Device for calculating the moments of image data | |
EP0655694B1 (en) | Discrete cosine transform processor | |
JPS62164180A (ja) | コンボリユ−シヨンを用いる画像信号処理装置 | |
US5982395A (en) | Method and apparatus for parallel addressing of an image processing memory | |
US4805228A (en) | Cellular logic processor | |
JP2002269067A (ja) | 行列演算装置 | |
JPH11338767A (ja) | 画像処理用機能メモリ装置 | |
JPH0259943A (ja) | 塗潰しパターン発生装置 | |
JPS62105287A (ja) | 信号処理装置 | |
JPS62105289A (ja) | 画像信号処理装置 | |
JPS62105288A (ja) | 信号処理装置 | |
EP0321584A1 (en) | System for calculating sum of products | |
JP2855899B2 (ja) | 機能メモリ | |
JP3608207B2 (ja) | 並列演算処理装置 | |
JPS6289171A (ja) | 画像信号処理装置 | |
JPH0435792B2 (ja) | ||
JPS63298574A (ja) | デ−タ平滑処理装置 | |
JP4244619B2 (ja) | 画像データ処理装置 | |
JPS6319911B2 (ja) |