JP2949589B2 - ２×２ウインドウ・アーキテクチヤを有する並列パイプライン映像プロセツサ - Google Patents

Description

【発明の詳細な説明】 発明の背景 本発明は映像プロセツサに関するものである。とく
に、２×２ウインドウ直列近傍変換プロセツサが、区画
されている映像データマトリツクスの別々のセグメント
に対して動作する。

背 景 近傍映像プロセツサは、映像データメモリのセルすな
わちレジスタに格納されている映像センサデータ値の第
１のアレイまたは第１のマトリツクスに対して動作す
る。各セルに格納されている映像データ値は、二次元セ
ンサ平面に投写された光に応答してその二次元センサ平
面により発生された個々の画素から一般に生ずる。近傍
映像プロセツサは映像データ値で動作して次の変換マト
リツクスを発生する。それらの変換マトリツクスにおい
ては、それの各センサは、映像データメモリの先行する
マトリツクス中のそれの値と、先行するマトリツクス中
のそれの周囲または近くのセルの値に依存する値を有す
る。順次、以前の変換マトリツクスに対して動作するこ
とにより以後の変換を行うことができる。近傍変換プロ
セスは、映像処理，映像の理解，マシン・ビジヨン応用
等における効率の良い低レベル高データ速度処理にとつ
て決定的である。近傍変換プロセツサの計算の要求は１
秒間当り何十億回にもなることがある。その理由は、映
像処理に含まれるデータ速度が高く（走査線数が525本
であるテレビジヨンの場合には１秒間当りの画素の数が
約800万個）、アルゴリズムの実行において行わなけれ
ばならない演算の数が多い（１画素当り数百回の演算）
ことである。近傍変換プロセツサは、映像から多くの原
始的な諸特徴を取出すのに効果的であることが判明して
いる。それらは映像内容の理解と映像データの圧縮（た
とえば、物体の境界すなわち縁部、すなわち、ゾーベル
（Sobel）縁部およびロバーツ（Roberts）縁部を見つけ
ること）において有益である。

一般に、本願発明は映像プロセツサよりも広い用途を
有する。本発明は、近傍変換プロセスにより変換する必
要があるデータの任意の二次元アレイに応用することも
意図するものである。

近傍映像プロセツサの例が、デビツド・エル・マツキ
ユブレイ（David L.McCubbrey）に与えられた米国特許
第4,484,349号に開示されている。参考のためにその米
国特許をここに含める。マツキユブレイは、個々にプロ
グラム可能である直列近傍変換段のチエーンまたはパイ
プラインを採用する直列近傍プロセツサを開示してい
る。各段は、１クロツクサイクル期間中に１つの画素の
変換された値を発生できる。各直列近傍変換段の出力が
それの入力と同じ速度で生ずる。これにより、１つの段
の出力を、異なる近傍変換を行うことができる次の段の
入力端子へ供給できるようにされる。したがつて、各段
は映像全体にわたつて１つの特定の変換を行う。

更に、マツキユブレイは、映像の隣接するセグメント
を２つまたはそれ以上の隣接する直列近傍変換プロセツ
サにより同時に処理できるように、映像マトリツクスを
区画する技術を開示している。その装置においては、隣
接する直列近傍プロセツサの間でデータを双方向に転送
するための備えを設けなければならない。１つのプロセ
ツサにおいて変換されているセルの附近のセルが、隣接
する映像マトリツクスセグメントの映像マトリツクスセ
グメントに含まれている時に、この転送は必要になる。

発明の簡単な説明 本発明の目的は、並列パイプライン映像プロセツサに
組込むことができる近傍変換モジユールのための簡単な
アーキテクチヤを得ることである。

本発明の別の目的は、２×２ウインドウに対して近傍
変換を行う近傍変換モジユールアーキテクチヤを得るこ
とである。

本発明は、２×２ウインドウ変換を行うための近傍変
換モジユール（NTM）を提供するものである。本発明に
おいては、セグメント遅延だけ分離されている２個の蓄
積レジスタによりNTMは構成される。第１の蓄積レジス
タへの入力と、第１および第２の蓄積レジスタの出力
と、セグメント遅延の出力とは、次の近傍変換処理のた
めにマルチパススイツチへ供給される。更に、２×２近
傍変換モジユールアーキテクチヤは、並列近傍変換モジ
ユールの間でデータを転送するために、２つのシフトレ
ジスタと付加蓄積レジスタも含む。

好適な実施例においては、NTMモジユールの１つのシ
フトレジスタが、縁部データ値を隣接する（並列）NTM
モジユールで利用できるようにするために、その縁部デ
ータ値を保持する。シフトレジスタの２進データが隣接
するNTMの入力シフトレジスタへ直列に送られる。入力
シフトレジスタは、隣接するNTMの縁部データを用いて
近傍変換を行うことができるように、マルチパススイツ
チへ適切に接続される。

更に、本発明は、２×２ウインドウ近傍変換技術に組
合わせてラスタ走査反転を使用するものである。本発明
の近傍変換モジユールアーキテクチヤにより、ハードウ
エアまたは制御同期化をどのようにも変更することなし
に、同じNTMアーキテクチヤによつて走査反転を行うこ
とができる。

図面の簡単な説明 第１図は並列区画直列近傍映像処理装置のブロツク
図、 第２図は本発明の近傍変換モジユールのブロツク図、 第３図は３つの並列近傍変換モジユールの相互接続を
示すブロツク図、 第4a〜4d図はラスタ走査制御技術の線図的表現、 第５図はメモリマツプについての近傍変換ウインドウ
を示す線図、 第６図は第２図の近傍変換モジユールの動作を示すタ
イミング図、 第７図は本発明の３セグメント区画されたメモリのメ
モリマツプ、 第８図は第4b図の反転走査による近傍変換モジユール
の動作を示すクロツクサイクルタイミング表、 第９図は本発明の近傍変換モジユールの別の実施例で
ある。

発明の詳細な説明 第１図に、前記米国特許第4,484,349号に示されてい
るのに類似する並列パイプライン映像プロセツサが示さ
れている。Ｎ列,M行を持つ二次元映像センサプレーン10
からの映像センサデータが映像データメモリ手段20へ転
送される。説明のために、メモリ10を、Ｍ行,N列を有す
る蓄積レジスタの二次元アレイとして視覚化できる。メ
モリ20中の各レジスタはそれの行および列のアドレスに
よりアドレスできる。当業者であれば理解できるよう
に、映像の場所をたどるという所期の結果を得るために
多くのメモリマツピング技術を採用できる。第１図に更
に示すように、メモリ20は、21,22,23として数字で識別
されているＫ（図ではＫ＝３）個の区画に幾何学的に分
割される。各区画はＭ行,P列で構成される。本発明にお
いては、区画のアレイ寸法は等しくすることが好まし
い。

第１の区画21からのデータが近傍変換モジユール（NT
M）30へ直列に供給される。NTM30の出力がNTM40へ直列
に供給される。NTM40の出力60がメモリ手段20へ結合さ
れていることが示されている。

同様にして、メモリ手段20の第２の区画22がNTM31とN
TM41へ順次直列に供給される。NTM41の出力61がメモリ
手段20へ結合される。同様に、第３の区画23がNTM32とN
TM42へ順次供給される。モジユール42の出力62もメモリ
手段20へ結合される。

実際には、NTMモジユール30,31,32はほぼ同一であつ
て、ほぼ同じ近傍変換プロセスを行う（すなわち、それ
らはほぼ同じ近傍変換アルゴリズムを利用する）。同様
に、NTMモジユール40,41,42はほぼ同一で、同一の近傍
変換を行うことを意図するものである。NTMモジユール3
0,31,32を含む第１の変換段により実行される変換アル
ゴリズムと、NTMモジユール40,41,42を含む第２の変換
段により実行される変換アルゴリズムは通常は異なる
が、同じアルゴリズムとすることができる。各段により
実行される各アルゴリズムは希望の映像処理の種類に依
存する。本発明においては、各NTMモジユールにより実
行されるアルゴリズムを変更できる制御情報（図示せ
ず）を除き、各近傍変換モジユールは同一である。

再び第１図を参照して、相互接続手段51が、縁部デー
タをモジユール30と31の間で転送するための経路を構成
する。同様に、相互接続手段52が、縁部データをモジユ
ール31と32の間で転送するための経路を構成する。相互
接続手段53が縁部データをモジユール40と41の間で転送
し、相互接続手段54が、縁部データをモジユール41と42
の間で転送する経路を構成する。

第２の区画22と第３の区画23の間にいくつかの区画を
設けることができることを当業者は認識すべきである。
選択される区画の数は設計の選択の問題である。

また第１図に示されているように、メモリ20は出力手
段70を含む。その出力手段は、ビデオ出力のための遅延
電子装置のような利用装置へ接続することを一般に意図
するものである。しかし、モジユール40,41,42の出力を
利用装置への直接接続として使用することもできる。

これまでの説明は、一部は本質的にはこの分野で知ら
れているものであり、とくに米国特許第4,484,349号に
より記載されているものである。第２図には、第１図に
示されている本発明の近傍変換モジユールの１つの概略
ブロツク図であつて、それらのモジユールにおいては２
×２ウインドウ変換は変換プロセスの一体部分である。
第２図において、示されている単一信号線は実際には複
数の信号線、すなわち、並列信号バスである。

第２図に示されている近傍変換モジユール100のアー
キテクチヤが、前記したように２×２のウインドウ近傍
変換を実行するために動作し、かつ第１図のNTMモジユ
ールのいずれかのためにそのアーキテクチヤを使用でき
る。各NTMモジユールは、蓄積レジスタ（SR）203へ接続
される入力手段201を含む。蓄積レジスタ203は出力204
を含む。その出力は信号文字「Ａ」によつても示されて
いる。その出力はそれぞれ接続手段204aと204bにより蓄
積レジスタ205とマルチパススイツチ207の入力端子へ供
給される。蓄積レジスタ205は出力206を含む。その出力
は信号文字「Ｂ」によつても示されている。その出力は
接続手段206a,206b,206cをそれぞれ介して、出力シフト
レジスタ211と、遅延レジスタ212と、マルチパススイツ
チ207とへ供給される。出力シフトレジスタ211は出力21
8を含む。その出力は信号文字「Ｈ」によつても示され
る。遅延レジスタ212は出力213を含む。この出力は信号
文字「Ｃ」によつても示される。その出力213は、接続
手段213a,213bをそれぞれ介して蓄積レジスタ215とマル
チパススイツチ207へ供給される。蓄積レジスタ215は出
力219を含む。この出力は信号文字「Ｄ」でも示され、
マルチパススイツチ207へ供給される。

モジユール100は入力シフトレジスタ221も含む。その
入力シフトレジスタの出力225が、接続手段225aと225b
をそれぞれ介して蓄積レジスタ223とマルチパススイツ
チ207へ供給される。その出力225は信号文字Ｆによつて
も示されている。蓄積レジスタ223の、信号文字Ｇによ
つても示されている出力227が、接続手段227によりマル
チパススイツチ207へ供給される。入力シフトレジスタ2
21がそれの入力を入力手段231または233とマルチプレク
サ235を介して、スイツチ制御器S2の制御の下に受け
る。

マルチスイツチ207は４つの出力241,242,243,244を有
する。それらの出力241,242,243,244は信号文字
「ａ」，「ｂ」，「ｃ」，「ｄ」により示される信号を
それぞれ有する。それらの出力は近傍変換プロセツサ25
0へ入力として供給される。そのプロセツサは算術論理
装置（ALU）251,252,253を含む。ALU251は信号「ａ」と
「ｂ」で動作し、ALU252は信号「ｃ」，「ｄ」で動作す
る。ALU251の出力は蓄積レジスタ255を介してALU253へ
供給される。同様に、ALU252の出力は蓄積レジスタ257
を介してALU253へ供給される。いま説明したプロセツサ
250の入力，出力および内部接続は、所期の機能を実行
せるための性質の例にすぎないことに注目すべきであ
る。

各蓄積レジスタと、遅延レジスタ212と、算術論理装
置とは中央クロツク信号CK1（図示せず）により同期し
て動作させられることを意図するものである。本発明の
理解を容易にするように図示を簡単にするために、クロ
ツク信号CK1は図から省かれている。（同期制御と非同
期制御は制御技術において良く理解されている。）出力
シフトレジスタ211と入力シフトレジスタ221は、共通ク
ロツク信号CK2により直列に桁送りされるように示され
ている。しかし、独立のクロツク信号を利用できる。
（シフトレジスタ221への入力とシフトレジスタ211の出
力は直列形式であるから、並列バスを必要としないため
にアーキテクチヤが簡単になる。）更に、出力シフトレ
ジスタ211は、イネイブル信号E1の制御の下にレジスタ2
05の出力の蓄積を行わせるE1も含む。蓄積レジスタ223
も、イネイブル信号E2の制御の下に入力シフトレジスタ
221の出力の蓄積を行わせるE2を含む。最後に、後で説
明するように機能する制御スイツチ信号S1を有するマル
チパススイツチS1が示されている。

第３図は、アレイが３つの区画に分けられている本発
明の並列パイプライン近傍変換プロセツサを示す。第３
図の目的は３つの同一の近傍変換モジユール100の間の
接続を示すことで、とくに、縁部データ情報を下記のよ
うにして転送できるようにするために、モジユールの間
の入力シフトレジスタ211と出力シフトレジスタ221の間
の接続を示すことである。

第３図において、左側NTMモジユールはモジユール301
として示され、右側NTMモジユールは303として示され、
中間のNTMモジユールが302として示されている。全ての
NTMモジユール301,302,303は同一であつて、第１図のモ
ジユール30,31,32に類似する。第２図におけるのと同じ
所期の機能を有する各NTMモジユール301,302,303は、第
２図のNTMモジユール100のそれと同じ数字を有する。モ
ジユール302の出力シフトレジスタ211の出力は先行する
モジユール301の入力手段233と、後続するモジルール30
3の入力手段231とに接続される。モジユール301のシフ
トレジスタ211の出力は後続するモジユール302の入力手
段231へ供給される。モジユール303の出力シフトレジス
タ211の出力は先行するモジユール302の入力手段233へ
供給される。

第4a図，第4b図，第4c図および第4d図は本発明のラス
タ走査線制御技術と近傍変換メモリマツピング技術を示
す。とくに、第4a図は、左から右へ、および上から下へ
動く、すなわち、右／下走査、ラスタ線走査を示す。更
に、４つのコーナーアドレスa,b,c,dを有する２×２ウ
インドウのデータが、前記４つのコーナーデータ値の結
果としての変換が、メモリ手段20の、ｂアドレスの以前
の場所に対応するアドレス場所に格納される、という決
定で操作させられる。上記の制御技術が第５図に更に示
されている。

第５図はメモリＡ中の４行,4列の小さいアドレスマト
リツクスの例を示すものである。メモリＡマトリツクス
中の各セルは数字アドレス1a〜16aで示されている。ス
テツプ１において、最初の２×２近傍変換がセル1a,2a,
5a,6a中のデータに作用し、結果NT1をメモリＢのアドレ
ス5bの場所に格納する。そのメモリＢはメモリＡと対応
する数字アドレスを有する。ステツプ２において、ラス
タ走査は１列の上を動き、セル2a,3a,6a,7a内のデータ
に対して近傍変換を行い、結果NT2をセル6bに格納す
る。ステツプ３の後で、セル3a,4a,7a,8aに対する近傍
変換の結果NT3がアドレス7bに格納される。ステツプ３
の後では、行１と２におけるデータ値についてのそれ以
上の有効な２×２変換を行うことはできないことに注目
されたい。したがつて、ステツプ４（図示せず）は、セ
ル8b中の星印で示されているように、有効でないデータ
を生ずる。ステツプ４が終ると、ラスタ線走査が１行だ
けリセツトダウンされ、ステツプＫで示されているよう
に左側へ戻る。ステツプＫにおいて、セル5a,6a,9a,10a
について近傍変換NT4が行われ、アドレス9bに格納され
る。ステツプＮは、メモリＡに格納されているデータ値
のマトリツクス中のデータ値について行われる最後から
２番目の２×２ウインドウ変換を示す。ステツプＮにお
いては、セル11a,12a,15a,16aについて近傍変換NT11が
行われ、アドレス15bに格納される。

メモリＡに格納されている映像の完全なラスタ走査
と、２×２ウインドウ近傍変換走査の利用と、結果変換
のメモリＢのｂセルの対応するアドレスへの格納の利用
との後では、結果映像は、１番上の行と右側の列が有効
な近傍変換データをもはや持たないために映像が縮むよ
うなものである。このことが第５図において、ステツプ
Ｎの後のメモリＢの１番上の行と右側の列中の星印によ
りとくに示されている。更に、メモリマトリツクス中の
結果映像が１行だけ下へ、１列だけ左へ桁送りしてい
る。

各近傍変換に対して、たとえば第３図に示されている
NTMモジユール40,41,42による第２の変換によつて、メ
モリ中の映像は、同じラスタ線走査パターンに対するの
と同じ向きに更に行と列だけ桁送りすることが当業者に
は当然わかる。後で説明するように、同じNTMモジユー
ルおよび制御技術を用いて、第４図に示されているよう
に、本発明のアーキテクチヤは逆走査を利用でき、その
結果として、結果としての近傍変換映像が相補的なやり
方で桁送りされて、映像を映像メモリマツプ内に再び位
置させる。

第２図の近傍変換モジユールの動作を第３図と、第６
図に示されているクロツクサイクルタイミング表と、第
７図のメモリ図と、第4a図のラスタ線走査図とを参照し
て説明する。

第７図は、第５図に類似する３セグメントの区画され
た映像データメモリマツプA,BおよびＡ＋を示す。各メ
モリマツプは４行,12列を有する。更に、メモリマツプ
セグメント601,602,603に示されているように、映像デ
ータとメモリマツプが３つのセグメントに分割されるこ
とについて考える。各メモリマツプにおいて、左上のメ
モリセルがアドレス１により示され、１番下の右側セル
がアドレス16により示されている。更に、メモリ区画60
1,602,603からの出力データが信号バス（図示されてい
ない接続により）、第4a図に示されているラスタ線走査
に従つて、第３図に示すように各情報モジユール301,30
2,303へ順次供給される。すなわち、セルデータは、選
択されたクロツクサイクルに対して、メモリマツプの左
上隅に対応するアドレスから始つて、各線走査に対して
左から右へ走査して、１度に１つのセルおよび１本の線
ずつ、メモリから順次供給される。第６図に示されてい
る詳細は、入力手段a,b,c,dにおけるデータのアドレス
（データ自体ではない）を示す。それらのデータは、各
クロツクサイクルCK1に対して、近傍変換プロセツサ250
へ供給される。

第６図におけるクロツクサイクルタイミング表と、第
７図に示されているメモリマツプ図は任意のNTMモジユ
ール、とくに中間NTMモジユール302の右／下走査に対す
る動作を図式的に示す。第６図の表の見出しは、第２図
を参照して先に定めた信号文字を示す。「文字」列の下
側の数字は区画された特定のメモリのセルアドレスを示
す。以下の説明は完全な各クロツクサイクルCK1に続く
データの流れを記述するものである。「円で囲まれた」
セルは隣接するNTMモジユールにより必要とされる縁部
データを示す。「四角形で囲まれた」セルデータは、近
傍の２×２変換のために求められるセルデータを示す。

第２のクロツクサイクルの後で、セル１のデータを含
んでいる信号Ｂが、信号E1の指令に応じて、シフトレジ
スタ211にロードされる。図示の例に対するタイミング
背景においては、全体としてより高いクロツク速度CK2
で、出力シフトレジスタ211の内容が接続手段231を介し
て先行するNTMモジユール301の入力シフトレジスタ223
の中に直列に桁送りされる。それと同時に、後続するNT
Mモジユール303の出力シフトレジスタ211の内容が、接
続手段233を介してモジユール302の入力シフトレジスタ
221へ直列に桁送りされる。信号E2の指令が加えられる
と、信号ＦがSR223にロードされる。同様にして、６番
目のクロツクサイクルの後で、セル５の内容が入力シフ
トレジスタ221にロードされる。したがつて、10番目の
クロツクサイクルの前は、信号Ｇはセル１の内容を表
し、信号Ｆはセル５の内容を表す。出力シフトレジスタ
211と入力シフトレジスタ221の組合わせにより、NTMモ
ジユールの間で１本の直列データ伝送線により縁部デー
タの送りと格納を行えるようにされる。したがつて、こ
れにより、セルデータがレジスタ205,212,215と、NTMモ
ジユールの間の最小信号線を介して通されている間に、
背景タイミングの活動を行えるようにされる。

一般に、クロツク速度CK2はCK1より高い必要はなく、
実際にはCK1と同じにできる。すなわち、セグメント当
りの列の数がメモリセルに格納されているデータ値当り
のビツト数（すなわち、出力シフトレジスタたとえばレ
ジスタ211の長さ）より多いと、CK2をCK1と同じに（ま
たは低くも）できる。

次に、遅延レジスタ212の機能と遅延の長さについて
説明する。第６図に示す例においては、メモリ映像は３
つのセグメントに分けられる。各セグメントは４列を含
む。NTMモジユール100を正しく動作させるためには、遅
延レジスタ212は、Ｎ列の総映像列（12）をＫ個の区画
（３）の数で除した商から１を引いた数、すなわち（N/
K）−１、に等しくなければならない。この例において
は、遅延レジスタは３クロツクサイクル（12を３で除し
た商引く１）に等しいものを供給せねばならない。した
がつて、この例においては、遅延レジスタは、遅延レジ
スタの出力213、文字「ｃ」で示されている。において
データを利用できるまでに、３クロツクサイクルの長さ
に等しくなければならない。したがつて、５番目のクロ
ツクサイクルの後でno.1のセルの内容をＣにおいて利用
できる。６番目のクロツクサイクルの後で、信号A,B,C,
Dの値は正確に第4a図のウインドウパターンであり、か
つメモリＡに対する第５図のステツプ１に示されている
ウインドウである。すなわち、Ｄはセルno.1の値を有
し、Ｃはセルno.2の値を有し、Ｂはセルno.5の値を有
し、Ａはセルno.6の値を有する。同様にして、各クロツ
クサイクルCK1の後では、A,B,C,Dの値は２×２のウイン
ドウの走査に対応する。

以下の説明は、区画縁部における近傍変換を実行する
ためのマルチパススイツチの動作についてのものであ
る。６番目のクロツクサイクルの後で、マルチパススイ
ツチ207がスイツチS1によつてセツトされて、出力A,B,
C,Dを入力a,b,c,dとして近傍変換プロセツサ250へ供給
する。７番目のクロツクサイクルの後で、セル2,3,6,7
の近傍変換がプロセツサ250において始まる。メモリＢ
へ後で格納するため、または第１図に示すように後の変
換段へ供給するために、プロセツサ250の出力290におい
てデータを利用できるまで、変換プロセスは１つまたは
複数のクロツクサイクルにわたつて行われる。ただ１つ
の変換段があると仮定すると、６番目,7番目および８番
目のクロツクサイクルの後の信号A,B,C,Dにより表され
るデータは、第５図のステツプ1,2,3によりそれぞれ示
されているように動く２×２ウインドウに対応する。そ
れらの状況においては、マルチパススイツチ207の制御
信号S1は、信号A,B,C,Dが、近傍プロセツサ250へ供給さ
れる入力信号a,b,c,dになることを許すようなものであ
る。したがつて、近傍変換値NT1,NT2,NT3を近傍変換プ
ロセツサにより順次計算できる。

しかし、９番目のクロツクサイクルの後で、中間のNT
Mモジユールは後続のNTMモジユール303から縁部データ
を求める。それらの状況においては、マルチパススイツ
チ207を制御して信号Ｇをプロセツサ250の入力信号ａへ
接続させ、信号Ｆをプロセツサ250の入力信号ｃへ接続
させるためにスイツチ制御器S1が変えられる。この点
で、第７図のウインドウ610により示されているよう
に、プロセツサ250は適正な２×２ウインドウセルデー
タに対して近傍変換NT4を行うことができる。

９番目のクロツクサイクルの後で、信号Ｆを格納する
ためにSR223が再びイネイブルされる。更に、10番目の
クロツクサイクルの後で、NT8変換を得るために縁部デ
ータが再び求められる時である13番目のクロツクサイク
ルの後で使用するために、セル９が入力レジスタ221へ
順次送られる。もちろん、このパターンは、17番目のク
ロツクサイクルにおいて必要とされる縁部データのため
に繰返えす。したがつて、17番目のクロツクサイクルの
後で、２×２ウインドウ走査を用いる完全なラスタ線走
査が完了される。各NTMモジユール301,302,303は同時に
同じように動作するから、17番目のクロツクサイクルの
後で完全な映像が変換される。

第７図に示すように、近傍変換NT1〜NT12がメモリＢ
に格納され、映像は先に述べたように右および下へ桁送
りされる。しかし、先に説明したように、映像データが
メモリＢへ戻される前にその映像データを更に変換する
ために、プロセツサのパイプラインが近傍変換プロセツ
サの出力を直列に処理できる。メモリＢはメモリＡと同
じにでき、またはメモリの別々の区画をメモリＡのサイ
ズに少くとも等しくできることを理解すべきである。

本発明においては、同じ制御のやり方を有する同じNT
Mモジユールを用いて、複雑な、または高度のメモリ制
御技術を用いることなしに、映像をメモリプレーン中に
再び置くことができる。本発明においては、求められる
ことの全ては、第4b図にとくに示されているように、メ
モリの走査を単に反転する、すなわち左側および上へ走
査することである。第８図に示す表は、第６図の表のよ
うに、走査が左側−上走査であるような状況に対する信
号の値を示す。その結果がとくに第７図のメモリマツプ
により示されている。そのメモリマツプにおいては、メ
モリＢの値が逆に走査されて、メモリＡ＋に格納され
る。メモリＡ＋内の結果映像は右および上へ桁送りされ
る。これは右−下走査により行われる結果としての桁送
りの逆である。

しかし、前記のように走査が逆にされると、ウインド
ウに対する縁部データを得る時に、縁部データを先行す
るNTMモジユールから得なければならない必要があるこ
とに注目すべきである。それらの状況においては、信号
S2が操作されてマルチプレクサ235を接続手段231を介し
て入力シフトレジスタ221の入力端子へ接続させる。残
りの信号と、NTMモジユールの動作とは前の説明と同じ
ままである。

逆走査を用いる時のウインドウ格納技術は右−下走査
と同じであることに注目すべきである。すなわち、結果
が「ｂ」セル場所に格納される。第4a図と第4b図の２×
２ウインドウの比較により、映像の上下および左右が逆
にされることがわかる。したがつて、逆走査の後では上
記の反転された画像走査を、それ以上の処理またはメモ
リ制御なしにメモリから直接読出すことができる。第4a
図と第4b図等に示されているものに類似する別の相補走
査も本発明のNTMモジユールで処理できる。

第９図は第２図に示されているNTMモジユールの強調
したものを示すものであつて、これは映像処理アルゴリ
ズム等の強調された性能を有する。第２図と同様に機能
する部品には第９図において同じ番号がつけられてい
る。第９図のNTMモジユールは、２つの映像マトリツク
スのいずれかをNTM変換プロセツサ950へ供給するため、
または種々の組合わせを設けるためのマルチパススイツ
チ900を含む。このマルチパススイツチは２つの入力信
号201または902のいずれかから接続を選択でき、指令信
号入力S9の制御の下にそれらを３つまたはそれ以上の出
力線911,912または913のいずれかへ接続できる。出力91
1は第２図の出力手段204に類似する。出力912は、より
複雑なマルチパススイツチおよび近傍変換プロセツサに
よる別の選択的処理を行うために、マルチパススイツチ
207へ直接接続するようにする。

第９図に示すように、プロセツサ950は付加ALU955
と、判定ロジツク956と、複数の蓄積レジスタ（SR）と
を含んで、信号処理のタイミングを正しくとる。第２図
のNTMモジユールと同様に、プロセツサ950の出力990は
通常のパイプラインで順次処理でき、または前記のよう
にメモリへ戻すことができる。

プロセツサ950を含んでいる第９図のNTMモジユールに
より、現在と過去の映像の組合わせにおいてぼう大な緯
度を許して、広範囲の映像処理戦畧を行えるようにす
る。第２図と第９図のNTMモジユールの両方に共通なこ
とは、設計が極めて簡単で、映像処理の融通性を高く
し、かつ高速である２×２ウインドウ近傍変換アーキテ
クチヤを用いることであることを理解すべきである。

２×２ウインドウを用いるNTMモジユール映像処理の
用途について説明したが、近傍変換処理が求められる任
意のデータマトリツクスへ応用できる本発明の真の要旨
範囲にそれが含まれることを理解すべきである。更に、
本発明の真の要旨を逸脱することなしに利用できる各種
のメモリマツピング技術があることも理解すべきであ
る。

また、蓄積レジスタという用語は、所期の機能を果さ
せるために広い範囲の回路技術により構成できることに
も注意すべきである。本発明を４×４メモリマツプにつ
いて説明したが、本発明の範囲内で任意のメモリサイズ
を応用できる。

最後に、出力a,b,c,dへ特定のスイツチ接続A,B,C,Dを
それぞれ与えるためにマルチパススイツチ207について
述べた。しかし、マルチパススイツチ207の一般化され
た使用によりA,B,C,Dを各種のやり方でa,b,c,dへ任意に
接続でき、たとえばＡをｄへ、Ｂをａへ、Ｃをｂへ、Ｄ
をｅへ、等というようにできる。

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】ｎ列×ｍ行の映像センサアレイ（第１図の
   10）に対応し、かつ映像データメモリ（第１図の20）の
   アドレス可能なセルに格納される映像データ値のｎ列×
   ｍ行のアレイを映像処理する装置において、 第１のクロック信号の引続くクロックサイクルに対し
   て、前記映像センサアレイの選択されたラスタ線走査パ
   ターンに従って、前記映像データメモリを読出し、前記
   映像データメモリに格納されている前記データ値の１つ
   を第１の出力信号手段（第２図の201）へ順次出力する
   読出し手段（第１図の20と第２図の201との組み合わ
   せ）と、 前記第１の出力信号手段上の前記格納されているデータ
   値を受けるための第１の入力手段（第２図の203）と、
   第２の出力信号手段（第２図の204）と、第３の出力信
   号手段（第２図の206）と、第４の出力信号手段（第２
   図の213）と、第５の出力信号手段（第２図の219）とを
   有し、前記映像センサアレイの２×２ウインドウの４つ
   のコーナーデータ値に対応するデータ値を前記第２の出
   力信号手段と、前記第３の出力信号手段と、前記第４の
   出力信号手段と、前記第５の出力信号手段とに同時に出
   力するデータシーケンシング手段であって、入力手段
   （第２図の204a）と出力手段（第２図の206）を有する
   第１の蓄積レジスタ（第２図の205）と、入力手段（第
   ２図の213a）と出力手段（第２図の219）を有する第２
   の蓄積レジスタ（第２図の215）と、入力手段（第２図
   の206b）と出力手段（第２図の213）を有する遅延手段
   （第２図の212）とを備え、前記第１の蓄積レジスタの
   前記入力手段は前記第１の出力信号手段へ結合され、前
   記第１の蓄積レジスタの前記出力手段は前記遅延手段の
   前記入力手段へ結合され、前記遅延手段の前記出力手段
   は前記第２の蓄積レジスタの前記入力手段へ結合され、
   前記第１の蓄積レジスタの前記入力手段と、前記遅延手
   段の前記入力手段と、前記第２の蓄積レジスタの前記入
   力手段とはそれぞれ前記第２の出力信号手段として、前
   記第３の出力信号手段として、前記第４の出力信号手段
   として機能し、前記第２の蓄積レジスタの前記出力手段
   は前記第５の出力信号手段として機能する前記データシ
   ーケンシング手段と、 前記第２の出力信号手段と前記第３の出力信号手段およ
   び前記第４の出力信号手段と前記第５の出力信号手段に
   おける前記４つのコーナーデータ値を受ける入力手段
   （第２図の251および252）と、第６の出力信号手段（第
   ２図の290）とを有し、前記４つのコーナーデータ値に
   対して選択された近傍変換を実行でき、かつ前記第１の
   クロック信号の引続くクロックサイクルに対して前記選
   択された近傍変換の結果を前記第６の出力信号手段へ順
   次出力する近傍変換プロセッサ手段（第２図の250）
   と、 を備え、前記４つのコーナーデータ値は、前記第１のク
   ロック信号の引続くクロックサイクルに対して、前記選
   択されたラスタ線走査パターンにほぼ類似するラスタ線
   走査パターンでスライドするスライディングウインドウ
   に従って順次変化する、映像データ値のｎ列×ｍ行のア
   レイを映像処理する装置。
2. 【請求項２】ｎ列×ｍ行の映像センサアレイ（第１図の
   10）に対応し、かつ映像データメモリ（第１図の20）の
   アドレス可能なセルに格納される映像データ値のｎ列×
   ｍ行のアレイを映像処理する装置において、この装置は
   複数の近傍変換モジュール（第１図の30−32、40−42お
   よび第２図の100）を備え、それらの近傍変換モジュー
   ルは、 第１のクロック信号の引続くクロックサイクルに対し
   て、前記映像センサアレイの区画されたセグメントのｐ
   列×ｍ行の選択されたラスタ線走査パターンに従って、
   前記映像データメモリを読出し、前記映像データメモリ
   に格納されている前記データ値の１つを第１の出力信号
   手段（第２図の201）へ順次出力する読出し手段（第１
   図の20と第２図の201との組み合わせ）と、 前記第１の出力信号手段上の前記格納されているデータ
   値を受けるための第１の入力手段（第２図の203）と、
   第２の出力信号手段（第２図の204）と、第３の出力信
   号手段（第２図の206）と、第４の出力信号手段（第２
   図の213）と、第５の出力信号手段（第２図の219）とを
   有し、前記映像センサアレイの２×２ウインドウのコー
   ナーデータ値に対応するデータ値を前記第２の出力信号
   手段と、前記第３の出力信号手段と、前記第４の出力信
   号手段と、前記第５の出力信号手段とに同時に出力する
   データシーケンシング手段であって、入力手段（第２図
   の204a）と出力手段（第２図の206）を有する第１の蓄
   積レジスタ（第２図の205）と、入力手段（第２図の213
   a）と出力手段（第２図の219）を有する第２の蓄積レジ
   スタ（第２図の215）と、入力手段（第２図の206b）と
   出力手段（第２図の213）を有する遅延手段（第２図の2
   12）とを備え、前記第１の蓄積レジスタの前記入力手段
   は前記第１の出力信号手段へ結合され、前記第１の蓄積
   レジスタの前記出力手段は前記遅延手段の前記入力手段
   へ結合され、前記遅延手段の前記出力手段は前記第２の
   蓄積レジスタの前記入力手段へ結合され、前記第１の蓄
   積レジスタの前記入力手段と、前記遅延手段の前記入力
   手段と、前記第２の蓄積レジスタの前記入力手段とはそ
   れぞれ前記第２の出力信号手段として、前記第３の出力
   信号手段として、前記第４の出力信号手段として機能
   し、前記第２の蓄積レジスタの前記出力手段は前記第５
   の出力信号手段として機能する前記データシーケンシン
   グ手段と、 前記第１の入力手段へ結合され、前記ｐ列アレイの前記
   第１の列と最後の列のうちの選択された１つの列の縁部
   データ値をその後に順次格納する出力蓄積手段（第２図
   の211）と、 前記第１の列と前記最後の列の前記選択された１つの列
   の２つの引続く縁部データ値を格納する手段（第２図の
   223）と、前記２つの引続く縁部データ値を出力するた
   めの第１の縁部データ出力手段（第２図の225b）および
   第２の縁部データ出力手段（第２図の227）とを含み、
   前記複数の近傍変換モジュールのうちの先行するモジュ
   ールと後続するモジュールのうちの選択された１つのモ
   ジュールの前記出力蓄積手段へ結合され、その出力蓄積
   手段に格納されている縁部データ値を受ける入力蓄積手
   段（第２図の221）と、 第１のスイッチ出力手段（第２図の241）と、第２のス
   イッチ出力手段（第２図の242）と、第３のスイッチ出
   力手段（第２図の243）と、第４のスイッチ出力手段
   （第２図の244）とが、前記区画されたセグメントの先
   行するセグメントと後続するセグメントのうちの選択さ
   れた１つのセグメントの前記縁部データを含んでいるウ
   インドウを含む前記スライディングウインドウの４つの
   コーナーデータ値を表すように、前記第２の出力信号手
   段と、前記第３の出力信号手段と、前記第４の出力信号
   手段と、前記第５の出力信号手段と、前記第１の縁部デ
   ータ出力手段と、前記第２の縁部データ出力手段とを前
   記第１のスイッチ出力手段と、前記第２のスイッチ出力
   手段と、前記第３のスイッチ出力手段と、前記第４のス
   イッチ出力手段とに選択的に接続するスイッチ手段（第
   ２図の207）と、 前記第１のスイッチ出力手段と前記第２のスイッチ出力
   手段および前記第３のスイッチ出力手段と前記第４のス
   イッチ出力手段における前記４つのコーナーデータ値を
   受ける入力手段（第２図の251および252）と、第６の出
   力信号手段（第２図の290）とを有し、前記４つのコー
   ナーデータ値に対して選択された近傍変換を実行でき、
   かつ前記第１のクロック信号の引続くクロックサイクル
   に対して前記選択された近傍変換の結果を前記第６の出
   力信号手段へ順次出力する近傍変換プロセッサ手段（第
   ２図の250）と、 を備え、前記４つのコーナーデータ値は、前記第１のク
   ロック信号の引続くクロックサイクルに対して、前記選
   択されたラスタ線走査パターンにほぼ類似するラスタ線
   走査パターンでスライドするスライディングウインドウ
   に従って順次変化する、映像データ値のｎ列×ｍ行のア
   レイを映像処理する装置。
3. 【請求項３】ｎ列×ｍ行の映像センサアレイ（第１図の
   10）に対応し、かつ映像データメモリ（第１図の20）の
   アドレス可能なセルに格納される映像データ値のｎ列×
   ｍ行のアレイを映像処理する装置において、この装置は
   複数の近傍変換モジュール（第１図の30−32、40−42お
   よび第２図の100）を備え、それらの近傍変換モジュー
   ルは、 第１のクロック信号の引続くクロックサイクルに対し
   て、前記映像センサアレイの区画されたセグメントのｐ
   列×ｍ行の選択されたラスタ線走査パターンに従って、
   前記映像データメモリを読出し、前記映像データメモリ
   に格納されている前記データ値の１つを第１の出力信号
   手段（第２図の201）へ順次出力する読出し手段（第１
   図の20と第２図の201との組み合わせ）と、 前記第１の出力信号手段上の前記格納されているデータ
   値を受けるための第１の入力手段（第２図の203）と、
   第２の出力信号手段（第２図の204）と、第３の出力信
   号手段（第２図の206）と、第４の出力信号手段（第２
   図の213）と、第５の出力信号手段（第２図の219）とを
   有し、前記映像センサアレイの２×２ウインドウの４つ
   のコーナーデータ値に対応するデータ値を前記第２の出
   力信号手段と、前記第３の出力信号手段と、前記第４の
   出力信号手段と、前記第５の出力信号手段とに同時に出
   力するデータシーケンシング手段であって、入力手段
   （第２図の204a）と出力手段（第２図の206）を有する
   第１の蓄積レジスタ（第２図の205）と、入力手段（第
   ２図の213a）と出力手段（第２図の219）を有する第２
   の蓄積レジスタ（第２図の215）と、入力手段（第２図
   の206b）と出力手段（第２図の213）を有する遅延手段
   （第２図の212）とを備え、前記第１の蓄積レジスタの
   前記入力手段は前記第１の出力信号手段へ結合され、前
   記第１の蓄積レジスタの前記出力手段は前記遅延手段の
   前記入力手段へ結合され、前記遅延手段の前記出力手段
   は前記第２の蓄積レジスタの前記入力手段へ結合され、
   前記第１の蓄積レジスタの前記入力手段と、前記遅延手
   段の前記入力手段と、前記第２の蓄積レジスタの前記入
   力手段とはそれぞれ前記第２の出力信号手段として、前
   記第３の出力信号手段として、前記第４の出力信号手段
   として機能し、前記第２の蓄積レジスタの前記出力手段
   は前記第５の出力信号手段として機能する前記データシ
   ーケンシング手段と、 前記第１の列と前記最後の列の前記選択された１つの列
   の２つの引続く縁部データ値を格納する手段（第２図の
   223）と、前記２つの引続く縁部データ値を出力するた
   めの第１の縁部データ出力手段（第２図の225b）および
   第２の縁部データ出力手段（第２図の227）とを含み、
   前記複数の近傍変換モジュールのうちの先行するモジュ
   ールと後続するモジュールのうちの選択された１つのモ
   ジュールへ結合され、それに関連する前記区画されたセ
   グメントの前記ｐ列アレイの前記第１の列と前記最後の
   列のうちの選択された１つの列の縁部データ値を受ける
   入力蓄積手段（第２図の221）と、 第１のスイッチ出力手段（第２図の241）と、第２のス
   イッチ出力手段（第２図の242）と、第３のスイッチ出
   力手段（第２図の243）と、第４のスイッチ出力手段
   （第２図の244）とが、前記セグメントの先行するセグ
   メントと後続するセグメントのうちの選択された１つの
   セグメントの前記縁部データを含んでいるウインドウを
   含む前記スライディングウインドウの４つのコーナーデ
   ータ値を表すように、前記第２の出力信号手段と、前記
   第３の出力信号手段と、前記第４の出力信号手段と、前
   記第５の出力信号手段と、前記第１の縁部データ出力手
   段と、前記第２の縁部データ出力手段とを前記第１のス
   イッチ出力手段と、前記第２のスイッチ出力手段と、前
   記第３のスイッチ出力手段と、前記第４のスイッチ出力
   手段とに選択的に接続するスイッチ手段（第２図の20
   7）と、 前記第１のスイッチ出力手段と前記第２のスイッチ出力
   手段および前記第３のスイッチ出力手段ならびに前記第
   ４のスイッチ出力手段における前記４つのコーナーデー
   タ値を受ける入力手段（第２図の251および252）と、第
   ６の出力信号手段（第２図の290）とを有し、前記４つ
   のコーナーデータ値に対して選択された近傍変換を実行
   でき、かつ前記第１のクロック信号の引続くクロックサ
   イクルに対して前記選択された近傍変換の結果を前記第
   ６の出力信号手段へ順次出力する近傍変換プロセッサ手
   段（第２図の250）と、 を備え、前記４つのコーナーデータ値は、前記第１のク
   ロック信号の引続くクロックサイクルに対して、前記選
   択されたラスタ線走査パターンにほぼ類似するラスタ線
   走査パターンでスライドするスライディングウインドウ
   に従って順次変化する、映像データ値のｎ列×ｍ行のア
   レイを映像処理する装置。