JPH03500698A

JPH03500698A - ２×２ウインドウ・アーキテクチヤを有する並列パイプライン映像プロセツサ

Info

Publication number: JPH03500698A
Application number: JP63507422A
Authority: JP
Inventors: ウエーナー，ウイリアム・ダブリユ
Original assignee: ハネウエル・インコーポレーテツド
Priority date: 1987-08-13
Filing date: 1988-08-08
Publication date: 1991-02-14
Anticipated expiration: 2014-09-13
Also published as: JP2949589B2; DE3885294D1; US4805227A; KR920003460B1; AU603971B2; WO1989001670A1; AU2388188A; KR890702153A; EP0380521A1; EP0380521B1; DE3885294T2

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】２Ｘ２ウインドウ・アーキテクチャを有する並列パイプライン映像プロセッサ発明の背景本発明は映像プロセッサに関するものである。とくに、２×２ウィンドウ医列近傍変換プロセッサが、区画されている映像データマトリックスの別々のセグメントに対して動作する。

背　景近傍映像プロセッサは、映像データメモリのセルすなわちレジスタに格納されている映像センサデータ値の第１のアレイまたは第１のマトリックスに対して動作する。各セルに格納されている映像データ値は、二次元センサ平面に投写された光に応答してその二次元センサ平面により発生された個々の画素から一般に生ずる。近傍映像プロセッサは映像データ値で動作して次の変換マトリックスを発生する。゛それらの変換マトリックスにおいては、それの各セルは、映像データメモリの先行するマトリックス中のそれの値と、先行するマ）ＩＪラックス中それの周囲または近くのセルの値に依存する値を有する。順次、以前の変換マトリックスに対して動作することにより以後の変換を行うことができる。近傍変換プロセスは、映像処理、映像の理解、マシン・ビジョ処理にとって決定的である。近傍変換プロセッサの計算の要求は１秒間当り何十億回にもなることがある。その理由は、映像処理に含まれるデータ速度が高く（走査線数が５２５本であるテレビジョンの場合には１秒間当りの画素の数が約８００万個）、アルゴリズムの実行において行わなければならない演算の数が多い（１画素当り数百回の演算）ことである。

近傍変換プロセッサは、映像から多くの原始的な諸特徴を取出すのに効果的であることが判明している。

それらは映像内容の理解と映像データの圧縮（たとえば、物体の境界すなわち縁部、すなわち、シーベル（Ｓｏｂｅｌ）縁部およびロバ−７（Ｒｏｂｅｒｔｓ）縁部を見つけること）において有益でるる。

。一般に、本願発明は映像プロセッサよりも広い用途を有する。本発明は、近傍変換プロセスにより変換する必要があるデータの任意の二次元プレイに応用することも意図するものである。

近傍映像プロセッサの例が、デビンド・エル・マツキュプレイ（Ｄａｖｉｄ　Ｌ、　ＭｃＣｕｂｂｒｅｙ）　に与えられた米国特許第４　、４８４　、３４９号に開示されている。参考のためにその米国特許をここに含める。マンキュプレイは、個々にプログラム可能でらる直列近傍変換段のチェブンまたはパイプラインを採用する直列近傍プロセッサを開示している。各段゛は、１クロンクサイクル期間中に１つの画素の変換された値を発生できる。各直列近傍変換段の出力がそれの入力と同じ速度で生ずる。これにより、１つの段の出力を、異なる近傍変換を行うことができる次の段の入力端子へ供給できるようにされる。したがって、各段は映像全体にわたって１つの特定の変換を行う。

更に、マンキュプレイは、映像の隣接するセグメントを２つまたはそれ以上の隣接する直列近傍変換プロセッサにより同時に処理できるように１映像マトリツクスを区画する技術を開示している。その装置においては、隣接する直列近傍プロセッサの間でデータを双方向に転送するための備えを設けなければならない。１つのプロセッサにおいて変換されているセルの附近のセルが、隣接する映像マトリックスセグメントの映像マトリックスセグメントに含まれている時に、この転送は必要になる。

発明の詳細な説明本発明の目的は、並列パイプライン映像プロセッサに組込むことができる近傍変換モジュールのための簡単なアーキテクチャを得ることである。

本発明の別の目的は、２ｘ２ウインドウに対して近傍変換を行う近傍変換モジュールアーキテクチャを得ることである。

本発明は、２×２ウインドウ変換を行うための近傍変換モジュール（ＮＴＭ　）を提供するものでおる。本発明においては、セグメント遅延だけ分離されている２個の蓄積レジスタにより　ＮＴＭは構成される。第１の蓄積レジスタへの入力と、第１および第２の蓄積レジスタの出力と、セグメント遅延の出力とは、次の近傍変換処理のためにマルチパススイッチへ供給される。更に、２×２近傍変換モジユールアーキテクチヤは、並列近傍変換モジュールの間でデータを転送するために、２つのシフトレジスタと付加蓄積レジスタも−含む。

好適な実施例においては、ＮＴＭモジュールの１つのシフトレジスタが、縁部データ値を隣接する（並列）　ＮＴＭモジュールで利用できるようにするために、その縁部データ値を保持する。シフトレジスタの２進データが隣接するＮＴＭの入力シフトレジスタへ直列に送られる。入力シフトレジスタは、隣接するＮＴＭの縁部デージを用いて近傍変換を行うことができるように、マルチパススイッチへ適切に接続される。

更に、本発明は、２Ｘ２ウインドウ近傍変換技術に組合わせてラスク走査反転を使用するものである。

本発明の近傍変換モジュールアー牛テクチャにより、バードウ、エアまたは制御同期化をどのようにも変更することなしに、同じＮＴＭアーキテクチャによって走査反転を行うことができる。

図面の簡単な説明第１図は並列区画直列近傍映像処理装置のブロック図、第２図は本発明の近傍変換モジュールのブロック図、第３図は３つの並列近傍変換モジュールの相互接続を示すブロック図、 ↓− 第４ａ〜４ｄはフスタ走査制御技術の線図的表現、第５図はメモリマツプについての近傍変換ウィンドウを示す線図、第６図は第２図の近傍変換モジュールの動作分示すタイミング図、第７図は本発明の３セグメント区画されたメモリのメモリマツプ、第８図は第４ｂ図の反転走査による近傍変換上ジュールの動作を示すクロックサイクルタイミング表。

第９図は本発明の近傍変換モジュールの別の実施例である。

発明の詳細な説明第１図に１前記米国特許第４，４８４，３４９号（で示されているのに類似する並列パイプライン映像プロセッサが示されている。８列２Ｍ行を持つ二次元映像センサプレー　７１０からの映像センサデータが映像データメモリ手段２０へ転送される。説明のために、各レジスタはそれの行および列のアドレスによりアドレスできる。当業者でおれば理解できるように、映像の場所をたどる七いう所期の結果を得るために多くのメモリマツピング技術を採用できる。第１図に更に示すように、メモリ２０は、２１，２２．２３として数字で識別されているＫ（図ではに−３）個の区画に幾何学的に分割される。各区画はＭ行、Ｐ列で構成される。本発明においては、区画のアレイ寸法は等しくすることが好ましい。

第１の区画２１からのデータが近傍変換モジュフル（ＮＴＭ）　３０へ直列に供給される。ＮＴＭ３０の出力がＮ７Ｍ４０へ直列に供給される。Ｎ７Ｍ４０の出力６０がメモリ手段２０へ結合されていることが示されている。

同様にして、メモリ手段２０の第２の区画２２がＮＴＭ３１とＮ７Ｍ４１へ順次直列に供給される。ＮＴＭ４１の出力６１がメモリ手段２０へ結合される。同様に、第３の区画２３がＮＴＭ３２とＮ７Ｍ４２へ順欠供給される。

モジュール４２の出力６２もメモリ手段２０へ結合される。

実際には、ＮＴＭモジュール３０，３１．３２はほぼ同一でろって、はぼ同じ近傍変換プロセスを行う（すなわち、それらはほぼ同じ近傍変換アルゴリズムを利用する）。同様に、Ｎ７Ｍモジュール４０．４１．４２はほぼ同一で、同一の近傍変換を行うことを意図するものである。ＮＴＭモジュール３０．３１．３２を含む第１の変換段により実行される変換アルゴリズムと、ＮＴＭモジュール４Ｇ、４１．．４２を含む第２の変換段ＶＣｊり実行される変換アルゴリズムは通常は異なるが、同じアルゴリズムとすることができる。各段により実行される各アルゴリズムは希望の映像処理の種類に依存する。本発明においては、各ＮＴＭモジュールにより実行されるアルゴリズムを変更できる制御情報（図示せず）を除き、各近傍変換モジュールは同一でおる。

再び第１図を参照して、相互接続手段５１が、縁部データをモジュール３０と３１の間で転送するための経路を構成する。同様に、相互接続手段５２が、縁部データをモジュール３１と３２の間で転送するための経路を構成する。相互接続手段５３が縁部データをモジュール４０と４１の間で転送し、相互接続手段５４が、縁部データをモジュール４１と４２の間で転送する経路を構成する。

第２の区画２２と第３の区画２３の間にいくつかの区画を設けることができることを当業者は認識すべきである。選択される区画の数は設計の選択の問題でおる。

また第一１図に示されているように、メモリ２０は出力手段ＴＯｔ−含む。その出力手段は、ビデオ出力のための遅延電子装置のような利用装置へ接続することを一般に意図するものでろる。しかし、モジュ・−ル４Ｇ、４１．４２の出力を利用装置への直接接続として使用することもできる。

これまでの説明は、一部は本質的にはこの分野で知られているものであり、とくに米国特許第４．４８４，３４９号により記載されているものである。第２図には、第１図に示されている本発明の近傍変換モジュールの１つの概略ブロック図であって、それらのモジュールにおいては２×２ウインドウ変換は変換プロセスの一体部分である。第２図において、示されている単一信号線は実際には複数の信号線、すなわち、並列信号バスである。

第２図に示されている近傍変換モジュール１００のアーキテクチャが、前記したように２×２のウィンドウ近傍変換を実行するために動作し、かつ第１図のＮＴＭモジュールのいずれかのためにそのアーキテクチャを使用できる。各ＮＴＭモジュールは、蓄積レジスタ（ＳＲ）２０３へ接続される入力手段２０１を含む。

蓄積レジスタ２０３は出力２０４を含む。その出力は信号文字ｒＡＪによっても示されている。その出力はそれぞれ接続手段２０４ａと２０４ｂにより蓄積レジスタ２０５とマルチパススイッチ２０７の入力端子へ供給される。

蓄積レジスタ２０５は出力２０６　ｆ：含む。その出力は信号文字ｒＢＪによっても示されている。その出力は接続手段２０６ｍ、２０６ｂ、２０６ｃ　ｔそれぞれ介して、出力シフトレジスタ２１１と、遅延レジスタ２１２と、マルチスタ２１１は出力２１８を含む。その出力は信号文字ｒＨＪによっても示される。遅延レジスタ２１２は出力２１３を含む。この出力は信号文字「Ｃ」によっても示される。その出力２１３は、接続手段２１３ｍ、２１３ｂをそれぞれ介して蓄積レジスタ２１５とマルチパススイッチ２０７へ供給される。蓄積レジスタ２１５は出力２１９ヲ含む。この出力は信号文字ｒＤＪでも示され、マルチパススイッチ２０７へ供給される。

モジュール１００は入力シフトレジスタ２２１モ含ｔｒ。

その入力シフトレジスタの出力２２５が、接続手段２２５ａと２２５ｂ　’にそれぞれ介して蓄積レジスタ２２３とマルチパススイッチ２０７へ供給される。その出力２２５は信号文字Ｆによっても示されている。蓄積レジスタ２２３の、信号文字Ｇによっても示されている出力２２７が、接続手段２２７によりマルチパススイッチ２０１へ供給される。入力シフトレジスタ２２１がそれの入力を入力手段２３１または２３３とマルチプレクサ２３５ヲ介して、ス・ｆツチ制御器Ｓ２の制御の下に受ける。

マルチスイッチ２０７は４つの出力２４１，２４２，２４３゜２４４を有する。

それらの出力２４１，２４２，７４３．２４４は信号文字「ａ」汀ｂ」汀ｅＪ、ｒｄＪにより示される信号をそれぞれ有する。それらの出力は近傍変換プロセッサ２５０へ入力として供給される。そのプロセ゛ツサは算術論理装置（ＡＬＵ）２５１　、２５２．２５３　を含む。ＡＬＵ２５１　は信号「ａ」とｒｂＪで動作し、ＡＬＵ２５２　は信号「Ｃ」、「ｄ」で動作する。ＡＬＵ２５　ｔの出力は蓄積レジスタ２５５を介してＡＬＵ２５３へ供給され条。同様に、ＡＬＵ２５２の出力は蓄積レジスタ２５７を介してＡＬＵ２５３へ供給される。いま説明したプロセッサ２５０の入力、出力および内部接続は、所期の機能を実行せるための性質の例にすぎないことに注目すべきでおる。

各蓄積レジスタと、遅延レジスタ２１２と、算術論理装置とは中央クロック信号ＣＫ１　（図示せず）により同期して動作させられることを意図するものである。本発明の理解を容易にするように図示を簡単にするために、クロック信号ＣＫ１は図から省かれていく理解されている。）出力シフトレジスタ２１１と入力シフトレジスタ２２１は、共通りロック信号ＣＫ２により直列に桁送りされるように示されている。しかし、独立のクロック信号を利用できる。（シフトレジスタ２２１への入力とシフトレジスタ２１１の出力は直列形式であるから、並列バスを必要としないためにアーキテクチャが簡単になる。）更に、出力シフトレジスタ２１１は、イネイブル信号Ｅ１　の制御の下にレジスタ２０５の出力の蓄積を行わせるＥｌ　も含む。

蓄積レジスタ２２３も、イネイブル信号Ｅ２の制御の下に入力シフトレジスタ２２１の出力の蓄積を行わせるＥ２　’を含む。最後に、後で説明するように機能する制御スイッチ信号Ｓ１　を有するマルチパススイッチＳ１が示されている。

第３図は、プレイが３つの区画に分けられている本発明の並列パイプライン近傍変換プロセッサを示す。第３図の目的は３つの同一の近傍変換モジュール１０００間の接続を示すことで、とくに、縁部データ情報を下記のようにして転送できるようＫするたメニ、モジュールの間の入力シフトレジスタ２１１と出力シフトレジスタ２２１０間の接続を示すことである。

第３図において、左側ＮＴＭモジュールはモジュール３０１として示され、右側ＮＴＭモジュールは３０３として示され、中間のＮＴＭモジュールが３０２として示されている。全てのＮＴＭモジュール３０１，３０２，３０３は同一であって、第１図のモジュール３０，３１．３２に類似する。第２図におけるのと同じ所期の機能を有ｆ　ル各ＮＴＭ　モジュ−＃　３０１，３０２，３０３は、第２図のＮＴＭモジュール１００のそれと同じ数字を有する。モジュール３０２の出力シフトレジスタ２１１の出力は先行するモジュール３０１の入力手段２３３と、後続するモジュール３０３の入力手段２３１とに接続される。モジュール３０１のシフトレジスタ２１１の出力は後続するモジュール３０２の入力手段２３１へ供給される。モジュール３０３の出力シフトレジスタ２１１゛の出力は先行するモジュール３０２の入力手段２３３へ供給される。

第４ａ図、第４ｂ図、第４ｃ図および第４ｄ図は本発明のラスク走査線制御技術と近傍変換メモリマツピング技術を示す。とくに、８４１図は、左から右へ、および上から下へ動く、すなわち、右／下走査、ラスク線走査を示す。更に、４つのコーナーアドレスａ、ｂ、ｅ、ｄを有する２×２ウインドウのデータが。

前記４２のコーナーデータ値の結果としての変換か、メモリ手段２ａの、ｂアドレスの以前の場所に対応するアドレス場所に格納される、という決定で操作させられる。上記の制御技術が第５図に更に示されている。

第５図はメモリＡ中の４行、４列の小さいアドレスマトリックスの例を示すものである。メモリマトリックス中の各セルは数字アドレス１ａ〜１６＆で示されている。ステップ１において、最初の２×２近傍変換がセルｊａ、２ａ、５ａ、６ａ中のデータに作用し、結果ＮＴＩをメモリＢのアドレス５ｂ　の場所に格納する。

そのメモリＢはメモリＡと対応する数字アドレスを有する。ステップ２において、ラスク走査は１列の上を動き、セル２ａ、３ａ、５ａ、７ａ内のデータに対して近傍変換−を行い、結果ＮＴ２をセル６ｂに格納する。

ステップ３の後で、セル３ａ、４ｍ、７ａ、８ａに対する近傍変換の結果ＮＴ３がアドレス７ｂに格納される。ステップ３の後では、行１と２におけるデータ値についてのそれ以上の有効な２Ｘ２変換を行うことはできないことに注目されたい。したがって、ステップ４（図示せず）は、セル８ｂ　中の星印で示されているように、有効でないデータを生ずる。ステップ４が終ると、ラスク線走査が１行だけリセントダウンされ、ステップにで示されているように左側へ戻る。

ステップＫにおいて、セ／ｌ／　５ａ、５ａ、９ｍ、１０ａについて近傍変換ＮＴ４が行われ、アドレス９ｂに格納される。ステップＮは、メモリＡに格納されているデータ値のマトリックス中のデータ値について行われる最後から２番目の２×２ウインドウ変換を示す。ステップＮにおいては、セルｊ１ａｚ１２ａ、１５ａ、１６ａ　ＩＩＣついて近傍変換ＮＴｌ１が行われ、アドレス１５ｂに格納される。

メそすＡに格納されている映像の完全々ラスク走査と、２ｘ２ウインドウ近傍変換走査の利用と、結果変換のメモリＢのｂセルの対応するアドレスへの格納の利用との後では、結果映像は、１番上の行と右側の列が有効な近傍変換データをもはや持たないために映像が縮むようなものである。このことが第５図において、ステップＮの後のメモリＢの１番上の行と右側の列中の星印によりとくに示されている。

更に、メモリマトリックス中の結果映像が１行だけ下へ、１列だけ左へ桁送りしている。

各近傍変換に対して、たとえば第３図に示されているＮ７Ｍモジュール４０，４１．４２による第２の変換によって、メモリ中の映像は、同じラスク線走査パターンに対するのと同じ向きに更に行と列だけ桁送りすることが当業者には当然わかる。後で説明するように、同じＮＴＭモジュールおよび制御技術を用いて、第４図に示されているように、本発明のアーキテクチャは逆走査を利用でき、その結果として、結果としての近傍変換映像が相補的なやｐ方で桁送りされて、映像を映像メモリマツプ内に再び位置させる。

第２図の近傍変換モジュールの動作を第３図と、第６図に示されているクロックサイクルタイミング表と、第７図のメモリ図と、第４ａ図のラスク線走査図とを参照して説明する。

第７図は、第５図に類似する３セグメントの区画された映像データメモリマツプＡ、ＢおよびＡ＋を示す。各メモリマツプは４行、１２列を有する。更に、メモリマツプ七グメ７　）　６０１，６０２，６０３に示されているように、映像データとメモリマツプが３つのセグメントに分割されることについて考える。各メモリマツプにおいて、左上のメモリセルがアドレス１によジ示され、１番下の右側セルがアドレス１６によｐ示されている。更に、メモリ区画６０１．６０２゜６０３からの出力データが信号バス（図示されていない接続によｐ）、第４ａ図に示されているラスク線走査に従って、第３図に示すように各情報モジュール３０１，３０２，３０３へ順次供給される。すなわち、セルデータは、選択されたクロックサイクルに対して、メモリマツプの左上隅に対応するアドレスから始って、各線走査に対して左から右へ走査して、１度に１つのセルおよび１本の線ずつ、メモリから順次供給される。第６図に示されている詳細は、入力手段”１ｂｌｃｌｄにおけるデータのアドレス（データ自体ではない）１−示す。それらのデータは、各クロックサイクルＣＫＩに対して、近傍変換プロセッサ２５０へ供給される。

第６図におけるクロンクサイクルタイミング表と、第７図に示されているメモリマツプ図は任意のＮ７Ｍモジュール、とくに中間ＮＴＭモジュール３０２の右／下走査に対する動作を図式的に示す。第６図の表の見出しは、第２図全参照して先に定めた信号文字を示す。「文字３列の下側の数字は区画された特定のメモリのセルアドレスを示す。以下の説明は完全な各クロックサイクルＣＫ１に続くデータの流れを記述するものである。「円で囲まれた」セルは隣接するＮ７Ｍモジュールにより必要とされる縁部データを示す。「四角形で囲まれた」セルデータは、近傍の２×２変換のためにめられるセルデータを示す。

第２のクロンクサイクルの後で、セル１のデータを含んでいる信号Ｂが、信号Ｅ１の指令に応じて、シフトレジスタ２１１にロードされる。図示の例に対するタイミング背景においては、全体としてより高いクロック速度ＣＫ２で、出力シフトレジスタ２１１ノ内容が接続手段２３１を介して先行するＮＴＭモジュール３０１の入力シフトレジスタ２２３の中に直列に桁送りされる。それと同時に、後続するＮＴＭモジュール３０３の出力シフトレジスタ２１１の内容が、接続手段２３３ｅ介してモジュール３０２の入力シフトレジスタ２２１へ直列に桁送りされる。信号Ｅ２の指令が加えられると、信号Ｆが５Ｒ２２３Ｋロードされる。同様にして、６番目のクロックサイクルの後で、セル５の内容が入力シフトレジスタ２２１にロードされる。したがって、１０番目のクロックサイクルの前は、信号Ｇはセル１の内容を表し、信号Ｆはセル５の内容を表す。出力シフトレジスタ２１１と入力シフトレジスタ２２１の組合わせにより、　Ｎ７Ｍモジュールの間で１本の直列データ伝送線により縁部データの送りと格納を行えるようにされる。したがって、これによジュールの間の最小信号線を介して通されている間く、背景タイミングの活動を行えるようにされる。

一般に、クロック速度ＣＫ２はＣＫ１より高い必要はなく、実際にはＣＫ１と同じにできる。すなわち、セグメント当りの列の数がメモリセルに格納されていレジスタたとえばレジスタ２１１の長さ）よジ多いと、ＣＫ２をＣＫ１と同じに（または低くも）できる。

次に、遅延レジスタ２１２の機能と遅延の長さについて説明する。第６図に示す例においては、メモリ映像は３つのセグメントに分けられる。各セグメントは４列を含む。ＮＴＭモジュール１００を正しく動作させるためには、遅延レジスタ２１２は、Ｎ列の総映像列（１２）をに個の区画（３）の数で除した商から１を引いた数、すなわち（Ｎ／Ｋ）　−１、に等しくなければなら々い。この例においては、遅延レジスタはコクロンクサイクル（１２を３で除した商引く１）に等しいものを供給せねばならない。したがって、この例においては、遅延レジスタは、遅延レジスタの出力２１３、文字「Ｃ」で示されている、においてデータを利用できるまでに、３クロツクサイクルの長さに等しくなければならない。したがって、５番目のクロックサイクルの後２ｎｏ、１のセルの内容をＣにジいて利用できる。６番目のクロックサイクルの後で、信号Ａ、Ｂ、Ｃ，Ｄの値は正確に第４ａ図のウィンドウパターンであり、かつメモリＡに対する第５図のステップ１に示されている゛ウィンドウである。すなわち、Ｄはセルｎｏ、１の値を有し、Ｃはセルｎ　ｏ、２の値を有し、Ｂはセルｎｏ、５の値を有し、Ａはセルｎｏ、６の値を有する。同様にして、各クロックサイクルＣＫ１の後では、Ａ、Ｂ、Ｃ，Ｄの値は２Ｘ２１７）ウィンドウの走査に対応する。

以下の説明は、区画縁部における近傍変換を実行するためのマルチパススイッチの動作についてのものである。６番目のクロックサイクルの後で、マルチパススイッチ２０７がスイッチＳ１　によってセットされて、出力Ａ、Ｂ、Ｃ，Ｄを入力ａ、ｂ、ｃ、ｄとして近傍変換プロセッサ２５０へ供給する。７番目のクロックサイクルの後で、セル２，３，６．７の近傍変換がプロセッサ２５０において始まる。メモリＢへ後で格納するため、または第１図に示すように後の変換段へ供給するために、プロセッサ２５０の出力２９０においてデータを利用できるまで、変換プロセスは１つまたは複数のクロックサイクルにわたって行われる。ただ１つの変換段があると仮定すると、６番目、７番目および８番目のクロックサイクルの後の信号Ａ、Ｂ、Ｃ，Ｄにより表されるデータは、第５図のステップ１，２．３によりそれぞれ示されているように動＜２ｘ２ウインドウに対応する。

それらの状況においては、マルチパススイッチ２０１の制御信号Ｓ１　は、信号Ａ、Ｂ、Ｃ，Ｄが、近傍プロセッサ２５０へ供給される入力信号ａ、ｂ、ｃ、ｄになることを許すようなものである。したがって、近傍変換値ＮＴＩ　、ＮＴ２　、ＮＴ３を近傍変換プロセッサにより順次計算できる。

しかし、９番目のクロンクサイクルの後で、中間のＮ７Ｍモジュールは後続のＮＴＭモジュール３０３から縁部データをめる。それらの状況においては、マルチバススイッチ２０７を制御して信号Ｇをプロセッサ２５０の入力信号ａへ接続させ、信号Ｆをプロセッサ２５０の入力信号Ｃへ接続させるためにスイッチ制御器Ｓ１が変えられる。この点で、第７図のウィンドウ６１０により示されているように、プロセッサ２５０は適正な２×２ウインドウセルデータに対して近傍変換ＮＴ４を行うことができる０９番目のクロックサイクルの後で、信号Ｆを格納するために５Ｒ２２３が再びイネイブルされる。更に、１０番目のクロンクサイクルの後で、　ＮＴ８変換を得るために縁部データが再びめられる時でおる１３番目のクロックサイクルの後で使用するために、セル９が入力レジスタ２２１へ順次送られる。もちろん、このパターンは、１７番目のクロックサイクルにおいて必要とされる縁部データのために繰返えす。したがって、１７番目のクロックサイクルの後で、２Ｘ２ウインドウ走査を用いる完全なラスク線走査が完了される。各　゛ＮＴＭモジュール３０１，３０２，３０３は同時に同じように動作するから、１７番目のクロックサイクルの後で完全な映像が変換される。

第７図に示すように、近傍変換ＮＴ１〜ＮＴ１２　がメモリＢに格納され、映像は先に述べたように右および下へ桁送りされる。しかし、先に説明したように、映像データがメモ＋７Ｂへ戻される前にその映像データを更に変換するために、プロセッサのノくイブラインが近傍変換プロセッサの出力を直列に処理できる。

メモリＢはメモリＡと同じにでき、またはメモリの別′の区画をメモリＡのサイズに少くとも等しくできることを理解すべきである。

本発明においては、同じ制御のやｐ方を有する同じＮ７Ｍモジュールを用いて、複雑な、または高度のメモリ制御技術を用いることなしに、映像をメモリプレーン中に再び置くことができる。本発明においては請求められることの全ては、第４ｂ図にとくに示されているよう釦、メモリの走査を単に反転する、すなわち左側および上へ走査することである。第８図に示す表は、第６図の表のように、走査が左側−上走査でおるような状況に対する信号の値を示す。

その結果がとくにＭ７図のメモリマツプにより示されている。そのメモリマツプにおいては、メモリＢの値が逆に走査されて、メモリＡ＋に格納される。

メモ＋７Ａ＋内の結果映像は右および上へ桁送りされる。これは右−下走査により行われる結果としての桁送りの逆である。

しかし、前記のように走査が逆にされると、ウィンドウに対する縁部データを得る時に、縁部データを先行するＮ７Ｍモジュールから得なければならない必要があることに注目すべきである。それらの状況においては、信号Ｓ２が操作されてマルチプレクサ２３５を接続手段２３１ヲ介して入力シフトレジスタ２２１の入力端子へ接続させる。残シの信号と、Ｎ７Ｍモジュールの動作とは前の説明と同じままでおる。

逆走査を用いる時のウィンドウ格納技術は右−下走査と同じであることに注目すべきでおる。すなわち、結果が「ｂ」セル場°所に格納される。第４ａ図と第４ｂ　図の２Ｘ２ウインドウの比較により、映像の上下および左右が逆にされることがわかる。したがって、逆走査の後では上記の反転された画像走査蓚、それ以上の処理またはメモリ制御なしにメモリから直接読出すことができる。第４ａ図と第４ｂ　図等に示されているものに類似する別の相補走査も本発明のＮ７Ｍモジュールで処理できる。

第９図は第２図に示されているＮ７Ｍモジュールの強調したものを示すものでちって、これは映像処理アルゴリズム等の強調された性能を有する。第２図と同様に機能する部品には第９図において同じ番号がつけられている。第９図のＮ７Ｍモジュールは、２つの映像マトリックスのいずれかをＮ７Ｍ変換プロセッサ９５０へ供給するため、または種々の組合わせを設けるためのマルチパススイッチ９００を含む。このマルチパススイッチは２つの入力信号２０１または９０２のいずれかから接続を選択でき、指令信号人力Ｓ９　の制御の下にそれらを３９またはそれ以上の出力線９１１．９１２または９１３のいずれかへ接続できる。

出力９１１は第２図の出力手段２０４に類似する。出力９１２は、より複雑なマルチパススイッチおよび近傍変換プロセッサによる別の選択的処理を行うために、マルチパススイッチ２０７へ直接接続するようＫする。

第９図に示すように、プロセッサ９５０は付加ＡＬＵ９５５と、判定レジスタ９５Ｇと、複数の蓄積レジスタ（ＳＲ）とを含んで、信号処理のタイミングを正しくとる。第２図のＮ７Ｍモジュールと同様に、プロセッサ９５０の出力９９０は通常のパイプラインで順次処理でき、または前記のようにメモリへ戻すことができる。

プロセッサ９５０を含んでいる第９図のＮ７Ｍモジュールにより、現在と過去の映像の組合わせにおいてぼり大な緯度を許して、広範囲の映像処理戦尋を行えるようにする。第２図と第９図のＮ７Ｍモジュールの両方に共通なことは、設計が極めて簡単で、映像処理の融通性を高くシ、かつ高速である２×２ウインドウ近傍変換アーキテクチヤを用いることでおることを理解すべきである。

２Ｘ２ウインドウを用いるＮ７Ｍモジュールを映像処理の用途について説明したが、近傍変換処理がめられる任意のデータマトリックスへ応用できる本発明の真の要旨範囲にそれが含まれることを理解すべきでおる。更に、本発明の真の要旨を逸脱することなしに利用できる各種のメモリマンピン・グ技術があることも理解すべきである。

また、蓄積レジスタという用語は、所期の機能を果させるために広い範囲の回路技術によ＃）ｉｓ成できることにも注意すべきでおる。本発明を４×４メモリマツプについて説明したが、本発明の範囲内で任意のメモリサイズを応用できる。

最後に１出力＠、ｂ、ｃ、ｄへ特定のスイッチ接続Ａ、Ｂ、Ｃ，Ｄをそれぞれ与えるためにマルチパススイッチ２０７について述べた。しかし、マルチノくススイッチ２０７の一般化された使用によりＡｔ　Ｂ　＋Ｃ、Ｄｆ：各種のやり方でａ、ｂ、ｅ、ｄへ任意に接続でき、たとえばＡをｄへ、Ｂをａへ、Ｃをｂへ、Ｄを６へ、等というようにできる。

浄書（内容に変更なし）Ｆｉｇ、　４ａ　Ｆｉｇ、　４ｂメモリ　Ａ　ノモ９　日ｃＫ１　Ａ　ｓ＋ｒｃｃｏｉ毛菓ＣＫＩ　Ａ　Ｂ　ＨＦ　Ｇ　ＣＤ　七才、Ｆｉｇ・７手続補正書ＣγＫ）

Claims

【特許請求の範囲】

１．ｎ列×ｍ行の映像センサアレイに対応し、かつ映像メモリのアドレス可能なセルに格納される映像データ値のｎ列×ｍ行のアレイを映像処理する装置において、第１のクロック信号の引続くクロツクサイグルに対して、前記映像センサアレイの選択されたラスタ線走査パターンに従つて、前記映像データメモリを読出し、前記映像データメモリの格納されている前記データ値の１つを第１の出力信号手段へ順次出力する読出し手段と、前記第１の出力信号手段上の前記格納されているデータ値を受けるための第１の入力手段と、第２の出力信号手段と、第３の出力信号手段と、第４の出力信号手段と、第５の出力信号手段とを有し、前記映像センサアレイの２×２ウインドウの４つのコーナーデータ値に対応するデータ値を前記第２の出力信号手段と、前記第３の出力信号手段と、前記第４の出力信号手段と、前記第５の出力信号手段とに同時に出力するデータシーケンシング手段と、前記第２の出力信号手段と前記第３の出力信号手段および前記第４の出力信号手段ならびに前記第５の出力信号手段における前記４つのコーナーデータ値を受ける入力手段と、第６の出が信号手段とを有し、前記４つのコーナーデータ値に対して選択された近傍変換を実行でき、かつ前記第１のクロック信号の引続くクロックサイクルに対して前記選択された近傍変換の結果を前記第６の出力信号手段へ順次出力する近傍変換プロセツサ手段と、を備え、前記４つのコーナーデータ値は、前記第１のクロツク信号の引続くクロツクサイクルに対して、前記選択されたラスタ線走査パターンにほぼ類似するラスタ線走査パターンでスライドするスライデイングウインドウに従つて順次変化する映像データ値のｎ列×ｍ行のアレイを映像処理する装置。
２．請求項１記載の装置において、前記データシーケンシング手段は、入力手段と出力手段をおのおの有する第１の蓄積レジスタと、第２の蓄積レジスタと、遅延手段とを備え、前記第１の蓄積レジスタの前記入力手段は前記第１の出力信号手段へ結合されるようにされ、前記第１の蓄積レジスタの前記出力手段は前記遅延手段の前記入力手段へ結合され、前記遅延手段の前記出力手段は前記第２の蓄積レジスタの前記入力手段へ結合され、前記第１の蓄積レジスタの前記入力手段と、前記遅延手段の前記入力手段と、前記第２の蓄積レジスタの前記入力手段とは前記第２の出力信号手段と、前記第３の出力信号手段と、前記第４の出力信号手段として機能し、前記第２の蓄積レジスタの前記出力手段は前記第５の出力信号手段として機能する装置。
３．請求項２記載の装置において、前記遅延手段はクロツクサイクルの整数にほぼ等しい遅延を行い、その整数は前記アレィの列の数から１を引いた数の整数値に等しい装置。
４．ｎ列×ｍ行の映像センサアレイに対応し、かつ映像データメモリのアドレス可能なセルに格納される映像データ値のｎ列×ｍ行のアレイを映像処理する装置において、この装置は複数の近傍変換モジュールを備え、それらの近傍変換モジュールは、第１のクロツク信号の引続くクロツクサイクルに対して、前記映像センサアレイの区画されたセグメントのｐ列×ｍ行の選択されたラスタ線走査パターンに従って、前記映像データメモリを読出し、前記映像データメモリの格納されている前記データ値の１つを第１の出力信号手段へ順次出力する読出し手段と、前記第１の出力信号手段上の前記格納されているデータ値を受けるための第１の入力手段と、第２の出力信号手段と、第３の出力信号手段と、第４の出力信号手段と、第５の出力信号手段とを有し、前記映像センサアレイの２×２ウインドウのコーナーデータ値に対応するデータ値を前記第２の出力信号手段と、前記第３の出力信号手段と、前記第４の出力信号手段と、前記第５の出力信号手段とに同時に出力するデータシークンシング手段と、前記第１の入力手段へ結合され、前記ｐ列アレイの前記第１の列と最後の列のうちの選択された１つの列の縁部データ値をその後に順次格納する出力蓄積手段と、前記第１の列と前記最後の列の前記選択された１つの列の２つの引続く縁部データ値を格納する手段と、前記２つの引続く縁部データ値を出力するための第１の縁部データ出力手段および第２の縁部データ出力手段とを含み、前記複数の近傍変換モジユールのうちの先行するモジュールと後続するモジュールのうちの選択された１つのモジュールの前記出力蓄積手段へ結合され、その出力蓄積手段に格納されている縁部データ値を受ける入力蓄積手段と、第１のスイツチ出力手段と、第２のスイツチ出力手段と、第３のスイツチ出力手段と、第４のスイツチ出力手段とが、前記区画されたセグメントの先行するセグメントと後続するセグメントのうちの選択された１つのセグメントの前記縁部データを含んでいるウインドウを含む前記スライデイングウインドウの４つのコーナーデータ値を表すように、前記第２の出力信号手段と、前記第３の出力信号手段と、前記第４の出力信号手段と、前記第５の出力信号手段と、前記第１の縁部データ出力手段と、前記第２の縁部データ出力手段とを前記第１のスイツチ出力手段と、前記第２のスイツチ出力手段と、前記第３のスイツチ出力手段と、前記第４のスイツチ出力手段とに選択的に接続するスイツチ手段と、前記第１のスイツチ出力手段と前記第１のスイツチ出力手段および前記第３のスイツチ出力手段ならびに前記第４のスイツチ出力手段における前記４つのコーナーデータ値を受ける入力手段と、第６の出力手段とを有し、前記４つのコーナーデータ値に対して選択された近傍変換を実行でき、かつ前記第１のクロツク信号の引続くクロツクサイクルに対して前記選択された近傍変換の結果を前記第６の出力手段へ順次出力する近傍変換プロセツサ手段と、を備え、前記４つのコーナーデータ値は、前記第１のクロツク信号の引続くクロツクサイクルに対して、前記選択されたラスタ線走査パターンにほぼ類似するラスタ線走査パターンでスライドするスライデイングウインドウに従つて順次変化する、映像データ値のｎ列×ｍ行のアレイを映像処理する装置。
５．請求項４記載の装置において、前記スイツチ手段は、前記セグメントの先行するセグメントと後続するセグメントのうちの選択された１つのセグメントからの縁部データを必要としない前記ウインドウの前記ラスタ線走査の各線に対して、前記第２の出力信号手段と、前記第３の出力信号手段と、前記第４の出力信号手段と、前記第５の出力信号手段とを第１のスイツチ出力手段と、第２のスイツチ出力手段と、第３のスイツチ出力手段と、第４のスイツチ出力手段とにそれぞれ選択的に接続する手段と、（１）前記第１の縁部データ出力手段と前記第２の縁部データ出力手段を前記第１のスイツチ出力手段と前記第３のスイツチ出力手段へそれぞれ、かつ、（ｉｉ）縁部データを必要とする前記ウインドウの前記ラスタ線走査の各線の終る時刻に、前記第２の出力信号手段と前記第４の出力信号手段を前記第２のスイツチ出力手段と前記第４のスイツチ出力手段へそれぞれ、選択的に接続する手段と、を含む装置。
６．請求項４記載の装置において、前記データシーケンシング手段は、入力手段と出力手段をおのおの有する第１の蓄積レジスタと、第２の蓄積レジスタと、遅延手段とを備え、前記第１の蓄積レジスタの前記入力手段は前記第１の出力信号手段へ結合されるようにされ、前記第１の蓄積レジスタの前記出力手段は前記遅延手段の前記入力手段へ結合され、前記遅延手段の前記出力手段は前記第２の蓄積レジスタの前記入力手段へ結合され、前記第１の蓄積レジスタの前記入力手段と、前記遅延手段の前記入力手段と、前記第２の蓄積レジスタの前記入力手段とは前記第２の出力信号手段と、前記第３の出力信号手段と、前記第４の出力信号手段として機能し、前記第２の蓄積レジスタの前記出力手段は前記第５の出力信号手段として機能する装置。
７．請求項６記載の装置において、前記遅延手段はクロツクサイクルの整数にほぼ等しい遅延を行い、その整数は前記アレイの列の数から１を引いた数の整数値に等しい装置。
８．請求項６記載の装置において、前記出力蓄積手段は第１のシフトレジスタである装置。
９．請求項８記載の装置において、前記入力蓄積手段は第２のシフトレジスタと第３の蓄積レジスタを含み、各レジスタは入力手段と出力手段を有し、前記第２のシフトレジスタの出力手段は前記第３の蓄積レジスタの前記入力手段へ結合され、前記第２のシフトレジスタの前記出力手段は前記第２の縁部データ出力手段を構成し、前記第３の蓄積レジスタの前記出力は前記第１の縁部データ出力手段を構成し、前記装置は、（ｉ）イネイブル信号に応じて、前記第１のシフトレジスタに格納されている前記縁部データ値を、前記入力蓄積手段の第２のシフトレジスタ中へ直列に桁送りし、かつ、（ｉｉ）前記第３の蓄積レジスタへ供給された指令信号に応じて、前記第２のシフトレジスタの出力を前記第３の蓄積レジスタ中へ転送する、ための手段を更に備える装置。
１０．ｎ列×ｍ行の映像センサアレイに対応し、かつ映像データメモリのアドレス可能なセルに格納される映像データ値のｎ列×ｍ行のアレイを映像処理する装置において、この装置は複数の近傍変換モジュールを備え、それらの近傍変換モジユールは、第１のクロツク信号の引続くクロツクサイクルに対して、前記映像センサアレイの区画されたセグメントのｐ列×ｍ行の選択されたラスタ線走査パターンに従つて、前記映像データメモリを読出し、前記映像データメモリの格納されている前記データ値の１つを第１の出力信号手段へ順次出力する読出し手段と、前記第１の出力信号手段上の前記格納されているデータ値を受けるための第１の入力手段と、第２の出力信号手段と、第３の出力信号手段と、第４の出力信号手段と、第５の出力信号手段とを有し、前記映像センサアレイの２×２ウインドウの４つのコーナーデータ値に対応するデータ値を前記第２の出力信号手段と、前記第３の出力信号手段と、前記第４の出力信号手段と、前記第５の出力信号手段とに同時に出力するデータシーケンシング手段と、前記第１の列と前記最後の列の前記選択された１つの列の２つの引続く縁部データ値を格納する手段と、前記２つの引続く縁部データ値を出力するための第１の縁部データ出力手段および第２の縁部データ出力手段とを含み、前記複数の近傍変換モジュールのうちの先行するモジユールと後続するモジュールのうちの選択された１つのモジュールへ結合され、それに関連する前記区画されたセグメントの前記ｐ列アレイの前記第１の列と前記最後の列のうちの選択された１つの列の縁部データ値を受ける入力蓄積手段と、第１のスイツチ出力手段と、第２のスイツチ出力手段と、第３のスイツチ出力手段と、第４のスイツチ出力手段とが、前記セグメントの先行するセグメントと後続するセグメントのうちの選択された１つのセグメントの前記縁部データを含んでいるウインドウを含む前記スライデイングウインドウの４つのコーナーデータ値を表すように、前記第２の出力信号手段と、前記第３の出力信号手段と、前記第４の出力信号手段と、前記第５の出力信号手段と、前記第１の縁部データ出力手段と、前記第２の縁部データ出力手段とを前記第１のスイツチ出力手段と、前記第２のスイツチ出力手段と、前記第３のスイツチ出力手段と、前記第４のスイツチ出力手段とに選択的に接続するスイツチ手段と、前記第１のスイツチ出力手段と前記第１のスイツチ出力手段および前記第３のスイツチ出力手段ならびに前記第４のスイツチ出力手段における前記４つのコーナーデータ値を受ける入力手段と、第６の出力手段とを有し、前記４つのコーナーデータ値に対して選択された近傍変換を実行でき、かつ前記第１のクロツク信号の引続くクロツクサイクルに対して前記選択された近傍変換の結果を前記第６の出力手段へ順次出力する近傍変換プロセツサ手段と、を備え、前記４つのコーナーデータ値は、前記第１のクロツク信号の引続くクロツクサイクルに対して、前記選択されたラスタ線走査パターンにほぼ類似するラスタ線走査パターンでスライドするスライデインククインドウに従つて順次変化する、映像データ値のｎ列 ×ｍ行のアレイを映像処理する装置。
１１．請求項１０記載の装置において、前記スイツチ手段は、前記セグメントの先行するセクメントと後続するセグメントのうちの選択された１つのセグメントからの縁部データを必要としない前記ウインドウの前記ラスタ線走査の各線に対して、前記第２の出力信号手段と、前記第３の出力信号手段と、前記第４の出力信号手段と、前記第５の出力信号手段とを第１のスイツチ出力手段と、第２のスイツチ出力手段と、第３のスイツチ出力手段と、第４のスイツチ出力手段とにそれぞれ選択的に接続する手段と、（ｉ）前記第１の縁部データ出力手段と前記第２の縁部データ出力手段を前記第１のスイツチ出力手段と前記第３のスィツチ出力手段へそれぞれ、かつ、（ｉｉ）縁部データを必要とする前記ウインドウの前記ラスタ線走査の各線の終る時刻に、前記第２の出力信号手段と前記第４の出力信号手段を前記第２のスイツチ出力手段と前記第４のスイツチ出力手段へそれぞれ、選択的に接続する手段と、を含む装置。
１２．請求項１０記載の装置において、前記データシーケンシング手段は、入力手段と出力手段をおのおの有する第１の蓄積レジスタと、第２の蓄積レジスタと、遅延手段とを備え、前記第１の蓄積レジスタの前記入力手段は前記第１の出力信号手段へ結合されるようにされ、前記第１の蓄積レジスタの前記出力手段は前記遅延手段の前記入力手段へ結合され、前記遅延手段の前記出力手段は前面第２の蓄積レジスタの前記入力手段へ結合され、前記第１の蓄積レジスタの前記入力手段と、前記遅延手段の前記入力手段と、前記第２の蓄積レジスタの前記入力手段とは前記第２の出力信号手段と、前記第３の出力信号手段と、前記第４の出力信号手段として機能し、前記第２の蓄積レジスタの前記出力手段は前記第５の出力信号手段として機能する装置。
１３．請求項１２記載の装置において、前記遅延手段はクロツクサイクルの整数にほぼ等しい遅延を行い、その整数は前記アレイの列の数から１を引いた数の整数値に等しい装置。
１４．請求項１２記載の装置において、前記出力蓄積手段はシフトレジスタである装置。
１５．請求項１４記載の装置において、前記入力蓄積手段は第３の蓄積レジスタを含み、各レジスタは入力手段と出力手段を有し、前記シフトレジスタの出力手段は前記第３の蓄積レジスタの前記入力手段へ結合され、前記シフトレジスタの前記出力手段は前記第２の縁部データ出力手段を構成する装置。