JP2628301B2

JP2628301B2 - 映像処理システム

Info

Publication number: JP2628301B2
Application number: JP62013201A
Authority: JP
Inventors: 良平熊谷
Original assignee: 株式会社鷹山; シャープ株式会社
Priority date: 1987-01-22
Filing date: 1987-01-22
Publication date: 1997-07-09
Anticipated expiration: 2012-07-09
Also published as: JPS63181081A

Description

【発明の詳細な説明】〔発明の技術分野〕この発明はデジタル映像処理システムに係り、リアル
タイムの映像処理・表示やリアルタイムの画像解析等に
有効な変換回路に関する。

〔発明の背景とその問題点〕

映像処理の概念は広く、入力画像を明瞭なものにした
り、あるいは特徴を抽出して画像を認識するようないわ
ゆる画像処理の技術から、コンピュータグラフィック技
術、さらには放送機器などにおいて用いられるクロマキ
ー、画面合成、画像分割その他の特殊効果の技術などが
含まれる。そして映像処理の処理系にはアナログ処理系
とデジタル処理系およびその複合系があり、処理された
結果の精巧さ、再現性、定量性および処理の多様さとい
う点でデジタル処理系の重要性が高まりつつある。この
デジタル処理系では、映像を画素の集合として取り扱う
必要があり、実用的な画素数、階調に対する映像処理に
おいては、画素単位の演算、画素の相関関係に関する演
算は膨大なものとなる。

例えば、512×512画素、RGB各８ビットの画素につい
て粒度分布の測定を行うためには、16ビット汎用コンピ
ュータに演算プロセッサを搭載したシステムを用いたと
して、１画面あたり20分程度の演算時間を要した例があ
る。これを処理速度20MIPS程度の超大型コンピュータを
用いて計算したとしても数秒の処理時間が必要である。

そこで従来から画像処理のための専用IC、例えば図形
のアフィン変換や描画のためのCRTC、特定ビット数のあ
る種の画像解析を行うための専用ICなど少数のICが提案
されて、一部の映像処理の高速化が図られている。しか
しこれらの専用ICの機能は映像処理技術のうちの極く狭
い領域のみに適用出来るものであり、これらのICを用い
て映像処理システムを構築した場合、用途が極めて限ら
れてしまうため、一般にコストパフォーマンスの低いも
のとなる。またこれらのICは他のICとの併用が考慮され
ていることはなく、これらICを組み合わせて多機能の映
像処理システムを構築することも実用上不可能である。

さらに、特定の生産ラインのために専用ハードウェア
を構成することもしばしば行なわれる。この場合用途が
限定されるということはいうまでもないが、一般にその
使用条件も厳しく制限され、この条件から外れたときに
はエラーが頻繁に生じたり、全く測定不能になる。しか
も日進月歩のアルゴリズムの改良に即応することもでき
ない。

〔発明の目的〕

この発明はこのような従来の問題点を解消すべく創案
されたもので、広範な映像処理に適用でき、汎用超大型
コンピュータより高速の処理が可能でなおかつコストパ
フォーマンスの高い映像処理システムを提供することを
目的とする。

〔発明の概要〕

この発明に係る映像処理システムは、映像処理の機能
を演算と変換に分けてとらえ、変換部においては、高速
メモリの出力をその入力にフィードバックしてなり、そ
のフィードバック経路の中途に軽演算部を設け、必要に
応じて、出力の軽演算結果をフィードバックし、軽演算
部の設定の変更により、軽演算部でありながら極めて多
様な変換を実現し、また軽演算部であるため変換速度を
併せもつものとし、一方、演算部においては、処理内容
を状態演算と数値演算に分け、状態演算部では各画素に
対する判断、例えばそれが処理すべき画素であるか否か
の判断を行ってその判断結果を１ビットの情報とし、ま
たそのような１ビット情報をもとに近傍の状態情報を算
出している。一方数値演算部では各画素の画素値をパラ
メータとする演算、例えば平均濃度を算出し、このよう
に判断を含む低ビット数の数値演算と高ビット数の演算
を分化したことにより、極めて高速かつ効率的に演算が
実行されるものである。

〔発明の実施例〕

次にこの発明に係る映像処理システムの第１実施例を
図面に基づいて説明する。

第１図において、映像処理システムは演算部１と変換
部２を有し、演算部１には状態演算部３と数値演算部４
が含まれている。演算部１には画素データPijが個々に
あるいは集合として入力され、状態演算部３は各画素デ
ータPijについて何らかの判断を行う。この判断とは、
例えば、（１）その画素自体が処理対象であるか否か（２）８近傍に処理対象画素と異なる画素値の画素が
存在するか否か（３）８近傍の各画素が処理対象と同一か否か（４）その画素と隣接画素との関係からオイラー数を
求めるためのＴ、Ｆ、Ｄ、Ｅの各個数。（ここにＴ、
Ｆ、Ｄ、Ｅの値は隣接画素の特定配列の個数である。隣
接画素がどのような配列にあるかを判定するためには、
ある画素と隣接画素の画素値が同じか否かの判断が第１
に行なわれる。）（５）その他一方数値演算部４においては、その濃度値をパラメータ
とする演算、例えば、（１）濃度平均（２）１次微分（３）２次微分（４）フィルタ処理（５）その他が行なわれる。

このように低ビット数の、但し判断を要する演算と、
高ビット数の数値演算とを別個の回路とすれば、処理の
高速化と効率化が図られる。

変換部２は高速メモリ５の出力の分岐に軽演算部６を
接続し、この軽演算部６の出力を高速メモリ５の入力側
に戻している。演算部１の出力はセレクタ７、８を介し
て高速メモリ５のデータ入力Ｄ、アドレス入力Ａに接続
されている。軽演算部６の出力はマルチプレクサ７の入
力側に導かれ、マルチプレクサ７は演算部１の出力と軽
演算部６の出力とを選択的に高速メモリ５のデータ入力
Ｄに導く。マルチプレクサ８の入力側にはデータD0が入
力され、マルチプレクサ８は演算部１の出力とデータD0
とを選択的に高速メモリ５のアドレス入力Ａに導く。こ
こに高速メモリ５としては、高速のスタティックRAMな
どが使用可能である。軽演算部６を経たデータを高速メ
モリ５の入力側に戻すことにより、一つのデータに同一
の演算処理を繰り返し施したり、一連のデータ群に同一
処理を施してから高速メモリ５内に順次格納したりする
ことも可能となり、またデータの積算、データの漸減、
データの逐次比較など極めて多様な処理が可能となる。
高速メモリ５は演算部１の出力またはデータD0によりア
ドレスＡを指定し得るので、画素のｘ、ｙ座標、画素値
あるいは他のデータに基づいて指定し、またはオートカ
ウンタでアドレスを順次インクリメントすることも可能
であり、用途は多彩である。そして当然、高速メモリ５
にデータD0によりアドレスを与えて、そのアドレスに格
納されたデータを読み出すテーブルとしての使用も可能
である。高速メモリ５には、CS（チップセレクト）、WE
（ライトイネーブル）の信号Ｓが入力され、高速メモリ
５のリード、ライトの切換などの公知のコントロールを
行っている。このＳのコントロールは例えば特定の性格
をもつ画素データのみを高速メモリ５に書き込む場合な
どに極めて有効であり、画素値「０」の画素を無視して
その他の画素値の画素数を積算するような処理が容易に
なる。

さらに軽演算部６には、必要に応じて被処理データD3
が入力される。この被処理データD3は高速メモリの出力
と演算され、例えばD3を逐次比較してより大きいD3をメ
モリに格納すればD3の最大値抽出が実現され、より小さ
いD3をメモリに格納すれば最小値抽出が実現される。ま
た軽演算部で加算を行うこととし、D3を逐次加算（積
算）していけば、D3の積算値を算出し得る。このように
D3は変換部において順次処理される被処理データであ
る。さらに、D3として「１」のような定数を入力するこ
とも可能であり、この場合には、メモリに格納されたデ
ータのインクリメントやデクリメントを実現し得る。

なおマルチプレクサ７、８の入力数を増せば、当然変
換部の拡張性は高まる。

第２図は変換回路の第２実施例を示すものであり、第
１実施例の構成に加え、軽演算部６のデータ入力にもマ
ルチプレクサ９が接続され、データD3はこのマルチプレ
クサ９に入力されている。マルチプレクサ９にはさらに
データD5が入力され、データD3、D5の切換が可能になっ
ている。軽演算部６への入力データをこのように選択可
能とすれば、変換部の拡張性は高まる。すなわち、単に
データの種類を選択し得るようになるというだけでな
く、第３図の実施例に示すような変換部間のデータの転
送とフィードバックも可能になる。

第３図において、第２図の変換部と同様の変換部2A、
2B、2C、2D（マルチプレクサ８は省略して示してあ
る。）が複数配列され、各変換部における高速メモリ５
の出力は全てマルチプレクサ10に入力されている。マル
チプレクサ10の出力は分岐して各変換部のマルチプレク
サ９に入力され、任意の１つの変換部の出力を他の任意
の変換部の軽演算部へ導くことができ、また、変換部の
出力をそれ自身の軽演算部にフィードバックし、あるい
は他の変換部を経由してフィードバックすることが可能
である。これによって極めて複雑な変換処理を実現でき
る。第４図〜第７図は軽演算部の具体例を示すものであ
り、第１実施例についてのみ構成を図示している。

第４図は軽演算部として加算器11を採用したものであ
り、例えば２値画像やラベル付けされた画像において面
積を計算するとき、何ら演算を施すことなく画素値をそ
のままアドレスD1として指定し、高速メモリ５からその
アドレス内の格納データを出力し、加算器11でこのデー
タにD3（ここでは「１」に設定しておく。）を加えた値
をマルチプレクサ７に戻して高速メモリ５の前記アドレ
スD1に再び格納する。これにより、画像中の各画素値の
画素数がカウントされ、各ラベル領域の面積が求められ
る。

第５図は、軽演算部として減算器12を採用した変換部
を示すものであり、減算器12には高速メモリ５の出力の
他にデータD3が入力され、さらに高速メモリ５には、CS
（チップセレクト）、WE（ライトイネーブル）の信号Ｓ
が入力されている。減算器12は、内部で補数を求めるな
どの方法で加算器を用いても実現でき、概念として、第
４図と等価なことも多いが、例えば同一濃度の細分化の
あるヒストグラムの平坦化など、元の各データ値で平坦
化後の分布を埋めていく場合、「埋める」ことに使用し
た各データの個数を漸減していく場合など、漸減させる
値が多種ある場合などは、減算器は重要になる。

第６図は、軽演算部として最大値抽出部13を採用した
変換部を示すものであり、第７図は、最小値抽出部14を
採用した変換部を示すものである。最大値抽出部13は高
速メモリに格納されているデータと新たに導入されたデ
ータとを比較してより大きなデータを高速メモリ内にも
どす。逆に最小値抽出部14は、より小さなデータを高速
メモリにもどす。これら変換部は種々の用途が考えられ
るが、第10図に示すように、ｘカウンタ、７カウンタか
ら出力された図形のｘ座標値Dx、Ｙ座標値Dyの最大、最
小をそれぞれ変換部によって求めておけば、その最終結
果をMPUなどで処理するだけでフィレ径を容易に求め得
る。

第８図は図形の重心を求めるための変換部を示すもの
であり、第４図と同様の３組の変換部２をＡ、2B、2Cを
演算部に対し並列に接続してなり、それぞれの加算器11
A、11B、11Cにはｘ座標値Dx、Ｙ座標Dy、「１」が入力
されている。「１」が入力された変換部2Cは、第４図同
様求積のための回路であり、変換部2A、2Bは、画素デー
タが「１」のときに、そのｘ座標、ｙ座標を積算する回
路である。ｘ座標の積算値を面積で除した値は重心のｘ
座標であり、ｙ座標の積算値を面積で除した値は重心の
７座標である。この演算は、MPUで行ってもよいし、専
用ハードウェアを設けてもよい。ただシステムの汎用性
とコンパクト性を考慮すれば、このような複雑な演算は
MPUで行うことが好ましい。

またラベリングされた画像においては画素データの画
素値によりアドレスを指定し、そのときのDx、Dyをその
アドレスの格納データに加えていけば、複数のラベリン
グ領域の重心を同時に算出しうる。

第９図はチェイン座標、チェンインコードを求めるた
めの変換部を示すものであり、変換部2A、2Bを組み合わ
せてなる。なおこの実施例では軽演算部６およびマルチ
プレクサ７を省略して示してある。変換部2Aのデータ入
力にはｘ座標値Dxが入力され、変換部2Bのデータ入力に
は７座標値Dyが入力されており、各変換部2A、2Bのアド
レス入力およびCS、WE入力には演算部１の状態演算部３
が接続されている。演算部１は画像メモリ15、16が接続
され、画像メモリ15には各画素の画素値が記録されてい
る。演算部１は状態演算部３において各ラベリング領域
の開始点（例えばラスタスキャンのスキャンラインが最
初にその領域に入った点）あるいは終了点（例えばラス
タスキャンのスキャンラインがその領域から出る点）を
判別して信号Ｓとして出力し、そのｘ座標値Dxを変換部
2Aの高速メモリ５に、ｙ座標値Dyを変換部2Bの高速メモ
リ５にそれぞれ登録する。このとき信号Ｓにより、開始
点または終了点のみの書き込みを指定する。そして演算
部１の状態演算部３は画像メモリ15内の画素値に基づい
て各画素の近傍情報Ｐ′１、Ｐ′２、Ｐ′３、Ｐ′４、
Ｐ′５、Ｐ′６、Ｐ′７、Ｐ′８をも求め、画像メモリ
16に登録し、同時に、画像メモリ15から入力された画素
値すなわちラベリング番号を各高速メモリのアドレス入
力に入力する。これによって各高速メモリにはラベリン
グ番号のアドレスに開始点座標または終了点座標が登録
され、一方画像メモリ16には各画素の近傍情報が登録さ
れる。これらの情報が抽出されれば、例えばMPUにより
直接開始点にアクセスし、続いてチェイン座標、チェイ
ンコードを迅速に求めることができる。

第11図は面積、周囲長、円度、複雑度を求めるための
変換部を示すものであり、第４図と同様の変換部2A、2B
（マルチプレクサ７は省略して図示している。）に演算
部１の状態演算部３が接続されている。演算部１は各画
素の画素値に基づいて近傍情報信号を出力する。近傍情
報信号は、この例においては対象となる画素の４近傍に
おいて、その画素と異なる画素値の画素が存在するか否
かを示す１ビットの情報である。近傍情報信号は変換部
2Aの加算器11Aに入力され、その値が高速メモリ５の出
力に加算される。対象となる画素の画素値はそのまま両
高速メモリ５のアドレス入力に入力され、ラベリングさ
れた各領域についてそれぞれアドレスが割当てられる。
各画素値によりアドレスが指定させることに加算器11A
には近傍情報信号が入力され、それはそのアドレスの格
納データに加算されて同じアドレスに戻される。これに
よって各ラベリング領域ごとに境界画素数による周囲長
が求められる。一方変換部2Bでは、画素値が高速メモリ
５に与えられるごとに加算器11Bにおいて、その画素値
の格納データに「１」が加算される。これにより各ラベ
リング領域内の画素数が積算され、面積が求められる。
この面積、周囲長をさらにMPUなどで処理すれば円度、
複雑度も算出し得る。なお前記近傍情報信号を変換部2A
のCSに入力し加算器11Aの入力部には加算器11Bと同じく
「１」を入力しても同様に周囲長を算出し得る。

第12図は、２値化、多値化、擬似カラー化のための変
換部（軽演算部およびデータ入力のマルチプレクサは省
略して図示してある。）を示すものであり、高速メモリ
５のアドレス入力には演算部１の数値演算部４が接続さ
れている。演算部１には全ての画素の画素値を記録した
画像メモリ15が接続され、高速メモリ５の出力には他の
画像メモリ16が接続されている。高速メモリ５にはあら
かじめカラーコード（アドレス）に対応した濃度値また
はRGB値（データ）が格納されており、演算部１は画像
メモリ15内の画素値からカラーコードを算出する。例え
ば２値化の処理では一定のスレッショルドレベルを境に
画素値を「０」または「１」のカラーコードに変換し、
多値化では複数のスレッショルドレベルにより多階調の
カラーコードを発生する。擬似カラー化を行う際には、
高速メモリ５には、１カラーコードに対しＲ、Ｇ、Ｂ各
色についての値が発生する。このように高速メモリから
出力された濃度値またはRGB値は画像メモリ16に書き込
まれ、表示される。

第13図は２値画像においてｘ軸回りのｎ次モーメント
を求めるための変換部を示すものであり、第４図と同様
の変換部2A、2Bを用いている。但し変換部2Aではマルチ
プレクサ７を省略し、変換部2Bではマルチプレクサ７お
よび軽演算部を省略して図示している。変換部2Aの高速
メモリ５には、CS、WEの信号Ｓとして、何ら演算を施さ
れることなく演算部１から画素値が入力され、画素値が
「１」のとき、高速メモリ５への書き込みが行なわれ
る。変換部2Aの高速メモリ５には、アドレス入力として
ｘ座標値Dxが入力され、変換部2Bの高速メモリ５にはア
ドレス入力としてｙ座標値Dyが入力されている。変換部
2Bの高速メモリ５にはある値に対するｎ乗の値がテーブ
ルとして格納されており、Dyの入力に対し、Dyのｎ乗の
値が出力される。その出力は変換部2Aの加算器11に入力
され、変換部2Aの高速メモリ５に格納されている対応ｘ
座標値Dxのデータに加算される。すなわち変換回路2Aに
おいては各Dxの値ごとにDyの値が積算されて格納され
る。この積算された値を全てのDxについて合計すればｎ
次モーメントを求めることができる。

第14図はオイラー数を求めるための変換部を示すもの
であり、第４図と同様の変換部2A、2B、2C、2Dを用い、
それぞれの高速メモリ５のアドレス入力に演算部１が接
続してある。演算部１における状態演算部３は各画素の
画素値をD1として各高速メモリ５に入力し、かつ、各画
素の近傍情報に基づいて、オイラー数を求めるための指
標Ｔ、Ｆ、Ｄ、Ｅの値を連続ビット列の情報Ｉ（Ｔ、
Ｆ、Ｄ、Ｅ）として出力する。この情報Ｉ（Ｔ、Ｆ、
Ｄ、Ｅ）はＴ抽出回路17、Ｆ抽出回路18、Ｄ抽出回路1
9、Ｅ抽出回路20を介して各変換回路2A、2B、2C、2Dの
加算器11に入力されている。各抽出回路はＴ、Ｆ、Ｄ、
Ｅそれぞれのビット位置を抽出して、Ｔ、Ｆ、Ｄ、Ｅの
値を取り出すものであり、取り出された値は各変換回路
でラベリング領域ごとに積算されて、高速メモリ５に格
納される。オイラー数はG4（４近傍）、G8（８近傍）で
表示され、各ラベリング領域の面積をＶとすると G4＝Ｖ−Ｅ＋Ｆ G8＝Ｖ−Ｅ−Ｄ＋Ｔ−Ｆで与えられる。

以上の実施例においては、変換器の軽演算の内容とし
ては、加減算、最大、最小値抽出を例示したが、この他
に、高速演算し得る範囲において、絶対値などの数値演
算や、比較、AND、OR、NAND、NOR、EX−OR、EX−NORな
どの論理演算を自由に選択、採用しうる。

そして、変換部は高速メモリを備えているので、いわ
ゆるカラーコードからRGB値を参照するようなデータ参
照のための一般的ルックアップテーブルとして、あるい
は、画像のラベリングなどに際しては、ラベリング情報
を高速格納するキャッシュメモリとして適用し得る。こ
の場合においては、ラベリング情報を出力するタイミン
グを近傍情報信号から与え、変換部の高速メモリのアド
レスを指定するためにカウンタ（アドレスカウンタ）を
設け、このアドレスカウンタを前記近傍情報信号で歩進
してアドレスを指定することができる。

また前記マルチプレクサには任意の切換手段例えばワ
イヤードオアなどが含まれる。

〔発明の効果〕

前述のとおり、この発明に係る映像処理システムは、
映像処理の機能を演算と変換に分けてとらえ、変換部に
おいては、高速メモリ出力をその入力にフィードバック
してなり、そのフィードバック経路の中途に軽演算部を
設け、必要に応じて、出力の軽演算結果をフィードバッ
クし軽演算部の設定の変更により、軽演算部でありなが
ら極めて多様な変換を実現し、また軽演算部であるため
高変換速度をも併せ持つものとし、一方、演算部におい
ては、処理内容を状態演算と数値演算に分け、状態演算
部では各画素に対する判断、例えばそれが処理すべき画
素であるか否かの判断を行ってその判断結果を１ビット
の情報とし、またそのような１ビット情報をもとに近傍
の状態情報を算出している。一方数値演算部では各画素
の画素値をパラメータとする演算、例えば平均濃度を算
出し、このように判断を要する低ビット数の演算と高ビ
ット数の数値演算を分化したことにより、極めて高速か
つ効率的に演算が実行されるという優れた効果を有す
る。

【図面の簡単な説明】

第１図はこの発明に係る映像処理システムの第１実施例
を示すブロック図、第２図は第２実施例を示すブロック
図、第３図は第３実施例を示すブロック図、第４図〜第
７図は第１実施例における軽演算部の態様をを示すブロ
ック図、第８図は第４図の態様を組み合わせてなる変形
例を示すブロック図、第９図〜第14図は他の変形例を示
すブロック図である。１……演算部、２、2A、2B、2C、2D……変換部、３……
状態演算部、４……数値演算部、５……高速メモリ、６
……軽演算部、７、８、９、10……マルチプレクサ、1
1、11A、11B……加算器、12……減算器、13……最大値
抽出部、15、16……画像メモリ、17……Ｔ抽出回路、18
……Ｆ抽出回路、19……Ｄ抽出回路、20……Ｅ抽出回
路。Ａ……アドレス入力、Ｄ……データ入力、D0、D1、D2、
D3……データ、Ｓ……信号、Ｉ（Ｔ、Ｆ、Ｄ、Ｅ）……
オイラー数を求めるためのパラメータ。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭58−129552（ＪＰ，Ａ) 特開昭57−182784（ＪＰ，Ａ) 特開昭60−108976（ＪＰ，Ａ) 特開昭61−221982（ＪＰ，Ａ) 特開昭61−156480（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】所定個数の画素データが入力され、これら
画素データに対して四則演算を実行する数値演算部と、
前記画素データが同時に入力され、これらの画素につい
て、その画素自体が処理対象画素であるか否かの判断、
８近傍の各画素が処理対象画素と同一か否かの判断、お
よびオイラー数の指標Ｔ（Ｌ字型の３画素のパター
ン）、Ｆ（正方形をなす４画素のパターン）、Ｄ（斜め
に並ぶ２画素のパターン）、Ｅ（２画素の縦直列あるい
は横直列パターン）の個数のパターン判定を行う状態演
算部とを有する演算部と；第１入力および第２入力を有するとともに、これら入力
の一方を選択的に出力する第１、第２マルチプラクサ
と；第１マルチプラクサの出力がデータ入力に接続されかつ
第２マルチプラクサの出力がアドレス入力に接続された
高速メモリと、この高速メモリの出力の分岐が入力され
かつこの高速メモリの出力と被処理データとに対して加
算、最大値抽出および最小値抽出を行う軽演算部とを有
する変換部であって、前記高速メモリには書込み可否を
制御する制御入力が設けられている変換部と；を備え、前記状態演算部の出力は前記制御入力および前記被処理
データとして、適宜使用され、前記軽演算部の出力は第
１マルチプレクサの第２入力に接続され、前記数値演算
部の出力は第１マルチプレクサの第１入力および第２マ
ルチプレクサの第１入力に接続され、前記被処理データ
は変換部において逐次比較されあるいは積算されるデー
タであり、擬似カラー化に際しては、前記数値演算部は、画素デー
タに基づいてカラーコードを算出するように設定され、
前記高速メモリにはカラーコードに対応したデータが格
納されることを特徴とする映像処理システム。