JP2623089B2 - 映像処理システム - Google Patents

Description

【発明の詳細な説明】 〔発明の技術分野〕 この発明はデジタル映像処理システムに係り、特にリ
アルタイムの映像処理・表示やリアルタイムの画像解析
等に有効な映像処理システムに関する。

〔発明の背景とその問題点〕

映像処理の概念はい広く、入力画像を明瞭なものにし
たり、あるいは特徴を抽出して画像を認識するようない
わゆる画像処理の技術から、コンピュータグラフィック
ス技術、さらには放送機器などにおいて用いられるクロ
マキー、画面合成、画面分割その他の特殊効果の技術等
が含まれる。そして映像処理の処理系にはアナログ処理
系とデジタル処理系およびその複合系があり、処理され
た結果の精巧さ、再現性、定量性および処理の多様さと
いう点でデジタル処理系の重要性が高まりつつある。こ
のデジタル処理系では、映像を画素の集合として取り扱
う必要があり、実用的な画素数、階調に対する映像処理
においては、画素単位の演算、画素の相関関係に関する
演算は膨大なものとなる。

例えば、512×512画素、RGB各８ビットの画素につい
て粒度分布の測定を行うためには、16ビット汎用コンピ
ュータに演算プロセッサを搭載したシステムを用いたと
して、１画面あたり20分程度の演算時間を要した例があ
る。これを処理速度20MIPS程度の超大型コンピュータを
用いて計算したとしても数秒の処理時間が必要である。

そこで従来から画像処理のための専用IC、例えば図形
のアフィン変換や描画のためのCRTC、特定ビット数のあ
る種の画像解析をおこなうための専用ICなど少数のICが
提案されて、一部の映像処理の高速化が図られている。
しかしこれらの専用ICの機能は映像処理技術のうちの極
く狭い領域のみに適用出来るものであり、これらのICを
用いて映像処理システムを構築した場合、用途が極めて
限られてしまうため、一般にコストパフォーマンスの低
いものとなる。またこれらのICは他のICとの併用が考慮
されていることはなく、これらICを組み合わせて多機能
の映像処理システムを構築することも実用上不可能であ
る。

さらに、特定の生産ラインのために専用ハードウェア
を構成することもしばしば行なわれる。この場合用途が
限定されることはいうまでもないが、一般にその使用条
件も厳しく制限され、この条件から外れたときにはエラ
ーが頻繁に生じたり、全く測定不能になる。しかも日進
月歩のアルゴリズムの改良に即応することもできない。

〔発明の目的〕

この発明はこのような従来の問題点を解消すべく創案
されたもので、広範な映像処理に適用でき、汎用超大型
コンピュータより高速の処理が可能でなおかつコストパ
フォーマンスの高い映像処理システムを提供することを
目的とする。

〔発明の概要〕 この発明に係る映像処理システムは、映像処理の機能
を、画素データをまとめて保持する近傍処理と、多くの
処理に適用可能な前処理と、この前処理の結果に基づい
て最終的な処理映像や特徴量を得る変換機能とに分けて
とらえ、演算部においては数値演算や状態演算などの前
処理を行い、変換部においてはテーブルの参照、積算、
軽演算処理結果の積算、中間情報の一時退避などを行う
ものである。積算に際しては、変換部として、高速メモ
リと軽演算部とを組み合わせ、高速メモリの出力を適宜
軽演算部を介してセレクタに戻し、再び高速メモリに入
力することにより、この単純な構成で多様な処理を高速
で実現するものである。

〔発明の実施例〕

次にこの発明に係る映像処理システムの第１実施例を
図面に基づいて説明する。

第１図において、映像処理システムは画素データが入
力される入力部１を有し、画素データはこの入力部１か
ら、順次近傍処理部２、演算部３、変換部４において処
理される。第２図に示すように、画素データPijは一般
に１スキャンラインごとに順次配列されており、近傍処
理部２においては、第３図に示すような一定近傍、例え
ば３×３の画素データＰ（ｉ−１），（ｊ−１）、Pi,
（ｊ−１）、Ｐ（ｉ＋１），（ｊ−１）、Ｐ（ｉ−
１）,j、Pi,j、Ｐ（ｉ＋１）,j、Ｐ（ｉ−１），（ｊ＋
１）、Pi,（ｊ＋１）、Ｐ（ｉ＋１），（ｊ＋１）を１
つのマトリックスとして保持する。このような処理を行
う為には、例えば第４図の回路が有効である。すなわ
ち、２段のラインメモリ５、６を直列に接続し、第１段
のラインメモリ５に画素データPi,jを入力する。第１段
のラインメモリ５の入力および出力と第２段のラインメ
モリ６の出力は、それぞれ遅延部７、８、９に接続され
ている。遅延部７は入力がそのまま通過するライン7A、
入力を１クロック分遅延させる第１段Ｄフリップフロッ
プ7B、およびこのフリップフロップ7Bの出力をさらに１
クロック分遅延させる第２段Ｄフリップフロップ7Cとを
備え、連続する３つの画素データが同時に出力されるよ
うになっている。遅延部８、９も同様に構成され、ライ
ン8A、9A、Ｄフリップフロップ8B、8C、9B、9Cにより、
それぞれ画素データの遅延同時出力を行いうるようにな
っている。第１段ラインメモリ５に画素データが順次入
力されたとき、最初のスキャンラインの画素データＰ
（ｉ−１），（ｊ−１）、Pi,（ｊ−１）、Ｐ（ｉ＋
１），（ｊ−１）はまず第１段のラインメモリ５で保持
され、次のスキャンラインの画素データＰ（ｉ−１）,
j、Pi,j、Ｐ（ｉ＋１）ｊがラインメモリ５に入力され
たときに、画素データＰ（ｉ−１），（ｊ−１）、Pi,
（ｊ−１）、Ｐ（ｉ＋１），（ｊ−１）は次のラインメ
モリ６に転送される。次のスキャンラインの対応画素デ
ータＰ（ｉ−１），（ｊ＋１）、Pi,（ｊ＋１）、Ｐ
（ｉ＋１），（ｊ＋１）はラインメモリ５に入力される
ことなく、遅延部７に与えられる。遅延部７ではＰ（ｉ
−１），（ｊ＋１）はＤフリップフロック7Cに送られて
から出力され、このときＤフリップフロップ7Aに到達し
ていた、Pi,（ｊ＋１）がＤフリップフロップ7Bから出
力される。同時にライン7Aから、Ｐ（ｉ＋１），（ｊ＋
１）が出力される。一方、ラインメモリ５に送られたＰ
（ｉ−１）,j、Pi,j、Ｐ（ｉ＋１）,jは、同様に遅延部
８において、Ｄフリップフロップ8C、8B、ライン8Aから
それぞれ同時に出力され、ラインメモリ６に送られたＰ
（ｉ−１），（ｊ−１）、Pi,（ｊ−１）、Ｐ（ｉ＋
１），（ｊ−１）は、フリップフロップ9C、9B、ライン
9Aからそれぞれ同時に出力される。このように、近傍処
理部では、画面中の任意の３×３の領域を保持すること
ができる。なお領域の大きさを２×２に設定し、あるい
はより大きな領域に設定し、さらには正方形以外の形状
の領域としてもよい。また、近傍処理部２において簡単
な演算、例えば濃度平均などの算出を行ってもよい。

近傍処理部２から出力されたデータは、演算部３に入
力され、ここで映像処理に必要なパラメータが算出され
る。前述の平均濃度もこのようなパラメータの１つであ
り、当然この演算部３において求めることができる。第
５図に示すように、演算部３は、状態演算部10および数
値演算部11のうちの少なくとも一方を備え、状態演算部
10では連結数や、その画素が処理の対象であるか否かの
指標、オイラー数を求めるためのパラメータＴ、Ｆ、
Ｄ、Ｅ処理画素とその近傍の状態を表すコンパレート信
号、その他が算出され、一方、数値演算部11では濃度平
均や、１次微分、２次微分、フィルタ処理、その他が行
なわれる。これら演算部10、11の処理は、ハードウェア
的なパイプライン処理により高速化される。

変換部４は、概念的には第６図のように構成され、高
速メモリ12の出力の分岐に軽演算部13を接続し、この軽
演算部13の出力を高速メモリ12の入力側に戻している。
高速メモリ12の入力にはセレクタ14が接続され、軽演算
部13の出力はこのセレクタ14に入力されている。高速メ
モリ12のアドレス入力にはデータD1が入力され、セレク
タ14の出力は高速メモリ12のデータ入力に接続されてい
る。セレクタ14には、軽演算部13の出力と並列にデータ
D2が入力され、セレクタ14は、軽演算部出力またはデー
タD2を択一的に高速メモリ12に導く。高速メモリ12とし
ては、高速のスタティックRAMなどが使用可能である。
軽演算部13を経たデータを高速メモリ12の入力側に戻す
ことにより、一つのデータに同一の演算処理を繰り返し
施したり、一連とデータ群に同一処理を施してから高速
メモリ12内に順次格納したりすることも可能となり、ま
たデータの積算、データの漸減、データの逐次比較など
極めて多様な処理が可能となる。そして当然、高速メモ
リ12にデータD1によりアドレスを与えて、そのアドレス
に格納されたデータを読み出す、テーブルとしての使用
も可能である。

さらに高速メモリ12には、CS（チップセレクト）、WE
（ライトイネーブル）の信号Ｓが入力されている。前記
データD1,D2,D3および信号Ｓとしては、画素データや演
算部３の出力が与えられ、例えば状態演算部10から「処
理対象画素であるか否かの指標」を信号Ｓとして高速メ
モリ12に入力されば、処理対象画素についてのみ高速メ
モリ12を使用した処理が行なわれる。またデータD1とし
て画素データ（濃度やラベリング番号）を与えれば、濃
度やラベリング番号毎に画素数の積算等を行うことがで
きる。

第７図は、軽演算部として加算器15を採用した変換部
を示すものであり、加算器15には高速メモリ12の出力の
他にデータD3が入力され、さらに高速メモリ12には、CS
（チップセレクト）、WE（ライトイネーブル）の信号Ｓ
が入力されている。

例えば２値画像やラベル付けされた画像において面積
を計算するとき、画素値をアドレスD1として指定し、高
速メモリ12からそのアドレス内の格納データを出力し、
加算器15でこのデータにD3（ここでは「１」に設定して
おく。）を加えた値をセレクタ14に戻して高速メモリ12
の前記アドレスD1に再び格納する。これにより、画像中
の各画素値の画素数がカウントされ、各ラベル領域の面
積が求められる。

第８図は図形の重心を求めるための変換部を示すもの
であり、第７図と同様の３組の変換部4A、4B、4Cを演算
部に対して並列に接続してなり、それぞれの加算器15
A、15B、15CにはＸ座標値Dx、Ｙ座標値Dy、「１」が入
力されている。「１」が入力された変換部4Cは、第７図
同様求積のための回路であり、変換部4A、4Bは、画素デ
ータが「１」のときに、信号Ｓにより高速メモリ12への
データ書込みを可能として、そのＸ座標、Ｙ座標を積算
する回路である。Ｘ座標の積算値を面積で除した値は重
心のＸ座標であり、Ｙ座標の積算値を面積で除した値は
重心のＹ座標である。この演算は、MPUで行ってもよい
し、専用ハードウェアを設けてもよい。ただシステムの
汎用性とコンパクト性を考慮すれば、このような複雑な
演算はMPUで行うことが好ましい。

またラベリングされた画像においては、画素データの
画素値をD1としてアドレスを指定し、そのときのDx、Dy
をそのアドレスの格納データに加えていけば、複数のラ
ベリング領域の重心を同時に算出しうる。

第９図は、軽演算部として減算器16を採用した変換部
を示すものであり、減算器16には高速メモリ12の出力の
他にデータD3が入力され、さらに高速メモリには、CS
（チップセレクト）、WE（ライトイネーブル）の信号Ｓ
が入力されている。減算器16は、内部で補数を求めるな
どの方法で加算器を用いても実現でき、概念として、第
７図、第８図と等価なことも多いが、例えば同一濃度の
細分化のあるヒストグラムの平坦化など、元の各データ
値で平坦化後の分布を埋めていく場合、「埋める」こと
に使用した各データの個数を漸減していく場合など、漸
減させる値が多種ある場合などには、減算器は重要にな
る。

第10図は、軽演算部として最大値抽出部17を採用した
変換部を示すものであり、第11図は、最小値抽出部18を
採用した変換部を示すものである。最大値抽出部17は高
速メモリに格納されているデータと新たに導入されたデ
ータとを比較してより大きなデータを高速メモリ内にも
どす。逆に最小値抽出部18は、より小さなデータを高速
メモリにもどす。これら変換部は種々の用途が考えられ
るが、第12図に示すように、図形のＸ座標値Dx、Ｙ座標
値Dyの最大値、最小値をそれぞれ変換部によって求めて
おけば、その最終結果をMPUなどで処理するだけでフィ
レ径を容易に求め得る。

第13図は、映像処理システムの第２実施例を示すもの
であり、入力部として、複数の入力部１と画像メモリ19
とをセレクタ20により選択可能とし、さらに、出力部と
して、複数の出力部21と前記画像メモリ19とを分配器22
により選択可能としている。入力部１としては、例えば
VTRカメラ、スキャナ、ビデオデッキ、レーザディスク
装置、CD−ROM、光ディスク、ハードディスク、フロッ
ピディスク、通信I/F、および画像メモリなどがあり、
一方出力部としては、入力部として挙げたもののうちデ
ータ受け入れの可能なもの、および画像メモリなどがあ
る。さらに第13図の実施例では、演算部３、変換部４、
セレクタ20、分配器22、画像メモリ19にコントローラ23
を接続し、コントローラ23によりその設定、制御を行
い、かつ全体の制御、およびコントローラ23の設定、制
御をMPU24で行う。そして映像処理のうちの複雑な演算
はMPUを用いる。演算部３や変換部４の負荷をあまりに
高め過ぎると演算速度が著しく低下するので、処理分担
は、処理内容に応じて最適化すべきである。

以上の実施例においては、変換部の軽演算の内容とし
ては、加減算、最大、最小値抽出を例示したが、この他
に、絶対値などの数値演算や、比較、AND、OR、NAND、N
OR、EX−OR、EX−NORなどの論理演算を自由に選択、採
用しうる。

そして、変換部は高速メモリを備えているので、いわ
ゆるカラーコードからRGB値を参照するようなデータ参
照のためのルックアップテーブルとして、あるいは、画
像のラベリングなどに際しては、ラベリング情報を高速
格納するキャッシュメモリとして適用し得ることはいう
までもない。

また前記セレクタには任意の切換手段例えばワイヤー
ドオアなどを含む。

さらに近傍処理部２、演算部３および変換部４の順序
は変更することも可能であり、第14図に示すように、演
算部３と変換部４の順序を逆転させ、あるいは第15図に
示すように、変換部４、近傍処理部２、演算部３の順に
接続することも可能である。

第14図の構成では高速メモリ12を通過した画素データ
および／または近傍処理部で一旦保持された画素データ
を演算部３に入力する。これによって前記とほぼ同様の
処理が可能となる。第15図の構成では高速メモリ12を通
過した画素を近傍処理部２で一旦保持した後に演算部３
に入力している。これによって前記とほぼ同様の処理が
可能となる。

〔発明の効果〕

前述のとおり、この発明に係る映像処理システムは、
映像処理の機能を、画素データをまとめて保持する近傍
処理と、多くの処理に適用可能な演算と、この演算の結
果に基づいて最終的な処理映像や特徴量を得る変換とに
分けてとらえ、演算部においては数値演算や状態演算な
どの前処理を行い、変換部においてはテーブルの参照、
積算、軽演算処理結果の積算、中間情報の一時退避など
を行うものであり、積算に際しては、変換部として、高
速メモリと軽演算部とを組み合わせ、高速メモリの出力
を適宜演算部を介してセレクタに戻し、再び高速メモリ
に入力することにより、この単純な構成で多様な処理を
高速で実現し得るという優れた効果を有する。

【図面の簡単な説明】

第１図はこの発明に係る映像処理システムの第１実施例
を示すブロック図、第２図は画素データの配列を示す概
念図、第３図は３×３の画素データの配列を示す概念
図、第４図は近傍処理部の１例を示すブロック図、第５
図は演算部の１例を示すブロック図、第６図は変換部の
概念を示すブロック図、第７図は変換部の第１実施例を
示すブロック図、第８図は変換部の第２実施例を示すブ
ロック図、第９図は変換部の第３実施例を示すブロック
図、第10図は変換部の第４実施例を示すブロック図、第
11図は変換部の第５実施例を示すブロック図、第12図は
変換部の第６実施例を示すブロック図、第13図は映像処
理システムの第２実施例を示すブロック図、第14図は映
像処理システムの第３実施例を示すブロック図、第15図
は映像処理システムの第４実施例を示すブロック図であ
る。 １……入力部、２……近傍処理部、３……演算部、４、
4A、4B、4C……変換部、５、６……ラインメモリ、７、
８、９……遅延部、7A、8A、9A……ライン、7B、7C、8
B、8C、9B、9C……Ｄフリップフロップ、10……状態演
算部、11……数値演算部、12……高速メモリ、13……軽
演算部、14……セレクタ、15、15A、15B、15C……加算
器、16……減算器、17……最大値抽出部、18……最小値
抽出部、19……画像メモリ、20……セレクタ、21……出
力部、22……分配器、23……コントローラ、24……MP
U。 D1、D2、D3、D4……データ、Pi,j……画素データ、Ｓ…
…信号。

フロントページの続き (56)参考文献 特開 昭58−222383（ＪＰ，Ａ) 特開 昭58−129552（ＪＰ，Ａ) 特開 昭60−108976（ＪＰ，Ａ) 特開 昭61−221982（ＪＰ，Ａ) 実開 昭50−59927（ＪＰ，Ｕ) 特公 昭39−7657（ＪＰ，Ｂ１)

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】デジタル画像処理のための映像処理システ
   ムにおいて； ｉ）画像メモリから画像データが入力され、入力された
   画像データを３×３画素領域ごとに保持する近傍処理部
   と； ii）ａ）近傍処理部で保持された領域ごとの画素データ
   が入力され、この領域ごとの画素データに基づいて、自
   身が処理対象画素か否かの指標、オイラー数算出のため
   の４種のパラメータを算出し得る状態演算部と、ｂ）前
   記近傍処理部に対してこの状態演算部と並列に接続さ
   れ、前記領域ごとの画素データに対してフィルタ処理を
   行う数値演算部と、を有する演算部であって、前記状態
   演算部と数値演算部はそれぞれパイプライン処理とされ
   ている演算部と； iii）ａ）書込み制御信号が入力される高速メモリと、
   ｂ）この高速メモリのデータ入力に接続された切換手段
   と、ｃ）ｃ−１）前記高速メモリのデータ出力の分岐に
   接続された第１入力、ｃ−２）第２入力、ｃ−３）前記
   切換手段に接続された出力を有し、加算、最大値抽出、
   最小値抽出を選択的に実行する軽演算部と、をそれぞれ
   有する４個の変換回路であって、前記の自身が処理対象
   か否かの指標は前記書込み制御信号として高速メモリに
   入力可能であり、前記オイラー数算出のための４種のパ
   ラメータは軽演算部での加算によって高速メモリ内で積
   算可能であり、前記高速メモリのアドレス入力には画素
   データを入力可能であり、これら４個の変換回路は前記
   状態演算部の出力に対して並列に接続されている変換回
   路と； を備えた映像処理システム。