JPH0320880A - 変換回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野］ この発明は変換回路に係り、特にデジタル映像処理シス
テムにおけるリアルタイムの映像処理・表示やリアルタ
イムの画像解析等に有効な変換回路に関する。

〔従来の技術］ 従来、例えば、入力画像から抽出された特徴によりその
画像を認識する画像処理システム等において、処理結果
の桔巧さ、再現性、定量性および処理の多様さの理由に
より、デジタル処理系がしばしば用いられる．このデジ
タル処理系では、映像を画素の集合として取り扱う必要
があり、画素に関する演算は膨大なものとなる。例えば
５１２×５１２画素、ＲＧＢ各８ビットの画素について
粒度分布の測定を行うためには、処理速度２０ＭＩＰＳ
程度の超大型コンピュータを用いて計算したとしても数
秒の処理時間が必要であり、リアルタイム処理には十分
な速さではない。そこで、画像処理のための専用ＩＣに
より映像処理の高速化が図られたものもあるが、この専
用ＩＣの用途は極めて狭く、広範囲の映像処理には適用
できない。

したがってこれらの専用【Ｃを用いて映像処理システム
を構築した場合、用途が限定されるため、一般にコスト
パーフォーマンスの低いものとなる。

〔発明が解決しようとする課題〕

本発明は、このような従来の問題点を解消すべく創案さ
れたもので、広範な映像処理に適用でき、汎用超大型コ
ンピュータより高速の処理が可能で、なおかつコストパ
フォーマンスの高い映像処理システムを構築するための
変換回路を提供することを目的とする。

〔課題を解決するための手段〕

本発明に係る変換回路は、メモリと、このメモリにデー
タを入力する手段と、上記メモリの出力ポートに接続さ
れた軽演算部と、この軽演算部の出力を所定のタイミン
グで上記メモリへ戻す手段とを備えたことを特徴として
いる． 〔実施例〕 以下図示実施例に基づいて本発明を説明する．第２図に
おいて、映像処理システムは画素データが入力される入
力部１０を有し、画素データはこの入力部１０から、順
次演算部２０、変換部３０において処理される。演算部
２０においては、数値演算あるいは状態演算等の演算処
理が行われ、変換部３０においては、最終的な処理映像
や特徴量を求める後処理が行われる。

第３図に示すように、画素データＰｉは一般に１スキャ
ンラインごとに順次配列されている。画像処理において
は一般に、第４図に示すように例えば３×３の画素デー
タＰ　（ｉ−１），（Ｊ−１１、Ｐ　ｉｔ　＋ｊ−１，
、　　Ｐ　　（ｉ＋１）＋　　Ｔｊ−１＋ｓ　　　Ｐ　
　（ｉ−１１＋ｊｓ　　　Ｐ　　ｉ＋ｊ、　　Ｐ　，．
。

＋１＋　Ｊｓ．　　Ｐ　（１−ｌ），（ｊ１）、Ｐ　ｉ
＋　（ｊ。。、Ｐ　（ｉｏＩ１，＋ｊ．１，に対して種
々の処理が施される。なお、この処理領域の大きさを２
×２に設定し、あるいはより大きな領域に設定し、さら
には正方形以外の形状の領域としてもよい。通常はこの
ような３×３その他の領域を保持するための近傍処理が
必要であるが、本実施例ではこの近傍処理部を省略して
いる。

画素データは演算部２０に入力され、ここで映像処理に
必要なパラメータが算出される。例えば平均濃度はこの
ようなパラメータの１つであり、この演算部２０におい
て求めることができる。

演算部２０は第５図に示すように、状態演算部２１およ
び数値演算部２２を備える。状態演算部２１では、連結
数、その画素が処理の対象であるか否かの指標、オイラ
ー数を求めるためのパラメータＴ，Ｆ，Ｄ，Ｅ、処理画
像とその近傍の状態を表すコンパレート信号、およびそ
の他が算出される．一方、数値演算部１１では、濃度平
均、ｌ次微分、２次微分、フィルタ処理、およびその他
の処理が行われる。これらの演算部２１、２２の処理は
ハードウエア的なパイプライン処理により高速化される
。

第６図は演算部２０の構戒を示し、この図において演算
部２０が詳細に示されているが、状態演算部２ｌは省略
されている。

演算部２０には、メモリ４ｌ、４２、４３のいずれかに
格納された画像データがマルチプレクサ（ＭＵＸ）４９
により選択されて入力される。各メモリ４１、４２、４
３はマルチプレクサ４９に接続されるとともに、バッフ
ァ５１、５２、５３を介して演算部２０の統合部２８に
接続される．すなわち、メモリ４１４２、４３のひとつ
は入力画像を格納しており、その他のメモリは、バッフ
ァ５１５２、５３を介して演算部２ｏの処理結果を記憶
する。

演算部２０は、直列に接続された３つのフリップフロッ
プ２３、２４、２５と、乗算部２６と、セレクタ２７と
を備える。第ｌのフリップフロンブ２３は、第３図に示
すように１スキャンラインに沿った画素データＰ五、を
１クロック信号毎に入力され、これを１クロツタ分遅延
させて第２のフリップフロップ２４と乗算部２６に出力
する。第２のフリップフロップ２４は第１のフリップフ
ロップ２３から入力された画素データを、さらに１クロ
ツタ分遅延させて第３のフリップフロップ２５と乗算部
２６に出力する。第３のプリップフロップ２５は第２の
フリップフロップ２４から入力された画素データを、さ
らにＩクロツタ分遅延させて乗算部２６に出力する。し
たがって、乗算部２６には、３つの連続した画素データ
が同時に入力されることとなる。

乗算部２６は、各画素データにそれぞれ適当な数値を乗
じ、その演算結果をセレクタ２７の各入力端子に出力す
る。セレクタ２７は各入力端子に入力された乗算結果を
任意の出力端子に導き、あるいは任意の複数の出力端子
に分配する。統合部２８は、セレクタ２７から導かれた
演算結果のデータを、加減算その他の演算を施しつつ統
合する。

この統合部２８内の演算は階層的に行われ、各階層にお
いて同時に異なる演算が行われて次段に渡されるパイプ
ライン処理となっており、これにより、演算回路全体と
して演算速度が向上せしめられる。

さて、演算部２０における演算内容の一例として、エッ
ジを強調する手法のひとつであるＳｏｂｅｌオペレータ
をｙ方向について求める演算方法を説明する。このＳｏ
ｂｅｌオペレータは、第４図の３×３コンポリューショ
ンにおいて、Δｙｆｉｊ ＝Ｐ（ｉ−１１　．（ｊ−　１１　＋２　Ｐ　ｉ，（ｊ
一目十Ｐ（ｉ”ｌ）＋　（ｊ−１＞［　Ｐ　（ｉ−１）
＋　（ｊ・＋１　＋　２　Ｐ　ｉ・《Ｊ・１）＋Ｐ　＜
＝・１》・０・ｌ））を演算することにより求められる
。

メモリ４ｌに格納された画素データは、順次読み出され
・画素データＰ〈・−１＋＋　（ｊ”ｌｌ・Ｐ・・（ｊ
−　１＋・Ｐ　ｆｉｉ）．ｊ−１１がそれぞれフリップ
フロツプ２５、２４、２３から乗算部２６に同時に転送
され、それぞれ１、２、１が乗じられる。そして統合部
２８において ？　　（＋−１１＋　　（＝−１）　＋　２　　Ｐ　　
ｉ．　（ｊ−。　＋　Ｐ　（五ｉ）．　ｆｊ−１）が演
算され、これはメモリ４２のＰｉ＋　（ｊ−　１１に格
納される。同様にして、メモリ４１から画素データＰｆ
ｉ一目．（、。．、Ｐ　ｉ＋　（ｊ＋１＞、Ｐ（ｉ。ｌ
）＋　＋ｊ＋ｌ＋が読み込まれ、演算部２０においてそ
れぞれ（−１）、（−２）、（−１）が乗じられ、その
和がメモリ４２のＰ　ｉ＋　（ｊ＋Ｉ）に格納される。

　このような処理が１画面（５１２Ｘ５１２画素）につ
いて行われる。なおメモリ４２へのデータの格納の際、
画素データＰ目は第３図とは異なり、縦方向に並べ替え
られて配列される。

次いでメモリ４２から読み出されたデータのうちデータ
Ｐｉ，（Ｊ−■、Ｐ　Ｌ　（ｊ＋１）がそれぞれフリッ
プフロップ２５、２３から乗算部２６を経て統合部２８
へ転送されると、これらの和が求められ、これによりそ
の３×３コンポリューションにおけるＳｏｂｅｌオペレ
ータΔｙｆｉｊが求められる。

この処理結果はメモリ４３のＰ　ｉ．（ｊ−１１に格納
され、このような処理が１画面おいて全ての画素データ
に対して施される． 平滑化あるいは微分等の、その他の演算処理も全く同様
にして行われる。

このような演算部２０における演算結果はメモリ４１、
４２、４３のうちのいずれかに格納され、次いで変換部
３０（第２図）に入力されて、最終的な映像処理が行わ
れ、あるいは特徴量が求められる。

第１図は、本発明に係る変換回路すなわち変換部３０の
一実施例を示すものである。

この実施例において変換部３０は、ダイナ旦ツタＲＡＭ
等により構成され人出力ポートＤを有するメモリ３１と
、この人出力ポートＤに接続された軽演算部３２と、こ
の軽演算部３２の出力側に接続されたフリップフロップ
３３とを有する。入出力ポートＤに接続されたラインは
、途中で分岐し、その分岐したラインはバッファ３４を
介して入力データを保持するメモリ等に接続される。ま
たラインは、さらに分岐し、その分岐したラインの一方
は軽演算部３２に接続され、馳方は出力データを格納す
るメモリ等に接続される。フリップフロップ３３の出力
側はバッファ３５を介して入出力ポートＤに接続される
。メモリ３１には、ＷＥ，ＣＳＳＯＥ等の信号が入力さ
れ、このメモリ３１のリード、ライトの切換などの公知
のコントロールが行われる。

入力データは、バッファ３４を介して入出力ポートＤに
入力され、アドレス入力Ａに入力されたアドレス信号に
より指定されたアドレスに記憶される。この入力データ
は、所定のタイミングで入出力ボー｝Ｄから出力され、
軽演算部３２において処理される。この処理としては例
えば一定値「１」を加算する演算があり、この場合軽演
算部３２は加算器として作用する。この演算結果はフリ
ップフロップ３３に保持され、所定のタイξングでバッ
ファ３５を介して入出力ポートＤへ入力される。この時
、次のデータが軽演算部３２に付与される。入出力ポー
トＤに入力された演算結果のデータは、アドレス信号に
より指定されたアドレスに格納され、所定のタイミング
で入出力ポートＤから他のメモリ等へ出力される。

軽演算部３２を経たデータをメモリ３１の入力側に戻す
ことにより、一つのデータに同一の演算処理を繰り返し
施したり、一連のデータ群に同一処理を施してからメモ
リ３１内に順次格納したりすることも可能となり、また
データの積算、データの漸減、データの逐次比較など極
めて多様な処理が可能となる。また、メモリ３１にアド
レス信号によりアドレスを与えて、そのアドレスに格納
されたデータを読み出す、テーブルとしての使用も可能
である。

軽演算部３２を加算器として用いる場合、軽演算部３２
すなわち加算器に、メモリ３ｌからの出力データの他に
加算データを入力するようにしてもよい。

例えば２値画像やラベル付けされた画像において面積を
計算するとき、画素値をアドレス信号により指定し、メ
モリ３工からそのアドレス内の格納データを出力し、加
算器３２でこのデータ（ここではｒ１，に設定しておく
。）を加えた値をフリソプフロップ３３に戻してメモリ
３１の上記アドレスに再び格納する。これにより、画像
中の各画素値の画素数がカウントされ、各ラベル領域の
面積が求められる。

なお、変換部３０の軽演算の内容としては、加減算、最
大および最小値抽出の他、絶対値などの数値演算や、比
較、ＡＮＤ，ＯＲ，ＮＡＮＤ，Ｎ○Ｒ，ＥＸ−ＯＲ，Ｅ
Ｘ−ＮＯＲなどの論理演算を自由に選択、採用し得る。

また、変換部３０はメモリ３１を備えているので、いわ
ゆるカラーコードからＲＧＢ値を参照するようなデータ
参照のためのルックアップテーブルとして、あるいは、
画像のラベリングなどに際しては、ラベリング情報を高
速格納するキャッシュメモリとして適用し得ることはい
うまでもない。

第７図は、映像処理システムの他の例を示すものである
。この実施例では、入力部として、複数の入力部１０と
画像メモリ４０とをセレクタ６１により選択可能とし、
さらに、出力部として、複数の出力部６２と画像メモリ
４０とを分配器６３により選択可能としている。入力部
１０としては、例えばＶＴＲカメラ、スキャナ、ビデオ
デッキ、レーザディスク装置、ＣＤ−ＲＯＭ，光ディス
ク、ハードディスク、通信１／Ｆ、および画像メモリな
どがある。一方出力部としては、入力部として挙げたも
ののうちデータ受入れの可能なもの、および画像メモリ
などがある。

さらにこの実施例では、演算部２ｏ、変換部３０、セレ
クタ６Ｉ、分配器６３および画像メモリ４０にコントロ
ーラ６４を接続し、コントローラ６４によりその設定、
制御を行っている。全体の制御、およびコントローラ６
４の設定、制御はＭＰＵ６５により行われる。また、映
像処理のうちの？！雑な演算はＭＰＵ６５により行われ
る。これは、演算部２０や変換部３ｏの負荷をあまりに
高め過ぎると演算速度が著しく低下し、処理分担は、処
理内容に応して最適化すべきだがらである。

なお、第２図および第７図の映像処理システムにおいて
、３×３の画素データ（第４図）の近傍処理は演算部２
ｏにより行われていたが、これに代え、３×３の画素デ
ータを同時に出力する近傍処理部を設けてもよい。

また、上記各実施例において演算部２０は画素データを
処理するとして説明したが、画素データに限定されるも
のではなく、本発明は全てのデジタルデータの処理シス
テムに適用することができる。

〔発明の効果〕

以上のように本発明によれば、広範な映像処理に適用で
き、汎用超大型コンピュータより高速の処理が可能で、
なおかつコストパフォーマンスの高い映像処理システム
を構築するための変換回路を得ることができる。

【図面の簡単な説明】 第１図は本発明に係る変換部の一実施例を示すブロック
図、 第２図は映像処理システムの一例を示すブロック図、 第３図は画素データの配列を示す概念図、第４図は３×
３の画素データの配列を示す概念図、 第５図は演算部の概念を示すブロック図、第６図は演算
部の一例を示すブロック図、第７図は映像処理システム
の他の例を示すブロック図である。 ３０・・・変換部 ３１・・・メモリ ３２・・・軽演算部 ３３・・・フリップフロップ Ｄ・・・入出力ポート

Claims (1)

【特許請求の範囲】
1. （１）メモリと、このメモリにデータを入力する手段と
   、上記メモリの出力ポートに接続された軽演算部と、こ
   の軽演算部の出力を所定のタイミングで上記メモリへ戻
   す手段とを備えたことを特徴とする変換回路。