JPH0314185A - 変換回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は変換回路に係り、特にデジタル映像処理シス
テムにおけるリアルタイムの映像処理・表示やリアルタ
イムの画像解析等に有効な変換回路に関する。

〔従来の技術〕

従来、例えば、入力画像から抽出された特徴によりその
画像を認識する画像処理システム等において、処理結果
の精巧さ、再現性、定量性および処理の多様さの理由に
より、デジタル処理系がしばしば用いられる。このデジ
タル処理系では、映像を画素の集合として取り扱う必要
があり、画素に関する演算は膨大なものとなる。例えば
５１２×５１２画素、ＲＯＢ各８ビットの画素について
粒度分布の測定を行うためには、処理速度２０ＭＩＰＳ
程度の超大型コンピュータを用いて計算したとしても数
秒の処理時間が必要であり、リアルタイム処理には十分
な速さではない。そこで、画像処理のための専用ｒｃに
より映像処理の高速化が図られたものもあるが、この専
用ＩＣの用途は極めて狭く、広範囲の映像処理には適用
できない。

したがってこれらの専用ＩＣを用いて映像処理システム
を構築した場合、用途が限定されるため、一般にコスト
パフォーマンスの低いものとなる。

〔発明が解決しようとする課題〕

本発明は、このような従来の問題点を解消すべく創案さ
れたもので、広範な映像処理に適用でき、汎用超大型コ
ンピュータより高速の処理が可能で、なおかつコストパ
フォーマンスの高い映像処理システムを構築するための
変換回路を提供することを目的とする。

〔課題を解決するための手段〕

本発明に係る変換回路は、２以上の出力ポートを有する
高速メモリと、この高速メモリにデータを入力する手段
と、上記高速メモリの１つの出力ポートに接続された軽
演算部と、この軽演算部の出力を所定のタイミングで上
記高速メモリへ戻す手段とを備えたことを特徴としてい
る。

〔実施例〕

以下図示実施例に基づいて本発明を説明する。

第２図において、映像処理システムは画素データか入力
される人力部１０を有し、画素データはこの入力部］０
から、順次演算部２０、変換部３０４こおいて処理され
る。演算部２０においては、数値演算あるいは状態演算
等の演算処理が行われ、変換部３０においては、最終的
な処理映像や特徴量を求める後処理が行われる。

第３図に示すように、画素データＰ０．は一般に１スキ
ヤンラインごとに順次配列されている。画像処理におい
ては一般に、第４図に示すように例えば３×３の画素デ
ータＰ　（＋−１１，＋ｊ−１１、Ｐ（ｉ−１１１、”
　＋ｉ　−Ｌｌ　、　　（，１Ｉｌ　、　　Ｐ　８．　
。−、ン、　　Ｐ、、Ｊ、　　　Ｐ、、　　（Ｊ。、ン
、Ｐ　（ｉｎ）＋　＋ｊ−１１、Ｐｌ、。、１４、Ｐ（
ｉ、１）、。４１．に対して種々の処理が施される。な
お、この処理領域の大きさを２×２に設定し、あるいは
より大きな領域に設定し、さらには正方形以外の形状の
領域としてもよい。通常はこのような３×３その他の領
域を保持するための近傍処理が必要であるが、本実施例
ではこの近傍処理部を省略している。

画素データは演算部２０に入力され、ここで映像処理に
必要なパラメータが算出される。例えば平均濃度はこの
ようなパラメータの１つであり、この演算部２０におい
て求めることができる。

演算部２０は第５図に示すように、状態演算部２１およ
び数値演算部２２を備える。状態演算部２１では、連結
数、その画素が処理の対象であるか否かの指標、オイラ
ー数を求めるためのパラメータＴ、Ｆ、Ｄ、Ｅ、処理画
像とその近傍の状態を表すコンパレート信号、およびそ
の他が算出される。一方、数値演算部１１では、濃度平
均、１次微分、２次微分、フィルタ処理、およびその他
の処理が行われる。これらの演算部２１．２２の処理は
ハードウェア的なパイプライン処理により高速化される
。

第６図は演算部２０の構成を示し、この図において演算
部２０か詳細に示されているが、状態演算部２１は省略
されている。

演算部２０には、メモリ４１．４２．４３のいずれかに
格納された画像データがマルチプレクサ（ＭＵＸ）４９
により選択されて入力される。各メモリ４１．４２．４
３はマルチプレクサ４９に接続されるとともに、バッフ
ァ５１．５２．５３を介して演算部２０の統合部２８に
接続される。

すなわち、メモリ４１．４２．４３のひとつは入力画像
を格納しており、その他のメモリは、バッファ５１．５
２．５３を介して演算部２０の処理結果を記憶する。

演算部２０は、直列に接続された３つのフリップフロッ
プ２３．２４．２５と、乗算部２６と、セレクタ２７と
を備える。第１のフリップフロップ２３は、第３図に示
すように１スキヤンラインに沿った画素データＰ、１を
１クロック信号毎に入力され、これを１クロック分遅延
させて第２のフリップフロップ２４と乗算部２６に出力
する。第２のフリップフロップ２４は第１のフリップフ
ロップ２３から人力された画素データを、さらに１クロ
ック分遅延させて第３のフリップフロップ２５と乗算部
２６に出力する。第３のフリップフロップ２５は第２の
フリップフロップ２４から入力された画素データを、さ
らに１クロツタ分遅延させて乗算部２６に出力する。し
たがって、乗算部２６には、３つの連続した画素データ
が同時に入力されることとなる。

乗算部２６は、各画素データにそれぞれ適当な数値を乗
じ、その演算結果をセレクタ２７の各入力端子に出力す
る。セレクタ２７は各入力端子に人力された乗算結果を
任意の出力端子に導き、あるいは任意の複数の出力端子
に分配する。統合部２８は、セレクタ２７から導かれた
演算結果のデ−タを、加減算その他の演算を施しつつ統
合する。

この統合部２８内の演算は階層的に行われ、各階層にお
いて同時に異なる演算が行われて次段６ご渡されるパイ
プライン処理となっており、これにより、演算回路全体
として演算速度が向上せしめられる。

さて、演算部２０における演算内容の一例として、コニ
ッジを強調する手法のひとつである５ｏｂｅ１オペレー
タをｙ方向について求める演算方法を説明する。この５
ｏｂｅｌオペレータは、第４図の３×３コンボリユーシ
ヨンにおいて、Δｙｆｉｊ ＝Ｐ、・−１１，（ｉ−＋）＋　２　Ｐ・、〈Ｊ−１）
十Ｐ　（・・１）置Ｊ（Ｐ　（ｉ−＋１．＋ｊ−＋１　
＋２　Ｐ　ｉ、＋ｊ＋Ｉｌ　＋Ｐｆｉ＋Ｈ１゜４１．）
を演算することにより求められる。

メモリ／１１に格納された画素データは、順次読み出さ
れ、画素データＰ　（ｉ−１１，＋ｊ−１１％　Ｐ　ｉ
−＋ｊ−１１、Ｐ（ｉ。１）、（、、−１１がそれぞれ
フリップフロップ２５．２４．２３から乗算部２６に同
時に転送され、それぞれ１．２．１が乗しられる。そし
て統合部２８において Ｐ〈・−ｎ、　〈＝−ｎ　＋　２　Ｐ・−＋ｊ−１１十
Ｐ　（・・１１．（ｊ−１１が演算され、こればメモリ
４２のＰ　Ｌ　（ｊ−１１に格納される。同様にして、
メモリ４１から画素データ７ｉ−１１＋。。１）、Ｐｉ
ｔ（ｊ＋ｌｌ、Ｐ（，４１）、（Ｊ、ｌ、が読み込まれ
、演算部２０においてそれぞれ（−１）、（−２）、（
−１）が乗じられ、その和がメモリ４２のＰｏ、く４．
１．に格納される。　このような処理が１画面（５１２
Ｘ５１２画素）について行われる。なおメモリ４２への
データの格納の際、画素データＰ、４は第３図とは異な
り、縦方向に並べ替えられて配列される。

次いでメモリ４２から読み出されたデータのうちデータ
Ｐｉ、（ｊ−１１、Ｐｉ、（ｊ。１〉がそれぞれフリ１
．。

プフロップ２５．２３から乗算部２６を経て統合部２８
へ転送されると、これらの和が求められ、これによりそ
の３×３コンボリユーシヨンにおける５ｏｂｅｌオペレ
ータΔｙｆｉ、、が求められる。

この処理結果はメモリ４３のＰｉｔ（ｊ−１１に格納さ
れ、このような処理が１画面おいて全ての画素デ−タに
対して施される。

平滑化あるいは微分等の、その他の演算処理も全く同様
にして行われる。

このような演算部２０における演算結果はメモリ４１．
４２．４３のうちのいずれかに格納され、次いで変換部
３０（第２図）に入力されて、最終的な映像処理が行わ
れ、あるい番才特微量が求められる。

第１図は変換部３０の第１実施例を示すものである。こ
の実施例において変換部３０は、高速のスタティックＲ
ＡＭ等により構成され第１および第２の入出力ポートＤ
１、Ｄ２を有する高速メモリ３１と、第２の入出力ポー
トＤ２に接続された軽演算部３２と、この軽演算部３２
の出力側に接続されたフリップフロップ３３とを有する
。第１の入出力ポートＤ１に接続されたラインは途中で
分岐し、一方はバッファ３４を介して入力データを保持
するメモリ等に接続され、他方は出力データを格納する
メモリ等に接続される。また、フリップフロップ３３の
出力側はバッファ３５を介して第２の入出カポ−１〜Ｄ
２に接続される。高速メモリ３１には、Ｃ３（チップセ
レクト）、ＷＥ（ライトイネーブル）の信号Ｓが入力さ
れ、高速メモリ３１のリード、ライトの切換などの公知
のコントロールが行われる。

入力データＤｏは、バッファ３４を介して第１の入出力
ポートＤ１に入力され、アドレス人力Ａに入力されたア
ドレス信号により指定されたアドレスに記憶される。こ
の入力データＤｏは、所定のタイミングで第２の入出カ
ポ−）Ｄ２から出力され、軽演算部３２において処理さ
れる。この処理としては例えば一定値「１」を加算する
演算があり、この場合軽演算部３２は加算器として作用
する。この演算結果はフリップフロップ３３に保持され
、所定のタイミングでバッファ３５を介して第２の入出
力ポートＤ２へ入力される。この時、次のデータが軽演
算部３２に付与される。入出力ポートＤ２に入力された
演算結果のデータは、アドレス信号により指定されたア
ドレスに格納され、所定のタイミングで第１の入出力ポ
ートＤＩから０ 他のメモリあるいは回路等へ出力される。

軽演算部３２を経たデータを高速メモリ３１の入力側に
戻すことにより、一つのデータに同一の演算処理を繰り
返し施したり、一連のデータ群に同一処理を施してから
高速メモリ３１内に順次格納したりすることも可能とな
り、またデータの積算、データの漸減、データの逐次比
較など極めて多様な処理が可能となる。また、高速メモ
リ３１にアドレス信号によりアドレスを与えて、そのア
ドレスに格納されたデータを読み出す、テーブルとして
の使用も可能である。

軽演算部３２を加算器として用いる場合、軽演算部３２
すなわち加算器に、高速メモリ３１からの出力データの
他に加算データを入力するようにしてもよい。

例えば２値画像やラベル付けされた画像において面積を
計算するとき、画素値をアドレス信号により指定し、高
速メモリ３１からそのアドレス内の格納データを出力し
、加算″Ａ３２でこのデータ（ここでは「１」に設定し
てお（。）を加えた値をフリツプフロツプ３３に戻して
高速メモリ３１の上記アドレスに再び格納する。これに
より、画像中の各画素値の画素数がカウントされ、各ラ
ー＼ル領域の面積が求められる。

第７図は変換部３０の第２実施例を示すものであり、軽
演算部３２の出力側はセレクタ３６を介して高速メモリ
３１の入力ポートに接続されている。また、入力データ
ＤＯはセレクタ３６を通って高速メモリ３１の入力ポー
トに入力されており、セレクタ３６は入力データＤＯと
軽演算部３２の演算結果データとを選択的に高速メモリ
３１に出力する。この演算結果データは出力ポートＤ１
から外部へ出力される。その他の構成は基本的には第１
実施例と同様である。

第８図は変換部３０の第３実施例を示すものである。こ
の実施例は第２実施例と異なり、セレクタを有しておら
ず、入力データＤ○ばバッファ３７を介して高速メモリ
３１に入力され、また軽演算部３２による演算結果デー
タはバッファ３８を介して高速メモリ３１に入力される
。これらのハ１ ２ ッファ３７．３８は所定のタイミングで入カデタＤ○あ
るいは演算結果データを高速メモリ３０に出力するよう
に制御される。その他の構成は基本的Ｇこは第２実施例
と同様である。

なお、変換部３０の軽演算の内容としては、加減算、最
大および最小値抽出の他、絶対値などの数値演算や、比
較、ＡＮＤＸＯＲ，ＮＡＮＤ、ＮＯＲ，ＥＸ−ＯＲ，Ｅ
Ｘ−ＮＯＲなどの論理演算を自由に選択、採用し得る。

また、変換部３０は高速メモリ３１を備えているので、
いわゆるカラーコートからＲＧＢ値を参照するようなテ
ーク参照のためのルックアップテーブルとして、あるい
は、画像のラヘリングなどに際しては、ラヘリング情報
を高速格納するキャッシュメモリとして適用し得ること
はいうまでもない。

第９図は、映像処理システムの他の例を示すものである
。この実施例では、入力部として、複数の人力部１０と
画像メモリ４０とをセレクタ６１により選択可能とし、
さらに、出力部として、複数の出力部６２と画像メモリ
４０とを分配器６３により選択可能としている。入力部
１０としては、例えばＶＴＲカメラ、スキャナ、ヒデオ
デッキ、レーザディスク装置、ＣＤ−ＲＯＭ、光ディス
ク、ハードディスク、通信Ｉ／Ｆ、および画像メモリな
どがある。−力出力部としては、入力部として挙げたも
ののうちデータ受入れの可能なもの、および画像メモリ
などがある。

さらにこの実施例では、演算部２０、変換部３０、セレ
クタ６１、分配器６３、分配器６３および画像メモリ４
０にコントローラ６４を接続し、コントローラ６４によ
りその設定、制御を行っている。全体の制御、およびコ
ントローラ６４の設定、制御はＭＰＵ６５により行われ
る。また、映像処理のうちの複雑な演算はＭＰＵ６５に
より行われる。これは、演算部２０や変換部３０の負荷
をあまりに高め過ぎると演算速度が著しく低下し、処理
分担は、処理内容に応じて最適化すべきだからである。

なお、第２図および第９図の映像処理システム１（３ ［４ において、３×３の画素テーク（第４図）の近傍処理は
演算部２０により行われていたが、これに代え、３×３
の画素データを同時に出力する近傍処理部を設けてもよ
い。

また、上記各実施例において演算部２０は画素データを
処理するとして説明したが、画素データに限定されるも
のではなく、本発明は全てのデジタルデータに適用する
ことができる。

〔発明の効果〕

以上のように本発明によれば、広範な映像処理に適用で
き、汎用超大型コンピュータより高速の処理が可能で、
なおかつコストパフォーマンスの高い映像処理システム
を構築するための変換回路を得ることができる。

【図面の簡単な説明】

第１図は本発明に係る変換部の第１実施例を示すブロッ
ク図、 第２図は映像処理システムの一例を示すフロック図、 第３Ｍは画素データの配列を示す概念図、第４図は３×
３の画素データの配列を示す概念図、 第５図は演算部の概念を示すブロック図、第６図は演算
部の一例を示すブロック図、第７図は変換部の第２実施
例を示すブロック図、第８図は変換部の第３実施例を示
すブロック図、第９図は映像処理システムの他の例を示
すブロック図である。 ３０・・・変換部 ３１・・・高速メモリ ３２・・・軽演算部 ３３・・・フリップフロツプ ＤＩ、Ｄ２・・・人出力ポート

Claims (1)

【特許請求の範囲】
1. （１）２以上の出力ポートを有する高速メモリと、この
   高速メモリにデータを入力する手段と、上記高速メモリ
   の１つの出力ポートに接続された軽演算部と、この軽演
   算部の出力を所定のタイミングで上記高速メモリへ戻す
   手段とを備えたことを特徴とする変換回路。