JPS6167178A - 画像信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明はアドレス演算を伴う画像処理を高速に実行する
ことのできる画像信号処理袋９置に関する。

従来例の構成とその問題点 超Ｌ　Ｓ　Ｉ　（ｌａｒｇｅ　５ｃａｌｅ　ｉｎｔｅｇ
ｒａｔａｄＣｉｒｃｕｉｔ）の技術により小型で、高速
のプロセサやメモリーが各種の信号処理に使用されてい
る。

特に高度の処理のために一般にＤ　Ｓ　Ｐ　（ｄｉｇｉ
ｔａｌｓｉｇｎａｌ　ｐｒｏｃｅｓｓｏｒ）と呼ばれて
いるプロセサが使用される。。これはＡ　Ｌ　Ｕ　（ａ
ｒｉｔｈｍｅｔｉｃ　ｌｏｇｉｃｕｎｉｔ）以外に専用
の乗算器等を有し、データの処理が高速に出来るもので
ある。現在のところ、これらのプロセサを用いて音声帯
域の信号までははソリアルタイムで処理できる。

ＤＳＰの平均的な命令サイクルは２５０　ｎｓ程度であ
る。音声のサンプリングを２０　ＫＨｚとすると、１サ
ンプリング時間は６０μｓとなるので、この時間内に処
理できる命令回数は２００回となる。

この程度の命令回数が可能であれば大刀の処理はでき、
音声の認識９合成、ディジタル云送のための各種帯域圧
縮等がリアルタイム処理できる。

一方、医用、パターン認識等１画像処理の場合を考える
。音声信号ではサンプリングはせいぜい５０　ＫＨｚで
あり、画像信号の場合のサンプリングは１０〜２０　Ｋ
Ｈｚと高い。従って画像処理をリアルタイムで実行する
場合、音声信号の処理に比べて２桁以上の処理スピード
が必要とされる。例えばビデオ信号がＩ　Ｑ　ＫＨｚの
サンプリングであるとすると、音声信号の場合よりも処
理数が少ないとしても、このサンプリング時間内で１０
０命令以上の処理が必要とされる。すなわち命令のサイ
クルタイムがＩｎ８以下でないとリアルタイム処理がで
きないことになる。

これを実現する方法として、デバイスの性能を向上する
ことが考えられる。現在のＤＳＰはＭＯ３型ＬＳＩで構
成されているので、このＤＳＰをバイポーラ型ＬＳＩに
すればスピードを早くすることができる。しかじながら
現在の技術では一桁程度の差しか早くすることができな
い。

一方システム的に実現する方法として並列処理が考えら
れており、画素分のＡＬＵや乗算器をアレイ状に構成す
る完全連列処理方法が提案されている。しかしながらシ
ステムが膨大になり、Ａ１．Ｕや乗算器を接続する配線
も複雑化し、それらの各ＡＬＵをコントロールするメイ
ンプロセサが必要となるなど非常に大型のシステムとな
る。

ところでビデオ信号のデータ量は非常に多く、１フレ一
ム分のメモリとして４　Ｍｂ　ｉ　を程度必要と言われ
ている。大容量のメモリとしてはＭＯＳ型が向いている
か、書き込み、読み出しに時間がかかり、リアルタイム
のデータの出入れは不可能である。バイポーラメモリは
スピードは早いが、メモリ容量が小さいので、画像デー
タのメモリには不向きである。

発明の目的 以上の様に、現在のデバイスではリアルタイムでの画像
信号処理は困難である。こうした従来の欠点に鑑み、本
発明は、画像データメモリの並列構成と、アドレス演算
と画像データ演算の並列処理により、リアルタイムの処
理を可能とする画像信号処理装置を提供するものである
。

発明の構成 画像メモリを複数個に分割して、これに画像データをス
トアする手段と、アドレスを専用に計算する演算手段と
、これで計算したアドレスに分割したメモリのそれぞれ
のアドレスを局所画像データが出力される様に演算し、
設定する手段と、メモリから読み出された画像データと
演算時に指定する画像データを一対一に対応させる手段
と、前記アドレス演算手段のデータに基ずき画像処理す
る画像データ演算手段で構成された画像信号処理装置で
ある。

実施例の説明 画像信号の処理には、エツジ検出の様に、処理する画素
を中心に３Ｘ３あるいは５Ｘ５程度の画素データを使っ
て、演算処理する場合がある。この場合には順番に画素
データを読み込んでいけば良く、処理スピードも早くで
きる。一方他の画像処理としては、画像の回転や拡大、
縮小の様に使用する画素の数は少ないが、どこの画素を
使うか予め予測できない場合がある。しかもその画素が
入っているメモリのアドレスを計算するのに多くの時間
を有する。この場合にはメモリのランダム読み出しとな
り、高速演算が困難である。

本発明はこうした画像処理に適したもので、以下第１図
の実施例をもとに説明する。（１−１）〜（１−９）は
画像データのメモリで１フレームを９個に分割している
。（２−１）〜（２−４）は画素データを各メモリに振
分けるためのマルチプレイサ、（３−１）〜（３〜６）
はメモリーのアドレスデコーダ、（４−１）〜（４−４
）はアドレスデコーダをインクリメント又はデクリメン
トするカクンタ、５はＡ　Ｌ　Ｕ　（ａｒｉ　ｔｈｍｅ
ｔｉｃｌｏｇｉｃｕｎｉｔ）や乗算器を含む演算部、６
は分割されたメモリのアドレスを選択するだめの剰余算
出回路、７は画素データの１部をストアする局所メモリ
、８は局所メモリのデコーダ、９はアドレス演算結果に
より、処理すべき内容をストアするメモリ、１０は局所
メモリ７のアドレスを変換するためのアドレス変換メモ
リ、１１はアドレス変換メモリ１０のアドレスデコーダ
、１２は１１と同様なアドレスデコーダ、１３は画素デ
ータから新たな画素データを演算するためのＡＬＵや乗
算器を含む画素データ演算部である。１４は画像データ
入力端子である。

次にこの実施例の動作について説明する。まずＡ／Ｄ変
換された処理すべきディジタルビデオ信号が端子１４か
ら入力され、マルチプレイサ（２−１）で３つのいずれ
かに選択出力され（２−２）から（２−４）で９個のい
ずれかに選択出力される。この選択出力されたデータは
１のメモリブロックのいずれかに振り分けられてストア
される０第２図に画像データがメモリに分割されてスト
アされる様子を示す。２１は入力画像データの画素デー
タの位置を表し、（１−１）から（１−９）は分割され
た第１図のメモリでこの中に画素データがストアされる
位置を示す（１部メモリは省略）Ｑまず画像データ１は
メモリ（１−１）へ、データ２はメモリ（１−２）へ、
データ３はメモリ（１−３）へストアされる０次に再び
データ４はメモリ（１−１）へ、データ５はメモリ（１
−２）へ、データ６はメモＩＪ（１−３）へ、前のデー
タの次にストアされる０以下順次繰返しストアされる。

次に縦方向のストアを考える０２２行目データはメモリ
ブロックの（１−４）〜（１−６）にストアされる。即
ち、データ７はメモリ（１−４）へ、同様にしてデータ
８はメモリ（１−７）ヘスドアされ、データ９は再びメ
モリ（１−１）の２行目にストアされる。同様に１０は
メモリ（１−４）ヘデータ１１はメモリ（１−７）ヘス
ドアされる。

次にアドレスの計算について説明する○入力画画素の位
置に相当するかを計算する。生成される画像のスイープ
の順番に合せて計算していくので、メモリのデータは順
番に連続して読出されることはなくランダム読出しとな
る。

６のＡＬＵ、乗算器等で構成されるブロックで演算され
たアドレスは各メモリ（１−１）から（１−ａ　）のア
ドレスデコーダ（３−１）〜（３−６）に送られる。こ
れによシ指定されたアドレスを中心に周囲の画素データ
が同時に読み出される。画像の拡大など画像処理によっ
ては２つないし３つのデータを使ってその間を補間する
必要があり、１つ１つ画像を読出す方法では時間がか＼
りすぎるため、並列読出しとしている。この並列読出し
の場合、たんに同一のアドレスでは３Ｘ３の局所画素を
読み出せない場合もあるので、６の剰余算出回路で３の
剰余を計算し、これに従って（４−１）〜（ａ−４）で
示すアドレスデータをインクリメントあるいはデクリメ
ントする回路を通す必要がある。

この状況を第３図をもとに説明する。この図は第２図２
１の入力画像データの画素データの位置を表わしたもの
と同じで、その１部を拡大している。今Ｘ方向のアドレ
スデコーダ（３−１）〜（３−３）のデータについて説
明する。アドレス演算で計算されたアドレスデータの中
心値を■とする。この場合には枠３１のデータを出力す
る。

従って第２図から明らかな様に画素１，２．３は同じア
ドレスにストアされているのでアドレスの操作は必要が
ない。演算されたアドレスが■の場合には枠３２で示す
画素データが読出される。第２図から画素４は１つ次の
アドレスにストアされているので、このデータの入って
いるメモリ（１−１）のアドレス・は１つインクリメン
トする必要がある。演算されたアドレスがＣの場合には
枠・３３で示す画素データが読み出される。第２図から
画素３は１つ前のアドレスにストアされているので、こ
のデータの入っているメモリ（１−３）のアドレスは１
つデクリメントする必要がある。演算されたアドレスが
◎の場合は■の場合と同様で、以下同様に繰返される。

またＹ方向のアドレス計算と値の設定についてもＸ方向
と同様である。

この操作を第４図にまとめて示す。（ａ）図の剰余の項
はアドレスデータを３で除算した余シを示し、Ｒ（ｙ）
はＹ方向のアドレスの剰余、Ｒ（ＩＩｃ）はＸ方向のア
ドレスの剰余を示す。アドレスコントロールの項の（４
−１）〜（４−４）の部分は第１図の加算器（４−１）
、（４−３）、減算器（４−２）。

（４−４）の動作を示し、○印の剰余の項でインクリメ
ント又はデクリメント動作を行い、その他の場合にはア
ドレスはそのまま通加する。

以上の様にメモリアドレスを操作するには３の剰余を求
める必要がある。

次に第１図のｅで示す３の剰余を求める回路について説
明する。除算は乗算に比べて時間がか＼る。このため通
常の除算でメモリのアドレスを指定する剰余を求めるこ
とでは全体の処理時間が長くなる。一方ＲＯＭを用いた
除算にすれば時間は早くできるが、ＲＯＭ容量が犬きぐ
なってしまう。

例えばアドレスデータが１０ビツトすれば、３の剰余は
”Ｏ”、”、”２”の３種であるから２１０×２ピツ）
＝２にのＲＯＭになる。さらにアドレスデータのピント
が多くなると倍々で増大する。

そこでスピードはほとんど低下させずＲＯＭ容量を少な
くできる剰余算出回路を構成する。アドレスデータ（イ
）を１０ビツトと仮定し次の様に表わす。

Ｘ＝２９＆３＋２８ａ８＋・・・・・＋２２ａ２＋２Ａ
１＋ｃ！０（ａ１＝１ｏｒＯ）・・・・・・・・・・・
・・・・（１）今、３の剰余を求める場合を考え、（１
）式で変形する０ Ｘ＝（１７０Ｘ　３　＋２　）　ａ９＋　（８５Ｘ　３
　＋　１　）　ａｓ＋（４２Ｘ３＋２）ａ７＋（２１Ｘ
３＋１　）ａ。

＋（１０Ｘ３＋２）ａｓ十（５Ｘ３＋１　）ａ、＊＋（
２Ｘ３＋２）ａ３＋（ＩＸ３＋１）ａ２＋２ａ１＋ａＯ
・・・・山−・（巧従って３の剰余を求めることは次式
Ｘ′の剰余を求めることと等価となる。

Ｘ’＝　２　（ａ９＋ａ７＋ａ５＋ａ３＋ａ１）　十（
ａｓ　＋　ａ６＋　ａ４＋　ａ２＋　ａ□　）　　・・
・・・・・・（３）これを実行する回路を第５図に示す
０６１〜５６は全加算器、５７はＲＯＭのアドレスデコ
ーダ、６８は３の剰余を出力するＲＯＭである。

全加算器５１には１の重みをもつデータａ。、ａ２゜ａ
４を入力し加算し、全加算器５２には１の重みをもつ残
りのデータ’６１　ａ８と全加算器５１の和出力を入力
して加算する。同様に全加算器５３に、は２の重みをも
つデータ１１　＋　ａ　３＋　ａ　ｓを入力し加算し、
全加算器６４には２１の重みをもつ残りのデータ”７１
　”９と全加算器６１のキャリを入力して加算する。以
上同様にして加算した４ビツトのデータをアドレスデコ
ーダ５７に入力する。これに従って３の剰余″ｏ″、”
　　”、”２”のいずれかを６８のＲＯＭより出力する
。加算した値は最大４ビツトすなわち１６の数字までで
あり、３の剰余出力は２ビツトであるので１５Ｘ２：３
０ビツトのＲＯＭがあれば良いことになる。完全なＲＯ
Ｍ方式の除算に比べて大幅に小さくできる。またデータ
が通過する全加算器の数も高々４個なので速度も早く全
体としても完全なＲＯＭ方式の速度に近ずけることかで
きる。

以上の回路で求めた３の剰余にもとすぎ、アドレスのイ
ンクリメント、デクリメント等の操作を行う。これにＸ
、Ｙ両方向について行なわれる。

この例では３の剰余を求める場合について述べたが、他
の数の剰余でも同様に小さな数の剰余を求めることに置
き替えて算出できることは言うまでもない。又全加算器
を使った加算についても他の方法でもかまわない。

以上の操作で正しい画素の局所データが出力され、第１
図７の局所メモリに１時ストアされる。

一方アドレス演算で出てきた補間等のデータはメモリ９
に書き込まれる。この内容に従い画像データ演算部１３
に局所メモリの画像データを取り込み、平均値補間、２
次近似補間等あ計算がなされる。この出力データは生成
画像のスイープ方向に順番に出力される。

ここで局所メモリ７からの画像データの読出しについて
第４図をもとに説明する。（Ｃ）図のセンター値をｅと
しその周囲の８個のデータを用いて新しい画素データを
計算する場合に、センター値が（ｂ）図の局所メモリ７
のどこのアドレスにあるかによってアドレスを変更して
その画素データを読出す必要がある。それはアドレスを
３で除算したときの剰余で決まる。（ａ）図の局所メモ
リアドレス変換の項にその対応を示す。例えば、剰余の
結果がＲ（ｙ）＝　２　、　Ｒ（３Ｃ）＝　２のときは
センター値ｅは局所メモリの６に相当し周囲のデータは
図に示す値に対応する。また剰余がＸ、７方向とも割り
切れて０のときはセンター値ｅは局所メモリの９に相当
する。この様に１の位置の周囲のデータは必ずしも局所
メモリの１の位置にはないので常に入力のアドレスコー
ドを変換して局所メモリのアドレスを指定する必要があ
る。第１図ではその関係を１０のメモリに入れておき、
画像データ演算部１３から画素を指定したアドレスは、
１１のアドレスデコーダに入シ、一方、全体の画像メモ
リのアドレス情報の剰余は１２のデコーダに入れておき
、これでアドレスを変換して局所メモリのデコーダ８に
入力する。この様にすれば、比較的簡単にアドレスを指
定して画素データを読み出すことができる。この変換の
ためのメモリ１０ｔ／ｉ、ＲＯＭに１２おくこともでき
る。

以上の説明ではメモリブロックからの画像データの読出
しに１時データをストアする局所データメモリを用いて
いるが、マルチプレクサ等を用いて直接出力できること
は言うまでもない。

この一連の動作をパイプライン処理とすればより演算ス
ピードを早くできる。第７図にパイプライン演算の場合
のタイミングを示す。演算はタイミングパルスに従って
実行される。まずアドレス演算がされ、次のタイミング
でアドレスが設定される。さらに次のタイミングでメモ
リの読出しと局所メモリへの書き込みがなされる。次の
タイミングで画像データ演算部で計算が実行され、次の
タイミングで生成画像のデータが出力される。

このパイプライン処理は一実施例であり、処理スピード
の早い部分は１つのタイミング内で実行しても良く、一
方処理スピードがおいつがないところはさらに分割して
パイプライン処理にできることは言うまでもない。

発明の効果 以上、本発明の画像処理装置によれば次の効果が期待で
きる。

（１）画像データを複数のメモリに分割して書き込み、
１つのアドレス計算で、その近傍の画素データを並列に
読み出す方式のため、メモリからのランダム読み出しの
演算にもか＼わらず大幅に処理時間を短縮できる。

（２）　　専用のアドレス演算部とメモリアドレス設定
用のイ／クリメ／ト、デクリメント機能を組合せている
ので、複数個のメモリのアドレス設定が容易である。

（３）画像データメモリのアドレスを指定するのに３の
除算が必要であるが、完全ＲＯＭ方式の除算に比べ、加
算器と組合せることにより大幅にメモリ容量を減少でき
、かつ高速にアドレスを設定できる。

（４）　　メモリブロックから並列に読み出された画像
データは、画素データ演算部で指定する局所画像データ
と一対一に対応させるため、ＲＯＭ等のコード変換手段
を用いて読み出す様にしているので、画素データ演算が
高速にできる。

（６）アドレス演算と別に画像データ演算部をもうけて
いるため、２つの演算が別々に実行でき、パイプライン
化により処理能力が向上でき、またそれぞれの処理に向
いた演算部の構成がとれる。。

本発明の実施例では周囲の画素を使う３×３のメモリ構
成について説明したが、さらに離れた所の画素も使った
ら×５や９×９等の場合に関しても同様に構成できる。

【図面の簡単な説明】

第１図は本発明の画像処理装置の一実施例のブロック図
、第２図は本発明の画像処理装置のメモリ書き込みを説
明するための図、第３図は本発明の画像処理装置のメモ
リ読み出しを説明するだめの図、第４図（ａ）〜（Ｃ）
は本発明の画像処理装置のメモリ読み出しと局所メモリ
アドレス変換を説明するだめの図、第６図は、３の剰余
を求める剰余演算回路の一実施例を示す図、第６図は本
発明の画像処理装置の動作を説明するためのタイミング
図である。 （１−１）〜（１〜９）・・・・・・画像データメモリ
、６・・・・・・アドレス演算部、ｅ・・・・・・剰余
算出回路、１３・・・・・・画像データ演算部、１０・
・・・・・アドレス変換メモリ。 代理人の氏名　弁理士　中　尾　敏　男　ほか１名第　
１　図 第　２　図 第３図 第４図 （す （ｂ）　　　　　　　　　　　　　　　　　　　　　　
　　（Ｃ）第５図 第６１２Ｉ

Claims (5)

【特許請求の範囲】
1. （１）複数のメモリブロックで構成されたメモリと、前
   記メモリに入力データを分割してストアする手段と、処
   理すべき画素のアドレスを計算する演算手段と、前記メ
   モリブロックのアドレスを前記計算されたアドレスから
   加算器とＲＯＭを用いて高速に剰余を算出し、設定する
   手段と、前記メモリブロックから並列に読み出す手段と
   、前記メモリから読み出されたデータと前記アドレス演
   算手段のデータに基ずき画像処理する画像データ演算手
   段で構成されたことを特徴とする画像信号処理装置。
2. （２）メモリブロックのアドレスを計算されたアドレス
   から算出し、設定する手段において、加算器を用いて計
   算されたアドレスよりも小さな数の剰余を求めることに
   変換し、前記変換された小さな数の剰余をＲＯＭから読
   み出しこの剰余をもとにメモリブロックのアドレスを設
   定することを特徴とする特許請求の範囲第１項記載の画
   像信号処理装置。
3. （３）メモリブロックのアドレスを計算されたアドレス
   データに設定する手段において、その１部をインクリメ
   ント又はデクリメントして設定し、局所画像データが同
   時に出力できるアドレスに設定されることを特徴とする
   特許請求の範囲第１項記載の画像信号処理装置。
4. （４）メモリブロックから画像データを並列に読み出す
   手段において、読み出された画像データと、演算された
   アドレスを中心にその周囲の画像データが一対一に対応
   されるコード変換手段を備えたことを特徴とする特許請
   求の範囲第１項記載の画像信号処理装置。
5. （５）メモリブロックから画像データを読出すコード変
   換手段にリードオンリメモリを用いたことを特徴とする
   特許請求の範囲第４項記載の画像信号処理装置。