JPS616771A - 画像信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明はアドレス演算を伴う画像処理を高速に実行する
ことのできる画像信号処理装置に関する。

従来例の構成とその問題点 超Ｌ　Ｓ　Ｉ　（ｌａｒｇｅ　５ｃａｌｅ　ｉｎｔｅｇ
ｒａｔｅｄｃｉｒｃｕｉｔ）の技術により小型で、高速
のプロセサやメモリーが各種の信号処理に使用されてい
る。

特に高度の処理のために一般にＤ　Ｓ　Ｐ　（ｄｉｇｉ
ｔａｌｓｉｇｎａｌ　ｐｒｏｃｅｓｓｏｒ）と呼ばれて
いるプロセサが使用される。これはＡ　Ｌ　Ｕ　（ａｒ
ｉｔｈｍｅｔｉｃ　ｌｏｇｉｃｕｎｉｔ）　以外に専用
の乗算器等を有し、データの処理が高速に出来るもので
ある。現在のところ、これらのプロセサを用いて音声帯
域の信号までははＹリアルタイムで処理できる。

ＤＳＰの平均的な命令サイクルは２５０　ｎ　ｓ程度で
ある。音声のサンプリングを２０ＫＨ２とすると、１サ
ンプリング時間は５０μＢとなるので、この時間内に処
理できる命令回数は２００回となる。この程度の命令回
数が可能であれば大力の処理はでき、音声の認識２合成
、ディジタル伝送のだめの各種帯域圧縮等がリアルタイ
ム処理できる。

一方、医用、パターン認識等５画像処理の場合を考える
。音声信号ではサンプリングはせいぜい５０ＫＨｚ　　
であシ、画像信号の場合のサンプリングは１ｏ〜２０　
ＭＨｚ　　と高い。従って画像処理をリアルタイムで実
行する場合、音声信号の処理に比べて２桁以上の処理ス
ピードが必要とされる。

例えばビデオ信号が１０ＭＨｚ　　のサンプリングであ
るとすると、音声信号の場合よシも処理数が少ないとし
ても、このサンプリング時間内で１００命令以上の処理
が必要とされる。すなわち命令のサイクルタイムがＩｎ
ｓ以下でないとリアルタイム処理ができないことになる
。

これを実現する方法として、デバイスの性能を向上する
ことが考えられる。現在のＤＳＰはＭＯ３ＷＬ　Ｓ　Ｉ
で構成されているので、このＤＳＰをバイポーラ型ＬＳ
Ｉにすればスピードを早くすることができる。しかしな
がら現在の技術では一桁程度の差しか早くすることがで
きない。

一方システム的に実現する方法として並列処理が考えら
れており、画素分のＡＬＵや乗算器をアレイ状に構成す
る完全並列処理方法が提案されている。しかしながらシ
ステムが膨大になり、ＡＬＵや乗算器を接続する配線も
複雑化し、それらの各ＡＬＵをコントロールするメイン
プロセサが必要となるなど非常に大型のシステムとなる
。

ところでビデオ信号のデータ量は非常に多く、１フレ一
ム分のメモリとして４Ｍｂｉｔ程度必要と言われている
。大容量のメモリとしてはＭＯＳ型が向いているが、書
き込み、読み出しに時間ががかシ、リアルタイムのデー
タの出入れは不可能である。バイポーラメモリはスピー
ドは早いが、メモリ容量が小さいので、画像データのメ
モリには不向きである。

発明の目的 以上の様に、現在のデバイスではリアルタイムでの画像
信号処理は困難である。こうした従来の欠点に鑑み、本
発明は画像データメモリの並列構成と、アドレス演算と
画像データ演算の並列処理により、リアルタイムの処理
を可能とする画像信号処理装置を提供するものである。

発明の構成 画像メモリを２２ｎ（ｎ；整理）個に分割して、これに
画像データをストアする手段と、アドレスを専用に計算
する演算手段と、これで計算したアドレスに分割したメ
モリのそれぞれのアドレスを局所画像データが出力され
る様に設定する手段と、メモリから読み出された画像デ
ータと、演算時に指定する画像データを１対１に対応さ
せる手段と、前記アドレス演算手段のデータに基づき画
像処理する画像データ演算手段で構成された画像信号処
理装置である。

実施例の説明 画像信号の処理傾け、エツジ検出の様に、処理する画素
を中心に３×３あるいは５×５程度の画素データを使っ
て、演算処理する場合がある。この場合には順番に画素
データを読み込んでいけば良く、処理スピードも早くで
きる。一方他の画像処理としては、画像の回転や拡大、
縮小の様に使用する画素の数は少ないが、どこの画素を
使うか予め予測できない場合がある。しかもその画素が
入っているメモリのアドレスを計算するのに多くの時間
を有する。この場合にはメモリのランダム読み出しとな
り、高速演算が困難である。

本発明はこうした画像処理に適したもので、以下第１図
の実施例をもとに説明する。（１−１）〜（１−１６）
は画像データのメモリで１フレームを１６個に分割して
いる。（２−１）〜（２−５）は画素データを各メモリ
に振分けるだめのマルチプレクサ、（３−１）〜（ａ　
−Ｓ　）はメモリのアドレスデコーダ、（４−１）、（
４−２）は１だけインクリメントする加算器、（５−１
）＋（５−２）は１だけデクリメントする減算器、６ば
Ａ　Ｌ　Ｕ　（ａｒｉ　ｔｈｍｅｔｉｃ　ｌｏｇｉｃｕ
ｎｉｔ）　　や乗算器を含む演算部、７は画素データの
１部を１時ストアする局所メモリ、８は局所メモリ７の
デコーダ、９はアドレス演算結果により、処理すべき内
容をストアするメモリ、１ｏは局部メモリ７のアドレス
を変換するだめのアドレス変換メモリ、１１はアドレス
変換メモリ１ｏのアドレスデコーダ、１２は１１と同様
なアドレスデコーダ、１３は画素データから新たな画素
データを演算するための、ＡＬＵや乗算器を含む画素デ
ータ演算部である。１４は画像データ入力端子である。

次にこの実施例の動作について説明する。まずＡ／Ｄ変
換された処理すべきディジタルビデオ信号が端子１４か
ら入力され、マルチプレクサ（２−１）で４つのいずれ
かに選択出力され（２−２）から（２−５）で１６個の
いずれかに選択出方される。

この選択出力されたデータは１のメモリブロックのいず
れかに振り分けられてストアされる。

第２図に画像データがメモリに分割されてストアされる
様子を示す。２１は入力画像データの画素データの位置
を表し、（１−１）から（１−１６）は分割された第１
図のメモリでこの中に画素データがストアされる位置を
示す（１部メモリは省略）。

本来の目的からすればメモリの分割は３　Ｘ３＝９で良
いが、後に述べるアドレス設定の容易性から４Ｘ４＝１
６分割がすぐれている。

まず画像データ１はメモリ（１−１）へ、データ２はメ
モリ（１−２）へ、データ３はメモリ（１−３）へ、デ
ータ４はメモリ（１＝４）へストアされる。

次に再びデータ６はメモリ（１−１）へ、データ６はメ
モリ（１−２）へ、データ７はメモリ（１−ａ　）へ、
データ８はメモ１ｊ（１−４）へ、前のデータの次にス
トアされる。以下順次繰返しストアされる。

次に縦方向のストアを考える。２行目のデータはメモリ
ブロックの（１−６）〜（１−ａ　）にストアされる。

即ち、データ９はメモリ（１−５）へ、同様にしてデー
タ１ｏはメモリ（１−９）へ、データ１１はメモリ（１
−１０）へストアされ、データ１２は再びメモリ（１−
１）の２行目にストアされる。同様１４−１３はメモリ
（１−５）へデータ１４はメモリ（１−９）へデータ１
５はメモリ（１−１３）　　へストアされる。

次にアドレスの計算について説明する。入力画像データ
の回転処理等の場合は回転の式にもとづき新しく生成す
る画像の画素の位置かもとの画像のどの画素の位置に相
当するかを計算する。生成される画像のスイープの順番
に合せて計算していくので、メモリのデータは順番に連
続して読出されることはなくランダム読出しとなる。

６のＡＬＵ　、乗算器等で構成されるブロックで演算さ
れたアドレスは各メモリ（１−１）から（１−１６）の
アドレスデコーダ（３−１）〜（３−８）に送られる。

これによシ指定されたアドレスを中心に周囲の画素デー
タが同時に読み出される。画像の拡大など画像処理によ
っては２つないし３つのデータを使ってその間を補間す
る必要があシ、１っ１つ画像を読出す方法では時間がか
＼りすぎるため、並列読出しとしている。計算されたア
ドレスを中心に周囲８ケのデータを並列読出しの実行す
るにはメモリの分割はＸ、Ｙ方向にそれぞれ３分割し、
３Ｘ３＝９個のメモリブロックであれば良い。しかしメ
モリにストアされているデータを読み出す場合にアドレ
ス設定が必要であるが、メモリがＸ方向に３分割されて
いるためアドレスを３で除算するステップが入る。除算
は他の加算や乗算に比べて長い時間を要する。そこで２
の倍数であれば除算はデータの右シフトだけで済み剰余
を容易に求められる。このため本発明ではメモリを”　
＋　Ｙ方向それぞれ４分割している。この並列読出しの
場合、たんに同一のアドレスでは３×３の局所画素を読
み出せない場合もあるので、（４−１）。

（４−２）ｌ（５−１）＋（５−２）で示すアドレスデ
ータをインクリメントあるいはデクリメントする回路を
通す必要がある。

この状況を第３図をもとに説明する。この図は第２図２
１の入力画像データの画素データの位置を表わしたもの
と同じで、その１部を拡大している。今Ｘ方向のアドレ
スデコーダ（３−１）〜（３−４）のデータについて説
明する。アドレス演算で計算されたアドレスデータの中
心値をＡとする。

この場合には枠３１のデータを出力する。従って第２図
から明らかな様に画素１，２．３は同じアドレスにスト
アされているのでアドレスの操作は必要がない。演算さ
れたアドレスがＢの場合もＡの場合と同様である。演算
されたアドレスがＣの場合には枠３３で示す画素データ
が読出される。

第２図から画素５は１つ次のアドレスにストアされてい
るので、このデータの入っているメモリ（１−１）のア
ドレスは１つインクリメントする必要がある。演算され
たアドレスがＤの場合には、枠３４で示す画素データが
読み出される０第２図から画素４は１つ前のアドレスに
ストアされているので、このデータの入っているメモリ
（）のアドレスは１つデクリメントする必要がある。

演算されたアドレスがＥの場合はＡの場合と同様で、以
下同様に繰返される。まだＹ方向のアドレス計算と値の
設定についてもＸ方向と同様である。

この操作を第４図にまとめて示す。（ａ）図の剰余の項
はアドレスデータを４で除算した余りを示し、Ｒ（ｙ）
はｙ方向アドレスの剰余、Ｒ（ｘ）はＸ方向のアドレス
の剰余を示す。２進コードの場合は下位２ビツトの値を
チェックするだけで剰余が直ちに求められる。アドレス
コントロールの項の（４−１）〜（５−２）　　の部分
は第１図の加算器（４−１）、（４−２）、減算器（５
−１）　＋　（１５−２）の動作を示し、○印の剰余の
項でインクリメント又はデクリメント動作を行い、その
他の場合にはアドレスはそのまま通論する。この操作で
正しい画素の局所データが出力され、第１図７の局所メ
モリに１時ストアされる。

一方アドレス演算で出てきた補間等のデータはメモリ９
に書き込まれる。この内容に従い、画像データ演算部１
３に、局所メモリの画像データを取り込み、平均値補間
、２次近似補間等の計算がなされ出力される。この出力
データは生成画像のスイープ方向に順番に出力される。

ここで局所メモリ７からの画像データの読出しについて
第４図をもとに説明する。（ｂ）図のセンター値を５と
しその周囲の８個のデータを用いて新しい画素データを
計算する場合に、センター値が（Ｃ）図の局所メモリ７
のどこのアドレスにあるかによってアドレスを変更して
その画素データを読出す必要がある。それはアドレスを
４で除算したときの剰余で決まる。（−）図の局所メモ
リアドレス変換の項にその対応を示す。例えば、剰余の
結果がＲ（ｙ）　＝　２　、　Ｒ（Ｘ）　＝　２のとき
はセンター値５は局所メモリの６に相当し周囲のデータ
は図に示す値に対応する。また剰余が”　＋　Ｙ方向と
も割り切れて００ときはセンター値５は局所メモリの１
６に相当する。この様に１の位置の周囲のデータは必ず
しも局所メモリの１の位置にはないので常に入力のアド
レスコードを変換して局所メモリのアドレスを指定する
必要がある。第１図ではその関係を１０のメモリに入れ
ておき、画像データ演算部１３から画素を指定したアド
レスは、１１のアドレスデコーダに入り、一方、全体の
画像メモリのアドレス情報の剰余は１２のデコーダに入
れておき、これでアドレスを変換して局所メモリのデコ
ーダ８に入力する。この様にすれば、比較的簡単にアド
レスを指定して画素データを読み出すことができる。こ
の変換のだめのメモリ１０はＲＯＭにしておくこともで
きる。

以上の説明ではメモリブロックからの画像データの読出
しに１時データをストアする局所データメモリを用いて
いるが、マルチプレクサ等を用いて直接出力できること
は言うまでもない。

この一連の動作をパイプライン処理とすればより演算ス
ピードを早くできる。第６図にパイプライン演算の場合
のタイミングを示す。演算はタイミングパルスに従って
実行される。丑ずアドレス演算がされ、次のタイミング
でアドレスが設定される。さらに次のタイミングでメモ
リの読出しと局所メモリへの書き込みがなされる。次の
タイミングで画像データ演算部で計算が実行され、次の
タイミングで生成画像のデータが出力される。

このパイプライン処理は一実施例であり、処理スピード
の早い部分は１つのタイミング内で実行しても良く、一
方処理スビ！ドがおいつかないところはさらに分割して
パイプライン処理にできることは言うまでもない。

発明の効果 以上、本発明の画像処理装置によれば次の効果が期待で
きる。

（］）　　画像データを複数のメモリに分割して書き込
み、１つのアドレス計算で、その近傍の画素データを並
列に読み出す方式のため、メモリからのランダム読み出
しの演算にもが＼ゎらず大幅に処理時間を短縮できる。

（２）専用のアドレス演算部とメモリアドレス設定用の
インクメント、デクリメント機能を組合せているので、
複数個のメモリのアドレス設定が容易である。

（３）画像データメモリをｘ、ｙ方向とも４分割等の２
２ｎ（ｎ：整数）分割になっているので、３分割の場合
と異多除算がシフト演算だけで可能となり大幅なスピー
ドアップとなる。

（４）　　メモリブロックから並列に読み出された画像
データは、画素データ演算部で指定する局所画像データ
と１対１に対応させるため、ＲＯＭ等のコード変換手段
を用いて読み出す様にしているので、画素データ演算が
高速にできる。

（５）　　アドレス演算と別に画像データ演算部をもう
けているため、２つの演算が別々に実行でき、パイプラ
イン化により処理能力が向上でき、またそれぞれの処理
に向いた演算部の構成がとれるＱ 本発明の実施例では画像データのメモリを４×４−１６
に分割したものについて説明したが、これに限るもので
はなく、バイナリ−コードでの除算がシフトだけで済む
構成であれば良いので一般には２２　ｎ　（ｎは正の整
数）にメモリ分割できる。

また周囲の画素を使う３×３の画素データ演算について
説明したが、さらに離れた所の画素も使った５×５や９
×９等の場合に関しても同様に構成できる。

【図面の簡単な説明】

第１図は本発明の画像処理装置の一実施例の回路図、第
２図は本発明の画像処理装置のメモリ書き込みを説明す
るための図、第３図は本発明の画像処理装置のメモリ読
み出しを説明するだめの図、第４図は本発明の画像、処
理装置のメモリ読み出しと局所メモリアドレス変換を説
明するための図、第５図は本発明の画像処理装置の動作
を説明するためのタイミング図でアル。 （１−１）〜（１−１６）叩・・画像データメモリ、６
・・・・アドレス演算部、１３・す・画像データ演算部
、１ｏ・・・・・アドレス変換メモリ。 代理人の氏名　弁理士　中　尾　敏　男　ほか１名第１
図 第２図 第４図

Claims (4)

【特許請求の範囲】
1. （１）２＾２＾ｎ（ｎは整数）個のメモリブロックで構
   成されたメモリと、前記メモリに入力データを分割して
   ストアする手段と、処理すべき画素のアドレスを計算す
   る演算手段と、前記メモリブロックのアドレスを前記計
   算されたアドレスに設定する手段と、前記メモリブロッ
   クから並列に読み出す手段と、前記メモリから読み出さ
   れたデータと、前記アドレス演算手段のデータに基づき
   画像処理する画像データ演算手段で構成されたことを特
   徴とする画像信号処理装置。
2. （２）２＾２＾ｎ個のメモリブロックのアドレスを計算
   されたアドレスデータに設定する手段において、その一
   部をインクリメント又はデクリメントして設定し、局所
   画像データが同時に出力できるアドレスに設定されるこ
   とを特徴とする特許請求の範囲第１項記載の画像信号処
   理装置。
3. （３）メモリブロックから画像データを並列に読み出す
   手段において、読み出された画像データと、演算された
   アドレスを中心にその周囲の画像データが１対１に対応
   されるコード変換手段を備えたことを特徴とする特許請
   求の範囲第１項記載の画像信号処理装置。
4. （４）メモリブロックから画像データを読出すコード変
   換手段に、リードオンリメモリを用いたことを特徴とす
   る特許請求の範囲第３項記載の画像信号処理装置。