JP2757668B2

JP2757668B2 - 画像解析装置

Info

Publication number: JP2757668B2
Application number: JP4086563A
Authority: JP
Inventors: 正秀金子; 淳小池; 好律羽鳥
Original assignee: Kokusai Denshin Denwa KK
Current assignee: KDDI Corp
Priority date: 1992-03-11
Filing date: 1992-03-11
Publication date: 1998-05-25
Anticipated expiration: 2013-05-25
Also published as: US5636296A; JPH05258047A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、スキャナやテレビカメ
ラ等を介して入力される画像信号に対して処理・解析、
更には画像内容の理解を行なうための装置に関するもの
である。

【０００２】

【従来の技術】スキャナやテレビカメラ等を介して入力
される画像信号に対する処理・解析、更には内容理解に
関しては、アナログ情報として得られる入力画像信号を
アナログ・ディジタル変換（Ａ／Ｄ変換）してディジタ
ル画像信号とし、ディジタル計算機やディジタル回路を
用いて行なう方法が一般的である。具体的には、図５及
び図６に示す処理形態が従来用いられている。

【０００３】まず、図５は、最も典型的な形態である。
図５において、１は画像入力部、３は計算機（ディジタ
ル計算機）、２０はフレームメモリ、９９は画像信号の
入力端子である。まず、画像入力部１では、スキャナ、
テレビカメラ等から入力端子９９に入力される画像信号
に対してＡ／Ｄ変換を行なう。Ａ／Ｄ変換結果であるデ
ィジタル画像はフレームメモリ２０に蓄えられる。計算
機３はフレームメモリ２０に蓄えられたディジタル画像
信号に対し、ソフトウェアによって記述された処理内容
を実行する。

【０００４】次に図６の形態について説明する。図６に
おいて、２１は画像処理回路部、２２は接続インタフェ
ース部である。画像信号においては、空間的な広がりを
持った情報であるという点、更に、動画像においては例
えば毎秒３０枚という様に時間的な広がりがあるという
点で、原信号に含まれる情報量は膨大である。このた
め、通常の汎用計算機で処理をする場合、処理の柔軟性
は確保されるものの、処理時間が膨大になるという問題
がある。この点を解決するために、画像処理分野で使わ
れる基本的な演算を高速に実行可能な専用演算回路やＬ
ＳＩを備えた装置が開発されてきている。この様な専用
演算回路或いはＬＳＩを備えたものが、画像処理回路部
２１である。処理の具体的な内容に関してはそれぞれの
装置によって細かい部分での差異はあるが、点演算、３
×３画素近傍の情報を用いた近傍演算（積和演算をベー
スとしたものが多い）、高速フーリエ変換、等の基本的
な演算が主となっている。すなわち、画像の内容が何で
あるかについては意識をせずに、画素の値を直接取扱う
様な処理のみである。なお、接続インタフェース部２２
は、画像処理回路部２１と計算機３を接続するためのも
のであり、計算機３から画像処理回路部２１の動作を制
御したり、処理結果を受け取るために用いられる。

【０００５】

【発明が解決しようとする課題】上記従来技術における
画像処理・解析装置では、図５、図６いずれの構成も、
動画像信号が入力された場合、各フレームを順次処理す
ることが大前提となっている。すなわち、あるフレーム
を処理するのが終わった後に、次のフレームの処理を行
なう。処理の高速化を図るため、複数の画像処理回路や
演算器を使用することも行なわれているが、画像フレー
ムを空間的に分割して各分割領域を別々の画像処理回路
で処理をしたり、また、複数の画素を並列的にアクセス
して一括で処理を行なうというのが一般的である。すな
わち、いずれにせよ、各フレームは順次にのみ処理さ
れ、また、処理のパラメータを変化させる場合も各パラ
メータについて順次に処理されるという制約が課せられ
る。この様に、処理形態が固定的であり、また、結果的
に処理時間の高速化にも限界があるという問題がある。

【０００６】次に、図５では、汎用計算機で処理を行な
うため、処理内容としては単純なものから複雑なものま
で実行可能であるが、演算時間が膨大となり、テレビジ
ョン信号などの動画像信号を実時間で処理することは極
めて困難である。一方、図６では専用処理回路の使用に
より、この回路で実現可能な処理は高速に実行できる。
しかしながら、この種の処理は前述の様に、基本的な演
算処理に限定されており、画像内容の認識や理解までを
含めた処理を行なおうとすると、汎用計算機の助けを借
りざるを得ないのが現状である。この際、ＤＭＡ（ダイ
レクトメモリアクセス）転送、ＧＰＩＢ等の汎用の接続
インタフェースを用いたのでは、転送効率が悪く、また
この様なインタフェースを有しているのは通常汎用計算
機であり、この部分で処理に時間がかかることも問題と
なる。

【０００７】本発明は、以上の様な従来技術の問題点を
解決するためになされたものであり、複数台の画像処理
ユニットを用意し、これらにおける入力画像フレームの
取込み方の制御、並びに処理内容の設定を行なうことに
より、複数の処理形態を選択でき、同時に、並行して動
作させることで処理の高速化を図ることのできる画像解
析装置を提供することを目的とする。また、画素レベル
の低次画像処理と認識・理解等に関わる高次画像処理と
を有機的に結合し効果的に実行可能な画像解析装置を提
供することを目的とする。

【０００８】

【課題を解決するための手段】本発明の第１の特徴は、
テレビカメラやスキャナ等から得られる画像信号を入力
するための入力端子と、該入力端子から入力されるアナ
ログ画像信号をディジタル画像信号に変換すると共に、
必要に応じて走査方式の変換を行なう画像入力部と、該
画像入力部で得られる画像フレームに順次フレーム識別
子を付与するフレーム識別子付与部と、該フレーム識別
子を付与された画像フレームを取込むことが可能な複数
台の画像処理ユニットと、該複数台の画像処理ユニット
に対して動作制御や情報の授受を行なう制御部とを備
え、前記画像処理ユニットの各々においては、前記フレ
ーム識別子付与部を経て入力される画像フレームに対し
て、前記フレーム識別子に基づいて該画像フレームを取
込むか否かを判定するフレーム識別子判別部と、該フレ
ーム識別子判別部で取込むと判別された画像フレームに
対して画像処理を施す画像処理モジュールとを備えたこ
とにある。

【０００９】本発明の第２の特徴は、上記第１の特徴に
加えて、前記複数台の画像処理ユニットの各々におい
て、前記画像処理モジュールに対する動作制御及び情報
の授受が可能な局所制御部を備え、更に、複数台の相互
結合されたプロセッサ群と、該プロセッサ群と前記複数
台の画像処理ユニットの各々における局所制御部とを接
続する双方向通信が可能な双方向通信路と、前記プロセ
ッサ群と前記制御部との間で情報の授受を行なうための
双方向通信路とを備えたことにある。

【００１０】

【実施例１】図１は、本発明における第１の実施例を説
明するためのブロック図である。図１において、１は画
像入力部、２は画像処理部、３は計算機（制御部）、４
はフレーム識別子付与部、５（５−１〜５−ｎ）は画像
処理ユニット、６はフレーム識別子判別部、７は画像処
理モジュール、９９は画像信号の入力端子である。画像
入力部１への入力信号としては、テレビカメラやＶＴＲ
から得られるテレビジョン動画像信号を考えるが、スキ
ャナ等によって得られる静止画像信号であっても差し支
えない。

【００１１】次に各部の動作について説明する。画像入
力部１は、入力端子９９から入力されるアナログ画像信
号に対してＡ／Ｄ変換（標本化及び量子化）を行ない、
ディジタル画像信号を得るための動作をする。通常のテ
レビジョン信号は走査方式に関しては、インタレース形
式になっているが、必要に応じて奇数フィールドと偶数
フィールドの走査線を順次形式（ノンインタレース形
式）に並べ換える処理も行なう。次に、フレーム識別子
付与部４では、ディジタル化された各フレームの画像信
号の先頭に１〜Ｎまでの番号（フレーム識別子）を順次
付与する。例えばＮ＝２５６とした場合には、各フレー
ムに１〜Ｎの番号を付与し、番号Ｎを付与したフレーム
の次のフレームには、新たに番号１を与え、以降２、
３、・・・、Ｎの番号を付与する。すなわち、周期的に
番号の付与を行なう。ここでＮの値については、スイッ
チ等によって装置外部から、或いは計算機３を介して設
定する。画像処理部２は、入力されたディジタル画像信
号に対して実際に処理を行なう部分であり、以下に詳細
に説明する。計算機（制御部）３は、画像処理部２に対
して、処理内容や動作を制御したり、処理結果を受け取
る働きをする。

【００１２】次に、画像処理部２の動作について説明す
る。画像処理部２は、基本的にｎ枚の画像処理ユニット
５−１〜５−ｎから構成される。ユニット５−１〜５−
ｎは各ユニット毎に別々の構成としても差し支えない
が、ここではハードウェアの構成や制御の容易さを考慮
して、同一のユニットを用いるものとして説明する。各
ユニットは更に、フレーム識別子判別部６と画像処理モ
ジュール７から構成される。

【００１３】まず、フレーム識別子判別部６の動作につ
いて、図２を用いて説明する。図２において、６１はフ
レーム識別子分離部、６２はフレーム識別子用メモリ、
６３は一致・不一致判定部、６４はゲートである。フレ
ーム識別子分離部６１では、画像入力部１及びフレーム
識別子付与部４を経て送られてくるフレーム識別子付き
の画像信号に対して、各画像フレームの先頭部分からフ
レーム識別子を取出す働きをする。フレーム識別子用メ
モリ６２は、各画像処理ユニット毎に第何番目のフレー
ムを処理するかを指定するための識別子を格納しておく
ためのメモリである。具体的な値については、各画像処
理ユニットにスイッチを設けて、このスイッチで設定す
るか、或いは計算機３を介して設定する。一致・不一致
判定部６３では、フレーム識別子分離部６１で取出され
た現入力フレームの識別子と、フレーム識別子用メモリ
６２に設定されている内容とを照合し、一致していれば
ゲート６４を開いて現入力フレームの画像データを画像
処理モジュール７へ送る。もし一致していなければ、ゲ
ート６４は閉じたままとし、現入力フレームの取込みは
行なわない。

【００１４】画像処理モジュール７は、入力されたディ
ジタル画像のフレームに対して、実際に画像処理を行な
う部分である。図３は画像処理モジュール７の具体的構
成例を示したブロック図である。図３において、７１は
フレームメモリ、７２は画像処理演算部、７３は局所制
御部、７４はＤ／Ａ変換器である。フレームメモリ７１
はフレーム識別子判別部６を経て入力される画像データ
を、画像処理演算部７２における所定の処理が終了する
まで蓄えておく。また、画像処理演算部７２での処理結
果を格納する。画像処理演算部７２では、フレームメモ
リ７１に蓄えられた画像データに対して、具体的な画像
処理を実行する。局所制御部７３は、画像処理演算部７
２及び計算機３と接続され、計算機３からの指示に従っ
て画像処理演算部７２での処理内容や動作モードを設定
したり、画像処理演算部７２から処理結果を受け取り、
これを計算機３に転送するなどの働きをする。Ｄ／Ａ変
換器７４はフレームメモリ７１の内容をアナログ画像信
号に変換してテレビジョンモニタ等に表示するためのも
のである。Ｄ／Ａ変換器７４は画像解析を行なうために
必須のものということではなく、省略することも可能で
ある。なお、画像処理演算部７２としては、具体的に
は、画素レベルのいわゆる低次処理を高速に実行可能な
画像処理用ＬＳＩ、或いは専用演算回路を用いる。ここ
で、低次処理とは、画像の意味・内容等は意識せずに、
例えば固定的に行なえる、或いは統計的性質に基づいて
行なえる様な処理のことである。点演算、近傍演算等の
基本的な画像処理演算のみを行なう場合には、従来技術
における画像処理回路部２１を流用することが可能であ
る。更に、よりきめの細かい動作制御を行ない、また、
画素レベルのいわゆる低次処理から、認識・理解等の高
次処理までを包括的に扱うことも考えられる。これにつ
いては実施例２で詳しく説明する。

【００１５】図１の構成では各画像処理ユニットはそれ
ぞれ独立に動作するという形になっているが、各画像処
理ユニットにおける画像処理演算部或いは局所制御部を
相互に接続して、情報の授受を行ない、互いの処理結果
を反映させながら動作させることも考えられる。

【００１６】図１の構成に関し、複数台の画像処理ユニ
ットを利用しての種々の処理形態の実現方法、及び並行
動作による処理の高速化について説明する。これは、基
本的には、各画像処理ユニットにおける取込み可能なフ
レーム識別子の設定と、画像処理モジュールでの処理内
容の設定によって決まる。まず、画像処理ユニットが１
枚の場合には従来技術の場合と同様に、順次処理を行な
う。画像処理ユニットがｎ枚ある場合、まず、各ユニッ
トでの取込み可能なフレーム識別子を全て同一にしてお
くと、同一フレームを全てのユニットが同一タイミング
で読込み、処理を施すことになる。各ユニットで異なっ
た処理内容やパラメータの値を設定しておけば同一画像
フレームに対して、一度に複数の処理結果が得られる。
一方、各ユニットでの取込み可能なフレーム識別子を順
次ずらしておけば（例えば１、２、・・・、ｎ。但し、
必らずしも等間隔に設定する必要はなく、任意に設定可
能である。）、ｎ枚の順次異なるフレームが並行して処
理されることになり、結果的に単一のモジュールだけで
処理している場合に比べて、処理速度をｎ倍に向上する
ことができる。なお、この場合、ｎ枚のモジュールは同
一のタイミングで処理を行なうわけではなく、例えば
１、２、・・・、ｎのフレーム識別子が順次入力動画像
フレーム列に周期的に付与されるとした場合、画像処理
モジュール１はフレーム識別子１のついた画像フレーム
が到着した時点から、画像処理モジュール２はフレーム
識別子２のついた画像フレームが到着した時点から、画
像処理モジュールｎはフレーム識別子ｎのついた画像フ
レームが到着した時点から処理を実行する、という動作
を、周期的に繰り返すことになる。すなわち、入力画像
フレームの到着順に応じて、各画像処理モジュールは順
次時間軸上で相対的にずずれて動作することになる。

【００１７】

【実施例２】上述の実施例１では、本発明の第１の特徴
に対応して入力画像データの画像処理部２への取込み
方、並びにこれに対する複数の画像処理ユニット５−１
〜５−ｎでの動作形態に主眼を置いて説明を行なった。
次に、本発明の第２の特徴に対応した、低次処理から高
次処理までの包括的な処理を行なうための構成について
説明する。

【００１８】図４は、本発明の第２の実施例を示したも
のである。図４において、８はプロセッサネットワーク
部、９はスイッチ、１０〜１４は双方向通信路である。
図４の構成では、各画像処理モジュール７における局所
制御部７３は、双方向通信路１０〜１４等によって計算
機３及びスイッチ９に接続される。スイッチ９はプロセ
ッサネットワーク部８に双方向通信路１３によって接続
される。更にプロセッサネットワーク部８は、双方向通
信路１４を介して計算機３に接続される。

【００１９】実施例１における画像処理演算部７２で
は、入力画像データに対して画素レベルの処理を行なう
必要がある。これはいわゆる低次処理と呼ばれるもので
あり、画像中から特徴的な部分を抽出したり、計測を行
なったりするための基礎となる処理である。一方、本実
施例におけるプロセッサネットッワーク部８では、相互
に結合された複数台のプロセッサから構成され、画像処
理ユニット５−１〜５−ｎから送られてくる処理結果に
基づいて、認識・解析等の高次処理を実行する。高次処
理の内容自体は、装置の目的の応じて、各プロセッサ上
のプログラム（ソフトウェア）の形で自由に設定可能で
ある。従って、この部分での処理内容自体は本発明の対
象とはしない。

【００２０】上記における双方向通信路に関しては、専
用バスを用意する。或いは、例えば局所制御部７３やプ
ロセッサネットワーク部８のプロセッサとして、ＳＧＳ
トムソン社製のインモス・トランスピュータを使用すれ
ば、トランスピュータが備えているリンクと呼ばれる通
信機能により実現可能である。また、プロセッサネット
ワーク部８自体の構成については、例えば上記トランス
ピュータのリンクによる結合により各種の形態が実現可
能である。トランスピュータ以外のディジタル信号処理
プロセッサ等を用いることも可能である。但し、プロセ
ッサネットワーク部８と画像処理ユニット５−１〜５−
ｎとの間の双方向通信路は十分な速度の通信能力を有さ
なければならない。

【００２１】

【発明の効果】以上の様に本発明により、入力画像、特
に入力動画像に対して、入力されたフレームを順次処理
するだけでなく、画像処理部での画像取込み方法を制御
することにより、各種の処理形態を実現し、同時に装置
全体としての処理の高速化を図ることが可能である。ま
た、画像処理部として、低次画像処理を実行する画像処
理演算部と高次画像処理を実行するプロセッサネットワ
ーク部とを備え、これらを十分高速な双方向通信路で結
合することにより、画素レベルでのいわゆる低次処理だ
けでなく、認識・理解を含めた高次処理までを包括的か
つ効率的に実行することが可能である。

【００２２】本発明は、上記の効果を有した画像解析装
置として、画像通信分野、産業分野、医用分野等、画像
情報の処理や認識を必要とする各種の分野で広く利用可
能であり、その効果は極めて大である。

【図面の簡単な説明】

【図１】本発明の第１の実施例に対応するブロック図。

【図２】本発明におけるフレーム識別子判別部６の動作
の一例に対するブロック図。

【図３】本発明における画像処理モジュール７の動作の
一例に対するブロック図。

【図４】本発明の第２の実施例に対応するブロック図。

【図５】従来技術による画像解析装置の第１の例を示す
ブロック図。

【図６】従来技術による画像解析装置の第２の例を示す
ブロック図。

【符号の説明】１画像入力部２画像処理部３計算機（制御部）４フレーム識別子付与部５画像処理ユニット６フレーム識別子判別部７画像処理モジュール８プロセッサネットワーク部９スイッチ１０，１１，１２，１３，１４双方向通信路

フロントページの続き (56)参考文献特開平２−230473（ＪＰ，Ａ) 特開昭61−133480（ＪＰ，Ａ) 特開平２−69877（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 1/20 H04N 7/18

Claims

(57)【特許請求の範囲】

【請求項１】テレビカメラまたはスキャナから得られる
画像信号を入力するための入力端子と、該入力端子から入力されるアナログ画像信号をディジタ
ル画像信号に変換すると共に、必要に応じて走査方式の
変換を行なう画像入力部と、該画像入力部で得られる画像フレームに順次フレーム識
別子を付与するフレーム識別子付与部と、該フレーム識別子を付与された画像フレームを取込むこ
とが可能な複数台の画像処理ユニットと、該複数台の画像処理ユニットに対して動作制御や情報の
授受を行なう制御部とを備え、前記画像処理ユニットの各々においては、前記フレーム
識別子付与部を経て入力される画像フレームに対して、
前記フレーム識別子に基づいて該画像フレームを取込む
か否かを判定するフレーム識別子判別部と、該フレーム
識別子判別部で取込むと判別された画像フレームに対し
て画像処理を施す画像処理モジュールとを備えたことを
特徴とする画像解析装置。
【請求項２】前記複数台の画像処理ユニットの各々に
おいて、前記画像処理モジュールに対する動作制御及び
情報の授受が可能な局所制御部を備え、複数台の相互結
合されたプロセッサ群と、該プロセッサ群と前記複数台
の画像処理ユニットの各々における局所制御部とを接続
する双方向通信が可能な双方向通信路と、前記プロセッ
サ群と前記制御部との間で情報の授受を行なうための双
方向通信路とを備えたことを特徴とする請求項１に記載
の画像解析装置。