JP3119011B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ラスタ走査で入力され
る画像信号を逐次処理し、１画面を１回走査するときに
発行するラベルをリアルタイムで付け替え、無駄なラベ
ルを削減しながら射影を積算していくことにより、マイ
クロプロセッサでの処理を減らし、短時間で各物体の特
徴量を計測することができるようにした画像処理装置に
関するものである。

【０００２】

【従来の技術】１枚の画像中に多数の図形が含まれてい
る時、その個々の図形の面積などの形状的な特徴量を逐
次計測していく画像処理手法は、画像認識処理の最も基
礎的かつ重要な技術である。従来の形状特徴量計測手法
であるラベル付け手法や輪郭追跡手法では、入力画像や
それに代わる中間処理画像を１画面分まるごと記憶する
必要があり、１回の走査だけでは、形状的な特徴量を抽
出することはできなかった。また、図形が入り組んでく
ると、図形の数を誤認し、誤ったラベルを付け、図形ご
とにラベルを付け直すために、その１画面分のデータを
もう一度（つまり、合計２回）走査し直さなければなら
なかった。

【０００３】このような課題を解決するものとして、本
願出願人による特願平３−１５８９４５号『１画面１走
査型特徴量計測装置』がある。この既出願によれば、１
画面の１回走査だけで、正確にラベル付けが行えること
により、それに合わせて面積などの特徴量を計測するこ
とができる。

【０００４】しかしながら、この既出願では、実用レベ
ルのデータ転送速度（１画面を５１２×５１２画素に分
割したとき約８０ｎｓ）中に動作する大容量のメモリや
応答速度の早い３入力のアダーなどのＴＴＬコンパチブ
ルのデバイスが現存しないために、回路で実現できなか
った。

【０００５】

【発明が解決しようとする課題】本発明は上記従来技術
の課題を踏まえて成されたものであり、１画面１走査型
特徴量計測装置を、水平方向・垂直方向の射影積算（８
連結）に適用し、発行される無駄なラベルの数を減らす
ことによって、現存するデバイスのレベルで回路を実現
できる画像処理装置を提供することを目的としたもので
ある。

【０００６】

【課題を解決するための手段】上記課題を解決するため
の本発明の構成は、ノンインターレースで送られてくる
２値画像を送られている時点の対象画素とこの画素の
左，上，左上という２×２の４画素に着目し、前記表
１，２のラベル発行規則に基づいて、ラベルを制御する
ためのアルファベット２文字からなるラベル・フラグを
発行する４画素状態判定部と、発行されたラベル・フラ
グによりラベルを発行するラベル発行部と、発行された
ラベル毎に射影（各ラスタ毎の画素数）を積算する射影
積算部と、ディレイを用いて、対象画素の上，左，およ
び左上の画素に付けられたラベルを保持し、異なるラベ
ルが付けられた画素が同一物体であった時にラベル付け
替えを行うラベル管理部と、前記射影積算部とラベル管
理部に積算された射影とラベルの連結情報を読み取り、
特徴量を計算する特徴量積算部とを備え、前記ラベル管
理部には、対象画素ラインの１つ上のラインのラベルを
管理するための３つのメモリを有し、画像データを受信
している間に前記ラベル発行部からのラベル・フラグに
より前記３つのメモリを書き換え、下向きに枝分かれし
ている物体に同一ラベルを付けることにより、射影など
の特徴量計算時間を減少させることができるようにした
ことを特徴とする画像処理装置。

【０００７】

【作用】本発明では、１画面の１走査で、ラベリングが
完結しているわけではないが、ラベル付け替えのための
情報は、物体の形状によっては非常に圧縮されるので、
マイクロプロセッサによるソフトウェア的なラベル付け
替えの時間を短くすることができる。また、射影が求ま
っていれば、ソフトウェアで面積やモーメントの計算も
容易に行える。

【０００８】

【実施例】以下、本発明を図面に基づいて説明する。図
１は本発明の画像処理装置の要点を示す機能ブロック図
であり、図２は図１装置の回路構成図である。図１およ
び図２において、１はフィールドディレイ，１画素ディ
レイを用いて、画像バスを用いて送られてくる対象画素
とこの画素の上，左，および左上の４画素を取得し、そ
の状態からラベルを制御するフラグを前述の表１，２の
ラベル発行規則をＲＡＭなどで構成した状態フラグ発行
１ａにより発行する４画素状態判定部である。

【０００９】ここで、本発明に係わる表１，２のラベル
発行規則を説明する。表１，２において、走査中の対象
画素とその左、上、左上の４画素の状態が、 ・ラベル・フラグがＯＮのとき（４画素の状態が１）
は、対象画素に新ラベルを付ける。

【００１０】・ラベル・フラグがＣＬのとき（４画素の
状態が３，Ｂ，Ｆ）は、対象画素に左ラベルを付ける。

【００１１】・ラベル・フラグがＵＮのとき（４画素の
状態が５，Ｄ）は、上画素がｊ−１ラスタ内で、この領
域の最左部分であれば、対象画素に新ラベルを付ける。
上画素のラベルを、対象画素に付けたその新ラベル（ｊ
ラスタ内の最左ラベル）に付け替える。 ・ラベル・フラグがＣＵのとき（４画素の状態が５，
Ｄ）は、上画素がｊ−１ラスタ内で、この領域の最左部
分でなければ、対象画素に、上画素に付けられたｊラス
タ内の最左ラベルを付ける。

【００１２】・ラベル・フラグがＴＮのとき（４画素の
状態が９で、８連結の場合）は、左上画素がｊ−１ラス
タ内で、この領域の最左部分であれば、対象画素に、新
ラベルを付ける。左上画素のラベルを、対象画素に付け
たその新ラベル（ｊラスタ内の最左ラベル）に付け替え
る。 ・ラベル・フラグがＣＴのとき（４画素の状態が９で、
８連結の場合）は、左上画素がｊ−１ラスタ内で、この
領域の最左部分でなければ、対象画素に、左上画素に付
けられたｊラスタ内の最左ラベルを付ける。 ・ラベル・フラグがｅＮのとき（４画素の状態が９で、
４連結の場合）は、対象画素に、新ラベルを付ける。ｊ
−１・ｊラスタ内連続領域が終わりなので、現在のシフ
ト・アドレスの指しているネスト・ラベルの内容に左上
ラベルを与え、シフト・アドレスをインクリメントす
る。

【００１３】・ラベル・フラグがＸＬのとき（４画素の
状態が７）は、上画素がｊ−１ラスタ内で、この領域の
最左部分であれば、対象画素に左ラベルを付ける。上画
素のラベルを、対象画素に付けた左ラベル（ｊラスタ内
の最左ラベル）に付け替える。 ・ラベル・フラグがＸＵのとき（４画素の状態が７）
は、上画素がｊ−１ラスタ内で、この領域の最左部分で
なければ、上画素にはｊラスタ内で最左ラベルが与えら
れているので、その最左ラベルと左画素のラベルが同じ
であれば、対象画素に左ラベルを付ける。 ・ラベル・フラグがＸＸのとき（４画素の状態が７）
は、上画素がｊ−１ラスタ内で、この領域の最左部分で
なく、上画素に与えられたｊラスタ内の最左ラベルと左
画素のラベルが同じでなければ、対象画素に、上画素に
付けられたｊラスタ内の最左ラベルを付ける。左画素の
ラベル・ポインタには、現在のシフト・アドレスを与え
る。

【００１４】・ラベル・フラグがｘｌのとき（４画素の
状態が６で、８連結の場合）は、対象画素にラベルを付
けない。上画素がｊ−１ラスタ内で、この領域の最左部
分であれば、上画素のラベルを左ラベル（ｊラスタ内の
最左ラベル）に付け替える。 ・ラベル・フラグがｘｏのとき（４画素の状態が６で、
８連結の場合）は、対象画素にラベルを付けない。上画
素がｊ−１ラスタ内で、この領域の最左部分でなく、上
画素に付けられたｊラスタ内の最左ラベルと左ラベルが
同じであれば、何もしない。 ・ラベル・フラグがｘｘのとき（４画素の状態が６で、
８連結の場合）は、対象画素にラベルを付けない。上画
素がｊ−１ラスタ内で、この領域の最左部分でなく、上
画素に付けられたｊラスタ内の最左ラベルと左ラベルが
同じでなければ、左画素のラベル・ポインタに、現在の
シフト・アドレスを与える。

【００１５】・ラベル・フラグがｅｌのとき（４画素の
状態が２，Ａ）は、対象画素にラベルを付けない。ｊ−
１・ｊラスタ内連続領域が終わりとして、現在のシフト
・アドレスの指しているネスト・ラベルの内容に、左ラ
ベルを与え、シフト・ラベルをインクリメントする。

【００１６】・ラベル・フラグがｅｔのとき（４画素の
状態が８）は、対象画素にラベルを付けない。ｊ−１・
ｊラスタ内連続領域が終わりとして、現在のシフト・ア
ドレスの指しているネスト・ラベルの内容に、左上ラベ
ルを与え、シフト・アドレスをインクリメントする。

【００１７】・ラベル・フラグがｚｏのとき（４画素の
状態が０，４，Ｃ，Ｅ）は、対象画素にラベルを付けな
い。というようなアルファベット２文字からなるラベル
・フラグを発行する。

【００１８】図１、図２に戻り、２は４画素状態判定部
１（状態フラグ発行１ａ）により発行されたラベル・フ
ラグにより、ラベルを発行するラベル発行部である。こ
のラベル発行部２では、 ・フラグ『ラベル無し』のときは、バッファ２ａが開
き、ラベル０を発行する。 ・フラグ『新ラベル』のときは、ラベルカウンタ２ｂを
カウントアップし、その値を新ラベルとして、バッファ
２ｃが開き、ラベルを発行する。（ラベルはライン毎に
垂直同期信号により、０にリセットされる。） ・フラグ『左上ラベル』のときは、バッファ２ｆが開
き、ラインディレイ２ｄと画素ディレイ２ｅで保持して
いる左上画素に付けられたラベルを発行する。 ・フラグ『上ラベル』，『左ラベル』も同様に、それぞ
れバッファ２ｇ，２ｈが開き、保持している上ラベル，
左ラベルを発行する。発行されたラベルは、ラインディ
レイ２ｄ，画素ディレイ２ｉによって、それぞれ１ライ
ンおよび１画素データ転送時間だけ遅延される。

【００１９】４は保持された上ラベルを管理するラベル
管理部であり、以下の３つのメモリで構成される。 ・ラベルポインタ用メモリ４ａ：無駄なラベルが発生し
ていることがわかった時に、仮ラベルを指示するメモリ
ブロックである。 ・右部連結付け替えメモリ４ｂ：ラベルポインタ用メモ
リ４ａにより指示された仮ラベルに真のラベルを与える
ためのメモリブロックである。 ・最左部管理付け替えメモリ４ｃ：上下にとなり合った
ラスタ間でのラベルの連結状態を記憶するためのメモリ
ブロックである。

【００２０】３は射影を積算する部分であり、３ａは上
画素がラスタ内で幾つ連続しているか数えるためのカウ
ンタである。３ｂは走査しているラインの上ラインが何
番目のラインであるかをカウントするためのカウンタで
ある。３ｃは射影を積算しているメモリで、３ｄは前の
射影に現在カウントした射影（連続画素）を足し込むた
めのアダーである。

【００２１】５はマイクロプロセッサなどにより、射影
積算値と連結情報をバスを通して読み込み、面積，モー
メントなどを計算する特徴量計算部である。

【００２２】ここで、図３はラベル発行部２，射影積算
部３の部分を５１２×５１２画素からなる画像の射影積
算に適用した例である。なお、表１，２のアルファベッ
ト２文字の記号は、図３中のイネーブル信号に対応して
いる。

【００２３】図３において、４ａ１，４ａ２がラベルポ
インタ用メモリブロック、４ｂ１，４ｂ２が右部連結メ
モリブロック、４ｃ１が最左部管理付け替えメモリであ
り（以下、単にメモリ４ａ１，４ａ２，４ｂ１，４ｂ
２，４ｃ１という）、ライン毎にメモリ４ａ１，４ｂ１
とメモリ４ａ２，４ｂ２を切り換えて用いる。つまり、
偶数ラインは、メモリ４ａ１，４ｂ１を上ライン参照、
メモリ４ａ２，４ｂ２を右部連結付け替え用に、奇数ラ
インの場合は逆にする。この時、ラインをカウントする
ために９ビット（０〜５１１）、ライン内で発生する最
大ラベル数をカウントするために８ビット（１〜２５
６）のデータ幅となる。また、表１，２の最左部分の判
定に、メモリ４ｃ１のデータに１ビットのRENEW-FLAGを
設け、ラベルポインタがシフトラベル（ｊ−１・ｊラス
タ内連続領域に付けられる仮ラベルの指すアドレス）を
指すために、１ビットのADDRESS-SHIFT-BITを設け、メ
モリ４ａ１，４ａ２を設け、メモリ４ａ１，４ａ２のデ
ータ幅が９ビット、メモリ４ｂ１，４ｂ２のアドレス幅
を１８ビットとしている。

【００２４】このような構成において、図４を用いて、
射影積算の様子を説明する。なお、図４において、４ａ
１，４ａ２，４ｂ１，４ｂ２，４ｃ１のメモリは、表３
のように、４ａ３，４ｂ３，４ｃ２のメモリと同じく、
ラベリング前にデータとして、アドレスと同じ値を持つ
ように初期化する。

【００２５】

【表３】メモリの状態

【００２６】図３および図４に戻り、 （１）画像データは、画素を左上から一つずつ送られて
くるので、８ライン走査時には、図形Ｂは３つの図形で
あると認識され、それぞれ２，３，４というラベルが付
けられて、射影メモリのアドレス８−２，８−３，８−
４にそれぞれ４，３，４（単位画素）という値が積算さ
れている。

【００２７】（２）９ラインを走査して、ａの画素を得
た時点で、表１のＤの状態なので、フラグＵＮが出力さ
れ、カウンタ２８の出力がバッファ３４を通して、新ラ
ベル”１”として発行される。これと同時に、ラインバ
ッファ１３が出力した上画素のラベル８−”２”（８行
目のラベル２、なお、メモリには”２”のみ入力）が、
メモリ４ａ１，４ｂ１，４ｃ１を通って出力されるが、
この時点では、初期化された通り”２”が出力される。
ここで、メモリ４ｃ１から出力されるRENEW-FLAGは、初
期化されたとおり”０”なので、バッファ１７，２３が
開き、メモリ４ｃ１のライトイネーブル信号がネゲート
され（８ラインの”２”が９ラインの画素とぶつかった
最も左の領域）、８−”２”が９−”１”に付け替えら
れる。この時、合わせて、RENEW-FLAGは”１”に書き換
えられるので、８ラスタで、太い四角で囲まれた画素の
部分以外で、８−”２”に関して、メモリ４ｃ１の書き
換えは起こらない。

【００２８】（３）同様に、９ラインを走査して、ｂ，
ｃの画素を得た時点で、メモリ４ｃ１の書き換えが発生
し、それぞれ８−”３”が９−”２”、８−”４”が９
−”３”に付け換わる。

【００２９】（４）また、ｄの画素を得た時点で、新し
い領域として９−”４”が発行される。この時点での、
メモリ４ａ１，４ｂ１，４ｃ１のメモリ内容を表４に示
す。なお、データラインが、次のメモリのアドレスライ
ンに繋がっているので、ラベルをポイント（矢印で示）
していると考えると判り易い。

【００３０】

【表４】メモリの状態

【００３１】（５）ｅの画素を得た時点で、上画素のラ
ベルは、５で付け替えられた９−”３”になっていて、
最左部分でなく（RENEW-FLAG＝１となっていて）、ラッ
チ２２，２７で保持された（付け替えられた）上ラベル
と左ラベルを比較して、一致していないので（９−”
３”≠９−”４”）、バッファ３０が開き、付け替えら
れた上ラベル９−”３”が対象画素のラベルとして発行
される。この時、メモリ４ａ２のライトイネーブル信号
がネゲートされ、左ラベル９−”４”をカウンタ１４で
カウントされた値で、最上位９ビット目が１のアドレス
をシフトして指示するように、メモリ４ａ２を書き換え
る。この時点でのメモリ４ａ２，４ｂ２のメモリ内容を
表５に示す。

【００３２】

【表５】メモリの状態

【００３３】（６）同様に、ｆ，ｇの画素を得た時点
で、対象画素のラベルとして、それぞれ９−”２”，９
−”１”が発行され、カウンタ１４はカウントアップさ
れていないので、メモリ４ａ２で９−”３”、９−”
２”も２５７を指示するように書き換えられる。この時
のメモリ４ａ２，４ｂ２の状態を表６に示す。

【００３４】

【表６】メモリの状態

【００３５】（７）ｈの時点で、バッファ１８が開き、
メモリ４ｂ２のライトイネーブル信号がネゲートされ、
９−”２５７”に左ラベル９−”１”が付けられる。こ
の時のメモリ４ａ２，４ｂ２，４ｃ１のメモリ内容を表
７に示す。

【００３６】

【表７】メモリの状態

【００３７】（８）８ラインの走査が終了した時点で、
メモリ４ａ１，４ｂ１をメモリ４ａ２，４ｂ２と切り換
えることにより、表７の矢印のように、ｄの画素が上画
素になっていても、上ラベルは９−”１”に付け替えら
れて参照することになる。つまり、９ラインのラベル
２，３，４は、１０ラインでは、全て”１”に付け替え
られている。実際の射影は、上ラインのラベルごとにカ
ウントされるので、９ラインには、ラベル”１”の面積
として、１９個の画素が加算される。これは、ｊ−１・
ｊラスタ内連続領域に２５７という仮ラベルを付けたこ
とを意味しており、その２５７という領域が、この場合
９−”１”であったことになる。

【００３８】この後、特徴抽出後、つまり射影積算メモ
リ３ｃの内容は表８のようになる。

【００３９】

【表８】射影積算メモリの状態

【００４０】ここで、ライン間の図形連結情報は、メモ
リ４ａ１，４ａ２，４ｂ１，４ｂ２，４ｃ１に残されて
いるので、図５に示すように、バスからアクセスするこ
とにより、１回のアクセスで正しい接続情報が読み取れ
る。この図５に示す接続情報と、表８に示した射影積算
メモリの内容から、射影を計算し直した結果を表９に示
す。この射影から、面積，モーメントなどを容易に計算
できる。

【００４１】

【表９】面積と射影を計算した結果

【００４２】なお、表９において、３つに分かれていた
部分が、９ライン目で、始めて１つの物体であることが
分かるので、表８に示す射影積算メモリの”）”の部分
は、射影を計算し直さなければならない。例えば、物体
１の８ライン内での射影（表９中の網掛け部）は、ペア
の９ラインを参照することにより、 ＯＰ［１８］＝ＰＲ［８２］＋ＰＲ［８３］＋ＰＲ［８４］ ＝４＋３＋４ ＝１１ のように求める。

【００４３】このように、本発明によれば、１画面１走
査型特徴量計測装置のラベリング手法を取り入れたこと
により、リアルタイムで発行するラベルを付け替え、無
駄なラベルを削減しながら、射影を積算することができ
る。従って、マイクロプロセッサによる射影の再計算の
処理を大幅に少なくでき、各物体の特徴量計算時間を短
縮することができる。

【００４４】ここで、図６にラベル管理を行わない場合
のラベリング状態を示す。図６に示すように、図形が複
雑になると、同じ物体であっても、違うラベルが付けら
れる回数が圧倒的に増加し、射影も別のアドレスに積算
されるので、図形の連結状態から射影を再計算する手間
がはるかに増加することがわかる。

【００４５】本発明と『１画面１走査型特徴計測装置』
の大きな違いは、上ラインまでの射影積算値を図形の右
部連結が起こったときに、リアルタイムで（１画素デー
タ転送中に）積算していないことである。そのために、
Ｕ字型の上の射影を再計算し直さなければならず、１画
面１走査型ではない。

【００４６】しかし、前述したように、５１２×５１２
画素の画像で発行できるラベルに制限なく（４連結で市
松模様までラベリングするためには、２¹⁷個のラベルを
容易する必要がある）、射影を積算するためには、５１
２ライン×２¹⁷＝２²⁶というアドレス空間（データ幅は
画面の端から端まで物体がある時で２⁹ ）のメモリが必
要であるし、Ｕ字型が縦長くなればなるほど射影を再計
算する量が増えるので、それをリアルタイムで行うこと
は難しい。面積だと、走査中の対象画素をアドレスとす
るメモリに、それまでの積算値を寄せ集めれば良い。本
発明は最大ラベルを１ライン中で発生する最大ラベル数
２⁸ 個に押さえ、ラベルを管理することにより、できる
かぎり画像情報を圧縮して（ラベルの数を削減して）射
影を再計算するようにし、回路的に実現したものであ
る。

【００４７】

【発明の効果】以上、実施例と共に具体的に説明したよ
うに、本発明によれば、ラスタ走査で入力される画像信
号を逐次処理し、１画面を１回走査するときに発行する
ラベルをリアルタイムで付け替え、無駄なラベルを削減
しながら射影を積算していくことにより、マイクロプロ
セッサでの処理を減らし、短時間で各物体の特徴量を計
測することができるようにした画像処理装置を実現でき
る。

【図面の簡単な説明】

【図１】本発明の画像処理装置の一実施例を示す機能ブ
ロック図である。

【図２】図１装置の回路構成図である。

【図３】図１装置のラベル発行部２，射影積算部３の部
分を５１２×５１２画素からなる画像の射影積算に適用
した例である。

【図４】本発明のラベリングを用いた射影積算の様子を
示す図である。

【図５】各メモリ間の接続状態を示す図である。

【図６】ラベル管理を行わない場合のラベリング状態を
示す図である。

【符号の説明】 １ ４画素状態判定部 ２ ラベル発行部 ３ 射影積算部 ４ ラベル管理部 ５ 特徴量計算部

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】ノンインターレースで送られてくる２値画
   像を送られている時点の対象画素とこの画素の左，上，
   左上という２×２の４画素に着目し、下記表１，２のラ
   ベル発行規則に基づいて、ラベルを制御するためのアル
   ファベット２文字からなるラベル・フラグを発行する４
   画素状態判定部と、 発行されたラベル・フラグによりラベルを発行するラベ
   ル発行部と、 発行されたラベル毎に射影（各ラスタ毎の画素数）を積
   算する射影積算部と、 ディレイを用いて、対象画素の上，左，および左上の画
   素に付けられたラベルを保持し、異なるラベルが付けら
   れた画素が同一物体であった時にラベル付け替えを行う
   ラベル管理部と、 前記射影積算部とラベル管理部に積算された射影とラベ
   ルの連結情報を読み取り、特徴量を計算する特徴量積算
   部とを備え、 前記ラベル管理部には、対象画素ラインの１つ上のライ
   ンのラベルを管理するための３つのメモリを有し、 画像データを受信している間に前記ラベル発行部からの
   ラベル・フラグにより前記３つのメモリを書き換え、下
   向きに枝分かれしている物体に同一ラベルを付けること
   により、射影などの特徴量計算時間を減少させることが
   できるようにしたことを特徴とする画像処理装置。 【表１】 【表２】