JPH05225336A - 境界抽出方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】無人搬送車や、各種製品の形状検査装置等の視
覚センサ部に応用され、計測環境に関わらず、対象物標
の画像情報から画像の境界を、高精度に抽出すること。 【構成】ＴＶカメラ１、Ａ／Ｄ変換器２、平滑化回路
３、微分処理回路４、境界抽出回路９、ラベリング回路
１０、矩形処理回路１１、ＣＰＵ１３、ＲＡＭ１２を有
して構成される。 【効果】微分画像を複数のしきい値で２値化し、該２値
化された画像に対して、境界画素判定オペレータ作用さ
せた後、境界画像を、統合することにより、環境に影響
されない、高精度の境界抽出処理を行える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、無人搬送車や各種製品
の形状検査装置の視覚センサ部等に応用され、対象物標
の画像情報から、画像中の境界線を抽出し、存在する物
標の形状等を認識する、画像処理技術に関する。

【０００２】

【従来の技術】従来、画像情報から境界線の抽出を行う
場合、画像情報を、あるしきい値で２値化して、その輪
郭部を抽出することが行われている。

【０００３】また、一般の各種シーンへの適用法とし
て、画素間の濃度差、すなわち微分を用いて、画像情報
から境界線を抽出することも行われているが、その場合
には、単一の固定しきい値を用いている。

【０００４】これらの方法を使用する場合、計測対象物
と、背景の濃度の差が、十分に大きなこと、例えば、文
書画像のように、背景が白色で、計測対象画像である文
字・図形部が黒色であること等の、良好な計測環境が必
要になる。

【０００５】

【発明が解決しようとする課題】上記のような、従来技
術では、計測対象物と、背景の濃度の性質が、極端に異
なる計測環境を、全てのシーンに対して、満足させる必
要があるため、従来の画像処理技術は実用的なものでは
なかった。

【０００６】また、画素間の濃度差、すなわち微分を用
いる方法によれば、該微分値を、固定された、あるしき
い値を用いて、２値化して扱うため、効果的に微分処理
が行える適用対象が限られ、高精度な画像処理を行うに
は、予め対象物標に関する多量の知識を、必要とするこ
とにもなる。

【０００７】上記の様に、従来の手法では、実世界の様
々なシーンを対象とした、画像の境界抽出処理は、困難
であった。

【０００８】そこで、本発明は、上記問題を解決すべ
く、計測環境に影響されることなく、高精度に、画像情
報から境界を抽出する、新たな手法を提供することを目
的としている。

【０００９】

【課題を解決するための手段】測定対象物の画像情報を
入力する画像情報を微分処理する手段と、該手段による
微分値を２値化する、複数のしきい値を設定する手段
と、各々のしきい値により２値画像を作成する手段と、
作成された各々の２値画像において、注目する画素点
が、境界線を構成するか否かを判定させる境界画素判定
オペレータを作用させ、前記注目する画素点が境界線を
構成すると判定されれば、該注目する画素点は、境界画
素と判断し、境界画像を作成する手段と、作成された各
々の境界画像を統合する手段とからなる構成が考えられ
る。

【００１０】

【作用】まず、テレビカメラ等の画像入力手段で、測定
対象物の、原画像の画像情報（例えば、測定対象物の輝
度情報）を入力する。

【００１１】次に、入力された画像情報を、アナログー
デジタル変換し、得られたデジタル画像に微分処理を施
し、該微分画像を、複数のしきい値（例えば４個）で２
値化し、複数個の２値画像を得る。

【００１２】次に、２値化された各々の画像において、
以下の処理を行う。

【００１３】ある２値化された画像において、注目する
画素点が、境界線を構成するか否かを判定する境界画素
判定オペレータを、２値画像に作用させ調べる。

【００１４】そして、構成すると判定した場合には、前
記注目する画素点は、境界画素点と判断し、境界画像を
作成する。

【００１５】最後に、２値化された複数の画像の各々に
対して求められた境界画像を、統合することにより、測
定対象物の原画像から境界線を抽出する。

【００１６】

【実施例】以下、本発明の実施例を、図面を参照して説
明する。

【００１７】図１に、本発明の一実施例の構成図を示
す。

【００１８】本実施例は、ＴＶカメラ１、Ａ／Ｄ変換器
２、平滑化回路３、微分処理回路４、境界抽出回路９、
ラベリング回路１０、矩形処理回路１１、ＣＰＵ１３、
ＲＡＭ１２を有して構成される。

【００１９】また、境界抽出回路９は、微分画像から、
複数個のしきい値５を設けることにより、２値画像を作
成する２値画像作成部６と、該２値画像から境界画像を
作成する境界画像作成部７と、作成された複数の境界画
像を統合する統合回路８を有して構成される。

【００２０】ＴＶカメラ１は、測定対象物の画像情報で
ある輝度情報を、収集する手段である。

【００２１】本実施例では、ＴＶカメラのＮＴＳＣ信号
を画像情報として利用しているが、超音波、電波等の反
射強度情報を画像情報として用いても良い。

【００２２】Ａ／Ｄ変換器２は、アナログ信号をデジタ
ル信号へ変換する回路である。

【００２３】平滑化回路３は、画像からの特徴抽出の容
易化を図るため、画像に含まれる各種の雑音を、除去す
る手段であり、各種ＴＴＬロジック等の電子デバイスで
構成される。

【００２４】微分処理回路４は、画像からの境界抽出の
容易化を図るため、輝度情報の差分を計算する手段であ
り、各種ＴＴＬロジック等の電子デバイスで構成され
る。

【００２５】境界抽出回路９は、微分処理回路４で得ら
れた微分画像を、複数のしきい値５を用いて、２値画像
作成部６により複数の２値画像を得、境界画像作成部７
により、各２値画像から境界画像を作成し、各境界画像
を統合し、最終的に１つの境界画像を得る手段であり、
各種ＴＴＬロジック、クロック回路、ディレイ回路等の
電子デバイスで構成される。

【００２６】ここで、境界画像の統合は、統合回路８に
て行われ、統合回路８は、論理ＯＲゲート等の電子デバ
イスで構成される。

【００２７】ラベリング回路１０は、得られた画像中に
複数の図形が存在するときに、連結成分（この場合、例
えば、境界を構成する画素以外の画素のかたまり）ごと
に、異なるラベルを付加する手段である。具体的には、
数字を付加する等の方法により、ある連結成分と他の連
結成分の区別を行うことが考えられる。

【００２８】本手段は、例えば、ＣＰＵ（中央処理装
置）、仮ラベリング処理用ＲＡＭ、テーブル操作処理用
ＲＡＭ、本ラベリング処理用ＲＡＭを有して構成され
る。

【００２９】矩形処理回路１１は、同じラベルが付加さ
れた画素点が呈する形状を、矩形状に近似する手段であ
り、各種ＴＴＬロジック等の電子デバイスで構成され
る。

【００３０】ＲＡＭ１２は、矩形処理された画像情報等
を格納しておく手段であり、半導体メモリ等で構成され
る。

【００３１】ＣＰＵ１３は、本装置を他のシステムへ応
用する際の、信号処理制御を行う手段であり、半導体マ
イクロプロセッサー等で構成される。

【００３２】以下、図２のフローチャートを参照して、
図１に示す本発明の一実施例の動作を説明する。

【００３３】まず、ステップ１００にて測定対象物の輝
度情報の読み込みを行う。

【００３４】本実施例では、例えばＴＶカメラから出力
されるＮＴＳＣ信号を利用する。

【００３５】次に、ステップ１１０で、Ａ／Ｄ変換器２
にて、アナログで出力されるＮＴＳＣ信号を、デジタル
信号に変換する。

【００３６】ステップ１２０では、得られたデジタル信
号をもとに、画像の平滑化処理を行う。

【００３７】ここで、平滑化処理とは、画像からの特徴
抽出の容易化を図るため、画像に含まれる各種の雑音
を、除去する処理であり、本発明においては必ずしも必
要ではないが、今回は、これを含めて説明する。

【００３８】図３を参照して、平滑化処理の一例を説明
する。

【００３９】いま、３×３のマトリクスを考え、注目す
る画素点の値をＰとし、Ｐの周囲の画素点の値を、図３
のように、Ａ０、Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ
６、Ａ７とする。

【００４０】ここで、次式１で与えられるＰを、注目す
る画素点での平滑化処理値とする。

【００４１】 Ｐ＝（Ａ０＋Ａ１＋Ａ２＋Ａ３＋Ａ４＋Ａ５＋Ａ６＋Ａ７）／８ （式１） 平滑化回路３は、この平滑化処理を、全ての画素点を注
目点として行う。

【００４２】次にステップ１３０では、平滑化処理され
た画素をもとに、画像の微分処理を行う。

【００４３】ここで、微分処理は、境界抽出の容易化を
図るため、画像に施す演算処理である。

【００４４】図４を参照して、微分処理の一例を説明す
る。

【００４５】いま、５×５のマトリクスを考え、注目す
る画素点の値をＰとし、Ｐの周囲の一部の画素点の値
を、図４のように、Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ
５、Ｐ６、Ｐ７とする。

【００４６】ここで、次式２で与えられるＰを、注目す
る画素点での微分値とする。

【００４７】 Ｐ＝｜（Ｐ７＋２×Ｐ０＋Ｐ１）−（Ｐ５＋２×Ｐ４＋Ｐ３）｜ ＋｜（Ｐ７＋２×Ｐ６＋Ｐ５）−（Ｐ１＋２×Ｐ２＋Ｐ３）｜ （式２） 微分処理回路４は、この微分処理を、全ての画素点に対
して行う。

【００４８】次に、ステップ１４０にて境界抽出がおこ
なわれるが、これを図１に示す境界抽出回路９、およ
び、図５に示す境界画素判定オペレータを用いて説明す
る。

【００４９】微分処理回路４にて得られた微分画像は、
複数個設けられたしきい値５（本実施例では、しきい値
Ａ、Ｂ、Ｃ、Ｄの４種類のしきい値が、設定されてい
る）に対応して、２値画像が得られる。

【００５０】本実施例では、４種類のしきい値が設けら
れており、各々のしきい値に対応して、２値画像作成部
６にて、注目する画素の値が、しきい値以上の場合を
「１」、その他を「０」とする処理を行い、２値画像
Ａ、２値画像Ｂ、２値画像Ｃ、２値画像Ｄが得られる。

【００５１】また、境界画像作成部７では、各々の２値
画像に、境界画素判定オペレータを作用させ、境界画像
（本実施例では、境界画像Ａ、境界画像Ｂ、境界画像
Ｃ、境界画像Ｄの４種類の境界画像）を得るが、これに
ついて説明する。

【００５２】図５は、境界画素判定オペレータの１例を
示したものである。

【００５３】本オペレータは５×５のマトリクスからな
っており、境界線の幅が２画素以下の場合の境界線を検
出するためのオペレータである。

【００５４】すなわち、境界画素判定オペレータとは、
２値画像において「１」を示す画素の集りの大きさが、
境界線幅以下であるか否かを判定し、境界画素を検出す
るオペレータである。

【００５５】中心点の値をＰとし、Ｐ０、Ｐ１、Ｐ２、
Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８、Ｐ９、ＰＡ、Ｐ
Ｂ、ＰＣ、ＰＤ、ＰＥ、ＰＦを、図５に示す様に、設定
する。 ２値画像に、本オペレータを使用し、中心点Ｐ
が縦方向の境界画素である条件を、式３に示す。

【００５６】 Ｐ＝１で、 （Ｐ１＝０ かつ Ｐ２＝０） または （Ｐ１＝０ かつ Ｐ３＝０） または （Ｐ０＝０ かつ Ｐ２＝０）ならばＰは、境
界画素点である。 （式３） 逆に、式３を満たさなければ、中心点Ｐは、縦方向の境
界画素ではないことになる。

【００５７】同様に、中心点Ｐが、横方向、右上がり斜
め方向、右下がり斜め方向の、境界画素であるための条
件を、それぞれ以下の、式４、５、６に示す。

【００５８】横方向では、 Ｐ＝１で、 （Ｐ５＝０ かつ Ｐ６＝０） または （Ｐ５＝０ かつ Ｐ７＝０） または （Ｐ４＝０ かつ Ｐ６＝０）ならばＰは、境
界画素点である。 （式４） 右上がり斜め方向では、 Ｐ＝１で、 （Ｐ９＝０ かつ ＰＡ＝０） または （Ｐ９＝０ かつ ＰＢ＝０） または （Ｐ８＝０ かつ ＰＡ＝０）ならばＰは、境
界画素点である。 （式５） 右下がり斜め方向では、 Ｐ＝１で、 （ＰＤ＝０ かつ ＰＥ＝０） または （ＰＤ＝０ かつ ＰＦ＝０） または （ＰＣ＝０ かつ ＰＥ＝０）ならばＰは、境
界画素点である。 （式６） 以上のような、境界画素判定オペレータを全ての画素点
に作用させ、２値画像から境界画素の集りである、境界
画像を作成する。

【００５９】なお、本実施例では、境界画素判定オペレ
ータとして、線幅２画素分のオペレータ、すなわち５×
５のマトリクスを使用したが、これに拘束されるもので
はない。

【００６０】しかしながら、マトリクスの大きさ（境界
線の幅に対応する）を、小さくしすぎると、境界線が途
ぎれがちになり、大きくしすぎると境界線が太くなり領
域を歪めてしまうため、一般には、線幅５画素分のオペ
レータ、すなわち１１×１１程度の大きさのマトリクス
を用いるのが、好ましい。

【００６１】実際には、線幅を大きくすると、判定論理
が複雑になる場合もあるため、これに対処する境界画素
判定オペレータの１例を図６に示す。

【００６２】本オペレータは９×９のマトリクスからな
っており、境界線の幅が７画素までの境界線を検出する
ためのオペレータである。

【００６３】中心点をＰとし、Ｑ０、Ｑ１、Ｑ２、Ｑ
３、Ｑ４、Ｑ５、Ｑ６、Ｑ７、Ｑ８、Ｑ９、ＱＡ、Ｑ
Ｂ、ＱＣ、ＱＤ、ＱＥ、ＱＦ、Ｒ０、Ｒ１、Ｒ２、Ｒ
３、Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、Ｒ９、ＲＡ、Ｒ
Ｂ、ＲＣ、ＲＤ、ＲＥ、ＲＦを、図６に示す様に、設定
する。

【００６４】Ｐが、境界画素点の場合は、次式７を満た
す。

【００６５】逆に式７を満たさなければ、Ｐは、境界画
素点ではないと判断される。

【００６６】 Ｐ＝１で、 ｉ＝０からＦ のいずれかで Ｑｉ＝０ かつ Ｒｉ＝０ならばＰは、境界画素点であ
る。 （式７） 本オペレータを使用することにより、比較的線幅の太い
境界線の検出も容易となる。

【００６７】以上の様に、微分処理された画像に対し
て、複数のしきい値による２値画像を作成し、その各々
の２値画像に対して、図５、６に示すような境界画素判
定オペレータを作用させることにより、計測環境に影響
されず、高精度に境界を抽出する方法を、提供すること
ができることになる。

【００６８】上記のような過程を経て得られた境界画像
Ａ、Ｂ、Ｃ、Ｄは、統合回路８にて論理和の演算により
統合される。

【００６９】なお、該統合された画像に対して、いわゆ
る膨張、収縮処理を施しても良い。

【００７０】膨張、収縮処理は、基本的な画像処理手法
で、この２つの処理を組み合わせることにより、穴埋
め、スムージング等の処理を行うことができる。

【００７１】処理の概要を図７に示す。

【００７２】膨張処理は、図７に示すＡ０、Ａ１、Ａ
２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７のうち、少なくとも
一つが１ならば、注目する画素点Ｐを境界画素、すなわ
ち、Ｐ＝１とする処理である。

【００７３】収縮処理は、図７に示すＡ０、Ａ１、Ａ
２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７のうち、少なくとも
一つが０ならば、注目する画素点Ｐを非境界画素、すな
わち、Ｐ＝０とする処理である。

【００７４】なお、上記、膨張、収縮処理は、本境界抽
出方法においては、ともすると途切れがちに抽出される
境界を連結させることを目的とし、境界抽出の完璧を期
すため行われる処理である。

【００７５】次にステップ１５０では、ラベリング回路
１０にてラベリング処理を行う。

【００７６】ここで「ラベリング処理」とは、得られた
画像中に複数の図形（領域）が存在するときに、各領域
の連結成分ごとに、異なるラベル値を付加する処理であ
る。したがって非境界画素（領域）に着目してラベリン
グを行う。

【００７７】処理結果例を、図８に示す。

【００７８】図８に示す例は、境界線が２ヵ所で閉曲線
となっている場合であり、その各々の領域には、異なる
ラベル「１」、「２」、「３」が、付加されている。

【００７９】なお、ラベリング処理は、通常、仮ラベリ
ング処理、テーブル操作処理、本ラベリング処理の３段
階の処理で行われる。

【００８０】以下、ラベリング処理について説明する。

【００８１】まず、入力画像をラスタ走査し、ラベルが
割り当てられていない境界線を構成する画素以外の画素
に対して順次、未使用のラベルをつけていく処理を、最
終走査画素まで行う（仮ラベリング処理と称する）。

【００８２】この際、違うラベルを付けた画素が連結し
ていることが、判明すればラベル連結情報を作成してお
く。

【００８３】違うラベルを付けた画素が、連結している
か否かは、例えば注目する画素の４近傍に、他のラベル
が付けられた画素が、存在するか否かによって判断され
る。

【００８４】次に、ラベル連結情報をもとにラベル値修
正テーブルを作成する（テーブル操作処理と称する）。

【００８５】最後に、ラベル値修正テーブルを用いて、
仮ラベリング画像から、本ラベリング画像を作成する
（本ラベリング処理と称する）。

【００８６】なお、ラベリング処理方法の詳細について
は、例えば「コンピュータ画像処理入門」（総研出版
（株）：田村秀行監修）に、さらに詳しく記載されてい
る。

【００８７】次にステップ１６０では、矩形処理回路１
１にて矩形情報処理を行う。

【００８８】ここに「矩形情報処理」とは、同じラベル
が付加された画素点が呈する形状を、矩形状に近似する
ものであり、どの程度の大きさの物が、どの位置に存在
するかについての、概略情報を得るための処理である。

【００８９】該情報は、アプリケーションシステムに伝
送され、アプリケーションシステムにとって有益な情報
となる。

【００９０】図９に、ある領域が、矩形情報処理される
一例を示す。

【００９１】領域Ａを構成する画素には、同一のラベル
が付加されており、該領域Ａは、矩形Ｂの様に近似され
おり、該矩形Ｂが矩形情報となる。

【００９２】矩形処理方法の一例としては、座標系を図
９のように設定し、領域Ａを構成する画素がとりうる
Ｘ、Ｙ座標のうち、ＸおよびＹ座標の最小値、最大値を
それぞれ、ＸＭＩＮ、ＸＭＡＸ、ＹＭＩＮ、ＹＭＡＸと
すると、 ＸＭＩＮ≦Ｘ≦ＸＭＡＸ、かつ、ＹＭＩＮ≦Ｙ≦ＹＭＡＸ （式８） なる、式８を満たす領域を、領域Ａの矩形情報とするこ
とが考えられる。

【００９３】図２に示すフローチャートによれば、以上
で一連の境界抽出処理が終了したことになる。

【００９４】矩形情報処理後、該情報はＲＡＭ１２に格
納される。

【００９５】また、本装置を他のシステムのセンサー部
として、利用する場合、ＣＰＵ１３は、他のシステムと
インターフェイスを介して接続される。

【００９６】例えば、本装置を、無人搬送車の障害物回
避のセンサとして使用する場合が、考えられ、これにつ
いて述べる。

【００９７】前方の画像から、境界抽出およびラベリン
グ処理を行い、そのラベルに従って、矩形情報処理し、
その矩形情報が、ＲＡＭ１２に蓄えられており、該矩形
の面積が所定以上の場合、前方に障害物が存在すると、
判断し、該障害物の回避を行う等の応用例である。

【００９８】この場合、インターフェイスを介してＣＰ
Ｕ１３と、無人搬送車側のＣＰＵが接続されており、該
ＣＰＵには、アクチュエータ制御回路が接続されている
構成例が、考えられる。

【００９９】無人搬送車側のＣＰＵは、ＣＰＵ１３を介
してＲＡＭ１２の矩形情報をロードし、矩形の面積が所
定以上であるか否かの判断を行う。

【０１００】矩形の面積が所定以上であると判断した場
合、無人搬送車側のＣＰＵは、アクチュエータ制御回路
に、所定の信号を送信し、アクチュエータの駆動によ
り、進行方向を所定角度だけ変更させる等の、所定の障
害物の回避動作を行うことになる。

【０１０１】無人搬送車の障害物回避センサへの応用
は、本発明の実施例の一応用例にすぎず、この他、各種
製品の形状検査装置の視覚センサ部への応用等、さまざ
まな応用例が、考えられる。

【０１０２】以上の様に、本発明は、平滑化処理された
原画像を、さらに微分処理し、該微分処理画像に対し
て、複数のしきい値による２値画像を作成し、その各々
の２値画像に対して、境界画素判定オペレータを作用さ
せ、境界画像を作成し、境界画像を統合することによ
り、計測環境に影響されず、高精度に境界抽出を行う方
法を、提供することができる。

【０１０３】さらに、ラベリング処理、矩形情報処理等
を施すことにより、物標の存在の有無や、存在する物標
の形状、大きさ等を把握できるため、他のシステムへの
応用範囲の広い画像処理装置を、構築することができる
利点がある。

【０１０４】

【発明の効果】本発明によれば、微分画像を複数のしき
い値で２値化し、該２値化された２値画像に対して、境
界画素判定オペレータ作用させ、境界画像を作成し、該
境界画像を統合することにより、環境に影響されない、
高精度の境界抽出処理を行える。

【図面の簡単な説明】

【図１】本発明の一実施例の構成の説明図である。

【図２】本発明の一実施例の動作を説明するための工程
図である。

【図３】平滑オペレータの説明図である。

【図４】微分オペレータの説明図である。

【図５】境界画素判定オペレータの説明図である。

【図６】境界画素判定オペレータの説明図である。

【図７】膨張、収縮処理の説明図である。

【図８】ラベリング処理の説明図である。

【図９】矩形情報処理の説明図である。

【符号の説明】

１…ＴＶカメラ、２…Ａ／Ｄ変換器、３…平滑化回路、
４…微分処理回路、５…しきい値、６…２値画像作成
部、７…境界画像作成部、８…統合回路、９…境界抽出
回路、１０…ラベリング回路、１１…矩形処理回路、１
２…ＲＡＭ、１３…ＣＰＵ

Claims (2)

【特許請求の範囲】
1. 【請求項１】測定対象物の画像情報を入力し、該画像を
   微分処理した微分画像を、複数のしきい値を設けて２値
   化した２値画像を作成し、 該作成された各々の２値画像について、注目する画素点
   が、境界線を構成するか否かを判定させる境界画素判定
   オペレータを作用させ、前記注目する画素点が、境界線
   を構成すると判定されれば、該注目する画素点は、境界
   画素とし、境界画像を作成し、 該作成された複数の境界画像を、統合することにより、
   画像情報から境界線を抽出する、境界抽出方法。
2. 【請求項２】測定対象物の画像情報を入力する手段と、
   画像情報を微分処理する手段と、該手段による微分値を
   ２値化する、複数のしきい値を設定する手段と、各々の
   しきい値により２値画像を作成する手段と、作成された
   各々の２値画像において、注目する画素点が、境界線を
   構成するか否かを判定させる境界画素判定オペレータを
   作用させ、前記注目する画素点が境界線を構成すると判
   定されれば、該注目する画素点は、境界画素と判断し、
   境界画像を作成する手段と、作成された各々の境界画像
   を統合する手段とからなる境界抽出装置。