JP4025656B2

JP4025656B2 - Contour line segment extraction method, contour line segment extraction device, contour line segment extraction program, and recording medium recording the program

Info

Publication number: JP4025656B2
Application number: JP2003021345A
Authority: JP
Inventors: 裕治石川; 佳織若林; 知彦有川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-01-30
Filing date: 2003-01-30
Publication date: 2007-12-26
Anticipated expiration: 2023-01-30
Also published as: JP2004234278A

Description

【０００１】
【発明の属する技術分野】
本発明は、エッジ点の列から得られた細かな線分を併合していくことにより、線分の集合として輪郭を得る方法及び装置に関するものである。
【０００２】
【従来の技術】
画像から物体の２次元形状を獲得することは、画像の利用において基本的な処理であり、さまざまな応用において使われる。具体的には以下のような例が挙げられる。
・上空から撮影された航空写真から建物の形状を獲得して地図を作成する。
・監視カメラに移った物体を認識する。
・工業用ロボットが対象物を加工する際の位置決めをする。
【０００３】
ここで述べる「画像」とは、一般的なＣＣＤカメラによって撮像されたものだけではなく、レーザープロファイラによるＤＳＭ（Digital Surface Model）や超音波の診断結果なども対象としている。この対象を観測することによって得られた数値情報が「画素値」として２次元平面上に広がっているデータであれば「画像」として扱うことができ、すなわち、本発明の対象としている「画像」に類するものである。
【０００４】
一般的な２次元形状の獲得方法としては以下のような方法がある（図１３）。
ステップ１：画素値がある一定値以上の領域を抽出する。
ステップ２：各領域において、境界上に存在する画素（エッジ点）を集める。
ステップ３：その画素の集合から輪郭線を生成し、対象物の形状とする。
【０００５】
上記の方法において、ステップ２の時点では、エッジ点の集まりとして形状が表されている。しかし、最終的には少数の頂点集合として形状を表現できたほうが、データ量を少なくでき、また、形状の拡大縮小なども簡単にできるため、望ましいことが多い。特に対象物が建物などの人工物で、線分から構成されているとわかっている場合には、エッジ点集合から直線を得ることで画像に含まれるノイズを除去できる可能性が高い。
【０００６】
たとえば、図１３の例では、途中結果として、エッジ点の集合として輪郭が得られているが、この状態では多数の点としてデータを保存しなければならない。しかし、線分を連結した形式で輪郭を得た最終結果では、輪郭情報として５つの頂点を保存すればよい。
【０００７】
点の集合から直線を獲得する方法としては、最小二乗法がある。また輪郭線を生成する方法としては、動的輪郭法（スネークス）［非特許文献１］や、輪郭線の折り曲がり具合が大きい点を頂点とする方法［非特許文献３］、などが提案されている。
【０００８】
上記のステップ３は以下のような処理に分割される。
処理１：輪郭を形成するエッジ点の列を複数に分割する。
処理２：次に各画素列から直線を求める。
処理３：それらの直線の交点を輪郭の頂点とする。
【０００９】
処理２においては、直線を求める際に最小二乗法を使うことで、元となるエッジ点と得られた輪郭とのずれを小さくすることができる。しかし、単にずれを小さくしようとすると輪郭を多数の線分から構成しなければならず、頂点数が増加し、輪郭のデータ量が増加するという問題がある。よって、ずれの量と頂点数のバランスをとるように、エッジ点の集合を適当に分割する方法が必要となる。
【００１０】
エッジ点の数が多い場合、処理１における分割の方法が非常に多数となり、すべてについて輪郭を生成して比較すると非常に時間がかかる（図１４）。この問題を解決するために、エッジ点を分類し、集合を分割する方法として、非特許文献２などが提案されている。
【００１１】
【非特許文献１】
M.Kass, A.Witkin, and D.Terzopoulos. Snakes: Active Contour Models, International Journal of Computer Vision, pp.321-331,1988.
【００１２】
【非特許文献２】
K.Fujii and T.Arikawa. Reconstruction of 3D urban model using range image and aerial image, International Geoscience and Remote Sensing Symposium, 2001.
【００１３】
【非特許文献３】
C.H.Teh, R.T.Chin. On the Detection of Dominant Points on Digital Curves. -IEEE Tr.PAMI, 1989, v.11, N0.8, p.859-872.
【００１４】
【発明が解決しようとする課題】
上記のように、従来の技術では、直線を求める際に最小二乗法を使うことで、元となるエッジ点と得られた輪郭とのずれを小さくすることができるが、単にずれを小さくしようとすると輪郭を多数の線分から構成せねばならず、頂点数が増加し、輪郭のデータ量が増加するという問題があり、ずれの量と頂点数のバランスをとるように、エッジ点の集合を適当に分割する方法が必要となる。
【００１５】
しかし、輪郭を形成するエッジ点の数が多い場合、エッジ点の列を複数に分割する方法の数は非常に多数となり、すべてについて輪郭を生成して比較すると非常に時間がかかることが問題となり、これを解決するため、非特許文献２に記載された、エッジ点を分類し、集合を分割する方法を用いると、ノイズの影響によってグループが非常に細かく分割されてしまい、輪郭の頂点数が多くなりすぎる可能性がある。さらに、分割の候補を複数生成した場合に、輪郭を選択する方針が明確でない。
【００１６】
一方、動的輪郭法は、抽出する対象物の輪郭線が滑らかな曲線であることが想定されている。そのため、少数の頂点から成る線分の集合として輪郭線を獲得する場合には向いていない。また、輪郭線の曲がり具合を用いて頂点を選択する方法では、ノイズによるわずかな突起などに影響されやすく、十分に頂点を削減することは難しい。
【００１７】
本発明は、上記従来技術の問題点を解決するためになされたものであり、エッジ点の集合から、少数の頂点によって表される輪郭形状を、少ない処理で獲得することができる輪郭線分抽出方法、および輪郭線分抽出装置を提供することが課題である。
【００１８】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、画像中の輪郭に含まれるエッジ点の集合から、線分の集合として輪郭を抽出する方法であって、エッジ点の集合を、直線上に並んでいるエッジ点が１つの集合となるよう分割し、分割されたそれぞれの集合を画素列とし、隣接する画素列の組を併合して、併合された複数の組合せを画素列集合として生成する手順と、生成された前記各画素列集合の各画素列を直線で近似し、前記各画素列に含まれる個々のエッジ点と前記直線との距離の分散を求め、前記画素列集合中の全ての画素列における分散の平均値Ｓ、及び前記画素列集合に含まれる画素列の数Ｋが少ないほど高い評価を出力する手順と、前記評価が最も高い画素列集合を最適な画素列集合として選択する手順と、該選択された画素列集合中の隣接する近似直線同士の交点を頂点とし、隣接する前記頂点を結ぶ線分の集合を輪郭とする手順と、を備えることを特徴とする輪郭線分抽出方法を、その解決手段とする。
【００１９】
あるいは、上記の輪郭線分抽出方法において、前記評価を隣接する画素列を併合して生成される画素列集合に対する評価値として算出する手順と、該評価値に基づいて併合する画素列の組を選択する手順とを有し、この画素列の組を選択する手順が、画素列の組数が既定数に達したときに手順を終了することを特徴とする輪郭線分抽出方法を、その解決の手段とする。
【００２０】
あるいは、上記の輪郭線分抽出方法において、前記評価を隣接する画素列を併合して生成される画素列集合に対する評価値として算出する手順と、該評価値に基づいて併合する画素列の組を選択する手順とを有し、前記画素列の組を選択する手順が、前記評価値と事前に設定された閾値との大小比較を行って手順を停止することを特徴とする輪郭線分抽出方法を、その解決の手段とする。
【００２１】
あるいは、画像中の輪郭に含まれるエッジ点の集合から、線分の集合として輪郭を抽出する装置であって、エッジ点の集合を、直線上に並んでいるエッジ点が１つの集合となるよう分割し、分割されたそれぞれの集合を画素列とし、隣接する画素列の組を併合して、併合された複数の組合せを画素列集合として生成する手段と、生成された前記各画素列集合の各画素列を直線で近似し、前記各画素列に含まれる個々のエッジ点と前記直線との距離の分散を求め、前記画素列集合中の全ての画素列における分散の平均値Ｓ、及び前記画素列集合に含まれる画素列の数Ｋが少ないほど高い評価を出力する手段と、前記評価が最も高い画素列集合を最適な画素列集合として選択する手順と、該選択された画素列集合中の隣接する近似直線同士の交点を頂点とし、隣接する前記頂点を結ぶ線分の集合を輪郭とする手段と、を備えることを特徴とする輪郭線分抽出装置を、その解決手段とする。
【００２２】
あるいは、上記の輪郭線分抽出装置において、前記評価を隣接する画素列を併合して生成される画素列集合に対する評価値として算出する手段と、該評価値に基づいて併合する画素列の組を選択する手段とを有し、この画素列の組を選択する手段が、画素列の組数が既定数に達したときに前記選択を終了することを特徴とする輪郭線分抽出装置を、その解決手段とする。
【００２３】
あるいは、上記の輪郭線分抽出装置において、前記評価を隣接する画素列を併合して生成される画素列集合に対する評価値として算出する手段と、該評価値に基づいて併合する画素列の組を選択する手段とを有し、前記画素列の組を選択する手段が、前記評価値と事前に設定された閾値との大小比較を行って前記選択を停止することを特徴とする輪郭線分抽出装置を、その解決手段とする。
【００２８】
あるいは、上記の輪郭線分抽出方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする輪郭線分抽出プログラムを、その解決の手段とする。
【００２９】
あるいは、上記の輪郭線分抽出方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする輪郭線分抽出プログラムを記録した記録媒体を、その解決の手段とする。
【００３０】
本発明では、エッジ点集合を十分に小さく分割するとともに、分割されたそれぞれの集合である画素列から隣り合う画素列の組を順次併合し、画素列集合を順次生成することにより、生成される輪郭の数をエッジ点の数より少なくし、かつ、評価値の高い輪郭のみを生成して、少ない処理と処理時間で、少数の頂点によって表される最適な輪郭形状を獲得する。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３２】
本発明の一実施形態による構成を図１に示す。本発明は、エッジ抽出装置１と出力装置１０６の間に、輪郭生成機構１０２、併合ペア選択機構１０３、輪郭選択機構１０４、輪郭評価機構１０５、を備えて構成される。
【００３３】
本実施形態では、エッジ抽出装置１により、既存の技術を使って、対象物を撮影した画像から、エッジ点の集合が既に抽出されているものとし、そのエッジ点の集合から、輪郭を線分の集合として得る方法の一例を説明する。
【００３４】
輪郭生成機構１０２は、最初に各エッジ点の集合が直線上に乗っていると見なせるまで、エッジ点集合を十分に小さく分割する。分割されたそれぞれの集合を画素列と呼び、画素列を集めたものを画素列集合と呼ぶ。輪郭生成機構１０２は隣り合う画素列の組を順次併合し、画素列集合を順次生成する。併合する画素列の組は次に述べる併合ペア選択機構１０３によって決定する。このような方法を用いることで、生成される輪郭の数はエッジ点の数より少なくでき、かつ、評価値の高い輪郭のみを生成することができるため、少ない処理で最適な輪郭の候補を列挙することができる。
【００３５】
併合ペア選択機構１０３は、画素列集合を入力とし、輪郭評価機構１０５が出力する評価値を元にして、併合すべき画素列のペアを決定する。併合ペア選択機構１０３は、隣り合う画素列を併合し、その結果得られる輪郭に対して輪郭評価機構１０５により評価値を算出する。この処理を、すべての隣り合う画素列の組に対して行い、評価が一番高かった組を併合すべきペアとして出力する。
【００３６】
輪郭評価機構１０５は、入力された画素列集合に対して評価値を算出する。輪郭のエッジ点からのずれＳが小さいほど、あるいは、輪郭の頂点数Ｋが少ないほど、あるいは、Ｓが小さいほどおよびＫが少ないほど、望ましい輪郭であるとして、高い評価を出力するものとする。輪郭は、Ｓが小さければ、観測された画素値の情報を反映した輪郭であるといえる。また、Ｋが小さければ、保存するデータ量が少なく済む。
【００３７】
輪郭選択機構１０４は、輪郭生成機構１０２が生成し列挙したすべての画素列集合を評価の手段で評価し、その評価が最も高いものを選択の手段により選択し、選択された画素列集合から輪郭の生成手段により輪郭を生成して出力装置１０６に出力する。
【００３８】
以上の工夫により、データ量が少なく、かつ、画像情報を十分に反映した輪郭形状を、少ない処理時間で抽出することができる。
【００３９】
続いて、上記実施形態の詳細を説明する。始めに、輪郭評価機構１０５の処理の流れを図２に示す。
【００４０】
輪郭評価機構１０５は、画素列集合を入力として受け取り、輪郭の評価値を算出するために、輪郭に対するずれＳと、輪郭の頂点数Ｋを算出する。まず、各集合に対して、最小二乗法で直線を求める。次に各集合に含まれる点と求めた直線との距離の分散を求め、すべての画素列について分散の平均値をとってＳとする。一方、Ｋは、画素列の数とする。輪郭の評価値として、ｃをＳとＫの重みパラメータとして、Ｓ＋ｃ×Ｋを計算し、出力する。
【００４１】
上述したように、輪郭は、ＳおよびＫのどちらも、低い値の方が望ましいので、本例での評価値Ｓ＋ｃ×Ｋは、低い値ほど望ましい輪郭であることを示す、ものとする。
【００４２】
なお、評価値の関数は上記の形に限定するものではなく、Ｓ×Ｓ＋ｃ×Ｋ×Ｋや、Ｓのみの関数、あるいはＫのみの関数などであっても良い。
【００４３】
７つの画素列をもつ画素列集合に対して、評価値を算出する例として、処理の例を図３に示す。各画素列に対して、最小二乗法で直線を求め、分散の平均値を２．５と算出している。また、重みパラメータｃを０．５に設定する。頂点数が７なので、２．５＋０．５×７＝６と評価値を算出する。得られた画像が鮮明でエッジ点にノイズが乗っていない場合、ｃを小さく設定することで、多少頂点数が多くなっても画像から得られたエッジ点に忠実な輪郭を得ることができる。
【００４４】
輪郭生成機構１０２の処理の流れを図４に示す。
【００４５】
輪郭生成機構１０２は、対象物を撮影した画像から得られたエッジ点の集合を入力として受け取る。画像の場合、画素が格子状に並んでいるので、一つの画素から隣り合う画素に対し、８つの方向に分類することができる（図５）。エッジ点は連続した画素の列として輪郭線を構成しているため、方向が変わったところでエッジ集合を分割し、初期の画素列を得ることができる（図６）。初期の画素列は非常に数が多くなる場合が多いが、各集合に含まれるエッジ点は直線上に並んでいる。
【００４６】
輪郭生成機構１０２は、画素列のうちから、併合ペア選択機構１０３の出力に従って、画素列のペアを選択し、併合する。併合した結果、得られた新しい画素列のセットＢ_iを保存し、この処理を画素列の数が３個未満になるまで繰り返す。最終的に得られた、画素列のセットをすべて（Ｂ₁，Ｂ₂，Ｂ₃，…，Ｂ_n）を出力する。図７に、１０個の画素列を含む画素列集合Ｂ₁から、併合ペア選択機構１０３の出力に従って、併合処理を行う例を示す。
【００４７】
なお、画素列生成の処理の停止条件は、本例のように画素列の数で決める他に、画素列を生成する毎に評価値を算出し、事前に設定した閾値との比較を行って処理を停止する、という方法も考えられる。
【００４８】
併合ペア選択機構１０３の処理の流れを図８に示す。
【００４９】
併合ペア選択機構１０３は、エッジ点の画素列を入力とする。隣接している画素列のペアしか、画素列を併合することができないため、隣接しているペアに対してのみ評価値を算出する。この工夫により処理時間を短縮できる。なお、画素列｛Ａ₁，…，Ａ_n｝は順に並んで輪郭を形成しているので、Ａ₁とＡ_nも隣接しており、Ａ₁とＡ_nについても併合すべきペアの候補として評価を行う。
【００５０】
併合ペア選択機構１０３は、各隣接ペアＡ_i，Ａ_i+1に対して、そのペアをマージしたときの画素列のセットを生成し、輪郭評価機構１０５に基づいて評価値を算出し、評価値の一番高いペアを出力する。
【００５１】
処理の例を図９に示す。入力された画素列集合Ｂについて、まずＡ₁とＡ₂を併合した場合の輪郭について評価値Ｅ₁を算出する。評価値の算出は、実際には輪郭評価機構１０５で行われ、１２．５という値を得る。次に、Ａ₂とＡ₃を併合した場合の輪郭について評価値Ｅ₂を算出し、１３．３を得る。以下順にＥ₃，…，Ｅ₇まで値を算出する。その結果、最小となるのはＥ₁であり、よって、Ａ₁とＡ₂を併合すべきペアとして選択する。このような選択方法により、輪郭生成機構１０２では、評価が高い輪郭が生成されるようになる。
【００５２】
輪郭選択機構１０４の処理の流れを図１０に示す。
【００５３】
輪郭選択機構１０４は、輪郭生成機構１０２が生成し列挙したすべての画素列集合を入力とする。これらの各画素列集合に対して、評価の手段により評価値を算出し、選択の手段によりその評価が最も高い画素列集合Ｂ_jを見つける（図１１）。ここでの評価は輪郭評価機構１０５と同様に行う。Ｂ_jが画素列｛Ａ₁，…，Ａ_k｝から構成されるとすると、輪郭の生成手段は、各Ａ_iに含まれるエッジ点から最小二乗法によって直線Ｌ_iを求め、Ｌ_iとＬ_i+1の交点を輪郭の一つの頂点ｖ_iとする。ただし、ｖ_kはＬ_kとＬ₁との交点とする（図１２）。このようにして得られた頂点集合を、最適な輪郭として、出力装置１０６に出力する。
【００５４】
なお、輪郭選択機構１０４においては、改めて評価値を算出する代わりに、併合ペア選択機構１０３において輪郭評価機構１０５により算出した評価値を保存しておき、これを用いても構わない。このような処理を行えば、さらに処理時間を短縮することが可能となる。
【００５５】
［応用分野］
本発明は、例えば以下のような利用が考えられる。特に建物や工業用部品は直線で構成される輪郭を持つことが多いと考えられ、本発明の適用が適している。
【００５６】
・広域を写した航空写真や、上空から計測したレーザープロファイラのデータから、多数の建物の輪郭形状を実用的な時間で獲得し、地図を自動作成することが考えられる。
【００５７】
例えば、一つの建物の周囲長が５０ｍであるとすると、平均的な航空写真の解像度１０ｃｍ／画素を用いて、５００点のエッジから輪郭が構成される。１点が８ビットのグレースケールで表されているとすると、エッジデータは５００バイトになる。本発明によりこの建物の輪郭を６つの頂点から構成される多角形として抽出できたとする。各頂点のｘ座標、ｙ座標のデータをそれぞれ２バイト、２つの頂点のリンク情報に２バイト使ったとしても、６×（２＋２）＋５×２＝３４バイトにしかならない。データサイズは約１／１５となり、格段のデータ圧縮効果を挙げることができる。
【００５８】
・工業用ロボットのカメラから得られる画像に対して適用し、輪郭形状を得るまでの処理時間が短いことから、対象物を認識してから、素早く適切な対処をとることができる。
【００５９】
・監視カメラにおいて得られる画像から対象物を抽出して保存する場合、少ない頂点数で輪郭を保持できるので、長時間の監視によるデータの増加量を抑制できる。
【００６０】
なお、図１で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２、図４、図８、図１０で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで、本発明が実施可能となる。
【００６１】
【発明の効果】
本発明によれば、エッジ点の集合から、少数の頂点によって表される輪郭形状を、少ない処理で獲得することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態により装置構成を説明するブロック図
【図２】上記実施形態における輪郭評価機構の処理の流れ図
【図３】上記輪郭評価機構の処理の例を説明する図
【図４】上記実施形態における輪郭生成機構の処理の流れ図
【図５】画素の８方向を説明する図
【図６】初期の画素列の生成を説明する図
【図７】上記輪郭生成機構の処理の詳細を説明する図
【図８】上記実施形態における併合ペア生成機構の処理の流れ図
【図９】上記併合ペア生成機構の処理の例を説明する図
【図１０】上記実施形態における輪郭選択機構の処理の流れ図
【図１１】上記輪郭選択機構の処理の例を説明する図
【図１２】画素列集合から輪郭を生成する処理を説明する図
【図１３】一般的な２次元形状の獲得方法を説明する図
【図１４】生成される輪郭のバリエーションを説明する図
【符号の説明】
１０１…エッジ抽出装置
１０２…輪郭生成機構
１０３…併合ペア選択機構
１０４…輪郭選択機構
１０５…輪郭評価機構
１０６…出力装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for obtaining a contour as a set of line segments by merging fine line segments obtained from a sequence of edge points.
[0002]
[Prior art]
Acquiring the two-dimensional shape of an object from an image is a basic process in the use of an image and is used in various applications. Specific examples include the following.
・ Create a map by acquiring the shape of the building from aerial photographs taken from above.
・ Recognize objects that have moved to the surveillance camera.
・ Positioning when an industrial robot processes an object.
[0003]
The “image” described here is not limited to an image captured by a general CCD camera, but also includes a DSM (Digital Surface Model) by a laser profiler and an ultrasonic diagnosis result. If the numerical information obtained by observing this object is data that spreads as a “pixel value” on a two-dimensional plane, it can be treated as an “image”, that is, the “image” that is the object of the present invention. It is similar to
[0004]
As a general two-dimensional shape acquisition method, there is the following method (FIG. 13).
Step 1: Extract an area where the pixel value is greater than a certain value.
Step 2: Collect pixels (edge points) on the boundary in each region.
Step 3: A contour line is generated from the set of pixels to obtain the shape of the object.
[0005]
In the above method, at step 2, the shape is represented as a collection of edge points. However, it is often desirable that the shape can be expressed as a small number of vertex sets in the end because the amount of data can be reduced and the shape can be easily enlarged and reduced. In particular, when the object is an artificial object such as a building and is known to be composed of line segments, it is highly possible that noise included in the image can be removed by obtaining a straight line from the edge point set.
[0006]
For example, in the example of FIG. 13, the contour is obtained as a set of edge points as an intermediate result, but in this state, data must be stored as a large number of points. However, in the final result of obtaining the contour in the form of connecting the line segments, it is only necessary to save five vertices as the contour information.
[0007]
As a method for obtaining a straight line from a set of points, there is a least square method. Further, as a method for generating a contour line, a dynamic contour method (Snakes) [Non-patent document 1], a method using a point where the contour line is bent at a vertex as a vertex [Non-patent document 3], and the like have been proposed. ing.
[0008]
Step 3 above is divided into the following processes.
Process 1: A sequence of edge points forming a contour is divided into a plurality of segments.
Process 2: Next, a straight line is obtained from each pixel column.
Process 3: The intersection of these straight lines is set as the apex of the contour.
[0009]
In the process 2, when the straight line is obtained, the least square method is used, so that the deviation between the original edge point and the obtained contour can be reduced. However, if the deviation is simply reduced, the contour must be composed of a large number of line segments, which increases the number of vertices and increases the amount of contour data. Therefore, a method for appropriately dividing the set of edge points is necessary so as to balance the amount of deviation and the number of vertices.
[0010]
When the number of edge points is large, the number of division methods in the process 1 is very large, and it takes a very long time to generate and compare the contours for all (FIG. 14). In order to solve this problem, Non-Patent Document 2 has been proposed as a method of classifying edge points and dividing a set.
[0011]
[Non-Patent Document 1]
M. Kass, A. Witkin, and D. Terzopoulos. Snakes: Active Contour Models, International Journal of Computer Vision, pp. 321-331, 1988.
[0012]
[Non-Patent Document 2]
K. Fujii and T. Arikawa. Reconstruction of 3D urban model using range image and aerial image, International Geoscience and Remote Sensing Symposium, 2001.
[0013]
[Non-Patent Document 3]
CHTeh, RTChin.On the Detection of Dominant Points on Digital Curves.-IEEE Tr.PAMI, 1989, v.11, N0.8, p.859-872.
[0014]
[Problems to be solved by the invention]
As described above, the conventional technique can reduce the deviation between the original edge point and the obtained contour by using the least squares method when obtaining a straight line, but simply attempts to reduce the deviation. Then, there is a problem that the contour must be composed of many line segments, the number of vertices increases, the amount of contour data increases, and an appropriate set of edge points is used to balance the amount of deviation and the number of vertices. A method to divide into two is required.
[0015]
However, if the number of edge points forming the contour is large, the number of methods for dividing the edge point sequence into a plurality of methods becomes very large, and it takes a very long time to generate and compare the contours for all. In order to solve this, using the method of classifying edge points and dividing the set described in Non-Patent Document 2, the group is divided very finely due to the influence of noise, and the number of vertices of the contour is reduced. May be too much. Furthermore, the policy for selecting the contour is not clear when a plurality of candidates for division are generated.
[0016]
On the other hand, in the active contour method, it is assumed that the contour line of the object to be extracted is a smooth curve. Therefore, it is not suitable for acquiring a contour line as a set of line segments composed of a small number of vertices. In addition, in the method of selecting vertices using the curve of the contour line, it is easy to be affected by slight protrusions due to noise, and it is difficult to sufficiently reduce the vertices.
[0017]
The present invention has been made to solve the above-described problems of the prior art, and it is possible to extract contour line segments represented by a small number of vertices from a set of edge points with a small amount of processing. It is an object to provide a method and an outline segment extraction device.
[0018]
[Means for Solving the Problems]
In order to solve the above problems, the present invention is a method for extracting a contour as a set of line segments from a set of edge points included in a contour in an image, and the set of edge points is arranged on a straight line. Generating a plurality of merged combinations as a pixel column set by dividing each of the divided sets into pixel columns, merging adjacent pixel column sets, and Each pixel column of the generated pixel column set is approximated by a straight line, and the dispersion of the distance between each edge point included in each pixel column and the straight line is obtained, and all the pixels in the pixel column set are obtained. A procedure for outputting a higher evaluation as the average value S of variance in a column and the number K of pixel columns included in the pixel column set are smaller, and a procedure for selecting a pixel column set having the highest evaluation as an optimal pixel column set If, pixel column set in which it is said selected Contact the intersection of the approximate line with each other and an apex, and procedures that outline a set of line segments connecting the adjacent vertices, the contour line segment extracting method characterized by comprising a, and their solutions.
[0019]
Alternatively, in the contour line segment extraction method, a procedure for calculating the evaluation as an evaluation value for a pixel column set generated by merging adjacent pixel columns, and a set of pixel columns to be merged based on the evaluation value A method for extracting a contour line segment , wherein the step of selecting a set of pixel columns ends the procedure when the number of sets of pixel columns reaches a predetermined number. This means.
[0020]
Alternatively, in the contour line segment extraction method, a procedure for calculating the evaluation as an evaluation value for a pixel column set generated by merging adjacent pixel columns, and a set of pixel columns to be merged based on the evaluation value A contour line segment extraction method characterized in that the procedure for selecting the set of pixel columns is performed by comparing the evaluation value with a preset threshold value and stopping the procedure. Is a means for solving the problem.
[0021]
Alternatively, a device for extracting a contour as a set of line segments from a set of edge points included in a contour in an image so that the edge points arranged on a straight line become one set. divided, the respective set divided by the pixel column, and merging pairs of adjacent pixel columns, means for generating a plurality of combinations that are merged as a pixel column set was generated said each pixel column set Each pixel column is approximated by a straight line, the variance of the distance between each edge point included in each pixel column and the straight line is obtained, the average value S of the variances in all the pixel columns in the pixel column set, and means and a procedure for selecting the evaluation the highest pixel row set as the optimum pixel row set, the selected pixel row set in which outputs an evaluation higher number K is smaller pixel columns included in the pixel column set Intersection of adjacent approximate lines An apex, and means to contour the set of line segments connecting the adjacent vertices, the contour line segment extraction device characterized by comprising a, and their solutions.
[0022]
Alternatively, in the contour line segment extraction device, a means for calculating the evaluation as an evaluation value for a pixel column set generated by merging adjacent pixel columns, and a set of pixel columns to be merged based on the evaluation value A contour line segment extracting device characterized in that the means for selecting a set of pixel columns ends the selection when the number of pixel column sets reaches a predetermined number. Let it be a solution.
[0023]
Alternatively, in the contour line segment extraction device, a means for calculating the evaluation as an evaluation value for a pixel column set generated by merging adjacent pixel columns, and a set of pixel columns to be merged based on the evaluation value Contour line segment extraction, characterized in that the means for selecting the set of pixel columns stops the selection by comparing the evaluation value with a preset threshold value An apparatus is used as the solution.
[0028]
Alternatively, a contour line segment extraction program characterized in that a procedure for causing the computer to execute the procedure in the contour line segment extraction method is used as a solution.
[0029]
Alternatively, a recording in which a program for causing a computer to execute the procedure in the contour segment extraction method is recorded, and the program is recorded on a recording medium readable by the computer. The medium is used as the solution.
[0030]
According to the present invention, the edge point set is generated by dividing the set of pixel points sufficiently small, sequentially combining a set of adjacent pixel columns from the divided pixel column, and sequentially generating the pixel column set. The number of contours is made smaller than the number of edge points, and only contours having a high evaluation value are generated, and an optimum contour shape represented by a small number of vertices is obtained with less processing and processing time.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0032]
A configuration according to an embodiment of the present invention is shown in FIG. The present invention includes a contour generation mechanism 102, a merged pair selection mechanism 103, a contour selection mechanism 104, and a contour evaluation mechanism 105 between the edge extraction device 1 and the output device 106.
[0033]
In the present embodiment, it is assumed that a set of edge points has already been extracted from an image obtained by photographing an object using the existing technology by the edge extraction apparatus 1, and a contour is segmented from the set of edge points. An example of a method of obtaining as a set of will be described.
[0034]
The contour generation mechanism 102 first divides the edge point set sufficiently small until it can be assumed that the set of edge points is on a straight line. Each set divided is referred to as a pixel column, called a pixel column set what was collecting Me pixel columns. The contour generation mechanism 102 sequentially merges a set of adjacent pixel columns and sequentially generates a pixel column set. The group of pixel columns to be merged is determined by the merged pair selection mechanism 103 described below. By using such a method, the number of contours to be generated can be smaller than the number of edge points, and only contours having a high evaluation value can be generated. can do.
[0035]
The merged pair selection mechanism 103 receives a set of pixel columns and determines a pixel column pair to be merged based on the evaluation value output from the contour evaluation mechanism 105. The merged pair selection mechanism 103 merges adjacent pixel columns, and the contour evaluation mechanism 105 calculates an evaluation value for the resulting contour. This process is performed for all pairs of adjacent pixel columns, and the pair having the highest evaluation is output as a pair to be merged.
[0036]
The contour evaluation mechanism 105 calculates an evaluation value for the input pixel column set. The smaller the deviation S from the edge point of the contour, the smaller the number K of contour vertices, or the smaller the S and the smaller the number K, the higher the evaluation that the desired contour is. If the contour is small, it can be said that the contour reflects the information of the observed pixel value. Also, if K is small, the amount of data to be stored is small.
[0037]
The contour selection mechanism 104 evaluates all pixel column sets generated and enumerated by the contour generation mechanism 102 by the evaluation unit, selects the highest evaluation by the selection unit, and selects a contour from the selected pixel column set. The contour is generated by the generating means and output to the output device 106.
[0038]
With the above-described device, it is possible to extract a contour shape that has a small amount of data and sufficiently reflects image information in a short processing time.
[0039]
Next, details of the above embodiment will be described. First, the flow of processing of the contour evaluation mechanism 105 is shown in FIG.
[0040]
The contour evaluation mechanism 105 receives a pixel column set as an input, and calculates a deviation S with respect to the contour and the number K of contour vertices in order to calculate an evaluation value of the contour. First, a straight line is obtained for each set by the method of least squares. Next, the dispersion of the distance between the points included in each set and the obtained straight line is obtained, and the average value of the dispersion is taken as S for all the pixel columns. On the other hand, K is the number of pixel columns. S + c × K is calculated and output as a weight parameter of S and K as an evaluation value of the contour.
[0041]
As described above, since the lower value of both S and K is desirable for the contour, the evaluation value S + c × K in this example indicates that the lower the value, the more desirable the contour.
[0042]
The function of the evaluation value is not limited to the above form, and may be S × S + c × K × K, a function of S only, a function of K only, or the like.
[0043]
An example of processing is shown in FIG. 3 as an example of calculating an evaluation value for a pixel column set having seven pixel columns. For each pixel column, a straight line is obtained by the least square method, and the average value of variance is calculated as 2.5. Further, the weight parameter c is set to 0.5. Since the number of vertices is 7, the evaluation value is calculated as 2.5 + 0.5 × 7 = 6. When the obtained image is clear and no noise is applied to the edge point, by setting c small, a contour faithful to the edge point obtained from the image can be obtained even if the number of vertices is slightly increased.
[0044]
A processing flow of the contour generation mechanism 102 is shown in FIG.
[0045]
The contour generation mechanism 102 receives a set of edge points obtained from an image obtained by photographing an object as an input. In the case of an image, since the pixels are arranged in a lattice pattern, the pixels adjacent from one pixel can be classified into eight directions (FIG. 5). Since the edge points constitute a contour line as a row of continuous pixels, the edge set can be divided when the direction changes to obtain an initial pixel row (FIG. 6). In many cases, the number of initial pixel columns is very large, but the edge points included in each set are arranged on a straight line.
[0046]
The contour generation mechanism 102 selects a pixel column pair from the pixel columns in accordance with the output of the merged pair selection mechanism 103 and merges them. As a result of the merging, a new set of pixel columns B _{i obtained} is stored, and this process is repeated until the number of pixel columns is less than three. All (B ₁ , B ₂ , B ₃ ,..., B _n ) are output from the finally obtained pixel column set. FIG. 7 shows an example in which the merging process is performed from the pixel column set B ₁ including 10 pixel columns according to the output of the merging pair selection mechanism 103.
[0047]
In addition to determining the pixel column generation processing stop condition based on the number of pixel columns as in this example, an evaluation value is calculated every time a pixel column is generated and compared with a preset threshold value. A method of stopping the processing is also conceivable.
[0048]
The flow of processing of the merged pair selection mechanism 103 is shown in FIG.
[0049]
The merged pair selection mechanism 103 receives a pixel row of edge points as an input. Since only a pair of adjacent pixel columns can be merged, an evaluation value is calculated only for the adjacent pair. This device can shorten the processing time. Since the pixel columns {A ₁ ,..., A _n } are arranged in order to form an outline, A ₁ and _An are also adjacent to each other, and A ₁ and _An are also candidates for pairs to be merged. Evaluate.
[0050]
The merged pair selection mechanism 103 generates, for each adjacent pair A _i , A _{i + 1} , a set of pixel columns when the pair is merged, calculates an evaluation value based on the contour evaluation mechanism 105, and evaluates Output the pair with the highest value.
[0051]
An example of the processing is shown in FIG. For the input pixel column set B, first, an evaluation value E ₁ is calculated for the contour when A ₁ and A ₂ are merged. The evaluation value is actually calculated by the contour evaluation mechanism 105 to obtain a value of 12.5. Next, an evaluation value E ₂ is calculated for the contour when A ₂ and A ₃ are merged to obtain 13.3. The following order in E _3, ..., to calculate the value to E _7. As a result, E ₁ is the smallest, so A ₁ and A ₂ are selected as a pair to be merged. With such a selection method, the contour generation mechanism 102 generates a contour with a high evaluation.
[0052]
The flow of processing of the contour selection mechanism 104 is shown in FIG.
[0053]
The contour selection mechanism 104 receives all pixel column sets generated and enumerated by the contour generation mechanism 102 as inputs. For each of these pixel column sets, an evaluation value is calculated by means of evaluation, and a pixel column set B _j having the highest evaluation is found by means of selection (FIG. 11). The evaluation here is performed in the same manner as the contour evaluation mechanism 105. _Assuming that B _j is composed of a pixel sequence {A ₁ ,..., A _k }, the contour generating means obtains a straight line L _i from the edge points included in each A _i by the least square method, and L _i and L Let the intersection of _{i + 1 be} one vertex v _i of the contour. However, v _k is an intersection of L _k and L ₁ (FIG. 12). The vertex set obtained in this way is output to the output device 106 as an optimum contour.
[0054]
In the contour selection mechanism 104, instead of calculating the evaluation value again, the evaluation value calculated by the contour evaluation mechanism 105 in the merged pair selection mechanism 103 may be stored and used. If such processing is performed, the processing time can be further shortened.
[0055]
[Application areas]
The present invention can be used as follows, for example. In particular, it is considered that buildings and industrial parts often have contours composed of straight lines, and the application of the present invention is suitable.
[0056]
-It is conceivable that the outline shape of a large number of buildings can be acquired in a practical time from aerial photographs of a wide area and laser profiler data measured from above, and maps can be created automatically.
[0057]
For example, if the perimeter of a building is 50 m, the contour is formed from 500 edges using an average aerial photograph resolution of 10 cm / pixel. If one point is represented by an 8-bit gray scale, the edge data is 500 bytes. It is assumed that the outline of this building can be extracted as a polygon composed of six vertices according to the present invention. Even if the data of the x-coordinate and y-coordinate of each vertex is 2 bytes each, and 2 bytes are used for the link information of the two vertices, it is only 6 × (2 + 2) + 5 × 2 = 34 bytes. The data size is about 1/15, and a remarkable data compression effect can be obtained.
[0058]
-Since it takes a short time to apply to an image obtained from the camera of an industrial robot and obtain a contour shape, an appropriate countermeasure can be taken quickly after the object is recognized.
[0059]
-When an object is extracted from an image obtained by a monitoring camera and stored, the contour can be held with a small number of vertices, so that an increase in data due to long-time monitoring can be suppressed.
[0060]
1 may be realized by configuring a part or all of the functions of each unit in the apparatus shown in FIG. 1 with a computer program and executing the program using the computer, or FIG. 4. It is needless to say that the processing procedure shown in FIGS. 8, 8 and 10 can be configured by a computer program and the program can be executed by the computer. A program for executing the processing procedure is recorded and stored on a computer-readable recording medium, such as a flexible disk, MO, ROM, memory card, CD, DVD, removable disk, etc. And can be distributed. It is also possible to provide the above program through a network such as the Internet or electronic mail. In this way, the present invention can be implemented by installing a program provided by a recording medium or a network in a computer.
[0061]
【The invention's effect】
According to the present invention, a contour shape represented by a small number of vertices can be acquired from a set of edge points with a small amount of processing.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an apparatus configuration according to an embodiment of the present invention. FIG. 2 is a flowchart of processing of a contour evaluation mechanism in the embodiment. FIG. 3 is a diagram illustrating an example of processing of the contour evaluation mechanism. FIG. 4 is a flowchart of processing of the contour generation mechanism in the embodiment. FIG. 5 is a diagram illustrating the eight directions of pixels. FIG. 6 is a diagram illustrating generation of an initial pixel row. FIG. 8 is a flowchart of processing of the merged pair generation mechanism in the embodiment. FIG. 9 is a diagram illustrating an example of processing of the merged pair generation mechanism. FIG. 10 is a contour selection mechanism in the embodiment. FIG. 11 is a diagram for explaining an example of processing of the contour selection mechanism. FIG. 12 is a diagram for explaining processing for generating a contour from a set of pixel columns. FIG. 13 is a general two-dimensional shape acquisition method. Fig. 14 is generated to explain Diagram illustrating a variation of the contour EXPLANATION OF REFERENCE NUMERALS
DESCRIPTION OF SYMBOLS 101 ... Edge extraction apparatus 102 ... Contour generation mechanism 103 ... Merged pair selection mechanism 104 ... Contour selection mechanism 105 ... Contour evaluation mechanism 106 ... Output device

Claims

A method for extracting a contour as a set of line segments from a set of edge points included in a contour in an image,
A set of edge points is divided so that the edge points arranged on a straight line become one set, and each divided set is set as a pixel column, and a set of adjacent pixel columns is merged to obtain a plurality of merged Generating a combination of as a pixel column set ,
Each pixel column of the generated pixel column set is approximated by a straight line, and dispersion of distances between individual edge points included in the pixel column and the straight line is obtained, and all the pixel columns in the pixel column set are obtained. A procedure for outputting a higher evaluation as the average value S of the variance S and the number K of pixel columns included in the pixel column set are smaller ;
Selecting a pixel column set having the highest evaluation as an optimal pixel column set ;
A procedure in which an intersection of adjacent approximate lines in the selected pixel column set is a vertex, and a set of line segments connecting the adjacent vertices is a contour ;
A contour line segment extraction method comprising:

A procedure for calculating the evaluation as an evaluation value for a pixel column set generated by merging adjacent pixel columns, and a procedure for selecting a set of pixel columns to be merged based on the evaluation value;
2. The contour line segment extraction method according to claim 1, wherein the procedure for selecting a group of pixel columns is terminated when the number of pixel column groups reaches a predetermined number.

A procedure for calculating the evaluation as an evaluation value for a pixel column set generated by merging adjacent pixel columns, and a procedure for selecting a set of pixel columns to be merged based on the evaluation value;
The contour line segment extraction method according to claim 1, wherein the procedure for selecting the set of pixel columns is performed by comparing the evaluation value with a preset threshold value and stopping the procedure.

A device for extracting a contour as a set of line segments from a set of edge points included in a contour in an image,
A set of edge points is divided so that the edge points arranged on a straight line become one set, and each divided set is set as a pixel column, and a set of adjacent pixel columns is merged to obtain a plurality of merged Means for generating a combination of
Each pixel column of the generated pixel column set is approximated by a straight line, and dispersion of distances between individual edge points included in the pixel column and the straight line is obtained, and all the pixel columns in the pixel column set are obtained. Means for outputting a higher evaluation as the average value S of the variance S and the number K of pixel columns included in the pixel column set are smaller ;
Selecting a pixel column set having the highest evaluation as an optimal pixel column set ;
Means for defining an intersection of adjacent approximate lines in the selected pixel column set as a vertex and a set of line segments connecting the adjacent vertices as an outline ;
A contour line segment extraction device comprising:

Means for calculating the evaluation as an evaluation value for a pixel column set generated by merging adjacent pixel columns, and means for selecting a set of pixel columns to be merged based on the evaluation value;
5. The contour line segment extracting apparatus according to claim 4, wherein the means for selecting a set of pixel columns ends the selection when the number of sets of pixel columns reaches a predetermined number.

Means for calculating the evaluation as an evaluation value for a pixel column set generated by merging adjacent pixel columns, and means for selecting a set of pixel columns to be merged based on the evaluation value;
5. The contour line segment extracting apparatus according to claim 4, wherein the means for selecting the set of pixel columns performs the size comparison between the evaluation value and a preset threshold value, and stops the selection.

A program for causing a computer to execute the procedure in the contour line segment extraction method according to claim 1 or 2 .

A program for causing a computer to execute the procedure in the contour line segment extraction method according to claim 1 or 2 ,
A recording medium on which a contour line segment extraction program is recorded, wherein the program is recorded on a recording medium readable by the computer.