JPH05101183A - 直線からなる物体の画像整合方法及び装置 - Google Patents

直線からなる物体の画像整合方法及び装置

Info

Publication number
JPH05101183A
JPH05101183A JP4064276A JP6427692A JPH05101183A JP H05101183 A JPH05101183 A JP H05101183A JP 4064276 A JP4064276 A JP 4064276A JP 6427692 A JP6427692 A JP 6427692A JP H05101183 A JPH05101183 A JP H05101183A
Authority
JP
Japan
Prior art keywords
building
pixel
contour
value
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP4064276A
Other languages
English (en)
Inventor
Arthur F Griffin
アーサー・エフ・グリフイン
Caesar P Ancheta
シーザー・アンチエタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Hughes Aircraft Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hughes Aircraft Co filed Critical Hughes Aircraft Co
Publication of JPH05101183A publication Critical patent/JPH05101183A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 (修正有) 【目的】見下ろした地形画像から正確な建造物の全周を
抽出する処理方法を提供する。 【構成】画像を処理し、建造物の候補の領域を得て建造
物領域を含む画素は1、含まない画素は0の値を有する
バイナリ画像表現により領域の垂直水平方向の寸法を試
作建造物の寸法のセットに退位テストして、寸法が大き
過ぎたり小さ過ぎる場合はそれは建造物ではないと判断
する。バイナリ画像表現に基づき各建造物の候補の輪郭
線のX−Y画素リストを求め、更にバイナリ画像の画素
格子に各領域の輪郭線の主要軸を整合させ、輪郭線リス
トの水平、垂直エッジ部の方向ヒストグラムを計算して
ヒストグラムのピーク集中率が現在のスレッシヨルドよ
り小さい場合には領域は建造物ではないと判断する。エ
ッジ部のヒストグラム内のピークを領域画素の座標リス
トのコーナ候補として仮定し、最も多くのコーナー候補
の有効となった組み合わせを建造物全周として選択す
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は見下ろした地形画像から
建物の正確な全周を、多くの手動操作をせずに抽出する
方法に関する。
【0002】
【従来の技術】コンピュータによる方法や画像処理に関
する文献には、パラメータを設定できる多くの抽出技術
がある。これらの技術は物体整合(object matching) と
総称され、4つの基本的方法に分類される。
【0003】1.ライン部の結合。これは底上げ(botto
m-up) 方法で、ラインなどの低いレベルの特徴を抽出
し、そしてラインを結合して複雑な物体を構成する。そ
の欠点は、低レベルの抽出が、画像ノイズ、及び見失っ
た重要なラインや無関係のラインの両方に起因する情景
変化に非常に影響されやすいことである。この発明の処
理とは異なり、低レベル抽出は、建造物のサイズからく
る影響など、側面としてラインを包含又は除外するグロ
ーバルな制限事項を考慮できない。この方法ではライン
部の組み合わせが余りにも多く、それらを全て考慮に入
れることはできない。この底上げ技術の例としては、直
線からなるラインの分類システム(Rectilinear Line Gr
ouping System,University of Massachusetts, Amhers
t) があり、これはIEEE Computer,Dec.1989,p.28 に報
告されたものである。結果的な建物の全周は接続されて
いないライン部からなり、多くの壁が見失われている。
他の欠点は速度である。全画像についてこれら低レベル
の特徴を抽出することは、コンピュータの処理量が多く
(画像寸法の積N*Mに比例)、実際の応用には低速す
ぎる。
【0004】2.物体モデルのライブラリー。この方法
は、格納された建造物全周形状のライブラリーに対して
画像を整合する必要がある。現在の技術状況では、ライ
ブラリー整合によって、形状を除き、方向及びサイズの
変化を許容できる。アルファベット文字のような、認識
しなければならない物体の数が無限にあるときに、この
方法は適している。形状がライブラリーの中に含まれて
いない場合、その画像は整合できない。従ってこの方法
は一般化的な直線からなる建物に適合できない。なぜな
ら、直線からなる形状は無限に考えられるからである。
又、アルファベット認識システムは物体を分類するだけ
で、例えば”A”であることは認識できるが、正確にそ
の全周を定義できない。
【0005】3.パラメータ化された物体モデル。整合
モデルのサイズ、形状及び位置パラメータの数値により
制御される。この方法の例として、コンピュータ・バー
ジョン(Ballard and Brown, Computer vision,1982,Pre
ntice Hall,p.126) に掲載されているように、医療X線
画像内の円形状を検出するものがある。中心位置及び半
径の2つのパラメータがある。
【0006】4.分割された物体モデル。完全な物体に
整合させるのではなく、この方法は比較的少数の基本的
な物体の構成要素に整合させる方法である。このような
システムの一つには、一般的なコーナー及び直線のテン
プレートを整合することにより、コーナーの直角及び直
線部分を探し出すものがある。これらのテンプレートは
固定スケールを有するので、少ない範囲の建造物サイズ
のみが整合できる。大型建造物又はノイズの多い建造物
画像のコーナーは、丸いコーナーのように見え、コーナ
ーとして認識できない。
【0007】曲線又は輪郭線の一般的な説明は更に、ア
ツリール・ローゼンフィールドによるデジタル画像処理
(Azriel Rosenfeld,Digital Image Processing, 2nd D
d.,v.2,Academic Press, 1982,pp. 130-138) によって
与えられ、11章は接続の仕方、サイズ及び形状などの
画像特徴の表現の概説である。鎖コード(chain codes)
による任意にデジタル化された単純曲線の横断表現は、
ハーバート・フリーマンによって与えられた(Herbert F
reeman, IRE Transactions, EC 10 (1961)pp.260-26
8)。鎖コードに関する他のエンコード法はKenneth C. K
nowlton,Proc. Spri ng Joint Computer Conference, 19
64,pp 67-87 によって与えられる。輪郭線を追従するの
に用いる隣接画素パターンの効果的エンコードはイワン
・ソベルによるコンピュータ・グラフィック及び画像処
理(Irwin Sobel,Computer Graphics and Image Processi
ng, v.8 1978,pp.127-135)によって与えられる。しか
し、これら方法の中で、停止状態で複数の接続された画
素、又は本発明による複合画像データ・セットを使用し
ているものはない。
【0008】
【課題を解決するための手段と作用】直線からなる画素
格子内のN×M画素を具備する見下ろした地形画像から
建造物の全周を抽出する方法及びシステムであって、そ
の方法は次のステップを有する。
【0009】前記画像を処理して、建造物の候補である
建造物領域を得て、前記建造物領域を含む画素は1の値
を有し、前記建造物領域を含まない画素は0の値を有す
るバイナリ画像表現を提供するステップと、各建造物領
域の垂直及び水平方向の寸法を、試作建造物の寸法のセ
ットに退位してテストし、前記領域の寸法が大きすぎた
り又は小さすぎる場合は、その建造物領域を建造物では
ないと判断し、前記バイナリ画像表現に基づき、前記地
形画像を含む各建造物の候補の輪郭線のx−y画素リス
トを提供するように動作するステップと、前記バイナリ
画像の画素格子に、各建造物領域の輪郭線の主要軸を整
合させるステップと、前記整合した建造物領域の輪郭線
リストの水平及び垂直エッジ部の方向ヒストグラムを計
算するステップと、前記ヒストグラムのピーク集中率を
現在のスレショルドに対してテストし、その率が前記ス
レショルドより小さい場合には、前記建造物領域を建造
物ではないと判断し、前記エッジ部のヒストグラム内の
ピークを、前記建造物領域画素の座標リストのコーナー
の候補を仮定するのに使用するステップと、前記コーナ
ーの候補の異なる組み合わせを選択し、そのコーナーの
各組み合わせを接続して、閉じた連続的全周を形成する
ことにより、及び接続不可能な各組み合わせを捨てるこ
とにより、前記各組み合わせを有効な全周としてテスト
するステップと、及び最も多くのコーナー候補を有する
コーナー候補の有効となった組み合わせを建造物全周と
して選択するステップ。
【0010】本発明の主要な効果は、直線からなる建造
物側部の数、側部の構造、及びその大きさに制限がない
ことである。
【0011】本発明方法の他の利点はその輪郭線追従部
であり、これは従来では対応できなかったノイズや曲線
を含む輪郭線にも対応できる。
【0012】この発明を実施する方法の更に他の利点は
その速度である。一般に画像処理技術の実行時間は、そ
の画像サイズをNかけるMとすると、N*Mに比例す
る。本発明処理速度は、N+Mに比例するので非常に速
い。2000×2000画素画像について、平均処理速
度は1000のオーダである。
【0013】
【実施例】この発明の処理方法は主要な2つの必要事項
を達成する。即ち、(1)画像のどの部分が建物かを認
識し、(2)直線からなる建物の理想化した全周(直線
の壁及び直角のコーナー)を、デジタル化された画像内
のノイズを含む複数の源(sources) から再生する。
【0014】この処理の主な範例は、”仮定及びテスト
(hypothesize and test)”であって、これは処理の様々
の段階で適用される。最初に、画像内の切り出された(s
egmented) 領域は建物の候補として仮定される。これら
の領域は、それらを建物画像の既知の特徴と比べること
によりテストされる。処理を目的として、建物のコーナ
ーが仮定される。候補となるコーナーの異なる組み合わ
せが、それらを結合して閉じた連続的全周を形成する試
みによってテストされる。
【0015】図1及び2は本発明を実施する処理の例を
示すフローチャートで、この例は2次元画像から建造物
全周を抽出する。このステップの組み合わせでは、発生
されテストされた複数の仮定を首尾良く含んでいる。実
際の特徴抽出では、テストされることになる可能性のあ
る仮定の数、及びそれに必要な計算量は著しく大きい。
候補の制限として考えられるものは、実際的な仮定及び
テスト方法を実施する上での中心利得である。
【0016】この発明を実施する処理の例における10
の主要ステップを以下に示す。
【0017】初期ステップ50は試作建造物の指定であ
る。デジタル化された見下した画像又は垂直地形画像
は、CRTディスプレイに表示される。オペレータは指
示装置を使用して、幾つかの代表的建物の位置及びサイ
ズを指定する。これら画像内の領域はメモリに格納さ
れ、有効な建物の試作として次のステップで使用され
る。その建造物を示す統計が、相互作用入力例えば建造
物サイズの平均及び標準変差から計算される。この処理
はデータベースが構築される複数の他の画像に対して繰
り返される。この部分の処理をユーザが繰り返すように
要求される画像の数は、建造物のサイズの違い、及び建
造物全周内部と、建造物とその周辺の間の画素強度にお
ける変化によって決定される。このステップ50の出力
は試作建造物の足跡及び建造物の統計である。図3
(A)は、デジタル化されてこのステップの入力として
格納される代表的画像を示す。
【0018】この初期化ステップの終了後、デジタル化
された画像を処理する準備が整う。次のステップは切り
出し(segmenter) ステップで、建造物の領域が仮定され
る。各地形画像は、複数のカラーチャンネル、又はチャ
ンネル間の強度比に基づき、異なる領域に切り出され
る。隣接規則及び建造物の試作が、建造物の候補を構成
する領域を結合するのに用いられる。例えば、現在の領
域が屋根の色を有し、影になっている色によって、直線
からなる領域に隣接するならば、現在の領域は建造物の
可能性がある。その後の処理でこれら仮定された建造物
の幾つかを排除できる。例えば、この切り出し処理に使
用でき商業的に入手できるソフトウエア・プログラムと
してはアメリネックス(Amerinex Arfijical Intelligen
ce,Inc., 274 Amherst,MA)から市販されている"KBVisio
n"がある。この切り出しの典型的な出力を図4に示す。
同図で、仮定された建造物の画素は黒である。建造物領
域が一度切り出されると、それらはフィルタを通り、各
建造物領域のエッジ部のみが残される。このような濾波
は例えばデジタル画像処理 第11章(Digital ImagePr
ocessing, id.at chapter 11)に説明されている。エッ
ジ部画素の検出は簡単な処理である。全体のビットマッ
プ画像(bit map image) は、画素毎、行毎、及び列毎に
組織的に検査され、隣接している周りの画素と比較さ
れ、その画素が建造物のエッジ部にあるかどうか判断さ
れる。もしエッジ部でなければ、その画素値は0に設定
される。この濾波の後、ビットマップ画像は1画素幅の
外形骨格となる。ステップ52の出力はバイナリの骨格
画像で、建造物の画素は値1を有し、建造物でない画素
は0を有する。
【0019】機能の次のセットは、デジタル化された画
像の各建造物について繰り返される(ステップ54)。
建造物領域の最初のテストはサイズテスト(ステップ5
6)である。各領域の水平及び垂直寸法がテストされ
る。領域のサイズが、ステップ50で得られた試作建造
物のサイズに比べ、小さすぎたり又は大きすぎる場合、
それは建造物ではないと判断され、動作はステップ54
を介して次の建造物領域に進む。
【0020】建造物領域の輪郭線が期待されたサイズ以
内に入ると、ステップ58で建造物領域の輪郭線がトレ
ースされる(輪郭線追従部58)。輪郭線追従部はステ
ップ52で得られたバイナリ画像に基づいて動作し、画
像内の各建造物候補の輪郭線のx−y画素の座標リスト
を生成する。各輪郭線は様々の源から混入するノイズを
含んでいる。例えばコーナーを含む建造物全周のある部
分は、樹木などにより見失われたり曖昧になる。他のノ
イズ源はデジタル化された画像特有のエリアシング(ali
asing)、大気中の光の屈折による曖昧な建造物エッジ
部、目立たない建造物の特徴、及び建造物に隣接する物
体などのノイズを含む。この発明による輪郭線追従部
は、ノイズが多く、曲線を含むコーナーをトレースする
能力があり、以下に更に詳細に説明される。図3(B)
はこのステップの出力である。
【0021】ステップ60で、その建造物の建造物輪郭
線は画像画素格子と整合される。ルーチンは画像の画素
格子に対する建造物輪郭線の主軸の角度を判断する。そ
して建造物輪郭線はこの角度により回転され、それによ
り画素格子と整合される。建造物の方向角は、このステ
ップの精度及び速度で決定される。
【0022】ステップ62で、エッジ部の方向ヒストグ
ラムが計算される。以前のステップで輪郭線を整合させ
たので、1つの建造物の水平及び垂直エッジ部の方向ヒ
ストグラムを簡単に決定できる。このステップは輪郭線
全体の内容を効果的に示すエッジ部ヒストグラムを使用
して、この輪郭線から最も可能性の高いコーナーを正確
に位置決めできる。
【0023】ステップ64は建造物領域の第2のテスト
で、直線性のテストである。エッジの方向ヒストグラム
内の鋭いピークは、建造物輪郭線の候補に対する確認テ
ストである。そのヒストグラムのピーク集中率が現在の
スレショルドより大きい場合、その輪郭線は建造物とし
て更に確認される。エッジ・ヒストグラムの直線性の集
中率は、直線からなる物体の認識に関して、信頼でき簡
単に計算できる測定値を提供する。特定の輪郭線がこの
テストに合致しなかった場合、動作はステップ54に戻
り次の建造物領域を処理する。
【0024】建造物領域が直線性テストに合格した場合
は、ステップ68で、建造物のコーナーが仮定される。
エッジ・ヒストグラムのピークは周囲の直線壁部分の位
置を検出するのに使用される。可能性のあるこれら壁の
間には、その建造物のコーナーの候補を(コーナーが画
像内で見にくい場合でも)見付けることができる。
【0025】次のステップ70は建造物コーナーの候補
をテストするステップである。エッジ・ヒストグラムの
各ピークの振幅に基づいて、コーナー候補の異なる組み
合わせが選択される。コーナーの各組み合わせは、コー
ナーを結合して、閉じた連続的周囲を形成する試みによ
り確認される。有効となった各全周は、ステップ72で
セーブ(メモリに格納)される。これにより最も複雑な
全周を効果的に再生する能力が提供され、この複雑な全
周はノイズの多い画像内に存在する直線からなる輪郭線
によって支持できる。
【0026】建造物領域の高さに関する第3のテスト
(76)は、選択項目である。一組の立体画像が利用で
きる場合、輪郭線候補の高さは最終的な建造物の確認と
して利用できる。前述のステップ50〜74は、その立
体対の各画像について実行される。各画像内の対応する
輪郭線間の視差(parallax)は、写真技術を用いて計算さ
れるが、これに関する本願の新規性や発明はない。(ス
テレオ対の分析は従来からある標準的な処理ステップで
ある)画像化された物体の輪郭線の上昇は視差に比例す
る。従って、物体の高さが地表レベルに近ければ、その
物体は建造物ではなく、この仮定は排除される。この最
終テストは見下ろした画像では建造物のように見えるコ
ンクリートの染みなどの地表レベル物体を区別する。こ
の処理の最終結果を図3(D)に示す。これは建造物画
像の斜視図的描写で、建造物の全周がこの発明により抽
出されている。 処理ステップの詳細 輪郭線追従(ステップ58) 本実施例の輪郭線追従(ステップ58)は、ラスター・
ビット・マップ(raster bit map)を、鎖コードのリスト
及びx,y画素座標のリストの形式で、連続的な輪郭線
に変換する。輪郭線内の各画素には1つの鎖コードが割
り当てられ、この鎖コードは輪郭線内の次の画素の方向
を与える。この実施例に使用される方向コードを図5に
示す。
【0027】鎖コードは輪郭線を示す周知の技術であ
る。この発明による方法の独自性は、現在の画素に隣接
する8個の画素のパターンが与えられると、複数の参照
表(look-up table) が輪郭線内の次の画素を判断すると
きに使用されることである。
【0028】輪郭線追従処理を開始するときに、デジタ
ル化されたバイナリ画像は最初に0ではない画素が発見
されるまで、画素(0,0)から、左から右に、上から
下に走査される。これは0ではない画素で最も上部、最
も左にあるもの、CP(0)となる。CP(0)のx,
y位置はセーブされる。
【0029】参照処理を機械化するために、現在の画素
の8つの隣接するパターンは、8ビットアドレス又は”
隣接コード”を8方向参照表に変形する。表は輪郭線を
横切って時計方向に形成される。動作において、輪郭線
が横切った以前の位置、つまり図6(A)の”フロム(f
rom)”画素FPは8つの表の内、1つを選択するのに使
用される。参照表は、輪郭線が横切る方向に特に形成さ
れ、特定画像ではない。
【0030】図6(A)に示す実施例で、横切る方向は
時計方向である。図5のマスク・オペレータは、現在画
素CPの中心に位置し、”フロム”画素FPは図5に示
す方法により方向8であると仮定する。マスク・オペレ
ータは方向位置8、6、5、3に0ではない画素が見
え、その結果、8ビット・バイナリ・アドレス 101
10100 を定義する。この値は十進の180に相当
する。8ビットアドレスは256の異なる値を取り得
る。各アドレスは参照表(LUT)の指標である。この
発明によれば、8個の方向LUT82が提供され、その
各々は”フロム”画素の可能な各位置に対する方向であ
る。図6(A)の実施例で、”フロム”画素FPは位置
8であり、従って位置8に関するLUTが選択され、ネ
ックス(next)画素NPの位置は、アドレス180に関す
るLUT8の値によって決定される。この例は次に示す
部分的リストに示される。
【0031】 前述の例で、アドレス180は値3を含み、この値は次
の画素の方向が3、すなわちNP=3であることを示
す。
【0032】8個の方向LUTが必要となる。なぜな
ら、NPの値は隣接コード値のみに依存するばかりでな
く、”フロム”画素FPの位置にも依存するからであ
る。これを説明するために、図6(A)の例で、FPは
方向8ではなく、方向3の位置にあると仮定する。アド
レスは十進で180を示す同一の値を有する。しかし、
次の画素NPは明らかに異なる値でなければならない。
従って、この例ではFP3に関するLUT、すなわちL
UT3が使用される。
【0033】 従って、NPのアドレス180に関する値は5となる。
各表についての各値は、特定画素値を検査することによ
り、及びFPを計算に入れることにより決定される。
【0034】表によってアドレス180に帰還した方向
コードは、その輪郭線内の次の画素に続けられる。コン
ピュータメモリの中でその画像は隣接しておらず、隣接
画素のリストを形成し、輪郭線は人がエッジを追従する
のと同じ方法で追跡される。全周画素の画素リストは鎖
コード、例えば図6(A)に関する次の部分的全周の例
により表現できる。ここで、 鎖コードは既知のペリオリ(priori)ではなく、輪郭線追
従によって生成されなければならない。前述の処理は、
方向表が停止状態を意味する0値に戻るまで、各輪郭線
画素について繰り返される。
【0035】特定輪郭線画素が3つ以上の輪郭線の枝に
接続されることも可能である。これは複合接続輪郭線画
素である。複合接続輪郭線画素は、他の表84でエンコ
ードされ、現在の画素の8個の隣接コードによってアク
セスされる。与えられた隣接コードが複合接続画素を定
義するとき、その隣接コードのLUT値は1である。隣
接コードが複合接続画素を定義しないとき、その隣接コ
ードの複合LUT84の値は0である。
【0036】複合LUTは、輪郭線追従部に入力するデ
ジタル化バイナリ値画像、即ち入力ラスタ・ビット・マ
ップへの入力がCPの値”0”によって置き代わるべき
か否か判断するときに使用される。与えられた画素に対
する複合接続LUTの値が”0”であれば、入力画像画
素値は”0”で置き代わり、画素が複合接続LUT84
により示されるように複合接続されていれば、入力画像
の画素値は置き代らない。複合接続が検出されると、こ
の潜在力により複合分岐輪郭線の追跡が可能となる。複
合接続画素の位置はリストMP()にセーブされる。こ
こで、最初に検出された複合接続画素はMP(0)のも
のであり、2番目はMP(1)のもので、以下同様であ
る。MP()はx,y画素の位置を有する。
【0037】複合接続LUT84の値は隣接コードの可
能な256の値を各々検査することにより決定される。
例えば、十進の0〜15に対応するコードは各々、特定
値0、0、0、0、0、0、0、0、0、0、0、1、
0、0、0、0、0である。
【0038】複合接続された画素の処理を説明するため
に、図6の例を考え、画素59は”最終端”であると仮
定する。オペレータ・マスクには8個の画素のみが見
え、従って画素55から”最終端”は見えない。そして
横断は画素51から59に進むが、新しい画素63及び
64に導かれる画素58、57、56を後方追跡する
(点線で示される60、61及び62)。複合接続画素
が検出されない場合は、入力画素のラスタ・ビット内の
画素FPからの値は現在のコードに関する鎖コードが決
定された後、0に設定されることになる。複合接続され
た画素が検出された場合は、フロム画素に対する入力ビ
ット・マップ値は0にはならない。
【0039】複合接続画素が検出された後、入力画像の
画素置き代え機能は他のLUT86に切り替わる。この
LUT86もまた輪郭線連続画素を検出する。連続する
輪郭線は、1つの隣接画素”フロム(from)画素”から現
在の画素、つまり次の画素に連続性の画素がある輪郭線
である。輪郭線の連続画素の置き換えLUT86は、複
合接続LUT84に非常に似ているが、連続する輪郭線
上の画像に関する隣接コードも又、”1”の置き換え値
を指示すること、即ち入力ラスター・ビット・マップ内
のフロム画素値は0に設定されるべきことを示すことが
異なる。例えば、隣接コードが十進の34のとき、輪郭
線の連続LUT値は”1”で、入力データ内の画素値か
らは0に設定すべきではないことを示している。従って
輪郭線連続表は、複合接続された画素の検出を含み、ま
た、輪郭線の連続性に関する画素の置き換えも含む。
【0040】輪郭線連続LUT86の値は、256の可
能なマスクオペレータ構成の検査によって決定される。
例えば、十進で0〜15に対応するこのLUTの値は、
0、0、0、0、0、1、0、0、0、1、1、1、
0、0、0、0である。
【0041】例として図6(B)を考える。この図は複
合接続画素70を示す。この場合、複合接続画素70
は、複合LUT84によってフラグが与えられている。
画素置き換え機能は、輪郭線連続LUT86に切り替わ
る。これら画素の鎖コードは、方向LUT82によって
決定され続ける。しかし、入力ラスター・ビット・マッ
プに関する画素の置き換え値は、LUT86により決定
される。隣接コードが輪郭線の連続を示す限り、LUT
86は、ラスタービット・マップ内の対応する画素の値
が0に設定されないことを必要とする。
【0042】輪郭線連続表86を使用することによ
り、、輪郭線上の最端末の投影から後方追跡できる。オ
ペレータマスクはわずか8個の隣接画素が見えるだけな
ので、複合接続LUTおよび輪郭線連続LUTからの置
き換え値は、後方追跡の簿記として作用する。検出され
た複合接続画素から離れて導く継続画素は横切られ、”
1”の画素置き換え値は、”最端末”に到達するまでL
UT86によって戻される。最端末は輪郭線連続画素L
UT86によって検出されることになり、それは”0”
の画素置き換え値に戻る。この点で、横断の方向は複合
接続画素に再び到達するまで最端末から反転する。これ
が後方追跡である。複合接続画素へのこの後方追跡によ
り、複雑でノイズの多い輪郭線に追従できる。
【0043】輪郭線が横切られ、オペレータマスクによ
って輪郭線内に画素がそれ以上見付からないとき、輪郭
線追従処理は完了する。
【0044】各画素の鎖コードは又、直線からなる画素
格子内のその画素の絶対位置を定義するx,y対に関係
付けられる。
【0045】更に正式なアルゴリズムの定義を次に示
す。
【0046】(1)初期化 i=0、FP(i)=N
W、CP(i)=topmost、leftmost、
pixel position、ここでi=輪郭線の位
置指標、FPはFrom Pixel、NWは北西方向
およびCPは現在の画素。
【0047】輪郭線に沿ったi個の画素の各位置につい
て、次の画素NPへの方向は、方向参照表、Direc
tion LUT[]から決定される。
【0048】(2)FP(i)を使用して、8個の表の
1つを選択する。ここでFP(i)はFrom pix
el。
【0049】(3)隣接コード(NC(i))からCP
(i)の8個の隣接。
【0050】(4)次の画素を設定(MP(i)=Di
rection LUT[NC(i)]。
【0051】(5)CP(i)での画素をMultip
ly Connected Pixel LUT[NC
(i)]と置き換える。又は複合接続画素が検出された
場合は、複合接続画素が再び横切られるまで、Cont
our Contination pixel LUT
[NC(i)]と置き換える。点リスト内のCP(I)
をセーブして、輪郭線に関する統計をセーブ。この統計
には、輪郭線のサイズ(画素の数)、輪郭線によって含
まれる面積(画素の数)、カラー・マップに記録された
カラー画像内部の色などが含まれる。
【0052】(7)FP(i+1)=CP(i)と設
定;CP(i+1)=NP(i)に設定;iをインクリ
メント。
【0053】(8)各輪郭線画素が置き換えられ、CP
(i)=CP(0)になるまで(2)から(7)を置き
換える。
【0054】建造物輪郭線の整合(align) (ステップ6
0) Hough 変換が、輪郭線内の主要ライン部分の方向を発見
するのに使用される。Hough 変換は周知の技術で、パタ
ーン分類及びスクリーン分析(Duda and Hart, Pattern
Classification and Screen Analysis,Wiley,1973)によ
って公知になった。座標x,yを用いた画像内の点のHo
ugh 変換は次のように定義される。
【0055】Rho=x*cos(Theta)+y*
sin(Theta) ここでThetaは、点x,yを介するラインの方向角
である。Thetaを決定するための一般的な方法にお
いて、上記関係は入力画像内の各x,y点について評価
されなければならない。結果のRho−Theta値の
対は、固定サイズのビン(bin) のアレイ内に格納され
る。ここでビンの数は、図7(A)に示すように、Th
etaの最大値からThetaの最小値を引いた値をビ
ンのサイズで割った値に等しい。計算速度は画像内の
x,y点又は画素の数に比例する。精度はビンの数の増
加に伴って向上する。
【0056】この発明によれば、輪郭線の方向はHough
変換を使用して次の処理によって発見される。Thet
aは未知であるが、x,yは、輪郭線追従によって発見
された輪郭線の画素位置を示す。関数F(Theta)
が定義され、この関数は輪郭線画素リスト内の各画素
(x,y)に関するRho histogram[Rh
o]を計算する。ここで、RhoはHough 変換から求め
られる。Thetaは、0及びパイ・ラジアンの間で変
化するパラメータである。図7(B)に示すようにRh
histogramはRho binsのアレイに
より構成される。ここでRhoがRho bin[Rh
o]を超えているときは、Rho bin[]は1だけ
インクリメントされる。この関数によって戻された関数
Fの値は、Thetaの特定値に関して、輪郭線画素リ
スト全体で最も大きなRho bin[]の値である。
【0057】そしてThetaはTheta maxを
発見するために、Brent のアルゴリズムを用いて組織的
に変化する。このTheta maxの値でF(The
ta)は最大となる。”導関数を用いない最小化アルゴ
リズム”("Algorithms for Minimization Without Deri
vatives,"Richard P.Brent,Prentice-Hall,EnglewoodCl
iffs,Newjersey,at Chapter 5) に説明されているよう
に、Brent のアルゴリズムは関数の最大値を発見でき
る。従ってこのアルゴリズムはRhoの最大値を発見す
るときに使用できる。
【0058】ビンのサイズは次のように変化する。Th
etaは0とパイ・ラジアンの間のパラメータで、ビン
はTheta Aを制限し、Theta Cが定義され
る。ここで、最初、Theta A=0及びTheta
B=.618とパイの積。そしてTheta Cは図
7(C)に示すように、関数Fの最大値を囲む。上方検
索はTheta C、与えられたTheta A及びT
heta Bについて実行される。そして、Theta
maxのラインの間の間隔は、[Theta A,Th
eta B]以内、又は[THETA B<Theta
C]以内である。Brent のアルゴリズムは、Thet
A及びTheta cの新しい値を定義することに
より、そのビンを再び囲むのに使用される。すなわち、
新しいTheta Aは前のTheta B、又は新し
いTheta Cは前のTheta Bである。新しい
[Theta A,Theta C]は、Theta
axを再び囲み、そしてTheta Bは許容できるイ
プリロン(epsilon) の中でTheta maxに近付
き、この値はTheta max からTheta
を引いた絶対値に等しい。
【0059】Brent のアルゴリズムはTheta Bが
Theta maxに十分接近するまで、ビンを繰り返
し囲む。
【0060】従って輪郭線の主要軸の方向を発見する処
理は一般に、各画素に関するHough変換を用いて、Th
etaの特定値についてRhoを計算することを含み、
又、Rho bin[Rho]を1だけインクリメント
すること、及びRho binのFとして最も大きな値
に戻ることを含む。
【0061】この方法の効果は:(1)変換が画像全体
ではなく、輪郭線上の点についてのみ計算され、200
0×2000画素画像に対する1000倍のスピードア
ップである。(2)Rho−Theta binsは、
反復集中処理の間にそのサイズが変化し、同一メモリサ
イズに対する精度に関して1000倍の増加となる。こ
の反復集中処理を次に示す。
【0062】(1)Theta=0ラジアンと設定 (2)輪郭線上の各点x,yについて、Rhoを前述の
ように計算する。
【0063】(3)Rhoの値を、パラメータRho
min,Rho max,Rho bin sizeを有
するRHO histogramに入れる。
【0064】(4)Max Rho、Rhoヒストグラ
ムの最大値を決定。
【0065】(5)(2)と同一の関係を用いて、Th
etaをMax Rhoに対応する値に設定する。
【0066】(6)適切な集中関数(Brent アルゴリズ
ムのような)を用いてRho histogramパラ
メータ、特にパラメータRho min 及びRho
axに関する更に制限した値を選択。
【0067】(7)(2)から(5)を、Max Rh
oが所望の精度に集中するまで反復。
【0068】(8)Max Rhoが集中するThet
aの値は、輪郭線及びその建造物の方向内の主要ライン
部分の方向に取られる。
【0069】エッジ方向ヒストグラムを計算(ステップ
62) 輪郭線追従及び建造物の方向の結果は輪郭線画像で、こ
の画像の中で各輪郭線画素は方向数、即ち図8の8個の
鎖コードを有する。この番号は図5に示される8個の隣
接マスクに関係している。各輪郭線画素に関して、x,
yでそのコード番号は、輪郭線を時計回りに追跡すると
きに、その隣接画素に向かう方向である。
【0070】(1)行水平エッジ・ヒストグラムH
Wは、水平方向、即ち東又は西(コード3又は7)の各
行内の輪郭線画素の数を続けることによって計算され
る。各行における輪郭線画素の全数H TOTも計数さ
れる。
【0071】(2)同様に、行垂直エッジヒストグラム
NSは、北又は南に向いている(コード1又は
5)各列の輪郭線画素を計数することにより構成され
る。又、各列内の輪郭線画素の全数V TOTも計数さ
れる。
【0072】水平及び垂直エッジヒストグラムのピーク
は、輪郭線内の最も可能性のある直線部分に位置する。
これらライン部分の間には、理想化された建造物全周の
コーナーの候補が位置する。
【0073】(3)行エッジのヒストグラムのピーク
は、コーナーの候補の検出に先立って鋭くされる。ピー
クは2つの方法で鋭くされる。(a)水平及び垂直方向
の画素の計数値と、全画素計数値を掛けることにより鋭
くされる。即ち、H NS*H TOT及びV EW*
TOT。(b)接近する0ではないヒストグラム要
素を囲み、各クラスター(cluster) 内の最大値をピーク
として選択する。クラスターは図7に示すように1つ以
上の連続する0要素によって囲まれる。
【0074】建造物領域の第2のテスト:直線性(ステ
ップ64) 各輪郭線のエッジ・ヒストグラムは、直線性の強度に関
してテストされる。このテストに合格しなければ、その
輪郭線は直線ではないと判断され、建造物として更に検
討されることはない。このテストは、建造物の色又は強
度特性を有する領域の輪郭線を振るい分けるが、直線か
らなる建造物の形状をしてない。しかし、切り出しステ
ップから得られる十分強力な証拠により、つまり、この
領域が建造物であるという、他の領域に対して色及び接
近性に関する強力な証拠があれば、否定的なテスト結果
は無効することができる。
【0075】この方法は、輪郭線の水平及び垂直エッジ
・ヒストグラムの”ピーク性”を測定する。直線からな
る輪郭線は、高く、良く限定されたピークを有する。一
方、直線以外の線からなる形状は低く、ノイズの多いピ
ークを有する。達成された測定値は荒いが、計算しやす
い値である。これはヒストグラムのピークでのエッジ・
エネルギと、全エッジエネルギの比である。
【0076】Rectilinear concent
ration=SUMip[HP(ip)+VP(i
p)]/SUi M[H(i)]+Sj UM[V
(j)]) ここで、 H(j)=H TOT(i)*H EW(i); V(j)=V TOT(j)*V NS(J); H TOT(i)及びV TOT(j)はその輪郭線の
th行とjth列における画素の全数である。H EW
(i)及びV NS(j)は、各々東・西/北・南方向
を有するith行/jth列内の画素の数である。これらの
量は前述のステップ62で計算される。
【0077】 H(ip)=H TOT(ip)*H EW(ip); V(jp)=V TOT(jp)*V NS(Jp); ipは水平ヒストグラムのピークの行番号;jpは垂直
ヒストグラムのピークの行番号;ip及びjpでのヒス
トグラム値は、前述のステップ62(3)で決定された
各クラスター以内の最大値である。
【0078】Rectilinear concent
rationは、完全な直線からなる物体に対して1.
0の値である。この比があるスレショルドより大きけれ
ば、その輪郭線は直線と判断される。実際の建造物の輪
郭線を用いた実験で、このスレショルドに適した値は
0.4であることが判った。
【0079】建造物のコーナーの仮定(ステップ68) (1)図8の小さい正方形のような、水平及び垂直エッ
ジ・ヒストグラムのピークの投影の間にあるコーナーの
候補の位置を検出する。
【0080】(2)図8に示すような隣接する候補から
等距離の水平及び垂直のラインを投影することにより、
各コーナー候補の周りの長方形領域を形成する。
【0081】(3)その輪郭線全周を追跡し、各コーナ
ー候補を方向別に分類する:左回り、右回り、上回り、
下回り、回転なし、又は異常形状など。コーナーは、輪
郭線が、各コーナー候補を囲む長方形領域に、どのよう
に入ったか及び出たかを判断することにより分類され
る。例えば、輪郭線がある領域の下から入り、そして右
に出て行けば、それは右回りコーナーである。同様に、
輪郭線が右から入り、左から出て行けば、それは回転な
しの候補であり、可能性のあるコーナーとして排除され
る。その長方形領域が輪郭線によって交差しない候補は
コーナーとなることはなく、これも排除される。
【0082】建造物の候補をテストする(ステップ7
0) このステップの目的は、前述のステップ68で仮定され
たコーナーの各候補の有効性をテストすることである。
これは閉じた直線からなる輪郭線を、異なるコーナー候
補のサブセットを用いて形成しようと試みることで行わ
れる。これら輪郭線は、ステップ68で決定されたよう
に各コーナーの方向に一致していなければならない。基
本的方法は、エッジ・ヒストグラム内の強力なピークの
交差により形成されるコーナーを重要視することであ
る。その処理を次に示す。
【0083】(1)4つの最も強力なヒストグラムのピ
ークに一致する初期コーナーの4つ、水平から2つ、垂
直ヒストグラムから2つを選択する。
【0084】(2)前述のステップ68のコーナーのテ
ストセットを繰り返す。閉じた輪郭線がこれらのコーナ
ーによって形成できる場合、このセットは有効な建造物
全周としてセーブされる。そうでなければ、そのセット
は異常形状の建造物として捨てられる。
【0085】(3)テストしていないコーナーを、次に
強力なヒストグラムのピークを選択し、及びそれと共に
存在するピーク投影と交差させテスト・セットに加算す
る。その結果の交差点は新らたに拡張されたテスト・セ
ットを構成する。
【0086】(4)テストしていないコーナーがなくな
るまで(2)と(3)を繰り返す。
【0087】(5)生成され、セーブされた有効な建造
物の輪郭線の中で、ほとんどのコーナーを含むものが、
建造物の全周として選択される。
【0088】図9は本発明を実施するシステムのハード
ウエアの簡略構成を示すブロック図である。この発明に
よって処理される写真102はデジタイザー104によ
ってデジタル化され、写真画像のデジタル形式を提供す
る。デジタル形式は画像処理コンピュータ106によっ
て処理され、そしてCRTディスプレイで処理結果を表
示できる。処理の出力は建造物の全周部で、これはメモ
リ110に格納される。
【0089】説明された以上の実施例は、本発明の原則
を説明するための特定実施例を単に示すものである。当
業者はこの発明の範囲及び精神から逸脱することなく、
これらの基本を基に他の構成を工夫できるものである。
【図面の簡単な説明】
【図1】本発明の処理を説明する概略フローチャート
【図2】本発明の処理を説明する概略フローチャート
【図3】図(A)乃至(D)は本発明による建造物特徴
抽出を説明する図。
【図4】切り出し後の建造物のテスト画像。
【図5】建造物を鎖符号化するときの隣接する8つの画
素マスクを示す図。
【図6】図(A)及び(B)は本発明による輪郭線追従
部の動作を示す。
【図7】図(A)は画素格子を用いて建造物の輪郭線の
主要な軸を位置合わせするときに使用するHough 変換に
用いられるパラメータのRho 対 Thetaを示すプロット。
図(B)は与えられたTheta 値に対して発生されるRho
のヒストグラム。図(C)はHough 変換を使用して、最
大のRho を発生するTheta の値を判断するときのビンの
サイズの調節を示す
【図8】本発明によるエッジ方向ヒストグラムの計算を
示す。
【図9】直線からなる物体の整合装置を実施するシステ
ムの簡単なブロック図。
【符号の説明】
104…デジタイゼー、106…画像処理コンピュー
タ、108…CRTディスプレイ、110…メモリ
フロントページの続き (72)発明者 シーザー・アンチエタ アメリカ合衆国、ウイスコンシン州 53045、ブルツクフイールド、タルボツ ツ・レーン 2485

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】 直線からなる画素格子内のN×M画素を
    具備する見下ろした地形画像から建造物の全周を抽出す
    る方法であって、 前記画像を処理して、建造物の候補である建造物領域を
    得て、前記建造物領域を含む画素は1の値を有し、前記
    建造物領域を含まない画素は0の値を有するバイナリ画
    像表現を提供するステップと、 前記バイナリ画像表現に基づき、前記地形画像を含む各
    建造物の候補の輪郭線のx−y画素リストを提供するよ
    うに動作するステップと、 前記バイナリ画像の画素格子に、各建造物領域の輪郭線
    の主要軸を整合させるステップと、 前記整合した建造物領域の輪郭線リストの水平及び垂直
    エッジ部の方向ヒストグラムを計算するステップと、 前記エッジ部のヒストグラム内のピークを、前記建造物
    領域画素の座標リストのコーナーの候補を仮定するのに
    使用するステップと、 前記コーナーの候補の異なる組み合わせを選択し、その
    コーナーの各組み合わせを接続して、閉じた連続的全周
    を形成することにより、及び接続不可能な各組み合わせ
    を捨てることにより、前記各組み合わせを有効な全周と
    してテストするステップと、及び最も多くのコーナー候
    補を有するコーナー候補の有効となった組み合わせを建
    造物全周として選択するステップと、を有することを特
    徴とする建造物の全周抽出方法。
  2. 【請求項2】 前記選択され有効となった建造物の全周
    を、画像内の本来の方向に再現するステップを更に含む
    ことを特徴とする請求項1記載の方法。
  3. 【請求項3】 選択された建造物領域の高さを高さスレ
    ショルドと比較し、その建造物の高さが地表の高さに接
    近していれば、前記建造物領域の候補を建造物ではない
    と判断するステップを更に含むことを特徴とする請求項
    1記載の方法。
  4. 【請求項4】 前記バイナリ画像表現に基づき前記輪郭
    線の座標リストを提供するステップは、鎖コードのリス
    ト及びx,y画素の座標リストの形式で、前記バイナリ
    画像表現を連続する輪郭線に変換するステップを含み、
    前記輪郭線の各画素には鎖コードが割り当てられ、この
    鎖コードは前記輪郭線内の次の画素の方向を与えること
    を特徴とする請求項1記載の方法。
  5. 【請求項5】 前記鎖コードは、 現在の画素に隣接する8個の周辺画素に基づいて参照表
    アドレスを決定し、 前記輪郭線が横切った以前の画素位置に基づいて、8個
    の方向参照表の中の1つの表を選択し、 前記選択された参照表内の選択されたアドレスから、鎖
    コードの方向値を得る、ことにより割り当てられること
    を特徴とする請求項4記載の方法。
  6. 【請求項6】 前記バイナリ画像表現に基づき動作する
    ステップは、前記現在の画素の周囲に隣接する8個の画
    素を使用して、2個以上の輪郭線分岐部に接続できる複
    合接続画素を検出するステップを更に含むことを特徴と
    する請求項5記載の方法。
  7. 【請求項7】 前記複合接続画素を検出するステップ
    は、前記周辺に隣接する8個の画素を、複合接続画素の
    置き換え参照表として使用し、現在の画素が複合接続さ
    れていることを示す値に対応する特定アドレスは、前記
    バイナリ画像表現内の前記画素値を値0で置き換えを生
    じ、及び現在の画素が複合接続されていること示す値に
    戻るアドレスは、前記現在の画素値を前記バイナリ画像
    表現に保つことを特徴とする請求項6記載の方法。
  8. 【請求項8】 複合接続された画素が検出されたとき、
    前記アドレスによりアクセスされる輪郭線連続画素置き
    換え参照表を使用するステップを更に含み、前記輪郭線
    連続参照表は、前記複合接続画素の方向関数を仮定し、
    及び他の複合接続画素又は連続する画素輪郭線が検出さ
    れたとき、前記現在の画素値は維持されるべきことを示
    し、他の場合は前記画素値を置き換えるべきことを示す
    値に戻ることを特徴とする請求項7記載の方法。
  9. 【請求項9】 前記建造物領域の輪郭線の主要軸を合わ
    せるステップは、 座標x,yを有する画像内の前記点の変換 Rho=x
    *cos(Theta)+y*sin(Theta)
    を、全画像に対してではなく、前記輪郭線上の前記点に
    対してのみ使用することを特徴とする請求項1記載の方
    法。
  10. 【請求項10】 前記変換は、 (i)Theta=0ラジアンと設定し、 (ii)前記輪郭線上の各点x,yに関するRhoを計
    算し、 (iii)結果のRho−Theta値の対をRho
    (最小値)、Rho(最大値)及びRho(ビンのサイ
    ズ)のパラメータを有するビンに入れ、 (iv)前記Rhoヒストグラムの最大値を決定し、 (v)Thetaを前記Rhoの最大値に対応する値に
    設定し、 (vi)前記パラメータに関する更に制限した値を選択
    し、 (vii)前記最大値が所望精度に収束するまで、ステ
    ップ(i)〜(vi)を繰り返し、 (viii)前記最大値が前記建造物の方向として収束
    するThetaの値を取るステップを含むことを特徴と
    する請求項9記載の方法。
  11. 【請求項11】 前記ヒストグラムを計算するステップ
    は、 水平方向の各行内の水平輪郭線画素の数を計数すること
    により、行水平エッジ部ヒストグラムを計算し、及び垂
    直方向の各列内の垂直輪郭線画素の数を計数することに
    よって、行垂直エッジ部ヒストグラムを計算するステッ
    プを含むことを特徴とする請求項1記載の方法。
  12. 【請求項12】 前記エッジ部ヒストグラムの前記ピー
    クは、 前記水平及び垂直画素の数に、前記行及び列内の画素の
    全数を各々乗算し、 隣接する0ではないヒストグラム要素を囲み、各クラス
    ター内の最大値をピークとして選択する、ことで鋭くな
    ることを特徴とする請求項11記載の方法。
  13. 【請求項13】 前記エッジ部ヒストグラムを使用して
    コーナーの候補を仮定するステップは、前記水平及び垂
    直エッジ部ヒストグラムのピークの投影部の交点にある
    コーナーの候補の位置を検出するステップを含むことを
    特徴とする請求項1記載の方法。
  14. 【請求項14】 前記エッジ部ヒストグラムを使用して
    コーナーの候補を仮定するステップは、 各コーナー候補の周辺の長方形領域を、隣接する候補か
    ら等距離にある水平及び垂直ラインを投影することによ
    り形成し、 各コーナー候補周辺の長方形領域に、輪郭線がどのよう
    に入っているか又は出ているかを判断することによっ
    て、各コーナー候補を方向に関して分類し、 その長方形領域が前記輪郭線と交差しない候補、及びそ
    の輪郭線が水平又は垂直に前記長方形領域に入る及び出
    る候補の全てを、計算から除外するステップを更に含む
    ことを特徴とする請求項13記載の方法。
  15. 【請求項15】 各建造物領域の垂直及び水平寸法を、
    試作建造物の寸法のセットと比べてテストし、前記領域
    の寸法が小さすぎる又は大きすぎるとき、その建造物領
    域を建造物ではないと判断するステップを更に含むこと
    を特徴とする請求項1記載の方法。
  16. 【請求項16】 前記ヒストグラムのピーク集中率を現
    在のスレショルドに対してテストし、この率が前記スレ
    ショルドより少なければ、前記建造物領域を建造物では
    ないと判断するステップを更に含むことを特徴とする請
    求項1記載の方法。
  17. 【請求項17】 見下ろした地形画像から建造物の全周
    を抽出するシステムであって、 前記画像をデジタル化して、直線からなる画素格子内の
    N×M画素で主に構成される画像表現を形成する手段を
    具備し、前記画像表現を処理する画像処理手段は、 建造物の候補である領域を獲得し、前記建造物領域から
    なる画素は1の値を有し、前記建造物領域を構成しない
    画素は0の値を有するバイナリ画像表現を提供する手段
    と、 前記バイナリ画像表現に基づいて動作し、前記地形画像
    を含む各建造物の候補の輪郭線のx−y画素座標のリス
    トを提供する手段と、 各建造物領域の輪郭線の主要軸を、前記バイナリ画像の
    画素格子に整合させる手段と、 前記整合した建造物の輪郭線リストの垂直及び水平エッ
    ジ部方向ヒストグラムを計算する手段と、 前記ヒストグラム内のピークを、前記建造物領域画素の
    座標リストのコーナーの候補を仮定するときに使用する
    手段と、 コーナー候補の異なる組み合わせを選択し、コーナーの
    各組み合わせを接続することにより、各組み合わせを有
    効パラメータとしてテストし、閉じた連続する全周を形
    成し、接続不可能な組み合わせを排除する手段と、及び
    最も数の多いコーナー候補を有するコーナー候補の有効
    な組み合わせを、建造物全周として選択する手段とを具
    備し、 更に前記システムは前記選択された建造物全周を表示す
    る手段を具備することを特徴とする建造物の全周抽出シ
    ステム。
  18. 【請求項18】 前記処理手段は更に、前記選択された
    建造物の全周を、前記画像内のその本来の方向に再整合
    する手段を含むことを特徴とする請求項17記載のシス
    テム。
  19. 【請求項19】 前記処理手段は、選択された建造物領
    域の高さと高さのスレショルドとを比較して、前記建造
    物の高さが地表の高さに近いときは、前記建造物領域の
    候補を建造物ではないと判断する手段を更に具備するこ
    とを特徴とする請求項17記載のシステム。
JP4064276A 1991-03-20 1992-03-21 直線からなる物体の画像整合方法及び装置 Pending JPH05101183A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US674274 1991-03-20
US07/674,274 US5265173A (en) 1991-03-20 1991-03-20 Rectilinear object image matcher

Publications (1)

Publication Number Publication Date
JPH05101183A true JPH05101183A (ja) 1993-04-23

Family

ID=24705991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4064276A Pending JPH05101183A (ja) 1991-03-20 1992-03-21 直線からなる物体の画像整合方法及び装置

Country Status (4)

Country Link
US (1) US5265173A (ja)
EP (1) EP0505077A3 (ja)
JP (1) JPH05101183A (ja)
CA (1) CA2061313A1 (ja)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067379A (en) * 1988-12-09 2000-05-23 Cognex Corporation Method and apparatus for locating patterns in an optical image
EP0522877B1 (en) * 1991-07-12 1998-09-23 Canon Kabushiki Kaisha Image processing
US5634021A (en) * 1991-08-15 1997-05-27 Borland International, Inc. System and methods for generation of design images based on user design inputs
US6002793A (en) * 1992-01-30 1999-12-14 Cognex Corporation Machine vision method and apparatus for finding an object orientation angle of a rectilinear object
EP0610605B1 (en) * 1993-02-11 1997-07-16 Agfa-Gevaert N.V. Method of recognising an irradiation field
US5414462A (en) * 1993-02-11 1995-05-09 Veatch; John W. Method and apparatus for generating a comprehensive survey map
AU5592894A (en) * 1993-10-05 1995-05-01 Giga Operations Corporation Implementation of morphology manipulation in programmable hardware
KR100242880B1 (ko) * 1994-12-29 2000-02-01 전주범 분할된 영역의 윤곽추적장치
JP2720807B2 (ja) * 1995-02-27 1998-03-04 日本電気株式会社 シナリオ編集装置
EP0742536B1 (en) * 1995-05-11 2000-09-13 Agfa-Gevaert N.V. Method of recognising one or more irradiation fields
US6026176A (en) 1995-07-25 2000-02-15 Cognex Corporation Machine vision methods and articles of manufacture for ball grid array inspection
US5757956A (en) * 1995-10-31 1998-05-26 Cognex Corp. Template rotating method for locating bond pads in an image
US5754679A (en) * 1995-10-31 1998-05-19 Cognex Corp. Image rotating method for locating bond pads in an image
US5845007A (en) * 1996-01-02 1998-12-01 Cognex Corporation Machine vision method and apparatus for edge-based image histogram analysis
US5872870A (en) * 1996-02-16 1999-02-16 Cognex Corporation Machine vision methods for identifying extrema of objects in rotated reference frames
US5909504A (en) * 1996-03-15 1999-06-01 Cognex Corporation Method of testing a machine vision inspection system
US6298149B1 (en) 1996-03-21 2001-10-02 Cognex Corporation Semiconductor device image inspection with contrast enhancement
US6259827B1 (en) 1996-03-21 2001-07-10 Cognex Corporation Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
US5949901A (en) * 1996-03-21 1999-09-07 Nichani; Sanjay Semiconductor device image inspection utilizing image subtraction and threshold imaging
US5978502A (en) * 1996-04-01 1999-11-02 Cognex Corporation Machine vision methods for determining characteristics of three-dimensional objects
US6137893A (en) * 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
US5960125A (en) 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US5953130A (en) * 1997-01-06 1999-09-14 Cognex Corporation Machine vision methods and apparatus for machine vision illumination of an object
US6075881A (en) 1997-03-18 2000-06-13 Cognex Corporation Machine vision methods for identifying collinear sets of points from an image
US5974169A (en) * 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
US6141033A (en) * 1997-05-15 2000-10-31 Cognex Corporation Bandwidth reduction of multichannel images for machine vision
US6608647B1 (en) 1997-06-24 2003-08-19 Cognex Corporation Methods and apparatus for charge coupled device image acquisition with independent integration and readout
US5978080A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view
US6072889A (en) * 1997-12-03 2000-06-06 The Raytheon Company Method and system for imaging target detection
US6025854A (en) * 1997-12-31 2000-02-15 Cognex Corporation Method and apparatus for high speed image acquisition
US6282328B1 (en) 1998-01-28 2001-08-28 Cognex Corporation Machine vision systems and methods for morphological transformation of an image with non-uniform offsets
US6236769B1 (en) 1998-01-28 2001-05-22 Cognex Corporation Machine vision systems and methods for morphological transformation of an image with zero or other uniform offsets
US6215915B1 (en) 1998-02-20 2001-04-10 Cognex Corporation Image processing methods and apparatus for separable, general affine transformation of an image
US6381375B1 (en) 1998-02-20 2002-04-30 Cognex Corporation Methods and apparatus for generating a projection of an image
US6516092B1 (en) 1998-05-29 2003-02-04 Cognex Corporation Robust sub-model shape-finder
EP0974931A1 (en) * 1998-07-24 2000-01-26 Xerox Corporation Method and apparatus for identifying a plurality of sub-images in an input image
US6687402B1 (en) 1998-12-18 2004-02-03 Cognex Corporation Machine vision methods and systems for boundary feature comparison of patterns and images
US6381366B1 (en) 1998-12-18 2002-04-30 Cognex Corporation Machine vision methods and system for boundary point-based comparison of patterns and images
IT1309673B1 (it) * 1999-03-24 2002-01-30 Corob Internat Ag Procedimento per l'individuazione di aree chiuse e la definizione dimascherature di un'immagine digitale
EP1089214A3 (en) * 1999-09-30 2005-01-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for image recognition
US6684402B1 (en) 1999-12-01 2004-01-27 Cognex Technology And Investment Corporation Control methods and apparatus for coupling multiple image acquisition devices to a digital data processor
US6748104B1 (en) 2000-03-24 2004-06-08 Cognex Corporation Methods and apparatus for machine vision inspection using single and multiple templates or patterns
US6760465B2 (en) * 2001-03-30 2004-07-06 Intel Corporation Mechanism for tracking colored objects in a video sequence
US7440504B2 (en) * 2001-09-24 2008-10-21 Broadcom Corporation Method and apparatus for performing deblocking filtering with interlace capability
US9042445B2 (en) 2001-09-24 2015-05-26 Broadcom Corporation Method for deblocking field-frame video
US7391906B2 (en) * 2001-12-05 2008-06-24 Microsoft Corporation Methods and system for providing image object boundary definition by particle filtering
US7149356B2 (en) * 2002-07-10 2006-12-12 Northrop Grumman Corporation System and method for template matching of candidates within a two-dimensional image
US7146057B2 (en) * 2002-07-10 2006-12-05 Northrop Grumman Corporation System and method for image analysis using a chaincode
US7116823B2 (en) 2002-07-10 2006-10-03 Northrop Grumman Corporation System and method for analyzing a contour of an image by applying a Sobel operator thereto
US7424133B2 (en) 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
US7324666B2 (en) * 2002-11-15 2008-01-29 Whitegold Solutions, Inc. Methods for assigning geocodes to street addressable entities
US8423114B2 (en) 2006-10-04 2013-04-16 Dexcom, Inc. Dual electrode system for a continuous analyte sensor
US7191066B1 (en) * 2005-02-08 2007-03-13 Harris Corp Method and apparatus for distinguishing foliage from buildings for topographical modeling
US7557963B2 (en) * 2005-08-12 2009-07-07 Seiko Epson Corporation Label aided copy enhancement
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US7965887B2 (en) * 2005-12-01 2011-06-21 Cognex Technology And Investment Corp. Method of pattern location using color image data
US8630498B2 (en) 2006-03-02 2014-01-14 Sharp Laboratories Of America, Inc. Methods and systems for detecting pictorial regions in digital images
US7864365B2 (en) * 2006-06-15 2011-01-04 Sharp Laboratories Of America, Inc. Methods and systems for segmenting a digital image into regions
US8437054B2 (en) * 2006-06-15 2013-05-07 Sharp Laboratories Of America, Inc. Methods and systems for identifying regions of substantially uniform color in a digital image
US8162584B2 (en) 2006-08-23 2012-04-24 Cognex Corporation Method and apparatus for semiconductor wafer alignment
US7873238B2 (en) 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
US7876959B2 (en) * 2006-09-06 2011-01-25 Sharp Laboratories Of America, Inc. Methods and systems for identifying text in digital images
US8593518B2 (en) 2007-02-01 2013-11-26 Pictometry International Corp. Computer system for continuous oblique panning
US8520079B2 (en) 2007-02-15 2013-08-27 Pictometry International Corp. Event multiplexer for managing the capture of images
US7970129B2 (en) * 2007-04-19 2011-06-28 Spansion Llc Selection of a lookup table with data masked with a combination of an additive and multiplicative mask
US8385672B2 (en) 2007-05-01 2013-02-26 Pictometry International Corp. System for detecting image abnormalities
US9262818B2 (en) 2007-05-01 2016-02-16 Pictometry International Corp. System for detecting image abnormalities
US7873215B2 (en) * 2007-06-27 2011-01-18 Seiko Epson Corporation Precise identification of text pixels from scanned document images
US7991226B2 (en) 2007-10-12 2011-08-02 Pictometry International Corporation System and process for color-balancing a series of oblique images
WO2009051258A1 (ja) * 2007-10-19 2009-04-23 Pasco Corporation 家屋異動判定方法、及び家屋異動判定プログラム
US8531472B2 (en) 2007-12-03 2013-09-10 Pictometry International Corp. Systems and methods for rapid three-dimensional modeling with real façade texture
US8320615B2 (en) * 2008-02-27 2012-11-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
US8588547B2 (en) 2008-08-05 2013-11-19 Pictometry International Corp. Cut-line steering methods for forming a mosaic image of a geographical area
US8401222B2 (en) 2009-05-22 2013-03-19 Pictometry International Corp. System and process for roof measurement using aerial imagery
US9330494B2 (en) 2009-10-26 2016-05-03 Pictometry International Corp. Method for the automatic material classification and texture simulation for 3D models
US8477190B2 (en) 2010-07-07 2013-07-02 Pictometry International Corp. Real-time moving platform management system
WO2012022958A1 (en) * 2010-08-19 2012-02-23 Bae Systems Plc Sensor data processing
EP2420972A1 (en) * 2010-08-19 2012-02-22 BAE SYSTEMS plc Sensor data processing
US8823732B2 (en) 2010-12-17 2014-09-02 Pictometry International Corp. Systems and methods for processing images with edge detection and snap-to feature
US20140081605A1 (en) * 2011-06-09 2014-03-20 Kyoto University Dtm estimation method, dtm estimation program, dtm estimation device, and method for creating 3-dimensional building model, and region extraction method, region extraction program, and region extraction device
CA2835290C (en) 2011-06-10 2020-09-08 Pictometry International Corp. System and method for forming a video stream containing gis data in real-time
US9183538B2 (en) 2012-03-19 2015-11-10 Pictometry International Corp. Method and system for quick square roof reporting
US20140212050A1 (en) * 2013-01-30 2014-07-31 Qualcomm Incorporated Systems and methods for processing an image
US9881163B2 (en) 2013-03-12 2018-01-30 Pictometry International Corp. System and method for performing sensitive geo-spatial processing in non-sensitive operator environments
US9244272B2 (en) 2013-03-12 2016-01-26 Pictometry International Corp. Lidar system producing multiple scan paths and method of making and using same
US9753950B2 (en) 2013-03-15 2017-09-05 Pictometry International Corp. Virtual property reporting for automatic structure detection
US9275080B2 (en) 2013-03-15 2016-03-01 Pictometry International Corp. System and method for early access to captured images
US9704291B2 (en) 2013-11-08 2017-07-11 Here Global B.V. Structure model creation from a three dimensional surface
EP3435188B1 (en) 2014-01-10 2021-11-10 Pictometry International Corp. Structure evaluation system and method using an unmanned aircraft
US9292913B2 (en) 2014-01-31 2016-03-22 Pictometry International Corp. Augmented three dimensional point collection of vertical structures
WO2015120188A1 (en) 2014-02-08 2015-08-13 Pictometry International Corp. Method and system for displaying room interiors on a floor plan
EP3403050A4 (en) 2016-02-15 2019-08-21 Pictometry International Corp. AUTOMATED SYSTEM AND METHOD OF CHARACTERIZATION EXTRACTION
US10671648B2 (en) 2016-02-22 2020-06-02 Eagle View Technologies, Inc. Integrated centralized property database systems and methods
CN108806615B (zh) * 2018-05-25 2020-09-01 福州大学 一种针对电润湿显示器的新型像素数据编码方法及装置
CN113298834B (zh) * 2021-04-29 2022-07-05 华工法利莱切焊系统工程有限公司 金属板材视觉寻边图像处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6474681A (en) * 1987-09-17 1989-03-20 Nissan Motor Segment detecting device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3636513A (en) * 1969-10-17 1972-01-18 Westinghouse Electric Corp Preprocessing method and apparatus for pattern recognition
US4490848A (en) * 1982-03-31 1984-12-25 General Electric Company Method and apparatus for sorting corner points in a visual image processing system
US4499598A (en) * 1982-07-02 1985-02-12 Conoco Inc. Edge and line detection in multidimensional noisey, imagery data
JPS59135579A (ja) * 1983-01-21 1984-08-03 Fuji Electric Co Ltd パタ−ンの輪郭追跡方法
US4783828A (en) * 1986-06-02 1988-11-08 Honeywell Inc. Two-dimensional object recognition using chain codes, histogram normalization and trellis algorithm
JPH0244202A (ja) * 1988-08-05 1990-02-14 Bridgestone Corp 物体の端部位置を検出する装置
EP0375805B1 (en) * 1988-12-30 1995-05-24 Yozan Inc. Vectorizing method
US5052044A (en) * 1990-02-02 1991-09-24 Eastman Kodak Company Correlated masking process for deskewing, filtering and recognition of vertically segmented characters
US5093869A (en) * 1990-12-26 1992-03-03 Hughes Aircraft Company Pattern recognition apparatus utilizing area linking and region growth techniques
JPH1119876A (ja) * 1997-06-27 1999-01-26 Nippon Tokushu Kento Kk ディスクグラインダー用オフセット型弾性砥石

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6474681A (en) * 1987-09-17 1989-03-20 Nissan Motor Segment detecting device

Also Published As

Publication number Publication date
CA2061313A1 (en) 1992-09-21
US5265173A (en) 1993-11-23
EP0505077A3 (en) 1993-12-08
EP0505077A2 (en) 1992-09-23

Similar Documents

Publication Publication Date Title
JPH05101183A (ja) 直線からなる物体の画像整合方法及び装置
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN109859226B (zh) 一种图形分割的棋盘格角点亚像素的检测方法
Rodehorst et al. Comparison and evaluation of feature point detectors
JP4528309B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
KR100810326B1 (ko) 다해상도 3차원 모델 생성 방법
CN110176064B (zh) 一种摄影测量生成三维模型的主体对象自动识别方法
Tarsha Kurdi et al. Automatic filtering and 2D modeling of airborne laser scanning building point cloud
Goldgof et al. A curvature-based approach to terrain recognition
CN113538501A (zh) 低空图像dsm生成建筑物边缘精细化方法
CN113723399A (zh) 一种车牌图像矫正方法、车牌图像矫正装置和存储介质
CN113688846A (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
Wasenmüller et al. Combined bilateral filter for enhanced real-time upsampling of depth images
Tarsha Kurdi et al. Automatic 2D modelling of inner roof planes boundaries starting from Lidar data
CN116921932A (zh) 焊接轨迹识别方法、装置、设备及存储介质
CN115880371A (zh) 一种红外视角下反光靶标中心定位方法
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN111667429B (zh) 一种巡检机器人目标定位校正方法
CN113343987A (zh) 文本检测处理方法、装置、电子设备及存储介质
CN116523984B (zh) 一种3d点云定位及配准方法、设备和介质
CN115965572B (zh) 一种基于模板比对的三级管外观缺陷检测方法
Arefi et al. Ridge based decomposition of complex buildings for 3D model generation from high resolution digital surface models
CN117115242B (zh) 标志点的识别方法、计算机存储介质和终端设备