JPH03196372A - 画像の位置合わせ装置 - Google Patents

画像の位置合わせ装置

Info

Publication number
JPH03196372A
JPH03196372A JP1335055A JP33505589A JPH03196372A JP H03196372 A JPH03196372 A JP H03196372A JP 1335055 A JP1335055 A JP 1335055A JP 33505589 A JP33505589 A JP 33505589A JP H03196372 A JPH03196372 A JP H03196372A
Authority
JP
Japan
Prior art keywords
data
image
map
reference point
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1335055A
Other languages
English (en)
Inventor
Hideo Numagami
沼上　英雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP1335055A priority Critical patent/JPH03196372A/ja
Priority to EP90313611A priority patent/EP0435522B1/en
Priority to DE69026806T priority patent/DE69026806T2/de
Priority to US07/632,930 priority patent/US5155774A/en
Publication of JPH03196372A publication Critical patent/JPH03196372A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） この発明はＩＴＶ等で撮影された市街地等の画像データ
とデータベースとして予め登録された地図データとを対
応付けし重ね合わせるための画像位置合わせ装置に関す
る。
（従来の技術） ヘリコプタ−に搭載したＩＴＶ等で市街地の監視を行な
う場合、撮影した画像とこれに対応するところの町丁や
地番界等の行政界データや道路データ等の地図データと
を重ね合わせて表示することがしばしば必要とされる。
このような場合、既存の衛星航法や慣性航法システムを
併用することで大まかな位置合わせができるが、現状で
は百数十ｍの誤差が生じてしまう。
そのため、従来正確な位置合わせを必要とする場合には
、画像データと地図データに対応する基準点とを対話的
に入力して幾何補正を行なう必要があった。
（発明が解決しようとする課題） このように従来の方式では、正確な位置合わせのための
基準点を対話的に入力せねばならず、そのため時々刻々
入力されてくる画像データについて、逐次対話的に基準
点を入力するという面倒な作業が必要とされ、特に地理
に不案内の場合には迅速に対応できず操作性に劣るとい
う問題点があった。
この発明は、上述の問題点に鑑み為されたもので、その
目的とするところは、人間が介在することなく高精度か
つ迅速な位置合わせが可能な画像の位置合わせ装置を提
供することにある。
［発明の構成］ （課題を解決するための手段） この発明は、上記の目的を達成するために、ＩＴＶ等で
撮影されかつ大まかな位置データが付与された画像デー
タとデータベースに予め登録された地図データとを対応
付けし重ね合わせるための画像の位置合わせ装置におい
て、 前記画像データに付与された大まかな位置情報に基いて
、前記データベースから対象となる画像データに対応す
る領域の地図データを検索する手段と、 前記対象となる画像データから位置合わせのための画像
上の基準点データを抽出する手段と、前記画像上の基準
点データと前記地図データに予め登録されている地図上
の基準点データとから前記画像データと前記地図データ
の２つの座標系間の座標変換式の変換係数を算出する手
段と、前記算出された変換係数が正しいか否かを判定検
証する手段と、 を備えたことを特徴とするものである。
（作用） この発明は、画像と地図との位置合せのための変換係数
を算出する際、画像上の基準点として係数算出用と検証
用とを抽出し、この係数算出用の基準点と検索された地
図データ上の基準点の全ての組み合わせにおける変換係
数を順次算出し、その中でどの変換係数が妥当であるか
を検証用の基準点て検証することにより、画像と地図と
の正確な位置合わせを自動的に行なうようにしている。
（実施例） 第１図は、本発明の一実施例に係わる画像の位置合わせ
装置の構成を示すブロック図である。
同図において、画像データ１は例えばヘリコプタ−に搭
載されたＩＴＶ等により市街地等を撮影した映像信号で
あり、画像処理装置２は画像データ１の映像信号を例え
ば５１２Ｘ５１２の大きさに量子化して記憶すると共に
、この量子化された画像データに対してＣＰＵ５の制御
の基に画像処理を施し、位置合わせのため基準点の抽出
を行なう。
位置情報４は、例えば画像データ１゜に対して衛星航法
システムや慣性航法システムにより算出された緯度、経
度、高さの等の撮影位置に関する大まかな位置情報及び
ＩＴＶの方位、視野角等のカメラパラメータである。
地図データベース（ＤＢ）６は、例えば監視対象地域に
関する位置合わせのための地図上の基準点及び行政界、
道路、建物等の図形データとその属性データからなり、
緯度、経度の座標系で管理されている。
ＣＰＵ５は、装置全体の動作を制御すると共に、位置情
報４に基づき画像データ１に対応する地図データを地図
ＤＢ６から検索し、この検索された地図データの基準点
と画像処理装置２で抽出された画像上の基準点から画像
データ１と地図との位置合わせを行ない、表示装置６に
位置合わせされた画像データ１と地図とを重ね合わせて
表示する。
次に、第２図のフローチャートを参照して本実施例装置
の動作を詳細に説明する。
まず、画像データ］を量子化して画像処理装置２に記憶
する（ステップ２０１）。
次に、位置情報に基づき画像１に対応するところの地図
ＤＢ上での範囲を求め、この範囲に余裕（例えば上下左
右方向に位置精度の誤差を考慮して２００ｍ程度の幅）
を持たせて地図データを検索する（ステップ２０２，２
０３）。
地図ＤＢ上での範囲の算出は、例えば撮影位置の緯度、
経度、高さをｘ、ｙ、ｚとし、カメラの視野角方位をα
、βとして鉛直方向に撮影したとすれば、第３図に示す
方位が０の時の範囲１１を第１に求め、これに誤差の幅
を持たせた範囲１２を第２に求め、これを方位データた
け回転することにより、最終的な地図ＤＢ上の範囲］３
を求める。
次に、位置合わせのための基準点として、例えば主要な
道路の交差点を抽出する（ステップ２０４）。
画像上の基準点の抽出は、例えば道路の色彩情報、形状
等が建物や公園・緑地等と異なることに着目し、まず予
め設定された色彩情報、形状等の特徴を持つ領域を切出
すことで道路を抽出した後、各道路領域の中心点を求め
、これらの中心点を道路の交差点として抽出する。
この場合、道路領域及び基準点となる交差点を完全に抽
出する必要はなく、位置合わせに必要な必要最少限だけ
抽出すればよい。
位置合わせのための座標変換は、基準点が同一平面上に
あるとすれば二次の射影変換式で行なうことができる。
すなわち、ＩＴＶ等で一度に撮影する範囲を広く取らな
いようにすれば、撮影された地上面を平面と考えること
ができる。
そこで、第４図に示すように画像面をり、検索された地
図データの平面をＬ′とすれば、投影中心０に関して平
面り上の点（ｘ、ｙ）に対応するところの平面Ｌ′の点
（Ｘ’　、Ｙ’　）は次式により求めることができる。
Ｘ’　−（ｂｌＸ＋ｂ２Ｙ＋ｂ３）／　（ｂ７Ｘ＋ｂ８
Ｙ＋１） Ｙ’　　＝　（ｂ４Ｘ＋ｂ５Ｙ＋ｂ６）／　（ｂ７Ｘ＋
ｂ８Ｙ＋１） この変換式の係数ｂ１〜ｂ８は、画像データ１と検索さ
れた地図データに対応するところの４点以上の基準点を
与えることにより求めることができる。
今仮に、画像データ１の基準点として第５図に示すよう
な１１個の基準点が抽出されたとする。
このうち係数算出用の基準点として画像全体に分布して
いる４点を自動的に選択する。
この例の場合、相互の距離の和が最大の組み合わせとな
る基準点（２，４，８，１１，）を係数算出用とし、そ
の他を検証用とする。
今仮に、検索された地図データについて第６図に示すよ
うな基準点が登録されていたとする。
係数計算は、画像データの係数算出用の基準点と地図デ
ータ上の基準点１〜２３の全ての４点の組み合わせにつ
いて順次変換係数を求めていき（ステップ２０５，２０
６）、この変換係数を用いて検証用の基準点の地図デー
タ上での座標を求め、対応する位置の近傍に地図データ
の基準点が存在するか否かを調べることにより変換係数
の妥当性の判断を行なう（ステップ２０８）。
例えば、地図データの基準点の組み合わせを（１，２，
３，４）、　　（１，２，４，３）・・・と順次に変え
てゆき、（６，８，１５，１８）の組み合せの時に、画
像データ上の検証用の基準点（１゜　０ ３．５，６，７，９．・１０）に対応する地図ブタ上の
基準点（５，７，１屹　１１，１２．１．６゜１７）が
存在することになり、この場合の変換係数が妥当である
ということになる。
基準点の組み合わせを選択する時に、隣接していたり、
直線状に分布しているような組み合わせを除外すること
で処理の高速化を図ることができる。
以上の処理により、画像と地図との位置合ゎせを自動的
に行なうことができ、位置合わせされた画像と地図は重
ね合わせて表示装置６に表示される。
［発明の効果］ 以上説明したように、この発明によれば、ヘリコプタ−
等に搭載されたＩＴＶ等により市街地等を撮影した画像
データと地図との厳密な位置合ゎせを行なう場合に、こ
れに人間が介在することなく、迅速かつ高精度に行なわ
せることができる。
【図面の簡単な説明】
第１図は本発明の一実施例に係わる画像の位置合わせ装
置の構成を示すブロック図、第２図は第１図の画像の位
置合わせ装置の動作を示すフローチャート、第３図は画
像データ１に対応するところの地図ＤＢ上の範囲を説明
するための図、第４図は画像と地図とを位置合わせする
ための座標変換式を説明するための図、第５図は画像デ
ータ１の基準点を説明するための図、第６図は地図デー
タに登録されている基準点データを説明するための図で
ある。 １・・・画像データ　２・・・画像処理装置３・・・表
示装置　４・・・位置情報

Claims (5)

    【特許請求の範囲】
  1. （１）ＩＴＶ等で撮影されかつ大まかな位置データが付
    与された画像データとデータベースに予め登録された地
    図データとを対応付けし重ね合わせるための画像の位置
    合わせ装置において、 前記画像データに付与された大まかな位置情報に基いて
    、前記データベースから対象となる画像データに対応す
    る領域の地図データを検索する手段と、 前記対象となる画像データから位置合わせのための画像
    上の基準点データを抽出する手段と、前記画像上の基準
    点データと前記地図データに予め登録されている地図上
    の基準点データとから前記画像データと前記地図データ
    の２つの座標系間の座標変換式の変換係数を算出する手
    段と、前記算出された変換係数が正しいか否かを判定検
    証する手段と、 を備えたことを特徴とする画像データの位置合わせ装置
    。
  2. （２）前記地図データの検索手段は、前記位置データの
    誤差を考慮して、前記対象となる画像データに対応する
    領域が必ず含まれるように余裕もった範囲の地図データ
    を検索することを特徴とする請求項１に記載の画像の位
    置合わせ装置。
  3. （３）前記画像上の基準点データは、変換係数を算出す
    るための基準点データと変換係数を検証するための基準
    点データとからなることを特徴とする請求項１に記載の
    画像の位置合わせ装置。
  4. （４）前記変換係数の算出手段は、前記画像データの係
    数算出用の基準データと前記検索された地図データに登
    録されている地図上の基準データとの組み合わせに対し
    て、条件を満たすまで順次変換係数を算出することを特
    徴とする請求項１に記載の画像の位置合わせ装置。
  5. （５）前記変換係数の検証手段は、前記画像データの検
    証用の基準点データに対応する地図上の基準点データが
    許容誤差範囲内の所に存在するか否かを調べることによ
    り検証を行うことを特徴とする請求項１に記載の画像の
    位置合わせ装置。
JP1335055A 1989-12-26 1989-12-26 画像の位置合わせ装置 Pending JPH03196372A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP1335055A JPH03196372A (ja) 1989-12-26 1989-12-26 画像の位置合わせ装置
EP90313611A EP0435522B1 (en) 1989-12-26 1990-12-13 Image location identification apparatus
DE69026806T DE69026806T2 (de) 1989-12-26 1990-12-13 Bildstellungsidentifizierungssgerät
US07/632,930 US5155774A (en) 1989-12-26 1990-12-24 Apparatus and method for verifying transformation coefficients to identify image location

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1335055A JPH03196372A (ja) 1989-12-26 1989-12-26 画像の位置合わせ装置

Publications (1)

Publication Number Publication Date
JPH03196372A true JPH03196372A (ja) 1991-08-27

Family

ID=18284244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1335055A Pending JPH03196372A (ja) 1989-12-26 1989-12-26 画像の位置合わせ装置

Country Status (4)

Country Link
US (1) US5155774A (ja)
EP (1) EP0435522B1 (ja)
JP (1) JPH03196372A (ja)
DE (1) DE69026806T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864632A (en) * 1995-10-05 1999-01-26 Hitachi, Ltd. Map editing device for assisting updating of a three-dimensional digital map
JP2009075825A (ja) * 2007-09-20 2009-04-09 Tokyo Univ Of Science 画像幾何学的歪補正方法、プログラム、及び画像幾何学的歪補正装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04250436A (ja) * 1991-01-11 1992-09-07 Pioneer Electron Corp 撮像装置
US5287417A (en) * 1992-09-10 1994-02-15 Microsoft Corporation Method and system for recognizing a graphic object's shape, line style, and fill pattern in a pen environment
US5550937A (en) * 1992-11-23 1996-08-27 Harris Corporation Mechanism for registering digital images obtained from multiple sensors having diverse image collection geometries
AU673571B2 (en) * 1992-11-24 1996-11-14 Frank Data International N.V. A method and device for producing panoramic images, and a method and device for consulting panoramic images
EP0650125A1 (en) * 1993-10-20 1995-04-26 Nippon Lsi Card Co., Ltd. Handy computer with built-in digital camera and spot state recording method using the same
JPH07146871A (ja) * 1993-11-24 1995-06-06 Hitachi Ltd 静止画検索装置および静止画検索方法
JP3026712B2 (ja) * 1993-12-09 2000-03-27 キヤノン株式会社 画像検索方法及びその装置
US5613013A (en) * 1994-05-13 1997-03-18 Reticula Corporation Glass patterns in image alignment and analysis
DE19502423A1 (de) * 1995-01-26 1996-08-08 Siemens Ag Verfahren zum Zuordnen der Aufnahmeposition zu einer Fotografie
US5672820A (en) * 1995-05-16 1997-09-30 Boeing North American, Inc. Object location identification system for providing location data of an object being pointed at by a pointing device
FR2735598B1 (fr) * 1995-06-16 1997-07-11 Alsthom Cge Alcatel Methode d'extraction de contours par une approche mixte contour actif et amorce/guidage
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
JP3658659B2 (ja) * 1995-11-15 2005-06-08 カシオ計算機株式会社 画像処理装置
JP3743988B2 (ja) * 1995-12-22 2006-02-08 ソニー株式会社 情報検索システムおよび方法、並びに情報端末
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
JP3535724B2 (ja) * 1997-12-25 2004-06-07 キヤノン株式会社 画像撮像装置およびその方法、並びに記憶媒体
US6445399B1 (en) 1998-01-20 2002-09-03 Rafael - Armament Development Authority Ltd. System and method of visual orientation
US6281970B1 (en) 1998-03-12 2001-08-28 Synergistix Llc Airborne IR fire surveillance system providing firespot geopositioning
US6522889B1 (en) * 1999-12-23 2003-02-18 Nokia Corporation Method and apparatus for providing precise location information through a communications network
DE10138719A1 (de) * 2001-08-07 2003-03-06 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen
JP4123473B2 (ja) * 2002-08-19 2008-07-23 日本電気株式会社 携帯電話機
DE10354752B4 (de) * 2002-11-25 2006-10-26 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur automatischen Entzerrung von einkanaligen oder mehrkanaligen Bildern
WO2005119178A1 (en) * 2004-06-02 2005-12-15 Athena Technologies, Inc. Image-augmented inertial navigation system (iains) and method
US20070070233A1 (en) * 2005-09-28 2007-03-29 Patterson Raul D System and method for correlating captured images with their site locations on maps
CN100384220C (zh) * 2006-01-17 2008-04-23 东南大学 摄像机标定数据的采集方法及其标定板
EP2161195B1 (en) * 2008-09-08 2012-04-18 Thales Avionics, Inc. A system and method for providing a live mapping display in a vehicle
CN101709963B (zh) * 2009-12-23 2011-07-13 西南交通大学 一种消除数字摄影测量物方控制点与影像定位偏差的技术
WO2022191816A1 (en) * 2021-03-08 2022-09-15 Hewlett-Packard Development Company, L.P. Location identification with multiple images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3748644A (en) * 1969-12-31 1973-07-24 Westinghouse Electric Corp Automatic registration of points in two separate images
FR2357022A1 (fr) * 1976-07-02 1978-01-27 Thomson Csf Dispositif de visualisation combinee d'une carte mobile et d'informations de navigation et systeme indicateur electronique de navigation comportant un tel dispositif
JPS59132099A (ja) * 1983-01-17 1984-07-30 株式会社デンソー 車両用走行案内システム
US4641352A (en) * 1984-07-12 1987-02-03 Paul Fenster Misregistration correction
US4876651A (en) * 1988-05-11 1989-10-24 Honeywell Inc. Digital map system
GB8826550D0 (en) * 1988-11-14 1989-05-17 Smiths Industries Plc Image processing apparatus and methods
IE61778B1 (en) * 1989-01-04 1994-11-30 Emyville Enterprises Image processing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864632A (en) * 1995-10-05 1999-01-26 Hitachi, Ltd. Map editing device for assisting updating of a three-dimensional digital map
JP2009075825A (ja) * 2007-09-20 2009-04-09 Tokyo Univ Of Science 画像幾何学的歪補正方法、プログラム、及び画像幾何学的歪補正装置

Also Published As

Publication number Publication date
DE69026806D1 (de) 1996-06-05
US5155774A (en) 1992-10-13
EP0435522B1 (en) 1996-05-01
EP0435522A2 (en) 1991-07-03
EP0435522A3 (en) 1992-04-29
DE69026806T2 (de) 1996-09-05

Similar Documents

Publication Publication Date Title
JPH03196372A (ja) 画像の位置合わせ装置
EP0391498B1 (en) A system of "Computer Aided Surveying" for obtaining digital, 3D topograpic information
US8847982B2 (en) Method and apparatus for generating an orthorectified tile
JP3958133B2 (ja) 車両位置測定装置および方法
CN112184890B (zh) 一种应用于电子地图中的摄像头精准定位方法及处理终端
KR101938401B1 (ko) 갱신대상 지역의 부분 도화를 위한 수치도화 수정시스템
KR101938402B1 (ko) 사각지대 지형지물에 대한 수치도화 이미지 합성처리시스템
US20210003683A1 (en) Interactive sensor calibration for autonomous vehicles
KR101444685B1 (ko) 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
US11551411B2 (en) Data processor, data processing method, and data processing program for determining correspondence relationships between laser scanning point clouds
Bejanin et al. Model validation for change detection [machine vision]
CN113034540A (zh) 基于摄像机的自动化精密道路地图生成系统及方法
CN106709944A (zh) 卫星遥感图像配准方法
CN108801225A (zh) 一种无人机倾斜影像定位方法、系统、介质及设备
JPH11271074A (ja) 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体
JP2964402B1 (ja) 三次元地図データベースの作成方法及び装置
KR100780603B1 (ko) 이동형 사진측량 시스템에서의 라인 레이저를 이용한시설물의 위치 파악 방법
CN108195359A (zh) 空间数据的采集方法及系统
KR101998363B1 (ko) 자동 위치 검색 및 경로 파악이 가능한 수치지도 생성시스템
JP3910844B2 (ja) 新旧写真画像を用いた標定方法及び修正図化方法
He et al. Capturing road network data using mobile mapping technology
JP2004362333A (ja) 写真計測システム及び写真計測方法
CN112232132A (zh) 一种融合导航信息的目标识别定位方法
KR102358547B1 (ko) 유동성을 지닌 mms의 실측치 실시간 보정을 통한 수집데이터 출력시스템
Mitishita et al. 3D monocular restitution applied to small format digital airphoto and laser scanner data