JP6133057B2 - ハンドヘルドカメラ画像に基づく地理的地図景観テクスチャの生成 - Google Patents
ハンドヘルドカメラ画像に基づく地理的地図景観テクスチャの生成 Download PDFInfo
- Publication number
- JP6133057B2 JP6133057B2 JP2012285065A JP2012285065A JP6133057B2 JP 6133057 B2 JP6133057 B2 JP 6133057B2 JP 2012285065 A JP2012285065 A JP 2012285065A JP 2012285065 A JP2012285065 A JP 2012285065A JP 6133057 B2 JP6133057 B2 JP 6133057B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- images
- handheld
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 66
- 230000003287 optical effect Effects 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
Description
(項目1)
地理的地図の景観テクスチャを提供する方法であって、
少なくとも1つのハンドヘルドカメラ(20)によって取り込まれた複数の画像を取得することと、
上記画像の各々について、
−上記画像を取り込む時の上記カメラ(20)の地理的位置、
−上記画像を取り込む時の上記カメラ(20)の特性を表す内部カメラ配向データ、
−上記画像を取り込む時の上記カメラ(20)の配向を表す外部カメラ配向データ、および
−上記画像を取り込む時の上記カメラ(20)の気圧高度を取得することと、
上記気圧高度および上記地理的位置に基づいて、上記画像を取り込む時の上記カメラ(20)の地理的位置における地表面からの上記カメラの地表高を判定することと、
上記地表高、上記内部カメラ配向データ、および上記外部カメラ配向データに基づいて、上記画像が取り込まれた上記地理的位置における上記地表面への投影を得るために上記画像の各々を変形させることと、
上記変形された画像を位置合わせすることと、
上記変形および位置合わせされた画像から景観テクスチャを生成することを含む、方法。
(項目2)
上記外部カメラ配向データは、水平面(PH)に対する上記カメラ(20)の光学軸(A)の配向を表す第一の角度、および上記水平面内の上記カメラ(20)の上記光学軸(A)のコンパス方位を表す第二の角度を含む、
上記項目に記載の方法。
(項目3)
上記外部カメラ配向データは、上記光学軸(A)を中心とする上記カメラ(20)の傾きを表す第三の角度を含む、
上記項目のいずれかに記載の方法。
(項目4)
上記内部カメラ配向データは、焦点距離、カメラ定数、および/または画像主点の位置を含む、
上記項目のいずれか1項に記載の方法。
(項目5)
上記画像の各々について、上記取り込まれた画像の座標から上記投影の画像点座標を計算するための変換規則を得ることを含む、
上記項目のいずれかに記載の方法。
(項目6)
上記画像の各々について、上記画像を取り込む時間を取得することと、
上記画像の取り込む時間を考慮に入れて上記景観テクスチャを生成することを含む、
上記項目のいずれかに記載の方法。
(項目7)
ネットワークインタフェースを介して複数のハンドヘルドカメラから上記画像を取得することを含む、
上記項目のいずれかに記載の方法。
(項目8)
上記位置合わせされた画像の重なり合った部分を平均化することを含む、
上記項目のいずれかに記載の方法。
(項目9)
ハンドヘルド装置(10)であって、
カメラ(20)と、
衛星測位装置(30)と、
複数の方位センサー(42、44)と、
気圧高度センサー(46)と、
上記カメラ(20)によって取り込まれた画像とともに、
−上記画像を取り込む時の上記カメラ(20)の特性を表す内部カメラ配向データ、
−上記衛星測位装置(30)によって測定された上記画像を取り込む時の上記カメラ(20)の地理的位置、
−上記方位センサー(42、44)によって測定された上記画像を取り込む時の上記カメラ(20)の外部カメラ配向データ、および
−上記気圧高度センサー(46)によって測定された上記画像を取り込む時の上記カメラ(20)の気圧高度を保存するためのメモリ(50)を備える、ハンドヘルド装置(10)。
(項目10)
上記取り込まれた画像を、それから景観テクスチャを生成するための装置に提供するためのインタフェース(80)をさらに備える、
上記項目に記載のハンドヘルド装置(10)。
(項目11)
上記方位センサー(42、44)はコンパス方位センサー(44)を備える、
上記項目のいずれかに記載のハンドヘルド装置(10)。
(項目12)
上記方位センサー(42、44)は、加速度センサー(42)および/またはジャイロセンサー(42)を備える、
上記項目のいずれかに記載のハンドヘルド装置(10)。
(項目13)
地理的地図の景観テクスチャを提供するための装置(100)であって、
少なくとも1つのハンドヘルドカメラ(20)によって取り込まれた複数の画像を取得するためのインタフェース(120)と、
プロセッサ(150)を備え、
上記プロセッサ(150)は、上記画像の各々について、
−上記画像を取り込む時の上記カメラ(20)の地理的位置、
−上記画像を取り込む時の上記カメラ(20)の特性を表す内部カメラ配向データ、
−上記画像を取り込む時の上記カメラ(20)の配向を表す外部カメラ配向データ、および
−上記画像を取り込む時の上記カメラ(20)の気圧高度を取得し、
上記気圧高度および上記地理的位置に基づいて、上記画像を取り込む時の上記カメラ(20)の上記地理的位置における地表面からの上記カメラ(20)の地表高を判定し、
上記地表高データに基づいて、上記画像が取り込まれた上記地理的位置における上記地表面への投影を得るために上記画像の各々を変形させ、
上記変形された画像を位置合わせし、
上記変形および位置合わせされた画像から上記景観テクスチャを生成するように構成される、装置(100)。
(項目14)
上記インタフェース(120)は、複数のハンドヘルドカメラ(20)から上記画像を取得するように構成されたネットワークインタフェースである、
上記項目に記載の装置。
(項目15)
上記プロセッサは、項目1から項目8までのいずれか1項によって定義された方法の一連のステップを実行するように構成される、
上記項目のいずれかに記載の装置。
地理的地図の景観テクスチャを生成する目的で、カメラを備える1つ以上のハンドヘルド装置(10)によって取り込まれた複数の画像が取得される。さらに、取り込まれた各画像に関連する付加的データが取得される。これらの付加的データは、画像を取り込む時のカメラの地理的位置、画像を取り込む時のカメラの特性を表す内部カメラ配向データ(たとえば焦点距離、カメラ定数および/または画像主点の位置)、画像を取り込む時のカメラの配向を表す外部カメラ配向データ(たとえば水平面(PH)に対するカメラの光学軸(A)の配向を表す角度(Ф))、および画像を取り込む時のカメラの気圧高度を含む。その気圧高度および地理的位置に基づいて、地表面(G)からのカメラの地表高(H)が判定される。その地表高(H)、内部カメラ配向データおよび外部カメラ配向データに基づいて、地表面(G)への投影を得るように、各画像を変形する。次に、その変形された画像が位置合わせされ、その変形された画像から景観テクスチャが生成される。
Claims (11)
- 地理的地図の景観テクスチャを提供する方法であって、前記方法は、
複数のハンドヘルドカメラ(20)によって歩行者の視点から取り込まれた複数の画像を取得することと、
前記複数の画像の各々について、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ(20)の地理的位置と、
−前記ハンドヘルドカメラ(20)の特性を表す内部カメラ配向データと、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ(20)の配向を表す外部カメラ配向データと、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ(20)の気圧高度と
を取得することと、
前記複数の画像の各々について、前記気圧高度と前記地理的位置とに基づいて、前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ(20)の地理的位置における地表面からの前記ハンドヘルドカメラの地表高を決定し、地図データベースの視点から前記地表面の配向を取得することと、
前記地表高と、前記内部カメラ配向データと、前記外部カメラ配向データと、前記地図データベースから取得された前記地表面の配向とに基づいて、前記画像が取り込まれた前記地理的位置における前記地表面への投影を取得するために前記複数の画像の各々を変形させることと、
前記変形された画像を位置合わせすることと、
前記変形および位置合わせされた画像から景観テクスチャを生成することと
を含む、方法。 - 前記外部カメラ配向データは、水平面(PH)に対する前記ハンドヘルドカメラ(20)の光学軸(A)の配向を表す第一の角度と、前記水平面内の前記ハンドヘルドカメラ(20)の前記光学軸(A)のコンパス方位を表す第二の角度とを含む、請求項1に記載の方法。
- 前記外部カメラ配向データは、前記光学軸(A)を中心とする前記ハンドヘルドカメラ(20)の傾きを表す第三の角度を含む、請求項2に記載の方法。
- 前記内部カメラ配向データは、焦点距離、カメラ定数、および/または、画像主点の位置を含む、請求項1〜3のいずれか1項に記載の方法。
- 前記複数の画像の各々について、前記取り込まれた画像の座標から前記投影の画像点座標を計算するための変換規則を取得することを含む、請求項1〜4のいずれか1項に記載の方法。
- 前記複数の画像の各々について、前記画像を取り込む時間を取得することと、
前記画像の取り込む時間を考慮に入れて前記景観テクスチャを生成することと
を含む、請求項1〜5のいずれか1項に記載の方法。 - ネットワークインタフェースを介して前記複数のハンドヘルドカメラから前記複数の画像を取得することを含む、請求項1〜6のいずれか1項に記載の方法。
- 前記位置合わせされた画像の重なり合った部分を平均化することを含む、請求項1〜7のいずれか1項に記載の方法。
- 地理的地図の景観テクスチャを提供するための装置(100)であって、前記装置(100)は、
複数のハンドヘルドカメラ(20)によって歩行者の視点から取り込まれた複数の画像を取得するためのインタフェース(120)と、
プロセッサ(150)と
を備え、
前記プロセッサ(150)は、前記複数の画像の各々について、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ(20)の地理的位置と、
−前記ハンドヘルドカメラ(20)の特性を表す内部カメラ配向データと、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ(20)の配向を表す外部カメラ配向データと、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ(20)の気圧高度と
を取得することと、
前記複数の画像の各々について、前記ハンドヘルドカメラ(20)の前記気圧高度と前記地理的位置とに基づいて、前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ(20)の前記地理的位置における地表面からの前記ハンドヘルドカメラ(20)の地表高を判定して、地図データベースの視点から前記地表面の配向を取得することと、
前記地表高データと、前記内部カメラ配向データと、前記外部カメラ配向データと、前記地図データベースから取得された前記地表面の配向とに基づいて、前記画像が取り込まれた前記地理的位置における前記地表面への投影を取得するために前記複数の画像の各々を変形させることと、
前記変形された画像を位置合わせすることと、
前記変形および位置合わせされた画像から前記景観テクスチャを生成することと
を行うように構成されている、装置(100)。 - 前記インタフェース(120)は、前記複数のハンドヘルドカメラ(20)から前記複数の画像を取得するように構成されたネットワークインタフェースである、請求項9に記載の装置。
- 前記プロセッサは、請求項1から請求項8までのいずれか1項によって定義された方法のステップを実行するように構成されている、請求項9または請求項10に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12150082.1A EP2613295B1 (en) | 2012-01-03 | 2012-01-03 | Geographical map landscape texture generation on the basis of hand-held camera images |
EP12150082.1 | 2012-01-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013140156A JP2013140156A (ja) | 2013-07-18 |
JP6133057B2 true JP6133057B2 (ja) | 2017-05-24 |
Family
ID=45422047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012285065A Active JP6133057B2 (ja) | 2012-01-03 | 2012-12-27 | ハンドヘルドカメラ画像に基づく地理的地図景観テクスチャの生成 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130169628A1 (ja) |
EP (1) | EP2613295B1 (ja) |
JP (1) | JP6133057B2 (ja) |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3153784A (en) * | 1959-12-24 | 1964-10-20 | Us Industries Inc | Photo radar ground contour mapping system |
US6281797B1 (en) * | 2000-04-04 | 2001-08-28 | Marconi Data Systems Inc. | Method and apparatus for detecting a container proximate to a transportation vessel hold |
US6522298B1 (en) * | 2001-04-12 | 2003-02-18 | Garmin Ltd. | Device and method for calibrating and improving the accuracy of barometric altimeters with GPS-derived altitudes |
GB0117541D0 (en) * | 2001-07-19 | 2003-08-06 | Bae Systems Plc | Automatic registration of images in digital terrain elevation data |
JP4602634B2 (ja) * | 2002-03-27 | 2010-12-22 | カシオ計算機株式会社 | カメラ装置、位置情報記録方法 |
JP3781016B2 (ja) * | 2002-06-18 | 2006-05-31 | カシオ計算機株式会社 | 電子カメラ、撮影方向取得方法及びプログラム |
US7381952B2 (en) * | 2004-09-09 | 2008-06-03 | Flir Systems, Inc. | Multiple camera systems and methods |
JP4339289B2 (ja) * | 2005-07-28 | 2009-10-07 | Necシステムテクノロジー株式会社 | 変化判定装置、変化判定方法および変化判定プログラム |
WO2008044911A1 (en) * | 2006-10-09 | 2008-04-17 | Tele Atlas B.V. | Method and apparatus for generating an orthorectified tile |
CN101815928A (zh) * | 2007-10-02 | 2010-08-25 | 电子地图有限公司 | 捕获供在地图数据库中使用的沿跨越表面的参考线的线性特征的方法 |
US8970690B2 (en) * | 2009-02-13 | 2015-03-03 | Metaio Gmbh | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment |
JP2010267224A (ja) * | 2009-05-18 | 2010-11-25 | Minami Osaka Consultant Kk | 正射投影画像を作成するための画像処理方法、装置およびプログラム |
KR20110052124A (ko) * | 2009-11-12 | 2011-05-18 | 삼성전자주식회사 | 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기 |
JP5402612B2 (ja) * | 2009-12-22 | 2014-01-29 | ソニー株式会社 | 表示装置、表示方法及びプログラム |
US20120114229A1 (en) * | 2010-01-21 | 2012-05-10 | Guoqing Zhou | Orthorectification and mosaic of video flow |
TWI482121B (zh) * | 2011-04-28 | 2015-04-21 | Univ Nat Central | The method of correcting the color of the image |
-
2012
- 2012-01-03 EP EP12150082.1A patent/EP2613295B1/en active Active
- 2012-12-27 JP JP2012285065A patent/JP6133057B2/ja active Active
-
2013
- 2013-01-03 US US13/733,696 patent/US20130169628A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP2613295A1 (en) | 2013-07-10 |
US20130169628A1 (en) | 2013-07-04 |
EP2613295B1 (en) | 2017-03-08 |
JP2013140156A (ja) | 2013-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107316325B (zh) | 一种基于图像配准的机载激光点云与影像配准融合方法 | |
CN110310248B (zh) | 一种无人机遥感影像实时拼接方法及系统 | |
US11887273B2 (en) | Post capture imagery processing and deployment systems | |
JP5389964B2 (ja) | 地図情報生成装置 | |
CN110675450B (zh) | 基于slam技术的正射影像实时生成方法及系统 | |
US9185289B2 (en) | Generating a composite field of view using a plurality of oblique panoramic images of a geographic area | |
CN103900539B (zh) | 一种空中立方体全景成像目标定位方法 | |
CN105627991A (zh) | 一种无人机影像实时全景拼接方法及系统 | |
JP7251474B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム | |
WO2008152740A1 (ja) | デジタル空撮3次元計測システム | |
Carvajal-Ramírez et al. | Effects of image orientation and ground control points distribution on unmanned aerial vehicle photogrammetry projects on a road cut slope | |
CN108733711B (zh) | 基于三维gis技术的配电线路空间距离获取方法 | |
CN110986888A (zh) | 一种航空摄影一体化方法 | |
JP2017201261A (ja) | 形状情報生成システム | |
KR101346192B1 (ko) | 항공측량 전용 촬영이미지의 실시간 정사 보정용 항공측량시스템 | |
Zhao et al. | Direct georeferencing of oblique and vertical imagery in different coordinate systems | |
CN108253942B (zh) | 一种提高倾斜摄影测量空三质量的方法 | |
Liu et al. | A new approach to fast mosaic UAV images | |
KR101224830B1 (ko) | 지리 참조 영상 획득을 위한 휴대용 멀티센서 시스템 및 그 방법 | |
US20120026324A1 (en) | Image capturing terminal, data processing terminal, image capturing method, and data processing method | |
Zhou et al. | Automatic orthorectification and mosaicking of oblique images from a zoom lens aerial camera | |
JP2013160602A (ja) | 写真測量装置 | |
CN115423863B (zh) | 相机位姿估计方法、装置及计算机可读存储介质 | |
KR101006977B1 (ko) | 수치지도 제작 시 수치데이터를 보상하는 방법 | |
CN116594419A (zh) | 巡检航线规划方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170321 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6133057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |