JP6506032B2 - 測量データ処理装置、測量データ処理方法およびプログラム - Google Patents
測量データ処理装置、測量データ処理方法およびプログラム Download PDFInfo
- Publication number
- JP6506032B2 JP6506032B2 JP2015014293A JP2015014293A JP6506032B2 JP 6506032 B2 JP6506032 B2 JP 6506032B2 JP 2015014293 A JP2015014293 A JP 2015014293A JP 2015014293 A JP2015014293 A JP 2015014293A JP 6506032 B2 JP6506032 B2 JP 6506032B2
- Authority
- JP
- Japan
- Prior art keywords
- still image
- flight path
- movement
- displayed
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 45
- 238000003672 processing method Methods 0.000 title claims description 3
- 239000013598 vector Substances 0.000 claims description 35
- 238000000034 method Methods 0.000 description 45
- 238000000605 extraction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 241000736305 Marsilea quadrifolia Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000019687 Lamb Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Aviation & Aerospace Engineering (AREA)
Description
(概要)
この例では、自律飛行可能な無人航空機(UAV(Unmanned Air Vehicle)。)にカメラを搭載した機材を用いる。UAVは、GNSS装置(航法衛星を用いた位置特定装置)とIMU(慣性航法装置)を搭載しており、自律飛行が可能である。UAVは、飛行しながらカメラによって地表を連続的に撮影する。すなわち、飛行しながら、時刻t1に第1の静止画像を撮影し、時刻t2に第2の静止画像を撮影し、時刻t3に第3の静止画像を撮影し、といった処理を連続的に行う。撮影の間隔は、必要に応じて決めればよいが、例えば2秒間隔とする。なお、動画撮影を行い、動画を構成するフレーム画像を静止画像として扱うこともできる。すなわち、動画は、時刻t1に撮影した第1のフレーム画像、時刻t2に撮影した第2のフレーム画像、といった時系列に並んだ複数のフレーム画像により構成されるが、そのフレーム画像を本実施形態における静止画像として用いることもできる。
カメラから得られる画像データとUAVから得られる飛行経路のデータとの関係を求める処理が図1の測量データ処理装置100において行われる。図1の測量データ処理装置100は、コンピュータとしての機能を有し、CPU、固体電子メモリ、ハードディスク記憶装置、各種のインターフェース、その他必要に応じた演算素子を備えている。図1には、機能として捉えた各種の機能部が記載されている。図示された各種の機能部の一部または複数は、ソフトウェア的に構成されていてもよいし、専用のハードウェアで構成されていてもよい。
図6には、処理手順の一例が示されている。処理が開始されると、画像データの入力が行われ(ステップS101)、さらにログデータの入力が行われる(ステップS102)。画像データが入力されたら、各静止画像において特徴点の抽出が行われる(ステップS103)。この処理は、図2の特徴点抽出部111において行われる。特徴点を抽出したら、時間軸上で隣接する静止画像間において対応する特徴点の特定が行なわれる(ステップS104)。この処理は、図2の対応点特定部112において行われる。
Claims (9)
- 飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部と、
前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部と
を備え、
前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、
前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、
前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向と移動量がベクトル表示され、
前記移動方向と前記移動量は、前記静止画像と撮影時刻が異なる他の静止画像の間における特徴点の動きから算出されることを特徴とする測量データ処理装置。 - 画面表示された前記飛行経路には、前記静止画像を撮影した時刻の位置を特定する印が表示されていることを特徴とする請求項1に記載の測量データ処理装置。
- 前記静止画像を撮影した時刻の位置を特定する前記印が指定されると、当該時刻に撮影された静止画像が選択されることを特徴とする請求項2に記載の測量データ処理装置。
- 飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶するステップと、
前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するステップと
を備え、
前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、
前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、
前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向と移動量がベクトル表示され、
前記移動方向と前記移動量は、前記静止画像と撮影時刻が異なる他の静止画像の間における特徴点の動きから算出されることを特徴とする測量データ処理方法。 - コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
飛行する移動体から撮影した複数の静止画像の画像データと前記移動体の飛行経路とを関連付けた測量データを記憶する記憶部と、
前記移動体の飛行経路を画面表示すると共に前記静止画像を画面表示するUI制御部として動作させ、
前記飛行経路の画面表示と前記静止画像の画面表示とは同一画面上に同時に表示され、
前記飛行経路と前記静止画像とは対応関係が特定された状態で表示され、
前記静止画像中には、当該静止画像を撮影した前記移動体の移動方向と移動量がベクトル表示され、
前記移動方向と前記移動量は、前記静止画像と撮影時刻が異なる他の静止画像の間における特徴点の動きから算出されることを特徴とするプログラム。 - 前記静止画像と前記他の静止画像とは、時間軸上で隣接していることを特徴とする請求項1に記載の測量データ処理装置。
- 前記移動体の前記移動方向と前記移動量に基づき、前記移動体の移動軌跡を推定することを特徴とする請求項1または6に記載の測量データ処理装置。
- 前記移動体は、慣性航法装置と航法衛星を用いた位置特定装置を搭載し、
前記慣性航法装置と前記航法衛星を用いた前記位置特定装置に基づく前記移動体の第1の移動軌跡と前記推定された前記移動体の第2の移動軌跡との対応関係を求めることを特徴とする請求項7に記載の測量データ処理装置。 - 前記第1の移動軌跡と前記第2の移動軌跡との前記対応関係に基づき、前記複数の静止画像の撮影時刻と撮影位置の情報を得ることを特徴とする請求項8に記載の測量データ処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015014293A JP6506032B2 (ja) | 2015-01-28 | 2015-01-28 | 測量データ処理装置、測量データ処理方法およびプログラム |
CA2918550A CA2918550A1 (en) | 2015-01-28 | 2016-01-22 | Survey data processing device, survey data processing method, and program therefor |
EP16152534.0A EP3051254B1 (en) | 2015-01-28 | 2016-01-25 | Survey data processing device, survey data processing method, and program therefor |
US15/007,414 US9736360B2 (en) | 2015-01-28 | 2016-01-27 | Survey data processing device, survey data processing method, and program therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015014293A JP6506032B2 (ja) | 2015-01-28 | 2015-01-28 | 測量データ処理装置、測量データ処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016138826A JP2016138826A (ja) | 2016-08-04 |
JP2016138826A5 JP2016138826A5 (ja) | 2018-03-08 |
JP6506032B2 true JP6506032B2 (ja) | 2019-04-24 |
Family
ID=55229609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015014293A Active JP6506032B2 (ja) | 2015-01-28 | 2015-01-28 | 測量データ処理装置、測量データ処理方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9736360B2 (ja) |
EP (1) | EP3051254B1 (ja) |
JP (1) | JP6506032B2 (ja) |
CA (1) | CA2918550A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10867377B2 (en) * | 2016-12-21 | 2020-12-15 | Massachusetts Institute Of Technology | Determining soil state and controlling equipment based on captured images |
JP6930840B2 (ja) * | 2017-03-08 | 2021-09-01 | 株式会社トプコン | 測量システム |
JP7050425B2 (ja) * | 2017-05-01 | 2022-04-08 | 株式会社トプコン | 測量システム |
US11308735B2 (en) | 2017-10-13 | 2022-04-19 | Deere & Company | Unmanned aerial vehicle (UAV)-assisted worksite data acquisition |
US10761544B2 (en) * | 2017-10-13 | 2020-09-01 | Deere & Company | Unmanned aerial vehicle (UAV)-assisted worksite operations |
JP6825166B2 (ja) * | 2018-03-19 | 2021-02-03 | 本田技研工業株式会社 | 飛行体及び飛行体の制御方法 |
JP7188687B2 (ja) | 2018-07-17 | 2022-12-13 | エアロセンス株式会社 | 情報処理方法、プログラム、および情報処理システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4805121A (en) * | 1986-05-30 | 1989-02-14 | Dba Systems, Inc. | Visual training apparatus |
US5555018A (en) * | 1991-04-25 | 1996-09-10 | Von Braun; Heiko S. | Large-scale mapping of parameters of multi-dimensional structures in natural environments |
JP2000000005A (ja) | 1999-06-21 | 2000-01-07 | Seirei Ind Co Ltd | 自走式根菜収穫機 |
AU2003244321B8 (en) * | 2003-06-20 | 2008-02-21 | Mitsubishi Denki Kabushiki Kaisha | Picked-up image display method |
JP2010016805A (ja) * | 2008-06-04 | 2010-01-21 | Sanyo Electric Co Ltd | 画像処理装置、運転支援システム、及び画像処理方法 |
JP2013096745A (ja) | 2011-10-28 | 2013-05-20 | Hokuriku Kosoku Co Ltd | 三次元モデルの作成方法 |
US8954853B2 (en) * | 2012-09-06 | 2015-02-10 | Robotic Research, Llc | Method and system for visualization enhancement for situational awareness |
US9075415B2 (en) * | 2013-03-11 | 2015-07-07 | Airphrame, Inc. | Unmanned aerial vehicle and methods for controlling same |
US9679227B2 (en) * | 2013-08-02 | 2017-06-13 | Xactware Solutions, Inc. | System and method for detecting features in aerial images using disparity mapping and segmentation techniques |
-
2015
- 2015-01-28 JP JP2015014293A patent/JP6506032B2/ja active Active
-
2016
- 2016-01-22 CA CA2918550A patent/CA2918550A1/en not_active Abandoned
- 2016-01-25 EP EP16152534.0A patent/EP3051254B1/en active Active
- 2016-01-27 US US15/007,414 patent/US9736360B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016138826A (ja) | 2016-08-04 |
EP3051254A1 (en) | 2016-08-03 |
US9736360B2 (en) | 2017-08-15 |
US20160219215A1 (en) | 2016-07-28 |
EP3051254B1 (en) | 2020-03-11 |
CA2918550A1 (en) | 2016-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6506032B2 (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
US10810734B2 (en) | Computer aided rebar measurement and inspection system | |
JP5362189B2 (ja) | 画像処理装置及びその処理方法 | |
JP6510247B2 (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
JP6543520B2 (ja) | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム | |
JP4800163B2 (ja) | 位置測定装置及びその方法 | |
JP2016138826A5 (ja) | ||
JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
JP6516558B2 (ja) | 位置情報処理方法 | |
EP1986154A1 (en) | Model-based camera pose estimation | |
KR20150096922A (ko) | 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법 | |
JP6460700B2 (ja) | トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム | |
CN102823233B (zh) | 图像处理方法和热成像仪 | |
JP2007183256A (ja) | 画像処理装置及びその方法 | |
JP6506031B2 (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
JP4874693B2 (ja) | 画像処理装置及びその処理方法 | |
Brunetto et al. | Fusion of inertial and visual measurements for rgb-d slam on mobile devices | |
WO2018193880A1 (ja) | プラント設備機器認識システムおよびプラント設備機器認識方法 | |
JP4550081B2 (ja) | 画像測定方法 | |
JP2009266155A (ja) | 移動体追跡装置及びその方法 | |
KR101954711B1 (ko) | 라이다 자료와 정사영상을 이용한 건축물의 촬영영상 수정방법 | |
JP6861592B2 (ja) | データ間引き装置、測量装置、測量システム及びデータ間引き方法 | |
JP6593995B2 (ja) | 空港監視装置 | |
JP2024017652A (ja) | 自己位置推定装置、自己位置推定方法及び自己位置推定プログラム | |
JP2003075153A (ja) | 測量データ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6506032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |