JP7441509B2 - オルソ画像作成方法、オルソ画像作成システム、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識 - Google Patents

オルソ画像作成方法、オルソ画像作成システム、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識 Download PDF

Info

Publication number
JP7441509B2
JP7441509B2 JP2020140260A JP2020140260A JP7441509B2 JP 7441509 B2 JP7441509 B2 JP 7441509B2 JP 2020140260 A JP2020140260 A JP 2020140260A JP 2020140260 A JP2020140260 A JP 2020140260A JP 7441509 B2 JP7441509 B2 JP 7441509B2
Authority
JP
Japan
Prior art keywords
obstacle
photographed
road surface
covered
altitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020140260A
Other languages
English (en)
Other versions
JP2021082250A (ja
Inventor
茂雄 草木
誉光 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mr Support Inc
Original Assignee
Mr Support Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mr Support Inc filed Critical Mr Support Inc
Publication of JP2021082250A publication Critical patent/JP2021082250A/ja
Priority to US17/392,420 priority Critical patent/US11682169B2/en
Priority to JP2024017981A priority patent/JP2024054268A/ja
Application granted granted Critical
Publication of JP7441509B2 publication Critical patent/JP7441509B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C2203/00—Flying model aircraft, flying toy aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Description

本発明は、例えば無人航空機により上空から撮影された撮影画像に基づいてオルソ画像を作成するオルソ画像作成方法、オルソ画像作成システム、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識に関する。
従来、道路の表層を構成するアスファルト舗装の表面にひび割れ（クラック）などの損傷が発生した場合、道路を補修する必要がある。
道路の補修を行うためには、補修起工時における道路状態（例えば、ひび割れ状態）及び道路の端部や車線表示線などの区画線を含む平面要素の位置についての調査などの種々の調査が行われる。従来、例えばひび割れ状態の調査は、点検員の目視により、道路においてひび割れが発生した箇所やひび割れ量についての調査が行われていた。点検員がひび割れを検知する代わりに、専用の路面性状測定車を使用して、道路状態の調査が行われることがあった（特許文献１参照）。
特開２０１８－１２３５１０号公報
点検員により道路を点検し、ひび割れを検知する作業は非常に煩雑である。専用の路面性状測定車により道路状態の調査を行う場合、路面性状測定車を走行させる必要があるが、幅の小さい道路は、路面性状測定車が走行不可能であり、道路状態の調査を行うことが不可能である。
上述の技術課題を解消するために、補修起工時において上空を飛行している無人航空機により道路を撮影し、その撮影された撮影画像に基づいて補修起工時における道路のオルソ画像を作成し、オルソ画像から道路表面のひび割れを検知することが考えられる。
しかしながら、障害物として、例えば道路周辺に街路樹があり、その障害物が道路表面の幅方向端部を覆っている場合、上空を飛行している無人航空機により道路表面を撮影しても、道路表面における障害物で覆われている部分を撮影することが不可能である。そのため、道路表面の全域を含むオルソ画像を作成することが不可能であり、障害物で覆われている道路表面のひび割れを調査することは不可能である。また、障害物が道路表面の幅方向端部を覆っている場合、上空を飛行している無人航空機により道路表面を撮影しても、道路表面における障害物で覆われている部分を撮影することが不可能であり、道路の幅（道路の端部の位置）や、車線表示線などの区画線を含む平面要素の位置についての調査を行うことが不可能である。なお、上空を飛行している無人航空機により道路を撮影した場合に、上述の障害物と同様に障害物となるものとしては、例えば道路表面の上方に配置された歩道橋や信号機などがある。
本発明は、このような課題に着目してなされたものであって、道路表面の一部を覆う障害物がある場合でも、上空から撮影した撮影画像に基づいて補修起工時における道路状態を容易に調査することを可能としたオルソ画像作成方法、オルソ画像作成システム及びそれに使用される標識、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識を提供することを目的としている。
本発明は、かかる課題を解決するために、次のような手段を講じたものである。
すなわち、本発明に係るオルソ画像作成方法は、上空から見たときに道路表面の一部が障害物により覆われた道路を前記障害物より高い高度から第１撮影装置により撮影して複数の第１撮影画像を得る第１撮影ステップと、前記障害物により覆われた領域を前記障害物より低い高度から第２撮影装置により撮影して複数の第２撮影画像を得る第２撮影ステップと、前記障害物により覆われた領域以外にあり且つ少なくとも２枚の前記複数の第１撮影画像に含まれた第１特徴点についての３次元座標を取得する第１座標取得ステップと、前記障害物により覆われた領域にあり且つ少なくとも２枚の前記複数の第２撮影画像に含まれた第２特徴点についての３次元座標を取得する第２座標取得ステップと、前記第１撮影ステップにより撮影された複数の第１撮影画像と、前記第２撮影ステップにより撮影された複数の第２撮影画像と、前記第１座標取得ステップにより取得された前記第１特徴点の３次元座標と、前記第２座標取得ステップにより取得された前記第２特徴点の３次元座標とに基づいて、前記道路表面の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した補正オルソ画像を作成するオルソ画像作成ステップとを備えることを特徴とする。
本発明に係るオルソ画像作成システムは、上空から見たときに道路表面の一部が障害物により覆われた道路を前記障害物より高い高度から第１撮影装置により撮影された複数の第１撮影画像を記憶する第１撮影画像記憶手段と、前記障害物により覆われた領域を前記障害物より低い高度から第２撮影装置により撮影された複数の第２撮影画像を記憶する第２撮影画像記憶手段と、前記障害物により覆われた領域以外にあり且つ少なくとも２枚の前記複数の第１撮影画像に含まれた第１特徴点についての３次元座標を記憶する第１座標記憶手段と、前記障害物により覆われた領域にあり且つ少なくとも２枚の前記複数の第２撮影画像に含まれた第２特徴点についての３次元座標を記憶する第２座標記憶手段と、前記第１撮影画像記憶手段に記憶された複数の第１撮影画像と、前記第２撮影画像記憶手段に記憶された複数の第２撮影画像と、前記第１座標記憶手段に記憶された前記第１特徴点の３次元座標と、前記第２撮影記憶手段に記憶された前記第２特徴点の３次元座標とに基づいて、前記道路表面の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した補正オルソ画像を作成するオルソ画像作成手段とを備えることを特徴とする。
これにより、本発明に係るオルソ画像作成方法及びオルソ画像作成システムでは、上空から見たときに道路表面の一部が障害物により覆われている場合でも、道路表面の一部を障害物に覆われた領域を障害物に覆われてない領域に補正した補正オルソ画像を作成することが可能である。そのため、道路表面の一部を覆う障害物がある場合でも、上空から撮影した撮影画像に基づいて補修起工時における道路状態を容易に調査することを可能である。
本発明に係るオルソ画像作成方法において、前記オルソ画像作成ステップは、前記第１撮影ステップにより撮影された複数の第１撮影画像と前記第１座標取得ステップにより取得された前記第１特徴点の３次元座標とに基づいて、道路表面の一部が前記障害物に覆われた仮オルソ画像を作成する第１オルソ画像作成ステップと、前記第２撮影ステップにより撮影された複数の第２撮影画像と前記第２座標取得ステップにより取得された前記第２特徴点の３次元座標とに基づいて、前記障害物により覆われた領域における前記道路表面及び前記道路表面以外の部分の少なくとも一部の形状を検知する形状検知ステップと、前記第１オルソ画像作成ステップにより作成された前記仮オルソ画像の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した前記補正オルソ画像を作成する第２オルソ画像作成ステップとを備えることを特徴とする。
本発明に係るオルソ画像作成システムにおいて、前記オルソ画像作成手段は、前記第１撮影画像記憶手段に記憶された複数の第１撮影画像と前記第１座標記憶手段に記憶された前記第１特徴点の３次元座標とに基づいて、道路表面の一部が障害物に覆われた仮オルソ画像を作成する第１オルソ画像作成手段と、前記第２撮影画像記憶手段に記憶された複数の第２撮影画像と前記第２座標記憶手段に記憶された前記第２特徴点の３次元座標とに基づいて、前記障害物により覆われた領域における前記道路表面及び前記道路表面以外の部分の少なくとも一部の形状を検知する形状検知手段と、前記第１オルソ画像作成手段により作成された前記仮オルソ画像の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した前記補正オルソ画像を作成する第２オルソ画像作成手段とを備えることを特徴とする。
これにより、本発明に係るオルソ画像作成方法及びオルソ画像作成システムでは、上空から見たときに道路表面の一部が障害物により覆われている場合でも、仮オルソ画像において道路表面の一部を障害物に覆われた領域を障害物に覆われてない領域に補正した補正オルソ画像を作成することが可能である。そのため、道路表面の一部を覆う障害物がある場合でも、上空から撮影した撮影画像に基づいて補修起工時における道路状態を容易に調査することを可能である。
本発明に係るオルソ画像作成方法において、前記第１撮影装置は、前記障害物より高い高度で飛行する無人航空機または模型航空機であり、前記第２撮影装置は、前記障害物より低い高度で飛行する無人航空機または模型航空機もしくは前記障害物より低い高度に配置されたカメラであることを特徴とする。
本発明に係るオルソ画像作成システムにおいて、前記第１撮影装置は、前記障害物より高い高度で飛行する無人航空機または模型航空機であり、前記第２撮影装置は、前記障害物より低い高度で飛行する無人航空機または模型航空機もしくは前記障害物より低い高度に配置されたカメラであることを特徴とする。
これにより、本発明に係るオルソ画像作成方法及びオルソ画像作成システムでは、無人航空機または模型航空機により、障害物により覆われてない道路表面を障害物より高い高度から撮影された複数の第１撮影画像と、障害物により覆われた道路表面を障害物より低い高度から撮影された複数の第２撮影画像を容易に得ることが可能である。
本発明に係るオルソ画像作成方法において、前記第２撮影ステップでは、前記障害物により覆われた領域において前記道路表面及び前記障害物に複数の標識が設置され、その複数の標識が前記第２特徴点として少なくとも２枚の前記第２撮影画像に含まれるように撮影されることを特徴とする。
本発明に係るオルソ画像作成システムにおいて、前記第２撮影画像記憶手段に記憶された前記複数の第２撮影画像は、前記障害物により覆われた領域において前記道路表面及び前記障害物に設置された複数の標識が、前記第２特徴点として少なくとも２枚の前記第２撮影画像に含まれるように撮影されたものであることを特徴とする。
これにより、本発明に係るオルソ画像作成方法及びオルソ画像作成システムでは、障害物より低い高度から撮影された複数の第２撮影画像により、障害物により覆われた領域における道路表面及び障害物の形状を正確に把握することが可能である。
本発明に係る３次元モデル作成方法は、上空から見たときに道路表面の一部が障害物により覆われた道路を前記障害物より高い高度から第１撮影装置により撮影して複数の第１撮影画像を得る第１撮影ステップと、前記障害物により覆われた領域を前記障害物より低い高度から第２撮影装置により撮影して複数の第２撮影画像を得る第２撮影ステップと、前記障害物により覆われた領域以外にあり且つ少なくとも２枚の前記複数の第１撮影画像に含まれた第１特徴点についての３次元座標を取得する第１座標取得ステップと、前記障害物により覆われた領域にあり且つ少なくとも２枚の前記複数の第２撮影画像に含まれた第２特徴点についての３次元座標を取得する第２座標取得ステップと、前記第１撮影ステップにより撮影された複数の第１撮影画像と、前記第２撮影ステップにより撮影された複数の第２撮影画像と、前記第１座標取得ステップにより取得された前記第１特徴点の３次元座標と、前記第２座標取得ステップにより取得された前記第２特徴点の３次元座標とに基づいて、前記道路表面の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した補正３次元モデルを作成する３次元モデル作成ステップとを備えることを特徴とする。
本発明に係る３次元モデル作成システムは、上空から見たときに道路表面の一部が障害物により覆われた道路を前記障害物より高い高度から第１撮影装置により撮影された複数の第１撮影画像を記憶する第１撮影画像記憶手段と、前記障害物により覆われた領域を前記障害物より低い高度から第２撮影装置により撮影された複数の第２撮影画像を記憶する第２撮影画像記憶手段と、前記障害物により覆われた領域以外にあり且つ少なくとも２枚の前記複数の第１撮影画像に含まれた第１特徴点についての３次元座標を記憶する第１座標記憶手段と、前記障害物により覆われた領域にあり且つ少なくとも２枚の前記複数の第２撮影画像に含まれた第２特徴点についての３次元座標を記憶する第２座標記憶手段と、前記第１撮影画像記憶手段に記憶された複数の第１撮影画像と、前記第２撮影画像記憶手段に記憶された複数の第２撮影画像と、前記第１座標記憶手段に記憶された前記第１特徴点の３次元座標と、前記第２座標記憶手段に記憶された前記第２特徴点の３次元座標とに基づいて、前記道路表面の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した補正３次元モデルを作成する３次元モデル作成手段とを備えることを特徴とする。
これにより、本発明に係る３次元モデル作成方法及び３次元モデル作成システムでは、上空から見たときに道路表面の一部が障害物により覆われている場合でも、道路表面の一部を障害物に覆われた領域を障害物に覆われてない領域に補正した補正３次元モデルを作成することが可能である。そのため、道路表面の一部を覆う障害物がある場合でも、上空から撮影した撮影画像に基づいて、補修起工時における道路の幅（道路の端部の位置）や、車線表示線などの区画線を含む平面要素の位置についての調査を行うことが可能である。
本発明に係る３次元モデル作成方法において、前記３次元モデル作成ステップは、前記第１撮影ステップにより撮影された複数の第１撮影画像と前記第１座標取得ステップにより取得された前記第１特徴点の３次元座標とに基づいて、道路表面の一部が前記障害物に覆われた仮３次元モデルを作成する第１作成ステップと、前記第２撮影ステップにより撮影された複数の第２撮影画像と前記第２座標取得ステップにより取得された前記第２特徴点の３次元座標とに基づいて、前記障害物により覆われた領域における前記道路表面及び前記道路表面以外の部分の少なくとも一部の形状を検知する形状検知ステップと、前記第１作成ステップにより作成された前記仮３次元モデルの前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した前記補正３次元モデルを作成する第２の３次元モデル作成ステップとを備えることを特徴とする。
本発明に係る３次元モデル作成システムにおいて、前記３次元モデル作成手段は、前記第１撮影画像記憶手段に記憶された複数の第１撮影画像と前記第１座標記憶手段に記憶された前記第１特徴点の３次元座標とに基づいて、道路表面の一部が前記障害物に覆われた仮３次元モデルを作成する第１の３次元モデル作成手段と、前記第２撮影画像記憶手段に記憶された複数の第２撮影画像と前記第２座標記憶手段に記憶された前記第２特徴点の３次元座標とに基づいて、前記障害物により覆われた領域における前記道路表面及び前記道路表面以外の部分の少なくとも一部の形状を検知する形状検知手段と、前記第１の３次元モデル作成手段により作成された前記仮３次元モデルの前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した前記補正３次元モデルを作成する第２の３次元モデル作成手段とを備えることを特徴とする。
これにより、本発明に係る３次元モデル作成方法及び３次元モデル作成システムでは、上空から見たときに道路表面の一部が障害物により覆われている場合でも、仮３次元モデルにおいて道路表面の一部を障害物に覆われた領域を障害物に覆われてない領域に補正した補正３次元モデルを作成することが可能である。そのため、道路表面の一部を覆う障害物がある場合でも、上空から撮影した撮影画像に基づいて、補修起工時における道路の幅（道路の端部の位置）や、車線表示線などの区画線を含む平面要素の位置についての調査を行うことが可能である。
本発明に係る３次元モデル作成方法において、前記第１撮影装置は、前記障害物より高い高度で飛行する無人航空機または模型航空機であり、前記第２撮影装置は、前記障害物より低い高度で飛行する無人航空機または模型航空機もしくは前記障害物より低い高度に配置されたカメラであることを特徴とする。
本発明に係る３次元モデル作成システムにおいて、前記第１撮影装置は、前記障害物より高い高度で飛行する無人航空機または模型航空機であり、前記第２撮影装置は、前記障害物より低い高度で飛行する無人航空機または模型航空機もしくは前記障害物より低い高度に配置されたカメラであることを特徴とする。
これにより、本発明に係る３次元モデル作成方法及び３次元モデル作成システムでは、無人航空機または模型航空機により、障害物により覆われてない道路表面を障害物より高い高度から撮影された複数の第１撮影画像と、障害物により覆われた道路表面を障害物より低い高度から撮影された複数の第２撮影画像を容易に得ることが可能である。
本発明に係る３次元モデル作成方法において、前記第２撮影ステップでは、前記障害物により覆われた領域において前記道路表面及び前記障害物に複数の標識が設置され、その複数の標識が前記第２特徴点として少なくとも２枚の前記第２撮影画像に含まれるように撮影されることを特徴とする。
本発明に係る３次元モデル作成システムにおいて、前記第２撮影画像記憶手段に記憶された前記複数の第２撮影画像は、前記障害物により覆われた領域において前記道路表面及び前記障害物に設置された複数の標識が、前記第２特徴点として少なくとも２枚の前記第２撮影画像に含まれるように撮影されたものであることを特徴とする。
これにより、本発明に係る３次元モデル作成方法及び３次元モデル作成システムでは、障害物より低い高度から撮影された複数の第２撮影画像により、障害物により覆われた領域における道路表面及び障害物の形状を正確に把握することが可能である。
本発明に係る標識は、本発明に係る３次元モデル作成方法に使用される標識であり、その裏面に粘着層が形成されたシール状であることを特徴とする。これにより、本発明に係る標識では、標識を設置個所に容易に固定することが可能である。
本発明に係る標識は、本発明に係る３次元モデル作成システムに使用される標識であり、その裏面に粘着層が形成されたシール状であることを特徴とする。これにより、本発明に係る標識では、標識を設置個所に容易に固定することが可能である。
以上、本発明によれば、道路表面の一部を覆う障害物がある場合でも、上空から撮影した撮影画像に基づいて補修起工時における道路状態を容易に調査することを可能である。
本発明の実施形態に係るオルソ画像作成システムの概略構成を示した図である。 上空から道路を撮影する際に、道路の両端部近傍に複数の対空標識が設置された状態を示す図である。 対空標識を示す図である。 対空標識が２枚の撮影画像に含まれる状態を説明する図である。 オルソ画像作成装置においてオルソ画像が作成される作成方法を説明する図である。 障害物より高い高度で飛行するＵＡＶを示す図である。 障害物より高い高度で飛行するＵＡＶにより撮影した撮影画像に基づいて作成した仮オルソ画像を示す図である。 障害物に覆われた領域に対空標識が設置される状態を示す図である。 障害物より低い高度で飛行するＵＡＶを示す図である。 仮オルソ画像から障害物を取り除いて作成された補正オルソ画像を示す図である。 仮オルソ画像と補正オルソ画像とで立体化される領域が異なる点を説明する図である。 ひび割れが形成された道路表面を拡大した図である。 ひび割れが形成された道路表面を拡大した図である。 本発明の実施形態に係る３次元モデル作成システムの概略構成を示した図である。 ３次元モデル作成装置において３次元モデルが作成される作成方法を説明する図である。 上空から道路表面を撮影したときの道路表面の３次元モデルである。 上空から道路表面を撮影したときの道路表面の３次元モデルである。 図１６の３次元モデルから、障害物を取り除いた状態を示す道路表面の３次元モデルである。 図１７の３次元モデルから、障害物を取り除いた状態を示す道路表面の３次元モデルである。 上空から道路表面を撮影したときの道路表面の３次元モデルである。 図２０の３次元モデルから、障害物を取り除いた状態を示す道路表面の３次元モデルである。 本発明の変形例に係るオルソ画像作成システムの概略構成を示した図である。 障害物より低い高度に配置されたカメラで撮影する動作を説明する図である。
以下、本発明の実施形態について、図面を参照して説明する。本実施形態では、道路周辺に障害物となる街路樹があり、上方から道路周辺を撮影した場合、その街路樹により道路表面の一部が覆われる場合について説明する。
本発明の実施形態に係るオルソ画像作成システム１は、既知点（例えば基準点）に設置されたトータルステーション２と、撮影装置としての無人航空機であるＵＡＶ３（Unmanned Aerial Vehicle）と、トータルステーション２及びＵＡＶ３が無線接続されたオルソ画像作成装置１０とを有している。
トータルステーション２は、道路の路面における各点に向けて測距光を出射し、各点において反射した反射光を受光し、出射から受光までに光波が発振した回数に基づいて、既知点に対する各点の３次元座標を取得し、その３次元座標をオルソ画像作成システム１０に供給する。本実施形態において、トータルステーション２は、複数の対空標識６の３次元座標を取得するために使用される。
ＵＡＶ３は、撮影装置を有しており、上空から道路の路面を撮影し、撮影データを取得し、撮影データをオルソ画像作成装置１０に供給する。ＵＡＶ３は、障害物より高い高度で飛行しながら撮影すると共に、障害物より低い高度で飛行しながら撮影することが可能である。
オルソ画像作成装置１０は、例えばマイクロコンピュータなどで構成されており、ＣＰＵと、オルソ画像作成装置１０の動作を制御するプログラムが格納されたＲＯＭと、上記プログラムを実行する際に用いられるデータ等が一時的に記憶されるＲＡＭとを備えている。
オルソ画像作成装置１０は、図１に示すように、座標記憶部１１と、撮影画像記憶部１２と、オルソ画像作成部１３と、形状検知部１４と、表示制御部１５とを有している。座標記憶部１１は、第１座標記憶部１１ａと、第２座標記憶部１１ｂとを有している。撮影画像記憶部１２は、第１撮影画像記憶部１２ａと、第２撮影画像記憶部１２ｂとを有している。オルソ画像作成部１３は、第１オルソ画像作成部１３ａと、第２オルソ画像作成部１３ｂとを有している。また、オルソ画像作成装置１０は、表示画面などの表示部５を有している。
座標記憶部１１は、別途、トータルステーション２により取得された複数の対空標識６などの特徴点の３次元座標を記憶する。第１座標記憶部１１ａは、道路表面の一部を覆う障害物より高い高度で飛行するＵＡＶ３により撮影される場合、障害物により覆われた領域以外に設置された対空標識６（第１特徴点）についての３次元座標を記憶する。第２座標記憶部１１ｂは、道路表面の一部を覆う障害物より低い高度で飛行するＵＡＶ３により撮影される場合、障害物により覆われた領域に設置された対空標識６（第２特徴点）についての３次元座標を記憶する。
撮影画像記憶部１２は、道路の上空をほぼ一定の高度で飛行しているＵＡＶ３により、上空から道路を撮影した複数の画像を記憶する。第１撮影画像記憶部１２ａは、上空から見たときに道路表面の一部が障害物により覆われた道路を障害物より高い高度から撮影された複数の第１撮影画像を記憶する。第２撮影画像記憶部１２ｂは、障害物により覆われた領域を障害物より低い高度から撮影された複数の第２撮影画像を記憶する。
本実施形態において、ＵＡＶ３は、撮影時、地上２０メートル以下の高度で飛行しており、例えば３～２０メートルの高度、好ましくは、３～１５メートルの高度で飛行している。
上空から見たときに道路表面の一部を覆う道路周辺にある障害物は、例えば３～１０メートル程度の高さである。そのため、ＵＡＶ３は、障害物より高い高度で撮影する場合、例えば地上１０～２０メートルの高度で飛行しており、障害物より低い高度で撮影する場合、例えば地上３～１０メートルの高度で飛行している。
障害物より高い高度で飛行するＵＡＶ３により道路を撮影する場合、図２に示すように、例えば道路の両端部近傍には、複数の特徴点として、複数の対空標識６が設置される。複数の対空標識６は、障害物により覆われてない領域に設置され、道路の端部（道路の長手方向）に沿って例えば５～１５メートル間隔で設置される。複数の対空標識６は、上空から撮影した複数の撮影画像を接続して、オルソ画像を作成することを考慮して設置される。対空標識６は、３次元座標が供給される特徴点であり、評定点として使用される。なお、複数の撮影画像を接続してオルソ画像を作成する場合に、対空標識６以外に、複数の撮影画像に含まれた特徴点であり且つ３次元座標が供給されない特徴点が使用されてよい。
対空標識６は、図３に示すように正方形状の板状部材である。対空標識６は、その中心位置が明確となる模様が付けられている。対空標識６は、その裏面に粘着層が形成されており、粘着層を覆うように裏紙が取り付けられたシール状になっており、裏紙を取り外して道路に貼り付けることにより、設置個所に容易に固定することが可能である。したがって、対空標識６を使用する際には、粘着層を覆う裏紙を取り外して、対空標識６の裏面を、道路表面に貼り付けて使用される。本実施形態の対空標識６は、例えば９ｃｍ×９ｃｍの正方形状であるが、対空標識６の種類、形状、大きさ、模様などは、それに限られない。
障害物より高い高度で飛行するＵＡＶ３により撮影される複数の画像は、図４に示すように、各対空標識６が少なくとも２枚の撮影画像に含まれるように撮影される。したがって、隣り合う２枚の撮影画像には、少なくとも１つの共通の対空標識６が撮影されている。なお、図４では、全ての撮影画像に対空標識６が含まれる場合が図示されているが、ＵＡＶ３により撮影される複数の画像は、対空標識６及び対空標識６以外の特徴点のいずれかが少なくとも２枚の撮影画像に含まれるように撮影されてよい。
対空標識６は、道路表面の一部を覆う障害物より高い高度で飛行するＵＡＶ３により撮影される場合、図２に示すように、障害物により覆われた領域以外に設置される。これに対して、道路表面の一部を覆う障害物より低い高度で飛行するＵＡＶ３により撮影される場合、図８に示すように、障害物により覆われた領域にある道路表面や障害物の一部に設置される。
オルソ画像作成部１３は、座標記憶部１１に記憶された対空標識６の３次元座標と、撮影画像記憶部１２に記憶された複数の撮影画像に基づいて、オルソ画像を作成する。具体的には、オルソ画像作成部１３は、複数の撮影画像についてのデータに対してＳｆＭ(Structure from Motion)解析などを行うことにより、隣り合う２枚の撮影画像を、それらに撮影された共通の対空標識６に基づいて接続して、３次元データ（点群データ）に基づいた３次元モデルを作成し、その３次元モデルに基づいてオルソ画像を作成する。
詳細に説明すると、第１オルソ画像作成部１３ａは、第１画像記憶部１２ａに記憶された複数の第１撮影画像と、第１座標記憶部１１ａに記憶された障害物により覆われた領域以外に設置された対空標識６の３次元座標とに基づいて仮オルソ画像を作成する。仮オルソ画像では、道路表面の一部が障害物に覆われている。
第２オルソ画像作成部１３ｂは、第１オルソ画像作成部１３ａにより作成された仮オルソ画像と、形状検知部１４により検知された障害物に覆われた領域における道路表面及び道路表面以外の部分（障害物を含む）の形状（３次元形状）とに基づいて補正オルソ画像を作成する。具体的には、第２オルソ画像作成部１３ｂは、仮オルソ画像において障害物に覆われた領域を含む所定範囲を指定して、その所定範囲を形状検知部１４により検知された形状（メッシュデータ）に置き換えることにより、障害物に覆われた領域を障害物に覆われてない領域に補正した補正オルソ画像を作成する。本実施形態の補正オルソ画像を作成する方法では、仮オルソ画像を背景として、その背景の上で補正用のオルソ画像（メッシュデータ→オルソ画像）を作成し、その補正用のオルソ画像を仮オルソ画像に統合して補正オルソ画像を作成することになる（最終的に統合するのは、オルソ画像同士）。そのため、本実施形態の補正オルソ画像を作成するための統合方法は、後述する（補正オルソ画像を作成するための統合方法３）に対応する。
形状検知部１４は、第２撮影記憶部１２ｂに記憶された複数の第２撮影画像と、第２座標記憶部１１ｂに記憶された障害物により覆われた領域に設置された対空標識６の３次元座標とに基づいて、障害物により覆われた領域における道路表面及び道路表面以外の部分（障害物を含む）の形状（３次元形状）に対応したメッシュデータを作成する。
表示制御部１５は、オルソ画像作成部１３により作成されたオルソ画像を表示部５に表示する。
（オルソ画像の作成）
オルソ画像作成装置１０においてオルソ画像が作成される作成方法について、図５に基づいて説明する。本実施形態では、道路周辺に障害物があり、上空から見たときに道路表面の一部が障害物により覆われている場合に、道路表面が障害物により覆われてない道路のオルソ画像を作成する方法について説明する。
ステップＳ１（第１座標取得ステップ）において、道路補修が行われる補修箇所周辺において、複数の所定位置、すなわち、複数の対空標識６が設置される所定位置について、トータルステーション２により、３次元座標、すなわち、平面位置（緯度、経度）及び標高（高さ）が取得される。
ステップＳ２（第１撮影ステップ）において、図６（ａ）及び図６（ｂ）に示すように、道路周辺の障害物Ｔより高い高度で飛行しているＵＡＶ３により、上空から道路が撮影される。図６（ｂ）は、ＵＡＶ３が飛行する軌道の例を示している。なお、撮影が行われる際、ステップＳ１により測量が行われた複数の所定位置に、複数の対空標識６があらかじめ設置されている。したがって、複数の対空標識６について、各対空標識６が少なくとも２枚の撮影画像に含まれるように、複数の撮影画像が撮影される。
ステップＳ３（第１オルソ画像作成ステップ）において、ステップＳ１により取得された３次元座標と、ステップＳ２により撮影された複数の撮影画像とに基づいて、仮オルソ画像が作成される。仮オルソ画像は、図７に示すように、道路表面の一部が障害物Ｔに覆われている。
ステップＳ４において、道路表面の一部が障害物Ｔに覆われた領域において、図８に示すように、複数の対空標識６を、道路表面及び道路表面以外の部分である障害物Ｔの側面などに設置する。障害物Ｔにより覆われた領域とは、上空から見たときに障害物Ｔにより隠れる領域である。図８では、対空標識６が障害物Ｔの道路側の側面に設置されている。
ステップＳ５（第２座標取得ステップ）において、障害物Ｔに覆われた領域において、複数の対空標識６が設置された所定位置について、トータルステーション２により、３次元座標、すなわち、平面位置（緯度、経度）及び標高（高さ）が取得される。
ステップＳ６（第２撮影ステップ）において、図９（ａ）及び図９（ｂ）に示すように、道路周辺の障害物Ｔより低い高度で飛行しているＵＡＶ３により、道路表面及び障害物Ｔが撮影される。図９（ｂ）は、ＵＡＶ３が飛行する軌道の例を示している。したがって、複数の対空標識６について、各対空標識６が少なくとも２枚の撮影画像に含まれるように、複数の撮影画像が撮影される。
ステップＳ７（形状検知ステップ）において、第２撮影記憶部１２ｂに記憶された複数の第２撮影画像と、座標記憶部１１ｂに記憶された障害物Ｔにより覆われた領域に設置された対空標識６の３次元座標とに基づいて、障害物Ｔにより覆われた領域における道路表面及び道路表面以外の部分（障害物Ｔを含む）の形状に対応したメッシュデータを作成する。
ステップＳ８（第２オルソ画像作成ステップ）において、ステップＳ３により作成された仮オルソ画像と、ステップＳ７により作成した障害物Ｔにより覆われた領域の道路表面及び道路表面以外の部分（障害物Ｔを含む）の形状に対応したメッシュデータとに基づいて、図１０に示すように、道路表面が障害物Ｔに覆われてない補正オルソ画像が作成される。図７の仮オルソ画像では、道路表面の一部が障害物Ｔに覆われており、その領域の道路表面は隠れているのに対し、図１０の補正オルソ画像では、道路周辺の障害物Ｔがその下端近傍で切り取られた状態となっており、図７において隠れていた道路表面が見える状態となっている。
ステップＳ９（表示ステップ）において、道路表面が障害物Ｔに覆われてない補正オルソ画像が表示部５に表示される。本実施形態において、オルソ画像の地上画素寸法は、５ミリメートル以下である。
仮オルソ画像（図７）と補正オルソ画像（図１０）とで立体化される領域が異なる点について、図１１に基づいて説明する。
例えば、道路周辺の障害物Ｔより高い高度で飛行しているＵＡＶ３により撮影した撮影画像に基づいてオルソ画像を作成した仮オルソ画像では、障害物Ｔにより覆われた領域の撮影画像がないため、図１１（ａ）に示すように、障害物Ｔより下方の領域が形にならない。仮に、図１１（ａ）において障害物Ｔをその下端近傍で切り取ったとしても、図１１（ｂ）に示すように、道路表面の端部（障害物Ｔに近接した側の端部）の情報がないため、道路表面の端部を補うことは不可能である。
これに対し、障害物Ｔに覆われた領域における道路表面及び道路表面以外の部分（障害物Ｔを含む）の形状（メッシュデータ）を使用した場合、図１１（ｃ）に示すように、障害物Ｔより下方の領域についても立体化される。障害物Ｔより下方の領域の全てが立体化されないが、少なくとも地面近傍の部分は立体化される。そのため、図１１（ｃ）において障害物Ｔをその下端近傍で切り取ると、図１１（ｄ）に示すように、道路表面の端部（障害物Ｔに近接した側の端部）を補うことにより障害物Ｔに覆われてない領域に補正可能である。
（オルソ画像を使用した道路調査方法）
上述のようにしてオルソ画像作成装置１０により作成されたオルソ画像は、道路の補修が行われる際に行われる種々の調査に使用される。
例えば、オルソ画像作成装置１０により作成されたオルソ画像を使用して、（１）道路表面のひび割れ（クラック）状態についての調査、（２）補修が行われる箇所を含む道路周辺の平面要素の位置についての調査、（３）マンホール周辺部を補修するための調査、（４）道路表面の２つの指定点間の距離についての調査、（５）道路表面の指定範囲の面積についての調査などが行われる。
図１２及び図１３は、ひび割れが形成された道路表面を拡大した図である。このように、本実施形態のオルソ画像作成装置１０により作成されるオルソ画像では、例えば道路表面に形成されたひび割れを明確に判別可能である。そのため、表示部５に表示されたオルソ画像に基づいて、道路表面のひび割れ状態についての調査として、道路補修が行われる補修箇所を含む道路表面においてひび割れが形成された箇所や、その部分のひび割れ率及びパッチング率がどの程度であるかが調査される。
上述したように、上空から見たときに道路表面の一部が障害物により覆われている場合に、障害物を取り除いて、道路表面が障害物により覆われてない道路のオルソ画像が作成されるが、オルソ画像を作成するまでの過程において、複数の撮影画像についてのデータに対してＳｆＭ(Structure from Motion)解析などを行うことにより、隣り合う２枚の撮影画像を、それらに撮影された共通の対空標識６に基づいて接続して、３次元モデル（３次元データ（点群データ）に基づいた３次元モデル）が作成される。
（３次元モデルの作成）
道路周辺の３次元モデルが作成される３次元モデル作成システム及び３次元モデル作成方法について、図１４及び図１５に基づいて説明する。本実施形態では、道路周辺に障害物があり、上空から見たときに道路表面の一部が障害物により覆われている場合に、道路表面が障害物により覆われてない道路の３次元モデルを作成する方法について説明する。
本発明の実施形態に係る３次元モデル作成システム１０１は、図１４に示すように、既知点（例えば基準点）に設置されたトータルステーション２と、撮影装置としての無人航空機であるＵＡＶ３（Unmanned Aerial Vehicle）と、トータルステーション２及びＵＡＶ３が無線接続されたオルソ画像作成装置１１０とを有している。
すなわち、図１に示したオルソ画像作成システムにおいて、下記の内容を変えると、図１４に示すように、本実施形態の３次元モデル作成方法により３次元モデルを作成する３次元モデル作成システムを示す。
・オルソ画像作成部１３を、３次元モデルを作成する３次元モデル作成部１１３に変える。
・第１オルソ画像作成部１３ａを、仮３次元モデルを作成する第１作成部１１３ａに変える。
・第２オルソ画像作成部１３ｂを、補正３次元モデルを作成する第２作成部１１３ｂに変える。
また、図５に示したオルソ画像作成方法において、下記の内容を変えると、図１５に示すように、本実施形態の３次元モデル作成方法を示す。
・ステップＳ３：仮オルソ画像の作成を、仮３次元モデルの作成に変える。
・ステップＳ８：補正オルソ画像の作成を、補正３次元モデルの作成に変える。
・ステップＳ９：補正オルソ画像の表示を、補正３次元モデルの表示に変える。
上述したように、道路表面が障害物Ｔに覆われてない補正オルソ画像は、道路表面の一部が障害物Ｔに覆われた仮オルソ画像と、障害物Ｔにより覆われた領域の道路表面及び道路表面以外の部分（障害物Ｔを含む）の形状に対応したメッシュデータとに基づいて作成されるが、それと同様にして、道路表面が障害物Ｔに覆われてない補正３次元モデルは、道路表面の一部が障害物Ｔに覆われた仮３次元モデルと、障害物Ｔにより覆われた領域の道路表面及び道路表面以外の部分（障害物Ｔを含む）の形状に対応した点群データとに基づいて作成されるため、詳細説明は省略する。そのため、図１４に示した３次元モデル作成システム１０１において、形状検知部１４は、第２撮影記憶部１２ｂに記憶された複数の第２撮影画像と、第２座標記憶部１１ｂに記憶された障害物により覆われた領域に設置された対空標識６の３次元座標とに基づいて、障害物により覆われた領域における道路表面及び道路表面以外の部分（障害物を含む）の形状（３次元形状）に対応した点群データを作成する。
本実施形態の補正３次元モデルを作成する方法では、仮３次元モデルを背景として、その背景の上で補正用の３次元モデル（メッシュデータ）を作成し、その補正用の３次元モデルを仮３次元モデルに統合して補正３次元モデルを作成することになる。そのため、本実施形態の補正３次元モデルを作成するための統合方法は、後述する（補正３次元モデルを作成するための統合方法１）に対応する。
なお、例えば表示画面上で道路表面の３次元モデルを回転させることにより、道路表面を種々の方向から見た３次元モデルに変えることが可能である。以下の説明では、道路表面の３次元モデルを種々の方向から見た場合について説明する。
図１６及び図１７は、上空から道路表面を撮影した場合に、街路樹、信号機及び道路標識などの障害物により道路表面の一部が覆われている状態を示す３次元モデルである。そのため、図１６及び図１７では、道路表面の一部が障害物により隠れた状態となっており、その道路表面の一部が見えない状態である。
これに対して、図１８及び図１９は、上空から道路表面を撮影した場合に、道路表面の一部を覆う街路樹、信号機及び道路標識などの障害物を取り除いた状態を示す３次元モデルである。そのため、図１８及び図１９では、図１６及び図１７において、障害物により隠れて見えない状態であった道路表面の一部が見える状態となっている。
図２０は、図１６及び図１７と異なる撮影方向から道路表面を撮影した場合に作成された３次元モデルである。図２０では、道路表面の大部分が街路樹により隠れた状態となっている。これに対して、図２１は、図２０から街路樹を取り除いた状態を示す３次元モデルである。図２１では、図２０において、街路樹により隠れて見えない状態であった道路表面の大部分が見える状態となっている。
よって、図１８、図１９及び図２１では、道路表面の全体が見える状態であるため、道路の幅（道路の端部の位置）や、車線表示線などの区画線を含む平面要素の位置についての調査を行うことが可能である。
本実施形態のオルソ画像作成方法は、上空から見たときに道路表面の一部が障害物により覆われた道路を障害物より高い高度から第１撮影装置（ＵＡＶ３）により撮影して複数の第１撮影画像を得る第１撮影ステップと、障害物により覆われた領域を障害物より低い高度から第２撮影装置（ＵＡＶ３）により撮影して複数の第２撮影画像を得る第２撮影ステップと、障害物により覆われた領域以外にあり且つ少なくとも２枚の複数の第１撮影画像に含まれた第１特徴点についての３次元座標を取得する第１座標取得ステップと、障害物により覆われた領域にあり且つ少なくとも２枚の複数の第２撮影画像に含まれた第２特徴点についての３次元座標を取得する第２座標取得ステップと、第１撮影ステップにより撮影された複数の第１撮影画像と、第２撮影ステップにより撮影された複数の第２撮影画像と、第１座標取得ステップにより取得された第１特徴点の３次元座標と、第２座標取得ステップにより取得された第２特徴点の３次元座標とに基づいて、道路表面の障害物により覆われた領域の少なくとも一部を、障害物に覆われてない領域に補正した補正オルソ画像を作成するオルソ画像作成ステップとを備える。
本実施形態のオルソ画像作成システム１は、上空から見たときに道路表面の一部が障害物により覆われた道路を障害物より高い高度から第１撮影装置（ＵＡＶ３）により撮影された複数の第１撮影画像を記憶する第１撮影画像記憶部１２ａと、障害物により覆われた領域を障害物より低い高度から第２撮影装置（ＵＡＶ３）により撮影された複数の第２撮影画像を記憶する第２撮影画像記憶部１２ｂと、障害物により覆われた領域以外にあり且つ少なくとも２枚の複数の第１撮影画像に含まれた第１特徴点についての３次元座標を記憶する第１座標記憶部１１ａと、障害物により覆われた領域にあり且つ少なくとも２枚の複数の第２撮影画像に含まれた第２特徴点についての３次元座標を記憶する第２座標記憶部１１ｂと、第１撮影画像記憶部１２ａに記憶された複数の第１撮影画像と、第２撮影画像記憶部１２ｂに記憶された複数の第２撮影画像と、第１座標記憶部１１ａに記憶された第１特徴点の３次元座標と、第２座標記憶部１１ｂに記憶された第２特徴点の３次元座標とに基づいて、道路表面の障害物により覆われた領域の少なくとも一部を、障害物に覆われてない領域に補正した補正オルソ画像を作成するオルソ画像作成部１３とを備える。
これにより、本実施形態のオルソ画像作成方法及びオルソ画像作成システム１では、上空から見たときに道路表面の一部が障害物により覆われている場合でも、道路表面の一部を障害物に覆われた領域を障害物に覆われてない領域に補正した補正オルソ画像を作成することが可能である。そのため、道路表面の一部を覆う障害物がある場合でも、上空から撮影した撮影画像に基づいて補修起工時における道路状態を容易に調査することを可能である。
本実施形態のオルソ画像作成方法において、オルソ画像作成ステップは、第１撮影ステップにより撮影された複数の第１撮影画像と第１座標取得ステップにより取得された第１特徴点の３次元座標とに基づいて、道路表面の一部が障害物に覆われた仮オルソ画像を作成する第１オルソ画像作成ステップと、第２撮影ステップにより撮影された複数の第２撮影画像と第２標取得ステップにより取得された第２特徴点の３次元座標とに基づいて、障害物により覆われた領域における道路表面及び道路表面以外の部分の少なくとも一部の形状を検知する形状検知ステップと、第１オルソ画像作成ステップにより作成された仮オルソ画像の障害物により覆われた領域の少なくとも一部を、障害物に覆われてない領域に補正した補正オルソ画像を作成する第２オルソ画像作成ステップとを備える。
本実施形態のオルソ画像作成システム１において、オルソ画像作成部１３は、第１画像記憶部１２ａに記憶された複数の第１撮影画像と第１座標記憶部１１ａに記憶された第１特徴点の３次元座標とに基づいて、道路表面の一部が障害物に覆われた仮オルソ画像を作成する第１オルソ画像作成部１３ａと、第２撮影画像記憶１２ｂに記憶された複数の第２撮影画像と第２座標記憶部１１ｂに記憶された第２特徴点の３次元座標とに基づいて、障害物により覆われた領域における道路表面及び道路表面以外の部分の少なくとも一部の形状を検知する形状検知部１４と、第１オルソ画像作成部１３ａにより作成された仮オルソ画像の障害物により覆われた領域の少なくとも一部を、障害物に覆われてない領域に補正した補正オルソ画像を作成する第２オルソ画像作成部１３ｂとを備える。
これにより、本発明に係るオルソ画像作成方法及びオルソ画像作成システム１では、上空から見たときに道路表面の一部が障害物により覆われている場合でも、仮オルソ画像において道路表面の一部を障害物に覆われた領域を障害物に覆われてない領域に補正した補正オルソ画像を作成することが可能である。そのため、道路表面の一部を覆う障害物がある場合でも、上空から撮影した撮影画像に基づいて補修起工時における道路状態を容易に調査することを可能である。
本実施形態のオルソ画像作成方法において、第１撮影装置は、障害物より高い高度で飛行するＵＡＶ３であり、第２撮影装置は、障害物より低い高度で飛行するＵＡＶ３である。
本実施形態のオルソ画像作成システム１において、第１撮影装置は、障害物より高い高度で飛行するＵＡＶ３であり、第２撮影装置は、障害物より低い高度で飛行するＵＡＶ３
である。
これにより、本実施形態のオルソ画像作成方法及びオルソ画像作成システム１では、ＵＡＶ３により、障害物により覆われてない道路表面を障害物より高い高度から撮影された複数の第１撮影画像と、障害物により覆われた道路表面を障害物より低い高度から撮影された複数の第２撮影画像を容易に得ることが可能である。
本実施形態のオルソ画像作成方法において、第２撮影ステップでは、障害物により覆われた領域において道路表面及び障害物に複数の対空標識６が設置され、その複数の対空標識６が第２特徴点として少なくとも２枚の第２撮影画像に含まれるように撮影される。
本実施形態のオルソ画像作成システム１において、第２撮影画像記憶部１２ｂに記憶された複数の第２撮影画像は、障害物により覆われた領域において道路表面及び障害物に設置された複数の対空標識６が、第２特徴点として少なくとも２枚の第２撮影画像に含まれるように撮影されたものである。
これにより、本実施形態のオルソ画像作成方法及びオルソ画像作成システム１では、障害物より低い高度から撮影された複数の第２撮影画像により、障害物により覆われた領域における道路表面及び障害物の形状を正確に把握することが可能である。
本実施形態の対空標識６は、本実施形態のオルソ画像作成方法に使用される標識であり、その裏面に粘着層が形成されたシール状である。これにより、本実施形態の対空標識６では、標識を設置個所に容易に固定することが可能である。
本実施形態の対空標識６は、本実施形態のオルソ画像作成システム１に使用される標識であり、その裏面に粘着層が形成されたシール状である。これにより、本実施形態の対空標識６では、標識を設置個所に容易に固定することが可能である。
本実施形態の３次元モデル作成方法は、上空から見たときに道路表面の一部が障害物により覆われた道路を障害物より高い高度から第１撮影装置（ＵＡＶ３）により撮影して複数の第１撮影画像を得る第１撮影ステップと、障害物により覆われた領域を障害物より低い高度から第２撮影装置（ＵＡＶ３）により撮影して複数の第２撮影画像を得る第２撮影ステップと、障害物により覆われた領域以外にあり且つ少なくとも２枚の複数の第１撮影画像に含まれた第１特徴点についての３次元座標を取得する第１座標取得ステップと、障害物により覆われた領域にあり且つ少なくとも２枚の複数の第２撮影画像に含まれた第２特徴点についての３次元座標を取得する第２座標取得ステップと、第１撮影ステップにより撮影された複数の第１撮影画像と、第２撮影ステップにより撮影された複数の第２撮影画像と、第１座標取得ステップにより取得された前記第１特徴点の３次元座標と、第２座標取得ステップにより取得された第２特徴点の３次元座標とに基づいて、道路表面の障害物により覆われた領域の少なくとも一部を、障害物に覆われてない領域に補正した補正３次元モデルを作成する３次元モデル作成ステップとを備える。
本実施形態の３次元モデル作成システム１０１は、上空から見たときに道路表面の一部が障害物により覆われた道路を障害物より高い高度から第１撮影装置（ＵＡＶ３）により撮影された複数の第１撮影画像を記憶する第１撮影画像記憶部１２ａと、障害物により覆われた領域を障害物より低い高度から第２撮影装置（ＵＡＶ３）により撮影された複数の第２撮影画像を記憶する第２撮影画像記憶部１２ｂと、障害物により覆われた領域以外にあり且つ少なくとも２枚の複数の第１撮影画像に含まれた第１特徴点についての３次元座標を記憶する第１座標記憶部１１ａと、障害物により覆われた領域にあり且つ少なくとも２枚の複数の第２撮影画像に含まれた第２特徴点についての３次元座標を記憶する第２座標記憶部１１ｂと、第１撮影画像記憶部１２ａに記憶された複数の第１撮影画像と、第２撮影画像記憶部１２ｂに記憶された複数の第２撮影画像と、第１座標記憶部１１ａに記憶された第１特徴点の３次元座標と、第２座標記憶部１１ｂに記憶された第２特徴点の３次元座標とに基づいて、道路表面の障害物により覆われた領域の少なくとも一部を、障害物に覆われてない領域に補正した補正３次元モデルを作成する３次元モデル作成部１１３とを備える。
これにより、本実施形態の３次元モデル作成方法及び３次元モデル作成システム１０１では、上空から見たときに道路表面の一部が障害物により覆われている場合でも、道路表面の一部を障害物に覆われた領域を障害物に覆われてない領域に補正した補正３次元モデルを作成することが可能である。そのため、道路表面の一部を覆う障害物がある場合でも、上空から撮影した撮影画像に基づいて、補修起工時における道路の幅（道路の端部の位置）や、車線表示線などの区画線を含む平面要素の位置についての調査を行うことが可能である。
本実施形態の３次元モデル作成方法は、３次元モデル作成ステップは、第１撮影ステップにより撮影された複数の第１撮影画像と第１座標取得ステップにより取得された第１特徴点の３次元座標とに基づいて、道路表面の一部が障害物に覆われた仮３次元モデルを作成する第１作成ステップと、第２撮影ステップにより撮影された複数の第２撮影画像と第２標取得ステップにより取得された第２特徴点の３次元座標とに基づいて、障害物により覆われた領域における道路表面及び道路表面以外の部分の少なくとも一部の形状を検知する形状検知ステップと、第１作成ステップにより作成された仮３次元モデルの障害物により覆われた領域の少なくとも一部を、障害物に覆われてない領域に補正した補正３次元モデルを作成する第２の３次元モデル作成ステップとを備える。
本実施形態の３次元モデル作成システム１０１は、３次元モデル作成部１１３は、第１撮影画像記憶部１２ａに記憶された複数の第１撮影画像と第１座標記憶部１１ａに記憶された第１特徴点の３次元座標とに基づいて、道路表面の一部が障害物に覆われた仮３次元モデルを作成する第１作成部１１３ａと、第２撮影画像記憶部１２ｂに記憶された複数の第２撮影画像と第２座標記憶部１１ｂに記憶された第２特徴点の３次元座標とに基づいて、障害物により覆われた領域における道路表面及び道路表面以外の部分の少なくとも一部の形状を検知する形状検知部１４と、第１作成部１１３ａにより作成された仮３次元モデルの障害物により覆われた領域の少なくとも一部を、障害物に覆われてない領域に補正した補正３次元モデルを作成する第２作成部１１３ｂとを備える。
これにより、本発明に係る３次元モデル作成方法及び３次元モデル作成システム１０１では、上空から見たときに道路表面の一部が障害物により覆われている場合でも、仮３次元モデルにおいて道路表面の一部を障害物に覆われた領域を障害物に覆われてない領域に補正した補正３次元モデルを作成することが可能である。そのため、道路表面の一部を覆う障害物がある場合でも、上空から撮影した撮影画像に基づいて、補修起工時における道路の幅（道路の端部の位置）や、車線表示線などの区画線を含む平面要素の位置についての調査を行うことが可能である。
本実施形態の３次元モデル作成方法において、第１撮影装置は、障害物より高い高度で飛行するＵＡＶ３であり、第２撮影装置は、障害物より低い高度で飛行するＵＡＶ３であることを特徴とする。
本実施形態の３次元モデル作成システム１０１において、第１撮影装置は、障害物より高い高度で飛行するＵＡＶ３であり、第２撮影装置は、障害物より低い高度で飛行するＵＡＶ３であることを特徴とする。
これにより、本実施形態の３次元モデル作成方法及び３次元モデル作成システム１０１では、ＵＡＶ３により、障害物により覆われてない道路表面を障害物より高い高度から撮影された複数の第１撮影画像と、障害物により覆われた道路表面を障害物より低い高度から撮影された複数の第２撮影画像を容易に得ることが可能である。
本実施形態の３次元モデル作成方法において、第２撮影ステップでは、障害物により覆われた領域において道路表面及び障害物に複数の対空標識６が設置され、その複数の対空標識６が第２特徴点として少なくとも２枚の第２撮影画像に含まれるように撮影される。
本実施形態の３次元モデル作成システム１０１において、第２撮影画像記憶部１２ｂに記憶された複数の第２撮影画像は、障害物により覆われた領域において道路表面及び障害物に設置された複数の対空標識６が、第２特徴点として少なくとも２枚の第２撮影画像に含まれるように撮影されたものである。
これにより、本実施形態の３次元モデル作成方法及び３次元モデル作成システム１０１では、障害物より低い高度から撮影された複数の第２撮影画像により、障害物により覆われた領域における道路表面及び障害物の形状を正確に把握することが可能である。
本実施形態の対空標識６は、本実施形態の３次元モデル作成方法に使用される標識であり、その裏面に粘着層が形成されたシール状である。これにより、本実施形態の対空標識６では、標識を設置個所に容易に固定することが可能である。
本実施形態の対空標識６は、本実施形態の３次元モデル作成システム１０１に使用される標識であり、その裏面に粘着層が形成されたシール状である。これにより、本実施形態の対空標識６では、標識を設置個所に容易に固定することが可能である。
以上、本発明の実施形態を説明したが、各部の具体的な構成は上述した実施形態のみに限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
上記実施形態では、地上２０メートル以下の高度において、ほぼ一定の高度で飛行しているＵＡＶ３により道路の上空から撮影した撮影画像に基づいて、３次元モデル及びオルソ画像を作成しているが、本発明は、地上２０メートルを超える高度で飛行しているＵＡＶ３により道路の上空から撮影した撮影画像に基づいて、３次元モデル及びオルソ画像を作成するものを含む。
上記実施形態では、対空標識６の３次元座標をトータルステーション２により取得しているが、対空標識６の３次元座標を、例えばＧＰＳなどの衛星を用いた測位システムであるＧＮＳＳ（全球測位衛星システム）により取得してよい。対空標識６の３次元座標を３Ｄスキャナ４のスキャニングにより取得してよい。道路周辺に設置された対空標識６の３次元座標を３Ｄスキャナ４のスキャニングにより取得してよい。また、複数の対空標識６が設置された所定位置について、トータルステーション２により３次元座標を取得しているが、所定位置についての３次元座標が既に取得されている場合、その３次元座標を取得してよい。
上記実施形態において、対空標識６は、正方形状であり、評定点と使用される中心位置が明確となる模様を有しているが、対空標識６の形状、及び、対空標識６の中心位置が特徴点となる場合に限られない。対空標識６は、その中心位置以外の位置が特定される模様を有しており、その中心位置以外の位置が評定点と使用されてよい。
また、上記実施形態では、板状の対空標識６を道路表面などに設置しているが、板状の対空標識６を使用する代わりに、対空標識６と同様の模様を塗料などの任意の材料により道路表面などに形成してよい。例えば、道路のアスファルト表面に対して、図３の対空標識６における白色の部分と同一形状の模様を、アスファルト表面と異なる色の塗料を吹き付けて、対空標識６と同様の模様を形成してよい。対空標識を塗料などの任意の材料により道路表面に形成する場合も、対空標識の種類、形状、大きさ、模様などは任意である。上記の内容は、例えば街路樹などの障害物に対空標識を固定する場合も同様である。
また、上記実施形態では、裏面の粘着層を覆うように裏紙が取り付けられたシール状に形成された対空標識６を使用し、裏紙を取り外して設置個所に貼り付けることにより対空標識６を設置個所に固定する場合を説明したが、対空標識６を設置個所に固定する方法は任意である。例えば、穴が形成された対空標識を固定器具（例えば、アンカーピンなど）により設置個所に固定してもよい。その場合、道路表面などの設置個所に取り付け穴を形成して、その取り付け穴に対して固定器具により対空標識を固定してよい。また、例えば、対空標識が先端に形成された棒状の標識杭を設置個所に埋め込んで設置個所に固定してもよい。その場合、地面表面などに対して標識杭を埋め込むことにより、標識杭の先端に形成された対空標識が地面表面に配置される。上記の内容は、例えば街路樹などの障害物に対空標識を固定する場合も同様である。
上記実施形態において、オルソ画像の作成方法を説明したが、対空標識６の３次元座標の取得した後で、撮影画像の撮影を行うことが可能であると共に、撮影画像の撮影を行った後で、対空標識６の３次元座標の取得することが可能である。
上記実施形態では、上空から見たときに道路表面の一部が障害物により覆われている場合に、障害物に覆われた領域の全てを障害物に覆われてない領域に補正した補正３次元モデル及び補正オルソ画像を作成しているが、障害物に覆われた領域の一部（例えば道路表面及び道路表面以外の部分の少なくとも一部）を障害物に覆われてない領域に補正した補正３次元モデル及び補正オルソ画像を作成してよい。よって、障害物に覆われた領域の道路表面を障害物に覆われてない領域に補正し、且つ、障害物に覆われた領域の道路表面以外の部分を障害物に覆われてない領域に補正しない補正３次元モデル及び補正オルソ画像を作成してよい。
上記実施形態では、第１撮影装置及び第２撮影装置として、障害物より高い高度で飛行する無人航空機（撮影装置を含む）及び障害物より低い高度で飛行する無人航空機（撮影装置を含む）を使用したが、それに限られない。本発明において、第１撮影装置及び第２撮影装置の種類は、任意である。例えば、第１撮影装置及び第２撮影装置として、障害物より高い高度から道路を撮影する場合及び障害物より低い高度から道路を撮影する場合の少なくともいずれかを、障害物より高い高度で飛行する模型航空機（撮影装置を含む）または障害物より低い高度で飛行する模型航空機（撮影装置を含む）により道路を撮影してもよい。本発明において、無人航空機とは、人が乗ることができない飛行機、回転翼航空機、飛行船、等で、遠隔操作又は自動操縦により飛行可能なものであり、例えばドローン（マルチコプター）、ラジコン機、等である。また、模型航空機とは、例えばマルチコプター、ラジコン機、等であり、機体本体重量とバッテリー重量との合計である重量200グラム未満のものである。上記実施形態では、上空を飛行している無人航空機により道路を撮影した場合に、道路表面の一部を覆う障害物は、道路周辺にある街路樹に限られない。本発明は、例えば道路表面の上方に配置された歩道橋や信号機などの障害物が、道路表面の一部を覆う場合に適用可能である。
上記実施形態では、第１撮影装置及び第２撮影装置として、障害物より高い高度で飛行する無人航空機（撮影装置を含む）及び障害物より低い高度で飛行する無人航空機（撮影装置を含む）を使用したが、それに限られない。例えば、第１撮影装置及び第２撮影装置として、障害物より高い高度から道路を撮影する場合及び障害物より低い高度から道路を撮影する場合の少なくともいずれかを、障害物より高い高度に配置されたカメラまたは障害物より低い高度に配置されたカメラにより道路を撮影してもよい。
例えば、本発明の変形例に係るオルソ画像作成システムは、図２２に示すように、既知点（例えば基準点）に設置されたトータルステーション２と、撮影装置としての無人航空機であるＵＡＶ３（Unmanned Aerial Vehicle）と、撮影装置としてのカメラ１０３と、トータルステーション２、ＵＡＶ３及びカメラ１０３が無線接続されたオルソ画像作成装置１０とを有していてよい。
本変形例では、上空から見たときに道路表面の一部が障害物により覆われた道路を障害物より高い高度から撮影する場合、ＵＡＶ３により撮影して、障害物により覆われた領域を障害物より低い高度から撮影する場合、カメラ１０３により撮影する。すなわち、道路表面の一部が障害物Ｔに覆われた領域にいる点検員が、カメラ１０３を操作して、図２３に示すように、道路表面及び道路表面以外の部分である障害物Ｔの側面などに設置された複数の対空標識６が含まれる領域（道路表面及び障害物Ｔ）を撮影する。その場合、点検員は移動しながら、複数の対空標識６について、各対空標識６が少なくとも２枚の撮影画像に含まれるように、複数の撮影画像を撮影する。
上記実施形態では、対空標識６の３次元座標と複数の撮影画像に基づいてオルソ画像を作成する際、ＳｆＭ(Structure from Motion)解析ソフトが使用されるが、ＳｆＭ解析ソフトによる工程には、（１）複数の位置に対応した複数の点群データの集まりを構成する点群化工程と、（２）点群データを頂点として連結された３角形平面の集合体である三次元ＴＩＮモデル（不定形三角網）に変換するＴＩＮ工程（点群化工程で形成された点群データの集まりをメッシュ化するメッシュ化工程）と、（３）ＴＩＮ工程で変換された三次元ＴＩＮモデルに基づいてオルソ画像を作成するオルソ画像作成工程とが含まれる。本発明のオルソ画像（仮オルソ画像および補正オルソ画像）は、ＳｆＭ解析ソフトでオルソ画像作成工程まで行われることにより得られるものであり、本発明の３次元モデル（仮３次元モデルおよび補正３次元モデル）は、ＳｆＭ解析ソフトで点群化工程まで行われることにより得られるもの、または、ＳｆＭ解析ソフトで点群化工程の後、ＴＩＮ工程まで行われることにより得られるものである。すなわち、ＳｆＭ解析ソフトで点群化工程まで行われることにより３次元モデル（点群データ）が作成されるとともに、ＳｆＭ解析ソフトで点群化工程の後、ＴＩＮ工程まで行われることにより３次元モデル（ＴＩＮ化された点群データ）が作成される。
（補正オルソ画像の作成方法）
本発明では、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われるとともに、障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われて、それらのデータを統合することにより補正オルソ画像が作成される。
障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われたものと、障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われたものとを統合して補正オルソ画像を作成する方法として、下記の方法がある。上記実施形態では、下記の（補正オルソ画像を作成するための統合方法３）を使用した場合を説明したが、補正オルソ画像を作成するための統合方法は、任意である。
（補正オルソ画像を作成するための統合方法１）
障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程まで行ったものを、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程まで行ったものに統合し、その後、統合されたデータに対して、ＴＩＮ工程と、オルソ画像作成工程とを行うことにより補正オルソ画像を作成する。
（補正オルソ画像を作成するための統合方法２）
障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程の後、ＴＩＮ工程まで行ったものを、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程の後、ＴＩＮ工程まで行ったものに統合し、その後、統合されたデータに対して、オルソ画像作成工程とを行うことにより補正オルソ画像を作成する。
（補正オルソ画像を作成するための統合方法３）
障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程及びＴＩＮ工程を行った後、オルソ画像作成工程まで行ったものを、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程及びＴＩＮ工程を行った後、オルソ画像作成工程まで行ったものに統合して補正オルソ画像を作成する。
（補正オルソ画像を作成するための統合方法４）
障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標と、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標とまとめたものに対してＳｆＭ解析を点群化工程と、ＴＩＮ工程と、オルソ画像作成工程とを行うことにより補正オルソ画像を作成する。
（補正３次元モデルの作成方法）
本発明では、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われるとともに、障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われて、それらのデータを統合することにより補正３次元モデルが作成される。
障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われたものと、障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われたものとを統合して補正３次元モデルを作成する方法として、下記の方法がある。上記実施形態では、下記の（補正３次元モデルを作成するための統合方法１）を使用した場合を説明したが、補正３次元モデルを作成するための統合方法は、任意である。
（補正３次元モデルを作成するための統合方法１）
障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程まで行ったものを、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程まで行ったものに統合して、補正３次元モデルを作成する。
（補正３次元モデルを作成するための統合方法２）
障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程まで行ったものを、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程まで行ったものに統合して、その後、統合されたデータに対して、ＴＩＮ工程行うことにより補正３次元モデルを作成する。
（補正３次元モデルを作成するための統合方法３）
障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程の後、ＴＩＮ工程まで行ったものを、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析を点群化工程の後、ＴＩＮ工程まで行ったものに統合して補正３次元モデルを作成する。
（補正３次元モデルを作成するための統合方法４）
障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標と、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標とまとめたものに対してＳｆＭ解析を点群化工程まで行うことにより補正３次元モデルを作成する。
（補正３次元モデルを作成するための統合方法５）
障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標と、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標と統合したものに対してＳｆＭ解析を点群化工程の後、ＴＩＮ工程まで行うことにより補正３次元モデルを作成する。
上記の補正オルソ画像を作成するための統合方法または補正３次元モデルを作成するための統合方法では、障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われたものを、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われたものに統合したが、障害物より高い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われたものを、障害物より低い高度から撮影した複数の撮影画像及びそれに含まれる対空標識６の３次元座標に対してＳｆＭ解析が行われたものに統合してよい。
１ オルソ画像作成システム
２ トータルステーション
３ ＵＡＶ（無人航空機）
４ ３Ｄスキャナ（３次元走査装置）
５ 表示部
６ 対空標識
１０ オルソ画像作成装置
１１ 座標記憶部
１１ａ 第１座標記憶部（第１座標記憶手段）
１１ｂ 第２座標記憶部（第２座標記憶手段）
１２ 撮影画像記憶部
１２ａ 第１撮影画像記憶部（第１撮影画像記憶手段）
１２ｂ 第２撮影画像記憶部（第２撮影画像記憶手段）
１３ オルソ画像作成部
１３ａ 第１オルソ画像作成部（第１オルソ画像作成手段）
１３ｂ 第２オルソ画像作成部（第２オルソ画像作成手段）
１４ 形状検知部（形状検知手段）
１５ 表示制御部
１０１ ３次元モデル作成システム
１０３ カメラ
１１３ ３次元モデル作成部
１１３ａ 第１の３次元モデル作成部（第１の３次元モデル手段）
１１３ｂ 第２の３次元モデル作成部（第２の３次元モデル手段）

Claims (16)

  1. 上空から見たときに道路表面の一部が障害物により覆われた道路を前記障害物より高い高度から第１撮影装置により撮影して複数の第１撮影画像を得る第１撮影ステップと、
    前記障害物により覆われた領域を前記障害物より低い高度から第２撮影装置により撮影して複数の第２撮影画像を得る第２撮影ステップと、
    前記障害物により覆われた領域以外にあり且つ少なくとも２枚の前記複数の第１撮影画像に含まれた第１特徴点についての３次元座標を取得する第１座標取得ステップと、
    前記障害物により覆われた領域にあり且つ少なくとも２枚の前記複数の第２撮影画像に含まれた第２特徴点についての３次元座標を取得する第２座標取得ステップと、
    前記第１撮影ステップにより撮影された複数の第１撮影画像と、前記第２撮影ステップにより撮影された複数の第２撮影画像と、前記第１座標取得ステップにより取得された前記第１特徴点の３次元座標と、前記第２座標取得ステップにより取得された前記第２特徴点の３次元座標とに基づいて、前記道路表面の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した補正オルソ画像を作成するオルソ画像作成ステップとを備えることを特徴とするオルソ画像作成方法。
  2. 前記オルソ画像作成ステップは、
    前記第１撮影ステップにより撮影された複数の第１撮影画像と前記第１座標取得ステップにより取得された前記第１特徴点の３次元座標とに基づいて、道路表面の一部が前記障害物に覆われた仮オルソ画像を作成する第１オルソ画像作成ステップと、
    前記第２撮影ステップにより撮影された複数の第２撮影画像と前記第２座標取得ステップにより取得された前記第２特徴点の３次元座標とに基づいて、前記障害物により覆われた領域における前記道路表面及び前記道路表面以外の部分の少なくとも一部の形状を検知する形状検知ステップと、
    前記第１オルソ画像作成ステップにより作成された前記仮オルソ画像の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した前記補正オルソ画像を作成する第２オルソ画像作成ステップとを備えることを特徴とする請求項１に記載のオルソ画像作成方法。
  3. 前記第１撮影装置は、前記障害物より高い高度で飛行する無人航空機または模型航空機であり、前記第２撮影装置は、前記障害物より低い高度で飛行する無人航空機または模型航空機もしくは前記障害物より低い高度に配置されたカメラであることを特徴とする請求項１または２に記載のオルソ画像作成方法。
  4. 前記第２撮影ステップでは、前記障害物により覆われた領域において前記道路表面及び前記障害物に複数の標識が設置され、その複数の標識が前記第２特徴点として少なくとも２枚の前記第２撮影画像に含まれるように撮影されることを特徴とする請求項１～３の何れかに記載のオルソ画像作成方法。
  5. 上空から見たときに道路表面の一部が障害物により覆われた道路を前記障害物より高い高度から第１撮影装置により撮影された複数の第１撮影画像を記憶する第１撮影画像記憶手段と、
    前記障害物により覆われた領域を前記障害物より低い高度から第２撮影装置により撮影された複数の第２撮影画像を記憶する第２撮影画像記憶手段と、
    前記障害物により覆われた領域以外にあり且つ少なくとも２枚の前記複数の第１撮影画像に含まれた第１特徴点についての３次元座標を記憶する第１座標記憶手段と、
    前記障害物により覆われた領域にあり且つ少なくとも２枚の前記複数の第２撮影画像に含まれた第２特徴点についての３次元座標を記憶する第２座標記憶手段と、
    前記第１撮影画像記憶手段に記憶された複数の第１撮影画像と、前記第２撮影画像記憶
    手段に記憶された複数の第２撮影画像と、前記第１座標記憶手段に記憶された前記第１特徴点の３次元座標と、前記第２座標記憶手段に記憶された前記第２特徴点の３次元座標とに基づいて、前記道路表面の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した補正オルソ画像を作成するオルソ画像作成手段とを備えることを特徴とするオルソ画像作成システム。
  6. 前記オルソ画像作成手段は、
    前記第１撮影画像記憶手段に記憶された複数の第１撮影画像と前記第１座標記憶手段に記憶された前記第１特徴点の３次元座標とに基づいて、道路表面の一部が障害物に覆われた仮オルソ画像を作成する第１オルソ画像作成手段と、
    前記第２撮影画像記憶手段に記憶された複数の第２撮影画像と前記第２座標記憶手段に記憶された前記第２特徴点の３次元座標とに基づいて、前記障害物により覆われた領域における前記道路表面及び前記道路表面以外の部分の少なくとも一部の形状を検知する形状検知手段と、
    前記第１オルソ画像作成手段により作成された前記仮オルソ画像の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した前記補正オルソ画像を作成する第２オルソ画像作成手段とを備えることを特徴とする請求項５に記載のオルソ画像作成システム。
  7. 前記第１撮影装置は、前記障害物より高い高度で飛行する無人航空機または模型航空機であり、前記第２撮影装置は、前記障害物より低い高度で飛行する無人航空機または模型航空機もしくは前記障害物より低い高度に配置されたカメラであることを特徴とする請求項５または６に記載のオルソ画像作成システム。
  8. 前記第２撮影画像記憶手段に記憶された前記複数の第２撮影画像は、前記障害物により覆われた領域において前記道路表面及び前記障害物に設置された複数の標識が、前記第２特徴点として少なくとも２枚の前記第２撮影画像に含まれるように撮影されたものであることを特徴とする請求項５～７の何れかに記載のオルソ画像作成システム。
  9. 上空から見たときに道路表面の一部が障害物により覆われた道路を前記障害物より高い高度から第１撮影装置により撮影して複数の第１撮影画像を得る第１撮影ステップと、
    前記障害物により覆われた領域を前記障害物より低い高度から第２撮影装置により撮影して複数の第２撮影画像を得る第２撮影ステップと、
    前記障害物により覆われた領域以外にあり且つ少なくとも２枚の前記複数の第１撮影画像に含まれた第１特徴点についての３次元座標を取得する第１座標取得ステップと、
    前記障害物により覆われた領域にあり且つ少なくとも２枚の前記複数の第２撮影画像に含まれた第２特徴点についての３次元座標を取得する第２座標取得ステップと、
    前記第１撮影ステップにより撮影された複数の第１撮影画像と、前記第２撮影ステップにより撮影された複数の第２撮影画像と、前記第１座標取得ステップにより取得された前記第１特徴点の３次元座標と、前記第２座標取得ステップにより取得された前記第２特徴点の３次元座標とに基づいて、前記道路表面の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した補正３次元モデルを作成する３次元モデル作成ステップとを備えることを特徴とする３次元モデル作成方法。
  10. 前記３次元モデル作成ステップは、
    前記第１撮影ステップにより撮影された複数の第１撮影画像と前記第１座標取得ステップにより取得された前記第１特徴点の３次元座標とに基づいて、道路表面の一部が前記障害物に覆われた仮３次元モデルを作成する第１作成ステップと、
    前記第２撮影ステップにより撮影された複数の第２撮影画像と前記第２座標取得ステップにより取得された前記第２特徴点の３次元座標とに基づいて、前記障害物により覆われた領域における前記道路表面及び前記道路表面以外の部分の少なくとも一部の形状を検知する形状検知ステップと、
    前記第１作成ステップにより作成された前記仮３次元モデルの前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した前記補正３次元モデルを作成する第２の３次元モデル作成ステップとを備えることを特徴とする請求項９に記載の３次元モデル作成方法。
  11. 前記第１撮影装置は、前記障害物より高い高度で飛行する無人航空機または模型航空機であり、前記第２撮影装置は、前記障害物より低い高度で飛行する無人航空機または模型航空機もしくは前記障害物より低い高度に配置されたカメラであることを特徴とする請求項９または１０に記載の３次元モデル作成方法。
  12. 前記第２撮影ステップでは、前記障害物により覆われた領域において前記道路表面及び前記障害物に複数の標識が設置され、その複数の標識が前記第２特徴点として少なくとも２枚の前記第２撮影画像に含まれるように撮影されることを特徴とする請求項９～１１の何れかに記載の３次元モデル作成方法。
  13. 上空から見たときに道路表面の一部が障害物により覆われた道路を前記障害物より高い高度から第１撮影装置により撮影された複数の第１撮影画像を記憶する第１撮影画像記憶手段と、
    前記障害物により覆われた領域を前記障害物より低い高度から第２撮影装置により撮影された複数の第２撮影画像を記憶する第２撮影画像記憶手段と、
    前記障害物により覆われた領域以外にあり且つ少なくとも２枚の前記複数の第１撮影画像に含まれた第１特徴点についての３次元座標を記憶する第１座標記憶手段と、
    前記障害物により覆われた領域にあり且つ少なくとも２枚の前記複数の第２撮影画像に含まれた第２特徴点についての３次元座標を記憶する第２座標記憶手段と、
    前記第１撮影画像記憶手段に記憶された複数の第１撮影画像と、前記第２撮影画像記憶手段に記憶された複数の第２撮影画像と、前記第１座標記憶手段に記憶された前記第１特徴点の３次元座標と、前記第２座標記憶手段に記憶された前記第２特徴点の３次元座標とに基づいて、前記道路表面の前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した補正３次元モデルを作成する３次元モデル作成手段とを備えることを特徴とする３次元モデル作成システム。
  14. 前記３次元モデル作成手段は、
    前記第１撮影画像記憶手段に記憶された複数の第１撮影画像と前記第１座標記憶手段に記憶された前記第１特徴点の３次元座標とに基づいて、道路表面の一部が前記障害物に覆われた仮３次元モデルを作成する第１の３次元モデル作成手段と、
    前記第２撮影画像記憶手段に記憶された複数の第２撮影画像と前記第２座標記憶手段に記憶された前記第２特徴点の３次元座標とに基づいて、前記障害物により覆われた領域における前記道路表面及び前記道路表面以外の部分の少なくとも一部の形状を検知する形状検知手段と、
    前記第１の３次元モデル作成手段により作成された前記仮３次元モデルの前記障害物により覆われた領域の少なくとも一部を、前記障害物に覆われてない領域に補正した前記補正３次元モデルを作成する第２の３次元モデル作成手段とを備えることを特徴とする請求
    項１３に記載の３次元モデル作成システム。
  15. 前記第１撮影装置は、前記障害物より高い高度で飛行する無人航空機または模型航空機であり、前記第２撮影装置は、前記障害物より低い高度で飛行する無人航空機または模型航空機もしくは前記障害物より低い高度に配置されたカメラであることを特徴とする請求項１３または１４に記載の３次元モデル作成システム。
  16. 前記第２撮影画像記憶手段に記憶された前記複数の第２撮影画像は、前記障害物により覆われた領域において前記道路表面及び前記障害物に設置された複数の標識が、前記第２特徴点として少なくとも２枚の前記第２撮影画像に含まれるように撮影されたものであることを特徴とする請求項１３～１５の何れかに記載の３次元モデル作成システム。
JP2020140260A 2019-08-23 2020-08-21 オルソ画像作成方法、オルソ画像作成システム、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識 Active JP7441509B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/392,420 US11682169B2 (en) 2019-08-23 2021-08-03 Ortho-image creation method, ortho-image creation system, three-dimensional model creation method, three-dimensional model creation system, and marker used therefor
JP2024017981A JP2024054268A (ja) 2019-08-23 2024-02-08 オルソ画像作成方法、オルソ画像作成システム、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019153070 2019-08-23
JP2019153070 2019-08-23
JP2019208283 2019-11-18
JP2019208283 2019-11-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024017981A Division JP2024054268A (ja) 2019-08-23 2024-02-08 オルソ画像作成方法、オルソ画像作成システム、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識

Publications (2)

Publication Number Publication Date
JP2021082250A JP2021082250A (ja) 2021-05-27
JP7441509B2 true JP7441509B2 (ja) 2024-03-01

Family

ID=75965346

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020140260A Active JP7441509B2 (ja) 2019-08-23 2020-08-21 オルソ画像作成方法、オルソ画像作成システム、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識
JP2024017981A Pending JP2024054268A (ja) 2019-08-23 2024-02-08 オルソ画像作成方法、オルソ画像作成システム、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024017981A Pending JP2024054268A (ja) 2019-08-23 2024-02-08 オルソ画像作成方法、オルソ画像作成システム、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識

Country Status (2)

Country Link
US (1) US11682169B2 (ja)
JP (2) JP7441509B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010024212A1 (ja) 2008-08-29 2010-03-04 三菱電機株式会社 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム
JP2014006148A (ja) 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム
JP2014042287A (ja) 2013-09-30 2014-03-06 King Jim Co Ltd シンボル片、画像処理プログラム、及び画像処理方法
JP2018146546A (ja) 2017-03-09 2018-09-20 エアロセンス株式会社 情報処理システム、情報処理装置および情報処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008130219A1 (en) * 2007-04-19 2008-10-30 Tele Atlas B.V. Method of and apparatus for producing road information
US9077958B2 (en) * 2010-08-30 2015-07-07 Honda Motor Co., Ltd. Road departure warning system
US9881384B2 (en) * 2014-12-10 2018-01-30 Here Global B.V. Method and apparatus for providing one or more road conditions based on aerial imagery
CN105891816B (zh) * 2015-11-09 2018-06-22 乐卡汽车智能科技（北京）有限公司 路面探测系统及车辆
US10254763B2 (en) * 2016-12-29 2019-04-09 Intel Corporation Detection of traffic dynamics and road changes in autonomous driving
US10345825B2 (en) * 2017-01-03 2019-07-09 International Business Machines Corporation Detecting an illumination need
JP6858366B2 (ja) 2017-01-31 2021-04-14 鹿島道路株式会社 路面評価システム及び評価方法
US10678256B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010024212A1 (ja) 2008-08-29 2010-03-04 三菱電機株式会社 俯瞰画像生成装置、俯瞰画像生成方法および俯瞰画像生成プログラム
JP2014006148A (ja) 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム
JP2014042287A (ja) 2013-09-30 2014-03-06 King Jim Co Ltd シンボル片、画像処理プログラム、及び画像処理方法
JP2018146546A (ja) 2017-03-09 2018-09-20 エアロセンス株式会社 情報処理システム、情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JP2024054268A (ja) 2024-04-16
JP2021082250A (ja) 2021-05-27
US11682169B2 (en) 2023-06-20
US20220058863A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
CN111540048B (zh) 一种基于空地融合的精细化实景三维建模方法
Congress et al. Total system error analysis of UAV-CRP technology for monitoring transportation infrastructure assets
Hendrickx et al. The use of stereoscopic images taken from a microdrone for the documentation of heritage–An example from the Tuekta burial mounds in the Russian Altay
CN108090957B (zh) 基于bim的测绘地形的方法
JP2012511697A (ja) 測地参照データベースを生成する方法
JP6290735B2 (ja) 測量方法
US20170248967A1 (en) Unmanned aircraft for positioning an instrument for inspection purposes and methods of inspecting a target surface
US11531833B2 (en) Creating a ground control point file using an existing landmark shown in images
Liu et al. Rapidly responding to landslides and debris flow events using a low-cost unmanned aerial vehicle
Ruzgienė et al. UAV photogrammetry for road surface modelling
Yeh et al. Modeling slope topography using unmanned aerial vehicle image technique
JP2020204602A (ja) オルソ画像作成システム、オルソ画像作成方法、それに使用される対空標識及び道路調査方法
Ahmad Shazali et al. Virtual 3D model of Canseleri building via close-range photogrammetry implementation
JP7441509B2 (ja) オルソ画像作成方法、オルソ画像作成システム、３次元モデル作成方法、３次元モデル作成システム及びそれに使用される標識
Gillins Unmanned aircraft systems for bridge inspection: Testing and developing end-to-end operational workflow
Hlotov et al. Accuracy investigation of creating orthophotomaps based on images obtained by applying Trimble-UX5 UAV
Reagan Unmanned aerial vehicle measurement using three dimensional digital image correlation to perform bridge structural health monitoring
EP1832840A1 (de) Verfahren zur Erfassung von Topographiedaten
JP7462940B2 (ja) オルソ画像作成方法、地面モデル作成方法、オルソ画像作成システム及び地面モデル作成システム
Uddin et al. Airborne laser survey specifications and quality management protocols for airport obstruction Surveys
WO2020255548A1 (ja) オルソ画像作成システム、オルソ画像作成方法、それに使用される対空標識及び道路調査方法
Mugnai et al. Performing low-altitude photogrammetric surveys, a comparative analysis of user-grade unmanned aircraft systems
Pytharouli et al. Unmanned Aerial Vehicle (UAV) based mapping in engineering surveys: Technical considerations for optimum results
Simpson A multivariate comparison of drone-based structure from motion and drone-based lidar for dense topographic mapping applications
WO2010068185A1 (en) Method of generating a geodetic reference database product

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240209

R150 Certificate of patent or registration of utility model

Ref document number: 7441509

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150