JP7136422B2 - 対象物を分析するためのデバイス及び方法 - Google Patents

対象物を分析するためのデバイス及び方法 Download PDF

Info

Publication number
JP7136422B2
JP7136422B2 JP2019543811A JP2019543811A JP7136422B2 JP 7136422 B2 JP7136422 B2 JP 7136422B2 JP 2019543811 A JP2019543811 A JP 2019543811A JP 2019543811 A JP2019543811 A JP 2019543811A JP 7136422 B2 JP7136422 B2 JP 7136422B2
Authority
JP
Japan
Prior art keywords
spectral
data
properties
data points
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019543811A
Other languages
English (en)
Other versions
JP2020507776A (ja
JPWO2018146279A5 (ja
Inventor
クリスチャン ウェッツェル、カール
アンドレオウ、シャローラ
Original Assignee
ボクセルグリッド ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ボクセルグリッド ゲーエムベーハー filed Critical ボクセルグリッド ゲーエムベーハー
Publication of JP2020507776A publication Critical patent/JP2020507776A/ja
Priority to JP2022046980A priority Critical patent/JP2022101552A/ja
Publication of JPWO2018146279A5 publication Critical patent/JPWO2018146279A5/ja
Application granted granted Critical
Publication of JP7136422B2 publication Critical patent/JP7136422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/70UAVs specially adapted for particular uses or applications for use inside enclosed spaces, e.g. in buildings or in vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/94Investigating contamination, e.g. dust
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Structural Engineering (AREA)
  • Architecture (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Description

本発明は、建物、建物環境及び/又は環境領域の幾何学的形状および材料特性びにそれぞれの3次元モデルの生成および表現を取得するためのデバイス及び方法に関する。さらに、建物、建物環境、環境領域などの調査対象物の劣化度などの材料特性を非常に効率的かつ迅速に決定できる。
ウェブマッピングサービスは、都市および町、自然のランドスケープなど、さまざまな場所の地図を特徴付けることができる。特に、ある場所の地図画像においては、3次元のランドスケープと地形の特徴を直接統合するバードアイパースペクティブが含まれ得る。例えば、テクスチャ化された3次元建物モデルを地図表現で表示きる。
更に、これらのウェブマッピングサービスは、さまざまな場所のストリートレベルのビューも提供できる。特に、スティッチされた画像のパノラマを要望に応じて表示することができ、択された地図の場所の360度のパノラマストリートレベルのビューをユーザーに提供する。
更に、車両のための高度な運転者支援システムは、運転者に潜在的な問題を警告する技術を提供することで衝突や事故を回避し、安全装置を実装して車両の制御を受け継ぎ、衝突を回避する。特に、運転者支援システムは、車両の近くにある対象物を認識し、緊急の衝突の危険がある場合に運転者に警告する、又は自動的に動作を実行するよう構成されてよい
しかしながら、運転支援システムと同様にウェブマッピングサービスの3次元構造モデルに提供される詳細情報のレベルは限られている。特に、現在のシステムでは、対象物の組成(例えば、表示された建物のファサードに含まれる材料の種類など)または表示された対象物の材料劣化状態または汚染状態などの材料特性に関する十分な情報を提供しない。
本発明の目的は、これらの対象物の材料特性を効果的かつ短時間で決定することができる、建物、建物環境、及び/又は環境領域を含む対象物を分析するためのデバイスおよび方法を提供することにある。
更に、調査対象の対象物の利用可能な情報のレベルを改善し、対象物のより正確で詳細なモデルの生成をより迅速に可能にする、対象物分析およびデバイスモデリングのためのデバイス及び方法を提案することにある。
上記記載の技術的目的を解決するために、請求項1記載の特徴による対象物を分析するデバイスおよび請求項12に記載の方法を提案する。従属請求項は、本発明の好ましい実施形態に関する。
本発明は、ウェブマッピングサービスチャート(例えばグーグルマップ等)または運転支援システムに適用することができる。しかし、本発明の態様および実施形態は、保守、農業または造園作業などの異なる分野にも適用してもよいことに留意されたい。更に、本発明の特定の態様および実施形態は、例えば海上などの航海環境、例えば、船舶、ボートまたは石油掘削装置の劣化状態の監視等で実装することができる。
以下、例示的な実施形態の特徴および態様についての支援を与え、利点が説明される。更なる利点および特徴は、図面および関連する例示的な実施形態のより詳細な説明から明らかとなる。
一態様によれば、対象物を分析するためのデバイスが提供される。対象物には、建物、建物環境、又は環境領域のうち少なくとも1つが含まれるまたは有する。つまり、対象物は、建物、建物環境、及び/又は環境領域を含む又は構成してもよい。
例えば、対象物は、道路、高速道路、鉄道、橋または任意の他のインフラストラクチャ要素を含んでよい。更に、対象物は、家、高層ビル、産業施設、または自然のランドスケープも含んでよい
いくつかの実施形態において、対象物を分析するためのデバイスは、撮像手段を備えてもよい。撮像手段は、前記対象物の撮像データ点を検出するために構成されてもい。
例えば、撮像手段は、調査対象物によって反射または放射される光子、すなわち光波を検出または受信できる任意のセンサまたはセンサシステム(例えば、カメラまたはカメラシステム)であってもよい。そのような対象物信号、すなわち調査対象物に関連する放射線信号は、撮像データ点として分類することができる。
さらに、前記デバイスは、空間座標をそれぞれの撮像データ点に割り当てるために構成された割当手段を備えてもよい。特に、対象物データ点は、空間座標のそれぞれの像データ点への割当を介して取得されい。
つまり、対象物を分析するための前記デバイスは、対象物データ点を取得するために、前記それぞれの像データ点に空間座標を割り当てるための割り当て手段を備えてもよい。
例えば、前記割当手段は、全地球測位システム/空間における位置を決定するためのデバイスまたは任意の他の手段を備えてい。したがって、収集された像データ点は、対象物を分析するためのデバイスによってジオリファレンスされてよく、空間における位置は、撮像手段により収集された情報、すなわち前記像データ点に割り当てられてよい。更に、割当手段は、全地球測位システムまたはデバイスに関連付けられた1又は複数のコンピューティングデバイスを備えてもよい。したがって、前記1又は複数のコンピューティングデバイスで実行されるデータ処理を介してジオリファレンスが可能にされてよい
更に、前記対象物を分析するためのデバイスは、前記対象物データ点に基づいて前記対象物の少なくとも材料特性を決定するための手段を備えてもよい。
決定手段は、前記対象物の測定可能な特性の識別または検出ができる任意のデバイス又は装置指してよい。例えば、決定手段は、温度を測定または決定する機能指してよい。加えて、決定手段は、測定または決定されたデータのデータ処理のための1又は複数のコンピューティングデバイスを備えてもよい。したがって、特性は、例えば、対象物温度、例えば、熱画像を介した対象物温度を指してよい。しかし、特性は、あらゆる種類の物理的、構的、化学的、及び/又は生物学的材料性を指してよい。更に、特性は、例えば、前記調査対象物の幾何学的形状及び/又はサイズを指してよい。更に、特性はまた、例えば、対象物を形成または対象物に含まれる物質の差異などの組成の差異を指してよい
実施形態では、少なくともスペクトルライブラリデータを前記決定に使用されてもよい。更に、前記スペクトルライブラリデータは、物理的、構的、化学的及び/又は生物学的材料特性に対応する材料スペクトル特性の集合を含んでよい
例えば、スペクトルライブラリデータは、対象物を分析するためのデバイスに関連付けられたハードウェア(例えば、メモリデバイス)に格納できる。特に、スペクトルライブラリデータは、それぞれの材料に関連する事前記録または予め定められたスペクトル特性の組または集合を指してよい。例えば、スペクトルライブラリデータは、例えば異なる照明または湿度条件などの特定の外部条件下におけるさまざまな材料についての、反射及び/又は発光スペクトル、例えば、波長の反射率分布依存性を含んでよい。更に、スペクトルライブラリデータは、多くの材料の異なる劣化状態または異なる物理的および化学的状態に関連するスペクトルシグネチャ(例えば、放射輝度及び/又は反射率と波長との間の機能的関係)を含んでよい。例えば、前記スペクトルライブラリデータは、特定の材料に水、氷、雪、その他の物質(錆、苔、微視的生物など)が含まれているかどうかを示してよい。構造または構造特性は、対象物の特定構造的特徴を指してよい。例えば、建物に関連して、構造とは、なる建物セグメントの材料および幾何学的組成、及び/又は、配置における差異を指してよい。特に、建物の屋根は、木材及び/又は鋼などの材料を利用して建設されていてもよく、建物ファサードがコンクリート又はレンガでできていてもよい。更に、建物の屋根および基礎の幾何学的形状及び/又は特徴、通常、さまざまな差異を示す。したがって、構造または構造特性は、このようなさまざまな幾何学的および材料特性を説明できる。
したがって、対象物の特性決定は、取得された対象物データ点、例えば、記録されたスペクトル情報またはシグネチャの、スペクトルライブラリデータに格納されたスペクトル情報との比較及び/又は他の処理(例えば、画像処理技術)によって実行されてもよい。特に、記録されたスペクトル情報とスペクトルライブラリデータに含まれるスペクトル特性とがマッチングする、対応する材料特性を割り当てられてよい。例えば、記録されたスペクトルシグネチャが、材料としてガラスを示すスペクトルライブラリデータとマッチングまたは一致する場合、対象物を分析するデバイスは、試験された対象物がガラスを含む、又はガラスから成ることを出力してよい。加えて、スペクトルライブラリデータは、ガラスが水及び/又は雪で覆われている場合のそれぞれのスペクトル特性も含んでい。対応するスペクトルシグネチャを検出した時に、対象物を分析するためのデバイスは、試験された対象物が水及び/又は雪で覆われたガラスを含むか、又は、それから成ることを決定してい。植物(例えば、コケなど)または他の物質(例えば、錆、土など)で覆われている物質を考慮して、同様の決定を実行できる。
対応する比較及び/又は他の処理および割り当てステップは、例えば、コンピューティングデバイス等により自動的に実行されてもよい。
上記の特性決定は、ペクトルライブラリデータに示されているすべての材料について、それらの対応するスペクトル特性を用いて実行してい。
その結果、対象物を分析するためのデバイスは、分析される対象物の物理的、構的、化学的及び/又は生物学的材料特性に関する情報だけでなく、それぞれの対象物信号に関連付けられた対象物または対象物要素のそれぞれの空間位置を示す対象物データ点を集めるまたは収集することができる。したがって、象物の現在の状態(例えば、特性等)を正確に調査または監視するために、および、次元対象物モデルを生成するために、詳細な情報を提供できる
この情報は、物、建物環境、及び/又は環境領域の保守または修理に関連する安全性を高め、費用を削減するためにも利用できる。例えば、各建物の損傷または劣化した部分を迅速かつ容易に認識できる。更に、対象物を分析するためのデバイスは、建物の一部(例えば、玄関のドア、窓など)が液体水または凍結水(氷、雪)、有機物、または埃、塗料、落書き、鉱物などの他の汚染物質で覆われているかどうかを信頼性高く検出できる。
さらに、ウェブマッピングサービスにおける構造の詳細レベルを大幅に改善できる。特に、対象物を分析するデバイスは、建物、建物環境および環境領域の非常に正確なモデリングをウェブマッピングサービスのバードアイビュー及び/又はストリートレベルビューで可能する。したがって、ウェブマッピングサービスに関するナビゲーションと方向付けはかなり容易になる。
前記材料特性は、少なくとも前記対象物の劣化度を含んでもよい。
例えば、劣化度は、材料の構造的完全性、つまり、前記材料が損傷しているか、磨耗しているか、割れているか、他の材料で覆われているか、熱伝導率が不均一であるかなどの材料の構造的完全性を指してよい
好ましくは、前記材料特性は、少なくとも、前記対象物の被覆度、汚染度または湿度を含んでもよい。つまり、前記材料特性は、前記対象物の被覆度、汚染度、及び/又は湿度を含んでもよい。
例えば、被覆度は、液体または凍結形態の水、化学組成物(例えば、錆等)又は生物学的材料(例えば、微生物または植物等)などの別の物質による対象物の被覆量を示してよい。汚染度とは、対象物への汚れ、ほこりまたはその他の汚染物質の蓄積を指してよい。湿度は、対象物の材料の濡れ度の異なるレベルを指してよい
材料特性情報は、前述の影響度によって大きく影響され得る。例えば、材料のスペクトル情報または熱情報は、材料が水で覆われているかどうかにより大幅に変わり得る。同様に、材料のスペクトル特性及び/又は熱特性も、その経年により変わり得る。したがって、上記の影響度を考慮することにより、材料のより正確な決定と、料状態、例えば、材料が劣化しているか、別の物質で覆われているか、汚染されているかどうか等の信頼性の高い検出が可能になる。さらに、一部の材料は、特定の期間にのみ建築及び/又は使用された材料として認識されてもよい。例えば、アスベストなどの危険な成分の認識または検出が有効になってよい
したがって、より正確な分析手順が可能となる。さらに、ウェブマッピングサービスチャートでの3次元モデルの生成、環境条件の変化に応じて適合されてよい。例えば、季節の影響(例えば、冬時期の建築物、建築環境および環境領域の雪)は、ウェブマッピングサービスチャートのバードアイビューまたはストリートビューで示してい。これにより、ウェブマッピングサービスチャートの詳細レベルを大幅に改善できる。
スペクトルライブラリデータは、予め定められたスペクトル情報を含んでもよい。予め定められたスペクトル情報は、複数のそれぞれの材料の様々な空間的条件、時間的条件、大気条件および照明条件並びに組成の差異に関連付けられてよい。
上述したように、スペクトルライブラリデータは、対象物を分析するためのデバイスに関連付けられたメモリデバイスに保存してもよい。したがって、複数の異なる材料および環境条件に関連付けられたスペクトル情報、スペクトルシグナチャ測定(例えば、波長に対する反射率及び/又は放射輝度依存性)を介して生成されてよい。例えば、複数の異なる材料について、信号記録角度(例えば、対象物または対象物表面と対象物を分析するデバイスの撮像手段との間の角度)、時刻(例えば、朝、正午、午後、夕方または夜)、気象条件(例:雨、霧、日光、降雪)および照明条件(例:対象物が別の構造物の影にある場合の影の強度)などの特性に応じて、スペクトル特性を記録してもよい。
これは、複数の環境条件下でさまざまな異なる材料および材料特性を区別するという利点を提供する。したがって、保守及び/又は修理作業とモデル構築を容易にすることができる。
前記対象物に関連する1又は複数のスペクトル特性を取得し、予め定められたスペクトル情報と比較してもよい。前記対象物の材料特性は、取得されたスペクトル特性(すなわち、対象物から発生または反射された測定放射信号)と予め定められたスペクトル情報との間の一致に基づいて決定されてもよい。
つまり、様々な空間的条件、時間的条件、大気条件および照射条件を考慮した予め定められたスペクトル情報が、任意のそれぞれの材料に対して生成され、スペクトルライブラリデータを形成するために組み合わされてい。したがって、その後に、対象物から生じる測定信号(例えば、反射または放射された光ビーム)、いくつかまたはすべての保存された材料のそれぞれのスペクトル特性と比較されてい。そして、対象物の材料特性(例えば、対象物の組成または状態など)は、記録されたスペクトル特性とスペクトルライブラリデータ間でのマッチングに基づいて、識別される。
したがって、材料と材料特性を識別するプロセスをより効率的に構造化できる。さらに、材料および材料特性の誤った識別を防止または抑制することができる。したがって、対象物の分析および決定手順の信頼性がより高まる。
好ましくは、対象物データ点は、予め定められた土地登記チャートまたはウェブマッピングサービスチャートのうちの少なくとも1つの参照座標上にマッピングされてい。つまり、対象物データ点は、予め定められた土地登記チャート及び/又はウェブマッピングサービスチャートの参照座標にマッピングされてい。
例えば、対象物を分析するためのデバイスに関連付けられたコンピューティングデバイスは、対象物データ点のこのような参照座標への上記ッピングを実行してい。土地登記チャートは、それぞれのデータライブラリから(例えば、市役所から)取得でき、対象物を分析するためのデバイスに関連付けられたコンピューティングデバイスのデジタル処理のために利用可能にされてよい。Googleマップなどのウェブマッピングサービスチャートは、インターネット(World Wide Web)経由で利用可能であってよい。したがって、対象物データ点、つまり調査対象物のジオリファレンスされた撮像データ点は、土地登記チャートまたはウェブマッピングサービスチャートに含まれるレイアウトまたはフロアプランにマッピングすることができ。したがって、取得された対象物データ点は、土地登記チャートまたはウェブマッピングサービスチャートによる分析された対象物の位置に対応付けることができる。つまり、対象物データ点、それぞれの位置が土地登記図またはウェブマッピングサービスチャートによる対象物の位置を反映するように割り当てることができる。
したがって、対象物を分析するためのデバイスは、対象物データ点、土地登記チャートまたはウェブマッピングサービスチャートによって示される特定の参照系とのマッチングを可能にする。よって、本発明は、非常に正確なマップ及び/又はフロアプランを生成するという利点を提供する。
いくつかの実施形態おいて、マッピングされた対象物データ点(ボクセル)を利用して、対象物の3次元モデルを生成してもよい。さらに、3次元元対象物モデルは、予め定められたチャートのサイズ対してスケーリングされてもよい。
したがって、土地登記チャートまたはウェブマッピングサービスチャートの特定の参照にマップされる対象物データ点は、分析された対象物の3次元モデルが生成されるように配置されてよい。例えば、対象物を分析するためのデバイスに関連したコンピューティングデバイスは、3次元モデルを生成するために前述の配置を実行してよい。コンピューティングデバイスは、対象物を分析するためのデバイスとコンピューティングデバイスとの間でデータを処理及び/又は交換することができる場合、対象物を分析するためのデバイスに関連させてもよい。例えば、対象物を分析するためのデバイスは、コンピューティングデバイスを備えてもよく、データの処理およびコンピューティングデバイスとのデータの交換を可能にするように構成されてもよい。
3次元対象物モデルを予め定められたチャートの尺度またはスケール適合すべく、モデル化された対象物が予め定められたチャートで指定された長さ寸法に従うように、3次元対象物モデルのサイズを調整またはスケーリングしてよい。
そのため、本発明は、非常に正確な3次元対象物モデルを提供し、予め定められたチャートによって指定された座標系における対象物モデルの配置または位置特定を可能にする。したがって、非常にリアルなマップを実現することができる。そのため、ウェブマッピングサービスチャートに応じたナビゲーションと方向付けが容易になる。更に、それぞれの3次元ハウスモデルに従って、家の改修や建築の計画をより効率的にすることができる。
つまり、建物構造の建設または修復をより正確に計画することができ、その結果コストを節約することができる。
対象物を分析するためのデバイスは、自律的及び/又は非自律的エンティティ含まれてよい。つまり、対象物を分析するためのデバイスは、自律的および非自律的エンティティの少なくともつに含まれてよい。
例えば、自律的エンティティは、あらゆる種類の自動制御または遠隔制御のロボットまたはロボット車両を指してよい。ロボットとは、複雑な一連の動作を自動的に実行できる(例えば、空間軌道に沿って移動する)機械(ロボットローバー、ロボットヒューマノイド、産業用ロボット、ロボット飛行ドローンなど)を指してよい。さらに、ロボットまたはロボット車両は、外部制御デバイスよって遠隔誘導することができる。または、制御をロボット内に組み込んでもよい。つまり、ロボットまたはロボット車両は、例えば、非自律的エンティティとして機能してもよい。あるいは、自律的エンティティは、指定された空間軌道に沿って対象物を分析するためのデバイスを携帯する人またはユーザーを指してもよい
自律的及び/又は非自律的エンティティは、空中車両および陸上ベースの車両のうちの少なくとも1つであってよい。つまり、対象物を分析するためのデバイスは、空中輸送車両及び/又は陸上ベースの輸送車両である自律的移動エンティティおよび非自律的移動エンティティのうちの少なくとも1つに含まれてよい。
例えば、空中輸送体は、ドローン、ヘリコプター、飛行機、気球、または飛行船など、あらゆる種類または種類の飛行可能なデバイスであってよい。陸上ベースの車両は、車や移動フレームなど、地上で移動できるあらゆる種類のデバイスであってよい。さらに、三脚などのフレームは、陸上ベースの車両として分類できる。さらに、本発明のフレームワークでは、ーザーまたはオペレーターによって手持ちまたは運ばれる対象物を分析するためのデバイスも、陸上ベースの車両として分類することができる。特に、陸上ベースの車両は、地表面対して対象物を分析するためのデバイスの高さ位置または高度を適合させるように構成されてもよい。例えば、対象物を分析するためのデバイスは、フレームワークまたは三脚の移動可能なプラットフォーム(すなわち、空間軌道に沿って移動可能なプラットフォームまたは三脚)に含まれてよい
これにより、さまざまなパースペクティブや視点からデータを生成できるという利点を提供する。したがって、蓄積されたデータの詳細レベルが向上する。
好ましくは、撮像手段は、レーザースキャナ、光学カメラ、赤外線カメラ、撮像分光計、慣性測定ユニット、IPSセンサ(屋内測位システムセンサ)、IBeacon及び/又はGPSセンサのうちの少なくともつを備えてもよい。
レーザースキャナは、可視または非可視のレーザービームの偏向を制御するためのデバイスである。レーザースキャナにより、スキャン工程を強化し、データ収集エラーを減らすことができる。したがって、時間とお金を節約できる。
光学カメラは、物理的に接触することなく対象物を検知するための光学遠隔感知デバイスである。光学カメラは、可視スペクトルまたは電磁スペクトルの他の部分で動作してもよい。したがって、対象物の色またはコントラストなどの特性は、光学カメラを使用して捕らえてもよい。したがって、分析された対象物をリアルな表現により、3次元モデルの生成が可能になる。
赤外線カメラまたはサーモグラフィーカメラは、赤外線を使用して画像を生成するデバイスである。したがって、建物構造の温度特性を記録することができる。例えば、これにより、断熱特性に関する建物構造の分析も可能となる。さらに、熱放射情報を利用して、建築構造のさまざまな構造要素を識別してもよい。例えば、熱放射情報を利用して、分析対象物の要素に付着した有機生物(カビやコケなど)を決定または認識してもよい。
屋内測位システム(IPS)は、電波、磁場、音響信号、またはその他の感知情報を受信及び/又は処理できるIPSセンサを使用して、建物内の対象物の位置を付きとめるシステムである。
慣性計測ユニット(IMU)は、加速度計、ジャイロスコープ、磁力計の組み合わせを使用して、力、角速度、場合によっては磁場を測定および報告する電子デバイスである。
GPSセンサは、アンテナまたは受信手段を備えた受信機であり、地球の軌道における衛星ネットワークと共に衛星系のナビゲーションシステムを使用して、位置、速度、およびタイミング情報を提供するように構成されている。
画像分光計は、1組のデータユニットとして情報を収集してもよい。各データユニットは、スペクトルバンドとしても知られる電磁スペクトルの狭い波長範囲を表す。これらのデータユニットを組み合わせて、処理および分析用のスペクトルデータキューブ(N組)を形成してもよい。N組のN-1成分は空間次元を表し、N番目の組成分は波長範囲を含むスペクトル次元を表す。したがって、分析された対象物のスペクトルおよび空間情報を効率的に表すことができ、スペクトル特性に基づいた材料の決定が可能になる。
したがって、上記の撮像手段の利用により、より現実的な対象物モデルとマップ生成が可能となる。さらに、建築構造物のカビなどの劣化した影響の認識を容易にすることができる。したがって、建築物の住民に対する健康への悪影響または危険な状態をより効率的に認識および防止できる。
対象物データ点は、一組の3次元グラフィック情報ユニットとして表されてもよい。各3次元グラフィック情報ユニットは、それぞれの空間座標に関連付けられたスペクトル、RGB(赤、緑、青)および熱データ情報のうち少なくとも1つを示してもよい。つまり、各3次元グラフィック情報ユニットは、それぞれの空間座標に関連付けられたスペクトル及び/又は熱データ情報を示してもよい。
したがって、それぞれの3次元グラフィック情報ユニット(ボクセル)は、空間情報成分を備えてもよい。したがって、3次元モデルの構築が簡単にできる。さらに、スペクトル情報により、光学的外観(例えば、色など)及び/又は対象物材料組成の識別などの対象物特性の決定が可能となる。さらに、熱データ情報により、断熱特性などの対象物モデルの熱特性を表現できる。
つまり、対象物データ点に含まれる情報を効率的に表現及び/又は評価できる。例えば、取得された情報は、コンピュータで生成された画像または画面で表示されてもよい。それによって、本格的な3次元モデルの構築が容易になる。
好ましくは、対象物データ点は平面上に投影してもよい。平面は、対象物データ点の空間X、Y座標に関連したX、Y平面に対し平行であってよい。対象物のそれぞれの幾何学的要素の識別は、平面内のデータ点クラスタ密度分布の評価によって支援されてい。
分析された対象物の3次元の性質は、投影された対象物データ点の空間情報に反映される。したがって、それぞれの対象物データ点の空間成分の抑制は、すべての対象物データ点の2次元表面または平面への投影をもたらす。したがって、それぞれの対象物データ点の相対的な空間配置は、その投影面または表面におけるデータ点密度分布またはデータ点クラスタ密度分布に反映される。例えば、各対象物データ点が座標(X、Y、Z)に関連付けられている3次元元構成では、各対象物データ点のZ成分をゼロに設定することにより、2次元表面への投影を実行できる。したがって、すべてのデータ点は、X、Y平面に「投影」される。そのため、投影された対象物データ点は、平面内のさまざまな密度のクラスタを形成する。つまり、投影されたデータ点は、平面内にデータ点(クラスタ)密度分布を生成する。
つまり、分析された対象物の幾何学的要素及び/又は構造の識別、投影面におけるデータ点密度分布の評価によってサポートまたは容易にされい。
好ましくは、予め定められた密度閾値を超える密度を考慮するだけで、識別を実現してもよい。したがって、前記要素及び/又は構造のより迅速な識別が可能になる。
好ましくは、デバイスは、対象物データから微細な対象物構造を抽出するように構成されてよい。特に、デバイスは、密度分布から1又は複数の対象物表面を識別するように構成されてい。加えて、デバイスは、対象物表面の外部輪郭を推定するように構成されてい。さらに、デバイスは、輪郭の特徴線を抽出するように構成されてもよい。さらに、デバイスは、特性線の幾何学的な2次元特性を決定し、且つ、それらの密度に関わらず同じ特性を有するすべての線を抽出するように成できる。さらに、デバイスは、決定された幾何学的特性と比較して、同じ範囲における幾何学的特性を有する領域を決定して、線形従属2次元点の組を構築するように構成されい。上記の手順の順序は、手順上の要件を考慮して交換してもよい。
したがって、3次元モデルを作成するには2つの主要なステップがある。
第一のステップにおいて、(建物)点群が画像データから生成される。その後、点群は意味のある建物構造に分割される。したがって、点群のいくつかのセグメントを、ファサード、屋根、床等とラベル付けしてもよい。
以下に、上記のセグメント化プロセスのより詳細な説明を示す。まず、建物点群は、例えばつに分割することできる。一の部分には、調査対象の建物の垂直構造(ファサードなど)に関連付けられた点が含まれる。別の部分は他のすべての点を含む
次に、垂直構造に関連付けられた点群がXY平面に投影される。この投影画像から、すべての平行線が検出され、抽出される。一般的に、ファサードに対応する線にはより多く点がある。つまり、ファサードに対応する点についての投影面における点密度は、り高くなる。これらの線は、密度の基準により検出され、主要な線または特性線と呼ばれる。一般に、(例えば計算手段により)自動検出または抽出されるほど密度が高くないが、それでも最終結果に関連している他のは、主要なまたは特線と同じ方向を有する。例えば、屋根の窓、階段、煙突には通常、少なくともつのファサード対する平行な平面がある。したがって、これらの線は、その方向に基づいて重要であると分類できる。特に、潜在的な階段は、ほぼ同じ長さの、互いに同じ距離または一致する距離(通常、距離は60cm未満)に位置する平行線群として検出されてよい。したがって、潜在的な階段などに対応する特徴は、投影された点群密度プロファイルを使用して、点群内で簡単に識別できる。
上述したように、各線(つまり、平面内の投影データ点の密度分布が増加していると識別された線)は、XY平面に投影された垂直構造に対応している。これらの線は、Z方向に突き出している。次に、各ついて、建物の高さに対応する高さでグリッドが作成される。その後、グリッドのすべての点にわたり、建物点群での検索が実行される。特に、各点について、それぞれの点の法線、つまり点に関連付けられた法線ベクトルがグリッド平面の法線ベクトルに対応するかどうかを認される。リッドと検索結果を用いてファサードの画像が作成され、当該画像は、後で建物のスペクトル特性に関連付けるために使用できる。したがって、ファサードのすべての点に、スペクトル特性に関連付けられた材料情報をラベル化することができる。このステップは、点群データにおいて識別された各垂直構造に対して実行できる。
屋根平面の検出のための第2ステップでは、屋根平面に対応する点が識別される。このような屋根平面点を識別するために、一般的に建物のすべてのファサードが屋根と交差することが利用される。つまり、ファサードセグメントと屋根との交差点に属する、または交差点に位置する点は、両方、すなわちファサードと屋根に属する。したがって、屋根面に対応する点の識別を実行できる。
次に、境界線、つまり屋根平面点の組に埋め込まれた屋根線が定義される。例えば、屋根線は、ファサードのセグメントと屋根の交差点にある点で指定できる。ただし、ファサードの輪郭のどの線も使用できる。続いて、屋根線から予め定められた近傍に位置する屋根の群内のすべての点が抽出される。例えば、屋根の輪郭線からの距離は80cmであってよい。そして、これらの抽出された点を通して平面がフィッティングされ、方程式aX+bY+cZ+d=0(方程式a)により平面係数(a、b、c、d)を取得する。
次に、この平面上にあるすべての点が見つかる。つまり、方程式aにより得られた屋根平面の近似にマッチングするすべての点が確認される。
さらに、新しく見つかった点の平面が再フィッティングされる。したがって、式a'X+b'Y+c'Z+d'=0(式b)による新しい係数(a'、b'、c'、d')が取得される。
この屋根平面に対応するすべて点が見つかるまで、平面上のすべての点を見つける手順と、平面と新しく見つかった点を再フィッティングする手順を繰り返す。
したがって、屋根平面を効率的かつ簡単に抽出できる。
最後のステップにおいて、別された屋根平面、ファサード、および抽出された建物の幾何学的徴が組み立てられ、建物の3次元略モデルが生成されるペクトル、光学、及び/又は熱画像デバイスから取得した追加情報をモデルに組み込んで、リアルな3次元対象物モデルを生成することができる。
データ点クラスタ密度分布の評価を用いて、3次元対象物モデルの内部微細構築、外部微細構築、または構造のうちの少なくとも1つの生成をサポートしてい。すなわち、データ点クラスタ密度分布の評価を用いて、3次元対象物モデルの内部微細構築および外部構築及び/又は構造の生成をサポートてよい。
したがって、データ点密度分布に含まれる情報を利用することにより、建物の内部構築(階段など)のレイアウトまたはアスペクトおよび外部構築(破風や出窓など)の微妙な詳細を識別できる。そのため、詳細レベルを上げて3次元モデルを生成できる。
別の態様によれば、対象物を分析する方法提供してもよい。対象物には、建物、建物環境、環境領域のうち少なくとも1つを含んでい。つまり、対象物は、建物、建物環境及び/又は環境領域含んでい。更に、この方法は、前記対象物の像データ点を検出するステップを含んでい。さらに、この方法は、対象物データ点を取得するために、それぞれの像データ点に空間座標を割り当てるステップを含んでい。この方法は、前記対象物データ点に基づいて前記対象物の特性を決定するステップをさらに含んでい。好ましくは、この方法は、前記決定のために少なくともスペクトルライブラリデータを利用してい。前記スペクトルライブラリデータは、物理的、構造的、化学的および生物学的材料特性のうちの少なくとも1つに対応する材料スペクトル特性の集合でを含んでよい。つまり、前記スペクトルライブラリデータは、物理的、構的、化学的及び/又は生物学的材料特性に対応する材料スペクトル特性の集合を含んでい。
その結果として、対象物を分析する方法は、分析された対象物の物理的、化学的及び/又は生物学的材料特性に関する情報並びに対象物要素のそれぞれの空間位置を示す対象物データ点を集める、または収集することができる。つまり、この方法により、非常に詳細な3次元対象物モデルを生成するためのデータを提供することができる。さらに、この方法により、対象物の状態を決定する調査または監視手順が更に可能になる。
好ましくは、対象物データ点は、予め定められた土地登記チャートおよびウェブマッピングサービスチャートのうちの少なくとも1つの参照座標上にマッピングされい。つまり、対象物データ点は、予め定められた土地登記チャート及び/又はウェブマッピングサービスチャートの参照座標にマッピングされてよい。さらに、マッピングされた対象物データ点を使用して、対象物の3次元モデルを生成してよい。加えて、3次元対象物モデルは、予め定められたチャートのサイズ対しスケーリングされい。
したがって、予め定められた地図及び/又はチャートに埋め込まれた非常に正確でリアルな3次元モデルの生成を可能にする方法が提供される。
以下では、添付の例示的な図面を参照して、本発明の少なくとも1つの好ましい例に基づいて本発明をさらに説明する。
対象物を走査及び/又は分析するための例示的な撮像手段を概略的に示す。
対象物を分析するためのデバイスの調査またはデータ蓄積状況を概略的に示す。
予め定められた基準座標に基づき対象物データ点が取得され、マッピングされ、スケーリングされる状況を例示している。
スペクトルライブラリに含まれるスペクトルシグネチャの組を概略的に示し、ここでは、異なるスペクトル分布が異なる材料に関連付けられている。
建物の表面に関連付けられた収集されたスペクトルデータと、収集されたスペクトルデータに応じた材料特性の評価を例示している。 建物の表面に関連付けられた収集されたスペクトルデータと、収集されたスペクトルデータに応じた材料特性の評価を例示している。 建物の表面に関連付けられた収集されたスペクトルデータと、収集されたスペクトルデータに応じた材料特性の評価を例示している。
平面への空間データの投影ステップと、平面内のデータ点クラスタ密度分布の評価による対象物要素の識別を概略的に示す。
対象物を分析し、材料特性を決定する方法を模式的に示す。
以下において、本発明の好ましい態様は、添付の図面を参照してより詳細に説明される。異なる図面の同じまたは類似の特徴は、類似の参照番号で示されている。本発明の様々な好ましい態様に関する以下の詳細な説明は、本発明の範囲を限定することを意味するものではないことを理解されたい。
図1は、対象物を分析するためのデバイス100を例示的に示している。特に、デバイス100は、レーザースキャナ100A、カメラ100B、およびスペクトルセンサ100Cを含むことが示されている。対象物を分析するためのデバイス100は、レーザースキャナ100A、カメラ100Bおよびスペクトルセンサ(画像分光計)100Cは、あらゆる方向から信号を受信できるよう位置合わせされ得るように空間的に回転可能であってよい。図示の例では、調査または分析された対象物200(例えば、建物または建物構造)の幾何学または幾何学的形状は、レーザースキャナ100A及び/又はカメラ100Bを利用して決定することができる。特に、カメラは、調査対象物の光学画像を提供するために利用されてもよい。つまり、カメラ100Bを介して光学画像または写真を提供してもよい。調査対象物の空間的(3次元的)情報を提供するために、例えば関連するコンピューティングデバイスを介して、調査対象物に対してバイス100の異なる位置から撮影された重複写真を組み合わせることができる。つまり、調査対象物に関する光学的および空間的情報を含む写真測量点群を生成することができる。
レーザースキャナ100Aは、調査対象物に向けてレーザー光を放射し、調査対象物から戻されたまたは反射されたレーザー光を検出するように構成されてもよい。したがって、デバイス100と、調査対象物または調査対象物の特定の要素またはセグメントとの間の距離は、信号実行時間、すなわちレーザー走査を介して正確に決定することができる。つまり、調査対象物の幾何学的形状を正確に決定できる。したがって、調査対象物に関する空間的情報を含むレーザー走査点群を生成することができる。加えて、レーザースキャナは、GNSSセンサ(全地球航法衛星システム)及び/又はデバイス100及び/又はレーザースキャナ100Aがその位置及び/又は空間的並びを決定できるようにする慣性測定ユニットを備えてもよい。
さらに、対象物を分析するためのデバイス100の代表的なものとして、スペクトル撮像プロセス用に構成されたスペクトルセンサ100Cが含まれる。スペクトル撮像は、電磁スペクトル全体から情報を収集して処理する。スペクトル撮像の目的は、対象物の特徴や素材を見つける目的で、画像内の各ピクセルのスペクトルを取得することである。スペクトル撮像では、記録されたスペクトルは予め定められた長さの分解能を有し、広範囲の波長をカバーする。特に、スペクトルセンサは撮像対象物の組として情報を収集する。各撮像対象物は、電子スペクトル(スペクトルバンド)の狭い波長範囲を表す。これらの撮像対象物を組み合わせて、処理と分析のための次元スペクトルデータキューブを形成する。例えば、それぞれの3次元スペクトルデータキューブは成分(X、Y、λ)を有し得る。X、Y成分は対象物表面の空間次元(例えば、調査対象物の表面座標)に対応し、λは波長の範囲を含むスペクトル次元を表す。つまり、調査対象物の詳細なスペクトル情報を収集できる。このスペクトル情報は、デバイス100のレーザースキャナ100A及び/又はカメラ100Bによって収集された情報と組み合わせることができる。つまり、調査対象物の撮像データ点、すなわち調査対象物の幾何学的形状およびスペクトル特性に関する情報を含むデータ点群を生成することができる。
加えて、デバイス100は、全地球的航法衛星システム(例えばGPSシステム)、IPSシステム(屋内測位システム)及び/又は慣性測定ユニットなどの地理的位置決定手段も含んでもよい。そのため、調査対象物に関して収集されたデータは、ジオリファレンスができる。つまり、像データ点の組のすべての点、つまり点群データを正確な位置情報(ジオロケーション)に関連させることができる。したがって、対象物データ点の組を生成できこれにより、土地登記チャートやウェブマッピングサービスチャートなどの予め定められた参照座標に関連付けた調査対象物の正確な3次元モデリングが可能となる。
図2は、デバイス100を介した対象物200(例えば建物)のデータ収集または調査のプロセスを例示的に示している。特に、デバイス100は、空中車両(例えば、遠隔制御または自律的に駆動されるドローン等)に取り付けられるか、地上用の移動可能な車両またはフレームに取り付けられることができる。したがって、対象物(例えば、建物)は、さまざまな異なる位置30A、30B、30Cから連続的に走査または調査される。次いで、蓄積されたデータは、対象物データ点を生成するために、デバイス100によって(例えば、含まれるコンピューティングデバイス(図示せず)を介して)または外部のコンピューティングデバイス(図示せず)によってみ合わされる。つまり、撮像手段(例えば、カメラ100、レーザースキャナ100A及び/又はスペクトルセンサ100C)は、調査対象建物の撮像データ点、すなわち、調査対象建物の光学的情報、幾何学的情報およびスペクトル情報を生成するために利用される。さらに、デバイス100のジオリファレンス手段(図示せず)は、撮像データ点をジオリファレンスし、その結果、対象物データ点が生成される。つまり、調査対象物(例えば、建物)の光学的情報、幾何学的情報およびスペクトル情報を含む撮像データ点は、ジオリファレンスされる、すなわち、それぞれの地理位置情報が提供される。
図3は、デバイス100の蓄積されたデータからの調査対象物200(例えば建物)の3次元モデル300の生成を例示的に示している。対象物200の3次元モデル300の生成は、コンピューティングデバイス(図示せず)を利用して実行することができる。さらに、生成された3次元モデル300は、任意の表示手段(例えば、TVまたはコンピュータ画面(図示せず))で表示または出力することができる。
図3に示されるように、デバイス100は対象物200の調査を実行する。特に、建物200は、レーザースキャナ101Aおよび写真画像101Bにより調査される。さらに、デバイス100は、建物200のスペクトルデータを記録するようにも構成される(図示せず)。したがって、対象物200の表面とデバイス100との間の距離を決定することができ、建物200の光学的特徴ならびに幾何学的特徴または形状を識別することができる。特に、建物の壁、窓202または建物の屋根203の幾何学的形状などの構造を特定することができる。さらに、色および材料組成差異を抽出できる。蓄積されたデータから、光学的情報、空間的情報、スペクトル情報、すなわち対象物データ点に基づいて、3次元建物モデル300が生成される。さらに、3次元対象物モデル300は、予め定められた参照にマッピングすることができる。特に、そのようなマッピング手順のために、すべての対象物データ点(すなわち、ジオリファレンスされた撮像データ点)には、予め定められた参照のそれぞれの座標が提供される。各対象物データ点に含まれる情報に基づいて、3次元対象物モデル300が生成される。特に、(デバイス100に関連付けられたデータベースまたはメモリに格納されてよい)スペクトルライブラリデータを利用して、建物200の材料または材料特性を識別し、これらの構造を3次元対象物モデル300に反映する。さらに、これらのデータを使用して位置の精度を高めることもできる。例えば、スペクトルライブラリデータ(図示せず)に含まれる情報によ、3次元対象物モデル300は、モデル化されたガラス窓302、階段301、屋根の境界303などの異なる構造および材料を反映することができる。さらに、スペクトルライブラリデータ情報に基づいて、3次元対象物モデル300は、建物のファサードの表面が水、雪、氷、汚染物質、または有機材料(図示せず)で覆われているかどうかも考慮することができる。
なお、3次元対象物モデル300は、予め定められた尺度に従ってスケーリングされる。例えば、3次元対象物モデル300がウェブマッピングサービスチャートの特定の座標にマッピングされるとき、対象物モデル300もそれに応じてスケーリングされる。つまり、3次元対象物モデル300のウェブマッピングサービスチャートの表示へのリアルな挿入できる。
図4は、スペクトルライブラリデータに含まれるスペクトルシグネチャの組の実例を示す。スペクトルライブラリデータは、スペクトル情報を処理するように構成されたコンピューティングデバイスによってアクセス可能なメモリまたは格納機器(例えばデータベース)に保存されてもよい。特に、そのようなコンピューティングデバイスは、集されたスペクトルデータをスペクトルライブラリデータと比較して、そのような比較からそれぞれの材料特性を決定するように構成できる。コンピューティングデバイスは、対象物を分析するためのデバイス100に含まれてもよい。あるいは、対象物を分析するためのデバイス100は、コンピューティングデバイスに関連付けられ、撮像データがコンピューティングデバイスにアクセス可能にされてもよい。例えば、対象物を分析するためのデバイス100は、通信リンクによりコンピューティングデバイスと接続されてもよい。
具体的には、図4は、例示的なスペクトルライブラリデータに含まれる8つの材料と、それら材料の各対応するスペクトル特性(すなわち、350~1050 nmの波長範囲にわたる反射率の依存性)の集合を例示的に示す。特に、各項目は以下に関連する。
(1)砂利砂壁とそれに関連するスペクトル挙動、
(2)壁上で成長する有機物質(プランまたはコケ)とそれに関連するスペクトル挙動、
(3)レンガの壁とそれに関連するスペクトル挙動、
(4)鉄のフェンスとそれに関連するスペクトル挙動、
(5)白漆喰とそれに関連するスペクトル挙動、
(6)木製フレームの白いペンキとそれに関連するスペクトル挙動、
(7)パイプの金属雨とそれに関連するスペクトル挙動、
(8)屋根瓦(レンガまたはコンクリート)およびそれに関連するスペクトル挙動。
実際に、さまざまな異なる素材について、対応するスペクトルデータを収集して、格納できる。さらに、各材料について、異なる照射レベル(異なる時間、影のレベルなど)または異なる大気条件(霧や雨など)のような異なる環境的条件を反映するスペクトル特性、収集できる。したがって、スペクトルライブラリデータは、調査対象物の材料または材料特性の正確かつ信頼性の高い決定に利用できる。
図5Aは、調査対象物200(例えば建物200)の材料または材料特性の決定のためにスペクトルライブラリデータを利用するプロセスを示す。特に、図5Aは、異なる領域202、202A、204A、204B、205および206を備えた建物200の画像を示している。さらに、関連するスペクトル特性図が示されている。図5Aからわかるように、各材料は異なるスペクトルシグネチャを表す。したがって、示されている様々なスペクトル特性の差異は、それぞれの材料に関連付けられた異なるスペクトル特徴に関係する。したがって、スペクトル特性の差異を利用して、調査対象領域の特定の材料組成信頼性高く決定することができる。
例えば、図5Aからわかるように、建物200のレンガ壁204は、乾燥したレンガ壁204Bと湿ったレンガ壁204Aのセグメントを含む。スペクトル分布グラフに見られるように、乾燥したレンガ壁領域204Bと湿ったレンガ壁領域204Aのスペクトルは類似しているが、示された波長範囲にわたり小さな差を反映している。したがって、スペクトルライブラリデータに含まれる情報を利用して、建物の壁204の材料が領域204Aと204Bで同じであることを決定することができる。さらに、2つの領域204Aおよび204Bの材料、すなわちレンガ石、は、異なるレベルの湿潤度または湿度を有すると推測することができる。
なお、建物200の画像は、窓の開口部に対応するレンガ壁204の領域202を表示する。加えて、建物200の別のセグメントにおいて、レンガ壁204隣接する領域202Aを認識することができる。スペクトル分布グラフ(204B、204A、205など)で利用可能な情報によれば、領域202および202Aのスペクトル特性は同じである。したがって、示された領域202および202Aは同じ材料(窓ガラス)で構成されていると決定することができる。
さらに、建物200は、対応するスペクトルデータによれば鋼鉄でできている領域205を含む。写真からも推測できるように、建物200の前には、植物を含む領域206が見える。
そのため、材料およびその物理的状態(例えば、湿ったか乾いている等)の信頼できる識別を行うことができる。
図5Bは、調査対象物200の材料組成および材料状態に関する情報をリアルなモデル構築のためにどのように利用できるかを詳細に示している。特に、建物200の写真は、スペクトル画像を介して受信した情報に従って分類される。図5Bに見られるように、同じスペクトル特性を有する領域には同じ材料および材料状態が割り当てられる。例えば、領域204B、スペクトルライブラリデータ記録されたスペクトル特性の比較従って、乾燥したレンガ特徴付けられ。同様に、領域204Aは、湿ったレンガ壁として分類される。さらに、領域205は鋼製であると識別できる。さらに、領域205は、ガラス製として識別される。さらに、植物(例:木や茂み)は領域206と識別される。
したがって、材料の組成だけでなく材料の状態も反映した、調査対象物200の正確なモデルを生成することが可能である。
図5Cは、予め定められたスペクトルライブラリデータの比較により材料特性(例えば、材料及び/又は材料状態)を特定するプロセスを概略的に示している。特に、図5Cは、スペクトルプロファイルまたは反射率グラフ500(すなわち、波長と反射率の機能的関係)を示している。材料の表面の反射率は、放射エネルギーを反射する効果である。特に、当該反射率は、対象物の表面で反射される射電磁力の割合である。図5Cに示すように、反射率スペクトルまたはスペクトル反射率曲線は、波長関数とし反射率のプロットである。図示されている波長範囲は約500~900nmに及ぶ。ただし、異なる波長領域または波長範囲も選択できる。さらに、グラフ500は、スペクトルまたは反射プロファイル500A、500Bの集合を表示する。特に、図示されたスペクトルプロファイル500Aは、様々な外部条件(本例の場合、湿ったレンガ石)で記録または測定された特定の材料のスペクトル記録値またはスペクトル測定値に対応する。例えば、図示されたそれぞれのスペクトルプロファイル500Aは、湿ったレンガの異なる角度及び/又は照射レベルから記録された反射放射エネルギー(すなわち、光または電磁波)に対応する。同様に、スペクトルプロファイル500Bは、乾燥したレンガ石の異なる角度及び/又は照射レベルから記録された反射放射エネルギーに対応する。
対象物を分析するためのデバイスによる調査対象物の材料及び/又は材料状態を識別するための具体的なプロセスをグラフ600に従い詳細に説明する。グラフ600は、グラフ500の拡大部分を示す。特に、グラフ600は、スペクトルプロファイル600A、600Bの拡大部分を示す(スペクトルプロファイル600A、600Bの拡大図示部分は、それぞれのスペクトルプロファイル500A、500Bに対応する)。拡大されたスペクトルプロファイルセグメントのスペクトル範囲は、約690~750nm(波長)に及ぶ。グラフ600から分かるように、グラフ600Bのスペクトルプロファイルの特定の課程または機能は、約690~750nmの波長範囲内で、ある程度対応または一致する。同様に、グラフ600Aの機能的分布も、それぞれの波長領域で、ある程度一致または完全一致する。
したがって、対象物の材料または対象物の材料状態は、レンガ石に関連付けられた予め定められたスペクトル特性またはスペクトル情報に対応付けて識別される。特に、スペクトルライブラリデータには、1又は複数の波長領域での各材料のスペクトルプロファイル分布に関する情報が含まれる。さらに、スペクトルライブラリデータは、さまざまな物理的状態及び/又は照射の多様な程度などの外部条件についての、材料のスペクトルプロファイル分布に関する情報も含む。例えば、複数の波長範囲または波長領域における乾燥したレンガ石のスペクトル挙動存できる。同様に、さまざまな波長領域についての湿ったレンガのスペクトル挙動も、スペクトルライブラリデータに保存できる。測定値記録すると、すなわち反射放射エネルギー記録すると、対象物を分析するためのデバイスは、記録されたスペクトル特性を、スペクトルライブラリデータの予め定められたスペクトル情報とマッチングできる。特に、所与の波長領域での予め定められたスペクトル挙動、対応する波長領域における記録されたスペクトル情報と比較される。記録されたスペクトルプロファイルのスペクトル分布またはスペクトルプロファイルが、同じ波長領域内のスペクトルライブラリデータに含まれる分布と一致または対応する場合、対象物を分析するためのデバイスは、スペクトルライブラリデータのスペクトル情報に関連付けられた材料を割り当てる。同様に、物理的な状態を判断できる。特に、スペクトルライブラリデータは、さまざまな材料特性(例えば、材料の物理的状態)に関連付けられたスペクトル特性を含む。反射放射エネルギーを記録すると、測定された量のスペクトル特性をスペクトルライブラリデータの情報と比較できる。1又は複数の波長領域でのスペクトル分布の特定の分布に応じて、対応する材料特性または材料状態が割り当てられる。例えば、グラフ600に見られるように、スペクトルグラフ600Aは、約690~750nmの波長範囲で同様の機能的挙動を示す。したがって、予め定められたスペクトルライブラリデータに基づいて、対象物を分析するためのデバイスは、スペクトルグラフ600Aが湿った条件又は状態のレンガに対応することを決定する。同様に、対象物を分析するためのデバイスは、スペクトルグラフ600Bが乾燥状態または状況のレンガに対応することを決定できる。
それぞれのスペクトルプロファイル600Aおよび600Bの差異は、異なる照明(照射)条件並びに/又は異なる測定角度および異なる材料組成によるものである。ただし、特定の材料または材料特性の決定プロセスは、特定の波長領域内の特定の(予め定められた)スペクトル分布またはスペクトルパターンに基づく。したがって、材料及び/又は材料特性(図示の例では、湿ったまたは乾燥したレンガ石)の誤りやすい識別を信頼性高く行うことが可能になる。
図6は、3次元建築モデル300および3次元建築モデル300の2次元表面への影を概略的に示している。特に、このモデルは複数の対象物データ点を利用して生成される。つまり、それぞれのデータ点は、光学的情報および空間的情報または地理的位置情報を含む。
したがって、すべてのデータ点は、3次元情報を含み、例えば予め定められた参照フレーム内の(X、Y、Z)座標のタプルを各データ点と関連付ける。平面400(2次元表面)への投影は、各データ点のZ座標をゼロに設定することによって実行される。したがって、3次元建築モデル300を生成するデータ点は、平面に「収まる」。つまり、すべてのデータ点は、平面(投影面)400内のそれぞれの位置にマッピングされる。その結果、データ点(クラスタ)密度分布500又はその複数が平面400内に生成される。密度分布500は、平面400のデータ点によって形成される。
したがって、例えば破風310などの、3次元のデータ点のクラスタ又は蓄積に関連付けられた垂直構造は、投影面500内のそれぞれの密度プロファイル510によって識別することができる。そのため、対象物構造は、前述の密度分布評価を利用することで容易に識別できる。この目的のために、対象物データ点が投影されたセクション表面を任意の方向に調整することができる。図6に図示された状態は、セクション表面または投影表面の調整の特定の選択の一例にすぎない。図6の投影面400又は好ましくはその面法線を任意の空間角度だけ回転させることができ、のような新たに調整された投影面400への対象物データ点の対応する投影を実行して、さまざまなデータ点クラスタ密度分布プロファイルを得てよい面法線を使用することにより、計算時間をさらに大幅に短縮できる。さらに、対応する対象物の3次元構造の分解能を向上させることができる。
つまり、撮像手段によって提供されるデータ、すなわち撮像データ点が正確性に欠ける状況でも、対象物の特徴または構造が識別できる。そのため、投影面内のデータ点クラスタ密度分布の関係を利用した対象物の各幾何学的要素の知識が、ノイズ低減またはエラー回避手段として機能する。したがって、対象物200の3次元モデルの品質を大幅に改善することができる。
図7は、対象物及び/又は対象物特性を分析するための方法またはスペクトルデータ分析ワークフローを概略的に示す。
この方法は、データ取得ステップ710から開始する。特に、ステップ710で対象物データを収集または測定する。更に、対象物データには地理的位置情報が含まれる。地理位置情報またはジオリファレンス情報は、GPSセンサ手段、IPSセンサ手段、およびIMU手段によって提供されてい。ステップ720では、蓄積された対象物データ、すなわち調査対象物に関連付けられた情報が前処理される。例えば、対象物データの前処理、対象物データのクリーニング、正規化、または変換のうちの1又は複数を受けてよい。さらに、前処理には、特定の対象物機能の抽出及び/又は選択工程を含んでい。前処理工程は、対象物を分析するためのデバイスに関連付けられたコンピューティングデバイス(図示せず)を利用して実行することができる。
ステップ730では、ノイズ低減工程が実行される。一般に、ノイズ低減とは、信号からノイズを除去するプロセスである。ノイズとは、ランダム、またはコヒーレンスのないホワイトノイズ、または対象物を分析するためのデバイスまたは前処理工程よって発生するコヒーレントノイズである。
ステップ740では、スペクトルマッチングが実行される。つまり、スペクトルライブラリに含まれる情報を利用することにより、(事前にノイズ除去工程を行った)対象物データをスペクトルライブラリに含まれる特定の対象物情報に関連付けることができる(ステップ745)。スペクトルライブラリは、例えば、コンピューティングデバイスに関連付けられたストレージデバイスに実装できる。加えて、コンピューティングデバイスは、対象物を分析するためのデバイスに含まれる、またはデバイスに関連付けられてもよい。特に、スペクトルライブラリデータは、反射または放射された対象物放射に含まれるスペクトル特性に基づいて、対象物材料または材料特性の識別を可能にするスペクトル情報またはスペクトル特性を含んでい。したがって、対象物データのスペクトル部分は、スペクトルライブラリに含まれる情報とマッチングされ、対象物のそれぞれの対象物材料または材料特性が割り当てられる。つまり、それぞれの対象物材料及び/又は材料特性を識別するスペクトルマッチングプロセスまたはステップ740を実行することができる。
続いて、ステップ750で、さまざまなプロセスステップを実行することができる。例えば、それぞれの対象物材料及び/又は特性に関連付けられた対象物データを含むデータセット、ウェブマッピングサービスチャート(例えばグーグルマップ)などの予め定められた参照にマッピングされてい。加えて、調査対象物の3次元モデル、予め定められた参照系(図示せず)のそれぞれの座標で生成されてよい。さらに、アンミキシングおよびマッチングフィルタリングなどの追加の処理ステップを実行できる。例えば、対象物データに含まれる温度情報は、電磁スペクトルの可視領域(約400~700nm)に含まれる情報を強調すべく、削除またはフィルター処理することができる。つまり、対象物モデル情報は、さまざまな波長またはスペクトル範囲に従って指定または表示できる。
上記は、本発明の特定の実施形態によって実行される特定の動作順序を説明しているが、別の実施形態において、異なる順序で動作を実行し、特定の動作を組み合わせ、特定の動作を重複させるなど、そのような順序は例示であることを理解されたい。本発明の上記の例、態様、及び/又は実施形態は、部分的にまたは全体として何らかの形で組み合わせることができる。
さらに、上記の特定の方法のステップおよび説明されたシステムの構成要素は、プログラムされたコンピュータによって実行できることに留意されたい。本明細書では、いくつかの実施形態は、機械またはコンピュータ可読であり、且つ、機械実行可能またはコンピュータ実行可能プログラム命令をエンコードするプログラムストレージデバイス、例えばデジタルデータストレージ媒体もカバーすることを意図しており前記命令は前記方法のステップの一部又はすべてを実行することとする。プログラムメモリデバイスは、例えば、デジタルメモリ、磁気ディスクおよび磁気テープなどの磁気記憶媒体、ハードドライブ、光学的に読み取り可能なデジタルデータ記憶媒体、またはインターネットクラウドソリューションであってもよい。実施形態は、上述の方法の前記ステップを実行するようにプログラムされたコンピュータをカバーすることも意図している。
さらに、本明細書に記載されているさまざまな要素の機能は、専用ハードウェアおよび適切なソフトウェアに関連してソフトウェアを実行できるハードウェアの使用を通じて提供できることに留意されたい。プロセッサによって提供される場合、単一の専用プロセッサ、単一の共有プロセッサ、またはいくつかが共有されている複数の個々のプロセッサによってその機能を提供されてもよい。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行できるハードウェアのみを指すと解釈されるべきではなく、限定ではないがデジタル信号プロセッサ(DSP)ハードウェア、ネットワークプロセッサ、特定用途向け統合回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ソフトウェアを格納するための読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、および不揮発性ストレージも暗黙的に含まれる。グラフィカルカードプロセッサなど、従来の及び/又はカスタムの他のハードウェアも含めることができる。
最後に、本明細書のブロック図は、本発明の原理を具体化する例示的な回路の概念図を表すことに留意されたい。同様に、あらゆるフローチャート、フロー図、状態遷移図、擬似コードなどが、さまざまな工程を表し、コンピュータまたはプロセッサが明示的に示されているかどうかに関係なく、コンピュータ可読媒体で実質的に表され、コンピュータまたはプロセッサによって実行されることを理解すべきである。

Claims (18)

  1. 建物、建物環境、及び/又は環境領域を含む対象物を分析するためのデバイスであって、
    前記対象物の像データ点を検出するための撮像手段と、
    対象物データ点を取得するためにそれぞれの前記像データ点に空間座標を割り当てるための割り当て手段と、
    前記対象物データ点に基づいて、少なくとも前記対象物の材料特性を決定するための決定手段と
    を備え、
    前記決定のために少なくともスペクトルライブラリデータが使用され、前記スペクトルライブラリデータは、物理的、構的、化学的及び/又は生物学的材料特性に対応する材料スペクトル特性の集合を含
    前記対象物の前記材料特性の前記決定は、前記スペクトルライブラリデータ内に含まれる前記材料に関連付けて格納されたスペクトル特性に対応付けて、前記撮像手段によって検出されたスペクトル特性を、前記スペクトルライブラリデータ内の前記格納されたスペクトル特性とマッチングさせることで行われ、所与の波長領域における前記格納されたスペクトル特性が、対応する波長領域における前記検出されたスペクトル特性と比較され、
    前記対象物の前記材料特性の前記決定は、特定の波長領域内の特定のスぺクトル分布またはパターンに基づき、
    前記対象物データ点が投影表面に投影されて、データ点クラスタ密度分布および各密度プロファイルが生成されて、対象物の構造が取得され、
    前記投影表面が任意の空間角度だけ回転されて、複数のデータ点クラスタ密度分布が取得され、
    前記対象物の要素の各空間位置、および、前記物理的、構造的、化学的及び/又は生物学的材料特性に関する情報を示す前記対象物データ点に基づき、前記対象物の3次元モデルが生成される、
    デバイス。
  2. 前記撮像手段によって検出されたスペクトル特性を、前記スペクトルライブラリデータ内の前記格納されたスペクトル特性とマッチングさせる前に、前記対象物に関連付けられた放射線信号の、前記デバイスにより生じるノイズを低減するためのノイズ低減手段をさらに備える、請求項1に記載のデバイス。
  3. 前記材料特性は、前記対象物の劣化度を少なくとも含む、請求項1または2に記載のデバイス。
  4. 前記材料特性は、前記対象物の被覆度、汚染度及び/又は湿度を少なくとも含む、請求項1から3のいずれか一項に記載のデバイス。
  5. 前記スペクトルライブラリデータは、複数のそれぞれの材料について、様々な空間的条件、時間的条件、大気的条件および照射的件および組成の差異に関連付けられた予め定められたスペクトル情報を含む、請求項1からのいずれか一項に記載のデバイス。
  6. 前記対象物に関連付けられた1又は複数のスペクトル特性が取得され、前記予め定められたスペクトル情報と比較され、前記対象物の前記材料特性は、取得された前記1又は複数のスペクトル特性と前記予め定められたスペクトル情報との間の一致に基づいて決定される、請求項に記載のデバイス。
  7. 前記対象物データ点は、予め定められた土地登記チャート及び/又はウェブマッピングサービスチャートの参照座標上にマッピングされる、請求項1からのいずれか一項に記載のデバイス。
  8. 前記マッピングされた前記対象物データ点(ボクセル)は、前記対象物の3次元モデルを生成するために利用され、前記対象物の前記3次元モデルは、前記予め定められた土地登記チャート及び又は前記ウェブマッピングサービスチャートサイズに対してスケーリングされる、請求項に記載のデバイス。
  9. 前記デバイスは、自律的及び/又は非自律的移動エンティティに含まれる、請求項1からのいずれか一項に記載のデバイス。
  10. 前記自律的及び/又は非自律的移動エンティティは、空中輸送車両及び/又は陸上ベースの輸送車両である、請求項に記載のデバイス。
  11. 前記撮像手段は、レーザースキャナ、光学カメラ、赤外線カメラ、撮像分光計、慣性測定ユニット、IPSセンサ及び/又はGPSセンサのうちの少なくとも1つを含む、請求項1から10のいずれか一項に記載のデバイス。
  12. 前記対象物データ点は、一組の3次元グラフィック情報ユニット(ボクセル)として表され、各3次元グラフィック情報ユニットは、それぞれの空間座標に関連付けられたスペクトル、RGB、及び/又は熱データ情報を示す、請求項1から11のいずれか一項に記載のデバイス。
  13. 前記対象物データ点は、平面に投影され、前記対象物のそれぞれの幾何学的要素の識別は、前記平面におけるデータ点クラスタ密度分布の評価に基づく、請求項1から12のいずれか一項に記載のデバイス。
  14. 前記識別は、予め定められた密度閾値を超える密度のみを考慮することにより実現できる、請求項13に記載のデバイス。
  15. 前記データ点クラスタ密度分布ら1又は複数の対象物面を識別し、
    前記1又は複数の対象物面の外部輪郭を外挿し、
    前記外部輪郭の特性線を抽出し、
    前記特性線の幾何学的2次元特性を決定し、それらの密度に関係なく同じ特性を有するすべての前記特性線を抽出し、
    定された前記幾何学的2次元特性と比較して同じ範囲における幾何学的特性を有する領域を決定して、一組の線形従属2次元点を構築する
    ように構成される、請求項13に記載のデバイス。
  16. 前記データ点クラスタ密度分布の前記評価は、前記対象物の3次元モデルの内部および外部の微細な構築及び/又は構造の生成を支援するために利用される、請求項13から15のいずれか一項に記載のデバイス。
  17. 建物、建物環境、及び/又は環境領域を含む対象物を分析する方法であって、
    前記対象物の撮像データ点を検出する段階と、
    対象物データ点を取得するために、それぞれの前記撮像データ点に空間座標を割り当てる段階と、
    前記対象物データ点に基づいて、少なくとも前記対象物の材料特性を決定する段階であって、前記決定のために少なくともスペクトルライブラリデータが使用され、前記スペクトルライブラリデータ、物理的、構的、化学的及び/又は生物学的材料特性に対応する材料スペクトル特性の集合を有する、段階と
    を備える方法であって、
    前記対象物の前記材料特性の前記決定は、前記スペクトルライブラリデータ内に含まれる前記材料に関連付けて格納されたスペクトル特性に対応付けて、検出されたスペクトル特性を、前記スペクトルライブラリデータ内の前記格納されたスペクトル特性とマッチングさせることで行われ、所与の波長領域における前記格納されたスペクトル特性が、対応する波長領域における前記検出されたスペクトル特性と比較され、
    前記対象物の前記材料特性の前記決定は、特定の波長領域内の特定のスぺクトル分布またはパターンに基づき、
    前記対象物データ点が投影表面に投影されて、データ点クラスタ密度分布および各密度プロファイルが生成されて、対象物の構造が取得され、
    前記投影表面が任意の空間角度だけ回転されて、複数のデータ点クラスタ密度分布が取得され、
    前記対象物の要素の各空間位置、および、前記物理的、構造的、化学的及び/又は生物学的材料特性に関する情報を示す前記対象物データ点に基づき、前記対象物の3次元モデルが生成される、方法
  18. 前記対象物データ点は、予め定められた土地登記チャート及び/又はウェブマッピングサービスチャートの参照座標にマッピングされ、前記マッピングされた対象物データ点は、前記対象物の3次元モデルを生成するために利用され、前記対象物の前記3次元モデルは予め定められた土地登記チャート及び/又は前記ウェブマッピングサービスチャートサイズに対してスケーリングされる、請求項17に記載の方法。
JP2019543811A 2017-02-10 2018-02-09 対象物を分析するためのデバイス及び方法 Active JP7136422B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022046980A JP2022101552A (ja) 2017-02-10 2022-03-23 対象物を分析するためのデバイス及び方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17000215.8A EP3361235A1 (en) 2017-02-10 2017-02-10 Device and method for analysing objects
EP17000215.8 2017-02-10
PCT/EP2018/053352 WO2018146279A1 (en) 2017-02-10 2018-02-09 Device and method for analyzing objects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022046980A Division JP2022101552A (ja) 2017-02-10 2022-03-23 対象物を分析するためのデバイス及び方法

Publications (3)

Publication Number Publication Date
JP2020507776A JP2020507776A (ja) 2020-03-12
JPWO2018146279A5 JPWO2018146279A5 (ja) 2022-03-31
JP7136422B2 true JP7136422B2 (ja) 2022-09-13

Family

ID=58046440

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019543811A Active JP7136422B2 (ja) 2017-02-10 2018-02-09 対象物を分析するためのデバイス及び方法
JP2022046980A Pending JP2022101552A (ja) 2017-02-10 2022-03-23 対象物を分析するためのデバイス及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022046980A Pending JP2022101552A (ja) 2017-02-10 2022-03-23 対象物を分析するためのデバイス及び方法

Country Status (5)

Country Link
US (1) US11002669B2 (ja)
EP (2) EP3361235A1 (ja)
JP (2) JP7136422B2 (ja)
CN (1) CN110678737B (ja)
WO (1) WO2018146279A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190250283A1 (en) * 2018-02-09 2019-08-15 Matterport, Inc. Accuracy of gps coordinates associated with image capture locations
US10955256B2 (en) * 2018-10-26 2021-03-23 Here Global B.V. Mapping system and method for applying texture to visual representations of buildings
JP7196640B2 (ja) * 2019-01-29 2022-12-27 セイコーエプソン株式会社 情報システムおよび特定方法
WO2021117388A1 (ja) * 2019-12-09 2021-06-17 富士フイルム株式会社 移動体、制御装置、及び撮像方法
EP4099060B1 (en) * 2020-01-31 2024-05-22 NISSAN MOTOR Co., Ltd. Object recognition method and object recognition device
JP2021131652A (ja) * 2020-02-19 2021-09-09 株式会社トプコン データ構造、記録媒体、プログラム、及びシステム
JP7168995B2 (ja) * 2020-07-15 2022-11-10 株式会社アスマップ アスベスト3次元マップ生成システム
US20220155795A1 (en) * 2020-11-18 2022-05-19 The Boeing Company Methods and scan systems for analyzing an object
US11270418B1 (en) * 2020-11-19 2022-03-08 VPIX Medical Incorporation Method and system for correcting phase of image reconstruction signal
CN112613369B (zh) * 2020-12-15 2024-07-12 中国建筑第八工程局有限公司 建筑窗面积的计算方法及系统
CN112833855B (zh) * 2021-01-06 2022-04-19 河北科技师范学院 一种工程监理建管信息化装置
CN113418878A (zh) * 2021-06-15 2021-09-21 桂林电子科技大学 基于微型光谱传感器的水果成熟度检测系统及方法
KR102695998B1 (ko) * 2021-08-19 2024-08-14 고려대학교 산학협력단 실내 측위를 위한 맵 압축 방안
US12078738B2 (en) 2021-11-09 2024-09-03 Msrs Llc Method, apparatus, and computer readable medium for a multi-source reckoning system
US11810249B2 (en) * 2022-01-03 2023-11-07 Signetron Inc. 3D point cloud processing
JP7322237B1 (ja) 2022-04-27 2023-08-07 大和ハウス工業株式会社 仮設住宅団地設計システム
CN114882192B (zh) * 2022-07-08 2022-10-11 浙江国遥地理信息技术有限公司 一种建筑立面的分割方法、装置、电子设备以及存储介质
CN115656238B (zh) * 2022-10-17 2023-05-12 中国科学院高能物理研究所 一种微区xrf元素分析与多维成像方法及系统
CN117455119B (zh) * 2023-11-24 2024-04-09 佛山市盈科工程造价咨询事务所有限公司 一种夜间工程项目造价进度监管方法、系统、设备及介质
CN117851528B (zh) * 2023-12-21 2024-07-16 北京英视睿达科技股份有限公司 基于大气环境数据时空网格划分方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006612A (ja) 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
JP2004294361A (ja) 2003-03-28 2004-10-21 Hitachi Ltd 多スペクトル撮像画像解析装置
JP2004309491A (ja) 2003-02-21 2004-11-04 Fast:Kk 建築および土木構造物計測・解析システム
JP2011170599A (ja) 2010-02-18 2011-09-01 Mitsubishi Electric Corp 屋外構造物計測装置及び屋外構造物計測方法
US20130202197A1 (en) 2010-06-11 2013-08-08 Edmund Cochrane Reeler System and Method for Manipulating Data Having Spatial Co-ordinates
US20150006117A1 (en) 2013-07-01 2015-01-01 Here Global B.V. Learning Synthetic Models for Roof Style Classification Using Point Clouds
JP2015063216A (ja) 2013-09-25 2015-04-09 日産自動車株式会社 回避制御装置
JP2015190822A (ja) 2014-03-28 2015-11-02 大和ハウス工業株式会社 外装材の劣化シミュレーションシステム
JP2017015527A (ja) 2015-06-30 2017-01-19 株式会社トプコン 広域センサシステム、飛行検出方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2919712B2 (ja) * 1993-06-30 1999-07-19 キヤノン株式会社 文字発生方法および装置
JPH07318510A (ja) * 1994-03-28 1995-12-08 Nippon Steel Corp 建物屋根材の劣化度評価方法
JPH09187038A (ja) * 1995-12-27 1997-07-15 Canon Inc 3次元形状抽出装置
JP4588225B2 (ja) * 2001-01-17 2010-11-24 パイオニア株式会社 通信ナビゲーションシステムにおける地図データの修正装置
JP2005283519A (ja) * 2004-03-31 2005-10-13 Hitachi Zosen Corp 塗膜劣化診断システム
JP2007047136A (ja) * 2005-08-05 2007-02-22 Aomoriken Kogyo Gijutsu Kyoiku Shinkokai ラジコンヘリコプターを用いた環境観測システム
JP4568845B2 (ja) * 2007-04-26 2010-10-27 三菱電機株式会社 変化領域認識装置
WO2010009498A1 (en) * 2008-07-21 2010-01-28 Commonwealth Scientific And Industrial Research Organisation Method and system for autonomous habitat analysis
DE102010036447A1 (de) * 2010-03-26 2011-09-29 Degudent Gmbh Verfahren zur Ermittlung von Materialcharakteristika
US8890896B1 (en) * 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application
CN103620381B (zh) * 2011-06-29 2015-09-30 富士通株式会社 植物种类识别装置以及方法
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
CN102967561B (zh) * 2012-12-11 2015-07-15 河南中原光电测控技术有限公司 一种后向多波长红外光谱非接触式路面状况检测方法
KR102129588B1 (ko) * 2013-06-26 2020-07-02 현대모비스(주) 물체 인식 시스템
US9256786B2 (en) * 2013-10-15 2016-02-09 Ge Aviation Systems Llc Method of identification from a spatial and spectral object model
CN103942388B (zh) * 2014-04-18 2017-04-26 重庆市勘测院 一种大规模建筑信息模型与三维数字城市集成方法
CN104658039B (zh) * 2015-02-12 2018-01-30 南京市测绘勘察研究院股份有限公司 一种城市数字地图三维建模制作方法
CN104952107A (zh) * 2015-05-18 2015-09-30 湖南桥康智能科技有限公司 基于车载LiDAR点云数据的桥梁三维重建方法
US9495618B1 (en) * 2015-08-06 2016-11-15 Digitalglobe, Inc. Object detection with textural to spectral domain adaptation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006612A (ja) 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
JP2004309491A (ja) 2003-02-21 2004-11-04 Fast:Kk 建築および土木構造物計測・解析システム
JP2004294361A (ja) 2003-03-28 2004-10-21 Hitachi Ltd 多スペクトル撮像画像解析装置
JP2011170599A (ja) 2010-02-18 2011-09-01 Mitsubishi Electric Corp 屋外構造物計測装置及び屋外構造物計測方法
US20130202197A1 (en) 2010-06-11 2013-08-08 Edmund Cochrane Reeler System and Method for Manipulating Data Having Spatial Co-ordinates
US20150006117A1 (en) 2013-07-01 2015-01-01 Here Global B.V. Learning Synthetic Models for Roof Style Classification Using Point Clouds
JP2015063216A (ja) 2013-09-25 2015-04-09 日産自動車株式会社 回避制御装置
JP2015190822A (ja) 2014-03-28 2015-11-02 大和ハウス工業株式会社 外装材の劣化シミュレーションシステム
JP2017015527A (ja) 2015-06-30 2017-01-19 株式会社トプコン 広域センサシステム、飛行検出方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHMELAR PAVEL,PROJECTION OF POINT CLOUD FOR BASIC OBJECT DETECTION,PROCEEDINGS ELMAR-2014,CROATIAN SOCIETY ELECTRONICS IN MARINE - ELMAR,2014年09月10日,PAGE(S):11-14,http://dx.doi.org/10.1109/ELMAR.2014.6923303
MIAO WANG,INCREMENTAL SEGMENTATION OF LIDAR POINT CLOUDS WITH AN OCTREE‐STRUCTURED VOXEL SPACE,THE PHOTOGRAMMETRIC RECORD,英国,2011年03月,V26 N133,P32-57,http://dx.doi.org/10.1111/j.1477-9730.2011.00624.x

Also Published As

Publication number Publication date
JP2020507776A (ja) 2020-03-12
CN110678737B (zh) 2023-02-28
EP3580547B1 (en) 2023-04-05
WO2018146279A1 (en) 2018-08-16
EP3580547A1 (en) 2019-12-18
JP2022101552A (ja) 2022-07-06
EP3361235A1 (en) 2018-08-15
US20190371056A1 (en) 2019-12-05
US11002669B2 (en) 2021-05-11
CN110678737A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
JP7136422B2 (ja) 対象物を分析するためのデバイス及び方法
Daneshmand et al. 3d scanning: A comprehensive survey
Abellán et al. Terrestrial laser scanning of rock slope instabilities
Hassani Documentation of cultural heritage; techniques, potentials, and constraints
JPWO2018146279A5 (ja)
Lemmens et al. Terrestrial laser scanning
Gruen et al. Joint processing of UAV imagery and terrestrial mobile mapping system data for very high resolution city modeling
Abuhadrous et al. Digitizing and 3D modeling of urban environments and roads using vehicle-borne laser scanner system
Barazzetti et al. 3D scanning and imaging for quick documentation of crime and accident scenes
Hyyppä et al. Unconventional LIDAR mapping from air, terrestrial and mobile
Moe et al. Changing the production pipeline–use of oblique aerial cameras for mapping purposes
Jiang et al. UAV-based oblique photogrammetry for 3D reconstruction of transmission line: Practices and applications
Rebelo et al. Building 3D city models: Testing and comparing Laser scanning and low-cost UAV data using FOSS technologies
Teppati Losè et al. New developments in lidar UAS surveys. Performance analyses and validation of the DJI Zenmuse L1
Bassier et al. Evaluation of data acquisition techniques and workflows for Scan to BIM
Singh et al. High resolution DEM generation for complex snow covered Indian Himalayan Region using ADS80 aerial push-broom camera: a first time attempt
Shan et al. Feasibility of Accurate Point Cloud Model Reconstruction for Earthquake‐Damaged Structures Using UAV‐Based Photogrammetry
Bouziani et al. Comparison assessment of digital 3D models obtained by drone-based lidar and drone imagery
Papakonstantinou et al. UAS multi-camera rig for post-earthquake damage 3D geovisualization of Vrisa village
Liu et al. Development of building height data in Peru from high-resolution SAR imagery
Karasaka et al. Accuracy assessment toward merging of terrestrial laser scanner point data and unmanned aerial system point data
Sammartano Suitability of 3D dense models from rapid mapping strategies for Cultural Heritage documentation and conservation
Kurisu et al. Development of a laser range finder for 3D map-building in rubble
Grasso et al. The use of SLAM and UAV technology in geological field for monitoring: the case study of the Bossea Cave
Huang et al. Integration of mobile laser scanning data with UAV imagery for very high resolution 3D city modeling

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220128

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20220323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220823

R150 Certificate of patent or registration of utility model

Ref document number: 7136422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150