JP6970817B2 - 構造物管理装置、構造物管理方法、及び構造物管理プログラム - Google Patents

構造物管理装置、構造物管理方法、及び構造物管理プログラム Download PDF

Info

Publication number
JP6970817B2
JP6970817B2 JP2020513211A JP2020513211A JP6970817B2 JP 6970817 B2 JP6970817 B2 JP 6970817B2 JP 2020513211 A JP2020513211 A JP 2020513211A JP 2020513211 A JP2020513211 A JP 2020513211A JP 6970817 B2 JP6970817 B2 JP 6970817B2
Authority
JP
Japan
Prior art keywords
damage
image
camera
unit
design data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020513211A
Other languages
English (en)
Other versions
JPWO2019198562A1 (ja
Inventor
浩明 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019198562A1 publication Critical patent/JPWO2019198562A1/ja
Application granted granted Critical
Publication of JP6970817B2 publication Critical patent/JP6970817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、構造物管理装置、構造物管理方法、及び構造物管理プログラムに関し、特に３次元設計データを利用した構造物の管理に関する技術である。
橋梁などの構造物は時間とともに劣化するため、定期的に点検を行い劣化の状況を把握して管理する必要がある。従来より、構造物の点検及び管理を行う技術が提案されている。
例えば特許文献１では、構造物の管理及び点検に用いられる損傷図を迅速かつ容易に作成することを目的とし、ステレオカメラで取得されたステレオ画像における損傷を指定して、その損傷を図面データにマッピングする技術が記載されている。特許文献１に記載された技術では、ＧＰＳ（Global Positioning System）、ロボット装置の移動量、ステレオカメラのパンチルト機構の回転角等により、撮影位置及び撮影方向を検出することが記載されている。
また近年では、ドローンに代表される移動体にカメラを搭載し、構造物の撮像画像を取得し、その取得した撮像画像から３次元モデルを生成する技術が提案されている。
例えば特許文献２では、カメラを搭載した移動体により、構造物（建造物）の撮像画像が取得され、ＳｆＭ（Structure from Motion）を使用して３次元点群を生成し、３次元点群に基づいてポリゴンが生成されることが記載されている。特許文献２に記載された技術では、生成されたポリゴンに撮像画像がマッピングされている。
特開２０１７−２２７５９５号公報 特開２０１５−１１４９５４号公報
しかしながら、構造物の表面が複数のポリゴンで表された３次元モデルに撮像画像を貼り付ける手法（上述の特許文献２の手法）は、各ポリゴンに撮像画像を貼り付けるので、貼り付けられた撮像画像の画質が劣化してしまう場合があった。この画質劣化は３次元モデルの表面のランダムに生成された各ポリゴンの精度が低く、各ポリゴンにそれぞれ異なる撮像画像が貼り付けられるので、マッピングされた３次元モデルの表面が不均一なものとなってしまうものである。
また構造物の管理を行う場合には、定期的に点検を行い、複数の点検結果を比較することが行われる。
特許文献２に記載された技術では、撮像画像からポリゴンを生成し、そのポリゴンに撮像画像をマッピングしているので、撮像画像の取得の度（点検毎）に、異なるポリゴンが生成される。したがって、撮像画像の取得の度に、異なるポリゴンが生成され、そのポリゴンに撮像画像が貼り付けられる。よって、撮像画像の取得の機会（点検）毎に異なるポリゴンに撮像画像がマッピングされるので、過去に生成した撮像画像がマッピングされたポリゴンは形状が異なる可能性があり、相互に比較するのに適していない。
本発明はこのような事情に鑑みてなされたもので、その目的は、マッピングされた撮像画像の画質の劣化を抑制することができ、且つ過去の点検結果との比較を簡単に行うことができる構造物管理装置、構造物管理方法、及び構造物管理プログラムを提供することである。
上記目的を達成するための本発明の一の態様である構造物管理装置は、カメラを搭載した移動体を移動させ、カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得する画像取得部と、画像群の各画像を解析して構造物の損傷を検出する損傷検出部と、構造物を示す３次元設計データを取得する３次元設計データ取得部と、画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と点群データの３次元位置とを含む合成情報を算出する合成情報算出部と、合成情報算出部により算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷をマッピングするマッピング部と、を備える。
本態様によれば、マッピング部により、合成情報算出部で算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷がマッピングされるので、マッピングされた損傷の画質の劣化が抑制され、且つ過去の点検結果との比較を簡単に行うことができる。
好ましくは、マッピング部は、合成情報算出部により算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に画像群の各画像をマッピングし、マッピングした画像上に検出した損傷をマッピングする。
本態様によれば、マッピング部により、合成情報算出部により算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に画像群の各画像をマッピングし、マッピングした画像上に検出した損傷がマッピングされる。これにより、マッピングされた画像及び損傷において、画質の劣化が抑制され、且つ過去の点検結果との比較を簡単に行うことができる。
好ましくは、構造物管理装置は、損傷検出部により検出された損傷の程度を評価する損傷評価部と、取得した３次元設計データ及びマッピングされた損傷を表示する表示部と、を備え、表示部は、マッピングされた損傷の位置に関連付けて、損傷評価部による損傷の評価結果を含む損傷情報を更に表示する。
本態様によれば、損傷評価部により、損傷検出部により検出された損傷の程度が評価され、表示部により、マッピングされた損傷の位置に関連付けて、損傷評価部による損傷の評価結果を含む損傷情報が更に表示される。これにより、ユーザに簡便に損傷と損傷情報を合わせて視認させることができる。
好ましくは、構造物管理装置は、損傷検出部により検出された損傷の程度を評価する損傷評価部と、３次元設計データを記録する記録部と、を備え、記録部は、マッピングされた損傷の位置情報と関連付けて損傷評価部による損傷の評価結果を含む損傷情報を記録する。
本態様によれば、損傷評価部により、損傷検出部により検出された損傷の程度が評価され、記録部により、マッピングされた損傷の位置情報と関連付けて損傷評価部による損傷の評価結果を含む損傷情報が記録される。これにより、マッピングされた損傷の位置情報と損傷情報とが効率的に記録される。
好ましくは、損傷情報は、損傷検出部により検出される損傷の種類、損傷評価部による損傷の程度を示すランク、及び損傷のサイズを含む。
好ましくは、合成情報算出部は、Structure from Motion（以下、ＳｆＭという）手法又はSimultaneous Localization And Mapping（以下、ＳＬＡＭ）手法により画像群の各画像を撮像したときのカメラのカメラ位置及びカメラ姿勢と点群データの３次元位置を算出する。
本態様によれば、合成情報算出部により、ＳｆＭ手法又はＳＬＡＭ手法により画像群の各画像を撮像したときのカメラのカメラ位置及びカメラ姿勢と点群データの３次元位置が算出されるので、精度良くカメラ位置及びカメラ姿勢と点群データの３次元位置を算出することができる。
好ましくは、カメラを搭載した移動体と、移動体の移動及びカメラの撮像を制御し、カメラにより画像群を撮像させる移動体制御部と、を備え、画像取得部は、移動体に搭載されたカメラにより撮像された画像群を取得する。好ましくは、移動体は、飛行体である。
本発明の他の態様である構造物管理方法は、画像取得部が、カメラを搭載した移動体を移動させ、カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得するステップと、損傷検出部が、画像群の各画像を解析して構造物の損傷を検出するステップと、３次元設計データ取得部が、構造物を示す３次元設計データを取得するステップと、合成情報算出部が、画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と点群データの３次元位置とを含む合成情報を算出するステップと、マッピング部が、算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷をマッピングするステップと、を含む。
好ましくは、マッピングするステップは、合成情報に基づいて取得した３次元設計データが示す構造物の表面に画像群の各画像をマッピングし、マッピングした画像上に検出した損傷をマッピングする。
好ましくは、損傷評価部が、検出された損傷の程度を評価するステップと、表示部が、取得した３次元設計データ及びマッピングされた損傷を表示するステップと、を含み、表示するステップは、マッピングされた損傷の位置に関連付けて、損傷評価部による損傷の評価結果を含む損傷情報を更に表示する。
本発明の他の態様である構造物管理プログラムは、カメラを搭載した移動体を移動させ、カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得する機能と、画像群の各画像を解析して構造物の損傷を検出する機能と、構造物を示す３次元設計データを取得する機能と、画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と点群データの３次元位置とを含む合成情報を算出する機能と、算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷をマッピングする機能と、をコンピュータに実行させる。
本発明によれば、マッピング部により、合成情報算出部で算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷がマッピングされるので、マッピングされた損傷の画質の劣化が抑制することができ、且つ過去の点検結果との比較を簡単に行うことができる。
図１は、構造物管理システムを概念的に示す図である。 図２は、構造物管理システムの主な機能構成を示すブロック図である。 図３は、装置制御部の機能構成例を示すブロック図である。 図４は、構造物管理工程（構造物管理方法）のフロー図である。 図５は、管理対象の橋梁を概念的に示す斜視図である。 図６は、画像群の一部を示す図である。 図７は、ワールド座標系、ローカル座標系及び画像座標系の関係を示す図である。 図８は、カメラの位置、カメラの姿勢、及び点群データの３次元位置を示す図である。 図９は、３次元設計データを示す図である。 図１０は、点群データの３次元位置と３次元設計データとのレジストレーションに関して示す概念図である。 図１１は、ひびわれが３次元設計データの平面にマッピングされることを示す図である。 図１２は、撮像画像及びひびわれが３次元設計データの平面にマッピングされることを示す図である。
以下、添付図面に従って本発明にかかる構造物管理装置、構造物管理方法、及び構造物管理プログラムの好ましい実施の形態について説明する。
図１は、本発明の構造物管理装置３００と移動体１００から構成される構造物管理システム１を概念的に示す図である。移動体１００は、例えば無人飛行体（ドローン）である。また移動体１００は自走型ロボットであってもよい。移動体１００は、搭載されたカメラ２０２により管理対象の構造物の複数枚の撮像画像で構成される撮像画像群を取得する。ここで構造物とは、橋梁、ダム、トンネル、建物などのコンクリート構造物である。
構造物管理装置３００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（read‐only memory）、及びＲＡＭ（Random Access Memory）等を備えコンピュータにより構成され、カメラ２０２により撮像された撮像画像群を取得する。なお、構造物管理装置３００を構成するコンピュータは、ＣＰＵがＲＯＭに格納された構造物管理プログラムを実行することにより、構造物管理装置３００として機能する。
図２は、構造物管理システム１の主な機能構成を示すブロック図である。
構造物管理システム１を構成する移動体１００は、主に移動体入出力部２３０、移動体制御部１３０、移動体駆動部１０８、カメラ２０２、撮像制御部２０４を備える。また、構造物管理システム１を構成する構造物管理装置３００は、装置入出力部３１０、装置制御部３２０、記録部３５０、表示部３４０、及び操作部３３０で構成される。
移動体入出力部２３０は、無線又は有線により接続されて情報の入出力を行う。例えば、移動体入出力部２３０は、カメラ２０２で撮像された構造物の画像群を出力する。
移動体制御部１３０は、移動体１００のコントローラ（不図示）の移動指令に基づいて移動体１００を制御し、移動体１００を移動させる。例えば、移動体１００が無人飛行体のドローンである場合には、プロペラの駆動が移動体制御部１３０により制御される。
撮像制御部２０４は、移動体１００のコントローラからの撮像指令に基づいて、カメラ２０２に撮像画像を取得させる。カメラ２０２は、管理対象である構造物をオーバーラップ領域をもって連続的に撮像し、複数の画像で構成された画像群を取得する。カメラ２０２は、動画を撮像しその動画から静止画を切り出すことにより、画像及び画像群を取得してもよいし、静止画を取得して画像群を取得してもよい。また例えば撮像制御部２０４は、カメラ２０２に、１秒毎に１枚の撮像画像を取得させて画像群を取得する。なお、オーバーラップ領域は、例えば撮像画像の８０％とすることがＳｆＭ手法を適用する上で好ましい。
構造物管理装置３００は、構造物管理システム１を操作するユーザにより操作されるものである。構造物管理装置３００は、装置入出力部３１０、装置制御部３２０、操作部３３０、表示部３４０、及び記録部３５０から構成されている。
装置入出力部３１０は、無線又は有線により接続されて情報の入出力が行われる。例えば、移動体１００が取得した画像群が装置入出力部３１０を介して入力される。
装置制御部３２０は、装置入出力部３１０を介して画像群を取得し、３次元設計データに損傷及び撮像画像のマッピングを行う。なお、３次元設計データへの損傷及び撮像画像のマッピングに関しては後で説明を行う。また装置制御部３２０は、記録部３５０への記録の制御、表示部３４０への表示の制御、及び操作部３３０から入力される指令に応じた制御を行う。
表示部３４０は、装置制御部３２０の制御により表示を行う。例えば、表示部３４０は、損傷がマッピングされた３次元設計データを表示する。また、表示部３４０は、マッピングされた損傷の位置に関連付けて、損傷評価部４０５（図３）による損傷の評価結果を含む損傷情報を表示する。ここで損傷情報は、損傷検出部４０３（図３）により検出される損傷の種類、損傷評価部４０５による損傷の程度を示すランク、及び損傷のサイズを含む。
記録部３５０は、装置制御部３２０の制御により各種情報の記録を行う。例えば記録部３５０は、損傷がマッピングされた３次元設計データを記録する。また記録部３５０は、マッピングされた損傷の位置情報と関連付けて損傷評価部による損傷の評価結果を含む損傷情報を記録する。
図３は、装置制御部３２０の機能構成例を示すブロック図である。
装置制御部３２０は、画像取得部４０１、損傷検出部４０３、損傷評価部４０５、３次元設計データ取得部４０７、合成情報算出部４０９、及びマッピング部４１１から構成されている。
画像取得部４０１は、装置入出力部３１０を介して、移動体１００を移動させながら、管理対象である構造物をオーバーラップ領域をもって撮像された画像群を取得する。また画像取得部４０１は、一つの構造物に対して単数又は複数の画像群を取得する。
損傷検出部４０３は、画像群の各画像を解析して構造物の損傷を検出する。損傷検出部４０３が行う損傷検出は、公知の技術で行われるため、ここでは詳細な説明は省略する。なお、損傷検出部４０３で検出される損傷は、構造物の一般的な損傷を含む。例えば、ひびわれ、コンクリート剥離、遊離石灰などである。
損傷評価部４０５は、損傷検出部により検出された損傷の程度を評価する。損傷評価部４０５は、自動又は手動により、損傷の評価を行う。損傷評価部４０５が自動で損傷の評価を行う場合には、検出された損傷を画像処理することにより損傷程度を評価する。また、損傷評価部４０５が手動により、損傷を評価する場合には、表示部３４０に表示された損傷をユーザが確認し操作部３３０を介してその損傷の程度を評価する。なお、上述の損傷評価を含む損傷情報は国土交通省作成の「橋梁定期点検要領（平成２６年６月）」に従って入力することが好ましい。
３次元設計データ取得部４０７は、装置入出力部３１０から入力される管理対象の構造物を示す３次元設計データを取得する。３次元設計データは、例えば３次元ＣＡＤデータである。
合成情報算出部４０９は、画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、カメラ２０２の各画像の撮像時のカメラ位置及びカメラ姿勢と点群データの３次元位置とを含む合成情報を算出する。具体的には、合成情報算出部４０９は、ＳｆＭ手法又はＳＬＡＭ手法により画像群の各画像を撮像したときのカメラのカメラ位置及びカメラ姿勢と点群データの３次元位置を算出する。
マッピング部４１１は、合成情報算出部４０９により算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷及び撮像画像をマッピングする。
なお、合成情報算出部４０９で行われる合成情報の算出及びマッピング部４１１のマッピングに関しては後で詳細に説明をする。
図４は、構造物管理装置３００を使用して行われる構造物管理工程（本発明の構造物管理方法に相当）のフロー図である。
≪画像群の取得及び損傷の検出≫
先ず、画像取得部４０１により、管理対象である橋梁Ｂの撮像画像で構成される画像群Ｃを取得する（ステップＳ１０）。
図５は、管理及び点検対象の橋梁Ｂを概念的に示す斜視図である。橋梁Ｂの表面の一つの平面４２１には損傷であるひびわれ４２３が存在する。移動体１００は、橋梁Ｂの周りを飛行しながらこの橋梁Ｂの撮像を連続的に行い、画像群Ｃを取得する。そして、画像取得部４０１は、移動体１００が取得した橋梁Ｂの撮像画像で構成される画像群Ｃを取得する。
次に損傷検出部４０３により、画像群Ｃを構成する撮像画像からひびわれ４２３が検出される（ステップＳ１１：図４）。
図６は、画像取得部４０１が取得した画像群Ｃの一部４２５を示す図である。画像群Ｃの一部４２５は、撮像画像Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６で構成されている。損傷検出部４０３は、例えば撮像画像Ｃ６に写っているひびわれ４２３を画像解析により検出する。なお、撮像画像Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６はオーバーラップ領域を有し、撮像画像Ｃ２、Ｃ３、Ｃ４、Ｃ５においてもひびわれ４２３が検出される。したがって、損傷検出部４０３は、複数の撮像画像において同一の損傷が検出される場合には、重複する部分は削除してもよい。
≪合成情報の算出≫
次に合成情報算出部４０９により、画像群Ｃに基づいて、カメラ２０２の位置及び姿勢、画像群Ｃを構成する撮像画像の相互間でのオーバーラップ領域内で共通する特徴点の点群データの３次元位置を算出する（ステップＳ１２：図４）。
合成情報算出部４０９は、画像群Ｃを解析し、合成情報として画像群Ｃの各撮像画像を撮像したときのカメラ２０２の位置及び姿勢をそれぞれ推定する。
具体的には、画像群Ｃの各撮像画像が重複する領域（オーバーラップ領域）に含まれる特徴点を抽出し、各撮像画像間における特徴点の対応関係（それぞれ局所特徴量が一致する対応点）を特定する。
撮像画像間の拡大縮小（撮像距離の違い）、回転等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF (Speed-Upped Robust Feature)特徴量、及びAKAZE (Accelerated KAZE)特徴量が知られている。特徴量が一致する対応点の数（セット数）は、数１０組以上あることが好ましく、したがって各撮像画像間の重複領域は大きいことが好ましい。
そして、各撮像画像間の対応する複数の特徴点に基づいてカメラ２０２の位置及び姿勢をそれぞれ推定する。
図７は、ワールド座標系、ローカル座標系及び画像座標系の関係を示す図である。
被写体（本例では、橋梁Ｂ）の３次元位置（３次元形状）は、原点Ｏを有するＸＹＺの直交３軸のワールド座標系によって表すことができる。
一方、ｘｙｚの直交３軸のローカル座標系（以下、「カメラ座標系」という）は、ワールド座標系とは独立に移動するカメラ２０２の座標系である。カメラ座標系の原点は、カメラ２０２の焦点位置であり、光軸方向がｚ軸である。
画像座標系は、カメラ２０２のイメージセンサに結像される撮像画像上の点の２次元位置を表す座標系である。撮像画像上の特徴点ｃの座標(u,v)は、カメラ２０２のイメージセンサの基準位置からの画素数と画素ピッチとにより求めることができる。
画像座標系における特徴点ｃの座標(u,v)、ワールド座標系における特徴点ｃの座標（Ｘ，Ｙ，Ｚ）、カメラ内部パラメータを表す行列Ｃ，及びカメラ外部パラメータを表す行列Ｍとの関係は、次式により表すことができる。
Figure 0006970817
カメラ内部パラメータは、焦点距離、イメージセンサの画像サイズ、画素ピッチ、画像中心位置等を含み、事前にキャリブレーションにより取得できるものである。
カメラ外部パラメータを表す行列Ｍは、ワールド座標からカメラ座標への座標変換行列であり、カメラ２０２の位置を表す並進ベクトル、及びカメラ２０２の姿勢を表す回転行列を含む。
カメラ２０２の位置及び姿勢は、カメラ外部パラメータを表す行列Ｍを求めることで推定することができる。複数の撮像画像上の特徴点に基づいてカメラ外部パラメータを推定する手法として、ＳｆＭ手法が知られている。
ＳｆＭ手法は、カメラ２０２を移動させながら撮像される撮像画像上の複数の特徴点を追跡し、これらの特徴点の対応関係を利用してカメラ２０２の位置及び姿勢と特徴点の３次元位置とを算出するものである。但し、ＳｆＭ手法では、カメラ２０２と被写体との間の相対的な位置及びカメラ間の相対的な位置及び姿勢は推定可能であるが、撮像画像のみではスケール情報が得られないため、絶対的な位置を推定することができない。そこで、３次元位置が既知のマーカ等の絶対的な位置情報、あるいは被写体のサイズ情報等を付与することで、絶対的な位置を推定することができる。
合成情報算出部４０９は、入力される画像群Ｃに対して上記ＳｆＭ手法を使用し、合成情報として画像群Ｃの各撮像画像を撮像したときのカメラ２０２の位置及び姿勢をそれぞれ推定する。
尚、合成情報算出部４０９は、ＳｆＭ手法を使用する場合に限らず、例えば、ＳＬＡＭ手法を使用してもよい。ＳＬＡＭ手法では、入力画像の変化に応じて動的に更新される特徴点のセットを用いて、特徴点の位置とカメラ２０２の位置及び姿勢とを同時に推定することができる。ＳＬＡＭ手法の基本的な原理は、文献（Andrew J.Davison，“Real-Time Simultaneous Localization and Mapping with a Single Camera”，Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）に記載されている。
図８は、上述したようにＳｆＭの手法を使用して算出されたカメラ２０２の位置（位置情報）Ｐ１、カメラ２０２の姿勢（姿勢情報）Ｑ１、及び点群データの３次元位置Ｒを示す図であり、合成情報算出部４０９で算出される合成情報はこれらの情報を含む。
≪マッピング≫
次に、３次元設計データ取得部４０７により、橋梁Ｂの３次元設計データＤが取得される（ステップＳ１３：図４）。図９は、橋梁Ｂの３次元設計データＤを示す図である。
その後、マッピング部４１１により、撮像画像Ｃ６において検出したひびわれ４２３が３次元設計データＤにマッピングされる（ステップＳ１４：図４）。ここで、３次元設計データＤに撮像画像がマッピングされたものが点検結果となる。
図１０は、点群データの３次元位置Ｒと３次元設計データＤとのレジストレーションに関して示す概念図である。ここでレジストレーションとは、点群データの３次元位置Ｒと３次元設計データＤと形状を一致させることをいう。
３次元設計データＤと点群データの３次元位置Ｒとは、同一座標系上に置かれる。そして、３次元設計データＤにおける平面４２１を基準にして、３次元設計データＤにおける平面４２１と点群データの３次元位置Ｒにおける対応する平面とが一致するように、点群データの３次元位置Ｒを並進補正、回転補正、及び／又は拡縮補正を行う。例えば、３次元設計データＤにおける平面４２１と点群データの３次元位置Ｒにおける平面４２１との差分を最小にするように最小二乗法で計算され、点群データの３次元位置Ｒに対して補正が行われる。このように、３次元設計データＤを基準に、点群データの３次元位置Ｒのレジストレーションが行われることにより、３次元設計データは点検管理毎に異なる３次元モデルとならないので、過去の点検結果と比較を容易に行えるようになる。なお、点群データの３次元位置Ｒに関して上述したようにマーカ等により絶対的な位置が推定されている場合には、点群データの３次元位置Ｒを基準としてもよい。
図１１は、マッピング部４１１により、ひびわれ４２３が３次元設計データＤの平面４２１にマッピングされることを示す図である。マッピング部４１１は、３次元設計データＤを基準に、点群データの３次元位置Ｒのレジストレーションが行われると、点群データの３次元位置Ｒの補正係数Ｗが算出する。マッピング部４１１は、その補正係数Ｗと、ＳｆＭ手法を使用して推定したカメラ２０２の位置Ｐ１及び姿勢Ｑ１から、上述のレジストレーション後のカメラ２０２の位置Ｐ２及び姿勢Ｑ２を算出する。そして、マッピング部４１１は、カメラ２０２の位置Ｐ２及び姿勢Ｑ２に基づいて、新たな行列式を算出し、ひびわれ４２３を３次元設計データＤの平面４２１にマッピングする。なお、カメラ２０２の位置Ｐ２及び姿勢Ｑ２で撮像されたひびわれ４２３のマッピングは、公知の技術が使用されるのでここでは説明を省略する。このように、３次元設計データＤの平面４２１に損傷４２３をマッピングすることにより、マッピングされた撮像画像が均一性を有し、マッピングされた画像の画質劣化が抑制される。また、３次元設計データＤの平面４２１に損傷４２３をマッピングすることにより、過去の点検結果（３次元設計データＤの平面４２１にマッピングされた過去の損傷）と比較することができる。
表示部３４０に、ひびわれ４２３が３次元設計データＤにマッピングされるのに伴い、ひびわれ４２３の損傷情報４３１である、損傷の種類である「ひびわれ」と損傷の程度「ランクＣ」が表示される。
図１２は、マッピング形態の変形例を示す図であり、撮像画像Ｃ６が３次元設計データＤの平面４２１にマッピングされることを示す図である。３次元設計データＤの平面４２１には、ひびわれ４２３だけでなく、画像群Ｃを構成する撮像画像をマッピングすることもできる。この場合、各撮像画像をマッピングし、マッピングした撮像画像上に検出したひびわれ４２３をマッピングする。なお、図１２では撮像画像Ｃ６のマッピングのみ示しているが、３次元設計データＤの平面４２１には、画像群Ｃがマッピングされる。画像群Ｃがマッピングされる場合には、図６で示したように短冊型の連続した撮像画像がマッピングされることになる。
以上で説明したように、本発明では、合成情報算出部で算出された合成情報に基づいて、取得した３次元設計データが示す構造物の表面に、検出した損傷をマッピングする。これにより、マッピングされた損傷の画質が劣化することが抑制され、且つ過去の点検結果との比較を簡単に行うことができる。
上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１ ：構造物管理システム
１００ ：移動体
１０８ ：移動体駆動部
１３０ ：移動体制御部
２０２ ：カメラ
２０４ ：撮像制御部
２３０ ：移動体入出力部
３００ ：構造物管理装置
３１０ ：装置入出力部
３２０ ：装置制御部
３３０ ：操作部
３４０ ：表示部
３５０ ：記録部
４０１ ：画像取得部
４０３ ：損傷検出部
４０５ ：損傷評価部
４０７ ：３次元設計データ取得部
４０９ ：合成情報算出部
４１１ ：マッピング部

Claims (15)

  1. カメラを搭載した移動体を移動させ、前記カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得する画像取得部と、
    前記画像群の各画像を解析して前記構造物の損傷を検出する損傷検出部と、
    前記構造物を示す３次元設計データを取得する３次元設計データ取得部と、
    前記画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、前記カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と前記点群データの３次元位置とを含む合成情報を算出する合成情報算出部と、
    前記合成情報算出部により算出された合成情報を使用して、前記取得した３次元設計データが示す前記構造物の表面を基準として、前記点群データの３次元位置を補正する補正係数を算出し、前記補正係数に基づいて前記検出した損傷をマッピングするマッピング部と、
    を備えた構造物管理装置。
  2. 前記マッピング部は、前記点群データの３次元位置を並進補正、回転補正、及び拡縮補正のうち少なくとも一つを行う前記補正係数を算出する請求項１に記載の構造物管理装置。
  3. 前記マッピング部は、前記合成情報算出部により算出された合成情報に基づいて、前記取得した３次元設計データが示す前記構造物の表面に前記画像群の各画像をマッピングし、前記マッピングした画像上に前記検出した損傷をマッピングする請求項１又は２に記載の構造物管理装置。
  4. 前記損傷検出部により検出された前記損傷の程度を評価する損傷評価部と、
    前記取得した３次元設計データ及び前記マッピングされた損傷を表示する表示部と、
    を備え、
    前記表示部は、前記マッピングされた損傷の位置に関連付けて、前記損傷評価部による損傷の評価結果を含む損傷情報を更に表示する請求項１から３のいずれか１項に記載の構造物管理装置。
  5. 前記損傷検出部により検出された前記損傷の程度を評価する損傷評価部と、
    前記３次元設計データを記録する記録部と、
    を備え、
    前記記録部は、前記マッピングされた損傷の位置情報と関連付けて前記損傷評価部による前記損傷の評価結果を含む損傷情報を記録する請求項１から４のいずれか１項に記載の構造物管理装置。
  6. 前記損傷情報は、前記損傷検出部により検出される損傷の種類、前記損傷評価部による損傷の程度を示すランク、及び損傷のサイズを含む請求項４又は５に記載の構造物管理装置。
  7. 前記合成情報算出部は、Structure from Motion手法又はSimultaneous Localization And Mapping手法により前記画像群の各画像を撮像したときの前記カメラのカメラ位置及びカメラ姿勢と前記点群データの３次元位置を算出する請求項１から６のいずれか１項に記載の構造物管理装置。
  8. 前記カメラを搭載した移動体と、
    前記移動体の移動及び前記カメラの撮像を制御し、前記カメラにより前記画像群を撮像
    させる移動体制御部と、を備え、
    前記画像取得部は、前記移動体に搭載された前記カメラにより撮像された前記画像群を
    取得する請求項１から７のいずれか１項に記載の構造物管理装置。
  9. 前記移動体は、飛行体である請求項８に記載の構造物管理装置。
  10. 画像取得部が、カメラを搭載した移動体を移動させ、前記カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得するステップと、
    損傷検出部が、前記画像群の各画像を解析して前記構造物の損傷を検出するステップと、
    ３次元設計データ取得部が、前記構造物を示す３次元設計データを取得するステップと、
    合成情報算出部が、前記画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、前記カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と前記点群データの３次元位置とを含む合成情報を算出するステップと、
    マッピング部が、前記算出された合成情報に基づいて、前記取得した３次元設計データが示す前記構造物の表面に、前記検出した損傷をマッピングするステップと、
    を含む構造物管理方法。
  11. 前記マッピングするステップは、前記点群データの３次元位置を並進補正、回転補正、及び拡縮補正のうち少なくとも一つを行う前記補正係数を算出する請求項１０に記載の構造物管理方法。
  12. 前記マッピングするステップは、前記合成情報に基づいて前記取得した３次元設計データが示す前記構造物の表面に前記画像群の各画像をマッピングし、前記マッピングした画像上に前記検出した損傷をマッピングする請求項１０又は１１に記載の構造物管理方法。
  13. 損傷評価部が、前記検出された前記損傷の程度を評価するステップと、
    表示部が、前記取得した３次元設計データ及び前記マッピングされた損傷を表示するステップと、を含み、
    前記表示するステップは、前記マッピングされた損傷の位置に関連付けて、前記損傷評価部による損傷の評価結果を含む損傷情報を更に表示する請求項１０から１２のいずれか１項に記載の構造物管理方法。
  14. カメラを搭載した移動体を移動させ、前記カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得する機能と、
    前記画像群の各画像を解析して前記構造物の損傷を検出する機能と、
    前記構造物を示す３次元設計データを取得する機能と、
    前記画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、前記カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と前記点群データの３次元位置とを含む合成情報を算出する機能と、
    前記算出された合成情報を使用して、前記取得した３次元設計データが示す前記構造物の表面を基準として、前記点群データの３次元位置を補正する補正係数を算出し、前記補正係数に基づいて前記検出した損傷をマッピングする機能と、
    をコンピュータに実行させる構造物管理プログラム。
  15. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    カメラを搭載した移動体を移動させ、前記カメラにより構造物をオーバーラップ領域をもって撮像された画像群を取得する機能と、
    前記画像群の各画像を解析して前記構造物の損傷を検出する機能と、
    前記構造物を示す３次元設計データを取得する機能と、
    前記画像群の各画像間のオーバーラップ領域内で共通する特徴点の点群データを追跡し、前記カメラの各画像の撮像時のカメラ位置及びカメラ姿勢と前記点群データの３次元位置とを含む合成情報を算出する機能と、
    前記算出された合成情報を使用して、前記取得した３次元設計データが示す前記構造物の表面を基準として、前記点群データの３次元位置を補正する補正係数を算出し、前記補正係数に基づいて前記検出した損傷をマッピングする機能と、
    を含む構造物管理機能をコンピュータに実現させる記録媒体。
JP2020513211A 2018-04-11 2019-04-02 構造物管理装置、構造物管理方法、及び構造物管理プログラム Active JP6970817B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018076130 2018-04-11
JP2018076130 2018-04-11
PCT/JP2019/014596 WO2019198562A1 (ja) 2018-04-11 2019-04-02 構造物管理装置、構造物管理方法、及び構造物管理プログラム

Publications (2)

Publication Number Publication Date
JPWO2019198562A1 JPWO2019198562A1 (ja) 2021-04-30
JP6970817B2 true JP6970817B2 (ja) 2021-11-24

Family

ID=68163691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020513211A Active JP6970817B2 (ja) 2018-04-11 2019-04-02 構造物管理装置、構造物管理方法、及び構造物管理プログラム

Country Status (3)

Country Link
US (1) US11915411B2 (ja)
JP (1) JP6970817B2 (ja)
WO (1) WO2019198562A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021117558A1 (ja) * 2019-12-09 2021-06-17 富士フイルム株式会社 画像処理方法、画像処理装置、画像処理プログラム、及び画像処理システム
CN115176281A (zh) * 2020-03-03 2022-10-11 富士胶片株式会社 三维显示装置、方法及程序
JPWO2022070734A1 (ja) * 2020-10-02 2022-04-07
JPWO2022259383A1 (ja) * 2021-06-08 2022-12-15

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4540329B2 (ja) * 2003-07-11 2010-09-08 オリンパス株式会社 情報呈示装置
KR20060030902A (ko) 2003-07-11 2006-04-11 올림푸스 가부시키가이샤 정보 제시 장치 및 그것을 이용한 정보 제시 시스템
JP2005310044A (ja) * 2004-04-26 2005-11-04 Constec Engi Co データ処理装置、データ処理方法、及びデータ処理プログラム
JP5593177B2 (ja) * 2010-09-14 2014-09-17 株式会社トプコン 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
US9639959B2 (en) * 2012-01-26 2017-05-02 Qualcomm Incorporated Mobile device configured to compute 3D models based on motion sensor data
JP6029475B2 (ja) * 2013-01-10 2016-11-24 株式会社竹中工務店 壁面診断結果記録システム、壁面診断結果記録方法、及び壁面診断結果記録プログラム
US20160148363A1 (en) * 2013-03-14 2016-05-26 Essess, Inc. Methods and systems for structural analysis
JP6080641B2 (ja) * 2013-03-25 2017-02-15 株式会社ジオ技術研究所 ３次元点群解析方法
JP2015114954A (ja) 2013-12-13 2015-06-22 株式会社ジオ技術研究所 撮影画像解析方法
JP2016126769A (ja) * 2014-12-26 2016-07-11 古河機械金属株式会社 検査結果出力装置、検査結果出力方法、及び、プログラム
JPWO2016157349A1 (ja) * 2015-03-30 2017-07-13 株式会社日立製作所 形状計測方法およびその装置
US9613538B1 (en) * 2015-12-31 2017-04-04 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
WO2017116860A1 (en) * 2015-12-31 2017-07-06 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
JP2017130049A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2017151026A (ja) * 2016-02-26 2017-08-31 東急建設株式会社 三次元情報取得装置、三次元情報取得方法、及びプログラム
JP6733267B2 (ja) * 2016-03-31 2020-07-29 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP2017227595A (ja) 2016-06-24 2017-12-28 富士フイルム株式会社 損傷図作成支援システム及び損傷図作成支援方法
WO2017221706A1 (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 損傷図編集装置及び損傷図編集方法
EP3273266A1 (en) * 2016-07-21 2018-01-24 Grupo Empresarial Copisa, S.L. A system and a method for surface aerial inspection
US9805261B1 (en) * 2017-02-27 2017-10-31 Loveland Innovations, LLC Systems and methods for surface and subsurface damage assessments, patch scans, and visualization
WO2020202496A1 (ja) * 2019-04-03 2020-10-08 日本電気株式会社 表面異常検知装置、及びシステム

Also Published As

Publication number Publication date
WO2019198562A1 (ja) 2019-10-17
JPWO2019198562A1 (ja) 2021-04-30
US11915411B2 (en) 2024-02-27
US20210018447A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
JP6970817B2 (ja) 構造物管理装置、構造物管理方法、及び構造物管理プログラム
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
US9235928B2 (en) 3D body modeling, from a single or multiple 3D cameras, in the presence of motion
RU2609434C2 (ru) Выявление расположения и местоположения объектов
JP5430456B2 (ja) 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
EP3605456B1 (en) Image processing device and image processing method
Herráez et al. 3D modeling by means of videogrammetry and laser scanners for reverse engineering
JP6324025B2 (ja) 情報処理装置、情報処理方法
JP6877293B2 (ja) 位置情報記録方法および装置
Mader et al. UAV-based acquisition of 3D point cloud–a comparison of a low-cost laser scanner and SFM-tools
US20230080178A1 (en) Automated assessment of cracks using lidar and camera data
JP5439277B2 (ja) 位置姿勢計測装置及び位置姿勢計測プログラム
JP4568845B2 (ja) 変化領域認識装置
US20220405878A1 (en) Image processing apparatus, image processing method, and image processing program
Guo et al. 3D scanning of live pigs system and its application in body measurements
Ioli et al. UAV photogrammetry for metric evaluation of concrete bridge cracks
JPWO2008032375A1 (ja) 画像補正装置及び方法、並びにコンピュータプログラム
Feng et al. Crack assessment using multi-sensor fusion simultaneous localization and mapping (SLAM) and image super-resolution for bridge inspection
JP6228239B2 (ja) プリミティブの組を用いてデータをレジストレーションする方法
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
WO2023133125A1 (en) System and method for mapping the skin
JP7447238B2 (ja) 画像表示装置、画像表示方法、及びプログラム
JP2014112056A (ja) 被写体形状の３次元計測方法およびシステム
JP2006172099A (ja) 変化領域認識装置および変化認識システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211029

R150 Certificate of patent or registration of utility model

Ref document number: 6970817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150