JP7215568B2 - 表面異常検知装置、及びシステム - Google Patents

表面異常検知装置、及びシステム Download PDF

Info

Publication number
JP7215568B2
JP7215568B2 JP2021511852A JP2021511852A JP7215568B2 JP 7215568 B2 JP7215568 B2 JP 7215568B2 JP 2021511852 A JP2021511852 A JP 2021511852A JP 2021511852 A JP2021511852 A JP 2021511852A JP 7215568 B2 JP7215568 B2 JP 7215568B2
Authority
JP
Japan
Prior art keywords
point
detection device
points
abnormality detection
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021511852A
Other languages
English (en)
Other versions
JPWO2020202496A1 (ja
Inventor
善将 小野
聡 辻
栄実 野口
淳一 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020202496A1 publication Critical patent/JPWO2020202496A1/ja
Application granted granted Critical
Publication of JP7215568B2 publication Critical patent/JP7215568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/303Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/8861Determining coordinates of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Description

本開示は、表面異常検知装置、及びシステムに関するものであり、特に、構造物表面の異常箇所を検知する際に、測距精度以下の変位を有する異常箇所を検出することが可能な表面異常検知装置、及びシステムに関する。
複雑な施設内の設備において、錆や塗装の剥がれといった構造物の表面上に現れる劣化箇所は、近い将来に故障する可能性が高い。このような表面の異常箇所の特定は、現在目視による判断に頼ることが多く、見落としや主観に頼った判定、更には点検者派遣の工数といった点から、異常箇所を自動的に特定するシステムの重要性が上がっている。レーザ測距装置は周囲の物体の3次元構造を取得可能な装置であり、3次元の物体点の情報に加えてレーザ光の受光輝度を測定する機能を有していることが多い。一般的に受光輝度、すなわち、物体からの反射輝度は、レーザの照射された物体表面の状態に依存する。そのため、レーザ測距装置で取得した受光輝度情報の処理を通じて、錆や塗装の剥がれ等の表面の異常箇所を検知可能となる。以降、本開示ではレーザ測距装置で取得した受光輝度を「反射輝度」と表記する。
特許文献1には、最小曲率方向推定部により、領域の各々について、最小曲率方向を推定し、自己相関値算出部により、領域の各々について、部分領域の特徴量の自己相関値を算出し、スイープ形状候補領域判定部により、自己相関値が、閾値より大きい値である領域の各々を、スイープ形状候補領域と判定し、領域統合処理部により、スイープ形状候補領域であると判定された領域を統合し、スイープ形状判定部により、統合領域がスイープ形状であるか否かを判定することが開示されている。
非特許文献1では、点群の位置情報を元に観測対象表面の粗さを測定していた。表面の粗さは局所的に平均的な曲面を算出した上で、その平面からの点群の変位をラフネスとして算出できる。非特許文献1では航空機の距離測定装置から観測した地表面のラフネス値を、cm(センチメートル)程度の精度で測定していた。
非特許文献2及び非特許文献3では、点群の反射輝度の情報に着目して、測定対象の認識及び材質の判定を試みていた。取得した点群の反射輝度に対し、レーダ方程式や双方向反射率分布関数によるモデルを仮定することで、レーザ測距装置にて取得した反射輝度を補正する手法をとっていた。
特開2016-118502号公報 R. Turner, et. al, "Estimation of soil surface roughness of agricultural soils using airborne LiDAR", Remote Sens. Envrion. 2014, 140, 107-117, (2014) S. Kaasalainen,et. al, "Radiometric Calibration of LIDAR Intensity With Commercially Available Reference Targets", IEEE Transactions on Geoscience and Remote Sensing, vol. 47, pp. 588-598,(2009) X. Li and Y. Liang, "Remote measurement of surface roughness, surface reflectance, and body reflectance with LiDAR", Appl. Opt. 54(30), 8904-8912, (2015)
特許文献1は、構造物表面の異常箇所を検出することは開示していない。また、非特許文献1の手法では、レーザ測距装置の測距精度以下の粗さを検知することはできない。錆や塗装の剥がれといった表面の劣化は概ね1mm(ミリメートル)を下回る変位であり、現在広く利用されているレーザ測距装置の精度よりも細かい。そのため、点群の位置情報を元にしたラフネスにより、これらの表面の異常箇所を特定することは困難である。また、上述の非特許文献2及び非特許文献3の手法では、複雑な構造を持つ設備を入り乱れた施設において、設備表面の異常を特定することは困難である。このような施設では、設備表面ごとにレーザ光の吸収特性や反射の異方性は異なるため、反射輝度のみの情報で異常箇所を判定することは困難である。例えば、反射輝度に対して一律の閾値を元に異常箇所を判定した場合、使用したレーザ光の吸収波長の強い表面素材全てが異常箇所と判定される。また、施設内の設備全ての表面に対して反射及び吸収特性をモデル化することは、現実的な手法では無い。
本開示の目的は、上述した課題のいずれかを解決する表面異常検知装置、システム及び方法を提供することにある。
本開示に係る表面異常検知装置は、
測定対象の表面の複数の点における位置情報に基づいて前記測定対象を同一構造物を含む1つ以上のクラスタに分類する分類手段と、
前記クラスタの表面の複数の点における反射輝度値の分布に基づいて前記クラスタの反射輝度正常値を決定する決定手段と、
前記反射輝度正常値と前記クラスタの表面の複数の点のそれぞれの前記反射輝度値との差に基づいて前記クラスタの表面の異常箇所を特定する特定手段と、
を備える。
本開示に係る表面異常検知装置は、
第1観測点の位置情報と、第1点群データに含まれる位置情報であって測定対象の表面の複数の測距点の前記位置情報と、に基づいて前記複数の測距点毎にレーザの第1入射角度を算出する第1算出手段と、
第2観測点の位置情報と、第2点群データに含まれる前記複数の測距点の位置情報と、に基づいて前記複数の測距点毎にレーザの第2入射角度を算出する第2算出手段と、
前記第1点群データの前記複数の測距点の位置情報と、前記第2点群データの前記複数の測距点の位置情報と、に基づいて前記複数の測距点毎に位置を合わせるように調整する位置制御手段と、
前記位置調整後の前記第1点群データの前記複数の測距点における第1反射輝度値と、前記位置調整後の前記第2点群データの前記複数の測距点における第2反射輝度値と、の差である反射輝度差分値を前記複数の測距点毎に算出する輝度差算出手段と、
前記位置調整後の前記第1点群データの前記複数の測距点における前記第1入射角度と、前記位置調整後の前記第2点群データの前記複数の測距点における前記第2入射角度と、の差である入射角度差を前記複数の測距点毎に算出し、前記入射角度差に基づいて前記反射輝度差分値を前記複数の測距点毎に補正する補正手段と、
前記補正後の反射輝度差分値に基づいて前記測定対象の異常箇所を特定する特定手段と、
を備える。
本開示に係る表面異常検知装置は、
評価用群データに含まれる位置情報であって測定対象の表面の複数の測距点の前記位置情報と、比較用群データに含まれる前記複数の測距点の位置情報と、に基づいて前記複数の測距点毎に位置を合せるように調整する位置制御手段と、
前記位置調整後の前記評価用群データの前記複数の測距点における評価用反射輝度値と、前記位置調整後の前記比較用群データの前記複数の測距点における比較用反射輝度値と、の差である反射輝度差分値を前記複数の測距点毎に算出する輝度差算出手段と、
前記反射輝度差分値に基づいて前記測定対象の異常箇所を特定する特定手段と、
を備える。
本開示に係る表面異常検知装置は、
評価用群データに含まれる測定対象の表面の複数の測距点における位置情報に基づいて前記測定対象を同一構造物を含む1つ以上のクラスタに分類する評価用分類手段と、
比較用群データに含まれる前記複数の測距点における位置情報に基づいて前記測定対象を同一構造物を含む1つ以上のクラスタに分類する比較用分類手段と、
前記比較用群データのクラスタの前記複数の測距点における反射輝度値の分布に基づいて前記比較用群データのクラスタ毎に反射輝度正常値を決定する比較用決定手段と、
前記評価用群データのクラスタの前記複数の測距点の位置情報と、前記比較用群データのクラスタの前記複数の測距点の位置情報と、に基づいて、前記評価用群データのクラスタに対して、同一構造物であると認識する前記比較用群データのクラスタを対応付ける制御手段と、
前記評価用群データのクラスタの前記複数の測距点における反射輝度値と、前記評価用群データのクラスタに対応する前記比較用群データのクラスタの前記反射輝度正常値と、差である反射輝度正常差分値を算出する算出手段と、
前記反射輝度正常差分値に基づいて前記測定対象の表面の異常箇所をクラスタ毎に特定する特定手段と、
を備える。
本開示に係るシステムは、
測定装置と、表面異常検知装置と、を備え、
前記測定装置は、
測定対象の表面の複数の点における反射輝度値を取得し、
前記表面異常検知装置は、
前記測定対象の表面の複数の点における位置情報に基づいて前記測定対象を同一構造物を含む1つ以上のクラスタに分類する分類手段と、
前記クラスタの表面の複数の点における反射輝度値の分布に基づいて前記クラスタの反射輝度正常値を決定する決定手段と、
前記反射輝度正常値と前記クラスタの表面の複数の点のそれぞれの前記反射輝度値との差に基づいて前記クラスタの表面の異常箇所を特定する特定手段と、を有する。
本開示によれば、構造物表面の異常箇所を検知する際に、測距精度以下の変位を有する異常箇所を検出することが可能な表面異常検知装置、及びシステムを提供することができる。
実施の形態1に係る表面異常検知装置を例示するブロック図である。 実施の形態1に係るシステムを例示するブロック図である。 実施の形態1に係る測定対象の同一構造物への分類を例示する図である。 実施の形態1に係る分類された構造物のうち異常箇所を例示する図である。 実施の形態1に係る表面異常検知装置の動作を例示するフローチャートである。 実施の形態2に係る表面異常検知装置の動作を例示するフローチャートである。 実施の形態3に係るレーザ入射角度を例示する図である。 実施の形態3に係る表面異常検知装置の動作を例示するフローチャートである。 実施の形態4に係るレーザ入射角度に基づく、クラスタの更なる分類(分離)を例示する図である。 実施の形態4に係る表面異常検知装置の動作を例示するフローチャートである。 実施の形態5に係る表面異常検知装置の動作を例示するフローチャートである。 実施の形態6に係る表面異常検知装置の動作を例示するフローチャートである。 実施の形態7に係る距離測定装置と測定対象とを例示する図である。 実施の形態7に係る表面異常検知装置を例示するブロック図である。 実施の形態7に係る表面異常検知装置の動作を例示するフローチャートである。 実施の形態8に係る表面異常検知装置を例示するブロック図である。 実施の形態8に係る表面異常検知装置の動作を例示するフローチャートである。
以下、図面を参照して本発明の実施の形態について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明を省略する。
[実施の形態1]
実施の形態1に係る表面異常検知装置とシステムの概要を説明する。
図1は、実施の形態1に係る表面異常検知装置を例示するブロック図である。
図2は、実施の形態1に係るシステムを例示するブロック図である。
図1に示すように、実施の形態1に係る表面異常検知装置11は、分類手段111と、決定手段112と、特定手段113と、を備える。
分類手段111は、測定対象の表面の複数の点における位置情報に基づいて測定対象を同一構造物を含むクラスタに分類する。位置情報は、例えば、3次元座標における位置情報として示すことができる。
決定手段112は、クラスタの表面の複数の点における反射輝度値の分布に基づいてクラスタの反射輝度正常値を決定する。決定手段112は、分類されたクラスタが複数存在する場合、複数のクラスタ毎に反射輝度正常値を決定する。
特定手段113は、反射輝度正常値とクラスタの表面の複数の点のそれぞれの反射輝度値との差に基づいてクラスタの表面の異常箇所を特定する。特定手段113は、分類されたクラスタが複数存在する場合、複数のクラスタ毎に表面の異常箇所を特定する。
測定対象の表面の複数の点における位置情報と、その位置における反射輝度値と、を含むデータを、測定対象の点群データと称する。クラスタの表面の複数の点における位置情報と、その位置における反射輝度値と、を含むデータを、クラスタの点群データと称する。尚、クラスタについては後述する。
図2に示すように、実施の形態1に係るシステム10は、距離測定装置12と表面異常検知装置11とを備える。距離測定装置を、測定装置と称することもある。
距離測定装置12は、レーザ測距装置等を有し、測定対象を含む周囲の物体の3次元形状データを取得する。表面異常検知装置11は、距離測定装置12から3次元形状データを取得し、取得した3次元形状データから表面状態の異常箇所を特定する。
以降の実施の形態の説明では、距離測定装置12(レーザ測距装置)が取得する3次元形状データは、物体(測定対象)の表面の複数の点の3次元座標における位置情報及び該位置における反射輝度の情報(反射輝度値)を含む「3次元点群データ」として取得するものとする。そして、実施の形態の説明では、「3次元点群データ」に対する処理を説明するが、これには限定されない。実施の形態は、3次元座標を特定可能な空間情報とその座標(位置)における反射輝度を含む点群データであれば、適用可能である。尚、3次元点群データを、3次元データ、又は点群データと称することもある。また、測定対象の表面の複数の点のことを、点群と称することもある。
ここで、測定対象の同一構造物への分類と異常箇所の決定の概要を説明する。
図3は、実施の形態1に係る測定対象の同一構造物への分類を例示する図である。
図4は、実施の形態1に係る分類された構造物のうち異常箇所を例示する図である。
図3に示す点群PC10は、測定対象の表面の点群を示す。距離測定装置12は、点群PC10における3次元座標の位置情報及び反射輝度を含む点群データを取得する。すなわち、距離測定装置12にて取得した点群データは、3次元座標の位置情報及び反射輝度を含む点の集合として、点群PC10のように表せる。点群PC10内には塗料等により表面状態の異なる構造物が複数存在するため、統一的な反射輝度値により表面の異常箇所を決定(判定)することは難しい。
そこで、実施の形態1に係る表面異常検知装置11は、同一構造物を構成する点群を、3次元座標の位置情報に基づいたクラスタリング処理によりクラスタに分離し分類する。図3に示す点群PC11は、クラスタリング処理後のクラスタ一部を示す。点群PC11のクラスタC101とクラスタC102は、別の構造物と決定され分類された点群である。尚、クラスタリングのアルゴリズムとしては、例えば、ユークリッド距離を閾値として同一クラスタを決定する方法や、近傍点間の垂線の角度の連続性を元に同一クラスタを決定する領域成長法が挙げられる。
図4に示す点群PC12は、クラスタC102のうち反射輝度値が所定の閾値を下回る点群が多いクラスタである部分クラスタC102pを示す。部分クラスタC102pは、他と比べて反射輝度が弱い点群が多い。尚、クラスタC102以外の点群は、簡単の為、表示しない。
図4に示す反射輝度分布G11は、クラスタC102に対応する点群の反射輝度値をヒストグラムで表示したものである。クラスタC102において、例えば、錆により表面の荒れた箇所(異常箇所)は、反射輝度が他の部分と比べて低い。
このような異常箇所を決定する一例として、塗料の残っている箇所のヒストグラムに対して近似曲線L101を算出し、近似曲線L101から外れた反射輝度を有する点群を、異常な表面を持つ点群と決定する方法が有る。この決定方法により、正常な反射輝度値を持つヒストグラムH101と、異常な反射輝度を持つヒストグラムH102と、に分離できる。ヒストグラムH102に対応する点群を異常箇所と認識することで、構造物の異常箇所を決定できる。
実施の形態1に係る表面異常検知装置の動作を説明する。
図5は、実施の形態1に係る表面異常検知装置の動作を例示するフローチャートである。
図5に示すように、表面異常検知装置11は、3次元点群データを取得する(ステップS101)。
表面異常検知装置11は、3次元点群データの位置情報に基づき、クラスタリング処理を行い、3次元点群データを、同一構造物を有する点群、すなわち、クラスタに分類する(ステップS102)。
表面異常検知装置11は、同一構造物に分類された点群(クラスタ)の反射輝度の正常値を、点群の反射輝度分布に基づき決定する(ステップS103)。同一構造物に分類された点群が複数存在する場合、反射輝度の正常値は、複数の点群毎に決定される。反射輝度の正常値を、反射輝度正常値と称する。
表面異常検知装置11は、点群の反射輝度値がステップS103にて決定した反射輝度正常値からの乖離が閾値を上回る場合(ステップS104:YES)、その点群を表面の異常箇所と決定する(ステップS105)。すなわち、表面異常検知装置11は、点群(クラスタ)の表面の複数の点のうち、点群の反射輝度値と、点群の反射輝度正常値と、の差が閾値を上回る場合、該上回る点群(又は点)を異常箇所と決定する。
表面異常検知装置11は、点群の反射輝度値がステップS103にて決定した反射輝度正常値からの乖離が閾値を下回る場合(ステップS104:NO)、その点群を表面の正常箇所と決定する(ステップS106)。すなわち、表面異常検知装置11は、点群(クラスタ)の表面の複数の点のうち、点群の反射輝度値と、点群の反射輝度正常値と、の差が閾値を下回る場合、該下回る点群(又は点)を正常箇所と決定する。
このように、実施の形態1の表面異常検知装置11は、反射輝度を含む3次元点群データから、表面の異常箇所を特定することができる。これにより、距離測定装置12の測距精度よりも細かい表面の粗さに対して異常箇所の特定ができ、誤検出を低減することができる。更に、構造物単位で反射輝度の異常箇所を特定することで、表面の状態の異なる構造物に対して異常箇所の特定ができる。
その結果、構造物表面の異常箇所を検知する際に、測距精度以下の変位を有する異常箇所を検出することが可能な表面異常検知装置、及びシステムを提供することができる。
[実施の形態2]
実施の形態2に係る表面異常検知装置21は、点群と観測点との間の距離に従って反射輝度は減衰するが、その減衰を、点群の反射輝度に対して補正する点が、実施の形態1に係る表面異常検知装置11と比べて異なる。
構造物(測定対象)の一部が観測点から見て奥行き方向に広がっている場合、構造物表面の近傍の点群と遠方の点群とでは光の伝搬距離が変化する。これに伴って光の吸収や光の拡散による減衰が起こるので、反射輝度が変化する。そこで、表面異常検知装置21は、表面異常検知装置11と比べて、点群と観測点との間の距離に応じた反射輝度の補正を追加する。これにより、表面異常検知装置21は、表面異常検知装置11と比べて、より高精度に異常箇所を特定することができる。
実施の形態2に係る表面異常検知装置21の動作を説明する。
図6は、実施の形態2に係る表面異常検知装置の動作を例示するフローチャートである。
図6に示すように、ステップS101からステップS102まで、実施の形態1と同様に行う。ステップS102の後、表面異常検知装置21は、観測点から点群までの距離に基づき各点群の反射輝度値の補正を行う(ステップS201)。すなわち、反射輝度値は、観測点である表面異常検知装置21とクラスタの表面の点(点群)との間の距離による減衰量に基づいて補正される。反射輝度値は、観測点である表面異常検知装置21とクラスタの表面の点(点群)との間の距離に基づく減衰量を補正した値である。補正は、例えば、レーダ方程式に倣って距離の4乗による減衰補正を掛けることで反射輝度の補正をしてもよい。また、補正は、例えば、伝搬媒質による吸収に基づく推定値を用いて反射輝度の補正をしてもよい。
ステップS201の後、ステップS103からステップS106までは、実施の形態1と同様に行う。
尚、この例では、ステップS102とステップS103との間に、ステップS201が行われるものとして説明したが、これには限定されない。ステップS201をステップS103よりも前に行うという要件を満たせば、処理の順序は問わない。
このように、実施の形態2に係る表面異常検知装置21は、実施の形態1に係る表面異常検知装置11と比べて、特に奥行き方向に広く伸びる構造物に対して、構造物の表面の異常箇所をより高精度に特定することができる。
[実施の形態3]
図7は、実施の形態3に係るレーザ入射角度を例示する図である。
実施の形態3に係る表面異常検知装置31は、実施の形態1に係る表面異常検知装置11と比べて、各点のレーザ入射角度に対する反射輝度の補正を追加している点が異なる。
構造物の表面からのレーザの反射光は、その表面の性質に応じて反射輝度の角度依存性が変化する。レーザ反射光の反射輝度の角度依存性は、構造物の表面の性質に応じて変化する。このため、構造物の表面が湾曲している場合、反射輝度を補正することで、構造物の表面の異常箇所をより高精度に特定することができる。
図7に示す点群PC32は、点群PC31における3次元領域R31の点群を拡大した模式図である。点群PC31として、円筒状の配管の点群を例に挙げて説明する。
図7に示すように、測距点P301におけるレーザ入射角度A301は、測距点P301と観測点(表面異常検知装置31)とを結んだレーザ入射方向B301と、測距点P301における垂線N301と、の成す角として算出される。垂線N301の算出は、測距点P301の周囲の測距点群を利用して算出する。
実施の形態3に係る表面異常検知装置31の動作を説明する。
図8は、実施の形態3に係る表面異常検知装置の動作を例示するフローチャートである。
図8に示すように、ステップS101からステップS102まで、実施の形態1と同様に行う。ステップS102の後、表面異常検知装置31は、各点におけるレーザ入射方向と各点における垂線N301とに基づいてレーザ入射角度A301を算出(推定)する(ステップS301)。垂線N301の算出に際しては、測距点P301の誤差による垂線N301の分散を低減するため、点群の位置の平滑化を行っても良い。
表面異常検知装置11は、レーザ入射角度A301に基づき、各点(測距点)における反射輝度値を(減衰)補正する(ステップS302)。反射輝度値の補正に際しては、構造物の双方向反射率分布関数によるモデル化、ランバート反射を仮定したシンプルなモデル化の他、既知の反射率の特性を当てはめて補正を行っても良い。
ステップS302の後、ステップS103からステップS106までは、実施の形態1と同様に行う。
尚、この例では、ステップS301とステップS302は、ステップS102とステップS103との間に行われるものとして説明したが、これには限定されない。ステップS301とステップS302を、ステップS103よりも前に行うという要件を満たせば、処理の順序は問わない。
このように、実施の形態3に係る表面異常検知装置31は、実施の形態1に係る表面異常検知装置11と比べて、特に湾曲する構造物に対して、表面の異常箇所をより高精度に特定することができる。
[実施の形態4]
図9は、実施の形態4に係るレーザ入射角度に基づく、クラスタの更なる分類(分離)を例示する図である。
図9に示す点群PC41は、円筒状の配管の点群である。
実施の形態4に係る表面異常検知装置41は、クラスタ内の点群を、更に同一レーザ入射角度を有する点群に分離して異常箇所を特定する。
実施の形態4では、点群PC41として、円筒状の配管の点群を例に挙げて説明する。
図9に示すように、実施の形態4に係る表面異常検知装置41は、レーザ入射角度に応じてクラスタをサブクラスタにさらに分類(分離)する。例えば、クラスタをさらに分類したサブクラスタSC401はレーザ入射角度の広い点群を含むものであり、サブクラスタSC402は、サブクラスタSC401の次にレーザ入射角度の広い点群を含むものである。また、図9に示す反射輝度分布G41は、サブクラスタSC401における反射輝度値のヒストグラムを示す。図9に示す反射輝度分布G42は、サブクラスタSC402における反射輝度値のヒストグラムを示す。
実施の形態4に係る表面異常検知装置41は、実施の形態1に係る表面異常検知装置11と同様に、反射輝度の異常値を反射輝度分布G41と反射輝度分布G42のそれぞれで抽出する。すなわち、表面異常検知装置41は、点群の反射輝度値と反射輝度正常値との差が閾値を上回り、異常箇所と判定された点群を反射輝度分布G41及び反射輝度分布G42のそれぞれから抽出する。これにより、反射輝度が異常値となるヒストグラムH422を特定することができる。
具体的には、反射輝度分布G41及び反射輝度分布G42のそれぞれに対して、正常値を有する反射輝度分布をそれぞれ近似曲線L411及び近似曲線L421として算出する。近似曲線L411及び近似曲線L421を算出することにより、反射輝度値が正常値となるヒストグラムH411及びヒストグラムH421を、特定する。
実施の形態4に係る表面異常検知装置41の動作を説明する。
図10は、実施の形態4に係る表面異常検知装置の動作を例示するフローチャートである。
図10に示すように、ステップS101からステップS102まで、実施の形態1と同様に行う。ステップS102の後、ステップS301を、実施の形態3と同様に行う。ステップS301の後、表面異常検知装置41は、同一構造物と分類された点群(クラスタ)を、レーザ入射角度の値に応じてサブクラスタに更に分類する(ステップS404)。表面異常検知装置41は、例えば、クラスタの点群におけるレーザ入射角度の角度範囲毎に、クラスタをサブクラスタに更に分類する。複数の点群が有る場合、各点群を、レーザ入射角度の値に応じて更に分類する。
点群の更なる分類は、レーザ入射角度の値に対して、固定幅で分類しても良い。また、点群の更なる分類は、レーザ入射角度の値に対して、反射モデルや点群の点数に応じて可変する幅で分類しても良い。
表面異常検知装置11は、同一クラスタ(同一構造物)、且つ、同一レーザ入射角度と分類された点群(サブクラスタ)における反射輝度の正常値を、点群の反射輝度分布に基づきそれぞれ決定する(ステップS402)。
ステップS402の後、ステップS103からステップS106までは、実施の形態1と同様に行う。
最終的に、表面異常検知装置11は、更に分類された点群(サブクラスタ)の反射輝度正常値と、分類された点群(サブクラスタ)の表面の複数の点のそれぞれの反射輝度値と、差に基づいて、分類された点群(サブクラスタ)の表面の異常箇所を特定する。
尚、この例では、ステップS301は、ステップS102とステップS401の間に行われるものとして説明したが、これには限定されない。ステップS301をステップS404よりも前に行うという要件を満たせば、処理の順序は問わない。
このように、実施の形態4に係る表面異常検知装置41は、反射輝度を有する3次元の点群データから、特に湾曲する構造物に対してレーザ入射角度を用いた反射輝度の補正が困難な場合において、表面の異常箇所をより高精度に特定することができる。
実施の形態4に係る表面異常検知装置41は、実施の形態3に係る表面異常検知装置11と比べて、表面の異常箇所をより高精度に特定することができる。
[実施の形態5]
実施の形態5に係る表面異常検知装置51は、反射輝度による表面異常箇所の特定に加え、RGB(Red Green Blue)値を元に判定した表面異常箇所の特定も利用し、より高度な表面異常箇所の決定をすることができる。
実施の形態5に係る表面異常検知装置51の動作を説明する。
図11は、実施の形態5に係る表面異常検知装置の動作を例示するフローチャートである。
図11に示すように、表面異常検知装置51は、RGB情報を含む3次元点群データを取得する(ステップS501)。
表面異常検知装置51は、3次元点群データの位置情報に基づき、クラスタリング処理を行い、3次元点群データを、同一構造物を有する点群、すなわち、クラスタに分類する(ステップS502)。
表面異常検知装置51は、同一構造物と分類された点群(クラスタ)において、反射輝度値が異常値となる異常箇所を、点群の反射輝度分布に基づき決定(判定)する(ステップS503)。複数の点群が有る場合、点群毎に反射輝度値の異常箇所を決定する。
表面異常検知装置51は、同一構造物と分類された点群において、RGB値の異常箇所を、点群のRGB値に基づき決定する(ステップS504)。複数の点群が有る場合、点群毎にRGB値の異常箇所を決定する。RGB値の異常箇所の決定は、グレースケールに変換した上で、ステップS503と同様の手順により決定しても良い。
すなわち、表面異常検知装置51は、点群(クラスタ)の表面の複数の点におけるRGB値の分布に基づいてクラスタのRGB正常値を決定する。そして、表面異常検知装置51は、RGB正常値とクラスタの表面の複数の点のそれぞれのRGB値との差に基づいてクラスタの表面の異常箇所を特定する。
表面異常検知装置51は、反射輝度により決定された異常箇所と、RGB値により決定された異常箇所と、に基づいて所望の異常箇所を特定する(ステップS505)。
ステップS505においては、反射輝度により決定された異常箇所と、RGB値により決定された異常箇所と、を相補的に利用してもよい。
反射輝度値とRGB値による検知の違いとして、例えば、錆汁が挙げられる。錆汁はRGB値では異常箇所と決定されるが、反射輝度値では異常箇所と判定されないので、流出源を特定することができる。この情報を利用して、本来の劣化箇所である流出源の発生しやすい箇所や、錆汁の流出経路を特定できるので、異常の程度に合わせた適切な修繕方法の選択及び判断が可能である。
このように、実施の形態5に係る表面異常検知装置51は、反射輝度値及びRGB値を有する3次元点群データから、より高度な表面異常箇所の決定をすることができる。
[実施の形態6]
実施の形態6に係る表面異常検知装置61は、反射輝度値による表面異常箇所の特定に加え、ラフネスを元に決定した表面異常箇所の特定も利用し、表面異常箇所を決定(特定)する精度をさらに向上することができる。
空間的な表面の粗さを示すラフネスは、例えば、平滑化した面からの点群の変位として算出することができる。ラフネスを元に表面異常箇所を特定することにより、距離測定装置12の精度よりも粗い表面の異常を特定することができる。そして、反射輝度の異常箇所とラフネスの異常箇所を使用することで、相補的に表面の異常箇所を特定できる。
実施の形態6に係る表面異常検知装置61の動作を説明する。
図12は、実施の形態6に係る表面異常検知装置の動作を例示するフローチャートである。
図12に示すように、表面異常検知装置61は、3次元点群データを取得する(ステップS601)。
表面異常検知装置61は、3次元点群データの位置情報に基づき、クラスタリング処理を行い、3次元点群データを、同一構造物を有する点群、すなわち、クラスタに分類する(ステップS602)。
表面異常検知装置61は、各点のラフネス値を周囲の点群に基づき算出する(ステップS603)。すなわち、表面異常検知装置61は、クラスタの表面の複数の点における位置情報に基づいてクラスタの表面の複数の点におけるラフネス値が算出する。例えば、任意の点Pの周囲の点群に基づき平滑化した面を算出し、点Pの平滑化した面からの変位を、点Pのラフネス値として算出する。
表面異常検知装置61は、同一構造物と分類された点群(クラスタ)において、反射輝度値が異常値となる異常箇所を、点群の反射輝度分布に基づきそれぞれ決定する(ステップS604)。
表面異常検知装置61は、同一構造物と分類された点群において、ラフネス値の異常箇所を、点群のラフネス値に基づき決定する(ステップS605)。複数の点群が有る場合、点群毎にラフネス値の異常箇所を決定する。
すなわち、表面異常検知装置61は、クラスタの表面の複数の点におけるラフネス値の分布に基づいてクラスタのラフネス正常値を決定する。そして、表面異常検知装置61は、ラフネス正常値とクラスタの表面の複数の点のそれぞれのラフネス値との差に基づいてクラスタの表面の異常箇所を特定する。
表面異常検知装置61は、反射輝度値により決定された異常箇所と、ラフネス値により決定された異常箇所と、基づいて所望の異常箇所を特定する(ステップS606)。
ステップS606においては、反射輝度により決定された異常箇所と、ラフネス値により決定された異常箇所と、を相補的に利用してもよい。
反射輝度値とラフネス値による検知の違いとして、例えば、内部腐食による塗装の浮きが挙げられる。塗装の浮きは、塗料が残るため反射輝度値に変化を与えないが、ラフネス値として検知される。この情報を利用して、表出している錆に連結した内部腐食箇所から腐食の浸食範囲を特定できるので、適切な修繕方法の選択及び判断が可能である。
このように、実施の形態6に係る表面異常検知装置61は、距離測定装置12の精度より粗い対象(構造物)に対しても、包括的に表面異常箇所を決定することができる。
[実施の形態7]
図13は、実施の形態7に係る距離測定装置と測定対象とを例示する図である。
ここで、図13を使用して、複数の視点から撮像した点群データを利用して表面の異常箇所を特定する動作を説明する。
図13は、距離測定装置12を第1観測点S71に設置して測定対象T71及び測定対象T72を撮像する様子を示す。また、図13は、距離測定装置12を第2観測点S72に設置して測定対象T71及び測定対象T72を撮像する様子を示す。
図13に示すように、測定対象T71の表面の測距点P71nにおけるデータ(情報)は、第1観測点S71及び第2観測点S72に設置された距離測定装置12により取得される。また、測定対象T72の表面の測距点P72nにおけるデータ(情報)は、第1観測点S71及び第2観測点S72に設置された距離測定装置12により取得される。
このとき、測距点P71nは、第1観測点S71からはレーザ入射角度A711を以って測定され、第2観測点S72からはレーザ入射角度A712を以って測定される。同様に、測距点P72nは、第1観測点S71からはレーザ入射角度A721を以って測定され、第2観測点S72からはレーザ入射角度A722を以って測定される。
第1観測点S71及び第2観測点S72から測定対象T71を撮像した場合、測距点P71nに対するレーザ入射角度が異なるため、観測点によって反射輝度値が異なる。第1観測点S71及び第2観測点S72から測定対象T72を撮像した場合も同様である。
そこで、実施の形態7では、表面の粗さによって反射光の等方性が異なることに着目し、表面の異常箇所を特定する。
錆等の劣化により測定対象の表面が荒れている場合、レーザ反射光は等方的に広がりやすくなるため、レーザ入射角度による反射輝度値の変化は小さい。一方、塗料等により測定対象の表面が保護されている場合、レーザ反射光は正反射の方向への反射輝度値が大きくなるため、レーザ入射角度による反射輝度値の変化が大きい。
第1観測点S71及び第2観測点S72で取得した反射輝度差と、レーザ入射角度差を利用して測定対象T71及び測定対象T72の表面の異常箇所を特定できる。ここで、反射輝度差とは、第1観測点S71で取得した所定の測距点(例えば、測距点P71n)の反射輝度と、第2観測点S72で取得した所定の測距点の反射輝度と、の差である。また、レーザ入射角度差とは、所定の測距点に対する第1観測点S71からのレーザ入射角度と、所定の測距点に対する第2観測点S72からのレーザ入射角度との差である。
第1観測点S71及び第2観測点S72で撮像した点群データにおいて、位置合わせや認識により測定対象T71及び測定対象T72の位置と形状を対応づけた後、反射輝度差とレーザ入射角度差を算出して、表面の異常箇所を特定する。
尚、この例では、第1観測点S71及び第2観測点S72から同一の測距点P71n(又は、P72n)の反射輝度を取得するとしたが、これには限定されない。例えば、第1観測点S71では測距点P71nを取得できたが、第2観測点S72では測距点P71nを取得できなかった場合、測距点P71nの近傍点、もしくは、測距点P71nにおける反射輝度及びレーザ入射角度の内挿点を利用しても良い。
実施の形態7に係る表面異常検知装置71の概要を説明する。
図14は、実施の形態7に係る表面異常検知装置を例示するブロック図である。
図14に示すように、実施の形態7に係る表面異常検知装置71は、第1算出手段714aと、第2算出手段714bと、位置制御手段715と、輝度差算出手段716と、補正手段717と、特定手段713と、を備える。
第1算出手段714aは、第1観測点S71の位置情報と、測定対象の表面の複数の測距点の位置情報と、に基づいて複数の測距点毎にレーザの第1入射角度を算出する。第1観測点S71の位置情報は、第1点群データに含まれる。第1算出手段714aは、測定対象の表面の測距点と第1観測点S71とを結んだ方向と、測距点における垂線と、に基づいて測距点における第1入射角度を算出する。
第2算出手段714bは、第2観測点S72の位置情報と、第2点群データに含まれる複数の測距点の位置情報と、に基づいて複数の測距点毎にレーザの第2入射角度を算出する。第2算出手段714bは、測定対象の表面の測距点と第2観測点S72とを結んだ方向と、測距点における垂線と、に基づいて測距点における第2入射角度を算出する。
位置制御手段715は、第1点群データの複数の測距点の位置情報と、第2点群データの複数の測距点の位置情報と、に基づいて複数の測距点毎に位置を合わせるように調整する。
輝度差算出手段716は、位置調整後の第1点群データの複数の測距点における第1反射輝度値と、位置調整後の第2点群データの複数の測距点における第2反射輝度値と、の差である反射輝度差分値を複数の測距点毎に算出する。
補正手段717は、位置調整後の第1点群データの複数の測距点における第1入射角度と、位置調整後の第2点群データの複数の測距点における第2入射角度と、の差である入射角度差を複数の測距点毎に算出する。補正手段717は、算出した入射角度差に基づいて反射輝度差分値を複数の測距点毎に補正する。
特定手段713は、補正後の反射輝度差分値に基づいて測定対象の異常箇所を特定する。
実施の形態7に係る表面異常検知装置71の動作を説明する。
図15は、実施の形態7に係る表面異常検知装置の動作を例示するフローチャートである。
以降の実施の形態の説明では、第1観測点S71で撮像した3次元点群データを第1点群データと称し、第2観測点S72で撮像した3次元点群データを第2点群データと称する。
図15に示すように、表面異常検知装置71は、第1点群データを取得する(ステップS701)。表面異常検知装置71は、第2点群データを取得する(ステップS702)。
表面異常検知装置71は、第1点群データに対して、点群と第1観測点S71の位置情報に基づき、各測距点におけるレーザの第1入射角度を算出する(ステップS703)。表面異常検知装置11は、第2点群データに対して、点群と第2観測点S72の位置情報に基づき、各測距点におけるレーザの第2入射角度を算出する(ステップS704)。レーザの入射角度は、例えば、実施の形態3において説明したように算出する。
表面異常検知装置71は、第1点群データと第2点群データとの位置合わせ、もしくは、形状識別により、第1点群データと第2点群データの位置合わせを行う(ステップS705)。
表面異常検知装置71は、対応する測距点間で反射輝度値の差分を算出する(ステップS706)。反射輝度の差分の算出に際しては、対応する点群のうち最も近接する点、又は、対応位置における内挿値を利用しても良い。また、表面異常検知装置71は、測距点間のレーザ入射角度差も算出する。反射輝度の差分を、反射輝度差、又は、反射輝度差分値と称する。
表面異常検知装置71は、ステップS706において算出したレーザ入射角度差に基づいて、反射輝度差分値を補正する(ステップS707)。レーザ入射角度差の算出に際しては、対応する点群のうち最も近接する点、又は、対応位置における内挿値を利用しても良い。
反射輝度差分値の補正に際しては、測定対象の双方向反射率分布関数によるモデル化、ランバート反射を仮定したシンプルなモデル化の他、既知の反射率の特性を当てはめて補正を行っても良い。
表面異常検知装置71は、点群の有する反射輝度差分値が差分閾値を下回る場合(ステップS708:YES)、その点群を表面の異常箇所と決定する(ステップS709)。
表面異常検知装置71は、点群の有する反射輝度差分値が差分閾値を上回る場合(ステップS708:NO)、その点群を表面の正常箇所と決定とする(ステップS710)。
このように、実施の形態7に係る表面異常検知装置71は、複数地点から撮像した3次元点群データから、表面の異常箇所をより高精度に特定することができる。
[実施の形態8]
実施の形態8に係る表面異常検知装置81は、実施の形態7に係る表面異常検知装置71と比べて、過去に測定した3次元点群データとの比較により、表面異常箇所を特定することで、精度を向上する点が異なる。
実施の形態8の説明では、過去に測定した比較用の3次元点群データを「3次元点群データ(比較)」、又は、比較用群データと称し、異常を判定する評価用の3次元点群データを「3次元点群データ(評価)」又は、評価用群データと称する。
3次元点群データ(比較)と3次元点群データ(評価)を比較する最もシンプルな方法は、点群同士の最近接点もしくは内挿により点群の反射輝度差分値を取得する方法である。
実施の形態8に係る表面異常検知装置81の概要を説明する。
図16は、実施の形態8に係る表面異常検知装置を例示するブロック図である。
図16に示すように、実施の形態8に係る表面異常検知装置81は、位置制御手段815と、輝度差算出手段816と、特定手段813と、を備える。
評価用群データには、測定対象の表面の複数の測距点の位置情報が含まれる。比較用群データにも、測定対象の表面の複数の測距点の位置情報が含まれる。位置制御手段815は、評価用群データに含まれる複数の測距点の位置情報と、比較用群データに含まれる複数の測距点の位置情報と、に基づいて複数の測距点毎に位置を合せるように調整する。
輝度差算出手段816は、位置調整後の評価用群データの複数の測距点における評価用反射輝度値と、位置調整後の比較用群データの複数の測距点における比較用反射輝度値と、の差である反射輝度差分値を複数の測距点毎に算出する。
特定手段813は、反射輝度差分値に基づいて測定対象の異常箇所を特定する。
これ以降の実施の形態8の説明では、更に精度良く表面異常箇所を特定する方法として、点群の位置情報に基づく、クラスタ単位で異常箇所を判定する方法を例に挙げて説明する。
具体的には、3次元点群データ(比較)からクラスタ単位で反射輝度値の正常値を決定し、点群間のクラスタの対応付けを行った上で、3次元点群データ(評価)の反射輝度値から対応クラスタの反射輝度正常値の差分として反射輝度値の乖離値を決定、異常箇所を特定する。例えば、2つの点群を測定する際に観測点の誤差等により測距点が変化した場合、反射輝度値に変化が出る可能性がある。このような場合、クラスタ単位で反射輝度値を処理することで誤差を低減することができる。
実施の形態8に係る表面異常検知装置81の動作を説明する。
図17は、実施の形態8に係る表面異常検知装置の動作を例示するフローチャートである。
図17に示すように、表面異常検知装置81は、3次元点群データ(評価)を取得する(ステップS801)。表面異常検知装置81は、3次元点群データ(比較)を取得する(ステップS802)。
表面異常検知装置81は、3次元点群データ(評価)に対して、点群の位置情報に基づき、クラスタリング処理を行い、3次元点群データ(評価)を、同一構造物を有する点群、すなわち、クラスタに分類する(ステップS803)。すなわち、表面異常検知装置81は、3次元点群データ(評価)に含まれる測定対象の表面の複数の測距点における位置情報に基づいて、測定対象を、同一構造物を含む1つ以上のクラスタに分類する。
表面異常検知装置81は、3次元点群データ(比較)に対して、点群の位置情報に基づき、クラスタリング処理を行い、3次元点群データ(比較)を、同一構造物を有する点群、すなわち、クラスタに分類する(ステップS804)。すなわち、表面異常検知装置81は、3次元点群データ(比較)に含まれる複数の測距点における位置情報に基づいて、測定対象を、同一構造物を含む1つ以上のクラスタに分類する。
表面異常検知装置81は、ステップS804で分類されたクラスタ毎に反射輝度の正常値(反射輝度正常値)を算出する(ステップS805)。すなわち、表面異常検知装置81は、3次元点群データ(比較)のクラスタの複数の測距点における反射輝度値の分布に基づいて、3次元点群データ(比較)のクラスタ毎に反射輝度正常値を決定する。
表面異常検知装置81は、3次元点群データ(評価)と3次元点群データ(比較)との位置合わせ、もしくはクラスタの形状識別により、2つの3次元点群データ間で対応するクラスタとその位置を対応付ける(ステップS806)。すなわち、表面異常検知装置81は、3次元点群データ(評価)のクラスタの複数の測距点の位置情報と、3次元点群データ(比較)のクラスタの複数の測距点の位置情報と、に基づいて、3次元点群データ(評価)のクラスタに対して、同一構造物であると認識する3次元点群データ(比較)のクラスタを対応付ける。
表面異常検知装置81は、ステップS805にて算出した反射輝度正常値に基づき、反射輝度正常値からの差分を算出する(ステップS807)。反射輝度正常値からの差分を、反射輝度正常差分値と称する。すなわち、表面異常検知装置81は、3次元点群データ(評価)のクラスタの複数の測距点における反射輝度値と、3次元点群データ(評価)のクラスタに対応する3次元点群データ(比較)のクラスタの反射輝度正常値と、差である反射輝度正常差分値を算出する。
表面異常検知装置81は、点群の反射輝度正常差分値が正常差分閾値を上回る場合(ステップS808:YES)、その点群を表面の異常箇所と決定する(ステップS809)。すなわち、表面異常検知装置81は、反射輝度正常差分値に基づいて測定対象の表面の異常箇所をクラスタ毎に特定する。
表面異常検知装置81は、点群の反射輝度正常差分値が正常差分閾値を下回る場合(ステップS808:NO)、その点群を表面の異常箇所と決定する(ステップS810)。
このように、実施の形態8に係る表面異常検知装置81は、過去に撮像した3次元点群データとの比較から、表面の異常箇所をより高精度に特定することができる。
以上、説明したように、実施の形態によれば、異物を検出する際に、誤検出を低減することが可能な処理装置、システム、方法及び非一時的なコンピュータ可読媒体を提供することができる。
尚、上記の実施の形態では、本発明をハードウェアの構成として説明したが、本発明はこれに限定されるものではない。本発明は、各構成要素の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。
上記の実施の形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実態のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(具体的にはフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(具体的には光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(具体的には、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM))、フラッシュROM、RAM(Random Access Memory)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
尚、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
測定対象の表面の複数の点における位置情報に基づいて前記測定対象を同一構造物を含む1つ以上のクラスタに分類する分類手段と、
前記クラスタの表面の複数の点における反射輝度値の分布に基づいて前記クラスタの反射輝度正常値を決定する決定手段と、
前記反射輝度正常値と前記クラスタの表面の複数の点のそれぞれの前記反射輝度値との差に基づいて前記クラスタの表面の異常箇所を特定する特定手段と、
を備える表面異常検知装置。
(付記2)
前記特定手段は、前記クラスタの表面の複数の点のうち、前記反射輝度値と前記反射輝度正常値との差が閾値を上回る所定の点を異常箇所と決定する、
付記1に記載の表面異常検知装置。
(付記3)
前記反射輝度値は、観測点である自装置と前記クラスタの表面の点との間の距離による減衰量に基づいて補正される、
付記1又は2に記載の表面異常検知装置。
(付記4)
前記クラスタの測距点におけるレーザ入射角度は、前記クラスタの前記測距点と自装置とを結んだ方向と、前記クラスタの前記測距点における垂線と、に基づいて算出され、
前記クラスタの前記測距点における前記反射輝度値は、前記レーザ入射角度に基づいてさらに補正される、
付記1乃至3のいずれか1つに記載の表面異常検知装置。
(付記5)
前記分類手段は、前記レーザ入射角度に基づいて前記クラスタをサブクラスタにさらに分類し、
前記決定手段は、前記サブクラスタの表面の複数の点における反射輝度値の分布に基づいて前記サブクラスタの反射輝度正常値を決定し、
前記特定手段は、前記サブクラスタの反射輝度正常値と、前記サブクラスタの表面の複数の点のそれぞれの反射輝度値と、の差に基づいて前記サブクラスタの表面の異常箇所を特定する、
付記4に記載の表面異常検知装置。
(付記6)
前記決定手段は、前記クラスタの表面の複数の点におけるRGB値の分布に基づいて前記クラスタのRGB正常値を決定し、
前記特定手段は、前記RGB正常値と前記クラスタの表面の複数の点のそれぞれの前記RGB値との差に基づいて前記クラスタの表面の異常箇所を特定し、
前記特定手段は、前記反射輝度値により特定された前記異常箇所と、前記RGB値により特定された前記異常箇所と、に基づいて所望の異常箇所を特定する、
付記1乃至5のいずれか1つに記載の表面異常検知装置。
(付記7)
前記クラスタの表面の複数の点における位置情報に基づいて前記クラスタの表面の複数の点におけるラフネス値が算出され、
前記決定手段は、前記クラスタの表面の複数の点における前記ラフネス値の分布に基づいて前記クラスタのラフネス正常値を決定し、
前記特定手段は、前記ラフネス正常値と前記クラスタの表面の複数の点のそれぞれの前記ラフネス値との差に基づいて前記クラスタの表面の異常箇所を特定し、
前記特定手段は、前記反射輝度値により特定された前記異常箇所と、前記ラフネス値により特定された前記異常箇所と、に基づいて所望の異常箇所を特定する、
付記1乃至5のいずれか1つに記載の表面異常検知装置。
(付記8)
第1観測点の位置情報と、第1点群データに含まれる位置情報であって測定対象の表面の複数の測距点の前記位置情報と、に基づいて前記複数の測距点毎にレーザの第1入射角度を算出する第1算出手段と、
第2観測点の位置情報と、第2点群データに含まれる前記複数の測距点の位置情報と、に基づいて前記複数の測距点毎にレーザの第2入射角度を算出する第2算出手段と、
前記第1点群データの前記複数の測距点の位置情報と、前記第2点群データの前記複数の測距点の位置情報と、に基づいて前記複数の測距点毎に位置を合わせるように調整する位置制御手段と、
前記位置調整後の前記第1点群データの前記複数の測距点における第1反射輝度値と、前記位置調整後の前記第2点群データの前記複数の測距点における第2反射輝度値と、の差である反射輝度差分値を前記複数の測距点毎に算出する輝度差算出手段と、
前記位置調整後の前記第1点群データの前記複数の測距点における前記第1入射角度と、前記位置調整後の前記第2点群データの前記複数の測距点における前記第2入射角度と、の差である入射角度差を前記複数の測距点毎に算出し、前記入射角度差に基づいて前記反射輝度差分値を前記複数の測距点毎に補正する補正手段と、
前記補正後の反射輝度差分値に基づいて前記測定対象の異常箇所を特定する特定手段と、
を備える表面異常検知装置。
(付記9)
評価用群データに含まれる位置情報であって測定対象の表面の複数の測距点の前記位置情報と、比較用群データに含まれる前記複数の測距点の位置情報と、に基づいて前記複数の測距点毎に位置を合せるように調整する位置制御手段と、
前記位置調整後の前記評価用群データの前記複数の測距点における評価用反射輝度値と、前記位置調整後の前記比較用群データの前記複数の測距点における比較用反射輝度値と、の差である反射輝度差分値を前記複数の測距点毎に算出する輝度差算出手段と、
前記反射輝度差分値に基づいて前記測定対象の異常箇所を特定する特定手段と、
を備える表面異常検知装置。
(付記10)
評価用群データに含まれる測定対象の表面の複数の測距点における位置情報に基づいて前記測定対象を同一構造物を含む1つ以上のクラスタに分類する評価用分類手段と、
比較用群データに含まれる前記複数の測距点における位置情報に基づいて前記測定対象を同一構造物を含む1つ以上のクラスタに分類する比較用分類手段と、
前記比較用群データのクラスタの前記複数の測距点における反射輝度値の分布に基づいて前記比較用群データのクラスタ毎に反射輝度正常値を決定する比較用決定手段と、
前記評価用群データのクラスタの前記複数の測距点の位置情報と、前記比較用群データのクラスタの前記複数の測距点の位置情報と、に基づいて、前記評価用群データのクラスタに対して、同一構造物であると認識する前記比較用群データのクラスタを対応付ける制御手段と、
前記評価用群データのクラスタの前記複数の測距点における反射輝度値と、前記評価用群データのクラスタに対応する前記比較用群データのクラスタの前記反射輝度正常値と、差である反射輝度正常差分値を算出する算出手段と、
前記反射輝度正常差分値に基づいて前記測定対象の表面の異常箇所をクラスタ毎に特定する特定手段と、
を備える表面異常検知装置。
(付記11)
測定対象の表面の複数の点における前記反射輝度値を取得する測定装置と、
付記1乃至10のいずれか1つに記載の表面異常検知装置と、を備え、
前記表面異常検知装置は、
前記測定対象の表面の異常箇所を特定する、
システム。
(付記12)
測定対象の表面の複数の点における位置情報に基づいて前記測定対象を同一構造物を含む1つ以上のクラスタに分類することと、
前記クラスタの表面の複数の点における反射輝度値の分布に基づいて前記クラスタの反射輝度正常値を決定することと、
前記反射輝度正常値と前記クラスタの表面の複数の点のそれぞれの前記反射輝度値との差に基づいて前記クラスタの表面の異常箇所を特定することと、
を備える方法。
(付記13)
測定対象の表面の複数の点における位置情報に基づいて前記測定対象を同一構造物を含む1つ以上のクラスタに分類することと、
前記クラスタの表面の複数の点における反射輝度値の分布に基づいて前記クラスタの反射輝度正常値を決定することと、
前記反射輝度正常値と前記クラスタの表面の複数の点のそれぞれの前記反射輝度値との差に基づいて前記クラスタの表面の異常箇所を特定することと、
をコンピュータに実行させるプログラムが格納される非一時的なコンピュータ可読媒体。
10:システム
11、21、31、41、51、61、71、81: 表面異常検知装置
111:分類手段
112:決定手段
113:特定手段
12:距離測定装置
713、813、:特定手段
714a:第1算出手段
714b:第2算出手段
715、815:位置制御手段
716、816:輝度差算出手段
717:補正手段
PC10、PC11、PC12、PC31、PC32、PC41:点群
R31:3次元領域
C101、C102:クラスタ
SC401、SC402:サブクラスタ
G11、G41、G42:反射輝度分布
H101、H102、H411、H421、H422:ヒストグラム
L101、L411、L421:近似曲線
P301、P71n、P72n:測距点
A301、A711、A712、A721、A722:レーザ入射角度
N301:垂線
B301:レーザ入射方向
P:任意の点
T71、T72:測定対象
S71:第1観測点
S72:第2観測点

Claims (2)

  1. 第1観測点の位置情報と、第1点群データに含まれる位置情報であって測定対象の表面の複数の測距点の前記位置情報と、に基づいて前記複数の測距点毎にレーザの第1入射角度を算出する第1算出手段と、
    第2観測点の位置情報と、第2点群データに含まれる前記複数の測距点の位置情報と、に基づいて前記複数の測距点毎にレーザの第2入射角度を算出する第2算出手段と、
    前記第1点群データの前記複数の測距点の位置情報と、前記第2点群データの前記複数の測距点の位置情報と、に基づいて前記複数の測距点毎に位置を合わせるように調整する位置制御手段と、
    前記位置調整後の前記第1点群データの前記複数の測距点における第1反射輝度値と、前記位置調整後の前記第2点群データの前記複数の測距点における第2反射輝度値と、の差である反射輝度差分値を前記複数の測距点毎に算出する輝度差算出手段と、
    前記位置調整後の前記第1点群データの前記複数の測距点における前記第1入射角度と、前記位置調整後の前記第2点群データの前記複数の測距点における前記第2入射角度と、の差である入射角度差を前記複数の測距点毎に算出し、前記入射角度差に基づいて前記反射輝度差分値を前記複数の測距点毎に補正する補正手段と、
    前記補正後の反射輝度差分値に基づいて前記測定対象の異常箇所を特定する特定手段と、
    を備える表面異常検知装置。
  2. 前記測定対象の表面の複数の点における反射輝度値を取得する測定装置と、
    請求項1に記載の表面異常検知装置と、を備え、
    前記表面異常検知装置は、
    前記測定対象の表面の異常箇所を特定する、
    システム。
JP2021511852A 2019-04-03 2019-04-03 表面異常検知装置、及びシステム Active JP7215568B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/014790 WO2020202496A1 (ja) 2019-04-03 2019-04-03 表面異常検知装置、及びシステム

Publications (2)

Publication Number Publication Date
JPWO2020202496A1 JPWO2020202496A1 (ja) 2020-10-08
JP7215568B2 true JP7215568B2 (ja) 2023-01-31

Family

ID=72666260

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021511852A Active JP7215568B2 (ja) 2019-04-03 2019-04-03 表面異常検知装置、及びシステム
JP2021511404A Active JP7131692B2 (ja) 2019-04-03 2020-03-17 表面異常検知装置、及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021511404A Active JP7131692B2 (ja) 2019-04-03 2020-03-17 表面異常検知装置、及びシステム

Country Status (3)

Country Link
US (2) US20220170739A1 (ja)
JP (2) JP7215568B2 (ja)
WO (2) WO2020202496A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6970817B2 (ja) * 2018-04-11 2021-11-24 富士フイルム株式会社 構造物管理装置、構造物管理方法、及び構造物管理プログラム
US11703457B2 (en) * 2020-12-29 2023-07-18 Industrial Technology Research Institute Structure diagnosis system and structure diagnosis method
WO2022244267A1 (ja) * 2021-05-21 2022-11-24 日本電気株式会社 異常検出装置、制御方法、及びコンピュータ可読媒体
US20230153975A1 (en) * 2021-11-16 2023-05-18 Solera Holdings, Llc Transfer of damage markers from images to 3d vehicle models for damage assessment
WO2023218899A1 (ja) * 2022-05-13 2023-11-16 パナソニックIpマネジメント株式会社 計測システムおよび計測方法
CN116977331B (zh) * 2023-09-22 2023-12-12 武汉展巨华科技发展有限公司 基于机器视觉的3d模型表面检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204425A (ja) 2008-02-27 2009-09-10 Pulstec Industrial Co Ltd 3次元形状測定装置および3次元形状測定方法
JP2016105081A (ja) 2014-11-19 2016-06-09 首都高技術株式会社 点群データ利用システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774212A (en) * 1997-03-19 1998-06-30 General Electric Co. Method and apparatus for detecting and analyzing directionally reflective surface flaws
JP3080058B2 (ja) * 1997-12-25 2000-08-21 日本電気株式会社 レーダ装置及びレーダ測定方法
JP5654402B2 (ja) 2011-03-29 2015-01-14 株式会社日立製作所 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム
CN109242828B (zh) * 2018-08-13 2022-04-19 浙江大学 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204425A (ja) 2008-02-27 2009-09-10 Pulstec Industrial Co Ltd 3次元形状測定装置および3次元形状測定方法
JP2016105081A (ja) 2014-11-19 2016-06-09 首都高技術株式会社 点群データ利用システム

Also Published As

Publication number Publication date
WO2020203263A1 (ja) 2020-10-08
WO2020202496A1 (ja) 2020-10-08
US20220156914A1 (en) 2022-05-19
US20220170739A1 (en) 2022-06-02
JPWO2020202496A1 (ja) 2020-10-08
JP7131692B2 (ja) 2022-09-06
JPWO2020203263A1 (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
JP7215568B2 (ja) 表面異常検知装置、及びシステム
US20200208970A1 (en) Method and device for movable object distance detection, and aerial vehicle
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
CN109001757B (zh) 一种基于2d激光雷达的车位智能检测方法
CN110503040B (zh) 障碍物检测方法及装置
Tan et al. Correction of mobile TLS intensity data for water leakage spots detection in metro tunnels
US10444398B2 (en) Method of processing 3D sensor data to provide terrain segmentation
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
US20180182113A1 (en) Image processing device and image processing method
US10074551B2 (en) Position detection apparatus, position detection method, information processing program, and storage medium
JP5913903B2 (ja) 形状検査方法およびその装置
US20230267593A1 (en) Workpiece measurement method, workpiece measurement system, and program
KR20180100835A (ko) 듀얼 라이다 센서 캘리브레이션 방법 및 장치
CN112639516A (zh) 激光雷达测距方法、装置、计算机设备和存储介质
JP2016191648A (ja) 計測装置および計測方法
CN113099120B (zh) 深度信息获取方法、装置、可读存储介质及深度相机
JP7226565B2 (ja) 物体認識方法、及び、物体認識装置
US20230332887A1 (en) Abnormality detection system, abnormality detection method, and computer readable medium
US20220155149A1 (en) Object Recognition Device and Object Recognition Method
JP6686776B2 (ja) 段差検出方法及び段差検出装置
JP7300331B2 (ja) 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム
JP7447906B2 (ja) 表面異常検知装置、システム、方法、及びプログラム
Ono et al. Robust detection of surface anomaly using LiDAR point cloud with intensity
WO2014192061A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20200410694A1 (en) Object detection device, object detection system, object detection method, and non-transitory computer-readable medium storing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230102

R151 Written notification of patent or utility model registration

Ref document number: 7215568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151