JPWO2019130391A1 - 画像処理プログラム、画像処理方法、および画像処理装置 - Google Patents

画像処理プログラム、画像処理方法、および画像処理装置 Download PDF

Info

Publication number
JPWO2019130391A1
JPWO2019130391A1 JP2019561403A JP2019561403A JPWO2019130391A1 JP WO2019130391 A1 JPWO2019130391 A1 JP WO2019130391A1 JP 2019561403 A JP2019561403 A JP 2019561403A JP 2019561403 A JP2019561403 A JP 2019561403A JP WO2019130391 A1 JPWO2019130391 A1 JP WO2019130391A1
Authority
JP
Japan
Prior art keywords
damage
image data
image processing
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019561403A
Other languages
English (en)
Other versions
JP6901008B2 (ja
Inventor
祐輔 中西
祐輔 中西
菊地　英幸
英幸 菊地
博 山上
博 山上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2019130391A1 publication Critical patent/JPWO2019130391A1/ja
Application granted granted Critical
Publication of JP6901008B2 publication Critical patent/JP6901008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Bridges Or Land Bridges (AREA)

Abstract

一実施形態に係る画像処理装置は、構造物の撮像画像を解析して損傷部分を特定する特定部と、撮像画像のうち、特定した損傷部分と、構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する予測部と、を含む。

Description

本発明は、画像処理プログラム、画像処理方法、および画像処理装置に関する。
構造物等のインフラストラクチャー（以下、インフラと呼ぶことがある）を点検し、異常を検出した場合には修理等の作業を行うことでインフラを維持及び管理することが行われている。こうした、インフラの維持管理分野では人員不足や費用不足といった問題が起きている。そのため、例えば、ＩＣＴ（Information and Communication Technology）技術を利用して、維持管理の効率化するための種々の試みが行われている。
ＩＣＴ技術を利用するものとして、例えば、撮像装置、ドローン、ロボット等を用いて構造物の画像を撮影し、撮影した画像（撮像画像）を用いて点検の効率化や精度を向上させる技術がある。例えば、測定車両やセンサによって撮影した画像データをデータベースに格納し、データベースに格納した画像データを解析することにより、異常検知や経年変化を予測し、構造物の点検作業等を効率化することが行われている。なお、画像データを用いて、構造物の異常を精度よく検知するためには、高解像度の画像データを用いることが好ましい。
特開２００３−３２９５９４号公報 特開２０１２−２２５８１１号公報 特開昭６２−２８１５８２号公報
しかしながら、点検のために画像データを撮りためて行った場合に、画像データのデータ量が多くなり記憶領域を圧迫することがある。
１つの側面では、本発明は、画像データを効率良く保存することを目的とする。
本発明の一つの態様の画像処理装置は、構造物の撮像画像を解析して損傷部分を特定する特定部と、撮像画像のうち、特定した損傷部分と、構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する予測部と、を含む
画像データを効率良く保存することができる。
例示的な画像圧縮処理を説明する図である。 例示的な画像圧縮処理を説明する別の図である。 損傷が画像データ内の圧縮されたセルの領域に拡がる例を述べる図である。 実施形態に係る画像処理装置のブロック構成を例示する図である。 例示的な損傷の進行について説明する図である。 実施形態に係る損傷を表す線分を例示する図である。 構造物の３次元モデルを例示する図である。 線分と部材との距離の関係を説明する図である。 線分と部材の中心線との角度について説明する図である。 損傷が拡がる可能性があるセルの予測を例示する図である。 実施形態に係る画像圧縮処理の一例を示す図である。 実施形態に係る画像データ情報の一例を示す図である。 実施形態に係る設計データ情報の一例を示す図である。 実施形態に係る損傷進行の予測処理の動作フローを例示する図である。 実施形態に係る損傷部分データを例示する図である。 実施形態に係る或る識別情報で識別される画像データに対する予測情報を例示する図である。 実施形態に係る画像圧縮処理の動作フローを例示する図である。 実施形態に係る画像処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。
以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。
図１は、例示的な画像圧縮処理を説明する図である。例えば、カメラなどの撮像装置で、点検対象の構造物を撮影することで、画像データ１０（例えば、画像データ１０ａ〜画像データ１０ｆ）は生成されてよい。画像データ１０は、一例ではラスタ画像のデータであってよい。画像データ１０は、例えば、画像データ１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆの順に撮影されていてよい。なお、点検対象の構造物は、例えば、道路の舗装面、橋梁、トンネルなど、異常や経年劣化などを監視して、補修などを行う対象となる構造物であってよい。
また、関連データ１１ａ〜１１ｆは、それぞれ、画像データ１０ａ〜１０ｆに対応するデータである。関連データ１１は、例えば、対応する画像データ１０から検出されたひび割れや亀裂などの構造物に含まれる損傷の形状を示すベクター画像のデータであってよい。
画像データ１０ａ〜１０ｆは、異なる時期に同一箇所を撮影した画像であってよい。例えば、或る時期に、或る箇所の画像データ１０ａが撮影され、その画像データ１０ａから関連データ１１ａが生成されてよく、数年後に、同一箇所の画像データ１０ｂが撮影され、画像データ１０ｂから関連データ１１ｂが生成されてよい。
画像処理装置は、例えば、画像データ１０ａ〜１０ｆを複製および画像解析することで、ひび割れや亀裂などの構造物に含まれる損傷の形状を検出し、関連データ１１ａ〜１１ｆを生成してよい。例えば、画像処理装置は、物理量センサ等の装置によって取得した損傷箇所の位置情報を、ベクター画像として生成してもよい。損傷がひび割れであれば、ひび割れの線がベクター画像となってよい。
続いて、例示的な画像データ１０のデータ量削減処理について説明する。例えば、画像データ１０ａの撮影時刻をＴ１とし、画像データ１０ｄの撮影時刻をＴ２とする。ここで、撮影時刻Ｔ１は、撮影時刻Ｔ２よりも過去の時刻である。
まず、画像処理装置は、画像データ１０ａを複数の領域に区切り、複数のセル２０ａ〜セル２０ｆを生成する（図１の（１））。
画像処理装置は、時刻Ｔ１に撮像された画像データ１０ａと、時刻Ｔ２に撮像された画像データ１０ｄから生成された関連データ１１ｄとを比較して、損傷を含むセル２０を特定する（図１の（２））。損傷を含むセル２０は、例えば、関連データ１１ｄで形状が定義されている損傷部分を含むセル２０である。続いて、画像処理装置は、損傷部分を含まないセル２０をセル２０ａ〜２０ｆのうちから特定し、特定したセル２０を圧縮する（図１の（３））。例えば、画像処理装置は、セル２０ｃ，２０ｄ，２０ｆを圧縮する。
画像処理装置は、圧縮したセル２０ｃ，２０ｄ，２０ｆと、圧縮していないセル２０ａ，２０ｂ，２０ｅを結合することで、元の画像データ１０ａと対応する圧縮された画像データ３０を生成する（図１の（４））。画像処理装置は、圧縮した画像データ３０を、圧縮前の画像データ１０ａの代わりに、データベースで保存する。そのため、画像データにおいて時刻Ｔ２の時点で損傷が含まれる領域のデータの劣化を抑えつつ、画像データのデータ量を削減することができる。
図２は、以上で述べた、例示的な画像圧縮処理を更に説明する図である。上段は、時刻Ｔ２に撮像された画像データから得られた関連データ１１を用いて圧縮箇所を特定する処理を例示している。また、下段は、時刻Ｔ１に撮像された画像データ１０の圧縮処理を例示している。なお、一実施形態において、時刻Ｔ２は、時刻Ｔ１よりも後の時刻であってよい。図２に示すように、画像処理装置は、例えば、時刻Ｔ１の画像データ１０を圧縮対象とする場合に、その時刻よりも後に撮影された時刻Ｔ２の関連データ１１を取得する。そして、画像処理装置は、取得した関連データ１１を複数のセル２０に分割する（図２の（１））。例えば、画像処理装置は、関連データ１１を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に関連データ内での配置を示すアドレス情報を付与してよい。また、図２の下段に示すように、画像処理装置は、時刻Ｔ１の圧縮対象の画像データ１０を取得し、取得した画像データ１０を複数のセル２０に分割する（図２の（２））。例えば、画像処理装置は、画像データ１０を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に画像データ内での配置を示すアドレス情報を付与してよい。
画像処理装置４００は、分割した各セル２０のうちで、時刻Ｔ１の関連データ１１で示される損傷が含まれる領域に配置されているセル２０を特定する。そして、画像処理装置４００は、損傷が含まれるセル２０に圧縮対象としないことを示す「Ｆａｌｓｅ」を設定し、損傷が含まれていないセル２０には、圧縮対象とすることを示す「Ｔｒｕｅ」を設定する（図２の（３））。そして、画像処理装置４００は、時刻Ｔ１で撮像された画像データ１０を分割して得られた複数のセル２０のうち、圧縮対象である「Ｔｒｕｅ」が設定されている位置に配置されたセル２０のデータを圧縮する（図２の（４））。
続いて、画像処理装置４００は、「Ｆａｌｓｅ」に設定された位置にある未圧縮のセル２０と、「Ｔｒｕｅ」に設定された位置にある圧縮されたセル２０とを結合し、もとの画像データ１０と対応する圧縮された画像データ３０を生成する（図２の（５））。そのため、例えば、時刻Ｔ２の時点で損傷が含まれるセル２０の領域については、点検などに用いる画像として十分な品質を有する画像でありつつ、その他のセル２０の領域のデータが圧縮された画像データ３０を生成することができる。従って、構造物の異常の検知精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。しかしながら、圧縮した画像領域にひび割れ等の損傷が拡がってしまうことがある。
図３は、損傷が画像データ１０内の圧縮されたセル２０の領域に拡がる例を述べる図である。例えば、図３（ａ）は、或る時刻で撮像された画像データ１０を圧縮して得た圧縮画像データ３０を例示する図である。この時点では、損傷は未圧縮の領域３０１内に収まっており、損傷は、圧縮された領域３０２には含まれていない。しかしながら、損傷が未圧縮の領域３０１を越えて拡がることがある。図３（ｂ）は、図３（ａ）の画像データが撮像された時刻から後の時刻に損傷が拡がった状態を示す図であり、図３（ｃ）は、図３（ａ）と、図３（ｂ）との重ね合わせを示す図である。図３（ｃ）に示す様に、損傷は圧縮されたセルの領域３０２にも含まれている。圧縮により劣化した領域に損傷が含まれているため、これらの画像を用いて異常検知や経年変化の検出を行った場合に、支障がでることがある。
そこで、以下で述べる実施形態では、画像処理装置は、損傷が拡がる可能性の高い領域を予測する。そのため、実施形態によれば、損傷が拡がる可能性の高い領域を圧縮せずに残すことができ、画像データの損傷が拡がる可能性の高い領域のデータの劣化を抑えつつ、画像データのデータ量を削減して、画像データを効率良く保存することができる。以下、実施形態を説明する。
図４は、実施形態に係る画像処理装置４００のブロック構成を例示する図である。画像処理装置４００は、例えば、制御部４０１及び記憶部４０２を含んでいる。制御部４０１は、例えば特定部４１１、及び予測部４１２などを含む。画像処理装置４００の記憶部４０２は、例えば、後述する画像データ情報１２００、設計データ情報１３００、損傷部分データ１５００、予測情報１６００などの情報を記憶している。これらの各部の詳細及び記憶部４０２に格納されている情報の詳細については後述する。
上述のように、実施形態においては、画像処理装置４００の制御部４０１は、損傷部分が拡がる可能性のある領域を予測する。以下、損傷部分が拡がる可能性のある領域の予測について説明する。
例えば、道路の舗装面、橋梁、トンネルなど、経年劣化などを監視し、補修などを行う対象となる構造物においてコンクリートなどの損傷や経年変化の点検対象となる点検対象部材にひび割れや亀裂などの損傷が発生したとする。この場合、損傷から構造物の内部に雨水などが侵入することがある。そして、損傷が、例えば、部材に沿っていると、損傷から構造物内部に侵入した水が部材に接触してしまい、部材が水で腐食や劣化を起こして形状が変化し、損傷が部材に沿った方向に進行してしまうことがある。なお、部材は、例えば、鉄筋や鉄骨など、水や風雨に晒されると劣化や腐食を起こしやすく、腐食により形状が変化し得る材質でできていてよい。
図５は、例示的な損傷の進行について説明する図である。図５（ａ）は、構造物の設計データから得られた３次元モデルを例示する図であり、鉄筋、鉄骨などの部材５０１の構造が示されている。ここで、枠５０２に示す領域にある点検対象部材に損傷５０３が起きており、その損傷を示す関連データ１１が図５（ｂ）である。この場合に、図５（ｂ）の関連データ１１上に部材５０１の構造を重ね合わせて表示すると、図５（ｃ）となる。そして、図５（ｃ）において、関連データ１１で示される損傷５０３と、内部の部材５０１との重なりの度合いが大きく、延びる方向も一致している。この場合、損傷５０３は、矢印５０４で示す点線のように、部材に沿った方向に進行する可能性が高い。そのため、画像処理装置４００は、構造物の設計データを参照することで、図５（ｃ）に示す様に、部材の構造に沿った方向に損傷が進むと予測することができる。一方、矢印５０５で示す損傷５０３は、部材５０１との重なり度合いが低く、延びる方向も部材５０１の延びる方向と一致していないため、損傷５０３の進行は部材の影響を受けないと推定されてよい。
以下、損傷の進行の予測について更に詳細に説明する。まず、制御部４０１は、関連データ１１で示される損傷の線分を、所定の長さの線分で表して良い。
図６は、実施形態に係る損傷を所定の長さの線分で表す例を示す図である。画像処理装置４００の制御部４０１は、例えば、関連データ１１の損傷を所定の長さ：ｃ（ｃｍ）毎の線分に区切り、それぞれの始点と終点に所定の２次元直交座標を付与する。なお、所定の長さ：ｃ（ｃｍ）は、例えば、５ｃｍ〜１０ｃｍの範囲の長さであってよい。制御部４０１は、始点から所定の距離にある損傷の線分上の点を終点として特定してよい。また、特定した終点は、次の線分の始点として用いられてよい。そして、制御部４０１は、それぞれの線分の始点にＰ１からＰｎまで識別情報を付与してよい。また、例えば、１つめの始点の位置は任意に選択されてよい。図６（ｂ）は、以上のように区切った線分を例示する図であり、損傷を所定の長さの線分で表現することができる。なお、区切った際に損傷の終点までの距離がｃ（ｃｍ）未満となれば、制御部４０１は、その損傷の線分の終点にｃ（ｃｍ）よりも短いｃ’（ｃｍ）で座標を付与してよい。
続いて、制御部４０１は、構造物の設計図である設計データから構造物を形作る部材の３次元モデルを取得し、部材５０１と損傷部分との重なりの度合いを判定する。
図７は、構造物の３次元モデルを例示する図である。図７（ａ）には、部材７０１と、損傷等を点検する対象の点検対象部材の例としてコンクリート７０２が示された点検対象部材の断面図である。なお、図７（ａ）では、図面下部の側面にあるコンクリート７０２に損傷があるものとする。図７（ｂ）は、損傷を含む側面のコンクリート７０２を、損傷のベクター画像の元となった画像データ１０の撮像方向から透視した際、コンクリート７０２の表面から所定の距離ｄ（ｃｍ）以内の深さ見える部材をベクター画像上に重ね合わせて表示した図である。この様に重ね合わせて表示することで、図７（ｂ）に示すように、損傷部分と、部材との重なり度合いを評価することが可能である。以下では、損傷部分と、部材との重なり度合いを距離で評価する例を述べる。
例えば、制御部４０１は、ベクター画像の平面上で損傷部分を表す線分のうち、線分と部材との距離がそれぞれ所定の距離：ｅ（ｃｍ）未満である線分と部材との組みを抽出する。なお、一例では、線分と部材との距離には、線分の始点および終点と、部材の長手方向の中心線との距離が用いられてよい。また、別の例では、線分と部材との距離には、線分と部材の長手方向の中心線との最短距離が用いられてよい。所定の距離：ｅ（ｃｍ）は、例えば、設計データ情報１３００に含まれる部材の平均的な幅等から、損傷から侵入した水が部材の劣化に影響を与え得ることが推定される距離に設定されてよい。
図８は、線分と部材との距離を例示する図である。図８に示す例では、鉄筋２に対して線分Ｐ２−Ｐ３と線分Ｐ３−Ｐ４が条件を満たすため、制御部４０１は、鉄筋２に対して線分Ｐ２−Ｐ３と線分Ｐ３−Ｐ４を抽出してよい。
続いて、制御部４０１は、損傷部分の延びる方向と、部材の延びる方向とが所定の角度範囲内で一致しているか否かを判定する。例えば、制御部４０１は、ベクター画像の平面において抽出した線分と、部材の中心線とが成す鋭角の角度が所定の角度：ｆ（度）以下であるか否かを判定してよい。
図９は、抽出した線分と、部材の中心線との角度の判定を例示する図である。図９（ａ）は、例えば、抽出した線分と、部材の中心線との延びる向きがある程度一致しており、抽出した線分と、部材の中心線とが成す鋭角の角度がｆ（度）以下の場合の例である。一方、図９（ｂ）は、例えば、抽出した線分と、部材の中心線とが大きく異なる方向に延びており、抽出した線分と、部材の中心線とが成す鋭角の角度がｆ（度）よりも大きい場合の例である。上述のように、発生した損傷から内部に侵入した水など部材に接触し、部材を腐食させたり劣化させたりして形状が変化すると、その形状変化に伴い損傷が部材に沿った方向に進行してしまうことがある。これは、例えば、部材の延びる方向と損傷の延びる方向とが近しい方向である場合、より起こりやすい。そのため、例えば、図９（ａ）に示すように、部材の延びる方向と、損傷の延びる方向とが成す鋭角の角度がｆ度以下であり、部材と損傷とが近しい方向に延びている場合、その損傷は、部材が延びる方向に進行すると予測することができる。一方、例えば、図９（ｂ）に示すように、部材の方向と、損傷の方向とが成す鋭角の角度がｆ度より大きい場合、損傷の拡大に部材があまり影響しないと推定できるため、損傷の進行は部材の影響を受けないと推定されてよい。なお、所定の角度は、例えば、９０度未満の数字であってよく、例えば、４５°であってよい。所定の角度は、例えば、その角度以下で損傷が延びる方向が、部材の延びる方向と一致していれば、部材に沿って損傷が拡がると推定される角度に設定されていてよい。そして、以上のようにして抽出した線分は、今後、部材が延びる方向に沿って損傷が進行する可能性があると予測することができる。
続いて、制御部４０１は、例えば、圧縮対象の画像データをｍ×ｎ個のセル領域に分割し、各セル２０にアドレス情報を付与してよい。そして、制御部４０１は、線分との重なり度合いが高く、また、延びる方向も所定の角度範囲内で一致していた鉄筋２を含むセル２０を、今後、損傷が拡がる可能性があるセルとして特定する。制御部４０１は、特定したセルのアドレス情報を後述する予測情報１６００に登録し、記憶部４０２に記憶してよい。
図１０は、損傷が拡がる可能性があるセル２０の予測を例示する図である。図１０において点線の枠１００１で囲われているセル２０が、鉄筋２を含むセル２０であり、損傷が拡がる可能性があると予測されたセル２０である。
なお、１枚の画像データは、一例では、コンクリートの１つの床版と対応づけられていてよい。これは、例えば、床版の一部に亀裂等の損傷が発生した場合、その損傷は床版の端まで拡がる可能性があるためである。そのため、損傷の予測は、例えば、床版単位で行われてよい。例えば、損傷の下に部材があり、損傷が部材に沿って延びることが予測された場合に、制御部４０１は、床板の端と対応する画像データの端まで、その部材を含むセル２０を損傷が拡がる可能性があるセル２０として特定してよい。また、別の実施形態では、例えば、腐食や劣化が進行する部材が、別の床版の下にも延びている場合、別の床版にも部材の腐食や劣化の影響で損傷が拡がることがある。そのため、別の実施形態では、例えば、時刻Ｔ１から時刻Ｔ２にかけての損傷の進行度合いから、別の画像において所定の年数後までの損傷の進行を予測して、損傷が拡がる可能性があると予測されるセル２０を特定してもよい。なお、実施形態に係る画像データは必ずしも床版単位でなくてもよく、別の実施形態では、床版の一部や、いくつか床版をまたがっていてもよい。
以上のように、実施形態では制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる構造物を構成する部材との重なり度合いに基づいて予測する。また、実施形態では制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる構造物を構成する部材とが延びる方向に基づいて予測する。それにより、制御部４０１は、損傷が拡がる可能性のあるセル２０を特定することができる。そのため、制御部４０１は、損傷が拡がる可能性のあるセル２０の領域を避けて画像データを適切に圧縮することができる。従って、実施形態によれば制御部４０１は、構造物の異常の検知精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。
図１１は、以上で述べた、実施形態に係る画像圧縮処理の一例を示す図である。図１１において、上段は、時刻Ｔ２において撮像された画像データと対応付けられている関連データに対する処理を示す。また、下段は、時刻Ｔ１における画像データに対する圧縮処理を示す。なお、時刻Ｔ２は、時刻Ｔ１よりも後の時刻である。制御部４０１は、例えば、時刻Ｔ１の画像を圧縮対象とする場合に、その時刻よりも後に撮影された時刻Ｔ２の関連データ１１を取得してよい。そして、制御部４０１は、取得した関連データ１１を複数のセル２０に分割する（図１１の（１））。例えば、制御部４０１は、関連データ１１を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に関連データ内での配置を示すアドレス情報を付与してよい。また、制御部４０１は、時刻Ｔ１の圧縮対象の画像データ１０を取得し、取得した画像データ１０を複数のセル２０に分割する（図１１の（２））。例えば、制御部４０１は、画像データ１０を、ｍ×ｎ個など所定の数のセル２０に分割し、分割した各セル２０に画像データ１０内での配置を示すアドレス情報を付与してよい。
続いて、制御部４０１は、分割した各セル２０のうちで、時刻Ｔ２の関連データに示される損傷が含まれるセル２０（図１１の１１０１）を特定し、特定したセル２０には圧縮対象としないことを示す「Ｆａｌｓｅ」を設定する。また、制御部４０１は、分割した各セル２０のうちで、時刻Ｔ２の関連データに示される損傷と、記憶部４０２に記憶された設計データとから、損傷が拡がる可能性のあるセル２０（図１１の１１０２）を特定する。そして、制御部４０１は、特定したセル２０には圧縮対象としないことを示す「Ｆａｌｓｅ」を設定する。また、制御部４０１は、その他のセルには、圧縮対象とすることを示す「Ｔｒｕｅ」を設定する（図１１の（３））。
そして、制御部４０１は、時刻Ｔ１に撮像された画像データ１０を分割したセル２０のうち、時刻Ｔ２の関連データ１１から特定された圧縮対象である「Ｔｒｕｅ」が設定されているセル２０の画像データを圧縮する（図１１の（４））。
続いて、制御部４０１は、「Ｆａｌｓｅ」に設定された位置にある未圧縮のセル２０と、「Ｔｒｕｅ」に設定された位置にある圧縮されたセル２０とを結合し、もとの画像データと対応する圧縮された画像データ３０を生成する（図１１の（５））。そのため、例えば、時刻Ｔ１の時点で損傷が含まれるセル２０と、設計データとから予測された損傷が拡がる可能性のある領域については、点検作業などに用いる画像として十分な品質を保つことができる。一方で、その他の領域のデータが圧縮することで、画像データのデータ量が削減された画像データ３０を生成することができる。従って、構造物の異常等の検出や監視の精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。
以上で述べた、実施形態に係る画像圧縮処理について更なる詳細を以下に説明する。
図１２は、実施形態に係る画像データ情報１２００の一例を示す図である。画像データ情報１２００には、例えば、点検対象となっている構造物において損傷等の異常を監視及び検出する対象の点検領域を写した画像に関するエントリが登録されていてよい。画像は、例えば、ドローンに撮像装置を取り付けて構造物の点検領域を撮像して得られた画像であってもよいし、高解像度望遠カメラを使用して点検領域を撮像して得られた画像であってもよい。画像データ情報１２００のエントリは、識別番号と、位置情報と、時刻情報と、画像データとを含んでいてよく、これらの情報は対応づけられている。識別番号は、画像データを一意に識別する情報である。位置情報は、画像データに写る点検領域の位置を示す情報である。時刻情報は、画像データを撮影した時刻を示す情報である。画像データは、エントリの位置情報で示される位置の点検領域を、時刻情報の時刻に撮像装置で撮像した画像データ１０である。画像データは、上述のように、一例では、コンクリートの１つの床版と対応づけられていてよい。また、別の例では画像データは、床版の一部や、いくつか床版をまたがった画像であってもよい。画像処理装置４００の記憶部４０２には、例えば、画像データ情報１２００が記憶されていてよい。
図１３は、設計データ情報１３００を例示する図である。設計データ情報１３００は、例えば、道路の舗装面、橋梁、トンネルなどの点検対象の構造物の設計図に関するデータが登録されている。設計データ情報１３００には、例えば、部材識別情報、及び構造情報を含むエントリが登録されている。部材識別情報は、例えば、構造物に使用されている鉄筋、鉄骨、コンクリートなどの部材を識別するための識別情報である。構造情報は、エントリの部材識別情報で識別される部材の構造物における位置や配置を示す情報であり、一例では、３次元空間上での部材の各頂点の位置座標や辺の情報など部材の輪郭を示す情報であってよい。例えば、部材が円柱状の鉄筋である場合には、部材の中心線の端部の位置座標と、中心線からの半径の情報が構造情報に登録されていてよい。画像処理装置４００の記憶部４０２には、例えば、以上のような設計データ情報１３００が記憶されていてよい。
図１４は、実施形態に係る損傷進行予測処理９００１の動作フローを例示する図である。制御部４０１は、例えば、損傷進行予測処理９００１の実行指示が入力されると、図１４の動作フローを実行してよい。
ステップ１４０１（なお、以降、ステップを“Ｓ”と記載し、例えば、Ｓ１４０１と表記する）において制御部４０１は、画像データ情報１２００から画像データを読み出す。制御部４０１は、例えば、ユーザから損傷の拡がりの予測に用いる画像データとして指定されている時刻Ｔ２に撮像された画像データを読み出してよい。Ｓ１４０２において制御部４０１は、読み出した画像データを解析し、読み出した画像データに写る構造物の領域に損傷が含まれているか否かを判定する。画像データに損傷が含まれている場合（Ｓ１４０２がＹｅｓ）、フローはＳ１４０３に進む。
Ｓ１４０３において制御部４０１は、損傷が含まれている画像データを解析して損傷部分を特定し、損傷部分の形状を表すベクターデータを生成して、画像データと対応付けて記憶部４０２に記憶する。例えば、制御部４０１は、画像データ情報１２００の対応する画像データが含まれるエントリに、ベクターデータを追加し、損傷部分データ１５００を生成してよい。
図１５は、実施形態に係る損傷部分データ１５００を例示する図である。損傷部分データ１５００では、画像データ情報１２００の各エントリのうち損傷が検出されたエントリには、その損傷の形状を表すベクターデータが追加されている。損傷部分データ１５００には、例えば、識別番号と、位置情報と、時刻情報と、画像データと、その画像データと対応づけられるベクターデータとを含むエントリが登録されている。識別番号、位置情報、時刻情報、及び画像データについては、図１２で述べたのと同様のデータであってよい。画像データと対応するベクターデータは、エントリの位置情報に示される位置で、時刻情報に示される時刻に撮像装置で撮像された画像のデータから検出された損傷のベクターデータであってよい。
また、Ｓ１４０４において制御部４０１は、ベクターデータで表される損傷を所定の長さの線分で表す。制御部４０１は、例えば、上述の図６で述べた様に、損傷データ上の任意の点から、所定の長さの位置にある損傷データ上の点までの線分で損傷のデータを区切り、損傷を線分で表してよい。
Ｓ１４０５において制御部４０１は、設計データ情報１３００から構造物の設計データを読み出す。そして、制御部４０１は、設計データ情報１３００で規定された構造物を３次元にモデリングし、その構造物に画像データを位置合わせする。例えば、制御部４０１は、構造物の３次元構造モデルと、画像データ上の所定の点とを位置合わせし、テクスチャマッピングの技術を用いて、３次元構造モデルに画像を張り付けてよい。
Ｓ１４０６において制御部４０１は、張り付けた画像データを透過させた際に、画像データ上のコンクリートなどの損傷を有する点検対象部材から所定の距離以内にある部材を特定する。制御部４０１は、例えば、上述の図７で述べた様に、点検対象部材の表面から所定の距離ｄ（ｃｍ）以内の深さ見える部材を特定してよい。
Ｓ１４０７において制御部４０１は、特定した部材と、所定の条件を満たす重なり度合いで重なる線分を特定する。例えば、制御部４０１は、特定した部材と、所定の距離以内にある線分を特定してよい。制御部４０１は、例えば、図８を参照して述べた様に、ベクターデータの平面上で線分の始点および終点と部材の中心線との距離がそれぞれ所定の距離：ｅ（ｃｍ）未満である線分と部材の組みを抽出してよい。なお、所定の距離：ｅ（ｃｍ）は、例えば、その距離で部材から離れた位置にある損傷から水などが侵入した場合に、水が部材を劣化させ得ると推定される距離に設定されてよい。
Ｓ１４０８において制御部４０１は、例えば、抽出した線分と部材の組みが成す角度を特定する。例えば、制御部４０１は、線分と、部材の中心線とがベクターデータの平面上でなす角度のうち鋭角を特定してよい。そして、Ｓ１４０９において制御部４０１は、特定した角度が所定の角度以下か否かを判定する。なお、所定の角度は、例えば、９０度未満の数字であってよく、例えば、４５°であってよい。所定の角度は、例えば、その角度以下で損傷が延びる方向が、部材の延びる方向と一致していれば、部材に沿って損傷が拡がると推定される角度に設定されていてよい。なお、鋭角を用いるのは例示であり、実施形態はこれに限定されるものではく、別の実施形態では、鈍角を用いて別な閾値で判定が行われてもよい。
Ｓ１４０９において特定した角度が所定の角度よりも大きい場合（Ｓ１４０９がＮｏ）、その線分に対する処理は終了する。一方、Ｓ１４０９において特定した角度が所定の角度以下である場合（Ｓ１４０９がＹｅｓ）、フローはＳ１４１０に進む。
Ｓ１４１０において制御部４０１は、重なり度合いがＳ１４０７の所定の条件を満たす重なり度合いであり、角度がＳ１４０９の所定の角度以下で線分と同じ方向に延びると判定された部材を特定する。Ｓ１４１１において制御部４０１は、ベクターデータを所定サイズのセルに分割する。例えば、制御部４０１は、所定サイズのベクターデータを、横軸でｍ個のセルに分割してｍの値で区別し、縦軸でｎ個のセルに分割してｎの値で区別し、各セルを（ｍ，ｎ）で識別するようにアドレス情報を付与してよい。
Ｓ１４１２において制御部４０１は、ベクターデータを分割して得た複数のセル２０のうちで、ベクターデータを透過して見た場合に、Ｓ１４１０で特定した部材を含むセル２０を特定する。なお、このセル２０は、例えば、損傷に起因する構造物の劣化で損傷が拡がる可能性のあると予測されたセルである。
Ｓ１４１３において制御部４０１は、Ｓ１４１２で特定したセルには損傷が拡がる可能性があり、圧縮しないことを示す「Ｆａｌｓｅ」を設定する。また、制御部４０１は、損傷を含むセルにも「Ｆａｌｓｅ」を設定してよい。制御部４０１は、その他のセルには、損傷が拡がる可能性が少なく、圧縮することを示す「Ｔｒｕｅ」を設定する。そして、各セルに対する「Ｔｒｕｅ」又は「Ｆａｌｓｅ」の設定が登録された予測情報１６００を出力し、本動作フローは終了する。
図１６は、実施形態に係る或る識別情報で識別される画像データに対する予測情報１６００を例示する図である。予測情報１６００には、画像データと対応付けてセル２０の配置を示すアドレス情報と、損傷及び損傷の予測と対応している圧縮対象か否かを示す圧縮情報を対応付けたエントリが登録されている。例えば、制御部４０１は、Ｓ１４１３で、以上の予測情報１６００を出力してよい。従って、制御部４０１は、損傷が拡がる可能性があると予測されたセルの範囲を示す情報を出力することができる。なお、上述の実施形態では、損傷を含むセルと、損傷が拡がる可能性のあるセルとの両方に、同じ値「Ｆａｌｓｅ」を設定しているが、別の実施形態では、制御部４０１は、異なる値を設定してもよい。例えば、制御部４０１は、損傷が予測されたセルを特定可能な予測情報１６００を出力してもよい。
また、Ｓ１４０２において画像データに損傷が含まれていない場合（Ｓ１４０２がＮｏ）、フローはＳ１４１３に進み、制御部４０１は、予測情報１６００を出力して、本動作フローは終了する。この場合、予測情報１６００のエントリの損傷予測は、全て「Ｔｒｕｅ」に設定されてよい。出力された予測情報１６００は、例えば、記憶部４０２に記憶されてよい。
以上で述べた様に、図１４の動作フローによれば、制御部４０１は、設計データに基づき損傷が拡大する範囲を予測することができる。そして、制御部４０１は、予測した範囲を出力することができる。そのため、制御部４０１は、予測された損傷が拡大する範囲の情報を用いて、損傷が拡がる可能性のあるセルを避けて画像データを適切に圧縮することができる。従って、実施形態によれば制御部４０１は、構造物の異常の検知精度の低下を抑止しつつ、画像データのデータ容量を減らすことができる。
また、図１４の動作フローでは、制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる部材との重なり度合いに応じて予測しているため、損傷が拡大する範囲の予測精度を高めることができる。同様に、図１４の動作フローでは、制御部４０１は、損傷が拡大する範囲を、損傷部分と設計データに含まれる部材との延びる方向に応じて予測しているため、損傷が拡大する範囲の予測精度を高めることができる。
続いて、実施形態に係る画像圧縮処理を説明する。図１７は、実施形態に係る画像圧縮処理の動作フローを例示する図である。制御部４０１は、例えば、画像圧縮処理の実行指示が入力されると、図１７の動作フローを開始してよい。
Ｓ１７０１において制御部４０１は、圧縮対象の画像データを画像データ情報１２００から読み出す。例えば、制御部４０１は、ユーザから圧縮対象の画像データとして指定されている時刻Ｔ１に撮像された画像データを読み出してよい。Ｓ１７０２において制御部４０１は、読み出した画像データをｍ×ｎ個のセル領域に分割して保存し、各セルにアドレス情報を付与する。一例では、制御部４０１は、横軸にｍ個のセルを分割してｍの値で区別し、縦軸にｎ個のセルを分割してｎの値で区別し、各セルを（ｍ，ｎ）で識別するようにアドレス情報を付与してよい。なお、Ｓ１７０２でセル２０に付与されるアドレス情報は、図１４のＳ１４１１でベクターデータのセルに付与されるアドレス情報と対応していてよい。換言すると、画像データは、対応するベクターデータと同じように分割されてよい。
Ｓ１７０３において制御部４０１は、画像データを分割して得られた複数のセルのうち、未処理のセルを１つ選択する。Ｓ１７０４において制御部４０１は、選択したセルのアドレス情報と予測情報１６００において対応づけられる圧縮情報が、損傷を含む又は損傷が拡がる可能性のある「Ｆａｌｓｅ」か否かを判定する。セルの圧縮情報が、損傷を含む又は損傷が拡がる可能性のある「Ｆａｌｓｅ」に設定されている場合（Ｓ１７０４がＹｅｓ）、フローはＳ１７０６に進む。一方、圧縮情報が、損傷を含む又は損傷が拡がる可能性のない「Ｔｒｕｅ」に、設定されている場合（Ｓ１７０４がＮｏ）、フローはＳ１７０５に進む。
Ｓ１７０５において制御部４０１は、選択したセルの画像を圧縮する。例えば、制御部４０１は、圧縮情報が「Ｔｒｕｅ」に設定されたセルの画像の解像度をより低く変更することで、データ量を削減してよい。なお、別な実施形態では、損傷を含む、又は損傷が拡がる可能性のあると予測された「Ｆａｌｓｅ」に設定されているセルよりも、「Ｔｒｕｅ」に設定されたその他のセルに、より高い圧縮率を適用してもよい。この場合にも、画像データの損傷が拡がる可能性の高い領域のデータの劣化を抑えつつ、画像データのデータ量を削減して、画像データを効率良く保存することができる。
Ｓ１７０６において制御部４０１は、画像データ内のすべてのセルに処理を実行したか否かを判定する。未処理のセルがある場合、フローはＳ１７０３に戻り、未処理のセルを選択して処理を繰り返す。一方、全てのセルの処理が完了している場合、フローはＳ１７０７に進む。
Ｓ１７０７において制御部４０１は、処理後の複数のセルを、アドレス情報に従って結合し、それにより、元の画像データと対応する圧縮された画像データを生成し、本動作フローは終了する。
以上で述べた様に、実施形態によれば、制御部４０１は、構造物に発生している損傷と、構造物の設計データとから、損傷が拡がる可能性のある領域を予測する。そして、制御部４０１は、損傷が拡がる可能性のある領域を出力する。そのため、制御部４０１は、例えば、画像データ内で損傷が拡がる可能性の低い領域を特定し、その領域のデータを圧縮するなどして画像データのデータサイズを低減することができる。従って、実施形態によれば、画像データの損傷が拡がる可能性の高い領域のデータの劣化を抑えつつ、画像データのデータ量を削減して、画像データを効率良く保存することができる。
上述の実施形態において、図１４のＳ１４０２の処理で、制御部４０１は、例えば、特定部４１１として動作する。また、図１４のＳ１４１２の処理で、制御部４０１は、例えば、予測部４１２として動作する。
以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、又は、一部の処理が省略されてもよい。例えば、図１４のＳ１４１１の処理はＳ１４０３の処理の前など、Ｓ１４１１よりも前の段階で実行されてもよい。
図１８は、実施形態に係る画像処理装置４００を実現するための画像処理装置４００のハードウェア構成を例示する図である。図１８の画像処理装置４００を実現するためのハードウェア構成は、例えば、プロセッサ１８０１、メモリ１８０２、記憶装置１８０３、読取装置１８０４、通信インタフェース１８０６、及び入出力インタフェース１８０７を備える。なお、プロセッサ１８０１、メモリ１８０２、記憶装置１８０３、読取装置１８０４、通信インタフェース１８０６、入出力インタフェース１８０７は、例えば、バス１８０８を介して互いに接続されている。
プロセッサ１８０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１８０１は、メモリ１８０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、例えば、特定部４１１及び予測部４１２など、上述した制御部４０１の一部または全部の機能を提供する。
メモリ１８０２は、例えば半導体メモリであり、ＲＡＭ領域及びＲＯＭ領域を含んでいてよい。記憶装置１８０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、又は外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。
読取装置１８０４は、プロセッサ１８０１の指示に従って着脱可能記憶媒体１８０５にアクセスする。着脱可能記憶媒体１８０５は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などにより実現される。なお、ＵＳＢは、Universal Serial Busの略称である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。
記憶部４０２は、例えばメモリ１８０２、記憶装置１８０３、及び着脱可能記憶媒体１８０５を含んでいる。画像処理装置４００の記憶装置１８０３には、例えば、画像データ情報１２００、設計データ情報１３００、損傷部分データ１５００、予測情報１６００が格納されている。
通信インタフェース１８０６は、例えば、プロセッサ１８０１の指示に従ってネットワークを介してデータを送受信する。入出力インタフェース１８０７は、例えば、入力装置及び出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボードやマウスなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、及びスピーカなどの音声装置である。
実施形態に係る各プログラムは、例えば、下記の形態で画像処理装置４００に提供される。
（１）記憶装置１８０３に予めインストールされている。
（２）着脱可能記憶媒体１８０５により提供される。
（３）プログラムサーバなどのサーバから提供される。
なお、図１８を参照して述べた画像処理装置４００を実現するためのハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の一部または全部の機能がＦＰＧＡ及びＳｏＣなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。
以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。
４００ ：画像処理装置
４０１ ：制御部
４０２ ：記憶部
４１１ ：特定部
４１２ ：予測部
１８００ ：コンピュータ
１８０１ ：プロセッサ
１８０２ ：メモリ
１８０３ ：記憶装置
１８０４ ：読取装置
１８０５ ：着脱可能記憶媒体
１８０６ ：通信インタフェース
１８０７ ：入出力インタフェース
１８０８ ：バス

Claims (7)

  1. 構造物の撮像画像を解析して損傷部分を特定し、
    前記撮像画像のうち、特定した前記損傷部分と、前記構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する、
    処理をコンピュータに実行させることを特徴とする画像処理プログラム。
  2. 予測した前記範囲を出力する、
    処理をコンピュータに実行させることを特徴とする請求項１記載の画像処理プログラム。
  3. 異なる時点で撮像された前記構造物の撮像画像の一部又は全部について圧縮処理を施す際に、予測した前記範囲に含まれる画像部分よりも、予測した前記範囲に含まれない範囲について、より高い圧縮率を適用する、
    ことを特徴とする請求項１記載の画像処理プログラム。
  4. 前記損傷が拡大する範囲を、前記損傷部分と前記設計データに含まれる前記構造物を構成する部材との重なり度合いに応じて予測する、
    処理をコンピュータに実行させる請求項１から３のいずれか１項に記載の画像処理プログラム。
  5. 前記損傷が拡大する範囲を、前記損傷部分の延びる方向と前記設計データに含まれる前記構造物を構成する部材の延びる方向とに応じて予測する、
    処理をコンピュータに実行させる請求項１から３のいずれか１項に記載の画像処理プログラム。
  6. コンピュータにより実行される画像処理方法であって、
    構造物の撮像画像を解析して損傷部分を特定し、
    前記撮像画像のうち、特定した前記損傷部分と、前記構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する、
    ことを特徴とする画像処理方法。
  7. 構造物の撮像画像を解析して損傷部分を特定する特定部と、
    前記撮像画像のうち、特定した前記損傷部分と、前記構造物に対応付けられた設計データに基づき損傷が拡大する範囲を予測する予測部と、
    を含む、画像処理装置。
JP2019561403A 2017-12-25 2017-12-25 画像処理プログラム、画像処理方法、および画像処理装置 Active JP6901008B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/046432 WO2019130391A1 (ja) 2017-12-25 2017-12-25 画像処理プログラム、画像処理方法、および画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2019130391A1 true JPWO2019130391A1 (ja) 2020-09-03
JP6901008B2 JP6901008B2 (ja) 2021-07-14

Family

ID=67066767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019561403A Active JP6901008B2 (ja) 2017-12-25 2017-12-25 画像処理プログラム、画像処理方法、および画像処理装置

Country Status (5)

Country Link
US (1) US11474047B2 (ja)
EP (1) EP3734547B1 (ja)
JP (1) JP6901008B2 (ja)
CN (1) CN111566696A (ja)
WO (1) WO2019130391A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047461A (ja) * 2017-09-07 2019-03-22 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
EP3865814A4 (en) * 2018-10-12 2021-12-08 Panasonic Intellectual Property Management Co., Ltd. PREDICTION DEVICE AND PREDICTION METHOD
US11580800B2 (en) * 2018-11-08 2023-02-14 Verizon Patent And Licensing Inc. Computer vision based vehicle inspection report automation
CN116090838B (zh) * 2023-04-07 2023-06-09 协筑科技(厦门)有限公司 一种基于摄像头的工地自动巡检系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2016090547A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集装置及びひび割れ情報を収集するためのサーバ装置
WO2017051554A1 (ja) * 2015-09-25 2017-03-30 富士フイルム株式会社 メンテナンス計画立案支援システム、方法およびプログラム
WO2017217185A1 (ja) * 2016-06-14 2017-12-21 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3819263A (en) * 1972-03-27 1974-06-25 Xerox Corp Cleaning apparatus
JPS62281582A (ja) 1986-05-30 1987-12-07 Hitachi Ltd 画像デ−タ圧縮方式
US4947447A (en) 1986-04-24 1990-08-07 Hitachi, Ltd. Method for data coding
JP4153675B2 (ja) * 2001-04-10 2008-09-24 三菱重工業株式会社 材料寿命の評価システム、及び、その評価方法
JP3886865B2 (ja) * 2001-11-09 2007-02-28 三菱重工業株式会社 金属材料の損傷評価方法及び装置
JP4107875B2 (ja) 2002-05-10 2008-06-25 三菱化学株式会社 建造物塗装面の劣化診断方法
JPWO2006126617A1 (ja) * 2005-05-24 2008-12-25 国立大学法人 北海道大学 損傷評価装置および損傷評価方法
MX2009010869A (es) * 2007-04-12 2009-11-26 Nippon Steel Corp Metodo de prediccion de fractura, dispositivo de procesamiento de calculo, programa y medio de registro.
KR20110094619A (ko) * 2010-02-17 2011-08-24 서울시립대학교 산학협력단 콘크리트 보의 처짐 추정 방법
JP5780817B2 (ja) 2011-04-20 2015-09-16 国立大学法人福島大学 塗膜劣化予測方法、塗膜劣化予測装置及びコンピュータプログラム
US9488592B1 (en) * 2011-09-28 2016-11-08 Kurion, Inc. Automatic detection of defects in composite structures using NDT methods
US9977978B2 (en) * 2011-11-14 2018-05-22 San Diego State University Research Foundation Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery
JP5892254B2 (ja) * 2012-08-31 2016-03-23 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
EP2891875B1 (en) * 2012-08-31 2018-06-27 The Chugoku Electric Power Co., Inc. Fissure progress estimation method and information processing device
US9159132B1 (en) * 2012-12-07 2015-10-13 Ricky Carl Crowsey Process and system for identifying damage
US9285296B2 (en) * 2013-01-02 2016-03-15 The Boeing Company Systems and methods for stand-off inspection of aircraft structures
US8874454B2 (en) * 2013-03-15 2014-10-28 State Farm Mutual Automobile Insurance Company Systems and methods for assessing a roof
JP5688533B1 (ja) * 2014-01-23 2015-03-25 デ・ファクト・スタンダード合同会社 コンクリート構造物維持管理システム
US9892219B2 (en) * 2014-01-28 2018-02-13 Rolls-Royce Corporation Using fracture mechanism maps to predict time-dependent crack growth behavior under dwell conditions
JP5740509B1 (ja) * 2014-04-21 2015-06-24 ジオ・サーチ株式会社 鋼床版舗装の損傷を探査する方法
JP2016090548A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集方法及びひび割れ情報収集プログラム
CA2985456A1 (en) * 2015-05-18 2016-11-24 Nippon Steel & Sumitomo Metal Corporation Breaking prediction method, program, recording medium, and arithmetic processing device
EP3352129B1 (en) 2015-09-16 2019-10-02 FUJIFILM Corporation Soundness determination device, soundness determination method and soundness determination program
US20180306689A1 (en) * 2015-11-05 2018-10-25 Sony Corporation Information processing apparatus, information processing method, and program
WO2017110278A1 (ja) 2015-12-25 2017-06-29 富士フイルム株式会社 情報処理装置及び情報処理方法
JP6550150B2 (ja) * 2016-01-15 2019-07-24 富士フイルム株式会社 計測支援装置及び計測支援方法
CN109073362B (zh) * 2016-04-27 2020-11-27 富士胶片株式会社 指标生成方法、测定方法及指标生成装置
CN106840877B (zh) * 2017-01-22 2019-02-12 北京工业大学 一种基于应力的多轴小裂纹全寿命预测方法
US9805261B1 (en) * 2017-02-27 2017-10-31 Loveland Innovations, LLC Systems and methods for surface and subsurface damage assessments, patch scans, and visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006222A (ja) * 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2016090547A (ja) * 2014-11-11 2016-05-23 株式会社東芝 ひび割れ情報収集装置及びひび割れ情報を収集するためのサーバ装置
WO2017051554A1 (ja) * 2015-09-25 2017-03-30 富士フイルム株式会社 メンテナンス計画立案支援システム、方法およびプログラム
WO2017217185A1 (ja) * 2016-06-14 2017-12-21 富士フイルム株式会社 サーバ装置、画像処理システム及び画像処理方法

Also Published As

Publication number Publication date
US20200300779A1 (en) 2020-09-24
CN111566696A (zh) 2020-08-21
EP3734547B1 (en) 2022-01-05
EP3734547A1 (en) 2020-11-04
US11474047B2 (en) 2022-10-18
EP3734547A4 (en) 2021-03-24
JP6901008B2 (ja) 2021-07-14
WO2019130391A1 (ja) 2019-07-04

Similar Documents

Publication Publication Date Title
JP6901008B2 (ja) 画像処理プログラム、画像処理方法、および画像処理装置
Duque et al. Bridge deterioration quantification protocol using UAV
Kim et al. Automated bridge component recognition from point clouds using deep learning
US20180292328A1 (en) Information processing device and information processing method
US20160133008A1 (en) Crack data collection method and crack data collection program
US11714024B2 (en) Vision-based fatigue crack detection using feature tracking
Kromanis et al. A multiple camera position approach for accurate displacement measurement using computer vision
US11585721B2 (en) Displacement component detection apparatus, displacement component detection method, and computer-readable recording medium
US20160133007A1 (en) Crack data collection apparatus and server apparatus to collect crack data
CN111143932A (zh) 一种桥梁健康状态的评估方法、装置、系统和设备
Zhang et al. Computer‐vision‐based differential remeshing for updating the geometry of finite element model
JP7045721B2 (ja) 写真画像に映ったトンネル内の壁面の位置を同定する同定装置、同定方法、ならびに、プログラム
EP3709264B1 (en) Information processing apparatus and accumulated images selecting method
US20220136979A1 (en) Information processing apparatus, information processing method, and non- transitory computer-readable storage medium
JP7351849B2 (ja) 構造物の損傷原因推定システム、損傷原因推定方法、及び損傷原因推定サーバ
US11587299B2 (en) Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
Malek et al. Methodology to integrate augmented reality and pattern recognition for crack detection
Pan et al. 3D vision-based bolt loosening assessment using photogrammetry, deep neural networks, and 3D point-cloud processing
KR20240051806A (ko) 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법
CN111539286A (zh) 衬砌线识别方法、装置及可读存储介质
KR20160120955A (ko) 수변구조물 피해탐지를 위한 대용량 다차원 영상정보 가시화 모듈 개발
WO2023047859A1 (ja) 情報処理装置、方法及びプログラム、並びに、画像データ構造
Buatik et al. Image-based multiview change detection in concrete structures
WO2023135707A1 (ja) 情報処理装置、検出方法、及び検出プログラム
CN110992359B (zh) 一种基于深度图的混凝土裂缝检测方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210531

R150 Certificate of patent or registration of utility model

Ref document number: 6901008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150