JPWO2019150872A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JPWO2019150872A1
JPWO2019150872A1 JP2019568946A JP2019568946A JPWO2019150872A1 JP WO2019150872 A1 JPWO2019150872 A1 JP WO2019150872A1 JP 2019568946 A JP2019568946 A JP 2019568946A JP 2019568946 A JP2019568946 A JP 2019568946A JP WO2019150872 A1 JPWO2019150872 A1 JP WO2019150872A1
Authority
JP
Japan
Prior art keywords
image
detection result
confirmation target
images
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019568946A
Other languages
English (en)
Other versions
JP7050824B2 (ja
Inventor
修平 堀田
修平 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019150872A1 publication Critical patent/JPWO2019150872A1/ja
Application granted granted Critical
Publication of JP7050824B2 publication Critical patent/JP7050824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/38—Concrete; ceramics; glass; bricks
    • G01N33/383—Concrete, cement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Abstract

本発明は、ユーザが損傷の検出結果を効率的に確認及び修正できる画像処理装置及び画像処理方法を提供することを目的とする。本発明の一態様に係る画像処理装置は、被写体を分割撮影した複数の画像を入力する画像入力部と、複数の画像を構成する個々の画像である個別画像から被写体の損傷を検出する損傷検出部と、個別画像を、個別画像についての検出の結果をユーザに確認させる確認対象画像とするか否かを判断する画像判断部と、確認対象画像または確認対象画像の一部の領域を表示装置の表示領域に合わせて切り出した部分画像を、確認対象画像または部分画像における検出の結果と関連付けて表示装置に表示させる表示制御部と、ユーザの指示入力に基づいて検出の結果を修正する検出結果修正部と、を備える。

Description

本発明は被写体を撮影した画像から被写体の損傷を検出する画像処理装置及び画像処理方法に関する。
画像処理の分野では、建築物、建造物等の被写体を撮影し、得られた画像から被写体の損傷（ひび割れ、腐食、剥離等）を検出する技術が知られている。損傷の検出において、被写体（例えば橋梁、道路、ビル等）によっては、撮影により取得した多数の画像に基づいて広い範囲（検査範囲全体またはその一部）を示す合成画像が作成される。例えば特許文献１では、橋梁を撮影して得られた画像からひび割れを検出し、ひび割れの広範囲分布図を作成することが記載されている。
特開２００１−９９７８４号公報
画像から損傷を検出する場合、被写体の特徴、撮影条件等に起因して検出漏れ及び／または誤検出が存在する可能性があり、ユーザが検出結果を確認及び修正する場合がある。このような確認及び修正において、被写体の大きさ、検査範囲等の条件によっては大量の画像が撮影される。しかしながら、全ての画像を確認及び修正する場合、確認及び修正の必要性が低い画像（例えば、損傷が正しく検出されている画像）まで対象とすることになり、多大な手間が掛かる作業となる。
また、確認及び修正において広い範囲を示す合成画像を対象とすると、以下の問題が生じる場合がある。例えば合成画像を原寸大で表示し拡大、スクロール等して確認する場合、ユーザはどこまで確認できたか分からなくなり確認漏れ、確認の重複（同じ領域を複数回確認してしまうこと）等を起こすおそれがある。また、被写体の大きさによっては合成画像の画像サイズ（画像処理装置のメモリ使用量）が大きくなり画面表示が遅くなる、あるいは表示ができなくなる、等の問題が起きるおそれがある。一方、合成画像を縮小して確認する場合は、解像度が低下し損傷の確認が困難になるおそれがあり、また合成時の画像処理（複数の画像が重複する領域における重ね合わせ、あおり補正など）によっては合成前の画像で確認できていた損傷が合成画像では確認できなくなる可能性もある。
しかしながら上述の特許文献１では、小区分ごとに出力表示すること、及び各小区分を縮小または拡大することについて記載されているだけであり、確認及び修正の手間を削減することについては考慮されていない。
このように、従来の技術は損傷の検出結果を効率的に確認及び修正できるものではなかった。
本発明はこのような事情に鑑みてなされたもので、ユーザが損傷の検出結果を効率的に確認及び修正できる画像処理装置及び画像処理方法を提供することを目的とする。
上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、被写体を分割撮影した複数の画像を入力する画像入力部と、複数の画像を構成する個々の画像である個別画像から被写体の損傷を検出する損傷検出部と、個別画像を、個別画像についての検出の結果をユーザに確認させる確認対象画像とするか否かを判断する画像判断部と、確認対象画像または確認対象画像の一部の領域を表示装置の表示領域に合わせて切り出した部分画像を、確認対象画像または部分画像における検出の結果と関連付けて表示装置に表示させる表示制御部と、ユーザの指示入力に基づいて検出の結果を修正する検出結果修正部と、を備える。
第１の態様では、個別画像のうち、「検出結果をユーザに確認させる」と判断された確認対象画像または確認対象画像の一部の領域を切り出した部分画像についての検出結果を表示装置に表示させてユーザに確認させ、ユーザの指示入力に基づいて修正する。そのため検出結果を確認すべき画像が明確であり、そのような画像についての検出結果をユーザの指示入力に基づいて修正することで、確認及び修正の手間を削減することができる。なお検出結果の「修正」として、画像処理装置は、例えば追加（検出漏れした損傷の情報を加える）、訂正（不適切な検出結果を適切な結果に正す）、削除（誤検出された損傷の情報を削除する）を行うことができる。画像処理装置は、ユーザの指示入力に基づいてこれらの「修正」を行う。
画像処理装置（表示制御部）は、表示領域の解像度に合わせて確認対象画像からの部分画像を切り出すことができる。例えば、確認対象画像の画素数（解像度）が表示領域の画素数（解像度）以下の場合は確認対象画像を表示し、確認対象画像の画素数が表示領域の画素数を超える場合は確認対象画像の一部を切り出して部分画像とすることができる。これにより表示する画像の画素数（解像度）が低下せず、画像の縮小により損傷が確認しづらくなる、あるいは確認できなくなることがない。このためユーザは検出結果の確認及び修正を正確に行うことができる。
なお、第１の態様において、表示制御部が画像（確認対象画像または部分画像）と検出結果を「関連付けて表示する」には、画像と、その画像における検出結果を示す情報（文字、数字、図形、記号等）とを重ね合わせて表示することが含まれる。表示制御部は、検出結果を示す情報を、損傷の程度に応じて異なる色彩及び／または明度で表示してもよい。検出結果を示す情報の表示をユーザの指示に応じてＯＮ／ＯＦＦしてもよい。
このように、第１の態様によればユーザは損傷の検出結果を効率的に確認及び修正することができる。
第２の態様に係る画像処理装置は第１の態様において、表示制御部は、複数の画像のうちの非確認対象画像及び非確認対象画像における検出の結果を、確認対象画像及び確認対象画像における検出の結果と識別して表示装置に表示させる。第２の態様では、表示制御部が確認対象画像と非確認対象画像、及びそれらの画像における検出結果を識別表示させるので、ユーザは確認対象画像及びその検出結果を容易に把握でき、検出結果の確認及び修正を効率的に行うことができる。なお、第２の態様及び以下の各態様において、被写体を撮影した複数の画像のうちの、確認対象画像でない画像を「非確認対象画像」とすることができる。
第３の態様に係る画像処理装置は第１または第２の態様において、表示制御部は、１つの確認対象画像における検出の結果をユーザが確認及び／または修正したことを示す指示入力に応じて他の確認対象画像及び他の確認対象画像における検出の結果を表示する。第３の態様では、表示制御部が１つの確認対象画像における検出結果の確認及び／または修正を示す指示入力に応じて他の画像の結果を表示するので、確認漏れが生じるおそれを低減することができる。
第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、表示制御部は、１つの確認対象画像の全ての領域について検出の結果が確認及び／または修正されてから、他の確認対象画像及び他の確認対象画像における検出の結果を表示する。第４の態様では、表示制御部が１つの確認対象画像の全ての領域について検出結果が確認及び／または修正されてから他の確認対象画像及びその画像についての検出結果を表示するので、確認漏れが生じるおそれを低減することができる。
第５の態様に係る画像処理装置は第１から第４の態様のいずれか１つにおいて、画像判断部は、個別画像の画質、検出の結果、撮影条件、及び被写体の構造のうち少なくとも１つに基づいて判断を行う。第５の態様は、個別画像を確認対象画像とするか否かの具体的判断基準を示すものである。
第６の態様に係る画像処理装置は第５の態様において、画像判断部は、機械学習により構成した画質評価器による評価結果、個別画像の空間周波数スペクトル、及び個別画像の濃度ヒストグラムのうち少なくとも１つに基づいて画質を求める。第６の態様は、画質の具体的判断基準を示すものである。
第７の態様に係る画像処理装置は第１から第６の態様のいずれか１つにおいて、画像判断部は、個別画像における、実際に損傷である確信度がしきい値以上である検出の結果の数及び／または密度に基づいて判断を行う。第７の態様では、画像判断部は、例えば確信度がしきい値以上である検出結果の数が少ない画像、及び／または確信度がしきい値以上である検出結果の密度が低い画像を確認対象画像と判断することができる。このような画像では検出漏れ、誤検出等が生じている可能性が高いので、確認対象画像と判断することにより、ユーザは検出結果を効率的に確認及び修正することができる。
第８の態様に係る画像処理装置は第７の態様において、表示制御部は、確信度に応じて検出の結果を識別表示する。第８の態様によれば、ユーザは識別表示により検出結果の確信度を容易に把握することができ、確信度が低い検出結果を選択的、重点的に確認する等の対応が可能となる。このため、ユーザは検出結果を効率的に確認及び修正することができる。なお、第８の態様において検出結果の識別表示は、例えば、表示制御部が検出結果を示す文字、数字、図形、記号、色彩、明度等を確信度に応じて変化させることにより行うことができる。
第９の態様に係る画像処理装置は第７または第８の態様において、表示制御部は、確認対象画像または部分画像において確信度がしきい値以上である検出の結果が存在する領域を識別表示する。第９の態様によれば、ユーザは識別表示により検出結果の確信度が高い（しきい値以上）領域と確信度が低い（しきい値未満）領域とを容易に識別することができ、これにより例えば確信度が低い検出結果を選択的に、あるいは重点的に確認及び修正する等の対応が可能となる。
第１０の態様に係る画像処理装置は第１から第９の態様のいずれか１つにおいて、画像判断部は個別画像の被写界深度を算出する被写界深度算出部を備え、画像判断部は、個別画像が被写界深度の範囲外である領域を含む場合に、個別画像を確認対象画像とすると判断する。被写界深度の範囲外である（例えば、合焦度がしきい値よりも低い）領域は画像のボケにより検出漏れ、誤検出等が生じる可能性が高く、そのため確認及び／または修正の必要性が高い。このような観点から、第１０の態様では、画像判断部は個別画像が被写界深度の範囲外である領域を含む場合に確認対象画像と判断しており、これによりユーザは検出結果を効率的に確認及び修正することができる。
第１１の態様に係る画像処理装置は第１０の態様において、被写界深度算出部は、確認対象画像における被写体の撮影角度及び確認対象画像における合焦位置に基づいて被写界深度を算出する。合焦位置から被写体との角度変化方向に離れた領域が被写界深度から外れてボケるため、第１１の態様のように被写界深度を算出することが好ましい。
第１２の態様に係る画像処理装置は第１０または第１１の態様において、被写界深度算出部は、被写体の撮影角度、被写体の撮影距離、確認対象画像を撮影した際の絞り値、及び許容錯乱円径に基づいて被写界深度を算出する。
第１３の態様に係る画像処理装置は第１０から第１２の態様のいずれか１つにおいて、表示制御部は、確認対象画像または部分画像において被写界深度の範囲外である領域を識別表示する。第１３の態様によればユーザは識別表示により被写界深度の範囲内である領域（損傷が正しく検出されている可能性が高い領域）と範囲外である領域（ボケが生じており誤検出、検出漏れが生じている可能性が高い領域）とを容易に識別でき、検出結果を効率的に確認及び修正することができる。なお識別表示は、表示制御部が被写界深度の範囲内である領域と範囲外である領域とに対し異なる文字、数字、図形、記号、色彩等を付し、あるいはこれらの程度を変化させることにより行うことができる。
第１４の態様に係る画像処理装置は第１０から第１３の態様のいずれか１つにおいて、表示制御部は、確認対象画像において撮影光学系の像面湾曲及び合焦位置に応じて設定された確認対象領域を識別表示する。撮影光学系（撮影レンズ）の特性により像面湾曲が生じる場合、画像の中心部で合焦すると周辺部がボケ、周辺部で合焦すると中心部がボケる。しかしながら、表示制御部が第１４の態様のように識別表示を行うことにより、ユーザは合焦度が高い領域と低い領域とを容易に識別でき、検出結果を効率的に確認及び修正することができる。なお、合焦領域となる範囲は撮影光学系の特性により異なるので、あらかじめデータベース化しておき、実際に撮影に使用した撮影光学系のデータを取得して用いることが好ましい。
第１５の態様に係る画像処理装置は第１から第１４の態様のいずれか１つにおいて、画像判断部は、個別画像がストロボ光を発光して撮影された場合は、個別画像がストロボ光の光源及び撮影光学系の配置に起因する輝度の変化に基づいて設定された低輝度領域を含む場合に、個別画像を確認対象画像とすると判断する。画像においてストロボ光の発光方向から遠い領域（例えば、画像の周辺部分）は暗く（輝度が低く）なり、検出漏れ、誤検出等が生じる可能性が高い。このような観点から、第１５の態様では、画像判断部は個別画像が低輝度領域を含む場合に確認対象画像と判断しており、これによりユーザは検出結果を効率的に確認及び修正することができる。
第１６の態様に係る画像処理装置は第１５の態様において、低輝度領域は撮影距離に基づいて設定された領域である。撮影距離が近いと暗い領域（低輝度の領域）が広くなり、遠いと暗い領域が狭くなる。さらに遠くなると輝度が一様に近くなって暗い領域がなくなってゆく。第１６の態様において、このような撮影距離と暗い領域との関係をあらかじめデータベース化しておくことが好ましい。
第１７の態様に係る画像処理装置は第１５または第１６の態様において、表示制御部は、確認対象画像または部分画像において低輝度領域を識別表示する。低輝度領域では検出漏れ、誤検出等が生じる可能性が高く、そのため確認及び修正の必要性が高い。しかしながら第１７の態様では、表示制御部が低輝度領域を識別表示することにより、ユーザは検出結果を効率的に確認及び修正することができる。
第１８の態様に係る画像処理装置は第１から第１７の態様のいずれか１つにおいて、被写体の構造を示す構造情報を取得する構造情報取得部を備え、画像判断部は、構造情報を参照して個別画像の撮影範囲が損傷が発生しやすい領域を含むと判定した場合に、個別画像を確認対象画像とすると判断する。損傷が発生しやすい領域は確認及び修正の必要性が高い領域なので、第１８の態様では、画像判断部は個別画像が損傷が発生しやすい領域を含む場合に確認対象画像と判断している。なお、「損傷が発生しやすい領域」としては、例えば大きな荷重が加わる領域、部材の接合部分、中間部分、部材の形状が変化する箇所等を挙げることができるが、これらに限定されるものではない。
第１９の態様に係る画像処理装置は第１から第１８の態様のいずれか１つにおいて、複数の画像をパノラマ合成するためのパラメータを算出するパラメータ算出部と、パラメータに基づいて複数の個別画像のオーバーラップ領域を求めるオーバーラップ算出部と、を備え、表示制御部は、オーバーラップ領域がいずれかの画像で確認済みの場合、または画質が最も高い領域以外の領域である場合はオーバーラップ領域を識別表示する。オーバーラップ領域が確認済みである場合は再度確認する必要性が低く、一方画質が最も高い領域以外の領域である場合は検出結果の信頼性が（相対的に）低いので「画質が最も高い領域」での検出結果を確認及び修正することが好ましい。第１９の態様によれば、ユーザはオーバーラップ領域における検出結果を、識別表示を参照して効率的に確認及び修正することができる。
第２０の態様に係る画像処理装置は第１９の態様において、パラメータに従って複数の画像からパノラマ合成画像を生成する画像合成部を備え、表示制御部は、パノラマ合成画像において確認対象画像が示す範囲を識別表示する。第２０の態様によれば、ユーザは確認対象画像が全体（パノラマ合成画像）においてどの範囲を占めるのか容易に把握することができる。
第２１の態様に係る画像処理装置は第２０の態様において、表示制御部は、パノラマ合成画像において確認及び／または修正がされた範囲を識別表示する。第２１の態様では、確認及び／または修正がされた範囲を識別表示することにより、確認及び／または修正の漏れ、重複等のおそれを低減することができる。
第２２の態様に係る画像処理装置は第２０または第２１の態様において、画像合成部はパノラマ合成画像と複数の画像との対応関係を示す情報を算出し、表示制御部は、情報に基づいて、複数の画像のうちパノラマ合成画像において指定された範囲に対応する画像を表示装置に表示させる。第２２の態様では、表示制御部が、対応関係を示す情報に基づいてパノラマ画像のうちの指定された範囲に対応する画像（及び検出結果）を表示させるので、ユーザは所望の範囲を指定して検出結果を効率的に確認及び修正することができる。
第２３の態様に係る画像処理装置は第１から第２２の態様のいずれか１つにおいて、撮影光学系と、撮影光学系により被写体の光学像が結像する撮像素子と、により被写体の画像を撮影する撮影部を備え、画像入力部は撮影部により撮影した複数の画像を複数の画像として入力する。第２３の態様では、撮像部により撮影した画像を画像入力部により入力して損傷の検出等を行うことができる。
上述した目的を達成するため、本発明の第２４の態様に係る画像処理方法は、被写体を分割撮影した複数の画像を入力する画像入力工程と、複数の画像を構成する個々の画像である個別画像から被写体の損傷を検出する損傷検出工程と、個別画像を、個別画像についての検出の結果をユーザに確認させる確認対象画像とするか否かを判断する画像判断工程と、確認対象画像または確認対象画像の一部の領域を表示装置の表示領域に合わせて切り出した部分画像を、確認対象画像または部分画像における検出の結果と関連付けて表示装置に表示させる表示制御工程と、ユーザの指示入力に基づいて検出の結果を修正する検出結果修正工程と、を備える。第２４の態様によれば、第１の態様と同様にユーザは損傷の検出結果を効率的に確認及び修正することができる。なお第２４の態様において、第２から第２３の態様と同様の構成をさらに備えていてもよい。またこれら態様の画像処理方法をコンピュータ、画像処理装置に実行させるプログラム、及び斯かるプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
以上説明したように、本発明の画像処理装置及び画像処理方法によれば、ユーザは損傷の検出結果を効率的に確認及び修正することができる。
図１は、下面側から見た橋梁の外観図である。 図２は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。 図３は、処理部の構成を示す図である。 図４は、記憶部に記憶される情報を示す図である。 図５は、第１の実施形態に係る画像処理方法の処理を示すフローチャートである。 図６は、床版の撮影手順の例を示す図である。 図７は、格間の撮影手順の例を示す図である。 図８は、撮影画像を示す図である。 図９は、修正前後での損傷の検出結果を示す表である。 図１０は、部分画像を切り出す様子を示す図である。 図１１は、画像の表示順の例を示す図である。 図１２は、画像の表示順の他の例を示す図である。 図１３は、床版に発生したひび割れを示す図である。 図１４は、確認対象画像の画面表示の様子を示す図である。 図１５は、部分画像の識別表示の様子を示す図である。 図１６は、画像を指定する様子を示す図である。 図１７は、損傷の検出漏れを修正する様子を示す図である。 図１８は、損傷の誤検出を修正する様子を示す図である。 図１９は、ヒストグラムの例を示す図である。 図２０は、検出結果の確信度に応じた表示の例を示す図である。 図２１は、検出結果の特徴に応じた表示の例を示す図である。 図２２は、撮影方向を変化させて撮影する様子を示す図である。 図２３は、焦点ズレが生じる様子を示す図である。 図２４は、像面湾曲によりボケが生じる様子を示す図である。 図２５は、像面湾曲によりボケが生じる様子を示す他の図である。 図２６は、ストロボ装置を用いて撮影する様子を示す図である。 図２７は、床版にひび割れが生じる様子を示す図である。 図２８は、橋脚にひび割れが生じる様子を示す図である。 図２９は、第２の実施形態における処理部の構成を示す図である。 図３０は、第２の実施形態において記憶部に記憶される情報を示す図である。 図３１は、第２の実施形態に係る画像処理方法の処理を示すフローチャートである。 図３２は、パノラマ合成画像の例を示す図である。 図３３は、パノラマ合成画像における識別表示及び画像指定の様子を示す図である。 図３４は、オーバーラップ領域での識別表示の例を示す図である。
以下、添付図面を参照しつつ、本発明に係る画像処理装置及び画像処理装置の実施形態について、詳細に説明する。
＜橋梁の構造＞
図１は、建造物の一つである橋梁１を下から見た状態を示す斜視図である。図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５と、床版６と、橋脚７と、による立体的構造を有し、これらの部材がボルト、リベット、溶接等により連結されて構成されている。主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。主桁２は橋脚７の間に渡されて床版６上の車輌等の荷重を支える部材であり、また床版６の面（水平面）と直交する面（鉛直方向の面）を有する。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４及び横構５は、それぞれ風及び地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。なお、本実施形態では橋梁１を対象（被写体）とする場合について説明するが、対象とする建造物は橋梁に限らずトンネル、ビル等、道路等でもよい。
＜画像の取得＞
橋梁１の画像を撮影して損傷を検出する場合、検査員はデジタルカメラ１００（図２参照）を用いて橋梁１を撮影し、検査範囲について複数の撮影画像（橋梁１の異なる部分がそれぞれ撮影された複数の画像）を分割して取得する。撮影は、橋梁１の延伸方向及びその直交方向に適宜移動しながら行う。なお橋梁１の周辺状況により検査員の移動が困難な場合は、橋梁１に沿って移動可能な移動体にデジタルカメラ１００を設けて撮影を行ってもよい。このような移動体には、デジタルカメラ１００の昇降機構、回転機構（パン及び／またはチルトを行う機構）を設けてもよい。なお移動体の例としては車輌、ロボット、及び飛翔体（ドローン等）を挙げることができるが、これらに限定されるものではない。
＜第１の実施形態＞
＜画像処理装置の構成＞
図２は、画像処理装置１０（画像処理装置）の概略構成を示すブロック図である。画像処理装置１０はデジタルカメラ１００及び画像処理装置本体２００を備え、被写体を分割撮影して取得した複数の画像について損傷の検出、検出結果の合成等を行うシステムである。画像処理装置１０では、パーソナルコンピュータ、タブレット端末、スマートフォン等の機器（情報端末）を画像処理装置本体２００として用いることができる。画像処理装置１０の各要素は、１つの筐体に収納されていてもよいし、独立した筐体に収納されていてもよい。また、各要素が離れた場所に配置されネットワークを介して接続されていてもよい。
＜デジタルカメラの構成＞
デジタルカメラ１００は、図示せぬ撮影レンズ（撮影光学系）、及び撮影レンズにより被写体の光学像が結像する撮像素子（撮像素子）を備える撮影部１１０により画像を取得する。撮像素子の例としてはＣＣＤ（Charge Coupled Device）型の撮像素子及びＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子を挙げることができる。撮像素子の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。デジタルカメラ１００は、無線通信部１３０及びアンテナ１３２を介して画像処理装置本体２００との無線通信を行い、撮影された画像が処理部２１０に入力されて後述する処理が行われる。なお、デジタルカメラ１００は画像処理装置本体２００と別々の筐体に組み込んでもよいし、一体化してもよい。
＜画像処理装置本体の全体構成＞
画像処理装置本体２００は処理部２１０、記憶部２２０、表示部２３０、及び操作部２４０を備え、これら各部は互いに接続されて必要な情報が送受信される。また、画像処理装置本体２００はアンテナ２１２を介してデジタルカメラ１００との間で無線通信を行い、デジタルカメラ１００で撮影された撮影画像を取得する。
＜処理部の構成＞
図３は処理部２１０の構成を示す図である。処理部２１０は、画像入力部２１０Ａ、損傷検出部２１０Ｂ、画像判断部２１０Ｃ、表示制御部２１０Ｄ、構造情報取得部２１０Ｅ、検出結果修正部２１０Ｆ、及び通信制御部２１０Ｇを備え、デジタルカメラ１００で取得した撮影画像の受信、損傷の検出及び修正、処理結果のモニタ２３２への表示制御等を行う。
画像入力部２１０Ａ（画像入力部）は、デジタルカメラ１００（または記録媒体、ネットワーク等）から橋梁１の撮影画像（橋梁１を分割撮影した複数の画像）を入力する。損傷検出部２１０Ｂ（損傷検出部）は、撮影画像を構成する個々の画像である個別画像から、橋梁１（被写体）の損傷を検出する。画像判断部２１０Ｃ（画像判断部）は、個別画像を、その個別画像についての検出結果をユーザに確認させる確認対象画像とするか否かを判断する。また画像判断部２１０Ｃは、個別画像の被写界深度を算出する被写界深度算出部２１１（被写界深度算出部）を備える。表示制御部２１０Ｄ（表示制御部）は、取得した画像、損傷の検出結果等のモニタ２３２への表示制御を行う。表示制御には、画像（確認対象画像、または確認対象画像の一部の領域を表示装置の表示領域に合わせて切り出した部分画像）とその画像における検出結果とを関連付けてモニタ２３２（表示装置）に表示させることが含まれる。表示の際には、必要に応じて画像及び／または検出結果を識別表示する（後述）。構造情報取得部２１０Ｅは、被写体の構造を示す構造情報を取得する。構造情報は記録媒体を介して取得してもよいし、通信制御部２１０Ｇを介してネットワーク上のサーバ、データベース等から取得してもよい。検出結果修正部２１０Ｆ（検出結果修正部）は、ユーザの指示入力に基づいて、損傷の検出結果を修正する。通信制御部２１０Ｇは、アンテナ２１２を介してデジタルカメラ１００との間で画像、情報を送受信する。また、通信制御部２１０Ｇは図示せぬネットワークを介して外部サーバ、データベース等との間でデータ（画像、処理結果等）を送受信する。
なお、処理部２１０の機能の一部または全部をネットワーク上のサーバで実現して、画像処理装置本体２００はデータの入力、通信制御、結果の表示等を行ってもよい。この場合、ネットワーク上のサーバを含めてApplication Service Provider型システムが構築される。
上述した処理部２１０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力及び被写体の計測を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
処理部２１０は、上述の各部の他にＲＯＭ２１４（ROM：Read Only Memory、非一時的記録媒体）を備える。ＲＯＭ２１４には、画像取得、損傷の検出、データの送受信等の処理に必要なプログラム（本発明に係る画像処理方法を実行するためのプログラムを含む）のコンピュータ読み取り可能なコードが記録される。
＜記憶部の構成＞
記憶部２２０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図４に示す画像及び情報が互いに関連づけて記憶される。撮影画像２２０Ａは、被写体である橋梁１（床版６、橋脚７、主桁２の部分等）をデジタルカメラ１００で分割撮影し画像入力部２１０Ａにより入力した複数の画像である。なお、デジタルカメラ１００で撮影した画像でなく、ネットワーク、記録媒体経由で取得した画像を記憶してもよい。撮影条件２２０Ｂは、撮影画像２２０Ａの撮影条件（日時、場所、露出等）である。撮影条件２２０Ｂは、撮影画像２２０Ａの一部（例えば、ヘッダ部分）として記録してもよいし、別ファイルに記録して撮影画像２２０Ａと関連付けてもよい。検出結果２２０Ｃは、撮影画像２２０Ａを構成する個別画像に対する損傷の検出結果を含む（図９参照）。検出結果２２０Ｃは、ユーザの指示入力に基づいて修正することができる（後述）。構造情報２２０Ｄは、構造情報取得部２１０Ｅにより取得した被写体の構造を示す情報である。光学系情報２２０Ｅは、撮像光学系の特性を示す情報（画角、焦点距離、絞り、各種の収差等）である。
＜表示部及び操作部の構成＞
表示部２３０はモニタ２３２（表示装置）を備えており、入力した画像、処理結果、記憶部２２０に記憶されたデータ等を表示することができる。操作部２４０は入力デバイス及び／またはポインティングデバイスとしてのキーボード２４２及びマウス２４４を含んでおり、ユーザはこれらのデバイス及びモニタ２３２の画面を介して、画像の撮影指示、損傷の検出指示、検出結果の修正指示等、本発明に係る画像処理方法の実行に必要な操作を行うことができる（後述）。
＜画像処理の手順＞
画像処理装置１０による画像処理について説明する。図５は画像処理の手順を示すフローチャートである。
＜画像の入力＞
画像入力部２１０Ａは、橋梁１（被写体）を分割撮影して取得した複数の画像を入力する（ステップＳ１００；画像入力工程）。以下、デジタルカメラ１００により床版６の画像を撮影及び入力する場合について説明するが、撮影対象は床版６に限らず他の部分（例えば主桁２、横桁３、橋脚７等）でもよい。また、デジタルカメラ１００以外で撮影された画像をネットワーク、記録媒体等を介して入力してもよい。図６は床版６の撮影手順の例を示す図である。図６では、主桁２（ｘ方向に伸びる部材）及び横桁３（ｙ方向に伸びる部材）で規定される格間ＧＯを含む領域Ａを単位として撮影を行い、撮影領域をｙ方向及びｘ方向に（矢印の方向に）順次移動させながら撮影を繰り返す様子を示している。撮影範囲全体の画像が取得できれば、撮影は他の手順で行ってもよい。なお、図６では橋梁１（床版６）の延伸方向をｘ、床版６の面内でｘと直交する方向をｙ、床版６と直交する方向（垂直下方向）をｚとし、（ｘ，ｙ，ｚ）で右手系の座標を構成している。
図７は１つの格間ＧＯでの撮影手順の例を示す図である。図７の例では、格間ＧＯの＋ｘ側端部の領域Ａ１から開始して−ｘ方向端部の領域Ａｉに至るまで移動しながら撮影し、再度＋ｘ側端部に戻って領域Ａｊから始めて−ｘ方向端部の領域Ａｎに至るまで、合計ｎ枚（ｎは２以上の整数）の画像を撮影する。これと異なるパターン（例えば領域Ａ１〜Ａｉ〜Ａｎ〜Ａｊの順）で撮影してもよい。撮影の際は、１画像を撮影するごとに撮影位置を移動し常に正対した画像を撮影してもよいし、１つの撮影位置で撮影方向を変えながら複数の画像を撮影してもよい（この場合、斜め方向から撮影された画像が含まれることになる）。また撮影においては、撮影位置及び撮影方向を適切に設定することにより隣接する画像で十分な（例えば、３０％程度）重複を生じさせることが好ましい。
図８は撮影画像の例（画像ｉ１〜ｉ１０）を示す図である。図８では格間ＧＯの枠Ｆ（主桁２及び横桁３で規定される矩形）を図示しており、その他の部材及び床版６に生じた損傷は図示を省略している。
＜損傷の検出＞
損傷検出部２１０Ｂは、個別画像（ステップＳ１００で入力した複数の画像を構成する個々の画像）から損傷を検出する（ステップＳ１１０；損傷検出工程）。損傷の分類としては剥離、漏水、ひび割れ、錆などを挙げることができるが、具体的に検出する損傷の種類は建造物（被写体）の種類、特徴、検査の目的等の条件に応じて設定してよい。また、検出する項目としては位置、大きさ、方向、範囲、形状等が挙げられるが、検出項目についても損傷の分類に応じて、また建造物の種類、特徴、検査の目的等の条件に応じて設定してよい。また、損傷の検出手法は特に限定されず、種々の手法を用いることができる。例えば特許４００６００７号公報に記載されたひび割れ検出方法、特表２０１０−５３８２５８号公報に記載された錆及び剥離の検出方法等を用いることができる。また、例えば「損傷である」とのラベルを付与した画像を教師データとして与えて機械学習により学習器を生成し、生成した学習器を用いて損傷を検出してもよい。なお、以下では損傷としてひび割れを検出、表示する場合について説明する。
損傷の検出においては、損傷検出部２１０Ｂが検出結果（検出の結果）をベクトル化し、始点及び終点を有する線分またはその集合（ひび割れ等、線状の損傷の場合）、またはそのような線分により構成される多角形等の図形（剥離、腐食のように広がりのある損傷の場合）で表すことができる。図９の（ａ）部分は検出結果を示す表の例（修正、確認前）であり、各画像についてひび割れの検出結果（始点及び終点、長さ、幅）、確認対象画像とするか否かの判断、検出手法（画像処理装置１０が画像から検出したか、あるいはユーザにより修正されたか）、確認の有無（未確認／確認済み）を示している。
＜確認対象画像の判断＞
画像判断部２１０Ｃは、上述した個別画像を、検出結果をユーザに確認させる確認対象画像とするか否かを判断する（ステップＳ１２０；画像判断工程）。画像判断部２１０Ｃは、個別画像の画質、検出結果、撮影条件、及び被写体の構造のうち少なくとも１つに基づいて判断を行うことができ、必要に応じて、記憶部２２０に記憶された情報（図４を参照）を用いる。具体的な判断の例については、詳細を後述する。
＜画像及び検出結果の表示＞
ステップＳ１２０で確認対象画像とする画像が判断されたら、表示制御部２１０Ｄは、画像とその画像における損傷の検出結果とを関連付けてモニタ２３２（表示装置）に表示させる（ステップＳ１３０；表示制御工程）。表示は、以下に説明するように、確認対象画像または部分画像について行われる。
＜確認対象画像または部分画像についての表示＞
「部分画像」とは、確認対象画像の一部の領域をモニタ２３２（表示装置）の表示領域に合わせて切り出した画像である。例えば、表示制御部２１０Ｄは、確認対象画像の画素数（解像度）が表示領域の画素数（解像度）以下の場合は確認対象画像を表示し、確認対象画像の画素数が表示領域の画素数を超える場合は確認対象画像の一部を切り出して部分画像とすることができる。図１０に、部分画像の切り出し例（画像ｉ１から６つの部分画像ｉ１Ａ〜ｉ１Ｆを切り出した例）を示す。このように確認対象画像の一部の領域をモニタ２３２（表示装置）の表示領域に合わせて切り出すことで、表示する画像の画素数（解像度）が低下せず、また画像の縮小により損傷が確認しづらくなる（あるいは確認できなくなる）ことがない。このため、ユーザは検出結果の確認及び修正を正確に行うことができる。
＜画像及び検出結果の表示パターン＞
ステップＳ１３０における画像及び検出結果の表示は、例えば以下のパターンにより行うことができる。
＜表示パターン（その１）＞
表示パターン（その１）では、表示制御部２１０Ｄは、「確認対象画像である」と判断された画像のみについて画像及び検出結果を表示する。例えば図１１のように、画像ｉ１，ｉ３，ｉ４，ｉ６，ｉ８，ｉ９（これらの画像が「確認対象画像」と判断されたものとする）、及びこれら画像についての検出結果を関連付けて表示する。画像ｉ２，ｉ５，ｉ７，ｉ１０（非確認対象画像；被写体を撮影した複数の画像のうちの、確認対象画像でない画像）については画像及び検出結果を表示しない（スキップする）。なお、図１１及び以下で説明する図１２は画像間での表示の順序を示す図であり、損傷の検出結果は図示を省略している。また、図１１及び図１２におけるかっこ書きの数字は画像の表示順を示す。画像及び検出結果の具体的な表示例は後述する。
＜表示パターン（その２）＞
表示パターン（その２）では、表示制御部２１０Ｄは、確認対象画像であると判断された画像だけでなく非確認対象画像についても画像及び検出結果を表示する。ただし、非確認対象画像については確認対象画像及びその検出結果と識別して表示する。例えば図１２のように画像ｉ１〜ｉ１０（全画像）及びこれら画像についての検出結果（図１２では図示を省略）を関連付けて表示するが、画像ｉ２，ｉ５，ｉ７，ｉ１０（非確認対象画像）についてはグレーアウト（識別表示の一例）する。グレーアウトに代えて、文字、数字、図形、記号等の付与、着色等により識別表示を行ってもよい。
上述した表示パターン（その１），（その２）によれば、検出結果を確認すべき画像（確認対象画像）が明確であり、確認対象画像についての検出結果をユーザの指示入力に基づいて修正することで、確認及び修正の手間を削減することができる。なお、検出結果の修正については詳細を後述する。
＜画像及び検出結果の画面表示例＞
ひび割れ（損傷）が図１３のように発生している状況において、画像とひび割れの検出結果を関連付けて画面表示した例を図１４に示す。図１４に示す例では、表示制御部２１０Ｄは、着色した太線（矩形）を画像のひび割れ部分に重ね合わせ表示し、さらにひび割れの幅を数値表示することにより画像と検出結果とを関連付けている（なお、以降の図では幅の数値表示を省略している）。画像と検出結果との関連付けは、図１４のような例を含め検出結果に応じた文字、数字、図形、記号、色彩等により行うことができる。また、損傷の程度（ひび割れの長さ、幅等）に応じて着色の明度及び／または彩度を変化させてもよい。また、表示制御部２１０Ｄは操作部２４０を介したユーザの指示に応じて重ね合わせ表示、幅の表示をＯＮ／ＯＦＦしてもよい。また、図１４において矩形表示したテキスト（例えば、「識別表示の設定」）は、各テキストに対応した処理を実行させるボタンを示す。各ボタンを指定すると、以下に説明するようにボタンに表示された処理が実行される。
＜画像及び検出結果の順次表示＞
図１４においてユーザが「前」または「次」のボタンを指定すると、表示制御部２１０Ｄはそれぞれ前の、または次の確認対象画像及び検出結果を表示する。この際、確認対象画像から部分画像を切り出している場合は、前の、または次の部分画像及び検出結果を表示する。図１５の（ａ）部分は画像ｉ１（確認対象画像）における部分画像の表示順序の例であり、部分画像ｉ１Ａ〜ｉ１Ｆの順に表示する（検出結果の図示は省略している）。表示制御部２１０Ｄは、１つの確認対象画像の全ての領域について検出結果が確認及び／または修正されてから他の確認対象画像及び検出結果を表示する（図５のステップＳ１５０，Ｓ１６０）ので、確認漏れが生じるおそれを低減することができる。処理部２１０（検出結果修正部２１０Ｆ）は、例えば図１４の表示で「次へ」、「保存」、「保存して終了」が指定された場合に「表示中の画像についての検出結果が確認及び／または修正がされた（検出結果をユーザが確認及び／または修正したことを示す指示入力がなされた）」と判断することができる。また、検出結果修正部２１０Ｆは、確認済みの画像に対し「確認済み」のフラグを付与する（図９の（ｂ）部分を参照）。
＜画像全体についての表示＞
図１４においてユーザが「画像全体を表示する」のボタンを指定すると、表示制御部２１０Ｄは確認対象画像全体と、その確認対象画像において部分画像が占める領域を表示する。例えば、部分画像ｉ１Ａが表示されている状態で「画像全体を表示する」のボタンが指定されると、図１５の（ｂ）部分に示すように、確認対象画像である画像ｉ１全体を表示し、さらに現在表示中の部分画像ｉ１Ａを画像ｉ１の中でグレーアウトする。グレーアウトは識別表示の一例であり、文字、数字、図形、記号の付与、着色等により識別表示を行ってもよい。表示は図１４のような表示と別ウインドウで行ってもよい。また、図１５の（ｃ）部分のように、検出結果が既に確認及び／または修正された領域をグレーアウト（識別表示の一例）してもよい。このような表示により、ユーザは確認及び／または修正の状況を容易に把握することができ、効率的に作業を行うことができる。なお、検出結果の確認は確認対象画像または部分画像により行い、これらの画像は縮小せず表示されるので、画像全体を表示する場合は必要に応じ（例えば、画像全体の画素数がモニタ２３２の表示画素数より多い場合に）縮小してもよい。
＜指定領域の表示＞
上述の例のように確認対象画像を表示した状態でユーザが確認対象画像中の領域を指定すると、表示制御部２１０Ｄは、指定された領域に対応する部分画像及びその部分画像についての検出結果を図１４のように表示する。例えば図１６のようにユーザが画像ｉ１において部分画像ｉ１Ｆを指定すると、表示制御部２１０Ｄは部分画像ｉ１Ｆ及び部分画像ｉ１Ｆについての検出結果を図１４のように表示する。これによりユーザは所望の領域について検出結果を確認することができる。
＜検出結果の修正＞
検出結果修正部２１０Ｆは、操作部２４０を介したユーザの指示入力に基づいて検出結果を修正する（ステップＳ１４０：検出結果修正工程）。検出結果の「修正」として、例えば追加（検出漏れした損傷の情報を加える）、訂正（不適切な検出結果を適切な結果に正す）、削除（誤検出された損傷の情報を削除する）を行うことができる。なお、修正の際は確認対象画像が図１４のように画面表示されているものとする。
＜検出漏れに対する追加＞
図１７は検出漏れに対する修正（追加）の例を示す図である。図１７の（ａ）部分は、ひび割れＣ１は検出されている（太線の重ねあわせがされている）がひび割れＣ２が検出漏れである（太線の重ねあわせがされていない）状態を示す。この場合、ユーザは図１４のような画面表示において「追加」を指定し、次いで図１７の（ｂ）部分のようにひび割れの始点及び終点（点Ｐ１〜Ｐ５）をマウス２４４でクリックして指定する。検出結果修正部２１０Ｆは、この操作に応じてひび割れを追加する。図９の（ｂ）部分は、R001-3-2というＩＤを持つひび割れを追加した状態（確認、修正後の状態）を示す例である。この場合、ひび割れの長さは始点及び終点から算出できる。幅はユーザが目視で測定しキーボード２４２で入力することができる。表示制御部２１０Ｄ及び／または検出結果修正部２１０Ｆは、ユーザがひび割れの幅を目視で測定する際に、測定の指標となるマーカの画像（例えば、ひび割れの実寸幅に対応する太さの線分を複数含む画像）を表示してもよい。また、例えば構造情報取得部２１０Ｅが格間のサイズ、１画素当たりのサイズ等の情報（構造情報２２０Ｄ、撮影条件２２０Ｂを用いることができる）を取得し、損傷検出部２１０Ｂが目視測定の結果を実寸換算してひび割れの長さ、幅等を算出してもよい。
＜誤検出に対する削除＞
図１８は誤検出に対する修正（削除）の例を示す図である。図１８の（ａ）部分は、存在しないひび割れＣ２Ａを誤って検出した状態を示す。この場合、ユーザは図１４のような画面表示において「削除」を指定し、ひび割れＣ２Ａを選択すると、図１８の（ｂ）部分に示すように選択されたひび割れが削除される。検出結果修正部２１０Ｆは、この操作に応じてひび割れを検出結果のリスト（図９参照）からひび割れを削除する。
＜不適切な検出結果の訂正＞
追加、修正の他に、不適切な検出結果を訂正することができる。例えばひび割れの幅を訂正する場合、ユーザは、図１４のような画面表示において訂正したい検出結果を「選択」で指定し、正しい幅を入力する。検出結果修正部２１０Ｆは、入力操作に応じて検出結果（図９参照）を訂正する。訂正の場合も、追加の場合と同様に目視測定の結果を実寸換算してもよい。
表示制御部２１０Ｄは、１つの確認対象画像の全ての領域（全部分画像）について検出結果が確認及び／または修正されてから、他の確認対象画像及びその確認対象画像における検出結果を表示する。すなわち、ステップＳ１５０でＹＥＳになったらステップＳ１６０に進み、他の画像について処理（表示、確認及び／または修正）を繰り返す。
＜確認対象画像の判断＞
図５のステップＳ１２０において、画像判断部２１０Ｃは、個別画像を確認対象画像とするか否かを、個別画像の画質、検出結果、撮影条件、被写体の構造のうち少なくとも１つに基づいて判断する。例えば、以下に説明する項目のうち少なくとも１つに基づいて判断することができる。
＜機械学習による画質の判定＞
画質の判定は、機械学習（深層学習等）の結果を利用して行ってもよい。例えば、新たな画像が記憶部２２０に記憶されるごとに（または新たな画像が撮影されるごとに）、画像判断部２１０Ｃが深層学習アルゴリズムに基づき深層学習（ディープラーニング）を用いた画像解析処理を行うことにより、画質を解析して画質評価器を構成する。深層学習アルゴリズムは、公知のコンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、画質を判定するアルゴリズムである。「このような機械学習を行うか否か」、及び／または「学習結果を利用するか否か」を、操作部２４０を介したユーザの操作により設定してもよい。画像判断部２１０Ｃはこのような画質評価器による評価結果に基づいて画質を判定し、「画質が悪い」（例えば「評価値がしきい値未満」）と判定された画像を確認対象画像として判断することができる。
＜空間周波数スペクトルによる判断＞
画質は、画像中の領域の空間周波数スペクトルにおける高周波領域のスペクトル最大値、平均値、またはスペクトルの和等で定量化することができる。具体的には、空間周波数スペクトル画像（撮影画像を高速フーリエ変換（ＦＦＴ：fast Fourier transform）して得られる）の四隅から特定の画素数半径内（ｒピクセル半径）の成分の最大値、平均値、または和が大きいほど高周波成分が強い（多い）のでボケ、ブレが少なく、画質がよりよい。画像判断部２１０Ｃはこのような画質のよい画像を確認対象画像とせずに、高周波成分が弱く（少なく）画質が悪い画像を確認対象画像として判断することができる。
＜ヒストグラムによる判断＞
ヒストグラム（画質を示す指標の一例）による判断では、画像判断部２１０Ｃは個別画像（Ｒ，Ｇ，Ｂの成分で構成されるカラー画像）をグレースケール画像に変換する。例えば、グレースケール（濃度）＝Ｒ×０．３０＋Ｇ×０．５９＋Ｂ×０．１１である（Ｒ，Ｇ，Ｂはそれぞれ赤色信号、緑色信号、青色信号の値）。画像判断部２１０Ｃは、変換したグレースケール画像のヒストグラム（濃度ヒストグラム；図１９の例を参照）を計算する。ヒストグラムの計算及び以下の判断は、個別画像の全体ではなく一部の領域について行ってもよい。画像判断部２１０Ｃは、Ｇ(ｉ)｛i=0,1,…,255｝を各濃度値（０に近いほど暗く、２５５に近いほど明るい）のヒストグラムとして、以下の式（１），（２）により個別画像が明るすぎるかどうか、あるいは暗すぎるかどうかを判定する。判定のしきい値（ｋｂ，ｈｂ，ｋｄ，ｈｄ）は既定値（例えば、ｋｂ＝２０５，ｈｂ＝０．５，ｋｄ＝５０，ｈｄ＝０．５）でもよいし、操作部２４０を介したユーザの入力に応じて画像判断部２１０Ｃが設定してもよい。
画像判断部２１０Ｃは、上述した式（１）において濃度値がｋｂ以上の割合が全体のｈｂ以上であれば「明るすぎる」と判定する。この場合、画像判断部２１０Ｃは「（明るすぎるため）画質が低い」と判断して、個別画像を確認対象画像とする。同様に、画像判断部２１０Ｃは式（２）において濃度値がｋｄ以下の割合が全体のｈｄ以上であれば「（暗すぎるため）画質が低い」と判断して、個別画像を確認対象画像とする。
ヒストグラムに基づき、階調がつぶれているか否かの判定を行うこともできる。例えば、画像判断部２１０Ｃは、Ｇ(ｉ)｛i=0,1,…,255｝を各濃度値のヒストグラムとして、Ｇ(０)＞Ｔｄの場合は「シャドー側の階調がつぶれている」と判定する。また、Ｇ(２５５)＞Ｔｂの場合は「ハイライト側の階調がつぶれている」と判断する。これらの場合、画像判断部２１０Ｃは「画質が低い」と判断して、個別画像を確認対象画像とする。判定のしきい値（Ｔｄ，Ｔｂ）は既定値（例えば、Ｔｄ＝０，Ｔｂ＝０）でもよいし、操作部２４０を介したユーザの入力に応じて画像判断部２１０Ｃが設定してもよい。
＜検出結果の確信度による判断＞
損傷検出部２１０Ｂが検出結果の確信度（例えば、検出した損傷が実際に損傷である確信度）を算出し、確信度に応じて判断及び／または識別表示を行ってもよい。例えば、確信度が高い検出結果の数が多い及び／または密度が高い画像は確認の必要性が低いので、表示制御部２１０Ｄが表示の際に識別表示（文字、数字、図形、記号の付与、着色等）して確認不要であることを示すことが考えられる。一方、確信度が低い検出結果の数が多い及び／または密度が高い画像は確認の必要性が高いので、確認対象画像として図１４のように表示することが好ましい。なお、確信度、検出結果の数及び／または密度に対して１つまたは複数のしきい値を設定し、検出結果をしきい値と比較することで識別表示等の判断を行うことができる。また、確信度を用いた処理を行う場合、検出結果のリスト（図９参照）において確信度の欄を設けてもよい。このような処理において、損傷検出部２１０Ｂは、例えば損傷の種類ごとに特徴量（例えば、ひび割れの長さ、幅、間隔、密度等）のしきい値を設定し、検出結果としきい値との関係（検出結果がしきい値の範囲内であるか否か、範囲外の場合はどの程度外れているか）に応じて算出した重み係数を全ての特徴量について足し合わせることにより確信度を算出することができる。しかしながら、確信度の算出はこのような態様に限定されるものではない。
また、例えば図２０の（ａ）部分のように、表示制御部２１０Ｄが確信度に応じてひび割れを着色表示（識別表示の一例）してもよい。例えば、確信度が高い（第１のしきい値以上）検出結果は赤色、中程度（第２のしきい値以上第１のしきい値未満）の検出結果は黄色、確信度が低い（第２のしきい値未満）検出結果は無色とする態様が考えられる。なお図２０の（ａ）部分では、便宜上色の違いではなく灰色の濃淡（灰色が濃い検出結果ほど確信度が高い）を付している。確信度は２段階（高い／低い）、３段階（高い／中間／低い）またはそれ以上に分類することができ、分類数に応じた着色、濃淡の種類を設定することができる（図２０の（ａ）部分では３段階に分類している）。また、図２０の（ｂ）部分のように、確信度が高い検出結果（ひび割れＣ４，Ｃ５，Ｃ６，Ｃ７：３段階の分類のうち確信度が「高い」または「中間」）のみが存在する領域をグレーアウトし、確認不要であることを示してもよい。グレーアウトは識別表示の一例であり、文字、数字、図形、記号の付与、着色等により識別表示を行ってもよい。
＜検出結果の特徴による判断＞
断続的なひび割れ、短いひび割れ、細いひび割れなどは検出漏れあるいは誤検出によるものである場合がある。そこで、表示制御部２１０Ｄはこれら断続的なひび割れ等を識別表示してもよい。また、画像判断部２１０Ｃがこれらのひび割れが存在する画像を確認対象画像にすると判断し、ユーザが検出結果を効率的に確認できるようにしてもよい。例えば、ひび割れの端点（始点または終点）の周囲の一定画素（例えば、５０画素）あるいは一定距離（例えば２０ｍｍ）以内に別のひび割れの端点が存在する場合に、画像判断部２１０Ｃが「断続的なひび割れが発生しているので、この画像を確認対象画像にする」と判断することができる。また、格間のサイズ、１画素当たりのサイズ等の情報（構造情報２２０Ｄ、撮影条件２２０Ｂを用いることができる）を取得し、実寸換算して短いひび割れ、細いひび割れを判定することができる。
図２１はこのような検出結果の特徴による識別表示の例を示す図である。図２１の（ａ）部分では、表示制御部２１０Ｄは、連続性のあるひび割れ及び太いひび割れ（ひび割れＣ１１０）を濃く着色し、細いひび割れ、短いひび割れ、及び断続的なひび割れ（ひび割れＣ１１，Ｃ１２，Ｃ１３）を薄く着色している。また、図２１の（ｂ）部分は連続性のあるひび割れ及び太いひび割れのみが存在する領域、すなわち確認の必要性が低い領域をグレーアウトした例である。グレーアウトは識別表示の一例であり、文字、数字、図形、記号の付与、着色等により識別表示を行ってもよい。このような識別表示により、ユーザは損傷の検出結果を効率的に確認することができる。
＜撮影条件による判断＞
被写体を撮影した画像では、合焦位置から被写体との角度変化方向に離れた領域が被写界深度の範囲外となってボケる。このような問題は、１つの撮影位置において撮影方向を変化（パン、チルト等）させて広い範囲を撮影する場合に顕著に生じる。例えば、図２２の（ａ）部分に示すようにデジタルカメラ１００の撮影位置を固定し、撮影方向を上下（鉛直方向）に変化させて橋脚７を撮影する場合、取得した画像では上下方向端部のいずれか、または両側がボケる（画像の中央で合焦している場合は両側がぼけ、合焦位置が画像の上側／下側の場合は下側／上側がボケる。）。このようなボケ領域は、撮影角度（正面方向との成す角）が大きいと広くなる。例えば、Ａ方向（正面方向）に撮影する画像ｉＡではボケる領域が狭いが、Ｂ方向に撮影する画像ｉＢでは上下方向端部のいずれか、または両側がボケる。Ｃ方向に撮影する画像ｉＣでは、ボケる領域が画像ｉＢよりも広くなる。このような状況は、例えば図２２の（ｂ）部分に示すように１つの撮影位置から撮影方向を水平方向（前後及び／または左右）に変化させて床版６を撮影する場合でも同様に生じる。
画像判断部２１０Ｃはこのようなボケ領域（被写界深度の範囲外である領域）を含む画像を確認対象画像として判断することができ、また表示制御部２１０Ｄは合焦領域及び／またはボケ領域を識別表示することができる。識別表示は、合焦領域とボケ領域とに対し異なる文字、数字、図形、記号、色彩等を付し、あるいはこれらの程度を変化させることにより行うことができる。いずれか一方の領域に表示を施してもよいし（例えば、合焦領域をグレーアウトする）、双方の領域に表示を施してもよい。をこれによりユーザは誤検出、検出漏れ等が生じやすい領域を容易に識別することができ、損傷の検出結果を効率的に確認及び／または修正することができる。なお、撮影角度とボケ領域との関係は、あらかじめデータベース化して記憶部２２０に記憶しておくことが好ましい。
＜焦点ズレ量に基づく判断＞
図２３に示すように、撮影角度が存在すると被写体面の方向と合焦面の方向とが異なり焦点ズレが発生する。この焦点ズレが被写界深度を超えるとボケが生じるので、表示制御部２１０Ｄは画像において焦点ズレ量が被写界深度の範囲内の領域及び／または範囲外の領域を識別表示することができる。また、画像判断部２１０Ｃは焦点ズレ量が被写界深度の範囲を超える領域を含む画像を確認対象画像として判断することができる。表示制御部２１０Ｄは、被写界深度の範囲内の領域と範囲外の領域とに対し異なる文字、数字、図形、記号、色彩等を付し、あるいはこれらの程度を変化させることにより識別表示を行うことができる。いずれか一方の領域に表示を施してもよいし（例えば、被写界深度内の領域をグレーアウトする）、双方の領域に表示を施してもよい。これによりユーザは誤検出、検出漏れ等が生じやすい領域（焦点ズレ量が被写界深度の範囲を超える領域）を容易に識別することができ、損傷の検出結果を効率的に確認及び／または修正することができる。なお、焦点ズレによりボケる領域は、合焦位置が画像の中心の場合は上下方向の両端部であり、合焦位置が画像の上側の場合は下側、合焦位置が画像の下側の場合は上側である。
被写界深度算出部２１１は、以下の式（３）〜（５）により被写界深度を算出することができる。
［数３］
前方被写界深度（ｍｍ）＝｛許容錯乱円径（ｍｍ）×絞り値×被写体距離（ｍｍ）＾２｝／｛焦点距離（ｍｍ）＾２＋許容錯乱円径（ｍｍ）×絞り値×被写体距離（ｍｍ）｝・・・（３）
［数４］
後方被写界深度（ｍｍ）＝｛許容錯乱円径（ｍｍ）×絞り値×被写体距離（ｍｍ）＾２｝／｛焦点距離（ｍｍ）＾２−許容錯乱円径（ｍｍ）×絞り値×被写体距離（ｍｍ）｝・・・（４）
［数５］
被写界深度（ｍｍ）＝前方被写界深度（ｍｍ）＋後方被写界深度（ｍｍ）・・・（５）
なお、式（３）〜（５）において、許容錯乱円径＝撮像素子の画素サイズである。また、縦方向及び横方向の撮影範囲は、以下の式（６），（７）により算出することができる。
［数６］
撮影範囲（縦方向）＝被写体距離×センササイズ（縦方向）／焦点距離・・・（６）
［数７］
撮影範囲（横方向）＝被写体距離×センササイズ（横方向）／焦点距離・・・（７）
＜像面湾曲によるボケに基づく判断＞
撮像光学系の特性により像面湾曲がある場合、画像の中心部で合焦すると周辺部がボケ、周辺部で合焦すると中心部がボケる。例えば、図２４の（ａ）部分のように画像の中心部で合焦している（合焦度が高い）場合、（ｂ）部分のように画像の周辺部がボケる（合焦度が低い）。また、図２５の（ａ）部分のように画像の周辺部で合焦している場合、（ｂ）部分のように画像の中心部がボケる。表示制御部２１０Ｄは合焦領域及び／またはボケ領域（確認対象領域）を識別表示することができ、画像判断部２１０Ｃはボケ領域（確認対象領域）を含む画像を確認対象画像として判断することができる。識別表示は、合焦領域とボケ領域とに対し異なる文字、数字、図形、記号、色彩等を付し、あるいはこれらの程度を変化させることにより行うことができる。いずれか一方の領域に表示を施してもよいし（例えば、合焦領域をグレーアウトする）、双方の領域に表示を施してもよい。これによりユーザは誤検出、検出漏れ等が生じやすい領域（ボケ領域）を容易に識別することができ、損傷の検出結果を効率的に確認及び／または修正することができる。なお、撮像光学系の特性によっては合焦領域が図２４の（ｃ）部分のような形状になる場合がある。そのため、合焦位置と合焦範囲との関係をあらかじめデータベース化し記憶部２２０に記憶しておくことが好ましい。
＜ストロボ光の発光に応じた判断＞
ストロボ光を使用して撮影する場合、ストロボ光の明るさ、撮影範囲等の条件によっては画像の一部が暗く（輝度が低く）なり、検出漏れ及び／または誤検出が生じやすくなるため、暗くなる領域を確認対象とすることが好ましい。例えば図２６の（ａ）部分に示すようにデジタルカメラ１００の上方にストロボ装置１０１を装着して撮影する場合、撮影画像における輝度はストロボ装置（ストロボ光の光源）と撮影光学系との配置に起因して図２６の（ａ）部分及び（ｂ）部分に示すように変化する（画像の下側が暗くなりやすい）。また、撮影距離が近いと暗い領域が増え、撮影距離が遠くなると暗い領域が狭くなってゆく。そこで、低輝度領域を撮影距離に基づいて設定して記憶部２２０に記憶しておくことが好ましい。表示制御部２１０Ｄはこのような明るい領域（高輝度領域）及び／または暗い領域（低輝度領域）を識別表示することができ、画像判断部２１０Ｃは暗い領域を含む画像を確認対象画像として判断することができる。識別表示は、明るい領域と暗い領域とに対し異なる文字、数字、図形、記号、色彩等を付し、あるいはこれらの程度を変化させることにより行うことができる。いずれか一方の領域に表示を施してもよいし（例えば、明るい領域をグレーアウトする）、双方の領域に表示を施してもよい。これによりユーザは誤検出、検出漏れ等が生じやすい領域（暗い領域）を容易に識別することができ、損傷の検出結果を効率的に確認及び修正することができる。
＜被写体の構造による判断＞
被写体の構造によって、損傷が発生しやすい箇所が存在する。例えば床版６を各格間について考える場合、図２７の（ａ）部分〜（ｅ）部分に示すように中央部にひび割れが発生しやすい（図２７は、床版６の１つの格間におけるひび割れの発生状況の例を時系列で示す図である）。また橋脚７の場合、図２８に示すように水平方向の中心軸Ｌの付近、中心軸Ｌと端部との中間付近、形状変化部分等にひび割れが発生しやすい。表示制御部２１０Ｄはひび割れが発生しにくい領域（例えば、図２７の（ｃ）部分の領域ｉ２０）を識別表示することができ、画像判断部２１０Ｃはひび割れが発生しやすい領域（領域ｉ２１）を含む画像を確認対象画像として判断することができる。表示制御部２１０Ｄは、ひび割れが発生しやすい領域と発生しにくい領域とに対し異なる文字、数字、図形、記号、色彩等を付し、あるいはこれらの程度を変化させることにより識別表示を行うことができる。いずれか一方の領域に表示を施してもよいし（例えば、ひび割れが発生しにくい領域をグレーアウトする）、双方の領域に表示を施してもよい。
なお、ひび割れ（損傷）が発生しやすいかどうかは被写体の構造に依存するので、被写体の構造を示す構造情報（構造情報２２０Ｄ）を取得して記憶部２２０に記憶し、処理の際に参照することが好ましい。これによりユーザは誤検出、検出漏れ等が生じやすい領域を容易に識別することができ、損傷の検出結果を効率的に確認及び／または修正することができる。
＜第２の実施形態＞
＜画像処理装置の構成＞
本発明の画像処理装置及び画像処理方法の第２の実施形態について説明する。第２の実施形態は、複数の個別画像の合成パラメータを算出して処理に用いる点で第１の実施形態と異なる。図２９は第２の実施形態に係る画像処理装置の処理部（処理部２１３）の構成を示す図である。処理部２１３は、図３に示す処理部２１０の構成に加えてパラメータ算出部２１０Ｈ（パラメータ算出部）、オーバーラップ算出部２１０Ｉ（オーバーラップ算出部）、及び画像合成部２１０Ｊ（画像合成部）をさらに備える。図３に示す構成と同様に、パラメータ算出部２１０Ｈ、オーバーラップ算出部２１０Ｉ、及び画像合成部２１０Ｊの機能も各種のプロセッサを用いて実現することができる。なお、画像処理装置のその他の構成は第１の実施形態と同様であるので、同一の構成は同一の符号により参照し詳細な説明を省略する。
＜記憶部に記憶される情報＞
図３０は第２の実施形態において記憶部２２０に記憶される情報を示す図である。第２の実施形態では、第１の実施形態で記憶される情報に加えて、パノラマ合成パラメータ２２０Ｆ、パノラマ合成画像２２０Ｇ、及び対応情報２２０Ｈが記憶される。
＜画像処理の手順＞
第２の実施形態における画像処理（画像処理方法）の手順を、図３１のフローチャートを参照して説明する。なお、第１の実施形態と同様の処理を行うステップには同一の参照符号を付し、詳細な説明を省略する。
＜合成パラメータの算出及びパノラマ合成画像の生成＞
パラメータ算出部２１０Ｈは、画像どうしの対応点から射影変換行列を求めることにより合成パラメータ（合成の際の画像の移動、回転、変形を表すパラメータ）を算出する（ステップＳ１２２：パラメータ算出工程）。オーバーラップ算出部２１０Ｉは合成パラメータに基づいて画像（複数の個別画像）どうしのオーバーラップ領域を求め（ステップＳ１２４：オーバーラップ領域算出工程）、画像合成部２１０Ｊは合成パラメータに基づいて撮影画像（複数の画像）からパノラマ合成画像を生成する（ステップＳ１２６：画像合成工程）。また、画像合成部２１０Ｊはパノラマ合成画像と撮影画像（複数の画像）との対応関係を示す情報（各撮影画像が、パノラマ合成画像のどの部分に対応しているかを示す情報；対応情報）を算出する。ステップＳ１２２で算出された合成パラメータはパノラマ合成パラメータ２２０Ｆとして、ステップＳ１２６で生成されたパノラマ合成画像（例えば、図３０に示すパノラマ合成画像ｉ３０）はパノラマ合成画像２２０Ｇとして、対応情報は対応情報２２０Ｈとして記憶部２２０に記憶される（図３０参照）。
図３２は、図８に示す画像ｉ１〜ｉ１０からパノラマ合成画像ｉ３０（パノラマ合成画像）を生成した様子を示す図である（格間の枠Ｆを図示；損傷は不図示）。なお、検出結果の確認は確認対象画像または部分画像により行い、これらの画像は縮小せず表示されるので、パノラマ合成画像を表示する場合は必要に応じ縮小してもよい（第１の実施形態において撮影画像全体を表示する場合について上述したのと同様である）。
＜損傷の検出、検出結果の確認／修正等＞
第２の実施形態においても、上述した第１の実施形態と同様に損傷の検出、検出結果の確認及び／または修正を行うことができる。また、パノラマ合成画像ｉ３０のようなパノラマ合成画像においても、第１の実施形態と同様に画像及び／または検出結果の識別表示を行うことができる。図３３は、表示制御部２１０Ｄがパノラマ合成画像ｉ３０において検出結果が確認及び／または修正済みの領域（部分画像ｉ１Ａ〜ｉ１Ｃ）及び現在確認中の領域（部分画像ｉ１Ｄ）を識別表示した様子を示す図であり、第１の実施形態における図１５の（ｃ）部分に対応した図である。また、パノラマ合成画像ｉ３０においてユーザが所望の範囲（例えば部分画像ｉ２Ｄの範囲）を指定すると、表示制御部２１０Ｄは、対応情報（対応情報２２０Ｈ）に基づいて、指定した範囲に対応する画像及びその画像における検出結果を図１４のようにモニタ２３２に表示する。このような表示により、第２の実施形態においても検出結果を確認及び／または修正済みの領域を容易に把握することができ、ユーザは検出結果の確認及び修正を効率的に行うことができる。
＜オーバーラップ領域についての識別表示＞
被写体を分割撮影して複数の画像を取得する場合、撮影範囲の重複に応じて、複数の画像がオーバーラップするオーバーラップ領域が生じる。このような状況で個々の画像について検出結果を確認及び／または修正する場合、ユーザはオーバーラップ領域について何度も検出結果を確認することになり、作業が効率的でない。また、オーバーラップ領域では各画像の撮影条件によって画質が異なり、そのため損傷の検出精度が異なるので、画質が低い（検出精度が低い）画像で検出結果を確認及び／または修正してしまうおそれがある。このような問題は、検査範囲が広く取得する画像数が多い場合に顕著になる。そこで第２の実施形態では、以下に説明するようにオーバーラップ領域を識別表示する（ステップＳ１３０）。
具体的には、表示制御部２１０Ｄは、処理対象のオーバーラップ領域がいずれかの画像において確認済みの場合、または画質が最も高いオーバーラップ領域以外のオーバーラップ領域である場合は、そのオーバーラップ領域を識別表示する。図３４はそのような識別表示の例を示す図であり、（ａ）部分は画像ｉ１と画像ｉ２とでオーバーラップ領域ＯＡが存在する状態を示している。この状態で画像ｉ１においてオーバーラップ領域ＯＡの検出結果を確認した場合、または画像ｉ１におけるオーバーラップ領域ＯＡの画質が画像ｉ２におけるオーバーラップ領域ＯＡの画質よりも高い場合（すなわち、画像ｉ２におけるオーバーラップ領域ＯＡが、画質が最も高いオーバーラップ領域以外のオーバーラップ領域である場合）は、表示制御部２１０Ｄは、画像ｉ２を表示する際にオーバーラップ領域ＯＡをグレーアウト（識別表示の一例）する（図３４の（ｂ）部分を参照）。グレーアウトに代えて、文字、図形、記号の付与、着色等により識別表示を行ってもよい。このような識別表示により、ユーザは識別表示されたオーバーラップ領域が確認不要である（または確認の必要性が低い）ことを容易に把握することができ、検出結果の確認及び修正を効率的に行うことができる。なお、オーバーラップ領域の識別表示により確認の必要性を把握できるので、表示制御部２１０Ｄは検出結果を識別表示しなくてもよい。また、オーバーラップ領域を「識別表示」するのではなく、表示をスキップしてもよい。
なお、「オーバーラップ領域がいずれかの画像で確認済みであるか否か」は、例えば検出結果修正部２１０Ｆが「確認済み」の検出結果にフラグを付与し、表示制御部２１０Ｄがこのフラグを参照して判断することができる（図９参照）。また、「オーバーラップ領域が、画質が最も高いオーバーラップ領域以外のオーバーラップ領域であるか否か」は、例えば画像判断部２１０Ｃが第１の実施形態について上述した手法により画質を算出及び数値化して検出結果と関連付けておき（例えば図９の表に「画質」の欄を設ける）、表示制御部２１０Ｄが画像どうしで画質を比較することにより判断することができる。なお、合成パラメータが算出できればオーバーラップ領域の識別表示が可能なので、パノラマ合成画像は必要な場合（例えば、ユーザが表示中の画像の占める範囲をパノラマ画像中で確認したい場合）に生成、記憶すればよい。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
７ 橋脚
１０ 画像処理装置
１００ デジタルカメラ
１０１ ストロボ装置
１１０ 撮影部
１３０ 無線通信部
１３２ アンテナ
２００ 画像処理装置本体
２１０ 処理部
２１０Ａ 画像入力部
２１０Ｂ 損傷検出部
２１０Ｃ 画像判断部
２１０Ｄ 表示制御部
２１０Ｅ 構造情報取得部
２１０Ｆ 検出結果修正部
２１０Ｇ 通信制御部
２１０Ｈ パラメータ算出部
２１０Ｉ オーバーラップ算出部
２１０Ｊ 画像合成部
２１１ 被写界深度算出部
２１２ アンテナ
２１３ 処理部
２１４ ＲＯＭ
２２０ 記憶部
２２０Ａ 撮影画像
２２０Ｂ 撮影条件
２２０Ｃ 検出結果
２２０Ｄ 構造情報
２２０Ｅ 光学系情報
２２０Ｆ パノラマ合成パラメータ
２２０Ｇ パノラマ合成画像
２２０Ｈ 対応情報
２３０ 表示部
２３２ モニタ
２４０ 操作部
２４２ キーボード
２４４ マウス
Ａ 領域
Ａ１ 領域
Ａｉ 領域
Ａｊ 領域
Ａｎ 領域
Ｆ 枠
ＧＯ 格間
ｉ１ 画像
ｉ２ 画像
ｉ３ 画像
ｉ４ 画像
ｉ５ 画像
ｉ６ 画像
ｉ７ 画像
ｉ８ 画像
ｉ９ 画像
ｉ１０ 画像
ｉ１Ａ 部分画像
ｉ１Ｂ 部分画像
ｉ１Ｃ 部分画像
ｉ１Ｄ 部分画像
ｉ１Ｅ 部分画像
ｉ１Ｆ 部分画像
ｉ２０ 領域
ｉ２１ 領域
ｉ２Ｄ 部分画像
ｉ３０ パノラマ合成画像
ｉＡ 画像
ｉＢ 画像
ｉＣ 画像
Ｌ 中心軸
ＯＡ オーバーラップ領域
Ｓ１００〜Ｓ１６０ 画像処理方法の各ステップ
第２３の態様に係る画像処理装置は第１から第２２の態様のいずれか１つにおいて、撮影光学系と、撮影光学系により被写体の光学像が結像する撮像素子と、により被写体の画像を撮影する撮影部を備え、画像入力部は撮影部により撮影した複数の画像を複数の画像として入力する。第２３の態様では、撮影部により撮影した画像を画像入力部により入力して損傷の検出等を行うことができる。
以下、添付図面を参照しつつ、本発明に係る画像処理装置及び画像処理方法の実施形態について、詳細に説明する。
＜記憶部の構成＞
記憶部２２０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図４に示す画像及び情報が互いに関連づけて記憶される。撮影画像２２０Ａは、被写体である橋梁１（床版６、橋脚７、主桁２の部分等）をデジタルカメラ１００で分割撮影し画像入力部２１０Ａにより入力した複数の画像である。なお、デジタルカメラ１００で撮影した画像でなく、ネットワーク、記録媒体経由で取得した画像を記憶してもよい。撮影条件２２０Ｂは、撮影画像２２０Ａの撮影条件（日時、場所、露出等）である。撮影条件２２０Ｂは、撮影画像２２０Ａの一部（例えば、ヘッダ部分）として記録してもよいし、別ファイルに記録して撮影画像２２０Ａと関連付けてもよい。検出結果２２０Ｃは、撮影画像２２０Ａを構成する個別画像に対する損傷の検出結果を含む（図９参照）。検出結果２２０Ｃは、ユーザの指示入力に基づいて修正することができる（後述）。構造情報２２０Ｄは、構造情報取得部２１０Ｅにより取得した被写体の構造を示す情報である。光学系情報２２０Ｅは、撮影光学系の特性を示す情報（画角、焦点距離、絞り、各種の収差等）である。
＜誤検出に対する削除＞
図１８は誤検出に対する修正（削除）の例を示す図である。図１８の（ａ）部分は、存在しないひび割れＣ２Ａを誤って検出した状態を示す。この場合、ユーザは図１４のような画面表示において「削除」を指定し、ひび割れＣ２Ａを選択すると、図１８の（ｂ）部分に示すように選択されたひび割れが削除される。検出結果修正部２１０Ｆは、この操作に応じてひび割れを検出結果のリスト（図９参照）から削除する。
＜不適切な検出結果の訂正＞
追加、削除の他に、不適切な検出結果を訂正することができる。例えばひび割れの幅を訂正する場合、ユーザは、図１４のような画面表示において訂正したい検出結果を「選択」で指定し、正しい幅を入力する。検出結果修正部２１０Ｆは、入力操作に応じて検出結果（図９参照）を訂正する。訂正の場合も、追加の場合と同様に目視測定の結果を実寸換算してもよい。
また、例えば図２０の（ａ）部分のように、表示制御部２１０Ｄが確信度に応じてひび割れを着色表示（識別表示の一例）してもよい。例えば、確信度が高い（第１のしきい値以上）検出結果は赤色、中程度（第２のしきい値以上第１のしきい値未満）の検出結果は黄色、確信度が低い（第２のしきい値未満）検出結果は無色とする態様が考えられる。なお図２０の（ａ）部分では、便宜上色の違いではなく灰色の濃淡（灰色が濃い検出結果ほど確信度が高い）を付している。確信度は２段階（高い／低い）、３段階（高い／中間／低い）またはそれ以上に分類することができ、段階数に応じた着色、濃淡の種類を設定することができる（図２０の（ａ）部分では３段階に分類している）。また、図２０の（ｂ）部分のように、確信度が高い検出結果（ひび割れＣ４，Ｃ５，Ｃ６，Ｃ７：３段階の分類のうち確信度が「高い」または「中間」）のみが存在する領域をグレーアウトし、確認不要であることを示してもよい。グレーアウトは識別表示の一例であり、文字、数字、図形、記号の付与、着色等により識別表示を行ってもよい。
図２１はこのような検出結果の特徴による識別表示の例を示す図である。図２１の（ａ）部分では、表示制御部２１０Ｄは、連続性のあるひび割れ及び太いひび割れ（ひび割れＣ１０）を濃く着色し、細いひび割れ、短いひび割れ、及び断続的なひび割れ（ひび割れＣ１１，Ｃ１２，Ｃ１３）を薄く着色している。また、図２１の（ｂ）部分は連続性のあるひび割れ及び太いひび割れのみが存在する領域、すなわち確認の必要性が低い領域をグレーアウトした例である。グレーアウトは識別表示の一例であり、文字、数字、図形、記号の付与、着色等により識別表示を行ってもよい。このような識別表示により、ユーザは損傷の検出結果を効率的に確認することができる。
画像判断部２１０Ｃはこのようなボケ領域（被写界深度の範囲外である領域）を含む画像を確認対象画像として判断することができ、また表示制御部２１０Ｄは合焦領域及び／またはボケ領域を識別表示することができる。識別表示は、合焦領域とボケ領域とに対し異なる文字、数字、図形、記号、色彩等を付し、あるいはこれらの程度を変化させることにより行うことができる。いずれか一方の領域に表示を施してもよいし（例えば、合焦領域をグレーアウトする）、双方の領域に表示を施してもよい。これによりユーザは誤検出、検出漏れ等が生じやすい領域を容易に識別することができ、損傷の検出結果を効率的に確認及び／または修正することができる。なお、撮影角度とボケ領域との関係は、あらかじめデータベース化して記憶部２２０に記憶しておくことが好ましい。
［数６］
撮影範囲（縦方向）＝被写体距離×センササイズ（縦方向）／焦点距離・・・（６）
［数７］
撮影範囲（横方向）＝被写体距離×センササイズ（横方向）／焦点距離・・・（７）
＜像面湾曲によるボケに基づく判断＞
撮影光学系の特性により像面湾曲がある場合、画像の中心部で合焦すると周辺部がボケ、周辺部で合焦すると中心部がボケる。例えば、図２４の（ａ）部分のように画像の中心部で合焦している（合焦度が高い）場合、（ｂ）部分のように画像の周辺部がボケる（合焦度が低い）。また、図２５の（ａ）部分のように画像の周辺部で合焦している場合、（ｂ）部分のように画像の中心部がボケる。表示制御部２１０Ｄは合焦領域及び／またはボケ領域（確認対象領域）を識別表示することができ、画像判断部２１０Ｃはボケ領域（確認対象領域）を含む画像を確認対象画像として判断することができる。識別表示は、合焦領域とボケ領域とに対し異なる文字、数字、図形、記号、色彩等を付し、あるいはこれらの程度を変化させることにより行うことができる。いずれか一方の領域に表示を施してもよいし（例えば、合焦領域をグレーアウトする）、双方の領域に表示を施してもよい。これによりユーザは誤検出、検出漏れ等が生じやすい領域（ボケ領域）を容易に識別することができ、損傷の検出結果を効率的に確認及び／または修正することができる。なお、撮像光学系の特性によっては合焦領域が図２４の（ｃ）部分のような形状になる場合がある。そのため、合焦位置と合焦範囲との関係をあらかじめデータベース化し記憶部２２０に記憶しておくことが好ましい。
＜合成パラメータの算出及びパノラマ合成画像の生成＞
パラメータ算出部２１０Ｈは、画像どうしの対応点から射影変換行列を求めることにより合成パラメータ（合成の際の画像の移動、回転、変形を表すパラメータ）を算出する（ステップＳ１２２：パラメータ算出工程）。オーバーラップ算出部２１０Ｉは合成パラメータに基づいて画像（複数の個別画像）どうしのオーバーラップ領域を求め（ステップＳ１２４：オーバーラップ領域算出工程）、画像合成部２１０Ｊは合成パラメータに基づいて撮影画像（複数の画像）からパノラマ合成画像を生成する（ステップＳ１２６：画像合成工程）。また、画像合成部２１０Ｊはパノラマ合成画像と撮影画像（複数の画像）との対応関係を示す情報（各撮影画像が、パノラマ合成画像のどの部分に対応しているかを示す情報；対応情報）を算出する。ステップＳ１２２で算出された合成パラメータはパノラマ合成パラメータ２２０Ｆとして、ステップＳ１２６で生成されたパノラマ合成画像（例えば、図３２に示すパノラマ合成画像ｉ３０）はパノラマ合成画像２２０Ｇとして、対応情報は対応情報２２０Ｈとして記憶部２２０に記憶される（図３０参照）。

Claims (24)

  1. 被写体を分割撮影した複数の画像を入力する画像入力部と、
    前記複数の画像を構成する個々の画像である個別画像から前記被写体の損傷を検出する損傷検出部と、
    前記個別画像を、前記個別画像についての前記検出の結果をユーザに確認させる確認対象画像とするか否かを判断する画像判断部と、
    前記確認対象画像または前記確認対象画像の一部の領域を表示装置の表示領域に合わせて切り出した部分画像を、前記確認対象画像または前記部分画像における前記検出の結果と関連付けて前記表示装置に表示させる表示制御部と、
    ユーザの指示入力に基づいて前記検出の結果を修正する検出結果修正部と、
    を備える画像処理装置。
  2. 前記表示制御部は、前記複数の画像のうちの非確認対象画像及び前記非確認対象画像における前記検出の結果を、前記確認対象画像及び前記確認対象画像における前記検出の結果と識別して前記表示装置に表示させる請求項１に記載の画像処理装置。
  3. 前記表示制御部は、１つの確認対象画像における前記検出の結果をユーザが確認及び／または修正したことを示す指示入力に応じて他の確認対象画像及び前記他の確認対象画像における前記検出の結果を表示する請求項１または２に記載の画像処理装置。
  4. 前記表示制御部は、１つの確認対象画像の全ての領域について前記検出の結果が確認及び／または修正されてから、他の確認対象画像及び前記他の確認対象画像における前記検出の結果を表示する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 前記画像判断部は、前記個別画像の画質、前記検出の結果、撮影条件、及び前記被写体の構造のうち少なくとも１つに基づいて前記判断を行う請求項１から４のいずれか１項に記載の画像処理装置。
  6. 前記画像判断部は、機械学習により構成した画質評価器による評価結果、前記個別画像の空間周波数スペクトル、及び前記個別画像の濃度ヒストグラムのうち少なくとも１つに基づいて前記画質を求める請求項５に記載の画像処理装置。
  7. 前記画像判断部は、前記個別画像における、実際に損傷である確信度がしきい値以上である前記検出の結果の数及び／または密度に基づいて前記判断を行う請求項１から６のいずれか１項に記載の画像処理装置。
  8. 前記表示制御部は、前記確信度に応じて前記検出の結果を識別表示する請求項７に記載の画像処理装置。
  9. 前記表示制御部は、前記確認対象画像または前記部分画像において前記確信度が前記しきい値以上である前記検出の結果が存在する領域を識別表示する請求項７または８に記載の画像処理装置。
  10. 前記画像判断部は前記個別画像の被写界深度を算出する被写界深度算出部を備え、
    前記画像判断部は、前記個別画像が前記被写界深度の範囲外である領域を含む場合に、前記個別画像を前記確認対象画像とすると判断する請求項１から９のいずれか１項に記載の画像処理装置。
  11. 前記被写界深度算出部は、前記確認対象画像における前記被写体の撮影角度及び前記確認対象画像における合焦位置に基づいて前記被写界深度を算出する請求項１０に記載の画像処理装置。
  12. 前記被写界深度算出部は、前記被写体の撮影角度、前記被写体の撮影距離、前記確認対象画像を撮影した際の絞り値、及び許容錯乱円径に基づいて前記被写界深度を算出する請求項１０または１１に記載の画像処理装置。
  13. 前記表示制御部は、前記確認対象画像または前記部分画像において前記被写界深度の範囲外である領域を識別表示する請求項１０から１２のいずれか１項に記載の画像処理装置。
  14. 前記表示制御部は、前記確認対象画像において撮影光学系の像面湾曲及び合焦位置に応じて設定された確認対象領域を識別表示する請求項１０から１３のいずれか１項に記載の画像処理装置。
  15. 前記画像判断部は、前記個別画像がストロボ光を発光して撮影された場合は、前記個別画像が前記ストロボ光の光源及び撮影光学系の配置に起因する輝度の変化に基づいて設定された低輝度領域を含む場合に、前記個別画像を前記確認対象画像とすると判断する請求項１から１４のいずれか１項に記載の画像処理装置。
  16. 前記低輝度領域は撮影距離に基づいて設定された領域である請求項１５に記載の画像処理装置。
  17. 前記表示制御部は、前記確認対象画像または前記部分画像において前記低輝度領域を識別表示する請求項１５または１６に記載の画像処理装置。
  18. 前記被写体の構造を示す構造情報を取得する構造情報取得部を備え、
    前記画像判断部は、前記構造情報を参照して前記個別画像の撮影範囲が損傷が発生しやすい領域を含むと判定した場合に、前記個別画像を前記確認対象画像とすると判断する請求項１から１７のいずれか１項に記載の画像処理装置。
  19. 前記複数の画像をパノラマ合成するためのパラメータを算出するパラメータ算出部と、
    前記パラメータに基づいて複数の前記個別画像のオーバーラップ領域を求めるオーバーラップ算出部と、を備え、
    前記表示制御部は、前記オーバーラップ領域がいずれかの画像で確認済みの場合、または画質が最も高い領域以外の領域である場合は前記オーバーラップ領域を識別表示する請求項１から１８のいずれか１項に記載の画像処理装置。
  20. 前記パラメータに従って前記複数の画像からパノラマ合成画像を生成する画像合成部を備え、
    前記表示制御部は、前記パノラマ合成画像において前記確認対象画像が示す範囲を識別表示する請求項１９に記載の画像処理装置。
  21. 前記表示制御部は、前記パノラマ合成画像において確認及び／または修正がされた範囲を識別表示する請求項２０に記載の画像処理装置。
  22. 前記画像合成部は前記パノラマ合成画像と前記複数の画像との対応関係を示す情報を算出し、
    前記表示制御部は、前記情報に基づいて、前記複数の画像のうち前記パノラマ合成画像において指定された範囲に対応する画像を前記表示装置に表示させる請求項２０または２１に記載の画像処理装置。
  23. 撮影光学系と、前記撮影光学系により前記被写体の光学像が結像する撮像素子と、により前記被写体の画像を撮影する撮影部を備え、
    前記画像入力部は前記撮影部により撮影した複数の画像を前記複数の画像として入力する請求項１から２２のいずれか１項に記載の画像処理装置。
  24. 被写体を分割撮影した複数の画像を入力する画像入力工程と、
    前記複数の画像を構成する個々の画像である個別画像から前記被写体の損傷を検出する損傷検出工程と、
    前記個別画像を、前記個別画像についての前記検出の結果をユーザに確認させる確認対象画像とするか否かを判断する画像判断工程と、
    前記確認対象画像または前記確認対象画像の一部の領域を表示装置の表示領域に合わせて切り出した部分画像を、前記確認対象画像または前記部分画像における前記検出の結果と関連付けて前記表示装置に表示させる表示制御工程と、
    ユーザの指示入力に基づいて前記検出の結果を修正する検出結果修正工程と、
    を備える画像処理方法。
JP2019568946A 2018-02-02 2018-12-27 画像処理装置及び画像処理方法 Active JP7050824B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018017280 2018-02-02
JP2018017280 2018-02-02
PCT/JP2018/048178 WO2019150872A1 (ja) 2018-02-02 2018-12-27 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2019150872A1 true JPWO2019150872A1 (ja) 2021-01-28
JP7050824B2 JP7050824B2 (ja) 2022-04-08

Family

ID=67478230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019568946A Active JP7050824B2 (ja) 2018-02-02 2018-12-27 画像処理装置及び画像処理方法

Country Status (4)

Country Link
EP (1) EP3748341A4 (ja)
JP (1) JP7050824B2 (ja)
CN (1) CN111684267A (ja)
WO (1) WO2019150872A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7166225B2 (ja) * 2019-07-08 2022-11-07 ソフトバンク株式会社 異常点検システム、異常点検装置、異常点検方法および異常点検プログラム
JP7263983B2 (ja) * 2019-08-30 2023-04-25 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法
JP7370045B2 (ja) 2019-09-11 2023-10-27 株式会社Liberaware 寸法表示システムおよび寸法表示方法
JP7101236B2 (ja) * 2020-12-17 2022-07-14 株式会社クボタ 検査装置及び検査方法
AU2022262359A1 (en) * 2021-04-21 2023-08-24 Siemens Mobility GmbH Automated selection and semantic connection of images
JP2022187567A (ja) * 2021-06-08 2022-12-20 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN113781307B (zh) * 2021-09-13 2023-09-29 国网山东省电力公司电力科学研究院 大气腐蚀多因素空间插值算法、计算机设备、存储介质
CN117177064A (zh) * 2022-05-30 2023-12-05 荣耀终端有限公司 一种拍摄方法及相关设备
WO2024047948A1 (ja) * 2022-08-30 2024-03-07 富士フイルム株式会社 制御装置、制御方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013228232A (ja) * 2012-04-24 2013-11-07 Asahi Glass Co Ltd 基板外観検査方法
WO2016189764A1 (ja) * 2015-05-26 2016-12-01 三菱電機株式会社 検出装置および検出方法
US20170343481A1 (en) * 2016-05-27 2017-11-30 Purdue Research Foundation Methods and systems for crack detection
WO2017221706A1 (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 損傷図編集装置及び損傷図編集方法
WO2018008370A1 (ja) * 2016-07-06 2018-01-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099784A (ja) 1999-09-29 2001-04-13 Keisoku Kensa Kk 既設橋梁における床板のひび割れ検出方法及びその表示方法
JP4006007B2 (ja) 2004-11-10 2007-11-14 大成建設株式会社 ひび割れ検出方法
KR100891934B1 (ko) 2007-09-03 2009-04-08 한국도로공사 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법
US10504218B2 (en) * 2015-04-21 2019-12-10 United Technologies Corporation Method and system for automated inspection utilizing a multi-modal database
EP3392612B1 (en) * 2015-12-14 2023-05-17 Nikon-Trimble Co., Ltd. Defect detection apparatus and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013228232A (ja) * 2012-04-24 2013-11-07 Asahi Glass Co Ltd 基板外観検査方法
WO2016189764A1 (ja) * 2015-05-26 2016-12-01 三菱電機株式会社 検出装置および検出方法
US20170343481A1 (en) * 2016-05-27 2017-11-30 Purdue Research Foundation Methods and systems for crack detection
WO2017221706A1 (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 損傷図編集装置及び損傷図編集方法
WO2018008370A1 (ja) * 2016-07-06 2018-01-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN111684267A (zh) 2020-09-18
WO2019150872A1 (ja) 2019-08-08
US20200349695A1 (en) 2020-11-05
EP3748341A4 (en) 2021-02-24
EP3748341A1 (en) 2020-12-09
JP7050824B2 (ja) 2022-04-08

Similar Documents

Publication Publication Date Title
JP7050824B2 (ja) 画像処理装置及び画像処理方法
US9841277B2 (en) Graphical feedback during 3D scanning operations for obtaining optimal scan resolution
US9305343B2 (en) Observation device and observation method
KR101505352B1 (ko) 하전 입자 현미경 장치 및 화상 촬상 방법
CN110915193B (zh) 图像处理系统、服务器装置、图像处理方法及记录介质
WO2020110576A1 (ja) 情報処理装置
US20140210988A1 (en) Inspection Apparatus and Method for Producing Image for Inspection
US20160127648A1 (en) Processing device, image pickup device and processing method
CN116309409A (zh) 一种焊缝缺陷检测方法、系统和存储介质
CN110809779B (zh) 图像合成方法、图像合成装置及记录介质
KR101777696B1 (ko) 면적 대칭성을 이용한 에지 위치 결정 방법
JP2007232684A (ja) 計測装置および計測方法並びに計測プログラム
KR101559338B1 (ko) 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법
KR101520835B1 (ko) 이미지 획득 방법 및 이를 이용한 이미지 획득 장치
JP2019114238A (ja) 画像処理装置およびその制御方法
CN111064864A (zh) 设置畸变校正参数的方法、装置和内窥镜系统
US11972550B2 (en) Image processing apparatus and image processing method
JP2006133055A (ja) ムラ欠陥検出方法及び装置、空間フィルタ、ムラ欠陥検査システム並びにムラ欠陥検出方法のプログラム
JP4616687B2 (ja) 透過電子顕微鏡試料位置検出方法
WO2018030386A1 (ja) 位置指定装置および位置指定方法
JP5907659B2 (ja) 検査方法
US20220148208A1 (en) Image processing apparatus, image processing method, program, and storage medium
KR101583662B1 (ko) 광각 카메라 영상의 특징점 검출 방법
JP6685550B2 (ja) オートフォーカス装置及びオートフォーカス用プログラム
CN117132489A (zh) 一种图像校正方法、装置及设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220329

R150 Certificate of patent or registration of utility model

Ref document number: 7050824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150