JP6725067B2 - 不要部分を除去するためのデジタル画像の処理 - Google Patents
不要部分を除去するためのデジタル画像の処理 Download PDFInfo
- Publication number
- JP6725067B2 JP6725067B2 JP2019516215A JP2019516215A JP6725067B2 JP 6725067 B2 JP6725067 B2 JP 6725067B2 JP 2019516215 A JP2019516215 A JP 2019516215A JP 2019516215 A JP2019516215 A JP 2019516215A JP 6725067 B2 JP6725067 B2 JP 6725067B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- segment
- interest
- data
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本実施形態では、視覚化モジュール1は、入力として生(つまり未処理)スキャンデータを検査中のオブジェクトの超音波スキャンから取り入れる。本例における生スキャンデータは、2つの次元、つまりオブジェクトの先端からの距離x、及び音波出力とエコー信号振幅の測定との間の経過時間t、に従うエコー信号の振幅を含む。本例では、このデータは図2Aに示されるように行列又は2次元データ構造10Aとして表現される。図2Aでは、エコー信号振幅値a11、a12、...、amnは、行t1、t2、...、tn及び列x1、x2、...、xnに割り当てられる。視覚化モジュール1は、各振幅値を、例えば最小振幅aminの濃い青から最大振幅amaxの濃い赤まで固定色勾配(図2Bに示される)により決定されるRGB色にマッピングする。結果として生じる画像は、ピクセルマップであり、各ピクセルの色は振幅値を符号化する。プロットにおいてより高い振幅に割り当てられる色がプロットの中の他の色と視覚的に区別されるならば、代替の色マッピングが使用されて良い。さらに、データの異なる値が画像内で直ちに区別可能ならば、色以外の画像ピクセルの属性がデータの特性特徴(パラメータ)に割り当てられる他の方法を、データを画像にマッピングするために使用することが可能であり得る。
本発明の実施形態では、特徴抽出モジュール2は、視覚化モジュール1により生成された画像パッチから特徴ベクトルを抽出するよう構成される。各特徴ベクトルは画像パッチの特徴を表す。画像の特徴ベクトル表現を計算する多くの可能な方法がある。本実施形態では、特徴抽出モジュール2は、深層学習に基づく機械視覚技術を用いる。このような技術は従来良く知られており、画像の重要な視覚的特性をキャプチャすることが証明されている。画像認識のために訓練された深層ニューラルネットワーク(deep neural network:DNN)の良く知られた例は、AlexNetと呼ばれる畳み込みニューラルネットワークアーキテクチャである。このネットワークは、入力としてサイズ256×256ピクセルのRGB画像を取り込み、それらを1000個の異なるカテゴリに分類することができる。
画像セグメント化は、画像の表現を分析のためにより有意義な又は容易なものに単純化する又は変更するために、デジタル画像を複数のセグメントに区分する処理である。これは、標準的に、画像内のオブジェクト及び境界の位置を特定するために使用される。画像セグメント化では、ラベルが画像内の各ピクセルに割り当てられ、特定特性を共有するピクセルが同じラベルを割り当てられるようにする。
特徴クラスタモジュール4は、特徴抽出モジュール2により抽出された特徴ベクトルを複数のクラスタに区分するよう構成される。ここで、同じクラスタ内の特徴ベクトルは共通特性を共有する。クラスタ分析は、同じグループ、つまり「クラスタ」内のオブジェクトが(何らかの方法で)他のクラスタ内のオブジェクトよりも、互いにより似ているオブジェクトのセットをグループ化するタスクである。K平均のような一般的な区分方法は、それらの簡易性及び計算効率のために多くの適用領域で広く使用されている。本実施形態は、k平均を使用するが、任意の他のクラスタ化アルゴリズムが選択され得る。
構造検出モジュール5は、画像セグメントモジュール3及び画像クラスタモジュール4の出力を用いて、集約境界領域生成処理を実行するよう構成される。集約境界領域生成処理は、関心部分に関連する全ての画像パッチを含む集約境界領域を生成する。集約境界領域生成処理は、セグメントセットの中の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成するステップと、どの画像クラスタがセグメントの境界ボックスの中で最も多くの画像パッチを含むかを決定するステップと、決定した画像クラスタの画像パッチを関心部分の集約境界領域に追加するステップと、を含む。集約境界領域生成処理は、セグメントセットの中の各々の他のセグメントについてサイズ順に繰り返される。構造検出モジュール5を用いる、本発明を実施する方法の動作は、図8のフローチャートを参照して以下に説明される。
データフィルタモジュール6は、図11に示されるように、元の画像から、集約境界領域34の外側にある画像パッチ35を除去するよう構成される。例えば、画像セグメントモジュール3が検査オブジェクトの後壁を識別する場合には、反射によるノイズを表す後壁の下側のスキャン領域を削除することが望ましいことがある。このような領域は、より高いtの値で受信されるエコーに対応する。したがって、本例では、データフィルタモジュール6により実行されるデータフィルタリング処理は、境界領域の最大値tより高いtの値の範囲を有する画像パッチを調べ削除する。
上述のように、本実施形態では、画像処理機器100から出力されるフィルタリングされた画像は、欠陥検出モジュール7に供給される。欠陥検出モジュール7の正確な性質は、本発明の主題ではない。しかしながら、1つの可能な実装は、教師付き機械学習アプローチを用い得る。このような場合には、画像処理機器100は、サンプルスキャンセットについて画像パッチを生成し、上述の処理によりパッチからノイズを除去し得る。次に、各パッチを、既知の欠陥位置に対して、欠陥の肯定的又は否定的例としてラベル付けし得る。次に、特徴抽出モジュール2は、ラベル付けされた画像ベクトルのトレーニングセットを生成するために適用され得る。標準的な機械学習方法の後に次に、トレーニングセットを用いて、欠陥と非欠陥パッチとの間を区別するよう学習モジュールを訓練する。例えば、kNM(k−Nearest Neighbour)のような簡易分類器が、新しいスキャンからのパッチが欠陥クラス又は非欠陥クラスに含まれるかを決定するために適用され得る。
本発明を実施する画像処理方法の特定の適用は、以下に図12〜17を参照して記載される。
Claims (18)
- デジタル画像の不要部分を除去する画像処理方法であって、前記方法は、
前記画像をサンプリングして、画像全体を表す画像パッチのセットを生成するステップであって、該画像は関心部分を含む、ステップと、
前記画像パッチから特徴ベクトルを抽出するステップと、
前記抽出した画像ベクトルを複数のクラスタに区分するステップであって、同じクラスタ内の特徴ベクトルは共通特性を共有する、ステップと、
前記画像内の前記関心部分をセグメントセットにセグメント化するステップと、
集約境界領域生成処理を実行するステップであって、
前記セグメントセット内の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成するステップと、
どの画像クラスタが前記セグメントの前記境界ボックス内で最も多くの画像パッチを含むかを決定するステップと、
前記決定した画像クラスタの前記画像パッチを前記関心部分の集約境界領域に追加するステップと、
を含むステップと、
前記集約境界領域生成処理を前記セグメントセットの中の他のセグメント毎にサイズ順に繰り返すステップであって、結果として生じた集約境界領域は前記関心部分に関連する全ての前記画像パッチを含む、ステップと、
前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去するステップと、
を含む方法。 - 前記関心部分をセグメント化するステップは、
前記画像を検索して前記関心部分の位置を特定するステップと、
前記関心部分の中で少なくとも1つのコンポーネントを識別するステップであって、各々の該コンポーネントはセグメントを形成する、ステップと、
を含む、請求項1に記載の方法。 - 前記画像を検索するステップは、
前記画像から少なくとも1つの部分を抽出するステップであって、前記画像の該部分の中のピクセルの予め選択された属性は所望の特徴を有する、ステップを含む、請求項2に記載の方法。 - 不要部分の除去されるべき前記画像は、対象オブジェクトに関連する非画像データを変換することにより取得され、前記画像内のピクセルの属性は非画像データのパラメータに関連付けられる、請求項1、2、又は3に記載の方法。
- 前記非画像データは、前記対象オブジェクトの超音波スキャンを通じて取得される、請求項4に記載の方法。
- 前記対象オブジェクトは、工業用オブジェクト、及び製造中に使用されるオブジェクト、のうちの少なくとも1つである、請求項4又は5に記載の方法。
- 前記対象オブジェクトに関連する前記非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも1つを決定するために使用される、請求項4、5、又は6に記載の方法。
- 対象オブジェクトの中の欠陥を検出する際に使用される欠陥検出方法であって、前記方法において、前記オブジェクトの又は前記オブジェクトから得られた画像は、欠陥を識別するために分析され、分析されるべき前記画像は、請求項1乃至7のいずれか一項に記載の方法に従い不要部分の除去された画像である、方法。
- 前記対象オブジェクトは、工業用オブジェクト、及び製造中に使用されるオブジェクト、のうちの少なくとも1つである、請求項8に記載の方法。
- 不要部分の除去されるべき前記画像は、前記対象オブジェクトに関連する非画像データを変換することにより取得され、該非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも1つを決定するために使用される、請求項8又は9に記載の方法。
- コンピュータ上で実行すると、該コンピュータに請求項1乃至10のいずれか一項に記載の方法を実行させるコンピュータプログラム。
- デジタル画像の不要部分を除去する画像処理機器であって、前記機器は、
前記画像をサンプリングして、画像全体を表す画像パッチのセットを生成する画像サンプラであって、該画像は関心部分を含む、画像サンプラと、
前記画像パッチから特徴ベクトルを抽出する特徴抽出部と、
前記抽出した画像ベクトルを複数のクラスタに区分する特徴クラスタ部であって、同じクラスタ内の特徴ベクトルは共通特性を共有する、特徴クラスタ部と、
前記画像内の前記関心部分をセグメントセットにセグメント化する画像セグメント部と、
前記セグメントセット内の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成し、どの画像クラスタが前記セグメントの前記境界ボックス内で最も多くの画像パッチを含むかを決定し、前記決定した画像クラスタの前記画像パッチを前記関心部分の集約境界領域に追加する集約境界領域生成処理、を実行する検出部と、
前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去するデータフィルタと、を含み、
前記検出部は、前記集約境界領域生成処理を前記セグメントセットの中の他のセグメント毎にサイズ順に繰り返し、前記集約境界領域生成処理を繰り返した結果として生じた集約境界領域は前記関心部分に関連する全ての前記画像パッチを含み、
前記データフィルタは、前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去する、
機器。 - 前記画像セグメント部は、
前記画像を検索して前記関心部分の位置を特定し、
前記関心部分の中で少なくとも1つのコンポーネントを識別し、各々の該コンポーネントはセグメントを形成する、請求項12に記載の機器。 - 前記画像セグメント部は、前記画像を前記関心部分について、前記画像から少なくとも1つの部分を抽出することにより検索し、前記少なくとも1つの部分では、前記画像の該部分の中のピクセルの予め選択された属性は所望の特徴を有する、請求項13に記載の機器。
- 対象オブジェクトに関連する非画像データを不要部分の除去されるべき前記画像に変換するデータ画像変換部であって、前記画像内のピクセルの属性は前記非画像データのパラメータに関連付けられる、データ画像変換部、を更に含む請求項12、13、又は14に記載の機器。
- 前記非画像データは、前記対象オブジェクトの超音波スキャンデータである、請求項15に記載の機器。
- 前記対象オブジェクトは、工業用オブジェクト、及び製造中に使用されるオブジェクト、のうちの少なくとも1つである、請求項15又は16に記載の機器。
- 前記対象オブジェクトに関連する前記非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも1つを決定するために使用される、請求項15、16、又は17に記載の機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1617444.3 | 2016-10-14 | ||
GBGB1617444.3A GB201617444D0 (en) | 2016-10-14 | 2016-10-14 | Processing digital image to remove unwanted portion |
PCT/GB2017/053050 WO2018069686A1 (en) | 2016-10-14 | 2017-10-09 | Processing digital image to remove unwanted portion |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019530096A JP2019530096A (ja) | 2019-10-17 |
JP6725067B2 true JP6725067B2 (ja) | 2020-07-15 |
Family
ID=57680811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019516215A Active JP6725067B2 (ja) | 2016-10-14 | 2017-10-09 | 不要部分を除去するためのデジタル画像の処理 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10896509B2 (ja) |
EP (1) | EP3526768B1 (ja) |
JP (1) | JP6725067B2 (ja) |
GB (1) | GB201617444D0 (ja) |
WO (1) | WO2018069686A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102033025B1 (ko) * | 2009-07-07 | 2019-10-16 | 톰슨 라이센싱 | 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치 |
CN109685743B (zh) * | 2018-12-30 | 2023-01-17 | 陕西师范大学 | 基于噪声学习神经网络模型的图像混合噪声消除方法 |
KR102471441B1 (ko) * | 2021-12-20 | 2022-11-28 | 주식회사 아이코어 | 딥 러닝을 기반으로 고장을 검출하는 비전 검사 시스템 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4109155B2 (ja) * | 2003-05-16 | 2008-07-02 | オリンパス株式会社 | 超音波画像処理装置 |
US7736313B2 (en) * | 2004-11-22 | 2010-06-15 | Carestream Health, Inc. | Detecting and classifying lesions in ultrasound images |
GB0502844D0 (en) * | 2005-02-11 | 2005-03-16 | Univ Edinburgh | Storing digital content for access using a captured image |
US7660468B2 (en) * | 2005-05-09 | 2010-02-09 | Like.Com | System and method for enabling image searching using manual enrichment, classification, and/or segmentation |
US7657126B2 (en) * | 2005-05-09 | 2010-02-02 | Like.Com | System and method for search portions of objects in images and features thereof |
EP2394295A2 (en) * | 2009-02-06 | 2011-12-14 | KLA-Tencor Corporation | Selecting one or more parameters for inspection of a wafer |
JP5498185B2 (ja) * | 2010-02-03 | 2014-05-21 | 株式会社東芝 | 超音波診断装置及び超音波画像表示プログラム |
US8509526B2 (en) * | 2010-04-13 | 2013-08-13 | International Business Machines Corporation | Detection of objects in digital images |
GB2492450B (en) * | 2011-06-27 | 2015-03-04 | Ibm | A method for identifying pairs of derivative and original images |
BR112015020425B1 (pt) | 2013-02-28 | 2022-06-21 | Koninklijke Philips N.V. | Sistema de imageamento por ultrassom inspecionar um objeto em um volume e método para fornecer uma imagem de ultrassom de um objeto em um volume |
EP2843401A1 (en) | 2013-08-30 | 2015-03-04 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | System and method for defect monitoring |
JP6463101B2 (ja) | 2014-12-01 | 2019-01-30 | キヤノン株式会社 | 領域分割装置及び方法 |
US9549125B1 (en) * | 2015-09-01 | 2017-01-17 | Amazon Technologies, Inc. | Focus specification and focus stabilization |
US11205119B2 (en) * | 2015-12-22 | 2021-12-21 | Applied Materials Israel Ltd. | Method of deep learning-based examination of a semiconductor specimen and system thereof |
-
2016
- 2016-10-14 GB GBGB1617444.3A patent/GB201617444D0/en not_active Ceased
-
2017
- 2017-10-09 JP JP2019516215A patent/JP6725067B2/ja active Active
- 2017-10-09 EP EP17783983.4A patent/EP3526768B1/en active Active
- 2017-10-09 WO PCT/GB2017/053050 patent/WO2018069686A1/en unknown
-
2019
- 2019-02-25 US US16/284,402 patent/US10896509B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019530096A (ja) | 2019-10-17 |
EP3526768B1 (en) | 2020-08-12 |
EP3526768A1 (en) | 2019-08-21 |
WO2018069686A1 (en) | 2018-04-19 |
US20190188855A1 (en) | 2019-06-20 |
GB201617444D0 (en) | 2016-11-30 |
US10896509B2 (en) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11467128B2 (en) | Defect detection using ultrasound scan data | |
US11276162B2 (en) | Surface defect identification method and apparatus | |
US10748274B2 (en) | Detecting portions of interest in images | |
WO2022147969A1 (zh) | 基于深度学习的机场道面地下结构病害自动检测方法 | |
JP2017049974A (ja) | 識別器生成装置、良否判定方法、およびプログラム | |
Avila et al. | 2D image based road pavement crack detection by calculating minimal paths and dynamic programming | |
Posilović et al. | Flaw detection from ultrasonic images using YOLO and SSD | |
JP6725067B2 (ja) | 不要部分を除去するためのデジタル画像の処理 | |
JP7081196B2 (ja) | 超音波スキャン・データを使った欠陥検出 | |
CN117173461A (zh) | 一种多视觉任务的灌装容器缺陷检测方法、系统及介质 | |
Bahreini et al. | Point cloud semantic segmentation of concrete surface defects using dynamic graph CNN | |
Burton et al. | RustSEG--Automated segmentation of corrosion using deep learning | |
Ghamisi et al. | Anomaly detection in automated fibre placement: learning with data limitations | |
Paramanandham et al. | Vision Based Crack Detection in Concrete Structures Using Cutting-Edge Deep Learning Techniques. | |
Sutcliffe et al. | Automatic defect recognition of single-v welds using full matrix capture data, computer vision and multi-layer perceptron artificial neural networks | |
Al-Shammri et al. | A Combined Method for Object Detection under Rain Conditions Using Deep Learning | |
Kirthiga et al. | A survey on crack detection in concrete surface using image processing and machine learning | |
KR20220143119A (ko) | 인지 시스템용 훈련 데이터 후보의 자동 식별 | |
Zhang et al. | Quantitative nondestructive testing of broken wires for wire rope based on multi-image fusion | |
Nakajima et al. | A study on deep cnn structures for defect detection from laser ultrasonic visualization testing images | |
EP3561503B1 (en) | Detection of portions of interest in image or matrix data | |
Bahreini et al. | Dynamic graph cnn based semantic segmentation of concrete defects and as-inspected modeling | |
Hussain et al. | A Novel SCD11 CNN Model Performance Evaluation with Inception V3, VGG16 and ResNet50 Using Surface Crack Dataset | |
Kapadia et al. | Monitoring and Analysis of Surface Cracks in Concrete Using Convolutional Neural Network | |
CN116735723A (zh) | 一种钢轨伤损超声定位识别系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6725067 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |