JP6725067B2

JP6725067B2 - 不要部分を除去するためのデジタル画像の処理

Info

Publication number: JP6725067B2
Application number: JP2019516215A
Authority: JP
Inventors: ロドリゲス・エドゥアルダメンデス; ジョージェスク・セルバン; タウンセンド・ジョゼフ
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2016-10-14
Filing date: 2017-10-09
Publication date: 2020-07-15
Anticipated expiration: 2037-10-09
Also published as: WO2018069686A1; US20190188855A1; JP2019530096A; US10896509B2; EP3526768B1; GB201617444D0; EP3526768A1

Description

本発明は、デジタル画像の不要部分を除去する画像処理方法、並びに対応する画像処理機器及びコンピュータプログラムに関する。

位置又はオブジェクトの画像のような画像は、特定タスクを実行可能にする情報を含む場合がある。例えば、オブジェクトの超音波スキャンのような画像は、より詳細に後述するように該オブジェクト内の構造的欠陥を識別するために分析され得る。或いは、写真又は静止画は、特定アイテムが該画像内に存在するか否かを決定するために検査され得る。

超音波非破壊検査（Ultrasonic non−destructive testing：NDT）は、製造中に使用されるグラスファイバのような材料の完全性又は構造を決定するために使用される非侵襲性技術であり、検査オブジェクト内の内部欠陥の検出を可能にする。この技術では、１又は複数の超音波プローブは、オブジェクト内部を伝搬する音波を発し、内部構造との相互作用から生じるエコーを受信する。反射材料の距離は、音波の速度に基づき正確に推定できる。

不連続、しわ、トラップされたオブジェクト、空洞部分、等のような欠陥に起因して反射により引き起こされる信号は、スキャンにおいて識別できる。この技術は、産業において、製造品質制御プロセスの部分として広く使用されている。現在、検出は手動処理であり、スキャンの各セクションの綿密な視覚的検査を含む。検査オブジェクトの寸法に依存して、訓練されたオペレータは、欠陥を有し及び実査を必要とする可能性のある構造の領域を識別するためにスキャンの視覚化に目を通すのに数時間を費やし得る。オペレータは、構造的屈曲又は不連続のような視覚的手掛かりを用いて、潜在的欠陥に注意を与える。これは、生スキャンデータの、飽和閾の調整、ズーム、等を可能にするインタラクティブな視覚化を通じて行われる。オペレータは高度に訓練されるが、検査が全欠陥の全範囲を有することは、エコーの伝搬から生じる生データ内のノイズ及び／又は視覚化に伴う問題のために保証されない。

他の技術的用途では、写真、静止ビデオ画像、等のような非超音波画像は、特定オブジェクトが画像内に存在するか否かを決定するために自動的に検査され得るが、画像の一部だけが関連する及び／又は関心がある場合、この処理は計算リソースの浪費であり不必要に時間を消費し得る。

したがって、画像内のデータの分析を向上するために使用され得る画像処理方法及び機器を提供することが望ましい。

本発明の第１の態様の一実施形態によると、デジタル画像の不要部分を除去する画像処理方法であって、前記方法は、前記画像をサンプリングして、画像全体を表す画像パッチのセットを生成するステップであって、該画像は関心部分を含む、ステップと、前記画像パッチから特徴ベクトルを抽出するステップと、前記抽出した画像ベクトルを複数のクラスタに区分するステップであって、同じクラスタ内の特徴ベクトルは共通特徴を共有する、ステップと、前記画像内の前記関心部分をセグメントセットにセグメント化するステップと、集約境界領域生成処理を実行するステップであって、前記セグメントセット内の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成するステップと、どの画像クラスタが前記セグメントの前記境界ボックス内で最も多くの画像パッチを含むかを決定するステップと、前記決定した画像クラスタの前記画像パッチを前記関心部分の集約境界領域に追加するステップと、を含むステップと、前記集約境界領域生成処理を前記セグメントセットの中の他のセグメント毎にサイズ順に繰り返すステップであって、結果として生じた集約境界領域は前記関心部分に関連する全ての前記画像パッチを含む、ステップと、前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去するステップと、を含む方法が提供される。

前記関心部分をセグメント化するステップは、例えば前記画像から少なくとも部分を抽出し、該部分では前記画像の前記部分の中のピクセルの予め選択された属性が所望の特性を有し、並びに関心部分の中で少なくとも１つのコンポーネントを識別し、各該コンポーネントはセグメントを形成する、ことにより、前記画像を検索して前記関心部分の位置を特定するステップを含む。

不要部分の除去されるべき前記画像は、対象オブジェクトに関連する非画像データを変換することにより取得されて良く、前記画像内のピクセルの属性は非画像データのパラメータに関連付けられる。例えば、前記非画像データは、対象オブジェクトの超音波スキャンを通じて取得されて良い。

前記対象オブジェクトは、例えば、工業用オブジェクト、及び製造中に使用されるオブジェクトのうちの少なくとも１つであって良い。

前記対象オブジェクトに関連する前記非画像データは、例えば、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用され得る。

本発明の第２の態様の一実施形態によると、対象オブジェクトの中の欠陥を検出する際に使用される欠陥検出方法であって、前記方法において、前記オブジェクトの又は前記オブジェクトから得られた画像は、欠陥を識別するために分析され、分析されるべき前記画像は、本発明の第１の態様を実施する方法に従い不要部分の除去された画像である、方法が提供される。

不要部分の除去されるべき前記画像は、前記対象オブジェクトに関連する非画像データを変換することにより取得されて良く、該非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用されて良い。

本発明の第３の態様の一実施形態によると、コンピュータプログラムであって、コンピュータで実行されると、該コンピュータに、本発明の第１又は第２の態様を具現化する方法を実行させる、コンピュータプログラムが提供される。

本発明の第４の態様の一実施形態によると、デジタル画像の不要部分を除去する画像処理機器であって、前記機器は、前記画像をサンプリングして、画像全体を表す画像パッチのセットを生成するよう構成される画像サンプラであって、該画像は関心部分を含む、画像サンプラと、前記画像パッチから特徴ベクトルを抽出するよう構成される特徴抽出部と、前記抽出した画像ベクトルを複数のクラスタに区分するよう構成される特徴クラスタ部であって、同じクラスタ内の特徴ベクトルは共通特徴を共有する、特徴クラスタ部と、前記画像内の前記関心部分をセグメントセットにセグメント化するよう構成される画像セグメント部と、集約境界領域生成処理を実行するよう構成される検出部であって、前記集約境界領域生成処理は、前記セグメントセット内の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成し、どの画像クラスタが前記セグメントの前記境界ボックス内で最も多くの画像パッチを含むかを決定し、前記決定した画像クラスタの前記画像パッチを前記関心部分の集約境界領域に追加し、前記構造検出部は、前記集約境界領域生成処理を前記セグメントセットの中の他のセグメント毎にサイズ順に繰り返し、結果として生じた集約境界領域は前記関心部分に関連する全ての前記画像パッチを含む、検出部と、前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去するよう構成されるデータフィルタと、を含む機器が提供される。

前記画像セグメント部は、例えば前記画像から少なくとも部分を抽出し、該部分では前記画像の前記部分の中のピクセルの予め選択された属性が所望の特性を有し、並びに関心部分の中で少なくとも１つのコンポーネントを識別し、各該コンポーネントはセグメントを形成する、ことにより、前記画像を検索して前記関心部分の位置を特定するよう動作し得る。

本発明の第４の態様を実施する機器は、対象オブジェクトに関連する非画像データを不要部分の除去されるべき前記画像に変換するよう構成されるデータ画像変換部であって、前記画像内のピクセルの属性は前記非画像データのパラメータに関連付けられる、データ画像変換部、を更に含み得る。例えば、前記非画像データは、対象オブジェクトの超音波スキャンデータであって良い。

本発明を実施する方法又は機器の文脈で、デジタル画像の不要部分は、無関係なデータ、例えば画像が得られるデータの中のノイズに対応する画像部分又は画像の別の異質部分を含み得る。

本発明を実施する方法及び機器は、画像内の関心領域の自動的且つ正確な検出を可能にし得る。画像内の無関係なデータ（例えばノイズ又は異質部分）をフィルタリングすることにより、技術者による画像の視覚検査が一層容易に及び／又は一層効率的にされ得る。

例えば、超音波スキャンデータ分析に関連する検査処理の部分を自動化することにより、品質制御エンジニア／技術者は、彼らの検査を一層効率的に実行でき、検査オブジェクト当たりに要する時間が少なくなり、したがって全体の人的労働及びコストを削減する。本発明を実施する方法／機器は、特に（排他的ではないが）、検査オブジェクトが後壁のような大型構造を含むNDT超音波画像に適用されるとき、有用である。

さらに、機械学習技術を用いる自動欠陥検出が可能にされ得る。機械学習に基づく欠陥検出アプローチのためのトレーニングデータは、本発明を実施する方法／機器を用いて生成され得る。

例として、以下の添付の図面を参照する。
本発明を実施する画像処理機器を含む機器のブロック図である。データマトリックスを示す。勾配色マップを示す。画像サンプリング処理を説明する際に使用するための図である。画像サンプリング処理を説明する際に使用するためのフローチャートである。特徴抽出を説明する際に使用するためのブロック図である。画像セグメント処理を説明する際に使用するための図である。特徴クラスタ処理を説明する際に使用するための図である。本発明を実施する画像処理方法を含む方法を説明する際に使用するためのフローチャートである。関心部分を有するフルスキャン画像を示す。関心部分がセグメント化されるときの図９の画像を示す。集約境界領域内のセグメント化部分に対応する画像パッチを示す、図１０Ａの画像を示す。フィルタリングされるべき画像パッチを示す図１０の画像を示す。本発明を実施する方法を説明する際に使用するための、超音波NDTスキャン中のパイプの図である。図１２の超音波スキャンの結果として生成された画像からの画像パッチの一例を示す。パイプ内の潜在的欠陥を示す２つの例示的な画像パッチを示す。図６（ａ）〜（ｅ）の画像セグメント処理の、図１４の画像パッチのうちの１つへの適用を説明する際に使用するための図である。図６（ａ）〜（ｅ）の画像セグメント処理の、図１４の画像パッチのうちの１つへの適用を説明する際に使用するための図である。セグメント画像パッチの集約境界領域を示す図である。本発明を具現化するコンピューティング装置のブロック図である。

本発明の一実施形態は、デジタル画像の不要部分を除去する自動画像処理方法及び画像処理機器を含む。単に例として、分析されるべき超音波画像に適用される本発明の一実施形態は、以下に、画像処理プロセスが欠陥検出プロセスの前処理段階である場合に説明される。

図１は、欠陥検出モジュール（欠陥検出部）７に入力する本発明を実施する画像処理機器１００のブロック図を示す。画像処理機器１００は、視覚化モジュール（データ−画像変換部及び画像サンプラ）１、特徴抽出モジュール（特徴抽出部）２、画像セグメントモジュール（画像セグメント部）３、特徴クラスタモジュール（特徴クラスタ部）４、特徴検出モジュール（検出部）５、及びデータフィルタモジュール（データフィルタ）６を含む。モジュール１〜６は以下に説明される。

１．視覚化
本実施形態では、視覚化モジュール１は、入力として生（つまり未処理）スキャンデータを検査中のオブジェクトの超音波スキャンから取り入れる。本例における生スキャンデータは、２つの次元、つまりオブジェクトの先端からの距離ｘ、及び音波出力とエコー信号振幅の測定との間の経過時間ｔ、に従うエコー信号の振幅を含む。本例では、このデータは図２Ａに示されるように行列又は２次元データ構造１０Ａとして表現される。図２Ａでは、エコー信号振幅値a_１１、a_１２、．．．、a_mnは、行ｔ_１、ｔ_２、．．．、ｔ_n及び列ｘ_１、ｘ_２、．．．、ｘ_nに割り当てられる。視覚化モジュール１は、各振幅値を、例えば最小振幅a_minの濃い青から最大振幅a_maxの濃い赤まで固定色勾配（図２Ｂに示される）により決定されるRGB色にマッピングする。結果として生じる画像は、ピクセルマップであり、各ピクセルの色は振幅値を符号化する。プロットにおいてより高い振幅に割り当てられる色がプロットの中の他の色と視覚的に区別されるならば、代替の色マッピングが使用されて良い。さらに、データの異なる値が画像内で直ちに区別可能ならば、色以外の画像ピクセルの属性がデータの特性特徴（パラメータ）に割り当てられる他の方法を、データを画像にマッピングするために使用することが可能であり得る。

視覚化モジュール１は、画像（ピクセルマップ）をサンプリングして、画像全体を表す画像パッチのセットを生成するよう更に構成される。該画像は、関心部分を含む。視覚化モジュール１は、スキャン全体又はスキャンの部分だけのプロットを可能にするようパラメータ化される。図３に示すように、視覚化モジュール１は、入力として４個のパラメータ、x_step、x_overlap、t_step、及びt_overlapを取り入れ、スキャンデータの幾つかのサンプルを読み出し、オーバラップする画像パッチを生成する。本実施形態では、スキャンのより細かい粒度のビューを提供するために、オーバラップするパッチが生成されるが、画像パッチがオーバラップすることは必須ではない。スキャン画像を生成するために視覚化モジュール１により実行される処理は、図４のフローチャートに詳述される。

ステップ１で、パラメータx_step、x_overlap、t_step、及びt_overlapが定められる。ステップＳ２及びＳ３それぞれで、ｘはx_０に等しく設定され、tはt_０に等しく設定される。ステップＳ４及びＳ５それぞれで、スライディングウインドウx_range=[x,x+x_step]及びt_range=[t,t+t_step]が定められる。生成される画像パッチは、提供された範囲内のデータをサンプリングすることから生じる（ステップＳ６〜Ｓ８）。xは、ステップＳ９でx+x_step−x_overlapに等しく設定され、ステップＳ１０でxの最大値x_mと比較される。xがx_mより小さい場合、処理はステップＳ４に戻り、ステップＳ４及びＳ６〜Ｓ１０はxがx_mに等しくなるまで繰り返される。処理は、次にステップＳ１１へ進む。tは、ステップＳ１１でt+t_step−t_overlapに等しく設定され、ステップＳ１２でtの最大値t_nと比較される。tがt_nより小さい場合、処理はステップＳ２及びＳ５に戻り、ステップＳ４〜Ｓ１２はtがt_nに等しくなるまで繰り返される。処理は、行列全体がプロットされると終了する。

２．特徴抽出
本発明の実施形態では、特徴抽出モジュール２は、視覚化モジュール１により生成された画像パッチから特徴ベクトルを抽出するよう構成される。各特徴ベクトルは画像パッチの特徴を表す。画像の特徴ベクトル表現を計算する多くの可能な方法がある。本実施形態では、特徴抽出モジュール２は、深層学習に基づく機械視覚技術を用いる。このような技術は従来良く知られており、画像の重要な視覚的特性をキャプチャすることが証明されている。画像認識のために訓練された深層ニューラルネットワーク（deep neural network：DNN）の良く知られた例は、AlexNetと呼ばれる畳み込みニューラルネットワークアーキテクチャである。このネットワークは、入力としてサイズ２５６×２５６ピクセルのRGB画像を取り込み、それらを１０００個の異なるカテゴリに分類することができる。

図５に示すように、このようなDNN２０は、画像をネットワークに供給し、フィードフォワードステップを実行し、及び最終レイヤのうちの１つの中で見付かったデータを特徴を表す値のベクトルとしてエクスポートすることにより、特徴抽出のために使用できる。例えば、データが最後のレイヤ（AlexNetでは「fc８」と称される）から抽出された場合、ネットワークは、任意の２５６×２５６RGB画像を１０００個の実数要素を有するベクトルに変換する特徴抽出部になる。

３．画像セグメント化
画像セグメント化は、画像の表現を分析のためにより有意義な又は容易なものに単純化する又は変更するために、デジタル画像を複数のセグメントに区分する処理である。これは、標準的に、画像内のオブジェクト及び境界の位置を特定するために使用される。画像セグメント化では、ラベルが画像内の各ピクセルに割り当てられ、特定特性を共有するピクセルが同じラベルを割り当てられるようにする。

本発明の画像セグメントモジュール３は、画像内の関心部分をセグメントセットにセグメント化する。本実施形態では、画像内の関心特定構造の位置を特定するために、画像セグメントモジュール３は、画像内の所与の色（例えば図６において赤）の最大部分を検索する。該最大部分は、所与の振幅のエコー信号を有する最大オブジェクトに対応する。最初に、図６（ａ）に示すように、セグメント化されるべき画像は、形状[x,t,３]の３D行列に変換され、ここで各[x,t,i]は各色（赤、緑、及び青）のピクセル強度を表す。所与の色コンポーネントの色値の２D行列は、次に、図６（ｂ）に示すように抽出される。結果として生じた値の行列は、閾値が定められ及び変換されて、２値の白黒画像を生じる。ここで、白色成分は異なる「オブジェクト」３０Ａ、３０Ｂを表し、元の値の強度は、画像内の関心構造を見付けるために検索を較正するためにプリセットされた何らかの固定値より小さい（図６（ｃ）及び（ｄ））。これらの図の白色オブジェクト３０Ａ、３０Ｂは、黒色ギャップ３１により分離される。黒色ギャップ３１は、欠陥の位置を表し、又は正しくスキャンされなかったオブジェクトの部分に対応し得る。各オブジェクト３０Ａ、３０Ｂの領域は、各オブジェクト内のピクセルの番号として取り入れられ、最大オブジェクトは、最大領域を有するオブジェクト（本例ではオブジェクト３０Ｂ）であるとして取り入れられる。x次元における（それぞれx_１及びx_２）及びt次元における（それぞれt_１及びt_２）最大オブジェクトの最小及び最大座標は、最大オブジェクトの境界ボックスが（（x_１,t_１）、（x_１,t_２）、（x_２,t_２）、（x_２,t_１））において定められるようにする（図６（ｅ））。最大オブジェクトを識別するこの処理は、次に、残りのオブジェクト（つまり既に識別された最大オブジェクトを除く）の中で、全てのオブジェクトが境界ボックスにより定められるまで、次の最大オブジェクトを見付けるために、必要に応じて連続的に繰り返され、それにより関心部分をセグメント化する。

４．特徴クラスタ化
特徴クラスタモジュール４は、特徴抽出モジュール２により抽出された特徴ベクトルを複数のクラスタに区分するよう構成される。ここで、同じクラスタ内の特徴ベクトルは共通特性を共有する。クラスタ分析は、同じグループ、つまり「クラスタ」内のオブジェクトが（何らかの方法で）他のクラスタ内のオブジェクトよりも、互いにより似ているオブジェクトのセットをグループ化するタスクである。K平均のような一般的な区分方法は、それらの簡易性及び計算効率のために多くの適用領域で広く使用されている。本実施形態は、ｋ平均を使用するが、任意の他のクラスタ化アルゴリズムが選択され得る。

特徴クラスタモジュール４の基本的目的は、特徴抽出モジュール２から生じる画像ベクトルのセットを、図７に示されるように多数のクラスタに区分することである。ｋ平均の場合には、クラスタ数は、ドメイン知識に基づき予め定められる必要があるが、より複雑なアルゴリズムではこの数はアルゴリズム自体により発見される。

クラスタを用いて、スキャン画像パッチは、それぞれの画像ベクトル類似性に従いソートされて、特定クラスタに割り当てられた画像が、他のクラスタに割り当てられた画像よりも互いに視覚的に類似することが期待される。ベクトル類似性は、例えばコサイン類似性指標を用いて計算できる。

クラスタ化はスキャンされたオブジェクトの中に存在する特定構造のグループ化を可能にするが、これは、このような構造にいかなるラベル又はセマンティクスも割り当てない。どのクラスタが特定構造に対応するかを識別するために、後述するように更なる処理が必要である。

５．構造検出
構造検出モジュール５は、画像セグメントモジュール３及び画像クラスタモジュール４の出力を用いて、集約境界領域生成処理を実行するよう構成される。集約境界領域生成処理は、関心部分に関連する全ての画像パッチを含む集約境界領域を生成する。集約境界領域生成処理は、セグメントセットの中の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成するステップと、どの画像クラスタがセグメントの境界ボックスの中で最も多くの画像パッチを含むかを決定するステップと、決定した画像クラスタの画像パッチを関心部分の集約境界領域に追加するステップと、を含む。集約境界領域生成処理は、セグメントセットの中の各々の他のセグメントについてサイズ順に繰り返される。構造検出モジュール５を用いる、本発明を実施する方法の動作は、図８のフローチャートを参照して以下に説明される。

上述のように、画像セグメントモジュール３により使用されるパラメータ値は、関心特定構造（例えば、検査中のオブジェクトの後壁）を識別するために設定（「調整」）される。この構造は、図９に示されるように、全スキャン画像のうち少なくとも１つの相対的に大きな領域３０として際立つと仮定する。

処理は、画像セグメントモジュール３が関心構造の少なくとも１つの可能な重要セグメントを識別し（ステップＳ８１）、及び全てのこのような識別されたセグメントのリストを生成する（ステップＳ８２）ことで開始する（図６を参照して上述した）。ステップＳ８３で、リストが空ではない（「No」）ことを確認した後に、図１０Ａに示されるように、画像セグメントモジュール３は、次にリストから最大セグメントを選択し（Ｓ８５）、該最大セグメントを囲む境界ボックス３２Ａを定め（Ｓ８６）、その左上角の座標（t_０,x_０）及び右下角の（t_１,x_２）を抽出する。

その最初の反復で、図１０Ｂに示されるように、構造検出モジュール５により実行される処理は、画像クラスタモジュール４により生成された画像クラスタのうちのどれ（以後、「トップクラスタ」と呼ぶ）が、セグメント境界ボックス３２Ａ内の最多パッチ３３を含むかを調べる（ステップＳ８７、Ｓ８８）。ひもの場合、１より多くのクラスタがトップクラスタとして選択されて良い。

処理は、処理の該反復で識別された各トップクラスタの画像パッチ（図１０Ｂの３３Ａ）を、構造全体について集約境界領域３４に追加することにより継続する（ステップＳ８９，Ｓ９０）。前の最大セグメントは、次に初期リストから削除され（ステップＳ９１）、その後、処理はステップＳ８３に戻り、リストに残されたセグメントが無くなるまで、残りのセグメント３３Ｂ、３３Ｃ、３３Ｄ、３３Ｅが次にサイズの降順に処理される（「処理済み画像Yes」、ステップＳ８３）。この処理の出力（ステップＳ８４）は、図１０Ｂに示されるように、選択された識別された画像パッチの全部を含む集約（全体）境界領域３４である。

６．データフィルタリング
データフィルタモジュール６は、図１１に示されるように、元の画像から、集約境界領域３４の外側にある画像パッチ３５を除去するよう構成される。例えば、画像セグメントモジュール３が検査オブジェクトの後壁を識別する場合には、反射によるノイズを表す後壁の下側のスキャン領域を削除することが望ましいことがある。このような領域は、より高いtの値で受信されるエコーに対応する。したがって、本例では、データフィルタモジュール６により実行されるデータフィルタリング処理は、境界領域の最大値tより高いtの値の範囲を有する画像パッチを調べ削除する。

７．欠陥検出
上述のように、本実施形態では、画像処理機器１００から出力されるフィルタリングされた画像は、欠陥検出モジュール７に供給される。欠陥検出モジュール７の正確な性質は、本発明の主題ではない。しかしながら、１つの可能な実装は、教師付き機械学習アプローチを用い得る。このような場合には、画像処理機器１００は、サンプルスキャンセットについて画像パッチを生成し、上述の処理によりパッチからノイズを除去し得る。次に、各パッチを、既知の欠陥位置に対して、欠陥の肯定的又は否定的例としてラベル付けし得る。次に、特徴抽出モジュール２は、ラベル付けされた画像ベクトルのトレーニングセットを生成するために適用され得る。標準的な機械学習方法の後に次に、トレーニングセットを用いて、欠陥と非欠陥パッチとの間を区別するよう学習モジュールを訓練する。例えば、kNM（k−Nearest Neighbour）のような簡易分類器が、新しいスキャンからのパッチが欠陥クラス又は非欠陥クラスに含まれるかを決定するために適用され得る。

＜例＞
本発明を実施する画像処理方法の特定の適用は、以下に図１２〜１７を参照して記載される。

例示を目的として、私達はグラスファイバパイプ１２０を検査オブジェクトとして検討する。グラスファイバは、軽量な重さながら高い強度及び耐久性特性を有することから利益を享受する大きな構造物の製造において広く使用される。グラスファイバの初期の用途は、航空機設計のための航空機及び航空宇宙産業から生じた。今日、特に、船体、パイプ、サーブボード、風力タービン翼、自動車車体部品、ウォータスライダ、棒高跳びの棒、を含む多くの他の用途がある。このようなオブジェクトの中で異常を製造することは、それらの構造的完全性に重要な影響を与え得る。

超音波NDTスキャンは、プローブアレイ１２１により実行される。プローブアレイ１２１は、パイプ構造１２０の内部を伝搬する音波を発し、前壁及び後壁との相互作用から生じるエコーを受信する（図１２）。エコーの振幅は、２つの次元、つまりパイプ１２０の長さに平行な方向で測定される長さx、及び時間ｔ、に沿って測定される。結果として生じるデータは、エコー振幅を有する数値行列として表現できる。ここで、各行ｉは所与の伝搬時間t_iに対応し、各列jは所与の水平位置x_jに対応する。生データ行列は、上述のスキャンデータサンプル視覚化処理において示したように、色勾配をエコーの振幅値にマッピングすることにより（例えば、濃い青から濃い赤までの勾配）視覚化できる。

検査オブジェクトの前及び後ろ構造は、図１３の画像パッチの中に示されるように、それらの生成するエコーの振幅が通常、濃く色付けされた領域として目立つので、視覚化の中で容易に識別可能であり、したがって、欠陥の検査を容易にする。グラスファイバレイヤ中のしわのような欠陥は、図１４に示されるように、後ろ構造領域の中で不連続又は湾曲のようなスキャン中の独特な視覚的パターンをもたらす。

構造の下の視覚化されたデータ（図１３を参照）は、ノイズを構成し、したがって検査目的では重要ではない。

方法は、スキャン視覚化パッチのセグメント化で開始する。図１５に示されるように、各パッチは、所望のコンポーネント（この場合は赤）を別個の画像として抽出することにより、複数のオブジェクトにセグメント化される。別個の画像は、次に、閾を定められ、前述のように反転され、結果として共に後ろ構造の部分である２個のオブジェクトを生じる。領域は、各オブジェクトについて計算され、境界ボックスが最大のものの周囲に描かれる。

図１６に示すように、画像内で識別された最大オブジェクトは画像から除去され、境界ボックスが、後壁の後半である、残っている最大オブジェクトの周囲に描かれる。この第２オブジェクトが除去されると、もう残りオブジェクトがない。この処理により識別されたオブジェクトの境界ボックスは、後ろ構造の位置の近似を提供する（図１７）。

同じアプローチは、検出され及びセグメント化される必要のある支配的大型オブジェクトを有する非超音波画像に適用可能である。例えば、特定自動車道からのCCTVカメラのキャプチャした映像は、自動車道車線及び路肩の両者からの像を含み得る。幾つかの適用では、路肩上を不法に走行する車を検出したいことがある。別の適用では、例えば車の存在しない無関係な画像部分を削除することにより、画像データファイルのサイズを縮小したいことがある。本発明の一実施形態は、主要道路を路肩から分離する白線をセグメント化するために適用され得る。

本発明の実施形態は、ハードウェア、１若しくは複数のプロセッサで動作するソフトウェアモジュールとして又はそれらの組合せで実施されてもよい。つまり、当業者は、マイクロプロセッサ又はデジタルシグナルプロセッサ（DSP）が実際には用いられて、上述の機能の一部又は全部を実施してもよいことを理解するだろう。

本発明は、１又は複数の装置若しくは機器の、本願明細書に記載された方法の一部又は全部を実行するプログラム（例えば、コンピュータプログラム及びコンピュータプログラムプロダクト）として具現化されてもよい。このような本発明を具現化するプログラムは、コンピュータ可読媒体又はクラウドに、例えば１又は複数の信号の形式で格納されてもよい。このような信号は、インターネットのウェブサイトからダウンロード可能なデータ信号であってもよく、又はキャリア信号で若しくはどんな他の形式で提供されてもよい。

図１８は、本発明を実現し、本発明を具現化する方法のステップの一部又は全部を実施するために及び一実施形態の装置のタスクの一部又は全部を実行するために使用できる、データ記憶サーバのようなコンピューティング装置のブロック図である。例えば、図１８のコンピューティング装置は、図４に図示した視覚化方法の全てのステップ及び図８に図示した画像処理方法の全てのステップを実施するため、及び図１に示された画像処理機器及び欠陥検出部の全てのタスクを実行するため、又は図４の視覚化方法の一部のステップだけを実施するため、及び／又は図８の画像処理方法の一部のステップだけを実施するため、及び図１の画像処理機器の一部のタスクだけ及び／又は図１の欠陥検出部の一部のタスクだけを実行するために使用されて良い。

コンピューティング装置は、プロセッサ９９３、及びメモリ９９４を有する。任意で、コンピューティング装置は、コンピューティング装置のような他者、例えば本発明の実施形態の他のコンピューティング装置と通信するためのネットワークインタフェース９９７も有する。

例えば、一実施形態は、このようなコンピューティング装置のネットワークで構成されて良い。任意で、コンピューティング装置は、キーボード及びマウスのような１又は複数の入力メカニズム９９６、及び１又は複数のモニタのようなディスプレイユニット９９５も有する。コンポーネントは、バス９９２を介して互いに接続可能である。

メモリ９９４は、コンピュータ実行可能命令を実行する又は格納されたデータ構造を有するよう構成される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース及び／又は関連するキャッシュ及びサーバ）を表し得るコンピュータ可読媒体を有して良い。コンピュータ実行可能命令は、例えば、汎用コンピュータ、特定目的コンピュータ又は特定目的処理装置（例えば、１又は複数のプロセッサ）によりアクセス可能であり及び１又は複数の機能又は工程を実行させる命令及びデータを有して良い。したがって、用語「コンピュータ可読記憶媒体」は、機械による実行のために命令セットを格納しエンコードし又は持ち運ぶことが可能であり、機械に本開示の方法のうち任意の１又は複数を実行させる任意の媒体も含み得る。用語「コンピュータ可読記憶媒体」は、固体メモリ、光学媒体及び磁気媒体を含むと考えられるが、これらに限定されない。例として且つ限定ではなく、このようなコンピュータ可読媒体は、RAM（Random Access Memory）、ROM（Read−Only Memory）、EEPROM（Electrically Erasable Programmable Read−Only Memory）、CD−ROM（Compact Disc Read−Only Memory）又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置を含む非一時的若しくは有形コンピュータ可読記憶媒体、又は他の媒体、フラッシュメモリ装置（例えば、固体メモリ装置）を有し得る。

プロセッサ９９３は、コンピューティング装置を制御し、処理工程を実行するよう、例えば図１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、及び／又は１７を参照して記載された及び請求の範囲において定められる方法を実施するためにメモリ９９４に格納されたコンピュータプログラムコードを実行するよう構成される。例えば、このようなコンピュータプログラムコードは、図１に示された及び上述された、視覚化モジュール１、特徴抽出モジュール２、画像セグメントモジュール３、特徴クラスタモジュール４、特徴検出モジュール５、及びデータフィルタモジュール６のうちの少なくとも１つを実装して良い。メモリ９９４は、プロセッサ９９３によりリード及びライトされるデータを格納する。本願明細書で参照されるとき、プロセッサは、マイクロプロセッサ、中央処理ユニット、等のような１又は複数の汎用処理装置を含み得る。プロセッサは、CISC（complex instruction set computing）マイクロプロセッサ、ＲＩＳＣ（reduced instruction set computing）マイクロプロセッサ、VLIW（very long instruction word）マイクロプロセッサ、又は他の命令セットを実施するプロセッサ、若しくは命令セットの組合せを実施するプロセッサを含み得る。プロセッサは、ASIC（application specific integrated circuit）、FPGA（field programmable gate array）、DSP（digital signal processor）、ネットワークプロセッサ、等のような１又は複数の特定目的処理装置も含み得る。１又は複数の実施形態では、プロセッサは、本願明細書で議論する工程又はステップを実行する命令を実行するよう構成される。

ディスプレイユニット９９５は、コンピューティング装置により格納されたデータの提示を表示して良く、ユーザとプログラムとコンピューティング装置に格納されたデータとの間の相互作用を可能にするカーソル及びダイアログボックス及びスクリーンも表示して良い。入力メカニズム９９６は、ユーザがデータ及び命令をコンピューティング装置に入力することを可能にし得る。

ネットワークインタフェース（ネットワークI/F）９９７は、インターネットのようなネットワークに接続され、ネットワークを介して他のコンピューティング装置に接続可能であって良い。ネットワークI/F９９７は、ネットワークを介して他の装置からのデータ入力／へのデータ出力を制御して良い。

マイクロフォン、スピーカ、プリンタ、電源ユニット、ファン、筐体、スキャナ、トラックボール等のような他の周辺装置は、コンピューティング装置に含まれて良い。

本発明を実現する方法は、図１８に示されたようなコンピューティング装置で実行されて良い。このようなコンピューティング装置は、図１８に示した全てのコンポーネントを有する必要はなく、これらのコンポーネントのうちの部分集合で構成されて良い。本発明を具現化する方法は、ネットワークを介して１又は複数のデータ記憶サーバと通信する単一のコンピューティング装置により実行されて良い。コンピューティング装置は、データの少なくとも一部を格納するデータ記憶装置自体であっても良い。

本発明を実現する方法は、互いに協働して動作する複数のコンピューティング装置により実行されて良い。複数のコンピューティング装置のうちの１又は複数は、データの少なくとも一部を格納するデータ記憶サーバであっても良い。

上述の本発明の実施形態は、実施形態のうちの任意の他の実施形態と独立に又は実施形態のうちの１又は複数の他の実施形態との任意の実現可能な組合せで、使用されても良い。

Claims

デジタル画像の不要部分を除去する画像処理方法であって、前記方法は、
前記画像をサンプリングして、画像全体を表す画像パッチのセットを生成するステップであって、該画像は関心部分を含む、ステップと、
前記画像パッチから特徴ベクトルを抽出するステップと、
前記抽出した画像ベクトルを複数のクラスタに区分するステップであって、同じクラスタ内の特徴ベクトルは共通特性を共有する、ステップと、
前記画像内の前記関心部分をセグメントセットにセグメント化するステップと、
集約境界領域生成処理を実行するステップであって、
前記セグメントセット内の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成するステップと、
どの画像クラスタが前記セグメントの前記境界ボックス内で最も多くの画像パッチを含むかを決定するステップと、
前記決定した画像クラスタの前記画像パッチを前記関心部分の集約境界領域に追加するステップと、
を含むステップと、
前記集約境界領域生成処理を前記セグメントセットの中の他のセグメント毎にサイズ順に繰り返すステップであって、結果として生じた集約境界領域は前記関心部分に関連する全ての前記画像パッチを含む、ステップと、
前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去するステップと、
を含む方法。
前記関心部分をセグメント化するステップは、
前記画像を検索して前記関心部分の位置を特定するステップと、
前記関心部分の中で少なくとも１つのコンポーネントを識別するステップであって、各々の該コンポーネントはセグメントを形成する、ステップと、
を含む、請求項１に記載の方法。
前記画像を検索するステップは、
前記画像から少なくとも１つの部分を抽出するステップであって、前記画像の該部分の中のピクセルの予め選択された属性は所望の特徴を有する、ステップを含む、請求項２に記載の方法。
不要部分の除去されるべき前記画像は、対象オブジェクトに関連する非画像データを変換することにより取得され、前記画像内のピクセルの属性は非画像データのパラメータに関連付けられる、請求項１、２、又は３に記載の方法。
前記非画像データは、前記対象オブジェクトの超音波スキャンを通じて取得される、請求項４に記載の方法。
前記対象オブジェクトは、工業用オブジェクト、及び製造中に使用されるオブジェクト、のうちの少なくとも１つである、請求項４又は５に記載の方法。
前記対象オブジェクトに関連する前記非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用される、請求項４、５、又は６に記載の方法。
対象オブジェクトの中の欠陥を検出する際に使用される欠陥検出方法であって、前記方法において、前記オブジェクトの又は前記オブジェクトから得られた画像は、欠陥を識別するために分析され、分析されるべき前記画像は、請求項１乃至７のいずれか一項に記載の方法に従い不要部分の除去された画像である、方法。
前記対象オブジェクトは、工業用オブジェクト、及び製造中に使用されるオブジェクト、のうちの少なくとも１つである、請求項８に記載の方法。
不要部分の除去されるべき前記画像は、前記対象オブジェクトに関連する非画像データを変換することにより取得され、該非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用される、請求項８又は９に記載の方法。
コンピュータ上で実行すると、該コンピュータに請求項１乃至１０のいずれか一項に記載の方法を実行させるコンピュータプログラム。
デジタル画像の不要部分を除去する画像処理機器であって、前記機器は、
前記画像をサンプリングして、画像全体を表す画像パッチのセットを生成する画像サンプラであって、該画像は関心部分を含む、画像サンプラと、
前記画像パッチから特徴ベクトルを抽出する特徴抽出部と、
前記抽出した画像ベクトルを複数のクラスタに区分する特徴クラスタ部であって、同じクラスタ内の特徴ベクトルは共通特性を共有する、特徴クラスタ部と、
前記画像内の前記関心部分をセグメントセットにセグメント化する画像セグメント部と、
前記セグメントセット内の最大セグメントを見付け、該セグメントの周囲に境界ボックスを生成し、どの画像クラスタが前記セグメントの前記境界ボックス内で最も多くの画像パッチを含むかを決定し、前記決定した画像クラスタの前記画像パッチを前記関心部分の集約境界領域に追加する集約境界領域生成処理、を実行する検出部と、
前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去するデータフィルタと、を含み、
前記検出部は、前記集約境界領域生成処理を前記セグメントセットの中の他のセグメント毎にサイズ順に繰り返し、前記集約境界領域生成処理を繰り返した結果として生じた集約境界領域は前記関心部分に関連する全ての前記画像パッチを含み、
前記データフィルタは、前記画像から、前記結果として生じた集約境界領域の外側にある前記画像パッチを除去する、
機器。
前記画像セグメント部は、
前記画像を検索して前記関心部分の位置を特定し、
前記関心部分の中で少なくとも１つのコンポーネントを識別し、各々の該コンポーネントはセグメントを形成する、請求項１２に記載の機器。
前記画像セグメント部は、前記画像を前記関心部分について、前記画像から少なくとも１つの部分を抽出することにより検索し、前記少なくとも１つの部分では、前記画像の該部分の中のピクセルの予め選択された属性は所望の特徴を有する、請求項１３に記載の機器。
対象オブジェクトに関連する非画像データを不要部分の除去されるべき前記画像に変換するデータ画像変換部であって、前記画像内のピクセルの属性は前記非画像データのパラメータに関連付けられる、データ画像変換部、を更に含む請求項１２、１３、又は１４に記載の機器。
前記非画像データは、前記対象オブジェクトの超音波スキャンデータである、請求項１５に記載の機器。
前記対象オブジェクトは、工業用オブジェクト、及び製造中に使用されるオブジェクト、のうちの少なくとも１つである、請求項１５又は１６に記載の機器。
前記対象オブジェクトに関連する前記非画像データは、前記オブジェクトの少なくとも部分に形成する材料の構造的完全性、及び前記オブジェクトの少なくとも部分に形成する材料の欠陥、のうちの少なくとも１つを決定するために使用される、請求項１５、１６、又は１７に記載の機器。