JP7047450B2 - 画像における関心部分の検出 - Google Patents

Description

本発明の実施形態は、画像データにおける関心部分の自動検出に関する。

画像における関心部分の自動検出は、多くの異なる技術分野において有効である。１つのそのような分野は、物品の超音波非破壊検査（ＮＤＴ）である。

超音波ＮＤＴは、製造の際に使用されるガラス繊維等の材料又は構造体の健全性を判定するために使用され、検査対象における内部欠陥の検出を可能にする非侵入技術である。この技術において、１つ以上の超音波プローブが、検査対象内部で伝搬する音波を発し、内部構造との相互作用から生じたエコーを受信する。反射材の距離が、音波の速度に基づいて正確に推定され得る。

超音波スキャンは、数値として行列に格納され、次いで、この行列が、例えば、青が低い値を表し赤が高い値を表すヒートマップに基づいて、目視検査のための画像に変換される。不連続部、ひび、トラップ状態のオブジェクト、エアポケット等といった欠陥に起因する反射によって引き起こされた信号が、スキャンにおいて識別され得る。この技術は、製造品質制御プロセスの一部として、製造業において広く使用されている。現在のところ、この検出は、スキャンの各セクションの完全な目視検査を伴う手動のプロセスである。検査対象の寸法によっては、訓練を受けたオペレータは、欠陥を有し物理的検査を必要とし得る、構造体の領域を識別するために、スキャンの視覚化画像全体を見るのに数時間を費やすことがある。オペレータは、構造体の湾曲又は不連続部等の視覚的てがかりを用いて、可能性のある欠陥に目印を付ける。これは、飽和閾値の調整、ズーム等を可能にする、未処理のスキャンデータのインタラクティブな視覚化を通じて行われる。オペレータが、非常に熟練しているとしても、この検査は、エコーの伝搬から生じる、未処理のデータにおけるノイズ及び／又は視覚化に伴う問題に起因して、全ての欠陥を完全に網羅することは保証されない。

このようなＮＤＴスキャンは、前壁、後壁、及び後壁のエコーといった、検査されている物品の複数の境界又は「壁」構造を検出する。前壁及び後壁を識別することは、これらの壁の間の空間が、欠陥を探さなければならない場所であるので、重要であり、画像における他の空間はノイズであり無視される。前壁は、スキャンの画像の上部に常に提示されることになるので、識別するのが簡単であるが、後壁を自動的に識別することは、後壁及びそのエコーの位置が変わり得、後壁又はエコーからのデータが欠けていることがあるので、より難しい。

関心部分を自動的に検出することはまた、他の技術領域においても問題があり得る。例えば、画像における道路区画線を自動的に識別することは、道路区画線の一部が遮蔽されている又は欠けている場合、難しい場合がある。

画像データにおける関心部分を自動的に特定するさらなる改良された方法を提供することが望ましい。

第１の態様の一実施形態に従うと、検討中の物品から導出された画像データ又は行列データにおける関心部分を自動的に特定する、コンピュータにより実行される方法が提供される。本方法は、予め設定された閾値を満たす、前記画像データ又は前記行列データの要素を、前記関心部分の可能性のある要素であるオブジェクトとして識別するステップと、
少なくとも１つの予め選択されたフィルタを、前記オブジェクトに対応するデータに適用して、前記関心部分の要素である可能性が最も高いオブジェクトからなるオブジェクトのセットを見出すステップと、
予め規定された基準に従って、前記オブジェクトのセットをクラスタに分類するステップと、
前記関心部分の既知の特性を使用して、前記クラスタのうちのどの１つのクラスタが前記関心部分に対応するかを識別するステップと、
を含む。

実施形態は、画像データ又は行列データにおける特定の層、境界又は壁構造が、これらの構造における不連続部の有無、これらの不連続部の幅、又はこれらの間の空間にかかわらず、正確且つ自動的に識別されることを可能にする。関心部分を特定することにより、次いで、関心部分内の不連続部が識別され得る。

検査プロセスの初期部分をこのように自動化することにより、品質制御技術者は、より効率的に検査を完了することができ、１つの検査対象当たりに要する検査時間を短くし、したがって、人間による作業及びコストの全体を低減することができる。実施形態は、データを処理することに伴い得るサンプリングプロセス又はパッチングプロセスとは独立している。

一実施形態の方法は、行列データの場合、該行列データから、前記関心部分として識別されなかった少なくとも１つのクラスタのデータを除いた画像を生成するステップをさらに含んでよい。

一実施形態の方法は、画像データの場合、該画像データから、前記関心部分として識別されなかった少なくとも１つのクラスタの画像データを除去するステップをさらに含んでよい。

第２の態様の一実施形態に従うと、検討中の物品における欠陥を検出する際に使用される欠陥検出の方法であって、該物品の又は該物品から導出された画像が、前記欠陥を識別するために解析され、解析される該画像は、第１の態様を具現化する方法に従って関心部分が自動的に特定された画像データを含む、方法が提供される。そのような欠陥検出の方法は、例えば、前記関心部分として識別されたクラスタを形成するデータにおける隙間の位置を、可能性のある欠陥の場所として識別するステップを含んでよい。

第３の態様の一実施形態に従うと、前記物品の少なくとも一部を形成する材料の構造的健全性と前記物品の少なくとも一部を形成する材料における欠陥とのうちの少なくとも１つを判定するための、第２の態様に従った方法の使用が提供される。

第４の態様の一実施形態に従うと、コンピュータ上で実行されたときに前記コンピュータに第１の態様又は第２の態様を具現化する方法を実行させるコンピュータプログラムが提供される。

第５の態様の一実施形態に従うと、検討中の物品から導出された画像データ又は行列データにおける関心部分を特定するデータ処理装置が提供される。本データ処理装置は、
予め設定された閾値を満たす、前記画像データ又は前記行列データの要素を、前記関心部分の可能性のある要素であるオブジェクトとして識別する要素識別器と、
前記オブジェクトに対応するデータをフィルタリングして、前記関心部分の要素である可能性が最も高いオブジェクトからなるオブジェクトのセットを見出す少なくとも１つのフィルタと、
予め規定された基準に従って、前記オブジェクトのセットをクラスタに分類する分類器と、
前記関心部分の既知の特性を使用して、前記クラスタのうちのどの１つのクラスタが前記関心部分に対応するかを識別するクラスタ識別器と、
を有する。

本データ処理装置は、前記関心部分として識別されたクラスタを形成するデータにおける隙間の位置を、可能性のある欠陥の場所として識別する隙間識別器をさらに有してよい。

第１の態様乃至第５の態様の実施形態において、画像データについて、前記予め設定された閾値は、少なくとも１つの色についての画素値を含んでよく、前記画素値を超える、該画像データの画素データが、オブジェクトとして識別される。

第１の態様乃至第５の態様の実施形態において、前記関心部分は、前記物品の一部を表す又は形成する層であってよい。この場合、前記予め選択されたフィルタは、前記層の予想される向きに垂直な方向に主軸を有するオブジェクトを除去してよい。オブジェクトを分類するための前記予め規定された基準は、この場合、前記層の前記予想される向きに垂直な前記方向における位置であってよい。

第１の態様乃至第５の態様の実施形態において、前記画像データ又は前記行列データは、検討中の前記物品の超音波スキャンデータから導出されてよい。

第１の態様乃至第５の態様の実施形態において、検討中の前記物品は、製造される物品と製造の際に使用される物品とのうちの少なくとも１つであってよい。

例示として、添付の図面が参照される。
一実施形態に従った方法のフローチャート。 一実施形態に従った装置の図。 検討中の物品から導出された画像データを示す図。 一実施形態に従った方法を説明するのに使用される図。 パイプ構造体の解析への一実施形態の適用を説明するのに使用される図。 図３の構造体をスキャンすることから得られた超音波スキャンデータの画像を示す図。 図３の適用を説明するのに使用される図。 本発明を具現化するコンピューティングデバイスのブロック図。

一実施形態に従った、検討中の物品から導出された画像データ又は行列データにおける関心部分を自動的に特定する方法が、図１ａのフローチャートを参照してこれより説明される。関心部分は、例えば、特定の物理層、境界若しくは壁構造、又は、画像の異なる領域を線引きする特徴を表す又はこれらに対応するデータ部分であり得る。

この実施形態において、この方法は、ステップＳ１において、予め設定された閾値を満たす、画像データ又は行列データの要素を、関心部分の可能性のある要素であるオブジェクトとして識別することを含む。例えば、超音波ＮＤＴにおける後壁検出の場合、閾値は、画像データにおける関心色（例えば赤）に基づいて設定され得、他の色閾値（例えば青及び緑）が、これに対して設定され得る。この同じ原理が、例えばグレースケール又はＣＭＹＫといった任意の色モデルであって、当該モデルにおける色に関する任意の条件を伴う色モデルに適用可能である。代替的又は追加的に、閾値は、画像に変換される前の未処理のスキャン行列データに適用されてもよい。

ステップＳ２において、少なくとも１つの予め選択されたフィルタが、オブジェクトに対応するデータに適用されて、関心部分の要素である可能性が最も高いオブジェクトからなるオブジェクトのセットが見出される。例えば、関心部分の予想される向きに垂直である主軸を有するバウンディングボックス（すなわち、オブジェクトにおける全ての点を包含する最小の矩形又は正方形）を有するオブジェクトが破棄され得る。本明細書の文脈において、オブジェクト自体が横向きであるのではなく、オブジェクトのバウンディングボックスの幅がバウンディングボックスの高さよりも大きい場合、オブジェクトは、「横向き（横向きオブジェクト）」であるとみなされる。同様に、オブジェクト自体が縦向きであるのではなく、オブジェクトのバウンディングボックスの高さがバウンディングボックスの幅よりも大きい場合、オブジェクトは、「縦向き（縦向きオブジェクト）」であるとみなされる。

ステップＳ３において、オブジェクトのセットが、予め規定された基準に従って、クラスタに分類される。例えば、オブジェクトは、規定された「クラスタリング軸」上での、すなわち、このセットにおけるオブジェクトのバウンディングボックスに垂直な軸上でのオブジェクトの位置に応じてクラスタリングされ得る。実施形態において使用されるクラスタリングアルゴリズムは、クラスタリング軸が予め選択されることを必要としない。オブジェクトは、（ｘｙｚ空間、属性空間等におけるものであるかどうかにかかわらず）指定された軸における全ての他のオブジェクトに対する位置に応じてクラスタリングされ得る。

ステップＳ４において、関心部分の既知の特性を使用して、クラスタのうちのどの１つのクラスタが関心部分に対応するかを識別する。例えば、超音波ＮＤＴにおいて、オブジェクトが、３つのスタックされたクラスタにクラスタリングされる場合、検査対象物品の後壁は、中央のクラスタに対応し、前壁及び後壁エコーはそれぞれ、一番上のクラスタ及び一番下のクラスタに対応すると想定され得る。

このような方法は、例えば、検討中の物品の壁、層、及び他の境界といった、画像における任意の数の関心部分が、不連続部又は隙間を含んでいるとしても、これらの大きさ又はこれらの間の空間にかかわらず、これらの関心部分の検出を可能にする。「不連続部」、「隙間」、及び「欠落データ」は、以後同義に使用される。

ステップＳ１～Ｓ４を用いて識別された関心部分における欠陥の検出を支援するために、ステップＳ５において、関心部分として識別されたクラスタを形成するデータにおける隙間の位置が、可能性のある欠陥の場所として識別される。例えば、検査を受けている物品の後壁における隙間が、いかなる後壁オブジェクトのいかなる要素も含まない、壁のバウンディングボックスに平行な軸（通常はｘ軸）における範囲として識別され得る。

全ての動作パラメータは、製造中に又は各動作について別個に、ヒューリスティックのセットに基づいて又は何らかの機械学習プロセスの結果として、手動で又は自動で、予め設定され得る。

図１ａの方法は、図１ｂに示されているデータ処理装置１０を使用して実行され得る。データ処理装置１０は、要素識別器１、フィルタ２、分類器３、クラスタ識別器４、及び隙間識別器５を有する。要素識別器１は、予め設定された閾値を満たす、画像データ又は行列データの要素を、関心部分の可能性のある要素であるオブジェクトとして識別するよう構成されている。フィルタ２は、オブジェクトに対応するデータをフィルタリングして、関心部分の要素である可能性が最も高いオブジェクトからなるオブジェクトのセットを見出すよう構成されている。分類器３は、予め規定された基準に従って、オブジェクトのセットをクラスタに分類するよう構成されている。クラスタ識別器４は、関心部分の既知の特性を使用して、クラスタのうちのどの１つのクラスタが関心部分に対応するかを識別するよう構成されている。隙間識別器５は、関心部分として識別されたクラスタを形成するデータにおける隙間の位置を、可能性のある欠陥の場所として識別するよう構成されている。

画像データ又は行列データにおける関心部分を何が構成し得るかの制限はないが、例として、図１ｃは、関心部分が、さらなる層である層０と層２との間の「関心層」である層１である、複数の層を示す、（例えば、超音波スキャニングにより）物品から導出された画像を示している。層１の画像データにおける不連続部は、層１により表される構造における欠陥の位置を示し得る。例えば、画像が、物品の超音波スキャニングから導出された場合、関心部分である層１は、物品の後壁に対応し、層０は、物品の前壁に対応し、層２は、後壁エコーに対応するであろう。

図１ｃの画像が、関心層を特定し当該層により表される構造における可能性のある欠陥を識別するために処理される実施形態が、図２（ａ）～（ｉ）を参照してこれより説明される。

図２（ａ）は、プロセスの開始の際における図１ｃの画像を示している。最初に、画像データが、予め設定された閾値に対して評価される。閾値を満たす各画素又は接続されている画素のセットが、関心層の可能性のある要素であるオブジェクトして識別される。この例において、閾値は、複数次元である、すなわち、閾値は、画像の色モデル（例えば、グレースケール、ＲＧＢ、ＣＭＹＫ等）における各値に関する１つの条件又は条件のセットを指定する。例えば、後壁検出の場合、３次元の閾値［ａ，ｂ，ｃ］が、Ｒ＞ａ、Ｇ＜（Ｒ－ｂ）、Ｂ＜（Ｇ－ｃ）を画素が満たさなければならないように設定され得るが、任意の色モデルにおける任意の色に関する任意の条件が指定されてもよい。代替的又は追加的に、閾値が、画像形式への変換の前に、最初に未処理のデータ行列に適用されてもよい。例えば、２次元行列Ｍ（ｉ，ｊ）について、閾値は、Ｍ（ｉ，ｊ）＞ａであること、又は、ｂ＞Ｍ（ｉ，ｊ）＞ａであること等を要求してもよい。

閾値は、製造中に又は各動作について別個に、ヒューリスティックのセットに基づいて又は何らかの機械学習プロセスの結果として、手動で又は自動で、予め設定され得る。

次いで、閾値を満たす画素には全て、１つの値が割り当てられるのに対し、閾値を満たさない画素には全て、別の値が割り当てられる。図２（ｂ）は、閾値を満たす画素が黒であり、閾値を満たさない画素が白である、結果の二値画像を示している（代わりに、これらの色割り当ての逆が用いられてもよいし、実際には、任意の他の色のペアが用いられてもよい）。

次いで、画像における各オブジェクトの輪郭（すなわち、オブジェクトの外周上の全ての点のセット）及び面積が、例えば、ＯｐｅｎＣＶ２ ｐｙｔｈｏｎライブラリの「ｆｉｎｄＣｏｎｔｏｕｒｓ」関数及び「ｃｏｎｔｏｕｒＡｒｅａ」関数を使用することにより、見出される。

次いで、識別されたオブジェクトがフィルタリングされて、関心層の要素である可能性が最も高いオブジェクトからなるオブジェクトのセットが見出される。例えば、オブジェクトは、以下に挙げられるフィルタ基準（１）～（４）の任意の組合せに従って、任意の優先順位で、フィルタリングされ得る。説明されている全てのパラメータ及びオプションの選択は、製造中に又は各動作について別個に、ヒューリスティックのセットに基づいて又は何らかの機械学習プロセスの結果として、手動で又は自動で、予め設定され得る。
フィルタ基準（１）：オブジェクトのバウンディングボックスに関して、選択されたクラスタリング軸（例えばｘ又はｙ）に平行なオブジェクトが破棄される。図２（ｃ）は、この基準を縦向きオブジェクトに適用した画像についての結果を示している。従来、バウンディングボックスは、ある軸に平行であるように描かれる必要はない、すなわち、バウンディングボックスは、バウンディングボックスの向きにかかわらず、オブジェクトを包含する最小の矩形又は正方形であり得る。そのような場合、任意の向きのバウンディングボックスを有する層を含む画像は、依然として、その向き角度が最小である軸に対して「平行」であるとしてバウンディングボックスを分類することにより、この実施形態に従って処理され得る。代替的に、全てのオブジェクトのバウンディングボックスが互いに平行である場合、画像又は未処理のスキャン行列は、これらのバウンディングボックスが何らかの軸に平行であるように回転され得る。
フィルタ基準（２）：「正方形」オブジェクト、すなわち、バウンディングボックスの幅及び高さが等しいオブジェクトが、破棄される。
フィルタ基準（３）：固定の面積閾値未満であるオブジェクト、すなわち、比較的に小さいオブジェクトが、破棄される。
フィルタ基準（４）：面積順で大きい方から（又は小さい方から）ｎ個のオブジェクトが残され、これら以外のオブジェクトが破棄される。図２（ｄ）は、ｎ＝１０であるこの基準を適用した画像についての結果を示している。
オブジェクトが有する任意の１つの属性又は属性のセットに関する任意の他の有用で適切な条件を使用してフィルタリングすることも可能である。

次いで、フィルタリング後に残っているオブジェクトのセットが、予め規定された基準に従って、クラスタに分類される。図２（ｅ）に示されているように、この例において、残っているオブジェクトが、選択されたクラスタリング軸（目的は横向きオブジェクトを見出すことなので、この場合はｙ軸；縦向きオブジェクトを探す場合はクラスタリング軸はｘ軸であろう）におけるオブジェクトの位置に応じて、ｃ個のクラスタにクラスタリングされる。オブジェクトの位置は、オブジェクトの重心又は任意の他の適切な基準点により識別され得る。ｃの値は、製造中に又は各動作について別個に、ヒューリスティックのセットに基づいて又は何らかの機械学習プロセスの結果として、手動で又は自動で、予め設定され得る。クラスタは、クラスタがクラスタリングされた次元に応じて、順序付けられラベル付けされ得る。例えば、ｋ平均クラスタリング又は凝集型クラスタリングといった任意のクラスタリング方法が使用され得る。

図２（ｅ）における破線により示されているように、クラスタリングの結果は、順序付けられたクラスタ０、１、及び２のセットであり、各クラスタは、画像における異なる層に対応する。関心層の既知の特性を使用して、クラスタのうちのどの１つのクラスタが関心層に対応するかを識別する。後壁の場合、関心層は、３つの層の中央、すなわち、クラスタ１に対応する層であると予想される。概して、各関心層は、製造中に又は各動作について別個に、ヒューリスティックのセットに基づいて又は何らかの機械学習プロセスの結果として、手動で又は自動で、予め設定され得る、順序付けられたクラスタのセットにおけるその予想されるインデックス［ｉ_１，ｉ_２，．．．，ｉ_ｃ］により識別される。

関心層に対応しないクラスタに属するオブジェクトは、図２（ｆ）に示されているように、破棄される。

関心層における欠陥の検出を支援するために、関心層として識別されたクラスタを形成するデータにおける隙間の位置が、可能性のある欠陥の場所として識別される。図２（ｇ）における破線により示されているように、欠落データ、すなわち、関心層における不連続部又は隙間の位置が、記録される。クラスタＣが関心層に対応すると仮定すると、Ｃにおけるいかなるオブジェクトからのいかなる画素も含まない、層軸（すなわち、バウンディングボックスに関して層に平行な軸）における全値範囲が、リストＬ_Ｃ＝［Ｇ_Ｃ，０，Ｇ_Ｃ，１，．．．，Ｇ_Ｃ，ｇ］に追加され、ここで、各Ｇ_Ｃ，ｉは隙間であり、ｇは隙間の総数である。これが、全ての関心層について繰り返され得る。

図２（ｈ）に示されているように、識別された関心層が、関心クラスタの周りの境界を原画像又は原画像のコピー上に描くことにより、ユーザに提示され得る。境界は、輪郭、バウンディングボックス、又は、ユーザが対応する層を他の層と区別できるように対応する層を提示する任意の形態であり得る。境界は、各オブジェクトについて別個に描かれることもあるし、層について全体として描かれることもある。境界は、任意の濃さ、色で描かれてよく、詰められてもよいし詰められなくてもよい。

欠落データ、すなわち、層における不連続部は、リストＬ_Ｃにおける対応する範囲を包含する任意の形状を描くことにより（例えば、隙間の一方又は両方のサイドに縦線を描くことにより、又は、その重心として範囲の中央値を有し、その直径として範囲の長さを有する円を描くことにより）、提示され得る。隙間の境界は、任意の濃さ、色で描かれてよく、詰められてもよいし詰められなくてもよい。

注釈付けされた画像が、スクリーン上に表示され、ファイルに保存され、任意の他の手段又は手段の組合せにより印刷又は提示され得る。

後壁検出問題又は何らかの同様のシナリオに関して、ノイズ又は任意の他の望ましくないデータが、任意の関心層の位置を用いて識別され得る。例えば、ＮＤＴスキャンにおける後壁より下の領域は、欠陥検出には不要であり、したがって、図２（ｉ）に示されているように、欠陥検出を関連領域にフォーカスできるように破棄され得る。同様のプロセスが、望ましくないデータについて関心層が境界を規定する同様のシナリオに適用され得る。

超音波ＮＤＴを用いて物品から導出された画像データにおける関心部分を検出するための実施形態が適用される具体例が、図３～図５を参照してこれより説明される。

例示の目的で、図３に示されているように、検査物品としてガラス繊維パイプ９０を考えてみる。ガラス繊維は、軽い重量でありながら高い強度及び耐久性の特性を有することから利益を受ける大型構造体を製造する際に広く使用されている。ガラス繊維の初期の用途は、航空機設計のために航空機及び航空宇宙産業で生じていた。最近では、とりわけ、船体、パイプ、サーフボード、風力タービンブレード、車両ボディパーツ、ウォータースライド、棒高跳び用ポールを含む多くの他の用途が存在している。そのような物品における製造異常は、それらの構造的健全性に著しい影響を及ぼすことがある。

超音波ＮＤＴスキャニングは、パイプ構造体９０の内部で伝搬する音波を発し、その前壁及び後壁との相互作用から生じたエコーを受信するプローブのアレイ９１により実行される（図３）。エコーの振幅が、パイプ９０の長さに平行な方向において測定される長さｘ及び時間ｔという２つの次元に沿って測定される。結果のデータが、エコー振幅を有する数値行列として表され得、ここで、各行ｉは、所与の伝搬時間ｔ_ｉに対応し、各列ｊは、所与の横方向位置ｘ_ｊに対応する。上述したように、未処理のデータ行列は、スキャンデータサンプル視覚化画像９２に示されているように、（例えば、色勾配（例えば、濃い青から暗赤までの勾配）をエコーの振幅値にマッピングすることにより）視覚化され得る。

図４に示されているように、検査対象の前部構造及び後部構造は、視覚化画像において容易に識別可能である。なぜならば、これらがもたらすエコーの振幅は、通常、暗い色の領域として目立ち、したがって、欠陥の検査を容易にする。ガラス繊維層におけるひび等の欠陥は、後部構造領域における不連続部又は湾曲等、スキャンにおいてはっきりした視覚的パターンをもたらす。

後壁構造より下に視覚化されるデータは、ノイズとみなされ、したがって、検査プロセスには関連しない。したがって、後壁の識別が重要である。この理由から、後壁が、システムにより自動的に検出され、識別されるその不連続部すなわち隙間を有する「関心層」とみなされる。

上記の例において、システムは、大きい方から１０個の横向き赤オブジェクトを３つの横方向層にクラスタリングするよう構成されており、クラスタは、一番上のクラスタがインデックス０を有して前壁に対応し、中央のクラスタがインデックス１を有して後壁に対応し、一番下のクラスタがインデックス２を有して後壁エコーに対応するように、ｔ軸における昇順位置によってインデクシングされる。関心層及び関心層における隙間を識別するプロセスが、図５を参照してこれより説明される。

図５（ａ）は、このプロセスの開始の際に提示されるスキャン全体の画像を示している。この画像は、行列で表された未処理のスキャンデータから生成されたものである。

この画像が、Ｒ＞ａ、Ｇ＜（Ｒ－ｂ）、Ｂ＜（Ｇ－ｃ）を画素が満たさなければならないように設定された３次元の閾値［ａ，ｂ，ｃ］に従って、閾値処理される。例えば、Ｒ＞０、Ｇ＜（Ｒ－５０）、Ｂ＜（Ｇ－５０）を画素が満たすように、［０，５０，５０］が設定され、これにより、橙又はさらには黄のいくつかの色合いも含み得る様々な「赤」度を可能にする。

結果は、閾値を満たす領域が黒オブジェクトとして出現し、空空間が白として出現する、図５（ｂ）に示されている二値画像である。

次いで、画像における全てのオブジェクトの輪郭及び面積が、ＯｐｅｎＣＶ２ ｐｙｔｈｏｎライブラリの「ｆｉｎｄＣｏｎｔｏｕｒｓ」関数及び「ｃｏｎｔｏｕｒＡｒｅａ」関数を使用することにより、見出される。

次いで、フィルタが、画像からいくつかのオブジェクトを除去するために適用される。詳細には、オブジェクトが、所与の順序で、以下の条件を満たす場合、オブジェクトが破棄される：
・縦向きオブジェクト、すなわち、オブジェクトのバウンディングボックスに関してクラスタリング軸ｔに平行なオブジェクト。図５（ｃ）は、縦向きオブジェクトのバウンディングボックスを表す破線を示しており、図５（ｄ）は、これらのオブジェクトが除去された画像を示している。
・大きい方から１０個の（ｎ＝１０の）オブジェクトではないオブジェクト。図５（ｅ）は、大きい方から１０個のオブジェクトのみが残っている画像を示している。

次いで、画像における１０個の残っているオブジェクトが、図５（ｆ）に示されているように、クラスタリング軸ｔにおけるオブジェクトの位置に応じて、３つのクラスタにクラスタリングされる。これらの３つのクラスタは、一番上のクラスタがインデックス０を有し、したがって前壁として分類され、中央のクラスタがインデックス１を有し、後壁として分類され、一番下のクラスタがインデックス２を有し、後壁エコーとして分類されるように、ｔ軸における昇順位置によって順序付けられる。全ての層、特に関心層（インデックス１）すなわちユーザが探している後壁が、適切に分類されている。関心層に対応しないクラスタは、図５（ｇ）に示されているように、除去される。

この場合、ユーザは、後壁における隙間を識別することも望んでいる。図５（ｈ）に示されているように、関心層に対応するクラスタにおけるいかなるオブジェクトからのいかなる画素も含まない、ｘ軸（層軸）における全値範囲が、リストＬ_１＝［Ｇ_１，０，Ｇ_１，１，Ｇ_１，２］＝［［５０，６０］，［３００，３０５］，［６１０，６３０］］に追加される。

後壁及びその隙間の位置が、図５（ｉ）に示されているように、ユーザに提示される。ボックスが、後壁の周りに描かれ、縦線が、各隙間の一方又は両方のサイドに描かれる。

この例において、後壁検出の目的は、後壁より下のノイズを除去することであり、その結果、パイプのみが、図５（ｊ）に示されているように、画像に残り、さらなる欠陥検出が、この領域でフォーカスされ得る。

実施形態は、超音波スキャン画像又は非破壊検査（ＮＤＴ）画像データとともに使用されることに限定されるものではなく、層、壁、境界又は同様の構造を含む任意のデータ行列が画像として表されるかどうかにかかわらず、そのようなデータ行列に適用可能である。さらに、実施形態は、ガラス繊維構造体とともに使用されることに限定されるものではなく、任意の材料又はタイプの物品又は構造体に適用可能である。

例えば、実施形態は、例えば、所定の特性を示す地層を自動的に検出する且つ／又はこのような地層における不連続部を識別するために、地質分野において使用されてもよい。

実施形態は、検出されてセグメント化される必要がある支配的な大型オブジェクトを有する任意の画像に適用可能である。例えば、高速道路からＣＣＴＶカメラが撮影する素材は、高速道路レーン及び硬路肩の両方からの画像を含み得る。いくつかの用途において、硬路肩上で不法に運転されている車両を検出することを望むことがある。別の用途において、例えば車両が存在しない、画像の関連しない部分を除去することにより、画像データファイルのサイズを低減することを望むことがある。実施形態は、本道と硬路肩とを分離する白線を、遮蔽に起因する白線の途切れや塗装のすり減りにかかわらず、セグメント化するために適用可能である。

本発明の実施形態は、ハードウェア、若しくは、１つ以上のプロセッサ上で動作するソフトウェアモジュール、又は、これらの組合せとして、実装され得る。すなわち、当業者であれば、上述した機能の一部又は全てを実装するために、実際には、マイクロプロセッサ又はデジタル信号プロセッサ（ＤＳＰ）が使用されてもよいことが理解されよう。

本発明はまた、本出願において説明された方法の一部又は全てを実行するための１つ以上のデバイスプログラム又は装置プログラム（例えば、コンピュータプログラム及びコンピュータプログラム製品）として具現化され得る。本発明を具現化するそのようなプログラムは、コンピュータ読み取り可能な媒体に記憶されることもあるし、例えば、１つ以上の信号の形態であることもある。そのような信号は、インターネットウェブサイトからダウンロード可能である、若しくは、キャリア信号上で提供される、又は、任意の他の形態であるデータ信号であり得る。

図６は、本発明を具現化する、データ記憶サーバ等のコンピューティングデバイスであって、本発明を具現化する方法のステップの一部又は全てを実施し実施形態の装置のタスクの一部又は全てを実行するために使用され得るコンピューティングデバイスのブロック図である。例えば、図６のコンピューティングデバイスを使用して、図１ａに示されている方法の全てのステップを実施し図１ｂに示されている装置１０の全てのタスクを実行することもできるし、図１ａの方法におけるステップの一部のみを実施し図１ｂに示されている装置１０のタスクの一部のみを実行することもできる。

コンピューティングデバイスは、プロセッサ９９３及びメモリ９９４を有する。任意的に、コンピューティングデバイスはまた、例えば、本発明の実施形態の他のコンピューティングデバイスといった他のそのようなコンピューティングデバイスとの通信のためのネットワークインタフェース９９７を含む。

例えば、一実施形態は、そのようなコンピューティングデバイスのネットワークから構成され得る。任意的に、コンピューティングデバイスはまた、キーボード及びマウス等の１つ以上の入力機構９９６及び１つ以上のモニタ等のディスプレイユニット９９５を含む。これらのコンポーネントは、バス９９２を介して互いに接続可能である。

メモリ９９４は、コンピュータ読み取り可能な媒体を含み得、コンピュータ読み取り可能な媒体という用語は、コンピュータ実行可能な命令又はデータ構造を運ぶ又は記憶するよう構成されている１つの媒体又は複数の媒体（例えば、中央データベース若しくは分散データベース並びに／又は関連するキャッシュ及びサーバ）を指し得る。コンピュータ実行可能な命令は、例えば、汎用コンピュータ、専用コンピュータ、又は専用処理デバイス（例えば、１つ以上のプロセッサ）によりアクセス可能であり、汎用コンピュータ、専用コンピュータ、又は専用処理デバイス（例えば、１つ以上のプロセッサ）に１つ以上の機能又は動作を実行させる命令及びデータを含み得る。したがって、「コンピュータ読み取り可能な記憶媒体」という用語はまた、マシンにより実行され、マシンに本開示の方法のうちの任意の１つ以上を実行させる命令のセットを記憶する、符号化する、又は運ぶことができる任意の媒体を含み得る。したがって、「コンピュータ読み取り可能な記憶媒体」という用語は、ソリッドステートメモリ、光媒体、及び磁気媒体を含むがこれらに限定されるものではないと解釈され得る。

限定ではなく例として、そのようなコンピュータ読み取り可能な媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気記憶デバイス、フラッシュメモリデバイス（例えば、ソリッドステートメモリデバイス）を含む非一時的なコンピュータ読み取り可能な記憶媒体を含み得る。

プロセッサ９９３は、コンピューティングデバイスを制御し、例えば、図１ａ、図２（ａ）～（ｉ）、及び図５（ａ）～（ｉ）を参照して説明され請求項において定められる方法を実施するための、メモリ９９４に記憶されているコンピュータプログラムコードを実行するといった処理動作を実行するよう構成されている。例えば、そのようなコンピュータプログラムコードは、図１ｂに示され前述した要素識別器１、１つ以上のフィルタ２、分類器３、クラスタ識別器４、及び隙間識別器５のうちの少なくとも１つを実装することができる。メモリ９９４は、プロセッサ９９３により読み出され書き込まれるデータを記憶する。本明細書において言及されているように、プロセッサは、マイクロプロセッサ、中央処理装置等といった１つ以上の汎用処理デバイスを含み得る。プロセッサは、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は、他の命令セットを実装しているプロセッサ若しくは命令セットの組合せを実装しているプロセッサを含み得る。プロセッサはまた、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ等といった１つ以上の専用処理デバイスを含み得る。１つ以上の実施形態において、プロセッサは、本出願において説明されている動作及びステップを実行するための命令を実行するよう構成されている。

ディスプレイユニット９９５は、コンピューティングデバイスにより記憶されたデータの表現を表示することができ、ユーザとコンピューティングデバイスに記憶されているプログラム及びデータとの間のインタラクションを可能にするカーソル及びダイアログボックス並びにスクリーンも表示することができる。入力機構９９６は、ユーザがコンピューティングデバイスにデータ及び命令を入力することを可能にし得る。

ネットワークインタフェース（ネットワークＩ／Ｆ）９９７は、インターネット等のネットワークに接続され得、ネットワークを介して他のそのようなコンピューティングデバイスに接続可能である。ネットワークＩ／Ｆ９９７は、ネットワークを介する他の装置からの／へのデータ入力／出力を制御することができる。マイクロフォン、スピーカ、プリンタ、電力供給ユニット、ファン、ケース、スキャナ、トラッカボール等といった他の周辺デバイスも、コンピューティングデバイスに含まれ得る。

本発明を具現化する方法は、図６に示されているコンピューティングデバイス等のコンピューティングデバイス上で実行され得る。そのようなコンピューティングデバイスは、図６に示されている全てのコンポーネントを有する必要はなく、これらのコンポーネントのサブセットから構成されてもよい。本発明を具現化する方法は、ネットワークを介して１つ以上のデータ記憶サーバと通信する１つのコンピューティングデバイスにより実行され得る。コンピューティングデバイスは、データの少なくとも一部を記憶するデータストレージ自体であり得る。

本発明を具現化する方法は、互いと協調して動作する複数のコンピューティングデバイスにより実行されることもある。複数のコンピューティングデバイスのうちの１つ以上は、データの少なくとも一部を記憶するデータ記憶サーバであり得る。

本発明の上述した実施形態は、有利なことに、実施形態のうちの他の実施形態と独立して使用されることもあるし、実施形態のうちの１つ以上の他の実施形態との任意の適切な組合せで使用されることもある。

以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）
検討中の物品から導出された画像データ又は行列データにおける関心部分を自動的に特定する、コンピュータにより実行される方法であって、
予め設定された閾値を満たす、前記画像データ又は前記行列データの要素を、前記関心部分の可能性のある要素であるオブジェクトとして識別するステップと、
少なくとも１つの予め選択されたフィルタを、前記オブジェクトに対応するデータに適用して、前記関心部分の要素である可能性が最も高いオブジェクトからなるオブジェクトのセットを見出すステップと、
予め規定された基準に従って、前記オブジェクトのセットをクラスタに分類するステップと、
前記関心部分の既知の特性を使用して、前記クラスタのうちのどの１つのクラスタが前記関心部分に対応するかを識別するステップと、
を含む、方法。

（付記２）
画像データについて、前記予め設定された閾値は、少なくとも１つの色についての画素値を含み、前記画素値を超える、該画像データの画素データが、オブジェクトとして識別される、付記１に記載の方法。

（付記３）
前記関心部分は、前記物品の一部を表す又は形成する層である、付記１又は２に記載の方法。

（付記４）
前記予め選択されたフィルタは、前記層の予想される向きに垂直な方向に主軸を有するオブジェクトを除去する、付記３に記載の方法。

（付記５）
オブジェクトを分類するための前記予め規定された基準は、前記層の前記予想される向きに垂直な前記方向における位置である、付記４に記載の方法。

（付記６）
行列データの場合、該行列データから、前記関心部分として識別されなかった少なくとも１つのクラスタのデータを除いた画像を生成するステップ
をさらに含む、付記１乃至５いずれか一項に記載の方法。

（付記７）
画像データの場合、該画像データから、前記関心部分として識別されなかった少なくとも１つのクラスタの画像データを除去するステップ
をさらに含む、付記１乃至５いずれか一項に記載の方法。

（付記８）
前記画像データ又は前記行列データは、検討中の前記物品の超音波スキャンデータから導出される、付記１乃至７いずれか一項に記載の方法。

（付記９）
検討中の物品における欠陥を検出する際に使用される欠陥検出の方法であって、該物品の又は該物品から導出された画像が、前記欠陥を識別するために解析され、解析される該画像は、付記１乃至８いずれか一項に記載の方法に従って関心部分が自動的に特定された画像データを含む、方法。

（付記１０）
前記関心部分として識別されたクラスタを形成するデータにおける隙間の位置を、可能性のある欠陥の場所として識別するステップ
を含む、付記９に記載の方法。

（付記１１）
検討中の前記物品は、製造される物品と製造の際に使用される物品とのうちの少なくとも１つである、付記１乃至１０いずれか一項に記載の方法。

（付記１２）
前記物品の少なくとも一部を形成する材料の構造的健全性と前記物品の少なくとも一部を形成する材料における欠陥とのうちの少なくとも１つを判定するための、付記９、１０、又は１１に記載の方法の使用。

（付記１３）
コンピュータ上で実行されたときに前記コンピュータに付記１乃至１１いずれか一項に記載の方法を実行させるコンピュータプログラム。

（付記１４）
検討中の物品から導出された画像データ又は行列データにおける関心部分を特定するデータ処理装置であって、
予め設定された閾値を満たす、前記画像データ又は前記行列データの要素を、前記関心部分の可能性のある要素であるオブジェクトとして識別する要素識別器と、
前記オブジェクトに対応するデータをフィルタリングして、前記関心部分の要素である可能性が最も高いオブジェクトからなるオブジェクトのセットを見出す少なくとも１つのフィルタと、
予め規定された基準に従って、前記オブジェクトのセットをクラスタに分類する分類器と、
前記関心部分の既知の特性を使用して、前記クラスタのうちのどの１つのクラスタが前記関心部分に対応するかを識別するクラスタ識別器と、
を有する、データ処理装置。

（付記１５）
前記関心部分として識別されたクラスタを形成するデータにおける隙間の位置を、可能性のある欠陥の場所として識別する隙間識別器
をさらに有する、付記１４に記載のデータ処理装置。

１ 要素識別器
２ フィルタ
３ 分類器
４ クラスタ識別器
５ 隙間識別器
１０ データ処理装置

Claims (13)

1. 検討中の物品から導出された画像データ、又は検討中の物品から導出された行列データの視覚化画像データにおける関心部分を自動的に特定する、コンピュータにより実行される方法であって、
   予め設定された閾値を満たす、前記画像データ又は前記視覚化画像データの要素を、前記関心部分の可能性のある要素であるオブジェクトとして識別するステップであり、前記関心部分は、前記物品の一部を表す又は形成する層である、ステップと、
   少なくとも１つの予め選択されたフィルタを、前記オブジェクトに対応するデータに適用して、前記関心部分の要素である可能性が最も高いオブジェクトからなるオブジェクトのセットを見出すステップと、
   予め規定された基準に従って、前記オブジェクトのセットを予め設定された個数のクラスタに分類するステップであり、前記予め規定された基準は、前記層の予想される向きに垂直な方向における、前記オブジェクトの位置である、ステップと、
   前記分類により順序付けられたクラスタについて、前記関心部分の既知の特性を使用して、予め設定された順序のクラスタを前記関心部分に対応する層と識別することにより、前記クラスタのうちのどの１つのクラスタが前記関心部分に対応するかを識別するステップと、
   を含む、方法。
2. 画像データについて、前記予め設定された閾値は、少なくとも１つの色についての画素値を含み、前記画素値を超える、該画像データの画素データが、オブジェクトとして識別される、請求項１に記載の方法。
3. 前記予め選択されたフィルタは、前記層の前記予想される向きに垂直な方向に主軸を有するオブジェクトを除去する、請求項１又は２に記載の方法。
4. 行列データの視覚化画像データの場合、該視覚化画像データから、前記関心部分として識別されなかった少なくとも１つのクラスタのデータを除いた画像を生成するステップ
   をさらに含む、請求項１乃至３いずれか一項に記載の方法。
5. 画像データの場合、該画像データから、前記関心部分として識別されなかった少なくとも１つのクラスタの画像データを除去するステップ
   をさらに含む、請求項１乃至４いずれか一項に記載の方法。
6. 前記画像データ又は前記行列データは、検討中の前記物品の超音波スキャンデータから導出される、請求項１乃至５いずれか一項に記載の方法。
7. 前記関心部分が自動的に特定された画像データを解析して欠陥を検出するステップ、
   をさらに含む、請求項１乃至６いずれか一項に記載の方法。
8. 前記関心部分として識別されたクラスタを形成するデータにおける隙間の位置を、可能性のある欠陥の場所として識別するステップ
   を含む、請求項７に記載の方法。
9. 検討中の前記物品は、製造される物品と製造の際に使用される物品とのうちの少なくとも１つである、請求項１乃至８いずれか一項に記載の方法。
10. 前記物品の少なくとも一部を形成する材料の構造的健全性と前記物品の少なくとも一部を形成する材料における欠陥とのうちの少なくとも１つを判定するための、請求項７、８、又は９に記載の方法の使用。
11. コンピュータ上で実行されたときに前記コンピュータに請求項１乃至９いずれか一項に記載の方法を実行させるコンピュータプログラム。
12. 検討中の物品から導出された画像データ、又は検討中の物品から導出された行列データの視覚化画像データにおける関心部分を特定するデータ処理装置であって、
    予め設定された閾値を満たす、前記画像データ又は前記視覚化画像データの要素を、前記関心部分の可能性のある要素であるオブジェクトとして識別する要素識別器であり、前記関心部分は、前記物品の一部を表す又は形成する層である、要素識別器と、
    前記オブジェクトに対応するデータをフィルタリングして、前記関心部分の要素である可能性が最も高いオブジェクトからなるオブジェクトのセットを見出す少なくとも１つのフィルタと、
    予め規定された基準に従って、前記オブジェクトのセットを予め設定された個数のクラスタに分類する分類器であり、前記予め規定された基準は、前記層の予想される向きに垂直な方向における、前記オブジェクトの位置である、分類器と、
    前記分類により順序付けられたクラスタについて、前記関心部分の既知の特性を使用して、予め設定された順序のクラスタを前記関心部分に対応する層と識別することにより、前記クラスタのうちのどの１つのクラスタが前記関心部分に対応するかを識別するクラスタ識別器と、
    を有する、データ処理装置。
13. 前記関心部分として識別されたクラスタを形成するデータにおける隙間の位置を、可能性のある欠陥の場所として識別する隙間識別器
    をさらに有する、請求項１２に記載のデータ処理装置。

Images