JP6114539B2 - オブジェクトの検査のために画像を処理するための方法およびシステム - Google Patents

Description

本発明は、オブジェクトの検査のために画像を処理するための方法およびシステムに関する。

様々なタイプのテストシステムを使用して、例えば、構成要素または部品などのオブジェクト内の内部欠陥（例えば、ひび、またはしわ）を見つけるために、オブジェクトを検査することができる。テストシステムは、超音波画像技術を使用するなど、構成要素を調べるための非破壊的方法を含むことができる。一例として、こうしたテストシステムは、工業用デバイスおよびシステムの構成要素部分に欠陥または傷があるかどうかを判断するために使用することができる。こうした欠陥または傷は、構成要素の最初の製造の間に導入される恐れがあり、構成要素の耐用年数を減少させる、および／または結果としてその故障をもたらす可能性がある。したがって、一般的にこうした構成要素は、欠陥があるかどうか、または欠陥を示す異常が存在するかどうかを判断するために、製造工程中および／または保守管理中に検査される。

米国特許出願公開第２００９／０２４０１５０号明細書

一般的な超音波検査システムでは、構成要素の内部構造の画像が取得されて、ユーザに表示される。次いでユーザは、異常を検出するために画像を視覚的に検査する。例えば、複合構造が構成要素を形成するとき、ユーザは、複合材料の中のしわまたは他の欠陥を識別するために、多層構造を示す画像を検査することができる。この視覚的検査プロセスは退屈で時間がかかるだけでなく、特に、異常が存在するかどうかの判断を行わなければならないユーザにより誤りの可能性が生じる。

１つの実施形態では、少なくとも１つのプロセッサを使用して撮像されたオブジェクト中の異常を識別するための非一時的コンピュータ可読記憶媒体が提供される。非一時的コンピュータ可読記憶媒体は、オブジェクトの少なくとも１つの領域に対応する複数の画像を取得して、基準構造を用いて複数の画像の少なくとも１つの修正を行うようにプロセッサに命じるための命令を含む。非一時的コンピュータ可読記憶媒体はさらに、オブジェクト内の異常領域を識別するために、オブジェクトの修正した複数の画像に勾配ベクトル場の分析を行うようにプロセッサに命じるための命令を含む。

別の実施形態では、オブジェクト内の異常領域を識別するためにオブジェクトの複数の画像で勾配ベクトル場の分析を行うように構成されたプロセッサを含む検査システムが提供される。検査システムはまた、表示画像上に識別された異常領域を有する画像の少なくとも１つを表示するように構成されたディスプレイを含む。

さらなる実施形態では、撮像された、内膜を有するオブジェクトの中の異常を自動的に識別するための方法が提供される。この方法は、複数の画像中の膜を識別することと、オブジェクトの全体的な形状を判断することと、画像中の全体的な形状をワーピング（ｗａｒｐｉｎｇ）してオブジェクトの歪を取る（ｓｔｒａｉｇｈｔｅｎ）ことと、複数の画像の輝度勾配を計算することとを含む。またこの方法は、オブジェクト内の材質タイプを識別するために、画像の輝度の局所標準偏差を算出することを含む。さらにこの方法は、複数の画像内の対象の領域にわたって輝度勾配を計算および正則化して、勾配ベクトル場を算出すること、勾配ベクトル場に回転（ｃｕｒｌ）演算子を適用すること、および回転演算子の結果を閾値処理して異常領域を判断することを含む。この方法はさらに、異常領域に領域成長プロセスを適用すること、および異常領域を識別する複数の画像の少なくとも１つにオーバーレイを生成して表示することを含む。

一実施形態に従って形成された検査システムのブロック図である。 様々な実施形態に従って検査することができる羽根を有する航空機構造のプロペラ羽根の図である。 様々な実施形態に従って画像の異常を判断する方法のフローチャートである。 異常を識別するために様々な実施形態に従って処理することができる超音波画像である。 様々な実施形態に従って計算される勾配ベクトル場を示すグラフである。 様々な実施形態に従った正則化後の図５の勾配ベクトル場を示すグラフである。 様々な実施形態に従った局所標準偏差の閾値処理プロセスの結果を示す図である。 様々な実施形態に従った勾配ベクトル場の局所回転値（ｌｏｃａｌ ｃｕｒｌ ｖａｌｕｅｓ）を示すグラフである。 様々な実施形態に従った閾値および成長プロセスの結果を示すグラフである。 様々な実施形態に従って識別された異常領域を示す図４の超音波画像である。

様々な実施形態の次の詳細な説明は、添付の図面と併せて読まれると、よりよく理解されるであろう。図が様々な実施形態の機能ブロックの図を示す限りでは、機能ブロックは、必ずしもハードウェア回路間の区分を示さない。したがって、例えば機能ブロック（例えば、プロセッサまたはメモリ）の１つまたは複数は単一のハードウェア（例えば、汎用信号プロセッサまたは１ブロックのランダムアクセスメモリ、ハードディスクなど）、または複数のハードウェアに実装することができる。同様に、プログラムは、スタンドアロンプログラムであること、サブルーチンとしてオペレーティングシステムに組み込まれること、インストールされたソフトウェアパッケージの中の機能であることなどが可能である。様々な実施形態は図面に示す配置および手段に限定されないことを理解されたい。

本明細書では、検査中のオブジェクトの画像中の異常を識別するための様々な実施形態について説明している。詳細には、様々な実施形態は、超音波画像を使用した構造または構成要素における異常の自動検出および識別を提供する。例えば、複合構造（例えば、カーボン複合構造）における異常の自動検出および識別は、複合構造を検査するための超音波画像を使用して提供することができる。ある異常に対して特定の構成要素を検査するための特定の画像を使用することと関連して様々な実施形態を説明しているが、異なる画像（非超音波画像など）および／または部分を用いて、ならびに異なる異常を検出するために、様々な実施形態を使用することができることに注意されたい。

様々な実施形態の少なくとも１つの技術的効果は、画像（例えば超音波画像）を使用した異常の自動検出および識別である。様々な実施形態を実行することによって、構成要素中の欠陥または傷の検出における速度および繰り返し精度を上げることができる。

図１は、例えば、航空機構造などの工業用複合部品または構造物であることが可能であるオブジェクト２２を検査するために使用することができる１つの実施形態に従って形成された検査システム２０を示している。航空機構造は、エンジン４０の部分（図２に示す）とすることができる。したがって、１つの実施形態では、検査システム２０は、カーボン複合材料から形成される１つまたは複数の航空機のプロペラ羽根４２を検査するために使用することができる。１つの実施形態の検査システム２０は、例えばプロペラ羽根の製造工程中に、エンジン４０への組み立て前に、（１つまたは複数の）羽根４２を検査する。例えばタービンエンジンの羽根など、他の羽根を検査することができることに注意されたい。

検査システム２０を含む様々な実施形態について、航空機のエンジン部品を検査することに関して説明しているが、様々な実施形態を使用していかなるタイプの構成要素を検査することもでき、構成要素は一部の実施形態では一般的に工業用部品または構成要素である。このようにオブジェクト２２は、いかなる動作可能形状、サイズ、および構成であることも可能である。構成要素は、カーボン複合材および／または金属合金などの、ただしこれらに限定されない、いかなる動作可能基材で製造されることも可能である。より詳細には、本明細書では航空機のエンジン構成要素に関して様々な実施形態について記載するが、様々な実施形態は、蒸気タービン、原子力発電所、自動車エンジン内で使用される多種多様な構成要素に適用することができる、または任意の機械構成要素を検査するために適用することができることを理解されたい。

様々な実施形態では、検査システム２０は、画像取得部を含み、例示の実施形態では画像取得部は、プローブアセンブリ２２と、データ取得／制御システム２４とを含む。プローブアセンブリ２２は、例示の実施形態では超音波プローブであるプローブ２６と、プローブ２６に結合されたプローブマニピュレータ２８とを含む。プローブ２６およびプローブマニピュレータ２８は、データ取得／制御システム２４に電気的に結合されて（合わせて結合または別個に結合されることが可能である）、プローブ２６およびマニピュレータ２８およびデータ取得／制御システム２４に制御／データ情報を送信する、およびこれらから制御／データ情報を送信することができるようにする。別の実施形態では、検査システム２０はまた、検査手順の間にオブジェクト２２を回転させるように構成することができる固定具またはホルダ（図示せず）を含む。いかなる好適な画像取得装置を使用することもできることに注意されたい。

データ取得／制御システム２４は、インタフェース３０と、メモリ３４を備えた計算機（例えばパーソナルコンピュータ）などのプロセッサ３２と、ディスプレイ３６（例えばモニタ）とを含む。プロセッサ３２は、ファームウェア（図示せず）に格納された命令を実行することができ、本明細書に記載する動作および機能を行うようにプログラムされる。プロセッサ３２は、単に当技術分野でコンピュータと呼ばれる集積回路に限定されず、広くコンピュータ、プロセッサ、マイクロコントローラ、マイクロコンピュータ、プログラマブルロジックコントローラ、特定用途向け集積回路、およびその他のプログラマブル回路を指し、こうした用語は本明細書では交換可能に使用される。

さらにメモリ３４は、１つまたは複数の揮発性および／または不揮発性記憶装置、例えばソリッドステートメモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、およびフラッシュメモリ）、磁気記憶デバイス（例えば、フロッピー(登録商標）ディスク、およびハードディスク）、および／または光記憶デバイス（例えば、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、およびＤＶＤ）を表すよう意図されている。メモリ３４は、プロセッサ３２の内部に、またはプロセッサ３２の外部にあることが可能である。

使用において、オブジェクト２２は、固定具またはホルダ（図示せず）に取り付けられて検査中にオブジェクト２２を定位置に固定し、プローブ２６が任意の好適な技術を使用してオブジェクト２２の超音波走査を行うようにする。例えば、１つの実施形態ではプローブ２６は、単素子トランスデューサを含み、Ｂ走査画像を取得するために特定の領域またはエリアにわたってオブジェクト２２の３０〜４０のＢモード走査（Ｂ−走査とも呼ばれる）を行う。次いでプローブ２６は、オブジェクト２２の他の領域またはエリアで１つまたは複数のさらなるセットのＢ走査を行って１つまたは複数のセットのＢ走査の画像を取得するように制御することができる。複数のセットの走査は、決定／定義された場所で行うことができる、またはランダムに選択することができる。例示の実施形態では、マニピュレータ２８は、異なる軸に沿って、異なる視野角でオブジェクト２２を走査することができる６軸マニピュレータである。

プローブ２６によって生成される電気信号（例えば、パルスエコー）が、データ通信リンク３８を通じてインタフェース３０を介してデータ取得／制御システム２４によって受信され、メモリ３４に格納される。プロセッサ３２はまた、オブジェクト２２の走査の制御を容易にするために、通信リンク３８によってマニピュレータ２８に結合される。一部の実施形態ではプロセッサ３２は、異なる通信リンク（図示せず）を使用してマニピュレータ２８に結合することができることに注意されたい。オブジェクト２２の検査のオペレータ制御を提供するために、ユーザ入力３９（例えばキーボード）をプロセッサ３２に結合する。１つの実施形態では、例えばプリンタ（図示せず）など、１つまたは複数の周辺デバイスを提供して、画像のハードコピーまたはプロセッサ３２によって生成されるレポートを生成することができる。

様々な実施形態では、検査システム２０は、異常を検出および識別するために、超音波画像を使用して例えば複合部品の自動検査を提供する。１つの実施形態では画像は、プローブ２６によって取得される超音波Ｂ走査であり、プローブ２６は、マニピュレータ２８（例えばロボットマニピュレータ）で制御することができ、検査されているオブジェクト２２の表面にわたってラスターパターンで走査する。様々な実施形態はまた、画像を分析して、内部部品構造を示す特徴ならびに製造欠陥などの欠陥を識別するために、プロセッサ３２が実行することができる画像処理アルゴリズムを提供する。画像は、いかなる好適な画像取得プロセスを使用して取得することもできることに注意されたい。

様々な実施形態に従って、超音波画像を自動的に分析して、例えば図３に示す方法５０を使用して、オブジェクト２２における異常を判断する。方法５０は、特に複合プロペラにおいて複合構造の異常を識別することに関連して説明しているが、方法５０は、他のオブジェクト２２または部品の検査と関連して使用することができることに注意されたい。

方法５０は、１つまたは複数のセットの超音波Ｂ走査画像上で行って、例えば重要な内部構造および異常（例えば潜在的な製造欠陥）を識別する。例えば図４は、例示的超音波画像８０を示しており、超音波画像８０の表面部分８１は左側にある。超音波画像８０は、複合プロペラ羽根の一部である。

方法８０は、５２においてオブジェクトの膜を識別することを含む。例えば、図３に示すように、膜８２は、膜層によって定義され、複合構造の膜層は、カーボン複合層８４によって定義される複合材料を内部材料８６から切り離す。様々な実施形態は、欠陥を含む可能性がある、またその特性が以下にさらに詳細に説明されるようなしわなど他の内部欠陥を示す可能性がある膜８２を識別する。通常の状態では膜８２は、全体的な予想される形状、したがって、超音波画像８０の勾配流を示すことに注意されたい。

超音波画像８０は、プロペラ羽根の上面にグラスファイバブレーディング（ｆｉｂｅｒｇｌａｓｓ ｂｒａｉｄｉｎｇ）８８を含むプロペラ羽根用などのカーボン複合構造を表すことにも注意されたい。さらに上面の水９０もまた、撮像することができる。さらにグラスファイバブレーディング８８を形成する構造は、オブジェクト、すなわちプロペラ羽根の内部構造とは異なり、異常を識別するための本明細書に記載する画像分析中には無視されることに注意されたい。

様々な実施形態では、膜８２を識別するために、３次元（３Ｄ）手法をとる。詳細には、１つの実施形態では、形状の従来の情報、表面距離ペナルティ、および膜８２の存在を示す検出信号情報とともに、グラフに基づく最短経路（ｓｈｏｒｔｅｓｔ−ｐａｔｈ）方法を膜のセグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）に使用する。

例えば、１つの実施形態では、事前の形状および膜８２があることを示す検出信号からの寄与を含むコスト関数を使用することができる。膜８２を見つけるためのコスト関数は、次のように定義することができる：

式１では、第１の項Ｃ_Intenstiy（Ｓ）は、現在の検出Ｓが膜８２の所与の輝度モデルにいかに適合するかを測定する。例えばこの項は、膜８２の現在の周期および基準周期について正弦波周期（最高点から最高点まで）の値の差を定義する。基準周期は、例えば経験的に算出することができる。第２の項は、現在の検出Ｓと隣接走査の膜Ｓ_adjとの間の距離にペナルティを課す（ｐｅｎａｌｉｚｅ）。したがってこの項は、偏差を算出するための隣接画像間の形状拘束である。したがって、コスト関数は、画像および近接画像（例えば、３０〜４０画像のセット中）にわたって合計され、合計が３次元エリアで行われるようにする。隣接画像は、本明細書に記載する走査技術により、すなわち一実施形態ではラスタ走査パターンにより粗く整列されること、膜８２は、一部の画像では他の画像よりも容易に検出される場合があることに注意されたい。様々な実施形態では、膜８２は、モデル（例えば特に、輝度モデル、平滑度モデル、または形状モデル）への適応度および／または画像データとの一致を評価するコスト関数を最適化することによって識別される。したがって、様々な実施形態におけるＣ_Intenstiy（Ｓ）は、膜の定義された輝度モデルに対する第１の、すなわち現在の膜の検出Ｓの適応度の測定である。

第３の項は、オプションで含まれるが、現在の検出Ｓと事前形状モデルＳ_modelとの間の形状変化にペナルティを課す。この項は、非検出膜を表すモデル項からの偏差、すなわち膜８２が画像の中でどのように見えるかを表す。コスト関数は、膜８２の特徴を用いて、様々な実施形態におけるエネルギー関数を定義し、周期が関数を定義する。このようにコスト関数は、一般的に各画像の輝度および形状拘束を定義する。

様々な実施形態では、Ｃ（Ｓ）は、Ｃ（Ｓ）が定義された限界内であらゆる画像における総コストを最小化するまたは削減するように計算される。したがって、膜層、詳細には例えば膜８２など膜層の位置および形状は、画像のセットに適用されるグローバルコスト関数を使用して様々な実施形態で求められる。

その後、検出された膜層を用いて、画像にワーピングを適用して、走査ジオメトリに起因する画像中の大規模な変動の影響を取り除くことができる。詳細には、５４において画像の上部および下部がトレースされて、５６においてこれらのトレースの輪郭によってオブジェクトの全体形状が判断される。１つの実施形態では、膜８２を表す曲線が滑らかに変化するように、膜８２にローパスフィルタを適用することができることに注意されたい。フィルタリングは、平滑化の必要量または所望量に基づいて調整することができる。

その後、１つの実施形態では、５８において膜８２の歪を効果的に取る歪み取り操作（ｓｔｒａｉｇｈｔｅｎｉｎｇ ｏｐｅｒａｔｉｏｎ）を行うことによってワーピングが適用される。例えば、膜８２の非線形性は、トレースされた膜の歪みを取るために、画像８０の上部から下部まで画像８０のすべての列をシフトすること（例えば、各列のピクセルをシフトすること）によって取り除く。例えば、画像８０の上部および下部でその間のピクセルを揃えてノードを選択することができる。このように、修正プロセスが行われて、基準構造を用いて画像８０中の大規模な変動が取り除かれ、一例としては、（例えば、正常なものとしてのベースラインである）正常な構造の画像と比較して画像中の異常なうねりが識別される。基準構造は、例えば（膜８２ではなく）オブジェクトの前面またはグラスファイバ層の境界のような、オブジェクトのいかなる部分であることも可能であることに注意されたい。

その後、画像８０がワーピングされると、６０において輝度勾配が計算され、これは輝度勾配の大きさおよび方向を測定することを含む。様々な実施形態では、マルチスケールプロセスが行われ、その結果、対象のいかなる異常または欠陥よりも小さい規模のノイズを含む画像の勾配の方向となる。様々な実施形態では、以下により詳細に説明するように、画像全体にわたって勾配ベクトル場に正則化操作が適用される。

詳細には、画像８０がワーピングされると、例えば１／２および１／４スケールの画像で輝度勾配および輝度勾配の方向が計算される。しかしながら、これらの値は、用途に応じて変更される場合がある。計算は、いかなる好適な勾配計算プロセスを用いて行うこともできる。正則化操作を適用して、勾配に順序を与え、いかなる異常も取り除いていない間の勾配を整列させる。１つの実施形態では、正則化パラメータまたは制約は、経験的に算出される。

様々な実施形態では、勾配の方向の正則化は、勾配の向きの信頼度（ｃｏｎｆｉｄｅｎｃｅ）と勾配の大きさとの間の強力な相関関係を説明するために、勾配の大きさによって重み付けされる。画像８０のサンプリングは、非等方性であって、垂直および水平ピクセルの寸法は等しくない可能性があることに注意されたい。したがって、正則化は、画像サンプリングにおける不均一性を説明するために行うことができる。したがって、経験的に算出された拘束を含むことができる、好適な正則化技術を使用して、不均一性を説明するために画像８０の勾配を再編成（ｒｅａｌｉｇｎｅｄ）することができる。例えば、図５は、正則化前の画像の一部の（勾配ベクトル場を示している）勾配１０２のグラフ１００を示し、図６は、正則化後の画像の一部の（勾配ベクトル場を示している）勾配１１２のグラフ１１０を示す。図に示すように、勾配は、図５よりも図６においてより整列された順序であり、画像の不均一性により、ランダムな勾配の方向となる。理想的には、すなわち、異常のない画像では、勾配１１２は、グラフ１１０の上部から下部まで直線的に整列されるはずであることに注意されたい。

例えば、ブレーディング８８の表面での表面ブレーディングの領域の画像の輝度は、画像の他の場所よりもはるかにランダム化される傾向があることに注意されたい。したがって、この差を用いて、様々な実施形態は、表面ブレーディングと、内部カーボン複合層のような、例えば内側材料８６などの内核との間の領域を識別する。詳細には、図３を再び参照すると、６２において画像の輝度の局所標準偏差が算出され、これは様々な実施形態では、５８の歪取りと共同して（または同時に）行われる。例えば、閾値処理プロセスを行って、閾値を超える局所標準偏差を内部カーボン複合層の部分ではないとして排除することができる。１つの実施形態では、閾値は、同様のオブジェクトの以前の検査に基づくなど、経験的に算出することができる。このように、定義された閾値を超える勾配または領域が排除される。

１つの実施形態では、画像の輝度の局所標準偏差は、画像全体にわたって小窓の中で計算される。この実施形態では、標準偏差が閾値限界を超える領域が表面ブレーディング領域に属すると識別される。表面ブレーディング領域と内部カーボン複合層との境界は、一定の標準偏差のラインをたどる輪郭として表される。したがって、このラインが、画像８０の上部から下部までの勾配の予測される方向の流れの表示となる。ステップ６２の結果は、図７の画像１２０に示し、画像の右側の領域１２４は、様々な実施形態がその中のデータを処理して異常を識別するように含まれている。しかしながら、画像１２０の左側の領域１２２は、さらなる処理から除外される。さらに、領域１２２の左のエリア１２６はオブジェクトの外側であるので、これらのエリア１２６もまた除外される。

その後、正則化された勾配および対象の領域（例えば構造の複合エリア）、すなわち識別された領域１２４および算出された局所標準偏差を用いて、異常（例えばしわ）が識別され、これは１つの実施形態では６４において回転演算子を適用することを含む。回転演算子を適用することにより、ベクトル場の回転運動の測定を行い、これは様々な実施形態では、勾配ベクトル場の局所回転を計算することを含む。例えば１つの実施形態では、画像全体にわたって小窓がスキャンされ、窓の回転が計算される。回転演算子を適用する結果は、ベクトル場で計算されるスカラ値であり、場の回転を示している。複合構造の中のしわなどの異常の存在は、回転演算を用いて検出される勾配ベクトル場の局所回転につながる。したがって、回転演算の適用から生じるスカラ値が高くなると、異常の可能性が大きくなる。

回転演算子を適用した結果は、図８に示すグラフ１３０となり、領域１２４においてスカラ値が算出される。例示のグラフ１３０では、異なるスカラ値またはスカラ値の範囲を、異なる暗さの濃淡（例えばグレースケール）で示している。例えば、エリア１３２は、エリア１３４よりも暗い部分を含み、エリア１３２においてスカラ値がより高いことを示している。異なる暗さの濃淡（またはレベル）を使用する代わりに、回転がないところ（エリア１３６など）には緑色を、そして黄色から青色へ赤色へと値を増やす際にはオプションとして異なる色の濃淡または明るさを用いてなど、異なる色を使用して値を示すことができるということに注意されたい。一般に、ステップ６４の結果は、画像の異なる領域における回転に対して異なるスカラ値となる。

その後、回転演算の結果について６６において閾値処理を行う。例えば、１つまたは複数の閾値を定義して、値が異常（例えばしわ）であるかどうかを判断することができる。一部の実施形態では、異なる閾値を使用して、このエリアが特定の異常を含むという異なるレベルの信頼度を示すことができる。このように、算出された回転値に閾値を適用することによって、１つまたは複数の異常を識別することができる。閾値はやはり、経験的に算出することができる。

このように、画像全体にわたって回転の値が計算されると、値に閾値を適用して、異常が位置する場所を判断することができる。１つの実施形態では、閾値処理の結果は、いかなる好適な画像処理技術も適用することができる二値画像を形成する。例えば、接続構成要素の分析および分割を適用して、異常領域（例えば、欠陥領域）を局所化および測定することができる。

１つの実施形態では、回転計算における高応答の領域、すなわち高い値を含むエリアを使用して、異常領域を識別するために領域成長アルゴリズムをシード（ｓｅｅｄ）する。例えば、６８において領域成長（例えば、領域成長アルゴリズムまたはプロセス）を適用して、閾値を超える値を有する領域が、定義された数のピクセルだけ成長して、異常領域１４０が図９のグラフ１４２に示すように識別される。図のように、この例示的実施形態では、閾値および領域成長の結果として、４つの異常領域１４０が識別される。識別された異常領域１４０に基づいて、対応するオーバーレイを画像８０に提供することができる。例えば、１つの実施形態で再び図３を参照すると、７０において、図１０に示すような境界ボックス１５０を生成して、表示することができる。境界ボックス１５０は、異常領域１４０によって定義されるが、図１０の矩形ボックスを形成するように拡張され、例えば異常領域１４０よりもわずかに大きい可能性があることに注意されたい。さらに、境界ボックス１５０は、境界ボックス１５０のそれぞれの中の回転値の算出されたレベルに対応して色付けする、または濃淡付けすることができる（例えば、より高い平均閾値にはより暗い色または異なる色など）。

方法５０の１つまたは複数のステップを含む様々な実施形態は、２次元および／または３次元で行うことができることに注意されたい。例えば、１つの実施形態では、勾配ベクトル場の分析（すなわち勾配正則化および回転）は、２次元で行われるが、最終回転セグメンテーションは、３次元で行われる。

このように様々な実施形態が、例えば工業部品の検査について、超音波画像中の異常の自動検出または判定を提供する。少なくとも１つの実施形態では、検出された異常に対応するエリアは視覚的にユーザに識別されることが可能である。

例えばモジュール、またはその中の構成要素およびコントローラなど、様々な実施形態および／または構成要素は、１つまたは複数のコンピュータまたはプロセッサの一部として実装されることも可能である。コンピュータまたはプロセッサは、例えばインターネットにアクセスするために、コンピューティングデバイス、入力デバイス、ディスプレイユニット、およびインタフェースを含むことができる。コンピュータまたはプロセッサは、マイクロプロセッサを含むことができる。マイクロプロセッサは、通信バスに接続することができる。コンピュータまたはプロセッサはまた、メモリを含むことができる。メモリは、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリメモリ（ＲＯＭ）を含むことができる。コンピュータまたはプロセッサは、ストレージデバイスをさらに含むことができ、ストレージデバイスは、ハードディスクドライブまたはリムーバブルストレージドライブ、光ディスクドライブなどであることが可能である。ストレージドライブはまた、コンピュータプログラムまたは他の命令をコンピュータまたはプロセッサにロードするための他の同様の手段であることも可能である。

本明細書で使用される場合、「コンピュータ」または「モジュール」という用語は、マイクロコントローラを使用するシステム、縮小命令セットコンピュータ（ＲＩＳＣ）、ＡＳＩＣ、論理回路、および本明細書に記載する機能を実行することができる任意の他の回路もしくはプロセッサを含む、いかなるプロセッサベースの、またはマイクロプロセッサベースのシステムを含むこともできる。上述の例は例示にすぎず、したがって、「コンピュータ」という用語の定義および／または意味を決して限定するものではない。

コンピュータまたはプロセッサは、入力データを処理するために、１つまたは複数の記憶要素に格納された一連の命令を実行する。記憶要素は、要求または必要に応じてデータまたは他の情報を格納することもできる。記憶要素は、情報源または処理機械内の物理メモリ要素の形態であることも可能である。

一連の命令は、処理機械としてのコンピュータまたはプロセッサに様々な実施形態の方法およびプロセスのような特定の操作を行うように命令する様々なコマンドを含むことができる。一連の命令は、ソフトウェアプログラムの形態とすることができ、これは（１つまたは複数の）有形の非一時的コンピュータ可読媒体の一部を形成することができる。ソフトウェアは、システムソフトウェアまたはアプリケーションソフトウェアなど様々な形態であることが可能である。さらにソフトウェアは、個々のプログラムまたはモジュールを集めたもの、より大きいプログラム内のプログラムモジュール、またはプログラムモジュールの一部の形態であることが可能である。ソフトウェアはまた、オブジェクト指向プログラミングの形態のモジュラープログラミングを含むことができる。処理機械による入力データの処理は、オペレータコマンドに応じる、または以前の処理の結果に応じる、または別の処理機械によって行われる要求に応じることが可能である。

本明細書で使用される場合、「ソフトウェア」および「ファームウェア」という用語は交換可能であり、ＲＡＭメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、および不揮発性ＲＡＭ（ＮＶＲＡＭ）メモリなどのメモリに、コンピュータで実行するために格納したいかなるコンピュータプログラムも含む。上記のメモリタイプは例示にすぎず、したがってコンピュータプログラムを格納するために使用できるメモリのタイプに関して限定するものではない。

上述の説明は、例示であって、限定的ではないことを理解されたい。例えば、上述の実施形態（および／またはその態様）は、互いと組み合わせて用いることができる。さらに、特定の状況または材料を様々な実施形態の教示内容に適合させるために、その範囲を逸脱することなく多くの変更を行うことができる。本明細書に記載する材料の寸法およびタイプは、様々な実施形態のパラメータを定義するように意図されているが、諸実施形態は決して限定的ではなく、例示的な諸実施形態である。上述の説明を検討すると、当業者には他の多くの実施形態が明らかとなるであろう。したがって、様々な実施形態の範囲は、添付の特許請求の範囲、ならびにこの特許請求の範囲が権利を有する均等物の全範囲を参照して決定されるべきである。添付の特許請求の範囲では、「含む（ｉｎｃｌｕｄｉｎｇ）」および「において（ｉｎ ｗｈｉｃｈ）」という用語は、それぞれ「含む（ｃｏｍｐｒｉｓｉｎｇ）」および「において（ｗｈｅｒｅｉｎ）」という用語の平易な英語の同義語として使用されている。さらに、次の特許請求の範囲では、「第１」、「第２」、および「第３」などの用語は、単にラベルとして使用されており、その対象物に数的要件を課すものではない。さらに、後述する特許請求の範囲の限定は、手段プラス機能（ｍｅａｎｓ−ｐｌｕｓ−ｆｕｎｃｔｉｏｎ）フォーマットで書かれておらず、そのような請求項の限定が、「ための手段（ｍｅａｎｓ ｆｏｒ）」という語句を明白に使用して、その後にさらなる構造を伴わない機能の記述が続くことがない限り、３５ Ｕ．Ｓ．Ｃ．第１１２条、第６パラグラフに基づいて解釈されることを意図していない。

この記載する説明は例を用いて、最良の方式など、様々な実施形態を開示し、またいかなる当業者でも任意の装置またはシステムを作成して使用すること、および組み込まれた方法を行うことなど、様々な実施形態を実行できるようにしている。様々な実施形態の特許可能な範囲は、特許請求の範囲により定義するが、当業者であれば思い付く他の例も含むことができる。このような他の例は、特許請求の範囲の文字通りの言葉と違わない構造的要素を有する場合、または、特許請求の範囲の文字通りの言葉とはわずかな違いを有する等価な構造的要素を含む場合、特許請求の範囲の範囲内であるとする。

２０ 検査システム
２２ オブジェクト
２４ データ取得／制御システム
２６ プローブ
２８ マニピュレータ
３０ インタフェース
３２ プロセッサ
３４ メモリ
３６ ディスプレイ
３８ 通信リンク
３９ ユーザ入力

Claims (18)

1. 少なくとも１つのプロセッサを使用して画像化されたオブジェクトにおける異常を識別するための非一時的コンピュータ可読記憶媒体であって、前記プロセッサに、
   オブジェクトの少なくとも１つのエリアに対応する複数の画像を取得することと、
   正常な変動を有する基準構造を用いて複数の画像の少なくとも一部の修正を行うことと、
   前記オブジェクトの前記修正された複数の画像に勾配ベクトル場の分析を行って、前記オブジェクト内の異常領域を識別することと、
   を行うように命じる命令を含み、
   前記オブジェクトが膜を含み、前記命令が、前記プロセッサに前記膜のモデルを使用して前記膜を識別するよう命じ、
   前記膜が、前記モデルの少なくとも１つへの適応度または画像データとの一致を評価するコスト関数を最適化することによって前記複数の画像において識別され、
   前記コスト関数が、
   と定義され、Ｃ_Intenstiy（Ｓ）が、前記膜の定義された輝度モデルに対する識別すべき膜検出Ｓの前記適応度の測定であり、Ｓ_adjが、隣接画像における膜検出であり、Ｓ_modelが、事前形状モデルである、
   非一時的コンピュータ可読記憶媒体。
2. 前記複数の画像が、前記オブジェクトのＢモード走査を使用して取得される隣接超音波画像である、請求項１に記載の非一時的コンピュータ可読記憶媒体。
3. 前記命令が、前記プロセッサに空間フィルタを使用して前記オブジェクトの全体形状を測定し、前記複数の画像の歪を取ることによって前記オブジェクトの前記全体形状を補正するように命令し、前記歪を取ることが、前記複数の画像において複数の行のピクセルを
   シフトすることを含む、請求項１に記載の非一時的コンピュータ可読記憶媒体。
4. 前記モデルが、輝度モデル、平滑モデル、および形状モデルのうちの少なくとも１つを含む、請求項１に記載の非一時的コンピュータ可読記憶媒体。
5. 前記命令が、前記プロセッサに輝度勾配の大きさおよび方向を計算することによって前記勾配ベクトル場の分析を行うように命じる、請求項１に記載の非一時的コンピュータ可読記憶媒体。
6. 輝度および方向の前記計算が、マルチスケールプロセスを用いて行われる、請求項５に記載の非一時的コンピュータ可読記憶媒体。
7. 前記命令が、前記プロセッサに前記複数の画像にわたって勾配ベクトル場に正則化を行うように命じる、請求項１に記載の非一時的コンピュータ可読記憶媒体。
8. 前記命令が、前記プロセッサに、重み付けされた勾配方向を用いて前記正則化を行うように命じる、請求項７に記載の非一時的コンピュータ可読記憶媒体。
9. 前記命令が、前記プロセッサに画像輝度の局所標準偏差の値を算出し、前記値を閾値処理して前記複数の画像中の対象の領域を識別するように命じる、請求項７に記載の非一時的コンピュータ可読記憶媒体。
10. 前記命令が、前記プロセッサに回転演算子を使用して、前記正則化された勾配ベクトル場の複数の回転値を算出するように命じる、請求項７に記載の非一時的コンピュータ可読記憶媒体。
11. 前記命令が、前記プロセッサに前記回転演算子を用いて算出された複数の回転値を閾値処理して、前記異常領域を識別するように命じる、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
12. 前記命令が、前記プロセッサに前記識別された異常領域に領域成長プロセスを適用するように命じる、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
13. 前記命令が、前記プロセッサに前記複数の画像の少なくとも１つに少なくとも１つの異常領域を識別するオーバーレイを表示するように命じる、請求項１に記載の非一時的コンピュータ可読記憶媒体。
14. 前記命令が、前記プロセッサに前記オーバーレイ内の異常の信頼レベルを示すように命じる、請求項１３に記載の非一時的コンピュータ可読記憶媒体。
15. 正常な変動を有する基準構造を用いてオブジェクトの複数の画像の少なくとも一部の修正を行うことと、 前記オブジェクトの修正された画像上で勾配ベクトル場の分析を行うことにより、前記オブジェクト内の異常領域を識別するように構成されたプロセッサと、
    表示画像上に識別された異常領域を有する前記画像の少なくとも１つを表示するように構成されたディスプレイと、
    を含み、
    前記オブジェクトが、膜を含むプロペラ羽根であり、前記プロセッサがさらに、前記複数の画像にわたって合計されたコスト関数を用いて前記膜を識別するように構成され、前記合計されたコスト関数が、
    と定義され、Ｃ_Intenstiy（Ｓ）が、前記膜の定義された輝度モデルに対する識別すべき膜検出Ｓの適応度の測定であり、Ｓ_adjが、隣接画像における膜検出であり、Ｓ_modelが、事前形状モデルである、
    検査システム。
16. 前記プロセッサがさらに、空間フィルタを使用して前記オブジェクトの全体形状を測定し、前記複数の画像の歪を取ることによって前記オブジェクトの前記全体形状を補正するように構成され、前記歪を取ることが、前記複数の画像において複数の行のピクセルをシフトすることを含む、請求項１５に記載の検査システム。
17. 前記プロセッサがさらに、（ｉ）重み付けされた勾配の方向を用いて前記複数の画像にわたって勾配ベクトル場に正則化を行い、（ｉｉ）画像輝度の局所標準偏差の値を算出し、前記値を閾値処理して、前記複数の画像における対象の領域を識別するように構成され、前記プロセッサがさらに、回転演算子を使用して、前記正則化された勾配ベクトル場の複数の回転値を算出し、前記回転演算子を使用して算出された複数の回転値を閾値処理して前記異常領域を識別するように構成された、請求項１５に記載の検査システム。
18. 前記プロセッサがさらに、前記識別された異常領域に領域成長プロセスを適用して、前記複数の画像の少なくとも１つに前記異常領域を識別するオーバーレイを表示するように構成された、請求項１５に記載の検査システム。