JP6097879B2 - 画像に基づく多軸掛けベルトの摩耗評価の改善された解析 - Google Patents

画像に基づく多軸掛けベルトの摩耗評価の改善された解析 Download PDF

Info

Publication number
JP6097879B2
JP6097879B2 JP2016500405A JP2016500405A JP6097879B2 JP 6097879 B2 JP6097879 B2 JP 6097879B2 JP 2016500405 A JP2016500405 A JP 2016500405A JP 2016500405 A JP2016500405 A JP 2016500405A JP 6097879 B2 JP6097879 B2 JP 6097879B2
Authority
JP
Japan
Prior art keywords
image
belt
index
pixels
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016500405A
Other languages
English (en)
Other versions
JP2016517071A (ja
Inventor
エム. ソブチャーク,フロイド
エム. ソブチャーク,フロイド
エイチ. シーリー,ジェームス
エイチ. シーリー,ジェームス
アール. セドラチェク,ダグラス
アール. セドラチェク,ダグラス
イー. スチュームキー,マーク
イー. スチュームキー,マーク
エル. アシェンブレナー,ジャスティン
エル. アシェンブレナー,ジャスティン
クリスチャン ボーク,ジェームス
クリスチャン ボーク,ジェームス
Original Assignee
ゲイツ コーポレイション
ゲイツ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゲイツ コーポレイション, ゲイツ コーポレイション filed Critical ゲイツ コーポレイション
Publication of JP2016517071A publication Critical patent/JP2016517071A/ja
Application granted granted Critical
Publication of JP6097879B2 publication Critical patent/JP6097879B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

関連出願の相互参照
本出願は、2013年3月11日に提出された米国仮出願第61/776,600号明細書の利益を援用し、その全ての開示内容がここに参照として組み込まれる。
本開示は、広くはベルトの摩耗の計測に関連し、特に画像を用いてベルトの摩耗特性を特定し、ベルト寿命を予測する計測に関する。
多軸掛け伝動ベルトは、エチレン・プロピレン・ジエン・モノマー(EPDM)材の利用により耐久性が向上している。その結果、ベルトは時間の経過とともに摩耗し続けるものの、これまでベルト摩耗の信頼できる指標であったクラックの発生頻度は少なくなっている。これら先進的材料を使用することに起因する1つの問題は、破損前の摩耗の検出を定量することがより困難になることである。すなわち、EPDM材料から形成された多軸掛け伝動ベルトは、ベルトが完全に破損した後で、過度に摩耗されたものとして一般に診断されるだけである。
上記問題に対処するための最近の進展では、計測されるベルトに物理的に接触するツールを必要とする。そのようなツールの例は、スミス等の米国特許第7,946,047号明細書および米国特許公報第2010/0307221号明細書において説明されており、その全てがここで参照として組み入れられる。これらの解決策は、計測ツールと被計測ベルトとの間の物理的接触に依存する。
ツールと被計測ベルトとの間の物理的接触に依存せず、ベルトの摩耗を迅速かつ有効に特定できるベルト測定の解決策を開発することは有用である。また、その様なシステムのオペレータに必要とされる画像処理の負担を同システムが低減したならば、利益が認識されるであろう。
ベルト摩耗の非接触計測のための1つのテクニックは、出願人の同時係属中出願である、2011年9月6日に出願された、ラスターイメージのエッジ検出によるベルト摩耗の計測と題される出願番号第13/226,266号明細書に説明されており、ここでそれが教示する全てのためにその全てが参照として組み入れられる。
リブの摩耗の程度を形跡する前に回転補正する目的でデジタル写真に表示された多軸掛けベルトの方向を特定する方法。写真のガンマ、輝度、コントラスト、色相、カラーチャンネルや他の情報のデジタルフィルタ操作を行うことで、ソフトウェアは、ベルトリブの長手方向を示すと考えられる、デジタルデータの平行で、高いアスペクト比を有する、四辺形の領域を特定する。この解析の結果は、写真領域内のベルト画像の向きを特定するのに使用され、続く解析で使用される垂直軸を設定する。
更に、リブの摩耗の程度を解析する前に、向きおよび/またはベルトリブの数を正確に検出するために、多軸掛けベルトのデジタル写真における一様でない照明を補正する方法。写真のガンマ、輝度、コントラスト、色相、カラーチャンネルや他の情報のデジタルフィルタ操作を行うことで、ソフトウェアは、写真の様々な領域でコントラストレベルを正規化し、ソフトウェアがデータを間違って解釈しないようにエッジでの鮮鋭さの違いを防止する。
操作の手順:
本発明は、先行技術におけるベルトエッジ特定、および捩じられた、あるいは解析を開始する前に画素(解像度)の画像領域を処理することで改善されたユーザインタフェースための平行でないリブプロファイルの解析の問題を解決し、このステップは、スマートフォンのタイプや撮影における焦点距離に起因する全ての画像に対して一致する画像サイズを提供する。
アルゴリズムのステップ1:画像の解像度を低減し、例えば、1/10、そしてベルトリブの角度を計測し、付加的に特定されたベルトエッジを切り取る。
アルゴリズムのステップ2:画像の最大の解像度に戻し、以下に説明するようにリブエッジを特定する。
向きを検出するために
・ベルトをマスクし、高いコントラスト領域を取り除くことで切り出し、付加的に画素サイズ(近傍領域)の変化の閾値を解析し、あるいは単に画素近傍の閾値を解析し、
適応性閾値 Open CV ライブラリあるいは他の同等の機能を備えるライブラリを用いて:
リブの数を特定するための画素近傍の適正なサイズを検証し、
・5、10、100あるいは更なるサイズの画素近傍など、異なる画素領域を選択しての解析の進行、
・黒または白であるかを判定する1つのプロセスあるいは解析サイクルの例:適応性閾値解析のため35画素の周辺近傍を確認し、多角形、好ましくは4、5あるいは6個の頂点を有する多角形の許容誤差内に適合させるために解析し、
・1つの画像が幾つかの輪郭(contours)を有し、黒または白の輪郭の画像領域を特定するためグレーの範囲の解析サイクルを継続し、
・画素領域において多角形への適合を通して輪郭を処理し、
1/50画像領域画素スクエア、あるいは非リブ疑似領域を除去するための同じようなサイズの値よりも大きい領域の領域フィルタを処理し、付加的に、画像画素サイズに基づき多角形エラー(許容誤差)を生成する方法を処理する。
ベルト方向画像は、検出された多角形の主角度から多角形の最も長いエッジのカルテシアン座標により求められ、
上記発明は、切り取られ、回転され、従来技術(ラスターイメージのエッジ検出によるベルト摩耗の計測)のアルゴリズムに供されたベルト輪郭画像を与え、
・ステップ1 スクリーンショット:ベルトのエッジを特定するための画像(図1参照)
・ステップ2 スクリーンショット:ベルトリブの画像(図2参照)
・発明のコードサンプリング
(図3参照)
これを達成するための1つの方法は、一連の操作を使用し、それは順次、写真の暗い領域における低コントラストの隣接領域間のコントラストを、それらが写真の明るい領域でのコントラストと同等となるまで増大する。これらの操作は、デジタル写真内の1つあるいは全てのデータチャンネルにおける違いのなるべく少ない1つのデータポイントを利用できるようにされ、それは解析に用いられる隣接データの領域のターゲット画素からの半径、適用された付加的コントラストの強さ、データに変換を適用するかどうかを判定する違いの閾値などの変数を変更することで行われる。この処理は、デジタル写真撮影や印刷で使用されるアンシャープマスキングと呼ばれる処理に似ている。
付加的に、デジタル写真に表示されるベルトに存在するリブおよび/または谷の数の特定方法が、解析ソフトウェアに知らせる目的で、リブ摩耗の程度を解析する前に行われる。平行な四辺形領域を示すデータを、マークされたリブトップを示すデータと共に利用して、これら2つのデータセットが、写真に示されるベルトに含まれるリブの数に整合する値を返すかを判定するために比較される。もしこれら2つのデータセットが一致しなければ、ユーザにより付けられたマークが、ベルトのリブの数を特定するのに利用される。これら2つのデータセットの収集および解析は、本方法論の正確さを判定する方法を提供し、ソフトウェアへの更に改良を可能にする。
まとめると、これらの改良は、ユーザが以下のことをする必要性を予防する:
1.なんらかの特定の仕方で、写真撮影用の装置の向きを設定する
2.ズームし、回転し、センタリングし、または撮影後、写真を操作する
3.解析に先立ちリブ数を手動入力する
4.ベルトをマークする必要性を除去する
試験中の対象物の取得画像の質は、試験中のベルトなどの対象物を解析する非接触解析ツールの能力または精度の因子であるかもしれない。多くの画像の欠陥は、全てまたは部分的に除去される。人間の目は、ベルト画像と関連する多くの画像欠陥を特定するのに用いることができる。しかし、本実施形態およびここでの請求項によれば、機械に基づく画像補正が、多くのベルト画像の欠陥を補修し、画像とその解析のスピードと精度を改善する。
ベルト画像の解析によるベルト摩耗の計測など非接触解析の利点は、ここで説明される実施形態を実施することにより理解されるであろう。1つの利点は、参照される撮像フレームに対するベルトの回転など、なんらかの撮影時における欠陥の自動補正を組み込んだベルト計測アプリケーションを提供することにより理解される。回転された、あるいは回転補正されたベルト画像、すなわちベルト画像が画像フレームの予め規定された軸に対して特定の方向を持つようにされているとき、解析のスピードと精度は、画像通して改善される。したがって、1つの実施形態では、機械に基づくベルト画像の回転が提供される。更なる実施形態は、切り取り、エッジ検出および/またはベルトリブ検出などの操作を行うことで画像を更に改善する可能性を示す。
ここで使用される用語「自動」とそのバリエーションは、そのプロセスまたは操作が行われるときに実体的な人間の入力がなくても実行されるあらゆるプロセスあるいは操作のことを言う。しかし、プロセスまたは操作の実行が実体的あるいは実体のない人間の入力を用いる場合であっても、そのプロセスまたは操作の実行の前にその入力が受信されるのであれば、そのプロセスあるいは操作は自動的であり得る。人間による入力は、そのような入力がそのプロセスまたは操作がどのように実行されるかに影響するのであれば実体的であると考えられる。プロセスまたは操作の実行に承諾する人間の入力は、「実体的」とは考えない。
ここで使用される用語「コンピュータ読み取り可能媒体」とは、実行のためにプロセッサにインストラクションを提供することに関与する有形の記憶装置のことである。そのような媒体は、様々な形式をとり、例示的に、不揮発性媒体、揮発性媒体、伝送媒体が含まれる。不揮発性媒体には、例えばNVRAM、磁気または光学ディスクが含まれる。揮発性媒体には、メインメモリなどのダイナミックメモリが含まれる。一般的な形式のコンピュータ読み取り可能媒体には、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、あるいは他のあらゆる磁気媒体、光磁気媒体、CD−ROM、他のあらゆる光学媒体、パンチカード、紙テープ、穴のパターンを備えるあらゆる他の物理媒体、RAM、PROM、EPROM、FLASH−EPROM、メモリカードのような固体媒体、あらゆる他のメモリチップあるいはカートリッジ、あるいはコンピュータが読み取れるあらゆる他の媒体が含まれる。コンピュータ読み取り可能媒体がデータベースとして構成されるとき、データベースは、関係型、階層型、オブジェクト指向などのあらゆる形式のデータベースであってもよい。したがって、本開示内容は、当該開示物のソフトウェア実装が保存された、有形の記録装置および従来技術で認識されている等価物、後継媒体を含む。
ここで使用される用語「検出する」、「特定する」、「算出する」、「計算する」やこれらのバリエーションは、交換可能であり、あらゆる形式の補法論、プロセス、数学的操作あるいはテクニックを含む。
ここで使用される用語「モジュール」は、公知のあるいは今後開発されるあらゆるハードウェア、ソフトウェア、ファームウェア、人工知能、あるいはその要素と関連してその機能を実行可能なハードウェアとソフトウェアの組み合わせのことを言う。また、本開示は、例示的な実施形態として説明しているが、開示の個々の観点は、個別に請求項とすることが可能である。
添付図面と共同して実施形態が説明される。
本開示の実施形態による第1ベルト画像である。
適応性閾値処理および完全なベルト検出後の画像である。
本開示の実施形態による第1画像のコントラスト強調画像である。
本開示の実施形態によるベルトの全体軸に沿って特定されたベルトリブを示す。
本開示の実施形態による計測システムを示すブロック図である。
本開示の実施形態による本計測システムを用いたユーザが経験する手順を示すフローチャートである。
本開示の実施形態による1つの画像処理方法を示すフローチャートである。
本開示の実施形態によるエッジ検出方法を示すフローチャートである。
本開示の実施形態による第1ベルト画像である。
本開示の実施形態による第1ベルト画像の2値画像部分を示す。
本開示の実施形態によるエッジ境界線の適用を示す。
本開示の実施形態によるリブの特定を容易にする強調コントラストを用いた第1ベルト画像の回転画像を示す。
本開示の実施形態によるリブ線、エッジ線、選択軸とともに示される第1ベルト画像の部分を示す。
本開示の実施形態による処理後のベルト画像を示す。
本開示の実施形態によるベルト画像と切り取りバッファを示す。
本開示の実施形態による処理フローを示す。
本開示の実施形態によるユーザに呈示されるプロセスを示す。 本開示の実施形態によるユーザに呈示されるプロセスを示す。 本開示の実施形態によるユーザに呈示されるプロセスを示す。 本開示の実施形態によるユーザに呈示されるプロセスを示す。
ここで説明される実施形態で望まれる1つの有用性は、ベルトの画像を処理することに向けられており、より具体的には、ベルト解析モジュール、アプリケーション、あるいはエンジンで使用されるベルトの一部の画像に向けられている。しかし、当業者であれば、ベルトに加え、例示的にギヤ、プーリ、アイドラ、シャフト、ベアリング、ブレードや支持部材を含む、試験に供される他の対象物がここでの教示から利益を得るであろうことが理解されるであろう。
今、図1を参照すると、同図は第1ベルト画像100である。外側エッジ102と104が特定される。
関連する図1Bは、適応性閾値アルゴリズム適用後の第1ベルト画像100である。図1Bは、2値および反転値の第2画像206を示す。第1、第2ベルトエッジ102B、104Bが示され、ベルト画像110と背景108の間の境界を形成する。
図2は、第1ベルト画像100のコントラスト強調画像200である。図示される実施形態では、6つのリブ(202A〜202F)が特定される。また、リブ識別の論考は以下の通りである。図示された実施形態を再び参照すると、リブ202A、202B、202C、202D及び202Fは暗い領域を形成し、公差内において4個の頂点を有する多角形を形成する。リブ202Eは、画像200の切り出しに起因して、もう1つの頂点を形成し、そのため5個の頂点を有する多角形を形成する。別の実施形態(不図示)では、1つのリブ200が1つの角から対角線上の反対側の角に達して撮影されて、画像200のような長方形の画像の4つの辺により切り取られるときなど、リブは6個の頂点を有する多角形を形成し得る。
図3は、特定された多数のリブ302(明確にするため、図ではリブ全体が特定されてはいない)を有する特定されたベルト300を示す。リブ302は、ベルト300の軸全体に沿って特定される。別の実施形態では、リブ302の特定は、マーク304で実質的に同じ位置する領域などのような、軸の一部に沿って行われる。
次に、図4を参照すると、本開示における実施形態にしたって計測システム400が示される。計測システム400は、テスト402の下で対象物が良好(例えば交換不要)か不良(例えば交換要)かの何れかにクラス分けするため、テスト402の下で対象物を解析する1以上のコンポーネントを備えるであろう。他の判定も本開示の趣旨から外れることなくテスト402の下で対象物に対して実行されてもよく、例えば、試験402の下での対象物は、許容範囲外(例えば、直ぐに交換が必要となる)、あるいは異常(例えば、予想される摩耗パターンにしたがっておらず、更なる検査および/または交換が必要)と判定される。
いくつかの実施形態では、計測システム400は、撮像装置404、イメージプロセッサ406、解析モジュール408、およびユーザ412による利用のためのユーザインタフェース410を備える。
例示的に、試験402の対象物には、例えばベルト、特にEPDM材料で作られた多軸掛けベルトが含まれる。ベルトは運転位置(例えば、輸送機器やベルトを採用する他の機器に取り付けられた状態)あるいは非運転位置(例えば、輸送機器やベルトを採用する他の機器から取り外された状態)の何れかにある。撮像装置404は、例えば1枚以上の静止画を撮影できる。代替的に、あるいは追加的に、撮像装置404は、動画(例えば、オーディオ入力に同期するあるいは同期しない連続した多数の画像フレーム)を撮影できてもよい。撮像装置404により撮影された画像は、例えばカラー画像(例えば、各画素が赤、緑、青(RGB)の画素値を有するピクセル画像)、グレースケール画像(例えば、各画素が0と255などの所定値の間のグレースケールの画素値を有するピクセル画像)、白黒画像(例えば、各画素が白あるいは黒に対応するバイナリ値を有するピクセル画像)、赤外線画像(例えば、各画素が赤外線画素値を有するピクセル画像)、紫外線画像(例えば、各画素が紫外線画素値を有するピクセル画像)、あるいは他の周知のタイプの画像である。撮像装置404の例示的な例は、独立したあるいはスマートフォンなどのユーザデバイスに搭載されたカメラ(スチルあるいはビデオ)である。
イメージプロセッサ406は、撮像装置404によって取得された試験402の下での対象物の画像の精度を向上するのに自動補正が必要であるかを判定する。自動補正が適用されるべきと判定すると、同補正がイメージプロセッサ406によって適用される。自動補正が適用されない場合、画像は自動補正されることなく解析モジュール408において使用可能とされる。自動補正が適用される場合、自動補正の適用に続いて解析モジュール408で使用可能とされる。
その後、解析モジュール408は、試験402の下での対象物の画像を解析し、ユーザインタフェース410を通して解析の結果をユーザ412に報告する。
イメージプロセッサ408は、画像が補正の範囲を超えていると判定してもよく、このようなことは露出がアンダーあるいはオーバの画像において発生するかもしれず、画像が再取得されるべきことを更にユーザに知らせてもよい。使用不能画像の通知は、例えばユーザインタフェース410あるいは別のユーザインタフェースを通して行われる。
1つの実施形態では、イメージプロセッサ406において実施される画像処理機能は、撮像装置404によって利用可能とされた画像に対して施される。画像は、その画像を共有メモリやアクセス可能メモリに提供する、あるいは通信リンクなどを通して画像を配信する1つのコンポーネントにより利用可能にされる。いくつかの実施形態では、画像の利用可能性あるいは第1コンポーネントにおける処理の終了を第2コンポーネントに通知するために1つのコンポーネントから第2コンポーネントに信号が送信される。
ここで提示される実施形態では、主に単一の画像の取得、改変に向けられているが、本発明の趣旨から逸脱することなく追加的画像が生成されてもよい。画像が第1モジュールから第2モジュールへと転送される実施形態は、第1および第2モジュールの双方が共に画像のコピーを維持する複写処理により実施される。同様に、画像が改変される実施形態は、画像のコピーに対して実施され、原画像、すなわち先行する画像は改変されずに残される。更に、改変が廃棄されても原画像は改変されていない状態に維持あるいはその状態に戻されるように、改変は例えば画像のコピー、変更ファイル、あるいは理論上の画像レイヤーに適用される。処理は画像に対する改変のアプリケーションとともに、あるいは改変を含む画像のコピーとともに継続する。
撮像装置404、イメージプロセッサ406、解析モジュール408、およびユーザインタフェース410は、ここでは別々のコンポーネントとして示される。計測システム400は、他の様々な構成で実施できる。1つの実施形態では、計測システム400の全てのコンポーネントが携帯電話、スマートフォン、パーソナルコンピュータ(PC)、ラップトップ、ネットブック、タブレットなどのユーザデバイス内に搭載されていてもよく、あるいは、ユーザインタフェース410などの共通のユーザインタフェースにアクセスしてもよい。そのような実施形態では、有線、無線、光学的あるいは磁気的な取り外し可能なメディアインタフェースなどのコミュニケーションリンクがコンポーネント間に提供される。別の実施形態では、撮像装置404、イメージプロセッサ406、解析モジュール408、ユーザインタフェース410の少なくとも2つが、例えば特定用途向け集積回路(ASIC)、処理カード(例えば、PCI、PCIe)、汎用集積装置やコンピューティングプラットフォームなど、同じフォームファクタあるいは処理装置内に共に配置される。物理的に集積されたコンポーネント内において、PCBトレース、あるいは他の通信媒体を利用した通信バスを通信のために採用してもよいことが理解されるであろう。
図5は、本実施形態において、計測システム400などの計測システムでユーザが経験する手順のフローチャート500を示す。ユーザ412は、ステップ502を実行し、ベルト評価アプリケーションが初期化される。
1つの実施形態では、初期化ステップ502の完了とともに、システム400の電子コンポーネント(ユーザインタフェース410、解析モジュール408、イメージプロセッサ406、撮像装置404のうちの1つ以上)を自動的に初期化する(例えば、電源投入あるいは使用可能にする)。実施形態では、ステップ502において同時に初期化されない、あるいは略初期化されないシステム400の電子コンポーネントは、それらの使用に先立って初期化されてもよい。別の実施形態では、ステップ502はアプリケーションをリセットし、また更に別の実施形態では、ステップ502は単にアプリケーションにアクセスしている。
ユーザとともに継続する処理は、アプリケーションが試験402における対象物、すなわちベルトの画像を得る準備が整ったと、ユーザインタフェース410などにおいて認知される。ユーザは、ステップ504を実行して画像を取得し、ステップ506において画像は自動的に結果とともに表示される。別の実施形態では、1つ以上のメッセージ、例えば、エラーメッセージやステップ504を再度実行して画像を再取得する指示、インフォメーショナルなメッセージ、チュートリアル、サンプル、プログレスバー、ユーザの経験値を向上し得る解析結果あるいは同様の情報を保存および/または印刷する選択肢がユーザに提示されるかもしれない。
イメージプロセッサ406および/または解析モジュール408により実行されるような中間的ステップを提供する機能的な要求がない場合、全ての中間的なステップの結果または進捗は、ユーザ412にオプションとして提示されてもよい。オプションは、アプリケーションの開発段階において、あるいはユーザ412のコンフィギャレーションの設定において選択されてもよい。
次に図6に、画像処理のための方法のステップである1つの実施形態を示すフローチャート600が提示される。フローチャート600は、例えば図4の実施形態の計測システムの1以上の電子デバイスにおいて実行される。ステップ602は、試験中の対象物、例えばベルトの初期画像を取得する。ステップ606は、ベルトのエッジを特定する。ステップ604は、ベルトの画像を探索する。ステップ608は、画像のフレームに対するベルトの角度を特定する。ステップ610は、回転補正(de-rotation)が必要か否かを判定し、もし必要であれば、処理はステップ612へと続く。必要でなければ、処理はステップ614へ進む。ステップ612は画像を回転補正し、これにより画像は回転、すなわち先の場合、ステップ608において特定された角度の負の値分、例えば逆回転される。ステップ614は、ベルト画像を解析するために画像を解析モジュールへと提供する。図示されない付加的なステップには、例えばユーザ412がレビューして適切な行動(例えば破損ベルトの取り換えや、将来におけるベルトの再評価など)をとるなど、ユーザの利用のために解析結果の報告あるいは保存することが含まれてもよい。
回転補正ステップ612は、コピーした画像あるいはステップ602で取得された元画像に対して回転アルゴリズムを施すアプリケーションを含むであろう。回転補正ステップ612は、解析モジュール408が利用できる回転補正情報(例えば、位置、行列、方程式あるいはコード)の生成を実施してもよい。このような実施形態では、解析モジュール408は、元画像を回転補正情報のアプリケーションとともに読み込み、解析は元画像に対してあたかもそれが回転補正されたかのように施される。
別の実施形態では、画像は(自動的あるいは手動で)獲得される。ベルト画像において特定されたエッジの外側に位置する画像部分は、外側と認識されて破棄される。試験中のベルトなどの特定対象物の撮影は、ベルト画像が選択軸である1つの軸の全長に亘り走行する間に、どれか1つのフレームからベルトの全体を一般的には除外し、フレームの2つの相対するエッジにおいて終端させる。フレームのエッジで終端させない試験中の対象物の解析のための実施形態(例えば、切断されたベルト部分)は、対象物の画像の終端がフレームのエッジとなるように取得あるいは処理される。
ステップ606は、画像内のエッジを特定する。1つのエッジは、線を構成する画素の列として具体化される。しかし、画素配置の多少のバリエーション、曲線を構成する画素、多数の線分、あるいは理想的な線にはおよばないようなものが、そのような不規則さがベルトエッジの画素として想定される範囲内にあると判断される場合には、線として認識されてもよい。別の実施形態では、ステップ606は、ベルト位置の印しとして、例えば、エッジ、マーキング、リブ、あるいはベルトのフレームに対する回転位置を示すために扱えるベルトの他の属性を特定する。
ステップ606は、多数の候補となるエッジ線の特定など、付加的処理を実施してもよく、エッジ線としてのそれらの位置を確認あるいは否定してもよい。より具体的には、もしステップ606が、ベルトに期待される2つのエッジを予測するものの、たった1つの線しかエッジの候補として特定されない場合、画像は再度処理され、ステップ606が繰り返される。再処理は、画像の強調処理あるいは非強調処理(de-enhancing)を含んでいてもよく、図7を参照してより詳細に説明される。代替的に、画像が使用できず再取得ステップ602を繰り返す必要があることをユーザに示すために信号が生成されてもよい。
2つよりも多いエッジ候補が認証され、付加的な候補のエッジがベルトのリブであると思われるような事態が発生した場合、画像の再処理の必要なく、最も外側のエッジ候補がエッジとして特定されるであろう。必要であれば、例えばコントラストを増大して、あるいは解像度を増大して画像は再処理されてもよく、そしてステップ606が再処理された画像に対して繰り返される。いくつかのステップ606の実施形態のさらなる詳細な説明が図7を参照して提供される。
一旦エッジが特定されると、ステップ608が画像フレームに対する少なくとも1つのエッジの角度を特定する。ステップ606で特定されたエッジは、画像のフレームの選択軸に対して傾いているかもしれない。ステップ608における画像フレームに対するベルトの角度の判定について様々な実施形態が考えられる。ステップ606に関して議論されたように、各エッジ線は、理想的な直線、あるいは不完全な直線ではあるが許容範囲内の曲率や完全性を備えるものである。ステップ602における平面からずれた画像取得により2つのエッジ線の各々が互いに平行でない場合がそのような場合かもしれない。1つの実施形態では、ベルトの角度は平均傾斜あるいは2つのエッジ線の角度の角度から決定される。別の方法としては、単一のエッジ線がベルトの角度を示すものとして決定される。もし2以上の線がベルトの角度を示すものとして確定的であれば、ベルトの角度は、平均値(mean)、モード、あるいは2以上の線の代表値(average)などの算術的関数により決定される。別の方法では、ベルトの角度は、ベルトリブ線など1以上の多数の内部線により決定され、オプションとして1つあるいは両方のエッジ線も含まれる。
ベルトなどテスト中の多くのアイテムに対して、撮影されたベルトの角度を示すものは、エッジ線、そして選択的にエッジに平行な多くのリブ線を特定することにより容易に決定される。ベルトの角度を示す他のものも考えられる。別の実施形態では、ステップ606は、向きを示すベルトの特徴を特定し、ステップ608はその向きを示すものを用いてフレームに対するベルトの角度を決定する。1つの実施形態では、チョークで付けた印、フィラメント、印刷あるいは他の境界などの非構造的な特徴がベルトに付加される。別の実施形態では、特徴はリブや歯などの構造的なものである。もし撮影された特徴がベルトのエッジに対して非平行であることが知られていれば、ステップ608は、画像フレームに対するベルトの角度を決定する際、その特徴の予め知られた角度を考慮する。この実施形態を説明するため、歯のピークと谷がベルトに対して90度である歯を備えるベルトが考察される。この実施形態では、ステップ606は多数の歯を特定し、ステップ608は歯を線で描いた角度から90度回転した角度としてベルトの角度を決定する。
画像の外縁部である取得画像のフレーム、あるいは画像の意味のある部分、人間あるいは、コンピュータ読み取り可能な形式で表わされる。一般的に周知の撮像システム、チャージド・カップルド・デバイス(CCD)、あるいは類似の撮像アレイが、画像取得に用いられる。これらの撮像アレイは、一般的に長方形のアレイ形式で配列される光検知画素のアレイを備える。各画素は、例えば赤、青、緑、黒、白、あるいはグレースケールなどの単一の色を検知可能である。ここでの目的のためには、我々は第1の単一色画素を、同じ画像の異なる色を取得する画素から異なる画素として考える必要はない。長方形として知れる長方形撮像アレイは、長い外形寸法と短い外形寸法、すなわち長短軸を備える。解析されるより理想的なベルトの画像は、フレームの最も長い軸の端から端までをベルトが走行する画像であり、両方のエッジが撮影され、画像のフレームの最も長い軸に平行となる、ベルト幅がフレーム内に収まる画像である。
一般的に、選択軸として、フレームの最も長い軸を利用することが好ましい。しかし、別の実施形態では、フレームの好ましい向きに対して、撮像アレイの長い外形寸法と一致し、あるいは一致しないフレームの角度が特定される。四角い撮像アレイを備える撮像装置1204を採用する実施形態において、ベルトのより理想的な画像は、例えばフレームの直交する軸の何れかに平行である。ベルトの画像に対して最も平行に近い1つの軸が選択されるであろう。しかし、解析モジュール1208は、特定の方向(例えば垂直)を要求あるいは好むかもしれず、そのような要求あるいは好みに応じて選択軸が選択される。同様に、円形あるいはイレギュラーなフレームを持つ撮像装置1204は、解析モジュール1208の要求または好み、あるいは軸に、そうでなければ予め決定にのみしたがって選択される選択軸をもつかもしれない。
図7を参照すると、エッジ検出ステップ608を備えるサブステップの1つの実施形態を説明するフローチャート700が提示される。画素の近隣がステップ702で調査される。ステップ704は、候補とされる画素に対してエッジであるかが判定される。1つの簡略化された実施形態では、候補画素は隣接する8画素の近隣、すなわち候補画素を中心とする3×3画素アレイにおいて考察される。1例では、ステップ704は、候補画素を含む上段2つの列の6画素の全てが、最下段の1つの列の3画素と共有しない、1つの共通する属性を備えると判断されると当該画素がエッジ候補画素であると考える。近隣画素で輪郭線を描くのが困難である場合、例えば全ての画素が候補画素に等しいあるいは略等しい、あるいは近隣画素がエッジの輪郭線を描くために簡単特定できる属性を備えていない場合、画素はステップ706において非エッジ画素と考えられる。
何等かのエラー検出処理が含まれてもよい。1つの実施形態では、エッジ画素の数が期待される範囲を超えているかもしれない。例示的に1つの実施形態を示すため、ベルトの取得画像が、ベルトのエッジに対応するエッジ画素の2つの集合を備えると想定する。撮像アレイによって撮影された、選択軸に平行に走り、フレームの境界で終端する理想的な線は、フレームの選択軸の全長を線の太さ分倍した数に等しい多数の画素を含む。実在の対象物の画像は、ベルトのような実質的に直線的なものであっても、そのようなピッタリな寸法の線を形成することはほとんどないが、ある程度のものは期待できる。1つの実行例では、エッジ候補画素の数が0で、エラー状態、あるいは画像を強調するステップが惹起されるかもしれない。
エッジ候補画素が1度特定されると、ステップ708は、多数のエッジ候補画素が多角形領域を形成するか否かを判定する。多角形領域が形成されないかなりの数のエッジ候補画素を有する画像は、別の幾何形状あるいはよりランダムなパターンを構成するかもしれない。これは低画質の画像であることを示すのかもしれない。別のケースでは、多角形領域を形成しない一定数のエッジ候補画素は、他の特徴(“ノイズ”)を単に示しているかもしれず、エッジ候補としての更なる考察から除外されてもよい。エッジ画素との関連で説明されたように、予想されるエッジ線の数が予想範囲を超える場合、処理はステップ712を実行し、あるいはエラー状態を生成する。
ステップ712は、形成された線の数がターゲットとする線の数よりも少ないか否かを判定する。1つの実施形態では、ベルトの複数のエッジが検出され、そのため、2つの線が、予想されるターゲットとする線の数である。別の実施形態では、多数のリブが予想され、そのため、2つの線とリブ線の数が予想されるターゲット線の数を決定する。
ステップ712は、エッジ線の数が、線の目標(ターゲット)数よりも小さいか否かを判定する。1つの実施形態では、ユーザはエラー状態を告知される。別の実施形態では、処理はステップ712に進み、より詳細が見えるように画像が強調される。画像強調ステップ714は、コントラストの低減、解像度の増大、あるいは他の画像強調テクニックを含んでいてもよい。そして処理は、強調画像を用いてステップ704において再開する。
ステップ716は、エッジ線の数が、線の目標(ターゲット)数よりも大きいか否かを判定する。いくつかの実施形態では、余分な線の更なる処理を問題とせず、そのような実施形態では、ステップ716は、省略され、処理は直接ステップ720へと進む。ターゲット線の検出が多すぎ、補正が必要な実施形態では、ステップ718が画像をぼかして(de-enhance)ディテールを低減し、好ましくは、線の数を少なくする。非強調(de-enhancement)ステップ718には、コントラストの増大、解像度の低減、あるいは他の非強調処理(de-enhancing)のテクニックが含まれてもよい。処理はその後、ステップ704で非強調画像に対して再開するであろう。
ある実施形態では、ステップ718と714は、画像変更ステップまたは強調ステップに統合される。増大あるいは低減された画像の属性値などのパラメータは、よりディテールを顕在化させるため、あるいはディテールを消すために選択され適用される。画像変更のためのテクニックには、例示的に、解像度、コントラスト、明るさ、ガンマ、鮮鋭度、あるいは1以上のカラー値の変更が含まれる。
ステップ720は、エッジの位置をマークする。マーキングの様々な実施形態がここでは考えられる。1つの実施形態では、例えば解析モジュール1208、ディスプレイあるいは他のモジュールにとって既知の色の線など、線の付加で画像はマークされ、エッジの位置に合わせられる。別の実施形態では、画像はエッジ線の位置とともに、解析モジュール1208でデコード可能なフォーマットでエンコードされる。このようなエンコーディングは、画像のメタデータ、あるいは1以上の画素に配置される。また、別の実施形態では、エッジの位置は画像と関連付けられ、エッジの位置は解析モジュール1208へ送信、あるいは提供される。
フローチャート700は、ベルト上の多数のリブを検出するように実施されても良く、ステップ704は、多数のリブのエッジを特定し、ステップ708はリブエッジが線を形成するかを判定する。リブのエッジの検出は、リブの頂部、リブ間の溝、三角形あるいは曲線的なリブやリブ溝の頂点、あるいは、リブの輪郭を描く他の視覚的手がかりを検出することにより実行される。フローチャート600、700に示された様々なステップは、ここで説明される発明の趣旨から逸脱することなく省略あるいは並べ替えられてもよい。フローチャート700に対する修正の1つの実施形態では、ステップ704がエッジ候補画素を特定し、エッジ候補画素をエッジとしてマークするため処理は直接ステップ720へと進む。
図8は、撮像装置1204で撮影された第1ベルト画像800の実施形態である。画像部分900は、図9で更に説明される。
図9は、第1ベルト800の2値画像部分900を示す。2値画像部分900は、コントラスト強調などの画像変更処理適用後の第1ベルト800を示す。画像部分900は、多数の画素902を示す。画素902は、白黒などの2値の属性と関連するどの値が、画素902の各々と関連するかを示すために描かれる。他の値(例えば、光度や色閾値)が利用されてもよく、例えば黒い画素904は、閾値よりも大きい赤の値を表し、白い画素906は閾値よりも小さい赤の値を表す。
実施形態の簡略化された例では、2値画像部分900は、画像のベルト部分である黒の画素904を有するとともに、白い画素906は画像の無関係な部分(例えば背景)である。画像は、所望の画像ではない人工物を含むかもしれない。ここで、複数の白い画素906は黒い画素の複数の人工物910を含み、黒い複数の画素904は白い画素の複数の人工物908を含む。ここで提示される実施形態は、人工物をエッジ検出処理から除外することが可能である。
図3を参照して説明したように、画素の周囲の判定は、人工物画素908、910をエッジ候補画素として除外することができる。画素912は、1つの属性(例えば白)からなり、3×3の画素近傍914は、全て共通の属性の画素を含み、そのためエッジ候補画素として除外できる。画素920は、格子状の画素近傍922において特異であり、やはりエッジ候補として除外できる。
連続する5つの周辺の黒い画素と、連続する3つの白い画素を有する画素916は、エッジ候補と考えることができる。画素918は、周囲の4つの白い画素と周囲の4つの黒い画素とともに示され、やはりエッジ候補として考えることができる。画素がエッジ画素候補である否かを判定する実施形態を説明するより複雑な例も考察される。画素属性の閾値を変更、または、画素近傍の大きさあるいは構成を修正して、1回以上繰り返してエッジ画素の判定に用いてもよい。エッジ画素が特定されると、それらの位置が、続く処理で利用できるようにされる。
図10は、エッジ境界線1002適用の実施形態を示す。1つの実施形態では、画像部分1000は、画像部分900の修正または修正したコピーである。エッジ画素1002は、既に特定され強調されている(図では斜線のハッチで示される)。強調は特定の色、光度、あるいは他の同定可能な画素属性の利用により実現される。エッジ画素1002は、人間、すなわちコンピュータ利用者による画像部分1000のベルトエッジの確認を容易にするために強調される。別の実施形態では、エッジ位置は解析モジュール1208の利用に適した形式と位置で記録される。エッジ画素1002の強調は、第1ベルト画像800の処理後の状態を表わす2値画像部分900や、第1ベルト画像1600などの生画像などの修正された画像に適用されてもよい。
図11は、第1ベルト画像800の強調画像1100の実施形態を示す。強調画像1100は、第1および第2エッジ1106、1108と、多数のリブに対応する多数の暗い領域1102B、1104B、および多数の明るい領域1102A、1104Aを顕わにする。明確にするため、1100、1104の範囲を超える付加的なリブは特定されていない。1つの実施形態では、暗い領域1100B、1104Bの白い領域1100A、1104Aとの境界は、リブ線であり、図11のフレーム内のベルト1100の角度の指標として判断される。別の実施形態では、エッジ1106、1108の少なくとも1つは、図11のフレームに対するベルト1100の角度の指標である。指標は図7により示されるような処理により特定される。
図12は、画像1100の一部などの第1ベルト画像1200の部分を示す。本開示の実施形態に関連してリブ線1206、1208、エッジ線1202、1204、そして選択軸1212が描かれる。エッジ線1202、1204とリブ線1206、1208は、画像システム1200により実施されるフローチャート1300、600、および/または700のステップの実行により特定される。
図6を参照してより詳細に説明されたように、画像には選択された軸を有するかもしれない。選択軸は、例えば長方形の画像アレイの最も長い軸、画像解析モジュール1208にとっての画像の好ましい方向と関連する軸、あるいは、何らかのアドバンテージが得られる別の好ましい軸に対応する。リブ線1206、1208は、エッジ線1202、1204に対して内側にある。明確にするため、図には付加的なリブ線は示されていない。
図示された実施形態では、選択軸1212は、エッジ線1202に対して角度θ(シータ)である。線の平面的でない撮影により、エッジ線1202、1204およびリブ線1206、1208は平行でないかもしれない。このような実施形態では、シータは、例えば選択軸1212と、エッジ線1204、リブ線1206、1208、付加的なリブ線(不図示)、あるいは代表値(average)、平均値(mean)、モード、最良適合(best-fit)、あるいは2以上の潜在的指標から第1ベルト1200の当該部分の向きの目安を生成するために演算可能な他の関数の1つ以上とで形成される角度である。
図13は、解析から排除あるいは含ませることができ、図13は本開示の実施形態に関連して処理後のベルト画像1300を示す。1つの実施形態では、エッジ線1202は判定線として選択され、画像1300は、選択軸1212とエッジ線1202で形成される角度シータが0となる位置に回転された。別の実施形態を参照して説明されたように、1つ置きの線、あるいは1つよりも多い線についての数学的演算が、選択軸1212に対するベルトの方向を特定するために利用されてもよく、そして処理後は、選択軸1212と平行になる。
追加的な実施形態では、処理後のベルト画像1300を作成することは、処理後のベルト画像1300の特徴を計測するのを容易にする。追加的な要素(ファクタ)が、画像上の距離(例えば、2個以上の画素の間のピクセルで計測される距離)を試験1202中の対象物に関連付けた距離(例えば、ベルトの幅、摩耗や損傷による欠損部分など)に変換するのに知られている必要があるかもしれない。追加的な要素(ファクタ)には、既知のベルトの幅、あるいは他の寸法またはベルトの特徴、試験1202中の対象物からの距離が既知の撮像装置1204での第1ベルト画像800の取得物、撮像装置1204の既知の撮像特性(例えば、正確な既知の焦点面)、あるいは既知の寸法の下ではなく、試験1202中の対象物と同様に、実質的に撮像装置1204からの距離と同じ位置での対象物の撮影が含まれてもよい。ベルトの外寸法を知ることの利益により、ベルト解析モジュール1208は、そのような情報をベルトの状態や他の解析操作を特定するために用いる。
図14は、本開示の実施形態におけるベルト画像1400と切り取り(crop)バッファ1412を示す。1つの実施形態では、ベルト1402は、ベルト画像1400内においてゼロでない、直角でない角度で横たわる。バッファ1404は、ベルト1402のエッジにより画像1400のフレームのエッジに至るまで境界を区切り、ベルト1402の画像を取得する。運転条件と環境因子は、バッファ1404がベルト1402の真正かつ完璧なエッジの撮影を行うことを妨げ得る。そのため処理中の回転されたバッファ1404は、無視された画像情報によるより高いエラー率に曝されるかもしれない。
別の実施形態では、切り取りバッファ1412は、ベルト1402の幅の拡張バッファを有するベルトにより境界が区切られる。バッファ1404を超える切り取りバッファ1412の容量は、ベルトのエッジが正確に撮影されるかの確実度の程度により変動し得る。例えば、環境因子(例えば、照明、ベルト瘢痕化など)、画像特性(例えば、コントラスト、ベルト回転角度など)、および/またはユーザの選択が、バッファ1404を超える切り取りバッファ1412の拡張分を決定するかもしれない。1つの実施形態では、切り取りバッファ1412は、バッファ1404よりも約10%大きい。
1つの実施形態では、ベルト画像1400内に切り取りバッファ1412が維持されるように、切り取りバッファ1412が、ベルト1402の長さに沿ってより短くてもよい。
図15は、本開示における実施形態に関わる処理フロー1500を示す。1つの実施形態では、処理フロー1500は、多数の操作ステップ1502、1504、1508、1510、1512、1514を有する。別の実施形態では、ユーザが解析のためにベルト画像を撮影し、かつ解析の結果を見られるように、より多くの、あるいはより少ない数の、または、順番が替えられたステップが実装されていてもよい。
1つの実施形態では、ユーザは起動画面ステップ1502から開始し、操作選択ステップ1504へと進む。操作選択ステップ1504は、保存結果ステップ1506、ヘルプステップ1508、リブ選択ステップ1510に進むことができる。リブ選択ステップ1510は、その後撮像ステップ1512、そしてユーザにベルト画像の解析結果を提示する結果ステップ1514へと進むことができる。ユーザは前の処理ステップへと戻ることができてもよい。
1つの実施形態では、処理フロー1500はアプリケーションであり、起動画面ステップ1502で開始し、アプリケーションに関する初期情報を表示する。操作選択ステップ1504は選択のためのオプションを表示する。1つのオプションは、以前の画像の撮影(ステップ1512参照)、および/または結果(ステップ1514参照)を表示するために検索(retrieve)できる保存結果ステップ1506である。ヘルプステップ1508は、インストラクション、チュートリアル、実例、あるいはユーザが処理フロー1500を用いるアプリケーションを操作するための他の支援を提供する。
リブ選択ステップ1510は、解析されるベルトのリブ数がユーザにより入力されるインタラクティブなプレゼンテーションを表示する。ユーザはその後、撮像ステップ1512へと進み、以前の画像が選択され、あるいは内蔵カメラまたは処理フロー1500を実行している装置がアクセスできるカメラを用いて撮影され、あるいは対象ベルトの画像を撮影するために操作可能なカメラを用いて撮影される。
撮像ステップ1512で撮影されたベルト画像を用いて、ここで説明された実施形態の少なくとも幾つかにしたがってベルトは解析されてもよく、結果ステップ1514において提示される。更なる実施形態では、画像が一旦選択または取得されると、撮像ステップ1512は、結果ステップ1514を提示する前に解析の進捗を表示してもよい。
図16A〜16Cは、本開示の実施形態によりユーザに提供される処理フロー1600を示す。1つの実施形態では、処理フロー1600は、処理フロー1500を実行する単一の装置の視覚的な提示であり、処理フロー1500のステップにしたがって表示を行っている。この装置は、携帯電話アプリケーション、パーソナル・データ・アシスタント(PDA)、タブレットコンピュータ、ラップトップコンピュータ、カメラが取り付けられたデスクトップコンピュータ、あるいは処理フロー1500の各ステップを実行するために操作可能な他の装置である。
1つの実施形態では、ディスプレイ1602は、ステップ1502にしたがってユーザに提示され、ディスプレイ1604はステップ1504にしたがってユーザに提示され、ディスプレイ1606はステップ1506にしたがってユーザに提示され、ディスプレイ1608はステップ1508にしたがってユーザに提示され、ディスプレイ1610はステップ1510にしたがってユーザに提示され、ディスプレイ1612はステップ1512にしたがってユーザに提示される。別の実施形態では、ディスプレイ1614の1つが、ステップ1514にしたがってユーザに提示される。ディスプレイ1612は、撮影された画像、ライブ画像を含んでいてもよく、ライブ画像を撮影するためのユーザ入力を受信し(例えば、画像1616に触れることで)、あるいは画像を再表示するオプションを含んでいてもよい。ディスプレイ1612は、画像解析の進捗表示するためのプログレスバー1618、文字、および/または他のインジケータも備えていてもよい。
1つの実施形態では、解析はベルトが3つの状態(例えば、良好(good)、使用可能(fair)、不良(bad);1,2,3など)の1つであることを特定し、ディスプレイ1614A、1614B、1614Cの1つをユーザに表示するために適宜選択する。更なる第1の実施形態では、ディスプレイ1614Aは、解析が、対象ベルトが良好な状態にあることを示していると、ステップ1514にしたがってユーザに提示され、更にベルトの使用を継続してもよいことを示してもよい。更なる第2の実施形態では、ディスプレイ1614Bは、解析が、対象ベルトが使用可能(fair)な状態にあることを示していると、ステップ1514にしたがってユーザに提示され、更にベルトが使用寿命の最後に近づいていることを示してもよい。更なる第3の実施形態では、ディスプレイ1614Cは、解析が、対象ベルトが不良な状態にあることを示していると、ステップ1514にしたがってユーザに提示され、更にベルトの交換が必要であることを示してもよい。
各実施形態の十分な理解を得るために、説明では特定の具体例が与えられた。しかし、当業者であれば実施形態は、これらの特定の具体例がなくとも実施できることが理解される。例えば、不必要な具体例によって実施形態を不明確にしないために回路はブロック図で示されてもよい。別の例では、実施形態を不明確にしないために、不必要な具体例を除いた公知の回路、プロセス、アルゴリズム、構成、そして技術が示されてもよい。
また、実施形態は、フローチャート、フローダイアグラム、データ・フロー・ダイアグラム、構造図、あるいはブロック図として示される処理として説明された。フローチャートは、操作を経時的なプロセスとして示したが、多くの操作が並列に、あるいは同時に実行できる。更に、操作の順番は変更することができる。プロセスは、その操作が完了したときに終了することができるが、図には含まれない付加的なステップを備えることもできる。プロセスは、方法、ファンクション、プロシージャ、サブルーチン、サブプログラムなどに対応するであろう。ファンクションに対応するプロセスの場合、その終了は呼び出しファンクションあるいはメインファンクションへのファンクションの復帰に対応する。
更に、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、あるいはこれらのあらゆる組み合わせで実装されてもよい。ソフトウェア、ファームウェア、ミドルウェアあるいはマイクロコードで実装された場合、必要なタスクを行うためのプログラムコードあるいはコードセグメントは、記録媒体など機械読み取り可能な媒体に保存されるであろう。プロセッサは必要なタスクを実行するだろう。コードセグメントは、プロシージャ、ファンクション、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいはインストラクション、データ構造、あるいはプログラムステートメントのあらゆる組み合わせを表しているかもしれない。コードセグメントは、情報、データ、引数、パラメータ、メモリの内容を受け渡し、および/または受け取ることにより別のコードセグメントあるいはハードウェア回路と連結されるであろう。情報、引数、パラメータ、データなどは、メモリ共有、メッセージ受け渡し、トークンパッシング、ネットワーク伝送などあらゆる適当な手段を利用して受け渡し、転送、送信されるであろう。
ここでは、開示の説明的な実施形態が詳細に説明されたが、発明のコンセプトは、別の方法で様々に実施、採用され、添付の請求項は、先行技術による制限を除き、そのようなバリエーションを含むと解釈されることを意図している。

Claims (22)

  1. 試験中のデバイスの、選択軸を有するフレームと多数の画素を備える画像を取得し、
    試験中の前記デバイスの前記選択軸に対する角度の指標を検出し、
    前記選択軸と前記指標の間の角度を特定し、
    前記指標はベルトのリブであって、
    前記角度の値の負の値分、前記画像を回転し回転画像を保存し、あるいは前記画像を回転せずに特定されたベルトの画像解析を実行する
    ことを特徴とする解析される試験中のデバイスの画像の処理方法。
  2. 前記指標を検出し、更に、
    どの画素がエッジ画素であるかを特定し、
    エッジ画素の複数の集合のうち、どれが指標候補領域を構成するかを特定し、
    複数の指標候補領域の少なくとも1つから前記指標を特定する
    ことを特徴とする請求項1に記載の方法。
  3. 複数の指標候補線の少なくとも1つから前記指標を特定し、更に少なくとも2つの指標候補線を選択し、更に、複数の指標候補領域の代表値、平均値、モードの少なくとも1つから前記指標を特定することを特徴とする請求項2に記載の方法。
  4. 複数の指標候補領域の少なくとも1つから前記指標を特定し、更に試験中のデバイスの少なくとも1つのエッジであることを示す複数の指標候補領域から前記指標を特定することを特徴とする請求項2に記載の方法。
  5. 更に、少なくとも
    エッジ画素と特定された数が許容範囲を超えているか、
    指標候補線と特定された数が許容範囲を超えているか、
    の1つと特定するとき
    前記画像を変更し、
    変更された画像の画素のうち、どれがエッジ画素であるかを特定する
    ことを特徴とする請求項2に記載の方法。
  6. 前記画像の変更が、解像度、コントラスト、明るさ、少なくとも1つのカラー値、ガンマ、鮮鋭度の少なくとも1つを変更することにより行われることを特徴とする請求項5に記載の方法。
  7. どの画素が、エッジ画素であるか特定し、更に前記画素を特定するために画素に対して画素近傍解析を実施することを特徴とする請求項2に記載の方法。
  8. 更に前記画像を装置に表示することを特徴とする請求項1に記載の方法。
  9. 更に適用された第1解像度の影響を無効にするため第2解像度を適用することを特徴とする請求項1に記載の方法。
  10. 試験中のデバイスの撮影画像から、前記試験中のデバイスの選択軸に対する角度の指標を検出し、前記選択軸と前記指標との間の角度を特定することができるイメージプロセッサと、
    前記角度に応じて処理された処理画像を保存できる記録媒体と、
    前記処理画像を評価することができる解析モジュールと、
    を備え
    前記指標がベルトのリブであることを特徴とする画像に基づく評価システム。
  11. 更に前記画像を撮影可能な撮像装置を備えることを特徴とする請求項10に記載のシステム。
  12. 更に前記システムに対する入力コマンドを人間であるユーザから受信でき、提供できるユーザインタフェースを備えることを特徴とする請求項10に記載のシステム。
  13. 試験中の対象物の撮影画像のフレームに対する角度を特定できる画像回転検出手段と、
    試験中の前記対象物において特定された前記角度の負の値分、前記撮影画像を回転できる画像回転手段と
    を前記イメージプロセッサが更に備えることを特徴とする請求項10に記載のシステム。
  14. 更に前記撮影画像を強調することができる画像強調手段を備えることを特徴とする請求項10に記載のシステム。
  15. 前記画像回転検出手段が更に指標位置検出手段を備えることを特徴とする請求項14に記載のシステム。
  16. 更に前記撮影画像からの試験中の前記対象物を解析することができる画像解析モジュールを備えることを特徴とする請求項10に記載のシステム。
  17. 実行時、計算装置が
    試験中のデバイスの画像を取得し、
    試験中の前記デバイスの選択軸に対する角度の指標を検出し、
    前記選択軸と前記指標の間の角度を特定し、
    前記角度の負の値分、前記画像を回転し、
    回転された画像を保存する
    プロセスを実行するプログラムを記録し、
    前記指標がベルトのリブであることを特徴とする、
    非一時的なコンピュータ読み取り可能媒体。
  18. 指標の検出において、更に
    エッジ画素であることを示す近傍画素を特定し、
    エッジ画素の複数の集合から複数の候補線を特定し、
    前記複数の候補線の少なくとも1つから前記指標を特定する
    ことを特徴とする請求項17に記載の非一時的なコンピュータ読み取り可能媒体。
  19. 指標の検出において、更に試験中の前記デバイスの第1、第2エッジを特定することを特徴とする請求項17に記載の非一時的なコンピュータ読み取り可能媒体。
  20. 指標の検出において、更に前記第1、第2エッジの間にない画像部分を取り除くために回転画像を切り取ることを特徴とする請求項19に記載の非一時的なコンピュータ読み取り可能媒体。
  21. 更に前記第1、第2エッジを超えた切り取りバッファを含むように回転画像を切り取ることを特徴とする請求項19に記載の非一時的なコンピュータ読み取り可能媒体。
  22. 前記切り取りバッファが10%切り取られた回転画像よりも大きいことを特徴とする請求項21に記載の非一時的なコンピュータ読み取り可能媒体。
JP2016500405A 2013-03-11 2014-02-26 画像に基づく多軸掛けベルトの摩耗評価の改善された解析 Expired - Fee Related JP6097879B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361776600P 2013-03-11 2013-03-11
US61/776,600 2013-03-11
US14/055,156 2013-10-16
US14/055,156 US9098914B2 (en) 2013-03-11 2013-10-16 Enhanced analysis for image-based serpentine belt wear evaluation
PCT/US2014/018560 WO2014163884A1 (en) 2013-03-11 2014-02-26 Enhanced analysis for image-based serpentine belt wear evaluation

Publications (2)

Publication Number Publication Date
JP2016517071A JP2016517071A (ja) 2016-06-09
JP6097879B2 true JP6097879B2 (ja) 2017-03-15

Family

ID=51487878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016500405A Expired - Fee Related JP6097879B2 (ja) 2013-03-11 2014-02-26 画像に基づく多軸掛けベルトの摩耗評価の改善された解析

Country Status (11)

Country Link
US (1) US9098914B2 (ja)
EP (1) EP2973223B1 (ja)
JP (1) JP6097879B2 (ja)
KR (1) KR101726532B1 (ja)
CN (1) CN105229665B (ja)
AU (1) AU2014249942B2 (ja)
BR (1) BR112015021542A2 (ja)
CA (1) CA2901779C (ja)
MX (1) MX359647B (ja)
RU (1) RU2636681C2 (ja)
WO (1) WO2014163884A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6092485B2 (ja) * 2014-07-24 2017-03-08 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US9915338B2 (en) 2015-09-14 2018-03-13 Deere & Company Belt wear indication
DE102016206849A1 (de) * 2016-04-22 2017-10-26 Robert Bosch Gmbh Verfahren zur Bestimmung des Riemenverschleißes in einem Riementrieb
CA3037570A1 (en) * 2016-09-27 2018-04-05 Walmart Apollo, Llc Systems and methods for tracking wear or usage of commercial products
CA3086143C (en) * 2019-07-10 2022-09-27 Mark Polak Monitoring wear of double roll crusher teeth by digital video processing

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5042079A (en) 1988-08-12 1991-08-20 Casio Computer Co., Ltd. Method of recording/reproducing data of mesh pattern, and apparatus therefor
IL99823A0 (en) 1990-11-16 1992-08-18 Orbot Instr Ltd Optical inspection method and apparatus
US5600574A (en) 1994-05-13 1997-02-04 Minnesota Mining And Manufacturing Company Automated image quality control
US5796868A (en) 1995-12-28 1998-08-18 Cognex Corporation Object edge point filtering system for machine vision
US6298157B1 (en) * 1998-02-27 2001-10-02 Adobe Systems Incorporated Locating and aligning embedded images
US6301373B1 (en) 1998-10-01 2001-10-09 Mcgill University Paper quality determination and control using scale of formation data
US6944324B2 (en) * 2000-01-24 2005-09-13 Robotic Vision Systems, Inc. Machine vision-based singulation verification system and method
JP2001268509A (ja) 2000-03-17 2001-09-28 Omron Corp 画像記録装置及び画像記録システム
JP4693225B2 (ja) 2000-11-06 2011-06-01 株式会社東芝 製造ラインの自動品質制御方法及びその装置並びに記憶媒体、自動品質制御プログラム
US7863552B2 (en) 2001-07-06 2011-01-04 Palantyr Research Llc Digital images and related methodologies
JP4454189B2 (ja) 2001-07-18 2010-04-21 株式会社コルグ 一端子エフェクタ
TW518645B (en) 2001-09-24 2003-01-21 Powerchip Semiconductor Corp Method and system of automatic wafer manufacture quality control
JP3882891B2 (ja) * 2001-11-05 2007-02-21 日本電気株式会社 電子部品検査装置、その方法およびプログラム
US6988610B2 (en) 2002-01-14 2006-01-24 Carnegie Mellon University Conveyor belt inspection system and method
JP3870140B2 (ja) * 2002-08-02 2007-01-17 新日本製鐵株式会社 駆動伝達ベルトの検査方法
US7068817B2 (en) 2002-11-07 2006-06-27 Mcmaster University Method for on-line machine vision measurement, monitoring and control of product features during on-line manufacturing processes
US7660440B2 (en) 2002-11-07 2010-02-09 Frito-Lay North America, Inc. Method for on-line machine vision measurement, monitoring and control of organoleptic properties of products for on-line manufacturing processes
JP3993107B2 (ja) * 2003-01-08 2007-10-17 松下電器産業株式会社 部品認識データ作成方法及び作成装置、並びに部品認識データ作成プログラム
US7146034B2 (en) 2003-12-09 2006-12-05 Superpower, Inc. Tape manufacturing system
IL162878A0 (en) * 2004-07-06 2005-11-20 Hi Tech Solutions Ltd Multi-level neural network based characters identification method and system
JP4437714B2 (ja) 2004-07-15 2010-03-24 三菱電機株式会社 車線認識画像処理装置
DE102004061367A1 (de) * 2004-12-21 2006-07-06 Phoenix Ag Einrichtung zur zerstörungsfreien Inspektion eines Fördergurtes
DE102005055655A1 (de) * 2005-11-22 2007-05-31 Siemens Ag Vorrichtung zum Ermitteln des Zustandes eines Förderbandes
US20070260406A1 (en) 2006-05-03 2007-11-08 Data I/O Corporation Automated location system
JP4910769B2 (ja) 2007-02-28 2012-04-04 Jfeスチール株式会社 管体の品質管理方法及び製造方法
US8355581B2 (en) * 2007-03-06 2013-01-15 Advanced Vision Technology (Avt) Ltd. System and method for detecting the contour of an object on a moving conveyor belt
FR2922671B1 (fr) 2007-10-17 2010-03-12 Valeo Vision Procede de determination automatique de coefficient d'une pente sur le point d'etre abordee par un vehicule automobile et dispositif associe
JP5258306B2 (ja) 2008-01-16 2013-08-07 株式会社ブリヂストン ベルトモニタリングシステム
JP2010025705A (ja) * 2008-07-17 2010-02-04 Ricoh Co Ltd 表面欠陥検査装置
US8422788B2 (en) * 2008-08-26 2013-04-16 Microsoft Corporation Automatic image straightening
US8226185B2 (en) 2008-09-11 2012-07-24 Xerox Corporation Drive belt slip and belt wear detection
JP5200970B2 (ja) 2009-02-04 2013-06-05 富士ゼロックス株式会社 品質管理システムおよび品質管理装置および品質管理プログラム
US20100307221A1 (en) 2009-06-05 2010-12-09 Benjamin Morgan Smith Belt measurement device
US7946047B2 (en) 2009-09-25 2011-05-24 The Gates Corporation Belt rib wear gauge
US20110081087A1 (en) 2009-10-02 2011-04-07 Moore Darnell J Fast Hysteresis Thresholding in Canny Edge Detection
JP5616100B2 (ja) * 2010-04-02 2014-10-29 株式会社ブリヂストン 長尺物品の製造方法
US20120084220A1 (en) 2010-10-01 2012-04-05 Intertek Consumer Goods Na Product certification system and method
US8755589B2 (en) 2011-09-06 2014-06-17 The Gates Corporation Measurement of belt wear through edge detection of a raster image

Also Published As

Publication number Publication date
KR20150126939A (ko) 2015-11-13
AU2014249942B2 (en) 2016-06-23
WO2014163884A1 (en) 2014-10-09
US9098914B2 (en) 2015-08-04
EP2973223A4 (en) 2016-10-26
JP2016517071A (ja) 2016-06-09
US20140254862A1 (en) 2014-09-11
MX359647B (es) 2018-10-04
AU2014249942A1 (en) 2015-09-10
RU2015143239A (ru) 2017-04-17
CA2901779A1 (en) 2014-10-09
CA2901779C (en) 2018-03-27
MX2015012035A (es) 2016-08-03
CN105229665B (zh) 2019-12-06
CN105229665A (zh) 2016-01-06
EP2973223A1 (en) 2016-01-20
KR101726532B1 (ko) 2017-04-12
EP2973223B1 (en) 2020-04-08
BR112015021542A2 (pt) 2017-07-18
RU2636681C2 (ru) 2017-11-27

Similar Documents

Publication Publication Date Title
WO2023077404A1 (zh) 缺陷检测方法、装置和系统
JP6097879B2 (ja) 画像に基づく多軸掛けベルトの摩耗評価の改善された解析
JP4351911B2 (ja) デジタルスチルカメラにおける取り込み画像の写真品質を評価する方法及び装置
CA2847825C (en) Measurement of belt wear through edge detection of a raster image
RU2653461C2 (ru) Обнаружение блика в кадре данных изображения
JP5043755B2 (ja) 樹脂材料検査装置およびプログラム
US11156564B2 (en) Dirt detection on screen
WO2015070723A1 (zh) 眼部图像处理方法和装置
US11317067B2 (en) Method and system for inspecting display image
CN104732510B (zh) 一种相机镜头黑斑检测方法及装置
CN112102926A (zh) 一种图像处理方法、装置、设备和存储介质
JP2014020926A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP4279833B2 (ja) 外観検査方法及び外観検査装置
JPWO2014013792A1 (ja) ノイズ評価方法、画像処理装置、撮像装置およびプログラム
JP2004212311A (ja) ムラ欠陥の検出方法及び装置
CN112541899B (zh) 证件的残缺检测方法、装置、电子设备及计算机存储介质
CN104935837B (zh) 用于光学图像定点设备及光学视频设备的图像处理方法
CN108734746B (zh) 基于机器视觉的手足口病检测装置
JP2004226272A (ja) シミ欠陥の検出方法及び装置
JP2020064019A (ja) 測定データ収集装置及びプログラム
WO2015102948A1 (en) Urine formed element classification method and apparatus
JP5254637B2 (ja) タイヤの外観検査装置、及びタイヤの外観検査方法
KR100351129B1 (ko) 주변 마스크를 이용한 인쇄불량 검사시스템
TWI592544B (zh) 標線劣化判斷方法
CN117078593A (zh) 一种检测显示屏像素精度的方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170220

R150 Certificate of patent or registration of utility model

Ref document number: 6097879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees