JP7108247B2 - 自動検査方法 - Google Patents

自動検査方法 Download PDF

Info

Publication number
JP7108247B2
JP7108247B2 JP2017546056A JP2017546056A JP7108247B2 JP 7108247 B2 JP7108247 B2 JP 7108247B2 JP 2017546056 A JP2017546056 A JP 2017546056A JP 2017546056 A JP2017546056 A JP 2017546056A JP 7108247 B2 JP7108247 B2 JP 7108247B2
Authority
JP
Japan
Prior art keywords
inspection
model
images
plan
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017546056A
Other languages
English (en)
Other versions
JP2018506127A (ja
JP2018506127A5 (ja
JPWO2016083897A5 (ja
Inventor
エイブラハム,ニール
ルブナー,ジョセフ
Original Assignee
キトフ システムズ エルティーディー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キトフ システムズ エルティーディー. filed Critical キトフ システムズ エルティーディー.
Publication of JP2018506127A publication Critical patent/JP2018506127A/ja
Publication of JP2018506127A5 publication Critical patent/JP2018506127A5/ja
Priority to JP2022016562A priority Critical patent/JP2022078043A/ja
Publication of JPWO2016083897A5 publication Critical patent/JPWO2016083897A5/ja
Application granted granted Critical
Publication of JP7108247B2 publication Critical patent/JP7108247B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35012Cad cam
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45066Inspection robot
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80Management or planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)
  • General Factory Administration (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Architecture (AREA)
  • Software Systems (AREA)

Description

関連出願の相互参照
本出願は、2014年11月24日に出願された米国特許出願第62/083,807号に関連すると共にその利益を享受し、参照によって上記米国出願の全体が本明細書で組込まれる。
本願が開示する態様および実施例はデータ処理に関連し、より詳しくは、自動検査に関する。
製品製造などを含む多くの産業において、製品に欠陥がないことを保証するためにそのような製品を検査することは、有益である。そのような検査は、頻繁に手動で(例えば検査員によって)行なわれるが、このため、様々な不正確性や非能率をもたらし得る。
そのような態様の基本的理解を提供するため、本開示の様々な態様を単純化して要約したものを以下に示す。この概要は、すべての意図された態様の広範囲な概観ではなく、鍵となるものまたは重要な要素を識別したり、そのような態様の範囲を確定したりすることを意図するものではない。その目的は、後に示すより詳細な記述の前置きとして、単純な形態で本開示ののいくつかの概念を示すことである。
本発明の1つの態様において、基準部品の1以上の画像がキャプチャされ、基準部品の検査モデルを生成するために、基準部品の1以上の画像が処理され得る(例えば処理デバイスによる)。検査モデルの1以上の領域は、1以上の分析パラメータと関連づけられ得る。検査計画は、検査モデルおよび1以上の分析パラメータに基づいて生成することができる。検査計画に基づいて、検査される部品の1以上の画像がキャプチャされ、その部品に関する1以上の判定値を算出するために、この部品の1以上の画像が分析パラメータと関連して処理される。1以上の出力が、1以上の判定値に基づいて、提供され得る。
本発明の他の態様において、基準部品の1以上の画像がキャプチャされ、基準部品の1以上の画像が、基準部品の1以上の態様を識別するために処理され得る。基準部品の1以上の態様に基づき、1以上の検査パラメータを識別することができる。検査計画は、1以上の検査パラメータに基づいて生成することができる。検査計画に基づいて、検査される一部品の1以上の画像をキャプチャすることができ、その部品に関する1以上の判定値を算出するために、その部品の1以上の画像を、1以上の検査パラメータと関連して処理することができる。1以上の出力を、1以上の判定値に基づいて提供することができる。
本開示の態様および実施例は、下記の詳細説明、様々な態様の添付図面、および本開示の実施例から、より十分に理解される。しかしながら、それらは、本開示を特定の態様または実施例に限定するものに解されるべきではなく、説明および理解のみを目的とするものである。
本発明の一実勢形態に係る自動検査方法の一態様を示すフローチャートである。 本発明の一実勢形態に係る自動検査方法の一態様を示すフローチャートである。 本発明の一実勢形態に係る自動検査方法の一態様を示すフローチャートである。 本発明の一実勢形態に係る自動検査方法の一態様を示すフローチャートである。 本発明の一実勢形態に係る自動検査方法の一態様を示すフローチャートである。 本発明の一実勢形態に係る典型的な検査システムの1以上の態様を示すものである。 図Aおよび図Bは、本発明の一実勢形態に係る典型的な検査システムの1以上の態様を示すものである。 本発明の一実勢形態に係る典型的なプロセスの1以上の態様を示す。 図Aおよび図Bは、本発明の様々な実施形態に係る典型的な検査プロセスの1以上の態様を示すものである。 図Aー図Cは、本発明の様々な実施形態に係る典型的な検査システムの1以上の態様を示すものである。 本発明の態様および実施形態に係るコンピュータシステム操作を例示するブロック図である。 本発明の態様および実施形態に係るデバイスの典型的な実施系値を示すものである。
本発明の態様および実施例は自動検査および測定を目的とする。開示されたシステムと方法は、生産または組み立てられた製品およびオブジェクト、ならびに製造プロセスなどに関して使用することができる。より詳しくは、自動検査(例えば自動外観検査)が高度に挑戦しがいのあるタスクであることが認識されるであろう。多数の工程、処置および動作が、検査を実行する検査システムを構成するために、特定の検査タスクを適切に規定するために、多くの場合含まれる。多くの場合、このプロセスの様々な態様は試行錯誤によって達成され、時間とコストに関する相当な非能率を結果としてもたらす。結果として、多くのシナリオにおいて、参考とされる検査は手動で(例えば検査人員によって)実行される。これは、製作/生産ラインが比較的短時間または小量用に設定される場合に特に真実であり、したがって、そのような製品用の検査システムを設計および構成することは、コスト効率の良いことではありそうもない。手動検査に関連した時間/コストの非能率に加えて、そのような手動検査の結果は、多くの場合不正確であり、実際の対象物測定(計測学)に対応しないかもしれない(例えば、検査人員が、引っ掻き傷が規定された閾値より深いかかより長いかどうか決定的に判定することは、困難または時間の浪費かもしれない)。さらに、手動検査は、疲労、環境条件などにより、人により異なり、同一人物にさえ多くの場合一貫しない。
さらに、あるテクノロジーは外観検査のある態様を自動化することを試みるが、多数の非能率は残る。例えば、既存のテクノロジーは多くの場合複雑で、そのようなシステムを適切に構成するために高度に訓練され/熟練しているユーザを必要とする。それ故、低コスト及び/又は予算が少ない検査のために、そのようなシステム(それらの複雑さにより、熟練した/訓練された人員によってのみ有効に構成することができる)を利用するのにはコスト効率が良くないかもしれない。付加的に、外観検査のある態様を自動化することを試みる既存のテクノロジーは、多くの場合、特定部品の検査用の専用/特注のハードウェア/システムを必要とする。従って、そのようなテクノロジー(ある部品の検査のために設計/カスタマイズされたもの)は、別部品の検査のために再構成することができない(または経済帝に実行できない)。この理由により、同様に、そのようなテクノロジーは、比較的少量において製造されあるいは生産される得る部品の検査には不適当である(そのような量では、特注検査ハードウェア/構成への投資を正当化できないという理由による)。さらに、様々な既存の検査テクノロジーは、複像(例えば異なる画像キャプチャ設定、照明などを使用する平行画像)をキャプチャするために設計/構成され、それにより、検査のために、少数のそのような画像だけを利用している。そのようなアプローチは、例えば、特定の検査で根本的に考慮も検討もされない多くの画像の補足および処理(例えば最適とは言えない設定の使用)に関し、相当な非能率にもたらす。
したがって、様々な実施例において本明細書で記載されるのは、システム、方法、技術、および自動検査(例えばパッド/製品の検査)を目的とする関連テクノロジーである。基準となるテクノロジー中には、部品、オブジェクト、製品など、複雑な三次元構造を有するものの検査(例えば表面検査)のために構成された検品ステーションまたはシステムがある。本明細書に記載及び/又は図示されるように、ある実施例において、基準化された検品ステーション/システムは、限定的ではなく、以下を含む、様々なハードウェア要素を組込むことができる:照明デバイス、センサ、有関節アーム、及び/又は、他のそのような機械的またはロボット工学的な要素。そのようなテクノロジーを組込むことによって、単一の普遍的な検査システムは実際に任意の情況/セッティング(例えば、実際に任意/全部の部品タイプの検査のため)において使用することができる。付加的に、ある実施例において、記載されるテクノロジーは、比較的直観的および直接的な態様で構成することができ、それによってユーザが、効率的で有効な方法で特定部品を検査するテクノロジーを構成するためには、実質的または専門的な訓練を必要としないようになる。本明細書で詳細に記載するように、これは以前に記録/提供された検査パラメータ(例えば、同じ又は類似の形状、同じ又は類似の材料などのような、他の部品で見つかった比較されまたは関連づけられる特徴に関して算出及び/又は提供される検査パラメータ)へのてこ入れにより達成することができ、これが、ある部品の一定の範囲、領域、外観、要素などに適用することができる、好ましいまたは最適な検査パラメータまたは設定を指示することができる(そのようなパラメータ/セッティングの実施例は、その領域、領域などがスキャンされるべき、及び/又は、対応するセンサをどのように入力するかを処理/分析されるべきである、角度、拡大レベル、照度基準などを含むが、これらに限定されない)。そうする際に、「試行錯誤」アプローチ(それは、検査において最適ではなく根本的にも検討されない画像の相当数のキャプチャおよび処理を伴い得る)の代わりに、記載されるテクノロジーは、一部品のキャプチャおよび処理を、最適な検査セッティング/パラメータを使用して検査することを(検査の最初の例においてさえも)可能にする。さらに、記載されるテクノロジーはさらに、比較的短時間で実際に任意の部品に関して構成可能、較正可能などである、非常に効率的な検査プロセスの実施を可能にする場合がある。そうする際、単一の検査システム/ステーションは、多数の部品/製品を検査するために利用することができる。付加的に、そのようなシステムは、検査間にほとんど又は全く「休止時間」を設けずに1つの製品の検査から他の製品の検査へ移行することができる。そうする際、記載されるテクノロジー(記載される検査システムを含む)は、有効且つ効率的に、(例えば、部品、製品などに関して)シナリオとセッティングにおいて実施することができ、さもなければ、これに関する自動検査は、非能率的になり、あるいはコスト的に禁止されることになる。
従って記載されるテクノロジーは、製造、製品検査およびオートメーションを含むがこれらに限定されない多数の技術的分野における特定の技術的な課題および長年の欠乏を、目的および取り組み対象とすることを認識することができる。さらに、記載されるテクノロジーは、言及された技術的課題および言及された技術分野の満たされていないニーズに対する特定の技術的解決を提供することを認識することができる。同様に、言及される検査システムは、その他の検査、モジュール(例えばラベル、コネクタ、ネジなどに関係するもの)が、 本明細書に記載されるように、容易に組み合わせる/組込むことができるように構成することができることが理解されるに違いない。
1つの実施例において、光学ヘッドのような点検デバイスは、検査下の対象物/部品に対して空間内で、巧みに操ることができる、カメラ、照明デバイス(例えば、白熱球、赤外線、レーザーなど)及び/又は1以上の他のセンサー(例えば3Dセンサー)の組合せを含むかそうでなければ組込むことができる(ある実施例において、検査された部品を、光学ヘッドに加えてまたはその代わりに、移動させることができることが理解されるに違いない)。本明細書に記載するように、光学ヘッドは、検査される対象物/部品に関する要求され/必要とされる知覚データを提供するために、特定の態様で構成することができる(例えば、異なる画像を得るための光学ヘッドにおいて選出/選択/活性化される、異なる照明フィールド/指示/色彩/強度を使用する)。図示により、図7A(様々な他の図に加えて)は、典型的な光学ヘッド710を示し、これは、1つ以上のセンサ、構成要素、デバイス、要素などを含み得る。
同様に、本明細書に記載するように、言及される光学ヘッドは、任意の数の方法で巧みに操ることができることが理解されるに違いない。1つの実施例において、光学ヘッドは移動可能なアーム/ロボットに配設することができるが、光学ヘッドのカメラによって、異なる角度及び/又は照明の異なるレベル/タイプ/方向でキャプチャされた画像の分析に基づいて、光学ヘッド構成を規定/決定することができる。図示により、図7A(様々な他の図に加えての)は、移動可能なアーム/ロボット720を含み得る典型的な検査システム700の態様を示し、図示のように、光学ヘッド710をそこへ配設することができる(検査システム700は、図11-12に表され本明細書で詳細に記載される構成要素、デバイスなどを含むがこれらに限定されない、図示しさらなる構成要素も含むことができることが理解されるに違いない)。他の実施例において、1以上の静的なカメラ/照明デバイス(図示せず)は、操縦可能な光学ヘッドに加えて/代えて実施され得る(例えば、多数のカメラ及び/又は照明デバイスを、例えば、検査される部品を囲む、固定位置に配置することができる)。さらに他の実施例において、多数の光学ヘッド(例えば移動可能なアーム上)を実施し得る。さらに他の実施例において、1以上のライン走査または三次元の(3D)カメラを実施可能である。
ある実施例において、追加/別々の計算デバイス(例えば図11および12に示され、本明細書に記載されたような1以上のプロセッサ)は、光学ヘッド上/内部に、組み込まれるかそうでなければ一体化することができる。そのような計算デバイスは、ある実施例においては、未加工データ(例えば、本明細書に記載されるような光学ヘッドによって収集され、キャプチャされ、及び/又は算出された諸データ)を分析するように構成することができる。この予備分析は、(例えば、追加加工のために、他のシステム、デバイスなどへ)送信されるデータ(例えば画像など)の量を減らすことにより、たとえば、欠陥が疑われる(またはそうでなければより複雑な処理を必要とする)場合、たとえば専用ステーション/コンピューティングサーバ上におけるより複雑な分析のために、部品/領域だけを識別/送信することによって、著しい効率化を可能にする場合がある。これは、記載されるテクノロジーのスケーラビリティと効率化を可能にし向上させる。さらなる実施例によって、本明細書で詳細に記載するように、欠陥に対し比較的弱い領域などの、ある部品の一定範囲または領域は、特定の検査パラメータに関連づけられ、これは、追加の及び/又は異なる検査パラメータに従う、及び/又は、その部品が受け入れられる場合は無欠陥でなくてはならない構成要素または要素(例えばネジ、コネクタなど)を含む。従って、ある実施例において、言及される初期処理は、そのような範囲/領域に関して実行することができる。そのような範囲/領域は許容可能である(例えば、欠陥がない)ことを決定する際、後続の検査処理(例えばその部品の他の範囲/領域の検査)は、本明細書に記載するように、次いで実行することができる。
ある実施例において、言及される先行コンピューティングは、二相において実行することができる。第1に、単一命令、多重データ(SIMD)プロセッサのような処理デバイス(例えばGPU)は、ローカルに、例えば画像の特定の近傍/領域上で、動作することができる、その後、他の処理デバイス(例えばCPU)は、例えば、検査下の部品、対象物、製品などのいくつかの近傍/領域を被覆する長い引っ掻き傷に関する、より広範囲(例えば画像拡大)の判定値/判断を計算するために、多数の領域の情報を組み合わせることができる。
記載される技術およびテクノロジーの様々な態様は、言及される検査システムの態様及び/又は構成(例えば、可撓性を有する、及び/又は容易かつ効率的に構成可能/再構成可能であるようなシステムの態様)に基づいて、増強または向上され得ることが理解されるべきである。前述したように、ある実施例において、検品ステーション/システムは、以下のものを含むが、これらに限定されない様々なハードウェア要素を組込むことができる;照明デバイス、センサ、有関節アーム及び/又は他のそのような機械的かロボット工学的な要素。言及される要素の各々は、任意の数のパラメータ、セッティングなどを使用して、利用され及び/又は活性化され得る。そうする際に、単一の普遍的な検査システム/ステーションは、実際の任意の情況/セッティング(例えば、実際の任意/全部のタイプの部品/製品の検査のための)における使用に対し、容易かつ効率的に適合され得る。付加的に、そのようなシステムは、ある部品/製品の検査から、他の部品/製品の検査(類似/関連する部品/製品かどうか、あるいは完全に異なる/無関係な部品/製品かどうか)へ、検査間にほとんど「休止時間」を設けずに移行することができる。言及されるシステムに対し、任意の数の可能性のある構成が存在しうる。
前述のように、ある実施例において光学ヘッド(または複数のヘッド)は、1以上の照明源(相対位置、スペクトル、タイプなどが異なり得る)と連動して操作し得る1以上のセンサー(例えば1D/2D/3Dカメラなど)を含むか、あるいは組込まれる。さらに、光学ヘッドは任意の数の方法で、位置決め/配列させることができる。ある実施例において、光学ヘッドは固定位置に配置され、他の実施例において、光学ヘッドは、ロボットまたはいくつかのロボットアームに(例えば図7Aおよび7Bに示すように)配設される。例えば、カメラは1つのロボットアームに配設することができ、一方、照明デバイスは、第2のアームに組み込まれれてもよい。さらに他の実施例において、検査システムは、多数のカメラ/センサ/照明デバイスなどを、任意の数の構成で、連携して及び/又は独立して操作されるように、組込むことができる。基準とする要素は、位置固定されるか、または特定の検査プロセスの指示/要求に従って操縦し得ることが理解されるべきである。
ある実施例において、光学ヘッド構成(特定の検査計画用など)の品質/適切さは、決定され、あるいは評価することができる。例えば、知識基盤(例えば「ベストプラクティス」知識基盤)は、生成され、提供され、及び/又は、受領される。そのような知識基盤(データベースまたは他のそのようなデータの貯蔵庫であり得るもの)は、例えば検査される異なる材質、形状、要素に対する所定の光学ヘッドの様々な構成(例えば、良好、許容可能など)に対する、様々なケース/シナリオ及び/又はルールを含み得る。単一のカメラおよび単一の照明ユニットを有する特定の光学ヘッドに対する規則の例は、均質のカラーのマット表面に面部へ適用されてもよく、パラメータ(カメラ-アングル、照明強度、露光時間、焦点、動作距離、要求分解能など)の様々な可能性のある集団に、例えば範囲[0、]の品質スコアであって、例えば、0.5未満のスコアは容認不可と考えられ、1のスコアは最適であると考えられる品質スコアを提供する。本明細書で詳細に記載するように、特定部品に関する検査計画を生成/算出する際に(例えばより良好または最適な結果をもたらすために決定されるパラメータを組込む、一方で、最適でない結果をもたらすことが決定されるパラメータを回避する検査計画を生成することにより)、そのような品質スコアを説明することができる。
図示によって、部品(例えば検査される部品)の異なる範囲、領域、外観、要素などについて、質的および量的に異なるタイプの検査を行うことには利点を有することを認識することができる。すなわち、本明細書で詳細に記載するように、部品の1つ(またはそれ以上)の範囲、領域、外観、要素などについて、1つのタイプの検査(特定のレベルの検査)を行う一方で、同一部品の他の範囲、領域、外観、要素などについて、異なるタイプ(及び/又はレベル)の検査を行うことはには利点がある。特定の範囲、領域、外観、要素などに関連する特定タイプの検査は、サイズ、形状、構造、原料組成物などを含み、これらに限定されない任意の数の因子の関数となり得ることを認識することができる。例えば、光沢面および1以上のネジを組込む部品に関し、検査技術の1セットを使用して(例えば引っ掻き傷が存在するかどうか判定するために様々な程度の照明などを使用して)光沢面を検査し、その間に、検査技術の異なるセットを使用して、ネジを検査(例えば、ネジが存在するかどうか、及び/又は、それが完全であるかまたは単なる部品的なネジであるかどうかを判定するために、異なる角度からそのような範囲を検査)することは有益である。ある実施例において、上述のように、特定の範囲、領域などに適用されるべき特定のパラメータ/検査技術は、特定の検査情況に適用されるものとして、パラメータの異なるセットに対する様々な品質スコアを反映することができる知識基盤から受領することができ/知識基盤に基づいて決定することができる。従って、特定の検査情況/シナリオ(例えばネジ、コネクタ、反射面、ある材料タイプなどの検査)に対する高品質/最適な結果を提供すると判断され得るそれらのパラメータ/技術は、検査されるべき基準とする部品の検査計画を選択して、これに組み込むことができ、その一方で、最適でない結果(例えば、基準とする「知識基盤」を反映するものとして)を提供すると決定されたそれらの検査パラメータ/技術は、検査計画に組み込まれないことになる。
ある実施例において、部品のそのような範囲、領域、外観、要素などは、手動で識別され又は選択され得ることが理解されるべきである。例えば、本明細書に記載するように、ユーザ/アドミニストレータは、あるモデル及び/又は基準部品の表示のような他の任意のものが提供され、そのようなユーザは、その部品(例えば1つの範囲内のネジの存在、他の範囲内の光沢面、他の範囲内のコネクタなど)のそれぞれの範囲、領域、外観、要素などを(例えばグラフィカルユーザーインターフェースを使用して)選択または識別することができる。ある実施例において、そのような範囲、領域、外観、要素などを識別/選択する際、ユーザは、特定の領域に適用されるべき検査パラメータの様々な態様をさらに指示するか規定することができる(例えば様々なレベルの照明を利用するため、多数の角度から検査するため、引っ掻き傷の存在を決定するため)。
他の実施例において、基準とする知識基盤は、特定の領域に適用されるパラメータを指示するために利用することができる。例えばネジを含むとされる部品の特定の範囲または領域を選択する際、知識基盤はそのような領域に適用される検査パラメータ(例えば、たとえば異なる度合の照明下で異なる角度で領域の画像をキャプチャすることによって、そのようなネジが存在し及び/又は完全に締め付けられていることの決定を可能にするような検査パラメータ)を識別/決定するために問い合わされる。そうする際、記載されるテクノロジーは、検査システムが、検査されるべき新しい部品を迅速に登録すること、および、部品の効率的且つ有効な検査を可能にするような部品の検査計画を生成することを可能にする(例えば、その特定部品の仕様を反映する異なる検査パラメータを使用して、部品のそれぞれの範囲、領域、外観、要素などを検査することによる)。付加的に、そうする際、記載されるテクノロジーは、検査計画を準備する際に、(もし有るとして)十分な経験または訓練を積んでいないユーザが、効率的かつ有効な態様で実行することができる部品の検査計画を正確に効率的に規定することを可能にすることができる。前述のように、ユーザは、その部品の様々な範囲、領域、外観、要素などを単に選択するか、あるいは表示することができ、記載されるテクノロジーは、個々のそれぞれの範囲などと関連づけられるべき検査パラメータを決定することができる(例えば、基準とする知識基盤を利用する)。
さらに他の実施例において、部品の基準とする範囲、領域、外観、要素などは、自動的または自動化された方法で、識別または選択されてもよい。例えば、本明細書に記載するように、部品の1以上の基準部品及び/又は表示の他のタイプまたは形態(例えばCADモデルなど)は、受領及び/又は提供され得る。そのような基準とする部品は(例えば、様々なタイプのセンサから受信する入力に基づいて)、基準部品内のそれぞれの範囲、領域、外観、要素などの存在を識別/決定するために、分析あるいは処理することができる(例えば、1つの範囲のネジの存在、他の範囲内の光沢面、他の範囲内のコネクタなど)。(選択的及び/又は付加的に、その部品の基準とする表示、例えばCADモデルは、モデル内で、それぞれの範囲、領域、外観、要素などを識別/決定するために処理することができる)。ある実施例において、次いで、基準とする知識基盤は、各識別された範囲、領域、外観、要素などに適用されるべき検査パラメータを決定するために利用することができる。例えば、部品の特定の範囲または領域がネジを含むことを決める際、そのような領域は、検査パラメータ(例えば、異なる度合い照明下で異なる角度での領域の画像取り込み(キャプチャ)よって、そのようなネジが存在し及び/又は完全に締められていることの決定を可能にするようなパラメータ)の特定のセットと関連づけられ得る。他の実施例において、そのような範囲、領域、外観、要素などを識別する際、ユーザは、本明細書に記載するように、特定の領域に適用されるべき検査パラメータの様々な態様を手動で指示するか規定することが可能である。そうする際、記載されるテクノロジーは、検査システムが、検査される新しい部品を登録すること、および、そのような部品の効率的かつ有効な検査計画を自動的な方法で生成することを可能にする。
図5は、自動検査のための方法(500)の態様のフローチャートを示す。この方法は、ハードウェア(回路類、専用ロジックなど)、ソフトウェア(本明細書に記載するような計算デバイス上で実行される)、または両方の組合せを含み得る、処理ロジックによって実行される。1つの実施例において、この方法は、図6-7Bおよび図10A-12において示され及び/又は記載される1以上の要素によって実行される(例えば1以上のプロセッサ、検査システムなどによる)。その一方、他のある実施例において、図5の1以上のブロックは、他の機械または機械群によって実行され得る。
説明の簡潔さのために、方法は、一連の行為として描かれ且つ記載される。しかし、本開示に従った行為は、様々な順で及び/又は同時に生じ得、他の行為は本明細書では提示且つ記載されない。更に、図示された行為全てが、開示された主題に従い方法を実施するよう要求されるものではない。加えて、当業者は、方法が代替的に、状態図又は事象を介して一連の相互に関連付けられた状態として提示され得ることを理解且つ認識する。加えて、本明細書に開示される方法は、コンピューティングデバイスにそのような方法を運ぶ及び移すことを促すために、製品上に保存されることが可能であることを認識されたい。製品という用語は、本明細書で使用されるように、任意のコンピュータ可読デバイス又は記憶媒体からアクセス可能なコンピュータプログラムを包含するよう意図されている。
図5に描かれるように、部品/対象物を検査/処理する時、(本明細書に記載されるような方法で)その部品の多次元モデルが生成され/取得され得る(510)。基準化多次元モデルは、任意の数の部品の態様や要素などを含む及び/又はその他に組み込み得ることを理解されたい。例えば、基準化多次元モデルは、サイズ、形状、構造(二次元、三次元など)、材料組成を含むがこれらに限定されない、部品の態様(及び/又はその範囲、領域など)を組み込み得る。その後、そのようなモデルは、部品を最小識別単位の部品(「最小識別単位」)(例えば、微小な表面、ネジ、コネクタなど)へと論理的に分割するために処理され得る(520)。生成された最小識別単位の各々は、基準化品質判定(540)を産出するために、例えば基準化知識基盤(505)及び/又は光学ヘッド構成(515)の様々な態様を用いて、個々に考慮且つモデル化され得る(530)。その後、複数の最小識別単位の品質評価は、(例えば、与えられた検査済み部品に関する光学ヘッドの)完全な品質スコア/判定(550)を生成するために組み合わされ/一体化され得る。
言及したように、基準化検査システムによって検査されている対象物/部品は、任意の数の方法で配置され得る。例えば、特定の実施において、部品は固定され得る(即ち、他にその場所が変更又は改められることなく検査される)。他の実施において、部品の配向は、移動したり回転したりするといったプラットフォーム、及び/又は、部品を把持するとともに、(例えば、固定位置にあるカメラの場合に)光学ヘッド又は光キャプチャデバイスに対して(例えば、回転により)部品の配向を変更するためのロボットアームなどにより、変更/調整され得る。また他の実施において、部品は、移動するコンベヤベルト上に配置され得る(及び、検査システムは例えば、部品、又はその様々な態様を検査し得る一方で、動いたままの状態である)。図示のために、図6は、プラットフォーム(603)の上に位置する典型的な部品(601)を描く。特定の実施において、プラットフォーム(603)は、本明細書に記載されるように、部品が検査を受けるなどの間に部品(601)の配置を変更するなどのために、任意の数の方向や角度などに回転するよう構成され得る。
本明細書には、図1に描かれるような、自動検査のための方法の様々な態様が記載される。方法(100)は、ハードウェア(回路、専用ロジックなど)、ソフトウェア(本明細書に記載されるものなどのコンピューティングデバイス上で実行されるものなど)、又はその両方の組み合せを含み得るロジックの処理により、実行される。1つの実施において、方法は、図6-7のB及び10のA-12に関連して描かれ及び/又は記載される1以上の構成要素によって(例えば、1以上のプロセッサ、検査システムなどにより)実行される一方で、幾つかの他の実施において、図5の1以上のブロックは、別の機械により実行され得る。
説明の簡潔さのために、方法は、一連の行為として描かれ且つ記載される。しかし、本開示に従った行為は、様々な順で及び/又は同時に生じ得、他の行為は本明細書では提示且つ記載されない。更に、図示された行為全てが、開示された主題に従い方法を実施するよう要求されるものではない。加えて、当業者は、方法が代替的に、状態図又は事象を介して一連の相互に関連付けられた状態として提示され得ることを理解且つ認識する。加えて、本明細書に開示される方法は、コンピューティングデバイスにそのような方法を運ぶ及び移すことを促すために、製品上に保存されることが可能であることを認識されたい。製品という用語は、本明細書で使用されるように、任意のコンピュータ可読デバイス又は記憶媒体からアクセス可能なコンピュータプログラムを包含するよう意図されている。
特定の実施において、各対象物/部品の例などについて、「オフライン」プロセスが最初に行われ、その後「オンライン」プロセスが行われ得る。基準化「オフライン」プロセスにおいて、1以上の典型的な基準部品/対象物(例えば、傷の無い「完全な」部品)が(例えば、図7のAに描かれ及び本明細書に記載されるような検査システム(700)に)提供され得(102)、基準化検査システム(104)により登録され得る。例えば、基準部品/対象物を検査システムに導入/提供した後、システムは、任意の数の方法(本明細書に記載される方法など)において部品をスキャン又はその他に分析することができ、モデル(例えば多次元モデル)及び/又は部品の他のそのような表示が生成され得る(106)。そのようなモデルは、例えば、部品の形状及び/又はその視覚的特徴(例えば、色や反射率等に関する)の様々な態様の、荒い及び/又は細かい記載/特徴/定義を包含することができる。加えて、本明細書に記載されるように、特定の実施において、基準化モデルは、特定のパラメータ(例えば、特異性又は精度の1つのレベル)に基づき定義及び/又は特徴化され得る特定の領域を含み得る一方、モデルの他の領域は、他のパラメータ(例えば、特異性又は精度の別のレベル)に基づき定義及び/又は特徴化される。
図2は、自動検査のための方法(200)の態様の更なる態様を描く。図2に示されるように、典型的な傷の無い完全な部品が、検査システム(202)に提供/導入され得る。特定の実施において、対応するモデル(例えばCADモデル)も、完全な部品に加えて、又はその代わりに提供され得る。その後、システムは、(例えば、画像、3Dローカル再構成などを使用する)増分データの取得及び分析などにより、部品の構造をスキャン、調査、又はその他に分析し始めることができる。例えば、図3(自動検査のための方法(300)の態様の更なる態様を示す)は、CADモデルが(例えば基準部品の代わりに)最初に受け取られ/提供されるシナリオ(302)を描き、及び登録プロセス(本明細書に記載されるものなど)(304)は、本明細書に記載される方法などにおいて劣化した多次元(「n-次元」)モデルなどのモデル(306)を生成することができる。基準モデル(例えば部品のCADモデル)が提供される/受け取られるシナリオにおいて、基準化調査(例えば部品/対象物の初期分析)は、モデルに反映される構造に従い得る。調査段階中に、光学ヘッドの構成/設定(例えばその位置決めに関する)は、検査モデル(例えば、後の検査のために生成されるモデル)が生成され得ることに基づいて包括的な構造的情報を提供するなどのために、変更/調整され得る。本明細書で提供される様々な例及び図は目視検査に関係する一方、記載された技術はそのように限定されないことに、注意されたい。従って、記載された技術は、(例えば、計測学などを使用して)同様に非視覚的なコンテキストに適用され得ることを、認識されたい。
特定の実施において、部品/対象物は、対象物の様々な態様について正確な測定を確実に達成するために、及び、対象物の構造的境界を定義するためにも(例えば、操作可能な光学ヘッドと部品との間の不一致などの場合に、検査システム又は部品への損傷を回避するために)、分析され得る。特定の実施において、画像は、異なる方向からの異なるタイプ/レベルの照明などにより、製品上の任意の数の点に対する異なる方向からキャプチャされ得る。図示のために、図7Aは、(例えば、追加の/補足的な照明のない)1つのレベルの照明の下で対象物/部品(601)の画像を補足する光学ヘッド(710)を描く一方で、図7Bは、(例えば追加の/補足的な照明(730)を持つ)別のレベルの照明の下で対象物/部品(601)の画像を補足する光学ヘッド(710)を描く。
更に、CADモデル及び完全な部品の両方が利用されるシナリオにおいて、部品の元の設計(CADモデルにおいて反映されるものなど)と実部品(例えば完全な部品)との間の変化/相違が識別/判定され得、そのような変化/相違の通知が(例えばアドミニストレータに)生成/提供され得る。加えて、特定の実施において、そのような相違/変化は、次の部品の検査時に考慮され得る。例えば、CADモデルと「完全な」基準部品との間の相違又は変形を識別すると、比較可能な相違/変化を反映する次の部品の検査後に、そのような部品は、(CADモデルと基準部品との間に識別された相違に基づき)不完全として識別されない場合もある。
特定の実施において、検査計画又は「レシピ」は、オフライン段階(例えば、図1の(112)、図2の(214)、図3の(314))にて生成され得、この計画は、本明細書に記載される方法などで「オンライン」段階(例えば、後の検査中)におけるデータの取得を制御するために使用され得る。その後、取得データは、多次元モデルに照らして分析され得、基準データ及び/又はテスト仕様は、本明細書に記載される方法などで、オフライン段階から受け取られる。特定の実施において、基準化検査計画が生成され得(例えば、本明細書に記載されるものなどの様々な部品登録及び計画プロセス/動作に基づく)、その一方で他の実施において、そのような計画が受け取られ及び/又は提供され得る(例えば、自動検査のための方法(300)の態様の更なる態様を示す、図4の(402)に描かれるように)ことも、理解されたい。
特定の実施において、生成されたモデル(後の検査に利用されることになっている)は、(1)部品形状の荒い/細かい記載、及び/又は(2)様々な時点での部品の様々な反射率特性の記載を含み得る。そのような記載の組み合わせを使用し、検査システムによって得られる更なる/付加的な測定値に対する部品の反応等に関して、様々な予測/見積りが生成され得る。特定の実施において、そのような見積りは、平面、光、及びカメラの間の角度の組み合わせの多様性を補足するなどによって、部分的なBRDF(双方向反射率分布関数)の構築により生成され得る。
特定の実施において、付加的な基準部品はまた、生成したモデルの精度を増強するために(例えば、部品間の変動性を説明するために)、及び異なる領域/部品/材料に関する検定公差を生成するなどのために、検査システムにも提供され得る。1つのそのような例となる変動性は、材料の天然構造による、又は材料が研磨などを受けたプロセスによる、産生に使用される幾つかの材料によって提示されるテクスチャにおける固有の変動性である。
その後、様々なテスト要求が、(例えば、図1の(108)、図2の(208)、及び図2の(310)にて)受け取られ及び/又は生成され得る。特定の実施において、そのような要求は、基準モデル(例えば、図1の(106)、図2の(206)、図3の(306)にて生成されるモデル、及び/又は図4の(404)にて受け取られたモデル)が(例えば全体の部品及び/又はそのサブ部品に関連して)適用されることに基づき/関連して、パラメータを特定/定義することができ、特定の実施において、そのようなパラメータは、テスト仕様において(例えば、図2の(210)、図3の(312)、及び図4の(406)にて)保存/反映され得る。その後、本明細書に記載されるように、1以上の検査計画が、(例えば、図1の(110)と(112)、図2の(212)と(214)、及び図3(308)と(314)にて)(例えば、モデル及びテスト要求に基づき)生成され得る。
基準化テスト要求は、部品とサブ部品との間の性質及び規模において異なり得ることを理解されたい。例えば、特定の製品(例えば、磨きガラス表面)の頂部領域は、非常に高品質であり小さな傷さえも付いていないことを要求され得、その一方で、製品の別の領域(その底部)は、少しの傷であれば許容可能な場合もある。従って、特定の実施において、インターフェースが提供され得(例えばグラフィカルユーザーインターフェース)、それを介して入力が受け取られ、該入力は、ネーム/ラベルを含むモデルの特定のサブ部品又は領域(例えば、「ハンドル」「カバー」など)を定義/関連付け、及び/又はそのような各サブ部品に異なる要求を割り当てる場合もある。そのような要求の例は、特定のサイズ/深刻さの傷を識別すること、物理的コネクタ(例えば、RJ45コネクタ又は他のそのようなモジュラーコネクタ)の存在を識別するなどを含み得る。特定の実施において、テスト要求を定義するための基準化インターフェースは、(例えば、図2の(202)及び図3の(302)にて受け取られ及び/又は処理されるような)製品のCADモデル、及び/又は(例えば、図1の(106)、図2の(206)、及び図3の(306)にて生成されるような)多次元モデルを利用し、組み込み、及び/又は基準することができる。基準化インターフェースは、ユーザー(例えばアドミニストレイター)が、検査される部品/対象物の特定のサブ部品や領域などのテスト要求を定義及び/又は修正することを可能にし得る。加えて、特定の実施において、基準化インターフェースは、例えば、複数の基準又は傷の無い「完全な」部品の最初の検査/登録において識別される変動性に基づいて生成されるように、最初に生成された要求をユーザに提示することができる。
テストされた様式の例は、限定されないが、材料の保全性(例えば、傷、凹み、窪み、欠け、気泡など)、変色、対象物の実在、組立体の位置合わせ、テキスト/ラベル、ねじれ、接続などを含む。テストされた様式はそれぞれ、任意の数の感度レベル(絶対的又は相対的の何れか)、例えば、小さい、適度、大きい、特別(custom)などに関連付けられ得る。
基準化取得/検査計画は、基準化要求がモデルに基づきテストされ得ることに関して、構成、設定、及び/又は位置を定義することができる。そのような設定の例は、限定されないが、光学ヘッドの位置、配向、及び起動、同様に、それらが利用される順序を含む。
特定の実施において、取得/検査計画は、表面性質を考慮して全てのテスト要求の確認を可能にする方法で、検査される全体の部品(又は検査される製品の範囲)をカバーするように構成され得る。特定の実施において、基準化確認プロセスは、例えば図5に関して、本明細書に記載されるものなどの知識基盤(例えば「ベストプラクティス」な知識基盤)と共に行なわれ得る。例えば、直接照明を用いて平角で鏡面の画像をキャプチャすることで、恐らく結果として、記載された検査のためには都合が良くない飽和画像をもたらすことが、認識され得る。更に、特定の実施において、基準化検査計画は、検査システム及び/又は他の移動機構の運動学及び/又は動力学を説明するように構成され得る。例えば、固定カメラ又は照明デバイスの場合、構成及びその制限は、計画において使用され得る。加えて、検査計画は、異なる検査様式を説明する方法で生成され得る。例えば、コネクタを検査する場合、(例えば、コネクタの内部が適切な方法で目に見えることを確実にするために)適切な角度で画像が補足されることを確実にする検査計画が生成され得る。そのような計画はまた、(例えば、高システムスループットを可能にするために)部品が効率的にスキャンされるのを可能にするように、生成され得る。
生成されたモデルは、(例えば、スキャンプロセスの速度/効率を最適化するために)どの様々な検査計画が生成され得るのかに基づき、(例えば、光学ヘッドの)様々な構成/位置決めに関連した品質の予測を可能にし得ることを理解されたい。比較可能なテスト要求を持つ構造上同様の部品は未だに、その表面が異なる性質を持つなどの場合に(例えば、一方が正反射性であり、他方が拡散性の性質を持つ場合)、異なる検査計画をもたらし得る。
(例えば光学ヘッドの)基準化構成/位置決めは、検査システムがそれらを通過し、且つ迅速/効率的な方法で製品のスキャンを完了するのを可能にするような順序に、順序付けされ得る。特定の実施において、(例えば検査システムの)基礎的なハードウェアプラットフォームの態様、特徴、制限などが、考慮され得る。例えば、光学ヘッドがロボットに取り付けられる場合、ロボットの外形(figure)が、特定の位置のために選択され得る(ロボットツールの同じ空間位置に到達し得る様々なジョイント構成が存在し得、そのようなジョイント構成は、それぞれの外形について所望の位置に到達するためのほんの1つの選択肢しか存在しないような「外形」に分けられ得ることに、注意されたい)。2つの構成/位置の間の(例えば、光学ヘッドが取り付けられるロボットアームの)ジョイントの差異から結果として生じる時差は、対象物の最も速い周回(tour)を判定するために考慮され得る。推移が効果的となり、且つロボットがその周囲や検査された部品のどちらにも衝突しないように、選択された構成の間で補間法も実行され得る。
その後、システムは、基準化位置(例えば、図1の(114)及び図2の(216))にて部品をサンプリングし(例えば、その画像、及び/又はそれに関係する他のセンサ入力部を補足する又はその他に取得或いは受け取る)、それにより、(例えば、図1の(116)、図2の(218)、及び図4の(408)にて)基準データを生成する。更に、特定の実施において、そのようなデータは、(測定された位置などに関して)補間法及び/又は補外法を介して生成され得る。1以上の判定も、(例えば最も効率的に)基準化位置を横切る(traverse)方法に関して行われ得る。
特定の実施において、基準化された検査計画はまた、様々な検査優先事項に基づいて作られ得る。例えば、部品の特定の範囲または領域が、(例えば、そのような領域の構造、そのような領域に関する材料、表面上の(cosmetic)要件、及び/又はそのような領域に関する製造プロセスに基づいて判定され得るように)欠陥に対してより弱い又はより厳格な検査要件に関係しているシナリオにおいて、そのような領域の走査は優先される。そのようなシナリオにおいて、欠陥が特定部品の所定領域に存在すると判定されると、そのような部品は欠陥があると識別され得、システムは、(例えば、その部品の残りを検査することなく)検査プロセスを終了し、他の部品の検査に進むことができる。加えて、特定の実施において、(CADモデルまたは生成されたモデルであろうと)検査されている部品のモデルは、アドミニストレータに提供され得、(例えば、グラフィカルユーザーインターフェースを介して)そのようなアドミニストレータから様々な入力を受けることができ、アドミニストレータは、異なる検出基準を有するモデルの異なる範囲を示す/指定する(例えば、アドミニストレータは、部品の1つの範囲を比較的より高度の品質、平滑性(smoothness)などを必要とするものとして指定してよく、一方で別の範囲を比較的より低度の品質を必要とするものとして指定してもよい)。さらに、アドミニストレータはまた、(例えば、最後の1つ又は保存された履歴に基づいて)特定部品の凸欠陥に加えて、(例えば、検査履歴に基づいて)部品についての統計を提示され得る。加えて、特定の実施において、検査速度と検査水準(例えば、検査の範囲の/詳細の程度)との間のバランス/妥協点が、(例えば、検査されている部品に関するパラメータ、製造プロセス、及び/又はアドミニストレータによって提供されたパラメータに基づいて)管理/調節され得る。
加えて、特定の実施において、製造プロセスのデータ及び/又は様々な態様が、検査計画を作成し、部品を検査するのにそのような計画を実施/実行する際に利用され得る。例えば、特定の不規則性が特定部品の製造に関して識別されるシナリオにおいて(例えば、製造機械の温度は、部品及び/又はその領域が作られるときに通常よりも高かった/低かった)、そのようなデータは、検査計画を決定する(及び/又は既存の検査計画を修正する)際に考慮され得る。例示として、そのような製造の不規則性が生じたと判定されたことに関する部品の領域は、(欠陥がそのような領域に存在する可能性の増加が理由で)部品の他の領域に進む前に、最初に検査され得る。
さらに、特定の実施において、1部品に関して作成された検査計画の様々な態様が、同様の/関連する部品に関する検査計画を作成する際に利用され得る。例えば、検査計画が、第1の材料で作られる特定の構造を有する1部品に対して既に開発されているシナリオにおいて、そのような検査計画は、同じまたは匹敵する構造を有するが別の材料で作られている別の部品に対する検査計画を決定する際に利用され得る。例示として、そのような製品両方の幾何学的パラメータは同じである傾向があり、したがって、反射特性のみが、例えば、更新される必要があり得る。
特定の実施において、検査計画が終了すると、選択された光学ヘッド構成はサンプリングされ得る。各々のそのような構成に対して、様々な測定値(例えば、2D画像、3D測定値)が、基準分析のために保存され得る。ノイズを考慮に入れるために、サンプルを繰り返し利用する、閉じた3D位置でサンプリングする(例えば、ロボットの不正確性を考慮に入れるために)、及び/又はいくつかの完全/基準部品を使用する(例えば、部品に固有の変化を考慮に入れるために)ことなどによって、感度分析も実行され得る。
さらなる例示として、図8は、(例えば、図7のA-Bに示される及び本明細書で詳細に記載されように、検査システム(700)などの検査システムを使用して)検査/分析され得る基準部品(810)を示す。本明細書に記載されるように、特定の実施において、基準部品は、スキャン、分析、処理などをされ、その後にどの部品(例えば、基準部品に匹敵する、類似したものなどの部品)が検査され得るかに基づいて、(例えば、同じ検査システム(700)及び/又は別の検査システム、デバイスなどを使用して)検査計画が作成され得る。また、特定の実施において、基準部品(810)の実際の検査を実行する代わりに、検査計画が、(例えば、製品製造者によって指示または定義されるように)作成及び/又は提供され得ることに留意されるべきである。
また図8に示されるように、基準部品(810)内の様々な範囲、領域(820)などが識別され得る。そのような範囲または領域(820)は、追加の及び/又は異なるタイプの分析が適用されることに関して基準部品内の対象の点または態様に対応する場合がある。例えば、図8は、部品(810)内のネジの存在及び/又は配置/機構に対応する様々な範囲または領域(820)を示す。特定の実施において、そのような範囲/領域は、(例えば、基準部品の1以上の画像の分析に基づいて)自動化方法で識別され得る一方で、他の実施において、そのような範囲/領域は、(例えば、ネジの存在、その配向などを決定するために、例えば、これらの範囲/領域を選択することができ、それらがどのように分析されるかを定義することができる、アドミニストレータ、ユーザなどによって)マニュアルで識別/選択され得ることが理解されるべきである。
この際に、(図8に関連して記載される典型的なシナリオなどの)特定の実施において、基準部品の範囲/領域は、そのような範囲/領域を追加の処理/分析のパラメータに関連付けるために(例えば、ネジの存在、その配向などを決定するために)識別/選択され得るが、他の実施において、範囲/領域は、比較的より少数の処理/分析のパラメータを用いて識別/選択され、それらと関連付けられ得ることが留意されるべきである。
例えば、特定の実施において、基準部品の1つ以上の範囲/領域は、(自動化方法またはマニュアルであっても)検査をほとんど必要としない及び/又はまったく必要としないものとして識別され得る。したがって、後の検査において、(例えば、検査を受けている部品における)対応する範囲/領域は、検査分析をほとんどされない及び/又はまったくされない対象となり得る。その際に、記載されたテクノロジーは、検査を必要としない(または特定の検査パラメータに従う検査を必要としない)他の範囲/領域の検査に時間及び/又は処理資源を割くことなく、そのような領域が必要とする検査パラメータに従う検査を必要とする領域のみを検査することによって、そのような部品の検査の効率を向上させる及び/又は最適化することができる。
基準化された「オンライン」プロセスにおいて、システムは、作成された検査計画によって指示されるように、特定の配列などにおいて、(例えば、図1の(118)および図4の(410)で)検査される部品の必要とされるセンサのデータを取得することによって、例えば、(例えば、図1の(120)および図4の(412)で)画像及び/又は他のセンサのデータをキャプチャするまたはそうでなければ取得することによって、基準化された検査計画を実行する、適用する、またはそうでなければ実施することができる。例示として、図10のA-Cは、検査計画(例えば、本明細書に記載さるように、システム(700)が基準化された検査をできるだけ効率的及び/又は有効に実行することを可能にするように算出された検査計画)を実行するために、検査システム(700)の移動可能なアーム/ロボット(720)が、光学ヘッド(710)の位置決めを調節する、典型的な配列を示している。特定の実施において、検査計画が、例えば、(例えば不確実な場合に)より近い/よりフォーカスした画像/追加角度などの、追加画像をとることによって、検査の間に修正または調節されてもよいことが理解されるべきである。
特定の実施において、検査される部品の位置決めが十分に正確でないと判定される場合、(例えば、対象物全体の適用範囲を可能にするために)例えば、比較的遠い位置から、様々な測定値/画像が最初にキャプチャされ得る。その後、そのような画像は、部品の実際位置を算出するために、基準化されたモデルと比較され得る。その後、検査計画は、この実際位置に適合され得る(例えば、計画された位置を修正するだけでなく、基礎的なハードウェアパラメータへの変換を再算出する)。
検査されている部品および基準化された部品及び/又はCADモデル上の(例えば、図1の(122)および図4の(414)での)取得されたデータは、その後、(例えば、図1の(124)および図4の(416)で)分析され得る及び/又はそうでなければ処理され得、検査されている部品に関して(例えば、図1の(126)および図4の(418)で)判定が下され得、これは、例えば、(例えば、定義されたテスト要件を考慮して/に関連して取得された画像および他のセンサのデータの分析に照らして)部品が有効である/承認されているか又は欠陥があるかを反映している。そのような判定は、特定部品(例えば、特定表面の傷または欠陥の大きさ)に関して定義され得るように、様々な絶対的および相対的な測定値に基づき得る。さらに、特定の実施において、部品の格付けまたは採点に関して判定が下され得る(例えば、それが基準部品に対応するか又は対応しない程度、基準部品からの特定の偏差(deviation)の重要性などを反映する)。特定の場合において、追加の画像及び/又はデータが、(例えば、初期画像において知覚可能でないかもしれない1つ以上の態様をさらに判定するために)基準化された分析の間に(例えば、図1の(120)および図4の(412)で)取得され得、そのような画像/データが、部品に関する結果、スコア、格付けなどを算出/判定するために分析された及び/又はそうでなければ処理され得ることも留意されるべきである。
例えば、各テスト要件に関して、収集したセンサのデータは、検査されている対象物が準拠しているか否か(及び/又はその程度)を検証するために処理され得る。特定の実施において、以下の典型的なプロセスを利用することができる:
・部品の検査の間にキャプチャ/取得されたデータ項目(例えば画像)の1つ以上に対して及び/又はそのような部品の検査のために定義された1つ以上のテスト要件に関して:
o特定のテストに関係するデータ項目の1つ以上の関連部品、領域、範囲などが、識別、定義、及び/又は判定され得る(例えば、画像及び/又はその関連するセクションは、検査計画に関連するテスト要件に従うために、例えば、画像の解像度、画像の照明などに関して、十分に高い品質であることを判定するように処理され得る)。
o1つ以上の絶対的基準(例えば均質性)および相対的基準(例えば完全部品の画像上の基準測定値との類似性)は、本明細書に記載されるように、限定されないが、部品の測定値、寸法などを含む、検査されている部品の様々な態様を確証するために、データ項目(例えば画像)に適用され得る。
o検査下の部品の測定値が、(例えば、テスト要件に関連して及び/又はオペレーターによって定義されるように)エラー/感度の許容差/マージン内でない判定される場合、その部品は欠陥があると判定され得る。さらなる分析は、欠陥を分類したり、その重要度を判定したりすることができる。
o疑わしい欠陥の信頼度が十分に高くない場合に、システムは、例えば、信頼度を向上させるために追加の測定値を実行するべく、検査計画を調節及び/又は増強することができる。例えば、より近い画像のキャプチャによって。
・識別される欠陥は、(例えば、作成されたモデルを使用して)対象物の対応する範囲/領域にマッピングすることができ、それによって、さらなる分析(自動化及び/又はマニュアル)および統計が可能となる。
留意されるように、様々な確証動作が、検査されている部品に関して実行され得ることが理解されるべきである。特定の実施において、そのような確証動作は、1つ以上の絶対評価基準/テストに関する部品の様々な外観または特徴を確証することを含むことができる。例えば、部品(例えば、そのような部品に関するキャプチャされた/受け取られた様々なセンサ入力部)(及び/又はこれらの範囲または領域)は、部品が特定の絶対評価基準を包含/反映しているか否か(例えば、部品の色が赤であるかどうか、傷が部品に存在するかどうかなど)(及び/又はその程度)を判定するために、処理、分析などが行われ得る。他の実施において、そのような確証動作は、1つ以上の相対評価基準/テストに関する部品の様々な外観または特徴を確証することを含むことができる。例えば、部品(例えば、そのような部品に関するキャプチャされた/受け取られた様々なセンサ入力部)(及び/又はこれらの範囲または領域)は、部品が特定の相対評価基準を包含/反映しているか否か(例えば、検査されている部品が、本明細書に記載される方法などで、基準パッドに関して及び/又は関連して下された判定に対応している/を反映しているか否か)(及び/又はその程度)を判定するために、処理、分析などが行われ得る。
また他の実施において、基準化された確証動作は、検査下で部品に添付され得る又は関連付けられ得る様々な識別子(例えば、バーコード、QRコードなど)に反映され得る/埋め込まれ得る、1つ以上の基準/テストに関する部品の様々な外観または特徴を確証することを含むことができる。例えば、識別子(例えば、バーコード、QRコードなど)が、配向される部品の様々な態様(例えば、そのような部品の通し番号、そのような部品の色など)に関係することができるメタデータに埋め込まれ得るまたはそうでなければ関連付けられ得る、あるいはそれを反映することができることが認識され得る。したがって、そのような識別子に関連付けられたメタデータ(例えば、識別子が関係する通し番号、識別子が反映する色など)は、検査下の部品が、関連付けられた識別子のメタデータに反映された基準を反映しているか否か(例えば、部品上に示された通し番号が、部品に添付されるバーコードに反映された通し番号に対応しているかどうか、部品の色が、部品に添付されるバーコードに反映された色に対応しているかどうかなど)(及び/又はその程度)を判定するために、部品の検査の間に算出された1つ以上の判定(例えば、本明細書で記載されるように、そのような部品に関してキャプチャされた/受け取られた様々なセンサ入力部の処理に基づいて判定されたような、部品自体に実際に反映された英数字の通し番号、部品自体の実際の色)(及び/又はこれらの範囲または領域)と比較され得る。その際に、記載されたテクノロジーは、基準化された部品が、(例えば、パッド自体が、部品に関連付けられた/添付された識別子に埋め込まれていた基準を適切に反映しているという点で)内部的に整合されていることを確かなものとすることができる。
また他の実施において、基準化された確証動作は、検査下の部品に関連して受け取られ得る/提供され得る1つ以上の基準/テストに関する部品の様々な外観または特徴を確証することを含むことができる。例えば、特定部品の検査に関連して、様々なデータ項目は、部品が満たす/有すると予期される又はその必要がある様々な基準または特徴を反映する又はそれらに対応することができる、製造ステーション、工場などによって提供され得る及び/又はそれらから受け取られ得る(例えば、工場内の関連するサーバなど)。したがって、受け取られた基準、特徴などは、検査下の部品が、受け取られた基準、特徴などを反映しているか否か(及び/又はその程度)を判定するために、部品の検査の間に算出された1つ以上の判定(例えば、本明細書で記載されるように、そのような部品に関してキャプチャされた/受け取られた様々なセンサ入力部の処理に基づいて判定されたような、部品自体の色)(及び/又はその範囲または領域)と比較され得る。そうする際に、記載されたテクノロジーは、部品の製造業者などによって指示されるように、検査された部品が基準、特徴などと整合性があることを確かなものとすることができる。
さらなる実例として、図9のAとBは典型的な検査シナリオを描く。図9のAは、どの追加の及び/又は異なるタイプの分析が適用されるかに関して(例えば、部品(910)内でのネジの存在及び/又は配置及び/又は配列)、基準部品(910)内の所望の点または態様に対応する、基準部品(910)内の様々な範囲、領域など(920)を示す基準部品(910)の検査を描く。こうした範囲/領域を識別し、検査計画を算出すると、後の部品(例えば、図9のBで示されるような部品(930))を(例えば、基準化された検査計画に基づいて)検査することができる。従って、図9のBで示されるように、こうした範囲/領域(920)に対応する部品(930)の範囲/領域は、部品(930)内の基準化されたネジの存在及び/又は位置を識別するために処理/分析可能である(例えば、検査計画に含まれる特定パラメータを使用して)。それを行う際、記載されるテクノロジーは、領域を識別することができる、検査計画に含まれる検査の要件/パラメータに適合する部品(930)内の範囲(940)だけでなく、検査計画に含まれる検査の要件/パラメータに適合しない部品(930)内の範囲(950)(例えば、ネジが見当たらない、完全には明るくないなどの範囲)を識別することができる。
基準化された検査システムが、ほとんどまたはまったく改良/調節を施すことなく異なる部品を検査するように構成可能であることも理解されたい。例えば、特定の実施形態において、ある部品の同一性は当初、その部品を識別するバーコードを読み取ることによるなどして、及び/又はその部品の2Dまたは3Dの画像に基づく認識処理に基づいて、判定可能である。特定の部品を識別すると、対応する検査スキーム/計画が生成及び/又は選択可能となり、その部品は(本明細書に記載される手法などの)適切な検査スキーム/計画に基づいて検査可能である。そのようにする際に、単一の検査システム/ステーションは、別の部品の検査間でほとんどまたはまったく遅延または「休止時間」なく、別の部品を検査するために使用可能である。
さらなる実例形態として、ある実施において、1以上の識別子(例えば、通し番号、バーコード、QRコードなど。検査される部品上に存在することもある)は、基準化された部品を検査する際に利用されるように、検査計画を識別、選択、及び/又は調節する際に使用可能である。すなわち、ある実施形態では、(例えば、流れ作業列または製造設備またはステーションが特定部品を生産しているシナリオにおいて)検査される特定の製品に関してどの検査計画が使用されることになるかを(例えば、事前に)記載されるテクノロジーが判定することができることもあれば、他の実施形態では、記載されるテクノロジー(例えば検査システム)は、それが現在検査している部品の正確な性質または同一性を必ずしも事前に判定しないこともあるということが理解されるだろう。従って、ある実施形態では、記載されるテクノロジー(例えば、本明細書に記載されるような検査システムのロボットアーム及び/又は光学ヘッド)は、1以上のセンサ(例えば、光センサまたは他の任意のそうしたセンサ)によって1以上の入力をキャプチャするかさもなければ受け取り、および、1以上の識別子(例えば、部品の通し番号またはモデル、バーコード、QRコードなど)の存在を識別するか、さもなければ認識または判定するために、上記のような入力を処理することができる。
実例として、ある実施形態では、1以上の英数字文字(例えば、検査システムによってキャプチャされるような部品の画像内で)の存在を識別後に、こうした文字は、その部品上に存在する文字、ストリング、通し番号などを識別するために(例えば、様々な光学式文字認識(OCR)技術を使用して)処理され得る。その部品上のそうした文字を識別すると、記載されるテクノロジーは、基準化された部品(例えば、本明細書に記載される技術の1以上を使用して算出されたような)について以前に算出されたまたは提供された検査計画を含み得る1以上のデータベースまたはリポジトリをさらに検索することができる。その部品に関連づけられる/関するこうした検査計画は、その後、検査システムに提供されるか/検査システムによって受け取られ、その部品の検査はそうした計画に基づいて実行可能である。そのようにする際に、検査システムは、検査される部品を効率的に識別することができ、検査される部品を識別するために検査システムによる追加の「探索」を必要とすることなく、そうした部品に関連付けられる検査計画を要求/受け取ることができる。
さらなる実例として、ある実施形態では、基準化された識別子(例えば、上述のように、検査される部品に添付することができるバーコード、QRコードなど)は、関連する部品の様々な態様/特性に関係する情報(例えば、材料のタイプ、大きさなど)、及び/又は(例えば、本明細書に記載される技術の1以上を用いて算出されたような)関連する部品について検査計画に対応可能な命令によってコード化可能である。従って、その部品上の上記のような識別子の存在を認識、識別するなどして、識別子は、その部品に関係する関連付けられた/埋め込まれた検査計画と、そうした部品に基づいて実行可能な部品の検査とを算出/判定するために、(例えば、本明細書に記載されるような検査システムによって)処理可能である。そのようにする際に、検査システムは、検査システムによる追加の「探索」及び/又は外部データベース/リポジトリへの/からの通信を必要とすることなく、検査される部品に関連付けられる検査計画を効率的に識別することができる。
ある実施形態では、「学習」プロセスも実行することができる。こうしたプロセスは、記載される「オンライン」プロセスの後、及び/又は該プロセスと平行して、採用されてもよい。そのような学習プロセスにおいて、記載される検査システムによって生成される(例えば、自動検査プロセス中に識別されるような)様々な識別された欠陥は、ユーザ(例えば、検査監督者)(例えば、図1の(128)と図4の(420))に提供/提示可能であり、そのようなユーザは、基準化された判定値(例えば、図1の(130)と図4の(422))を手動で容認または拒否することができる。そのようなフィードバック(例えば、図1の(132)と図4の(424))に基づいて、システムは、フィードバックから(例えば、当業者に知られているような機械学習技術を使用して)「学習する」ことができ(例えば、図1の(134)と図4の(426))、および、検出/判定プロセスをさらに向上させる。さらに、学習プロセスを用いて、検査計画(例えば、図1の(136)と図4の(428))を適応させるか変更することもできる。例えば、エラーの傾向が強いと判定またはさもなければ識別される範囲は、高い品質で検査可能である。
基準化された動作は、品質保証に対して検出結果を順応させることができるということを理解されたい。ある実施形態では、こうした動作は記載された「オンライン」プロセスと並行して実行されることもあるということも理解されたい。
ある実施形態では、入力/フィードバックは、システムによって生成された検出結果に関して受け入れ可能である(例えば、そのような結果が容認または拒否されるかどうかを示す)。ある実施形態では、そのようなフィードバックを提供するユーザは、検出結果が作成された際に基づいた知覚データ及び/又は実際のテストされた部品にアクセスしてもよい。容認/拒否のそのような表示は機械学習プロセスで収集および利用可能である。そのようにする際に、システムは、特定の製造業者の要件、基準、及び/又は優先度にさらに適合/構成可能である。優れた学習プロセスは、計画プロセスが、均一な手法で後に処理可能な各テストの要件について標準化された測定値を生成するという事実の結果、可能になる。
さらに、記載されるオンライン検査プロセス中に、本システムはデータを受け取り/コンパイルし、及び/又は、検査下の部品上で識別される欠陥に関する統計を生成することができる。こうしたデータは、例えば、上記のような欠陥のランク及び/又は位置や関連する統計を反映可能であり、及び/又は上記欠陥のランク及び/又は位置や関連する統計を判定するために使用可能である。型のデザインを改良/修正する際にそのような情報を利用することができる場合、そうした情報は様々なプロダクトデザイン/プロトタイプ作成エンジン/システム(例えば、CAD/CAMソフトウェア、システムなど)に戻すことが可能である。さらに、実際の欠陥情報は、製造プロセスで他のステーションに(例えば、その位置とタイプに基づいて欠陥を修正することができる固定機械に)提供することができる。さらに、ある実施形態では、そのような修正を加える手法(例えば、製造プロセスの「休止時間」を最小限に抑えるために製造欠陥を修正する最も効率的な方法)に対して、様々な判定、予測、及び/又は命令を行うことができる。
ある実施形態では、(例えば、様々な部品、構造、材料、モデルなどに対して)記載される技術/テクノロジーの様々な段階/動作時に収集及び/又は生成されるデータを(例えばデータベースに)まとめる/保存することができる。欠陥が将来の製品においてどのようにして/どこで発生し得るのかを判定/予測するためなどに、様々な技術(例えば機械学習など)をそのようなデータに適用することができ、そして、そのような欠陥をどのようにして回避または最小化し得るのかについて様々な提案が生成可能である。例えば、ある材料から製造されるある形状の部品で多くの欠陥を識別すると、代替的な形状(観察された欠点が少ない形状に関して)及び/又は、代替的な材料(観察された欠点が少ない形状に関して)を提案可能である。そのようにする際には、製造プロセスの開始前に欠陥を回避することができる。
ある実施形態では、記載される技術/テクノロジーは、限定されないが、熱溶解積層法(FDM)を含む3Dプリント技術/テクノロジーに関して使用可能である。例えば、3Dプリントプロセスの全体にわたって、欠陥を識別するために、印刷されている部品/対象物を(例えば本明細書に記載される手法で)検査可能である。そのような欠陥を識別する際、プリントプロセスは、休止する/異常終了することがあり(それにより、不良部品に浪費される材料の量を減らす)、または、プリントプロセスは、(可能な場合-例えば、充填可能な穴があるシナリオにおいて)欠陥を考慮するとともに修正するために調節可能である。さらに、ある実施形態では、元々の3Dプリント計画/プロセスは、印刷されている部品の周期的な/進行中の検査を考慮するために調節可能である。例えば、その部品の様々なセグメント/領域(例えば、欠陥に対して脆弱な領域)が優先されることもあり(例えば、プリントプロセスで初期に印刷される)、いったんそうした領域が欠陥なしで印刷されたことが分かると、その部品の残りを印刷することができる。
記載される技術およびテクノロジーが製品の検査(例えば、本明細書に描かれたり記載されたりしているような検査システムを使用する)に関して本明細書では記載されているが、記載される技術/テクノロジーはそのように制限されないことにも留意されたい。従って、記載される技術/テクノロジーは、他の設定や文脈で同様に実施及び/又は採用可能であることを理解されたい。実例として、ある実施形態では、記載される技術は、建築物、橋、道路、トンネルなどの大型構造の検査のような、より大規模な検査に関連して使用可能である。そのような実施形態では、そのような構造に関して(例えば、そのまわり及び/又はその周囲で)操縦するための(様々なカメラ、センサなどを装備した)乗り物を使用することができる。そのような乗り物の実施例としては、限定されないが、自動車、自転車などのような有人の乗り物、無人飛行機(UAV)または「ドローン」、遠隔制御された自動車、ボートなどの無人の乗り物、または他のそのような操縦可能なデバイスが挙げられる。そのような実施形態では、基準化された乗り物または操縦可能なデバイスは、(例えば、プロトタイプまたは理想的に構築された構造上での)初期の検査を実行するように構成可能であり、及び/又はそのような構造の理想的な/意図された寸法や特徴を規定するモデルを処理することができる。そのようにする際に、検査計画(例えば、検査される実際の構造などについて)を算出することができる。本明細書に記載されるように、そのような検査計画を算出する際に、様々な考慮がなされ得る。例えば、検査される構造の1以上の重要または重大な範囲を識別することができ、基準化された検査を実行する際に乗り物が機動する経路は、そのような範囲の優先順位と関係し得る。さらなる例として、乗り物/デバイスの特定の技術的な制限は、基準化された検査計画を算出する際に関係性を有し得る(例えば、ドローンの飛行時間に影響を与え得るバッテリー制限、乗り物が移動することもあれば移動しないこともある場所に対する制限、高度/受信制限など)。そのようにする際に、記載されるテクノロジーは、最も効率的かつ最も有効と思われる手法で、基準化された構造を検査させることができる。基準化された検査計画を算出して、乗り物は、(例えば、製品の検査に対する)本明細書に記載される方法などで計画を実行することができる。
本明細書で基準化された構成要素は、特定の実施形態に従って、一緒に組み合わせることが可能であるか、または、さらなる構成要素へ分離可能であることを理解されたい。さらに、ある実施形態では、特定のデバイスの様々な構成要素は別の機械上で実行されてもよい。
同様に、本明細書に記載されるテクノロジーが主として製品の検査に関連して例証されているが、記載されるテクノロジーは同様に、任意の数の追加のまたは代替的な設定または文脈で、および、任意の数の目的に向かって実施することができることにも留意されたい。
図11は例示的なコンピュータシステムを描いており、その内部では、本明細書で議論されるやり方の任意の1つ以上を機会に実行させるための命令のセットが実行され得る。代替的な実施形態では、機械は、LAN、イントラネット、エクストラネット、またはインターネットで他の機械に接続される(例えば、ネットワークにつながれる)こともある。機械は、クライアントサーバネットワーク環境中のサーバマシンの容量において作動することもある。機械はパソコン(PC)、セットトップボックス(STB)、スマートカメラ、サーバ、ネットワークルーター、スイッチまたはブリッジ、または講じようとする措置を指定する命令のセット(連続的またはそれ以外)を実行することができる任意の機械であってもよい。さらに、1つの機械だけが図示されているが、用語「機械」は、本明細書で議論されるやり方の任意の1つ以上を行うために、命令のセット(または複数セット)を個々にまたは共同で実行する機械の任意の集団も含めるものと解釈されることになる。同様に、ある実施形態に係る基準化されたコンピュータシステムの様々なさらなる態様も図12で描かれており、以下に記載されることに留意されたい。
典型的なコンピュータシステム(600)は、処理システム(プロセッサ)(602)、メインメモリ(604)(例えば、読み取り専用メモリ(ROM)、フラッシュメモリ、シンクロナスDRAM(SDRAM)のようなダイナミックランダムアクセスメモリ(DRAM)、スタティックメモリ(606)(例えば、フラッシュメモリ、スタティックランダムアクセスメモリ(SRAM))、およびデータストレージデバイス(616)を含み、バス(608)によって相互に通信する。
プロセッサ(602)は、マイクロプロセッサ、中央処理デバイスなどの1以上の汎用処理デバイスを表す。特に、プロセッサ(602)は、複雑命令接地コンピューティング(CISC)マイクロプロセッサ、縮小命令セットコンピューティング(RISC)マイクロプロセッサ、超長命令語(VLIM)マイクロプロセッサ、または他の命令セットを実施するプロセッサ、あるいは命令セットの組み合わせを実施するプロセッサであってもよい。プロセッサ(602)は、アプリケーション特有の集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサなどの1以上の特殊用途の処理デバイスであってもよい。プロセッサ(602)は、本明細書に記載される動作と工程を行うための命令(626)を実行するように構成される。
コンピュータ・システム(600)はネットワークインターフェースデバイス(622)をさらに含み得る。コンピュータ・システム(600)はビデオディスプレイ(610)(例えば、液晶ディスプレイ(LCD)またはブラウン管(CRT))、英数字入力デバイス(612)(例えばキーボード)、カーソル制御デバイス(614)(例えばマウス)、および信号発生デバイス(620)(例えばスピーカ)を含み得る。
データストレージデバイス(616)はコンピュータ可読媒体(624)を含んでもよく、本明細書に記載されるやり方または機能のいずれか1つ以上の具体化する命令(626)の1以上のセットがこれに保存される。命令(626)は、コンピュータシステム(600)によるその実行の間、メインメモリ(604)及び/又はプロセッサ(602)の内部に完全にまたは少なくとも部分的に存在し、メインメモリ(604)とプロセッサ(602)は、コンピュータ可読媒体を構成する。命令(626)はさらに、ネットワークインターフェースデバイス(622)によってネットワーク上で送信または受信されてもよい。
コンピュータ可読記憶媒体(624)は、典型的な実施形態では単一の媒体として示されているが、用語「コンピュータ可読記憶媒体」は、命令の1以上のセットを保存する単一の媒体または複数の媒体(例えば、集中または分散型データベース、及び/又は、関連キャッシュおよびサーバ)を含めるものと解釈されなければならない。用語「コンピュータ可読記憶媒体」も、機械による実行される1セットの命令を保存し、コード化し、又は運ぶことができるとともに、本開示のやり方の任意の1以上を機械に行わせる、任意の媒体を含むものと解釈されなければならない。用語「コンピュータ可読記憶媒体」は、限定されないが、固体メモリ、光媒体、及び磁気媒体を含むものと解釈されなければならない。
図12は、本明細書に記載される1つ以上のテクノロジー及び/又は技術を実施するように構成された、コンピューティングデバイス(103)のさらなる態様を示す。デバイス(103)は、ラックマウントサーバ、ルータコンピューター、パソコン、形態情報端末、携帯電話、ラップトップコンピュータ、タブレットコンピュータ、カメラ、ビデオカメラ、ネットブック、デスクトップコンピュータ、メディアセンター、スマートフォン、時計、スマトウォッチ、車両内コンピュータ/システム、上記のものの任意の組合せ、または本明細書で記載された様々な特徴を実施することができる他の同様のコンピューティングデバイスとすることができる。自動車用途(「apps」)、ウェブブラウザなど(図示せず)のような様々な適用は、ユーザデバイス上(例えばユーザデバイスのオペレーティングシステム上)で動作しうる。それは理解されるに違いない、ある実施例において、ユーザデバイス(103)は、様々なセンサ及び/又はコミュニケーションインタフェースを包含及び/又は組込むことも可能である。そのようなセンサの実施例は、加速度計、ジャイロスコープ、コンパス、GPS、触覚センサ(例えばタッチスクリーン、ボタンなど)、マイクロフォン、カメラなどを含むが、これらに限定されない。そのような通信用インターフェースの実施例は、セルラー(例えば3G、4Gなど)インターフェース、Bluetooth(登録商標)インターフェース、WiFi(登録商標)インターフェース、USBインターフェース、NFC(登録商標)インターフェースなどを含むが、これらに限定されない。
前述のように、ある実施例において、ユーザデバイス(103)は、様々なセンサ及び/又はコミュニケーションインタフェースを包含及び/又は組込むことも可能である。図示するように、図12は、ユーザデバイス(103)の1つの典型的な実施例を表す。図2に示されるように、デバイス(103)は、本明細書に記載されるもののように、様々な動作を可能にするように提供される様々なハードウェア及び/又はソフトウエアコンポーネントに動作的に接続された制御回路(240)(例えばマザーボード)を含むことができる。制御回路(240)は、プロセッサ(210)およびメモリ(220)に動作的に接続することができる。プロセッサ(210)は、メモリ(220)にロードすることができるソフトウェアン対する命令を実行するように提供される。プロセッサ(210)は、特定の実施形態に応じ、多くのプロセッサ、マルチプロセッサコアまたは、いくつかの他のタイプのプロセッサとすることができる。さらにプロセッサ(210)は、シングルチップ上に、主プロセッサが副プロセッサと共に存在する多くの異種混合のプロセッサーシステムを使用して、実施することができる。他の図示される実施例のように、プロセッサ(210)は、同一形式の多数のプロセッサを含む対称マルチプロセッサシステムとすることができる。
メモリ(220)及び/又はストレージ(290)は、プロセッサ(210)によってアクセス可能であり、それにより、プロセッサ(210)が、メモリ(220)及び/又はストレージ(290)に保存された命令を受けて実行することを可能にする。メモリ(220)は、例えばランダムアクセスメモリ(RAM)や、他の適切な揮発性または不揮発性のコンピュータ可読記憶媒体とすることができる。さらに、メモリ(220)は固定でもするかまたは着脱可能でもよい。ストレージ(290)は特定の実施例に依存して、様々な形態をとることができる。例えば、ストレージ(290)は1以上の構成要素またはデバイスを含むことができる。例えば、ストレージ(290)は、ハードドライブ、フラッシュメモリ、書換可能光ディスクディスク、書き換え可能な磁気テープまたはこれらの組合せであり得る。ストレージ(290)も固定でも着脱可能でもよい。
通信用インターフェース(250)も、制御回路(240)に動作的に接続される。通信用インターフェース(250)は、ユーザデバイス(103)と1以上の外部デバイス、機械、サービス、システム、及び/又は要素との間の通信を可能にする任意のインタフェース(または複数のインタフェース)とすることができる(本明細書に記載されるような検査システム及び/又は要素を含むが、これらに限定されない)。通信用インターフェース(250)は,モデム,ネットワークインタフェースカード(NIC)、集積回路網インターフェース、無線周波送信機/受信機(例えばWiFi、Bluetooth、携帯電話、NFC)、衛星通信トランスミッター/受信機、赤外線ポート、USB接続、または、コンピューティングデバイス、システム、サービス、及び/又は、インターネットのような通信ネットワーク網に接続デバイス(103)を接続するための他の任意のインターフェースを含むが、これらに限定されない。そのような接続は、有線接続または無線接続(例えば802.11)を含むことができるが、通信用インターフェース(250)は、実際に制御回路(240)及び/又は本明細書に記載される様々な構成要素に対し/からの通信を可能にする、任意のインターフェースとなり得ることが理解されるべきである。
記載されるテクノロジーの動作中の様々な時点で、デバイス(103)は、それらは添付の図面に図示され及び/又は本明細書に記載されるもののように、1以上の他のデバイス、システム、サービス、サーバなどと通信することができる。そのようなデバイス、システム、サービス、サーバなどは、ユーザデバイス(103)に対し/から、データを送信及び/又は受信することができ、それにより、本明細書で詳細に記載するように、記載されるテクノロジーの動作を増強する。基準とするデバイス、システム、サービス、サーバなどは、本明細書に記載されるように、ユーザデバイス(103)との直通通信、ユーザデバイス(103)との非直接通信、ユーザデバイス(103)との定常的/進行的通信、ユーザデバイス(103)との周期的通信、及び/又は、ユーザデバイス(103)で調整される通信を行い得ることが理解されるべきである。
同様に、ユーザデバイス(103)の制御回路(240)と好ましく通信及び/又は接続するのは、1以上のセンサ(245A-245N)(全体としてセンサー(245)という)である。センサ(245)は様々な構成要素、デバイス、及び/又は受信機とすることができ、ユーザデバイス(103)内に組込み/一体化する、及び/又は、ユーザデバイス(103)と通信可能にすることができる。センサ(245)は、本明細書に記載される1以上の刺激、現象または他のそのような入力を検出するように構成することができる、そのようなセンサ(245)の実施例は、加速度計(245A)、ジャイロスコープ(245B)、GPS受信機(245C)、マイクロフォン(245D)、磁力計(245E)、カメラ(245F)、光センサ(245G)、温度センサ(245H)、高度センサ(2451)、圧力センサ(245J)、近接センサ(245K)、近接音場コミュニケーション(NFC)デバイス(245L)、コンパス(245M)および触覚センサ(245N)を含むが、これらに限定されない。本明細書に記載するように、デバイス(103)は、センサ(245)からの各種入力情報を感知/受信することができ、そのような入力は、本明細書に記載される様々な動作及び/又は態様を、開始、可能化、及び/又は、増強するために使用することができる。
この結合において、前述の記載(例えば、センサ(245)に関する)は、ユーザデバイス(103)、様々な他のデバイス、システム、サーバ、サービスなどを目的としているが(添付の図面に図示し及び/又は本明細書で記載したように)、同様に、ユーザデバイス(103)に関して記載した構成要素、要素、及び/又は、能力を組込むことができる点にに注目すべきである。例えば、記載される検査システム及び/又は要素は、基準となる構成要素、要素、及び/又は能力の1以上を同様に組込んでもよい。
上記の記述において、多数の詳細を述べている。しかしながら、この開示の利益を有する当業者において、実施形態は、これらの特定の詳細を含まずに実施され得ることは、明白である。ある例において、周知の構造およびデバイスは、記述を不明瞭にしないようにするため、詳細にではなく、ブロックダイアグラムの形で示した。
詳細説明の一部は、アルゴリズムの用語およびコンピューターメモリー内のデータビット上の動作の記号表示によって提示される。これらのアルゴリズムの記述および表示は、他の当業者に最も有効にそれらの仕事の実質を伝えるためにデータ処理技術に当業者によって使用される手段である。アルゴリズムは、ここでは、一般に、所望の結果に通じる工程の自己矛盾がないシーケンスであるとと考えられている。工程は、それらが要求する、物理量の物理学的操作である。通常、必然ではないが、これらの量は、保存され、転送され、組み合わされ、比較され、あるいは操作されることが可能な、電気的または磁気的信号の形態をとる。時には、主に一般的な慣習により、これらの信号に対し、ビット、値、要素、記号、キャラクタ、用語、数または同様のものを当てはめるのは、便利である場合もあることが分かる。
しかしながら、これらの全ておよび類似の用語は、適切な物理量と関連づけられていること、および、これらの量に適用された単に便利なラベルであることを念頭に置くべきである。特に記載しない限り上記の議論から明白なように、記述の全体にわたって、「受領」、「判定」、「キャプチャ」、「処理」などような用語を使用する議論は、コンピュータシステムの他のデータ内のレジスターおよびメモリ内で物理学的(例えば、電子的)量として表わされ、同様にコンピュータ・システムメモリまたはレジスターまたは他のそのような情報記憶(トランスミッションまたは表示デバイス)内で物理量として表わされたデータを操作および変形するコンピュータシステム、または同様の電子計算デバイスの作用およびプロセスに言及することが認識される。
本開示の態様および実施例は、本明細書において、動作を実行するための機器にも関連する。この機器は、必要とされる目的のために、特別に構成されてもよい。そのようなコンピュータプログラムは、例えば、限定的でなく、フロッピーディスク、光ディスク、CD-ROMおよび光磁気ディスクを含む任意のタイプのディスク、読み取り専用メモリ(ROM)、ランダムアクセスメモリー(RAM)、EPROM、EEPROM、磁気もしくは光カード、または電子的命令を保存するのに適している任意のタイプの媒体などの、コンピュータ可読記憶媒体に保存されてもよい。
本発明が任意の特定のプログラミング言語に関しても記載されないことは、理解されるべきである。様々なプログラミング言語が、本明細書に記載される開示の教示事項を実施するために使用され得ることが認識される。
以上の記述は、例示を意図するものであり、限定的でないことは、理解されるべきである。他の多くの実施形態は、上記記述を読んで理解することにより、当業者において明白であろう。さらに、上述の技術は、本明細書で言及したものに代えて、または加えて、他のタイプのデータにも適用され得る。したがって開示の範囲は、特許請求の範囲を参照して、そのような請求項が及ぶ等価物の十分な範囲と共に、決定されるべきである。

Claims (21)

  1. 検査方法であって、
    基準部品の1以上の画像をキャプチャする工程
    基準部品の検査モデルを生成するために、基準部品の1以上の画像を処理する工程であって、前記検査モデルは複数の要素の識別を含み、前記処理する工程は、前記識別に基づいて前記識別された要素に対して適用される検査パラメータを、ベストプラクティスデータベースに問い合わせることを含み、前記検査モデルは最小識別単位に分割され、前記複数の要素はそれぞれ最小識別単位となる、工程、
    前記問い合わせに基づいて、前記ベストプラクティスデータベースの前記要素と関連した検査技術の少なくとも1つの特異なタイプを含む1以上の分析パラメータを、前記識別された要素を含む検査モデルの1以上の領域に関連づける工程
    処理デバイスによって、検査モデルおよび1以上の分析パラメータに基づく検査計画を生成する工程であって、前記検査計画は、基準部品の特定の要素と、そのような要素のための特定の検査パラメータと特定の検査技術の関連付けを含む、工程
    検査計画に基づいて、検査されるべき部品の1以上の画像をキャプチャする工程
    部品に関する1以上の判定値を算出するために、分析パラメータと関連する部品の1以上の画像を処理する工程であって、前記処理する工程は、複数の要素について、
    (a)前記画像内の要素を最小識別単位として識別することおよび
    (b)関連付けられた前記特定の検査パラメータと特定の検査技術を前記要素に適用すること
    を含む、工程および
    1以上の判定値に基づいて1以上の出力を提供する工程、
    を含むことを特徴とする検査方法。
  2. 以上の判定値を算出することは、品質判定値を算出するために、前記最小識別単位の各々を個々に考慮することを含む、請求項1に記載の検査方法。
  3. 前記部品内の同じ要素は、前記基準部品内の要素の位置に応じて、様々な検査パラメータを有する、請求項1または2に記載の検査方法。
  4. 前記関連付けは、前記検査モデルの部品とサブ部品の様々な関連付けを含む、請求項1乃至3の何れか1つに記載の検査方法。
  5. 前記適用することは、前記要素の存在または非存在を識別することを含む、請求項1乃至4の何れか1つに記載の検査方法。
  6. 前記複数の要素を識別することは、ネジ、コネクタ、および/またはラベルを識別することを含む、請求項1乃至5の何れか1つに記載の検査方法。
  7. 検査計画に基づいてキャプチャする前記工程は、少なくとも1つの固定カメラを使用してキャプチャすることを含む、請求項1乃至6の何れか1つに記載の検査方法。
  8. 基準部品は、基準部品を反映するコンピュータ援用設計(CAD)モデルを含み、前記方法は、CADモデルに基づいて、基準部品に関連して画像キャプチャ装置を操縦するようにロボットアームを構成する工程をさらに含む、請求項1乃至7の何れか1つに記載の検査方法。
  9. 基準部品の1以上の画像をキャプチャする工程は、基準部品に関連した1以上の画像補足パラメータに基づいて、基準部品の1以上の画像をキャプチャする工程を含み、
    1以上の画像キャプチャパラメータは、
    (a)基準部品の材料、
    (b)基準部品の1以上の大きさ、
    (c)基準部品の1以上の画像をキャプチャするのに使用される1以上の照明タイプ、または
    (d)基準部品の1以上の画像をキャプチャするのに使用される画像補足装置の1以上の特徴、
    のうちの少なくとも1つと関係する1以上の画像補足パラメータを含む、請求項1乃至8の何れか1つに記載の検査方法。
  10. 検査モデルは、基準部品の1以上の視覚的な特徴を含み、基準部品の1以上の視覚的な特徴は、基準部品の1以上の幾何学的特性、または基準部品の1以上の反射特性のうちの少なくとも1つを含む、請求項1乃至9の何れか1つに記載の検査方法。
  11. 検査モデルは、基準部品に関連した1以上の欠陥許容差を反映し、1以上の欠陥許容差は、複数の基準部品のそれぞれの検査において識別した不一致に基づいて判定される、請求項1乃至10の何れか1つに記載の検査方法。
  12. 基準部品の1以上の画像を処理する工程は、
    (i)基準部品の1以上の視覚的な特徴に基づいて、基準部品に関連する1以上の推定値を算出する工程であって、1以上の推定値は、(a)基準部品の材料における変化、(b)基準部品の反射特性、または(c)基準部品の角度、のうちの少なくとも1つに関連する、1以上の推定された視覚的特徴を含む、工程、または
    (ii)基準部品のCADモデルを基準部品の1以上の画像と比較する工程であって、基準部品のCADモデルと基準部品の1以上の画像との間の不一致の判定値に基づいて、比較可能な不一致が欠陥ではないことを判定する、工程
    のうち少なくとも1つを含む、請求項1乃至11の何れか1つに記載の検査方法。
  13. 検査計画を生成する工程は、
    (i)検査計画を生成するために、1以上のテスト要件に関して、検査モデルを処理する工程であって、1以上のテスト要件は、検査モデルの1以上の範囲に関連する1以上の検査パラメータを規定する、工程、
    (ii)欠陥が存在すると予測される検査モデルの1以上の範囲を予測するために、検査モデルを処理し、欠陥が存在すると予測される検査モデルの1以上の範囲に関して、1以上の検査パラメータを関連づける工程、
    (iii)検査計画を生成するために、1以上のテスト要件に関して、検査モデルを処理する工程であって、1以上のテスト要件は、基準部品の検査に関して識別した1以上の変動性に基づいて生成される、工程、または
    (iv)検査される部品の1以上の反射特性に基づいて、検査計画の1以上の態様を修正する工程
    のうち少なくとも1つを含む、請求項1乃至12の何れか1つに記載の検査方法。
  14. 検査計画は、検査シーケンスにおける1工程に関するロボットアームの位置決めを、検査シーケンスにおける後続の工程に基づいて設定する、請求項1乃至13の何れか1つに記載の検査方法。
  15. 検査計画を生成する工程は、検査される部品の1以上の範囲の欠陥の存在の可能性を示す、製造プロセスの1以上の態様に属する情報を受領する工程、および製造プロセスの1以上の態様に基づいて、部品の1以上の範囲の検査を優先化することによって検査計画を修正する工程を含む、請求項1乃至14の何れか1つに記載の検査方法。
  16. 検査される部品の1以上の画像をキャプチャする工程は、部品の位置決めをするために、検査される部品の1以上の画像を処理する工程を含み、前記方法は、位置決めに基づいて、部品に対する検査計画の実行を適合させる工程をさらに含む、請求項1乃至15の何れか1つに記載の検査方法。
  17. 1以上の出力を提供する工程は、グラフィカルユーザインタフェース(GUI)によって1以上の判定値を提示する工程を含み、前記方法がさらに、1以上の判定値に関しGUIを通じて1以上のフィードバックアイテムを受領する工程、および1以上のフィードバックアイテムに基づいて検査計画を調節する工程、を含む、請求項1乃至16の何れか1つに記載の検査方法。
  18. 1以上の出力を提供する工程は、
    (i)部品と関連づけられたデザインエンジンに1以上の判定値を提供する工程であって、前記方法がさらに、1以上の判定値の観点から、部品のデザインの1以上の態様を調整する工程を含む、工程、
    (ii)部品と関連づけられた製造ステーションに1以上の判定値を提供する工程であって、前記方法がさらに、1以上の判定値の観点から、部品の製造の1以上の態様を調整する工程を含む、工程、または
    (iii)部品内で識別された欠陥を修正可能な1以上の修正命令を生成し、製造ステーションに部品と関連づけられる1以上の修正命令を提供する工程
    のうち少なくとも1つを含む、請求項1乃至17の何れか1つに記載の検査方法。
  19. 1以上の判定値に基づいて、1以上の他の部品に関して生じ得る潜在的な欠陥に関する、1以上の推定値を算出する工程をさらに含む、請求項1乃至18の何れか1つに記載の検査方法。
  20. 検査モデルは基準部品の多次元のモデルを含み、多次元のモデルは、基準部品の構造の1以上の態様、基準部品の原料組成物の1以上の態様、および基準部品の1以上の視覚的特徴の定義を含む、請求項1乃至19の何れか1つに記載の検査方法。
  21. 請求項1乃至20の何れか1つに記載の検査方法を実行するように構成される1以上のプロセッサを含む、システム。
JP2017546056A 2014-11-24 2015-11-24 自動検査方法 Active JP7108247B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022016562A JP2022078043A (ja) 2014-11-24 2022-02-04 自動検査方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462083807P 2014-11-24 2014-11-24
US62/083,807 2014-11-24
PCT/IB2015/002414 WO2016083897A2 (en) 2014-11-24 2015-11-24 Automated inspection

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022016562A Division JP2022078043A (ja) 2014-11-24 2022-02-04 自動検査方法

Publications (4)

Publication Number Publication Date
JP2018506127A JP2018506127A (ja) 2018-03-01
JP2018506127A5 JP2018506127A5 (ja) 2020-09-03
JPWO2016083897A5 JPWO2016083897A5 (ja) 2022-04-04
JP7108247B2 true JP7108247B2 (ja) 2022-07-28

Family

ID=56075093

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017546056A Active JP7108247B2 (ja) 2014-11-24 2015-11-24 自動検査方法
JP2022016562A Pending JP2022078043A (ja) 2014-11-24 2022-02-04 自動検査方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022016562A Pending JP2022078043A (ja) 2014-11-24 2022-02-04 自動検査方法

Country Status (5)

Country Link
US (2) US10916005B2 (ja)
EP (1) EP3224806B1 (ja)
JP (2) JP7108247B2 (ja)
CN (2) CN107408297B (ja)
WO (1) WO2016083897A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220392055A1 (en) * 2021-06-07 2022-12-08 Elementary Robotics, Inc. Machine-Learning Based Continuous Camera Image Triggering for Quality Assurance Inspection Processes

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10916005B2 (en) 2014-11-24 2021-02-09 Kitov Systems Ltd Automated inspection
US10514614B2 (en) * 2015-02-13 2019-12-24 Asml Netherlands B.V. Process variability aware adaptive inspection and metrology
FR3037429B1 (fr) * 2015-06-15 2018-09-07 Donecle Systeme et procede d'inspection automatique de surface
JP6745156B2 (ja) * 2016-07-15 2020-08-26 ニッタン株式会社 飛行体
US10706530B2 (en) 2017-09-11 2020-07-07 International Business Machines Corporation Object detection
US11086315B2 (en) 2017-10-26 2021-08-10 2KR Systems, LLC Building rooftop intelligence gathering, decision-support and snow load removal system for protecting buildings from excessive snow load conditions, and automated methods for carrying out the same
US10969521B2 (en) 2017-10-26 2021-04-06 2KR Systems, LLC Flexible networked array for measuring snow water equivalent (SWE) and system network for providing environmental monitoring services using the same
IL257256A (en) * 2018-01-30 2018-03-29 HYATT Yonatan System and method for establishing production line tests
CN112585672A (zh) * 2018-01-15 2021-03-30 基托夫系统有限公司 自动检查和零件登记
JPWO2019139172A1 (ja) * 2018-01-15 2020-02-27 本郷飛行機株式会社 情報処理システム
JP6917925B2 (ja) * 2018-03-12 2021-08-11 株式会社日立製作所 Cadデータ検査システム
US11087446B2 (en) * 2018-03-25 2021-08-10 Matthew Henry Ranson Automated arthropod detection system
CN108764029A (zh) * 2018-04-16 2018-11-06 南京维拓科技股份有限公司 模型智能检查方法
US11049052B2 (en) 2018-05-02 2021-06-29 International Business Machines Corporation Automated managing of a data center installation
CN109000559B (zh) * 2018-06-11 2020-09-11 广东工业大学 一种物体体积的测量方法、装置、系统和可读存储介质
EP3807730A1 (en) * 2018-06-14 2021-04-21 Gestamp Servicios, S.A. Quality monitoring of industrial processes
IL263399B (en) * 2018-11-29 2022-09-01 Inspekto A M V Ltd Centralized analyzes of multiple devices for visual inspection of a production line
WO2020110129A1 (en) * 2018-11-29 2020-06-04 Inspekto A.M.V Ltd Centralized analytics of multiple visual inspection appliances
US11682113B2 (en) 2018-11-29 2023-06-20 Inspekto A.M.V. Ltd. Multi-camera visual inspection appliance and method of use
JP7221038B2 (ja) * 2018-12-10 2023-02-13 大和ハウス工業株式会社 留め付け検査システムおよび留め付け検査方法
US10670539B1 (en) * 2018-12-11 2020-06-02 General Electric Company Coating quality inspection system and method
US10964015B2 (en) * 2019-01-15 2021-03-30 International Business Machines Corporation Product defect detection
US11210770B2 (en) * 2019-03-15 2021-12-28 Hitachi, Ltd. AI-based inspection in transportation
US20230016639A1 (en) * 2020-02-24 2023-01-19 Saccade Vision Ltd. System and method for controlling automatic inspection of articles
US11162770B2 (en) * 2020-02-27 2021-11-02 Proto Labs, Inc. Methods and systems for an in-line automated inspection of a mechanical part
DE102020209509A1 (de) * 2020-07-28 2022-02-03 Sivantos Pte. Ltd. Verfahren zur Fehlererkennung bei einem Hörgerät sowie System
IL300371A (en) * 2020-08-05 2023-04-01 Kitov Systems Ltd Design Coding of Bio Parts Inspection Requirements
US11410417B2 (en) * 2020-08-17 2022-08-09 Google Llc Modular system for automatic hard disk processing and verification
US11625821B2 (en) * 2020-10-14 2023-04-11 Baker Hughes Oilfield Operations Llc Automated inspection-plan based detection
US11782167B2 (en) 2020-11-03 2023-10-10 2KR Systems, LLC Methods of and systems, networks and devices for remotely detecting and monitoring the displacement, deflection and/or distortion of stationary and mobile systems using GNSS-based technologies
CN112419299B (zh) * 2020-12-04 2024-01-19 中冶建筑研究总院(深圳)有限公司 一种螺栓缺失检测方法、装置、设备及存储介质
DE102021208648A1 (de) * 2021-08-09 2023-02-09 Robert Bosch Gesellschaft mit beschränkter Haftung Prüfverfahren zur Prozessqualitätsüberprüfung und Prüfvorrichtung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004502250A (ja) 2000-06-28 2004-01-22 テラダイン・インコーポレーテッド 検査システムと共に用いるための画像処理システム
JP2004093338A (ja) 2002-08-30 2004-03-25 Nec Corp 外観検査装置および外観検査方法
JP2006208362A (ja) 2004-12-27 2006-08-10 Omron Corp 画像処理方法、基板検査方法、基板検査装置、および基板検査用の検査データ作成方法
US20080281548A1 (en) 2005-08-26 2008-11-13 Camtek Ltd Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines
US20120057773A1 (en) 2010-08-10 2012-03-08 Camtek Ltd. Inspection recipe generation and inspection based on an inspection recipe
US20140050389A1 (en) 2012-08-14 2014-02-20 Kla-Tencor Corporation Automated Inspection Scenario Generation

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107510B2 (ja) * 1986-02-18 1995-11-15 オムロン株式会社 基板検査装置および基板検査方法
JPH07107511B2 (ja) * 1986-05-07 1995-11-15 オムロン株式会社 プリント基板検査装置
US5859923A (en) 1992-12-29 1999-01-12 Cognex Corporation Mark quality inspection apparatus and method
JP3583450B2 (ja) * 1993-09-28 2004-11-04 川崎重工業株式会社 3次元物体の自動検査装置および方法
US5815198A (en) * 1996-05-31 1998-09-29 Vachtsevanos; George J. Method and apparatus for analyzing an image to detect and identify defects
US6408429B1 (en) * 1997-01-17 2002-06-18 Cognex Corporation Machine vision system for identifying and assessing features of an article
CA2307031C (en) * 1997-10-09 2007-03-27 Joseph L. Vilella Electronic assembly video inspection system
US6324298B1 (en) * 1998-07-15 2001-11-27 August Technology Corp. Automated wafer defect inspection system and a process of performing such inspection
US6445812B1 (en) * 1999-01-22 2002-09-03 Siemens Corporate Research, Inc. Illumination compensation system for industrial inspection
JP4246319B2 (ja) * 1999-06-16 2009-04-02 パナソニック株式会社 照明むら測定方法および測定装置
US6581202B1 (en) * 2000-11-10 2003-06-17 Viasystems Group, Inc. System and method for monitoring and improving dimensional stability and registration accuracy of multi-layer PCB manufacture
WO2002088688A1 (en) * 2001-05-02 2002-11-07 Teradyne, Inc. Inspection system using dynamically obtained values and related techniques
GB0210990D0 (en) 2002-05-14 2002-06-19 Rolls Royce Plc Method of generating an inspection program and method of generating a visual display
US7183120B2 (en) * 2002-10-31 2007-02-27 Honeywell International Inc. Etch-stop material for improved manufacture of magnetic devices
US6927003B2 (en) * 2003-02-11 2005-08-09 Synopsys, Inc. Simulation based PSM clear defect repair method and system
GB0303270D0 (en) 2003-02-13 2003-03-19 Renishaw Plc A machine tool control process and apparatus therefor
US20040223053A1 (en) 2003-05-07 2004-11-11 Mitutoyo Corporation Machine vision inspection system and method having improved operations for increased precision inspection throughput
DE102004007829B4 (de) 2004-02-18 2007-04-05 Isra Vision Systems Ag Verfahren zur Bestimmung von zu inspizierenden Bereichen
US7111783B2 (en) 2004-06-25 2006-09-26 Board Of Trustees Operating Michigan State University Automated dimensional inspection
US7398129B2 (en) * 2004-10-07 2008-07-08 Amada Company, Limited Representation of sheet metal part models
US7570796B2 (en) * 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7689003B2 (en) 2006-03-20 2010-03-30 Siemens Energy, Inc. Combined 2D and 3D nondestructive examination
US20080099675A1 (en) * 2006-10-31 2008-05-01 Hitachi High-Technologies Corporation Inspection apparatus and an inspection method
JP4943304B2 (ja) * 2006-12-05 2012-05-30 株式会社 Ngr パターン検査装置および方法
JP5197632B2 (ja) * 2007-02-21 2013-05-15 ロッキード マーティン コーポレイション 超音波非破壊評価システム、及びそれによる超音波非破壊評価方法
ES2661736T3 (es) * 2007-10-03 2018-04-03 Kabushiki Kaisha Toshiba Dispositivo de examen visual y método de examen visual
JP5156452B2 (ja) * 2008-03-27 2013-03-06 東京エレクトロン株式会社 欠陥分類方法、プログラム、コンピュータ記憶媒体及び欠陥分類装置
JP5414215B2 (ja) * 2008-07-30 2014-02-12 株式会社日立ハイテクノロジーズ 回路パターン検査装置、および回路パターンの検査方法
US8358831B2 (en) * 2008-09-11 2013-01-22 Rudolph Technologies, Inc. Probe mark inspection
FR2940449A1 (fr) * 2008-12-24 2010-06-25 Snecma Procede de controle non destructif d'une piece mecanique
US8746089B2 (en) * 2009-01-19 2014-06-10 Babcock & Wilcox Nuclear Energy, Inc. Apparatus for automated positioning of eddy current test probe
GB0905718D0 (en) * 2009-04-02 2009-05-20 Roke Manor Research Automated 3D image analysis
US8781208B2 (en) 2009-04-30 2014-07-15 Wilcox Associates, Inc. Inspection method and inspection apparatus
JP2011174896A (ja) * 2010-02-25 2011-09-08 Mitsubishi Heavy Ind Ltd 撮像装置及び撮像方法
JP5518571B2 (ja) * 2010-05-24 2014-06-11 株式会社ブリヂストン タイヤの外観検査装置及び外観検査方法
KR101240947B1 (ko) 2010-12-30 2013-03-18 주식회사 미르기술 비전검사장치
US9201022B2 (en) * 2011-06-02 2015-12-01 Taiwan Semiconductor Manufacturing Company, Ltd. Extraction of systematic defects
JP5647999B2 (ja) * 2012-01-04 2015-01-07 株式会社日立ハイテクノロジーズ パターンマッチング装置、検査システム、及びコンピュータプログラム
JP5948138B2 (ja) * 2012-05-11 2016-07-06 株式会社日立ハイテクノロジーズ 欠陥解析支援装置、欠陥解析支援装置で実行されるプログラム、および欠陥解析システム
US9251582B2 (en) 2012-12-31 2016-02-02 General Electric Company Methods and systems for enhanced automated visual inspection of a physical asset
US9091935B2 (en) * 2013-03-11 2015-07-28 Kla-Tencor Corporation Multistage extreme ultra-violet mask qualification
US20140336928A1 (en) 2013-05-10 2014-11-13 Michael L. Scott System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
US9430824B2 (en) * 2013-05-14 2016-08-30 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
WO2014209226A1 (en) * 2013-06-07 2014-12-31 Asti Holdings Limited Systems and methods for automatically verifying correct die removal from film frames
US9187188B2 (en) 2013-07-02 2015-11-17 Premium Aerotec Gmbh Assembly inspection system and method
JP6329397B2 (ja) * 2014-03-07 2018-05-23 株式会社ダイヘン 画像検査装置及び画像検査方法
US10916005B2 (en) 2014-11-24 2021-02-09 Kitov Systems Ltd Automated inspection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004502250A (ja) 2000-06-28 2004-01-22 テラダイン・インコーポレーテッド 検査システムと共に用いるための画像処理システム
JP2004093338A (ja) 2002-08-30 2004-03-25 Nec Corp 外観検査装置および外観検査方法
JP2006208362A (ja) 2004-12-27 2006-08-10 Omron Corp 画像処理方法、基板検査方法、基板検査装置、および基板検査用の検査データ作成方法
US20080281548A1 (en) 2005-08-26 2008-11-13 Camtek Ltd Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines
US20120057773A1 (en) 2010-08-10 2012-03-08 Camtek Ltd. Inspection recipe generation and inspection based on an inspection recipe
US20140050389A1 (en) 2012-08-14 2014-02-20 Kla-Tencor Corporation Automated Inspection Scenario Generation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220392055A1 (en) * 2021-06-07 2022-12-08 Elementary Robotics, Inc. Machine-Learning Based Continuous Camera Image Triggering for Quality Assurance Inspection Processes

Also Published As

Publication number Publication date
US10916005B2 (en) 2021-02-09
CN112837266A (zh) 2021-05-25
CN107408297B (zh) 2021-02-02
EP3224806B1 (en) 2024-06-05
JP2018506127A (ja) 2018-03-01
US20190213724A1 (en) 2019-07-11
US20210166364A1 (en) 2021-06-03
EP3224806A2 (en) 2017-10-04
EP3224806A4 (en) 2018-07-18
WO2016083897A2 (en) 2016-06-02
JP2022078043A (ja) 2022-05-24
WO2016083897A3 (en) 2016-08-18
CN107408297A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
JP7108247B2 (ja) 自動検査方法
Munoz et al. Mixed reality-based user interface for quality control inspection of car body surfaces
JPWO2016083897A5 (ja)
JP2018004390A (ja) 検査システム
CA3097316A1 (en) System and method for detecting defects on imaged items
TW201417002A (zh) 行動化建置產品履歷系統及產線作業之管控方法
US20220020136A1 (en) Optimizing a set-up stage in an automatic visual inspection process
Saif et al. Development of a smart system based on STEP-NC for machine vision inspection with IoT environmental
Saif et al. Roundness Holes’ Measurement for milled workpiece using machine vision inspection system based on IoT structure: A case study
Son et al. Path planning of multi-patched freeform surfaces for laser scanning
JP2024026316A (ja) 自動検査および部品登録
Dubreuil et al. Calibration based on part set-up measurement for on-machine inspection using vision
US20230410364A1 (en) Semantic segmentation of inspection targets
JP2022096630A (ja) 距離データを使用した構造的不整合の検出
Lin et al. Reconfiguration of quality inspection approach to the food processing industry
Tsai et al. Body thickness and bottom defect detection methods for products made by bottle blowing machines to meet quality requirements
Pillai et al. Burr registration using image processing
US20230191634A1 (en) Multistep Visual Assistance for Automated Inspection
Ivaschenko et al. Intelligent Machine Vision Implementation for Production Quality Control
Kos et al. Detection, localization and recognition of objects using LabVIEW
Chen et al. Size Detection System for Integrated Circuit Lead Frame Using Machine Vision
Wieczorowski et al. Measurements of Geometric Quantities in an Automatic Line for the Verification of Large-Size Rings and Rims
KR20220030113A (ko) 시료 불량 분석 시스템 및 시료 불량 분석 방법
WO2023081019A1 (en) Cmm downtime system
Beauchemin The Digital Optical Comparator Advances

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200331

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200529

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20200707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211004

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20220204

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220204

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220221

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220324

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220630

R150 Certificate of patent or registration of utility model

Ref document number: 7108247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150