JP2024026316A - 自動検査および部品登録 - Google Patents

自動検査および部品登録 Download PDF

Info

Publication number
JP2024026316A
JP2024026316A JP2023207156A JP2023207156A JP2024026316A JP 2024026316 A JP2024026316 A JP 2024026316A JP 2023207156 A JP2023207156 A JP 2023207156A JP 2023207156 A JP2023207156 A JP 2023207156A JP 2024026316 A JP2024026316 A JP 2024026316A
Authority
JP
Japan
Prior art keywords
inspection
component
various
images
dimensions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023207156A
Other languages
English (en)
Inventor
アブラハミ,ニーウ
Avrahami Nir
ルブナー,ジョセフ
Rubner Joseph
ゲダリャフ,クフィル
Gedalyahu Kfir
ベレッド,エラン
Vered Eran
トザフリ,リラン
Tzafri Liran
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kitov Systems Ltd
Original Assignee
Kitov Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kitov Systems Ltd filed Critical Kitov Systems Ltd
Publication of JP2024026316A publication Critical patent/JP2024026316A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4097Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using design data to control NC machines, e.g. CAD/CAM
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35216Program, generate nc program, code from cad data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37205Compare measured, vision data with computer model, cad data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37439Computer assisted inspection, cad interactive with manual commands
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37443Program cmm, coordinate measuring machine, use cad data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37452Generate nc program from metrology program, defining cmm probe path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • General Factory Administration (AREA)

Abstract

【課題】自動検査と部品登録のためのシステムと方法を提供する。【解決手段】自動検査システムにおいて、検査装置100は、部品の領域の選択を、該部品の表現を表すグラフィカルユーザーインターフェース内で受信し、前記部品の領域の選択に基づいて、選択した領域の場所を判定し、判定した場所に基づいて画像取込パラメーターを決定し、決定した画像取込パラメーター及び選択した領域の場所に基づいて、前記部品に対して検査経路を計算し、計算した検査経路を前記部品に対して実行し、検査計画を生成する。【選択図】図1

Description

関連出願への相互参照
本出願は、2018年1月15日出願の米国仮特許出願第62/617,312号に関連し、かつその優先権の利益を主張するものであり、この特許出願は、その全体を引用することで本明細書に組み込まれる。
技術分野
本開示の態様と実施は、データ処理、より具体的には自動検査と部品登録に関するものであるが、これらに限定されない。
工場生産品に関する業界など、多くの業界では、欠陥がないことを保証するために生産品の検査を行うことが都合のよい場合がある。このような検査はよく手で(例えば、人間の検査員により)行われるが、様々な不正確性や非効率性が生じる場合もある。
本開示の態様と実施は、以下に提供する詳細な説明や、本開示の様々な態様と実施に係る添付図面から十分に理解されるであろう。しかし、これらは、本開示を特定の態様または実施に限定するものではなく、説明と理解を促すためのものに過ぎない。
実施形態の一例に従う、システムの一例を示す。 実施形態の一例に従う、自動検査および部品登録のための方法の態様を示すフローチャートである。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、自動検査および部品登録のための方法の態様を示すフローチャートである。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、自動検査および部品登録のための方法の態様を示すフローチャートである。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、自動検査および部品登録のための方法の態様を示すフローチャートである。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、本明細書に記載されるシナリオの例を示す。 実施形態の一例に従う、自動検査および部品登録のための方法の態様を示すフローチャートである。 実施形態の一例に従う、機械可読媒体から命令を読み取り、本明細書で考察される方法の何れかを実行できる機械のコンポーネントを示すブロック図である。
本開示の態様および実施は、自動検査および部品登録に関連する。
記載される技術は、製造された、または組み立てられた生産品/物体や、製造プロセスなどに対して利用可能である。多数のシナリオにおいて、生産品の検査は、手で(例えば、人間の検査員により)行われる。このような手での検査には、(例えばヒューマンエラーによる)不正確または不明確な結果など、多数の非効率性が伴う。
ある技術は、外観検査のある態様の自動化を試みているが、依然として多くの非効率性が残る。例えば、既存の検査技術は大抵、複雑である。このようなシステムは大抵、適切な動作を行うために、高度な訓練を受けた/熟練のユーザーにより構成されねばならない。ゆえに、このようなシステム(適切な動作のために熟練の/訓練を受けた人員により構成されねばならない)は、低コストおよび/または利益率の低い部品への利用ではコスト効率がよくない場合がある。
したがって、本明細書には、様々な実施形態において、自動検査(例えば、部品/生産品検査)を対象とするシステム、方法、技術、および関連技術が記載される。特に言及される技術は、複雑な三次元構造をもつ部品、物体、生産品などの検査(例えば表面検査)のために構成された検査ステーションまたはシステムである。
本明細書に記載されるように、ある実施形態において、言及される検査ステーション/システムは、照射装置、センサー、連節アーム、および/または、他の任意の機械要素またはロボット要素が挙げられるがこれらに限定されない、ハードウェア要素を組み込む場合がある。このような技術製品を組み込むことで、単一の普遍的な検査システムを、実際のあらゆる状況/環境(例えば、実際の任意/すべての部品の検査に関する)に展開することができる。したがって、記載された技術製品によって、例えば、検査される生産品/物体の態様に規則的に変化が生じる(ゆえに、専用の検査システムが実用的でなくなる)シナリオにおいて、既存の技術製品を上回る大きな利点および/または改善をもたらすことができる。
加えて、ある実施形態において、記載された技術製品を、直観的かつ単純な様式で(例えば、特定の技術訓練を受けていないユーザーでも)構成することができる。本明細書で詳しく記載されるように、記載された技術製品により、比較的短時間で実際の任意の部品に対する構成や較正などを実行できる、高度に効率的な検査プロセスが可能となる。その際に、単一の検査システム/ステーションを利用して、複数の部品/生産品を検査することができる。加えて、このようなシステムは、検査間の「機能停止」をほとんど、または全く生じさせることなく、1つの生産品から別の生産品へと検査を切り替えることができる。その際に、記載された技術製品は、自動検査が非効率であり、またはコストがかかるかもしれないシナリオや環境において、効果的かつ効率的に実施できる。
加えて、ある実施形態において、記載された技術製品により、例えば検査される部品のモデルに関連して、様々な試験パラメーターや要件などの規定が可能となり、および/または容易となる。記載された技術はさらに、参照されたパラメーターや要件などを完全な検査計画へと自動変換することができる。このような検査計画は、動作、取得、および/または試験の規定を含む場合があり、これらは、(様々な計算/識別された区域や領域などで、例えば記載された生成画像内で)実行する必要がある動作、プロセス、検査などのほか、これら動作、プロセス、検査などが試験に使用されるパラメーターを特定できる。
それゆえ、記載された技術製品は、製造、生産品検査、および自動化を含むがこれらに限定されない、複数の技術領域における特定の技術的課題や長年の欠点を対象とし、これらに対処することを理解できる。本明細書に詳しく記載されるように、開示された技術製品は、言及された技術的課題、および言及された技術分野における不十分なニーズに対する特定の技術的解決法を提供することで、多数の利点および従来の手法の改善をもたらす。加えて、様々な実施形態において、本明細書で言及されるハードウェア要素やコンポーネントなどの1つ以上を動作させることで、本明細書に記載される方式などにおいて、記載された技術製品を有効にし、改善し、および/または強化する。
検査装置(100)の一例を図1に示す。示されるように、検査装置(100)には光学ヘッド(110)が備わっている場合がある。光学ヘッドは、照射装置(112)(例えば、白熱、赤外線、レーザーなど)および/またはセンサー(114)(例えば、1D/2D/3Dカメラなど)を備える、または組み込んでいる場合がある。このようなセンサー(114)は、言及された照射装置(112)(異なる相対的位置、スペクトル、タイプなどの場合がある)と協働して作動できる。加えて、光学ヘッド(110)は、検査中に物体/部品(130)に対する空間で操作することができる。例えば、ある実施形態において、光学ヘッド(110)を、例えば検査中に光学ヘッド(110)の位置を変更する可動式アーム/ロボット(120)に取り付けることができる。
ある実施形態において、追加/別個のコンピューティングデバイス(例えば、図12に表され、かつ本明細書に記載されるような、1つ以上のプロセッサー)を、光学ヘッドに/光学ヘッド内に設置し、または統合することができる。このようなコンピューティングデバイスは、ある実施形態において、生データ(例えば、言及されたセンサー(112)により取り込まれるような)を分析するように構成することができる。その際に、(例えば、追加処理のために別のシステムや装置などに)伝達されるデータ(例えば、画像など)の量を減らすことで、相当な効率を実現できる。例えば、相当な効率を実現することで、欠陥が疑われる(または、より複雑な処理を必要とする)部品/領域のみを、(例えば専用のステーション/サーバー上での)より徹底した分析のために識別/伝達することができる。
ある実施形態において、記載されたシステムは更に、装置(150)を備える、または組み込む場合がある。このようなデバイスは、(例えば、図12に関連して)本明細書に記載されるものなどの、コンピューティングデバイスやターミナルの場合がある。このような装置(150)は、ユーザーに様々な情報(例えば、様々なモデル、取り込まれた画像、選択可能な選択肢のメニューなどの視覚表示)を視覚的に提示するように構成することができる。ある実施形態において、装置(150)はまた、本明細書に記載されるような、様々な入力/出力インターフェース(例えばタッチスクリーン、キーボード、マウスなど)を備える場合がある。このようなインターフェースにより、ユーザー/オペレーターは、本明細書に記載されるように、入力や選択などを提供して、システム(100)の操作を構成、制御、および/または調整することができる。システム(100)の装置(150)および/または他のコンポーネントはさらに、本明細書に記載される動作の1つ以上を実行するように様々なコンポーネントを構成する部品登録/検査などの、アプリケーション、プログラム、命令などを備える場合がある。
記載された検査システムによって検査されている物体/部品(130)を、いくつもの方法で位置決めし、または配向することができる。例えば、部品を固定することができる(すなわち、物体の位置を変えたり変更することなく光学ヘッド(110)により検査を行う)。他の実施形態において、部品の配向は、移動や回転などを行うプラットフォーム、および/または、部品を把持して部品の配向を変更する(例えば、光学ヘッド又は光取込デバイスに関連して)ためのロボットアームなどによって、変更/調整することができる。また他の実施形態において、部品は、移動するコンベヤベルト上に配置することができる(および、検査システムは例えば、動作状態のままで部品、またはその様々な態様を検査することができる)。例として、図1は、プラットフォームまたは固定具(140)の上に置かれる部品(130)を示す。特定の実施形態において、プラットフォーム(140)は、(例えば、部品の検査中に)部品(130)の位置決めを変更するなどのために、任意の数の方向や角度などへと回転するよう構成することができる。
本明細書に記載されるように、ある実施形態において、言及された部品/物体の様々な態様を分析することで、物体の様々な態様に対して正確な測定を確実に遂行できる。加えて、言及された分析は、物体の様々な構造境界の規定を生成することを含む場合がある。このような構造境界の規定は、例えば、(操作可能な光学ヘッドと部分との衝突が生じた場合に起こり得るものなど)検査システムまたは部品の損傷を予防または回避するために都合がよい場合がある。生産品上の任意数の点に対する様々な方向から、および/または、(異なるタイプ/レベルの証明を伴う、および/または異なる方向からなどの)異なる条件下で、画像を取り込むことができる。
ある実施形態において、部品の様々な領域、区域、要素などに対して量的かつ質的に異なるタイプの検査を実行することが、都合のよい場合がある。例えば、部品の領域、区域、態様、要素などに対して1つのタイプの検査を行いつつ(特定の検査レベルで)、同部品の他の領域や区域などに対して異なるタイプとレベルの検査を行うことが、都合のよい場合がある。特定の領域や区域などが関連付けられる検査のタイプは、任意数の要因(例えば、サイズ、形状、構造、材料組成など)の任意の数の機能の場合がある。例えば、光沢面や数個のねじを組み込む部品に対しては、1セットの検査技術製品を用いて光沢面を検査しつつ(例えば、様々な程度の照明を用いて擦り傷があるかどうかを判定)、別のセットの検査技術製品を用いてねじを検査する(例えば、このような領域を異なる角度から検査して、ねじが存在するか、完全に螺合されているか、または部分的にしか螺合されていないかなどを判定)ことが、都合のよい場合がある。
部品の特定の領域や区域などに適用される特定のパラメーター/検査技術製品は、特定の検査状況に適用されるような異なるセットのパラメーターに関する様々な品質スコアを判定する知識ベース(例えば、デバイス(150)内に含まれ、および/またはそれにアクセス可能なデータベースやストレージサービスの場合がある)から受信され/それに基づいて決定することができる。したがって、特定の検査状況/シナリオ(例えば、ネジ、コネクター、反射面、一種の材料などの検査)に関する高品質/最適な結果をもたらすと判定され得るパラメーター/技術製品を選択して、検査される部品に関する検査計画に組み込むことができる一方で、(例えば、言及された「知識ベース」に繁栄されるような)最適以下の結果をもたらすと判定される検査パラメーター/技術製品は、検査計画に組み込むことができない。
特定の実施形態において、そのような部品の領域や区域などを、手で識別または選択する場合がある。例えば、ユーザー/管理者に、基準部品のモデル(または別の表現)が提示される場合がある。このようなユーザーは、(例えば、グラフィカルユーザーインターフェースを用いて)部品の各領域や区域など(例えば、1つの領域でのねじの存在、別の領域での光沢面の存在、別の領域でのコネクターの存在など)を選択または識別することができる。ある実施形態において、このような領域や区域などの識別/選択に際して、ユーザーはさらに、(例えば、様々なレベルの照明を利用するために、複数の角度から検査するために、擦り傷の存在を判定するためになど)特定区域に適用される検査パラメーターの様々な態様を決定づけ、または規定することができる。
他の実施形態において、言及された知識ベースを利用して、特定区域に適用されるパラメーターを規定することができる。例えば、ねじを含む部品の特定の領域や区域の選択に際して、知識ベースに質問を行い、そのような区域に適用される検査パラメーター(例えば、異なる程度の照明において異なる角度で区域の画像を取り込むなどによってねじが存在し、および/または完全に締め付けられているという判定をおそらく可能にする検査パラメーター)を識別/判定することができる。その際に、記載された技術製品により、検査システムは、迅速に新しい部品を検査対象に登録して、(例えば、特定部品の規格を反映する異なる検査パラメーターを用いて、各領域、区域、態様、要素などを検査することにより)その部品に対して効果的かつ効率的な検査を可能にする検査計画を生成することが可能になる。加えて、その際に、記載された技術製品により、(もしあれば)十分な経験がない、または検査計画の準備の訓練を受けていないかもしれないユーザーが、効果的かつ効率的な様式で実行可能な部品の検査計画を正確かつ効率的に規定することが可能になる。記載されるように、ユーザーは単に、部品の様々な領域や区域を選択し、または示すだけでよく、記載された技術製品は、検査パラメーターは各領域などに関連付けられていると判定することができる(例えば、言及された知識ベースを用いて)。
また他の実施形態において、部品の言及された領域や区域などを、自動様式または自動化様式で識別または選択することができる。例えば、基準の部品、および/または該部品の表現の他のタイプや形態(例えばCADモデルなど)を受信し、および/または提供することができる。このような言及された部品を分析または処理することで(例えば、様々なタイプのセンサーから受信された入力に基づいて)、基準の部品内のそれぞれの領域や区域などの存在(例えば、1つの領域のねじ、別の領域の光沢面、別の領域のコネクターなどの存在)を識別/判定することができる。ある実施形態において、次いで言及された知識ベースを利用して、識別された領域や区域などそれぞれに適用される検査パラメーターを判定することができる。例えば、部品の特定の領域や区域にねじがあるという判定に際して、このような領域は、特定のセットの検査パラメーター(例えば、異なる程度の照明において異なる角度で区域の画像を取り込むなどによって、ねじが存在し、および/または完全に締め付けられているという判定をおそらく可能にするパラメーター)と関連付けられる場合がある。他の実施形態において、このような領域、区域、態様、要素などの識別に際して、ユーザーは、本明細書に記載されるように、特定の領域に適用される検査パラメーターの様々な態様を手で指示または規定することが可能になる。その際に、記載された技術製品により検査システムは、検査される新たな部品を登録し、かつ自動化様式で前記部品に関する効果的かつ効率的な検査計画を生成することができる。
本明細書に記載されるように、特定の実施形態において、記載された技術製品により最初に、検査される部品に関する登録プロセスを実行できる。このような登録プロセス中、部品を検査システムに導入することができる。前記システムは、部品を分析、すなわち「学習」して、部品の特徴や態様(例えば、部品の幾何学的形状、視覚的特徴など)などの大まかな/細かな説明を含む、多次元モデル(MDM)を生成する。
上述、および図1に示されるように、特定の実施形態において、検査される部品を、固定具またはプラットフォーム(例えばプラットフォーム(140))上に置くことができる。固定具が存在すると、本開示の検査システムにより分析、すなわち「学習」されるプラットフォームの寸法(および他の態様)に都合のよい場合がある。
言及された固定具は、記載された検査システム上に取り付けられる/それに関連する支持装置またはプラットフォームの場合がある。特定の実施形態において、固定具は、(例えばターンテーブルの場合には)検査プロセス中にその上に部品を固定するように構成することができる。固定具の特徴を「学習」することにより、検査システムはさらにその位置を考慮して、例えば、検査中に固定具との衝突を回避することができる。
固定具の3D構造を様々な方法で判定することができる。例えば、固定具のCADモデル、固定具の予め規定された境界3D形状、および/またはリモートセンサー(例えば3Dカメラ)を用いて、固定具の寸法や位置などを識別/判定することができる。
図2は、固定具を識別/分析するための、実施形態の一例に従う方法(200)を示すフローチャートである。該方法は、ハードウェア(回路、専用ロジックなど)、ソフトウェア(本明細書に記載されるものなどのコンピューティングデバイス上で実行されるものなど)、またはその両方の組み合せを含み得るロジックの処理により、実行される。1つの実施形態において、方法(200)は、図1に関連して表される、および/または記載される1つ以上の要素(システム(100)、装置(150)、システム(100)および/または装置(150)で実行されるアプリケーションなどを含むが、これらに限定されない)により実行されるが、他のいくつかの実施形態において、図2の1つ以上のブロックは、別の機械により実行することができる。
本明細書で使用されるように、用語「構成された」は、その明白かつ通常の意味を包含する。一例において、機械は、機械のプロセッサーにアクセス可能なメモリーに記憶された方法に対するソフトウェアコードを備えていることで、方法を実行するように構成される。プロセッサーは、メモリーにアクセスして方法を実施する。別の例において、方法を実行するための命令は、プロセッサーへと有線接続される。また他の実施例において、命令の一部を有線接続し、別の命令をメモリーにソフトウェアコードとして記憶する。
説明を簡単にするために、方法は、一連の行為として表され、かつ記載される。しかし、本開示に従う行為を様々な順で、および/または同時に行い、かつ、本明細書に提示も記載もされない他の行為と共に行うことができる。さらに、示された行為の一部は、本開示の主題に従い方法を実施するよう求められる場合がある。加えて、当業者は、前記方法が代替的に、状態の図または事象を介して一連の相互に関連付けられた状態として提示され得ることを理解かつ認識する。加えて、本明細書に開示される方法は、コンピューティングデバイスに前記方法を容易に移す、および転送するために、製品上に保存されることが可能であることを認識されたい。製品という用語は、本明細書で使用されるように、任意のコンピューター可読デバイスまたは記憶媒体からアクセス可能なコンピュータープログラムを包含するよう意図されている。
特定の実施形態において、固定具(例えば、記載された検査システム内の部品を支持するように構成された固定具)の表現を反映するモデル(例えばCADモデル)を識別することができる。固定具の1つ以上の寸法を、モデルに基づいて計算することができる。代替的に、固定具の1つ以上の寸法、形状、テンプレート(例えば、固定具の寸法を反映するもの)に相当する1つ以上の入力を、受信することができる。固定具の1つ以上の画像を取り込み、それを計算された固定具の寸法に関連付けることができる。ある実施形態において、取り込まれた画像の1つ以上を、グラフィカルユーザーインターフェースを介して、固定具の寸法の表現に関連して(例えば、本明細書に記載されるようにオーバーレイとして)提示することができる。1つ以上の取り込まれた画像の関連付けに基づいて、前記固定具の計算された寸法を検証することができる。例えば、取り込まれた画像と固定具の計算された寸法との関連付けに対応する入力を受信することができる。特定の実施形態において、このような入力は、計算された寸法が、1つ以上の画像に表されるように固定具に対して正確である/正確ではないことを反映することができる。加えて、特定の実施形態において、計算された寸法を、受信された入力に基づいて調整することができる。
さらなる例として、図2に示されるように、言及された固定具を、検査システムに取り付け、またはそれに導入することができる(210)。固定具の導入に続いて、検査システム(例えば光学ヘッドやロボットアームなど)は、様々な位置にて画像を取得しようと移動するように構成することができる。その後、このような画像を処理して(例えば、画像をCADモデルなどの他のデータと比較することにより)、取り付けた固定具が読み込まれた固定具の細部に一致することを検証することができる。
このような検証プロセスは、手で、または自動で実行することができる。例えば、ユーザーが、固定具の形状(220)や固定具の寸法(230)などの選択により固定具の様々な態様を入力または規定することを可能にすることで、手での検証を実行することができる。例えば、図3Aは、ユーザーが言及された固定具の形状を選択し、かつ固定具の寸法を規定することができる、グラフィカルユーザーインターフェース(GUI)(310)の一例を示す。
特定の実施形態において、言及された固定具の画像を(例えば、光学ヘッド(110)により)取り込むことができる。その後、このような画像を、例えば固定具のモデル(例えば、図3Aに示されるようにユーザーにより規定または選択されるようなモデル、またはCADモデル)の上部にあるオーバーレイとして表示することができる。図3Bと3Cは、システム(100)内に設置されるような固定具の光学ヘッド(110)により取り込まれた画像と重なった、言及された固定具のモデルを図示するGUI(それぞれ(320)と(330))を図示する。図3Bと3Cに示されるように、特定の実施形態において、画像を、視覚的標識または「マスク」(例えば緑色および/または赤色のマスク)と関連付け、またはそれにより拡大することができる。このような1つのマスク(例えば緑色マスク)は、固定具のおよその場所を表すことができる。例えば、図3B(言及された固定具の俯瞰図を反映する)に示されるように、マスク(322)は、固定具の場所または位置に対応する領域または区域を反映することができる。別のそのようなマスク(324)(例えば赤色マスク)は、光学ヘッドが安全に動作可能である(かつ、ゆえに固定具が重ならないであろう)領域または区域を反映することができる。同様に、図3C(言及された固定具の側面図を反映する)に示されるように、マスク(332)は、固定具の場所または位置に対応する領域または区域を反映し、マスク(324)は、光学ヘッドが安全に動作可能である(かつ、ゆえに固定具が重ならないであろう)領域または区域を反映することができる。取り込まれた/拡大された画像の検討に際して、ユーザーは、(例えば、示されるように選択可能なコントロール(326)を介して)規定領域を確認または承認し、それにより固定具の選択/規定寸法を検証する入力(240)などの入力を提供することができる。自動検証シナリオにおいて、検査システムは、このプロセスを自動で、例えば、固定具の画像の有無に関わらず検証計画を実行し、かつ結果として生じる画像を比較して実際の固定具場所を検出することにより、実行することができる。
記載された検査システムが付加的/遠隔の感知能力を備えているシナリオにおいて、このような特徴はさらに、固定具の最初の(大まかな)規定を改善することができる。例えば、検査システムは、このような遠隔感知能力を起動させ(250)、および(「許容」空間または区域内で)光学ヘッドを操作しつつ、固定具の3Dモデルの向上と微調整(260)を行うことができる。
加えて、ある実施形態において、記載された技術製品は、CAD、または固定具の他のファイル、モデル、表現などを読み込むように構成することができる(270)。このようなCAD/モデルに反映される寸法は、記載された検証(240)の基礎として使用することができる。
ある実施形態において、言及された部品の表現を反映するモデル(例えばCADモデル)が識別され、および/または、部品の1つ以上の寸法、形状、テンプレート(例えば、部品の1つ以上の寸法を反映するテンプレート)などに対応する1つ以上の入力が受信される場合がある。モデルに基づいて、部品の1つ以上の寸法を計算することができる。部品の画像を取り込んで、その画像を計算された寸法に関連付けることができる。例えば、本明細書に記載されるように、取り込んだ画像の1つ以上を、部品の1つ以上の寸法の表現に関連してグラフィカルユーザーインターフェースを介して提示することができる。1つ以上の取り込まれた画像の関連付けに基づいて、計算された寸法を検証することができる。例えば、1つ以上の取り込まれた画像と部品の計算された寸法との関連付けに対応する入力を受信することができる。このような入力は、例えば、計算された寸法や形状などが、画像に表される部品に対して正確である/正確ではないことを反映する。ある実施形態において、計算された寸法を、言及された入力に基づいて調整することができる。
他の実施形態において、言及された部品の態様に対応する入力を受信することができる。このような入力は、例えば、部品の寸法、部品の形状、部品の1つ以上の寸法を反映するテンプレート、部品のCADモデルの選択などに対応する、またはそれらを反映する入力の場合がある。部品の画像を取り込んで、1つ以上の態様と関連付けることができる。例えば、取り込んだ画像の1つ以上を、部品の態様の表現に関連してグラフィカルユーザーインターフェースを介して提示することができる。受信された態様を、取り込んだ画像の関連付けに基づいて検証することができる。例えば、1つ以上の取り込まれた画像と部品の1つ以上の態様との関連付けに対応するユーザー入力を受信することができる。このようなユーザー入力は、例えば、1つ以上の態様が、1つ以上の画像に表される部品に対して正確である/正確ではないことを反映する。加えて、ある実施形態において、受信された態様の1つ以上を、ユーザー入力に基づいて調整することができる。
加えて、ある実施形態において、部品の1つ以上の寸法に対応する1つ以上の入力を受信することができる。部品の画像を取り込んで、1つ以上のその画像を1つ以上の寸法に関連付けることができる。ある実施形態において、取り込んだ画像の1つ以上を、グラフィカルユーザーインターフェースを介して、部品の寸法の表現に関連するオーバーレイとして提示することができる。1つ以上の取り込んだ画像との関連付けに基づいて、受信した寸法を検証することができる。ある実施形態において、部品の寸法の表現に関連するオーバーレイとして取り込んだ画像のうち少なくとも1つを表すユーザー入力を、グラフィカルユーザーインターフェースを介して受信することができる。加えて、ある実施形態において、本明細書に記載されるように、受信した寸法の1つ以上を1つ以上のユーザー入力に基づいて調整することができる。
さらなる例として、図4は、検査される部品の規定を可能にする、方法(400)のプロセスの例を示す。1つの実施形態において、方法(400)は、図1に関連して表される、および/または記載される1つ以上の要素(システム(100)、装置(150)、システム(100)および/または装置(150)で実行されるアプリケーションなどを含むが、これらに限定されない)により実行されるが、他のいくつかの実施形態において、図4の1つ以上のブロックは、別の機械により実行することができる。記載された部品規定プロセスは、検査プロセスの態様改善のほか、衝突発生の確実な回避(例えば光学ヘッド/ロボットアームに対する)に都合のよいことを、理解されたい。
図5AはGUI(510)の一例を表し、そこでユーザーは、検査される部品に関連付けられるテンプレート(420)を選択する、および/または、言及されたGUIを介して検査対象の部品の寸法(430)を規定するなどによって、(例えば、GUI(510)を提供するアプリケーションを実行するよう構成された装置(150)を介して)入力を提供することができる。代替的に、ある実施形態において、部品のCADモデルの読み込み、およびこのような寸法(440)を規定するためのCADモデルの使用に対応する入力を、提供する/受信することができる。例えば、図5BはGUI(520)の一例を表し、そこで、検査される部品に関連付けられるCADモデルを選択して、部品の形状や寸法などを規定することができる。
言及された部品規定プロセスにおいて、記載された検査システムは、部品の正確な幾何学的形状を判定することができ(例えば、CADを使用して最初に部品の寸法を規定する場合)、または、部品のおよその幾何学的形状(例えば、箱型、円筒状、半円状などのテンプレートの場合)が使用される。ある実施形態において、様々な付加的な/遠隔センサー(例えば、他のカメラ)を利用して、部品の寸法を最初に大まかに推定することができる(450)。このような最初の推定は、例えば、固定具の規定に関して上述される様式で微調整することができる(460)。
検査される部品の規定(例えば、本明細書に記載されるように、部品の寸法、形状、および/または他の態様や特徴を含む場合がある)を生成する際、検証プロセスを実行できる(470)。このような検証により、生成した規定は確実に検査される部品と一致することが可能となる。このような検証プロセスは、固定具に対して上述されるのと同様の様式で、例えば、検査システムに読み込まれるような物理的部品の画像を補足する、および、ユーザーにより規定される寸法やCADモデル上に画像を重ねることによって、実行することができる。
例えば、図5Cと5Dは、検査対象の部品が検証されるGUI(それぞれ(530)と(540))の例を表す。このようなシナリオにおいて、実際の部品の画像は、例えば、図5Aまたは5Bに示されるような、および上述の様式で規定されるように、部品の寸法に重ね合わせることができる。その際に、ユーザーは、様々な入力を検討かつ提供することで、部品の規定寸法が、検査されている実際の部品に一致するかどうか確認することができる。上述のように、ある実施形態において、画像は、部品により占有される領域(ゆえに、光学ヘッドが通過しない)および部品により占有されない領域(ゆえに、部品が安全に通過する)に対応する、視覚標識または「マスク」により拡大することができる。例えば、図5C(検査される部品の俯瞰図を反映する)では、マスク(532)は、物体の場所または位置に対応する領域または区域を反映し、一方でマスク(534)は、光学ヘッドが安全に動作可能である(かつ、ゆえに部品が重ならないであろう)領域または区域を反映することができる。さらなる例として、図5Dは、部品の場所または位置に対応する領域または区域を反映するマスク(542)を示す。
またさらなる例として、図5Eと5FはGUI(それぞれ(550)と(560))の例を表し、その中で、CADモデルに基づいて生成された部品規定(例えば、本明細書に記載されるように、部品の寸法、形状、および/または他の態様/特徴)は、例えば(検査システムおよび/または他のセンサーにより取り込まれるような)実際の部品の画像に対して検証される。図5Eと5Fに示されるように、(検査システムに導入されるような)部品の画像を、CADモデルに繁栄されるような部品の表現に重ね合わせることができる。その際に、ユーザーは、例えば、このような寸法が正確であり(取り込んだ画像に繁栄されるように)、寸法が不正確であることを拒絶し(例えば、取り込んだ画像に基づく)、および/または言及された寸法を修飾/調整することを、確認することができる。
(本明細書に記載されるように、例えば部品の寸法、形状、および/または他の態様/特徴を反映する)検査対象の部品の規定を検証する際、検査システムは動的な計画を作成して、部品を走査/検査することができる。このような計画は、実装/実行されたときに部品を検査するよう記載のシステムを構成できる、様々な命令や動作などを反映する、または含むことができる。例えば、複数の方向(例えば、オーバーレイがある)方向から、および/または複数の照射構成(480)を使用して、画像を取り込むことができる。この画像収集を使用して、MDM(多次元モデル)(490)を作り出すことができる。このような多次元モデルは、任意の数の部品の態様や要素などを含む、および/またはそれらを組み込み得ることを理解されたい。例えば、言及された多次元モデルは、サイズ、形状、構造(二次元、三次元など)、材料組成などを含むがこれらに限定されない、部品の態様(および/またはその領域や区域など)を導入することができる。
記載の登録プロセスに続いて、部品の視覚表現を表示することができる(例えば、ビューアー/GUI内で)。それにより、例えばユーザーは、様々な試験要件(例えば部品レベルでの)を特定することができる。
例として、図6AはGUI(610)の一例を表し、そこでは、(例えば、以前に入力または判定されたような)部品の様々な寸法/形状の視覚表現は、言及された寸法などを部品の取り込んだ画像と重ねるなどにより、異なる場所で取り込まれるような実際の部品の画像と関連付けられる場合がある。図6Aに示されるように、(例えば、ユーザーにより入力された寸法を反映する)部品(612)の構造の表現を、画像(614)(例えば、検査システムに読み込まれ、異なる場所/角度で光学ヘッドにより取り込まれるような部品の画像)に重ねることができる。その際に、部品は、3D空間内の画像が獲得される領域のおよその場所にて浮遊するパッチとして表示され/重ね合わされる画像の集まりとして、視覚的に表現/表示することができる。
他の実施形態において、部品のCADモデル(または他の表現)に基づいて、部品を視覚的に表現/表示することができる。例えば、図6BはGUI(620)の一例を表し、そこでは、部品の様々な寸法/形状の視覚表現が、部品のCADモデルに基づいて生成されるように示されている。また他の実施形態において、(生成したMDMに基づいて導き出し、または計算することができる)部品の予備走査を使用して、3Dモデルを再構築することができる。
言及されたGUI/ビューアー(例えば、図6A-6Bに示されるような)を使用して、ユーザーは、部品レベル(例えば、画像ベースのレベルとは対照的な)にて様々な検査/試験要件を特定する入力を提供することができる。例えば、図6A-6Bに示されるような様々なコントロール(例えば、選択可能なボタン)を選択し、またはそれと相互作用することで、ユーザーは、本明細書に記載されるように、部品の視野の態様を調整(例えば、回転や拡大など)調整することができ、さらに、部品、および/またはそれに適用される検査の態様(例えば、部品および/またはその一部/要素の画像の取り込み方法、言及された画像の取り込みおよび/または処理に使用される条件または構成など)を調整することができる。このような要件などの特定を、自動様式(例えば、CADと初期の走査に基づく)、または半手動様式(例えば、後述のようなプランナー・モーション・アシスタント(PMA)技術を用いる)で実行することができる。
ある実施形態において、記載の登録プロセスに従い、部品のある領域をさらに検査する、例えば新たな検査/試験要件を規定することが、望ましいまたは都合のよい場合がある。図7は、このようなさらなる検査を実行可能なプロセス/方法(700)の一例を示す。1つの実施形態において、方法(700)は、図1に関連して表される、および/または記載される1つ以上の要素(システム(100)、装置(150)、システム(100)および/または装置(150)で実行されるアプリケーションなどを含むが、これらに限定されない)により実行されるが、他のいくつかの実施形態において、図7の1つ以上のブロックは、別の機械により実行することができる。
ある実施形態において、例えば部品の領域の選択を、受信することができる。本明細書に記載されるように、このような選択を、例えば部品の表現を表し、表示するグラフィカルユーザーインターフェース内で受信することができる。受信した選択(例えば、部品の領域の選択)に基づいて、選択領域(および/または他の態様)の場所を判定することができる。判定した場所に基づいて、様々な画像取込パラメーターを判定し、計算し、および/または識別することができる(例えば、本明細書に記載されるように)。例えば、選択領域の高品質の画像をおそらく生成するパラメーターや環境などを、判定することができる。ある実施形態において、検査経路(例えば、選択領域の画像が取得され/取り込まれる様式に関する命令の場合がある)を、部品に対して計算することができる。本明細書に記載されるように、このような検査経路を、例えば判定した画像取込パラメーターおよび/または選択領域の場所に基づいて計算することができる。加えて、ある実施形態において、言及された検査経路を計算して、検査システムの要素(例えば、光学ヘッドやロボットアームなど)と検査対象の部品との衝突を回避することができる。計算した検査経路は、例えば、記載の検査システムへと導入される部品に対して実行することができる。
さらなる例として、検査システムのオペレーターは、マウス(または他の任意の入力デバイス/インターフェース)を使用して部品のビューアー/GUI内の領域/区域をクリック/選択するなどにより、入力を提供することができる(710)。例えば、図8A-8Bは、ユーザーが部品の特定領域または区域を選択したシナリオを示すGUI(それぞれ(810)と(820))の例を表す。それにより、選択領域の画像を取得するために光学ヘッド/ロボットアームを操作する命令を生成/提供することができる。この作業を完了するために、検査システムは、3D空間内の選択された点の場所と配向を解明/判定することができる(720)。次いで、システムはさらに、システムの領域の互換的構成(例えば、本明細書に記載されるようなパラメーターや環境などを含む)を解明/解決することができ、そこでは、比較的良好な/高品質の画像(システム範囲や光学ヘッドの作動距離などの様々なシステムパラメーターが考慮される)を得ることができる(730)。言及されたシステムの構成は、ロボットの位置、および外部関節の位置を含む場合があることを理解されたい。次に、検査システムは、光学ヘッドの現在位置から必要な位置までの安全(例えば、衝突がない)で効率的な経路を計算し(740)、計算した経路を実行する(750)ことができる。
ある実施形態において、部品内に含まれる1つ以上の要素(例えば、コンポーネント、コンポーネントのタイプおよび/またはサブタイプなど)を、例えば言及された部品に対応するモデル内で識別することができる。本明細書で詳細に記載されるように、様々な試験パラメーターを、識別した要素に関連付けることができる。ある実施形態において、言及された試験パラメーターの様々な選択を受信することができる(例えば、このようなパラメーターを識別した要素と関連付けるために)。例えば、(例えば、記載された検査システムにより取り込まれるような)言及された部品の画像を、グラフィカルユーザーインターフェース内に提示することができる。様々な区域の選択(例えば、言及された要素に対応する画像の選択)を、グラフィカルユーザーインターフェース内で受信することができる。本明細書に記載されるように、このような選択区域を、様々な試験パラメーター(例えば、選択要素に対応する、または関連付けられる試験パラメーター)に関連付けることができる。
さらなる例として、記載の登録プロセスに従い、様々な試験/検査要件を規定または特定することができる。図9は、このような要件を規定または特定可能なプロセス/方法(900)の一例を示す。1つの実施形態において、方法(900)は、図1に関連して表される、および/または記載される1つ以上の要素(システム(100)、装置(150)、システム(100)および/または装置(150)で実行されるアプリケーションなどを含むが、これらに限定されない)により実行されるが、他のいくつかの実施形態において、図9の1つ以上のブロックは、別の機械により実行することができる。
ある実施形態において、オペレーターまたは管理者は、部品の様々な要件やパラメーターなどを入力、または特定することができる。このような要件やパラメーターは、部品(またはその一部)が検査される様式の様々な態様を規定、または指示することができる。他の実施形態において、検査システムは、例えば、検査対象の部品内のコンポーネントおよび/またはサブ部品を検出すること、および、それら部品の試験/検査に対して適用される要件やパラメーターなどに対する示唆を生成することにより、自動様式または自動化様式で、そのような機能を実行するように構成することができる。その際に、記載の検査システムは、実行時に、最適な/効率的な様式でそのような要件に関する情報に対処する、またはそれを提供する、検査計画を生成することができる。
ある実施形態において、記載の検査システムは、言及されたMDMおよび/または予備の動的部品画像を分析して、(例えば、コンピュータービジョンおよび機械(ディープ)ラーニング技術/アルゴリズムを用いて)共通の部品/要素(例えば、ポート、ねじ、ケーブルなど)を検出、分割、および/または分類することができる(910)(920)。例えば、一部品に対して生成されたMDMを処理して、おそらく検査の必要がある部品内でポートまたはねじを識別することができる。ある実施形態において、このような要素は、他の部品に対する同等の要素(ねじやポートなど)の識別に基づいて検出することができる。
加えて、ある実施形態において、検査システムは、CADモデル(利用可能な場合)を処理または分析することで、このようなコンポーネント(例えば、おそらく検査の必要なねじやポートなど)を直接抽出することができる。このようなコンポーネントは、CADモデル内でコンポーネントに付けられる意味的メタデータや属性などの様々な因子(例えば、コンポーネントのモデル、ブランド、寸法、名前など)に基づいて識別または抽出される場合がある。
検査システムはまた、検出したコンポーネントをサブタイプ(例えば、RJ45ポート(post)、Philips screwなど)へと分類し、および/または、検出したあるコンポーネントが試験されるべき(または、この試験を自動で開始する)ことをユーザーに提案する(930)。例えば、ねじを識別し、続いて特定タイプのねじ(例えばPhilips screw)として分類することができる。さらなる例として、ポートを識別し、続いてRJ45ポートとして分類することができる。このような分類によって、コンポーネントのタイプに関連付けた検査要件を特定の部品に適用することが可能となる。したがって、ある実施形態において、特定のコンポーネント(例えばPhilips screws)を含むと判定された部品の検査中に、記載の検査計画は、利用されるねじがPhilips screwである(他のタイプではない)という判定を含む場合がある。
記載したように、ある実施形態において、ユーザーまたは管理者は、記載のプロセスの様々な態様に関する入力またはフィードバックをモニタリングおよび/または提供することができる。例えばユーザーは、部品のあるコンポーネント/領域への特定検査の適用に関する示唆など、検査システムにより生成される様々な示唆または提案を容認、編集、および/または拒否することができる(940)。
ユーザーはまた、手で様々な検査/試験要件を規定または追加することができる(950)。例えばユーザーは、試験要件(例えば、ポートに対する)を選択することができる。その際にユーザーはさらに、サブタイプ要件(例えば、RJ45ポートとしてポートを試験するための)などのさらなる選択肢の選択を促される場合がある(960)。例として、図10Aは、実行される試験/検査に関連付けられるポートのタイプ(ここではRJ45)をユーザーが選択可能なインターフェース/GUI(1010)の例を示す。図10Aに示されるように、識別されたポート(例えば、検査システムにより取り込まれたポートの画像(1012))を、異なるポートのタイプに対応する様々な選択肢(1014)と共にユーザーに提示することができる。ユーザーは、画像に表されるポートに対応するポートのタイプを選択することができる。その際に、選択したポートに関連付けられる試験要件/パラメーターは、言及された部品の検査を行うとき(例えば、ポートの正確なタイプが項目に存在することを判定するため)に、適用可能である。
ある実施形態において、ユーザーはまた、利用可能な様々な試験のうちどれが実行されるのかを特定して、ばね、ハウジング、異物などを確認することができる(970)。例えば、図10Bは、インターフェース/GUI(1020)の例を表し、その中でユーザーは、試験/検査される態様や特徴などを選択することができる。図10Bに示されるように、1つ以上の試験が選択され、かつ部品内の特定のコンポーネントまたは区域に関連付けられる場合がある。言及された試験は、異なるタイプの検査動作(例えば、様々な条件下などにおいて様々な場所での言及されたコンポーネント/領域の画像取り込み、および/または、様々な判定、例えば、特定のコンポーネントの存在、擦り傷がないことなどを計算するための前記画像の処理)を含む、または反映することができることを、理解されたい。
記載したように、ある実施形態において、部品の領域またはコンポーネントを選択して、例えば、ある試験を選択したコンポーネント/領域に適用することができる。例えば、本明細書に記載されるように、図10CはGUI(1030)の例を表し、その中でユーザーは、領域/要素(例えば、区域またはコンポーネント(1032))を選択する、または隠すことができ、さらに、前記領域のほか、他の試験要件や環境などに適用される検査試験を規定することができる(980)。
加えて、ある実施形態において、ユーザーは、様々な取込画像を容認または拒否するなどの入力/フィードバックを提供することができる。例えば、図10DはGUI(1040)を表し、その中で、記載の検査システムにより取り込まれた様々な画像を検討して、(例えば、ユーザーが)容認または拒否を行うことができる。例として、部品内の識別および/または選択された様々なコンポーネントや、前記要素/領域に対してさらに選択/特定された試験パラメーターを備えることで、様々な画像(選択/判定された試験要件により規定された条件下での基準の要素/領域の画像に対応)を、ユーザーに提示することができる。次いでユーザーは、どの画像が言及された検査の要件を満たす(または満たさない)のかを選択することができる。
記載した判定および/または選択に基づき、検査計画を生成することができる(990)。ある実施形態において、このような検査計画は、部品の識別/選択された要素/領域、前記要素/領域に関連付けられる様々な試験要件/パラメーター、および/または提供される選択(例えば、ある画像が、言及された検査の要件を満たす/満たさないもの)を含む、および/または構成することができる。実行時、最適/効率的な様式で前記要件に関する情報を処理または提供する。
ある実施形態において、部品の1つ以上の画像を、例えば(本明細書に記載されるような)検査経路の実行中に取り込むことができる。さらに、ある実施形態において、以前に取り込んだ様々な画像を読み込むことができる。このような画像を、グラフィカルユーザーインターフェースを介して提示することができる。取り込んだ画像の少なくとも1つに対する選択を受信することができる。このような選択は、例えば、取り込んだ1つ以上の画像を容認または拒否することができる。言及された取込画像の少なくとも1つの選択に基づいて、検査計画を部品に対して生成することができ、このような検査計画をさらに、言及された部品および/または別の部品に対して実行することができる。ある実施形態において、本明細書に記載されるように、計算した検査経路および/または1つ以上の画像取込パラメーターに基づいて、このような検査計画を部品に対して生成することができる。ある実施形態において、このような検査計画を調整して、記載の検査システムの1つ以上の制限を構成することができる。加えて、ある実施形態において、様々な試験パラメーターを、1つ以上の画像の少なくとも1つに関連付けることができる。例えば、ある実施形態において、1つ以上の第1の試験パラメーターを1つ以上の画像のうち第1の画像に関連付けることができ、かつ、1つ以上の第2の試験パラメーターを1つ以上の画像のうち第2の画像に関連付けることができる。
さらなる例として、図11は、検査計画を生成可能なプロセス(1100)の例を示す。1つの実施形態において、方法(1100)は、図1に関連して表される、および/または記載される1つ以上の要素(システム(100)、装置(150)、システム(100)および/または装置(150)で実行されるアプリケーションなどを含むが、これらに限定されない)により実行されるが、他のいくつかの実施形態において、図11の1つ以上のブロックは、別の機械により実行することができる。
ある実施形態において、記載の試験特定プロセス(1110)に従い、検査システムは、(位置や照明などを含み得る光学ヘッド構成に対応する)表示を生成することができ(1120)、そこから、検査中に画像を取得することになる。このような表示を、表示を容認/拒否する選択肢を提供される場合があるユーザーに提示することができる(1130)。容認された表示を、部品の検査計画に追加することができる(1140)。これら画像に関して、規定された試験要件を満たす画像レベル試験を生成することができる(1150)(例えば、画像の1つにおけるポートばねの有無を確認するために)。システムはまた、動的検査計画を生成して、画像を取得し、かつそのような計画を実行/実施することができる(その間に、ユーザーは取り込んだ画像を容認または拒否する)。
次いで、検査システムはさらに、効率を最大にするべく生成された取得経路を調整、改善、または最適化することができる。例えば、ある実施形態において、様々なハードウェア構成(例えば、光学ヘッドやロボットアームなどの位置)が望ましい(例えば、特定条件下での画像の取り込みに)が、実現できない場合もある(例えば、試験した物体または機械自体の他の部分に光学ヘッドが衝突する可能性のため)。したがって、検査システムは、言及された制限を構成するそのような検査計画を改善または最適化しつつ、検査要件を満たす(またはそれにほぼ近い)結果を達成することができる。
加えて、ある実施形態において、検査システムはさらに、(例えば、同じ/同様の区域の追加画像を取り込む代わりに)取り込まれた画像に基づいて可能な限り多くの言及された検査/試験を実行するように構成することができる。その際に、様々なコンポーネント(例えば光学ヘッドおよびロボットアーム)の動作を減らすことができる(同様に、取得/処理した余分なデータ量を減らす)。
したがって、記載された技術製品により、例えば検査される部品のモデルに関連して、様々な試験パラメーターや要件などの規定が可能となり、および/または容易となることを、認識できる。記載された技術はさらに、参照されたパラメーターや要件などを完全な検査計画へと自動変換することができる。このような検査計画は、動作、取得、および/または試験の規定を含む場合があり、これらは、(様々な計算/識別された区域や領域などで、例えば記載された生成画像内で)実行する必要がある動作、プロセス、試験などのほか、これら動作、プロセス、試験などが試験に使用されるパラメーターを特定できる。
記載される技術製品およびテクノロジーが主に生産品検査(例えば、本明細書に表され、または記載されるような検査システムを使用する)に関して本明細書では記載されているが、記載される技術製品/テクノロジーはそのように制限されるものではないことにも、留意されたい。したがって、記載の技術製品/テクノロジーは同様に、他の環境や状況で、および任意数の付加的な目的に向けて実施および/または利用することができる。さらなる技術的な利点、解決策、および/または改善(本明細書に記載および/または言及されたものを超える)が、このような実施の結果として可能になる場合もある。
例として、ある実施形態において、記載される技術は、建築物、橋、道路、トンネルなどの大型構造の検査などの、より大規模な検査に関連して使用可能である。そのような実施形態において、(様々なカメラやセンサーなどを装備した)乗り物を使用して、そのような構造に関連して(例えば、その周囲および/または中で)操作することができる。このような乗り物の例として、限定されないが、自動車や自転車などの有人の乗り物、無人飛行機(UAV)または「ドローン」、遠隔制御自動車、ボートなどの無人の乗り物、または他のそのような操縦可能な装置が挙げられる。このような実施形態において、言及された乗り物または操縦可能な装置は、(例えば、原型または理想的に構築された構造に対する)初期の検査を実行するように構成可能であり、および/または、そのような構造の理想的な/意図された寸法と特徴を規定するモデルが処理される場合もある。その際に、検査計画(例えば、検査される実際の構造などに対する)を計算することができる。本明細書に記載されるように、このような検査計画を計算する際に、様々な考慮がなされ得る。例えば、検査される構造の1つ以上の重要または重大な領域を識別することができ、言及された検査を実行する際に乗り物が操作される経路は、このような領域の優先順位付けを構成することができる。さらなる例として、乗り物/装置の特定のある技術的制限は、言及された検査計画を計算する際になされる場合がある(例えば、ドローンの飛行時間に影響を及ぼしかねないバッテリー制限、乗り物が移動するまたは移動しない場所での制限、高度/受信制限など)。その際に、記載のテクノロジーにより、言及された構造を最も効率的かつ有効と思われる様式で検査することが可能となる。言及された検査計画を計算すれば、乗り物は、(例えば、生産品検査に対して)本明細書に記載される方法などで計画を実行することができる。
本明細書で言及されるコンポーネントは、特定の実施形態に従い、一体的に組み合わされる、または、さらなるコンポーネントへ分離可能であることを理解されたい。さらに、ある実施形態において、特定の装置の様々なコンポーネントを、別の機械上で実行することもできる。
ある実施形態は、特定の実施は、ロジック、または多数のコンポーネント、モジュール、または機構を含むと本明細書で記載される。モジュールは、ソフトウェアモジュール(例えば、機械可読媒体に埋め込まれるコード)またはハードウェアモジュールのいずれかを構成することができる。「ハードウェアモジュール」は、特定の動作を実行可能な有形ユニットであり、特定の物理的様式で構成または配置することができる。様々な実施形態の例において、1つ以上のコンピューターシステム(例えば、独立型コンピューターシステム、クライアントコンピューターシステム、またはサーバーコンピューターシステム)またはコンピューターシステムの1つ以上のハードウェアモジュール(例えば、プロセッサーまたはその集まり)を、本明細書に記載されるようなある操作を実行するべく動作するハードウェアモジュールとしてソフトウェア(例えば、アプリケーションまたはアプリケーション部分)により構成することができる。
いくつかの実施形態において、ハードウェアモジュールを、機械的に、電子的に、またはそれらの任意の適切な組み合わせで実装することができる。例えば、ハードウェアモジュールは、ある動作を実行するべく恒久的に構成される専用回路またはロジックを含む場合がある。例えば、ハードウェアモジュールは、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)などの、特殊目的プロセッサーの場合がある。ハードウェアモジュールはまた、特定の動作を実行するべくソフトウェアにより一時的に構成される、プログラマブルロジックまたは回路を含む場合もある。例えば、ハードウェアモジュールは、メインプロセッサーまたは他のプログラム可能なプロセッサーにより実行されるソフトウェアを含む場合がある。このようなソフトウェアにより構成されると、ハードウェアモジュールは、構成された機能を実行するべく独自に調整された特定機械(または機械の特定コンポーネント)になり、もはやメインプロセッサーではなくなる。専用回路または恒久的に構成された回路において、あるいは、一時的に構成された回路(例えば、ソフトウェアにより構成)において、ハードウェアモジュールを機械実装するという決定は、コストと時間を考慮することで導かれる場合があることが、理解されよう。
したがって、句「ハードウェアモジュール」は、有形実体を含むと理解されるはずであり、実体は、物理的に構築され、恒久的に構成され(例えば、有線式)、または一時的に構成される(例えば、プログラムされる)ことで、ある様式で動作し、または本明細書に記載される特定動作を実行する。本明細書で使用されるように、「有線実装モジュール」はハードウェアモジュールを指す。ハードウェアモジュールが一時的に構成される(例えば、プログラムされる)実施形態を考慮すると、ハードウェアモジュールの各々は、時間内に何れか1つの例において構成も例示もされる必要はない。例えば、ハードウェアモジュールが、特殊目的プロセッサーになるようソフトウェアにより構成されたメインプロセッサーを含む場合、メインプロセッサーは、異なる時間でそれぞれ異なる特殊目的プロセッサー(例えば、異なるハードウェアモジュールを含む)として構成することができる。したがって、ソフトウェアは、例えばある時間の場合に特定のハードウェアモジュールを構成し、かつ異なる時間の場合に異なるハードウェアモジュールを構成するべく、特定のプロセッサーを構成する。
ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、かつそこから情報を受信することができる。したがって、記載のハードウェアモジュールを、通信可能に連結されていると考慮することができる。複数のハードウェアモジュールが同時に存在する場合、通信は、ハードウェアモジュールの2つ以上の間での信号送信(例えば、適切な回路およびバス上で)により達成することができる。複数のハードウェアモジュールが異なる時間で構成または例示化される実施形態において、そのようなハードウェアモジュール間での通信は、例えば複数のハードウェアモジュールがアクセスするメモリー構造における情報の記憶と検索を介して達成することができる。例えば、1つのハードウェアモジュールは動作を実行し、通信可能に連結されるメモリーデバイスにその動作の出力を記憶することができる。次いで、さらなるハードウェアモジュールが後に、記憶した出力を検索かつ処理するべくメモリーデバイスにアクセスすることができる。ハードウェアモジュールはまた、入出力装置との通信を開始し、リソース(例えば情報の集まり)上で作動することができる。
本明細書に記載される方法の例の様々な動作は、少なくとも部分的に、関連動作を実行するべく一時的(例えば、ソフトウェアにより)または恒久的に構成される1つ以上のプロセッサーによって、実行することができる。一時的または恒久的に構成されるかにかかわらず、このようなプロセッサーは、本明細書に記載される1つ以上の動作または機能を実行するべく作動する、プロセッサー実装モジュールを構成することができる。本明細書で使用されるように、「プロセッサー実装モジュール」は、1つ以上のプロセッサーを用いて実装されるハードウェアモジュールを指す。
同様に、本明細書に記載される方法は、少なくとも部分的にプロセッサーにより実装される場合があり、特定のプロセッサーはハードウェアの一例である。例えば、方法の動作の少なくとも一部は、1つ以上のプロセッサー実装モジュールにより実行することができる。さらに、1つ以上のプロセッサーはまた、「クラウドコンピューティング」環境において、または「サービスとしてのソフトウェア」(SaaS)として関連動作の性能を支援するように動作することができる。例えば、動作の少なくとも一部は、コンピューターの集合(例えば、プロセッサーを備えた機械)により実行可能であり、これらの動作は、ネットワーク(例えばインターネット)、および1つ以上の適切なインターフェース(例えばAPI)を介して利用可能である。
動作の一部の性能を、1つの機械内に存在するだけでなく多数の機械にわたり配置されるプロセッサーの中で分配することができる。いくつかの実施形態の例において、プロセッサー、またはプロセッサー実装モジュールは、1つの地理的場所(例えば、家庭環境、オフィス環境、またはサーバーファーム内)に場所付けることができる。他の実施形態の例において、プロセッサー、またはプロセッサー実装モジュールは、多数の地理的場所を介して分配することができる。
図1~11に関連して記載されるモジュール、方法、アプリケーションなどは、いくつかの実施形態において、機械および関連するソフトウェアアーキテクチャに対して実装される。以下の節は、開示された実施形態での使用に適した、代表的なソフトウェアアーキテクチャおよび機械(例えばハードウェア)アーキテクチャを記載する。
ソフトウェアアーキテクチャをハードウェアアーキテクチャと組み合わせて使用することで、特定用途向けに調整された装置および機械を作成する。例えば、特定のソフトウェアアーキテクチャと連結した特定のハードウェアアーキテクチャは、携帯電話やタブレットデバイスなどのモバイル機器を作り出すことになる。わずかに異なるハードウェアアーキテクチャおよびソフトウェアアーキテクチャは、「モノのインターネット」に使用されるスマートデバイスをもたらすことができ、一方でまた別の組み合わせでは、クラウドコンピューティングアーキテクチャ内での使用のためのサーバーコンピューターがもたらされる。このようなソフトウェアアーキテクチャおよびハードウェアアーキテクチャの全ての組み合わせが本明細書に提示されるわけではない。当業者が、本明細書に含まれる開示とは異なる状況で本発明の主題を実施する方法を容易に理解できるからである。
図12は、いくつかの実施形態の例に従う機械(1200)のコンポーネントを示すブロック図であり、機械可読媒体(例えば、機械可読記憶媒体)からの命令を読み取り、本明細書で考察される方法のいずれか1つ以上を実行することができる。具体的に、図12は、コンピューターシステムの形態の例における機械(1200)の図表示を示し、その中で、機械(1200)に本明細書で考察される方法のいずれか1つ以上を実施させる命令(1216)(例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ(app)、または他の実行可能なコード)を、実行することができる。命令(1216)は、プログラムされていない一般的な機械を、記載された様式で記載かつ例示された機能を実行するようプログラムされた特定の機械に変換する。代替的な実施形態において、機械(1200)は、独立型デバイスとして作動するか、または他の機械に連結(例えば、ネットワーク化)することができる。ネットワーク化配置において、機械(1200)は、サーバークライアントネットワーク環境でサーバー機械またはクライアント機械として、または、ピアツーピア(または分配)ネットワーク環境でピアマシンとして動作することができる。機械(1200)は、限定されないが、サーバーコンピューター、クライアントコンピューター、PC、タブレットコンピューター、ラップトップコンピューター、ネットブック、セットトップボックス(STB)、携帯情報端末(PDA)、娯楽メディアシステム、形態電話、スマートフォン、モバイル機器、ウェアラブルデバイス(例えばスマートウォッチ)、スマートホームデバイス(例えば、スマート家電)、他のスマートデバイス、ウェブアプライアンス、ネットワークルーター、ネットワークスイッチ、ネットワークブリッジ、または命令(1216)を連続して実行可能であり、または機械(1200)が取る行動を特定する任意の機械を含む場合がある。更に、機械(1200)は1つしか示されていないが、用語「機械」はまた、本明細書で議論される方法の1つ以上を実行するために命令(1216)を個々にまたは組み合わせて実行する機械(1200)の集合を含むと、考慮される。
機械(1200)は、プロセッサー(1210)、メモリー/ストレージ(1230)、およびI/Oコンポーネント(1250)を含む場合があり、これらは、バス(1202)を介して通信し合うよう構成可能である。一実施形態の例において、プロセッサー(1210)(例えば、中央処理装置(CPU)、縮小命令セットコンピューティング(RISC)プロセッサー、複雑命令セットコンピューティング(CISC)プロセッサー、グラフィックスプロセッシングユニット(GPU)、デジタル信号プロセッサー(DSP)、ASIC、無線周波数集積回路(RFIC)、他のプロセッサー、またはそれらの任意の適切な組み合わせ)は、例えば、プロセッサー(1212)、および命令(1216)を実行可能なプロセッサー(1214)を含む場合がある。用語「プロセッサー」は、指示を同時に実行可能な2つ以上の独立プロセッサー(時折、「コア」と称する)を含むことができるマルチコアプロセッサーを含むように意図される。図12は複数のプロセッサー(1210)を示しているが、機械(1200)は、1つのコアを持つシングルプロセッサー、複数のコアを持つシングルプロセッサー(例えばマルチコアプロセッサー)、1つのコアを持つマルチプロセッサー、複数のコアを持つマルチプロセッサー、またはそれらの任意の組み合わせを含む場合がある。
メモリー/ストレージ(1230)は、メインメモリーや他のメモリーストレージなどのメモリー(1232)、および記憶装置(1236)であり、共にバス(1202)などをプロセッサー(1210)にアクセス可能である。記憶装置(1236)およびメモリー(1232)は、本明細書に記載される方法または機能のうちいずれか1つ以上を統合する命令(1216)を記憶する。命令(1216)はまた、機械(1200)による実行中に、メモリー(1232)内に、記憶装置(1236)内に、プロセッサー(1210)の少なくとも1つの中に(例えば、プロセッサーのキャッシュメモリー内に)、またはそれらの任意の適切な組み合わせに、完全にまたは部分的に存在する場合がある。したがって、メモリー(1232)、記憶装置(1236)、およびプロセッサー(1210)のメモリーは、機械可読媒体の例である。
本明細書で使用されるように、「機械可読媒体」は、命令(例えば命令(1216))やデータを一時的または恒久的に記憶できるデバイスを意味するものであり、限定されないが、ランダムアクセスメモリー(RAM)、読み出し専用メモリー(ROM)、バッファメモリー、フラッシュメモリー、光学式媒体、磁気媒体、キャッシュメモリー、他のタイプのストレージ(例えば、消去可能プログラマブル読み出し専用メモリー(EEPROM))、および/またはそれらの任意の適切な組み合わせが挙げられる。用語「機械可読媒体」は、命令(1216)を記憶可能な1つまたは複数の媒体(例えば、集中または分散型データベース、または関連キャッシュやサーバー)を含むと考慮されねばならない。用語「機械可読媒体」はまた、任意の媒体、または複数の媒体の含むと考慮されるべきであり、これらは、機械(例えば機械(1200))による実行のための命令(例えば命令(1216))を記憶でき、それにより、機械の1つ以上のプロセッサー(例えばプロセッサー(1210))により実行されると、機械は本明細書に記載される方法のいずれか1つ以上を実行させられる。したがって、「機械可読媒体」は、単一の記憶機器または装置のほか、「クラウドベース」の記憶システム、または複数の記憶機器または装置を含む記憶ネットワークも指す。用語「機械可読媒体」は信号自体を除外する。
I/Oコンポーネント(1250)は、入力を受信し、出力を提供し、出力を作り出し、情報を送信し、情報を交換し、測定値を捉えるなどを行うための種々様々なコンポーネントを含む場合がある。特定の機械に含まれる特定のI/Oコンポーネント(1250)は機械のタイプに左右される。例えば、携帯電話などの携帯用機械はおそらくタッチ入力デバイスなどの入力機構を含み、一方でヘッドレスサーバーマシンはおそらく前記タッチ入力デバイスを含まない。I/Oコンポーネント(1250)は、図12に示されない他の多数のコンポーネントを含む場合があることが、認識される。I/Oコンポーネント(1250)は単に以下の考察を単純化する機能に従い分類され、分類の方法に制限はない。様々な実施形態の例において、I/Oコンポーネント(1250)は、出力コンポーネント(1252)と入力コンポーネント(1254)とを含む場合がある。出力コンポーネント(1252)は、視覚コンポーネント(例えば、プラズマディスプレイパネル(PDP)、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プロジェクター、またはブラウン管(CRT)などのディスプレイ)、聴覚コンポーネント(例えばスピーカー)、触覚コンポーネント(例えば、震動モーター、耐性機構)、他の信号発生器などを含む場合がある。入力コンポーネント(1254)は、英数字入力コンポーネント(例えば、キーボード、英数字入力を受信するように構成されたタッチスクリーン、写真・光学キーボードなどの英数字入力コンポーネント)、点ベースの入力コンポーネント(例えば、マウス、タッチパッド、トラックボール、ジョイスティック、運動センサー、または別のポインティング器機)、触知入力コンポーネント(例えば、物理ボタン、タッチまたはそのジェスチャーの場所および/または力を提供するタッチスクリーン、または他の触覚入力コンポーネント)、音声入力コンポーネント等(例えばマイクロフォン)などを含む場合がある。
さらなる実施形態の例において、I/Oコンポーネント(1250)は、多様な他のコンポーネントの中でも、生体認証コンポーネント(1256)、動作コンポーネント(1258)、環境コンポーネント(1260)、または位置コンポーネント(1262)を含む場合がある。例えば、生体認証コンポーネント(1256)は、表現(例えば、手での表現、顔での表現、音声での表現、体でのジェスチャー、またはアイトラッキング)を検出し、生体信号(例えば、血圧、心拍数、体温、発汗、または脳波)を測定し、人を識別(例えば音声識別、網膜識別、顔識別、指紋識別、または脳波図ベースの識別)などを含む場合がある。動作コンポーネント(1258)は、加速度センサーコンポーネント(例えば加速度計)、重力センサーコンポーネント、回転センサーコンポーネント(例えばジャイロスコープ)などを含む場合がある。環境コンポーネント(1260)として、例えば、照射センサーコンポーネント(例えば光度計)、温度センサーコンポーネント(例えば、周囲温度を検出する1つ以上の温度計)、湿度センサーコンポーネント、圧力センサーコンポーネント(例えばバロメーター)、音響センサーコンポーネント(例えば、背景雑音を検出する1つ以上のマイクロフォン)、近接センサーコンポーネント(例えば、近くの物体を検出する赤外線センサー)、ガスセンサー(例えば、有害ガス濃度が安全かどうかを検出、または空気中の汚染物質を測定するためのガス検知センサー)、または、周囲の物理環境に対応する指標、測定値、または信号を提供可能な他のコンポーネントが挙げられ場合がある。位置コンポーネント(1262)として、場所センサーコンポーネント(例えば、全地球側位システム(GPS)受信器コンポーネント)、高度センサーコンポーネント(例えば、高度を導き出すことが可能な気圧を検出する高度計またはバロメーター)、配向センサーコンポーネント(例えば磁気計)などが挙げられる場合がある。
種々様々な技術製品を用いて通信を実施することができる。I/Oコンポーネント(1250)として、連結部(1282)および連結部(1272)それぞれを介してネットワーク(1280)または装置(1270)に機械(1200)を連結するよう動作可能な、通信コンポーネント(1264)が挙げられる場合がある。例えば、通信コンポーネント(1264)として、ネットワークインターフェースコンポーネント、または、ネットワーク(1280)との整合に適切な他の装置が挙げられる場合がある。さらなる例において、通信コンポーネント(1264)として、有線式通信コンポーネント、無線式通信コンポーネント、移動体通信コンポーネント、近距離無線通信(NFC)コンポーネント、Bluetooth(登録商標)コンポーネント(例えば、Bluetooth(登録商標)Low Energy)、Wi-Fi(登録商標)コンポーネント、および、他の様式を介して通信を提供する他の通信コンポーネントが挙げられる場合がある。装置(1270)は、別の機械、または種々様々な周辺機器(例えば、USBを介して連結される周辺機器)のいずれかであり得る。
さらに、通信コンポーネント(1264)は、識別子を検出する、または、識別子を検出するよう動作可能なコンポーネントを含む場合がある。例えば、通信コンポーネント(1264)には、無線周波数識別(RFID)タグリーダーコンポーネント、NFCスマートタグ検出コンポーネント、光学式読み取り装置コンポーネント(例えば、統一商品コード(UPC)バーコードなどの一次元バーコードを検出する光センサー、即答(QR)コードなどの多次元バーコード、Aztecコード、Data Matrix、Dataglyph、MaxiCode、PDF417、Ultra Code、UCC RSS-2Dバーコード、および他の光コード)、または聴覚検出コンポーネント(例えば、タグ付き音声信号を識別するマイクロフォン)が挙げられる場合がある。加えて、インターネットプロトコル(IP)地理的場所特定、Wi-FiR信号三角測量、特定の場所お表示可能なNFC無線標識信号などを経由して、場所などの様々な情報を導き出すことができる。
様々な実施形態の例において、ネットワーク(1280)の1つ以上の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク(VPN)、ローカルエリアネットワーク(LAN)、無線LAN(WLAN)、WAN、無線WAN(WWAN)、都市内ネットワーク(MAN)、インターネット、インターネットの一部、公衆スイッチ電話ネットワーク(PSTN)の一部、基本電話サービス(POTS)ネットワーク、携帯電話ネットワーク、無線ネットワーク、Wi-Fi(登録商標)ネットワーク、他のタイプのネットワーク、またはそれらネットワークの2つ以上の組み合わせの場合がある。例えば、ネットワーク(1280)またはその一部として、無線ネットワークまたはセルラーネットワークが挙げられ、連結部(1282)は、符号分割多元アクセス(CDMA)接続、グローバル移動体通信システム(GSM)接続、または他のタイプのセルラー式または無線式の連結部の場合がある。この例において、連結部(1282)は、シングルキャリア無線送信技術(1xRTT)、エボリューション・データ最適化(Evolution-Data Optimized)(EVDO)技術、汎用パケット無線サービス(GPRS)技術、GSM進化型高速データレート(EDGE)技術、3Gを含む第3世代パートナーシッププロジェクト(3GPP(登録商標))、第4世代無線(4G)ネットワーク、ユニバーサル・モバイル・テレコミュニケーション・システム(UMTS)、高速パケットアクセス(HSPA)、マイクロウェーブアクセス型広域相互運用(Worldwide Interoperability for Microwave Access)(WiMAX)、ロング・ターム・エボリューション(LTE)標準、様々な標準の設定構成により規定される他のもの、他の長距離プロトコル、または他のデータ転送技術などの、様々なタイプのデータ転送技術のうちいずれかを実装することができる。
ネットワークインターフェースデバイス(例えば、通信コンポーネント(1264)に含まれるネットワークインターフェースコンポーネント)を介して送信媒体を用いて、および、多数の周知の転送プロトコル(例えばHTTP)のいずれか1つを利用して、命令(1216)をネットワーク(1280)上で送受信することができる。同様に、命令(1216)は、デバイス(1270)への連結部(1272)(例えば、ピアツーピア連結)を介して、送信媒体を用いて送受信することができる。用語「送信媒体」は、機械(1200)が実行するための命令(1216)を記憶し、コードし、または搬送することができる任意の無形媒体を含むと考慮されるものであり、デジタルまたはアナログ通信信号、または、ソフトウェアの通信を容易にするための他の無形媒体が挙げられる。
本明細書全体にわたり、複数の事例は、1つの事例として記載されるコンポーネント、動作、または構造を実装することができる。1つ以上の方法の個別動作が別個の動作として例示かつ記載されているが、個別動作の1つ以上を同時に実行することができ、示した順序で動作を実行することは要求されない。構成の例において別個のコンポーネントとして提示された構造および機能を、構造またはコンポーネントの組み合わせとして実施することができる。同様に、1つのコンポーネントとして提示される構造および機能を、別個のコンポーネントとして実施することができる。これら、および他の変形、修正、追加、および改善は、本明細書中の発明特定事項の範囲内にある。
進歩性のある発明特定事項の概要を、特定の実施形態の例とともに記載してきたが、本開示の実施形態の広範な範囲から逸脱することなく、これら実施形態に対して様々な修正および変化を行うことができる。単に利便性のための用語「発明」により、かつ、複数の開示または進歩性のある概念が実際に開示される場合に本出願の範囲を1つの開示または進歩性のある概念へと自発的に制限することなく、進歩性のある発明特定事項のこのような実施形態を、個々に、または総体的に本明細書で言及することができる。
本明細書に示される実施形態は、当業者による本開示の教示の実施を可能にするほど詳細に記載されている。他の実施形態もそこから使用し、かつ導き出すことができるため、本開示の範囲から逸脱することなく構造的かつ論理的な置換と変更を行うことができる。そのため、詳細な説明は限定的な意味で捉えられるものではなく、様々な実施形態の範囲は、添付の請求項が得る同等物の全範囲と共に、請求項によってのみ規定される。
本明細書で使用されるように、用語「または」は、包括的または排他的な意味で解釈することができる。さらに、複数の事例は、本明細書に記載されるリソース、動作、または構造に対して1つの事例として提供される場合がある。加えて、様々なリソース、動作、モジュール、エンジン、およびデータストア間の境界は多少恣意的なものであり、特定の動作は、特定の例示的構成の観点から例示される。機能の他の割当てが構想され、本開示の様々な実施の範囲内に属する場合ができる。通常、構成の例において別個のリソースとして提示された構造および機能を、構造またはリソースの組み合わせとして実施することができる。同様に、1つのリソースとして提示される構造および機能を、別個のリソースとして実施することができる。これら、および他の変形、修正、追加、および改善は、添付の請求項により表されるような本開示の実施の範囲内にある。したがって、本明細書と図面は限定的な意味ではなく、むしろ例示的な意味として捉えられる。

Claims (1)

  1. システムであって、該システムは、
    処理装置;および
    処理装置に結合されるとともに、処理装置による実行時にシステムに動作を実行させる命令を記憶するメモリーを備えており、前記動作は、
    部品の表現を表すグラフィカルユーザーインターフェース内で、前記部品の領域の選択を受信すること;
    前記部品の領域の選択に基づいて、選択した領域の場所を判定すること;
    判定された場所に基づいて、1つ以上の画像取込パラメーターを判定すること;
    (a)判定された画像取込パラメーターおよび(b)選択された領域の場所に基づいて、前記部品に対する検査経路を計算すること;および
    検査システムを介して前記部品に対して計算された検査経路を実行すること
    を含む、システム。
JP2023207156A 2018-01-15 2023-12-07 自動検査および部品登録 Pending JP2024026316A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862617312P 2018-01-15 2018-01-15
US62/617,312 2018-01-15
PCT/US2019/013720 WO2019156783A1 (en) 2018-01-15 2019-01-15 Automated inspection and part enrollment
JP2020540285A JP2021511594A (ja) 2018-01-15 2019-01-15 自動検査および部品登録

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020540285A Division JP2021511594A (ja) 2018-01-15 2019-01-15 自動検査および部品登録

Publications (1)

Publication Number Publication Date
JP2024026316A true JP2024026316A (ja) 2024-02-28

Family

ID=67549747

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020540285A Pending JP2021511594A (ja) 2018-01-15 2019-01-15 自動検査および部品登録
JP2023207156A Pending JP2024026316A (ja) 2018-01-15 2023-12-07 自動検査および部品登録

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020540285A Pending JP2021511594A (ja) 2018-01-15 2019-01-15 自動検査および部品登録

Country Status (6)

Country Link
US (1) US20210082105A1 (ja)
EP (1) EP3740948A4 (ja)
JP (2) JP2021511594A (ja)
CN (1) CN112585672A (ja)
IL (1) IL276058A (ja)
WO (1) WO2019156783A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230410364A1 (en) * 2020-09-29 2023-12-21 Kitov Systems Ltd Semantic segmentation of inspection targets

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3360969B2 (ja) * 1995-04-28 2003-01-07 株式会社東芝 プラント点検支援装置
GB0210990D0 (en) * 2002-05-14 2002-06-19 Rolls Royce Plc Method of generating an inspection program and method of generating a visual display
DE102004007829B4 (de) * 2004-02-18 2007-04-05 Isra Vision Systems Ag Verfahren zur Bestimmung von zu inspizierenden Bereichen
US7337651B2 (en) * 2005-04-05 2008-03-04 General Electric Company Method for performing model based scanplan generation of a component under inspection
US9363487B2 (en) * 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system
JP5465957B2 (ja) * 2008-09-05 2014-04-09 Dmg森精機株式会社 加工状態確認方法及び加工状態確認装置
WO2012050803A2 (en) * 2010-09-29 2012-04-19 Aerobotics, Inc. Novel systems and methods for non-destructive inspection of airplanes
US20130278725A1 (en) * 2012-04-24 2013-10-24 Connecticut Center for Advanced Technology, Inc. Integrated Structured Light 3D Scanner
US20140293047A1 (en) * 2013-04-02 2014-10-02 Caterpillar Inc. System for generating overhead view of machine
US9187188B2 (en) * 2013-07-02 2015-11-17 Premium Aerotec Gmbh Assembly inspection system and method
US9639083B2 (en) * 2013-12-18 2017-05-02 Mitutoyo Corporation System and method for programming workpiece feature inspection operations for a coordinate measuring machine
WO2016018717A1 (en) 2014-07-29 2016-02-04 Plethora Corporation System and method for automated object measurement
CN112837266A (zh) * 2014-11-24 2021-05-25 基托夫系统有限公司 自动检查
US11185985B2 (en) * 2015-01-05 2021-11-30 Bell Helicopter Textron Inc. Inspecting components using mobile robotic inspection systems
WO2016179186A1 (en) * 2015-05-04 2016-11-10 Mitutoyo Corporation Inspection program editing environment providing user defined collision avoidance volumes
US11520472B2 (en) * 2015-09-24 2022-12-06 Mitutoyo Corporation Inspection program editing environment including integrated alignment program planning and editing features
US10018465B2 (en) * 2015-09-25 2018-07-10 General Electric Company Inspection path display

Also Published As

Publication number Publication date
IL276058A (en) 2020-08-31
JP2021511594A (ja) 2021-05-06
EP3740948A1 (en) 2020-11-25
US20210082105A1 (en) 2021-03-18
CN112585672A (zh) 2021-03-30
EP3740948A4 (en) 2021-10-27
WO2019156783A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
JP2022078043A (ja) 自動検査方法
US11431896B2 (en) Augmented reality for three-dimensional model reconstruction
KR20190062171A (ko) 자율 머신에서의 오작동 센서의 딥 러닝 기반의 실시간 검출 및 수정
EP3465130A1 (en) Document optical character recognition
JP2024026316A (ja) 自動検査および部品登録
Wu et al. Machine vision inspection of electrical connectors based on improved Yolo v3
US20200273200A1 (en) Camera localization based on skeletal tracking
CN110910628B (zh) 车损图像拍摄的交互处理方法、装置、电子设备
US20240037847A1 (en) Three-dimensional modeling toolkit
CN106661764B (zh) 血凝抑制分析(hai)的自动化成像和分析
CN111758117B (zh) 检查系统、识别系统以及学习数据生成装置
Saif et al. Development of a smart system based on STEP-NC for machine vision inspection with IoT environmental
US11520970B2 (en) Personalized fonts
CN111389750A (zh) 一种视觉测量系统及测量方法
CN108564626B (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
US11961218B2 (en) Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (ROIs) of digital images
US20210174585A1 (en) Three-dimensional modeling toolkit
Hitchcox et al. Random walks for unorganized point cloud segmentation with application to aerospace repair
CN117685881B (zh) 一种混凝土结构实体位置与尺寸偏差的感知与检测方法
CN117218104A (zh) 电子雷管模块外观检测方法、系统、存储介质及电子设备
US20210090292A1 (en) Three-dimensional measurement interface
CN116189020A (zh) 基于红外图像电力线识别的无人机巡线导航方法及系统
CN115482185A (zh) 飞机表面缺陷检测方法、系统、存储介质及终端
Hatem Development of a smart system based on STEP‑NC for machine vision inspection with IoT environmental

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240117