JP7320885B2 - 製造プロセスのためのシステム、方法、および媒体 - Google Patents
製造プロセスのためのシステム、方法、および媒体 Download PDFInfo
- Publication number
- JP7320885B2 JP7320885B2 JP2022525443A JP2022525443A JP7320885B2 JP 7320885 B2 JP7320885 B2 JP 7320885B2 JP 2022525443 A JP2022525443 A JP 2022525443A JP 2022525443 A JP2022525443 A JP 2022525443A JP 7320885 B2 JP7320885 B2 JP 7320885B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- station
- final quality
- manufacturing system
- control module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims description 130
- 238000000034 method Methods 0.000 title claims description 56
- 238000012545 processing Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 34
- 238000012544 monitoring process Methods 0.000 claims description 31
- 238000013442 quality metrics Methods 0.000 claims description 31
- 230000002427 irreversible effect Effects 0.000 claims description 25
- 238000011143 downstream manufacturing Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims 1
- 238000011144 upstream manufacturing Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 31
- 230000015654 memory Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004088 simulation Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000010146 3D printing Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004886 process control Methods 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009658 destructive testing Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
- B29C64/30—Auxiliary operations or equipment
- B29C64/386—Data acquisition or data processing for additive manufacturing
- B29C64/393—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B33—ADDITIVE MANUFACTURING TECHNOLOGY
- B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
- B33Y50/00—Data acquisition or data processing for additive manufacturing
- B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N2021/8411—Application to online plant, process monitoring
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31372—Mes manufacturing execution system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32181—Monitor production, assembly apparatus with multiple sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32216—If machining not optimized, simulate new parameters and correct machining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
- G06F2221/034—Test or assess a computer or a system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Automation & Control Theory (AREA)
- Materials Engineering (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
関連出願の相互参照
本出願は、2019年11月6日に出願された米国仮出願第62/931,448号、2019年11月7日に出願された米国仮出願第62/932,063号、および2019年11月6日に出願された米国仮出願第62/931,453号に優先権を主張し、これらは、参照によりその全体が本明細書に組み込まれる。
本出願は、2019年11月6日に出願された米国仮出願第62/931,448号、2019年11月7日に出願された米国仮出願第62/932,063号、および2019年11月6日に出願された米国仮出願第62/931,453号に優先権を主張し、これらは、参照によりその全体が本明細書に組み込まれる。
本開示は、一般に、製造プロセスのためのシステム、方法、および媒体に関する。
18世紀の産業革命の夜明け以来、自動化が商品の生産を支配してきた。今日の工場は自動化をコア原則として完全に採用しているが、ロボットは高生産環境で多くの反復可能なタスクを実行するが、多くのアセンブリタスクは引き続き人間によって実行される。これらのタスクは、コスト、重大な障害のリスク、または少量の生産実行のためにロボットシステムを展開するロジスティクスのために自動化するのが困難である。これらの生産ラインは、標準的なプロセス制御と人事管理によって監視されているため、アセンブラは時間の経過とともに特定の品質基準を実行するように教えられたり、別のオペレータに置き換えられたりする。このプロセスは、アセンブリの出現以来ほとんど変わっていない。
いくつかの実施形態では、製造システムが本明細書に開示されている。製造システムには、1つまたは複数のステーション、監視プラットフォーム、および制御モジュールが含まれる。各ステーションは、構成要素の多工程製造プロセスで少なくとも1つの工程を実行するように構成されている。多工程製造プロセス全体で構成要素の進行を監視するように構成された監視プラットフォーム。多工程製造プロセスの工程の処理パラメータを動的に調整して、構成要素の所望の最終品質基準を達成するように構成されたT制御モジュール、動作を実行するように構成された制御モジュール。動作には、1つまたは複数のステーションの第1のステーションのツーリングの画像データを受け取ることが含まれる。動作には、画像データからキーポイントのセットを識別することがさらに含まれる。キーポイントは、第1のステーションでの処理中のツーリングの位置情報に対応している。動作には、機械学習モデルによって、キーポイントに基づいて構成要素の最終品質基準を決定することも含まれる。動作には、最終品質基準が最終品質基準からの閾値許容範囲内にないことを決定することも含まれる。動作はさらに、決定に基づいて、多工程製造プロセスにおける後続のステーションの処理パラメータを更新することを含む。
いくつかの実施形態では、製造システムが本明細書に開示されている。製造システムには、1つまたは複数のステーション、監視プラットフォーム、および制御モジュールが含まれる。各ステーションは、構成要素の多工程製造プロセスで少なくとも1つの工程を実行するように構成されている。多工程製造プロセス全体で構成要素の進行を監視するように構成された監視プラットフォーム。多工程製造プロセスの工程の処理パラメータを動的に調整して、構成要素の所望の最終品質基準を達成するように構成されたT制御モジュール、動作を実行するように構成された制御モジュール。動作には、1つまたは複数の処理ステーションの第1の処理ステーションで構成要素に対応する位置情報を識別することが含まれる。動作には、構成要素に対応する位置情報に基づいて、不可逆的エラーが存在することを決定することがさらに含まれる。動作はさらに、決定に基づいて、不可逆的エラーを修正するために更新された命令セットを生成することを含み、更新された命令セットは、下流ステーションによって実行される。動作には、機械学習モデルによって、更新された命令セットに基づいて構成要素の最終品質基準を予測することも含まれる。動作には、予測された最終品質基準に基づいて、更新された命令セットを下流ステーションに提供することがさらに含まれる。
いくつかの実施形態では、製造システムが本明細書に開示されている。製造システムには、1つまたは複数のステーション、監視プラットフォーム、および制御モジュールが含まれる。各ステーションは、構成要素の多工程製造プロセスで少なくとも1つの工程を実行するように構成されている。監視プラットフォームは、多工程製造プロセス全体で構成要素の進行を監視するように構成される。T制御モジュールは多工程製造プロセスの工程の処理パラメータを動的に調整して、構成要素の所望の最終品質基準を達成するように構成され、制御モジュールは動作を実行するように構成される。動作には、1つまたは複数のステーションの第1のステーションのツーリングの画像データを受け取ることが含まれる。動作には、画像データからキーポイントのセットを識別することがさらに含まれる。キーポイントは、第1のステーションでの処理中のツーリングの位置情報に対応している。動作には、機械学習モデルによって、キーポイントに基づいて構成要素の最終品質基準を決定することも含まれる。動作には、最終品質基準が最終品質基準からの閾値許容範囲内にないことを決定することも含まれる。動作には、決定に基づいて、第1の処理ステーションの構成要素に対応する位置情報を推測することがさらに含まれる。動作はさらに、決定に基づいて、下流ステーションによって実行される更新された命令セットを生成することを含む。動作には、機械学習モデルによって、更新された命令セットに基づいて構成要素の最終品質基準を予測することも含まれる。動作には、予測された最終品質基準に基づいて、更新された命令セットを下流ステーションに提供することがさらに含まれる。
本開示の上記の特徴を詳細に理解できるように、上記で簡単に要約された本開示のより具体的な説明は、実施形態を参照することによって得ることができ、そのいくつかは添付の図面に示されている。しかしながら、添付の図面は、本開示の典型的な実施形態のみを示しており、したがって、その範囲を限定すると見なされるべきではなく、開示のために、他の同等に効果的な実施形態を認めることができることに留意されたい。
理解を容易にするために、可能な場合は、図に共通する同一の要素を示すために同一の参照番号が使用されている。一実施形態で開示される要素は、特定の記述なしに他の実施形態で有益に利用され得ることが企図される。
製造プロセスは複雑な場合があり、最終構成要素が製造されるまで、様々なプロセスステーション(または「ステーション」)によって処理される原材料が含まれ得る。いくつかの実施形態では、各プロセスステーションは、処理のための入力を受け取り、追加の処理のために後続の(下流)プロセスステーションに渡され得る中間出力を出力し得る。いくつかの実施形態では、最終プロセスステーションは、処理のための入力を受け取り、最終構成要素、またはより一般的には最終出力を出力することができる。
いくつかの実施形態では、各ステーションは、一連のプロセス工程を実行することができる1つまたは複数のツール/機器を含むことができる。例示的なプロセスステーションには、コンベヤベルト、射出成形プレス、切断機、ダイスタンピング機械、押出機、コンピュータ数値制御(CNC)ミル、グラインダ、組立ステーション、3次元プリンタ、品質管理ステーション、検証ステーションなどが含まれ得るが、これらに限定されない。
いくつかの実施形態では、各プロセスステーションの動作は、1つまたは複数のプロセスコントローラによって管理され得る。いくつかの実施形態では、各プロセスステーションは、プロセスステーションの動作を制御するようにプログラムされ得る1つまたは複数のプロセスコントローラを含み得る。いくつかの実施形態では、オペレータまたは制御アルゴリズムは、各制御値について、所望の値または値の範囲を表すことができるステーションコントローラ設定値をステーションコントローラに提供することができる。いくつかの実施形態では、製造プロセスにおけるフィードバックまたはフィードフォワードに使用される値は、制御値と呼ばれることがある。例示的な制御値には、速度、温度、圧力、真空、回転、電流、電圧、電力、粘度、ステーションで使用される材料/資源、スループット率、停止時間、有害ガスなどが含まれ得るが、これらに限定されない。
本明細書で提供される1つまたは複数の技術は、画像および/またはビデオデータを使用して構成要素の最終品質基準を予測または予想することができるシステムを提供することによって、従来のプロセスを改善する。いくつかの実施形態では、システムは、製造システムの各処理ノードまたはステーションのツーリングのビデオおよび/または画像データを捕捉または記録するように構成された監視システムを含み得る。プロセス工程中のツーリングの配置に基づいて、本システムは、構成要素の最終品質基準を予測または予想するように構成することができる。予測された最終品質基準が許容値の範囲外にある場合、本システムは、処理中のエラーを修正しようとして、更新された処理命令を生成し、下流処理ノードおよび/またはステーションに提供することができるため、所望の最終品質基準が達成され得る。
いくつかの実施形態では、システムは、製造システムの各処理ノードまたはステーションで構成要素のビデオおよび/または画像データを捕捉または記録するように構成された監視システムを含み得る。処理ノードの端にある構成要素に関する視覚情報に基づいて、本システムは、構成要素の最終品質基準を予測または予想するように構成され得る。予測された最終品質基準が許容値の範囲外にある場合、本システムは、処理中のエラーを修正しようとして、更新された処理命令を生成し、下流処理ノードおよび/またはステーションに提供することができるため、所望の最終品質基準が達成され得る。
このようにして、本システムは、実際に構成要素をテストする必要なしに、製造プロセスの任意の段階で、構成要素の最終品質基準を予測または予想することができる。このようなシステムは、破壊的なテストが必要な最終品質基準、または処理が完了するまで最終品質基準を評価できない場合に特に役立つ。
図1は、例示的な実施形態による、製造環境100を示すブロック図である。製造環境100は、製造システム102、監視プラットフォーム104、および制御モジュール106を含み得る。製造システム102は、多工程製造システムを広く表すことができる。いくつかの実施形態では、製造システム102は、組立ラインシステムを表すことができ、各処理ステーションは、人間の労働者を表すことができる。いくつかの実施形態では、製造システム102は、積層造形で使用するための製造システム(例えば、3D印刷システム)を表すことができる。いくつかの実施形態では、製造システム102は、減算加工(subtractive manufacturing)(例えば、CNC機械加工)で使用するための製造システムを表すことができる。いくつかの実施形態では、製造システム102は、積層造形と減算加工の組み合わせで使用するための製造システムを表すことができる。より一般的には、いくつかの実施形態では、製造システム102は、一般的な製造プロセスで使用するための製造システムを表すことができる。
製造システム102は、1つまたは複数のステーション1081~108n(一般に、「ステーション108」)を含み得る。各ステーション108は、多工程製造プロセスにおける工程および/またはステーションを表すことができる。例えば、各ステーション108は、3D印刷プロセスにおける層堆積動作を表すことができる(例えば、ステーション1081は、層1に対応し得、ステーション1082は、層2に対応し得る、等々)。別の例では、各ステーション108は、特定の処理ステーションに対応することができる。別の例では、各ステーション108は、組立ライン製造プロセスにおいて特定のタスクを実行する特定の人間のオペレータに対応することができる。
各ステーション108は、プロセスコントローラ114および制御論理116を含み得る。各プロセスコントローラ1141~114nは、各それぞれのステーション108の動作を制御するようにプログラムされ得る。いくつかの実施形態では、制御モジュール106は、各制御値について、所望の値または値の範囲を表すことができるステーションコントローラ設定値を各プロセスコントローラ114に提供することができる。制御論理116は、ステーションの108のプロセス工程に関連する属性/パラメータを指すことができる。動作中、各ステーション108の制御論理116は、最終品質基準の現在の軌道に応じて、制御モジュール106によって製造プロセス全体を通して動的に更新され得る。
監視プラットフォーム104は、製造システム102の各ステーション108を監視するように構成され得る。いくつかの実施形態では、監視プラットフォーム104は、製造システム102の構成要素であり得る。例えば、監視プラットフォーム104は、3D印刷システムの構成要素であり得る。いくつかの実施形態では、監視プラットフォーム104は、製造システム102から独立していてもよい。例えば、監視プラットフォーム104は、既存の製造システム102に組み込むことができる。いくつかの実施形態では、監視プラットフォーム104は、多工程プロセスの各段階で構成要素またはツーリング(例えば、労働者またはプロセスツール)の画像を捕捉するように構成された画像化デバイスを表すことができる。例えば、監視プラットフォーム104は、各ステーション108での構成要素の画像および/または各ステーション108で構成要素を展開している構成要素の画像(例えば、ツーリング、人間など)を捕捉するように構成され得る。一般に、監視プラットフォーム104は、構成要素(例えば、画像、電圧読み取り、速度読み取りなど)および/またはツール(例えば、手の位置、ツーリング位置など)の生成に関連する情報を捕捉し、その情報を入力として、評価のために制御モジュール106に提供するように構成され得る。
制御モジュール106は、1つまたは複数の通信チャネルを介して製造システム102および監視プラットフォーム104と通信することができる。いくつかの実施形態では、1つまたは複数の通信チャネルは、セルラーネットワークまたはWi-Fiネットワークなどのインターネットを介した個々の接続を表すことができる。いくつかの実施形態では、1つまたは複数の通信チャネルは、無線周波数識別(RFID)、近距離無線通信(NFC)、ブルートゥース(商標)、低エネルギーブルートゥース(商標)(BLE)、Wi-Fi(商標)、ZigBee(商標)、後方散乱通信(ABC)プロトコル、USB、WAN、またはLANなどの直接接続を使用して端末、サービス、およびモバイルデバイスを接続することができる。
制御モジュール106は、製造システム102の各プロセスコントローラを制御するように構成され得る。例えば、監視プラットフォーム104によって捕捉された情報に基づいて、制御モジュール106は、特定のステーション108に関連するプロセス制御を調整するように構成され得る。いくつかの実施形態では、制御モジュール106は、算定される最終品質基準に基づいて特定のステーション108のプロセス制御を調整するように構成され得る。
図2は、例示的な実施形態による、制御モジュール106を示すブロック図である。制御モジュール106は、ツーリングモジュール202および構成要素モジュール204を含み得る。
ツーリングモジュール202は、監視プラットフォーム104によって得られた画像データに基づいて、製造の所与の段階での標本の最終品質基準を算定するように構成され得る。動作中、制御モジュール106は、監視プラットフォーム104からの入力を受け取ることができる。いくつかの実施形態では、そのような入力は、多工程製造プロセスの所与の工程でサブプロセスを実行するツーリングの画像またはビデオの形をとることができる。例えば、画像またはビデオデータは、多工程製造プロセスの特定のサブプロセスを実行している間の人間の手の画像またはビデオデータを含み得る。別の例では、画像またはビデオデータは、多層製造プロセスの特定の層の堆積を実行する3次元プリンタの画像またはビデオデータを含み得る。入力に基づいて、制御モジュール106は、構成要素の最終品質基準を予測することができる。構成要素の算定される最終品質基準に応じて、制御モジュール106は、所望のまたは閾値の最終品質基準に到達するために、後続の製造工程で取るべき1つまたは複数のアクションを決定することができる。例えば、算定される最終品質基準が許容値の範囲外にある場合、制御モジュール106は、製造プロセスを修正するために1つまたは複数のアクションを実行することができる。いくつかの実施形態では、制御モジュール106は、後続のステーション108のステーションコントローラとインターフェースして、それぞれの制御および/またはステーションパラメータを調整することができる。いくつかの実施形態では、制御モジュール106は、生産ラインの各下流処理ステーションで実行される更新された命令を人間の製造業者に提供することができる。これらの調整は、最終品質基準が許容可能な品質基準の範囲内になり得るように、製造プロセスの修正に役立ち得る。
構成要素モジュール204は、監視プラットフォーム104によって取得された画像データに基づいて、製造の所与の段階での標本の最終品質基準を算定するように構成され得る。いくつかの実施形態では、構成要素モジュール204は、監視プラットフォーム104からの入力を受け取ることができる。いくつかの実施形態では、そのような入力は、多工程製造プロセスの所与の工程での構成要素の画像またはビデオの形をとることができる。いくつかの実施形態では、構成要素モジュール204は、ツーリングモジュール202から、多工程製造プロセスの所与の工程で推定された構成要素データを受け取ることができる。例えば、ツーリングモジュール202は、ツーリング画像またはビデオデータに基づいて、多工程製造プロセスの所与の工程で構成要素に関する情報を推測し、その推測された情報を入力として構成要素モジュール204に提供することができる。入力に基づいて、構成要素モジュール204は、構成要素の最終品質基準を算定することができる。構成要素の算定される最終品質基準に応じて、構成要素モジュール204は、所望のまたは閾値の最終品質基準に到達するために、後続の製造工程で取るべき1つまたは複数のアクションを決定することができる。例えば、算定される最終品質基準が許容値の範囲外にある場合、構成要素モジュール204は、製造プロセスを修正するための1つまたは複数のアクションを識別し得る。いくつかの実施形態では、制御モジュール106は、後続のステーション108のステーションコントローラとインターフェースして、それぞれの制御および/またはステーションパラメータを調整することができる。いくつかの実施形態では、制御モジュール106は、生産ラインの各下流処理ステーションで実行される更新された命令を人間の製造業者に提供することができる。これらの調整は、最終品質基準が許容可能な品質基準の範囲内になり得るように、製造プロセスの修正に役立ち得る。
ツーリングモジュール202および構成要素モジュール204のそれぞれは、1つまたは複数のソフトウェアモジュールを含み得る。1つまたは複数のソフトウェアモジュールは、1つまたは複数のアルゴリズム工程を実装する一連の機械命令(例えば、プログラムコード)を表す、媒体(例えば、制御モジュール106に関連するコンピューティングシステムのメモリ)に記憶されたコードまたは命令のコレクションであり得る。そのような機械命令は、プロセッサが命令を実装するために解釈する実際のコンピュータコードであり得るか、あるいは、実際のコンピュータコードを取得するために解釈される命令のより高いレベルのコーディングであり得る。1つまたは複数のソフトウェアモジュールはまた、1つまたは複数のハードウェア構成要素を含み得る。例示的なアルゴリズムの1つまたは複数の態様は、命令の結果としてではなく、ハードウェア構成要素(例えば、回路)自体によって実行され得る。さらに、いくつかの実施形態では、ツーリングモジュール202および構成要素モジュール204のそれぞれは、構成要素間で1つまたは複数の信号を送信するように構成され得る。そのような実施形態では、そのような信号は、コンピューティングデバイスによって実行される機械命令に限定されない場合がある。
いくつかの実施形態では、ツーリングモジュール202および構成要素モジュール204は、1つまたは複数のローカルネットワークを介して通信することができる。ネットワークは、セルラーネットワークやWi-Fiネットワークなど、インターネットを介した個別の接続を含め、任意の適切なタイプにすることができる。いくつかの実施形態では、ネットワークは、無線周波数識別(RFID)、近距離無線通信(NFC)、ブルートゥース(商標)、低エネルギーブルートゥース(商標)(BLE)、Wi-Fi(商標)、ZigBee(商標)、後方散乱通信(ABC)プロトコル、USB、WAN、またはLANなどの直接接続を使用して端末、サービス、およびモバイルデバイスを接続することができる。送信される情報は個人情報または機密情報である可能性があるため、セキュリティ上の懸念から、これらのタイプの接続の1つまたは複数を暗号化またはその他の方法で保護する必要がある。しかしながら、いくつかの実施形態では、送信される情報は個人的ではない可能性があり、したがって、ネットワーク接続は、セキュリティよりも利便性のために選択され得る。
ツーリングモジュール202は、取得システム206、抽出モジュール208、および予測モジュール210を含み得る。一般に、製造システム102などのマルチノードまたはマルチステーションアセンブリ環境は、大まかに
として表すことができ、ここで、
は、すべてのiノードで構成要素の状態を表すことができ、ここで
は、すべてのiノードでツーリングによって構成要素に対して実行されるアクションのそのセットを表し得る。標準または正規の品質測定値Vcが与えられると、ツーリングモジュール202は、推定品質基準、
を使用してアセンブリプロセスのエラーを最適化するように構成できるため、
はVcの閾値距離内になり得る。いくつかの実施形態では、ツーリングモジュール202は、状態、
を推定することができ、これは、Nノードおよび、アクション、
のすべてにおける構成要素の状態の数値表現であり得、これは、各ノードの命令または制御値を表し得る。
取得システム206は、各ノードNでのアセンブリプロセスの画像データを受け取るように構成され得る。いくつかの実施形態では、取得システム206は、監視プラットフォーム104のアセンブリプロセスの画像データを受け取ることができる。いくつかの実施形態では、各ノードNについて、取得システム206は、V個の画像を受信することができ、ここで、Vは、各ノードでのアセンブリ手順を記録することができる監視プラットフォーム104のカメラの数を表すことができる。したがって、V個の画像の各画像は、処理中に構成要素の異なる視点を捕捉することができる。画像データの受信に続いて、取得システム206は、フレームの画像のサブセットを抽出するように構成され得る。例えば、取得システム206は、受信された画像データからL個の画像を抽出するように構成され得る。抽出された画像は、ランドマークフレームと呼ばれることがある。ランドマークフレームは、高運動である画像フレームである可能性がある。抽出された画像には、構成要素の特定のランドマーク
を含む画像またはフレームが含まれ得、ここで、
であり、構成要素の製造プロセス全体を表し得る。
特定のオペレータの最小運動(例えば、「ランドマーク」)フレームと最大運動(例えば、「高運動」)フレームの両方に、多数のオペレータにまたがる堅牢な方法で指と手の腕のデータと飛行性能データを相関させようとしている分類器に役立つ情報が含まれ得る。いくつかの実施形態では、オプティカルフローアルゴリズムを使用して、任意の所与のフレーム内の運動量を測定することができる。取得システム206は、最も多くの運動を含むフレームを選択することができる。
抽出モジュール208は、L個の画像からキーポイントを抽出するように構成され得る。例えば、抽出モジュール208は、ランドラークIiごとに、K個のキーポイント、すなわち、(x,y)対を抽出するように構成され得る。言い換えれば、抽出モジュール208は、所与の入力、
に対してK個のキーポイントを出力するように構成され得、ここで、l∈[0,L-1]である。出力として、抽出モジュール208は、単一のベクトル
を生成することができる。このベクトルには、
で表すことができるK個の(x,y)対のランドマーク表現を含めることができ、ここでi∈[0,L-1]である。
境界ボックス推定に関しては、
が与えられると、各ランドマークフレームは、各ツーリング構成要素のマスク画像を生成するために閾値画像セグメンテーションで処理され得る。例えば、ツーリングが人間である実施形態では、抽出モジュール208は、ユーザの手のそれぞれについてマスク画像を生成することができる。いくつかの実施形態では、抽出モジュール208は、ブロブ検出を実装して、ツーリングの構成要素を見つけることができる。例として人間を使用すると、抽出モジュール208は、画像が常にユーザの左手と右手の両方を含むと想定することができる。フレームが両手を含むことができない場合、抽出モジュール208は、任意の定数値cで値を割り当てることができる。
キーポイント検出に関して、抽出モジュール208は、推定された境界ボックスに基づいて、ツーリングのキーポイントを識別し得る。例えば、与えられた入力で、抽出モジュール208は、その信頼値
と共に、K個の点、
を推定することができる。いくつかの実施形態では、抽出モジュール208は、フレーム上に見える点だけでなく、1つまたは複数の関節、視点、オブジェクト、またはツールの相互作用のためにフレームから閉塞される可能性がある点も推定することができる。追跡されたキーポイントを使用して品質測定を予測することが目的である可能性があるため、推定されていない閉塞点は、アセンブリプロセスを表す一意で重要な機能である可能性がある。したがって、閉塞閾値toは、ランドマークフレームのランダムに選択された小さなサブセット内の閉塞点のci値の観察から導出できる。toを使用して、抽出モジュール208は、co<toである推定をフィルタリングすることができる。それらのフィルタリングされた点について、抽出モジュール208は、それらに任意の定数値cを割り当てることができる。フレーム上のツーリングまたはキーポイントの可視性に関係なく、抽出モジュール208の出力は、各構成要素のL×K(x,y)対を含み得る。
言い換えれば、抽出モジュール208は、閉塞された構成要素にデフォルトの基礎信頼レベルを割り当てるように構成され得、したがって、これらのキーポイントを推定して、観察されたトライアルツーリング構成要素の位置と正規のツーリング構成要素の位置との間の不一致を測定するためのキーポイントのフルセットを利用できるようにする。いくつかの実施形態では、ツーリングモジュール202は、所与の時点(例えば、ステーションi)での構成要素の状態についての推論を引き出し、次に、測定された不一致を修正するために取るべき、推奨される正規から変更された後続のアクションを出力することができる。
予測モジュール210は、最終品質基準、
を予測するように構成され得る。例えば、予測モジュール210は、最終品質基準、
を予測するように構成され得、
、L個の時点、
のツーリング追跡情報が与えられ、
は、各処理ステーション108から収集することができる。いくつかの実施形態では、予測モジュール210は、最終品質基準を出力するために、長短期メモリ(LSTM)モデルを実装することができる。LSTMモデルは、予測モジュール210が、従来の回帰ニューラルネットワークで一般的である勾配消失問題を克服することを可能にし得る。勾配消失問題は、モデルが長いシーケンス入力の初期入力を後期入力に関連付けることができない場合である。LSTMモデルはこの問題を排除する。
図3は、例示的な実施形態による、LSTMモデルの例示的なアーキテクチャを示すブロック図である。示されるように、LSTMモデル300は、3つの層3021~3023(一般に層302)を含み得る。示されるように、各層302は、1つまたは複数のセル304を含み得る。いくつかの実施形態では、各セル304の入力は、piであり得、ここで、i∈[0,L-1]である。LSTMの各セルは、次のように定義できる。
eq.1:fi=σ(Wf×[hi-1,pi]+bf)
eq.2:I_i=σ(W_I×[h_(i-1),p_i]+b_I)
eq.3:c=fi×ct-1+Ii×tanh(Wc×[hi-1,pi]+bc)
eq.4:oi=σ(Wo×[hi-1,pi]+bo)
eq.5:hi=oi×tanhci
ここで、式1は、前のセルからの情報を保持するかどうかを決定する。式(2)は、更新する値を決定する。式(3)はセルを更新する。式(4)は、出力する部分を決定する。式(5)は、LSTMモデル300が出力するようにプログラムされたもののみを出力するように、出力部分をフィルタリングすることができる。
eq.1:fi=σ(Wf×[hi-1,pi]+bf)
eq.2:I_i=σ(W_I×[h_(i-1),p_i]+b_I)
eq.3:c=fi×ct-1+Ii×tanh(Wc×[hi-1,pi]+bc)
eq.4:oi=σ(Wo×[hi-1,pi]+bo)
eq.5:hi=oi×tanhci
ここで、式1は、前のセルからの情報を保持するかどうかを決定する。式(2)は、更新する値を決定する。式(3)はセルを更新する。式(4)は、出力する部分を決定する。式(5)は、LSTMモデル300が出力するようにプログラムされたもののみを出力するように、出力部分をフィルタリングすることができる。
いくつかの実施形態では、LSTMモデル300は、30の隠れたサイズを有する3つの層302を含み得る。いくつかの実施形態では、LSTMモデル300は、シーケンス対1のLSTMモデルであり得る。トレーニングの場合、L1、平均絶対エラー(MAE)、損失関数:
は、Adamオプティマイザーを使用して最小化できる。いくつかの実施形態では、目標は、エラーの方向に関係なく、エラーの大きさを最小化または低減することである可能性があるため、MAEを使用することができる。
図2に戻ると、予測モジュール210は、正規の命令セット、
および複数の構成要素Mを使用してトレーニングされ得る。例えば、M個のデータの10ノードビデオを使用して、予測モジュール210の入力は、最初に、取得システム206および抽出モジュール208を介して前処理されることによって構造化され得る。いくつかの実施形態では、トレーニングに関与する各構成要素は、それらの組成物(例えば、形状)をチェックする検証アルゴリズムを介して検証され得る。いくつかの実施形態では、検証アルゴリズムは、組成物を正規の組成物と比較することによって、各ノードの終わりにある組成物の類似性指数を計算することができる。結果として、トレーニングの構成要素は、正規の組成物とほぼ同じである。
いくつかの実施形態では、出力のために、対応する物理構成要素を制御された環境でテストして、それらの品質基準を測定することができる。対応する出力データと共に準備された入力データを使用して、予測モジュール210は、例えば、Mの一部がトレーニングデータであり、Mの別の部分が検証データであるようにトレーニングされ得る。トレーニングされると、予測モジュール210は、ツーリングの画像データに基づいて、所与の処理工程での構成要素の品質測定を予測することができる可能性がある。
ここで、構成要素モジュール204を参照すると、構成要素モジュール204は、確率的勾配降下(SGD)モジュール212、ゲート付き回帰ユニット(GRU)モデル214、およびシミュレーションモジュール216を含み得る。この説明では、構成要素の部分的な構成を
として定義できる。ここで、工程kは製造プロセスに不可逆的エラーをもたらし、工程k+1,...,Nはまだ定義されていない。構成要素モジュール204は、残りのアクション[{rk+i,tk+i},...,{rN,tN}]の最適な修正シーケンスを識別するように構成され得る。rおよびtは、製造システム102の後続の各処理ステーション(k+1~N)において、構成要素に対して実行されるべき特定の動作に対応し得る。より一般的には、任意の構成要素
は、製造システムの各処理ステーション1...Nで実行されるすべての動作のシーケンスとして定義できる。数学的には、
。各製造工程i=1,...,10で、仮想表現システムは、ユークリッド空間の構成要素(例えば、
)を、接続された表面のセットと、各表面の外側の輪郭に沿って均一に分散された接続された点のセットとして表すことができる。いくつかの実施形態では、これらの表現を生成する仮想表現関数は、それぞれ、
および
と呼ばれ得る。いくつかの実施形態では、構成要素モジュール204は、特定の正規の構成要素
に向けて
を修正するように構成され得る。
シミュレーションモジュール216は、所与の構成要素
の表面モデルをシミュレートまたは生成するように構成され得る。例えば、シミュレーションモジュール216は、ツーリングモジュール202からツーリング情報を受け取ることができる。ツーリングモジュール202によって生成されたキーポイントに基づいて、シミュレーションモジュール216は、特定のプロセス工程iでの構成要素
の状態を表す表面モデルを生成するように構成され得る。いくつかの実施形態では、表面モデルは、
として表すことができる。いくつかの実施形態では、シミュレーションモジュール216は、構成要素
の品質基準を生成または推定するようにさらに構成され得る。表面モデルから、シミュレーションモジュール216は、構成要素
の特定の座標を表す点モデル、
を生成するように構成され得る。例えば、表面モデル
から、シミュレーションモジュール216は、
の各表面の境界輪郭の周りに等間隔に配置された多数の点を配置することによって、点モデル、
を作成することができる。いくつかの実施形態では
を使用して、アーチファクト
の性能をシミュレートすることができる。
SGDモジュール212は、シミュレーションモジュール216から点モデル
を受け取ることができる。SGDモジュール212は、工程iでの点モデル
を、正規の構成要素、
の正規の点モデル
と比較することによって、不可逆的エラーkが発生したかどうかを決定することができる。不可逆的エラーは、工程kでの正規の構成要素からの測定可能なほど有意な構造偏差であると定義できる。SGDモジュール212は、ハウスドルフ距離を取ることによって不可逆的エラーを検出するように構成され得る。例えば、SGDモジュール212は、それぞれのユークリッド点セットに基づいて、現在の構成要素
の処理工程を正規の構成要素
に一致させることができる。数学的には、SGDモジュール212は、i∈i=1,...,Nの
と
の間のハウスドルフ距離を計算するように構成できる。例えば、
ここで、d(x,y)はxとyの間のユークリッド距離であり、無向ハウスドルフ距離は次のようになり得る。
H(X,Y)=max{h(X,Y),h(Y,X)
H(X,Y)=max{h(X,Y),h(Y,X)
現在の構成要素
と正規の構成要素
の間のハウスドルフ距離が閾値許容範囲を超えると、不可逆的エラーが発生する可能性がある。例えば、SGDモジュール212は、以下の場合に工程kでエラーが発生したと決定することができる。
ここで、τHは適切に定義された許容閾値である。
エラーがあると仮定すると、SGDモジュール212は、更新されたアクション[{rk+1,tk+1},...,{rN,tN}]のセット、不可逆的エラーkのエラーの点までの所与のアクションのセットを構築するように構成されてもよい。いくつかの実施形態では、この更新されたアクションのセットは、xtailと呼ばれることがある。エラー工程kの前にあり、エラー工程kを含む一連の工程またはアクションは、xheadと呼ばれる場合がある。一緒に、xtailとxheadは構成要素
を定義し得る。xheadに基づいて、SGDモジュール212は確率的勾配降下法を使用してxtailを解くことができる。
GRUモデル214は、
に基づいて、構成要素
の最終品質基準を予測するように構成できる。ここで、
はベクトル連結演算子を表し得る。GRUモデル214によって生成された最終品質基準を正規の最終品質基準と比較して、xtailが適切かどうかを決定できる。例えば、xtailとxheadの組み合わせが、許容値の範囲外の最終品質基準を生成すると仮定すると、GRUモデル214は、SGDモジュール212に、さらなる評価のために更新されたアクションの更新されたシーケンスを生成するように指示できる。
図5は、例示的な実施形態による、GRUモデル214のアーキテクチャを示すブロック図である。示されるように、GRUモデル214は、N GRUセル5021~502N(一般に、GRUセル502)を含み得、各GRUセル502は、それぞれの処理ステーション108に対応する。各GRUセル502は、(ri,ti)入力対および所定のサイズの非表示状態出力
を含み得る。一緒に、これらの入力対(ri,ti)は、特定の構成要素
を定義できる。いくつかの実施形態では、各GRUセル502は、以下によって定義され得る。
ここで、
は時間tでの非表示状態、
は時間tでの入力、
、
、および
はそれぞれ時間tでのリセット、更新、新しいゲートを表すことができる。
GRUモデル214は、それに対応する重みを生成するようにトレーニングできる。例えば、GRUモデル214は、特定のサブ問題を解決する方向にGRUモデル214にバイアスをかけるように繰り返しトレーニングすることができる。いくつかの実施形態では、第1の反復中に、GRUモデル214は、各予測に対応する対応する予測品質基準と共に工程k+1,...,Nで所与の構成要素
を完了するために、複数(例えば、数百から数千)の最良の予測(工程kで起こり得るエラーごとに1つ)を生成し得る。
いくつかの実施形態では、予測された飛行機の完成のすべてが仮想表現システムでレンダリングされ、それらの段階的なハウスドルフ距離が計算され、それらのレンダリングされた表面がシミュレートされて、生成された予測と正規との間の距離測度が得られる。いくつかの実施形態では、正規の品質基準測定値と予測された品質基準測定値との間の損失値が計算され、GRUモデル214にフィードバックされ得、その重みは、逆伝播によって調整され得、第2の反復を生成し得る。このプロセスは、所望のエラー閾値が得られるまで続く場合がある。
図4は、例示的な実施形態による、ツーリングモジュール202のためのフィードバックセグメント400の全体的なプロセスフローを視覚的に示すブロック図である。
示されるように、フィードバックセグメント400は、第1の部分402、第2の部分404、および第3の部分406を含み得る。第1の部分402の間、ツーリングモジュール202は、取得システム206によって少なくとも部分的に実行されるような取得プロセスを実行することができる。
示されるように、ブロック408で、製造システム102は、構成要素を処理するための処理命令を受け取ることができる。いくつかの実施形態では、製造システム102は、ステーション108ごとに処理命令を受け取ることができる。例えば、製造システム102の各ステーション108は、独立した処理命令を受け取ることができる。いくつかの実施形態では、処理命令は、製造のためのステーション108の属性(例えば、温度、圧力など)を定義する制御値を含み得る。いくつかの実施形態では、処理命令は、製造プロセスの処理ノードで特定の処理工程を実行する方法を人間のオペレータに視覚的に示すビデオまたは画像を含み得る。
ブロック410において、取得システム206は、監視プラットフォーム104から画像データを受け取ることができる。いくつかの実施形態では、各ノードNについて、取得システム206は、V個の画像を受信することができ、ここで、Vは、各ノードでのアセンブリ手順を記録することができる監視プラットフォーム104のカメラの数を表すことができる。画像データの受信に続いて、ブロック412で、取得システム206は、フレームの画像のサブセットを抽出するように構成され得る。例えば、取得システム206は、受信された画像データからL個の画像を抽出するように構成され得る。抽出された画像は、ランドマークフレームと呼ばれることがある。抽出された画像には、特定のランドマークを含むそれらの画像またはフレームが含まれ得、構成要素の製造プロセス全体を表し得る。
第2の部分404は、抽出モジュール208によって実行される動作に対応し得る。示されるように、抽出モジュール208は、取得システム206から少なくとも抽出された画像を受信することができる。抽出モジュール208は、L個の画像からキーポイントを抽出するように構成され得る。例えば、抽出モジュール208は、ランドラークIiごとに、K個のキーポイント、すなわち、(x,y)対を抽出するように構成され得る。
ブロック414で、抽出モジュール208は、境界ボックス推定を実行することができる。例えば、
が与えられた場合、各ランドマークフレームは、閾値画像セグメンテーションで処理され、各ツーリング構成要素のマスク画像が生成され得る。例えば、示されるように、ツーリングが人間である実施形態では、抽出モジュール208は、ユーザの手のそれぞれについてマスク画像を生成することができる。
ブロック416で、抽出モジュール208は、境界ボックス推定を前提として、キーポイント検出を実行することができる。例えば、与えられた入力で、抽出モジュール208は、その信頼値
と共に、K個の点、
を推定することができる。いくつかの実施形態では、抽出モジュール208は、フレーム上に見える点だけでなく、1つまたは複数の関節、視点、オブジェクト、またはツールの相互作用のためにフレームから閉塞される可能性がある点も推定することができる。
第3の部分406は、予測モジュール210によって実行される動作に対応することができる。示されるように、ブロック418で、予測モジュール210は、抽出モジュール208からキーポイント情報を受信することができ、最終品質基準、
を予測するように構成することができる。いくつかの実施形態では、予測モジュール210は、最終品質基準を出力するために、長短期メモリ(LSTM)モデルを実装することができる。
図6は、例示的な実施形態による、多工程製造プロセスを修正する方法600を示す流れ図である。方法600は、工程602で開始することができる。
工程602で、命令セットが製造システム102に提供され得る。命令セットは、製造システム102によって実行される製造プロセスのための命令のセットを表すことができる。いくつかの実施形態では、命令セットは、各ステーション108に提供され得る。例えば、各それぞれのステーション108に提供される各正規の命令セットは、特定の製造工程のための処理パラメータを定義することができる。別の例では、各正規の命令セットは、特定の処理ノードまたはステーション108で人間のアクターによって実行される個別の工程のビデオであり得る。
工程604で、制御モジュール106は、監視プラットフォーム104からツーリング(例えば、ステーション108)の画像データを受け取ることができる。例えば、取得システム206は、それぞれの処理ノードでのアセンブリプロセスの画像データを受け取ることができる。いくつかの実施形態では、取得システム206は、V個の画像を受信することができ、ここで、Vは、特定の処理ステーション108でのアセンブリ手順を記録することができる監視プラットフォーム104のカメラの数を表すことができる。したがって、V個の画像の各画像は、処理中にツーリングの異なる視点を捕捉することができる。
工程606で、制御モジュール106は、取得された画像データから画像のサブセットを抽出することができる。例えば、画像データの受信に続いて、取得システム206は、フレームの画像のサブセットを抽出するように構成され得る。例えば、取得システム206は、受信された画像データからL個の画像、すなわちランドマークフレームを抽出するように構成され得る。抽出された画像は、ランドマークフレームと呼ばれることがある。ランドマークフレームは、高運動のそれらの画像フレームであり得る。抽出された画像には、構成要素の特定のランドマーク、
を含む画像またはフレームが含まれ得、ここで、
であり、構成要素の製造プロセス全体を表すことができる。
工程608で、制御モジュール106は、ランドマークフレームからツーリングの1つまたは複数のキーポイントを抽出することができる。例えば、抽出モジュール208は、L個の画像からキーポイントを抽出することができる。抽出モジュール208は、所与の入力、
に対してK個のキーポイントを識別または抽出することができ、ここで、l∈[0,L-1]である。出力として、抽出モジュール208は、単一のベクトル
を生成することができる。このベクトルには、
で表すことができるK個の(x,y)対のランドマーク表現を含めることができ、ここで、i∈[0,L-1]である。
工程610で、制御モジュール106は、少なくとも識別されたキーポイントに基づいて、構成要素の最終品質基準を予測することができる。いくつかの実施形態では、予測モジュール210は、最終品質基準を出力するために、長短期メモリ(LSTM)モデルを実装することができる。
工程612で、制御モジュール106は、最終品質基準を所望の品質測定基準と比較することができる。工程610で、制御モジュール106が、最終品質基準が所望の品質基準の閾値許容範囲であると決定した場合、製造プロセスは、元の命令セットに従って、次の処理ステーションまたはノードに進むことができる(例えば、工程616)。しかしながら、工程612で、制御モジュール106が、最終品質基準が所望の品質基準の閾値許容範囲内にないと決定した場合、工程614で、制御モジュール106は、下流処理ステーションの処理パラメータを調整することができる。いくつかの実施形態では、制御モジュール106は、後続のステーション108のステーションコントローラとインターフェースして、それぞれの制御および/またはステーションパラメータを調整することができる。いくつかの実施形態では、制御モジュール106は、生産ラインの各下流処理ステーションで実行される更新された命令を人間の製造業者に提供することができる。これらの調整は、最終品質基準が許容可能な品質基準の範囲内になり得るように、製造プロセスの修正に役立ち得る。
図7は、例示的な実施形態による、多工程製造プロセスを修正する方法700を示す流れ図である。方法700は、工程702から開始することができる。
工程702で、命令セットが製造システム102に提供され得る。命令セットは、製造システム102によって実行される製造プロセスのための命令のセットを表すことができる。いくつかの実施形態では、命令セットは、各ステーション108に提供され得る。例えば、各それぞれのステーション108に提供される各正規の命令セットは、特定の製造工程のための処理パラメータを定義することができる。別の例では、各正規の命令セットは、特定の処理ノードまたはステーション108で人間のアクターによって実行される個別の工程のビデオであり得る。
工程704において、制御モジュール106は、それぞれの処理ノードにおける構成要素に対応する情報を識別し得る。いくつかの実施形態では、シミュレーションモジュール216は、ツーリングモジュール202からツーリング情報を受け取ることができる。ツーリングモジュール202によって生成されたキーポイントに基づいて、シミュレーションモジュール216は、特定のプロセス工程iでの構成要素
の状態を表す表面モデルを生成するように構成され得る。いくつかの実施形態では、表面モデルは、
として表すことができる。いくつかの実施形態では、シミュレーションモジュール216は、構成要素
の品質基準を生成または推定するようにさらに構成され得る。表面モデルから、シミュレーションモジュール216は、構成要素
の特定の座標を表す点モデル、
生成するように構成され得る。
工程706において、制御モジュール106は、不可逆的エラーが発生したかどうかを決定することができる。例えば、SGDモジュール212は、シミュレーションモジュール216から点モデル、
を受け取ることができる。SGDモジュール212は、工程iでの点モデル
を、正規の構成要素、
の正規の点モデル、
と比較することによって、不可逆的エラーkが発生したかどうかを決定することができる。SGDモジュール212は、点モデルと対応する正規の点モデルとの間のハウスドルフ距離を取ることによって不可逆的エラーを検出するように構成され得る。それぞれの処理ステーションまたはノードで、現在の構成要素
と正規の構成要素
の間のハウスドルフ距離が閾値許容範囲を超えると、不可逆的エラーが存在する可能性がある。
工程706で、制御モジュール106が不可逆的エラーが発生していないと決定した場合、製造プロセスは、元の命令セットに従って、次の処理ステーションまたはノードに進むことができる(工程705)。しかし、工程706で、制御モジュール106が不可逆的エラーが発生したと決定した場合、方法700は工程708に進む。
工程708で、制御モジュール106は、不可逆的エラーを修正するための更新されたアクションのセットを生成することができる。SGDモジュール212は、更新されたアクション[{rk+1,tk+1},...,{rN、tN}]のセット、不可逆的エラーkのエラーの点までの所与のアクションのセットを構築することができる。いくつかの実施形態では、この更新されたアクションのセットは、xtailと呼ばれることがある。エラー工程kの前にあり、エラー工程kを含む一連の工程またはアクションは、xheadと呼ばれる場合がある。一緒に、xtailとxheadは構成要素
を定義し得る。xheadに基づいて、SGDモジュール212は確率的勾配降下法を使用してxtailを解くことができる。エラー工程kの前にあり、エラー工程kを含む一連の工程またはアクションは、xheadと呼ばれる場合がある。一緒に、xtailとxheadは構成要素
を定義し得る。xheadに基づいて、SGDモジュール212は確率的勾配降下法を使用してxtailを解くことができる。
工程710で、制御モジュール106は、SGDモジュール212によって生成されたアクションのセットに基づいて、構成要素の予測された最終品質基準を生成することができる。例えば、GRUモデル214は、
に基づいて構成要素
の最終品質基準を予測するように構成できる。ここで、
はベクトル連結演算子を表すことができる。
工程712で、制御モジュール106は、予測された最終品質基準が正規の最終品質基準の閾値許容範囲内にあるかどうかを決定することができる。例えば、GRUモデル214によって生成された最終品質基準を正規の最終品質基準と比較して、xtailが適切かどうかを決定できる。工程712で、制御モジュール106が、予測された品質基準が閾値許容範囲内にあると決定した場合、工程714で、制御モジュール106は、下流処理ステーションの処理パラメータを調整することができる。いくつかの実施形態では、制御モジュール106は、後続のステーション108のステーションコントローラとインターフェースして、それぞれの制御および/またはステーションパラメータを調整することができる。いくつかの実施形態では、制御モジュール106は、生産ラインの各下流処理ステーションで実行される更新された命令を人間の製造業者に提供することができる。これらの調整は、最終品質基準が許容可能な品質基準の範囲内になり得るように、製造プロセスの修正に役立ち得る。
しかしながら、工程712で、制御モジュール106が、予測された品質基準が閾値許容範囲内にないと決定した場合、GRUモデル214は、SGDモジュール212に新しいxtailを生成するように促すことができる。例えば、方法700は、SGDモジュール212の工程708に戻って、更新されたアクションの新しいセットを構築することができる。
図8Aは、例示的な実施形態による、システムバスコンピューティングシステムアーキテクチャ800を示している。システム800の1つまたは複数の構成要素は、バス805を使用して互いに電気的に通信していてもよい。システム800は、プロセッサ(例えば、1つまたは複数のCPU、GPUまたは他の種類のプロセッサ)810およびシステムバス805を含み得、これは、読み取り専用メモリ(ROM)820およびランダムアクセスメモリ(RAM)825などのシステムメモリ815を含む様々なシステム構成要素をプロセッサ810に結合する。システム800は、プロセッサ810に直接接続されているか、近接しているか、またはプロセッサ810の一部として統合されている高速メモリのキャッシュを含むことができる。システム800は、プロセッサ810による迅速なアクセスのために、メモリ815および/またはストレージデバイス830からキャッシュ812にデータをコピーすることができる。このようにして、キャッシュ812は、データを待機している間のプロセッサ810の遅延を回避する性能向上を提供し得る。これらおよび他のモジュールは、プロセッサ810を制御するか、または制御して様々なアクションを実行するように構成することができる。他のシステムメモリ815も同様に使用可能であり得る。メモリ815は、異なる性能特性を有する複数の異なるタイプのメモリを含み得る。プロセッサ810は、単一のプロセッサまたは複数のプロセッサを表すことができる。プロセッサ810は、プロセッサ810およびソフトウェア命令が実際のプロセッサ設計に組み込まれている専用プロセッサを制御するように構成された、ストレージデバイス830に記憶されたサービス1 832、サービス2 834、およびサービス3 836などの汎用プロセッサあるいはハードウェアモジュールまたはソフトウェアモジュールのうちの1つまたは複数を含むことができる。プロセッサ810は、本質的に、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含む、完全に自己完結型のコンピューティングシステムであり得る。マルチコアプロセッサは、対称または非対称の場合がある。
コンピューティングデバイス800とのユーザ相互作用を可能にするため、入力デバイス845は、音声用のマイクロフォン、ジェスチャまたはグラフィック入力用のタッチセンシティブスクリーン、キーボード、マウス、モーション入力、音声など、任意の数の入力メカニズムであり得る。出力デバイス835はまた、当業者に知られているいくつかの出力機構のうちの1つまたは複数であり得る。場合によっては、マルチモーダルシステムは、ユーザがコンピューティングデバイス800と通信するために複数のタイプの入力を提供することを可能にすることができる。通信インターフェース840は、一般に、ユーザ入力およびシステム出力を運営および管理することができる。特定のハードウェア構成での動作に制限はない。したがって、ここでの基本機能は、開発時に改善されたハードウェアまたはファームウェア構成に簡単に置き換えることができる。
ストレージデバイス830は、不揮発性メモリであり得るし、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ(RAM)825、読み取り専用メモリ(ROM)820、およびそれらのハイブリッドなど、コンピュータによってアクセス可能なデータを記憶することができるハードディスクまたは他のタイプのコンピュータ可読媒体であり得る。
ストレージデバイス830は、プロセッサ810を制御するためのサービス832、834、および836を含むことができる。他のハードウェアまたはソフトウェアモジュールが企図されている。ストレージデバイス830は、システムバス805に接続することができる。一態様では、特定の機能を実行するハードウェアモジュールは、機能を実行するために必要なハードウェア構成要素(プロセッサ810、バス805、ディスプレイ835など)に関連してコンピュータ可読媒体に記憶されたソフトウェア構成要素を含むことができる。
図8Bは、例示的な実施形態による、チップセットアーキテクチャを有するコンピュータシステム850を示している。コンピュータシステム850は、開示された技術を実装するために使用することができるコンピュータハードウェア、ソフトウェア、およびファームウェアの一例であり得る。システム850は、識別された計算を実行するように構成されたソフトウェア、ファームウェア、およびハードウェアを実行することができる任意の数の物理的および/または論理的に異なるリソースを表す1つまたは複数のプロセッサ855を含むことができる。1つまたは複数のプロセッサ855は、1つまたは複数のプロセッサ855への入力および1つまたは複数のプロセッサ855からの出力を制御することができるチップセット860と通信することができる。この例では、チップセット860は、ディスプレイなどの出力865に情報を出力し、例えば、磁気媒体およびソリッドステート媒体を含むことができるストレージデバイス870に情報を読み書きすることができる。チップセット860は、RAM875との間でデータの読み取りと書き込みを行うこともできる。チップセット860とインターフェースするために、様々なユーザインターフェース構成要素885とインターフェースするためのブリッジ880を提供することができる。そのようなユーザインターフェース構成要素885は、キーボード、マイクロフォン、タッチ検出および処理回路、マウスなどのポインティングデバイスなどを含むことができる。一般に、システム850への入力は、機械生成および/または人間生成の様々なソースのいずれかから来ることができる。
チップセット860はまた、異なる物理的インターフェースを有することができる1つまたは複数の通信インターフェース890とインターフェースすることができる。このような通信インターフェースには、有線および無線のローカルエリアネットワーク、ブロードバンド無線ネットワーク、およびパーソナルエリアネットワークのインターフェースを含めることができる。本明細書に開示されるGUIを生成、表示、および使用するための方法のいくつかのアプリケーションは、物理的インターフェースを介して順序付けられたデータセットを受信することを含み、あるいはストレージ870または875に記憶されたデータを分析する1つまたは複数のプロセッサ855によって機械自体によって生成され得る。さらに、機械は、ユーザインターフェース構成要素885を介してユーザから入力を受け取り、1つまたは複数のプロセッサ855を使用してこれらの入力を解釈することによってブラウジング機能などの適切な機能を実行することができる。
例示的なシステム800および850は、複数のプロセッサ810を有するか、またはより大きな処理能力を提供するために一緒にネットワーク化されたコンピューティングデバイスのグループまたはクラスタの一部であり得ることが理解され得る。
前述の内容は本明細書に記載の実施形態を対象としているが、他のさらなる実施形態は、その基本的な範囲から逸脱することなく考案することができる。例えば、本開示の態様は、ハードウェアまたはソフトウェア、あるいはハードウェアとソフトウェアの組み合わせで実装され得る。本明細書で説明される一実施形態は、コンピュータシステムで使用するためのプログラム製品として実装され得る。プログラム製品のプログラムは、実施形態の機能(本明細書に記載の方法を含む)を定義し、様々なコンピュータ可読記憶媒体に含めることができる。例示的なコンピュータ可読記憶媒体には、以下が含まれるが、これらに限定されない。(i)情報が永続的に記憶される書き込み不可能な記憶媒体(例えば、CD-ROMドライブ、フラッシュメモリ、ROMチップ、または任意のタイプのソリッドステート不揮発性メモリによって読み取り可能なCD-ROMディスクなど、コンピュータ内の読み取り専用メモリ(ROM)デバイス)、(ii)変更可能な情報が記憶される書き込み可能な記憶媒体(例えば、ディスケットドライブまたはハードディスクドライブ内のフロッピーディスク、あるいは任意のタイプのソリッドステートランダムアクセスメモリ)。そのようなコンピュータ可読記憶媒体は、開示された実施形態の機能を指示するコンピュータ可読命令を運ぶ場合、本開示の実施形態である。
前述の実施例は例示的なものであり、限定するものではないことが当業者に理解されよう。明細書を読み、図面の研究をすると、それらに対するすべての順列、拡張、同等物、および改善が当業者に明らかであり、本開示の真の趣旨および範囲に含まれることが意図されている。したがって、以下の添付の特許請求の範囲には、これらの教示の真の趣旨と範囲に含まれるすべてのそのような修正、順列、および同等物が含まれることが意図されている。
Claims (20)
- 各ステーションが、構成要素の多工程製造プロセスで少なくとも1つの工程を実行するように構成されている、1つまたは複数のステーションと、
前記多工程製造プロセス全体で前記構成要素の進行を監視するように構成された監視プラットフォームと、
前記多工程製造プロセスの工程の処理パラメータを動的に調整して、前記構成要素の所望の最終品質基準を達成するように構成された制御モジュールであって、前記制御モジュールは、
前記1つまたは複数のステーションの第1のステーションのツーリングの画像データを受け取ることと、
前記画像データからキーポイントのセットを識別することであって、キーポイントの前記セットは、前記第1のステーションでの処理中の前記ツーリングの位置情報に対応する、識別することと、
機械学習モデルによって、キーポイントの前記セットに基づいて、前記構成要素の最終品質基準を決定することと、
前記最終品質基準が前記最終品質基準の閾値許容範囲内にないと決定することと、
前記決定に基づいて、前記多工程製造プロセスで後続のステーションの処理パラメータを更新することと、を含む動作を実行するように構成されている、制御モジュールと、を含む、製造システム。 - 前記構成要素の処理が完了するまで、前記最終品質基準を測定することができない、請求項1に記載の製造システム。
- 前記画像データは、複数の画像を含み、各画像はそれぞれのカメラに対応する、請求項1に記載の製造システム。
- 前記動作が、
前記画像データから画像のサブセットを抽出することをさらに含み、画像の前記サブセットの各画像は、前記第1のステーションの前記ツーリングを含む、請求項1に記載の製造システム。 - 前記画像データからキーポイントの前記セットを識別することは、
前記画像データにブロブ検出を適用して、前記画像データ内の前記ツーリングの位置を識別することを含む、請求項1に記載の製造システム。 - 前記画像データの前記ツーリングに対応するいくつかの点を生成することをさらに含む、請求項5に記載の製造システム。
- 前記機械学習モデルが長短期メモリモデルである、請求項1に記載の製造システム。
- 各処理ステーションが、構成要素の多工程製造プロセスで少なくとも1つの工程を実行するように構成されている、1つまたは複数の処理ステーションと、
前記多工程製造プロセス全体で前記構成要素の進行を監視するように構成された監視プラットフォームと、
前記多工程製造プロセスの工程の処理パラメータを動的に調整して、前記構成要素の所望の最終品質基準を達成するように構成された制御モジュールであって、前記制御モジュールは、
前記1つまたは複数の処理ステーションの第1の処理ステーションにおける前記構成要素に対応する位置情報を識別することと、
前記構成要素に対応する前記位置情報に基づいて、不可逆的エラーが存在することを決定することと、
前記決定に基づいて、前記不可逆的エラーを修正するために更新された命令セットを生成することであって、前記更新された命令セットは、下流処理ステーションによって実行される、生成することと、
機械学習モデルによって、前記更新された命令セットに基づいて前記構成要素の最終品質基準を予測することと、
前記予測された最終品質基準に基づいて、前記更新された命令セットを前記下流処理ステーションに提供することと、を含む動作を実行するように構成されている、制御モジュールと、を含む、製造システム。 - 前記構成要素の処理が完了するまで、前記最終品質基準を測定することができない、請求項8に記載の製造システム。
- 前記構成要素に対応する位置情報を識別することは、
前記構成要素の座標に対応する点のセットを受け取ることを含む、請求項8に記載の製造システム。 - 前記構成要素に対応する前記位置情報に基づいて、前記不可逆的エラーが存在することを決定することは、
前記構成要素の座標に対応する点の前記セットを、正規の構成要素に対応する点の正規のセットと比較することを含む、請求項10に記載の製造システム。 - 前記構成要素の前記座標に対応する点の前記セットを、前記正規の構成要素に対応する点の前記正規のセットと比較することは、
点の前記セットと点の前記正規のセットの間にハウスドルフ距離を生成することを含む、請求項11に記載の製造システム。 - 前記不可逆的エラーを修正するために前記更新された命令セットを生成することは、
前記不可逆的エラーの前に発生したアクションのセットに確率的勾配降下法を適用することを含む、請求項8に記載の製造システム。 - 前記不可逆的エラーの前に発生したアクションの前記セットは、各上流システムのそれぞれのアクションのセットを含む、請求項13に記載の製造システム。
- 前記更新された命令セットを前記下流ステーションに提供することは、
各下流システムの制御パラメータを調整することを含む、請求項8に記載の製造システム。 - 各ステーションが、構成要素の多工程製造プロセスで少なくとも1つの工程を実行するように構成されている、1つまたは複数のステーションと、
前記多工程製造プロセス全体で前記構成要素の進行を監視するように構成された監視プラットフォームと、
前記多工程製造プロセスの工程の処理パラメータを動的に調整して、前記構成要素の所望の最終品質基準を達成するように構成された制御モジュールであって、前記制御モジュールは、
前記1つまたは複数のステーションの第1のステーションのツーリングの画像データを受け取ることと、
前記画像データからキーポイントのセットを識別することであって、キーポイントの前記セットは、前記第1のステーションでの処理中の前記ツーリングの位置情報に対応する、識別することと、
機械学習モデルによって、キーポイントの前記セットに基づいて、前記構成要素の最終品質基準を決定することと、
前記最終品質基準が前記最終品質基準の閾値許容範囲内にないと決定することと、
前記決定に基づいて、前記第1のステーションの前記構成要素に対応する位置情報を推測することと、
前記決定に基づいて、下流ステーションによって実行される更新された命令セットを生成することと、
機械学習モデルによって、前記更新された命令セットに基づいて前記構成要素の最終品質基準を予測することと、
前記予測された最終品質基準に基づいて、前記更新された命令セットを前記下流ステーションに提供することと、を含む動作を実行するように構成されている、制御モジュールと、を含む、製造システム。 - 前記構成要素の処理が完了するまで、前記最終品質基準を測定することができない、請求項16に記載の製造システム。
- 前記構成要素に対応する前記位置情報に基づいて、不可逆的エラーが存在することを決定することをさらに含む、請求項17に記載の製造システム。
- 前記構成要素の前記座標に対応する点の前記セットを、正規の構成要素に対応する点の正規のセットと比較することをさらに含む、請求項18に記載の製造システム。
- 前記不可逆的エラーを修正するために前記更新された命令セットを生成することは、
前記不可逆的エラーの前に発生したアクションのセットに確率的勾配降下法を適用することを含む、請求項16に記載の製造システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023116653A JP2023145545A (ja) | 2019-11-06 | 2023-07-18 | 製造プロセスのためのシステム、方法、および媒体 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962931448P | 2019-11-06 | 2019-11-06 | |
US201962931453P | 2019-11-06 | 2019-11-06 | |
US62/931,453 | 2019-11-06 | ||
US62/931,448 | 2019-11-06 | ||
US201962932063P | 2019-11-07 | 2019-11-07 | |
US62/932,063 | 2019-11-07 | ||
PCT/US2020/059339 WO2021092329A1 (en) | 2019-11-06 | 2020-11-06 | Systems, methods, and media for manufacturing processes |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023116653A Division JP2023145545A (ja) | 2019-11-06 | 2023-07-18 | 製造プロセスのためのシステム、方法、および媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022554302A JP2022554302A (ja) | 2022-12-28 |
JP7320885B2 true JP7320885B2 (ja) | 2023-08-04 |
Family
ID=75687746
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022525443A Active JP7320885B2 (ja) | 2019-11-06 | 2020-11-06 | 製造プロセスのためのシステム、方法、および媒体 |
JP2023116653A Pending JP2023145545A (ja) | 2019-11-06 | 2023-07-18 | 製造プロセスのためのシステム、方法、および媒体 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023116653A Pending JP2023145545A (ja) | 2019-11-06 | 2023-07-18 | 製造プロセスのためのシステム、方法、および媒体 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20210132593A1 (ja) |
EP (1) | EP4055454A4 (ja) |
JP (2) | JP7320885B2 (ja) |
KR (1) | KR20220093171A (ja) |
CN (1) | CN114585981A (ja) |
TW (2) | TWI760916B (ja) |
WO (1) | WO2021092329A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210192779A1 (en) * | 2019-11-06 | 2021-06-24 | Nanotronics Imaging, Inc. | Systems, Methods, and Media for Manufacturing Processes |
CN113516285B (zh) * | 2021-05-12 | 2024-02-13 | 中船重工鹏力(南京)智能装备系统有限公司 | 自动化装配检测生产线在生产中产品质量分析预测方法 |
TWI813096B (zh) * | 2021-12-15 | 2023-08-21 | 科智企業股份有限公司 | 工件加工部位之指示方法與系統 |
CN115202310B (zh) * | 2022-08-12 | 2024-01-09 | 山东品正金属制品有限公司 | 一种电动汽车电机扣件的自动化加工方法及系统 |
KR102604762B1 (ko) * | 2022-08-29 | 2023-11-22 | 주식회사 어시스트키친 | 뉴럴 네트워크를 이용하여 예측된 배송량에 기반하여 물류 거점에 대한 배송량을 결정하는 방법 및 장치 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017113979A (ja) | 2015-12-24 | 2017-06-29 | キヤノン株式会社 | 造形装置、造形方法及びプログラム |
JP2017144534A (ja) | 2016-02-19 | 2017-08-24 | 国立研究開発法人産業技術総合研究所 | ワークホルダ及びこのワークホルダ保持具を用いた加工システム |
JP2019155606A (ja) | 2018-03-07 | 2019-09-19 | 株式会社リコー | 造形装置、造形システムおよび方法 |
JP2019177494A (ja) | 2018-03-30 | 2019-10-17 | 株式会社リコー | 制御システム、造形システムおよびプログラム |
JP2019206094A (ja) | 2018-05-28 | 2019-12-05 | 株式会社第一興商 | 彫刻レッスンシステム、彫刻レッスン用プログラム |
JP2019217729A (ja) | 2018-06-22 | 2019-12-26 | 株式会社リコー | 造形装置、制御装置および方法 |
JP2020104524A (ja) | 2020-03-23 | 2020-07-09 | 株式会社ニコン | 三次元造形物製造装置 |
JP2020132937A (ja) | 2019-02-18 | 2020-08-31 | キヤノン株式会社 | 製造方法、三次元造形装置 |
JP6749582B2 (ja) | 2016-05-20 | 2020-09-02 | 富士ゼロックス株式会社 | 3次元データ生成装置、3次元造形装置、造形物の製造方法及びプログラム |
JP2020138394A (ja) | 2019-02-27 | 2020-09-03 | 株式会社リコー | 造形装置、システム、方法およびプログラム |
JP2020530528A (ja) | 2017-08-11 | 2020-10-22 | アプライド マテリアルズ インコーポレイテッドApplied Materials,Incorporated | 付加製造のための温度制御 |
JP2020533481A (ja) | 2017-06-20 | 2020-11-19 | カール・ツアイス・インダストリーエレ・メステクニク・ゲーエムベーハー | 付加製造方法及び装置 |
JP6950034B2 (ja) | 2014-06-05 | 2021-10-13 | ザ・ボーイング・カンパニーThe Boeing Company | 付加製造における歪みの予測及び最小化 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7486813B2 (en) * | 1998-10-08 | 2009-02-03 | Easton Hunt Capital Partners, L.P. | Electronic assembly video inspection system |
JP4677679B2 (ja) * | 2001-03-27 | 2011-04-27 | 株式会社デンソー | 製品の製造プロセスにおける特性調整方法 |
US7130710B2 (en) * | 2002-08-07 | 2006-10-31 | Kimberly-Clark Worldwide, Inc. | System and method for tracking and exploiting per station information from a multiple repeat manufacturing device |
JP2006518886A (ja) * | 2002-11-06 | 2006-08-17 | ジオメトリック インフォマティクス インコーポレイテッド | 等角構造による幾何学表面の解析法 |
DE102011075467A1 (de) * | 2011-05-06 | 2012-11-08 | Deckel Maho Pfronten Gmbh | Vorrichtung zum bedienen einer automatisierten maschine zur handhabung, montage oder bearbeitung von werkstücken |
EP2751748B1 (en) * | 2011-08-30 | 2019-05-08 | Digimarc Corporation | Methods and arrangements for identifying objects |
US9110452B2 (en) * | 2011-09-19 | 2015-08-18 | Fisher-Rosemount Systems, Inc. | Inferential process modeling, quality prediction and fault detection using multi-stage data segregation |
US9056422B2 (en) * | 2013-04-09 | 2015-06-16 | Massachusetts Institute Of Technology | Methods and apparatus for encoded textures |
US9855698B2 (en) * | 2013-08-07 | 2018-01-02 | Massachusetts Institute Of Technology | Automatic process control of additive manufacturing device |
DE102013018654A1 (de) * | 2013-10-30 | 2015-04-30 | Jenoptik Automatisierungstechnik Gmbh | Verfahren und Vorrichtung zur Detektion und zur Korrektur einer räumlichen Lage eines in einer Positionierungseinrichtung gehaltenen Werkstücks |
US10176408B2 (en) * | 2015-08-14 | 2019-01-08 | Elucid Bioimaging Inc. | Systems and methods for analyzing pathologies utilizing quantitative imaging |
US9792531B2 (en) * | 2015-09-16 | 2017-10-17 | Siemens Healthcare Gmbh | Intelligent multi-scale medical image landmark detection |
CN105488806B (zh) * | 2015-12-23 | 2018-08-03 | 华中科技大学 | 一种工件位置追踪定位方法及定位系统 |
US11144842B2 (en) * | 2016-01-20 | 2021-10-12 | Robert Bosch Gmbh | Model adaptation and online learning for unstable environments |
JP2017215277A (ja) * | 2016-06-02 | 2017-12-07 | 住友化学株式会社 | 欠陥検査システム、フィルム製造装置及び欠陥検査方法 |
US10565305B2 (en) * | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
US10753955B2 (en) * | 2017-06-30 | 2020-08-25 | General Electric Company | Systems and method for advanced additive manufacturing |
WO2019040948A1 (en) * | 2017-08-25 | 2019-02-28 | Massachusetts Institute Of Technology | DETECTION AND CONTROL OF ADDITIVE MANUFACTURING PROCESSES |
US11609623B2 (en) * | 2017-09-01 | 2023-03-21 | Qualcomm Incorporated | Ultra-low power neuromorphic artificial intelligence computing accelerator |
US10102495B1 (en) * | 2017-12-18 | 2018-10-16 | Samsara Networks Inc. | Automatic determination that delivery of an untagged item occurs |
JP2020001302A (ja) * | 2018-06-29 | 2020-01-09 | 株式会社リコー | 造形予測システム、造形予測表示システム、情報処理装置およびプログラム |
JP7091973B2 (ja) * | 2018-09-26 | 2022-06-28 | 株式会社リコー | 定着装置と画像形成装置並びに定着方法 |
JP7146576B2 (ja) * | 2018-10-29 | 2022-10-04 | 芝浦機械株式会社 | 積層造形装置、積層造形方法、及びプログラム |
WO2020095453A1 (ja) * | 2018-11-09 | 2020-05-14 | 三菱電機株式会社 | 積層造形装置 |
US20200166909A1 (en) * | 2018-11-20 | 2020-05-28 | Relativity Space, Inc. | Real-time adaptive control of manufacturing processes using machine learning |
JP7062577B2 (ja) * | 2018-11-21 | 2022-05-06 | 株式会社日立製作所 | 製造条件特定システムおよび方法 |
JP7147511B2 (ja) * | 2018-11-27 | 2022-10-05 | 株式会社リコー | 立体物形成装置、立体物形成方法、及びプログラム |
DE102018221002A1 (de) * | 2018-12-05 | 2020-06-10 | Robert Bosch Gmbh | Steuereinrichtung zur Steuerung einer Fertigungsanlage sowie Fertigungsanlage und Verfahren |
KR20220054673A (ko) * | 2019-09-10 | 2022-05-03 | 나노트로닉스 이미징, 인코포레이티드 | 제조 공정을 위한 시스템, 방법 및 매체 |
-
2020
- 2020-11-06 TW TW109138941A patent/TWI760916B/zh active
- 2020-11-06 JP JP2022525443A patent/JP7320885B2/ja active Active
- 2020-11-06 CN CN202080073852.7A patent/CN114585981A/zh active Pending
- 2020-11-06 TW TW111108232A patent/TW202223567A/zh unknown
- 2020-11-06 EP EP20885424.0A patent/EP4055454A4/en active Pending
- 2020-11-06 WO PCT/US2020/059339 patent/WO2021092329A1/en unknown
- 2020-11-06 US US17/091,393 patent/US20210132593A1/en active Pending
- 2020-11-06 KR KR1020227018420A patent/KR20220093171A/ko unknown
-
2023
- 2023-07-18 JP JP2023116653A patent/JP2023145545A/ja active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6950034B2 (ja) | 2014-06-05 | 2021-10-13 | ザ・ボーイング・カンパニーThe Boeing Company | 付加製造における歪みの予測及び最小化 |
JP2017113979A (ja) | 2015-12-24 | 2017-06-29 | キヤノン株式会社 | 造形装置、造形方法及びプログラム |
JP2017144534A (ja) | 2016-02-19 | 2017-08-24 | 国立研究開発法人産業技術総合研究所 | ワークホルダ及びこのワークホルダ保持具を用いた加工システム |
JP6749582B2 (ja) | 2016-05-20 | 2020-09-02 | 富士ゼロックス株式会社 | 3次元データ生成装置、3次元造形装置、造形物の製造方法及びプログラム |
JP2020533481A (ja) | 2017-06-20 | 2020-11-19 | カール・ツアイス・インダストリーエレ・メステクニク・ゲーエムベーハー | 付加製造方法及び装置 |
JP2020530528A (ja) | 2017-08-11 | 2020-10-22 | アプライド マテリアルズ インコーポレイテッドApplied Materials,Incorporated | 付加製造のための温度制御 |
JP2019155606A (ja) | 2018-03-07 | 2019-09-19 | 株式会社リコー | 造形装置、造形システムおよび方法 |
JP2019177494A (ja) | 2018-03-30 | 2019-10-17 | 株式会社リコー | 制御システム、造形システムおよびプログラム |
JP2019206094A (ja) | 2018-05-28 | 2019-12-05 | 株式会社第一興商 | 彫刻レッスンシステム、彫刻レッスン用プログラム |
JP2019217729A (ja) | 2018-06-22 | 2019-12-26 | 株式会社リコー | 造形装置、制御装置および方法 |
JP2020132937A (ja) | 2019-02-18 | 2020-08-31 | キヤノン株式会社 | 製造方法、三次元造形装置 |
JP2020138394A (ja) | 2019-02-27 | 2020-09-03 | 株式会社リコー | 造形装置、システム、方法およびプログラム |
JP2020104524A (ja) | 2020-03-23 | 2020-07-09 | 株式会社ニコン | 三次元造形物製造装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114585981A (zh) | 2022-06-03 |
EP4055454A1 (en) | 2022-09-14 |
TWI760916B (zh) | 2022-04-11 |
KR20220093171A (ko) | 2022-07-05 |
EP4055454A4 (en) | 2024-01-31 |
JP2022554302A (ja) | 2022-12-28 |
TW202134808A (zh) | 2021-09-16 |
JP2023145545A (ja) | 2023-10-11 |
WO2021092329A1 (en) | 2021-05-14 |
US20210132593A1 (en) | 2021-05-06 |
TW202223567A (zh) | 2022-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7320885B2 (ja) | 製造プロセスのためのシステム、方法、および媒体 | |
US11117328B2 (en) | Systems, methods, and media for manufacturing processes | |
US20210263495A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
US20210311440A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
CN115769235A (zh) | 提供与训练函数的准确度有关的警报的方法和系统 | |
Sinha et al. | Object shape error response using Bayesian 3-D convolutional neural networks for assembly systems with compliant parts | |
JP2023113719A (ja) | 製造プロセスのためのシステム、方法、および媒体 | |
US20210192779A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
TWI801820B (zh) | 用於製造流程之系統及方法 | |
CN112329510A (zh) | 跨域度量学习系统和方法 | |
Xia et al. | Automated manufacturability analysis in smart manufacturing systems: a signature mapping method for product-centered digital twins | |
Rosioru et al. | Deep learning based parts classification in a cognitive robotic cell system | |
JP2023530944A (ja) | 製造プロセスのためのシステム、方法、および媒体 | |
EP4354336A1 (en) | Automatic generation of as-run results in a three demensional model using augmented reality | |
JP7320884B2 (ja) | 製造プロセスのためのシステム、方法、および媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7320885 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |