JP7060558B2 - 1つの製品における部品のトラッキングおよびトレーサビリティのための方法、コンピュータプログラム製品及びシステム - Google Patents

1つの製品における部品のトラッキングおよびトレーサビリティのための方法、コンピュータプログラム製品及びシステム Download PDF

Info

Publication number
JP7060558B2
JP7060558B2 JP2019162937A JP2019162937A JP7060558B2 JP 7060558 B2 JP7060558 B2 JP 7060558B2 JP 2019162937 A JP2019162937 A JP 2019162937A JP 2019162937 A JP2019162937 A JP 2019162937A JP 7060558 B2 JP7060558 B2 JP 7060558B2
Authority
JP
Japan
Prior art keywords
group
manufacturing process
observations
assembly
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019162937A
Other languages
English (en)
Other versions
JP2020042814A (ja
Inventor
ツゥイ タオ
ロスカ ジャスティニアン
シナン バンク ハサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2020042814A publication Critical patent/JP2020042814A/ja
Application granted granted Critical
Publication of JP7060558B2 publication Critical patent/JP7060558B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/056Programming the PLC
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/018Certifying business or products
    • G06Q30/0185Product, service or business identity fraud
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4183Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31031Assembly, manipulator cell
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31447Process error event detection and continuous process image detection, storage
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31479Operator select part of process he wants to see, video image is displayed
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0213Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Description

背景
製造業において、未処理の部品から最終的に仕上げられた製品に至るまでの製造ライフサイクル全体にわたるコンポーネントのトラッキングおよびトレーサビリティは、効率的な製造および供給管理にとって不可欠である。自動車部門のような一部の産業部門においては、完成品を構成する部品のトレーサビリティは法的必要条件であり、その理由は、これによって製造業者は、製造プロセス後のいかなるリコールまたは他の欠陥のケースにおいても、その商品をピンポイントに特定できるからである。よって、大部分の製造実行システム(MES)および製造ライフサイクルマネージメント(PLM)システムにおいて、トラッキングおよびトレーサビリティは重要かつ必要な機能である。
トラッキングおよびトレーサビリティの機能を具現化する一般的なテクノロジーは大抵の場合、人間の手によるソーティングおよび/またはラベリング、バーコードのスキャニング、部品上でのレーザ彫刻、無線周波数識別子(RFID)タグの取り付けなどに依拠している。一部の事例によれば、完成品になるまで部品が製造ライン上を移動していく間、コンポーネントのトラッキングおよびトレーサビリティを可能にする目的で、付加されたタグまたはバーコードをデータベース内において記録してトラッキングするために、一部のPLMシステムおよびMESにおいて、基本的なインタフェースおよびソリューションを利用することができる。
したがって、製造ライフサイクル全体にわたってコンポーネントのトラッキングおよびトレーサビリティを具現化するテクノロジーには、多くの改善すべき点がまだ残されている。
添付の図面は本開示と一体化した部分であり、本明細書に組み込まれているものである。それらの図面は、縮尺どおりには描かれていないが、本開示の例示的な実施形態を示しており、明細書および特許請求の範囲と共に、本開示の様々な原理、特徴または態様を少なくとも部分的に説明するために役立つものである。本開示の一部の実施形態について、添付の図面を参照しながら以下でさらに十分に説明する。ただし、本開示の様々な態様を多くの異なる形態で具現化することができ、本明細書で述べられている具現化に限定されると解釈されるべきものではない。同等であるが必ずしも同じまたは同一ではない要素に、全体を通して同じ参照符号が付されている。
本開示の1つまたは複数の実施形態による、1つの製品におけるコンポーネントのトラッキングおよびトレーサビリティのための動作環境の一例を示す図である。 本開示の1つまたは複数の実施形態による、1つの製品におけるコンポーネントのトラッキングおよびトレーサビリティを可能にする、または他の手法で促進する、ビデオセグメントの記録を示す概略図である。 本開示の1つまたは複数の実施形態による、自動車組み立てプロセスを実施するプラントの一例を示す概略図である。この場合、自動車組み立てプロセスのパフォーマンスを記録するために、カメラおよび他のモニタリングデバイスがプラント内の規定の場所に位置決めされている。これにはローミングモニタリングデバイスも含まれている。 本開示の1つまたは複数の実施形態による、1つの製品における部品のトラッキングおよびトレーサビリティのためのシステムの一例を示す図である。 本開示の1つまたは複数の実施形態による、1つの製品における部品のトラッキングおよびトレーサビリティのためのコンピューティングシステムの一例を示す図である。 本開示の1つまたは複数の実施形態による、1つの製造プロセスにおける1つのジョブを示す概略図である。 本開示の1つまたは複数の実施形態による、1つの製品におけるコンポーネントのトラッキングおよびトレーサビリティのための方法の個々の例を示す図である。 本開示の1つまたは複数の実施形態による、1つの製品におけるコンポーネントのトラッキングおよびトレーサビリティのための方法の個々の例を示す図である。 本開示の1つまたは複数の実施形態による、1つの製品におけるコンポーネントのトラッキングおよびトレーサビリティを具現化可能な動作環境の一例を示す図である。
詳細な説明
本開示は、少なくとも一部の実施形態によれば、一般的な製造システムにおける効率的で信頼性のあるトラッキングおよびトレーサビリティに不足している点を認識し、それに取り組むものである。付加的なタグまたはバーコードを介したコンポーネントのトラッキングおよびトレーサビリティは一般に、時間がかかり、多くの人手を必要とし、高い技術を必要としないタスクである。また、付加的なタグは取り付けまたは彫刻が必要なため、侵入的である。付加的な手順が必要とされることから、これによって製造プロセス全体のスローダウンも生じる。この問題を悪化させることに、大部分の産業においてコンポーネントのトラッキングおよびトレーサビリティは、任意選択ではなく義務である。したがって本開示によれば、製品を形成するための物理的製造プロセスの自動化およびデジタルレプリカによって、効率的なトラッキングおよびトレーサビリティプロセスを個々にまたは組み合わせによりもたらす複数のテクノロジーが提供される。より具体的には、本開示の一部の実施形態によれば、完成品を構成する部品をトラッキングするために、イメージングセンサデバイスおよびマシンビジョンテクノロジーを製造システムにシームレスに一体化させる、デジタルベースのアプローチが提供される。ただし本開示はこの点に限定されるものではなく、一部の実施形態によれば、イメージングセンサデバイスおよび/またはモニタリングデバイス(マイクロフォンおよび/または聴覚デバイスなど)ならびに関連する知覚テクノロジー(たとえば聴覚認識テクノロジー)を具現化することができる。デジタルベースのアプローチによれば、産業用機器における1つの製品の完全な製造サイクルを特徴づける時間情報、空間情報および人工推論アサーションを統合するデジタルトレースレコードが生成される。このデジタルトレースレコードを、侵入的であり時間のかかるタグベースおよびバーコードベースの一般的なアプローチに依拠することなく、生成することができる。
あとでいっそう詳しく述べるように、本開示の実施形態には、本明細書で述べられている態様によるデジタルトレースレコードの生成の具現化を個々にまたは組み合わせにより可能にするシステム、技術およびコンピュータプログラム製品が含まれる。より具体的には、ただし他を排除するものではないが、本開示の少なくとも一部の実施形態は、トラッキングおよびトレーサビリティの技術の具現化を可能にし、または他の手法で促進し、これらの技術によれば、当初の材料および/または部品から1つの完成品を生み出す複数のジョブのシーケンスを特徴づける豊富な情報を生成する目的で、イメージングセンサシステムから取得された意味論的データのストリームが人工推論と統合される。
したがって本開示の実施形態は、不可欠な物体、機械、タイムスタンプ、空間スタンプおよび付随する確率情報に関する知覚を使用する、または他の手法で活用することができ、1つの完成品を形成するための製造プロセスのデジタルツインの多数のコンポーネントにわたる関連する豊富な情報を伝えることができる。デジタルツインにおける豊富な情報によって、効率的で信頼性のある自動化制御、優れたサービス品質(QoS)、および動作の一体性を可能にすることができ、または他の手法で促進することができる。
デジタルトレースレコードの生成に含まれているトラッキングおよびトレーサビリティのインテリジェンスのいずれも、従来のコストがかかり柔軟性のない、物理的タグ(たとえばRFIDタグ)および/またはバーコードソリューションの導入および管理に依拠していない。実際、本開示のデジタルトレースレコードは、低コストのカメラと、たとえば、1つの完成品を形成するための製造プロセスのデジタルツインの一部分とすることができるトラッキングおよびトレーサビリティのプラットフォームとを、活用する。したがって本開示の実施形態によれば、製造の調整、効率性および一体性のための慣用のテクノロジーに勝る多数の技術的な改善ならびに利点をもたらすことができる。たとえば本開示の実施形態は、物理的タグ、バーコードを有するラベル、RFIDタグのいかなる取り付けも、また、製品の構成部品の識別を目指すいかなるタイプの処理も行う必要がない、パッシブなセンサベースのテクノロジーを構成している。よって、本開示の実施形態によれば、慣用の製造プロセスに勝る製造プロセスの具現化が可能になる。
より具体的には、構成部品の物理的識別子の取り付けまたは組み込みに依拠することなく、本開示の実施形態によれば、運転費用および他のコストを抑えた製品の製造の具現化が可能になる。さらに、製造プロセスにおいてタグの取り付けおよびそれに続くタグのスキャニングを廃止することによって、本開示の実施形態によれば、製品の製造を早める以上にその他の効率性が可能となる。物理的タグを取り扱うことなく、本開示の実施形態によれば、慣用の製造プロセスよりも最低でも時間がかからない製造プロセスが可能になる。
他の例として、製造/組み立てプロセスの同期された完全なビデオレコーディングを用いることで、ビデオを解析し、ビデオと製造プロセスとを相関させることによって、トラッキングおよびトレーサビリティを正確に達成することができる。さらに別の例によれば、ビデオレコーディングおよび対応するトレーサビリティの結果として、部品のトラッキングだけでなく、製品がどのように作られたかの重要な製造情報も組み込まれる。かかる情報を、一部のケースでは製品欠陥に関する不可欠な情報とすることができる。したがってこれによって、いっそう正確に欠陥をトラッキングしリコールを発表するために、製造業者を支援することができる。
図面を参照すると、図1には、本開示の1つまたは複数の実施形態による、1つの製品におけるコンポーネントのトラッキングおよびトレーサビリティのための動作環境100の一例が示されている。図示されている動作環境100は産業用機器110を含み、これは特定の機能を可能にする、または他の手法で促進するハードウェア114を有する。産業用機器110は一群の機械を含むことができ、未加工材料/部品112から製品116を形成可能な規定の産業プロセスを具現化または実施することができる。製品116は、1つまたは複数の所望の機能を提供するために必要なコンポーネントを有することができる。よって、製品116を完成品と呼ぶことができる。製品116を、たとえば飛行機、自動車、農業機械、タービン、エンジン、産業用振動機械(たとえば振動コンベヤ装置)、家庭用電子機器など、広範な産業にわたる物体として具現化することができる。ハードウェア114を構成する機械は、その機械が規定のジョブを実行できるようにする規定の一群の能力(またはスキル)を有することができる。規定のジョブを実行した結果、製品116を構成する製品が得られ、または機械によっては、完成品116が得られる。
規定の産業プロセスは、ハードウェア114内部の個々の機械によって実施される規定のオペレーション(またはステップ)S、S・・・S(ただしMは自然数)から成るシーケンスを含む。規定のオペレーションS(K=1、2・・・M)から成るシーケンスの各々は、別のオペレーションσ、σ・・・σ(ただしmはMよりも小さい自然数)を含むことができる。産業プロセスの実行(または実施を)自動化することができる。この目的で、産業用機器110の動作状態を表す、または他の手法で表現するデータを収集するために、一群のセンサデバイスをハードウェア114に組み込む、または他の手法で結合することができる。一部の実施形態によれば、これら一群のセンサデバイスを同種のものとすることができ、同じタイプの複数のセンサデバイスを含む(たとえば圧力計または温度計)。別の実施形態によれば、一群のセンサデバイスを異種のものとすることができ、この場合、一群のセンサデバイスの第1の部分集合は第1のタイプのセンサデバイスに対応し、一群のセンサデバイスの第2の部分集合は第2のタイプのセンサデバイスに対応する。たとえば、かかる一群のセンサデバイスは、1つまたは複数の圧力計および1つまたは複数の温度計を含むことができる。図1に示されているように、一群のセンサデバイスは、センサデバイス118、センサデバイス118・・・センサデバイスD-1 118D-1、およびセンサデバイスD 118を含む。ここでDは、1よりも大きい自然数である。個々のセンサとハードウェア114とを結ぶ双方向矢印は一般に、センサデバイスがハードウェア114に組み込まれること、またはセンサデバイスがハードウェア114に結合されること、を描写している。
さらに、産業用機器110によって具現化可能な産業プロセスを自動化するために、プロセス制御システム120を産業用機器110に機能的に結合(たとえば通信により結合、電気的に結合、電磁的に結合、および/または電気機械的に結合)することができる。通信アーキテクチャ124は、プロセス制御システム120と産業用機器110との間において、情報(データ、メタデータおよび/またはシグナリング)の交換を可能にすることができ、または他の手法で促進することができる。通信アーキテクチャ124を複数のタイプのネットワーク要素として具現化することができ、または通信アーキテクチャ124は複数のタイプのネットワーク要素を含むことができ、これには基地局、ルータデバイス、スイッチデバイス、サーバデバイス、アグリゲータデバイス、バスアーキテクチャ、これらの組み合わせなどが含まれる。バスアーキテクチャのうちの1つまたは複数は、産業用バスアーキテクチャを含むことができ、たとえばイーサネットベースの産業用バス、コントローラエリアネットワーク(CAN)バス、モードバス、他のタイプのフィールドバスアーキテクチャなど、を含むことができる。
プロセス制御システム120は、産業用機器110によって実施可能な産業プロセスを自動化するための制御ロジックを具現化することができる。一部の実施形態によれば、プロセス制御システム120は、産業用機器への物理的アクセス、産業用機器110を動作させる規定の命令シーケンスの具現化、これらの組み合わせなど、を指示する別のタイプのルールを適用することもできる。
この目的で、プロセス制御システム120は、センサデバイス118・・・118からの観測データの収集または他の手法による受信を、リアルタイムで動作させることができる。プロセス制御システム120は、一部の事例では観測データを用いて、制御ロジックおよび/または他の制御アルゴリズム(またはプロセス)を具現化することができる。具現化されたロジックおよび/またはアルゴリズムに少なくとも基づき、プロセス制御システム120は実行命令および/または目標値を、アクチュエータデバイス(図示せず)に、またはプロセス制御システム120を構成する他のタイプのコントローラデバイス(図示せず)に、送信することができる。プロセス制御システム120は、1つまたは複数のヒューマンマシンインタフェース(HMI、図示せず)を含むこともでき、これによって(視覚的または聴覚的に)リアルタイムの状態またはほぼリアルタイムの状態を、オペレータに呈示することができる。HMIは、オペレータから命令を受け取ることもできる。一部の実施形態によれば、プロセス制御システム120を、分散型制御システム(DCS)または、および監視制御およびデータ取得(SCADA)システムとして具現化することができ、あるいはプロセス制御システム120は、分散型制御システム(DCS)または、および監視制御およびデータ取得(SCADA)システムを含むことができる。
産業用機器110は、その産業用機器110が属する産業のタイプに少なくとも部分的に基づき、(アーキテクチャとしてまたは他の点で)規定の複雑さを有することができる。ある産業に関して産業用機器110の複雑さを、その産業用機器110が具現化できる産業プロセスのタイプに少なくとも部分的に基づくものとすることもできる。一部の実施形態によれば、産業用機器110を製造産業に特有のものとすることができる。別の実施形態によれば、産業用機器110を自動車産業に特有のものとすることができる。ただし本開示はこの点に限定されるものではなく、本開示の原理および実施にあたっての要素を、自動化可能な産業プロセスを具現化するどのような産業用機器にも適用することができる。
図示されている動作環境100は、カメラ1 130、カメラ2 130・・・カメラN-1 130N-1およびカメラN 130を含む一群のカメラを含む。既述のように、本開示は、定置カメラに限定されるものではなく、これに加え、または別の選択肢として、他のイメージングデバイス(たとえば赤外線センサデバイス、光による検出と測距(LIDAR)デバイスなど)、イメージングデバイスを装備したモバイル無人ロボット(たとえばドローン)、および/または周囲情報を収集する他のタイプのモニタリングデバイス(たとえばマイクロフォン、聴覚デバイスおよび/またはその他の知覚デバイス)を、動作環境100に含めることができる。1つの実施形態によれば、動作環境100は、製造プロセス実行中にイメージングデータおよび/またはオーディオデータを生成する目的で、産業用機器110を収容する施設を通過可能なイメージングセンサおよび/またはマイクロフォンが装着されたモバイル無人ロボット(図1には図示せず)を含むことができる。かかるロボットは自律的に移動可能であり、またはプロセス制御システム120によって制御可能である。たとえばプロセス制御システム120を、モバイル無人ロボットの運動を指示するために、このロボットとワイヤレスで機能的に結合することができる。プロセス制御システム120は、かかる運動を指示するために、プロセスロジック(たとえば製造プロセスプラン)を使用することができ、または他の手法で少なくともこのロジックに依拠することができる。イメージングデータおよび/またはオーディオデータを供給するために、モバイル無人ロボットをトラッキングおよびトレーサビリティエンジン140にワイヤレスで結合することもできる。
一部の実施形態によれば、一群のカメラは、産業用機器110によって実施される産業プロセスの実行の少なくとも一部分を表すイメージングデータを生成することができる。この目的で、一群のカメラにおける各々のカメラは、プラント、工場、倉庫、または産業用機器110を収容する他の施設のフットプリント内において、規定の場所に位置決めされている。たとえば、カメラ130・・・130の各々を、ハードウェア114の機械が配備された組み立てライン内の場所に位置決めさせることができる。たとえば一群のカメラを、組み立てポイント付近に、または組み立てポイントに配備することができ、この場合、各組み立てポイントにおいて、1つの構成組み立て品(または中間組み立て品)となるよう複数の部品を組み立てることができる。具体的には1台のカメラを、組み立てポイントの入口領域付近に、または組み立てポイントの出口領域付近に位置決めさせることができ、一群のカメラにおける1つのカメラの場所を、所定の組み立てポイントの前方または後方とすることができる。
さらに、または他の実施形態によれば、産業用機器110によって実施される産業プロセスの実行の少なくとも一部分を表すオーディオセグメントを生成する目的で、カメラ130・・・130と組み合わせて、オーディオセンシングデバイス(マイクロフォンなど、図1には図示せず)を配備することができる。かかるオーディオセグメントのことを、一部の事例では、オーディオシグネーチャと称することもできる。オーディセンシングデバイスを、プラント、工場、倉庫、または産業用機器110を収容する他の施設のフットプリント内において、個々の規定の場所に配備することができる。オーディオセンシングデバイスの少なくとも一部(または一部の実施形態では各々1つ)を、カメラ130・・・130を含む一群のカメラと共に配置することができる。
一群のカメラは、ハードウェア114を含む組み立てラインを部品が通過するときに、バッチ(たとえば材料112)からの部品の一部またはすべてを記録することができる。したがってカメラの一部は、組み立てポイントへの部品(および一部の事例では一部の構成組み立て品)の投入を記録することができる。処理された産出品が組み立てポイントから出るときに、さらに別のカメラが構成組み立て品の産出を記録することができる。図2には、本開示の態様による、例示的な製造プロセスプランの実行についてのビデオセグメントの記録に関する概略図200が示されている。既述のように、イメージングデータ、オーディオデータ、および/または製造プロセスプランの実行を表す他のタイプのデータを生成する目的で、他のモニタリングデバイス(たとえば知覚デバイスが装着されたモバイル無人ロボット、マイクロフォン、聴覚デバイス、またはこれらの組み合わせなど)を、概略図200に含めることできる。かかる種々のタイプのデータの組み合わせを、モニタリング情報と称することができる。製造プロセスプランは、当初の材料112から完成品116を形成する手法を制定する規定の手順およびルールを含む。より具体的には、カメラ220を、製造プロセスの第1のステップS1を実行する第1の機械(または第1の機械を含む第1のステーションS1)付近に位置決めさせることができる。カメラ220は、部品1 210および部品2 210が第1の機械に入るときに、それらの部品のイメージングデータ(たとえばデジタルイメージフレームコレクション)を生成することができる。カメラ220も、第1の機械付近に位置決めさせることができる。部品1 210および部品2 210から第1の機械により形成される構成組み立て品1 230を表すイメージングデータを生成するために、カメラ220を位置決めさせることができる。カメラ220は、第2の機械(または第2の機械を含む第2のステーションS2)に向かう組み立て品1 230の通過を記録することができる。
カメラ220を第2の機械付近に位置決めさせることができ、このカメラは、部品3 210および部品4 210が第2の機械に入るときに、それらの部品のイメージングデータを生成することができる。さらに別のカメラ220を第2の機械付近に位置決めさせることができ、このカメラは、部品3 210および部品4 210から第2の機械により形成される構成組み立て品2 230のイメージングデータを生成することができる。カメラ220は、製造プロセスの自動化された実行が継続していくときに、さらに別の機械に向かう組み立て品2 230の通過を記録することができる。
構成組み立て品M-1 230M-1、部品210Q-1および部品Q 210を受け取る機械(またはこの機械を含むステーションSM)付近に、カメラ220を位置決めさせることができる。かかる機械は、結果として完成品240を生じさせるジョブを実行することができる。この機械の出口付近に位置決めされたカメラ220は、完成品240のイメージングデータを生成することができる。
より具体的な例示として、図3には、単純化された自動車組み立てラインの概略図が示されており、ここでは自動車を組み立てるためのプロセスの2つの段階が実行される。プロセスのかかる段階の実行を同期して記録するために、カメラ310、310、310、310および310を、選択された場所に位置決めさせることができる。一部の実施形態によれば、かかるカメラのうちの1つまたは複数に加えて、またはその代替として、自動車組み立て中にイメージングデータおよび/またはオーディオデータを生成する目的で、カメラおよび/またはマイクロフォンが装着されたモバイル無人ロボット312が、組み立てラインの少なくとも一部分を通過することができる(このことを一方向矢印の線によって表す)。かかるロボットは自律的に移動可能であり、またはプロセス制御システム(プロセス制御システム120など)によって制御可能である。他の選択された場所に、マイクロフォン315、315、315および315を位置決めさせることもでき、または一部の実施形態によれば、かかるマイクロフォンを個々のカメラと共に配置することができる。かかるカメラは、自動車を組み立てる製造プロセスにおける様々なオペレーションに対応するイメージングデータを生成する。マイクロフォンは、かかるオペレーションの少なくとも一部分に対応するオーディオデータを生成する。より具体的には、このプロセスの第1の段階は、フロントホイールの組み立てに対応する。かかる段階を、ステーション305において具現化することができる。ステーション305に第1の組み立て品320が入るのを記録するために、ステーション305付近の第1の場所に、カメラ310を位置決めさせることができる。ステーション305に第1の部品325(たとえばホイール)が入るのを記録するために、ステーション305付近に、カメラ310を配置することもできる。このプロセス実行中、ホイール330を、第1の組み立て品320における軸組み立て品(図示せず)に取り付けることができる。第2の組み立て品340は、ステーション305を出ることができる。したがってステーション305付近に配置されたカメラ310は、ステーション305からの産出を記録することができる。
プロセスの第2の段階は、スポイラ組み立て品の組み立てである。ステーション305(またはその中の1つまたは複数の機械)によって、第2の段階を具現化することができる。カメラ310を、第2のステーション305付近に位置するものとすることもでき、このカメラは、ステーション305に第2の組み立て品340が入るのを記録することができる。カメラ310を、ステーション305付近に配置させることもでき、このカメラは、かかるステーションに第2の部品345(スポイラ組み立て品)が入るのを記録することができる。ステーション305による第2の段階の実行によって、第3の組み立て品360(これを完成した自動車とすることができる)を生み出すことができる。カメラ310は、ステーション305からの産出を記録することができる。
さらに図1を参照すると、産業用機器110、通信アーキテクチャ124、プロセス制御システム120、およびカメラ130・・・130(および一部の実施形態によれば、さらに別のイメージングセンサデバイス)によって、物理的プロセス領域が構成され、この領域において産業プロセスが具現化される。図1に示されているように、動作環境100には、コンピュータにより実施される環境を含むデジタルレプリカ領域も含まれており、物理的プロセス領域における産業プロセス(たとえば1つの製造サイクル全体)を、この環境にマッピングすることができる。デジタルレプリカ領域は、個別にまたは組み合わせにより、物理的産業プロセスのデジタルレプリカの具現化を可能にする多数のモデリング、計算知能および人工知能(AI)のテクノロジーを含み、それらを使用する。かかるデジタルレプリカは、物理的産業プロセスのダイナミックなシミュレーションモデルを具現化または構成する。
ハイパフォーマンスのコンピューティングによって、デジタルレプリカの実行を可能にすることができ、または他の手法で促進することができる。この目的でデジタルレプリカ領域は、プロセス制御システム120によって自動化可能かつ少なくとも部分的に産業用機器110によって具現化可能な産業プロセスのモデルを受け取ることができる、コンピューティングシステムを含むことができる。したがってコンピューティングシステムは、物理的プロセス領域における産業プロセスの規定の態様をシミュレート可能にすることのできるデータ、メタデータ、および/またはコード命令(これらによってライブラリおよび/または他のタイプのソフトウェアコンポーネントを構成可能である)を受け取ることができる。コンピューティングシステムは、デジタルレプリカを実行することができる。
かかるデジタルレプリカを「デジタルツイン」と称することができ、このデジタルレプリカは、物理的プロセスのダイナミックなシミュレーションを具現化または構成する。一部の実施形態によれば、デジタルレプリカは、物理的プロセスの物理的特性、物理的プロセスを制御するロジック、および物理的プロセスのシミュレーション、のうちの少なくとも一部を統合している。デジタルレプリカは、機械学習ベースの方法を用いるデータ駆動型アプローチを使用する、または他の手法で活用することができる。これに加え、または一部の実施形態によれば、デジタルレプリカは、産業プロセスの基礎を成す物理的現象およびかかるプロセスのルールに基づくモデル駆動型アプローチを使用する、または他の手法で活用することができる。したがって一部の事例によれば、物理的産業プロセスのモデルを組み込むことによって、デジタルレプリカをその物理的対応物とほぼリアルタイムで同期させることができる。デジタルレプリカは、プロセスのある状態が対応する物理的システムにおいて達成される前に、その状態のシミュレーションおよび評価も可能にする、または他の手法で促進する。デジタルツインによる物理的プロセスのリアルタイム表現をより正確にする目的で、デジタルツインは、複数のソースに基づきほぼ連続的に学習して自身をアップデートすることができる。
図示されているように、デジタルレプリカ領域は、トラッキングおよびトレーサビリティエンジン140を含み、このエンジンによって、本開示の態様によるトラッキングおよびトレーサビリティプロセスの具現化を可能にすることができる。この目的で1つの態様によれば、トラッキングおよびトレーサビリティエンジン140は、個々のカメラたとえばカメラ130・・・130から、ビデオセグメントコレクションを受け取ることができる。既述のようにビデオセグメントは、材料112からの完成品116の形成を可能にする産業プロセスの実行を記録する。一部の実施形態によれば、図4Aに図示されたブロック図400に示されているように、トラッキングおよびトレーサビリティエンジンは、インジェストモジュール410を含むことができ、このモジュールは、カメラにより生成されたビデオセグメントを表すイメージング情報を受け取ることができる。たとえばカメラ130・・・130の各々について、インジェストモジュール410は、個々のカメラにより生成されたデジタルフレームを表す第1の情報を受け取ることができる。かかる情報はたとえば、タイムスタンプ情報および/またはデジタルフレームを特徴づけた他のタイプのメタデータ(たとえばカメラ場所)を含むことができる。
図4Aの実施形態にやはり示されているように、トラッキングおよびトレーサビリティエンジン140は同期モジュール420を含むこともでき、このモジュールは、インジェストモジュール410が受け取ったイメージング情報を統合することができる。したがって1つの態様によれば、同期モジュール420は、産業用機器110によって実行される製造プロセスプランの開始時点に対し相対的に、ビデオセグメントコレクションを同期させることができる。これに加え1つの同期の態様によれば、同期モジュール420はイメージング情報を処理して、製造プロセスプランの実行についての、すなわち当初の部品から完成品を形成する手法を制定する規定の手順およびルールの実行についての単一のビデオレコードとなるよう、受け取ったビデオセグメントを順序正しくまとめることもできる。
さらに図1を参照すると、トラッキングおよびトレーサビリティエンジン140は(受け取って同期された)ビデオセグメントを、1つまたは複数のメモリデバイス142において、(一般にビデオセグメント144と呼ばれる)1つまたは複数のデータ構造144内に保持することができる。これに加え、トラッキングおよびトレーサビリティエンジン140は、1つまたは複数の製品のプロセスリストを、1つまたは複数のメモリデバイス146において(一般にビル・オブ・プロセス148と呼ばれる)1つまたは複数のデータ構造148内に保持することができる。ある製品のビル・オブ・プロセス(BOP)は、たとえば材料112から製品116を形成するための製造プロセスプランを含むことができる。トラッキングおよびトレーサビリティエンジン140は、同期されたビデオセグメントを製造プロセスプランと関連させて解析することができる。このようにして、完成品116となるように組み立てられるすべての部品(または一部の実施形態によれば少なくとも一部の部品)に関連する時空間情報を取得することができる。さらに本明細書で開示されているように、トラッキングおよびトレーサビリティエンジン140は、人工推論を実施することもできる。一部の実施形態によれば、製造プロセスプランの実行を特徴づけるアサーションを生成する目的で、人工推論は、ビデオセグメントの解析に由来する意味論的知覚情報と、製造プロセスの予備知識(たとえばルール)とを使用する。
意味論的知覚情報および推論に少なくとも基づき、トラッキングおよびトレーサビリティエンジン140は、完成品116に関するデジタルトレースレコード150を生成することができる。完成品116のためのすべての部品(または一部の実施形態によれば少なくとも一部の部品)を正確にトラッキングおよびトレーシングするために、デジタルトレースレコード150を再構築することができる。デジタルトレースレコード150の生成に含まれているトラッキングおよびトレーサビリティのインテリジェンスのいずれも、従来のコストがかかり柔軟性のない、物理的タグ(たとえばRFIDタグ)および/またはバーコードソリューションの導入および管理に依拠していない。実際、デジタルトレースレコード150は、低コストのカメラと、完成品116を形成するための製造プロセスのデジタルツインの一部分とすることができるトラッキングおよびトレーサビリティエンジン140とを、活用することができる。このようにしてデジタルレコード150を、デジタルレプリカ領域における多数の現存するMES/PLMトラッキングおよびトレーシングアプリケーションにポーティングすることができ、それらにおいて使用することができる。
完成品116において異常なコンディションが識別された状況において、デジタルトレースレコード150によって、根本原因解析を可能にすることができ、または他の手法で促進することができる。たとえば、デジタルトレースレコード150の解析によって、製造プロセスの実行におけるエラーポイントの識別を可能にすることができ、または他の手法で促進することができる。これに加え、または一部の事例によれば、デジタルトレースレコード150の解析によって、完成品116の欠陥を引き起こした不適切な手順および/または制御ロジックの識別を可能にすることができる。したがって一部の態様によれば、欠陥を見つけてトレーシングすることができ、オペレータインタフェース(SCADA、HMI)を介して情報を視覚化することができ、かつ/または既存の規則に対する製造プロセス全体の準拠を保証することができる。
より具体的には、一部の実施形態によれば、図4Aに示されているように、トラッキングおよびトレーサビリティエンジン140は、同期されたビデオセグメントコレクションを製造プロセスプランと関連させて解析可能な解析モジュール430を含むことができる。これに加えて、または一部の実施形態によれば、解析モジュール430は、オーディオセグメントコレクションを製造プロセスプランと関連させて解析することができる。たとえば解析コンポーネント430は、意味論的知覚解析を実施することができる。したがって解析コンポーネント430は、特定の時点で、またはタイムインターバル全体にわたって、規定の場所における規定の物体の存在にする観測に対応するステートメントまたは他のタイプの結論を生成することができる。たとえばかかる観測は確率的なものであり、1つまたは複数のビデオフレームにおける個々の物体を表す第1の特徴と、1つまたは複数のビデオフレームに関連づけられた場所を表す第2の特徴とに対応する。1つの例によれば、かかる場所を、1つまたは複数のビデオフレームを生成したカメラまたはイメージングセンサの場所とすることができる。別の例によれば、かかる場所を、1つまたは複数のビデオフレームのうちの少なくとも1つから収集された場所に対応させることができる。さらに別の例によれば、上述の場所を、マイクロフォンの場所に、または製造プロセスプラン実行中にオーディオセグメントを生成する別のタイプの周辺オーディオセンシングデバイスの場所に、対応させることができる。
したがって一部の実施形態によれば、解析モジュール430は、マシンビジョンモジュール(図示せず)のような知覚モジュール432を含むことができ、このモジュールは、機械学習技術と結合された1つまたは複数のマシンビジョン技術を、同期されたビデオセグメントのビデオフレームに適用して、ビデオフレームのための一群の観測を生成することができる。本開示は、マシンビジョン技術を用いたイメージ処理および特徴認識に限定されるものではない。知覚モジュール432は、一部の実施形態によれば別の技術を適用して、人間の発声または機械に由来するサウンドのような規定のサウンドまたはサウンドシーケンスを識別することができる。解析モジュール430は、産業用機器110により実施可能な製造プロセスプランに対応するデジタルツインのデータ駆動型モデルに依拠させることのできる、多数の機械学習技術を適用することができる。知覚モジュール432はたとえば、トラッキングおよびトレーサビリティエンジン140における1つまたは複数のメモリデバイス内の1つまたは複数のデータ構造440(一般的にはプロセスロジック440と称する)に保持された情報を使用する、または他の手法で活用することができる。かかる情報の少なくとも一部分は、産業用機器110により実行可能な製造プロセスを表す、または他の手法で表現することができる。これに加えて、一部の実施形態によれば、かかる機械学習技術をプロセスロジック440内に保持することもできる。
産業プロセスの履歴入力データ、履歴出力データ、状態情報(たとえばデータ、メタデータおよび/またはシグナリング)、これらの組み合わせなどを使用することにより、または他の手法で活用することにより、デジタルツインのデータ駆動型モデルを生成して、目的関数に関して規定の最適化問題を解決する規定のモデル(たとえば回帰モデル、畳み込みネットワーク、敵対的生成ネットワークなど)の適切なパラメータの集合を決定することができる。たとえばデータ駆動型モデルは、ディープ畳み込みニューラルネットワークに基づく機械学習モデルとして具現化可能であり、またはこのようなモデルを含むことができる。このため解析モジュール430は、1つのビデオフレーム内での物体検出のために、ディープ畳み込みニューラルネットワークを使用する、または他の手法で活用することができる。かくして、(たとえばマシンビジョンモジュールを介して)解析モジュール430により生成された観測を、確率的なものとすることができる。たとえば規定の場所においてマシンビジョンモジュールは、85%の尤度で観測を「知覚する」。
これに加えて、または一部の実施形態によれば、解析モジュール430は、観測における矛盾を解明する推測を生成可能な確率的グラフィカルモデル(PGM)推論モジュールを適用することによって、相容れない観測を明確にすることができる。同様に、隠蔽が原因となって一連のビデオフレームにわたって観測が首尾一貫しなくなる状況において、PGM推論モジュールは、隠蔽された物体または他のタイプの不足情報に関する推測を生成することができる。
規定の時間(または期間)および規定の場所における観測に対応するステートメントを生成する目的で、解析モジュール430は、完成品116を形成するための製造プロセスプランの具現化に関する実際のタイムライン、および/または場所情報を使用することができる。ステートメントの基礎となる観測の確率的特性ゆえに、ステートメントも確率的である。その結果として特に、解析モジュール430は、意味論的データのストリームを生成することができ、つまり特定の時点または期間での規定の場所における規定の物体の存在に関する観測に対応する規定のステートメントの時系列を生成することができる。
既述のように、図1に示された動作環境100におけるハードウェア114を、たとえば工場のフロア全体に分散させることができる。意味論的知覚解析において、工場のフロアの状態を以下のような黒板とみなすことができる。すなわちこの黒板は、最近の過去から現在までを含むタイムインターバルにわたり、または規定のタイムインターバル(たとえばハードウェア114に含まれる規定の機械における規定のジョブの完了のための処理時間)にわたり真である、基本の物体に関するダイナミックなステートメントまたは結論を含む。
さらに既述のように、製造プロセスプラン(または製造プロセス)は、物体処理のダイナミクスを規定するオペレーションおよびルールを含む。かかるプランは、物体処理(変換、組み立てなど)に対するロジックを表現するプロセスモデルから知識を生成するために、解析コンポーネント430の基礎を構成することができる。より単純には、工場自動化システム(たとえば産業用機器110およびプロセス制御システム120)の意味論を、規定の状態および状態間の遷移についての状態マシンとみなすことができる。かかる状態を、たとえば着目対象の確率変数の観点で規定することができる。
同期されたビデオセグメントと製造プロセスプランとの共同解析を適用することによって解析モジュール430が生成する知識を、信号時相論理(STL)として表現することができる。本明細書で開示されているように、STLは、製造プロセスの実行中、離散的な時間ステップにわたって産業用機器110の挙動を指定するために用いられる数学的記述言語を提供する。1つの態様によれば、SLTによって、種々の状態遷移を含む経路の集合を記述する式を指定することができる。たとえばSTLを使用して、最終的には真になり得る条件、または指定された状態に到達するまで持続する条件を指定することができる。一部の態様によれば、STLは、時間が設定された組み立てシステムの要求を充足するパターンに関する指定および推論を可能にする、または他の手法で促進する。信号時相論理に関する知識を表現することを、知識を生成する手法(たとえば自動生成または半自動生成)にかかわらず達成することができる。STL形式の要素を、たとえばプロセスロジック440に保持することができる。ただし本開示はこの点に限定されるものではなく、一部の実施形態によれば、STL形式の要素を、トラッキングおよびトレーサビリティエンジン140に組み込まれた、または機能的にこれと結合された、1つまたは複数のメモリデバイスにおける1つまたは複数の他のデータ構造内に保持することができる。
したがって解析モジュール430は、時相論理モジュール434を含むことができ、このモジュールは、少なくとも信号時相論理(STL)を用いて、演繹的推論を意味論的ステートメントと知識の双方に適用することにより、トラッキングを具現化することができる。より具体的には、一部の実施形態によれば、時相論理モジュール434は、少なくとも確率的STLを用いて推論を実施することができる。確率によって、あるイベントが発生する時間の尤度がもたらされ(たとえば確率はかかる時間に帰する)、さらに論理的アサーション(または規定の論理的アサーション)の確実性がもたらされる。一部の状況によれば、STLは、離散的なイベントの順序およびタイミングに関する推論を可能にすることができ、または他の手法で促進することができる。たとえば、ジョブkにおいて「部品1」と「部品2」とが機械1(M1)によって時間Tのインターバルにわたりいっしょに組み立てられ、それによってコンポーネント「組み立て品1」を示す産出イベントが規定される。組み立て品1は、M1のコンベヤベルト「産出口1」において識別されることになる。この目的でたとえば、時相論理モジュール434は、プロセスロジック440に保持されている情報を使用する、または他の手法で活用することができる。
1つの態様によれば、信号時相論理の形式は、消費されたすべての部品(または消費された部品の少なくとも一部)および新たに生成された組み立て品(または構成製品)をトラッキングするために使用可能な情報を推測する目的で、あるモデルが要求された属性を充足しているか否かを、自動的に評価することができる。トラッキングおよびトレーサビリティエンジン140は、観測(たとえばセンサデータ、ビデオセグメントなど)が初期状態から出発して蓄積されたときに、かかる評価を実施することができる。
さらに本開示による確率的STLは、宣言的知識表現形式を具現化または構成する。具体的には、宣言的知識は、述部におけるブール演算および時相演算から成るSTL式を含むことができる。STLの整形式Φの構文は以下のとおりである。
Φ ::=ψ| ┐ ψ | Φ ∧ ψ | Φ ∨ ψ | G[a,b] ψ | Φ U[a,b] ψ | F[a,b] ψ
(1)
ただし┐、∧、∨は、否定、連言および選言にそれぞれ対応する論理演算子であり、ΦおよびψはSTLの式、Gはglobally演算子(引数のある式は「常に」タイムインターバル[a,b]で持続する)を表し、Fはeventually演算子(引数のある式は「最終的に」タイムインターバル[a,b]で持続する)を表し、さらにUはuntil演算子(先頭部分の式は、引数のある式が充足されるまで、タイムインターバル[a,b]で持続する)を表す。たとえば、ζ |=G[a,b] ψによって、ψが信号ζのタイムインターバルt∈[a,b]内で持続しなければならないことを表す信号ζが指定される。最上位レベルの整形式ζは、tの前の有限の期間にわたる経時的な観測が式の充足をもたらす場合に、かつその場合に限り、時点t (ζ (t) =1)において充足される。
アトミックな観測「属性の時間に関する後継が持続する」、「機械/部品の条件は属性が真になるまで真である」、その他の式の選言および否定などといった式から、結果として、仕様または要求される属性のトラッキングを表現可能な整形された抽象化が得られる。たとえば、それらのコンポーネント部品を表す信号が、組み立て機械の投入口において多少のインターバル[a,b]で得られるならば、部品の組み立ての結果もインターバル[a+c,b+c]にわたり高い尤度で得られる。
よって、STLは、時相ステートメントを表現する時相式の形態でモデルの機能的属性を指定するための形式言語、および時間に関する推論のための演繹的システムを提供することができる。これに加え、STLは、ハードウェア114(たとえば組み立て機械)のオペレーションから抽出された数学的構造を指定することができる。さらにこれに加え、または一部の実施形態によれば、トラッキングおよびトレーサビリティエンジン140は、産業用機器110の状態を探測する産出口センサ(たとえばセンサ118・・・118)における不確実性を排除するために、確率的STLを活用することができる。たとえば一部の実施形態によれば、解析モジュール430は、産業用機器110を経時的に監視するために、PGMの確率的表現要素を用いて、述部の評価を具現化することができる。確率的STLのアサーションは、最終的な結論の尤度を組み合わせることのできるグラフィカルモデルに対する入力の根拠を表す。
さらに、または一部の実施形態によれば、時相論理モジュールは、完成品116の製造中の潜在的な誤りステップを発見するために、目標駆動型推論を適用することができる。演繹的推論または目標駆動型推論のうちのいずれか一方は、完成品116を形成するための製造プロセスプランの製造ラインにおいてプラニングされた手順を追従することができ、これによってトラッキングおよびトレーシングのために使用可能な明示的で付加的なステートメントまたは結論(両方とも事実と称する)が生成される。
トラッキングおよびトレーサビリティエンジン140によって具現化される演繹的推論および/または目標駆動型推論は、トラッキング情報が時間と共に漸次的に変化すること、トラッキング情報の一部分が欠けている(たとえば隠蔽されている)可能性があり、または他の理由で不確実かまたは不正確な可能性があること、を考慮することができる。
既述のように、場所情報を、一群のカメラ(たとえばカメラ1 130・・・カメラN 130)および/または他のタイプのイメージングセンサから受け取ったイメージング情報に組み組む、または他の手法でこの情報に関連づけることができる。したがって解析モジュール430は、トポロジおよびユークリッド幾何学のモデルに基づき、空間的知識表現を使用して、プラントのフロアまたはハードウェア114の他のタイプのフットプリント内における場所の定量的表現を生成することができる。これに加え、または別の実施形態によれば、空間的知識表現を、規定のポジションで適用可能な直証的な象徴的表現に基づくものとすることができる。空間的場所および時間的ディメンションがコンテキストによって規定されている場合において、これは明示的に「ここ」および「いま」のことを指すことができる。
本明細書で開示されている、意味論的データの1つまたは複数のストリームの意味論的知覚解析を少なくとも部分的に用いて、トラッキングおよびトレーサビリティエンジン140は、(プロセスタイミング、期間、機械および部品の場所、製品が作られる場所などに関連する)時間的事実および空間的事実、イベントおよび依存性を、形式的に表現することができ、時間および空間にわたり首尾一貫した手法で、プロセスのダイナミクスおよび事実に基づく制約について推論を下すことができる。よって、図1を再び参照すると、デジタルレコードトレース150は、意味論的知覚に由来するステートメント、ならびに演繹的推論および/または目標駆動型推論に由来する他のステートメントを含むことができる。
図4Bには、本開示の1つまたは複数の実施形態による、1つの製品における部品のトラッキングおよびトレーサビリティのためのコンピューティングシステム450の一例が示されている。図示されているコンピューティングシステム450は、1つまたは複数のプロセッサ460と、1つまたは複数のメモリデバイス470(一般的にメモリ470と称する)とを含み、このメモリには、1つまたは複数のプロセッサ460のうち少なくとも1つのプロセッサによりアクセスして実行することのできる機械アクセス可能命令(たとえばコンピュータ可読命令および/またはコンピュータ実行可能命令)が含まれる。1つの例によれば、1つまたは複数のプロセッサ460は、1つのグラフィックス処理ユニット(GPU)、複数のGPU、1つの中央処理ユニット(CPU)、複数のCPU、特定用途向け集積回路(ASIC)、マイクロコントローラ、プログラマブルロジックコントローラ(PLC)、フィールドプログラマブルゲートアレイ(FPGA)、これらの組み合わせなどとして具現化可能であり、またはこれらを構成可能である。一部の実施形態によれば、1つまたは複数のプロセッサ460を、単一のコンピューティング機器(たとえばブレードサーバ)内に配置することができる。別の実施形態によれば、1つまたは複数のプロセッサ460を、2つまたはそれよりも多くのコンピューティング機器にわたって分散させることができる。
1つまたは複数のプロセッサ460を、通信アーキテクチャ465を用いてメモリ470と機能的に結合することができる。通信アーキテクチャ465は、1つまたは複数のプロセッサ460の(局所化されたまたは分散された)固有の配置のために適している。したがって通信アーキテクチャ465は、アクセスポイントデバイス、ルータデバイス、スイッチデバイス、サーバデバイス、アグリゲータデバイス、バスアーキテクチャ、これらの組み合わせなどのうちの1つまたは複数を含むことができる。
コンピューティングシステム450において、メモリ470はトラッキングおよびトレーサビリティエンジン140を含む。かかる実施形態において、トラッキングおよびトレーサビリティエンジンは、トラッキングおよびトレーサビリティエンジン140を具現化または構成する機械アクセス可能命令(たとえばコンピュータ可読命令および/またはコンピュータ実行可能命令)を含む。これらの命令はメモリ470内で符号化されており、これらの命令をビルド(たとえばリンクおよびコンパイル)可能なコンポーネントとして配置することができ、コンピュータにより実行可能な形態で(図示されているように)メモリ470内に保持することができ、または1つまたは複数の他の機械アクセス可能非一時的記憶媒体内に保持することができる。よって、一部の実施形態によれば、これらの命令を、図4Aに示したモジュールのようなモジュール(図4Bには図示せず)内に配置することができる。
コンピューティングシステム450において、トラッキングおよびトレーサビリティエンジン140を形成する機械アクセス可能命令を、1つまたは複数のプロセッサ460のうち少なくとも1つのプロセッサによって実行することができる。なお、ここで述べておくと、図示されていないけれども、コンピューティングシステム450は、他のタイプのコンピューティングリソース(たとえばI/Oインタフェースといった1つまたは複数のインタフェース、1つまたは複数のコントローラデバイス、電源など)を含むこともでき、これによってソフトウェアコンポーネント(たとえばエンジンおよびモジュール)の実行を可能にすることができ、または他の手法で促進することができる。この点に関してたとえば、メモリ470は、1つまたは複数のプログラミングインタフェース(アプリケーションプログラミングインタフェース(API)など)、オペレーティングシステム、ファームウェアなどを含むこともできる。命令の実行によって、少なくとも1つのプロセッサが、ひいてはコンピューティングシステム450が、本開示の態様に従い製品の部品のトラッキングおよびトレーサビリティをもたらすようにすることができる。
本開示のトラッキングの態様の例示として、図5には、本開示の1つまたは複数の実施形態による、産業用機器110により具現化可能な製造プロセスの例示的なジョブSが示されている。ジョブSは、タイプT1の部品とタイプT2の部品とを結合してタイプT3という1つの部品にすることを含む。タイプT3の部品を、プラニングされた完成物体(たとえば物体116)の構成部分とすることができる。本明細書で開示されているように(たとえば図2参照)、このタイプのジョブを複数相互接続すれば、多種多様な製造プロセスを取り決めることができる。
例示的なジョブSの場合、製造プロセスの製造ルールによって、予備知識が具現化または構成される。たとえばジョブSに対応する第1の製造ルールは、タイプT1の部品とタイプT2の部品が機械Mへ供給され、範囲[tM1,tM2]内の規定の時間t(時間単位の実数)の後、ジョブSの結果としてタイプT3の産出部品が得られる、と記述することができる。
解析モジュール430は、(意味論的知覚解析に由来する)ロジックステートメントと規定の時間制約とを用いて、結論を生成することができる。解析モジュール430は、第1のカメラ510(または他のタイプのイメージングセンサデバイス)および第2のカメラ520(または他のタイプのイメージングセンサデバイス)により生成されたビデオセグメントから、ロジックステートメントを生成することができる。具体的には、マシンビジョンモジュール(図示せず)として具現化可能な、またはこれを含むことができる知覚モジュール432は、タイプT1の製品P1を表す第1の観測を、時点t12に場所L1において確率p(たとえば0.9)で生成することができ、タイプT2の製品P2を表す第2の観測を、時点t12に場所L2において確率p(たとえば1)で生成することができ、さらにタイプT3の製品P3を表す第3の観測を、時点tに場所L3において確率p(たとえば0.9)で生成することができる。時点tは、以下の制約を充足することができる。すなわちtM,1<|t-t12|<tM,2。なお、ここで述べておくと、第1の製造ルールはタイプを規定する一方、推測および推論のエンジンは、実際の部品に対するステートメントを形成する。
解析モジュール430は、人工推論モジュール436(図4参照)を含むことができ、このモジュールは、上述の第1の製造ルールを適用して結論を生成することができる。第1の製造ルールは部品のタイプを規定する一方、人工推論エンジンは、実際の部品に対する結論(またはロジックステートメント)を生成する。具体的には、人工推論モジュールは、以下のロジックを具現化することができる。すなわち、時点0において、タイプT1のP1およびタイプT2のP2が機械Mに入るのが観測され、時点t(tは範囲[tM11,tM12]内)において、タイプT3のP3がMの産出品として観測されたならば、人工推論モジュールは、P3はP1およびP2から形成されている、と100%の確実性で判定することができる。
人工推論モジュールは、異常が存在している事例におけるロジックも具現化することができる。たとえば、P3が範囲[tM,1,tM,2]内の時間内に機械Mの産出品として観測されなかったならば、確率pをタイプT3の部品P3に割り当てるための推定が生成される。一部の実施形態によれば、確率的STLを用いてpが決定される。別の実施形態によれば、確率pを履歴製造データから学習させることができる。別の例によれば、P1が機械Mの投入品として観測されず、その代わりに確率pがP1の出現に帰するならば、推測を通して確率pが確率pに伝播される。確率pに影響を及ぼすようにする目的で、たとえばSTL式は、正常な組み立て機械の確率を組み込むことができる。組み立て機械がそのオペレーションを開始させたときに制限時間だけ利用可能にされるP1およびP2に関する確実性も、確率pに影響を及ぼす。確率の組み合わせは、連言に対する引数の最小値および選言に対する最大値を用いることができる。
一部の実施形態によれば、確率的STLを用いてpが決定される。別の実施形態によれば、確率pを履歴製造データから学習させることができる。したがって異常が存在しようがしまいが、解析コンポーネント430は人工推論モジュール436を介して、ジョブSの結果として得られた部品P3が部品P1および部品P2から確率pで形成されている、ということをアサートすることができる。
人工推論モジュールは、数多くの手法で動作可能である。たとえば一部の実施形態によれば、たとえばハイレベルの製造目標(たとえば自動車が時点10、20、30などにおいて組み立てフロアの出口で組み立てられている)の充足を立証するために、推論エンジンを経時的に実質的に一定にアクティブにすることができる。この各々について、人工推論エンジンは、式「自動車はt=10で首尾よく組み立てられている」など(t=20...)のような証明を成し遂げることができる。目標が立証できない事例において、個々のタイムインターバルにわたりアラームをトリガすることができ、問題、場所などを識別する目的で根本原因解析を実施するために、デジタルトレースレコード(たとえばデジタルトレースレコード150)を供給することができる(たとえば送信または利用可能にすることができる)。
別の例として別の実施形態によれば、人工推論モジュールを、通常のトラッキングおよびトレーシングプロセス全体において、異常の存在に応答してアクティベートすることができる。たとえば人工推論モジュール436を、意味論的知覚における不正確性に応答して(たとえばそれに応じてまたはその後で)アクティベートすることができ、またはトラックおよびトレースプロセスの通常のラベリングに関する情報が、隠蔽などに起因して生成されなかったことから、欠けているときなどに、アクティベートすることができる。
完成品116を形成するための製造プロセスプランにおける別のジョブとして、人工推論モジュールは、前述の記載で開示されたのと同様の手法で、かかるプランにおけるルールに基づき、別のアサーションを生成することができる。本明細書で開示されているように、製造プロセスプラン実行中の観測コレクション(または一連の意味論的データ)に関連づけられたアサーション(または推論)により、デジタルトレースレコードが形成される。
本明細書で述べられている様々な態様を考慮の上、図6、図7を参照すれば、本開示に従って具現化可能な方法の例をいっそう正しく理解することができる。説明を簡単にする目的で、例示された方法(および本明細書で開示されている他の技術)を、一連のオペレーションとして呈示して述べる。ただしここで述べておくと、例示された方法および本開示の他のいずれの技術も、オペレーションの順序によって限定されるものではない。一部のオペレーションを、本明細書で例示されて述べられているものとは異なる順序で生じさせてもよい。これに加え、または別の選択肢として、一部のオペレーションを、(例示されたまたはその他の)別のオペレーションと実質的に同時に実施することができる。さらに、例示された方法または技術を本開示に従って具現化するために、例示されたすべてのオペレーションが必要とされるわけでもない。さらに一部の実施形態によれば、本明細書で開示されている1つまたは複数の要素および/または技術的改善を成し遂げるために、例示された方法および/または本明細書で開示されている他の技術のうちの2つまたはそれよりも多くのものを、他のものと組み合わせて具現化することができる。
一部の実施形態によれば、例示された方法および/または本明細書で開示されている他の技術のうちの1つまたは複数を、状態機械図におけるように互いに相関する一連の状態またはイベントとして表現することができる。他の表現も可能である。たとえば1つまたは複数の相互作用図によって、それぞれ異なるエンティティが開示されている方法論のそれぞれ異なる部分を実施する状況において、例示された方法および/または本開示による技術を表現することができる。
さらに理解されたいのは、本明細書で開示されている例示的な方法を、(コンピュータプログラム製品のような)製品に保持する、または他の手法で記憶させることができる、ということであり、その目的は、実行のために、ひいては1つまたは複数のプロセッサによる具現化のために、またはメモリへの記憶のために、コンピュータへのかかる例示的な方法の移動および転送を可能にする、または他の手法で促進するためである。
本明細書および添付の図面を通して開示されている方法を製品に記憶させることが可能であり、その目的は、実行のために、ひいてはプロセッサによる具現化のために、またはメモリデバイスまたは他のタイプのコンピュータ可読記憶デバイスへの記憶のために、かかる方法論をコンピュータまたは他のタイプの情報処理機械または処理回路へ移動および転送しやすくするためである。1つの例によれば、例示された方法および/または本明細書で開示されている他の技術のうちの1つまたは複数を具現化するために、本明細書で開示されている方法または方法の組み合わせを実施する1つまたは複数のプロセッサを使用して、メモリデバイスまたは任意のコンピュータ可読記憶デバイスまたは機械可読記憶デバイスまたは非一時的記憶媒体に保持されたプログラミングコード命令を実行することができる。プログラミングコード命令は、1つまたは複数のプロセッサにより実行されると、例示された方法および/または本明細書で開示されている他の技術における様々なオペレーションを具現化または実行することができる。
かくしてプログラミングコード命令によれば、具体例として挙げられた方法および/または本明細書で開示されている他の技術を具現化するための、コンピュータ実行可能フレームワークまたは機械実行可能フレームワークが提供される。より具体的には、ただし他を排除するものではないが、フローチャート図の各ブロックおよび/またはフローチャート図におけるブロックの組み合わせを、プログラミングコード命令によって具現化することができる。
図6には、本開示の1つまたは複数の実施形態による、1つの完成品の部品をトラッキングおよびトレーシングするための例示的な方法600のフローチャートの一例が示されている。例示的な方法600を、全体的にまたは部分的に、1つまたは複数のプロセッサ、1つまたは複数のメモリデバイス、および/または別のタイプのコンピューティングリソースを有するコンピューティングシステムによって、具現化することができる。一部の実施形態によれば、コンピューティングシステムは、少なくともインジェストモジュール410、同期モジュール420、および解析モジュール430を具現化することができ、またはこれらを含むことができる。
ブロック610において、コンピューティングシステムは、完成した製品を形成するための製造プロセスの実行の個々の部分に関するビデオセグメントコレクションを表す情報(たとえばデータ、メタデータおよび/またはシグナリング)を受け取ることができる。本明細書で開示されているように、一部の実施形態によれば、ビデオセグメントの各々を、完成された製品が製造されるプラントまたは工場内の規定の場所に位置決めされたカメラによって、生成することができる。別の実施形態によれば、ビデオセグメントの少なくとも1つを、イメージングセンサデバイスが取り付けられたモバイル無人ロボットによって生成することができる。例示的な方法600は、一部の実施形態によれば、製造プロセスの実行の一部分を表現する他のタイプのデータ(イメージングデータ、オーディオデータ、および/または聴覚データ)の1つまたは複数のストリームを含むことができる。ビデオセグメントコレクションおよび1つまたは複数の他のタイプのデータを表す情報を、まとめてモニタリング情報と称することができる。
ブロック620において、コンピューティングシステムは、製造プロセスの開始時点に対し相対的に、ビデオセグメントコレクションを同期させることができる。本明細書で開示されているように、ビデオセグメントコレクションを同期させることは、それらのセグメントを製造プロセスの実行に関する単一のビデオレコードに統合することを含むこともできる。他のデータストリームを利用可能な実施形態によれば、コンピューティングシステムは、かかるデータストリームの少なくとも一部分を同期させることもできる。製造プロセスの実行に関する別の単一のデータレコードを生じさせるために、それらのデータストリームを、別個に、またはビデオセグメントコレクションと組み合わせて、同期させることができる。
ブロック630において、コンピューティングシステムは、少なくとも製造プロセスを用いて、同期されたビデオセグメントコレクション(または一部の事例によれば単一のビデオレコード)を解析することができる。一部の実施形態によれば、コンピューティングシステムは、同期されたデータストリーム(たとえばイメージングデータ、オーディオデータおよび/または聴覚データ)を解析することもできる。ブロック640において、コンピューティングシステムは、少なくとも単一のビデオレコードおよび/または解析による結果を用いて、完成された製品のデジタルトレースレコードを生成することができる。コンピューティングシステムは、単一のデータレコードを用いて、完成された製品の第2のデジタルトレースレコードを生成することもできる。一部の実施形態によれば、コンピューティングシステムは、単一のデータレコードを単一のビデオレコードおよび/または解析結果に統合することによって、デジタルトレースレコードをより正確にすることができる。ブロック650において、コンピューティングシステムは、デジタルトレースレコードを保持することができる。
図7には、本開示の1つまたは複数の実施形態による、1つの完成品の部品をトラッキングおよびトレーシングするための例示的な方法700のフローチャートが示されている。例示的な方法700を、全体的にまたは部分的に、1つまたは複数のプロセッサ、1つまたは複数のメモリデバイス、および/または別のタイプのコンピューティングリソースを有するコンピューティングシステムによって、具現化することができる。一部の実施形態によれば、コンピューティングシステムは、少なくともインジェストモジュール410、同期モジュール420、および解析モジュール430を具現化することができ、またはこれらを含むことができる。
ブロック710において、コンピューティングシステムは、製造プロセスの1つのジョブへの個々の投入部品に関する一群の第1の観測を表す、第1のデータを受け取ることができる。ブロック720において、コンピューティングシステムは、ジョブからの産出組み立て品に関する一群の第2の観測を表す、第2のデータを受け取ることができる。第1および第2の群における観測の各々(または一部の実施形態によればそれのうち少なくとも1つ)は確率的であり、イメージングセンサデバイス(たとえばカメラ、赤外線光検出器デバイス、LIDARセンサデバイスなど)および/または他のタイプのセンサデバイスに基づき生成可能である。
ブロック730において、コンピューティングシステムは、第1のデータおよび第2のデータにテストを適用することができる。このテストを、製造プロセスのルールとして、または製造プロセスに関連する他のタイプの予備知識として、具現化することができる。ブロック740において、コンピューティングシステムは、産出組み立て品が投入部品から規定の確率で形成されている、というアサーションを生成することができる。既述のように一部の実施形態によれば、規定の確率を少なくとも1つの確率的STLに基づき決定することができる。
図8には、本開示の1つまたは複数の実施形態による、トラッキングおよびトレーサビリティに関連づけられた機能を具現化可能な動作環境の一例が示されている。具体例として挙げられた動作環境800は単に例示的なものにすぎず、動作環境のアーキテクチャの使用または機能の範囲について、何らかの限定を示唆しようとするものではなく、または他の手法で伝えようとするものではない。これに加え、図8に示された具体例として挙げられた動作環境800は、本開示の他の例示的な動作環境に示されたモジュールまたは他のタイプのコンポーネントのいずれか1つまたはそれらの組み合わせに関連して、何らかの依存性または要求を有するものと捉えられるべきではない。
よって、具体例として挙げられた動作環境800またはその一部分は、前述の様々な動作環境およびシステムのうち他の1つを具現化することができ、またはそれを構成することができる。したがってコンピューティングデバイス810は、個別に、あるいは1つまたは複数のコンピューティングデバイス870のうちの少なくとも1つとの組み合わせで、インジェストモジュール410、同期モジュール420、および解析モジュール430を具現化または構成することができる。
1つの例によれば、コンピューティングデバイス810を、モバイルタブレットコンピュータなどのようなポータブルパーソナルコンピュータまたはハンドヘルドコンピューティングデバイスとして、具現化することができる。別の例によれば、コンピューティングデバイス810を、ウェアラブルコンピューティングデバイスとして具現化することができる。コンピューティングデバイス810は、他のタイプのモバイルコンピューティングデバイスを具現化または構成することもできる。
計算環境800は、本開示の様々な態様または要素の例示的な具現化を表現しており、これによれば、本明細書で開示されている態様によるトラッキングおよびトレーサビリティに関連して述べられているオペレーションの処理または実行を、コンピューティングデバイス810における1つまたは複数のソフトウェアコンポーネントの実行に応答して、実施することができる。かかる1つまたは複数のソフトウェアコンポーネントによって、コンピューティングデバイス810(または1つまたは複数のソフトウェアコンポーネントを含む他の任意のコンピューティングデバイス)は、他の機能的な目的もある中で、本明細書で述べられている態様によるトラッキングおよびトレーサビリティのための1つの特別な機械となる。
ソフトウェアコンポーネントを、1つまたは複数のコンピュータアクセス可能命令(たとえばコンピュータ可読命令および/またはコンピュータ実施可能命令)として具現することができ、またはソフトウェアコンポーネントはそのような命令を含むことができる。一部の実施形態によれば、既述のように、コンピュータアクセス可能命令の少なくとも一部分を実行して、例示的な方法(たとえば方法600および方法700)および/または本明細書で開示されているその他の技術のうちの1つまたは複数の少なくとも一部分を実施することができる。
たとえば、1つのかかる方法を具現化するため、コンピュータアクセス可能命令の少なくとも一部分を、コンピュータ可読非一時的記憶媒体に保持することができ、1つまたは複数のプロセッサ(たとえば1つまたは複数のプロセッサ814のうちの少なくとも1つ)によって実行することができる。ソフトウェアコンポーネントを具現化する、または他の手法で構成する、1つまたは複数のコンピュータアクセス可能命令を組み合わせて、たとえば1つまたは複数のプログラムモジュールを形成することができる。1つまたは複数のかかるプログラムモジュールを、コンピューティングデバイス810または他のコンピューティングデバイスにおいて(1つまたは複数のプロセッサ814のうちの1つまたは複数によって)、コンパイル、リンクおよび/または実行することができる。
さらに、1つまたは複数のかかるプログラムモジュールは、コンピュータコード、ルーチン、プログラム、オブジェクト、コンポーネント、情報構造(たとえばデータ構造および/またはメタデータ構造)などを含むことができ、これらは、1つまたは複数のプロセッサによる実行に応答して、固有のタスク(たとえば1つまたは複数のオペレーション)を実施することができる。1つまたは複数のかかるプロセッサのうちの少なくとも1つを、コンピューティングデバイス810に組み込むことができる。たとえば、1つまたは複数のプログラムモジュールを実行可能な1つまたは複数のプロセッサは、1つまたは複数のプロセッサ814から成る空でない部分集合として具現化可能であり、またはそのような部分集合を含むことができる。これに加え、1つまたは複数のプロセッサのうち少なくとも別の1つを、コンピューティングデバイス810と機能的に結合することができる。
本開示の様々な例示的な実施形態を、数多くの他の汎用または特定用途向けのコンピューティングシステムの環境またはコンフィギュレーションによって、動作可能なものとすることができる。本開示の態様によるトラッキングおよびトレーサビリティに関連して本開示の様々な態様または要素を具現化するのに適したものとすることができる、周知のコンピューティングシステム、環境、および/またはコンフィギュレーションの例に含めることができるのは、パーソナルコンピュータ、サーバコンピュータ、ラップトップデバイス、モバイルタブレットまたは電子ブックリーダといったハンドヘルドコンピューティングデバイス、ウェアラブルコンピューティングデバイス、およびマイクロプロセッサシステムである。さらに付加的な例に含めることができるのは、プログラマブル家庭用電子機器、ネットワークパーソナルコンピュータ(PC)、ミニコンピュータ、メインフレームコンピュータ、ブレードコンピュータ、プログラマブルロジックコントローラ、上述のシステムまたはデバイスのいずれかを含む分散型コンピューティング環境などである。
図8に示されているように、コンピューティングデバイス810は、1つまたは複数のプロセッサ814、1つまたは複数の入出力(I/O)インタフェース816、1つまたは複数のメモリデバイス830(まとめてメモリ830と称する)、およびバスアーキテクチャ832(バス832とも称する)を含む。バスアーキテクチャ832は、コンピューティングデバイス810の様々な機能要素を機能的に結合する。バス832は、システムバス、メモリバス、アドレスバス、またはメッセージバスのうちの少なくとも1つを含むことができ、1つまたは複数のプロセッサ814、1つまたは複数のI/Oインタフェース816および/またはメモリ830、またはこれらにおける個々の機能要素の間において、情報(データ、メタデータおよび/またはシグナリング)の交換を可能にすることができ、または他の手法で促進することができる。一部の状況によれば、バス832は、1つまたは複数の内部プログラミングインタフェース850(まとめて1つまたは複数のインタフェース850と称する)と連携して、かかる情報交換を可能にすることができ、または他の手法で促進することができる。1つまたは複数のプロセッサ814が多数のプロセッサを含む状況であれば、コンピューティングデバイス810はパラレルコンピューティングを使用することができる。
一部の実施形態によれば、コンピューティングデバイス810は任意選択的に、無線ユニット812を含むことができる。無線ユニット812は、1つまたは複数のアンテナと通信処理ユニットとを含むことができ、通信処理ユニットは、コンピューティングデバイス810と、1つまたは複数のコンピューティングデバイス870のうちの1つ、または1つまたは複数のセンサシステム896のうち1つのセンサデバイスといったような、他のデバイスとの間のワイヤレス通信を可能にすることができる。
1つまたは複数のI/Oインタフェース816は、コンピューティングデバイス810と、別のコンピューティングデバイス(たとえばネットワーク要素またはエンドユーザデバイス)またはセンサデバイスといったような、外部デバイスとの間において、情報の通信を可能にすることができ、または他の手法で促進することができる。かかる通信は、ネットワークまたはその要素を介したコンピューティングデバイス810と外部デバイスとの間における情報交換のような、直接的な通信または間接的な通信を含むことができる。一部の実施形態によれば、図8に示されているように、1つまたは複数のI/Oインタフェース816は、1つまたは複数のネットワークアダプタ818、1つまたは複数の周辺アダプタ822、および1つまたは複数のディスプレイユニット826のうちの1つまたは複数を含むことができる。1つまたは複数のかかるアダプタは、外部デバイスと、1つまたは複数のプロセッサ814またはメモリ830のうちの1つまたは複数との間のコネクティビティを可能にすることができ、または他の手法で促進することができる。たとえば、1つまたは複数の周辺アダプタ822は一群のポートを含むことができ、それらのポートは、パラレルポート、シリアルポート、イーサネットポート、V.35ポート、またはX.21ポートのうちの少なくとも1つを含むことができる。いくつかの実施形態によれば、パラレルポートは、汎用インタフェースバス(GPIB)、IEEE-1284を有することができる一方、シリアルポートは勧告標準(RS)-232、V.11、汎用シリアルバス(USB)、ファイアワイア、またはIEEE-1394を含むことができる。
1つまたは複数のネットワークアダプタ818のうち少なくとも1つは、コンピューティングデバイス810を1つまたは複数のコンピューティングデバイス870に、1つまたは複数の通信リンク(ワイヤレス、有線、またはそれらの組み合わせ)および1つまたは複数のネットワーク880を介して結合することができ、1つまたは複数のネットワーク880は、個別にまたは組み合わせとして、コンピューティングデバイス810と1つまたは複数のコンピューティングデバイス870との間において、情報(データ、メタデータおよび/またはシグナリング)の交換を可能にすることができ、または他の手法で促進することができる。1つまたは複数のネットワークアダプタ818のうちの少なくとも1つによって少なくとも部分的にもたらされる、かかるネットワーク結合を、有線環境、ワイヤレス環境、またはこれら両方において、具現化することができる。1つまたは複数のネットワーク880は、複数のタイプのネットワーク要素を含むことができ、これには基地局、ルータデバイス、スイッチデバイス、サーバデバイス、アグリゲータデバイス、バスアーキテクチャ、これらの組み合わせなどが含まれる。複数のネットワーク要素を組み合わせて、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、および/または種々のフットプリントを有する他のネットワーク(ワイヤレスまたは有線)を形成することができる。
1つまたは複数のネットワークアダプタ818のうちの少なくとも1つによって通信される情報を、本開示の態様による1つの方法(または技術)における1つまたは複数のオペレーションの具現化の結果から得ることができる。かかる出力を視覚的表現の任意の形態とすることができ、これにはテキスト、グラフィック、アニメーション、オーディオ、聴覚などが含まれる。一部の状況によれば、1つまたは複数のコンピューティングデバイス870の各々は、コンピューティングデバイス810と実質的に同じアーキテクチャを有することができる。これに加えて、または別の選択肢として、1つまたは複数のディスプレイユニット826は、機能的要素(たとえば発光ダイオードのような光、液晶ディスプレイ(LCD)、プラズマモニタ、発光ダイオード(LED)モニタ、またはエレクトロクロミックモニタ、これらの組み合わせのようなディスプレイなど)を含むことができ、これによって、コンピューティングデバイス810のオペレーションの制御を可能にすることができ、または他の手法で促進することができ、またはコンピューティングデバイス810の動作条件の伝達または明示を可能にすることができる。
1つの態様によれば、バスアーキテクチャ832は、複数の可能なタイプのバス構造のうちの1つまたは複数を表現しており、これにはメモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、およびプロセッサ、または様々なバスアーキテクチャのいずれかを使用したローカルバスが含まれる。例示として、かかるアーキテクチャに含めることができるのは、インダストリ・スタンダード・アーキテクチャ(ISA)バス、マイクロ・チャネル・アーキテクチャ(MCA)バス、拡張ISA(EISA)バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション(VESA)ローカルバス、アクセラレーテッド・グラフィックス・ポート(AGP)バス、ペリフェラル・コンポーネント・インターコネクト(PCI)バス、PCIエクスプレスバス、パーソナル・コンピュータ・メモリカード・インターナショナル・アソシエーション(PCMCIA)バス、汎用シリアルバス(USB)などである。
バスアーキテクチャ832および本明細書で述べられている他のすべてのバスアーキテクチャを、有線ネットワークコネクションまたはワイヤレスネットワークコネクションと、各々のサブシステムとを介して具現化することができ、この場合、サブシステムには、1つまたは複数のプロセッサ814、メモリ830およびその中のメモリ要素が含まれ、この形態のバスを介して接続され物理的に分離された場所にある1つまたは複数のリモートコンピューティングデバイス870内に、1つまたは複数のI/Oインタフェース816を含めることができ、これによって事実上、完全に分散型のシステムが具現化される。
一部の実施形態によれば、かかる分散型システムによって、本明細書で述べられている機能を、クライアント-ホストコンフィギュレーションまたはクライアント-サーバコンフィギュレーションとして具現化することができ、これによれば、トラックおよびトレースモジュール836またはトラックおよびトレース情報840またはこれら両方を、コンピューティングデバイス810と、1つまたは複数のコンピューティングデバイス870のうちの少なくとも1つとの間で分散させることができ、コンピューティングデバイス810と、1つまたは複数のコンピューティングデバイス870のうちの少なくとも1つとが、かかるモジュールを実行することができ、かつ/またはかかる情報を活用することができる。
コンピューティングデバイス810は、様々なコンピュータ可読媒体を含むことができる。コンピュータ可読媒体を、コンピューティングデバイス810によってアクセスできる入手可能な任意の媒体(一時的および非一時的)とすることができる。1つの態様によれば、コンピュータ可読媒体は、非一時的コンピュータ記憶媒体(またはコンピュータ可読非一時的記憶媒体)および通信媒体を含むことができる。例示的なコンピュータ可読非一時的記憶媒体にはたとえば、揮発性媒体と不揮発性媒体の双方、およびリムーバブル媒体および/または非リムーバブル媒体を含めることができる。1つの態様によれば、メモリ830は、ランダムアクセスメモリ(RAM)のような揮発性メモリおよび/またはリードオンリーメモリ(ROM)のような不揮発性メモリの形態のコンピュータ可読媒体を含むことができる。
図8に示されているように、メモリ830は、機能命令記憶装置834および機能情報記憶装置838を含むことができる。機能命令記憶装置834はコンピュータアクセス可能命令を含むことができ、この命令によれば、(たとえば1つまたは複数のプロセッサ814のうちの少なくとも1つによる)実行に応答して、本開示のトラッキングおよびトレーサビリティの複数の機能のうちの1つまたは複数を具現化することができる。コンピュータアクセス可能命令は、トラックおよびトレースモジュール836として示された1つまたは複数のソフトウェアコンポーネントを具現化または有することができる。
1つの状況によれば、複数のトラックおよびトレースモジュール836のうち少なくとも1つのコンポーネントの実行によって、例示的な方法600および700のように、本明細書で開示されている方法のうちの1つまたは複数を具現化することができる。たとえばかかる実行によって、少なくとも1つのコンポーネントを実行するプロセッサ(たとえば1つまたは複数のプロセッサ814のうちの1つ)に対し、開示されている例示的な方法または本開示の他の技術を実施させることができる。
なお、ここで述べておくと、1つの態様によれば、トラックおよびトレースモジュール836によりプログラミングされた、または他の手法でコンフィギュレーションされた機能に従って動作させる目的で、複数のトラックおよびトレースモジュール836のうちの少なくとも1つを実行する、1つまたは複数のプロセッサ814のうち1つのプロセッサは、機能情報記憶装置838における1つまたは複数のメモリ要素840から情報を取り出すことができ、またはそこに情報を保持することができる。1つまたは複数のメモリ要素840を、トラックおよびトレース情報840と総称することができる。かかる情報は、コード命令、情報構造といったようなものうちの少なくとも1つを含むことができる。たとえば、かかる情報構造のうちの少なくとも一部分は、規定の緊急時対応計画、産業用機器110の履歴オペレーションデータなどを表す、または他の手法で表現することができる。
一部の実施形態によれば、複数のトラックおよびトレースモジュール836のうちの1つまたは複数は、本開示の態様に従い、たとえば解析エンジン130、異常検出器モジュール150、緊急時ジェネレータモジュール160、またはこれらの組み合わせを具現化または構成することができる。
1つまたは複数のインタフェース850(たとえば1つまたは複数のアプリケーションプログラミングインタフェース)のうちの少なくとも1つは、機能命令記憶装置834内の2つまたはそれよりも多くのモジュール間での情報の通信を可能にすることができ、または他の手法で促進することができる。少なくとも1つのインタフェースによって通信される情報を、本開示の1つの方法における1つまたは複数のオペレーションの具現化の結果から得ることができる。一部の実施形態によれば、機能命令記憶装置834および機能情報記憶装置838のうちの1つまたは複数を、リムーバブル/非リムーバブルおよび/または揮発性/不揮発性のコンピュータ記憶媒体として具現化することができ、またはそのような記憶媒体を有することができる。
トラックおよびトレースモジュール836またはトラックおよびトレース情報840のうちの少なくとも1つの少なくとも一部分は、本明細書で開示されているトラックおよびトレースの機能に少なくとも従って動作するように、複数のプロセッサ814のうちの1つまたは複数をプログラミングする、または他の手法でコンフィギュレーションすることができる。1つまたは複数のプロセッサ814のうちの1つまたは複数は、複数のトラックおよびトレースモジュール836のうちの少なくとも1つを実行することができ、本明細書で述べられている1つまたは複数の態様に従い、未知の呼び出し側からの呼び出しの管理を提供する目的で、機能情報記憶装置838における情報の少なくとも一部分を活用することができる。
なお、ここで述べておくと、一部の実施形態によれば、機能命令記憶装置834は、コンピュータ可読非一時的記憶媒体を具現化することができ、またはこれを有することができ、この記憶媒体は以下のようなコンピュータアクセス可能命令を有する。すなわちこの命令は、実行に応答して、少なくとも1つのプロセッサ(たとえば1つまたは複数のプロセッサ814のうちの1つまたは複数)に対し、例示的な方法600および700ならびに本明細書で開示されている他の技術に関連して述べられているオペレーションまたはブロックを有する一群のオペレーションを実施させる。
メモリ830は、以下のようなコンピュータアクセス可能な命令および情報(たとえばデータ、メタデータ、および/またはプログラミングコード命令)を含むこともでき、すなわちこれらは、コンピューティングデバイス810のオペレーションおよび/またはアドミニストレーション(たとえばアップグレード、ソフトウェアインストール、他の何らかのコンフィギュレーションなど)を可能にする、または他の手法で促進する。したがって図示されているように、メモリ830は、(オペレーシングシステム(OS)命令842という名称が付された)メモリ要素842を含み、これは1つまたは複数のプログラムモジュールを含み、このモジュールは、Windowsオペレーティングシステム、Unix、Linux、Symbian、Android、Chromium、およびモバイルコンピューティングデバイスまたはテザリングされたコンピューティングデバイスに適した実質的に任意のOSといったような、1つまたは複数のオペレーティングシステムを具現化する、またはそれらを含む。1つの態様によれば、コンピューティングデバイス810のオペレーション上および/またはアーキテクチャ上の複雑さによって、適切なOSを決めることができる。
メモリ830はさらに、コンピューティングデバイス810のオペレーションおよび/またはアドミニストレーションを可能にすることができる、または他の手法で促進することができるデータ、メタデータおよび/またはプログラミングコード(たとえばファームウェア)を有するシステム情報記憶装置846を含む。OS命令842の要素およびシステム情報記憶装置846は、1つまたは複数のプロセッサ814のうちの少なくとも1つによってアクセス可能であり、そこにおいて動作可能である。
機能命令記憶装置834および他の実行可能なプログラムコンポーネント(OS命令842など)は、別個のブロックとして示されている一方、かかるソフトウェアコンポーネントを、様々な時点にコンピューティングデバイス810の種々のメモリコンポーネントに常駐させることができ、1つまたは複数のプロセッサ814のうちの少なくとも1つによって実行することができる。いくつかの状況において、トラックおよびトレースモジュール836の具現化を、コンピュータ可読媒体に保持することができ、またはコンピュータ可読媒体の形態を介して伝達することができる。
コンピューティングデバイス810および/または1つまたは複数のコンピューティングデバイス870のうちの1つは、電源(図8には示されていない)を含むことができ、これによってかかるデバイス内のコンポーネントまたは機能要素に給電することができる。電源を再充電可能な電源、たとえば再充電可能バッテリとすることができ、さらに電源は、コンピューティングデバイス810および/または1つまたは複数のコンピューティングデバイス870のうちの1つ、ならびにコンポーネント、機能要素およびそれらにおいて関連する回路の動作に適した電力レベルを達成するために、1つまたは複数のトランスを含むことができる。いくつかの状況において、再充電してかかるデバイスが動作可能であることを保証するために、電源を慣用の送電網につなげることができる。1つの態様によれば、電源は、慣用の送電網と動作可能に接続するために、I/Oインタフェース(たとえば1つまたは複数のネットワークアダプタ818のうちの1つ)を含むことができる。別の態様によれば、電源は、ソーラパネルのようなエネルギー変換コンポーネントを含むことができ、これによってコンピューティングデバイス810および/または1つまたは複数のコンピューティングデバイス870のうちの1つのために、付加的または代替的な電力源が提供され、あるいは自立性がもたらされる。
図8に示されているように、一部の事例によれば、コンピューティングデバイス810は、1つまたは複数のリモートコンピューティングデバイス870へのコネクションを使用することによって、ネットワーク化された環境において動作可能である。例示として、リモートコンピューティングデバイスを、パーソナルコンピュータ、ポータブルコンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピアデバイス、または他の一般的なネットワークノードなど、とすることができる。本明細書で述べられているように、コンピューティングデバイス810と、1つまたは複数のリモートコンピューティングデバイス870のうち1つのコンピューティングデバイスとの間のコネクション(物理的および/または論理的)を、1つまたは複数のネットワーク880および様々な通信リンク(ワイヤレスまたは有線)を介して、形成することができる。1つまたは複数のネットワーク880は、複数のタイプのネットワーク要素を含むことができ、これには基地局、ルータデバイス、スイッチデバイス、サーバデバイス、アグリゲータデバイス、バスアーキテクチャ、これらの組み合わせなど、が含まれる。複数のネットワーク要素を組み合わせて、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、および/または種々のフットプリントを有する他のネットワーク(ワイヤレスまたは有線)を形成することができる。
これに加えて、図示されているように、第1の群の通信リンク874と第2の群の通信リンク872とが形成されるように、通信リンクを組み合わせることができる。両方の群における通信リンクの各々は、アップストリームリンク(またはアップリンク(UL))あるいはダウンストリームリンク(またはダウンリンク(DL))のうちの一方を含むことができる。ULおよびDLの各々は、ワイヤレスリンク(たとえば宇宙空間ワイヤレスリンクおよび/または地上ワイヤレスリンク)、有線リンク(たとえば光ファイバライン、同軸ケーブルおよび/またはツイストペアライン)、またはそれらの組み合わせとして具現化可能であり、またはそれらを含むことができる。
第1の群の通信リンク874および第2の群の通信リンク872は、1つまたは複数のコンピューティングデバイス870のうちの少なくとも1つと、コンピューティングデバイス810との間において、情報(たとえばデータ、メタデータおよび/またはシグナリング)の交換を可能にすることができ、または他の手法で促進することができる。この目的で、第1の群の通信リンク874のうちの1つまたは複数のリンク、第2の群の通信リンク872のうちの1つまたは複数のリンク、および1つまたは複数のネットワーク880のうちの少なくとも1つは、コンピューティングデバイス810と、1つまたは複数のコンピューティングデバイス870のうちの少なくとも1つとの間の通信経路を形成することができる。
1つまたは複数の実施形態によれば、開示された方法のうちの1つまたは複数を、グリッドベースの環境のような分散型コンピューティング環境において実際に運用することができ、この場合、1つまたは複数のネットワーク880のうちの少なくとも1つを介して機能的に結合された(たとえば通信可能にリンクされた、または他の手法で結合された)リモート処理デバイス(1つまたは複数のコンピューティングデバイス870)によって、複数のタスクを実施することができる。分散型コンピューティング環境において、1つの態様によれば、1つまたは複数のソフトウェアコンポーネント(プログラムモジュールなど)を、ローカルコンピューティングデバイス(たとえばコンピューティングデバイス810)と少なくとも1つのリモートコンピューティングデバイスの双方の内部に配置することができる。
一部の実施形態によれば、図8に示されているように、動作環境800は産業用機器890を含むことができる。産業用機器890は、産業用機器110を具現化することができ、または産業用機器110を含むことができる。したがって産業用機器890は、1つまたは複数の機械892と、1つまたは複数の機械892のうちの少なくとも1つを探測可能な1つまたは複数のセンサシステム896とを含むことができる。1つの態様によれば、1つまたは複数の機械892は、ハードウェア114を具現化または構成することができる。これに加え、1つまたは複数のセンサシステム896のうちの少なくとも1つは、センサデバイス118・・・118として具現化可能であり、またはこれらを含むことができる。コンピューティングデバイス810、および1つまたは複数のコンピューティングデバイス870のうちの少なくとも1つは、個別にまたは組み合わせとして、本開示の態様に従い産業用機器890のコンディションを監視することができる。この目的で、一部の態様によれば、1つまたは複数のセンサシステム896の複数のセンサデバイスを、コンピューティングデバイス810および/または1つまたは複数のコンピューティングデバイス870のうちの少なくとも1つに、機能的に結合(たとえば通信可能に結合、電気的に結合、かつ/または電気機械的に結合)することができる。具体的には、複数のセンサデバイスのうちの1つまたは複数は、通信リンク876、1つまたは複数のネットワーク880のうちの少なくとも1つ、および通信リンク872により形成された通信経路を介して、コンピューティングデバイス810と通信することができる。同様に、1つまたは複数のセンサデバイスは、通信リンク876、1つまたは複数のネットワーク880のうちの少なくとも1つ、および通信リンク874により形成された別の通信経路を介して、複数のコンピューティングデバイス870のうちの少なくとも1つと通信することができる。
通信リンク876および通信リンク872は、1つまたは複数のセンサシステム896のセンサデバイスとコンピューティングデバイスとの間において、情報(たとえばデータ、メタデータおよび/またはシグナリング)の交換を可能にすることができ、または他の手法で促進することができる。同様に、通信リンク876および通信リンク874は、1つまたは複数のセンサシステム896のセンサデバイスと、1つまたは複数のコンピューティングデバイス870のうちの1つまたは複数との間において、情報(たとえばデータ、メタデータおよび/またはシグナリング)の交換を可能にすることができ、または他の手法で促進することができる。通信リンク876はたとえば、アップストリームリンク(またはアップリンク(UL))およびダウンストリームリンク(またはダウンリンク(DL))を含む。ULおよびDLの各々は、ワイヤレスリンク(たとえば宇宙空間ワイヤレスリンクおよび/または地上ワイヤレスリンク)、有線リンク(たとえば光ファイバライン、同軸ケーブルおよび/またはツイストペアライン)、またはそれらの組み合わせとして具現化可能であり、またはそれらを含むことができる。
本開示の態様によれば、プロセス制御システム120は、産業用機器890によって具現化可能な製造プロセスの実行を自動化することができる。この目的で制御システム120は、1つまたは複数のセンサシステム896のうちの少なくとも1つ、および/または制御デバイス(アクチュエータデバイス、スイッチデバイスなど、図8には示されていない)と、情報を交換することができる。一部の実施形態によれば、通信リンク878、1つまたは複数のネットワーク880のうちの少なくとも1つ、および通信リンク876により形成された通信経路によって、プロセス制御システム120と、産業用機器890における1つまたは複数のセンサシステム896のうちの少なくとも1つまたは他のコンポーネントとの間において、情報(たとえばデータ、メタデータおよび/またはシグナリング)の交換を可能にすることができる。
動作環境800はモニタリングデバイス898も含み、このデバイスは、イメージングデータ、オーディオデータおよび/または他のタイプの周辺データを生成することができる。本開示の態様に従いビデオセグメント、オーディオセグメントおよび/または他のデータ構造のストリームを生成する目的で、かかるデータをタイプにかかわらず、コンピューティングデバイス810および/または1つまたは複数のコンピューティングデバイス870のうちの少なくとも1つに供給(たとえば送信または利用可能に)することができる。モニタリングデバイスを、産業用機器890を収容する領域内の特定の場所に位置決めさせることができる。モニタリングデバイス898を、イメージングデバイス(たとえば可視光カメラ、赤外線センサデバイス、LIDARデバイスなど)、マイクロフォン、知覚デバイスが取り付けられたモバイル無人移動手段(たとえばドローン)、知覚デバイスが取り付けられたモバイルロボット、および/またはかかる領域内で周囲情報(たとえば周囲光強度)を収集可能な他のタイプのデバイス、の組み合わせとして具現化することができ、またはそのような組み合わせを含むことができる。1つの実施形態によれば、モニタリングデバイス898は、カメラ130・・・130を含むことができる。
一部の実施形態によれば、通信リンク897、1つまたは複数のネットワーク880のうちの少なくとも1つ、および通信リンク872によって形成された通信経路によって、複数のモニタリングデバイス898のうちの少なくとも1つとコンピューティングデバイス810との間において、情報(たとえばデータ、メタデータおよび/またはシグナリング)の交換を可能にすることができる。これに加え、または別の実施形態によれば、通信リンク897、1つまたは複数のネットワーク880のうちの少なくとも1つ、および通信リンク874によって形成された第2の通信経路によって、複数のモニタリングデバイス898のうちの少なくとも1つと、1つまたは複数のコンピューティングデバイス870のうちの少なくとも1つとの間において、情報(たとえばデータ、メタデータおよび/またはシグナリング)の交換を可能にすることができる。
本明細書で開示されている他の通信リンクと同様、通信リンク897はたとえば、ULとDLとを含むことができる。ULおよびDLの各々は、ワイヤレスリンク(たとえば宇宙空間ワイヤレスリンクおよび/または地上ワイヤレスリンク)、有線リンク(たとえば光ファイバライン、同軸ケーブルおよび/またはツイストペアライン)、またはそれらの組み合わせとして具現化可能であり、またはそれらを含むことができる。
本開示の様々な実施形態は、完全にまたは部分的にハードウェアによる具現化、完全にまたは部分的にソフトウェアによる具現化、またはソフトウェアとハードウェアとの組み合わせ(たとえばファームウェアによる具現化)の形態をとることができる。さらに本明細書で述べられているように、本開示の様々な実施形態(たとえばシステムおよび方法)は、コンピュータ可読非一時的記憶媒体を含むコンピュータプログラム製品の形態をとることができ、このコンピュータ可読非一時的記憶媒体は、かかる記憶媒体において符号化された、または他の手法で具現化された、コンピュータソフトウェアのようなコンピュータアクセス可能命令(たとえばコンピュータ可読命令および/またはコンピュータ実行可能命令)を有する。本明細書で述べられているオペレーションの動作を実施または可能にするために、これらの命令を、1つまたは複数のプロセッサにより読み出すことができ、または他の手法でアクセスして実行することができる。これらの命令を、ソースコード、コンパイル済みコード、インタプリタで処理したコード、実行可能コード、スタティックコード、ダイナミックコード、アセンブラコード、これらの組み合わせなどのように、任意の適切な形態で提供することができる。コンピュータプログラム製品を形成するために、任意の適切なコンピュータ可読非一時的記憶媒体を使用することができる。たとえばコンピュータ可読媒体は、1つまたは複数のコンピュータまたはこれと機能的に結合された1つまたは複数のプロセッサにより読み出し可能または他の手法でアクセス可能な形態で情報を記憶するために、任意の有形の非一時的媒体を含むことができる。非一時的記憶媒体は、ROM,RAM、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリなどとして具現化可能であり、またはこれらを含むことができる。
動作環境および技術の実施形態のうちの少なくとも一部は、方法、システム、装置およびコンピュータプログラム製品のブロック図およびフローチャート図を参照しながら、本明細書で述べられている。ここで理解できるように、それらのブロック図およびフローチャート図の各ブロック、ならびにブロック図およびフローチャート図におけるブロックの組み合わせをそれぞれ、コンピュータアクセス可能命令によって具現化することができる。いくつかの具現化によれば、フローチャートの1つまたは複数のブロックにおいて指定されたオペレーションまたは機能を、コンピュータまたは処理装置における実行に応答して具現化できるように、特定の機械を作り出す目的で、コンピュータアクセス可能命令を、汎用コンピュータ、特定用途向けコンピュータ、または他のプログラマブル情報処理装置にロードすることができ、または他の手法でそれらに組み込むことができる。
明示的に別段の記載がない限り、本明細書でこれまで呈示してきた何らかのプロトコル、手順、プロセスまたは技術が、その動作またはステップを特定の順序で実施することを要求するものとして解釈されることを、決して意図していない。したがってプロセスまたは方法の請求項に、その動作またはステップが従うべき順序が実際に挙げられていない場合、または本開示の請求項または明細書に、ステップを特定の順序に限定すべきであると別段に具体的に挙げられていない場合、いかなる点においても、順序が推察されることを決して意図していない。このことは、解釈のために考えられるどのような非明示的な根拠についても適用され、これには、ステップまたは動作の流れの取り決めに関するロジックに係わる事項、文法構成または句読点から導出される単純な意味、明細書または添付の図面に記載された実施形態の個数またはタイプなど、が含まれる。
本願で用いられている用語「環境」、「システム」、「エンジン」、「モジュール」、「コンポーネント」、「アーキテクチャ」、「インタフェース」、「ユニット」などは、コンピュータに関連する実体、または1つまたは複数の規定の機能によって動作可能な装置に関連する実体のことを指す。用語「環境」、「システム」、「エンジン」、「モジュール」、「コンポーネント」、「アーキテクチャ」、「インタフェース」および「ユニット」を、互いに入れ替えて用いることができ、これらを機能要素と総称することができる。かかる実体を、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかとすることができる。一例としてモジュールを、プロセッサ上で実行中のプロセス、プロセッサ、オブジェクト、ソフトウェアの実行可能な部分、実行スレッド、プログラム、および/またはコンピューティングデバイスとして具現化することができる。別の例として、コンピューティングデバイス上で実行中のソフトウェアアプリケーションと、このコンピューティングデバイスの双方によって、1つのモジュールを具現化することができる。さらに別の例として、1つまたは複数のモジュールを、プロセスおよび/または実行スレッド内に常駐させることができる。1つのモジュールを、1つのコンピューティングデバイス上に配置することができ、または2つまたはそれよりも多くのコンピューティングデイバス間で分散させることができる。本明細書で開示されているように、1つのモジュールを、様々なデータ構造が記憶されている様々なコンピュータ可読非一時的記憶媒体から実行させることができる。モジュールは、たとえば1つまたは複数のデータパケットを有する信号(アナログまたはデジタルのいずれか)に従い、ローカルプロセスおよび/またはリモートプロセスを介して通信することができる(たとえば、ある1つのコンポーネントからのデータは、ローカルシステム、分散型システムにおける他のコンポーネントと、かつ/またはワイドエリアネットワークのようなネットワークを経由して他のシステムと、上述の信号を介して相互に作用する)。
さらに別の例として、1つのモジュールは、機械的部分によってもたらされる規定の機能を備えた装置として具現化可能であり、またはこの装置を含むことができ、この場合、機械的部分は、プロセッサにより実行されるソフトウェアプリケーションまたはファームウェアアプリケーションにより制御される電気回路または電子回路によって動作させられる。かかるプロセッサを、装置の内部または外部にあるものとすることができ、このプロセッサは、ソフトウェアアプリケーションまたはファームウェアアプリケーションの少なくとも一部分を実行することができる。さらに別の例によれば、1つのモジュールは、機械的部分を備えていない電子的なコンポーネントを通して規定の機能をもたらす装置として具現化可能であり、またはそのような装置を含むことができる。電子コンポーネントは、この電子コンポーネントの機能を少なくとも部分的に可能にする、または他の手法で促進するソフトウェアまたはファームウェアを実行するために、プロセッサを含むことができる。
一部の実施形態によれば、モジュールは、たとえば1つまたは複数のデータパケットを有する信号(アナログまたはデジタルのいずれか)に従い、ローカルプロセスおよび/またはリモートプロセスを介して通信することができる(たとえばあるコンポーネントからのデータは、ローカルシステム、分散型システムにおける他のコンポーネントと、かつ/またはワイドエリアネットワークのようなネットワークを経由して他のシステムと、上述の信号を介して相互に作用し合う)。これに加えて、または他の実施形態によれば、モジュールは、熱的、機械的、電気的、および/または電気機械的な結合メカニズム(たとえば導管、コネクタ、これらの組み合わせなど)を介して、通信することができ、またはそれらのモジュールを他の手法で結合することができる。1つのインタフェースは、入出力(I/O)コンポーネントならびに関連づけられたプロセッサ、アプリケーション、および/または他のプログラミングコンポーネントを含むことができる。
本開示で用いられている用語「プロセッサ」は、任意のタイプの処理回路または処理デバイスのことを指すことができる。1つのプロセッサを、処理回路またはコンピューティング処理ユニット(たとえばCPU,GPUまたは双方の組み合わせなど)の組み合わせとして、具現化することができる。したがって例示の目的で、1つのプロセッサは、シングルコアプロセッサ、ソフトウェアマルチスレッド実行能力のあるシングルコアプロセッサ、マルチコアプロセッサ、ソフトウェアマルチスレッド実行能力のあるマルチコアプロセッサ、ハードウェアマルチスレッドテクノロジーを備えたマルチコアプロセッサ、並列処理(または並列コンピューティング)プラットフォーム、および分散型共有メモリを備えた並列コンピューティングプラットフォーム、のことを指すことができる。
これに加え、または他の例として、1つのプロセッサは、本明細書で述べられている機能を実施するために設計された、または他の手法でコンフィギュレーションされた(たとえば製造された)、集積回路(IC)、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックコントローラ(PLC)、複合プログラマブルロジックデバイス(CPLD)、ディスクリートゲートロジックまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、またはこれらの任意の組み合わせ、のことを指すことができる。
一部の実施形態によれば、空間利用を最適化する目的で、またはシステム、デバイス、または他の電子装備の性能を本開示に従って強化する目的で、プロセッサは、ナノスケールのアーキテクチャを用いることができる。たとえば1つのプロセッサは、分子トランジスタおよび/または量子ドットベースのトランジスタ、スイッチおよびゲートを含むことができる。
さらに、本明細書および添付の図面において、「記憶装置」、「ストレージ」、「データ記憶装置」、「データストレージ」、「メモリ」、「レポジトリ」といった用語、および本開示のコンポーネントのオペレーションおよび機能に関連する実質的に任意の他の情報記憶コンポーネントは、メモリコンポーネント、1つまたは複数のメモリデバイスとして具現化された実体、または1つのメモリデバイスを形成する複数のコンポーネント、のことを指す。なお、ここで述べておくと、本明細書で述べられているメモリコンポーネントまたはメモリデバイスは、コンピューティングデバイスによって読み出し可能または他の手法でアクセス可能な非一時的コンピュータ記憶媒体を具現化し、またはそのような記憶媒体を含む。かかる媒体を、機械アクセス可能命令(たとえばコンピュータ可読命令)、情報構造、プログラムモジュール、または他の情報オブジェクトといった、情報を記憶するための任意の方法またはテクノロジーで具現化することができる。
本明細書で開示されているメモリコンポーネントまたはメモリデバイスを、揮発性メモリまたは不揮発性メモリとして具現化することができ、またはそれらは揮発性メモリと不揮発性メモリの双方を含むことができる。これに加え、メモリコンポーネントまたはメモリデバイスを、リムーバブルまたは非リムーバブルとすることができ、かつ/またはコンピューティングデバイスまたはコンポーネントの内部または外部にあるものとすることができる。様々なタイプの非一時的記憶媒体の例として、ハードディスクドライブ、ジップドライブ、CD-ROM、デジタル多用途ディスク(DVD)、または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、フラッシュメモリカード、または他のタイプのメモリカード、カートリッジ、または所望の情報を保持するのに適しておりコンピューティングデバイスによりアクセス可能な他の任意の非一時的媒体、を挙げることができる。
例示として、不揮発性メモリは、リードオンリメモリ(ROM)、プログラマブルROM(PROM)、電気的プログラマブルROM(EPROM)、電気的に消去可能なプログラマブルROM(EEPROM)またはフラッシュメモリ、を含むことができる。揮発性メモリは、外部キャッシュメモリとして動作するランダムアクセスメモリ(RAM)を含むことができる。限定ではなく例示として、RAMは、シンクロナスRAM(SRAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、ダブルデータレートSDRAM(DDR SDRAM)、エンハンスドSDRAM(ESDRAM)、シンクリンクDRAM(SLDRAM)、およびダイレクトラムバスRAM(DRRAM)、といった多くの形態で入手可能である。本明細書で述べられている動作環境または計算環境における開示されたメモリデバイスまたはメモリは、これらのRAMおよび/または他の適切なタイプのメモリのうちの1つまたは複数を含むことが意図されたものである。
条件付きの語法、中でも「できる」、「できるであろう」、「してもよい」または「してもかまわない」などは、別段に特記しない限りにおいては、または使用されているコンテキストにおいて別の意味に解されない限りにおいては、通常、特定の具現化が特定の特徴、要素および/またはオペレーションを、他の具現はそれらを含まないけれども、含むことができる、ということを伝えようと意図したものである。よって、このような条件付きの語法は通常、特徴、要素および/またはオペレーションが、1つまたは複数の具現化にとってどのようなかたちであれ必須である、ということを示唆しようと意図したものではないし、あるいはこれらの特徴、要素、および/またはオペレーションが何らかの特定の具現化に含まれるのか否か、または実行されるべきであるのか否か、について判断するための論理が、ユーザが入力したり促したりしようがしまいが、1つまたは複数の具現化には必ず含まれている、ということを示唆しようと意図したものではない。
図中のフローチャートおよびブロック図は、本開示の様々な実施形態によるシステム、方法およびコンピュータプログラム製品の例の可能な具現化のアーキテクチャ、機能およびオペレーションを示したものである。この点に関して、フローチャートまたはブロック図における各ブロックは、モジュール、セグメント、または特定のオペレーションを具現化するための1つまたは複数の機械実行可能命令またはコンピュータ実行可能命令を含む複数の命令から成る部分、を表現することができる。なお、ここで述べておくと、ブロック図および/またはフローチャート図の各ブロックを、ならびにブロック図および/またはフローチャート図におけるブロックの組み合わせを、特定の機能またはオペレーションを実施する、または専用ハードウェアとコンピュータの命令との組み合わせを実行する、専用ハードウェアベースのシステムによって具現化することができる。
本明細書で述べられているコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から個々のコンピューティング/処理デバイスにダウンロード可能であり、あるいはネットワークたとえばインターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび/またはワイヤレスネットワークを介して、外部のコンピュータまたは外部の記憶デバイスにダウンロード可能である。ネットワークは、銅製の伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび/またはエッジサーバを含むことができる。各々のコンピューティング/処理デバイスにおけるネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、それらのコンピュータ可読プログラム命令を、個々のコンピューティング/処理デバイス内のコンピュータ可読非一時的記憶媒体に記憶させるために転送する。
本明細書および添付の図面においてこれまで述べてきたことは、産業用機器において製造される製品の部品のトラッキングおよびトレーサビリティを個別におよび組み合わせとして可能にするシステム、デバイス、技術およびコンピュータプログラム製品の例を含む。当然ながら、本開示の様々な要素を説明する目的で、コンポーネントおよび/または方法の考えられるすべての組み合わせを記述するのは不可能であるけれども、開示された要素の多くのさらなる組み合わせおよび入れ替えが可能であることを、はっきりと理解することができる。したがって自明のとおり、本開示の範囲または着想から逸脱することなく、本開示に対し様々な変更を加えることができる。これに加えて、または別の選択肢として、明細書および添付の図面の考察から、さらには本明細書で呈示された本開示の実際の運用から、本開示のさらに別の実施形態が明らかになる場合もある。本明細書および添付の図面において呈示された例は、あらゆる点において例示としてみなされることを意図しており、限定を意図したものではない。本明細書では特定の用語が採用されているけれども、それらの用語は一般的な意味で説明の都合上用いられたにすぎず、限定の目的で用いられたわけではない。

Claims (14)

  1. コンピュータにより実施される方法であって、当該方法は、
    製品を形成するための製造プロセスの個々の部分に関するビデオセグメントコレクションを表すイメージング情報を、少なくとも1つのプロセッサを含むコンピューティングシステムにより受け取ること、
    前記コンピューティングシステムにより、前記製造プロセスの開始時点に対し相対的に、前記ビデオセグメントコレクションを同期させること、
    前記コンピューティングシステムにより、少なくとも前記製造プロセスを用い、同期された前記ビデオセグメントコレクションを解析することによって、一群の観測を生成すること、
    前記コンピューティングシステムにより、少なくとも前記一群の観測に基づく確率的信号時相論理と前記製造プロセスに対応する組み立てルールとを用いて、一群のアサーションを生成すること、および
    前記コンピューティングシステムにより、少なくとも前記一群の観測と前記一群のアサーションとを用いて、前記製品に関するデジタルトレースレコードを生成すること
    を含
    前記一群のアサーションを生成することは、
    前記コンピューティングシステムにより、前記製造プロセスの1つのジョブへの個々の投入部品に関する一群の第1の観測を表す第1のデータを受け取ること、
    前記コンピューティングシステムにより、前記ジョブからの産出組み立て品に関する一群の第2の観測を表す第2のデータを受け取ること、および
    前記組み立てルールのうち第1の組み立てルールを、前記第1のデータおよび前記第2のデータに適用すること、
    を含み、
    前記方法はさらに、信号時相論理を用い前記一群のアサーションのうち第1のアサーションを生成することを含み、
    前記第1のアサーションは、前記産出組み立て品が規定の確率で前記投入部品から形成されている、というステートメントを含む、
    コンピュータにより実施される方法。
  2. 当該方法はさらに、前記デジタルトレースレコードを、少なくとも1つの第2のプロセッサを有する第2のコンピューティングシステムに供給することを含み、
    前記第2のコンピューティングシステムは、製造実行システム(MES)または製造ライフサイクルマネージメント(PLM)システムのうちの1つに含まれている、
    請求項1記載のコンピュータにより実施される方法。
  3. 前記受け取ることは、前記製造プロセスの1つのジョブを実施する機械付近の規定の場所に位置決めされたイメージングセンサデバイスから、前記イメージング情報の第1の部分を受け取ることを含み、
    前記イメージングセンサデバイスは、カメラ、赤外線電磁放射光検出器デバイス、または光による検出と測距(LIDAR)センサデバイスのうちの1つを含む、
    請求項1または2記載のコンピュータにより実施される方法。
  4. 前記一群の観測を生成することは、前記ビデオセグメントコレクションの第1のビデオセグメントの1つのイメージフレームにおいて規定の特徴を識別することを含む、請求項1から3までのいずれか1項記載のコンピュータにより実施される方法。
  5. 前記規定の特徴は、1つの組み立て品を構成する規定の部品または前記組み立て品のうちの1つに対応し、
    前記識別することは、前記規定の部品または前記組み立て品のうちの1つを識別するマシンビジョン技術を実施することを含む、
    請求項4記載のコンピュータにより実施される方法。
  6. 少なくとも1つの処理回路により読み出し可能な少なくとも1つの非一時的記憶媒体を含む、コンピュータプログラム製品であって、
    前記非一時的記憶媒体には、オペレーションを実施するために、または促進するために、前記少なくとも1つの処理回路によって実行可能な命令が符号化され、前記オペレーションは、
    製品を形成するための製造プロセスの個々の部分に関するビデオセグメントコレクションを表すイメージング情報を受け取ること、
    前記製造プロセスの開始時点に対し相対的に、前記ビデオセグメントコレクションを同期させること、
    少なくとも前記製造プロセスを用い、同期された前記ビデオセグメントコレクションを解析することによって、一群の観測を生成すること、
    少なくとも前記一群の観測に基づく確率的信号時相論理と前記製造プロセスに対応する組み立てルールとを用いて、一群のアサーションを生成すること、および
    少なくとも前記一群の観測と前記一群のアサーションとを用いて、前記製品に関するデジタルトレースレコードを生成すること
    を含
    前記一群のアサーションを生成することは、
    前記製造プロセスの1つのジョブへの個々の投入部品に関する一群の第1の観測を表す第1のデータを受け取ること、
    前記ジョブからの産出組み立て品に関する一群の第2の観測を表す第2のデータを受け取ること、および
    前記組み立てルールのうち第1の組み立てルールを、前記第1のデータおよび前記第2のデータに適用すること、
    を含み、
    前記オペレーションはさらに、信号時相論理を用い前記一群のアサーションのうち第1のアサーションを生成することを含み、
    前記第1のアサーションは、前記産出組み立て品が規定の確率で前記投入部品から形成されている、というステートメントを含む、
    コンピュータプログラム製品。
  7. 前記オペレーションはさらに、前記デジタルトレースレコードを、少なくとも1つの第2のプロセッサを有する第2のコンピューティングシステムに供給することを含み、
    前記第2のコンピューティングシステムは、製造実行システム(MES)または製造ライフサイクルマネージメント(PLM)システムのうちの1つに含まれている、
    請求項記載のコンピュータプログラム製品。
  8. 前記受け取ることは、前記製造プロセスの1つのジョブを実施する機械付近の規定の場所に位置決めされたイメージングセンサデバイスから、前記イメージング情報の第1の部分を受け取ることを含み、
    前記イメージングセンサデバイスは、カメラ、赤外線電磁放射光検出器デバイス、または光による検出と測距(LIDAR)センサデバイスのうちの1つを含む、
    請求項または記載のコンピュータプログラム製品。
  9. 前記一群の観測を生成することは、前記ビデオセグメントコレクションの第1のビデオセグメントの1つのイメージフレームにおいて規定の特徴を識別することを含む、請求項からまでのいずれか1項記載のコンピュータプログラム製品。
  10. 前記規定の特徴は、1つの組み立て品を構成する1つの規定の部品または前記組み立て品のうちの1つに対応し、
    前記識別することは、前記規定の部品または前記組み立て品のうちの1つを識別するマシンビジョン技術を実施することを含む、
    請求項記載のコンピュータプログラム製品。
  11. コンピュータ実行可能命令が記憶された少なくとも1つのメモリデバイスと、
    前記少なくとも1つのメモリデバイスにアクセスするように構成された少なくとも1つのプロセッサと
    を含むシステムであって、
    前記少なくとも1つのプロセッサはさらに、前記コンピュータ実行可能命令を実行して、
    製品を形成するための製造プロセスの個々の部分に関するビデオセグメントコレクションを表すイメージング情報を含むモニタリング情報を受け取り、
    前記製造プロセスの開始時点に対し相対的に、少なくとも前記ビデオセグメントコレクションを同期させ、
    少なくとも前記製造プロセスを用い、少なくとも、同期された前記ビデオセグメントコレクションを解析することによって、一群の観測を生成し、
    少なくとも前記一群の観測に基づく確率的信号時相論理と前記製造プロセスに対応する組み立てルールとを用いて、一群のアサーションを生成し、さらに
    少なくとも前記一群の観測と前記一群のアサーションとを用いて、前記製品に関するデジタルトレースレコードを生成する
    ように構成され、
    前記一群のアサーションを生成するために、前記少なくとも1つのプロセッサはさらに、前記コンピュータ実行可能命令を実行して、
    前記製造プロセスの1つのジョブへの個々の投入部品に関する一群の第1の観測を表す第1のデータを受け取り、
    前記ジョブからの産出組み立て品に関する一群の第2の観測を表す第2のデータを受け取り、
    前記組み立てルールのうち第1の組み立てルールを、前記第1のデータおよび前記第2のデータに適用する、
    ように構成され、
    前記少なくとも1つのプロセッサはさらに、前記コンピュータ実行可能命令を実行して、信号時相論理を用い前記一群のアサーションのうち第1のアサーションを生成するように構成されており、
    前記第1のアサーションは、前記産出組み立て品が規定の確率で前記投入部品から形成されている、というステートメントを含む、
    システム。
  12. 前記少なくとも1つのプロセッサはさらに、前記コンピュータ実行可能命令を実行して、前記デジタルトレースレコードを、少なくとも1つの第2のプロセッサを有する第2のコンピューティングシステムに供給するように構成されており、
    前記第2のコンピューティングシステムは、製造実行システム(MES)または製造ライフサイクルマネージメント(PLM)システムのうちの1つに含まれている、
    請求項11記載のシステム。
  13. 前記モニタリング情報を受け取るために、前記少なくとも1つのプロセッサはさらに、前記コンピュータ実行可能命令を実行して、前記製造プロセスの1つのジョブを実施する機械付近の規定の場所に位置決めされた第1のイメージングセンサデバイス、またはモバイル無人ロボットに取り付けられた第2のイメージングセンサデバイスのうちの少なくとも1つから、前記イメージング情報の第1の部分を受け取るように構成されており、
    前記イメージングセンサデバイスは、カメラ、赤外線電磁放射光検出器デバイス、または光による検出と測距(LIDAR)センサデバイスのうちの1つを含む、
    請求項11または12記載のシステム。
  14. 前記一群の観測を生成するために、前記少なくとも1つのプロセッサはさらに、前記コンピュータ実行可能命令を実行して、前記ビデオセグメントコレクションの第1のビデオセグメントの1つのイメージフレームにおいて規定の特徴を識別するように構成されている、請求項11から13までのいずれか1項記載のシステム。
JP2019162937A 2018-09-10 2019-09-06 1つの製品における部品のトラッキングおよびトレーサビリティのための方法、コンピュータプログラム製品及びシステム Active JP7060558B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/126,292 2018-09-10
US16/126,292 US10699419B2 (en) 2018-09-10 2018-09-10 Tracking and traceability of parts of a product

Publications (2)

Publication Number Publication Date
JP2020042814A JP2020042814A (ja) 2020-03-19
JP7060558B2 true JP7060558B2 (ja) 2022-04-26

Family

ID=67902418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019162937A Active JP7060558B2 (ja) 2018-09-10 2019-09-06 1つの製品における部品のトラッキングおよびトレーサビリティのための方法、コンピュータプログラム製品及びシステム

Country Status (4)

Country Link
US (1) US10699419B2 (ja)
EP (1) EP3620973B1 (ja)
JP (1) JP7060558B2 (ja)
CN (1) CN110889707B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832497B (zh) * 2017-10-17 2018-08-28 广东工业大学 一种智能车间快速定制设计方法及系统
US11694120B2 (en) * 2019-09-24 2023-07-04 Hrl Laboratories, Llc Generation and usage of semantic features for detection and correction of perception errors
US11854252B1 (en) 2019-09-24 2023-12-26 Hrl Laboratories, Llc Automated probabilistic axiom generation and incremental updates
US11941870B1 (en) 2019-09-24 2024-03-26 Hrl Laboratories, Llc System for action recognition error detection and correction using probabilistic signal temporal logic
WO2021061875A1 (en) * 2019-09-24 2021-04-01 Hrl Laboratories, Llc System and method of perception error evaluation and correction by solving optimization problems under the probabilistic signal temporal logic based constraints
CN111413887B (zh) * 2020-03-17 2021-06-01 浙江大学 一种复杂产品装配生产线数字孪生系统
CN111640138B (zh) * 2020-05-28 2023-10-27 济南博观智能科技有限公司 一种目标跟踪方法、装置、设备及存储介质
WO2021250679A1 (en) * 2020-06-13 2021-12-16 Cybord Ltd System and method for tracing components of electronic assembly
US11854187B2 (en) 2020-10-13 2023-12-26 Mitsubishi Electric Corporation Model generation device, abnormality determination device, abnormality determination system, model generation method, and recording medium
CN112200491B (zh) * 2020-10-30 2024-04-16 傲林科技有限公司 一种数字孪生模型构建方法、装置及存储介质
CN112766988B (zh) * 2021-01-28 2024-04-16 中国科学院空天信息创新研究院 基于北斗时空基准的农产品溯源码编制系统
CN112766987B (zh) * 2021-01-28 2024-04-16 中国科学院空天信息创新研究院 一种基于北斗基准的农产品溯源码编制方法
CN113111201B (zh) * 2021-04-19 2022-02-11 北京航空航天大学 一种数字孪生模型轻量化方法和系统
JP7457063B2 (ja) 2022-07-07 2024-03-27 株式会社日立製作所 デジタルツイン連携方法、デジタルツイン連携システム、及びデジタルツイン連携プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013542477A (ja) 2010-08-16 2013-11-21 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 光学的警報認識のための方法および装置
JP2017183390A (ja) 2016-03-29 2017-10-05 日本電気株式会社 識別装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467184B (zh) * 2006-04-13 2013-03-13 Igt公司 用于在游戏设备上集成远程主机和本地显示内容的方法和装置
WO2011146391A2 (en) * 2010-05-16 2011-11-24 Access Business Group International Llc Data collection, tracking, and analysis for multiple media including impact analysis and influence tracking
US20120062725A1 (en) * 2010-09-10 2012-03-15 Gm Global Technology Operations, Inc. System for error-proofing manual assembly operations using machine vision
US20120227027A1 (en) * 2011-03-03 2012-09-06 Naoufel Boulila Method, apparatus and computer program product for generating system specifications
US20150092040A1 (en) * 2013-10-01 2015-04-02 Broadcom Corporation Gesture-Based Industrial Monitoring
US10169433B2 (en) * 2014-07-29 2019-01-01 Microsoft Technology Licensing, Llc Systems and methods for an SQL-driven distributed operating system
US9727394B2 (en) * 2015-04-27 2017-08-08 Microsoft Technology Licensing, Llc Establishing causality order of computer trace records
JP6540472B2 (ja) 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6461435B1 (ja) * 2015-12-10 2019-01-30 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft ヒストリアンと統合された分散組み込みデータおよび知識管理システム
US10457344B2 (en) * 2016-12-23 2019-10-29 Ford Motor Company Closure member and body opening alignment verification system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013542477A (ja) 2010-08-16 2013-11-21 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 光学的警報認識のための方法および装置
JP2017183390A (ja) 2016-03-29 2017-10-05 日本電気株式会社 識別装置

Also Published As

Publication number Publication date
CN110889707A (zh) 2020-03-17
JP2020042814A (ja) 2020-03-19
US10699419B2 (en) 2020-06-30
EP3620973B1 (en) 2023-10-25
CN110889707B (zh) 2023-11-28
US20200082546A1 (en) 2020-03-12
EP3620973C0 (en) 2023-10-25
EP3620973A1 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
JP7060558B2 (ja) 1つの製品における部品のトラッキングおよびトレーサビリティのための方法、コンピュータプログラム製品及びシステム
CN111562769B (zh) 用于工业数字孪生的ai扩展和智能模型验证
US20210248289A1 (en) Digital platform using cyber-physical twin structures providing an evolving digital representation of a risk-related real world asset for quantifying risk measurements, and method thereof
Lade et al. Manufacturing analytics and industrial internet of things
US10809692B2 (en) Control contextualization and reasoning about control
EP3335083B1 (en) Rich contextualization of automation data
CN106354082B (zh) 一种基于知识的可编程逻辑控制器
JP6551565B2 (ja) 工程解析装置、工程解析方法、及び工程解析プログラム
Merdan et al. Knowledge-based cyber-physical systems for assembly automation
CN112016585A (zh) 用于将机器学习和大众外包数据标注进行集成的系统和方法
Fleischmann et al. Distributed condition monitoring systems in electric drives manufacturing
US20220365518A1 (en) Development of a product using a process control plan digital twin
Sayed et al. Distributed Bayesian diagnosis for modular assembly systems—A case study
Losev et al. Infographic oriented management model of cyber-physical systems during a building life cycle
Drossel et al. Cyber-Physical Systems: Research for the digital factory
Yitmen et al. Knowledge Graph-based Approach for Adopting Cognitive Digital Twins in Shop-floor of Modular Production
Rill et al. Cognitive modeling approach for dealing with challenges in cyber-physical systems
Dowdeswell Diagnostic Belief-Desire-Intention Agents for Distributed IEC 61499 Fault Diagnosis
Gandouzi et al. Recent Development Techniques on Digital Twins for Manufacturing: State of the Art
Walunj et al. Full Paper: Ontology-Based Digital Twin Framework for Smart Factories
Latsou et al. A unified framework for digital twin development in manufacturing
Mourtzis Check for Adaptive Control of 3D Printer Based on Digital Twin Concept Dimitris Mourtzis), Antonis Varsamis, Stelios Zygomalas, and John Angelopoulos
Lisitsyn et al. Cyber-physical systems in food production chain
Cabri et al. Exploitation of Digital Twins in Smart Manufacturing
Xia Simulation-Based and Data-Driven Approaches to Industrial Digital Twinning Towards Autonomous Smart Manufacturing Systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220414

R150 Certificate of patent or registration of utility model

Ref document number: 7060558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150