JP7272128B2 - 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 - Google Patents
情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 Download PDFInfo
- Publication number
- JP7272128B2 JP7272128B2 JP2019111038A JP2019111038A JP7272128B2 JP 7272128 B2 JP7272128 B2 JP 7272128B2 JP 2019111038 A JP2019111038 A JP 2019111038A JP 2019111038 A JP2019111038 A JP 2019111038A JP 7272128 B2 JP7272128 B2 JP 7272128B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- worker
- information processing
- unit
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 144
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims description 325
- 230000008569 process Effects 0.000 claims description 312
- 238000012544 monitoring process Methods 0.000 claims description 121
- 238000003384 imaging method Methods 0.000 claims description 94
- 238000004458 analytical method Methods 0.000 claims description 38
- 238000010191 image analysis Methods 0.000 claims description 28
- 230000009471 action Effects 0.000 description 125
- 230000033001 locomotion Effects 0.000 description 35
- 238000003860 storage Methods 0.000 description 19
- 238000007689 inspection Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31449—Monitor workflow, to optimize business, industrial processes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31467—Display of operating conditions of machines, workcells, selected programs
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32015—Optimize, process management, optimize production line
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図1から図9に基づいて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。本実施の形態においては、例えば情報処理装置10を情報処理装置の典型例として説明を行う。本発明の一態様に係る情報処理装置10についての理解を容易にするため、先ず、情報処理装置10を含む制御システム1等の概要を、図2を用いて説明する。以下の説明において、「n」は「1以上の整数」を示し、「m」は「1以上、n以下の整数」を示すものとする。
(作業現場および作業工程について)
図2は、情報処理装置10を含む制御システム1等の全体概要を示す図である。図2に示す天井カメラ30は、作業現場WSの天井に設置され、作業現場WSの全体を撮像した撮像データである基礎撮像データBIを生成する。
作業現場WSは、複数の監視領域Ar(1)、Ar(2)、Ar(3)、・・・Ar(n)を含む。複数の監視領域Ar(1)、Ar(2)、Ar(3)、・・・Ar(n)の各々は、複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々に対応付けられている。すなわち、監視領域Ar(m)は、作業工程Pr(m)の実施に係る作業Op(m)を、作業者Peが行う領域であり、例えば、機器40(m)が配置されている領域である。例えば、作業者Peは、監視領域Ar(m)において、作業工程Pr(m)に係る作業Op(m)を、機器40(m)を用いて行う。
作業現場WSの天井には、広域撮像カメラである天井カメラ30が1台、設置される。ただし、天井カメラ30が作業現場WSの天井に設置されることは必須ではなく、天井カメラ30は、作業現場WSの全体を俯瞰できる位置に設置されればよい。天井カメラ30は、作業現場WSの全体を俯瞰し、作業現場WSの全体を撮像した撮像データである基礎撮像データBIを生成する。基礎撮像データBIには、各々が複数の監視領域Ar(1)、Ar(2)、Ar(3)、・・・Ar(n)に対応する複数の解析対象領域Aa(1)、Aa(2)、Aa(3)、・・・Aa(n)が予め設定されている。
複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々の実施に際しては、作業者Peによって、複数の作業Op(1)、Op(2)、Op(3)、・・・Op(n)の各々が行われる。複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々には、複数の標準的な作業Op(1)、Op(2)、Op(3)、・・・Op(n)の各々が、予め対応付けられている。ただし、作業者Peによって行われる作業Opの中には、「作業工程Prに予め対応付けられた標準的な作業Op」以外の作業Opもあり得、つまり、作業工程Prに予め対応付けることのできない、非標準的な作業Opもあり得る。複数の作業Opの各々を区別する必要がある場合には、符号に「(1)」、「(2)」、「(3)」、・・・、「(n)」等の添え字を付して区別し、特に区別する必要がない場合は単に「作業Op」と称する。
複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々の実施に際しては、機器40によって、複数の動作Ac(1)、Ac(2)、Ac(3)、・・・Ac(n)の各々が実行される。つまり、複数の作業工程Pr(1)、Pr(2)、Pr(3)、・・・Pr(n)の各々には、複数の動作Ac(1)、Ac(2)、Ac(3)、・・・Ac(n)の各々が対応付けられている。複数の動作Acの各々を区別する必要がある場合には、符号に「(1)」、「(2)」、「(3)」、・・・、「(n)」等の添え字を付して区別し、特に区別する必要がない場合は単に「動作Ac」と称する。
作業現場WSにおいて複数の作業工程Prを実施するのに用いられる複数の機器40は、ラインコントローラとしてのPLC(Programmable Logic Controller)20により制御される。すなわち、PLC20をマスタとし、複数の機器40の各々をスレーブとするマスタスレーブ制御システムとしての制御システム1が構築され、複数の機器40の各々はネットワーク(制御ネットワーク50)を介してPLC20に通信可能に接続されている。PLC20は、制御ネットワーク50を介したデータ伝送を管理しているという意味で「マスタ」と呼ばれる。「マスタ」および「スレーブ」は、制御ネットワーク50上のデータ伝送の制御機能に着目して定義されるものであり、各装置間でどのような情報が送受信されるかについては、特に限定されない。
機器40をスレーブとするマスタスレーブ制御システムである制御システム1において、マスタであるPLC20は、例えば所定の制御周期ごとに繰り返し、スレーブである機器40から、機器40の実行した動作Acの内容および結果を示す動作結果Laを受信する。すなわち、機器40は、作業工程Prの実施に際して実際に実行した動作Acの内容および結果を示す動作結果Laを、所定の周期で繰り返し、PLC20へと送信する。例えば、機器40(m)は、作業工程Pr(m)の実施の際に実行した動作Ac(m)の内容および結果を示す動作結果La(m)を、制御周期で繰り返し、PLC20へと送信する。
図2に示すように、マスタスレーブ制御システムとしての制御システム1には、社内LANシステムが接続されていてもよい。社内LANは、MESとも称される工程情報DB(Database)等に接続している。工程情報DBには、「作業工程Prの実施に用いられる機器40が実行すべき標準的な動作」を示す情報が格納されている。
これまで、図2および図3を用いて、制御システム1等の概要を説明してきた。図1等を用いて情報処理装置10の詳細を説明していく前に、情報処理装置10についての理解を容易にするため、情報処理装置10の概要を以下のように整理しておく。
図1は、制御システム1に含まれる、情報処理装置10等の要部構成を示すブロック図である。図1に示すように、情報処理装置10は、機能ブロックとして、第1取得部110と、作業者判定部120と、記憶部130と、第2取得部140と、機器判定部150と、生成部160と、表示制御部170と、推定部180と、領域設定部190とを備えている。情報処理装置10は、上述の各機能ブロックに加えて、基礎撮像データBIから抽出した部分撮像データODを、制御システム1の外部(例えば、図2に示す動画保存サーバ等)に送信する送信部などを備えていてもよい。しかしながら、記載の簡潔性を担保するため、本実施の形態に直接関係のない構成は、説明およびブロック図から省略している。ただし、実施の実情に則して、情報処理装置10は、当該省略された構成を備えてもよい。
図4は、情報処理装置10が実行する処理の概要を示すフロー図である。第2取得部140は、PLC20から、「作業工程Prの実施に際して機器40が実際に実行した動作Acの内容および結果を示す」動作結果Laを含む、工程情報を取得する(S110)。
これまでに図4を参照しながら説明してきた情報処理装置10が実行する処理(言い換えれば、情報処理装置10が実行する制御方法)は、以下のように整理することができる。すなわち、情報処理装置10が実行する処理(制御方法)は、各々が複数の作業工程Prの各々に対応付けられている、複数の監視領域Arを含む作業現場WS全体を、1台の天井カメラ30(広域撮像カメラ)で撮像した基礎撮像データBIを取得する第1取得ステップ(S140)と、第1取得ステップにて取得された基礎撮像データBIに対する画像解析により、複数の監視領域Arの各々について、作業者Peが存在しているかを判定する作業者判定ステップ(S170)と、複数の作業工程Prの各々の実施に用いられる機器40が実行した動作Acの内容および結果を示す動作結果Laから生成された工程情報を取得する第2取得ステップ(S110)と、第2取得ステップにて取得された工程情報を用いて、機器40が動作しているかを判定する機器判定ステップ(S130)と、複数の作業工程Prの各々について、(A)機器判定ステップにて、作業工程Prの実施に用いられる機器40が動作していると判定された時間帯(動作期間Da)と、(B)作業者判定ステップにて、作業工程Prに対応付けられている監視領域Arに作業者Peが存在していると判定された時間帯(滞在期間Do)と、を対応付けたデータ(対応付け情報Mi)を生成する生成ステップ(S180)と、含んでいる。
前述の通り、作業者判定部120は、解析対象領域Aaに対する画像解析によって、それ以前には作業者Peが存在していないと判定していた監視領域Arについて、作業者Peが存在すると判定するようになった時点を、滞在開始時点Tosとして特定する。また、作業者判定部120は、解析対象領域Aaに対する画像解析によって、それ以前には作業者Peが存在していると判定していた監視領域Arについて、作業者Peが存在していないと判定するようになった時点を、滞在終了時点Toeとして特定する。
前述の通り、推定部180は、生成部160の生成した、作業工程Prごとの対応付け情報Miを用いて、「滞在期間Doにおいて作業者Peが行った作業Op」の作業内容を推定し、「標準的な作業(標準作業)」であるかを判定する。特に、推定部180は、機器判定部150の生成した、「動作Ac(m)が『自動化された動作』であるか否か」の判定結果を用いて、「滞在期間Do(m)において作業者Peが行った作業Op(m)」の作業内容を推定し、「標準的な作業(標準作業)」であるかを判定する。
「作業工程Pr(m)の実施に用いられる機器40(m)」が動作Ac(m)の実行を開始する前には、機器40(m)に動作Ac(m)を開始させるための、作業者Peによる機器40(m)への開始指示作業等が必要となるのが一般的である。つまり、機器40(m)が動作Ac(m)の実行を開始する動作開始時刻Tms(m)において、一般的には、作業工程Pr(m)に対応付けられている監視領域Ar(m)に作業者Peが存在している必要がある。
「作業工程Pr(m)の実施に用いられる機器40(m)」が動作Ac(m)の実行を完了した後には、機器40(m)に動作Ac(m)を完了させるための、作業者Peによる機器40(m)への完了指示作業等が必要となるのが一般的である。つまり、機器40(m)が動作Ac(m)の実行を完了する動作完了時刻Tme(m)において、一般的には、作業工程Pr(m)に対応付けられている監視領域Ar(m)に作業者Peが存在している必要がある。
「作業工程Pr(m)の実施に用いられる機器40(m)」が動作Ac(m)の「p」回目の実行を完了した後、「p+1」回目の実行を開始する前までの間に、作業者Peが以下のように行動することが考えられる。すなわち、作業者Peが、監視領域Ar(m)に立ち寄り、「p+1」回目の実行開始のための段取り作業等を行い、その作業後に監視領域Ar(m)から一旦離れた後、暫くして監視領域Ar(m)に戻って、「p+1」回目の実行を開始させることが考えられる。
推定部180は、「作業工程Pr(m)の実施に用いられる機器40(m)」が動作Ac(m)の実行中に、監視領域Ar(m)に存在した作業者Peの行った作業Op(m)について、その作業内容を推定し、標準作業であるか否かを判定する。特に、推定部180は、機器判定部150から通知された、「動作Ac(m)が『自動化された動作』であるか否か」の判定結果を用いて、「動作Ac(m)の動作期間Da(m)中に、監視領域Ar(m)に存在した」作業者Peの作業Op(m)の作業内容を推定し、標準作業であるか否かを判定する。
先ず、推定部180は、「作業工程Pr(m)の実施に際して機器40(m)が実行した動作Ac(m)が、『自動化された動作』であるか否か」の判定結果を、機器判定部150から取得する。
推定部180は、作業工程Pr(m)の実施に際して機器40(m)が実行した動作Ac(m)が、「自動化された動作」であると、動作期間Da(m)と滞在期間Do(m)とが所定の時間以上重複していないかを確認する。
推定部180は、作業工程Pr(m)の実施に際して機器40(m)が実行した動作Ac(m)が、「自動化されていない動作」であると、動作Ac(m)の動作期間Da(m)が常に滞在期間Do(m)と重複しているかを確認する。
これまでに説明してきたように、推定部180は、作業工程Pr(m)の対応付け情報Mi(m)を用いて、「滞在期間Do(m)において作業者Peがどのような作業Op(m)を実行したか」を推定する。そして、推定部180は、推定した作業Op(m)が、作業工程Pr(m)の実施に際して行う標準的な作業(標準作業)であるか否かを判定する。
図5は、作業者判定部120が、基礎撮像データBIを用いて、作業者Peと監視領域Arとを特定する方法を示す図である。図5に示すように、作業者判定部120は、基礎撮像データBIに対する画像解析によって、複数の作業工程Prの各々に対応する、複数の監視領域Arの各々について、作業者Peが存在しているかを判定する。そして、作業者Peが存在していると判定した監視領域Arについて、その監視領域Arに存在する作業者Peの作業者IDを特定する。
(情報処理装置とPLCとを一体とする)
これまで、図2に示すように、情報処理装置10とPLC20とが、制御ネットワーク50を介して、相互に通信可能に接続されている例を説明してきた。しかしながら、情報処理装置10とPLC20とを制御ネットワーク50を介して接続することは必須ではない。
これまでの説明においては、工程情報に含まれる動作結果La(特に、動作Ac)に対する機器判定処理は、PLC20から工程情報を受信した情報処理装置10が実施していた。すなわち、これまでに説明してきた例では、情報処理装置10の備える機器判定部150が、動作結果Laから、動作Acの動作開始時刻Tms、動作完了時刻Tme、動作期間Daの算出、および、動作Acが「自動化された動作」であるか否かの判定を実行した。
情報処理装置10の機能ブロック(具体的には、第1取得部110、作業者判定部120、第2取得部140、機器判定部150、生成部160、表示制御部170、推定部180、および、領域設定部190)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(CenTral Processing Unit)を用いてソフトウェアによって実現してもよい。
30 天井カメラ(広域撮像カメラ)
40 機器(機器、スレーブ)
110 第1取得部
120 作業者判定部
140 第2取得部
150 機器判定部
160 生成部
170 表示制御部
180 推定部
190 領域設定部
Aa 解析対象領域
Ac 動作
Ar 監視領域
BI 基礎撮像データ(基礎データ)
Da 動作期間(機器が動作していると判定された時間帯)
Do 滞在期間(作業者が存在していると判定された時間帯)
La 動作結果
Mi 対応付け情報
Pr 作業工程
S140 第1取得ステップ
S170 作業者判定ステップ
S110 第2取得ステップ
S130 機器判定ステップ
S180 生成ステップ
Claims (7)
- 各々が複数の作業工程の各々に対応付けられている、複数の監視領域を含む作業現場全体を、1台の広域撮像カメラで撮像した撮像データを取得する第1取得部と、
前記第1取得部により取得された前記撮像データに対する画像解析により、前記複数の監視領域の各々について、作業者が存在しているかを判定する作業者判定部と、
前記複数の作業工程の各々の実施に用いられる機器が実行した動作の内容および結果を示す動作結果から生成された工程情報を、複数の前記機器を制御する制御装置から取得する第2取得部と、
前記第2取得部により取得された前記工程情報を用いて、前記機器が動作しているかを判定する機器判定部と、
前記複数の作業工程の各々について、(A)前記機器判定部により、前記作業工程の実施に用いられた前記機器が動作していると判定された時間帯と、(B)前記作業者判定部により、前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯と、を対応付けたデータを生成する生成部と、
を備える情報処理装置。 - 前記作業者判定部により前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯において、前記作業者が行った作業の内容を、前記作業工程の実施に用いられた前記機器の動作結果を用いて、推定する推定部をさらに備える請求項1に記載の情報処理装置。
- 前記機器判定部により前記作業工程の実施に用いられた前記機器が動作していると判定された時間帯を示すガントチャートと、前記作業者判定部により前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯を示すガントチャートと、を並列させて表示可能なデータを生成する表示制御部をさらに備える
請求項1または2に記載の情報処理装置。 - 前記撮像データに対して、前記監視領域を撮像した領域として画像解析の対象とする解析対象領域を、ユーザ操作に応じて設定する領域設定部をさらに備える
請求項1から3のいずれか1項に記載の情報処理装置。 - 各々が複数の作業工程の各々に対応付けられている、複数の監視領域を含む作業現場全体を、1台の広域撮像カメラで撮像した撮像データを取得する第1取得ステップと、
前記第1取得ステップにて取得された前記撮像データに対する画像解析により、前記複数の監視領域の各々について、作業者が存在しているかを判定する作業者判定ステップと、
前記複数の作業工程の各々の実施に用いられる機器が実行した動作の内容および結果を示す動作結果から生成された工程情報を、複数の前記機器を制御する制御装置から取得する第2取得ステップと、
前記第2取得ステップにて取得された前記工程情報を用いて、前記機器が動作しているかを判定する機器判定ステップと、
前記複数の作業工程の各々について、(A)前記機器判定ステップにて、前記作業工程の実施に用いられた前記機器が動作していると判定された時間帯と、(B)前記作業者判定ステップにて、前記作業工程に対応付けられている前記監視領域に前記作業者が存在していると判定された時間帯と、を対応付けたデータを生成する生成ステップと、
含む情報処理方法。 - 請求項1から4のいずれか1項に記載の情報処理装置としてコンピュータを機能させるための情報処理プログラムであって、前記各部としてコンピュータを機能させるための情報処理プログラム。
- 請求項6に記載の情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019111038A JP7272128B2 (ja) | 2019-06-14 | 2019-06-14 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
US17/609,789 US20220230440A1 (en) | 2019-06-14 | 2020-02-26 | Information processing device, information processing method, and recording medium |
PCT/JP2020/007816 WO2020250498A1 (ja) | 2019-06-14 | 2020-02-26 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
CN202080033138.5A CN113767407B (zh) | 2019-06-14 | 2020-02-26 | 信息处理装置、信息处理方法、以及记录介质 |
EP20822361.0A EP3985583A4 (en) | 2019-06-14 | 2020-02-26 | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM AND RECORDING MEDIA |
KR1020217037872A KR20220004823A (ko) | 2019-06-14 | 2020-02-26 | 정보 처리 장치, 정보 처리 방법, 정보 처리 프로그램, 및 기록매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019111038A JP7272128B2 (ja) | 2019-06-14 | 2019-06-14 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020204819A JP2020204819A (ja) | 2020-12-24 |
JP7272128B2 true JP7272128B2 (ja) | 2023-05-12 |
Family
ID=73781746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019111038A Active JP7272128B2 (ja) | 2019-06-14 | 2019-06-14 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220230440A1 (ja) |
EP (1) | EP3985583A4 (ja) |
JP (1) | JP7272128B2 (ja) |
KR (1) | KR20220004823A (ja) |
CN (1) | CN113767407B (ja) |
WO (1) | WO2020250498A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022113042A (ja) * | 2021-01-22 | 2022-08-03 | オムロン株式会社 | 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体 |
JP2023048309A (ja) * | 2021-09-28 | 2023-04-07 | オムロン株式会社 | 設定装置、設定方法および設定プログラム |
JP2023106888A (ja) | 2022-01-21 | 2023-08-02 | オムロン株式会社 | 情報処理装置および情報処理方法 |
JP2024034024A (ja) | 2022-08-31 | 2024-03-13 | オムロン株式会社 | 検出システム、方法およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008225704A (ja) | 2007-03-09 | 2008-09-25 | Omron Corp | 作業評価装置、作業評価方法、および、制御プログラム |
JP2014044619A (ja) | 2012-08-28 | 2014-03-13 | Seiko Epson Corp | 生産システム、ロボット、制御装置、生産方法及び制御プログラム |
JP2017005383A (ja) | 2015-06-05 | 2017-01-05 | 株式会社東芝 | 監視制御システム |
JP2017010277A (ja) | 2015-06-22 | 2017-01-12 | 株式会社ブロードリーフ | 作業分析システム及び作業分析方法 |
JP2018116325A (ja) | 2017-01-16 | 2018-07-26 | 沖電気工業株式会社 | 異常検知システム、異常検知装置、異常検知方法およびプログラム |
JP2019016226A (ja) | 2017-07-07 | 2019-01-31 | 株式会社日立製作所 | 作業データ管理システム及び作業データ管理方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5974391A (en) * | 1994-07-12 | 1999-10-26 | Fujitsu Limited | Device and method for project management |
JPH11184519A (ja) * | 1997-12-22 | 1999-07-09 | Mitsubishi Electric Corp | プラント監視制御装置 |
JP2006221410A (ja) * | 2005-02-10 | 2006-08-24 | Seiko Epson Corp | 生産効率解析システムと生産効率解析プログラムと記録媒体と生産効率解析方法 |
JP4735172B2 (ja) * | 2005-10-06 | 2011-07-27 | オムロン株式会社 | 生産管理装置、生産管理方法、生産管理プログラム、生産管理プログラムを記録した記録媒体、および生産システム |
JP2007323199A (ja) * | 2006-05-30 | 2007-12-13 | Omron Corp | 生産管理装置、生産管理方法、生産管理プログラム、およびこれを記録した記録媒体、ならびに生産システム |
JP4865682B2 (ja) * | 2007-11-15 | 2012-02-01 | 三菱化学エンジニアリング株式会社 | 自動機械のモニタ装置及び自動機械の運転装置 |
JP5346513B2 (ja) * | 2008-07-22 | 2013-11-20 | 京楽産業.株式会社 | ポーリング通信システム |
JP2012150613A (ja) * | 2011-01-18 | 2012-08-09 | Ricoh Co Ltd | 作業内容測定装置及び作業管理装置 |
JP6075180B2 (ja) * | 2013-04-18 | 2017-02-08 | オムロン株式会社 | 作業管理システムおよび作業管理方法 |
CN105137925B (zh) * | 2015-07-23 | 2018-02-16 | 上海极熵数据科技有限公司 | 自动化工业设备的作业调度方法 |
JP2018142058A (ja) * | 2017-02-27 | 2018-09-13 | 株式会社Subaru | 作業品質評価装置、作業品質評価方法 |
JP2018142259A (ja) * | 2017-02-28 | 2018-09-13 | オムロン株式会社 | 作業管理装置、方法およびプログラム |
JP6365906B1 (ja) * | 2017-03-01 | 2018-08-01 | パナソニックIpマネジメント株式会社 | 3次元侵入検知システムおよび3次元侵入検知方法 |
EP3619642A1 (en) * | 2017-05-01 | 2020-03-11 | Sensormatic Electronics, LLC | Space management monitoring and reporting using video analytics |
JP6945373B2 (ja) | 2017-07-24 | 2021-10-06 | 株式会社日立製作所 | 作業改善支援システム |
KR102281998B1 (ko) | 2017-08-30 | 2021-07-27 | 삼성전자 주식회사 | 이종재질 통신장치 함체 |
JP2019061628A (ja) * | 2017-09-28 | 2019-04-18 | i Smart Technologies株式会社 | 生産管理装置、生産管理システム、および生産管理方法 |
JP6571741B2 (ja) * | 2017-11-29 | 2019-09-04 | ファナック株式会社 | 作業者管理装置 |
JP7119532B2 (ja) * | 2018-04-20 | 2022-08-17 | コニカミノルタ株式会社 | 生産性向上支援システムおよび生産性向上支援プログラム |
US20210166180A1 (en) * | 2018-08-23 | 2021-06-03 | Sony Corporation | Information processing apparatus, information processing method, and work evaluation system |
-
2019
- 2019-06-14 JP JP2019111038A patent/JP7272128B2/ja active Active
-
2020
- 2020-02-26 CN CN202080033138.5A patent/CN113767407B/zh active Active
- 2020-02-26 KR KR1020217037872A patent/KR20220004823A/ko not_active Application Discontinuation
- 2020-02-26 US US17/609,789 patent/US20220230440A1/en active Pending
- 2020-02-26 EP EP20822361.0A patent/EP3985583A4/en active Pending
- 2020-02-26 WO PCT/JP2020/007816 patent/WO2020250498A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008225704A (ja) | 2007-03-09 | 2008-09-25 | Omron Corp | 作業評価装置、作業評価方法、および、制御プログラム |
JP2014044619A (ja) | 2012-08-28 | 2014-03-13 | Seiko Epson Corp | 生産システム、ロボット、制御装置、生産方法及び制御プログラム |
JP2017005383A (ja) | 2015-06-05 | 2017-01-05 | 株式会社東芝 | 監視制御システム |
JP2017010277A (ja) | 2015-06-22 | 2017-01-12 | 株式会社ブロードリーフ | 作業分析システム及び作業分析方法 |
JP2018116325A (ja) | 2017-01-16 | 2018-07-26 | 沖電気工業株式会社 | 異常検知システム、異常検知装置、異常検知方法およびプログラム |
JP2019016226A (ja) | 2017-07-07 | 2019-01-31 | 株式会社日立製作所 | 作業データ管理システム及び作業データ管理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113767407A (zh) | 2021-12-07 |
EP3985583A1 (en) | 2022-04-20 |
WO2020250498A1 (ja) | 2020-12-17 |
US20220230440A1 (en) | 2022-07-21 |
KR20220004823A (ko) | 2022-01-11 |
JP2020204819A (ja) | 2020-12-24 |
CN113767407B (zh) | 2024-10-18 |
EP3985583A4 (en) | 2023-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7272128B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 | |
US10657477B2 (en) | Work data management system and work data management method | |
US10915419B2 (en) | Industrial control system, and assistance apparatus, control assist method, and program thereof | |
JP7119532B2 (ja) | 生産性向上支援システムおよび生産性向上支援プログラム | |
CN111542791B (zh) | 使用设施诊断系统的设施诊断方法 | |
WO2020031790A1 (ja) | 制御システムおよび制御装置 | |
US11138805B2 (en) | Quantitative quality assurance for mixed reality | |
JP2020205027A (ja) | データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体 | |
JP2008217608A (ja) | 産業機械の遠隔監視システム及び方法 | |
JP6378282B2 (ja) | 修理システム、サーバ、端末装置、修理方法及びプログラム | |
WO2020250501A1 (ja) | データ抽出装置、データ抽出装置の制御方法、情報処理プログラム、および記録媒体 | |
JP7178303B2 (ja) | 作業管理システム及び作業管理方法 | |
JP2019175407A (ja) | 画像検査プログラムのプログラム作成装置及びプログラム作成方法、並びに作成プログラム | |
WO2021024528A1 (ja) | 表示制御装置、制御方法、情報処理プログラム、および記録媒体 | |
JP7181257B2 (ja) | 原因分析システムおよび方法 | |
KR101494217B1 (ko) | 계장 시스템 및 제어방법 | |
WO2022157988A1 (ja) | 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体 | |
JP2019175408A (ja) | 画像検査プログラムのプログラム作成装置及びプログラム作成方法、並びに作成プログラム | |
JP2023151936A (ja) | データ収集装置およびプログラム | |
JP2023127239A (ja) | 作業管理装置、作業管理方法、および作業管理プログラム | |
JP2023070273A (ja) | 分析装置、分析方法およびプログラム | |
JP2022075325A (ja) | 作業推定装置、作業推定装置の制御方法、情報処理プログラム、および記録媒体 | |
JP2006013187A (ja) | 製造システム、および半導体装置の製造方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7272128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |