JP6817974B2 - Computer system - Google Patents
Computer system Download PDFInfo
- Publication number
- JP6817974B2 JP6817974B2 JP2018002257A JP2018002257A JP6817974B2 JP 6817974 B2 JP6817974 B2 JP 6817974B2 JP 2018002257 A JP2018002257 A JP 2018002257A JP 2018002257 A JP2018002257 A JP 2018002257A JP 6817974 B2 JP6817974 B2 JP 6817974B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- management
- image
- computer system
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006399 behavior Effects 0.000 claims description 70
- 230000036544 posture Effects 0.000 claims description 34
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000007726 management method Methods 0.000 description 83
- 238000004458 analytical method Methods 0.000 description 45
- 238000004519 manufacturing process Methods 0.000 description 28
- 239000000047 product Substances 0.000 description 20
- 238000013135 deep learning Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000012800 visualization Methods 0.000 description 7
- 238000013523 data management Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Description
本発明は領域の管理を支援する計算機システムに関わり、例えば、製造・物流の現場等所定の管理領域に対する管理を支援する計算機システムに関する。 The present invention relates to a computer system that supports management of an area, and for example, relates to a computer system that supports management of a predetermined management area such as a manufacturing / logistics site.
従来から製造・物流に於ける現場の管理を支援するシステムが存在する。例えば、特開2004-198148号公報は、製造工程において収集した品質データの傾向監視、製造条件の変更（変化点）履歴、異常発生及びその対策履歴などが、容易に把握できるようにモニタ表示する品質データのモニタリングを提供することを目的として、装置から収集した計測値に基づいて品質データの履歴を作成するとともに、品質データ記憶部に格納する処理を行い、製造条件の変更を示す変化点の情報を取得するとともに、その変化点の履歴情報を変化点記憶部に格納する処理を行い、前記各記憶部に格納されたデータは、時刻情報を関連付けて格納しておき、前記品質データの履歴に基づく品質トレンドグラフと、前記変化点の履歴を表示装置に表示するに際し、時間軸を合わせて表示するようにした発明を開示している。 Conventionally, there are systems that support on-site management in manufacturing and distribution. For example, Japanese Patent Application Laid-Open No. 2004-198148 displays on a monitor so that trend monitoring of quality data collected in the manufacturing process, history of changes (change points) in manufacturing conditions, history of abnormal occurrences and countermeasures thereof can be easily grasped. For the purpose of providing quality data monitoring, a history of quality data is created based on the measured values collected from the device, and a process of storing the quality data in the quality data storage unit is performed to indicate a change in manufacturing conditions. Along with acquiring the information, a process of storing the history information of the change point in the change point storage unit is performed, and the data stored in each storage unit is stored in association with the time information, and the history of the quality data is stored. Discloses an invention in which a quality trend graph based on the above and a history of the change points are displayed in alignment with the time axis when displayed on the display device.
製造・物流の現場では、作業員の動作の適否が、作業効率等の管理目標の維持や改善に大きく影響する。従来のシステムは、この影響に対する配慮がないため、製造・物流の現場を管理するのには十分ではなかった。そこで、本発明は、製造・物流の現場等管理領域の管理の優劣に関係する人的な影響を明確にしてこれを評価できるようにして、管理領域の管理の改善を支援し得る計算機システムを提供することを目的とする。 At manufacturing and distribution sites, the suitability of workers' movements greatly affects the maintenance and improvement of management goals such as work efficiency. Conventional systems have not been sufficient to manage manufacturing and logistics sites because they do not care about this effect. Therefore, the present invention provides a computer system that can support the improvement of management in the management area by clarifying and evaluating the human influence related to the superiority or inferiority of management in the management area such as manufacturing / logistics sites. The purpose is to provide.
本発明は、前記目的を達成するために、領域に対する管理を支援する計算機システムであって、前記計算機システムはコントローラを備え、前記コントローラは、前記領域に対する管理のためのプログラムを実行することによって、前記領域を撮影するカメラから所定時間毎に画像を取得することと、所定時間毎に取得された複数の画像に基いて、前記領域に含まれる人物の行動を推定することと、前記人物の行動の時系列情報を作成することと、前記時系列情報に基いて前記領域の管理に対する管理指標を作成することと、前記管理指標を可視化して管理計算機が参照できるようにすることと、を備えることを特徴とする。 The present invention is a computer system that supports management of an area in order to achieve the object, wherein the computer system includes a controller, and the controller executes a program for management of the area. Acquiring images from a camera that captures the area at predetermined time intervals, estimating the behavior of a person included in the area based on a plurality of images acquired at predetermined time intervals, and the behavior of the person. It is provided that the time series information of the above is created, a management index for management of the area is created based on the time series information, and the management index is visualized so that the management computer can refer to it. It is characterized by that.
本発明によれば、製造・物流の現場等管理領域の管理の優劣に関係する人的な影響を明確にしてこれを評価できるようにして、管理領域の管理の改善を支援し得るシステムを提供することができる。 According to the present invention, there is provided a system capable of supporting the improvement of management of a management area by clarifying and evaluating the human influence related to the superiority or inferiority of management of a management area such as a manufacturing / logistics site. can do.
製造や物流の現場では、製品の製造、製品の仕分け、製品の搬送等に従事する作業員の無駄な動きや適切でない動きは、製造効率、処理効率等の管理目標に悪影響を与える。勿論、作業員の適切な動きは管理目標を維持、或いは、改善できる。しかしながら、従来のシステムでは、作業員の管理目標に関連する関連行動を直接に明確にすることは容易ではなかった。そこで、以下に説明する管理システムは、管理領域に於ける人の画像に基いて人の動作を明確にしてこれを評価して人の関連行動を推定する。管理領域とは製造や物流の現場等管理が必要、或いは期待される範囲である。管理とは、作業員の関連行動を評価して作業効率等の管理目標を維持、向上することである。関連行動とは、管理領域に於ける処理（物の製造現場での物の製造等）に関連する、人の動作の分類である。例えば、組み立て、運搬、部品取り出し、試験、梱包、その他（非作業中）等が関連行動の一例である。関連行動は適宜定義されてよい。動作とは、人体の位置（即ち、姿勢）の連続である。計算機システムは、連続する複数の画像を認識することによって、関連動作を推定する。計算機システムは、連続する複数の画像の夫々を評価して、夫々の画像に対して人の姿勢を推定し、人の姿勢の変化のフローを評価して、関連行動を推定する。計算機システムは、この評価、推定に、人工知能によるディープラーニングを適用してもよい。 At manufacturing and distribution sites, wasteful or inappropriate movements of workers engaged in product manufacturing, product sorting, product transportation, etc. adversely affect management goals such as manufacturing efficiency and processing efficiency. Of course, proper movement of workers can maintain or improve management goals. However, with conventional systems, it has not been easy to directly clarify related behaviors related to worker management goals. Therefore, the management system described below clarifies the behavior of the person based on the image of the person in the management area, evaluates the behavior, and estimates the related behavior of the person. The management area is a range in which management such as manufacturing and distribution sites is necessary or expected. Management is to evaluate the related behaviors of workers and maintain and improve management goals such as work efficiency. Related behavior is a classification of human behavior related to processing in the control area (manufacturing of goods at the manufacturing site of goods, etc.). For example, assembly, transportation, parts removal, testing, packing, etc. (during non-working) are examples of related actions. Related behaviors may be defined as appropriate. The movement is a series of positions (that is, postures) of the human body. The computer system estimates the related behavior by recognizing a plurality of consecutive images. The computer system evaluates each of a plurality of consecutive images, estimates the posture of the person with respect to each image, evaluates the flow of the change in the posture of the person, and estimates the related behavior. The computer system may apply deep learning by artificial intelligence to this evaluation and estimation.
以下、物の製造現場を管理領域とする計算機システムを例として、その実施形態を説明する。なお、スマート工場の実現のためには、生産現場のデータのリアルタイムな活用や、ITシステム（サーバ、クラウド等）との効率的な連携が必要である。そこで、計算機システムは、全てのデータ処理をクラウドで行うのではなく、エッジ（現場）とサーバ（本社、又は、データセンタ等）でデータの処理を協調分散するエッジコンピューティング方式として実現されてよい。 Hereinafter, an embodiment thereof will be described by taking as an example a computer system having a manufacturing site of a product as a control area. In order to realize a smart factory, it is necessary to utilize the data of the production site in real time and to efficiently cooperate with the IT system (server, cloud, etc.). Therefore, the computer system may be realized as an edge computing method in which data processing is coordinated and distributed between the edge (field) and the server (headquarters, data center, etc.) instead of performing all data processing in the cloud. ..
図１は、エッジコンピューティング方式の計算機システムのハードウェアブロック図である。計算機システムは、管理領域に対する管理を支援するものであって、管理領域としての現場（物の製造工場等）のシステム（第１のシステム）１０と、データセンタとしてのサーバ側のシステム（第２のシステム）１２と、管理クライアントのコンピュータ１４とを備えて構成されている。 FIG. 1 is a hardware block diagram of an edge computing computer system. The computer system supports the management of the management area, and is the system (first system) 10 of the site (manufacturing factory, etc.) as the management area and the server-side system (second system) as the data center. System) 12 and a computer 14 as a management client.
第１のシステム１０は、画像センサとしての複数のカメラと、その他のセンサからなるセンサ群１００と、一つ又は複数のエッジコンピュータ１０２とを備える。センサ群１００とエッジコンピュータ１０２とはＬＡＮ１０４によって接続される。エッジコンピュータの数はカメラの数に応じて適宜設定されてよい。 The first system 10 includes a plurality of cameras as image sensors, a sensor group 100 including other sensors, and one or more edge computers 102. The sensor group 100 and the edge computer 102 are connected by LAN 104. The number of edge computers may be appropriately set according to the number of cameras.
第２のシステム１２は、エッジコンピュータ１０２のためのサーバ１２０と、他のシステムのためのサーバ１２２と、を備える。エッジコンピュータ１０２とサーバ１２０とは、インターネット１０６等の通信手段によって接続されてよい。サーバ１２０とサーバ１２２とは、ＬＡＮ１２４によって接続される。サーバ１２０と管理クライアントのコンピュータ１４とはインターネット１４０によって接続される。 The second system 12 includes a server 120 for the edge computer 102 and a server 122 for the other system. The edge computer 102 and the server 120 may be connected by a communication means such as the Internet 106. The server 120 and the server 122 are connected by LAN 124. The server 120 and the management client computer 14 are connected by the Internet 140.
第１のシステム１０は、カメラが撮影した画像に基づいて、管理領域に存在する人の関連行動を推定する。第２のシステム１２は、推定された関連行動を評価、或いは、分析することによって管理指標を計算してこれを管理ユーザに提供し、管理ユーザは提供された情報に基いて、物の製造効率等の管理目標を維持、改善、或いは、向上することができる。 The first system 10 estimates the related behavior of a person existing in the management area based on the image taken by the camera. The second system 12 calculates a management index by evaluating or analyzing the estimated related behavior and provides the management index to the management user, who manages the manufacturing efficiency of the product based on the provided information. It is possible to maintain, improve, or improve management goals such as.
「計算機システム」は、「エッジコンピュータ」、又は、「サーバ」、或いは、その両方を意味するものとして理解されてよい。また、計算機システムは、エッジとサーバとでデータの処理を協調分散しない態様のものとして構成されてもよい。この管理システムによれば、ものづくりの現場で、IoTを使って、人の稼働状態を「見える化」して、作業効率の向上や予防安全に繋げる等のイノベーションを実現することができる。 "Computer system" may be understood to mean "edge computer" and / or "server". Further, the computer system may be configured in such a manner that data processing is not coordinated and distributed between the edge and the server. According to this management system, it is possible to realize innovations such as improving work efficiency and leading to preventive safety by "visualizing" the operating state of people using IoT at the manufacturing site.
図２に、図１の計算機システムの機能ブロック図を示す。複数のカメラ１００Ａ夫々は撮影した画像を送信するためのデータ送信モジュール１００２を備える。なお、「モジュール」は、コントローラがプログラムを実行することよって実現される機能の単位のことである。「モジュール」を「手段」、「機能」、「ブロック」、「エレメント」、「デバイス」等と言い換えてもよい。モジュールは、特定用途のＩＣ等ハードウェアによって実行されてもよい。この場合、コントローラには特定用途のＩＣを包含するものとして理解されてよい。 FIG. 2 shows a functional block diagram of the computer system of FIG. Each of the plurality of cameras 100A includes a data transmission module 1002 for transmitting a captured image. A "module" is a unit of function realized by the controller executing a program. The "module" may be paraphrased as "means", "function", "block", "element", "device" and the like. The module may be executed by hardware such as an IC for a specific purpose. In this case, the controller may be understood to include an IC for a specific purpose.
カメラ１００Ａは、工場内を俯瞰して撮影し、撮影した画像（JPEG）をエッジコンピュータ１０２に送信する。カメラ１００Ａは、所定時間毎に画像のフレームを送信するもの、または、エッジコンピュータ１０２から所定時間毎の画像取得要求に対し、画像を送信するものでよい。カメラは３６０度を撮影できるＩＰカメラでよい。第１のシステム１０が複数のカメラの画像を合わせて、工場の全景の画像が得られるように、複数のカメラは工場内の領域に均等に配置される。なお、工場内の領域は複数のエリアから定義される。後述の図５はエリアの定義の例である。複数のエリアの夫々は、互いに重ならないように定義されてよい。また、広域なエリアの範囲の一部に、他のエリアが定義されるようにしてもよい。 The camera 100A takes a bird's-eye view of the inside of the factory and transmits the taken image (JPEG) to the edge computer 102. The camera 100A may transmit a frame of an image at predetermined time intervals, or may transmit an image from an edge computer 102 in response to an image acquisition request at predetermined time intervals. The camera may be an IP camera capable of shooting 360 degrees. The plurality of cameras are evenly distributed in the area within the factory so that the first system 10 combines the images of the plurality of cameras to obtain an image of the entire view of the factory. The area in the factory is defined from a plurality of areas. FIG. 5 described later is an example of the definition of the area. Each of the plurality of areas may be defined so as not to overlap each other. In addition, other areas may be defined as a part of the range of a wide area.
エッジコンピュータ１０２は、メモリ、コントローラ（ＣＰＵ）等、コンピュータとしての通常のハードウェア資源を備えて構成される。エッジコンピュータ１０２は、ＯＳ上にアプリケーションプログラムを稼働させる。アプリケーションは、カメラから収集した画像を処理するために、センシング１０２０、データ管理１０２２、そして、エージェント１０２４の各アプリケーションプログラムから構成される。 The edge computer 102 is configured to include ordinary hardware resources such as a memory and a controller (CPU) as a computer. The edge computer 102 runs an application program on the OS. The application consists of sensing 1020, data management 1022, and agent 1024 application programs to process the images collected from the camera.
センシングアプリケーションプログラム１０２０は、複数のカメラが撮影した画像を収集するデータ収集モジュール１０２０Ａを備える。データ管理アプリケーションプログラム１０２２は、画像データを処理するために、分析モジュール１０２２Ａ、圧縮モジュール１０２２Ｂ、管理モジュール１０２２Ｃを備える。エージェントアプリケーションプログラム１０２４は、サーバ１２０との通信を実現するために、通信モジュール１０２４Ａを備える。 The sensing application program 1020 includes a data collection module 1020A that collects images taken by a plurality of cameras. The data management application program 1022 includes an analysis module 1022A, a compression module 1022B, and a management module 1022C in order to process image data. The agent application program 1024 includes a communication module 1024A in order to realize communication with the server 120.
サーバ１２０は、メモリ、コントローラ（ＣＰＵ）等、コンピュータとしての通常のハードウェア資源を備えることはエッジコンピュータ１０２と同じである。サーバ１２０は、ＯＳ上にアプリケーションプログラムを稼働させている。アプリケーションプログラムは、クラウドサービスアプリケーションプログラム１２００、データ管理アプリケーションプログラム１２０２を備える。クラウドサービスアプリケーションプログラム１２００は、通信モジュール１２００Ａと、データ管理モジュール１２００Ｂとを備える。 The server 120 is the same as the edge computer 102 in that it includes ordinary hardware resources such as a memory and a controller (CPU) as a computer. The server 120 runs an application program on the OS. The application program includes a cloud service application program 1200 and a data management application program 1202. The cloud service application program 1200 includes a communication module 1200A and a data management module 1200B.
データ管理アプリケーションプログラム１２０２は、分析モジュール１２０２Ａと、管理モジュール１２０２Ｂと、分析データを管理コンピュータ１４に提示するための提示モジュール１２０２Ｃとを備える。提示モジュール１２０２Ｃは、管理コンピュータ１４に接続している。エッジコンピュータ１０２は、複数のカメラの画像１００Ａを収集し分析して、工場建屋内の作業員の関連行動を推定し、これをサーバ１２０に送信する。サーバ１２０は、作業員の関連行動に基づいて、工場における作業効率等の管理目標を計算してこれを判定し、これを管理コンピュータ１４が閲覧できるようにする。作業員の「推定」は、「判定」、「判断」、「判別」、「識別」、「設定」、又は、「決定」等を含む意義であると理解されてよい。工場における作業効率等の管理目標を判定するの「判定」は、「判断」、「判別」、「識別」、「設定」、又は、「決定」等を含む意義であると理解されてよい。 The data management application program 1202 includes an analysis module 1202A, a management module 1202B, and a presentation module 1202C for presenting analysis data to the management computer 14. The presentation module 1202C is connected to the management computer 14. The edge computer 102 collects and analyzes images 100A of a plurality of cameras, estimates related behaviors of workers in the factory building, and transmits this to the server 120. The server 120 calculates a management target such as work efficiency in the factory based on the related behavior of the worker, determines the management target, and makes the management computer 14 viewable. A worker's "estimation" may be understood to include "judgment," "judgment," "discrimination," "identification," "setting," or "decision." The "judgment" for determining a management goal such as work efficiency in a factory may be understood to include "judgment", "discrimination", "identification", "setting", "decision", and the like.
図３は、図２のブロック図に於ける、データ処理の流れ、そして、タイミングを示すチャートである。複数のカメラ夫々のデータ送信モジュール１００２は、所定時間毎に、撮影した画像のフレームデータ（撮影時刻情報付き）を、エッジコンピュータ１０２のデータ収集モジュール１０２０Ａに送信する（Ｆ１）。データ収集モジュール１０２０Ａは、収集したフレームデータを管理モジュール１０２２Ｃに出力する（Ｆ２）。管理モジュール１０２２Ｃは、複数のカメラのフレームデータを、撮影時間が同時刻毎に纏めて合成して、工場の建屋全体を俯瞰した全体画像（図４の大きい図）を生成する。 FIG. 3 is a chart showing the flow of data processing and the timing in the block diagram of FIG. The data transmission module 1002 of each of the plurality of cameras transmits frame data (with shooting time information) of the captured image to the data collection module 1020A of the edge computer 102 at predetermined time intervals (F1). The data collection module 1020A outputs the collected frame data to the management module 1022C (F2). The management module 1022C synthesizes the frame data of a plurality of cameras at the same time, and generates an overall image (large diagram of FIG. 4) that gives a bird's-eye view of the entire factory building.
管理モジュール１０２２Ｃは、全体画像を撮影時間毎に圧縮モジュール１０２２Ｂに出力する（Ｆ５）。圧縮モジュール１０２２Ｂは全体画像を圧縮し、圧縮後の全体画像を管理モジュール１０２２Ｃに出力する（Ｆ６）。管理モジュール１０２２Ｃは、撮影時間毎に圧縮した全体画像をＨＤＤ等のメモリに継続的に記憶する。 The management module 1022C outputs the entire image to the compression module 1022B for each shooting time (F5). The compression module 1022B compresses the entire image and outputs the compressed overall image to the management module 1022C (F6). The management module 1022C continuously stores the entire image compressed for each shooting time in a memory such as an HDD.
管理モジュール１０２２Ｃは、全体画像を生成する際、国際公開番号ＷＯ２０１７／０１７７９０号公報に記載の画像生成システムを利用してよい。このシステムによれば、複数のカメラの画像を仮想スクリーン上で重畳して表示することによって、俯瞰状態のまま全周囲画像が生成される。管理モジュール１０２２Ｃは、全体画像にローカル３次元座標を設定する。ローカル座標の座標範囲にしたがって建屋内の複数のエリアの夫々が定義される。 The management module 1022C may use the image generation system described in International Publication No. WO2017 / 017790 when generating the entire image. According to this system, by superimposing and displaying images from a plurality of cameras on a virtual screen, an omnidirectional image is generated while maintaining a bird's-eye view. The management module 1022C sets local three-dimensional coordinates for the entire image. Each of the multiple areas in the building is defined according to the coordinate range of the local coordinates.
図５はエリア定義情報テーブルの一例である。エリア定義情報テーブルは、複数のエリア夫々を特定する。エリア情報テーブルは、エリアＩＤ（Ｓ１１）と、エリア名（Ｓ１２）と、エリア座標（Ｓ１３）とから構成される。エリア情報テーブルは、管理者によって予め設定されてよい。エリア情報テーブルは、メモリの所定領域に記録される。 FIG. 5 is an example of the area definition information table. The area definition information table identifies each of a plurality of areas. The area information table is composed of an area ID (S11), an area name (S12), and area coordinates (S13). The area information table may be preset by the administrator. The area information table is recorded in a predetermined area of the memory.
図４の領域Ｌ１０が組立作業エリアＬ１１と搬送エリアＬ１２とを含む。組立作業エリアＬ１１は、複数の部品を組み立てて完成品を生産し、完成品を他のエリアに搬出するための範囲である。搬送エリアＬ１２は完成品を組立作業エリアＬ１１から他のエリアへ搬送するための範囲である。組立作業エリアＬ１１の中に組立作業台エリアＬ１３が定義される。 The area L10 in FIG. 4 includes an assembly work area L11 and a transport area L12. The assembly work area L11 is a range for assembling a plurality of parts to produce a finished product and carrying the finished product to another area. The transport area L12 is a range for transporting the finished product from the assembly work area L11 to another area. The assembly workbench area L13 is defined in the assembly work area L11.
分析モジュール１０２２Ａは、生産・物流の現場の作業効率、安全性等管理目標の評価のために、人物（生産・物流の現場での作業員）の関連行動を推定する。人物の関連行動を推定する理由は、生産・物流等の実際の現場での作業効率は、センサからの情報以外に人物の関連行動から直接、かつ、大きく影響を受けるため、センサからの情報だけでは不十分なためである。すなわち、人物の関連行動自体から、作業効率等の管理目標を判定することができる。 The analysis module 1022A estimates the related behavior of a person (worker at the production / logistics site) in order to evaluate management goals such as work efficiency and safety at the production / logistics site. The reason for estimating the related behavior of a person is that the work efficiency at the actual site such as production and distribution is directly and greatly affected by the related behavior of the person in addition to the information from the sensor, so only the information from the sensor. This is because it is not enough. That is, it is possible to determine a management goal such as work efficiency from the person's related behavior itself.
本発明者は、人物の「行動」とは、人体の姿勢の変化のフローのうち、意味があるものと定義する。したがって、関連行動を推定するには、分析モジュール１０２２Ａが所定時間毎に取得した、複数の画像夫々に対して姿勢を評価し、この評価に基づいて「行動」を評価して関連行動を推定することが好適である。しかしながら、関連行動の態様は、製造する物等に大きく左右され、一概にルール化することは容易ではない。そこで、計算機システムは、関連行動の画像の評価・認識のために、ディープラーニングの学習結果を利用してカメラからの画像を認識することとした。なお、ディープラーニングのような機械学習の手法に代えて、あるいは、これと共に、分析モジュール１０２２Ａは、HoGやSHIFT等特徴量を用いた画像処理を利用してもよい。 The present inventor defines a person's "behavior" as having a meaning in the flow of changes in the posture of the human body. Therefore, in order to estimate the related behavior, the analysis module 1022A evaluates the posture of each of the plurality of images acquired at predetermined time intervals, evaluates the "behavior" based on this evaluation, and estimates the related behavior. Is preferable. However, the mode of related behavior is greatly influenced by the product to be manufactured, and it is not easy to make a general rule. Therefore, the computer system decided to recognize the image from the camera by using the learning result of deep learning in order to evaluate and recognize the image of the related behavior. In addition, instead of or together with a machine learning method such as deep learning, the analysis module 1022A may use image processing using features such as HoG and SHIFT.
分析モジュール１０２２Ａ（人工知能）は、例えば、工場の稼働前、向上の稼働中の所定期間ごとに学習を実行すればよい。分析モジュール１０２２Ａは、サーバ１２０が管理するデータベースから、連続する全体画像を所定数のフレーム毎に抽出し、これを参照データとして学習を行う。分析モジュール１０２２Ａは、全体画像からエリア毎の画像をトリミングし、学習をエリア毎に行う。これは、エリア毎に、想定、或いは、期待される関連行動の態様が異なるからである。例えば、搬送エリアと、組立作業台エリアでは、作業員の関連行動が相違する。 The analysis module 1022A (artificial intelligence) may execute learning at predetermined periods before the operation of the factory and during the operation of the improvement, for example. The analysis module 1022A extracts a continuous whole image for each predetermined number of frames from the database managed by the server 120, and performs learning using this as reference data. The analysis module 1022A trims the image for each area from the entire image and performs learning for each area. This is because the mode of the assumed or expected related behavior differs depending on the area. For example, the worker's related behavior differs between the transport area and the assembly workbench area.
次に、「学習」を具体的に説明する。分析モジュール１０２２Ａは、所定数のフレームを一つのデータ群として、エリア毎に複数のデータ群をレビューワ（エッジコンピュータ１０２の管理者であってよい。）に提示する。レビューワは、所定数のフレームの夫々に対して姿勢に関するラベルを入力する。姿勢とは、例えば、歩行、静止、屈む、手を伸ばす、体の向き、体の方向等である。レビューワは、さらに、所定数のフレーム全体に関連行動に関するラベルを入力する。関連行動とは、既述のように、部品組立、作業中、部品取出し、運搬中等である。分析モジュール１０２２Ａは、予め定義されたラベルの一覧をレビューワに提示する。レビューワは、提示された画像を参照して、ラベルの一覧の中から最適と思うラベルを選択する。 Next, "learning" will be specifically described. The analysis module 1022A uses a predetermined number of frames as one data group, and presents a plurality of data groups for each area to the reviewer (which may be the administrator of the edge computer 102). The reviewer inputs a posture label for each of a predetermined number of frames. The posture is, for example, walking, resting, bending, reaching, body orientation, body orientation, and the like. The reviewer also enters labels for related behaviors across a predetermined number of frames. The related actions are, as described above, parts assembly, work, parts removal, transportation, and the like. Analysis module 1022A presents the reviewer with a list of predefined labels. The reviewer refers to the presented image and selects the label that is most suitable from the list of labels.
分析モジュール１０２２Ａは、フレームと姿勢ラベルとの組み合わせを教師データとし、複数の教師データについて、画像データ（複数の画素データの組み合わせ）がラベルに対して成す影響度（重み）を計算する。分析モジュール１０２２Ａは、さらに、所定数のフレームと関連行動ラベルとの組み合わせを教師データとし、複数の教師データについて、姿勢のフロー（所定数のフレーム夫々姿勢の組み合わせ）が関連行動ベルに対して成す影響度（重み）を計算する。教師データは、一つのフレーム、そして、複数のフレームの組み合わせの夫々において、ラベルとの組み合わせから構成される。分析モジュール１０２２Ａは、学習を継続させることによって重みを最適化する。 The analysis module 1022A uses the combination of the frame and the orientation label as the teacher data, and calculates the degree of influence (weight) of the image data (combination of a plurality of pixel data) on the label for the plurality of teacher data. The analysis module 1022A further uses a combination of a predetermined number of frames and related action labels as teacher data, and for a plurality of teacher data, a posture flow (combination of postures of each predetermined number of frames) is formed for the related action bell. Calculate the degree of influence (weight). The teacher data is composed of a combination with a label in one frame and each combination of a plurality of frames. The analysis module 1022A optimizes the weights by continuing the learning.
分析モジュール１０２２Ａは、学習結果をサーバ１０２に送りデータベースに記憶してよい。サーバ１０２が学習を行うようにしてもよい。所定数のフレームの「所定数」とは、特に制限がある訳ではない。カメラの撮影間隔にも依るが、フレーム数が少ないと関連行動を特定できない可能性があり、フレーム数が多いと、「所定数のフレーム」に複数の関連行動が混在する可能性がある。 The analysis module 1022A may send the learning result to the server 102 and store it in the database. The server 102 may perform learning. The "predetermined number" of a predetermined number of frames is not particularly limited. Although it depends on the shooting interval of the camera, if the number of frames is small, the related behavior may not be specified, and if the number of frames is large, a plurality of related behaviors may be mixed in the “predetermined number of frames”.
図６に、所定数のフレームに対するラベル付けの一例を示す。定数数のフレームは、時刻ｔ-4、・・・・ｔの５フレームから構成される。夫々のフレームの「歩行」、「静止」、「手を伸ばす」が姿勢ラベルの例である。姿勢ラベルはこれらに限定されない。「部品をとる」が、所定数のフレームに付与された関連行動のラベルの一例である。 FIG. 6 shows an example of labeling a predetermined number of frames. A constant number of frames are composed of 5 frames at time t-4, ... t. "Walking", "stationary", and "reaching" of each frame are examples of posture labels. Posture labels are not limited to these. "Take a part" is an example of a label of related actions given to a predetermined number of frames.
分析モジュール１０２２Ａは、学習結果（重み）を利用するディープラーニングをカメラの撮影画像に適用して画像認識を行って作業員の行動を推定する。分析モジュール１０２２Ａは、カメラ画像を取得するタイミングに同期させて画像認識を行ってもよいし、メモリに記憶されたカメラ画像を纏めてバッチ方式で画像認識を行ってもよい。 The analysis module 1022A applies deep learning using the learning result (weight) to the captured image of the camera to perform image recognition and estimate the behavior of the worker. The analysis module 1022A may perform image recognition in synchronization with the timing of acquiring the camera image, or may perform image recognition in a batch method by collecting the camera images stored in the memory.
分析モジュール１０２２Ａは、関連行動の推定を複数の段階（姿勢の推定と関連行動の推定との２段階）で実行する。分析モジュール１０２２Ａは、関連行動の推定をエリア毎に実行する。分析モジュール１０２２Ａは、姿勢の推定を、経時的に変化する複数のフレームの夫々に対して行い、複数のフレーム夫々の姿勢の推定結果の組み合わせに基いて関連行動の推定を行う。分析モジュール１０２２Ａはメモリを参照して、学習によって得られた重みを利用して、一つのフレームにおいて、姿勢の候補夫々のスコアを計算し、複数の姿勢の候補に対するランク付けを行う。分析モジュール１０２２Ａは、さらに、複数のフレームに於ける、姿勢の候補のランク付けの組み合わせに基づいて、学習によって得られた重み参照して、関連行動の複数の候補夫々のスコアを計算してランク付けを行う。分析モジュール１０２２Ａは、最もスコアが上位の候補を、最も確からしい関連行動として決定してよい。 The analysis module 1022A executes the estimation of related behaviors in a plurality of stages (two stages of estimation of posture and estimation of related behaviors). The analysis module 1022A performs area-by-area estimation of related behaviors. The analysis module 1022A estimates the posture for each of the plurality of frames that change with time, and estimates the related behavior based on the combination of the estimation results of the postures of the plurality of frames. The analysis module 1022A refers to the memory, calculates the score of each posture candidate in one frame by using the weight obtained by the learning, and ranks the plurality of posture candidates. The analysis module 1022A further calculates and ranks the scores of the plurality of candidates for related behaviors by referring to the weights obtained by learning based on the combination of the rankings of the posture candidates in the plurality of frames. Attach. The analysis module 1022A may determine the candidate with the highest score as the most probable related behavior.
図７は、姿勢推定のためのディープラーニングをモデル化したブロック図である。ディープラーニングは、畳み込みニューラルネットワーク層（Convolution Neural Network Layer）、全結合層(Fully connection layer)と、出力層(Output layer)とから構成される。畳み込みニューラルネットワーク層は、畳み込みフィルタ層と、プーリング層とからなる。畳み込みフィルタ層は、画像の濃淡パターンを検出して、エッジ抽出等の特徴抽出を行い、プーリング層は、畳み込みフィルタ層で反応があった特徴量の位置情報を一部捨てることで、画像内で特徴量が若干位置ずれした場合における出力結果の不変性を実現する。畳み込みニューラルネットワーク層は、これらの層を組み合わせることによって、人物の画像から特徴量を抽出する。 FIG. 7 is a block diagram modeling deep learning for posture estimation. Deep learning is composed of a convolutional neural network layer (Convolution Neural Network Layer), a fully connection layer (Fully connection layer), and an output layer (Output layer). The convolutional neural network layer includes a convolutional filter layer and a pooling layer. The convolution filter layer detects the shading pattern of the image and performs feature extraction such as edge extraction, and the pooling layer discards some of the position information of the features that reacted in the convolution filter layer in the image. Achieves invariance of output results when the feature amount is slightly displaced. The convolutional neural network layer extracts features from a person's image by combining these layers.
全結合層と出力層とは、特徴量に基づいた分類を行う。全結合層は、畳み込みニューラルネットワークを通して特徴部分が取り出された画像データを一つのノードに結合し、活性化関数によって変換された値（特徴変数）を出力する。ノードの数が増えると特徴量空間の分割数が増し、各領域を特徴付ける特徴変数の数が増える。出力層は、全結合層からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、画像が複数の姿勢の候補夫々に分類される確率（スコア）を最大化する（最尤推定法）ことによって、複数ある姿勢の候補のランク付けを行う。 The fully connected layer and the output layer are classified based on the features. The fully connected layer combines the image data from which the feature part has been extracted through the convolutional neural network into one node, and outputs the value (feature variable) converted by the activation function. As the number of nodes increases, the number of divisions in the feature space increases, and the number of feature variables that characterize each region increases. The output layer converts the output (characteristic variable) from the fully connected layer into a probability using a softmax function, and maximizes the probability (score) that the image is classified into each of the candidates for multiple postures (score). By the maximum likelihood estimation method), candidates for multiple postures are ranked.
図８は、関連行動の推定のためのディープラーニングをモデル化したブロック図である。行動推定ディープラーニングモデルは、時系列データ（連続する複数のフレームの組み合わせであり、夫々のフレームについて姿勢が推定されている（図７））を扱えるようにするために、LSTM（Long Short-Term Memory）層を有する。LSTMへの入力情報は、図７の出力層のデータ、即ち、複数の姿勢ラベル夫々の確率である他、確率が最も高い姿勢ラベルであってもよい。出力層は、データ群が行動の複数の分類夫々に対する確率を出力する。出力層（Output layer）は、複数の関連行動の候補夫々の確率を出力する。分析モジュール１０２２Ａは、複数の関連行動の候補のうち、最も上位のランクの候補を関連行動として決定することができる。分析モジュール１０２２Ａは、既述の所定数のフレームを取得する毎に、複数のフレーム夫々の姿勢のフローによって、関連行動を推定することができる。 FIG. 8 is a block diagram modeling deep learning for estimating related behaviors. The behavior estimation deep learning model is an LSTM (Long Short-Term) in order to handle time series data (a combination of a plurality of consecutive frames, and the posture is estimated for each frame (Fig. 7)). It has a Memory) layer. The input information to the LSTM may be the data of the output layer of FIG. 7, that is, the probability of each of the plurality of posture labels, or the posture label having the highest probability. The output layer outputs the probabilities of the data group for each of the multiple classifications of behavior. The output layer outputs the probabilities of each of a plurality of related action candidates. The analysis module 1022A can determine the highest ranked candidate among the plurality of related action candidates as the related action. The analysis module 1022A can estimate the related behavior by the posture flow of each of the plurality of frames each time the predetermined number of frames described above are acquired.
図３に戻り、説明を継続する。分析モジュール１０２２Ａは、管理モジュール１０２２Ｃを介して画像データを取得し（Ｆ３）、関連行動の推定結果を管理モジュール１０２２Ｃに出力する（Ｆ４）。管理モジュール１０２２Ｃは通信モジュール１０２４Ａに圧縮データ、関連行動の推定結果を出力する（Ｆ７）。通信モジュール１０２４Ａは、サーバ１２０の通信モジュール１２００Ａにデータを送信する（Ｆ８）。通信モジュール１０２４Ａは取得したデータを管理モジュール１２００Ｂに出力する（Ｆ９）。管理モジュール１２００Ｂはデータをストレージのデータベースに登録する。データベースは、関連行動が推定されるタイミング毎に推定された関連行動の複数を記録している。 Returning to FIG. 3, the description is continued. The analysis module 1022A acquires image data via the management module 1022C (F3), and outputs the estimation result of the related behavior to the management module 1022C (F4). The management module 1022C outputs the compressed data and the estimation result of the related behavior to the communication module 1024A (F7). The communication module 1024A transmits data to the communication module 1200A of the server 120 (F8). The communication module 1024A outputs the acquired data to the management module 1200B (F9). The management module 1200B registers the data in the storage database. The database records a plurality of estimated related behaviors at each timing when the related behaviors are estimated.
データ管理アプリケーションプログラム１２０２の管理モジュール１２０２Ａは、クラウドサービスアプリケーションプログラム１２００の管理モジュール１２００Ｂを介してデータベースを参照する（Ｆ１０）。分析モジュール１２０２Ｂは管理モジュール１２０２Ａからデータベースの情報を取得し（Ｆ１１）、データベースに記録された、関連行動の推定情報の時間的変移を分析して、製品の製造効率、作業効率等に関連する管理指標を作成する。 The management module 1202A of the data management application program 1202 refers to the database via the management module 1200B of the cloud service application program 1200 (F10). The analysis module 1202B acquires database information from the management module 1202A (F11), analyzes the temporal transition of the estimated information of related behaviors recorded in the database, and manages the product manufacturing efficiency, work efficiency, etc. Create an indicator.
分析モジュール１２０２Ｂは、管理指標を管理モジュール１２０２Ａに出力する（Ｆ１２）。管理モジュール１２０２Ａは、管理指標をクライアントのコンピュータ１４が参照可能なように可視化情報として作成する。提示モジュール１２０２Ｃは、管理モジュール１２０２Ａにアクセスして（Ｆ１３）、可視化情報を取得する（Ｆ１４）。管理指標としては、例えば、関連行動の時系列的な変移を表すグラフである。管理モジュール１２０２Ａは、管理指標から一つの製品を完成するまでに要する作業時間、製品の製造速度、製品の製造効率等管理目標に関する特性値を算出することができる。提示モジュール１２０２Ｃはクライアントのコンピュータ１４からのリクエスト（Ｆ１５）に基づいて、可視化情報をクライアントのコンピュータ１４に出力する（Ｆ１６）。 The analysis module 1202B outputs the management index to the management module 1202A (F12). The management module 1202A creates the management index as visualization information so that the client computer 14 can refer to it. The presentation module 1202C accesses the management module 1202A (F13) and acquires visualization information (F14). As a management index, for example, it is a graph showing a time-series transition of related behavior. The management module 1202A can calculate characteristic values related to management targets such as working time required to complete one product, product manufacturing speed, and product manufacturing efficiency from the management index. The presentation module 1202C outputs the visualization information to the client computer 14 (F16) based on the request (F15) from the client computer 14.
図９は可視化された管理指標の一例である。横軸がカメラから画像が取得された時間であり、縦軸が推定された関連行動の評価値(「-２」〜「５」)である。関連行動の評価値が高いほど、作業終了（最終製品の出荷）への寄与度が大きいことを示す。図９に示すように、関連行動を線で接続することによって、関連行動の時系列的な推移、変移に係る情報が一見して分かるようになる。「運搬中」は、作業台設置エリアから製品を運搬するものであるため「運搬中」が推定されたタイミング(Ｓ１、Ｓ２、Ｓ３の夫々)で、製品の組み立てが終了したことになる。したがって、これらのタイミングの間の時間幅（作業の開始と終了の範囲）が、作業員が製品を組み立てるのに要する時間であるため、分析モジュール１２０２Ｂは、この時間から製品の製造速度、製造効率等の管理目標を算出することができる。 FIG. 9 is an example of a visualized management index. The horizontal axis is the time when the image was acquired from the camera, and the vertical axis is the estimated evaluation value of the related behavior (“-2” to “5”). The higher the evaluation value of the related behavior, the greater the contribution to the end of work (shipment of the final product). As shown in FIG. 9, by connecting the related behaviors with a line, the information related to the time-series transition and transition of the related behaviors can be understood at a glance. Since "during transportation" means that the product is transported from the workbench installation area, the assembly of the product is completed at the timing when "during transportation" is estimated (each of S1, S2, and S3). Therefore, since the time width (range of start and end of work) between these timings is the time required for the worker to assemble the product, the analysis module 1202B starts from this time to manufacture the product speed and efficiency. It is possible to calculate management goals such as.
算出された管理目標は、作業員の行動を直に反映しているため、管理者はこの管理目標に基づいて作業員の行動を直接改善できる。図９に示すように、推定された関連行動の評価の変移に基づいて、作業員の適切ではない行動の発生点、作業員の行動の改善点等が明確になるため、作業員の行動に起因する管理目標の低下、悪化に対して迅速に対策をとることができる。 Since the calculated management goal directly reflects the behavior of the worker, the manager can directly improve the behavior of the worker based on this management goal. As shown in FIG. 9, based on the transition of the evaluation of the estimated related behavior, the occurrence point of the worker's inappropriate behavior, the improvement point of the worker's behavior, etc. are clarified. It is possible to take prompt measures against the deterioration and deterioration of management goals caused by it.
なお、分析モジュール１０２２Ａはエリア毎で推定された関連行動に応じて、全体画像中のエリアに識別情報を設定することができる。例えば、作業中のエリアを青の枠で囲む、部品を取り出したエリアではピンクの枠で囲む、何も作業をしていないエリアを白の枠で囲む等である。分析モジュール１０２２Ａは識別情報が付与された全体画像を工場内のモニタに出力することができる。工場内の管理者は、この全体画像からエリア毎の作業員の関連行動を一見して確認することができる。 The analysis module 1022A can set the identification information in the area in the whole image according to the related behavior estimated for each area. For example, the area where work is being done is surrounded by a blue frame, the area where parts are taken out is surrounded by a pink frame, and the area where nothing is being worked is surrounded by a white frame. The analysis module 1022A can output the entire image to which the identification information is added to the monitor in the factory. The manager in the factory can see at a glance the related behavior of the workers in each area from this whole image.
図１０は算出された管理目標を可視化した例である。分析モジュール１２０２Ｂは、推定された関連行動の変移に基づいて、製品１つを完成するまでの組み立て作業時間と組み立て完成数(個数)とを計算し、管理モジュール１２０２Ｂは、計算結果に基づいて、組立作業の効率をヒストグラムにして可視化させる。（１）は改善前の可視化情報である。管理者は、可視化情報から、製品の完成周期が予測値との偏差を求め、（１）のように、製品の完成周期にバラツキがある場合、その原因を調査して、必要な対策、例えば、部品の組立の順番を変える等を、完成周期を短縮させるための方策を採ることができる。（２）は、作業条件の改善後の可視化情報である。 FIG. 10 is an example of visualizing the calculated management target. The analysis module 1202B calculates the assembly work time and the number of completed assemblies (number) until one product is completed based on the estimated transition of related behavior, and the management module 1202B calculates the assembly completion number (number) based on the calculation result. Visualize the efficiency of assembly work as a histogram. (1) is visualization information before improvement. From the visualization information, the administrator finds the deviation of the product completion cycle from the predicted value, and if there is a variation in the product completion cycle as in (1), investigate the cause and take necessary measures, such as , The order of assembling parts can be changed, and other measures can be taken to shorten the completion cycle. (2) is visualization information after improvement of working conditions.
ここで、分析モジュール１０２２Ａの組立作業エリア（Ｌ１１）に対する画像認識動作をフローチャート（図１１）に基づいて説明する。分析モジュール１０２２Ａは、画像中の作業員の画像を認識し、これにディープラーニングを組み合わせて関連行動を推定する。 Here, the image recognition operation for the assembly work area (L11) of the analysis module 1022A will be described with reference to the flowchart (FIG. 11). The analysis module 1022A recognizes the worker's image in the image and combines it with deep learning to estimate the associated behavior.
分析モジュール１０２２Ａは、カメラ画像を記録するメモリ（エッジコンピュータ１０２内）から全体画像と、エリア情報（図５）を取得する（Ｓ１０１）。分析モジュール１０２２Ａは、全体画像から組立作業エリアＬ１１（図４）の画像を切り出して（Ｓ１０２）、同エリアの画像の画素情報を認識して同エリア内に作業員が存在するか否かを判定する（Ｓ１０３）。 The analysis module 1022A acquires the entire image and area information (FIG. 5) from the memory (inside the edge computer 102) for recording the camera image (S101). The analysis module 1022A cuts out an image of the assembly work area L11 (FIG. 4) from the entire image (S102), recognizes the pixel information of the image in the area, and determines whether or not a worker exists in the area. (S103).
分析モジュール１０２２Ａがこの判定を肯定すると、作業員が組立作業台を向いているか否かを判定する（Ｓ１０６）。分析モジュール１０２２Ａがこの判定を肯定すると、組立作業エリアＬ１１の画像から作業台設置エリアＬ１３の切り出し（Ｓ１０７）、同エリアの画像データから姿勢の推定を、ディープラーニングを利用して実行する（Ｓ１０８）。分析モジュール１０２２Ａが、Ｓ１０３を否定判定すると、全体画像から搬送エリアＬ１２の画像を切り出し（Ｓ１０４）、次いで、同エリアの画像データから姿勢の推定を、ディープラーニングを利用して実行する（Ｓ１０５）。分析モジュール１０２２Ａは、姿勢の推定結果に基づいて、ディープラーニングを利用して、関連行動を推定する（Ｓ１０９）。 When the analysis module 1022A affirms this determination, it is determined whether or not the worker is facing the assembly workbench (S106). If the analysis module 1022A affirms this determination, the workbench installation area L13 is cut out from the image of the assembly work area L11 (S107), and the posture is estimated from the image data of the area using deep learning (S108). .. When the analysis module 1022A determines that S103 is negative, the image of the transport area L12 is cut out from the entire image (S104), and then the posture is estimated from the image data of the same area by using deep learning (S105). The analysis module 1022A estimates the related behavior by using deep learning based on the estimation result of the posture (S109).
分析モジュール１０２２Ａは、搬送エリアＬ１２に人を認識できない場合は、姿勢の推定結果を「姿勢無」にする。なお、分析モジュール１０２２Ａは、Ｓ１０４において、搬送エリアに作業員が認識できるか否かを判定し、作業員が認識できない場合には、Ｓ１０５を行うことなく、フローチャートを終了してもよい。 When the analysis module 1022A cannot recognize a person in the transport area L12, the analysis module 1022A sets the posture estimation result to "no posture". In S104, the analysis module 1022A determines whether or not the worker can recognize the transport area, and if the worker cannot recognize it, the flowchart may be terminated without performing S105.
図１１に示すフローチャートによれば、分析モジュール１０２２Ａは、ディープラーニングを利用する処理に先立って、作業員の画像認識を行い、作業員が認識できない場合には、ディープラーニングを利用する処理をスキップできるために、分析モジュール１０２２Ａの負荷を低減することができる。 According to the flowchart shown in FIG. 11, the analysis module 1022A recognizes the image of the worker prior to the process using deep learning, and if the worker cannot recognize the image, the process using deep learning can be skipped. Therefore, the load on the analysis module 1022A can be reduced.
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例を含む。例えば、所定数のフレームの「所定数」をエリア毎に変えてもよい。また、計算機システムを製造現場の他、店舗での販売管理の領域に適用することができる。さらに、上記した実施形態は本発明を分かりやすく説明するためにものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、実施形態の構成の一部を他の構成で置き換えること、削除することの他、他の構成を付加することも可能である。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the "predetermined number" of a predetermined number of frames may be changed for each area. In addition, the computer system can be applied not only to the manufacturing site but also to the area of sales management in stores. Further, the above-described embodiment is for explaining the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the configurations described. In addition to replacing or deleting a part of the configuration of the embodiment with another configuration, it is also possible to add another configuration.
１０ 第１のシステム(現場側)
１２ 第２のシステム（クラウド側）
１００ カメラ
１０２ エッジコンピュータ
１２０ サーバ
10 First system (on-site side)
12 Second system (cloud side)
100 Camera 102 Edge Computer 120 Server
Claims (7)
前記計算機システムはコントローラを備え、
前記コントローラは、前記領域に対する管理のためのプログラムを実行することによって、
前記領域を撮影するカメラから所定時間毎に画像を取得することと、
所定時間毎に取得された複数の画像に基いて、前記領域に含まれる人物の行動を推定することと、
前記人物の行動の時系列情報を作成することと、
前記時系列情報に基いて前記領域の管理に対する管理指標を作成することと、
前記管理指標を可視化して管理計算機が参照できるようにすることと、
を備える計算機システム。 A computer system that supports management of areas
The computer system includes a controller
The controller executes a program for management of the area.
Acquiring an image from a camera that captures the area at predetermined time intervals
Estimating the behavior of a person included in the area based on a plurality of images acquired at predetermined time intervals, and
Creating time-series information on the behavior of the person
Creating a management index for the management of the area based on the time series information,
To visualize the management index so that the management computer can refer to it.
Computer system equipped with.
前記コントローラは、
前記複数のカメラ夫々から得た画像を合成して、前記領域の全体を俯瞰する全体画像を作成することをさらに備える請求項１記載の計算機システム。 The area includes a plurality of the cameras.
The controller
The computer system according to claim 1, further comprising synthesizing images obtained from each of the plurality of cameras to create an overall image that gives a bird's-eye view of the entire region.
前記コントローラは、
前記全体画像から複数のエリアのうちの所定のエリアの画像を切り取り、
前記所定のエリアの画像に基いて、当該エリアの画像に含まれる人物の行動を推定する
請求項２記載の計算機システム。 The area is composed of a plurality of areas.
The controller
An image of a predetermined area among a plurality of areas is cut out from the whole image,
The computer system according to claim 2, wherein the behavior of a person included in the image of the predetermined area is estimated based on the image of the predetermined area.
所定時間毎に取得された複数の画像夫々について前記人物の姿勢を推定し、
前記複数の画像夫々の姿勢の推定結果を組み合わせて、前記人物の行動を推定する
請求項１記載の計算機システム。 The controller
The posture of the person is estimated for each of the plurality of images acquired at predetermined time intervals, and the posture of the person is estimated.
The computer system according to claim 1, wherein the behavior of the person is estimated by combining the estimation results of the postures of the plurality of images.
所定時間毎に取得された複数の画像に対する学習の結果を利用して、前記人物の姿勢と行動とを推定する
請求項４記載の計算機システム。 The controller
The computer system according to claim 4, wherein the posture and behavior of the person are estimated by using the learning results for a plurality of images acquired at predetermined time intervals.
前記学習を、
所定時間毎に取得された複数の画像をレビューワに提供することと、
前記レビューワが前記複数の画像の夫々に対して前記姿勢のラベルを付与することと、
前記レビューワが前記複数の画像に対して前記行動のラベルを付与することと、
によって、実行する請求項５記載の計算機システム。 The controller
The learning
Providing multiple images acquired at regular intervals to the reviewer,
The reviewer assigns the posture label to each of the plurality of images, and
When the reviewer assigns the behavior label to the plurality of images,
5. The computer system according to claim 5.
前記領域に含まれる人物の行動の推定結果に基いて、当該人物の作業の開始と終了とを判定する
請求項１記載の計算機システム。
The controller
The computer system according to claim 1, wherein the start and end of the work of the person are determined based on the estimation result of the behavior of the person included in the area.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018002257A JP6817974B2 (en) | 2018-01-10 | 2018-01-10 | Computer system |
| PCT/JP2018/047126 WO2019138843A1 (en) | 2018-01-10 | 2018-12-20 | Computer system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018002257A JP6817974B2 (en) | 2018-01-10 | 2018-01-10 | Computer system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019121294A JP2019121294A (en) | 2019-07-22 |
| JP6817974B2 true JP6817974B2 (en) | 2021-01-20 |
Family
ID=67219706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018002257A Active JP6817974B2 (en) | 2018-01-10 | 2018-01-10 | Computer system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6817974B2 (en) |
| WO (1) | WO2019138843A1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7427894B2 (en) * | 2019-09-19 | 2024-02-06 | コニカミノルタ株式会社 | Work involvement situation evaluation device, work involvement situation evaluation method and program |
| JP7458623B2 (en) * | 2019-10-17 | 2024-04-01 | 国立大学法人九州大学 | Work analysis device and work analysis method |
| JP2021125183A (en) * | 2020-02-10 | 2021-08-30 | オムロン株式会社 | Workload analysis apparatus, workload analysis method, and program |
| EP4276741A4 (en) * | 2021-01-08 | 2024-08-07 | Konica Minolta Inc | Analysis device, analysis system, analysis program, and analysis method |
| JP2023020547A (en) * | 2021-07-30 | 2023-02-09 | 株式会社クボタ | Work management device, work management method, and execution work estimation model |
| WO2023017647A1 (en) * | 2021-08-12 | 2023-02-16 | ソニーセミコンダクタソリューションズ株式会社 | Behavior analysis device, behavior analysis method, behavior analysis program, imaging device and behavior analysis system |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006178583A (en) * | 2004-12-21 | 2006-07-06 | Yokogawa Electric Corp | Worker action recording system |
| JP6549545B2 (en) * | 2016-10-11 | 2019-07-24 | ファナック株式会社 | Control device and robot system for learning a human action and controlling a robot |
| JP6907634B2 (en) * | 2017-03-28 | 2021-07-21 | 日本電気株式会社 | Work support equipment, work support methods, and work support programs |
-
2018
- 2018-01-10 JP JP2018002257A patent/JP6817974B2/en active Active
- 2018-12-20 WO PCT/JP2018/047126 patent/WO2019138843A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019138843A1 (en) | 2019-07-18 |
| JP2019121294A (en) | 2019-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6817974B2 (en) | Computer system | |
| US12093022B2 (en) | Systems and methods for automatic job assignment | |
| JP6935368B2 (en) | Machine learning equipment and methods | |
| US8412656B1 (en) | Method and system for building a consumer decision tree in a hierarchical decision tree structure based on in-store behavior analysis | |
| WO2021036671A1 (en) | Digital twin-based intelligent vibration detection method and device | |
| CA3014403A1 (en) | Tracking and/or analyzing facility-related activities | |
| JP6120404B2 (en) | Mobile body behavior analysis / prediction device | |
| US20210216938A1 (en) | Enterprise platform for enhancing operational performance | |
| US20210216914A1 (en) | Information processing device, information processing method, and information processing program | |
| US11443513B2 (en) | Systems and methods for resource analysis, optimization, or visualization | |
| JP2023103345A (en) | Systems and methods for object historical association | |
| US10417599B2 (en) | Time and motion data fusion for high fidelity data sets | |
| KR102543064B1 (en) | System for providing manufacturing environment monitoring service based on robotic process automation | |
| WO2018008702A1 (en) | Behavior detection system | |
| US20220366244A1 (en) | Modeling Human Behavior in Work Environment Using Neural Networks | |
| CN110059069A (en) | System and method for detecting and predicting the behavior of goal systems | |
| CN110163084A (en) | Operator action measure of supervision, device and electronic equipment | |
| Alsakka et al. | Computer vision-based process time data acquisition for offsite construction | |
| WO2018221488A1 (en) | Know-how information processing system, method and device | |
| WO2020039559A1 (en) | Information processing device, information processing method, and work evaluation system | |
| Jeong et al. | Data Preparation for AI-Assisted Video Analysis in Manual Assembly Task: A Step Towards Industry 5.0 | |
| CN112860956A (en) | Multivariate environmental data analysis method and system | |
| JP2020035254A (en) | Installation environment estimation device and program | |
| US20230075067A1 (en) | Systems and Methods for Resource Analysis, Optimization, or Visualization | |
| EP3828734A1 (en) | Method of performing a data collection procedure for a process which uses artificial intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180126 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201225 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6817974 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |