JP7234787B2 - 作業分析装置、作業分析方法およびプログラム - Google Patents

作業分析装置、作業分析方法およびプログラム Download PDF

Info

Publication number
JP7234787B2
JP7234787B2 JP2019088930A JP2019088930A JP7234787B2 JP 7234787 B2 JP7234787 B2 JP 7234787B2 JP 2019088930 A JP2019088930 A JP 2019088930A JP 2019088930 A JP2019088930 A JP 2019088930A JP 7234787 B2 JP7234787 B2 JP 7234787B2
Authority
JP
Japan
Prior art keywords
work
worker
time chart
unit
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019088930A
Other languages
English (en)
Other versions
JP2020184250A (ja
Inventor
一哲 北角
清明 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019088930A priority Critical patent/JP7234787B2/ja
Priority to DE112020002321.4T priority patent/DE112020002321T5/de
Priority to PCT/JP2020/006530 priority patent/WO2020225958A1/ja
Priority to US17/607,166 priority patent/US20220215327A1/en
Priority to CN202080032397.6A priority patent/CN113811825B/zh
Publication of JP2020184250A publication Critical patent/JP2020184250A/ja
Application granted granted Critical
Publication of JP7234787B2 publication Critical patent/JP7234787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • G06Q10/063114Status monitoring or status determination for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、作業分析装置、作業分析方法およびプログラムに関する。
従来のライン生産方式は、単一製品の大量生産には適しているが、多品種の少量生産への対応が困難な場合がある。このため、多品種少量生産に適したセル生産方式の普及が進んでいる。セル生産方式は、1人または少数の作業者が、部品や工具をU字型などに配置
したセルと呼ばれるラインで製品の組立を完成させる生産方式である。
セル生産方式による生産工程での問題点を抽出して改善するため、撮像映像で人を追跡し、各工程における作業者の作業時間および移動量などを分析する技術や、作業者の動線を自動的に記録する技術が提案されている(例えば、特許文献1、2を参照)。
特開2018-073176号公報 特開2018-010366号公報
しかしながら、作業者の動線を分析しても、例えばU字型のセルラインでは、各セルに囲まれた移動領域における作業者の向きが分からず、どのセル(作業台)に対して作業をしているのか正確に把握されない場合がある。この場合、各セルで実施される工程の作業時間を正確に計測することが難しく、作業者による工程漏れを検出したり、セルの配置が適切であるかを評価したりすることは困難であった。
本発明は、一側面では、上述した課題を解決するためになされたものであり、セル生産方式において、作業者による作業の工程を、より正確に把握する技術を提供することを目的とする。
上記課題を解決するため、本発明の一側面では以下の構成を採用する。
本発明の第一側面は、複数の工程を含む作業を分析する作業分析装置であって、作業領域の撮像画像を受信する受信部と、前記撮像画像を解析して、前記作業領域で作業をする作業者の位置および向きを検出する検出部と、前記作業者の位置および向きに基づいて、前記作業者が作業中の工程を判定する判定部と、前記工程ごとに作業時間を計測し、前記作業者が実施した作業の工程を示すタイムチャートを生成する生成部と、を備えることを特徴とする作業分析装置を提供する。
「作業領域」は、複数の工程を含む一連の作業を実施するための領域である。例えば、セル生産方式では、作業領域には、各工程に対応する作業台が工程順に配置され、各作業台にはそれぞれの工程で使用される部品および工具などが配置される。「撮像画像」は、例えば、広角カメラまたは魚眼カメラによって作業領域を撮像した画像である。「タイムチャート」は、作業者が実施した工程の順序および工程ごとの作業時間(以下、実績時間とも称される)を含むデータであり、表またはグラフなどの表示態様によりユーザに提示される。
上述の作業分析装置は、作業領域の撮像画像から作業者である人体を検出し、作業者の位置および向きに基づいて、作業者がどの工程を実施しているかをより正確に把握することができる。また、作業分析装置は、工程ごとの作業時間を計測することでタイムチャートを生成し、作業者による作業の工程を、より正確に把握することができる。
作業分析装置は、前記撮像画像を撮像し前記受信部に送信する撮像部を、さらに備えるものであってもよい。作業分析装置は、カメラ(撮像部)と一体として構成され、作業領域の全体を撮像可能な位置に設置される。このような作業分析装置は、簡易な装置により、作業領域での作業を分析することができる。
作業分析装置は、前記タイムチャートに含まれる工程を、基準となる作業に含まれる基準工程と対比し、前記基準工程に対応する作業台への部品の配置について、改善の要否を分析する配置分析部を、さらに備えるものであってもよい。タイムチャートは、作業者が実施した工程および作業時間の情報を示す。基準となる作業は、予め定められた工程の流れ(基準工程)である。作業領域における作業台は、基準工程に従って配置される。作業分析装置は、タイムチャートに含まれる工程と基準工程とを対比することで、作業者が実施した工程について、改善の要否を精度よく分析することができる。
前記配置分析部は、前記タイムチャートに含まれる工程の順序が、前記基準工程の順序と異なる場合に、前記部品の配置について改善を要すると分析するものであってもよい。配置分析部は、タイムチャートに含まれる工程の順序と基準工程の順序と対比する。配置分析部は、簡易な判定により、部品配置の改善要否を分析することができる。
前記配置分析部は、前記タイムチャートに含まれる工程間の遷移を点数化し、各工程間の遷移に対する点数の合計が所定の閾値以上である場合に、前記部品の配置について改善を要すると分析するものであってもよい。配置分析部は、タイムチャートに含まれる工程の順序と基準工程の順序とが異なる場合であっても、各工程間の遷移に対する点数の合計が所定の閾値未満である場合には、改善不要と分析する。このように、配置分析部は、タイムチャートに含まれる工程間の遷移を点数化することで、改善の要否を柔軟に分析することができる。
作業分析装置は、前記タイムチャートに含まれる工程の前記作業者による作業時間が、該工程に対して予め定められた標準時間に対し、所定の割合以上に短い場合、前記作業者による該工程の作業漏れであると分析する工程分析部を、さらに備えるものであってもよい。「標準時間」は、基準工程の各工程ごとに定められた標準の作業時間であり、基準となる作業に含まれる基準工程の情報とともに作業分析装置の補助記憶装置に記憶させておくことができる。作業者による工程の作業時間が、標準時間に対して所定の割合以上に短い場合、その工程は実施されていないことが想定される。この場合、工程分析部は、作業時間が所定の割合以上に短い工程を、作業漏れと分析することができる。工程分析部は、作業者の作業をより正確に把握することで、作業漏れを適切にユーザに提示することができる。
本発明の第二側面は、複数の工程を含む作業を分析する作業分析方法であって、作業領域の撮像画像を受信する受信ステップと、前記撮像画像を解析して、前記作業領域で作業をする作業者の位置および向きを検出する検出ステップと、前記作業者の位置および向きに基づいて、前記作業者が作業中の工程を判定する判定ステップと、前記作業中の工程ごとに作業時間を計測し、前記作業者が実施した作業のタイムチャートを生成する生成ステップと、を含むことを特徴とする作業分析方法を提供する。
本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、セル生産方式における作業者の作業内容を、より正確に把握する技術を提供することができる。
図1は、本発明に係る作業分析装置の適用例を示す図である。 図2は、作業分析装置の機能構成を例示する図である。 図3は、作業分析処理を例示するフローチャートである。 図4は、作業者の向きの検出方法の例を説明する図である。 図5は、作業者の向きの検出方法の例を説明する図である。 図6は、作業中の工程の判定方法について説明する図である。 図7は、タイムチャートを表形式で示した例を示す図である。 図8は、タイムチャートをグラフ化した例を示す図である。 図9は、作業台への部品の配置分析の例を説明する図である。 図10は、点数化による部品の配置分析の例を説明する図である。 図11は、工程分析の例を説明する図である。
<適用例>
図1を参照して、本発明に係る作業分析装置の適用例を説明する。作業分析装置1は、作業領域の上方に設置されたカメラ2によって撮像された画像を、ネットワークを介して受信する。作業分析装置1は、受信した撮像画像から作業者の位置および体の向きを検出し、検出結果に基づいて作業者による作業工程の流れを示すタイムチャートを生成する。作業分析装置1は、生成したタイムチャートを基準となる作業のタイムチャート(基準工程)と対比することにより、例えば、作業台への部品の配置、および作業者による作業工程等が適切であるか否かを分析する。
作業分析装置1は、カメラ2による撮像画像を受信する。作業分析装置1は、撮像画像から人体を検出し、人体の位置および向きを検出する。作業分析装置1は、人体の位置および向きに基づいて、作業者の作業内容、すなわち複数の作業台(セル)のうち、どの作業台で作業をしているかを判定することができる。
作業分析装置1は、各作業台での作業時間を計測することにより、作業者による作業工程の流れを示すタイムチャートを生成することができる。作業分析装置1は、生成したタイムチャートを予め用意された基準のタイムチャートと対比することにより、作業台が適切に配置されているか、作業者による作業工程等が適切であるか等を分析する。作業分析装置1による分析結果は、ユーザに提示される。ユーザは、作業分析装置1による分析結果を、例えば、作業台の配置換え、作業台に置かれた部品の取り換え、基準のタイムチャートの見直しなどに利用することができる。
カメラ2は、作業領域を見下ろすように設置されてもよく、作業者の移動領域に向けて、作業台の周囲に設置されてもよい。カメラ2は、複数台、例えば作業台ごとに設置されてもよい。カメラ2は、作業領域における作業者の位置および体の向きが認識可能な範囲を撮像できればよく、例えば、広角カメラまたは魚眼カメラを用いることができる。
なお、作業分析装置1は、カメラ2(撮像部)と一体に構成されてもよい。また、撮像
画像における人体の検出処理等、作業分析装置1の処理の一部は、カメラ2で実行されてもよい。さらに、作業分析装置1による分析結果は、外部の装置に送信されユーザに提示されるようにしてもよい。
上述の作業分析装置1は、作業領域の撮像画像を解析して、作業者の位置および向きを検出する。作業分析装置1は、作業者の向きを検出することで、作業者がどの作業台に対して作業をしているか、すなわち、どの工程の作業を実施しているかを、より正確に把握することができる。また、作業分析装置1は、作業者による作業の工程の流れを示すタイムチャートをより正確に生成することができる。したがって、作業分析装置1は、作業台が適切に配置されているか、作業者による工程の流れが適切であるか等をより正確に分析することができる。
<実施形態>
(装置構成)
図1を参照して、実施形態に係る作業分析装置1のハードウェア構成の一例について説明する。作業分析装置1は、プロセッサ101、主記憶装置102、補助記憶装置103、通信インタフェース104、出力装置105を備える。プロセッサ101は、補助記憶装置103に記憶されたプログラムを主記憶装置102に読み出して実行することにより、図2で説明する各機能構成としての機能を実現する。通信インタフェース(I/F)104は、有線又は無線通信を行うためのインタフェースである。出力装置105は、例えば、ディスプレイ等の出力を行うための装置である。
作業分析装置1は、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。ただし、一装置または全装置の機能は、ASICやFPGAなど専用のハードウェア装置によって実現されてもよい。
作業分析装置1は、有線(USBケーブル、LANケーブルなど)または無線(WiFiなど)でカメラ2に接続され、カメラ2で撮影された画像データを受信する。カメラ2は、レンズを含む光学系および撮像素子(CCDやCMOSなどのイメージセンサ)を有する撮像装置である。
次に、図2を参照して、作業分析装置1の機能構成の一例について説明する。図2は、作業分析装置1の機能構成を例示する図である。作業分析装置1は、受信部10、検出部11、工程管理テーブル12、判定部13、タイムチャート生成部14、配置分析部15、工程分析部16、出力部17を含む。
受信部10は、カメラ2から撮像画像を受信する機能を有する。受信部10は、受信した撮像画像を検出部11に引き渡す。受信部10は、受信した撮像画像を補助記憶装置103に格納してもよい。
検出部11は、カメラ2の撮像画像を解析し、作業者である人体を検出する機能を有する。検出部11は、人体検出部11A、位置検出部11B、向き検出部11Cを含む。人体検出部11Aは、人体を検出するアルゴリズムを用いて、撮像画像から人体を検出する。位置検出部11Bは、検出した人体の位置を検出する。人体の位置は、例えば、検出した人体を囲む矩形の中心の座標とすることができる。向き検出部11Cは、検出した人体が、どの作業台に向いているかを検出する。向き検出部11Cは、例えば、人体の撮像画像を教師データとするAIによって、または頭部と腕の位置関係等に基づいて作業者の向きを検出する。
工程管理テーブル12は、各工程に関する情報を格納する。例えば、工程管理テーブル12には、作業台の位置情報が、当該作業台に対応する工程と対応付けて格納される。作業台の位置情報は、カメラ2の設置位置に応じて予め算出し、工程管理テーブル12に記憶しておくことができる。また、工程管理テーブル12は、基準となる作業に関する情報を格納する。例えば、工程管理テーブル12には、基準となる作業に含まれる基準工程の情報、および各基準工程の作業を実施する標準の作業時間(標準時間)が格納される。
判定部13は、作業者がどの工程の作業を実施しているかを判定する機能を有する。判定部13は、工程管理テーブル12を参照し、検出部11よって検出された人体(作業者)の位置および向きから、作業者が向き合っている作業台を特定し、作業者が実施している作業の工程を判定する。
タイムチャート生成部14は、タイムチャートを生成する機能を有する。タイムチャート生成部14は、判定部13の判定結果に基づいて、作業者が実施している工程での作業時間を計測する。作業時間は、例えば、作業者が当該工程に対応する作業台にとどまっている撮像画像のフレーム数、およびフレームレートから算出可能である。タイムチャート生成部14は、各工程での作業時間に基づいてタイムチャートを生成する。
配置分析部15は、作業台への部品の配置が適切であるか否かを分析する機能を有する。配置分析部15は、生成されたタイムチャートに含まれる工程(の流れ)を、基準工程(の流れ)と対比して、部品の配置が適切であるか否かを分析することができる。
工程分析部16は、タイムチャートに含まれる工程(作業者が実施した工程)のうち、作業漏れの工程があるか否かを分析する機能を有する。タイムチャート生成部14によって生成されたタイムチャートに含まれる工程を、基準となる作業に含まれる基準工程と対比することで、生成されたタイムチャートに作業漏れがないかを確認する。
出力部17は、タイムチャート生成部14が生成したタイムチャート、配置分析部15および工程分析部16による分析結果をディスプレイ等に表示させる機能を有する。出力部17は、生成したタイムチャートおよび分析結果を外部装置に送信し、外部装置で表示させるようにしてもよい。
(作業分析処理)
図3に沿って作業分析処理の全体的な流れを説明する。図3は、作業分析処理を例示するフローチャートである。図3の作業分析処理は、作業者が一連の作業を実施している間、カメラ2から受信した撮像画像を順次解析し、作業者による作業が完了した後、タイムチャートを生成する例を示す。なお、タイムチャートは、作業者による作業が完了した後に生成される場合に限られず、撮像画像の受信および解析と並行して生成されてもよい。
ステップS20では、受信部10は、カメラ2から撮像画像を受信する。受信部10は、受信した撮像画像を検出部11に引き渡す。
ステップS21では、検出部11は、受信部10から取り込んだ撮像画像から人体を検出し(人体検出部11A)、検出した人体の位置および向きを検出する。なお、人体検出にはどのようなアルゴリズムを用いてもよい。例えば、HoGやHaar-likeなどの画像特徴とブースティングを組み合わせた識別器を用いてもよいし、ディープラーニング(例えば、R-CNN、Fast R-CNN、YOLO、SSDなど)による人体認識を用いてもよい。
また、検出部11(位置検出部11B)は、検出した人体の撮像画像における位置を検
出する。人体の位置は、例えば、検出した人体を囲む矩形の中心の座標として特定することができる。この他、人体の位置は、例えば作業領域を格子状に分割し、どの領域に存在するかによって特定してもよい。
また、検出部11(向き検出部11C)は、検出した人体(作業者)の向きを検出する。ここで、図4および図5を参照して、作業者の向きを検出する方法について説明する。図4および図5は、作業者の向きの検出方法の例を説明する図である。
図4は、1台のカメラ2が作業領域を見下ろすように設置されている場合の例を示す。図4(A)は、作業者を天井側から撮像した撮像画像のうち、作業者の周囲の画像である。向き検出部11Cは、例えば、頭上側から撮像した人体の撮像画像を教師データとして学習したCNN等のAIによって作業者の向きを検出することができる。
また、図4(B)に示すように、向き検出部11Cは、x軸を基準とした顔の向きθfaceおよび体の向きθbodyを、AIによって個別に検出してもよい。この場合、向き検出部11Cは、顔の向きθfaceおよび体の向きθbodyに重み係数α、βを乗算し、以下の式1により算出した向きを、人体の向きと定義することができる。
θ=αθface+βθbody (0≦θ≦2π,α+β=1) …(式1)
例えばα=β=1/2とし、人体の向きは、顔の向きθfaceと体の向きθbodyとの平均値としてもよい。また、α=2/3、β=1/3とし、顔の向きθfaceを優先させて人体の向きを特定(検出)してもよい。
さらに、向き検出部11Cは、頭部、腕、手の相互の位置関係に基づいて、人体の向きを検出してもよい。例えば、向き検出部11Cは、頭部の中心から左右それぞれの手の先端に伸びる線分を2等分する線分の向きを、人体の向きとしてもよい。
図5は、複数台のカメラ2が、作業者の横側から撮像するように設置されている場合の例を示す。図5(A)は、作業者を作業台に設置されたカメラ2により横側から撮像した撮像画像である。向き検出部11Cは、例えば、作業者の横側から撮像した人体の撮像画像を教師データとして学習したCNN等のAIによって人体の向きを検出することができる。
また、図5(B)に示すように、向き検出部11Cは、y軸(カメラ2の正面)を基準とした顔の向きθfaceおよび体の向きθbodyを、AIによって個別に検出してもよい。この場合、向き検出部11Cは、顔の向きθfaceおよび体の向きθbodyに重み係数α、βを乗算し、以下の式2により算出した向きを、人体の向きと定義することができる。
θ=αθface+βθbody (-π/2≦θ≦π/2,α+β=1) …(式2)
図4の場合と同様に、αおよびβは、顔の向きθfaceまたは体の向きθbodyの優先度に応じて適宜設定することができる。
さらに、向き検出部11Cは、頭部、体、腕、手の相互の位置関係に基づいて、人体の向きを検出してもよい。例えば、向き検出部11Cは、体に対する腕の角度に基づいて、人体の向きを推定してもよい。
図3のステップS22では、判定部13は、ステップS21で検出した人体(作業者)が作業中の工程を判定する。ここで、図6により、作業中の工程の判定について説明する。作業中の工程は、作業者の位置または向きに基づいて判定することができる。
図6は、作業中の工程の判定方法について説明する図である。図6は、工程A~Gを含む作業を実施するための作業領域を例示する。作業領域には、工程A~Gのそれぞれに対応する作業台(以下、それぞれ作業台A~Gのように記載する)が設置されている。作業台A~Gに囲まれた領域は、作業者が作業中に移動する移動領域である。移動領域は、3つの移動領域a~cに分けられる。移動領域aは、作業台C、作業台D、作業台Eに囲まれる領域である。移動領域bは、作業台Bと作業台Fとの間の領域である。移動領域cは、作業台Aと作業台Gとの間の領域である。作業台A~Gおよび移動領域a~cの位置情報は、予め工程管理テーブル12に記憶されている。
判定部13は、工程管理テーブル12から移動領域a~cの位置情報を取得し、ステップS21で検出した作業者の位置情報に基づいて、作業者がどの移動領域に存在するかを判定する。また、判定部13は、工程管理テーブル12から作業台A~Gの位置情報を取得し、ステップS21で検出した作業者の位置および向きの情報に基づいて、どの作業台に対して作業をしているかを判定することができる。すなわち、判定部13は、作業者がどの工程の作業をしているかを判定することができる。また、判定部13は、作業者が現在作業中の工程から次の工程に移ったタイミングを判定することができる。
判定部13は、作業者が次の工程に移るまでの撮像画像のフレーム数をカウントすることにより、各工程の作業時間を算出することができる。判定部13は、算出した各工程の作業時間を、補助記憶装置103に格納してもよい。
ステップS23では、検出部11(人体検出部11A)は、作業者による作業が完了したか否かを判定する。人体検出部11Aは、例えば、受信部10から取り込んだ撮像画像から人体が検出されなかった場合に、作業者による作業が完了したと判定することができる。また、人体検出部11Aは、作業者が最後の工程を実施する作業台Gから、最初の工程を実施する作業台Aに向きを変えた場合に、作業者による作業が完了したと判定してもよい。作業者による一連の作業が完了した場合(ステップS23:YES)、処理はステップS24に進む。作業者による作業が完了していない場合(ステップS23:NO)、処理はステップS20に戻る。ステップS20に戻り、作業が完了するまでの間、受信部10から取り込んだ撮像画像の各フレームに対し、ステップS20からステップS22までの処理が繰り返される。
ステップS24では、タイムチャート生成部14は、作業者が実施した工程の流れを示すタイムチャートを生成する。生成されたタイムチャートは、例えば、出力装置105であるディスプレイ等に表示される。ここで、図7および図8を用いて、タイムチャート生成部14が生成するタイムチャートの例を説明する。図7および図8は、作業者Xおよび作業者Yが、工程A~工程Gを含む作業を実施した場合のタイムチャートの例を示す。
図7は、タイムチャートを表形式で示した例を示す図である。表形式のタイムチャートT70は、工程、標準時間、作業者X、作業者Yのフィールドを含む。工程フィールドは、各作業者が実施する作業に含まれる工程を示す。標準時間フィールドは、各工程の作業を実施するために想定される標準時間を示す。標準時間は、各工程の作業内容に応じて予め定められた時間であり、工程管理テーブル12に格納されている。図7の例では、標準時間の単位は分である。作業者Xフィールドは、作業者Xが各工程の作業を実施するために要した時間を示す。作業者Yフィールドは、作業者Yが各工程の作業を実施するために要した時間を示す。作業者Xフィールドおよび作業者Yフィールドに示す時間の単位は分である。
作業者Xが工程C、Dに要した時間はいずれも2分である。工程C、Dの標準時間はいずれも3分である。作業者Xは、工程C、Dを標準時間よりも短い時間で実施しており、
作業者Xの工程C、Dに対応する欄は、点線で囲まれて強調表示される。これに対し、作業者Yが工程A、Dに要した時間はそれぞれ5分、6分である。工程A、Dの標準時間はいずれもそれぞれ2分、3分である。作業者Yは、工程A、Dを標準時間よりも長い時間で実施しており、作業者Yの工程A、Dに対応する欄は、二重線で囲まれて強調表示される。
タイムチャートT70は、各作業者による各工程の作業時間が標準時間よりも短い場合、または長い場合、対応する欄を強調表示をすることができる。これにより、ユーザは各作業者の作業の遅れ等を容易に把握することができる。なお、強調表示は、点線または二重線で囲む場合に限られず、強調表示する欄の背景色を変えて強調することも可能である。
図8は、タイムチャートをグラフ化した例を示す図である。図8に示すタイムチャートT80の縦軸は工程、横軸は時間である。図8のタイムチャートT80は、図7で示す作業者Xおよび作業者Yの作業時間をグラフ化したものである。ユーザは、タイムチャートT80により各作業者の作業全体にかかった作業時間を容易に把握することができる。
図3のステップS25では、配置分析部15は、各作業者のタイムチャートに基づいて、各作業台に置かれた部品の配置が適切であるか否かを分析する。また、工程分析部16は、各作業者のタイムチャートを基準となる作業と対比し、作業者による作業の工程を分析する。工程分析部16は、例えば、作業時間が短かった工程は実施されなかったと判定することで、工程漏れの分析をすることができる。
ここで、図9~図11を用いて、配置分析部15および工程分析部16による分析方法の例を説明する。図9および図10は、部品の配置分析の例を説明するための図である。また、図11は、工程分析の例を説明するための図である。
図9は、作業台への部品の配置分析の例を説明する図である。図9の例では、配置分析部15は、タイムチャートに含まれる工程の順序を、基準となる作業に含まれる基準工程の順序と対比することにより、各作業台に置かれる部品の配置を分析する。図9に示すタイムチャートT90の縦軸は工程、横軸は時間である。また、基準となる作業の基準工程は、「基準工程:A→B→C→D→E→F→G」であるものとする。
図9に示すタイムチャートT90では、作業者が実施した実績工程は、「実績工程:A→B→C→D→C→D→C→E→F→G」となっている。工程Cから工程Eまで(図9のタイムチャートT90において矩形で囲まれた部分)の工程は、基準工程と異なる。この場合、作業者は、工程Cで使用される部品が作業台Dに置かれているために、作業台Cと作業台Dとの間の移動を繰り返すことが考えられる。このように、作業者による実績工程の順序が基準工程の順序と異なる場合、配置分析部15は、部品の配置について改善を要すると分析する。
図10は、点数化による部品の配置分析の例を説明する図である。図10は、各工程間を遷移する際の点数を示す。基準工程は、「基準工程:A→B→C→D→E」であるものとして説明する。基準工程の点数の合計(以下、スコアと称する)は、工程間を移動するごとに+1が加算され、基準工程のスコア=5となる。
以下の3つのパターンについてスコアを算出する。
パターン1:A→B→C→D→E スコア=4
パターン2:A→B→C→B→C→D→E スコア=6
パターン3:A→B→D→B→C→D→E スコア=8
図10に示す点数に基づいて、各パターンのスコアを算出すると、パターン1は、基準工程と同じであるためスコア=4となる。パターン2は、基準工程に加えて「(B)→C→B」の工程が発生しているためスコア=6となる。パターン3は、基準工程に加えて「(B)→D→B」の工程が発生しているためスコア=8となる。
配置分析部15は、このように算出した実績工程のスコアが、所定の閾値以上である場合に、部品の配置について改善を要すると分析する。例えば、所定の閾値を7とした場合、配置分析部15は、パターン1およびパターン2の実績工程を正常と判定し、パターン3の実績工程を要改善と判定することができる。
図10で例示した工程間の遷移に対する加点の点数、および改善の要否を判定するための所定の閾値は、上記の例に限られない。例えば、工程間の遷移に対する加点の点数は、工程に対応する作業台間の距離に応じた点数としてもよい。また、所定の閾値は、一連の作業に含まれる工程の数に応じて増減させてもよい。
図11は、工程分析の例を説明する図である。図11に示す分析結果T110は、工程、標準時間、1回目、2回目のフィールドを含む。工程フィールドは、各作業者が実施する作業に含まれる工程を示す。標準時間フィールドは、各工程の作業を実施するために想定される標準時間を示す。標準時間は、各工程の作業内容に応じて予め定められた時間であり、工程管理テーブル12に格納されている。図11の例では、標準時間の単位は分である。1回目フィールドは、1回目の作業において各工程の実施に要した作業時間を示す。2回目フィールドは、2回目の作業において各工程の実施に要した作業時間を示す。1回目フィールドおよび2回目フィールドに示す時間の単位は分である。また、1回目フィールドおよび2回目フィールドは、作業時間とともに、標準時間に対する増減の割合を示す。工程分析部16は、各工程の作業時間が、所定の割合以上、例えば80%以上短い場合、作業者による当該工程の作業漏れであると分析することができる。
図11の例では、2回目の作業における工程Bの作業時間は1であり、標準時間5と比較して80%短くなっている。所定の割合を80%とすると、工程分析部16は、2回目の作業において、工程Bは作業漏れであると分析する。工程分析部16は、作業漏れのほか、各工程の作業時間が所定の割合より長い場合、余分な作業が実施されたと分析することができる。
図3のステップS26では、出力部17は、ステップS24で生成したタイムチャートおよびステップS25で分析した結果を、作業分析装置1が備えるディスプレイ等に表示する。出力部17は、ユーザの指示により、タイムチャートの表示と分析結果の表示とを切り替えるようにしてもよい。また、出力部17は、ユーザの指示により、タイムチャートの表示態様(例えば、表形式、グラフ等の表示態様)を切り替えるようにしてもよい。
<実施形態の作用効果>
上記実施形態では、作業分析装置1は、作業者の位置および向きに基づいて、作業者がどの作業台に対して作業をしているか、すなわち、どの工程を実施しているかをより正確に把握することができる。
作業分析装置1は、タイムチャート生成部14によってタイムチャートを生成する。配置分析部15は、タイムチャートに含まれる工程を、基準となる作業の基準工程と対比することにより、部品の配置について改善要否を分析することができる。また、配置分析部15は、タイムチャートで示される工程の流れを、工程間の遷移に対して設定された点数に基づいて点数化してもよい。配置分析部15は、タイムチャートに含まれる工程間の遷移を点数化することで、改善の要否を柔軟に分析することができる。
工程分析部16は、タイムチャートに含まれる工程の作業者による作業時間に基づいて作業漏れがあったか否かを、より正確に分析することができる。
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、図10に示した加点の点数および所定の閾値、図11で作業漏れを分析するための所定の割合などはいずれも説明のための例示にすぎない。図10に示す加点の点数は、工程間の移動距離によって加点の点数を増減させてもよい。
また、上記実施形態では、生成したタイムチャートの表示態様として、図7に示す表形式および図8に示す折れ線グラフによる態様を例示したが、これに限られない。タイムチャートは、図7の表において行列を入れ替えた態様で表示してもよい。また、タイムチャートは、棒グラフ、円グラフ等の各種態様のグラフにより表示されてもよい。
<付記1>
(1)複数の工程を含む作業を分析する作業分析装置(1)であって、
作業領域の撮像画像を受信する受信部(10)と、
前記撮像画像を解析して、前記作業領域で作業をする作業者の位置および向きを検出する検出部(11)と、
前記作業者の位置および向きに基づいて、前記作業者が作業中の工程を判定する判定部(13)と、
前記工程ごとに作業時間を計測し、前記作業者が実施した作業の工程を示すタイムチャートを生成する生成部(14)と、
を備えることを特徴とする作業分析装置(1)。
(2)複数の工程を含む作業を分析する作業分析方法であって、
作業領域の撮像画像を受信する受信ステップ(S20)と、
前記撮像画像を解析して、前記作業領域で作業をする作業者の位置および向きを検出する検出ステップ(S21)と、
前記作業者の位置および向きに基づいて、前記作業者が作業中の工程を判定する判定ステップ(S22)と、
前記作業中の工程ごとに作業時間を計測し、前記作業者が実施した作業のタイムチャートを生成する生成ステップ(S23)と、
を含むことを特徴とする作業分析方法。
1:作業分析装置 101:プロセッサ 102:主記憶装置
103:補助記憶装置 104:通信I/F 105:出力装置
10:受信部 11:検出部 11A:人体検出部
11B:位置検出部 11C:向き検出部 12:工程管理テーブル
13:判定部 14:タイムチャート生成部 15:配置分析部
16:工程分析部 17:出力部 2:カメラ

Claims (7)

  1. 複数の工程を含む作業を分析する作業分析装置であって、
    作業領域の撮像画像を受信する受信部と、
    前記撮像画像を解析して、前記作業領域で作業をする作業者の位置および向きを検出する検出部と、
    前記作業者の位置および向きに基づいて、前記作業者が作業中の工程を判定する判定部と、
    前記工程ごとに作業時間を計測し、前記作業者が実施した作業の工程を示すタイムチャートを生成する生成部と、
    前記タイムチャートに含まれる工程を、基準となる作業に含まれる基準工程と対比し、前記基準工程に対応する作業台への部品の配置について、改善の要否を分析する配置分析部と、
    を備え
    前記配置分析部は、前記タイムチャートに含まれる工程の順序が、前記基準工程の順序と異なる場合に、前記部品の配置について改善を要すると分析す
    ことを特徴とする作業分析装置。
  2. 複数の工程を含む作業を分析する作業分析装置であって、
    作業領域の撮像画像を受信する受信部と、
    前記撮像画像を解析して、前記作業領域で作業をする作業者の位置および向きを検出する検出部と、
    前記作業者の位置および向きに基づいて、前記作業者が作業中の工程を判定する判定部と、
    前記工程ごとに作業時間を計測し、前記作業者が実施した作業の工程を示すタイムチャートを生成する生成部と、
    前記タイムチャートに含まれる工程を、基準となる作業に含まれる基準工程と対比し、前記基準工程に対応する作業台への部品の配置について、改善の要否を分析する配置分析部と、
    を備え、
    前記配置分析部は、前記タイムチャートに含まれる工程間の遷移を点数化し、各工程間の遷移に対する点数の合計が所定の閾値以上である場合に、前記部品の配置について改善
    を要すると分析する
    ことを特徴とする作業分析装置。
  3. 前記撮像画像を撮像し前記受信部に送信する撮像部を、さらに備える
    ことを特徴とする請求項1または2に記載の作業分析装置。
  4. 前記タイムチャートに含まれる工程の前記作業者による作業時間が、該工程に対して予め定められた標準時間に対し、所定の割合以上に短い場合、前記作業者による該工程の作業漏れであると分析する工程分析部を、さらに備える
    ことを特徴とする請求項1からのいずれか1項に記載の作業分析装置。
  5. コンピュータが複数の工程を含む作業を分析する作業分析方法であって、
    作業領域の撮像画像を受信する受信ステップと、
    前記撮像画像を解析して、前記作業領域で作業をする作業者の位置および向きを検出する検出ステップと、
    前記作業者の位置および向きに基づいて、前記作業者が作業中の工程を判定する判定ステップと、
    記工程ごとに作業時間を計測し、前記作業者が実施した作業の工程を示すタイムチャートを生成する生成ステップと、
    前記タイムチャートに含まれる工程を、基準となる作業に含まれる基準工程と対比し、前記基準工程に対応する作業台への部品の配置について、改善の要否を分析する配置分析ステップと、
    を含み、
    前記配置分析ステップでは、前記タイムチャートに含まれる工程の順序が、前記基準工程の順序と異なる場合に、前記部品の配置について改善を要すると分析する
    ことを特徴とする作業分析方法。
  6. コンピュータが複数の工程を含む作業を分析する作業分析方法であって、
    作業領域の撮像画像を受信する受信ステップと、
    前記撮像画像を解析して、前記作業領域で作業をする作業者の位置および向きを検出する検出ステップと、
    前記作業者の位置および向きに基づいて、前記作業者が作業中の工程を判定する判定ステップと、
    前記工程ごとに作業時間を計測し、前記作業者が実施した作業の工程を示すタイムチャートを生成する生成ステップと、
    前記タイムチャートに含まれる工程を、基準となる作業に含まれる基準工程と対比し、前記基準工程に対応する作業台への部品の配置について、改善の要否を分析する配置分析ステップと、
    を含み、
    前記配置分析ステップでは、前記タイムチャートに含まれる工程間の遷移を点数化し、各工程間の遷移に対する点数の合計が所定の閾値以上である場合に、前記部品の配置について改善を要すると分析する
    ことを特徴とする作業分析方法。
  7. 請求項5または6に記載の作業分析方法の各ステップをコンピュータに実行させるためのプログラム。
JP2019088930A 2019-05-09 2019-05-09 作業分析装置、作業分析方法およびプログラム Active JP7234787B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019088930A JP7234787B2 (ja) 2019-05-09 2019-05-09 作業分析装置、作業分析方法およびプログラム
DE112020002321.4T DE112020002321T5 (de) 2019-05-09 2020-02-19 Arbeitsanalysevorrichtung, arbeitsanalyseverfahren und programm
PCT/JP2020/006530 WO2020225958A1 (ja) 2019-05-09 2020-02-19 作業分析装置、作業分析方法およびプログラム
US17/607,166 US20220215327A1 (en) 2019-05-09 2020-02-19 Work analysis device, work analysis method and computer-readable medium
CN202080032397.6A CN113811825B (zh) 2019-05-09 2020-02-19 作业分析装置、作业分析方法及计算机可读取的记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019088930A JP7234787B2 (ja) 2019-05-09 2019-05-09 作業分析装置、作業分析方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020184250A JP2020184250A (ja) 2020-11-12
JP7234787B2 true JP7234787B2 (ja) 2023-03-08

Family

ID=73044632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019088930A Active JP7234787B2 (ja) 2019-05-09 2019-05-09 作業分析装置、作業分析方法およびプログラム

Country Status (5)

Country Link
US (1) US20220215327A1 (ja)
JP (1) JP7234787B2 (ja)
CN (1) CN113811825B (ja)
DE (1) DE112020002321T5 (ja)
WO (1) WO2020225958A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7395988B2 (ja) * 2019-11-22 2023-12-12 オムロン株式会社 作業指示システムおよび作業指示方法
JP2023132997A (ja) * 2022-03-11 2023-09-22 オムロン株式会社 作業認識装置、作業認識方法、及び作業認識プログラム
JP2024041592A (ja) 2022-09-14 2024-03-27 トヨタ自動車株式会社 作業状況監視システム、作業状況監視方法、及び、作業状況監視プログラム
KR102513608B1 (ko) * 2022-11-24 2023-03-22 방재웅 건설공사의 품질 관리를 위한 스마트 검측 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293757A (ja) 2005-04-12 2006-10-26 Sharp Corp 設備位置自動調整システム
WO2007100138A1 (ja) 2006-03-03 2007-09-07 Jasi Corporation 労働者単位で管理する生産管理システム
JP2015022156A (ja) 2013-07-19 2015-02-02 日立Geニュークリア・エナジー株式会社 運転訓練再生装置
WO2016098265A1 (ja) 2014-12-19 2016-06-23 富士通株式会社 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置
JP2019191748A (ja) 2018-04-20 2019-10-31 コニカミノルタ株式会社 生産性向上支援システムおよび生産性向上支援プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116510A (ja) * 2007-11-05 2009-05-28 Fujitsu Ltd 注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置
JP2012022602A (ja) * 2010-07-16 2012-02-02 Mitsubishi Electric Corp 作業改善分析システム
JP2013111737A (ja) * 2011-12-01 2013-06-10 Sony Corp ロボット装置及びその制御方法、並びにコンピューター・プログラム
JP6098318B2 (ja) * 2013-04-15 2017-03-22 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
WO2016121076A1 (ja) * 2015-01-30 2016-08-04 株式会社日立製作所 倉庫管理システム
WO2017137952A1 (en) * 2016-02-10 2017-08-17 Vats Nitin Intelligent chatting on digital communication network
KR101905272B1 (ko) * 2016-11-29 2018-10-05 계명대학교 산학협력단 체감형 컨텐츠 제공 장치와 연계된 비콘 기반의 사용자 방향 인식 장치 및 그 방법
WO2018180743A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 作業管理装置、作業管理方法およびプログラム記憶媒体
US10866579B2 (en) * 2019-03-01 2020-12-15 Toyota Motor Engineering & Manufacturing North America, Inc. Automated manufacturing process tooling setup assist system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293757A (ja) 2005-04-12 2006-10-26 Sharp Corp 設備位置自動調整システム
WO2007100138A1 (ja) 2006-03-03 2007-09-07 Jasi Corporation 労働者単位で管理する生産管理システム
JP2015022156A (ja) 2013-07-19 2015-02-02 日立Geニュークリア・エナジー株式会社 運転訓練再生装置
WO2016098265A1 (ja) 2014-12-19 2016-06-23 富士通株式会社 動線描画方法、動線描画プログラム、動線描画装置、動作解析の処理方法、動作解析の処理プログラムおよび動作解析装置
JP2019191748A (ja) 2018-04-20 2019-10-31 コニカミノルタ株式会社 生産性向上支援システムおよび生産性向上支援プログラム

Also Published As

Publication number Publication date
US20220215327A1 (en) 2022-07-07
JP2020184250A (ja) 2020-11-12
WO2020225958A1 (ja) 2020-11-12
DE112020002321T5 (de) 2022-01-27
CN113811825B (zh) 2024-08-23
CN113811825A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
JP7234787B2 (ja) 作業分析装置、作業分析方法およびプログラム
US8731276B2 (en) Motion space presentation device and motion space presentation method
US9542755B2 (en) Image processor and image processing method
JP5715946B2 (ja) 動作解析装置および動作解析方法
CN108596148B (zh) 一种基于计算机视觉的建筑工人劳动状态分析系统及方法
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US9836130B2 (en) Operation input device, operation input method, and program
CN104811660A (zh) 控制装置及控制方法
CN104049760B (zh) 一种人机交互命令的获取方法及系统
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
JP2017059945A (ja) 画像解析装置及び画像解析方法
US11887331B2 (en) Information processing apparatus, control method, and non-transitory storage medium
JP2013051477A (ja) 映像監視装置、映像監視方法およびプログラム
US11363241B2 (en) Surveillance apparatus, surveillance method, and storage medium
JP2023129657A (ja) 情報処理装置、制御方法、及びプログラム
Gupta et al. Hand gesture based region marking for tele-support using wearables
JP7406878B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Parsa et al. Predicting ergonomic risks during indoor object manipulation using spatiotemporal convolutional networks
KR101468681B1 (ko) 표준 작업 관리 시스템 및 표준 작업 관리 방법
WO2022239291A1 (ja) 物体検知装置及び方法
WO2024029411A1 (ja) 作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラム
WO2022004189A1 (ja) 作業判定装置および作業判定方法
JP7371704B2 (ja) 流量情報出力装置、制御方法、及びプログラム
Saatmann et al. Experiments with hand-tracking algorithm in video conversations
WO2023171184A1 (ja) 動画像集約装置、動画像集約方法、及び動画像集約プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R150 Certificate of patent or registration of utility model

Ref document number: 7234787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150