JP6828093B2 - 操作検出装置、操作検出方法及び操作検出システム - Google Patents

操作検出装置、操作検出方法及び操作検出システム Download PDF

Info

Publication number
JP6828093B2
JP6828093B2 JP2019118627A JP2019118627A JP6828093B2 JP 6828093 B2 JP6828093 B2 JP 6828093B2 JP 2019118627 A JP2019118627 A JP 2019118627A JP 2019118627 A JP2019118627 A JP 2019118627A JP 6828093 B2 JP6828093 B2 JP 6828093B2
Authority
JP
Japan
Prior art keywords
target
operator
operation detection
detection device
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019118627A
Other languages
English (en)
Other versions
JP2020068009A (ja
Inventor
ヨンミン・ウー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynabook Inc
Original Assignee
Dynabook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dynabook Inc filed Critical Dynabook Inc
Publication of JP2020068009A publication Critical patent/JP2020068009A/ja
Application granted granted Critical
Publication of JP6828093B2 publication Critical patent/JP6828093B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Social Psychology (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Manufacturing & Machinery (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、操作検出装置、操作検出方法及び操作検出システムに関する。
現在、様々な業種において、様々な製品の製造生産又は組立生産の生産ラインが広く用いられている。稼働効率及び生産量を向上させるように、各生産ラインにおいて、各生産単位は、いずれかのセグメントの作業だけを集中的に処理する。通常、工場の需要、製品の複雑さ及び製造や組立の複雑さ等に応じて、生産ラインに複数のステーションを配置することができる。各ステーションでのオペレータは、何れも他のオペレータと異なる操作を手動で繰り返す。オペレータは、1つのステーションでの操作を完了した後に、次のステーションに流れて操作を行い、最後に製造/組立を完了する。
従って、生産ライン全体の各ステーションでのオペレータの操作は、製品の品質及び生産ライン全体の効率に直接関係する。製品の品質及び生産ライン全体の効率を保証するために、通常は、様々な要因を総合的に考慮して生産ライン全体の各ステーションに、対応する作業工程を設定し、かつ対応する作業マニュアルを備える。作業マニュアルは、通常、作業工程に含まれる複数の動作及び基準時間を含む。しかしながら、実際には、オペレータによる操作は手動による操作であり、かつ操作環境に不安定要因が存在するため、各オペレータにとって、繰り返した複数回の操作が何れも同じであるのを保証することが困難である。さらに、繰り返した複数回の操作の毎回の操作が何れも厳密に作業マニュアルに適合することを確保することが困難である。そして、各オペレータ間にも技能の差が存在する。従って、このような再現性を保証できない。作業マニュアルに対するばらつき及び技能の差は、製品の欠陥等の品質問題を引き起こす可能性があるだけでなく、生産ライン全体の生産ラインバランスに影響を与える可能性もある。生産ラインバランスは、各ステーションの操作を平均化し、作業荷重を調整することにより各操作時間ができるだけ近くなるようにする技術的手段及び方法であり、その良否は生産ラインの生産効率及び製品品質に直接関係する。
そのため、生産ライン上の各ステーションのオペレータの作業状態を把握することにより、生産ラインバランス情報を取得する必要がある。現在、生産ライン上の各ステーションの作業状態を把握することは、主に、IEエンジニア(産業エンジニアとも呼ばれる)が、手動でストップウオッチによりステーション毎に工数を計測することにより行われている。このような方法では、ステーション上のオペレータによる操作の有無を人手により直観的に観察することができ、ステーション上のオペレータが、複数の動作を含む操作を行う開始時間、終了時間等の情報を記録することができる。
しかしながら、IEエンジニアが手動で記録して生産ラインでの作業状態を把握する方法には、以下の問題がある。人間の目による観察及び手動による操作に依存するため、記録されたデータの正確性が悪くなり、記録されたデータの量は限られる;IEエンジニアは計測する時に、ステーション上のオペレータの心理に影響を与える可能性があり、このような時に行われた操作は通常時の操作を反映することができない;生産ラインのバランスは、IEエンジニアが測定を完了した後に分析処理を行ってこそ得られるため、生産ラインをリアルタイムにモニタリングすることはできない;IEエンジニアにより記録された時間は、有限であるため、生産ラインでの全ての異常操作又は誤操作は、必ずしも記録されるのではなく、それにより製品欠陥が発生した場合に、欠陥原因を確定することが困難であり、製品欠陥を引き起こす原因をタイムリーで効率的に修正することが困難である。
従って、入手に頼らずに生産ライン上のオペレータの操作を検出して把握する操作検出装置、操作検出方法及び操作検出システムが切望されている。
中国特許第103745228号明細書 中国特許第103793054号明細書
本発明は、前記従来技術に存在する課題を解決するためになされたものであり、その目的は、人手に頼らずに生産ライン上の各オペレータの操作を正確、リアルタイムに検出することができる操作検出装置、操作検出方法及び操作検出システムを提供することにある。
実施形態による操作検出装置は、対象検出モデル取得部と、対象情報取得部と、画像入力部と、操作検出部を備える。前記対象検出モデル取得部は、それぞれがオペレータの操作に係る対象を含む複数枚のトレーニング画像に基づく対象検出モデルを取得する。前記対象情報取得部は、前記複数枚のトレーニング画像と、前記対象検出モデル取得部により取得された前記対象検出モデルとに基づいて、前記オペレータの操作に係る対象についての対象タイプ及び対象関係を含む対象情報を取得する。前記動画像入力部は、前記オペレータの操作を撮像することにより得られた動画像を入力する。前記操作検出部は、前記対象情報取得部により取得された前記対象タイプ及び前記対象関係と、前記画像入力部により入力された前記画像とに基づいて、前記オペレータの操作の種類を検出する。
本発明の第1の実施形態の操作検出装置の構成を示す図である。 本発明の対象がマーキングされた1枚のトレーニング画像を示す図である。 第1の実施形態の操作検出装置の動作フローチャートである。 本発明の第1の実施形態の実施例1の操作検出部の構成を示す図である。 本発明のイベント生成方法の一例を示す図である。 本発明の対象タイプの詳細の一例を示す図である。 本発明の対象タイプの詳細の一例を示す図である。 本発明の対象タイプの詳細の一例を示す図である。 本発明の対象タイプの詳細の一例を示す図である。 本発明のイベントの一例を示す図である。 本発明のイベントに基づいて生成された操作モードの一例を示す図である。 本発明の第1の実施形態の実施例1の操作検出装置の動作フローチャートである。 本発明の第1の実施形態の実施例1の操作検出装置に係るイベントの一例を示す図である。 本発明の第1の実施形態の実施例2の操作検出部の構成を示す図である。 本発明のイベントに基づいて生成された動作モードの一例を示す図である。 本発明のイベントに基づいて生成された動作モードの一例を示す図である。 本発明のイベントに基づいて生成された動作モードシーケンスの一例を示す図である。 本発明の第1の実施形態の実施例2の操作検出装置の動作フローチヤートである。 本発明の第1の実施形態の実施例2の操作検出装置に係るイベントの一例を示す図である。 本発明の第1の実施形態の実施例2の操作検出装置が動作モードに基づいて生成された操作モードの一例を示す図である。 本発明の第1の実施形態の実施例3の操作検出装置がイベントと動作モードに基づいて生成された操作モードの一例を示す図である。 本発明の第1の実施形態の実施例3の操作検出装置の動作フローチャートである。 本発明の第2の実施形態の操作検出装置の構成を示す図である。 本発明の第2の実施形態の操作検出装置の動作フローチャートである。 本発明の操作検出システムの構成を示す図である。
以下、図面を参照して、実施形態を説明する。以下の説明は、実施形態の技術的思想を具体化するための装置や方法を例示するものであって、実施形態の技術的思想は、以下に説明する構成要素の構造、形状、配置、材質等に限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各要素のサイズ、厚み、平面寸法又は形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、互いの寸法の関係や比率が異なる要素が含まれることもある。複数の図面において、対応する要素には同じ参照数字を付して重複する説明を省略する場合もある。いくつかの要素に複数の呼称を付す場合があるが、これら呼称の例はあくまで例示であり、これらの要素に他の呼称を付すことを否定するものではない。また、複数の呼称が付されていない要素についても、他の呼称を付すことを否定するものではない。なお、以下の説明において、「接続」は直接的な接続のみならず、他の要素を介して間接的に接続されることも意味する。
以下、本発明の操作検出装置、操作検出方法及び操作検出システムについて、図面を参照しながら説明する。
(第1の実施形態)
(操作検出装置100の構成)
まず、第1の実施形態に係る操作検出装置100の構成について、図1を参照しながら説明する。また、操作検出装置は各種の部品を含み、図1には、第1の実施形態の技術思想に関する部品のみが示されており、その他の部品は省略している。
また、操作検出装置は種々の操作を検出するように構成可能であるが、本明細書においては、操作検出装置を電子製品の組立生産ラインに用いて生産ラインにおける各ステーションのオペレータの操業状態を検出することを例として説明する。第1の実施形態の操作検出装置は、生産ラインにおける各ステーションのオペレータの操作を撮像して得られた動画像に基づいて、当該操作を検出する。
図1に示すように、操作検出装置100は対象検出モデル取得部101、対象情報取得部102、検出画像入力部103及び操作検出部104を備える。
対象検出モデル取得部101は、複数枚のトレーニング画像に基づいて得られた対象検出モデルを取得するためのものである。
ここでは、対象検出モデル取得部101は、有線又は無線通信を介して当該操作検出装置100の外部装置(図示せず)から対象検出モデルを取得する。
当該外部装置は、例えば下記の方法を用いて対象検出モデルを生成することができる対象検出モデル生成部材である。外部装置は、生産ラインにおける各ステーションのオペレータの操作を撮像して得られたトレーニング画像群である動画像を処理し、複数枚のトレーニング画像を抽出し、複数枚のトレーニング画像の各トレーニング画像に1つ以上の対象をマーキングする。マーキングの例は例えば図2に示される。1枚のトレーニング画像に「機体」、「手」、「手」という対象がマーキングされる。外部装置は、1つ以上の対象がマーキングされるとともに、時系列情報が含まれた複数枚のトレーニング画像に基づいてディープラーニングを行い、対象検出モデルを生成(トレーニング)する。ここでは、対象検出モデルを生成する方法はディープラーニングを説明したが、これは一例であって、これに限定されるものではない。正確な対象検出モデルを得ることができれば、公知又は将来現れる可能性のある様々な方法を用いることができる。
対象情報取得部102は、複数枚のトレーニング画像から対象検出モデル取得部101により取得された対象検出モデルに基づいて、対象情報を取得する。例えばディープラーニングによってトレーニングされた対象検出モデルを複数枚のトレーニング画像に用いることにより、複数枚のトレーニング画像に含まれる対象情報を取得できる。取得できる対象情報は対象検出モデルに関係し、必要な対象情報に基づいて、対象検出モデルを意図的に得ることができる。ここでは、対象情報は、少なくとも対象名称、対象種別、対象位置、及び対象位置等の変化(例えば、移動方向や姿勢)等を含む。
検出画像入力部103の一例は、生産ラインにおける各ステーションのオペレータの操作を撮像することにより得られた動画像を、検出画像として入力し得るカメラであってもよい。さらに、検出画像入力部103の例は、生産ラインにおける各ステーションのオペレータの操作を撮像することにより得られた動画像を、有線又は無線通信を介して外部から検出画像として受信し得る、データ受信機能を有する有線又は無線通信モジュール/部品であってもよい。
操作検出部104は、対象情報取得部102により取得された対象情報と、検出画像入力部103により入力された検出画像とに基づいて、操作を検出する。ここでは、操作検出部104は、例えば対象情報取得部102により取得された対象情報に基づいて、検出画像に対し例えば画像処理、モード識別等の処理を行うことにより、操作を検出することができる。ここでは、操作とは、生産ラインにおける各ステーションのオペレータが、手又は工具等により、電子製品組立生産ラインにおけるワークピース、部品、容器等に何かを出し入れ、取り付け、位置合わせ、固定等の各種の操作を行うことである。つまり、操作は、対象及びその位置の変化により現れることができる。
また、前記対象検出モデル取得部101、対象情報取得部102、操作検出部104は異なる部品又はモジュールであるが、これらの一部又は全部をまとめて1つの部品又はモジュールにすることができる。
(操作検出装置100の動作)
以下、動作フローチャートに基づいて、本発明の第1の実施形態に係る操作検出装置100及びそれが用いる操作検出方法について説明する。
図3は本発明の第1の実施形態の操作検出装置100の動作フローチャートである。
図3に示すように、ステップS300において,操作検出装置100は対象検出モデル取得部101により、複数枚のトレーニング画像に基づく対象検出モデルを取得する。その後、操作検出装置100の処理はステップS302に進む。
ステップS302において、操作検出装置100は、対象情報取得部102により、複数枚のトレーニング画像と、対象検出モデル取得部101により取得された対象検出モデルとに基づいて対象情報を取得する。その後、操作検出装置100の処理はステップS304に進む。ここでは、対象名称、対象種別、対象位置、対象位置の変化、及び対象同士の相対位置の変化を含む対象情報を取得するとする。
ステップS304において、操作検出装置100は、検出画像入力部103により、生産ラインにおける各ステーションのオペレータの操作を撮像して得られた動画像を検出画像として入力する。その後、操作検出装置100の処理はステップS306に進む。
ステップS306において、操作検出装置100は、操作検出部104により、対象情報取得部102により取得された対象情報と、検出画像入力部103により入力された検出画像とに基づいて、操作を検出する。その後、操作検出装置100の処理は終了する。
本実施形態に係る操作検出装置100によれば、生産ラインにおける各ステーションのオペレータの操作を撮像して得られた動画像を用いて操作検出を人手に頼らずに行うことにより、従来技術のようにIEエンジニアが手動で操作観測を行うことにより生じる問題を避けることができる。また、ディープラーニング等の方法に基づく対象検出モデルを用いることにより、検出画像に反映された生産ライン上の各オペレータの操作にかかる対象を正確に検出し、位置決めし、追跡し、かつ当該対象の対象情報を取得することができる。これにより、操作を正確、かつタイムリーで効率的に検出することができ、製品欠陥を予測又は検出するように操作異常をもれなく検出することができ、オペレータを評価するように生産ライン上のオペレータの操作を追跡することができる。また、操作を正確に、タイムリーで検出することにより、当該操作を利用して動画像における特定の動作を検索しかつ位置決めすることができる。これにより、オペレータの操作を分析し評価して生産ラインを改善することに寄与することができる。
以下、第1の実施形態の操作検出装置100の各実施例について説明する。以下、対応する要素には同じ参照数字を付して重複する説明を省略する。
(実施例1)
以下、本発明の第1の実施形態の操作検出装置100の実施例1について説明する。
実施例1において、操作検出装置100の構造は図1に示した構造と同様に、対象検出モデル取得部101、対象情報取得部102、検出画像入力部103及び操作検出部104を含み、ここではそれらの詳細は繰り返し説明しない。
また、実施例1における操作検出部104の構造は、図4に示すように、イベント生成手段1041、操作モード生成手段1043及び操作検出手段1045を含む。
イベント生成手段1041は、対象情報取得部102により取得された対象情報に基づいてイベントを生成する。ここでは、イベントは、対象インタラクション即ち対象位置が変化することにより対象間に関係が生じる、又は対象間で関係が変化することにより発生するイベント、及び対象が画像(撮像視野)に現れる又は消えるというイベントを含む。
以下、イベントの生成について、電子製品の組立生産ラインを例として説明する。図5には電子製品の組立生産ラインにおけるイベントが生成する方法例が示される。すなわち、総じて言えば、イベントは、対象、対象位置及び対象関係に基づいて生成するものである。
また、対象について、図5に示すように、電子製品の組立生産ラインにおいて、対象タイプは「手」、「容器」、「ワークピース」、「部品」、「工具」であってもよい。ここでは、「手」、「容器」、「ワークピース」、「部品」、「工具」として分類される。対象タイプの分類方法は一例であって、これに限定されるものではなく、生産ラインに係る対象及び/又は実際の必要に応じて他の分類を行うことができる。図6は対象タイプ「容器」の詳細の一例を示す。図7は対象タイプ「ワークピース」の詳細の一例を示す。図8は対象タイプ「部品」の詳細の一例を示す。図9は対象タイプ「工具」の詳細の一例を示す。
また、図5に示すように、対象関係は、例えば「上」、「下」、「左」、「右」、「中心」であってもよい。
また、対象位置及び対象関係に基づいてイベントを生成し、例えば、上述のような対象、対象位置及び対象関係に基づいて、「前方から品物を取る」、「機体上に操作する」、「ねじ回しを用いる」、「走査ガンを用いる」、「主板上に操作する」等の対象インタラクションを認識し、認識された対象インストラクションから発生したイベントを生成することができる。また、「UsbPCBが現れる」、「主板が現れる」、「主板が消える」、「機体が現れる」等の対象が画像(視野)に現れる又は消えるというイベントを生成することができる。図10には「機体上に操作が取り付けられる−左上」というイベントが示される。図10に示すように、当該イベントのイベントタイプは、「ワークピース上に操作する」ということであり、当該イベントを生成する対象は、「機体」というワークピースであり、「機体上に操作が取り付けられる−左上」というイベントに係る操作の位置は対象位置に相当し、「水平 左部 垂直 上部」であり、このイベントのSOP時間は「不確定」である。ここでは、SOP時間は、「機体上に操作が取り付けられる−左上」というイベントの発生に要する基準時間であり、当該SOP時間は、装置出荷前に予め設定されてもよく、出荷後にユーザによって設定又は調整を行ってもよい。また、図10において、SOP時間は「不確定」であるが、SOP時間は、具体的な時間長さ、例えば1.0秒、2.0秒等であってもよい。
また、操作モード生成手段1043は、イベント生成手段1041により生成されたイベントに基づいて、操作モードを生成する。ここでは、操作モードとは、どのようにイベントにより操作を構成するかということである。また、操作モードの数は1つ以上である。なお、1つのイベントに基づいて操作モードを生成してもよく、1つ以上のイベントに基づいて操作モードを生成してもよい。図11にはイベントに基づいて生成した操作モードの一例が示される。図11に示すように、操作名が「SYS PCBをCOVERに取り付ける」という操作は、2つのイベントに基づいて生成され、番号が「0」のイベント後に、番号が「1」のイベントを行う。図11は一例であって、これに限定されるものではない。
また、操作検出手段1045は、検出画像入力部103により入力された検出画像と、操作モード生成手段1043により生成された操作モードとに基づいて、操作を検出する。例えば検出画像入力部103により入力された検出画像から、操作モード生成手段1043により生成された図11に示すような操作モードに適合する操作が識別された場合、当該操作が検出される。操作モードに基づいて検出画像から操作モードに適合する操作を検出する方法は、例えば従来のモード識別等の技術を応用することができ、ここではその詳細は説明しない。
(実施例1の動作)
以下、実施例1の操作検出装置100が実行する動作である操作検出方法について、図12を参照しながら説明する。また、図12に示すステップS3060、S3062、S3064は操作検出部104の動作であるため、図12に示す動作フローは、図3におけるステップS306の代わりに、ステップS3060、S3062、S3064を用いて得られるものである。
図12に示すように、動作が開始した後、操作検出装置100はステップS300、S302、S304を実行する。操作検出装置100が実行するステップS300、S302、S304の動作は、上述の第1の実施形態に係る図3のステップS300、S302、S304の動作と同一であり、ここではその説明は繰り返えさない。ステップS304において検出画像が入力された後に、操作検出装置100の処理はステップS3060に進む。
ステップS3060において、操作検出装置100は、イベント生成手段1041により、ステップS302において対象情報取得部102により取得された対象情報に基づいてイベントを生成する。その後、操作検出装置100の処理はステップS3062に進む。ここでは、イベント生成手段1041は例えば図13に示す2つのイベントを生成するとする。
ステップS3062において、操作検出装置100は、操作モード生成手段1043により、ステップS3060においてイベント生成手段1041により生成されたイベント(例えば図13に示すように)に基づいて、操作モードを生成する。その後、操作検出装置100の処理はステップS3064に進む。ここでは、操作モード生成手段1043は図11に示す操作モードを生成するように設けられる。
ステップS3064において、操作検出装置100は操作検出手段1045により、ステップS304において検出画像入力部により入力された検出画像と、ステップS3062において操作モード生成手段1043により生成された操作モード(例えば図11に示すように)とに基づいて、操作を検出する。
本実施例に係る操作検出装置100によれば、上述のような第1の実施形態の技術効果を備える。操作検出装置100はディープラーニング等の方法に基づく対象検出モデルを利用し、検出画像に反映される生産ライン上の各オペレータの操作に係る対象を正確に検出し、位置決めして追跡し、当該対象の対象情報を取得することによりイベントを生成することができる。これによりイベントを検出して操作を正確に、タイムリーで効率的に検出することができる。生産ライン上のオペレータによる操作を複数回繰り返す検出に対して、検出効率を向上させることができ、操作を検出するリアルタイム性の向上に寄与することができるので、生産ラインのバランスをリアルタイムに把握して調整することに寄与し、生産率の向上に寄与し、より早く生産ライン上の異常操作を発見することができる。これにより、欠陥製品をタイムリーで効率的に発見し、かつより多くの欠陥製品が製造されるのを避けるようにできるだけ早く調整することができる。
(実施例2)
以下、第1の実施形態の操作検出装置100の実施例2について説明する。
実施例2の操作検出装置100の構造は、図1に示した構造と同様に、対象検出モデル取得部101、対象情報取得部102、検出画像入力部103及び操作検出部104を備え、ここではそれらの詳細は繰り返し説明しない。
また、実施例2における操作検出部104の構成は、図14に示すように、図4に示した実施例1との相違点は、動作モード生成手段1042をさらに備えることにある。
動作モード生成手段1042は、イベント生成手段1041により生成されたイベントに基づいて、動作モードを生成する。ここでは、動作モードとは、どのようにイベントにより動作を構成するかということである。また、動作モードの数は、1つ以上であってもよく、複数の動作モードは動作モードシーケンスを構成する。なお、1つのイベントに基づいて動作モードを生成してもよく、1つ以上のイベントであるイベントシーケンスに基づいて動作モードを生成しでもよい。図15及び図16には、それぞれイベントに基づいて生成された動作モードの一例が示されている。図15に示すように、動作名が「走査」の動作は、2つのイベントに基づいて生成され、番号が「0」のイベントの後に、番号が「1」のイベントが行われる。図16に示すように、動作名が「ねじを打って固定する」の動作も同様に2つのイベントに基づいて生成され、番号が「0」のイベントの後に、番号が「1」のイベントが行われる。
また、動作モード生成手段1042は、図17に示すような動作モードシーケンスを生成しでもよい。
また、実施例2において、操作モード生成手段1043は動作モード生成手段1042により生成された動作モードに基づいて、操作モードを生成する。操作検出手段1045は検出画像入力部103により入力された検出画像と、操作モード生成手段1043により生成された操作モードとに基づいて、操作を検出する。
(実施例2の動作)
以下、実施例2の操作検出装置100が実行する動作である操作検出方法について、図18を参照しながら説明する。また、図18に示すステップS3060、S3061、S3063、S3065は操作検出部104の動作であるため、図18に示す動作フローは、図3におけるステップS306の代わりに、ステップS3060、S3061、S3063、S3065を用いて得られるものである。
図18に示すように、動作が開始した後、操作検出装置100はステップS300、S302、S304を実行する。操作検出装置100が実行するステップS300、S302、S304の動作は、上述の第1の実施形態に係る図3のステップS300、S302、S304の動作と同じであり、ここではその説明は繰り返えさない。ステップS304に検出画像が入力された後に、操作検出装置100の処理はステップS3060に進む。
ステップS3060において、操作検出装置100はイベント生成手段1041により、ステップS302において対象情報取得部102により取得された対象情報に基づいてイベントを生成する。その後、操作検出装置100の処理はステップS3061に進む。ここでは、イベント生成手段1041は例えば図19に示す4つのイベントを生成するとする。
ステップS3061において、操作検出装置100は動作モード生成手段1042により、ステップS3060においてイベント生成手段1041により生成されたイベント(例えば図19に示す)に基づいて、動作モードを生成する。その後、操作検出装置100の処理はステップS3063に進む。ここでは、動作モード生成手段1042は図15及び図16に示す2つの動作モードを生成するとする。
ステップS3063において、操作検出装置100は操作モード生成手段1043により、ステップS3061において動作モード生成手段1042により生成された動作モード(例えば図15及び図16に示す)に基づいて、操作モードを生成する。その後、操作検出装置100の処理はステップS3065に進む。ここでは、操作モード生成手段1043は図20に示す操作モードを生成するとする。
ステップS3065において、操作検出装置100は操作検出手段1045により、ステップS304において検出画像入力部により入力された検出画像と、ステップS3063において操作モード生成手段1043により生成された操作モード(例えば図20に示す)とに基づいて、操作を検出する。
本実施例に係る操作検出装置100によれば、上述のような第1の実施形態及び実施例1の技術効果を備える。なお、ディープラーニング等の方法に基づく対象検出モデルを利用し、検出画像に反映される生産ライン上の各オペレータの操作に係る対象を正確に検出し、位置決めして追跡する。さらに、当該対象の対象情報を取得することによりイベントを生成し、それによりイベントに基づいて動作モードを生成することで、動作モードを検出して操作をタイムリーで、効率的に検出することができる。動作モードはイベントよりもより完全な行為である。このように、生産ライン上のオペレータによる操作を複数回繰り返す検出について、実施例1に比べて、対象を繰り返し検出してイベントを生成する必要がなく、生成された動作モードのみに基づいて、操作を迅速に検出することができる。さらに、検出効率をさらに向上させることができ、操作を検出するリアルタイム性に一層寄与するとともに、生産ラインバランスをよりリアルタイムに把握して調整するのに一層寄与し、生産性の向上に一層寄与し、生産ラインでの異常動作をより早く発見することもできる。これにより欠陥製品をよりタイムリーで効果的に発見し、かつより多くの欠陥製品が製造されるのを避けるようにできるだけ早く調整することができる。
(実施例3)
以下、第1の実施形態の操作検出装置100の実施例3について説明する。
実施例3に係る操作検出装置100の構造は実施例2と同一であり、ここではそれらの詳細は繰り返し説明せず、相違点のみについて説明する。
実施例3において、実施例2との相違点は、図14に示す操作モード生成手段1043がイベント生成手段1041により生成されたイベントと、動作モード生成手段1042により生成された動作モードとに基づいて、操作モードを生成するということにある。
(実施例3の動作)
図22は、操作検出装置100が実行する実施例3の動作である操作検出方法のフローである。図22において、実施例2の操作検出装置100が実行する動作と同一の動作には同一符号を付け、重複する説明を省略する。
図22に示すように、実施例2の操作検出装置100の動作フローチャートである図18との相違点は、ステップS3063の代わりにステップS3066を用いることにある。
ステップS3066において、操作検出装置100は操作モード生成手段1043により、ステップS3060においてイベント生成手段1041により生成されたイベントと、ステップS3061において動作モード生成手段1042により生成された動作モードとに基づいて、操作モードを生成した後に、ステップS3065に進む。ここでは、図21に示す操作モードを生成するとする。
その後、ステップS3065において、操作検出装置100は操作検出手段1045により、ステップS304において検出画像入力部103により入力された検出画像と、ステップS3063において操作モード生成手段1043により生成された操作モード(例えば図21に示す)とに基づいて、操作を検出する。
本実施例に係る操作検出装置100によれば、上述のような第1の実施形態、実施例1及び実施例2の技術効果を備え、ここでは、重複する説明は省略する。
(第2の実施形態)
以下、第2の実施形態に係る操作検出装置100Aについて説明する。
(操作検出装置100Aの構成)
図23は、第2の実施形態の操作検出装置100Aの構成を示す図である。図23において、第1の実施形態の操作検出装置100の構造を示す図である図1と同一の要素には同一の符号を付け、重複説明を省略する。
第2の実施形態の操作検出装置100Aと、第1の実施形態の操作検出装置100との相違点は、第2の実施形態に係る操作検出装置100Aが操作時間検出部105を備えることにある。
操作時間検出部105は操作検出部104により検出された操作に基づいて、操作の開始時間と終了時間を検出する。
例えば、操作時間検出部105は操作検出部104により検出された操作に基づいて、検出画像に含まれる時間情報により、操作の開始時間と終了時間を特定する。
また、操作時間検出部105は、操作検出部104により検出された操作に基づいて、当該操作を生成する操作モードのイベント及び/又は動作モードに含まれる時間情報に応じて、操作の開始時間と終了時間を検出する。
(操作検出装置100Aの動作)
図24は第2の実施形態の操作検出装置100Aの動作フローチャートである。図24において、第1の実施形態の操作検出装置100が実行する動作である図3に示す動作と同一の動作には同一の符号を付け、重複する説明を省略する。
図24に示すように、第1の実施形態の操作検出装置100が実行する動作である図3に示す動作との相違点は、ステップS300〜ステップS306を実行した後、処理を終了しておらず、ステップS240に進むことである。
ステップS240において、操作時間検出部105は、操作検出部104により検出された操作に基づいて、操作の開始時間と終了時間を検出した後に、処理を終了する。
第2の実施形態に係る操作検出装置100Aによれば、第1の実施形態及び各実施例の技術効果を備えることができ、それに加え、操作を検出した上で、さらに、操作の開始時間と終了時間を検出することができる。従って、例えばIEエンジニアに頼らずに、生産ライン上の各ステーションのオペレータの操作時間の情報をリアルタイムで、正確に、効率的に取得することができ、さらに、生産ラインのバランスをリアルタイム、正確に分析することができ、それにより、生産率と生産ラインに製造される製品の品質とを保証するようにタイムリーで調整することができる。
以上、操作検出装置及び操作検出方法の具体的な表現形態について詳述したが、具体的な表現形態はこれに限定されるものではなく、操作検出システム、集積回路、プログラム及びプログラムが記録された媒体等の種々の形態で表現されてもよい。
図25は操作検出システムの構成を示す図である。
図25に示すように、操作検出システム1000はトレーニング画像取得装置200、対象検出モデル生成装置300及び操作検出装置100を備える。
ここでは、操作検出装置100は上述した操作検出装置100であるため、ここでは、詳細な説明は省略する。また、操作検出システムは、当然ながら操作検出装置100Aを備えることもできる。
トレーニング画像取得装置200は、対象が撮像された複数枚のトレーニング画像を取得するためのものである。トレーニング画像取得装置200は、生産ラインにおける各ステーションのオペレータの操作を撮像することにより、動画像を、トレーニング画像として得るカメラであってもよい。さらに、トレーニング画像取得装置200は、有線又は無線通信を介して外部から生産ラインにおける各ステーションのオペレータの操作を撮像することにより動画像をトレーニング画像として得る、データ受信機能を有する有線又は無線通信モジュール/部品であってもよい。
対象検出モデル生成装置300は、トレーニング画像取得装置200により取得された複数枚のトレーニング画像に基づいて、対象検出モデルを生成する。対象検出モデル生成装置300は、例えば下記の方法を用いて対象検出モデルを生成することができる。即ち、生産ラインにおける各ステーションのオペレータの操作を撮像して得られたトレーニング画像群である動画像を処理して複数枚のトレーニング画像を抽出し、抽出された複数枚のトレーニング画像をマーキングし、複数枚のトレーニング画像の各トレーニング画像に1つ以上の対象をマーキングした後、当該1つ以上の対象がマーキングされた複数枚の、時系列情報が含まれたトレーニング画像に基づいてディープラーニングを行い、対象検出モデルを生成する(トレーニングする)。ここでは、ディープラーニングにより、対象検出モデルを生成する方法は一例であって、これに限定されるものではなく,正確な対象検出モデルを得ることができれば、公知又は将来現れる可能性のある様々な方法を用いることができる。
操作検出システムは、含まれた操作検出装置に応じて、対応する操作検出装置の技術的効果を備え、ここでは繰り返し説明しない。
本発明が提供する操作検出装置、操作検出方法及び操作検出システムによれば、生産ライン上の各オペレータの操作を入手に頼らず、正確に、リアルタイムに検出することができ、生産ラインのバランスを調整するように生産ライン上の各オペレータの作業時間情報を正確に検出することができ、製品欠陥を予測又は検出するように操作異常を漏れなく検出することができ、生産ライン上のオペレータの操作に追従することができ、オペレータの操作を分析評価して生産ラインを改善することに寄与する。
(変形例)
以上、各実施形態について説明したが、本発明は前記実施形態、実施例及び変形例に限定されるものではない。例えば、当業者が上述した各実施形態、実施例及び変形例に対して適宜構成要素の追加、削除、設計変更を行ったもの、各実施形態、実施例又は変形例の特徴を適宜組み合わせたものも、本発明の技術的思想に合致する限り本発明の範囲に含まれる。
例えば第2の実施形態において、第1の実施形態の実施例1〜実施例3を適用して操作を検出してもよい。
なお、本発明は上記の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
100…操作検出装置、101…対象検出モデル取得部、102…対象情報取得部、103…検出画像入力部。

Claims (9)

  1. それぞれがオペレータの操作に係る対象を含む複数枚のトレーニング画像に基づく対象検出モデルを取得する対象検出モデル取得部と、
    前記複数枚のトレーニング画像と、前記対象検出モデル取得部により取得された前記対象検出モデルとに基づいて、前記オペレータの操作に係る対象についての対象タイプ及び対象関係を含む対象情報を取得する対象情報取得部と、
    前記オペレータの操作を撮像することにより得られた動画像を入力する画像入力部と、
    前記対象情報取得部により取得された前記対象タイプ及び前記対象関係と、前記画像入力部により入力された前記画像とに基づいて、前記オペレータの操作の種類を検出する操作検出部と、を備える操作検出装置。
  2. 前記操作検出部は、
    前記対象情報取得部により取得された前記対象タイプ及び対象関係に基づいて、1以上のイベントを生成するイベント生成手段と、
    前記イベント生成手段により生成された前記1以上のイベントを用いて前記オペレータの操作を示す操作モードを生成する操作モード生成手段と、
    前記画像入力部により入力された前記画像と、前記操作モード生成手段により生成された前記操作モードとに基づいて、前記動画像から前記操作モードに適合する操作を識別することにより前記オペレータの操作の種類を検出する操作検出手段と、を備える請求項1記載の操作検出装置。
  3. 前記操作検出部は、
    前記対象情報取得部により取得された前記対象タイプ及び前記対象関係に基づいて、1以上のイベントを生成するイベント生成手段と、
    前記イベント生成手段により生成された前記1以上のイベントを用いて前記オペレータの動作を示す1以上の動作モードを生成する動作モード生成手段と、
    前記動作モード生成手段により生成された前記1以上の動作モードに基づいて、前記オペレータの操作を示す操作モードを生成する操作モード生成手段と、
    前記画像入力部により入力された前記画像と、前記操作モード生成手段により生成された前記操作モードとに基づいて、前記動画像から前記操作モードに適合する操作を識別することにより前記オペレータの操作の種類を検出する操作検出手段と、を備える請求項1記載の操作検出装置。
  4. 前記操作モード生成手段は、
    前記イベント生成手段により生成された前記イベントと、前記動作モード生成手段により生成された前記動作モードとに基づいて、前記操作モードを生成する請求項3に記載の操作検出装置。
  5. 前記1以上のイベントは、
    前記オペレータの操作に係る対象についての対象位置が変化することにより、前記対象関係が生じるか、もしくは、前記対象関係が変化する第1イベント、および、
    前記オペレータの操作に係る対象が前記複数枚のトレーニング画像に現れるか、もしくは、前記オペレータの操作に係る対象が前記複数枚のトレーニング画像から消える第2イベント
    の少なくともいずれか一方のイベントを含む請求項2乃至請求項4の何れか一項記載の操作検出装置。
  6. 前記操作検出部により検出された前記種類の前記オペレータの操作の開始時間および終了時間を検出する操作時間検出部をさらに備える請求項1乃至請求項5の何れか一項記載の操作検出装置。
  7. 前記対象情報は、少なくとも対象名称、対象種別、対象位置、及び対象位置の変化を含む請求項1乃至請求項6の何れか一項記載の操作検出装置。
  8. 前記対象が撮像された前記複数枚のトレーニング画像を取得するトレーニング画像取得装置と、
    前記トレーニング画像取得装置により取得された前記複数枚のトレーニング画像に基づいて、前記対象検出モデルを生成する対象検出モデル生成装置と、
    請求項1乃至請求項7のいずれか一項記載の操作検出装置と、
    を備える操作検出システム。
  9. それぞれがオペレータの操作に係る対象を含む複数枚のトレーニング画像に基づく対象検出モデルを取得する対象検出モデル取得ステップと、
    前記複数枚のトレーニング画像と、前記対象検出モデル取得ステップにより取得された前記対象検出モデルとに基づいて、前記オペレータの操作に係る対象についての対象タイプ及び対象関係を含む対象情報を取得する対象情報取得ステップと、
    前記オペレータの操作を撮像することにより得られた動画像を入力する画像入力ステップと、
    前記対象情報取得ステップにより取得された前記対象タイプ及び前記対象関係と、前記画像入力ステップにより入力された前記画像とに基づいて、前記オペレータの操作の種類を検出する操作検出ステップと、を備える操作検出方法。
JP2019118627A 2018-10-25 2019-06-26 操作検出装置、操作検出方法及び操作検出システム Active JP6828093B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811249823.2 2018-10-25
CN201811249823.2A CN111105109A (zh) 2018-10-25 2018-10-25 操作检测装置、操作检测方法及操作检测系统

Publications (2)

Publication Number Publication Date
JP2020068009A JP2020068009A (ja) 2020-04-30
JP6828093B2 true JP6828093B2 (ja) 2021-02-10

Family

ID=70388533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019118627A Active JP6828093B2 (ja) 2018-10-25 2019-06-26 操作検出装置、操作検出方法及び操作検出システム

Country Status (2)

Country Link
JP (1) JP6828093B2 (ja)
CN (1) CN111105109A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511367B (zh) * 2022-10-21 2023-07-25 上海数瞳信息科技有限公司 生产线的质量智能管理系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665777B2 (en) * 2013-05-10 2017-05-30 Robert Bosch Gmbh System and method for object and event identification using multiple cameras
JP6231302B2 (ja) * 2013-06-12 2017-11-15 株式会社ブリヂストン 検査補助装置
WO2016098264A1 (ja) * 2014-12-19 2016-06-23 富士通株式会社 分析装置における処理方法、処理プログラム、分析装置、検出動作の設定方法および設定プログラム
JP6672712B2 (ja) * 2015-11-04 2020-03-25 日本電気株式会社 異常作業検出システムおよび異常作業検出方法
JP6907634B2 (ja) * 2017-03-28 2021-07-21 日本電気株式会社 作業支援装置、作業支援方法、及び作業支援プログラム
JP6330093B1 (ja) * 2017-08-21 2018-05-23 ミライアプリ株式会社 動作判定プログラム、動作判定装置、動作判定用画像生成プログラム、動作判定用画像生成装置
KR101900237B1 (ko) * 2017-10-20 2018-09-19 주식회사 삼진엘앤디 획득한 영상에 대한 상황 판단 데이터를 이용한 현장 판단 방법
WO2019097676A1 (ja) * 2017-11-17 2019-05-23 三菱電機株式会社 3次元空間監視装置、3次元空間監視方法、及び3次元空間監視プログラム
CN108491759A (zh) * 2018-02-10 2018-09-04 合肥迪宏自动化有限公司 一种基于深度学习的工序检测装置及其工序检测方法
CN108681690B (zh) * 2018-04-04 2021-09-03 浙江大学 一种基于深度学习的流水线人员规范操作检测系统

Also Published As

Publication number Publication date
CN111105109A (zh) 2020-05-05
JP2020068009A (ja) 2020-04-30

Similar Documents

Publication Publication Date Title
US20210390678A1 (en) Method for monitoring manufacture of assembly units
US20130010068A1 (en) Augmented reality system
EP3441836B1 (en) Algorithm and method for detecting faults of a machine based on machine-learning technique
TWI618940B (zh) 印刷電路板的盲孔檢測裝置與方法
US10330724B2 (en) Measurement arrangement
US20210064000A1 (en) Apparatus and Method for Identifying Differences Between a Real Installation and a Digital Twin of the Installation
US20210358110A1 (en) Device and Method for Processing at Least One Work Area With a Processing Tool
CN107370823B (zh) 数据采集及远程控制方法、装置和计算机可读存储介质
JP6795562B2 (ja) 検査装置及び機械学習方法
US20180165622A1 (en) Action analysis device, acton analysis method, and analysis program
CN108693839B (zh) 智能加工调变系统及方法
JP6828093B2 (ja) 操作検出装置、操作検出方法及び操作検出システム
JP5371674B2 (ja) 試験装置
EP2154591B1 (en) Device and method for testing systems with visual output
US20200098102A1 (en) Quality estimation device, quality estimation method, and quality estimation program
JP6823025B2 (ja) 検査装置及び機械学習方法
TW201835596A (zh) 印刷電路板的鑽孔檢測裝置與方法
WO2018158815A1 (ja) 点検支援装置、点検支援方法および記録媒体
JP5480424B1 (ja) 不良位置分析システム及び方法
JP5824550B1 (ja) データ管理装置及びデータ管理プログラム
JP2009110239A (ja) 作業動作分析システム及び作業動作分析方法
Campaniço et al. Worker Support and Training Tools to Aid in Vehicle Quality Inspection for the Automotive Industry
Su et al. Characterisation and evaluation of identicality for digital twins for the manufacturing domain
Ramler et al. What you see is what you test-augmenting software testing with computer vision
US20240153069A1 (en) Method and arrangement for testing the quality of an object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210120

R150 Certificate of patent or registration of utility model

Ref document number: 6828093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150