JPWO2018131630A1 - 作業分析装置および作業分析方法 - Google Patents

作業分析装置および作業分析方法 Download PDF

Info

Publication number
JPWO2018131630A1
JPWO2018131630A1 JP2018561402A JP2018561402A JPWO2018131630A1 JP WO2018131630 A1 JPWO2018131630 A1 JP WO2018131630A1 JP 2018561402 A JP2018561402 A JP 2018561402A JP 2018561402 A JP2018561402 A JP 2018561402A JP WO2018131630 A1 JPWO2018131630 A1 JP WO2018131630A1
Authority
JP
Japan
Prior art keywords
work
worker
unit
content
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018561402A
Other languages
English (en)
Other versions
JP6765449B2 (ja
Inventor
哲也 玉置
哲也 玉置
中田 智仁
智仁 中田
翼 友田
翼 友田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2018131630A1 publication Critical patent/JPWO2018131630A1/ja
Application granted granted Critical
Publication of JP6765449B2 publication Critical patent/JP6765449B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

作業者の関節部位の部位座標と存在位置座標とを検出する座標情報取得部(5、6)、座標情報取得部(5、6)により取得された部位座標と存在位置座標とに基づいて作業者の一連の作業に伴う作業動作の手順と移動経路およびそれらに要する時間を作業内容情報として抽出する作業内容抽出部(9、10)、作業内容抽出部(9、10)により得られる作業内容情報に基づいて作業者が行う作業内容を分析して標準作業から逸脱する標準外作業の有無を判断する作業内容分析部(12)、および作業内容分析部(12)で標準外作業であると判定された場合には作業者に標準作業に復帰するように促すフィードバック部(14)を備える。

Description

この発明は、作業者に対して作業効率の良い作業内容であるとして設定された標準作業から逸脱するような作業(以下、標準外作業という)の有無を分析して適切な標準作業を行うように指導することができる作業分析装置および作業分析方法に関するものである。
工場などの生産現場においては、標準作業の内容を規定し、作業の生産性維持、品質保証または作業者の労働衛生上などで、悪影響が出ないようにしている。この場合、標準外作業が発生していないかを確認するには、作業内容のチェックを行う分析者が作業者の動きを観察し、作業者の動作の軌跡または動作に要する時間をビデオ機材等を用いて測定することで、標準作業を行うように促す古典的IE手法が知られている(例えば、下記の非特許文献1参照)。
このような従来技術では、作業者の両手動作の分析を行う両手作業分析、または人間の動作を基本要素に分割しそれらの情報に基づいて微動作分析などの動作研究を行う手法が紹介されている。しかし、このような従来の動作分析方法においては、分析者が観測結果を分析整理しなければならず、分析者にとって多くの労力を要し、分析結果のフィードバックに時間が掛かるという問題がある。
そこで、近年では、下記の特許文献1や特許文献2のような、各種センサ類を用いたモーションキャプチャ技術を利用し、自動的に人物の作業動作を識別し、作業分析に利用しようとする技術が開示されている。
特許第5159263号 特開2015−125578号公報
藤田彰久著「新版 IEの基礎」建帛社(2007年1月発行)
ここに、上記の特許文献1では、標準作業の内容を予め「動作辞書」なるデータベースとして登録しておくと共に、人間の動きをセンサによって検出し、当該検出値を上記の「動作辞書」と比較することで、当該検出値に対応する動作を特定するようにした技術が開示されている。
しかし、このように特定された動作が標準作業から外れているか否かの判断は、分析者自身が判断する必要があり、実作業が予め決められている標準作業から外れているか否かの良し悪しを自動的に判断することができない。このため、分析者に過大な負担を強いることになるとともに、客観的な判断を行えない。
また、特許文献2では、製品の製造に従事する作業者自身が分析対象となる姿勢を入力し、当該姿勢の良し悪しを各種センサを用いて客観的に評価するようにした技術が開示されている。
しかし、この引用文献2記載の構成のものは、作業者自身で意図的に評価対象となる標準作業の内容を選定しなければならず、一連の作業の中に標準外作業が含まれるような場合でもそのような動作が見過ごされてしまい、標準作業を実施していると誤って判断される可能性がある。
この発明は、上記の課題を解決するためになされたもので、作業内容のチェックを行う分析者に過大な負担を強いることなく、標準外作業の有無を自動的、客観的、かつ迅速に分析して、常に適切な標準作業を行うように指導することができる、作業分析装置および作業分析方法を提供することを目的とする。
この発明に係る作業分析装置は、作業者の関節部位の部位座標と作業者の存在位置座標とを検出する座標情報取得部と、
上記座標情報取得部で取得された上記部位座標と上記存在位置座標とに基づいて作業者の一連の作業に伴う作業動作の手順と移動経路、およびそれらに要する時間を作業内容情報として抽出する作業内容抽出部と、
上記作業内容抽出部で得られる上記作業内容情報に基づいて作業者が行う作業内容を分析して作業効率の良い標準作業から逸脱する標準外作業の有無を判断する作業内容分析部と、
上記作業内容分析部で作業者の作業が上記標準外作業であると判定された場合には、作業者に対して標準作業に復帰するように促す指示を与えるフィードバック部と、を備えるものである。
また、この発明に係る作業分析方法は、作業者の関節部位の部位座標と作業者の存在位置座標とを検出する座標情報取得ステップと、
上記座標情報取得ステップで取得された上記部位座標と上記存在位置座標とに基づいて作業者の一連の作業に伴う作業動作の手順と移動経路、およびそれらに要する時間を作業内容情報として抽出する作業内容抽出ステップと、
上記作業内容抽出ステップで得られる上記作業内容情報に基づいて作業者が行う作業内容を分析して作業効率の良い標準作業から逸脱する標準外作業の有無を判断する作業内容分析ステップと、
上記作業内容分析ステップで作業者の作業が上記標準外作業であると判定された場合には、作業者に対して標準作業に復帰するように促す指示を与えるフィードバックステップと、を備えるものである。
この発明によれば、作業者が行う作業内容についてチェックする分析者に過大な負担を強いることなく、標準外作業の有無を自動的、客観的、かつ迅速に分析して、常に適切な標準作業を行うように指導することができる。このため、作業の安全性確保、作業効率の向上、さらには製品の品質保証を図ることができる。
この発明の実施の形態1における作業分析装置の全体を示す構成図である。 この発明の実施の形態1の分析機器としてのパーソナルコンピュータ(PC)のハードウエアの構成例を示すブロック図である。 この発明の実施の形態1の作業分析装置のモーションキャプチャの設置位置を原点として座標位置を設定するための座標系の説明図である。 この発明の実施の形態1の作業分析装置の機能ブロック図である。 この発明の実施の形態1の作業分析装置の部位座標情報取得部において取得対象となる作業者の関節部位を示す説明図である。 この発明の実施の形態1の作業分析装置の部位座標情報取得部で作業者の関節部位について取得した部位座標情報の一例を示す説明図である。 この発明の実施の形態1の作業分析装置の移動情報抽出部で抽出される作業者の移動経路の一例を示すグラフである。 この発明の実施の形態1の作業分析装置の動作手順情報抽出部において作業者の作業動作手順を抽出する処理内容を説明するためのフローチャートである。 この発明の実施の形態1の動作手順情報抽出部において作業者の作業動作として「歩く」動作を抽出するための説明図である。 この発明の実施の形態1の動作手順情報抽出部において作業者の作業動作として「振り向く」動作を抽出するための説明図である。 この発明の実施の形態1の動作手順情報抽出部において作業者の作業動作として「昇り降り」動作を抽出するための説明図である。 この発明の実施の形態1の動作手順情報抽出部において作業者の作業動作として「しゃがむ」動作を抽出するための説明図である。 この発明の実施の形態1の動作手順情報抽出部において作業者の作業動作として「背伸び」動作を抽出するための説明図である。 この発明の実施の形態1の動作手順情報抽出部において作業者の作業動作として「屈む」動作を抽出するための説明図である。 この発明の実施の形態1の学習部による学習処理手順を説明するフローチャートである。 この発明の実施の形態1の作業内容分析部により作業内容を分析して標準外作業かどうかを判断するための処理手順を示すフローチャートである。 この発明の実施の形態1のフィードバック部によるフィードバック処理内容の説明図である。 この発明の実施の形態1のフィードバック部からの指示により作業者に対して標準作業への復帰を促すフィードバック装置の一例を示す構成図である。 図18に示すフィードバック装置により標準作業への復帰を促す場合のフィードバック装置における動作説明に供する説明図である。 この発明の実施の形態1のフィードバック部からの指示により作業者に対して標準作業への復帰を促すフィードバック装置のその他の一例を示す構成図である。 この発明の実施の形態2の作業分析装置の機能ブロック図である。 この発明の実施の形態1または2の作業分析装置の変形例を示す構成図である。
実施の形態1.
図1はこの発明の実施の形態1における作業分析装置の全体を示す構成図である。
この実施の形態1における作業分析装置は、作業者Mの三次元空間(3Dspace)上の位置情報を取得するモーションキャプチャ1と、このモーションキャプチャ1で得られる位置情報に基づいて作業者Mの作業内容を分析する分析機器の例としてのパーソナルコンピュータ(以下、PCと称する)2とを備え、モーションキャプチャ1とPC2とはUSBケーブル3を介して互いに接続されている。なお、モーションキャプチャ1には電源1Aが接続されている。
図2は、分析機器としてのPC2のハードウエアの構成例を示すブロック図である。PC2は、プロセッサ200、記憶装置201、及び入出力部202を備えている。記憶装置201は図示していないが、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置を備える。フラッシュメモリ等の代わりにハードディスクの補助記憶装置を備えてもよい。プロセッサ200は、記憶装置201から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ200にプログラムが入力される。また、プロセッサ200は、演算処理結果等のデータを記憶装置201の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。入出力部202には、モーションキャプチャ1からのデータが、USBケーブル3を介して入力される。
この実施の形態1におけるモーションキャプチャ1としては、例えばマイクロソフト社のKinect(登録商標)を用いることで、作業者Mにセンサマーカ等を付けずに三次元空間(3Dspace)上の位置情報を取得することができる。図3はモーションキャプチャ1の設置位置を観測原点として、x、y、zの各方向を示した図であり、xを水平方向、yを鉛直方向、zを奥行方向の位置を意味している。
なお、モーションキャプチャ1としてはこのような構成のものに限らず、作業者Mにセンサマーカを付けて使用する構成、または赤外線カメラによって熱検知する構成など、さまざまな検出方法のモーションキャプチャ1を使用可能である。
図4は実施の形態1における作業分析装置の機能ブロック図である。
この作業分析装置は、作業者の関節部位の部位座標情報を取得する部位座標情報取得部5、作業者の存在位置座標情報を取得する存在位置座標情報取得部6、部位座標情報取得部5で取得された部位座標情報を記録する部位座標情報記録部7、存在位置座標情報取得部6で取得された存在位置座標情報を記録する存在位置座標情報記録部8、部位座標情報記録部7に記録されている部位座標情報に基づいて作業者の作業動作の一連の手順とそれに要する時間を動作手順情報として抽出する動作手順情報抽出部9、存在位置座標情報記録部8に記録されている存在位置座標情報に基づいて作業者の移動経路とそれに要する時間を移動情報として抽出する移動情報抽出部10、動作手順情報抽出部9で抽出される作業者の動作手順情報と移動情報抽出部10で抽出される移動情報とに基づいて無駄の無い最適な作業内容となるように学習を行う学習部11、学習部11で得られる作業内容の学習結果を記録する学習内容記録部15、上記の動作手順情報抽出部9で抽出される動作手順情報、移動情報抽出部10で抽出される移動情報、および学習内容記録部15で記録されている情報に基づいて作業者が行う作業内容を分析して標準外作業の有無を判断する作業内容分析部12、作業内容分析部12と共に学習部11を同時に動作させるかどうかを選択する処理選択部13、および作業内容分析部12で標準作業以外の作業が行われたと判断された場合に作業者に対して標準作業に復帰するように促す指示を与えるフィードバック部14を備えている。
ここで、上記の部位座標情報取得部5と存在位置座標情報取得部6とがモーションキャプチャ1に対応する。また、上記の動作手順情報抽出部9、移動情報抽出部10、学習部11、作業内容分析部12、処理選択部13およびフィードバック部14は、PC2の記憶装置201に所定のプログラムをインストールし、プロセッサ200により当該プログラムを実行することにより動作する。さらに、部位座標情報記録部7、存在位置座標情報記録部8、および学習内容記録部15は、PC2が備える記憶装置201に対応する。
なお、上記の部位座標情報取得部5および存在位置座標情報取得部6が、請求の範囲(請求項1)における座標情報取得部に対応し、また、上記の動作手順情報抽出部9および移動情報抽出部10が、請求の範囲(請求項1)における作業内容抽出部にそれぞれ対応している。
このように、部位座標情報取得部5と存在位置座標情報取得部6とを市販のモーションキャプチャ1を適用して構成することで、柔軟な機器構成にすることが可能となる。また、それ以外の各部はPC2を用いているが、これに限らずPC2と同等の機能をもつタブレット端末やスマートホンを用いてもよく、パーソナルコンピュータに限定するものではない。
また、この実施の形態1では、部位座標情報取得部5と存在位置座標情報取得部6とが1台のモーションキャプチャ1により構成されているが、一般的に、部位座標情報は人の体の可動域であるので、50cm以下の精度の記録が必要であるのに対し、存在位置座標情報は作業域(数メートル四方)であるので、1m以上のスケールでの記録が必要となることがある。そのため、部位座標情報の取得には、体の形状を詳細記録できるモーションキャプチャ1を用い、存在位置座標情報の取得には、GPS(Grobal Positioning System)装置、ビーコン、カメラ、画像認識装置を用いるなど、装置を使い分けることも可能である。
また、作業者Mの移動範囲が広くて、モーションキャプチャ1の検出限界を超える場合には、作業者Mにビーコンを所持させ、存在位置座標の検出を継続することで、検出限界を超えるような外乱があった場合に、何を実施していたかを推定することができる。
次に、図4に示した作業分析装置の各部の具体的な処理動作について説明する。
モーションキャプチャ1で構成される部位座標情報取得部5は、作業者の人体各部の部位座標情報を取得する。図5は部位座標情報取得部5において取得対象となる作業者の関節部位を示すものであり、頭部(HEAD、以下Hと表記)から右足先(FOOT_RIGHT、以下FRと表記)および左足先(FOOT_LEFT、以下FLと表記する)まで合計20箇所の関節部位の座標情報が取得対象となっている。
図6は部位座標情報取得部5によって記録された作業者の部位座標情報の一例である。部位座標情報は、データを取得した日付・時刻と、関節部位の名称と、関節部位の座標(x、y、z)の各情報が含まれている。そして、この部位座標情報は、部位座標情報記録部7に記録される。
また、存在位置座標情報取得部6は、作業者の存在位置座標情報を取得する。この場合、例えば人体の頭部Hの三次元空間上の位置を存在位置座標情報とする。この存在位置座標情報は、部位座標情報と同期した日付時刻情報と共に存在位置座標情報記録部8に記録される。
移動情報抽出部10は、存在位置座標情報記録部8に記録されている存在位置座標情報に基づいて作業者の移動経路およびそれに要する時間を移動情報として抽出する。図7は、移動情報抽出部10で抽出された作業者の移動情報の一例を示すものである。
また、動作手順情報抽出部9は、部位座標情報記録部7に記録されている部位座標情報に基づいて作業者の作業動作の一連の手順およびそれに要する時間を動作手順情報として抽出する。この動作手順情報抽出部9における処理内容について、図8に示すフローチャートを参照して説明する。なお、以下において符号Sは各処理ステップを意味する。
動作手順情報抽出部9に対しては、作業内容をチェックする分析者が、作業者の各種の動作(例えば、歩く、振り向く、屈む、昇り降りなどの各種動作)の内から、作業者が動作すると想定される動作(以下、評価対象動作という)を予め設定しておく(ステップS11)。例えば、床面が平らな場所で作業するような場合には、歩く動作は評価対象動作となるが、階段の昇り降りなどの作業動作は評価対象動作から除外される。
そして、動作手順情報抽出部9は、部位座標情報記録部7に記録されている部位座標情報を取り込み(ステップS12)、この部位座標情報に基づいて後述の作業動作を抽出するためのルールと照合して、作業者がどのような動作を行ったかを判定する(ステップS13)。これをステップS11で予め設定した全ての評価対象動作について実施し、全ての評価対象動作についての動作抽出が完了すれば(ステップS14のYES)、それらの評価対象動作の一連の手順を示す情報(評価対象動作の時系列情報)、およびこの一連の動作手順に要する時間情報を抽出し、それらの情報を動作手順情報として出力する(ステップS15)。
次に、図8に示したルール照合ステップ(ステップS13)において、部位座標情報に基づいて評価対象動作を抽出する場合の処理内容の詳細について説明する。
ここでは、各種の作業動作の内から、代表的な6つの動作を評価対象動作として挙げて説明するが、必ずしもこのような6つの動作に限定されるものではない。いずれの動作も、直前時刻の部位座標情報との間の変化量を用いて照合する。
(1)歩く
図9は、「歩く」動作の照合ルールの例を示している。
「歩く」動作であるか否かを照合するには、入力された部位座標情報から、肩中央部(Shoulder_Center、以下SCと表記)の水平方向(x−z座標)の移動距離を用いる。移動前の肩中央部SCのx座標をSCx、z座標をSCzとし、移動後の肩中央部SC’のx座標をSC'x、z座標をSC'zとすれば、肩中央部SCの移動距離が作業者の歩幅0.5mより大きい場合に、「歩く」動作が行われたと見做すことができる。下記の式(1)において、左辺が肩中央部SCの移動距離を意味し、右辺が作業者の歩幅(判断閾値)を意味している。
Figure 2018131630
式(1)の例では、「歩く」動作の判断閾値としての歩幅を0.5mとしているが、この値は0.5mに限定しているわけではなく、作業内容をチェックする分析者の判断によって自由に設定することができる。
(2)振り向く
図10は、「振り向く」動作の照合ルールの例を示している。「振り向く」動作であるか否かを照合するには、入力された部位座標情報から、左肩(Shoulder_Left、以下SLと表記)のx座標であるSLxおよびz座標であるSLz、あるいは右肩(Shoulder_Right、以下SRと表記)のx座標であるSRxおよびz座標であるSRzと、観測原点x0およびz0を結ぶ直線のなす角度θを計算する。θの角度差が90°以上の場合に、「振り向く」動作が行われたと見做すことができる。
Figure 2018131630
式(2)の例では、「振り向く」動作の移動前後の肩中央部と左肩とを結ぶベクトルの角度差が90°(π/2)を判断閾値に設定しているが、この値は90°(π/2)に限定しているわけではなく、作業内容をチェックする分析者の判断によって自由に設定することができる。
(3)昇り降り
図11は、「昇り降り」動作の照合ルールの例を示している。
「昇り降り」動作であるか否かを照合するには、入力された部位座標情報から、左足先(以下FLと表記)と右足先(以下FRと表記)の両方の垂直方向の移動距離を用いる。移動前の左足先FLの鉛直方向のy座標であるFLyと、右足先FRの鉛直方向のy座標であるFRyと、のどちらか小さい方(低い位置にある方)の値をFL/Ryとし、移動後の左足先FLの鉛直方向のy座標であるFL'yと右足先FRの鉛直方向y座標であるFR'yの小さい方(低い位置にある方)の値をFL'/R'yとすれば、移動前後の両者の差(すなわち段差)が大きい時に、「昇り降り」動作が行われたと見做すことができる。下記の式(3)において、左辺が移動前後の右足先FRと左足先FLのいずれか低い位置にある方の位置の変化量、すなわち段差を意味し、右辺が昇り降りの判断閾値を意味している。
Figure 2018131630
式(3)の例では、「昇り降り」動作の移動前後の段差が0.1mとしているが、この値は0.1mに限定しているわけではなく、作業内容をチェックする分析者の判断によって自由に設定することができる。
(4)しゃがむ
図12は、「しゃがむ」動作の照合ルールの例を示している。
「しゃがむ」動作であるか否かを照合するには、入力された部位座標情報から、臀部(Hip_Center、以下HCと表記)の鉛直方向のy座標であるHCyと、「昇り降り」動作の判断時に使用した上記のFL/Ryとの近接度合いを用いる。「しゃがむ」動作では、臀部HCが床面に近づき、結果的に左右足先との鉛直方向の距離差が縮まることから、臀部HCとFL/Ryとの差が小さい時に、「しゃがむ」動作が行われたと見做すことができる。式(4)において、左辺が臀部HCと左右足先との距離を意味し、右辺が「しゃがむ」動作の判断閾値を意味している。
Figure 2018131630
式(4)の例では、「しゃがむ」動作の判断閾値を0.3mとしているが、この値は0.3mに限定しているわけではなく、作業内容をチェックする分析者の判断によって自由に設定することができる。
(5)背伸び
図13は、「背伸び」動作の照合ルールの例を示している。
「背伸び」動作であるか否かを照合するには、入力された部位座標情報から、左足踵(Ankle_Left、以下ALと表記)の鉛直方向のy座標であるALyと右足踵(Ankle_Right、以下ARと表記)の鉛直方向のy座標であるARyのどちらか小さい方(低い位置にある方)の値をAL/Ryとし、左右足先のFL/Ryとの距離を用いる。背伸び姿勢では、踵が床面から離れ、結果的に左右足先と踵との鉛直方向の距離が広がることから、AL/RyとFL/Ryとの差が大きい時に、「背伸び」動作が行われたと見做すことができる。下記の式(5)において、左辺が左右足先と左右踵との鉛直方向の距離差を意味し、右辺が背伸び姿勢の判断閾値を意味している。
Figure 2018131630
式(5)の例では、「背伸び」動作の判断閾値を0.05mとしているが、この値は0.05mに限定しているわけではなく、作業内容をチェックする分析者の判断によって自由に設定することができる。
(6)屈む
図14は、「屈む」動作の照合ルールの例を示している。
「屈む」動作であるか否かを照合するには、入力された部位座標情報から、頭部Hの鉛直方向のy座標であるHyと臀部HCの鉛直方向のy座標であるHCyの距離を用いる。屈む姿勢では、頭部Hが床面に近づき、結果的に臀部HCとの鉛直方向の距離が近づくことから、HyとHCyとの差が小さい時に、「屈む」動作が行われたと見做すことができる。下記の式(6)において、左辺が頭部Hと臀部HCの鉛直方向の距離差を意味し、右辺が屈む姿勢の判断閾値を意味している。
Figure 2018131630
式(6)の例では、「屈む」動作の判断閾値を0.4mとしているが、この値は0.4mに限定しているわけではなく、作業内容をチェックする分析者の判断によって自由に設定することができる。
作業者の作業動作にムリまたはムダが無く、作業者が効率良く作業を進める上での最適な作業内容を標準作業として確立するには、作業者が試行錯誤的に一連の動作手順に沿って作業を繰り返し実施して、最適な作業内容となるように学習して行くのが好ましい。そして、一連の動作手順に沿った作業を実施した結果、それに要する時間が最も短く、かつ作業動作にムリやムダが無い場合には、その一連の最適な動作手順に沿った作業を標準作業として設定する。
そこで、この実施の形態1では、一連の動作手順に沿った作業内容にムリまたはムダが無く、かつその作業に要する時間が最も短い作業を標準作業として確立するための学習部11を設けている。
標準作業として未だ確立されていない初期段階では、処理選択部13によって作業内容分析部12と共に学習部11も動作するように選択される。この学習部11による学習動作について、図15に示すフローチャートを参照して説明する。
前述のように、作業者が一連の作業する際には、動作手順情報抽出部9によって動作手順情報(すなわち、作業者の各々の評価対象動作とこれらの各評価対象動作の一連の手順、およびこの一連の動作手順に要する時間情報)が抽出され、また、移動情報抽出部10によって移動情報(すなわち、作業者の移動経路とそれに要する時間情報)が抽出されているので、学習部11は、これらの動作手順情報および移動情報(以下、両者を合わせて作業内容情報という)を取り込む(ステップS21、ステップS22)。
次に、学習部11は、これらの作業内容情報(動作手順情報および移動情報)に基づいて、今回(n回目)の作業内容と前回(n−1回目)の作業内容とを比較し(ステップS23)、今回の作業内容が前回に比較してムリまたはムダが無く、かつ作業に要する時間が短い場合には、今回の作業内容が最適な作業であるとして採用する(ステップS24)。そして、ステップS24の最適な作業内容情報を作業内容分析部12で作業内容を分析する際の基準として学習内容記録部15に記録する(ステップS26)。これに対して、前回の作業内容が今回に比較してムリまたはムダが無く、かつ作業に要する時間が短い場合には、前回の作業内容が最適な作業であるとして採用する(ステップS25)。そして、ステップS25の最適な作業内容情報を作業内容分析部12で作業内容を分析する際の基準として学習内容記録部15に記録する(ステップS26)。これにより、例えば生産ラインの変更、作業現場の改善等により、作業内容が変更された場合でも常に最適な動作手順に従う作業を基準とした評価を行える。
なお、上記の学習部11において、作業者が試行錯誤的に一連の動作手順に沿った作業を繰り返し実施した結果、標準作業として確立されたと判断できるような場合には、分析者の指示により、処理選択部13によって学習部11の学習動作は停止され、学習内容記録部15に登録された最適な作業内容情報(動作手順情報および移動情報)が基準の標準作業情報として、次に述べる作業内容分析部12が作業者の作業内容を判断する際の比較対象として利用される。
作業内容分析部12において、作業者が行う作業内容を分析して標準外作業の有無、すなわち標準作業と一致しているか否かを判断する場合の処理動作について、図16に示すフローチャートを参照して説明する。
作業内容分析部12は、まず、動作手順情報抽出部9によって得られた作業者に関する動作手順情報(すなわち、作業者の各評価対象動作の一連の手順、およびこの一連の動作手順に要する時間情報)と、移動情報抽出部10によって得られた作業者の移動情報(作業者の移動経路とそれに要する時間情報)とを作業内容情報として取り込む(ステップS31、ステップS32)。
次に、作業内容分析部12は、作業者の作業に伴って得られた現在の作業内容と学習内容記録部15に記録されている最適な作業内容とを比較し(ステップS33)、両者の作業内容が一致しているかどうかを判定する(ステップS34)。ステップS34において現在の作業内容と最適な作業内容が一致しておれば、さらに、一連の作業(動作手順や移動)に要する時間が一致しているかどうかを判定する(ステップS35)。一連の作業に要する時間が一致しておれば、標準作業であると判定する(ステップS36)。
一方、ステップS34で、作業者の作業に伴って得られた現在の作業内容と学習内容記録部15に記録されている最適な作業内容とが一致しない場合には、標準作業と不一致、すなわち標準外作業であると判定する(ステップS37)。また、ステップS35において一連の作業(動作手順や移動)に要する時間が不一致であれば、作業ペースに乱れがあると判定する(ステップS38)。それらの判定結果は、フィードバック部14へ送出される。
フィードバック部14は、作業内容分析部12による判定結果に応じて、作業者に対して標準作業順守のための指示を出す。すなわち、図17に示すように、標準作業と一致していると判定した場合には、作業者には何ら指示は出さない。ペース乱れと判定した場合には、標準作業のペースへの復帰を促す指示を出す。また、標準作業と不一致(標準外作業)と判定した場合には、作業停止の警告を発生させる。
次に、フィードバック部14による作業者に対するフィードバック処理の具体例について説明する。
図18は、フィードバック部14からの指示により作業者Mに対して標準作業への復帰を促すフィードバック装置の一例であり、音響を利用したものを示している。
作業現場に作業者Mに対して指向性を持たせたスピーカ16を設置し、このスピーカ16を音階発生装置17を介してフィードバック部14に接続している。そして、標準作業が正常に実施されている場合には、スピーカ16からメトロノームのように標準作業の1サイクルに同期させた一定周期の音階音を発生させ、作業者Mに作業ペースを意識させるようにする。
そして、標準作業と一致している場合には、作業者Mへの特別なフィードバックはないが、ペース乱れと判定された場合には、フィードバック部14からの指示により、図19に示すように、音階スピードを変化させて標準作業のペースへの復帰を促す。すなわち、ペース遅れの場合では徐々に音階スピードを速くし、ペース進みの場合には徐々に音階スピードを遅くすることで、作業者Mにインパクトを与えずに自然に標準作業ペースへの復帰を促す。また、標準作業と不一致(標準外作業)と判定した場合には、作業停止の警告を発生させる。
図20は、フィードバック部14からの指示により作業者Mに対して標準作業への復帰を促すフィードバック装置の他の一例であり、振動発生器と警報器を備えたウェアラブル端末18を利用したものを示している。
作業者Mの作業に伴う移動範囲が広い場合には、指向性のスピーカなどの設備を一箇所に固定して設置することが困難となる。そのため、作業者Mにウェアラブル端末18を装着させ、フィードバック部14から作業指示発生装置19を介して無線通信RCでウェアラブル端末18に指示が送られる。そして、標準作業が正常に実施されている場合には、ウェアラブル端末18の振動発生器により標準作業の1サイクルに同期させた振動を発生させ、作業者Mに作業ペースを意識させる。
そして、標準作業と一致している場合には、作業者Mへの特別なフィードバックはないが、ペース乱れと判定された場合には、フィードバック部14からの指示により、ウェアラブル端末18が備える振動発生器の振動スピードを変化させて標準作業のペースへの復帰を促す。すなわち、ペース遅れの場合では徐々に振動スピードを速くし、ペース進みの場合には徐々に振動スピードを遅くすることで、作業者Mにインパクトを与えずに自然に標準作業ペースへの復帰を促す。また、標準作業と不一致(標準外作業)と判定した場合には、ウェアラブル端末18が備える警報器を作動させて作業停止の警告音を発生させるようにする。
実施の形態2.
本実施の形態2では、上記の実施の形態1の構成に加えて、図1に示した接続部51、52を、図21に示す接続部51A、52Aのように、ネットワークの接続として置き換えるようにする。そして、学習部11および学習内容記録部15をクラウド上に配置することにより、遠隔地の作業分析を行うことが可能となる。その他の構成は実施の形態1の場合と同様である。
このような構成とすることで、学習部11および学習内容記録部15を作業情報に関するビッグデータとして保管する。これにより、新設する工場や生産ラインにおいても学習済みの標準作業を即時に適用することが可能となる。
上記の実施の形態1、2について、次のような変形例や応用例を考えることができる。
例えば、上記の実施の形態1、2では、部位座標情報取得部5および存在位置座標情報取得部6を1台のモーションキャプチャ1により構成しているが、これに限らず、例えば図22に示すように、複数の作業者M1およびM2に対応して複数のモーションキャプチャ1aおよび1bを設置し、それらにより部位座標情報取得部5と存在位置座標情報取得部6を構成することも可能である。この場合、複数のモーションキャプチャ1aおよび1bをLAN20を介して1台のPC2に接続している。なお、モーションキャプチャ1aおよび1bには電源1aAおよび1bAが接続されている。このように、複数のモーションキャプチャ1aおよび1bを用いることで、離れた場所で作業している作業者M1およびM2についても、その作業分析を効率的に行うことができる。
なお、モーションキャプチャ1aおよび1bの数は、このような2台に限らず、3台以上設けることも可能である。
さらに、この実施の形態1、2では、主として工場において製品の製造に従事する作業者が行う作業が標準作業から逸脱しているか否かを分析対象とする場合について説明したが、この発明は、このような分野に限らず、非製造業におけるルーチン作業などを分析対象として、その作業内容が作業者の作業環境改善や労働衛生上、適切か否かを判断する場合でも有効に適用可能である。
さらに、この発明は、上記の実施の形態1、2の構成のみに限定されるものではなく、この発明の趣旨を逸脱しない範囲内において、実施の形態1、2の構成の一部を変更したり、その構成を省略することができる。
1,1a,1b モーションキャプチャ、2 パーソナルコンピュータ(PC)、M,M1,M2 作業者、5 部位座標情報取得部、6 存在位置座標情報取得部、7 部位座標情報記録部、8 存在位置座標情報記録部、9 動作手順情報抽出部、10 移動情報抽出部、11 学習部、12 作業内容分析部、13 処理選択部、14 フィードバック部、15 学習内容記録部。
この発明に係る作業分析装置は、作業者の関節部位の部位座標と作業者の存在位置座標とを検出する座標情報取得部と、
上記座標情報取得部で取得された上記部位座標と上記存在位置座標とに基づいて作業者の一連の作業に伴う作業動作の手順と移動経路、およびそれらに要する時間を作業内容情報として抽出する作業内容抽出部と、
上記作業内容抽出部で得られる上記作業内容情報に基づいて作業者が行う作業内容を分析して標準作業から逸脱する標準外作業の有無を判断する作業内容分析部と、
上記作業内容分析部で作業者の作業が上記標準外作業であると判定された場合には、作業者に対して標準作業に復帰するように促す指示を与えるフィードバック部とを備え、
上記作業内容分析部は、上記作業内容が上記標準作業に一致するとともに作業に要する時間が上記標準外作業であると判断した場合は作業ペースに乱れがあると判断し、
上記フィードバック部は、上記作業内容分析部により作業ペースに乱れがあると判断された場合には、上記標準作業のペースへの復帰を促すものである。
また、この発明に係る作業分析方法は、作業者の関節部位の部位座標と作業者の存在位置座標とを検出する座標情報取得ステップと、
上記座標情報取得ステップで取得された上記部位座標と上記存在位置座標とに基づいて作業者の一連の作業に伴う作業動作の手順と移動経路、およびそれらに要する時間を作業内容情報として抽出する作業内容抽出ステップと、
上記作業内容抽出ステップで得られる上記作業内容情報に基づいて作業者が行う作業内容を分析して標準作業から逸脱する標準外作業の有無を判断する作業内容分析ステップと、
上記作業内容分析ステップで作業者の作業が上記標準外作業であると判定された場合には、作業者に対して標準作業に復帰するように促す指示を与えるフィードバックステップとを備え、
上記作業内容分析ステップにおいては、上記作業内容が上記標準作業に一致するとともに作業に要する時間が上記標準外作業であると判断した場合は作業ペースに乱れがあると判断し、
上記フィードバックステップにおいては、上記作業内容分析ステップにより作業ペースに乱れがあると判断された場合には、上記標準作業のペースへの復帰を促すものである。
実施の形態2.
本実施の形態2では、上記の実施の形態1の構成に加えて、図4に示した接続部51、52を、図21に示す接続部51A、52Aのように、ネットワークの接続として置き換えるようにする。そして、学習部11および学習内容記録部15をクラウド上に配置することにより、遠隔地の作業分析を行うことが可能となる。その他の構成は実施の形態1の場合と同様である。

Claims (7)

  1. 作業者の関節部位の部位座標と作業者の存在位置座標とを検出する座標情報取得部と、
    上記座標情報取得部で取得された上記部位座標と上記存在位置座標とに基づいて作業者の一連の作業に伴う作業動作の手順と移動経路、およびそれらに要する時間を作業内容情報として抽出する作業内容抽出部と、
    上記作業内容抽出部で得られる上記作業内容情報に基づいて作業者が行う作業内容を分析して作業効率の良い標準作業から逸脱する標準外作業の有無を判断する作業内容分析部と、
    上記作業内容分析部で作業者の作業が上記標準外作業であると判定された場合には、作業者に対して標準作業に復帰するように促す指示を与えるフィードバック部と、
    を備える作業分析装置。
  2. 上記作業内容抽出部で抽出される前回の作業内容情報と今回の作業内容情報とを比較して作業効率の良い方の作業内容情報を、上記作業内容分析部で作業内容を分析する際の基準となるように学習する学習部と、上記学習部で学習された上記作業内容情報を過去に遡って記録する学習内容記録部と、
    を備える請求項1に記載の作業分析装置。
  3. 上記学習部および上記学習内容記録部はネットワークに接続されて、上記学習部および上記学習内容記録部がクラウド上に配置されている請求項2に記載の作業分析装置。
  4. 上記座標情報取得部は、作業者の関節部位の部位座標を検出する部位座標情報取得部と、作業者の存在位置座標を検出する存在位置座標情報取得部とからなる請求項1から請求項3のいずれか1項に記載の作業分析装置。
  5. 上記作業内容抽出部は、上記部位座標情報取得部で検出された作業者の上記部位座標を動作手順情報に変換する動作手順情報抽出部と、上記存在位置座標情報取得部で検出された上記存在位置座標の情報を作業者の移動情報に変換する移動情報抽出部とからなる請求項4に記載の作業分析装置。
  6. 作業者の関節部位の部位座標と作業者の存在位置座標とを検出する座標情報取得ステップと、
    上記座標情報取得ステップで取得された上記部位座標と上記存在位置座標とに基づいて作業者の一連の作業に伴う作業動作の手順と移動経路、およびそれらに要する時間を作業内容情報として抽出する作業内容抽出ステップと、
    上記作業内容抽出ステップで得られる上記作業内容情報に基づいて作業者が行う作業内容を分析して作業効率の良い標準作業から逸脱する標準外作業の有無を判断する作業内容分析ステップと、
    上記作業内容分析ステップで作業者の作業が上記標準外作業であると判定された場合には、作業者に対して標準作業に復帰するように促す指示を与えるフィードバックステップと、を備える作業分析方法。
  7. 上記作業者にビーコンを所持させ、上記座標情報取得ステップにおいて上記ビーコンからの情報に基づいて作業者の存在位置座標の検出を継続するようにしている請求項6に記載の作業分析方法。
JP2018561402A 2017-01-13 2018-01-11 作業分析装置および作業分析方法 Active JP6765449B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017003899 2017-01-13
JP2017003899 2017-01-13
PCT/JP2018/000414 WO2018131630A1 (ja) 2017-01-13 2018-01-11 作業分析装置および作業分析方法

Publications (2)

Publication Number Publication Date
JPWO2018131630A1 true JPWO2018131630A1 (ja) 2019-06-27
JP6765449B2 JP6765449B2 (ja) 2020-10-07

Family

ID=62840601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018561402A Active JP6765449B2 (ja) 2017-01-13 2018-01-11 作業分析装置および作業分析方法

Country Status (3)

Country Link
JP (1) JP6765449B2 (ja)
CN (1) CN110140093B (ja)
WO (1) WO2018131630A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6684336B1 (ja) * 2018-11-15 2020-04-22 株式会社ドワンゴ データ補正装置およびプログラム
JP7284575B2 (ja) * 2018-12-17 2023-05-31 キヤノン株式会社 工程推定装置および方法
JP7464451B2 (ja) * 2020-06-12 2024-04-09 株式会社ダイセル 骨格検出システム及び作業管理装置
JP2022006708A (ja) * 2020-06-24 2022-01-13 オムロン株式会社 動作認識システム、方法及びプログラム
JPWO2022209287A1 (ja) * 2021-03-29 2022-10-06
CN117136377A (zh) * 2021-03-29 2023-11-28 日本电气方案创新株式会社 计算装置
JP2022155853A (ja) * 2021-03-31 2022-10-14 Johnan株式会社 作業指示システム
JP7158534B1 (ja) 2021-06-16 2022-10-21 三菱電機株式会社 行動解析装置、行動解析方法及び行動解析プログラム
KR102578864B1 (ko) * 2023-06-07 2023-09-14 주식회사 성원 철강 제조 작업자의 모션 데이터를 이용한 인공신경망 학습 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334571A (ja) * 1994-06-07 1995-12-22 Toshiba Corp 作業進捗管理装置
JP2004030248A (ja) * 2002-06-26 2004-01-29 Yazaki Corp 生産管理装置
JP2004045738A (ja) * 2002-07-11 2004-02-12 Sharp Corp 作業内容教示システム
JP2006040160A (ja) * 2004-07-29 2006-02-09 Sharp Corp 作業手順書の作成装置及び作業手順書の作成方法
JP2010108089A (ja) * 2008-10-28 2010-05-13 Panasonic Electric Works Co Ltd 作業時間測定システム
US20150185731A1 (en) * 2013-12-26 2015-07-02 Hyundai Motor Company Work-in-process inspection system using motion detection, and method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4876141B2 (ja) * 2009-05-21 2012-02-15 関東自動車工業株式会社 作業ガイドシステム及び作業ガイド方法並びに該作業ガイド方法を記録した記録媒体
CN103713545B (zh) * 2013-12-17 2017-09-29 华为技术有限公司 操作指导方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07334571A (ja) * 1994-06-07 1995-12-22 Toshiba Corp 作業進捗管理装置
JP2004030248A (ja) * 2002-06-26 2004-01-29 Yazaki Corp 生産管理装置
JP2004045738A (ja) * 2002-07-11 2004-02-12 Sharp Corp 作業内容教示システム
JP2006040160A (ja) * 2004-07-29 2006-02-09 Sharp Corp 作業手順書の作成装置及び作業手順書の作成方法
JP2010108089A (ja) * 2008-10-28 2010-05-13 Panasonic Electric Works Co Ltd 作業時間測定システム
US20150185731A1 (en) * 2013-12-26 2015-07-02 Hyundai Motor Company Work-in-process inspection system using motion detection, and method thereof

Also Published As

Publication number Publication date
CN110140093A (zh) 2019-08-16
JP6765449B2 (ja) 2020-10-07
CN110140093B (zh) 2022-02-15
WO2018131630A1 (ja) 2018-07-19

Similar Documents

Publication Publication Date Title
JPWO2018131630A1 (ja) 作業分析装置および作業分析方法
Valero et al. Analysis of construction trade worker body motions using a wearable and wireless motion sensor network
Li et al. Automated post-3D visualization ergonomic analysis system for rapid workplace design in modular construction
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
KR102056664B1 (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
Weerasinghe et al. Application of Microsoft Kinect sensor for tracking construction workers
JP6783713B2 (ja) 人行動推定システム
JP5455787B2 (ja) 動作解析装置および動作解析方法
US10713770B2 (en) Analysis apparatus and analysis method
KR20180122247A (ko) 이종 센서들로부터 추출된 스켈레톤 정보를 이용하여 기계학습 데이터 및 주석을 생성하는 장치 및 그 방법
US20200125839A1 (en) Method and system for automatic repetitive step and cycle detection for manual assembly line operations
US11138805B2 (en) Quantitative quality assurance for mixed reality
US20140180743A1 (en) Workflow monitoring and analysis system and method thereof
JP2020177680A (ja) 作業分析装置、作業分析方法、及びプログラム
Agethen et al. Presenting a novel motion capture-based approach for walk path segmentation and drift analysis in manual assembly
CN110942083A (zh) 拍摄装置以及拍摄系统
Park et al. A framework for improving object recognition of structural components in construction site photos using deep learning approaches
Tran et al. Assessing human worker performance by pattern mining of Kinect sensor skeleton data
CN110826383B (zh) 分析系统、分析方法、程序以及存储介质
KR101468681B1 (ko) 표준 작업 관리 시스템 및 표준 작업 관리 방법
Radhakrishnan et al. Experimentation and analysis of time series data from multi-path robotic environment
US20210027481A1 (en) System, method, and computer-readable medium for managing position of target
KR20200073588A (ko) 작업자 동작인식을 이용한 생산라인 모니터링 시스템 및 이를 이용하여 생산라인을 모니터링하는 방법
Alwasel et al. Level-of-expertise classification for identifying safe and productive masons
WO2023139750A1 (ja) データセット作成装置及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191107

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200915

R151 Written notification of patent or utility model registration

Ref document number: 6765449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250