WO2020194386A1 - 情報処理装置、判定出力方法、及び判定出力プログラム - Google Patents

情報処理装置、判定出力方法、及び判定出力プログラム Download PDF

Info

Publication number
WO2020194386A1
WO2020194386A1 PCT/JP2019/012137 JP2019012137W WO2020194386A1 WO 2020194386 A1 WO2020194386 A1 WO 2020194386A1 JP 2019012137 W JP2019012137 W JP 2019012137W WO 2020194386 A1 WO2020194386 A1 WO 2020194386A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
skeleton
determination unit
useless operation
Prior art date
Application number
PCT/JP2019/012137
Other languages
English (en)
French (fr)
Inventor
智史 櫻井
松岡　文啓
啓 五味田
猛 大佐賀
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2019/012137 priority Critical patent/WO2020194386A1/ja
Priority to TW108127359A priority patent/TW202036593A/zh
Publication of WO2020194386A1 publication Critical patent/WO2020194386A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to an information processing device, a determination output method, and a determination output program.
  • Patent Document 1 a technique related to work analysis has been proposed.
  • An object of the present invention is to easily identify whether or not a useless operation is performed.
  • the information processing device is composed of a determination unit for determining whether or not the user is performing the useless operation and the determination unit based on the provision indicating the useless operation and the user skeleton information indicating the user's skeleton. It has an output unit that outputs the result of determination.
  • FIG. 1 It is a functional block diagram which shows the structure of an information processing apparatus. It is a figure which shows the structure of the hardware which the information processing apparatus has.
  • (A) to (d) are diagrams showing a specific example (No. 1) of the process executed by the determination unit. It is a flowchart which shows the state determination output processing. It is a figure (the 1) which shows the specific example of the output content.
  • (A) to (d) are diagrams showing a specific example (No. 2) of the process executed by the determination unit. It is a figure (the 2) which shows the specific example of the output content.
  • FIG. 1 is a functional block diagram showing a configuration of an information processing device.
  • the information processing device 100 is a device for determining whether or not an operator is performing a useless operation. Further, the information processing device 100 is a device that executes the determination output method.
  • FIG. 2 is a diagram showing a configuration of hardware included in the information processing device.
  • the information processing device 100 includes a processor 101, a volatile storage device 102, and a non-volatile storage device 103.
  • the processor 101 controls the entire information processing device 100.
  • the processor 101 is a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), or the like.
  • the processor 101 may be a multiprocessor.
  • the information processing device 100 may be realized by a processing circuit, or may be realized by software, firmware, or a combination thereof.
  • the processing circuit may be a single circuit or a composite circuit.
  • the volatile storage device 102 is the main storage device of the information processing device 100.
  • the volatile storage device 102 is a RAM (Random Access Memory).
  • the non-volatile storage device 103 is an auxiliary storage device of the information processing device 100.
  • the non-volatile storage device 103 is an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the information processing device 100 is connected to the photographing device 11 and the display 12.
  • the photographing device 11 photographs an operator.
  • the display 12 is a device for displaying information.
  • the information processing device 100 includes a storage unit 110, a skeleton extraction unit 120, a determination unit 130, and an output unit 140.
  • the storage unit 110 may be realized as a storage area reserved in the volatile storage device 102 or the non-volatile storage device 103.
  • a part or all of the skeleton extraction unit 120, the determination unit 130, and the output unit 140 may be realized by the processor 101.
  • a part or all of the skeleton extraction unit 120, the determination unit 130, and the output unit 140 may be realized as a module of a program executed by the processor 101.
  • the program executed by the processor 101 is also referred to as a determination output program.
  • the determination output program is recorded on a recording medium.
  • the storage unit 110 stores an image obtained by the photographing device 11 photographing an operator. Specifically, the storage unit 110 stores a plurality of images that are sequentially acquired by the photographing device 11 photographing the worker. A plurality of images may be expressed as moving images.
  • the skeleton extraction unit 120 extracts skeleton information indicating the skeleton of the worker by using the image stored in the storage unit 110.
  • the skeleton extraction unit 120 extracts skeleton information by using the image stored in the storage unit 110 and the OpenPose. In this way, the skeleton extraction unit 120 extracts skeleton information by using the image and the posture estimation technique.
  • the worker is also referred to as a user.
  • the extracted skeleton information is also referred to as user skeleton information or worker skeleton information.
  • the extracted skeleton information will be referred to as worker skeleton information.
  • the skeleton extraction unit 120 may extract the skeleton information of the worker as follows. First, the operator wears a device having an acceleration sensor and a gyro sensor. The storage unit 110 stores information acquired from the acceleration sensor and information acquired from the gyro sensor. The skeleton extraction unit 120 extracts the skeleton information of the operator based on the information acquired from the acceleration sensor and the information acquired from the gyro sensor. Further, the skeleton extraction unit 120 may extract the skeleton information of the operator from the information obtained by using the motion capture.
  • the determination unit 130 determines whether or not the worker is performing a useless operation based on the rule indicating the useless operation and the skeleton information of the worker.
  • the provision indicating useless operation may be expressed as the principle of operation economy.
  • the output unit 140 outputs the result of the determination by the determination unit 130. For example, the output unit 140 outputs the determination result to the display 12. Further, for example, the output unit 140 outputs the determination result by voice. Further, for example, the output unit 140 outputs the determination result to a paper medium.
  • FIG. 3A shows a reference state.
  • the reference state may be expressed as the standard state.
  • FIG. 3A also shows the skeleton information of the worker.
  • the skeleton information is information extracted by the skeleton extraction unit 120.
  • FIG. 3 (b) shows a state in which the worker moves his elbow or the like from the state of the worker in FIG. 3 (a). Therefore, for example, the position of the worker's elbow in FIG. 3 (b) is different from the position of the worker's elbow in FIG. 3 (a).
  • FIG. 3 (c) shows a state in which the worker leans out from the state of the worker in FIG. 3 (a). Therefore, for example, the position of the shoulder of the worker in FIG. 3C is different from the position of the shoulder of the worker in FIG. 3A.
  • FIG. 3 (d) shows a state in which the worker has moved from the state of the worker in FIG. 3 (a) and leaned forward. Therefore, for example, the position of the waist of the worker in FIG. 3D is different from the position of the waist of the worker in FIG. 3A.
  • the storage unit 110 stores the reference information.
  • the reference information indicates the reference position of each skeleton information.
  • the reference information indicates that the position of the skeleton information in FIG. 3A is the reference position.
  • the determination unit 130 performs a useless operation by the operator. Judged as For example, it is assumed that the determination unit 130 determines the state of the worker in FIG. 3B as that the worker is performing a useless operation.
  • the determination unit 130 When the distance between the position indicating the shoulder skeleton information in the worker's skeleton information and the reference position of the shoulder indicated by the reference information is equal to or greater than the threshold value, the determination unit 130 performs a useless operation by the operator. Judged as For example, it is assumed that the determination unit 130 determines that the operator in FIG. 3C shows a useless operation.
  • the determination unit 130 When the distance between the position indicating the waist skeleton information in the worker's skeleton information and the waist reference position indicated by the reference information is equal to or greater than the threshold value, the determination unit 130 performs a useless operation by the operator. Judge that For example, it is assumed that the determination unit 130 determines the state of the worker in FIG. 3D as that the worker is performing a useless operation.
  • the output unit 140 may output the state of the worker determined by the determination unit 130 as follows. Here, the process of determining the state of the worker in FIGS. 3A to 3D will be described with reference to a flowchart.
  • FIG. 4 is a flowchart showing the state determination output process.
  • the determination unit 130 executes the process of FIG. 4 every time the skeleton extraction unit 120 extracts the skeleton information of the worker.
  • Step S11 The determination unit 130 determines whether or not the distance between the position indicating the skeleton information of the waist and the reference position of the waist is equal to or greater than the threshold value. When the distance between the position indicating the skeleton information of the waist and the reference position of the waist is equal to or larger than the threshold value, the determination unit 130 proceeds to the process in step S15. When the distance between the position indicating the skeleton information of the waist and the reference position of the waist is less than the threshold value, the determination unit 130 advances the process to step S12.
  • Step S12 The determination unit 130 determines whether or not the distance between the position indicating the skeleton information of the shoulder and the reference position of the shoulder is equal to or greater than the threshold value. When the distance between the position indicating the skeleton information of the shoulder and the reference position of the shoulder is equal to or greater than the threshold value, the determination unit 130 advances the process to step S16. When the distance between the position indicating the skeleton information of the shoulder and the reference position of the shoulder is less than the threshold value, the determination unit 130 advances the process to step S13.
  • Step S13 The determination unit 130 determines whether or not the distance between the position indicating the skeleton information of the elbow and the reference position of the elbow is equal to or greater than the threshold value. When the distance between the position indicating the skeleton information of the elbow and the reference position of the elbow is equal to or greater than the threshold value, the determination unit 130 advances the process to step S17. When the distance between the position showing the skeletal information of the elbow and the reference position of the elbow is less than the threshold value, the determination unit 130 proceeds to the process in step S14.
  • Step S14 The determination unit 130 determines the state shown in FIG. 3A. Then, the process proceeds to step S18.
  • Step S15 The determination unit 130 determines the state shown in FIG. 3D. Then, the process proceeds to step S18.
  • Step S16 The determination unit 130 determines the state shown in FIG. 3C. Then, the process proceeds to step S18.
  • Step S17 The determination unit 130 determines the state shown in FIG. 3B. Then, the process proceeds to step S18.
  • the output unit 140 outputs the state determined by the determination unit 130.
  • FIG. 5 is a diagram (No. 1) showing a specific example of the output content.
  • FIG. 5 shows the output contents output by the output unit 140 to the display 12.
  • FIG. 5 is a diagram showing the states of FIGS. 3A to 3D on a timeline.
  • the administrator can grasp the time zone in which the worker is performing unnecessary operations by checking the output contents.
  • the state of FIG. 3D is a state in which the operator moves most. Therefore, for example, the administrator can grasp the time zone in which the worker performed the most useless operation by checking the state of FIG. 3D in the output contents.
  • the output unit 140 may output the state of each part of the body on a timeline. For example, the output unit 140 may output the state of the elbow on the timeline.
  • the determination unit 130 determines whether or not the worker is performing a useless operation based on the principle of the operation economy and the skeleton information of a plurality of workers.
  • the output unit 140 outputs at least one of a time zone in which the worker is performing a wasteful operation and a time zone in which the worker is not performing a wasteful operation.
  • the skeleton information of the plurality of workers is the skeleton information of the workers at different times.
  • FIG. 6A shows a state in which both hands of the operator are not moving.
  • FIG. 6A also shows the skeleton information of the worker.
  • the skeleton information is information extracted by the skeleton extraction unit 120.
  • FIG. 6B shows a state in which only the worker's right hand is moving. In other words, FIG. 6B shows a state in which the left hand of the worker is stopped. FIG. 6B also shows the skeleton information of the worker.
  • FIG. 6C shows a state in which only the left hand of the worker is moving. In other words, FIG. 6C shows a state in which the worker's right hand is stopped. FIG. 6C also shows the skeleton information of the worker. FIG. 6D shows a state in which both hands of the worker are moving. In addition, FIG. 6D also shows the skeleton information of the worker.
  • the determination unit 130 determines that the worker is performing a useless operation when one of the skeleton information of the right hand or the skeleton information of the left hand of the skeleton information of the worker is stopped.
  • This sentence may be expressed as follows.
  • the determination unit 130 determines that the worker is performing a useless operation. It may also be expressed as follows.
  • the position of the skeleton information of the right hand and the reference position of the right hand indicated by the reference information in the skeleton information of the worker are the same, or the position of the skeleton information of the left hand and the reference position of the left hand indicated by the reference information are the same. In the same case, it is determined that the worker is performing a useless operation. In other words, the determination unit 130 determines that the state in which only one hand is operating is a useless operation.
  • the determination unit 130 determines that there is a problem in the operation to be performed by the operator.
  • the output unit 140 outputs the result of the determination. Further, the output unit 140 may output the state of the worker determined by the determination unit 130 as follows.
  • FIG. 7 is a diagram (No. 2) showing a specific example of the output content.
  • FIG. 7 shows the output contents output by the output unit 140 to the display 12.
  • FIG. 7 is a diagram showing the states of FIGS. 6A to 6D on a timeline.
  • the administrator can grasp the time zone during which the worker is performing unnecessary operations by checking the output contents. Further, for example, the administrator can grasp that there is a problem in the operation to be performed by the worker by confirming the time zone when both hands are not moving.
  • the information processing device 100 determines whether or not the worker is performing a useless operation. In this way, the information processing device 100 automatically makes a determination. Therefore, a person with a low experience value can easily identify whether or not a useless operation is performed.
  • the information processing device 100 automatically makes a determination. Therefore, according to the embodiment, the observer does not have to observe the moving image for a long time. That is, the embodiment can efficiently identify useless operations.
  • the determination unit 130 may perform the following processing.
  • the determination unit 130 performs a useless operation by the operator. Judged as That is, when the moving distance of the hand is long, the determination unit 130 determines that the operator is performing a useless operation.
  • the determination unit 130 determines whether or not the worker is performing unnecessary movements based on the posture information indicating the skeleton information of the unreasonable posture and the skeleton information of the worker. Specifically, when the posture information indicating the skeleton information of the unreasonable posture and the skeleton information of the worker match, the determination unit 130 determines that the worker is performing a useless operation. Further, the determination process executed by the determination unit 130 may be expressed as follows. The determination unit 130 determines whether or not the worker is performing unnecessary movements based on the posture information indicating the skeleton information of the comfortable posture and the skeleton information of the worker.
  • the determination unit 130 determines that the worker is performing a useless operation. In this way, when the worker is in an unreasonable posture, the determination unit 130 determines that the worker is performing a useless operation.
  • the determination unit 130 determines that the worker is performing a useless operation when the amount of change in the speed at which the worker moves is equal to or greater than the threshold value.
  • the process will be described in detail.
  • the skeleton information of a plurality of workers is extracted from a plurality of images.
  • the determination unit 130 detects the time based on the time when each of the plurality of images was taken.
  • the determination unit 130 detects the distance traveled by the skeleton of the worker based on the skeleton information of the plurality of workers.
  • the determination unit 130 calculates the speed based on the detected time and distance. Using the calculation method, the determination unit 130 calculates the speed at predetermined time intervals.
  • the determination unit 130 calculates a plurality of speeds.
  • the determination unit 130 may integrate the acceleration obtained from the acceleration sensor to calculate the speed.
  • the determination unit 130 compares a plurality of speeds and calculates the amount of change in the speed at which the operator moves.
  • the determination unit 130 determines that the worker is performing a useless operation. In this way, when the worker is performing an awkward operation, the determination unit 130 determines that the worker is performing a useless operation. In other words, if the worker is not performing a smooth operation, the determination unit 130 determines that the worker is performing a useless operation.
  • the determination unit 130 determines that the worker is performing a useless operation when the interval between the inflection points of the speed at which the worker moves is not constant. The process will be described in detail.
  • the determination unit 130 calculates the speed as described above.
  • the determination unit 130 detects the inflection point of the speed.
  • the determination unit 130 determines that the operator is performing a useless operation when the interval between the inflection points of the speed is not constant.
  • This sentence may be expressed as follows.
  • the determination unit 130 has a first interval, which is an interval between the first inflection point of the speed and the second inflection point, which is the next inflection point after the first inflection point, and a second inflection point.
  • the operator When the difference between the point and the second interval, which is the interval between the third inflection point, which is the next inflection point after the second inflection point, is equal to or greater than the threshold value, the operator performs a useless operation. Judge that there is. In this way, when there is no rhythm in the movement of the worker, the determination unit 130 determines that the worker is performing a useless movement.
  • the determination unit 130 determines that the worker is performing a useless operation when the right hand of the worker and the left hand of the worker are moving asymmetrically.
  • the determination unit 130 performs a useless operation when both hands of the worker start the operation at the same time and both hands of the worker do not finish the operation at the same time based on the skeleton information of the plurality of workers. It is determined that it is.
  • the output unit 140 may perform the following processing.
  • the output unit 140 may superimpose the skeleton information of the operator on the image and output it.
  • the output unit 140 outputs the skeleton information of FIG. 3 (b) superimposed on the image without the skeleton information in the state of FIG. 3 (b).
  • the output unit 140 may output a body part that is performing unnecessary movements in a conspicuous color.
  • the output unit 140 may output a pie chart showing the states of FIGS. 3A to 3D. Further, the output unit 140 may output a Pareto chart showing the states of FIGS. 3A to 3D. As described above, the output unit 140 may output at least one of a state in which the worker is performing a useless operation and a state in which the worker is not performing a useless operation by using a graph. The output unit 140 may output an image in a state in which the operator is performing unnecessary operations.
  • 11 shooting device, 12 display 100 information processing device, 101 processor, 102 volatile storage device, 103 non-volatile storage device, 110 storage unit, 120 skeleton extraction unit, 130 judgment unit, 140 output unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

情報処理装置（１００）は、ユーザが無駄な動作を行っているか否かを判定する装置である。そして、情報処理装置（１００）は、判定部（１３０）と、出力部（１４０）とを有する。判定部（１３０）は、無駄な動作を示す規定と、ユーザ骨格情報と、に基づいて、ユーザが無駄な動作を行っているか否かを判定する。また、ユーザ骨格情報は、ユーザの骨格を示す。そして、出力部（１４０）は、判定部（１３０）による判定の結果を出力する。

Description

情報処理装置、判定出力方法、及び判定出力プログラム
　本発明は、情報処理装置、判定出力方法、及び判定出力プログラムに関する。
　工場などでは、作業者が作業している。ここで、作業分析に関する技術が提案されている（特許文献１を参照）。
特開２００８－７７４２４号公報
　ところで、作業者が効率の良い動作をすることが望ましい。しかし、作業者は、無駄な動作を行っている場合がある。作業者が無駄な動作を行っているか否かは、経験から判断される。そのため、作業者が無駄な動作を行っているか否かを経験値の低い者が判断することは、難しい。
　本発明の目的は、無駄な動作を行っているか否かを容易に特定することである。
　本発明の一態様に係る情報処理装置が提供される。情報処理装置は、無駄な動作を示す規定と、ユーザの骨格を示すユーザ骨格情報とに基づいて、前記ユーザが前記無駄な動作を行っているか否かを判定する判定部と、前記判定部による判定の結果を出力する出力部と、を有する。
　本発明によれば、無駄な動作を行っているか否かを容易に特定できる。
情報処理装置の構成を示す機能ブロック図である。 情報処理装置が有するハードウェアの構成を示す図である。 （ａ）～（ｄ）は、判定部が実行する処理の具体例（その１）を示す図である。 状態判定出力処理を示すフローチャートである。 出力内容の具体例を示す図（その１）である。 （ａ）～（ｄ）は、判定部が実行する処理の具体例（その２）を示す図である。 出力内容の具体例を示す図（その２）である。
　以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
実施の形態．
　図１は、情報処理装置の構成を示す機能ブロック図である。情報処理装置１００は、作業者が無駄な動作を行っているか否かを判定する装置である。また、情報処理装置１００は、判定出力方法を実行する装置である。
　ここで、情報処理装置１００が有するハードウェアについて説明する。
　図２は、情報処理装置が有するハードウェアの構成を示す図である。情報処理装置１００は、プロセッサ１０１、揮発性記憶装置１０２、及び不揮発性記憶装置１０３を有する。
　プロセッサ１０１は、情報処理装置１００全体を制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、又はＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などである。プロセッサ１０１は、マルチプロセッサでもよい。情報処理装置１００は、処理回路によって実現されてもよく、又は、ソフトウェア、ファームウェア若しくはそれらの組み合わせによって実現されてもよい。なお、処理回路は、単一回路又は複合回路でもよい。
　揮発性記憶装置１０２は、情報処理装置１００の主記憶装置である。例えば、揮発性記憶装置１０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０３は、情報処理装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０３は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）である。
　また、情報処理装置１００は、撮影装置１１とディスプレイ１２に接続する。撮影装置１１は、作業者を撮影する。ディスプレイ１２は、情報を表示する装置である。
　図１に戻って、情報処理装置１００を説明する。
　情報処理装置１００は、記憶部１１０、骨格抽出部１２０、判定部１３０、及び出力部１４０を有する。
　記憶部１１０は、揮発性記憶装置１０２又は不揮発性記憶装置１０３に確保した記憶領域として実現してもよい。
　骨格抽出部１２０、判定部１３０、及び出力部１４０の一部又は全部は、プロセッサ１０１によって実現してもよい。
　骨格抽出部１２０、判定部１３０、及び出力部１４０の一部又は全部は、プロセッサ１０１が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ１０１が実行するプログラムは、判定出力プログラムとも言う。例えば、判定出力プログラムは、記録媒体に記録されている。
　記憶部１１０は、撮影装置１１が作業者を撮影することで得られた画像を記憶する。詳細には、記憶部１１０は、撮影装置１１が作業者を撮影することで順次取得される複数の画像を記憶する。複数の画像は、動画と表現してもよい。
　骨格抽出部１２０は、記憶部１１０に格納されている画像を用いて、作業者の骨格を示す骨格情報を抽出する。例えば、骨格抽出部１２０は、記憶部１１０に格納されている画像とＯｐｅｎＰｏｓｅとを用いて、骨格情報を抽出する。このように、骨格抽出部１２０は、画像と姿勢推定技術を用いて、骨格情報を抽出する。
　ここで、作業者は、ユーザとも言う。抽出された骨格情報は、ユーザ骨格情報又は作業者の骨格情報とも言う。以下、抽出された骨格情報は、作業者の骨格情報と呼ぶ。
　また、骨格抽出部１２０は、次のように、作業者の骨格情報を抽出してもよい。まず、作業者は、加速度センサ及びジャイロセンサを有する装置を身に着ける。記憶部１１０には、加速度センサから取得された情報及びジャイロセンサから取得された情報が格納される。骨格抽出部１２０は、加速度センサから取得された情報及びジャイロセンサから取得された情報に基づいて、作業者の骨格情報を抽出する。さらに、骨格抽出部１２０は、モーションキャプチャを用いることで得られた情報から、作業者の骨格情報を抽出してもよい。
　判定部１３０は、無駄な動作を示す規定と、作業者の骨格情報とに基づいて、作業者が無駄な動作を行っているか否かを判定する。無駄な動作を示す規定は、動作経済の原則と表現してもよい。
　出力部１４０は、判定部１３０による判定の結果を出力する。例えば、出力部１４０は、判定の結果をディスプレイ１２に出力する。また、例えば、出力部１４０は、判定の結果を音声出力する。また、例えば、出力部１４０は、判定の結果を紙媒体に出力する。
　判定部１３０と出力部１４０が実行する処理を、具体例を用いて説明する。
　図３（ａ）～（ｄ）は、判定部が実行する処理の具体例（その１）を示す図である。図３（ａ）は、基準状態を示している。基準状態は、標準状態と表現してもよい。また、図３（ａ）は、作業者の骨格情報も示している。骨格情報は、骨格抽出部１２０により抽出された情報である。
　図３（ｂ）は、図３（ａ）の作業者の状態から作業者が肘などを動かした状態を示している。そのため、例えば、図３（ｂ）の作業者の肘の位置は、図３（ａ）の作業者の肘の位置と異なる。
　図３（ｃ）は、図３（ａ）の作業者の状態から作業者が身を乗り出した状態を示している。そのため、例えば、図３（ｃ）の作業者の肩の位置は、図３（ａ）の作業者の肩の位置と異なる。
　図３（ｄ）は、図３（ａ）の作業者の状態から作業者が移動し、かつ身を乗り出した状態を示している。そのため、例えば、図３（ｄ）の作業者の腰の位置は、図３（ａ）の作業者の腰の位置と異なる。
　ここで、記憶部１１０は、基準情報を記憶する。基準情報は、各骨格情報の基準位置を示す。例えば、基準情報は、図３（ａ）の骨格情報の位置が基準位置であることを示す。
　判定部１３０は、作業者の骨格情報のうちの肘の骨格情報を示す位置と、基準情報が示す肘の基準位置との間の距離が閾値以上である場合、作業者が無駄な動作を行っていると判定する。例えば、判定部１３０が、図３（ｂ）の作業者の状態を、作業者が無駄な動作を行っていると判定するものとする。
　判定部１３０は、作業者の骨格情報のうちの肩の骨格情報を示す位置と、基準情報が示す肩の基準位置との間の距離が閾値以上である場合、作業者が無駄な動作を行っていると判定する。例えば、判定部１３０が、図３（ｃ）の作業者の状態を、作業者が無駄な動作を行っていると判定するものとする。
　判定部１３０は、作業者の骨格情報のうちの腰の骨格情報を示す位置と、基準情報が示す腰の基準位置との間の距離が閾値以上である場合、作業者が無駄な動作を行っていると判定する。例えば、判定部１３０が、図３（ｄ）の作業者の状態を、作業者が無駄な動作を行っていると判定するものとする。
　出力部１４０は、次のように、判定部１３０が判定した作業者の状態を出力してもよい。ここで、図３（ａ）～（ｄ）の作業者の状態を判定する処理について、フローチャートを用いて説明する。
　図４は、状態判定出力処理を示すフローチャートである。例えば、判定部１３０は、骨格抽出部１２０が作業者の骨格情報を抽出する度に、図４の処理を実行する。
　（ステップＳ１１）判定部１３０は、腰の骨格情報を示す位置と腰の基準位置との間の距離が閾値以上であるか否かを判定する。
　腰の骨格情報を示す位置と腰の基準位置との間の距離が閾値以上である場合、判定部１３０は、処理をステップＳ１５に進める。腰の骨格情報を示す位置と腰の基準位置との間の距離が閾値未満である場合、判定部１３０は、処理をステップＳ１２に進める。
　（ステップＳ１２）判定部１３０は、肩の骨格情報を示す位置と肩の基準位置との間の距離が閾値以上であるか否かを判定する。
　肩の骨格情報を示す位置と肩の基準位置との間の距離が閾値以上である場合、判定部１３０は、処理をステップＳ１６に進める。肩の骨格情報を示す位置と肩の基準位置との間の距離が閾値未満である場合、判定部１３０は、処理をステップＳ１３に進める。
　（ステップＳ１３）判定部１３０は、肘の骨格情報を示す位置と肘の基準位置との間の距離が閾値以上であるか否かを判定する。
　肘の骨格情報を示す位置と肘の基準位置との間の距離が閾値以上である場合、判定部１３０は、処理をステップＳ１７に進める。肘の骨格情報を示す位置と肘の基準位置との間の距離が閾値未満である場合、判定部１３０は、処理をステップＳ１４に進める。
　（ステップＳ１４）判定部１３０は、図３（ａ）の状態と判定する。そして、処理は、ステップＳ１８に進む。
　（ステップＳ１５）判定部１３０は、図３（ｄ）の状態と判定する。そして、処理は、ステップＳ１８に進む。
　（ステップＳ１６）判定部１３０は、図３（ｃ）の状態と判定する。そして、処理は、ステップＳ１８に進む。
　（ステップＳ１７）判定部１３０は、図３（ｂ）の状態と判定する。そして、処理は、ステップＳ１８に進む。
　（ステップＳ１８）出力部１４０は、判定部１３０が判定した状態を出力する。
　図５は、出力内容の具体例を示す図（その１）である。例えば、図５は、出力部１４０がディスプレイ１２に出力した出力内容を示している。図５は、図３（ａ）～（ｄ）の状態をタイムラインで表した図である。
　例えば、管理者は、出力内容を確認することで、作業者の無駄な動作を行っている時間帯を把握することができる。
　また、図３（ｄ）の状態は、作業者が最も動く状態である。そのため、例えば、管理者は、出力内容のうち、図３（ｄ）の状態を確認することで、作業者が最も無駄な動作を行った時間帯を把握できる。
　出力部１４０は、身体の各部位の状態をタイムラインで出力してもよい。例えば、出力部１４０は、肘の状態をタイムラインで出力してもよい。
　　このように、判定部１３０は、動作経済の原則と、複数の作業者の骨格情報に基づいて、作業者が無駄な動作を行っているか否かを判定する。出力部１４０は、作業者が無駄な動作を行っている時間帯及び作業者が無駄な動作を行っていない時間帯のうちの少なくとも１つを出力する。なお、複数の作業者の骨格情報は、それぞれ異なる時刻における作業者の骨格情報である。
　図６（ａ）～（ｄ）は、判定部が実行する処理の具体例（その２）を示す図である。図６（ａ）は、作業者の両手が動いていない状態を示している。また、図６（ａ）は、作業者の骨格情報も示している。骨格情報は、骨格抽出部１２０により抽出された情報である。
　図６（ｂ）は、作業者の右手のみが動いている状態を示している。言い換えれば、図６（ｂ）は、作業者の左手が停止している状態を示している。また、図６（ｂ）は、作業者の骨格情報も示している。
　図６（ｃ）は、作業者の左手のみが動いている状態を示している。言い換えれば、図６（ｃ）は、作業者の右手が停止している状態を示している。また、図６（ｃ）は、作業者の骨格情報も示している。
　図６（ｄ）は、作業者の両手が動いている状態を示している。また、図６（ｄ）は、作業者の骨格情報も示している。
　判定部１３０は、作業者の骨格情報のうちの右手の骨格情報又は左手の骨格情報の一方が停止している状態である場合、作業者が無駄な動作を行っていると判定する。この文は、次のように表現してもよい。判定部１３０は、作業者の骨格情報のうちの右手の骨格情報又は左手の骨格情報の一方が動いていない状態である場合、作業者が無駄な動作を行っていると判定する。また、次のように表現してもよい。判定部１３０は、作業者の骨格情報のうちの右手の骨格情報の位置と基準情報が示す右手の基準位置とが同じ、又は左手の骨格情報の位置と基準情報が示す左手の基準位置とが同じ場合、作業者が無駄な動作を行っていると判定する。これらの文を言い換えれば、判定部１３０は、片手のみが動作している状態を無駄な動作と判定する。
　また、予め決められた時間以上、両手が動いていない場合、判定部１３０は、作業者が行うべき動作に問題があると判定する。出力部１４０は、判定の結果を出力する。また、出力部１４０は、次のように、判定部１３０が判定した作業者の状態を出力してもよい。
　図７は、出力内容の具体例を示す図（その２）である。例えば、図７は、出力部１４０がディスプレイ１２に出力した出力内容を示している。図７は、図６（ａ）～（ｄ）の状態をタイムラインで表した図である。
　例えば、管理者は、出力内容を確認することで、作業者の無駄な動作を行っている時間帯を把握することができる。また、例えば、管理者は、両手が動いていない時間帯を確認することで、作業者が行うべき動作に問題があることを把握できる。
　実施の形態によれば、情報処理装置１００は、作業者が無駄な動作を行っているか否かを判定する。このように、情報処理装置１００は、自動で判定を行う。そのため、経験値の低い者は、無駄な動作を行っているか否かを容易に特定できる。
　ここで、観察者が動画を長時間観察することで、無駄な動作を特定する方法が考えられる。一方、情報処理装置１００は、自動で判定を行う。そのため、実施の形態によれば、観察者は、動画を長時間観察しなくて済む。すなわち、実施の形態は、効率的に無駄な動作を特定できる。
　また、判定部１３０は、以下の処理を行ってもよい。
　判定部１３０は、作業者の骨格情報のうちの手の骨格情報を示す位置と、基準情報が示す手の基準位置との間の距離が閾値以上である場合、作業者が無駄な動作を行っていると判定する。すなわち、手の移動距離が長い場合、判定部１３０は、作業者が無駄な動作を行っていると判定する。
　判定部１３０は、無理な姿勢の骨格情報を示す姿勢情報と作業者の骨格情報とに基づいて、作業者が無駄な動作を行っているか否かを判定する。詳細には、無理な姿勢の骨格情報を示す姿勢情報と作業者の骨格情報とが一致する場合、判定部１３０は、作業者が無駄な動作を行っていると判定する。また、判定部１３０が実行する判定処理は、次のように表現してもよい。判定部１３０は、楽な姿勢の骨格情報を示す姿勢情報と作業者の骨格情報とに基づいて、作業者が無駄な動作を行っているか否かを判定する。詳細には、楽な姿勢の骨格情報を示す姿勢情報と作業者の骨格情報とに差異がある場合、判定部１３０は、作業者が無駄な動作を行っていると判定する。このように、作業者が無理な姿勢である場合、判定部１３０は、作業者が無駄な動作を行っていると判定する。
　判定部１３０は、複数の作業者の骨格情報に基づいて、作業者が動く速度の変化量が閾値以上の場合、作業者が無駄な動作を行っていると判定する。詳細に処理を説明する。複数の作業者の骨格情報は、複数の画像から抽出される。判定部１３０は、複数の画像のそれぞれが撮影された時刻に基づいて、時間を検出する。判定部１３０は、複数の作業者の骨格情報に基づいて、作業者の骨格が移動した距離を検出する。判定部１３０は、検出された時間と距離に基づいて、速度を算出する。当該算出の方法を用いて、判定部１３０は、予め決められた時間毎に、速度を算出する。すなわち、判定部１３０は、複数の速度を算出する。ここで、例えば、作業者が加速度センサを身に付けている場合、判定部１３０は、加速度センサから得られた加速度を積分して速度を算出してもよい。判定部１３０は、複数の速度を比較し、作業者が動く速度の変化量を算出する。判定部１３０は、作業者が動く速度の変化量が閾値以上の場合、作業者が無駄な動作を行っていると判定する。このように、作業者がぎこちない動作を行っている場合、判定部１３０は、作業者が無駄な動作を行っていると判定する。言い換えれば、作業者が滑らかな動作を行っていない場合、判定部１３０は、作業者が無駄な動作を行っていると判定する。
　判定部１３０は、複数の作業者の骨格情報に基づいて、作業者が動く速度の変曲点の間隔が一定でない場合、作業者が無駄な動作を行っていると判定する。詳細に処理を説明する。判定部１３０は、上記のように、速度を算出する。判定部１３０は、速度の変曲点を検出する。判定部１３０は、速度の変曲点の間隔が一定でない場合、作業者が無駄な動作を行っていると判定する。この文は、次のように表現してもよい。判定部１３０は、速度の第１の変曲点と第１の変曲点の次の変曲点である第２の変曲点との間隔である第１の間隔と、第２の変曲点と第２の変曲点の次の変曲点である第３の変曲点との間隔である第２の間隔との差が閾値以上である場合、作業者が無駄な動作を行っていると判定する。このように、作業者の動作にリズムがない場合、判定部１３０は、作業者が無駄な動作を行っていると判定する。
　判定部１３０は、複数の作業者の骨格情報に基づいて、作業者の右手と作業者の左手が非対称に動いている場合、作業者が無駄な動作を行っていると判定する。
　判定部１３０は、複数の作業者の骨格情報に基づいて、作業者の両手が同時に動作を開始し、かつ作業者の両手が同時に動作を終了していない場合、作業者が無駄な動作を行っていると判定する。
　また、出力部１４０は、以下の処理を行ってもよい。
　出力部１４０は、作業者の骨格情報を画像に重ねて出力してもよい。例えば、出力部１４０は、図３（ｂ）の状態で骨格情報の無い画像に、図３（ｂ）の骨格情報を重ねて出力する。また、出力部１４０は、無駄な動作を行っている身体部位を目立つ色で出力してもよい。
　出力部１４０は、図３（ａ）～（ｄ）の状態を示す円グラフを出力してもよい。また、出力部１４０は、図３（ａ）～（ｄ）の状態を示すパレート図を出力してもよい。このように、出力部１４０は、作業者が無駄な動作を行っている状態及び作業者が無駄な動作を行っていない状態のうちの少なくとも１つを、グラフを用いて出力してもよい。
　出力部１４０は、作業者が無駄な動作を行っている状態の画像を出力してもよい。
　１１　撮影装置、　１２　ディスプレイ、　１００　情報処理装置、　１０１　プロセッサ、　１０２　揮発性記憶装置、　１０３　不揮発性記憶装置、　１１０　記憶部、　１２０　骨格抽出部、　１３０　判定部、　１４０　出力部。

Claims (16)

  1. 　無駄な動作を示す規定と、ユーザの骨格を示すユーザ骨格情報とに基づいて、前記ユーザが前記無駄な動作を行っているか否かを判定する判定部と、
    　前記判定部による判定の結果を出力する出力部と、
    　を有する情報処理装置。
  2. 　前記ユーザを撮影することで得られた画像と姿勢推定技術を用いて、前記ユーザ骨格情報を抽出する骨格抽出部をさらに有する
    　請求項１に記載の情報処理装置。
  3. 　前記判定部は、前記ユーザ骨格情報のうちの肘の骨格情報を示す位置と、基準情報が示す肘の基準位置との間の距離が閾値以上である場合、前記ユーザが前記無駄な動作を行っていると判定する、
    　請求項１又は２に記載の情報処理装置。
  4. 　前記判定部は、前記ユーザ骨格情報のうちの肩の骨格情報を示す位置と、基準情報が示す肩の基準位置との間の距離が閾値以上である場合、前記ユーザが前記無駄な動作を行っていると判定する、
    　請求項１又は２に記載の情報処理装置。
  5. 　前記判定部は、前記ユーザ骨格情報のうちの腰の骨格情報を示す位置と、基準情報が示す腰の基準位置との間の距離が閾値以上である場合、前記ユーザが前記無駄な動作を行っていると判定する、
    　請求項１又は２に記載の情報処理装置。
  6. 　前記判定部は、前記ユーザ骨格情報のうちの右手の骨格情報又は左手の骨格情報の一方が停止している状態である場合、前記ユーザが前記無駄な動作を行っていると判定する、
    　請求項１又は２に記載の情報処理装置。
  7. 　前記判定部は、前記ユーザ骨格情報のうちの手の骨格情報を示す位置と、基準情報が示す手の基準位置との間の距離が閾値以上である場合、前記ユーザが前記無駄な動作を行っていると判定する、
    　請求項１又は２に記載の情報処理装置。
  8. 　前記判定部は、無理な姿勢の骨格情報を示す姿勢情報と前記ユーザ骨格情報とに基づいて、前記ユーザが前記無駄な動作を行っているか否かを判定する、
    　請求項１又は２に記載の情報処理装置。
  9. 　前記判定部は、それぞれ異なる時刻における前記ユーザ骨格情報である複数の前記ユーザ骨格情報に基づいて、前記ユーザが動く速度の変化量が閾値以上の場合、前記ユーザが前記無駄な動作を行っていると判定する、
    　請求項１又は２に記載の情報処理装置。
  10. 　前記判定部は、それぞれ異なる時刻における前記ユーザ骨格情報である複数の前記ユーザ骨格情報に基づいて、前記ユーザが動く速度の変曲点の間隔が一定でない場合、前記ユーザが前記無駄な動作を行っていると判定する、
    　請求項１又は２に記載の情報処理装置。
  11. 　前記判定部は、それぞれ異なる時刻における前記ユーザ骨格情報である複数の前記ユーザ骨格情報に基づいて、前記ユーザの右手と前記ユーザの左手が非対称に動いている場合、前記ユーザが前記無駄な動作を行っていると判定する、
    　請求項１又は２に記載の情報処理装置。
  12. 　前記判定部は、それぞれ異なる時刻における前記ユーザ骨格情報である複数の前記ユーザ骨格情報に基づいて、前記ユーザの両手が同時に動作を開始し、かつ前記ユーザの両手が同時に動作を終了していない場合、前記ユーザが前記無駄な動作を行っていると判定する、
    　請求項１又は２に記載の情報処理装置。
  13. 　前記判定部は、前記規定と、それぞれ異なる時刻における前記ユーザ骨格情報である複数の前記ユーザ骨格情報に基づいて、前記ユーザが前記無駄な動作を行っているか否かを判定し、
    　前記出力部は、前記ユーザが前記無駄な動作を行っている時間帯及び前記ユーザが前記無駄な動作を行っていない時間帯のうちの少なくとも１つを出力する、
    　請求項１又は２に記載の情報処理装置。
  14. 　前記判定部は、前記規定と、それぞれ異なる時刻における前記ユーザ骨格情報である複数の前記ユーザ骨格情報とに基づいて、前記ユーザが前記無駄な動作を行っている状態か否かを判定し、
    　前記出力部は、前記ユーザが前記無駄な動作を行っている状態及び前記ユーザが前記無駄な動作を行っていない状態のうちの少なくとも１つを、グラフを用いて出力する、
    　請求項１又は２に記載の情報処理装置。
  15. 　情報処理装置が、
    　無駄な動作を示す規定と、ユーザの骨格を示すユーザ骨格情報とに基づいて、前記ユーザが前記無駄な動作を行っているか否かを判定し、
    　判定の結果を出力する、
    　判定出力方法。
  16. 　情報処理装置に、
    　無駄な動作を示す規定と、ユーザの骨格を示すユーザ骨格情報とに基づいて、前記ユーザが前記無駄な動作を行っているか否かを判定し、
    　判定の結果を出力する、
    　処理を実行させる判定出力プログラム。
PCT/JP2019/012137 2019-03-22 2019-03-22 情報処理装置、判定出力方法、及び判定出力プログラム WO2020194386A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/012137 WO2020194386A1 (ja) 2019-03-22 2019-03-22 情報処理装置、判定出力方法、及び判定出力プログラム
TW108127359A TW202036593A (zh) 2019-03-22 2019-08-01 資訊處理裝置、判定輸出方法以及記錄媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/012137 WO2020194386A1 (ja) 2019-03-22 2019-03-22 情報処理装置、判定出力方法、及び判定出力プログラム

Publications (1)

Publication Number Publication Date
WO2020194386A1 true WO2020194386A1 (ja) 2020-10-01

Family

ID=72609323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012137 WO2020194386A1 (ja) 2019-03-22 2019-03-22 情報処理装置、判定出力方法、及び判定出力プログラム

Country Status (2)

Country Link
TW (1) TW202036593A (ja)
WO (1) WO2020194386A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175945A1 (ja) * 2022-03-18 2023-09-21 日本電気株式会社 動作評価装置、動作評価方法、及び非一時的なコンピュータ可読媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ICHIHARA, KENGO ET AL.: "Accuracy Evaluation of Machine Learning-based Human Anomaly Motion Recognition using Human Pose Estimation", IEICE TECHNICAL REPORT., vol. 117, no. 483, 2018, pages 89 - 94 *
TAKAHASHI, NORIHIRO ET AL.: "Posture Classification from Bird's-eye View of Range Data for Supporting Improvement Activities in Assembly Work of Human- sized Product.", T. SICE., vol. 7, no. 14, January 2009 (2009-01-01), pages 93 - 104, Retrieved from the Internet <URL:https://www.sice.jp/ia-j/papers/081A011.pdf>> [retrieved on 20190611] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175945A1 (ja) * 2022-03-18 2023-09-21 日本電気株式会社 動作評価装置、動作評価方法、及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
TW202036593A (zh) 2020-10-01

Similar Documents

Publication Publication Date Title
JP6783713B2 (ja) 人行動推定システム
US20140254891A1 (en) Method and apparatus for registering face images, and apparatus for inducing pose change, and apparatus for recognizing faces
JP5696545B2 (ja) 作業支援装置、および作業支援プログラム
JP5691807B2 (ja) 置き去り又は持ち去り検知システム
JP7010542B2 (ja) 作業分析装置、作業分析方法、及びプログラム
CN102713975B (zh) 图像整理系统、图像整理方法和计算机程序
JP2019200715A (ja) 画像処理装置、画像処理方法及びプログラム
JP2017199302A (ja) 判定装置、判定方法、判定プログラム及び記録媒体
JP2008225550A5 (ja)
JP6075888B2 (ja) 画像処理方法、ロボットの制御方法
CN111402287A (zh) 用于活动序列的标准化评估的系统和方法
WO2020194386A1 (ja) 情報処理装置、判定出力方法、及び判定出力プログラム
JP2015121524A5 (ja)
CN111198544B (zh) 作业熟习辅助装置和作业熟习辅助系统
JP7061272B2 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
US10996235B2 (en) System and method for cycle duration measurement in repeated activity sequences
JP2022006919A (ja) 動作認識システム、方法及びプログラム
JP7401280B2 (ja) 作業工程判別装置及び作業工程判別システム
JP2021077230A (ja) 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
JP2010244413A (ja) 把持手段によって把持されている対象物の認識方法
JP6929043B2 (ja) 画像処理装置、画像処理方法
US20230103948A1 (en) Work estimation apparatus, work estimation method, and non-transitory computer-readable storage medium
JP2005321966A (ja) インタフェース方法、装置、およびプログラム
JP2015103103A (ja) 画像処理装置、画像処理方法
JP7376446B2 (ja) 作業分析プログラム、および、作業分析装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19921699

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19921699

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP