WO2016140129A1 - 動作評価装置、動作評価方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

動作評価装置、動作評価方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2016140129A1
WO2016140129A1 PCT/JP2016/055499 JP2016055499W WO2016140129A1 WO 2016140129 A1 WO2016140129 A1 WO 2016140129A1 JP 2016055499 W JP2016055499 W JP 2016055499W WO 2016140129 A1 WO2016140129 A1 WO 2016140129A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
visual expression
human
virtual space
specific
Prior art date
Application number
PCT/JP2016/055499
Other languages
English (en)
French (fr)
Inventor
昌和 森口
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to US15/553,838 priority Critical patent/US10593223B2/en
Priority to JP2017503437A priority patent/JP6462847B2/ja
Priority to CN201680013144.8A priority patent/CN107408354B/zh
Publication of WO2016140129A1 publication Critical patent/WO2016140129A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Definitions

  • the present invention relates to an operation evaluation apparatus, an operation evaluation method, and a computer-readable recording medium in which a program for realizing these operations is recorded for evaluating an operation when performing an operation or the like.
  • the above-mentioned purpose can be achieved by the worker himself / herself, for example, the worker voluntarily listening to an experienced worker or the operator carefully reading the manual.
  • the response alone is not enough to achieve the objective.
  • This is more likely to be a problem that the worker himself / herself cannot notice than a problem that the worker himself / herself can notice, for example, a near-miss, a mistake due to misunderstanding, or a problem that can be recognized only after use, This is because it often becomes a major impediment to achieving the objective.
  • Non-Patent Document 1 One method for solving such problems is a work simulator that is executed on a computer (see, for example, Non-Patent Document 1).
  • Non-Patent Document 1 discloses a work simulator.
  • the work simulator disclosed in Non-Patent Document 1 generates a production line in a virtual space from product three-dimensional data, factory two-dimensional layout data, and assembly order information.
  • the work simulator disclosed in Non-Patent Document 1 calculates various indexes and displays them on the screen.
  • an index indicating whether or not the worker can take parts within the reach of the operator an index indicating whether or not the worker can perform assembly work within the range, necessary equipment, An index indicating whether or not the parts shelf can be arranged is given.
  • Non-Patent Document 1 the administrator can grasp the movement of the worker by confirming various indicators, and thus cannot be noticed by the worker himself / herself. It is thought that can be solved.
  • An example of an object of the present invention is to provide an operation evaluation apparatus, an operation evaluation method, and a computer-readable recording medium capable of solving the above-described problem and suppressing the missing of problems caused by the operation based on the actual operation. It is to provide.
  • a motion evaluation apparatus includes a motion detection unit that detects a motion of a target human, An action evaluation unit that determines whether the detected action matches a preset specific action; When it is determined by the motion evaluation unit that the specific motion is matched, the portion of the human or the object representing the human displayed on the screen that is previously associated with the specific motion is visually
  • a visual expression adding unit for adding expressions It is characterized by having.
  • an operation evaluation method includes: (A) detecting a target human motion; and (B) determining whether the operation detected in step (a) matches a preset specific operation; and (C) When it is determined in step (b) that the specific action is matched, the human being or the object representing the human person displayed on the screen is associated with the specific action in advance. Adding visual expression to the part, It is characterized by having.
  • a computer-readable recording medium On the computer, (A) detecting a target human motion; and (B) determining whether the operation detected in step (a) matches a preset specific operation; and (C) When it is determined in step (b) that the specific action is matched, the human being or the object representing the human person displayed on the screen is associated with the specific action in advance. Adding visual expression to the part, A program including an instruction for executing is recorded.
  • FIG. 1 is a block diagram showing a schematic configuration of an operation evaluation apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a specific configuration of the motion evaluation apparatus according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of visual expression in the embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of the operation evaluation apparatus in the embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating an example of a computer that implements the motion evaluation apparatus according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a schematic configuration of an operation evaluation apparatus according to an embodiment of the present invention.
  • the motion evaluation apparatus 10 includes a motion detection unit 11, a motion evaluation unit 12, and a visual expression adding unit 13.
  • the motion detection unit 11 detects a target human motion.
  • the motion evaluation unit 12 determines whether the motion detected by the motion detection unit 11 matches a preset specific motion.
  • the visual expression adding unit 13 is a portion that is previously associated with the specific motion in the human or the object representing the human displayed on the screen. (Hereinafter referred to as “related part”) is added with visual expression.
  • the motion evaluation apparatus 10 detects a specific motion that causes a problem from the actual motion of the target human being, the motion evaluation device 10 displays a visual expression indicating the specific motion. For this reason, according to the operation
  • FIG. 2 is a block diagram showing a specific configuration of the motion evaluation apparatus according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of visual expression in the embodiment of the present invention.
  • the motion evaluation apparatus 10 is used to evaluate the motion of the worker 40 on a production line of a factory constructed in a virtual space.
  • the motion evaluation apparatus 10 is connected to a VR (Virtual Reality) goggles 20 worn by the worker 40 and the manager 50 and a camera 30 for detecting the positions of the worker 40 and the manager 50.
  • VR Virtual Reality
  • the VR goggles 20 are equipped with a motion sensor (not shown in FIG. 2) for detecting the movement of the VR goggles 20 and an infrared sensor 21 for detecting the position and movement of the wearer's hand.
  • the motion sensor includes an acceleration sensor and an angular velocity sensor, and outputs a signal for specifying the movement of the goggles 20 itself.
  • the infrared sensor 21 includes a light source that outputs infrared light and an image sensor that receives the infrared light reflected by the wearer's hand, and outputs an infrared image as a signal.
  • the VR goggles 20 and the sensor used therefor are not particularly limited. In the present embodiment, various VR goggles and sensors developed in the future can be used.
  • the motion evaluation apparatus 10 includes a virtual space construction unit 14 that constructs a virtual space in addition to the motion detection unit 11, the motion evaluation unit 12, and the visual expression addition unit 13. It has.
  • the virtual space construction unit 14 creates an object representing a person in the virtual space, and moves the object in accordance with the motion detected by the motion detection unit 11.
  • the virtual space construction unit 14 includes an object 41 representing the worker 40 (hereinafter referred to as “worker object”) 41 and a production line in the constructed virtual space.
  • An object 43 representing an equipment (hereinafter referred to as “equipment object”) 43 is created.
  • the virtual space construction unit 14 also creates an object representing the administrator 50 (hereinafter referred to as “administrator object”) in the virtual space.
  • the motion detection unit 11 performs the operations of the worker 40 and the manager 50 based on the signal from the motion sensor mounted on the VR goggles 20 and the signal from the infrared sensor 21. To detect. Further, the operation detection unit 11 detects the positions of the worker 40 and the administrator 50 based on the image data from the camera 30.
  • the virtual space construction unit 14 determines the positions in the virtual space from the positions of the worker 40 and the administrator 50 detected by the motion detection unit 11. Is identified. In addition, the virtual space construction unit 14 operates the worker object 41 and the administrator object in accordance with the motion detected by the motion detection unit 11 at the specified position.
  • the worker 40 and the administrator 50 can freely move around in the virtual space constructed by the motion evaluation device 10 or perform operations in the virtual space by wearing VR goggles, as if You can feel like you are in virtual space. Then, the administrator 50 can observe how the worker object 41 handles the equipment object 43.
  • the visual expression adding unit 13 can add, for example, a dot set 42 as a visual expression to the related part of the worker object 41 as shown in FIG.
  • the dot set 42 appears to the administrator 50 as a haze surrounding the worker object 41 and is translucent, so that the administrator 50 performs both the operation of the worker 40 and the problematic part once. Can be confirmed.
  • the dot set 42 is preferably colored with a conspicuous color, for example, red or blue. Further, the color of the dot set 42 may be different depending on the portion of the worker object 41. Furthermore, in the example of FIG. 3, the shape of the dot set 42 is circular, but is not limited thereto, and may be spherical, for example.
  • the motion evaluation unit 12 determines whether the motion detected by the motion detection unit 11 matches the specific motion.
  • the specific operation include an operation in which the worker 40 moves his / her head up / down / left / right / front / back during the operation. Specifically, it is a case where the worker 40 does not understand the next work and looks around to find a place to work on or to search for a specific part. Usually, during work, it is rare to gather a line of sight at a specific point and move the head up and down, left and right, back and forth, so when the worker 40 takes such an action, the worker 40 becomes “lost”. There may be a problem.
  • a “head” is associated with the specific action as a part related to the specific action.
  • the operation evaluation unit 12 determines that the operation of the operator 40 matches the specific operation.
  • the visual expression adding unit 13 adds a set of dots 42 as a visual expression around a portion corresponding to the head of the worker object 41.
  • the visual expression adding unit 13 can also change the color intensity of the dot set 42 in accordance with the degree of the operation of moving the head of the worker 40.
  • the manager 50 can determine how much the worker 40 is at a loss from the color density.
  • ⁇ "Waist" is associated with this specific action as a part related to the specific action. Therefore, when the motion evaluation unit 12 determines that the motion of the worker 40 matches the specific motion, the visual expression adding unit 13 performs a process corresponding to the waist of the worker object 41 as shown in FIG. A set of dots 42 is added to the periphery as a visual expression.
  • the work efficiency may be improved even if the posture is changed. Therefore, when setting an action to change the posture while performing the same work as a specific action, it is preferable to define the direction of the action.
  • FIG. 4 is a flowchart showing the operation of the operation evaluation apparatus in the embodiment of the present invention.
  • FIGS. 1 to 3 are referred to as appropriate.
  • the operation evaluation method is performed by operating the operation evaluation apparatus. Therefore, the description of the operation evaluation method in the present embodiment is replaced with the following operation description of the operation evaluation apparatus 10.
  • the virtual space construction unit 14 constructs a virtual space (step A1).
  • the virtual space construction unit 14 creates a worker object 41, a facility object 43, and an administrator object in the constructed virtual space (step A2).
  • Steps A1 and A2 When Steps A1 and A2 are executed, the worker 40 wearing the VR goggles 20 can work in the virtual space, and the administrator 50 can confirm the operation of the worker 40. Then, the motion detection unit 11 performs the operations of the worker 40 and the manager 50 based on the signal from the motion sensor mounted on the VR goggles 20 and the signal from the infrared sensor 21. Detect (step A3).
  • step A4 determines whether or not the motion detected in step A3 matches the specific motion. As a result of the determination in step A4, if the operation detected in step A3 does not match the specific operation, step A3 is executed again. On the other hand, if the result of determination in step A4 is that the action detected in step A3 matches the specific action, step A5 is executed.
  • step A5 the visual expression adding unit 13 adds the visual expression to the related part in the worker object 41 (step A6).
  • the visual expression adding unit 13 places a dot on the portion corresponding to the “waist” of the worker object 41.
  • a set 42 is added (see FIG. 3).
  • step A6 determines whether or not an instruction to end the process is given. If the end of the process is not instructed as a result of the determination in step A6, the operation detection unit 11 executes step A3 again. On the other hand, if the end of the process is instructed as a result of the determination in step A6, the process in the motion evaluation apparatus 10 ends.
  • the administrator 50 can confirm the specific operation of the worker 40 without omission, so that the oversight of problems caused by the specific operation is suppressed. That is, in this embodiment, even if the manager 40 is not an expert on the design of the production line, the problem can be noticed similarly to the expert. According to the present embodiment, it is possible to construct a production line in which the worker 40 can work efficiently and can reduce the physical burden on the worker. As a result, the occurrence of defective products can be suppressed.
  • the manager 50 also wears the VR goggles 20 and observes the virtual space, like the worker 40, but the present embodiment is limited to the example of FIG. It is not a thing.
  • the administrator 50 may observe the inside of the virtual space via the screen of the display device. Even in this aspect, the administrator 50 can confirm the visual expression added to the worker object 41.
  • the dot set 42 is illustrated as the visual expression, but the visual expression is not particularly limited in the present embodiment.
  • the visual expression is not particularly limited in the present embodiment.
  • an aspect in which the color of the related portion of the worker object 41 changes may be used.
  • the motion of the worker 40 is detected by a motion sensor mounted on the VR goggles 20, an infrared sensor 21 mounted on the motion sensor, and a position detection camera 30.
  • the method of detecting the operation is not particularly limited.
  • the motion detection may be performed using, for example, a motion capture technique.
  • the motion evaluation apparatus 10 can be used for evaluating the motions of doctors and nurses in an operating room. In this case, the nurse can easily evaluate whether or not an appropriate surgical tool can be delivered to the doctor.
  • the operation evaluation apparatus 10 can also be used to evaluate the operation of a service person when performing maintenance of various machines such as a bank automatic teller machine (ATM), a multifunction machine, and a machine tool.
  • ATM bank automatic teller machine
  • multifunction machine multifunction machine
  • machine tool a machine tool
  • the program in the embodiment of the present invention may be a program that causes a computer to execute steps A1 to A6 shown in FIG.
  • a CPU Central Processing Unit
  • the operation evaluation apparatus 10 and the operation evaluation method in the present embodiment can be realized.
  • a CPU Central Processing Unit
  • the computer functions as the motion detection unit 11, the motion evaluation unit 12, the visual expression addition unit 13, and the virtual space construction unit 14, and performs processing.
  • FIG. 5 is a block diagram illustrating an example of a computer that implements the motion evaluation apparatus according to the embodiment of the present invention.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. These units are connected to each other via a bus 121 so that data communication is possible.
  • the CPU 111 performs various operations by developing the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executing them in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. Note that the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 includes a hard disk drive and a semiconductor storage device such as a flash memory.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and reads a program from the recording medium 120 and writes a processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic storage media such as a flexible disk, or CD- Optical storage media such as ROM (Compact Disk Read Only Memory) are listed.
  • CF Compact Flash
  • SD Secure Digital
  • magnetic storage media such as a flexible disk
  • CD- Optical storage media such as ROM (Compact Disk Read Only Memory) are listed.
  • a motion detection unit for detecting a target human motion An action evaluation unit that determines whether the detected action matches a preset specific action; When it is determined by the motion evaluation unit that the specific motion is matched, the portion of the human or the object representing the human displayed on the screen that is previously associated with the specific motion is visually A visual expression adding unit for adding expressions;
  • An operation evaluation apparatus comprising:
  • a virtual space construction unit for constructing a virtual space is further provided,
  • the virtual space construction unit creates the object representing the human in the virtual space, and moves the object in accordance with the motion detected by the motion detection unit,
  • the visual expression adding unit adds the visual expression to a part of the object representing the person displayed on the screen, which is previously associated with the specific action;
  • the operation evaluation apparatus according to attachment 1.
  • the visual expression adding unit adds a set of dots as the visual expression;
  • the operation evaluation apparatus according to attachment 1.
  • step (Appendix 4) (A) detecting a target human motion; and (B) determining whether the operation detected in step (a) matches a preset specific operation; and (C) When it is determined in step (b) that the specific action is matched, the human being or the object representing the human person displayed on the screen is associated with the specific action in advance.
  • An operation evaluation method characterized by comprising:
  • step (Appendix 7) On the computer, (A) detecting a target human motion; and (B) determining whether the operation detected in step (a) matches a preset specific operation; and (C) When it is determined in step (b) that the specific action is matched, the human being or the object representing the human person displayed on the screen is associated with the specific action in advance. Adding visual expression to the part, The computer-readable recording medium which recorded the program containing the instruction
  • the present invention it is possible to evaluate the operation based on the actual operation, and it is possible to suppress missing of problems caused by the operation.
  • the present invention is useful for operation evaluation in a production line of a factory, operation evaluation in maintenance of various machines, operation evaluation in surgery, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　動作評価装置１０は、対象となるヒトの動作を検出する、動作検出部１１と、検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、動作評価部１２と、動作評価部１２によって、特定動作に合致していると判定された場合に、特定動作に予め関連付けられているヒトの部位を特定し、画面上に表示されたヒト又はヒトを表すオブジェクトにおける、特定した部位に相当する部分に、視覚表現を付加する、視覚表現付加部１３と、を備えている。

Description

動作評価装置、動作評価方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、作業等を行なう際の動作を評価するための、動作評価装置、動作評価方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　一般に、工場の生産ラインでは、機械の操作が分かりにくい、貼り紙の意味が分かりにくい、不必要な情報が多い、必要な情報が不足している、無駄な作業を作業者に強いる、といった問題点を排除して、作業の効率化を図ることが目的とされている。これは、作業の効率化の実現により、作業者の身体的な負担が軽減され、結果的に、不良品の発生が抑制されるからである。
　また、上述の目的の達成は、作業者が自発的に操作方法をベテランの作業者に聞いたり、作業者がマニュアルを熟読したり、といった作業者自身による対応でも可能と考えられるが、これらの対応だけでは、目的の達成は不十分である。これは、作業者自身が気づくことができる問題点よりも、作業者自身が気づくことができない問題点、例えば、ヒヤリハット、勘違いによるミス、使用して初めて分かる問題点の方が、潜在的で、目的達成の大きな阻害要因になることが多いからである。
　このため、上述の目的の達成には、作業者自身が気づくことができない問題点を解消することが重要となる。そして、このような問題点を解消する手法の１つとして、コンピュータ上で実行する作業シミュレータが挙げられる（例えば、非特許文献１参照。）。
　具体的には、非特許文献１は、作業シミュレータを開示している。非特許文献１に開示された作業シミュレータは、製品の三次元データと、工場の２次元レイアウトデータと、組立順序等の情報とから、仮想空間上に、生産ラインを生成する。また、非特許文献１に開示された作業シミュレータは、各種指標を計算し、これを画面上に表示する。
　また、指標としては、作業者が手の届く範囲で部品を取ることができるかどうかを表す指標、その範囲内で作業者が組立作業を行なうことができるかどうかを表す指標、必要な設備や部品棚が配置できているかどうかを表す指標が挙げられる。
　従って、非特許文献１に開示された作業シミュレータによれば、管理者は、各種指標を確認することで、作業者の動きを把握することができるので、作業者自身が気づくことができない問題点を解消することができると考えられる。
「仮想工程計画・生産ラインシミュレータ」、［online］、平成２７年２月１８日、富士通株式会社、［平成２７年３月１日検索］、インターネット<URL:http://www.fujitsu.com/jp/solutions/industry/manufacturing/monozukuri-total-support/products/plm-software/dmu/gp4/advantages-benefits/index.html>
　しかしながら、上述の非特許文献１に開示された作業シミュレータでは、管理者は、各種指標から問題点を読み取る必要があるため、問題点を取りこぼしてしまう可能性がある。また、上述の非特許文献１に開示された作業シミュレータでは、実際の作業者の動きが仮想空間内に取り入れられている分けでは無いため、この点からも、管理者は、問題点を取りこぼしてしまう可能性がある。
　本発明の目的の一例は、上記問題を解消し、実際の動作に基づいて、動作に起因する問題点の取りこぼしを抑制し得る、動作評価装置、動作評価方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における動作評価装置は、対象となるヒトの動作を検出する、動作検出部と、
　検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、動作評価部と、
　前記動作評価部によって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、視覚表現付加部と、
を備えている、ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における動作評価方法は、
（ａ）対象となるヒトの動作を検出する、ステップと、
（ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
（ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
を有する、ことを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）対象となるヒトの動作を検出する、ステップと、
（ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
（ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように、本発明によれば、実際の動作に基づいて、動作に起因する問題点の取りこぼしを抑制することができる。
図１は、本発明の実施の形態における動作評価装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における動作評価装置の具体的構成を示すブロック図である。 図３は、本発明の実施の形態における視覚表現の一例を示す図である。 図４は、本発明の実施の形態における動作評価装置の動作を示すフロー図である。 図５は、本発明の実施の形態における動作評価装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
　以下、本発明の実施の形態における、動作評価装置、動作評価方法、及びプログラムについて、図１～図５を参照しながら説明する。
［装置構成］
　最初に、図１を用いて、本実施の形態における動作評価装置の構成について説明する。図１は、本発明の実施の形態における動作評価装置の概略構成を示すブロック図である。図１に示すように、動作評価装置１０は、動作検出部１１と、動作評価部１２と、視覚表現付加部１３とを備えている。
　このうち、動作検出部１１は、対象となるヒトの動作を検出する。動作評価部１２は、動作検出部１１によって検出された動作が、予め設定された特定動作に合致しているかどうかを判定する。
　視覚表現付加部１３は、動作評価部１２によって、特定動作に合致していると判定された場合に、画面上に表示されたヒト又はヒトを表すオブジェクトにおける、特定動作に予め関連付けられている部分（以下「関連部分」と表記する。）に、視覚表現を付加する。
　このように、動作評価装置１０は、対象となるヒトの実際の動作から、問題点の原因となる特定動作を検出すると、特定動作を示す視覚表現を表示する。このため、動作評価装置１０によれば、動作に起因する問題点の取りこぼしが抑制される。
　ここで、図２及び図３を用いて、本実施の形態における動作評価装置の構成について更に具体的に説明する。図２は、本発明の実施の形態における動作評価装置の具体的構成を示すブロック図である。図３は、本発明の実施の形態における視覚表現の一例を示す図である。
　まず、本実施の形態では、動作評価装置１０は、仮想空間に構築された工場の生産ラインでの作業者４０の動作を評価するために用いられる。動作評価装置１０には、作業者４０及び管理者５０が装着するＶＲ（Virtual Reality）ゴーグル２０と、作業者４０及び管理者５０の位置検出用のカメラ３０とが接続されている。
　また、ＶＲゴーグル２０には、ＶＲゴーグル２０自体の動きを検出するモーションセンサ（図２において図示せず）と、装着者の手の位置及び動きを検出する赤外線センサ２１とが搭載されている。このうち、モーションセンサは、加速度センセ及び角速度センサを備え、ゴーグル２０自体の動きを特定する信号を出力する。赤外線センサ２１は、赤外線を出力する光源と、装着者の手で反射された赤外線を受光する撮像素子とを備え、信号として、赤外線画像を出力する。なお、ＶＲゴーグル２０及びそれに用いられるセンサは、特に限定されるものではない。本実施の形態では、将来開発される種々のＶＲゴーグル及びセンサを用いることができる。
　そして、図２に示すように、本実施の形態における動作評価装置１０は、動作検出部１１、動作評価部１２、及び視覚表現付加部１３に加えて、仮想空間を構築する仮想空間構築部１４を備えている。仮想空間構築部１４は、ヒトを表すオブジェクトを仮想空間内に作成し、動作検出部１１によって検出された動作に合せて、オブジェクトを動作させる。
　具体的には、図３に示すように、仮想空間構築部１４は、構築した仮想空間内に、作業者４０を表すオブジェクト（以下「作業者オブジェクト」と表記する。）４１と、生産ラインの設備を表すオブジェクト（以下「設備オブジェクト」と表記する。）４３とを作成する。また、図３においては図示していないが、仮想空間構築部１４は、仮想空間内に、管理者５０を表すオブジェクト（以下「管理者オブジェクト」と表記する。）も仮想空間内に作成する。
　また、本実施の形態では、動作検出部１１は、ＶＲゴーグル２０に搭載されているモーションセンサからの信号と、赤外線センサ２１からの信号とに基づいて、作業者４０及び管理者５０の動作を検出する。また、動作検出部１１は、カメラ３０からの画像データに基づいて、作業者４０及び管理者５０の位置を検出する。
　そして、動作検出部１１によって動作及び位置が検出されると、仮想空間構築部１４は、動作検出部１１で検出された作業者４０及び管理者５０の位置から、仮想空間内でのこれらの位置を特定する。また、仮想空間構築部１４は、特定した位置において、動作検出部１１で検出された動作に合せて、作業者オブジェクト４１及び管理者オブジェクトを動作させる。
　このため、作業者４０及び管理者５０は、ＶＲゴーグルを装着することによって、動作評価装置１０が構築する仮想空間内を自由に動き回ったり、仮想空間内で動作を行なったりすることができ、あたかも、仮想空間内に存在しているように感じることができる。そして、管理者５０は、作業者オブジェクト４１が、設備オブジェクト４３を扱う様子を観察することができる。
　また、本実施の形態では、視覚表現付加部１３は、図３に示すように、作業者オブジェクト４１の関連部分に、視覚表現として、例えば、ドットの集合４２を付加することができる。ドットの集合４２は、管理者５０からは、作業者オブジェクト４１を取り巻くモヤのように見え、半透明であるので、管理者５０は、作業者４０の動作と問題のある部位との両方を一度に確認できる。
　ドットの集合４２は、目立つ色、例えば、赤色や青色等で着色されているのが好ましい。また、ドットの集合４２の色は、作業者オブジェクト４１の部分に応じて異なっていても良い。更に、図３の例では、ドットの集合４２の形状は、環状であるが、これに限定されるものではなく、例えば、球状であっても良い。
　また、動作評価部１２は、上述したように、動作検出部１１によって検出された動作が、特定動作に合致しているかどうかを判定している。特定動作としては、例えば、作業者４０が作業中に上下左右前後に頭を動かすという動作が挙げられる。具体的には、作業者４０において、次の作業がわからなくなり、作業すべき箇所を探したり、特定の部品を探すために周りを見渡したりする場合である。通常、作業中は、特定の一点に視線を集め、上下左右前後に頭を動かすことは少ないことから、作業者４０がこのような動作をとる場合は、作業者４０に「迷い」が生じており、問題点が生じている可能性がある。また、この特定動作には、特定動作に関連する部分として「頭」が関連付けられる。
　従って、作業者４０が作業中に上下左右前後に頭を動かすという動作を行なうと、動作評価部１２は、作業者４０の動作が特定の動作に一致していると判断する。これにより、視覚表現付加部１３は、作業者オブジェクト４１の頭に相当する部分の周囲に、視覚表現として、ドットの集合４２を付加する。
　また、視覚表現付加部１３は、作業者４０の頭を動かす動作の程度に合せて、ドットの集合４２の色の濃さを変えることもできる。この場合、管理者５０は、色の濃さから、作業者４０の迷いがどの程度かを判断することができる。
　更に、特定の動作としては、同じ作業をしている間に姿勢を変更する動作も挙げられる。作業者が、同じ作業を行なっている間に、その姿勢が徐々に変化する場合は、作業者の腰等に負担がかかり、身体に「疲れ」が生じている場合が多いので、問題点が生じている可能性がある。
　この特定動作には、特定動作に関連する部位として「腰」が関連付けられる。従って、動作評価部１２が作業者４０の動作が特定の動作に一致していると判断すると、図３に示すように、視覚表現付加部１３は、作業者オブジェクト４１の腰に相当する部分の周囲に、視覚表現として、ドットの集合４２を付加する。
　なお、姿勢の変化が作業者４０の「慣れ」に起因している場合は、姿勢が変化していても、作業効率が向上する可能性がある。従って、特定の動作として、同じ作業をしている間に姿勢を変更する動作を設定する場合は、動作の方向を規定するのが好ましい。
　その他、特定の動作としては、頭の位置と手の位置との距離が設定範囲を超える動作も挙げられる。この場合、作業者４０は手が届きにくいところにあるモノを取ろうとして、背伸びをしている可能性があり、作業し難い環境であるので、問題点が生じている可能性がある。なお、この特定動作においても、関連する部位として「腰」が関連付けられる。
［装置動作］
　次に、本実施の形態における動作評価装置の動作について図４を用いて説明する。図４は、本発明の実施の形態における動作評価装置の動作を示すフロー図である。以下の説明においては、適宜図１～図３を参酌する。また、本実施の形態では、動作評価装置を動作させることによって、動作評価方法が実施される。よって、本実施の形態における動作評価方法の説明は、以下の動作評価装置１０の動作説明に代える。
　図４に示すように、最初に、仮想空間構築部１４が、仮想空間を構築する（ステップＡ１）。次に、仮想空間構築部１４は、構築した仮想空間内に、作業者オブジェクト４１、設備オブジェクト４３、及び管理者オブジェクトを作成する（ステップＡ２）
　ステップＡ１及びＡ２が実行されると、ＶＲゴーグル２０を装着した作業者４０は、仮想空間内で作業を行なうことができ、管理者５０は、作業者４０の動作を確認することができる。そして、動作検出部１１は、動作検出部１１は、ＶＲゴーグル２０に搭載されているモーションセンサからの信号と、赤外線センサ２１からの信号とに基づいて、作業者４０及び管理者５０の動作を検出する（ステップＡ３）。
　次に、動作評価部１２は、ステップＡ３で検出された動作が、特定動作に合致しているかどうかを判定する（ステップＡ４）。ステップＡ４の判定の結果、ステップＡ３で検出された動作が、特定動作に合致していない場合は、再度ステップＡ３が実行される。一方、ステップＡ４の判定の結果、ステップＡ３で検出された動作が、特定動作に合致している場合は、ステップＡ５が実行される。
　ステップＡ５では、視覚表現付加部１３は、作業者オブジェクト４１における関連部分に視覚表現を付加する（ステップＡ６）。例えば、特定動作が、頭の位置と手の位置との距離が設定範囲を超える動作である場合は、視覚表現付加部１３は、作業者オブジェクト４１の「腰」に相当する部分に、ドットの集合４２を付加する（図３参照）。
　その後、動作検出部１１は、処理の終了が指示されているかどうかを判定する（ステップＡ６）。ステップＡ６の判定の結果、処理の終了が指示されていない場合は、動作検出部１１は、再度ステップＡ３を実行する。一方、ステップＡ６の判定の結果、処理の終了が指示されている場合は、動作評価装置１０における処理は終了する。
［実施の形態における効果］
　以上のように、本実施の形態では、管理者５０は、作業者４０の特定動作を漏れなく確認することができるので、特定動作に起因する問題点の取りこぼしが抑制される。つまり、本実施の形態では、管理者４０が、生産ラインの設計についての専門家でない場合であっても、専門家と同様に、問題点に気付くことができるようになる。本実施の形態によれば、作業者４０が効率良く作業でき、且つ、作業者の身体的負担を軽減できる、生産ラインを構築できる。この結果、不良品の発生も抑制することができる。
　また、本実施の形態では、作業者４０の特定動作の検出は、仮想空間において行なうことができるため、生産ラインの設備のモックアップを実際に作製する必要がないため、生産ラインの構築にかかるコストを低減することもできる。更に、生産ラインの変更及び改良にも、柔軟に対応することが可能となる。
［変形例］
　図２の例では、管理者５０も、作業者４０と同様に、ＶＲゴーグル２０を装着して、仮想空間内を観察しているが、本実施の形態は、図２の例に限定されるものではない。例えば、動作評価装置１０に、一般的な表示装置が接続されているのであれば、管理者５０は、この表示装置の画面を介して、仮想空間内を観察していても良い。この態様であっても、管理者５０は、作業者オブジェクト４１に付加される視覚表現を確認することができる。
　また、図３の例では、視覚表現としてドットの集合４２を例示しているが、本実施の形態において視覚表現は特に限定されるものではない。本実施の形態では、例えば、作業者オブジェクト４１の関連部分の色が変化する態様であっても良い。
　更に、図２の例では、作業者４０の動作の検出は、ＶＲゴーグル２０に搭載されたモーションセンサと、それに搭載された赤外線センサ２１と、位置検出用のカメラ３０とによって行なわれているが、本実施の形態では、動作の検出の仕方は特に限定されるものではない。動作の検出は、例えば、モーションキャプチャ技術を利用して行なわれても良い。
［応用例］
　また、本実施の形態は、動作評価装置１０が、生産ラインでの作業者４０の動作の評価に用いられる例について説明しているが、動作評価装置１０の用途はこれに限定されるものではない。例えば、動作評価装置１０は、手術室での医師及び看護師の動作の評価に用いることもできる。この場合、看護師が、無理なく、医師に適切な手術道具を渡せるかどうかの評価を行なうことが可能となる。
　更に、動作評価装置１０は、銀行の現金自動預け払い機（ＡＴＭ）、複合機、工作機械といった各種機械のメンテナンスを行なう際のサービスマンの動作の評価に用いることもできる。
［プログラム］
　本発明の実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１～Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における動作評価装置１０と動作評価方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、動作検出部１１、動作評価部１２、視覚表現付加部１３、及び仮想空間構築部１４として機能し、処理を行なう。
　ここで、本実施の形態におけるプログラムを実行することによって、動作評価装置１０を実現するコンピュータについて図５を用いて説明する。図５は、本発明の実施の形態における動作評価装置を実現するコンピュータの一例を示すブロック図である。
　図５に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
　また、上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記９）によって表現することができるが、以下の記載に限定されるものではない。　　　　　　　　　
　（付記１）
　対象となるヒトの動作を検出する、動作検出部と、
　検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、動作評価部と、
　前記動作評価部によって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、視覚表現付加部と、
を備えている、ことを特徴とする動作評価装置。
　（付記２）
　仮想空間を構築する、仮想空間構築部を更に備え、
　前記仮想空間構築部は、前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記動作検出部によって検出された動作に合せて、前記オブジェクトを動作させ、
　前記視覚表現付加部は、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
付記１に記載の動作評価装置。
　（付記３）
　前記視覚表現付加部が、前記視覚表現として、ドットの集合を付加する、
付記１に記載の動作評価装置。
　（付記４）
　（ａ）対象となるヒトの動作を検出する、ステップと、
　（ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
　（ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
を有する、ことを特徴とする動作評価方法。
（付記５）
　（ｄ）仮想空間を構築する、ステップと、
　（ｅ）前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記（ａ）のステップによって検出された動作に合せて、前記オブジェクトを動作させるステップと、
を更に有し、
　前記（ｃ）のステップにおいて、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
付記４に記載の動作評価方法。
　（付記６）
　前記（ｃ）のステップにおいて、前記視覚表現として、ドットの集合を付加する、
付記４に記載の動作評価方法。
　（付記７）
　コンピュータに、
　（ａ）対象となるヒトの動作を検出する、ステップと、
　（ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
　（ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
　（付記８）
　前記プログラムが、前記コンピュータに、
　（ｄ）仮想空間を構築する、ステップと、
　（ｅ）前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記（ａ）のステップによって検出された動作に合せて、前記オブジェクトを動作させるステップと、
を実行させる命令を更に含み、
　前記（ｃ）のステップにおいて、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
付記７に記載のコンピュータ読み取り可能な記録媒体。
　（付記９）
　前記（ｃ）のステップにおいて、前記視覚表現として、ドットの集合を付加する、
付記７に記載のコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１５年３月５日に出願された日本出願特願２０１５－４３５８３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように、本発明によれば、実際の動作に基づいて当該動作の評価を行なうことができ、且つ、動作に起因する問題点の取りこぼしを抑制することができる。本発明は、工場の生産ラインにおける動作評価、各種機械のメンテナンスにおける動作評価、手術における動作評価等に有用である。
　１０　動作評価装置
　１１　動作検出部
　１２　動作評価部
　１３　視覚表現付加部
　１４　仮想空間構築部
　２０　ＶＲゴーグル
　２１　赤外線センサ
　３０　位置検出用のカメラ
　４０　作業者
　４１　作業者オブジェクト
　４２　ドットの集合
　４３　設備オブジェクト
　５０　管理者
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims (9)

  1. 　対象となるヒトの動作を検出する、動作検出部と、
    　検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、動作評価部と、
    　前記動作評価部によって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、視覚表現付加部と、
    を備えている、ことを特徴とする動作評価装置。
  2. 　仮想空間を構築する、仮想空間構築部を更に備え、
    　前記仮想空間構築部は、前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記動作検出部によって検出された動作に合せて、前記オブジェクトを動作させ、
    　前記視覚表現付加部は、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
    請求項１に記載の動作評価装置。
  3. 　前記視覚表現付加部が、前記視覚表現として、ドットの集合を付加する、
    請求項１または２に記載の動作評価装置。
  4. （ａ）対象となるヒトの動作を検出する、ステップと、
    （ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
    （ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
    を有する、ことを特徴とする動作評価方法。
  5. （ｄ）仮想空間を構築する、ステップと、
    （ｅ）前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記（ａ）のステップによって検出された動作に合せて、前記オブジェクトを動作させるステップと、
    を更に有し、
    　前記（ｃ）のステップにおいて、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
    請求項４に記載の動作評価方法。
  6. 　前記（ｃ）のステップにおいて、前記視覚表現として、ドットの集合を付加する、
    請求項４または５に記載の動作評価方法。
  7. コンピュータに、
    （ａ）対象となるヒトの動作を検出する、ステップと、
    （ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
    （ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
    を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  8. 前記プログラムが、前記コンピュータに、
    （ｄ）仮想空間を構築する、ステップと、
    （ｅ）前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記（ａ）のステップによって検出された動作に合せて、前記オブジェクトを動作させるステップと、
    を実行させる命令を更に含み、
    　前記（ｃ）のステップにおいて、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
    請求項７に記載のコンピュータ読み取り可能な記録媒体。
  9. 　前記（ｃ）のステップにおいて、前記視覚表現として、ドットの集合を付加する、
    請求項７または８に記載のコンピュータ読み取り可能な記録媒体。
PCT/JP2016/055499 2015-03-05 2016-02-24 動作評価装置、動作評価方法、及びコンピュータ読み取り可能な記録媒体 WO2016140129A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/553,838 US10593223B2 (en) 2015-03-05 2016-02-24 Action evaluation apparatus, action evaluation method, and computer-readable storage medium
JP2017503437A JP6462847B2 (ja) 2015-03-05 2016-02-24 動作評価装置、動作評価方法、及びプログラム
CN201680013144.8A CN107408354B (zh) 2015-03-05 2016-02-24 动作评估装置、动作评估方法和计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-043583 2015-03-05
JP2015043583 2015-03-05

Publications (1)

Publication Number Publication Date
WO2016140129A1 true WO2016140129A1 (ja) 2016-09-09

Family

ID=56848894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055499 WO2016140129A1 (ja) 2015-03-05 2016-02-24 動作評価装置、動作評価方法、及びコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US10593223B2 (ja)
JP (1) JP6462847B2 (ja)
CN (1) CN107408354B (ja)
WO (1) WO2016140129A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019197165A (ja) * 2018-05-10 2019-11-14 日本電気株式会社 作業訓練装置、作業訓練方法、およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839717B2 (en) * 2016-01-11 2020-11-17 Illinois Tool Works Inc. Weld training systems to synchronize weld data for presentation
JP2017126935A (ja) * 2016-01-15 2017-07-20 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN111583733A (zh) * 2020-05-12 2020-08-25 广东小天才科技有限公司 一种智能家教机及其交互方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330971A (ja) * 2002-05-15 2003-11-21 Toshiba Corp 標準作業書制作方法及び記憶媒体
JP2005134536A (ja) * 2003-10-29 2005-05-26 Omron Corp 作業訓練支援システム
JP2006171184A (ja) * 2004-12-14 2006-06-29 Toshiba Corp 技能評価システムおよび技能評価方法
JP2006302122A (ja) * 2005-04-22 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> 運動支援システムとその利用者端末装置及び運動支援プログラム
JP2013088730A (ja) * 2011-10-21 2013-05-13 Toyota Motor East Japan Inc 技能習得支援システム及び技能習得支援方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6059576A (en) * 1997-11-21 2000-05-09 Brann; Theodore L. Training and safety device, system and method to aid in proper movement during physical activity
US9182883B2 (en) * 2009-01-15 2015-11-10 Social Communications Company Communicating between a virtual area and a physical space
US9146669B2 (en) 2009-12-29 2015-09-29 Bizmodeline Co., Ltd. Password processing method and apparatus
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
CN103154982A (zh) * 2010-08-16 2013-06-12 社会传播公司 促进网络通信环境中的通信者交互
US8832233B1 (en) * 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US10824310B2 (en) * 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
US9652992B2 (en) * 2012-10-09 2017-05-16 Kc Holdings I Personalized avatar responsive to user physical state and context
US9198622B2 (en) * 2012-10-09 2015-12-01 Kc Holdings I Virtual avatar using biometric feedback
US9199122B2 (en) * 2012-10-09 2015-12-01 Kc Holdings I Personalized avatar responsive to user physical state and context
US9501942B2 (en) * 2012-10-09 2016-11-22 Kc Holdings I Personalized avatar responsive to user physical state and context
US9685001B2 (en) * 2013-03-15 2017-06-20 Blackberry Limited System and method for indicating a presence of supplemental information in augmented reality
WO2015108700A1 (en) * 2014-01-14 2015-07-23 Zsolutionz, LLC Sensor-based evaluation and feedback of exercise performance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330971A (ja) * 2002-05-15 2003-11-21 Toshiba Corp 標準作業書制作方法及び記憶媒体
JP2005134536A (ja) * 2003-10-29 2005-05-26 Omron Corp 作業訓練支援システム
JP2006171184A (ja) * 2004-12-14 2006-06-29 Toshiba Corp 技能評価システムおよび技能評価方法
JP2006302122A (ja) * 2005-04-22 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> 運動支援システムとその利用者端末装置及び運動支援プログラム
JP2013088730A (ja) * 2011-10-21 2013-05-13 Toyota Motor East Japan Inc 技能習得支援システム及び技能習得支援方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAZUHIRO MIYASA ET AL.: "A Recording and Visualization Method of Working Activities in a Mixed Reality Space", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 47, no. 1, 15 January 2006 (2006-01-15), pages 181 - 192 *
NORIHIRO TAKAHASHI ET AL.: "Posture Estimation from Bird's-eye View of Range Image Sensor", FIT2007 DAI 6 KAI FORUM ON INFORMATION TECHNOLOGY IPPAN KOEN RONBUNSHU SEPARATE, vol. 3, 22 August 2007 (2007-08-22), pages 79 - 80 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019197165A (ja) * 2018-05-10 2019-11-14 日本電気株式会社 作業訓練装置、作業訓練方法、およびプログラム

Also Published As

Publication number Publication date
JP6462847B2 (ja) 2019-01-30
JPWO2016140129A1 (ja) 2018-01-25
US20180053438A1 (en) 2018-02-22
CN107408354A (zh) 2017-11-28
US10593223B2 (en) 2020-03-17
CN107408354B (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
US10179407B2 (en) Dynamic multi-sensor and multi-robot interface system
JP6462847B2 (ja) 動作評価装置、動作評価方法、及びプログラム
US9808549B2 (en) System for detecting sterile field events and related methods
JP2017059062A5 (ja)
US10614590B2 (en) Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium
JP7471428B2 (ja) 製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム、方法及びコンピュータ読み取り可能媒体
CN106168888B (zh) 便携式显示装置、显示系统、显示方法
JP6863927B2 (ja) ロボットのシミュレーション装置
US20200184736A1 (en) Information processing apparatus, system, image processing method, and storage medium
WO2021202609A1 (en) Method and system for facilitating remote presentation or interaction
JP2021002290A (ja) 画像処理装置およびその制御方法
JP2020011357A (ja) 制御装置、ヘッドマウントディスプレイおよびロボットシステム
JP2017016376A (ja) 情報処理装置、情報処理方法、プログラム
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
JP7125872B2 (ja) 作業支援装置、および、作業支援方法
JP7011569B2 (ja) 熟練度判定システム
JP6885909B2 (ja) ロボット制御装置
JPWO2018100631A1 (ja) 情報処理装置
US20210256865A1 (en) Display system, server, display method, and device
JP2019219917A (ja) 表示システム、ウェアラブル装置及び監視制御装置
JP7406038B1 (ja) 作業支援システム及び作業支援方法
JP2024007951A (ja) 遠隔作業支援システム、遠隔作業支援方法およびプログラム
JP2021162967A (ja) 作業管理システムおよび作業管理方法
JP2023156237A (ja) 処理装置、処理システム、頭部装着ディスプレイ、処理方法、プログラム、及び記憶媒体
JP2023156869A (ja) 作業支援システム及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16758823

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15553838

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017503437

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16758823

Country of ref document: EP

Kind code of ref document: A1