JPWO2016140129A1 - 動作評価装置、動作評価方法、及びプログラム - Google Patents

動作評価装置、動作評価方法、及びプログラム Download PDF

Info

Publication number
JPWO2016140129A1
JPWO2016140129A1 JP2017503437A JP2017503437A JPWO2016140129A1 JP WO2016140129 A1 JPWO2016140129 A1 JP WO2016140129A1 JP 2017503437 A JP2017503437 A JP 2017503437A JP 2017503437 A JP2017503437 A JP 2017503437A JP WO2016140129 A1 JPWO2016140129 A1 JP WO2016140129A1
Authority
JP
Japan
Prior art keywords
motion
human
visual expression
virtual space
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017503437A
Other languages
English (en)
Other versions
JP6462847B2 (ja
Inventor
昌和 森口
昌和 森口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of JPWO2016140129A1 publication Critical patent/JPWO2016140129A1/ja
Application granted granted Critical
Publication of JP6462847B2 publication Critical patent/JP6462847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

動作評価装置１０は、対象となるヒトの動作を検出する、動作検出部１１と、検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、動作評価部１２と、動作評価部１２によって、特定動作に合致していると判定された場合に、特定動作に予め関連付けられているヒトの部位を特定し、画面上に表示されたヒト又はヒトを表すオブジェクトにおける、特定した部位に相当する部分に、視覚表現を付加する、視覚表現付加部１３と、を備えている。

Description

本発明は、作業等を行なう際の動作を評価するための、動作評価装置、動作評価方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
一般に、工場の生産ラインでは、機械の操作が分かりにくい、貼り紙の意味が分かりにくい、不必要な情報が多い、必要な情報が不足している、無駄な作業を作業者に強いる、といった問題点を排除して、作業の効率化を図ることが目的とされている。これは、作業の効率化の実現により、作業者の身体的な負担が軽減され、結果的に、不良品の発生が抑制されるからである。
また、上述の目的の達成は、作業者が自発的に操作方法をベテランの作業者に聞いたり、作業者がマニュアルを熟読したり、といった作業者自身による対応でも可能と考えられるが、これらの対応だけでは、目的の達成は不十分である。これは、作業者自身が気づくことができる問題点よりも、作業者自身が気づくことができない問題点、例えば、ヒヤリハット、勘違いによるミス、使用して初めて分かる問題点の方が、潜在的で、目的達成の大きな阻害要因になることが多いからである。
このため、上述の目的の達成には、作業者自身が気づくことができない問題点を解消することが重要となる。そして、このような問題点を解消する手法の１つとして、コンピュータ上で実行する作業シミュレータが挙げられる（例えば、非特許文献１参照。）。
具体的には、非特許文献１は、作業シミュレータを開示している。非特許文献１に開示された作業シミュレータは、製品の三次元データと、工場の２次元レイアウトデータと、組立順序等の情報とから、仮想空間上に、生産ラインを生成する。また、非特許文献１に開示された作業シミュレータは、各種指標を計算し、これを画面上に表示する。
また、指標としては、作業者が手の届く範囲で部品を取ることができるかどうかを表す指標、その範囲内で作業者が組立作業を行なうことができるかどうかを表す指標、必要な設備や部品棚が配置できているかどうかを表す指標が挙げられる。
従って、非特許文献１に開示された作業シミュレータによれば、管理者は、各種指標を確認することで、作業者の動きを把握することができるので、作業者自身が気づくことができない問題点を解消することができると考えられる。
「仮想工程計画・生産ラインシミュレータ」、［online］、平成２７年２月１８日、富士通株式会社、［平成２７年３月１日検索］、インターネット<URL:http://www.fujitsu.com/jp/solutions/industry/manufacturing/monozukuri-total-support/products/plm-software/dmu/gp4/advantages-benefits/index.html>
しかしながら、上述の非特許文献１に開示された作業シミュレータでは、管理者は、各種指標から問題点を読み取る必要があるため、問題点を取りこぼしてしまう可能性がある。また、上述の非特許文献１に開示された作業シミュレータでは、実際の作業者の動きが仮想空間内に取り入れられている分けでは無いため、この点からも、管理者は、問題点を取りこぼしてしまう可能性がある。
本発明の目的の一例は、上記問題を解消し、実際の動作に基づいて、動作に起因する問題点の取りこぼしを抑制し得る、動作評価装置、動作評価方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
上記目的を達成するため、本発明の一側面における動作評価装置は、対象となるヒトの動作を検出する、動作検出部と、
検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、動作評価部と、
前記動作評価部によって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、視覚表現付加部と、
を備えている、ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における動作評価方法は、
（ａ）対象となるヒトの動作を検出する、ステップと、
（ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
（ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
を有する、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）対象となるヒトの動作を検出する、ステップと、
（ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
（ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
以上のように、本発明によれば、実際の動作に基づいて、動作に起因する問題点の取りこぼしを抑制することができる。
図１は、本発明の実施の形態における動作評価装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における動作評価装置の具体的構成を示すブロック図である。 図３は、本発明の実施の形態における視覚表現の一例を示す図である。 図４は、本発明の実施の形態における動作評価装置の動作を示すフロー図である。 図５は、本発明の実施の形態における動作評価装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
以下、本発明の実施の形態における、動作評価装置、動作評価方法、及びプログラムについて、図１〜図５を参照しながら説明する。
［装置構成］
最初に、図１を用いて、本実施の形態における動作評価装置の構成について説明する。図１は、本発明の実施の形態における動作評価装置の概略構成を示すブロック図である。図１に示すように、動作評価装置１０は、動作検出部１１と、動作評価部１２と、視覚表現付加部１３とを備えている。
このうち、動作検出部１１は、対象となるヒトの動作を検出する。動作評価部１２は、動作検出部１１によって検出された動作が、予め設定された特定動作に合致しているかどうかを判定する。
視覚表現付加部１３は、動作評価部１２によって、特定動作に合致していると判定された場合に、画面上に表示されたヒト又はヒトを表すオブジェクトにおける、特定動作に予め関連付けられている部分（以下「関連部分」と表記する。）に、視覚表現を付加する。
このように、動作評価装置１０は、対象となるヒトの実際の動作から、問題点の原因となる特定動作を検出すると、特定動作を示す視覚表現を表示する。このため、動作評価装置１０によれば、動作に起因する問題点の取りこぼしが抑制される。
ここで、図２及び図３を用いて、本実施の形態における動作評価装置の構成について更に具体的に説明する。図２は、本発明の実施の形態における動作評価装置の具体的構成を示すブロック図である。図３は、本発明の実施の形態における視覚表現の一例を示す図である。
まず、本実施の形態では、動作評価装置１０は、仮想空間に構築された工場の生産ラインでの作業者４０の動作を評価するために用いられる。動作評価装置１０には、作業者４０及び管理者５０が装着するＶＲ（Virtual Reality）ゴーグル２０と、作業者４０及び管理者５０の位置検出用のカメラ３０とが接続されている。
また、ＶＲゴーグル２０には、ＶＲゴーグル２０自体の動きを検出するモーションセンサ（図２において図示せず）と、装着者の手の位置及び動きを検出する赤外線センサ２１とが搭載されている。このうち、モーションセンサは、加速度センセ及び角速度センサを備え、ゴーグル２０自体の動きを特定する信号を出力する。赤外線センサ２１は、赤外線を出力する光源と、装着者の手で反射された赤外線を受光する撮像素子とを備え、信号として、赤外線画像を出力する。なお、ＶＲゴーグル２０及びそれに用いられるセンサは、特に限定されるものではない。本実施の形態では、将来開発される種々のＶＲゴーグル及びセンサを用いることができる。
そして、図２に示すように、本実施の形態における動作評価装置１０は、動作検出部１１、動作評価部１２、及び視覚表現付加部１３に加えて、仮想空間を構築する仮想空間構築部１４を備えている。仮想空間構築部１４は、ヒトを表すオブジェクトを仮想空間内に作成し、動作検出部１１によって検出された動作に合せて、オブジェクトを動作させる。
具体的には、図３に示すように、仮想空間構築部１４は、構築した仮想空間内に、作業者４０を表すオブジェクト（以下「作業者オブジェクト」と表記する。）４１と、生産ラインの設備を表すオブジェクト（以下「設備オブジェクト」と表記する。）４３とを作成する。また、図３においては図示していないが、仮想空間構築部１４は、仮想空間内に、管理者５０を表すオブジェクト（以下「管理者オブジェクト」と表記する。）も仮想空間内に作成する。
また、本実施の形態では、動作検出部１１は、ＶＲゴーグル２０に搭載されているモーションセンサからの信号と、赤外線センサ２１からの信号とに基づいて、作業者４０及び管理者５０の動作を検出する。また、動作検出部１１は、カメラ３０からの画像データに基づいて、作業者４０及び管理者５０の位置を検出する。
そして、動作検出部１１によって動作及び位置が検出されると、仮想空間構築部１４は、動作検出部１１で検出された作業者４０及び管理者５０の位置から、仮想空間内でのこれらの位置を特定する。また、仮想空間構築部１４は、特定した位置において、動作検出部１１で検出された動作に合せて、作業者オブジェクト４１及び管理者オブジェクトを動作させる。
このため、作業者４０及び管理者５０は、ＶＲゴーグルを装着することによって、動作評価装置１０が構築する仮想空間内を自由に動き回ったり、仮想空間内で動作を行なったりすることができ、あたかも、仮想空間内に存在しているように感じることができる。そして、管理者５０は、作業者オブジェクト４１が、設備オブジェクト４３を扱う様子を観察することができる。
また、本実施の形態では、視覚表現付加部１３は、図３に示すように、作業者オブジェクト４１の関連部分に、視覚表現として、例えば、ドットの集合４２を付加することができる。ドットの集合４２は、管理者５０からは、作業者オブジェクト４１を取り巻くモヤのように見え、半透明であるので、管理者５０は、作業者４０の動作と問題のある部位との両方を一度に確認できる。
ドットの集合４２は、目立つ色、例えば、赤色や青色等で着色されているのが好ましい。また、ドットの集合４２の色は、作業者オブジェクト４１の部分に応じて異なっていても良い。更に、図３の例では、ドットの集合４２の形状は、環状であるが、これに限定されるものではなく、例えば、球状であっても良い。
また、動作評価部１２は、上述したように、動作検出部１１によって検出された動作が、特定動作に合致しているかどうかを判定している。特定動作としては、例えば、作業者４０が作業中に上下左右前後に頭を動かすという動作が挙げられる。具体的には、作業者４０において、次の作業がわからなくなり、作業すべき箇所を探したり、特定の部品を探すために周りを見渡したりする場合である。通常、作業中は、特定の一点に視線を集め、上下左右前後に頭を動かすことは少ないことから、作業者４０がこのような動作をとる場合は、作業者４０に「迷い」が生じており、問題点が生じている可能性がある。また、この特定動作には、特定動作に関連する部分として「頭」が関連付けられる。
従って、作業者４０が作業中に上下左右前後に頭を動かすという動作を行なうと、動作評価部１２は、作業者４０の動作が特定の動作に一致していると判断する。これにより、視覚表現付加部１３は、作業者オブジェクト４１の頭に相当する部分の周囲に、視覚表現として、ドットの集合４２を付加する。
また、視覚表現付加部１３は、作業者４０の頭を動かす動作の程度に合せて、ドットの集合４２の色の濃さを変えることもできる。この場合、管理者５０は、色の濃さから、作業者４０の迷いがどの程度かを判断することができる。
更に、特定の動作としては、同じ作業をしている間に姿勢を変更する動作も挙げられる。作業者が、同じ作業を行なっている間に、その姿勢が徐々に変化する場合は、作業者の腰等に負担がかかり、身体に「疲れ」が生じている場合が多いので、問題点が生じている可能性がある。
この特定動作には、特定動作に関連する部位として「腰」が関連付けられる。従って、動作評価部１２が作業者４０の動作が特定の動作に一致していると判断すると、図３に示すように、視覚表現付加部１３は、作業者オブジェクト４１の腰に相当する部分の周囲に、視覚表現として、ドットの集合４２を付加する。
なお、姿勢の変化が作業者４０の「慣れ」に起因している場合は、姿勢が変化していても、作業効率が向上する可能性がある。従って、特定の動作として、同じ作業をしている間に姿勢を変更する動作を設定する場合は、動作の方向を規定するのが好ましい。
その他、特定の動作としては、頭の位置と手の位置との距離が設定範囲を超える動作も挙げられる。この場合、作業者４０は手が届きにくいところにあるモノを取ろうとして、背伸びをしている可能性があり、作業し難い環境であるので、問題点が生じている可能性がある。なお、この特定動作においても、関連する部位として「腰」が関連付けられる。
［装置動作］
次に、本実施の形態における動作評価装置の動作について図４を用いて説明する。図４は、本発明の実施の形態における動作評価装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図３を参酌する。また、本実施の形態では、動作評価装置を動作させることによって、動作評価方法が実施される。よって、本実施の形態における動作評価方法の説明は、以下の動作評価装置１０の動作説明に代える。
図４に示すように、最初に、仮想空間構築部１４が、仮想空間を構築する（ステップＡ１）。次に、仮想空間構築部１４は、構築した仮想空間内に、作業者オブジェクト４１、設備オブジェクト４３、及び管理者オブジェクトを作成する（ステップＡ２）
ステップＡ１及びＡ２が実行されると、ＶＲゴーグル２０を装着した作業者４０は、仮想空間内で作業を行なうことができ、管理者５０は、作業者４０の動作を確認することができる。そして、動作検出部１１は、動作検出部１１は、ＶＲゴーグル２０に搭載されているモーションセンサからの信号と、赤外線センサ２１からの信号とに基づいて、作業者４０及び管理者５０の動作を検出する（ステップＡ３）。
次に、動作評価部１２は、ステップＡ３で検出された動作が、特定動作に合致しているかどうかを判定する（ステップＡ４）。ステップＡ４の判定の結果、ステップＡ３で検出された動作が、特定動作に合致していない場合は、再度ステップＡ３が実行される。一方、ステップＡ４の判定の結果、ステップＡ３で検出された動作が、特定動作に合致している場合は、ステップＡ５が実行される。
ステップＡ５では、視覚表現付加部１３は、作業者オブジェクト４１における関連部分に視覚表現を付加する（ステップＡ６）。例えば、特定動作が、頭の位置と手の位置との距離が設定範囲を超える動作である場合は、視覚表現付加部１３は、作業者オブジェクト４１の「腰」に相当する部分に、ドットの集合４２を付加する（図３参照）。
その後、動作検出部１１は、処理の終了が指示されているかどうかを判定する（ステップＡ６）。ステップＡ６の判定の結果、処理の終了が指示されていない場合は、動作検出部１１は、再度ステップＡ３を実行する。一方、ステップＡ６の判定の結果、処理の終了が指示されている場合は、動作評価装置１０における処理は終了する。
［実施の形態における効果］
以上のように、本実施の形態では、管理者５０は、作業者４０の特定動作を漏れなく確認することができるので、特定動作に起因する問題点の取りこぼしが抑制される。つまり、本実施の形態では、管理者４０が、生産ラインの設計についての専門家でない場合であっても、専門家と同様に、問題点に気付くことができるようになる。本実施の形態によれば、作業者４０が効率良く作業でき、且つ、作業者の身体的負担を軽減できる、生産ラインを構築できる。この結果、不良品の発生も抑制することができる。
また、本実施の形態では、作業者４０の特定動作の検出は、仮想空間において行なうことができるため、生産ラインの設備のモックアップを実際に作製する必要がないため、生産ラインの構築にかかるコストを低減することもできる。更に、生産ラインの変更及び改良にも、柔軟に対応することが可能となる。
［変形例］
図２の例では、管理者５０も、作業者４０と同様に、ＶＲゴーグル２０を装着して、仮想空間内を観察しているが、本実施の形態は、図２の例に限定されるものではない。例えば、動作評価装置１０に、一般的な表示装置が接続されているのであれば、管理者５０は、この表示装置の画面を介して、仮想空間内を観察していても良い。この態様であっても、管理者５０は、作業者オブジェクト４１に付加される視覚表現を確認することができる。
また、図３の例では、視覚表現としてドットの集合４２を例示しているが、本実施の形態において視覚表現は特に限定されるものではない。本実施の形態では、例えば、作業者オブジェクト４１の関連部分の色が変化する態様であっても良い。
更に、図２の例では、作業者４０の動作の検出は、ＶＲゴーグル２０に搭載されたモーションセンサと、それに搭載された赤外線センサ２１と、位置検出用のカメラ３０とによって行なわれているが、本実施の形態では、動作の検出の仕方は特に限定されるものではない。動作の検出は、例えば、モーションキャプチャ技術を利用して行なわれても良い。
［応用例］
また、本実施の形態は、動作評価装置１０が、生産ラインでの作業者４０の動作の評価に用いられる例について説明しているが、動作評価装置１０の用途はこれに限定されるものではない。例えば、動作評価装置１０は、手術室での医師及び看護師の動作の評価に用いることもできる。この場合、看護師が、無理なく、医師に適切な手術道具を渡せるかどうかの評価を行なうことが可能となる。
更に、動作評価装置１０は、銀行の現金自動預け払い機（ＡＴＭ）、複合機、工作機械といった各種機械のメンテナンスを行なう際のサービスマンの動作の評価に用いることもできる。
［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１〜Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における動作評価装置１０と動作評価方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、動作検出部１１、動作評価部１２、視覚表現付加部１３、及び仮想空間構築部１４として機能し、処理を行なう。
ここで、本実施の形態におけるプログラムを実行することによって、動作評価装置１０を実現するコンピュータについて図５を用いて説明する。図５は、本発明の実施の形態における動作評価装置を実現するコンピュータの一例を示すブロック図である。
図５に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
また、上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記９）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
対象となるヒトの動作を検出する、動作検出部と、
検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、動作評価部と、
前記動作評価部によって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、視覚表現付加部と、
を備えている、ことを特徴とする動作評価装置。
（付記２）
仮想空間を構築する、仮想空間構築部を更に備え、
前記仮想空間構築部は、前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記動作検出部によって検出された動作に合せて、前記オブジェクトを動作させ、
前記視覚表現付加部は、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
付記１に記載の動作評価装置。
（付記３）
前記視覚表現付加部が、前記視覚表現として、ドットの集合を付加する、
付記１に記載の動作評価装置。
（付記４）
（ａ）対象となるヒトの動作を検出する、ステップと、
（ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
（ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
を有する、ことを特徴とする動作評価方法。
（付記５）
（ｄ）仮想空間を構築する、ステップと、
（ｅ）前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記（ａ）のステップによって検出された動作に合せて、前記オブジェクトを動作させるステップと、
を更に有し、
前記（ｃ）のステップにおいて、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
付記４に記載の動作評価方法。
（付記６）
前記（ｃ）のステップにおいて、前記視覚表現として、ドットの集合を付加する、
付記４に記載の動作評価方法。
（付記７）
コンピュータに、
（ａ）対象となるヒトの動作を検出する、ステップと、
（ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
（ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記８）
前記プログラムが、前記コンピュータに、
（ｄ）仮想空間を構築する、ステップと、
（ｅ）前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記（ａ）のステップによって検出された動作に合せて、前記オブジェクトを動作させるステップと、
を実行させる命令を更に含み、
前記（ｃ）のステップにおいて、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
付記７に記載のコンピュータ読み取り可能な記録媒体。
（付記９）
前記（ｃ）のステップにおいて、前記視覚表現として、ドットの集合を付加する、
付記７に記載のコンピュータ読み取り可能な記録媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１５年３月５日に出願された日本出願特願２０１５−４３５８３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上のように、本発明によれば、実際の動作に基づいて当該動作の評価を行なうことができ、且つ、動作に起因する問題点の取りこぼしを抑制することができる。本発明は、工場の生産ラインにおける動作評価、各種機械のメンテナンスにおける動作評価、手術における動作評価等に有用である。
１０ 動作評価装置
１１ 動作検出部
１２ 動作評価部
１３ 視覚表現付加部
１４ 仮想空間構築部
２０ ＶＲゴーグル
２１ 赤外線センサ
３０ 位置検出用のカメラ
４０ 作業者
４１ 作業者オブジェクト
４２ ドットの集合
４３ 設備オブジェクト
５０ 管理者
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
本発明は、作業等を行なう際の動作を評価するための、動作評価装置、動作評価方法、及びこれらを実現するためのプログラムに関する。
本発明の目的の一例は、上記問題を解消し、実際の動作に基づいて、動作に起因する問題点の取りこぼしを抑制し得る、動作評価装置、動作評価方法、及びプログラムを提供することにある。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）対象となるヒトの動作を検出する、ステップと、
（ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
（ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
を実行させる、ことを特徴とする。
また、ＶＲゴーグル２０には、ＶＲゴーグル２０自体の動きを検出するモーションセンサ（図２において図示せず）と、装着者の手の位置及び動きを検出する赤外線センサ２１とが搭載されている。このうち、モーションセンサは、加速度センセ及び角速度センサを備え、ＶＲゴーグル２０自体の動きを特定する信号を出力する。赤外線センサ２１は、赤外線を出力する光源と、装着者の手で反射された赤外線を受光する撮像素子とを備え、信号として、赤外線画像を出力する。なお、ＶＲゴーグル２０及びそれに用いられるセンサは、特に限定されるものではない。本実施の形態では、将来開発される種々のＶＲゴーグル及びセンサを用いることができる。
また、本実施の形態では、動作検出部１１は、ＶＲゴーグル２０に搭載されているモーションセンサからの信号と、赤外線センサ２１からの信号とに基づいて、作業者４０及び管理者５０の動作を検出する。また、動作検出部１１は、位置検出用のカメラ３０からの画像データに基づいて、作業者４０及び管理者５０の位置を検出する。
（付記７）
コンピュータに、
（ａ）対象となるヒトの動作を検出する、ステップと、
（ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
（ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
を実行させる、プログラム。
（付記８）
前記コンピュータに、更に、
（ｄ）仮想空間を構築する、ステップと、
（ｅ）前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記（ａ）のステップによって検出された動作に合せて、前記オブジェクトを動作させるステップと、
を実行させ、
前記（ｃ）のステップにおいて、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
付記７に記載のプログラム。
（付記９）
前記（ｃ）のステップにおいて、前記視覚表現として、ドットの集合を付加する、
付記７に記載のプログラム。

Claims (9)

  1. 対象となるヒトの動作を検出する、動作検出部と、
    検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、動作評価部と、
    前記動作評価部によって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、視覚表現付加部と、
    を備えている、ことを特徴とする動作評価装置。
  2. 仮想空間を構築する、仮想空間構築部を更に備え、
    前記仮想空間構築部は、前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記動作検出部によって検出された動作に合せて、前記オブジェクトを動作させ、
    前記視覚表現付加部は、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
    請求項１に記載の動作評価装置。
  3. 前記視覚表現付加部が、前記視覚表現として、ドットの集合を付加する、
    請求項１または２に記載の動作評価装置。
  4. （ａ）対象となるヒトの動作を検出する、ステップと、
    （ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
    （ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
    を有する、ことを特徴とする動作評価方法。
  5. （ｄ）仮想空間を構築する、ステップと、
    （ｅ）前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記（ａ）のステップによって検出された動作に合せて、前記オブジェクトを動作させるステップと、
    を更に有し、
    前記（ｃ）のステップにおいて、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
    請求項４に記載の動作評価方法。
  6. 前記（ｃ）のステップにおいて、前記視覚表現として、ドットの集合を付加する、
    請求項４または５に記載の動作評価方法。
  7. コンピュータに、
    （ａ）対象となるヒトの動作を検出する、ステップと、
    （ｂ）前記（ａ）のステップで検出された動作が、予め設定された特定動作に合致しているかどうかを判定する、ステップと、
    （ｃ）前記（ｂ）のステップによって、前記特定動作に合致していると判定された場合に、画面上に表示された前記ヒト又は前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、視覚表現を付加する、ステップと、
    を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  8. 前記プログラムが、前記コンピュータに、
    （ｄ）仮想空間を構築する、ステップと、
    （ｅ）前記ヒトを表す前記オブジェクトを前記仮想空間内に作成し、前記（ａ）のステップによって検出された動作に合せて、前記オブジェクトを動作させるステップと、
    を実行させる命令を更に含み、
    前記（ｃ）のステップにおいて、画面上に表示された前記ヒトを表すオブジェクトにおける、前記特定動作に予め関連付けられている部分に、前記視覚表現を付加する、
    請求項７に記載のコンピュータ読み取り可能な記録媒体。
  9. 前記（ｃ）のステップにおいて、前記視覚表現として、ドットの集合を付加する、
    請求項７または８に記載のコンピュータ読み取り可能な記録媒体。
JP2017503437A 2015-03-05 2016-02-24 動作評価装置、動作評価方法、及びプログラム Active JP6462847B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015043583 2015-03-05
JP2015043583 2015-03-05
PCT/JP2016/055499 WO2016140129A1 (ja) 2015-03-05 2016-02-24 動作評価装置、動作評価方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2016140129A1 true JPWO2016140129A1 (ja) 2018-01-25
JP6462847B2 JP6462847B2 (ja) 2019-01-30

Family

ID=56848894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017503437A Active JP6462847B2 (ja) 2015-03-05 2016-02-24 動作評価装置、動作評価方法、及びプログラム

Country Status (4)

Country Link
US (1) US10593223B2 (ja)
JP (1) JP6462847B2 (ja)
CN (1) CN107408354B (ja)
WO (1) WO2016140129A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839717B2 (en) * 2016-01-11 2020-11-17 Illinois Tool Works Inc. Weld training systems to synchronize weld data for presentation
JP2017126935A (ja) * 2016-01-15 2017-07-20 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2019197165A (ja) * 2018-05-10 2019-11-14 日本電気株式会社 作業訓練装置、作業訓練方法、およびプログラム
CN111583733A (zh) * 2020-05-12 2020-08-25 广东小天才科技有限公司 一种智能家教机及其交互方法
US20240330620A1 (en) * 2023-03-30 2024-10-03 Zebra Technologies Corporation Dynamic image annotation using infrared-identifiable wearable articles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330971A (ja) * 2002-05-15 2003-11-21 Toshiba Corp 標準作業書制作方法及び記憶媒体
JP2005134536A (ja) * 2003-10-29 2005-05-26 Omron Corp 作業訓練支援システム
JP2006171184A (ja) * 2004-12-14 2006-06-29 Toshiba Corp 技能評価システムおよび技能評価方法
JP2006302122A (ja) * 2005-04-22 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> 運動支援システムとその利用者端末装置及び運動支援プログラム
JP2013088730A (ja) * 2011-10-21 2013-05-13 Toyota Motor East Japan Inc 技能習得支援システム及び技能習得支援方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6059576A (en) * 1997-11-21 2000-05-09 Brann; Theodore L. Training and safety device, system and method to aid in proper movement during physical activity
US8930472B2 (en) * 2007-10-24 2015-01-06 Social Communications Company Promoting communicant interactions in a network communications environment
US20130174059A1 (en) * 2011-07-22 2013-07-04 Social Communications Company Communicating between a virtual area and a physical space
US9146669B2 (en) * 2009-12-29 2015-09-29 Bizmodeline Co., Ltd. Password processing method and apparatus
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US8893010B1 (en) * 2011-07-20 2014-11-18 Google Inc. Experience sharing in location-based social networking
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US10824310B2 (en) * 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
US9652992B2 (en) * 2012-10-09 2017-05-16 Kc Holdings I Personalized avatar responsive to user physical state and context
US9501942B2 (en) * 2012-10-09 2016-11-22 Kc Holdings I Personalized avatar responsive to user physical state and context
US9199122B2 (en) * 2012-10-09 2015-12-01 Kc Holdings I Personalized avatar responsive to user physical state and context
US9198622B2 (en) * 2012-10-09 2015-12-01 Kc Holdings I Virtual avatar using biometric feedback
US9685001B2 (en) * 2013-03-15 2017-06-20 Blackberry Limited System and method for indicating a presence of supplemental information in augmented reality
WO2015108700A1 (en) * 2014-01-14 2015-07-23 Zsolutionz, LLC Sensor-based evaluation and feedback of exercise performance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003330971A (ja) * 2002-05-15 2003-11-21 Toshiba Corp 標準作業書制作方法及び記憶媒体
JP2005134536A (ja) * 2003-10-29 2005-05-26 Omron Corp 作業訓練支援システム
JP2006171184A (ja) * 2004-12-14 2006-06-29 Toshiba Corp 技能評価システムおよび技能評価方法
JP2006302122A (ja) * 2005-04-22 2006-11-02 Nippon Telegr & Teleph Corp <Ntt> 運動支援システムとその利用者端末装置及び運動支援プログラム
JP2013088730A (ja) * 2011-10-21 2013-05-13 Toyota Motor East Japan Inc 技能習得支援システム及び技能習得支援方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宮狭和大、外３名: ""複合現実空間における作業記録の可視化手法の提案と評価"", 「情報処理学会論文誌 ＶＯＬ．４７ ＮＵＭＢＥＲ １」, vol. 第47巻，第1号, JPN6016016638, 15 January 2006 (2006-01-15), JP, pages 181 - 192, ISSN: 0003832718 *
高橋典宏、外４名: ""距離画像センサを用いた俯瞰画像による人物の姿勢推定"", 「ＦＩＴ２００７ 第６回情報科学技術フォーラム 一般講演論文集 第３分冊」, JPN6016016636, 22 August 2007 (2007-08-22), JP, pages 79 - 80, ISSN: 0003832717 *

Also Published As

Publication number Publication date
US20180053438A1 (en) 2018-02-22
CN107408354A (zh) 2017-11-28
CN107408354B (zh) 2019-12-20
JP6462847B2 (ja) 2019-01-30
US10593223B2 (en) 2020-03-17
WO2016140129A1 (ja) 2016-09-09

Similar Documents

Publication Publication Date Title
JP6462847B2 (ja) 動作評価装置、動作評価方法、及びプログラム
US10179407B2 (en) Dynamic multi-sensor and multi-robot interface system
WO2020172010A1 (en) Mixed-reality guide data collection and presentation
US20160184469A1 (en) System for detecting sterile field events and related methods
EP3788542A1 (en) Personal protective equipment system with augmented reality for safety event detection and visualization
JP2017059062A5 (ja)
CN109117684A (zh) 用于在双目增强现实设备上选择性扫描的系统和方法
JP7471428B2 (ja) 製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム、方法及びコンピュータ読み取り可能媒体
WO2021202609A1 (en) Method and system for facilitating remote presentation or interaction
JP2021002290A (ja) 画像処理装置およびその制御方法
CN111033573A (zh) 信息处理装置、系统、图像处理方法、计算机程序及存储介质
CN113190109A (zh) 头戴式显示设备的输入控制方法、装置及头戴式显示设备
JP6270488B2 (ja) オペレータ監視制御装置およびオペレータ監視制御方法
JP7125872B2 (ja) 作業支援装置、および、作業支援方法
JP7167518B2 (ja) 制御装置、ヘッドマウントディスプレイおよびロボットシステム
JP2017016376A (ja) 情報処理装置、情報処理方法、プログラム
JP7011569B2 (ja) 熟練度判定システム
WO2022087015A1 (en) Computer vision and machine learning to track surgical tools through a use cycle
JP7158909B2 (ja) 表示システム、ウェアラブル装置及び監視制御装置
JP2016058043A (ja) 情報処理装置、情報処理方法、プログラム
JP7307698B2 (ja) 作業管理システムおよび作業管理方法
JP7418711B1 (ja) 注意抽出システム、及び注意抽出方法
KR20230099787A (ko) 훈련자의 훈련 동작을 인식하여 전문가의 시범 동작을 보여주는 가상 훈련 시스템
JP2023156869A (ja) 作業支援システム及び方法
TWI686743B (zh) 控制耳機裝置之方法、耳機裝置、電腦可讀媒體及紅外線感測器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170830

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181227

R150 Certificate of patent or registration of utility model

Ref document number: 6462847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150