JP7017777B2 - 情報処理装置、情報処理方法、および、情報処理装置用プログラム - Google Patents

Description

本発明は、人間の作業に関する作業情報を処理する情報処理装置、情報処理方法、および、情報処理装置用プログラムの技術分野に関する。

仮想現実、拡張現実等を利用して、人間の作業を支援するシステムが開発されている。例えば、特許文献１には、インターネット上のウェブサイトへの知的接続、理想的な溶接パドルの重ね合わせ、仮想試験結果に基づく推奨される修正行動、安全上の問題を伴う仮想環境のシミュレーション及び不適切に設定された溶接パラメータと溶接欠陥及び不連続部との間の関係のシミュレーションを提供し得る仮想現実溶接システムが開示されている。

特表２０１６－５１１４４５号公報

しかし、特許文献１のような従来技術においては、現実の溶接設備及び材料を使用する代わり仮想現実を利用することによるコスト削減等のためであり、作業を支援する仮想現実等の技術に必要な設計、機能、性能、仕様、コンテンツ等を分析したり、評価したりするためのものではなかった。また、溶接作業等の単一の所定作業に対して単に分析、評価するのみでは、所定作業に依存した偏った分析、評価になりがちであり、様々な人間の作業や活動の支援を行う技術としてのシステムやサービスやデバイスの設計、開発、評価等を、できるだけ普遍的に行うためは十分ではなかった。

そこで、本発明の課題の一例は、人間が行う様々な作業をできるだけ共通した基準で扱うために、作業情報に対して情報処理を行う情報処理装置等を提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、人間が所定作業を行う際の一連の作業事項を含む作業情報を取得する作業情報取得手段と、前記所定作業においてキーとなるキー部分を予め記憶した記憶手段を参照して、前記キー部分と前記作業事項とをマッチングして、前記作業事項に適合するキー部分を、前記作業事項から抽出するキー部分抽出手段と、前記キー部分に応じて、前記人間の感覚器官を通して前記人間に伝達する情報の種類を示す少なくとも１つの伝達要素を、前記作業事項に割り当てる伝達要素割当手段と、前記所定作業における前記作業事項の順序に従って、前記伝達要素を順に並べた前記伝達要素の遷移を示す遷移構造を生成する遷移構造生成手段と、前記割り当てられた伝達要素および前記遷移構造を出力する出力手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記伝達要素が、前記人間の単一の感覚器官を通して前記人間に伝達する情報の種類を示す単一感覚伝達要素の場合と、前記人間の複数の感覚器官を通して前記人間に伝達する情報の種類を示す多感覚伝達要素の場合とがあることを特徴とする。

請求項３に記載の発明は、請求項１に記載の情報処理装置において、前記遷移構造において前記作業事項に対応する前記伝達要素に基づき、前記遷移構造を分析する分析手段を更に備えたことを特徴とする。

請求項４に記載の発明は、請求項３に記載の情報処理装置において、前記遷移構造の分析の結果に基づき、前記感覚器官に作用して前記所定作業を支援する支援技術を決定する支援技術決定手段を更に備えたことを特徴とする。

請求項５に記載の発明は、請求項３または請求項４に記載の情報処理装置において、前記所定作業の分析の結果に基づき、前記感覚器官に作用して前記所定作業を支援する支援技術を評価する支援技術評価手段を更に備えたことを特徴とする。

請求項６に記載の発明は、作業情報取得手段が、人間が所定作業を行う際の一連の作業事項を含む作業情報を取得する作業情報取得ステップと、キー部分抽出手段が、前記所定作業においてキーとなるキー部分を予め記憶した記憶手段を参照して、前記キー部分と前記作業事項とをマッチングして、前記作業事項に適合するキー部分を、前記作業事項から抽出するキー部分抽出ステップと、伝達要素割当手段が、前記キー部分に応じて、前記人間の感覚器官を通して前記人間に伝達する情報の種類を示す少なくとも１つの伝達要素を、前記作業事項に割り当てる伝達要素割当ステップと、前記所定作業における前記作業事項の順序に従って、前記伝達要素を順に並べた前記伝達要素の遷移を示す遷移構造を生成する遷移構造生成ステップと、出力手段が、前記割り当てられた伝達要素および前記遷移構造を出力する出力ステップと、を含むことを特徴とする。

請求項７に記載の発明は、コンピュータを、人間が所定作業を行う際の一連の作業事項を含む作業情報を取得する作業情報取得手段、前記所定作業においてキーとなるキー部分を予め記憶した記憶手段を参照して、前記キー部分と前記作業事項とをマッチングして、前記作業事項に適合するキー部分を、前記作業事項から抽出するキー部分抽出手段、前記キー部分に応じて、前記人間の感覚器官を通して前記人間に伝達する情報の種類を示す少なくとも１つの伝達要素を、前記作業事項に割り当てる伝達要素割当手段、前記所定作業における前記作業事項の順序に従って、前記伝達要素を順に並べた前記伝達要素の遷移を示す遷移構造を生成する遷移構造生成手段、および、前記割り当てられた伝達要素および前記遷移構造を出力する出力手段として機能させることを特徴とする。

本発明によれば、人間が所定作業を行う際の一連の作業事項を含む作業情報から所定作業においてキーとなるキー部分を抽出して、抽出されたキー部分に応じて作業事項を、人間の感覚器官への入力により人間に伝達したい情報の種類を示す伝達要素に割り当てることにより、作業事項を統一的に表すことができるので、様々な作業をできるだけ共通した基準で扱うことができる。

一実施形態に係る情報処理システムの概要構成例を示す模式図である。 図１の情報処理装置の概要構成の一例を示すブロック図である。 図２の作業情報データベースに記憶されているデータの一例を示す図である。 図２の伝達要素データベースに記憶されているデータの一例を示す図である。 図２のキー部分データベースに記憶されているデータの一例を示す図である。 図２のキー部分-伝達要素データベースに記憶されているデータの一例を示す図である。 図１のコンテンツ装置の概要構成の一例を示すブロック図である。 一実施形態に係る情報処理装置の動作例を示すフローチャートである。 伝達要素の遷移構造の一例を示す模式図である。 伝達要素の遷移構造図の一例を示す模式図である。

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施形態は、情報処理システムに対して本発明を適用した場合の実施形態である。

［１．情報処理システムの構成及び機能概要］
まず、本実施形態に係る情報処理システムＳの構成について、図１を用いて説明する。図１は、本実施形態に係る情報処理システムＳの概要構成の一例を示す図である。

図１に示すように、情報処理システムＳは、人間が所定作業を行う際の一連の作業事項を含む作業情報に対して情報処理を行う情報処理装置１０と、所定作業を支援する仮想現実用のコンテンツを保存するコンテンツ装置２０と、ユーザが装着する仮想現実用の端末装置３０と、を備える。なお、仮想現実という用語は、拡張現実、複合現実等を含むものとする。

ここで、所定作業は、溶接、旋盤の操作、車の運転、料理等の所定の目的を達するための作業である。所定作業は、アーチェリー、ゴルフ等のスポーツでもよい。

作業情報の一例として、作業マニュアル、作業手順である作業事項の順序、作業のコツ、作業についての解説書、端末装置３０で再生される動画等のコンテンツ等が揚げられる。また、作業情報は、熟練工等の作業者の作業を録画した動画や、各種のセンサにより作業者を測定したデータでもよい。

情報処理装置１０は、コンピュータの機能を有する。情報処理装置１０は、作業情報をコンテンツ装置２０等から取得して、作業情報を情報処理して、伝達要素を抽出したり、仮想現実用のコンテンツを生成したりする。

ここで、伝達要素は、目、耳、舌、鼻、皮膚、骨等といった人間の感覚器官への入力により人間に伝達したい情報の種類を示す。感覚は、例えば、視覚、聴覚、触覚、味覚、嗅覚の五感である。さらに、聴覚は、耳意外に、頭蓋骨で感じる感覚も含む。触覚は、皮膚表面感覚、力覚、温度感覚、体性感覚、骨や内臓等の体内部の感覚等である。なお、感覚器官には、視覚や聴覚等の五感以外に、体性感覚、力覚、知覚や認知など、外界の情報を受容することのできる人の感覚知覚認知特性を含んでもよい。

伝達要素の一例として、”位置”、”大きさ”、”明るさ”、”力の強さ”、”姿勢”、”持ち方、”速さ”、”軌跡”、”重さ”、”振動”、”方向”、”質感”、”注意”等である。

伝達要素”位置”は、例えば、工具等の配置位置、工具等を握る位置、注目点の位置、スイッチの位置等の対象の位置である。このように、伝達要素”位置”は、”位置”という共通の概念でくくられる情報の種類を示している。

また、伝達要素”位置”の場合、視覚で目に対して情報が入力すると、分かりやすく、人間に伝わりやすくなる。

伝達要素”大きさ”は、例えば、工具等の大きさ、工具等が作用する対象物の大きさ等の対象の大きさである。このように、伝達要素”大きさ”は、”大きさ”という共通の概念でくくられる情報の種類を示している。

伝達要素”大きさ”の場合、視覚で目に対して情報が入力すると、分かりやすく、人間に伝わりやすくなる。これに加えて、触覚で手の指、手のひら、腕等に対して実寸の大きさの情報が入力すると、さらに分かりやすく、人間により伝わりやすくなる。すなわち、視覚および触覚の２つの感覚を利用する方が、視覚単一の感覚を利用する場合より、人間に伝わりやすくなると考えられる。

伝達要素”明るさ”は、例えば、作業環境の明るさ、対象物、対象点の等対象の明るさである。このように、伝達要素”明るさ”は、”明るさ”という共通の概念でくくられる情報の種類を示している。

伝達要素”明るさ”の場合、視覚で目に対して情報が入力すると、分かりやすく、人間に伝わりやすくなる。

伝達要素”力の強さ”は、例えば、握る強さ、工具等により対象物に加える強さ等の対象の大きさである。このように、伝達要素”力の強さ”は、”力の強さ”という共通の概念でくくられる情報の種類を示している。

伝達要素”力の強さ”の場合、触覚で手の指、手のひら、腕等に対して情報が入力すると、分かりやすく、人間に伝わりやすくなる。これに加えて、聴覚で耳に対して、どのような力具合かを説明すると、さらに分かりやすく、人間により伝わりやすくなる。すなわち、触覚および聴覚の方がより人間に伝わりやすくなると考えられる。

伝達要素”姿勢”は、例えば、握る腕の姿勢、運ぶ体の姿勢、工具等を使う姿勢等の姿勢である。このように、伝達要素”姿勢”は、”姿勢”という共通の概念でくくられる情報の種類を示している。

伝達要素”姿勢”の場合、触覚で指、腕、体幹、足、首等に対して情報が入力すると、分かりやすく、人間に伝わりやすくなる。これに加えて、視覚で目に対して、どのような姿勢を取るかをビジュアルに示すと、さらに分かりやすく、人間により伝わりやすくなる。すなわち、触覚および視覚の方がより人間に伝わりやすくなると考えられる。

伝達要素”速さ”は、例えば、工具等を操作する速さ、指を動かす速さ、歩く速さ、目を動かす速さ、持ち運ぶ速さ等の速さである。

伝達要素”軌跡”は、例えば、工具等を動かす軌跡、腕を動かす軌跡、溶接を作用した後の軌跡等の軌跡である。より具体的に”軌跡”の一例として、円を描くように動かす、弧を描くように動かす、直線で動かす等が挙げられる。

伝達要素”振動”は、例えば、製造機械の駆動モータの不具合を確認するために、外殻を触ったり、回転音を聞いて、モータの振動の安定性を確認する。また、胎児の成長や患者の病状など、体内の状態を確認するために、体内からの振動を確認する。

伝達要素”方向”は、例えば、工具等を動かす方向、腕を動かす方向等の対象の方向である。より具体的には、伝達要素”方向”の一例として、”溶接中に、視界がほぼ見えない中で、どちらに向かってトーチを動かせばよいか”、”内視鏡で、どの方向にカメラを進めればよいか”、”悪天候の屋外や、複雑に入り組んだ建物内など、視界の悪い環境で、どの方向に何があって、どの方向に進むべきか”等が挙げられる。

伝達要素”質感”は、例えば、溶接後の表面のざらつき等の対象の質感である。

伝達要素”注意”は、気を配る必要がある、慎重に行う必要がある、注意することがある等の注意力を働かせることである。

なお、溶接と書道とは共通点がある。例えば、書道の姿勢、筆の持ち方、筆運び等は、溶接と似たところがある。

コンテンツ装置２０は、コンピュータの機能を有する。コンテンツ装置２０は、端末装置３０で再生するコンテンツを、端末装置３０に提供する。コンテンツ装置２０は、例えば、パーソナルコンピュータ、スマートフォン、または、タブレット端末でもよい。

端末装置３０は、コンピュータの機能およびコンテンツ情報を出力する機能を有する。端末装置３０は、人間の行動を支援するコンテンツ情報に従って、人間の感覚器官に作用する情報を出力して、人間の行動を支援する。

端末装置３０は、人間の行動を支援する支援技術を体現する装置の一例である。端末装置３０の一例として、映像を再生するディスプレイを有する仮想現実用のヘッドマウントディスプレイ、仮想現実用のグラス、仮想現実用のプロジェクタ等の視覚的効果で人間の行動を支援する機器が挙げられる。これらの機器により、３次元（３Ｄ）効果の画像を出力したり、画像における注目箇所を強調して視線を誘導したりして、視覚効果を実現する。なお、これらの機器は、ハードウェアに限らず、ソフトウェアにより、３Ｄ効果等の所定の視覚効果を実現する支援技術でもよい。例えば、人間の目の視線に応じて、画像を調整して立体的に画像を表示したり、画像中のオブジェクトに変化を加えたりしてもよい。

また、端末装置３０の一例として、音を再生するスピーカを有する仮想現実用のヘッドフォンやイヤホン、頭蓋骨に振動を与える機器、音を立体的に表現するスピーカ群、超音波等で特定の位置に音を再現する機器等の聴覚的効果で人間の行動を支援する機器が挙げられる。なお、これらの機器は、ハードウェアに限らず、ソフトウェアにより、所定の聴覚効果を実現する支援技術でもよい。例えば、特定の周波数を強調したり、ノイズをキャンセラしたり、ノイズを付加したりしてもよい。

また、端末装置３０の一例として、振動、冷温感、痛覚等で、皮膚に刺激を与える仮想現実用のグローブ、仮想現実用のジャケット、仮想現実用のズボン、仮想現実用のベルト、仮想現実用のブーツ等の触覚効果で人間の行動を支援する機器が挙げられる。ハードウェアに限らず、ソフトウェアにより、所定の触覚効果を実現する支援技術でもよい。例えば、特定の周波数、パターンの刺激により、重量感、方向感、冷温感を与えてもよい。

また、端末装置３０の一例として、関節の角度等により、体性感覚を与える仮想現実用のグローブ、仮想現実用のジャケット、仮想現実用のズボン、仮想現実用のベルト、仮想現実用のブーツ等の体性感覚効果で人間の行動を支援する機器が挙げられる。
ハードウェアに限らず、ソフトウェアにより、所定の体性感覚効果を実現する支援術でもよい。例えば、右側に刺激を与えて、右側という体性感覚を与えてもよい。

また、端末装置３０は、味覚、嗅覚で刺激を与える機器でもよい。

支援技術の一例として、３Ｄモデル生成技術、３Ｄ姿勢可視化技術、視線誘導技術、立体音響等のコンテンツを出力する支援表現技術が挙げられる。また、支援技術の一例として、リアルタイム動作計測技術、視線計測技術、触覚呈示技術、心拍等の人間の生理状態を計測する技術等の人間の状態を計測する計測技術が挙げられる。また、支援技術の一例として、人間が装着しても違和感が少ないように開発されたウェラブルデバイス技術が挙げられる。

端末装置３０は、以上の機器が単独でもよいし、複数でもよい。

情報処理装置１０およびコンテンツ装置２０は、ネットワークＮを介して、例えば、通信プロトコルにＴＣＰ／ＩＰ等を用いて相互にデータの送受信が可能になっている。ネットワークＮは、例えば、インターネットにより構築されている。端末装置３０がネットワークＮに接続していてもよい。

なお、ネットワークＮは、専用通信回線、移動体通信網、およびゲートウェイ等により構築されていてもよい。また、ネットワークＮは、アクセスポイントを有してもよい。コンテンツ装置２０および端末装置３０等は、アクセスポイントを介して、ネットワークＮに接続できるようにしてもよい。

（１．２ 情報処理装置１０の構成および機能）
次に、情報処理装置１０の構成および機能について、図２から図６を用いて説明する。

図２は、情報処理装置１０の概要構成の一例を示すブロック図である。図３は、図２の作業情報データベースに記憶されているデータの一例を示す図である。図４は、図２の伝達要素データベースに記憶されているデータの一例を示す図である。図５は、図２のキー部分データベースに記憶されているデータの一例を示す図である。図６は、キー部分-伝達要素データベースに記憶されているデータの一例を示す図である。

図２に示すように、情報処理装置１０は、通信部１１と、記憶部１２と、出力部１３と、入力部１４と、入出力インターフェース部１５と、制御部１６と、を備えている。そして、制御部１６と入出力インターフェース部１５とは、システムバス１７を介して電気的に接続されている。

通信部１１は、ネットワークＮに電気的または電磁気的に接続して、コンテンツ装置２０、端末装置３０等との通信状態を制御するようになっている。

記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等により構成されている。記憶部１２は、伝達要素等を記憶する。また、記憶部１２は、オペレーティングシステムおよびサーバプログラム等の各種プログラムや各種ファイル等を記憶する。なお、各種プログラム等は、例えば、他のサーバ装置等からネットワークＮを介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。

また、記憶部１２には、各種の所定作業に関する作業情報を記憶する作業情報データベース１２ａ（以下”作業情報ＤＢ１２ａ”とする。）、各伝達要素と伝達要素を伝えるために適した感覚との関係を記憶する伝達要素データベース１２ｂ（以下”伝達要素ＤＢ１２ｂ”とする。）、キーとなるキー部分を記憶するキー部分データベース１２ｃ（以下”キー部分ＤＢ１２ｃ”とする。）、キー部分と伝達要素との対応関係を記憶するキー部分－伝達要素データベース１２ｄ（以下”キー部分－伝達要素ＤＢ１２ｄ”とする。）等が構築されている。

図３に示すように、作業情報ＤＢ１２ａは、作業ＩＤに関連づけられて、所定作業のカテゴリＩＤ、所定作業に対応する作業情報が記憶されている。溶接作業を例に取ると、例えば、人間が所定作業を行う際の一連の作業事項の一例として、”（ｎ)トーチの持ち方の確認、（ｎ＋１)溶接姿勢の確認、（ｎ＋２)目を放電の光から守る遮光フィルタを ON、（ｎ＋３)トーチのトリガを引いてアーク放電開始、（ｎ＋４)溶接池や進行方向など注目すべきところに注意を向ける、（ｎ＋５)部材に対するトーチの位置・距離を正しい範囲にする、（ｎ＋６)ちょうど良い速度で一定にトーチを動かす”という、作業手順に従って作業事項が記憶されている。なお、単なる手順でなく、作業事項は、作業のキーとなる事項の情報を含んでいる。

図４に示すように、伝達要素ＤＢ１２ｂは、各伝達要素を特定するための伝達要素ＩＤに関連付けられて、伝達要素、各感覚の適否の等を予め記憶する。例えば、伝達要素の伝達にする感覚を”１”とする。なお、”１”または”０”に限らず、重み付けや優先順位でもよい。伝達要素”位置”、”明るさ”は、人間の単一の感覚器官への入力によって人間に伝達したい情報の種類を示す単一感覚伝達要素の一例である。伝達要素”姿勢”、”速さ”、”振動”、”方向”等は、人間の複数の感覚器官への入力によって人間に伝達したい情報の種類を示す多感覚伝達要素の一例である。図４は、伝達要素毎に、どのような単一感覚や多感覚や認知が効果的かということを示している。

図５に示すように、キー部分ＤＢ１２ｃは、キー部分ＩＤに関連付けられて、キー部分と、関連特徴等を予め記憶する。関連特徴は、テキストの場合、キーワード、キーフレーズ、画像の場合は、特徴画像の特徴量、音の場合は、特徴音の情報である。溶接作業を例に取ると、キー部分は、所定作業を支援する際にキーとなる部分である。例えば、キー部分は、”持ち方の確認”、”溶接姿勢の確認”、”トリガの位置”、”トリガの引き方”、”溶接池”、”進行方向”、”注意を向ける”、”速度”、”一定に動かす”、”動かす”等である。

ここで、所定の作業が料理の場合、例えば、キー部分は、“包丁をｘｘ角度で入れる”、揚げ物の揚がり具合の場合、”きつね色”、” ぼこぼこという低い音から、ぱちぱちとした高い音になる”等がキー部分となる。

なお、例えば、キー部分”包丁をｘｘ角度で入れる”は、伝達要素“姿勢”や”方向”に対応する。キー部分”きつね色”は、伝達要素”色”等に対応する。キー部分”ぼこぼこという低い音から、ぱちぱちとした高い音になる”は、伝達要素は”音の高さ”等に対応する。さらに深層にある伝えたいことが”油の温度“の場合、”伝達要素”温度”でもよい。

作業情報に画像が含まれる場合、キー部分は、例えば、”溶接池”の特徴量でもよい。作業情報に音が含まれる場合、キー部分は、溶接がスムーズに進んでいるときの音声のスペクトルでもよい。キー部分は、”進行方向と、”注意を向ける”とが合わさった”進行方向に注意を向ける”というキーフレーズでもよい。

図６に示すように、キー部分－伝達要素ＤＢ１２ｄは、キー部分ＩＤに関連付けられて、伝達要素ＩＤを予め記憶する。なお、キー部分に対して、複数の伝達要素が割り当てられてもよい。例えば、キー部分が”進行方向に注意を向ける”の場合、伝達要素”方向”と伝達要素”注意”とが対応する。

出力部１３は、映像を出力の場合、例えば、液晶表示素子または有機ＥＬ（Electro Luminescence）素子等を有する。

入力部１４は、例えば、キーボードおよびマウス等を有する。

入出力インターフェース部１５は、通信部１１および記憶部１２等と制御部１６との間のインターフェース処理を行うようになっている。

制御部１６は、ＣＰＵ（Central Processing Unit）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ等を有する。そして、制御部１６は、ＣＰＵ１６ａが、ＲＯＭ１６ｂや記憶部１２に記憶された各種プログラムのコードを読み出し実行することにより、作業情報に対して情報処理を行う。

（１．３ コンテンツ装置２０の構成および機能）
次に、コンテンツ装置２０の構成および機能について、図７を用いて説明する。

図７は、コンテンツ装置２０の概要構成の一例を示すブロック図である。

図７に示すように、コンテンツ装置２０は、通信部２１と、記憶部２２と、出力部２３と、入力部２４と、入出力インターフェース部２５と、制御部２６と、を備えている。そして、制御部２６と入出力インターフェース部２５とは、システムバス２７を介して電気的に接続されている。

通信部２１は、ネットワークＮに電気的または電磁気的に接続して、情報処理装置１０、端末装置３０等との通信状態を制御するようになっている。

記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等により構成されている。記憶部２２は、また、記憶部２２は、オペレーティングシステムおよびサーバプログラム等の各種プログラムや各種ファイル等を記憶する。なお、各種プログラム等は、例えば、他のサーバ装置等からネットワークＮを介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。

また、記憶部２２には、作業支援用のコンテンツを記憶するコンテンツデータベース２２ａ（以下”コンテンツＤＢ２２ａ”とする。）等が構築されている。

出力部２３は、映像を出力の場合、例えば、液晶表示素子または有機ＥＬ素子等を有する。

入力部２４は、例えば、キーボードおよびマウス等を有する。

入出力インターフェース部２５は、通信部２１および記憶部２２等と制御部２６との間のインターフェース処理を行うようになっている。

制御部２６は、ＣＰＵ２６ａ、ＲＯＭ２６ｂ、ＲＡＭ２１６ｃ等を有する。そして、制御部２６は、ＣＰＵ２６ａが、ＲＯＭ２６ｂや記憶部２２に記憶された各種プログラムのコードを読み出し実行することにより、各端末装置３０にコンテンツを提供する。

［２ 情報処理装置１０の動作例）
情報処理装置１０の動作例について、図を用いて説明する。

図８は、一実施形態に係る情報処理装置の動作例を示すフローチャートである。図９は、伝達要素の遷移構造の一例を示す模式図である。図１０は、伝達要素の遷移構造図の一例を示す模式図である。

図８に示すように、情報処理装置１０は、作業事項を含む作業情報を取得する（ステップＳ１）。具体的には、情報処理装置１０の制御部１６が、作業情報ＤＢ１２ａから、所定作業に対応する作業ＩＤに基づき、作業情報を取得する。作業情報は、予め各各作業事項と、その作業事項の順番の情報とが明示的に含んでいてもよい。作業情報が動画の場合、作業事項毎にチャプターが割り当てられていてもよい。

次に、情報処理装置１０は、各作業事項からキー部分を抽出する（ステップＳ２）。具体的には、制御部１６が、キー部分ＤＢ１２ｃを参照して、キー部分と同一または類似の部分があるか、各作業事項を探索する。キー部分ＤＢ１２ｃのキー部分の関連特徴とのマッチングが行われる。制御部１６が、該当したキー部分のキー部分ＩＤを、作業事項毎に抽出する。

作業事項がテキストの場合、制御部１６が、各作業事項に対して形態素解析を行い、キー部分ＤＢ１２ｃのキーワードまたはキーフレーズとのマッチングを行う。制御部１６が、人工知能の機能により、各作業事項から、キーワード、キーフレーズに意味的に近い部分を抽出してもよい。作業事項が画像の場合、制御部１６が、画像処理や人工知能により、キー部分の関連特徴で検索して、適合するキー部分を抽出する。なお、キー部分を抽出する前に、制御部１６が、各作業事項を抽出してもよい。

例えば、ｎ番目の作業事項”トーチの持ち方の確認”の場合、制御部１６が、キー部分として”持ち方の確認”を抽出する。ｎ＋４番目の作業事項”溶接池や進行方向など注目すべきところに注意を向ける”の場合、制御部１６が、”溶接池”、”進行方向”、”注意を向ける”等のキーワードを抽出する。ｎ＋６番目の作業事項”の場合、制御部１６が、”速度”、”一定の速さで”、“ラインに沿って動かす”等のキーワードを抽出する。

次に、情報処理装置１０は、キー部分に応じて作業事項に伝達要素を割り当てる（ステップＳ３）。具体的には、制御部１６が、キー部分－伝達要素ＤＢ１２ｄを参照して、該当したキー部分のキー部分ＩＤに基づき、対応する伝達要素ＩＤから各作業事項に伝達要素を割り当てる。ｎ番目の作業事項には、伝達要素”姿勢”、ｎ＋１番目の作業事項には、伝達要素”姿勢”、ｎ＋２番目の作業事項には、伝達要素”注意”、ｎ＋３番目の作業事項には、伝達要素”位置”、ｎ＋４番目の作業事項には、伝達要素”位置”、”方向”、ｎ＋５番目の作業事項には、伝達要素”注意”、ｎ＋６番目の作業事項には、伝達要素”速さ”、軌跡”が割り当てられる。

なお、制御部１６が、キー部分”持ち方の確認”に対して伝達要素”姿勢”、キー部分”溶接池”に対して伝達要素”位置”、キー部分”進行方向”に対して伝達要素”方向”、キー部分”注意を向ける”に対して伝達要素”注意”、キー部分”速度”、”一定の速さで”に対して伝達要素”速度”、キー部分”ラインに沿って動かす”に対して伝達要素”軌跡”を対応させる。なお、制御部１６が、キー部分”進行方向に注意を向ける”に対して伝達要素”方向”および”注意”を対応させてもよい。

なお、キー部分は、所定の作業固有の特徴であることが多いので、キー部分は、伝達要素との繋ぎの役割がある。

次に、情報処理装置１０は、伝達要素の遷移構造を生成する（ステップＳ４）。図９に示すように、割り当てられた伝達要素を出力する出力手段の一例として、制御部１６が、作業事項の順序の一例の作業順序に対して伝達要素を割り当てた伝達要素の遷移構造を生成する。これは、所定作業における前記作業事項の順序に従って、伝達要素を順に並べた伝達要素の遷移を示す遷移構造の一例である。

また、図１０に示すように、制御部１６が、伝達要素ＤＢ１２ｂを参照して、伝達要素の伝達に適する感覚別に、作業順序に対して伝達要素を割り当てた伝達要素の遷移構造を生成してもよい。

次に、情報処理装置１０は、生成された遷移構造を分析する（ステップＳ５）。具体的には、割り当てられた伝達要素を出力する出力手段の一例として、制御部１６が、伝達要素間の関係性等に基づき、遷移構造を分析する。

例えば、図９に示すように、伝達要素が順に並ぶことで、所定作業の支援の流れが遷移構造として分析できる。

例えば、図９に示すように、同じ順序で複数の伝達要素があってもよい。具体的には、図９のn+6のように、ある軌跡に沿って、ある速度で操作するという作業であった場合、”速さ”と”軌跡”は、同時に伝達する必要がある。

例えば、図１０に示すように、伝達要素が順に並びや連なりの他に、複数の感覚器官に対する干渉、相乗効果等の伝達要素の関係性等が分析できる。さらに具体的には、例えば、図１０のn+6のように、ある軌跡に沿って、ある速度で操作するという作業であった場合、”速さ”と”軌跡”の伝達要素が、同時に並列した構造として分析される。この場合、例えば、図４から、”速さ”も”軌跡”も視覚を利用できることがわかるが、その２つの伝達要素を両方とも視覚表現として同時に呈示すると、干渉し、見にくくなってしまうと推定できる。図４から、”速さ”も”軌跡”も視覚と触覚が利用できることがわかるため、干渉を避けるためには、一方を触覚、もう一方を視覚に呈示するなどが有効であることがわかる。

このように、情報処理装置１０は、遷移構造において作業事項に対応する伝達要素に基づき、遷移構造を分析する分析手段の一例として機能する。

次に、情報処理装置１０は、支援技術を決定する（ステップＳ６）。割り当てられた伝達要素を出力する出力手段の一例として、制御部１６が、伝達要素の伝達に適する感覚に入力に適した支援技術を決定する。

例えば、伝達要素”姿勢”である場合、視覚だけでなく、体幹や腕の体性感覚を通して入力した方がよいので、仮想現実用のヘッドマウントディスプレイのみでなく、仮想現実用のジャケット等で体幹に作用した方が、姿勢に関する情報が人間に伝達しやすくなる。

伝達要素”方向”である場合、矢印等により視覚的に示し、”右へ”と聴覚的に指示し、触覚として振動で方向を与えると、方向に関する情報が人間に伝達しやすくなる。

このように、情報処理装置１０は、所定作業の分析の結果に基づき、感覚器官に作用して所定作業を支援する支援技術を決定する支援技術決定手段の一例として機能する。

次に、情報処理装置１０は、分析結果や、決定された支援技術に基づき、端末装置３０に提供するコンテンツを生成してもよい。情報処理装置１０は、生成したコンテンツをコンテンツ装置２０に送信する。コンテンツ装置２０は、コンテンツＤＢ２２ａに情報処理装置１０から送信されたコンテンツを記憶する。

なお、情報処理装置１０は、ニューラルネットワークの機能を有して、人工知能により、
作業情報取得手段、キー部分抽出手段、伝達要素割当手段、および、出力手段の機能を実現してもよい。大量の作業情報に機械学習を適用して、作業情報から伝達要素が出力するパラメータが決定される。ニューラルネットワークのある層により、キー部分抽出手段を実現して、キー部分が明示されなくても、情報処理装置１０は、作業事項に伝達要素を割り当てる。

以上説明したように、本実施形態によれば、人間が所定作業を行う際の一連の作業事項を含む作業情報から所定作業においてキーとなるキー部分を抽出して、抽出されたキー部分に応じて作業事項を、人間の感覚器官への入力により人間に伝達したい情報の種類を示す伝達要素により、統一的に表すことができるので、様々な作業をできるだけ共通した基準で扱うことができる。このため、作業を支援する仮想現実等の技術に必要な設計、機能、性能、仕様、コンテンツ等を比較したり、分析したり、評価したりが、よりしやすくなる。

所定作業において、作業事項を、キー部分を介して、伝達要素に割り当てるので、所定作業に依存されにくく、一般的に作業に関連することを評価しやすくなる。また、できるだけ共通した基準で扱えるので、利用価値が高まる。

伝達要素に集約されることにより、データベースの容量を節約することができ、伝達要素で分析、処理することにより、元の作業情報を処理するよりも、高速に作業や支援技術の評価ができる。また、一般的に異なる内容とされている所定作業も、その所定作業の中の個々の伝達要素や、作業の工程の中の、伝達要素で構成される一部の構造は、他の作業情報や支援技術と同じであることなどが分析できることで、既存の支援技術が他の作業にも応用できることやその評価に利用できる。さらに、そのようにして、様々な所定作業の支援技術を同じ形式で構造化し、再利用できる知識データベースとして蓄積していくことで、支援技術の分析、設計、評価等の精度を向上させていくことができる。

また、溶接等の”具体的な一連の作業”を、キー部分を仲介して、一般化した伝達要素に変換することで、有限個の一般的な作業の組み合わせと順序で、無限にある”具体的な一連の作業”に対応できるシステムの設計や開発や評価ができる。

例えば“溶接”と“料理”と“野球”と、”具体的な一連の作業”を表す言葉で言えば、全く異なる作業であり、全く別の支援設計や支援システムが必要そうだ、ということになり、そう考えると、無限にある作業に対して、それぞれに特化したシステムを作っていくことになる。また、“溶接”を細かい作業に分解するにしても、“トーチを持つ”とか、“溶接池部分に注目する”などと手順を分けるだけでは、一般化が難しくなる。

しかし、本願では、“溶接”をするのも“料理”や“野球”をするのも、人間である以上、その作業におけるキー部分として伝達すべきことは、受け取る人が受け取ることのできる有限種類の”要素”で伝達されている、という新しい発想を取り入れた。

例えば、“トーチを持つ”も“フライパンを持つ”も“バットを持つ”も、細かい作業に分解された状態ではあるが、伝達要素としては、まだ、分解できていない。“ｘｘを持つ”という作業は、”何をするの？（持つ）””何を持つの？””それはどこにあるの？””どこを持つの？””どういう持ち方？”ということが、伝達するべき情報と解される。

そして、その中の、”どこを持つの？”という情報も”どこにあるの？”という情報も、伝達すべき情報は、“位置”である。つまり、”正解の位置を正しく効率的に伝える”という伝達要素が、“トーチを持つ”“フライパンを持つ”“バットを持つ”の全てに共通して含まれる。

さらに、それら含まれる”具体的な一連の作業”である、“溶接”“料理”“野球”に、共通して含まれる伝達要素であるとも言える。

さらに、“ｘｘを持つ”という作業以外でも、”位置”が伝達要素であることも考えられる。例えば、“ｘｘ装置の操作”において、様々なボタンやスイッチの中から、あるボタンを押したい時には、そのボタンの”位置”を伝達する必要がある。このように、伝えるべきこと、”伝達要素”に分解し、その構造として全体の作業を分析すると、様々な全く異なるように見える作業が、共通伝達要素の異なる組み合わせとして一般化して表現できる。

そうすることで、例えば、伝達要素”位置”を効果的に伝える支援システムの設計や開発ができた場合、その支援システムは、“溶接”“料理”“野球”にも、“ｘｘ装置の操作”にも利用できる。

また、伝えるべき情報に合わせて、人が理解しやすい表現があるため、人に伝えるべき情報の単位としての伝達要素に分解して分析することで、その要素ごとに効果的な表現と対応させて設計、開発、評価等することが可能となる。

例えば、伝達要素“位置”は、空間情報であるので、聴覚情報や触覚情報として表現されると理解しにくい。

そうなると、ある作業の支援を行う際に、その作業を伝達要素に変換し、作業が伝達要素“位置”の伝達を含む場合、その作業支援システムには、視覚呈示できる機能が必要になると判定できる。さらに、位置を効果的に伝えるような視覚表現になっているかを、人間の視覚特性から評価することができる。

人間の視覚特性から、設計したシステムの伝達要素”位置”の伝達効率を評価することもでき、伝達要素”位置”の高伝達効率の表現方法やデバイス設計も可能となる。また、そのシステムが支援したい作業全体の構造の中で、伝達要素”位置”が、どのように、どのくらい多く、含まれるか、がわかることで、伝達要素”位置”の伝達効率が、作業全体の伝達効率にどう関係しているか、を推定・評価することもできる。

また、伝達要素が、人間の単一の感覚器官への入力によって人間に伝達したい情報の種類を示す単一感覚伝達要素の場合と、人間の複数の感覚器官への入力によって人間に伝達したい情報の種類を示す多感覚伝達要素の場合とがある。単一感覚伝達要素の場合、入力に適した感覚器官に入力することで、効果的に情報が伝達できる。入力に適した複数の感覚器官に入力することで、単一の感覚器官に入力するより効果的に情報が伝達できる。また、多感覚伝達要素の場合、いずれかの感覚器官を選択してもよい。

また、人間は、複数の感覚器官から入力された複数の情報の組み合わせによって、それぞれを単独で呈示した時とは異なる情報として理解することが知られている。そこで、作業の内容を伝達要素単位で分析し、それらの遷移構造を把握し、どのような情報がどのように組み合わせられているかを分析できることで、それらがどのように統合され、全体としてどのような情報として伝わるかを推定・評価することが可能になる。

また、情報処理装置１０は、所定作業における前記作業事項の順序に従って、伝達要素を順に並べた伝達要素の遷移を示す遷移構造を生成し、遷移構造において作業事項に対応する伝達要素に基づき、遷移構造を分析する。この場合、所定作業においてキーとなるキー部分が、感覚分類毎に伝達要素を順に並べた遷移構造に変換されて、できるだけ共通した基準で扱えるので、利用価値が高まる。また、遷移構造における伝達要素を通して、作業事項または作業事項のキー部分の同士の干渉性または相乗性を評価できるので、人間の作業に関する遷移構造をより分析、評価しやすくなる。また、人間の作業を時間の流れで、統一的または一般的に理解し、人間の作業に関する効果的な支援に必要なハードウェアやコンテンツ等のソフトウェアを推定できる可能性がある。

また、情報処理装置１０は、遷移構造の分析の結果に基づき、感覚器官に作用して所定作業を支援する支援技術を決定する。この場合、遷移構造の分析の結果に基づいた支援技術を決定することにより、作業において伝えたい情報を効率的に伝達する設計ができる。

なお、情報処理装置１０は、コンテンツ装置２０から、作業支援用のコンテンツを取得して、作業支援用のコンテンツの一連の作業事項からキー部分を抽出し、伝達要素を割り当ててもよい。情報処理装置１０は、既存の作業支援用のコンテンツに対して、伝達要素により、コンテンツを分析、評価ができる。

また、支援技術の評価として、伝達要素をどの感覚に対してどのような表現で支援するかは、１つの設計に限らない。また、１つの表現でも、仕様によってどの程度正確に伝えられるかは変わってくる。一方、対象とする所定作業が異なる場合でも、それを構成する伝達要素は同じである場合がある。

従って、所定作業を情報支援の要素として分析した結果に基づき、伝達先のモダリティの設計がどの程度有効であるかどうかを評価したり、予め伝達要素に対応させて用意しておいた、効果的で効率的な一般化した評価用のコンテンツにおいて、伝達要素毎に開発された支援技術を評価し、その全体として支援技術の設計と評価ができるようにしてもよい。

支援技術の評価のため、記憶部１２には、評価用コンテンツデータベースが構築されていてもよい。例えば、伝達要素毎の評価用コンテンツデータが記録されている。評価用コンテンツデータは２つの部分から構成される。一つは、その伝達要素を伝える必要がある課題が設定された課題コンテンツデータで、もう一つは、課題コンテンツに対する支援設計の評価データである。この評価データは、課題に対する支援設計とその伝達効果を、人の認知行動特性や実際のその課題での人の正解行動や正解反応やユーザの評価に基づいて、分析し、得点化したデータである。

一連の作業が伝達要素の構造として分析されると、伝達要素に対応した課題コンテンツデータと評価データを使って、伝達要素毎の作業支援技術の有効性を得点化することが可能になる。また、それによって、複数の伝達要素で構成される作業支援技術全体の有効性を総合得点化することが可能になる。

具体的な事例として、溶接支援技術を開発する時に、本願のシステムで、一連の溶接支援技術の中でトーチの持ち方を伝える必要があり、それは、伝達要素“姿勢”を伝える機能が必要であると分析される。評価用コンテンツデータベースには、伝達要素“姿勢”に対応した課題コンテンツデータがある。課題コンテンツは、例えば、バーチャル空間に棒のモデルがあり、それをある正解の持ち方で持つという抽象化一般化された課題コンテンツである。または、野球のバットを持つ課題のように、同じく伝達要素“姿勢”を伝える必要がある別の具体的な課題コンテンツでもよい。

そして、それに対して、人の認知行動特性や身体特性や実際のその課題と支援技術の具体例における持ち方の正確さやユーザの評価に基づいて、わかっている範囲で、どういう支援技術設計で、どの程度の誤差で持ち方が伝達できるか、といった評価データがある。

今、新たに書道の支援技術を評価したいとする。すると、本願の分析手段までを用いて、伝達要素“姿勢”が、一連の作業の一部に含まれていることがわかる。そこで、書道支援技術には、伝達要素“姿勢”の支援機能が必要であることがわかる。もしそれがなければ、書道支援技術を伝達要素に構造化した中での、その伝達要素の重要性に対応して評価得点が下がる。

また、伝達要素“姿勢”を支援する機能がある場合、そこで設計されている姿勢支援設計がどの程度有効であるか、評価用コンテンツデータベースにある課題コンテンツで評価する。つまり、課題コンテンツは“バットを持つ”や“棒を持つ”という書道以外の課題であるが、伝達要素“姿勢”を伝えるという観点では同じ支援技術が有効であることがわかっているため、具体的な部分が異なる課題であっても問題ない。

この課題コンテンツに対して、書道支援技術における支援方法がどの程度有効であるかを、評価用コンテンツデータベースにある評価データに基づいて、分析し、得点化する。例えば、書道支援技術における筆の持ち方の支援設計が、評価用コンテンツデータベースには無い新しい支援方法で、その有効性を知りたい場合、課題コンテンツに適用した結果を、評価データにすでに記録されている支援技術の有効性と比較することで、視覚的に持っている時の手のモデルを見せるという支援設計で伝達した場合の持ち方の正確さと、正しくない時に手に触覚刺激をして姿勢を誘導するという支援設計で伝達した場合の持ち方の正確さの、ちょうど中間程度の有効性であることがわかる。

一方、評価データに記録されている支援技術による支援のデータと同じ支援設計を使っている場合は、課題コンテンツで評価しなくても、評価デーアにある有効性と同程度の有効性であることが推定できる。

このようにして、伝達要素“姿勢”の評価の有効性が評価できる。同様にして、書道支援技術に含まれる伝達要素の評価をしていくことで、開発した、または、開発しようとしている技術の有効性を総合的に評価できる。

このように、情報処理装置１０は、前記所定作業の分析の結果に基づき、前記感覚器官に作用して前記所定作業を支援する支援技術を評価する支援技術評価手段の一例として機能する。

１・・・情報処理システム
１０・・・情報処理装置
２０・・・コンテンツ提供装置
３０・・・端末装置

Claims (7)

1. 人間が所定作業を行う際の一連の作業事項を含む作業情報を取得する作業情報取得手段と、
   前記所定作業においてキーとなるキー部分を予め記憶した記憶手段を参照して、前記キー部分と前記作業事項とをマッチングして、前記作業事項に適合するキー部分を、前記作業事項から抽出するキー部分抽出手段と、
   前記キー部分に応じて、前記人間の感覚器官を通して前記人間に伝達する情報の種類を示す少なくとも１つの伝達要素を、前記作業事項に割り当てる伝達要素割当手段と、
   前記所定作業における前記作業事項の順序に従って、前記伝達要素を順に並べた前記伝達要素の遷移を示す遷移構造を生成する遷移構造生成手段と、
   前記割り当てられた伝達要素および前記遷移構造を出力する出力手段と、
   を備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記伝達要素が、前記人間の単一の感覚器官を通して前記人間に伝達する情報の種類を示す単一感覚伝達要素の場合と、前記人間の複数の感覚器官を通して前記人間に伝達する情報の種類を示す多感覚伝達要素の場合とがあることを特徴とする情報処理装置。
3. 請求項１に記載の情報処理装置において、
   前記遷移構造において前記作業事項に対応する前記伝達要素に基づき、前記遷移構造を分析する分析手段を更に備えたことを特徴とする情報処理装置。
4. 請求項３に記載の情報処理装置において、
   前記遷移構造の分析の結果に基づき、前記感覚器官に作用して前記所定作業を支援する支援技術を決定する支援技術決定手段を更に備えたことを特徴とする情報処理装置。
5. 請求項３または請求項４に記載の情報処理装置において、
   前記所定作業の分析の結果に基づき、前記感覚器官に作用して前記所定作業を支援する支援技術を評価する支援技術評価手段を更に備えたことを特徴とする情報処理装置。
6. 作業情報取得手段が、人間が所定作業を行う際の一連の作業事項を含む作業情報を取得する作業情報取得ステップと、
   キー部分抽出手段が、前記所定作業においてキーとなるキー部分を予め記憶した記憶手段を参照して、前記キー部分と前記作業事項とをマッチングして、前記作業事項に適合するキー部分を、前記作業事項から抽出するキー部分抽出ステップと、
   伝達要素割当手段が、前記キー部分に応じて、前記人間の感覚器官を通して前記人間に伝達する情報の種類を示す少なくとも１つの伝達要素を、前記作業事項に割り当てる伝達要素割当ステップと、
   前記所定作業における前記作業事項の順序に従って、前記伝達要素を順に並べた前記伝達要素の遷移を示す遷移構造を生成する遷移構造生成ステップと、
   出力手段が、前記割り当てられた伝達要素および前記遷移構造を出力する出力ステップと、
   を含むことを特徴とする情報処理方法。
7. コンピュータを、
   人間が所定作業を行う際の一連の作業事項を含む作業情報を取得する作業情報取得手段、
   前記所定作業においてキーとなるキー部分を予め記憶した記憶手段を参照して、前記キー部分と前記作業事項とをマッチングして、前記作業事項に適合するキー部分を、前記作業事項から抽出するキー部分抽出手段、
   前記キー部分に応じて、前記人間の感覚器官を通して前記人間に伝達する情報の種類を示す少なくとも１つの伝達要素を、前記作業事項に割り当てる伝達要素割当手段、
   前記所定作業における前記作業事項の順序に従って、前記伝達要素を順に並べた前記伝達要素の遷移を示す遷移構造を生成する遷移構造生成手段、および、
   前記割り当てられた伝達要素および前記遷移構造を出力する出力手段として機能させることを特徴とする情報処理装置用のプログラム。

Images