JP7052062B2 - ナレッジ情報抽出システムおよびナレッジ情報抽出方法 - Google Patents

Description

本発明は、ナレッジ情報抽出システムおよびナレッジ情報抽出方法に関する。なお、本明細書では、各種装置に対する保守、点検等の各種作業において、その作業に熟練した作業者（熟練者）が身に付けている有用な技能（スキル）、知識等の情報をナレッジ情報と呼ぶ。

従来、各種装置に対して保守、点検等の各種作業が行われている。こうした作業を行う作業者の中でも、その作業に熟練した熟練者は、長年にわたってその作業を行ってきた経験からミスや事故を起こさずに手際よくかつ短時間に作業を行うための様々な技能や知識等を身に付けている。

多数の作業者を抱える企業は、こうした熟練者の技能や知識等の情報をナレッジ情報として蓄積し、他の作業者を訓練してナレッジ情報を継承させることで、企業として適切かつ効率的な作業を常に実施できるようにする必要がある。

一方、昨今、労働生産人口の減少、高齢化による熟練作業者の大量リタイア、作業者のグローバル化、短期間就労者の増加等が社会的問題となっている。これらの社会的な問題により、熟練者が身に付けている技能、知識等が他の作業者へ継承されることなく消失してしまい、ミスや事故の増加、作業の不均一化等が起こることが危惧されている。

このような昨今の状況を考慮して、熟練者が身に付けている技能、知識等の様々な情報をナレッジ情報として効率良くかつ確実に蓄積できる新たな技術の開発が求められている。

特許文献１には、作業者の作業内容を記録した操作履歴や作業者が知覚することができる知覚情報等の様々なビッグデータを蓄積するとともに、作業者を育成するための育成情報を生成する際には、ビッグデータを解析して、作業者が作業実施時に作業内容を判断したときの判断ロジックを生成し、生成した判断ロジックから作業者のスキルレベルに応じたスキル別ソリューションを生成して出力する作業者育成装置が開示されている。

特開２０１８－１３２５５６号公報

しかしながら、特許文献１の開示技術によれば、蓄積されたビッグデータを解析することで、どのような知覚情報に基づいて作業が行われているかを示すソリューションを、支援対象の作業者のスキル別に生成できるものの、ソリューションを生成するためにはその都度ビッグデータの解析が必要となるという課題がある。すなわち、特許文献１の開示技術では、熟練者のナレッジ情報を抽出して、企業の資産として次世代へ継承可能となるよう適切に管理することは考慮されていない。

本発明は、上述のような課題を解決するためになされたものであり、適切に管理および編集可能な状態となるよう熟練者のナレッジ情報を抽出することができるナレッジ情報抽出システムおよびナレッジ情報抽出方法を提供することを目的とする。

本発明のナレッジ情報抽出システム（１）は、上記目的を達成するため、（１）作業実施者が実施する作業の映像を取得する作業映像取得装置（１１）と、
前記作業実施者および前記作業を観察する観察者の少なくとも一方が前記作業に関して発話した発話音声を取得する作業音声取得装置（１２）と、
前記作業映像取得装置により取得した前記作業の映像および前記作業音声取得装置により取得した前記発話音声を、それぞれ作業映像データおよび作業音声データとして記録する作業行動記録データベース（３１）と、
前記作業実施者および前記観察者の少なくとも一方が前記作業に熟知している熟練者であって、前記作業行動記録データベースに記録された前記作業映像データおよび前記作業音声データに基づき、前記作業について前記熟練者が熟知している情報をナレッジ情報として抽出および編集するナレッジ情報抽出編集装置（４０）と、
前記ナレッジ情報抽出編集装置により抽出された前記ナレッジ情報を記録するナレッジ情報データベース（３２）と、を備えており、
前記ナレッジ情報抽出編集装置は、前記作業映像データおよび前記作業音声データから前記ナレッジ情報を抽出または編集するユーザ操作を可能にする抽出編集処理部と、前記抽出編集処理部で用いられるグラフィカルユーザインタフェースを表示する表示部と、前記グラフィカルユーザインタフェースにおける前記ユーザ操作を可能にする操作入力部とを備え、
前記グラフィカルユーザインタフェースは、前記作業映像データに係る映像を表示する領域と、前記ユーザ操作により編集可能な状態で前記ナレッジ情報を表示する領域と、前記作業映像データおよび前記作業音声データの再生位置を指定するためのタイムラインを表示する領域と、を有することを特徴とする。

この構成により、適切に管理および編集可能な状態となるよう熟練者のナレッジ情報を抽出することができるようになる。その結果、企業の資産として次世代へ継承可能となるようナレッジ情報を効率良く管理および利用することで、ナレッジ情報の消失による生産性の低下や作業レベルの不均一化を抑えるとともに、作業におけるミスや事故等の発生を防ぐことができるようになる。また、この構成により、作業を記録した映像および音声からナレッジ情報を抽出または編集するためのグラフィカルユーザインタフェースを提供することができ、ユーザはナレッジ情報の抽出作業や追加、変更等の編集作業を容易に行えるようになる。

本発明のナレッジ情報抽出システムにおいて、（２）前記ナレッジ情報抽出編集装置は、前記作業に関する内容を含む音声に基づいて、前記作業映像データおよび前記作業音声データを要素作業に分割するように構成されていてもよい。

この構成により、長時間の作業であっても適当な所要時間の要素作業に分割することで、要素作業ごとにナレッジ情報を管理できるようになる。

本発明のナレッジ情報抽出システムにおいて、（３）前記ナレッジ情報抽出編集装置は、前記作業音声データをテキストデータに変換する音声認識処理部（４４）を備え、前記音声認識処理部により得られた前記テキストデータから前記作業に関するナレッジ情報を抽出するように構成されていてもよい。

この構成により、作業を記録した音声からナレッジ情報の抽出を容易に行えるようになる。

本発明のナレッジ情報抽出システムにおいて、（４）前記ナレッジ情報抽出編集装置は、同一作業に関する複数の熟練者に係るナレッジ情報を抽出し、前記複数の熟練者のナレッジ情報を統合した統合ナレッジ情報を生成するように構成されていてもよい。

この構成により、個々の熟練者に依存した属人的な技能や知識等を統合し、統合ナレッジ情報として管理できるようになる。

本発明のナレッジ情報抽出システムにおいて、（５）所定の作業中に発生する条件に応じて複数の分岐作業が存在する場合には、前記作業映像取得装置および前記作業音声取得装置が、各分岐作業の映像および音声を取得して、前記作業行動記録データベースが、前記各分岐作業の分岐作業映像データおよび分岐作業音声データとして記録し、
前記ナレッジ情報抽出編集装置は、前記各分岐作業の前記分岐作業映像データおよび分岐作業音声データから、前記各分岐作業について前記熟練者が熟知している情報をナレッジ情報として抽出し、前記所定の作業に関するナレッジ情報に前記各分岐作業のナレッジ情報を追加するように構成されていてもよい。

この構成により、所定の作業中に発生する条件に応じて作業が分岐する場合であっても、当該ナレッジ情報に、各分岐作業の作業内容に係るナレッジ情報を抽出し、所定の作業に関するナレッジ情報に追加して管理できるようになる。

本発明のナレッジ情報抽出システムにおいて、（６）前記ナレッジ情報抽出編集装置は、前記作業の作業項目、作業内容、作業順番、作業時間を前記ナレッジ情報として抽出するように構成されていてもよい。

この構成により、作業の作業項目、作業内容、作業順番、作業時間をナレッジ情報として抽出および管理できるようになる。

本発明のナレッジ情報抽出システムにおいて、（７）前記ナレッジ情報抽出編集装置は、前記作業において注意すべきポイントを前記ナレッジ情報として抽出するように構成されていてもよい。

この構成により、さらに、作業において注意すべきポイントをナレッジ情報として抽出および管理できるようになる。

本発明のナレッジ情報抽出システムにおいて、（８）前記作業映像取得装置は、前記作業実施者としての熟練者が実施する作業の映像を前記作業実施者の目線で撮影し、前記作業音声取得装置は、前記作業中の前記熟練者の発話音声を収音するように構成されていてもよい。

この構成により、例えば、熟練者がマイク付きカメラを装着した状態で作業を行うことで、熟練者が実際に単独で実施した作業の映像および音声を記録できるようになる。

本発明のナレッジ情報抽出システムにおいて、（９）前記作業映像取得装置は、前記作業実施者としての熟練者が実施する作業の映像を前記作業実施者を観察する観察者の目線で撮影し、前記作業音声取得装置は、前記熟練者と前記観察者との会話音声を収音するように構成されていてもよい。

この構成により、例えば、熟練者が実施している作業の様子を、その傍に居る観察者が映像として記録できるようになるとともに、観察者が作業内容について熟練者に適宜質問する会話を音声として記録できるようになり、熟練者にマイク付きカメラ等を装着させることなく作業の映像および音声を記録できるようになる。

本発明のナレッジ情報抽出システムにおいて、（１０）前記作業映像取得装置は、前記作業実施者が実施する作業の映像を前記作業実施者の目線で撮影し、前記作業音声取得装置は、前記作業実施者と前記作業を指導する熟練者との会話音声を収音するように構成されていてもよい。

この構成により、例えば、作業実施者がカメラを装着した状態で作業を行って作業の映像を記録できるようになるとともに、熟練者が、ＯＪＴ（オン・ザ・ジョブ・トレーニング）の要領で作業実施者による作業を指導し、作業実施者と熟練者との会話音声を記録できるようになる。

本発明のナレッジ情報抽出システムにおいて、（１１）前記熟練者は、前記作業映像取得装置により取得した前記作業の映像をネットワークを通じて確認し、前記ネットワークを通じて前記作業実施者と会話するようにしてもよい。

この構成により、作業実施者と熟練者とが離れた場所に居る場合であっても、熟練者が、作業実施者による作業に対して遠隔指導を行い、遠隔指導における作業実施者と熟練者との会話音声を記録できるようになる。

本発明のナレッジ情報抽出システムにおいて、（１２）前記作業音声取得装置は、作業に関する第三者からの質問に対して前記熟練者が回答する発話音声を収音するように構成されていてもよい。

この構成により、第三者が熟練者に質問することで聞き出した熟練者が熟知している情報を含む熟練者の発話音声を記録できるようになる。

本発明のナレッジ情報抽出システムにおいて、（１３）前記作業音声取得装置は、前記作業前または前記作業後に前記熟練者が前記作業に関して発話した発話音声を収音するように構成されていてもよい。

この構成により、作業前または作業後に、例えば、熟練者に対して作業についてインタビューを行うことで、インタビューにおいて熟練者が作業内容に関して発話した発話音声を記録できるようになる。

本発明のナレッジ情報抽出システムにおいて、（１４）作業時に前記作業実施者が知覚する知覚情報を検知する知覚情報検知装置（１３）を備え、
前記作業行動記録データベースは、前記作業映像データおよび前記作業音声データに加えて、前記知覚情報検知装置で検知された知覚情報を知覚データとして記録し、
前記ナレッジ情報抽出編集装置は、前記作業映像データおよび前記作業音声データに加えて、前記知覚データに基づき、前記熟練者が熟知している情報を前記ナレッジ情報として抽出するように構成されていてもよい。

この構成により、作業実施者が五感により知覚する知覚情報を検知して知覚データとして記録できるようになり、当該知覚データに基づくナレッジ情報を抽出できるようになる。

本発明のナレッジ情報抽出システムにおいて、（１５）前記ナレッジ情報データベースに記録された前記ナレッジ情報に基づき、前記作業に関する作業マニュアルを生成する作業マニュアル生成装置（５０）を備えていてもよい。

この構成により、蓄積されたナレッジ情報に基づき、作業の流れや注意点等を纏めた作業マニュアルを容易に生成できるようになる。

本発明のナレッジ情報抽出システムにおいて、（１６）前記ナレッジ情報データベースに記録された前記ナレッジ情報に基づき、作業者により実施される前記作業を支援するための作業誘導コンテンツを生成する作業誘導コンテンツ生成装置（６０）を備えていてもよい。

この構成により、蓄積されたナレッジ情報に基づき、作業者により実施される作業を支援するための作業誘導コンテンツを容易に生成できるようになる。

本発明のナレッジ情報抽出システムにおいて、（１７）前記作業誘導コンテンツ生成装置は、前記作業を支援する支援対象の前記作業者のスキルに応じた前記作業誘導コンテンツを生成するように構成されていてもよい。

この構成により、蓄積されたナレッジ情報に基づき、作業者のスキルに応じた適切な作業誘導コンテンツを容易に生成できるようになる。

本発明のナレッジ情報抽出システムにおいて、（１８）前記ナレッジ情報抽出編集装置は、前記作業誘導コンテンツを用いて前記作業を実際に支援した際に発生した不明点を解消するよう前記ナレッジ情報を更新するように構成されていてもよい。

この構成により、実際に作業支援を行った際に見つかった不明点をフィードバックすることで、ナレッジ情報を改善できるようになる。

本発明のナレッジ情報抽出方法は、上記目的を達成するため、（１９）複数のコンピュータにそれぞれ実装されたプロセッサにより実行されるナレッジ情報抽出方法であって、
前記プロセッサが、作業実施者が実施する作業の映像を取得する作業映像取得ステップと、
前記プロセッサが、前記作業実施者および前記作業を観察する観察者の少なくとも一方が前記作業に関して発話した発話音声を取得する作業音声取得ステップと、
前記プロセッサが、前記作業映像取得ステップで取得した前記作業の映像および前記作業音声取得ステップで取得した前記発話音声を、それぞれ作業映像データおよび作業音声データとして作業行動記録データベース（３１）に記録する作業行動情報記録ステップと、
前記プロセッサが、前記作業実施者および前記観察者の少なくとも一方が前記作業に熟知している熟練者であって、前記作業行動情報記録ステップで記録した前記作業映像データおよび前記作業音声データに基づき、前記作業について前記熟練者が熟知している情報をナレッジ情報として抽出するナレッジ情報抽出編集ステップと、
前記プロセッサが、前記ナレッジ情報抽出編集ステップで抽出した前記ナレッジ情報をナレッジ情報データベース（３２）に記録するナレッジ情報記録ステップと、を有しており、
前記ナレッジ情報抽出編集ステップにおいて、前記作業映像データおよび前記作業音声データから前記ナレッジ情報を抽出または編集するユーザ操作を可能にする抽出編集処理と、前記抽出編集処理で用いられるグラフィカルユーザインタフェースを表示部に表示する表示処理と、前記グラフィカルユーザインタフェースにおいて操作入力部を用いた前記ユーザ操作を可能にする操作入力処理とが実行され、
前記グラフィカルユーザインタフェースは、前記作業映像データに係る映像を表示する領域と、前記ユーザ操作により編集可能な状態で前記ナレッジ情報を表示する領域と、前記作業映像データおよび前記作業音声データの再生位置を指定するためのタイムラインを表示する領域と、を有することを特徴とする。

この動作により、適切に管理および編集可能な状態となるよう熟練者のナレッジ情報を抽出することができるようになる。その結果、企業の資産として次世代へ継承可能となるようナレッジ情報を効率良く管理および利用することで、ナレッジ情報の消失による生産性の低下や作業レベルの不均一化を抑えるとともに、作業におけるミスや事故等の発生を防ぐことができるようになる。

本発明によれば、適切に管理および編集可能な状態となるよう熟練者のナレッジ情報を抽出することができるようになり、企業の資産として次世代へ継承可能となるようナレッジ情報を効率良く管理および利用することで、ナレッジ情報の消失による生産性の低下や作業レベルの不均一化を抑えるとともに、作業におけるミスや事故等の発生を防ぐことができるようになる。

本発明の実施形態に係るナレッジ情報抽出システムの構成の一例を示す構成図である。 本実施形態における作業者端末の構成の一例を示す構成図である。 本実施形態に係るデータベース管理サーバの構成の一例を示す構成図である。 本実施形態に係るナレッジ情報抽出編集装置の構成の一例を示す構成図である。 本実施形態に係る作業マニュアル生成装置の構成の一例を示す構成図である。 本実施形態に係る作業誘導コンテンツ生成装置の構成の一例を示す構成図である。 本実施形態に係る処理の概要を示すフローチャートである。 本実施形態に係る作業記録方法の一例として、熟練者目線で映像を取得する方法を示す図である。 本実施形態における熟練者目線の撮影方法における映像および音声の取得に関する具体的な事例を示す。 本実施形態に係る作業記録方法の一例として、観察者目線で映像を取得する方法を示す図である。 本実施形態に係る作業記録方法の一例として、ＯＪＴにおける作業者目線で映像を取得する方法を示す図である。 本実施形態に係る作業記録方法の一例として、遠隔ＯＪＴにおける作業者目線で映像を取得する方法を実現するための構成を示す構成図である。 本実施形態において、ヒアリング形式により熟練者から作業に関する情報を聞き出す方法が実施された具体的な事例を示す図である。 本実施形態に係る作業行動記録データベースのデータ構造の一例を示す図である。 本実施形態に係るナレッジ情報の抽出および編集の処理を示すフローチャートである。 本実施形態に係るナレッジ情報データベースのデータ構造の一例を示す図である。 本実施形態に係るナレッジ情報の抽出作業および編集作業に用いられるＧＵＩの一例を示す図である。 本実施形態において、複数の熟練者の作業を表示するＧＵＩの一例を示す図である 本実施形態において、ユーザが作業の順番を定義できるようにするためのＧＵＩの一例を示す図である。

以下、本発明の実施形態に係るナレッジ情報抽出システムおよびナレッジ情報抽出方法について、図面を参照しながら説明する。

本実施形態に係るナレッジ情報抽出システムは、各種装置に対する保守、点検等の各種作業における技能、知識等の情報を抽出して記録および管理するシステムである。このような作業においては、その作業に熟練した熟練者と呼ばれる作業者が存在することがある。熟練者は、長年にわたってその作業を行ってきた経験を有し、ミスや事故を起こさずに手際よくかつ短時間に作業を行うための様々な技能や知識等を身に付けている。本実施形態に係るナレッジ情報抽出システムは、熟練者が身に付けている有用な技能、知識等の情報をナレッジ情報として抽出し、ナレッジ情報を適切に管理するように構成されている。なお、ナレッジ情報の抽出対象である作業は、保守・点検作業に限定されず、作業現場で行われるどのような作業であってもよい。

図１は、本発明の実施形態に係るナレッジ情報抽出システム１の構成の一例を示す構成図である。図１に示すように、ナレッジ情報抽出システム１は、作業者端末１０とデータベース管理サーバ３０とを備えており、有線または無線により相互に接続されている。作業者端末１０およびデータベース管理サーバ３０の接続形態は特に限定されるものではなく、例えばインターネットやＬＡＮ（ローカルエリアネットワーク）等の任意のネットワーク５を介して接続されてもよく、ケーブル等により直接接続されてもよい。

作業者端末１０には、作業映像取得装置（例えば、カメラ）１１、作業音声取得装置（例えば、マイク）１２、各種センサ（知覚情報検知装置）１３が有線あるいは近接無線により接続されている。データベース管理サーバ３０には、作業行動記録データベース（作業行動記録ＤＢ）３１、ナレッジ情報データベース（ナレッジ情報ＤＢ）３２が接続されている。

さらに、データベース管理サーバ３０には、ナレッジ情報抽出編集装置４０、作業マニュアル生成装置５０、作業誘導コンテンツ生成装置６０等の様々な装置が接続されている。図１には、特に、ナレッジ情報抽出編集装置４０に表示装置４１、音声出力装置４２、および操作入力装置４３が接続されている構成が図示されている。

（作業者端末）
まず、作業者端末１０について説明する。作業者端末１０は、作業現場に配置された撮影機能および録音機能を有する端末であり、例えば、スマートフォン、タブレット端末、ＨＭＤ（ヘッドマウントディスプレイ）、ＰＣ（パーソナルコンピュータ）、カムコーダ等である。作業者端末１０には、カメラ等の撮影機能を有する作業映像取得装置１１、マイク等の収音機能を有する作業音声取得装置１２、各種センサ１３が接続されている。

作業映像取得装置１１は、例えばカメラであり、作業現場で実際に実施される作業の様子を撮影する機能、すなわち作業時の映像を取得する機能を有する。なお、複数の作業映像取得装置１１を設けて作業者による作業の様子を撮影してもよい。

作業音声取得装置１２は、例えばマイクであり、作業現場における様々な音、特に作業者が発話する発話音声や作業者とその周辺の人物とが会話する会話音声を収音する機能、すなわち作業時の音声を取得する機能を有する。なお、作業音声取得装置１２は、作業現場に居る人物の発話音声や会話音声を収音するだけではなく、例えば作業対象の装置や部品、工具から発生する様々な音を収音してもよい。また、複数の作業音声取得装置１２を設けて作業者およびその他の人物の音声や作業現場における様々な音を収音してもよい。

各種センサ１３は、作業現場における様々な状態を検知する１つ又は複数のセンサである。各種センサ１３は、作業現場で作業を実施している作業者が五感により感覚的に知覚する様々な知覚情報を検知する機能を有する。

各種センサ１３には、例えば、作業現場における匂いを検知する匂いセンサ、作業者の動作、指先の感覚、指先の圧力等を検知する身体センサ、作業者が感じる振動を検知する振動センサ、作業現場の温度や作業対象の装置や部品等の温度を検知する温度センサ、作業現場の湿度を検知する湿度センサ、味覚センサ等が含まれる。

各種センサ１３は任意選択的に実装可能な構成要素であり、必ずしも作業者端末１０に各種センサ１３が接続されている必要はない。各種センサ１３で検知される知覚情報は、作業中に記録された映像および音声に基づいて抽出される熟練者のナレッジ情報に、作業者が感覚的に知覚する情報を付加するために用いられるものであり、これにより、より詳細なナレッジ情報を蓄積できるようになる。

図２は、本実施形態における作業者端末１０の構成の一例を示す構成図である。図２に示すように、作業者端末１０は、映像取得部１１ａ、音声取得部１２ａ、センサ接続部１３ａ、制御部１４、各種処理プログラムを格納したメモリ１５、ストレージ１６、通信部１７、ユーザインタフェース接続部（ＵＩ接続部）１８、電源供給部１９を備え、それらがバス２０を介して相互に接続されている。

映像取得部１１ａは、作業映像取得装置１１と接続して、作業映像取得装置１１により撮影された作業時の映像を作業映像取得装置１１から取得できるように構成されている。

音声取得部１２ａは、作業音声取得装置１２と接続して、作業音声取得装置１２により収音された作業時の音声を作業音声取得装置１２から取得できるように構成されている。

センサ接続部１３ａは、各種センサ１３と接続して、各種センサ１３により検知された知覚情報を各種センサ１３から取得できるように構成されている。

制御部１４は、作業者端末１０における様々な動作を処理および制御するハードウェアであり、例えばメモリ１５に記憶された各種処理プログラムに記述された様々な命令を実行して、作業者端末１０における様々な機能を実現および制御するプロセッサである。制御部１４は、例えば汎用的なデータ処理を行うＣＰＵ（中央演算処理装置）、特定の目的に特化したデータ処理を行うＤＳＰ（デジタル信号プロセッサ）またはＧＰＵ（グラフィックスプロセッシングユニット）等であってもよく、設計自由度の高いＦＰＧＡ（フィールドプログラマブルゲートアレイ）等であってもよい。

メモリ１５は、制御部１４により実行される各種処理プログラムを記憶する記憶媒体である。メモリ１５には、例えば、映像記録プログラム１５ａ、音声記録プログラム１５ｂ、知覚情報記録プログラム１５ｃ、情報送受信プログラム１５ｄが格納されているが、これらの処理プログラムに限定されるものではなく、その他のアプリケーションプログラムやシステムプログラム等、様々な処理プログラムが格納されてもよい。メモリ１５に格納されている各種処理プログラムが制御部１４により実行されることで、作業者端末１０において、各種処理プログラムに記述された処理機能が実現できるようになっている。

制御部１４により映像記録プログラム１５ａが実行された場合には、作業者端末１０において、映像取得部１１ａを駆動、制御して作業映像取得装置１１から作業時の映像を取得し、映像データとしてストレージ１６に記録（録画）する処理機能が実現される。この映像は、作業中に作業者がどのような行動を行ったか、作業対象の装置や部品がどのような操作を受けたのか等を、ナレッジ情報抽出時に確認できるように記録されるものである。作業時の映像は動画であることが望ましいが、静止画であってもよい。作業映像取得装置１１から取得した作業時の映像は、時間情報（時刻、開始時からの経過時間等）と対応付けられてストレージ１６に格納される。

制御部１４により音声記録プログラム１５ｂが実行された場合には、作業者端末１０において、音声取得部１２ａを駆動、制御して作業音声取得装置１２から作業時の音声を取得し、音声データとしてストレージ１６に記録（録音）する処理機能が実現される。この音声は、作業に関する内容を含む熟練者の発話、作業対象の装置や部品から発生する様々な音等を、ナレッジ情報抽出時に確認できるように記録されるものである。作業音声取得装置１２から取得した作業時の音声は、時間情報（時刻、開始時からの経過時間等）と対応付けられてストレージ１６に格納される。

なお、映像データおよび音声データの圧縮形式や符号化形式は特に限定されるものではない。また、映像データおよび音声データは１つのマルチメディアファイルに格納されてもよく、それぞれ異なるファイルに格納されてもよい。

制御部１４により知覚情報記録プログラム１５ｃが実行された場合には、作業者端末１０において、センサ接続部１３ａを介して各種センサ１３から作業時の知覚情報を取得し、知覚データとしてストレージ１６に記録する処理機能が実現される。各種センサ１３から取得した作業時の知覚情報は、時間情報（時刻、開始時からの経過時間等）と対応付けられてストレージ１６に格納される。

制御部１４により情報送受信プログラム１５ｄが実行された場合には、作業者端末１０において、通信部１７を駆動、制御してネットワーク５に接続された他の通信装置と情報を送受する処理機能が実現される。本実施形態では、情報送受信プログラム１５ｄの実行により、ストレージ１６に格納されている映像データ、音声データ、知覚データがデータベース管理サーバ３０へ送信される。

ストレージ１６は、様々なデータを格納することが可能な補助記憶装置であり、例えば、ＨＤＤ（ハードディスクドライブ）等の磁気ディスク、ＳＳＤ（ソリッドステートディスク）等の半導体メモリ、光磁気ディスク、光ディスクである。ストレージ１６は、作業者端末１０に内蔵された記録媒体であってもよく、作業者端末１０から取り外し可能な可搬記録媒体であってもよい。本実施形態では、映像データ、音声データ、知覚データがストレージ１６に格納されるが、これらのデータに限定されるものではなく、その他の様々なデータがストレージ１６に格納されてもよい。なお、本明細書では、映像データ、音声データ、知覚データ、写真データ等の作業の様子を記録したデータを総称して作業行動記録データと記載することがある。

通信部１７は、ネットワーク５に接続された他の通信装置、特にデータベース管理サーバ３０と通信を行うように構成されている。通信部１７で行われる通信に採用される通信規格や通信方式は、特に限定されるものではない。

ユーザインタフェース接続部１８は、ユーザからの情報入力およびユーザへの情報出力を可能にするユーザインタフェースが接続可能な構成を表している。図示省略されているが、ユーザインタフェース接続部１８には、例えば、情報を表示するモニタ等の表示装置、音声を出力するイヤホンやスピーカ等の音声出力装置、ユーザ入力を可能にするマウス、キーボード、操作スイッチ等の操作入力装置を始めとして様々なユーザインタフェース装置が接続される。ユーザは、ユーザインタフェース接続部１８に接続された様々なユーザインタフェース装置を用いて、作業者端末１０において処理される様々な情報を確認しながら、所望の指示を入力して作業者端末１０を操作できるようになっている。

電源供給部１９は、作業者端末１０を駆動するために必要な電力を供給するようになっている。

なお、本実施形態では、作業時に記録された作業行動記録データがストレージ１６に格納された後、ネットワーク５を通じてデータベース管理サーバ３０へ送信されるように構成されているが、この構成に限定されるものではない。例えば、作業時の映像、音声、知覚情報がファイルとしてストレージ１６に格納されることなくデータベース管理サーバ３０へリアルタイムにストリーミングされ、データベース管理サーバ３０でファイル形式の映像データ、音声データ、知覚データに加工されてもよい。

また、作業行動記録データが格納されたストレージ１６を作業者端末１０から取り外してデータベース管理サーバ３０まで運ぶことで、ネットワーク５を通じたデータ伝送を行うことなく作業者端末１０からデータベース管理サーバ３０へ作業行動記録データを移動させてもよい。

（データベース管理サーバ）
次に、データベース管理サーバ３０について説明する。データベース管理サーバ３０は、データベースの構築、運用、管理を行うためのサーバである。本実施形態に係るデータベース管理サーバ３０は、ナレッジ情報抽出編集装置４０と協働して、作業行動記録データベース（作業行動記録ＤＢ）３１やナレッジ情報データベース（ナレッジ情報ＤＢ）３２の構築、運用、管理を行う機能を有する。

図３は、本実施形態に係るデータベース管理サーバ３０の構成の一例を示す構成図である。図３に示すように、データベース管理サーバ３０は、制御部３０１、通信部３０２、ストレージ３０３、データベース接続部（ＤＢ接続部）３０４、各種処理プログラムを格納したメモリ３０５、ユーザインタフェース接続部（ＵＩ接続部）３０６、外部装置接続部３０７、認証部３０８、電源供給部３０９を備え、それらがバス３１０を介して相互に接続されている。

制御部３０１は、データベース管理サーバ３０における様々な動作を処理および制御するハードウェアであり、例えばメモリ３０５に記憶された各種処理プログラムに記述された様々な命令を実行して、データベース管理サーバ３０における様々な機能を実現および制御するプロセッサである。制御部３０１は、例えば汎用的なデータ処理を行うＣＰＵ（中央演算処理装置）、特定の目的に特化したデータ処理を行うＤＳＰ（デジタル信号プロセッサ）またはＧＰＵ（グラフィックスプロセッシングユニット）等であってもよく、設計自由度の高いＦＰＧＡ（フィールドプログラマブルゲートアレイ）等であってもよい。

通信部３０２は、ネットワーク５に接続された他の通信装置、特に作業者端末１０と通信を行うように構成されている。通信部３０２で行われる通信に採用される通信規格や通信方式は、特に限定されるものではない。

ストレージ３０３は、様々なデータを格納することが可能な補助記憶装置であり、例えば、ＨＤＤ（ハードディスクドライブ）等の磁気ディスク、ＳＳＤ（ソリッドステートディスク）等の半導体メモリ、光磁気ディスク、光ディスクである。ストレージ１６は、データベース管理サーバ３０に内蔵された記録媒体であってもよく、データベース管理サーバ３０から取り外し可能な可搬記録媒体であってもよい。本実施形態では、ストレージ３０３は、作業者端末１０から受信した映像データ、音声データ、知覚データの格納に用いられるが、その他の様々なデータがストレージ３０３に格納されてもよい。

データベース接続部３０４は、データベースへのアクセスを可能にするデータベースインタフェースを表している。データベース接続部３０４は、作業行動記録データベース３１やナレッジ情報データベース３２を格納した情報記憶装置と接続して、データベースへのデータ書き込み／読み出しを行う機能を有する。なお、図１および図３には、作業行動記録データベース３１やナレッジ情報データベース３２を格納した情報記憶装置がデータベース管理サーバ３０の外部に配置された構成が図示されているが、この構成に限定されるものではない。例えば、作業行動記録データベース３１やナレッジ情報データベース３２は、データベース管理サーバ３０のストレージ３０３に格納されていてもよい。

メモリ３０５は、制御部３０１により実行される各種処理プログラムを記憶する記憶媒体である。メモリ３０５には、例えば、データベース処理プログラム（ＤＢ処理プログラム）３０５ａ、情報送受信プログラム３０５ｂが格納されているが、これらの処理プログラムに限定されるものではなく、その他のアプリケーションプログラムやシステムプログラム等、様々な処理プログラムが格納されてもよい。メモリ３０５に格納されている各種処理プログラムが制御部３０１により実行されることで、データベース管理サーバ３０において、各種処理プログラムに記述された処理機能が実現できるようになっている。

制御部３０１によりデータベース処理プログラム３０５ａが実行された場合には、データベース管理サーバ３０において、様々なデータベース処理を行う処理機能が実現される。本実施形態では、データベース処理プログラム３０５ａの実行により、例えば作業行動記録データベース３１に対しては、作業者端末１０から受信した作業行動記録データの登録処理が行われる。また、例えばナレッジ情報データベース３２に対しては、ナレッジ情報抽出編集装置４０により抽出されたナレッジ情報の登録処理が行われる。

制御部３０１により情報送受信プログラム３０５ｂが実行された場合には、データベース管理サーバ３０において、通信部３０２を駆動、制御してネットワーク５に接続された他の通信装置と情報を送受する処理機能が実現される。本実施形態では、情報送受信プログラム３０５ｂの実行により、作業者端末１０から作業行動記録データを受信してストレージ３０３に格納する。

ユーザインタフェース接続部３０６は、ユーザからの情報入力およびユーザへの情報出力を可能にするユーザインタフェースが接続可能な構成を表している。図示省略されているが、ユーザインタフェース接続部３０６には、例えば、情報を表示するモニタ等の表示装置、音声を出力するイヤホンやスピーカ等の音声出力装置、ユーザ入力を可能にするマウス、キーボード、操作スイッチ等の操作入力装置を始めとして様々なユーザインタフェース装置が接続される。ユーザは、ユーザインタフェース接続部３０６に接続された様々なユーザインタフェース装置を用いて、データベース管理サーバ３０において処理される様々な情報を確認しながら、所望の指示を入力してデータベース管理サーバ３０を操作できるようになっている。

外部装置接続部３０７は、ナレッジ情報抽出編集装置４０、作業マニュアル生成装置５０、作業誘導コンテンツ生成装置６０等の様々な外部装置と接続できるように構成されている。なお、これらの外部装置がネットワーク５に接続されており、外部装置接続部３０７が、ネットワーク５を介してこれらの外部装置と通信を行うように構成されていてもよい。

認証部３０８は、公知の認証方法を用いてユーザの利用資格を確認する機能を有している。認証部３０８において利用資格が認証されたユーザのみがデータベース管理サーバ３０を利用できるようになっている。本実施形態では、認証部３０８の処理が記述された認証処理プログラムをメモリ３０５に格納しておき、制御部３０１による認証処理プログラムの実行によって認証部３０８が実現されてもよい。

電源供給部３０９は、データベース管理サーバ３０を駆動するために必要な電力を供給するようになっている。

なお、本実施形態では、データベース管理サーバ３０がデータベースを一元的に管理しており、ナレッジ情報抽出編集装置４０、作業マニュアル生成装置５０、作業誘導コンテンツ生成装置６０は、データベース管理サーバ３０を通じてデータベースへのアクセスを行うように構成されている。しかしながら、ナレッジ情報抽出編集装置４０、作業マニュアル生成装置５０、作業誘導コンテンツ生成装置６０のそれぞれに設けられたストレージにデータベースが格納され、データベースの同期や複製が行われるようにしてもよい。

（ナレッジ情報抽出編集装置）
次に、ナレッジ情報抽出編集装置４０について説明する。ナレッジ情報抽出編集装置４０は、ナレッジ情報の抽出および編集を行うための装置である。本実施形態に係るナレッジ情報抽出編集装置４０は、データベース管理サーバ３０と協働して、作業行動記録データベース３１に格納された作業行動記録データからナレッジ情報を抽出する機能やナレッジ情報を編集する機能を有する。

図４は、本実施形態に係るナレッジ情報抽出編集装置の構成の一例を示す構成図である。図４に示すように、ナレッジ情報抽出編集装置４０は、制御部４０１、外部装置接続部４０２、ストレージ４０３、ユーザインタフェース接続部（ＵＩ接続部）４０４、各種処理プログラムを格納したメモリ４０５、電源供給部４０６を備え、それらがバス４１０を介して相互に接続されている。

制御部４０１は、ナレッジ情報抽出編集装置４０における様々な動作を処理および制御するハードウェアであり、例えばメモリ４０５に記憶された各種処理プログラムに記述された様々な命令を実行して、ナレッジ情報抽出編集装置４０における様々な機能を実現および制御するプロセッサである。制御部４０１は、例えば汎用的なデータ処理を行うＣＰＵ（中央演算処理装置）、特定の目的に特化したデータ処理を行うＤＳＰ（デジタル信号プロセッサ）またはＧＰＵ（グラフィックスプロセッシングユニット）等であってもよく、設計自由度の高いＦＰＧＡ（フィールドプログラマブルゲートアレイ）等であってもよい。

外部装置接続部４０２は、データベース管理サーバ３０等の様々な外部装置と接続できるように構成されている。なお、これらの外部装置がネットワーク５に接続されており、外部装置接続部４０２が、ネットワーク５を介してこれらの外部装置と通信を行うように構成されていてもよい。

ストレージ４０３は、様々なデータを格納することが可能な補助記憶装置であり、例えば、ＨＤＤ（ハードディスクドライブ）等の磁気ディスク、ＳＳＤ（ソリッドステートディスク）等の半導体メモリ、光磁気ディスク、光ディスクである。ストレージ４０３は、ナレッジ情報抽出編集装置４０に内蔵された記録媒体であってもよく、ナレッジ情報抽出編集装置４０から取り外し可能な可搬記録媒体であってもよい。ストレージ４０３には様々なデータが格納される。また、作業行動記録データベース３１やナレッジ情報データベース３２に格納されているデータの一部または全部がストレージ４０３に格納されてもよい。

ユーザインタフェース接続部４０４は、ユーザからの情報入力およびユーザへの情報出力を可能にするユーザインタフェースが接続可能な構成を表している。ユーザインタフェース接続部４０４には、例えば、情報を表示するモニタ等の表示装置４１、音声を出力するイヤホンやスピーカ等の音声出力装置４２、ユーザ入力を可能にするマウス、キーボード、操作スイッチ等の操作入力装置４３を始めとして様々なユーザインタフェース装置が接続される。

ナレッジ情報抽出編集装置４０では、ユーザによってナレッジ情報の抽出作業や編集作業が行われる。ナレッジ情報抽出編集装置４０は、表示装置４１において、作業時の映像を表示するとともに、ユーザがナレッジ情報の抽出作業や編集作業を行うためのＧＵＩ（グラフィカルユーザインタフェース）を表示できるようになっている。また、ナレッジ情報抽出編集装置４０は、音声出力装置４２を通じて作業時の音声を再生出力できるようになっており、操作入力装置４３を通じて、ユーザからの指示入力を受けることができるようになっている。

メモリ４０５は、制御部４０１により実行される各種処理プログラムを記憶する記憶媒体である。メモリ４０５には、例えば、映像データ処理プログラム４０５ａ、音声データ処理プログラム４０５ｂ、ナレッジ情報抽出プログラム４０５ｃ、ナレッジ情報編集プログラム４０５ｄ、データベースアクセスプログラム４０５ｅが格納されているが、これらの処理プログラムに限定されるものではなく、その他のアプリケーションプログラムやシステムプログラム等、様々な処理プログラムが格納されてもよい。メモリ４０５に格納されている各種処理プログラムが制御部４０１により実行されることで、ナレッジ情報抽出編集装置４０において、各種処理プログラムに記述された処理機能が実現できるようになっている。

制御部４０１により映像データ処理プログラム４０５ａが実行された場合には、作業行動記録データベース３１に格納されている映像データの再生や画像キャプチャを行う処理機能が実現される。

制御部４０１により音声データ処理プログラム４０５ｂが実行された場合には、作業行動記録データベース３１に格納されている音声データの再生や音声認識（音声データからテキストデータへの変換）を行う処理機能が実現される。

制御部４０１によりナレッジ情報抽出プログラム４０５ｃが実行された場合には、作業行動記録データベース３１に格納されている作業行動記録データを読み出して、作業行動記録データから熟練者のナレッジ情報を抽出し、抽出したナレッジ情報をナレッジ情報データベース３２に格納する処理機能が実現される。

制御部４０１によりナレッジ情報編集プログラム４０５ｄが実行された場合には、作業行動記録データベース３１に格納されている作業行動記録データから抽出した熟練者のナレッジ情報や、ナレッジ情報データベース３２に格納されているナレッジ情報を編集し、編集が完了したナレッジ情報をナレッジ情報データベース３２に格納する処理機能が実現される。

なお、本実施形態では、ナレッジ情報抽出プログラム４０５ｃおよびナレッジ情報編集プログラム４０５ｄは、ナレッジ情報の抽出作業および編集作業を行うためのＧＵＩをユーザに提供する。後述するように、ユーザは、このＧＵＩ上で操作入力を行うことでナレッジ情報の抽出や編集を容易に行うことができるようになっている。

制御部４０１によりデータベースアクセスプログラム４０５ｅが実行された場合には、ナレッジ情報抽出編集装置４０において、外部装置接続部４０２を駆動、制御してデータベース管理サーバ３０に接続し、作業行動記録データベース３１やナレッジ情報データベース３２へアクセスする処理機能が実現される。この際、データベース管理サーバ３０の利用資格に係る情報を送信し、データベース管理サーバ３０の認証部３０８でユーザの利用資格の認証を受けるようにしてもよい。

電源供給部４０６は、ナレッジ情報抽出編集装置４０を駆動するために必要な電力を供給するようになっている。

（作業マニュアル生成装置）
次に、作業マニュアル生成装置５０について説明する。作業マニュアル生成装置５０は、作業に関する作業マニュアルを生成するための装置である。作業マニュアル生成装置５０は、データベース管理サーバ３０と協働して、ナレッジ情報データベース３２に記録されたナレッジ情報に基づいて、当該ナレッジ情報を反映した作業マニュアルを生成する機能を有する。

図５は、本実施形態に係る作業マニュアル生成装置５０の構成の一例を示す構成図である。図５に示すように、作業マニュアル生成装置５０は、制御部５０１、外部装置接続部５０２、ストレージ５０３、ユーザインタフェース接続部（ＵＩ接続部）５０４、各種処理プログラムを格納したメモリ５０５、電源供給部５０６を備え、それらがバス５１０を介して相互に接続されている。

なお、図５に示す作業マニュアル生成装置５０は、メモリ５０５に格納された処理プログラムが異なり、その結果、処理プログラムの実行により実現される機能が異なる点を除いて、上述したナレッジ情報抽出編集装置４０と同様の構成を有する。ただし、図５では、ユーザインタフェース接続部（ＵＩ接続部）５０４に接続可能な装置は図示省略されている。

具体的には、図５に示す作業マニュアル生成装置５０の制御部５０１、外部装置接続部５０２、ストレージ５０３、ユーザインタフェース接続部５０４、電源供給部５０６は、図４に示すナレッジ情報抽出編集装置４０の制御部４０１、外部装置接続部４０２、ストレージ４０３、ユーザインタフェース接続部４０４、電源供給部４０６と同様であるため、ここでは説明を省略する。

なお、本実施形態では、作業マニュアル生成装置５０が、ナレッジ情報抽出編集装置４０および作業誘導コンテンツ生成装置６０とは別体の装置である場合について説明しているが、ナレッジ情報抽出編集装置４０および／または作業誘導コンテンツ生成装置６０と同一の装置（１つの装置）で実現されてもよい。さらに、ナレッジ情報抽出編集装置４０において実行される抽出編集ツールに作業マニュアル生成機能を組み込み、図１７に図示されているＧＵＩ上の操作により作業マニュアルが生成できるようにしてもよい。

メモリ５０５は、制御部５０１により実行される各種処理プログラムを記憶する記憶媒体である。メモリ５０５には、例えば、作業マニュアル生成プログラム５０５ａ、データベースアクセスプログラム５０５ｂが格納されているが、これらの処理プログラムに限定されるものではなく、その他のアプリケーションプログラムやシステムプログラム等、様々な処理プログラムが格納されてもよい。メモリ５０５に格納されている各種処理プログラムが制御部５０１により実行されることで、作業マニュアル生成装置５０において、各種処理プログラムに記述された処理機能が実現できるようになっている。

制御部５０１により作業マニュアル生成プログラム５０５ａが実行された場合には、ナレッジ情報データベース３２に格納されているナレッジ情報に基づいて作業マニュアルを生成する処理機能が実現される。

制御部５０１によりデータベースアクセスプログラム５０５ｂが実行された場合には、作業マニュアル生成装置５０において、外部装置接続部５０２を駆動、制御してデータベース管理サーバ３０に接続し、作業行動記録データベース３１やナレッジ情報データベース３２へアクセスする処理機能が実現される。この際、データベース管理サーバ３０の利用資格に係る情報を送信し、データベース管理サーバ３０の認証部３０８でユーザの利用資格の認証を受けるようにしてもよい。

（作業誘導コンテンツ生成装置）
次に、作業誘導コンテンツ生成装置６０について説明する。作業誘導コンテンツ生成装置６０は、作業者により実施される作業を支援するための作業誘導コンテンツを生成するための装置である。作業誘導コンテンツ生成装置６０は、データベース管理サーバ３０と協働して、ナレッジ情報データベース３２に記録されたナレッジ情報に基づいて、当該ナレッジ情報を反映した作業誘導コンテンツを生成する機能を有する。作業誘導コンテンツは、例えば作業者に対して作業に必要な情報を提供することで作業支援を行う作業支援装置において利用可能となるように加工された情報である。

図６は、本実施形態に係る作業誘導コンテンツ生成装置６０の構成の一例を示す構成図である。図６に示すように、作業誘導コンテンツ生成装置６０は、制御部６０１、外部装置接続部６０２、ストレージ６０３、ユーザインタフェース接続部（ＵＩ接続部）６０４、各種処理プログラムを格納したメモリ６０５、電源供給部６０６を備え、それらがバス６１０を介して相互に接続されている。

なお、図６に示す作業誘導コンテンツ生成装置６０は、メモリ６０５に格納された処理プログラムが異なり、その結果、処理プログラムの実行により実現される機能が異なる点を覗いて、上述したナレッジ情報抽出編集装置４０と同様の構成を有する。ただし、図６では、ユーザインタフェース接続部（ＵＩ接続部）６０４に接続可能な装置は図示省略されている。

具体的には、図６に示す作業誘導コンテンツ生成装置６０の制御部６０１、外部装置接続部６０２、ストレージ６０３、ユーザインタフェース接続部６０４、電源供給部６０６は、図４に示すナレッジ情報抽出編集装置４０の制御部４０１、外部装置接続部４０２、ストレージ４０３、ユーザインタフェース接続部４０４、電源供給部４０６と同様であるため、ここでは説明を省略する。

また、本実施形態では、作業誘導コンテンツ生成装置６０が、ナレッジ情報抽出編集装置４０および作業マニュアル生成装置５０とは別体の装置である場合について説明しているが、ナレッジ情報抽出編集装置４０および／または作業マニュアル生成装置５０と同一の装置（１つの装置）で実現されてもよい。さらに、ナレッジ情報抽出編集装置４０において実行される抽出編集ツールに作業誘導コンテンツ生成機能を組み込み、図１７に図示されているＧＵＩ上の操作により作業誘導コンテンツが生成できるようにしてもよい。

メモリ６０５は、制御部６０１により実行される各種処理プログラムを記憶する記憶媒体である。メモリ６０５には、例えば、作業誘導コンテンツ生成プログラム６０５ａ、スキル情報取得プログラム６０５ｂ、データベースアクセスプログラム６０５ｃが格納されているが、これらの処理プログラムに限定されるものではなく、その他のアプリケーションプログラムやシステムプログラム等、様々な処理プログラムが格納されてもよい。メモリ６０５に格納されている各種処理プログラムが制御部６０１により実行されることで、作業誘導コンテンツ生成装置６０において、各種処理プログラムに記述された処理機能が実現できるようになっている。

制御部６０１により作業誘導コンテンツ生成プログラム６０５ａが実行された場合には、ナレッジ情報データベース３２に格納されているナレッジ情報に基づいて作業誘導コンテンツを生成する処理機能が実現される。また、スキル情報取得プログラム６０５ｂからの指示に応じて、スキル情報に応じた作業誘導コンテンツの生成を指示する処理機能が実現される。

制御部６０１によりスキル情報取得プログラム６０５ｂが実行された場合には、作業誘導コンテンツによる作業支援の対象となる作業者のスキル情報を取得して、作業誘導コンテンツ生成プログラム６０５ａに対してスキル情報に応じた作業誘導コンテンツの生成を指示する処理機能が実現される。なお、作業者のスキル情報は作業者情報を管理する作業者管理データベース（不図示）から取得してもよく、作業者のキャリア年数、役職、年齢等の情報から推定してもよい。また、ユーザがスキル情報を適宜入力してもよい。

制御部６０１によりデータベースアクセスプログラム６０５ｃが実行された場合には、作業誘導コンテンツ生成装置６０において、外部装置接続部６０２を駆動、制御してデータベース管理サーバ３０に接続し、作業行動記録データベース３１やナレッジ情報データベース３２へアクセスする処理機能が実現される。この際、データベース管理サーバ３０の利用資格に係る情報を送信し、データベース管理サーバ３０の認証部３０８でユーザの利用資格の認証を受けるようにしてもよい。

（本実施形態に係る処理の概要）
次に、本実施形態に係る処理の概要について説明する。

図７は、本実施形態に係る処理の概要を示すフローチャートである。本実施形態に係る処理は、図７に示すように４つの段階に大別することができる。

第１段階では、実際に実施される作業の様子を作業行動記録データとして記録する（ステップＳ１）。例えば作業の様子は映像、音声により記録される。また、熟練者は、この作業の作業実施者または作業指導者として関与する。第２段階では、作業行動記録データを作業行動記録データベース３１に登録する（ステップＳ２）。第３段階では、作業行動記録データベース３１に登録されている作業行動記録データからナレッジ情報を抽出および編集して、ナレッジ情報をナレッジ情報データベース３２に登録する（ステップＳ３）。第４段階では、ナレッジ情報データベース３２に登録されているナレッジ情報を利用して、作業マニュアルや作業誘導コンテンツを生成する（ステップＳ４）。

なお、図７に示す処理の概要は一例であり、必ずしも図７に示す流れに従って処理が自実行される必要はない。例えば、図７では、作業の様子を記録した作業行動記録データが作業行動記録データベース３１にいったん登録され、その後にナレッジ情報の抽出および編集が実施される処理の流れが示されているが、作業行動記録データの記録を行いながらリアルタイムでナレッジ情報の抽出（すなわち、図７のステップＳ１の処理中にステップＳ３の処理を同時に実施）してもよい。この場合には、実際に実施されている作業について、その場で熟練者に対して指摘または質問することで、熟練者から作業に関する情報を効率的に聞き出すことができ、かつ、リアルタイムでナレッジ情報として纏めることができる。また、後述するように熟練者が「これ」、「あれ」、「こうやって」等の指示代名詞を用いて説明を行った場合であっても、その場ですぐにその指示代名詞が具体的に何を指しているのかを聞き出して、熟練者のナレッジ情報を正確に抽出できるようになる。

（作業記録方法）
次に、本実施形態に係る作業記録方法について説明する。

本実施形態では、作業映像取得装置１１によって、作業における熟練者の技能や知識を映像として記録する。このとき、熟練者の技能や知識が反映された作業を撮影した映像が取得できればよい。一例として、熟練者自身が実施する作業の様子を撮影してもよく、あるいは熟練者による指導を受けながら、非熟練者が実施する作業の様子を撮影してもよい。また、作業の終了が分かり辛い作業や、重要な作業（例えばミスや事故に繋がる作業）については、映像キャプチャ機能やスチルカメラ（例えば作業実施者自身が所有しているスマートフォンに搭載されているカメラ）等を用いて、当該作業完了時の状態や重要な作業が行われる状態を写真として記録し、その写真データもナレッジ情報として記録できるようにしてもよい。

同様に、本実施形態では、作業音声取得装置１２によって、作業における熟練者の技能や知識を音声として記録する。このとき、熟練者の技能や知識を含む音声が取得できればよく、例えば、熟練者の技能や知識に基づく発言を含む熟練者の発話音声が収音できればよい。一例として、熟練者自身が作業を実施しながら発話する発話音声を収音してもよい。この場合、熟練者自身が作業を実施する場合であっても、例えばあたかも非熟練者に対してＯＪＴの要領で作業の指導を行うかのように熟練者に発話してもらい、その発話音声を収音してもよい。あるいは、非熟練者により実施される作業を熟練者が指導する際の熟練者の発話音声を収音してもよい。また、作業前／作業後に熟練者に対してインタビューを行い、熟練者が作業について言及したコメントを収音してもよい。

作業における熟練者の技能や知識を記録する方法は特に限定されるものではないが、例えば以下に挙げるいくつかの方法を採用することができる。

（熟練者目線の撮影方法）
図８は、本実施形態に係る作業記録方法の一例として、熟練者目線で映像を取得する方法を示す図である。本明細書では、図９の作業記録方法を熟練者目線の撮影方法と記載することがある。図８には一例として、作業実施者が分電盤の配線の取り外しおよび取り付け作業を行う様子が示されている。作業を実際に実施する作業実施者はその作業における熟練者であり、熟練者は、例えば耳掛け式のマイク付きカメラ１１１を装着して単独で作業を行う。マイク付きカメラ１１１は、図１に示す作業映像取得装置１１および作業音声取得装置１２に対応する。なお、ここでは説明を省略するが、さらに各種センサ１３により知覚情報が検知されてもよい。

マイク付きカメラ１１１は、作業の様子を作業実施者である熟練者の目線（熟練者が見ている光景）から撮影することで、作業の様子を撮影することができるようになっている。また、作業実施者である熟練者は、作業中にその作業全体の流れや作業項目、各作業における注意点等の様々な情報を話しながら作業を実施し、マイク付きカメラ１１１は、熟練者が発話した発話音声を収音できるようになっている。また、作業実施者である熟練者は、映像キャプチャ機能やスチルカメラ等を用いて、作業途中の状態（重要な作業が行われる状態）や作業完了時の状態（作業完了の証拠写真）を撮影してもよい。

熟練者目線の撮影方法によれば、熟練者が実際に実施する作業の様子を撮影し、かつ熟練者の発話音声を収音することができる。特に、熟練者が耳掛け式のマイク付きカメラ１１１を頭部に装着して撮影を行うことで、熟練者の目線から作業の様子を詳細に撮影することができる。ただし、例えばマイク付きカメラ１１１の装着が作業の邪魔となるような場合には、作業の様子を記録できる位置にカメラやマイクを固定設置してもよい。さらに熟練者目線の撮影方法は、熟練者が作業現場に一人で居る場合であっても、熟練者により単独で実施される作業の様子を撮影し、かつ熟練者が発話する作業の詳細な解説を収音できるようになっている。この場合、熟練者は、例えばあたかも非熟練者に対してＯＪＴの要領で作業の指導を行うかのように作業の詳細について発話することで、ナレッジ情報として抽出可能な熟練者のノウハウ等を含む熟練者の発話音声を収音することができる。

図９に、熟練者目線の撮影方法における映像および音声の取得に関する具体的な事例を示す。図９において、横軸は時間軸を表しており、時間軸に沿って、熟練者による作業の実施、映像の記録、音声の記録がそれぞれ行われる様子が模式的に示されている。

ここでは、具体的な作業として、所定の装置内部に存在する部品の交換作業が実施される。部品の交換作業は、作業１「ネジを外す」、作業２「蓋を取る」、作業３「部品を交換する」、作業４「蓋を閉める」、作業５「ネジを締める」の５つの作業が実施されるものとする。

図９では、部品の交換作業が開始される前の時間Ｔｓから部品の交換作業が終了した後の時間Ｔｅまでの間、映像および音声の記録が行われる。すなわち、作業中は映像および音声の記録が常時継続して行われる。

熟練者は作業中に作業に関する情報を発話し、図９には、発話音声の記録が模式的に図示されている。具体的には、作業を開始する際に発話Ｐ１「これから装置内部の部品交換を行います」が記録され、作業１の実施時に発話Ｐ２「最初にネジを外します」および発話Ｐ３「下側のネジから外します。外したネジは箱に入れます」が記録され、作業２の実施時に発話Ｐ４「次に蓋を取ります」が記録され、作業３の実施時に発話Ｐ５「次に部品を交換します」および発話Ｐ６「感電に注意してください」が記録され、作業４の実施時に発話Ｐ７「次に蓋を閉めます」が記録され、作業５の実施時に発話Ｐ８「最後にネジを締めます」および発話Ｐ９「上側のネジから取り付けます」が記録され、作業を終了する際に発話Ｐ１０「これで部品交換は終了です」が記録される。

（観察者目線の撮影方法）
図１０は、本実施形態に係る作業記録方法の一例として、観察者目線で映像を取得する方法を示す図である。本明細書では、図１０の作業記録方法を観察者目線の撮影方法と記載することがある。図１０には一例として、作業実施者が分電盤の配線の取り外しおよび取り付け作業を行うとともに、作業現場に居る別の人物（観察者）がその作業をカムコーダ１１２で撮影および収音する様子が示されている。カムコーダ１１２は、図１に示す作業映像取得装置１１および作業音声取得装置１２に対応する。なお、ここでは説明を省略するが、さらに各種センサ１３により知覚情報が検知されてもよい。

観察者目線の撮影方法によれば、熟練者が実際に実施する作業の様子を撮影し、かつ熟練者の発話音声を収音することができる。特に、観察者が作業者の傍（作業を見守る）で作業の様子を撮影することで、熟練者に対してマイク付きカメラ１１１の装着を強いることなく熟練者の負担を軽減し、熟練者は通常と同様に作業を実施することができる。なお、この場合も、例えばカムコーダ１１２を三脚上に設置する等、カメラやマイクを固定設置してもよい。また、作業実施者である熟練者や観察者は、映像キャプチャ機能やスチルカメラ等を用いて、作業途中の状態（重要な作業が行われる状態）や作業完了時の状態（作業完了の証拠写真）を撮影してもよい。

また、観察者目線の撮影方法によれば、カムコーダ１１２により熟練者が発話する作業の詳細な解説を収音することができる。この場合、熟練者は、例えばあたかも非熟練者に対してＯＪＴの要領で作業の指導を行うかのように作業の詳細について発話することで、ナレッジ情報として抽出可能な熟練者のノウハウ等を含む熟練者の発話音声を収音することができる。さらに、例えば観察者と熟練者とが自由に会話を行い、作業中の熟練者に対して観察者が作業について様々な質問を行うことで、熟練者から聞き出した作業の詳細や注意点等を収音することができる。

観察者目線の撮影方法においても、図９に模式的に示した事例と同様に、映像および音声の記録が行われる。ただし、観察者目線の撮影方法では、観察者と熟練者とが自由に会話することができ、例えば、観察者が「今行っている作業は何ですか？」、「この作業で何か注意すべきポイントはありますか？」等のように質問を行うことで、作業の詳細を熟練者から聞き出してもよい。また、観察者自身が「これからネジを外す作業が行われます」等のように、作業に関する内容を発話してもよい。

（ＯＪＴにおける作業者目線の撮影方法）
図１１は、本実施形態に係る作業記録方法の一例として、ＯＪＴにおける作業者目線で映像を取得する方法を示す図である。本明細書では、図１１の作業記録方法を作業者目線の撮影方法と記載することがある。図１１には一例として、作業実施者がドラム式洗濯乾燥機の分解保守作業を行うとともに、作業現場に居る別の人物（熟練者）がＯＪＴの要領で作業の指導を行う様子が示されている。作業を実際に実施する作業実施者はその作業の非熟練者であってよく、熟練者から指導を受けながら作業を自実施する。また、作業実施者は、例えば耳掛け式のマイク付きカメラ１１１を装着して作業を行う。マイク付きカメラ１１１は、図１に示す作業映像取得装置１１および作業音声取得装置１２に対応する。なお、ここでは説明を省略するが、さらに各種センサ１３により知覚情報が検知されてもよい。

マイク付きカメラ１１１は、作業の様子を作業実施者の目線から撮影することで、作業の様子を撮影することができるようになっている。また、作業実施者は、その作業全体の流れや作業項目、各作業における注意点等の様々な情報を含む熟練者からの指導を受けながら作業を実施し、マイク付きカメラ１１１は、熟練者と作業実施者との会話音声を収音できるようになっている。なお、この場合も、作業実施者がマイク付きカメラ１１１を装着せずに作業の様子を記録できる位置にカメラやマイクを固定設置してもよく、さらには、別の人物（観察者）がカムコーダ１１２等を用いて、作業実施者の作業の撮影および作業実施者と熟練者との会話音声の収音を行ってよい。また、作業実施者や熟練者は、映像キャプチャ機能やスチルカメラ等を用いて、作業途中の状態（重要な作業が行われる状態）や作業完了時の状態（作業完了の証拠写真）を撮影してもよい。

作業者目線の撮影方法によれば、作業者が実施する作業の様子を撮影するとともに、熟練者がＯＪＴの要領で作業を指導する様子を撮影し、かつ作業の詳細や注意点等を含む熟練者の発話音声を収音することができる。また、熟練者に対してマイク付きカメラ１１１の装着を強いることなく熟練者の負担を軽減することができる。また、熟練者は、ＯＪＴの要領で作業の詳細や注意点等について発話するため、熟練者の発話音声にはナレッジ情報として有用な情報が含まれやすくなる。このとき、作業者が作業中に熟練者に対して質問を行うことで、作業に関するより詳細な情報を熟練者から聞き出すようにしてもよい。

ＯＪＴにおける作業者目線の撮影方法においても、図９に模式的に示した事例と同様に、映像および音声の記録が行われる。ただし、作業者目線の撮影方法では、熟練者は作業を指導しており、例えば「最初にネジを外してください」、「部品交換時には感電に気を付けてください」等のように、熟練者が作業を指導する立場から発話する音声が記録される。

（遠隔ＯＪＴにおける作業者目線の撮影方法）
図１２は、本実施形態に係る作業記録方法の一例として、遠隔ＯＪＴにおける作業者目線で映像を取得する方法を実現するための構成を示す構成図である。図１２に示す構成は、図１１に示す作業者目線の撮影方法において、熟練者が作業現場に赴くことなく作業現場から離れた遠隔地からＯＪＴの要領で作業を指導できるようにするものである。

図１２において、作業者端末１０は、カメラ等の作業映像取得装置１１、マイク等の作業音声取得装置１２、各種センサ１３に加えて、スピーカ等の音声出力装置２１を備えている。一方、熟練者端末９０は、モニタ等の表示装置９１、スピーカ等の音声出力装置９２、マイク等の音声取得装置９３を備えている。

さらに、作業者端末１０および熟練者端末９０は、ネットワーク５を通じてリアルタイムに通信を行うように構成されている。作業者端末１０と熟練者端末９０との間の通信に採用される通信規格や通信方式は、特に限定されるものではない。

映像に関しては、作業音声取得装置１２で撮影された作業の映像が作業者端末１０から熟練者端末９０へ送信され、熟練者がその映像を表示装置９１で見ることができるようになっている。すなわち、熟練者は、作業現場に赴くことなく、熟練者端末９０の表示装置９１上で作業の様子を確認することができるようになっている。また、作業実施者である非熟練者は、映像キャプチャ機能やスチルカメラ等を用いて、作業途中の状態（重要な作業が行われる状態）や作業完了時の状態（作業完了の証拠写真）を撮影してもよい。この場合、作業実施者である非熟練者が映像キャプチャ機能やスチルカメラ等を用いて撮影を行ってもよく、あるいは、熟練者が映像キャプチャ機能を用いて、熟練者端末９０の表示装置９１上に表示された映像をキャプチャしてもよい。

一方、音声に関しては、作業音声取得装置１２で収音された音声が作業者端末１０から熟練者端末９０へ送信され、熟練者がその音声を音声出力装置９２を通じて聞くことができるようになっている。さらに、音声取得装置９３で収音された音声が熟練者端末９０から作業者端末１０へ送信され、作業実施者がその音声を音声出力装置２１を通じて聞くことができるようになっている。すなわち、作業実施者と熟練者はネットワーク５を通じて会話を行うことができ、特に、熟練者は表示装置９１上で作業の様子を確認しながら、その作業の指導を行うことができるようになっている。

作業の様子が撮影された映像および作業実施者と熟練者との会話音声は、映像データおよび音声データとして作業者端末１０のストレージ１６に格納された後にデータベース管理サーバ３０へ送られてもよく、あるいは、熟練者端末９０のストレージに格納された後に熟練者端末９０からデータベース管理サーバ３０へ送られてもよい。また、作業者端末１０と熟練者端末９０との間で通信されるデータが、データベース管理サーバ３０へリアルタイムにストリーミングされてもよい。

遠隔ＯＪＴにおける作業者目線の撮影方法においても、図９に模式的に示した事例と同様に、映像および音声の記録が行われる。ただし、作業者目線の撮影方法では、熟練者は作業を指導しており、例えば「最初にネジを外してください」、「部品交換時には感電に気を付けてください」等のように、熟練者が作業を指導する立場から発話する音声が記録される。

（ヒアリング形式）
上述した様々な作業記録方法では、作業が実施されている最中における熟練者の発話音声を収音しているが、作業前または作業後に熟練者が作業内容に関して発話した発話音声を収音してもよい。例えば、作業前または作業後に作業に関する情報を纏めて、熟練者から的確に聞き出しておいたほうがよい場合がある。ヒアリング形式の質疑応答は、熟練者に対する確認事項を事前に精査して準備することができるという利点がある。

特に、熟練者自身が単独で作業を実施する熟練者目線の撮影方法では、熟練者が作業に集中してしまい作業に関する情報をあまり発話しない可能性があるため、作業前または作業後に、ヒアリング形式で熟練者から作業に関する情報を聞き出すことが有用である。

図１３に、ヒアリング形式により熟練者から作業に関する情報を聞き出す方法が実施された具体的な事例を示す。図１３において、横軸は時間軸を表しており、時間軸に沿って、ヒアリング形式の質疑応答に係る音声の記録が行われる様子が模式的に示されている。

図１３では、熟練者自身が作業を実施する作業区間前に情報取得区間を設け、情報取得区間において、以下に挙げる質問項目（作業項目、ノウハウ、問い掛け確認の要否、証拠写真の要否）を熟練者に対して質問し、熟練者が発話する回答を音声で記録する。具体的には、質問者が作業項目の質問Ｑ１「次の作業項目は何ですか？」と質問し、この質問に対する熟練者の作業項目に関する回答Ａ１が記録される。また、質問者がノウハウの質問Ｑ２「気を付けることは何ですか？」と質問し、この質問に対する熟練者の注意事項に関する回答Ａ２が記録される。

また、質問者が問い掛け確認の要否の質問Ｑ３「実際の作業後に問い掛け確認を行いますか？」と質問し、この質問に対する熟練者の確認レベルに関する回答Ａ３が記録される。なお、問い掛け確認とは、ナレッジ情報として抽出した後、このナレッジ情報を使用して作業誘導（作業支援）を行う際に再確認を行う処理を意味している。具体的には、「問い掛け確認が必要」と設定されたナレッジ情報に基づいて作業支援が実施される場合には、例えば作業者がネジを締めて作業を終了した後に、「ネジを最後まで締め切りましたか？」等の確認メッセージが作業者に提示される。

また、質問者が証拠写真の要否の質問Ｑ４「作業結果の証拠写真を残しますか？残す場合はどの写真を撮影しますか？」と質問し、この質問に対する熟練者の確認レベルに関する回答Ａ４が記録される。

さらに、質問者は一連の質問が終了すると発話Ｑ５「それでは作業を開始してください。写真撮影が必要な場合には写真の撮影も行ってください。作業終了時には、終了と発話してください」等のように作業の開始を促すことで、作業区間に移行することができる。

なお、図１３には、ヒアリング形式の質疑応答が行われた後（作業開始前）に作業が実施されているが、作業終了後にヒアリング形式の質疑応答が行われてもよい。また、ヒアリング形式の質疑応答前後に行われる作業の撮影方法は特に限定されるものではなく、上述した熟練者目線の撮影方法、観察者目線の撮影方法、ＯＪＴ形式または遠隔ＯＪＴ形式における作業者目線の撮影方法のいずれが行われてもよい。また、作業開始前または作業終了後ではなく、作業実施中（すなわち、図１３の作業区間中）にヒアリング形式の質疑応答が行われてもよい。

また、質問者は必ずしも人間である必要はなく、例えば学習により有用な質問を生成することが可能なように構成されたＡＩ（人口知能）等のコンピュータが、質問者として質問してもよい。

また、上述した様々な撮影方法やヒアリング形式の質疑応答において、熟練者は、通常の話し言葉で説明を行い、特に「これ」、「あれ」、「こうやって」等の指示代名詞を用いて説明を行う可能性がある。こうした指示代名詞を含む表現は、その場で説明を受けている者にとっては理解できるものである一方、熟練者の発話音声からナレッジ情報を抽出する際には、指示代名詞が何を指しているのか理解しづらくなる可能性がある。

このことから、質問者は、熟練者の発話に指示代名詞が含まれている場合には、その指示代名詞が具体的に何を指しているのかを聞き出すことで、ナレッジ情報をより正確に抽出できるようにすることが望ましい。また、ヒアリング形式によりＡＩ等のコンピュータが熟練者に対して質問を行う場合においても、熟練者の発話に指示代名詞が含まれていることを検出して、その指示代名詞が具体的に何を指しているのかを問い返す機能をコンピュータに設けてもよい。

また、ここではヒアリング形式による質疑応答の音声を収音することで、熟練者が発話した注意ポイント等を音声データとして記録しているが、例えば、質問事項が記載されたアンケート用紙を配付して熟練者に回答を記入してもらい、その回答をテキストデータ等に加工して記録してもよい。

（作業行動記録データベースへの登録）
次に、本実施形態に係る作業行動記録データベース３１への登録について説明する。

本実施形態では、データベース管理サーバ３０が、作業者端末１０で作業の様子を記録した作業行動記録データを作業行動記録データベース３１に登録する。作業行動記録データベース３１への登録では、例えば、映像データや音声データが時間情報（時刻、作業開始時からの経過時間等）と対応付けられて、レコードとして記録される。

図１４は、本実施形態に係る作業行動記録データベース３１のデータ構造の一例を示す図である。図１４に示す作業行動記録データベース３１の各レコード（行）には、例えば、熟練者の作業者ナンバー（作業者Ｎｏ．）、作業日時、作業ナンバー（作業Ｎｏ．）、記録映像、記録音声、作業時間等の各項目が記録される。ここでは図示省略しているが、各種センサ１３で検知された知覚データや作業時に撮影された写真データも同様にレコードの項目に記録される。

作業者ナンバーの項目には、作業を実施した熟練者または作業の指導を行った熟練者の識別番号が格納される。作業日時の項目には、作業を実施した日時が格納される。作業ナンバーの項目には、作業を特定するために一意に割り当てられた識別番号が格納される。記録映像および記録音声の項目には、作業を記録した映像データおよび音声データの識別情報がそれぞれ格納される。映像データおよび音声データの識別情報は、例えば映像データおよび音声データのファイル名であり、この識別情報から、例えば作業行動記録データベース３１の所定の領域に格納された映像ファイルおよび音声ファイルを特定できるようになっている。作業時間の項目には、作業に要した時間が格納される。

また、レコード（行）は作業の記録単位で管理されており、作業者端末１０により作業の記録ごとに、異なる作業ナンバーが割り当てられたレコード（行）が追加登録されるようになっている。これにより、作業の様子を映像や音声で記録するたびに、その記録がレコードとして作業行動記録データベース３１に蓄積されるようになっている。

なお、図１４に示す作業行動記録データベース３１では、映像データおよび音声データがそれぞれ異なるファイル（ｍｐｅｇファイルおよびｍｐ３ファイル）に格納されている状態が示されているが、同一のマルチメディアファイルに格納されてもよい。

（ナレッジ情報の抽出および編集）
次に、本実施形態に係るナレッジ情報の抽出および編集について説明する。

本実施形態では、ナレッジ情報抽出編集装置４０が、作業行動記録データベース３１に登録された作業記録データからナレッジ情報を抽出および編集して、ナレッジ情報データベース３２に登録する。

図１５は、本実施形態に係るナレッジ情報の抽出および編集の処理を示すフローチャートである。

図１５に示すように、まず、ナレッジ情報抽出編集装置４０は、データベース管理サーバ３０と協働して、作業行動記録データベース３１においてナレッジ抽出対象の作業を特定し、その作業の映像データおよび音声データを読み出す（ステップＳ３１）。

次に、ナレッジ情報抽出編集装置４０は、映像データおよび音声データを作業時間に沿って同期再生しながら、音声データに含まれる熟練者の発話音声をテキストデータに変換する（ステップＳ３２）。なお、音声データをテキストデータに変換する処理では、ユーザが音声データを聞きながら必要な発話音声を文字に起こす作業を行ってもよく、ナレッジ情報抽出編集装置４０に実装された音声認識技術を用いて音声データをテキストデータに自動変換してもよい。

次に、ナレッジ情報抽出編集装置４０において、ユーザがナレッジ情報の抽出および編集を行う（ステップＳ３３）。ナレッジ情報の抽出および編集に関連して、ナレッジ情報抽出編集装置４０では、表示装置４１に表示したＧＵＩ（グラフィカルユーザインタフェース）をユーザが操作することでナレッジ情報を詳細に設定できるようになっている。ユーザにより設定されるナレッジ情報は、例えば、ナレッジ抽出対象の作業で実施される作業項目、作業内容、作業順番、作業時間等である。

作業項目は、その作業で何を行うか（すなわち、作業の目的）を含む情報である。作業内容は、具体的に実施される作業内容（すなわち、作業における行動）を含む情報である。作業順番は、作業内容（すなわち、作業における行動）が実施される順番を含む情報である。作業時間は、各作業に要する時間を含む情報である。これらの作業項目、作業内容、作業順番、作業時間の各情報により、作業の目的や作業で実施される一連の流れが把握できるようになる。

さらに、ナレッジ情報として、作業において注意すべきポイント（注意ポイント）を熟練者の発話音声から抽出してもよい。注意ポイントは、作業においてミスや事故を防止するための注意点や、作業を効率的に実施するためのコツや注意点等である。

なお、ナレッジ情報の抽出時に、作業をいくつかの要素作業に分割してもよい。要素作業とは、ある作業に含まれる複数の作業単位を指す。例えば図９に示した事例において、１つの大きな作業「装置内の部品交換」には、作業１「ネジを外す」、作業２「蓋を取る」、作業３「部品を交換する」、作業４「蓋を閉める」、作業５「ネジを締める」の５つの要素作業が含まれている。長時間の作業であっても適当な所要時間の要素作業に分割することで取り扱いが楽になり、要素作業ごとにナレッジ情報を管理できるようになる。なお、１つの作業（大分類）を複数の要素作業（小分類）に分ける２階層の分類に限定されず、３階層以上の分類により作業を分類してもよい。

そして、ナレッジ情報の抽出および編集が完了した場合、ナレッジ情報抽出編集装置４０は、データベース管理サーバ３０と協働して、抽出および編集されたナレッジ情報をナレッジ情報データベース３２に格納する（ステップＳ３４）。なお、図１５に示すフローチャートでは、映像データおよび音声データに基づくナレッジ情報の抽出および編集について説明しているが、さらに知覚データからナレッジ情報を抽出してもよい。また、いったん抽出および編集されてナレッジ情報データベース３２に格納されたナレッジ情報を再編集してもよい。

以下、ナレッジ情報の抽出および編集について、図９に示した事例を参照しながら具体的に説明する。例えば、図９に示した事例では、熟練者目線の撮影方法によって、熟練者自身が実際に作業を行いながら作業に関する情報を発話し、その作業の様子が作業行動記録データ（映像データおよび音声データ）として記録される。

ナレッジ情報抽出編集装置４０は、この作業行動記録データを作業行動記録データベース３１から読み出し、映像データおよび音声データを作業時間に沿って同期再生しながら、音声データに対して音声認識処理を行って、音声データに含まれる熟練者の発話音声をテキストデータに変換する。

図９に示した事例における作業「装置内の部品交換」には、作業１「ネジを外す」、作業２「蓋を取る」、作業３「部品を交換する」、作業４「蓋を閉める」、作業５「ネジを締める」の５つの要素作業が含まれている。ナレッジ情報抽出編集装置４０のユーザは、この作業行動記録データに記録されている作業の作業項目や各要素作業の作業内容および開始時間を、音声データが変換されたテキストデータから特定することができる。

具体的には、熟練者の発話Ｐ１「これから装置内部の部品交換を行います」から、この作業が「装置内の部品交換」であると特定することができる。また、発話Ｐ２「最初にネジを外します」から１番目の要素作業として作業１「ネジを外す」が行われること、および作業１の開始時間を特定することができる。また、発話Ｐ４「次に蓋を取ります」から２番目の要素作業として作業２「蓋を取る」が行われること、および作業２の開始時間を特定することができる。また、発話Ｐ５「次に部品を交換します」から３番目の要素作業として作業３「部品の交換」が行われること、および作業３の開始時間を特定することができる。また、発話Ｐ７「次に蓋を閉めます」から４番目の要素作業として作業４「蓋を閉める」が行われること、および作業４の開始時間を特定することができる。また、発話Ｐ８「最後にネジを締めます」から５番目の要素作業として作業５「ネジを締める」が行われること、および作業５の開始時間を特定することができる。また、熟練者の発話Ｐ１０「これで部品交換は終了です」から、この作業が終了した終了時間を特定することができる。なお、ヒアリング形式で撮影したデータである場合には、図１３の作業区間の開始（上述の例では、質問者が熟練者に作業の開始を促して作業区間に移行するタイミング）によって作業の開始時間を特定してもよい。

また、ナレッジ情報抽出編集装置４０のユーザは、作業行動記録データに記録されている熟練者の発話音声から作業に関する様々な情報を抽出することができる。

具体的には、熟練者の発話Ｐ３「下側のネジから外します。外したネジは箱に入れます」から、作業１「ネジを外す」の注意ポイントとして「下側のネジから外す」ことおよび「外したネジを箱に入れる」ことを特定することができる。また、熟練者の発話Ｐ６「感電に注意してください」から、作業３「部品の交換」の注意ポイントとして「感電に注意する」ことを特定することができる。また、熟練者の発話Ｐ９「上側のネジから取り付けます」から、作業５「ネジを締める」の注意ポイントとして、「上側のネジから取り付ける」ことを特定することができる。

なお、ナレッジ情報抽出編集装置４０のユーザは、音声データを直接聞いたり映像データを確認したりすることで、どのような作業がどのタイミングで実施されているのかを特定してもよく、あるいは作業の注意ポイントを特定してもよい。

また、作業前または作業後にヒアリング形式で実施された質疑応答の音声データからも同様に、注意ポイントを特定することができる。例えば、図１３に示した事例では、問い掛け確認の要否の質問Ｑ３「実際の作業後に問い掛け確認を行いますか？」を行っており、この質問Ｑ３に対する熟練者の回答Ａ３が「はい」の場合には、「問い掛け確認を実施する」という情報が抽出される。

ナレッジ情報抽出編集装置４０において作業行動記録データから抽出された作業に関する様々な情報は、熟練者のナレッジ情報としてナレッジ情報データベース３２に格納される。

図１６は、本実施形態に係るナレッジ情報データベース３２のデータ構造の一例を示す図である。図１６に示すナレッジ情報データベース３２の各レコード（行）には、例えば、ナレッジ情報ナンバー（Ｎｏ．）、作業項目、要素作業ナンバー（要素作業Ｎｏ．）、作業内容、作業時間、ポイント、熟練者の作業者ナンバー（作業者Ｎｏ．）、作業ナンバー（作業Ｎｏ．）等の各項目が記録される。

作業ナンバーの項目には、ナレッジ情報を特定するために一意に割り当てられた識別番号が格納される。作業項目の項目には、その作業で何を行うか（すなわち、作業の目的）が格納される。要素作業ナンバー（要素作業Ｎｏ．）の項目には、要素作業を特定するための識別番号が格納される。要素作業ナンバーの識別番号は、作業順番を表す情報でもある。作業内容の項目には、各要素作業において具体的に実施される作業内容（すなわち、作業における行動）が格納される。作業時間の項目には、各要素作業に要する作業時間が格納される。作業時間は、例えば各要素作業の開始時間から算出することができる。ポイントの項目には、作業において注意すべきポイント（怪我やミスの防止のために作業前に気を付けるポイントや、ミスの防止のために作業後に再度確認するポイント等）や、熟練者の技能や知識に基づく様々な情報が格納される。作業者ナンバーの項目には、ナレッジ情報の抽出対象である作業を実施した熟練者または作業の指導を行った熟練者の識別番号が格納される。作業ナンバーの項目には、ナレッジ情報の抽出対象である作業を特定するために一意に割り当てられた識別番号が格納される。作業ナンバーの項目に格納される識別番号は、ナレッジ情報の基データである作業行動記録データ（映像データ、音声データ、知覚データ、写真データ等）と関連付けられており、作業行動記録データベース３１の所定の領域に格納されている作業行動記録データが特定できるようになっていてもよい。

なお、ここでは、１つの作業（大分類）を複数の要素作業（小分類）に分ける２階層の分類を行っているが３階層以上に分類してもよい。この場合、例えばデータベースに分類階層間の関係を示す項目を設定することで、階層構造を適切に管理できるようにすればよい。

ナレッジ情報データベース３２に格納された情報のうち、例えば作業項目、作業内容、作業順番、作業時間の各項目に格納された情報は、実施される作業の流れを表している。ナレッジ情報データベース３２に格納されたナレッジ情報には、熟練者の経験に基づく作業の手順や作業で実施される行動が含まれており、このナレッジ情報に基づいて作業を実施することで、熟練者と同様の適切かつ効率的な作業を実施することができる。

また、ナレッジ情報データベース３２に格納された情報のうち、例えばポイントの項目に格納された情報は、熟練者の経験に基づく作業の注意ポイントを表している。この情報は、作業におけるミスや事故を抑制し、効率的な作業を実施するために有用な情報である。

（ナレッジ情報抽出編集用ＧＵＩ）
次に、ナレッジ情報抽出編集装置４０の表示装置４１に表示されるＧＵＩについて説明する。ナレッジ情報抽出編集装置４０において、ユーザは、表示装置４１において、作業時に記録された映像データや、作業時に記録された音声データから変換されたテキストデータ等を確認および適宜修正ながら、ナレッジ情報の抽出作業および編集作業を行うことができるようになっている。

図１７は、本実施形態に係るナレッジ情報の抽出作業および編集作業に用いられるＧＵＩの一例を示す図である。図１７には、表示装置４１の画面上に表示されたＧＵＩが図示されている。

表示装置４１の画面上に表示されるＧＵＩは、複数の表示領域を有している。ＧＵＩの左上側には、作業時に記録された映像データ（撮影動画）を表示する動画表示領域４２１が設定されている。ＧＵＩの右上側には、抽出または編集の対象となるナレッジ情報を表示するナレッジ情報表示領域４２２が設定されている。ＧＵＩの中央部には、抽出または編集の対象となる要素作業の作業項目や、当該要素作業の前後に実施される要素作業の作業項目を表示する作業項目表示領域４２３が設定されている。ＧＵＩの下側には、映像データや音声データのタイムラインを表示するタイムライン表示領域４２４が設定されている。

ナレッジ情報抽出編集装置４０が、ナレッジ情報の抽出対象である所望の作業行動記録データ（映像データおよび音声データ）を読み込むと、映像データおよび音声データがタイムライン表示領域４２４に表示される。タイムライン表示領域４２４は横軸方向にタイムライン（時間軸）が設定されており、図１７に示すように、映像データのサムネイル画像がタイムライン上に表示される。また、音声データも同様にタイムライン上に表示され、特に、音声認識処理により音声データから変換されたテキストデータが存在する時間位置には音符記号が表示される。

タイムライン表示領域４２４において、例えば特定の時間（タイムコード）がマウス等により指定された場合には、指定された時間に対応する映像が動画表示領域４２１に再生されるようになっている。また、例えば音符記号がマウス等により指定された場合には、音符記号に対応する音声が出力され、音声認識処理により得られたテキストが表示されるようになっている。ユーザは、映像や音声（または、音声が変換されたテキスト）を確認しながら、所望の時間を指定して１つの作業を複数の要素作業に分割し、ナレッジ情報表示領域４２２において、各要素作業に対して作業項目（作業名）を設定できるようになっている。各要素作業への分割および各要素作業に設定された作業名は、作業項目表示領域４２３の表示に反映される。

ナレッジ情報表示領域４２２には、マウス等により指定された要素作業の情報が表示される。図１７に示すＧＵＩの表示例では、ナレッジ情報表示領域４２２には、表示対象として指定された要素作業のＩＤ（要素作業ナンバー）、要素作業の時間（作業時間）、要素作業の作業名（作業項目）、要素作業における注意点および問い掛け確認メッセージ（ポイント）が表示されている。

また、ナレッジ情報表示領域４２２に表示された情報は編集可能であり、ユーザがキーボード等を用いて適宜修正できるようになっている。ナレッジ情報表示領域４２２には、例えば音声認識処理により音声データから変換されたテキストデータが自動的に表示され、ユーザがキーボード等を用いて適宜修正してもよい。あるいは、ナレッジ情報表示領域４２２がブランクな状態から、ユーザがキーボード等を用いて情報を入力してもよい。

ＧＵＩ上で編集されたナレッジ情報は、ユーザが保存の指示を入力することで、図１６に示すようにナレッジ情報データベース３２に格納される。また、ナレッジ情報データベース３２に格納されているナレッジ情報が読み込まれて、不足しているナレッジ情報の追加や修正等が行われた後、ナレッジ情報データベース３２に再び格納されてもよい。

このように、作業を記録した映像データおよび音声データからナレッジ情報を抽出または編集するためのＧＵＩがユーザに提供されることで、ユーザはナレッジ情報の抽出作業や追加、変更等の編集作業を容易に行うことができるようになる。

また、図１８は、本実施形態において、複数の熟練者の作業を表示するＧＵＩの一例を示す図である。図１８には横軸方向に時間軸が設定されており、ある特定の作業（同一の作業）に関して複数の熟練者Ａ～Ｄが実施した作業の順番および作業時間が表示されている。

ある特定の作業（同一の作業）に関して、複数の熟練者Ａ～Ｄがそれぞれ異なるノウハウを有している場合がある。例えば、図１８に示す作業では、「パソコン側面のネジ締め作業」、「パソコン裏面のネジ締め作業」、「外枠の組立」の各作業が実施されているが、複数の熟練者Ａ～Ｄはそれぞれ作業に要する時間が異なっている。また、特に熟練者Ｃは、他の熟練者Ａ、Ｂ、Ｄとは異なる順番で作業を実施している。

図１８に示すＧＵＩの表示によれば、複数の熟練者が実施する作業の順番や時間等の差異を視覚的に把握できるようになり、当該差異を明確にした議論を行うことができるようになる。また、図１７に示すＧＵＩと同様の構成として、図１８に示す複数の熟練者が実施する作業のそれぞれのナレッジ情報をナレッジ情報表示領域４２２に表示できるようにしてもよい。

さらに、図１８に示すＧＵＩ上を操作することで、同一の作業に関する複数の熟練者のナレッジ情報を統合（マージ）した統合ナレッジ情報を生成できるようにしてもよい。この場合、複数の熟練者に係るナレッジ情報を比較する機能をナレッジ情報抽出編集装置４０に設けて、複数のナレッジ情報間で差異のある点や類似または共通している点を、例えば強調表示等によって示すようにしてもよい。さらに、複数の熟練者に係るナレッジ情報を比較して、類似または共通している点を自動で統合することで統合ナレッジ情報を自動で生成できるようにしてもよい。

また、図９の具体例および図１６のナレッジ情報データベース３２のレコードによって示されているように、上述した実施形態では、例えば「作業１」の終了後に「作業２」を開始する、「作業２」の終了後に作業３を開始する・・・というように、時間軸に沿って一方向に流れる作業が定義されている。

しかしながら、実際に実施される作業の中には、作業中に発生する条件に応じて複数の分岐作業に遷移するものがある。このような分岐作業が存在する一例としては、例えば、作業中にランプが赤色点灯した場合には別の作業（例えば、当初予定していなかった別の部品の交換）を実施する必要がある場合等が挙げられる。

このような分岐作業が存在する作業を定義するために、ナレッジ情報抽出編集装置４０において、ユーザが作業の順番を定義できるようにしてもよい。図１９は、本実施形態において、ユーザが作業の順番を定義できるようにするためのＧＵＩの一例を示す図である。

例えば、ナレッジ情報抽出編集装置４０のＧＵＩ上には、作業ナンバーまたは要素作業ナンバー（作業ＩＤ）単位のボックスが用意されている。ユーザは、画面上でマウス等を操作しながら、フローチャートを作成する要領で作業ＩＤ単位のボックスを配置および接続することで、作業の順番を定義できるようになっている。図１９には、作業ＩＤ単位のボックスがＧＵＩ上に配置された状態の一例が示されている。図１９では、まず「ＩＤ００１」の作業を実施し、次に「ＩＤ００２」の作業を実施し、この後に条件分岐を配置して、ランプが赤色点灯している場合には「ＩＤ００４」の作業を実施し、ランプが赤色点灯していない場合には「ＩＤ００３」の作業を実施することが定義されている。

なお、分岐作業を追加する必要がある場合には、その分岐作業（例えば、ランプが赤色点灯した場合に実施される別の部品の交換作業）のみを実施して分岐作業映像データおよび分岐作業音声データを記録し、これらのデータから分岐作業について熟練者が熟知している情報をナレッジ情報として抽出して、ナレッジ情報データベース３２のレコードに追加すればよい。

本実施形態では、各作業または各要素作業は、ナレッジ情報データベース３２のレコード単位で管理されている。このようなレコード単位の管理により、ユーザは、各作業または各要素作業を１つの単位（オブジェクト）として捉えることができる。その結果、ユーザは、オブジェクトの組み合わせの変更やオブジェクトの並べ替え等のような直感的な操作により、フローチャートを描く形式で、各作業または各要素作業の順番や組み合わせを容易に定義することができるようになっている。

（ナレッジ情報の利用）
次に、本実施形態に係るナレッジ情報の利用について説明する。

ナレッジ情報データベース３２に登録されたナレッジ情報は、作業マニュアルの生成や作業誘導コンテンツの生成等の様々な用途に利用することができる。

（作業マニュアルの生成）
作業マニュアル生成装置５０は、ナレッジ情報データベース３２に登録されたナレッジ情報を利用して作業マニュアルを生成できるように構成されている。作業マニュアル生成装置５０によって生成される作業マニュアルには、例えば、熟練者が実施する各作業または各要素作業の順番や行動、作業時の注意ポイント等が記載される。

作業マニュアルの形式は、特に限定されるものではないが、例えば文書データの形式で生成されてネットワーク５を通じて各事業所や作業者へ配布されてもよく、紙媒体に印刷されて配布されてもよい。また、例えば動画形式の作業マニュアル（動画マニュアル）が生成され、ｗｅｂを通じて動画マニュアルを閲覧できるようにしてもよい。この場合、作業途中の状態や作業完了時の状態を記録した写真データが作業マニュアルに含まれてもよい。作業実施者は、その写真データと実際の作業状態とを比較することで、ミスや事故に繋がる状態となっていないか、作業完了時の状態が正しい状態となっているか等を視覚的に確認することができる。さらには、作業マニュアルの生成に利用されたナレッジ情報の基データである作業行動記録データ（映像データおよび音声データ）も閲覧できるようにすることで、実際の作業時の様子が確認できるようにしてもよい。

（作業誘導コンテンツの生成）
作業誘導コンテンツ生成装置６０は、ナレッジ情報データベース３２に登録されたナレッジ情報を利用して作業誘導コンテンツを生成できるように構成されている。作業誘導コンテンツは、例えば、非熟練作業者の作業の支援や誘導または作業訓練を行う機能を有する作業支援装置で用いられる情報である。

作業誘導コンテンツ生成装置６０によって生成される作業誘導コンテンツには、例えば、熟練者によって実施される各作業または各要素作業の順番や行動、作業時の注意ポイント等が含まれる。また、作業誘導コンテンツに、作業途中の状態や作業完了時の状態を記録した写真データが含まれ、作業支援を受ける作業者が、その写真データと実際の作業状態とを比較できるようにしてもよい。作業支援装置は、非熟練作業者が作業を実施する際に、作業誘導コンテンツに基づいて作業の順番や行動、作業時の注意ポイント等を映像、画像、音声、テキスト等により提示することで、熟練者に係るナレッジ情報に基づく作業が実施されるよう誘導したり、熟練者に代わって作業の指導を行ったりすることができ、これにより、作業ミスや事故等を防止したり、非熟練作業者の作業訓練を行ったりできるようになっている。

なお、作業誘導コンテンツ生成装置６０は、作業を支援する支援対象の作業者のスキルに応じた作業誘導コンテンツを生成してもよい。例えば、作業に不慣れな作業者に対しては、ナレッジ情報に含まれている作業の順番や行動、作業時の注意ポイント等を省略することなく提示し、さらに問い掛け確認等による作業の確認を促すような作業誘導コンテンツを生成する一方、作業にある程度習熟している作業者に対しては、提示する情報や問い掛け確認等を省略した作業誘導コンテンツを生成してもよい。

（作業支援時に発生した不明点のフィードバック編集）
また、作業誘導コンテンツを用いて作業を実際に支援した際に、例えば作業支援を受けている作業者が理解できず、作業を誘導することができない点が発生することがある。このような場合には、作業支援時に発生した不明点をナレッジ情報にフィードバックして、当該不明点が発生しないようにナレッジ情報を更新することが望ましい。このとき、必要に応じて熟練者に不明点を解消するための質問を行い、ナレッジ情報抽出編集装置４０において、熟練者からの回答を反映したナレッジ情報の編集を行うことで、ナレッジ情報を改善することができる。

また、本発明に係る技術は、作業支援のコンテンツ生成の容易化を目的として、熟練者に関わらず作業者により実施される作業の作業項目や作業順番を抽出して保存する用途に適用されてもよい。

また、本実施形態では、各種装置に対する保守、点検等を実施する現場の作業を一例に挙げて説明したが、本発明に係る技術は、その他に、料理や家電／家具の取付けまたは組立て支援等において実施されてもよい。

以下、本発明に係る技術を、料理に適用した場合の一例について説明する。

料理の分野には、例えば、各家庭特有の調理方法である所謂「お袋の味」というものが存在する。本発明に係る技術を用いることで、この「お袋の味」をナレッジ情報として保存し、かつ次の世代に伝承することが可能である。

具体的には、本発明に係る技術を利用することで、「お袋の味」の調理の様子を映像データおよび音声データとして記録し、映像データおよび音声データから「お袋の味」のナレッジ情報を抽出および管理することができるようになる。特に、スマートフォンやタブレットに搭載されたカメラおよびマイクを用いて記録を行うことで、各家庭で簡単に調理時の様子を記録することができる。

また、「お袋の味」の調理の様子を記録する際、「お袋の味」に熟知している人（上述の実施形態と同様、「お袋の味」を調理する調理実施者であってもよく、「お袋の味」の調理を指導する調理指導者であってもよい）の発話音声が記録される。この際、例えばスマートフォンから次の料理工程や調理での注意点や怪我防止のポイント等を質問形式で問いかけて、「お袋の味」に熟知している人に回答してもらうことが望ましい。また、作業実施者である熟練者や観察者は、映像キャプチャ機能やスチルカメラ等を用いて、各料理工程における完成状態や最終的な盛り付け状態等を映像または画像として記録してもよい。また、味覚センサ等を用いて、各工程の味付けが特定できるデジタルデータ（味付けデータ）を記録してもよい。

上述した実施形態と同様、このようにして記録した調理の様子から抽出した「お袋の味」のナレッジ情報を利用して調理マニュアルを生成してもよい。また、スマートフォンやタブレットを介して画面や音声で次の世代に「お袋の味」を伝承するための調理誘導コンテンツを生成してもよい。

なお、本発明は、上記の実施形態や変形例に限定されるものではなく、本発明の技術的思想を逸脱しない範囲における種々の変形例および設計変更等をその技術的範囲に包含するものである。

以上説明したように、本発明は、適切に管理および編集可能な状態となるよう熟練者のナレッジ情報を抽出することができるという効果を有しており、ナレッジ情報の抽出および利用に係る技術全般に有用である。

１ ナレッジ情報抽出システム
２ 作業実施者
５ ネットワーク
１０ 作業者端末
１１ 作業映像取得装置
１１ａ 映像取得部
１２ 作業音声取得装置
１２ａ 音声取得部
１３ 各種センサ（知覚情報検知装置）
１３ａ センサ接続部
１４、３０１、４０１、５０１、６０１ 制御部
１５、３０５、４０５、５０５、６０５ メモリ
１５ａ 映像記録プログラム
１５ｂ 音声記録プログラム
１５ｃ 知覚情報記録プログラム
１５ｄ、３０５ｂ 情報送受信プログラム
１６、３０３、４０３、５０３、６０３ ストレージ
１７、３０２ 通信部
１８、３０６、４０４、５０４、６０４ ユーザインタフェース接続部（ＵＩ接続部）
１９、３０９、４０６、５０６、６０６ 電源供給部
２０、３１０、４１０、５１０、６１０ バス
２１、４２、９２ 音声出力装置
３０ データベース管理サーバ
３１ 作業行動記録データベース（作業行動記録ＤＢ）
３２ ナレッジ情報データベース（ナレッジ情報ＤＢ）
４０ ナレッジ情報抽出編集装置
４１、９１ 表示装置
４３ 操作入力装置
５０ 作業マニュアル生成装置
６０ 作業誘導コンテンツ生成装置
９０ 熟練者端末
９３ 音声取得装置
１１１ マイク付きカメラ
１１２ カムコーダ
３０４ データベース接続部
３０５ａ データベース処理プログラム
３０７、４０２、５０２、６０２ 外部装置接続部
３０８ 認証部
４０５ａ 映像データ処理プログラム
４０５ｂ 音声データ処理プログラム
４０５ｃ ナレッジ情報抽出プログラム
４０５ｄ ナレッジ情報編集プログラム
４０５ｅ、５０５ｂ、６０５ｃ データベースアクセスプログラム
４２１ 動画表示領域
４２２ ナレッジ情報表示領域
４２３ 作業項目表示領域
４２４ タイムライン表示領域
５０５ａ 作業マニュアル生成プログラム
６０５ａ 作業誘導コンテンツ生成プログラム
６０５ｂ スキル情報取得プログラム

Claims (19)

1. 作業実施者が実施する作業の映像を取得する作業映像取得装置と、
   前記作業実施者および前記作業を観察する観察者の少なくとも一方が前記作業に関して発話した発話音声を取得する作業音声取得装置と、
   前記作業映像取得装置により取得した前記作業の映像および前記作業音声取得装置により取得した前記発話音声を、それぞれ作業映像データおよび作業音声データとして記録する作業行動記録データベースと、
   前記作業実施者および前記観察者の少なくとも一方が前記作業に熟知している熟練者であって、前記作業行動記録データベースに記録された前記作業映像データおよび前記作業音声データに基づき、前記作業について前記熟練者が熟知している情報をナレッジ情報として抽出および編集するナレッジ情報抽出編集装置と、
   前記ナレッジ情報抽出編集装置により抽出された前記ナレッジ情報を記録するナレッジ情報データベースと、を備えており、
   前記ナレッジ情報抽出編集装置は、前記作業映像データおよび前記作業音声データから前記ナレッジ情報を抽出または編集するユーザ操作を可能にする抽出編集処理部と、前記抽出編集処理部で用いられるグラフィカルユーザインタフェースを表示する表示部と、前記グラフィカルユーザインタフェースにおける前記ユーザ操作を可能にする操作入力部とを備え、
   前記グラフィカルユーザインタフェースは、前記作業映像データに係る映像を表示する領域と、前記ユーザ操作により編集可能な状態で前記ナレッジ情報を表示する領域と、前記作業映像データおよび前記作業音声データの再生位置を指定するためのタイムラインを表示する領域と、を有することを特徴とするナレッジ情報抽出システム。
2. 前記ナレッジ情報抽出編集装置は、前記作業に関する内容を含む音声に基づいて、前記作業映像データおよび前記作業音声データを要素作業に分割することを特徴とする請求項１に記載のナレッジ情報抽出システム。
3. 前記ナレッジ情報抽出編集装置は、前記作業音声データをテキストデータに変換する音声認識処理部を備え、前記音声認識処理部により得られた前記テキストデータから前記作業に関するナレッジ情報を抽出することを特徴とする請求項１または２に記載のナレッジ情報抽出システム。
4. 前記ナレッジ情報抽出編集装置は、同一作業に関する複数の熟練者に係るナレッジ情報を抽出し、前記複数の熟練者のナレッジ情報を統合した統合ナレッジ情報を生成することを特徴とする請求項１から３のいずれか一項に記載のナレッジ情報抽出システム。
5. 所定の作業中に発生する条件に応じて複数の分岐作業が存在する場合には、前記作業映像取得装置および前記作業音声取得装置が、各分岐作業の映像および音声を取得して、前記作業行動記録データベースが、前記各分岐作業の分岐作業映像データおよび分岐作業音声データとして記録し、
   前記ナレッジ情報抽出編集装置は、前記各分岐作業の前記分岐作業映像データおよび分岐作業音声データから、前記各分岐作業について前記熟練者が熟知している情報をナレッジ情報として抽出し、前記所定の作業に関するナレッジ情報に前記各分岐作業のナレッジ情報を追加することを特徴とする請求項１から４のいずれか一項に記載のナレッジ情報抽出システム。
6. 前記ナレッジ情報抽出編集装置は、前記作業の作業項目、作業内容、作業順番、作業時間を前記ナレッジ情報として抽出することを特徴とする請求項１から５のいずれか一項に記載のナレッジ情報抽出システム。
7. 前記ナレッジ情報抽出編集装置は、前記作業において注意すべきポイントを前記ナレッジ情報として抽出することを特徴とする請求項６に記載のナレッジ情報抽出システム。
8. 前記作業映像取得装置は、前記作業実施者としての熟練者が実施する作業の映像を前記作業実施者の目線で撮影し、前記作業音声取得装置は、前記作業中の前記熟練者の発話音声を収音することを特徴とする請求項１から７のいずれか一項に記載のナレッジ情報抽出システム。
9. 前記作業映像取得装置は、前記作業実施者としての熟練者が実施する作業の映像を前記作業実施者を観察する観察者の目線で撮影し、前記作業音声取得装置は、前記熟練者と前記観察者との会話音声を収音することを特徴とする請求項１から７のいずれか一項に記載のナレッジ情報抽出システム。
10. 前記作業映像取得装置は、前記作業実施者が実施する作業の映像を前記作業実施者の目線で撮影し、前記作業音声取得装置は、前記作業実施者と前記作業を指導する熟練者との会話音声を収音することを特徴とする請求項１から７のいずれか一項に記載のナレッジ情報抽出システム。
11. 前記熟練者は、前記作業映像取得装置により取得した前記作業の映像をネットワークを通じて確認し、前記ネットワークを通じて前記作業実施者と会話することを特徴とする請求項１０に記載のナレッジ情報抽出システム。
12. 前記作業音声取得装置は、作業に関する第三者からの質問に対して前記熟練者が回答する発話音声を収音することを特徴とする請求項１から１１のいずれか一項に記載のナレッジ情報抽出システム。
13. 前記作業音声取得装置は、前記作業前または前記作業後に前記熟練者が前記作業に関して発話した発話音声を収音することを特徴とする請求項１から１２のいずれか一項に記載のナレッジ情報抽出システム。
14. 作業時に前記作業実施者が知覚する知覚情報を検知する知覚情報検知装置を備え、
    前記作業行動記録データベースは、前記作業映像データおよび前記作業音声データに加えて、前記知覚情報検知装置で検知された知覚情報を知覚データとして記録し、
    前記ナレッジ情報抽出編集装置は、前記作業映像データおよび前記作業音声データに加えて、前記知覚データに基づき、前記熟練者が熟知している情報を前記ナレッジ情報として抽出することを特徴とする請求項１から１３のいずれか一項に記載のナレッジ情報抽出システム。
15. 前記ナレッジ情報データベースに記録された前記ナレッジ情報に基づき、前記作業に関する作業マニュアルを生成する作業マニュアル生成装置を備えることを特徴とする請求項１から１４のいずれか一項に記載のナレッジ情報抽出システム。
16. 前記ナレッジ情報データベースに記録された前記ナレッジ情報に基づき、作業者により実施される前記作業を支援するための作業誘導コンテンツを生成する作業誘導コンテンツ生成装置を備えることを特徴とする請求項１から１５のいずれか一項に記載のナレッジ情報抽出システム。
17. 前記作業誘導コンテンツ生成装置は、前記作業を支援する支援対象の前記作業者のスキルに応じた前記作業誘導コンテンツを生成することを特徴とする請求項１６に記載のナレッジ情報抽出システム。
18. 前記ナレッジ情報抽出編集装置は、前記作業誘導コンテンツを用いて前記作業を実際に支援した際に発生した不明点を解消するよう前記ナレッジ情報を更新することを特徴とする請求項１６または１７に記載のナレッジ情報抽出システム。
19. 複数のコンピュータにそれぞれ実装されたプロセッサにより実行されるナレッジ情報抽出方法であって、
    前記プロセッサが、作業実施者が実施する作業の映像を取得する作業映像取得ステップと、
    前記プロセッサが、前記作業実施者および前記作業を観察する観察者の少なくとも一方が前記作業に関して発話した発話音声を取得する作業音声取得ステップと、
    前記プロセッサが、前記作業映像取得ステップで取得した前記作業の映像および前記作業音声取得ステップで取得した前記発話音声を、それぞれ作業映像データおよび作業音声データとして作業行動記録データベースに記録する作業行動情報記録ステップと、
    前記プロセッサが、前記作業実施者および前記観察者の少なくとも一方が前記作業に熟知している熟練者であって、前記作業行動情報記録ステップで記録した前記作業映像データおよび前記作業音声データに基づき、前記作業について前記熟練者が熟知している情報をナレッジ情報として抽出するナレッジ情報抽出編集ステップと、
    前記プロセッサが、前記ナレッジ情報抽出編集ステップで抽出した前記ナレッジ情報をナレッジ情報データベースに記録するナレッジ情報記録ステップと、を有しており、
    前記ナレッジ情報抽出編集ステップにおいて、前記作業映像データおよび前記作業音声データから前記ナレッジ情報を抽出または編集するユーザ操作を可能にする抽出編集処理と、前記抽出編集処理で用いられるグラフィカルユーザインタフェースを表示部に表示する表示処理と、前記グラフィカルユーザインタフェースにおいて操作入力部を用いた前記ユーザ操作を可能にする操作入力処理とが実行され、
    前記グラフィカルユーザインタフェースは、前記作業映像データに係る映像を表示する領域と、前記ユーザ操作により編集可能な状態で前記ナレッジ情報を表示する領域と、前記作業映像データおよび前記作業音声データの再生位置を指定するためのタイムラインを表示する領域と、を有することを特徴とするナレッジ情報抽出方法。

Images