JP7316916B2

JP7316916B2 - 管理装置及びプログラム

Info

Publication number: JP7316916B2
Application number: JP2019215027A
Authority: JP
Inventors: 令子瀧塚
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2019-11-28
Filing date: 2019-11-28
Publication date: 2023-07-28
Anticipated expiration: 2039-11-28
Also published as: JP2021086401A

Description

本発明は、作業に関するテキスト情報と作業ログ情報とを連携させることで、作業に関して登録されている情報を有効に活用することができる管理装置及びプログラムに関する。

業務等に関する文書の検索関連技術として種々のものが存在する。

例えば、特許文献１はキー文書に類似した複数の記載レベルが混在する文書群を精度良く抽出できる類似文書抽出装置に関し、検索対象文書は何らかの作業について書かれた文書である場合を想定している。特許文献２の業務管理支援装置では、活動ログ情報および気象観測情報を用いて過去業務の中から類似の事案を見つけ出し、今後発生する可能性があるリスクの種類を推定すると共にその内容を評価して、推定されたリスクの種類とその内容の評価結果に基づいてマニュアル情報を検索し、業務を遂行する作業担当者の端末に提示する。

また、IT（情報技術）を活用したデータ収集などによる現場作業等の支援に関連した技術に関しても、以下の特許文献３～１１のように種々のものが存在する。こうした技術は、現場作業等に関連したITサービスマネージメント（ITSM、非特許文献１）の枠組みにおいても利用が期待されるものである。

特許文献３の安全管理システムでは、作業者端末から取得した状態情報と事故情報を含む作業者毎の安全管理データと、予め設定した状態判定基準データとを比較し、作業者が危険な状態にあると判断をしたときに通知する。対象とするデータは「暑さ指数と温湿度」「加速度と体位」「脈拍と疲労度」「騒音と疲労度」「移動量と休憩時間」である。

特許文献４のプラント管理システムでは、プラントなどの作業現場で作業者が端末を携帯する状況において、端末の位置からセンサを特定して計測対象についてのデータを収集し、同時に収集した画像、音声などと連携させて計測対象についての動作状況を認識して、作業者をサポートするための情報を作業者に提示する。作業者の動作状況を認識するためには、作業者から意識的にデータを収集する。

特許文献５の対話形式で認知する作業支援システムでは、作業者が音声で問いかけをすると、作業現場の状況を映像、音声、対象機器に付属のセンサから収集して対象機器の状態を認識して、タスクの完了度を作業者に伝える。特許文献６の情報処理装置では、撮像画像を解析し撮影時の環境情報や音声、生体情報を収集して解析することにより,被写体の状況を認識し、現場の臨場感を共有可能なようにこの認識状況を表示する。特許文献７の作業チェックシート読み合わせ・登録方法では、音声認識技術を利用して作業チェックシートの読み合わせを登録することにより作業の進捗を管理する。

特許文献８の状況管理システムでは、継手部材等の加工対象に対する加工状況(画像、日時、位置）の管理を支援するため、画像情報を含む状況情報を地図情報上にマッピングする。特許文献９の作業支援システムでは、保守・点検作業において作業者がウェアラブル端末を装着することにより作業環境と作業履歴とを記録した作業日誌を自動的に作成し、その際作業者のスキル情報も記憶していることから作業者のスキルにあったヘルプ情報も提供する。

特許文献１０の保守支援端末・システムでは、保守支援において、支援者候補に関する情報を予め記憶しておくことにより、作業者単独で作業にあたれない場合に支援者を選出し、共同で作業を実施する。特許文献１１の工事情報取得装置・管理システム・情報端末では、過去の撮影画像から将来の工事に活用できる情報を収集し、類似案件を検索するためには、工事の際に撮影された画像に写し込まれたテキストと物体の映像を認識してメタ情報として利用する。

特開2018-73353号公報特許第6349284号特開2018-180573号公報国際公開第2017/169276号特開2018-160232号公報特開2018-170714号公報特許5684419号特許6066797号特開2005-085190号公報特開2001-160097号公報特開2019-066920号公報

"ITSMSとは？"[online]，２０１７年，[令和１年１０月２３日検索], インターネット＜ＵＲＬ：https://www.itsmf-japan.org/aboutus/itsms.html＞

しかしながら、従来技術は、既に登録されている作業等に関する文書を検索することで作業等に関する知見を得ることを望んでいるユーザに対して、必ずしも十分な結果を与えることができないものであった。

特許文献１の技術では、文書間の記載レベルが異なるため、類似度の高い文書を抽出した場合であっても、抽出した文書には、ユーザが欲する詳細レベルまでの情報が含まれていたり、詳細レベルまで類似していたりするとは限らない。例えば、抽出後に作業を開始するユーザが作業のリスクに関する情報や、予防策を知りたい場合であっても、抽出した文書の中に目的の情報が書かれているとは限らない。従って、特許文献１における文書間の類似度の高さに基づく抽出結果は、将来的に類似の作業を実施しようとする場合、作業のノウハウやリスクについて取得したいユーザにとって必ずしもメリットになるとは限らないものであった。

特許文献２の技術では、過去の類似の事案を見付けることにより、効率的にリスクの予防策を見付けたり、リスクの発生時には迅速な対応策を見付けたりすることができる。さらに、気象観測情報という現場の生の環境情報を使用しているため、精度も高く、ユーザにとって理解し易い文書になっている。しかしながら、対応活動ログ情報が気象観測情報の影響をうける業務に関する技術であり、気象観測情報が影響しない屋内の運用業務などについては適用できないという問題点があった。

また、特許文献３～１１の技術は作業等の補助等に関するものであるが、作業等に関する文書を扱うものではないため、作業等に関する文書を検索するユーザに対して知見を与えることができないものであった。

上記従来技術の課題に鑑み、本発明は、作業に関するテキスト情報と作業ログ情報とを連携させることで、従来から作業に関して登録されている情報を有効に活用することができる管理装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は管理装置であって、複数の作業の各々について、当該作業について記述されたテキスト情報と、当該作業を実施した際に取得されるログ情報と、を紐づけて記憶している登録部と、ユーザより入力された検索クエリを用いて前記登録部を検索し、作業に紐づいているテキスト情報又はログ情報の少なくとも一方に前記検索クエリがヒットするような作業についての検索結果を出力する検索部と、を備えることを特徴とする。また、コンピュータを前記管理装置として機能させるプログラムであることを特徴とする。

本発明によれば、作業について記述されたテキストのみでなく、遠隔支援などで収集できる作業のログ情報に関しても検索の対象となることで、作業に関する検索を効率的に実施し、作業について登録されている情報を有効に活用することが可能となる。

一実施形態に係る管理システムの機能ブロック図である。一実施形態に係る管理システムの動作のフローチャートである。一実施形態に係る、個別の作業についての作業データを登録部に登録する手順のフローチャートである。ログ取得部の要素構成を示す機能ブロックを含む、端末の機能ブロック図である。提示部によるユーザに対する作業の詳細な作業データの提示を行う画面表示の例を示す図である。グラフとしてログ情報をユーザに参照可能に提供するインタフェースの例を、図５の例に対応する例として示す図である。一般的なコンピュータ装置70におけるハードウェア構成を示す図である。

図１は、一実施形態に係る管理システムの機能ブロック図である。管理システム100は、管理装置10及び端末20を備える。管理装置10はサーバとして構成することができ、企業などにおける文書管理システム（本実施形態による拡張的な機能を備えた文書管理システム）として実装することが可能である。端末20はHMD（ヘッドマウントディスプレイ、光学シースルー型でもビデオシースルー型でもよく、以下同様とする）等のウェアラブル端末等として構成されることで、作業を行う作業ユーザUwが作業現場に携行することが可能である。端末20は１つ以上存在してよいが、図１ではこのような１つ以上の端末20のうちの任意の１つを示している。管理装置10と端末20とはインターネットやLAN等を介して相互に通信可能に構成される。

管理装置10は、テキスト受付部11、ログ受付部12、認識部13、登録部14、検索部15及び提示部16を備える。端末20はログ取得部21及び補助提示部22を備える。

図２は、一実施形態に係る管理システム100の動作のフローチャートであり、管理システム100において予めデータベースを構築（ステップS1）してから、ユーザがこの管理システム100のデータベースを用いた検索（ステップS2）を行うことが可能となることを示すものである。（なお、ステップS2の検索は個別のユーザの所望に応じて個別のユーザごとに実行されるものであるため、ユーザによってはステップS2の検索を行わない場合もある。）後述するように、ユーザの立場においては、作業等の案件ごとに管理システム100に対して適宜、必要に応じて検索を行い、得られた知見をもとに当該作業に関するテキストやログの登録を行うことができる。当該登録された情報が追加されることにより、管理システム100のデータベースはその都度、更新されることとなる。

ステップS1では、データベースとしての登録部14を構築してから、ステップS2へと進む。ステップS2では、構築された登録部14を利用することで、検索ユーザUsが管理装置10に対して検索を行うことで検索結果を得て、当該フローは終了する。すなわち、管理システム100は、ステップS1で予め登録部14のデータベースを構築したうえで、ステップS2でユーザUsによる検索を可能とするものである。このステップS2での検索は構築済みの登録部14を用いて、任意のユーザが１回に限らず何回でも実施することが可能である。

なお、図２では、管理システム100がユーザからの検索に検索結果を返すには予め管理システム100に検索に足りるデータベースが構築されている必要があるため、当該構築するステップをステップS1として明示し、これを用いてユーザが実際に検索するステップをステップS2として区別している。管理システム100の立場ではなく個別のユーザの立場においてステップS1は不要であり、ユーザは作業ごとに管理システム100（既に所定規模のデータベースが構築されている）に対して適宜、必要に応じて検索（ステップS2）を行い、得られた知見をもとに当該作業に関するテキスト作成や実際の作業を行うことができる。当該登録された情報が追加されることにより、管理システム100のデータベースはその都度、更新されることとなる。この、作業ごとに登録して更新される情報の多数の作業に渡る蓄積として、ステップS1は構成されるものである。この多数の作業に関して、各作業を担当するユーザはその都度、変わりうるものであってよい。

すなわち、図２のステップS1のデータベース構築は、業務上等での多数の作業に関してそれぞれ、作業に関するテキスト入力と、実際の作業におけるログ収集とを受け付けることによって構築することができる。（上記の通り、既に検索に足りる所定規模のデータベースが構築されていれば、この作業に関する参考情報を得るため、ユーザはステップS2の検索を行うことが可能である。）ここで説明のため、多数（合計でN件とする）の作業の各々のIDを整数i=1,2,3,…,Nで識別して作業W(i)と表記する。個別の作業W(i)は例えば、通信設備における保守作業などである。データベースとして構築された登録部14は、各作業W(i)に関してテキスト受付部11で受け付けたテキスト情報T(i)と、ログ受付部12で受け付けたログ情報L(i)と、このログ情報L(i)に対して認識部13で認識処理を適用して得られた認識結果R(i)と、を紐づけたデータベース情報DBを保存するものである。すなわち、このデータベース情報DBは集合表記で以下の式(1)のように書くことができる。
DB={(T(i),L(i),R(i))|i=1,2,3,…,N} …(1)

説明のため、式(1)のデータベース情報DBの全体のうち、作業W(i)に関する個別の情報を作業データD(i)=(T(i),L(i),R(i))と表記する。（これによりDB={D(i)|i=1,2,3,…,N}と表記できる。）図３は、一実施形態に係る、個別の作業W(i)についての作業データD(i)を登録部14に登録する手順のフローチャートである。図２のステップS1は、この図３のフローチャートを多数の作業W(i)(i=1,2,3,…,N)についてそれぞれ実施して、登録部14に個別の作業データD(i)を蓄積することによって構成されるものである。

図示されるように図３のフローは７つのシーケンシャルなステップS11～S17で構成される。このうち、ステップS11,S12,S13,S16がユーザによるテキスト入力や作業実施に関するステップであるが、上記説明したように、検索に足りるデータベースが既に構築されていれば、ユーザはテキスト入力や作業の際に管理システム100に対して検索を行うことで参考となる情報を検索結果として得ることができる。この検索ステップが、ステップS11,S12,S13及びS16内に含まれオプションとして実施可能なサブステップS110,S120,S130及びS160として示されている。

なお、図３のサブステップS110,S120,S130及びS160は、管理システム100に対してユーザが検索を行う必要性を感じて実際に検索する状況の例として、作業に関するテキスト作成時や作業時（作業前の準備時も含む）の例を示すものである。図３に示されるようなテキスト作成時や作業時以外の任意の状況においても、（すなわち、作業テキスト等の作成や作業の有無を問わず、）ユーザは自らの必要性に応じて自由に管理システム100に対して検索を行うことが可能である。すなわち、図２のステップS2の検索タイミングは、このように個別のユーザが望む任意のタイミングであってよい。

ステップS11では、ユーザUt1が作業W(i)に関する作業計画テキストT1(i)をテキスト受付部11に対して入力することで、テキスト受付部11においてこの作業計画テキストT1(i)の入力を受け付けてから、ステップS12へと進む。このステップS11内において、ステップS110として、ユーザUt1（この場合、検索ユーザUsに該当）は検索を行ってもよい。ステップS12では、作業W(i)について受け付けられた作業テキストT1(i)をユーザUt2が読んで確認したうえで、これに対する作業承認テキストT2(i)をテキスト受付部11に対して入力することで、テキスト受付部11においてこの作業承認テキストT2(i)の入力を受け付けてから、ステップS13へと進む。このステップS12内において、ステップS120として、ユーザUt2（この場合、検索ユーザUsに該当）は検索を行ってもよい。

なお、ステップS11において作業計画テキストT1(i)を入力するユーザUt1は例えばこの作業W(i)を実際に行うユーザであり、業務上において作業W(i)を遂行する承認を得るために、実際に作業W(i)を行う前に自身で作業計画テキストT1(i)を作成して入力する。作業計画テキストT1(i)は、作業W(i)の計画を記述したものとして、例えば作業W(i)の内容の記述を含んで構成されるものである。もしもユーザUt1が作業計画テキストT1(i)の入力に慣れていないユーザであった場合、ユーザUt1はステップS110において検索を行い、作業W(i)と類似の作業についての作業計画テキストなど（作業承認テキストや作業報告テキストでもよい）を検索部15で絞り込み、絞り込んだ結果を提示部16を利用して提示することにより、作業W(i）と類似の作業についてのデータを参考にしながら、作業計画テキストT1(i)を入力できるため、作業計画入力作業の効率化が進む。

また、ステップS12において作業承認テキストT2(i)を入力するユーザUt2は例えばこの作業W(i)を遂行する承認権限を有するユーザであり、作業W(i)の作業計画テキストT1(i)を読んだうえでこの計画に対する承認を与える作業承認テキストT2(i)を作成して入力する。作業承認テキストT2(i)は、作業W(i)の遂行を承認する旨を表現したものとして、例えば作業W(i)に対するアドバイス等の記述を含んで構成されるものであってもよいし、承認する旨を表す定型文で構成されるものであってもよい。もしもユーザUt2が作業承認テキストT2(i)の入力に慣れていない承認者であった場合、ユーザUt2はステップS120において作業W(i)と類似の作業についての作業承認テキストなど（作業計画テキストや作業報告テキストでもよい）を検索部15で絞り込み、絞り込んだ結果を提示部16を利用して提示することにより、作業W(i)と類似の作業についてのデータを参照にしながら作業承認テキストT2(i)を入力できるため、承認作業の効率化が進む。

なお、ステップS11,S12での作業計画テキストT1(i)及び作業承認テキストT2(i)の入力は、テキスト受付部11において既存の文書管理システムのインタフェース（例えばウェブページを介して閲覧や入力を可能とするブラウザ等）を利用して、作業W(i)に関するIDであるiを予め付与したうえで、このIDを介して対応するユーザUt1,Ut2に対して電子メールを送信する等により、入力を促すようにすることができる。図３では示されていないが、作業計画テキストT1(i)の内容が不十分であると判断してステップS12でユーザUt2が承認しなかった場合は、その旨がユーザUt1に対して通知され、ユーザUt1は再度、ステップS11において適切に記述された作業計画テキストT1(i)を入力すればよい。

ステップS13では、端末20を携行するユーザUwが、ステップS11の作業計画テキストT1(i)（及びステップS12の作業承認テキストT2(i)）に即して、現場において作業W(i)を実施し、当該実施している間においてログ取得部21が作業W(i)に関するログ情報L(i)を取得してから、ステップS14へと進む。このステップS13内（作業実施前の準備時も含む）において、ステップS130として、ユーザUw（この場合、検索ユーザUsに該当）は検索を行ってもよい。ステップS14では、ステップS13で端末20のログ取得部21で取得したログ情報L(i)を管理装置10の側に送信してログ受付部12においてこのログ情報L(i)を受け付けてからステップS15へと進む。

ステップS13においてログ取得部21で取得するログ情報L(i)は、現場において時系列上での作業W(i)を記録する１つ以上の任意種類の時系列的な情報で構成することができ、詳細は後述する。ステップS13で端末20を携行し、これによりログ取得部21によるログ情報L(i)の取得を可能とするユーザUwは、ステップS11で作業W(i)の作業計画テキストT1(i)を入力したユーザUt1と同一であってもよいし、別のユーザであってもよい。別のユーザである場合は、ステップS11の作業計画テキストT1(i)（及びステップS12の作業承認テキストT2(i)）等を参照して作業W(i)を把握したうえで、作業W(i)に取り掛かるようにすればよい。また、もしもユーザUwが作業W(i)の実施に慣れていないユーザであった場合、ユーザUwはステップS130において作業W(i)と類似の作業についての登録データを検索部15で絞り込み、絞り込んだ結果を提示部16を利用して提示することにより、作業W(i）と類似の案件についてのデータを参考にしながら、作業W(i)を実施するための準備をすることができるため、作業を安全に実施し易くなったり、作業の効率化を進めることが可能である。

ステップS15では、ステップS14にてログ受付部12で受け付けたログ情報L(i)に対して認識部13が認識処理を適用することにより、ログ情報L(i)に記録されている作業W(i)に対する認識結果R(i)を得てから、ステップS16へと進む。

ここで、ログ情報L(i)が、作業W(i)に関して開始時刻t_Sから終了時刻t_Eまでの各時刻t(t_S≦t≦t_E)に渡って記録されているものとし、ログ情報L(i)のうち時刻tの情報をL(i)_[t]と表記する。（すなわち、L(i)={L(i)_[t]|t_S≦t≦t_E)}と表記できる。）認識部13で得られる認識結果R(i)はこの各時刻tにおける作業内容の認識結果を識別子TR(i)_[t]として与えたものとして構成される。（すなわち、R(i)={TR(i)_[t]|t_S≦t≦t_E)}と表記できる。）

なお、上記では時系列上のログ情報L(i)との関係での説明のため各時刻tの認識結果識別子TR(i)_[t]としたが、ユーザUwによる時系列上の作業W(i)は一般に時系列上での区間ごとの事象で構成されるものであるため、実際にはこのような個別事象の時間区間TD={t|t_a≦t<t_b}ごとの認識結果識別子TR(i)_[TD]が得られることとなる。（当該時間区間TD内の各時刻tでの認識結果識別子TR(i)_[t]は全て同じ内容となる。）

例えば、作業W(i)がサーバの保守作業である場合、認識結果R(i)は以下のような個別事象の時間区間ごとでの認識結果に対応する識別子（ID）で構成されうるものとなる。
第１の時間区間TD1={t|t₀≦t≦t₁}の認識結果識別子TR(i)_[TD1]＝「歩く」という認識結果に該当するID
第２の時間区間TD2={t|t₁≦t≦t₂}の認識結果識別子TR(i)_[TD2]＝「止まる」という認識結果に該当するID
第３の時間区間TD3={t|t₂≦t≦t₃}の認識結果識別子TR(i)_[TD3]＝「ケーブル抜き差し」という認識結果に該当するID
第４の時間区間TD4={t|t₃≦t≦t₄}の認識結果識別子TR(i)_[TD4]＝「歩く」という認識結果に該当するID

上記では識別子が付与されている個別事象の認識結果の例は「歩く」、「止まる」、「ケーブル抜き差し」等の作業者の作業動作を記述したものであるが、この他にも例えば、作業結果として何らかのトラブルがあった旨を記述したものとして個別事象の認識結果が構成されることもありうる。すなわち、認識結果は、作業W(i)を構成している個別事象（作業者に関する事象、作業対象であるサーバ等に関する事象、作業環境に関する事象など）を記述する任意内容のものとなりうるものであり、後述するように予め定義しておき、識別子を付与しておく。

ステップS15において認識部13が時系列のログ情報L(i)に対して認識結果識別子の時系列として認識結果R(i)を得るための認識処理は、機械学習により予め学習しておいたモデルを利用することにより可能である。その詳細は、ステップS13におけるログ取得部21で取得するログ情報L(i)の詳細と共に後述する。

ステップS16では、ユーザUt3が作業W(i)に関する作業報告テキストT3(i)をテキスト受付部11に対して入力することで、テキスト受付部11においてこの作業報告テキストT3(i)の入力を受け付けてから、ステップS17へと進む。このステップS16内において、ステップS160として、ユーザUt3（この場合、検索ユーザUsに該当）は検索を行ってもよい。ステップS16での入力を行うユーザUt3は、現場での作業W(i)の実施状況を把握してその報告が可能なユーザであればよく、ステップS13で実際に作業W(i)を実施したユーザUwと同一ユーザであってもよいし、ステップS11で作業計画テキストT1(i)を入力したユーザUt1と同じであってもよいし、その他のユーザであってもよい。作業報告テキストT3(i)は、計画され承認された作業W(i)を実施した結果を報告するものとして、ユーザUt3が作成して入力する。例えば作業W(i)において予期せぬトラブル等があった場合はこれに関する記述を含め、今後に類似する作業が行われる際に類似トラブルを防ぐための知見を与えることが可能なように入力することが望ましい。もしもユーザUt3が作業報告テキストT3(i)の入力に慣れていない承認者であった場合、ユーザUt3はステップS160において作業W(i)と類似の作業についての作業報告テキストなど（作業計画テキストや作業承認テキストでもよい）を検索部15で絞り込み、絞り込んだ結果を提示部16を利用して提示することにより、作業W(i)と類似の作業についてのデータを参照にしながら作業報告テキストT3(i)を入力できるため、作業報告入力の効率化が進む。

なお、ステップS16での作業報告テキストT3(i)の入力も、ステップS11,S12での作業計画テキストT1(i)及び作業承認テキストT2(i)の入力と同様に、テキスト受付部11において既存の文書管理システムのインタフェース（ウェブページのブラウザ等）を利用して、作業W(i)に関する付与済みのIDであるiを確認したうえで、このIDを介して対応するユーザUt3に対して電子メールを送信する等により、入力を促すようにすることができる。

ステップS17では、以上のステップS11～S16により得られた作業W(i)についての作業データD(i)を登録部14に登録（記録）して、当該フローは終了する。既に説明したように作業データD(i)は「D(i)=(T(i),L(i),R(i))」のようにテキスト情報T(i)、ログ情報L(i)及び認識結果R(i)で構成される。登録部14に登録されるテキスト情報T(i)はステップS11,S12及びS16においてテキスト受付部11で受け付けた作業計画テキストT1(i)、作業承認テキストT2(i)及び作業報告テキストT3(i)で構成されるものとし、（すなわち、T(i)=(T1(i),T2(i),T3(i))とし、）登録部14に登録されるログ情報L(i)はステップS14においてログ受付部12で受け付けたログ情報L(i)とし、登録部14に登録される認識結果R(i)はステップS15において認識部13で認識された認識結果R(i)とすればよい。

以上のように、多数の作業W(i)(i=1,2,3,…)についてそれぞれ図３のフローが実施されることで登録部14に個別の作業データD(i)が登録され、これらの蓄積により登録部14のデータベース情報DB={D(i)|i=1,2,3,…,N}が構築されるのが、既に述べた図２のステップS1である。こうして構築されたデータベース情報DBを参照して、図２のステップS2における検索を実施することができる。既に説明した通り、データベース情報DBが検索に足るものとして構築されている状況において、ステップS2の実施タイミングはユーザが検索の必要性を感じた任意のタイミングでよく、ユーザは所望の検索を行うことができる。ステップS2の検索が実行されるタイミングの例として、検索が役立つタイミング例である上記の図３のステップS110,S120,S130,S160が挙げられる。いずれのタイミングでステップS2が実行されても、具体的に以下のように検索を行うことができる。

一実施形態では、ステップS2ではユーザUsは検索クエリとなる語句Qt（単語やフレーズ、文など）および状態Qrを検索キー（検索クエリ）として検索部15に入力し、検索部15では登録部14が保存しているデータベース情報DBを検索して、この検索クエリQt,Qrがヒットするような作業データD(i)を検索結果リスト{D(i)}として、提示部16へと出力する。ここで、状態Qrに関しては、認識部13での認識結果の識別子として指定できるよう、識別子及び対応する認識結果（例として前述した「歩く」や「止まる」等の認識結果）を記載したメニュー等を予め用意しておき、ユーザUsは当該メニュー等を参照して状態Qrを識別子によって指定すればよい。ここで、ログ情報L(i)は映像等を含む生データであるため、ログ情報L(i)を直接に検索するのではなく、その認識結果R(i)を状態Qrの指定により検索する。

提示部16ではこの検索結果リスト{D(i)}をディスプレイ表示することでユーザUsに対して検索結果の表示を行う。この検索結果リスト{D(i)}を閲覧したユーザUsは、当該リスト内から所望の事例（作業W(i)）を提示部16に対して選択入力することで、提示部16では選択された事例の詳細として、作業データD(i)の詳細をユーザUsに対してさらに提示することができる。

ここで、検索部15が作業データD(i)=(T(i),L(i),R(i))に対して検索クエリQt,Qrで検索を行う場合、語句Qtにより作業に関するテキスト情報T(i)を検索し、且つ、状態Qrにより作業ログ情報L(i)が対応している認識結果R(i)を検索するようにすればよい。すなわち、検索結果リスト{D(i)}は以下の(a)ように表記できるものとなる。
{D(i)}={D(i)|「Qt∈T(i)」且つ「Qr∈R(i)」} …(a)

なお、上記の検索例は（１）テキスト情報T(i)と（２）作業ログ関連の情報としてログ情報L(i)及びその認識結果R(i)との２本立てで構成されるデータベースとしての登録部14に対して、AND検索をユーザUsが指定した場合のものであり、以下の(b)又は(c)に示される片方のみの検索や以下の(d)に示されるOR検索をユーザUsが指定して検索結果{D(i)}を得るようにしてもよい。このように、ステップS2では、テキスト情報及びログ関連の情報の２本立てで構成されるデータベースとしての登録部14に対して、検索条件の指定（２本立てのデータベースに対するANDやOR等の条件指定）も含めてユーザUsは検索を行うことが可能である。
{D(i)}={D(i)|「Qt∈T(i)」} …(b)
{D(i)}={D(i)|「Qr∈R(i)」} …(c)
{D(i)}={D(i)|「Qt∈T(i)」または「Qr∈R(i)」} …(d)

なお、上記(b)の場合は、検索結果を提示する際に、ユーザの利便性を図るために、各検索結果の状況データ（状態の識別子で区別する）に基づき、複数のカテゴリに分けて提示をしてもよい。例えば、絞りこまれた作業中に、「ケーブル抜去」作業を示す作業状態を含む案件が多数ある場合は、ケーブル抜去作業を含むものと含まないものに分けて、分別の基準も含めてユーザに提示すれば、ユーザはそれぞれの案件群の中に具体的にどの様な案件が含まれるかを推測しやすい。カテゴリ分けに関しては、予め設定しておくルールベース（例えば上記の例のように、検索結果に含まれる最多の状態に関して、各作業について当該最多の状態が含まれるか否かでカテゴリ分けする）で行えばよい。

一方、提示部16において検索結果リスト{D(i)}から選択された作業データD(i)の詳細をユーザUsに対してさらに提示する際には、ログ情報L(i)も含めて、作業データD(i)=(T(i),L(i),R(i))の全体をユーザUsに対する閲覧や視聴の対象として提供することができる。

以上の図２及び図３で示される実施形態による検索では特に、次の効果を奏することができる。すなわち、作業データD(i)=(T(i),L(i),R(i))のうち、テキスト情報T(i)は既存の文書管理システムと同様の枠組みで作業W(i)に関する計画、承認及び報告等を記載したテキスト情報で構成されるものであるため、仮に、このテキスト情報T(i)のみを検索対象とする従来手法の検索を採用したとすると、ユーザUsが所望の検索結果を得ることができない場合がある。例えばユーザUsがケーブル交換の作業事例について検索したい場合に、「ケーブル」との語句で検索しても、本来であれば「ケーブル」に関する作業が行われている「サーバ保守作業」（作業W(k)とする）に関して「保守」等の「ケーブル」とは別レベル（この場合、上位レベル）の語句で記述されたテキスト情報T(k)が登録されているとすると、「ケーブル」という語が含まれないために、この作業W(k)の結果を参照できないこととなる。

一方、本実施形態においては、従来のようにテキスト情報T(k)のみの１本立てのデータベース構成ではなく、作業ログ関連の情報としてのログ情報L(k)及びこれを検索可能とする認識結果R(k)を含めた２本立てデータベース構成により、効率的な検索が可能となる。すなわち、作業W(k)に関するテキスト情報T(k)に「ケーブル」の語が含まれなくとも、認識部13でログ情報L(k)を自動認識して得た認識結果R(k)の識別子にケーブルを用いた作業関連の識別子が含まれるようにすることが可能であるため、作業W(k)の結果を「ケーブル」の語句クエリQtによる検索結果としてのみでなく、ケーブルを用いた作業関連の識別子に対応する状態クエリQrによる検索結果としても参照することが可能となり、従来手法の検索とは異なり、業務上の記録を埋没させることなく有効活用することが可能となる。そして、クエリQt及び／又はQrによる「ケーブル」に関する検索がヒットした場合にはさらに、ログ情報L(k)に映像が含まれる場合、この映像を提示部16で提示して、ユーザUsに「ケーブル」に関する作業映像を提示することも可能となり、業務上の記録のさらなる有効活用が可能となる。（ここでは説明例として業務上の記録としたが、作業に関する任意の記録に関して同様の有効活用が可能となる。）

同様に、テキストは同じ内容であっても人によって表現が変わる表記揺れが存在しうることから、語句クエリQtのみでは効率的に検索できない場合であっても、本実施形態では状態クエリQrに指定可能な状態として予め所定の各種の状態（表記揺れが存在しえない状態）が定義されていることにより、状態クエリQrも用いることによって、テキストのみの場合における表記揺れの影響を受けることなく、効率的に検索することが可能となる。

なお、検索部15においてテキスト情報T(i)を検索クエリとしての語句Qtで検索する場合、テキスト情報T(i)内に語句Qtが含まれる場合（「Qt∈T(i)」となる場合）にヒットしたものとすればよい。また、検索部15においてログ情報L(i)をその認識結果R(i)に対する検索クエリとしての状態Qrで検索する場合に関しては、認識結果R(i)の状態Qrをその識別子で指定し、指定した状態Qrが認識結果R(i)の時系列上に１つでも含まれる場合（「Qr∈R(i)」となる場合）にヒットしたものとすればよい。

なお、検索クエリとしての語句Qt及び状態Qrに関してそれぞれ、１つ以上の語句や状態を検索条件と共に指定してよい。検索条件はANDやORやNOT等の任意の論理演算やこれらの組み合わせなど、ユーザU2が入力する任意の論理式で指定してよい。例えば、「テキスト情報T(i)が語句Qtを含まない」（NOT条件）且つ、「認識結果R(i)が２つの状態Qr1及びQr2を含む」(AND条件)という検索を行うこともできる。

以下、図２及び図３に示される実施形態での動作を実現する管理システム100の各部の詳細を説明する。

＜ログ取得部21＞
図４は、ログ取得部21の要素構成を示す機能ブロックを含む、端末20の機能ブロック図である。ログ取得部21は、各種のログ情報を取得する構成として撮影部31、録音部32、位置計測部33、変位計測部34、環境情報取得部35及び生体情報取得部36を備え、さらに、このログ情報に対してユーザUwが作業している現場でリアルタイムに認識処理を行う補助認識部37を備える。

なお、端末20に備わる補助認識部37及び補助提示部22は、ユーザUwが現場で作業を行う際の補助を行うための構成であり、これらを省略して図３のステップS13においてユーザUwが作業W(i)を行いログ取得部21においてそのログ情報L(i)を取得することも可能であるが、補助認識部37及び補助提示部22を利用することでユーザUwは作業W(i)に対する補助を受けながら作業W(i)を実施することが可能となる。特に、検索に足る多数（N件）の作業W(i)(i=1,2,3,…,N)についてのデータベース情報DBが構築され登録部14に登録済みとなった後に新たな作業W(N+1)をユーザUwが実施する場合には、登録部14のデータベース情報DBに記録されている作業W(N+1)の類似事例を活用した補助を受けることが可能となる。（既に述べたステップS130での作業前等における事前検索による調査等も可能である。）これらの補助認識部37及び補助提示部22による補助に関しては後述することとし、以下ではログ取得部21の各部（補助認識部37を除く）に関して説明する。

撮影部31はハードウェアとしてカメラを含んで構成され、ユーザUwが作業W(i)を行っている際の映像を撮影する。端末20が例えばHMDを含んで構成される場合、このHMDを装着するユーザUwの視界を撮影するように、ユーザUwの視線方向を向いたカメラを搭載しておくことで、撮影部31を実現することができる。

録音部32はハードウェアとしてはマイクを含んで構成され、ユーザUwが作業W(i)を行っている際の音声（ユーザUw自身の発声や、作業現場で発生しているその他の音声を含む）を録音する。位置計測部33はハードウェアとしては測位センサを含んで構成され、ユーザUwが携行している端末20の位置情報（すなわち、作業を行っているユーザUwの位置情報）を計測する。この測位センサによる位置情報の計測は任意の既存手法を用いてよく、GPS（全地球測位システム）や屋内GPSや、これらの組み合わせ等を用いてよい。

変位計測部34はハードウェアとしては変位センサ（加速度センサ、角速度センサ、方位センサなど）を含んで構成され、端末20及び／又は端末20を携行するユーザUwの変位情報を計測する。変位計測部34がユーザUwの変位情報を計測する場合には、任意の既存のモーションセンサによってユーザUwの身体部位（例えば頭、右手、左手など）ごとのユーザUwの動きとして変位情報を計測するようにしてもよい。

環境情報取得部35はハードウェアとしては照度、気圧、温度、湿度、騒音、臭度などの環境情報を取得する各種の環境情報センサを含んで構成され、これら各種の環境情報の全部又は一部を取得する。この環境情報は端末20を携行するユーザUwが存在している作業現場の環境に関するものとなる。

生体情報取得部36はハードウェアとしては各種の生体情報（バイタルデータ）センサを含んで構成され、端末20を携行して作業を行っているユーザUwの体温、心拍数、脈拍数、呼吸数、発汗量、脳波などの各種の生体情報の全部又は一部を取得する。この生体情報センサには任意の既存のものを用いてよく、ウェアラブルセンサとしてユーザUwが装着する等によりユーザUwの生体情報を取得することができる。

図３のステップS13においてログ取得部21では、以上の各部31～36の全部又は任意の一部のみを備える構成により、ユーザUwが現場で作業W(i)を行っている際の映像、音声、位置情報、変位情報、環境情報及び生体情報の全部又は任意の一部を作業W(i)の進行に沿った時系列上のログ情報L(i)として取得して、管理装置10のログ受付部12へと送信する。この送信は作業W(i)の進行に沿ってリアルタイムで行うようにしてもよいし、作業W(i)の際には端末20内の不図示の保存機構（メモリ等）にログ情報L(i)が取得される都度、逐次的に保存しておいて、作業W(i)が完了してから送信するようにしてもよい。

＜認識部13での認識処理のための学習＞
既に説明した通り認識部13では、ログ受付部12で受け付けた作業W(i)の時間進行に沿った時系列のログ情報L(i)に対して事前に学習済みのモデルを用いた認識処理を適用することで、作業W(i)の時間進行に沿った時系列の認識結果R(i)を得る。

一実施形態では、このモデル学習は、各種の情報で構成されるログ情報L(i)のうち所定の組み合わせから、認識結果R(i)のうち所定属性に関するものを推論するモデルを、個別にそれぞれ教師データを与えて学習するようにしてよい。

例えば、ログ情報L(i)のうち映像、音声及びユーザUwの身体の動きや生体に関するセンサーデータの全部又は一部から、認識結果R(i)のうちユーザの動作内容や作業状況（イベント）等（例えば「歩く」、「止まる」、「ケーブル交換中」）を各時刻tにおいて推論する第１のモデルを、対応する教師データを与えておいたうえで学習して構築するようにしてよい。また例えば、ログ情報L(i)のうち環境情報である温度及び／又は湿度から、認識結果R(i)のうち作業環境（例えば、「正常」又は「異常」）を各時刻tにおいて推論する第２のモデルを、対応する教師データを与えておいたうえで学習して構築するようにしてよい。認識部13により認識する際は、第１のモデルにより各時刻tにおいてユーザの動作内容や作業状況等の認識結果を得たものと、第２のモデルにより各時刻tにおいて作業環境の認識結果を得たものと、を認識結果R(i)として得ることができる。第１のモデルと第２のモデルとに関し、別個の認識結果の識別子を予め定義しておき、ユーザUsが検索部15で検索する際は、第１のモデルにおける１つ以上の識別子と、第２のモデルにおける１つ以上の識別子と、の両方又は片方を検索クエリの状態Qrとして指定することができる。

別の一実施形態では、各種の情報で構成されるログ情報L(i)の全てを入力として、認識結果R(i)を各時刻tにおいて得る単一のモデルを、対応する教師データを与えておいたうえで学習して構築するようにしてよい。例えばログ情報L(i)が映像、音声、ユーザUwの身体の動きや生体に関するセンサーデータ、温度及び湿度の５種類で構成される場合に、この全体を入力として認識結果R(i)の全体を推論するようにしてよい。例えば、ユーザの動作内容や作業状況が「歩く」、「止まる」、「ケーブル交換中」の３通りであり、作業環境が「正常」又は「異常」の２通りであり、これらの組み合わせとして３×２＝６通りの認識結果がありうる場合に、この６通りのいずれに該当するかを推論するようにしてよい。

いずれの実施形態においても、ニューラルネットワーク等の機械学習を用いた任意の既存手法により、教師データを与えたうえでモデル学習を行うことができる。この際、教師データにおいて作業の際の個別事象の認識結果として付与しておくラベルの例が、上記例示したように例えばユーザの動作内容や作業状況についての「歩く」、「止まる」、「ケーブル交換中」等であり、また例えば作業環境についての「正常」又は「異常」等である。時系列上の認識結果R(i)を構成する識別子は、各時刻tにおいてこの個別事象の認識結果に対応する識別子で構成されるものとなる。

テキスト受付部11で受け付ける作業に関する計画、承認及び報告のテキストでは必ずしも常に記載されるとは限らない、作業の際の細かい個別事象に関しても教師データにおける学習ラベルとして予めテキスト記述を与えておき、対応する識別子を定義しておくことにより、本実施形態において、検索部15による（識別子で指定される）状態Qrを検索クエリとした検索で確実にヒットさせるようにすることが可能である。この学習の際の個別事象のテキスト記述を、検索部15で検索するユーザUsに対して提供する、識別子に対応する状態Qrを説明するためのメニュー等における記載に利用してもよい。

なお、ニューラルネットワーク等で推論する場合、個別の学習ラベルで与えておいた個別事象に該当する尤度を各要素の値として列挙した尤度ベクトルが推論結果として得られるが、認識部13で認識する際は、最大尤度に該当するラベル内容を認識結果とすればよい。例えば、ユーザの動作内容や作業状況が「歩く」、「止まる」、「ケーブル交換中」の３通りのいずれであるかを推論するモデルである時刻tについて認識した際に３次元の尤度ベクトル(0.2,0.1,0.7)が得られた場合、最大尤度の0.7を与えている「ケーブル交換中」をこの時刻tにおける認識結果とすればよい。いずれの尤度も所定閾値を超えない場合、認識結果なしとしてこの時刻tに関する認識結果のテキストを与えないようにしてもよい。

以下、補足説明や本発明の種々の追加的あるいは変形的な実施形態の説明を行う。

＜１…ステップS2で検索した際の提示部16による検索結果の提示について＞
既に説明したように、検索部15による検索結果は提示部16に出力され、ユーザUsとの間の対話的な処理により以下の（１）～（４）のようにしてユーザUsに対して検索結果が示される。
（１）提示部16で、検索結果のサマリとしての検索結果リスト{D(i)}をユーザUsに対して表示する。この検索結果リスト{D(i)}の表示は、作業W(i)の案件名や日時、場所等のみをリストとして表示してもよいし、さらにテキスト情報T(i)や認識結果R(i)の一部分（例えばテキスト情報T(i)の書き出しの部分）又は要約が含まれるものであってもよい。
（２）ユーザUsは、表示された検索結果リスト{D(i)}の中から詳細を確認したい作業W(i)の指定を提示部16に対して入力する。（説明のため、作業W(i)が指定されたものとする。）
（３）提示部16は、ユーザUsに指定された作業W(i)に関する詳細な作業データD(i)=(T(i),L(i),R(i))をユーザUsに対して提示する。この際、検索クエリQt,Qrのヒット箇所に対して強調表示などの編集効果を加えて提示してよい。
（４）ユーザUsは提示された詳細な作業データD(i)=(T(i),L(i),R(i))の個別内容を、検索クエリQt,Qrのヒット箇所と共に確認する。

図５は、上記（３）の提示部16によるユーザUsに対する作業W(i)の詳細な作業データD(i)の提示を行う画面表示DP(i)の例を示す図である。ここでは、提示されるテキスト情報T(i)の例として、作業計画テキストT1(i)の例が示されており、作業状況の順番及びその所要時間が表形式で記載され、作業の簡単なスケジュールが略記された内容で構成されている。（実際はさらに対応する作業承認テキストT2(i)及び作業報告テキストT3(i)もユーザUsに対して表示されるが、図５では描くのを省略している。）図５の例は、ログ情報L(i)が撮影部31で撮影される映像で構成される場合の例であり、この映像の時間軸に沿ったシークバーSB上に、この映像に対する時間軸上での識別子としての認識結果が区間R1,R2,R3として示され、認識結果R(i)における識別子に対応する具体例内容を示すテキストが説明表示e1,e2,e3としてそれぞれ、吹き出し状に付与されている。このテキストは、ユーザUsが検索部15で検索する際の識別子を状態の検索クエリQrとして指定するためのメニュー等における、識別子に対応する状態を説明するテキストと同じであってよい。

図５の例では、ユーザUsは語句による検索クエリQtとして作業状況を表す「新規サーバの設置」及びこれと同内容「新規サーバの設置」を意味し識別子で指定される状態による検索クエリQrを検索条件「OR」で入力した場合の検索結果として作業データD(i)を示すための画面表示DP(i)として、提示部16がこの検索クエリQt,Qrのヒット箇所である「新規サーバの設置」の箇所（テキスト情報T1(i)の一部と認識結果R(i)の一部の区間R2に対する説明表示e2）をハイライト表示している。図５の例は、偶然、語句による検索クエリQt=「新規サーバの設置」がテキスト情報T1(i)においてヒットし、且つ、同内容の状態を意味する検索クエリQr=「新規サーバの設置」が認識結果R(i)においてもヒットした例であるが、「OR検索」によって片方のみがヒットする場合もありうる。例えば、図５の例において仮に語句の検索クエリQt＝「ケーブル交換」及び同内容の状態を意味する検索クエリQr=「ケーブル交換」（実際は識別子で指定）で検索条件「OR」により検索したとすると、作業計画テキストT1(i)ではヒットせず、認識結果R(i)の区間R3に対応する説明表示e3のみがヒットしたものとして表示される。こうして、既に説明したように「ケーブル交換」等の記載がテキスト情報T(i)内に存在せずとも、認識結果R(i)を介して「ケーブル交換」が該当する作業W(i)をヒットさせることが可能である。

本実施形態では、上記（４）において提示部16を介して、検索結果の作業データD(i)=(T(i),L(i),R(i))におけるテキスト情報T(i)のみならず、認識結果R(i)が対応しているログ情報L(i)についてもユーザUsに対して参照可能に提供される。図５の例ではログ情報L(i)が映像を含んで構成される場合に、当該参照可能に提供するためのインタフェースとしてシークバーSBが設けられ、その時間軸上での認識結果である区間R1,R2,R3に、対応する認識結果R(i)としてのテキストが説明表示e1,e2,e3として紐づけられたうえで示されている。

ユーザUsは映像としてのログ情報L(i)を確認するために、例えばシークバーSB上の区間R2又はその説明テキストe2を指定する（マウスカーソルによるクリック等で指定する）ことで、提示部16は対応する「新規サーバの設置」の様子が撮影されている映像区間R2を動画像表示mv2として再生し、ユーザUsはこの動画像表示mv2を視聴して確認することが可能となる。さらに録音部32が録音した音声もログ情報L(i)に含まれる場合には、当該区間R2の指定により、撮影部31で撮影した映像を動画像表示mv2として表示する際に、録音した音声も再生するようにしてよい。

図５の例はログ情報L(i)が映像や音声を含む場合に、ログ情報L(i)から認識される作業状況の認識結果R(i)と紐づけたログ情報L(i)をテキスト情報T(i)と共にユーザUsに対して提示部16が参照可能に提供する例であるが、ログ情報L(i)が映像や音声以外の各種センサ情報などの情報（図４に示されるログ取得部21内の各部33～36で取得される情報）を含んで構成される場合も、時系列上の情報であることは共通であるため、図５で示したシークバーSBと類似のインタフェースでユーザUsに対してログ情報L(i)及び認識結果R(i)をテキスト情報T(i)と共に参照可能に提供すればよい。

図６に、グラフGRとしてログ情報L(i)をユーザUsに参照可能に提供するインタフェースの例を、図５の例に対応する例として示す。例えば環境情報取得部35で温度などの１次元の時系列データを取得している場合、このようなグラフGR（この例では横軸が時間、縦軸が取得データ値を表す）によってログ情報L(i)をユーザUsに参照可能に提供することができる。このため、グラフGRの縦軸に取得データ値の目盛り、横軸に時間の目盛りを付与して、対応する数値を付与して提示すればよい。また、ユーザUsがグラフGRの線上のデータ点に例えばマウスカーソルを移動させて当該データ点を指定した際に、当該点の位置におけるグラフの値（横軸の時間及び縦軸の取得データ値）をポップアップ表示等の形で提示するようにしてもよい。多次元の時系列データであれば、このようなグラフGRを複数設けるか、グラフGR内に時系列データの各次元の変化挙動を列挙すればよい。

＜２…管理システム100の情報活用と、この情報による作業補助の実施について＞
図２ではステップS1で登録部14のデータベース情報DBを構築してから、ステップS2で検索を行うものとし、このステップS1で登録する各々の作業データD(i)を用意するフローとして、図３を説明した。多数のN件に渡ってデータベース情報DB={D(i)|i=1,2,3,…,N}が構築された後に新たな作業W(N+1)を実施しようとする際には、これら（図２のステップS2及び図３のフロー全体）を連携して利用し、且つ、実際の作業には、データベース情報DBをこの作業W(N+1)を行う際の補助を行うためのコンテンツとして利用することが可能である。

すなわち、新たな作業W(N+1)を行う場合も、この作業W(N+1)について図３のフローを実施し、業務上の文書としてテキスト情報T(N+1)を用意し、実際に作業W(N+1)を行ってログ情報L(N+1)を取得し、認識結果R(N+1)を得ることで、データベース情報DBをこの作業データD(N+1)を追加することで更新し、更新されたデータベース情報DB={D(i)|i=1,2,3,…,N,N+1}を得るようにしてよい。

また、新たな作業W(N+1)を行う場合に、ステップS11,S12,S16において作業計画、承認及び報告テキストT1(N+1),T2(N+1),T3(N+1)をユーザがテキスト受付部11に対して入力する際に、ユーザはステップS2の検索をステップS110,S120,S160として実施することで、当該作業W(N+1)に類似する作業事例を検索することで、適切な文章を記載するための参考とすることが可能であり、また、例えば類似作業での注意事項（トラブルがあったこと等）を把握することで、実際に作業W(N+1)に臨む際に類似のトラブルを回避するように意識して作業を行うことが可能となる。同様にステップS13の作業を実施するためにユーザはステップS130において作業事例を検索し、知見を得ることができる。

すなわち、上記のように管理システム100を利用することで、過去作業の知見が容易に参照可能となり、新たに該当作業や承認作業に不慣れな人が実作業に携わったり承認を行うようになったりする場合であっても、効率的な承継が可能となる。

実際に新たな作業W(N+1)を実施する場合、検索された類似作業に関する検索結果からユーザUsが選択したものを作業補助コンテンツとして提示部16より端末20の補助提示部22へと送信し、現場でユーザUwが作業を行う際の作業補助コンテンツとして、例えばHMD上に表示するようにしてよい。また、ユーザUwに代わって、現場のユーザUwが、リモートからインターネットやLAN等を介して、管理装置10に対して検索クエリQt,Qrの検索入力や所望の事例の選択入力を行い、作業補助コンテンツとして活用するようにしてもよい。

また、現場で作業W(N+1)を実施する際は、図４に示される各部31～36が取得するログ情報L(i)を各時刻tにおいてリアルタイムで補助認識部37において読み込んで認識することにより、時刻tでの作業状況情報を認識結果として得て補助提示部22へと出力し、補助提示部22が作業状況情報に応じた補助情報を、現場でユーザUwが作業を行う際の作業補助コンテンツとして、例えばHMD上に表示するようにしてよい。

補助認識部37がリアルタイムでログ情報から作業状況情報を得ることは、認識部13でログ情報L(i)から認識結果R(i)を得たのと同様に、教師データで事前に学習した学習モデルを利用することで実施すればよい。認識部13で学習したモデル全体をそのまま補助認識部37において利用するようにしてもよいし、一部のみを利用するようにしてもよい。例えば認識部13では認識する個別事象に事故などの「トラブル」を含めて学習しておき、補助認識部37ではこの「トラブル」の尤度を時系列で出力するようにして、尤度の値が閾値を超えた場合に、提示部16において「要注意」等の、トラブルに対する注意を促す提示（映像表示や音声出力）を行うようにしてもよい。

＜３－１＞検索部15に対する状態クエリQrによる検索条件の指定として、複数の状態クエリQrの発生順番（時系列上で現れる順番）の指定や、１つ以上の状態Qrに関してそれぞれの継続時間の指定を含めて検索条件を指定し、これにより検索部15において検索を行うことも可能である。例えば、３つの状態Qr1,Qr2,Qr3がこの順番で現れることを指定してよく、この際、間に別の状態が現れることを許容する／許容しない、の条件も含めて検索してよい。（例えば許容する場合「Qr1→Qr4→Qr2→Qr3」の状態時系列を含む作業は検索結果となるが、許容しない場合は検索結果とならない。）状態の継続時間に関しては例えば、状態Qr（ケーブル関連作業に関する状態）が「10分以上継続する」等の指定が可能である。

＜３－２＞図５や図６の例は、検索したユーザUsが直接指定することで、時系列のログ情報の特定の区間を確認する例であった。検索結果に含まれるある１つの作業に関して、時系列上のログ情報（ログ情報の種類（例えば映像）はユーザが指定するものとする）が構成している複数の区間を提示部16が提示するに際して、ユーザの直接指定を受けることなく、提示部16において所定基準に従い複数の区間を所定の順番で提示する（例えば、上から下へとスクロールするブラウザ表示において、順番が早い方をより上に配置して並べることにより提示する）ようにしてよい。区間を提示する順番は、例えば区間の優先度の順番とすればよい。区間の優先度については、補助認識部37において「トラブル」尤度を時系列として推定したのと同様に、認識部13において状態識別子とは別途に推定しておいた値を利用すればよい。

＜３－３＞提示部16ではログ情報をユーザUsに対して参照可能に提示するが、一般にログ情報は膨大であることが想定されるため、提示しうる対象を予め選別しておき、以上説明してきたような、ユーザによる指定や提示部16が決定した順番で並べて提示する対象の候補として用いるようにしてもよい。提示しうる対象を予め選別する基準は、上記区間を提示する順番を決める際に用いた区間の優先度に対する閾値判定や、区間の継続時間に対する判定（例えば短いと判定される区間は提示対象から除外する判定）を用いてよい。ログ情報のサイズが閾値判定で小さいと判定される場合、この選別は省略してもよい。

＜３－４＞登録部14では各作業W(i)につきデータD(i)=(T(i),L(i),R(i))としてテキスト情報T(i)、ログ情報L(i)及び認識結果R(i)を記憶しておくが、テキスト情報T(i)（の一部）のみが記憶されたものがあってもよい。具体的には、図３のステップS11は少なくとも完了したが、ステップS13以降が完了していないような作業W(i)がある場合、このような状態でデータD(i)が記憶されていることがある。（このような作業W(i)も、検索の際は状態クエリQrは使用できず語句クエリQtのみが使用可能となるが、そのテキスト情報T(i)のみを対象として検索することが可能である。）

＜４＞テキスト受付部11では、ステップS11,S12,S16において作業W(i)の計画、承認及び報告のテキスト情報T1(i),T2(i),T3(i)を受け付け、これらでテキスト情報T(i)=(T1(i),T2(i),T3(i))が構成されるものとしたが、これは業務上のテキスト情報を用意する一例であり、テキスト情報T(i)をユーザからの入力として受け付ける態様や様式や個別内容はその他の任意のものでもよい。例えば、図５の作業計画テキストT1(i)の例では作業スケジュールが含まれているが、作業スケジュールが別途の手順書等に記載されており作業者が作業の際はこれを参照すればよい取決めになっている場合であれば、詳細なスケジュールの記載は省略してもよい。

＜５＞図２を参照して、登録部14において検索に足る規模のデータベースが構築されてからユーザUsが任意のタイミングにおいてステップS2の検索を行うものとしたが、検索クエリの内容によっては、対応するデータが登録部14に登録されていない場合もありうる。この場合は、検索部15では検索クエリにヒットするデータがなかった旨を例えば「該当案件なし」等の所定メッセージ等により、ユーザUsに対して返すようにすればよい。

＜６＞図３のフローでは、作業実施及びログ取得のステップS13から登録のステップS17までの間の順が「S13→S14→S15→S16→S17」であるものとしたが、ステップS13の完了後、ステップ「S14→S15」（ログ入力及び認識）とステップS16（作業報告テキスト入力）とは独立に実施可能であるため、これらの順番を入れ替えて「S13→S16→S14→S15→S17」の順に実施してもよいし、同時並行で「S13→（「S14→S15」及びS16）→S17」として実施するようにしてもよい。

＜７＞認識部13においてログ情報L(i)から認識結果R(i)を得る処理には既に説明した学習モデルを利用する手法に代えて、又は加えて、前掲の特許文献３～７の手法の全部又は一部を利用するようにしてもよい。補助認識部37において作業状況情報を作業のリスク度合いとして求める場合、既に説明した学習モデルを利用する手法により「トラブル」の尤度として求めるようにしてもよいし、前掲の特許文献３，４，９，１０の手法の全部又は一部を利用するようにしてもよい。提示部16において検索結果を提示する手法には前掲の特許文献４，８，９の手法の全部又は一部を利用するようにしてもよい。

＜８＞検索部15におけるユーザからの検索の受け付けにおいて検索クエリQt,Qrによる検索結果をさらに絞り込む（AND検索を行う）ための手法として、前掲の特許文献１１のように画像（映像内の各時刻tのフレーム画像）やそのexif情報（画像の撮影日時、撮影位置、撮影方向、カメラ情報、撮影条件情報など）を用いるようにしてもよい。

＜９＞図７は、一般的なコンピュータ装置70におけるハードウェア構成を示す図であり、管理システム100内の管理装置10及び端末20の各々は、このような構成を有する１つ以上のコンピュータ装置70として実現可能である。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサ72（GPU（グラフィック演算装置）や深層学習専用プロセッサ等）、CPU71や専用プロセッサ72にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、カメラ77、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース78、マイク79、１種類以上のセンサで構成されるセンサ類80、スピーカ81と、これらの間でデータを授受するためのバスBSと、を備える。撮影部31はカメラ77により、録音部32はマイク79により、ログ取得部21における映像及び音声以外のログ情報の取得を行う各部33～36はセンサ類80に含まれる対応する専用のセンサにより、実現することができる。提示部16及び補助提示部22は共に、ディスプレイ76及びスピーカ81により実現することができる。

管理装置10及び端末20の各部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又は専用プロセッサ72によって実現することができる。ここで、撮影関連の処理が行われる場合にはさらに、カメラ77が連動して動作し、映像視聴の処理が行われる場合にはさらに、ディスプレイ76及びスピーカ81が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。また、ログ取得部21で各種のログ情報を取得する際は、上記説明の通り例えば映像であればカメラ77が連動して動作する。

＜１０＞ログ取得部21はウェアラブル端末として構成される端末20に備わるセンサ等で実現するものとしたが、ログ情報の全部又は一部を、作業の現場に設置された端末20とは別途の装置や設備に備わるセンサ類で取得して、ログ取得部21ではこの外部のセンサ類で取得されたログ情報を通信で受信するようにしてもよい。例えば温度や湿度に関して、現場に設置された端末20とは別装置としての温度計や湿度計から取得するようにしてもよい。撮影部31で取得する映像として、端末20とは別途の装置として現場に設置された監視カメラなどで撮影した映像を用いるようにしてもよい。

100…管理システム、10…管理装置、20…端末
11…テキスト受付部、12…ログ受付部、13…認識部、14…登録部、15…検索部、16…提示部
21…ログ取得部、22…補助提示部

Claims

複数の作業の各々について、当該作業について記述されたテキスト情報と、当該作業を実施した際に取得されるログ情報と、を紐づけて記憶している登録部と、
ユーザより入力された検索クエリを用いて前記登録部を検索し、作業に紐づいているテキスト情報又はログ情報の少なくとも一方に前記検索クエリがヒットするような作業についての検索結果を出力する検索部と、を備え、
前記登録部では、前記作業を実施した際に取得される時系列上のログ情報に対して認識処理を適用して得られた時系列上の個別事象に関する認識結果を、前記テキスト情報及び前記ログ情報と共に作業に紐づけて記憶しており、
前記検索部では、前記ログ情報に対する検索クエリの指定として、前記認識された個別事象のうち指定された１種類以上の事象が指定された順番で現れることの指定、及び／又は、前記認識された個別事象のうち指定された１種類以上の事象に関する継続時間の指定、を受け付けて検索することを特徴とする管理装置。
複数の作業の各々について、当該作業について記述されたテキスト情報と、当該作業を実施した際に取得されるログ情報と、を紐づけて記憶している登録部と、
ユーザより入力された検索クエリを用いて前記登録部を検索し、作業に紐づいているテキスト情報又はログ情報の少なくとも一方に前記検索クエリがヒットするような作業についての検索結果を出力する検索部と、を備え、
前記登録部では、前記作業を実施した際に取得される情報であって、
音声以外の作業者の位置情報、
音声以外の頭、右手または左手を含む作業者の身体部位の変位情報、
音声以外の作業者の体温、心拍数、脈拍数、呼吸数または発汗量を含む生体情報、
音声以外の照度、気圧、温度または臭度を含む作業者が置かれた環境情報
音声以外の作業者が作業を行っている際の映像情報、
のうち少なくともいずれか１つの情報を含む時系列上のログ情報に対して、事前に学習済みのモデルを用いた認識処理を適用して得られた時系列上の個別事象に関する認識結果を、前記テキスト情報及び前記ログ情報と共に作業に紐づけて記憶しており、
前記検索部では、前記ログ情報を検索するに際して、対応する認識結果が検索クエリにヒットするかを調べ、
前記モデルを用いた認識処理は、時系列上のログ情報の各時刻に対して、作業者の動作内容、作業者による作業状況、または、作業者の置かれている作業環境のうち少なくとも１つに関する認識結果を得るように構成されており、
前記検索部は、前記テキスト情報に対する検索クエリとしてテキストを受け付けることと、前記ログ情報に対する検索クエリとして、前記認識処理による認識結果に関して前記モデルにおいて予め定義されている個別の認識結果の識別子の指定を受け付けることと、のいずれによっても、前記各作業において紐づけられたテキスト情報及びログ情報を検索するに際しての検索クエリを受け付け可能に構成されていることを特徴とする管理装置。
前記検索部は、作業に紐づいているテキスト情報に対する第１検索クエリと、作業に紐づいているログ情報に対する第２検索クエリと、の両方又は片方を指定した検索入力を、ユーザからの検索入力として受け付け可能に構成され、当該検索入力にヒットするような作業についての検索結果を出力することを特徴とする請求項１または２に記載の管理装置。
前記検索部では前記検索し、前記検索クエリがヒットするような作業についての検索結果を出力するに際して、当該作業に紐づいているテキスト情報及びログ情報をユーザに対して参照可能に出力することを特徴とする請求項１ないし３のいずれかに記載の管理装置。
前記ログ情報は、作業を実施した際の時系列上のログ情報として取得されて前記登録部に記憶されており、
前記検索部が出力した検索結果をユーザに対して提示する提示部をさらに備え、
前記提示部は、前記テキスト情報と共に、前記ログ情報及び前記ログ情報から認識した作業状況についての情報をユーザに対して提示することを特徴とする請求項１ないし４のいずれかに記載の管理装置。
前記ログ情報は、作業を実施した際の時系列上のログ情報として取得されて前記登録部に記憶されており、
前記検索部が出力した検索結果をユーザに対して提示する提示部をさらに備え、
前記提示部は、前記検索結果に含まれる作業における、前記時系列上のログ情報について、ユーザが予め指定した作業状況が発生している区間の情報について、予め抽出されている優先度及び／又は当該区間の継続時間が所定条件を満たすものをユーザに対して提示することを特徴とする請求項１ないし５のいずれかに記載の管理装置。
前記ログ情報には作業の際に収集された映像、音声又は１種類以上のセンサ情報が含まれることを特徴とする請求項１ないし６のいずれかに記載の管理装置。
コンピュータを請求項１ないし７のいずれかに記載の管理装置として機能させることを特徴とするプログラム。