JP6886738B1 - オペレーション支援装置、オペレーション支援方法、およびプログラム - Google Patents

Abstract

【課題】質問内容の表層だけではなくその状況にも応じた対応を行うことのできるオペレーション支援装置、オペレーション支援方法、およびプログラムを提供する。【解決手段】モデルは、質問と画面識別情報とに基づいて、質問の意図を表す意図情報を出力するための情報を持ち、機械学習可能に構成されたものである。推論部は、質問と、入力部が質問を取得した際に表示されていた説明画面を識別するための画面識別情報とに基づいて、モデルから意図情報を取得し、取得した意図情報に対応する答弁と、意図情報と画面識別情報とに対応する制御命令と、意図情報と画面識別情報とに対応する遷移先の説明画面を識別するための遷移先画面識別情報と、を求める。アプリケーションプログラムは、推論部が求めた答弁を出力し、推論部が求めた制御命令を制御命令実行部に実行させ、推論部が求めた遷移先画面識別情報に対応する説明画面を表示部に表示させる。【選択図】図１

Description

本発明は、オペレーション支援装置、オペレーション支援方法、およびプログラムに関する。

各産業において、装置等の操作方法についてのユーザーからの質問に対して、簡単且つ適切な対応方法を提供することが求められている。

特許文献１には、機器操作ガイダンス装置が記載されている。この機器操作ガイダンス装置においては、問合せ入力手段が、ユーザーからの機器の操作方法に関する問い合わせを入力する。また、機器操作入力手段は、ユーザーが機器の操作を行うための入力手段である。受信手段が、データベースから読み出された操作ガイダンス情報を受信する。そして、操作ガイド手段が、操作ガイダンス情報に応じた操作ガイダンスを提示し、ユーザーに機器操作入力手段を操作させることにより、所望の操作を実行させる。

特開２００５−１０７５８３号公報

しかしながら、各産業では、製品のコンパクト化やスリム化が進んでおり、そういった製品を製造したり検査したりする工程もますます複雑になり、それら各工程で用いられる装置の複雑性も増している。こういった状況から、装置の使い方はますます難しくなり、作業者の操作エラーを誘発しやすいという問題がある。こういった問題は、各産業に属する企業等の損失を増加させる方向に作用する。

上記のような複雑性が存在する状況において、対象機器の操作等にしてユーザーが発する質問は、状況に応じてその質問の意図が異なり得るという問題がある。また、ユーザーからの質問に対して単に回答を返すだけでは、ユーザーがすべての正しい操作方法にたどりつくとは限らないという問題がある。つまり、オペレーション支援装置には、状況に依存する質問の意図に応じた答弁を行うことが求められる。また、オペレーション支援装置が、単に質問に対する答弁を返すだけではなく、必要に応じて、対象機器を適切に制御できることが好ましい。

本発明は、上記のような状況を考慮して為されたものであり、質問内容の表層だけではなくその状況にも応じた対応を行うことができ、また、場合によってはユーザーに代わって対象装置の制御の少なくとも一部を行うことのできる、オペレーション支援装置、オペレーション支援方法、およびプログラムを提供しようとするものである。

［１］上記の課題を解決するため、本発明の一態様によるオペレーション支援装置は、質問を取得するための入力部と、対象装置についての説明画面を表示する表示部と、前記対象装置を制御するための制御命令を実行する制御命令実行部と、質問と画面識別情報とに基づいて、前記質問の意図を表す意図情報を出力するための情報を持ち、機械学習可能に構成したモデルと、前記質問と、前記入力部が前記質問を取得した際に表示されていた説明画面を識別するための画面識別情報とに基づいて、前記モデルから前記意図情報を取得し、取得した前記意図情報に対応する答弁と、前記意図情報と前記画面識別情報とに対応する制御命令と、前記意図情報と前記画面識別情報とに対応する遷移先の説明画面を識別するための遷移先画面識別情報と、を求める推論部と、前記推論部が求めた前記答弁を出力し、前記推論部が求めた前記制御命令を前記制御命令実行部に実行させ、前記推論部が求めた前記遷移先画面識別情報に対応する説明画面を前記表示部に表示させる、アプリケーションプログラムを実行させるアプリケーション稼働部と、を備えるものである。

［２］また、本発明の一態様は、上記のオペレーション支援装置において、前記質問と、前記画面識別情報と、前記意図情報と、を含む学習用データを供給して、前記モデルの機械学習を行う機械学習処理部、をさらに備えるものである。

［３］また、本発明の一態様は、上記のオペレーション支援装置において、前記表示部は、前記アプリケーション稼働部が出力した前記答弁を表示するものである。

［４］また、本発明の一態様は、上記のオペレーション支援装置において、前記意図情報と前記答弁との対応関係を記憶する答弁記憶部、を備え、前記推論部は、取得した前記意図情報に基づいて前記答弁記憶部を参照することにより、前記意図情報に対応する前記答弁を求めるものである。

［５］また、本発明の一態様は、上記のオペレーション支援装置において、前記意図情報と前記画面識別情報とに対応して、前記制御命令の情報と前記遷移先画面識別情報とを記憶し、前記意図情報と前記画面識別情報とに基づく前記推論部からの問い合わせに対して、対応する前記制御命令と前記遷移先画面識別情報とを応答する制御命令生成部、を備え、前記推論部は、取得した前記意図情報と前記画面識別情報とに基づいて前記制御命令生成部への問い合わせを行うことにより、前記制御命令と前記遷移先画面識別情報とを求めるものである。

［６］また、本発明の一態様は、入力部が、質問を取得し、表示部が、対象装置についての説明画面を表示し、制御命令実行部が、前記対象装置を制御するための制御命令を実行し、質問と画面識別情報とに基づいて、前記質問の意図を表す意図情報を出力するための情報を持ち、機械学習可能に構成したモデルを持ち、推論部が、前記質問と、前記入力部が前記質問を取得した際に表示されていた説明画面を識別するための画面識別情報とに基づいて、前記モデルから前記意図情報を取得し、取得した前記意図情報に対応する答弁と、前記意図情報と前記画面識別情報とに対応する制御命令と、前記意図情報と前記画面識別情報とに対応する遷移先の説明画面を識別するための遷移先画面識別情報と、を求め、アプリケーション稼働部が、前記推論部が求めた前記答弁を出力し、前記推論部が求めた前記制御命令を前記制御命令実行部に実行させ、前記推論部が求めた前記遷移先画面識別情報に対応する説明画面を前記表示部に表示させる、アプリケーションプログラムを実行させる、オペレーション支援方法である。

［７］また、本発明の一態様は、コンピューターを、上記［１］から［５］までのいずれかに記載のオペレーション支援装置、として機能させるためのプログラムである。

本発明によれば、オペレーション支援装置は、質問の状況に応じた意図に基づいて、答弁し、外部のハードウェアを制御することができる。

本発明の実施形態によるオペレーション支援装置の概略機能構成を示すブロック図である。 同実施形態のオペレーション支援装置内における情報（信号）のやりとりの流れの例を示す概略図（１／２）である。 同実施形態のオペレーション支援装置内における情報（信号）のやりとりの流れの例を示す概略図（２／２）である。 同実施形態によるオペレーション支援装置が処理するデータ間の関係を示す概略図であり、質問内容と画面ＩＤとインテンツとの関係を示す。 同実施形態によるオペレーション支援装置が処理するデータ間の関係を示す概略図であり、インテンツと答弁内容との関係を示す。 同実施形態によるオペレーション支援装置が処理するデータ間の関係を示す概略図であり、インテンツと画面ＩＤと制御命令と遷移先画面ＩＤとの関係を示す。 同実施形態によるオペレーション支援装置が使用することのできる制御命令の種類を列挙したテーブルである。 同実施形態によるオペレーション支援装置の表示部が表示する画面の構成例を示す概略図である。 同実施形態によるオペレーション支援装置が表示する説明画面に関する情報を管理するための管理テーブルの構成例を示す概略図である。 同実施形態による学習モデルの機械学習を行うための学習用データの例を示す概略図である。 同実施形態によるオペレーション支援装置の処理に伴う状況を、具体的な質問例に基づいて示した概略図である。

次に、本発明の一実施形態について、図面を参照しながら説明する。本実施形態では、オペレーション支援装置は、ユーザーが入力した質問を基に、その質問の意図を表す意図情報を推定し、その意図情報に基づいた処理を行う。この意図情報は、以下において「インテンツ」とも呼ばれる。インテンツは、質問のテキスト（表層）と、そのときの状況とに基づいて推定されるものである。

なお、本実施形態において、「質問」とは、ユーザーが入力部１１から入力する文等である。ただし、ここでの「質問」は、構文としての疑問文の形式を有する文には限らない。例えば、ユーザーが入力する表現であって、「〇〇がわからない」、「〇〇が稼働しない」、「〇〇が見えない」、「〇〇を稼働させたい」、「〇〇を止めたい」、「〇〇の設定を変えたい」などの、装置の操作等に関連する任意の言語表現を、本実施形態では「質問」として扱う。

実施形態において説明する「画面ＩＤ」は、オペレーション支援装置に表示される説明画面の種類を一意に識別するための情報である。「画面ＩＤ」は、「画面識別情報」とも呼ばれる。また、次に遷移する先の説明画面は「遷移先画面」と呼ばれる。「遷移先画面ＩＤ」は、この遷移先画面の種類を一意に識別するための情報である。「遷移先画面ＩＤ」は、「遷移先画面識別情報」とも呼ばれる。なお、説明画面は、オペレーションを行う対象である装置（対象装置３）についての説明のための画面である。説明画面は、テキストや、画像（静止画）や、映像（動画像）を含むものであってもよい。また、オペレーション支援装置が説明画面を表示する際に、所定の音声による説明をも出力するようにしてもよい。また、制御命令は、オペレーション支援装置が外部の装置等を制御するために実行し得る命令である。「制御命令ＩＤ」は、この制御命令を一意に識別するための情報である。「制御命令ＩＤ」は、「制御命令識別情報」とも呼ばれる。

図１は、本実施形態によるオペレーション支援装置の概略機能構成を示すブロック図である。図示するように、オペレーション支援装置１は、入力部１１と、アプリケーション稼働部１２と、推論部２１と、答弁記憶部２２と、制御命令生成部２３と、学習モデル３１と、機械学習処理部３２と、制御命令実行部４１と、ハードウェア制御部４２と、表示部４３とを含んで構成される。これらの各機能部は、例えば、コンピューターと、プログラムとで実現することが可能である。また、各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。また、各機能部の少なくとも一部の機能を、プログラムではなく専用の電子回路として実現してもよい。

具体的には、オペレーション支援装置１は、例えば、パーソナルコンピューター（ＰＣ）や、各種の携帯型端末装置（例えば、タブレット型端末装置や、スマートフォン等）を用いて実現される。対象装置３のオペレーションを行うユーザーが、オペレーション支援装置１を操作する。

対象装置３は、オペレーションの対象となる装置等である。対象装置３は、例えば、製造現場や、サービス実施の現場で使用される装置である。対象装置３は、例えば、製造装置、加工装置、検査装置、搬送装置等（ただし、これらに限定されない）の装置である。対象装置３が内部にカメラを備えるものであってもよい。一例として、対象装置３が半導体製品を検査するための検査装置である場合、そのカメラが検査対象である半導体製品を撮影する。そのカメラが撮影する画像は、本来は対象装置３内で処理するための画像であるが、その画像の信号をオペレーション支援装置１に渡すようにしてもよい。この場合には、オペレーション支援装置１側の表示画面に、カメラが撮影した画像を表示させることもできる。オペレーション支援装置１と対象装置３とは、有線または無線の通信手段で接続される。オペレーション支援装置１と対象装置３とが、インターネット等の通信回線で相互に接続されてもよい。

オペレーション支援装置１を構成する各部の機能を、次に説明する。

入力部１１は、ユーザーからの入力を取得する機能を有するものである。入力部１１は、例えば、キーボードからの文字入力の信号を取得する。また、入力部１１は、タッチパネルによる文字入力の信号を取得する。あるいは、入力部１１は、マイクロフォン等によってユーザーの声を取得し、音声認識処理を行うことによる、音声入力機能を持つものであってもよい。

アプリケーション稼働部１２は、アプリケーションプログラムを稼働させるための手段である。具体的には、アプリケーション稼働部１２は、アプリケーションプログラムを実行するための処理装置（ＣＰＵ等）と、データ等を記憶するメモリーとを持つ。アプリケーション稼働部１２は、対象装置３を制御するための専用のアプリケーションプログラムを実行する。

アプリケーションプログラムを実行することにより、アプリケーション稼働部１２は、入力部１１から質問のテキストを取得する。また、アプリケーション稼働部１２は、その質問のテキストを、推論部２１に渡す。また、アプリケーション稼働部１２は、表示している説明画面を識別するための画面ＩＤを把握している。アプリケーション稼働部１２は、上記の質問が入力されたときの画面ＩＤを、推論部２１に渡す。アプリケーション稼働部１２は、上記の質問および画面ＩＤに基づいて推論部２１が求めた、答弁を受け取り、出力する。また、アプリケーション稼働部１２は、推論部２１が求めた制御命令を制御命令実行部４１に実行させる。また、アプリケーション稼働部１２は、推論部２１が求めた遷移先画面ＩＤに対応する説明画面を表示部４３に表示させる。このように、アプリケーションプログラムは、入力された質問に対応して、答弁を出力したり、制御命令を実行させたり、特定の説明画面（対象装置３の説明）を表示させたりすることができる。

推論部２１は、入力される質問に基づく推論の処理を行う。具体的には、推論部２１は、アプリケーション稼働部１２から、質問のテキストと、画面ＩＤ（画面識別情報）とを受け取る。そして、推論部２１は、画面ＩＤは、入力部１１が質問を取得した際に表示されていた説明画面を識別するための識別情報である。推論部２１は、学習モデル３１に対して質問と画面ＩＤとを渡し、その応答として学習モデル３１からインテンツ（意図情報）を受け取る。また、推論部２１は、インテンツに基づいて答弁記憶部２２を参照することにより、当該インテンツに対応する答弁を求める。また、推論部２１は、インテンツと上記の画面ＩＤとに基づいて、制御命令生成部２３に問い合わせを行うことにより、それらに対応する制御命令と、それらに対応する遷移先画面ＩＤ（遷移先画面識別情報）とを求める。遷移先画面ＩＤは、次に遷移すべき先の説明画面を識別するための識別情報である。推論部２１は、上記のように得られた、答弁と、制御命令と、遷移先画面ＩＤとを、アプリケーション稼働部１２に返す。

答弁記憶部２２は、インテンツ（意図情報）に対応付けて答弁を記憶する。つまり、答弁記憶部２２を参照することにより、インテンツに関連付けられた答弁を読み出すことができる。答弁は、例えば、テキストデータとして表される。

制御命令生成部２３は、インテンツ（意図情報）と画面ＩＤ（画面識別情報）との組合せに対応付けて、制御命令の情報と遷移先画面ＩＤ（遷移先画面識別情報）とを記憶している。制御命令生成部２３は、記憶しているその情報に基づいて、推論部２１からの問い合わせに対応して、インテンツと画面ＩＤとに対応する制御命令および遷移先画面ＩＤを応答する。

学習モデル３１は、質問と画面ＩＤ（画面識別情報）とに基づいて、質問の意図を表すインテンツ（意図情報）を出力するための情報を持つ。学習モデル３１においては、入力情報である質問および画面ＩＤと、出力情報であるインテンツとの関係を機械学習可能であるようにしている。学習モデル３１は、例えば、ニューラルネットワークを用いて構成される。

機械学習処理部３２は、学習用データを学習モデル３１に供給することにより、学習モデル３１に機械学習処理を行わせる機能を持つ。学習用データは、画面ＩＤ（画面識別情報）と、質問と、インテンツ（意図情報）との組の集合のデータである。なお、学習モデル３１が機械学習済みである場合には、機械学習処理部３２を省略してオペレーション支援装置１を構成してもよい。

制御命令実行部４１は、外部の装置等を制御するための命令を実行する。制御命令実行部４１は、例えば、対象装置３を制御するための命令を実行する。これらの外部装置の制御は、例えば、入出力ポートからの信号の出力により行う。また、制御命令実行部４１は、表示部４３に、文字や画像を表示させるための命令を実行してもよい。具体的には、制御命令実行部４１は、質問のテキストや、答弁のテキストや、説明画面などを、表示部４３に表示させることができる。

ハードウェア制御部４２は、制御命令実行部４１が実行する制御命令にしたがい、外部のハードウェア（対象装置３など）を制御する。ハードウェア制御部４２は、具体的には、Ｉ／Ｏポート等から、制御信号を出力する。

表示部４３は、画像や文字等を表示するものである。具体的には、表示部４３は、対象装置３についての説明のための説明画面を表示したり、ユーザーが入力する質問のテキストを表示したり、オペレーション支援装置１が出力する答弁のテキストを表示したり、外部からの画像信号に基づいて画像を表示したりする。外部からの画像信号とは、例えば、対象装置３が備えるカメラが撮影した画像（映像）の信号である。表示部４３が表示する画面の構成例については、後で、図面を参照しながら説明する。

図２および図３は、オペレーション支援装置１内における情報（信号）のやりとりの流れの例を示す概略図である。以下、この概略図に沿ってオペレーション支援装置１の動作手順の例を説明する。

まず、図２のステップＳ１において、入力部１１は、ユーザーからの質問を取得し、アプリケーション稼働部１２に渡す。質問は、キーボード等の打鍵あるいは音声認識等の手段を用いて取得される。アプリケーション稼働部１２は、テキストデータの形式で、質問を取得する。質問が取得される時点においても、アプリケーション稼働部１２は、所定の説明画面を表示部４３に表示させている。アプリケーション稼働部１２は、現在表示中の説明画面の画面ＩＤを把握している。

次に、ステップＳ２において、アプリケーション稼働部１２は、現在の説明画面の画面ＩＤと、ステップＳ１で取得した質問のテキストとを、推論部２１に渡す。これにより、推論部２１は、推論の処理を開始する。

次に、ステップＳ３において、推論部２１は、ステップＳ２で取得した画面ＩＤと質問とを、学習モデル３１に渡す。学習モデル３１は、既に機械学習済みである。学習モデル３１は、機械学習の結果に基づいて、それらの画面ＩＤと質問とに適合するインテンツを求める。

次に、ステップＳ４において、学習モデル３１は、ステップＳ３で求めたインテンツを、推論部２１に渡す。推論部２１は、このインテンツを受け取る。

次に、ステップＳ５において、推論部２１は、ステップＳ４で受け取ったインテンツに基づいて、答弁記憶部２２を参照するためのアクセスを行う。答弁記憶部２２は、記憶している情報に基づいて、そのインテンツに対応する答弁を特定する。

次に、ステップＳ６において、答弁記憶部２２は、上記のインテンツに対応する答弁を推論部２１に渡す。言い換えれば、推論部２１は、上記のインテンツに対応する答弁の情報を答弁記憶部２２から読み出す。なお、推論部２１が得るのは、例えば、答弁のテキストデータである。

次に、ステップＳ７において、推論部２１は、制御命令生成部２３に、ステップＳ２で受け取った画面ＩＤと、ステップＳ４で受け取ったインテンツとを、渡す。制御命令生成部２３は、これらの情報を受け取る。制御命令生成部２３は、画面ＩＤとインテンツとの組合せの入力に対応する、制御命令と遷移先画面ＩＤとの情報を、予め記憶している。つまり、制御命令生成部２３は、受け取った画面ＩＤとインテンツとの組合せに対応する、制御命令および遷移先画面ＩＤの情報を生成する。

次に、ステップＳ８において、制御命令生成部２３は、ステップＳ７で生成した制御命令および遷移先画面ＩＤを、推論部２１に渡す。つまり、推論部２１は、上記の画面ＩＤとインテンツとに基づき、制御命令および遷移先画面ＩＤを獲得する。

次に、ステップＳ９において、推論部２１は、ステップＳ６で得られた答弁と、ステップＳ８で得られた制御命令および遷移先画面ＩＤとを、アプリケーション稼働部１２上で稼働するアプリケーションプログラムに渡す。アプリケーション稼働部１２は、これらの、答弁と、制御命令と、遷移先画面ＩＤとを受け取る。

次に、図３に移って、ステップＳ１０において、アプリケーション稼働部１２で稼働するアプリケーションプログラムは、制御命令実行部４１に、ステップＳ９で受け取った答弁のテキストを渡す。また、上記アプリケーションプログラムは、制御命令実行部４１に、ステップＳ９で受け取った制御命令を渡す。また、上記アプリケーションプログラムは、制御命令実行部４１に、ステップＳ９で受け取った遷移先画面ＩＤによって識別される画面を渡す。

次に、ステップＳ１１において、制御命令実行部４１は、ハードウェア制御部４２に、ステップＳ１０で受け取った制御命令を渡す。これにより、ハードウェア制御部４２は、その制御命令を実行することができる。制御命令は、例えば、対象装置３を制御するための命令である。つまり、制御命令実行部４１が制御命令を実行することにより、例えば、対象装置３の挙動を制御することができる。

次に、ステップＳ１２において、制御命令実行部４１は、表示部４３に、ステップＳ１０で受け取った答弁のテキストや、遷移先画面ＩＤによって識別される画面（画面を表す信号）を渡す。これにより、表示部４３は、遷移先の画面（対象装置３の説明用の画面）を表示することができる。また、表示部４３は、推論部２１が出力した答弁を表示することができる。

図４、図５、図６は、オペレーション支援装置１が処理するデータ間の関係を示す。

図４は、オペレーション支援装置１での処理における、質問内容と画面ＩＤとインテンツとの関係を示す概略図である。ここで、質問内容は、入力部１１がユーザーから取得した質問のテキストである。画面ＩＤは、入力部１１がユーザーから質問をしたときに表示されていた画面を識別する識別情報である。つまり、画面ＩＤは、質問が生じた状況を表す情報である。インテンツは、この状況における上記質問内容の意図を表す意図情報である。図２を参照しながら説明したように、学習モデル３１は、入力される質問内容と画面ＩＤとに基づいて、そのインテンツを推定し、出力する。学習モデル３１は、予め機械学習済みであるため、入力される質問内容と画面ＩＤに対応するインテンツの情報を持っている。学習モデル３１は、必ずしも決定的な質問内容と画面ＩＤとインテンツの関係の情報を持っていなくてもよい。しかしながら、学習モデル３１は、質問内容と画面ＩＤとに対応する、インテンツの尤度の情報を少なくとも持っている。学習モデル３１は、そのような情報に基づいて、インテンツを推定することができる。

図５は、オペレーション支援装置１での処理における、インテンツと答弁内容の関係を示す概略図である。ここで、インテンツは、上記のように学習モデル３１から出力される情報である。答弁内容は、出力すべき答弁のテキストである。既に説明したように、答弁記憶部２２は、インテンツと答弁内容とを対応付けて記憶している。つまり、インテンツをキーとして用いながら答弁記憶部２２を検索することにより、そのインテンツに対応する答弁内容を取得することができる。つまり、答弁記憶部２２は、インテンツから答弁内容への変換テーブルに相当するデータを記憶している。推論部２１は、答弁記憶部２２を参照することにより、インテンツから答弁内容への変換を行うことができる。

図６は、オペレーション支援装置１での処理における、インテンツと画面ＩＤと制御命令と遷移先画面ＩＤとの関係を示す概略図である。既に説明したように、制御命令生成部２３は、インテンツと画面ＩＤと制御命令と遷移先画面ＩＤとの対応関係の情報を記憶している。言い換えれば、制御命令生成部２３は、インテンツと画面ＩＤとの組合せを、制御命令と遷移先画面ＩＤとに変換するための変換テーブルに相当するデータを記憶している。制御命令生成部２３は、推論部２１からインテンツと画面ＩＤとを受け取ると、この変換テーブル相当するデータを参照して、出力すべき制御命令と遷移先画面ＩＤとを決定することができる。

以上、図４、図５、図６を参照しながら説明したように、オペレーション支援装置１は、質問内容（テキスト）と画面ＩＤとを基に、答弁内容（テキスト）と、制御命令と、遷移先画面ＩＤと求めるための情報および処理ロジックを持っている。

図７は、オペレーション支援装置１が使用することのできる制御命令の種類を列挙したテーブルである。図示するように、制御命令の制御対象は、対象装置３を含む。オペレーション支援装置１は、これらの制御対象の装置の各々について、複数の種類の制御命令を使用することができる。ここでは、便宜的に、制御命令を識別するための制御命令ＩＤを付与している。例えば、制御対象が対象装置３である制御命令の制御命令ＩＤは、「Ｃ−Ａ−」で始まり、連番を含んでいる。例えば、制御命令ＩＤがＣ−Ａ−０１の制御命令は「電源ｏｎ」のための命令である。制御命令ＩＤがＣ−Ａ−０２の制御命令は「電源ｏｆｆ」のための命令である。制御命令ＩＤがＣ−Ａ−０３の制御命令は「モーター系初期化」のための命令である。制御命令ＩＤがＣ−Ａ−０４の制御命令は「搬送開始」のための命令である。制御命令ＩＤがＣ−Ａ−０５の制御命令は対象装置３が持つカメラの電源をｏｎにするための命令である。制御命令ＩＤがＣ−Ａ−０６の制御命令は対象装置３が持つカメラの電源をｏｆｆにするための命令である。さらに他の制御命令が存在してよい。

図７に記載の制御命令記号列は、制御命令実行部４１が実際に実行するコードである。制御命令記号列は、例えば、文字列、１６進数文字列、あるいはビット列等として表され得る。

図７に例示した制御命令、あるいはその他の制御命令を、オペレーション支援装置１は実行することができる。具体的には、前述の通り、制御命令生成部２３は、特定の状況に応じて、制御命令を適宜選択し、生成する。生成された制御命令を、制御命令実行部４１が実行できる。なお、図７では、単一の命令を列挙したが、制御命令生成部２３は、複数の命令をシーケンシャルに実行するような制御命令や、複数の命令を並行して実行するような制御命令を生成してもよい。また、制御命令実行部４１は、そういった命令をも実行する。

図８は、オペレーション支援装置１の表示部４３が表示する画面の構成例を示す概略図である。この画面は、例えば、カラー液晶ディスプレイなどを用いて表示される。図示するように、画面１００１は、説明画面表示領域１００２と、撮影画像表示領域１００３と、質問・答弁表示領域１００４とを含む。同図に示す説明画面表示領域１００２と、撮影画像表示領域１００３と、質問・答弁表示領域１００４との配置は、一例であり、他の配置としてもよい。説明画面表示領域１００２と、撮影画像表示領域１００３と、質問・答弁表示領域１００４との各々は、スクロール可能であってもよいし、スクロール不可であってもよい。

説明画面表示領域１００２は、対象装置３の操作方法等の説明を表示するための画面の表示領域である。図示する例では、説明画面表示領域１００２は、説明画面の画面ＩＤ（Ｇ００１０１）と、画面のタイトル「操作のしかた」を表示している。

撮影画像表示領域１００３は、対象装置３が持つカメラが撮影した画像（静止画あるいは動画）を表示するための領域である。つまり、撮影画像表示領域１００３は、対象装置３が出力する画像を表示することができる。

質問・答弁表示領域１００４は、オペレーション支援装置１が取得した質問のテキストと、その質問に対応してオペレーション支援装置１が出力する答弁のテキストとを表示するための領域である。図示する例では、領域内の右側のスピーチバルーン内に質問が表示されている。また、領域内の左側のスピーチバルーン内に答弁が表示されている。質問と答弁とは、時系列にしたがって表示されている。なお、このような質問と答弁の表示方法は、一例である。他の表示方法を用いて質問や答弁を表示するようにしてもよい。

図９は、アプリケーション稼働部１２で稼働するアプリケーションプログラムが管理する説明画面の管理テーブルを示す概略図である。図示するように、この管理テーブルは、画面ＩＤと、画面タイトルと、画面定義との各項目を持つリレーショナル形式のデータである。アプリケーションプログラムは、オペレーション支援装置１の中、または外部に記憶されるこの管理テーブルにアクセス可能である。画面ＩＤは、説明画面の種別を一意に識別するための識別情報である。画面タイトルは、その画面のタイトルを表す文字列である。図８にも例示したように、例えば、説明画面表示領域１００２内に画面ＩＤやタイトルを表示してもよい。画面定義は、画面の構成についての定義情報である。アプリケーションプログラムは、この画面定義を参照することにより、画面を構成し、その画面を提示するための映像信号を、表示部４３に渡すことができる。画面定義の情報は、画像や、映像（動画）や、テキスト等を含んでもよい。図示する例では、この管理テーブルは、それぞれユニークな画面ＩＤに対応して、「操作のしかた」、「エラーメッセージ」、「初期化のしかた」、「充電警告表示」などといったタイトルを有する画面の情報を保持することができる。

図１０は、学習モデル３１の機械学習を行うための学習用データの例を示す概略図である。図示するように、学習用データは、画面ＩＤ（画面識別情報）と、質問と、インテンツ（意図情報）との組の集合のデータである。図示するデータ例における第１行目は、画面ＩＤが「Ｇ０２２３１」、質問が「カメラから画像が見えません」、インテンツが「カメラの画像が見えない」というデータである。機械学習処理部３２は、図１０に示すような構造を持つ大量のデータを、学習用データとして学習モデル３１に供給することにより、学習モデル３１の機械学習を行う。このような機械学習により、学習モデル３１は、画面ＩＤと質問が与えられたときに、それらに対応するインテンツを推定できるようになる。

図１１は、具体的な質問例に基づくオペレーション支援装置１の動作の状況を示す概略図である。図示する例では、入力部１１は、「カメラ画面が真っ黒」という質問をアプリケーション稼働部１２に渡す。アプリケーション稼働部１２は、その質問のテキストと、現在表示されている説明画面の画面ＩＤ（Ｇ０２２３２）とを、推論部２１に渡す。推論部２１は、その質問のテキストと、画面ＩＤとを、学習モデル３１に渡す。学習モデル３１は、推論部２１から渡された質問のテキストと画面ＩＤとに基づいて、モデルの作用により、インテンツを推定する。本例で、推定されたインテンツは、「カメラの画面が見えない」である。なお、インテンツは、このような文のテキストの形式であってもよいし、何らかの記号であってもよい。学習モデル３１は、このインテンツを、推論部２１に返す。推論部２１は、このインテンツに基づいて、答弁記憶部２２から、「この画面でカメラの電源を確認できます。」という答弁を取得する。また、推論部２１は、このインテンツと、上記の画面ＩＤ（Ｇ０２２３２）とに基づいて、制御命令生成部２３から、遷移先画面ＩＤ（Ｇ０２５０１）と、「カメラ電源ｏｎ」の制御を行うための制御命令とを取得する。これにより、アプリケーション稼働部１２において稼働するアプリケーションプログラムは、「この画面でカメラの電源を確認できます。」という答弁を出力し、遷移先画面ＩＤ（Ｇ０２５０１）によって識別される説明画面を表示し、「カメラ電源ｏｎ」に該当する制御命令を実行するような処理を行うことが可能となる。

図１１に示した処理は、一例であり、オペレーション支援装置１は、答弁記憶部２２に記憶された情報に基づいて、様々な答弁を出力することが可能となる。また、オペレーション支援装置１は、制御命令生成部２３に記憶された情報に基づいて、様々な制御命令を実行させたり、様々な説明画面を表示させたりすることが可能となる。

一例として、オペレーション支援装置１は、「モーター系の初期化を行いたい」というインテンツに対応して、モーター系の初期化に関する説明画面を表示したり、モーター系の初期化に関する制御命令を対象装置３に対して実行したりすることができる。
その他にも、オペレーション支援装置１は、対象装置３を稼働させたり、その稼働を停止させたり、対象装置３の設定を変更したりなどといった、様々な操作をすることができる。

なお、上述した実施形態におけるオペレーション支援装置等の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。なお、複数の変形例を、組み合わせることが可能な限りにおいて、組み合わせて実施してもよい。

［変形例］
上記の実施形態では、答弁のテキストを画面に表示する場合を説明したが、代わりに、録音メッセージや合成音声等を用いて答弁の音声を出力するようにしてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、例えば、あらゆる産業において、装置等のオペレーションを支援する目的で利用することができる。ただし、本発明の利用範囲はここに例示したものには限られない。

１ オペレーション支援装置
３ 対象装置
１１ 入力部
１２ アプリケーション稼働部
２１ 推論部
２２ 答弁記憶部
２３ 制御命令生成部
３１ 学習モデル（モデル）
３２ 機械学習処理部
４１ 制御命令実行部
４２ ハードウェア制御部
４３ 表示部
１００１ 画面
１００２ 説明画面表示領域
１００３ 撮影画像表示領域
１００４ 質問・答弁表示領域

Claims (6)

1. 質問を取得するための入力部と、
   対象装置についての説明画面を表示する表示部と、
   前記対象装置を制御するための制御命令を実行する制御命令実行部と、
   質問と画面識別情報とに基づいて、前記質問の意図を表す意図情報を出力するための情報を持ち、機械学習可能に構成したモデルと、
   前記質問と、前記入力部が前記質問を取得した際に表示されていた説明画面を識別するための画面識別情報とに基づいて、前記モデルから前記意図情報を取得し、取得した前記意図情報に対応する答弁と、前記意図情報と前記画面識別情報とに対応する制御命令と、前記意図情報と前記画面識別情報とに対応する遷移先の説明画面を識別するための遷移先画面識別情報と、を求める推論部と、
   前記推論部が求めた前記答弁を出力し、前記推論部が求めた前記制御命令を前記制御命令実行部に実行させ、前記推論部が求めた前記遷移先画面識別情報に対応する説明画面を前記表示部に表示させる、アプリケーションプログラムを実行させるアプリケーション稼働部と、
   前記意図情報と前記答弁との対応関係を記憶する答弁記憶部と、
   前記意図情報と前記画面識別情報とに対応して、前記制御命令の情報と前記遷移先画面識別情報とを記憶し、前記意図情報と前記画面識別情報とに基づく前記推論部からの問い合わせに対して、対応する前記制御命令と前記遷移先画面識別情報とを応答する制御命令生成部と、
   を備え、
   前記推論部は、取得した前記意図情報に基づいて前記答弁記憶部を参照することにより、前記意図情報に対応する前記答弁を求め、
   前記推論部は、取得した前記意図情報と前記画面識別情報とに基づいて前記制御命令生成部への問い合わせを行うことにより、前記制御命令と前記遷移先画面識別情報とを求める、
   オペレーション支援装置。
2. 前記質問と、前記画面識別情報と、前記意図情報と、を含む学習用データを供給して、前記モデルの機械学習を行う機械学習処理部、
   をさらに備える請求項１に記載のオペレーション支援装置。
3. 前記表示部は、前記アプリケーション稼働部が出力した前記答弁を表示する、
   請求項１または２に記載のオペレーション支援装置。
4. 前記表示部は、前記対象装置が備えるカメラが撮影した画像を表示するための領域を持つ、
   請求項１から３までのいずれか一項に記載のオペレーション支援装置。
5. 入力部が、質問を取得し、
   表示部が、対象装置についての説明画面を表示し、
   制御命令実行部が、前記対象装置を制御するための制御命令を実行し、
   質問と画面識別情報とに基づいて、前記質問の意図を表す意図情報を出力するための情報を持ち、機械学習可能に構成したモデルを持ち、
   推論部が、前記質問と、前記入力部が前記質問を取得した際に表示されていた説明画面を識別するための画面識別情報とに基づいて、前記モデルから前記意図情報を取得し、取得した前記意図情報に対応する答弁と、前記意図情報と前記画面識別情報とに対応する制御命令と、前記意図情報と前記画面識別情報とに対応する遷移先の説明画面を識別するための遷移先画面識別情報と、を求め、
   アプリケーション稼働部が、前記推論部が求めた前記答弁を出力し、前記推論部が求めた前記制御命令を前記制御命令実行部に実行させ、前記推論部が求めた前記遷移先画面識別情報に対応する説明画面を前記表示部に表示させる、アプリケーションプログラムを実行させ、
   答弁記憶部が、前記意図情報と前記答弁との対応関係を記憶し、
   制御命令生成部が、前記意図情報と前記画面識別情報とに対応して、前記制御命令の情報と前記遷移先画面識別情報とを記憶し、前記意図情報と前記画面識別情報とに基づく前記推論部からの問い合わせに対して、対応する前記制御命令と前記遷移先画面識別情報とを応答する、
   オペレーション支援方法であって、
   前記推論部は、取得した前記意図情報に基づいて前記答弁記憶部を参照することにより、前記意図情報に対応する前記答弁を求めるとともに、
   前記推論部は、取得した前記意図情報と前記画面識別情報とに基づいて前記制御命令生成部への問い合わせを行うことにより、前記制御命令と前記遷移先画面識別情報とを求める、
   オペレーション支援方法。
6. コンピューターを、
   請求項１から４までのいずれか一項に記載のオペレーション支援装置、
   として機能させるためのプログラム。

Images