JP7544246B2 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

Description

本発明は、表示制御装置、表示制御方法および表示制御プログラムに関する。

従来、チャットＵＩ（User Interface）を用いた対話システムにおいて、対話の遷移状態（適宜、「コンテキスト」）を管理し、応答内容を制御するシステム構成がある。さらに、対話システムを介して、別のシステムを操作する場合には、操作実行するための情報を取得（スロット充足）、管理する必要があり、対話システムの意図推定、スロット充足のための技術もある。

一方、対話システムから代行操作を可能とする「ChatOps」は、主にソフトウェア開発におけるソースコードの版数管理作業等の作業をチャットボットへコマンド入力することにより自動化する。ここでは、チャットボット自体がアプリケーションを自動実行するためのプログラムおよびインターフェースを持つ（例えば、非特許文献１参照）。

Storey M and Zagalsky、 "Disrupting Developer Productivity One Bot at a Time"、 2016

しかしながら、上述した従来技術では、チャットＵＩを用いた対話システムにおいて、代行操作を容易に行うことができなかった。なぜならば、従来技術では、以下で説明する課題があるためである。

第１に、対話システムがＰＣ（Personal Computer）作業の代行操作を行う場合、対話システムが代行操作を行うための情報を内部に保持することになるが、ユーザがそれらの情報を確認や修正したいケースが出てくる。例えば、自動操作実行の是非をユーザが判断したい場合や、後から確定した情報があり、対話システム上のデータが古く修正したい場合等に対応できないという課題がある。

第２に、チャットＵＩにより、対話システムが保持する情報をテキストベースで提示することは可能だが、対話形式でユーザに提示することに不向きな場合がある。例えば、リスト形式のデータの確認や編集を行う際、一覧性に欠ける、また、データ値を修正するたびに対話を繰り返す必要があり、煩わしい等である。このため、ユーザへの情報提示や入力受付を全てチャットＵＩで行うのは非効率になるという課題がある。

上記の第２の課題のように、チャットＵＩで全てのユーザ操作を行うことが困難な場合、チャットＵＩとは別の専用画面を用意し、ユーザ操作を行ってもらうことが対策として考えられる。例えば、運送会社の再配達受付では、まず、チャットＵＩによりユーザに通知し、ユーザに専用画面にリンクさせ、必要な情報を入力させ、必要があれば、入力された情報を対話システム側に反映する。このように、チャットＵＩとは別に専用画面を用意することで、ユーザ入力に関する課題（一覧性、効率性の向上）は解決される。

しかしながら、システムを構築するという観点においては、対話システムを介して代行操作を行う用途ごとに専用画面が必要となる。このため、専用画面の開発コストがかさむため、多用途な対話システムを目指す上でネックになる。また、対話シナリオに合わせて専用画面も整備が必要であり、運用コストも増加する。

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込部と、前記遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する取得部と、前記現在遷移している対話に関する情報に基づいて、前記遷移している対話を特定する特定部と、前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信部と、前記受信部によって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩ（Graphical User Interface）の情報を生成する生成部と、前記生成部によって生成された前記表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する表示部とを備えることを特徴とする。

また、本発明に係る表示制御方法は、表示制御装置によって実行される表示制御方法であって、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込工程と、前記遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する取得工程と、前記現在遷移している対話に関する情報に基づいて、前記遷移している対話を特定する特定工程と、前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信工程と、前記受信工程によって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩの情報を生成する生成工程と、前記生成工程によって生成された前記表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する表示工程とを含むことを特徴とする。

また、本発明に係る表示制御プログラムは、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込ステップと、前記遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する取得ステップと、前記現在遷移している対話に関する情報に基づいて、前記遷移している対話を特定する特定ステップと、前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信ステップと、前記受信ステップによって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩの情報を生成する生成ステップと、前記生成ステップによって生成された前記表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する表示ステップとをコンピュータに実行させることを特徴とする。

本発明では、チャットＵＩを用いた対話システムにおいて、代行操作を容易に行うことができる。

図１は、第１の実施形態に係る表示制御システムの構成例を示す図である。 図２は、第１の実施形態に係る表示制御装置の構成例を示すブロック図である。 図３は、第１の実施形態に係る対話シナリオ作成１の一例を示す図である。 図４は、第１の実施形態に係る対話シナリオ作成２の一例を示す図である。 図５は、第１の実施形態に係る対話シナリオ情報の一例を示す図である。 図６は、第１の実施形態に係る業務イメージの一例を示す図である。 図７は、第１の実施形態に係る各種データ設定１の一例を示す図である。 図８は、第１の実施形態に係る各種データ設定２の一例を示す図である。 図９は、第１の実施形態に係る表示制御処理１－１の一例を示す図である。 図１０は、第１の実施形態に係る表示制御処理１－２の一例を示す図である。 図１１は、第１の実施形態に係る表示制御処理１－３の一例を示す図である。 図１２は、第１の実施形態に係る表示制御処理１－４の一例を示す図である。 図１３は、第１の実施形態に係るＧＵＩ生成処理１－１の一例を示す図である。 図１４は、第１の実施形態に係るＧＵＩ生成処理１－２の一例を示す図である。 図１５は、第１の実施形態に係る表示制御処理２－１の一例を示す図である。 図１６は、第１の実施形態に係る表示制御処理２－２の一例を示す図である。 図１７は、第１の実施形態に係る表示制御処理３の一例を示す図である。 図１８は、第１の実施形態に係るＧＵＩ制御処理２の一例を示す図である。 図１９は、第１の実施形態に係る内部状態ボード制御処理の流れの一例を示すフローチャートである。 図２０は、第１の実施形態に係るＧＵＩ制御処理の流れの一例を示すフローチャートである。 図２１は、プログラムを実行するコンピュータを示す図である。

以下に、本発明に係る表示制御装置、表示制御方法および表示制御プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

〔第１の実施形態〕
以下に、第１の実施形態（適宜、本実施形態）に係る表示制御システムの構成、表示制御装置の構成、対話シナリオ等の各種設定処理、表示制御処理およびＧＵＩ生成処理、内部状態ボード制御処理の流れ、ＧＵＩ制御処理の流れを順に説明し、最後に本実施形態の効果を説明する。

［表示制御システムの構成］
図１を用いて、本実施形態に係る表示制御システム（適宜、本システム）１００の構成を詳細に説明する。図１は、第１の実施形態に係る表示制御システムの構成例を示す図である。本システム１００は、ユーザ２０、表示制御装置１０（図示せず）の処理に関与するチャットＵＩ３０、対話プログラム４０、対話プログラムの内部状態を表わすＧＵＩである内部状態ボード５０、対話シナリオ情報記憶部１４ａを有する。ここで、ユーザ２０と、チャットＵＩ３０、対話プログラム４０、内部状態ボード５０に関与する表示制御装置１０と、対話シナリオ情報記憶部１４ａとは、図示しない所定の通信網を介して、有線または無線により通信可能に接続される。なお、図１に示した表示制御システム１００には、複数台の表示制御装置１０や、複数のユーザ２０が含まれてもよい。

（基本的な表示制御処理）
まず、図１（１）～（４）を用いて、基本的な表示制御処理について説明する。ユーザ２０は、表示制御装置１０の対話システムで用いるチャットＵＩ３０に対して、テキスト入力等の操作を行う（図１（１）参照）。チャットＵＩ３０に入力された情報は、情報流通され、チャットボット（適宜、「ボット」）等の対話プログラム４０に送信される（図１（２）参照）。一方、対話プログラム４０からチャットＵＩ３０に対して対話応答が行われ（図１（３）参照）、チャットＵＩ３０からユーザ２０に対して、対話内容が表示される（図１（４）参照）。なお、対話プログラム４０の処理に必要な対話シナリオは、対話シナリオ情報記憶部１４ａから読み込まれる。

（内部状態ボードを用いた表示制御処理）
次に、図１（５）～（８）を用いて、内部状態ボード５０を用いた表示制御処理について説明する。ユーザ２０は、チャットＵＩ３０とともに表示された内部状態ボード５０に対して、テキスト入力等の操作を行う（図１（５）参照）。このとき、内部状態ボード５０は、対話プログラム４０で現在遷移している対話に対応する内部状態ボードとして表示される。

ここで、対話プログラムの内部状態とは、少なくとも対話の遷移状態と対話システムの機能を実行するために必要なデータ値であって、内部状態記憶部１４ｂに記憶される情報である。例えば、内部状態とは、対話の履歴や進捗状況等のフローに関わる情報の他、代行操作等の各種業務の操作のために必要なデータ値全般であるが、特に限定されない。

図１では、対話プログラム４０の「対話プログラムの内部状態フロー（イメージ）」における「現在位置」と示されるノードが、現在遷移している対話に対応する。また、上記の「対話プログラムの内部状態フロー（イメージ）」における「代行操作を行うノード」と示されるノードは、他システムへの代行操作を行うことのできる対話を表わす。なお、代行操作等の業務イメージについては、（業務イメージ）で後述する。

上記のユーザ操作によって、内部状態ボード５０の内容が変更された場合や、追加された場合は、内部状態記憶部１４ｂ（図示せず）に記憶された内部状態が更新される（図１（６）参照）。また、上記のユーザ操作によって、対話の遷移等が起こり、内部状態の変更が起こった場合は、変更後の内部状態や対話シナリオをもとにＧＵＩが生成される（図１（７）参照）。そして、ユーザ２０に対して、変更後の内部状態を示した内部状態ボード５０が表示される（図１（８）参照）。

また、内部状態ボード５０は、対話プログラムの内部状態を提示するためのＧＵＩであるが、ＵＩやウィンドウサイズは可変であり、対話のコンテキスト（遷移状態）、もしくは端末上でのユーザ操作（例：別システムのボタン押下等）で表示内容が切り替わる。さらに、内部状態ボード５０は、初期状態では空白であったり、透明であったり、サイズ０であってもよい。一方、チャットＵＩ３０は、対話プログラム（ボット）にアクセスするためのＵＩであり、内部状態ボード５０のウィンドウと重複するように表示されてもよいし、独立した構成で表示されてもよい。

本実施形態に係る表示制御システム１００では、チャットＵＩ３０とは別に、対話プログラムの内部状態を表示および編集するための画面（内部状態ボード）５０を有し、現在の対話遷移状態と対話シナリオもしくは対話シナリオに紐づけられたデータをもとに内部状態ボード５０のＧＵＩの表示を制御する。このため、ユーザ２０が対話プログラムの内部状態を理解、編集することを容易にする。つまり、ユーザ２０にチャットボット４０内部の状態を提示し、ユーザ２０に代行操作の実行是非を判断しやすくし、また、チャットボット４０が代行操作を実行する際に用いる情報（投入データ等）を確認、修正しやすくする。さらに、対話シナリオを生成すれば内部状態ボードのＧＵＩが自動的に生成されるため、専用画面を都度作成する必要がない。なお、対話シナリオについては、［対話シナリオ等の各種設定処理］で後述する。

［表示制御装置の構成］
図２を用いて、本実施形態に係る表示制御装置１０の構成を詳細に説明する。図２は、本実施形態に係る表示制御装置の構成例を示すブロック図である。表示制御装置１０は、入力部１１、出力部１２、通信部１３、記憶部１４および制御部１５を有する。

入力部１１は、当該表示制御装置１０への各種情報の入力を司る。入力部１１は、例えば、マウスやキーボード等であり、当該表示制御装置１０への設定情報等の入力を受け付ける。また、出力部１２は、当該表示制御装置１０からの各種情報の出力を司る。出力部１２は、例えば、ディスプレイ等であり、当該表示制御装置１０に記憶された設定情報等を出力する。

通信部１３は、他の装置との間でのデータ通信を司る。例えば、通信部１３は、各通信装置との間でデータ通信を行う。また、通信部１３は、図示しないオペレータの端末との間でデータ通信を行うことができる。

記憶部１４は、制御部１５が動作する際に参照する各種情報や、制御部１５が動作した際に取得した各種情報を記憶する。記憶部１４は、対話シナリオ情報記憶部１４ａおよび内部状態記憶部１４ｂを有する。ここで、記憶部１４は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置等である。なお、図２の例では、記憶部１４は、表示制御装置１０の内部に設置されているが、表示制御装置１０の外部に設置されてもよいし、複数の記憶部が設置されていてもよい。

対話シナリオ記憶部１４ａは、対話シナリオ情報、表示内容設定情報およびＧＵＩ構成情報等を記憶する。例えば、対話シナリオ記憶部１４ａは、対話シナリオ情報として、ノードＩＤ（identification）、ノード名、ノードタイプ、発話テキスト、遷移条件リスト、ボード表示制御等のノードの基本情報や、代行操作のための設定等を記憶する。また、対話シナリオ記憶部１４ａは、表示内容設定情報として、表示リストやＧＵＩ構成リスト等を記憶する。また、対話シナリオ記憶部１４ａは、ＧＵＩ構成情報として、ＨＴＭＬ（Hypertext Markup Language）等のＧＵＩを表示するための情報等を記憶する。内部状態記憶部１４ｂは、対話の遷移状態、対話システムの機能を実行するために必要なデータ値等を記憶する。

制御部１５は、当該表示制御装置１０全体の制御を司る。制御部１５は、内部状態ボード制御部１５１として、読込部１５１ａ、検知部１５１ｂ、取得部１５１ｃ、特定部１５１ｄ、設定部１５１ｅおよび反映部１５１ｆ、ＧＵＩ制御部１５２として、受信部１５２ａ、生成部１５２ｂおよび表示部１５２ｃを有する。ここで、制御部１５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。

読込部１５１ａは、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む。例えば、読込部１５１ａは、ノードＩＤ、ノード名、ノードタイプ、発話テキスト、遷移条件リスト、ボード表示制御、代行操作のための設定を含む対話シナリオ情報を読み込む。また、読込部１５１ａは、キー情報を指定する表示リストとＧＵＩ構成情報を指定するＧＵＩ構成リストとを含む表示内容設定情報を読み込む。さらに、読込部１５１ａは、ＧＵＩ構成情報を読み込む。例えば、読込部１５１ａは、ＧＵＩ構成情報として、ＨＴＭＬ等のＧＵＩを表示するための情報を読み込む。

検知部１５１ｂは、対話を行うユーザの操作を検知する。例えば、検知部１５１ｂは、対話を行うユーザ２０の端末における内部状態ボード５０上でのテキストデータの入力処理や更新処理を検知する。また、検知部１５１ｂは、対話を行うユーザ２０の端末におけるチャットＵＩ３０や業務システム等の他アプリケーションに対するテキストデータの入力処理やクリック等のユーザ操作を検知してもよい。

取得部１５１ｃは、遷移条件リストに基づいて、現在遷移している対話に関する情報を取得する。また、取得部１５１ｃは、遷移条件リストおよびユーザの操作に基づいて、現在遷移している対話に関する情報を取得する。例えば、取得部１５１ｃは、現在遷移している対話に関する情報として、遷移条件リストおよびユーザの操作の履歴を取得する。さらに、取得部１５１ｃは、現在遷移している対話に関する情報として、特定部１５１ｄによって特定された現在遷移している対話に対応するノードＩＤ、ノード名、ノードタイプ、ボード表示制御を取得する。

特定部１５１ｄは、現在遷移している対話に関する情報に基づいて、現在遷移している対話を特定する。例えば、特定部１５１ｄは、遷移条件リストおよびユーザの操作の履歴に基づいて、遷移している対話を特定する。また、特定部１５１ｄは、現在遷移している対話に対応するノードＩＤ、ノード名、ノードタイプ、ボード表示制御を特定する。さらに、特定部１５１ｄは、特定した現在遷移している対話に対応するノードＩＤ、ノード名、ノードタイプ、ボード表示制御を取得部１５１ｃに送信する。

設定部１５１ｅは、取得部１５１ｃによって取得された現在遷移している対話に関する情報に基づいて、対話プログラムの内部状態を表わすＧＵＩの表示、または非表示を設定する。例えば、設定部１５１ｅは、現在遷移している対話に対応するボード表示制御が「表示」である場合には、対話プログラムの内部状態を表わすＧＵＩの表示を設定する。一方、設定部１５１ｅは、現在遷移している対話に対応するボード表示制御が「非表示」である場合には、対話プログラムの内部状態を表わすＧＵＩの非表示を設定する。さらに、設定部１５１ｅは、現在遷移している対話に対応するノードＩＤ、ノード名、ノードタイプごとに、対話プログラムの内部状態を表わすＧＵＩのウィンドウサイズや色彩等の表示方式を設定してもよい。

反映部１５１ｆは、対話プログラムの内部状態を表わすＧＵＩの変更が入力された場合には、対話プログラムの内部状態に対して、入力された変更を反映する。例えば、反映部１５１ｆは、検知部１５１ｂによって内部状態ボード５０上でのテキストデータの入力処理が検知された場合には、入力処理されたテキストデータを内部状態記憶部１４ｂに格納し、内部状態の変更を反映する。

受信部１５２ａは、現在遷移している対話に対応する対話シナリオ情報を受信する。また、受信部１５２ａは、現在遷移している対話に対応する表示内容設定情報を受信する。さらに、受信部１５２ａは、現在遷移している対話に対応するＧＵＩ構成情報を受信する。

生成部１５２ｂは、受信部１５２ａによって受信された対話シナリオ情報に基づいて、表示するＧＵＩの情報（ＧＵＩ描画情報）を生成する。例えば、生成部１５２ｂは、所定のキー情報に合致する情報を用いて、表示するＧＵＩの情報を生成する。また、生成部１５２ｂは、表示内容設定情報に含まれる表示リストで指定された情報をキーに、対話シナリオ情報から該当する情報を抽出し、抽出した情報のキー名をラベル、データ値をテキストボックスとして表示するＧＵＩの情報を生成する。さらに、生成部１５２ｂは、受信部１５２ａによって受信されたＧＵＩ構成情報に基づいて、表示するＧＵＩの情報を生成する。例えば、生成部１５２ｂは、読込部１５１ａによって読み込まれた表示内容設定情報にＧＵＩ構成リストが含まれている場合には、ＧＵＩ構成リストが指定するＧＵＩ構成情報に基づいて、表示するＧＵＩの情報を生成する。

表示部１５２ｃは、生成部１５２ｂによって生成された表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩ（内部状態ボード）５０を表示する。例えば、表示部１５２ｃは、生成部１５２ｂによって生成された情報のキー名をラベル、データ値をテキストボックスとして表示する。また、表示部１５２ｃは、上記のデータ値がリストであれば羅列した配置に表示する。さらに、表示部１５２ｃは、反映部１５１ｆによって内部状態記憶部１４ｂに反映するボタンを内部状態ボード５０の最下部に表示してもよい。

［対話シナリオ等の各種設定処理］
図３～図８を用いて、本実施形態に係る対話シナリオ等の各種設定処理を詳細に説明する。図３、図４は、第１の実施形態に係る対話シナリオ作成の一例を示す図である。図５は、第１の実施形態に係る対話シナリオ情報の一例を示す図である。図６は、第１の実施形態に係る業務イメージの一例を示す図である。図７、図８は、第１の実施形態に係る各種データ設定の一例を示す図である。

（対話シナリオ作成１）
図３を用いて、本実施形態に係る対話シナリオ作成１を詳細に説明する。図３では、対話プログラムの内部状態フローのイメージが示されており、ノード（ａ）～（ｖ）が各対話等の処理に対応する。なお、末端のノード（ｆ）、（ｊ）、（ｎ）、（ｑ）、（ｕ）、（ｖ）は、「スタートに戻るノード」を表わし、代行操作を実行した場合には、このノードに遷移して最初の対話に戻る。

各ノードの情報を設定することにより、対話シナリオ（対話シナリオ情報）が構成される。また、各ノードは「発話テキスト」と「遷移条件リスト」を持ち、対話シナリオは、指定した遷移条件に従い遷移する。

図３のノード（ａ）を用いて、ノードの基本情報および遷移条件の具体例について説明する。図３のノード（ａ）の基本情報では、“ノードid”として“node0000”、“ノード名”として“スタート”、“ノードタイプ”として“normal”、“発話テキスト”として“Hello！”、“遷移条件リスト”として[｛“(遷移条件のid)”，“(ノード1-1のid)”｝，｛“(遷移条件のid)”，“(ノード2-1のid)”｝，｛“(遷移条件のid)”，“(ノード3-1)のid”｝]、“ボード表示制御”として“表示”等がＪｓｏｎ（JavaScript（登録商標） Object Notation）を用いて表現されている（図３（１）参照）。

ここで、“ノードタイプ”は、“normal”は通常ノード（通常処理）であり、“action”は代行操作ノード（代行操作処理）である。また、“遷移条件リスト”の“(ノード1-1のid)”、“(ノード2-1のid)”、“(ノード3-1)のid”は、宛先ノードである。また、“ボード表示制御”は、“表示”が内部状態ボード表示であり、“非表示”が内部状態ボード非表示であり、ノードごとに設定してもよい。

また、図３のノード（ａ）の遷移条件では、“遷移条件id”として”condition1-1”、“遷移条件名”として“○○システムを開き、業務Ａを開始”、“遷移条件”として、ユーザ発話＝“業務Ａを開始”またはＵＲＬ＝“ｘｘｘ”のページを開く等がＪｓｏｎを用いて表現されている（図３（２）参照）。なお、対話シナリオの作成は、フローを描画できるようなＧＵＩで作成してもよいし、上記のようなＪｓｏｎベースでの記載でもよく、特に限定されない。

（対話シナリオ作成２）
図４を用いて、本実施形態に係る対話シナリオ作成２を詳細に説明する。対話シナリオ作成２は、各ノードに「代行操作」および「代行操作に必要なデータ取得」のための設定情報を持たせることができる設定である。図４では、各ノードの設定例（１）～（５）がＪｓｏｎを用いて表現されている。

データ取得のための設定例として、ノードの情報の末尾に、“データ取得リスト”として｛“ユーザID”，“(データ取得先のid)”｝、｛“ユーザ名”，“(データ取得先のid)”｝、｛“顧客会社名”，“(データ取得先のid)”｝、｛“顧客担当者名”，“(データ取得先のid)”｝等を記載する（図４（１）参照）。また、データ取得先の設定例として、“データ取得先id”として“UI123456”、“データ取得先情報”として“(UIを特定するための情報)”を記載する（図４（２）参照）。ここで、(UIを特定するための情報)とは、例えば、セレクタ情報（ＨＴＭＬ）や画面配置順（インデックス番号）等で指定される。なお、上記のデータ取得先の設定例は、音声操作では辞書データに相当する。また、図４では、図３で説明したノードの基本情報と分けて記載しているが、同じＪｓｏｎファイル中で記載してもよい。

また、データ取得のための設定例として、ノードの情報の末尾に、“データ取得リスト”として｛“日時”，“(データ取得先のid)”｝、｛“場所”，“(データ取得先のid)”｝、｛“対応詳細”，“(データ取得先のid)”｝、｛“備考”，“(データ取得先のid)”｝等を記載する（図４（３）参照）。

一方、代行操作のための設定例として、ノードの情報の末尾に、“代行操作id”として“(代行操作id)”、“代行操作名”として“(代行操作の説明)”、“利用データリスト”として｛“ユーザID”:“(ユーザIDの値)”｝、｛“ユーザ名”:“(ユーザ名の値)”｝、…、｛“対応詳細”:“(対応詳細の値)”｝、｛“備考”：“(備考の値)”｝が記載されている（図４（４）参照）。なお、代行操作を行うノードは、ノードタイプが“action”のノードである。

また、代行操作実行情報の例として、“代行操作id”として“action123456”、“代行操作内容として“(代行操作のための機能実行プログラム)”が記載されている（図４（５）参照）。ここで、(代行操作のための機能実行プログラム)とは、例えば、スクリプト言語そのもの（例：JavaScript）、ＲＰＡ（Robotic Process Automation）アプリ実行のための情報（例：exeのパス、読み込むシナリオのパス）、対話システムが内包する代行操作実行系を動作させるための専用の命令セットであるが、特に限定されない。

（対話シナリオ情報）
図５を用いて、本実施形態に係る対話シナリオ情報のイメージを詳細に説明する。図５では、（１）ノードごとの情報、（２）ノードの基本情報、（３）データ取得のための設定、（４）代行操作のための設定、（５）データ取得先の情報、（６）代行操作実行情報の例がＪｓｏｎを用いて表現されている。図５で示す構成の１ファイルの設定で１対話シナリオに対応するが、ファイル構成は特に限定されない。また、記載の形式はＪｓｏｎに限られず、情報が識別できれば任意の形式で記載してもよい。

（業務イメージ）
図６を用いて、本実施形態に係る業務イメージを詳細に説明する。図６では、対話プログラムの内部状態フローのイメージを用いて、具体的な業務イメージと最終的な代行操作を示している。なお、図６のフローでは、代行操作を実行した場合には、「スタートに戻るノード」に遷移して最初の対話に戻る。

業務イメージ１が「システムＡへ顧客情報の登録」であった場合、代行操作として「システムＢへデータ転記」が実行される。業務イメージ２が「システムＢへ案件情報の登録」であった場合、業務イメージ２－１では、「新規登録」を経て、代行操作として「進捗管理表作成」が実行され、業務イメージ２－２では、「案件情報更新」を経て、代行操作として「進捗管理表更新」が実行され、業務イメージ２－３では、「発注情報登録」を経て、代行操作として「見積書作成」が実行される。業務イメージ３が「システムＣへ物品の発注処理」であった場合、代行操作として「メール送付」が実行される。

（各種データ設定１）
図７を用いて、本実施形態に係る各種データ設定１を詳細に説明する。各種データの設定１は、各設定内容は専用エディタ（ＧＵＩ）等により設定する、つまりローコードで設定することを可能とする。なお、各種データ設定１は、ノードのプロパティ設定を行うイメージで、各種データの変更等を実行することができる。

まず、例えば、専用エディタ等を利用してデータ取得先を指定するＧＵＩから、ノードの詳細設定情報を出力する（図７（１）参照）。このとき、データ取得先を指定する情報は、ＨＴＭＬのセレクタ情報、画面配置のインデックス番号等であるが、特に限定されない。次に、出力された表示画面に各種情報を入力する（図７（２）参照）。この結果、図７（３）で示すデータ取得のための設定例や図７（４）で示すデータ取得先の設定例を設定することができる。最後に、出力された表示画面の設定を完了することによって、ノードへの各種設定が完了する（図７（５）参照）。なお、上記の設定処理はユーザの手入力や他アプリによって実行してもよい。

（各種データ設定２）
図８を用いて、本実施形態に係る各種データ設定２を詳細に説明する。各種データ設定２は、代行操作の情報を持つノード（ノードタイプ：action）の場合にも、ローコードで設定することを可能とする。

まず、例えば、専用エディタ等を利用して、ノードの詳細設定情報を出力する（図８（１）参照）。ここで出力された表示画面に各種情報を入力する（図８（２）参照）。なお、ここでは、各種情報の入力として、スクリプト言語を用いているが、特に限定されない。また、対象となるアプリ指定に関する情報を入力してもよい。この結果、図８（３）で示す代行操作のための設定例や図８（４）で示す代行操作実行情報の例を設定することができる。最後に、出力された表示画面の設定を完了することによって、ノードへの各種設定が完了する（図８（５）参照）。一方、各種情報の入力は、ローカルアプリ指定によって実行してもよい（図８（６）参照）。なお、上記の設定処理はユーザの手入力によって実行してもよい。

［表示制御処理１］
図９～図１２を用いて、本実施形態に係る表示制御処理１を詳細に説明する。図９～図１２は、第１の実施形態に係る表示制御処理１の一例を示す図である。

（表示制御処理１－１）
図９を用いて、本実施形態に係る表示制御処理１－１を詳細に説明する。表示制御処理１－１は、対話シナリオの内部状態と内部状態ボード５０上のＧＵＩ表示が連動し、現在の遷移しているノードの情報から、内部状態ボードで表示するＧＵＩが決定される処理である。なお、表示制御処理１－１では、ノードとして“ノードタイプ”＝“normal”について説明する。

まず、ユーザ２０は、チャットＵＩ３０に対して、入力操作等を実行する（図９（１）参照）。また、ユーザ２０は、業務システムに対して、入力操作等を実行してもよい（図９（２）参照）。次に、ユーザ２０の操作により、対話システムの遷移条件が満たされたときは、対話プログラムの内部状態が遷移する（図９（３）参照）。このとき、現在遷移しているノードの図９（４）に示すノードの基本情報に含まれる発話テキスト等の情報をチャットＵＩ３０に対応させる（図９（５）参照）。そして、発話テキストに基づき、チャットＵＩ３０が発話を行う（図９（６）参照）。最後に、ユーザ２０の操作に基づく遷移状態が反映され、内部状態ボード５０の表示が更新される（図９（７）参照）。

（表示制御処理１－２）
図１０を用いて、本実施形態に係る表示制御処理１－２を詳細に説明する。表示制御処理１－２は、内部状態ボード５０で表示されたデータ値を書き換える処理であり、内部状態ボード５０上でユーザが書き換えた値、もしくは内部状態として未取得のデータを内部状態記憶部１４ｂへ反映することができる。なお、内部状態ボード５０の表示更新時は、初期値として内部状態記憶部１４ｂからデータ値を取得し表示する。また、表示制御処理１－２では、ノードとして“ノードタイプ”＝“normal”について説明する。

まず、ユーザ２０は、内部状態ボード５０に対して、データ値の修正や未取得だった値を手入力する（図１０（１）参照）。次に、ユーザ２０は、内部状態ボード５０上の適用ボタンを押し、入力を完了する（図１０（２）参照）。この結果、ユーザ２０によって修正、入力処理されたデータが、内部状態記憶部１４ｂへ反映される（図１０（３）参照）。

（表示制御処理１－３）
図１１を用いて、本実施形態に係る表示制御処理１－３を詳細に説明する。表示制御処理１－３は、代行操作の情報を持つノード（“ノードタイプ”＝“action”）に遷移したときの処理であり、基本的な流れは、表示制御処理１－１で示した“ノードタイプ”＝“normal”のときと同様であるが、内部状態ボード５０では、代行操作する際の利用データを表示する処理である。

まず、ユーザ２０は、チャットＵＩ３０に対して、入力操作等を実行する（図１１（１）参照）。また、ユーザ２０は、業務システムに対して、入力操作等を実行してもよい（図１１（２）参照）。次に、ユーザ２０の操作により、対話システムの遷移条件が満たされたときは、対話プログラムの内部状態が遷移する（図１１（３）参照）。このとき、現在遷移しているノードの図１１（４）に示すノードの基本情報に含まれる発話テキスト等の情報に基づき、チャットＵＩ３０が発話を行う（図１１（５）参照）。最後に、ユーザ２０の操作に基づく遷移状態が反映され、内部状態ボード５０の表示が更新される（図１１（６）参照）。

（表示制御処理１－４）
図１２を用いて、本実施形態に係る表示制御処理１－４を詳細に説明する。表示制御処理１－４は、内部状態ボード５０で表示されたデータ値を書き換える処理であり、かつ代行操作の情報を持つノード（“ノードタイプ”＝“action”）に遷移したときの処理である。基本的な流れは、表示制御処理１－２で示した“ノードタイプ”＝“normal”のときと同様であるが、内部状態ボード５０では、代行操作する際の利用データを表示する処理である。

まず、ユーザ２０は、内部状態ボード５０に対して、入力操作や必要であればデータ値の修正等を実行する（図１２（１）参照）。また、ユーザ２０は、チャットＵＩ３０に対して、入力操作等を実行する（図１２（２）参照）。このとき、例えば、チャットＵＩ３０によって、「進捗管理票を自動実行しますか？」という発話がされていた場合には、「はい」を入力すると、代行操作が実行される（図１２（３）参照）。このとき、図１２（４）（５）の破線で囲った代行操作に関する情報を制御部１５が読み込み、実行する。一方、「いいえ」を入力すると、処理がスタートに戻る。最後に、内部状態が遷移し、スタートに戻る（図１２（６）参照）。

［ＧＵＩ生成処理１］
図１３、図１４を用いて、本実施形態に係るＧＵＩ生成処理１を詳細に説明する。図１３、図１４は、第１の実施形態に係るＧＵＩ生成処理の一例を示す図である。

（ＧＵＩ生成処理１－１）
図１３を用いて、本実施形態に係るＧＵＩ生成処理１－１を詳細に説明する。上述の表示制御処理１では、生成部１５２ｂに独自のＧＵＩ生成ロジックを持つ構成であり、表示制御処理１に係るＧＵＩ生成処理１は、ノードの持つ情報（キーバリュー）のうち、表示内容設定情報でキー名を指定すれば独自のＧＵＩ生成ロジックにより、内部状態ボードのＧＵＩが表示される。なお、ＧＵＩ生成処理１－１では、ノードとして“ノードタイプ”＝“normal”について説明する。

まず、図１３（１）で示すノードの基本情報の例、図１３（２）で示すデータ取得のための設定例は、現在遷移しているノードに設定されている情報である。ここで、現在遷移しているノードの持つ情報のうち、表示内容設定情報で指定した情報（キーバリュー）が内部状態ボード５０で表示される（図１３（３）参照）。このとき、生成部１５２ｂは、キー名をラベルで表示し、データ値をテキストボックスで表示し、データ値が配列であれば羅列し、テキストボックスの値は内部状態記憶部１４ｂから取得し、内部状態記憶部１４ｂに反映するボタンをボードの最下部に表示するためのＧＵＩ生成ロジックを持つ。また、上記のＧＵＩ生成ロジックは、外部ファイルでＧＵＩの紐づけの定義を作成、修正も可能である。

また、上記の情報（キーバリュー）を指定する表示内容設定情報の例を図１３（４）で示す。このとき、ノードタイプが“normal”であり、表示リストにはキー名が記載され、該当する情報が表示される。

一方、内部状態等が反映されることにより、内部状態ボードの表示例に示した「案件情報の更新」および「データ取得リスト」には、ノードの情報のうち、図１３（１）（２）の破線で囲んだ情報が表示される。また、内部状態ボードの表示例に示した「データ取得リスト」には、データ取得リストのキー名から、内部状態記憶部１４ｂにアクセスすることにより取得されたデータ値が反映される。

（ＧＵＩ生成処理１－２）
図１４を用いて、本実施形態に係るＧＵＩ生成処理１－２を詳細に説明する。ＧＵＩ生成処理１－２は、代行操作の情報を持つノード（“ノードタイプ”＝“action”）に遷移したときの処理であり、基本的な流れは、ＧＵＩ生成処理１－１で示した“ノードタイプ”＝“normal”のときと同様であるが、内部状態ボード５０では、代行操作する際の利用データを表示する処理である。

まず、図１４（１）で示すノードの基本情報の例、図１４（２）で示す代行操作のための設定例は、現在遷移しているノードに設定されている情報である。ここで、ＧＵＩ生成処理１－１と同様に、現在遷移しているノードの持つ情報のうち、表示内容設定情報で指定した情報（キーバリュー）が内部状態ボード５０で表示される。

また、上記の情報（キーバリュー）を指定する表示内容設定情報の例を図１４（３）で示す。このとき、ノードタイプが“action”であり、表示リストにはキー名が記載され、該当する情報が表示される。

一方、内部状態等が反映されることにより、内部状態ボードの表示例に示した「進捗管理表更新」「利用データリスト」には、ノードの情報のうち、図１４（１）（２）の破線で囲んだ情報が表示される。

［表示制御処理２］
図１５、図１６を用いて、本実施形態に係る表示制御処理２を詳細に説明する。図１５、図１６は、第１の実施形態に係る表示制御処理２の一例を示す図である。

（表示制御処理２－１）
図１５を用いて、本実施形態に係る表示制御処理２－１を詳細に説明する。表示制御処理２－１は、基本的に内部状態ボード５０は表示されない処理である。

まず、ユーザ２０は、業務システムに対して、入力操作等を実行する（図１５（１）参照）。次に、ユーザ２０の操作により、対話システムの遷移条件が満たされたときは、対話プログラムの内部状態が遷移する（図１５（２）参照）。このとき、現在遷移しているノードの図１５（３）に示すノードの基本情報に含まれる発話テキスト等の情報をチャットＵＩ３０に対応させる（図１５（４）参照）。そして、発話テキストに基づき、チャットＵＩ３０が発話を行う（図１５（５）参照）。図１５（１）～（５）の処理を通じて、遷移したノードの“ボード表示制御”が“非表示”に指定されているため、内部状態ボード５０は非表示となる。

（表示制御処理２－２）
図１６を用いて、本実施形態に係る表示制御処理２－２を詳細に説明する。表示制御処理２－２は、基本的に内部状態ボード５０は表示されない処理（“ボード表示制御”＝“非表示”）であるが、内部状態ボード５０が必要なノード（例：“ノードタイプ”＝“action”）に遷移したときに、内部状態ボードを表示する処理である。

まず、ユーザ２０は、チャットＵＩ３０に対して、入力操作等を実行する（図１６（１）参照）。また、ユーザ２０は、業務システムに対して、入力操作等を実行してもよい（図１６（２）参照）。次に、ユーザ２０の操作により、対話システムの遷移条件が満たされたときは、対話プログラムの内部状態が遷移する（図１６（３）参照）。このとき、現在遷移しているノードの図１６（４）に示すノードの基本情報に含まれる発話テキスト等の情報をチャットＵＩ３０に対応させる（図１６（５）参照）。そして、発話テキストに基づき、チャットＵＩ３０が発話を行う（図１６（６）参照）。最後に、ユーザ２０の操作に基づく遷移状態が反映され、内部状態ボード５０の表示が開始される（図１６（７）参照）。

［表示制御処理３］
図１７を用いて、本実施形態に係る表示制御処理３を詳細に説明する。図１７は、第１の実施形態に係る表示制御処理３の一例を示す図である。表示制御処理３は、高度なＧＵＩを設定したい場合、ＧＵＩ構成情報を定義し、読み込むことで任意のＧＵＩを表示する処理である。また、表示制御処理３は、内部状態ボードのＧＵＩから内部状態そのものを書き換えることもできる。なお、上述した表示制御処理１、表示制御処理２と共通する処理については省略する。

表示制御処理３では、対話シナリオからの情報をもとに、内部状態ボード５０内部のＧＵＩ表示を行う。ここで、表示制御処理３では、フローの情報を解釈しＧＵＩ表示との対応付けは、表示させたい内容に応じて、対話システムの実装とは独立して定義してもよい。例えば、表示制御処理３では、対応付けの定義情報を外部ファイルで持ち、それを内部状態ボード制御部１５１が解釈し、表示することもできる（図１７（１）参照）。

また、表示制御処理３では、代行操作の候補として、現在の遷移状態のノードから、ノードタイプ＝“action”であるノードを再帰的に検索し、合致したノードの情報を利用する（図１７（２）参照）。ここで、図１７の内部状態の表示例に示す「案件情報更新」は、現在の遷移状態のノード名を表わす。また、「進捗管理表更新」等は、代行操作名であり、近接するバーやパーセンテージは、計算された利用データリストの充足率を表示したものである。さらに、図１７の内部状態の表示例に示す「前のフロー」「次のフロー」の候補は、それぞれ前のフローのノード名、次のフローのノード名を表わす。

また、図１７の内部状態の表示例に示す「進む」のボタンを押すことで、フローの遷移状態を移動させ、内部状態を書き換えることもできる（図１７（３）参照）。さらに、図１７の内部状態の表示例に示す「遷移条件を確認」のボタンを押すことで、遷移条件を読み込んで表示することもできる（図１７（４）参照）。

［ＧＵＩ生成処理２］
図１８を用いて、本実施形態に係るＧＵＩ生成処理２を詳細に説明する。図１８は、第１の実施形態に係るＧＵＩ生成処理２の一例を示す図である。ＧＵＩ生成処理２は、高度なＧＵＩを設定する場合の処理である。なお、上述したＧＵＩ生成処理１－１、ＧＵＩ生成処理１－２と共通する処理については省略する。

まず、内部状態ボード５０の表示内容設定情報の例を図１８（１）で示す。また、ＧＵＩ構成情報の例を図１８（２）で示す。ここで、表示内容設定情報には、ＧＵＩ構成リストとして、紐づけされたＧＵＩ構成情報のＧＵＩ構成ＩＤが記載されている。表示制御装置１０の生成部１５２ｂは、読込部１５１ａによって読み込まれた表示内容設定情報にＧＵＩ構成リストが含まれている場合には、ＧＵＩ構成リストが指定するＧＵＩ構成情報に基づいて、表示するＧＵＩの情報を生成する。

また、図１８（２）で示す(ＧＵＩ構成情報)には、具体的なＧＵＩを設定するための情報が記載される（図１８（３）参照）。例えば、内部状態ボード５０がＷｅｂベースの表示エンジンを持つのであれば、ＨＴＭＬやJavascript等が記載される。なお、図１８（３）では、ＨＴＭＬの例を示したが、ノード名等が内部状態記憶部１４ｂへのアクセスにより検索され、対応する内部状態ボード５０が表示される（図１８（４）参照）。

上述した処理は、静的なＧＵＩ構成情報（ファイル）をもとにＧＵＩを生成するが、特に限定されない。対話シナリオの傾向（例：分岐数、階層、取得／利用データ数）等を用いて、対話シナリオ情報（Ｊｓｏｎ）のみをもとに推論し、動的にＧＵＩ構成情報を生成する等の処理を行い、内部状態ボードのＧＵＩとして表示してもよい。

［内部状態ボード制御処理の流れ］
図１９を用いて、本実施形態に係る内部状態ボード制御処理の流れを詳細に説明する。図１９は、第１の実施形態に係る内部状態ボード制御処理の流れの一例を示すフローチャートである。

まず、内部状態ボード制御部１５１の読込部１５１ａは、対話シナリオ情報記憶部１４ａから対話シナリオ情報、表示内容設定情報を読み込む（ステップＳ１０１）。また、読込部１５１ａは、必要があればＧＵＩ構成情報を読み込む。次に、検知部１５１ｂは、内部状態記憶部１４ｂの監視（変更検知）を開始する（ステップＳ１０２）。このとき、検知部１５１ｂは、ユーザの操作を検知し、その操作に対応する内部状態の変更を検知する。続いて、内部状態記憶部１４ｂの情報が変更された場合、つまり内部状態の変更が検知された場合（ステップＳ１０３：Ｙｅｓ）、取得部１５１ｃは、内部状態記憶部１４ｂから、現在遷移しているノードの情報（対話遷移状態）を取得する（ステップＳ１０４）。このとき、特定部１５１ｄは、現在遷移しているノードを特定する。一方、内部状態記憶部１４ｂの情報が変更されていない場合、つまり内部状態の変更が検知されない場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０３に移行する。

さらに、内部状態記憶部１４ｂから取得したノードの基本情報より、現在遷移しているノードが“ボード表示制御”＝“表示”であった場合（ステップＳ１０５：Ｙｅｓ）、設定部１５１ｅは、内部状態ボード５０のウィンドウを表示し、最前面にする（ステップＳ１０７）。一方、現在遷移しているノードが“ボード表示制御”＝“表示”でなかった場合（ステップＳ１０５：Ｎｏ）、設定部１５１ｅは、内部状態ボード５０のウィンドウを非表示にする（ステップＳ１０６）。

最後に、内部状態ボード５０のウィンドウを表示したときは、ＧＵＩ制御部１５２によるＧＵＩ制御処理を行い、ＧＵＩを内部状態ボード５０のウィンドウ上に表示し、ステップＳ１０３に移行する。一方、内部状態ボード５０のウィンドウを非表示にしたときは、ＧＵＩ制御処理を行わず、ステップＳ１０３に移行する。

［ＧＵＩ制御処理の流れ］
図２０を用いて、本実施形態に係るＧＵＩ制御処理の流れを詳細に説明する。図２０は、第１の実施形態に係るＧＵＩ制御処理の流れの一例を示すフローチャートである。

まず、ＧＵＩ制御部１５２の受信部１５２ａは、現在遷移しているノードに紐づけられた対話シナリオ情報、表示内容設定情報を受信する。また、受信部１５２ａは、必要があれば、現在遷移しているノードに紐づけられたＧＵＩ構成情報を受信する（ステップＳ２０１）。このとき、受信部１５２ａは、内部状態ボード制御部１５１の取得部１５１ｃから各種情報を受信してもよいし、対話シナリオ情報記憶部１４ａから各種情報を受信してもよい。

次に、表示内容設定情報に記載された情報に、ＧＵＩ構成リストが含まれていない場合（ステップＳ２０２：Ｎｏ）、生成部１５２ｂは、表示内容設定情報に記載された表示リストで指定された情報をキーに、対話シナリオ情報から該当する情報を抽出し（ステップＳ２０３）、抽出した情報のキー名をラベル、データ値をテキストボックスとして表示するＧＵＩの情報（ＧＵＩ描画情報）を生成し（ステップＳ２０４）、内部状態記憶部１４ｂに反映するボタンがボードの最下部に表示されるようＧＵＩ描画情報を更新する（ステップＳ２０５）。一方、表示内容設定情報に記載された情報に、ＧＵＩ構成リストが含まれている場合（ステップＳ２０２：Ｙｅｓ）、生成部１５２ｂは、ＧＵＩ構成リストに紐づくＧＵＩ構成情報をもとに表示するＧＵＩの情報（ＧＵＩ描画情報）を生成する（ステップＳ２０６）。

最後に、表示部１５２ｃは、生成部１５２ｂによって生成されたＧＵＩ描画情報をもとに、内部状態ボードのＧＵＩを表示し（ステップＳ２０７）、処理を終了する。このとき、表示部１５２ｃは、表示するＧＵＩに対応する情報（キーバリューのバリュー値）が、内部状態記憶部１４ｂに記憶されていれば、その情報を当該ＧＵＩのデータ値として反映する。

［第１の実施形態の効果］
第１に、上述した本実施形態に係る表示制御処理では、対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込み、遷移条件リストに基づいて、現在遷移している対話に関する情報を取得し、現在遷移している対話に関する情報に基づいて、遷移している対話を特定し、現在遷移している対話に対応する対話シナリオ情報を受信し、受信した対話シナリオ情報に基づいて、表示するＧＵＩの情報を生成し、生成した表示するＧＵＩの情報に基づいて、対話プログラムの内部状態を表わすＧＵＩを表示する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、代行操作を容易に行うことができる。

第２に、上述した本実施形態に係る表示制御処理では、対話を行うユーザの操作を検知し、遷移条件リストおよびユーザの操作に基づいて、現在遷移している対話の関する情報を取得する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、ユーザ操作を検知することにより、代行操作をより容易に行うことができる。

第３に、上述した本実施形態に係る表示制御処理では、対話プログラムの内部状態を表わすＧＵＩの変更が入力された場合には、対話プログラムの内部状態に対して、ＧＵＩの変更を反映する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、ユーザが対話プログラムの内部状態を容易に表示、編集できることにより、代行操作をより容易に行うことができる。

第４に、上述した本実施形態に係る表示制御処理では、取得した現在遷移している対話に関する情報に基づいて、対話プログラムの内部状態を表わすＧＵＩの表示、または非表示を設定する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、ユーザが対話プログラムの内部状態を効率的に表示、編集できることにより、代行操作をより容易に行うことができる。

第５に、上述した本実施形態に係る表示制御処理では、ＧＵＩ構成情報を読み込み、現在遷移している対話に対応するＧＵＩ構成情報を受信し、受信したＧＵＩ構成情報に基づいて、表示するＧＵＩの情報を生成する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、ユーザが対話プログラムの内部状態を効果的に表示、編集できることにより、代行操作をより容易に行うことができる。

第６に、上述した本実施形態に係る表示制御処理では、所定のキー情報に合致する情報を用いて、表示するＧＵＩの情報を生成する。このため、本処理では、チャットＵＩを用いた対話システムにおいて、ユーザが対話プログラムの内部状態をより効率的に表示、編集できることにより、代行操作をより容易に行うことができる。

〔システム構成等〕
上記実施形態に係る図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のごとく構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

〔プログラム〕
また、上記実施形態において説明した表示制御装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

図２１は、プログラムを実行するコンピュータを示す図である。図２１に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

メモリ１０１０は、図２１に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図２１に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、図２１に例示するように、ディスクドライブ１１００に接続される。例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、図２１に例示するように、例えば、マウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、図２１に例示するように、例えばディスプレイ１１３０に接続される。

ここで、図２１に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記のプログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えば、ハードディスクドライブ１０９０に記憶される。

また、上記実施形態で説明した各種データは、プログラムデータとして、例えば、メモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 表示制御装置
１１ 入力部
１２ 出力部
１３ 通信部
１４ 記憶部
１４ａ 対話シナリオ情報記憶部
１４ｂ 内部状態記憶部
１５ 制御部
１５１ 内部状態ボード制御部
１５１ａ 読込部
１５１ｂ 検知部
１５１ｃ 取得部
１５１ｄ 特定部
１５１ｅ 設定部
１５１ｆ 反映部
１５２ ＧＵＩ制御部
１５２ａ 受信部
１５２ｂ 生成部
１５２ｃ 表示部
２０ ユーザ
３０ チャットＵＩ
４０ 対話プログラム（チャットボット）
５０ 内部状態ボード
１００ 表示制御システム

Claims (8)

1. 対話プログラムの内部状態を記憶する記憶部と、
   対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込部と、
   前記遷移条件リストおよびユーザの操作に基づいて、前記記憶部から前記対話の遷移状態を取得する取得部と、
   前記対話の遷移状態に基づいて、現在遷移している対話を特定する特定部と、
   前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信部と、
   前記受信部によって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩ（Graphical User Interface）の情報を生成する生成部と、
   前記生成部によって生成された前記表示するＧＵＩの情報に基づいて、前記内部状態を表わすＧＵＩを表示する表示部と
   を備えることを特徴とする表示制御装置。
2. 前記対話を行うユーザの操作および前記操作に対応する前記内部状態の変更を検知する検知部をさらに備え、
   前記取得部は、前記検知部によって前記記憶部が記憶する前記内部状態の変更が検知された場合には、前記遷移条件リストおよび前記操作に基づいて、前記記憶部から前記対話の遷移状態を取得することを特徴とする請求項１に記載の表示制御装置。
3. 前記内部状態を表わすＧＵＩの変更が入力された場合には、前記内部状態に対して、前記変更を反映する反映部をさらに備えることを特徴とする請求項１に記載の表示制御装置。
4. 前記取得部は、前記現在遷移している対話に対応するボード表示制御をさらに取得し、
   前記ボード表示制御に基づいて、前記内部状態を表わすＧＵＩの表示、または非表示を設定する設定部をさらに備えることを特徴とする請求項１に記載の表示制御装置。
5. 前記読込部は、ＧＵＩ構成情報をさらに読み込み、
   前記受信部は、前記現在遷移している対話に対応する前記ＧＵＩ構成情報をさらに受信し、
   前記生成部は、前記受信部によって受信された前記ＧＵＩ構成情報に基づいて、前記表示するＧＵＩの情報を生成することを特徴とする請求項１に記載の表示制御装置。
6. 前記生成部は、所定のキー情報に合致する情報を用いて、前記表示するＧＵＩの情報を生成することを特徴とする請求項１に記載の表示制御装置。
7. 表示制御装置によって実行される表示制御方法であって、
   対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込工程と、
   前記遷移条件リストおよびユーザの操作に基づいて、対話プログラムの内部状態を記憶する記憶部から前記対話の遷移状態を取得する取得工程と、
   前記対話の遷移状態に基づいて、現在遷移している対話を特定する特定工程と、
   前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信工程と、
   前記受信工程によって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩの情報を生成する生成工程と、
   前記生成工程によって生成された前記表示するＧＵＩの情報に基づいて、前記内部状態を表わすＧＵＩを表示する表示工程と
   を含むことを特徴とする表示制御方法。
8. 対話ごとの発話テキストと遷移条件リストとを含む対話シナリオ情報を読み込む読込ステップと、
   前記遷移条件リストおよびユーザの操作に基づいて、対話プログラムの内部状態を記憶する記憶部から前記対話の遷移状態を取得する取得ステップと、
   前記対話の遷移状態に基づいて、現在遷移している対話を特定する特定ステップと、
   前記現在遷移している対話に対応する前記対話シナリオ情報を受信する受信ステップと、
   前記受信ステップによって受信された前記対話シナリオ情報に基づいて、表示するＧＵＩの情報を生成する生成ステップと、
   前記生成ステップによって生成された前記表示するＧＵＩの情報に基づいて、前記内部状態を表わすＧＵＩを表示する表示ステップと
   をコンピュータに実行させることを特徴とする表示制御プログラム。

Images