JP6642630B2

JP6642630B2 - 情報処理装置及びプログラム

Info

Publication number: JP6642630B2
Application number: JP2018117146A
Authority: JP
Inventors: 賢吾得地
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2018-06-20
Filing date: 2018-06-20
Publication date: 2020-02-05
Anticipated expiration: 2037-09-11
Also published as: JP2019050552A

Description

本発明は、情報処理装置及びプログラムに関する。

特許文献１には、１つ以上のボット（bot）との間で通信を確立し、当該１つ以上のボットを通じてデバイスと相互作用を行う技術が開示されている。

特表２００９−５２２６８７号公報

本発明の目的は、サービスを実行するために必要な情報を提供することにある。

請求項１に記載の発明は、ユーザの発言を受けて対話する自動応答相手と前記ユーザとが対話するためのインターフェースにおいて、サービスの内容を示す情報と前記サービスに用いられる構成の情報とを含む指示内容が前記自動応答相手に送られた場合、前記指示内容に対応する処理に関する情報の通知を制御する制御手段を有し、前記インターフェースには、前記ユーザに紐付く画像と前記ユーザの発言とが紐付けられて表示される第１表示エリアと、前記自動応答相手に紐付く画像と前記自動応答相手の発言とが紐付けられて表示される第２表示エリアとが設けられており、前記ユーザの発言は、前記インターフェースを介して前記自動応答相手に送られ、前記自動応答相手の発言は、前記インターフェースを介して前記ユーザに送られ、前記ユーザの発言と前記自動応答相手の発言は、発言された時間に従って時系列順に並べて前記インターフェースに表示され、前記インターフェースを介して、前記構成が含まれる前記ユーザの発言として第１ファイルと第２ファイルが前記自動応答相手に送られた場合、前記第１ファイルが前記第２ファイルに挿入される、情報処理装置である。
請求項２に係る発明は、前記インターフェースを介して、上位の階層に属する前記サービスの内容を示す情報が前記自動応答相手に送られ、その次に、下位の階層に属する、前記サービスに用いられる構成の情報が、前記自動応答相手に送られた場合に、前記指示内容に対応する処理が決定され、前記制御手段は、前記指示内容に対応する処理に関する情報の通知を制御する、ことを特徴とする請求項１に記載の情報処理装置である。

請求項３に記載の発明は、互いに形式の異なる前記第１ファイルと前記第２ファイルが前記自動応答相手に送られた場合、前記第１ファイルが前記第２ファイルに挿入される、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。

請求項４に記載の発明は、ユーザの発言を受けて対話する自動応答相手と前記ユーザとが対話するためのインターフェースにおいて、サービスの内容を示す情報と前記サービスに用いられる複数のファイルとを含む指示内容が前記自動応答相手に送られた場合、前記指示内容に対応する処理を実行するための機能であって前記複数のファイルを用いて実行可能な機能の通知を制御する制御手段を有し、前記インターフェースには、前記ユーザに紐付く画像と前記ユーザの発言とが紐付けられて表示される第１表示エリアと、前記自動応答相手に紐付く画像と前記自動応答相手の発言とが紐付けられて表示される第２表示エリアとが設けられており、前記ユーザの発言は、前記インターフェースを介して前記自動応答相手に送られ、前記自動応答相手の発言は、前記インターフェースを介して前記ユーザに送られ、前記ユーザの発言と前記自動応答相手の発言は、発言された時間に従って時系列順に並べて前記インターフェースに表示される、情報処理装置である。

請求項５に記載の発明は、前記複数のファイルは、互いに形式の異なる複数のファイルである、ことを特徴とする請求項４に記載の情報処理装置である。

請求項６に記載の発明は、前記機能は、前記複数のファイルに含まれる第１ファイルを第２ファイルに挿入する機能である、ことを特徴とする請求項４又は請求項５に記載の情報処理装置である。

請求項７に記載の発明は、前記自動応答相手は、前記サービスの提供のために階層的な構造を有する質問を発するように構成されており、前記指示内容には、質問に対するユーザの回答が含まれる、ことを特徴とする請求項１から請求項６何れかに記載の情報処理装置である。

請求項８に記載の発明は、前記自動応答相手は、前記階層的な構造を有する質問として、上位階層から下位階層の順番で各階層に属する質問を発するように構成されている、ことを特徴とする請求項７に記載の情報処理装置である。

請求項９に記載の発明は、前記制御手段は、前記通知として、予め定められた数の質問に対するユーザの回答に応じた情報の通知を制御する、ことを特徴とする請求項１から請求項８何れかに記載の情報処理装置である。

請求項１０に記載の発明は、前記指示内容には、階層的な構造を有する回答が含まれる、ことを特徴とする請求項１から請求項９何れかに記載の情報処理装置である。

請求項１１に記載の発明は、前記制御手段は、前記指示内容を構成する複数の階層の中で予め定められた数の階層に属する情報が前記自動応答相手に送られた場合、前記自動応答相手に送られた情報によって特定される内容の通知を制御する、ことを特徴とする請求項１０に記載の情報処理装置である。

請求項１２に記載の発明は、前記指示内容として、同じ階層に属する複数の情報が連続して前記自動応答相手に送られた場合、先に送られた情報に代えて、後から送られた情報が前記指示内容に含まれる情報として用いられる、ことを特徴とする請求項１０又は請求項１１に記載の情報処理装置である。

請求項１３に記載の発明は、下位の階層に属する情報が前記自動応答相手に送られた後に、上位の階層に属する情報が前記自動応答相手に送られた場合、前記サービスの変更指示が与えられる、ことを特徴とする請求項１０から請求項１２何れかに記載の情報処理装置である。

請求項１４に記載の発明は、通知される情報は、前記処理を実行するための機能の候補を示す情報である、ことを特徴とする請求項１から請求項１３何れかに記載の情報処理装置である。

請求項１５に記載の発明は、前記制御手段は、制限時間内に前記自動応答相手に送られた前記指示内容に応じた内容の通知を制御する、ことを特徴とする請求項１から請求項１４何れかに記載の情報処理装置である。

請求項１６に記載の発明は、ファイルは、前記インターフェースにおける特定の領域に表示されている１又は複数のファイルの中から指定される、ことを特徴とする請求項１から請求項１５何れかに記載の情報処理装置である。

請求項１７に記載の発明は、前記制御手段は、更に、前記自動応答相手に送られたファイルを編集するための編集画面の表示を制御し、前記編集が終了した場合に前記編集を前記ファイルに反映させる、ことを特徴とする請求項１から請求項１６何れかに記載の情報処理装置である。

請求項１８に記載の発明は、前記指示内容は前記ユーザの音声によって入力される、ことを特徴とする請求項１から請求項１７何れかに記載の情報処理装置である。

請求項１９に記載の発明は、前記指示内容は文字入力によって入力される、ことを特徴とする請求項１から請求項１７何れかに記載の情報処理装置である。

請求項２０に記載の発明は、前記自動応答相手は、前記ユーザの発言を受けて自動的に応答する、ことを特徴とする請求項１から請求項１９何れかに記載の情報処理装置である。

請求項２１に記載の発明は、コンピュータを、ユーザの発言を受けて対話する自動応答相手と前記ユーザとが対話するためのインターフェースにおいて、サービスの内容を示す情報と前記サービスに用いられる構成の情報とを含む指示内容が前記自動応答相手に送られた場合、前記指示内容に対応する処理に関する情報の通知を制御する制御手段、として機能させ、前記インターフェースには、前記ユーザに紐付く画像と前記ユーザの発言とが紐付けられて表示される第１表示エリアと、前記自動応答相手に紐付く画像と前記自動応答相手の発言とが紐付けられて表示される第２表示エリアとが設けられており、前記ユーザの発言は、前記インターフェースを介して前記自動応答相手に送られ、前記自動応答相手の発言は、前記インターフェースを介して前記ユーザに送られ、前記ユーザの発言と前記自動応答相手の発言は、発言された時間に従って時系列順に並べて前記インターフェースに表示され、前記インターフェースを介して、前記構成が含まれる前記ユーザの発言として第１ファイルと第２ファイルが前記自動応答相手に送られた場合、前記第１ファイルが前記第２ファイルに挿入される、プログラムである。

請求項２２に記載の発明は、コンピュータを、ユーザの発言を受けて対話する自動応答相手と前記ユーザとが対話するためのインターフェースにおいて、サービスの内容を示す情報と前記サービスに用いられる複数のファイルとを含む指示内容が前記自動応答相手に送られた場合、前記指示内容に対応する処理を実行するための機能であって前記複数のファイルを用いて実行可能な機能の通知を制御する制御手段、として機能させ、前記インターフェースには、前記ユーザに紐付く画像と前記ユーザの発言とが紐付けられて表示される第１表示エリアと、前記自動応答相手に紐付く画像と前記自動応答相手の発言とが紐付けられて表示される第２表示エリアとが設けられており、前記ユーザの発言は、前記インターフェースを介して前記自動応答相手に送られ、前記自動応答相手の発言は、前記インターフェースを介して前記ユーザに送られ、前記ユーザの発言と前記自動応答相手の発言は、発言された時間に従って時系列順に並べて前記インターフェースに表示される、プログラムである。

請求項１，２，４，２１，２２に記載の発明によれば、サービスを実行するために必要な情報を提供することができる。

請求項３，６に記載の発明によれば、互いに形式の異なる複数のファイルを対象としてファイル挿入処理が実行される。

請求項５に記載の発明によれば、互いに形式の異なる複数のファイルを用いて実行可能な機能が通知される。

請求項７，８，１０，１１に記載の発明によれば、指示内容に対応する処理が特定され易くなる。

請求項９に記載の発明によれば、予め定められた数の質問によって得られた情報に基づいて指示内容に対応する処理が特定される。

請求項１２，１３に記載の発明によれば、簡易な操作によって指示内容を編集することができる。

請求項１４に記載の発明によれば、サービスを実行するために必要な機能の情報が提供される。

請求項１５に記載の発明によれば、制限時間内に自動応答相手に送られた情報に基づいて指示内容に対応する処理が特定される。

請求項１６に記載の発明によれば、表示されているファイルを指定することで、構成として用いられるファイルを指定することができる。

請求項１７に記載の発明によれば、自動応答相手に送られた構成を編集することができる。

請求項１８に記載の発明によれば、音声により指示内容を入力することができる。

請求項１９に記載の発明によれば、文字入力により指示内容を入力することができる。

請求項２０に記載の発明によれば、ユーザの発言を受けて自動的に応答する自動応答相手を利用してファイル挿入を行うことができる。

本発明の実施形態に係る機器システムの構成を示すブロック図である。端末装置の構成を示すブロック図である。画像形成装置の構成を示すブロック図である。サーバの構成を示すブロック図である。画像形成装置の外観を示す模式図である。機器機能管理テーブルを示す図である。連携機能管理テーブルを示す図である。部分管理テーブルを示す図である。部分管理テーブルを示す図である。連携機能管理テーブルを示す図である。連携機能管理テーブルを示す図である。連携機能管理テーブルを示す図である。連携機能管理テーブルを示す図である。画面を示す図である。画面を示す図である。画面を示す図である。画面を示す図である。画面を示す図である。機器画像を示す図である。機器画像を示す図である。画面を示す図である。画面を示す図である。画面を示す図である。画面を示す図である。画面を示す図である。複数の機器を利用するときの動作を示すシーケンス図である。

図１を参照して、本発明の実施形態に係る情報処理システムとしての機器システムについて説明する。図１には、本実施形態に係る機器システムの一例が示されている。

本実施形態に係る機器システムは、一例として、端末装置１０と、複数の機器（例えば機器１２，１４）と、外部装置の一例としてのサーバ１６と、を含む。図１に示す例では、端末装置１０、機器１２，１４及びサーバ１６は、ネットワーク等の通信経路Ｎを介して互いに通信する機能を備えている。もちろん、端末装置１０、機器１２，１４及びサーバ１６は、通信経路Ｎを利用せずに、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図１に示す例では、２つの機器（機器１２，１４）が機器システムに含まれているが、１つの機器又は３つ以上の機器が機器システムに含まれていてもよい。また、複数の端末装置１０や複数のサーバ１６が、機器システムに含まれていてもよい。なお、機器１２，１４やサーバ１６は機器システムに含まれていなくてもよい。

端末装置１０は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を有する。また、端末装置１０は、ウェアラブル端末（腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末、ヒアラブル端末等）であってもよい。

機器１２，１４は機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、ＰＣ、タブレットＰＣ、スマートフォン、携帯電話、ロボット（人型ロボット、人以外の動物型ロボット、それら以外のロボット等）、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機（例えば無人航空機（いわゆるドローン））、ゲーム機、各種のセンシング機器（例えば温度センサ、湿度センサ、電圧センサ、電流センサ等）等の装置である。機器１２，１４は、ユーザに対してアウトプットを出力する機器（例えば画像形成装置やＰＣ等）であってもよいし、ユーザに対してアウトプットを出力しない機器（例えばセンシング機器）であってもよい。また、後述する連携機能を実行する複数の機器の中のすべての機器が、ユーザに対してアウトプットを出力する機器であってもよいし、一部の機器がユーザに対してアウトプットを出力する機器であり、他の機器がユーザに対してアウトプットを出力しない機器であってもよいし、すべての機器がユーザに対してアウトプットを出力しない機器であってもよい。機器１２，１４の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器の範疇に含まれてもよい。また、機器１２，１４は、他の装置との間でデータを送受信する機能を有する。

サーバ１６は、データの管理、ユーザ情報の管理、機器１２，１４の管理等を行う装置である。また、サーバ１６は、他の装置との間でデータを送受信する機能を有する。

端末装置１０においては、ユーザと対話する機能を有する対話相手が用いられる。その対話相手は、例えば、ユーザの発言を受け、その発言内容を解析することで、その発言に対する回答等の返事を作成してユーザに提供する機能を有する。例えば、ユーザの発言は、文字入力、音声入力、画像入力等によって行われ、回答等の返事は、文字出力、音声出力、画像出力等によって行われる。対話相手は、例えばプログラムを実行することで実現され、そのプログラムは例えば端末装置１０にインストールされている。もちろん、対話相手に関するプログラムは、サーバ１６等の外部装置にインストールされ、対話相手の機能が、サーバ１６等の外部装置から端末装置１０に対して提供されてもよい。

上記の対話相手は、例えば人工知能（ＡＩ）によって実現される自動応答ＡＩによって構成されている。自動応答ＡＩは、ユーザの発言内容を解析し、その発言内容に対する回答等の返事をユーザに提供する機能を有する。自動応答ＡＩは、いわゆるチャットボット（chatbot）（人工知能を活用した自動会話プログラム）であってもよい。自動応答ＡＩは、人工知能による学習機能を有し、その学習機能によって、人に近い判断を行う能力を有していてもよい。また、ニューラルネットワーク型のディープラーニングが利用されてもよいし、部分的に学習分野を強化する強化学習等が利用されてもよいし、その他、遺伝的アルゴリズム、クラスタ分析、自己組織化マップ、アンサンブル学習、等が利用されてもよい。もちろん、これら以外の人工知能に関する技術が利用されてもよい。

また、自動応答ＡＩは、インターネット等を利用して情報を検索し、その検索結果を解析し、その解析結果を返事に反映させてもよい。また、自動応答ＡＩは、ユーザによる各種アプリケーションの利用履歴、ユーザによる端末装置１０の操作履歴、ユーザによる機器１２，１４の利用履歴、等を管理してもよい。また、自動応答ＡＩは、他の装置に格納されている自動応答ＡＩとの間で通信を行うことで、他の自動応答ＡＩから情報を取得してもよい。自動応答ＡＩは、自身が管理している情報や取得した情報を返事に反映させてもよい。

自動応答ＡＩを利用することで、ユーザが自動応答ＡＩと対話しながら、ユーザによる指示内容を示す情報の入力や、その指示内容に対応する処理に関する情報の通知等が行われる。指示内容を示す情報には、ユーザが要求するサービスの内容を示す情報と、そのサービスに用いられる構成の情報（ユーザが指定した構成の情報）が含まれる。構成は、例えば、機器、機能（機器等のハードウェアによって実現される機能と、ソフトウェア（プログラム）によって実現される機能を含む）、ファイル（データ）、その他、環境（例えば場所や人等）等である。指示内容に対応する処理に関する情報として、例えば、指示内容に対応する処理を実行するために必要な構成の候補（以下、「構成候補」と称する）を示す情報が通知される。例えば、構成候補を示す情報として、その処理を実行するために必要な機能や機器等を示す情報が通知される。サービスや構成候補については後で詳しく説明する。なお、上記の通知は、端末装置１０によって行われてもよいし、サーバ１６等の外部装置によって行われてもよい。

以下、図２を参照して、端末装置１０の構成について詳しく説明する。

通信部１８は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部１８は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部１８は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ−Ｆｉ（登録商標）通信、近接無線通信（例えばＮＦＣ（Near Field Communication）等）、等である。近接無線通信としては、Ｆｅｌｉｃａ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）、ＲＦＩＤ（Radio Frequency Identifier）等が用いられる。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部１８は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式や周波数帯域を切り替えてもよい。

ＵＩ部２０はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。また、ＵＩ部２０は、マイク等の集音部やスピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が端末装置１０に入力されてもよいし、音声によって情報が発せられてもよい。

ＵＩ部２０の表示部には、例えば、カメラによって撮影された画像や、サービスに利用される機器（例えば、単独で利用される機器や連携対象の機器）として識別された機器に紐付く機器画像、機能に紐付く機能画像、ファイルに紐付くファイル画像、等が表示されてもよい。機器画像は、カメラによって撮影された機器を表す画像（静止画像又は動画像）であってもよいし、当該機器を模式的に表す画像（例えばアイコン）であってもよい。模式的に表す画像のデータは、例えば、端末装置１０の制御部２６によって作成されてもよいし、端末装置１０の記憶部２４に予め記憶されていてもよいし、サーバ１６に記憶されてサーバ１６から端末装置１０に提供されてもよいし、別の装置に記憶されて当該別の装置から端末装置１０に提供されてもよい。機能画像は、例えば機能を表すアイコン等の画像である。ファイル画像は、例えばファイルを表すアイコン等である。

撮影手段としてのカメラ２２は、撮影対象を撮影することで画像データ（例えば静止画像データや動画像データ）を生成する。画像は例えばＵＩ部２０の表示部に表示される。表示部に表示された画像がユーザによって操作されてもよい。なお、外部のカメラによって撮影された画像データが、通信経路を介して端末装置１０に送られ、その画像がＵＩ部２０の表示部に表示されてもよい。この場合も、その画像がユーザによって操作されてもよい。

記憶部２４はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部２４には、例えば、構成管理情報、各種のデータ、各種のプログラム（例えば、ＯＳ（Operating System）、自動応答ＡＩを実現するためのプログラム（ソフトウェア）、各種のアプリケーションプログラム（アプリケーションソフトウェア）等）、各機器のアドレスを示す情報（機器アドレス情報）、サーバ１６のアドレスを示す情報（サーバアドレス情報）、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する機能に関する情報、連携機能に関する情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。なお、自動応答ＡＩを実現するためのプログラムはサーバ１６等の外部装置に記憶され、そのプログラム自体が外部装置によって実行されることで、自動応答ＡＩの機能が外部装置から端末装置１０に提供されてもよい。この場合、自動応答ＡＩを実現するためのプログラムは記憶部２４に記憶されていなくてもよい。

以下、構成管理情報について詳しく説明する。構成管理情報は、構成（例えば、機器、機能、ファイル等）を使用して実行可能な機能（単独の構成を使用して実行可能な単独機能と、複数の構成を使用して実行可能な連携機能を含む）を管理するための情報である。構成管理情報は、一例として、機器機能管理情報と連携機能管理情報を含む。後述するように、構成管理情報は、この例に限定されるものではない。

機器機能管理情報は、機器が有する機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報（機器識別情報）と、当該機器が有する機能を示す機能情報と、の対応付けを示す情報である。デバイス識別情報は、例えば、機器ＩＤ、機器名称、機器の種類を示す情報、機器の型番号、機器を管理するための情報（例えば資産管理番号等）、機器が設置されている位置を示す情報（機器の位置情報）、機器に紐付く機器画像、機器のアドレス情報、等である。機器画像は、例えば機器を表す外観画像である。外観画像は、機器の外側（例えば機器の筐体）を表す画像であってもよいし、筐体を開けて内部が外から見える状態（例えば内部構造）を表す画像であってもよいし、梱包用のシート等によって機器が覆われている状態を表す画像であってもよい。機器画像は、機器を撮影することで生成された画像（機器の外側を表す画像や内部を表す画像等）であってもよいし、機器を模した画像（例えばアイコン等）であってもよい。機能情報は、例えば、機能ＩＤや機能名称等である。例えば、機器１２が画像形成装置であって、その画像形成装置が、プリント機能、スキャン機能及びコピー機能を有する場合、当該画像形成装置のデバイス識別情報には、一例として、プリント機能を示す機能情報、スキャン機能を示す機能情報、及び、コピー機能を示す機能情報が対応付けられている。機器機能管理情報を参照することで、各機器が有する機能が特定（識別）される。

機器機能管理情報によって管理されている機器は、例えば機器システムに含まれる機器（例えば機器１２，１４）である。もちろん、機器システムに含まれない機器が機器機能管理情報によって管理されてもよい。例えば、端末装置１０は、機器システムに含まれていない新たな機器に関する情報（デバイス識別情報と機能情報とを含む情報）を取得し、機器機能管理情報に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。また、端末装置１０は、任意のタイミング、定期的、又は、管理者等によって指定されたタイミング等で、機器機能管理情報を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった機能を示す機能情報が、機器機能管理情報に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない機能を示す機能情報が、機器機能管理情報から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。もちろん、端末装置１０自体が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行せずに、サーバ１６等の外部装置が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行してもよい。この場合、外部装置によって生成や更新された機器機能管理情報が、外部装置から端末装置１０に送信されて記憶部２４に記憶される。

連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、１又は複数の連携機能が実行される。連携機能は、例えば、１つの機器（例えば機器１２）が有する複数の機能を連携させることによって実行可能な機能であってもよいし、複数の機器（例えば機器１２，１４）が有する複数の機能を連携させることによって実行可能な機能であってもよい。また、操作指示を出している端末装置１０も連携対象の機器として利用され、端末装置１０が有する機能も連携機能の一部として利用されてもよい。

連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。

連携機能管理情報は、例えば、連携機能に利用される各機能を示す機能情報の組み合わせと、当該連携機能を示す連携機能情報と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能ＩＤや連携機能名称等である。単独の機能が更新された場合、その更新に伴って連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報から削除され、又は、使用不可な情報として登録される。連携機能管理情報の更新は、端末装置１０によって行われてもよいし、サーバ１６等の外部装置によって行われてもよい。外部装置によって連携機能管理情報の更新が実行された場合、更新された連携機能管理情報が外部装置から端末装置１０に送信されて記憶部２４に記憶される。

複数の機器を連携させる場合、例えば、連携機能管理情報は、複数の機器が有する複数の機能を利用する連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、連携機能情報と、の対応付けを示す情報である。また、複数のアウトプット機能を有する機器（ユーザに対してアウトプットを出力する機器であって複数のアウトプット機能を有する機器）とアウトプット機能を有していないセンシング機器（ユーザに対してアウトプットを出力しない機器）とを連携させる場合、連携機能管理情報には、特定のセンシング機器と当該複数のアウトプット機能の中の特定のアウトプット機能との組み合わせを示す情報が含まれてもよい。こうすることで、複数のアウトプット機能の中から、特定のセンシング機器と組み合わせて使用されるアウトプット機能が特定される。上記のように、機器機能管理情報が更新された場合、その更新に伴って、連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の機器による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。

連携機能は、互いに異なる複数の機能を連携させることによって実行可能な機能であってもよいし、同一の機能を連携させることによって実行可能な機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器（プリンタ）とスキャン機能を有する機器（スキャナ）を連携させることで、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることでコピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。

連携機能の概念の範疇には、複数の機能や複数の機器を連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダーを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、テレビに表示されている画像を録画する機能であってもよい。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。その拡張機能は、例えば各カメラの撮影領域を繋ぎ合せて撮影する機能である。また、電話と翻訳機や翻訳ソフトを組み合わせることで、合体機能としての翻訳通話機能（電話を介した会話が翻訳される機能）が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機器や機能を連携させることで実現可能となる機能や、互いに異なる種類の機器や機能を連携させることで実現可能となる機能が含まれる。

構成管理情報（機器機能管理情報や連携機能管理情報等）については後で詳しく説明する。

制御部２６は、端末装置１０の各部の動作を制御する。制御部２６は、例えば、通信部１８による通信の制御、ＵＩ部２０の表示部への情報の表示の制御、等を行う。また、制御部２６は特定部２８を含む。

特定部２８は、ユーザによって入力された指示内容を示す情報（ユーザが要求するサービスの内容を示す情報と、ユーザが指定した構成を示す情報を含む）を受けて、その指示内容に対応する処理や、その処理を実行するために必要な構成候補を特定する機能を有する。特定部２８は、例えば、上記の構成管理情報を参照することで、指示内容に対応する処理や構成候補（例えば、機能や機器等）を特定する。特定部２８は、例えば自動応答ＡＩによって実現される。もちろん、特定部２８は、自動応答ＡＩによって実現されずに、他のプログラム等によって実現されてもよい。

一般的に、サービス、機器、機能、ソフトウェア、具体的な動作内容、及び、動作の対象物によって、階層的な構造が形成される。例えば、サービスが最上位の階層（最上位の概念）に属する。サービスを実行するために必要な機器が、サービスよりも下位の階層（下位の概念）に属する。機器によって実行される機能や、機器上で動作するソフトウェアが、機器よりも下位の階層に属する。機器やソフトウェア等を使用して行われる具体的な動作内容が、機能よりも下位の階層に属する。その動作の対象物が、動作内容よりも下位の階層に属する。動作の対象物は、例えばファイルである。

例えば、ユーザによって入力された指示内容が階層的な構造を有しており、特定部２８は、その階層を有する指示内容を解析することで、その指示内容に対応する処理や、その処理に必要な構成候補を特定する。例えば、指示内容を示す情報には、最上位の階層に属する情報として、ユーザが要求するサービスを示す情報が含まれており、更に、下位の階層に属する情報として、処理の対象となるファイルを示す情報が含まれる。

また、自動応答ＡＩは、階層的な指示内容が得られるように、階層的な構造を有する質問をユーザに通知し、その質問に対するユーザの回答をユーザの指示内容として取得する。特定部２８は、そのようにして取得された指示内容を解析する。例えば、自動応答ＡＩは、階層的な構造を有する質問として、上位階層から下位階層の順番で各階層に属する質問をユーザに通知してもよい。また、自動応答ＡＩは、ある階層に属する質問に対するユーザの回答が、その質問に対する想定範囲内の回答に該当する場合、その質問の階層よりも更に下位の階層に属する質問をユーザに提供してもよい。こうすることで、ユーザが要求する処理の具体的な内容が絞り込まれ、その内容が特定され易い。例えば、質問毎に想定範囲内の回答が予め定められており、自動応答ＡＩは、ユーザの実際の回答が想定範囲内に含まれるか否かを判断する。自動応答ＡＩは、ユーザの実際の回答が想定範囲内に含まれている場合、更に下位の階層に属する質問をユーザに提供し、ユーザの実際の回答が想定範囲内に含まれていない場合、同じ階層又は更に上位の階層に属する質問をユーザに提供してもよい。

特定部２８による処理については後で詳しく説明する。なお、特定部２８による処理は、サーバ１６等の外部装置によって行われてもよい。

制御部２６は、特定部２８によって特定された事項に関する情報（例えば、構成候補に関する情報等）の通知（案内）の制御を行う。制御部２６は、その通知として、構成候補に関する情報をＵＩ部２０の表示部に表示させてもよいし、スピーカ等を用いることで、その構成候補に関する情報を音声情報として発してもよい。また、制御部２６は、特定部２８によって特定された処理の実行を制御してもよい。

また、ユーザによる指示内容の入力は、ＵＩ部２０の表示部の画面上で行われてもよいし、音声によって行われてもよい。例えば、構成に紐付く画像（例えば機器に紐付く機器画像）がＵＩ部２０の画面に表示されている場合において、ユーザが、その画面上で機器画像を指定することで、その機器を示す情報を含む指示内容が入力されてもよい。別の例として、構成に紐付く画像がＵＩ部２０の画面に表示されているか否かに関わらず、ユーザが音声によって構成を指定してもよい。例えば、ユーザが構成名（例えば機器名）を音声によって発した場合、その音声はマイク等の集音部によって集音され、構成名を示す音声情報が端末装置１０に入力される。このように、情報の入力と通知は、画面上の表示によって行われてもよいし、音声によって行われてもよい。画面上の表示と音声とを組み合わせてもよい。

以下、図３を参照して、機器１２の構成について詳しく説明する。一例として、機器１２は画像形成装置であるものとする。以下では、機器１２を画像形成装置１２と称する場合がある。図３には、画像形成装置１２の構成が示されている。

通信部３０は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部３０は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。通信部３０は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ−Ｆｉ通信、近接無線通信等である。通信部３０は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えたり、周囲の環境に応じて通信方式や周波数帯域を切り替えたりしてもよい。

画像形成部３２は画像形成機能を有する。具体的には、画像形成部３２は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも１つの機能を有する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ（画像データ）が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を利用する連携機能が実行されてもよい。例えば、スキャン機能と送信機能（転送機能）とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ（画像データ）が生成され、そのスキャンデータが送信先（例えば端末装置１０等の外部装置）に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。

記憶部３４はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部３４には、例えば、画像形成の命令を示す情報（例えばジョブ情報等）、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、端末装置１０のアドレスを示す情報（端末アドレス情報）、サーバ１６のサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。

ＵＩ部３６はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。なお、画像形成装置１２はＵＩ部３６を有していなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部（ハードウェアＵＩ部）を備えていてもよい。ハードウェアＵＩ部は、例えば、数字入力に特化したハードウェアキー（例えばテンキー）、方向の指示に特化したハードウェアキー（例えば方向指示キー）、等である。

制御部３８は、画像形成装置１２の各部の動作を制御する。

以下、図４を参照して、サーバ１６の構成について詳しく説明する。図４には、サーバ１６の構成が示されている。

通信部４０は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部４０は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。

記憶部４２はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部４２には、例えば、各種のデータ、各種のプログラム、端末装置１０の端末アドレス情報、各機器の機器アドレス情報、サーバ１６のサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。なお、サーバ１６によって構成管理情報が管理される場合、上記の機器機能管理情報と連携機能管理情報が記憶部４２に記憶され、サーバ１６において、機器機能管理情報と連携機能管理情報が更新されてもよい。また、機器機能管理情報と連携機能管理情報（情報が更新された場合は更新後の情報）がサーバ１６から端末装置１０に送信されてもよい。その送信は、定期的に又は指定されたタイミングで行われてもよい。これにより、端末装置１０に記憶されている情報が更新される。構成管理情報がサーバ１６に記憶されている場合、構成管理情報は端末装置１０に記憶されていなくてもよい。

制御部４４は、サーバ１６の各部の動作を制御する。制御部４４は、例えば、通信部４０による通信を制御する。また、サーバ１６が特定部２８を有し、特定部２８による処理を実行してもよい。この場合、端末装置１０は特定部２８を有していなくてもよい。

更に別の例として、機器１２，１４等の機器に、構成管理情報が記憶されていてもよいし、特定部２８が設けられていてもよい。つまり、つまり、特定部２８による処理は、端末装置１０において行われてもよいし、機器１２，１４等の機器において行われてよいし、サーバ１６において行われてもよいし、更に別の装置において行われてもよい。

本実施形態では、一例として、ＡＲ（Augmented Reality）技術（拡張現実技術）を適用することで、デバイス識別情報が取得されて機器が識別される。例えば、ＡＲ技術を適用することで、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。ＡＲ技術として公知のＡＲ技術が用いられる。例えば、２次元バーコード等のマーカを用いるマーカ型ＡＲ技術、画像認識技術を用いるマーカレス型ＡＲ技術、位置情報を用いる位置情報ＡＲ技術、等が用いられる。もちろん、ＡＲ技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、ＩＰアドレスに基づいて機器が識別されてもよいし、機器ＩＤが読み出されて機器が識別されてもよい。更に、赤外線通信、可視光通信、Ｗｉ−Ｆｉ、ブルートゥースといった各種無線通信機能を有する機器や端末装置が用いられる場合、無線通信機能を利用することで機器のＩＤが取得されて機器が識別されてもよい。

以下、図５を参照して、デバイス識別情報の取得処理について詳しく説明する。一例として、画像形成装置１２のデバイス識別情報を取得する場合について説明する。図５には、画像形成装置１２の外観が模式的に示されている。ここでは、マーカ型ＡＲ技術を適用してデバイス識別情報を取得するための処理について説明する。画像形成装置１２の筐体には、２次元バーコード等のマーカ４６が設けられている。マーカ４６は、画像形成装置１２のデバイス識別情報がコード化された情報である。ユーザは端末装置１０のカメラ２２を起動させ、利用対象の画像形成装置１２に設けられているマーカ４６をカメラ２２によって撮影する。これにより、マーカ４６を表す画像データが生成される。端末装置１０の制御部２６は、当該画像データに表されたマーカ画像に対してデコード処理を適用することでデバイス識別情報を抽出する。これにより、利用対象の画像形成装置１２（撮影されたマーカ４６を有する画像形成装置１２）が識別される。端末装置１０の特定部２８は、機器機能管理情報において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、利用対象の画像形成装置１２が有する機能が特定（識別）される。

なお、サーバ１６の制御部４４が、マーカ４６を表す画像データにデコード処理を適用することで、デバイス識別情報を抽出してもよい。この場合、画像データが端末装置１０からサーバ１６に送信され、サーバ１６において当該画像データに対してデコード処理が適用される。サーバ１６に特定部２８が設けられている場合、サーバ１６において、デバイス識別情報に対応付けられている機能が特定されてもよい。

マーカ４６は、画像形成装置１２が有する機能を示す機能情報がコード化されて含まれていてもよい。この場合、マーカ４６を表す画像データにデコード処理を適用することで、当該画像形成装置１２のデバイス識別情報が抽出されると共に、当該画像形成装置１２が有する機能を示す機能情報も抽出される。これにより、画像形成装置１２が特定（識別）されると共に、当該画像形成装置１２が有する機能が特定（識別）される。このデコード処理は、端末装置１０によって行われてもよいし、サーバ１６によって行われてもよい。

また、複数の機器のそれぞれのマーカを撮影することで、各機器のデバイス識別情報が取得される。

マーカレス型ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ユーザは端末装置１０のカメラ２２によって、利用対象の機器（例えば画像形成装置１２）の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称（例えば商品名）や型番号や資産管理番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。端末装置１０の制御部２６が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、端末装置１０の記憶部２４には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部２６は、例えば、外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定する。例えば、制御部２６は、外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器（カメラ２２によって撮影された機器）が識別される。別の例として、機器の名称（例えば商品名）や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器が識別されてもよい。端末装置１０の特定部２８は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器（例えば画像形成装置１２）が有する機能が特定される。

なお、サーバ１６の制御部４４が、利用対象の機器（例えば画像形成装置１２）の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定してもよい。外観画像対応付け情報は、サーバ１６の記憶部４２に記憶されている。この場合、サーバ１６の制御部４４は、外観画像対応付け情報を参照することで、利用対象の機器のデバイス識別情報を特定する。

複数の機器のそれぞれの外観の全部又は一部を撮影することで、各機器のデバイス識別情報が取得される。

位置情報ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ＧＰＳ（Global Positioning System）機能を利用することで、機器（例えば画像形成装置１２）が設置されている位置を示す位置情報が取得される。例えば、各機器がＧＰＳ機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。端末装置１０は、利用対象の機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。端末装置１０の制御部２６は、当該デバイス位置情報に基づいて利用対象の機器を識別する。例えば、端末装置１０の記憶部２４には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部２６は、その位置対応付け情報において、デバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器が特定（識別）される。端末装置１０の特定部２８は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器（例えば画像形成装置１２）が有する機能が特定（識別）される。

なお、サーバ１６の制御部４４が、位置対応付け情報において、利用対象の機器の位置情報に対応付けられているデバイス識別情報を特定してもよい。位置対応付け情報は、サーバ１６の記憶部４２に記憶されている。この場合、サーバ１６の制御部４４は、位置対応付け情報を参照することで、利用対象の機器のデバイス識別情報を特定する。

複数の機器のそれぞれのデバイス位置情報が取得され、各デバイス位置情報に基づいて各機器のデバイス識別情報が特定される。

なお、複数の識別技術を用いて機器を識別してもよい。例えば、マーカ型ＡＲ技術、マーカレス型ＡＲ技術、及び、位置情報ＡＲ技術の中から選択された複数の技術を用いて機器を識別してもよい。また、ある識別技術によって機器を識別できなかった場合に、他の識別技術を用いて機器を識別してもよい。例えば、マーカ型ＡＲ技術やマーカレス型ＡＲ技術によって機器を識別できなかった場合、位置情報ＡＲ技術を用いて機器を識別してもよい。

以下、本実施形態に係る機器システムについて更に詳しく説明する。

図６を参照して、構成管理情報の一例としての機器機能管理情報について詳しく説明する。図６には、機器機能管理情報としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器が有する機能を示す情報（機能情報）と、画像ＩＤと、が互いに対応付けられている。機器ＩＤと機器名はデバイス識別情報の一例に相当する。画像ＩＤは、機器に紐付く機器画像を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像ＩＤは含まれていなくてもよい。例えば、機器ＩＤが「Ｂ」の機器は、複合機（複数の画像形成機能を有する画像形成装置）であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器に紐付く機器画像を識別するための画像ＩＤが対応付けられている。機器に紐付く機器画像のデータは、例えば、端末装置１０に記憶されていてもよいし、サーバ１６に記憶されていてもよいし、他の装置に記憶されていてもよい。

例えば、ＡＲ技術を適用することで、利用対象の機器を識別するための機器ＩＤが取得される。端末装置１０の特定部２８は、機器機能管理テーブルを参照することで、その機器ＩＤに対応付けられている機器名、機能及び画像ＩＤを特定する。これにより、利用対象の機器が識別される。機器名を示す情報や機器画像がＵＩ部２０の表示部に表示されてもよい。もちろん、カメラ２２によって撮影された画像そのものがＵＩ部２０の表示部に表示されてもよい。また、ＵＩ部２０において、機器に紐付く機器画像（例えば、カメラ２２によって撮影された画像や、機器を模式的に表す画像）がユーザによって指定された場合、その機器が有する機能に関する情報（例えば、機能情報や機能の説明情報等）が、ＵＩ部２０の表示部に表示されてもよい。

以下、図７を参照して、構成管理情報の一例としての連携機能管理情報について詳しく説明する。図７には、連携機能管理情報としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせと、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能情報）と、が互いに対応付けられている。例えば、機器ＩＤが「Ａ」の機器はＰＣ（パーソナルコンピュータ）であり、機器ＩＤが「Ｂ」の機器は複合機である。ＰＣ（Ａ）と複合機（Ｂ）を連携させることにより、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機（Ｂ）によるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「プリント機能」は、ＰＣ（Ａ）に保存されているデータ（例えば画像データや文書データ）を複合機（Ｂ）に送信して複合機（Ｂ）にて印刷する機能である。なお、３個以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。

構成管理情報は、上記の機器機能管理情報と連携機能管理情報に限定されるものではない。例えば、機器に紐付く機器画像内の部分毎に異なる機能が割り当てられており、構成管理情報は、各部分に割り当てられた機能を管理する情報（部分管理情報）であってもよい。

以下、図８を参照して、構成管理情報の一例としての部分管理情報について詳しく説明する。図８には、部分管理情報としての部分管理テーブルの一例が示されている。この部分管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器画像内の位置（部分の位置）を示す情報と、その機器画像内の位置（部分の位置）に対応する機能を示す情報（機能情報）と、画像ＩＤと、が対応付けられている。機器画像内の位置は、機器に紐付く機器画像内の特定の位置（特定の部分）であり、例えば、機器を模式的に表す機器画像内の特定の位置や、カメラによって撮影された機器画像内の特定の位置である。機器画像内の特定の位置（部分）毎に、異なる機能が対応付けられている。

図９には、部分管理テーブルの別の例が示されている。この部分管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器の部分の名称（例えば部分の種類）を示す情報と、その部分を識別するための部分識別情報としての部分ＩＤと、その部分に割り当てられている機能（その部分が有する機能）を示す情報と、その部分に紐付く部分画像を識別するための部分画像ＩＤと、が互いに対応付けられている。部分画像は、カメラによる撮影によって得られた機器の部分の外観を表す画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。

具体例を挙げて説明すると、ＰＣ（Ａ）の表示部には画面表示機能が割り当てられており、その表示部に紐付く部分画像の部分画像ＩＤには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をＰＣ（Ａ）にて表示する機能である。ＰＣ（Ａ）の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをＰＣ（Ａ）に保存する機能である。

また、複合機Ｂの本体部にはプリント機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、プリント機能を示す情報が対応付けられている。複合機Ｂの読取部（例えば、複合機Ｂの原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分）にはスキャン機能が割り当てられており、その読取部に紐付く部分画像の部分画像ＩＤには、スキャン機能を示す情報が対応付けられている。複合機Ｂの後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く部分画像の部分画像ＩＤには、ステープル止め機能を示す情報が対応付けられている。ステープル止め機能は、出力された用紙をステープルによって綴じる機能である。

機器の部分に割り当てられている機能は、例えば、マーカレス型ＡＲ技術を用いることによって特定（識別）される。例えば、機器の部分がカメラ（例えば端末装置１０のカメラ２２）によって撮影された場合、特定部２８は、図９に示されている部分管理テーブルにおいて、その外観画像データに対応付けられている機能を特定（識別）する。これにより、撮影された部分に割り当てられている機能が特定（識別）される。例えば、複合機Ｂの本体部がカメラ２２によって撮影された場合、特定部２８は、部分管理テーブルにおいて、複合機Ｂの本体部を表す外観画像データに対応付けられているプリント機能を特定する。これにより、複合機Ｂの本体部に割り当てられている機能がプリント機能であることが特定される。

もちろん、機器の部分に割り当てられている機能は、マーカ型ＡＲ技術を用いることによって特定（識別）されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報（例えば部分ＩＤ）がコード化された２次元バーコード等のマーカが設けられている。部分に設けられているマーカがカメラによって撮影されてマーカ型ＡＲ技術が適用された場合、その部分の部分識別情報（例えば部分ＩＤ）が取得される。このように部分識別情報が取得されると、特定部２８は、図９に示されている部分管理テーブルにおいて、その部分識別情報（例えば部分ＩＤ）に対応付けられている機能を特定（識別）する。

図１０には、機器の部分を利用して実行可能な連携機能を管理するための連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の部分が有する機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分ＩＤの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する機能を利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する機能と機器の全体が有する機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。

具体例を挙げて説明すると、ＰＣ（Ａ）の表示部と複合機Ｂの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、ＰＣ（Ａ）に保存されているデータを複合機Ｂに送信して、そのデータを複合機Ｂによって印刷する機能である。

また、複合機Ｂの本体部とプロジェクタＣの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、プロジェクタＣによって投影されているデータを複合機Ｂに送信して、そのデータを複合機Ｂによって印刷する機能である。

また、複合機Ｂの読取部とプロジェクタＣの本体部との組み合わせには、連携機能としての「スキャン投影機能」が割り当てられている。連携機能としての「スキャン投影機能」は、例えば、複合機Ｂによるスキャンによって生成されたデータをプロジェクタＣに送信して、そのデータをプロジェクタＣによって投影する機能である。

なお、連携機能は、同一の機器に含まれる複数の部分が有する機能を利用して実行可能な機能であってもよいし、互いに異なる複数の機器の部分が有する機能を利用して実行可能な機能であってもよい。また、連携機能は、３つ以上の部分が有する機能を利用して実行可能な機能であってもよい。

図１１には、更に別の連携機能管理テーブルが示されている。この連携機能管理テーブルは、複数の機能を利用して実行可能な連携機能を示す情報である。この連携管理テーブルにおいては、一例として、機能ＩＤ（例えば、ソフトウェアを識別するためのＩＤ）と、機能名（例えばソフトウェア名）を示す情報と、複数の機能を利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数の機能を利用して実行可能な連携機能が特定される。

例えば、機能としてのソフトウェアαはデータを送るソフトウェアであり、機能としてのソフトウェアβはデータにパスワードをかけるソフトウェアである。ソフトウェアα，βを組み合わせることで、例えば、データにパスワードをかけた上で送信するという連携機能が実現される。他のソフトウェアについても同様に実行可能な連携機能が定められている。

なお、３個以上の機能（例えばソフトウェア）を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。

連携機能は、機器と機能とを利用して実行される機能であってもよい。図１２には、機器と機能とを利用して実行可能な連携機能を管理するためのテーブルが示されている。この連携機能管理テーブルは、機器と機能（例えばソフトウェア）とを利用して実行可能な連携機能を示す情報である。この連携機能管理テーブルにおいては、一例として、ＩＤの組み合わせ（機器ＩＤと機能ＩＤとの組み合わせ）と、機器名及び機能名を示す情報と、機器と機能とを利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、機器と機能とを利用して実行可能な連携機能が特定される。例えば、機器ＡとしてのＰＣ（Ａ）と機能αとしてのデータ送信機能とを組み合わせることで、例えば、ＰＣ（Ａ）を利用してデータを送信するという連携機能が実現される。他の機器と機能についても同様に実行可能な連携機能が定められている。なお、合計で３個以上の機器や機能を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機器や機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。

図１３には、更に別の連携機能管理テーブルが示されている。この連携機能管理テーブルは、複数のファイル（データ）を対象として実行される連携機能を管理するためのテーブルである。その連携機能は、複数の機器を利用することで実行可能な機能であってもよいし、複数のソフトウェアを利用することで実行可能な機能であってもよいし、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を利用することで実行可能な機能であってもよい。例えば、個々のファイル毎に、当該ファイルに対して処理を実行するソフトウェア（アプリケーション）が紐付けられており、連携機能は、ユーザによって選択された複数のファイルのそれぞれに紐付けられているアプリケーションを連携させることによって実現される機能である。

ファイルは、例えば、文書ファイル、画像ファイル、動画ファイル、表計算ファイル、プレゼンテーション用ファイル、図形（図面）ファイル、音声ファイル等である。

文書ファイルは、文書形式（文書フォーマット）を有するファイルであり、文字列やその他の情報によって構成されるファイルである。画像や表や図形が、その他の情報として文書ファイルに含まれてもよい。文書形式は、例えばテキスト形式やドキュメント形式等である。テキスト形式を有するデータ（例えば、拡張子として文字列「.txt」が紐付いているデータ）や、ドキュメント形式を有するデータ（例えば、拡張子として文字列「.doc」や「.docx」が紐付いているデータ）等が、文書ファイルに該当する。

画像ファイルは、画像形成（画像フォーマット）を有するファイルである。画像ファイルは、ラスター形式を有する画像データであってもよいし、ベクター形式を有する画像データであってもよい。画像形式は、例えばJPEG形式、BMP（ビットマップ）形式、PDF形式、GIF形式、TIFF形式、PICT形式等である。JPEG形式を有するデータ（拡張子として文字列「.jpeg」が紐付いているデータ）、BMP形式を有するデータ（拡張子として文字列「.bmp」が紐付いているデータ）、PDF形式を有するデータ（拡張子として文字列「.pdf」が紐付いているデータ）、GIF形式を有するデータ（拡張子として文字列「.gif」が紐付いているデータ）、TIFF形式を有するデータ（拡張子として文字列「.tiff」が紐付いているデータ）、PNG形式を有するデータ（拡張子として文字列「.png」が紐付いているデータ）、PICT形式を有するデータ（拡張子として文字列「.pict」が紐付いているデータ）等が、画像ファイルに該当する。もちろん、これら以外の形式を有する画像ファイルが用いられてもよい。

動画ファイルは、動画形式（動画フォーマット）を有するファイルである。動画形式は、例えばAVI形式、MP4形式、MOV形式、MPEG2-TS形式、MPEG2-PS形式、WMV形式、FLV形式等である。AVI形式を有するデータ（拡張子として文字列「.avi」が紐付いているデータ）、MP4形式を有するデータ（拡張子として文字列「.mp4」が紐付いているデータ）、MOV形式を有するデータ（拡張子として文字列「.mov」が紐付いているデータ）、MPEG2-TS形式を有するデータ（拡張子として文字列「.m2ts」が紐付いているデータ）、MPEG2-PS形式を有するデータ（拡張子として文字列「.mpeg」が紐付いているデータ）、WMV形式を有するデータ（拡張子として文字列「.wmv」が紐付いているデータ）、FLV形式を有するデータ（拡張子として文字列「.flv」が紐付いているデータ）等が、動画ファイルに該当する。もちろん、これら以外の形式を有する動画ファイルが用いられてもよい。

表計算ファイルは、表形式（表フォーマット）を有するファイルであり、表やグラフやその他の情報によって構成されるファイルである。文字列や画像や図形が、その他の情報として表計算ファイルに含まれてもよい。例えば、拡張子として文字列「.csv」や「.xls」や「.xlsx」が紐付いているデータである。

プレゼンテーション用ファイルは、プレゼンテーション用のシート形式（シートフォーマット）を有するファイルである。例えば、拡張子として文字列「.ppt」や「.pptx」が紐付いているデータが、プレゼンテーション用ファイルに該当する。プレゼンテーション用ファイルは、例えば、文字列、画像（静止画像や動画像）、図形、音声等によって構成される。

図形ファイルは、図形（図面）形式（図形フォーマット）を有するファイルである。図形ファイルは、例えば、図形作成ソフトウェア（例えば２次元ＣＡＤや３次元ＣＡＤ等）によって作成されるファイルである。例えば、DXF形式（フォーマット）を有するデータ（拡張子として文字列「.dxf」が紐付いているデータ）、DWG形式を有するデータ（拡張子として文字列「.dwg」が紐付いているデータ）等である。その他、拡張子として「.vsd」や「.vsdx」が紐付いているデータが図形ファイルとして扱われてもよい。

音声ファイルは、音声形式（音声フォーマット）を有するファイルである。音声形式は、例えば、非圧縮音声形式（WAV形式、AIFF形式、BWF形式等）、非可逆圧縮音声形式（mp3形式、AAC形式、WMA形式等）、可逆圧縮音声形式（TAK形式、FLAC形式等）等である。非圧縮音声形式を有するデータ（拡張子として「.wav」等が紐付いているデータ）、非可逆圧縮音声形式を有するデータ（拡張子として文字列「.mp3」等が紐付いているデータ）、非圧縮音声形式を有するデータ（拡張子として文字列「.tak」等が紐付いているデータ）等が、音声ファイルに該当する。

図１３に示されている連携機能管理テーブルに登録されている連携機能は、ファイルの形式（属性）毎に定められており、その連携機能管理テーブルにおいては、例えば、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報（連携機能情報）と、が互いに対応付けられている。連携機能情報は、例えば、連携機能ＩＤや連携機能名称等である。ファイル形式は、上記の文書形式、画像形式、動画形式、表形式、シート形式、図形形式、音声形式等である。連携機能管理情報を参照することで、複数のファイル形式の組み合わせに対応する連携機能が特定（識別）される。なお、図１３には、２つのファイル形式の組み合わせが示されているが、３つ以上のファイル形式の組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されていてもよい。

連携機能は、互いに異なる複数の機能（例えば、互いに異なるソフトウェア）を連携させることによって実現される機能であってもよいし、同一の機能（例えば、同一のソフトウェア）を連携させることによって実現される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、同じ機能を連携させることによって利用可能になる機能であってもよいし、互いに異なる機能を組み合わせることによって利用可能になる機能であってもよい。例えば、文書作成機能（文書作成ソフトウェア）と画像表示機能（画像表示ソフトウェア（例えば画像ビューア））とを連携させることによって、連携機能として、文書への画像の挿入（添付）機能や、画像上への文書（文字列、テキスト）の重畳機能が実現される。すなわち、文書作成機能と画像表示機能とを連携させることによって、画像挿入機能やテキスト重畳機能が実現される。

連携機能の概念の範疇には、複数の機能を連携させることによって新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数の表示機能を組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。また、複数の撮影機能を組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。また、通話機能と翻訳機能とを組み合わせることで、合体機能としての翻訳通話機能（通話内容を翻訳する機能）が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機能を連携させることで実現可能となる機能や、互いに異なる種類の機能を連携させることで実現可能となる機能が含まれてもよい。

図１３に示されている連携機能管理テーブルに登録されている連携機能は、端末装置１０にインストールされているソフトウェアによって実行可能な機能であってもよいし、外部装置（例えばサーバや他の端末装置等）にインストールされているソフトウェアによって実行可能な機能であってもよいし、端末装置１０にインストールされているソフトウェアと外部装置にインストールされているソフトウェアとによって実行可能な機能であってもよい。

以下、図１３に示されている各連携機能について説明する。

図１３中の「文書形式」は、テキスト形式（拡張子が「.txt」である）やドキュメント形式（拡張子が「.doc」や「.docx」である）である。「表形式」は、拡張子が「.csv」や「.xls」等で表現される形式である。画像形式は、拡張子が「.jpeg」や「.pdf」等で表現される形式である。動画形式は、拡張子が「.avi」や「.mpeg」等で表現される形式である。シート形式は、拡張子が「.ppt」等で表現される形式である。図３０には、図形形式や音声形式が示されていないが、これらを含む組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されてもよい。もちろん、図１３に示されているファイル形式以外のファイル形式を含む組み合わせと連携機能との対応付けが定められて連携機能管理テーブルに登録されてもよい。

例えば、ユーザによって文書ファイルＡと表計算ファイルＢが構成として指定された場合、文書形式と表形式との組み合わせに対応付けられている「表を文書に挿入する機能」と「文書を表に挿入する機能」が連携機能として特定される。「表を文書に挿入する機能」は、文書ファイルＡによって表される文書中に、表計算ファイルＢによって表される表を挿入する機能である。「文書を表に挿入する機能」は、上記の表計算ファイルＢによって表される表中に、文書ファイルＡによって表される文書を挿入する機能である。

ユーザによって文書ファイルＡと画像ファイルＣが構成として指定された場合、文書形式と画像形式との組み合わせに対応付けられている「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能として特定される。「画像を文書に挿入する機能」は、文書ファイルＡによって表される文書に、画像ファイルＣによって表される画像を挿入する機能である。「文書を画像上に重畳する機能」は、画像ファイルＣによって表される画像上に、文書ファイルＡによって表される文書を重畳する機能である。

ユーザによって文書ファイルＡと動画ファイルＤが構成として指定された場合、文書形式と動画形式との組み合わせに対応付けられている「動画を文書に挿入する機能」と「静止画を文書に挿入する機能」が連携機能として特定される。「動画を文書に挿入する機能」は、文書ファイルＡによって表される文書に、動画ファイルＤによって表される動画を挿入する機能である。「静止画を文書に挿入するという機能」は、文書ファイルＡによって表される文書に、動画ファイルＤを構成する１又は複数のフレーム（静止画）を挿入する機能である。例えば、文書ファイルＡは、動画に対応していない文書ファイル、つまり、動画を挿入することができないファイルに該当する場合において、「静止画を文書に挿入する機能」が実行された場合、動画ファイルＤ中の１又は複数フレーム（静止画）が、文書ファイルＡによって表される文書に挿入される。

同一のファイル形式を有する複数のファイルがユーザによって選択されてもよい。例えば、ユーザによって文書ファイルＡ１，Ａ２が構成として指定された場合、文書形式と文書形式との組み合わせに対応付けられている「文書同士を合体する機能」が連携機能として特定される。「文書同士を合体する機能」は、文書ファイルＡ１，Ａ２が表す文書を合体する（例えば、２つの文書を結合する）ことで、文書ファイルＡ１，Ａ２を残しつつ、又は、文書ファイルＡ１，Ａ２を残さずに、別の新たな文書ファイルＡ３を生成する機能である。

ユーザによって表計算ファイルＢ１，Ｂ２が構成として指定された場合、表形式と表形式との組み合わせに対応付けられている「表同士を合体する機能」が連携機能として特定される。「表同士を合体する機能」は、表計算ファイルＢ１，Ｂ２が表す表を合体する（例えば、２つの表を結合する）ことで、表計算ファイルＢ１，Ｂ２を残しつつ、又は、表計算ファイルＢ１，Ｂ２を残さずに、別の新たな表計算ファイルＢ３を生成する機能である。

ユーザによって動画ファイルＤ１，Ｄ２が構成として指定された場合、動画形式と動画形式との組み合わせに対応付けられている「動画同士を合体する機能」が連携機能として特定される。「動画同士を合体する機能」は、動画ファイルＤ１，Ｄ２が表す動画を合体する（例えば、２つの動画を結合する）ことで、動画ファイルＤ１，Ｄ２を残しつつ、又は、動画ファイルＤ１，Ｄ２を残さずに、別の新たな動画ファイルＤ３を生成する機能である。

その他、ユーザによってプレゼンテーション用ファイルＥと文書ファイルＡが構成として指定された場合、シート形式と文書形式との組み合わせに対応付けられている「文書をプレゼンテーション用シートに挿入する機能」が連携機能として特定される。「文書をプレゼンテーション用シートに挿入する機能」は、プレゼンテーション用ファイルＥによって表されるシートに、文書ファイルＡによって表される文書を挿入する機能である。

なお、連携対象の組み合わせは、上記の組み合わせに限定されるものではない。例えば、機器、機能（機器によって実行される機能とソフトウェアによって実行される機能を含む）、ファイル、及び、ソフトウェアの中の少なくとも２つの組み合わせが連携対象として選択された場合、その組み合わせを使用して実行可能な連携機能の通知が制御されてもよい。例えば、ユーザによって機器とファイルが構成として指定された場合、特定部２８は、当該機器と当該ファイルとを使用して実行可能な連携機能を特定してもよい。具体例を挙げて説明すると、複合機Ｂと文書ファイルが構成として指定された場合、特定部２８は、複合機Ｂと文書ファイルとを使用して実行可能な連携機能（例えば、文書ファイルを複合機Ｂによって印刷する機能や、文書ファイルを複合機Ｂによってファクシミリ送信する機能等）を特定する。同様に、ソフトウェアとファイルが構成として指定された場合、特定部２８は、当該ソフトウェアによって実現される機能と当該ファイルとを使用して実行可能な連携機能を特定してもよい。具体例を挙げて説明すると、文書アプリケーションと文書ファイルが構成として指定された場合、特定部２８は、文書アプリケーションと文書ファイルとを使用して実行可能な連携機能（例えば、文書アプリケーションによって文書ファイルを編集する機能や出力する機能等）を特定する。また、機器と機能とファイルが構成として指定された場合、特定部２８は、当該機器と当該機能（例えばソフトウェア）と当該ファイルとを使用して実行可能な連携機能を特定してもよい。具体例を挙げて説明すると、複合機Ｂと文書アプリケーションと文書ファイルが構成として指定された場合、特定部２８は、複合機Ｂと文書アプリケーションと文書ファイルとを使用して実行可能な連携機能（例えば、文書アプリケーションによって文書ファイルを編集して複合機Ｂに出力し、複合機Ｂにて当該文書ファイルを印刷やファクシミリ送信する機能等）を特定する。上記の具体例における組み合わせは一例に過ぎず、上記以外の機器、機能、ファイル、ソフトウェアを組み合わせて実行可能な連携機能が定められてもよい。

以下、端末装置１０の動作について具体例を挙げて詳しく説明する。

（具体例１）
図１４を参照して具体例１について説明する。図１４には、端末装置１０に表示される画面の一例が示されている。端末装置１０の制御部２６は、ＵＩ部２０の表示部に画面４８を表示させ、その画面４８に各種の情報を表示させる。画面４８は、ユーザが自動応答ＡＩと対話するためのインターフェース（対話応答画面）である。画面４８には、ユーザが端末装置１０に入力した情報（例えば文字列や画像等）と、自動応答ＡＩの発言内容を示す情報（例えば文字列や画像等）が表示される。ユーザと自動応答ＡＩとの間の対話は、いわゆるチャット形式の対話（つまりリアルタイム形式の対話、更に換言すると、ユーザと自動応答ＡＩが互いに発言しながら対話が進む形式）であってもよい。例えば、自動応答ＡＩと対話するためのプログラム（例えばチャット用プログラム）が実行されることで、その対話のための画面４８（対話応答画面）がＵＩ部２０の表示部に表示される。

画面４８には対話者毎の表示エリアが設けられ、各対話者の発言内容は、自身用の表示エリア内に表示されてもよい。例えば、表示エリア４８ａは、自動応答ＡＩの発言内容が表示されるエリアであり、表示エリア４８ｂは、ユーザの発言内容（ユーザが端末装置１０に入力した情報）が表示されるエリアである。図１４に示す例では、画面４８に向かって左側に自動応答ＡＩ用の表示エリア４８ａが設けられており、右側にユーザ用の表示エリア４８ｂが設けられている。もちろん、この表示例は一例に過ぎず、表示エリアの配置関係は逆であってよいし、上下方向に各表示エリアが設けられてもよいし、各表示エリアの全部又は一部が重なり合ってもよいし、画面４８の特定エリア（例えば中央のエリア）に最新の発言内容が表示され、その周囲に過去の発言内容が表示されてもよい。また、各表示エリアは、互いに同じ大きさを有していてもよいし、互いに異なる大きさを有していてもよいし、一回の発言内容の量や発言回数に応じて拡大又は縮小されてもよい。表示エリアの設定や大きさの制御は、制御部２６によって行われる。

図１４に示す例では、対話者は、１人のユーザと１つの自動応答ＡＩのみであるが、複数のユーザや複数の自動応答ＡＩが対話に参加してもよい。この場合、画面４８において各対話者用の表示エリアが設けられてもよい。例えば、２人のユーザと１つの自動応答ＡＩが対話に参加している場合、画面４８に３つの表示エリアが設けられて、各対話者の発言内容が自身の表示エリア内に表示される。例えば、複数の端末装置１０の間で通信を行うことで、複数のユーザの間で画面４８を介した対話が行われる場合、当該複数のユーザの発言内容が画面４８に表示される。複数の自動応答ＡＩが対話に参加する場合も同様である。複数の自動応答ＡＩに関するプログラムが同一の端末装置１０にインストールされて、当該複数の自動応答ＡＩが当該同一の端末装置１０に格納されていてもよいし、当該複数の自動応答ＡＩのそれぞれに関するプログラムが別々の端末装置１０にインストールされて、各自動応答ＡＩが別々の端末装置１０に格納されていてもよい。例えば、画面４８には、自装置である端末装置１０に格納されている自動応答ＡＩの発言内容が表示され、更に、別の端末装置１０に格納されている自動応答ＡＩの発言内容が表示される。別の端末装置１０に格納されている自動応答ＡＩは、例えば通信経路Ｎを介して対話に参加する。

例えば、チャット用プログラムが起動すると、端末装置１０の制御部２６は、ＵＩ部２０の表示部に画面４８を表示させる。自動応答ＡＩ用の表示エリア４８ａには、自動応答ＡＩに紐付く画像５０が表示され、ユーザ用の表示エリア４８ｂには、ユーザに紐付く画像５２が表示される。画像５０は自動応答ＡＩを識別するための画像であり、画像５２はユーザを識別するための画像である。なお、画像５０に代えて又は画像５０と共に、自動応答ＡＩを示す文字列（自動応答ＡＩを識別するための文字列）が表示されてもよい。同様に、画像５２に代えて又は画像５２と共に、ユーザを示す文字列（例えば氏名、ユーザＩＤ、ハンドルネーム、ニックネーム等のようにユーザを識別するための文字列）が表示されてもよい。

以降、ユーザと自動応答ＡＩとの間で対話が行われる。その対話において、ユーザの発言内容は、ユーザがＵＩ部２０を操作して文字列や画像等の情報を入力することで端末装置１０に入力されてもよいし、音声によって入力されてもよい。また、ユーザの発言内容は、文字列や画像等の情報として画面４８に表示されてもよいし、表示されなくてもよい。同様に、自動応答ＡＩの発言内容は、文字列や画像等の情報として画面４８に表示されてもよいし、表示されずに又は表示されると共に音声として発せられてもよい。以下では、一例として、各対話者の発言内容が画面４８に表示されるものとして説明するが、その発言内容は音声によって発せられてもよい。

なお、画面４８上で対話が進むと、画面４８がスクロールし、画面４８に表示しきれない過去の発言内容は画面４８から消え、最新の発言内容や、その直近の発言内容が画面４８に表示される。

チャット用プログラムが起動すると、まず、自動応答ＡＩが「どうしましたか？」といった一般的な質問（ユーザの要求を問う質問）を発し、その質問を示す文字列が自動応答ＡＩの発言内容５４として表示エリア４８ａ内に表示される。もちろん、文字列に代えて又は文字列と共に、自動応答ＡＩの発言内容が音声として発せられてもよい。その発言内容は自動応答ＡＩの発言内容であるため、制御部２６は、その発言内容を自動応答ＡＩの画像５０に紐付く発言内容として表示エリア４８ａ内に表示させる。以下の対話においても同様である。

上記の発言内容５４に対して、ユーザは、サービスの内容を示す情報や、サービスに用いられる構成を示す情報を端末装置１０に入力する。例えば、ユーザが、「領収書を表に追加したい。」といった発言を行うと、その発言内容５６が表示エリア４８ｂ内に表示される。例えば、ユーザが、画面４８を操作して文字列を入力することで、発言内容を示す情報を端末装置１０に入力してもよいし、発言内容を示す情報を音声によって端末装置１０に入力してもよい。その発言内容はユーザの発言内容であるため、制御部２６は、その発言内容５６をユーザの画像５２に紐付く発言内容として表示エリア４８ｂ内に表示させる。以下の対話においても同様である。

発言内容５６に含まれる情報は、ユーザが要求するサービスを示す情報であり、ユーザの指示内容に含まれる情報の中で最上位の階層に属する情報である。制御部２６は、その発言内容５６をユーザの指示内容として自動応答ＡＩに送る。自動応答ＡＩは、ユーザの発言内容５６を解析することでユーザが要求するサービスを識別する。

次に、ユーザは、サービスが属する階層よりも下位の階層に属する構成（サービスに用いられる構成）を示す情報を端末装置１０に入力する。図１４に示す例では、ユーザの発言内容５８によって、表形式を有する表計算ファイルＡの情報が端末装置１０に入力され、発言内容５８に続けて、発言内容６０によって、画像形式を有する画像ファイルＢの情報が端末装置１０に入力されている。表計算ファイルＡと画像ファイルＢは、サービスに用いられる構成の一例に相当し、サービスが属する階層よりも下位の階層に属する情報である。表計算ファイルＡの情報は、表計算ファイルＡを識別するための識別情報であり、例えば、表計算ファイルＡに紐付くファイル画像であってもよいし、その識別情報（例えばファイル名）を示す文字情報や音声情報等であってもよい。同様に、画像ファイルＢの情報は、画像ファイルＢを識別するための識別情報であり、例えば、画像ファイルＢに紐付くファイル画像であってよいし、その識別情報（例えばファイル名）を示す文字情報や音声情報等であってもよい。制御部２６は、発言内容５８，６０をユーザの指示内容として自動応答ＡＩに送る。

図１４に示す例では、表計算ファイルＡに紐付くファイル画像が、表計算ファイルＡの情報として入力されており、画像ファイルＢに紐付くファイル画像が、画像ファイルＢの情報として入力されている。

例えば、制御部２６は、ユーザ用の表示エリア４８ｂ内にストックエリアを表示させ、そのストックエリア内にファイル画像を表示させる。例えば、制御部２６は、そのストックエリア内に、端末装置１０に格納されているファイルに紐付くファイル画像を表示させる。制御部２６は、サーバ１６等の外部装置に格納されているファイルであって、ユーザが利用可能なファイルに紐付くファイル画像をストックエリア内に表示させてもよい。ストックエリア内に表示しきれないファイル画像が存在する場合、ユーザが、ストックエリア内に表示されているファイル画像をスクロール操作することで、当該ファイル画像がストックエリア内に表示される。

ユーザは、ストックエリアから構成としてのファイルに紐付くファイル画像を選択してストックエリアの外側に移動させ、そのファイル画像をユーザの発言内容として自動応答ＡＩに送ることができる。例えば、ユーザは、ドラッグ操作によって、ストックエリアからユーザの発言内容が表示される位置までファイル画像を移動させ、その発言内容の表示位置にてドロップ操作を行う。この操作によって、制御部２６は、ファイル画像をユーザの発言内容として自動応答ＡＩに送る。例えば、ユーザが画面４８上で画像（上記の例ではファイル画像）を指示子（例えばユーザの指、ペン、スタイラス等）によってストックエリアから選択して取り出すことで、その画像がユーザの発言内容に含まれて自動応答ＡＩに送られる。制御部２６は、画面４８への指示子の接触を検知し、画面４８上での指示子の移動を検知する。

特定部２８（自動応答ＡＩによって実現される特定部２８）は、発言内容５８を解析することで、表計算ファイルＡを、サービスに用いられる構成として識別する。同様に、特定部２８は、発言内容６０を解析することで、画像ファイルＢを、サービスに用いられる構成として識別する。

特定部２８は、ユーザの指示内容を解析することで、その指示内容に対応する処理を識別し、その処理を実行するために必要な構成候補を特定する。上記の例では、上位階層に属するサービス「領収書を表に追加する」が識別され、更に、下位階層に属する構成「表計算ファイルＡ、画像ファイルＢ」が識別されている。この場合、特定部２８は、「画像ファイルＢを表計算ファイルＡに追加する」という具体的な処理内容を識別し、その処理内容を実行するために必要な機能を構成候補として特定する。特定部２８は、例えば図１３に示されている連携機能管理テーブルを参照することで、表形式と画像形式との組み合わせに対応付けられている連携機能（例えば、画像ファイルを表計算ファイルに挿入するという連携機能）を、上記の処理を実行するために必要な構成候補として特定する。なお、特定部２８は、画像ファイルＢ自体を解析することで、画像ファイルＢが領収書を表す画像であることを識別してもよい。

上記のように、構成候補としての連携機能が特定された場合、制御部２６は、その連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。例えば、複数の連携機能が特定された場合、制御部２６は、当該複数の連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。制御部２６は、当該複数の連携機能の中からユーザによって選択された連携機能の実行を制御する。例えば、ユーザによって連携機能の実行が指示された場合、制御部２６は、その連携機能を実行する旨を示す情報を、自動応答ＡＩの発言内容６２として表示エリア４８ａ内に表示させる。

また、複数の構成候補が特定されていない場合、制御部２６は、特定部２８によって特定された連携機能の実行を制御してもよい。上記の例では、「画像ファイルＢを表計算ファイルＡに追加する」という処理が特定されているため、制御部２６は、その処理の実行を制御してもよい。この場合、制御部２６は、画像アプリケーションと表計算アプリケーションを起動させ、画像アプリケーションによって画像ファイルＢをコピーして、表計算アプリケーションによって、その画像ファイルＢが表計算ファイルＡに貼り付けられる。このようにして、画像ファイルＢが表計算ファイルＡに追加される。

以上のように、ユーザが、ユーザの発言内容として、上位階層に属する情報から下位階層に属する情報を順番に端末装置１０に入力することで、実行すべき具体的な処理内容が徐々に明確になるので、特定部２８によって当該具体的な内容が特定される。

特定部２８によって具体的な処理内容が特定されない場合、自動応答ＡＩは、処理内容を特定するための質問を作成する。制御部２６は、その質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。

自動応答ＡＩは、ユーザから階層的な構造を有する指示内容が得られるように、階層的な構造を有する質問を作成してユーザに通知してもよい。この場合、自動応答ＡＩは、上位階層から下位階層の順番で各階層に属する質問をユーザに通知する。

まず、自動応答ＡＩは、最上位の階層に属する質問として、ユーザが要求するサービスの内容を問い合わせるための質問を発する。制御部２６は、サービスの内容を問い合わせるための発言内容として、例えば「どのようなサービスを希望しますか？」といった発言内容を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。その質問（発言内容）に対してユーザがサービスを示す発言内容を入力した場合、自動応答ＡＩは、その発言内容を解析することで、ユーザが要求するサービスの内容を識別する。

自動応答ＡＩは、最上位の階層に属する質問に対するユーザの回答（発言内容）が、その質問に対する想定範囲内の回答に該当するか否かを判断する。各階層の質問毎に想定範囲の回答が予め定められており、自動応答ＡＩは、ユーザの実際の回答が想定範囲内に含まれるか否かを判断する。例えば、サービスの内容を問い合わせるための自動応答ＡＩの発言内容に対して、サービスの内容を示す発言内容がユーザによって入力された場合、自動応答ＡＩは、ユーザの回答が想定範囲内に含まれると判断する。一方、サービス以外の内容を示す発言内容がユーザによって入力された場合、自動応答ＡＩは、ユーザの回答が想定範囲内に含まれないと判断する。

最上位の階層に属する質問に対するユーザの実際の回答が、その質問に対する想定範囲内の回答に該当する場合、自動応答ＡＩは、最上位の階層よりも下位の階層に属する質問（例えば中位の階層に属する質問）をユーザに通知する。制御部２６は、その下位の階層に属する質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。一方、ユーザの実際の回答が想定範囲内に含まれていない場合、自動応答ＡＩは、最上位の階層に属する質問を再びユーザに通知する。制御部２６は、最上位の階層に属する質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に再び表示させる。

最上位の階層よりも下位の階層に属する質問（発言内容）に対して、ユーザが発言内容として回答を入力した場合、自動応答ＡＩは、ユーザの実際の回答が、その質問に対する想定範囲内の回答に該当するか否かを判断する。例えば、サービスに用いられる構成を問い合わせるための質問が、最上位の階層よりも下位の階層に属する質問に該当し、制御部２６は、その質問が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。その質問（発言内容）に対して、サービスに用いられる構成を示す発言内容がユーザによって入力した場合、自動応答ＡＩは、ユーザの回答が想定範囲内に含まれると判断する。この場合、自動応答ＡＩは、具体的な処理内容を特定するために、更に下位の階層に属する質問を作成し、制御部２６は、その質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。なお、この段階で具体的な処理内容が特定部２８によって特定された場合、制御部２６は、その具体的な処理内容や、その処理を実行するために必要な構成候補（例えば連携機能の候補等）をユーザに通知してもよい。一方、構成以外の内容を示す発言内容がユーザによって入力された場合、自動応答ＡＩは、ユーザの回答が想定範囲内に含まれないと判断する。この場合、自動応答ＡＩは、同じ階層又は上位の階層に属する質問をユーザに通知する。制御部２６は、同じ階層又は上位の階層に属する質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。以降、特定部２８が、ユーザの指示内容に基づいて具体的な処理内容を特定するまで、階層的な構造を有する質問が自動応答ＡＩの発言内容としてユーザに通知される。階層的な構造を有する質問をユーザに通知することで、ユーザが要求する処理の具体的な内容が絞り込まれ、その内容が特定され易い。

図１４に示す例では、最上位の階層に属する質問に対するユーザの回答として、「領収書を表に追加したい。」といった発言内容５６がユーザによって入力されている。発言内容５６はサービスの内容を示しているため、自動応答ＡＩは、ユーザの回答が想定範囲内に含まれると判断する。この場合、自動応答ＡＩは、最上位よりも下位の階層に属する質問として、そのサービスに用いられる具体的な構成を特定するための質問を作成する。「領収書を表に追加する」といったサービスを実行するためには、具体的な「表」や「領収書」を特定する必要があるため、自動応答ＡＩは、具体的な「表」や「領収書」を特定するための質問を作成する。制御部２６は、その質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。例えば、具体的な「表」を特定するために、「どの表計算ファイルですか？」といった発言内容や、具体的な「領収書」を特定するために、「どの領収書ですか？」といった発言内容が、自動応答ＡＩによって作成され、そのような発言内容が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。図１４に示す例では、下位の階層に属する質問に対するユーザの回答として、具体的な「表」を特定するための情報（表計算ファイルＡの情報）が発言内容５８としてユーザによって入力されており、具体的な「領収書」を特定するための情報（画像ファイルＢの情報）が発言内容６０としてユーザによって入力されている。発言内容５８，６０はサービスに用いられる構成を示しているため、自動応答ＡＩは、ユーザの各回答が想定範囲内に含まれると判断する。この段階で具体的な処理内容が特定部２８によって特定された場合、制御部２６は、その処理内容を実行するために必要な構成候補（例えば連携機能の候補）を示す情報をユーザに通知する。図１４に示す例では、先に上位概念に属するサービスの内容を示す情報がユーザによって入力され、後から順に、下位概念に属する構成（例えばファイル）を示す情報がユーザによって入力されることで、徐々に具体的な処理内容が特定される。

特定部２８は、制限時間内にユーザによって入力された情報に基づいて、実行可能な処理内容と、その処理内容を実行するために必要な構成候補（例えば連携機能の候補）を特定してもよい。制限時間の開始時点は、例えば、発言内容５４のように、自動応答ＡＩがユーザに対して質問を発した時点であってもよいし、発言内容５４が発生した後に、ユーザが最初の発言内容５６を入力した時点であってもよい。制限時間を用いる場合も、階層的な構造を有する質問がユーザに通知される。

例えば、発言内容５６が示すサービスの正確な内容が自動応答ＡＩによって識別されず、そのサービスの正確な内容が自動応答ＡＩにとって不明な場合において、制限時間内にユーザによって発言内容５８，６０が入力され、発言内容５８，６０が示す内容が、自動応答ＡＩによって正確に識別されたものとする。この場合、特定部２８は、図１３に示されている連携機能管理テーブルにおいて、発言内容５８が示す表計算ファイルＡと発言内容６０が示す画像ファイルＢとの組み合わせに対応付けられている連携機能を、処理内容を実行するために必要な構成候補として特定する。例えば、「画像を表に挿入する」機能と「表を画像に重畳する」機能が、連携機能として特定されたものとする。この場合、特定部２８は、「画像ファイルＢを表計算ファイルＡに挿入する」ことと、「表計算ファイルＡを画像ファイルＢに重畳する」ことを、実行可能な処理内容として特定する。制御部２６は、特定部２８によって特定された処理内容と連携機能に関する情報を、自動応答ＡＩの発言として表示エリア４８ａ内に表示させる。例えば、「画像を表に挿入する」機能に関する情報と、「表を画像に重畳する」機能に関する情報が、サービスを実行するために必要な構成候補として表示エリア４８ａ内に表示される。ユーザが連携機能を指定して実行指示を与えた場合、制御部２６は、ユーザによって指定された連携機能の実行を制御する。

特定部２８は、予め定められた回数の質問で得られたユーザの回答に基づいて、実行可能な処理内容と、その処理内容を実行するために必要な構成候補（例えば連携機能の候補）を特定してもよい。この場合も、階層的な構造を有する質問がユーザに通知される。

特定部２８は、指示内容を構成する複数の階層の中で予め定められた数の階層に属する情報がユーザによって入力された場合、それらの情報に基づいて、実行可能な処理内容と、その処理内容を実行するために必要な構成候補（例えば連携機能の候補）を特定してもよい。例えば、上位階層に属する情報、中位階層に属する情報、及び、下位階層に属する情報がユーザによって入力された場合、特定部２８は、それらの情報に基づいて、実行可能な処理内容と、その処理内容を実行するために必要な構成候補を特定する。

具体例を挙げて説明すると、上位階層に属する情報として、サービスの内容を示す発言内容（例えば「領収書を表に追加したい」といった発言内容）がユーザによって入力され、中位階層に属する情報として、機器を示す発言内容（例えば「ＰＣ（Ａ）を使用したい」といった発言内容）がユーザによって入力され、下位階層に属する情報として、ファイルを示す発言内容（例えば「表計算ファイルＡ、画像ファイルＢ」といった発言内容）がユーザによって入力されたものとする。この場合、特定部２８は、「ＰＣ（Ａ）を使用して、画像ファイルＢを表計算ファイルＡに挿入する」という処理内容を特定し、その処理内容を実行するために必要な構成候補として、「画像を表計算ファイルに挿入する」という連携機能を特定する。

なお、ユーザの発言内容として互いに形式の異なる複数のデータの情報が入力され、当該複数のデータの情報が自動応答ＡＩに送られた場合、特定部２８は、図１３に示されている連携機能管理テーブルを参照することで、当該複数のデータを用いて実行可能な連携機能を特定してもよい。この場合、制御部２６は、特定部２８によって特定された連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。図１４に示す例で説明すると、発言内容５６によって入力された表計算ファイルＡは、表形式を有するデータであり、発言内容５８によって入力された画像ファイルＢは、画像形式を有するデータである。このように、表形式を有するデータの情報と画像形式を有するデータの情報が入力されているため、特定部２８は、図１３に示されている連携機能管理テーブルにおいて、表形式と画像形式との組み合わせに対応する連携機能を特定する。制御部２６は、その連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。こうすることで、ユーザによって入力されたデータの形式に応じて実行可能な連携機能がユーザに通知される。

（具体例２）
図１５を参照して具体例２について説明する。上記の具体例１では、サービスに用いられる構成としてファイルがユーザによって指定されているが、具体例２では、機器とファイルが構成として指定される。

図１５には、画面４８が示されている。画面４８には、図１４と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。

チャット用プログラムが起動すると、まず、自動応答ＡＩが「どうしましたか？」といった一般的な質問（ユーザの要求を問う質問）を発し、その質問を示す文字列が自動応答ＡＩの発言内容６４として表示エリア４８ａ内に表示される。

上記の発言内容６４に対して、ユーザは、サービスの内容を示す情報や、サービスに用いられる構成を示す情報を端末装置１０に入力する。例えば、ユーザが、「印刷したい。」といった発言を行うと、その発言内容６６が表示エリア４８ｂ内に表示される。

発言内容６６に含まれる情報は、ユーザが要求するサービスを示す情報であり、ユーザの指示内容に含まれる情報の中で最上位の階層に属する情報である。制御部２６は、その発言内容６６をユーザの指示内容として自動応答ＡＩに送る。自動応答ＡＩは、ユーザの発言内容６６を解析することでユーザが要求するサービスを識別する。

次に、ユーザは、サービスが属する階層よりも下位の階層に属する構成（サービスに用いられる構成）を示す情報を端末装置１０に入力する。図１５に示す例では、ユーザの発言内容６８によって、機器としての複合機Ｂの情報が端末装置１０に入力され、発言内容６８に続けて、発言内容７０によって、ファイルとしての画像ファイルＢの情報が端末装置１０に入力されている。複合機Ｂと画像ファイルＢは、サービスに用いられる構成の一例に相当し、サービスが属する階層よりも下位の階層に属する情報である。複合機Ｂの情報は、複合機Ｂを識別するための識別情報であり、例えば、複合機Ｂに紐付く機器画像であってもよいし、その識別情報（例えば機器名）を示す文字情報や音声情報等であってもよい。制御部２６は、発言内容６８，７０をユーザの指示内容として自動応答ＡＩに送る。

複合機Ｂは、上記のＡＲ技術（マーカ型ＡＲ技術、マーカレス型ＡＲ技術、位置情報ＡＲ技術）や他の識別技術を利用することで、特定部２８によって識別された機器である。もちろん、機器画像は、複合機Ｂ自体に紐付く画像ではなく、複合機という種類に紐付く画像であってもよい。

図１５に示す例では、複合機Ｂに紐付く機器画像が、複合機Ｂの情報として入力されており、画像ファイルＢに紐付くファイル画像が、画像ファイルＢの情報として入力されている。

制御部２６は、ユーザ用の表示エリア４８ｂ内に機器画像用のストックエリアを表示させ、そのストックエリア内に機器画像を表示させてもよい。例えば、制御部２６は、そのストックエリア内に、既に識別されている機器に紐付く機器画像を表示させる。もちろん、制御部２６は、機器そのものに紐付かず機器の種類に紐付く機器画像をストックエリア内に表示させてもよい。例えば、制御部２６は、複合機Ｂ自体に紐付かず複合機という種類に紐付く機器画像を、ストックエリア内に表示させてもよい。具体例１と同様に、ユーザは、機器画像用のストックエリアから機器画像を取り出して、ユーザの発言内容として表示エリア４８ｂ内に移動させることができる。

例えば、一度識別された機器に関する情報は記憶部２４に記憶され、その後、改めて当該機器に対する識別処理が行われなくても、当該機器に紐付く機器画像がストックエリア内に表示される。もちろん、識別された機器に関する情報は、ユーザの操作によって記憶部から削除されてもよい。この場合、その機器に紐付く機器画像も削除される。別の例として、識別された機器を利用して連携機能が実行された後や、機器が識別された時点から予め定められた時間が経過した後に、その識別された機器に関する情報が記憶部２４から削除されてもよい。

複合機Ｂに紐付く機器画像は、複合機Ｂをカメラ２２によって撮影することで生成された画像（撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい）であってもよいし、複合機Ｂに紐付く模式的な画像（例えばアイコン）であってもよい。

模式的な画像が用いられる場合、特定部２８は、図６に示されている機器機能管理テーブルを参照することで、識別された機器に紐付く模式的な画像を特定する。その模式的な画像は機器画像として表示される。模式的な画像のデータは端末装置１０に記憶されていてもよいし、サーバ１６等の外部装置に記憶されていてもよい。

なお、機器を撮影することで生成された画像データを利用する場合、現在の機器そのものの外観（例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観）が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。また、機器自体に紐付く機器画像（例えば、撮影で得られた画像や、機器そのものに紐付くアイコン等）は、当該機器の固有の画像であるため、その機器画像を自動応答ＡＩに送ることで、自動応答ＡＩは、当該機器そのものを識別することができる。一方、機器画像が機器自体に紐付かず機器の種類に紐付く画像である場合、自動応答ＡＩは、その機器画像から機器の種類を識別することができるが、個々の機器自体を識別することができない。例えば、機器画像が複合機Ｂに紐付く画像である場合、自動応答ＡＩは、その機器画像から複合機Ｂそのものを識別することができる。一方、機器画像が複合機という種類に紐付く画像である場合、自動応答ＡＩは、その機器画像から複合機という種類を識別することになる。以下では、各機器画像は、個々の機器自体に紐付く画像であるとして説明する。

また、ストックエリア内に表示しきれない他の機器画像が存在する場合、ユーザが、ストックエリア内に表示されている機器画像をスクロール操作することで、当該他の機器画像がストックエリア内に表示される。

上記の具体例１にて説明したように、ファイル画像用のストックエリアが表示され、そのストックエリアからファイル画像を取り出して表示エリア４８ｂ内に表示できるようにしてもよい。

特定部２８は、発言内容６８を解析することで、複合機Ｂを、サービスに用いられる構成として識別する。同様に、特定部２８は、発言内容７０を解析することで、画像ファイルＢを、サービスに用いられる構成として識別する。

特定部２８は、ユーザの指示内容を解析することで、その指示内容に対応する処理を識別し、その処理を実行するために必要な構成候補を特定する。上記の例では、上位階層に属するサービス「印刷したい」が識別され、更に、下位階層に属する構成「複合機Ｂ、画像ファイルＢ」が識別されている。この場合、特定部２８は、「複合機Ｂによって画像ファイルＢを印刷する」という処理を識別し、その処理を実行するために必要な機能を構成候補として特定する。特定部２８は、例えば図６に示されている機器機能管理テーブルを参照することで、複合機Ｂが有する機能を、上記の処理を実行するために必要な構成候補として特定する。

上記のように、構成候補としての機能が特定された場合、制御部２６は、その機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。例えば、複数の機能が特定された場合、制御部２６は、当該複数の機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。制御部２６は、当該複数の機能の中からユーザによって選択された機能の実行を制御する。例えば、ユーザによって機能の実行が指示された場合、制御部２６は、その機能の実行する旨を示す情報を自動応答ＡＩの発言内容７２として表示エリア４８ａ内に表示させる。

また、複数の構成候補が特定されていない場合、制御部２６は、特定部２８によって特定された機能の実行を制御してもよい。上記の例では、「複合機Ｂによって画像ファイルＢを印刷する」という処理が特定されているため、制御部２６は、その処理の実行を制御してもよい。この場合、制御部２６は、画像ファイルＢを複合機Ｂに送信し、複合機Ｂに画像ファイルＢを印刷させる。

具体例１と同様に、自動応答ＡＩは、ユーザから階層的な構造を有する指示内容が得られるように、階層的な構造を有する質問を作成してユーザに通知してもよい。

図１５に示す例では、最上位の階層に属する質問（例えば「どうしましたか？」といった質問）に対するユーザの回答として、「印刷したい。」といった発言内容６６がユーザによって入力されている。発言内容６６はサービスの内容を示しているため、自動応答ＡＩは、ユーザの回答が想定範囲内に含まれると判断する。この場合、自動応答ＡＩは、最上位よりも下位の階層に属する質問として、そのサービスに用いられる具体的な構成を特定するための質問を作成する。「印刷する」といったサービスを実行するためには、具体的な「機器」や「印刷（動作）の対象物」を特定する必要があるため、自動応答ＡＩは、具体的な「機器」や「印刷の対象物」を特定するための質問を作成する。なお、「機器」を特定するための質問は、中位階層に属する質問であり、「印刷の対象物」を特定するための質問は、下位階層に属する質問である。制御部２６は、その質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。例えば、具体的な「機器」を特定するために、「どの機器を使用しますか？」といった発言内容や、具体的な「印刷の対象物」を特定するために、「どのファイルですか？」といった発言内容が、自動応答ＡＩによって作成され、そのような発言内容が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。図１５に示す例では、中位の階層に属する質問に対するユーザの回答として、具体的な「機器」を特定するための情報（複合機Ｂの情報）が発言内容６８としてユーザによって入力されている。また、下位の階層に属する質問に対するユーザの回答として、具体的な「印刷の対象物」を特定するための情報（画像ファイルＢの情報）が発言内容７０としてユーザによって入力されている。発言内容６８，７０はサービスに用いられる構成を示しているため、自動応答ＡＩは、ユーザの各回答が想定範囲内に含まれると判断する。この段階で具体的な処理内容が特定部２８によって特定された場合、制御部２６は、その処理内容を実行するために必要な構成候補（例えば機能の候補）を示す情報をユーザに通知する。図１５に示す例では、先に上位概念に属するサービスの内容を示す情報がユーザによって入力され、後から順に、中位概念に属する構成（例えば機器）を示す情報と下位概念に属する構成（例えばファイル）を示す情報がユーザによって入力されることで、徐々に具体的な処理内容が特定される。

具体例１と同様に、特定部２８は、制限時間内にユーザによって入力された情報に基づいて、実行可能な処理内容と、その処理内容を実行するために必要な構成候補（例えば機能の候補）を特定してもよい。

例えば、発言内容６６が示すサービスの正確な内容が自動応答ＡＩによって識別されず、そのサービスの正確な内容が自動応答ＡＩにとって不明な場合において、制限時間内にユーザによって発言内容６８，７０が入力され、発言内容６８，７０が示す内容が、自動応答ＡＩによって正確に識別されたものとする。この場合、特定部２８は、図６に示されている機器機能管理テーブルにおいて、発言内容６８が示す複合機Ｂと発言内容７０が示す画像ファイルＢとを使用して実行可能な機能を、処理内容を実行するために必要な構成候補として特定する。例えば、「プリント機能」（処理内容：複合機Ｂによって画像ファイルＢを印刷する）、「ファクシミリ機能」（処理内容：複合機Ｂによって画像ファイルＢをファクシミリ送信する）、及び、「データ転送機能」（処理内容：複合機Ｂによって画像ファイルＢを他の装置に転送する）が、機能及び処理内容として特定されたものとする。この場合、制御部２６は、特定部２８によって特定された処理内容と機能に関する情報を、自動応答ＡＩの発言として表示エリア４８ａ内に表示させる。ユーザが機能を指定して実行指示を与えた場合、制御部２６は、ユーザによって指定された機能の実行を制御する。

具体例１と同様に、特定部２８は、予め定められた回数の質問で得られたユーザの回答に基づいて、実行可能な処理内容と、その処理内容を実行するために必要な構成候補を特定してもよい。この場合も、階層的な構造を有する質問がユーザに通知される。

具体例１と同様に、特定部２８は、指示内容を構成する複数の階層の中で予め定められた数の階層に属する情報がユーザによって入力された場合、それらの情報に基づいて、実行可能な処理内容と、その処理内容を実行するために必要な構成候補を特定してもよい。

また、処理内容を実行するために必要な構成候補として、機器の情報がユーザに通知されてもよい。例えば、発言内容６８として、ユーザが特定の複合機（例えば複合機Ｂ）の情報を入力せずに、不特定の複合機の情報や複合機の種類の情報を入力した場合、特定部２８は、画像ファイルＢを印刷することが可能な機器（例えば複合機Ｂやプリンタ）を特定する。制御部２６は、その機器に関する情報を、画像ファイルＢを印刷するという処理内容を実行するための機器候補に関する情報として、表示エリア４８ａ内に表示させる。例えば、複合機Ｂの情報が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。また、ユーザの発言内容によって処理内容や機能が特定されている場合、特定部２８は、ユーザの希望する設定や機械学習によるＡＩの推測によって、その処理内容を実行するために必要な機器やその機能を有する機器を特定し、制御部２６は、特定部２８によって特定された機器をユーザに通知してもよい。例えば、特定部２８は、ユーザと機器との間の位置関係に基づいて機器を特定する。具体的には、特定部２８は、処理内容を実行することが可能な機器であって、ユーザの現在位置に最も近い機器を通知対象の機器として特定し、制御部２６は、その機器をユーザに通知する。また、特定部２８は、他の機器と比べてスペックが高く、処理速度が速い機器を通知対象の機器として特定してもよいし、無料で使用可能な機器を通知対象の機器として特定してもよいし、ユーザが操作権限を有する機器を通知対象として特定してもよい。制御部２６は、通知対象として特定された機器をユーザに通知する。

また、処理内容を実行するために必要な構成候補として、機器が設置されている場所の情報がユーザに通知されてもよい。例えば、複合機Ｂが用いられる場合、特定部２８は、複合機Ｂの設置場所を特定する。制御部２６は、その設置場所を示す情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。

（具体例３）
図１６を参照して具体例３について説明する。具体例３では、サービスに用いられる構成として機能が指定される。

図１６には、画面４８が示されている。画面４８には、図１４と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。

チャット用プログラムが起動すると、まず、自動応答ＡＩが「どうしましたか？」といった一般的な質問（ユーザの要求を問う質問）を発し、その質問を示す文字列が自動応答ＡＩの発言内容７４として表示エリア４８ａ内に表示される。

上記の発言内容７４に対して、ユーザは、サービスの内容を示す情報や、サービスに用いられる構成を示す情報を端末装置１０に入力する。例えば、ユーザが、「パスワードを掛けてデータを送信したい。」といった発言を行うと、その発言内容７６が表示エリア４８ｂ内に表示される。

発言内容７６に含まれる情報は、ユーザが要求するサービスを示す情報であり、ユーザの指示内容に含まれる情報の中で最上位の階層に属する情報である。制御部２６は、その発言内容７６をユーザの指示内容として自動応答ＡＩに送る。自動応答ＡＩは、ユーザの発言内容７６を解析することでユーザが要求するサービスを識別する。

次に、ユーザは、サービスが属する階層よりも下位の階層に属する構成（サービスに用いられる構成）を示す情報を端末装置１０に入力する。図１６に示す例では、ユーザの発言内容７８によって、機能としてのパスワード機能の情報が端末装置１０に入力され、発言内容７８に続けて、発言内容８０によって、機能としてのデータ送信機能の情報が端末装置１０に入力され、発言内容８２に続けて、ファイルとしての画像ファイルＢの情報が端末装置１０に入力されている。パスワード機能、データ送信機能及び画像ファイルＢは、サービスに用いられる構成の一例に相当し、サービスが属する階層よりも下位の階層に属する情報である。パスワード機能の情報は、パスワード機能を識別するための識別情報であり、例えば、パスワード機能に紐付く機能画像（例えば、パスワード設定ソフトウェアに紐付く機能画像）であってもよいし、その識別情報（例えば名称）を示す文字情報や音声情報等であってもよい。同様に、データ送信機能の情報は、データ送信機能を識別するための識別情報であり、例えば、データ送信機能に紐付く機能画像（例えば、データ送信ソフトウェアに紐付く機能画像）であってもよいし、その識別情報（例えば名称）を示す文字情報や音声情報等であってもよい。制御部２６は、発言内容７８，８０，８２をユーザの指示内容として自動応答ＡＩに送る。

図１６に示す例では、パスワード機能に紐付く機能画像が、パスワード機能の情報として入力されており、データ送信機能に紐付く機能画像が、データ送信機能の情報として入力されており、画像ファイルＢに紐付くファイル画像が、画像ファイルＢの情報として入力されている。

なお、機能画像は、例えば、ソフトウェア（アプリケーション等）に紐付く画像であってもよいし、処理が行われる機器（現実空間に存在する機器）に紐付く画像であってもよい。機能画像は、例えばアイコン等の画像であり、ハードウェアとしての機器の実際の外観を表す画像（例えば写真）や機器そのものを表す画像と区別する意味で、バーチャルな画像ともいえる。

制御部２６は、ユーザ用の表示エリア４８ｂ内に機能画像用のストックエリアを表示させ、そのストックエリア内に機能画像を表示させてもよい。例えば、制御部２６は、そのストックエリア内に、端末装置１０にインストールされているソフトウェアに紐付く機能画像等を表示させる。また、ストックエリアに表示しきれない他の機能画像が存在する場合、ユーザが、ストックエリア内に表示されている機能画像をスクロール操作することで、当該他の機能画像がストックエリア内に表示される。具体例１と同様に、ユーザは、機能画像用のストックエリアから機能画像を取り出して、ユーザの発言内容として表示エリア４８ｂ内に移動させることができる。

特定部２８は、発言内容７８を解析することで、パスワード機能を、サービスに用いられる構成として識別し、発言内容８０を解析することで、データ送信機能を、サービスに用いられる構成として識別し、発言内容８２を解析することで、画像ファイルＢを、サービスに用いられる構成として識別する。

特定部２８は、ユーザの指示内容を解析することで、その指示内容に対応する処理を識別し、その処理を実行するために必要な構成候補を特定する。上記の例では、上位階層に属するサービス「パスワードを掛けてデータを送信したい」が識別され、更に、下位階層に属する構成「パスワード機能、データ送信機能、画像ファイルＢ」が識別されている。この場合、特定部２８は、「画像ファイルＢにパスワードを掛けて画像ファイルＢを送信する」という処理を識別し、その処理を実行するために必要な機能を構成候補として特定する。特定部２８は、例えば図１１に示されている連携機能管理テーブルを参照することで、パスワード機能βとデータ送信機能αとの組み合わせに対応付けられている連携機能を、上記の処理を実行するために必要な構成候補として特定する。

上記のように、構成候補としての連携機能が特定された場合、制御部２６は、その連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。例えば、複数の連携機能が特定された場合、制御部２６は、当該複数の連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。制御部２６は、当該複数の連携機能の中からユーザによって選択された連携機能の実行を制御する。例えば、ユーザによって連携機能の実行が指示された場合、制御部２６は、その連携機能の実行する旨を示す情報を自動応答ＡＩの発言内容８４として表示エリア４８ａ内に表示させる。

また、複数の構成候補が特定されていない場合、制御部２６は、特定部２８によって特定された連携機能の実行を制御してもよい。上記の例では、「画像ファイルＢにパスワードを掛けて画像ファイルＢを送信する」という処理が特定されているため、制御部２６は、その処理の実行を制御してもよい。この場合、制御部２６は、パスワード設定ソフトウェアを起動させ、そのパスワード設定ソフトウェアによって画像ファイルＢにパスワードを設定し、データ送信ソフトウェアを起動させ、そのデータ送信ソフトウェアによって画像ファイルＢを送信先に送信する。

図１６に示す例では、最上位の階層に属する質問（例えば「どうしましたか？」といった質問）に対するユーザの回答として、「パスワードを掛けてデータを送信したい。」といった発言内容７６がユーザによって入力されている。発言内容７６はサービスの内容を示しているため、自動応答ＡＩは、ユーザの回答が想定範囲内に含まれると判断する。この場合、自動応答ＡＩは、最上位よりも下位の階層に属する質問として、そのサービスに用いられる具体的な構成を特定するための質問を作成する。「パスワードを掛けてデータを送信する」といったサービスを実行するためには、具体的な「機能」や「動作の対象物」を特定する必要があるため、自動応答ＡＩは、具体的な「機能」や「動作の対象物」を特定するための質問を作成する。なお、「機能」を特定するための質問は、中位階層に属する質問であり、「動作の対象物」を特定するための質問は、下位階層に属する質問である。制御部２６は、その質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。例えば、具体的な「機能」を特定するために、「どの機能を使用しますか？」といった発言内容や、具体的な「動作の対象物」を特定するために、「どのファイルですか？」といった発言内容が、自動応答ＡＩによって作成され、そのような発言内容が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。図１６に示す例では、中位の階層に属する質問に対するユーザの回答として、具体的な「機能」を特定するための情報（パスワード機能とデータ送信機能の情報）が発言内容７８，８０としてユーザによって入力されている。また、下位の階層に属する質問に対するユーザの回答として、具体的な「動作の対象物」を特定するための情報（画像ファイルＢの情報）が発言内容８２としてユーザによって入力されている。発言内容７８，８０，８２はサービスに用いられる構成を示しているため、自動応答ＡＩは、ユーザの各回答が想定範囲内に含まれると判断する。この段階で具体的な処理内容が特定部２８によって特定された場合、制御部２６は、その処理内容を実行するために必要な構成候補（例えば連携機能の候補）を示す情報をユーザに通知する。図１６に示す例では、先に上位概念に属するサービスの内容を示す情報がユーザによって入力され、後から順に、中位概念に属する構成（例えば機能）を示す情報と下位概念に属する構成（例えばファイル）を示す情報がユーザによって入力されることで、徐々に具体的な処理内容が特定される。

具体例１と同様に、特定部２８は、制限時間内にユーザによって入力された情報に基づいて、実行可能な処理内容と、その処理内容を実行するために必要な構成候補（例えば連携機能の候補）を特定してもよい。

例えば、発言内容７６が示すサービスの正確な内容が自動応答ＡＩによって識別されず、そのサービスの正確な内容が自動応答ＡＩにとって不明な場合において、制限時間内にユーザによって発言内容７８，８０，８２が入力され、発言内容７８，８０，８２が示す内容が、自動応答ＡＩによって正確に識別されたものとする。この場合、特定部２８は、図１１に示されている連携機能管理テーブルにおいて、発言内容７８が示すパスワード機能と発言内容８０が示すデータ送信機能とを使用して実行可能な連携機能を、処理内容を実行するために必要な構成候補として特定する。例えば、「データにパスワードを掛けて送信する機能」が連携機能として特定され、「画像ファイルＢにパスワードを掛けて送信する」処理が具体的な処理内容として特定される。この場合、制御部２６は、特定部２８によって特定された処理内容と連携機能に関する情報を、自動応答ＡＩの発言として表示エリア４８ａ内に表示させる。ユーザが連携機能を指定して実行指示を与えた場合、制御部２６は、ユーザによって指定された機能の実行を制御する。

また、処理内容を実行するために必要な構成候補として、機能の情報がユーザに通知されてもよい。例えば、パスワード機能を示す発言内容７８がユーザによって入力されていない場合、特定部２８は、サービスの内容を示す発言内容７６の解析結果として、その処理内容を実行するために必要なパスワード機能を特定する。制御部２６は、そのパスワード機能に関する情報を、画像ファイルＢにパスワードを掛けて画像ファイルＢを送信するという処理内容を実行するための機器候補に関する情報として、表示エリア４８ａ内に表示させる。

（具体例４）
図１７を参照して具体例４について説明する。具体例４では、サービスに用いられる構成として機器が指定される。

図１７には、画面４８が示されている。画面４８には、図１４と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。

チャット用プログラムが起動すると、まず、自動応答ＡＩが「どうしましたか？」といった一般的な質問（ユーザの要求を問う質問）を発し、その質問を示す文字列が自動応答ＡＩの発言内容８６として表示エリア４８ａ内に表示される。

上記の発言内容８６に対して、ユーザは、サービスの内容を示す情報や、サービスに用いられる構成を示す情報を端末装置１０に入力する。例えば、ユーザが、「スキャンデータをＰＣに保存したい」といった発言を行うと、その発言内容８８が表示エリア４８ｂ内に表示される。

発言内容８８に含まれる情報は、ユーザが要求するサービスを示す情報であり、ユーザの指示内容に含まれる情報の中で最上位の階層に属する情報である。制御部２６は、その発言内容８８をユーザの指示内容として自動応答ＡＩに送る。自動応答ＡＩは、ユーザの発言内容８８を解析することでユーザが要求するサービスを識別する。

次に、ユーザは、サービスが属する階層よりも下位の階層に属する構成（サービスに用いられる構成）を示す情報を端末装置１０に入力する。図１７に示す例では、ユーザの発言内容９０によって、機器としての複合機Ｂの情報が端末装置１０に入力され、発言内容９０に続けて、発言内容９２によって、機器としてのＰＣ（Ａ）の情報が端末装置１０に入力されている。複合機ＢとＰＣ（Ａ）は、サービスに用いられる構成の一例に相当し、サービスが属する階層よりも下位の階層に属する情報である。制御部２６は、発言内容９０，９２をユーザの指示内容として自動応答ＡＩに送る。

図１７に示す例では、複合機Ｂに紐付く機能画像が複合機Ｂの情報として入力されており、ＰＣ（Ａ）に紐付く機能画像がＰＣ（Ａ）の情報として入力されている。

制御部２６は、ユーザ用の表示エリア４８ａ内に機器画像用のストックエリアを表示させ、そのストックエリア内に機器画像を表示させてもよい。具体例１と同様に、ユーザは、機器画像用のストックエリアから機器画像を取り出して、ユーザの発言内容として表示エリア４８ｂ内に移動させることができる。

特定部２８は、発言内容９０を解析することで、複合機Ｂ、サービスに用いられる構成として識別し、発言内容９２を解析することで、ＰＣ（Ａ）を、サービスに用いられる構成として識別する。

特定部２８は、ユーザの指示内容を解析することで、その指示内容に対応する処理を識別し、その処理を実行するために必要な構成候補を特定する。上記の例では、上位階層に属するサービス「スキャンデータをＰＣに保存したい」が識別され、更に、下位階層に属する構成「複合機Ｂ、ＰＣ（Ａ）」が識別されている。この場合、特定部２８は、「複合機Ｂによってスキャンを行い、そのスキャンによって生成されたデータを複合機ＢからＰＣ（Ａ）に送信する」という処理を識別し、その処理を実行するために必要な連携機能を構成候補として特定する。特定部２８は、例えば図７に示されている連携機能管理テーブルを参照することで、複合機ＢとＰＣ（Ａ）との組み合わせに対応付けられている連携機能を、上記の処理を実行するために必要な構成候補として特定する。

上記のように、構成候補としての連携機能が特定された場合、制御部２６は、その連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。例えば、複数の連携機能が特定された場合、制御部２６は、当該複数の連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。例えば、連携機能として「スキャン転送機能」と「プリント機能」が特定された場合、制御部２６は、それらに関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。制御部２６は、当該複数の連携機能の中からユーザによって選択された連携機能の実行を制御する。例えば、ユーザによって連携機能の実行が指示された場合、制御部２６は、その連携機能の実行する旨を示す情報を自動応答ＡＩの発言内容９４として表示エリア４８ａ内に表示させる。

また、複数の構成候補が特定されていない場合、制御部２６は、特定部２８によって特定された連携機能の実行を制御してもよい。上記の例では、「複合機Ｂによってスキャンを行い、そのスキャンによって生成されたデータを複合機ＢからＰＣ（Ａ）に送信する」という処理が特定されているため、制御部２６は、その処理（連携機能「スキャン転送機能」）の実行を制御してもよい。この場合、制御部２６は、複合機Ｂにスキャン転送指示を与える。複合機Ｂは、そのスキャン転送指示に従ってスキャンを実行し、そのスキャンによって生成されたデータをＰＣ（Ａ）に送信する。

図１７に示す例では、最上位の階層に属する質問（例えば「どうしましたか？」といった質問）に対するユーザの回答として、「スキャンデータをＰＣに保存したい」といった発言内容８８がユーザによって入力されている。発言内容８８はサービスの内容を示しているため、自動応答ＡＩは、ユーザの回答が想定範囲内に含まれると判断する。この場合、自動応答ＡＩは、最上位よりも下位の階層に属する質問として、そのサービスに用いられる具体的な構成を特定するための質問を作成する。「スキャンデータをＰＣに保存したい」といったサービスを実行するためには、具体的な「機器」を特定する必要があるため、自動応答ＡＩは、具体的な「機器」を特定するための質問を作成する。制御部２６は、その質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。例えば、具体的な「機器」を特定するために、「どの機器を使用しますか？」といった発言内容が、自動応答ＡＩによって作成され、そのような発言内容が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。図１７に示す例では、中位の階層に属する質問に対するユーザの回答として、具体的な「機器」を特定するための情報（複合機ＢとＰＣ（Ａ）の情報）が発言内容９０，９２としてユーザによって入力されている。発言内容９０，９２はサービスに用いられる構成を示しているため、自動応答ＡＩは、ユーザの各回答が想定範囲内に含まれると判断する。この段階で具体的な処理内容が特定部２８によって特定された場合、制御部２６は、その処理内容を実行するために必要な構成候補（例えば連携機能の候補）を示す情報をユーザに通知する。図１７に示す例では、先に上位概念に属するサービスの内容を示す情報がユーザによって入力され、後から順に、中位概念に属する構成（例えば機器）を示す情報がユーザによって入力されることで、徐々に具体的な処理内容が特定される。

例えば、発言内容８８が示すサービスの正確な内容が自動応答ＡＩによって識別されず、そのサービスの正確な内容が自動応答ＡＩにとって不明な場合において、制限時間内にユーザによって発言内容９０，９２が入力され、発言内容９０，９２が示す内容が、自動応答ＡＩによって正確に識別されたものとする。この場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、発言内容９０が示す複合機Ｂと発言内容９２が示すＰＣ（Ａ）とを使用して実行可能な連携機能を、処理内容を実行するために必要な構成候補として特定する。例えば、「スキャン転送機能」と「プリント機能」が連携機能として特定され、「複合機Ｂによってスキャンを行い、そのスキャンによって生成されたデータを複合機ＢからＰＣ（Ａ）に送信する」処理と、「ＰＣ（Ａ）に保存されているデータを複合機Ｂによって印刷する」処理が、具体的な処理内容として特定される。この場合、制御部２６は、特定部２８によって特定された処理内容と連携機能に関する情報を、自動応答ＡＩの発言として表示エリア４８ａ内に表示させる。ユーザが連携機能を指定して実行指示を与えた場合、制御部２６は、ユーザによって指定された機能の実行を制御する。

また、処理内容を実行するために必要な構成候補として、機器の情報や機器の設置場所の情報がユーザに通知されてもよい。

（具体例５）
図１８を参照して具体例５について説明する。具体例４では、サービスに用いられる構成として、機器と機能が指定される。

図１８には、画面４８が示されている。画面４８には、図１４と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。

チャット用プログラムが起動すると、まず、自動応答ＡＩが「どうしましたか？」といった一般的な質問（ユーザの要求を問う質問）を発し、その質問を示す文字列が自動応答ＡＩの発言内容９６として表示エリア４８ａ内に表示される。

上記の発言内容９６に対して、ユーザは、サービスの内容を示す情報や、サービスに用いられる構成を示す情報を端末装置１０に入力する。例えば、ユーザが、「ＰＣにデータを送信したい」といった発言を行うと、その発言内容９８が表示エリア４８ｂ内に表示される。

発言内容９８に含まれる情報は、ユーザが要求するサービスを示す情報であり、ユーザの指示内容に含まれる情報の中で最上位の階層に属する情報である。制御部２６は、その発言内容９８をユーザの指示内容として自動応答ＡＩに送る。自動応答ＡＩは、ユーザの発言内容９８を解析することでユーザが要求するサービスを識別する。

次に、ユーザは、サービスが属する階層よりも下位の階層に属する構成（サービスに用いられる構成）を示す情報を端末装置１０に入力する。図１８に示す例では、ユーザの発言内容１００によって、機器としてのＰＣ（Ａ）の情報が端末装置１０に入力され、発言内容１００に続けて、発言内容１０２によって、機能としてのデータ送信機能の情報が端末装置１０に入力され、発言内容１０２に続けて、発言内容１０４によって、動作対象としての画像ファイルＢの情報が端末装置１０に入力されている。ＰＣ（Ａ）、データ送信機能及び画像ファイルＢは、サービスに用いられる構成の一例に相当し、サービスが属する階層よりも下位の階層に属する情報である。制御部２６は、発言内容１００，１０２，１０４をユーザの指示内容として自動応答ＡＩに送る。

図１８に示す例では、ＰＣ（Ａ）に紐付く機器画像が、ＰＣ（Ａ）の情報として入力されており、データ送信機能に紐付く機能画像が、データ送信機能の情報として入力されており、画像ファイルＢに紐付くファイル画像が、画像ファイルＢの情報として入力されている。

制御部２６は、ユーザ用の表示エリア４８ｂ内に、機器画像用のストックエリア、機能画像用のストックエリア、及び、ファイル画像用のストックエリアを表示させてもよい。ユーザは、機器画像、機能画像及びファイル画像をそれぞれのストックエリアから取り出して、ユーザの発言内容として表示エリア４８ｂ内に移動させることができる。

特定部２８は、発言内容１００を解析することで、複合機Ｂをサービスに用いられる構成として識別し、発言内容１０２を解析することで、データ送信機能をサービスに用いられる構成として識別し、発言内容１０４を解析することで、画像ファイルＢをサービスに用いられる構成として識別する。

特定部２８は、ユーザの指示内容を解析することで、その指示内容に対応する処理を識別し、その処理を実行するために必要な構成候補を特定する。上記の例では、上位階層に属するサービス「ＰＣにデータを送信したい」が識別され、更に、下位階層に属する構成「ＰＣ（Ａ）、データ送信機能、画像ファイルＢ」が識別されている。この場合、特定部２８は、「ＰＣ（Ａ）に画像ファイルＢを送信する」という処理を識別し、その処理を実行するために必要な連携機能を構成候補として特定する。特定部２８は、例えば図１２に示されている連携機能管理テーブルを参照することで、ＰＣ（Ａ）とデータ送信機能αとの組み合わせに対応付けられている連携機能を、上記の処理を実行するために必要な構成候補として特定する。

上記のように、構成候補としての連携機能が特定された場合、制御部２６は、その連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。例えば、複数の連携機能が特定された場合、制御部２６は、当該複数の連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。制御部２６は、当該複数の連携機能の中からユーザによって選択された連携機能の実行を制御する。例えば、ユーザによって連携機能の実行が指示された場合、制御部２６は、その連携機能の実行する旨を示す情報を自動応答ＡＩの発言内容１０６として表示エリア４８ａ内に表示させる。

また、複数の構成候補が特定されていない場合、制御部２６は、特定部２８によって特定された連携機能の実行を制御してもよい。上記の例では、「ＰＣ（Ａ）に画像ファイルＢを送信する」という処理が特定されているため、制御部２６は、その処理の実行を制御してもよい。この場合、制御部２６は、データ送信ソフトウェアを起動させ、そのデータ送信ソフトウェアによって画像ファイルＢをＰＣ（Ａ）に送信する。

図１８に示す例では、最上位の階層に属する質問（例えば「どうしましたか？」といった質問）に対するユーザの回答として、「ＰＣにデータを送信したい。」といった発言内容９８がユーザによって入力されている。発言内容９８はサービスの内容を示しているため、自動応答ＡＩは、ユーザの回答が想定範囲内に含まれると判断する。この場合、自動応答ＡＩは、最上位よりも下位の階層に属する質問として、そのサービスに用いられる具体的な構成を特定するための質問を作成する。「ＰＣにデータを送信する」といったサービスを実行するためには、具体的な「機器」や「機能」や「動作の対象物」を特定する必要があるため、自動応答ＡＩは、具体的な「機器」や「機能」や「動作の対象物」を特定するための質問を作成する。なお、「機器」や「機能」を特定するための質問は、中位階層に属する質問であり、「動作の対象物」を特定するための質問は、下位階層に属する質問である。制御部２６は、その質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。例えば、具体的な「機器」を特定するために、「どの機器を使用しますか？」といった発言内容や、具体的な「機能」を特定するために、「どの機能を使用しますか？」といった発言内容や、具体的な「動作の対象物」を特定するために、「どのファイルですか？」といった発言内容が、自動応答ＡＩによって作成され、そのような発言内容が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。図１８に示す例では、中位の階層に属する質問に対するユーザの回答として、具体的な「機器」と「機能」を特定するための情報（ＰＣ（Ａ）とデータ送信機能の情報）が発言内容１００，１０２としてユーザによって入力されている。また、下位の階層に属する質問に対するユーザの回答として、具体的な「動作の対象物」を特定するための情報（画像ファイルＢの情報）が発言内容１０４としてユーザによって入力されている。発言内容１００，１０２，１０４はサービスに用いられる構成を示しているため、自動応答ＡＩは、ユーザの各回答が想定範囲内に含まれると判断する。この段階で具体的な処理内容が特定部２８によって特定された場合、制御部２６は、その処理内容を実行するために必要な構成候補（例えば連携機能の候補）を示す情報をユーザに通知する。図１８に示す例では、先に上位概念に属するサービスの内容を示す情報がユーザによって入力され、後から順に、中位概念に属する構成（例えば機器と機能）を示す情報と下位概念に属する構成（例えばファイル）を示す情報がユーザによって入力されることで、徐々に具体的な処理内容が特定される。

例えば、発言内容９８が示すサービスの正確な内容が自動応答ＡＩによって識別されず、そのサービスの正確な内容が自動応答ＡＩにとって不明な場合において、制限時間内にユーザによって発言内容１００，１０２，１０４が入力され、発言内容１００，１０２，１０４が示す内容が、自動応答ＡＩによって正確に識別されたものとする。この場合、特定部２８は、図１２に示されている連携機能管理テーブルにおいて、発言内容１００が示すＰＣ（Ａ）と発言内容１０２が示すデータ送信機能とを使用して実行可能な連携機能を、処理内容を実行するために必要な構成候補として特定する。例えば、「ＰＣにデータを送信する機能」が連携機能として特定され、「ＰＣ（Ａ）に画像ファイルＢを送信する」処理が具体的な処理内容として特定される。この場合、制御部２６は、特定部２８によって特定された処理内容と連携機能に関する情報を、自動応答ＡＩの発言として表示エリア４８ａ内に表示させる。ユーザが連携機能を指定して実行指示を与えた場合、制御部２６は、ユーザによって指定された機能の実行を制御する。

また、処理内容を実行するために必要な構成候補として、機器や機能の情報がユーザに通知されてもよい。また、機器の設置場所の情報がユーザに通知されてもよい。

（具体例６）
以下、具体例６について説明する。具体例６では、サービスに用いられる構成として、機器の部分が指定される。

図１９を参照して、機器の部分について詳しく説明する。図１９には、機器としての複合機Ｂに紐付く機器画像１０８が示されている。図２０には、機器としてのＰＣ（Ａ）に紐付く機器画像１１０が示されている。上記のように識別技術（例えばＡＲ技術）を適用することで複合機ＢやＰＣ（Ａ）が識別される。また、部分の識別も、上述した識別技術を用いることで実現される。例えば、機器の各部分を撮影してマーカレス型ＡＲ技術を適用することで、各部分が識別される。

例えば、図１９（ａ）に示すように、機器画像１０８において複合機Ｂの本体部分に対応する位置（部分画像１０８ａ）には、「プリント機能」が割り当てられている。機器画像１０８において複合機Ｂの原稿カバーや原稿ガラスや自動原稿給紙装置に対応する位置（部分画像１０８ｂ）には、「スキャン機能」が割り当てられている。機器画像１０８において後処理装置に対応する位置（部分画像１０８ｃ）には、「ステープル止め機能」が割り当てられている。「ステープル止め機能」は、出力された用紙をステープラによって止める機能である。

また、図２０（ａ）に示すように、機器画像１１０においてＰＣ（Ａ）の本体部分に対応する位置（部分画像１１０ａ）には、「データ保存機能」が割り当てられている。機器画像１１０においてＰＣ（Ａ）の表示部に対応する特定の位置（部分画像１１０ｂ）には、「画面表示機能」が割り当てられている。「データ保存機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて保存する機能である。「画面表示機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて表示する機能である。

各部分画像は、機器画像から切り離して操作することが可能である。例えば、機器画像１０８がＵＩ部２０の表示部に表示されているときに、図１９（ｂ）に示すように、ユーザが部分画像１０８ｂを選択して機器画像１０８から切り離す操作を行うと、部分画像１０８ｂは機器画像１０８から離れて表示される。図１９（ｂ）には、切り離された部分画像１０８ｂが波線で示されている。例えば、ドラッグ＆ドロップ操作によって部分画像を操作することができる。具体的には、ユーザは部分画像を選択し、ドラッグ操作によって部分画像を機器画像から切り離して操作し、目的の表示位置でドロップ操作を行うことで、その表示位置に部分画像を表示させることができる。また、機器画像１０８がストックエリアに表示されているときに、ユーザがその機器画像１０８の部分画像（例えば部分画像１０８ｂ）を選択して機器画像１０８から切り離す操作を行うと、部分画像１０８ｂは機器画像１０８から離れてストックエリアの外側に表示させることができる。もちろん、部分画像を機器画像から切り離す操作が行われた場合であっても、当該部分画像は元の位置に表示されていてもよい。部分画像１０８ａ，１０８ｃも機器画像１０８から切り離して表示することができる。

機器画像１１０についても機器画像１０８と同様に、部分画像１１０ａ，１１０ｂを機器画像１１０から切り離して表示することができる。図２０（ｂ）には、部分画像１１０ｂ（破線で示されている）が機器画像１１０から切り離されている。

以下、図２１を参照して、具体例６について詳しく説明する。図２１には、画面４８が示されている。画面４８には、図１４と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。

チャット用プログラムが起動すると、まず、自動応答ＡＩが「どうしましたか？」といった一般的な質問（ユーザの要求を問う質問）を発し、その質問を示す文字列が自動応答ＡＩの発言内容１１２として表示エリア４８ａ内に表示される。

上記の発言内容１１２に対して、ユーザは、サービスの内容を示す情報や、サービスに用いられる構成を示す情報を端末装置１０に入力する。例えば、ユーザが、「印刷したい」といった発言を行うと、その発言内容１１４が表示エリア４８ｂ内に表示される。

発言内容１１４に含まれる情報は、ユーザが要求するサービスを示す情報であり、ユーザの指示内容に含まれる情報の中で最上位の階層に属する情報である。制御部２６は、その発言内容１１４をユーザの指示内容として自動応答ＡＩに送る。自動応答ＡＩは、ユーザの発言内容１１４を解析することでユーザが要求するサービスを識別する。

次に、ユーザは、サービスが属する階層よりも下位の階層に属する構成（サービスに用いられる構成）を示す情報を端末装置１０に入力する。図２１に示す例では、ユーザの発言内容１１６によって、機器の部分としての複合機Ｂの本体部の情報が端末装置１０に入力され、発言内容１１６に続けて、発言内容１１８によって、機器の部分としてのＰＣ（Ａ）の表示部の情報が端末装置１０に入力されている。複合機ＢとＰＣ（Ａ）は、サービスに用いられる構成の一例に相当し、サービスが属する階層よりも下位の階層に属する情報である。制御部２６は、発言内容１１６，１１８をユーザの指示内容として自動応答ＡＩに送る。

図２１に示す例では、複合機Ｂの本体部に紐付く部分画像が、複合機Ｂの本体部の情報として入力されており、ＰＣ（Ａ）の表示部に紐付く部分画像が、ＰＣ（Ａ）の表示部の情報として入力されている。

制御部２６は、ユーザ用の表示エリア４８ｂ内に、機器画像用のストックエリアを表示させてもよい。ユーザは、そのストックエリア内に表示されている機器画像から部分画像を切り離してストックエリアから取り出し、ユーザの発言内容として表示エリア４８ｂ内に移動させることができる。

特定部２８は、発言内容１１６を解析することで、複合機Ｂの本体部をサービスに用いられる構成として識別し、発言内容１１８を解析することで、ＰＣ（Ａ）の表示部をサービスに用いられる構成として識別する。

特定部２８は、ユーザの指示内容を解析することで、その指示内容に対応する処理を識別し、その処理を実行するために必要な構成候補を特定する。上記の例では、上位階層に属するサービス「印刷したい」が識別され、更に、下位階層に属する構成「複合機Ｂの本体部、ＰＣ（Ａ）の表示部」が識別されている。この場合、特定部２８は、図１０に示されている連携機能管理テーブルを参照することで、複合機Ｂの本体部とＰＣ（Ａ）の表示部との組み合わせに対応付けられている連携機能を、処理を実行するために必要な構成候補として特定する。例えば、「ＰＣの画面に表示されている情報を複合機によって印刷する機能」が連携機能として特定され、具体的な処理内容として「ＰＣ（Ａ）の画面に表示されている情報を複合機Ｂによって印刷する」という処理が識別される。

上記のように、構成候補としての連携機能が特定された場合、制御部２６は、その連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。例えば、複数の連携機能が特定された場合、制御部２６は、当該複数の連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。制御部２６は、当該複数の連携機能の中からユーザによって選択された連携機能の実行を制御する。例えば、ユーザによって連携機能の実行が指示された場合、制御部２６は、その連携機能の実行する旨を示す情報を自動応答ＡＩの発言内容１２０として表示エリア４８ａ内に表示させる。

また、複数の構成候補が特定されていない場合、制御部２６は、特定部２８によって特定された連携機能の実行を制御してもよい。上記の例では、「ＰＣ（Ａ）の画面に表示されている情報を複合機Ｂによって印刷する」という処理が特定されているため、制御部２６は、その処理の実行を制御してもよい。この場合、制御部２６は、その処理の実行指示を示す情報をＰＣ（Ａ）と複合機Ｂに送信する。ＰＣ（Ａ）は、その実行指示に従って、ＰＣ（Ａ）の画面に表示されている情報を複合機Ｂに送信する。複合機Ｂは、その実行指示に従って、ＰＣ（Ａ）から送信されてきた情報を印刷する。

図２１に示す例では、最上位の階層に属する質問（例えば「どうしましたか？」といった質問）に対するユーザの回答として、「印刷したい。」といった発言内容１１４がユーザによって入力されている。発言内容１１４はサービスの内容を示しているため、自動応答ＡＩは、ユーザの回答が想定範囲内に含まれると判断する。この場合、自動応答ＡＩは、最上位よりも下位の階層に属する質問として、そのサービスに用いられる具体的な構成を特定するための質問を作成する。「印刷する」といったサービスを実行するためには、具体的な「機器」や「機能」や「動作の対象物」を特定する必要があるため、自動応答ＡＩは、具体的な「機器」や「機能」や「動作の対象物」を特定するための質問を作成する。なお、「機器」や「機能」を特定するための質問は、中位階層に属する質問であり、「動作の対象物」を特定するための質問は、下位階層に属する質問である。制御部２６は、その質問を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。例えば、具体的な「機器」を特定するために、「どの機器を使用しますか？」といった発言内容や、具体的な「機能」を特定するために、「どの機能を使用しますか？」といった発言内容や、具体的な「動作の対象物」を特定するために、「どのファイルですか？」といった発言内容が、自動応答ＡＩによって作成され、そのような発言内容が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。図２１に示す例では、中位の階層に属する質問に対するユーザの回答として、具体的な「機器の部分」を特定するための情報（ＰＣ（Ａ）の表示部と複合機Ｂの本体部の情報）が発言内容１１６，１１８としてユーザによって入力されている。発言内容１１６，１１８はサービスに用いられる構成を示しているため、自動応答ＡＩは、ユーザの各回答が想定範囲内に含まれると判断する。この段階で具体的な処理内容が特定部２８によって特定された場合、制御部２６は、その処理内容を実行するために必要な構成候補（例えば連携機能の候補）を示す情報をユーザに通知する。図２１に示す例では、先に上位概念に属するサービスの内容を示す情報がユーザによって入力され、後から順に、中位概念に属する構成（例えば機器の部分）を示す情報がユーザによって入力されることで、徐々に具体的な処理内容が特定される。

例えば、発言内容１１４が示すサービスの正確な内容が自動応答ＡＩによって識別されず、そのサービスの正確な内容が自動応答ＡＩにとって不明な場合において、制限時間内にユーザによって発言内容１１６，１１８が入力され、発言内容１１６，１１８，が示す内容が、自動応答ＡＩによって正確に識別されたものとする。この場合、特定部２８は、図１０に示されている連携機能管理テーブルにおいて、発言内容１１６が示す複合機Ｂの本体部と発言内容１１８が示すＰＣ（Ａ）の表示部とを使用して実行可能な連携機能を、処理内容を実行するために必要な構成候補として特定する。例えば、「ＰＣの画面に表示されている情報を複合機によって印刷する機能」が連携機能として特定され、「ＰＣ（Ａ）の画面に表示されている情報を複合機Ｂによって印刷する」処理が具体的な処理内容として特定される。この場合、制御部２６は、特定部２８によって特定された処理内容と連携機能に関する情報を、自動応答ＡＩの発言として表示エリア４８ａ内に表示させる。ユーザが連携機能を指定して実行指示を与えた場合、制御部２６は、ユーザによって指定された機能の実行を制御する。

また、処理内容を実行するために必要な構成候補として、機器の設置場所の情報がユーザに通知されてもよい。

上記の具体例１から具体例６は一例に過ぎない。例えば、処理内容を実行するための構成として、機器、機器の部分及び機能が単独で利用されてもよい。

以下、具体例７から具体例１０として、ユーザの発言内容を修正するための処理について説明する。

（具体例７）
以下、具体例７について説明する。具体例７においては、ユーザの発言内容として、同じ階層に属する複数の情報を連続して端末装置１０に入力されて自動応答ＡＩに送られた場合、特定部２８は、先に入力された情報に代えて、後から入力された情報を指示内容に含まれる情報として用いる。以下、図２２を参照して具体例７について詳しく説明する。

図２２には、画面４８が示されている。画面４８には、図１４と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。なお、図２２においては、説明の便宜上、自動応答ＡＩに紐付く画像５０と自動応答ＡＩの発言内容の図示は省略されている。

例えば図１４と同様に、ユーザの発言内容１２２としてサービスの内容を示す情報が端末装置１０に入力され、その発言内容１２２に続いて、ユーザの発言内容１２４としてファイルの情報（例えば表計算ファイルＡの情報）が端末装置１０に入力されている。制御部２６は、発言内容１２２，１２４を自動応答ＡＩに送る。自動応答ＡＩは、発言内容１２２，１２４が示すサービスの内容やファイルを識別する。

発言内容１２２に続いて、ユーザの発言内容１２６としてファイルの情報（例えば表計算ファイルＣの情報）が端末装置１０に入力されている。制御部２６は、発言内容１２６を自動応答ＡＩに送る。自動応答ＡＩは、発言内容１２６が示すファイルを識別する。発言内容１２６が示す表計算ファイルＣの情報は、直前の発言内容１２４が示す表計算ファイルＡの情報と同じ階層に属する情報である。この場合、特定部２８は、先の発言内容１２４が示す表計算ファイルＡに代えて、後の発言内容１２６が示す表計算ファイルＣを、ユーザの指示内容に含まれる情報として識別する。つまり、特定部２８は、表計算ファイルＡに代えて表計算ファイルＣを処理対象のファイルとして識別する。

発言内容１２６の後に、ユーザの発言内容１２８としてファイルの情報（例えば画像ファイルＢの情報）が端末装置１０に入力されている。この場合、上記の具体例１と同様に、特定部２８は、「画像ファイルＢを表計算ファイルＣに追加する」処理を具体的な処理内容として特定する。

ファイル以外の構成として、機器や機能の情報がユーザの発言内容として入力された場合も同様である。

なお、同じ階層に属する複数の構成の情報が続けて入力された場合であっても、先に入力された構成に代えて後に入力された構成を使用するのではなく、先に入力された構成に追加して後に入力された構成も使用することがある。図２２に示す例では、表計算ファイルＡ，Ｃに画像ファイルＢを追加する場合がある。例えば、構成を追加するためのボタン画像が画面４８に表示され、ユーザがそのボタン画像を押して発言内容１２６を入力した場合、特定部２８は、表計算ファイルＡ，Ｃの両方を処理対象のファイルとして識別する。一方、ユーザがボタン画像を押さずに発言内容１２６を入力した場合、特定部２８は、表計算ファイルＡに代えて表計算ファイルＣを処理対象のファイルとして識別する。別の例として、ユーザが、構成の追加を示す文字列を入力して発言内容１２６を入力した場合、特定部２８は、表計算ファイルＡ，Ｃの両方を処理対象のファイルとして識別してもよい。

具体例７によれば、簡易な操作でユーザの指示内容を修正することができる。

（具体例８）
以下、具体例８について説明する。具体例８においては、ユーザの発言内容として、下位の階層に属する情報が端末装置１０に入力されて自動応答ＡＩに送られた後に、上位の階層に属する情報が端末装置１０に入力されて自動応答ＡＩに送られた場合、特定部２８は、ユーザによってサービスの変更指示が与えられたと識別する。以下、図２３を参照して具体例８について詳しく説明する。

図２３には、画面４８が示されている。画面４８には、図１４と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。なお、図２３においては、説明の便宜上、自動応答ＡＩに紐付く画像５０と自動応答ＡＩの発言内容の図示は省略されている。

例えば図１４と同様に、ユーザの発言内容１３０としてサービスの内容を示す情報（最上位の階層に属する情報）が端末装置１０に入力され、その発言内容１３０に続いて、ユーザの発言内容１３２として表計算ファイルＡの情報（下位の階層に属する情報）が端末装置１０に入力されている。ユーザが要求するサービスは、「領収書を表に追加する」ことである。制御部２６は、発言内容１３０，１３２を自動応答ＡＩに送る。自動応答ＡＩは、発言内容１３０，１３２が示すサービスの内容やファイルを識別する。

発言内容１３２に続いて、ユーザの発言内容１３４としてサービスの内容を示す情報（最上位の階層に属する情報）が端末装置１０に入力されている。ユーザが要求するサービスは、「ネットショッピングをする」ことである。制御部２６は、発言内容１３０を自動応答ＡＩに送る。自動応答ＡＩは、発言内容１３４が示すサービスの内容を識別する。

このように、下位階層に属する情報を示す発言内容１３２の後に、上位階層に属する情報を示す発言内容１３４が端末装置１０に入力されて自動応答ＡＩに送られた場合、特定部２８は、ユーザによってサービスの変更指示が与えられたと識別する。つまり、特定部２８は、発言内容１３０が示す「領収書を表に追加する」というサービスに代えて、発言内容１３４が示す「ネットショッピングをする」というサービスがユーザによって指定されたと識別する。この場合、特定部２８は、発言内容１３４以降の発言内容に基づいて処理内容を識別する。

発言内容１３４に続いて、ユーザの発言内容１３６として通販サイト（例えばインターネット上のホームページ）のアドレス情報（例えばＵＲＬ）が端末装置１０に入力されている。制御部２６は、発言内容１３４を自動応答ＡＩに送る。自動応答ＡＩは、発言内容１３４が示すアドレス情報を識別する。この場合、特定部２８は、発言内容１３４，１３６に基づいて、実行すべき処理内容を識別する。図２３に示す例では、特定部２８は、「ユーザによって入力された通販サイトのアドレス情報にアクセスする」という処理内容を特定する。制御部２６は、例えばＷｅｂブラウザを起動させ、その通販サイトにアクセスする。また、制御部２６は、上記の処理内容を示す情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。ユーザがアクセスの指示を与えた場合、制御部２６は、例えばＷｅｂブラウザを起動させ、その通販サイトにアクセスする。

具体例８によれば、簡易な操作でサービスの内容を変更することができる。

（具体例９）
以下、具体例９について説明する。具体例９においては、ユーザが、自身の発言内容が表示されているエリアを長押しした場合（予め定められた時間以上にわたって当該エリアを指定した場合）、制御部２６は、当該発言内容を編集するための編集画面をＵＩ部２０に表示させる。以下、図２４を参照して具体例９について詳しく説明する。

図２４には、画面４８が示されている。画面４８には、図１４と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。なお、図２４においては、説明の便宜上、自動応答ＡＩに紐付く画像５０と自動応答ＡＩの発言内容の図示は省略されている。

例えば、ユーザによって、サービスの内容を示す発言内容１３８、表計算ファイルＡを示す発言内容１４０、及び、画像ファイルＢを示す発言内容１４２が端末装置１０に入力されている。制御部２６は、発言内容１３８，１４０，１４２を自動応答ＡＩに送り、自動応答ＡＩは、発言内容１３８，１４０，１４２が示す情報をユーザの指示内容として識別する。

ここで、既に自動応答ＡＩに送られた発言内容１４０を編集する場合について説明する。ユーザが、画面４８上にて発言内容１４０が表示されているエリアを長押しすると、制御部２６は、その長押しを検知し、発言内容１４０を編集するための編集画面をＵＩ部２０の表示部に表示させる。ユーザが編集画面にて発言内容１４０を編集した場合、その編集が反映された発言内容１４０が元の位置に表示される。制御部２６は、編集が反映された発言内容１４０を自動応答ＡＩに送る。自動応答ＡＩは、編集前の発言内容１４０に代えて、編集が反映された発言内容１４０が示す情報をユーザの指示内容として識別する。

具体例９によれば、既に自動応答ＡＩに送られた発言内容を簡易な操作で編集することができる。

（具体例１０）
以下、図２４及び図２５を参照して具体例１０について説明する。図２５には、画面４８が示されている。

例えば、図２４に示すように、ユーザによって、サービスの内容を示す発言内容１３８、表計算ファイルＡを示す発言内容１４０、及び、画像ファイルＢを示す発言内容１４２が端末装置１０に入力されている。制御部２６は、発言内容１３８，１４０，１４２を自動応答ＡＩに送り、自動応答ＡＩは、発言内容１３８，１４０，１４２が示す情報をユーザの指示内容として識別する。

ユーザが、ＵＩ部２０を用いて発言内容１４０の削除指示を与え、続けて、図２５に示すように、発言内容１４０の表示位置に新たな発言内容１４４を挿入した場合、制御部２６は、新たな発言内容１４４を元の発言内容１４０に代わる発言内容として自動応答ＡＩに送る。自動応答ＡＩは、元の発言内容１４０に代えて、新たな発言内容１４４が示す情報をユーザの指示内容として識別する。例えば、元の発言内容１４０として、表計算ファイルＡの情報が端末装置１０に入力されているが、新たな発言内容１４４として、表計算ファイルＣの情報が端末装置１０に入力されている。この場合、自動応答ＡＩは、表計算ファイルＡに代えて、表計算ファイルＣをユーザの指示内容として識別する。

もちろん、ユーザは、発言内容を削除せずに、複数の発言内容の間に新たな発言内容を挿入してもよい。例えば、図２４に示す例において、ユーザが発言内容１４０を削除せずに、発言内容１４０と発言内容１４２との間に新たな発言内容を挿入してもよい。この場合、制御部２６は、当該新たな発言内容を自動応答ＡＩに送り、自動応答ＡＩは、当該新たな発言内容が示す情報をユーザの指示内容として識別する。

具体例１０によれば、既に自動応答ＡＩに送られた発言内容を簡易な操作で編集することができる。

以下、複数の機器を利用して連携機能を実行するときの動作について説明する。連携機能を実行するとき、端末装置１０から連携対象の各機器に対して接続要求が送信され、端末装置１０と各機器が接続する。以下、図２６を参照して、この接続処理について説明する。図２６は、その処理を示すシーケンス図である。

端末装置１０において、ユーザによって、連携対象の機器として複合機ＢとＰＣ（Ａ）が指定された場合（つまり、複合機ＢとＰＣ（Ａ）の情報がユーザの対話内容として自動応答ＡＩに送られた場合）、端末装置１０は、連携対象の機器（複合機ＢとＰＣ（Ａ））に接続要求を示す情報を送信する（Ｓ０１）。この送信の制御は、自動応答ＡＩによって行われてもよい。例えば、連携対象の各機器のアドレス情報がサーバ１６に記憶されている場合、端末装置１０は、各機器のアドレス情報をサーバ１６から取得する。デバイス識別情報にアドレス情報が含まれている場合、端末装置１０の制御部２６は、各機器のデバイス識別情報からアドレス情報を取得する。アドレス情報の取得処理は、自動応答ＡＩによって行われてもよい。もちろん、端末装置１０の記憶部２４に各機器のアドレス情報が記憶されていてもよい。端末装置１０は、別の手法によって各機器のアドレス情報を取得してもよい。端末装置１０は、連携対象の各機器（例えば複合機ＢとＰＣ（Ａ））のアドレス情報を用いて、連携対象の各機器に接続要求を示す情報を送信する。

接続要求を示す情報を受けた複合機ＢとＰＣ（Ａ）は、端末装置１０との接続の許可又は不許可を判断する（Ｓ０２）。例えば、複合機ＢとＰＣ（Ａ）が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置１０からの接続が許可された場合、複合機ＢとＰＣ（Ａ）のそれぞれの固有の設定情報が端末装置１０から変更されないように、その変更操作が禁止されてもよい。例えば、複合機Ｂの色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。

接続の許可又は不許可を示す結果情報が、複合機ＢとＰＣ（Ａ）から端末装置１０に送信される（Ｓ０３）。複合機ＢとＰＣ（Ａ）への接続が許可された場合、端末装置１０と複合機Ｂとの間で通信が確立され、更に、端末装置１０とＰＣ（Ａ）との間で通信が確立される。

次に、端末装置１０において、ユーザは連携機能（例えば「プリント機能」）の実行を指示する（Ｓ０４）。端末装置１０は、その指示に従って、連携機能の実行指示を示す情報（実行指示情報）を、連携対象の各機器（複合機ＢとＰＣ（Ａ））に送信する（Ｓ０５））。この送信の制御は、自動応答ＡＩによって行われてもよい。複合機Ｂに送信される実行指示情報には、複合機Ｂにて実行される処理を示す情報（例えばジョブ情報）が含まれ、ＰＣ（Ａ）に送信される実行指示情報には、ＰＣ（Ａ）にて実行される処理を示す情報（例えばジョブ情報）が含まれる。

実行指示情報を受けた複合機ＢとＰＣ（Ａ）は、実行指示情報に従って連携機能（例えば「プリント機能」）を実行する（Ｓ０６）。実行対象の連携機能に、複合機ＢとＰＣ（Ａ）との間でデータの送受信が行われる処理が含まれている場合、複合機ＢとＰＣ（Ａ）との間で通信が確立される。例えば、複合機Ｂに送信される実行指示情報にはＰＣ（Ａ）のアドレス情報が含まれており、ＰＣ（Ａ）に送信される実行指示情報には複合機Ｂのアドレス情報が含まれている。それらのアドレス情報を用いて、複合機ＢとＰＣ（Ａ）との間で通信が確立される。その通信が確立された後、ＰＣ（Ａ）は、印刷対象の画像データを複合機Ｂに送信し、複合機Ｂは、その画像データを記録媒体としての用紙上に印刷する。

連携機能の実行が終了すると、連携機能の実行完了を示す情報が、複合機ＢとＰＣ（Ａ）から端末装置１０に送信される（Ｓ０７）。端末装置１０のＵＩ部２０には、連携機能の実行が完了したことを示す情報が表示される（Ｓ０８）。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置１０の制御部２６は、エラーを示す情報をＵＩ部２０に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、複合機ＢとＰＣ（Ａ）に送信してもよい。

次に、ユーザは、複合機ＢとＰＣ（Ａ）の連携状態を解除するか否かを確認し（Ｓ０９）、解除の有無に応じた処理が実行される（Ｓ１０）。連携状態を解除する場合、ユーザは、端末装置１０を利用して解除の指示を与える。これにより、端末装置１０と複合機Ｂとの間の通信が解除され、更に、端末装置１０とＰＣ（Ａ）との間の通信が解除される。同様に、複合機ＢとＰＣ（Ａ）との間の通信も解除される。連携状態を解除しない場合、継続して実行指示が与えられてもよい。

本実施形態は、ＲＰＡ（Robotics Process Automation）による自動実行処理を設定するときに適用されてもよい。例えば、機器や機能やファイルに関する情報が設定者によって自動応答ＡＩに送られた場合、その送られた情報の組み合わせ、及び、その組み合わせに対応付けられている連携機能が、設定内容として保存され、その設定内容に従って処理が実行される。ＲＰＡとして、例えば、データ入力や複数のアプリケーションソフトウェアの組み合わせで実行可能な作業等の定型処理、データの収集や分析等の処理、データに基づいて学習して判断する処理、等が行われてもよい。

上記の端末装置１０、機器１２，１４及びサーバ１６のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置１０、機器１２，１４及びサーバ１６のそれぞれは、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部は、例えばプロセッサや電子回路やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。

１０端末装置、１２，１４機器、１６サーバ、２６制御部、２８特定部。

Claims

ユーザの発言を受けて対話する自動応答相手と前記ユーザとが対話するためのインターフェースにおいて、サービスの内容を示す情報と前記サービスに用いられる構成の情報とを含む指示内容が前記自動応答相手に送られた場合、前記指示内容に対応する処理に関する情報の通知を制御する制御手段を有し、
前記インターフェースには、前記ユーザに紐付く画像と前記ユーザの発言とが紐付けられて表示される第１表示エリアと、前記自動応答相手に紐付く画像と前記自動応答相手の発言とが紐付けられて表示される第２表示エリアとが設けられており、
前記ユーザの発言は、前記インターフェースを介して前記自動応答相手に送られ、
前記自動応答相手の発言は、前記インターフェースを介して前記ユーザに送られ、
前記ユーザの発言と前記自動応答相手の発言は、発言された時間に従って時系列順に並べて前記インターフェースに表示され、
前記インターフェースを介して、前記構成が含まれる前記ユーザの発言として第１ファイルと第２ファイルが前記自動応答相手に送られた場合、前記第１ファイルが前記第２ファイルに挿入される、
情報処理装置。
前記インターフェースを介して、上位の階層に属する前記サービスの内容を示す情報が前記自動応答相手に送られ、その次に、下位の階層に属する、前記サービスに用いられる構成の情報が、前記自動応答相手に送られた場合に、前記指示内容に対応する処理が決定され、前記制御手段は、前記指示内容に対応する処理に関する情報の通知を制御する、
ことを特徴とする請求項１に記載の情報処理装置。
互いに形式の異なる前記第１ファイルと前記第２ファイルが前記自動応答相手に送られた場合、前記第１ファイルが前記第２ファイルに挿入される、
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
ユーザの発言を受けて対話する自動応答相手と前記ユーザとが対話するためのインターフェースにおいて、サービスの内容を示す情報と前記サービスに用いられる複数のファイルとを含む指示内容が前記自動応答相手に送られた場合、前記指示内容に対応する処理を実行するための機能であって前記複数のファイルを用いて実行可能な機能の通知を制御する制御手段を有し、
前記インターフェースには、前記ユーザに紐付く画像と前記ユーザの発言とが紐付けられて表示される第１表示エリアと、前記自動応答相手に紐付く画像と前記自動応答相手の発言とが紐付けられて表示される第２表示エリアとが設けられており、
前記ユーザの発言は、前記インターフェースを介して前記自動応答相手に送られ、
前記自動応答相手の発言は、前記インターフェースを介して前記ユーザに送られ、
前記ユーザの発言と前記自動応答相手の発言は、発言された時間に従って時系列順に並べて前記インターフェースに表示される、
情報処理装置。
前記複数のファイルは、互いに形式の異なる複数のファイルである、
ことを特徴とする請求項４に記載の情報処理装置。
前記機能は、前記複数のファイルに含まれる第１ファイルを第２ファイルに挿入する機能である、
ことを特徴とする請求項４又は請求項５に記載の情報処理装置。
前記自動応答相手は、前記サービスの提供のために階層的な構造を有する質問を発するように構成されており、
前記指示内容には、質問に対するユーザの回答が含まれる、
ことを特徴とする請求項１から請求項６何れかに記載の情報処理装置。
前記自動応答相手は、前記階層的な構造を有する質問として、上位階層から下位階層の順番で各階層に属する質問を発するように構成されている、
ことを特徴とする請求項７に記載の情報処理装置。
前記制御手段は、前記通知として、予め定められた数の質問に対するユーザの回答に応じた情報の通知を制御する、
ことを特徴とする請求項１から請求項８何れかに記載の情報処理装置。
前記指示内容には、階層的な構造を有する回答が含まれる、
ことを特徴とする請求項１から請求項９何れかに記載の情報処理装置。
前記制御手段は、前記指示内容を構成する複数の階層の中で予め定められた数の階層に属する情報が前記自動応答相手に送られた場合、前記自動応答相手に送られた情報によって特定される内容の通知を制御する、
ことを特徴とする請求項１０に記載の情報処理装置。
前記指示内容として、同じ階層に属する複数の情報が連続して前記自動応答相手に送られた場合、先に送られた情報に代えて、後から送られた情報が前記指示内容に含まれる情報として用いられる、
ことを特徴とする請求項１０又は請求項１１に記載の情報処理装置。
下位の階層に属する情報が前記自動応答相手に送られた後に、上位の階層に属する情報が前記自動応答相手に送られた場合、前記サービスの変更指示が与えられる、
ことを特徴とする請求項１０から請求項１２何れかに記載の情報処理装置。
通知される情報は、前記処理を実行するための機能の候補を示す情報である、
ことを特徴とする請求項１から請求項１３何れかに記載の情報処理装置。
前記制御手段は、制限時間内に前記自動応答相手に送られた前記指示内容に応じた内容の通知を制御する、
ことを特徴とする請求項１から請求項１４何れかに記載の情報処理装置。
ファイルは、前記インターフェースにおける特定の領域に表示されている１又は複数のファイルの中から指定される、
ことを特徴とする請求項１から請求項１５何れかに記載の情報処理装置。
前記制御手段は、更に、前記自動応答相手に送られたファイルを編集するための編集画面の表示を制御し、前記編集が終了した場合に前記編集を前記ファイルに反映させる、
ことを特徴とする請求項１から請求項１６何れかに記載の情報処理装置。
前記指示内容は前記ユーザの音声によって入力される、
ことを特徴とする請求項１から請求項１７何れかに記載の情報処理装置。
前記指示内容は文字入力によって入力される、
ことを特徴とする請求項１から請求項１７何れかに記載の情報処理装置。
前記自動応答相手は、前記ユーザの発言を受けて自動的に応答する、
ことを特徴とする請求項１から請求項１９何れかに記載の情報処理装置。
コンピュータを、
ユーザの発言を受けて対話する自動応答相手と前記ユーザとが対話するためのインターフェースにおいて、サービスの内容を示す情報と前記サービスに用いられる構成の情報とを含む指示内容が前記自動応答相手に送られた場合、前記指示内容に対応する処理に関する情報の通知を制御する制御手段、
として機能させ、
前記インターフェースには、前記ユーザに紐付く画像と前記ユーザの発言とが紐付けられて表示される第１表示エリアと、前記自動応答相手に紐付く画像と前記自動応答相手の発言とが紐付けられて表示される第２表示エリアとが設けられており、
前記ユーザの発言は、前記インターフェースを介して前記自動応答相手に送られ、
前記自動応答相手の発言は、前記インターフェースを介して前記ユーザに送られ、
前記ユーザの発言と前記自動応答相手の発言は、発言された時間に従って時系列順に並べて前記インターフェースに表示され、
前記インターフェースを介して、前記構成が含まれる前記ユーザの発言として第１ファイルと第２ファイルが前記自動応答相手に送られた場合、前記第１ファイルが前記第２ファイルに挿入される、
プログラム。
コンピュータを、
ユーザの発言を受けて対話する自動応答相手と前記ユーザとが対話するためのインターフェースにおいて、サービスの内容を示す情報と前記サービスに用いられる複数のファイルとを含む指示内容が前記自動応答相手に送られた場合、前記指示内容に対応する処理を実行するための機能であって前記複数のファイルを用いて実行可能な機能の通知を制御する制御手段、
として機能させ、
前記インターフェースには、前記ユーザに紐付く画像と前記ユーザの発言とが紐付けられて表示される第１表示エリアと、前記自動応答相手に紐付く画像と前記自動応答相手の発言とが紐付けられて表示される第２表示エリアとが設けられており、
前記ユーザの発言は、前記インターフェースを介して前記自動応答相手に送られ、
前記自動応答相手の発言は、前記インターフェースを介して前記ユーザに送られ、
前記ユーザの発言と前記自動応答相手の発言は、発言された時間に従って時系列順に並べて前記インターフェースに表示される、
プログラム。