JP7081099B2 - 情報処理装置、プログラム及び制御方法 - Google Patents

情報処理装置、プログラム及び制御方法 Download PDF

Info

Publication number
JP7081099B2
JP7081099B2 JP2017174219A JP2017174219A JP7081099B2 JP 7081099 B2 JP7081099 B2 JP 7081099B2 JP 2017174219 A JP2017174219 A JP 2017174219A JP 2017174219 A JP2017174219 A JP 2017174219A JP 7081099 B2 JP7081099 B2 JP 7081099B2
Authority
JP
Japan
Prior art keywords
function
information
image
user
cooperation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017174219A
Other languages
English (en)
Other versions
JP2019049900A (ja
Inventor
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017174219A priority Critical patent/JP7081099B2/ja
Priority to US15/960,563 priority patent/US10437532B2/en
Priority to CN201811009666.8A priority patent/CN109495664B/zh
Publication of JP2019049900A publication Critical patent/JP2019049900A/ja
Priority to US16/581,794 priority patent/US10712981B2/en
Application granted granted Critical
Publication of JP7081099B2 publication Critical patent/JP7081099B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1229—Printer resources management or printer maintenance, e.g. device status, power levels
    • G06F3/1231—Device related settings, e.g. IP address, Name, Identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00344—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a management, maintenance, service or repair apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1229—Printer resources management or printer maintenance, e.g. device status, power levels
    • G06F3/1232—Transmitting printer device capabilities, e.g. upon request or periodically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1275—Print workflow management, e.g. defining or changing a workflow, cross publishing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00477—Indicating status, e.g. of a job
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912—Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • H04N1/00954—Scheduling operations or managing resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
特許文献１には、画像形成装置に関する撮像画像に付加情報を重畳させた拡張現実画像を生成して表示する技術が開示されている。
特開２０１４－４８６７２号公報
本発明の目的は、実行可能な連携機能の情報を提供することにある。
請求項１に記載の発明は、ユーザの発言内容が前記ユーザの発言内容の表示位置に表示され、対話相手の発言内容が前記対話相手の発言内容の表示位置に表示されて、前記ユーザが前記対話相手と対話するためのインターフェースにおいて、前記ユーザの発言内容の表示位置に表示された情報を前記ユーザの発言内容として前記対話相手に送る制御手段を有し、前記制御手段は、連携対象の情報が前記ユーザの発言内容の表示位置に表示された場合、前記連携対象の情報を前記ユーザの発言内容として前記対話相手に送り、前記連携対象を利用して実行可能な連携機能の通知を制御し、前記制御手段は、１又は複数の連携対象の候補の情報が表示される表示領域を前記インターフェースに表示させ、前記連携対象の候補の情報が前記ユーザによって前記表示領域から前記ユーザの発言内容の表示位置まで移動させられた場合、前記移動させられた前記連携対象の候補の情報を前記連携対象の情報として前記対話相手に送る、情報処理装置である。
請求項２に記載の発明は、前記制御手段は、複数の連携対象の情報が前記対話相手に送られた場合、前記複数の連携対象を利用して実行可能な連携機能の通知を制御する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記制御手段は、前記複数の連携対象の情報を送る順番に応じて、連携機能の通知を変える、ことを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記制御手段は、前記複数の連携対象が表された画像が前記対話相手に送られた場合、前記複数の連携対象を利用して実行可能な連携機能の通知を制御する、ことを特徴とする請求項２又は請求項３に記載の情報処理装置である。
請求項５に記載の発明は、前記制御手段は、前記連携機能の第１候補の情報が前記ユーザによって前記表示領域から前記ユーザの発言内容の表示位置まで移動させられた場合、前記第１候補の情報を前記連携対象の情報として前記対話相手に送り、前記第１候補の移動の次に、前記連携対象の第２候補の情報が前記ユーザによって前記表示領域から前記ユーザの発言内容の表示位置まで移動させられた場合、前記第２候補の情報を前記連携対象の情報として前記対話相手に送り、前記第１候補と前記第２候補とを利用して実行可能な前記連携機能の通知を制御する、ことを特徴とする請求項５に記載の情報処理装置である。
請求項６に記載の発明は、前記連携対象は機器であり、前記制御手段は、前記連携対象の情報としての前記機器の情報が前記対話相手に送られた場合、前記機器を利用して実行可能な連携機能の通知を制御する、ことを特徴とする請求項１から請求項５何れかに記載の情報処理装置である。
請求項７に記載の発明は、前記機器の情報は、前記機器に紐付く画像である、ことを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記機器に紐付く画像は、前記機器の外観画像である、ことを特徴とする請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記外観画像は、前記機器を撮影することで得られた画像である、ことを特徴とする請求項８に記載の情報処理装置である。
請求項１０に記載の発明は、前記制御手段は、前記対話相手が機器に関する質問を発した後に撮影された前記外観画像を前記対話相手に送る、ことを特徴とする請求項９に記載の情報処理装置である。
請求項１１に記載の発明は、前記連携対象は前記機器の部分であり、前記制御手段は、前記機器の情報としての前記部分の情報が前記対話相手に送られた場合、前記部分を利用して実行可能な連携機能の通知を制御する、ことを特徴とする請求項６から請求項１０何れかに記載の情報処理装置である。
請求項１２に記載の発明は、前記制御手段は、更に、連携機能を実行するために前記機器を制御するためのインターフェースを表示する、ことを特徴とする請求項６から請求項１１何れかに記載の情報処理装置である。
請求項１３に記載の発明は、コンピュータを、ユーザの発言内容が前記ユーザの発言内容の表示位置に表示され、対話相手の発言内容が前記対話相手の発言内容の表示位置に表示されて、前記ユーザが前記対話相手と対話するためのインターフェースにおいて、前記ユーザの発言内容の表示位置に表示された情報を前記ユーザの発言内容として前記対話相手に送る制御手段、として機能させ、前記制御手段は、連携対象の情報が前記ユーザの発言内容の表示位置に表示された場合、前記連携対象の情報を前記対話相手に送り、前記連携対象を利用して実行可能な連携機能の通知を制御し、前記制御手段は、１又は複数の連携対象の候補の情報が表示される表示領域を前記インターフェースに表示させ、前記連携対象の候補の情報が前記ユーザによって前記表示領域から前記ユーザの発言内容の表示位置まで移動させられた場合、前記移動させられた前記連携対象の候補の情報を前記連携対象の情報として前記対話相手に送る、プログラムである。
請求項１４に記載の発明は、ユーザの発言内容が前記ユーザの発言内容の表示位置に表示され、対話相手の発言内容が前記対話相手の発言内容の表示位置に表示されて、前記ユーザが前記対話相手と対話するためのインターフェースにおいて、前記ユーザの発言内容の表示位置に表示された情報を前記ユーザの発言内容として前記対話相手に送ることを含み、連携対象の情報が前記ユーザの発言内容の表示位置に表示された場合、前記連携対象の情報を前記対話相手に送り、前記連携対象を利用して実行可能な連携機能の通知を制御し、１又は複数の連携対象の候補の情報が表示される表示領域を前記インターフェースに表示し、前記連携対象の候補の情報が前記ユーザによって前記表示領域から前記ユーザの発言内容の表示位置まで移動させられた場合、前記移動させられた前記連携対象の候補の情報を前記連携対象の情報として前記対話相手に送る、制御方法である。
請求項１，１３，１４に記載の発明によれば、実行可能な連携機能の情報が提供される。
請求項２に記載の発明によれば、複数の連携対象の情報が送られた場合に、実行可能な連携機能の情報が提供される。
請求項３に記載の発明によれば、連携対象の情報を送る順番に応じた連携機能の情報が提供される。
請求項４に記載の発明によれば、画像を対話相手に送ることで、連携機能の情報が提供される。
請求項１，５，１３，１４に記載の発明によれば、候補から連携対象を選択することで、連携機能の情報が提供される。
請求項６に記載の発明によれば、機器を利用して実行可能な連携機能の情報が提供される。
請求項７，８，９，１０に記載の発明によれば、機器に紐付く画像を対話相手に送ることで、連携機能の情報が提供される。
請求項１１に記載の発明によれば、機器の部分を利用して実行可能な連携機能の情報が提供される。
請求項１２に記載の発明によれば、インターフェースを利用して機器を制御することができる。
本発明の第１実施形態に係る機器システムの構成を示すブロック図である。 端末装置の構成を示すブロック図である。 画像形成装置の構成を示すブロック図である。 サーバの構成を示すブロック図である。 画像形成装置の外観を示す模式図である。 機器機能管理テーブルを示す図である。 連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 機器システムの動作を示すシーケンス図である。 画面を示す図である。 合成画像を示す図である。 変形例３に係る連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 変形例４に係る機器機能管理テーブルを示す図である。 機器画像を示す図である。 機器画像を示す図である。 画面を示す図である。 画面を示す図である。 変形例４に係る機器機能管理テーブルの別の例を示す図である。 変形例４に係る連携機能管理テーブルを示す図である。 画面を示す図である。 第２実施形態に係る連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 第３実施形態に係る連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 第４実施形態に係る連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 対話相手に紐付く画像を示す図である。 対話相手に紐付く画像を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。
＜第１実施形態＞
図１を参照して、本発明の第１実施形態に係る情報処理システムとしての機器システムについて説明する。図１には、第１実施形態に係る機器システムの一例が示されている。
第１実施形態に係る機器システムは、一例として、端末装置１０と、複数の機器（例えば機器１２，１４）と、外部装置の一例としてのサーバ１６と、を含む。図１に示す例では、端末装置１０、機器１２，１４及びサーバ１６は、ネットワーク等の通信経路Ｎを介して互いに通信する機能を備えている。もちろん、端末装置１０、機器１２，１４及びサーバ１６は、通信経路Ｎを利用せずに、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図１に示す例では、２つの機器（機器１２，１４）が機器システムに含まれているが、３つ以上の機器が機器システムに含まれていてもよい。また、複数の端末装置１０や複数のサーバ１６が、機器システムに含まれていてもよい。なお、サーバ１６は機器システムに含まれていなくてもよい。
端末装置１０は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン、携帯電話、等の装置であり、他の装置との間でデータを送受信する機能を有する。また、端末装置１０は、ウェアラブル端末（腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末、ヒアラブル端末等）であってもよい。端末装置１０は、例えば、機器の利用時にユーザインターフェース部（ＵＩ部）として機能する。
機器１２，１４は機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、ＰＣ、タブレットＰＣ、スマートフォン、携帯電話、ロボット（人型ロボット、人以外の動物型ロボット、それら以外のロボット等）、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機（例えば無人航空機（いわゆるドローン））、ゲーム機、各種のセンシング機器（例えば温度センサ、湿度センサ、電圧センサ、電流センサ等）等の装置である。機器１２，１４は、ユーザに対してアウトプットを出力する機器（例えば画像形成装置やＰＣ等）であってもよいし、ユーザに対してアウトプットを出力しない機器（例えばセンシング機器）であってもよい。また、後述する連携機能を実行する複数の機器の中のすべての機器が、ユーザに対してアウトプットを出力する機器であってもよいし、一部の機器がユーザに対してアウトプットを出力する機器であり、他の機器がユーザに対してアウトプットを出力しない機器であってもよいし、すべての機器がユーザに対してアウトプットを出力しない機器であってもよい。機器１２，１４の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器の範疇に含まれてもよい。また、機器１２，１４は、他の装置との間でデータを送受信する機能を有する。
サーバ１６は、データの管理、ユーザ情報の管理、機器１２，１４の管理等を行う装置である。また、サーバ１６は、他の装置との間でデータを送受信する機能を有する。
端末装置１０においては、ユーザと対話する機能を有する対話相手が用いられる。その対話相手は、例えば、ユーザの発言を受け、その発言内容を解析することで、その発言に対する回答等の返事を作成してユーザに提供する機能を有する。例えば、ユーザの発言は、文字入力、音声入力、画像入力等によって行われ、回答等の返事は、文字出力、音声出力、画像出力等によって行われる。対話相手は、例えばプログラムを実行することで実現され、そのプログラムは例えば端末装置１０にインストールされている。もちろん、対話相手に関するプログラムは、サーバ１６等の外部装置にインストールされ、対話相手の機能が、サーバ１６等の外部装置から端末装置１０に対して提供されてもよい。
上記の対話相手は、例えば人工知能（ＡＩ）によって実現される自動応答ＡＩによって構成されている。自動応答ＡＩは、ユーザの発言内容を解析し、その発言内容に対する回答等の返事をユーザに提供する機能を有する。自動応答ＡＩは、いわゆるチャットボット（chatbot）（人工知能を活用した自動会話プログラム）であってもよい。自動応答ＡＩは、人工知能による学習機能を有し、その学習機能によって、人に近い判断を行う能力を有していてもよい。また、ニューラルネットワーク型のディープラーニングが利用されてもよいし、部分的に学習分野を強化する強化学習等が利用されてもよいし、その他、遺伝的アルゴリズム、クラスタ分析、自己組織化マップ、アンサンブル学習、等が利用されてもよい。もちろん、これら以外の人工知能に関する技術が利用されてもよい。
自動応答ＡＩを利用することで、ユーザが自動応答ＡＩと対話しながら、各機器が有する機能の通知や、複数の機能を利用して実行可能な連携機能の通知等が行われる。なお、各機器が有する機能や連携機能の特定処理は、端末装置１０によって行われてもよいし、サーバ１６等の外部装置によって行われてもよい。以下では、端末装置１０によって上記の特定処理が行われるものとする。
以下、図２を参照して、端末装置１０の構成について詳しく説明する。
通信部１８は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部１８は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部１８は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ－Ｆｉ（登録商標）通信、近接無線通信（例えばＮＦＣ（Near Field Communication）等）、等である。近接無線通信としては、Ｆｅｌｉｃａ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）、ＲＦＩＤ（Radio Frequency Identifier）等が用いられる。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部１８は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式や周波数帯域を切り替えてもよい。
ＵＩ部２０はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。また、ＵＩ部２０は、マイク等の集音部やスピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が端末装置１０に入力されてもよいし、音声によって情報が発せられてもよい。
ＵＩ部２０の表示部には、例えば、カメラによって撮影された画像や、利用対象の機器（例えば、単独で利用される機器や連携対象の機器）として識別された機器に紐付く画像、機能に紐付く画像、等が表示されてもよい。機器に紐付く画像は、カメラによって撮影された当該機器を表す画像（静止画像又は動画像）であってもよいし、当該機器を模式的に表す画像（例えばアイコン）であってもよい。模式的に表す画像のデータは、例えば、端末装置１０の制御部２６によって作成されてもよいし、端末装置１０の記憶部２４に予め記憶されていてもよいし、サーバ１６に記憶されてサーバ１６から端末装置１０に提供されてもよいし、別の装置に記憶されて当該別の装置から端末装置１０に提供されてもよい。機能に紐付く画像は、例えば、その機能を表すアイコン等の画像である。
撮影手段としてのカメラ２２は、撮影対象を撮影することで画像データ（例えば静止画像データや動画像データ）を生成する。画像は例えばＵＩ部２０の表示部に表示される。表示部に表示された画像がユーザによって操作されてもよい。なお、外部のカメラによって撮影された画像データが、通信経路を介して端末装置１０に送られ、その画像がＵＩ部２０の表示部に表示されてもよい。この場合も、その画像がユーザによって操作されてもよい。
記憶部２４はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部２４には、例えば、機器機能管理情報、連携機能管理情報、各種のデータ、各種のプログラム（例えば、ＯＳ（Operating System）、自動応答ＡＩを実現するためのプログラム（ソフトウェア）、各種のアプリケーションプログラム（アプリケーションソフトウェア）等）、各機器のアドレスを示す情報（機器アドレス情報）、サーバ１６のアドレスを示す情報（サーバアドレス情報）、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する機能に関する情報、連携機能に関する情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。なお、自動応答ＡＩを実現するためのプログラムはサーバ１６等の外部装置に記憶され、そのプログラム自体が外部装置によって実行されることで、自動応答ＡＩの機能が外部装置から端末装置１０に提供されてもよい。この場合、自動応答ＡＩを実現するためのプログラムは記憶部２４に記憶されていなくてもよい。
以下、機器機能管理情報と連携機能管理情報について説明する。
機器機能管理情報は、各機器が有する機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報（機器識別情報）と、当該機器が有する機能を示す機能情報と、の対応付けを示す情報である。デバイス識別情報は、例えば、機器ＩＤ、機器名称、機器の種類を示す情報、機器の型番号、機器を管理するための情報（例えば資産管理番号等）、機器が設置されている位置を示す情報（機器の位置情報）、機器に紐付く機器画像、機器のアドレス情報、等である。機器画像は、例えば機器を表す外観画像である。外観画像は、機器の外側（例えば機器の筐体）を表す画像であってもよいし、筐体を開けて内部が外から見える状態（例えば内部構造）を表す画像であってもよいし、梱包用のシート等によって機器が覆われている状態を表す画像であってもよい。機器画像は、機器を撮影することで生成された画像（機器の外側を表す画像や内部を表す画像等）であってもよいし、機器を模した画像（例えばアイコン等）であってもよい。機能情報は、例えば、機能ＩＤや機能名称等である。例えば、機器１２が画像形成装置であって、その画像形成装置が、プリント機能、スキャン機能及びコピー機能を有する場合、当該画像形成装置のデバイス識別情報には、一例として、プリント機能を示す機能情報、スキャン機能を示す機能情報、及び、コピー機能を示す機能情報が対応付けられている。機器機能管理情報を参照することで、各機器が有する機能が特定（識別）される。
機器機能管理情報によって管理されている機器は、例えば機器システムに含まれる機器（例えば機器１２，１４）である。もちろん、機器システムに含まれない機器が機器機能管理情報によって管理されてもよい。例えば、端末装置１０は、機器システムに含まれていない新たな機器に関する情報（デバイス識別情報と機能情報とを含む情報）を取得し、機器機能管理情報に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。また、端末装置１０は、任意のタイミング、定期的、又は、管理者等によって指定されたタイミング等で、機器機能管理情報を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった機能を示す機能情報が、機器機能管理情報に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない機能を示す機能情報が、機器機能管理情報から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、管理者等によって入力されてもよい。もちろん、端末装置１０自体が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行せずに、サーバ１６等の外部装置が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行してもよい。この場合、外部装置によって生成や更新された機器機能管理情報が、外部装置から端末装置１０に送信されて記憶部２４に記憶される。
連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、１又は複数の連携機能が実行される。連携機能は、例えば、１つの機器（例えば機器１２）が有する複数の機能を連携させることによって実行可能な機能であってもよいし、複数の機器（例えば機器１２，１４）が有する複数の機能を連携させることによって実行可能な機能であってもよい。また、操作指示を出している端末装置１０も連携対象の機器として利用され、端末装置１０が有する機能も連携機能の一部として利用されてもよい。
連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。
連携機能管理情報は、例えば、連携機能に利用される各機能を示す機能情報の組み合わせと、当該連携機能を示す連携機能情報と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能ＩＤや連携機能名称等である。単独の機能が更新された場合、その更新に伴って連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報から削除され、又は、使用不可な情報として登録される。連携機能管理情報の更新は、端末装置１０によって行われてもよいし、サーバ１６等の外部装置によって行われてもよい。外部装置によって連携機能管理情報の更新が実行された場合、更新された連携機能管理情報が外部装置から端末装置１０に送信されて記憶部２４に記憶される。
複数の機器を連携させる場合、例えば、連携機能管理情報は、複数の機器が有する複数の機能を利用する連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、連携機能情報と、の対応付けを示す情報である。また、複数のアウトプット機能を有する機器（ユーザに対してアウトプットを出力する機器であって複数のアウトプット機能を有する機器）とアウトプット機能を有していないセンシング機器（ユーザに対してアウトプットを出力しない機器）とを連携させる場合、連携機能管理情報には、特定のセンシング機器と当該複数のアウトプット機能の中の特定のアウトプット機能との組み合わせを示す情報が含まれてもよい。こうすることで、複数のアウトプット機能の中から、特定のセンシング機器と組み合わせて使用されるアウトプット機能が特定される。上記のように、機器機能管理情報が更新された場合、その更新に伴って、連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の機器による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。
連携機能は、互いに異なる複数の機能を連携させることによって実行可能な機能であってもよいし、同一の機能を連携させることによって実行可能な機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する機能のうち、同じ機能を利用することによって利用できる機能であってもよいし、互いに異なる機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器（プリンタ）とスキャン機能を有する機器（スキャナ）を連携させることで、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることでコピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。
連携機能の概念の範疇には、複数の機能や複数の機器を連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダーを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、テレビに表示されている画像を録画する機能であってもよい。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。その拡張機能は、例えば各カメラの撮影領域を繋ぎ合せて撮影する機能である。また、電話と翻訳機や翻訳ソフトを組み合わせることで、合体機能としての翻訳通話機能（電話を介した会話が翻訳される機能）が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機器や機能を連携させることで実現可能となる機能や、互いに異なる種類の機器や機能を連携させることで実現可能となる機能が含まれる。
制御部２６は、端末装置１０の各部の動作を制御する。制御部２６は、例えば、通信部１８による通信の制御、ＵＩ部２０の表示部への情報の表示の制御、等を行う。また、制御部２６は特定部２８を含む。
特定部２８は、ユーザによって指定された機器が有する機能や、ユーザによって指定された複数の機器を利用して実行可能な連携機能を特定する機能を有する。特定部２８は、例えば自動応答ＡＩによって実現される。もちろん、特定部２８は、自動応答ＡＩによって実現されずに、他のプログラム等によって実現されてもよい。
例えば、特定部２８は、ユーザによって指定された機器を識別するためのデバイス識別情報を受け、記憶部２４に記憶されている機器機能管理情報において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、機器が有する機能が特定（識別）される。
制御部２６は、特定部２８によって特定された機能に関する情報（例えば、機能情報や機能の説明情報等）の通知（案内）の制御を行う。制御部２６は、その通知として、その機能に関する情報をＵＩ部２０の表示部に表示させてもよいし、スピーカ等を用いることで、その機能に関する情報を音声情報として発してもよい。また、制御部２６は、その機能の実行を制御してもよい。また、ユーザによる機器の指定は、ＵＩ部２０の表示部の画面上で行われてもよいし、音声によって行われてもよい。例えば、機器に紐付く画像がＵＩ部２０の画面に表示されている場合において、ユーザが、その画面上で画像を指定することで機器を指定してもよい。別の例として、機器に紐付く画像がＵＩ部２０の画面に表示されているか否かに関わらず、ユーザが音声によって機器を指定してもよい。例えば、ユーザが機器名を音声によって発した場合、その音声はマイク等の集音部によって集音され、機器名を示す音声情報が端末装置１０に入力される。特定部２８は、その機器名を有する機器がユーザによって指定されたと判断して機能を特定する。このように、機器を指定するための操作と機能の通知は、画面上の表示によって行われてもよいし、音声によって行われてもよい。画面上の表示と音声とを組み合わせてもよい。例えば、画面上でユーザが機器に紐付く画像を指定することで機器が指定され、機能を示す情報が画面に表示されてもよい。別の例として、画面上でユーザが機器に紐付く画像を指定することで機器が指定され、機能を示す情報が音声によって発せられてもよい。更に別の例として、機器名が音声情報として端末装置１０に入力されることで機器が指定され、機能を示す情報が画面に表示されてもよい。更に別の例として、機器名が音声情報として端末装置１０に入力されることで機器が指定され、機能を示す情報が音声によって発せられてもよい。
なお、機能の特定処理はサーバ１６によって行われてもよい。この場合、端末装置１０からサーバ１６にデバイス識別情報が送信され、サーバ１６に設けられた特定部２８によって、当該デバイス識別情報に対応付けられている機能を示す機能情報が特定される。なお、サーバ１６によって特定処理が行われる場合、サーバ１６には機器機能管理情報が記憶されている。機能に関する情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
また、特定部２８は、連携対象の各機器を識別するためのデバイス識別情報を受け、記憶部２４に記憶されている連携機能管理情報において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定する。これにより、連携対象の各機器が有する機能を連携させることによって実行可能となる連携機能が特定（識別）される。制御部２６は、特定された連携機能に関する情報（例えば、連携機能情報や連携機能の説明情報等）の通知（案内）の制御を行う。制御部２６は、連携機能に関する情報をＵＩ部２０の表示部に表示させてもよいし、音声情報として発してもよい。なお、上記と同様に、連携対象の各機器の指定は、画面上にて行われてもよいし、音声によって行われてもよい。
なお、連携機能の特定処理はサーバ１６によって行われてもよい。この場合、端末装置１０からサーバ１６に複数のデバイス識別情報が送信され、サーバ１６に設けられた特定部２８によって、当該複数のデバイス識別情報に対応付けられている連携機能を示す連携機能情報が特定される。なお、サーバ１６によって特定処理が行われる場合、サーバ１６には連携機能管理情報が記憶されている。連携機能に関する情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
例えば、１つの機器が指定された場合、当該機器が有する機能が特定され、複数の機器が指定された場合、当該複数の機器を利用して実行可能な連携機能が特定される。
また、特定部２８は、連携機能に利用される各機能を示す機能情報を受け、連携機能管理情報において各機能情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、連携対象の各機能を連携させることによって実行可能な連携機能が特定（識別）される。この特定処理もサーバ１６によって行われ、その処理の結果がＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
例えば、ユーザが機器の情報を自動応答ＡＩに送ることで、機器が指定される。ユーザの複数の機器の情報を自動応答ＡＩに送った場合、特定部２８は、当該複数の機器を連携対象の機器として識別し、当該複数の機器を利用して実行可能な連携機能を特定する。また、ユーザが１つの機器の情報を自動応答ＡＩに送った場合、特定部２８は、当該機器を識別し、当該機器が有する機能を特定する。機器の情報は、機器を識別するためのデバイス識別情報であり、例えば、機器に紐付く機器画像や、デバイス識別情報を示す文字情報や音声情報等である。例えば、ユーザが機器に紐付く機器画像を自動応答ＡＩに送った場合や、ユーザが機器のデバイス識別情報を示す文字列を端末装置１０にて入力して自動応答ＡＩに与えた場合や、ユーザが音声によって機器のデバイス識別情報を自動応答ＡＩに与えた場合、特定部２８（自動応答ＡＩによって実現される特定部２８）は、当該機器を識別する。
なお、ユーザ毎に、ユーザによって利用可能な機能（機器が有する単独機能や連携機能）が管理されてもよい。この管理は、端末装置１０によって行われてもよいし、サーバ１６等の外部装置によって行われてもよい。ユーザによって利用可能な機能は、例えば、ユーザに無償で提供された機能、ユーザに有償で提供されてユーザによって購入された機能、等である。ユーザ毎に、ユーザが利用可能な機能を示す利用可能機能情報（例えば機能購入履歴情報）が作成されて管理されてもよい。利用可能な機能の管理が端末装置１０によって行われる場合、利用可能機能情報は記憶部２４に記憶され、その管理がサーバ１６等の外部装置によって行われる場合、利用可能機能情報は外部装置に記憶される。もちろん、無料で利用できる機能、追加アップデート機能、管理者によって特別に管理されている機能等もあるため、一概に購入の有無によって機能の利用可能が判断されなくてもよい。機能の購入処理は、例えば、サーバ１６等の外部装置によって行われる。
利用可能機能管理情報は、各ユーザが利用可能な機能を管理するための情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能情報（連携機能情報を含んでいてもよい）と、の対応付けを示す情報である。ユーザが利用可能な機能は、上述したように、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザＩＤや氏名等のユーザアカウント情報である。利用可能機能管理情報を参照することで、各ユーザが利用可能な機能が特定（識別）される。利用可能機能管理情報は、例えば、ユーザに機能が提供される度に（例えば、ユーザに無償又は有償で機能が提供される度に）更新されてもよい。
ユーザによって利用可能な機能が管理されている場合、特定部２８は、ユーザを識別するためのユーザ識別情報を受け、利用可能機能管理情報（例えば、端末装置１０やサーバ１６に記憶されている情報）において当該ユーザ識別情報に対応付けられている各機能を示す機能情報を特定してもよい。これにより、当該ユーザが利用可能な機能が特定（識別）される。制御部２６は、特定された機能に関する情報をＵＩ部２０の表示部に表示させてもよいし、音声情報として発してもよい。例えば、特定部２８は、デバイス識別情報とユーザ識別情報を受け、機器機能管理情報において当該デバイス識別情報に対応付けられている機能を示す機能情報を特定し、更に、利用可能機能管理情報において当該ユーザ識別情報に対応付けられている機能を示す機能情報を特定する。これにより、当該デバイス識別情報によって特定される機器が有する機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な機能が特定される。
なお、ユーザによって利用可能な機能はサーバ１６等の外部装置によって特定されてもよい。この場合、端末装置１０からサーバ１６にユーザ識別情報が送信され、サーバ１６に設けられた特定部２８によって、当該ユーザ識別情報に対応付けられている各機能を示す機能情報が特定される。サーバ１６によって特定処理が行われる場合、利用可能機能情報はサーバ１６に記憶されている。ユーザによって利用可能な各機能に関する情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
以下、図３を参照して、機器１２の構成について詳しく説明する。一例として、機器１２は画像形成装置であるものとする。以下では、機器１２を画像形成装置１２と称する場合がある。図３には、画像形成装置１２の構成が示されている。
通信部３０は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部３０は、無線通信機能を備えた通信インターフェースであってもよいし、有線通信機能を備えた通信インターフェースであってもよい。通信部３０は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ－Ｆｉ通信、近接無線通信等である。通信部３０は、例えば、通信相手に応じて通信方式や周波数帯域を切り替えたり、周囲の環境に応じて通信方式や周波数帯域を切り替えたりしてもよい。
画像形成部３２は画像形成機能を有する。具体的には、画像形成部３２は、スキャン機能、プリント機能、コピー機能及びファクシミリ機能の中の少なくとも１つの機能を有する。スキャン機能が実行されることにより、原稿が読み取られてスキャンデータ（画像データ）が生成される。プリント機能が実行されることにより、画像が用紙等の記録媒体上に印刷される。コピー機能が実行されることにより、原稿が読み取られて記録媒体上に印刷される。ファクシミリ機能が実行されることにより、画像データがファクシミリ送信又はファクシミリ受信される。また、複数の機能を利用する連携機能が実行されてもよい。例えば、スキャン機能と送信機能（転送機能）とを組み合わせたスキャン転送機能が実行されてもよい。このスキャン転送機能が実行されることにより、原稿が読み取られてスキャンデータ（画像データ）が生成され、そのスキャンデータが送信先（例えば端末装置１０等の外部装置）に送信される。もちろん、この連携機能は一例に過ぎず、別の連携機能が実行されてもよい。
記憶部３４はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部３４には、例えば、画像形成の命令を示す情報（例えばジョブ情報等）、プリントの対象となる画像データ、スキャン機能を実行することにより生成されたスキャンデータ、他の機器のアドレスを示す機器アドレス情報、端末装置１０のアドレスを示す情報（端末アドレス情報）、サーバ１６のサーバアドレス情報、各種の制御データ、各種のプログラム、等が記憶される。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。
ＵＩ部３６はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。なお、画像形成装置１２はＵＩ部３６を有していなくてもよいし、表示部を備えずに、ハードウェアとしてのハードウェアユーザインターフェース部（ハードウェアＵＩ部）を備えていてもよい。ハードウェアＵＩ部は、例えば、数字入力に特化したハードウェアキー（例えばテンキー）、方向の指示に特化したハードウェアキー（例えば方向指示キー）、等である。
制御部３８は、画像形成装置１２の各部の動作を制御する。
以下、図４を参照して、サーバ１６の構成について詳しく説明する。図４には、サーバ１６の構成が示されている。
通信部４０は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部４０は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。
記憶部４２はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部４２には、例えば、各種のデータ、各種のプログラム、端末装置１０の端末アドレス情報、各機器の機器アドレス情報、サーバ１６のサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。
サーバ１６によって各機器が有する機能と連携機能が管理される場合、上記の機器機能管理情報と連携機能管理情報が記憶部４２に記憶され、サーバ１６において、機器機能管理情報と連携機能管理情報が更新されてもよい。この場合において、端末装置１０によって機能の特定処理が行われる場合、機器機能管理情報と連携機能管理情報（情報が更新された場合は更新後の情報）がサーバ１６から端末装置１０に送信される。その送信は、定期的に又は指定されたタイミングで行われてもよい。これにより、端末装置１０に記憶されている情報が更新される。もちろん、端末装置１０の特定部２８は、サーバ１６に記憶されている機器機能管理情報や連携機能管理情報を参照することで、機器が有する機能や連携機能を特定してもよい。また、サーバ１６によって機能の特定処理が実行されてもよい。
制御部４４は、サーバ１６の各部の動作を制御する。制御部４４は、例えば、通信部４０による通信を制御する。
制御部４４は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部４４は、当該ユーザに対して課金処理を適用してもよい。
また、制御部４４は、例えば、文字認識機能、翻訳機能、画像加工機能、画像形成機能、等の画像処理に関する機能を実行してもよい。もちろん、制御部４４は、画像処理以外の処理に関する機能を実行してもよい。文字認識機能が実行されることにより、画像内の文字が認識されて当該文字を示す文字データが生成される。翻訳機能が実行されることにより、画像内の文字が特定の言語で表される文字に翻訳され、翻訳された文字を示す文字データが生成される。画像加工機能が実行されることにより、画像が加工される。制御部４４は、例えば、スキャン機能を実行することにより生成されたスキャンデータを画像形成装置１２から受信し、当該スキャンデータを対象として、文字認識機能、翻訳機能、画像加工機能、等の画像処理に関する機能を実行してもよい。制御部４４は、画像データを端末装置１０から受信し、当該画像データを対象として各機能を実行してもよい。制御部４４によって生成された文字データや画像データは、例えば、サーバ１６から端末装置１０に送信される。サーバ１６は外部装置として利用され、連携機能は、サーバ１６を含む複数の機器が有する機能を利用する機能であってもよい。
上述したように、機器機能管理情報は、サーバ１６の記憶部４２に記憶されていてもよい。この場合、機器機能管理情報は、端末装置１０の記憶部２４に記憶されていなくてもよい。同様に、連携機能管理情報は、サーバ１６の記憶部４２に記憶されていてもよい。この場合、連携機能管理情報は、端末装置１０の記憶部２４に記憶されていなくてもよい。サーバ１６の制御部４４は、上述した特定部２８を有し、デバイス識別情報に基づいて機器を識別し、機器が有する機能を特定してもよいし、複数の機能を利用して実行可能な連携機能を特定してもよい。この場合、端末装置１０は特定部２８を有していなくてもよい。
利用可能機能管理情報が作成されている場合、その利用可能機能管理情報は、サーバ１６の記憶部４２に記憶されていてもよい。この場合、利用可能機能管理情報は、端末装置１０の記憶部２４に記憶されていなくてもよい。端末装置１０の制御部２６は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ１６の制御部４４は、その管理機能を有していなくてもよい。
更に別の例として、機器１２，１４等の機器に、機器機能管理情報や連携機能管理情報が記憶されていてもよいし、機器１２，１４等の機器が特定部２８を有していてもよい。つまり、特定部２８による処理は、端末装置１０において行われてもよいし、機器１２，１４等の機器において行われてよいし、サーバ１６において行われてもよいし、更に別の装置において行われてもよい。
第１実施形態では、一例として、ＡＲ（Augmented Reality）技術（拡張現実技術）を適用することで、デバイス識別情報が取得されて機器が識別される。例えば、ＡＲ技術を適用することで、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。ＡＲ技術として公知のＡＲ技術が用いられる。例えば、２次元バーコード等のマーカを用いるマーカ型ＡＲ技術、画像認識技術を用いるマーカレス型ＡＲ技術、位置情報を用いる位置情報ＡＲ技術、等が用いられる。もちろん、ＡＲ技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、ＩＰアドレスに基づいて機器が識別されてもよいし、機器ＩＤが読み出されて機器が識別されてもよい。更に、赤外線通信、可視光通信、Ｗｉ－Ｆｉ、ブルートゥースといった各種無線通信機能を有する機器や端末装置が用いられる場合、無線通信機能を利用することで機器のＩＤが取得されて機器が識別されてもよい。
以下、図５を参照して、デバイス識別情報の取得処理について詳しく説明する。一例として、画像形成装置１２のデバイス識別情報を取得する場合について説明する。図５には、画像形成装置１２の外観が模式的に示されている。ここでは、マーカ型ＡＲ技術を適用してデバイス識別情報を取得するための処理について説明する。画像形成装置１２の筐体には、２次元バーコード等のマーカ４６が設けられている。マーカ４６は、画像形成装置１２のデバイス識別情報がコード化された情報である。ユーザは端末装置１０のカメラ２２を起動させ、利用対象の画像形成装置１２に設けられているマーカ４６をカメラ２２によって撮影する。これにより、マーカ４６を表す画像データが生成される。端末装置１０の制御部２６は、当該画像データに表されたマーカ画像に対してデコード処理を適用することでデバイス識別情報を抽出する。これにより、利用対象の画像形成装置１２（撮影されたマーカ４６を有する画像形成装置１２）が識別される。端末装置１０の特定部２８は、機器機能管理情報において、抽出されたデバイス識別情報に対応付けられている機能を示す機能情報を特定する。これにより、利用対象の画像形成装置１２が有する機能が特定（識別）される。
なお、サーバ１６の制御部４４が、マーカ４６を表す画像データにデコード処理を適用することで、デバイス識別情報を抽出してもよい。この場合、画像データが端末装置１０からサーバ１６に送信され、サーバ１６において当該画像データに対してデコード処理が適用される。サーバ１６に特定部２８が設けられている場合、サーバ１６において、デバイス識別情報に対応付けられている機能が特定されてもよい。
マーカ４６は、画像形成装置１２が有する機能を示す機能情報がコード化されて含まれていてもよい。この場合、マーカ４６を表す画像データにデコード処理を適用することで、当該画像形成装置１２のデバイス識別情報が抽出されると共に、当該画像形成装置１２が有する機能を示す機能情報も抽出される。これにより、画像形成装置１２が特定（識別）されると共に、当該画像形成装置１２が有する機能が特定（識別）される。このデコード処理は、端末装置１０によって行われてもよいし、サーバ１６によって行われてもよい。
また、複数の機器のそれぞれのマーカを撮影することで、各機器のデバイス識別情報が取得される。
マーカレス型ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ユーザは端末装置１０のカメラ２２によって、利用対象の機器（例えば画像形成装置１２）の外観の全部又は一部を撮影する。もちろん、利用対象機器の名称（例えば商品名）や型番号や資産管理番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影により、利用対象の機器の外観の全部又は一部を表す外観画像データが生成される。端末装置１０の制御部２６が、当該外観画像データに基づいて利用対象の機器を識別する。例えば、端末装置１０の記憶部２４には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。制御部２６は、例えば、外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定する。例えば、制御部２６は、外観画像データから利用対象の機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器（カメラ２２によって撮影された機器）が識別される。別の例として、機器の名称（例えば商品名）や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、利用対象の機器が識別されてもよい。端末装置１０の特定部２８は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器（例えば画像形成装置１２）が有する機能が特定される。
なお、サーバ１６の制御部４４が、利用対象の機器（例えば画像形成装置１２）の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、利用対象の機器のデバイス識別情報を特定してもよい。外観画像対応付け情報は、サーバ１６の記憶部４２に記憶されている。この場合、サーバ１６の制御部４４は、外観画像対応付け情報を参照することで、利用対象の機器のデバイス識別情報を特定する。
複数の機器のそれぞれの外観の全部又は一部を撮影することで、各機器のデバイス識別情報が取得される。
位置情報ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ＧＰＳ（Global Positioning System）機能を利用することで、機器（例えば画像形成装置１２）が設置されている位置を示す位置情報が取得される。例えば、各機器がＧＰＳ機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。端末装置１０は、利用対象の機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。端末装置１０の制御部２６は、当該デバイス位置情報に基づいて利用対象の機器を識別する。例えば、端末装置１０の記憶部２４には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。制御部２６は、その位置対応付け情報において、デバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、利用対象の機器が特定（識別）される。端末装置１０の特定部２８は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている各機能を示す機能情報を特定する。これにより、利用対象の機器（例えば画像形成装置１２）が有する機能が特定（識別）される。
なお、サーバ１６の制御部４４が、位置対応付け情報において、利用対象の機器の位置情報に対応付けられているデバイス識別情報を特定してもよい。位置対応付け情報は、サーバ１６の記憶部４２に記憶されている。この場合、サーバ１６の制御部４４は、位置対応付け情報を参照することで、利用対象の機器のデバイス識別情報を特定する。
複数の機器のそれぞれのデバイス位置情報が取得され、各デバイス位置情報に基づいて各機器のデバイス識別情報が特定される。
なお、複数の識別技術を用いて機器を識別してもよい。例えば、マーカ型ＡＲ技術、マーカレス型ＡＲ技術、及び、位置情報ＡＲ技術の中から選択された複数の技術を用いて機器を識別してもよい。また、ある識別技術によって機器を識別できなかった場合に、他の識別技術を用いて機器を識別してもよい。例えば、マーカ型ＡＲ技術やマーカレス型ＡＲ技術によって機器を識別できなかった場合、位置情報ＡＲ技術を用いて機器を識別してもよい。
以下、第１実施形態に係る機器システムについて更に詳しく説明する。
図６を参照して、機器機能管理情報について詳しく説明する。図６には、機器機能管理情報としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器が有する機能を示す情報（機能情報）と、画像ＩＤと、が互いに対応付けられている。機器ＩＤと機器名はデバイス識別情報の一例に相当する。画像ＩＤは、機器に紐付く機器画像を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像ＩＤは含まれていなくてもよい。例えば、機器ＩＤが「Ｂ」の機器は、複合機（複数の画像形成機能を有する画像形成装置）であり、プリント機能やスキャン機能等の機能を有している。その機器には、その機器に紐付く機器画像を識別するための画像ＩＤが対応付けられている。機器に紐付く機器画像のデータは、例えば、端末装置１０に記憶されていてもよいし、サーバ１６に記憶されていてもよいし、他の装置に記憶されていてもよい。
例えば、ＡＲ技術を適用することで、利用対象の機器を識別するための機器ＩＤが取得される。端末装置１０の特定部２８は、機器機能管理テーブルを参照することで、その機器ＩＤに対応付けられている機器名、機能及び画像ＩＤを特定する。これにより、利用対象の機器が識別される。機器名を示す情報や機器画像がＵＩ部２０の表示部に表示されてもよい。もちろん、カメラ２２によって撮影された画像そのものがＵＩ部２０の表示部に表示されてもよい。また、ＵＩ部２０において、機器に紐付く機器画像（例えば、カメラ２２によって撮影された画像や、機器を模式的に表す画像）がユーザによって指定された場合、その機器が有する機能に関する情報（例えば、機能情報や機能の説明情報等）が、ＵＩ部２０の表示部に表示されてもよい。
以下、図７を参照して、連携機能管理情報について詳しく説明する。図７には、連携機能管理情報としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせと、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能情報）と、が互いに対応付けられている。例えば、機器ＩＤが「Ａ」の機器はＰＣ（パーソナルコンピュータ）であり、機器ＩＤが「Ｂ」の機器は複合機である。ＰＣ（Ａ）と複合機（Ｂ）を連携させることにより、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機（Ｂ）によるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「プリント機能」は、ＰＣ（Ａ）に保存されているデータ（例えば画像データや文書データ）を複合機（Ｂ）に送信して複合機（Ｂ）にて印刷する機能である。なお、３個以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
以下、端末装置１０の動作について具体例を挙げて詳しく説明する。
図８には、端末装置１０に表示される画面の一例が示されている。端末装置１０の制御部２６は、ＵＩ部２０の表示部に画面４８を表示させ、その画面４８に各種の情報を表示させる。画面４８は、ユーザが自動応答ＡＩと対話するためのインターフェース（対話応答画面）である。画面４８には、ユーザが端末装置１０に入力した情報（例えば文字列や画像等）と、自動応答ＡＩの発言内容を示す情報（例えば文字列や画像等）が表示される。ユーザと自動応答ＡＩとの間の対話は、いわゆるチャット形式の対話（つまりリアルタイム形式の対話、更に換言すると、ユーザと自動応答ＡＩが互いに発言しながら対話が進む形式）であってもよい。例えば、自動応答ＡＩと対話するためのプログラム（例えばチャット用プログラム）が実行されることで、その対話のための画面４８（対話応答画面）がＵＩ部２０の表示部に表示される。
画面４８には対話者毎の表示エリアが設けられ、各対話者の発言内容は、自身用の表示エリア内に表示されてもよい。例えば、表示エリア４８ａは、自動応答ＡＩの発言内容が表示されるエリアであり、表示エリア４８ｂは、ユーザの発言内容（ユーザが端末装置１０に入力した情報）が表示されるエリアである。図８に示す例では、画面４８に向かって左側に自動応答ＡＩ用の表示エリア４８ａが設けられており、右側にユーザ用の表示エリア４８ｂが設けられている。もちろん、この表示例は一例に過ぎず、表示エリアの配置関係は逆であってよいし、上下方向に各表示エリアが設けられてもよいし、各表示エリアの全部又は一部が重なり合ってもよいし、画面４８の特定エリア（例えば中央のエリア）に最新の発言内容が表示され、その周囲に過去の発言内容が表示されてもよい。また、各表示エリアは、互いに同じ大きさを有していてもよいし、互いに異なる大きさを有していてもよいし、一回の発言内容の量や発言回数に応じて拡大又は縮小されてもよい。表示エリアの設定や大きさの制御は、制御部２６によって行われる。
図８に示す例では、対話者は、１人のユーザと１つの自動応答ＡＩのみであるが、複数のユーザや複数の自動応答ＡＩが対話に参加してもよい。この場合、画面４８において各対話者用の表示エリアが設けられてもよい。例えば、２人のユーザと１つの自動応答ＡＩが対話に参加している場合、画面４８に３つの表示エリアが設けられて、各対話者の発言内容が自身の表示エリア内に表示される。例えば、複数の端末装置１０の間で通信を行うことで、複数のユーザの間で画面４８を介した対話が行われる場合、当該複数のユーザの発言内容が画面４８に表示される。複数の自動応答ＡＩが対話に参加する場合も同様である。複数の自動応答ＡＩに関するプログラムが同一の端末装置１０にインストールされて、当該複数の自動応答ＡＩが当該同一の端末装置１０に格納されていてもよいし、当該複数の自動応答ＡＩのそれぞれに関するプログラムが別々の端末装置１０にインストールされて、各自動応答ＡＩが別々の端末装置１０に格納されていてもよい。例えば、画面４８には、自装置である端末装置１０に格納されている自動応答ＡＩの発言内容が表示され、更に、別の端末装置１０に格納されている自動応答ＡＩの発言内容が表示される。別の端末装置１０に格納されている自動応答ＡＩは、例えば通信経路Ｎを介して対話に参加する。
例えば、チャット用プログラムが起動すると、端末装置１０の制御部２６は、ＵＩ部２０の表示部に画面４８を表示させる。自動応答ＡＩ用の表示エリア４８ａには、自動応答ＡＩに紐付く画像５０が表示され、ユーザ用の表示エリア４８ｂには、ユーザに紐付く画像５２が表示される。画像５０は自動応答ＡＩを識別するための画像であり、画像５２はユーザを識別するための画像である。なお、画像５０に代えて又は画像５０と共に、自動応答ＡＩを示す文字列（自動応答ＡＩを識別するための文字列）が表示されてもよい。同様に、画像５２に代えて又は画像５２と共に、ユーザを示す文字列（例えば氏名、ユーザＩＤ、ハンドルネーム、ニックネーム等のようにユーザを識別するための文字列）が表示されてもよい。
以降、ユーザと自動応答ＡＩとの間で対話が行われる。その対話において、ユーザの発言内容は、ユーザがＵＩ部２０を操作して文字列や画像等の情報を入力することで端末装置１０に入力されてもよいし、音声によって入力されてもよい。また、ユーザの発言内容は、文字列や画像等の情報として画面４８に表示されてもよいし、表示されなくてもよい。同様に、自動応答ＡＩの発言内容は、文字列や画像等の情報として画面４８に表示されてもよいし、表示されずに又は表示されると共に音声として発せられてもよい。以下では、一例として、各対話者の発言内容が画面４８に表示されるものとして説明するが、その発言内容は音声によって発せられてもよい。
なお、画面４８上で対話が進むと、画面４８がスクロールし、画面４８に表示しきれない過去の発言内容は画面４８から消え、最新の発言内容や、その直近の発言内容が画面４８に表示される。
チャット用プログラムが起動すると、まず、自動応答ＡＩが「どうしましたか？」といった一般的な質問（ユーザの要求を問う質問）を発し、その質問を示す文字列が自動応答ＡＩの発言内容として画面４８に表示される（図８には図示されていない）。もちろん、文字列に代えて又は文字列と共に、自動応答ＡＩの発言内容が音声として発せられてもよい。その発言内容は自動応答ＡＩの発言内容であるため、制御部２６は、その発言内容を自動応答ＡＩの画像５０に紐付く発言内容として表示エリア４８ａ内に表示させる。以下の対話においても同様である。
次に、ユーザが、「連携機能を実行したい」等と発言して連携機能を要求すると、その要求を示す文字列がユーザの発言内容として画面４８に表示される（図８には図示されていない）。例えば、ユーザが、画面４８を操作して文字列を入力することで、発言内容を示す情報を端末装置１０に入力してもよいし、発言内容を示す情報を音声によって端末装置１０に入力してもよい。その発言内容はユーザの発言内容であるため、制御部２６は、その発言内容をユーザの画像５２に紐付く発言内容として表示エリア４８ｂ内に表示させる。以下の対話においても同様である。
自動応答ＡＩは、ユーザの発言内容を解析することでユーザの要求を識別し、その要求に対する回答等の返事を作成する。制御部２６は、その返事を示す文字列を自動応答ＡＩの発言内容５４として表示エリア４８ａ内に表示させる。例えば、「どの機器を利用したいですか？」といった発言内容５４が自動応答ＡＩの発言内容として表示エリア４８ａに表示される。なお、自動応答ＡＩは、インターネット等を利用して情報を検索し、その検索結果を解析してもよいし、機器１２，１４に関する情報を取得し、その情報を解析してもよい。自動応答ＡＩは、その解析結果を返事に反映させてもよい。また、自動応答ＡＩは、ユーザによる各種アプリケーションの利用履歴、ユーザによる端末装置１０の操作履歴、ユーザによる機器１２，１４の利用履歴、等を管理してもよい。また、自動応答ＡＩは、他の装置に格納されている自動応答ＡＩとの間で通信を行うことで、他の自動応答ＡＩから情報を取得してもよい。自動応答ＡＩは、自身が管理している情報や取得した情報を返事に反映させてもよい。
上記の問い合わせに対して、ユーザが機器を指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、その機器を連携対象の機器として識別する。例えば図８に示すように、ユーザが、機器に紐付く機器画像５６を指定し、その機器画像５６をユーザの発言内容が表示される位置に配置することで、制御部２６は、その機器画像５６をユーザの発言内容として自動応答ＡＩに送る。この操作に応じて、特定部２８は、その機器画像５６に紐付く機器を連携対象の機器として識別する。図８に示す例では、ユーザが機器画像５６を表示エリア４８ｂに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、ＵＩ部２０を操作することで、機器を示す文字列をユーザの発言内容として端末装置１０に入力してもよい。この場合、特定部２８は、その文字列が示す機器を連携対象の機器として識別する。また、音声によって連携対象の機器の情報がユーザの発言内容として端末装置１０に入力されてもよい。なお、ユーザは、個々の機器を指定せずに、機器の種類を指定してもよい。この場合、その機器の種類が連携対象の機器の種類として識別される。例えば、ユーザは、複合機Ｂという機器そのものを指定してもよいし、複合機という種類を指定してもよい。
機器画像５６は、機器としての複合機Ｂ（画像形成装置）に紐付く画像である。複合機Ｂは、上記のＡＲ技術（マーカ型ＡＲ技術、マーカレス型ＡＲ技術、位置情報ＡＲ技術）や他の識別技術を利用することで、特定部２８によって識別された機器である。もちろん、機器画像５６は、複合機Ｂ自体に紐付く画像ではなく、複合機という種類に紐付く画像であってもよい。
例えば、制御部２６は、ユーザ用の表示エリア４８ｂ内にストックエリア５８を表示させ、そのストックエリア５８内に機器画像を表示させる。ストックエリア５８は、１又は複数の連携対象の候補の情報が表示されるエリアであり、図８に示す例では、候補の情報の一例として機器画像が表示されている。例えば、制御部２６は、そのストックエリア５８内に、既に識別されている機器に紐付く機器画像を表示させる。図８に示す例では、そのストックエリア５８内に、機器画像５６，６０，６２が表示されている。機器画像６０は、機器としてのＰＣ（Ａ）に紐付く画像である。機器画像６２は、機器としてのプロジェクタＣに紐付く画像である。このように機器が識別された場合、制御部２６は、機器に紐付く機器画像をストックエリア５８内に表示させる。もちろん、制御部２６は、機器そのものに紐付かず機器の種類に紐付く機器画像をストックエリア５８内に表示させてもよい。例えば、制御部２６は、複合機Ｂ自体に紐付かず複合機という種類に紐付く機器画像５６、ＰＣ（Ａ）自体に紐付かずＰＣという種類に紐付く機器画像６０、及び、プロジェクタＣ自体に紐付かずプロジェクタという種類に紐付く機器画像６２を、ストックエリア５８内に表示させてもよい。
例えば、一度識別された機器に関する情報は記憶部２４に記憶され、その後、改めて当該機器に対する識別処理が行われなくても、当該機器に紐付く機器画像がストックエリア５８内に表示される。もちろん、識別された機器に関する情報は、ユーザの操作によって記憶部２４から削除されてもよい。この場合、その機器に紐付く機器画像も削除される。別の例として、識別された機器を利用して連携機能が実行された後や、機器が識別された時点から予め定められた時間が経過した後に、その識別された機器に関する情報が記憶部２４から削除されてもよい。
機器画像５６は、複合機Ｂをカメラ２２によって撮影することで生成された画像（撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい）であってもよいし、複合機Ｂに紐付く模式的な画像（例えばアイコン）であってもよい。機器画像６０についても同様に、ＰＣ（Ａ）を撮影することで生成された画像であってもよいし、ＰＣ（Ａ）に紐付く模式的な画像であってもよい。機器画像６２についても同様である。
模式的な画像が用いられる場合、特定部２８は、図６に示されている機器機能管理テーブルを参照することで、識別された機器に紐付く模式的な画像を特定する。その模式的な画像は機器画像として表示される。模式的な画像のデータは端末装置１０に記憶されていてもよいし、サーバ１６等の外部装置に記憶されていてもよい。
なお、機器を撮影することで生成された画像データを利用する場合、現在の機器そのものの外観（例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観）が画像に反映されるので、ユーザにとって他の同種の機器との違いが視覚的により分かる効果がある。また、機器自体に紐付く機器画像（例えば、撮影で得られた画像や、機器そのものに紐付くアイコン等）は、当該機器の固有の画像であるため、その機器画像を自動応答ＡＩに送ることで、自動応答ＡＩは、当該機器そのものを連携対象の機器として識別することができる。一方、機器画像が機器自体に紐付かず機器の種類に紐付く画像である場合、自動応答ＡＩは、その機器画像から機器の種類を識別することができるが、個々の機器自体を識別することができない。例えば、機器画像５６が複合機Ｂに紐付く画像である場合、自動応答ＡＩは、その機器画像５６から複合機Ｂそのものを連携対象の機器として識別することができる。一方、機器画像５６が複合機という種類に紐付く画像である場合、自動応答ＡＩは、その機器画像５６から複合機という種類を連携対象の機器の種類として識別することになる。以下では、各機器画像は、個々の機器自体に紐付く画像であるとして説明する。つまり、機器画像５６は、複合機Ｂ自体に紐付く画像であり、機器画像６０はＰＣ（Ａ）自体に紐付く画像であり、機器画像６２はプロジェクタＣ自体に紐付く画像であるものとする。
また、機器が識別された場合、その機器の名称を示す情報が画面４８に表示されてもよい。例えば、機器画像５６と共に、文字列「複合機Ｂ」が表示されてもよい。
また、ストックエリア５８内に表示しきれない他の機器画像が存在する場合、矢印６４で示すように、ユーザが、ストックエリア５８内に表示されている機器画像をスクロール操作することで、当該他の機器画像がストックエリア５８内に表示される。
ユーザは、矢印６６で示すように、ストックエリア５８から連携対象の機器に紐付く画像（図８に示す例では機器画像５６）を選択してストックエリア５８の外側に移動させ、その機器画像５６をユーザの発言内容として自動応答ＡＩに送ることができる。例えば、ユーザは、ドラッグ操作によって、ストックエリア５８からユーザの発言内容が表示される位置まで機器画像５６を移動させ、その発言内容の表示位置にてドロップ操作を行う。この操作によって、制御部２６は、機器画像５６をユーザの発言内容として自動応答ＡＩに送る。
また、図８に示す例では、機器画像５６に続き、ユーザは、ストックエリア５８から機器画像６０を選択し、その機器画像６０をユーザの発言内容の表示位置まで移動させている。この操作によって、その機器画像６０がユーザの発言内容として自動応答ＡＩに送られる。
ユーザが画面４８上で複数の機器の情報を自動応答ＡＩに送った場合、つまり、複数の機器の情報を連携対象の機器の情報として発言した場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、当該複数の機器に対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
上記の例では、機器画像５６，６０が連携対象の機器の情報として自動応答ＡＩに送られている。この場合、特定部２８は、機器画像５６に紐付く複合機Ｂと機器画像６０に紐付くＰＣ（Ａ）を連携対象の機器として識別する。なお、先に機器画像５６を自動応答ＡＩに送り、その後に機器画像６０を自動応答ＡＩに送ってもよいし、先に機器画像６０を自動応答ＡＩに送り、その後に機器画像５６を自動応答ＡＩに送ってもよい。
例えば、ユーザが画面４８上で画像（上記の例では機器画像５６，６０）を指示子（例えばユーザの指、ペン、スタイラス等）によってストックエリア５８から選択して取り出すことで、その画像がユーザの発言内容に含まれて自動応答ＡＩに送られる。例えば、ドラッグ＆ドロップ操作によって、機器画像がストックエリア５８からユーザの発言内容の表示位置まで移動させられ、これにより、機器画像がユーザの発言内容として自動応答ＡＩに送られる。制御部２６は、画面４８への指示子の接触を検知し、画面４８上での指示子の移動を検知する。
上記のように、機器画像５６，６０が自動応答ＡＩに送られて複合機ＢとＰＣ（Ａ）が連携対象の機器として識別された場合、制御部２６は、連携対象の機器として識別された機器の情報を自動応答ＡＩの発言内容６８として表示エリア４８ａ内に表示させる。この発言内容６８に対してユーザが承認した場合（例えば、ユーザが「はい。」といった発言内容７０を発した場合）、ＰＣ（Ａ）と複合機Ｂとを利用して実行可能な連携機能に関する情報が画面４８に表示される。
特定部２８は、機器画像５６，６０が連携対象の機器の情報として自動応答ＡＩに送られたタイミングで、又は、発言内容６８に対してユーザが承認したタイミングで、図７に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機Ｂとの組み合わせに対応付けられている連携機能（例えば、「スキャン転送機能」と「プリント機能」）を特定する。これにより、ＰＣ（Ａ）と複合機Ｂとを利用して実行可能な連携機能が特定される。「スキャン転送機能」は、複合機Ｂによるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「プリント機能」は、ＰＣ（Ａ）に記憶されている画像データを複合機Ｂに転送して複合機Ｂにて印刷する機能である。このようにして特定された連携機能に関する情報は、自動応答ＡＩの発言内容として画面４８に表示される。なお、機器や連携機能の特定処理は、サーバ１６によって行われてもよい。
図９には、図８の続きの画面４８が示されている。上記のように連携機能が特定された場合、端末装置１０の制御部２６は、連携機能に関する情報を自動応答ＡＩの発言内容７２として表示エリア４８ａ内に表示させる。
その発言内容７２に対して、ユーザが発言内容７４によって連携機能を指定して実行指示を与えた場合、制御部２６（例えば自動応答ＡＩによって実現される制御部２６）はその実行指示を受けて、その実行指示を示す情報（実行指示情報）を連携対象の機器に送信する。また、制御部２６は、実行指示を受けたことを示す情報を自動応答ＡＩの発言内容７６として表示エリア４８ａ内に表示させる。別の例として、連携機能の実行を指示するためのボタン画像が画面４８に表示され、ユーザはそのボタン画像を押すことで、連携機能の実行指示を与えてもよい。ＰＣ（Ａ）と複合機Ｂが連携対象の機器として選ばれている場合、実行指示情報がＰＣ（Ａ）と複合機Ｂに送信される。実行指示情報を受けたＰＣ（Ａ）と複合機Ｂは、その実行指示情報に示されている連携機能（ユーザによって指定された連携機能）を実行する。例えば、連携機能として「プリント機能」の実行指示が与えられた場合、ＰＣ（Ａ）は印刷対象の画像データを複合機Ｂに送信し、複合機Ｂは、その画像データを記録媒体としての用紙上に印刷する。
なお、ユーザが発言内容７４によって連携機能を指定した場合、制御部２６（自動応答ＡＩ）は、連携機能の実行指示を連携対象の機器に与えずに、連携対象の機器を制御するための画面をＵＩ部２０に表示させてもよい。図１０には、その画面７８が示されている。画面７８は、例えば、ＰＣ（Ａ）と複合機Ｂを端末装置１０にて制御するための画面（リモートコントロール用の画面）である。画面７８には、例えば、連携機能の実行を指示するためのボタン画像（例えば、「スキャン転送画像」の実行を指示するためのボタン画像、「プリント機能」の実行を指示するためのボタン画像）が表示される。ユーザが画面７８上にてボタン画像を押した場合、そのボタン画像に紐付く連携機能が実行される。また、画面７８上にて、各種パラメータの設定等ができるようにしてもよい。
また、図１１には、別のリモートコントロール用の画面が示されている。画面７８は、複合機Ｂを制御するための画面７８ａと、ＰＣ（Ａ）を制御するための画面７８ｂを含む。画面７８ａには、例えば、複合機Ｂが有する単独機能の実行を指示するためのボタン画像（例えば、コピー機能の実行を指示するためのボタン画像、プリント機能の実行を指示するためのボタン画像等）が表示されてもよい。また、画面７８ａ上で、複合機Ｂにて用いられる各種パラメータの設定等ができるようにしてもよい。画面７８ｂには、例えば、ＰＣ（Ａ）に格納されているデータ（ファイル）や、格納場所（フォルダ）が表示される。また、画面７８ｂ上で、ＰＣ（Ａ）にて用いられる各種パラメータの設定等ができるようにしてもよい。また、画面７８ａ，７８ｂ上にて、連携機能（例えば、連携機能としての「スキャン転送機能」や「プリント機能」）の設定や実行指示ができるようにしてもよい。
なお、図８中のストックエリア５８内に表示されている機器画像がユーザによって編集されてもよいし、その機器画像に紐付く機器に関する情報がユーザによって編集されてもよい。例えば、ユーザがストックエリア５８内に表示されている機器画像を指定して編集指示を与えた場合、制御部２６は、編集画面をＵＩ部２０の表示部に表示させる。制御部２６は、例えば、ユーザが機器画像を長押しした場合（例えば機器画像を押している時間の長さが閾値以上となった場合）や、編集画面を表示するためのボタン画像をユーザが押した場合や、ユーザが編集の指示を音声によって端末装置１０に入力した場合等に、編集画面をＵＩ部２０の表示部に表示させる。その編集画面においては、機器画像の編集が可能であり、例えば、機器画像から機器の部分に紐付く部分画像を切り出すことも可能である。また、機器画像に紐付く機器に関する情報の編集も可能である。
また、制御部２６は、端末装置１０との間で通信が確立している機器に紐付く機器画像をストックエリア５８内に表示させてもよいし、端末装置１０に登録されている機器に紐付く機器画像をストックエリア５８内に表示させてもよい。
なお、マーカ型ＡＲ技術又はマーカレス型ＡＲ技術によって各機器が識別される場合、当該各機器は別々に撮影されて識別されてもよいし、一緒に撮影されて識別されてもよい。例えば、カメラ２２の撮影領域に複合機Ｂが含まれる状態で複合機Ｂが撮影され、次に、カメラ２２の撮影領域にＰＣ（Ａ）が含まれる状態でＰＣ（Ａ）が撮影されることで、複合機ＢとＰＣ（Ａ）が順次識別される。連携対象の各機器が互いに近い位置に配置されて、カメラ２２の撮影領域に複合機ＢとＰＣ（Ａ）の両方が必ずしも一緒に含まれるとは限らない。撮影領域のアングルの変更、撮影領域の拡大や縮小等によって対応可能な場合もあるが、そのような操作では対応しきれない場合もある。この場合、複数回撮影することで、各機器が識別される。
別の例として、連携対象の機器が基本連携機器として予め設定されていてもよい。例えば、複合機Ｂが基本連携機器として予め設定されているものとする。基本連携機器のデバイス識別情報は、端末装置１０の記憶部２４に予め記憶されていてもよい。ユーザがＵＩ部２０を利用して基本連携機器を指定してもよい。基本連携機器が設定されている場合、ユーザは、基本連携機器以外の連携対象の機器に紐付く機器画像を発言内容として自動応答ＡＩに送る。これにより、連携対象の機器が特定（識別）され、基本連携機器と当該機器とを利用して実行可能な連携機能が特定（識別）される。
以下、連携機能を実行するときの動作について説明する。例えば、連携機能を実行するとき、端末装置１０から連携対象の各機器に対して接続要求が送信され、端末装置１０と各機器とが接続される。以下、図１２を参照して、この接続処理について説明する。図１２は、その処理を示すシーケンス図である。
端末装置１０において、ユーザによって、連携対象の機器として複合機ＢとＰＣ（Ａ）が指定された場合（つまり、複合機ＢとＰＣ（Ａ）の情報がユーザの対話内容として自動応答ＡＩに送られた場合）、端末装置１０は、連携対象の機器（複合機ＢとＰＣ（Ａ））に接続要求を示す情報を送信する（Ｓ０１）。この送信の制御は、自動応答ＡＩによって行われてもよい。例えば、連携対象の各機器のアドレス情報がサーバ１６に記憶されている場合、端末装置１０は、各機器のアドレス情報をサーバ１６から取得する。デバイス識別情報にアドレス情報が含まれている場合、端末装置１０の制御部２６は、各機器のデバイス識別情報からアドレス情報を取得する。アドレス情報の取得処理は、自動応答ＡＩによって行われてもよい。もちろん、端末装置１０の記憶部２４に各機器のアドレス情報が記憶されていてもよい。端末装置１０は、別の手法によって各機器のアドレス情報を取得してもよい。端末装置１０は、連携対象の各機器（例えば複合機ＢとＰＣ（Ａ））のアドレス情報を用いて、連携対象の各機器に接続要求を示す情報を送信する。
接続要求を示す情報を受けた複合機ＢとＰＣ（Ａ）は、端末装置１０との接続の許可又は不許可を判断する（Ｓ０２）。例えば、複合機ＢとＰＣ（Ａ）が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置１０からの接続が許可された場合、複合機ＢとＰＣ（Ａ）のそれぞれの固有の設定情報が端末装置１０から変更されないように、その変更操作が禁止されてもよい。例えば、複合機Ｂの色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。これにより、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。
接続の許可又は不許可を示す結果情報が、複合機ＢとＰＣ（Ａ）から端末装置１０に送信される（Ｓ０３）。複合機ＢとＰＣ（Ａ）への接続が許可された場合、端末装置１０と複合機Ｂとの間で通信が確立され、更に、端末装置１０とＰＣ（Ａ）との間で通信が確立される。
次に、端末装置１０において、ユーザは連携機能（例えば「プリント機能」）の実行を指示する（Ｓ０４）。端末装置１０は、その指示に従って、連携機能の実行指示を示す情報（実行指示情報）を、連携対象の各機器（複合機ＢとＰＣ（Ａ））に送信する（Ｓ０５））。この送信の制御は、自動応答ＡＩによって行われてもよい。複合機Ｂに送信される実行指示情報には、複合機Ｂにて実行される処理を示す情報（例えばジョブ情報）が含まれ、ＰＣ（Ａ）に送信される実行指示情報には、ＰＣ（Ａ）にて実行される処理を示す情報（例えばジョブ情報）が含まれる。
実行指示情報を受けた複合機ＢとＰＣ（Ａ）は、実行指示情報に従って連携機能（例えば「プリント機能」）を実行する（Ｓ０６）。実行対象の連携機能に、複合機ＢとＰＣ（Ａ）との間でデータの送受信が行われる処理が含まれている場合、複合機ＢとＰＣ（Ａ）との間で通信が確立される。例えば、複合機Ｂに送信される実行指示情報にはＰＣ（Ａ）のアドレス情報が含まれており、ＰＣ（Ａ）に送信される実行指示情報には複合機Ｂのアドレス情報が含まれている。それらのアドレス情報を用いて、複合機ＢとＰＣ（Ａ）との間で通信が確立される。その通信が確立された後、ＰＣ（Ａ）は、印刷対象の画像データを複合機Ｂに送信し、複合機Ｂは、その画像データを記録媒体としての用紙上に印刷する。
連携機能の実行が終了すると、連携機能の実行完了を示す情報が、複合機ＢとＰＣ（Ａ）から端末装置１０に送信される（Ｓ０７）。端末装置１０のＵＩ部２０には、連携機能の実行が完了したことを示す情報が表示される（Ｓ０８）。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置１０の制御部２６は、エラーを示す情報をＵＩ部２０に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、複合機ＢとＰＣ（Ａ）に送信してもよい。
次に、ユーザは、複合機ＢとＰＣ（Ａ）の連携状態を解除するか否かを確認し（Ｓ０９）、解除の有無に応じた処理が実行される（Ｓ１０）。連携状態を解除する場合、ユーザは、端末装置１０を利用して解除の指示を与える。これにより、端末装置１０と複合機Ｂとの間の通信が解除され、更に、端末装置１０とＰＣ（Ａ）との間の通信が解除される。同様に、複合機ＢとＰＣ（Ａ）との間の通信も解除される。連携状態を解除しない場合、継続して実行指示が与えられてもよい。
また、連携対象の機器を増やしてもよい。例えば３台目の機器に紐付く画像が対話内容として自動応答ＡＩに送られ、複合機ＢとＰＣ（Ａ）とを含む３台の機器を連携させてもよい。なお、複合機ＢとＰＣ（Ａ）が既に連携対象の機器として識別されていることを示す情報は、端末装置１０やサーバ１６に記憶される。
連携対象の機器を示すデバイス識別情報や、実行された連携機能を示す連携機能情報は、端末装置１０やサーバ１６等に記憶されてもよい。例えば、端末装置１０を利用するユーザのユーザアカウント情報（ユーザ識別情報）が取得され、そのユーザアカウント情報と、連携対象の機器を示すデバイス識別情報と、実行された連携機能を示す連携機能情報と、の対応付けを示す履歴情報が作成され、端末装置１０やサーバ１６等に記憶されてもよい。履歴情報は、端末装置１０によって作成されてもよいし、サーバ１６によって作成されてもよい。履歴情報を参照することで、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。
なお、連携対象の機器（例えば複合機ＢとＰＣ（Ａ））は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置１０を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することで、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、端末装置１０やサーバ１６に記憶されてもよいし、別の装置に記憶されてもよい。
ユーザアカウント情報は、例えば、端末装置１０の記憶部２４に予め記憶されており、端末装置１０の制御部２６は、ユーザ識別手段の一例として機能し、記憶部２４からユーザのユーザアカウント情報を読み込んで、端末装置１０を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部２４に記憶されている場合、ユーザは端末装置１０を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置１０の制御部２６は、端末装置１０にログインしているユーザのユーザアカウント情報を読み込むことでユーザを識別してもよい。更に別の例として、同一の端末装置１０に、１つのユーザアカウント情報のみが記憶されている場合、端末装置１０の制御部２６は、そのユーザアカウント情報を読み込むことでユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。
ユーザが識別されている場合、ユーザ自身を表す画像（例えば、ユーザ自身の写真（例えば顔写真等））や、ユーザ自身の画像ではないがユーザに紐付くアイコン等が、図８中のユーザに紐付く画像５２として表示されてもよい。また、識別されたユーザの氏名、ユーザＩＤ、ハンドルネーム、ニックネーム等のユーザ識別情報が文字列として画面４８に表示されてもよい。
ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカント情報が示すユーザによって過去に利用された連携機能を示す情報が、端末装置１０のＵＩ部２０に表示されてもよい。その利用履歴を示す情報は、端末装置１０に記憶されていてもよいし、サーバ１６に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。
以上のように第１実施形態によれば、自動応答ＡＩと対話するための画面４８上で、連携対象となる機器の情報をユーザの対話内容として自動応答ＡＩに送ることで、連携機能に関する情報が提供される。このように、自動応答ＡＩとの対話を利用した簡易な手法によって、連携機能に関する情報が提供される。
なお、３個以上の機器画像が対話内容として自動応答ＡＩに送られた場合、３個以上の機器を利用して実行可能な連携機能に関する情報が提供される。
また、特定部２８は、予め定められた制限時間内に複数の機器の情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該複数の機器を利用して実行可能な連携機能を特定し、当該制限時間内に１つの機器の情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該機器が有する機能（単独機能）を特定してもよい。この場合、特定部２８によって特定された連携機能又は単独機能に関する情報がＵＩ部２０の表示部に表示される。制限時間の開始時点は、例えば、発言内容５４のように、自動応答ＡＩがユーザに連携対象の機器を問い合わせた時点であってもよいし、発言内容５４が発生した後に、ユーザが最初の機器画像を自動応答ＡＩに送った時点であってもよい。
例えば図８に示す例において、発言内容５４のように自動応答ＡＩがユーザに連携対象の機器を問い合わせた時点から制限時間内に、ユーザが機器画像５６のみを発言内容として自動応答ＡＩに送った場合、特定部２８は、図６に示されている機器機能管理テーブルにおいて、複合機Ｂに対応付けられている機能（単独機能）を特定する。制御部２６は、その単独機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａに表示させる。この場合、図１０に示されている処理と同様に、複合機Ｂに対して接続要求を示す情報が送信され、接続が許可された場合、ユーザによって指定された単独機能が複合機Ｂによって実行される。
一方、ユーザが、発言内容５４のように自動応答ＡＩがユーザに連携機能の機器を問い合わせた時点から制限時間内に、ユーザが機器画像５６，６０を発言内容として自動応答ＡＩに送った場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、複合機ＢとＰＣ（Ａ）との組み合わせに対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報を表示エリア４８ａに表示させる。
制限時間の開始時点が、ユーザが最初の機器画像（例えば機器画像５６）を自動応答ＡＩに送った時点である場合も、上記と同様の処理が行われる。
以上のように制限時間を設けることで、連携機能又は単独機能の提供の切り替えが可能となる。
また、図８に示す例において、発言内容５４のように自動応答ＡＩがユーザに連携対象の機器を問い合わせた後に、ユーザがカメラ２２によって機器（例えば複合機Ｂ）を撮影した場合、制御部２６は、その機器（複合機Ｂ）に紐付く機器画像５６（例えば、その撮影で得られた画像や模式的な画像）をユーザの発言内容として自動応答ＡＩに送る。特定部２８は、その機器画像５６に紐付く複合機Ｂを連携対象の機器として識別する。更にユーザがカメラ２２によって別の機器（例えばＰＣ（Ａ））を撮影した場合、制御部２６は、その機器（ＰＣ（Ａ））に紐付く機器画像６０をユーザの発言内容として自動応答ＡＩに送る。特定部２８は、その機器画像６０に紐付くＰＣ（Ａ）を連携対象の機器として識別する。この場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、複合機ＢとＰＣ（Ａ）との組み合わせに対応付けられている連携機能を特定する。その連携機能に関する情報は、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。なお、カメラ２２以外の撮影装置によって連携対象の機器の撮影が行われてもよい。この場合、その撮影装置による撮影によって生成された機器画像データが、ネットワーク等の通信経路を介して端末装置１０に送信され、その機器画像がユーザの発言内容として自動応答ＡＩに送られる。
また、ユーザによって指定された複数の機器の組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部２８は、利用可能な連携機能が登録されていないと判断する。この場合、制御部２６は、利用可能な連携機能が登録されていないことを示すメッセージを自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。このような場合であっても、機器の更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部２８は、利用可能になった連携機能を特定する。
（変形例１）
以下、図１３を参照して変形例１について説明する。図１３には、画面４８が示されている。変形例１では、連携対象としての複数の機器の情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該複数の機器を利用して実行可能な連携機能が通知される。以下、変形例１について詳しく説明する。
画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０とユーザに紐付く画像５２が表示されており、更に、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
図８と同様に、自動応答ＡＩの発言内容８０として、「どの機器を利用したいですか？」といった発言内容が表示エリア４８ａ内に表示される。
上記の発言内容８０に対して、ユーザが、複数の機器が表された画像８２をユーザの発言内容として指定して自動応答ＡＩに送ると、特定部２８は、その画像８２に表されている複数の機器を連携対象の機器として識別する。例えば、画像８２に、複合機Ｂに紐付く機器画像５６とＰＣ（Ａ）に紐付く機器画像６０が表されている場合、特定部２８は、機器画像５６に基づいて複合機Ｂを連携対象の機器として識別し、機器画像６０に基づいてＰＣ（Ａ）を連携対象の機器として識別する。
ユーザは、画面４８を操作することで、ストックエリア５８から機器画像５６，６０を選択し、画像８２上に機器画像５６，６０を重ねてもよい。これにより、画像８２に機器画像５６，６０が表され、画像８２がユーザの発言内容として自動応答ＡＩに送られる。
別の例として、画像８２は、複合機ＢとＰＣ（Ａ）がカメラ２２等の撮影装置によって一緒に撮影されることで生成された画像であってもよい。また、ユーザは、発言内容８０が発せられた後に、カメラ２２によって複合機ＢとＰＣ（Ａ）を一緒に撮影し、複合機ＢとＰＣ（Ａ）が一緒に表された画像８２をユーザの発言内容として自動応答ＡＩに送ってもよい。
上記のように複合機ＢとＰＣ（Ａ）が識別された場合、制御部２６は、連携対象の機器として識別された機器の情報を自動応答ＡＩの発言内容８４として表示エリア４８ａ内に表示させる。この発言内容８４に対してユーザが承認した場合（例えば、ユーザが「はい。」といった発言内容８６を発した場合）、ＰＣ（Ａ）と複合機Ｂとを利用して実行可能な連携機能に関する情報が、自動応答ＡＩの発言内容８８として表示エリア４８ａ内に表示される。その発言内容８８に対して、ユーザが発言内容９０によって連携機能を指定して実行指示を与えた場合、制御部２６は、その実行指示を受けて、実行指示情報を連携対象の機器（ＰＣ（Ａ）と複合機Ｂ）に送信する。これにより、ＰＣ（Ａ）と複合機Ｂとによって連携機能が実行される。もちろん、連携対象の機器を制御するための画面（リモートコントロール用の画面）がＵＩ部２０の表示部に表示されてもよい。
また、画像８２内に３つ以上の機器画像が表示されている場合、３つ以上の機器を利用して実行可能な連携機能に関する情報が通知される。また、画像８２内に１つの機器画像が表示されている場合、その１つの機器画像に紐付く機器が有する機能（単独機能）に関する情報が通知される。
また、連携対象の機器に紐付く機器画像をストックエリア５８から選択する場合、上記の制限時間を利用した制御によって、連携機能又は単独機能に関する情報が通知されてもよい。例えば、制限時間内に複数の機器画像がストックエリア５８から取り出されて画像８２上に重ねられた場合、特定部２８は、当該複数の機器画像のそれぞれに紐付く機器を利用して実行可能な連携機能を特定する。この場合、その連携機能に関する情報が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。一方、制限時間内に１つの機器画像がストックエリア５８から取り出されて画像８２上に重ねられた場合、特定部２８は、当該機器画像に紐付く機器が有する機能（単独機能）を特定する。この場合、その単独機能に関する情報が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。
例えば図１３に示す例において、ユーザが、制限時間内に、複合機Ｂに紐付く機器画像５６をストックエリア５８から選択して画像８２上に重ね、他の機器画像を画像８２上に重ねなかった場合、特定部２８は、図６に示されている連携機能管理テーブルにおいて、複合機Ｂに対応付けられている機能（単独機能）を特定する。制御部２６は、その単独機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
一方、ユーザが、制限時間内に、機器画像５６，６０をストックエリア５８から選択して画像８２上に重ねた場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、複合機ＢとＰＣ（Ａ）との組み合わせに対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
（変形例２）
以下、変形例２について説明する。変形例２では、複数の機器画像がユーザの発言内容として自動応答ＡＩに送られた場合、制御部２６は、当該複数の機器画像が互いに重ねられた状態を表す新たな合成画像や、当該複数の機器画像が互いに隣り合って結合された状態を表す合成画像を生成してもよい。図１４（ａ）には、合成画像の一例が示されている。例えば、機器画像５６，６０がその順番でユーザの発言内容として自動応答ＡＩに送られた場合、制御部２６は、機器画像５６，６０をグルーピングすることで新たな合成画像９２を生成する。制御部２６は、その合成画像９２をＵＩ部２０の表示部に表示させてもよいし、ストックエリア５８に表示される画像として端末装置１０に登録してもよい。合成画像９２は、機器画像５６上に機器画像６０が重ねられたそのままの状態を表す画像であってもよいし、その状態を模式的に表す画像（例えばアイコン）であってもよい。
機器画像６０，５６がその順番でユーザの発言内容として自動応答ＡＩに送られた場合、制御部２６は、機器画像６０上に機器画像５６が重ねられた状態を表す合成画像を生成する。
また、図１４（ｂ）に示すように、制御部２６は、機器画像５６，６０が互いに隣り合って結合された状態を表す合成画像９４を生成してもよい。制御部２６は、その合成画像９４をＵＩ部２０の表示部に表示させても良いし、ストックエリア５８に表示される画像として端末装置１０に登録してもよい。
また、変形例１において、複数の機器画像がストックエリア５８から画像８２上に重ねられた場合、制御部２６は、複数の機器画像を表す画像８２を新たな合成画像として端末装置１０に登録してもよい。
上記のように合成画像が生成された場合、ユーザは、その合成画像をユーザの発言内容として自動応答ＡＩに送ってもよい。例えば、ユーザが、その合成画像と他の機器画像をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、合成画像に紐付く複数の機器と当該他の機器画像に紐付く機器とを連携対象の機器として識別する。例えば、ユーザが、合成画像９２とプロジェクタＣに紐付く機器画像とをユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、合成画像９２に紐付く複合機ＢとＰＣ（Ａ）を連携対象の機器として識別し、更に、当該機器画像に紐付くプロジェクタＣを連携対象の機器として識別する。この場合、特定部２８は、図７に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機ＢとプロジェクタＣとの組み合わせに対応付けられている連携機能を特定する。その連携機能に関する情報は、自動応答ＡＩの発言内容として画面４８に表示される。また、合成画像９２とプロジェクタＣに紐付く機器画像とが互いに重ねられた新たな合成画像や、合成画像９２と当該機器画像とが互いに隣り合って結合された新たな合成画像が生成されてもよい。
上記のように合成画像を用いることで、簡易な操作で連携対象の機器を増加させることができる。また、合成画像は、連携対象の複数の機器を表しているため、合成画像を表示することで、どのような機器が連携対象の機器として指定されているのかがユーザにとって視覚的に分かり易い。
上記の合成画像は、次回以降に連携機能を実行する際のショートカット用の画像として用いられてもよい。例えば、ユーザが端末装置１０を用いて、合成画像をショートカット用の画像として登録する指示を与えると、その登録用画面がＵＩ部２０の表示部に表示される。この登録画面には、合成画像が表示されるとともに、連携対象の複数の機器を利用して実行可能な連携機能の登録内容を示す情報が表示される。例えば、連携機能名、連携機能の概要、及び、連携に必要な機器を示す情報が、登録内容を示す情報として表示される。ユーザは端末装置１０を用いて、登録内容（例えば、連携機能名、連携機能の概要等）を編集してもよい。登録画面上でユーザが登録指示を与えた場合、合成画像がショートカット用の画像として登録される。また、ユーザによって登録内容が編集された場合、その編集内容も合成画像に紐付いて登録される。例えば、合成画像としてのショートカット用画像が生成されてストックエリア５８内に表示される。ショートカット用画像は、例えば端末装置１０の制御部２６によって生成される。複数のショートカット用画像が生成されて登録された場合、画面４８には、ショートカット用画像の一覧が表示されてもよい。なお、ショートカット用画像と登録内容を示す情報は、端末装置１０に記憶される。別の例として、ショートカット用画像と登録内容を示す情報は、ユーザアカウント情報に紐付けられてサーバ１６に記憶されてもよい。この場合、ユーザアカウント情報が端末装置１０からサーバ１６に送信されると、そのユーザアカウント情報に紐付けられた情報（ショートカット用画像と登録内容を示す情報）が、サーバ１６から端末装置１０に送信されて表示される。
なお、ショートカット用画像には、連携対象の機器毎に、機器のステータスを示す情報（例えば画像等）が含まれてもよい。例えば、連携対象の機器が連携機能を実行できる状態の場合、その旨を示す画像（例えば緑色や青色の画像）がステータスを示す情報として表示される。連携対象の機器が連携機能を実行できる状態ではない場合、その旨を示す画像（例えば白色や赤色の画像）がステータスを示す情報として表示される。連携機能を実行できる状態とは、例えば、現在、機器が使用されていない状態、故障が発生していない状態、等である。連携機能を実行できない状態とは、例えば、機器が使用されている状態、故障が発生している状態、等である。例えば、自動応答ＡＩが、連携対象の機器のステータスを示す情報を連携対象の機器から取得し、その情報に基づいてステータス情報を表示する。情報の取得はサーバ１６によって行われてもよい。
ユーザがショートカット用画像をユーザの発言内容として自動応答ＡＩに送った場合、そのショートカット用画像に紐付く連携機能に関する情報が表示されてもよいし、その連携機能の実行が制御されてもよい。
以上のように、連携機能とショートカット用画像とを紐付けて管理することで、次回以降、連携機能を実行するためのユーザの操作負担が軽減される。
（変形例３）
以下、変形例３について説明する。変形例３では、機器の情報を自動応答ＡＩに送る順番に応じた連携機能の通知が制御される。以下、図１５から図１７を参照して、変形例３について詳しく説明する。
図１５には、変形例３に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせを示す情報と、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能情報）と、接続順番を示す情報と、優先順位を示す情報と、が互いに対応付けられている。機器ＩＤと機器名はデバイス識別情報の一例に相当する。なお、３個以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
接続順番は、機器の指定の順番に対応しており、例えば、機器の情報（例えば機器画像や文字情報や音声情報）をユーザの発言内容として自動応答ＡＩに送る順番に対応している。例えば、ユーザが複数の機器の情報について各機器の情報を順番にユーザの発言内容として自動応答ＡＩに送った場合、その順番が接続順番に相当する。具体的には、ユーザが第１機器の情報をユーザの発言内容として先に自動応答ＡＩに送り、その後、第２機器の情報をユーザの発言内容として自動応答ＡＩに送った場合、第１機器の指定の順番が１番であり、第２機器の指定の順番が２番である。
優先順位は、連携機能に関する情報の通知（例えば表示や音声出力）の優先順位である。例えば、ＰＣ（Ａ）と複合機Ｂとの組み合わせには、連携機能として「スキャン転送機能」と「プリント機能」が対応付けられている。例えば、複合機Ｂ、ＰＣ（Ａ）の順番で各機器の情報がユーザの発言内容として自動応答ＡＩに送られた場合、「スキャン転送機能」の優先順位が「１位」となり、「プリント機能」の優先順位は「２位」となる。この場合、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも優先的に通知される。例えば、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも上位に表示されたり、先に表示されたりする。それとは逆に、ＰＣ（Ａ）、複合機Ｂの順番で各機器の情報がユーザの発言内容として自動応答ＡＩに送られた場合、「プリント機能」の優先順位が「１位」となり、「スキャン転送機能」の優先順位が「２位」となる。この場合、「プリント機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に表示される。
図１６には、優先順位に従った表示例が示されている。例えば、複合機Ｂ、ＰＣ（Ａ）の順番で機器画像５６，６０がユーザの発言内容として自動応答ＡＩに送られた場合、「スキャン転送機能」の優先順位が「１位」となり、「プリント機能」の優先順位が「２位」となる。そのため、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも優先的に（例えば上位に）画面４８に表示される。画面４８上にて連携機能がユーザによって指定されて実行指示が与えられると、指定された連携機能が実行される。
図１７には、優先順位に従った別の表示例が示されている。例えば、ＰＣ（Ａ）、複合機Ｂの順番で機器画像５６，６０がユーザの発言内容として自動応答ＡＩに送られた場合、「プリント機能」の優先順位が「１位」となり、「スキャン転送機能」の優先順位は「２位」となる。そのため、「プリント機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に（例えば上位に）画面４８に表示される。
以上のように、機器の情報をユーザの発言内容として自動応答ＡＩに送る順番に応じて、連携機能に関する情報の通知順（例えば表示順位）が変更される。機器の接続順番（機器の情報を自動応答ＡＩに送る順番）は、各機器で利用される機能の順番や、連携する機器間を移動するデータの移動順番を兼ねており、機器を指定する操作は、機能の順番やデータの移動順番を指定する操作を兼ねることになる。それ故、接続順番に応じて連携機能に関する情報の通知順を変えることで、ユーザが利用するであろうと予測される連携機能に関する情報が優先的に通知される。つまり、ユーザが利用する可能性の高い連携機能に関する情報が優先的に通知される。例えば、複合機Ｂ、ＰＣ（Ａ）の順番で各機器の情報がユーザの発言内容として自動応答ＡＩに送られた場合、「ＰＣ（Ａ）よりも先に複合機Ｂの機能を利用し、複合機ＢからＰＣ（Ａ）へデータを転送する」という連携機能がユーザによって利用されると予測される。また、ＰＣ（Ａ）、複合機Ｂの順番で各機器の情報がユーザの発言内容として自動応答ＡＩに送られた場合、「複合機Ｂよりも先にＰＣ（Ａ）の機能を利用し、ＰＣ（Ａ）から複合機Ｂへデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、機器を選択する順番に応じて連携機能に関する情報の通知順を変えることで、ユーザが利用する可能性の高い連携機能に関する情報が優先的に通知される。
（変形例４）
以下、変形例４について説明する。変形例４では、機器に紐付く機器画像内の部分毎に異なる機能が割り当てられている。機器画像内の部分がユーザによって指定されて、その部分の情報がユーザの発言内容として自動応答ＡＩに送られた場合、その部分に割り当てられている機能を利用して実行可能な連携機能に関する情報が通知される。以下、変形例４について詳しく説明する。
図１８には、変形例４に係る機器機能管理テーブルの一例が示されている。この機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器画像内の位置（部分の位置）を示す情報と、その機器画像内の位置（部分の位置）に対応する機能を示す情報（機能情報）と、画像ＩＤと、が対応付けられている。機器画像内の位置は、機器に紐付く機器画像内の特定の位置（特定の部分）であり、例えば、機器を模式的に表す機器画像内の特定の位置や、カメラによって撮影された機器画像内の特定の位置である。機器画像内の特定の位置（部分）毎に、異なる機能が対応付けられている。なお、３個以上の部分を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の部分の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。もちろん、部分と機器全体とを利用して実行可能な連携機能が定められ、部分と機器全体との組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されてもよい。
以下、図１９及び図２０を参照して、機器の部分について詳しく説明する。図１９には、機器としての複合機Ｂに紐付く機器画像９６が示されている。図２０には、機器としてのＰＣ（Ａ）に紐付く機器画像９８が示されている。上記のように識別技術（例えばＡＲ技術）を適用することで複合機ＢやＰＣ（Ａ）が識別される。また、部分の識別も、上述した識別技術を用いることで実現される。例えば、機器の各部分を撮影してマーカレス型ＡＲ技術を適用することで、各部分が識別される。
例えば、図１９（ａ）に示すように、機器画像９６において複合機Ｂの本体部分に対応する位置（部分画像９６ａ）には、「プリント機能」が割り当てられている。機器画像９６において複合機Ｂの原稿カバーや原稿ガラスや自動原稿給紙装置に対応する位置（部分画像９６ｂ）には、「スキャン機能」が割り当てられている。機器画像９６において後処理装置に対応する位置（部分画像９６ｃ）には、「ステープル止め機能」が割り当てられている。「ステープル止め機能」は、出力された用紙をステープラによって止める機能である。
また、図２０（ａ）に示すように、機器画像９８においてＰＣ（Ａ）の本体部分に対応する位置（部分画像９８ａ）には、「データ保存機能」が割り当てられている。機器画像９８においてＰＣ（Ａ）の表示部に対応する特定の位置（部分画像９８ｂ）には、「画面表示機能」が割り当てられている。「データ保存機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて保存する機能である。「画面表示機能」は、他の装置から送られてきたデータをＰＣ（Ａ）にて表示する機能である。
各部分画像は、機器画像から切り離して操作することが可能である。例えば、機器画像９６がＵＩ部２０の表示部に表示されているときに、図１９（ｂ）に示すように、ユーザが部分画像９６ｂを選択して機器画像９６から切り離す操作を行うと、部分画像９６ｂは機器画像９６から離れて表示される。図１９（ｂ）には、切り離された部分画像９６ｂが破線で示されている。例えば、ドラッグ＆ドロップ操作によって部分画像を操作することができる。具体的には、ユーザは部分画像を選択し、ドラッグ操作によって部分画像を機器画像から切り離して操作し、目的の表示位置でドロップ操作を行うことで、その表示位置に部分画像を表示させることができる。また、機器画像９６がストックエリア５８に表示されているときに、ユーザがその機器画像９６の部分画像（例えば部分画像９６ｂ）を選択して機器画像９６から切り離す操作を行うと、部分画像９６ｂは機器画像９６から離れてストックエリア５８の外側に表示させることができる。もちろん、部分画像を機器画像から切り離す操作が行われた場合であっても、当該部分画像は元の位置に表示されていてもよい。部分画像９６ａ，９６ｃも機器画像９６から切り離して表示することができる。
機器画像９８についても機器画像９６と同様に、部分画像９８ａ，９８ｂを機器画像９８から切り離して表示することができる。図２０（ｂ）には、部分画像９８ｂ（破線で示されている）が機器画像９８から切り離されている。
変形例４では、ユーザは部分画像をユーザの発言内容として自動応答ＡＩに送ることができる。この場合、特定部２８は、その部分画像に紐付く部分を連携対象の部分として識別する。ユーザが複数の部分画像をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、当該複数の部分画像のそれぞれに紐付く部分を連携対象の部分として識別し、複数の部分を利用して実行可能な連携機能を特定する。
なお、機器画像がＵＩ部２０の表示部に表示される場合、制御部２６は、機器画像内の各位置に割り当てられている機能の名称（例えば印刷やスキャン等）をＵＩ部２０の表示部に表示させてもよい。こうすることで、各位置に割り当てられている機能の情報がユーザに提供される。もちろん、機能の名称は表示されなくてもよい。
以下、部分画像を用いた処理について具体例を挙げて説明する。
図２１には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０とユーザに紐付く画像５２が表示されており、更に、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。また、ストックエリア５８が画面４８に表示されている。
図８と同様に、自動応答ＡＩの発言内容５４として、「どの機器を利用したいですか？」といった発言内容が表示エリア４８ａ内に表示される。
上記の発言内容５４に対して、ユーザが機器の部分を指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、その機器の部分を連携対象の部分として識別する。例えば図２１に示すように、ユーザが、複合機Ｂの部分に紐付く部分画像９６ｂをユーザの発言内容として指定して自動応答ＡＩに送ると、特定部２８は、その部分画像９６ｂに紐付く部分を連携対象の部分として識別する。図２１に示す例では、図８に示されている例と同様に、ユーザが部分画像９６ｂを表示エリア４８ｂに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、ＵＩ部２０を操作することで、機器の部分を示す文字列をユーザの発言内容として端末装置１０に入力してもよい。この場合、特定部２８は、その文字列が示す部分を連携対象の部分として識別する。また、音声によって連携対象の部分の情報がユーザの発言内容として端末装置１０に入力されてもよい。
例えば、ユーザは、ストックエリア５８内に表示されている機器画像９６に含まれる部分画像９６ｂを選択し、ドラッグ操作によって、ストックエリア５８からユーザの発言内容が表示される位置まで部分画像９６ｂを移動させ、その発言内容の表示位置にてドロップ操作を行う。この操作によって、制御部２６は、部分画像９６ｂをユーザの発言内容として自動応答ＡＩに送る。
また、図２１に示す例では、部分画像９６ｂに続き、ユーザは、ストックエリア５８から部分画像９８ｂを取り出し、その部分画像９８ｂをユーザの発言内容の表示位置まで移動させている。この操作によって、その部分画像９８ｂがユーザの発言内容として自動応答ＡＩに送られる。
ユーザが画面４８上で複数の部分の情報をユーザの発言内容として自動応答ＡＩに送った場合、つまり、複数の部分の情報を連携対象の部分の情報として発言した場合、特定部２８は、当該複数の部分を連携対象の部分として識別する。上記の例では、部分画像９６ｂを含む機器画像９６に紐付く複合機Ｂと部分画像９８ｂを含む機器画像９８に紐付くＰＣ（Ａ）が、連携対象の機器として識別されると共に、部分画像９６ｂに対応する「スキャン機能」と部分画像９８ｂに対応する「画面表示機能」が、連携対象の機能として識別される。
連携対象の機器（例えばＰＣ（Ａ）と複合機Ｂ）が識別されると、特定部２８は、図７に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と複合機Ｂとの組み合わせに対応付けられている連携機能を特定する。また、特定部２８は、図１８に示されている機器機能管理テーブルを参照することにより、ユーザの発言内容として自動応答ＡＩに送られた機器画像内の部分に対応付けられている機能を特定する。そして、特定部２８は、ＰＣ（Ａ）と複合機Ｂとを利用して実行可能な連携機能群の中で、その部分に対応付けられている機能を利用する連携機能の優先順位を上げて、その機能を利用しない連携機能の優先順位を下げる。端末装置１０の制御部２６は、その優先順位に従って、連携機能に関する情報を自動応答ＡＩの発言内容として画面４８に表示させる。
例えば、複合機ＢとＰＣ（Ａ）が連携対象の機器として識別され、更に、機器の部分が連携対象の部分として識別された場合、制御部２６は、連携対象の機器として識別された機器の部分の情報を自動応答ＡＩの発言内容１００として画面４８に表示させる。この発言内容１００に対してユーザが承認した場合（例えば、ユーザが「はい。」といった発言内容１０２を発した場合）、ユーザによって指定された複数の部分を利用して実行可能な連携機能に関する情報が画面４８に表示される。
図２２には、図２１の続きの画面４８が示されている。上記のように連携機能が特定された場合、制御部２６は、連携機能に関する情報を自動応答ＡＩの発言内容１０４として表示エリア４８ａ内に表示させる。「スキャン機能」と「画面表示機能」がその順番でユーザによって指定されているため、「スキャン機能」と「画像表示機能」とを利用して実行可能な連携機能「スキャン転送表示機能」に関する情報が、他の連携機能に関する情報よりも優先的に（例えば上位に）表示される。例えば、「スキャン機能」と「データ保存機能」とを利用して実行可能な連携機能「スキャン転送保存機能」に関する情報よりも、「スキャン転送表示機能」に関する情報が優先的に表示される。なお、「スキャン転送表示機能」は、複合機Ｂによるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）の画面に表示する機能である。「スキャン転送保存機能」は、複合機Ｂによるスキャンによって生成されたデータをＰＣ（Ａ）に転送してＰＣ（Ａ）に保存する機能である。
自動応答ＡＩの発言内容１０４に対して、ユーザが発言内容１０６によって連携機能を指定して実行指示を与えた場合、制御部２６は、その実行指示を受けて、その実行指示情報を連携対象の機器に送信する。また、制御部２６は、実行指示を受けたことを示す情報を自動応答ＡＩの発言内容１０８として表示エリア４８ａ内に表示させる。例えば、「スキャン転送表示機能」の実行指示が与えられた場合、複合機Ｂによるスキャンによって生成されたデータがＰＣ（Ａ）に転送されてＰＣ（Ａ）の画面に表示される。
なお、連携対象の機器（例えば複合機ＢとＰＣ（Ａ））を制御するための画面（リモートコントロール用画面）がＵＩ部２０の表示部に表示されてもよい。
変形例４によれば、連携対象の機器が複数の機能を有している場合に、機能が個別的に指定され、その指定された機能を利用して実行可能な連携機能に関する情報が優先的に通知される。これにより、ユーザが利用するであろうと予測される連携機能が優先的に通知される。
なお、連携機能は、互いに同じ機器又は互いに異なる機器の部分同士の組み合わせを利用する機能であってもよいし、機器の全体と機器の部分との組み合わせを利用する機能であってもよいし、機器の全体同士の組み合わせを利用する機能であってもよい。
また、変形例３，４を組み合わせることで、機器や部分の情報をユーザの発言内容として自動応答ＡＩに送る順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。
また、１つの部分の情報がユーザの発言内容として自動応答ＡＩに送られた場合、その１つの部分を利用して実行可能な単独機能に関する情報がＵＩ部２０の表示部に表示される。
以下、部分画像を用いた処理の別の例について説明する。
図２３には、変形例４に係る機器機能管理テーブルの別の例が示されている。この機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器の部分の名称（例えば部分の種類）を示す情報と、その部分を識別するための部分識別情報としての部分ＩＤと、その部分に割り当てられている機能（その部分が有する機能）を示す情報と、その部分に紐付く部分画像を識別するための部分画像ＩＤと、が互いに対応付けられている。部分画像は、カメラによる撮影によって得られた機器の部分の外観を表す画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。
具体例を挙げて説明すると、ＰＣ（Ａ）の表示部には画面表示機能が割り当てられており、その表示部に紐付く部分画像の部分画像ＩＤには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をＰＣ（Ａ）にて表示する機能である。ＰＣ（Ａ）の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをＰＣ（Ａ）に保存する機能である。
また、複合機Ｂの本体部にはプリント機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、プリント機能を示す情報が対応付けられている。複合機Ｂの読取部（例えば、複合機Ｂの原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分）にはスキャン機能が割り当てられており、その読取部に紐付く部分画像の部分画像ＩＤには、スキャン機能を示す情報が対応付けられている。複合機Ｂの後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く部分画像の部分画像ＩＤには、ステープル止め機能を示す情報が対応付けられている。ステープル止め機能は、出力された用紙をステープルによって綴じる機能である。
機器の部分に割り当てられている機能は、例えば、マーカレス型ＡＲ技術を用いることによって特定（識別）される。例えば、機器の部分がカメラ（例えば端末装置１０のカメラ２２）によって撮影された場合、特定部２８は、図２３に示されている機器機能管理テーブルにおいて、その外観画像データに対応付けられている機能を特定（識別）する。これにより、撮影された部分に割り当てられている機能が特定（識別）される。例えば、複合機Ｂの本体部がカメラ２２によって撮影された場合、特定部２８は、機器機能管理テーブルにおいて、複合機Ｂの本体部を表す外観画像データに対応付けられているプリント機能を特定する。これにより、複合機Ｂの本体部に割り当てられている機能がプリント機能であることが特定される。
もちろん、機器の部分に割り当てられている機能は、マーカ型ＡＲ技術を用いることによって特定（識別）されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報（例えば部分ＩＤ）がコード化された２次元バーコード等のマーカが設けられている。部分に設けられているマーカがカメラによって撮影されてマーカ型ＡＲ技術が適用された場合、その部分の部分識別情報（例えば部分ＩＤ）が取得される。このように部分識別情報が取得されると、特定部２８は、図２３に示されている機器機能管理テーブルにおいて、その部分識別情報（例えば部分ＩＤ）に対応付けられている機能を特定（識別）する。
図２４には、変形例４に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の部分が有する機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分ＩＤの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する機能を利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する機能と機器の全体が有する機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。
具体例を挙げて説明すると、ＰＣ（Ａ）の表示部と複合機Ｂの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、ＰＣ（Ａ）に保存されているデータを複合機Ｂに送信して、そのデータを複合機Ｂによって印刷する機能である。
また、複合機Ｂの本体部とプロジェクタＣの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、プロジェクタＣによって投影されているデータを複合機Ｂに送信して、そのデータを複合機Ｂによって印刷する機能である。
また、複合機Ｂの読取部とプロジェクタＣの本体部との組み合わせには、連携機能としての「スキャン投影機能」が割り当てられている。連携機能としての「スキャン投影機能」は、例えば、複合機Ｂによるスキャンによって生成されたデータをプロジェクタＣに送信して、そのデータをプロジェクタＣによって投影する機能である。
なお、連携機能は、同一の機器に含まれる複数の部分が有する機能を利用して実行可能な機能であってもよいし、互いに異なる複数の機器の部分が有する機能を利用して実行可能な機能であってもよい。また、連携機能は、３つ以上の部分が有する機能を利用して実行可能な機能であってもよい。
例えば、ユーザが複数の部分画像をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、図２４に示されている連携機能管理テーブルにおいて、当該複数の部分画像のそれぞれに紐付く部分の組み合わせに対応付けられている連携機能を特定（識別）する。例えば、複合機Ｂの本体部に紐付く部分画像とプロジェクタＣの本体部に紐付く部分画像が自動応答ＡＩに送られた場合、特定部２８は、図２４に示されている連携機能管理テーブルにおいて、複合機Ｂの本体部とプロジェクタＣの本体部との組み合わせに対応付けられている連携機能「プリント機能」等を特定する。図２２に示すように、その連携機能に関する情報は自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。
また、変形例３，４を組み合わせることで、機器画像や部分画像をユーザの発言内容として自動応答ＡＩに送る順番に応じて、連携機能に関する情報の表示が切り替えられてもよい。
（変形例５）
以下、変形例５について説明する。変形例５では、先に連携機能に関する情報がユーザの発言内容としてユーザによって端末装置１０に入力され、次に、連携対象の機器に関する情報がユーザの発言内容によって端末装置１０に入力される。以下、変形例５について詳しく説明する。
図２５には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
まず、ユーザは、連携機能の実行要求を示す発言内容１１０を入力する。図２５に示す例では、ユーザが要求している連携機能は、スキャンデータをＰＣに転送するための連携機能である。自動応答ＡＩは、その発言内容１１０を解析することで、ユーザが連携機能の実行を要求していると判断し、その連携機能に利用される機器をユーザに問い合わせるための発言内容１１２を発する。制御部２６は、その発言内容１１２を表示エリア４８ａ内に表示させる。この発言内容１１２に対して、ユーザは、連携機能に利用される機器に関する情報を端末装置１０に入力する。ユーザは、機器に関する情報としての機器画像を、ユーザの発言内容の表示位置に配置することで、機器に関する情報を端末装置１０に入力してもよいし、音声によって機器に関する情報を端末装置１０に入力してもよい。図２５に示す例では、機器画像５６，６０が、ユーザの発言内容の表示位置に表示されている。これにより、制御部２６は、機器画像５６，６０をユーザの発言内容として自動応答ＡＩに送り、特定部２８は、機器画像５６に紐付く複合機Ｂと機器画像６０に紐付くＰＣ（Ａ）を連携対象の機器として識別する。自動応答ＡＩは、識別された機器を示す発言内容１１４を発し、制御部２６は、その発言内容１１４を表示エリア４８ａ内に表示させる。この発言内容１１４に対して、ユーザが連携機能の実行指示を示す発言内容１１６を発した場合、制御部２６は、複合機ＢとＰＣ（Ａ）に、ユーザが要求した連携機能を実行させる。また、制御部２６は、連携機能の実行指示を出したことを示す情報を自動応答ＡＩの発言内容１１８として表示エリア４８ａ内に表示させる。
以上のように変形例５によれば、ユーザが先に連携機能に関する情報を自動応答ＡＩに送った場合であっても、自動応答ＡＩとの対話を通じて、簡易な操作で連携機能を実行することができる。
（変形例６）
以下、変形例６について説明する。変形例６では、自動応答ＡＩの学習機能を利用することで、自動応答ＡＩが得た情報に応じて連携機能の通知が制御される。自動応答ＡＩは、学習機能によって、例えば、ユーザに関する情報（例えば、端末装置１０の操作履歴を示す情報、機器の操作履歴を示す情報、行動履歴を示す情報等）、機器１２，１４に関する情報（例えば、利用履歴を示す情報、機器の状態を示す情報等）、等を取得する。自動応答ＡＩは、端末装置１０から情報を取得してもよいし、機器１２，１４等の機器から情報を取得してもいし、サーバ１６から情報を取得してもよいし、他の装置（例えばクラウド等）から情報を取得してもよいし、他の装置に格納されている他の操作アシスタント（例えば、他の装置に格納されている人工知能）から情報を取得してもよい。
制御部２６は、自動応答ＡＩによって取得された情報に応じて、連携機能の通知を制御する。例えば、機器に対するユーザの利用履歴を示す情報や、ユーザのスケジュール（予定）を示す情報（スケジュール情報）が自動応答ＡＩによって取得された場合、制御部２６は、利用履歴やスケジュールを参照することで、ユーザによって使用される可能性が高い連携機能に関する情報を自動応答ＡＩの発言内容として優先的にＵＩ部２０の表示部に表示させる。例えば、ユーザが複数の機器画像をユーザの発言内容として自動応答ＡＩに送ることで、当該複数の機器画像のそれぞれに紐付く機器を利用して実行可能な複数の連携機能が特定される。制御部２６は、利用履歴やスケジュールを解析し、当該複数の連携機能の中でユーザによって使用される可能性が高い連携機能に関する情報を優先的にＵＩ部２０の表示部に表示させる。例えば、制御部２６は、過去において複数の機器が連携対象の機器として指定されたタイミングとスケジュールとを突き合わせて、現時点において使用される可能性が高い連携機能に関する情報を優先的にＵＩ部２０の表示部に表示させる。
具体例を挙げて説明すると、過去において、ユーザが午後に外出した日の午前中に、第１機器画像と第２機器画像とがユーザの発言内容として自動応答ＡＩに送られて連携機能Ｚが実行されたものとする。そのような利用履歴が存在する場合において、第１機器画像と第２機器画像とがユーザの発言内容として自動応答ＡＩに送られたタイミングが、ユーザが午後に外出する予定がある日の午前中である場合、制御部２６は、上記の連携機能Ｚが使用される可能性が高いと判断し、その連携機能Ｚに関する情報を優先的にＵＩ部２０の表示部に表示させる。
別の具体例を挙げて説明すると、過去において、ある時間帯に第１機器画像と第２機器画像とがユーザの発言内容として自動応答ＡＩに送られ、連携機能としての録画機能が実行されたことで、チャンネルＸの番組が録画されたものとする。そのような利用履歴が存在する場合において、第１機器画像と第２機器画像とがユーザの発言内容として自動応答ＡＩに送られたタイミングが、その時間帯に含まれる場合、制御部２６は、上記の録画機能が使用される可能性が高いと判断し、その録画機能に関する情報（例えば、チャンネルＸを録画する機能に関する情報）を優先的にＵＩ部２０の表示部に表示させる。
また、自動応答ＡＩに送られた機器画像に紐付く機器が使用中又は故障中の場合、制御部２６は、その機器を利用して実行可能な連携機能に関する情報の優先度を下げて当該情報をＵＩ部２０の表示部に表示させてもよい。その機器が故障しておらず使用中ではない場合、制御部２６は、その機器を利用して実行可能な連携機能に関する情報を優先的にＵＩ部２０の表示部に表示させる。こうすることで、直ぐに使用可能な連携機能に関する情報が優先的にユーザに提供される。
（変形例７）
以下、変形例７について説明する。変形例７では、自動応答ＡＩが、連携対象となる機器を推奨する。例えば、ユーザが機器画像をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、その機器画像に紐付く機器を識別し、連携機能管理テーブルを参照することで、その機器との組み合わせで連携機能の実行が可能な機器を特定する。制御部２６は、特定部２８によって特定された機器に関する情報を自動応答ＡＩの発言内容としてＵＩ部２０の表示部に表示させる。例えば、ユーザが複合機Ｂに紐付く機器画像５６をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、連携機能管理テーブルを参照することで、複合機Ｂとの組み合わせで連携機能の実行が可能な機器（例えば、ＰＣやプロジェクタ等）を特定する。その機器（例えばＰＣやプロジェクタ）に関する情報が自動応答ＡＩの発言内容としてＵＩ部２０の表示部に表示される。こうすることで、連携対象となる機器がユーザに提供される。
また、特定部２８は、連携機能の使用履歴（当該ユーザの使用履歴や、他のユーザの利用履歴）に基づいて、上記の機器画像に紐付く機器（例えば複合機Ｂ）と組み合わせて実際に利用された機器を特定し、制御部２６は、その機器に関する情報を自動応答ＡＩの発言内容としてＵＩ部２０の表示部に表示させてもよい。例えば、特定部２８は、上記の機器画像に紐付く機器（例えば複合機Ｂ）との組み合わせで利用された頻度（例えば利用回数）が予め定められた閾値以上となる機器を特定してもよい。こうすることで、利用頻度が比較的に高い機器がユーザに提供される。
また、制御部２６は、上記の機器画像に紐付く機器（例えば複合機Ｂ）との組み合わせで利用された頻度が高い機器に関する情報ほど優先的にＵＩ部２０の表示部に表示させてもよい。
（変形例８）
以下、変形例８について説明する。変形例８では、複数の自動応答ＡＩ同士が連携してもよい。例えば、端末装置１０に格納されている自動応答ＡＩが、他の端末装置に格納されている自動応答ＡＩと情報（例えば、連携機能の使用履歴情報、機器の使用履歴情報等）を共有してもよい。この場合、特定部２８は、自動応答ＡＩが取得した上記の共有情報を用いることで、連携機能を特定してもよいし、変形例７と同様に、連携対象となる機器を推奨してもよい。例えば、特定部２８は、共有情報に含まれる使用履歴情報を用いることで、ユーザが操作アシスタントに渡した機器との組み合わせで連携機能を実行することが可能な機器を特定してもよい。
また、ユーザ毎に自動応答ＡＩが定められてもよい。この場合、同一の端末装置１０に複数の自動応答ＡＩが格納されていてもよい。各自動応答ＡＩは、自身に紐付けられているユーザに関する情報（例えば、端末装置１０の操作履歴情報、連携機能の使用履歴情報、機器の使用履歴情報等）を管理し、他の自動応答ＡＩと情報を共有してもよい。この場合、各自動応答ＡＩは、その共有情報を用いることで、連携対象となる機器を推奨してもよいし、連携機能を推奨してもよい。
（変形例９）
以下、変形例９について説明する。変形例９では、ユーザと自動応答ＡＩとの対話が音声によって行われる。例えば、ユーザが、連携対象となる機器の名称（例えば複合機Ｂ、ＰＣ（Ａ）等）を音声によって発した場合、その音声が端末装置１０に入力され、特定部２８（自動応答ＡＩによって実現される特定部２８）は、その音声入力を受けて連携機能を特定する。その連携機能に関する情報は、自動応答ＡＩの発言内容としてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。音声入力が用いられる場合、自動応答ＡＩに紐付く画像はＵＩ部２０の表示部に表示されなくてもよい。もちろん、自動応答ＡＩに紐付く画像が表示されているときに、音声入力によって機器に関する情報がユーザの発言内容として端末装置１０に入力されてもよい。
＜第２実施形態＞
以下、第２実施形態に係る機器システムについて説明する。上記の第１実施形態では、機器の情報がユーザの発言内容として自動応答ＡＩに送られた場合に、連携機能に関する情報が自動応答ＡＩの発言内容として通知されるが、第２実施形態では、機能の情報がユーザの発言内容として自動応答ＡＩに送られた場合に、連携機能に関する情報が自動応答ＡＩの発言内容として通知される。機能の情報は、機能を識別するための識別情報であり、例えば、機能に紐付く機能画像や、その識別情報を示す文字情報や音声情報等である。例えば、ユーザが機能に紐付く機能画像を自動応答ＡＩに送った場合や、ユーザが機能の識別情報を示す文字列を端末装置１０にて入力して自動応答ＡＩに与えた場合や、ユーザが音声によって機能の識別情報を自動応答ＡＩに与えた場合、特定部２８は、当該機能を識別する。
機能画像は、例えば、ソフトウェア（アプリケーション等）に紐付く画像であってもよいし、処理が行われる機器（現実空間に存在する機器）に紐付く画像であってもよい。機能画像は、例えばアイコン等の画像であり、ハードウェアとしての機器の実際の外観を表す画像（例えば写真）や機器そのものを表す画像と区別する意味で、バーチャルな画像ともいえる。例えば、ソフトウェアに紐付く機能画像がユーザの発言内容として自動応答ＡＩに送られた場合、その機能画像に紐付くソフトウェアを利用して実行可能な連携機能を示す情報が自動応答ＡＩの発言内容として通知される。以下、第２実施形態について詳しく説明する。
図２６には、第２実施形態に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の機能を利用して実行可能な連携機能を示す情報である。この連携管理テーブルにおいては、一例として、機能ＩＤ（例えば、ソフトウェアを識別するためのＩＤ）と、機能名（例えばソフトウェア名）を示す情報と、複数の機能を利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数の機能を利用して実行可能な連携機能が特定される。
例えば、機能としてのソフトウェアαはデータを送るソフトウェアであり、機能としてのソフトウェアβはデータにパスワードをかけるソフトウェアである。ソフトウェアα，βを組み合わせることで、例えば、データにパスワードをかけた上で送信するという連携機能が実現される。他のソフトウェアについても同様に実行可能な連携機能が定められている。
なお、３個以上の機能（例えばソフトウェア）を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
以下、第２実施形態について具体例を挙げて詳しく説明する。
図２７には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
例えば、自動応答ＡＩの発言内容として、「どの機能を利用したいですか？」といった発言内容１２０が表示エリア４８ａ内に表示される。
この発言内容１２０に対して、ユーザが機能を指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、その機能を連携対象の機能として識別する。例えば図２７に示すように、ユーザが、機能に紐付く機能画像１２２を指定し、その機能画像１２２をユーザの発言内容が表示される位置に配置することで、制御部２６は、その機能画像１２２をユーザの発言内容として自動応答ＡＩに送る。この操作に応じて、特定部２８は、その機能画像１２２に紐付く機能を連携対象の機能として識別する。図２７に示す例では、ユーザが機能画像１２２を表示エリア４８ｂに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、ＵＩ部２０を操作することで、機能を示す文字列をユーザの発言内容として端末装置１０に入力してもよい。この場合、特定部２８は、その文字列が示す機能を連携対象の機能として識別する。また、音声によって連携対象の機能の情報がユーザの発言内容として端末装置１０に入力されてもよい。
機能画像１２２は、パスワード設定機能に紐付く画像（例えば、パスワード設定ソフトウェアに紐付く画像）である。機能画像１２２がユーザによって選択されてパスワード設定機能の起動指示が与えられると、例えば、パスワード設定ソフトウェアが起動して、データ等に対するパスワードの設定処理が行われる。
例えば、制御部２６は、第１実施形態と同様に、ユーザ用の表示エリア４８ｂ内にストックエリア１２４を表示させ、そのストックエリア１２４内に機能画像を表示させる。例えば、制御部２６は、そのストックエリア１２４内に、端末装置１０にインストールされているソフトウェアに紐付く機能画像等を表示させる。また、ストックエリア１２４に表示しきれない他の機能画像が存在する場合、ユーザが、ストックエリア１２４内に表示されている機能画像をスクロール操作することで、当該他の機能画像がストックエリア１２４内に表示される。
ユーザは、第１実施形態と同様に、ストックエリア１２４から連携対象の機能に紐付く機能画像（図２７に示す例では機能画像１２２）を選択してストックエリア１２４の外側に移動させ、その機能画像１２２をユーザの発言内容として自動応答ＡＩに送ることができる。例えば、ユーザは、ドラッグ操作によって、ストックエリア１２４からユーザの発言内容が表示される位置まで機能画像１２２を移動させ、その発言内容の表示位置にてドロップ操作を行う。この操作によって、制御部２６は、機能画像１２２をユーザの発言内容として自動応答ＡＩに送る。
また、図２７に示す例では、機能画像１２２に続き、ユーザは、ストックエリア１２４から機能画像１２６を選択し、その機能画像１２６をユーザの発言内容の表示位置まで移動させている。この操作によって、その機能画像１２６がユーザの発言内容として自動応答ＡＩに送られる。機能画像１２６は、データ送信機能に紐付く画像（例えば、データ送信ソフトウェアに紐付く画像）である。機能画像１２６がユーザによって選択されてデータ送信機能の起動指示が与えられると、例えば、データ送信ソフトウェアが起動して、送信対象のデータ等が送信先に送信される。
ユーザが画面４８上で複数の機能の情報を自動応答ＡＩに送った場合、つまり、複数の機能の情報を連携対象の機能の情報として発言した場合、特定部２８は、図２６に示されている連携機能管理テーブルにおいて、当該複数の機能に対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
上記の例では、機能画像１２２，１２６が連携対象の機能として自動応答ＡＩに送られている。この場合、特定部２８は、機能画像１２２に紐付く機能と機能画像１２６に紐付く機能を連携対象の機能として識別する。なお、先に機能画像１２２を自動応答ＡＩに送り、その後に機能画像１２６を自動応答ＡＩに送ってもよいし、先に機能画像１２６を自動応答ＡＩに送り、その後に機能画像１２２を自動応答ＡＩに送ってもよい。
上記のように、機能画像１２２，１２６が自動応答ＡＩに送られてパスワード機能とデータ送信機能が連携対象の機能として識別された場合、制御部２６は、連携対象の機能として識別された機能の情報を自動応答ＡＩの発言内容１２８として表示エリア４８ａ内に表示させる。この発言内容１２８に対してユーザが承認した場合（例えば、ユーザが「はい。」といった発言内容１３０を発した場合）、ＰＣ（Ａ）と複合機Ｂとを利用して実行可能な連携機能に関する情報が表示エリア４８ａ内に表示される。
特定部２８は、機能画像１２２，１２６が連携対象の機能の情報として自動応答ＡＩに送られたタイミングで、又は、発言内容１２８に対してユーザが承認したタイミングで、図２６に示されている連携機能管理テーブルにおいて、パスワード機能とデータ送信機能との組み合わせに対応付けられている連携機能（例えば、「データにパスワードを掛けて送信する機能」等）を特定する。これにより、パスワード機能とデータ送信機能とを利用して実行可能な連携機能が特定される。このようにして特定された連携機能に関する情報は、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。なお、機能や連携機能の特定処理は、サーバ１６によって行われてもよい。
図２８には、図２７の続きの画面４８が示されている。上記のように連携機能が特定された場合、端末装置１０の制御部２６は、連携機能に関する情報を自動応答ＡＩの発言内容１３２として画面４８に表示させる。
その発言内容１３２に対して、ユーザが発言内容１３４によって連携機能を指定して実行指示を与えた場合、制御部２６はその実行指示を受けて、連携機能を実行する。また、制御部２６は、実行指示を受けたことを示す情報を自動応答ＡＩの発言内容１３６として画面４８に表示させる。別の例として、連携機能の実行を指示するためのボタン画像が画面４８に表示され、ユーザはそのボタン画像を押すことで、連携機能の実行指示を与えてもよい。パスワード機能とデータ送信機能が連携対象の機能として選ばれている場合、制御部２６は、パスワード設定ソフトウェアを起動させて、処理対象のデータにパスワードを設定し、更に、データ送信ソフトウェアを起動させて、宛先に当該データを送信する。
なお、図２７中のストックエリア１２４内に表示されている機能画像がユーザによって編集されてもよいし、その機能画像に紐付く機能に関する情報がユーザによって編集されてもよい。例えば、ユーザがストックエリア１２４内に表示されている機能画像を指定して編集指示を与えた場合、制御部２６は、編集画面をＵＩ部２０の表示部に表示させる。制御部２６は、例えば、ユーザが機能画像を長押しした場合（例えば機能画像を押している時間の長さが閾値以上となった場合）や、編集画面を表示するためのボタン画像をユーザが押した場合や、ユーザが編集の指示を音声によって端末装置１０に入力した場合等に、編集画面をＵＩ部２０の表示部に表示させる。その編集画面においては、機能画像の編集が可能であり、例えば、機能画像の部分毎に更に機能が割り当てられている場合、機能画像から部分画像を切り出すことも可能である。また、機能画像に紐付く機能に関する情報の編集も可能である。
別の例として、連携対象の機能が基本連携機能として予め設定されていてもよい。基本連携機能の情報は、端末装置１０の記憶部２４に予め記憶されていてもよい。ユーザがＵＩ部２０を利用して基本連携機能を指定してもよい。基本連携機能が設定されている場合、ユーザは、基本連携機能以外の連携対象の機能に紐付く機能画像を発言内容として自動応答ＡＩに送る。これにより、連携対象の機能が特定（識別）され、基本連携機能と当該機能とを利用して実行可能な連携機能が特定（識別）される。
以上のように第２実施形態によれば、自動応答ＡＩと対話するための画面４８上で、連携対象となる機能の情報を対話内容として自動応答ＡＩに送ることで、連携機能に関する情報が提供される。このように、自動応答ＡＩとの対話を利用した簡易な手法によって、連携機能に関する情報が提供される。
なお、３個以上の機能画像が対話内容として自動応答ＡＩに送られた場合、３個以上の機能を利用して実行可能な連携機能に関する情報が提供される。
また、特定部２８は、予め定められた制限時間内に複数の機能の情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該複数の機能を利用して実行可能な連携機能を特定し、当該制限時間内に１つの機能の情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該機能を単独機能として特定してもよい。この場合、特定部２８によって特定された連携機能又は単独機能に関する情報が、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。制限時間の開始時点は、例えば、発言内容１２０のように、自動応答ＡＩがユーザに連携対象の機能を問い合わせた時点であってもよいし、発言内容１２０が発生した後に、ユーザが最初の機能画像を自動応答ＡＩに送った時点であってもよい。
例えば図２７に示す例において、発言内容１２０のように自動応答ＡＩがユーザに連携対象の機能を問い合わせた時点から制限時間内に、ユーザが機能画像１２２のみをユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、機能画像１２２に紐付く機能（単独機能）を識別する。制御部２６は、その単独機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
一方、発言内容１２０のように自動応答ＡＩがユーザに連携機能の機能を問い合わせた時点から制限時間内に、ユーザが機能画像１２２，１２６をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、図２６に示されている連携機能管理テーブルにおいて、パスワード機能とデータ送信機能との組み合わせに対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報を表示エリア４８ａ内に表示させる。
制限時間の開始時点が、ユーザが最初の機能画像（例えば機能画像１２２）を自動応答ＡＩに送った時点である場合も、上記と同様の処理を行われる。
以上のように制限時間を設けることで、連携機能又は単独機能の提供の切り替えが可能となる。
また、ユーザによって指定された複数の機能の組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部２８は、利用可能な連携機能が登録されていないと判断する。この場合、制御部２６は、利用可能な連携機能が登録されていないことを示すメッセージを自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。このような場合であっても、機能の更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部２８は、利用可能になった連携機能を特定する。
また、第２実施形態においても、第１実施形態の変形例１から変形例９が適用されてもよい。
図２９には、変形例１を第２実施形態に適用した場合の処理が示されている。変形例１が適用されることで、連携対象としての複数の機能の情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該複数の機能を利用して実行可能な連携機能が通知される。以下、図２９を参照して、変形例１を第２実施形態に適用した場合の処理について説明する。
図２７と同様に、自動応答ＡＩの発言内容１３８として、「どの機能を利用したいですか？」といった発言内容が表示エリア４８ａ内に表示される。
上記の発言内容１３８に対して、ユーザが、複数の機能が表された画像１４０をユーザの発言内容として指定して自動応答ＡＩに送ると、特定部２８は、その画像１４０に表されている複数の機能を連携対象の機器として識別する。例えば、画像１４０に、パスワード機能に紐付く機能画像１２２とデータ送信機能に紐付く機能画像１２６が表されている場合、特定部２８は、機能画像１２２に基づいてパスワード機能を連携対象の機能として識別し、機能画像１２６に基づいてデータ送信機能を連携対象の機能として識別する。
ユーザは、画面４８を操作することで、ストックエリア１２４から機能画像１２２，１２６を選択し、画像１４０上に機能画像１２２，１２６を重ねてもよい。これにより、画像１４０に機能画像１２２，１２６が表され、画像１４０がユーザの発言内容として自動応答ＡＩに送られる。
上記のようにパスワード機能とデータ送信機能が識別された場合、制御部２６は、連携対象の機能として識別された機能の情報を自動応答ＡＩの発言内容１４２として表示エリア４８ａ内に表示させる。この発言内容１４２に対してユーザが承認した場合（例えば、ユーザが「はい。」といった発言内容１４４を発した場合）、パスワード機能とデータ送信機能とを利用して実行可能な連携機能に関する情報が、自動応答ＡＩの発言内容１４６として画面４８に表示される。その発言内容１４６に対して、ユーザが発言内容１４８によって連携機能を指定して実行指示を与えた場合、制御部２６は、パスワード設定ソフトウェアとデータ送信ソフトウェアを起動させる。これにより、パスワード設定ソフトウェアとデータ送信ソフトウェアとによって連携機能が実行される。
また、画像１４０内に３つ以上の機能画像が表示されている場合、３つ以上の機能を利用して実行可能な連携機能に関する情報が通知される。また、画像１４０内に１つの機能画像が表示されている場合、その１つの機能画像に紐付く機能（単独機能）に関する情報が通知される。
また、連携対象の機能に紐付く機能画像をストックエリア１２４から選択する場合、上記の制限時間を利用した制御によって、連携機能又は単独機能に関する情報が通知されてもよい。例えば、制限時間内に複数の機能画像がストックエリア１２４から取り出されて画像１４０上に重ねられた場合、特定部２８は、当該複数の機能画像のそれぞれに紐付く機能を利用して実行可能な連携機能を特定する。この場合、その連携機能に関する情報が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。一方、制限時間内に１つの機能画像がストックエリア１２４から取り出されて画像１４０上に重ねられた場合、特定部２８は、当該機能画像に紐付く機能（単独機能）を特定する。この場合、その単独機能に関する情報が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。
例えば図２９に示す例において、ユーザが、制限時間内に、パスワード機能に紐付く機能画像１２２をストックエリア１２４から選択して画像１４０上に重ね、他の機能画像を画像１４０上に重ねなかった場合、特定部２８は、機能画像１２２に紐付くパスワード機能を単独機能として特定する。制御部２６は、その単独機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
一方、ユーザが、制限時間内に、機能画像１２２，１２６をストックエリア１２４から選択して画像１４０上に重ねた場合、特定部２８は、図２６に示されている連携機能管理テーブルにおいて、パスワード機能とデータ送信機能との組み合わせに対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
また、変形例２が適用されることで、複数の機能画像がユーザの発言内容として自動応答ＡＩに送られた場合、当該複数の機能画像が互いに重ねられた状態を表す合成画像が生成されてもよいし（図１４（ａ）参照）、当該複数の機能画像が互いに隣り合って結合された合成画像が生成されてもよい（図１４（ｂ）参照）。合成画像がストックエリア１２４内に表示されてもよい。また、合成画像がショートカット用画像として端末装置１０に登録されてもよい。
また、変形例３が適用されることで、機能の情報を自動応答ＡＩに送る順番に応じて、通知される連携機能が変更されてもよい。この場合、図１５に示されている連携機能管理テーブルと同様に、第２実施形態に係る連携機能管理テーブルにおいても、機能画像の接続順と優先順位が定められている。
また、変形例４が適用されることで、機能画像内の部分毎に更に異なる機能が割り当てられてもよい。この場合、機能に紐付く部分画像がユーザの発言内容として自動応答ＡＩに送られた場合、当該部分画像に紐付く機能を利用して実行可能な連携機能に関する情報が表示される。また、変形例３，４の組み合わせが第２実施形態に適用されてもよい。
また、変形例５が適用されることで、先に連携機能に関する情報がユーザの発言内容としてユーザによって端末装置１０に入力され、次に、連携対象の機能に関する情報がユーザの発言内容として端末装置１０に入力されてもよい。
また、変形例６が適用されることで、自動応答ＡＩが得た情報に応じて連携機能の通知が制御されてもよい。例えば、自動応答ＡＩは、学習機能によって、機能の利用履歴を示す情報、機能を実現するためのソフトウェアの実行状況を示す情報、ユーザに関する情報（操作履歴や行動履歴を示す情報）、ユーザのスケジュールを示す情報等を取得し、これらの情報を用いて連携機能の通知を制御してもよい。
また、変形例７が適用されることで、連携対象となる機能が推奨されてもよい。例えば、ユーザが機能画像をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、その機能画像に紐付く機能を識別し、連携機能管理テーブルを参照することで、その機能との組み合わせで連携機能の実行が可能な機能を特定する。また、特定部２８は、連携機能の使用履歴に基づいて機能を推奨してもよいし、使用頻度が比較的に高い機能を推奨してもよい。
また、変形例８が適用されることで、自動応答ＡＩが他の自動応答ＡＩとの間で共有した情報に基づいて、連携機能に用いられる機能が推奨されてもよい。
また、変形例９が適用されることで、音声入力によって、連携対象の機能に関する情報が端末装置１０に入力されてもよい。
＜第３実施形態＞
以下、第３実施形態に係る機器システムについて説明する。第３実施形態は、上記の第１実施形態と第２実施形態の組み合わせに相当する。つまり、機器と機能の情報（例えば機器画像と機能画像）がユーザの発言内容として自動応答ＡＩに送られた場合、その機器と機能とを利用して実行可能な連携機能が通知される。以下、第３実施形態について詳しく説明する。
図３０には、第３実施形態に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、機器と機能（例えばソフトウェア）とを利用して実行可能な連携機能を示す情報である。この連携機能管理テーブルにおいては、一例として、ＩＤの組み合わせ（機器ＩＤと機能ＩＤとの組み合わせ）と、機器名及び機能名を示す情報と、機器と機能とを利用して実行可能な連携機能を示す情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、機器と機能とを利用して実行可能な連携機能が特定される。例えば、機器ＡとしてのＰＣ（Ａ）と機能αとしてのデータ送信機能とを組み合わせることで、例えば、ＰＣ（Ａ）を利用してデータを送信するという連携機能が実現される。他の機器と機能についても同様に実行可能な連携機能が定められている。なお、合計で３個以上の機器や機能を利用することで実行可能な連携機能が定められてもよい。この場合、３個以上の機器や機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
以下、第３実施形態について具体例を挙げて説明する。
図３１には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
例えば、自動応答ＡＩの発言内容として、「どの機能を利用したいですか？」といった発言内容１５０が表示エリア４８ａ内に表示される。
この発言内容１５０に対して、ユーザが機器を指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、その機器を連携対象の機能として識別する。例えば図３１に示すように、ユーザが、機器としてのＰＣ（Ａ）に紐付く機器画像６０を指定し、その機器画像６０をユーザの発言内容が表示される位置に配置することで、制御部２６は、その機器画像６０をユーザの発言内容として自動応答ＡＩに送る。この操作に応じて、特定部２８は、その機器画像６０に紐付くＰＣ（Ａ）を連携対象の機器として識別する。図３１に示す例では、ユーザが機器画像６０を表示エリア４８ｂに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、ＵＩ部２０を操作することで、機器を示す文字列をユーザの発言内容として端末装置１０に入力してもよい。この場合、特定部２８は、その文字列が示す機器を連携対象の機器として識別する。また、音声によって連携対象の機器の情報がユーザの発言内容として端末装置１０に入力されてもよい。
また、制御部２６は、第１実施形態と同様に、ユーザ用の表示エリア４８ｂ内にストックエリア５８を表示させ、そのストックエリア５８内に機器画像を表示させてもよい。この場合、ユーザは、そのストックエリア５８内から機器画像を選択し、その機器画像を、ユーザの発言内容の表示位置に移動させてもよい。この場合、制御部２６は、その機器画像をユーザの発言内容として自動応答ＡＩに送る。
また、図３１に示す例では、自動応答ＡＩの発言内容１５２の後で、機器画像６０に続き、ユーザは機能を指定している。この場合、特定部２８は、その機能を連携対象の機能として識別する。例えば、ユーザが、機能に紐付く機能画像１５４を指定し、その機能画像１５４をユーザの発言内容の表示位置に配置することで、制御部２６は、その機能画像１５４をユーザの発言内容として自動応答ＡＩに送る。この操作に応じて、特定部２８は、その機能画像１５４に紐付く機能を連携対象の機能として識別する。図３１に示す例では、ユーザが機能画像１５４を表示エリア４８ｂに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、ＵＩ部２０を操作することで、機能を示す文字列をユーザの発言内容として端末装置１０に入力してもよい。この場合、特定部２８は、その文字列が示す機能を連携対象の機能として識別する。また、音声によって連携対象の機能の情報がユーザの発言内容として端末装置１０に入力されてもよい。
機能画像１５４は、画像形成機能に紐付く画像（例えば、画像形成ソフトウェアに紐付く画像や、複合機の機能に紐付く画像）である。機能画像１５４がユーザによって選択されて画像形成機能の起動指示が与えられると、例えば、画像形成ソフトウェアが起動して、印刷指示やスキャン指示が複合機に与えられる。
ユーザが画面４８上で機器と機能の情報を自動応答ＡＩに送った場合、つまり、機器と機能の情報を連携対象の情報として発言した場合、特定部２８は、図３０に示されている連携機能管理テーブルにおいて、当該機器と当該機能との組み合わせに対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
上記の例では、機器画像６０と機能画像１５４が連携対象として自動応答ＡＩに送られている。この場合、特定部２８（自動応答ＡＩによって実現される特定部２８）は、機器画像６０に紐付くＰＣ（Ａ）と機能画像１５４に紐付く画像形成機能とを連携対象として識別する。なお、先に機器画像６０を自動応答ＡＩに送り、その後に機能画像１５４を自動応答ＡＩに送ってもよいし、先に機能画像１５４を自動応答ＡＩに送り、その後に機器画像６０を自動応答ＡＩに送ってもよい。
上記のように、機器画像６０と機能画像１５４が自動応答ＡＩに送られて連携対象の機器と機能が識別された場合、制御部２６は、連携対象として識別された機器と機能の情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。この発言内容に対してユーザが承認した場合（例えば、ユーザが「はい。」といった発言内容を発した場合）、ＰＣ（Ａ）と画像形成機能とを利用して実行可能な連携機能に関する情報が表示エリア４８ａ内に表示されてもよい。
特定部２８は、機器画像６０に紐付くＰＣ（Ａ）と機能画像１５４に紐付く画像形成機能との組み合わせに対応付けられている連携機能（例えば、「スキャン転送機能」や「プリント機能」等）を特定する。これにより、ＰＣ（Ａ）と画像形成機能とを利用して実行可能な連携機能が特定される。このようにして特定された連携機能に関する情報は、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。なお、機能や連携機能の特定処理は、サーバ１６によって行われてもよい。
制御部２６は、連携機能に関する情報を自動応答ＡＩの発言内容１５６として表示エリア４８ａ内に表示させる。
その発言内容１５６に対して、ユーザが発言内容によって連携機能を指定して実行指示を与えた場合、制御部２６はその実行指示を受けて、連携機能を実行する。例えば、スキャン転送機能の実行指示が与えられた場合、例えば、画像形成ソフトウェアを利用することで、ユーザによって複合機が指定され、その複合機によるスキャンによって生成されたデータが、その複合機からＰＣ（Ａ）に転送される。
上記とは別の例として、例えば、複合機Ｂに紐付く機器画像とデータ送信機能に紐付く機能画像とがユーザの発言内容として自動応答ＡＩに送られた場合、特定部２８は、複合機Ｂとデータ送信機能を連携対象として識別する。この場合、特定部２８は、図３０に示されている連携機能管理テーブルを参照することで、複合機Ｂとデータ送信ソフトウェアとを利用して実行可能な連携機能を特定する。その連携機能を示す情報は、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。
別の例として、連携対象の機器が基本連携機器として予め設定されていてもよいし、連携対象の機能が基本連携機能として予め定められていてもよい。基本連携機器や基本連携機能の情報は、端末装置１０の記憶部２４に予め記憶されていてもよい。ユーザがＵＩ部２０を利用して基本連携機器や基本連携機能を指定してもよい。基本連携機器や基本連携機能が設定されている場合、ユーザは、基本連携機器や基本連携機能以外の連携対象の機器や機能の情報をユーザの発言内容として自動応答ＡＩに送る。これにより、連携対象の機器や機能が特定（識別）される。
以上のように第３実施形態によれば、自動応答ＡＩと対話するための画面４８上で、連携対象となる機器と機能の情報を対話内容として自動応答ＡＩに送ることで、連携機能に関する情報が提供される。このように、自動応答ＡＩとの対話を利用した簡易な手法によって、連携機能に関する情報が提供される。
なお、合計で３個以上の機器画像や機能画像がユーザの発言内容として自動応答ＡＩに送られた場合、３個以上の機器や機能を利用して実行可能な連携機能を示す情報が自動応答ＡＩの発言内容として表示されてもよい。
また、特定部２８は、予め定められた制限時間内に機器と機能の情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該機器と当該機能を利用して実行可能な連携機能を特定し、当該制限時間内に１つの機器又は１つの機能の情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該１つの機器が有する機能又は当該１つの機能を単独機能として特定してもよい。この場合、特定部２８によって特定された連携機能又は単独機能に関する情報がＵＩ部２０の表示部に表示される。制限時間の開始時点は、例えば、発言内容１５０のように、自動応答ＡＩがユーザに連携対象を問い合わせた時点であってもよいし、発言内容１５０が発生した後に、ユーザが最初の機器画像や機能画像を自動応答ＡＩに送った時点であってもよい。
例えば図３１に示す例において、発言内容１５０のように自動応答ＡＩがユーザに連携対象を問い合わせた時点から制限時間内に、ユーザが機器画像６０のみをユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、機器画像６０に紐付く機器が有する機能（単独機能）を識別する。制御部２６は、その単独機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
一方、発言内容１５０のように自動応答ＡＩがユーザに連携機能を問い合わせた時点から制限時間内に、ユーザが機器画像６０と機能画像１５４をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、図３０に示されている連携機能管理テーブルにおいて、ＰＣ（Ａ）と画像形成機能との組み合わせに対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報を表示エリア４８ａ内に表示させる。
制限時間の開始時点が、ユーザが最初の画像（例えば機器画像６０）を自動応答ＡＩに送った時点である場合も、上記と同様の処理を行われる。
以上のように制限時間を設けることで、連携機能又は単独機能の提供の切り替えが可能となる。
また、ユーザによって指定された機器と機能との組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部２８は、利用可能な連携機能が登録されていないと判断する。この場合、制御部２６は、利用可能な連携機能が登録されていないことを示すメッセージを自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。このような場合であっても、機器や機能の更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部２８は、利用可能になった連携機能を特定する。
また、第３実施形態においても、第１実施形態の変形例１から変形例９が適用されてもよい。
図３２には、変形例１を第３実施形態に適用した場合の処理が示されている。変形例１が適用されることで、連携対象としての機器と機能の情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該機器と当該機能を利用して実行可能な連携機能が通知される。以下、図３２を参照して、変形例１を第３実施形態に適用した場合の処理について説明する。
図３１と同様に、自動応答ＡＩの発言内容１５８として、「どの機能を利用したいですか？」といった発言内容が表示エリア４８ａ内に表示される。
上記の発言内容１５８に対して、ユーザが、機器と機能が表された画像１６０をユーザの発言内容として指定して自動応答ＡＩに送ると、特定部２８は、その画像１６０に表されている機器と機能を連携対象として識別する。例えば、画像１６０に、機器画像６０と機能画像１５４が表されている場合、特定部２８は、機器画像６０に基づいてＰＣ（Ａ）を連携対象の機器として識別し、機能画像１５４に基づいて画像形成機能を連携対象の機能として識別する。
ユーザは、画面４８を操作することで、ストックエリア５８から機器画像６０を選択し、画像１６０上に機器画像６０を重ねてもよい。同様に、ユーザは、画面４８を操作することで、ストックエリア１２４から機能画像１５４を選択し、画像１６０上に機能画像１５４を重ねてもよい。これにより、画像１６０に機器画像６０と機能画像１５４が表され、画像１６０がユーザの発言内容として自動応答ＡＩに送られる。
上記のようにＰＣ（Ａ）と画像形成機能が連携対象として識別された場合、制御部２６は、連携対象として識別された機器と機能の情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。この発言内容に対してユーザが承認した場合（例えば、ユーザが「はい。」といった発言内容を発した場合）、ＰＣ（Ａ）と画像形成機能とを利用して実行可能な連携機能に関する情報が、自動応答ＡＩの発言内容１６２として表示エリア４８ａ内に表示されてもよい。その発言内容１６２に対して、ユーザが発言内容１６４によって連携機能を指定して実行指示を与えた場合、制御部２６は、指定された連携機能を実行する。
また、画像１６０内に合計で３つ以上の機器画像や機能画像が表示されている場合、合計で３つ以上の機器と機能を利用して実行可能な連携機能に関する情報が通知される。また、画像１６０内に１つの機器画像又は１つの機能画像が表示されている場合、その１つの機器画像に紐付く機能が有する機能（単独機能）、又は、その１つの機能画像に紐付く機能（単独機能）に関する情報が通知される。
また、機器画像や機能画像をストックエリアから選択する場合、上記の制限時間を利用した制御によって、連携機能又は単独機能に関する情報が通知されてもよい。例えば、制限時間内に機器画像と機能画像がストックエリアから取り出されて画像１６０上に重ねられた場合、特定部２８は、機器画像に紐付く機器と機能画像に紐付く機能とを利用して実行可能な連携機能を特定する。この場合、その連携機能に関する情報が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。一方、制限時間内に１つの機器画像又は１つの機能画像がストックエリアから取り出されて画像１６０上に重ねられた場合、特定部２８は、当該機器画像に紐付く機器が有する機能（単独機能）、又は、当該機能画像に紐付く機能（単独機能）を特定する。この場合、その単独機能に関する情報が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。
また、変形例２が適用されることで、機器画像と機能画像がユーザの発言内容として自動応答ＡＩに送られた場合、当該機器画像と当該機能画像が互いに重ねられた状態を表す合成画像が生成されてもよいし（図１４（ａ）参照）、当該機器画像と当該機能画像が互いに隣り合って結合された合成画像が生成されてもよい（図１４（ｂ）参照）。合成画像がストックエリア内に表示されてもよい。また、合成画像がショートカット用画像として端末装置１０に登録されてもよい。
また、変形例３が適用されることで、機器と機能の情報を自動応答ＡＩに送る順番に応じて、通知される連携機能が変更されてもよい。この場合、図１５に示されている連携機能管理テーブルと同様に、第３実施形態に係る連携機能管理テーブルにおいても、機器画像と機能画像の接続順と優先順位が定められている。
また、変形例４が適用されることで、機器画像内の部分毎に異なる機能が割り当てられていてもよいし、機能画像内の部分毎に更に異なる機能が割り当てられてもよい。この場合、機器の部分に紐付く部分画像がユーザの発言内容として自動応答ＡＩに送られた場合、当該部分を利用して実行可能な連携機能に関する情報が表示される。同様に、機能に紐付く部分画像がユーザの発言内容として自動応答ＡＩに送られた場合、当該部分画像に紐付く機能を利用して実行可能な連携機能に関する情報が表示される。また、変形例３，４の組み合わせが第３実施形態に適用されてもよい。
また、変形例５が適用されることで、先に連携機能に関する情報がユーザの発言内容としてユーザによって端末装置１０に入力され、次に、連携対象の機器と機能に関する情報がユーザの発言内容として端末装置１０に入力されてもよい。
また、変形例６が適用されることで、自動応答ＡＩが得た情報に応じて連携機能の通知が制御されてもよい。例えば、自動応答ＡＩは、学習機能によって、機器と機能の利用履歴を示す情報、機器の実行状況を示す情報、機能を実現するためのソフトウェアの実行状況を示す情報、ユーザに関する情報（操作履歴や行動履歴を示す情報）、ユーザのスケジュールを示す情報等を取得し、これらの情報を用いて連携機能の通知を制御してもよい。
また、変形例７が適用されることで、連携対象となる機能が推奨されてもよい。例えば、ユーザが機器画像をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、その機器画像に紐付く機器を識別し、連携機能管理テーブルを参照することで、その機器との組み合わせで連携機能の実行が可能な機能を特定する。その機能がユーザに推奨される。同様に、連携対象となる機器が推奨されてもよい。例えば、ユーザが機能画像をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、その機能画像に紐付く機能を識別し、連携機能管理テーブルを参照することで、その機能との組み合わせで連携機能の実行が可能な機器を特定する。その機器がユーザに推奨される。また、特定部２８は、連携機能の使用履歴に基づいて機器や機能を推奨してもよいし、使用頻度が比較的に高い機器や機能を推奨してもよい。
また、変形例８が適用されることで、自動応答ＡＩが他の自動応答ＡＩとの間で共有した情報に基づいて、連携機能に用いられる機能が推奨されてもよい。
また、変形例９が適用されることで、音声入力によって、連携対象の機器や機能に関する情報が端末装置１０に入力されてもよい。
＜第４実施形態＞
以下、第４実施形態に係る機器システムについて説明する。第４実施形態では、ファイル（データ）の情報がユーザの発言内容として自動応答ＡＩに送られた場合に、連携機能に関する情報が自動応答ＡＩの発言内容として通知される。ファイルの情報は、ファイルを識別するための識別情報であり、例えば、ファイルに紐付くファイル画像や、その識別情報を示す文字情報や音声情報等である。例えば、ユーザがファイルに紐付くファイル画像を自動応答ＡＩに送った場合や、ユーザがファイルの識別情報を示す文字列を端末装置１０にて入力して自動応答ＡＩに与えた場合や、ユーザが音声によってファイルの識別情報を自動応答ＡＩに与えた場合、特定部２８は、当該ファイルを識別する。以下、第４実施形態について詳しく説明する。
第４実施形態に係る連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。連携機能は、複数のソフトウェアを連携させることによって実現される機能である。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実現される機能であってもよい。
第４実施形態に係る連携機能について更に詳しく説明する。連携機能は、複数のファイル（データ）がユーザによって選択された場合に、当該複数のファイルを対象にして実行される機能である。例えば、個々のファイル毎に、当該ファイルに対して処理を実行するソフトウェア（アプリケーション）が紐付けられている。連携機能は、ユーザによって選択された複数のファイルのそれぞれに紐付けられているアプリケーションを連携させることによって実現される機能である。
ファイルは、例えば、文書ファイル、画像ファイル、動画ファイル、表計算ファイル、プレゼンテーション用ファイル、図形（図面）ファイル、音声ファイル等である。
文書ファイルは、文書形式（文書フォーマット）を有するファイルであり、文字列やその他の情報によって構成されるファイルである。画像や表や図形が、その他の情報として文書ファイルに含まれてもよい。文書形式は、例えばテキスト形式やドキュメント形式等である。テキスト形式を有するデータ（例えば、拡張子として文字列「.txt」が紐付いているデータ）や、ドキュメント形式を有するデータ（例えば、拡張子として文字列「.doc」や「.docx」が紐付いているデータ）等が、文書ファイルに該当する。
画像ファイルは、画像形成（画像フォーマット）を有するファイルである。画像ファイルは、ラスター形式を有する画像データであってもよいし、ベクター形式を有する画像データであってもよい。画像形式は、例えばJPEG形式、BMP（ビットマップ）形式、PDF形式、GIF形式、TIFF形式、PICT形式等である。JPEG形式を有するデータ（拡張子として文字列「.jpeg」が紐付いているデータ）、BMP形式を有するデータ（拡張子として文字列「.bmp」が紐付いているデータ）、PDF形式を有するデータ（拡張子として文字列「.pdf」が紐付いているデータ）、GIF形式を有するデータ（拡張子として文字列「.gif」が紐付いているデータ）、TIFF形式を有するデータ（拡張子として文字列「.tiff」が紐付いているデータ）、PNG形式を有するデータ（拡張子として文字列「.png」が紐付いているデータ）、PICT形式を有するデータ（拡張子として文字列「.pict」が紐付いているデータ）等が、画像ファイルに該当する。もちろん、これら以外の形式を有する画像データが、第４実施形態に係る画像ファイルとして用いられてもよい。
動画ファイルは、動画形式（動画フォーマット）を有するファイルである。動画形式は、例えばAVI形式、MP4形式、MOV形式、MPEG2-TS形式、MPEG2-PS形式、WMV形式、FLV形式等である。AVI形式を有するデータ（拡張子として文字列「.avi」が紐付いているデータ）、MP4形式を有するデータ（拡張子として文字列「.mp4」が紐付いているデータ）、MOV形式を有するデータ（拡張子として文字列「.mov」が紐付いているデータ）、MPEG2-TS形式を有するデータ（拡張子として文字列「.m2ts」が紐付いているデータ）、MPEG2-PS形式を有するデータ（拡張子として文字列「.mpeg」が紐付いているデータ）、WMV形式を有するデータ（拡張子として文字列「.wmv」が紐付いているデータ）、FLV形式を有するデータ（拡張子として文字列「.flv」が紐付いているデータ）等が、動画ファイルに該当する。もちろん、これら以外の形式を有する動画データが、第４実施形態に係る動画ファイルとして用いられてもよい。
表計算ファイルは、表形式（表フォーマット）を有するファイルであり、表やグラフやその他の情報によって構成されるファイルである。文字列や画像や図形が、その他の情報として表計算ファイルに含まれてもよい。例えば、拡張子として文字列「.csv」や「.xls」や「.xlsx」が紐付いているデータである。
プレゼンテーション用ファイルは、プレゼンテーション用のシート形式（シートフォーマット）を有するファイルである。例えば、拡張子として文字列「.ppt」や「.pptx」が紐付いているデータが、プレゼンテーション用ファイルに該当する。プレゼンテーション用ファイルは、例えば、文字列、画像（静止画像や動画像）、図形、音声等によって構成される。
図形ファイルは、図形（図面）形式（図形フォーマット）を有するファイルである。図形ファイルは、例えば、図形作成ソフトウェア（例えば２次元ＣＡＤや３次元ＣＡＤ等）によって作成されるファイルである。例えば、DXF形式（フォーマット）を有するデータ（拡張子として文字列「.dxf」が紐付いているデータ）、DWG形式を有するデータ（拡張子として文字列「.dwg」が紐付いているデータ）等である。その他、拡張子として「.vsd」や「.vsdx」が紐付いているデータが図形ファイルとして扱われてもよい。
音声ファイルは、音声形式（音声フォーマット）を有するファイルである。音声形式は、例えば、非圧縮音声形式（WAV形式、AIFF形式、BWF形式等）、非可逆圧縮音声形式（mp3形式、AAC形式、WMA形式等）、可逆圧縮音声形式（TAK形式、FLAC形式等）等である。非圧縮音声形式を有するデータ（拡張子として「.wav」等が紐付いているデータ）、非可逆圧縮音声形式を有するデータ（拡張子として文字列「.mp3」等が紐付いているデータ）、非圧縮音声形式を有するデータ（拡張子として文字列「.tak」等が紐付いているデータ）等が、音声ファイルに該当する。
第４実施形態では、連携機能は、ファイルの形式（属性）毎に定められており、連携機能管理情報は、例えば、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報（連携機能情報）と、の対応付けを示す情報である。連携機能情報は、例えば、連携機能ＩＤや連携機能名称等である。ファイル形式は、上記の文書形式、画像形式、動画形式、表形式、シート形式、図形形式、音声形式等である。連携機能管理情報を参照することで、複数のファイル形式の組み合わせに対応する連携機能が特定（識別）される。
連携機能は、互いに異なる複数の機能（例えば、互いに異なるソフトウェア）を連携させることによって実現される機能であってもよいし、同一の機能（例えば、同一のソフトウェア）を連携させることによって実現される機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、同じ機能を連携させることによって利用可能になる機能であってもよいし、互いに異なる機能を組み合わせることによって利用可能になる機能であってもよい。例えば、文書作成機能（文書作成ソフトウェア）と画像表示機能（画像表示ソフトウェア（例えば画像ビューア）とを連携させることによって、連携機能として、文書への画像の挿入（添付）機能や、画像上への文書（文字列、テキスト）の重畳機能が実現される。すなわち、文書作成機能と画像表示機能とを連携させることによって、画像挿入機能やテキスト重畳機能が実現される。
連携機能の概念の範疇には、複数の機能を連携させることによって新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数の表示機能を組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。また、複数の撮影機能を組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。また、通話機能と翻訳機能とを組み合わせることで、合体機能としての翻訳通話機能（通話内容を翻訳する機能）が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機能を連携させることで実現可能となる機能や、互いに異なる種類の機能を連携させることで実現可能となる機能が含まれてもよい。
連携機能管理情報によって管理されている連携機能は、端末装置１０にインストールされているソフトウェアによって実行可能な機能であってもよいし、外部装置（例えばサーバや他の端末装置等）にインストールされているソフトウェアによって実行可能な機能であってもよいし、端末装置１０にインストールされているソフトウェアと外部装置にインストールされているソフトウェアとによって実行可能な機能であってもよい。
なお、連携機能管理情報の別の例として、複数の機能（複数のソフトウェア）の組み合わせを示す情報と、当該複数の機能を連携させることによって実行可能な連携機能を示す情報（連携機能情報）と、が対応付けられていてもよい。
複数のファイルのそれぞれに紐付くファイル画像がユーザの発言内容として自動応答ＡＩに送られた場合、特定部２８は、連携機能管理情報において、当該複数のファイルの形式（ファイル形式）の組み合わせに対応付けられている連携機能を特定する。これにより、実行可能な連携機能が特定される。
以下、図３３を参照して、第４実施形態に係る連携機能管理情報について詳しく説明する。図３３には、第４実施形態に係る連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報（連携機能情報）と、が互いに対応付けられている。例えば、ユーザが複数のファイルの情報をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、連携機能管理テーブルにおいて、当該複数のファイルのそれぞれのファイル形式の組み合わせに対応付けられている連携機能を特定する。その連携機能に関する情報はＵＩ部２０の表示部に表示される。なお、図３３には、２つのファイル形式の組み合わせが示されているが、３つ以上のファイル形式の組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されていてもよい。
以下、図３３に示されている各連携機能について説明する。
図３３中の「文書形式」は、テキスト形式（拡張子が「.txt」である）やドキュメント形式（拡張子が「.doc」や「.docx」である）である。「表形式」は、拡張子が「.csv」や「.xls」等で表現される形式である。画像形式は、拡張子が「.jpeg」や「.pdf」等で表現される形式である。動画形式は、拡張子が「.avi」や「.mpeg」等で表現される形式である。シート形式は、拡張子が「.ppt」等で表現される形式である。図３０には、図形形式や音声形式が示されていないが、これらを含む組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されてもよい。もちろん、図３３に示されているファイル形式以外のファイル形式を含む組み合わせと連携機能との対応付けが定められて連携機能管理テーブルに登録されてもよい。
以下、図３３に示されている各連携機能について説明する。ユーザによって文書ファイルＡと表計算ファイルＢの情報がユーザの発言内容として自動応答ＡＩに送られた場合、文書形式と表形式との組み合わせに対応付けられている「表を文書に挿入する機能」と「文書を表に挿入する機能」が連携機能として特定される。「表を文書に挿入する機能」は、文書ファイルＡによって表される文書中に、表計算ファイルＢによって表される表を挿入する機能である。「文書を表に挿入する機能」は、上記の表計算ファイルＢによって表される表中に、文書ファイルＡによって表される文書を挿入する機能である。
ユーザによって文書ファイルＡと画像ファイルＣの情報がユーザの発言内容として自動応答ＡＩに送られた場合、文書形式と画像形式との組み合わせに対応付けられている「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能として特定される。「画像を文書に挿入する機能」は、文書ファイルＡによって表される文書に、画像ファイルＣによって表される画像を挿入する機能である。「文書を画像上に重畳する機能」は、画像ファイルＣによって表される画像上に、文書ファイルＡによって表される文書を重畳する機能である。
ユーザによって文書ファイルＡと動画ファイルＤの情報がユーザの発言内容として自動応答ＡＩに送られた場合、文書形式と動画形式との組み合わせに対応付けられている「動画を文書に挿入する機能」と「静止画を文書に挿入する機能」が連携機能として特定される。「動画を文書に挿入する機能」は、文書ファイルＡによって表される文書に、動画ファイルＤによって表される動画を挿入する機能である。「静止画を文書に挿入するという機能」は、文書ファイルＡによって表される文書に、動画ファイルＤを構成する１又は複数のフレーム（静止画）を挿入する機能である。例えば、文書ファイルＡは、動画に対応していない文書ファイル、つまり、動画を挿入することができないファイルに該当する場合において、「静止画を文書に挿入する機能」が実行された場合、動画ファイルＤ中の１又は複数フレーム（静止画）が、文書ファイルＡによって表される文書に挿入される。
同一のファイル形式を有する複数のファイルがユーザによって選択されてもよい。例えば、ユーザによって文書ファイルＡ１，Ａ２の情報がユーザの発言内容として自動応答ＡＩに送られた場合、文書形式と文書形式との組み合わせに対応付けられている「文書同士を合体する機能」が連携機能として特定される。「文書同士を合体する機能」は、文書ファイルＡ１，Ａ２が表す文書を合体する（例えば、２つの文書を結合する）ことで、文書ファイルＡ１，Ａ２を残しつつ、又は、文書ファイルＡ１，Ａ２を残さずに、別の新たな文書ファイルＡ３を生成する機能である。
ユーザによって表計算ファイルＢ１，Ｂ２の情報がユーザの発言内容として自動応答ＡＩに送られた場合、表形式と表形式との組み合わせに対応付けられている「表同士を合体する機能」が連携機能として特定される。「表同士を合体する機能」は、表計算ファイルＢ１，Ｂ２が表す表を合体する（例えば、２つの表を結合する）ことで、表計算ファイルＢ１，Ｂ２を残しつつ、又は、表計算ファイルＢ１，Ｂ２を残さずに、別の新たな表計算ファイルＢ３を生成する機能である。
ユーザによって動画ファイルＤ１，Ｄ２の情報がユーザの発言内容として自動応答ＡＩに送られた場合、動画形式と動画形式との組み合わせに対応付けられている「動画同士を合体する機能」が連携機能として特定される。「動画同士を合体する機能」は、動画ファイルＤ１，Ｄ２が表す動画を合体する（例えば、２つの動画を結合する）ことで、動画ファイルＤ１，Ｄ２を残しつつ、又は、動画ファイルＤ１，Ｄ２を残さずに、別の新たな動画ファイルＤ３を生成する機能である。
その他、ユーザによってプレゼンテーション用ファイルＥと文書ファイルＡの情報がユーザの発言内容として自動応答ＡＩに送られた場合、シート形式と文書形式との組み合わせに対応付けられている「文書をプレゼンテーション用シートに挿入する機能」が連携機能として特定される。「文書をプレゼンテーション用シートに挿入する機能」は、プレゼンテーション用ファイルＥによって表されるシートに、文書ファイルＡによって表される文書を挿入する機能である。
以下、第４実施形態について具体例を挙げて詳しく説明する。
図３４には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
例えば、自動応答ＡＩの発言内容として、「どのファイルを利用したいですか？」といった発言内容１６６が表示エリア４８ａ内に表示される。
この発言内容１６６に対して、ユーザがファイルを指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、そのファイルを連携対象のファイルとして識別する。例えば図３４に示すように、ユーザが、文書ファイルＡに紐付くファイル画像１６８を指定し、そのファイル画像１６８をユーザの発言内容が表示される位置に配置することで、制御部２６は、そのファイル画像１６８をユーザの発言内容として自動応答ＡＩに送る。この操作に応じて、特定部２８は、そのファイル画像１６８に紐付く文書ファイルＡを連携対象のファイルとして識別する。図３４に示す例では、ユーザがファイル画像１６８を表示エリア４８ｂに表示させる操作が、ユーザが発言内容を発する行為に相当する。なお、ユーザは、ＵＩ部２０を操作することで、ファイル名を示す文字列をユーザの発言内容として端末装置１０に入力してもよい。この場合、特定部２８は、その文字列が示すファイル名を有するファイルを連携対象のファイルとして識別する。また、音声によって連携対象のファイルの情報がユーザの発言内容として端末装置１０に入力されてもよい。
例えば、制御部２６は、第１実施形態と同様に、ユーザ用の表示エリア４８ｂ内にストックエリア１７０を表示させ、そのストックエリア１７０内にファイル画像を表示させる。例えば、制御部２６は、そのストックエリア１７０内に、端末装置１０に格納されているファイルに紐付くファイル画像を表示させる。また、ストックエリア１７０に表示しきれない他のファイル画像が存在する場合、ユーザが、ストックエリア１７０内に表示されているファイル画像をスクロール操作することで、当該他のファイル画像がストックエリア１７０内に表示される。
ユーザは、第１実施形態と同様に、ストックエリア１７０から連携対象のファイルに紐付くファイル画像（図３４に示す例ではファイル画像１６８）を選択してストックエリア１７０の外側に移動させ、そのファイル画像１６８をユーザの発言内容として自動応答ＡＩに送ることができる。例えば、ユーザは、ドラッグ操作によって、ストックエリア１７０からユーザの発言内容が表示される位置までファイル画像１６８を移動させ、その発言内容の表示位置にてドロップ操作を行う。この操作によって、制御部２６は、ファイル画像１６８をユーザの発言内容として自動応答ＡＩに送る。
また、図３４に示す例では、ファイル画像１６８に続き、ユーザは、ストックエリア１７０から画像ファイルＣに紐付くファイル画像１７２を選択し、そのファイル画像１７２をユーザの発言内容の表示位置まで移動させている。この操作によって、そのファイル画像１７２がユーザの発言内容として自動応答ＡＩに送られる。
ユーザが画面４８上で複数のファイルの情報を自動応答ＡＩに送った場合、つまり、複数のファイルの情報を連携対象のファイルの情報として発言した場合、特定部２８は、図３３に示されている連携機能管理テーブルにおいて、当該複数のファイルに対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
上記の例では、ファイル画像１６８，１７２が連携対象の機能として自動応答ＡＩに送られている。この場合、特定部２８は（自動応答ＡＩによって実現される特定部２８）は、ファイル画像１６８に紐付く文書ファイルＡとファイル画像１７２に紐付く画像ファイルＣを連携対象のファイルとして識別する。なお、先にファイル画像１６８を自動応答ＡＩに送り、その後にファイル画像１７２を自動応答ＡＩに送ってもよいし、先にファイル画像１７２を自動応答ＡＩに送り、その後にファイル画像１６８を自動応答ＡＩに送ってもよい。
上記のように、ファイル画像１６８，１７２が自動応答ＡＩに送られて文書ファイルＡと画像ファイルＣが連携対象のファイルとして識別された場合、制御部２６は、連携対象のファイルとして識別されたファイルの情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。この発言内容に対してユーザが承認した場合（例えば、ユーザが「はい。」といった発言内容を発した場合）、文書ファイルＡと画像ファイルＣとを利用して実行可能な連携機能に関する情報が表示エリア４８ａ内に表示される。
特定部２８は、文書ファイルＡの拡張子（例えば、文書ファイルＡの属性情報として文書ファイルＡに紐付けられている拡張子）に基づいて文書ファイルＡのファイル形式を識別する。同様に、特定部２８は、画像ファイルＣの拡張子（例えば、画像ファイルＣの属性情報として画像ファイルＣに紐付けられている拡張子）に基づいて画像ファイルＣのファイル形式を識別する。なお、拡張子は、ファイル名に含まれている場合がある。文書ファイルＡの拡張子が、「.txt」や「.docx」等のように文書形式を表す拡張子に該当する場合、特定部２８は、文書ファイルＡのファイル形式は文書形式であると識別する。画像ファイルＣの拡張子が、「.jpeg」等のように画像形式を表す拡張子に該当する場合、特定部２８は、画像ファイルＣのファイル形式は画像形式であると識別する。そして、特定部２８は、図３３に示されている連携機能管理テーブルにおいて、文書形式と画像形式との組み合わせに対応付けられている連携機能（「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」）を特定する。このようにして特定された連携機能に関する情報は、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。なお、ファイルや連携機能の特定処理は、サーバ１６によって行われてもよい。
制御部２６は、連携機能に関する情報を自動応答ＡＩの発言内容１７４として表示エリア４８ａ内に表示させる。
その発言内容１７４に対して、ユーザが発言内容によって連携機能を指定して実行指示を与えた場合、制御部２６（自動応答ＡＩによって実現される制御部２６）はその実行指示を受けて、連携機能を実行する。例えば、「画像を文書に挿入する機能」の実行指示がユーザによって与えられた場合、制御部２６は、文書ファイルＡによって表される文書中に、画像ファイルＣによって表される画像を挿入する。
より詳しく説明すると、制御部２６は、文書アプリケーションと画像アプリケーションを起動させる。文書アプリケーションは、文書形式を有するファイルの生成や編集や表示を行う機能を有するソフトウェア（プログラム）である。画像アプリケーションは、画像形式を有するファイルの生成や編集や表示を行う機能を有するソフトウェア（プログラム）である。なお、文書アプリケーションは、文書ファイルＡに予め紐付けられていてもよいし、画像アプリケーションは、画像ファイルＣに予め紐付けられていてもよい。制御部２６は、画像アプリケーションが有する機能を利用することで、画像ファイルＣから画像をコピーし、文書アプリケーションが有する機能を利用することで、文書ファイルＡによって表される文書中に当該画像を貼り付ける。これにより、画像が挿入された文書が生成される。なお、制御部２６は、画像アプリケーションが有る機能を利用することで、画像ファイルＣによって表される画像から特定部分を表す部分画像を抽出し、その部分画像を文書中に貼り付けてもよい。文書において画像が貼り付けられる領域は、予め定められた領域であってもよいし、ユーザによって指定された領域であってもよいし、その画像に関連する文字列が記述されていると推測される領域であってもよい。例えば、制御部２６は、画像に表されている特徴部分を表現する文字列を推測や検索し、文書において、その文字列と同一又は類似の意味を有する文字列が記述されている領域を、画像に関連する文字列が記述されている領域であると推測する。もちろん、別の手法によって、その領域が推測されてもよい。
「文書を画像上に重畳する機能」の実行指示がユーザによって与えられた場合も上記と同様に、文書アプリケーションが有する機能によって、文書ファイルＡによって表される文書の全部又は一部がコピーされ、コピーされた文書が、画像ファイルＣによって表される画像上に重畳される。文書においてコピーされる部分は、予め定められていてもよいし、ユーザによって指定されてもよい。また、画像において文書が重畳される部分は、予め定められていてもよいし、ユーザによって指定されてもよい。
制御部２６は、連携機能を実行することで新たなファイルを生成してもよい。この場合、連携対象として選択された複数のファイル自体は編集されない。例えば、文書ファイルＡと画像ファイルＣが連携対象のファイルとして選択され、例えば「画像を文書に挿入する機能」の実行指示が与えられた場合、制御部２６は、文書ファイルＡによって表される文書中に画像ファイルＣによって表される画像を貼り付けることで、新たな文書ファイルＡＣを生成する。この場合、制御部２６は、文書ファイルＡＣに紐付く新たなファイル画像（例えばアイコン）を生成し、そのファイル画像を画面４８に表示させてもよい。この場合、文書ファイルＡと画像ファイルＣ自体は編集されない。
「文書を画像上に重畳する機能」の実行指示が与えられた場合も同様に、制御部２６は、画像ファイルＣによって表される画像上に、文書ファイルＡによって表される文書の全部又は一部を重畳させることで、新たな画像ファイルＣＡを生成する。この場合も、文書ファイルＡと画像ファイルＣ自体は編集されない。
別の例として、制御部２６は、連携機能を実行することで、新たなファイルを生成せずに、連携対象として選択されたファイル自体を編集（加工等を含む）してもよい。上記の例で説明すると、制御部２６は、文書ファイルＡによって表される文書中に画像ファイルＣによって表される画像を貼り付け、その画像の貼り付けが反映された文書ファイルを文書ファイルＡとして保存する。この場合、文書ファイルＡが更新される。
別の例として、連携対象のファイルが基本連携ファイルとして予め設定されていてもよい。基本連携ファイルの情報は、端末装置１０の記憶部２４に予め記憶されていてもよい。ユーザがＵＩ部２０を利用して基本連携ファイルを指定してもよい。基本連携ファイルが設定されている場合、ユーザは、基本連携ファイル以外の連携対象のファイルの情報をユーザの発言内容として自動応答ＡＩに送る。これにより、連携対象のファイルが特定（識別）される。
以上のように第４実施形態によれば、自動応答ＡＩと対話するための画面４８上で、連携対象となるファイルの情報を対話内容として自動応答ＡＩに送ることで、連携機能に関する情報が提供される。このように、自動応答ＡＩとの対話を利用した簡易な手法によって、連携機能に関する情報が提供される。
なお、３個以上のファイル画像がユーザの発言内容として自動応答ＡＩに送られた場合、３個以上のファイルの形式の組み合わせに対応付けられている連携機能に関する情報が表示されてもよい。
第４実施形態においては、ファイル同士の主従関係に応じて、連携機能に関する情報の表示や、実行される連携機能が変更されてもよい。例えば、ファイルに表されるコンテンツ自体の編集が可能なファイルが主ファイルに該当し、コンテンツ自体の編集が不可能なファイルが従ファイルに該当する。一例として、文書ファイルに表される文書自体の編集が可能な場合、当該文書ファイルは主ファイルに該当する。また、画像ファイルに表される画像自体の編集が不可能な場合（つまり、画像上にコンテンツを重畳させることは可能であるが、当該画像自体の編集が不可能な場合）、当該画像ファイルは従ファイルに該当する。他のファイルについても同様である。もちろん、文書ファイルであっても、文書の編集が不可能な文書ファイルは従ファイルに該当し、画像ファイルであっても、画像の編集が可能な画像ファイルは主ファイルに該当する。
特定部２８は、ファイル形式（つまり拡張子）に基づいて、ファイルが主ファイル又は従ファイルの何れかに該当するのかを判断してもよい。例えば、特定部２８は、文書形式を有するファイル、表形式を有するファイル、シート形式を有するファイル、及び、図形形式を有するファイルは、主ファイルに該当すると判断し、画像形式を有するファイル、動画形式を有するファイル、及び、音声形式を有するファイルは、従ファイルに該当すると判断してもよい。もちろん、ファイルが主ファイル又は従ファイルの何れかに該当するのかという判断は、ファイル形式によって一概に判断されずに、連携対象として選択されたファイルを個別的に判断することで、当該ファイルが主ファイル又は従ファイルの何れかに該当するのかを判断してもよい。例えば、画像形式を有するファイルであっても、画像の編集が可能なファイルであれば、当該ファイルは主ファイルに該当してもよい。
例えば、文書ファイルＡに紐付くファイル画像１６８と画像ファイルＣに紐付くファイル画像１７２が、ユーザの発言内容として自動応答ＡＩに送られた場合、特定部２８は、文書ファイルＡに紐付く拡張子に基づいて、文書ファイルＡが主ファイル又は従ファイルの何れかに該当するのかを判断し、画像ファイルＣに紐付く拡張子に基づいて、画像ファイルＣが主ファイル又は従ファイルの何れかに該当するのかを判断する。文書ファイルＡの拡張子は、例えば「.docx」であり、画像ファイルＣの拡張子は、例えば「.jpeg」であるものとする。この場合、文書ファイルＡは、文書形式を有し編集可能なファイルに該当するため、特定部２８は、文書ファイルＡが主ファイルに該当すると判断する。また、画像ファイルＣは、画像形式を有し編集不可能なファイルに該当するため、特定部２８は、画像ファイルＣが従ファイルに該当すると判断する。もちろん、特定部２８は、拡張子に基づいて判断せずに、文書ファイルＡと画像ファイルＣを個別的に判断することで、文書ファイルＡと画像ファイルＣが編集可能なファイルに該当するか否かを判断してもよい。
文書ファイルＡが主ファイルに該当し、画像ファイルＣが従ファイルに該当するため、画像ファイルＣに表された画像が貼り付け対象のコンテンツに該当し、文書ファイルＡに表された文書が当該画像の貼り付け先のコンテンツに該当する。この場合、特定部２８は、「画像を文書に挿入する機能」を連携機能として特定する。制御部２６は、「画像を文書に挿入する機能」に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。特定部２８によって複数の連携機能が特定された場合、制御部２６は、複数の連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
また、制御部２６は、図３３に示されている連携機能管理テーブルに登録されている複数の連携機能の中で、ファイルの主従関係に基づいて特定された連携機能に関する情報を、他の連携機能に関する情報よりも優先的に自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。文書ファイルＡと画像ファイルＣを例に挙げて説明すると、文書形式と画像形式との組み合わせに対応する連携機能として、「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能管理テーブルに登録されている（図３３参照）。この場合、特定部２８は、ファイルの主従関係に基づいて特定された「画像を文書に挿入する機能」を優先順位が「１位」の連携機能として特定し、「文書を画像上に重畳する機能」を優先順位が「２位」の連携機能として特定する。制御部２６は、優先順位に従って、「画像を文書に挿入する機能」に関する情報を「文書を画像上に重畳する機能」に関する情報よりも優先的に（例えば上位に）自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
また、ファイルの主従関係に基づいて複数の連携機能が特定された場合、制御部２６は、ユーザによる各連携機能の使用履歴に基づいて各連携機能の優先順位を決定し、各連携機能の優先順位に従って、各連携機能に関する情報を自動応答ＡＩの発言内容として画面４８に表示させてもよい。例えば、制御部２６は、使用頻度の高い連携機能に関する情報ほど優先的に（例えば上位に）表示エリア４８ａ内に表示させる。
また、ファイルの主従関係に基づいて複数の連携機能が特定された場合、制御部２６は、連携対象として選択された複数のファイルの関係性（つまり、複数のファイル形式の関係性）に基づいて各連携機能の優先順位を決定し、各連携機能の優先順位に従って、各連携機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させてもよい。例えば、制御部２６は、複数のファイル形式に基づいて、特定部２８によって特定された複数の連携機能に含まれる各連携機能について、使用される可能性の高さを決定する。制御部２６は、使用される可能性が高い連携機能に関する情報ほど優先的に（例えば上位に）表示エリア４８ａ内に表示させる。例えば、文書形式と画像形式との組み合わせにおいては、「文書を画像上に重畳する機能」よりも「画像を文書に挿入する機能」の方が使用される可能性が高いと予測される。この場合、制御部２６は、「画像を文書に挿入する機能」に関する情報を「文書を画像上に重畳する機能」に関する情報よりも優先的に表示エリア４８ａ内に表示させる。
なお、特定部２８は、予め定められた制限時間内に複数のファイルの情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該複数のファイルを利用して実行可能な連携機能を特定し、当該制限時間内に１つのファイルの情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該１つのファイルを利用して実行可能な単独機能として特定してもよい。この場合、特定部２８によって特定された連携機能又は単独機能に関する情報がＵＩ部２０の表示部に表示される。制限時間の開始時点は、例えば、発言内容１６６のように、自動応答ＡＩがユーザに連携対象を問い合わせた時点であってもよいし、発言内容１６６が発生した後に、ユーザが最初のファイル画像を自動応答ＡＩに送った時点であってもよい。
例えば図３４に示す例において、発言内容１６６のように自動応答ＡＩがユーザに連携対象を問い合わせた時点から制限時間内に、ユーザがファイル画像１６８のみをユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、ファイル画像１６８に紐付くファイルを利用して実行可能な機能（単独機能）を識別する。制御部２６は、その単独機能に関する情報を自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
一方、発言内容１６６のように自動応答ＡＩがユーザに連携機能を問い合わせた時点から制限時間内に、ユーザがファイル画像１６８とファイル画像１７２をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、図３３に示されている連携機能管理テーブルにおいて、文書ファイル（文書形式を有するファイル）と画像ファイル（画像形式を有するファイル）との組み合わせに対応付けられている連携機能を特定する。制御部２６は、その連携機能に関する情報を表示エリア４８ａ内に表示させる。
制限時間の開始時点が、ユーザが最初の画像（例えばファイル画像１６８）を自動応答ＡＩに送った時点である場合も、上記と同様の処理を行われる。
以上のように制限時間を設けることで、連携機能又は単独機能の提供の切り替えが可能となる。
また、ユーザによって指定された複数のファイル形式の組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部２８は、利用可能な連携機能が登録されていないと判断する。この場合、制御部２６は、利用可能な連携機能が登録されていないことを示すメッセージを自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。このような場合であっても、機器やソフトウェアの更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部２８は、利用可能になった連携機能を特定する。
また、第４実施形態においても、第１実施形態の変形例１から変形例９が適用されてもよい。
図３５には、変形例１を第４実施形態に適用した場合の処理が示されている。変形例１が適用されることで、連携対象としての複数のファイルの情報がユーザの発言内容として自動応答ＡＩに送られた場合、当該複数のファイルを利用して実行可能な連携機能が通知される。以下、図３５を参照して、変形例１を第４実施形態に適用した場合の処理について説明する。
図３４と同様に、自動応答ＡＩの発言内容１７６として、「どのファイルを利用したいですか？」といった発言内容が表示エリア４８ａ内に表示される。
上記の発言内容１７６に対して、ユーザが、複数のファイルが表された画像１７８をユーザの発言内容として指定して自動応答ＡＩに送ると、特定部２８は、その画像１７８に表されている複数のファイルを連携対象のファイルとして識別する。例えば、画像１７８に、ファイル画像１６８，１７２が表されている場合、特定部２８は、ファイル画像１６８に基づいて文書ファイルＡを連携対象のファイルとして識別し、ファイル画像１７２に基づいて画像ファイルＣを連携対象のファイルとして識別する。
ユーザは、画面４８を操作することで、ストックエリア１７０からファイル画像１６８，１７２を選択し、画像１７８上にファイル画像１６８，１７２を重ねてもよい。これにより、画像１７８にファイル画像１６８，１７２が表され、画像１７８がユーザの発言内容として自動応答ＡＩに送られる。
上記のように文書ファイルＡと画像ファイルＣが連携対象として識別された場合、制御部２６は、連携対象として識別されたファイルの情報を自動応答ＡＩの発言内容として画面４８に表示させてもよい。この発言内容に対してユーザが承認した場合（例えば、ユーザが「はい。」といった発言内容を発した場合）、文書ファイルＡと画像ファイルＣとを利用して実行可能な連携機能に関する情報が、自動応答ＡＩの発言内容１８０として表示エリア４８ａ内に表示されてもよい。その発言内容１８０に対して、ユーザが発言内容１８２によって連携機能を指定して実行指示を与えた場合、制御部２６は、指定された連携機能を実行する。
また、画像１７８内に３つ以上のファイル画像が表示されている場合、３つ以上のファイルを利用して実行可能な連携機能に関する情報が通知される。また、画像１７８内に１つのファイル画像が表示されている場合、その１つのファイル画像に紐付くファイルを利用して実行可能な機能（単独機能）に関する情報が通知される。
また、ファイル画像をストックエリアから選択する場合、上記の制限時間を利用した制御によって、連携機能又は単独機能に関する情報が通知されてもよい。例えば、制限時間内に複数のファイル画像がストックエリアから取り出されて画像１７８上に重ねられた場合、特定部２８は、当該複数のファイルを利用して実行可能な連携機能を特定する。この場合、その連携機能に関する情報が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。一方、制限時間内に１つのファイル画像がストックエリアから取り出されて画像１７８上に重ねられた場合、特定部２８は、当該ファイル画像に紐付くファイルを利用して実行可能な機能（単独機能）を特定する。この場合、その単独機能に関する情報が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。
また、変形例２が適用されることで、複数のファイル画像がユーザの発言内容として自動応答ＡＩに送られた場合、当該複数のファイル画像が互いに重ねられた状態を表す合成画像が生成されてもよいし（図１４（ａ）参照）、当該複数のファイル画像が互いに隣り合って結合された合成画像が生成されてもよい（図１４（ｂ）参照）。合成画像がストックエリア１７０内に表示されてもよい。また、合成画像がショートカット用画像として端末装置１０に登録されてもよい。
また、変形例３が適用されることで、複数のファイルの情報を自動応答ＡＩに送る順番に応じて、通知される連携機能が変更されてもよい。この場合、図１５に示されている連携機能管理テーブルと同様に、第４実施形態に係る連携機能管理テーブルにおいても、複数のファイル画像の接続順と優先順位が定められている。
また、変形例４が適用されることで、ファイル画像内の部分毎に更に異なる機能が割り当てられていてもよい。この場合、部分画像がユーザの発言内容として自動応答ＡＩに送られた場合、当該部分に紐付く機能を利用して実行可能な連携機能に関する情報が表示される。また、変形例３，４の組み合わせが第４実施形態に適用されてもよい。
また、変形例５が適用されることで、先に連携機能に関する情報がユーザの発言内容としてユーザによって端末装置１０に入力され、次に、連携対象のファイルに関する情報がユーザの発言内容として端末装置１０に入力されてもよい。
また、変形例６が適用されることで、自動応答ＡＩが得た情報に応じて連携機能の通知が制御されてもよい。例えば、自動応答ＡＩは、学習機能によって、ファイルの利用履歴を示す情報、機器の実行状況を示す情報、機能を実現するためのソフトウェアの実行状況を示す情報、ユーザに関する情報（操作履歴や行動履歴を示す情報）、ユーザのスケジュールを示す情報等を取得し、これらの情報を用いて連携機能の通知を制御してもよい。
また、変形例７が適用されることで、連携対象となる機能が推奨されてもよい。例えば、ユーザがファイル画像をユーザの発言内容として自動応答ＡＩに送った場合、特定部２８は、そのファイル画像に紐付くファイルを識別し、連携機能管理テーブルを参照することで、そのファイルの形式との組み合わせで連携機能の実行が可能な機能を特定する。また、特定部２８は、連携機能の使用履歴に基づいてファイルを推奨してもよいし、使用頻度が比較的に高いファイルを推奨してもよい。
また、変形例８が適用されることで、自動応答ＡＩが他の自動応答ＡＩとの間で共有した情報に基づいて、連携機能に用いられる機能が推奨されてもよい。
また、変形例９が適用されることで、音声入力によって、連携対象のファイルの情報が端末装置１０に入力されてもよい。
また、第４実施形態において、複数のファイルの名称（ファイル名）を示す情報がユーザの発言内容として自動応答ＡＩに送られた場合、特定部２８は、複数のファイル名に応じた連携機能を特定してもよい。そのための連携機能管理テーブルにおいては、ファイル名の組み合わせと連携機能とが互いに対応付けられており、特定部２８は、その連携機能管理テーブルを参照することで、複数のファイル名の組み合わせに対応付けられている連携機能を特定する。
また、特定部２８は、自動応答ＡＩに送られたファイルの名称に基づいて、コンテンツが追加されるファイルを特定してもよい。例えば、自動応答ＡＩに送られたファイルの名称（ファイル名）に、文字列「台帳」、「まとめ」、「管理」、「統計」、「グラフ」、「表」、「リスト」等のように、データをまとめるファイル（つまり、他のデータのコンテンツが追加されることが想定又は予測されるファイル）であることを示唆する文字列が含まれている場合、特定部２８は、当該ファイルを、コンテンツの追加先のファイルとして識別する。また、特定部２８は、上記のまとめ用の文字列が含まれないファイル名を有するファイルや、コンテンツ（材料）を提供するファイルであることを示唆する文字列が含まれるファイル名を有するファイルを、追加対象のコンテンツ（追加対象の材料）を含むファイルとして識別する。例えば、文字列「レシート」、「伝票」、「個人データ」、「機器データ」等が含まれるファイル名を有するファイルは、上記のまとめ用のファイルに該当せず、また、コンテンツ（材料）を提供するファイルであると判断される。
例えば、連携対象のファイルとして文書ファイルＡ１，Ａ２がユーザの発言内容として自動応答ＡＩに送られた場合において、文書ファイルＡ１が、上記のまとめ用の文字列を含むファイル名を有し、文書ファイルＡ２が、まとめ用の文字列を含まず材料提供用の文字列を含むファイル名を有する場合、特定部２８は、材料側の文書ファイルＡ２をまとめ用の文書ファイルＡ１に記入、複製、統計処理等を行う連携機能を、優先的な連携機能として特定する。制御部２６は、その優先的な連携機能を、他の連携機能よりも優先的に画面４８に表示させる。
なお、連携対象の組み合わせは、上記の第１実施形態から第４実施形態における組み合わせに限定されるものではない。例えば、機器、機能（機器によって実行される機能とソフトウェアによって実行される機能を含む）、ファイル、及び、ソフトウェアの中の少なくとも２つの組み合わせが連携対象として選択された場合、その組み合わせを使用して実行可能な連携機能の通知が制御されてもよい。例えば、機器画像とファイル画像がユーザの発言内容として自動応答ＡＩに送られた場合、特定部２８は、当該機器画像に紐付く機器と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部２６は、その連携機能に関する情報の通知として、その連携機能に関する情報を自動応答ＡＩの発言内容として画面４８に表示させてもよいし、音声情報として出力してもよい。具体例を挙げて説明すると、複合機Ｂに紐付く機器画像と文書ファイルに紐付くファイル画像とがユーザの発言内容として自動応答ＡＩに送られた場合、特定部２８は、複合機Ｂと文書ファイルとを使用して実行可能な連携機能（例えば、文書ファイルを複合機Ｂによって印刷する機能や、文書ファイルを複合機Ｂによってファクシミリ送信する機能等）を特定する。制御部２６は、その連携機能に関する情報の通知を制御する。同様に、ソフトウェアに紐付く機能画像とファイル画像がユーザの発言内容として自動応答ＡＩに送られた場合、特定部２８は、当該機能画像に紐付く機能と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部２６は、その連携機能に関する情報の通知を制御してもよい。具体例を挙げて説明すると、文書アプリケーションに紐付く機能画像と文書ファイルに紐付くファイル画像とがユーザの発言内容として自動応答ＡＩに送られた場合、特定部２８は、文書アプリケーションと文書ファイルとを使用して実行可能な連携機能（例えば、文書アプリケーションによって文書ファイルを編集する機能や出力する機能等）を特定する。また、機器画像と機能画像とファイル画像がユーザの発言内容として自動応答ＡＩに送られた場合、特定部２８は、当該機器画像に紐付く機器と当該機能画像に紐付く機能（例えばソフトウェア）と当該ファイル画像に紐付くファイルとを使用して実行可能な連携機能を特定し、制御部２６は、その連携機能に関する情報の通知を制御してもよい。具体例を挙げて説明すると、複合機Ｂに紐付く機器画像と、文書アプリケーションに紐付く機能画像と、文書ファイルに紐付くファイル画像が、ユーザの発言内容として自動応答ＡＩに送られた場合、特定部２８は、複合機Ｂと文書アプリケーションと文書ファイルとを使用して実行可能な連携機能（例えば、文書アプリケーションによって文書ファイルを編集して複合機Ｂに出力し、複合機Ｂにて当該文書ファイルを印刷やファクシミリ送信する機能等）を特定する。上記の具体例における組み合わせは一例に過ぎず、上記以外の機器、機能、ファイル、ソフトウェアを組み合わせて実行可能な連携機能が定められてもよい。また、機器、機能、ファイル、及び、ソフトウェアの情報を、音声によって自動応答ＡＩに伝えてもよい。
上記の第１実施形態から第４実施形態、及び、変形例１から変形例９は、ＲＰＡ（Robotics Process Automation）による自動実行処理を設定するときに適用されてもよい。例えば、機器や機能やファイルに関する情報が設定者によって自動応答ＡＩに送られた場合、その送られた情報の組み合わせ、及び、その組み合わせに対応付けられている連携機能が、設定内容として保存され、その設定内容に従って処理が実行される。ＲＰＡとして、例えば、データ入力や複数のアプリケーションソフトウェアの組み合わせで実行可能な作業等の定型処理、データの収集や分析等の処理、データに基づいて学習して判断する処理、等が行われてもよい。
＜第５実施形態＞
以下、第５実施形態に係る機器システムについて説明する。第５実施形態では、ユーザが自動応答ＡＩと対話しているインターフェース（例えば画面４８）上で、機器の利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、機器の情報を自動応答ＡＩに送った場合）、応答中の対話相手の表示が、その機器の表示に切り替えられる。以下、第５実施形態について詳しく説明する。
図３６には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
例えば、自動応答ＡＩの発言内容として、「どうしましたか？」といった発言内容１８４が表示エリア４８ａ内に表示される。この発言内容１８４は自動応答ＡＩの発言内容であるため、制御部２６は、自動応答ＡＩに紐付く画像５０を表示エリア４８ａ内に表示させ、発言内容１８４を自動応答ＡＩの画像５０に紐付く発言内容として表示エリア４８ａ内に表示させる。なお、この自動応答ＡＩは、機器に依存しない自動応答ＡＩであり、汎用の自動応答ＡＩともいえる。
この発言内容１８４に対して、ユーザが機器を指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、その機器を識別する。例えば、ユーザが、機器の利用指示（利用要求）を示す発言内容として「複合機Ｂを利用したい」といった発言内容１８６を発したものとする。制御部２６は、複合機Ｂの情報を含む発言内容１８６をユーザの発言内容として表示エリア４８ｂに表示させ、その発言内容１８６を自動応答ＡＩに送る。これにより、複合機Ｂの情報が自動応答ＡＩに送られる。発言内容１８６は、ユーザの画像５２に紐付く発言内容として表示エリア４８ｂ内に表示される。ユーザは、ＵＩ部２０を操作することで、機器を示す文字列をユーザの発言内容として端末装置１０に入力してもよいし、上記の第１実施形態と同様に、機器に紐付く機器画像（例えば、外観画像やアイコン等の画像）をユーザの発言内容として指定してもよい。機器画像を指定する場合、図８に示されているように、ユーザは、ストックエリア５８から利用対象の機器に紐付く機器画像を選択し、その機器画像をユーザの発言内容の表示位置に移動させることで、その機器画像をユーザの発言内容として指定してもよい。
特定部２８は、例えば図６に示されている機器機能管理テーブルを参照することで、ユーザが指定した機器が有する機能を特定する。上記の例では、複合機Ｂが指定されているため、特定部２８は、複合機Ｂが有する機能を識別する。
ユーザが機器を指定してその機器が識別されると、制御部２６は、対話相手の表示（例えば、対話相手に紐付く画像や対話相手を示す文字列）を、汎用の自動応答ＡＩの表示（例えば、汎用の自動応答ＡＩに紐付く画像や汎用の自動応答ＡＩを示す文字列）から、ユーザによって指定された機器の表示（例えば、当該機器に紐付く画像や当該機器を示す文字列）に切り替える。
なお、対話相手の表示が、汎用の自動応答ＡＩの表示から機器の表示に切り替えられた場合も、ユーザの対話相手自体は、汎用の自動応答ＡＩである。つまり、対話相手の発言内容は、端末装置１０に搭載されている汎用の自動応答ＡＩによって作成される。
上記の例では、複合機Ｂが利用対象の機器として指定されているため、制御部２６は、自動応答ＡＩに紐付く画像５０に代えて、複合機Ｂに紐付く機器画像１８８を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。機器画像１８８は、複合機Ｂを撮影することで生成された画像（例えば複合機Ｂの外観画像）であってもよいし、複合機Ｂを模した画像（例えばアイコン）であってもよい。もちろん、制御部２６は、機器画像１８８に代えて又は機器画像１８８と共に、複合機Ｂを示す文字列を、対話相手を示す情報として表示エリア４８ａ内に表示させてもよい。
また、制御部２６は、自動応答ＡＩに紐付く画像５０に代えて、機器の状態を表す機器画像を対話相手に紐付く画像として表示エリア４８ａ内に表示させてもよい。上記の例では、制御部２６は、複合機Ｂの状態を表す機器画像１８８を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。制御部２６は、利用対象の機器から当該機器の状態を示す情報を取得し、その状態を表す機器画像の表示を制御する。制御部２６は、例えば、機器が処理を実行している場合には、その処理を実行している様子を表す機器画像を対話相手に紐付く画像として表示し、機器が処理を実行していない場合、処理を実行していない様子を表す機器画像を対話相手に紐付く画像として表示し、機器の状態がスリープ状態に該当する場合、スリープ状態を表す機器画像を対話相手に紐付く画像として表示し、機器の電源が切れている場合、電源が切れている様子を表す機器画像を対話相手に紐付く画像として表示する。こうすることで、ユーザは、機器の状態を視覚的に確認することができる。例えば、複合機Ｂが印刷を行っている場合、制御部２６は、複合機Ｂが印刷を行っている様子を表す機器画像１８８を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。機器の状態を表す画像は、予め作成されて記憶部２４に記憶されていてもよいし、制御部２６によって作成されてもよい。なお、制御部２６は、機器画像に代えて又は機器画像と共に、機器の状態を示す文字列を表示エリア４８ａ内に表示させてもよい。
また、制御部２６は、「どの機能を利用したいですか？」といった発言内容１９０を、複合機Ｂの発言内容として表示エリア４８ａ内に表示させる。その発言内容１９０自体は、汎用の自動応答ＡＩによって作成された発言内容である。制御部２６は、複合機Ｂがその発言内容１９０を発言しているかのように演出するために、その発言内容１９０を複合機Ｂの機器画像１８８に紐付く発言内容として表示エリア４８ａ内に表示させる。制御部２６は、特定部２８によって特定された複合機Ｂが有する機能の一覧を、複合機Ｂの発言内容として表示エリア４８ａ内に表示させてもよい。複合機Ｂは、例えばプリント機能やコピー機能等の画像形成機能を有する機器であるため、制御部２６は、その画像形成機能の一覧を示す文字列や画像を、複合機Ｂの発言内容として表示エリア４８ａ内に表示させてもよい。
上記の発言内容１９０に対して、ユーザは、複合機Ｂを利用して実行したい処理内容をユーザの発言内容として端末装置１０に入力する。図３６に示す例では、「ファイルＸを印刷したい。」といった処理内容を示す発言内容１９２が、ユーザの発言内容として端末装置１０に入力されている。
制御部２６は、ユーザの発言内容１９２を解析することで、ユーザが要求する処理内容を特定し、その処理内容を複合機Ｂに実行させる。例えば、制御部２６は、ファイルＸのデータを含む印刷ジョブを複合機Ｂに送信する。その印刷ジョブを受けた複合機Ｂは、その印刷ジョブに従ってファイルＸを印刷する。なお、制御部２６は、印刷条件（例えば印刷部数、カラー印刷、白黒印刷等の条件）を設定するための画面をＵＩ部２０に表示させてもよい。印刷ジョブには、その画面で設定された条件が含まれ、複合機Ｂは、その条件に従って印刷を行う。
ファイルＸの印刷が完了した場合、制御部２６は、印刷が完了した旨を示す発言内容１９４を、複合機Ｂの発言内容として表示エリア４８ａ内に表示させる。このときも、制御部２６は、複合機Ｂに紐付く機器画像１８８を表示エリア４８ａ内に表示させ、その発言内容１９４を複合機Ｂの機器画像１８８に紐付く発言内容として表示エリア４８ａ内に表示させる。なお、発言内容１９４自体は、汎用の自動応答ＡＩによって作成された発言内容である。
複合機Ｂによる処理が完了した場合、制御部２６は、複合機Ｂに紐付く機器画像１８８に代えて、汎用の自動応答ＡＩに紐付く画像５０を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。また、制御部２６は、「どうしましたか？」といった一般的な質問を示す発言内容１９６を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
以上のように第５実施形態によれば、自動応答ＡＩと対話する画面４８上で、機器の利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、機器の情報を自動応答ＡＩに送った場合）、応答中の対話相手の表示がその機器の表示に切り替えられる。こうすることで、ユーザは、当該機器に対して指示を与えられるか否かを視覚的に確認することができる。例えば、ユーザが機器に指示を与えるために機器の情報を自動応答ＡＩに送った場合、その機器に紐付く画像が対話相手に紐付く画像として表示される。こうすることで、ユーザは、実際にその指示が機器に与えられているか否かを視覚的に確認することができる。
（変形例１０）
以下、変形例１０について説明する。変形例１０では、機器の利用指示がユーザの発言内容として自動応答ＡＩに与えられた場合、対話相手の表示が、汎用の自動応答ＡＩの表示から機器の表示に切り替えられると共に、ユーザの対話相手としての自動応答ＡＩ（例えばプログラム）が、汎用の自動応答ＡＩから機器に搭載されている自動応答ＡＩに切り替えられる。
上記の例で説明すると、複合機Ｂに自動応答ＡＩが搭載されている場合（複合機Ｂに自動応答ＡＩのプログラムがインストールされている場合）、制御部２６は、ユーザの対話相手としての自動応答ＡＩを、端末装置１０に搭載されている汎用の自動応答ＡＩ（端末装置１０にインストールされている自動応答ＡＩのプログラム）から、複合機Ｂに搭載されている自動応答ＡＩに切り替える。
この場合、制御部２６は、ユーザの発言内容を示す情報を、通信経路Ｎを介して複合機Ｂに送信する。複合機Ｂに搭載された自動応答ＡＩは、端末装置１０から送信されてきたユーザの発言内容を示す情報を受けて、ユーザの発言内容を解析し、その発言内容に対する回答等の返事を作成する。複合機Ｂの自動応答ＡＩは、その返事を含む発言内容を示す情報を端末装置１０に送信する。例えば、図３６に示されている発言内容１９０，１９４は、複合機Ｂに搭載されている自動応答ＡＩによって作成され、発言内容１９０，１９４を示す情報が、複合機Ｂから端末装置１０に送信される。制御部２６は、複合機Ｂから送られてきた発言内容（例えば発言内容１９０，１９４）を、複合機Ｂの発言として、複合機Ｂの機器画像１８８に紐付けて表示エリア４８ａ内に表示させる。
複合機Ｂによる処理が完了した場合、制御部２６は、図３６に示すように、対話相手に紐付く画像を、複合機Ｂに紐付く機器画像１８８から汎用の自動応答ＡＩに紐付く画像５０に切り替え、更に、ユーザの対話相手としての自動応答ＡＩを、複合機Ｂに搭載されている自動応答ＡＩから端末装置１０に搭載されている汎用の自動応答ＡＩに切り替える。
変形例１０によれば、機器に自動応答ＡＩが搭載されている場合、その自動応答ＡＩとユーザとの間で対話が行われるため、その間、端末装置１０に搭載されている自動応答ＡＩの処理の負荷が軽減される。また、機器に搭載されている自動応答ＡＩが、汎用の自動応答ＡＩと比べて、当該機器に関して高度の制御能力や情報収集能力を有している場合、機器に搭載されている自動応答ＡＩがユーザの対話相手としてユーザと対話することで、より有用な情報がユーザに提供され得る。
（変形例１１）
以下、図３７を参照して、変形例１１について説明する。変形例１１では、機器の部分の利用指示（利用要求）が自動応答ＡＩに与えられた場合（例えば、機器の部分の情報が自動応答ＡＩに送られた場合）、応答中の対話相手の表示が、その部分の表示に切り替えられる。以下、変形例１０について詳しく説明する。
図３７には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
図３６で示す例と同様に、「どうしましたか？」といった発言内容１９８が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示され、この発言内容１９８に対して、機器の利用指示を示す発言内容として「複合機Ｂを利用したい。」といった発言内容２００がユーザの発言内容として表示エリア４８ｂに表示されている。複合機Ｂの情報を含む発言内容２００が自動応答ＡＩに送られているため、上記の第５実施形態と同様に、対話相手に紐付く画像が、汎用の自動応答ＡＩに紐付く画像５０から複合機Ｂに紐付く機器画像１８８に切り替えられる。また、「どの機能を利用したいですか？」といった発言内容２０２が複合機Ｂの発言内容として表示エリア４８ａ内に表示され、「ファイルＸを印刷したい。」といった発言内容２０４がユーザの発言内容として表示エリア４８ｂに表示されている。
特定部２８は、ユーザの発言内容２０４を解析することで、ユーザが要求する処理内容を特定し、その処理内容を複合機Ｂに実行させる。上記の第５実施形態と同様に、制御部２６は、ファイルＸのデータを含む印刷ジョブを複合機Ｂに送信し、複合機Ｂにその印刷ジョブを実行させる。
また、制御部２６は、対話相手の表示を、その処理を実行するための機器の部分の表示に切り替える。プリント機能は複合機Ｂの「本体部」に割り当てられているため、制御部２６は、対話相手の表示を、複合機Ｂの「本体部」の表示に切り替える。例えば、制御部２６は、複合機Ｂに紐付く機器画像１８８に代えて、複合機Ｂの「本体部」に紐付く部分画像２０６を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。なお、処理内容を示す発言内容２０４が自動応答ＡＩに送られることで、その処理を実行するための機器の部分の利用指示（利用要求）が自動応答ＡＩに与えられたことになる。つまり、機器の部分の情報が自動応答ＡＩに送られたことになる。上記の例で説明すると、「印刷したい」という処理内容が発言内容２０４に含まれているため、プリント機能が割り当てられている複合機Ｂの「本体部」の情報が、自動応答ＡＩに送られたことになる。
また、制御部２６は、自動応答ＡＩに紐付く画像５０に代えて、機器の部分の状態を表す部分画像を対話相手に紐付く画像として表示エリア４８ａ内に表示させてもよい。上記の例では、制御部２６は、複合機Ｂの「本体部」の状態を表す部分画像２０６を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。制御部２６は、利用対象の機器から当該機器の各部分の状態を示す情報を取得し、その状態を表す部分画像の表示を制御する。制御部２６は、例えば、機器の部分が処理を実行している場合には、その処理を実行している様子を表す部分画像を対話相手に紐付く画像として表示し、機器の部分が処理を実行していない場合、処理を実行していない様子を表す部分画像を対話相手に紐付く画像として表示し、機器の部分の状態がスリープ状態に該当する場合、スリープ状態を表す部分画像を対話相手に紐付く画像として表示し、機器の電源が切れている場合、電源が切れている様子を表す部分画像を対話相手に紐付く画像として表示する。こうすることで、ユーザは、機器の部分の状態を視覚的に確認することができる。例えば、複合機Ｂの「本体部」が印刷を行っている場合、制御部２６は、複合機Ｂの「本体部」が印刷を行っている様子を表す部分画像２０６を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。機器の部分の状態を表す画像は、予め作成されて記憶部２４に記憶されていてもよいし、制御部２６によって作成されてもよい。なお、制御部２６は、部分画像に代えて又は部分画像と共に、機器の部分の状態を示す文字列を表示エリア４８ａ内に表示させてもよい。
ファイルＸの印刷が完了した場合、制御部２６は、印刷が完了した旨を示す発言内容２０８を、複合機Ｂの「本体部」の発言内容として表示エリア４８ａ内に表示させる。このときも、制御部２６は、複合機Ｂの「本体部」に紐付く部分画像２０６を表示エリア４８ａ内に表示させ、その発言内容２０８を複合機Ｂの「本体部」の部分画像２０６に紐付く発言内容として表示エリア４８ａ内に表示させる。
複合機Ｂによる処理が完了した場合、制御部２６は、複合機Ｂの「本体部」に紐付く部分画像２０６に代えて、汎用の自動応答ＡＩに紐付く画像５０を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。また、制御部２６は、「どうしましたか？」といった一般的な質問を示す発言内容２１０を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
別の例として、ユーザの発言内容２００として、機器の部分の情報（例えば、部分に紐付く部分画像や部分を示す文字列）が自動応答ＡＩに送られた場合、制御部２６は、対話相手の表示を、自動応答ＡＩの表示からその部分の表示に切り替えてもよい。例えば、ユーザの発言内容２００として「複合機Ｂの本体部（又は印刷部）を利用したい。」といった発言内容が自動応答ＡＩに送られた場合、制御部２６は、対話相手に紐付く画像を、自動応答ＡＩに紐付く画像５０から、複合機Ｂの「本体部」に紐付く部分画像２０６に切り替えてもよい。
以上のように変形例１１によれば、自動応答ＡＩと対話する画面４８上で、機器の部分の利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、機器の部分の情報を自動応答ＡＩに送った場合）、対話相手の表示がその機器の部分の表示に切り替えられる。こうすることで、ユーザは、当該部分に対して指示を与えられるか否かを視覚的に確認することができる。
なお、機器の部分が対話相手として表示された場合、ユーザの対話相手は、端末装置１０に搭載されている汎用の自動応答ＡＩであってもよいし、その汎用の自動応答ＡＩから当該機器や当該部分に搭載されている自動応答ＡＩに切り替えられてもよい。
（変形例１２）
以下、図３８を参照して、変形例１２について説明する。変形例１２では、ユーザが複数の機器の利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、複数の機器の情報を連携対象の情報として自動応答ＡＩに送った場合）、応答中の対話相手の表示が、汎用の自動応答ＡＩの表示から複数の機器の表示に切り替えられる。以下、変形例１２について詳しく説明する。
図３８には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
図３６に示す例と同様に、「どうしましたか？」といった発言内容２１２が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。
この発言内容２１２に対して、ユーザが複数の機器を連携対象の機器として指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、当該複数の機器を連携対象の機器として識別する。例えば、ユーザが、複数の機器の利用指示（利用要求）を示す発言内容として「複合機ＢとＰＣ（Ａ）を利用したい。」といった発言内容２１４を発したものとする。制御部２６は、複合機ＢとＰＣ（Ａ）の情報を含む発言内容２１４をユーザの発言内容として表示エリア４８ｂに表示させ、その発言内容２１４を自動応答ＡＩに送る。これにより、複合機ＢとＰＣ（Ａ）の情報が、連携対象の機器の情報として自動応答ＡＩに送られる。ユーザは、ＵＩ部２０を操作することで、複数の機器を示す文字列をユーザの発言内容として端末装置１０に入力してもよいし、上記の第１実施形態と同様に、機器に紐付く機器画像（例えば、外観画像やアイコン等の画像）をユーザの発言内容として指定してもよい。機器画像を指定する場合、図８に示されているように、ユーザは、ストックエリア５８から複数の機器画像を選択し、当該複数の機器画像をユーザの発言内容の表示位置に移動させることで、当該複数の機器画像をユーザの発言内容として指定してもよい。
特定部２８は、例えば図７に示されている連携機能管理テーブルを参照することで、ユーザが指定した複数の機器を利用して実行可能な連携機能を特定する。上記の例では、複合機ＢとＰＣ（Ａ）が指定されているため、「スキャン転送機能」と「プリント機能」が、複合機ＢとＰＣ（Ａ）を利用して実行可能な連携機能として特定される（図７参照）。
ユーザが複数の機器を指定して当該複数の機器が識別されると、制御部２６は、対話相手の表示を、汎用の自動応答ＡＩの表示から、ユーザによって指定された複数の機器の表示に切り替える。
上記の例では、複合機ＢとＰＣ（Ａ）が連携対象の機器として指定されているため、制御部２６は、自動応答ＡＩに紐付く画像５０に代えて、複合機Ｂに紐付く機器画像１８８とＰＣ（Ａ）に紐付く機器画像２１６を、対話相手に紐付く画像として表示エリア４８ａ内に表示させる。機器画像２１６は、ＰＣ（Ａ）を撮影することで生成された画像（例えばＰＣ（Ａ）の外観画像）であってもよいし、ＰＣ（Ａ）を模した画像（例えばアイコン）であってもよい。もちろん、制御部２６は、機器画像１８８，２１６に代えて又は機器画像１８８，２１６と共に、複合機ＢとＰＣ（Ａ）を示す文字列を、対話相手を示す情報として表示エリア４８ａ内に表示させてもよい。
また、制御部２６は、「どの機能を利用したいですか？」といった発言内容２１８を、複合機ＢとＰＣ（Ａ）の発言内容として表示エリア４８ａ内に表示させる。その発言内容２１８自体は、汎用の自動応答ＡＩによって作成された発言内容である。制御部２６は、複合機ＢとＰＣ（Ａ）がその発言内容２１８を発言しているかのように演出するために、その発言内容２１８を、複合機Ｂの機器画像１８８とＰＣ（Ａ）の機器画像２１６とに紐付く発言内容として表示エリア４８ａ内に表示させる。制御部２６は、特定部２８によって特定された連携機能の一覧を、複合機ＢとＰＣ（Ａ）の発言内容として表示エリア４８ａ内に表示させてもよい。複合機ＢとＰＣ（Ａ）とを利用して実行可能な連携機能は、「スキャン転送機能」と「プリント機能」であるため（図７参照）、制御部２６は、「スキャン転送機能」と「プリント機能」を示す文字列や画像を、複合機ＢとＰＣ（Ａ）の発言内容として表示エリア４８ａ内に表示させてもよい。
上記の発言内容２１８に対して、ユーザは、実行したい連携機能をユーザの発言内容として端末装置１０に入力する。図３８に示す例では、「スキャンしたデータをＰＣ（Ａ）に送りたい。」といったスキャン転送機能を示す発言内容２２０が、ユーザの発言内容として端末装置１０に入力されている。
制御部２６は、ユーザの発言内容２２０を解析することで、ユーザが要求する連携機能を特定し、その連携機能を複合機ＢとＰＣ（Ａ）に実行させる。その実行のための処理は、上記の第１実施形態に係る処理と同じである。
スキャン転送が完了した場合、制御部２６は、スキャン転送が完了した旨を示す発言内容２２２を、複合機ＢとＰＣ（Ａ）の発言内容として表示エリア４８ａ内に表示させる。このときも、制御部２６は、複合機Ｂに紐付く機器画像１８８とＰＣ（Ａ）に紐付く機器画像２１６を表示エリア４８ａ内に表示させ、その発言内容２２２を、複合機Ｂの機器画像１８８とＰＣ（Ａ）の機器画像２１６とに紐付く発言内容として表示エリア４８ａ内に表示させる。なお、発言内容２２２自体は、汎用の自動応答ＡＩによって作成された発言内容である。
複合機ＢとＰＣ（Ａ）とによる処理が完了した場合、制御部２６は、複合機Ｂに紐付く機器画像１８８とＰＣ（Ａ）に紐付く機器画像２１６に代えて、汎用の自動応答ＡＩに紐付く画像５０を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。また、制御部２６は、「どうしましたか？」といった一般的な質問を示す発言内容２２４を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
以上のように変形例１２によれば、自動応答ＡＩと対話する画面４８上で、連携対象の複数の機器の利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、連携対象の複数の機器の情報を自動応答ＡＩに送った場合）、対話相手の表示が当該複数の機器の表示に切り替えられる。こうすることで、ユーザは、当該複数の機器に対して指示を与えられるか否かを視覚的に確認することができる。例えば、ユーザが複数の機器に指示を与えるために複数の機器の情報を自動応答ＡＩに送った場合、各機器に紐付く画像が対話相手に紐付く画像として表示される。こうすることで、ユーザは、実際にその指示が複数の機器に与えられているか否かを視覚的に確認することができる。
なお、複数の機器が対話相手として表示された場合、ユーザの対話相手は、端末装置１０に搭載されている汎用の自動応答ＡＩであってもよいし、その汎用の自動応答ＡＩから当該複数の機器に搭載されている自動応答ＡＩに切り替えられてもよい。例えば、複合機Ｂに自動応答ＡＩが搭載されている場合、複合機Ｂに搭載されている自動応答ＡＩが対話相手として機能してもよいし、ＰＣ（Ａ）に自動応答ＡＩが搭載されている場合、ＰＣ（Ａ）に搭載されている自動応答ＡＩが対話相手として機能してもよい。複合機ＢとＰＣ（Ａ）の両方に自動応答ＡＩが搭載されている場合、複合機Ｂ又はＰＣ（Ａ）の何れかに搭載されている自動応答ＡＩが対話相手として機能してもよい。
図３８に示す例では、２つの機器の情報が自動応答ＡＩに送られているが、３つ以上の機器の情報（例えば、３つ以上の機器画像や３つ以上の機器を示す文字列）が自動応答ＡＩに送られてもよい。この場合、自動応答ＡＩに紐付く画像５０に代えて、３つ以上の機器画像が、対話相手に紐付く画像として表示エリア４８ａ内に表示される。
また、変形例１１，１２を組み合わせてもよい。つまり、複数の部分が連携対象の部分として指定され、当該複数の部分の情報が自動応答ＡＩに送られた場合、制御部２６は、対話相手の表示を、複数の部分の表示に切り替えてもよい。なお、同一機器の中の複数の部分が指定されてもよいし、複数の機器の中から複数の部分が指定されてもよい。
（変形例１３）
以下、図３９及び図４０を参照して、変形例１３について説明する。図３９及び図４０には、ユーザの対話相手に紐付く画像が示されている。ここでは、連携対象の複数の機器（例えば複合機ＢとＰＣ（Ａ））の情報がユーザの対話内容として自動応答ＡＩに送られたものとする。
図３９（ａ）には、基本形の画像が示されている。上記の変形例１２と同様に、複合機ＢとＰＣ（Ａ）の情報がユーザの発言内容として自動応答ＡＩに送られた場合、複合機Ｂに紐付く機器画像１８８とＰＣ（Ａ）に紐付く機器画像２１６が、対話相手に紐付く画像として表示エリア４８ａ内に表示される。
図３９（ａ）に示すように、機器画像１８８，２１６が対話相手に紐付く画像として表示されている状態で、図３９（ｂ）に示すように、発言内容２２６が複合機Ｂの発言内容として表示エリア４８ａ内に表示された場合、制御部２６は、複合機Ｂに紐付く機器画像１８８をＰＣ（Ａ）に紐付く機器画像２１６よりも大きくして表示エリア４８ａ内に表示させる。例えば、ＰＣ（Ａ）が連携機能に含まれる処理を実行しておらず、複合機Ｂが連携機能に含まれる処理を実行しているときに、その処理に関する情報が複合機Ｂの発言内容として表示エリア４８ａ内に表示される。この場合、機器画像１８８が機器画像２１６よりも大きくして表示される。こうすることで、ユーザは、連携機能に含まれる処理を行っている機器を視覚的に確認することができる。なお、複合機ＢとＰＣ（Ａ）の両方が連携機能に含まれる処理を実行している場合、図３９（ａ）に示されるように、機器画像１８８，２１６は互いに同じ大きさを持って表示される。
一方、図３９（ｃ）に示すように、発言内容２２８がＰＣ（Ａ）の発言内容として表示エリア４８ａ内に表示された場合、制御部２６は、機器画像２１６を機器画像１８８よりも大きくして表示エリア４８ａ内に表示させる。例えば、ＰＣ（Ａ）が連携機能に含まれる処理を実行しており、複合機Ｂが連携機能に含まれる処理を実行していないときに、その処理に関する情報が複合機Ｂの発言内容として表示エリア４８ａ内に表示される。
また、図３８及び図３９（ａ）に示す例では、機器画像１８８，２１６は横方向に並ぶように配置されて表示されているが、図３９（ｄ）に示すように、機器画像１８８，２１６は縦方向に並ぶように配置されて表示されてもよい。もちろん、これら以外の配置で機器画像１８８，２１６が表示されてもよい。
また、図３９（ｅ）に示すように、発言内容２３０が複合機Ｂの発言内容として表示エリア４８ａ内に表示された場合、複合機Ｂに紐付く機器画像１８８がＰＣ（Ａ）に紐付く機器画像２１６よりも大きく表示されてもよい。発言内容がＰＣ（Ａ）の発言内容として表示エリア４８ａ内に表示された場合、機器画像２１６が機器画像１８８よりも大きく表示される。
また、ユーザの発言の順番に応じて、機器画像の表示順が変更されてもよい。例えば、ユーザが、「複合機Ｂ」、「ＰＣ（Ａ）」の順番で発言した場合、複合機Ｂに紐付く機器画像１８８、ＰＣ（Ａ）に紐付く機器画像２１６の順番で、機器画像１８８，２１６が表示されてもよい。例えば、先に指定された機器（例えば複合機Ｂ）が、左側や上側に表示され、後に指定された機器（例えばＰＣ（Ａ））が、右側や下側に表示されてもよい。もちろん、指定の順番によらずに、機器の識別の順番や登録の順番等によって、表示順が定められてもよい。また、発話している機器（発言内容が紐付いている機器）の機器画像が、予め定められた位置（例えば左側や上側）に表示されてもよい。こうすることで、ユーザは、発話している機器（例えば処理を行っている機器）を視覚的に確認することができる。
図４０には更に別の表示例が示されている。例えば、変形例１１，１２が組み合わされて、連携対象の複数の部分の情報がユーザの発言内容として自動応答ＡＩに送られた場合、制御部２６は、対話相手の表示を、複数の部分の表示に切り替える。図４０（ａ）にはその表示の一例が示されている。例えば、複合機Ｂの「本体部」とＰＣ（Ａ）の「表示部」が連携対象の部分として指定され、それらの情報がユーザの発言内容として自動応答ＡＩに送られた場合、複合機Ｂの「本体部」に紐付く部分画像２０６と、ＰＣ（Ａ）の「表示部」に紐付く部分画像２３２が、対話相手に紐付く画像として表示エリア４８ａ内に表示される。なお、複数の部分が対話相手として表示される場合、図３９（ａ）から図３９（ｅ）の何れかに示されている表示例が適用されてもよい。
また、機器が処理を実行している場合、制御部２６は、機器において処理を実行している部分に紐付く部分画像を、対話相手に紐付く画像として表示エリア４８ａ内に表示させてもよい。例えば、複合機Ｂの「本体部」がプリントを実行している場合、制御部２６は、図４０（ｂ）に示すように、その「本体部」に紐付く部分画像２０６を、対話相手に紐付く画像として表示エリア４８ａ内に表示させる。同様に、複合機Ｂの「読取部」がスキャンを実行している場合、制御部２６は、その「読取部」に紐付く部分画像を、対話相手に紐付く画像として表示エリア４８ａ内に表示させる。こうすることで、ユーザは、処理を実行している部分を視覚的に確認することができる。また、制御部２６は、画面４８上でユーザが指示した処理（例えば印刷ジョブ等）を実行している部分（例えば複合機Ｂの「本体部」）に紐付く部分画像を、対話相手に紐付く画像として表示エリア４８ａ内に表示させてもよい。こうすることで、ユーザは、当該ユーザ自身が指示した処理を実行している部分を視覚的に確認することができる。
また、図４０（ｃ）に示すように、汎用の自動応答ＡＩに紐付く画像５０内に、自動応答ＡＩ自体を表す画像５０ａと、自動応答ＡＩ以外の背景を表す背景画像５０ｂが表されてもよい。機器（例えば複合機Ｂ）の情報が自動応答ＡＩに送られた場合、図４０（ｄ）に示すように、画像５０の全体が機器画像１８８に置き換えられてもよい。別の例として、図４０（ｅ）に示すように、画像５０が、複合機Ｂ自体を表す画像１８８ａと背景画像５０ｂが表された機器画像１８８に置き換えられてもよい。つまり、背景画像５０ｂはそのままの状態で表示されてもよい。
＜第６実施形態＞
以下、第６実施形態に係る機器システムについて説明する。第６実施形態では、ユーザが自動応答ＡＩと対話しているインターフェース（例えば画面４８）上で、機能の利用指示（利用要求）を自動応答ＡＩに送った場合（例えば、機能の情報を自動応答ＡＩに送った場合）、応答中の対話相手の表示が、その機能の表示に切り替えられる。以下、第６実施形態について詳しく説明する。
図４１には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
例えば、自動応答ＡＩの発言内容として、「どうしましたか？」といった発言内容２３４が画面４８に表示される。この発言内容２３４は自動応答ＡＩの発言内容であるため、制御部２６は、自動応答ＡＩに紐付く画像５０を表示エリア４８ａ内に表示させ、発言内容２３４を自動応答ＡＩの画像５０に紐付く発言内容として表示エリア４８ａ内に表示させる。なお、この自動応答ＡＩは、機器に依存しない自動応答ＡＩであり、汎用の自動応答ＡＩともいえる。
この発言内容２３４に対して、ユーザが機能を指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、その機能を識別する。例えば、ユーザが、機能の利用指示（利用要求）を示す発言内容として「パスワード機能を利用したい。」といった発言内容２３６を発したものとする。制御部２６は、パスワード機能の情報を含む発言内容２３６をユーザの発言内容として表示エリア４８ｂに表示させ、その発言内容２３６を自動応答ＡＩに送る。これにより、パスワード機能の情報が自動応答ＡＩに送られる。発言内容２３６は、ユーザの画像５２に紐付く発言内容として表示エリア４８ｂ内に表示される。ユーザは、ＵＩ部２０を操作することで、機能を示す文字列をユーザの発言内容として端末装置１０に入力してもよいし、上記の第２実施形態と同様に、機能に紐付く機能画像（例えばアイコン等の画像）をユーザの発言内容として指定してもよい。機能画像を指定する場合、図２７に示されているように、ユーザは、ストックエリア１２４から利用対象の機能に紐付く機能画像を選択し、その機能画像をユーザの発言内容の表示位置に移動させることで、その機能画像をユーザの発言内容として指定してもよい。
ユーザが機能を指定してその機能が識別されると、制御部２６は、対話相手の表示（例えば、対話相手に紐付く画像や対話相手を示す文字列）を、汎用の自動応答ＡＩの表示（例えば、汎用の自動応答ＡＩに紐付く画像や汎用の自動応答ＡＩを示す文字列）から、ユーザによって指定された機能の表示（例えば、当該機能に紐付く画像や当該機能を示す文字列）に切り替える。
なお、対話相手の表示が、汎用の自動応答ＡＩの表示から機能の表示に切り替えられた場合も、ユーザの対話相手自体は、汎用の自動応答ＡＩである。つまり、対話相手の発言内容は、端末装置１０に搭載されている汎用の自動応答ＡＩによって作成される。
上記の例では、パスワード機能が利用対象の機能として指定されているため、制御部２６は、自動応答ＡＩに紐付く画像５０に代えて、パスワード機能に紐付く機能画像２３８を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。機能画像２３８は、例えばアイコンである。もちろん、制御部２６は、機能画像２３８に代えて又は機能画像２３８と共に、パスワード機能を示す文字列を、対話相手を示す情報として表示エリア４８ａ内に表示させてもよい。
また、制御部２６は、自動応答ＡＩに紐付く画像５０に代えて、機能の状態（例えば、その機能を実現するソフトウェアの状態や、その機能を実現する機器の状態）を表す機能画像を対話相手に紐付く画像として表示エリア４８ａ内に表示させてもよい。上記の例では、制御部２６は、パスワード設定ソフトウェアの状態を表す機能画像２３８を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。制御部２６は、機能を実現するソフトウェアや機器から当該ソフトウェアや当該機器の状態を示す情報を取得し、その状態を表す機能画像の表示を制御する。制御部２６は、例えば、その機能を実現するソフトウェアや機器が処理を実行している場合には、その処理を実行している様子を表す機能画像を対話相手に紐付く画像として表示し、その機能を実現するソフトウェアや機器が処理を実行していない場合、処理を実行していない様子を表す機能画像を対話相手に紐付く画像として表示し、その機能を実現する機器の状態がスリープ状態に該当する場合、スリープ状態を表す機能画像を対話相手に紐付く画像として表示し、その機能を実現するソフトウェアの状態がフリーズ状態に該当する場合、フリーズ状態を表す機能画像を対話相手に紐付く画像として表示し、その機能を実現する機器の電源が切れている場合、電源が切れている様子を表す機能画像を対話相手に紐付く画像として表示する。こうすることで、ユーザは、機能の状態を視覚的に確認することができる。例えば、パスワード設定ソフトウェアが別のデータに対してパスワードを設定している場合、制御部２６は、パスワード設定ソフトウェアがパスワード設定処理を行っている様子を表す機能画像２３８を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。機器の状態を表す画像は、予め作成されて記憶部２４に記憶されていてもよいし、制御部２６によって作成されてもよい。なお、制御部２６は、機器画像に代えて又は機器画像と共に、機能の状態を示す文字列を表示エリア４８ａ内に表示させてもよい。
また、制御部２６は、「どのファイルにパスワードを掛けますか？」といった発言内容２４０を、パスワード機能の発言内容として表示エリア４８ａ内に表示させる。その発言内容２４０自体は、汎用の自動応答ＡＩによって作成された発言内容である。制御部２６は、パスワード機能がその発言内容２４０を発言しているかのように演出するために、その発言内容２４０をパスワード機能の機能画像２３８に紐付く発言内容として表示エリア４８ａ内に表示させる。
上記の発言内容２４０に対して、ユーザは、パスワード設定の対象となるファイルを指定する。図４１に示す例では、「ファイルＸ」といった内容を示す発言内容２４２が、ユーザの発言内容として端末装置１０に入力されている。
制御部２６は、ユーザの発言内容２４２を解析することで、ユーザが要求する処理内容を特定し、その処理内容をパスワード設定ソフトウェアに実行させる。例えば、制御部２６は、パスワード設定ソフトウェアを起動させ、そのパスワード設定ソフトウェアによって、ユーザによって指定されたファイルＸにパスワードを設定する。なお、制御部２６は、パスワードを設定するための画面をＵＩ部２０に表示させてもよい。
パスワードの設定が完了した場合、制御部２６は、パスワードの設定が完了した旨を示す発言内容２４４を、パスワード機能の発言内容として表示エリア４８ａ内に表示させる。このときも、制御部２６は、パスワード機能に紐付く機能画像２３８を表示エリア４８ａ内に表示させ、その発言内容２４４をパスワード機能の機能画像２３８に紐付く発言内容として表示エリア４８ａ内に表示させる。なお、発言内容２４４自体は、汎用の自動応答ＡＩによって作成された発言内容である。
パスワード機能による処理が完了した場合、制御部２６は、パスワード機能に紐付く機能画像２３８に代えて、汎用の自動応答ＡＩに紐付く画像５０を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。また、制御部２６は、「どうしましたか？」といった一般的な質問を示す発言内容２４６を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
以上のように第６実施形態によれば、自動応答ＡＩと対話する画面４８上で、機能の利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、機能の情報を自動応答ＡＩに送った場合）、応答中の対話相手の表示がその機能の表示に切り替えられる。こうすることで、ユーザは、当該機能に対して指示を与えられるか否かを視覚的に確認することができる。例えば、ユーザが機能に指示を与えるために機能の情報を自動応答ＡＩに送った場合、その機能に紐付く画像が対話相手に紐付く画像として表示される。こうすることで、ユーザは、実際にその指示が機能に与えられているか否かを視覚的に確認することができる。
変形例１０が第６実施形態に適用されてもよい。例えば、機能毎に自動応答ＡＩのプログラムが割り当てられて、各自動応答ＡＩのプログラムが端末装置１０にインストールされている場合、制御部２６は、対話相手の表示を、汎用の自動応答ＡＩの表示から機能の表示に切り替えると共に、ユーザの対話相手としての自動応答ＡＩを、汎用の自動応答ＡＩから当該機能に割り当てられている自動応答ＡＩに切り替えてもよい。
変形例１１が第６実施形態に適用されてもよい。例えば、機能画像内の部分毎に更に機能が割り当てられている場合において、その部分に紐付く画像が、ユーザの発言内容として自動応答ＡＩに送られた場合、その部分に紐付く画像が、対話相手に紐付く画像として表示エリア４８ａ内に表示されてもよい。
変形例１２が第６実施形態に適用されてもよい。例えば、ユーザが複数の機能の利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、複数の機能の情報を連携対象の情報として自動応答ＡＩに送った場合）、応答中の対話相手の表示が、汎用の自動応答ＡＩの表示から複数の機能の表示に切り替えられる。以下、図４２を参照して、第６実施形態に変形例１２を適用した場合の処理について説明する。
図４２には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
図４１に示す例と同様に、「どうしましたか？」といった発言内容２４８が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。
この発言内容２４８に対して、ユーザが複数の機能を連携対象の機能として指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、当該複数の機能を連携対象の機能として識別する。例えば、ユーザが、複数の機能の利用指示（利用要求）を示す発言内容として「パスワード機能とデータ送信機能を利用したい。」といった発言内容２５０を発したものとする。制御部２６は、パスワード機能とデータ送信機能の情報を含む発言内容２５０をユーザの発言内容として表示エリア４８ｂに表示させ、その発言内容２５０を連携対象の情報として自動応答ＡＩに送る。これにより、パスワード機能とデータ送信機能の情報が、連携対象の機能の情報として自動応答ＡＩに送られる。ユーザは、ＵＩ部２０を操作することで、複数の機能を示す文字列をユーザの発言内容として端末装置１０に入力してもよいし、上記の第２実施形態と同様に、機能に紐付く機能画像（例えばアイコン）をユーザの発言内容として指定してもよい。機能画像を指定する場合、図２７に示されているように、ユーザは、ストックエリア１２４から複数の機能画像を選択し、当該複数の機能画像をユーザの発言内容の表示位置に移動させることで、当該複数の機能画像をユーザの発言内容として指定してもよい。
特定部２８は、例えば図２６に示されている連携機能管理テーブルを参照することで、ユーザが指定した複数の機能を利用して実行可能な連携機能を特定する。上記の例では、パスワード機能とデータ送信機能が指定されているため、例えば、「データにパスワードを設定して送信する機能」等が、連携機能として特定される。
ユーザが複数の機能を指定して当該複数の機能が識別されると、制御部２６は、対話相手の表示を、汎用の自動応答ＡＩの表示から、ユーザによって指定された複数の機能の表示に切り替える。
上記の例では、パスワード機能とデータ送信機能が連携対象の機能として指定されているため、制御部２６は、自動応答ＡＩに紐付く画像５０に代えて、パスワード機能に紐付く機能画像２３８とデータ送信機能に紐付く機能画像２５２を、対話相手に紐付く画像として表示エリア４８ａ内に表示させる。もちろん、制御部２６は、機能画像２３８，２５２に代えて又は機能画像２３８，２５２と共に、パスワード機能とデータ送信機能を示す文字列を、対話相手を示す情報として表示エリア４８ａ内に表示させてもよい。
また、制御部２６は、「どのファイルを処理しますか？」といった発言内容２５４を、パスワード機能とデータ送信機能の発言内容として表示エリア４８ａ内に表示させる。その発言内容２５４自体は、汎用の自動応答ＡＩによって作成された発言内容である。制御部２６は、パスワード機能とデータ送信機能がその発言内容２５４を発言しているかのように演出するために、その発言内容２５４を、パスワード機能の機能画像２３８とデータ送信機能の機能画像２５２とに紐付く発言内容として表示エリア４８ａ内に表示させる。制御部２６は、特定部２８によって特定された連携機能の一覧を、パスワード機能とデータ送信機能の発言内容として表示エリア４８ａ内に表示させてもよい。
上記の発言内容２５４に対して、ユーザは、処理対象となるファイルを指定する。図４２に示す例では、「ファイルＸ」といった内容を示す発言内容２５６が、ユーザの発言内容として端末装置１０に入力されている。
制御部２６は、ユーザの発言内容２５６を解析することで、ユーザが要求する処理内容を特定し、その処理内容をパスワード設定ソフトウェアとデータ送信ソフトウェアに実行させる。例えば、制御部２６は、パスワード設定ソフトウェアとデータ送信ソフトウェアを起動させ、そのパスワード設定ソフトウェアによって、ユーザによって指定されたファイルＸにパスワードを設定し、データ送信ソフトウェアによって、パスワードが設定されたファイルＸを送信先（ユーザによって指定された送信先や予め定められた送信先等）に送信する。なお、制御部２６は、パスワードを設定するための画面や送信先を設定するための画面をＵＩ部２０に表示させてもよい。
連携機能の実行が完了した場合、制御部２６は、その連携機能の実行が完了した旨を示す発言内容２５８を、パスワード機能とデータ送信機能の発言内容として表示エリア４８ａ内に表示させる。このときも、制御部２６は、パスワード機能に紐付く機能画像２３８とデータ送信機能に紐付く機能画像２５２を表示エリア４８ａ内に表示させ、その発言内容２５８をパスワード機能の機能画像２３８とデータ送信機能の機能画像２５２に紐付く発言内容として表示エリア４８ａ内に表示させる。なお、発言内容２５８自体は、汎用の自動応答ＡＩによって作成された発言内容である。
連携機能の実行が完了した場合、制御部２６は、パスワード機能に紐付く機能画像２３８とデータ送信機能に紐付く機能画像２５２に代えて、汎用の自動応答ＡＩに紐付く画像５０を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。また、制御部２６は、「どうしましたか？」といった一般的な質問を示す発言内容２６０を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
以上のように変形例１２を第６実施形態に適用することで、自動応答ＡＩと対話する画面４８上で、連携対象の複数の機能の利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、連携対象の複数の機能の情報を対話内容として自動応答ＡＩに送った場合）、対話相手の表示が当該複数の機能の表示に切り替えられる。こうすることで、ユーザは、当該複数の機能に対して指示を与えられるか否かを視覚的に確認することができる。例えば、ユーザが複数の機能に指示を与えるために複数の機能の情報を自動応答ＡＩに送った場合、各機能に紐付く画像が対話相手に紐付く画像として表示される。こうすることで、ユーザは、実際にその指示が複数の機能に与えられているか否かを視覚的に確認することができる。
なお、複数の機能が対話相手として表示された場合、ユーザの対話相手は、汎用の自動応答ＡＩであってもよいし、その汎用の自動応答ＡＩから機能毎の自動応答ＡＩに切り替えられてもよい。
図４２に示す例では、２つの機能の情報が自動応答ＡＩに送られているが、３つ以上の機能の情報（例えば、３つ以上の機能画像や３つ以上の機能を示す文字列）が自動応答ＡＩに送られてもよい。この場合、自動応答ＡＩに紐付く画像５０に代えて、３つ以上の機能画像が、対話相手に紐付く画像として表示エリア４８ａ内に表示される。
また、変形例１１，１２の組み合わせが第６実施形態に適用されてもよい。つまり、機能画像内の部分毎に更に機能が割り当てられている場合において、複数の部分に紐付く画像が、ユーザの発言内容として自動応答ＡＩに送られた場合、複数の部分の画像が、対話相手に紐付く画像として表示エリア４８ａ内に表示されてもよい。
また、変形例１３が第６実施形態に適用されてもよい。つまり、第６実施形態においても、図３９及び図４０に示されている表示例に従って各機器画像が表示されてもよい。
＜第７実施形態＞
以下、第７実施形態に係る機器システムについて説明する。第７実施形態では、ユーザが自動応答ＡＩと対話しているインターフェース（例えば画面４８）上で、機器と機能の利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、機器と機能の情報を自動応答ＡＩに送った場合）、応答中の対話相手の表示が、その機器と機能の表示に切り替えられる。以下、第７実施形態について詳しく説明する。
図４３には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
例えば、自動応答ＡＩの発言内容として、「どうしましたか？」といった発言内容２６２が画面４８に表示される。この発言内容２６２は自動応答ＡＩの発言内容であるため、制御部２６は、自動応答ＡＩに紐付く画像５０を表示エリア４８ａ内に表示させ、発言内容２６２を自動応答ＡＩの画像５０に紐付く発言内容として表示エリア４８ａ内に表示させる。なお、この自動応答ＡＩは、機器に依存しない自動応答ＡＩであり、汎用の自動応答ＡＩともいえる。
この発言内容２６２に対して、ユーザが機器と機能を連携対象として指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、その機器と機能を連携対象として識別する。例えば、ユーザが、機器と機能の利用指示（利用要求）を示す発言内容として「複合機Ｂとパスワード機能を利用したい。」といった発言内容２６４を発したものとする。制御部２６は、複合機Ｂとパスワード機能の情報を含む発言内容２６４をユーザの発言内容として表示エリア４８ｂに表示させ、その発言内容２６４を自動応答ＡＩに送る。これにより、複合機Ｂとパスワード機能の情報が、連携対象の情報として自動応答ＡＩに送られる。発言内容２６４は、ユーザの画像５２に紐付く発言内容として表示エリア４８ｂ内に表示される。ユーザは、ＵＩ部２０を操作することで、機器と機能を示す文字列をユーザの発言内容として端末装置１０に入力してもよいし、上記の第３実施形態と同様に、機器に紐付く機器画像と機能に紐付く機能画像をユーザの発言内容として指定してもよい。機器画像を指定する場合、図８に示されているように、ユーザは、ストックエリア５８から連携対象の機器に紐付く機器画像を選択し、その機器画像をユーザの発言内容の表示位置に移動させることで、その機器画像をユーザの発言内容として指定してもよい。同様に、機能画像を指定する場合、図２７に示されているように、ユーザは、ストックエリア１２４から利用対象の機能に紐付く機能画像を選択し、その機能画像をユーザの発言内容の表示位置に移動させることで、その機能画像をユーザの発言内容として指定してもよい。
特定部２８は、例えば図３０に示されている連携機能管理テーブルを参照することで、ユーザが指定した機器と機能とを利用して実行可能な連携機能を特定する。上記の例では、複合機Ｂとパスワード機能が指定されているため、例えば、「複合機Ｂによるスキャンによって生成されたデータにパスワードを掛ける機能」等が、連携機能として特定される。
ユーザが機器と機能を連携対象として指定し、その機器と機能が連携対象として識別されると、制御部２６は、対話相手の表示を、汎用の自動応答ＡＩの表示から、ユーザによって指定された機器と機能の表示に切り替える。
なお、対話相手の表示が、汎用の自動応答ＡＩの表示から機器と機能の表示に切り替えられた場合も、ユーザの対話相手自体は、汎用の自動応答ＡＩである。つまり、対話相手の発言内容は、端末装置１０に搭載されている汎用の自動応答ＡＩによって作成される。
上記の例では、複合機Ｂとパスワード機能が連携対象として指定されているため、制御部２６は、自動応答ＡＩに紐付く画像５０に代えて、複合機Ｂに紐付く機器画像１８８とパスワード機能に紐付く機能画像２３８を、対話相手に紐付く画像として表示エリア４８ａ内に表示させる。もちろん、制御部２６は、機器画像１８８及び機能画像２３８に代えて、又は、機器画像１８８及び機能画像２３８と共に、複合機Ｂとパスワード機能を示す文字列を、対話相手を示す情報として表示エリア４８ａ内に表示させてもよい。
また、制御部２６は、「どの機能を利用したいですか？」といった発言内容２６６を、複合機Ｂとパスワード機能の発言内容として表示エリア４８ａ内に表示させる。その発言内容２６６自体は、汎用の自動応答ＡＩによって作成された発言内容である。制御部２６は、複合機Ｂとパスワード機能がその発言内容２６６を発言しているかのように演出するために、その発言内容２６６を、複合機Ｂの機器画像１８８とパスワード機能の機能画像２３８とに紐付く発言内容として表示エリア４８ａ内に表示させる。制御部２６は、特定部２８によって特定された連携機能の一覧を、複合機Ｂとパスワード機能の発言内容として表示エリア４８ａ内に表示させてもよい。
上記の発言内容２６６に対して、ユーザは、実行したい連携機能をユーザの発言内容として端末装置１０に入力する。図４３に示す例では、「スキャンしたデータにパスワードを掛けたい。」といった連携機能を示す発言内容２６８が、ユーザの発言内容として端末装置１０に入力されている。
制御部２６は、ユーザの発言内容２６８を解析することで、ユーザが要求する連携機能を特定し、その連携機能を複合機Ｂとパスワード機能（パスワード設定ソフトウェア）に実行させる。例えば、制御部２６は、複合機Ｂに対してスキャンジョブを送信し、複合機Ｂにスキャンを実行させる。これにより生成されたデータが、複合機Ｂから端末装置１０に送信される。更に、制御部２６は、パスワード設定ソフトウェアを起動させ、そのパスワード設定ソフトウェアによって、当該データにパスワードを設定する。
連携機能の実行が完了した場合、制御部２６は、連携機能の実行が完了した旨を示す発言内容２７０を、複合機Ｂとパスワード機能の発言内容として表示エリア４８ａ内に表示させる。このときも、制御部２６は、複合機Ｂに紐付く機器画像１８８とパスワード機能に紐付く機能画像２３８を表示エリア４８ａ内に表示させ、その発言内容２７０を、複合機Ｂの機器画像１８８とパスワード機能の機能画像２３８とに紐付く発言内容として表示エリア４８ａ内に表示させる。なお、発言内容２７０自体は、汎用の自動応答ＡＩによって作成された発言内容である。
連携機能の実行が完了した場合、制御部２６は、複合機Ｂに紐付く機器画像１８８とパスワード機能に紐付く機能画像２３８に代えて、汎用の自動応答ＡＩに紐付く画像５０を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。また、制御部２６は、「どうしましたか？」といった一般的な質問を示す発言内容２７２を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
以上のように第７実施形態によれば、自動応答ＡＩと対話する画面４８上で、機器と機能の利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、機器と機能の情報を自動応答ＡＩに送った場合）、対話相手の表示がその機器と機能の表示に切り替えられる。こうすることで、ユーザは、当該機器と当該機能に対して指示を与えられるか否かを視覚的に確認することができる。例えば、ユーザが機器と機能に指示を与えるために機器と機能の情報を自動応答ＡＩに送った場合、その機器と機能に紐付く画像が対話相手に紐付く画像として表示される。こうすることで、ユーザは、実際にその指示が機器と機能に与えられているか否かを視覚的に確認することができる。
図４３に示す例では、合計で２つの機器と機能の情報が自動応答ＡＩに送られているが、合計で３つ以上の機器と機能の情報が自動応答ＡＩに送られてもよい。この場合、自動応答ＡＩに紐付く画像５０に代えて、合計で３つ以上の機器画像と機器画像が、対話相手に紐付く画像として表示エリア４８ａ内に表示される。
変形例１０が第７実施形態に適用されてもよい。例えば、機器毎や機能毎に自動応答ＡＩのプログラムが割り当てられている場合、制御部２６は、対話相手の表示を、汎用の自動応答ＡＩの表示から機器と機能の表示に切り替えると共に、ユーザの対話相手としての自動応答ＡＩを、汎用の自動応答ＡＩから、当該機能や当該機能に割り当てられている自動応答ＡＩに切り替えてもよい。
変形例１１が第７実施形態に適用されてもよい。例えば、機器の部分の情報が、ユーザの発言内容として自動応答ＡＩに送られた場合、その部分に紐付く画像が、対話相手に紐付く画像として表示されてもよい。また、機能画像内の部分毎に更に機能が割り当てられている場合において、その部分に紐付く画像が、ユーザの発言内容として自動応答ＡＩに送られた場合、その部分に紐付く画像が、対話相手に紐付く画像として表示エリア４８ａ内に表示されてもよい。
また、変形例１３が第７実施形態に適用されてもよい。つまり、第７実施形態においても、図３９及び図４０に示されている表示例に従って機器画像や機能画像が表示されてもよい。
＜第８実施形態＞
以下、第８実施形態に係る機器システムについて説明する。第８実施形態では、ユーザが自動応答ＡＩと対話しているインターフェース（例えば画面４８）上で、ファイルの利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、ファイルの情報を自動応答ＡＩに送った場合）、応答中の対話相手の表示が、そのファイルの表示に切り替えられる。以下、第８実施形態について詳しく説明する。
図４４には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
例えば、自動応答ＡＩの発言内容として、「どうしましたか？」といった発言内容２７４が画面４８に表示される。この発言内容２７４は自動応答ＡＩの発言内容であるため、制御部２６は、自動応答ＡＩに紐付く画像５０を表示エリア４８ａ内に表示させ、発言内容２７４を自動応答ＡＩの画像５０に紐付く発言内容として表示エリア４８ａ内に表示させる。なお、この自動応答ＡＩは、機器に依存しない自動応答ＡＩであり、汎用の自動応答ＡＩともいえる。
この発言内容２７４に対して、ユーザが、ファイルを指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、そのファイルを識別する。例えば、ユーザが、ファイルの利用指示（利用要求）を示す発言内容として「文書ファイルＡを編集したい。」といった発言内容２７６を発したものとする。制御部２６は、文書ファイルＡの情報を含む発言内容２７６をユーザの発言内容として表示エリア４８ｂに表示させ、その発言内容２７６を自動応答ＡＩに送る。これにより、文書ファイルＡの情報が自動応答ＡＩに送られる。発言内容２７６は、ユーザの画像５２に紐付く発言内容として表示エリア４８ｂ内に表示される。ユーザは、ＵＩ部２０を操作することで、ファイルを示す文字列（例えばファイル名）をユーザの発言内容として端末装置１０に入力してもよいし、上記の第４実施形態と同様に、ファイルに紐付くファイル画像（例えばアイコン等の画像）をユーザの発言内容として指定してもよい。ファイル画像を指定する場合、図３４に示されているように、ユーザは、ストックエリア１７０から利用対象のファイルに紐付くファイル画像を選択し、そのファイル画像をユーザの発言内容の表示位置に移動させることで、そのファイル画像をユーザの発言内容として指定してもよい。
ユーザがファイルを指定してそのファイルが識別されると、制御部２６は、対話相手の表示を、汎用の自動応答ＡＩの表示から、ユーザによって指定されたファイルの表示に切り替える。
なお、対話相手の表示が、汎用の自動応答ＡＩの表示からファイルの表示に切り替えられた場合も、ユーザの対話相手自体は、汎用の自動応答ＡＩである。つまり、対話相手の発言内容は、端末装置１０に搭載されている汎用の自動応答ＡＩによって作成される。
上記の例では、文書ファイルＡが利用対象のファイルとして指定されているため、制御部２６は、自動応答ＡＩに紐付く画像５０に代えて、文書ファイルＡに紐付くファイル画像２７８を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。ファイル画像２７８は、例えばアイコンである。もちろん、制御部２６は、ファイル画像２７８に代えて又はファイル画像２７８と共に、文書ファイルＡを示す文字列（例えばファイル名）を、対話相手を示す情報として表示エリア４８ａ内に表示させてもよい。
また、制御部２６は、「文書アプリケーションを起動させますか？」といった発言内容２８０を、文書ファイルＡの発言内容として表示エリア４８ａ内に表示させる。その発言内容２８０自体は、汎用の自動応答ＡＩによって作成された発言内容である。制御部２６は、文書ファイルＡがその発言内容２８０を発言しているかのように演出するために、その発言内容２８０を文書ファイルＡのファイル画像２７８に紐付く発言内容として表示エリア４８ａ内に表示させる。
上記の発言内容２８０に対して、ユーザが、発言内容２８２のように、文書アプリケーションの起動を指示した場合、制御部２６は、その指示に従って、文書アプリケーションを起動させる。このとき、制御部２６は、文書アプリケーションを起動して文書ファイルＡを開く（文書ファイルＡを編集可能に表示する）旨を示す発言内容２８４を、文書ファイルＡの発言内容として表示エリア４８ａ内に表示させる。このときも、制御部２６は、文書ファイルＡに紐付くファイル画像２７８を表示エリア４８ａ内に表示させ、その発言内容２８４を文書ファイルＡのファイル画像２７８に紐付く発言内容として表示エリア４８ａ内に表示させる。なお、発言内容２８４自体は、汎用の自動応答ＡＩによって作成された発言内容である。
以降、ユーザが文書アプリケーションを利用して文書ファイルＡを編集する。その編集が完了した場合、制御部２６は、文書ファイルＡに紐付くファイル画像２７８に代えて、汎用の自動応答ＡＩに紐付く画像５０を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。
以上のように第８実施形態によれば、自動応答ＡＩと対話する画面４８上で、ファイルの利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、ファイルの情報を自動応答ＡＩに送った場合）、対話相手の表示がそのファイルの表示に切り替えられる。こうすることで、ユーザは、当該ファイルに対して処理を実行できるか否かを視覚的に確認することができる。
また、ファイルを処理するためのソフトウェア（アプリケーション）に紐付く機能画像が、ファイルに紐付くファイル画像と共に、対話相手に紐付く画像として表示エリア４８ａ内に表示されてもよい。上記の例では、文書アプリケーションに紐付く機能画像が、文書ファイルＡに紐付くファイル画像２７８と共に表示エリア４８ａ内に表示されてもよい。
変形例１０が第８実施形態に適用されてもよい。例えば、ファイル毎に自動応答ＡＩのプログラムが割り当てられて、各自動応答ＡＩのプログラムが端末装置１０にインストールされている場合、制御部２６は、対話相手の表示を、汎用の自動応答ＡＩの表示からファイルの表示に切り替えると共に、ユーザの対話相手としての自動応答ＡＩを、汎用の自動応答ＡＩから当該ファイルに割り当てられている自動応答ＡＩに切り替えてもよい。
変形例１２が第８実施形態に適用されてもよい。例えば、ユーザが複数のファイルの利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、複数のファイルの情報を連携対象の情報として自動応答ＡＩに送った場合）、応答中の対話相手の表示が、汎用の自動応答ＡＩの表示から複数のファイルの表示に切り替えられる。以下、図４５を参照して、第８実施形態に変形例１２を適用した場合の処理について説明する。
図４５には、画面４８が示されている。画面４８には、図８と同様に、自動応答ＡＩに紐付く画像５０、ユーザに紐付く画像５２、及び、ユーザと自動応答ＡＩとの間の対話を示す情報が表示されている。
図４４に示す例と同様に、「どうしましたか？」といった発言内容２８６が自動応答ＡＩの発言内容として表示エリア４８ａ内に表示される。
この発言内容２８６に対して、ユーザが複数のファイルを連携対象のファイルとして指定すると、特定部２８（自動応答ＡＩによって実現される特定部２８）は、当該複数のファイルを連携対象のファイルとして識別する。例えば、ユーザが、複数のファイルの利用指示（利用要求）を示す発言内容として「文書ファイルＡと画像ファイルＣを編集したい。」といった発言内容２８８を発したものとする。制御部２６は、文書ファイルＡと文書ファイルＣの情報を含む発言内容２８８をユーザの発言内容として表示エリア４８ｂに表示させ、その発言内容２８８を連携対象の情報として自動応答ＡＩに送る。これにより、文書ファイルＡと画像ファイルＣの情報が、連携対象のファイルの情報として自動応答ＡＩに送られる。ユーザは、ＵＩ部２０を操作することで、複数のファイルを示す文字列（例えばファイル名）をユーザの発言内容として端末装置１０に入力してもよいし、上記の第４実施形態と同様に、ファイルに紐付くファイル画像（例えばアイコン）をユーザの発言内容として指定してもよい。ファイル画像を指定する場合、図３４に示されているように、ユーザは、ストックエリア１７０から複数のファイル画像を選択し、当該複数のファイル画像をユーザの発言内容の表示位置に移動させることで、当該複数のファイル画像をユーザの発言内容として指定してもよい。
特定部２８は、例えば図３３に示されている連携機能管理テーブルを参照することで、ユーザが指定した複数のファイルを利用して実行可能な連携機能を特定する。上記の例では、文書ファイルＡと画像ファイルＣが指定されているため、例えば、「画像を文書に挿入する機能」や「文書を画像に重畳する機能」等が、連携機能として特定される。
ユーザが複数のファイルを指定して当該複数のファイルが識別されると、制御部２６は、対話相手の表示を、汎用の自動応答ＡＩの表示から、ユーザによって指定された複数のファイルの表示に切り替える。
上記の例では、文書ファイルＡと画像ファイルＣが連携対象のファイルとして指定されているため、制御部２６は、自動応答ＡＩに紐付く画像５０に代えて、文書ファイルＡに紐付くファイル画像２７８と画像ファイルＣに紐付くファイル画像２９０を、対話相手に紐付く画像として表示エリア４８ａ内に表示させる。もちろん、制御部２６は、ファイル画像２７８，２９０に代えて又はファイル画像２７８，２９０と共に、文書ファイルＡと画像ファイルＣを示す文字列（例えばファイル名）を、対話相手を示す情報として表示エリア４８ａ内に表示させてもよい。
また、制御部２６は、「どの機能を利用しますか？」といった発言内容２９２を、文書ファイルＡと画像ファイルＣの発言内容として表示エリア４８ａ内に表示させる。その発言内容２９２自体は、汎用の自動応答ＡＩによって作成された発言内容である。制御部２６は、文書ファイルＡと画像ファイルＣがその発言内容２９２を発言しているかのように演出するために、その発言内容２９２を、文書ファイルＡのファイル画像２７８と画像ファイルＣのファイル画像２９０とに紐付く発言内容として表示エリア４８ａ内に表示させる。制御部２６は、特定部２８によって特定された連携機能の一覧を、文書ファイルＡと画像ファイルＣの発言内容として表示エリア４８ａ内に表示させてもよい。
上記の発言内容２９２に対して、ユーザは、実行したい連携機能をユーザの発言内容として端末装置１０に入力する。図４５に示す例では、「画像を文書に挿入したい。」といった連携機能を示す発言内容２９４が、ユーザの発言内容として端末装置１０に入力されている。
制御部２６は、ユーザの発言内容２９４を解析することで、ユーザが要求する連携機能を特定し、その連携機能の実行を制御する。上記の例では、制御部２６は、文書アプリケーションと画像アプリケーションを起動させ、画像ファイルＣを文書ファイルＡに挿入する。
連携機能の実行が完了した場合、制御部２６は、連携機能の実行が完了した旨を示す発言内容２９６を、文書ファイルＡと画像ファイルＣの発言内容として表示エリア４８ａ内に表示させる。このときも、制御部２６は、文書ファイルＡに紐付くファイル画像２７８と画像ファイルＣに紐付くファイル画像２９０を表示エリア４８ａ内に表示させ、その発言内容２９６を、文書ファイルＡのファイル画像２７８と画像ファイルＣのファイル画像２９０とに紐付く発言内容として表示エリア４８ａ内に表示させる。なお、発言内容２９６自体は、汎用の自動応答ＡＩによって作成された発言内容である。
連携機能の実行が完了した場合、制御部２６は、文書ファイルＡに紐付くファイル画像２７８と画像ファイルＣに紐付くファイル画像２９０に代えて、汎用の自動応答ＡＩに紐付く画像５０を対話相手に紐付く画像として表示エリア４８ａ内に表示させる。また、制御部２６は、「どうしましたか？」といった一般的な質問を示す発言内容２９８を、自動応答ＡＩの発言内容として表示エリア４８ａ内に表示させる。
なお、制御部２６は、文書アプリケーションと画像アプリケーションを起動させることで、文書編集画面と画像編集画面をＵＩ部２０の表示部に表示させてもよい。上記の連携機能が実行されることで、文書編集画面には、画像ファイルＣが挿入された状態の文書ファイルＡが表示される。ユーザは、その文書編集画面上にて、文書ファイルＡや画像ファイルＣを編集してもよい。制御部２６は、その編集が終了した時点、又は、その編集が開始した時点で、ファイル画像２７８，２９０に代えて、汎用の自動応答ＡＩに紐付く画像５０を、対話相手に紐付く画像として表示エリア４８ａ内に表示させる。
また、ファイルを処理するためのソフトウェア（アプリケーション）に紐付く機能画像が、ファイルに紐付くファイル画像と共に、対話相手に紐付く画像として表示エリア４８ａ内に表示されてもよい。上記の例では、文書アプリケーションに紐付く機能画像と画像アプリケーションに紐付く機能画像が、ファイル画像２７８，２９０と共に表示エリア４８ａ内に表示されてもよい。
以上のように変形例１２を第８実施形態に適用することで、自動応答ＡＩと対話する画面４８上で、連携対象の複数のファイルの利用指示（利用要求）を自動応答ＡＩに与えた場合（例えば、連携対象の複数のファイルの情報を自動応答ＡＩに送った場合）、対話相手の表示が当該複数のファイルの表示に切り替えられる。こうすることで、ユーザは、当該複数のファイルに対して処理を実行できるか否かを視覚的に確認することができる。
なお、複数のファイルが対話相手として表示された場合、ユーザの対話相手は、汎用の自動応答ＡＩであってもよいし、その汎用の自動応答ＡＩからファイル毎の自動応答ＡＩに切り替えられてもよい。
図４５に示す例では、２つのファイルの情報が自動応答ＡＩに送られているが、３つ以上のファイルの情報（例えば、３つ以上のファイル画像や３つ以上のファイルを示す文字列）が自動応答ＡＩに送られてもよい。この場合、自動応答ＡＩに紐付く画像５０に代えて、３つ以上のファイル画像が、対話相手に紐付く画像として表示エリア４８ａ内に表示される。
また、変形例１３が第８実施形態に適用されてもよい。つまり、第８実施形態においても、図３９及び図４０に示されている表示例に従って各機器画像が表示されてもよい。
なお、連携対象の組み合わせは、上記の第５実施形態から第８実施形態における組み合わせに限定されるものではない。例えば、機器、機能（機器によって実行される機能とソフトウェアによって実行される機能を含む）、ファイル、及び、ソフトウェアの中の少なくとも２つの組み合わせの情報が連携対象の情報として自動応答ＡＩに送られた場合、汎用の自動応答ＡＩの表示が、その組み合わせの表示に切り替えられてもよい。
例えば、機器とファイルの情報（例えば機器画像とファイル画像）がユーザの発言内容として自動応答ＡＩに送られた場合、制御部２６は、対話相手に紐付く画像を汎用の自動応答ＡＩに紐付く画像５０から機器画像とファイル画像に切り替える。具体例を挙げて説明すると、複合機Ｂと文書ファイルの情報がユーザの発言内容として自動応答ＡＩに送られた場合、制御部２６は、対話相手に紐付く画像を、汎用の自動応答ＡＩに紐付く画像５０から、複合機Ｂに紐付く機器画像と文書ファイルに紐付くファイル画像に切り替える。
同様に、ソフトウェアとファイルの情報（例えばソフトウェアに紐付く機能画像とファイル画像）がユーザの発言内容として自動応答ＡＩに送られた場合、制御部２６は、対話相手に紐付く画像を汎用の自動応答ＡＩに紐付く画像５０から機能画像とファイル画像に切り替える。具体例を挙げて説明すると、文書アプリケーションと文書ファイルの情報がユーザの発言内容として自動応答ＡＩに送られた場合、制御部２６は、対話相手に紐付く画像を、汎用の自動応答ＡＩに紐付く画像５０から、文書アプリケーションに紐付く機能画像と文書ファイルに紐付くファイル画像に切り替える。
また、機器と機能とファイルの情報がユーザの発言内容として自動応答ＡＩに送られた場合、制御部２６は、対話相手に紐付く画像を汎用の自動応答ＡＩから機器画像と機能画像とファイル画像に切り替える。具体例を挙げて説明すると、複合機Ｂと文書アプリケーションと文書ファイルの情報が、ユーザの発言内容として自動応答ＡＩに送られた場合、制御部２６は、対話相手に紐付く画像を、汎用の自動応答ＡＩに紐付く画像５０から、複合機Ｂに紐付く機器画像と文書アプリケーションに紐付く機能画像と文書ファイルに紐付くファイル画像に切り替える。
上記の具体例における組み合わせは一例に過ぎず、上記以外の機器、機能、ファイル及びソフトウェアの組み合わせの情報が自動応答ＡＩに送られた場合、汎用の自動応答ＡＩの表示がその組み合わせの表示に切り替えられてもよい。
上記の端末装置１０、機器１２，１４及びサーバ１６のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置１０、機器１２，１４及びサーバ１６のそれぞれは、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部は、例えばプロセッサや電子回路やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。
１０ 端末装置、１２，１４ 機器、１６ サーバ、２６ 制御部、２８ 特定部。

Claims (14)

  1. ユーザの発言内容が前記ユーザの発言内容の表示位置に表示され、対話相手の発言内容が前記対話相手の発言内容の表示位置に表示されて、前記ユーザが前記対話相手と対話するためのインターフェースにおいて、前記ユーザの発言内容の表示位置に表示された情報を前記ユーザの発言内容として前記対話相手に送る制御手段を有し、
    前記制御手段は、連携対象の情報が前記ユーザの発言内容の表示位置に表示された場合、前記連携対象の情報を前記ユーザの発言内容として前記対話相手に送り、前記連携対象を利用して実行可能な連携機能の通知を制御し、
    前記制御手段は、１又は複数の連携対象の候補の情報が表示される表示領域を前記インターフェースに表示させ、前記連携対象の候補の情報が前記ユーザによって前記表示領域から前記ユーザの発言内容の表示位置まで移動させられた場合、前記移動させられた前記連携対象の候補の情報を前記連携対象の情報として前記対話相手に送る、
    情報処理装置。
  2. 前記制御手段は、複数の連携対象の情報が前記対話相手に送られた場合、前記複数の連携対象を利用して実行可能な連携機能の通知を制御する、
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記制御手段は、前記複数の連携対象の情報を送る順番に応じて、連携機能の通知を変える、
    ことを特徴とする請求項２に記載の情報処理装置。
  4. 前記制御手段は、前記複数の連携対象が表された画像が前記対話相手に送られた場合、前記複数の連携対象を利用して実行可能な連携機能の通知を制御する、
    ことを特徴とする請求項２又は請求項３に記載の情報処理装置。
  5. 前記制御手段は、前記連携機能の第１候補の情報が前記ユーザによって前記表示領域から前記ユーザの発言内容の表示位置まで移動させられた場合、前記第１候補の情報を前記連携対象の情報として前記対話相手に送り、前記第１候補の移動の次に、前記連携対象の第２候補の情報が前記ユーザによって前記表示領域から前記ユーザの発言内容の表示位置まで移動させられた場合、前記第２候補の情報を前記連携対象の情報として前記対話相手に送り、前記第１候補と前記第２候補とを利用して実行可能な前記連携機能の通知を制御する、
    ことを特徴とする請求項１から請求項４何れかに記載の情報処理装置。
  6. 前記連携対象は機器であり、
    前記制御手段は、前記連携対象の情報としての前記機器の情報が前記対話相手に送られた場合、前記機器を利用して実行可能な連携機能の通知を制御する、
    ことを特徴とする請求項１から請求項５何れかに記載の情報処理装置。
  7. 前記機器の情報は、前記機器に紐付く画像である、
    ことを特徴とする請求項６に記載の情報処理装置。
  8. 前記機器に紐付く画像は、前記機器の外観画像である、
    ことを特徴とする請求項７に記載の情報処理装置。
  9. 前記外観画像は、前記機器を撮影することで得られた画像である、
    ことを特徴とする請求項８に記載の情報処理装置。
  10. 前記制御手段は、前記対話相手が機器に関する質問を発した後に撮影された前記外観画像を前記対話相手に送る、
    ことを特徴とする請求項９に記載の情報処理装置。
  11. 前記連携対象は前記機器の部分であり、
    前記制御手段は、前記機器の情報としての前記部分の情報が前記対話相手に送られた場合、前記部分を利用して実行可能な連携機能の通知を制御する、
    ことを特徴とする請求項６から請求項１０何れかに記載の情報処理装置。
  12. 前記制御手段は、更に、連携機能を実行するために前記機器を制御するためのインターフェースを表示する、
    ことを特徴とする請求項６から請求項１１何れかに記載の情報処理装置。
  13. コンピュータを、
    ユーザの発言内容が前記ユーザの発言内容の表示位置に表示され、対話相手の発言内容が前記対話相手の発言内容の表示位置に表示されて、前記ユーザが前記対話相手と対話するためのインターフェースにおいて、前記ユーザの発言内容の表示位置に表示された情報を前記ユーザの発言内容として前記対話相手に送る制御手段、
    として機能させ、
    前記制御手段は、連携対象の情報が前記ユーザの発言内容の表示位置に表示された場合、前記連携対象の情報を前記対話相手に送り、前記連携対象を利用して実行可能な連携機能の通知を制御し、
    前記制御手段は、１又は複数の連携対象の候補の情報が表示される表示領域を前記インターフェースに表示させ、前記連携対象の候補の情報が前記ユーザによって前記表示領域から前記ユーザの発言内容の表示位置まで移動させられた場合、前記移動させられた前記連携対象の候補の情報を前記連携対象の情報として前記対話相手に送る、
    プログラム。
  14. ユーザの発言内容が前記ユーザの発言内容の表示位置に表示され、対話相手の発言内容が前記対話相手の発言内容の表示位置に表示されて、前記ユーザが前記対話相手と対話するためのインターフェースにおいて、前記ユーザの発言内容の表示位置に表示された情報を前記ユーザの発言内容として前記対話相手に送ることを含み、
    連携対象の情報が前記ユーザの発言内容の表示位置に表示された場合、前記連携対象の情報を前記対話相手に送り、前記連携対象を利用して実行可能な連携機能の通知を制御し、
    １又は複数の連携対象の候補の情報が表示される表示領域を前記インターフェースに表示し、
    前記連携対象の候補の情報が前記ユーザによって前記表示領域から前記ユーザの発言内容の表示位置まで移動させられた場合、前記移動させられた前記連携対象の候補の情報を前記連携対象の情報として前記対話相手に送る、
    制御方法。
JP2017174219A 2017-09-11 2017-09-11 情報処理装置、プログラム及び制御方法 Active JP7081099B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017174219A JP7081099B2 (ja) 2017-09-11 2017-09-11 情報処理装置、プログラム及び制御方法
US15/960,563 US10437532B2 (en) 2017-09-11 2018-04-24 Information processing device and non-transitory computer readable medium
CN201811009666.8A CN109495664B (zh) 2017-09-11 2018-08-31 信息处理装置以及存储程序的计算机可读介质
US16/581,794 US10712981B2 (en) 2017-09-11 2019-09-25 Information processing device and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017174219A JP7081099B2 (ja) 2017-09-11 2017-09-11 情報処理装置、プログラム及び制御方法

Publications (2)

Publication Number Publication Date
JP2019049900A JP2019049900A (ja) 2019-03-28
JP7081099B2 true JP7081099B2 (ja) 2022-06-07

Family

ID=65631059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017174219A Active JP7081099B2 (ja) 2017-09-11 2017-09-11 情報処理装置、プログラム及び制御方法

Country Status (3)

Country Link
US (2) US10437532B2 (ja)
JP (1) JP7081099B2 (ja)
CN (1) CN109495664B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3076023A1 (fr) * 2017-12-26 2019-06-28 Orange Interface d'utilisateur a interaction perfectionnee par presentation de contenu informatif approprie
WO2020202299A1 (ja) * 2019-03-29 2020-10-08 株式会社Ｂｒｏｃａｎｔｅ チャットサーバおよびクライアント制御プログラム
JP7268449B2 (ja) * 2019-03-29 2023-05-08 京セラドキュメントソリューションズ株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
JP7405629B2 (ja) 2020-01-24 2023-12-26 株式会社日立システムズ チャットボット制御装置、チャットボット制御方法、及びチャットボット制御装置システム
JP2023124559A (ja) * 2022-02-25 2023-09-06 キヤノン株式会社 サーバ、その制御方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066193A (ja) 2014-09-24 2016-04-28 株式会社リコー 情報処理システム、及び情報処理方法
JP6024848B1 (ja) 2016-05-06 2016-11-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2017107529A (ja) 2015-12-07 2017-06-15 株式会社リコー 情報処理システム、端末装置及びプログラム
JP6179653B1 (ja) 2016-10-19 2017-08-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2018128843A (ja) 2017-02-08 2018-08-16 株式会社リコー 情報処理システム、端末装置、情報処理方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848373A (en) * 1994-06-24 1998-12-08 Delorme Publishing Company Computer aided map location system
US9646300B1 (en) * 2002-10-01 2017-05-09 World Award Academy, World Award Foundation, Amobilepay, Inc. Systems and methods for mobile application, wearable application, transactional messaging, calling, digital multimedia capture, payment transactions, and one touch service
US7734068B2 (en) * 2005-10-26 2010-06-08 Sentrilock, Inc. Electronic lock box using a biometric identification device
US7853661B2 (en) 2006-01-03 2010-12-14 Microsoft Corporation Remote access and social networking using presence-based applications
JP2012029164A (ja) * 2010-07-26 2012-02-09 Konica Minolta Business Technologies Inc 携帯端末及び装置管理方法
JP5524292B2 (ja) * 2012-07-23 2014-06-18 シャープ株式会社 複合機、複合機制御システム、および複合機の管理方法
JP6079060B2 (ja) * 2012-08-29 2017-02-15 株式会社リコー 携帯端末、画像形成方法及び画像形成システム
CN103010270B (zh) * 2013-01-11 2016-03-23 广州地铁设计研究院有限公司 一种应用于城市轨道交通系统的联动控制系统及方法
JP6308942B2 (ja) * 2013-01-18 2018-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ コンテンツ提示方法、及びプログラム
JP6229314B2 (ja) * 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
KR102106920B1 (ko) * 2013-11-26 2020-05-06 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20150069917A (ko) * 2013-12-16 2015-06-24 삼성전자주식회사 화상형성 시스템, 모바일 디바이스의 메신저 애플리케이션을 이용하여 화상형성장치를 제어하는 방법 및 이를 수행하는 모바일 디바이스
US10565268B2 (en) * 2013-12-19 2020-02-18 Adobe Inc. Interactive communication augmented with contextual information
KR20160076201A (ko) * 2014-12-22 2016-06-30 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102377277B1 (ko) * 2015-02-27 2022-03-23 삼성전자주식회사 전자 장치에서 커뮤니케이션 지원 방법 및 장치
KR20170011617A (ko) * 2015-07-23 2017-02-02 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6278017B2 (ja) * 2015-09-17 2018-02-14 コニカミノルタ株式会社 遠隔制御システム、画像処理装置、遠隔制御方法、および遠隔制御プログラム
JP2017072998A (ja) * 2015-10-07 2017-04-13 株式会社リコー 情報処理システム、サーバ装置及びプログラム
US20180240458A1 (en) * 2017-02-20 2018-08-23 Ron Zass Wearable apparatus and method for vocabulary measurement and enrichment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066193A (ja) 2014-09-24 2016-04-28 株式会社リコー 情報処理システム、及び情報処理方法
JP2017107529A (ja) 2015-12-07 2017-06-15 株式会社リコー 情報処理システム、端末装置及びプログラム
JP6024848B1 (ja) 2016-05-06 2016-11-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP6179653B1 (ja) 2016-10-19 2017-08-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2018128843A (ja) 2017-02-08 2018-08-16 株式会社リコー 情報処理システム、端末装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN109495664B (zh) 2022-01-14
US10437532B2 (en) 2019-10-08
US10712981B2 (en) 2020-07-14
CN109495664A (zh) 2019-03-19
US20190079709A1 (en) 2019-03-14
US20200019356A1 (en) 2020-01-16
JP2019049900A (ja) 2019-03-28

Similar Documents

Publication Publication Date Title
JP6972806B2 (ja) 情報処理装置、プログラム及び制御方法
JP7081099B2 (ja) 情報処理装置、プログラム及び制御方法
JP7130929B2 (ja) 情報処理装置、プログラム及び制御方法
JP7106827B2 (ja) 情報処理装置、プログラム及び制御方法
US11119706B2 (en) Information processing device and non-transitory computer readable medium for notification of linkage function
CN109895092B (zh) 信息处理装置、信息处理方法以及计算机可读介质
JP2022023931A (ja) 情報処理装置、プログラム及び制御方法
JP6642630B2 (ja) 情報処理装置及びプログラム
JP7302642B2 (ja) 情報処理装置、プログラム及び制御方法
US11657023B2 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method
JP7155505B2 (ja) 情報処理装置、プログラム及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220509

R150 Certificate of patent or registration of utility model

Ref document number: 7081099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150