JP7091856B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP7091856B2
JP7091856B2 JP2018110028A JP2018110028A JP7091856B2 JP 7091856 B2 JP7091856 B2 JP 7091856B2 JP 2018110028 A JP2018110028 A JP 2018110028A JP 2018110028 A JP2018110028 A JP 2018110028A JP 7091856 B2 JP7091856 B2 JP 7091856B2
Authority
JP
Japan
Prior art keywords
user
function
conversation partner
instruction
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018110028A
Other languages
English (en)
Other versions
JP2019212183A (ja
Inventor
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2018110028A priority Critical patent/JP7091856B2/ja
Priority to CN201811547352.3A priority patent/CN110580283A/zh
Priority to US16/421,942 priority patent/US11347445B2/en
Publication of JP2019212183A publication Critical patent/JP2019212183A/ja
Application granted granted Critical
Publication of JP7091856B2 publication Critical patent/JP7091856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1206—Improving or facilitating administration, e.g. print management resulting in increased flexibility in input data format or job format or job type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1268—Job submission, e.g. submitting print job order or request not the print data itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1275—Print workflow management, e.g. defining or changing a workflow, cross publishing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1224—Client or server resources management
    • G06F3/1228—Printing driverless or using generic drivers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
特許文献１には、１つ以上のボットとの通信を確立し、当該１つ以上のボットを通じて、ユーザがメディアを消費しようとするデバイスとユーザとが遠隔的に相互作用することを可能にするための方法が記載されている。
特表２００９－５２２６８７号公報
本発明の目的は、複数の会話相手に対して指示を与えるためのユーザインターフェースを提供することにある。
請求項１に記載の発明は、会話型のユーザインターフェースにおいて、ユーザが複数の会話相手に対して指示を与えた場合、前記指示の対応結果の通知を制御する制御手段を有し、前記複数の会話相手は、前記指示に含まれる処理を実行するための第１機器に紐付けられて前記ユーザの発言に対して発言する第１会話相手と、前記処理を実行するための第２機器に紐付けられて前記ユーザの発言に対して発言する第２会話相手とを含み、前記制御手段は、更に、互いの相性に基づいて定められた機器の組み合わせの候補の一覧を前記ユーザインターフェースに表示させ、前記第１機器と前記第２機器は、前記一覧の中から前記ユーザによって選択された機器の組み合わせであり、前記第１会話相手は、前記ユーザの発言に対して自動で発言する第１チャットボットであり、前記第２会話相手は、前記ユーザの発言に対して自動で発言する第２チャットボットである、ことを特徴とする情報処理装置である。
請求項２に記載の発明は、前記第１会話相手に紐付けられた第１画像と、前記第２会話相手に紐付けられた第２画像が、前記ユーザインターフェースに表示されている状態で、前記ユーザによって前記指示が与えられた場合、前記制御手段は、前記対応結果の通知を制御する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記指示は、前記第１機器と前記第２機器が互いに連携して実行可能な１又は複数の処理を含む、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記指示は、１又は複数の処理を含み、前記第１会話相手と前記第２会話相手は、前記指示に含まれる１又は複数の処理を分けて担当する、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記第１会話相手は、前記指示の中で前記第１機器によって実行可能な処理の実行を制御し、前記第２会話相手は、前記指示の中で前記第２機器によって実行可能な処理の実行を制御する、ことを特徴とする請求項４に記載の情報処理装置である。
請求項６に記載の発明は、前記第１会話相手と前記第２会話相手は、前記指示に含まれる処理の完了に要する時間が短くなるように、前記指示に含まれる１又は複数の処理を分けて担当する、ことを特徴とする請求項４又は請求項５に記載の情報処理装置である。
請求項７に記載の発明は、前記第１会話相手と前記第２会話相手は、前記第１会話相手が担当する処理の数と前記第２会話相手が担当する処理の数との差が小さくなるように、前記指示に含まれる１又は複数の処理を分けて担当する、ことを特徴とする請求項４又は請求項５に記載の情報処理装置である。
請求項８に記載の発明は、前記第１会話相手と前記第２会話相手は、前記第１機器の性能と前記第２機器の性能に応じて、前記指示に含まれる１又は複数の処理を分けて担当する、ことを特徴とする請求項４又は請求項５に記載の情報処理装置である。
請求項９に記載の発明は、前記第１会話相手と前記第２会話相手は、前記第１機器によって得られる処理結果の質と前記第２機器によって得られる処理結果の質に応じて、前記指示に含まれる１又は複数の処理を分けて担当する、ことを特徴とする請求項４又は請求項５に記載の情報処理装置である。
請求項１０に記載の発明は、前記制御手段は、更に、前記第１会話相手が担当した処理の第１完了予測時間の通知と、前記第２会話相手が担当した処理の第２完了予測時間の通知を制御する、ことを特徴とする請求項４から請求項９何れかに記載の情報処理装置である。
請求項１１に記載の発明は、前記制御手段は、前記第１完了予測時間と前記第２完了予測時間とを別々に通知する、ことを特徴とする請求項１０に記載の情報処理装置である。
請求項１２に記載の発明は、前記第１完了予測時間と前記第２完了予測時間との差分が閾値以下である場合、前記制御手段は、前記第１完了予測時間と前記第２完了予測時間とを同一メッセージとして通知する、ことを特徴とする請求項１０に記載の情報処理装置である。
請求項１３に記載の発明は、前記制御手段は、更に、前記第１会話相手が担当した処理の完了の通知と、前記第２会話相手が担当した処理の完了の通知を制御する、ことを特徴とする請求項４から請求項１２何れかに記載の情報処理装置である。
請求項１４に記載の発明は、前記第１会話相手が担当した処理の完了と、前記第２会話相手が担当した処理の完了が通知された後、予め定められた時間以内に前記ユーザによる確認作業が行われなかった場合、前記制御手段は、更に、前記ユーザに確認作業を促すための情報の通知を制御する、ことを特徴とする請求項１３に記載の情報処理装置である。
請求項１５に記載の発明は、前記第１機器と前記第２機器は、同一種類の機器、又は、異なる種類の機器である、ことを特徴とする請求項１から請求項１４何れかに記載の情報処理装置である。
請求項１６に記載の発明は、前記第１機器には、互いに設定の異なる複数の第１会話相手が紐付けられている、ことを特徴とする請求項１から請求項１５何れかに記載の情報処理装置である。
請求項１７に記載の発明は、前記第１機器と前記第２機器とによって実行できない指示が前記ユーザによって与えられた場合、制御手段は、更に、その旨の通知を制御する、ことを特徴とする請求項１から請求項１６何れかに記載の情報処理装置である。
請求項１８に記載の発明は、前記制御手段は、更に、前記指示を実行する機能を有する機器の案内を通知する、ことを特徴とする請求項１から請求項１７何れかに記載の情報処理装置である。
請求項１９に記載の発明は、コンピュータを、会話型のユーザインターフェースにおいて、ユーザが複数の会話相手に対して指示を与えた場合、前記指示の対応結果の通知を制御する制御手段、として機能させ、前記複数の会話相手は、前記指示に含まれる処理を実行するための第１機器に紐付けられて前記ユーザの発言に対して発言する第１会話相手と、前記処理を実行するための第２機器に紐付けられて前記ユーザの発言に対して発言する第２会話相手とを含み、前記制御手段は、更に、互いの相性に基づいて定められた機器の組み合わせの候補の一覧を前記ユーザインターフェースに表示させ、前記第１機器と前記第２機器は、前記一覧の中から前記ユーザによって選択された機器の組み合わせであり、前記第１会話相手は、前記ユーザの発言に対して自動で発言する第１チャットボットであり、前記第２会話相手は、前記ユーザの発言に対して自動で発言する第２チャットボットである、ことを特徴とするプログラムである。
請求項１，１８に記載の発明によれば、複数の会話相手に対して指示を与えるためのユーザインターフェースを提供することができる。
請求項１，１９に記載の発明によれば、機器に紐付く会話相手に対して指示を与えることができる。
請求項２に記載の発明によれば、表示されている画像に紐付く会話相手に対して指示を与えることができる。
請求項１，１９に記載の発明によれば、相性に基づいて機器の組み合わせを選択することができる。
請求項３に記載の発明によれば、複数の機器を連携させて実行可能な処理の指示を与えることができる。
請求項４，５に記載の発明によれば、複数の処理を分担して実行することができる。
請求項６に記載の発明によれば、処理の完了に要する時間を短くすることができる。
請求項７に記載の発明によれば、各機器の負荷を軽減することができる。
請求項８に記載の発明によれば、各機器の性能に応じて各処理を各機器に割り当てることができる。
請求項９に記載の発明によれば、処理結果の質に応じて各処理を各機器に割り当てることができる。
請求項１０，１１，１２に記載の発明によれば、完了予測時間を通知することができる。
請求項１３に記載の発明によれば、処理の完了を通知することができる。
請求項１４に記載の発明によれば、ユーザに確認作業を促すことができる。
請求項１５に記載の発明によれば、同一種類又は異なる種類の複数の機器に対して指示を与えることができる。
請求項１６に記載の発明によれば、互いに設定の異なる複数の第１会話相手に対して指示を与えることができる。
請求項１７に記載の発明によれば、ユーザによって与えられた指示が機器によって実行できないことを通知することができる。
請求項１，１９に記載の発明によれば、チャットボットを利用して指示を与えることができる。
本発明の実施形態に係る情報処理システムの構成を示すブロック図である。 端末装置の構成を示すブロック図である。 機器の構成を示すブロック図である。 中継器の外観を示す斜視図である。 単独機能管理テーブルを示す図である。 連携機能管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 変形例に係る相性管理テーブルを示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。
図１を参照して、本発明の実施形態に係る情報処理システムについて説明する。図１は、本実施形態に係る情報処理システムの一例を示す。
本実施形態に係る情報処理システムは、１又は複数の端末装置と１又は複数の機器を含む。図１に示す例では、情報処理システムは、端末装置１０Ａ～１０Ｄ及び機器１２Ａ～１２Ｍを含む。なお、これらは一例に過ぎず、サーバが情報処理システムに含まれてもよい。以下、各端末装置を区別する必要がない場合には、各端末装置を「端末装置１０」と称することとする。同様に、各機器を区別する必要がない場合には、各機器を「機器１２」と称することとする。なお、機器１２の概念の範疇に端末装置１０が含まれてもよい。つまり、端末装置１０が機器１２として扱われてもよい。
端末装置１０及び機器１２は、他の装置と通信する機能を有する。その通信は、無線通信であってもよいし、有線通信であってもよい。例えば、端末装置１０及び機器１２は、インターネット又は他のネットワーク等の通信経路を介して他の装置と通信してもよいし、直接的に他の装置と通信してもよいし、ハブとして機能する中継器を介して他の装置と通信してもよいし、いわゆるクラウドやサーバを介して他の装置と通信してもよい。各機器１２は、いわゆるＩｏＴ（Internet of Things）機器であってもよい。
端末装置１０は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン又は携帯電話等の装置であり、他の装置と通信する機能を有する。端末装置１０は、ウェアラブル端末（腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末又はヒアラブル端末等）であってもよい。また、端末装置１０は、表示装置としてフレキシブルディスプレイを有していてもよい。フレキシブルディスプレイとして、例えば、有機エレクトロルミネッセンス型のディスプレイ（フレキシブル有機ＥＬディスプレイ）、電子ペーパー型のディスプレイ又はフレキシブル液晶ディスプレイ等が用いられる。これら以外の表示方式が採用されたフレキシブルディスプレイが用いられてもよい。フレキシブルディスプレイは、表示部分が柔軟に変形可能なディスプレイであり、例えば、曲げたり、折り畳んだり、巻いたり、捩ったり、伸ばしたりすることが可能なディスプレイである。端末装置１０全体がフレキシブルディスプレイによって構成されていてもよいし、フレキシブルディスプレイとそれ以外の構成とが機能的又は物理的に分かれていてもよい。
機器１２は機能を有する装置であり、例えば、画像形成機能（スキャン機能、プリント機能、コピー機能、ファクシミリ機能等）を有する画像形成装置、ＰＣ、タブレットＰＣ、スマートフォン、携帯電話、ロボット（人型ロボット、人以外の動物型ロボット、又は、それら以外のロボット等）、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明装置、時計、監視カメラ、自動車、二輪車、航空機（例えば無人航空機（いわゆるドローン））、ゲーム機、又は、各種のセンシング機器（例えば温度センサ、湿度センサ、電圧センサ、電流センサ等）等の装置である。機器１２は、ユーザに対して情報を出力する機器（例えば画像形成装置又はＰＣ等）であってもよいし、ユーザに対して情報を出力しない機器（例えばセンシング機器）であってもよい。また、後述する連携機能を実行する複数の機器１２の中のすべての機器１２が、ユーザに対して情報を出力する機器であってもよいし、一部の機器１２がユーザに対して情報を出力する機器であり、他の機器１２がユーザに対して情報を出力しない機器であってもよいし、すべての機器１２がユーザに対して情報を出力しない機器であってもよい。機器１２の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、及び、その他の機器も、機器１２の概念の範疇に含まれてもよい。
機器１２は、単独機能を実行してもよいし、他の機器１２と連携して連携機能を実行してもよい。単独機能は、例えば、１つの機器１２を用いて実行可能な機能である。連携機能は、例えば、複数の機器１２を用いて実行可能な機能である。単独機能及び連携機能では、例えば、機器１２が有するハードウェア又はソフトウェアが用いられる。なお、機器１２は、他の機器１２と連携していない場合、独立してユーザからの指示を受け付けて単独機能を実行してもよい。もちろん、ユーザからの指示を受けずに機能を実行する機器１２（例えばセンシング機器）が、情報処理システムに含まれてもよい。
ここで、連携機能について説明する。機器１２の全体、機器１２の特定の部分、ソフトウェアの特定の機能、又は、複数の機能を含む集合機能等が、連携機能に用いられてもよい。例えば、機器１２の部分毎に機能が割り当てられている場合、連携機能は、その部分を用いる機能であってもよい。具体例を挙げて説明すると、複数の画像形成機能を有する複合機の本体部にプリント機能が割り当てられており、複合機の読取部（例えば、原稿カバー、原稿ガラス又は自動原稿給紙装置に対応する部分）にスキャン機能が割り当てられており、複合機の後処理装置に後処理機能（例えばステープル止め機能等）が割り当てられているものとする。この場合、複合機の本体部、読取部又は後処理装置が、連携機能に用いられてもよい。また、ソフトウェアとして、ＲＰＡ（Robotics Process Automation）等のようにブロック単位でまとまった集合機能が、連携機能に用いられてもよい。また、ソフトウェアが複数の機能を有している場合、連携機能は、当該複数の機能の中の一部の機能を用いる機能であってもよい。集合機能は、複数の機能によって構成されており、当該複数の機能が同時又は順次に実行されることで、当該集合機能による処理が実行される。また、連携機能は、ハードウェアのみを用いる機能であってもよいし、ソフトウェアのみを用いる機能であってもよいし、ハードウェアとソフトウェアの両方を用いる機能であってもよい。また、連携機能には、画像ファイル又は文書ファイル等のデータが用いられてもよいし、端末装置１０が用いられてもよい。
連携機能は、互いに異なる種類の複数の機器１２を連携させることで実行可能な機能であってもよいし、同一の種類の複数の機器１２を連携させることで実行可能な機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。例えば、プリント機能を有する機器１２（プリンタ）と、スキャン機能を有する機器１２（スキャナ）とを連携させることで、連携機能としてのコピー機能が実行可能となる。すなわち、プリント機能とスキャン機能とを連携させることで、コピー機能が実行可能となる。
連携機能の概念の範疇には、複数の機器１２を連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダとを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、例えば、テレビに表示されている画像を録画する機能である。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。この拡張機能は、例えば各カメラの撮影領域を繋ぎ合わせて撮影する機能である。また、電話と翻訳機又は翻訳ソフトとを組み合わせることで、合体機能としての翻訳通話機能（電話を介した会話が翻訳される機能）が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の複数の機器１２又はソフトウェアを連携させることで実現可能となる機能、及び、互いに異なる種類の複数の機器１２又はソフトウェアを連携させることで実現可能となる機能が含まれてもよい。
また、複数の機器１２によってコネクテッドホーム（ＩｏＴ技術を用いて、家電等の機器１２同士をネットワークによって接続するシステム）が構築され、そのコネクテッドホームにて連携機能が用いられてもよい。この場合、特定のサーバを介して機器１２同士が接続してもよいし、特定のサーバを介さずに機器１２同士が接続してもよい。
また、複数の機器１２は、ＩＦＴＴＴ（イフト）を用いて連携することで連携機能を実行してもよい。つまり、連携機能の内容が、ある機器１２にてトリガーとなる事象が発生した場合に、他の機器１２がアクション（処理）を実行するというものであってもよい。例えば、機器１２としてのセンサが扉の開きを検知したことがトリガーとなって、別の機器１２としての照明装置を点灯させるというアクションを実行する連携機能が実行されてもよい。また、ある機器１２によるアクションが別のトリガーとなって、更に別の機器１２がアクションを実行する機能も、連携機能の概念の範疇に含まれてもよい。また、複数のＷｅｂサービスを連携させる機能、及び、ＡＰＩ（Application Programming Interface）を利用して複数のシステム又はサービス等を連携させるＡＰＩ連携が、連携機能の概念の範疇に含まれてもよい。
図１に示す例では、機器１２Ａ，１２Ｄ，１２Ｇは、中継器である。機器１２Ｂ，１２Ｋは、ロボットである。機器１２Ｃ，１２Ｌは、カメラである。機器１２Ｅ，１２Ｎは、ＰＣである。機器１２Ｆ，１２Ｈは、画像形成機能を有する複合機である。
なお、中継器は、例えば、当該中継器に接続されている他の機器１２（例えば、当該他の機器１２が有するハードウェア、及び、当該他の機器１２にインストールされているソフトウェア）を制御してもよい。また、中継器は、インターネット等を利用することで、各種の情報を取得してもよい。中継器は、サーバとして機能してもよいし、データ及びユーザ情報の管理等を行ってもよい。中継器は、いわゆるスマートスピーカ（通信機能及びスピーカ機能を有する機器）であってもよいし、通信機能を有するがスピーカ機能を有していない機器であってもよい。中継器は、屋内（例えば、部屋の床、天井、又は、テーブル等）に設置されてもよいし、屋外に設置されてもよい。中継器は、移動可能な機器（例えば自動式の機器）であってもよい。
各機器１２は、ユーザの指示に従って、又は、ユーザの指示の有無に関わらず自動的に、単独機能を実行するように構成されている。また、各機器１２は、自身に設定された連携機能を実行してもよい。例えば、連携機能の内容を示す設定情報が、当該連携機能に用いられる各機器１２に記憶され、各機器１２は、自身に記憶されている設定情報が示す連携機能を他の機器１２と連携して実行する。
各端末装置１０及び各機器１２には、ユーザを補助するための１又は複数の操作アシスタント（パーソナルアシスタント）が搭載されている。操作アシスタントは、例えば、当該操作アシスタントが搭載されている端末装置１０又は機器１２を制御するように構成されている。操作アシスタントは、端末装置１０又は機器１２を構成するハードウェアを制御してもよいし、端末装置１０又は機器１２にインストールされているソフトウェアを制御してもよい。例えば、操作アシスタントは、ユーザによって与えられた指示を解析し、その指示に従って端末装置１０又は機器１２を制御することで、ユーザによって指定された機能の実行を制御する。もちろん、操作アシスタントが搭載されていない端末装置１０及び機器１２が、情報処理システムに含まれてもよい。
また、操作アシスタントは、ユーザと会話する機能を有する。例えば、操作アシスタントは、自動応答ＡＩであるチャットボット（chatbot）（人工知能を活用した自動会話プログラム）として機能する。つまり、操作アシスタントは、ユーザの会話相手として機能することで、ユーザとの間で情報（例えばメッセージ）をやり取りする。例えば、操作アシスタント（チャットボット）は、ユーザの発言を解析し、その解析結果に基づいて回答を作成してユーザに提供する。例えば、その回答は、操作アシスタントの発言としてユーザに提供される。
音声入力又は文字入力等によって、ユーザの指示又は発言が操作アシスタントに与えられた場合、操作アシスタントは、例えば、入力された情報に対して形態素解析等の自然言語処理を適用することで、その指示又は発言を解析し、その解析結果に基づいて、ユーザに対する回答を作成する。
操作アシスタント（チャットボット）は、例えば、操作アシスタントプログラム（チャットボットプログラム）が実行されることで実現される。その操作アシスタントプログラムは、各端末装置１０及び各機器１２にインストールされている。もちろん、操作アシスタントプログラムは、サーバ等の外部装置にインストールされ、操作アシスタントの機能が、サーバから端末装置１０及び機器１２に提供されてもよい。
操作アシスタントは人工知能（ＡＩ）によって実現されてもよい。例えば、操作アシスタントは、人工知能による学習機能を有し、その学習機能によって、人に近い判断を行う能力を有していてもよい。また、ニューラルネットワーク型のディープラーニングが利用されてもよいし、部分的に学習分野を強化する強化学習等が利用されてもよいし、その他、遺伝的アルゴリズム、クラスタ分析、自己組織化マップ、又は、アンサンブル学習等が利用されてもよい。もちろん、これら以外の人工知能に関する技術が利用されてもよい。
操作アシスタントは、当該操作アシスタントにログインしているユーザアカウントに紐付けられたユーザからの指示に従って動作してもよい。
以下、図２を参照して、端末装置１０の構成について詳しく説明する。図２は、端末装置１０の構成の一例を示す。
通信部１４は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部１４は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部１４は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ－Ｆｉ（登録商標）通信、又は、近接無線通信（例えばＮＦＣ（Near Field Communication）等）等である。近接無線通信としては、Ｆｅｌｉｃａ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）、又は、ＲＦＩＤ（Radio Frequency Identifier）等が用いられる。また、通信部１４は、第５世代移動通信システム（５Ｇ）に対応してもよい。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部１４は、通信相手に応じて通信方式や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式や周波数帯域を切り替えてもよい。周波数帯域として、例えば、２．４ＧＨｚや５ＧＨｚ等が用いられてもよい。
ＵＩ部１６はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。表示部は、フレキシブルディスプレイであってもよい。操作部は、例えばタッチパネル又はキーボード等の入力装置である。ＵＩ部１６は、表示部と操作部とを兼ねたユーザインターフェース（例えば、タッチ式のディスプレイ、又は、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。また、ＵＩ部１６は、マイク等の集音部及びスピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が端末装置１０に入力されてもよいし、音声によって情報が発せられてもよい。
記憶部１８は、ハードディスク又はメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部１８には、例えば、各種のデータ及び各種のプログラム（ソフトウェア）等が記憶されている。プログラムとして、例えば、ＯＳ（Operating System）、及び、各種のアプリケーションプログラム（ソフトウェア）等が記憶されている。アプリケーションプログラムの一例として、１又は複数の操作アシスタントプログラム（チャットボットプログラム）が記憶部１８に記憶されている。また、記憶部１８には、機能管理情報が記憶されている。その他、記憶部１８には、機器１２のアドレスを示す機器アドレス情報（例えば、機器１２に割り当てられたＩＰアドレス又はＭＡＣアドレス等）、及び、サーバのアドレスを示すサーバアドレス情報（例えば、サーバに割り当てられたＩＰアドレス又はＭＡＣアドレス等）等が記憶されてもよい。
以下、機能管理情報について詳しく説明する。機能管理情報は、機器１２を用いることで実行可能な１又は複数の機能を管理するための情報である。例えば、機能管理情報は、予め作成されて記憶部１８に記憶されている。機能は、単独機能であってもよいし、連携機能であってもよい。
機能管理情報は、例えば、機器１２を識別するための機器識別情報と、当該機器１２を用いて実行される機能の内容を示す機能情報との対応付けを示す情報である。例えば、単独機能に用いられる機器１２の機器識別情報と、当該単独機能の内容を示す機能情報とが互いに対応付けられて、機能管理情報に登録されている。また、連携機能に用いられる複数の機器１２の組み合わせを示す情報（各機器１２の機器識別情報の組み合わせ）と、当該連携機能の内容を示す機能情報とが互いに対応付けられて、機能管理情報に登録されている。
機器識別情報は、例えば、機器１２の名称、機器ＩＤ、機器１２の種類を示す情報、機器１２の型番号、機器１２を管理するための情報（例えば資産管理情報等）、機器１２が設置されている位置を示す情報（機器１２の位置情報）、機器１２に紐付く画像（機器画像）、又は、機器アドレス情報等である。機器画像は、例えば、機器１２を表す外観画像である。外観画像は、機器１２の外側（例えば機器１２の筐体）を表す画像であってもよいし、筐体を開けて内部が外から見える状態（例えば内部構造）を表す画像であってもよいし、梱包用のシート等によって機器１２が覆われている状態を表す画像であってもよい。機器画像は、機器１２をカメラ等の撮影装置によって撮影することで生成された画像（機器１２の外観を表す画像や内部を表す画像等）であってもよいし、機器１２を模式的に表す画像（例えばアイコン等）であってもよい。機器画像は、静止画像であってもよいし、動画像であってもよい。機器画像のデータは、記憶部１８に記憶されていてもよいし、他の装置（機器１２又はサーバ等）に記憶されていてもよい。
また、機能管理情報には、機器１２の性能を示す情報、及び、機器１２のステータスを示す情報等が含まれてもよい。性能は、例えば、ＣＰＵ等のプロセッサの性能、メモリの容量、及び、インストールされているソフトウェア等である。ステータスを示す情報は、例えば、稼働中、停止中、故障中、スリープモード中、又は、処理中等を示す情報である。
なお、機能管理情報は、端末装置１０以外の装置（機器１２又はサーバ等）に記憶されていてもよい。この場合、機能管理情報は、端末装置１０に記憶されていなくてもよい。
連携機能にソフトウェアが用いられる場合、そのソフトウェアを識別するためのソフトウェア識別情報が機能管理情報に登録される。例えば、機器１２とソフトウェアとを連携させることで連携機能が実現される場合、当該機器１２の機器識別情報と当該ソフトウェアのソフトウェア識別情報との組み合わせと、当該連携機能の内容を示す機能情報とが互いに対応付けられて機能管理情報に登録される。なお、機器１２を用いずに連携機能が実現されてもよい。例えば、複数のソフトウェアを用いることで連携機能が実現される場合、当該複数のソフトウェアのソフトウェア識別情報の組み合わせと、当該連携機能の内容を示す機能情報とが互いに対応付けられて機能管理情報に登録される。また、ファイル（データ）又は物理的な物体が、連携機能に用いられてもよい。この場合、当該ファイル又は物体を識別するための情報が、当該連携機能の内容を示す機能情報に対応付けられて機能管理情報に登録される。例えば、機器１２とファイルとを用いることで連携機能が実現される場合、当該機器１２の機器識別情報と当該ファイルの識別情報との組み合わせと、当該連携機能の内容を示す機能情報とが互いに対応付けられて機能管理情報に登録される。ソフトウェアとファイルとを用いることで連携機能が実現される場合も同様である。このように、連携機能は、複数の機器１２の組み合わせ、複数のソフトウェアの組み合わせ、機器１２とソフトウェアとの組み合わせ、機器１２とファイル又は物体との組み合わせ、又は、ソフトウェアとファイル又は物体との組み合わせによって実現されてもよい。
情報処理システムに新たな機器１２が追加された場合、当該機器１２が有する単独機能、及び、当該機器１２と他の機器１２とを連携させることで実行可能な連携機能が、機能管理情報に登録される。その登録処理は、端末装置１０によって行われてもよいし、機器１２によって行われてもよいし、サーバ等の装置によって行われてもよい。
制御部２０は、端末装置１０の各部の動作を制御するように構成されている。例えば、制御部２０は、プログラムの実行、通信部１４による通信の制御、ＵＩ部１６を用いた情報の通知（例えば情報の表示及び音声出力等）の制御、ＵＩ部１６を用いて端末装置１０に入力された情報の受け付け、記憶部１８への情報の書き込み、及び、記憶部１８からの情報の読み出し等を行う。また、制御部２０は処理決定部２２を含む。
処理決定部２２は、ユーザによって与えられた指示内容に含まれる処理を解析し、その処理に含まれる個別処理を実行すべき機器１２を決定するように構成されている。例えば、処理決定部２２は、記憶部１８に記憶されている機能管理情報を参照することで、個別処理を実行するために必要な機能を有する機器１２を特定し、当該個別処理を当該機器１２に割り当てる。処理決定部２２は、当該個別処理の実行命令を示す情報を当該機器１２に送信し、当該機器１２は、当該実行命令に従って、自装置に割り当てられた当該個別処理を実行する。例えば、機器１２に搭載されている操作アシスタント（チャットボット）とユーザとの間で情報がやり取りされることで、実行命令を示す情報が当該操作アシスタントに与えられる。当該操作アシスタントは、当該実行命令に従って、当該操作アシスタントが搭載されている機器１２を制御することで、当該機器１２に当該個別処理を実行させる。
以下、図３を参照して、機器１２の構成について詳しく説明する。図３は、機器１２の構成の一例を示す。なお、図３は、各機器１２が共通して有する構成を示しており、各機器１２の特有の構成を示していない。
通信部２４は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部２４は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部２４は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式に従って通信相手と通信してもよい。通信方式は、上述した通信方式が用いられてもよい。通信部２４は、通信相手に応じて通信方式や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式や周波数帯域を切り替えてもよい。
ＵＩ部２６はユーザインターフェース部であり、表示部と操作部を含む。表示部は、例えば液晶ディスプレイ等の表示装置である。表示部は、フレキシブルディスプレイであってもよい。操作部は、例えばタッチパネル又はキーボード等の入力装置である。ＵＩ部２６は、表示部と操作部とを兼ねたユーザインターフェースであってもよい。また、ＵＩ部２６は、マイク等の集音部及びスピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が機器１２に入力されてもよいし、音声によって情報が発せられてもよい。なお、ＵＩ部２６を有していない機器１２が、情報処理システムに含まれてもよい。例えば、情報をユーザに出力しないセンシング機器は、ＵＩ部２６を有していなくてもよい。
実行部２８は、機能を実行するように構成されている。例えば、機器１２が画像形成装置である場合、実行部２８は画像形成機能を実行する。また、機器１２がロボットである場合、実行部２８は、ロボットが有する機能（例えば、移動機能又は持ち上げ機能等）を実行する。機器１２がカメラである場合、実行部２８は、撮影機能を実行する。
記憶部３０は、ハードディスク又はメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部３０には、例えば、各種のデータ及び各種のプログラム（ソフトウェア）等が記憶されている。プログラムとして、例えば、ＯＳ、及び、各種のアプリケーションプログラム（ソフトウェア）等が記憶されている。アプリケーションプログラムの一例として、１又は複数の操作アシスタントプログラム（チャットボットプログラム）が記憶部３０に記憶されている。なお、機器１２によっては、ＯＳ及びアプリケーションプログラムが記憶部３０に記憶されていない場合もある。その他、記憶部３０には、他の機器１２のアドレスを示す機器アドレス情報（例えば、他の機器１２に割り当てられたＩＰアドレス又はＭＡＣアドレス等）、端末装置１０のアドレスを示す端末アドレス情報（例えば、端末装置１０に割り当てられたＩＰアドレス又はＭＡＣアドレス等）、及び、サーバのアドレスを示すサーバアドレス情報（例えば、サーバに割り当てられたＩＰアドレス又はＭＡＣアドレス等）等が記憶されてもよい。また、記憶部３０には、機能管理情報が記憶されている。機能管理情報は、例えば、端末装置１０に記憶されている機能管理情報と同様に、各機器１２を用いて実行可能な単独機能及び連携機能を示す情報である。
機能管理情報は、端末装置１０及び各機器１２によって共有されてもよい。例えば、機器１２に新たな機能が追加された場合、当該機器１２に記憶されている機能管理情報に当該機能に関する機能情報が新たに登録され、更に、当該機器１２の機器識別情報と当該機能情報が、端末装置１０と他の機器１２に送信され、当該端末装置１０と当該他の機器１２のそれぞれに記憶されている機能管理情報に登録される。
制御部３２は、機器１２の各部の動作を制御するように構成されている。例えば、制御部３２は、プログラムの実行、通信部２４による通信の制御、ＵＩ部２６を用いた情報の通知（例えば情報の表示及び音声出力等）の制御、Ｕ２部１６を用いて機器１２に入力された情報の受け付け、実行部２８の制御、記憶部３０への情報の書き込み、及び、記憶部３０からの情報の読み出し等を行う。また、制御部３２は処理決定部３４を含む。
処理決定部３４は、端末装置１０に含まれる処理決定部２２と同様に、ユーザによって与えられた指示内容に含まれる処理を解析し、その処理に含まれる個別処理を実行すべき機器１２を決定する。例えば、処理決定部３４は、記憶部３０に記憶されている機能管理情報を参照することで、個別処理を実行するために必要な機能を有する機器１２を特定し、当該個別処理を当該機器１２に割り当てる。なお、処理決定部３４は、機器１２に搭載されている操作アシスタント（チャットボット）によって実現されてもよい。制御部３２についても同様である。
本実施形態では、端末装置１０に含まれる処理決定部２２、又は、機器１２に含まれる処理決定部３４の何れかによって、機器１２に個別処理が割り当てられる。もちろん、処理決定部２２，３４が協働して個別処理を機器１２に割り当ててもよい。また、サーバ等の外部装置に処理決定部が設けられて、当該処理決定部によって機器１２に個別処理が割り当てられてもよい。
以下、図４を参照して、中継器の外観について詳しく説明する。図４は、中継器を示す斜視図である。図４は、一例として、中継器としての機器１２Ａを示す。機器１２Ｄ，１２Ｇも、機器１２Ａと同様の構成を有していてもよいし、別の構成を有していてもよい。
機器１２Ａは、いわゆるスマートスピーカであり、通信機能と音声によるアシスト機能とを有する。機器１２Ａは、柱状の本体部３６を含む。本体部３６の側面には、マイク３８、スピーカ４０、表示部４２、及び、発光部４４，４６が設けられている。また、本体部３６の上面には、センサ４８が設けられている。なお、本体部３６の形状は、図４に示されている形状に限定されるものではない。マイク３８とスピーカ４０を備えた中継器であれば、その形状は、どのような形状であってもよい。また、マイク３８、スピーカ４０、表示部４２、発光部４４，４６、及び、センサ４８は、図４に示されている位置以外の位置に配置されてもよい。
マイク３８は、集音装置として機能し、機器１２Ａの周囲の音を集音する。例えば、ユーザの音声がマイク３８によって集音される。
ユーザが、機器１２Ａに搭載されている操作アシスタント（チャットボット）と会話している場合、スピーカ４０から操作アシスタントの発言内容が音声として発せられる。また、音楽、テレビの音声又はラジオの音声等が、スピーカ４０から発せられてもよい。
表示部４２は表示装置である。表示部４２は、操作部を兼ねたユーザインターフェース（例えばタッチパネル等）であってもよい。
発光部４４は、１又は複数の光源（例えば光源５０，５２，５４）を含み、機器１２Ａに搭載されている操作アシスタントの設定内容に応じた発光の仕方に従って発光する。例えば、年齢、性別、職業又は性格等が、設定項目として操作アシスタントに設定される。操作アシスタントは、その設定項目に従って、ユーザに対して回答したり、作業を実行したりする。例えば、職業の設定項目として医師が設定されている場合、光源５０，５４が青色に発光し、光源５２が黄色に発光する。別の設定項目が設定された場合、発光部４４は、その設定された内容に応じた発光の仕方に従って発光する。
発光部４６は、１又は複数の光源（例えば光源５６，５８，６０）を含み、機器１２Ａに搭載されている操作アシスタントにログインしているユーザアカウントに応じた発光の仕方に従って発光する。例えば、あるユーザが、機器１２Ａに搭載されている操作アシスタントにログインしている場合、光源５６，６０が青色に発光し、光源５８が黄色に発光する。別のユーザが操作アシスタントにログインしている場合、発光部４６は、当該別のユーザに応じた発光の仕方に従って発光する。
なお、発光部４４，４６は区別されずに本体部３６に設けられてもよい。例えば、発光部４４，４６に含まれる全光源を用いて、操作アシスタントの設定内容及びユーザアカウントが表現されてもよい。また、各光源の発光パターン（例えば、点滅の仕方、時間の長さ等）によって、操作アシスタントの設定内容及びユーザアカウントが表現されてもよい。
センサ４８は、例えば、ユーザのジェスチャーを検知する。機器１２Ａは、検知されたジェスチャーに従った処理を実行する。例えば、機器１２Ａは、検知されたジェスチャーに従って、自装置にて処理を実行してもよいし、他の機器１２の動作を制御してもよい。
以下、図５及び図６を参照して、機能管理情報について詳しく説明する。図５は、機能管理情報としての単独機能管理テーブルの一例を示す。図６は、機能管理情報としての連携機能管理テーブルの一例を示す。単独機能管理テーブルと連携機能管理テーブルは、別々のテーブルとして作成されてもよいし、１つのテーブルとして作成されてもよい。以下では、まず、図５を参照して単独機能管理テーブルについて説明し、次に、図６を参照して連携機能管理テーブルについて説明する。
図５に示されている単独機能管理テーブルにおいては、一例として、機器１２、ソフトウェア又は対象を識別するための識別情報と、単独機能の内容を示す機能情報とが互いに対応付けられている。機器１２の全体又は部分が用いられてもよいし、ソフトウェアの特定の機能が用いられてもよい。対象は、機能が適用されるファイル又は物理的な物体等である。機器１２、ソフトウェア及び対象のそれぞれは、下位概念のレベルの情報（例えば、固有名称（例えば、具体的な製品名、商品名、型番、Ｗｅｂサイト名、ＵＲＬ等））によって特定されてもよいし、上位概念のレベルの情報（例えば、普通名称又は一般名称等）によって特定されてもよい。以下、各単独機能について説明する。
機器１２としての複合機Ａは、単独機能として、プリント機能、スキャン機能、コピー機能及びファクシミリ機能等を有する。機器１２としてのＰＣ（Ｂ）は、単独機能として、表示機能及び通信機能等を有する。文書作成ソフトウェアＣは、単独機能として、文書作成機能及び文書表示機能等を有する。文書作成機能は、文書ファイルを作成したり編集したりするための機能である。文書表示機能は、文書ファイルを表示するための機能である。パスワード設定ソフトウェアＤは、単独機能として、ファイルに対してパスワードを設定する機能を有する。文書ファイルＥには、単独機能として、文書作成機能及び文書表示機能等が対応付けられている。つまり、文書ファイルＥには文書作成ソフトウェアが対応付けられており、文書ファイルＥには、文書作成ソフトウェアが有する機能が適用される。会計ファイルＦには、単独機能として、編集機能及び表示機能等が対応付けられている。つまり、会計ファイルＦには会計ソフトウェアが対応付けられており、会計ファイルＦには、会計ソフトウェアが有する機能が適用される。
単独機能管理テーブルに登録されているソフトウェア及びファイルは、端末装置１０に記憶されていてもよいし、機器１２に記憶されていてもよいし、サーバ等の装置に記憶されていてもよい。図５に示されている単独機能は一例に過ぎず、上記以外の単独機能が単独機能管理テーブルに登録されていてもよい。
以下、図６を参照して、連携機能管理テーブルについて説明する。連携機能管理テーブルにおいては、一例として、機器１２の組み合わせを示す情報と、連携機能の内容を示す機能情報とが互いに対応付けられている。以下、各連携機能について説明する。
機器１２としての複合機ＡとＰＣ（Ｂ）とを連携させることで、連携機能としての「スキャン転送機能」及び「プリント機能」を実行することができる。連携機能としてのスキャン転送機能は、複合機Ａによるスキャンによって生成された画像データを、ＰＣ（Ｂ）に転送する機能である。連携機能としてのプリント機能は、ＰＣ（Ｂ）に記憶されているデータ（文書ファイル又は画像ファイル等）を複合機Ａに送信し、複合機Ａにて当該データを印刷する機能である。
また、機器１２としての扉開閉センサＧと照明装置Ｈとを連携させることで、連携機能としての「扉の開きを検知した場合、照明装置を点灯させる機能」を実行することができる。扉開閉センサＧは、扉の開及び閉を検知するセンサである。この連携機能は、扉開閉センサＧが扉の開きを検知した場合、照明装置Ｈを点灯させるという機能である。詳しく説明すると、扉開閉センサＧが扉の開きを検知した場合、その検知結果を示す情報が、扉開閉センサＧから照明装置Ｈに送信され、照明装置Ｈが点灯する。その情報は、扉開閉センサＧから照明装置Ｈに直接的に送信されてもよいし、端末装置１０又は中継器を介して送信されてもよい。また、端末装置１０又は中継器が、検知結果を示す情報を受けた場合、点灯指示を示す制御情報を照明装置Ｈに送信することで照明装置Ｈを点灯させてもよい。なお、扉開閉センサＧ及び照明装置Ｈのそれぞれの機器アドレス情報は、端末装置１０及び各機器１２に記憶されており、これらの機器アドレス情報を用いることで、情報が送信される。
ソフトウェアが連携機能に用いられ、ソフトウェアの組み合わせを示す情報と、連携機能の内容を示す機能情報とが対応付けられて連携機能管理テーブルに登録されてもよい。例えば、文書作成ソフトウェアＣとパスワード設定ソフトウェアＤとを連携させることで、連携機能としての「文書ファイルにパスワードを設定する機能」を実行することができる。この連携機能は、例えば、文書作成ソフトウェアＣによって編集中又は表示中の文書ファイルに対して、パスワード設定ソフトウェアＤによってパスワードを設定する機能である。また、文書作成ソフトウェアＣとデータ送信ソフトウェアＪとを連携させることで、連携機能としての「文書ファイルを送信する機能」を実行することができる。この連携機能は、文書作成ソフトウェアＣによって編集中又は表示中の文書ファイルを、データ送信ソフトウェアＪによって宛先に送信する機能である。なお、連携機能管理テーブルに登録されているソフトウェアは、端末装置１０にインストールされていてもよいし、機器１２にインストールされていてもよいし、サーバ等の外部装置にインストールされていてもよい。
ファイルが連携機能に用いられ、ファイルの組み合わせを示す情報と、連携機能の内容を示す機能情報とが対応付けられて連携機能管理テーブルに登録されてもよい。例えば、文書ファイルＥと会計ファイルＦに適用される連携機能として、「文書ファイルの内容を会計ファイルに追加する機能」が登録されている。なお、連携機能管理テーブルに登録されているソフトウェアは、端末装置１０に記憶されていてもよいし、機器１２に記憶されていてもよいし、サーバ等の外部装置に記憶されていてもよい。
機器１２とソフトウェアとの組み合わせによって連携機能が実現されてもよい。例えば、複合機Ａと文字認識ソフトウェアＫとを連携させることで、連携機能としての「スキャンされた文書に対して文字認識処理を適用する機能」を実行することができる。この連携機能は、複合機Ａによって文書をスキャンし、そのスキャンによって生成された画像に対して文字認識ソフトウェアＫによって文字認識処理を適用する機能である。
機器１２、ソフトウェア及びファイルを用いて連携機能が実現されてもよい。例えば、機器１２としてのスキャナ、文字認識ソフトウェア、帳票作成ソフトウェア、領収書、及び、会計ファイルを用いて実行可能な連携機能が、連携機能管理テーブルに登録されている。この連携機能は、「領収書がスキャナでスキャンされた場合、そのスキャンの結果に対して文字認識処理を適用し、その結果（領収書の内容）を会計ファイルに追加する機能」である。詳しく説明すると、この連携機能は、スキャナによって領収書をスキャンし、そのスキャンによって生成された画像データに対して文字認識ソフトウェアによって文字認識処理を適用することで、当該画像データから文字列を抽出し、帳票作成ソフトウェアによって、その文字列を会計ファイルに追加する機能である。
更に別の例として、Ｗｅｂブラウザ、特定のショッピングサイト、購入指示を示す情報、及び、対象としての特定のブランドバッグ（ショッピング対象）を用いて実行可能な連携機能が、連携機能管理テーブルに登録されている。この連携機能は、「Ｗｅｂブラウザが起動し、特定のショッピングサイトで特定のブランドバッグが出品された場合、購入する機能」である。詳しく説明すると、この連携機能は、Ｗｅｂブラウザによって特定のショッピングサイトを監視し、そのショッピングサイトに特定のブランドバッグが出品された場合、当該ブランドバッグの購入処理を実行する機能である。
図６に示されている連携機能は一例に過ぎず、上記以外の連携機能が連携機能管理テーブルに登録されていてもよい。
なお、機能を実行する機器１２は、端末装置１０によって制御されてもよいし、機器１２Ａ等の中継器によって制御されてもよい。端末装置１０によって機器１２が制御される場合、端末装置１０は、機器１２の動作を制御するための制御信号を、直接的に、又は、中継器を介して、当該機器１２に送信することで当該機器１２を制御する。中継器によって機器１２が制御される場合、中継器は、制御信号を当該機器１２に送信することで当該機器１２を制御する。中継器が、他の中継器に制御信号を送信し、当該他の中継装置が機器１２を制御してもよい。中継器からサーバに制御信号が送信され、サーバが機器１２を制御してもよい。
本実施形態では、ユーザが与える指示内容に含まれる処理（例えば連携機能等）を実行するための複数の機器１２がユーザによって選択される。そして、ユーザと各機器１２に搭載されている各チャットボット（各操作アシスタント）との間で情報がやり取りされることで、各チャットボットに対して指示内容が与えられ、その指示内容に従って各機器１２が制御されて処理が実行される。なお、機器１２に搭載されているチャットボットが、ユーザの会話相手の一例に相当する。以下、本実施形態に係る処理について詳しく説明する。
図７を参照して、連携機能を実行するための複数の機器１２を選択するための画面について説明する。図７は、その画面の一例を示す。端末装置１０Ａの制御部２０は、ユーザの指示に従って、画面６２をＵＩ部１６の表示部に表示させる。画面６２は、処理を実行する複数の機器１２を選択するための画面である。この画面６２にて機器１２が選択されることで、当該機器１２に搭載されているチャットボットが、会話相手として選択されることになる。画面６２には、例えば、情報処理システムに含まれている機器１２の一覧が表示される。例えば、ユーザが画面６２上で複合機Ａを選択した場合、複合機Ａに搭載されているチャットボットが、ユーザの会話相手として選択される。なお、画面６２には、各機器１２の性能、及び、ステータスが表示されてもよい。また、機器１２の一覧の代わりに、又は、機器１２の一覧と共に、機器１２に搭載されているチャットボットの一覧が表示されてもよい。
なお、画面６２を表示せずに、音声によって機器１２又はチャットボットを指定することで、機器１２及び会話相手としてのチャットボットが選択されてもよい。
本実施形態では、複数の機器１２（チャットボット）がユーザによって選択され、当該複数のチャットボットが、ユーザと情報をやり取りする。なお、ユーザとチャットボットとの間で情報がやり取りされている最中に、会話相手のチャットボット（機器１２）がユーザによって変更されてもよい。
以下、図８を参照して、ユーザが複数のチャットボットと会話するための画面について説明する。図８は、その画面の一例を示す。ユーザによって複数の機器１２（複数のチャットボット）が選択されると、端末装置１０Ａの制御部２０は、ＵＩ部１６の表示部に画面６４を表示させ、その画面６４上に各種の情報を表示させる。画面６４は、ユーザが複数のチャットボットと会話するためのユーザインターフェース（会話型のユーザインターフェース）である。つまり、画面６４は、チャットボットとユーザとの間でメッセージをやり取りするためのユーザインターフェースである。画面６４には、ユーザが端末装置１０Ａに入力した情報（例えば文字列及び画像等）と、各チャットボットの発言内容を示す情報（例えば文字列及び画像等）が表示される。ユーザとチャットボットとの間の会話は、いわゆるチャット形式の会話（つまり、ユーザとチャットボットが互いに発言しながら会話が進む形式）である。例えば、ユーザ及びチャットボットのそれぞれの発言内容は、発言された時間に沿って時系列順に画面６４に表示される。
ユーザ用の表示エリアには、ユーザに紐付けられた画像６６（例えばアイコン又は写真等）が表示される。チャットボット用の表示エリアには、ユーザによって選択された機器１２に搭載されているチャットボットに紐付けられた画像（例えばアイコン等）が表示される。画像に代えて又は画像と共に、ユーザを識別するための文字列、及び、チャットボットを識別するための文字列が表示されてもよい。
ここでは、複合機Ａ１，Ａ２が、処理を実行するための機器１２としてユーザによって選択されたものとする。この場合、複合機Ａ１に搭載されているチャットボットＡ１と複合機Ａ２に搭載されているチャットボットＡ２が、ユーザの会話相手として選択されたことになり、制御部２０は、チャットボットＡ１に紐付けられた画像６８とチャットボットＢ１に紐付けられた画像７０を画面６４に表示させる。なお、複合機Ａ１が第１機器の一例に相当し、複合機Ａ２が第２機器の一例に相当する。また、チャットボットＡ１が第１チャットボットの一例に相当し、チャットボットＡ２が第２チャットボットの一例に相当する。なお、３つ以上の機器１２がユーザによって選択されてもよい。この場合、選択された３つ以上のチャットボットが、ユーザの会話相手として動作する。
例えば、端末装置１０Ａは、複合機Ａ１，Ａ２のそれぞれに対して接続要求を示す情報を送信することで、端末装置１０Ａと複合機Ａ１，Ａ２との間で通信を確立させ、更に、複合機Ａ１，Ａ２の間で通信を確立させる。また、端末装置１０Ａは、複合機Ａ１，Ａ２が処理に要する機器１２として選択されたことを示す情報を、複合機Ａ１，Ａ２に送信する。こうすることで、チャットボットＡ１は、自身が搭載されている複合機Ａ１が処理に要する機器１２として選択されたこと、相手方の機器１２が複合機Ａ２であること、及び、端末装置１０Ａを操作しているユーザが会話相手であることを認識する。チャットボットＡ２についても同様である。また、複合機Ａ１，Ａ２との間で情報が送受信されることで、チャットボットＡ１，Ａ２は、それぞれ相手のチャットボットを認識する。
上記のように、チャットボットＡ１，Ａ２がユーザの会話相手として認識され、ユーザとチャットボットＡ１，Ａ２との間で会話が行われる。ユーザの発言内容を示す情報は、端末装置１０Ａから複合機Ａ１，Ａ２に送信される。チャットボットＡ１の発言内容を示す情報は、複合機Ａ１から端末装置１０Ａ及び複合機Ａ２に送信される。チャットボットＡ２の発言内容を示す情報は、複合機Ａ２から端末装置１０Ａ及び複合機Ａ１に送信される。こうすることで、画面６４には、チャットボットＡ１，Ａ２のそれぞれの発言内容が表示され、チャットボットＡ１，Ａ２は、ユーザの発言内容及び他のチャットボットの発言内容を解析して回答を作成することができる。
例えば、最初に、「どうしましたか？」といった発言内容７２が、チャットボットＡ１，Ａ２の発言内容として画像６８，７０に紐付けられて画面６４に表示される。これに対して、ユーザが、複合機Ａ１，Ａ２に対する指示内容を発言内容７４として端末装置１０Ａに入力すると、制御部２０は、その発言内容７４を画像６６に紐付けて画面６４に表示させる。ここでは、「ある特定のファイルに関して、両面に２ページずつ長編綴じで印刷し、その印刷物を２０部作成し、それ以外の１０部については、片面の長編綴じで穴あけして印刷する」処理の実行が、指示内容としてユーザによって与えられている。
端末装置１０Ａの処理決定部２２は、その指示内容を示す発言内容を解析することで、その指示内容に含まれる処理を１又は複数の個別処理（１つのまとまった処理）に分け、単独機能管理テーブル及び連携機能管理テーブルを参照することで、各個別処理を実行するために必要な機能を有する１又は複数の機器１２を特定し、各個別処理を各機器１２に割り当てる。なお、上記の解析には、例えば自然言語処理等の処理が用いられる。例えば、複合機Ａ１は穴あけ機能（パンチ機能）を有しておらず、複合機Ａ２が穴あけ機能を有している場合、処理決定部２２は、穴あけ加工が不要な個別処理を複合機Ａ１に割り当て、穴あけ加工を要する個別処理を複合機Ａ２に割り当てる。従って、上記の２０部を作成する処理が複合機Ａ１に割り当てられ、上記の１０部を作成する処理が複合機Ａ２に割り当てられる。なお、複合機Ａ２が、穴あけ加工が不要な個別処理（２０部を作成する処理）も実行することが可能であっても、分散して処理を実行する方がより早く処理が完了するので、穴あけ加工が不要な個別処理は、複合機Ａ１に割り当てられる。
上記のように個別処理が複合機Ａ１，Ａ２に割り当てられると、処理決定部２２は、各個別処理の内容を示す情報を複合機Ａ１，Ａ２に送信する。上記の例では、処理決定部２２は、２０部を作成する処理を示す情報を複合機Ａ１に送信し、１０部を作成する処理を示す情報を複合機Ａ２に送信する。
個別処理の内容を示す情報を受けたチャットボットＡ１，Ａ２は、各個別処理を分けて担当する。つまり、チャットボットＡ１は、複合機Ａ１によって実行可能な個別処理の実行を担当し、チャットボットＡ２は、複合機Ａ２によって実行可能な個別処理の実行を担当する。具体的には、チャットボットＡ１は、複合機Ａ１に割り当てられた個別処理の実行を制御し、チャットボットＡ２は、複合機Ａ２に割り当てられた個別処理の実行を制御する。
個別処理の内容を示す情報を受けたチャットボットＡ１，Ａ２はそれぞれ、自身に割り当てられた個別処理を確認するための返答を端末装置１０Ａに送信する。その返答の内容が、発言内容７６，７８として画面６４に表示される。例えば、発言内容７６は、複合機Ａ１に割り当てられた個別処理を確認するためのメッセージであり、画像６８に紐付けられて画面６４に表示される。発言内容７８は、複合機Ａ２に割り当てられた個別処理を確認するためのメッセージであり、画像７０に紐付けられて画面６４に表示される。なお、発言内容７６，７８が示す情報が、指示内容の対応結果を示す情報の一例に相当する。
そして、ユーザが、発言内容８０によって連携機能の実行の承認を与えた場合、端末装置１０Ａは、その承認を示す情報を複合機Ａ１，Ａ２に送信する。その情報を受けたチャットボットＡ１，Ａ２は、自身に割り当てられた個別処理の実行を制御する。具体的には、チャットボットＡ１は、複合機Ａ１を制御することで、複合機Ａ１に割り当てられた個別処理を複合機Ａ１に実行させる。同様に、チャットボットＡ２は、複合機Ａ２を制御することで、複合機Ａ２に割り当てられた個別処理を複合機Ａ２に実行させる。なお、承認がユーザによって与えられなくても、複合機Ａ１，Ａ２は、自身に割り当てられた個別処理を実行してもよい。
なお、チャットボットの発言内容がユーザによって読まれた場合（例えば、画面６４上にて、チャットボットの発言内容を示す情報がユーザによって指定された場合）、発言内容がユーザによって読まれたことを示す情報（例えば既読を示す情報）が、その発言内容に紐付けて表示されてもよい。また、ユーザの発言内容がチャットボットによって認識された場合、その発言内容がチャットボットによって読まれたことを示す情報（例えば既読を示す情報）が、その発言内容に紐付けて表示されてもよい。
上記の例では、端末装置１０Ａの処理決定部２２によって、処理が複合機Ａ１，Ａ２に割り当てられているが、複合機Ａ１，Ａ２のそれぞれの処理決定部３４によって、処理が複合機Ａ１，Ａ２に割り当てられてもよい。また、処理決定部３４による処理は、機器１２に搭載されているチャットボット（操作アシスタント）によって実現されてもよい。以下、この処理について説明する。
まず、端末装置１０Ａは、発言内容７４を示す情報を複合機Ａ１，Ａ２に送信する。チャットボットＡ１，Ａ２はそれぞれ、発言内容７４を解析することで、ユーザによって与えられた処理内容を特定する。この解析には、例えば自然言語処理等の処理が用いられる。
チャットボットＡ１（処理決定部３４）は、単独機能管理テーブル及び連携機能管理テーブルを参照することで、ユーザによって与えられた処理内容の中で、自身が搭載されている複合機Ａ１が有する機能によって実現可能な個別処理を特定する。チャットボットＡ２についても同様である。また、チャットボットＡ１は、複合機Ａ１によって実現可能な個別処理を示す情報をチャットボットＡ２に送信する。チャットボットＡ２についても同様である。このように、チャットボットＡ１，Ａ２は、自身が搭載されている複合機にて実行可能な個別処理を示す情報を交換する。こうすることで、チャットボットＡ１，Ａ２は、相手のチャットボットが搭載されている複合機にて実行可能な個別処理及び実行不可能な個別処理を認識することができる。図８に示す例では、チャットボットＡ１，Ａ２は、複合機Ａ２は、ユーザによって与えられた処理内容に含まれる全処理を実行するための機能を有しており、複合機Ａ１は、穴あけ加工を行うための機能を有していないことを認識することができる。従って、チャットボットＡ１，Ａ２（処理決定部３４）は、穴あけ加工を要する処理（１０部を作成する処理）を複合機Ａ２に割り当てて、穴あけ加工を要しない処理（２０部を作成する処理）を複合機Ａ１に割り当てる。このようにして処理が複合機Ａ１，Ａ２に割り当てられた場合、チャットボットＡ１，Ａ２は、その処理を示す発言内容７６，７８を示す情報を端末装置１０Ａに送信する。画面６４には、発言内容７６，７８が表示される。そして、実行の承認がユーザによって与えられた場合、チャットボットＡ１，Ａ２は、複合機Ａ１，Ａ２を制御することで、複合機Ａ１，Ａ２のそれぞれに割り当てられた個別処理を複合機Ａ１，Ａ２に実行させる。
本実施形態によれば、複数の会話相手（例えば複数のチャットボット）に対して指示を与えるためのユーザインターフェースが提供される。こうすることで、各会話相手に対して個別的に指示を与える場合と比べて、その指示を与えるための手間（例えば作業数）が減る。
なお、上記の例では、単独機能管理テーブル及び連携機能管理テーブルを参照することで複合機Ａ１，Ａ２が実行可能な個別処理を特定し、各個別処理を複合機Ａ１，Ａ２に割り当てているが、これとは別の方法によって、個別処理の割り当てが行われてもよい。
例えば、複合機Ａ１には、自装置である複合機Ａ１が有する機能のみを示す機能管理テーブルが記憶されている。その機能管理テーブルには、複合機Ａ１以外の機器１２が有する機能は登録されていない。同様に、複合機Ａ２には、自装置である複合機Ａ２が有する機能のみを示す機能管理テーブルが記憶されている。
複合機Ａ１に搭載されているチャットボットＡ１（操作アシスタントＡ１）は、複合機Ａ１に記憶されている機能管理テーブルを参照することで、ユーザによって与えられた指示内容に含まれる各個別処理を複合機Ａ１にて実行可能か否かを判断する。つまり、チャットボットＡ１は、各個別処理を実現するための機能を複合機Ａ１が有しているか否かを判断する。複合機Ａ２についても同様である。チャットボットＡ１，Ａ２は、判断結果を示す情報を互いに送受信することで、指示内容に含まれる複数の個別処理の中で、相手の複合機にて実行可能な個別処理、及び、相手の複合機にて実行不可能な個別処理を認識する。つまり、チャットボットＡ１，Ａ２は、相手の複合機にてどのような個別処理を実行することが可能であるのか、また、どのような個別処理を実行することができないのかを認識することができる。図８に示す例で説明すると、チャットボットＡ１は、指示内容に含まれる複数の個別処理の中で、複合機Ａ１によって両面に複数ページを印刷して長編綴じすることができるが、穴あけ加工（パンチ加工）を実行することができないことを認識し、それらのことを示す情報をチャットボットＡ２に送信する。また、チャットボットＡ２は、当該複数の個別処理の中で、複合機Ａ２によって片面に印刷して長編綴じを行い、穴あけ加工を実行することができることを認識し、更に、両面に複数ページを印刷することが可能であることを認識し、それらのことを示す情報をチャットボットＡ１に送信する。こうすることで、チャットボットＡ１，Ａ２は、相手の複合機にて実行可能な個別処理、及び、実行不可能な個別処理を認識することができる。そして、チャットボットＡ１，Ａ２は、その認識に基づいて各個別処理を複合機Ａ１，Ａ２に割り当てる。複合機Ａ１では穴あけ加工を実行することができないが、複合機Ａ２では穴あけ加工を実行することができるので、チャットボットＡ１，Ａ２は、穴あけ加工を含む個別処理（１０部を作成する処理）を複合機Ａ２に割り当てる。また、穴あけ加工が不要な個別処理（２０部を作成する処理）は、複合機Ａ１，Ａ２の何れによっても実行可能であるが、個別処理を複数の複合機にて分散して実行した方がより早く処理が完了するため、チャットボットＡ１，Ａ２は、穴あけ加工が不要な個別処理を複合機Ａ１に割り当てる。
チャットボットＡ１，Ａ２は、その割り当ての結果を示す情報を端末装置１０Ａに送信する。端末装置１０Ａの制御部２０は、その情報をチャットボットＡ１，Ａ２の発言内容７６，７８として画面６４に表示させる。このような処理によっても、指示内容に含まれる各個別処理が各機器１２に割り当てられる。
なお、ユーザとチャットボットＡ１，Ａ２との間の会話に、他のユーザが参加してもよい。この場合、当該他のユーザに紐付けられた画像が画面６４に表示され、当該他のユーザの発言内容は、当該画像に紐付けられて画面６４に表示される。
また、ユーザは、音声又はジェスチャーによって、チャットボットにメッセージを与えてもよい。この場合、画面６４は表示されなくてもよい。音声又はジェスチャーが用いられる場合であっても、画面６４が表示され、その音声の内容又はジェスチャーの内容が、文字列として画面６４に表示されてもよい。
また、第１機器が第１個別処理を実行し、第２機器が、その第１個別処理の結果物に対して第２個別処理を実行してもよい。例えば、複合機Ａ１，Ａ２によって追い刷りを実行する場合、複合機Ａ１が第１印刷（例えば１色目の印刷）を実行し、複合機Ａ２が、第１印刷による印刷物に対して第２印刷（例えば２色目の印刷）を実行してもよい。この場合、処理決定部２２又はチャットボットＡ１，Ａ２は、複合機Ａ１，Ａ２に第１印刷又は第２印刷を割り当てて、複合機Ａ１，Ａ２に追い刷りを実行させる。例えば、複合機Ａ１，Ａ２の性能又はステータス等によって、印刷の順番が決定されてもよい。また、図８に示す例において、複合機Ａ１が３０部の印刷を行い、複合機Ａ２が、３０部のうちの１０部について穴あけ（パンチ加工）を行ってもよい。なお、３つ以上の機器１２が用いられる場合も同様である。
また、機器１２に対する割り込み処理の要求が与えられた場合、当該機器１２に搭載されているチャットボットが、その要求に対応してもよい。例えば、チャットボットは、その割り込み処理を他の処理よりも先に機器１２に実行させてもよいし、その割り込み処理を他の処理よりも優先せずに、実行指示が与えられた順番に従って機器１２に実行させてもよい。
また、互いに設定の異なる複数のチャットボットが機器１２に搭載されて、当該複数のチャットボットによって、比喩的な意味での多重人格チャットボットが形成されてもよい。例えば、職業、年齢及び性別等の設定が互いに異なる複数のチャットボットが、機器１２に搭載されてもよい。各チャットボットが、ユーザの発現内容を解析し、その発言内容に対する各チャットボットの返答を示す情報、又は、過半数の返答を示す情報を、発言内容を示す情報として端末装置１０Ａに送信してもよい。端末装置１０Ａでは、その発言内容が表示される。例えば、各チャットボットは、ユーザによって与えられた指示内容に含まれる処理を解析し、各個別処理を実行すべき機器１２（各チャットボットが個別的に判断した機器１２、又は、各チャットボットの過半数に従って決定された機器１２等）をユーザに選択させるための情報を端末装置１０Ａに送信してもよい。その情報は、各チャットボットの発言内容として、端末装置１０Ａに表示される。そして、ユーザによって選択された機器１２によって処理が実行される。もちろん、各チャットボットは、各個別処理を実行すべき機器１２を決定し、ユーザによって機器１２が選択されなくても、決定された機器１２に処理を実行させてもよい。
なお、上記のチャットボットＡ１，Ａ２は、端末装置１０Ａ又はサーバ等に搭載されて、複合機Ａ１，Ａ２用のチャットボットとして動作してもよい。
また、処理決定部２２又はチャットボットＡ１，Ａ２は、ユーザによって与えられた指示内容に含まれる処理の完了に要する時間に応じて、１又は複数の個別処理を複合機Ａ１，Ａ２に割り当ててもよい。チャットボットＡ１は、自身が搭載されている複合機Ａ１に割り当てられた個別処理の制御を担当することになり、当該個別処理を複合機Ａ１に実行させる。チャットボットＡ２についても同様である。
例えば、処理決定部２２又はチャットボットＡ１，Ａ２は、複合機Ａ１，Ａ２の性能及びステータスを確認し、指示内容に含まれる処理がより早く完了するように、各個別処理を複合機Ａ１，Ａ２に割り当てる。例えば、処理決定部２２又はチャットボットＡ１，Ａ２は、複合機Ａ１，Ａ２の性能（プロセッサの性能、メモリの容量等）、ステータス及び各個別処理の内容に基づいて、複合機Ａ１，Ａ２のそれぞれが各個別処理を実行した場合に、各個別処理の完了に要する時間を演算（予測）する。そして、処理決定部２２又はチャットボットＡ１，Ａ２は、各個別処理の完了に要する総時間が最小となるように、複合機Ａ１，Ａ２に各個別処理を割り当てる。こうすることで、指示内容に含まれる処理をより早く完了することができる。また、他の処理を実行中の機器１２、故障中の機器１２、及び、電源がオフになっている機器１２には、個別処理は割り当てられなくてもよい。
別の例として、処理決定部２２又はチャットボットＡ１，Ａ２は、チャットボットＡ１が担当する個別処理の数（つまり、複合機Ａ１に割り当てられる個別処理の数）と、チャットボットＡ２が担当する個別処理の数（つまり、複合機Ａ２に割り当てられる個別処理の数）との差がより小さくなるように、各個別処理を複合機Ａ１，Ａ２に割り当ててもよい。こうすることで、複合機Ａ１，Ａ２の負荷が軽減され得る。また、仮に複合機Ａ１，Ａ２の性能が同じである場合、処理の完了に要する時間が短縮される。また、複合機Ａ１，Ａ２の性能及びステータスに基づく重み付け処理が適用されてもよい。例えば、性能がより高い複合機が、より多くの個別処理を実行してもよい。また、電源がオンになっているが処理を実行していない複合機が、処理を実行中の複合機よりも多くの個別処理を実行してもよい。
また、処理決定部２２又はチャットボットＡ１，Ａ２は、複合機Ａ１，Ａ２の性能に応じて、１又は複数の個別処理を複合機Ａ１，Ａ２に割り当ててもよい。例えば、複合機Ａ１，Ａ２が同一機能を有している場合であっても、その機能に関して、複合機Ａ１の性能が複合機Ａ２の性能よりも高い場合、その機能によって実現される個別処理は、複合機Ａ１に割り当てられる。例えば、個別処理が印刷である場合、解像度がより高い複合機に、当該個別処理が割り当てられる。また、複合機に搭載されているプロセッサのクロック周波数、メモリの容量及び画像形成処理の能力等に基づいて、個別処理の割り当てが行われてもよい。機器１２の性能を考慮することで、例えば、指示内容に含まれる処理をより早く完了したり、より質の高い結果物（成果物）を生成したりすることができる。また、過去に当該個別処理を実行した実績のある複合機、又は、その実績数がより大きい複合機に、当該個別処理が割り当てられてもよい。もちろん、複合機Ａ１，Ａ２のステータスも考慮して個別処理が割り当てられてもよい。
また、処理決定部２２又はチャットボットＡ１，Ａ２は、複合機Ａ１によって得られると想定される処理結果の質と、複合機Ａ２によって得られると想定される処理結果の質とに応じて、１又は複数の個別処理を複合機Ａ１，Ａ２に割り当ててもよい。質は、例えば、完成品（例えば印刷物）の精度又はミスの発生頻度等によって定められる。例えば、複合機Ａ１，Ａ２が同一機能を有している場合であっても、その機能に関して、複合機Ａ１によって得られると想定される完成品の精度が、複合機Ａ２によって得られると想定される完成品の精度よりも高い場合、その機能によって実行される個別処理は、複合機Ａ１に割り当てられる。また、複合機Ａ１による失敗の発生頻度が、複合機Ａ２による失敗の発生頻度よりも低い場合、当該個別処理は複合機Ａ１に割り当てられる。例えば、失敗が履歴として管理されており、その履歴に基づいて、失敗の発生頻度が演算される。このように処理結果の質を考慮することで、より高い質を有する処理結果が得られる。
また、個別処理が割り当てられた機器１２に搭載されているチャットボットは、当該機器１２の性能、ステータス及び当該個別処理の内容に基づいて、自身が担当した個別処理（当該機器１２に割り当てられた個別処理）が完了する時間を予測してもよい。その完了予測時間を示す情報は、当該チャットボットの発言内容を示す情報として、当該機器１２から端末装置１０Ａに送信される。端末装置１０Ａの制御部２０は、その完了予測時間を示す情報を、当該チャットボットの発言内容としてＵＩ部１６の表示部に表示させる。
例えば、チャットボットＡ１は、複合機Ａ１に割り当てられた個別処理が完了する時間（第１完了予測時間）を予測し、その第１完了予測時間を示す情報を端末装置１０Ａに送信する。同様に、チャットボットＡ２は、複合機Ａ２に割り当てられた個別処理が完了する時間（第２完了予測時間）を予測し、その第２完了予測時間を示す情報を端末装置１０Ａに送信する。端末装置１０Ａの制御部２０は、第１完了予測時間を示す情報と第２完了予測時間を示す情報をＵＩ部１６の表示部に表示させる。
例えば図９に示すように、制御部２０は、第１完了予測時間を示す情報を、チャットボットＡ１の発言内容８２として画像６８に紐付けて画面６４に表示させ、第２完了予測時間を示す情報を、チャットボットＡ２の発言内容８４として画像７０に紐付けて画面６４に表示させる。図９に示す例では、第１完了予測時間と第２完了予測時間は、それぞれ別々に画面６４に表示されている。こうすることで、各個別処理の完了予測時間を個別的にユーザに提示することができる。
また、複合機Ａ１に割り当てられた個別処理が完了した場合、チャットボットＡ１は、当該個別処理が完了した旨を示す情報を端末装置１０Ａに送信する。端末装置１０Ａの制御部２０は、その情報をチャットボットＡ１の発言内容８６として画像６８に紐付けて画面６４に表示させる。同様に、複合機Ａ２に割り当てられた個別処理が完了した場合、その完了した旨を示す情報が、チャットボットＡ２の発言内容８８として画像７０に紐付けて画面６４に表示される。なお、発言内容８６，８８が示す情報が、指示内容の対応結果を示す情報の一例に相当する。
また、第１完了予測時間と第２完了予測時間との差分が閾値以下である場合、端末装置１０Ａの制御部２０は、第１完了予測時間と第２完了予測時間とを同一メッセージとして画面６４に表示させてもよい。例えば図１０に示すように、制御部２０は、完了予測時間を示す情報をチャットボットＡ１，Ａ２の発言内容９０として画像６８，７０に紐付けて画面６４に表示させる。このとき表示される完了予測時間は、第１完了予測時間又は第２完了予測時間であってもよいし、第１完了予測時間と第２完了予測時間の平均であってもよいし、より早い又はより遅い完了予測時間であってもよい。このように、完了予測時間が一括して表示されてもよい。こうすることで、ユーザは１つの完了予測時間を参照することで、指示内容に含まれる処理の完了予測時間を把握することができる。
複合機Ａ１，Ａ２のそれぞれに割り当てられた個別処理が完了した場合、制御部２０は、その完了した旨を示す情報をチャットボットＡ１，Ａ２の発言内容９２として画像６８，７０に紐付けて画面６４に表示させる。
また、チャットボットＡ１が担当した個別処理（複合機Ａ１に割り当てられた個別処理）が完了し、チャットボットＡ２が担当した個別処理（複合機Ａ２に割り当てられた個別処理が完了し、その完了がユーザに通知された後、予め定められた時間以内にユーザが確認作業を行わなかった場合、制御部２０は、ユーザに確認を促すための情報の通知を制御してもよい。つまり、制御部２０は、確認作業の実行をユーザに催促する。
例えば、複合機Ａ１，Ａ２のそれぞれに割り当てられた個別処理が完了したものとする。この場合、図１１に示すように、複合機Ａ１に割り当てられた個別処理が完了した旨を示す情報が、チャットボットＡ１の発言内容９４として画像６８に紐付けて画面６４に表示される。同様に、複合機Ａ２に割り当てられた個別処理が完了した旨を示す情報が、チャットボットＡ２の発言内容９６として画像７０に紐付けて画面６４に表示される。
最後の個別処理（例えば複合機Ａ２に割り当てられた個別処理）が完了した時点、又は、発言内容９６が画面６４に表示された時点から、予め定められた時間以内にユーザによって確認作業が行われなかった場合、制御部２０は、ユーザに確認作業を促すための情報をチャットボットＡ１，Ａ２の発言内容９８として画像６８，７０に紐付けて画面６４に表示させる。
確認作業は、例えば、チャットボットＡ１，Ａ２の発言内容に対する既読操作（例えば、チャットボットＡ１，Ａ２の発言内容を画面６４上にてユーザが指定する操作）、又は、指示内容に含まれる処理に特有の確認作業である。例えば、指示内容に含まれる処理が印刷である場合、その特有の確認作業は、ユーザが印刷物を複合機から取ることである。例えば、複合機Ａ１又は複合機Ａ２の出力トレイに印刷物が残存しており、センサによって当該印刷物が検知されている場合、チャットボットＡ１，Ａ２は、確認作業がユーザによって実行されていないと判断し、その判断結果を示す情報を端末装置１０Ａに送信する。端末装置１０Ａの制御部２０は、その情報を受けると、確認作業をユーザに促すための情報を画面６４に表示させる。例えば、処理毎に、ユーザが実行すべき確認作業が定められており、各処理の確認作業を示す情報が、端末装置１０及び各機器１２に記憶されている。制御部２０又はチャットボットＡ１，Ａ２は、その情報を参照することで、ユーザによって指定された処理に対応する確認作業が行われたか否かを判断する。また、上記の予め定められた時間以内にユーザが既読操作を行わなかった場合、制御部２０は、確認作業を促すための情報を画面６４に表示させる。このように確認作業を促すための情報を表示することで、ユーザによる確認の忘れを抑制又は防止することができる。
また、制御部２０は、確認作業が実行されるまで、定期的に（例えば５分間隔毎等に）確認作業を促すための情報を画面６４に表示させてもよい。確認作業が実行された場合、制御部２０は、その情報の表示を止める。
なお、確認作業を促すための情報の表示と共に、又は、その表示の代わりに、確認作業を促すためのメッセージが音声として端末装置１０Ａから発せられてもよい。チャットボットＡ１，Ａ２の他のメッセージも同様である。また、ユーザは、確認作業を実行した旨を示すメッセージを音声によって端末装置１０Ａに入力してもよい。
図８に示す例では、同一種類の複数の機器１２（例えば複合機Ａ１，Ａ２）を用いることで処理が実行されているが、互いに種類の異なる複数の機器１２を用いることで処理が実行されてもよい。以下、図１２を参照して、具体例を挙げて説明する。図１２は、画面６４を示す。ここでは、指示内容に含まれる処理を実行するための機器１２として、ユーザによって、複合機Ａ１とロボットＢ１が選択されたものとする。ロボットＢ１には、チャットボットＢ１（操作アシスタントＢ１）が搭載されている。
端末装置１０Ａの制御部２０は、ユーザの会話相手であるチャットボットＡ１に紐付く画像６８とチャットボットＢ１に紐付く画像１００を画面６４に表示させる。図８に示す例と同様に、「どうしましたか？」といった発言内容１０２が画像６８，１００に紐付けて画面６４に表示され、それに対して、ユーザが、文字入力又は音声入力等によって指示内容を端末装置１０Ａに入力すると、制御部２０は、その指示内容を示す発言内容１０４を画像６６に紐付けて画面６４に表示させる。端末装置１０Ａは、その指示内容を示す情報を複合機Ａ１及びロボットＢ１に送信する。
チャットボットＡ１（処理決定部３４）は、例えば、複合機Ａ１に記憶されて複合機Ａ１が有する機能のみを示す機能管理テーブルを参照することで、上記の指示内容に含まれる複数の個別処理の中で、複合機Ａ１が有する機能によって実行可能な個別処理及び実行不可能な個別処理を特定する。そして、チャットボットＡ１は、複合機Ａ１が有する機能によって実行可能な個別処理及び実行不可能な個別処理を示す情報をロボットＢ１に送信する。こうすることで、チャットボットＡ１の相手方であるチャットボットＢ１は、複合機Ａ１が有する機能によって実行可能な個別処理及び実行不可能な個別処理を認識することができる。同様に、チャットボットＢ１（処理決定部３４）は、ロボットＢ１に記憶されてロボットＢ１が有する機能のみを示す機能管理テーブルを参照することで、当該複数の個別処理の中で、ロボットＢ１が有する機能によって実行可能な個別処理及び実行不可能な個別処理を特定する（ロボットＢ１が有する機能及び有しない機能を特定する）。そして、チャットボットＢ１は、ロボットＢ１が有する機能によって実行可能な個別処理及び実行不可能な個別処理を示す情報を複合機Ａ１に送信する。こうすることで、チャットボットＢ１の相手方であるチャットボットＡ１は、ロボットＢ１が有する機能によって実行可能な個別処理及び実行不可能な個別処理を認識することができる。
例えば、「ある特定のファイルに関して、両面に２ページずつ長編綴じで印刷し、その印刷物を２０部作成し、それら２０部の印刷物をユーザ（端末装置１０Ａ）のところへ持ってくる」という処理（連携機能）の実行が、指示内容としてユーザによって与えられている。
複合機Ａ１は、両面に２ページずつ長編綴じで印刷する機能を有するが、自走して物を運ぶ機能を有していないものとする。一方、ロボットＢ１は、印刷機能を有していないが、自走して物を運ぶ機能を有しているものとする。この場合、チャットボットＡ１は、複合機Ａ１にて上記の印刷を実行することができるが、印刷物をユーザのところへ運ぶことはできないと認識する。また、チャットボットＢ１は、上記の印刷を実行することができないが、印刷物をユーザのところへ運ぶことができると認識する。上記のように、複合機Ａ１とロボットＢ１との間で、実行可能な個別処理及び実行不可能な個別処理を示す情報が送受信されるので、チャットボットＡ１，Ｂ１は、互いの認識内容を共有することができる。そして、チャットボットＡ１，Ｂ１は、上記の印刷する処理を複合機Ａ１に割り当て、印刷物をユーザ（端末装置１０Ａ）のところへ運ぶ処理をロボットＢ１に割り当てる。なお、複合機Ａ１、ロボットＢ１及び端末装置１０Ａのそれぞれの位置は、例えば、ＧＰＳ（Global Positioning System）等の技術を用いることで特定することができる。従って、チャットボットＡ１，Ｂ１は、ＧＰＳ技術等を用いることで、複合機Ａ１、ロボットＢ１及び端末装置１０Ａの位置を特定することができる。
チャットボットＡ１，Ｂ１は、それぞれ自身の機器１２に割り当てられた個別処理を示す情報を端末装置１０Ａに送信する。端末装置１０Ａの制御部２０は、チャットボットＡ１から送られてきた情報に基づいて、複合機Ａ１に割り当てられた個別処理の内容を示す情報をチャットボットＡ１の発言内容１０６として画像６８に紐付けて画面６４に表示させる。ロボットＢ１に割り当てられた個別処理の内容を示す情報も同様にして、チャットボットＢ１の発言内容１０８として画像１００に紐付けて画面６４に表示される。
ユーザが発言内容１１０によって処理の実行を指示した場合、複合機Ａ１及びロボットＢ１は、自身に割り当てられた個別処理を実行する。
上記のように、互いに種類の異なる複数の機器１２に対して指示内容が与えられた場合であっても、各機器１２に搭載されているチャットボットは、自身が搭載されている機器１２によって実行可能な個別処理、及び、他の機器１２によって実行可能な個別処理を特定し、各個別処理を各機器１２に割り当てることができる。
なお、個別処理の割り当ては、チャットボットＡ１，Ｂ１（処理決定部３４）によって行われているが、端末装置１０Ａの処理決定部２２によって行われてもよい。
上記の実施形態では、ユーザによって選択された複数の機器１２によって実行可能な処理を含む指示内容がユーザによって与えられている。実行不可能な処理を含む指示内容がユーザによって与えられた場合、制御部２０は、その旨を通知（表示又は音声出力等）してもよい。図１３を参照して、この処理について説明する。図１３は、画面６４を示す。ここでは、指示内容に含まれる処理を実行するための機器１２として、ユーザによって、複合機Ａ１とカメラＣ１が選択されたものとする。カメラＣ１には、チャットボットＣ１（操作アシスタントＣ１）が搭載されている。
端末装置１０Ａの制御部２０は、ユーザの会話相手であるチャットボットＡ１に紐付く画像６８とチャットボットＣ１に紐付く画像１１２を画面６４に表示させる。図８に示す例と同様に、「どうしましたか？」といった発言内容１１４が画像６８，１１２に紐付けて画面６４に表示され、それに対して、ユーザが、文字入力又は音声入力等によって指示内容を端末装置１０Ａに入力すると、制御部２０は、その指示内容を示す発言内容１１６を画像６６に紐付けて画面６４に表示させる。端末装置１０Ａは、その指示内容を示す情報を複合機Ａ１及びカメラＣ１に送信する。
ここでは、「ラーメンが食べたい。料理して。」という処理を含む指示内容がユーザによって与えられている。複合機Ａ１及びカメラＣ１が、その処理を実現するための機能を有していない場合（例えば各機器１２の機能管理テーブルに上記の処理を実行するための機能が登録されていない場合）、チャットボットＡ１，Ｃ１は、その指示内容に含まれる処理を実行することができない旨を示す情報を端末装置１０Ａに送信する。端末装置１０Ａの制御部２０は、その旨を示す情報をチャットボットＡ１，Ｃ１の発言内容１１８として画像６８，１１２に紐付けて画面６４に表示させる。ユーザが了解した旨を示す発言内容１２０が端末装置１０Ａに入力されると、一連の会話は終了する。
（変形例）
以下、変形例について説明する。変形例では、互いの相性に基づいて定められた機器１２の組み合わせの候補の一覧が表示される。ユーザは、その一覧の中から、指示内容に含まれる処理を実行すべき機器１２を選択する。以下、変形例について詳しく説明する。
図１４は、変形例に係る相性管理テーブルの一例を示す。変形例に係る相性管理テーブルにおいては、機器１２の組み合わせを示す情報と、相性レベルを示す情報とが互いに対応付けられている。相性は、例えば、機器１２の組み合わせによって実現可能な連携機能の数、その組み合わせによって実現可能な処理の内容、その組み合わせによって実現される性能の高さ、その組み合わせによって処理が実行された場合の生成物（成果物）の質の高さ、各機器１２のステータス、各機器１２の製造メーカ、又は、各機器１２の規格等に従って予め定められる。例えば、相性の良い組み合わせほど、数値の大きい相性レベルが対応付けられている。相性管理テーブルのデータは、端末装置１０及び各機器１２に記憶されている。
図１５は、機器１２を選択するための画面の一例を示す。端末装置１０Ａの制御部２０は、ユーザの指示に従って、処理を実行する複数の機器１２を選択するための画面１２２をＵＩ部１６の表示部に表示させる。制御部２０は、機器１２の組み合わせの一覧を画面１２２に表示させる。この場合に、制御部２０は、相性管理テーブルに基づいて、相性の良い機器１２の組み合わせを相性の悪い組み合わせよりも優先的に表示する。例えば、制御部２０は、相性の良い組み合わせを相性の悪い組み合わせよりも一覧の上位に表示する。例えば、複合機ＡとＰＣ（Ｂ）との組み合わせの相性は、複合機ＡとロボットＣとの組み合わせの相性よりも良いため、複合機ＡとＰＣ（Ｂ）との組み合わせは、複合機ＡとロボットＣとの組み合わせよりも一覧の上位に表示されている。こうすることで、ユーザは、相対的に相性の良い機器１２の組み合わせを選択し易くなる。なお、制御部２０は、各機器１２の性能及びステータスを各組み合わせに紐付けて画面１２２に表示させてもよい。
ユーザは、上記の一覧の中から、指示内容に含まれる処理を実行するための機器１２の組み合わせを選択する。その選択後の処理は、上述した実施形態に係る処理と同じである。
また、制御部２０は、相性に基づいて定められた機器１２の組み合わせの候補を画面１２２に表示させてもよい。例えば、制御部２０は、相性レベルが閾値以上となる機器１２の組み合わせの候補を画面１２２に表示させ、相性レベルが閾値未満となる組み合わせの候補を画面１２２に表示させなくてもよい。こうすることで、ユーザは、相対的に相性の良い機器１２の組み合わせを選択し易くなる。
上記とは別の例として、ユーザが機器１２を選択した場合、その機器１２と相性の良い別の機器１２がユーザに推奨されてもよい。図１６を参照して、この処理について説明する。図１６は、画面６４を示す。例えば、ユーザが端末装置１０Ａを操作して複合機Ａ１を選択した場合、端末装置１０Ａは、複合機Ａ１が選択されたことを示す情報を複合機Ａ１に送信する。なお、複合機Ａ１を選択した旨を示す発言内容１２４が画像６６に紐付けて画面６４に表示される。
複合機Ａ１に搭載されているチャットボットＡ１（制御部３２）は、複合機Ａ１に記憶されている相性管理テーブルを参照することで、複合機Ａ１と相性の良い別の機器１２を特定する。例えば、チャットボットＡ１は、複合機Ａ１との相性レベルが閾値以上となる他の機器１２を特定し、当該他の機器１２の機器識別情報を端末装置１０Ａに送信する。端末装置１０Ａの制御部２０は、当該他の機器１２の機器識別情報を含む情報をチャットボットＡ１の発言内容１２６として画像６８に紐付けて画面６４に表示させる。例えば、複合機Ａ１とＰＣ（Ｂ）との相性レベルが閾値以上である場合、ＰＣ（Ｂ）が、複合機Ａ１と相性の良い機器１２としてユーザに推奨される。複合機Ａ１との相性レベルが閾値以上となる複数の機器１２が特定された場合、当該複数の機器１２がユーザに推奨される。もちろん、相性レベルが上位から予め定められた順位以内に含まれる機器１２が推奨されてもよい。また、複合機Ａ１との相性レベルが閾値以上となる機器１２が特定されない場合、複合機Ａ１と相性の良い機器１２は推奨されない。
更に別の例として、ユーザによって与えられた指示案内に含まれる処理を実行するために必要な機器１２がユーザに推奨（案内）されてもよい。図１７を参照して、この処理について説明する。図１７は、画面６４を示す。ここでは、指示内容に含まれる処理を実行するための機器１２として、ユーザによって、複合機Ａ１，Ａ２が選択されたものとする。画面６４には、チャットボットＡ１に紐付く画像６８とチャットボットＡ２に紐付く画像７０が表示され、ユーザに要望を問い合わせるための発言内容１２８が、画像６８，７０に紐付けて画面６４に表示されている。
例えば、「ある特定のファイルを印刷して、印刷物をユーザのところに持ってくる」という連携機能の実行が、指示内容としてユーザによって与えられたものとする。その指示内容を示す発言内容１３０は、画像６６に紐付けられて画面６４に表示される。
チャットボットＡ１，Ａ２（処理決定部３４）又は端末装置１０Ａの処理決定部２２は、複合機Ａ１，Ａ２が、上記の指示内容に含まれる各個別処理を実行する機能を有しているか否かを判断する。複合機Ａ１，Ａ２は印刷する機能を有しているが、印刷物をユーザ（端末装置１０Ａ）のところまで運ぶための機能を有していないものとする。この場合、チャットボットＡ１，Ａ２又は処理決定部２２は、単独機能管理テーブル等を参照することで、印刷物を運ぶための機能を有する機器１２を特定する。例えば、ロボットＢ１が印刷物を運ぶ機能を有している場合（例えば、単独機能管理テーブル等に、ロボットＢ１が有する機能として運ぶ機能が登録されている場合）、チャットボットＡ１，Ａ２又は処理決定部２２は、ロボットＢ１の使用をユーザに推奨する。この場合、ロボットＢ１の使用を推奨するための情報が、発言内容１３２として画像６８，７０に紐付けて画面６４に表示される。こうすることで、ユーザによって与えられた指示内容に含まれる処理に要する機器１２がユーザによって選択されていない場合に、その機器１２をユーザに推奨することができる。
チャットボットＡ１，Ａ２又は処理決定部２２は、処理に要する機器１２としてロボットＢ１を選択してもよい。例えば、チャットボットＡ１，Ａ２又は処理決定部２２は、ロボットＢ１に接続要求を示す情報を送信し、ユーザとの会話へのチャットボットＢ１（ロボットＢ１に搭載されているチャットボット）の参加を指示する。これにより、ユーザはチャットボットＢ１との会話が可能となり、ロボットＢ１を含む機器群に対して、処理の実行を指示することができる。
上記の実施形態及び変形例では、機器１２の全体にチャットボット（操作アシスタント）が紐付けられているが、機器１２の部分毎にチャットボット（操作アシスタント）が紐付けられてもよい。例えば、複合機の本体部に、本体部が有する機能を制御するためのチャットボットが紐付けられ、複合機の後処理部に、後処理部が有する機能を制御するためのチャットボットが紐付けられてもよい。他の機器１２についても同様である。例えば、複合機の本体部がユーザによって選択された場合、当該本体部に紐付けられたチャットボットがユーザの会話相手として選択される。当該チャットボットとユーザとの間で会話が行われて、本体部が有する機能を利用する処理を含む指示内容がユーザによって与えられて、処理の実行指示がユーザによって与えられた場合、その処理が本体部によって実行される。画面６４には、その本体部に紐付けられたチャットボットの画像が表示され、そのチャットボットの発言内容が表示される。また、複数の部分（例えば複合機の本体部とＰＣの表示部）がユーザによって選択された場合、各部分に紐付けられたチャットボットがユーザの会話相手として動作する。例えば、複合機の本体に紐付けられたチャットボットとＰＣの表示部に紐付けられたチャットボットが、ユーザの会話相手として動作する。部分に紐付くチャットボットが用いられる場合も、上記の実施形態及び変形例と同様に、１又は複数の部分に対して指示内容がユーザによって与えられ、その指示内容に含まれる処理が、１又は複数の部分によって実行される。
また、上記の実施形態及び変形例では、機器１２にチャットボットが紐付けられているが、ソフトウェアにチャットボットが紐付けられていてもよい。例えば、１又は複数のソフトウェアにチャットボットが紐付けられており、ユーザは、そのチャットボットと会話することで、そのチャットボットに紐付けられた１又は複数のソフトウェアに処理の実行指示を与えてもよい。この場合も、機器１２に紐付くチャットボットとの会話と同様に、ユーザは、画面６４上にて、ソフトウェアに紐付けられたチャットボットと会話することで指示内容を与える。
上記の端末装置１０及び機器１２のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置１０及び機器１２のそれぞれは、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置１０及び機器１２のそれぞれの各部の機能が実現される。上記プログラムは、ＣＤ又はＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置１０及び機器１２のそれぞれの各部は、例えばプロセッサ、電子回路又はＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置１０及び機器１２のそれぞれの各部は、ＤＳＰ（Digital Signal Processor）又はＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。
１０ 端末装置、１２ 機器、２０，３２ 制御部、２２，３４ 処理決定部。

Claims (19)

  1. 会話型のユーザインターフェースにおいて、ユーザが複数の会話相手に対して指示を与えた場合、前記指示の対応結果の通知を制御する制御手段を有し、
    前記複数の会話相手は、前記指示に含まれる処理を実行するための第１機器に紐付けられて前記ユーザの発言に対して発言する第１会話相手と、前記処理を実行するための第２機器に紐付けられて前記ユーザの発言に対して発言する第２会話相手とを含み、
    前記制御手段は、更に、互いの相性に基づいて定められた機器の組み合わせの候補の一覧を前記ユーザインターフェースに表示させ、
    前記第１機器と前記第２機器は、前記一覧の中から前記ユーザによって選択された機器の組み合わせであり、
    前記第１会話相手は、前記ユーザの発言に対して自動で発言する第１チャットボットであり、
    前記第２会話相手は、前記ユーザの発言に対して自動で発言する第２チャットボットである、
    ことを特徴とする情報処理装置。
  2. 前記第１会話相手に紐付けられた第１画像と、前記第２会話相手に紐付けられた第２画像が、前記ユーザインターフェースに表示されている状態で、前記ユーザによって前記指示が与えられた場合、前記制御手段は、前記対応結果の通知を制御する、
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記指示は、前記第１機器と前記第２機器が互いに連携して実行可能な１又は複数の処理を含む、
    ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
  4. 前記指示は、１又は複数の処理を含み、
    前記第１会話相手と前記第２会話相手は、前記指示に含まれる１又は複数の処理を分けて担当する、
    ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
  5. 前記第１会話相手は、前記指示の中で前記第１機器によって実行可能な処理の実行を制御し、
    前記第２会話相手は、前記指示の中で前記第２機器によって実行可能な処理の実行を制御する、
    ことを特徴とする請求項４に記載の情報処理装置。
  6. 前記第１会話相手と前記第２会話相手は、前記指示に含まれる処理の完了に要する時間が短くなるように、前記指示に含まれる１又は複数の処理を分けて担当する、
    ことを特徴とする請求項４又は請求項５に記載の情報処理装置。
  7. 前記第１会話相手と前記第２会話相手は、前記第１会話相手が担当する処理の数と前記第２会話相手が担当する処理の数との差が小さくなるように、前記指示に含まれる１又は複数の処理を分けて担当する、
    ことを特徴とする請求項４又は請求項５に記載の情報処理装置。
  8. 前記第１会話相手と前記第２会話相手は、前記第１機器の性能と前記第２機器の性能に応じて、前記指示に含まれる１又は複数の処理を分けて担当する、
    ことを特徴とする請求項４又は請求項５に記載の情報処理装置。
  9. 前記第１会話相手と前記第２会話相手は、前記第１機器によって得られる処理結果の質と前記第２機器によって得られる処理結果の質に応じて、前記指示に含まれる１又は複数の処理を分けて担当する、
    ことを特徴とする請求項４又は請求項５に記載の情報処理装置。
  10. 前記制御手段は、更に、前記第１会話相手が担当した処理の第１完了予測時間の通知と、前記第２会話相手が担当した処理の第２完了予測時間の通知を制御する、
    ことを特徴とする請求項４から請求項９何れかに記載の情報処理装置。
  11. 前記制御手段は、前記第１完了予測時間と前記第２完了予測時間とを別々に通知する、
    ことを特徴とする請求項１０に記載の情報処理装置。
  12. 前記第１完了予測時間と前記第２完了予測時間との差分が閾値以下である場合、前記制御手段は、前記第１完了予測時間と前記第２完了予測時間とを同一メッセージとして通知する、
    ことを特徴とする請求項１０に記載の情報処理装置。
  13. 前記制御手段は、更に、前記第１会話相手が担当した処理の完了の通知と、前記第２会話相手が担当した処理の完了の通知を制御する、
    ことを特徴とする請求項４から請求項１２何れかに記載の情報処理装置。
  14. 前記第１会話相手が担当した処理の完了と、前記第２会話相手が担当した処理の完了が通知された後、予め定められた時間以内に前記ユーザによる確認作業が行われなかった場合、前記制御手段は、更に、前記ユーザに確認作業を促すための情報の通知を制御する、
    ことを特徴とする請求項１３に記載の情報処理装置。
  15. 前記第１機器と前記第２機器は、同一種類の機器、又は、異なる種類の機器である、
    ことを特徴とする請求項１から請求項１４何れかに記載の情報処理装置。
  16. 前記第１機器には、互いに設定の異なる複数の第１会話相手が紐付けられている、
    ことを特徴とする請求項１から請求項１５何れかに記載の情報処理装置。
  17. 前記第１機器と前記第２機器とによって実行できない指示が前記ユーザによって与えられた場合、制御手段は、更に、その旨の通知を制御する、
    ことを特徴とする請求項１から請求項１６何れかに記載の情報処理装置。
  18. 前記制御手段は、更に、前記指示を実行する機能を有する機器の案内を通知する、
    ことを特徴とする請求項１から請求項１７何れかに記載の情報処理装置。
  19. コンピュータを、
    会話型のユーザインターフェースにおいて、ユーザが複数の会話相手に対して指示を与えた場合、前記指示の対応結果の通知を制御する制御手段、
    として機能させ、
    前記複数の会話相手は、前記指示に含まれる処理を実行するための第１機器に紐付けられて前記ユーザの発言に対して発言する第１会話相手と、前記処理を実行するための第２機器に紐付けられて前記ユーザの発言に対して発言する第２会話相手とを含み、
    前記制御手段は、更に、互いの相性に基づいて定められた機器の組み合わせの候補の一覧を前記ユーザインターフェースに表示させ、
    前記第１機器と前記第２機器は、前記一覧の中から前記ユーザによって選択された機器の組み合わせであり、
    前記第１会話相手は、前記ユーザの発言に対して自動で発言する第１チャットボットであり、
    前記第２会話相手は、前記ユーザの発言に対して自動で発言する第２チャットボットである、
    ことを特徴とするプログラム。
JP2018110028A 2018-06-08 2018-06-08 情報処理装置及びプログラム Active JP7091856B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018110028A JP7091856B2 (ja) 2018-06-08 2018-06-08 情報処理装置及びプログラム
CN201811547352.3A CN110580283A (zh) 2018-06-08 2018-12-18 信息处理装置和存储程序的非暂时性计算机可读介质
US16/421,942 US11347445B2 (en) 2018-06-08 2019-05-24 Information processing device and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018110028A JP7091856B2 (ja) 2018-06-08 2018-06-08 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2019212183A JP2019212183A (ja) 2019-12-12
JP7091856B2 true JP7091856B2 (ja) 2022-06-28

Family

ID=68763876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018110028A Active JP7091856B2 (ja) 2018-06-08 2018-06-08 情報処理装置及びプログラム

Country Status (3)

Country Link
US (1) US11347445B2 (ja)
JP (1) JP7091856B2 (ja)
CN (1) CN110580283A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019036135A (ja) * 2017-08-16 2019-03-07 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2020181300A (ja) * 2019-04-24 2020-11-05 富士ゼロックス株式会社 画像処理サービスシステム
KR20190096858A (ko) * 2019-07-30 2019-08-20 엘지전자 주식회사 자율주행 복합기, 자율주행 복합기를 제어하는 서버 및 서버의 동작 방법
KR20210042523A (ko) * 2019-10-10 2021-04-20 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP7452007B2 (ja) 2019-12-26 2024-03-19 京セラドキュメントソリューションズ株式会社 通信システム
JP7351233B2 (ja) * 2020-02-13 2023-09-27 トヨタ自動車株式会社 プログラム、制御装置、及び制御方法
JP7445108B1 (ja) 2023-08-07 2024-03-07 株式会社博報堂 仲介装置、仲介方法、コンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015026092A (ja) 2011-11-18 2015-02-05 独立行政法人科学技術振興機構 人・ロボット間でタスクを共有可能なタスク共有システム
JP2015108867A (ja) 2013-12-03 2015-06-11 Ｎｅｃソリューションイノベータ株式会社 管理装置、ワーク実行システム、管理方法及びプログラム
JP2017120627A (ja) 2015-12-29 2017-07-06 Ｌｉｎｅ株式会社 メッセージを送受信する方法、装置、及びコンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853661B2 (en) 2006-01-03 2010-12-14 Microsoft Corporation Remote access and social networking using presence-based applications
CN105511287A (zh) * 2016-01-27 2016-04-20 珠海格力电器股份有限公司 智能家电控制方法和装置及系统
CN107528755A (zh) * 2017-09-30 2017-12-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和存储介质
US10742572B2 (en) * 2017-11-09 2020-08-11 International Business Machines Corporation Chatbot orchestration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015026092A (ja) 2011-11-18 2015-02-05 独立行政法人科学技術振興機構 人・ロボット間でタスクを共有可能なタスク共有システム
JP2015108867A (ja) 2013-12-03 2015-06-11 Ｎｅｃソリューションイノベータ株式会社 管理装置、ワーク実行システム、管理方法及びプログラム
JP2017120627A (ja) 2015-12-29 2017-07-06 Ｌｉｎｅ株式会社 メッセージを送受信する方法、装置、及びコンピュータプログラム

Also Published As

Publication number Publication date
US20190377521A1 (en) 2019-12-12
US11347445B2 (en) 2022-05-31
CN110580283A (zh) 2019-12-17
JP2019212183A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
JP7091856B2 (ja) 情報処理装置及びプログラム
JP7155605B2 (ja) 情報処理装置及びプログラム
CN107004413A (zh) 扩展数字个人助理动作提供者
JP6972806B2 (ja) 情報処理装置、プログラム及び制御方法
JP7130929B2 (ja) 情報処理装置、プログラム及び制御方法
JP7106827B2 (ja) 情報処理装置、プログラム及び制御方法
JP7081099B2 (ja) 情報処理装置、プログラム及び制御方法
JP6981118B2 (ja) 情報処理装置、プログラム及び制御方法
JP2019050519A (ja) 情報処理装置及びプログラム
JP7130987B2 (ja) 情報処理装置及びプログラム
JP7159607B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP6965704B2 (ja) 情報処理装置、プログラム及び制御方法
JP7099092B2 (ja) 情報処理装置及びプログラム
US20190355356A1 (en) Information processing device and non-transitory computer readable medium storing program
JP7214963B2 (ja) 情報処理装置及びプログラム
JP7106984B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP6642630B2 (ja) 情報処理装置及びプログラム
JP7070117B2 (ja) 情報処理装置及びプログラム
US10792819B2 (en) Information processing apparatus and non-transitory computer readable medium
JP7009956B2 (ja) 情報処理装置、プログラム及び制御方法
JP7119447B2 (ja) 情報処理装置及びプログラム
JP7302642B2 (ja) 情報処理装置、プログラム及び制御方法
JP7102756B2 (ja) 情報処理装置及びプログラム
JP2019152984A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R150 Certificate of patent or registration of utility model

Ref document number: 7091856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150