WO2019082725A1

WO2019082725A1 - 周辺機器を設定等するシステム、制御方法、制御プログラム

Info

Publication number: WO2019082725A1
Application number: PCT/JP2018/038414
Authority: WO
Inventors: 律人佐光
Original assignee: キヤノン株式会社
Priority date: 2017-10-26
Filing date: 2018-10-16
Publication date: 2019-05-02
Also published as: CN111263929A; US20210318838A1; JP2019079417A; US11068213B2; US11467781B2; CN111263929B; US20200241809A1

Abstract

複合機であって、複合機管理サービスからのリクエストを受信する手段と、前記リクエストに従い複合機内の機能を有効化する手段と、前記リクエストの結果を複合機管理サービスに応答する手段と、を持つことを特徴とする。

Description

周辺機器を設定等するシステム、制御方法、制御プログラム

　本発明は、エージェント機能を使用できる印刷システム等に関するものである。

　近年、複合機等の電子デバイスは機能の高度化に伴い、操作が複雑になってきている。この結果、ユーザに複雑なユーザインターフェースの理解を強いることになり、負担がかかるようになってきている。特開２０１４－２２２５１３では、この課題に対応するために、自然言語で指示、操作が可能である対話エージェントを提案している。

　また、近年、スマートフォン等のモバイル端末等の普及が進み、モバイル端末と複合機が連携して動作する様々な機能が提案されている。モバイル端末と複合機が無線でダイレクト接続する機能がある。

　モバイル端末と周辺機器を連携させて動作させるような機能においては、ユーザは複合機とモバイル端末それぞれを操作する必要がある。周辺機器とモバイル端末は多くの場合、独自のユーザインターフェースを有しており、それらは、ユーザにとって学ぶことが多すぎたり負担になったりする可能性がある。例えば、ユーザは周辺機器のマニュアルを見るにしても情報が膨大であり、必要な情報がどこにあるかを探すことが困難であるという問題点があった。また、ユーザは、機器の設定に必要なパラメータが何かを特定することも困難であるという問題点もあった。

　本発明は上述の問題点の少なくとも一つを鑑みてなされたものである。本発明の第一の目的は、モバイル端末と周辺機器の連携を効果的かつ効率的に実現する仕組みを提供することである。本発明のさらに別の目的は、モバイル端末と周辺機器を連携させるための、例えば、設定の手順を、対話型インターフェースを用いてユーザに対して効果的に提供することである。

　周辺機器と通信可能で、前記周辺機器の設定処理をする設定サービスを有するシステムにおいて、入力された自然言語情報の中から前記周辺機器に設定すべき所定の設定情報を特定する特定手段と、前記周辺機器に設定すべき所定の設定情報が前記自然言語情報の中において特定できなかったことに応じて、前記特定できなかった設定情報を得るために、自然言語による応答を対話型エージェントプログラムに対して応答する応答手段と、前記応答手段が応答した自然言語による応答が前記対話型エージェントプログラムにおいて出力された後に、前記対話型エージェントプログラムに対する自然言語情報の入力に基づく情報を取得する取得手段、前記特定手段が特定できなかった設定情報を前記取得手段が取得した情報に基づいて識別する識別手段と、前記特定手段により特定された情報と、前記識別手段により識別された情報とを前記周辺機器の設定サービスに対して入力する入力手段を備えるシステムが開示される。

　対話エージェントと複合機がクラウド上のサービスを利用することにより、自然言語で複合機の操作をすることが可能になる。これにより、ユーザが複合機とモバイル端末それぞれを簡便に操作することが可能になる。

無線ダイレクト接続を行う際のモバイル端末と複合機の操作の一例を示す図本実施形態における複合機のハードウェア構成の一例を示す図本実施形態における複合機のソフトウェア構成の一例を示す図本実施形態における複合機の操作パネルの一例を示す図本実施形態におけるネットワークの一例を示す図本実施形態におけるシーケンスの一例を示す図本実施形態におけるアクション登録内容の一例を示す図本実施形態における対話エージェント動作例を示す図本実施形態における複合機の無線ダイレクト機能開始要求のデータ例を示す図本実施形態における無線ダイレクト機能開始要求のデータ例を示す図本実施形態における無線ダイレクト機能開始応答のデータ例を示す図本実施形態における複合機の無線ダイレクト機能開始応答のデータ例を示す図本実施形態における複合機の処理を説明するためのフローチャートを示す図本実施形態における無線ダイレクト機能開始応答のデータ例を示す図本実施形態における無線ダイレクト機能開始応答のデータ例を示す図本実施形態における対話エージェント出力方法を設定する画面例を示す図本実施形態における無線ダイレクト機能開始応答６０５のデータ例を示す図本実施形態における複合機管理サービスの処理例を示すフローチャート図

　以下、本発明を実施するための最良の形態について図面を用いて説明する。

　ここでは複合機を例に実施形態を説明するが、本発明は複合機以外の任意の情報処理装置に適用可能な技術である。

　なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

　（実施形態１）
　図１は無線ダイレクト接続を行う際のモバイル端末１５０と複合機１００の操作を説明した図である。

　ユーザは、まず複合機の操作パネル４０５を操作することで、モバイル連携画面の表示指示を入力する。すると、操作パネル４０５においてモバイル連携画面１０１が表示される。モバイル連携画面１０１にはＬＡＮ接続設定を行う、ＬＡＮ接続ボタンと、ダイレクト接続設定を行うダイレクト接続ボタンが表示されている。ユーザはダイレクト接続ボタンを押下しダイレクト接続設定を表示させる。ユーザは、ダイレクト接続設定画面にある開始ボタンを押下することにより無線ダイレクト接続機能を開始する。無線ダイレクト接続が開始されると、複合機のモバイル連携画面１０２にＳＳＩＤ、ネットワークキーが表示される。

　次に、ユーザはモバイル端末１５０を操作して、設定画面１１１を表示させる。設定画面１１１にはＷｉ－Ｆｉ設定を行うＷｉ－Ｆｉボタンが表示されている。ユーザはＷｉ－Ｆｉ設定を押下しＷｉ－Ｆｉ設定を表示させる。Ｗｉ－Ｆｉ設定画面１１２では近くのアクセスポイントを検索しＳＳＩＤがリスト表示される。ユーザが、複合機のＳＳＩＤを選択するとパスワード入力画面１１３が表示される。ユーザはモバイル連携画面１０２に表示されたネットワークキーをパスワードとして入力する。これにより、モバイル端末１５０は複合機１００と無線ダイレクト接続される。

　図２は複合機１００のハードウェア構成図である。本実施形態の複合機１００は複合機を想定しているが、スキャナ機能を備えない複合機であってもよい。

　ＣＰＵ２０１はＲＯＭ２０３が記憶している制御プログラムを読み出して、複合機１００の動作を制御するための様々な処理を実行する。ＲＯＭ２０３は、制御プログラムを記憶している。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、印刷データやスキャン画像等の様々なデータを記憶する。

　なお、複合機１００の場合、１つのＣＰＵ２０１が後述するフローチャートに示す各処理を実行するものとするが、他の形態であっても構わない。例えば、複数のＣＰＵが協働して後述するフローチャートに示す各処理を実行するようにすることもできる。

　プリンタ部１０３はプリンタ部Ｉ／Ｆ２０６を介して、外部装置から受信した印刷データやスキャナ部１０４によって生成されたスキャン画像等に基づいて、シートに印刷処理を実行する。スキャナ部１０４はスキャナ部Ｉ／Ｆ２０７を介して、原稿を読み取ってスキャン画像（読取画像データ）を生成する。スキャナ部１０４によって生成されたスキャン画像は、プリンタ部１０３によって印刷される。また、ＨＤＤ２０４に記憶される。

　操作部１０２は、タッチパネル機能を有する液晶表示部やキーボードを備え、各種画像を表示する。ユーザは、操作部１０２を介して複合機１００に対して指示や情報を入力することができる。操作部１０２は、操作部Ｉ／Ｆ２０８を介して、コントローラ部１０１に接続されている。

　有線ＬＡＮインターフェース部２１０は、外部装置との間で有線ＬＡＮデバイス１０６を介して有線ＬＡＮで通信を実行する。

　無線ＬＡＮインターフェース部２０９は、無線ＬＡＮデバイス１０５を介して、アクセスポイント１１０等の外部装置との間で無線ＬＡＮ通信を実行する。

　コントローラ部１０１内の各ブロックはシステムバス２０５にて接続されている。

　図３は複合機１００のソフトウェア構成を説明するための図である。図３に示す各機能部は、複合機１００が有しているＣＰＵ２０１が制御プログラムを実行することにより実現される。

　操作制御部３００は操作部１０２を制御する。操作部１０２に操作メニューを表示してユーザからの指示入力を待ち受け、受け付けた指示内容を他の機能部に通知し、指示結果を操作部１０２に表示する。

　無線ダイレクト制御部３０１は無線ダイレクト通信制御を行う。

　無線ＬＡＮ制御部３０２は無線ＬＡＮの接続、切断、通信を制御する。

　有線ＬＡＮ制御部３０３は有線ＬＡＮの接続、切断、通信を制御する。

　ＨＴＴＰ通信制御部３０４はＸＭＰＰ通信制御を行う。

　記憶制御部３１０は、他の機能部からの指示により、指定されたデータをＲＯＭ２０３やＨＤＤ２０４に記憶する、あるいは記憶しているデータを読み出す。記憶制御部３０５が管理するデータの例として、複合機１００のＩＰアドレス設定、プロキシー設定等がある。

　画像処理部３１１は、印刷ジョブを印刷用の画像データにレンダリングする処理を行う。

　印刷処理部３１２は、画像処理部３１１によってレンダリングされた画像データをプリンタ部Ｉ／Ｆ２０６を介してプリンタ部１０３に画像信号として送信し印刷する処理を行う。

　ＴＣＰ／ＩＰ通信制御部３１３はＴＣＰ／ＩＰ通信を制御する。

　図４は複合機１００の操作部１０２を説明するための図である。４０５はＬＣＤ等を利用した表示パネルである。４０１は複合機１００を用いてコピーを行う際に押下するボタンであり、これを押下することにより表示パネル４０５にコピー操作画面が表示される。４０２は複合機１００を用いてＦＡＸを行う際に押下するボタンであり、これを押下することにより表示パネル４０５にＦＡＸ操作画面が表示される。４０２は複合機１００を用いてスキャンを行う際に押下するボタンであり、これを押下することにより表示パネル４０５にスキャン操作画面が表示される。４０３は複合機１００をモバイル端末と連携動作させるための操作を行う際に押下するボタンであり、これを押下することにより表示パネル４０５にモバイル連携画面が表示される。４０８はテンキーであり数字等を入力するために使用される。４０７はＯＫキーであり表示パネル４０５の表示内容を決定する時などに使用される。４０６は方向キーであり表示パネル４０５に表示されたメニューなどを選択する時などに使用される。４０９・４１０はそれぞれ白黒コピー、カラーコピーを実行する際に使用される。４１１は処理を停止する時に使用される。４１２は複合機１００の設定を行うためのメニュー画面を表示する時に使用される。４０４はモバイルと連携するための各種操作を行うためのメニュー画面を表示する時に使用される。無線ダイレクト接続を開始する時には、このボタンを選択する。

　図５は本実施形態のネットワーク構成を説明するためのネットワーク図である。モバイル端末５０１はアクセスポイント５０２を経由して自然言語処理、字句解析サービス５１１と通信を行う。具体的には、モバイル端末５０１上の対話エージェントがユーザからの操作を自然言語で受け取り、それを自然言語処理、字句解析サービス５１１に送信する。また、モバイル端末５０１は複合機１００と無線ダイレクトで直接接続して通信をことにしてもよい。自然言語処理、字句解析サービス５１１はクラウド上のサービスである。自然言語処理、字句解析サービス５１１は、モバイル端末５０１上の対話エージェントからユーザからの操作を自然言語で受け取ると、自然言語処理を行い、抽出された字句を解析する。その結果に応じて、クラウド上のサービスである複合機管理サービス５１０と通信を行う。クラウド上のサービスである複合機管理サービス５１０は、自然言語処理、字句解析サービス５１１からの通信に基づいて、複合機１００と通信を行う。

　図６は本実施形態の処理シーケンスを説明するためのシーケンス図である。モバイル端末５０１上の対話エージェントがユーザからの操作を自然言語で受け取ると、自然言語処理、字句解析サービス５１１に自然言語で表現されるユーザ操作リクエスト６０１を送信する（Ｓ６００１）。自然言語処理、字句解析サービス５１１はユーザ操作リクエスト６０１を自然言語処理し、字句解析する（Ｓ６００２）。自然言語処理、字句解析サービス５１１は、解析の結果、あらかじめ登録されている情報が揃っていない場合、自然言語で表現されたユーザ操作レスポンス６０２をモバイル端末５０１に送信する（Ｓ６００２）。モバイル端末５０１と自然言語処理、字句解析サービス５１１は前記やり取りを、必要な情報が揃うまで繰り返す。自然言語処理、字句解析サービス５１１は、前記のやり取りの結果、必要な情報が揃うと、複合機管理サービス５１０に、複合機の無線ダイレクト機能開始要求６０３を送信する（Ｓ６００３）。自然言語処理、字句解析サービス５１１には、あらかじめ、必要な情報と、それが揃ったときに実行する処理としてＷｅｂｈｏｏｋが登録されている。Ｗｅｂｈｏｏｋとは、あるイベントが発生したときに、ＨＴＴＰプロトコルのＰＯＳＴリクエストで情報を送信する仕組みである。

　つまり、字句解析サービス５１１はユーザ操作リクエスト６０１を受け付け、自然言語処理し、無線ダイレクト機能開始要求６０３に必要な情報を抽出する。字句解析サービス５１１は、無線ダイレクト機能開始要求６０３に必要な情報が揃うまで前記の処理を繰り返す。そして、予め登録されている無線ダイレクト機能開始要求６０３がすべてそろうと、これに対応するイベントが発生したと識別される。そして、当該イベントに対応するＷｅｂｈｏｏｋが起動され、ＨＴＴＰプロトコルのＰＯＳＴリクエストの中に複合機の無線ダイレクト機能開始要求６０３をカプセル化して送信する。

　このように、複合機の無線ダイレクト機能開始要求６０３はＷｅｂｈｏｏｋにより実現される。複合機管理サービス５１０は複合機の無線ダイレクト機能開始要求６０３を５１１から受信すると、複合機１００に対し無線ダイレクト機能開始要求６０４を送信する（Ｓ６００４）。クラウド上に存在する複合機管理サービス５１０から複合機１００に対しては、ＸＭＰＰ等のプロトコルを利用したプッシュ通信を利用して送信処理を行う。通常、複合機１００はイントラネット内に存在するが、前記ＸＭＰＰを利用したプッシュ通信を利用することにより、クラウド上のサービスからのプッシュ通信を実現する。そして、複合機１００は無線ダイレクト機能開始要求６０４を受信すると、複合機１００の無線ダイレクト機能を開始する。そして、ＳＳＩＤとネットワークキーを、無線ダイレクト機能開始応答６０５として複合機管理サービス５１０に応答する（Ｓ６００５）。複合機管理サービス５１０は、ＳＳＩＤとネットワークキーを自然言語で表現した、無線ダイレクト機能開始応答６０６を自然言語処理、字句解析サービス５１１に応答する（Ｓ６００６）。自然言語処理、字句解析サービス５１１はモバイル端末５０１の対話エージェントに、自然言語で表現された、複合機の無線ダイレクト機能開始応答６０７を応答する（Ｓ６００７）。

　図７は本実施形態のアクション登録内容を説明するための図である。アクション登録とは、自然言語処理、字句解析サービス５１１に対して登録する情報であり、必要な情報を示すエンティティとそれに伴うアクションを定義するものである。アクション登録は、ＰＣ（図示省略）や、モバイル端末（５０１）に対して５１１から図７の画面情報を送信する。そして、ＰＣや、モバイル端末（５０１）表示させる。そして、図７の画面情報の入力に応じて、ＰＣや、モバイル端末（５０１）から５１１に対して送信し、登録可能である。本実施形態では、エンティティとして、ｄｅｖｉｃｅ、ｎｅｔｗｏｒｋ、ｍｅｔｈｏｄ、ａｃｔｉｏｎがある。ｄｅｖｉｃｅとは操作する複合機を特定する情報であり、あらかじめ登録されているＰｒｉｎｔｅｒ１、Ｐｒｉｎｔｅｒ２、Ｐｒｉｎｔｅｒ３が指定可能である。ｎｅｔｗｏｒｋとは使用するｎｅｔｗｏｒｋ種別を特定するものであり、無線、有線の特定が可能である。ｍｅｔｈｏｄとは接続方法を特定するものであり、インフラ、ダイレクトの指定が可能である。ａｃｔｉｏｎとは動作を特定するものであり、接続、切断の指定が可能である。

　また、本実施形態では、アクションとしてｈｔｔｐ：／／ｐｒｉｎｔ－ｍａｎａｇｅ．ｃａｎｏｎ．ｃｏ．ｊｐに対するＷｅｂｈｏｏｋを登録している。

　本アクション登録が行われると、Ｓ６００１およびＳ６００２の対話により、ｄｅｖｉｃｅ、ｎｅｔｗｏｒｋ、ｍｅｔｈｏｄ、ａｃｔｉｏｎが揃うと、次のようにする。つまり、これらの情報をｈｔｔｐ：／／ｐｒｉｎｔ－ｍａｎａｇｅ．ｃａｎｏｎ．ｃｏ．ｊｐにＨＴＴＰによって送信するというアクションが実行される。このアクションは、自然言語処理、字句解析サービス５１１により実行される。つまり、Ｗｅｂｈｏｏｋに記述されているサービスが、ｄｅｖｉｃｅ、ｎｅｔｗｏｒｋ、ｍｅｔｈｏｄ、ａｃｔｉｏｎにおいて入力されたパラメータを引数として呼び出すことができる。そのタイミングは、ｄｅｖｉｃｅ、ｎｅｔｗｏｒｋ、ｍｅｔｈｏｄ、ａｃｔｉｏｎが揃ったタイミングである。

　図８は本実施形態の対話エージェント動作例８０００を示す図である。まず、ユーザは、設定アプリまたは、設定サービスを所定のサーバからダウンロードして起動する。そして、所定のボタンの長押しなどを行なう。当該設定アプリやサービスが所定のボタンの長押しなどを検知すると、当該設定アプリやサービスは対話モードに入る。そして、ユーザはモバイル端末５０１上の対話エージェント画面を表示させた状態で、モバイル端末５０１のマイクロフォンを介して８０１にてＰｒｉｎｔｅ１との接続要求を自然言語の音声で伝える。そうすると８０１が表示される。若しくは、モバイル端末５０１のタッチパネルからキー入力をすることで、自然言語で入力してもよい。そうすると８０１が表示される。図８の８０１，８０３，８０５は、ユーザがモバイル端末５０１から音声またはキー入力で入力した情報である。８０２，８０４，８０６，８０７は、自然言語処理、字句解析サービス５１１が、設定アプリまたは、設定サービスに対して送信に応じて表示される自然言語データである。

　モバイル端末５０１は自然言語処理、字句解析サービス５１１に入力された自然言語データ（８０１）を送信する。自然言語処理、字句解析サービス５１１は、前記入力を解析する。自然言語処理、字句解析サービス５１１は、入力された自然言語データを解析する。入力された自然言語を文節および単語に区切る。そして、それぞれの単語の中から名詞を取り出す。そして、それらの名詞を固有名詞やその他の名詞に分類分けする。その結果、分類分けされたエンティティの中に、図７で登録した、「アクションを実行するための情報」が揃っているかを判別する。その判別の結果、「アクションを実行するための情報」が不足していると判断する。不足とされると、自然言語で表現されたｎｅｔｗｏｒｋを特定するための問い合わせをモバイル端末５０１に送信する。モバイル端末５０１の対話エージェントは受信した問い合わせ８０２を出力する。

　ユーザはモバイル端末５０１上の対話エージェントから、８０３にてｎｅｔｗｏｒｋとして無線を要求する旨、自然言語で伝える。モバイル端末５０１は自然言語処理、字句解析サービス５１１に入力された自然言語データを送信する。自然言語処理、字句解析サービス５１１は、前記入力を解析する。その結果、図７で登録したアクションを実行するための情報がさらに不足しているので、自然言語で表現されたｍｅｔｈｏｄを特定するための問い合わせをモバイル端末５０１に送信する。モバイル端末５０１の対話エージェントは受信した問い合わせ８０４を出力する。

　ユーザはモバイル端末５０１上の対話エージェントから、８０５にてｍｅｔｈｏｄとしてダイレクトを要求する旨、自然言語で伝える。モバイル端末５０１は自然言語処理、字句解析サービス５１１に入力された自然言語データを送信する（Ｓ６００１）。自然言語処理、字句解析サービス５１１は、前記入力を前述と同様に解析する。その結果、図７で登録したアクションを実行するための情報が揃うと次の処理をする。すなわち、複合機管理サービス５１０に複合機の無線ダイレクト機能開始要求６０３をＷｅｂｈｏｏｋで送信する（Ｓ６００３）。複合機管理サービス５１０は、先ほど図７の７００１のＷｅｂｈｏｏｋで入力したＵＲＬに対応するものである。複合機管理サービス５１０は図６のシーケンスに従い、複合機の無線ダイレクト機能開始応答６０６を自然言語処理、字句解析サービス５１１に応答する（Ｓ６００６）。

　自然言語処理、字句解析サービス５１１は、複合機の無線ダイレクト機能開始応答６０６で応答された内容を、モバイル端末５０１に送信する（Ｓ６００７）。モバイル端末５０１の対話エージェントは受信した応答メッセージ８０６、８０７を出力する。

　なお、本実施形態において、モバイル端末５０１の対話エージェントが行う出力を、テキストによる画面表示として説明しているが、音声による出力であっても良い。テキストと、音声を同時に出力するようにしてもよい。

　図９は本実施形態における複合機の無線ダイレクト機能開始要求６０３のデータ例である。図６で説明した複合機の無線ダイレクト機能開始要求６０３には図７で説明したアクションで定義された情報が含まれる。具体的には、エンティティ情報であるｄｅｖｉｃｅ、ｎｅｔｗｏｒｋ、ｍｅｔｈｏｄ、ａｃｔｉｏｎが含まれる。これらの情報はＪａｖａＳｃｒｉｐｔ（登録商標）　Ｏｂｊｅｃｔ　Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）フォーマットのデータとして表現される。本実施形態では、無線ダイレクト機能開始要求６０３はＷｅｂｈｏｏｋつまりＨＴＴＰのＰＯＳＴリクエストとして複合機管理サービス５１０に送信される。

　図１０は本実施形態における無線ダイレクト機能開始要求６０４のデータ例である。図６で説明した無線ダイレクト機能開始要求６０４には図７で説明したアクションで定義された情報が含まれる。具体的には、エンティティ情報であるｎｅｔｗｏｒｋ、ｍｅｔｈｏｄ、ａｃｔｉｏｎが含まれる。これらの情報はＪＳＯＮフォーマットのデータとして表現される。ｄｅｖｉｃｅ情報はこの時点で特定されているため、含む必要はない。本実施形態では、無線ダイレクト機能開始要求６０４はＸＭＰＰプロトコルを使用して複合機１００に送信される。

　図１１は本実施形態における無線ダイレクト機能開始応答６０５のデータ例である。ｒｅｓｕｌｔには無線ダイレクト機能開始結果が格納される。本実施形態では成功を示すｓｕｃｃｅｓｓがセットされている。ｓｓｉｄには複合機１００のｓｓｉｄ情報が格納される。ｓｓｉｄには複合機１００のｓｓｉｄ情報が格納される。ｐａｓｓｗｏｒｄには複合機１００のネットワークキー情報が格納される。本実施形態では、無線ダイレクト機能開始応答６０５はＸＭＰＰプロトコルを使用して複合機管理サービス５１０に送信される。

　図１２は本実施形態における複合機の無線ダイレクト機能開始応答６０６のデータ例である。ｄｉｓｐｌａｙＴｅｘｔはモバイル端末５０１の対話エージェントに対しテキストによる画面表示を指示するものである。ｓｐｅｅｃｈはモバイル端末５０１の対話エージェントに対し音声出力を指示するものである。１２０１では無線ダイレクト機能の開始結果を自然言語で応答する。

　１２０２では複合機１００のＳＳＩＤとＰＡＳＳＷＯＲＤとモバイル端末５０１の操作内容を自然言語で応答する。本実施形態では、無線ダイレクト機能開始応答６０５はＨＴＴＰのＰＯＳＴリクエストとして自然言語処理、字句解析サービス５１１に送信される。

　図１３は本実施形態における複合機の処理を示すフローチャートである。複合機１００は複合機管理サービス５１０から無線ダイレクト機能開始要求６０４を受信（Ｓ６００４）すると、Ｓ１３０１にて、記憶部３１０から無線ダイレクト設定を読み出す。Ｓ１３０１にて、無線ダイレクト設定の値が動作中であるか否かを判断する。動作中である場合、複合機１００はＳ１３０４にてＳＳＩＤとＰＡＳＳＷＯＲＤ情報を記憶部３１０から読み出す。また、動作中でなかった場合、Ｓ１３０３にて複合機１００の無線ダイレクト通信制御部３０１は無線ダイレクトを開始する。その後、複合機１００は前記Ｓ１３０４の処理を行う。次に、複合機１００のＸＭＰＰ通信制御部３０４はＳ１３０５にて無線ダイレクト機能開始結果を複合機管理サービス５１０に応答する。Ｓ１３０４は、Ｓ６００５に対応する。

　（実施形態２）
　実施形態１では、モバイル端末５０１の対話エージェントが行う出力を、テキストによる画面表示、または、音声による出力、どちらで指定することも可能であった。しかし、出力データにＰＡＳＳＷＯＲＤのような機密データが含まれる場合、音声による出力を避けたいケースがあった。実施形態２はこの点を考慮した実施形態である。

　図１４は実施形態２における無線ダイレクト機能開始応答６０５のデータ例である。ｒｅｓｕｌｔには無線ダイレクト機能開始結果が格納される。本実施形態では成功を示すｓｕｃｃｅｓｓがセットされている。ｓｓｉｄには複合機１００のｓｓｉｄ情報が格納される。ｓｓｉｄには複合機１００のｓｓｉｄ情報が格納される。ｐａｓｓｗｏｒｄ（１４０１）には複合機１００のネットワークキー情報が格納される。また、さらに、これらの情報がセキュアな情報か否かを示すｓｅｃｕｒｅｄという情報もセットされる。本実施形態ではｐａｓｓｗｏｒｄが含まれるため、ｓｅｃｕｒｅｄ（１４０２）には“ｔｒｕｅ”がセットされる。

　本実施形態では、無線ダイレクト機能開始応答６０５はＸＭＰＰプロトコルを使用して複合機管理サービス５１０に送信される。Ｓ６００１乃至Ｓ６００４の処理の後、Ｓ６００５において６０５が発行される。

　図１５は実施形態２における複合機の無線ダイレクト機能開始応答６０６のデータ例である。６０６－１では無線ダイレクト機能の開始結果を自然言語で応答する。６０６－２では複合機１００のＳＳＩＤとＰＡＳＳＷＯＲＤとモバイル端末５０１の操作内容を自然言語で応答する。

　ここで、複合機管理サービス５１０は、Ｓ６００５で受け取った図１４の無線ダイレクト機能開始応答６０５を解析する。すると、１４０２のＳｅｃｕｒｅタグが発見される。そこで、受け取った６０５に関わる情報がセキュアであると判断する。そこで、モバイル端末５０１の対話エージェントへの出力方法を音声ではなくテキストによる画面出力だけにするためにｄｉｓｐｌａｙＴｅｘｔを指定する（図１５）。

　（実施形態３）
　実施形態２では、モバイル端末５０１の対話エージェントが行う出力を、６０５に機密データが含まれるか否かにより、テキストによる画面出力、音声による出力を自動的に決定する実施形態であった。実施形態３では、複合機１００が、対話エージェントによる出力方法を制御する設定を持ち、それに従って、複合機管理サービス５１０に指示を出す例である。

　図１６は実施形態３における複合機１００にて対話エージェント出力方法を設定する画面例である。本設定画面では、出力方法として、音声出力、文字出力それぞれを有効、無効に設定することができる。本設定画面は、複合機１００の操作部１０２に表示される。

　図１７は実施形態３における無線ダイレクト機能開始応答６０５のデータ例である。１７０１は図１６において文字出力のみ有効である場合のデータ例である。出力方法を示す“ｏｕｔｐｕｔ”には“ｄｉｓｐｌａｙＴｅｘｔ”のみセットされている。１７０２は図１６において音声出力のみ有効である場合のデータ例である。出力方法を示す“ｏｕｔｐｕｔ”には“ｓｐｅｅｃｈ”のみセットされている。１７０３は図１６において文字出力、音声出力、両方を有効にした場合のデータ例である。出力方法を示す“ｏｕｔｐｕｔ”には“ｄｉｓｐｌａｙＴｅｘｔ”と“ｓｐｅｅｃｈ”がセットされている。出力方法が“ｄｉｓｐｌａｙＴｅｘｔ”であれば表示がモバイル端末においてなされ、“ｓｐｅｅｃｈ”であれば、音声応答がモバイル端末においてなされる。

　つまり、図１６の１６０１のみがＯＮであれば、１７０２が、１６０２のみがＯＮであれば１７０１が、出力される。また、１６０１および１６０２の双方がＯＮであれば、１７０３が出力される。

　１７０１乃至１７０３は、図６のＳ６００５において複合機１００から複合機管理サービス５１０へ送信される。そして、さらに、５１１へ送信される。５１１は、５０１に１７０１乃至１７０３に従った処理をさせる。

　図１８は実施形態３における複合機管理サービス５１０の処理を示すフローチャートである。複合機管理サービス５１０は図１７で説明した無線ダイレクト機能開始応答６０５を受信すると、Ｓ１８０１にて、受信した開始応答６０５を解析する。次に、複合機管理サービス５１０はＳ１８０２にてレスポンスメッセージを生成する。図１７の例の場合、レスポンスメッセージは、具体的には“Ｐｒｉｎｔｅｒ１の無線ダイレクト機能を開始しました。モバイル端末の、設定－＞ＷｉＦｉから以下アクセスポイントに接続してください。ＳＳＩＤ：ＣａｎｏｎＰｒｉｎｔｅｒ　ＰＡＳＳＷＯＲＤ：１２３４５６７８９０“というメッセージになる。

　次に、複合機管理サービス５１０はＳ１８０３にて無線ダイレクト機能開始応答６０５に含まれる“ｏｕｔｐｕｔ”に“ｓｐｅｅｃｈ”が指定されているか否かを判断する。“ｏｕｔｐｕｔ”には出力手段が設定されている。“ｓｐｅｅｃｈ”が指定されている場合、Ｓ１８０４にてレスポンスメッセージの出力方法としてｓｐｅｅｃｈを設定する。これによりレスポンスメッセージにはｓｐｅｅｃｈが付加される。

　次に、複合機管理サービス５１０はＳ１８０５にて無線ダイレクト機能開始応答６０５に含まれる“ｏｕｔｐｕｔ”に“ｄｉｓｐｌａｙＴｅｘｔ”が指定されているか否かを判断する。“ｄｉｓｐｌａｙＴｅｘｔ”が指定されている場合、Ｓ１８０６にてレスポンスメッセージの出力方法としてｄｉｓｐｌａｙＴｅｘｔを設定する。これによりレスポンスメッセージにはｄｉｓｐｌａｙＴｅｘｔが付加される。

　次に、複合機管理サービス５１０はＳ１８０７にて生成したレスポンスメッセージを複合機の無線ダイレクト機能開始応答６０６として自然言語処理、字句解析サービス５１１に送信する。

　無線ダイレクト機能開始応答６０５を受信するたびごとに、図１８が実行される。図８の説明にも記載しているが、８０２，８０４は自然言語処理、字句解析サービス５１１で折り返して処理する。つまり、図６の、６０１，６０２の繰り返しの部分に対応する。８０６，８０７は、無線ダイレクト機能開始応答６０５を受信し、図１８が実行された結果、表示される。

　周辺機器の一例として、印刷機能を有する複合機１００、プリンタを示した。ただし、周辺機器は、レーザスマートフォンなどの通信機器でもよい。また、これらの通信機器と通信可能で、前記周辺機器の設定処理をする設定サービスの一例として、複合機管理サービス５１０を示した。設定情報の一例として、図７の７００２乃至７００５を示した。自然言語情報の一例として、図８の８０１乃至８０７を示した。なお、入力された自然言語情報の中から複合機１００に設定すべき所定の設定情報、を特定する。

　複合機１００に設定すべき所定の設定情報が自然言語情報のメッセージの中において特定できなかったことに応じて、特定できなかった設定情報を得るために、自然言語による応答を前記対話型エージェントプログラムに対して応答する。対話型エージェントプログラムの一例としては、自然言語処理、字句解析サービス５１１がある。

　応答した自然言語による応答が自然言語処理、字句解析サービス５１１において出力された後に、サービス５１１に対する自然言語情報の入力に基づく情報を取得する。

　そして、特定できなかった設定情報を、先ほどの入力に基づき取得した情報に基づいて識別する。これにより、特定された情報と、識別された情報とを複合機管理サービス５１０に対して入力する。

　サービス５１１は、所定の複数の設定情報が得られるまで、自然言語による応答をモバイル端末５０１に対して繰り返し送信する。所定の設定情報とは、印刷宛先を含む。所定の設定情報とは、無線通信に関する設定情報を含む。

　複合機管理サービス５１０に対して、特定された情報と、識別された情報とが入力されることに応じて、複合機１００内の無線アクセスポイントが通信可能となる。複合機１００内の無線アクセスポイントと通信するための情報をサービス５１１に対して出力してもよい。これらの処理は、システム内のＣＰＵすなわちコンピュータにより実行されうる。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　本願は、２０１７年１０月２６日提出の日本国特許出願特願２０１７－２０７４４０を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims

　周辺機器と通信可能で、前記周辺機器の設定処理をする設定サービスを有するシステムにおいて、
　入力された自然言語情報の中から前記周辺機器に設定すべき所定の設定情報を特定する特定手段と、
　前記周辺機器に設定すべき所定の設定情報が前記自然言語情報の中において特定できなかったことに応じて、前記特定できなかった設定情報を得るために、自然言語による応答を対話型エージェントプログラムに対して応答する応答手段と、
　前記応答手段が応答した自然言語による応答が前記対話型エージェントプログラムにおいて出力された後に、前記対話型エージェントプログラムに対する自然言語情報の入力に基づく情報を取得する取得手段、
　前記特定手段が特定できなかった設定情報を前記取得手段が取得した情報に基づいて識別する識別手段と、
　前記特定手段により特定された情報と、前記識別手段により識別された情報とを前記周辺機器の設定サービスに対して入力する入力手段
　を備えるシステム。
　前記応答手段は、所定の複数の設定情報が得られるまで、自然言語による応答を前記対話型エージェントプログラムに対して繰り返し送信する請求項１に記載のシステム。
　前記所定の設定情報とは、印刷宛先を含むことを特徴とする請求項１に記載のシステム。
　前記所定の設定情報とは、無線通信に関する設定情報であることを特徴とする請求項１に記載のシステム。
　前記設定サービスに対して、前記特定手段により特定された情報と、前記識別手段により識別された情報とを入力されることに応じて、前記周辺機器が有する無線アクセスポイントが通信可能となり、前記周辺機器が有する無線アクセスポイントと通信するための情報を前記対話型エージェントプログラムに対して出力する出力手段をさらに備える請求項４に記載のシステム。
　周辺機器と通信可能で、前記周辺機器の設定処理をする設定サービスを有するシステムを制御する方法において、
　入力された自然言語情報の中から前記周辺機器に設定すべき所定の設定情報を特定する特定工程と、
　前記周辺機器に設定すべき所定の設定情報が前記自然言語情報の中において特定できなかったことに応じて、前記特定できなかった設定情報を得るために、自然言語による応答を対話型エージェントプログラムに対して応答する応答工程と、
　前記応答工程が応答した自然言語による応答が前記対話型エージェントプログラムにおいて出力された後に、前記対話型エージェントプログラムに対する自然言語情報の入力に基づく情報を取得する取得工程、
　前記特定工程が特定できなかった設定情報を前記取得工程が取得した情報に基づいて識別する識別工程と、
　前記特定工程により特定された情報と、前記識別工程により識別された情報とを前記周辺機器の設定サービスに対して入力する入力工程
　を備えるシステムの制御方法。
　前記応答工程は、所定の複数の設定情報が得られるまで、自然言語による応答を前記対話型エージェントプログラムに対して繰り返し送信する請求項６に記載のシステムの制御方法。
　前記所定の設定情報とは、印刷宛先を含むことを特徴とする請求項７に記載のシステムの制御方法。
　前記所定の設定情報とは、無線通信に関する設定情報であることを特徴とする請求項７に記載のシステムの制御方法。
　前記設定サービスに対して、前記特定工程により特定された情報と、前記識別工程により識別された情報とを入力されることに応じて、前記周辺機器が有する無線アクセスポイントが通信可能となり、前記周辺機器が有する無線アクセスポイントと通信するための情報を前記対話型エージェントプログラムに対して出力する出力工程をさらに備える請求項９に記載のシステムの制御方法。
　請求項６に記載の方法をコンピュータに実行させる制御プログラム。