JP7080038B2 - 音声制御システム、制御方法及びプログラム - Google Patents

音声制御システム、制御方法及びプログラム Download PDF

Info

Publication number
JP7080038B2
JP7080038B2 JP2017223056A JP2017223056A JP7080038B2 JP 7080038 B2 JP7080038 B2 JP 7080038B2 JP 2017223056 A JP2017223056 A JP 2017223056A JP 2017223056 A JP2017223056 A JP 2017223056A JP 7080038 B2 JP7080038 B2 JP 7080038B2
Authority
JP
Japan
Prior art keywords
voice
output device
voice control
output
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017223056A
Other languages
English (en)
Other versions
JP2019095933A (ja
Inventor
丈智 成瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017223056A priority Critical patent/JP7080038B2/ja
Priority to US16/181,575 priority patent/US10937422B2/en
Publication of JP2019095933A publication Critical patent/JP2019095933A/ja
Application granted granted Critical
Publication of JP7080038B2 publication Critical patent/JP7080038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、音声制御デバイスを含む音声制御システム、制御方法及びプログラムに関する。
複数の印刷装置の中から画像形成を実行させる印刷装置を選択する技術が特許文献1に開示されている。
特開2017-10381号公報
しかしながら、特許文献1では、所定の複数の印刷装置の中から所望の印刷装置を選択するために、ユーザは印刷画面上での選択操作が必要であった。近年、様々な場面で印刷装置などの出力装置が使用されており、出力を実行させる出力装置の選択の操作性を更に向上させる技術が求められている。
本発明の目的は、このような従来の問題点を解決することにある。上記の点に鑑み、本発明は、出力装置の選択の操作性を向上させる音声制御システム、制御方法及びプログラムを提供することを目的とする。
上記課題を解決するため、本発明に係る音声制御システムは、音声指示を受け付ける音声制御デバイスを含み、音声指示により出力装置を制御可能な音声制御システムであって、前記音声制御デバイスにより受け付けた前記音声指示が出力装置に出力を実行させるための指示である場合、出力装置の候補を通知する第1の通知手段と、前記第1の通知手段による通知に応じて、前記音声制御デバイスにより、前記出力装置の候補から出力装置の指定を音声で受け付ける第1の受付手段と、前記第1の受付手段により受け付けた指定に対応する出力装置に前記音声指示に基づく印刷データの印刷を前記出力として実行させる制御手段と、を備え、前記出力装置において前記印刷データの印刷が完了したことに基づいて印刷完了通知が前記音声制御デバイスにより実施され、かつ、別の印刷データを用いた印刷が指示される前に追加部数の音声での指定を受け付ける受付処理が前記音声制御デバイスにより実施された場合、前記制御手段は、前記印刷データについて前記追加部数の印刷を前記出力装置に実行させることを特徴とする。
本発明によれば、出力装置の選択の操作性を向上させることができる。
システム構成図を示す図である。 音声制御デバイスのハードウェア構成を示す図である。 携帯端末、表示装置のハードウェア構成を示す図である。 通信装置のハードウェア構成を示す図である。 音声制御デバイスのセットアップに関わる画面を示す図である。 通信装置が表示する画面を示す図である。 印刷処理に関わるシーケンスを示す図である。 サーバのハードウェア構成を示す図である。 音声制御デバイスとサーバの処理を示すフローチャートである。 音声制御デバイスとサーバの処理を示すフローチャートである。 音声制御デバイスとサーバの処理を示すフローチャートである。 印刷処理に関わるシーケンスを示す図である。 音声制御デバイスの処理を示すフローチャートである。 音声制御デバイスの処理を示すフローチャートである。 印刷処理に関わるシーケンスを示す図である。 通信装置の処理を示すフローチャートである。 通信装置が表示する画面を示す図である。 通信装置が保持するテーブルを示す図である。 印刷と異なる処理に関わるシーケンスを示す図である。 音声制御デバイスの処理を示すフローチャートである。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
[第1実施形態]
図1に、本実施形態に係る音声制御システム構成図の一例を示す。本実施形態のシステムは、例えば、音声制御デバイス1001、携帯端末1002、表示装置1003、通信装置A10041、通信装置B10042、通信装置C10043、アクセスポイント(AP)1005、サーバ1006を含んで構成される。本システムは、音声制御デバイスにより受け付けた音声により、通信装置等を制御可能なシステムである。音声制御デバイス1001は、例えば、スマートスピーカである。携帯端末1002は、例えば、スマートフォン、ノートPC(Personal Computer)、タブレット端末、PDA(Personal Digital Assistant)等の任意の携帯端末である。なお、以下では、携帯端末1002はスマートフォンであるとして説明する。なお、本実施形態では、携帯端末1002としてデスクトップタイプのPCが用いられてもよい。そのため、携帯端末を端末装置と呼ぶこともある。表示装置1003は、例えば、デジタルテレビなどである。通信装置1004は、例えばプリンタであるが、複写機、ファクシミリ装置、デジタルカメラ等であってもよい。また、通信装置1004は、複写機能、FAX機能、印刷機能等の複数の機能を備える複合機であってもよい。つまり、通信装置1004は、印刷や表示等を行う出力装置であり、その出力形態は、印刷に限られない。なお、以下では、通信装置A10041、通信装置B10042、通信装置C10043は一般化して指し示すときには通信装置1004と表現する。通信装置1004は、印刷装置であれば、インクジェットプリンタ、フルカラーレーザービームプリンタ、モノクロプリンタ等のプリンタである。
音声制御デバイス1001~通信装置1004は、AP1005およびインターネットを介してサーバ1006に接続可能(通信可能)である。また、音声制御デバイス1001から通信装置1004は、AP1005を介して互いに接続可能(通信可能)である。また、図1では、音声制御デバイス1001、携帯端末1002、表示装置1003は、各1台ずつ示されているが、いずれの装置についても複数台が接続されていても良い。
[音声制御デバイス1001の構成]
図2は、音声制御デバイス1001のハードウェア構成図である。音声制御デバイス1001は、スピーカ102、CPU103、ROM104、マイクロフォン105、RAM106、外部記憶装置107、通信部108、近距離無線通信部109を有する。なお、図2乃至図4および図8に示すブロックは、例えば内部バスを用いて相互に接続される。また、CPUはCentral Processing Unitの、ROMはRead Only Memoryの、RAMはRandom Access Memoryの、頭字語である。なお、これらの構成は一例であり、各装置は、図示された以外のハードウェアを含んでもよい。また、図2乃至図4および図8における複数のブロックが1つのブロックにまとめられて実現されてもよいし、1つのブロックが2つ以上のブロックに分割されて実現されてもよい。すなわち、各装置は、後述するような処理を実行可能な範囲で任意の構成をとることができる。
スピーカ102は、後述する処理により音声を発する。CPU103は、システム制御部であり、音声制御デバイス1001の全体を制御する。ROM104は、CPU103が実行する制御プログラムやデータテーブル、組み込みOS(Operating System)プログラム等の固定データを格納する。本実施形態では、ROM104に格納されている各制御プログラムは、ROM104に格納されている組み込みOSの管理下で、スケジューリングやタスクスイッチ、割り込み処理等のソフトウェア実行制御を行うために用いられる。マイクロフォン105は、音声制御デバイスの周囲の音声を受信する。ユーザが発した音声を受信すると、音声は、マイクロフォン105を経由して電子データに変換され、RAM106に記憶される。例えば、ユーザが発した音声を受信するRAM106は、バックアップ電源を必要とするSRAM(Static RAM)等で構成される。なお、RAM106は、不図示のデータバックアップ用の一次電池によってデータが保持されるため、プログラム制御変数等のデータを揮発させずに格納することができる。また、音声制御デバイス1001の設定情報や管理データ等を格納するメモリエリアもRAM106に設けられている。また、RAM106は、CPU103の主メモリ及びワークメモリとしても用いられる。外部記憶装置107は、アプリケーションソフトウェアを記憶する。
通信部108は、所定の無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。例えば、通信部108は、AP1005に無線接続することができる。また、通信部108は、一時的に使用されるAPとして動作することもある。なお、AP1005は、例えば、無線LANルータ等の機器でありうる。本実施形態で使用される無線通信は、IEEE802.11規格シリーズに準拠した無線LANの無線通信方式に従って動作する能力を有してもよいし、他の無線通信方式に従って動作する能力を有してもよい。IEEE802.11規格シリーズとは、IEEE802.11aやIEEE802.11b等のように、IEEE802.11に属する一連の規格を含む。
近距離無線通信部109は、音声制御デバイス1001と一定の近距離範囲内に存在する他の装置と近距離無線通信を実行する。なお、近距離無線通信部109は、通信部108と異なる無線通信方式によって通信を行う。本実施形態では、近距離無線通信部110は、Bluetooth(登録商標)規格に従って動作するものとする。また、本実施形態では、通信部108を用いた無線通信の通信速度は、近距離無線通信部109を用いた近距離無線通信の通信速度よりも速い。また、本実施形態では、通信部108を用いた無線通信の通信距離は、近距離無線通信部109を用いた近距離無線通信の通信距離よりも長い。なお、後述する他の装置の通信部および近距離無線通信部も同様である。
[携帯端末1002及び表示装置1003の構成]
図3は、携帯端末1002、表示装置1003のハードウェア構成図である。携帯端末1002、表示装置1003は、一例として、入力インタフェース202、CPU203、ROM204、表示部205、RAM206、外部記憶装置207、通信部208、近距離無線通信部209を有する。なお、これらのブロックは、例えば内部バスを用いて相互に接続される。
CPU203は、システム制御部であり、装置の全体を制御する。RAM206は、例えばRAM106と同様に、バックアップ電源を必要とするDRAM(Dynamic RAM)等で構成される。RAM206は、CPU203の主メモリとワークメモリとしても用いられる。ROM204は、CPU203が実行する制御プログラムやデータテーブル、OSプログラム等の固定データを格納する。
通信部208は、上述の通信部108と同様の機能を有し、AP1005を介して他の装置と無線接続することができる。近距離無線通信部209は、近距離無線通信部109と同じ無線通信方式を用いて、近距離無線通信部109との間で近距離無線通信を行うことができる装置である。
本実施形態では、携帯端末1002と表示装置1003は別個の独立した装置として説明しているが、一体化されていても良い。つまり、例えば、携帯端末1002が表示装置1003として用いられても良い。また、携帯端末1002が音声制御デバイス1001として用いられても良い。その場合には、携帯端末1002は、例えばスピーカ102とマイクロフォン105の機能を兼ね備えた働きをする音声制御部210を有するようにしても良い。音声制御部210は、ユーザが音声で発した言語をマイクロフォンで受信し、CPU203で解析を行うことで音声を電子的な指示に変換することができる。例えば、ユーザが装置名を音声で発した場合、その音声データを受信して解析することで特定の装置のIDとして認識できる。また、RAM206に格納されている内容を人間が理解できる言語に変換してスピーカで音声として発することができる。例えば、RAM206に保持している装置のIDのリストを、人間が理解できる言語(名称など)に変換して音声で出力することができる。
[通信装置1004の構成]
図4は、通信装置1004のハードウェア構成図である。通信装置1004は、一例として、プリントエンジン402、通信部403、近距離無線通信部404、ROM405、RAM406、CPU407、表示部408、音声制御部409を備える。CPU407は、システム制御部であり、通信装置1004の全体を制御する。RAM406は、例えばRAM106と同様に、バックアップ電源を必要とするDRAM(Dynamic RAM)等で構成される。RAM406は、CPU407の主メモリとワークメモリとしても用いられる。ROM405は、CPU407が実行する制御プログラムやデータテーブル、OSプログラム等の固定データを格納する。通信部403は、上述の通信部108と同様の機能を有し、AP1005を介して他の装置と無線接続することができる。近距離無線通信部404は、近距離無線通信部109と同じ無線通信方式を用いて、近距離無線通信部109との間で近距離無線通信を行うことができる装置である。プリントエンジン402は、通信部403を介して受信した印刷ジョブに基づいて、インク等の記録剤を用いて紙等の記録媒体上に画像を形成し、印刷結果を出力する。表示部408は、ユーザからのデータ入力や動作指示を受付けるためのインタフェースであり、物理的なキーボードやボタン、タッチパネル等で構成される操作パネルを含む。
音声制御部409は、ユーザが音声で発した言語をマイクロフォンで受信し、CPU407で解析を行うことで音声を電子的な指示に変換することができる。例えば、ユーザが装置名を音声で発した場合、その音声データを受信して解析することで特定の装置のIDとして認識できる。また、RAM406に格納されている内容を人間が理解できる言語に変換してスピーカで音声として発することができる。例えば、RAM406に保持している装置のIDのリストを、人間が理解できる言語(名称など)に変換して音声で出力することができる。
[音声制御デバイス1001のセットアップ]
続いて、音声制御デバイス1001のセットアップについて説明する。なお、携帯端末1002が、音声制御デバイス1001のセットアップのために表示する画面の例を図5に示す。携帯端末1002は、予め音声制御デバイス用の管理アプリケーションをインストールしているものとする。
ユーザは、管理アプリケーションを起動することで画面501が携帯端末1002の表示部205に表示される。ここでユーザが画面501に記載されているメッセージに従って携帯端末1002の近距離無線通信部209(例えば、Bluetooth)を有効化する。音声制御デバイス1001が起動された場合、音声制御デバイス1001が特定の識別子を含むビーコンを発する。携帯端末1002は、管理アプリケーションを用いて音声制御デバイス1001が発するビーコンを発見した場合、画面503を表示する。画面503において「Yes」ボタンが押下された場合、携帯端末1002と音声制御デバイス1001が近距離無線接続を確立する。
携帯端末1002と音声制御デバイス1001間の近距離無線接続が確立された場合、画面504が携帯端末1002の表示部205に表示される。ここで、ユーザが、画面504の「Yes」ボタンを押下した場合、音声データが携帯端末1002から音声制御デバイス1001に近距離無線接続を介して送信され、音声制御デバイス1001のスピーカ102から音声が出力される。なお、携帯端末1002が音声制御デバイス1001に近距離無線接続を介して音声での通知指示を送信することで、音声制御デバイス1001のスピーカ102から音声が出力されても良い。ここで音声制御デバイス1001から音声が出力された場合、ユーザは画面504の次に表示される「テスト完了ボタン」を押下する音で画面505が携帯端末1002の表示部205に表示される。
ここで、ユーザは、音声制御デバイス1001を接続したいAPのSSIDとパスワードを画面505に入力し、接続ボタンを押下する。基本的には、ユーザは、画面505を使って携帯端末1002が通信部208を用いて無線接続しているAP1005のSSIDとパスワードを入力する。この処理により、携帯端末1002が近距離無線接続を介してSSIDとパスワードを音声制御デバイス1001に送信する。音声制御デバイス1001は、近距離無線接続を介して受信したSSIDとパスワードを使ってAP1005と無線接続を確立する。以上の処理により、音声制御デバイス1001と携帯端末1002がAP1005を介して(AP1005が構築するネットワークを介して)無線通信することが可能となる。
続いて、ユーザは、携帯端末1002に表示される画面506を使ってサーバ1006へログインするためのユーザIDとパスワードを入力する。なお、画面506において入力されたユーザIDとパスワードが近距離無線接続またはAP1005を介して携帯端末1002から音声制御デバイス1001に送信される。音声制御デバイス1001は、携帯端末1002から受信したユーザIDとパスワードを使ってサーバ1006にサインインする。この際、音声制御デバイス1001は、自らのMacアドレスも送信する。これにより、音声制御デバイス1001は、サーバ1006がユーザに提供するサービスを使用することが可能となる。つまり、サーバ1006は、音声制御デバイス1001のMacアドレスとユーザIDとを関連付けて管理する。ここで音声制御デバイス1001は、サーバ1006のアクセストークンを受信しても良い。
ユーザは、画面506に続いて表示される画面507を使って音声制御デバイス1001を使って制御したいデバイスを選択する。ここでは、ユーザが、表示装置1003と通信装置1004を選択したものとする。画面507に表示される装置は、携帯端末1002が、AP1005を介してデバイスを探索することで表示される。この際、デバイスの探索処理の結果として、携帯端末1002は、デバイス探索の際に各装置のMacアドレス、IPアドレスなどを取得している。そのため、画面507においてOKボタンが押下された場合、携帯端末1002は、各装置のMacアドレス、IPアドレスを音声制御デバイス1001に送信する。
なお、別の方法を用いて音声制御デバイス1001のセットアップが行われても良い。例えば、音声制御デバイス1001を起動した(またはセットアップモードを有効化した)場合、音声制御デバイス1001の通信部108がソフトウェアAPとして動作する。携帯端末1002は、例えば、画面501において「Bluetoothを使わずに接続」502が押下された場合、携帯端末1002は、画面508を表示する。ユーザは、画面508に表示された内容に従って携帯端末1002を操作する。このユーザ操作により、携帯端末1002は、通信部208を使って音声制御デバイス1001と無線接続を確立する。なお、携帯端末1002は、管理アプリケーションの指示に従って音声制御デバイス1001のソフトウェアAPとの無線接続を確立しても良い。つまり、ユーザの操作または管理アプリケーションの指示に従って、携帯端末1002の通信部208の接続先を、AP1005から音声制御デバイス1001の通信部108のソフトウェアAPに一時的に切り換える。そして携帯端末1002の通信部208と音声制御デバイス1001の通信部108間で無線接続が確立された場合、画面509が表示される。
なお、以降の処理として、携帯端末1002の通信部208と音声制御デバイス1001の通信部108間で確立された無線接続を介して、画面505に入力された情報が送信される。その後、携帯端末1002と音声制御デバイス1001は、AP1005を介して無線通信をするために、携帯端末1002は接続先をAP1005に切り替える。また、音声制御デバイス1001も、ソフトウェアAPを無効化し、通信部108を使ってAP1005と無線接続する。
上述したように音声制御デバイス1001は、音声制御デバイス1001が備えるアクセスポイントを介した無線通信により携帯端末1002と無線接続を確立する。この無線接続を用いて、音声制御デバイス1001は、外部のアクセスポイント1005に関する情報(SSID、パスワード等)を携帯端末1002から受信する1つ目の受信処理を実行可能である。さらに、音声制御デバイス1001は、近距離無線通信を介して携帯端末1002から、外部のアクセスポイント1005に関する情報(SSID、パスワード等)を受信する2つ目の受信処理を実行可能である。音声制御デバイス1001は、上述した2つの受信処理機能のうちいずれか一方のみの受信処理機能を備えていても良いし、両者の受信処理機能を備えていても良い。また、音声制御デバイス1001は、他の受信処理機能により、外部のアクセスポイント1005へ接続しても良い。
[サーバ1006への印刷装置1004のサインイン処理]
続いて、通信装置1004がサーバ1006にサインインするための処理について説明する。例えば、インターネットには、音声制御デバイス1001に対応するサーバ1006と、音声制御デバイス1001に対応しないサーバ1007が存在する。音声制御デバイス1001と通信装置1004が連携するためには、通信装置1004はサーバ1007ではなく、サーバ1006にサインインする必要がある。
そこで通信装置1004は、音声制御デバイス連携モードを備える。この音声制御デバイス連携モードが有効化された場合、通信装置1004は、自らが参加しているネットワークに対してデバイス探索を行い、音声制御デバイス1001を発見する。音声制御デバイス1001が発見されると、図6の画面601が通信装置1004の表示部408に表示される。ユーザが画面601において音声制御デバイス1001を選択してOKボタンを押下した場合、画面602が通信装置1004の表示部408に表示される。なお、デバイス探索により取得される情報には、例えば、音声制御デバイス1001に対応するサーバ1006のURLが含まれる。通信装置1004は、このURLを使用することでサーバ1006にサインインするための画面602を表示できる。通信装置1004は、画面602に入力された情報を使ってサーバ1006にサインインすることができる。以上の処理により、通信装置1004は、サーバ1006にサインインし、サーバ1006で管理されている画像データを扱うことが可能となる。また、通信装置1004がデバイス探索を行うことでサーバ1007に対応する音声制御デバイス1001が発見された場合、通信装置1004は、サーバ1007にサインインするための画面を表示する。
なお、通信装置1004がサーバ1006にサインインするための処理として別の処理が実施されても良く、別の処理の一例について説明する。まず、携帯端末1002が、サーバ1006へのサインインが完了している状態とする。例えば、ユーザは、上述した画面506を使ってサーバ1006へサインインしているものとする。そして、携帯端末1002がAP1005を介して通信装置1004を発見した場合、携帯端末1002は、通信装置1004の識別情報と登録ボタンを表示する。例えば、画面507の通信装置の隣に登録ボタンが表示されても良い。ここでユーザが登録ボタンを押下した場合、登録リクエストが携帯端末1002から通信装置1004に送信される。なお、この登録リクエストにはサーバ1006の宛先情報が含まれている。
通信装置1004は、登録リクエストを受けると通信装置1004の表示部408に通信装置1004の登録処理を実行するか否かの選択画面を表示する。ここで、ユーザが登録処理の実行を選択した場合、通信装置1004は、登録リクエストに含まれる宛先情報に従ってサーバ1006へ通信装置1004のMacアドレスを含む登録リクエストを送信する。そして、通信装置1004は、この登録リクエストに対するレスポンスをサーバ1006から受信する。なお、このレスポンスには通信装置1004の登録処理に関わるURLが含まれる。つまり、このURLは、通信装置1004の登録処理に関わる専用URLである。
通信装置1004は、サーバ1006から受信したレスポンスを携帯端末1002へ送信する。携帯端末1002は、受信したレスポンスに含まれるURLを使って登録リクエストをサーバ1006へ送信する。この登録リクエストには、既に携帯端末1002においてサーバ1006にサインインするために入力されたユーザIDおよびパスワードも含まれる。この登録リクエストを受信したサーバ1006は、正しいユーザIDとパスワードを受信した場合、登録リクエストが成功したことを示すレスポンスを携帯端末1002へ送信する。つまり、サーバ1006は、通信装置1004の登録処理に関わる専用URLを使って登録リクエストを受信するので、この時点で携帯端末1002にサインインしたユーザ用の印刷装置として通信装置1004を仮登録する。そして、サーバ1006は、ユーザIDと通信装置1004のMacアドレスとを関連付けて管理する。携帯端末1002は、登録が完了したことを示す完了情報を通信装置1004へ送信する。通信装置1004は、完了情報を受信した場合、通信装置1004のMacアドレスを含む登録リクエストをサーバ1006へ送信する。サーバ1006は、通信装置1004が仮登録状態であることを識別し、登録完了レスポンスを返す。
以上の処理により、サーバ1006は、携帯端末1002にサインインしたユーザ用の印刷装置として通信装置1004を本登録する。通信装置1004は、登録完了レスポンスをサーバ1006から受信した場合、登録完了を示す情報を携帯端末1002へ送信する。以上の処理により、通信装置1004がサーバ1006で管理されている画像データを扱うことが可能となっても良い。
[印刷指示の処理フロー]
図7は、音声制御デバイス1001が、ユーザから発せられた音声による印刷指示によって通信装置1004を選択してから印刷処理を実行する処理を説明するシーケンス図である。なお、表示装置1003も既にサーバ1006にサインインしているものとする。また、後述する写真Aに対応する画像データは、サーバ1006によりユーザ用に保存されているとする。
ユーザは、音声制御デバイス1001の近辺で、まずは予め決められているキーワードであるウェイクワードを話し、ユーザ自身が行いたいことを話す。例えば、ユーザは、ウェイクワードに続いて「写真Aを表示して」と話す。
音声制御デバイス1001は、ウェイクワードの音声を受信することで、続いて話される音声を受信する。つまり、音声制御デバイス1001は「写真Aを表示して」という音声を受信する。音声制御デバイス1001は、音声制御デバイス1001の識別情報(例えば、Macアドレス等)と受信した音声に基づく音声データをサーバ1006へ送信する(処理701)。
サーバ1006は、音声制御デバイス1001のMacアドレスから、当該Macアドレスに関連づけられているユーザIDを特定することで、音声制御デバイス1001がサインイン済みのデバイスであることを認識する。また、上述したアクセストークンが使用されても良い。そして、サーバ1006は、音声制御デバイス1001から送信された音声データを解析し、音声データに基づく制御コマンドを生成し(処理702)、音声制御デバイス1001に送信する(処理703)。なお、この制御コマンドには、実行すべき処理内容として表示処理コマンドと、表示対象となる写真Aに対応する画像データの保存場所を示す情報が含まれている。
音声制御デバイス1001は、サーバ1006から受信した制御コマンドの送信対象を選択する。ここでは、ユーザからの要求として、ユーザは「写真Aを表示して」と話しているため、音声制御デバイス1001は、表示装置1003を送信先として選択する。音声制御デバイス1001は、選択された表示装置1003に制御コマンドを送信する(処理704)。なお、音声制御デバイス1001は、サーバ1006から受信した制御コマンドを処理704にて送信しているが、別のコマンドを送信しても良い。つまり、音声制御デバイス1001が、処理703において受信した制御コマンドに基づいて別のコマンドを生成し、その生成された別のコマンドを表示装置1003に送信しても良い。以降においても、音声制御デバイス1001が制御コマンドを送信する処理が記載されているが(例えば、図10の処理704等)、同様に制御コマンドに基づいて生成された別のコマンドが送信されても良い。その場合、コマンドを受けた装置は、その別のコマンドに従った処理を実行可能である。
表示装置1003は、制御コマンドに従った処理を実行する。表示装置1003は、まず制御コマンドに含まれる保存場所にアクセスし、保存場所から写真Aに対応する画像データを取得する(処理705)。そして、表示装置1003は、写真Aに対応する画像データAを表示する(処理706)。なお、表示装置1003は、制御コマンドに写真Aに対応するURLが含まれる場合、そのURLにアクセスすることで写真Aを含むWebページを表示しても良い。
続いて、ユーザは、音声制御デバイス1001の近辺で、まずウェイクワードを話し、ユーザ自身が行いたいことを話す。例えば、ユーザは、ウェイクワードに続いて「表示装置1003に表示されている写真Aを印刷して」と話す。
音声制御デバイス1001は、ウェイクワードの音声を受信することで、続いて話されるワードを受信する。つまり、音声制御デバイス1001は「表示装置1003に表示されている写真Aを印刷して」という音声を受信することで、音声で印刷指示を受け付ける。音声制御デバイス1001は、音声データをサーバ1006へ送信する(処理707)。なお、基本的な処理は処理701と同じである。
ユーザの音声に通信装置1004を指定する指示が含まれていた場合は、通信装置選択(処理708)でユーザが所望する通信装置を選択することになる。例えば「表示装置1003に表示されている写真Aを通信装置B10042で印刷して」という音声データを受信した場合は通信装置選択(処理708)で通信装置10042を選択するように制御される。また、ユーザの音声に通信装置1004を指定する指示が含まれていない場合でも、印刷するためには何らかの通信装置を選択しなければならない。その選択の方法については図9を用いて後述する。
サーバ1006は、音声制御デバイス1001から送信された音声データを解析し、音声データに基づく処理を実行する。ここでは、サーバ1006は、「表示装置1003に表示されている写真Aを印刷して」という音声の音声データを受信しているため、写真Aに対応する画像データに基づいて印刷データを生成する(処理709)。なお、処理709として、サーバ1006とは異なる別のサーバが印刷データを生成しても良い。例えば、通信装置1004の製造元が、印刷データを生成するソフトウェアを備えた印刷サーバを提供する。そして、サーバ1006は、印刷サーバに印刷データの生成を依頼し、印刷サーバが印刷データを生成しても良い。
サーバ1006は、印刷データの生成が完了すると、印刷データの生成が完了したことを示す通知を通信装置1004へ送信する(処理710)。通信装置1004は、印刷データの生成が完了したことを示す通知を受信した場合、サーバ1006にアクセスし、印刷データを取得して(処理711)、印刷を実行する(処理712)。
通信装置1004は、印刷処理が完了すると印刷完了通知をサーバ1006へ送信し(処理713)、サーバ1006は、印刷完了通知を音声制御デバイス1001へ送信する(処理714)。音声制御デバイス1001は、印刷完了通知を受信した場合、音声にて印刷完了を通知する(処理715)。
また、印刷完了が通知された後であり、かつ、別の印刷データを使った印刷が指示される前に、ユーザが、音声制御デバイス1001の近辺で、まずウェイクワードを話し、ユーザ自身が行いたいことを話す。例えば、ユーザは、ウェイクワードに続いて「もう1枚」や「追加で3部印刷」のように部数の追加指示を話す。
この部数の追加指示を受けた音声制御デバイス1001は、処理707で送信された音声データを再度送信しても良い。その際、「もう1枚」や「追加で3部印刷」に対応する音声データも合わせて送信される。サーバ1006は、この2つの音声データを受信することで、処理709と同様の印刷データ生成処理を行う。そして、サーバ1006は、部数について、新規のリクエストの音声データに基づいて設定する。この処理により、ユーザは容易に同じ画像データを使った再印刷を指示できる。
さらに、印刷完了が通知された後であり、かつ、別の印刷データを使った印刷が指示される前に、ユーザが、音声制御デバイス1001の近辺で、まずウェイクワードを話し、ユーザ自身が行いたいことを話す。例えば、ユーザは、ウェイクワードに続いて「もっと大きい用紙に印刷して」と話す。この指示を受けて音声制御デバイス1001は、処理707で送信された音声データを再度送信しても良い。その際、「もっと大きいサイズに印刷して」に対応する音声データも合わせて送信される。サーバ1006は、この2つの音声データを受信することで、処理709と同様の印刷データ生成処理を行う。そして、サーバ1006は、用紙サイズについて、新規のリクエストの音声データに基づいて設定する。この処理により、ユーザは、同じ画像データを異なるサイズの用紙に印刷することを容易に指示できる。なお、後述するように別の装置、例えば音声制御デバイス1001や表示装置1003が印刷データを生成する場合は、印刷データを生成する装置が、同様の処理を行っても良い。
また、ユーザは「同じデータを通信装置C10043で印刷して」と話すと、印刷データはそのままで、通信装置だけを変更することが出来る。この指示を受けて音声制御デバイス1001は、処理707で送信された音声データを再度送信しても良い。その際、「同じデータを通信装置C10043で印刷して」に対応する音声データも合わせて送信される。サーバ1006は、この2つの音声データを受信することで、印刷データの生成が完了したことを示す通知を通信装置C10043へ送信する。この処理により、ユーザは、同じ画像データを異なる通信装置で印刷することを容易に指示できる。
[サーバ1006の構成]
図8は、サーバ1006のハードウェア構成図である。サーバ1006は、CPU801、ROM802、RAM803、外部記憶装置804、通信部805を有する。CPU801は、システム制御部であり、サーバ1006の全体を制御する。なお、本実施形態では、サーバ1006が1台で構成されているが、複数台の情報処理装置が連携して動作することでサーバ1006に対応するサーバシステムを構築しても良い。ROM802は、CPU801が実行する制御プログラムやデータテーブル、組み込みOS(Operating System)プログラム等の固定データを格納する。RAM106は、不図示のデータバックアップ用の一次電池によってデータが保持されるため、プログラム制御変数等のデータを揮発させずに格納することができる。外部記憶装置804は、アプリケーションソフトウェアを記憶する。なお、図7では、上述したようにサーバ1006が印刷データを生成する。そのため、サーバ1006の外部記憶装置804は、通信装置1004が解釈可能な印刷データを生成する印刷ソフトウェアを記憶する。通信部805は、所定の無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。
[音声制御デバイス1001とサーバ1006の処理の詳細]
次に図9を用いて音声制御デバイス1001とサーバ1006の処理を説明する。図9のフローチャートは、図7の処理707~715に対応する。図10と図11はそれぞれS903のサブフローの実施形態の別の例を表している。なお、CPU103がフローチャートの処理に関わるプログラムをROM104等のメモリから読みだして実行することで音声制御デバイス1001の処理が実行される。一方、CPU801がフローチャートの処理に関わるプログラムをROM802等のメモリから読みだして実行することでサーバ1006の処理が実行される。
CPU103は、音声制御デバイス1001の周辺でユーザにより発せられた言葉(音声)を入力し(S901)、入力した音声に基づいて音声データを生成する。そして、音声データが音声制御デバイス1001からサーバ1006へ送信される(S902)。CPU801は、音声データを受信すると音声データを解析し、ユーザのリクエストを特定する。続いて、通信装置選択処理S903が実行される。S903については図10を使って詳細に説明する。図10のS914では、CPU801が、音声データで通信装置1004が指定されているかを解析する。例えば、「表示装置1003に表示されている写真Aを印刷して」という音声であれば、通信装置1004は指定されていないので、S915に進む。一方、例えば、「表示装置1003に表示されている写真Aを通信装置B10042で印刷して」という音声であれば、通信装置1004は指定されているので、S921に進む。S921では、CPU801は、印刷すべき通信装置1004を決定し、図9のS903を終了する。
S915では、CPU801は、サーバ1006が通信装置リストを持っているかを判定する。通信装置リストとは、サーバ1006が印刷指示を送信可能な通信装置1004のリストである。例えば、同一のAPに接続されている通信装置1004が通信装置リストに追加される。同一のAP上でなくても、ネットワーク経由で通信できる場合は、通信可能な通信装置1004が通信装置リストに追加されるようにしてもよい。サーバ1006が通信装置リストを持っている場合は、CPU801は、通信装置リストを音声制御デバイス1001に送信してS919に進み、持っていない場合はS916に進む。
S916では、CPU801は、サーバ1006が通信装置1004を検出できるかを判定する。検出方式としては、例えば、サーバ1006が、デバイス探索をポーリングやブロードキャスト信号を用いて実行することで、それに応答を返してきた通信装置1004を通信装置リストに加える方式が用いられても良い。また、別の検出方式として、同一のAP上に存在する通信装置1004に対してケーパビリティを問い合わせ、所定の印刷能力を保持する装置を通信装置リストに加える方式が用いられても良い。サーバ1006で通信装置リストを作成できない場合は、S917に進んで音声制御デバイス1001で通信装置リストを作成する。
S917では、CPU103は、例えば、デバイス探索をすることにより通信可能な通信装置1004の情報を取得して通信装置リストを作成する。その場合、CPU103は、音声制御デバイス1001に対応するサーバ1006のURLを、デバイス探索で発見された通信装置1004に送信し、サーバ1006へのサインインを促すようにしても良い。サーバ1006で通信装置リストを作成できる場合は、S918に進んでCPU801は通信装置リストを作成し、音声制御デバイス1001に送信する。
S919では、CPU103は、サーバ1006で作成された通信装置リスト、もしくはS917で作成した通信装置リストに記載されている通信装置1004を音声出力する。例えば「印刷可能な通信装置は通信装置A、通信装置B、通信装置Cがあります。」と音声出力する。それに対して、ユーザは所望の通信装置名を音声で入力する。CPU103は受信した音声データをサーバ1006に送信する。CPU801は、受信した音声データを解析し、ユーザが所望する通信装置1004が決定できたならばS921に進む。タイムアウト等、何らかの要因で通信装置1004が決定できない場合は、S919をリトライしてもよい。
S919で音声制御デバイス1001が通信装置名を音声出力する際に、通信装置1004に対してUI表示を行うように命令を送付してもよい。例えば、音声制御デバイス1001が「通信装置A」と音声出力するときに、通信装置Aの表示部1003に「通信装置Aです。通信装置選択の候補です。」と表示すると、ユーザはこれから印刷する装置を目視で確認することができるため、選択を間違える可能性を低減できる。なお、図10の処理において、S915においてリストに含まれる通信装置が1台である場合、または、S916において検出された通信装置が1台である場合は、S917、S919、S920をスキップしてS921が実行されても良い。
S903の通信装置選択の別フローを図11で説明する。S923ではCPU801は印刷設定を分析する。印刷設定とは、例えば、用紙サイズ、用紙種別、データフォーマット、カラー/モノクロ設定、解像度、である。S924では、CPU801は、サーバ1006が保持する通信装置リストにリストアップされている通信装置1004のケーパビリティを取得する。S925では、CPU801は、S923で分析した印刷設定とS924で取得したケーパビリティとを比較して、印刷可能な通信装置1004を絞り込んでリストアップする。
S926では、CPU801は、通信装置1004の自動選択モードであるかを判定する。ここで、通信装置1004の自動選択モードとは、印刷時にユーザが通信装置1004を明示的に選択しなかった場合は、システムが適当な通信装置1004を自動的に選択するかについての設定である。通信装置104の自動選択モードは印刷ジョブで設定されても良いし、サーバ1006の設定値でも良いし、音声制御デバイス1001の設定値でも良い。通信装置1004の自動選択モードが「自動選択」の場合はS923で分析した印刷設定とS924で取得したケーパビリティとから自動的に通信装置を選択する。S923で分析した印刷設定とS924で取得したケーパビリティとが一致する通信装置が複数ある場合は、例えば、音声指示された音声制御デバイス1001の位置から最も近い位置にある通信装置1004を選択するようにしても良い。通信装置1004の自動選択モードが「ユーザ選択」の場合は、CPU801は、通信装置リストを音声制御デバイス1001に送信してS927に進む。
S927では、CPU103は、通信装置リストに記載されている候補の通信装置1004を音声出力し、ユーザに選択をさせる。ユーザから選択された通信装置の情報は、サーバ1006に送信される。S928では、CPU801は、通信装置の自動選択モードにより選択された通信装置もしくは、S927でユーザにより選択された通信装置を、印刷を行う通信装置として決定し、本フローを終了する。
再び、図9を参照する。S903を経て印刷を行う通信装置1004を決定し、S904では、CPU801は、S903で決定した通信装置1004がアクティブであるかを判断する。例えば、インク切れであったり、電源が入れられていなかったり、用紙切れであったり、というような場合は、CPU801は、決定された通信装置1004はアクティブではないと判断する。そして、CPU801は、その旨を音声制御デバイス1001に通知し、S905に進む。S905では、音声制御デバイス1001は通信装置1004がアクティブではないので印刷ジョブを実行できない旨を音声出力して本フローを終了する。
別の例として、アクティブではない通信装置1004を選択した場合は再度S903に戻って通信装置1004を選択しなおしても良い。通信装置1004がアクティブだった場合はS906に進み、印刷の準備を開始する。この時、CPU801は、印刷ジョブの設定を読み込んで、設定内容に不備が無いかをチェックする。不備がある場合は、CPU801は、その旨を音声制御デバイス1001に通知し、S907で、CPU103は、ユーザが不足している設定内容を補完する。例えば、カラーモードの設定がなかった場合は「カラーで印刷しますか?モノクロで印刷しますか?」というように、音声制御デバイス1001は通信装置1004の能力を考慮して設定値を問い合わせる。ユーザはそれに対して音声で返答を行う。また、別の例として、表示装置1003に設定内容の不備を表示してユーザに入力させても良い。CPU103は、ユーザからの返答として受け付けた設定内容を設定値としてサーバ1006に送信する。
S908では、CPU801は、通信装置1004の印刷準備が完了したかをチェックし、完了したならばその旨を音声制御デバイス1001に通知してS909に進む。S909では、CPU103はその旨をユーザに音声で通知する。一定時間以内に印刷準備ができなかったり、設定の不備などがあったりした場合は、S913で、CPU801は、その旨を音声制御デバイス1001で出力させ、再度S903に戻る。サーバ1006は、「表示装置1003に表示されている写真Aを印刷して」というユーザリクエストに対応した音声データを受信してから前述までのフローで、印刷を行うべき通信装置は選択できている。CPU801は、表示装置1003に表示されている写真Aに対応する画像データを特定し、その画像データに基づいて印刷データを生成する(S910)。なお、S910の印刷データの生成の際に使用される印刷設定情報は、S901でユーザが音声で指定したものでも良く、また音声制御デバイス1001が保持している印刷設定でもよく、サーバ1006を使った印刷用に予め設定されている印刷設定情報でも良い。また、S909と並行して、S910以降の処理が実行されても良い。
CPU801は、選択したプリンタ(通信装置1004)に対して印刷データの生成が完了したことを示す通知を通信装置1004へ送信する(S911)。通信装置1004は、S911の通知を受けることでサーバ1006から印刷データを取得して印刷処理を実行する。その後、CPU801は、通信装置1004から印刷完了通知を受信したか否かを判定する(S912)。S912において通信装置1004から印刷完了通知を受信した場合、CPU801は、印刷指示元である音声制御デバイス1001に印刷完了通知を送信する。CPU103は、印刷完了通知を受信した場合、音声にて印刷完了を通知する。具体的には、CPU103は、印刷完了通知を音声に変換し、スピーカ102を用いて印刷完了を音声で出力する(S913)。
以上の処理により、ユーザは、簡易な操作で所望の写真を所望のプリンタで印刷することが可能となる。
以上では、印刷出力を行う通信装置1004を音声により選択する処理を説明したが、他の出力動作、例えば、FAX出力を行う通信装置1004を音声により選択する処理にも適用しても良い。その場合、図7の処理709では、サーバ1006は、FAX送信用のデータを生成し、処理711では、通信装置1004は、FAX送信用データを取得する。そして、通信装置1004は、処理712でFAX送信を行うと、処理713でFAX送信の完了をサーバ1006に通知する。処理714でサーバ1006がFAX送信の完了を音声制御デバイス1001に通知すると、音声制御デバイス1001は、処理715でFAX送信の完了を音声で出力する。
図7および図8では、サーバ1006からの印刷データの生成が完了したことを示す通知を使って通信装置1004が印刷する例について説明した。図12では、音声制御デバイス1001が印刷データを生成する例について説明する。
図12は、印刷処理を説明するシーケンス図である。なお、処理701~706は図7と同じであるため詳細な説明は省略する。また、図12および図13では音声制御デバイス1001が印刷データを生成する。そのため、本実施形態では、音声制御デバイス1001の外部記憶装置107は、通信装置1004が解釈可能な印刷データを生成する印刷ソフトウェア、通信に必要な情報等を記憶する。
音声制御デバイス1001は、ウェイクワードの音声を受信することで、続いて話されるワードを受信する。つまり、音声制御デバイス1001は「表示装置1003に表示されている写真Aを印刷して」という音声を受信する。音声制御デバイス1001は、音声データをサーバ1006へ送信する(処理1001)。
サーバ1006は、音声制御デバイス1001から送信された音声データを解析し、音声データに基づく処理を実行する。サーバ1006は、「表示装置1003に表示されている写真Aを印刷して」という音声の音声データを受信している。そのため、サーバ1006は、写真Aに対応する画像データを印刷するための制御コマンドを生成する(処理1002)。
サーバ1006は、処理1002で生成された制御コマンドを音声制御デバイス1001に送信する(処理1003)。画像制御デバイス1001は通信装置選択(処理1004)を実施する。音声制御デバイス1001は、制御コマンドに従った処理を実行する。写真Aに対応する画像データを取得して印刷する指示が制御コマンドに含まれているため、音声制御デバイス1001は、サーバ1006から写真Aに対応する画像データを取得する(処理1005)。
音声制御デバイス1001は、取得した画像データと印刷設定情報に基づいて印刷データを生成する(処理1006)。処理1006で使用される印刷設定情報は、例えば、予め音声制御デバイス1001に保持される印刷ソフトウェアに設定されている。若しくは、サーバ1006で保持される印刷設定情報を取得して使用するようにしても良い。
音声制御デバイス1001は、処理1006で生成した印刷データを通信装置1004へ送信する(処理1007)。通信装置1004は、印刷データに基づく印刷処理が完了すると(処理1008)、印刷完了通知を音声制御デバイス1001に送信する(処理1009)。音声制御デバイス1001は、印刷完了通知を受信した場合、音声にて印刷完了を通知する(処理1010)。
次に図13を用いて音声制御デバイス1001の処理を説明する。図11のフローチャートは、図12の処理1001~1010に対応する。なお、図13のS1101~S1102は、図9のS901~S902と同じ処理であるため詳細な説明は省略する。
CPU103は、サーバ1006から制御コマンドを受信する(S1103)。CPU103は、受信した制御コマンドを解析し、次に実行すべき処理を特定する。制御コマンドに写真Aの画像データを取得する指示と、画像データの印刷指示が含まれている。印刷指示を受けると、通信装置1004を選択するフローになる(S1104)。
S1104のサブフローは図14のS1109から始まり、S1110では音声で通信装置1004が指定されているかを判定する。S1110はS914と同様なので説明を省略する。S1111では、音声制御デバイス1001は通信装置リストを持っているかを判定する。S1111はS915と同様なので説明を省略する。
S1112はS917と同様なので説明を省略する。また、S1113はS926と同様なので説明を省略する。S1114、S1115、S1116はS919、S920、S921と同様なので説明を省略する。図14のフローを経て、印刷をすべき通信装置1004を選択することができる。
CPU103は、サーバ1006から画像データを取得し、印刷データを生成する(S1105)。なお、S1105では、音声制御デバイス1001で予め設定されている印刷設定情報を使って印刷データが生成される。
CPU103は、印刷データをS1104において選択された通信装置(本実施形態では通信装置1004)へ送信する(S1106)。CPU103は、印刷完了通知を受信したか否かを判定し(S1107)、印刷完了通知を受信した場合、印刷が完了したことを音声にて通知する(S1108)。なお、上述した図5の画面507を介した指示に従って、音声制御デバイス1001の制御対象となる装置として通信装置1004が登録されている場合、S1104が省略されても良い。
以上の処理により、ユーザは、簡易な操作で所望の写真を所望の通信装置を用いて印刷することが可能となる。また、サーバ1006の負荷を軽減することも可能となる。
続いて、表示装置1003が印刷データを生成する例について説明する。
図15は、印刷処理を説明するシーケンス図である。なお、処理701~706は図7と同じであるため詳細な説明は省略する。また処理1201~1203は、図12の処理1001~1003と同じ処理であり、処理1207~1209は、図12の処理1007-1009と同じ処理であるため詳細な説明は省略する。また、図15の処理では、表示装置1003が印刷データを生成する。そのため表示装置1003の外部記憶装置207は、通信装置1004が解釈可能な印刷データを生成する印刷ソフトウェア、通信に必要な情報等を記憶する。
音声制御デバイス1001は、制御コマンドに従った処理を実行する。ここでは、写真Aに対応する画像データを取得して印刷する指示が制御コマンドに含まれている。図15では、表示装置1003が印刷データを生成する。そのため音声制御デバイス1001は、表示装置1003に制御コマンドを送信する(処理1204)。
表示装置1003は、受信した制御コマンドに従った処理を実行する。表示装置1003は、表示用に画像データを既に取得しているため、既に取得すみの画像データに基づいて印刷データを生成する(処理1205)。処理1205で使用される印刷設定情報は、予め表示装置1003に保持される印刷ソフトウェアに設定されている。この際、表示装置1003は、表示部に印刷設定情報を表示しても良い。表示装置1003は、処理1205で生成した印刷データを通信装置1004へ送信する(処理1206)。なお、S1206の送信にあたり、図14に記載された処理により通信装置が選択されても良い。
以上の処理により、ユーザは、簡易な操作で所望の写真を印刷することが可能となる。また、サーバ1006および音声制御デバイス1001の負荷を軽減することも可能となる。
続いて、通信装置1004が、音声制御デバイス1001に入力された音声の印刷指示に従って印刷処理を実行するセットアップ処理について説明する。
まず、様々なタイプの音声制御デバイス1001について一例を挙げて説明する。例えば、A社の音声制御デバイス1001を使って印刷する場合、音声制御デバイス1001に対応するサーバAが印刷データを生成する。また、通信装置1004は、サーバAにアクセスするためのユーザIDとパスワードを設定する画面を表示可能とする。
B社の音声制御デバイス1001を使って印刷する場合、音声制御デバイス1001に対応するサーバBが印刷データを生成する。また、通信装置1004は、サーバBにアクセスするための招待ページを印刷するとする。C社の音声制御デバイス1001を使って印刷する場合、音声制御デバイス1001に対応するサーバCが印刷データを生成する。また、通信装置1004がサーバCにアクセスするための操作を携帯端末1002が受け付けるものとする。
D社の音声制御デバイス1001を使って印刷する場合、音声制御デバイス1001が印刷データを生成する。つまり、サーバ連携は不要である。E社の音声制御デバイス1001を使って印刷する場合、音声制御デバイス1001に対応するサーバEが印刷データを生成する。また、通信装置1004は、サーバEにアクセスするためのユーザIDとパスワードを設定する画面を表示可能とする。なお、以上の特徴をまとめた図18のテーブルを通信装置1004が保持する。なお、音声制御デバイス1001のメーカによってウェイクワードは異なる。
次に図16を用いて通信装置1004の処理を説明する。まずユーザが音声制御デバイス1001と通信装置1004との連携を指示した場合、CPU407は、連携対象となる音声制御デバイス1001の選択画面1401を表示する(S1301)。なお、図17は、通信装置1004のセットアップに関わる画面の例を示す。
CPU407は、選択画面1401において選択された音声制御デバイス1001に基づいてサーバ連携が必要か否かを判定する(S1302)。例えば、通信装置1004は、図18のテーブルを使ってS1302の判定を行う。つまり、A~C社の音声制御デバイス1001が選択された場合、CPU407は、S1302においてYesと判定する。一方、D社の音声制御デバイス1001が選択された場合、CPU407は、Noと判定する。S1302においてNoと判定された場合、CPU407の処理は後述するS1306へ移る。
S1302においてYesと判定された場合、CPU407は、通信装置1004の操作パネルでサインインを実行するか否かを判定する(S1303)。A社またはE社の音声制御デバイス1001が選択された場合、CPU407は、S1303においてYesと判定する。一方、B~C社の音声制御デバイス1001が選択された場合、CPU407は、S1303においてNoと判定する。
S1303においてYesと判定された場合、CPU407は、操作パネルにサインイン画面を表示し(S1304)、サインイン画面にて入力されたユーザIDおよびパスワードを使ってサーバ1006へアクセスする(S1305)。この際、A社の音声制御デバイス1001が選択された場合、S1304においてサインイン画面1402が表示される。一方、E社の音声制御デバイス1001が選択された場合、S1304においてサインイン画面1405が表示される。
一方、S1303においてNoと判定された場合、CPU407は、招待ページを印刷するか否かを判定する(S1307)。B社の音声制御デバイス1001が選択された場合、CPU407は、S1307においてYesと判定する。一方、C社の音声制御デバイス1001が選択された場合、CPU407は、S1307においてNoと判定する。
S1307においてYesと判定された場合、CPU407は、招待ページを印刷することを示す画面1403を表示する。そして画面1403のOKボタンが押下された場合、CPU407は、招待ページを印刷する(S1308)。その場合、CPU407は、招待ページの印刷要求と通信装置1004のMacアドレスとをサーバBに送信すると、サーバBから招待ページの印刷データを受信する。そして、CPU407は、受信した印刷データに基づいて印刷処理を実行する。
なお、印刷された招待ページには通信装置1004の登録処理に関わる専用URLが印刷されている。よって、ユーザは、招待ページのURLを携帯端末1002等に入力することで、通信装置1004用のサインイン画面が携帯端末1002に表示される。ユーザは、携帯端末1002に表示された通信装置1004用のサインイン画面にユーザIDとパスワードを入力してサーバBに送信する。サーバBは、通信装置1004用のサインイン画面から受信したユーザIDとパスワードに基づいてサインイン処理を実行する。この処理が成功した場合、サーバBは、通信装置1004用のサインイン画面から受信したユーザIDと通信装置1004のMacアドレスを関連付けて管理する。そしてサーバBが、通信装置1004にサインインが成功したことを通知すると共にユーザIDとパスワードを通信装置1004に送信する。以上の処理により、CPU407は、S1308の処理後にS1305においてサーバBにアクセスする(S1305)。
S1307においてNoと判定された場合、CPU407は、携帯端末1002を使って関連付けを実行することを示すメッセージ1404を表示する(S1309)。つまり、C社の音声制御デバイス1001が選択された場合、S1309が実行される。なお、S1309の処理は、上述した通信装置1004がサーバ1006にサインインするための処理における別の処理に相当するため、詳細な説明は省略する。以上の処理により、CPU407は、S1309の処理後にS1305においてサーバCにアクセスする(S1305)その後、CPU407は、S1305の後に音声制御デバイス1001と連携するための設定処理を実行する(S1306)。
通信装置1004が音声制御デバイス1001と連携するための設定処理について説明する。例えば、通信装置1004は、所定期間印刷データを受信しない場合に省電力状態で動作する。省電力状態には複数種類ある。例えば、通信装置1004が省電力状態で動作中に印刷データを受信した場合に印刷データに基づく印刷処理を実行する第1省電力モードがある。そして、印刷データを受信しても印刷データを処理しない第2省電力モードがある。第2省電力モードの消費電力は、第1省電力モードよりも小さい。ここで、CPU407は、音声制御デバイス1001と連携するための設定処理として第1省電力モードを設定する。なお、第1省電力モードは、音声制御デバイス1001が受け付けた音声での印刷指示に基づく印刷データを受信した場合にのみ、印刷処理が実行されるものであっても良い。
S1301の処理として、音声制御デバイス1001をユーザが選択する例について説明したが、別の方法でも良い。例えば、通信装置1004が、デバイス探索を実行することで発見した音声制御デバイス1001からデバイス情報を取得する。CPU407が、音声制御デバイス1001から取得したデバイス情報に基づいて、自動的に連携対象となる音声制御デバイス1001を選択しても良い。その場合、S1301の処理は省略される。
以上の処理により、様々な経路で印刷データが送信される場合であっても通信装置1004は適切に印刷処理を実行することが可能となる。なお、図16の処理を実行するに際し、複数の同じ音声制御デバイス1001がネットワーク上に存在する場合、通信装置1004は、各音声制御デバイス1001と連携するために同じサーバ1006にサインインすることになる。例えば、複数のA社の音声制御デバイス1001がネットワーク上に存在する場合、ユーザは、通信装置1004を使ってサーバAと連携するために1回のサインインを行っていれば良い。一方、複数の異なる音声制御デバイス1001がネットワーク上に存在する場合、通信装置1004は、各音声制御デバイス1001と連携するために異なるサーバにサインインすることになる。例えば、A社の音声制御デバイス1001とE社の音声制御デバイス1001がネットワーク上に存在する場合、ユーザは、通信装置1004を使ってサーバAと連携するためにサインインを行い、かつ、サーバEと連携するためにサインインを行う。
次に図19を用いて印刷以外の処理をユーザが音声でリクエストした場合の処理について説明する。例えば、ユーザは、ウェイクワードに続いて「インクの残量を教えて」と話す。
音声制御デバイス1001は、ウェイクワードの音声を受信することで、続いて話される音声を受信する。つまり、音声制御デバイス1001は「インクの残量を教えて」という音声を受信する。
音声制御デバイス1001は、音声制御デバイス1001の識別情報(例えば、Macアドレス等)と、受信した音声に基づく音声データとをサーバ1006へ送信する(処理1601)。
サーバ1006は、音声制御デバイス1001から送信された音声データを解析し、音声データに基づく制御コマンドを生成し(処理1602)、制御コマンドを通信装置1004に送信する(処理1603)。制御コマンドには、インクの残量の確認指示が含まれている。
通信装置1004は、制御コマンドに従った処理を実行する。ここでは、通信装置1004は、インクの残量を確認し(処理1604)、確認結果をサーバ1006へ送信する(処理1605)。サーバ1006は、確認結果に基づいて音声データを生成する。例えば、サーバ1006が、シアンが不足していることを示す確認結果を受信した場合、シアンが不足していることを示す音声データを生成する。
音声制御デバイス1001は、受信した音声データに基づいて確認結果を音声で通知する(処理1607)。なお、インクの残量以外に、通信装置の状態や紙の残量等の問い合わせを受けても良い。
また、ユーザが、シアンインクが不足しているとの音声通知を受けた場合、さらにシアンインクを音声で注文しても良い。この場合、音声制御デバイス1001は、通信装置1004の製品種別を特定するシリアル番号を受信する。そして、音声制御デバイス1001は、シアンインクの注文を示す音声データと、シリアル番号とをサーバ1006へ送信する。そして、サーバ1006が、音声データとシリアル番号とに基づいて注文データを生成し、専用のサーバ等に送信し発注処理を行うようにしても良い。
また、通信装置1004は、エラー等が発生しユーザによる作業が必要となる場合に、その作業方法を通信装置1004の操作パネルに表示する。この際、ユーザの作業として両手が必要となる作業については、作業方法の音声データを生成し、音声制御デバイス1001へ送信する。そして、音声制御デバイス1001は、作業方法を音声にて通知する。これにより、ユーザが両手を使う作業であっても容易に行うことが可能となる。例えば、インクの交換方法については通信装置1004が操作パネルに表示し、印刷中に紙ジャム等が発生した場合やインクふき取りクリーニングなどは音声で通知しても良い。
以上の処理により、ユーザは、印刷以外の指示を容易にリクエストすることが可能となる。
次に音声制御デバイス1001が、自ら印刷データを生成するのか、サーバ1006に印刷データの生成を依頼するのかを切り替える処理について説明する。図20は、音声制御デバイス1001の処理を説明するフローチャートである。
CPU103は、音声制御デバイス1001の周辺でウェイクワードに続いてユーザにより発せられた言葉(音声)を入力する(S1701)。CPU103は、音声に印刷指示が含まれているか否かを判定する(S1702)。S1702においてNoと判定された場合、CPU103は、入力した音声に基づいて音声データを生成し、サーバ1006へ送信する(S1707)。
一方、S1702においてYesと判定された場合、CPU103は、通信装置1004の情報を取得する(S1703)。例えば、通信装置1004がサーバ1006へのサインイン処理を行っている場合、通信装置1004はサーバ連携することを示す情報を保持している。そのため、S1703では、サーバ連携することを示す情報またはサーバ1006へのサインイン処理が完了していることを示す情報を取得する。
CPU103は、印刷データをサーバ1006が生成するか否かをS1703において取得した情報に基づいて判定する(S1704)。具体的には、S1703でサーバ連携することを示す情報またはサーバへのサインイン処理が完了していることを示す情報が取得された場合、CPU103は、印刷データをサーバ1006が生成すると判定する。一方、S1703でこれらの情報が取得されない場合、CPU103は、印刷データをサーバ1006が生成しないと判定する。
S1704においてNoと判定された場合、CPU103は、入力した音声に基づいて音声データを生成する。さらに、CPU103は、印刷データを生成する装置として「音声制御デバイス1001」を指定する情報を生成する。そして、CPU103は、音声データと、印刷データを生成する装置を指定する情報とをサーバ1006へ送信する(S1705)。
CPU103は、S1705において図13のS1103~S1107の処理を実行する(S1706)。その結果、図13の処理1103以降の処理が実行される。一方、S1704においてYesと判定された場合、CPU103は、入力した音声に基づいて音声データを生成し、サーバ1006へ送信する(S1708)。S1708の後、図7の処理708以降の処理が実行される。なお、S1708では、音声データと共に印刷データを生成する装置として「サーバ1006」を指定する情報が送信されても良い。
以上の処理により、音声制御デバイス1001は、通信装置1004がサーバ1006から印刷データを取得できる場合は、サーバ1006に印刷データを生成させる。一方、通信装置1004がサーバ1006から印刷データを取得できない場合、音声制御デバイス1001が、印刷データを生成する。以上の処理により、音声制御デバイス1001は効率的な処理を実行できる。具体的には、音声制御デバイス1001は、通信装置1004がサーバ1006から印刷データを取得できる場合は、印刷データの生成をサーバ1006に依頼できるため、印刷データの生成負荷が軽減される。
なお、図20では、S1701においてユーザから音声を入力した場合にS1702以降の処理が実行されるが、他のタイミングでも良い。例えば、S1701の前に、音声制御デバイス1001がS1703~S1704を実行することで、予め印刷データを生成する装置を判定しておいても良い。
また、S1704では他の情報を取得しても良い。例えば、通信装置1004は、サーバ1006へサインイン済みか否かを認識できるため、通信装置1004が、印刷データを生成する装置として「音声制御デバイス1001」または「サーバ1006」を指定しても良い。その他、サーバ連携が有効か否かを示す情報がS1703において取得され、サーバ連携が有効である場合にS1704においてYesと判定され、サーバ連携が無効である場合にS1704においてNoと判定されても良い。
(その他の実施形態)
上述した実施形態では、表示装置1003に表示されている写真を印刷する形態について記載したが、他の形態で印刷が指示されても良い。例えば、ユーザが、ウェイクワードに続いて「ファイルAを印刷して」と話す。音声制御デバイス1001が「ファイルAを印刷して」という音声に対応する音声データをサーバ1006へ送信する。そしてサーバ1006は、ユーザ用に管理しているデータからファイルAという名称のデータを検索し、印刷データを生成しても良い。
また、上述した実施形態では、写真に対応する画像データを印刷するケースについて説明したが、印刷対象となるデータは画像データに限らず、文書データであっても良い。
また、上述した実施形態では、ユーザが発する音声での印刷指示に従って通信装置1004が印刷する形態について説明した。しかし、通信装置1004は、パーソナルコンピュータにインストールされた印刷ソフトウェア(例えば、プリンタドライバ)に対する、音声以外の指示により生成された印刷データに基づいて印刷処理を実行しても良い。なお、音声以外の指示とは、ポインティングデバイスを使った操作や、タッチパネルを使った操作により行われる指示である。また、上述した実施形態では、近距離無線通信の一例としてBluetoothを挙げたが、その他の通信方式が使用されても良い。例えば、WiFiAwareがBluetoothの代わりに使用されても良い。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1001 音声制御デバイス: 1002 携帯端末: 1003 表示装置: 1004 通信装置

Claims (23)

  1. 音声指示を受け付ける音声制御デバイスを含み、音声指示により出力装置を制御可能な音声制御システムであって、
    前記音声制御デバイスにより受け付けた前記音声指示が出力装置に出力を実行させるための指示である場合、出力装置の候補を通知する第1の通知手段と、
    前記第1の通知手段による通知に応じて、前記音声制御デバイスにより、前記出力装置の候補から出力装置の指定を音声で受け付ける第1の受付手段と、
    前記第1の受付手段により受け付けた指定に対応する出力装置に前記音声指示に基づく印刷データの印刷を前記出力として実行させる制御手段と、を備え、
    前記出力装置において前記印刷データの印刷が完了したことに基づいて印刷完了通知が前記音声制御デバイスにより実施され、かつ、別の印刷データを用いた印刷が指示される前に追加部数の音声での指定を受け付ける受付処理が前記音声制御デバイスにより実施された場合、前記制御手段は、前記印刷データについて前記追加部数の印刷を前記出力装置に実行させる、
    ことを特徴とする音声制御システム。
  2. 前記第1の通知手段は、前記音声制御デバイスにより、前記出力装置の候補を音声で通知することを特徴とする請求項1に記載の音声制御システム。
  3. 前記出力装置の候補を取得する第1の取得手段、をさらに備え、
    前記第1の通知手段は、前記第1の取得手段により取得された前記出力装置の候補を通知することを特徴とする請求項1又は2に記載の音声制御システム。
  4. 前記第1の取得手段は、デバイス探索に対する応答を受信することで前記出力装置の候補を取得することを特徴とする請求項3に記載の音声制御システム。
  5. 前記第1の取得手段は、出力を実行させるための設定値に基づいて、前記出力装置の候補を取得することを特徴とする請求項3又は4に記載の音声制御システム。
  6. 前記音声制御システムに含まれる出力装置のケーパビリティを取得する第2の取得手段、をさらに備え、
    前記第1の取得手段は、前記設定値と、前記第2の取得手段により取得された前記ケーパビリティとに基づいて、前記出力装置の候補を取得する、
    ことを特徴とする請求項5に記載の音声制御システム。
  7. 前記音声制御デバイスにより受け付けた前記音声指示に、前記出力を実行させる出力装置の指定が含まれているか否かを判定する第1の判定手段、をさらに備え、
    前記第1の判定手段により前記出力を実行させる出力装置の指定が含まれていないと判定された場合、前記第1の取得手段は、前記出力装置の候補を取得する、
    ことを特徴とする請求項3乃至6のいずれか1項に記載の音声制御システム。
  8. 前記第1の判定手段により前記出力を実行させる出力装置の指定が含まれていると判定された場合、前記制御手段は、当該指定に対応する出力装置に前記音声指示に基づいて出力を実行させることを特徴とする請求項7に記載の音声制御システム。
  9. 前記第1の受付手段により受け付けた指定に対応する出力装置に出力を実行させることが可能であるかを判定する第2の判定手段と、
    前記第2の判定手段により当該出力装置に出力を実行させることが可能でないと判定された場合、当該可能でない旨を、前記音声制御デバイスにより音声で通知する第2の通知手段と、
    をさらに備えることを特徴とする請求項1乃至8のいずれか1項に記載の音声制御システム。
  10. 前記第2の判定手段は、前記第1の受付手段により受け付けた指定に対応する出力装置が出力を実行可能な状態であるかに基づいて、当該出力装置に出力を実行させることが可能であるかを判定することを特徴とする請求項9に記載の音声制御システム。
  11. 前記出力装置の候補リストが保持されているか否かを判定するリスト判定手段、を更に備え、
    前記リスト判定手段により前記候補リストが保持されていると判定された場合、前記第1の通知手段は、前記第1の取得手段による前記出力装置の候補の取得の処理を実行することなく、前記候補リストに基づいて前記出力装置の候補を通知し、
    前記リスト判定手段により前記候補リストが保持されていないと判定された場合、前記第1の通知手段は、前記第1の取得手段により取得された前記出力装置の候補を通知する、
    ことを特徴とする請求項3に記載の音声制御システム。
  12. 音声指示により出力装置を制御可能な音声制御システムにおいて実行される制御方法であって、
    音声制御デバイスにより音声指示を受け付ける第1の受付工程と、
    前記第1の受付工程において受け付けた前記音声指示が出力装置に出力を実行させるための指示である場合、出力装置の候補を通知する第1の通知工程と、
    前記第1の通知工程における通知に応じて、前記出力装置の候補から出力装置の指定を受け付ける第2の受付工程と、
    前記第2の受付工程において受け付けた指定に対応する出力装置に前記音声指示に基づく印刷データの印刷を前記出力として実行させる制御工程と、を有し、
    前記出力装置において前記印刷データの印刷が完了したことに基づいて印刷完了通知が前記音声制御デバイスにより実施され、かつ、別の印刷データを用いた印刷が指示される前に追加部数の音声での指定を受け付ける受付処理が前記音声制御デバイスにより実施された場合、前記制御工程では、前記印刷データについて前記追加部数の印刷を前記出力装置に実行させる、
    ことを特徴とする制御方法。
  13. 前記第1の通知工程では、前記音声制御デバイスにより、前記出力装置の候補を音声で通知することを特徴とする請求項12に記載の制御方法。
  14. 前記出力装置の候補を取得する第1の取得工程、をさらに有し、
    前記第1の通知工程では、前記第1の取得工程において取得された前記出力装置の候補を通知することを特徴とする請求項12又は13に記載の制御方法。
  15. 前記第1の取得工程では、デバイス探索に対する応答を受信することで前記出力装置の候補を取得することを特徴とする請求項14に記載の制御方法。
  16. 前記第1の取得工程では、出力を実行させるための設定値に基づいて、前記出力装置の候補を取得することを特徴とする請求項14又は15に記載の制御方法。
  17. 前記音声制御システムに含まれる出力装置のケーパビリティを取得する第2の取得工程、をさらに有し、
    前記第1の取得工程では、前記設定値と、前記第2の取得工程において取得された前記ケーパビリティとに基づいて、前記出力装置の候補を取得する、
    ことを特徴とする請求項16に記載の制御方法。
  18. 前記音声制御デバイスにより受け付けた前記音声指示に、前記出力を実行させる出力装置の指定が含まれているか否かを判定する第1の判定工程、をさらに有し、
    前記第1の判定工程において前記出力を実行させる出力装置の指定が含まれていないと判定された場合、前記第1の取得工程では、前記出力装置の候補を取得する、
    ことを特徴とする請求項14乃至17のいずれか1項に記載の制御方法。
  19. 前記第1の判定工程において前記出力を実行させる出力装置の指定が含まれていると判定された場合、前記制御工程では、当該指定に対応する出力装置に前記音声指示に基づいて出力を実行させることを特徴とする請求項18に記載の制御方法。
  20. 前記第1の受付工程において受け付けた指定に対応する出力装置に出力を実行させることが可能であるかを判定する第2の判定工程と、
    前記第2の判定工程において当該出力装置に出力を実行させることが可能でないと判定された場合、当該可能でない旨を、前記音声制御デバイスにより音声で通知する第2の通知工程と、
    をさらに有することを特徴とする請求項12乃至19のいずれか1項に記載の制御方法。
  21. 前記第2の判定工程では、前記第1の受付工程において受け付けた指定に対応する出力装置が出力を実行可能な状態であるかに基づいて、当該出力装置に出力を実行させることが可能であるかを判定することを特徴とする請求項20に記載の制御方法。
  22. 前記出力装置の候補リストが保持されているか否かを判定するリスト判定工程、を更に有し、
    前記リスト判定工程において前記候補リストが保持されていると判定された場合、前記第1の通知工程では、前記第1の取得工程における前記出力装置の候補の取得の処理を実行することなく、前記候補リストに基づいて前記出力装置の候補を通知し、
    前記リスト判定工程において前記候補リストが保持されていないと判定された場合、前記第1の通知工程では、前記第1の取得工程において取得された前記出力装置の候補を通知する、
    ことを特徴とする請求項14に記載の制御方法。
  23. 請求項12乃至22のいずれか1項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2017223056A 2017-11-20 2017-11-20 音声制御システム、制御方法及びプログラム Active JP7080038B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017223056A JP7080038B2 (ja) 2017-11-20 2017-11-20 音声制御システム、制御方法及びプログラム
US16/181,575 US10937422B2 (en) 2017-11-20 2018-11-06 Voice control system, control method, and non-transitory computer-readable storage medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017223056A JP7080038B2 (ja) 2017-11-20 2017-11-20 音声制御システム、制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019095933A JP2019095933A (ja) 2019-06-20
JP7080038B2 true JP7080038B2 (ja) 2022-06-03

Family

ID=66534485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017223056A Active JP7080038B2 (ja) 2017-11-20 2017-11-20 音声制御システム、制御方法及びプログラム

Country Status (2)

Country Link
US (1) US10937422B2 (ja)
JP (1) JP7080038B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7080038B2 (ja) * 2017-11-20 2022-06-03 キヤノン株式会社 音声制御システム、制御方法及びプログラム
JP7472461B2 (ja) 2019-10-08 2024-04-23 株式会社リコー 情報処理システム及び情報処理方法
JP2021113899A (ja) * 2020-01-20 2021-08-05 株式会社リコー 情報処理システム、情報処理方法及びプログラム
US11620993B2 (en) * 2021-06-09 2023-04-04 Merlyn Mind, Inc. Multimodal intent entity resolver

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088399A (ja) 1999-09-22 2001-04-03 Seiko Epson Corp 画像データ印刷処理方法及び画像データ印刷装置並びに画像データ印刷処理プログラムを記録した記録媒体
JP2002007011A (ja) 2000-06-22 2002-01-11 Ricoh Co Ltd ユーザインタフェースユニットおよび操作設定方法および機器制御システムおよび記録媒体
JP2012208886A (ja) 2011-03-30 2012-10-25 Nec Corp 印刷システム、印刷指示端末、印刷サーバ、方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240551A (ja) * 1996-12-26 1998-09-11 Canon Inc 情報処理システム及びその方法
JP3869621B2 (ja) * 2000-04-24 2007-01-17 パナソニック コミュニケーションズ株式会社 ドキュメント配信装置及び携帯電話装置
US20060227946A1 (en) * 2005-03-31 2006-10-12 Xerox Corporation Voice activated printer
US20150279373A1 (en) * 2014-03-31 2015-10-01 Nec Corporation Voice response apparatus, method for voice processing, and recording medium having program stored thereon
JP6440513B2 (ja) * 2014-05-13 2018-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 音声認識機能を用いた情報提供方法および機器の制御方法
JP6453172B2 (ja) 2015-06-24 2019-01-16 株式会社沖データ 情報処理装置、情報処理プログラム、及び画像形成システム
JP7080038B2 (ja) * 2017-11-20 2022-06-03 キヤノン株式会社 音声制御システム、制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088399A (ja) 1999-09-22 2001-04-03 Seiko Epson Corp 画像データ印刷処理方法及び画像データ印刷装置並びに画像データ印刷処理プログラムを記録した記録媒体
JP2002007011A (ja) 2000-06-22 2002-01-11 Ricoh Co Ltd ユーザインタフェースユニットおよび操作設定方法および機器制御システムおよび記録媒体
JP2012208886A (ja) 2011-03-30 2012-10-25 Nec Corp 印刷システム、印刷指示端末、印刷サーバ、方法およびプログラム

Also Published As

Publication number Publication date
US10937422B2 (en) 2021-03-02
JP2019095933A (ja) 2019-06-20
US20190156823A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
JP7179929B2 (ja) 音声制御デバイス、印刷装置、それらの制御方法およびプログラム
JP7146379B2 (ja) 印刷方法、音声制御システムおよびプログラム
JP7071098B2 (ja) 音声制御システム、制御方法およびプログラム
JP6704881B2 (ja) システム
JP6755834B2 (ja) システムおよび印刷装置およびサーバシステムおよび制御方法およびプログラム
JP7057647B2 (ja) 音声制御システム、制御方法及びプログラム
JP7080038B2 (ja) 音声制御システム、制御方法及びプログラム
JP7467022B2 (ja) システムおよび制御方法
JP2019096295A (ja) 音声制御システム、制御方法及びプログラム
CN110609662B (zh) 打印系统、控制方法和服务器
CN110875993B (zh) 带交互代理功能的图像形成系统及其控制方法和存储介质
JP6248475B2 (ja) 通信プログラムおよび通信装置
JP7338025B2 (ja) 音声制御デバイス、印刷装置、それらの制御方法およびプログラム
JP7447203B2 (ja) 情報処理装置、音声制御デバイス、印刷装置およびプログラム
JP2021072573A (ja) 情報処理装置、プログラム及び制御方法
JP2018024258A (ja) 画像形成装置、および画像形成装置の制御方法
JP6451819B2 (ja) 通信プログラムおよび通信装置
JP2023121534A (ja) プログラム、情報処理装置および制御方法
JP2021069052A (ja) 情報処理装置、プログラム及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201119

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220524

R151 Written notification of patent or utility model registration

Ref document number: 7080038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151