JP7400554B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、運転者が同乗者と会話している状態に関する情報を取得し、該取得した情報からプロファイルデータを作成するプロファイル作成手段と、運転者の発話中に前記運転者の状態を前記プロファイルデータと比較し、前記発話が同乗者に対する会話であるか音声操作入力であるかを判定する発話対象判定手段と、前記発話対象判定手段によって音声操作入力であると判定された発話について音声認識を行なう音声認識手段と、を備えたことを特徴とする音声認識装置が開示されている。

特許文献２には、音声指示により出力装置を制御可能な音声制御システムであって、音声指示を受け付ける第１の音声制御デバイスと、音声指示を受け付ける第２の音声制御デバイスと、前記第１の音声制御デバイスと前記第２の音声制御デバイスの少なくともいずれかにより受け付けた音声指示に基づいて、前記出力装置に出力させる制御手段と、前記第１の音声制御デバイスにより受け付けた第１の音声指示と、前記第２の音声制御デバイスにより受け付けた第２の音声指示とが重複する指示であるか否かを判定する判定手段と、を備え、前記制御手段は、前記判定手段により前記第１の音声指示と前記第２の音声指示とが重複する指示であると判定された場合、前記出力装置による出力を制限する、ことを特徴とする音声制御システムが開示されている。

特開２００８－２５０２３６号公報 特開２０１９－０９５８３５号公報

従来、複数の装置が存在する場合に、発話による指示に応じたサービスを、当該発話を行った発話者が所望していない装置に実行させてしまう場合がある、という問題点があった。

本発明は、複数の装置が存在する場合に、発話による指示に応じたサービスを、当該発話を行った発話者が所望していない装置に実行させてしまうことを防止することができる情報処理装置及び情報処理プログラムを提供することを目的とする。

上記目的を達成するために、第１態様に係る情報処理装置は、プロセッサを備え、前記プロセッサが、サービスを実行させる指示を発話により受け付け、装置に対する前記サービスを実行させるための物理的な操作を検知し、受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直近に前記操作を検知した前記装置に行う。

また、第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサが、受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直前に前記操作を検知した前記装置に行う。

また、第３態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサが、受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直後に前記操作を検知した前記装置に行う。

また、第４態様に係る情報処理装置は、第３態様に係る情報処理装置において、前記プロセッサが、前記受け付けた時刻から予め定めた時間以内に、前記装置に対する前記サービスを実行させるための物理的な操作を検知しなかった場合に、前記操作を促す旨を示す情報を提示する制御を行う。

また、第５態様に係る情報処理装置は、第４態様に係る情報処理装置において、前記プロセッサが、受け付けた前記サービスを実行させる制御を、前記情報を提示する制御を行った直後に前記操作を検知した前記装置に行う。

また、第６態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサが、前記受け付けた時刻の直近の所定時間以内に、前記操作を検知した前記装置が複数存在する場合に、何れの装置に前記サービスを実行させる制御を行うかを更に受け付け、受け付けた前記サービスを実行させる制御を、受け付けた前記装置に行う。

また、第７態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記プロセッサが、前記サービスを実行させる制御を行う前記装置が特定可能な特定情報を提示する制御を更に行う。

また、第８態様に係る情報処理装置は、第７態様に係る情報処理装置において、前記プロセッサが、前記特定情報の提示に応じた発話を更に受け付け、受け付けた前記発話に応じた制御を行う。

また、第９態様に係る情報処理装置は、第７態様又は第８態様に係る情報処理装置において、前記プロセッサが、前記サービスを実行させる指示を行う前記発話と並行して生じていた雑音の音量が予め定めたレベルより大きい場合に、前記特定情報を提示する制御を行う。

また、第１０態様に係る情報処理装置は、第７態様又は第８態様に係る情報処理装置において、前記プロセッサが、前記受け付けた時刻の直近の所定時間以内に、前記操作を検知した前記装置が複数存在する場合に、前記特定情報を提示する制御を行う。

また、第１１態様に係る情報処理装置は、第１態様～第１０態様の何れか１態様に係る情報処理装置において、前記装置が、画像形成装置であるものである。

更に、上記目的を達成するために、第１２態様に係る情報処理プログラムは、サービスを実行させる指示を発話により受け付け、装置に対する前記サービスを実行させるための物理的な操作を検知し、受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直近に前記操作を検知した前記装置に行う処理をコンピュータに実行させる。

第１態様及び第１２態様によれば、複数の装置が存在する場合に、発話による指示に応じたサービスを、当該発話を行った発話者が所望していない装置に実行させてしまうことを防止することができる、という効果を有する。

第２態様によれば、所望の装置を確保することができる、という効果を有する。

第３態様によれば、サービスを実行させる指示を発話する前に、当該サービスを実行させる装置を決める必要がない、という効果を有する。

第４態様によれば、サービスを実行させるための物理的な操作を促す旨を示す情報を提示する制御を行わない場合に比較して、サービスを実行させるまでの時間を削減することができる、という効果を有する。

第５態様によれば、受け付けたサービスを実行させる制御を、前記情報を提示する制御を行った直後に前記操作を検知した装置に行わない場合に比較して、サービスを実行させるまでの時間をさらに削減することができる、という効果を有する。

第６態様によれば、発話者の要望に応じてサービスを実行させる装置を決定することができる、という効果を有する。

第７態様によれば、サービスを実行させる装置を、発話者に対して事前に確認させることができる、という効果を有する。

第８態様によれば、発話者による装置の変更等を受け付けることができる、という効果を有する。

第９態様によれば、雑音の音量が予め定めたレベルより大きい場合に、発話に対する誤認識による無駄なサービスの実行を回避することができる、という効果を有する。

第１０態様によれば、同一のサービスを実行させるための操作を検知した装置が複数存在する場合に、無駄なサービスの実行を回避することができる、という効果を有する。

第１１態様によれば、複数の画像形成装置が存在する場合に、発話による指示に応じたサービスを、当該発話を行った発話者が所望していない画像形成装置に実行させてしまうことを防止することができる、という効果を有する。

各実施形態に係る画像形成システムの構成の一例を示すブロック図である。 各実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。 各実施形態に係るサーバの機能的な構成の一例を示すブロック図である。 各実施形態に係る発話情報データベースの構成の一例を示す模式図である。 各実施形態に係る物理操作情報データベースの構成の一例を示す模式図である。 各実施形態に係るサービス情報データベースの構成の一例を示す模式図である。 第１実施形態に係る情報処理の流れの一例を示すフローチャートである。 各実施形態に係る物理操作促進画面の一例を示す正面図である。 第１実施形態に係る対象装置決定処理の流れの一例を示すフローチャートである。 各実施形態に係る検知装置提示画面の一例を示す正面図である。 各実施形態に係る特定情報提示画面の一例を示す正面図である。 第２実施形態に係る情報処理の流れの一例を示すフローチャートである。 第２実施形態に係る対象装置決定処理の流れの一例を示すフローチャートである。

以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。なお、本実施形態では、本発明を複数の画像形成装置によりサービスを実行する画像形成システムに適用した場合について説明する。また、本実施形態では、本発明の情報処理装置をサーバに適用した場合について説明する。

［第１実施形態］
まず、図１を参照して、本実施形態に係る画像形成システム１の構成を説明する。
図１に示すように、本実施形態に係る画像形成システム１は、本システムの中心的な役割を担うサーバ１０と、複数の画像形成装置９０Ａ、９０Ｂ、・・・と、を含む。なお、以下では、画像形成装置９０Ａ、９０Ｂ、・・・を区別することなく説明する場合は単に「画像形成装置９０」と総称する。

サーバ１０と、複数の画像形成装置９０とは、ネットワークＮを介して接続されており、サーバ１０は、各画像形成装置９０とネットワークＮを介して相互に通信可能とされている。なお、本実施形態では、ネットワークＮとしてＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の企業内の通信回線を適用しているが、この形態に限定されるものではない。ネットワークＮとして、例えば、インターネット、電話回線等の公共の通信回線を適用してもよく、これらの企業内の通信回線及び公共の通信回線を組み合わせて適用してもよい。また、本実施形態では、ネットワークＮとして有線の通信回線を適用しているが、この形態に限定されるものではなく、無線の通信回線を適用してもよく、有線及び無線の各通信回線を組み合わせて適用してもよい。

本実施形態に係る画像形成システム１では、複数の画像形成装置９０における一部の画像形成装置９０（本実施形態では、画像形成装置９０Ａ）に音声入出力装置８０が接続されている。本実施形態に係る音声入出力装置８０は、使用者による発声を音声データとして入力する機能、及び予め定められた音声データによる音声を出力する機能を有している。

なお、本実施形態に係る画像形成システム１では、音声入出力装置８０の制御を、サーバ１０により画像形成装置９０Ａを介して間接的に行っているが、これに限定されるものではない。例えば、音声入出力装置８０をサーバ１０に画像形成装置９０Ａを介することなく接続し、サーバ１０から音声入出力装置８０を直接制御する形態としてもよい。また、本実施形態では、音声入出力装置８０としてスマートスピーカを適用しているが、これに限定されるものではない。例えば、スマートフォン及び携帯情報端末装置等の音声の入力及び出力を行うことができる他の装置を音声入出力装置８０として適用する形態としてもよい。また、本実施形態では、画像形成装置９０として、画像印刷機能、画像読取機能、及び画像送信機能等を有するデジタル複合機を適用しているが、これに限らないことは言うまでもない。更に、本実施形態では、音声入出力装置８０を画像形成装置９０Ａとは別体で構成した場合について説明するが、これに限定されるものではなく、音声入出力装置８０を画像形成装置９０Ａに一体的に組み込む形態としてもよい。

次に、図２及び図３を参照して、本実施形態に係るサーバ１０の構成を説明する。なお、サーバ１０の例としては、パーソナルコンピュータ及びサーバコンピュータ等の情報処理装置が挙げられる。

図２に示すように、本実施形態に係るサーバ１０は、プロセッサとしてのＣＰＵ（Central Processing Unit）１１、一時記憶領域としてのメモリ１２、不揮発性の記憶部１３、キーボードとマウス等の入力部１４、液晶ディスプレイ等の表示部１５、媒体読み書き装置（Ｒ／Ｗ）１６及び通信インタフェース（Ｉ／Ｆ）部１８を備えている。ＣＰＵ１１、メモリ１２、記憶部１３、入力部１４、表示部１５、媒体読み書き装置１６及び通信Ｉ／Ｆ部１８はバスＢを介して互いに接続されている。媒体読み書き装置１６は、記録媒体１７に書き込まれている情報の読み出し及び記録媒体１７への情報の書き込みを行う。

記憶部１３はＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現される。記憶媒体としての記憶部１３には、情報処理プログラム１３Ａが記憶されている。情報処理プログラム１３Ａは、情報処理プログラム１３Ａが書き込まれた記録媒体１７が媒体読み書き装置１６にセットされ、媒体読み書き装置１６が記録媒体１７からの情報処理プログラム１３Ａの読み出しを行うことで、記憶部１３へ記憶される。ＣＰＵ１１は、情報処理プログラム１３Ａを記憶部１３から読み出してメモリ１２に展開し、情報処理プログラム１３Ａが有するプロセスを順次実行する。

また、記憶部１３には、発話情報データベース１３Ｂ、物理操作情報データベース１３Ｃ及びサービス情報データベース１３Ｄが記憶される。発話情報データベース１３Ｂ、物理操作情報データベース１３Ｃ及びサービス情報データベース１３Ｄについては詳細を後述する。

次に、図３を参照して、本実施形態に係るサーバ１０の機能的な構成について説明する。図３に示すように、サーバ１０は、受付部１１Ａ、検知部１１Ｂ、及び制御部１１Ｃを含む。サーバ１０のＣＰＵ１１が、情報処理プログラム１３Ａを実行することで、受付部１１Ａ、検知部１１Ｂ、及び制御部１１Ｃとして機能する。

本実施形態に係る受付部１１Ａは、画像形成装置９０を用いるサービスを実行させる指示を音声入出力装置８０を介して発話により受け付ける。なお、本実施形態では、受付部１１Ａにより、上記サービスの実行指示を、画像形成装置９０Ａから通信Ｉ／Ｆ部１８を介して取得しているが、これに限定されるものではないことは上述した通りである。また、本実施形態では、上記サービスとして画像読取サービスを適用するが、この形態に限るものではなく、例えば画像印刷サービス及び画像送信サービス等を適用する形態としてもよい。また、本実施形態では、上記サービスとして無償で行う処理に加えて有償で行う処理も含む。

また、本実施形態に係る検知部１１Ｂは、画像形成装置９０に対するサービスを実行させるための物理的な操作を検知する。なお、本実施形態では、上記物理的な操作として、原稿が画像形成装置９０のＡＤＦ（Auto Document Feeder）に置かれる操作を適用しているが、これに限らない。例えば、上記物理的な操作として、画像形成装置９０がＦＡＸ（Facsimile）回線に接続される操作や画像形成装置９０にＵＳＢ（Universal Serial Bus）メモリが挿入される操作等の他の操作を適用してもよい。すなわち上記物理的な操作として、外部の媒体を当該装置に搭載する操作が含まれる。また、装置がＦＡＸ回線を介して電子データを受信した、パーソナルコンピュータ等の外部装置から電子文書データを受信した等、外部から電子的なデータを受け付けるという操作も、上記物理的な操作に含まれる。また、これらの個別、または複数の組み合わせを適用する形態としてもよい。また、本実施形態では、検知部１１Ｂにより、上記物理的な操作を、ＡＤＦに設置されたセンサを用いて検知する形態を適用しているが、この形態に限るものではない。例えば、検知部１１Ｂにより、上記物理的な操作を、画像形成装置９０内のＶｂｕｓ検出回路によって検知する形態等を適用してもよいし、これらの個別、または複数の組み合わせを適用する形態としてもよい。

また、本実施形態に係る制御部１１Ｃは、上記サービスを実行させる制御を、上記指示を受け付けた時刻の直近に、上記操作を検知した画像形成装置９０に行う。なお、本実施形態では、制御部１１Ｃにより、上記サービスを実行させる制御を、上記受け付けた時刻の直後に上記操作を検知した画像形成装置９０に行っている。

また、本実施形態に係る制御部１１Ｃは、受付部１１Ａによって上記指示を受け付けた時刻から予め定めた時間以内に、検知部１１Ｂによって上記操作を検知しなかった場合に、上記操作を促す旨を示す情報を提示する制御を行う。特に、本実施形態に係る制御部１１Ｃでは、上記提示として、音声入出力装置８０の音声出力機能による音声による提示を適用している。また、本実施形態に係る制御部１１Ｃでは、上記提示として、画像形成装置９０Ａの表示部による表示による提示も適用している。

また、本実施形態に係る制御部１１Ｃは、上記サービスを実行させる制御を、上記操作を促す旨を示す情報を提示する制御を行った直後に上記操作を検知した画像形成装置９０に行っているが、この形態に限らない。例えば、制御部１１Ｃにより、上記指示を受け付けた時刻から予め定めた時間以内に、上記操作を検知しなかった場合は、サーバ１０のユーザ等により予め登録された画像形成装置９０に、上記サービスを実行させる制御を行う形態としてもよい。

また、本実施形態に係る受付部１１Ａは、上記指示を受け付けた時刻の直後の所定時間以内に、上記操作を検知した画像形成装置９０が複数存在する場合に、何れの画像形成装置９０に上記サービスを実行させる制御を行うかを更に受け付け、制御部１１Ｃは、受け付けた上記サービスを実行させる制御を、受け付けた画像形成装置９０に行う。

また、本実施形態に係る制御部１１Ｃは、上記サービスを実行させる制御を行う画像形成装置９０が特定可能な特定情報を提示する制御を更に行う。なお、本実施形態では、制御部１１Ｃにより、受付部１１Ａで受け付けたサービスを実行させる指示を行う上記発話と並行して生じていた雑音の音量が予め定めたレベルより大きい場合、及び受付部１１Ａで指示を受け付けた時刻の直近の所定時間以内に上記操作を検知した画像形成装置９０が複数存在する場合に、上記特定情報を提示する制御を行う形態を適用しているが、この形態に限らない。例えば、制御部１１Ｃにより、上記サービスを実行させる制御を行う度に、上記特定情報を提示する制御を行う形態を適用してもよい。

なお、本実施形態では、上記予め定めたレベルとして、上記雑音の音量が当該レベル以上である場合は、当該雑音と並行して行われた発話の認識が困難であるものとして、予め実機を用いた実験や、コンピュータ・シミュレーション等によって得られたレベルを適用しているが、これに限定されるものではない。例えば、上記予め定めたレベルとして、サーバ１０のユーザ等によって、後述する情報処理に求められる上記発話の認識精度や、サーバ１０の用途等に応じて、予め設定しておく形態としてもよい。

また、本実施形態に係る受付部１１Ａは、上記特定情報の提示に応じた発話を更に受け付け、本実施形態に係る制御部１１Ｃは、受付部１１Ａで受け付けた当該発話に応じた制御を行う。

次に、本実施形態に係る発話情報データベース１３Ｂについて説明する。図４に示すように、本実施形態に係る発話情報データベース１３Ｂは、サービス及び日時の各情報が関連付けられて記憶される。

上記サービスは、受付部１１Ａによって受け付けたサービスを示す情報であり、上記日時は、対応するサービスを実行させる指示を受け付けた日時を示す情報である。図４に示す例では、例えば、画像読取サービスを実行させる指示を、２０１９年１１月１６日の１５時１０秒に受け付けたことを表している。

次に、本実施形態に係る物理操作情報データベース１３Ｃについて説明する。図５に示すように、本実施形態に係る物理操作情報データベース１３Ｃは、装置ＩＤ（Identification）、物理操作、及び日時の各情報が関連付けられて記憶される。

上記装置ＩＤは、検知部１１Ｂによって物理的な操作を検知した画像形成装置を示す情報であり、上記物理操作は、検知部１１Ｂによって検知した物理的な操作を示す情報であり、上記日時は、対応する物理操作を検知した日時を示す情報である。図５に示す例では、例えば、装置ＩＤとして「Ｂ」が付された画像形成装置９０にＵＳＢメモリが、２０１９年１１月１６日の１２時丁度に挿入されたことを表している。

次に、本実施形態に係るサービス情報データベース１３Ｄについて説明する。図６に示すように、本実施形態に係るサービス情報データベース１３Ｄは、サービス及び物理操作の各情報が関連付けられて記憶されている。

上記サービスは、画像形成装置９０を用いるサービスを示す情報であり、上記物理操作は、対応するサービスを実行させるための物理的な操作を示す情報である。図６に示す例では、例えば、画像読取サービスを実行させるための物理的な操作は、原稿がＡＤＦに置かれることであることを表している。

次に、図７～図１１を参照して、本実施形態に係るサーバ１０の作用を説明する。ユーザによって情報処理プログラム１３Ａの実行を開始する指示入力が入力部１４を介して行われた場合に、サーバ１０のＣＰＵ１１が情報処理プログラム１３Ａを実行することで図７に示す情報処理が実行される。

ステップ２００で、ＣＰＵ１１は、ユーザによる音声入出力装置８０に対するサービスの実行指示を示す発話が行われ、当該発話に応じた音声データが音声入出力装置８０から画像形成装置９０Ａを介して入力されるまで待機する。ステップ２０２で、ＣＰＵ１１は、入力された音声データに対して従来既知の音声認識処理を行うことで、ユーザによって実行指示が行われたサービスを特定する。以下では、特定したサービスを「特定サービス」という。ステップ２０４で、ＣＰＵ１１は、特定サービス及び当該特定サービスを実行させる指示を受け付けた日時（以下、「受付日時」という。）を発話情報データベース１３Ｂに登録する。

ステップ２０６で、ＣＰＵ１１は、特定サービスを実行させるための物理的な操作をサービス情報データベース１３Ｄから読み出し、読み出した操作を検知したか否かを判定し、肯定判定となった場合は後述するステップ２１８へ移行し、否定判定となった場合はステップ２０８へ移行する。ステップ２０８で、ＣＰＵ１１は、受付日時から予め定められた時間Ｔａが経過したか否かを判定し、否定判定となった場合はステップ２０６に戻る一方、肯定判定となった場合はステップ２１０へ移行する。なお、本実施形態では、予め定められた時間Ｔａとして、サーバ１０のユーザ等によって、予め設定された時間を適用しているが、画像形成装置９０が使用される頻度等に応じて、自動的に定められた時間を予め定められた時間Ｔａとして設定する形態としてもよい。

ステップ２１０で、ＣＰＵ１１は、特定サービスを実行させるため、何れかの画像形成装置９０に対して物理的な操作を行うことを促す旨を示す物理操作促進画面を画像形成装置９０Ａの表示部に表示する制御を行う。

図８に示すように、本実施形態に係る物理操作促進画面では、特定サービスを実行させるための物理的な操作を、何れかの画像形成装置９０に行うことを促す旨を示す情報が表示される。従って、特定サービスの実行を発話によって指示したユーザは、物理操作促進画面を参照することで、特定サービスを実行させるための画像形成装置９０に対する物理的な操作を把握することができる。例えば、ユーザが実行を指示したサービスが画像読取サービスであった場合、物理操作促進画面には、原稿を何れかの画像形成装置９０のＡＤＦに置くことを促す旨を示す情報が表示される。

ステップ２１２で、ＣＰＵ１１は、物理操作促進画面で表示した内容と同様の内容を音声（以下、「物理操作促進音声」という。）によって再生する音声データを音声入出力装置８０によって再生（出力）させる制御を行う。従って、上記ユーザは、音声入出力装置８０によって再生される音声を聴取することでも、当該サービスを実行させるための画像形成装置９０に対する物理的な操作を把握することができる。

ステップ２１４で、ＣＰＵ１１は、特定サービスを実行させるための物理的な操作を検知したか否かを判定し、肯定判定となった場合は後述するステップ２１８へ移行し、否定判定となった場合はステップ２１６へ移行する。ステップ２１６で、ＣＰＵ１１は、ステップ２１２の処理を実行してから、予め定められた時間Ｔｂが経過したか否かを判定し、否定判定となった場合はステップ２１４に戻る一方、肯定判定となった場合はステップ２１８へ移行する。なお、本実施形態では、予め定められた時間Ｔｂとして、サーバ１０のユーザ等によって、予め設定された時間を適用しているが、画像形成装置９０が使用される頻度等に応じて、自動的に定められた時間を予め定められた時間Ｔｂとして設定する形態としてもよい。

ステップ２１８で、ＣＰＵ１１は、ステップ２０６又はステップ２１４の処理によって検知した上記物理的な操作を特定する。以下では、特定した物理的な操作を「特定操作」という。ステップ２２０で、ＣＰＵ１１は、特定操作及び当該特定操作を検知した日時を物理操作情報データベース１３Ｃに登録する。

ステップ２２２で、ＣＰＵ１１は、ステップ２０２の処理によって特定した特定サービスを実行させる制御を行う画像形成装置（以下、「対象装置」という。）を決定するための処理である対象装置決定処理を実行する。以下、図９を参照して、本実施形態に係る対象装置決定処理について説明する。

ステップ４００で、ＣＰＵ１１は、発話情報データベース１３Ｂ及び物理操作情報データベース１３Ｃから全ての情報を読み出し、当該情報を用いて、特定サービスに対応する上記受付日時の直後から所定時間Ｔ１以内に、特定操作を検知した画像形成装置９０が複数存在するか否かを判定する。この判定において否定判定となった場合はステップ４０２へ移行し、ＣＰＵ１１は、受付日時の直後の直近に特定操作を検知した画像形成装置９０を対象装置とし、本対象装置決定処理を終了する。

一方、ステップ４００において肯定判定となった場合はステップ４０４へ移行し、ＣＰＵ１１は、ステップ４００の処理において存在すると判定された複数の画像形成装置９０を提示する検知装置提示画面を画像形成装置９０Ａの表示部に表示させる制御を行う。なお、本実施形態では、所定時間Ｔ１として、サーバ１０のユーザ等によって、予め設定された時間を適用しているが、画像形成装置９０が使用される頻度等に応じて、自動的に定められた時間を所定時間Ｔ１として設定する形態としてもよい。

図１０に示すように、本実施形態に係る検知装置提示画面では、ステップ４００の処理において存在すると判定された複数の画像形成装置９０を示す情報、及び当該複数の画像形成装置９０の中から対象装置を選択することを促す旨を示す情報が表示される。従って、特定サービスの実行を発話によって指示したユーザは、検知装置提示画面を参照することによって、特定操作を検知した画像形成装置９０を把握することができる。

ステップ４０６で、ＣＰＵ１１は、検知装置提示画面で表示した内容と同様の内容を音声（以下、「検知装置提示音声」という。）によって再生する音声データを音声入出力装置８０によって再生（出力）させる制御を行う。従って、上記ユーザは、音声入出力装置８０によって再生される音声を聴取することでも、特定操作を検知した画像形成装置９０を把握することができるため、指示したサービスを実行させる画像形成装置９０を示す発話を行う。そこで、ステップ４０８で、ＣＰＵ１１は、ステップ４０４及びステップ４０６の処理によって提示した画像形成装置９０に応じた発話が音声入出力装置８０に対して行われるまで待機する。

ステップ４１０で、ＣＰＵ１１は、ステップ４０８の処理により受け付けた発話の内容を従来既知の音声認識技術を用いて特定し、対象装置を当該特定した画像形成装置９０として本対象装置決定処理を終了する。対象装置決定処理が終了すると、情報処理（図７参照。）のステップ２２２に移行する。

このように、本実施形態では、受付日時から所定時間以内に、特定操作を検知した画像形成装置９０が複数存在する場合は、ＣＰＵ１１が、何れの画像形成装置９０に上記サービスを実行させる制御を行うかを更に受け付け、受け付けた画像形成装置９０を対象装置とする形態を適用しているが、この形態に限らない。例えば、ＣＰＵ１１によって、受付日時の直後の直近に特定操作を検知した画像形成装置９０を対象装置とする形態としてもよい。この場合の形態例としては、図９に示す対象装置決定処理において、ＣＰＵ１１が、ステップ４００～ステップ４１０の処理を実行することなく、ステップ４０２の処理のみを実行する形態が例示される。

ステップ２２４で、ＣＰＵ１１は、ステップ２００の処理の実行時に入力された音声データから、ユーザによる特定サービスを実行させる指示の発話と並行して生じていた雑音の音量を特定し、当該雑音の音量が予め定められた閾値Ｔｎ以上であるか否かを判定し、肯定判定となった場合は後述するステップ２２８に移行する一方、否定判定となった場合はステップ２２６に移行する。

ステップ２２６で、ＣＰＵ１１は、上記受付日時の直近の予め定められた時間Ｔｃ以内に、特定操作を検知した画像形成装置９０が複数存在するか否かを判定し、否定判定となった場合は後述するステップ２３８へ移行する一方、肯定判定となった場合はステップ２２８へ移行する。なお、本実施形態では、予め定められた時間Ｔｃとして、サーバ１０のユーザ等によって、予め設定された時間を適用しているが、画像形成装置９０が使用される頻度等に応じて、自動的に定められた時間を予め定められた時間Ｔｃとして設定する形態としてもよい。

ステップ２２８で、ＣＰＵ１１は、対象装置を特定可能な特定情報を表示する特定情報提示画面を画像形成装置９０Ａの表示部に表示させる制御を行う。なお、予め画像形成装置９０に周囲から視認可能な位置に発光部を設けておき、ＣＰＵ１１により、対象装置の発光部を発光させる制御を行うことによって、ユーザに対象装置を把握させる形態としてもよい。

図１１に示すように、本実施形態に係る特定情報提示画面では、特定サービス及び特定情報が表示される。従って、サービスの実行を発話によって指示したユーザは、特定情報提示画面を参照することで、対象装置を把握することができる。

ステップ２３０で、ＣＰＵ１１は、特定情報提示画面で表示した内容と同様の内容を音声（以下、「特定情報提示音声」という。）によって再生する音声データを音声入出力装置８０によって再生（出力）させ、ステップ２３２へ移行する。従って、上記ユーザは、音声入出力装置８０によって再生される音声を聴取することでも、対象装置を把握することができるため、上記サービスを当該対象装置に実行させる制御を行ってよいか否かを示す発話を行う。なお、上記ユーザは、上記サービスを当該対象装置に実行させる制御を行ってはいけない場合には、改めて、サービスを実行させる画像形成装置９０の装置ＩＤを発話する。そこで、ステップ２３２で、ＣＰＵ１１は、ステップ２２８及びステップ２３０の処理によって提示したサービス及び対象装置に応じた発話が音声入出力装置８０に対して行われるまで待機する。

ステップ２３４で、ＣＰＵ１１は、ステップ２３２の処理により受け付けた発話の内容を従来既知の音声認識技術を用いて特定し、ステップ２２８及びステップ２３０の処理によって提示した対象装置に特定サービスを実行させる制御を行ってよいか否かを判定し、否定判定となった場合は、ステップ２３６へ移行し、ＣＰＵ１１は、ステップ２３２の処理を実行することによって特定したユーザが改めて発話した画像形成装置９０を対象装置とする。なお、ＣＰＵ１１がステップ２２８～２３４の処理を繰り返す場合、ステップ２２８の処理及びステップ２３０の処理で、ＣＰＵ１１は、ステップ２３６の処理により対象装置とした画像形成装置９０を特定情報として提示する制御を行う。

例えば、１回目のステップ２２８及びステップ２３０で、ＣＰＵ１１が、装置ＩＤとして「Ｂ」が付された画像形成装置９０を特定情報として提示する制御を行ったものの、１回目のステップ２３２で、ＣＰＵ１１が、装置ＩＤとして「Ｃ」が付された画像形成装置９０に特定サービスを実行させる旨の発話を受け付けた場合、１回目のステップ２３６で、ＣＰＵ１１は対象装置を装置ＩＤとして「Ｃ」が付された画像形成装置９０に決定し、ステップ２２８へ戻る。２回目のステップ２２８及びステップ２３０で、ＣＰＵ１１は、装置ＩＤとして「Ｃ」が付された画像形成装置９０を特定情報として提示する制御を行う。

一方、ステップ２３４で肯定判定となった場合はステップ２３８へ移行し、ＣＰＵ１１は、特定サービスをステップ２２８及びステップ２３０の処理によって特定情報として提示する制御を行った画像形成装置９０に実行させる制御を行い、本情報処理を終了する。

［第２実施形態］
上記第１実施形態では、受け付けたサービスを実行させる制御を、当該サービスを実行させる指示を受け付けた時刻の直後に、当該サービスを実行させるための物理的な操作を検知した画像形成装置９０に行う形態について説明した。これに対し、本第２実施形態では、当該受け付けた時刻の直前に、当該操作を検知した画像形成装置９０に行う場合の形態例について説明する。なお、本第２実施形態に係る画像形成システム１及びサーバ１０の構成については、上記第１実施形態に係る構成（図１、図２、及び図３参照。）と同一であるため、ここでの説明を省略する。

まず、図１２を参照して、本第２実施形態に係るサーバ１０の作用として、情報処理を実行する際のサーバ１０の作用について説明する。なお、図１２に示す情報処理における、図７に示す情報処理と同一の処理を実行するステップについては図７と同一のステップ番号を付して、その説明を省略する。

図１２に示す情報処理と図７に示す情報処理とでは、ステップ２００～ステップ２２２の処理に代えて、ステップ２０１～ステップ２１５の処理が適用されている点が異なっている。

すなわち、図１２のステップ２０１で、ＣＰＵ１１は、画像形成装置９０に対するサービスを実行させるための物理的な操作が検知されているかを判定し、肯定判定となった場合は後述するステップ２０５に移行する一方、否定判定となった場合はステップ２０３に移行する。なお、ステップ２０１で、ＣＰＵ１１は、サービス情報データベース１３Ｄに記憶されている全ての物理操作を検知の対象とする。

ステップ２０３で、ＣＰＵ１１は、情報処理プログラム１３Ａを実行してから、予め定められた時間Ｔｄが経過したか否かを判定し、否定判定となった場合はステップ２０１に戻る一方、肯定判定となった場合はステップ２０５へ移行する。なお、本実施形態では、予め定められた時間Ｔｄとして、サーバ１０のユーザ等によって、予め設定された時間を適用しているが、画像形成装置９０が使用される頻度等に応じて、自動的に定められた時間を予め定められた時間Ｔｄとして設定する形態としてもよい。

ステップ２０５で、ＣＰＵ１１は、ステップ２０１の処理によって検知した上記物理的な操作を全て特定する。以下では、特定した物理的な操作を「特定操作」という。ステップ２０７で、ＣＰＵ１１は、特定操作及び当該特定操作を検知した日時を物理操作情報データベース１３Ｃに登録する。

ステップ２０９で、ＣＰＵ１１は、特定操作に対応しているサービスをサービス情報データベース１３Ｄから読み出し、読み出した当該サービスの中の何れかのサービスの実行指示を示す発話がユーザにより行われ、当該発話に応じた音声データが音声入出力装置８０から画像形成装置９０Ａを介して入力されるまで待機する。ステップ２１１で、ＣＰＵ１１は、入力された音声データに対して従来既知の音声認識処理を行うことで、ユーザによって実行指示が行われたサービスを特定する。以下では、特定したサービスを「特定サービス」という。なお、ステップ２０５で、ＣＰＵ１１が複数種類の特定操作を特定した場合、ステップ２１１で、ＣＰＵ１１は特定サービスとして１種類のサービスを特定することとなる。ステップ２１３で、ＣＰＵ１１は、特定サービス及び当該特定サービスを実行させる指示を受け付けた日時（以下、「受付日時」という。）を発話情報データベース１３Ｂに登録する。

次のステップ２１５で、ＣＰＵ１１は、ステップ２０１の処理によって特定した特定サービスを実行させる制御を行う画像形成装置（以下、「対象装置」という。）を決定するための処理である対象装置決定処理を実行する。以下、図１３を参照して、本実施形態に係る対象装置決定処理について説明する。なお、図１３に示す対象装置決定処理における、図９に示す対象装置決定処理と同一の処理を実行するステップについては図９と同一のステップ番号を付して、その説明を省略する。

図１３に示す情報処理と図９に示す情報処理とでは、ステップ４００及びステップ４０２の処理に代えてステップ４０１及びステップ４０３の処理が適用されている点が異なっている。

すなわち、図１３のステップ４０１で、ＣＰＵ１１は、発話情報データベース１３Ｂ及び物理操作情報データベース１３Ｃから全ての情報を読み出し、当該情報を用いて、特定サービスに対応する上記受付日時の直前から所定時間Ｔ２以内に、特定操作を検知した画像形成装置９０が複数存在するか否かを判定する。この判定において否定判定となった場合はステップ４０３へ移行し、ＣＰＵ１１は、受付日時の直前の直近に特定操作を検知した画像形成装置９０を対象装置とし、本対象装置決定処理を終了する。なお、本実施形態では、所定時間Ｔ２として、サーバ１０のユーザ等によって、予め設定された時間を適用しているが、画像形成装置９０が使用される頻度等に応じて、自動的に定められた時間を所定時間Ｔ２として設定する形態としてもよい。

なお、上記第１実施形態では、受け付けたサービスを実行させる制御を、当該サービスを実行させる指示を受け付けた時刻の直後に、当該サービスを実行させるための物理的な操作を検知した画像形成装置９０に行う形態について説明した。また、上記第２実施形態では、上記制御を、上記受け付けた時刻の直前に、上記操作を検知した画像形成装置９０に行う場合の形態例について説明したが、この形態に限らない。これらの形態を組み合わせて、上記制御を、上記直前及び上記直後の如何に関わらず、上記受け付けた時刻から最も近い時刻に、上記操作を検知した画像形成装置９０に行う形態を適用してもよい。

以上、実施の形態を説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施の形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件の組み合わせにより種々の発明が抽出される。実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

また、上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ等）や、専用のプロセッサ（例えば、ＧＰＵ： Graphics Processing Unit、ＡＳＩＣ： Application Specific Integrated Circuit、ＦＰＧＡ： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。

また、上記実施形態では、サービスを実行させる装置の例として、画像形成装置を適用したが、これらに限定するものではなく、コンロ、洗濯機及び電子レンジ等を含めてもよいし、これらの個別、または複数の組み合わせを適用する形態としてもよい。

また、上記実施形態では、情報処理プログラム１３Ａが記憶部１３に予めインストールされている場合について説明したが、これに限定されるものではない。例えば、情報処理プログラムが、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記憶媒体に格納されて提供される形態、又はネットワークを介して提供される形態としてもよい。

さらに、上記実施形態では、情報処理を、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現する場合について説明したが、本発明はこれに限定されるものではない。例えば、情報処理を、ハードウェア構成や、ハードウェア構成とソフトウェア構成の組み合わせによって実現する形態としてもよい。

その他、上記実施形態で説明したサーバ１０の構成（図１～図６参照。）は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりしてもよいことは言うまでもない。

また、上記実施形態で説明した情報処理の流れ（図７及び図１２参照。）及び設定決定処理の流れ（図９及び図１３参照。）も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

１ 画像形成システム
１０ サーバ
１１ ＣＰＵ
１１Ａ 受付部
１１Ｂ 検知部
１１Ｃ 制御部
１２ メモリ
１３ 記憶部
１３Ａ 情報処理プログラム
１３Ｂ 発話情報データベース
１３Ｃ 物理操作情報データベース
１３Ｄ サービス情報データベース
１４ 入力部
１５ 表示部
１６ 媒体読み書き装置
１８ 通信Ｉ／Ｆ部
８０ 音声入出力装置
９０ 画像形成装置

Claims (12)

1. プロセッサを備え、
   前記プロセッサは、
   サービスを実行させる指示を発話により受け付け、
   装置に対する前記サービスを実行させるための物理的な操作を検知し、
   受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直後に前記操作を検知した前記装置に行う、
   情報処理装置。
2. 前記プロセッサは、
   前記受け付けた時刻から予め定めた時間以内に、前記装置に対する前記サービスを実行させるための物理的な操作を検知しなかった場合に、前記操作を促す旨を示す情報を提示する制御を行う、
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   受け付けた前記サービスを実行させる制御を、前記情報を提示する制御を行った直後に前記操作を検知した前記装置に行う、
   請求項２に記載の情報処理装置。
4. プロセッサを備え、
   前記プロセッサは、
   サービスを実行させる指示を発話により受け付け、
   装置に対する前記サービスを実行させるための物理的な操作を検知し、
   受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直近に前記操作を検知した前記装置に行い、
   前記受け付けた時刻の直近の所定時間以内に、前記操作を検知した前記装置が複数存在する場合に、
   何れの装置に前記サービスを実行させる制御を行うかを更に受け付け、
   受け付けた前記サービスを実行させる制御を、受け付けた前記装置に行う、
   情報処理装置。
5. プロセッサを備え、
   前記プロセッサは、
   サービスを実行させる指示を発話により受け付け、
   装置に対する前記サービスを実行させるための物理的な操作を検知し、
   受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直近に前記操作を検知した前記装置に行い、
   前記サービスを実行させる指示を行う前記発話と並行して生じていた雑音の音量が予め定めたレベルより大きい場合に、前記サービスを実行させる制御を行う前記装置が特定可能な特定情報を提示する制御を行う、
   情報処理装置。
6. プロセッサを備え、
   前記プロセッサは、
   サービスを実行させる指示を発話により受け付け、
   装置に対する前記サービスを実行させるための物理的な操作を検知し、
   受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直近に前記操作を検知した前記装置に行い、
   前記受け付けた時刻の直近の所定時間以内に、前記操作を検知した前記装置が複数存在する場合に、前記サービスを実行させる制御を行う前記装置が特定可能な特定情報を提示する制御を行う、
   情報処理装置。
7. 前記プロセッサは、
   受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直前に前記操作を検知した前記装置に行う、
   請求項４～６の何れか１項に記載の情報処理装置。
8. 前記装置は、画像形成装置である、
   請求項１～７の何れか１項に記載の情報処理装置。
9. サービスを実行させる指示を発話により受け付け、
   装置に対する前記サービスを実行させるための物理的な操作を検知し、
   受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直後に前記操作を検知した前記装置に行う、
   処理をコンピュータに実行させるための情報処理プログラム。
10. サービスを実行させる指示を発話により受け付け、
    装置に対する前記サービスを実行させるための物理的な操作を検知し、
    受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直近に前記操作を検知した前記装置に行い、
    前記受け付けた時刻の直近の所定時間以内に、前記操作を検知した前記装置が複数存在する場合に、
    何れの装置に前記サービスを実行させる制御を行うかを更に受け付け、
    受け付けた前記サービスを実行させる制御を、受け付けた前記装置に行う、
    処理をコンピュータに実行させるための情報処理プログラム。
11. サービスを実行させる指示を発話により受け付け、
    装置に対する前記サービスを実行させるための物理的な操作を検知し、
    受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直近に前記操作を検知した前記装置に行い、
    前記サービスを実行させる指示を行う前記発話と並行して生じていた雑音の音量が予め定めたレベルより大きい場合に、前記サービスを実行させる制御を行う前記装置が特定可能な特定情報を提示する制御を行う、
    処理をコンピュータに実行させるための情報処理プログラム。
12. サービスを実行させる指示を発話により受け付け、
    装置に対する前記サービスを実行させるための物理的な操作を検知し、
    受け付けた前記サービスを実行させる制御を、当該受け付けた時刻の直近に前記操作を検知した前記装置に行い、
    前記受け付けた時刻の直近の所定時間以内に、前記操作を検知した前記装置が複数存在する場合に、前記サービスを実行させる制御を行う前記装置が特定可能な特定情報を提示する制御を行う、
    処理をコンピュータに実行させるための情報処理プログラム。