JP7230482B2 - 画像処理システム、画像形成装置、音声入力禁止判定方法及びプログラム - Google Patents

Description

本発明は、画像処理システム、画像形成装置、音声入力禁止判定方法及びプログラムに関する。

従来、コピー機能やプリンター機能などを備えた複合機（画像形成装置）に対し音声入力による操作を可能にした画像処理システムが存在する。

特許文献１には、音声認識機能をもつ画像形成装置において、複写モード等の機能に対してユーザーが音声認識対象語彙となる名称を自由に設定可能とすることにより、ユーザーが音声発話によって機能を呼び出せるようにする技術が開示されている。また、特許文献２には、操作指示を音声によって入力することができる装置において、音声入力禁止情報リストに登録されている音声入力がなされた際に、操作モードを手動操作に切り替えることにより、パスワード等の機密情報が漏洩してしまうことを防止する技術が開示されている。

特開２００７－１１４２９７号公報 特開２００７－７９８５２号公報

ところで、音声入力による操作が可能な画像処理システムで用いられる画像形成装置においては、従来通りの操作パネルへの操作入力も行われる。つまり、このようなシステムには、操作パネルを操作することによる手動操作と、音声入力装置に音声を入力することによる音声操作との２通りの操作系統が存在する。

手動操作及び音声操作の２通りの操作系統が存在する状況においては、操作パネルに対して操作が入力されているときには、音声入力に基づく処理が実行されることは好ましくない。しかしながら、例えば、画像形成装置の周辺にいる他人が音声を発した場合、その音声に音声入力装置が反応して、音声入力装置が他人の発話音声を音声コマンドと誤認識してしまうことがある。この場合、他人の発話音声を音声入力装置が音声認識した結果に応じた処理が、画像形成装置において実行されてしまう。状況によっては、操作者の意図しない設定でジョブが実行されたり、意図しない宛先にデータが送信されたりするなどの問題が発生してしまう。特許文献１及び２のいずれにも、このような状況の発生を防ぐ技術は開示されていない。

本発明はこのような状況に鑑みてなされたものである。本発明の目的は、操作者による手動操作時に、周囲にいる他人の発話等に基づいて操作者が意図しない処理が実行されてしまうことを防ぐことにある。

上記課題を解決するため、本発明の一側面を反映した画像処理システムは、操作入力部と、音声入力部と、音声認識部と、制御部と、音声入力禁止判定部と、表示部と、を備える。操作入力部には、操作者による手動操作が入力される。音声入力部は、音声を入力し、入力した音声を音声データに変換して出力する。音声認識部は、音声入力部から入力された音声データに対して音声認識処理を行い、認識結果を出力する。制御部は、音声認識部から入力された認識結果と予め対応付けられた処理を実行する。音声入力禁止判定部は、操作者による手動操作中であるか否かを判定し、手動操作中であると判定した場合に、音声入力部に入力された音声を無効化する。そして、音声入力禁止判定部は、音声入力部への音声入力が行われたときに表示部に表示されている画面に関する情報に基づいて、音声入力部への音声入力が行われた区間が音声入力禁止区間であるか否かを判定し、音声入力禁止区間であると判定した場合に、手動操作中であると判定する。

本発明では、操作者による手動操作中には、音声入力部に入力された音声が無効化される。それゆえ、本発明によれば、操作者の周囲にいる他人の発話等に基づいて、操作者が意図しない処理が実行されてしまうことを防ぐことができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施形態に係る画像処理システムの概略構成図である。 本発明の一実施形態に係る画像形成装置の制御系の構成例を示すブロック図である。 本発明の一実施形態に係る音声入力装置の制御系の構成例を示すブロック図である。 本発明の一実施形態に係るジョブ実行関連画面の例を示す図である。 本発明の一実施形態に係る第２の例外コマンドリストの構成例を示す図である。 本発明の一実施形態に係るユーザー設定メニュー画面の例を示す図である。 本発明の一実施形態に係る第３の例外コマンドリストの構成例を示す図である。 本発明の一実施形態に係る音声入力禁止判定部による音声入力禁止判定処理の手順を示すフローチャートである。 本発明の一実施形態に係る音声入力禁止判定部による音声入力禁止判定処理において実行される手動操作判定処理の手順を示すフローチャートである。

以下、本発明を実施するための形態例について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素は、同一の符号を付し、構成要素の重複説明は省略する。

＜画像処理システムの構成＞
まず、図１を参照して、本発明の一実施形態に係る画像処理システムの構成について説明する。図１は、本発明の一実施形態に係る画像処理システム１００の概要構成図である。

図１に示す画像処理システム１００は、画像形成装置１と、音声入力装置２（音声入力部の一例）と、クラウド３上に設けられた音声認識部３００とを備える。画像形成装置１及び音声入力装置２は、ネットワークＮを介して接続される。画像形成装置１及び音声認識部３００と、音声入力装置２及び音声認識部３００とは、それぞれ、ネットワークＮに接続された不図示の公衆回線等を介して接続される。

画像形成装置１は、例えば、コピー機能、プリンター機能、スキャナー機能等を有するＭＦＰ（Multi-Functional Peripherals）で構成される。画像形成装置１は、不図示のプリンタコントローラー等から送信された画像データに基づいて用紙（記録材の一例）に画像形成を行い、該画像が形成された用紙を印刷物として出力する。本実施形態に係る画像形成装置１は、操作表示部１０（図２参照）に対する手動操作と、音声入力装置２に音声を入力することによる音声操作との２通りの操作系統を有する。

音声入力装置２はマイクロフォン３０（図３参照）を備え、該マイクロフォン３０が集音した音声、例えば、操作者（ユーザー）によって発話された音声コマンド等を音声データに変換し、変換により得られた音声データをクラウド３上の音声認識部３００に送信（出力）する。

音声認識部３００は、音声入力装置２から送信（入力）された音声データに対して音声認識処理を行う。また、音声認識部３００は、音声認識処理により得られた認識音声に対応する画像形成装置１用のコマンド（認識結果の一例）を生成して、該コマンドを画像形成装置１に送信する。

なお、本実施形態では、クラウド３上の音声認識部３００が、音声データの認識音声に応じたコマンドを生成する例を挙げたが、本発明はこれに限定されない。音声認識部３００は、認識音声の内容を示すテキスト（認識結果の一例）のみを画像形成装置１に送信し、テキストに応じたコマンドの生成は、画像形成装置１側で行わせる構成としてもよい。

また、本実施形態では、音声認識部３００をクラウド３上に設ける例を挙げたが、本発明はこれに限定されない。音声認識部３００は、画像形成装置１内に設けられてもよく、不図示のオンプレミスサーバー内に設けられてもよい。

＜画像処理システムを構成する画像形成装置及び音声入力装置の制御系の構成＞
次に、図２及び図３を参照して、画像処理システム１００を構成する画像形成装置１及び音声入力装置２の制御系の構成例について説明する。図２は、画像形成装置１の制御系の構成例を示すブロック図であり、図３は、音声入力装置２の制御系の構成例を示すブロック図である。

［画像形成装置の制御系の構成］
まず、図２を参照して、画像形成装置１の制御系の構成について説明する。図２に示すように、画像形成装置１は、操作表示部１０と、制御部１１と、不揮発メモリ１２と、ＲＡＭ（Random Access Memory）１３と、ＨＤＤ（Hard Disc Drive）１４と、を備える。また、画像形成装置１は、自動原稿搬送部１５と、画像読み取り部１６と、画像処理部１７と、プリンター部１８（画像形成部の一例）と、有線通信部１９と、無線通信部２０と、ファクシミリ通信部２１と、を備える。

操作表示部１０は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）等よりなる表示パネル（表示部の一例）と、タッチセンサ等よりなる操作入力部とが一体に形成された操作パネル等で構成される。操作表示部１０の画面には、例えば、操作表示部１０に対する手動操作の内容に応じた情報、又は、音声入力装置２（図１参照）に音声を入力することによる音声操作の内容に応じた情報が表示される。また、操作表示部１０の操作入力部には、操作者による手動操作が入力される。そして、操作表示部１０は、操作者により入力された操作の内容に応じた操作信号を生成して、該操作信号を制御部１１に供給する。操作信号には、例えば、操作表示部１０の表示パネルで表示中の画面（以下、「アクティブ画面」とも称する）の種類及び階層の情報等が含まれる。

なお、本実施形態では、操作入力部及び表示部が操作表示部１０として一体に形成される例を挙げたが、本発明はこれに限定されない。表示パネルよりなる表示部と、キーボードやマウス等よりなる操作入力部とが、それぞれ別々に構成されてもよい。または、操作入力部及び表示部が一体に形成された操作表示部１０に加えて、キーボードやマウス等よりなる操作入力部をさらに備える構成としてもよい。

制御部１１は、例えばＣＰＵ（Central Processing Unit）等を含み、画像形成装置１を構成する各部の動作を制御する。具体的には、制御部１１は、クラウド３上の音声認識部３００から入力されるコマンドに予め対応付けられた、画像形成処理等を含む各種処理を、画像形成装置１を構成する各部に実行させる制御を行う。

また、制御部１１は、音声入力禁止判定部１１０を備える。音声入力禁止判定部１１０は、音声入力禁止判定処理を行う。具体的には、音声入力禁止判定部１１０は、操作者による手動操作中であるか否かを判定し、手動操作中であると判定した場合に、音声入力装置２に入力された音声（以下、「音声入力」とも称する）を無効化する。音声入力装置２から入力された音声の無効化は、例えば、以下の手法により実現することができる。
・音声認識部３００から送信される認識結果（認識音声の内容を表すテキスト、又は、テキストに対応するコマンド等）に基づく各種制御を、制御部１１に実行させない。
・音声認識部３００による認識結果を、音声認識部３００から画像形成装置１に送信させない。
・音声認識部３００による、音声入力装置２から入力された音声データの認識を行わせない。
・音声入力装置２から音声認識部３００に対して音声データを送信させない。

音声入力禁止判定部１１０は、操作者による手動操作中であるか否かの判定を、音声入力が行われた区間が音声入力禁止区間であるか否かを判定することにより行う。音声入力が行われた区間が音声入力禁止区間であると判定した場合、音声入力禁止判定部１１０は、操作者による手動操作中であると判定する。音声入力が行われた区間が音声入力禁止区間であるか否かの判定は、アクティブ画面（操作表示部１０で表示中の画面）に関する情報（以下、「アクティブ画面情報」とも称する）に基づいて行う。アクティブ画面情報には、例えば、アクティブ画面で表示中の画面の種類の情報、アクティブ画面の表示内容に対して操作者から操作表示部１０に入力された操作の、所定時間あたりの操作回数の情報、アクティブ画面に表示中の画面の階層の情報等がある。

具体的には、音声入力禁止判定部１１０は、アクティブ画面が、画像処理システム１００に入力されたジョブの実行に関する操作を受け付ける画面（以下「ジョブ実行関連画面」と称する）である場合、音声入力が行われた区間は音声入力禁止区間であると判定する。

また、音声入力禁止判定部１１０は、アクティブ画面に表示された内容対して操作者から操作表示部１０に入力された操作の、所定時間あたりの操作量が、予め定められた所定の操作量閾値を超えた場合、音声入力が行われた区間は音声入力禁止区間であると判定する。さらに、音声入力禁止判定部１１０は、アクティブ画面の階層が、予め定められた所定の階層数閾値を超えた場合、音声入力が行われた区間は音声入力禁止区間であると判定する。

また、音声入力禁止判定部１１０は、操作者による手動操作中であると判定した場合であっても、操作者によって第１の例外コマンドが入力（発話）された場合には、音声入力を有効化する。第１の例外コマンドは、音声入力による操作の開始（音声入力の有効化）を指示する「ウェイクワード」と称される起動コマンドである。第１の例外コマンドとしてのウェイクワードには、例えば、「音声入力を有効化」等の音声コマンドがあり、第１の例外コマンドは、第１の例外コマンドを規定するテーブルである第１の例外コマンドリストＬ１によって管理される。

また、音声入力禁止判定部１１０は、操作者による手動操作中であると判定した場合であっても、アクティブ画面に第２の例外コマンドに対応付けられた画面が表示された状態において、第２の例外コマンドが入力された場合には、第２の例外コマンドに設定されている処理を、処理を担当する部に実行させる制御を行う。第２の例外コマンドは、アクティブ画面の操作に関するコマンドであり、操作表示部１０に表示される画面の種類毎に設定される。第２の例外コマンドは、第２の例外コマンドを規定するテーブルである第２の例外コマンドリストＬ２によって管理される。第２の例外コマンドリストＬ２については、後述の図５を参照して詳述する。

さらに、音声入力禁止判定部１１０は、操作者による手動操作中であると判定した場合であっても、第３の例外コマンドが入力された場合には、入力された第３の例外コマンドに対応する処理を、処理を担当する部に実行させる制御を行う。第３の例外コマンドは、画像処理システム１００の状態を問い合せるステータス応答コマンドである。ステータス応答コマンドには、例えば、画像形成装置１が使用する所定の色のトナーの残量を問い合せるコマンドや、画像形成装置１に設定されたＩＰアドレスを問い合せるコマンドなどがある。第３の例外コマンドは、第３の例外コマンドを規定するテーブルである第３の例外コマンドリストＬ３によって管理される。第３の例外コマンドリストＬ３については、後述の図７を参照して詳述する。

不揮発メモリ１２は、制御部１１が実行するプログラム等の各種データが記憶される記憶部である。不揮発メモリ１２には、例外コマンド保存部１２０が設けられる。例外コマンド保存部１２０には、第１の例外コマンドリストＬ１、第２の例外コマンドリストＬ２、及び、第３の例外コマンドリストＬ３等が格納される。また、不揮発メモリ１２には、音声入力が行われた区間は音声入力禁止区間であるか否かを音声入力禁止判定部１１０が判定する際に用いる操作量閾値、階層数閾値等も格納される。

なお、本実施形態では、例外コマンド保存部１２０、各種閾値を不揮発メモリ１２内に設ける例を挙げたが、本発明はこれに限定されない。例外コマンド保存部１２０及び各種閾値は、ＨＤＤ１４内に設けられてもよい。

ＲＡＭ１３は、制御部１１がプログラムを実行する際の作業領域として使用される。ＨＤＤ１４には、不図示のプリンタコントローラー等から送信された画像データや、プリンター部１８による画像形成済の画像データ等が記憶される。

自動原稿搬送部１５は、不図示の原稿トレイに載置された原稿を、不図示のスキャナー部に１枚ずつ自動給送する。画像読み取り部１６は、不図示のスキャナー部から入力されたアナログ画像信号に対して、アナログ信号処理、Ａ／Ｄ変換処理、シェーディング処理等の各種処理を施し、各種信号処理が施されたデジタル画像データを画像処理部１７に出力する。

画像処理部１７は、画像読み取り部１６で生成されたデジタル画像データや、不図示のプリンタコントローラーから送信された画像データに対して、各種画像処理を施す。

プリンター部１８は、画像処理部１７で画像処理が施された画像データに基づいて用紙に画像を形成し、画像が形成された用紙を印刷物として出力する。具体的には、プリンター部１８は、不図示の帯電装置と、感光ドラムと、露光装置と、転写ベルトと、定着装置と、を備える。そして、プリンター部１８は、まず、帯電装置により帯電された感光体ドラムに対して、露光装置から画像に応じた光を照射させることにより、感光ドラムの周上に静電潜像を形成させる。次いで、プリンター部１８は、現像装置から感光体にトナーを供給させることにより、帯電した静電潜像上にトナーを付着させてトナー像を現像させる。次いで、プリンター部１８は、トナー像を転写ベルトに１次転写させるとともに、転写ベルトに転写されたトナー像をから用紙に２次転写させ、さらに、定着装置に、用紙上に転写されたトナー像を用紙に定着させる。

なお、ここでは、プリンター部１８が電子写真方式を用いて画像形成を行う例を挙げたが、本発明はこれに限定されない。本発明の画像処理システム、画像形成装置では、インクジェット方式等の他の方式で画像形成を行うプリンター部を用いてもよい。

有線通信部１９は、例えば、ＮＩＣ（Network Interface Card）、モデム等を含み、ネットワークＮに接続される。有線通信部１９は、ネットワークＮを介して接続される不図示のプリンタコントローラーから送信される画像データ等を受信する。また、有線通信部１９は、ネットワークＮを介して接続されるクラウド３内の音声認識部３００との間で行われる、各種データの送受信動作を制御する。さらに、有線通信部１９は、ネットワークＮを介して接続される音声入力装置２との間で行われる各種データの送受信動作を制御する。

無線通信部２０は、無線通信を介して接続される不図示の各種装置や端末等との間で行われる各種データの送受信動作を制御する。なお、有線通信部１９が行う音声認識部３００との間で行われる各種データの送受信動作の制御、及び／又は、音声入力装置２との間で行われる各種データの送受信動作の制御を、無線通信部２０が行う構成としてもよい。

ファクシミリ通信部２１は、不図示の公衆交換電話網又はＩＰ通信網等と接続され、これらの回線を介して接続されるファクシミリ機能を備えた不図示の装置との間で行われる各種データの送受信動作を制御する。

［音声入力装置の制御系の構成］
次に、図３を参照して、音声入力装置２の制御系の構成について説明する。図３に示すように、音声入力装置２は、マイクロフォン３０と、制御部３１と、不揮発メモリ３２と、ＲＡＭ３３と、有線通信部３４と、無線通信部３５と、音声出力部３６と、を備える。

マイクロフォン３０は、周囲の音声を集音し、集音した音声を音声データに変換する。マイクロフォン３０が収集する周囲の音声には、例えば、操作者により発話された音声コマンドや、操作者の周囲に存在する他人の話し声等が含まれる。マイクロフォン３０によって変換された音声データは、無線通信部３５を介してクラウド３上の音声認識部３００（図２参照）に送信（出力）される。

制御部３１は、例えばＣＰＵ等を含み、音声入力装置２を構成する各部の動作を制御する。例えば、制御部３１は、マイクロフォン３０が得た音声データを、無線通信部３５を介してクラウド３上の音声認識部３００に送信させる制御を行う。また、制御部３１は、例えば、ネットワークＮを介して接続された画像形成装置１から送信された、ステータス応答コマンドに対する返答（音声データ）を音声出力部３６から放音させる制御を行う。

不揮発メモリ３２は、制御部３１が実行するプログラム等の各種データが記憶される記憶部である。ＲＡＭ３３は、制御部３１がプログラムを実行する際の作業領域として使用される。

有線通信部３４は、例えばＮＩＣ等を含み、ネットワークＮに接続される。有線通信部３４は、例えば、ネットワークＮを介して接続された画像形成装置１から送信される、ステータス応答コマンドに対する返答等を受信する。

無線通信部３５は、不図示の公衆回線等に接続され、該公衆回線等を介して接続されるクラウド３内の音声認識部３００との間で行われる各種データの送受信動作を制御する。なお、無線通信部３５で行う、音声認識部３００との間で行われる各種データの送受信動作の制御は、有線通信部３４が行ってもよい。

音声出力部３６は、例えばスピーカーで構成され、制御部３１から入力される音声データを音声に変換して外部に放音する。

［ジョブ実行関連画面の例］
次に、図４を参照して、画像形成装置１の音声入力禁止判定部１１０が音声入力禁止判定処理を行う際の判断材料の一つであるジョブ実行関連画面の例について説明する。図４は、ジョブ実行関連画面の例を示す図である。

ジョブ実行関連画面は、画像処理システム１００に入力されたジョブの実行に関する操作を受け付ける画面であり、例えば、印刷設定画面、コピー画面、ファックス画面、スキャン画面等がある。図４には、ジョブ実行関連画面の一例として、コピー画面を例に示す。

図４に示すコピー画面Ｓｃ１の下方には、コピー機能に関する設定項目である「原稿画質」、「カラー」、「濃度」、「用紙」、「倍率」、「画面／ページ集約」、「仕上り」の各設定項目を設定するための各アイコンが、横方向に一列に並んで表示されている。音声入力禁止判定部１１０は、アクティブ画面が、図４に示すコピー画面Ｓｃ１のようなジョブ実行関連画面である場合、音声入力が行われた区間は音声入力禁止区間であると判定する。

［第２の例外コマンドリストの例］
次に、図５を参照して、音声入力禁止判定部１１０が音声入力禁止判定処理を行う際に参照する第２の例外コマンドリストＬ２の構成例について説明する。図５は、第２の例外コマンドリストＬ２の構成例を示す図である。図５に示すように、第２の例外コマンドリストＬ２は、「画面番号」、「画面名称」、「認識音声」及び「処理」の各項目を有する。

「画面番号」の項目には、操作表示部１０に表示される各画面に付与された識別番号としての画面番号が格納される。「画面名称」の項目には、操作表示部１０に表示される各画面の名称が格納される。「認識音声」の項目には、第２の例外コマンドの内容をテキストで示したものが格納される。「処理」の項目には、操作者によって第２の例外コマンドが入力された場合に実行される処理の内容が格納される。

そして、第２の例外コマンドリストＬ２では、画面番号（画面名称）で識別される画面と、「認識音声」に格納された第２の例外コマンドと、「処理」に格納された処理とが対応付けて管理される。例えば、第２の例外コマンドリストＬ２の一行目においては、画面番号が「画面０１００」であり、画面名称が「ユーザー設定メニュー画面」である画面と、「環境設定ボタンを押下」という第２の例外コマンドと、「環境設定ボタン押下処理」という処理内容とが対応付けて管理される。第２の例外コマンドリストＬ２の二行目においては、画面番号が「画面０１００」であり、画面名称が「ユーザー設定メニュー画面」である画面と、「画面カスタマイズ設定を押下」という第２の例外コマンドと、「画面カスタマイズボタン押下処理」という処理内容とが対応付けて管理される。

例えば、画面番号が「画面０１００」であり、画面名称が「ユーザー設定メニュー画面」である画面がアクティブ画面である状況において、操作者によって「環境設定ボタン押下」という音声コマンドが発話（音声入力装置２に入力）されたとする。この場合、音声入力禁止判定部１１０は、その前の時点で手動操作中であると判定していた（音声入力が無効化されていていた）場合にも、第２の例外コマンドである「環境設定ボタン押下」と対応付けられている「環境設定ボタン押下処理」を、制御部１１に実行させる制御を行う。

図６は、画面番号が「画面０１００」であるユーザー設定メニュー画面Ｓｃ２の例を示す図である。図６に示すユーザー設定メニュー画面Ｓｃ２の左側には、ユーザー設定メニューの項目を示す、「しおり表示」、「テンキー表示」及び「設定メニュー」の各ボタンが縦方向に一列に並んで表示されている。また、「設定メニュー」の項目において「ユーザー設定」の項目が選択されていることが示されている。

図６に示すユーザー設定メニュー画面Ｓｃ２における、メニュー項目の表示位置の右側には、「ユーザー設定」の各設定項目を示すアイコンとして、「１ 環境設定」、「２ 画面カスタマイズ設定」、「３ コピー設定」、「４ スキャン設定」及び「５ プリンター設定」の各ボタンが縦方向に一列に並んで表示されている。

図６に示すユーザー設定メニュー画面Ｓｃ２が操作表示部１０に表示されている（アクティブ画面である）状況において、操作者によって「環境設定ボタンを押下」という音声コマンドが音声入力装置２に入力されたとする。この場合、音声入力禁止判定部１１０は、第２の例外コマンドリストＬ２に記載の内容に基づいて、制御部１１に、ユーザー設定メニュー画面における「環境設定」のボタンを押下させる制御を行う。音声入力禁止判定部１１０によって上述したような制御が行われることにより、操作者は、音声入力が無効化されている状況下においても、アクティブ画面の操作に関する第２の例外コマンドを発話することにより、アクティブ画面を操作することが可能となる。

［第３の例外コマンドリストの例］
次に、図７を参照して、音声入力禁止判定部１１０が音声入力禁止判定処理を行う際に参照する第３の例外コマンドリストＬ３の構成例について説明する。図７は、第３の例外コマンドリストＬ３の構成例を示す図である。

図７に示すように、第３の例外コマンドリストＬ３は、「認識音声」及び「処理」の各項目を有する。「認識音声」の項目には、第３の例外コマンドの内容をテキストで示したものが格納される。「処理」の項目には、操作者によって第３の例外コマンドが入力された場合に実行される処理の内容が格納される。そして、第３の例外コマンドリストＬ３では、「認識音声」及び「処理」が対応付けて管理される。

第３の例外コマンドリストＬ３の一行目では、「Ｋのトナー残量を教えて」という第３の例外コマンドと、「Ｋトナー残量を音声で応答する」という処理の内容とが対応付けて管理される。また、第３の例外コマンドリストＬ３の二行目では、「ＩＰアドレスを教えて」という第３の例外コマンドと、「ＩＰアドレスを音声で応答する」という処理の内容とが対応付けて管理される。

例えば、操作者によって「Ｋのトナー残量を教えて」という音声コマンドが音声入力装置２に入力された場合、音声入力禁止判定部１１０は、Ｋ（ブラック）のトナーの残量を、音声入力装置２の音声出力部３６（図３参照）から音声で応答させる制御を行う。また、例えば、操作者によって「ＩＰアドレスを教えて」という音声コマンドが音声入力装置２に入力された場合、音声入力禁止判定部１１０は、画像形成装置１のＩＰアドレスを、音声入力装置２の音声出力部３６から音声で応答させる制御を行う。

音声入力禁止判定部１１０によってこのような制御が行われることにより、操作者は、音声入力が無効化されている状況下においても、「ＩＰアドレスを教えて」等の、ステータス応答コマンドである第２の例外コマンドを発話することにより、画像処理システム１００の状態（ステータス）を容易に把握することが可能となる。

［音声入力禁止判定部による音声入力禁止判定処理］
次に、図８及び図９を参照して、音声入力禁止判定部１１０による音声入力禁止判定処理の手順について説明する。図８は、音声入力禁止判定部１１０による音声入力禁止判定処理の手順を示すフローチャートである。図９は、音声入力禁止判定部１１０による音声入力禁止判定処理において実行される手動操作判定処理の手順を示すフローチャートである。

まず、音声入力禁止判定部１１０は、音声入力装置２に対して操作者により音声が入力されたか否かを判定する（ステップＳ１）。本実施形態では、操作者によって音声入力装置２に音声が入力された場合、音声入力装置２によって音声が音声データに変換され、該音声データが、クラウド３上の音声認識部３００に入力される。そして、音声認識部３００による認識音声に対応するコマンドが、画像形成装置１に入力される。したがって、音声入力禁止判定部１１０は、音声認識部３００からコマンドが入力されたか否かを判定することによって、操作者による音声の入力があったか否かを判定することができる。

ステップＳ１で、操作者による音声入力はないと判定された場合（ステップＳ１がＮＯ判定の場合）、音声入力禁止判定部１１０は、ステップＳ１の判定を繰り返す。一方、ステップＳ１で、操作者による音声入力があったと判定された場合（ステップＳ１がＹＥＳ判定の場合）、音声入力禁止判定部１１０は、手動操作判定処理を行う（ステップＳ２）。手動操作判定処理の手順については、次の図９を参照して詳述する。音声入力禁止判定部１１０によってステップＳ２の手動操作判定処理が行われることにより、操作者による手動操作中であるか否かが判定される。

次いで、音声入力禁止判定部１１０は、手動操作中であるか否かを判定する（ステップＳ３）。つまり、音声入力禁止判定部１１０は、ステップＳ２の手動操作判定処理の結果得られた判定が、「手動操作中」であったか否かを判定する。

ステップＳ３で、手動操作中ではないと判定された場合（ステップＳ３がＮＯ判定の場合）、音声入力禁止判定部１１０は、音声入力を有効化するとともに、ステップＳ１で入力された音声に対応する処理を、処理を担当する部に実行させる制御を行う（ステップＳ４）。ステップＳ４の処理後、音声入力禁止判定部１１０はステップＳ１の判定を行う。

一方、ステップＳ３で、手動操作中であると判定された場合（ステップＳ３がＹＥＳ判定の場合）、音声入力禁止判定部１１０は、ステップＳ１で入力された音声は第１の例外コマンドであるか否かを判定する（ステップＳ５）。つまり、音声入力禁止判定部１１０は、ステップＳ１で入力された音声が、「音声入力を有効化」等のウェイクワードであるか否かを判定する。

ステップＳ５で、入力された音声は第１の例外コマンドであると判定された場合（ステップＳ５がＹＥＳ判定の場合）、音声入力禁止判定部１１０は、ステップＳ４の処理を行う。すなわち、音声入力を有効化するとともに、ステップＳ１で入力された音声に対応する処理を、処理を担当する部に実行させる制御を行う。

一方、ステップＳ５で、入力された音声は第１の例外コマンドではないと判定された場合（ステップＳ５がＮＯ判定の場合）、音声入力禁止判定部１１０は、ステップＳ１で入力された音声はアクティブ画面に設定された第２の例外コマンドであるか否かを判定する（ステップＳ６）。つまり、音声入力禁止判定部１１０は、ステップＳ１で入力された音声が、第２の例外コマンドリストＬ２（図５参照）において、アクティブ画面と対応付けられている第２の例外コマンドであるか否かを判定する。

ステップＳ６で、入力された音声はアクティブ画面に設定された第２の例外コマンドであると判定された場合（ステップＳ６がＹＥＳ判定の場合）、音声入力禁止判定部１１０は、コマンド（第２の例外コマンド）に割り当てられた処理のみを、処理を担当する部に実行させる制御を行う（ステップＳ７）。例えば、アクティブ画面が図６に示すユーザー設定メニュー画面Ｓｃ２であり、ステップＳ１で入力された音声が「環境設定ボタンを押下」という音声であった場合、音声入力禁止判定部１１０は、制御部１１に、ユーザー設定メニュー画面における「環境設定」のボタンを押下させる制御を行う。ステップＳ７の処理後、音声入力禁止判定部１１０は、ステップＳ１の判定を行う。

一方、ステップＳ６で、ステップＳ１で入力された音声はアクティブ画面に設定された第２の例外コマンドではないと判定された場合（ステップＳ６がＮＯ判定の場合）、音声入力禁止判定部１１０は、ステップＳ１で入力された音声は第３の例外コマンドであるか否かを判定する（ステップＳ８）。つまり、音声入力禁止判定部１１０は、ステップＳ１で入力された音声が「ＩＰアドレスを教えて」等のステータス応答コマンドであるか否かを判定する。

ステップＳ８で、入力された音声は第３の例外コマンドであると判定された場合（ステップＳ８がＹＥＳ判定の場合）、音声入力禁止判定部１１０は、ステップＳ７の処理を行う。すなわち、コマンド（第３の例外コマンド）に割り当てられた処理のみを、処理を担当する部に実行させる制御を行う。

一方、ステップＳ８で、ステップＳ１で入力された音声は第３の例外コマンドではないと判定された場合（ステップＳ８がＮＯ判定の場合）、音声入力禁止判定部１１０は、ステップＳ１で入力された音声を無効化する（ステップＳ９）。ステップＳ９の処理後、音声入力禁止判定部１１０はステップＳ１の判定を行う。

次に、図８のステップＳ２で行う手動操作判定処理の手順について、図９を参照して説明する。

まず、音声入力禁止判定部１１０は、アクティブ画面はジョブ実行関連画面であるか否かを判定する（ステップＳ１１）。つまり、音声入力禁止判定部１１０は、図８のステップＳ１で音声入力が行われたときに操作表示部１０に表示されている画面が、印刷設定画面やコピー画面などのジョブ実行関連画面であるか否かを判定する。ステップＳ１１で、アクティブ画面はジョブ実行関連画面であると判定された場合（ステップＳ１１がＹＥＳ判定の場合）、音声入力禁止判定部１１０は、音声入力が行われた区間は音声入力禁止区間であると判定し、操作者による手動操作中とみなす（ステップＳ１２）。ステップＳ１２の処理後、音声入力禁止判定部１１０は手動操作判定処理を終了し、図８のステップＳ３の判定を行う。

一方、ステップＳ１１で、アクティブ画面はジョブ実行関連画面ではないと判定された場合（ステップＳ１１がＮＯ判定の場合）、音声入力禁止判定部１１０は、アクティブ画面の表示内容に対する操作者による一定時間あたりの操作量が、予め定められた操作量閾値を超えているか否かを判定する（ステップＳ１３）。「操作量」には、例えば、操作表示部１０の画面をタッチした回数、画面上のボタン又は画面とは別に設けられたボタンの押下回数等がある。「一定時間あたりの操作量」と対比される操作量閾値には、その画面に対して操作者が意図的に操作を行っているか否かを判定可能な値が設定される。例えば、操作量閾値には「１０秒間に２回」等の値を設定可能である。操作量閾値の値は、この例に限定されず、他の様々な値を取り得る。

ステップＳ１３で、アクティブ画面の表示内容に対する操作者による一定時間あたりの操作量が操作量閾値を超えていると判定された場合（ステップＳ１３がＹＥＳ判定の場合）、音声入力禁止判定部１１０は、ステップＳ１２の処理を行う。すなわち、音声入力が行われた区間は音声入力禁止区間であると判定し、操作者による手動操作中とみなす。

一方、ステップＳ１３で、アクティブ画面の表示内容に対する操作者による一定時間あたりの操作量は操作量閾値を超えていないと判定された場合（ステップＳ１３がＮＯ判定の場合）、音声入力禁止判定部１１０は、アクティブ画面の階層が予め定められた階層数閾値を超えているか否かを判定する（ステップＳ１４）。階層数閾値には、操作者が手動操作を行うことによって達することが想定される画面の遷移の数に相当する階層数を設定可能である。

ステップＳ１４で、アクティブ画面の階層が階層数閾値を超えていると判定された場合（ステップＳ１４がＹＥＳ判定の場合）、音声入力禁止判定部１１０は、ステップＳ１２の処理を行う。すなわち、音声入力が行われた区間は音声入力禁止区間であると判定し、操作者による手動操作中とみなす。

一方、ステップＳ１４で、アクティブ画面の階層は階層数閾値を超えていないと判定された場合（ステップＳ１４がＮＯ判定の場合）、音声入力禁止判定部１１０は、音声入力が行われた区間は音声入力禁止区間ではないと判定し、操作者による手動操作中とはみなさない（ステップＳ１５）。ステップＳ１５の処理後、音声入力禁止判定部１１０は手動操作判定処理を終了し、図８のステップＳ３の判定を行う。

なお、図９に示す例では、音声入力禁止判定部１１０は、ステップ１４がＮＯ判定の場合に、音声入力禁止区間ではないと判定し、操作者による手動操作中とはみなさない、というステップＳ１５の処理を行うが、本発明はこれに限定されない。例えば、音声入力禁止判定部１１０は、ステップＳ１４がＮＯ判定の場合には何の処理も行わずに、手動操作判定処理を終了させてもよい。この場合、音声入力禁止判定部１１０においては、ステップＳ１２で行った、操作者による手動操作中であるという判定結果のみが保持される。

また、図９に示す例では、音声入力禁止判定部１１０が、ステップＳ１１、ステップＳ１３及びステップＳ１４の判定のいずれかがＹＥＳ判定である場合に、音声入力禁止区間であると判定し、操作者による手動操作中とみなす例を挙げたが、本発明はこれに限定されない。音声入力禁止判定部１１０は、ステップＳ１１、ステップＳ１３及びステップＳ１４のうちの複数又はすべてにおいて行われる判定がＹＥＳ判定である場合に、音声入力禁止区間であると判定し、操作者による手動操作中とみなしてもよい。

上述した実施形態では、音声入力禁止判定部１１０によって操作者による手動操作中であると判定された場合、音声入力装置２から音声認識部３００への音声データの入力が無効化される。つまり、本実施形態によれば、操作者によって手動操作が行われている時に、周囲にいる他人が発話した場合にも、発話の内容に基づく処理が画像形成装置１で実行されない。それゆえ、本実施形態によれば、周囲にいる他人の発話等に基づいて、操作者が意図しない処理が実行されてしまうことを防ぐことができる。

また、上述した実施形態では、音声入力禁止判定部１１０は、操作表示部１０において表示中のアクティブ画面に関する情報に基づいて、音声入力が行われた区間が音声入力禁止区間であるか否かを判定する。そして、音声入力禁止区間であると判定した場合に、操作者による手動操作中であると判定する。したがって、本実施形態によれば、アクティブ画面で表示中の内容や階層等を含む、アクティブ画面に関する情報に基づいて、操作者によって手動操作が行われているか否かが適切に判定される。

また、上述した実施形態では、音声入力禁止判定部１１０は、アクティブ画面が、画像処理システム１００に入力されたジョブの実行に関する操作を受け付けるジョブ実行関連画面である場合、音声入力が行われた区間は音声入力禁止区間であると判定する。したがって、本実施形態によれば、操作者による音声入力が行われたときに操作表示部１０に表示されている画面が、印刷設定画面、コピー画面、ファックス画面、スキャン画面等のジョブ実行関連画面である場合に、操作者による手動操作中であるとみなされ、音声入力が無効化される。それゆえ、本実施形態によれば、操作者の意図しない設定でジョブが実行されたり、意図しない宛先にデータが送信されたりしてしまうなどの問題の発生を防ぐことができる。

また、上述した実施形態では、音声入力禁止判定部１１０は、アクティブ画面に表示された内容に対して操作者から操作表示部１０に入力された操作の、所定時間あたりの操作量が、予め定められた所定の操作量閾値を超えた場合、音声入力が行われた区間は音声入力禁止区間であると判定する。したがって、本実施形態では、操作者が操作表示部１０に対して手動操作を行っていると判断が可能な状況において、音声入力が無効化される。それゆえ、本実施形態によれば、操作者が手動操作を行っている際に、周囲にいる他人の発話等に基づいて、操作者が意図しない処理が実行されてしまうことを防ぐことができる。

また、上述した実施形態では、音声入力禁止判定部１１０は、アクティブ画面の階層が、予め定められた所定の階層数閾値を超えている場合、音声入力が行われた区間は音声入力禁止区間であると判定する。したがって、本実施形態では、操作者が操作表示部１０に対して手動操作を行っていると判断が可能な状況において、音声入力が無効化される。それゆえ、本実施形態によれば、操作者が手動操作を行っている際に、周囲にいる他人の発話等に基づいて、操作者が意図しない処理が実行されてしまうことを防ぐことができる。

また、上述した実施形態では、音声入力禁止判定部１１０は、操作者による手動操作中であると判定した場合であっても、音声入力装置２から音声認識部３００に入力された音声データが、音声による操作入力の開始を指示する第１の例外コマンドの音声データである場合には、音声入力装置２に入力された音声を有効化にする。つまり、本実施形態では、操作者によって、第１の例外コマンドとしてのウェイクワードが入力された場合に、音声入力が有効化される。それゆえ、本実施形態によれば、操作者が意図的に音声入力を有効化させたい状況において、操作者は必ず音声操作を行えるようになる。

また、上述した実施形態では、音声入力禁止判定部１１０は、操作者による手動操作中であると判定した場合であっても、音声入力装置２から音声認識部３００に入力された音声データが、アクティブ画面の操作に関する第２の例外コマンドの音声データである場合には、音声入力装置２に入力された音声を有効化する。したがって、本実施形態では、「アクティブ画面に表示されたボタンの押下」等の第２の例外コマンドが入力された場合に、音声入力が有効化され、操作者による音声操作が可能になる。それゆえ、本実施形態によれば、手動操作による作業が音声操作によってより簡便になるケースにおいて、操作者が音声操作を行うことができるようになる。

また、上述した実施形態では、音声入力禁止判定部１１０は、操作者による手動操作中であると判定した場合であっても、音声入力装置２から音声認識部３００に入力された音声データが、画像処理システム１００の状態を問い合せる第３の例外コマンドの音声データである場合には、音声入力装置２に入力された音声を有効化する。したがって、本実施形態では、画像処理システム１００の状態を問い合せる等の、操作者による手動作業が妨害されないケースにおいて、操作者が音声操作を行うことができるようになる。

＜各種変形例＞
なお、本発明は上述した実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得る。

上述した実施形態では、音声入力禁止判定部１１０を画像形成装置１内に設ける例を挙げたが、本発明はこれに限定されない。音声入力禁止判定部１１０をクラウド３上に設けることにより、音声入力禁止判定処理をクラウド３側で実行させてもよい。この場合、クラウド３上に設けられた音声入力禁止判定部１１０は、画像形成装置１のステータス（アクティブ画面情報等）を取得し、取得した内容に基づいて音声入力禁止判定処理を行う。そして、クラウド３上に設けられた音声入力禁止判定部１１０は、手動操作中ではないと判定した場合にのみ、音声認識した認識音声と対応するコマンドを生成して、該コマンドを画像形成装置１に送信する。

もしくは、音声入力禁止判定部１１０が実行する音声入力禁止判定処理のうちの手動操作判定処理（図９参照）のみを、クラウド３上に設けた音声入力禁止判定部１１０に実行させてもよい。

また、上述した実施の形態では、ステータス応答コマンドに対する応答を、音声入力装置２の音声出力部３６（図３参照）が行う例を挙げたが、本発明はこれに限定されない。ステータス応答コマンドに対する応答は、画像形成装置１内に設けられた不図示のスピーカーから放音させてもよい。

１…画像形成装置、２…音声入力装置、３…クラウド、１０…操作表示部、１１…制御部、１２…不揮発メモリ、１３…ＲＡＭ、１４…ＨＤＤ、１５…自動原稿搬送部、１６…画像読み取り部、１７…画像処理部、１８…プリンター部、１９…有線通信部、２０…無線通信部、２１…ファクシミリ通信部、３０…マイクロフォン、３１…制御部、３２…不揮発メモリ、３３…ＲＡＭ、３４…有線通信部、３５…無線通信部、３６…音声出力部、１００…画像処理システム、１１０…音声入力禁止判定部、１２０…例外コマンド保存部、３００…音声認識部、Ｌ１…第１の例外コマンドリスト、Ｌ２…第２の例外コマンドリスト、Ｌ３…第３の例外コマンドリスト

Claims (10)

1. 操作者による手動操作が入力される操作入力部と、
   音声を入力し、前記入力した音声を音声データに変換して出力する音声入力部と、
   前記音声入力部から入力された前記音声データに対して音声認識処理を行い、認識結果を出力する音声認識部と、
   前記音声認識部から入力された前記認識結果と予め対応付けられた処理を実行する制御部と、
   前記操作者による手動操作中であるか否かを判定し、前記手動操作中であると判定した場合に、前記音声入力部に入力された音声を無効化する音声入力禁止判定部と、
   表示部と、を備え、
   前記音声入力禁止判定部は、前記音声入力部への音声入力が行われたときに前記表示部に表示されている画面に関する情報に基づいて、前記音声入力部への音声入力が行われた区間が音声入力禁止区間であるか否かを判定し、前記音声入力禁止区間であると判定した場合に、前記手動操作中であると判定する
   画像処理システム。
2. 前記音声入力禁止判定部は、前記音声入力部への音声入力が行われたときに前記表示部に表示されている画面が、画像処理システムに入力されたジョブの実行に関する操作を受け付けるジョブ実行関連画面である場合、前記音声入力部への音声入力が行われた区間は前記音声入力禁止区間であると判定する
   請求項１に記載の画像処理システム。
3. 前記音声入力禁止判定部は、前記表示部において表示中の画面に表示された内容に対して前記操作者から前記操作入力部に入力された操作の、所定時間あたりの操作量が、予め定められた所定の操作量閾値を超えた場合、前記音声入力部への音声入力が行われた区間は前記音声入力禁止区間であると判定する
   請求項１又は２に記載の画像処理システム。
4. 前記音声入力禁止判定部は、前記表示部において表示中の画面の階層が、予め定められた所定の階層数閾値を超えている場合、前記音声入力部への音声入力が行われた区間は前記音声入力禁止区間であると判定する
   請求項１～３のいずれか一項に記載の画像処理システム。
5. 前記音声入力禁止判定部は、前記手動操作中であると判定した場合であっても、前記音声入力部から前記音声認識部に入力された音声データが、音声による操作入力の開始を指示する第１の例外コマンドの音声データである場合には、前記音声入力部に入力された音声を有効化する
   請求項１～４のいずれか一項に記載の画像処理システム。
6. 前記音声入力禁止判定部は、前記手動操作中であると判定した場合であっても、前記音声入力部から前記音声認識部に入力された音声データが、前記表示部において表示中の画面の操作に関する第２の例外コマンドの音声データである場合には、前記音声入力部に入力された音声を有効化する
   請求項１～５のいずれか一項に記載の画像処理システム。
7. 前記音声入力禁止判定部は、前記手動操作中であると判定した場合であっても、前記音声入力部から前記音声認識部に入力された音声データが、画像処理システムの状態を問い合せる第３の例外コマンドの音声データである場合には、前記音声入力部に入力された音声を有効化する
   請求項１～６のいずれか一項に記載の画像処理システム。
8. 操作者による手動操作が入力される操作入力部と、
   記録材に画像を形成する画像形成部と、
   入力された音声を音声入力部が変換した音声データを、音声認識部が音声認識処理することにより得られる認識結果と予め対応付けられた、前記画像形成部による画像形成処理を含む処理を実行する制御部と、
   前記操作者による手動操作中であるか否かを判定し、前記手動操作中であると判定した場合に、前記音声入力部に入力された音声を無効化する音声入力禁止判定部と、
   表示部と、を備え、
   前記音声入力禁止判定部は、前記音声入力部への音声入力が行われたときに前記表示部に表示されている画面に関する情報に基づいて、前記音声入力部への音声入力が行われた区間が音声入力禁止区間であるか否かを判定し、前記音声入力禁止区間であると判定した場合に、前記手動操作中であると判定する
   画像形成装置。
9. 操作入力部が操作者による操作を受け付けることと、
   音声入力部が音声を入力し、前記入力した音声を音声データに変換して出力することと、
   音声認識部が入力された前記音声データに対して音声認識処理を行い、認識結果を出力することと、
   制御部が入力された前記認識結果と予め対応付けられた処理を実行することと、
   音声入力禁止判定部が前記操作者による手動操作中であるか否かを判定し、前記手動操作中であると判定した場合に、前記入力された音声を無効化することと、を含む音声入力禁止判定方法であって、
   前記音声入力禁止判定部は、前記音声入力部への音声入力が行われたときに表示部に表示されている画面に関する情報に基づいて、前記音声入力部への音声入力が行われた区間が音声入力禁止区間であるか否かを判定し、前記音声入力禁止区間であると判定した場合に、前記手動操作中であると判定する
   音声入力禁止判定方法。
10. 操作入力部が操作者による操作を受け付けることと、
    音声入力部が音声を入力し、前記入力した音声を音声データに変換して出力することと、
    音声認識部が入力された前記音声データに対して音声認識処理を行い、認識結果を出力することと、
    制御部が入力された前記認識結果と予め対応付けられた、記録材に画像を形成する画像形成処理を含む処理を実行することと、
    音声入力禁止判定部が前記操作者による手動操作中であるか否かを判定し、前記手動操作中であると判定した場合に、前記入力された音声を無効化することと、をコンピュータに実行させるプログラムであって、
    前記音声入力禁止判定部は、前記音声入力部への音声入力が行われたときに表示部に表示されている画面に関する情報に基づいて、前記音声入力部への音声入力が行われた区間が音声入力禁止区間であるか否かを判定し、前記音声入力禁止区間であると判定した場合に、前記手動操作中であると判定する
    プログラム。

Images