JP7271925B2

JP7271925B2 - 音声操作システム、音声操作方法および音声操作プログラム

Info

Publication number: JP7271925B2
Application number: JP2018230042A
Authority: JP
Inventors: 卓也川野
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2018-12-07
Filing date: 2018-12-07
Publication date: 2023-05-12
Anticipated expiration: 2038-12-07
Also published as: US20200184970A1; JP2020091448A

Description

本発明は、音声操作システム、音声操作方法および音声操作プログラムに関し、特に音声指示をやり直す必要がある場合における装置動作の開始遅延を抑制する技術に関する。

近年、スマートスピーカーを介してバーチャルアシスタントサーバーを利用することによって様々なタスクやサービスをデバイスに音声指示し、実行させる技術が実用化されている。画像形成装置の技術分野においても、このような音声インターフェイスを用いて装置を操作することが検討されている。

このため、例えば、音声認識技術を用いて指示音声からテキストデータを生成し、得られたテキストデータに含まれる名詞や助詞、動詞を組み合わせた一文を認識することによって、画像形成装置を操作する技術が提案されている（特許文献１を参照）。このようにすれば、語句の順序の制約を受けることなく自由な順序で音声指示を行うことができるのでユーザーの利便性を高めることができる。

特開２０１１－６５１０８号公報

上記の従来技術は、各語句を音声認識することができることを前提としており、音声認識に失敗した語句がある場合には、ユーザーが意図した通りの操作を画像形成装置に対して指示することができない場合もあり得る。このような場合には、スマートスピーカーを用いて音声認識に失敗した旨をユーザーに通知して、音声指示の再入力を促せば、画像形成装置に対する操作内容の正確性を改善することができる。

しかしながら、ユーザーに音声指示を繰り返させると、その分だけ画像形成装置によるジョブの実行開始が遅延してしまう。例えば、図２８に示すように、ユーザーがスマートスピーカー（SS）に向かって「プリントして下さい」と音声指示した場合、バーチャルアシスタントサーバーが音声認識に失敗しなければ、画像形成装置に対して直ちにプリント命令するので、図２８に示すように、ウォームアップ開始、完了を経て、画像形成処理が速やかに開始される。

一方、ユーザー指示の音声認識に失敗した場合には、例えば、「もう一度お願いします」のように、スマートスピーカーを用いてユーザーに再指示を要求し、この再指示の要求に対する「プリントして下さい」との再指示の音声をユーザーから受け付ける。この再指示の音声認識に成功したら、バーチャルアシスタントサーバーは画像形成装置に対してプリント命令を行い、画像形成装置はプリント命令に従って画像形成処理を開始する。

このため、ユーザー指示の音声認識に失敗して、ユーザーに再指示を要求する場合には、画像形成装置による画像形成処理の開始が遅くなってしまう。また、音声認識を成功させるために、ユーザーが音声指示の発話をゆっくり行うと、更に時間がかかってしまう。

本発明は、上述のような問題に鑑みて為されたものであって、ユーザー指示の音声認識に失敗した場合におけるジョブの実行開始の遅延を抑制することができる音声操作システム、音声操作方法および音声操作プログラムを提供することを目的とする。

上記目的を達成するため、本発明の一形態に係る音声操作システムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、前記受付装置は、前記音声指示を音声認識する音声認識手段と、前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、前記処理装置は、画像処理装置であって、前記操作命令の命令内容に対応する処理を実行する処理手段と、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、前記処理特定手段は、前記操作命令が、プリント操作に関する命令である場合には、当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、前記事前処理をウォームアップ処理とすることを特徴とする。

また、本発明の別の一形態に係る音声操作システムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、前記受付装置は、前記音声指示を音声認識する音声認識手段と、前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、前記処理装置は、端末装置であって、前記操作命令の命令内容に対応する処理を実行する処理手段と、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、前記処理特定手段は、前記操作命令が、プリント操作に関する命令である場合には、前記事前処理を前記端末装置がプリントジョブを作成するためのプリンター・ドライバーを起動するとともに、前記操作命令で指定されているプリント条件を前記プリンター・ドライバーに入力する処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作システムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、前記受付装置は、前記音声指示を音声認識する音声認識手段と、前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、前記処理装置は、画像処理装置であって、前記操作命令の命令内容に対応する処理を実行する処理手段と、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、前記処理特定手段は、前記操作命令が、前記画像処理装置が原稿から読み取った画像データ、または予め記憶している画像データのファイル送信に関する命令である場合には、前記事前処理を送信すべきファイルを作成可能な複数のファイル形式で作成する処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作システムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、前記受付装置は、前記音声指示を音声認識する音声認識手段と、前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、前記処理装置は、画像処理装置であって、前記操作命令の命令内容に対応する処理を実行する処理手段と、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、前記処理特定手段は、前記操作命令が、コピー操作に関する命令である場合には、当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、前記事前処理をウォームアップ処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作システムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、前記受付装置は、前記音声指示を音声認識する音声認識手段と、前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、前記処理装置は、画像処理装置であって、前記操作命令の命令内容に対応する処理を実行する処理手段と、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、前記処理特定手段は、前記操作命令が、自動原稿搬送装置を用いた原稿の読み取りを要する命令である場合には、前記事前処理を、自動原稿搬送装置を用いて原稿の両面を読み取る処理とすることを特徴とする音声操作システム。
また、本発明の別の一形態に係る音声操作システムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、前記受付装置は、前記音声指示を音声認識する音声認識手段と、前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、前記処理装置は、画像処理装置であって、前記操作命令の命令内容に対応する処理を実行する処理手段と、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、前記処理特定手段は、前記操作命令が、カラー画像の形成に関する命令である場合には、前記事前処理をカラー設定に対応したトナー又はインクの供給を準備する処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作システムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、前記受付装置は、前記音声指示を音声認識する音声認識手段と、前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、前記処理装置は、画像処理装置であって、前記操作命令の命令内容に対応する処理を実行する処理手段と、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、前記処理特定手段は、前記操作命令が、複数の辞書のうちのいずれかの辞書を用いた文字認識処理に関する命令である場合には、前記事前処理を前記複数の辞書をそれぞれ用いた複数の文字認識結果を用意する処理をとすることを特徴とする。

また、前記受付装置は、更に、前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、当該一部の再指示を受け付ける再指示受付手段と、当該再指示された一部を、追加操作命令として、前記処理装置へ通知する追加通知手段と、を備え、前記処理装置は、更に、前記操作命令および追加操作命令に応じた本処理を、前記事前処理の結果を利用して、実行する本実行手段を備えてもよい。

また、前記受付装置は、更に、音声認識によってユーザーを特定するユーザー特定手段と、特定したユーザーを前記処理装置に通知するユーザー通知手段と、を備え、前記通知手段は、前記音声指示から特定されたユーザーを併せて通知し、前記追加通知手段は、前記再指示から特定されたユーザーを併せて通知し、前記処理装置は、更に、ユーザーに対応付けられた複数のジョブを実行することができ、前記通知されたユーザーに対応付けられたジョブを特定するジョブ特定手段を備え、前記本実行手段は、同一のユーザーに係る操作命令および追加操作命令に応じた本処理を実行してもよい。

また、前記再指示受付手段は、前記音声指示のうち音声認識を失敗した一部を示して再指示を要求する再指示要求手段を備え、当該要求に対するユーザーの回答を、前記再指示として受け付けてもよい。

また、前記再指示要求手段は、前記音声指示のうち音声認識に失敗した一部を音声出力するとともに、当該一部の音声認識に失敗した旨の音声を出力することによって、再指示を要求してもよい。

また、前記再指示要求手段は、前記音声指示のうち音声認識に失敗した一部を警告音に置き換えた音声を出力することによって、再指示を要求してもよい。

また、前記処理特定手段は、前記操作命令において解像度が指定されている場合には、前記事前処理を、前記解像度に応じた定着温度のウォームアップ処理としてもよい。

また、前記処理特定手段は、前記操作命令において解像度が指定されている場合には、前記事前処理を、前記指定された解像度でファイルを作成する処理としてもよい。

また、前記処理特定手段は、前記画像処理装置が複数の送信方法でファイルを送信することができる場合には、前記事前処理は、前記各送信方法における通信設定処理を含んでもよい。

また、前記処理特定手段は、前記操作命令において、入力する画像サイズの変倍率が指定されている場合には、前記事前処理は、原稿を読み取って画像データを生成し、得られた画像データに前記変倍率で変倍する処理を含んでもよい。

また、前記処理特定手段は、前記操作命令において、用紙サイズが指定されている場合には、前記事前処理は、指定された用紙サイズの用紙を搬送して、当該搬送方向におけるトナー像の転写位置よりも上流側の待機位置で当該用紙を待機させる処理を含んでもよい。

また、前記本実行手段は、前記受付装置から追加操作命令を通知されるまで、本処理の実行を待ってもよい。

また、複数の処理装置を有し、前記受付装置は、前記ユーザーおよび前記処理装置の位置を特定して、前記ユーザーからの距離が最も短い処理装置を選択する装置選択手段を備え、前記通知手段は、前記装置選択手段が選択した処理装置へ前記通知を行ってもよい。

また、前記受付装置は、前記音声指示を受け付けるスマートスピーカーと、前記音声認識手段と、前記通知手段とを有するサーバーと、を備えてもよい。

また、本発明の一形態に係る音声操作方法は、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップが前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置は、画像処理装置であって、前記画像処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、プリント操作に関する命令である場合には、当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、前記事前処理をウォームアップ処理とすることを特徴とする。

また、本発明の別の一形態に係る音声操作方法は、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置は、端末装置であって、前記端末装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記端末装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記端末装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、プリント操作に関する命令である場合には、前記事前処理を前記端末装置がプリントジョブを作成するためのプリンター・ドライバーを起動するとともに、前記操作命令で指定されているプリント条件を前記プリンター・ドライバーに入力する処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作方法は、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置は画像処理装置であって、前記画像処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、前記画像処理装置が原稿から読み取った画像データ、または予め記憶している画像データのファイル送信に関する命令である場合には、前記事前処理を送信すべきファイルを作成可能な複数のファイル形式で作成する処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作方法は、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置は画像処理装置であって、前記画像処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、コピー操作に関する命令である場合には、当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、前記事前処理をウォームアップ処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作方法は、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、自動原稿搬送装置を用いた原稿の読み取りを要する命令である場合には、前記事前処理を、自動原稿搬送装置を用いて原稿の両面を読み取る処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作方法は、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、カラー画像の形成に関する命令である場合には、前記事前処理をカラー設定に対応したトナー又はインクの供給を準備する処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作方法は、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、複数の辞書のうちのいずれかの辞書を用いた文字認識処理に関する命令である場合には、前記事前処理を前記複数の辞書をそれぞれ用いた複数の文字認識結果を用意する処理をとすることを特徴とする。

また、複数の処理装置を有する音声操作システムにおいて、前記受付装置が、前記ユーザーおよび前記処理装置の位置を特定して、前記ユーザーからの距離が最も短い処理装置を選択する装置選択ステップを含み、前記通知ステップにおいては、前記装置選択ステップにて選択した処理装置へ前記通知を行ってもよい。

また、本発明の一形態に係る音声操作プログラムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置は画像処理装置であって、前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、プリント操作に関する命令である場合には、当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、前記事前処理をウォームアップ処理とすることを特徴とする。

また、本発明の別の一形態に係る音声操作プログラムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置は端末装置であって、前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記端末装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記端末装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、プリント操作に関する命令である場合には、前記事前処理を前記端末装置がプリントジョブを作成するためのプリンター・ドライバーを起動するとともに、前記操作命令で指定されているプリント条件を前記プリンター・ドライバーに入力する処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作プログラムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置は画像処理装置であって、前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、前記画像処理装置が原稿から読み取った画像データ、または予め記憶している画像データのファイル送信に関する命令である場合には、前記事前処理を送信すべきファイルを作成可能な複数のファイル形式で作成する処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作プログラムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記処理装置は画像処理装置であって、前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、コピー操作に関する命令である場合には、当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、前記事前処理をウォームアップ処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作プログラムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、自動原稿搬送装置を用いた原稿の読み取りを要する命令である場合には、前記事前処理を、自動原稿搬送装置を用いて原稿の両面を読み取る処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作プログラムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、カラー画像の形成に関する命令である場合には、前記事前処理をカラー設定に対応したトナー又はインクの供給を準備する処理とすることを特徴とする。
また、本発明の別の一形態に係る音声操作プログラムは、処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、前記受付装置が前記音声指示を音声認識する音声認識ステップと、前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、前記処理特定ステップにおいては、前記操作命令が、複数の辞書のうちのいずれかの辞書を用いた文字認識処理に関する命令である場合には、前記事前処理を前記複数の辞書をそれぞれ用いた複数の文字認識結果を用意する処理をとすることを特徴とする。

また、本発明に係る音声操作プログラムは、複数の処理装置を有するコンピューターシステムにおいて、前記受付装置が、前記ユーザーおよび前記処理装置の位置を特定して、前記ユーザーからの距離が最も短い処理装置を選択する装置選択ステップを含み、前記通知ステップにおいては、前記装置選択ステップにおいて選択した処理装置へ前記通知を行ってもよい。

このようにすれば、ユーザー指示の音声認識に失敗した場合におけるジョブの実行開始の遅延を抑制することができる。

本発明の実施の形態に係る画像形成システムの主要な構成を示す図である。ユーザー指示の音声認識処理が成功した場合における処理の流れを表すシーケンス図である。ユーザー指示の音声認識処理が一部失敗した場合における処理の流れを表すシーケンス図である。スマートスピーカー１００の主要なハードウェア構成を示すブロック図である。バーチャルアシスタントサーバー１１０の主要なハードウェア構成を示すブロック図である。バーチャルアシスタントサーバー１１０の主要な機能構成を示すブロック図である。操作対象特定テーブルを例示する図である。バーチャルアシスタントサーバー１１０のメインルーチンを説明するフローチャートである。バーチャルアシスタントサーバー１１０の事前操作命令処理を説明するフローチャートである。バーチャルアシスタントサーバー１１０の再指示要求処理を説明するフローチャートである。バーチャルアシスタントサーバー１１０の追加操作命令処理を説明するフローチャートである。バーチャルアシスタントサーバー１１０の通常操作命令処理を説明するフローチャートである。複合機１２０の主要な構成を示す図である。複合機１２０の主要なハードウェア構成を示すブロック図である。複合機１２０の主要な機能構成を示すブロック図である。事前処理テーブル１５０５を例示する図である。複合機１２０のメインルーチンを説明するフローチャートである。複合機１２０の事前処理を説明するフローチャートである。複合機１２０の本処理を説明するフローチャートである。複合機１２０の通常処理を説明するフローチャートである。携帯端末装置１３０の主要なハードウェア構成を示すブロック図である。携帯端末装置１３０の主要な機能構成を示すブロック図である。事前処理テーブル２２０５を例示する図である。携帯端末装置１３０のメインルーチンを説明するフローチャートである。携帯端末装置１３０の事前処理を説明するフローチャートである。携帯端末装置１３０の本処理を説明するフローチャートである。携帯端末装置１３０の通常処理を説明するフローチャートである。従来技術に係る音声操作を説明する図である。

以下、本発明に係る音声操作システム、音声操作方法および音声操作プログラムの実施の形態について、画像形成システムを例にとり、図面を参照しながら説明する。
［１］画像形成システムの構成
まず、本実施の形態に係る画像形成システムの構成について説明する。

図１に示すように、画像形成システム１は、スマートスピーカー（SS: Smart Speaker）１００、バーチャルアシスタント（VA: Virtual Assistant）サーバー１１０、複合機（MFP: Multi-Function Peripheral）１２０等を、通信ネットワーク１５０を用いて相互通信可能に接続したものである。通信ネットワーク１５０には、いわゆるインターネットやＬＡＮ（Local Area Network）が含まれる。

スマートスピーカー１００は、画像形成システム１のユーザーから音声によってユーザー指示を受け付けると、音声データを生成してバーチャルアシスタントサーバー１１０へ送信する。また、スマートスピーカー１００は、バーチャルアシスタントサーバー１１０から音声データを受信すると、当該音声データを音声出力する。

バーチャルアシスタントサーバー１１０は、スマートスピーカー１００からユーザー指示の音声データを受信すると、音声認識処理によってテキストデータに変換し、当該テキストデータを解析することによってユーザー指示の内容に応じた処理を複合機１２０に実行させる。また、音声認識処理に失敗した場合には、ユーザーに再指示を要求するテキストデータを生成して、音声合成処理によって当該テキストデータから音声データを合成し、当該音声データをスマートスピーカー１００へ送信する。

複合機１２０は、プリンター機能、スキャナー機能、コピー機能、ファクシミリ機能などの機能を有しており、バーチャルアシスタントサーバー１１０や携帯端末装置１３０、パーソナルコンピューター（PC）１４０等からジョブを受け付けて実行する。また、複合機１２０は、操作パネルを備えており、当該操作パネルによって受け付けたジョブも実行する。

携帯端末装置１３０は、画像形成に用いる電子データをユーザーに作成させる機能と、作成した電子データを含む印刷ジョブを複合機１２０へ送信する機能とを備えている。印刷ジョブを送信する際には、プリンター・ドライバーが起動される。携帯端末装置１３０は、無線ＬＡＮ親機１６０と無線接続することによって、通信ネットワーク１５０を経由して複合機１２０に印刷ジョブを送信する。

パーソナルコンピューター１４０は、携帯端末装置１３０と同様に、画像形成に用いる電子データをユーザーに作成させる機能と、作成した電子データを含む印刷ジョブを複合機１２０へ送信する機能とを備えている。印刷ジョブを送信する際には、プリンター・ドライバーが起動され、通信ネットワーク１５０を経由して複合機１２０に印刷ジョブを送信する。
［２］画像形成システム１の動作
次に、画像形成システム１の動作について説明する。

図２に示すように、画像形成システム１のユーザーが、ユーザー指示をスマートスピーカー１００に音声入力すると、スマートスピーカー１００はユーザー指示の音声データを生成して、バーチャルアシスタントサーバー１１０へ送信する。

バーチャルアシスタントサーバー１１０は、スマートスピーカー１００からユーザー指示の音声データを受信すると、当該音声データから話者識別処理によってユーザーを特定して、ユーザー識別情報を生成する。また、音声認識処理によってユーザー指示の音声データからテキストデータを生成し、自然言語処理によって当該テキストデータからユーザー指示に係る操作対象および命令内容を特定する。

なお、操作対象が複合機１２０であって、かつ複合機１２０が複数ある場合には、スマートスピーカー１００の位置を特定して、スマートスピーカー１００に最も近い複合機１２０を操作対象とする。

バーチャルアシスタントサーバー１１０は、ユーザー識別情報、命令内容および当該命令が通常操作命令であることを表す命令識別情報からなる通常操作命令を作成し、操作対象へ送信する。操作対象は、例えば、複合機１２０や携帯端末装置１３０である。

操作対象の複合機１２０または携帯端末装置１３０は、通常操作命令を受信すると、ユーザー識別情報を用いてユーザー認証を実行し、ユーザー認証が成功したら、命令内容を参照して命令を実行する。

しかしながら、ユーザー指示の音声データからテキストデータを生成する音声認識処理が一部失敗する場合もある。

例えば、スマートスピーカー１００に対していわゆる話し言葉でユーザー指示が行われると、話し言葉は音声の音響的特徴が曖昧となる発声の怠けが起こることから、音声認識時に音素の混同が起こり易くなるため、音声認識処理が部分的に失敗する場合がある。また、「えーっと」「あのー」等のフィラーと呼ばれる単語の挿入や、「は」「が」などの助詞の脱落，更に「○○っていう」等の話し言葉特有の発声変形がある箇所でも音声認識処理に失敗する可能性がある。言うまでもなく、雑音の混入によっても音声認識処理に失敗し得る。

このように、ユーザー指示の音声認識処理が一部失敗した場合においても、図３に示すように、まず、画像形成システム１のユーザーが、ユーザー指示をスマートスピーカー１００に音声入力すると、スマートスピーカー１００はユーザー指示の音声データを生成して、バーチャルアシスタントサーバー１１０へ送信する。

バーチャルアシスタントサーバー１１０は、スマートスピーカー１００からユーザー指示の音声データを受信すると、当該音声データから話者識別処理によってユーザーを特定して、ユーザー識別情報を生成する。

音声認識処理によってユーザー指示の音声データからテキストデータを生成する際に一部失敗した場合には、バーチャルアシスタントサーバー１１０は、ユーザーに対して再指示を要求する音声データを合成して、スマートスピーカー１００へ送信する。スマートスピーカー１００は、再生指示要求の音声データを音声出力する。

また、バーチャルアシスタントサーバー１１０は、ユーザー指示の音声データから話者識別処理によってユーザーを識別して、ユーザー識別情報を生成するとともに、音声認識処理に失敗した部分を除いてテキストデータを生成し、自然言語処理によって当該テキストデータからユーザー指示に係る操作対象および命令内容を特定する。そして、当該命令が事前操作命令であることを表す命令識別情報、ユーザー識別情報および音声認識処理に成功した部分の命令内容を含む事前操作命令を、ユーザー指示に係る操作対象へ送信する。

事前操作命令を受信した複合機１２０または携帯端末装置１３０は、ユーザー識別情報を用いてユーザー認証を実行し、当該ユーザー認証が成功したら、事前操作命令に含まれた命令内容を参照して、当該命令内容に対応する事前処理を特定し、特定した事前処理を実行する。

その後、スマートスピーカー１００は、ユーザーから再指示を受けると、再指示の音声データを生成して、バーチャルアシスタントサーバー１１０へ送信する。

再指示の音声データを受信したバーチャルアシスタントサーバー１１０は、再指示の音声データから話者識別処理によってユーザーを特定して、ユーザー識別情報を生成する。また、バーチャルアシスタントサーバー１１０は、音声認識処理によって再指示のテキストデータを生成し、自然言語処理によって当該テキストデータから再指示に係る操作対象および命令内容を特定する。

そして、バーチャルアシスタントサーバー１１０は、当該命令が追加操作命令であることを表す命令識別情報、再指示に係るユーザー識別情報および命令内容を含む追加操作命令を、再指示に係る操作対象へ送信する。

追加操作命令を受信した複合機１２０または携帯端末装置１３０は、ユーザー識別情報を用いてユーザー認証を実行し、当該ユーザー認証が成功したら、追加操作命令に含まれた命令内容と先に受信した事前操作命令に含まれた命令内容とを参照して、これらの命令内容に対応する本処理を特定し、特定した本処理を実行する。
［３］スマートスピーカー１００の構成
次に、スマートスピーカー１００の構成について説明する。

図４に示すように、スマートスピーカー１００は、音声処理部４０１、通信制御部４０２および位置検出部４０３を備えており、更に、音声処理部４０１にはマイク４１１とスピーカー４１２が接続されている。

音声処理部４０１は、マイク４１１を用いて集音したアナログ音声信号をＡＤ（Analogue to Digital）変換し、更に圧縮符号化した音声データを生成したり、通信制御部４０２から受け付けた音声データからアナログ音声信号を復元して、スピーカー４１２に音声出力させたりする。通信制御部４０２は、通信ネットワーク１５０を経由してバーチャルアシスタントサーバー１１０と音声データ等の送受信を行うための通信処理を実行する。

位置検出部４０３は、ＧＰＳ（Global Positioning System）を用いてスマートスピーカー１００の現在位置を検出し、バーチャルアシスタントサーバー１１０へ音声データを送信する際に併せて位置情報を送信する。
［４］バーチャルアシスタントサーバー１１０の構成と動作
次に、バーチャルアシスタントサーバー１１０の構成と動作について説明する。
（４－１）バーチャルアシスタントサーバー１１０の構成
図５に示すように、バーチャルアシスタントサーバー１１０は、ＣＰＵ（Central Processing Unit）５００やＲＯＭ（Read Only Memory）５０１、ＲＡＭ（Random Access Memory）５０２等を備えており、ＲＡＭ５０２を作業用記憶領域として、ＨＤＤ（Hard Disk Drive）５０３からＯＳ（Operating System）その他のプログラムを読み出して実行する。

ＮＩＣ（Network Interface Card）５０４は、通信ネットワーク１５０を経由してスマートスピーカー１００や複合機１２０、携帯端末装置１３０、ＰＣ１４０と相互接続するための通信処理を実行する。ＲＯＭ５０１はブートプログラムを記憶しており、ＣＰＵ５００はリセット後に当該ブートプログラムを読み出して起動する。

図６は、バーチャルアシスタントサーバー１１０の機能構成を示すブロック図である。図６に示すように、バーチャルアシスタントサーバー１１０は、指示受付部６０１にてスマートスピーカー１００からユーザー指示および再指示の音声データとスマートスピーカー１００の位置情報とを受け付ける。

指示認識部６０２は、ユーザー指示および再指示の音声データから音声認識処理によってテキストデータを生成する。本実施の形態においては、ノイズリダクションアルゴリズムを用いて音声データのノイズレベルを低減してから、音声データの周波数特性を用いて音声データを音素単位でモデル化した音響モデルＰ（Ｘ｜Ｓ）、単語ごとに当該単語を構成する音素を定義した発音辞書Ｐ（Ｓ｜Ｗ）および単語のつながり易さを規定した言語モデルＰ（Ｗ）の三つの確率モデルの積Ｐ（Ｘ｜Ｓ）・Ｐ（Ｓ｜Ｗ）・Ｐ（Ｗ）が最大になる単語列Ｗを求めることによって、テキストデータを生成する。

認識結果判定部６０３は、ユーザー指示の音声認識処理が一部失敗したか否かを判定する。例えば、上述のように話し言葉における発音の怠けが発生すると、音声データ中の当該期間では音声の音響的特徴が曖昧になるので、音響モデルＰ（Ｘ｜Ｓ）の値が小さくなる。また、雑音の混入によっても確率モデルの値が低下する。このような確率モデルの値の低下を検出すれば、音声認識処理が一部失敗したと判定することができる。

再指示要求合成部６０４は、ユーザー指示の音声認識処理に一部失敗したと認識結果判定部６０３が判定した場合に、ユーザー指示の音声データのうち音声認識処理に失敗した部分を警告音（例えば、「ピーッ」というビープ音を用いてもよい。）に置換し、再指示を要求するメッセージの音声データを追加することによって再指示要求の音声データを合成する。

例えば、ユーザー指示の音声データが「近くのＭＦＰで、このＷｏｒｄファイルを、２ｉｎ１、（音声認識処理に失敗した部分）、Ａ４再生紙にプリントして」である場合、まず、音声認識処理に失敗した部分を警告音に置換して、「近くのＭＦＰで、このＷｏｒｄファイルを、２ｉｎ１、（警告音）、Ａ４再生紙にプリントして」との音声データを合成する。更に、「聞き取れませんでした。もう一度言って下さい。」との再指示を要求するメッセージの音声データを追加する。

その結果、再指示要求の音声データとして、「聞き取れませんでした。もう一度言って下さい。近くのＭＦＰで、このＷｏｒｄファイルを、２ｉｎ１、（警告音）、Ａ４再生紙にプリントして」との音声データを得る。

再指示要求送信部６０８は、再指示要求合成部６０４が合成した再指示要求の音声データをスマートスピーカー１００へ送信する。

ユーザー特定部６０６は、ユーザー指示および再指示の音声データからテキスト独立型の話者識別処理によってユーザー識別情報を生成する。話者識別処理においては、まず、ノイズリダクションアルゴリズムを用いて音声データのノイズレベルを低減してから、例えば、混合ガウス分布（GMM: Gaussian mixture model）によって表現した話者モデルの平均ベクトルを連結し、高次元のベクトル（GMM supervector）を構成した後、識別モデルであるサポートベクターマシン（SVM: Support Machine）によって話者識別を行う手法を用いることができる。なお、他の方法を用いてユーザー識別情報を生成してもよいことは言うまでもない。

操作命令生成部６０７は、通常操作命令、事前操作命令および追加操作命令を生成する。操作命令生成部６０７は、再指示要求の音声データスマートスピーカー１００へ送信した後に受け付けた指示は再指示であると判断して、追加操作命令の命令識別情報を選択する。再指示でないと判断した場合であって、指示認識部６０２が音声認識処理に成功したと、認識結果判定部６０３が判定した場合には、通常操作命令の命令識別情報を選択する。更に、指示認識部６０２が音声認識処理に一部失敗したと、認識結果判定部６０３が判定した場合には、事前操作命令の命令識別情報を選択する。

操作命令生成部６０７は、指示認識部６０２からユーザー指示または再指示のテキストデータを取得して、音声認識処理に成功した部分の命令内容を特定し、ユーザー特定部６０６からユーザー識別情報を取得して、命令識別情報、ユーザー識別情報および命令内容を含んだ操作命令を生成する。

操作対象特定部６０９は、指示受付部６０１からスマートスピーカー１００の位置情報を取得し、操作命令生成部６０７から命令内容を取得して、操作対象を特定する。このため、操作対象特定部６０９は、命令内容と複合機１２０の位置情報との組み合わせに、操作対象を対応付ける操作対象特定テーブルを記憶しており、当該操作対象特定テーブルを参照して、スマートスピーカー１００の位置に応じた操作対象を特定する。

図７は、操作対象特定テーブルを例示する図である。図７に示すように、操作対象特定テーブルにおいては、例えば、命令内容が「プリント」であって、かつＭＦＰの位置情報ａａａａがスマートスピーカー１００に最も近い場合には、操作対象として、ＭＦＰ＃１と携帯端末装置＃１を選択する。また、命令内容が「スキャン」であって、かつＭＦＰの位置情報ｂｂｂｂがスマートスピーカー１００に最も近い場合には、操作対象として、ＭＦＰ＃３を選択する。

このようにすればスマートスピーカー１００に最も近い位置に配設されている複合機１２０を操作対象とすることができる。ユーザーはスマートスピーカー１００の近くにいて、音声指示を行っているので、スマートスピーカー１００に近い複合機１２０はユーザーにも近い位置にあることになる。そのような複合機１２０を選択して操作すれば、ユーザーの利便性を向上させることができる。

操作命令送信部６１０は、操作命令生成部６０７が生成した操作命令を、操作対象特定部６０９が特定した操作対象へ送信する。
（４－２）バーチャルアシスタントサーバー１１０の動作
次に、バーチャルアシスタントサーバー１１０の動作について説明する。
（４－２－１）メインルーチン
図８に示すように、バーチャルアシスタントサーバー１１０は、指示受付部６０１にてユーザー指示を受け付けると（Ｓ８０１：ＹＥＳ）、指示認識部６０２にて、音声認識処理によってユーザー指示の音声データからテキストデータを生成する（Ｓ８０２）。

指示認識部６０２がユーザー指示の音声認識処理に一部失敗した、と認識結果判定部６０３が判定した場合には（Ｓ８０３：ＹＥＳ）、事前操作命令処理（Ｓ８０４）および再指示要求処理（Ｓ８０５）を順次実行する。その後、指示受付部６０１がスマートスピーカー１００から再指示の音声データを受信したら（Ｓ８０６：ＹＥＳ）、追加操作命令処理（Ｓ８０７）を実行する。追加操作命令処理の完了後、ステップＳ８０１へ進んで上記の処理を繰り返す。

指示認識部６０２がユーザー指示の音声認識処理に成功した、と認識結果判定部６０３が判定した場合には（Ｓ８０３：ＮＯ）、通常操作命令処理を実行した後（Ｓ８１１）、ステップＳ８０１へ進んで上記の処理を繰り返す。
（４－２－２）事前操作命令処理（Ｓ８０４）
事前操作命令処理においては、図９に示すように、ユーザー特定部６０６にて、ユーザー指示の音声データから話者識別処理によってユーザー識別情報を特定し（Ｓ９０１）、操作命令生成部６０７にて、自然言語処理を用いてユーザー指示のテキストデータから命令内容を生成する（Ｓ９０２）。

更に、操作命令生成部６０７にて、当該命令が事前操作命令であることを表す命令識別情報、ユーザー識別情報および命令内容を含む事前操作命令を生成する（Ｓ９０３）。

操作対象特定部６０９は、指示受付部６０１が音声データとともに受信した位置情報からスマートスピーカー１００の位置を特定するとともに（Ｓ９０４）、当該スマートスピーカー１００の位置情報および事前操作命令の命令内容を参照することによって、操作対象となる装置を特定する（Ｓ９０５）。その後、操作命令送信部６１０にて当該操作対象へ事前操作命令を送信し（Ｓ９０６）、メインルーチンに復帰する。
（４－２－３）再指示要求処理（Ｓ８０５）
再指示要求処理においては、図１０に示すように、再指示要求合成部６０４にて、ユーザー指示の音声データにおいて音声認識処理に失敗した部分を警告音に置換して再指示要求の音声データを合成し（Ｓ１００１）、更に当該音声データに再指示を要求するメッセージの音声データを追加する（Ｓ１００２）。このようにして合成された再指示要求の音声データを再指示要求送信部６０８にてスマートスピーカー１００へ送信した後（Ｓ１００３）、メインルーチンに復帰する。
（４－２－４）追加操作命令処理（Ｓ８０７）
追加操作命令処理においては、図１１に示すように、ユーザー特定部６０６にて、話者識別処理によって再指示の音声データからユーザー識別情報を特定し（Ｓ１１０１）、指示認識部６０２にて、音声認識処理によって再指示の音声データからテキストデータを生成し（Ｓ１１０２）、操作命令生成部６０７にて、自然言語処理を用いて再指示のテキストデータから命令内容を生成する（Ｓ１１０３）。そして、操作命令生成部６０７にて、当該命令が追加操作命令であることを表す命令識別情報、ユーザー識別情報および命令内容を含む追加操作命令を生成する（Ｓ１１０４）。

次に、操作対象特定部６０９にて、再指示とともに受信したスマートスピーカー１００の位置情報を指示受付部６０１から受け付けてスマートスピーカー１００の位置情報を特定し（Ｓ１１０５）、追加操作命令の命令内容と、スマートスピーカー１００の位置情報とを用いて、操作対象を特定する（Ｓ１１０６）。そして、操作命令送信部６１０にて当該操作対象へ追加操作命令を送信した後（Ｓ１１０７）、メインルーチンに復帰する。
（４－２－５）操作命令処理（Ｓ８１１）
操作命令処理においては、図１２に示すように、ユーザー特定部６０６にて、ユーザー指示の音声データから話者識別処理によってユーザー識別情報を特定する（Ｓ１２０１）。次に、操作命令生成部６０７にて、自然言語処理を用いてユーザー指示のテキストデータから命令内容を生成し（Ｓ１２０２）、当該命令が通常操作命令であることを表す命令識別情報、ユーザー識別情報および命令内容を含む通常操作命令を生成する（Ｓ１２０３）。

操作対象特定部６０９は、ユーザー指示受付部６０１が音声データとともに受信した位置情報からスマートスピーカー１００の位置を特定するとともに（Ｓ１２０４）、操作命令の命令内容を参照することによって、操作対象となる装置を特定する（Ｓ１２０５）。その後、操作命令送信部６１５にて当該操作対象へ事前操作命令を送信し（Ｓ１２０６）、メインルーチンに復帰する。
［５］複合機１２０の構成と動作
次に、複合機１２０の構成と動作について説明する。
（５－１）複合機１２０の構成
図１３に示すように、複合機１２０は、スキャナー装置１３１０、プリンター装置１３２０、給紙装置１３３０およびフィニッシャー装置１３４０を備えており、プリンター機能やスキャナー機能、コピー機能、ファクシミリ機能、ドキュメント・サーバー機能などの機能を果たす。

スキャナー装置１３１０は、プリンター装置１３２０が備える操作パネル１３２１によってユーザーから原稿の読み取り指示を受け付けると、自動原稿搬送装置（ADF: Automatic Document Feeder）１３１１を用いて、原稿トレイ１３１２に載置された原稿束から原稿を１枚ずつ画像読み取り部１３１３へ搬送し、画像読み取り部１３１３を用いて、原稿を読み取り画像データを生成する。読み取られた原稿は排紙トレイ１３１４上に排出される。

プリンター装置１３２０は、いわゆるタンデム型のカラープリンターであって、電子写真方式によって画像を形成する。プリンター装置１３２０は制御部１３００を備えており、制御部１３００は通信ネットワーク１５０を経由してバーチャルアシスタントサーバー１１０から通常操作命令や事前操作命令、追加操作命令を受け付けたり、操作パネル１３２１を用いたユーザーの指示入力によって印刷ジョブを受け付けたりする。

プリンター装置１３２０は、制御部１３００にて印刷ジョブを受け付けると、モノクロ画像を形成する場合には、作像部１３２２Ｋのみを用いてＫ色のトナー像を形成して、中間転写ベルト１３２３上に静電転写（一次転写）する。また、カラー画像を形成する場合には、作像部１３２２Ｙ、１３２２Ｍ、１３２２Ｃおよび１３２２Ｋを用いてＹＭＣＫ各色のトナー像を形成して、これらのトナー像が互いに重なり合うように中間転写ベルト１３２３上に静電転写（一次転写）する。これによって、カラートナー像が形成される。

中間転写ベルト１３２３は、二次転写ローラー対１３２５、従動ローラーおよびテンションローラーに張架されており、二次転写ローラー対１３２５の回転駆動によって矢印Ａ方向に回転走行する。中間転写ベルト１３２３は、当該回転走行によってトナー像を、二次転写ローラー対１３２５まで搬送する。

給紙装置１３３０は、給紙トレイ１３３１、１３３２、１３３３および１３３４のうち、印刷ジョブにおける紙種の指定に応じた給紙トレイに収容されている記録シートを、それぞれピックアップローラー１３３１ｒ、１３３２ｒ、１３３３ｒおよび１３３４ｒを用いて１枚ずつ繰り出す。繰り出された記録シートは、搬送ローラーによって搬送され、タイミングローラー１３２４によってスキューを補正されるとともに、搬送タイミングを調整された後、二次転写ローラー対１３２５まで搬送される。

二次転写ローラー対１３２５には二次転写バイアス電圧が印可されており、これによって、中間転写ベルト１３２３上のトナー像が記録シートへ静電転写（二次転写）される。二次転写後に中間転写ベルト１３２３上に残留するトナーは、クリーニングブレード１３２６によって掻き取られ廃棄される。記録シートは、定着装置１３２７によってトナー像を熱定着された後、搬送経路１３２８を経由して、フィニッシャー装置１３４０へ向かって搬送される。

定着装置１３２７は、高温の定着ニップに記録シートを通紙することによって、トナー像を熱定着する。このため、定着装置１３２７は、熱定着に先立って、定着ニップの温度（定着温度）を所定の目標温度まで昇温しておく必要がある。この昇温処理をウォームアップという。定着装置１３２７は、ウォームアップの目標温度はトナー像の解像度に応じて変更することによって、高い定着画質を実現する。

フィニッシャー装置１３４０は、印刷ジョブにおいて後処理が指示されているか否かに応じて経路切り替え爪１３４５の姿勢を制御する。後処理が指示されていない場合には、記録シートは、搬送経路１３４１を経由し、経路切り替え爪１３４５によって排紙トレイ１３４２へ導かれる。また、後処理が指示されている場合には、経路切り替え爪１３４５は記録シートを後処理装置１３４３へ導く。

後処理装置１３４３は、印刷ジョブにおける指示に応じて、記録シート束の整合、パンチ、ステープルおよび折り等の後処理を記録シートに施す。後処理を施された記録シートは排紙トレイ１３４４上へ排出される。

図１４に示すように、制御部１３００は、ＣＰＵ１４００やＲＯＭ１４０１、ＲＡＭ１４０２等を備えており、複合機１２０に電源が投入されると、ＣＰＵ１４００は、一旦リセットされた後、ＲＯＭ１４０１からブートプログラムを読み出して起動し、ＲＡＭ１４０２を作業用記憶領域として、ＨＤＤ１４０３からＯＳや監視制御プログラム等を読み出して実行する。これによって、制御部１３００は、スキャナー装置１３１０、プリンター装置１３２０、給紙装置１３３０およびフィニッシャー装置１３４０の動作を監視制御する。

ＮＩＣ１４０４は、通信ネットワーク１５０を経由してバーチャルアシスタントサーバー１１０や携帯端末装置１３０、ＰＣ１４０と相互接続するための通信処理を実行する。ファクシミリインターフェイス１４０５はファクシミリ回線を経由して他のファクシミリ装置とファクシミリデータを送受信するための通信処理を実行する。

図１５は、複合機１２０の主要な機能構成を表したブロック図である。図１５に示すように、複合機１２０は、命令受付部１５０１やユーザー認証部１５０２、命令内容取得部１５０３等を備えている。

命令受付部１５０１は、バーチャルアシスタントサーバー１１０から通常操作命令、事前操作命令および追加操作命令を受信する。

ユーザー認証部１５０２は、操作命令に含まれているユーザー識別情報を参照して、認証処理を実行する。

命令内容取得部１５０３は、ユーザー認証部１５０２のユーザー認証が成功した場合に、命令受付部１５０１が受信した命令に含まれている命令内容を取得する。

通常処理実行部１５０４は、命令受付部１５０１が受け付けた操作命令が通常操作命令である場合に、命令内容取得部１５０３で取得した命令内容の通常処理を実行する。

事前処理テーブル１５０５は、事前操作命令の命令内容、事前処理を実行するか否かを判定するための事前処理条件および事前処理を関連付けて記憶する。図１６に例示するように、事前処理テーブル１５０５においては、命令内容ごとに、事前処理条件と事前処理とが記憶される。

例えば、事前操作命令の命令内容がプリントであって、かつ複合機１２０のウォームアップが完了である場合には、事前処理としてウォームアップを実行する。また、事前操作命令の命令内容が解像度を指定したプリントであって、かつ複合機１２０のウォームアップが完了である場合には、事前処理として解像度に応じたウォームアップを実行する。

事前処理特定部１５０６は、事前処理テーブル１５０５を参照して、命令内容取得部１５０３が取得した事前操作命令の命令内容に対応する欄が事前処理テーブル１５０５にあり、かつ、当該欄の事前処理条件が充足されている場合には、当該欄の事前処理を特定する。

事前処理実行部１５０９は、事前処理特定部１５０６が特定した事前処理を実行する。事前処理実行部１５０９は、事前処理として、例えば、定着装置１３２７のウォームアップを行ったり、スキャナー装置１３１０で原稿から読み取って生成した画像データのファイル形式や解像度を変換したりする。

画像データのファイル形式には、例えば、ＰＤＦ（Portable Document Format）やＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ビットマップ形式などが挙げられる。また、解像度は、例えば、６００ｄｐｉ（Dot Per Inch）、４００ｄｐｉ、３００ｄｐｉおよび２００ｄｐｉなどである。

更に、事前処理としては、スキャン送信やＢＯＸ送信を行う場合の通信設定も行うことができる。通信設定することができる通信方法としては、例えば、ＳＭＢ（Server Message Block）、電子メール、ＦＴＰ（File Transfer Protocol）、ファクシミリを挙げることができる。

事前処理として、ＯＣＲ処理を実行する場合には、ＯＣＲ処理に用いる辞書として、例えば、日本語や英語、中国語などの辞書を挙げることができる。

事前操作命令記憶部１５０７は、命令内容取得部１５０３が取得した事前操作命令の命令内容を記憶する。

本処理特定部１５０８は、命令内容取得部１５０３が取得した追加操作命令の命令内容と、事前操作命令記憶部１５０７が記憶している事前操作命令の命令内容と、を組み合わせた命令内容の本処理を特定する。

本処理実行部１５１０は、本処理特定部１５０８が特定した本処理を実行する。
（５－２）複合機１２０の動作
次に、複合機１２０の動作について説明する。

図１７に示すように、複合機１２０は、命令受付部１５０１にて操作命令を受け付けると（Ｓ１７０１：ＹＥＳ）、ユーザー認証部１５０２は、操作命令に含まれたユーザー識別情報を取得し（Ｓ１７０２）、取得したユーザー識別情報を用いてユーザー認証を実行する（Ｓ１７０３）。当該ユーザー認証に失敗したら（Ｓ１７０４：ＮＯ）、ステップＳ１７０１へ進んで、上記の処理を繰り返す。ユーザー認証に成功したら（Ｓ１７０４：ＹＥＳ）、操作命令に含まれる命令識別情報を参照する（Ｓ１７０５）。

命令識別情報が事前操作命令を示す場合は（Ｓ１７０６：ＹＥＳ）、事前処理を実行する（Ｓ１７１１）。命令識別情報が追加操作命令を示す場合は（Ｓ１７０７：ＹＥＳ）、本処理を実行する（Ｓ１７１２）。また、通常操作命令である場合には（Ｓ１７０８：ＹＥＳ）、通常処理を実行する（Ｓ１７１３）。ステップＳ１７１１、Ｓ１７１２およびＳ１７１３の処理の後、ステップＳ１７０１へ進んで、上記の処理を繰り返す。
（５－２－１）事前処理（Ｓ１７１１）
事前処理においては、図１８に示すように、まず、命令内容取得部１５０３にて事前操作命令の命令内容を取得し（Ｓ１８０１）、事前処理特定部１５０６にて事前処理テーブル１５０５を参照して、命令内容に対応する事前処理条件が記憶されているか確認する（Ｓ１８０２）。該当する事前処理条件が事前処理テーブル１５０５に記憶されている場合には（Ｓ１８０３：ＹＥＳ）、事前処理テーブル１５０５において事前処理条件に対応する事前処理を特定し（Ｓ１８０４）、特定した事前処理を実行する（Ｓ１８０５）。

事前操作命令の命令に対応する事前処理条件が事前処理テーブルに記憶されていない場合（Ｓ１８０３：ＮＯ）、およびステップＳ１８０５の処理の後、事前操作命令記憶部１５０７は事前操作命令に係るユーザー識別情報と命令内容とを関連付けて記憶して（Ｓ１８０６）、上位ルーチンに復帰する。
（５－２－２）本処理（Ｓ１７１２）
本処理においては、図１９に示すように、まず、命令内容取得部１５０３にて追加操作命令の命令内容を取得し（Ｓ１９０１）、事前操作命令記憶部１５０７が、当該追加操作命令に係るユーザー識別情報に関連付けて記憶している命令内容を特定する（Ｓ１９０２）。そして、本処理特定部１５０８にて追加操作命令に係る命令内容と、当該追加操作命令に対応する事前操作命令に係る命令内容と、から本処理を特定し（Ｓ１９０３）、本処理実行部１５１０にて当該本処理を実行した後（Ｓ１９０４）、上位ルーチンに復帰する。
（５－２－３）通常処理（Ｓ１７１３）
通常処理においては、図２０に示すように、命令内容取得部１５０３にて通常操作命令の命令内容を取得し（Ｓ２００１）、通常処理実行部１５０４にて当該命令内容の通常処理を実行した後（Ｓ２００２）、上位ルーチンに復帰する。
（５－３）事前処理の具体例
事前処理について具体例を挙げて説明する。
（５－３－１）具体例１
複合機１２０は、事前操作命令の命令内容に「プリント」または「コピー」という語が含まれている場合には、事前処理テーブル１５０５を参照して、「プリントまたはコピー」になっている命令内容の欄を探し、当該欄に対応する事前処理条件の欄を参照する。図１６の例では、当該事前処理条件の欄に「ウォームアップが未完了」と記載されているので、複合機１２０は、定着装置１３２７の定着温度を参照して、所定の目標温度に達しているか否かを確認する。

ウォームアップが未完了である場合には、事前処理の欄に記載されている「ウォームアップ」を事前処理として実行する。このようにすれば、追加操作命令を受け付けてからウォームアップを開始する場合と比較して、プリントおよびコピーにおけるＦＣＯＴ（First Copy Out Time）を短縮することができるので、ユーザーの利便性を高めることができる。

また、ウォームアップが完了している場合には、事前処理は不要である。

ユーザー指示を例示して説明すると、ユーザー指示が「近くのＭＦＰで、このＷｏｒｄファイルを、２ｉｎ１、両面で、Ａ４再生紙にプリントして」であって、バーチャルアシスタントサーバー１１０が「両面で」の部分だけ音声認識に失敗した場合に、スマートスピーカー１００を用いてユーザーに対して、「聞き取れませんでした。もう一度言って下さい」とユーザー指示の再入力を要求し、ユーザー指示が再入力されてから、複合機１２０がプリントを開始すると、プリントジョブの開始時間が遅くなる。

これに対して、上述のように、スマートスピーカー１００を用いてユーザーに対して、「条件は、２ｉｎ１、ピーッ、Ａ４再生紙、で良いですか？」と音声認識に失敗した部分を警告音にして再指示を要求する。また、これと並行して、「近くのＭＦＰで、このＷｏｒｄファイルを、２ｉｎ１、Ａ４再生紙にプリントして」という音声認識に成功した部分を利用して、事前操作命令を複合機１２０へ送信し、事前処理としてウォームアップを実施すれば、再指示によって確定した指示内容でのプリントジョブの開始時間を早めることができる。
（５－３－２）具体例２
事前操作命令の命令内容に「プリント」または「コピー」という語と、カラー設定を行う語とが含まれている場合には、事前処理テーブル１５０５を参照して、「プリントまたはコピー＋カラー設定」になっている命令内容の欄を探し、当該欄に対応する事前処理条件の欄を参照する。図１６の例では、当該事前処理条件の欄に「カラー設定が確定している」と記載されているので、事前操作命令の命令内容でカラー設定が確定しているか否かを確認する。

カラー設定が確定している場合には、カラー、２色カラーおよびモノクロのいずれかにカラー設定において使用されるトナーを供給する準備を実行する。

このようにすれば、追加操作命令を受け付けてからトナーを供給する準備を開始する場合と比較して、プリントおよびコピーを早く完了させることができるので、ユーザーの利便性を高めることができる。
（５－３－３）具体例３
事前操作命令の命令内容に「プリント」という語と、解像度を指定する語とが含まれている場合には、「プリント＋解像度」の欄に対応する事前処理条件の欄を参照する。図１６の例では、当該事前処理条件の欄に「ウォームアップが未完了」と記載されているので、複合機１２０は、定着装置１３２７の定着温度を参照して、所定の目標温度に達しているか否かを確認する。

ウォームアップが未完了である場合には、事前処理の欄に記載されている「解像度に応じたウォームアップ」を事前処理として実行する。ここで、解像度に応じたウォームアップとは解像度に対応する定着温度までウォームアップを実施することをいう。このようにすれば、追加操作命令を受け付けてからウォームアップを開始する場合よりもＦＣＯＴを短縮することができる。

また、ウォームアップが完了している場合には、事前処理は不要である。
（５－３－４）具体例４
事前操作命令の命令内容が「スキャン」または「ＢＯＸ送信」という語が含まれている場合には、「スキャン又はＢＯＸ送信」の欄に対応する事前処理条件の欄が３つあるので、３つの事前処理条件を順に参照する。１つ目の事前処理条件として、当該事前操作命令においてファイル形式が指定する語が含まれているか否かを確認する（図１６）。

ファイル形式を指定する語が含まれていない場合には、事前処理の欄に記載されている「可能なすべてのファイル形式に変換」を事前処理として実行する。可能なすべてのファイル形式とは、複合機１２０で生成可能なすべてのファイル形式であって、例えば、ＰＤＦ、ＪＰＥＧ、ＴＩＦＦおよびビットマップ形式などである。

このようにすれば、追加操作命令を受け付けてから、追加操作命令で指定されたファイル形式のファイルを選択するだけで済むので、追加操作命令を受けてからファイル形式を変換する場合と比較して、スキャンやＢＯＸ送信を早く完了させることができる。

なお、事前操作命令でファイル形式が指定されている場合には、直ちに指定されたファイル形式に変換する。
（５－３－５）具体例５
事前操作命令の命令内容が「スキャン」または「ＢＯＸ送信」という語が含まれている場合には、「スキャン又はＢＯＸ送信」の欄に対応する２つ目の事前処理条件の欄も参照して、当該事前操作命令において解像度を指定する語が含まれているか否かを確認する（図１６）。

解像度を指定する語が含まれていない場合には、事前処理の欄に記載されている「可能なすべての解像度に変換」を事前処理として実行する。可能なすべての解像度とは、複合機１２０で生成可能なすべての解像度であって、例えば、６００ｄｐｉ、４００ｄｐｉ、３００ｄｐｉおよび２００ｄｐｉなどである。

このようにすれば、追加操作命令を受け付けてから、追加操作命令で指定された解像度のファイルを選択するだけで済むので、追加操作命令を受けてから解像度を変換する場合と比較して、スキャンやＢＯＸ送信を早く完了させることができる。

なお、事前操作命令で解像度が指定されている場合には、直ちに指定された解像度に変換する。
（５－３－６）具体例６
事前操作命令の命令内容が「スキャン」または「ＢＯＸ送信」という語が含まれている場合には、更に「スキャン又はＢＯＸ送信」の欄に対応する３つ目の事前処理条件の欄も参照して、当該事前操作命令において送信方法を指定する語が含まれているか否かを確認する（図１６）。

送信方法を指定する語が含まれていない場合には、事前処理の欄に記載されている「可能なすべての送信方法で通信設定」を事前処理として実行する。可能なすべての送信方法とは、複合機１２０で実行可能なすべての送信方法であって、例えば、ＳＭＢ、電子メール、ＦＴＰ、ファクシミリなどである。通信設定は、例えば、通信を開始するために必要となるリソースを確保する処理や、コネクションやセッションの確立などである。

このようにすれば、追加操作命令を受け付けると、直ちに送信を開始することができるので、追加操作命令を受けてから通信設定を行う場合と比較して、スキャンやＢＯＸ送信を早く完了させることができる。

なお、事前操作命令で送信方法が指定されている場合には、指定された送信方法についてのみ通信設定を実行する。

ユーザー指示を例示して説明すると、ユーザー指示が「スキャンしたファイルを、１つのファイルにしてＣｏｍｐａｃｔＰＤＦ形式でＰＣにＳＭＢ送信してくれ」であって、バーチャルアシスタントサーバー１１０が「ＳＭＢ」の部分だけ認識できなかった場合に、スマートスピーカー１００を用いてユーザーに対して、「聞き取れませんでした。もう一度言って下さい」とユーザー指示の再入力を要求し、ユーザー指示が再入力されてから、複合機１２０がスキャンを開始すると、スキャン送信ジョブの完了が遅くなる。

これに対して、上述のように、スマートスピーカー１００を用いてユーザーに対して、「どの送信方法で送信しますか？」、若しくは「ピーッ送信しますか？」と音声認識に失敗した部分を警告音にして再指示を要求する。また、これと並行して、「スキャンしたファイルを、１つのファイルにしてＣｏｍｐａｃｔＰＤＦ形式でＰＣに送信してくれ」という音声認識に成功した部分を利用して、事前操作命令を複合機１２０へ送信し、事前処理として通信設定を実施すれば、再指示によって確定した指示内容でのスキャン送信ジョブの完了を早めることができる。
（５－３－７）具体例７
事前操作命令の命令内容に「コピー」という語と、変倍率を指定する語とが含まれている場合には、「コピー＋変倍率」の欄に対応する事前処理条件の欄が２つあるので、２つの事前処理条件を順に参照する。１つ目の事前処理条件として、定着装置１３２７の定着温度を参照して、所定の目標温度に達しているか否かを確認する（図１６）。

定着温度が所定の目標温度に達しておらず、従ってウォームアップが完了していない場合には、事前処理の欄に記載されている「ウォームアップ＋変倍処理」を事前処理として実行する。ウォームアップは定着装置１３２７を所定の目標温度まで昇温する処理であり、変倍処理は、指定された変倍率で画像データを変倍する処理である。

また、２つの事前処理条件に対応して、定着温度が所定の目標温度に達しており、ウォームアップが完了している場合には、事前処理の欄に記載されているように、変倍処理のみを実行する。

このようにすれば、追加操作命令を受け付けてから、ウォームアップおよび変倍処理を実行する場合と比較して、コピーを早期に完了させることができる。
（５－３－８）具体例８
事前操作命令の命令内容に「コピー」という語と、用紙サイズを指定する語とが含まれている場合には、「コピー＋用紙サイズ」の欄に対応する事前処理条件の欄が２つあるので、２つの事前処理条件を順に参照する。１つ目の事前処理条件として、定着装置１３２７の定着温度を参照して、所定の目標温度に達しているか否かを確認する（図１６）。

定着温度が所定の目標温度に達しておらず、従ってウォームアップが完了していない場合には、事前処理の欄に記載されている「ウォームアップ＋用紙待機」を事前処理として実行する。ウォームアップは定着装置１３２７を所定の目標温度まで昇温する処理であり、用紙待機は、指定されたサイズの用紙の搬送を開始して、当該用紙の先端をタイミングローラー１３２４に突き当てた状態、言い換えると転写開始直前の位置で待機させる処理である。

また、２つの事前処理条件に対応して、定着温度が所定の目標温度に達しており、ウォームアップが完了している場合には、事前処理の欄に記載されているように、用紙待機のみを実行する。

このようにすれば、追加操作命令を受け付けてから、ウォームアップおよび用紙搬送を開始する場合と比較して、コピーを早期に完了させることができる。
（５－３－９）具体例９
事前操作命令の命令内容に「コピー」または「スキャン送信」という語と、自動原稿搬送装置１３１１の使用を指定する語とが含まれている場合には、「コピーまたはスキャン送信＋ＡＤＦ使用」の欄に対応する事前処理条件の欄を参照して、事前操作命令の命令内容に送信方法が指定されているか否かを確認する（図１６）。

送信方法が指定されていない場合には、自動原稿搬送装置１３３１を用いて原稿の両面を読み取るとともに、可能なすべての送信方法について通信設定を実行する。

このようにすれば、追加操作命令を受け付けてから、原稿の読み取りおよび通信設定を開始する場合と比較して、コピーおよびスキャン送信を早期に完了させることができる。

なお、スキャン送信に用いる送信方法には、例えば、ＢＯＸ送信、ファクシミリ送信、ＳＭＢ、ＦＴＰおよび電子メールが挙げられる。
（５－３－１０）具体例１０
事前操作命令の命令内容に「ＯＣＲ」という語が含まれている場合には、「ＯＣＲ」の欄に対応する事前処理条件の欄を参照して、ＯＣＲに用いる辞書が事前操作命令において指定されているか否かを確認する（図１６）。

辞書が指定されていない場合には、複合機１２０が利用し得るすべての辞書について、辞書ごとにＯＣＲ処理を実行する。複合機１２０が利用し得る辞書としては、例えば、日本語、英語、中国語などの辞書を挙げることができる。

このようにすれば、追加操作命令を受け付けてから、追加操作命令の命令内容において指定された辞書を用いてＯＣＲ処理を実行する場合と比較して、ＯＣＲを早期に完了させることができる。
［６］携帯端末装置１３０の構成と動作
次に、携帯端末装置１３０の構成と動作について説明する。
（６－１）携帯端末装置１３０の構成
図２１に示すように、携帯端末装置１３０は、ＣＰＵ２１０１、ＲＯＭ２１０２、ＲＡＭ２１０３等を備えており、ＣＰＵ２１０１はリセットされると、ＲＯＭ２１０２からブートプログラムを読み出して起動し、ＲＡＭ２１０３を作業用記憶領域として、ＨＤＤ２１０４から読み出したＯＳやアプリケーション・プログラムを実行する。アプリケーション・プログラムには、複合機１２０を利用するためのプリンター・ドライバーが含まれる。

無線通信回路２１０５は公衆回線網（図示省略）と無線通信するための処理を実行し、近距離無線通信回路２１０６は、無線ＬＡＮ親機１６０および通信ネットワーク１５０を経由して複合機１２０と相互接続するための通信処理を実行する。タッチパネル２１０７は、タッチパッド２１１０と液晶ディスプレイ（LCD: Liquid Crystal Display）２１１１とを備えており、ユーザーに対して情報を提示したり、ユーザーからの指示入力を受け付けたりする。

撮像処理部２１０８はいわゆるカメラであって、静止画や動画を撮影するための処理を実行する。音声処理部２１０９は、マイク２１１２とスピーカー２１１３とを備えており、マイク２１１２を用いてユーザー指示や再指示の音声をアナログ音声信号に生成し、更に、アナログ音声信号をデジタル音声信号に変換したり、デジタル音声信号をアナログ音声信号に変換した後、スピーカー２１１３を用いて、アナログ音声信号を用いて音声出力を行ったりする。

図２２に示すように、携帯端末装置１３０は、アプリケーション・プログラムを実行することによって、複合機１２０と同様に、命令受付部２２０１やユーザー認証部２２０２、命令内容取得部２２０３等の機能を果たす。

命令受付部２２０１は、バーチャルアシスタントサーバー１１０から通常操作命令、事前操作命令および追加操作命令を受信する。ユーザー認証部２２０２は、操作命令に含まれているユーザー識別情報を参照して、認証処理を実行する。

命令内容取得部２２０３は、ユーザー認証部２２０２のユーザー認証が成功した場合に、命令受付部２２０１が受信した命令に含まれている命令内容を取得する。通常処理実行部２２０４は、命令受付部２２０１が受け付けた操作命令が通常操作命令である場合に、命令内容取得部２２０３で取得した命令内容の通常処理を実行する。

事前処理テーブル２２０５は、事前操作命令の命令内容、事前処理を実行するか否かを判定するための事前処理条件および事前処理を関連付けて記憶する。図２３に例示するように、事前処理テーブル２２０５においては、命令内容ごとに、事前処理条件と事前処理とが記憶される。

例えば、事前操作命令の命令内容がプリントであって、かつ携帯端末装置１３０のウォームアップが完了である場合には、事前処理としてウォームアップを実行する。また、事前操作命令の命令内容が解像度を指定したプリントであって、かつ携帯端末装置１３０のウォームアップが完了である場合には、事前処理として解像度に応じたウォームアップを実行する。

事前処理特定部２２０６は、事前処理テーブル２２０５を参照して、命令内容取得部２２０３が取得した事前操作命令の命令内容に対応する欄が事前処理テーブル２２０５にあり、かつ、当該欄の事前処理条件が充足されている場合には、当該欄の事前処理を特定する。

事前処理実行部２２０９は、事前処理特定部２２０６が特定した事前処理を実行する。事前操作命令記憶部２２０７は、命令内容取得部２２０３が取得した事前操作命令の命令内容を記憶する。

本処理特定部２２０８は、命令内容取得部２２０３が取得した追加操作命令の命令内容と、事前操作命令記憶部２２０７が記憶している事前操作命令の命令内容と、を組み合わせた命令内容の本処理を特定する。本処理実行部２２１０は、本処理特定部２２０８が特定した本処理を実行する。
（６－２）携帯端末装置１３０の動作
次に、携帯端末装置１３０の動作について説明する。

図２４に示すように、携帯端末装置１３０は、複合機１２０と同様に、命令受付部２２０１にて操作命令を受け付けると（Ｓ２４０１：ＹＥＳ）、ユーザー認証部２２０２は、操作命令に含まれたユーザー識別情報を取得し（Ｓ２４０２）、取得したユーザー識別情報を用いてユーザー認証を実行する（Ｓ２４０３）。当該ユーザー認証に失敗したら（Ｓ２４０４：ＮＯ）、ステップＳ２４０１へ進んで、上記の処理を繰り返す。ユーザー認証に成功したら（Ｓ２４０４：ＹＥＳ）、操作命令に含まれる命令識別情報を参照する（Ｓ２４０５）。

命令識別情報が事前操作命令を示す場合は（Ｓ２４０６：ＹＥＳ）、事前処理を実行する（Ｓ２４１１）。命令識別情報が追加操作命令を示す場合は（Ｓ２４０７：ＹＥＳ）、事前操作命令の命令内容と追加操作命令の命令内容とから特定される本処理を実行する（Ｓ２４１２）。また、通常操作命令である場合には（Ｓ２４０８：ＹＥＳ）、通常処理を実行する（Ｓ２４１３）。ステップＳ２４１１、Ｓ２４１２およびＳ２４１３の処理の後、ステップＳ２４０１へ進んで、上記の処理を繰り返す。
（６－２－１）事前処理（Ｓ２４１１）
事前処理においては、図２５に示すように、まず、命令内容取得部２２０３にて事前操作命令の命令内容を取得する（Ｓ２５０１）。次に、事前処理特定部２２０６にて事前処理テーブル２２０５を参照して、命令内容に対応する事前処理条件が記憶されているか確認する（Ｓ２５０２）。該当する事前処理条件が事前処理テーブル２２０５に記憶されている場合には（Ｓ２５０３：ＹＥＳ）、事前処理テーブル２２０５において事前処理条件に対応する事前処理を特定し（Ｓ２５０４）、特定した事前処理を実行する（Ｓ２５０５）。

事前操作命令の命令に対応する事前処理条件が事前処理テーブルに記憶されていない場合（Ｓ２５０３：ＮＯ）、およびステップＳ２５０５の処理の後、事前操作命令記憶部２２０７は事前操作命令に係るユーザー識別情報と命令内容とを関連付けて記憶して（Ｓ２５０６）、上位ルーチンに復帰する。
（６－２－２）本処理（Ｓ２４１２）
本処理においては、図２６に示すように、まず、命令内容取得部２２０３にて追加操作命令の命令内容を取得する（Ｓ２６０１）。次に、事前操作命令記憶部２２０７が、当該追加操作命令に係るユーザー識別情報に関連付けて記憶している命令内容を特定する（Ｓ２６０２）。そして、本処理特定部２２０８にて追加操作命令に係る命令内容と、当該追加操作命令に対応する事前操作命令に係る命令内容と、から本処理を特定し（Ｓ２６０３）、本処理実行部２２１０にて当該本処理を実行した後（Ｓ２６０４）、上位ルーチンに復帰する。
（６－２－３）通常処理（Ｓ２４１３）
通常処理においては、図２７に示すように、命令内容取得部２２０３にて通常操作命令の命令内容を取得し（Ｓ２７０１）、通常処理実行部２２０４にて当該命令内容の通常処理を実行した後（Ｓ２７０２）、上位ルーチンに復帰する。
（６－３）事前処理の具体例
事前処理について具体例を挙げて説明する。

携帯端末装置１３０は、事前操作命令の命令内容に「プリント」という語が含まれている場合には、事前処理テーブル２２０５を参照して、「プリント」になっている命令内容の欄を探し、当該欄に対応する事前処理条件の欄を参照する。図２３の例では、当該事前処理条件の欄に「プリンター・ドライバーが未起動」と記載されているので、携帯端末装置１３０は、プリンター・ドライバーが起動されているか否かを確認する。

プリンター・ドライバーが起動されていない場合には、事前処理の欄に記載されている「プリンター・ドライバーを起動する」を事前処理として実行する。このようにすれば、追加操作命令を受け付けてからプリンター・ドライバーを起動する場合と比較して、携帯端末装置１３０のユーザーはプリンター・ドライバーが起動されるのを待つことなく、プリンター・ドライバーを操作することができる。従って、ユーザーの待ち時間を短縮することができるので、ユーザーの利便性を高めることができる。

また、プリンター・ドライバーが既に起動されている場合には、事前処理としてプリンター・ドライバーを起動する必要は無い。
［７］変形例
以上、本発明を実施の形態に基づいて説明してきたが、本発明が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（７－１）上記実施の形態においては、ユーザー指示の音声認識に一部失敗したら再指示を要求する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、ユーザー指示の音声認識に一部失敗した場合に、バーチャルアシスタントサーバー１１０において事前処理条件を確認し、複合機１２０等において事前処理が実行できない場合には、スマートスピーカー１００を用いてユーザーに対して、例えば、「聞き取れませんでした。もう一度言って下さい」のようなメッセージを音声出力して、ユーザー指示全体の再入力を要求する。

このように、複合機１２０等において事前処理が実行できる場合にのみ、事前処理を実行することができる複合機１２０等に対して、バーチャルアシスタントサーバー１１０が事前操作命令を送信しても、上記実施の形態と同様の効果を得ることができる。

なお、複合機１２０等において事前処理が実行できるか否かの確認は、バーチャルアシスタントサーバー１１０がユーザー指示の音声認識に一部失敗した場合に、ユーザー指示のうち音声認識に成功した部分のテキストデータを含むユーザー指示受付未完了通知を複合機１２０等に送信して、事前処理条件を確認させ、確認結果を返信させることによって行ってもよい。
（７－２）上記実施の形態においては、バーチャルアシスタントサーバー１１０を用いる場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、バーチャルアシスタントサーバー１１０を経由することなく、スマートスピーカー１００と複合機１２０とが音声データを送受信することによって処理を行ってもよい。
（７－３）上記実施の形態においては、特に言及しなかったが、複合機１２０等は事前処理を完了した後、当該事前処理に係る事前操作命令に対応する追加操作命令をバーチャルアシスタントサーバー１１０から受信するまで待機状態でスタンバイしていてもよい。この待機状態とは、例えば、事前処理がウォームアップである場合には、ウォームアップ完了後、定着温度を所定の目標温度に維持した状態である。また、可能なファイル形式や可能な解像度で生成したファイルを削除せずに維持する状態であってもよい。
（７－４）上記実施の形態においては、スマートスピーカー１００がＧＰＳを用いて設置位置を検出する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて、スマートスピーカー１００のシリアル番号など位置情報以外の情報を用いてスマートスピーカー１００を識別し、個々のスマートスピーカー１００と複合機１２０との対応表を参照して、スマートスピーカー１００毎に直近の複合機１２０を特定してもよい。
（７－５）上記実施の形態においては、複合機１２０が備えるプリンター装置１３２０がタンデム方式のカラープリンターである場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、プリンター装置１３２０はタンデム方式外の方式のカラープリンターであってもよいし、モノクロプリンターであってもよい。また、プリンター装置１３２９はインクジェット方式など電子写真方式以外の方式を採用してもよい。

また、複合機１２０が備える機能の如何に関わらず本発明を適用すれば同様の効果を得ることができる。

本発明に係る音声操作システム、音声操作方法および音声操作プログラムは、音声指示をやり直す必要がある場合における装置動作の開始遅延を抑制することができる技術として有用である。

１………………………画像形成システム
１００…………………スマートスピーカー
１１０…………………バーチャルアシスタントサーバー
１２０…………………複合機
１３０…………………携帯端末装置
１４０…………………ＰＣ
１５０…………………通信ネットワーク
１５０５、２２０５…事前処理テーブル

Claims

処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、
前記受付装置は、
前記音声指示を音声認識する音声認識手段と、
前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、
前記処理装置は、画像処理装置であって、
前記操作命令の命令内容に対応する処理を実行する処理手段と、
前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、
通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、
前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、
前記処理特定手段は、
前記操作命令が、プリント操作に関する命令である場合には、
当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、
前記事前処理をウォームアップ処理とする
ことを特徴とする音声操作システム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、
前記受付装置は、
前記音声指示を音声認識する音声認識手段と、
前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、
前記処理装置は、端末装置であって、
前記操作命令の命令内容に対応する処理を実行する処理手段と、
前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、
通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、
前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、
前記処理特定手段は、
前記操作命令が、プリント操作に関する命令である場合には、
前記事前処理を前記端末装置がプリントジョブを作成するためのプリンター・ドライバーを起動するとともに、前記操作命令で指定されているプリント条件を前記プリンター・ドライバーに入力する処理とする
ことを特徴とする音声操作システム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、
前記受付装置は、
前記音声指示を音声認識する音声認識手段と、
前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、
前記処理装置は、画像処理装置であって、
前記操作命令の命令内容に対応する処理を実行する処理手段と、
前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、
通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、
前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、
前記処理特定手段は、
前記操作命令が、前記画像処理装置が原稿から読み取った画像データ、または予め記憶している画像データのファイル送信に関する命令である場合には、
前記事前処理を送信すべきファイルを作成可能な複数のファイル形式で作成する処理とする
ことを特徴とする音声操作システム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、
前記受付装置は、
前記音声指示を音声認識する音声認識手段と、
前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、
前記処理装置は、画像処理装置であって、
前記操作命令の命令内容に対応する処理を実行する処理手段と、
前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、
通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、
前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、
前記処理特定手段は、
前記操作命令が、コピー操作に関する命令である場合には、
当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、
前記事前処理をウォームアップ処理とする
ことを特徴とする音声操作システム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、
前記受付装置は、
前記音声指示を音声認識する音声認識手段と、
前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、
前記処理装置は、画像処理装置であって、
前記操作命令の命令内容に対応する処理を実行する処理手段と、
前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、
通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、
前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、
前記処理特定手段は、
前記操作命令が、自動原稿搬送装置を用いた原稿の読み取りを要する命令である場合には、
前記事前処理を、自動原稿搬送装置を用いて原稿の両面を読み取る処理とする
ことを特徴とする音声操作システム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、
前記受付装置は、
前記音声指示を音声認識する音声認識手段と、
前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、
前記処理装置は、画像処理装置であって、
前記操作命令の命令内容に対応する処理を実行する処理手段と、
前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、
通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、
前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、
前記処理特定手段は、
前記操作命令が、カラー画像の形成に関する命令である場合には、
前記事前処理をカラー設定に対応したトナー又はインクの供給を準備する処理とする
ことを特徴とする音声操作システム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムであって、
前記受付装置は、
前記音声指示を音声認識する音声認識手段と、
前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知手段と、を備え、
前記処理装置は、画像処理装置であって、
前記操作命令の命令内容に対応する処理を実行する処理手段と、
前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶手段と、
通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定手段と、を備え、
前記処理手段は、前記処理特定手段が特定した事前処理を、前記処理として実行し、
前記処理特定手段は、
前記操作命令が、複数の辞書のうちのいずれかの辞書を用いた文字認識処理に関する命令である場合には、
前記事前処理を前記複数の辞書をそれぞれ用いた複数の文字認識結果を用意する処理をとする
ことを特徴とする音声操作システム。
前記受付装置は、更に、
前記音声認識手段が前記音声指示の一部について音声認識を失敗した場合に、当該一部の再指示を受け付ける再指示受付手段と、
当該再指示された一部を、追加操作命令として、前記処理装置へ通知する追加通知手段と、を備え、
前記処理装置は、更に、
前記操作命令および追加操作命令に応じた本処理を、前記事前処理の結果を利用して、実行する本実行手段を備える
ことを特徴とする請求項２から７のいずれかに記載の音声操作システム。
前記受付装置は、更に、
音声認識によってユーザーを特定するユーザー特定手段と、
特定したユーザーを前記処理装置に通知するユーザー通知手段と、を備え、
前記通知手段は、前記音声指示から特定されたユーザーを併せて通知し、
前記追加通知手段は、前記再指示から特定されたユーザーを併せて通知し、
前記処理装置は、更に、
ユーザーに対応付けられた複数のジョブを実行することができ、
前記通知されたユーザーに対応付けられたジョブを特定するジョブ特定手段を備え、
前記本実行手段は、同一のユーザーに係る操作命令および追加操作命令に応じた本処理を実行する
ことを特徴とする請求項８に記載の音声操作システム。
前記再指示受付手段は、
前記音声指示のうち音声認識を失敗した一部を示して再指示を要求する再指示要求手段を備え、
当該要求に対するユーザーの回答を、前記再指示として受け付ける
ことを特徴とする請求項８または９に記載の音声操作システム。
前記再指示要求手段は、
前記音声指示のうち音声認識に失敗した一部を音声出力するとともに、当該一部の音声認識に失敗した旨の音声を出力することによって、再指示を要求する
ことを特徴とする請求項１０に記載の音声操作システム。
前記再指示要求手段は、
前記音声指示のうち音声認識に失敗した一部を警告音に置き換えた音声を出力することによって、再指示を要求する
ことを特徴とする請求項１０に記載の音声操作システム。
前記処理特定手段は、
前記操作命令において解像度が指定されている場合には、
前記事前処理を、前記解像度に応じた定着温度のウォームアップ処理とする
ことを特徴とする請求項１に記載の音声操作システム。
前記処理特定手段は、
前記操作命令において解像度が指定されている場合には、
前記事前処理を、前記指定された解像度でファイルを作成する処理とする
ことを特徴とする請求項３に記載の音声操作システム。
前記処理特定手段は、
前記画像処理装置が複数の送信方法でファイルを送信することができる場合には、
前記事前処理は、前記各送信方法における通信設定処理を含む
ことを特徴とする請求項３または１４に記載の音声操作システム。
前記処理特定手段は、
前記操作命令において、入力する画像サイズの変倍率が指定されている場合には、
前記事前処理は、原稿を読み取って画像データを生成し、得られた画像データに前記変倍率で変倍する処理を含む
ことを特徴とする請求項４に記載の音声操作システム。
前記処理特定手段は、
前記操作命令において、用紙サイズが指定されている場合には、
前記事前処理は、指定された用紙サイズの用紙を搬送して、当該搬送方向におけるトナー像の転写位置よりも上流側の待機位置で当該用紙を待機させる処理を含む
ことを特徴とする請求項４または１６に記載の音声操作システム。
前記本実行手段は、前記受付装置から追加操作命令を通知されるまで、本処理の実行を待つ
ことを特徴とする請求項８から１２のいずれかに記載の音声操作システム。
複数の処理装置を有し、
前記受付装置は、前記ユーザーおよび前記処理装置の位置を特定して、前記ユーザーからの距離が最も短い処理装置を選択する装置選択手段を備え、
前記通知手段は、前記装置選択手段が選択した処理装置へ前記通知を行う
ことを特徴とする請求項１から１８のいずれかに記載の音声操作システム。
前記受付装置は、
前記音声指示を受け付けるスマートスピーカーと、
前記音声認識手段と、前記通知手段とを有するサーバーと、を備える
ことを特徴とする請求項１から１９のいずれかに記載の音声操作システム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置は、画像処理装置であって、
前記画像処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、プリント操作に関する命令である場合には、
当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、
前記事前処理をウォームアップ処理とする
ことを特徴とする音声操作方法。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置は、端末装置であって、
前記端末装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記端末装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記端末装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、プリント操作に関する命令である場合には、
前記事前処理を前記端末装置がプリントジョブを作成するためのプリンター・ドライバーを起動するとともに、前記操作命令で指定されているプリント条件を前記プリンター・ドライバーに入力する処理とする
ことを特徴とする音声操作方法。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置は、画像処理装置であって、
前記画像処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、前記画像処理装置が原稿から読み取った画像データ、または予め記憶している画像データのファイル送信に関する命令である場合には、
前記事前処理を送信すべきファイルを作成可能な複数のファイル形式で作成する処理とする
ことを特徴とする音声操作方法。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置は、画像処理装置であって、
前記画像処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、コピー操作に関する命令である場合には、
当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、
前記事前処理をウォームアップ処理とする
ことを特徴とする音声操作方法。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、自動原稿搬送装置を用いた原稿の読み取りを要する命令である場合には、
前記事前処理を、自動原稿搬送装置を用いて原稿の両面を読み取る処理とする
ことを特徴とする音声操作方法。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、カラー画像の形成に関する命令である場合には、
前記事前処理をカラー設定に対応したトナー又はインクの供給を準備する処理とする
ことを特徴とする音声操作方法。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有する音声操作システムが実行する音声操作方法であって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を含み、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、複数の辞書のうちのいずれかの辞書を用いた文字認識処理に関する命令である場合には、
前記事前処理を前記複数の辞書をそれぞれ用いた複数の文字認識結果を用意する処理をとする
ことを特徴とする音声操作方法。
複数の処理装置を有する音声操作システムにおいて、
前記受付装置が、前記ユーザーおよび前記処理装置の位置を特定して、前記ユーザーからの距離が最も短い処理装置を選択する装置選択ステップを含み、
前記通知ステップにおいては、前記装置選択ステップにて選択した処理装置へ前記通知を行う
ことを特徴とする請求項２１から２７のいずれかに記載の音声操作方法。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置は、画像処理装置であって、
前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、プリント操作に関する命令である場合には、
当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、
前記事前処理をウォームアップ処理とする
ことを特徴とする音声操作プログラム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置は、端末装置であって、
前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記端末装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記端末装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、プリント操作に関する命令である場合には、
前記事前処理を前記端末装置がプリントジョブを作成するためのプリンター・ドライバーを起動するとともに、前記操作命令で指定されているプリント条件を前記プリンター・ドライバーに入力する処理とする
ことを特徴とする音声操作プログラム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置は、画像処理装置であって、
前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、前記画像処理装置が原稿から読み取った画像データ、または予め記憶している画像データのファイル送信に関する命令である場合には、
前記事前処理を送信すべきファイルを作成可能な複数のファイル形式で作成する処理とする
ことを特徴とする音声操作プログラム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記処理装置は、画像処理装置であって、
前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記画像処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記画像処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、コピー操作に関する命令である場合には、
当該画像処理装置がウォームアップ処理を完了したか否かを確認して、ウォームアップ処理が完了していなければ、
前記事前処理をウォームアップ処理とする
ことを特徴とする音声操作プログラム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、自動原稿搬送装置を用いた原稿の読み取りを要する命令である場合には、
前記事前処理を、自動原稿搬送装置を用いて原稿の両面を読み取る処理とする
ことを特徴とする音声操作プログラム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、カラー画像の形成に関する命令である場合には、
前記事前処理をカラー設定に対応したトナー又はインクの供給を準備する処理とする
ことを特徴とする音声操作プログラム。
処理装置と、前記処理装置に対するユーザーの音声指示を受け付ける受付装置と、を有するコンピューターシステムに音声操作を実行させる音声操作プログラムであって、
前記受付装置が前記音声指示を音声認識する音声認識ステップと、
前記音声認識ステップにおいて前記音声指示の一部について音声認識を失敗した場合に、前記受付装置が、前記音声指示のうち音声認識に成功した部分に対応する操作命令を前記処理装置へ通知する通知ステップと、
前記受付装置が、前記操作命令の命令内容に対応する処理を実行する処理ステップと、
前記処理装置が、前記操作命令の命令内容と、当該命令内容に対応する事前処理と、当該事前処理を実行するための事前処理条件と、を対応付けて記憶する記憶ステップと、
前記処理装置が、通知された操作命令に対応付けられた事前処理条件が充足された場合に、当該操作命令に対応付けられた事前処理を特定する処理特定ステップと、を前記コンピューターシステムに実行させ、
前記処理ステップにおいては、前記処理特定ステップにおいて特定した事前処理を、前記処理として実行し、
前記処理特定ステップにおいては、
前記操作命令が、複数の辞書のうちのいずれかの辞書を用いた文字認識処理に関する命令である場合には、
前記事前処理を前記複数の辞書をそれぞれ用いた複数の文字認識結果を用意する処理をとする
ことを特徴とする音声操作プログラム。
複数の処理装置を有するコンピューターシステムにおいて、
前記受付装置が、前記ユーザーおよび前記処理装置の位置を特定して、前記ユーザーからの距離が最も短い処理装置を選択する装置選択ステップを含み、
前記通知ステップにおいては、前記装置選択ステップにて選択した処理装置へ前記通知を行う
ことを特徴とする請求項２９から３５のいずれかに記載の音声操作プログラム。