JP7379872B2 - 画像形成システム、画像形成装置、画像形成装置の制御プログラム、および画像形成装置の制御方法 - Google Patents

Description

本開示は、画像形成システム、画像形成装置、画像形成装置の制御プログラム、および画像形成装置の制御方法に関する。

近年、１の言語のみならず、複数の言語に対応した画像形成装置が提案されている。特許文献１では、ユーザーが指示したジョブの処理状態を音声出力させる場合に、ユーザーが画像形成装置の言語設定の切替操作をすることなく、当該ユーザーに対応する言語でジョブの処理状態を音声出力させる画像形成装置が提案されている。

特開２０１１－５９９５８号公報

ところで、ユーザーの利便性を向上させるために、画像形成装置とスマートスピーカーとをネットワークで接続させる技術が考えられる。この技術では、ユーザーは、このスマートスピーカーに対して入力音声を発することにより、画像形成装置にジョブ（コピーなど）を入力する。スマートスピーカーに、入力音声が入力されると、スマートスピーカーは該入力音声に対する応答音声を、例えば、該入力音声に対応する言語で出力する。例えば、ユーザーが、日本語による「コピー１枚」という入力音声を入力した場合には、スマートスピーカーは、日本語による「分かりました」という応答音声を出力する。また、ユーザーが、英語による「Copy one」という入力音声を入力した場合には、スマートスピーカーは、英語による「OK」という応答音声を出力する。

また、例えば、ユーザーが入力音声により入力したジョブが完了した旨を示す完了音声を、スマートスピーカーから出力させることが考えられる。しかしながら、画像形成装置とスマートスピーカーとの接続を長時間継続させることは、スマートスピーカーに対してノイズ音声が入力されてしまうなどの理由により、好ましくない。したがって、画像形成装置とスマートスピーカーとの接続時間を短時間とすることが好ましい。ところが、画像形成装置とスマートスピーカーとの接続時間を短時間とすると、画像形成装置は、ジョブが完了したことを示す信号をスマートスピーカーに送信することができなくなり、結果として、スマートスピーカーから完了音声を出力させることができない。

そこで、画像形成装置に完了音声を出力させることが考えられる。しかしながら、従来、画像形成装置に対してスマートスピーカーを接続させる事項は知られていない。仮に、画像形成装置に対してスマートスピーカーを接続させるという事項に想到したとしても、スマートスピーカーからの応答音声の言語と、画像形成装置からの完了音声の言語との関係が鑑みられていない。したがって、スマートスピーカーからの応答音声の言語と、画像形成装置からの完了音声の言語とが異なる場合には、ユーザーに違和感を抱かせるという問題があった。

本開示は、係る実情に鑑み考え出されたものであり、ユーザーに違和感を感じさせることを防止する画像形成システム、画像形成装置、画像形成プログラム、および画像形成方法に関する。

本開示のある局面に従うと、音声入出力装置と、情報処理装置と、画像形成装置とを備える画像形成システムであって、音声入出力装置は、第１音声が入力されるとともに、該第１音声が入力されたときに第２音声を出力し、第１音声を送信し、情報処理装置は、音声入出力装置からの第１音声を受信したときに、第２音声の言語を特定可能な言語情報を送信し、画像形成装置は、情報処理装置から送信された言語情報から特定される第２音声の言語を取得する言語取得部と、言語を設定する設定部と、設定部により設定されている言語を、言語取得部により取得された第２音声の言語に切換える切換部と、切換部により切換えられた言語での第３音声を出力する出力部とを備える、画像形成システムが提供される。

ある局面において、情報処理装置は、音声入出力装置から送信された第１音声の言語を検出し、検出された第１音声の言語を、言語情報として送信する、第２音声の言語として取得する。

ある局面において、情報処理装置は、音声入出力装置に設定されている第２音声の言語を、言語情報として送信する。

ある局面において、画像形成システムは、音声データを提供する第１提供装置をさらに備え、画像形成装置は、切換部により切換えられる言語に対応する音声データを記憶していない場合には、切換部により切換えられる言語に対応する音声データを第１提供装置から取得する音声データ取得部をさらに備え、出力部は、音声データ取得部により取得された音声データに基づいた第３音声を出力する。

ある局面において、出力部は、第１提供装置からの音声データの取得前に第３音声を出力する場合には、切換部により切換えられた言語での第３音声ではなく、切換部により切換えられる前の言語での第３音声を出力する。

ある局面において、画像形成装置は、画像を表示する表示部と、表示部を制御する表示制御部とをさらに備え、表示制御部は、切換部により切換えられた言語での画像を表示するように表示部を制御する。

ある局面において、画像形成システムは、画像データを提供する第２提供装置をさらに備え、画像形成装置は、切換部により切換えられる言語に対応する画像データを記憶していない場合には、切換部により切換えられる言語に対応する画像データを第２提供装置から取得する画像データ取得部をさらに備え、表示制御部は、画像データ取得部により取得された画像データに基づいた画像を表示部に表示させる。

ある局面において、表示制御部は、情報処理装置から送信された第１音声に基づいたジョブが完了した場合に、切換部により切換られる前の言語での画像を表示するように表示部を制御する。

ある局面において、表示制御部は、音声入出力装置と画像形成装置との接続が切れたことを画像形成装置が判断した場合に、切換部により切換られる前の言語での画像を表示するように表示部を制御する。

ある局面において、画像形成装置は、切換部により切換えられる言語での画像を表示する制御を禁止する禁止部をさらに備える。

ある局面において、出力部は、情報処理装置から送信された第１音声に基づいたジョブが完了した場合に、切換部により切換られる前の言語での音声を出力可能となる。

ある局面において、出力部は、エラーが発生した場合に、エラーが発生したことを示す音声およびエラーの内容を示す音声を、切換部により切換られる前の言語で出力する。

ある局面において、出力部は、エラーが発生した場合に、エラーが発生したことを示す音声を切換部により切換えられた言語で出力し、エラーの内容を示す音声を切換部により切換られる前の言語で出力する。

ある局面において、出力部は、音声入出力装置から送信された音声に基づいたジョブが完了したことを示す音声を、第３音声として出力する。

本開示の他の局面に従うと、音声入出力装置にユーザーからの第１音声が入力されたときに該音声入出力装置から出力される第２音声の言語を特定可能な言語情報を取得する言語取得部と、言語を設定する設定部と、設定部により設定されている言語を、言語取得部により取得された第２音声の言語に切換える切換部と、切換部により切換えられた言語での第３音声を出力する出力部とを備える、画像形成装置が提供される。

ある局面において、切換部により切換えられる言語に対応する音声データを記憶していない場合には、切換部により切換えられる言語に対応する音声データを第１提供装置から取得する音声データ取得部をさらに備え、出力部は、音声データ取得部により取得された音声データに基づいた第３音声を出力する。

ある局面において、出力部は、第１提供装置からの音声データの取得前に第３音声を出力する場合には、切換部により切換えられた言語での第３音声ではなく、切換部により切換えられる前の言語での第３音声を出力する。

ある局面において、画像を表示する表示部と、表示部を制御する表示制御部とをさらに備え、表示制御部は、切換部により切換えられた言語での画像を表示するように表示部を制御する。

ある局面において、画像形成装置は、切換部により切換えられる言語に対応する画像データを記憶していない場合には、切換部により切換えられる言語に対応する画像データを第２提供装置から取得する画像データ取得部をさらに備え、表示制御部は、画像データ取得部により取得された画像データに基づいた画像を表示部に表示させる。

ある局面において、表示制御部は、第１音声に基づいたジョブが完了した場合に、切換部により切換られる前の言語での画像を表示するように表示部を制御する。

ある局面において、表示制御部は、音声入出力装置と画像形成装置との接続が切れたことを画像形成装置が判断した場合に、切換部により切換られる前の言語での画像を表示するように表示部を制御する。

ある局面において、切換部により切換えられる言語での画像を表示する制御を禁止する禁止部をさらに備える。

ある局面において、出力部は、第１音声に基づいたジョブが完了した場合に、切換部により切換られる前の言語での音声を出力可能となる。

ある局面において、出力部は、エラーが発生した場合に、エラーが発生したことを示す音声およびエラーの内容を示す音声を、切換部により切換られる前の言語で出力する。

ある局面において、出力部は、エラーが発生した場合に、エラーが発生したことを示す音声を切換部により切換えられた言語で出力し、エラーの内容を示す音声を切換部により切換られる前の言語で出力する。

ある局面において、出力部は、音声入出力装置から送信された音声に基づいたジョブが完了したことを示す音声を、第３音声として出力する。

本開示の他の局面に従うと、コンピューターに、音声入出力装置にユーザーからの第１音声が入力されたときに該音声入出力装置から出力される第２音声の言語を特定可能な言語情報を取得するステップと、設定されている言語を、第２音声の言語に切換えるステップと、切換えられた言語での第３音声を出力するステップとを実行させる、画像形成装置の制御プログラムが提供される。

本開示の他の局面に従うと、音声入出力装置にユーザーからの第１音声が入力されたときに該音声入出力装置から出力される第２音声の言語を特定可能な言語情報を取得するステップと、設定されている言語を、第２音声の言語に切換えるステップと、切換えられた言語での第３音声を出力するステップとを備える、画像形成装置の制御方法が提供される。

本開示によれば、ユーザーに違和感を抱かせることを防止できる。

本実施形態の適用例を説明するための図である。 本実施形態の画像形成システムの構成例を説明するための図である。 本実施形態のＭＦＰのハードウェア構成を示す図である。 本実施形態の情報処理装置の機能構成例を示す図である。 本実施形態のＭＦＰの機能構成例を示す図である。 本実施形態のＭＦＰのディスプレイに表示される画像の一例を示す図である。 音声データベースの一例を示す図である。 画像データベースの一例を示す図である。 本実施形態の画像形成システムのフローチャートである。 第１処理のフローチャートである。 第２処理のフローチャートである。 第３処理のフローチャートである。

本発明に基づいた実施の形態における画像形成装置について、以下、図を参照しながら説明する。以下に説明する実施の形態において、個数、量などに言及する場合、特に記載がある場合を除き、本発明の範囲は必ずしもその個数、量などに限定されない。同一の部品、相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。また、各実施の形態における構成を適宜組み合わせて用いることは当初から予定されていることである。

＜本実施形態＞
［適用例］
まず、本実施形態の適用例を説明する。図１は、本実施形態の適用例を説明するための図である。本実施形態の画像形成システムは、スマートスピーカー２０と、ＭＦＰ１４０（MultiFunction Printer）とを含む。例えば、スマートスピーカー２０に入力音声が入力されると、後述する情報処理装置等が、スマートスピーカー２０と、ＭＦＰ１４０とのセッションを形成する。スマートスピーカー２０は、入力音声が入力されるとともに、入力音声の言語での音声を該入力音声に応じた応答音声を出力する。ＭＦＰ１４０は、複数の言語（例えば、日本語、および英語等）のうち、設定された言語での音声を出力可能である。ユーザーは、出力させる音声を選択操作により自由に設定できる。また、ＭＦＰ１４０ではデフォルトの設定言語として、日本語が設定されている。また、ＭＦＰ１４０は、入力音声に基づくジョブ（例えば、画像形成ジョブ等）を実行する。

図１（Ａ）に示すように、ユーザーＵが、英語で、「Please make two color copies」という入力音声を発したとする。その後、図１（Ｂ）に示すように、スマートスピーカー２０は、入力音声と同一の言語である英語で「OK」という応答音声を出力する。これにより、ユーザーは、スマートスピーカー２０が入力音声の入力を受け付けたことを認識できる。

ＭＦＰ１４０は、入力音声に基づくジョブとして、カラーコピー２枚を作成するジョブを実行する。その後、ＭＦＰ１４０は、該ジョブが完了（終了）したときに、完了音声を出力する。

また、比較例の画像形成システムは、ユーザーの利便性を向上させるために、画像形成装置とスマートスピーカーとをネットワークで接続させることにより構成されたとする。ここで、比較例の画像形成システムでは、スマートスピーカー２０の応答音声の言語と、ＭＦＰ１４０の完了音声の言語との関係が鑑みられていなかった。したがって、図１（Ｃ）に示すように、ＭＦＰ１４０Ｘは、デフォルトの設定言語である日本語で、完了音声を出力する。図１（Ｃ）の例では、完了音声は、日本語での「コピーが終了しました」という音声である。比較例の画像形成システムでは、図１（Ｃ）の※印に示すように、応答音声の言語と、完了音声の言語とが異なることから、言語に関する違和感をユーザーに感じさせるという問題が生じる。

一方、本実施形態のＭＦＰ１４０を含む画像形成システムでは、後述する情報処理装置が、スマートスピーカー２０に入力された入力音声を解析することにより入力音声の言語を取得する。その後、情報処理装置が、該取得した言語をＭＦＰ１４０に対して送信する。ＭＦＰ１４０は、設定されている言語（日本語）から、該取得した入力音声の言語（英語）に、設定言語を切換える。したがって、図１（Ｄ）に示すように、ＭＦＰ１４０は、切換えられた言語である英語で、完了音声を出力する。図１（Ｄ）の例では、完了音声は、英語での「Copy finished」という音声である。本実施形態の画像形成システムでは、図１（Ｄ）の※印に示すように、応答音声の言語と、完了音声の言語とが同一となることから、言語に関する違和感をユーザーに感じさせることを防止できる。

なお、スマートスピーカー２０が、完了音声を出力する構成が考えられる。しかしながら、スマートスピーカー２０とＭＦＰ１４０とのセッションを長時間継続させることは以下の理由により好ましくない。スマートスピーカー２０とＭＦＰ１４０とのセッションを長時間継続させた場合において、スマートスピーカー２０にノイズ音等が入力される場合がある。スマートスピーカー２０にノイズ音等が入力されると、スマートスピーカー２０または後述の情報処理装置は、該ノイズ音を音声認識できない。このため、スマートスピーカー２０は、頻繁に聞き直す応答音声（例えば「もう一度言ってください」などという音声）を出力することになったり、ＭＦＰ１４０により誤った音声認識がなされてＭＦＰ１４０が誤った処理を実行してしまう場合がある。したがって、スマートスピーカー２０とＭＦＰ１４０とのセッションを長時間継続させることは好ましくない。

なお、スマートスピーカーをＭＦＰ１４０に接続させずに、ＭＦＰ１４０に音声入出力機能を備えさせることが考えられる。しかしながら、ＭＦＰ１４０に音声入出力機能を備えさせると、ＭＦＰ１４０の製造コストが増大してしまう。そこで、本実施形態では、ＭＦＰ１４０に音声出力機能を備えさせ、音声入力機能を備えさせないものとする。

［画像形成システムの機能構成例］
図２は、本実施形態の画像形成システム１０００の機能構成例を示す図である。図２に示すように画像形成システム１０００は、スマートスピーカー２０と、第１ネットワーク４０と、第１情報処理装置６０と、第２ネットワーク８０と、第２情報処理装置１００と、第３ネットワーク１２０と、ＭＦＰ１４０と、第１提供装置１５０と、第２提供装置１６０とを含む。

スマートスピーカー２０は、本開示の「音声入出力装置」に対応する。ＭＦＰ１４０は、本開示の「画像形成装置」に対応する。第１情報処理装置６０は、本開示の「情報処理装置」に対応する。また、第１情報処理装置６０、第２情報処理装置１００、第１提供装置１５０、および第２提供装置１６０は、典型的には、クラウド装置として構成される。

また、典型的には、スマートスピーカー２０と、第１情報処理装置６０とは同一の製造メーカーである。また、第２情報処理装置１００と、ＭＦＰ１４０とは同一の製造メーカーである。

「入力音声」は、ユーザーから発せられる音声でありかつスマートスピーカー２０に入力される音声である。入力音声は、本開示の「第１音声」に対応する。「入力音声」は、日本語、および日本語以外の言語（例えば、英語、中国語等）のいずれかでユーザーから発せられる言語である。ＭＦＰ１４０は、該入力音声に含まれるジョブ音声に基づいて、ジョブを実行することができる。

「応答音声」は、スマートスピーカー２０から発せられる音声である。「応答音声」は、本開示の「第２音声」に対応する。「応答音声」は、スマートスピーカー２０に入力された入力音声に応答する音声である。

「完了音声」は、ＭＦＰ１４０から発せられる音声である。「完了音声」は、本開示の「第３音声」に対応する。「完了音声」は、ユーザーによる入力音声に基づくジョブがＭＦＰ１４０により完了したことを示す音声である。

ユーザーＵは、スマートスピーカー２０に対して、入力音声を発することにより、ＭＦＰ１４０にジョブを入力することができる。入力音声の音声データは、第１ネットワーク４０を経由して、第１情報処理装置６０に入力される。第１情報処理装置６０は、入力音声の音声データを解析することにより、音声の言語および音声に含まれるジョブの内容を検出する。第１情報処理装置６０は、検出された音声の言語での応答音声を示す音声データをスマートスピーカー２０に対して送信する。スマートスピーカー２０は、応答音声を示す音声データに基づいて、応答音声を出力する。

第１情報処理装置６０は、音声の言語および音声に含まれるジョブの内容を、第２ネットワーク８０を経由して第２情報処理装置１００に対して送信する。第２情報処理装置１００は、該音声の言語および音声に含まれるジョブの内容を、ＭＦＰ１４０に対するコマンドの形式に変換して、第３ネットワーク１２０を経由してＭＦＰ１４０に対して送信する。

ＭＦＰ１４０は、音声の言語および該ジョブの内容を取得する。ＭＦＰ１４０は、該取得されたジョブの内容に基づくジョブを実行する。また、ＭＦＰ１４０は、該実行したジョブが完了すると、該ジョブが完了したことを示す完了音声を、該取得した言語で出力する。

本実施形態の画像形成システム１０００は、入力音声、応答音声、および完了音声を全て同一の言語とすることができる。

例えば、入力音声が、日本語による「カラーコピー２枚して下さい」という音声である場合には、日本語による「分かりました」という応答音声がスマートスピーカー２０から出力され、日本語による「コピーが終了しました」という完了音声がＭＦＰ１４０から出力される。

また、入力音声が、英語による「Please make two color copies」という音声である場合には、英語による「OK」という応答音声がスマートスピーカー２０から出力され、英語による「Copy finished」という完了音声がＭＦＰ１４０から出力される。

このように、本実施形態の画像形成システム１０００は、入力音声、応答音声、および完了音声が全て同一の言語となることにより、ユーザーに違和感を感じさせることを防止することができる。

［ＭＦＰのハードウェア構成例］
図３は、ＭＦＰ１４０のハードウェア構成例を示す図である。図３を参照して、ＭＦＰ１４０のハードウェア構成例を説明する。図３に示すように、ＭＦＰ１４０は、制御部３１と、固定記憶装置３２と、短距離無線ＩＦ（Inter Face）３３と、操作パネル３４と、給紙ユニット１４と、処理ユニット１１と、スピーカー３５と、ネットワークＩＦ３６とを有する。制御部３１には、各構成部がバス３８を介して接続されている。

制御部３１は、ＣＰＵ（Central Processing Unit）３１１と、制御プログラムが格納されたＲＯＭ（Read Only Memory）３１２と、作業用のＳ－ＲＡＭ（Static Random Access Memory）３１３と、画像形成に関わる各種の設定を記憶するバッテリバックアップされたＮＶ－ＲＡＭ（Non-Volatile RAM：不揮発性メモリ）３１４と、時計ＩＣ（Integrated Circuit）３１５とを有する。

ＣＰＵ３１１は、ＲＯＭ３１２等に保存されている動作プログラムを実行することにより、ＭＰ１４０全体を総括的に制御する。特に本実施の形態のＭＦＰ１４０は、スマートスピーカー２０に対する入力音声に基づいたジョブを実行することができる。

ＲＯＭ３１２には、ＣＰＵ３１１が実行するプログラムやその他のデータを格納する。Ｓ－ＲＡＭ３１３は、ＣＰＵ３１１がプログラムを実行する際の作業領域となるものであり、プログラムやプログラムを実行する際のデータ等を一時的に保存する。ＮＶ－ＲＡＭ３１４は、バッテリーでバックアップされた不揮発メモリであり、画像形成に係わる各種の設定等を記憶するものである。時計ＩＣ３１５は、時刻を計時すると共に、内部タイマーとして機能し処理時間の計測等を行う。固定記憶装置３２は、ハードディスク等からなり、プログラムや各種データ等を保存する。短距離無線Ｉ／Ｆ３３は、他の装置と短距離無線通信をする。

操作パネル３４は、ディスプレイ１０５１と、タッチパネル１０５２とを含む。操作パネル３４は、表示装置としてのディスプレイ１０５１と、入力装置としてのタッチパネル１０５２とにより構成される。具体的には、操作パネル３４は、ディスプレイ１０５１（たとえば液晶ディスプレイ）上にタッチパネル１０５２を位置決めした上で固定することにより実現される。ディスプレイ１０５１は、文字を含むメニュー画面、ジョブ設定画像、およびオプション設定画面などを表示可能である。なお、タッチスクリーンは、タッチパネルディスプレイ、タッチパネル付きディスプレイ、あるいはタッチパネルモニタとも称される。なお、操作パネル３４においては、タッチ位置の検出方法として、たとえば抵抗膜方式または静電容量方式を用いることができる。

給紙ユニット１４には、画像形成対象の用紙が収容される。処理ユニット１１は、種々の処理を実行するユニットを含む。処理ユニットは、例えば、画像形成ユニット、およびスキャンユニット等を含む。画像形成ユニットは、ユーザー等により指定された複写画像を用紙上に形成する。また、スキャンユニットは、ユーザー等により指定された画像をスキャンする。

ネットワークＩＦ３６は、第３ネットワーク１２０を介して、種々の情報を送受信することができる。スピーカー３５は、完了音声などの種々の音声を出力する。

［第１情報処理装置の機能構成例］
次に、第１情報処理装置６０の機能構成例を説明する。図４は、第１情報処理装置６０の機能ブロック図である。図４に示すように、第１情報処理装置６０は、検出部６０２と、変換部６０４と、記憶部６０６と、送受信部６０８との機能を有する。

検出部６０２は、スマートスピーカー２０に入力された入力音声のデータ（入力音声データ）を、第１ネットワーク４０を経由して取得する。検出部６０２は、入力音声データを解析することにより、入力音声の言語と、該入力音声に含まれるジョブの内容と、オプションの内容と、ジョブ実行指示とを検出する。換言すれば、例えば、検出部６０２は、入力音声に対して音声認識処理を実行することにより、入力音声の言語と、該入力音声に含まれるジョブの内容と、オプションの内容と、ジョブ実行指示とを検出する。

以下では、言語を示す情報を「言語情報」という。ジョブの内容を示す情報を「ジョブ情報」という。ジョブの内容は、例えば、画像形成ジョブ、およびスキャンジョブ等を含む。オプションの内容を示す情報を「オプション情報」という。オプションは、例えば、カラー印刷を実行すること、ステープル機能を実行すること、両面印刷を実行すること等を含む。ジョブ実行指示は、「検出されたオプションの内容に基づいて、検出されたジョブを実行させる指示」をいう。

例えば、入力音声が、日本語による「カラーコピー２枚して下さい」という音声である場合には、検出部６０２は、言語情報として、「日本語」を検出し、ジョブ情報として、「コピーを２枚実行すること」を検出し、オプション情報として、「カラーコピーを実行すること」を検出し、「して下さい」という用語に基づいて「２枚のカラーコピーを実行する」という指示を検出する。

また、入力音声が、英語による「Please make two color copies」という音声である場合には、検出部６０２は、言語情報として、「英語」を検出し、ジョブ情報として、「コピーを２枚実行すること」を検出し、オプション情報として、「カラーコピーを実行すること」を検出し、「Please」という用語に基づいて「２枚のカラーコピーを実行する」という指示を検出する。

言語情報と、ジョブ情報とは、送受信部６０８に出力される。また、言語情報は、変換部６０４に出力される。変換部６０４は、言語情報に基づいて、応答音声データに変換する。記憶部６０６には、例えば、言語情報と、応答音声データとが対応付けられたテーブルが予め記憶されている。このテーブルでは、例えば、日本語である言語情報に対しては、日本語の応答音声の応答音声データが対応づけられている。また、このテーブルでは、英語である言語情報に対しては、英語の応答音声の応答音声データが対応づけられている。

変換部６０４は、テーブルを参照して、検出部６０２から取得した言語情報に対応する応答音声データを取得する。変換部６０４は、応答音声データを送受信部６０８に対して送信する。送受信部６０８は、第１ネットワーク４０経由で、応答音声データをスマートスピーカー２０に対して送信する。スマートスピーカー２０は、該応答音声データに基づいて応答音声を出力する。

つまり、本実施形態では、入力音声（第１音声）の言語と、応答音声（第２音声）の言語とが同一となる。また、検出部６０２により生成される言語情報は、「入力音声（第１音声）の言語を特定可能な言語情報」でもあり、「応答音声（第２音声）の言語を特定可能な言語情報」でもある。

また、送受信部６０８は、言語情報とジョブ情報とをコマンドとして第２ネットワーク８０を経由して第２情報処理装置１００に対して送信する。第２情報処理装置１００は、このコマンドを第３ネットワーク１２０を経由してＭＦＰ１４０に対して送信する。

［ＭＦＰの機能構成例］
次に、ＭＦＰ１４０の機能構成例を説明する。図５は、ＭＦＰ１４０の機能ブロックの一例を示す図である。図５に示すように、ＭＦＰ１４０の制御部３１は、取得部１４０２と、実行部１４０４と、切換部１４０６と、設定部１４０８と、スピーカー制御部１４１０と、表示制御部１４１２と、記憶部１４１４との機能を有する。また、破線で示している「禁止部１４１６」については後述する。

取得部１４０２は、言語情報とジョブ情報とが含まれるコマンドを取得する。つまり、取得部１４０２は、第１情報処理装置６０の送受信部６０８により送信された入力音声の言語情報（言語）を取得する言語取得部として機能する。言語情報は、切換部１４０６に送信される。

また、取得部１４０２は、第１情報処理装置６０の送受信部６０８により送信されたジョブ情報（ジョブ）を取得するジョブ取得部として機能する。ジョブ情報は、実行部１４０４に送信される。

実行部１４０４は、該ジョブ情報に基づいたジョブを処理ユニット１１に実行させる。例えば、ジョブ情報が、画像形成処理を示すジョブである場合には、実行部１４０４は、処理ユニット１１のうちの画像形成ユニットに対して、画像形成処理を実行させる。また、ジョブ情報が、スキャン処理を示すジョブである場合には、実行部１４０４は、処理ユニット１１のうちのスキャンユニットに対して、スキャン処理を実行させる。

記憶部１４１４には、複数の言語の音声データと、複数の言語の画像データとが格納されている。図５の例では、複数の言語の音声データは、日本語音声データと、英語音声データと、中国語音声データである。また、図５の例では、複数の言語の画像データは、日本語音声データと、英語音声データと、中国語音声データである。

設定部１４０８は、複数の言語のうちいずれかの言語を設定する。以下では、設定部１４０８により設定されている言語を「設定言語」ともいう。設定部１４０８は、例えば、ユーザーの設定操作により指定された言語を設定する。ユーザーによる設定操作は、操作パネル３４に対して行われる。なお、図５の例では、設定している音声データおよび画像データを太線で囲っている。図５の例では、設定部１４０８は、日本語を設定している。したがって、図５の例では、日本語音声データと、日本語画像データとが太線で囲まれている。なお、典型的には、設定部１４０８は、ＭＦＰ１４０が設置されている国の母国語（本実施形態では、日本語）をデフォルトの言語として設定している。

設定部１４０８は、設定している言語での音声データと画像データとを抽出する。設定部１４０８は、設定している言語での音声データをスピーカー制御部１４１０に対して送信する。スピーカー制御部１４１０は、設定している言語での音声データに基づく音声をスピーカー３５から出力させる。これにより、制御部３１は、設定部１４０８が設定している言語での音声をスピーカー３５から出力させることができる。

また、設定部１４０８は、設定している言語での画像データを表示制御部１４１２に対して送信する。表示制御部１４１２は、設定している言語での画像データに基づく画面をディスプレイ１０５１に表示させる。この画面には、１以上の文字が含まれる。これにより、制御部３１は、設定部１４０８が設定している言語での画面（文字）をディスプレイ１０５１に表示させることができる。

また、ディスプレイ１０５１に表示される画面は、ジョブ設定画像と、オプション変更画像とを含む。図６は、ディスプレイ１０５１の表示領域１０５１Ａに表示される表示画面の一例である。図６の例は、設定言語が日本語である場合の表示画面の例である。

図６の例では、表示画面には、ジョブ設定画像３２０と、オプション変更画像３２２とが含まれる。ジョブ設定画像３２０は、例えば、ユーザーから発せられた入力音声に基づくジョブが設定されたことを示す画像である。例えば、入力音声が、「カラーコピー２枚して下さい」という音声である場合には、ジョブ設定画像として、２枚のコピーが実行される旨の画像が表示される。図６の例でのジョブ設定画像３２０は、コピー部数として「２部」が設定されている画像（つまり、２枚のコピーが実行される旨の画像）である。

図６の例では、変更されたオプションを示す情報が太線で囲まれている。つまり、図６の例では、変更されたオプションとして、「カラーコピー」が設定されている。

ＭＦＰ１４０が、ディスプレイ１０５１にジョブ設定画像３２０と、オプション変更画像３２２とを表示することにより、ユーザーが音声でジョブを入力した場合であっても、設定されたジョブおよび変更されたオプションを該ユーザーは確認することができる。

また、本実施形態では、切換部１４０６は、設定部１４０８が設定している言語（例えば、デフォルトの言語）から、取得部１４０２が取得した言語情報が示す言語に切換える切換処理を実行する。例えば、設定部１４０８が、日本語を設定している場合において、取得部１４０２が英語の言語情報を取得した場合には、切換部１４０６は、設定言語を日本語から英語に切換える。

設定部１４０８が日本語を設定している場合には、スピーカー制御部１４１０は、スピーカー３５から日本語の音声を出力させるとともに、表示制御部１４１２は、ディスプレイ１０５１に日本語の画像（文字）を表示させる。そして、切換部１４０６が、設定部１４０８が設定している言語を、日本語から英語に切換えた場合には、スピーカー制御部１４１０は、スピーカー３５から英語の音声（切換部１４０６により切換えられた言語の音声）を出力させるとともに、表示制御部１４１２は、ディスプレイ１０５１に英語の文字（切換部１４０６により切換えられた言語の文字）を表示させる。切換部１４０６が設定言語を英語に切換えた場合には、図６のジョブ設定画像３２０と、オプション変更画像３２２などを英語で表示する。

また、実行部１４０４の制御に基づく処理ユニット１１のジョブが完了した場合には、スピーカー制御部１４１０は、完了音声を出力する。スピーカー制御部１４１０は、完了音声を、設定部１４０８により設定されている言語で出力する。例えば、設定部１４０８が、日本語を設定している場合には、完了音声として、スピーカー３５は、「コピーが終了しました」という音声を出力する。また、設定部１４０８が、英語を設定している場合には（設定言語が英語に切換得られている場合には）、完了音声として、スピーカー３５は、「Copy finished」という音声を出力する。

また、実行部１４０４の制御に基づく処理ユニット１１のジョブの処理において、エラーが発生したと判断された場合には、エラーが発生したことを示すエラー音声を出力する。ここで、エラー音声は、エラーが発生したことを示す音声と、該エラーの内容を示す音声とを含む。

例えば、エラーが「トナー切れというエラー」である場合には、エラーが発生したことを示すエラー発生音声は、「エラーが発生しました」という音声であり、エラーの内容を示すエラー内容音声は、「トナー切れです」という音声である。本実施形態では、スピーカー３５は、エラー音声として、エラー発生音声を出力し、その後、続けて、エラー内容音声を出力する。例えば、スピーカー３５は、「エラーが発生しました。トナー切れです」というエラー音声を出力する。

また、本実施形態のＭＦＰ１４０は、切換部１４０６により言語が切換えられている場合であっても、切換部１４０６により言語が切換えられていない場合であっても、スピーカー３５は、デフォルトの言語（本実施形態では、日本語）で、エラー発生音声、およびエラー内容音声を出力する。デフォルトの言語は、切換部１４０６による切換前の言語である。

また、取得部１４０２が取得した言語情報が示す言語の音声データが記憶部１４１４に記憶されていない場合がある。この場合とは、例えば、取得部１４０２が、フランス語を示す言語情報を取得した場合である。取得部１４０２がフランス語を示す言語情報を取得した場合には、制御部３１は、フランス語に対応する音声データを第１提供装置１５０（図２参照）に要求する。第１提供装置１５０は、複数の言語それぞれの音声データを記憶する音声データベースを保持する。第１提供装置１５０は、ＭＦＰ１４０に対して該音声データを提供する。該音声データは、完了音声の音声データと、エラー音声の音声データとを含む。

図７は、第１提供装置１５０が保持する音声データベースの一例を示す図である。図７の音声データベースでは、複数の言語である日本語、英語、中国語、フランス語、およびドイツ語それぞれに対して音声データが記憶されている。図７の例では、日本語に対しては日本語用画像データが記憶されており、英語に対しては英語用画像データが記憶されており、中国語に対しては中国語用画像データが記憶されており、フランス語に対してはフランス語用画像データが記憶されており、ドイツ語に対してはドイツ語用画像データが記憶されている。また、他の言語についても画像データが記憶されている。

制御部３１は、フランス語に対応するフランス語用音声データを要求するための要求信号を第１提供装置１５０に送信する。要求信号には、言語情報（ここでは、フランス語の言語情報）が含まれている。

第１提供装置１５０は、要求信号を受信すると、該要求信号に含まれる言語情報を抽出し、該抽出された言語情報に対応する音声データを音声データベースから取得する。第１提供装置１５０は、取得した音声データを、要求信号の送信元のＭＦＰ１４０に対して送信する。

取得部１４０２は、第１提供装置１５０に対して要求していた音声データを、第１提供装置１５０から取得する。取得部１４０２は、該取得した音声データを記憶部１４１４に一旦、記憶させる。さらに、設定部１４０８は、該記憶した音声データ（フランス語の音声データ）をスピーカー制御部１４１０に送信する。スピーカー制御部１４１０は、該音声データに基づいた音声（完了音声またはエラー音声等）をスピーカー３５により出力させる。記憶部１４１４に記憶された音声データ（フランス語の音声データ）を削除するようにしてもよく、残存させるようにしてもよい。

また、スピーカー３５がフランス語での完了音声を出力するまでに、フランス語での音声データがＭＦＰ１４０に対して送信されない場合がある。例えば、音声データの容量が大きく、スピーカー３５がフランス語での完了音声を出力するときまでに、ＭＦＰ１４０に音声データが届かない場合などである。換言すれば、第１提供装置１５０からの音声データの取得前に、完了音声を出力する場合である。この場合には、スピーカー制御部１４１０は、要求している音声データ（切換処理により切換えられた言語での音声での音声データ）ではなく、デフォルトの言語（切換処理の前の言語であり、本実施形態では日本語）の音声データでの音声を出力する。

また、取得部１４０２が取得した言語情報が示す言語の画像データが記憶部１４１４に記憶されていない場合がある。この場合とは、例えば、取得部１４０２は、フランス語を示す言語情報を取得した場合である。取得部１４０２は、フランス語を示す言語情報を取得した場合には、制御部３１は、フランス語に対応する画像データを第２提供装置１６０（図２参照）に要求する。

第２提供装置１６０は、複数の言語それぞれの画像データを記憶する画像データベースを保持する。第２提供装置１６０は、ＭＦＰ１４０に対して該画像データを提供する。該画像データは、ジョブ設定画像３２０の画像データと、オプション変更画像３２２の画像データとを含む。

図８は、画像データベースの一例を示す図である。図８の画像データベースでは、複数の言語である日本語、英語、中国語、フランス語、およびドイツ語それぞれに対して画像データが記憶されている。図８の例では、日本語に対しては日本語用画像データが記憶されており、英語に対しては英語用画像データが記憶されており、中国語に対しては中国語用画像データが記憶されており、フランス語に対してはフランス語用画像データが記憶されており、ドイツ語に対してはドイツ語用画像データが記憶されている。また、他の言語についても画像データが記憶されている。

制御部３１は、フランス語に対応する画像データを要求するための要求信号を第２提供装置１６０に送信する。要求信号には、言語情報（ここでは、フランス語の言語情報）が含まれている。

第２提供装置１６０は、要求信号を受信すると、該要求信号に含まれる言語情報を抽出し、該抽出された言語情報に対応する画像データを画像データベースから取得する。第２提供装置１６０は、取得した画像データを、要求信号の送信元のＭＦＰ１４０に対して送信する。

取得部１４０２は、第２提供装置１６０に対して要求していた画像データを、第２提供装置１６０から取得する。取得部１４０２は、該取得した画像データを記憶部１４１４に一旦、記憶させる。さらに、設定部１４０８は、該記憶した画像データ（フランス語の画像データ）を表示制御部１４１２に送信する。表示制御部１４１２は、該画像データに基づいた画像（文字）をディスプレイ１０５１に表示させる。

また、所定の条件が成立した場合に、切換部１４０６は、設定部１４０８により設定されている言語を、切換前の言語に戻す。本実施形態では、所定の条件は、入力音声に基づくジョブが完了するという条件である。つまり、切換部１４０６は、入力音声に基づくジョブが完了した場合には、切換部１４０６は、設定部１４０８により設定されている言語を、切換前の言語に戻す。

例えば、切換部１４０６により言語が日本語から英語に切換えられている場合において、実行部１４０４によるジョブが完了した場合には、切換部１４０６は、英語から日本語に戻す。設定言語が英語から日本語に戻されることにより、スピーカー３５は、切換処理の前の言語（つまり、日本語）での音声を出力可能となる。また、設定言語が英語から日本語に戻されることにより、ディスプレイ１０５１は、切換処理の前の言語（つまり、日本語）での画像を表示可能となる。

［画像形成システムの処理フロー］
図９は、画像形成システム１０００の処理のフローチャートの一例を示す図である。図９の例では、第１情報処理装置６０と、第２情報処理装置１００と、ＭＦＰ１４０との処理を示す。

まず、ステップＳ２において、第１情報処理装置６０は、音声受付開始処理を実行する。音声受付開始処理は、例えば、スマートスピーカー２０に「音声入力してください」等といった音声を出力させる処理である。第１情報処理装置６０は、予め設定されたデフォルトの言語（本実施形態では、日本語）で、この音声を出力させる。その後、ステップＳ３において、スマートスピーカー２０からの入力音声を、第１情報処理装置６０が取得すると、第１情報処理装置６０は、セッションを開始する（セッションを接続させる）。セッションは、第１ネットワーク４０、第１情報処理装置６０、第２ネットワーク８０，第２情報処理装置１００，および第３ネットワーク１２０を介してのスマートスピーカー２０とＭＦＰ１４０とセッションである。

その後、ユーザーＵからの入力音声（例えば、図１（Ａ）参照）の入力音声データを第１ネットワーク４０経由で、第１情報処理装置６０が取得すると、ステップＳ４において、検出部６０２は、入力音声に対して音声解析等を実行することにより、入力音声の言語を検出する。次に、ステップＳ６において、検出部６０２は、入力音声に対して音声解析等を実行することにより、ジョブ内容を検出する。

次に、第１情報処理装置６０の変換部６０４は、言語情報から応答音声データに変換する。ステップＳ７において、第１情報処理装置６０は、応答音声データを第１ネットワーク４０経由でスマートスピーカー２０に対して送信することにより、スマートスピーカー２０から該応答音声データに基づく応答音声を出力させる。この応答音声は、検出部６０２が検出した言語の音声である。

次に、ステップＳ８において、検出部６０２がジョブ内容を検出した場合には（入力音声にジョブ内容が含まれている場合には）、送受信部６０８は、言語情報と、該ジョブ内容を示すジョブ情報とを第２ネットワーク８０経由で、第２情報処理装置１００に対して送信する。ステップＳ８において、検出部６０２がジョブ内容を検出しなかった場合（例えば、入力音声にジョブの内容が含まれていない場合）には、ステップＳ８の処理を実行せずに、処理はステップＳ１０に進む。

次に、ステップＳ１０において、検出部６０２がオプション内容を検出した場合には（入力音声にオプション内容が含まれている場合には）、送受信部６０８は、オプション内容を示すオプション情報を第２ネットワーク８０経由で、第２情報処理装置１００に対して送信する。ステップＳ１０において、検出部６０２がオプション内容を検出しなかった場合（例えば、入力音声にオプション内容が含まれていない場合）には、ステップＳ１０の処理を実行せずに、処理はステップＳ１２に進む。

次に、ステップＳ１２において、検出部６０２がジョブ実行指示を検出した場合には（入力音声にジョブ実行指示が含まれている場合には）、送受信部６０８は、ジョブ実行指示を第２ネットワーク８０経由で、第２情報処理装置１００に対して送信する。ステップＳ１２において、検出部６０２がジョブ実行指示を検出しなかった場合（例えば、入力音声にジョブ実行指示が含まれていない場合）には、ステップＳ１０の処理を実行せずに、処理はステップＳ１３に進む。

ステップＳ１２の処理が終了すると、ステップＳ１３において、第１情報処理装置６０は、セッションを終了させる。このセッションは、ステップＳ３で開始されたセッションである。これにより、スマートスピーカー２０とＭＦＰ１４０とセッションが終了する。その後、ステップＳ１４において、第１情報処理装置６０は、音声再入力依頼をスマートスピーカー２０に対して実行する。音声再入力依頼は、スマートスピーカー２０に「音声入力してください」等といった音声を再び出力させる処理である。音声再入力依頼に係る音声は、上述の予め設定されたデフォルトの言語での音声としてもよく、ステップＳ４で検出された言語での音声としてもよい。

次に、第２情報処理装置１００の処理を説明する。ステップＳ８において、第１情報処理装置６０から、言語情報とジョブ情報とが送信されると、ステップＳ３２において、第２情報処理装置１００は、送信された言語情報とジョブ情報とをＭＦＰ１４０に対して送信する。

また、ステップＳ１０において、第１情報処理装置６０から、オプション情報が送信されると、ステップＳ３４において、第２情報処理装置１００は、送信されたオプション情報をＭＦＰ１４０に対して送信する。

また、ステップＳ１２において、第１情報処理装置６０から、ジョブ実行指示が送信されると、ステップＳ３６において、第２情報処理装置１００は、送信されたジョブ実行指示をＭＦＰ１４０に対して送信する。

次に、ＭＦＰ１４０の処理を説明する。ステップＳ３２において、第２情報処理装置１００から言語情報とジョブ情報とが送信されると、ステップＳ６０において、ＭＦＰ１４０は、第１処理を実行する。ステップＳ３４において、第２情報処理装置１００からオプション情報が送信されると、ステップＳ６２において、ＭＦＰ１４０は、第２処理を実行する。ステップＳ３６において、第２情報処理装置１００からジョブ実行指示が送信されると、ステップＳ６４において、ＭＦＰ１４０は、第３処理を実行する。

図１０は、第１処理のフローチャートの一例である。ステップＳ６０１において、制御部３１は、ステップＳ３２において送信されたジョブ情報に含まれるジョブ内容を所定の記憶領域（例えば、記憶部１４１４）に記憶させる。

次に、ステップＳ６０２において、切換部１４０６は、ステップＳ３２で送信された言語情報が示す言語と、デフォルト言語とが異なるか否かを判断する。ステップＳ６０２において、切換部１４０６は、ステップＳ３２で送信された言語情報が示す言語と、デフォルト言語とが異なると判断した場合には（ステップＳ６０２でＹＥＳ）、処理はステップＳ６０３に進む。ステップＳ６０３においては、切換部１４０６は、デフォルト言語（例えば、日本語）から、言語情報が示す言語（例えば、英語）に切換える。また、切換部１４０６は、ステップＳ３２で送信された言語情報が示す言語と、デフォルト言語とが同一であると判断した場合（ステップＳ６０２でＮＯ）には、処理は、ステップＳ６０４に進む。また、ステップＳ６０３の処理が終了した場合にも、処理は、ステップＳ６０４に進む。

ステップＳ６０４において、設定部１４０８は、切換後の言語の音声データが記憶部１４１４に記憶されているか否かを判断する。設定部１４０８が、切換後の言語の音声データが記憶部１４１４に記憶されていないと判断した場合には（ステップＳ６０４でＮＯ）、ステップＳ６０６において、制御部３１は、記憶部１４１４に記憶されていないと判断された音声データを、第１提供装置１５０に対して要求する。次に、ステップＳ６０７において、制御部３１は、要求済フラグを所定の記憶領域（例えば、記憶部１４１４）に格納させる。要求済フラグは、記憶部１４１４に記憶されていないと判断された音声データを、第１提供装置１５０に対して要求したことを示すフラグである。

ステップＳ６０４でＹＥＳと判断された場合、およびステップＳ６０７の処理が終了した場合には、処理はステップＳ６０８に進む。ステップＳ６０８において、設定部１４０８は、切換後の言語の画像データが記憶部１４１４に記憶されているか否かを判断する。設定部１４０８が、切換後の言語の画像データが記憶部１４１４に記憶されていると判断した場合には（ステップＳ６０８でＹＥＳ）、処理は、ステップＳ６１０に進む。ステップＳ６１０において、表示制御部１４１２は、切換後の言語でジョブ設定画像３２０（ステップＳ６０８で記憶部１４１４に記憶されていると判断された画像データに基づく画像）を表示する。

また、設定部１４０８が、切換後の言語の画像データが記憶部１４１４に記憶されていないと判断した場合には（ステップＳ６０８でＮＯ）、処理は、ステップＳ６１２に進む。ステップＳ６１２において、制御部３１は、記憶部１４１４に記憶されていないと判断された音声データを、第２提供装置１６０に対して要求する。また、ステップＳ６１２の括弧書きに示すように、取得部１４０２が、第２提供装置１６０からの画像データを取得したときに、該取得した画像データでジョブ設定画像を表示する。ステップＳ６１０またはステップＳ６１２の処理が終了すると、第１処理は終了する。

図１１は、第２処理のフローチャートの一例である。ステップＳ６２２において、制御部３１は、ステップＳ３４で第２情報処理装置１００から送信されたオプション情報に基づいてオプションを変更して、該変更されたオプションを設定する。次に、ステップＳ６２４において、表示制御部１４１２は、変更されたオプション変更画像３２２を表示する。ステップＳ６２４の処理が終了すると、第２処理を終了する。

図１２は、第３処理のフローチャートの一例である。ステップＳ６４２において、実行部１４０４は、処理ユニット１１に、ステップＳ６０１で記憶されたジョブ内容のジョブを実行させる。このジョブ内容は、図１０のステップＳ６０１で記憶されたジョブ内容である。次に、ステップＳ６４４において、制御部３１は、ジョブが正常に終了したか否かを判断する。

制御部３１は、ジョブが正常に終了したと判断した場合には（ステップＳ６４４でＹＥＳ）、制御部３１は、要求済フラグが格納されているか否かを判断する。要求済フラグは、図１０のステップＳ６０７で格納されるフラグである。制御部３１が、要求済フラグが格納されていると判断した場合には（ステップＳ６４６でＹＥＳ）、処理はステップＳ６４８に進む。ステップＳ６４６で要求済フラグが格納されていると判断した場合というのは、図１０のステップＳ６０６において、ＭＦＰ１４０が、第１提供装置１５０に対して音声データを要求した場合ということである。

ステップＳ６４８において、制御部３１は、第１提供装置１５０に対して要求していた音声データを、第１提供装置１５０から取得したか否かを判断する。ステップＳ６４８でＮＯと判断された場合、つまり、完了音声を出力するタイミングであるにも関わらず、該完了音声の音声データをＭＦＰ１４０が取得していない場合には、処理は、ステップＳ６５２に進む。

ステップＳ６５２において、スピーカー制御部１４１０は、切換前の言語で（つまり、デフォルトの言語で）、ジョブ完了音声を出力する。次に、ステップＳ６６２において、切換部１４０６は、設定言語を切換えている場合には、切換前の設定言語に戻す。切換前の設定言語に戻すことにより、ディスプレイ１０５１の画像は、切換前の言語で表示される。

次に、ステップＳ６６４において、制御部３１は、要求済フラグが格納されている場合には，該要求済フラグを消去する。その後、第３処理は終了する。

また、ステップＳ６４６でＮＯと判断された場合、およびステップＳ６４８でＹＥＳと判断された場合には、処理はステップＳ６５０に進む。ステップＳ６５０において、スピーカー制御部１４１０は、切換後の言語でジョブ完了音声を出力する。なお、ステップＳ６４６でＮＯと判断された場合でのステップＳ６５０では、記憶部１４１４に記憶されている音声データ（切換後の言語の音声データ）に基づいて、ジョブ完了音声を出力する。また、ステップＳ６４８でＹＥＳと判断された場合でのステップＳ６５０では、第１提供装置１５０から取得した音声データ（切換後の言語の音声データ）に基づいて、ジョブ完了音声を出力する。

また、ステップＳ６４４において、制御部３１が、ジョブが正常に終了しなかったと判断した場合、つまり、ジョブ実行中にエラーが発生したと判断した場合には（ステップＳ６４４でＮＯ）、処理はステップＳ６６０に進む。ステップＳ６６０においては、スピーカー制御部１４１０は、デフォルトの言語（切換前の言語）で、該発生したエラーに対応するエラー音声を出力する。その後、処理は、ステップＳ６６２に進む。

［小括］
（１） 本実施形態の画像形成システム１０００は、スマートスピーカー２０と、ＭＦＰ１４０とを備える。スマートスピーカー２０は、ユーザーからの入力音声が入力されるとともに、入力音声が入力されたときに該入力音声に対応する応答音声を出力する。また、スマートスピーカー２０は、第１情報処理装置６０に対して入力音声を送信する。

第１情報処理装置６０は、スマートスピーカー２０からの入力音声を受信したときに、言語情報（入力音声の言語、および応答音声の言語を示す情報）をＭＦＰ１４０に対して送信する。取得部１４０２は、第１情報処理装置６０から送信された言語情報を取得する。切換部１４０６は、設定部１４０８により設定されている言語（デフォルトの言語）と、取得した言語情報により示される言語とが異なる場合には（ステップＳ６０２でＹＥＳ）、設定部により設定されている言語から、取得した言語情報に示される言語に切換える。スピーカー３５は、切換部１４０６により切換えられた言語での音声を出力する。

これにより、図１（Ｄ）にも示すように、ユーザーＵがＭＦＰ１４０の設定言語を変更することなく、スマートスピーカー２０からの応答音声の言語と、スマートスピーカー２０から出力される完了音声の言語とを同一にすることができる。したがって、ユーザーによる設定言語の変更を必要とすることなく、音声の言語に関する違和感をユーザーに感じさせることを防止することができる。

（２） また、図４に示すように、第１情報処理装置６０の検出部６０２は、スマートスピーカー２０に入力された入力音声の言語を検出する。また、第１情報処理装置６０の送受信部６０８は、検出された言語の言語情報をＭＦＰ１４０に対して送信する。ＭＦＰ１４０の取得部１４０２は、送信された言語情報を取得する。切換部１４０６は、設定言語から、該取得した言語情報により示される言語に切換える。したがって、入力音声の言語が如何なる言語であっても、切換部１４０６は、設定言語を、入力音声の言語に切換えることができる。

（３） また、画像形成システム１０００は、音声データを提供する第１提供装置１５０をさらに備える。ＭＦＰ１４０は、切換部１４０６により切換えられる言語に対応する音声データが記憶部１４１４に記憶されていない場合には（図１０のステップＳ６０４でＮＯ）、該切換えられる言語に対応する音声データを第１提供装置１５０に対して要求する。取得部１４０２は、該第１提供装置１５０から該音声データを取得する。スピーカー３５は、該取得された音声データに基づいてジョブ完了音声を出力する。したがって、切換えられる言語の音声の音声データをＭＦＰ１４０が記憶していない場合であっても、第１提供装置１５０から取得することができる。よって、ＭＦＰ１４０は、多数の言語の音声データを記憶する必要がなく、ＭＦＰ１４０の記憶容量を低減させることができる。

（４） また、第１提供装置１５０からの音声データの取得前に音声を出力する場合、つまり、完了音声を出力するときであっても第１提供装置１５０から音声データがＭＦＰ１４０に到達していない場合（図１２のステップＳ６４８でＮＯの場合）には、切換部１４０６により切換えられた言語での音声ではなく、切換前の言語（つまり、デフォルト言語）での音声を出力する。したがって、完了音声を出力するときに、第１提供装置１５０からの音声データがＭＦＰ１４０に到達しない場合であっても、ＭＦＰ１４０は、柔軟に対応することができる。

（５） また、表示制御部１４１２は、切換えられた言語での文字の画像（図６に示すジョブ設定画像３２０およびオプション変更画像３２２など）をディスプレイ１０５１に表示させることができる。したがって、ユーザーによる言語変更操作を必要とすることなく、切換えられた言語での文字の画像を表示できる。よって、ユーザーの利便性を向上させることができる。

（６） また、画像形成システム１０００は、画像データを提供する第２提供装置１６０をさらに備える。切換処理により切換えられる言語に対応する画像データが記憶部１４１４に記憶されていない場合には、ＭＦＰ１４０は、切換部１４０６により切換えられる言語に対応する画像データを第２提供装置１６０に対して要求する。取得部１４０２は、該第２提供装置１６０から該画像データを取得する。表示制御部１４１２は、該取得された画像データに基づいた画像をディスプレイ１０５１に表示させる。したがって、切換えられる言語の画像の画像データをＭＦＰ１４０が記憶していない場合であっても、第２提供装置１６０から取得することができる。よって、ＭＦＰ１４０は、多数の言語の画像データを記憶する必要がなく、ＭＦＰ１４０の記憶領域を低減させることができる。

（７） また、切換部１４０６は、スピーカー３５が完了音声（スマートスピーカー２０から送信された入力音声に基づいたジョブが完了したことを示す音声）を出力した場合に、切換える前の言語（デフォルトの言語）に戻す。これにより、スピーカー３５は、切換前の言語での音声を出力可能となる。よって、切換前の言語での音声が出力される状態に長々と制御されることを防止でき、結果として、ユーザーの利便性を向上させることができる。

（８） また、例えば、以下のような状況の場合を説明する。英語を理解できるが日本語を理解できないユーザーが、日本に設置されているＭＦＰ１４０を使用するとする。また、ＭＦＰ１４０のデフォルト言語は、日本語であるとする。また、ＭＦＰ１４０の近辺には、ＭＦＰ１４０を管理する管理者が存在するとする。また、この管理者は、日本語は理解できるが英語を理解できないとする。

このような場合において、該ユーザー（英語を理解できるが日本語を理解できないユーザー）が、仮に、「Please make two color copies」という入力音声を発したとする。そして、ＭＦＰ１４０による「２枚のカラーコピー」に係るジョブについてトナー切れのエラーが発生したとする。この場合において、ＭＦＰ１４０が、エラーが発生したことを示す音声（例えば、「エラーが発生しました」という音声）、およびエラーの内容を示す音声（例えば、「トナー切れです」という音声）を、切換処理の後の言語（つまり、英語）で出力すると、英語を理解できない管理者は、エラーが発生していること、およびエラーの内容を理解できない。

そこで、エラーが発生した場合には、スピーカー３５は、エラーが発生したことを示す音声（例えば、「エラーが発生しました」という音声）、およびエラーの内容を示す音声（例えば、「トナー切れです」という音声）を切換処理の前の言語（デフォルト言語）で出力する。これにより、日本語は理解できるが英語を理解できない管理者に対して、エラーが発生したこと、およびエラーの内容を理解させることができる。したがって、管理者によるＭＦＰ１４０の管理をスムーズに行わせることができる。

（９） また、ＭＦＰ１４０は、完了音声を切換部１４０６により切換えられた言語で出力する。したがって、ユーザーによる入力音声、スマートスピーカー２０による応答音声、およびＭＦＰ１４０による完了音声を全て同一の言語とすることができる。よって、ＭＦＰ１４０が、入力音声に基づくジョブを完了させた場合において、音声の言語に関する違和感をユーザーに感じさせることを防止することができる。

［その他の実施形態］
（１） 前述の実施形態においては、取得部１４０２は、第１情報処理装置６０の検出部６０２が検出した言語情報を取得するとして説明した。しかしながら、以下のような構成であってもよい。スマートスピーカー２０は予め言語が設定されている構成としてもよい。この場合には、ユーザーからの入力音声の言語の種別に関わらず、スマートスピーカー２０は、設定されている言語での応答音声を出力する。また、取得部１４０２は、スマートスピーカー２０から、該スマートスピーカー２０に設定されている言語の言語情報を取得する。この言語情報は、応答音声（第２音声）の言語を特定可能な言語情報である。このような構成によれば、第１情報処理装置６０の入力音声に対する解析処理の負担を低減できるとともに、スマートスピーカー２０からの応答音声の言語と、ＭＦＰ１４０からの完了音声の言語とを同一にすることができる。

（２） 前述の実施形態では、図１２のステップＳ６６２等にも示したように、ディスプレイ１０５１が表示する画像の言語が、切換前の言語に戻す所定条件は、完了音声またはエラー音声が出力されるという条件であるとして説明した。しかしながら、この所定条件は他の条件としてもよい。該他の条件は、例えば、スマートスピーカー２０とＭＦＰ１４０との接続（セッション）が切れるという条件とする構成を採用してもよい。本実施形態では、スマートスピーカー２０とＭＦＰ１４０との接続（セッション）が切れる契機は、ステップＳ８およびステップＳ１０の処理が終了した場合である。ステップＳ８およびステップＳ１０の処理が終了しているということは、ＭＦＰ１４０によるステップＳ６０の第１処理、およびＭＦＰ１４０によるステップＳ６２の第２処理が終了しているということである。第１処理および第２処理が実行されるということは、ジョブ設定画像３２０と、オプション変更画像３２２とが切換処理後の設定言語で表示されているということである。ジョブ設定画像３２０と、オプション変更画像３２２とが切換処理後の設定言語で表示されていることから、切換処理後の設定言語でのジョブ設定画像３２０と、オプション変更画像３２２とを、ユーザーは視認できる。したがって、ユーザーが、切換処理後の設定言語でのジョブ設定画像３２０と、オプション変更画像３２２とを視認した後においては、ユーザーにとって、ジョブ設定画像３２０と、オプション変更画像３２２とはあまり重要ではない。そこで、本変形例では、所定条件は、例えば、スマートスピーカー２０とＭＦＰ１４０との接続（セッション）が終了という条件とする構成を採用する。

このような構成であっても、切換前の言語での画像が表示されるという状態に長々と制御されることを防止でき、結果として、ユーザーの利便性を向上させることができる。

次に、ＭＦＰ１４０が、セッションが終了したことを認識する手法を説明する。例えば、セッションが開始すると、ＭＦＰ１４０は、所定期間（例えば、１秒）毎に、予め定められた所定信号を第１情報処理装置６０に対して送信する。該第１情報処理装置６０は、該所定信号を受信すると、返答信号をＭＦＰ１４０に送り返す構成が採用されている。ＭＦＰ１４０は、該返答信号を受信することにより、セッションが継続されていることを認識する。また、ＭＦＰ１４０は、所定信号を第１情報処理装置６０に対して送信したものの、返答信号を受信しなかった場合には、セッションが終了したと判断する。

また、本実施形態では、セッションが終了する条件は、図９で示したように、ステップＳ１２が終了するという条件であるとして説明した。しかしながら、セッションが終了する条件は他の条件としてもよい。セッションが終了する条件は、例えば、セッションが開始されたときから、所定時間（例えば、５秒間）経過するという条件であってもよい。

（３） また、ＭＦＰ１４０は、切換処理により切換えられる言語での画像を表示する制御を禁止する禁止部１４１６を備えるようにしてもよい。禁止部１４１６は、図５の破線部分で示される通りである。このような禁止部１４１６を有することにより、表示制御部１４１２は、切換処理により切換えられる言語での画像を表示する制御を実行する必要がなくなる。したがって、表示制御部１４１２を有する制御部３１の処理負担を軽減できる。なお、禁止部１４１６は、ユーザーによる言語切換操作が行われたときには、表示切換処理により切換えられる言語での画像を表示する制御を禁止しないようにしてもよい（表示切換処理により切換えられる言語での画像を表示する制御を実行するようにしてもよい）。

また、ＭＦＰ１４０は、ディスプレイ１０５１を備えない構成としてもよい。このような構成によれば、ＭＦＰ１４０のサイズを小型化できるとともにＭＦＰ１４０の製造コストを削減できる。また、ディスプレイ１０５１を備えないＭＦＰ１４０は、禁止部１４１６を有することにより、該ＭＦＰ１４０を適切に制御させることができる。

（４） また、前述の実施形態では、ＭＦＰ１４０は、エラーが発生した場合には、スピーカー３５は、エラーが発生したことを示す音声（例えば、「エラーが発生しました」という音声）、およびエラーの内容を示す音声（例えば、「トナー切れです」という音声）を切換処理の前の言語（デフォルト言語）で出力する、として説明した。しかしながら、ＭＦＰ１４０は、エラーが発生したことを示す音声を、切換処理により切換えられた言語で出力し、エラーの内容を示す音声を切換前の言語で出力する。トナー切れのエラーが発生した場合には、ＭＦＰ１４０のカラーコピーが停止するとともに、「An error has occurred トナー切れです」というエラー音声を出力する。

上記で説明した状況において、仮に、日本語で「エラーが発生しました」というエラー音声を出力すると、日本語を理解できないユーザーは、何故、ＭＦＰ１４０のカラーコピーが停止したのかを理解できない。そこで、本変形例では、エラーが発生したことを示すエラー発生音声を、切換処理後の言語（英語）での音声を出力する。一方で、エラーの内容を示すエラー内容音声は、日本語で出力する。したがって、英語を理解できない管理者であっても、エラーが発生したこと、およびエラーの内容を理解できる。

なお、さらなる変形例として、ＭＦＰ１４０は、エラー発生音声およびエラー内容音声を共に、切換後の言語（例えば、英語）で出力するようにしてもよい。つまり、ＭＦＰ１４０は、実行部１４０４によるジョブの実行状態に関する音声を、切換後の言語（例えば、英語）で出力するようにしてもよい。

（５） また、図２に示される第１情報処理装置６０と第２情報処理装置１００とを統合するようにしてもよい。この場合には、スマートスピーカー２０と、該統合された情報処理装置と、ＭＦＰ１４０とがそれぞれネットワーク等で接続される。このような構成を採用した画像形成システムでは、構成する装置の数を減少させることができ、結果として、通信料を低減できる。

また、今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。

１１ 処理ユニット、１４ 給紙ユニット、２０ スマートスピーカー、３１ 制御部、３２ 固定記憶装置、３４ 操作パネル、３５ スピーカー、３８ バス、４０ 第１ネットワーク、６０ 第１情報処理装置、８０ 第２ネットワーク、１００ 第２情報処理装置、１２０ 第３ネットワーク、１５０ 第１提供装置、１６０ 第２提供装置、１４０２ 取得部、１４０４ 実行部、１４０６ 切換部、１４０８ 設定部、１４１０ スピーカー制御部、１４１２ 表示制御部、１４１６ 禁止部。

Claims (26)

1. 音声入出力装置と、情報処理装置と、画像形成装置とを備える画像形成システムであって、
   前記音声入出力装置は、
   第１音声が入力されるとともに、該第１音声に対する第２音声を出力し、
   前記第１音声を前記情報処理装置へ送信し、
   前記情報処理装置は、前記音声入出力装置からの前記第１音声を受信し、該第１音声に対する前記第２音声の言語を特定可能な言語情報を前記画像形成装置へ送信し、
   前記画像形成装置は、
   言語を設定する設定部と、
   前記設定部により設定されている言語を、前記情報処理装置から送信された前記言語情報から特定される前記第２音声の言語に切換える切換部と、
   前記切換部により切換えられた言語での第３音声を出力する出力部とを備える、画像形成システム。
2. 前記情報処理装置は、
   前記音声入出力装置から送信された前記第１音声の言語を検出し、
   検出された前記第１音声の言語を、前記言語情報として送信する、前記第２音声の言語として取得する、請求項１に記載の画像形成システム。
3. 前記情報処理装置は、前記音声入出力装置に設定されている前記第２音声の言語を、前記言語情報として送信する、請求項１に記載の画像形成システム。
4. 前記画像形成システムは、音声データを提供する第１提供装置をさらに備え、
   前記画像形成装置は、前記切換部により切換えられる言語に対応する前記音声データを記憶していない場合には、前記切換部により切換えられる言語に対応する前記音声データを前記第１提供装置から取得する音声データ取得部をさらに備え、
   前記出力部は、前記音声データ取得部により取得された前記音声データに基づいた前記第３音声を出力する、請求項１～請求項３いずれか１項に記載の画像形成システム。
5. 前記出力部は、前記第１提供装置からの前記音声データの取得前に前記第３音声を出力する場合には、前記切換部により切換えられた言語での前記第３音声ではなく、前記切換部により切換えられる前の言語での前記第３音声を出力する、請求項４に記載の画像形成システム。
6. 前記画像形成装置は、
   画像を表示する表示部と、
   前記表示部を制御する表示制御部とをさらに備え、
   前記表示制御部は、前記切換部により切換えられた言語での画像を表示するように前記表示部を制御する、請求項１～請求項５いずれか１項に記載の画像形成システム。
7. 前記画像形成システムは、画像データを提供する第２提供装置をさらに備え、
   前記画像形成装置は、前記切換部により切換えられる言語に対応する前記画像データを記憶していない場合には、前記切換部により切換えられる言語に対応する前記画像データを前記第２提供装置から取得する画像データ取得部をさらに備え、
   前記表示制御部は、前記画像データ取得部により取得された前記画像データに基づいた画像を前記表示部に表示させる、請求項６に記載の画像形成システム。
8. 前記表示制御部は、前記情報処理装置から送信された前記第１音声に基づいたジョブが完了した場合に、前記切換部により切換られる前の言語での画像を表示するように前記表示部を制御する、請求項６または請求項７に記載の画像形成システム。
9. 前記表示制御部は、前記音声入出力装置と前記画像形成装置との接続が切れたことを前記画像形成装置が判断した場合に、前記切換部により切換られる前の言語での画像を表示するように前記表示部を制御する、請求項６または請求項７に記載の画像形成システム。
10. 前記画像形成装置は、前記切換部により切換えられる言語での画像を表示する制御を禁止する禁止部をさらに備える、請求項１～請求項９いずれか１項に記載の画像形成システム。
11. 前記出力部は、前記情報処理装置から送信された前記第１音声に基づいたジョブが完了した場合に、前記切換部により切換られる前の言語での音声を出力可能となる、請求項１～請求項１０いずれか１項に記載の画像形成システム。
12. 前記出力部は、エラーが発生した場合に、前記エラーが発生したことを示す音声および前記エラーの内容を示す音声を、前記切換部により切換られる前の言語で出力する、請求項１～請求項１１いずれか１項に記載の画像形成システム。
13. 前記出力部は、エラーが発生した場合に、前記エラーが発生したことを示す音声を前記切換部により切換えられた言語で出力し、前記エラーの内容を示す音声を前記切換部により切換られる前の言語で出力する、請求項１～請求項１１いずれか１項に記載の画像形成システム。
14. 前記出力部は、前記音声入出力装置から送信された音声に基づいたジョブが完了したことを示す音声を、前記第３音声として出力する、請求項１～請求項１３いずれか１項に記載の画像形成システム。
15. 画像形成装置であって、
    音声入出力装置にユーザーからの第１音声が入力されたときに該音声入出力装置から出力される第２音声の言語を特定可能な言語情報を取得する言語取得部と、
    言語を設定する設定部と、
    前記設定部により設定されている言語を、前記言語取得部により取得された前記第２音声の言語に切換える切換部と、
    前記切換部により切換えられた言語での第３音声を出力する出力部と、
    画像を表示する表示部と、
    前記表示部を制御する表示制御部とを備え、
    前記表示制御部は、
    前記切換部により切換えられた言語での画像を表示するように前記表示部を制御し、
    前記音声入出力装置と前記画像形成装置との接続が切れたことを前記画像形成装置が判断した場合に、前記切換部により切換られる前の言語での画像を表示するように前記表示部を制御する、画像形成装置。
16. 前記切換部により切換えられる言語に対応する音声データを記憶していない場合には、前記切換部により切換えられる言語に対応する前記音声データを第１提供装置から取得する音声データ取得部をさらに備え、
    前記出力部は、前記音声データ取得部により取得された前記音声データに基づいた前記第３音声を出力する、請求項１５に記載の画像形成装置。
17. 前記出力部は、前記第１提供装置からの前記音声データの取得前に前記第３音声を出力する場合には、前記切換部により切換えられた言語での前記第３音声ではなく、前記切換部により切換えられる前の言語での前記第３音声を出力する、請求項１６に記載の画像形成装置。
18. 前記画像形成装置は、前記切換部により切換えられる言語に対応する画像データを記憶していない場合には、前記切換部により切換えられる言語に対応する前記画像データを第２提供装置から取得する画像データ取得部をさらに備え、
    前記表示制御部は、前記画像データ取得部により取得された前記画像データに基づいた画像を前記表示部に表示させる、請求項１５に記載の画像形成装置。
19. 前記表示制御部は、前記第１音声に基づいたジョブが完了した場合に、前記切換部により切換られる前の言語での画像を表示するように前記表示部を制御する、請求項１５または請求項１８に記載の画像形成装置。
20. 前記切換部により切換えられる言語での画像を表示する制御を禁止する禁止部をさらに備える、請求項１５～請求項１９いずれか１項に記載の画像形成装置。
21. 前記出力部は、前記第１音声に基づいたジョブが完了した場合に、前記切換部により切換られる前の言語での音声を出力可能となる、請求項１５～請求項２０いずれか１項に記載の画像形成装置。
22. 前記出力部は、エラーが発生した場合に、前記エラーが発生したことを示す音声および前記エラーの内容を示す音声を、前記切換部により切換られる前の言語で出力する、請求項１５～請求項２１いずれか１項に記載の画像形成装置。
23. 前記出力部は、エラーが発生した場合に、前記エラーが発生したことを示す音声を前記切換部により切換えられた言語で出力し、前記エラーの内容を示す音声を前記切換部により切換られる前の言語で出力する、請求項１５～請求項２１いずれか１項に記載の画像形成装置。
24. 前記出力部は、前記音声入出力装置から送信された音声に基づいたジョブが完了したことを示す音声を、前記第３音声として出力する、請求項１５～請求項２３いずれか１項に記載の画像形成装置。
25. 画像形成装置の制御プログラムであって、
    コンピューターに、
    音声入出力装置にユーザーからの第１音声が入力されたときに該音声入出力装置から出力される第２音声の言語を特定可能な言語情報を取得するステップと、
    設定されている言語を、前記第２音声の言語に切換えるステップと、
    切換えられた言語での第３音声を出力するステップと、
    切換えられた言語での画像を表示するように表示部を制御するステップと、
    前記音声入出力装置と前記画像形成装置との接続が切れたことを前記画像形成装置が判断した場合に、切換られる前の言語での画像を表示するように前記表示部を制御するステップとを実行させる、画像形成装置の制御プログラム。
26. 画像形成装置の制御方法であって、
    音声入出力装置にユーザーからの第１音声が入力されたときに該音声入出力装置から出力される第２音声の言語を特定可能な言語情報を取得するステップと、
    設定されている言語を、前記第２音声の言語に切換えるステップと、
    切換えられた言語での第３音声を出力するステップと、
    切換えられた言語での画像を表示するように表示部を制御するステップと、
    前記音声入出力装置と前記画像形成装置との接続が切れたことを前記画像形成装置が判断した場合に、切換られる前の言語での画像を表示するように前記表示部を制御するステップとを備える、画像形成装置の制御方法。

Images