JP7379872B2 - 画像形成システム、画像形成装置、画像形成装置の制御プログラム、および画像形成装置の制御方法 - Google Patents

画像形成システム、画像形成装置、画像形成装置の制御プログラム、および画像形成装置の制御方法 Download PDF

Info

Publication number
JP7379872B2
JP7379872B2 JP2019104257A JP2019104257A JP7379872B2 JP 7379872 B2 JP7379872 B2 JP 7379872B2 JP 2019104257 A JP2019104257 A JP 2019104257A JP 2019104257 A JP2019104257 A JP 2019104257A JP 7379872 B2 JP7379872 B2 JP 7379872B2
Authority
JP
Japan
Prior art keywords
language
image forming
voice
unit
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019104257A
Other languages
English (en)
Other versions
JP2020198564A (ja
Inventor
和弥 ▲高▼橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2019104257A priority Critical patent/JP7379872B2/ja
Publication of JP2020198564A publication Critical patent/JP2020198564A/ja
Application granted granted Critical
Publication of JP7379872B2 publication Critical patent/JP7379872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Accessory Devices And Overall Control Thereof (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Facsimiles In General (AREA)

Description

本開示は、画像形成システム、画像形成装置、画像形成装置の制御プログラム、および画像形成装置の制御方法に関する。
近年、1の言語のみならず、複数の言語に対応した画像形成装置が提案されている。特許文献1では、ユーザーが指示したジョブの処理状態を音声出力させる場合に、ユーザーが画像形成装置の言語設定の切替操作をすることなく、当該ユーザーに対応する言語でジョブの処理状態を音声出力させる画像形成装置が提案されている。
特開2011-59958号公報
ところで、ユーザーの利便性を向上させるために、画像形成装置とスマートスピーカーとをネットワークで接続させる技術が考えられる。この技術では、ユーザーは、このスマートスピーカーに対して入力音声を発することにより、画像形成装置にジョブ(コピーなど)を入力する。スマートスピーカーに、入力音声が入力されると、スマートスピーカーは該入力音声に対する応答音声を、例えば、該入力音声に対応する言語で出力する。例えば、ユーザーが、日本語による「コピー1枚」という入力音声を入力した場合には、スマートスピーカーは、日本語による「分かりました」という応答音声を出力する。また、ユーザーが、英語による「Copy one」という入力音声を入力した場合には、スマートスピーカーは、英語による「OK」という応答音声を出力する。
また、例えば、ユーザーが入力音声により入力したジョブが完了した旨を示す完了音声を、スマートスピーカーから出力させることが考えられる。しかしながら、画像形成装置とスマートスピーカーとの接続を長時間継続させることは、スマートスピーカーに対してノイズ音声が入力されてしまうなどの理由により、好ましくない。したがって、画像形成装置とスマートスピーカーとの接続時間を短時間とすることが好ましい。ところが、画像形成装置とスマートスピーカーとの接続時間を短時間とすると、画像形成装置は、ジョブが完了したことを示す信号をスマートスピーカーに送信することができなくなり、結果として、スマートスピーカーから完了音声を出力させることができない。
そこで、画像形成装置に完了音声を出力させることが考えられる。しかしながら、従来、画像形成装置に対してスマートスピーカーを接続させる事項は知られていない。仮に、画像形成装置に対してスマートスピーカーを接続させるという事項に想到したとしても、スマートスピーカーからの応答音声の言語と、画像形成装置からの完了音声の言語との関係が鑑みられていない。したがって、スマートスピーカーからの応答音声の言語と、画像形成装置からの完了音声の言語とが異なる場合には、ユーザーに違和感を抱かせるという問題があった。
本開示は、係る実情に鑑み考え出されたものであり、ユーザーに違和感を感じさせることを防止する画像形成システム、画像形成装置、画像形成プログラム、および画像形成方法に関する。
本開示のある局面に従うと、音声入出力装置と、情報処理装置と、画像形成装置とを備える画像形成システムであって、音声入出力装置は、第1音声が入力されるとともに、該第1音声が入力されたときに第2音声を出力し、第1音声を送信し、情報処理装置は、音声入出力装置からの第1音声を受信したときに、第2音声の言語を特定可能な言語情報を送信し、画像形成装置は、情報処理装置から送信された言語情報から特定される第2音声の言語を取得する言語取得部と、言語を設定する設定部と、設定部により設定されている言語を、言語取得部により取得された第2音声の言語に切換える切換部と、切換部により切換えられた言語での第3音声を出力する出力部とを備える、画像形成システムが提供される。
ある局面において、情報処理装置は、音声入出力装置から送信された第1音声の言語を検出し、検出された第1音声の言語を、言語情報として送信する、第2音声の言語として取得する。
ある局面において、情報処理装置は、音声入出力装置に設定されている第2音声の言語を、言語情報として送信する。
ある局面において、画像形成システムは、音声データを提供する第1提供装置をさらに備え、画像形成装置は、切換部により切換えられる言語に対応する音声データを記憶していない場合には、切換部により切換えられる言語に対応する音声データを第1提供装置から取得する音声データ取得部をさらに備え、出力部は、音声データ取得部により取得された音声データに基づいた第3音声を出力する。
ある局面において、出力部は、第1提供装置からの音声データの取得前に第3音声を出力する場合には、切換部により切換えられた言語での第3音声ではなく、切換部により切換えられる前の言語での第3音声を出力する。
ある局面において、画像形成装置は、画像を表示する表示部と、表示部を制御する表示制御部とをさらに備え、表示制御部は、切換部により切換えられた言語での画像を表示するように表示部を制御する。
ある局面において、画像形成システムは、画像データを提供する第2提供装置をさらに備え、画像形成装置は、切換部により切換えられる言語に対応する画像データを記憶していない場合には、切換部により切換えられる言語に対応する画像データを第2提供装置から取得する画像データ取得部をさらに備え、表示制御部は、画像データ取得部により取得された画像データに基づいた画像を表示部に表示させる。
ある局面において、表示制御部は、情報処理装置から送信された第1音声に基づいたジョブが完了した場合に、切換部により切換られる前の言語での画像を表示するように表示部を制御する。
ある局面において、表示制御部は、音声入出力装置と画像形成装置との接続が切れたことを画像形成装置が判断した場合に、切換部により切換られる前の言語での画像を表示するように表示部を制御する。
ある局面において、画像形成装置は、切換部により切換えられる言語での画像を表示する制御を禁止する禁止部をさらに備える。
ある局面において、出力部は、情報処理装置から送信された第1音声に基づいたジョブが完了した場合に、切換部により切換られる前の言語での音声を出力可能となる。
ある局面において、出力部は、エラーが発生した場合に、エラーが発生したことを示す音声およびエラーの内容を示す音声を、切換部により切換られる前の言語で出力する。
ある局面において、出力部は、エラーが発生した場合に、エラーが発生したことを示す音声を切換部により切換えられた言語で出力し、エラーの内容を示す音声を切換部により切換られる前の言語で出力する。
ある局面において、出力部は、音声入出力装置から送信された音声に基づいたジョブが完了したことを示す音声を、第3音声として出力する。
本開示の他の局面に従うと、音声入出力装置にユーザーからの第1音声が入力されたときに該音声入出力装置から出力される第2音声の言語を特定可能な言語情報を取得する言語取得部と、言語を設定する設定部と、設定部により設定されている言語を、言語取得部により取得された第2音声の言語に切換える切換部と、切換部により切換えられた言語での第3音声を出力する出力部とを備える、画像形成装置が提供される。
ある局面において、切換部により切換えられる言語に対応する音声データを記憶していない場合には、切換部により切換えられる言語に対応する音声データを第1提供装置から取得する音声データ取得部をさらに備え、出力部は、音声データ取得部により取得された音声データに基づいた第3音声を出力する。
ある局面において、出力部は、第1提供装置からの音声データの取得前に第3音声を出力する場合には、切換部により切換えられた言語での第3音声ではなく、切換部により切換えられる前の言語での第3音声を出力する。
ある局面において、画像を表示する表示部と、表示部を制御する表示制御部とをさらに備え、表示制御部は、切換部により切換えられた言語での画像を表示するように表示部を制御する。
ある局面において、画像形成装置は、切換部により切換えられる言語に対応する画像データを記憶していない場合には、切換部により切換えられる言語に対応する画像データを第2提供装置から取得する画像データ取得部をさらに備え、表示制御部は、画像データ取得部により取得された画像データに基づいた画像を表示部に表示させる。
ある局面において、表示制御部は、第1音声に基づいたジョブが完了した場合に、切換部により切換られる前の言語での画像を表示するように表示部を制御する。
ある局面において、表示制御部は、音声入出力装置と画像形成装置との接続が切れたことを画像形成装置が判断した場合に、切換部により切換られる前の言語での画像を表示するように表示部を制御する。
ある局面において、切換部により切換えられる言語での画像を表示する制御を禁止する禁止部をさらに備える。
ある局面において、出力部は、第1音声に基づいたジョブが完了した場合に、切換部により切換られる前の言語での音声を出力可能となる。
ある局面において、出力部は、エラーが発生した場合に、エラーが発生したことを示す音声およびエラーの内容を示す音声を、切換部により切換られる前の言語で出力する。
ある局面において、出力部は、エラーが発生した場合に、エラーが発生したことを示す音声を切換部により切換えられた言語で出力し、エラーの内容を示す音声を切換部により切換られる前の言語で出力する。
ある局面において、出力部は、音声入出力装置から送信された音声に基づいたジョブが完了したことを示す音声を、第3音声として出力する。
本開示の他の局面に従うと、コンピューターに、音声入出力装置にユーザーからの第1音声が入力されたときに該音声入出力装置から出力される第2音声の言語を特定可能な言語情報を取得するステップと、設定されている言語を、第2音声の言語に切換えるステップと、切換えられた言語での第3音声を出力するステップとを実行させる、画像形成装置の制御プログラムが提供される。
本開示の他の局面に従うと、音声入出力装置にユーザーからの第1音声が入力されたときに該音声入出力装置から出力される第2音声の言語を特定可能な言語情報を取得するステップと、設定されている言語を、第2音声の言語に切換えるステップと、切換えられた言語での第3音声を出力するステップとを備える、画像形成装置の制御方法が提供される。
本開示によれば、ユーザーに違和感を抱かせることを防止できる。
本実施形態の適用例を説明するための図である。 本実施形態の画像形成システムの構成例を説明するための図である。 本実施形態のMFPのハードウェア構成を示す図である。 本実施形態の情報処理装置の機能構成例を示す図である。 本実施形態のMFPの機能構成例を示す図である。 本実施形態のMFPのディスプレイに表示される画像の一例を示す図である。 音声データベースの一例を示す図である。 画像データベースの一例を示す図である。 本実施形態の画像形成システムのフローチャートである。 第1処理のフローチャートである。 第2処理のフローチャートである。 第3処理のフローチャートである。
本発明に基づいた実施の形態における画像形成装置について、以下、図を参照しながら説明する。以下に説明する実施の形態において、個数、量などに言及する場合、特に記載がある場合を除き、本発明の範囲は必ずしもその個数、量などに限定されない。同一の部品、相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。また、各実施の形態における構成を適宜組み合わせて用いることは当初から予定されていることである。
<本実施形態>
[適用例]
まず、本実施形態の適用例を説明する。図1は、本実施形態の適用例を説明するための図である。本実施形態の画像形成システムは、スマートスピーカー20と、MFP140(MultiFunction Printer)とを含む。例えば、スマートスピーカー20に入力音声が入力されると、後述する情報処理装置等が、スマートスピーカー20と、MFP140とのセッションを形成する。スマートスピーカー20は、入力音声が入力されるとともに、入力音声の言語での音声を該入力音声に応じた応答音声を出力する。MFP140は、複数の言語(例えば、日本語、および英語等)のうち、設定された言語での音声を出力可能である。ユーザーは、出力させる音声を選択操作により自由に設定できる。また、MFP140ではデフォルトの設定言語として、日本語が設定されている。また、MFP140は、入力音声に基づくジョブ(例えば、画像形成ジョブ等)を実行する。
図1(A)に示すように、ユーザーUが、英語で、「Please make two color copies」という入力音声を発したとする。その後、図1(B)に示すように、スマートスピーカー20は、入力音声と同一の言語である英語で「OK」という応答音声を出力する。これにより、ユーザーは、スマートスピーカー20が入力音声の入力を受け付けたことを認識できる。
MFP140は、入力音声に基づくジョブとして、カラーコピー2枚を作成するジョブを実行する。その後、MFP140は、該ジョブが完了(終了)したときに、完了音声を出力する。
また、比較例の画像形成システムは、ユーザーの利便性を向上させるために、画像形成装置とスマートスピーカーとをネットワークで接続させることにより構成されたとする。ここで、比較例の画像形成システムでは、スマートスピーカー20の応答音声の言語と、MFP140の完了音声の言語との関係が鑑みられていなかった。したがって、図1(C)に示すように、MFP140Xは、デフォルトの設定言語である日本語で、完了音声を出力する。図1(C)の例では、完了音声は、日本語での「コピーが終了しました」という音声である。比較例の画像形成システムでは、図1(C)の※印に示すように、応答音声の言語と、完了音声の言語とが異なることから、言語に関する違和感をユーザーに感じさせるという問題が生じる。
一方、本実施形態のMFP140を含む画像形成システムでは、後述する情報処理装置が、スマートスピーカー20に入力された入力音声を解析することにより入力音声の言語を取得する。その後、情報処理装置が、該取得した言語をMFP140に対して送信する。MFP140は、設定されている言語(日本語)から、該取得した入力音声の言語(英語)に、設定言語を切換える。したがって、図1(D)に示すように、MFP140は、切換えられた言語である英語で、完了音声を出力する。図1(D)の例では、完了音声は、英語での「Copy finished」という音声である。本実施形態の画像形成システムでは、図1(D)の※印に示すように、応答音声の言語と、完了音声の言語とが同一となることから、言語に関する違和感をユーザーに感じさせることを防止できる。
なお、スマートスピーカー20が、完了音声を出力する構成が考えられる。しかしながら、スマートスピーカー20とMFP140とのセッションを長時間継続させることは以下の理由により好ましくない。スマートスピーカー20とMFP140とのセッションを長時間継続させた場合において、スマートスピーカー20にノイズ音等が入力される場合がある。スマートスピーカー20にノイズ音等が入力されると、スマートスピーカー20または後述の情報処理装置は、該ノイズ音を音声認識できない。このため、スマートスピーカー20は、頻繁に聞き直す応答音声(例えば「もう一度言ってください」などという音声)を出力することになったり、MFP140により誤った音声認識がなされてMFP140が誤った処理を実行してしまう場合がある。したがって、スマートスピーカー20とMFP140とのセッションを長時間継続させることは好ましくない。
なお、スマートスピーカーをMFP140に接続させずに、MFP140に音声入出力機能を備えさせることが考えられる。しかしながら、MFP140に音声入出力機能を備えさせると、MFP140の製造コストが増大してしまう。そこで、本実施形態では、MFP140に音声出力機能を備えさせ、音声入力機能を備えさせないものとする。
[画像形成システムの機能構成例]
図2は、本実施形態の画像形成システム1000の機能構成例を示す図である。図2に示すように画像形成システム1000は、スマートスピーカー20と、第1ネットワーク40と、第1情報処理装置60と、第2ネットワーク80と、第2情報処理装置100と、第3ネットワーク120と、MFP140と、第1提供装置150と、第2提供装置160とを含む。
スマートスピーカー20は、本開示の「音声入出力装置」に対応する。MFP140は、本開示の「画像形成装置」に対応する。第1情報処理装置60は、本開示の「情報処理装置」に対応する。また、第1情報処理装置60、第2情報処理装置100、第1提供装置150、および第2提供装置160は、典型的には、クラウド装置として構成される。
また、典型的には、スマートスピーカー20と、第1情報処理装置60とは同一の製造メーカーである。また、第2情報処理装置100と、MFP140とは同一の製造メーカーである。
「入力音声」は、ユーザーから発せられる音声でありかつスマートスピーカー20に入力される音声である。入力音声は、本開示の「第1音声」に対応する。「入力音声」は、日本語、および日本語以外の言語(例えば、英語、中国語等)のいずれかでユーザーから発せられる言語である。MFP140は、該入力音声に含まれるジョブ音声に基づいて、ジョブを実行することができる。
「応答音声」は、スマートスピーカー20から発せられる音声である。「応答音声」は、本開示の「第2音声」に対応する。「応答音声」は、スマートスピーカー20に入力された入力音声に応答する音声である。
「完了音声」は、MFP140から発せられる音声である。「完了音声」は、本開示の「第3音声」に対応する。「完了音声」は、ユーザーによる入力音声に基づくジョブがMFP140により完了したことを示す音声である。
ユーザーUは、スマートスピーカー20に対して、入力音声を発することにより、MFP140にジョブを入力することができる。入力音声の音声データは、第1ネットワーク40を経由して、第1情報処理装置60に入力される。第1情報処理装置60は、入力音声の音声データを解析することにより、音声の言語および音声に含まれるジョブの内容を検出する。第1情報処理装置60は、検出された音声の言語での応答音声を示す音声データをスマートスピーカー20に対して送信する。スマートスピーカー20は、応答音声を示す音声データに基づいて、応答音声を出力する。
第1情報処理装置60は、音声の言語および音声に含まれるジョブの内容を、第2ネットワーク80を経由して第2情報処理装置100に対して送信する。第2情報処理装置100は、該音声の言語および音声に含まれるジョブの内容を、MFP140に対するコマンドの形式に変換して、第3ネットワーク120を経由してMFP140に対して送信する。
MFP140は、音声の言語および該ジョブの内容を取得する。MFP140は、該取得されたジョブの内容に基づくジョブを実行する。また、MFP140は、該実行したジョブが完了すると、該ジョブが完了したことを示す完了音声を、該取得した言語で出力する。
本実施形態の画像形成システム1000は、入力音声、応答音声、および完了音声を全て同一の言語とすることができる。
例えば、入力音声が、日本語による「カラーコピー2枚して下さい」という音声である場合には、日本語による「分かりました」という応答音声がスマートスピーカー20から出力され、日本語による「コピーが終了しました」という完了音声がMFP140から出力される。
また、入力音声が、英語による「Please make two color copies」という音声である場合には、英語による「OK」という応答音声がスマートスピーカー20から出力され、英語による「Copy finished」という完了音声がMFP140から出力される。
このように、本実施形態の画像形成システム1000は、入力音声、応答音声、および完了音声が全て同一の言語となることにより、ユーザーに違和感を感じさせることを防止することができる。
[MFPのハードウェア構成例]
図3は、MFP140のハードウェア構成例を示す図である。図3を参照して、MFP140のハードウェア構成例を説明する。図3に示すように、MFP140は、制御部31と、固定記憶装置32と、短距離無線IF(Inter Face)33と、操作パネル34と、給紙ユニット14と、処理ユニット11と、スピーカー35と、ネットワークIF36とを有する。制御部31には、各構成部がバス38を介して接続されている。
制御部31は、CPU(Central Processing Unit)311と、制御プログラムが格納されたROM(Read Only Memory)312と、作業用のS-RAM(Static Random Access Memory)313と、画像形成に関わる各種の設定を記憶するバッテリバックアップされたNV-RAM(Non-Volatile RAM:不揮発性メモリ)314と、時計IC(Integrated Circuit)315とを有する。
CPU311は、ROM312等に保存されている動作プログラムを実行することにより、MP140全体を総括的に制御する。特に本実施の形態のMFP140は、スマートスピーカー20に対する入力音声に基づいたジョブを実行することができる。
ROM312には、CPU311が実行するプログラムやその他のデータを格納する。S-RAM313は、CPU311がプログラムを実行する際の作業領域となるものであり、プログラムやプログラムを実行する際のデータ等を一時的に保存する。NV-RAM314は、バッテリーでバックアップされた不揮発メモリであり、画像形成に係わる各種の設定等を記憶するものである。時計IC315は、時刻を計時すると共に、内部タイマーとして機能し処理時間の計測等を行う。固定記憶装置32は、ハードディスク等からなり、プログラムや各種データ等を保存する。短距離無線I/F33は、他の装置と短距離無線通信をする。
操作パネル34は、ディスプレイ1051と、タッチパネル1052とを含む。操作パネル34は、表示装置としてのディスプレイ1051と、入力装置としてのタッチパネル1052とにより構成される。具体的には、操作パネル34は、ディスプレイ1051(たとえば液晶ディスプレイ)上にタッチパネル1052を位置決めした上で固定することにより実現される。ディスプレイ1051は、文字を含むメニュー画面、ジョブ設定画像、およびオプション設定画面などを表示可能である。なお、タッチスクリーンは、タッチパネルディスプレイ、タッチパネル付きディスプレイ、あるいはタッチパネルモニタとも称される。なお、操作パネル34においては、タッチ位置の検出方法として、たとえば抵抗膜方式または静電容量方式を用いることができる。
給紙ユニット14には、画像形成対象の用紙が収容される。処理ユニット11は、種々の処理を実行するユニットを含む。処理ユニットは、例えば、画像形成ユニット、およびスキャンユニット等を含む。画像形成ユニットは、ユーザー等により指定された複写画像を用紙上に形成する。また、スキャンユニットは、ユーザー等により指定された画像をスキャンする。
ネットワークIF36は、第3ネットワーク120を介して、種々の情報を送受信することができる。スピーカー35は、完了音声などの種々の音声を出力する。
[第1情報処理装置の機能構成例]
次に、第1情報処理装置60の機能構成例を説明する。図4は、第1情報処理装置60の機能ブロック図である。図4に示すように、第1情報処理装置60は、検出部602と、変換部604と、記憶部606と、送受信部608との機能を有する。
検出部602は、スマートスピーカー20に入力された入力音声のデータ(入力音声データ)を、第1ネットワーク40を経由して取得する。検出部602は、入力音声データを解析することにより、入力音声の言語と、該入力音声に含まれるジョブの内容と、オプションの内容と、ジョブ実行指示とを検出する。換言すれば、例えば、検出部602は、入力音声に対して音声認識処理を実行することにより、入力音声の言語と、該入力音声に含まれるジョブの内容と、オプションの内容と、ジョブ実行指示とを検出する。
以下では、言語を示す情報を「言語情報」という。ジョブの内容を示す情報を「ジョブ情報」という。ジョブの内容は、例えば、画像形成ジョブ、およびスキャンジョブ等を含む。オプションの内容を示す情報を「オプション情報」という。オプションは、例えば、カラー印刷を実行すること、ステープル機能を実行すること、両面印刷を実行すること等を含む。ジョブ実行指示は、「検出されたオプションの内容に基づいて、検出されたジョブを実行させる指示」をいう。
例えば、入力音声が、日本語による「カラーコピー2枚して下さい」という音声である場合には、検出部602は、言語情報として、「日本語」を検出し、ジョブ情報として、「コピーを2枚実行すること」を検出し、オプション情報として、「カラーコピーを実行すること」を検出し、「して下さい」という用語に基づいて「2枚のカラーコピーを実行する」という指示を検出する。
また、入力音声が、英語による「Please make two color copies」という音声である場合には、検出部602は、言語情報として、「英語」を検出し、ジョブ情報として、「コピーを2枚実行すること」を検出し、オプション情報として、「カラーコピーを実行すること」を検出し、「Please」という用語に基づいて「2枚のカラーコピーを実行する」という指示を検出する。
言語情報と、ジョブ情報とは、送受信部608に出力される。また、言語情報は、変換部604に出力される。変換部604は、言語情報に基づいて、応答音声データに変換する。記憶部606には、例えば、言語情報と、応答音声データとが対応付けられたテーブルが予め記憶されている。このテーブルでは、例えば、日本語である言語情報に対しては、日本語の応答音声の応答音声データが対応づけられている。また、このテーブルでは、英語である言語情報に対しては、英語の応答音声の応答音声データが対応づけられている。
変換部604は、テーブルを参照して、検出部602から取得した言語情報に対応する応答音声データを取得する。変換部604は、応答音声データを送受信部608に対して送信する。送受信部608は、第1ネットワーク40経由で、応答音声データをスマートスピーカー20に対して送信する。スマートスピーカー20は、該応答音声データに基づいて応答音声を出力する。
つまり、本実施形態では、入力音声(第1音声)の言語と、応答音声(第2音声)の言語とが同一となる。また、検出部602により生成される言語情報は、「入力音声(第1音声)の言語を特定可能な言語情報」でもあり、「応答音声(第2音声)の言語を特定可能な言語情報」でもある。
また、送受信部608は、言語情報とジョブ情報とをコマンドとして第2ネットワーク80を経由して第2情報処理装置100に対して送信する。第2情報処理装置100は、このコマンドを第3ネットワーク120を経由してMFP140に対して送信する。
[MFPの機能構成例]
次に、MFP140の機能構成例を説明する。図5は、MFP140の機能ブロックの一例を示す図である。図5に示すように、MFP140の制御部31は、取得部1402と、実行部1404と、切換部1406と、設定部1408と、スピーカー制御部1410と、表示制御部1412と、記憶部1414との機能を有する。また、破線で示している「禁止部1416」については後述する。
取得部1402は、言語情報とジョブ情報とが含まれるコマンドを取得する。つまり、取得部1402は、第1情報処理装置60の送受信部608により送信された入力音声の言語情報(言語)を取得する言語取得部として機能する。言語情報は、切換部1406に送信される。
また、取得部1402は、第1情報処理装置60の送受信部608により送信されたジョブ情報(ジョブ)を取得するジョブ取得部として機能する。ジョブ情報は、実行部1404に送信される。
実行部1404は、該ジョブ情報に基づいたジョブを処理ユニット11に実行させる。例えば、ジョブ情報が、画像形成処理を示すジョブである場合には、実行部1404は、処理ユニット11のうちの画像形成ユニットに対して、画像形成処理を実行させる。また、ジョブ情報が、スキャン処理を示すジョブである場合には、実行部1404は、処理ユニット11のうちのスキャンユニットに対して、スキャン処理を実行させる。
記憶部1414には、複数の言語の音声データと、複数の言語の画像データとが格納されている。図5の例では、複数の言語の音声データは、日本語音声データと、英語音声データと、中国語音声データである。また、図5の例では、複数の言語の画像データは、日本語音声データと、英語音声データと、中国語音声データである。
設定部1408は、複数の言語のうちいずれかの言語を設定する。以下では、設定部1408により設定されている言語を「設定言語」ともいう。設定部1408は、例えば、ユーザーの設定操作により指定された言語を設定する。ユーザーによる設定操作は、操作パネル34に対して行われる。なお、図5の例では、設定している音声データおよび画像データを太線で囲っている。図5の例では、設定部1408は、日本語を設定している。したがって、図5の例では、日本語音声データと、日本語画像データとが太線で囲まれている。なお、典型的には、設定部1408は、MFP140が設置されている国の母国語(本実施形態では、日本語)をデフォルトの言語として設定している。
設定部1408は、設定している言語での音声データと画像データとを抽出する。設定部1408は、設定している言語での音声データをスピーカー制御部1410に対して送信する。スピーカー制御部1410は、設定している言語での音声データに基づく音声をスピーカー35から出力させる。これにより、制御部31は、設定部1408が設定している言語での音声をスピーカー35から出力させることができる。
また、設定部1408は、設定している言語での画像データを表示制御部1412に対して送信する。表示制御部1412は、設定している言語での画像データに基づく画面をディスプレイ1051に表示させる。この画面には、1以上の文字が含まれる。これにより、制御部31は、設定部1408が設定している言語での画面(文字)をディスプレイ1051に表示させることができる。
また、ディスプレイ1051に表示される画面は、ジョブ設定画像と、オプション変更画像とを含む。図6は、ディスプレイ1051の表示領域1051Aに表示される表示画面の一例である。図6の例は、設定言語が日本語である場合の表示画面の例である。
図6の例では、表示画面には、ジョブ設定画像320と、オプション変更画像322とが含まれる。ジョブ設定画像320は、例えば、ユーザーから発せられた入力音声に基づくジョブが設定されたことを示す画像である。例えば、入力音声が、「カラーコピー2枚して下さい」という音声である場合には、ジョブ設定画像として、2枚のコピーが実行される旨の画像が表示される。図6の例でのジョブ設定画像320は、コピー部数として「2部」が設定されている画像(つまり、2枚のコピーが実行される旨の画像)である。
図6の例では、変更されたオプションを示す情報が太線で囲まれている。つまり、図6の例では、変更されたオプションとして、「カラーコピー」が設定されている。
MFP140が、ディスプレイ1051にジョブ設定画像320と、オプション変更画像322とを表示することにより、ユーザーが音声でジョブを入力した場合であっても、設定されたジョブおよび変更されたオプションを該ユーザーは確認することができる。
また、本実施形態では、切換部1406は、設定部1408が設定している言語(例えば、デフォルトの言語)から、取得部1402が取得した言語情報が示す言語に切換える切換処理を実行する。例えば、設定部1408が、日本語を設定している場合において、取得部1402が英語の言語情報を取得した場合には、切換部1406は、設定言語を日本語から英語に切換える。
設定部1408が日本語を設定している場合には、スピーカー制御部1410は、スピーカー35から日本語の音声を出力させるとともに、表示制御部1412は、ディスプレイ1051に日本語の画像(文字)を表示させる。そして、切換部1406が、設定部1408が設定している言語を、日本語から英語に切換えた場合には、スピーカー制御部1410は、スピーカー35から英語の音声(切換部1406により切換えられた言語の音声)を出力させるとともに、表示制御部1412は、ディスプレイ1051に英語の文字(切換部1406により切換えられた言語の文字)を表示させる。切換部1406が設定言語を英語に切換えた場合には、図6のジョブ設定画像320と、オプション変更画像322などを英語で表示する。
また、実行部1404の制御に基づく処理ユニット11のジョブが完了した場合には、スピーカー制御部1410は、完了音声を出力する。スピーカー制御部1410は、完了音声を、設定部1408により設定されている言語で出力する。例えば、設定部1408が、日本語を設定している場合には、完了音声として、スピーカー35は、「コピーが終了しました」という音声を出力する。また、設定部1408が、英語を設定している場合には(設定言語が英語に切換得られている場合には)、完了音声として、スピーカー35は、「Copy finished」という音声を出力する。
また、実行部1404の制御に基づく処理ユニット11のジョブの処理において、エラーが発生したと判断された場合には、エラーが発生したことを示すエラー音声を出力する。ここで、エラー音声は、エラーが発生したことを示す音声と、該エラーの内容を示す音声とを含む。
例えば、エラーが「トナー切れというエラー」である場合には、エラーが発生したことを示すエラー発生音声は、「エラーが発生しました」という音声であり、エラーの内容を示すエラー内容音声は、「トナー切れです」という音声である。本実施形態では、スピーカー35は、エラー音声として、エラー発生音声を出力し、その後、続けて、エラー内容音声を出力する。例えば、スピーカー35は、「エラーが発生しました。トナー切れです」というエラー音声を出力する。
また、本実施形態のMFP140は、切換部1406により言語が切換えられている場合であっても、切換部1406により言語が切換えられていない場合であっても、スピーカー35は、デフォルトの言語(本実施形態では、日本語)で、エラー発生音声、およびエラー内容音声を出力する。デフォルトの言語は、切換部1406による切換前の言語である。
また、取得部1402が取得した言語情報が示す言語の音声データが記憶部1414に記憶されていない場合がある。この場合とは、例えば、取得部1402が、フランス語を示す言語情報を取得した場合である。取得部1402がフランス語を示す言語情報を取得した場合には、制御部31は、フランス語に対応する音声データを第1提供装置150(図2参照)に要求する。第1提供装置150は、複数の言語それぞれの音声データを記憶する音声データベースを保持する。第1提供装置150は、MFP140に対して該音声データを提供する。該音声データは、完了音声の音声データと、エラー音声の音声データとを含む。
図7は、第1提供装置150が保持する音声データベースの一例を示す図である。図7の音声データベースでは、複数の言語である日本語、英語、中国語、フランス語、およびドイツ語それぞれに対して音声データが記憶されている。図7の例では、日本語に対しては日本語用画像データが記憶されており、英語に対しては英語用画像データが記憶されており、中国語に対しては中国語用画像データが記憶されており、フランス語に対してはフランス語用画像データが記憶されており、ドイツ語に対してはドイツ語用画像データが記憶されている。また、他の言語についても画像データが記憶されている。
制御部31は、フランス語に対応するフランス語用音声データを要求するための要求信号を第1提供装置150に送信する。要求信号には、言語情報(ここでは、フランス語の言語情報)が含まれている。
第1提供装置150は、要求信号を受信すると、該要求信号に含まれる言語情報を抽出し、該抽出された言語情報に対応する音声データを音声データベースから取得する。第1提供装置150は、取得した音声データを、要求信号の送信元のMFP140に対して送信する。
取得部1402は、第1提供装置150に対して要求していた音声データを、第1提供装置150から取得する。取得部1402は、該取得した音声データを記憶部1414に一旦、記憶させる。さらに、設定部1408は、該記憶した音声データ(フランス語の音声データ)をスピーカー制御部1410に送信する。スピーカー制御部1410は、該音声データに基づいた音声(完了音声またはエラー音声等)をスピーカー35により出力させる。記憶部1414に記憶された音声データ(フランス語の音声データ)を削除するようにしてもよく、残存させるようにしてもよい。
また、スピーカー35がフランス語での完了音声を出力するまでに、フランス語での音声データがMFP140に対して送信されない場合がある。例えば、音声データの容量が大きく、スピーカー35がフランス語での完了音声を出力するときまでに、MFP140に音声データが届かない場合などである。換言すれば、第1提供装置150からの音声データの取得前に、完了音声を出力する場合である。この場合には、スピーカー制御部1410は、要求している音声データ(切換処理により切換えられた言語での音声での音声データ)ではなく、デフォルトの言語(切換処理の前の言語であり、本実施形態では日本語)の音声データでの音声を出力する。
また、取得部1402が取得した言語情報が示す言語の画像データが記憶部1414に記憶されていない場合がある。この場合とは、例えば、取得部1402は、フランス語を示す言語情報を取得した場合である。取得部1402は、フランス語を示す言語情報を取得した場合には、制御部31は、フランス語に対応する画像データを第2提供装置160(図2参照)に要求する。
第2提供装置160は、複数の言語それぞれの画像データを記憶する画像データベースを保持する。第2提供装置160は、MFP140に対して該画像データを提供する。該画像データは、ジョブ設定画像320の画像データと、オプション変更画像322の画像データとを含む。
図8は、画像データベースの一例を示す図である。図8の画像データベースでは、複数の言語である日本語、英語、中国語、フランス語、およびドイツ語それぞれに対して画像データが記憶されている。図8の例では、日本語に対しては日本語用画像データが記憶されており、英語に対しては英語用画像データが記憶されており、中国語に対しては中国語用画像データが記憶されており、フランス語に対してはフランス語用画像データが記憶されており、ドイツ語に対してはドイツ語用画像データが記憶されている。また、他の言語についても画像データが記憶されている。
制御部31は、フランス語に対応する画像データを要求するための要求信号を第2提供装置160に送信する。要求信号には、言語情報(ここでは、フランス語の言語情報)が含まれている。
第2提供装置160は、要求信号を受信すると、該要求信号に含まれる言語情報を抽出し、該抽出された言語情報に対応する画像データを画像データベースから取得する。第2提供装置160は、取得した画像データを、要求信号の送信元のMFP140に対して送信する。
取得部1402は、第2提供装置160に対して要求していた画像データを、第2提供装置160から取得する。取得部1402は、該取得した画像データを記憶部1414に一旦、記憶させる。さらに、設定部1408は、該記憶した画像データ(フランス語の画像データ)を表示制御部1412に送信する。表示制御部1412は、該画像データに基づいた画像(文字)をディスプレイ1051に表示させる。
また、所定の条件が成立した場合に、切換部1406は、設定部1408により設定されている言語を、切換前の言語に戻す。本実施形態では、所定の条件は、入力音声に基づくジョブが完了するという条件である。つまり、切換部1406は、入力音声に基づくジョブが完了した場合には、切換部1406は、設定部1408により設定されている言語を、切換前の言語に戻す。
例えば、切換部1406により言語が日本語から英語に切換えられている場合において、実行部1404によるジョブが完了した場合には、切換部1406は、英語から日本語に戻す。設定言語が英語から日本語に戻されることにより、スピーカー35は、切換処理の前の言語(つまり、日本語)での音声を出力可能となる。また、設定言語が英語から日本語に戻されることにより、ディスプレイ1051は、切換処理の前の言語(つまり、日本語)での画像を表示可能となる。
[画像形成システムの処理フロー]
図9は、画像形成システム1000の処理のフローチャートの一例を示す図である。図9の例では、第1情報処理装置60と、第2情報処理装置100と、MFP140との処理を示す。
まず、ステップS2において、第1情報処理装置60は、音声受付開始処理を実行する。音声受付開始処理は、例えば、スマートスピーカー20に「音声入力してください」等といった音声を出力させる処理である。第1情報処理装置60は、予め設定されたデフォルトの言語(本実施形態では、日本語)で、この音声を出力させる。その後、ステップS3において、スマートスピーカー20からの入力音声を、第1情報処理装置60が取得すると、第1情報処理装置60は、セッションを開始する(セッションを接続させる)。セッションは、第1ネットワーク40、第1情報処理装置60、第2ネットワーク80,第2情報処理装置100,および第3ネットワーク120を介してのスマートスピーカー20とMFP140とセッションである。
その後、ユーザーUからの入力音声(例えば、図1(A)参照)の入力音声データを第1ネットワーク40経由で、第1情報処理装置60が取得すると、ステップS4において、検出部602は、入力音声に対して音声解析等を実行することにより、入力音声の言語を検出する。次に、ステップS6において、検出部602は、入力音声に対して音声解析等を実行することにより、ジョブ内容を検出する。
次に、第1情報処理装置60の変換部604は、言語情報から応答音声データに変換する。ステップS7において、第1情報処理装置60は、応答音声データを第1ネットワーク40経由でスマートスピーカー20に対して送信することにより、スマートスピーカー20から該応答音声データに基づく応答音声を出力させる。この応答音声は、検出部602が検出した言語の音声である。
次に、ステップS8において、検出部602がジョブ内容を検出した場合には(入力音声にジョブ内容が含まれている場合には)、送受信部608は、言語情報と、該ジョブ内容を示すジョブ情報とを第2ネットワーク80経由で、第2情報処理装置100に対して送信する。ステップS8において、検出部602がジョブ内容を検出しなかった場合(例えば、入力音声にジョブの内容が含まれていない場合)には、ステップS8の処理を実行せずに、処理はステップS10に進む。
次に、ステップS10において、検出部602がオプション内容を検出した場合には(入力音声にオプション内容が含まれている場合には)、送受信部608は、オプション内容を示すオプション情報を第2ネットワーク80経由で、第2情報処理装置100に対して送信する。ステップS10において、検出部602がオプション内容を検出しなかった場合(例えば、入力音声にオプション内容が含まれていない場合)には、ステップS10の処理を実行せずに、処理はステップS12に進む。
次に、ステップS12において、検出部602がジョブ実行指示を検出した場合には(入力音声にジョブ実行指示が含まれている場合には)、送受信部608は、ジョブ実行指示を第2ネットワーク80経由で、第2情報処理装置100に対して送信する。ステップS12において、検出部602がジョブ実行指示を検出しなかった場合(例えば、入力音声にジョブ実行指示が含まれていない場合)には、ステップS10の処理を実行せずに、処理はステップS13に進む。
ステップS12の処理が終了すると、ステップS13において、第1情報処理装置60は、セッションを終了させる。このセッションは、ステップS3で開始されたセッションである。これにより、スマートスピーカー20とMFP140とセッションが終了する。その後、ステップS14において、第1情報処理装置60は、音声再入力依頼をスマートスピーカー20に対して実行する。音声再入力依頼は、スマートスピーカー20に「音声入力してください」等といった音声を再び出力させる処理である。音声再入力依頼に係る音声は、上述の予め設定されたデフォルトの言語での音声としてもよく、ステップS4で検出された言語での音声としてもよい。
次に、第2情報処理装置100の処理を説明する。ステップS8において、第1情報処理装置60から、言語情報とジョブ情報とが送信されると、ステップS32において、第2情報処理装置100は、送信された言語情報とジョブ情報とをMFP140に対して送信する。
また、ステップS10において、第1情報処理装置60から、オプション情報が送信されると、ステップS34において、第2情報処理装置100は、送信されたオプション情報をMFP140に対して送信する。
また、ステップS12において、第1情報処理装置60から、ジョブ実行指示が送信されると、ステップS36において、第2情報処理装置100は、送信されたジョブ実行指示をMFP140に対して送信する。
次に、MFP140の処理を説明する。ステップS32において、第2情報処理装置100から言語情報とジョブ情報とが送信されると、ステップS60において、MFP140は、第1処理を実行する。ステップS34において、第2情報処理装置100からオプション情報が送信されると、ステップS62において、MFP140は、第2処理を実行する。ステップS36において、第2情報処理装置100からジョブ実行指示が送信されると、ステップS64において、MFP140は、第3処理を実行する。
図10は、第1処理のフローチャートの一例である。ステップS601において、制御部31は、ステップS32において送信されたジョブ情報に含まれるジョブ内容を所定の記憶領域(例えば、記憶部1414)に記憶させる。
次に、ステップS602において、切換部1406は、ステップS32で送信された言語情報が示す言語と、デフォルト言語とが異なるか否かを判断する。ステップS602において、切換部1406は、ステップS32で送信された言語情報が示す言語と、デフォルト言語とが異なると判断した場合には(ステップS602でYES)、処理はステップS603に進む。ステップS603においては、切換部1406は、デフォルト言語(例えば、日本語)から、言語情報が示す言語(例えば、英語)に切換える。また、切換部1406は、ステップS32で送信された言語情報が示す言語と、デフォルト言語とが同一であると判断した場合(ステップS602でNO)には、処理は、ステップS604に進む。また、ステップS603の処理が終了した場合にも、処理は、ステップS604に進む。
ステップS604において、設定部1408は、切換後の言語の音声データが記憶部1414に記憶されているか否かを判断する。設定部1408が、切換後の言語の音声データが記憶部1414に記憶されていないと判断した場合には(ステップS604でNO)、ステップS606において、制御部31は、記憶部1414に記憶されていないと判断された音声データを、第1提供装置150に対して要求する。次に、ステップS607において、制御部31は、要求済フラグを所定の記憶領域(例えば、記憶部1414)に格納させる。要求済フラグは、記憶部1414に記憶されていないと判断された音声データを、第1提供装置150に対して要求したことを示すフラグである。
ステップS604でYESと判断された場合、およびステップS607の処理が終了した場合には、処理はステップS608に進む。ステップS608において、設定部1408は、切換後の言語の画像データが記憶部1414に記憶されているか否かを判断する。設定部1408が、切換後の言語の画像データが記憶部1414に記憶されていると判断した場合には(ステップS608でYES)、処理は、ステップS610に進む。ステップS610において、表示制御部1412は、切換後の言語でジョブ設定画像320(ステップS608で記憶部1414に記憶されていると判断された画像データに基づく画像)を表示する。
また、設定部1408が、切換後の言語の画像データが記憶部1414に記憶されていないと判断した場合には(ステップS608でNO)、処理は、ステップS612に進む。ステップS612において、制御部31は、記憶部1414に記憶されていないと判断された音声データを、第2提供装置160に対して要求する。また、ステップS612の括弧書きに示すように、取得部1402が、第2提供装置160からの画像データを取得したときに、該取得した画像データでジョブ設定画像を表示する。ステップS610またはステップS612の処理が終了すると、第1処理は終了する。
図11は、第2処理のフローチャートの一例である。ステップS622において、制御部31は、ステップS34で第2情報処理装置100から送信されたオプション情報に基づいてオプションを変更して、該変更されたオプションを設定する。次に、ステップS624において、表示制御部1412は、変更されたオプション変更画像322を表示する。ステップS624の処理が終了すると、第2処理を終了する。
図12は、第3処理のフローチャートの一例である。ステップS642において、実行部1404は、処理ユニット11に、ステップS601で記憶されたジョブ内容のジョブを実行させる。このジョブ内容は、図10のステップS601で記憶されたジョブ内容である。次に、ステップS644において、制御部31は、ジョブが正常に終了したか否かを判断する。
制御部31は、ジョブが正常に終了したと判断した場合には(ステップS644でYES)、制御部31は、要求済フラグが格納されているか否かを判断する。要求済フラグは、図10のステップS607で格納されるフラグである。制御部31が、要求済フラグが格納されていると判断した場合には(ステップS646でYES)、処理はステップS648に進む。ステップS646で要求済フラグが格納されていると判断した場合というのは、図10のステップS606において、MFP140が、第1提供装置150に対して音声データを要求した場合ということである。
ステップS648において、制御部31は、第1提供装置150に対して要求していた音声データを、第1提供装置150から取得したか否かを判断する。ステップS648でNOと判断された場合、つまり、完了音声を出力するタイミングであるにも関わらず、該完了音声の音声データをMFP140が取得していない場合には、処理は、ステップS652に進む。
ステップS652において、スピーカー制御部1410は、切換前の言語で(つまり、デフォルトの言語で)、ジョブ完了音声を出力する。次に、ステップS662において、切換部1406は、設定言語を切換えている場合には、切換前の設定言語に戻す。切換前の設定言語に戻すことにより、ディスプレイ1051の画像は、切換前の言語で表示される。
次に、ステップS664において、制御部31は、要求済フラグが格納されている場合には,該要求済フラグを消去する。その後、第3処理は終了する。
また、ステップS646でNOと判断された場合、およびステップS648でYESと判断された場合には、処理はステップS650に進む。ステップS650において、スピーカー制御部1410は、切換後の言語でジョブ完了音声を出力する。なお、ステップS646でNOと判断された場合でのステップS650では、記憶部1414に記憶されている音声データ(切換後の言語の音声データ)に基づいて、ジョブ完了音声を出力する。また、ステップS648でYESと判断された場合でのステップS650では、第1提供装置150から取得した音声データ(切換後の言語の音声データ)に基づいて、ジョブ完了音声を出力する。
また、ステップS644において、制御部31が、ジョブが正常に終了しなかったと判断した場合、つまり、ジョブ実行中にエラーが発生したと判断した場合には(ステップS644でNO)、処理はステップS660に進む。ステップS660においては、スピーカー制御部1410は、デフォルトの言語(切換前の言語)で、該発生したエラーに対応するエラー音声を出力する。その後、処理は、ステップS662に進む。
[小括]
(1) 本実施形態の画像形成システム1000は、スマートスピーカー20と、MFP140とを備える。スマートスピーカー20は、ユーザーからの入力音声が入力されるとともに、入力音声が入力されたときに該入力音声に対応する応答音声を出力する。また、スマートスピーカー20は、第1情報処理装置60に対して入力音声を送信する。
第1情報処理装置60は、スマートスピーカー20からの入力音声を受信したときに、言語情報(入力音声の言語、および応答音声の言語を示す情報)をMFP140に対して送信する。取得部1402は、第1情報処理装置60から送信された言語情報を取得する。切換部1406は、設定部1408により設定されている言語(デフォルトの言語)と、取得した言語情報により示される言語とが異なる場合には(ステップS602でYES)、設定部により設定されている言語から、取得した言語情報に示される言語に切換える。スピーカー35は、切換部1406により切換えられた言語での音声を出力する。
これにより、図1(D)にも示すように、ユーザーUがMFP140の設定言語を変更することなく、スマートスピーカー20からの応答音声の言語と、スマートスピーカー20から出力される完了音声の言語とを同一にすることができる。したがって、ユーザーによる設定言語の変更を必要とすることなく、音声の言語に関する違和感をユーザーに感じさせることを防止することができる。
(2) また、図4に示すように、第1情報処理装置60の検出部602は、スマートスピーカー20に入力された入力音声の言語を検出する。また、第1情報処理装置60の送受信部608は、検出された言語の言語情報をMFP140に対して送信する。MFP140の取得部1402は、送信された言語情報を取得する。切換部1406は、設定言語から、該取得した言語情報により示される言語に切換える。したがって、入力音声の言語が如何なる言語であっても、切換部1406は、設定言語を、入力音声の言語に切換えることができる。
(3) また、画像形成システム1000は、音声データを提供する第1提供装置150をさらに備える。MFP140は、切換部1406により切換えられる言語に対応する音声データが記憶部1414に記憶されていない場合には(図10のステップS604でNO)、該切換えられる言語に対応する音声データを第1提供装置150に対して要求する。取得部1402は、該第1提供装置150から該音声データを取得する。スピーカー35は、該取得された音声データに基づいてジョブ完了音声を出力する。したがって、切換えられる言語の音声の音声データをMFP140が記憶していない場合であっても、第1提供装置150から取得することができる。よって、MFP140は、多数の言語の音声データを記憶する必要がなく、MFP140の記憶容量を低減させることができる。
(4) また、第1提供装置150からの音声データの取得前に音声を出力する場合、つまり、完了音声を出力するときであっても第1提供装置150から音声データがMFP140に到達していない場合(図12のステップS648でNOの場合)には、切換部1406により切換えられた言語での音声ではなく、切換前の言語(つまり、デフォルト言語)での音声を出力する。したがって、完了音声を出力するときに、第1提供装置150からの音声データがMFP140に到達しない場合であっても、MFP140は、柔軟に対応することができる。
(5) また、表示制御部1412は、切換えられた言語での文字の画像(図6に示すジョブ設定画像320およびオプション変更画像322など)をディスプレイ1051に表示させることができる。したがって、ユーザーによる言語変更操作を必要とすることなく、切換えられた言語での文字の画像を表示できる。よって、ユーザーの利便性を向上させることができる。
(6) また、画像形成システム1000は、画像データを提供する第2提供装置160をさらに備える。切換処理により切換えられる言語に対応する画像データが記憶部1414に記憶されていない場合には、MFP140は、切換部1406により切換えられる言語に対応する画像データを第2提供装置160に対して要求する。取得部1402は、該第2提供装置160から該画像データを取得する。表示制御部1412は、該取得された画像データに基づいた画像をディスプレイ1051に表示させる。したがって、切換えられる言語の画像の画像データをMFP140が記憶していない場合であっても、第2提供装置160から取得することができる。よって、MFP140は、多数の言語の画像データを記憶する必要がなく、MFP140の記憶領域を低減させることができる。
(7) また、切換部1406は、スピーカー35が完了音声(スマートスピーカー20から送信された入力音声に基づいたジョブが完了したことを示す音声)を出力した場合に、切換える前の言語(デフォルトの言語)に戻す。これにより、スピーカー35は、切換前の言語での音声を出力可能となる。よって、切換前の言語での音声が出力される状態に長々と制御されることを防止でき、結果として、ユーザーの利便性を向上させることができる。
(8) また、例えば、以下のような状況の場合を説明する。英語を理解できるが日本語を理解できないユーザーが、日本に設置されているMFP140を使用するとする。また、MFP140のデフォルト言語は、日本語であるとする。また、MFP140の近辺には、MFP140を管理する管理者が存在するとする。また、この管理者は、日本語は理解できるが英語を理解できないとする。
このような場合において、該ユーザー(英語を理解できるが日本語を理解できないユーザー)が、仮に、「Please make two color copies」という入力音声を発したとする。そして、MFP140による「2枚のカラーコピー」に係るジョブについてトナー切れのエラーが発生したとする。この場合において、MFP140が、エラーが発生したことを示す音声(例えば、「エラーが発生しました」という音声)、およびエラーの内容を示す音声(例えば、「トナー切れです」という音声)を、切換処理の後の言語(つまり、英語)で出力すると、英語を理解できない管理者は、エラーが発生していること、およびエラーの内容を理解できない。
そこで、エラーが発生した場合には、スピーカー35は、エラーが発生したことを示す音声(例えば、「エラーが発生しました」という音声)、およびエラーの内容を示す音声(例えば、「トナー切れです」という音声)を切換処理の前の言語(デフォルト言語)で出力する。これにより、日本語は理解できるが英語を理解できない管理者に対して、エラーが発生したこと、およびエラーの内容を理解させることができる。したがって、管理者によるMFP140の管理をスムーズに行わせることができる。
(9) また、MFP140は、完了音声を切換部1406により切換えられた言語で出力する。したがって、ユーザーによる入力音声、スマートスピーカー20による応答音声、およびMFP140による完了音声を全て同一の言語とすることができる。よって、MFP140が、入力音声に基づくジョブを完了させた場合において、音声の言語に関する違和感をユーザーに感じさせることを防止することができる。
[その他の実施形態]
(1) 前述の実施形態においては、取得部1402は、第1情報処理装置60の検出部602が検出した言語情報を取得するとして説明した。しかしながら、以下のような構成であってもよい。スマートスピーカー20は予め言語が設定されている構成としてもよい。この場合には、ユーザーからの入力音声の言語の種別に関わらず、スマートスピーカー20は、設定されている言語での応答音声を出力する。また、取得部1402は、スマートスピーカー20から、該スマートスピーカー20に設定されている言語の言語情報を取得する。この言語情報は、応答音声(第2音声)の言語を特定可能な言語情報である。このような構成によれば、第1情報処理装置60の入力音声に対する解析処理の負担を低減できるとともに、スマートスピーカー20からの応答音声の言語と、MFP140からの完了音声の言語とを同一にすることができる。
(2) 前述の実施形態では、図12のステップS662等にも示したように、ディスプレイ1051が表示する画像の言語が、切換前の言語に戻す所定条件は、完了音声またはエラー音声が出力されるという条件であるとして説明した。しかしながら、この所定条件は他の条件としてもよい。該他の条件は、例えば、スマートスピーカー20とMFP140との接続(セッション)が切れるという条件とする構成を採用してもよい。本実施形態では、スマートスピーカー20とMFP140との接続(セッション)が切れる契機は、ステップS8およびステップS10の処理が終了した場合である。ステップS8およびステップS10の処理が終了しているということは、MFP140によるステップS60の第1処理、およびMFP140によるステップS62の第2処理が終了しているということである。第1処理および第2処理が実行されるということは、ジョブ設定画像320と、オプション変更画像322とが切換処理後の設定言語で表示されているということである。ジョブ設定画像320と、オプション変更画像322とが切換処理後の設定言語で表示されていることから、切換処理後の設定言語でのジョブ設定画像320と、オプション変更画像322とを、ユーザーは視認できる。したがって、ユーザーが、切換処理後の設定言語でのジョブ設定画像320と、オプション変更画像322とを視認した後においては、ユーザーにとって、ジョブ設定画像320と、オプション変更画像322とはあまり重要ではない。そこで、本変形例では、所定条件は、例えば、スマートスピーカー20とMFP140との接続(セッション)が終了という条件とする構成を採用する。
このような構成であっても、切換前の言語での画像が表示されるという状態に長々と制御されることを防止でき、結果として、ユーザーの利便性を向上させることができる。
次に、MFP140が、セッションが終了したことを認識する手法を説明する。例えば、セッションが開始すると、MFP140は、所定期間(例えば、1秒)毎に、予め定められた所定信号を第1情報処理装置60に対して送信する。該第1情報処理装置60は、該所定信号を受信すると、返答信号をMFP140に送り返す構成が採用されている。MFP140は、該返答信号を受信することにより、セッションが継続されていることを認識する。また、MFP140は、所定信号を第1情報処理装置60に対して送信したものの、返答信号を受信しなかった場合には、セッションが終了したと判断する。
また、本実施形態では、セッションが終了する条件は、図9で示したように、ステップS12が終了するという条件であるとして説明した。しかしながら、セッションが終了する条件は他の条件としてもよい。セッションが終了する条件は、例えば、セッションが開始されたときから、所定時間(例えば、5秒間)経過するという条件であってもよい。
(3) また、MFP140は、切換処理により切換えられる言語での画像を表示する制御を禁止する禁止部1416を備えるようにしてもよい。禁止部1416は、図5の破線部分で示される通りである。このような禁止部1416を有することにより、表示制御部1412は、切換処理により切換えられる言語での画像を表示する制御を実行する必要がなくなる。したがって、表示制御部1412を有する制御部31の処理負担を軽減できる。なお、禁止部1416は、ユーザーによる言語切換操作が行われたときには、表示切換処理により切換えられる言語での画像を表示する制御を禁止しないようにしてもよい(表示切換処理により切換えられる言語での画像を表示する制御を実行するようにしてもよい)。
また、MFP140は、ディスプレイ1051を備えない構成としてもよい。このような構成によれば、MFP140のサイズを小型化できるとともにMFP140の製造コストを削減できる。また、ディスプレイ1051を備えないMFP140は、禁止部1416を有することにより、該MFP140を適切に制御させることができる。
(4) また、前述の実施形態では、MFP140は、エラーが発生した場合には、スピーカー35は、エラーが発生したことを示す音声(例えば、「エラーが発生しました」という音声)、およびエラーの内容を示す音声(例えば、「トナー切れです」という音声)を切換処理の前の言語(デフォルト言語)で出力する、として説明した。しかしながら、MFP140は、エラーが発生したことを示す音声を、切換処理により切換えられた言語で出力し、エラーの内容を示す音声を切換前の言語で出力する。トナー切れのエラーが発生した場合には、MFP140のカラーコピーが停止するとともに、「An error has occurred トナー切れです」というエラー音声を出力する。
上記で説明した状況において、仮に、日本語で「エラーが発生しました」というエラー音声を出力すると、日本語を理解できないユーザーは、何故、MFP140のカラーコピーが停止したのかを理解できない。そこで、本変形例では、エラーが発生したことを示すエラー発生音声を、切換処理後の言語(英語)での音声を出力する。一方で、エラーの内容を示すエラー内容音声は、日本語で出力する。したがって、英語を理解できない管理者であっても、エラーが発生したこと、およびエラーの内容を理解できる。
なお、さらなる変形例として、MFP140は、エラー発生音声およびエラー内容音声を共に、切換後の言語(例えば、英語)で出力するようにしてもよい。つまり、MFP140は、実行部1404によるジョブの実行状態に関する音声を、切換後の言語(例えば、英語)で出力するようにしてもよい。
(5) また、図2に示される第1情報処理装置60と第2情報処理装置100とを統合するようにしてもよい。この場合には、スマートスピーカー20と、該統合された情報処理装置と、MFP140とがそれぞれネットワーク等で接続される。このような構成を採用した画像形成システムでは、構成する装置の数を減少させることができ、結果として、通信料を低減できる。
また、今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。
11 処理ユニット、14 給紙ユニット、20 スマートスピーカー、31 制御部、32 固定記憶装置、34 操作パネル、35 スピーカー、38 バス、40 第1ネットワーク、60 第1情報処理装置、80 第2ネットワーク、100 第2情報処理装置、120 第3ネットワーク、150 第1提供装置、160 第2提供装置、1402 取得部、1404 実行部、1406 切換部、1408 設定部、1410 スピーカー制御部、1412 表示制御部、1416 禁止部。

Claims (26)

  1. 音声入出力装置と、情報処理装置と、画像形成装置とを備える画像形成システムであって、
    前記音声入出力装置は、
    第1音声が入力されるとともに、該第1音声に対する第2音声を出力し、
    前記第1音声を前記情報処理装置へ送信し、
    前記情報処理装置は、前記音声入出力装置からの前記第1音声を受信し、該第1音声に対する前記第2音声の言語を特定可能な言語情報を前記画像形成装置へ送信し、
    前記画像形成装置は、
    言語を設定する設定部と、
    前記設定部により設定されている言語を、前記情報処理装置から送信された前記言語情報から特定される前記第2音声の言語に切換える切換部と、
    前記切換部により切換えられた言語での第3音声を出力する出力部とを備える、画像形成システム。
  2. 前記情報処理装置は、
    前記音声入出力装置から送信された前記第1音声の言語を検出し、
    検出された前記第1音声の言語を、前記言語情報として送信する、前記第2音声の言語として取得する、請求項1に記載の画像形成システム。
  3. 前記情報処理装置は、前記音声入出力装置に設定されている前記第2音声の言語を、前記言語情報として送信する、請求項1に記載の画像形成システム。
  4. 前記画像形成システムは、音声データを提供する第1提供装置をさらに備え、
    前記画像形成装置は、前記切換部により切換えられる言語に対応する前記音声データを記憶していない場合には、前記切換部により切換えられる言語に対応する前記音声データを前記第1提供装置から取得する音声データ取得部をさらに備え、
    前記出力部は、前記音声データ取得部により取得された前記音声データに基づいた前記第3音声を出力する、請求項1~請求項3いずれか1項に記載の画像形成システム。
  5. 前記出力部は、前記第1提供装置からの前記音声データの取得前に前記第3音声を出力する場合には、前記切換部により切換えられた言語での前記第3音声ではなく、前記切換部により切換えられる前の言語での前記第3音声を出力する、請求項4に記載の画像形成システム。
  6. 前記画像形成装置は、
    画像を表示する表示部と、
    前記表示部を制御する表示制御部とをさらに備え、
    前記表示制御部は、前記切換部により切換えられた言語での画像を表示するように前記表示部を制御する、請求項1~請求項5いずれか1項に記載の画像形成システム。
  7. 前記画像形成システムは、画像データを提供する第2提供装置をさらに備え、
    前記画像形成装置は、前記切換部により切換えられる言語に対応する前記画像データを記憶していない場合には、前記切換部により切換えられる言語に対応する前記画像データを前記第2提供装置から取得する画像データ取得部をさらに備え、
    前記表示制御部は、前記画像データ取得部により取得された前記画像データに基づいた画像を前記表示部に表示させる、請求項6に記載の画像形成システム。
  8. 前記表示制御部は、前記情報処理装置から送信された前記第1音声に基づいたジョブが完了した場合に、前記切換部により切換られる前の言語での画像を表示するように前記表示部を制御する、請求項6または請求項7に記載の画像形成システム。
  9. 前記表示制御部は、前記音声入出力装置と前記画像形成装置との接続が切れたことを前記画像形成装置が判断した場合に、前記切換部により切換られる前の言語での画像を表示するように前記表示部を制御する、請求項6または請求項7に記載の画像形成システム。
  10. 前記画像形成装置は、前記切換部により切換えられる言語での画像を表示する制御を禁止する禁止部をさらに備える、請求項1~請求項9いずれか1項に記載の画像形成システム。
  11. 前記出力部は、前記情報処理装置から送信された前記第1音声に基づいたジョブが完了した場合に、前記切換部により切換られる前の言語での音声を出力可能となる、請求項1~請求項10いずれか1項に記載の画像形成システム。
  12. 前記出力部は、エラーが発生した場合に、前記エラーが発生したことを示す音声および前記エラーの内容を示す音声を、前記切換部により切換られる前の言語で出力する、請求項1~請求項11いずれか1項に記載の画像形成システム。
  13. 前記出力部は、エラーが発生した場合に、前記エラーが発生したことを示す音声を前記切換部により切換えられた言語で出力し、前記エラーの内容を示す音声を前記切換部により切換られる前の言語で出力する、請求項1~請求項11いずれか1項に記載の画像形成システム。
  14. 前記出力部は、前記音声入出力装置から送信された音声に基づいたジョブが完了したことを示す音声を、前記第3音声として出力する、請求項1~請求項13いずれか1項に記載の画像形成システム。
  15. 画像形成装置であって、
    音声入出力装置にユーザーからの第1音声が入力されたときに該音声入出力装置から出力される第2音声の言語を特定可能な言語情報を取得する言語取得部と、
    言語を設定する設定部と、
    前記設定部により設定されている言語を、前記言語取得部により取得された前記第2音声の言語に切換える切換部と、
    前記切換部により切換えられた言語での第3音声を出力する出力部と、
    画像を表示する表示部と、
    前記表示部を制御する表示制御部とを備え、
    前記表示制御部は、
    前記切換部により切換えられた言語での画像を表示するように前記表示部を制御し、
    前記音声入出力装置と前記画像形成装置との接続が切れたことを前記画像形成装置が判断した場合に、前記切換部により切換られる前の言語での画像を表示するように前記表示部を制御する、画像形成装置。
  16. 前記切換部により切換えられる言語に対応する音声データを記憶していない場合には、前記切換部により切換えられる言語に対応する前記音声データを第1提供装置から取得する音声データ取得部をさらに備え、
    前記出力部は、前記音声データ取得部により取得された前記音声データに基づいた前記第3音声を出力する、請求項15に記載の画像形成装置。
  17. 前記出力部は、前記第1提供装置からの前記音声データの取得前に前記第3音声を出力する場合には、前記切換部により切換えられた言語での前記第3音声ではなく、前記切換部により切換えられる前の言語での前記第3音声を出力する、請求項16に記載の画像形成装置。
  18. 前記画像形成装置は、前記切換部により切換えられる言語に対応する画像データを記憶していない場合には、前記切換部により切換えられる言語に対応する前記画像データを第2提供装置から取得する画像データ取得部をさらに備え、
    前記表示制御部は、前記画像データ取得部により取得された前記画像データに基づいた画像を前記表示部に表示させる、請求項15に記載の画像形成装置。
  19. 前記表示制御部は、前記第1音声に基づいたジョブが完了した場合に、前記切換部により切換られる前の言語での画像を表示するように前記表示部を制御する、請求項15または請求項18に記載の画像形成装置。
  20. 前記切換部により切換えられる言語での画像を表示する制御を禁止する禁止部をさらに備える、請求項15~請求項19いずれか1項に記載の画像形成装置。
  21. 前記出力部は、前記第1音声に基づいたジョブが完了した場合に、前記切換部により切換られる前の言語での音声を出力可能となる、請求項15~請求項20いずれか1項に記載の画像形成装置。
  22. 前記出力部は、エラーが発生した場合に、前記エラーが発生したことを示す音声および前記エラーの内容を示す音声を、前記切換部により切換られる前の言語で出力する、請求項15~請求項21いずれか1項に記載の画像形成装置。
  23. 前記出力部は、エラーが発生した場合に、前記エラーが発生したことを示す音声を前記切換部により切換えられた言語で出力し、前記エラーの内容を示す音声を前記切換部により切換られる前の言語で出力する、請求項15~請求項21いずれか1項に記載の画像形成装置。
  24. 前記出力部は、前記音声入出力装置から送信された音声に基づいたジョブが完了したことを示す音声を、前記第3音声として出力する、請求項15~請求項23いずれか1項に記載の画像形成装置。
  25. 画像形成装置の制御プログラムであって、
    コンピューターに、
    音声入出力装置にユーザーからの第1音声が入力されたときに該音声入出力装置から出力される第2音声の言語を特定可能な言語情報を取得するステップと、
    設定されている言語を、前記第2音声の言語に切換えるステップと、
    切換えられた言語での第3音声を出力するステップと、
    切換えられた言語での画像を表示するように表示部を制御するステップと、
    前記音声入出力装置と前記画像形成装置との接続が切れたことを前記画像形成装置が判断した場合に、切換られる前の言語での画像を表示するように前記表示部を制御するステップとを実行させる、画像形成装置の制御プログラム。
  26. 画像形成装置の制御方法であって、
    音声入出力装置にユーザーからの第1音声が入力されたときに該音声入出力装置から出力される第2音声の言語を特定可能な言語情報を取得するステップと、
    設定されている言語を、前記第2音声の言語に切換えるステップと、
    切換えられた言語での第3音声を出力するステップと、
    切換えられた言語での画像を表示するように表示部を制御するステップと、
    前記音声入出力装置と前記画像形成装置との接続が切れたことを前記画像形成装置が判断した場合に、切換られる前の言語での画像を表示するように前記表示部を制御するステップとを備える、画像形成装置の制御方法。
JP2019104257A 2019-06-04 2019-06-04 画像形成システム、画像形成装置、画像形成装置の制御プログラム、および画像形成装置の制御方法 Active JP7379872B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019104257A JP7379872B2 (ja) 2019-06-04 2019-06-04 画像形成システム、画像形成装置、画像形成装置の制御プログラム、および画像形成装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019104257A JP7379872B2 (ja) 2019-06-04 2019-06-04 画像形成システム、画像形成装置、画像形成装置の制御プログラム、および画像形成装置の制御方法

Publications (2)

Publication Number Publication Date
JP2020198564A JP2020198564A (ja) 2020-12-10
JP7379872B2 true JP7379872B2 (ja) 2023-11-15

Family

ID=73649403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019104257A Active JP7379872B2 (ja) 2019-06-04 2019-06-04 画像形成システム、画像形成装置、画像形成装置の制御プログラム、および画像形成装置の制御方法

Country Status (1)

Country Link
JP (1) JP7379872B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083991A (ja) 1999-09-16 2001-03-30 Denso Corp ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体
JP2002120444A (ja) 2000-10-13 2002-04-23 Ricoh Co Ltd 画像形成装置
JP2003316383A (ja) 2002-04-22 2003-11-07 It Communications:Kk 音声応答システム
JP2004110214A (ja) 2002-09-13 2004-04-08 Ricoh Co Ltd プリンタシステム
JP2006026972A (ja) 2004-07-13 2006-02-02 Konica Minolta Business Technologies Inc 画像形成装置および言語切替方法
JP2008126565A (ja) 2006-11-22 2008-06-05 Ricoh Printing Systems Ltd プリンタ
JP2015079432A (ja) 2013-10-18 2015-04-23 シャープ株式会社 画像形成装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083991A (ja) 1999-09-16 2001-03-30 Denso Corp ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体
JP2002120444A (ja) 2000-10-13 2002-04-23 Ricoh Co Ltd 画像形成装置
JP2003316383A (ja) 2002-04-22 2003-11-07 It Communications:Kk 音声応答システム
JP2004110214A (ja) 2002-09-13 2004-04-08 Ricoh Co Ltd プリンタシステム
JP2006026972A (ja) 2004-07-13 2006-02-02 Konica Minolta Business Technologies Inc 画像形成装置および言語切替方法
JP2008126565A (ja) 2006-11-22 2008-06-05 Ricoh Printing Systems Ltd プリンタ
JP2015079432A (ja) 2013-10-18 2015-04-23 シャープ株式会社 画像形成装置

Also Published As

Publication number Publication date
JP2020198564A (ja) 2020-12-10

Similar Documents

Publication Publication Date Title
US10298790B2 (en) Image-forming apparatus, system, information processing method and storage medium for causing an operation screen to be displayed based on display language information
US9621748B2 (en) Information processing system, information processing apparatus, and information processing method
US20200177747A1 (en) Information processing system, method of processing information and storage medium
JP7091821B2 (ja) 画像処理装置及びプログラム
US11140284B2 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
KR20030096075A (ko) 정보 처리 장치, 정보 처리 방법, 제어 프로그램
US9628665B2 (en) Information processing system, information processing apparatus, information processing method, and recording medium
CN106484337B (zh) 信息处理装置及其控制方法、以及打印系统
US20200249883A1 (en) Image forming apparatus, image forming system, and information processing method
US11310375B2 (en) Image forming apparatus, image forming method, and non-transitory recording medium
US8578197B2 (en) Image processing apparatus, control method for image processing apparatus, and computer-readable storage medium
JP2019191707A (ja) 設定制御装置、設定制御方法およびプログラム
JP6326795B2 (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP7210937B2 (ja) 画像形成装置
JP2007090757A (ja) 画像形成装置、情報処理装置および画像形成システム
JP2020177131A (ja) 音声クラウドシステム、方法およびプログラム
JP7379872B2 (ja) 画像形成システム、画像形成装置、画像形成装置の制御プログラム、および画像形成装置の制御方法
CN111953857A (zh) 装置
US9864556B2 (en) Image forming apparatus having web browser, method of controlling image forming apparatus, and storage medium
CN1848904B (zh) 通信系统,通信装置和程序
JP4222438B2 (ja) データ入出力システム、データ入出力システムの制御方法および制御装置
US10917531B2 (en) Operation apparatus, information processing system, and operation method for outputting a message by voice sound
US20190141206A1 (en) Image processing system, information processing device, image processing device and non-transitory recording medium
CN115811576A (zh) 带交互代理功能的图像形成系统及其控制方法和存储介质
US10976968B2 (en) Information processing apparatus, method, and non-transitory computer readable recording medium that stores program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R150 Certificate of patent or registration of utility model

Ref document number: 7379872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150