JP7275795B2 - 操作受付装置、制御方法、画像形成システム、及び、プログラム - Google Patents

操作受付装置、制御方法、画像形成システム、及び、プログラム Download PDF

Info

Publication number
JP7275795B2
JP7275795B2 JP2019076943A JP2019076943A JP7275795B2 JP 7275795 B2 JP7275795 B2 JP 7275795B2 JP 2019076943 A JP2019076943 A JP 2019076943A JP 2019076943 A JP2019076943 A JP 2019076943A JP 7275795 B2 JP7275795 B2 JP 7275795B2
Authority
JP
Japan
Prior art keywords
display
unit
display area
user
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019076943A
Other languages
English (en)
Other versions
JP2020177261A (ja
Inventor
友子 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2019076943A priority Critical patent/JP7275795B2/ja
Priority to EP20160859.3A priority patent/EP3726366A1/en
Priority to US16/823,053 priority patent/US11350001B2/en
Priority to CN202010277392.1A priority patent/CN111835935B/zh
Publication of JP2020177261A publication Critical patent/JP2020177261A/ja
Priority to US17/666,742 priority patent/US11722609B2/en
Application granted granted Critical
Publication of JP7275795B2 publication Critical patent/JP7275795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416—Multi-level menus
    • H04N1/00419—Arrangements for navigating between pages or parts of the menu
    • H04N1/00424—Arrangements for navigating between pages or parts of the menu using a list of graphical elements, e.g. icons or icon bar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416—Multi-level menus
    • H04N1/00419—Arrangements for navigating between pages or parts of the menu
    • H04N1/00427—Arrangements for navigating between pages or parts of the menu using a menu list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • H04N1/2307—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity
    • H04N1/2338—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity according to user specified instructions, e.g. user selection of reproduction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • H04N1/2307—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity
    • H04N1/2392—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity for displaying or indicating, e.g. a condition or state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Description

本発明は、操作受付装置、制御方法、画像形成システム、及び、プログラムに係わる。
プリントショップや大企業内のプリント専門部署（以下、プリントショップ等）では、複数の画像形成装置が設置されている。例えば、大型のプロダクションプリンタ（ＰＰ機）は高額であるため、ダウンタイムを最小化して投資効果を高めることが求められている。このため、プリントショップ等におけるオペレーターは、複数台のＰＰ機についてダウンタイムを最小化し、連続的にＰＰ機を稼働させるために複雑な印刷設定を短時間で行うことが求められている。
しかしながら、画像形成装置を稼働させる際には、ジョブを実行するために数多くの複雑な印刷設定をする必要がある。特にＰＰ機は、利用可能な用紙種類や後処理の種類も多く、ジョブを実行するために数多くの複雑な印刷設定をする必要がある。このような複雑な印刷設定を行う際に、手動による印刷設定の入力を補助するために、音声を利用して印刷設定を入力する画像形成装置が提案されている（例えば、特許文献１、特許文献２参照）。
特開２００７－１８０９０号公報 特開２０１２－２６６０３６号公報
しかしながら、画像形成装置においては、機能数が多い場合や、用紙名等の長く複雑な設定値が多い場合があるため、音声を用いて印刷設定の入力を補助した場合においても、短時間で印刷設定を行うことが難しい。このため、より短時間で印刷設定を行うことが可能な操作受付装置や画像形成システムが求められている。
上述した問題の解決のため、本発明においては、印刷設定を短時間で行うことが可能な、操作受付装置、制御方法、画像形成システム、及び、プログラムを提供する。
本発明の操作受付装置は、表示部と、ユーザーの音声に関する認識結果を取得する取得部と、表示部に重ねて配置された、ユーザーの手操作を受け付ける操作受付部と、表示部に、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示する制御、及び、認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示する制御を行う制御部とを備える。
また、本発明の画像形成システムは、上記操作受付装置と、画像形成装置とを備える。
本発明の制御方法は、表示部と、取得部と、操作受付部と、制御部とを備える操作受付装置の制御方法であって、取得部において、ユーザーの音声に関する認識結果を取得し、操作受付部において、表示部に重ねて配置されたユーザーの手操作を受け付け、制御部において、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示部に表示する制御、及び、認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示部に表示する制御を行う。
また、本発明のプログラムは、ユーザーの音声に関する認識結果を取得する手順と、表示部に重ねて配置された操作受付部によりユーザーの手操作を受け付ける手順と、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示部に表示する制御、及び、認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示部に表示する制御を行う手順とをコンピューターに実行させる。
本発明によれば、印刷設定を短時間で行うことが可能な、操作受付装置、制御方法、画像形成システム、及び、プログラムを提供することができる。
画像形成システムの構成を示す図である。 画像形成装置の構成を表すブロック図である。 操作受付装置の構成を表すブロック図である。 画像形成装置の操作受付部の構成を表すブロック図である。 外部サーバーの構成を表すブロック図である。 制御部の構成を表すブロック図である。 ユーザーの操作開始時に表示される初期画面を表す図である。 表示部に第１の表示領域と第２の表示領域とが表示された様子を示す図である。 表示部に第１の表示領域と第２の表示領域とが表示された様子と、第３の表示領域とが単一表示された様子とを示す図である。 表示部に第１の表示領域と第２の表示領域とが表示された様子と、第３の表示領域とが単一表示された様子とを示す図である。 表示部に第１の表示領域と第２の表示領域とが表示された様子と、第１の表示領域とが単一表示された様子とを示す図である。 表示部に第１の表示領域と第２の表示領域とが表示された様子と、第３の表示領域と第１の表示領域とが表示された様子と、初期画面が単一表示された様子を示す図である。 操作受付の制御方法のフローチャートである。
以下、本発明を実施するための形態の例を説明するが、本発明は以下の例に限定されるものではない。
［画像形成システムの構成］
図１に、本実施の形態の画像形成システムの概略構成図として、操作受付装置を備える画像形成システムのブロック図を示す。
図１は、画像形成システムの構成例を示すブロック図である。図１に示す画像形成システム１は、操作受付装置１０、画像形成装置２０、及び、外部サーバー３０が、ＬＡＮ（Local Area Network）等のネットワーク２を介して通信可能に接続されている。ネットワーク２は有線であっても無線であってもよい。例えば、操作受付装置１０が画像形成装置２０や外部サーバー３０と無線ＬＡＮを介して接続され、画像形成装置２０が外部サーバー３０と有線ＬＡＮを介して接続されている例が挙げられる。
画像形成システム１は、例えば、ネットワークに接続された図示しないＰＣ（Personal Computer）等やタブレット端末、操作受付装置１０等から印刷ジョブを受け取り、ジョブに応じた各種印刷を行う。ＰＣ等の端末装置には印刷原稿を作成するアプリケーションや、印刷ジョブを生成するプリンタードライバーが含まれる。
［画像形成装置の構成］
次に、画像形成システム１における画像形成装置２０の構成例を表すブロック図を、図２に示す。図２に示す画像形成装置２０は、表示部２１、操作受付部２２、画像形成部２３、ネットワーク接続部２４、音声入出力部２５、及び、制御部２６を備える。これらのブロックは、図示しないシステムバスにより相互に通信可能に接続されている。
制御部２６は、取得部２７と、表示制御部２８とを備える。取得部２７は、ユーザーの音声に関する認識結果を取得する。ユーザーの音声に関する音声認識は、後述する外部サーバー３０の音声認識部３１（図５参照）において行われる。そして、外部サーバー３０の音声認識部３１における音声認識結果をから音声に関する認識結果をネットワーク２及びネットワーク接続部１４を介して、取得部２７が取得する。
表示制御部２８は、表示部２１における画面表示動作を制御する処理部である。例えば、表示制御部２８は、画像形成装置２０を操作するための操作画面等を表示部２１に表示する。
操作受付部２２は、タッチパネルや操作キー群を含む。表示部２１は、表示装置を備える。表示部２１及び操作受付部２２は、例えば、液晶表示装置などの表示装置と光学式や静電容量式等のタッチパネルの位置指示装置とが重なって構成され、表示装置に操作画面を表示してその操作画面上のユーザーによる指示位置を特定する。制御部２６は、予め記憶されている画面表示をさせるためのデータに基づいて表示部２１に操作画面を表示させる。特定された操作画面上での指示位置（タッチされた位置）や、押下されたキーを示す操作信号は制御部２６に入力される。制御部２６は押下されたキー、又は、表示している操作画面と指示位置とから操作内容を特定し、操作内容に基づいて処理を実行する。
画像形成部２３は、画像を用紙上に印刷する画像形成を行う。音声入出力部２５は、ユーザーの音声を電気信号に変換する、及び、制御部２６に指示された電気信号を音声に変換する信号変換部であり、音声入力の受付や、制御部２６の指示による音声出力を行う。ネットワーク接続部２４は、上記ネットワーク２を介した通信を行う通信部である。
［操作受付装置の構成］
次に、画像形成システム１における操作受付装置１０の構成例を表すブロック図を、図３に示す。図３に示す操作受付装置１０は、表示部１１、操作受付部１２、制御部１３、ネットワーク接続部１４、及び、音声入出力部１６を備える。制御部１３は、取得部１５と、表示制御部１７とを備える。
操作受付装置１０において、表示部１１、操作受付部１２、制御部１３、ネットワーク接続部１４、及び、音声入出力部１６は、上記画像形成装置２０の表示部２１、操作受付部２２、制御部２６、ネットワーク接続部２４、及び、音声入出力部２５と同様の構成である。また、操作受付装置１０の制御部１３における、取得部１５、及び、表示制御部１７は、上記画像形成装置２０の制御部２６における、取得部１５、及び、表示制御部１７と同様の構成である。
［操作受付部］
画像形成装置２０における操作受付部２２の構成例を表すブロック図を、図４に示す。図４に示す操作受付部２２は、タッチ操作部２２１、ハードキー操作部２２２、及び、音声操作部２２３を備える。なお、操作受付装置１０における操作受付部１２も、下記の画像形成装置２０における操作受付部２２と同様の構成とすることができる。
タッチ操作部２２１は、表示部２１に重ねて配置された光学式や静電容量式等のタッチパネルの位置指示装置によって入力された操作に応じた操作信号を生成し、制御部２６に入力する。ハードキー操作部２２２は、画像形成装置２０に配置されたハードキーに入力された操作を認識する。音声操作部２２３は、後述する外部サーバー３０の音声認識部３１（図５参照）において行われた音声認識結果から音声入力された操作に応じた操作信号を生成し、制御部２６に入力する。
［サーバーの構成］
次に、画像形成システム１における外部サーバー３０の構成例を表すブロック図を、図５に示す。図５に示す外部サーバー３０は、音声認識部３１と、補正部３２とを備える。なお、音声認識部３１と補正部３２とは、外部サーバーではなく操作受付装置１０や、画像形成装置２０が有していてもよい。
音声認識部３１は、画像形成装置２０の音声入出力部２５（図２）に入力された音声信号を、ネットワーク２を介して受信する。そして、受信した音声信号から、画像形成システム１に対する操作指示の音声を認識する。そして、認識した操作指示内容を操作受付装置１０の制御部１３や、画像形成装置２０の制御部２６に通知する。操作受付装置１０の制御部１３及び画像形成装置２０の制御部２６は、音声認識部３１から通知された操作指示内容に従って所定の処理の実行を操作受付装置１０や画像形成装置２０に指示する。
補正部３２は、入力された音声信号を、音声認識部３１が認識できる操作内容と一致するように、音声信号の情報（内容）とより近い操作可能な内容に補正する。例えば、音声認識で失敗する語を学習させ、この学習データを基に音声信号の情報を操作可能な内容と一致するように補正する。
外部サーバー３０は、パーソナルコンピューター等の、一般的なコンピューターで実現することができる。そのため、外部サーバー３０のハードウェア構成は、一般的なコンピューターのハードウェア構成と同様とすることができる。このため、外部サーバー３０のハードウェア構成の詳細な説明は省略する。例えば、後述する図６に示す制御部１３と同様に、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ネットワーク接続部等によって構成できる。
［制御部］
次に、操作受付装置１０の制御部１３、及び、画像形成装置２０の制御部２６の構成について説明する。以下の説明では、操作受付装置１０の制御部１３を例に説明するが、画像形成装置２０の制御部２６も同様の構成とすることができる。
図６に示すように、制御部１３は、ＣＰＵ１３１、ＲＯＭ１３２、及びＲＡＭ１３３によって構成される。制御部１３は、操作受付装置１０内の各部の動作を制御するコンピューターの一例として用いられる。
ＣＰＵ１３１は、例えば入力部１３６を通じて行われるユーザーの入力操作に応じて、プリンタードライバーを動作させて印刷ジョブを生成する。ＣＰＵ１３１は、制御部の一例であり、本実施形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ１３２（記録媒体の一例）から読み出して実行する。なお、ＣＰＵ１３１に代えて、ＭＰＵ（Micro Processing Unit）等の他の演算装置を演算部として用いてもよい。
ＲＯＭ１３２は、不揮発性メモリの一例として用いられ、ＣＰＵ１３１が動作するために必要なプログラムやデータ等を記憶している。
ＲＡＭ１３３は、揮発性メモリの一例として用いられ、ＣＰＵ１３１が行う各処理に必要な情報（データ）を一時的に記憶する。
出力部１３５は、例えば、液晶ディスプレイモニタ等の表示装置やスピーカー等によって構成される。出力部１３５は、表示部１１や音声入出力部１６の機能に相当し、制御部１３で行われる処理の結果等を出力する。
入力部１３６は、例えば、キーボード、マウス又はタッチパネル等によって構成される。入力部１３６は、操作受付部１２や音声入出力部１６の機能に相当し、ユーザーが所定の操作を行い、操作指示を入力を受け付ける。
不揮発性ストレージ１３４は、記録材の一例であり、ＣＰＵ１３１が各部を制御するためのプログラム、ＯＳ等のプログラム、及びデータを記憶する。不揮発性ストレージ１３４としては、例えば、ＨＤＤ、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード等が用いられる。
ネットワークＩ／Ｆ（interface）１３７は、例えばＮＩＣ（Network Interface Card）やモデム等で構成され、ＬＡＮ等のネットワーク２を介して通信相手の装置との接続を確立し、各種データの送受信を実行する。
［制御部による表示部の制御］
次に、操作受付装置１０の制御部１３による表示部１１の画面表示の制御、及び、画像形成装置２０の制御部２６による表示部２１の画面表示の制御について説明する。以下の説明では、操作受付装置１０の制御部１３による表示部１１の画面表示の制御を例に説明するが、画像形成装置２０の制御部２６による表示部２１の画面表示も同様に制御することができる。
（制御－１）
操作受付装置１０の表示部１１において、ユーザーによる操作開始時に表示される初期画面例を図７に示す。図７に示す初期画面４０は、表示部１１の表示領域に、ユーザーからの手操作による指示を受け付け可能な項目（操作項目）を表示した、単一の手操作画面５１のみが表示されている。
操作受付装置１０において、ユーザーの音声入力による画像形成システム１に対する操作指示の認識結果を、音声認識部３１から取得した場合の表示部１１の画面表示を図８に示す。図８に示すように、操作受付装置１０の制御部１３は、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域４１と、ユーザーの音声による指示が可能な項目を表示した第２の表示領域４２とを、表示部１１に表示する制御を行う。図８では、第１の表示領域４１にユーザーによる手操作が可能な項目を表示した手操作画面５１が縮小して表示され、第２の表示領域４２にユーザーによる音声指示が可能な項目を表示した音声操作画面５２が表示されている。第２の表示領域４２には、音声入力により表示された画面であることが分かるようにマイクのアイコン５６が表示されている。また、マイクのアイコン５６が表示されているときは、音声入出力部１６による音声入力が可能であることを示す。
図８に示すように、制御部１３が表示部１１に、手操作画面５１と音声操作画面５２とを並列して操作可能に表示することにより、音声操作と手操作とを並列で行うことが可能となる。このため、操作受付装置１０において、複雑な印刷設定を短時間で行うことができる。
また、音声操作画面においてユーザーが意図する動作が音声操作によって行われなかった場合や、音声操作によってユーザーが意図する音声操作画面が表示されなかった場合においても、通常の手操作画面５１が並列表示されているため、容易に音声操作や手操作をやり直すことができる。
（制御－２）
また、制御部１３は、第１の表示領域４１と第２の表示領域４２とが表示された状態（図８）で、第２の表示領域４２に対する手操作を受け付けた場合には、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域４３を表示部１１に表示する制御を行う。第３の表示領域４３を表示部１１に表示する制御を行った場合の表示部１１の画面表示例を図９に示す。
図９（a）に第１の表示領域４１に手操作画面５１が表示され、第２の表示領域４２に音声操作画面５２が表示された状態を示す。この状態において、第２の表示領域４２の音声操作画面５２にユーザーが手操作を行った場合、制御部１３は、図９（ｂ）に示すように、表示部１１において、第２の表示領域４２の表示内容が反映された、ユーザーが手操作可能な項目を表示した手操作画面５３を第３の表示領域４３に表示する制御を行う。
また、制御部１３は、図９（ｂ）に示すように、第３の表示領域４３において手操作画面５３を表示する制御を行う場合には、表示部１１に第３の表示領域４３のみを単一表示する制御を行うことが好ましい。
さらに、制御部１３は、図９（ｂ）に示す第３の表示領域４３において手操作画面５３を表示する制御を行う場合には、第３の表示領域４３の表示内容に対しては、手操作による入力のみを受け付ける制御を行うことが好ましい。図９（ｂ）では、マイクのアイコン５６をグレーアウト表示して、音声入力ができないことを示している。
なお、第３の表示領域４３には、音声操作モードに切り替えるためのマイクのアイコン５６を表示するようにしてもよい。マイクのアイコン５６を表示することにより、手操作画面に変更された後であっても、音声操作モードに速やかに切り替えることができる。
上記の制御を行うことにより、音声入力画面を立ち上げた後に、音声入力画面に表示されている項目に対して、手操作による入力を行うことができる。例えば、画面の立ち上げのみを音声で行い、その後の操作を手操作で行う場合において、速やかに音声操作画面を手操作画面に切り替えることができる。このため、操作受付装置１０における複雑な印刷設定を短時間で行う際に有効となる。
（制御－３）
また、制御部１３は、第１の表示領域４１と第２の表示領域４２とが表示された状態（図８）で、第２の表示領域４２に対する手操作を受け付けた場合には、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域４３を表示部１１に表示する制御を行う。第３の表示領域４３を表示部１１に表示する制御を行った場合の表示部１１の画面表示例を図１０に示す。
図１０（a）に第１の表示領域４１に手操作画面５１が表示され、第２の表示領域４２に音声操作画面５２が表示された状態を示す。この状態において、第２の表示領域４２の音声操作画面５２にユーザーが手操作を行った場合、制御部１３は、図１０（ｂ）に示すように、表示部１１において、第１の表示領域４１の表示内容が反映された、ユーザーが手操作可能な項目を表示した手操作画面５４を第３の表示領域４４に表示する制御を行う。
また、制御部１３は、図１０（ｂ）に示すように、第３の表示領域４４において手操作画面５４を表示する制御を行う場合には、表示部１１に第３の表示領域４４のみを単一表示する制御を行うことが好ましい。
上記の制御を行うことにより、音声入力画面を立ち上げた後においても、音声操作画面を消去して手操作画面のみの表示、即ち初期画面に戻ることができる。このため、操作受付装置１０の操作において、不要な音声操作画面が表示された場合に、速やかに音声操作画面を消去して、初期画面のみを表示することができる。
（制御－４）
また、制御部１３は、第１の表示領域４１と第２の表示領域４２とが表示された状態（図８）で、第１の表示領域４１に対する手操作を受け付けた場合には、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域４３を表示部１１に表示する制御を行う。第３の表示領域４３を表示部１１に表示する制御を行った場合の表示部１１の画面表示例を図１１に示す。
図１１（a）に第１の表示領域４１に手操作画面５１が表示され、第２の表示領域４２に音声操作画面５２が表示された状態を示す。この状態において、第１の表示領域４１の手操作画面５１にユーザーが手操作を行った場合、制御部１３は、図１１（ｂ）に示すように、表示部１１において、第１の表示領域４１の表示内容が反映された、ユーザーが手操作可能な項目を表示する手操作画面５４を第３の表示領域４４に表示する制御を行う。
また、制御部１３は、図１１（ｂ）に示すように、第３の表示領域４４において手操作画面５４を表示する制御を行う場合には、表示部１１に第３の表示領域４４のみを単一表示する制御を行うことが好ましい。
上記の制御を行うことにより、音声入力画面を立ち上げた後においても、音声操作画面を消去して手操作画面のみの表示、即ち初期画面に戻ることができる。このため、操作受付装置１０の操作において、不要な音声操作画面が表示された場合に、速やかに音声操作画面を消去して、初期画面のみを表示することができる。
（制御－５）
また、制御部１３は、第１の表示領域４１と第２の表示領域４２とが表示された状態（図８）で、第２の表示領域４２に対する音声操作又は手操作を受け付けた場合には、受け付けた操作の内容を音声出力する制御や、受け付けた操作の内容を表示部１１に表示する制御を行う。制御部１３は、音声出力する制御と表示部１１に表示する制御との両方、又は、いずれか一方の制御を行ってもよい。音声出力する制御と表示部１１に表示する制御とを行った場合の表示部１１の画面表示例を図１２に示す。
図１２（a）に第１の表示領域４１に手操作画面５１が表示され、第２の表示領域４２に音声操作画面５２が表示された状態を示す。この状態において、第２の表示領域４２の音声操作画面５２にユーザーが手操作、又は、音声操作を行った場合、制御部１３は、図１２（ｂ）に示すように、表示部１１の第２の表示領域４２に対する操作内容を表示する音声操作画面５５を、第３の表示領域４５に表示する制御を行う。さらに、制御部１３は、第３の表示領域４５に音声操作画面５５を表示する制御に合わせて、操作受付装置１０の音声入出力部１６から、表示部１１の第２の表示領域４２に対する操作内容を音声出力する制御を行う。
また、制御部１３は、第２の表示領域４２に対する音声操作又は手操作を受け付け、設定項目に対する設定値が確定した場合にも、図１２（ｂ）に示すように、確定した設定値を第３の表示領域４５に表示する制御を行う。さらに、制御部１３は、確定した設定値を第３の表示領域４５に表示する制御に合わせて、確定した設定値を音声出力する制御を行う。
さらに、設定値が確定した後、制御部１３は、第３の表示領域４５の表示を停止する制御を行い、図１２（ｃ）に示すように、表示部１１の表示内容を、表示領域に単一の手操作画面５１のみが表示された初期画面４０（図７と同じ画面）に戻る制御を行う。
また、制御部１３は、図１２（ｂ）に示す音声出力の制御中に、第１の表示領域４１の手操作画面５１に対する手操作を受け付けた場合には、音声出力を停止する制御を行うことができる。この場合、制御部１３は、音声出力を停止した後、図１２（ｃ）に示すように、表示部１１の表示内容を、表示領域に単一の手操作画面５１のみが表示された初期画面４０に戻る制御を行う。
上記のように、第２の表示領域４２の音声操作画面５２にユーザーが手操作、又は、音声操作を行った場合、第３の表示領域４５において操作内容を表示する、及び、操作内容を音声出力する。これにより、ユーザーが操作内容を確認することができる。
また、音声出力中に手操作が行われた場合に、音声出力を停止して手操作画面を表示することにより、速やかに次の設定操作を行うことができる。さらに、設定値が確定した場合に、表示画面を初期画面に戻す制御を行うことにより、速やかに次の設定操作を行うことができる。
［操作受付の制御方法のフローチャート］
次に、操作受付装置１０の制御部１３が表示部１１の画面表示の制御を行う際の動作例、及び、画像形成装置２０の制御部２６による表示部２１の画面表示の制御を行う際の動作例のフローチャートを図１３に示す。図１３に示すフローチャートの処理は、操作受付装置１０の制御部１３、又は、画像形成装置２０の制御部２６がユーザーによる操作を受け付けたときに実行される。以下の説明では、操作受付装置１０の制御部１３による表示部１１の画面表示の制御を例に説明する。操作受付装置１０のＣＰＵ１３１がＲＯＭ１３２に記憶されているプログラムを実行することにより、図１３に示すフローチャートの処理が実現される。同様にして、画像形成装置２０の制御部２６による表示部２１の画面表示も実現される。
まず、制御部１３は、ユーザーによる操作受付装置１０の操作の開始に合わせて、図７に示すように表示部１１に初期画面４０を表示する（ステップＳ１）。
次に、操作受付装置１０は、音声認識部３１によるユーザーの音声入力の認識結果を外部サーバー３０から取得したかどうかを判定する（ステップＳ２）。操作受付装置１０が、音声入力の認識結果を外部サーバー３０から取得していない場合（ステップＳ２のＮＯ）、制御部１３は、認識結果を取得するまで初期画面４０の表示を継続する。
操作受付装置１０が、音声入力の認識結果を外部サーバー３０から取得した場合（ステップＳ２のＹＥＳ）、制御部１３は、図８に示すように、表示部１１にユーザーからの手操作による指示を受け付け可能な第１の表示領域４１と、ユーザーの音声による指示が可能な項目を表示した第２の表示領域４２とを並列表示する（ステップＳ３）。
次に、操作受付装置１０の制御部１３は、外部サーバー３０からユーザーの音声操作の認識結果を取得したかどうかを判定する（ステップＳ４）。
操作受付装置１０が外部サーバー３０からユーザーの音声操作の認識結果を取得した場合（ステップＳ４のＹＥＳ）、制御部１３はユーザーの音声操作を受け付ける（ステップＳ５）。そして、制御部１３は、図１２（ｂ）に示すように、表示部１１の第２の表示領域４２に対する操作内容を表示する音声操作画面５５を、第３の表示領域４５に表示する制御を行う（ステップＳ６）。
次に、操作受付装置１０の制御部１３は、ユーザーの手操作又は音声操作によって、第３の表示領域４５の表示内容に対して設定値が確定したかどうかを判定する（ステップＳ７）。設定値が確定していない場合（ステップＳ７のＮＯ）、制御部１３は、設定値が確定するまで第３の表示領域４５の表示を継続する。
一方、操作受付装置１０が外部サーバー３０からユーザーの音声操作の認識結果を取得しなかった場合（ステップＳ４のＮＯ）、操作受付装置１０の制御部１３は、第２の表示領域４２に対する手操作が行われたかどうかを判定する（ステップＳ８）。
第２の表示領域４２に対する手操作が行われた場合（ステップＳ８のＹＥＳ）、制御部１３は、表示部１１に第３の表示領域４３を表示する（ステップＳ９）。制御部１３は、第３の表示領域４３として、図９（ｂ）に示す、第２の表示領域４２の表示内容が反映された、ユーザーが手操作可能な項目を表示する手操作画面５３を含む第３の表示領域４３を表示部１１に表示する。また、制御部１３は、図１０（ｂ）に示すように、第１の表示領域４１の表示内容が反映された、ユーザーが手操作可能な項目を表示する手操作画面５４を含む第３の表示領域４４を表示部１１に表示してもよい。
次に、操作受付装置１０の制御部１３は、ユーザーの手操作によって、第３の表示領域４３，４４の表示内容に対して設定値が確定したかどうかを判定する（ステップＳ１０）。設定値が確定していない場合（ステップＳ１０のＮＯ）には、設定値が確定するまで第３の表示領域４３，４４の表示を継続する。
第２の表示領域４２に対する手操作が行われない場合（ステップＳ８のＮＯ）、操作受付装置１０の制御部１３は、第１の表示領域４１に対する手操作が行われたかどうかを判定する（ステップＳ１１）。第１の表示領域４１に対する手操作が行われていない場合（ステップＳ１１のＮＯ）、外部サーバー３０からユーザーの音声操作の認識結果を取得したかどうかを判定する処理（ステップＳ４）を繰り返す。
第１の表示領域４１に対する手操作が行われた場合（ステップＳ１１のＹＥＳ）、制御部１３は、表示部１１に第１の表示領域４１を表示する（ステップＳ１２）。このとき、制御部１３は、図１１（ｂ）に示すように、表示部１１に第１の表示領域４１のみを単一表示することが好ましい。
次に、操作受付装置１０の制御部１３は、ユーザーの手操作によって、第１の表示領域４１の表示内容に対して設定値が確定したかどうかを判定する（ステップＳ１３）。設定値が確定していない場合（ステップＳ１３のＮＯ）、制御部１３は、設定値が確定するまで第１の表示領域４１の表示を継続する。
第３の表示領域４５の表示内容に対して設定値が確定した場合（ステップＳ７のＹＥＳ）、第３の表示領域４３，４４の表示内容に対して設定値が確定した場合（ステップＳ１０のＹＥＳ）、又は、第１の表示領域４１の表示内容に対して設定値が確定した場合（ステップＳ１３のＹＥＳ）、制御部１３は、表示部１１確定した設定値を表示する制御と、確定した設定値を操作受付装置１０の音声入出力部１６から音声出力する制御とを行う（ステップＳ１４）。
さらに、制御部１３は、ステップＳ１４の音声出力中に手操作が行われたかどうかを判定する（ステップＳ１５）。音声出力中に手操作が行われたか場合（ステップＳ１５のＹＥＳ）、制御部１３は、音声出力を停止する制御を行う（ステップＳ１６）。このとき、制御部１３は、図１２（ｃ）に示すように、音声出力の停止に合わせて初期画面４０を表示する制御を行ってもよい。
音声出力中に手操作が行われなかった場合（ステップＳ１５のＹＥＳ）、及び、ステップＳ１６の音声出力を停止する制御を行った後、操作受付装置１０の制御部１３は、確定した設定値を操作指示内容として受け取り、確定した設定値の設定を実行する（ステップＳ１７）。設定値の設定を実行した後、制御部１３は、表示部１１に初期画面４０を表示するステップＳ１に戻り、本フローチャートによる処理を終了する。
なお、本発明は上述の実施形態例において説明した構成に限定されるものではなく、その他本発明の構成を逸脱しない範囲において種々の変形、変更が可能である。
１ 画像形成システム、１０ 操作受付装置、１１，２１ 表示部、１２，２２ 操作受付部、１３，２６ 制御部、１４，２４ ネットワーク接続部、１５ 取得部、１６，２５ 音声入出力部、２ ネットワーク、２０ 画像形成装置、２３ 画像形成部、３０ 外部サーバー、３１ 音声認識部、３２ 補正部、４０ 初期画面、４１ 第１の表示領域、４２ 第２の表示領域、４３，４４，４５ 第３の表示領域、５１，５３，５４ 手操作画面、５２，５５ 音声操作画面、５６ アイコン、１３１ ＣＰＵ、１３２ ＲＯＭ、１３３ ＲＡＭ、１３７ 不揮発性ストレージ、２２１ タッチ操作部、２２２ ハードキー操作部、２２３ 音声操作部

Claims (13)

  1. 表示部と、
    ユーザーの音声に関する認識結果を取得する取得部と、
    前記表示部に重ねて配置された、ユーザーの手操作を受け付ける操作受付部と、
    前記表示部に、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示する制御、及び、前記認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示する制御を行う制御部と、を備え、
    前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態において、ユーザーによる指示に基づいて、前記表示部に単一の表示領域が表示された状態に切り替える
    操作受付装置。
  2. 前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記第２の表示領域に対する手操作を受け付けた場合には、前記第２の表示領域に表示された項目が反映された、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域を前記表示部に表示する
    請求項１に記載の操作受付装置。
  3. 前記制御部は、前記操作受付部に対して、前記第３の表示領域の表示内容への手操作による入力のみを受け付ける制御を行う
    請求項２に記載の操作受付装置。
  4. 前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記第２の表示領域に対する手操作を受け付けた場合には、前記表示部に単一の表示領域を表示する制御を行う
    請求項１に記載の操作受付装置。
  5. 前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記第２の表示領域に対する手操作を受け付けた場合には、前記第２の表示領域に表示された項目が反映された、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域のみを前記表示部に表示する制御を行う
    請求項４に記載の操作受付装置。
  6. 前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記第２の表示領域に対する手操作を受け付けた場合には、前記表示領域に前記第１の表示領域のみを表示する制御を行う
    請求項４に記載の操作受付装置。
  7. 前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記認識結果として、前記第２の表示領域に表示された項目に対する手操作を受け付けた場合には、前記第２の表示領域に表示された項目が反映された、ユーザーからの手操作による指示を受け付け可能な項目を表示した第３の表示領域のみ前記制御部に表示する制御を行う
    請求項１に記載の操作受付装置。
  8. 前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態で、前記認識結果として前記第２の表示領域に表示された項目に対する音声操作を受け付けた場合、又は、前記第２の表示領域に対する手操作を受け付けた場合には、受け付けた操作の内容を音声出力する制御、及び、受け付けた操作の内容を前記表示部に表示する制御のいずれか１つ以上の制御を行う
    請求項１から７のいずれかに記載の操作受付装置。
  9. 前記制御部は、前記音声出力の制御中に、前記操作受付部に対する手操作を受け付けた場合には、前記音声出力を停止する制御を行う
    請求項８に記載の操作受付装置。
  10. ユーザーの音声を電気信号に変換する信号変換部と、
    送受信機能を有し、前記信号変換部で変換された前記電気信号を外部サーバーへ送信する通信部と、を更に備え、
    前記取得部は、前記外部サーバーが前記通信部から受信した前記電気信号を解析した結果を、ユーザーの音声に関する認識結果として前記通信部を介して取得する
    請求項１に記載の操作受付装置。
  11. 操作受付装置と、画像形成装置とを有する画像形成システムであって、
    前記画像形成装置が、記録材に画像を形成する画像形成部を備え、
    前記操作受付装置が、表示部と、ユーザーの音声に関する認識結果を取得する取得部と、前記表示部に重ねて配置された、ユーザーの手操作を受け付ける操作受付部と、前記表示部に、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を表示する制御、及び、前記認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を表示する制御を行う制御部と、を備え、
    前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態において、ユーザーによる指示に基づいて、前記表示部に単一の表示領域が表示された状態に切り替える
    画像形成システム。
  12. 表示部と、取得部と、操作受付部と、制御部とを備える操作受付装置の制御方法であって、
    前記取得部において、ユーザーの音声に関する認識結果を取得し、
    前記操作受付部において、前記表示部に重ねて配置されたユーザーの手操作を受け付け、
    前記制御部において、ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を前記表示部に表示する制御、及び、前記認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を前記表示部に表示しする制御を行い、
    前記制御部は、前記第１の表示領域と前記第２の表示領域とが表示された状態において、ユーザーによる指示に基づいて、前記表示部に単一の表示領域が表示された状態に切り替える制御を行う
    制御方法。
  13. ユーザーの音声に関する認識結果を取得する手順と、
    表示部に重ねて配置された操作受付部によりユーザーの手操作を受け付ける手順と、
    ユーザーからの手操作による指示を受け付け可能な項目を表示した第１の表示領域を前記表示部に表示する制御、及び、前記認識結果に基づいてユーザーの音声による指示が可能な項目を表示した第２の表示領域を前記表示部に表示する制御を行う手順と、
    前記第１の表示領域と前記第２の表示領域とが表示された状態において、ユーザーによる指示に基づいて、前記表示部に単一の表示領域が表示された状態に切り替える手順と、をコンピューターに実行させるための
    プログラム。
JP2019076943A 2019-04-15 2019-04-15 操作受付装置、制御方法、画像形成システム、及び、プログラム Active JP7275795B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019076943A JP7275795B2 (ja) 2019-04-15 2019-04-15 操作受付装置、制御方法、画像形成システム、及び、プログラム
EP20160859.3A EP3726366A1 (en) 2019-04-15 2020-03-04 Operation receiving apparatus, control method, image forming system, and program
US16/823,053 US11350001B2 (en) 2019-04-15 2020-03-18 Operation receiving apparatus, control method, image forming system, and recording medium
CN202010277392.1A CN111835935B (zh) 2019-04-15 2020-04-10 操作受理装置、控制方法、图像形成系统以及记录介质
US17/666,742 US11722609B2 (en) 2019-04-15 2022-02-08 Operation receiving apparatus, control method, image forming system, and recording medium that perform print setting based on voice and manual operations

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019076943A JP7275795B2 (ja) 2019-04-15 2019-04-15 操作受付装置、制御方法、画像形成システム、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2020177261A JP2020177261A (ja) 2020-10-29
JP7275795B2 true JP7275795B2 (ja) 2023-05-18

Family

ID=69770586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019076943A Active JP7275795B2 (ja) 2019-04-15 2019-04-15 操作受付装置、制御方法、画像形成システム、及び、プログラム

Country Status (4)

Country Link
US (2) US11350001B2 (ja)
EP (1) EP3726366A1 (ja)
JP (1) JP7275795B2 (ja)
CN (1) CN111835935B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7430034B2 (ja) * 2019-04-26 2024-02-09 シャープ株式会社 画像形成装置、画像形成方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014134A (ja) 1999-05-21 2001-01-19 Canon Inc ネットワークシステム、ネットワークシステムにおけるサーバ及び装置
JP2002318597A (ja) 2001-02-15 2002-10-31 Alpine Electronics Inc 音声入力案内方法及び装置
JP2005094380A (ja) 2003-09-17 2005-04-07 Ricoh Co Ltd 機器操作装置およびこれを備えた複写機
JP2008203296A (ja) 2007-02-16 2008-09-04 Denso Corp 音声認識装置及びナビゲーション装置
JP2014203024A (ja) 2013-04-09 2014-10-27 コニカミノルタ株式会社 制御装置、画像形成装置、端末装置、制御方法、および制御プログラム
WO2015105879A1 (en) 2014-01-07 2015-07-16 Thomson Licensing Drag and drop user interface for purchasing media content

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302017A (ja) * 1994-03-11 1995-11-14 Ricoh Co Ltd 音声出力手段を備えた画像形成装置
JP3856216B2 (ja) * 2001-04-02 2006-12-13 オムロンエンタテインメント株式会社 画像印刷装置および方法、並びにプログラム
KR100679042B1 (ko) * 2004-10-27 2007-02-06 삼성전자주식회사 음성인식 방법 및 장치, 이를 이용한 네비게이션 시스템
JP2007018090A (ja) 2005-07-05 2007-01-25 Canon Inc 音声操作指示装置、画像形成装置、音声操作方法、及びプログラム
EP1961619B1 (en) * 2005-12-16 2012-03-14 Panasonic Corporation Input device and input method for mobile body
CN102243889B (zh) * 2010-05-13 2014-12-17 北京三星通信技术研究有限公司 基于用户输入来执行应用程序的移动终端及其方法
JP2013019958A (ja) * 2011-07-07 2013-01-31 Denso Corp 音声認識装置
JP5691961B2 (ja) * 2011-09-14 2015-04-01 株式会社デンソー インターフェース装置
KR101330671B1 (ko) * 2012-09-28 2013-11-15 삼성전자주식회사 전자장치, 서버 및 그 제어방법
JP6124047B2 (ja) 2012-12-05 2017-05-10 株式会社デンソー 制御装置
EP2796993B1 (en) * 2013-04-24 2022-06-01 Samsung Electronics Co., Ltd. Display apparatus and control method capable of performing an initial setting
BR112016017262B1 (pt) * 2014-05-15 2022-09-27 Huawei Technologies Co., Ltd. Método para busca de objeto e terminal acoplado de forma comunicativa a um servidor.
US10018977B2 (en) * 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
CN105959761A (zh) * 2016-04-28 2016-09-21 京东方科技集团股份有限公司 一种支持语音控制osd菜单的显示器
JP6737121B2 (ja) * 2016-10-14 2020-08-05 コニカミノルタ株式会社 処理装置 プログラム 代行処理設定方法
JP2018073067A (ja) * 2016-10-27 2018-05-10 京セラ株式会社 電子機器、制御方法およびプログラム
KR102502220B1 (ko) * 2016-12-20 2023-02-22 삼성전자주식회사 전자 장치, 그의 사용자 발화 의도 판단 방법 및 비일시적 컴퓨터 판독가능 기록매체
KR102398649B1 (ko) * 2017-03-28 2022-05-17 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
JP7003720B2 (ja) * 2018-02-19 2022-01-21 コニカミノルタ株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6952637B2 (ja) * 2018-03-28 2021-10-20 シャープ株式会社 画像形成装置
JP7159608B2 (ja) * 2018-05-14 2022-10-25 コニカミノルタ株式会社 操作画面の表示装置、画像処理装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014134A (ja) 1999-05-21 2001-01-19 Canon Inc ネットワークシステム、ネットワークシステムにおけるサーバ及び装置
JP2002318597A (ja) 2001-02-15 2002-10-31 Alpine Electronics Inc 音声入力案内方法及び装置
JP2005094380A (ja) 2003-09-17 2005-04-07 Ricoh Co Ltd 機器操作装置およびこれを備えた複写機
JP2008203296A (ja) 2007-02-16 2008-09-04 Denso Corp 音声認識装置及びナビゲーション装置
JP2014203024A (ja) 2013-04-09 2014-10-27 コニカミノルタ株式会社 制御装置、画像形成装置、端末装置、制御方法、および制御プログラム
WO2015105879A1 (en) 2014-01-07 2015-07-16 Thomson Licensing Drag and drop user interface for purchasing media content

Also Published As

Publication number Publication date
US20220159133A1 (en) 2022-05-19
EP3726366A1 (en) 2020-10-21
US11350001B2 (en) 2022-05-31
JP2020177261A (ja) 2020-10-29
CN111835935B (zh) 2022-11-15
US20200329160A1 (en) 2020-10-15
CN111835935A (zh) 2020-10-27
US11722609B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
JP4125089B2 (ja) データ入力装置、データ入力方法
JP4811507B2 (ja) 画像処理システム、画像処理装置及び情報処理装置
US7272793B2 (en) Information processing device and method
US11140284B2 (en) Image forming system equipped with interactive agent function, method of controlling same, and storage medium
JP2006330576A (ja) 機器操作システム、音声認識装置、電子機器、情報処理装置、プログラム、及び記録媒体
EP3696610B1 (en) Image forming apparatus, display control method, and carrier means
JP2006326841A (ja) 部単位印刷中止装置
US10310775B2 (en) Job processing apparatus, method of controlling job processing apparatus, and recording medium for audio guidance
JP7275795B2 (ja) 操作受付装置、制御方法、画像形成システム、及び、プログラム
JP2016081140A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2008276625A (ja) 印刷制御システム及び印刷制御システムの制御方法及び情報処理装置の制御プログラム
US20060242331A1 (en) Information processing apparatus
JP2017047642A (ja) 先行ｒｉｐ時におけるｒｉｐ後データ保存方法
JP5269181B2 (ja) 情報入力装置およびその制御方法
JP4459123B2 (ja) 情報処理装置及びユーザインターフェース制御方法
JP2008065789A (ja) 入力操作支援装置およびその制御方法
JP7458716B2 (ja) 音声対話装置及びその制御方法、並びにプログラム
JP4636101B2 (ja) プログラム及び情報処理装置
US20200053236A1 (en) Image forming apparatus allowing voice operation, control method therefor, storage medium storing control program therefor, and image forming system
JP7124729B2 (ja) 画像形成システム、及び、画像形成装置
JP2004302300A (ja) 情報処理方法
JP7409147B2 (ja) 情報処理装置及び情報処理プログラム
JP7447458B2 (ja) 制御装置、制御システム及び制御プログラム
JP7388006B2 (ja) 画像処理装置及びプログラム
JP2010214784A (ja) 画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R150 Certificate of patent or registration of utility model

Ref document number: 7275795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150