JP4826662B2 - 画像処理装置および音声操作履歴情報共有方法 - Google Patents

画像処理装置および音声操作履歴情報共有方法 Download PDF

Info

Publication number
JP4826662B2
JP4826662B2 JP2009183279A JP2009183279A JP4826662B2 JP 4826662 B2 JP4826662 B2 JP 4826662B2 JP 2009183279 A JP2009183279 A JP 2009183279A JP 2009183279 A JP2009183279 A JP 2009183279A JP 4826662 B2 JP4826662 B2 JP 4826662B2
Authority
JP
Japan
Prior art keywords
voice
image processing
item
history information
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009183279A
Other languages
English (en)
Other versions
JP2011039571A (ja
Inventor
英剛 岩井
和雄 乾
信広 三縞
開拓 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP2009183279A priority Critical patent/JP4826662B2/ja
Priority to US12/842,159 priority patent/US20110035671A1/en
Publication of JP2011039571A publication Critical patent/JP2011039571A/ja
Application granted granted Critical
Publication of JP4826662B2 publication Critical patent/JP4826662B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00403Voice input means, e.g. voice commands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00411Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • H04N1/00419Arrangements for navigating between pages or parts of the menu
    • H04N1/00424Arrangements for navigating between pages or parts of the menu using a list of graphical elements, e.g. icons or icon bar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • H04N1/00419Arrangements for navigating between pages or parts of the menu
    • H04N1/00432Arrangements for navigating between pages or parts of the menu using tabs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00474Output means outputting a plurality of functional options, e.g. scan, copy or print
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00482Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32112Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate computer file, document page or paper sheet, e.g. a fax cover sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0037Topological details of the connection
    • H04N2201/0039Connection via a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3202Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of communication or activity log or report
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3214Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3223Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of type information, e.g. reception or copy job

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、画像処理装置および音声操作履歴情報共有方法に関し、特に複数の画像処理装置間で音声操作に関する情報を共有するための技術に関する。
複合機やMFP(Multi Function Peripheral)などと称される画像処理装置には、一般に、操作パネルが設けられており、ユーザが操作パネルを手動操作することにより各種設定を行うと、その設定操作を操作履歴情報として保存するものがある。
従来、この種の画像処理装置において、ユーザがログインした場合、ログ管理サーバからネットワークを介して該ユーザに対応する操作履歴情報を取得し、操作パネルの表示部にその操作履歴情報を表示する技術が提案されている(例えば特許文献1)。この技術では、操作パネルに表示された操作履歴情報をユーザが選択する操作を行った場合、その操作履歴情報に示された操作による過去の画像処理モードの設定が現在の画像処理モードの設定に反映される。したがって、この技術では、例えばネットワークに複数の画像処理装置が接続されている場合、いずれかの画像処理装置で手動操作された操作履歴を他の画像処理装置で共有して利用することができる。
また従来、音声操作機能を備えた画像処理装置も種々提案されている。例えば、音声ワード(キーワード)と操作パネルの各機能を関連付けておき、その関連付けられた音声ワードが音声認識によって認識された場合、その音声ワードに関連付けされている操作パネルの各機能を表示させるようにした技術が公知である(例えば特許文献2)。一般に、操作パネルに表示されるメニュー画面のメニュー項目は階層構造となっており、手動操作によって各機能の設定操作を行う場合は、手動操作を繰り返すことによって徐々に深い階層のメニュー項目に移行させることが必要であるが、音声操作を行う場合は最下層のメニュー項目と音声ワードとを関連付けておくことにより、最上層のメニュー画面が表示されている状態で直接最下層のメニュー項目を設定することが可能になる。
特開2008−103903号公報 特開2007−102012号公報
ところで、音声入力によって操作パネルを操作可能な画像処理装置の場合、例えばユーザの所望する音声ワードを操作パネルのメニュー項目に関連付けて登録しておくこともできる。この場合、ユーザは、予め登録しておいた音声ワードを音声入力すれば、手動操作を行わずに所望の設定操作を行うことができる。
しかしながら、例えば、ネットワークに複数の画像処理装置が接続されている環境下において、ユーザが通常使用する特定の画像処理装置のみに所望の音声ワードを登録していた場合、該ユーザが他の画像処理装置を使用する際には、普段用いている音声ワードでは音声操作を行うことができないという問題がある。
この問題は、当該他の画像処理装置が音声操作機能を備えている場合に限らず、音声操作機能を備えていない場合にも生じる。例えば、音声操作機能を備えていない画像処理装置を使用する場合、ユーザは普段音声操作によって直接設定している最下層のメニュー項目を操作パネルに対する手動操作によって探し出さなければならない。この場合、通常は音声操作により直接操作を行っている最下層のメニュー項目が最上層のメニュー画面に表示されている複数のメニュー項目のうち、どのメニュー項目の下層に含まれているのかが判らないことが多く、操作効率が著しく悪化する。
そこで本発明は、上記問題を解決するためになされたものであり、音声操作機能を有する画像処理装置において利用される音声操作に関する情報を、他の画像処理装置で共有できるようにし、他の画像処理装置を使用する際の操作性を改善することを目的としている。
上記目的を達成するため、請求項1にかかる発明は、ネットワークに接続可能な画像処理装置であって、メニュー画面を表示し、該メニュー画面に対する手動操作を受け付ける操作パネルと、音声を入力する音声入力手段と、前記音声入力手段より入力された音声ワードに基づいて、前記メニュー画面に表示されるメニュー項目のうちから操作対象となる操作項目を特定する操作項目特定手段と、前記特定された操作項目に対応する処理を実行させる音声操作制御手段と、前記特定された操作項目に対応する処理が実行された場合、前記音声入力手段より入力された音声ワードと、前記操作項目特定手段が特定した操作項目とを関連付けた音声操作履歴情報を生成する履歴情報生成手段と、前記履歴情報性生成手段によって生成される前記音声操作履歴情報を、前記ネットワークを介して他の画像処理装置に送信する送信手段とを備え、前記メニュー項目は段階的に手動操作が行われる階層構造となっており、前記操作パネルは、音声操作が行われたメニュー項目の上位階層のメニュー項目が表示されるメニュー画面に、前記音声操作履歴情報に含まれる音声ワードを表示することを特徴としている。
かかる発明によれば、入力された音声ワードに基づく操作項目が特定され、その操作項目に対応する処理が実行された場合に、入力された音声ワードと、特定された操作項目とを関連付けた音声操作履歴情報が生成され、その音声操作履歴情報が他の画像処理装置に送信される。そのため、音声操作機能を有する当該画像処理装置において生成される音声操作の履歴が記録された音声操作履歴情報を、他の画像処理装置でも共有することができるようになる。その結果、例えば、他の画像処理装置においても音声操作履歴情報を利用することができるので、当該他の画像処理装置を使用する際の操作性を改善することができるようになる。さらに、階層構造となっているメニュー項目のうち、上位階層のメニュー項目が表示されるメニュー画面に、音声操作履歴情報に含まれる音声ワードが表示されるため、メニュー画面に対する操作が行い易くなる。
また請求項2にかかる発明は、請求項1記載の画像処理装置において、前記操作項目特定手段は、前記音声入力手段より入力された音声ワードが、前記操作項目であるメニュー項目の呼称に一致していない場合でも、前記操作項目を特定し、前記履歴情報生成手段は、前記音声入力手段より入力された音声ワードと、前記操作項目特定手段が特定した操作項目であるメニュー項目とを関連付けた音声操作履歴情報を生成することを特徴としている。
かかる発明によれば、メニュー画面におけるメニュー項目の呼称に一致していない音声ワードでも、音声操作による操作項目が特定されて音声操作履歴情報が生成される。そのため、メニュー画面におけるメニュー項目の呼称に完全に一致していない音声ワードと、操作項目とが対応付けられた音声操作履歴情報を、他の画像処理装置でも共有することができるようになる。
また請求項にかかる発明は、請求項1又は2に記載の画像処理装置において、前記ネットワークを介して他の画像処理装置が生成した音声操作履歴情報を取得する取得手段をさらに備え、前記取得手段が取得する音声操作履歴情報を、前記履歴情報生成手段が生成する前記音声操作履歴情報に組み込むことを特徴としている。
かかる発明によれば、他の画像処理装置が生成した音声操作履歴情報を取得し、当該画像処理装置において生成した音声操作履歴情報に組み込むので、他の画像処理装置において生成された音声操作履歴情報を当該画像処理装置においても共有することができる。
また請求項にかかる発明は、ネットワークに接続可能な画像処理装置であって、メニュー画面を表示し、該メニュー画面に対する手動操作を受け付ける操作パネルと、前記ネットワークを介して、音声ワードに基づいて操作対象となる操作項目を特定し当該特定された操作項目に対する音声操作を行う音声操作機能を備えた他の画像処理装置から、音声操作の履歴である音声操作履歴情報を取得する取得手段と、前記取得手段により取得される前記音声操作履歴情報に基づいて、前記メニュー画面に表示されるメニュー項目と、前記音声ワードとを対応付ける音声操作履歴反映手段と、前記音声操作履歴反映手段により対応付けられた音声ワードを前記操作パネルに表示する表示制御手段と、を備え、前記メニュー画面に表示されるメニュー項目は段階的に手動操作が行われる階層構造となっており、前記表示制御手段は、前記操作パネルにおいて、前記メニュー画面に表示するメニュー項目の最上位階層に、前記音声ワードを表示することを特徴としている。
かかる発明によれば、音声操作機能を備えた他の画像処理装置から音声操作による履歴を記録した音声操作履歴情報を取得し、その音声操作履歴情報に基づいて、メニュー画面に表示されるメニュー項目と音声ワードとを対応付け、メニュー項目に対応付けられた音声ワードを操作パネルに表示する。そのため、操作パネルに表示される音声ワードに基づいてメニュー画面におけるメニュー項目を選択することができるようになる。さらに、階層構造となっているメニュー項目のうち、最上位階層のメニュー項目に対して音声ワードが表示されるため、メニュー画面に対する操作が行い易くなる。
また請求項にかかる発明は、請求項に記載の画像処理装置において、前記音声操作履歴反映手段は、前記音声ワードと対応付けられるメニュー項目が当該画像処理装置において有効な項目である場合にのみ、前記音声ワードの対応付けを行うことを特徴としている。
かかる発明によれば、音声ワードと対応付けられるメニュー項目が当該画像処理装置において有効な項目である場合にのみ、当該音声ワードとメニュー項目との対応付けを行うので、当該画像処理装置において無効なメニュー項目の場合には音声ワードとメニュー項目との対応付けは行わない。
また請求項にかかる発明は、音声操作機能を有する第1の画像処理装置と、前記第1の画像処理装置とは異なる第2の画像処理装置とがネットワークを介して前記第1の画像処理装置における音声操作履歴情報を共有する音声操作履歴情報共有方法であって、前記第1の画像処理装置において、音声ワードを入力するステップと、その入力された音声ワードに基づいて、操作パネルにおけるメニュー画面に表示されるメニュー項目のうちから操作対象となる操作項目を特定するステップと、前記特定された操作項目に対応する処理を実行させるステップと、前記特定された操作項目に対応する処理が実行された場合に、前記音声ワードと、前記操作項目とを関連付けた音声操作履歴情報を生成するステップと、前記音声操作履歴情報を、前記ネットワークを介して前記第2の画像処理装置に送信するステップとを行い、前記第2の画像処理装置において、前記ネットワークを介して前記第1の画像処理装置から送信される前記音声操作履歴情報を取得するステップと、前記取得された音声操作履歴情報に基づいて、当該音声操作履歴情報に含まれる前記音声ワードを操作パネルのメニュー画面におけるメニュー項目と対応付けるステップと、前記メニュー項目に対応付けられた前記音声ワードを前記操作パネルに表示するステップとを行う構成であり、前記メニュー画面に表示されるメニュー項目は段階的に手動操作が行われる階層構造となっており、前記第2の画像処理装置において前記音声ワードを前記操作パネルに表示する際には、前記メニュー画面に表示するメニュー項目の最上位階層に、前記音声ワードを表示することを特徴としている。
また、以下に説明する実施形態には、次のような特徴的構成が含まれる。
第1の構成は、「ネットワークに接続可能な画像処理装置であって、メニュー画面を表示し、該メニュー画面に対する手動操作を受け付ける操作パネルと、音声を入力する音声入力手段と、前記音声入力手段により入力される音声ワードと、前記メニュー画面に表示されるメニュー項目のうちから操作対象となる操作項目とを対応付けた操作項目判別テーブルを記憶する記憶手段と、前記操作項目判別テーブルに基づいて、前記音声入力手段により入力された音声ワードから前記操作項目を特定する操作項目特定手段と、前記操作項目特定手段によって特定された前記操作項目に対応する処理を実行させる音声操作制御手段と、前記操作項目判別テーブルに対して、ユーザの所望する音声ワードを操作項目であるメニュー項目と対応付けて追加登録することにより、前記操作項目判別テーブルを更新するテーブルカスタマイズ手段と、前記テーブルカスタマイズ手段によって更新された前記操作項目判別テーブルを、前記ネットワークを介して他の画像処理装置に送信する送信手段と、を備えることを特徴とする画像処理装置」である。
かかる第1の構成によれば、音声入力手段に入力する音声ワードと、メニュー画面に表示されるメニュー項目のうちから操作対象となる操作項目とを対応付けた操作項目判別テーブルに対し、ユーザの所望する音声ワードと操作項目であるメニュー項目とが対応付けられて追加登録されることにより更新が行われた場合、その更新された操作項目判別テーブルが他の画像処理装置に送信される。そのため、音声操作機能を有する当該画像処理装置において操作項目を特定するために利用される操作項目判別テーブルが更新されると、その更新された操作項目判別テーブルを、他の画像処理装置でも共有することができるようになる。その結果、例えば、他の画像処理装置においても、ユーザの所望する音声ワードに基づいて、それに対応する操作項目を特定することができるようになる。
第2の構成は、「第1の構成の画像処理装置において、前記テーブルカスタマイズ手段は、前記操作パネルに対する手動操作が行われて前記メニュー画面における一のメニュー項目が選択された場合に、前記音声入力手段より入力された音声ワードが、前記一のメニュー項目の呼称に一致しないとき、当該一のメニュー項目を前記操作項目として、前記入力された音声ワードと対応付けて前記操作項目判別テーブルに追加登録することを特徴とする画像処理装置」である。
かかる第2の構成によれば、ニュー画面における一のメニュー項目の呼称に一致しない音声ワードを、当該一のメニュー項目に対する操作項目として操作項目判別テーブルに登録しておくことができる。それ故、音声入力手段より入力された音声ワードが、メニュー項目の呼称に一致しない場合でも、操作項目判別テーブルを参照すれば、それに対応する操作項目を特定することができるようになる。
第3の構成は、「第1又は第2の構成の画像処理装置において、前記テーブルカスタマイズ手段は、前記操作項目判別テーブルに対してユーザの所望する音声ワードを操作項目であるメニュー項目と対応付けて追加登録する際、ユーザ固有のユーザテーブルと、複数のユーザが共有する共有テーブルとの双方に追加登録を行うことを特徴とする画像処理装置」である。
かかる第3の構成によれば、ユーザ固有のユーザテーブルと、複数のユーザが共有する共有テーブルとの双方に、ユーザの所望する音声ワードと操作項目であるメニュー項目とが対応付けられて追加登録されるため、複数のユーザのうちの一人が追加登録を行えば、その情報を複数のユーザで共有することができる。
第4の構成は、「第1乃至第3の構成のいずれかの画像処理装置において、前記操作項目判別テーブルには、ジョブの実行状況に応じて、前記音声入力手段から入力される音声ワードに対して優先的に判別を行うか否かの設定が付与されており、前記操作項目特定手段は、ジョブの実行状況に応じて、優先的に判別を行う設定がなされた音声ワードを優先的に判別することにより、操作項目を特定することを特徴とする画像処理装置」である。
かかる第4の構成によれば、ジョブの実行状況に応じて、優先設定が付与された音声ワードを優先的に判別することにより、操作項目を特定する際の処理効率を向上させることができる。
第5の構成は、「第1乃至第4の構成のいずれかの画像処理装置において、前記ネットワークを介して他の画像処理装置が保持する操作項目判別テーブルを取得する取得手段をさらに備え、前記取得手段が取得する操作項目判別テーブルを、前記テーブルカスタマイズ手段が更新する前記操作項目別テーブルに組み込むことを特徴とする画像処理装置」である。
かかる第5の構成によれば、他の画像処理装置が保持する操作項目判別テーブルを取得し、当該画像処理装置において更新した操作項目判別テーブルに組み込むので、他の画像処理装置において保持されている操作項目判別テーブルを当該画像処理装置においても共有することができる。
さらに第6の構成は、「ネットワークを介して接続可能な、音声ワードに基づいて操作対象となる操作項目を特定し当該特定された操作項目に対する音声操作を行う音声操作機能を有する第1および第2の画像処理装置が、前記音声ワードから前記操作項目を特定するために用いる操作項目判別テーブルを共有する操作項目判別テーブル共有方法であって、前記第1の画像処理装置において、前記操作項目判別テーブルに対し、ユーザの所望する音声ワードを操作項目であるメニュー項目と対応付けて追加登録することによって前記操作項目判別テーブルのカスタマイズを行うステップと、前記操作項目判別テーブルのカスタマイズが行われた場合に、そのカスタマイズされた前記操作項目判別テーブルを、前記第1の画像処理装置から前記第2の画像処理装置に送信するステップと、前記第1の画像処理装置から受信された前記操作項目判別テーブルを、前記第2の画像処理装置において入力される音声ワードに基づく操作項目を特定する際に利用するステップと、を有することを特徴とする操作項目判別テーブル共有方法」である。
本発明によれば、音声操作機能を有する画像処理装置において更新される音声操作履歴情報を他の画像処理装置においても利用することができるようになる。つまり、複数の画像処理装置において音声操作履歴情報を共有することができるようになるので、画像処理装置を使用する際の操作性が向上する。またメニュー画面に対する操作が行い易くなるという点でも操作性が向上する。
第1の実施の形態における画像処理システムの一構成例を示す図である。 音声操作機能を備えた画像処理装置のハードウェア構成の一例を示すブロック図である。 音声操作機能を備えた画像処理装置の記憶装置に格納される各種情報を例示する図である。 操作履歴情報データベースにおけるデータ構造の一例を示す図である。 音声操作機能を備えた画像処理装置における制御部の機能に関する構成の一例を示したブロック図である。 音声入力処理部の詳細な一構成例を示すブロック図である。 操作項目判別テーブルの一構成例を示す図である。 操作項目判別テーブルに含まれる各テーブルの一例を示す図である。 操作履歴情報に含まれる手動操作履歴情報および音声操作履歴情報の一例を示す図である。 共有情報送信処理部による音声操作履歴情報の送信処理の一例を示す図である。 他の画像処理装置における制御部の機能に関する構成の一例を示したブロック図である。 音声操作機能を備えた画像処理装置において音声操作履歴情報を更新する処理手順の一例を示すフローチャートである。 音声操作機能を備えた画像処理装置から他の画像処理装置に対して音声操作履歴情報を送信する処理手順の一例を示すフローチャートである。 他の画像処理装置における音声操作履歴情報の機能判別処理の詳細な処理手順の一例を示すフローチャートである。 画像処理装置において受信した音声操作履歴情報を利用した操作を行うための処理手順の一例を示すフローチャートである。 操作パネルの表示部に表示される表示画面の一例を示す図である。 画像処理装置において受信した音声操作履歴情報を利用した操作を行うための別の処理手順の一例を示すフローチャートである。 操作パネルの表示部に表示される別の表示画面の一例を示す図である。 第2の実施の形態における画像処理システムの一構成例を示す図である。 第2の実施の形態の各画像処理装置における制御部の機能に関する構成の一例を示したブロック図である。 共有情報送信処理部による操作項目判別テーブルの送信処理の一例を示す図である。 画像処理装置において操作項目判別テーブルを更新する処理手順の一例を示すフローチャートである。 カスタマイズ処理の詳細な処理手順の一例を示すフローチャートである。 画像処理装置から他の画像処理装置に対して操作項目判別テーブルを送信する処理手順の一例を示すフローチャートである。 画像処理装置において入力する音声ワードに対応した音声操作を特定するための処理手順の一例を示すフローチャートである。 他の画像処理装置に対して共有情報の送信要求を行うことにより、音声操作履歴情報や操作項目判別テーブルなどの共有情報を取得する処理手順の一例を示すフローチャートである。
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。
(第1の実施の形態)
図1は、本実施形態における画像処理システム1の一構成例を示す図である。この画像処理システム1は、LANなどのローカルネットワークやインターネット網などを含むネットワーク9に対して複数の画像処理装置2,3,4が接続された構成である。各画像処理装置2,3,4は、例えば複合機やMFP(Multi Function Peripheral)などと称される装置であり、コピー機能、プリンタ機能、スキャナ機能、FAX機能などの複数の機能を備えている。本実施形態では、複数の画像処理装置2,3,4のうち、画像処理装置2は音声操作機能を備えており、他の画像処理装置3,4は音声操作機能を備えていない場合を例示する。尚、図例では、ネットワーク9に3台の画像処理装置2,3,4が設けられる場合を示しているが、画像処理装置の台数はこれに限られるものではなく、2台以上であれば良い。またネットワーク9に対して画像処理装置以外の装置(例えば、パーソナルコンピュータやサーバ装置など)が接続されていても良い。
図2は、音声操作機能を備えた画像処理装置2のハードウェア構成の一例を示すブロック図である。図2に示すように画像処理装置2は、制御部10と、操作パネル13と、音声入力部16と、スキャナ部17と、画像メモリ18と、プリンタ部19と、ネットワークインタフェース20と、記憶装置21とを備える。
制御部10は、CPU11とメモリ12とを備え、CPU11が所定のプログラムを実行することにより、画像処理装置2の各部を制御するように構成される。メモリ12は、CPU11がプログラムを実行する際の一時的なデータなどを記憶するためのものである。
操作パネル13は、画像処理装置2を使用するユーザが操作するためのものであり、ユーザに対して各種情報を表示する表示部14と、表示部14に設けられたタッチパネルキーや表示部14の周囲に配置された押しボタンキーなどから成る操作キー15とを備えている。操作パネル13は、操作キー15に対するユーザの手動操作を受け付け、操作キー15に対するキー操作が行われると、その情報を制御部10に出力する。また表示部14に表示する表示画面は、制御部10によって制御されるようになっている。
音声入力部16はマイクなどで構成される音声入力手段である。画像処理装置2において例えば音声操作モードがオンになっていると、この音声入力部16が機能し、入力する音声に対応した音声信号を生成し、制御部10に出力する。そして制御部10は、後述するように、音声入力部16から入力される音声信号に基づいて音声入力処理を実行し、その処理結果に応じて各種処理を実行するように構成される。
スキャナ部17は、原稿を読み取って画像データ(文書データ)を生成する処理部である。スキャナ部17は、例えばコピー機能、スキャナ機能、或いはFAX送信機能に関するジョブが実行される場合に機能し、ユーザによってセットされた原稿を連続的に読み取って画像データを生成する。スキャナ部17は原稿から読み取った画像データに対して所定の画像処理を施す。このようなスキャナ部17の動作は、制御部10によって制御される。
画像メモリ18は、ジョブの実行対象である画像データを一時的に記憶するメモリであり、例えばスキャナ部17が原稿を読み取って生成した画像データを記憶する。また画像メモリ18は、ネットワークインタフェース20を介して入力したプリント対象の画像データなども記憶する。
プリンタ部19は、画像データに基づいて印刷用紙などの出力媒体に画像形成を行う処理部である。プリンタ部19は、例えばコピー機能、プリンタ機能、或いはFAX受信機能に関するジョブが実行される場合に機能し、画像メモリ18に格納された画像データを読み出して画像形成を行う。このようなプリンタ部19の動作は、制御部10によって制御される。
ネットワークインタフェース20は、画像処理装置2をネットワーク9に接続するためのインタフェースである。例えば画像処理装置2が他の画像処理装置3,4とデータの送受信を行う際には、このネットワークインタフェース20を介してデータの送受信を行う。またネットワークインタフェース20は、ネットワーク9に接続されているコンピュータなどともデータの送受信を行う。
記憶装置21は、ハードディスク装置などの不揮発性の記憶手段である。記憶装置21は、スキャナ部17が生成した画像データ(文書データ)や、ネットワークインタフェース20を介して入力する画像データ(文書データ)などを記憶することにより、それらのデータを長期間保存しておくことができる。例えば、記憶装置21には、ユーザ個人が使用するように設定された個人フォルダ(記憶領域)と、複数のユーザが共有して使用するように設定された共有フォルダとが予め設けられている。そのため、保存対象である文書データは、その利用目的などに応じて個人フォルダおよび共有フォルダのいずれか一方、又は双方に記憶される。
また記憶装置21には、スキャン送信機能やFAX送信機能などが使用される際に選択可能な複数の送信宛先が予め記憶されている。そのため、画像処理装置2は、スキャン送信機能やFAX送信機能などが選択された場合、記憶装置21に記憶されている複数の送信宛先を読み出し、操作パネル13の表示部14に一覧表示として表示する。したがって、ユーザは、その一覧表示の中から所望する宛先を選択する操作を行うことにより、文書データの送信宛先を指定することができる。
さらに本実施形態では、文書データや送信宛先の他に、記憶装置21は、図3に示すような各種の情報を記憶している。制御部10が各種動作を行う際には図3に示す各種の情報を読み出して参照すると共に、必要に応じてそれらの情報を更新する。尚、図3に示す各種情報の詳細については後述する。
制御部10は、操作パネル13の操作キー15が手動操作された情報を入力すると、その情報に基づいて表示部14の表示画面を更新する。例えば表示部14に表示されるメニュー画面には複数のメニュー項目が表示されており、各メニュー項目は階層構造となっている。つまり、最上層のメニュー画面には、階層構造となっているメニュー項目の最上層のメニュー項目が表示されており、各最上層のメニュー項目の下位層にはツリー状に複数のメニュー項目が含まれている。ユーザが最上層のメニュー項目を選択操作した場合、制御部10は、その最上層のメニュー項目の一階層下位に含まれる複数のメニュー項目を選択するためのメニュー画面に遷移させる。これが順次繰り返され、最終的にユーザが最下層のメニュー項目、つまり、設定内容が対応付けられたメニュー項目(以下、このようなメニュー項目のことを「設定項目」と呼ぶことがある。)を選択操作した場合、制御部10は、その最下層のメニュー項目に対応する設定項目を、例えば非設定状態から設定状態に切り替える。このように制御部10は、ユーザが操作パネル13に対して手動操作を行った場合、その手動操作に対応する処理を実行して画像処理装置2に反映させるように構成される。そしてユーザが手動操作によりジョブの実行を指示した場合には、制御部10は、上述したスキャナ部17、画像メモリ18、プリンタ部19、ネットワークインタフェース20および記憶装置21の各部を必要に応じて制御することにより、ユーザによって指定されたジョブを実行する。尚、設定項目以外のメニュー項目、つまり、下位の階層に別のメニュー項目を持ち、そのメニュー項目が選択されることでさらに下位のメニュー項目を選択するためのメニュー画面に遷移させるメニュー項目のことを「選択項目」と呼ぶことがある。
また制御部10は、音声入力部16から音声信号が入力されると、その音声信号に対応するメニュー項目を特定し、表示部14の表示画面を更新する。音声操作は、操作パネル13に対する手動操作に代えて、ユーザが音声を発することにより行われる操作である。この音声操作では、例えば表示部14に最上層のメニュー画面が表示され、目的のメニュー項目がそのメニュー画面に表示されていない場合でも、そのメニュー項目に対応する音声を発すれば、手動操作のように階層構造のメニュー項目を順次選択していくことなく、直接目的のメニュー項目を選択操作することができる。そして音声操作により選択されたメニュー項目が設定項目である場合、制御部10は、手動操作の場合と同様に、そのメニュー項目(設定項目)に対応する設定内容を、例えば非設定状態から設定状態に切り替える。また、音声操作により選択されたメニュー項目が選択項目である場合、そのメニュー項目(選択項目)の下位のメニュー項目を選択するためのメニュー画面に遷移させる。このように制御部10は、ユーザが音声入力による音声操作を行った場合、その音声操作に対応する処理を実行して画像処理装置2に反映させるように構成されている。そしてユーザが音声によりジョブの実行を指示した場合についても、手動操作の場合と同様であり、制御部10は、上述したスキャナ部17、画像メモリ18、プリンタ部19、ネットワークインタフェース20および記憶装置21の各部を必要に応じて制御することにより、ユーザによって指定されたジョブを実行する。尚、上記では、表示部14に表示されるメニュー項目に対する音声操作について記載したが、操作パネル13に設けられた押しボタンキーと音声ワードとを対応付けておくことで、押しボタンキーに対する音声操作も可能となっている。
図2では画像処理装置2のハードウェア構成を例示したが、他の画像処理装置3,4のハードウェア構成は、図2に示した構成のうち、音声入力部16を除いた構成と同様である。したがって、画像処理装置3,4では、ユーザからの入力操作として、操作パネル13に対する手動操作のみが受け付けられる。
図3は、画像処理装置2の記憶装置21に格納される各種情報を例示する図である。記憶装置21には、ユーザ情報22と、機能搭載情報23と、表示画面情報24と、音声認識辞書25と、操作項目判別テーブル26と、操作履歴情報データベース(以下、「操作履歴情報DB」という。)27とが記憶される。操作履歴情報DB27には、さらに個人履歴情報データベース(以下、「個人履歴情報DB」という。)28と、共有履歴情報データベース(以下、「共有履歴情報DB」という。)29とが含まれる。
ユーザ情報22は、画像処理装置2に予め登録されたユーザに関する情報であり、画像処理装置2を使用可能なユーザに関する情報が登録されている。このユーザ情報22は、画像処理装置2を使用するユーザを識別するために使用される。本実施形態では、このユーザ情報22は、画像処理装置2においてユーザ認証を行う際に参照される。例えば、ユーザが画像処理装置2を使用する際に入力するユーザIDやパスワードなどが、ユーザ情報22に登録されたユーザIDやパスワードと一致すると、ユーザ情報22に登録されたユーザを特定することができるため、認証成功となり、そのユーザは画像処理装置2を使用することができるようになる。尚、ユーザ情報22には、ユーザIDやパスワードなどの情報の他、ユーザが所属するグループに関する情報や、ユーザが登録されているワークフローに関する情報などが含まれる。
機能搭載情報23は、画像処理装置2に搭載された機能を示す情報である。機能搭載情報23には、画像処理装置2に標準搭載されている機能に関する情報の他、画像処理装置2にオプション搭載可能な機能のうち、実際に画像処理装置2において使用可能となっている機能に関する情報が登録されている。
表示画面情報24は、表示部14に表示するための各種の画面情報を記録した情報であり、例えば階層構造となっている各メニュー画面に関する情報が登録されている。制御部10が表示部14の表示画面を更新する際には、この表示画面情報に基づいて表示画面の更新を行う。
音声認識辞書25は、制御部10が、音声入力部16により音声信号が入力された際に参照する辞書情報である。制御部10はこの音声認識辞書に基づいて入力する音声信号に基づいて、ユーザの発した音声ワードを特定する。
操作項目判別テーブル26は、特定された音声ワードに対応するメニュー項目又は押しボタンキー、つまり音声操作による操作対象(以下、「操作項目」という。)を特定するためのテーブルであり、音声ワードと操作項目とが対応づけられた情報である。制御部10は、音声ワードを特定すると、この操作項目判別テーブルに基づいて、ユーザが音声入力した音声ワードに対応する操作項目を特定する。この操作項目判別テーブルには、ユーザが所望する音声ワードと操作項目との対応関係を登録することができるようになっている。
操作履歴情報DB27は、ユーザによる操作履歴を記録した情報である。例えばユーザが画像処理装置2に対する手動操作又は音声操作を行うと、それに伴い、個人履歴情報DB28と共有履歴情報DB29の双方が更新される。
図4は、操作履歴情報DB27におけるデータ構造の一例を示す図である。個人履歴情報DB28には、ユーザ毎に個別に設けられた個人履歴情報28a,28b,28c,…が記憶されている。そしてユーザ毎の個人履歴情報28a,28b,28c,…のそれぞれには、手動操作履歴情報81と、音声操作履歴情報82とが含まれる。手動操作履歴情報81は、各ユーザが操作パネル13に対して手動操作を行った場合の手動操作履歴を記録した情報である。また、音声操作履歴情報82は、各ユーザが音声入力部16を介して音声操作を行った場合の音声操作履歴を記録した情報である。このように個人履歴情報DB28には、ユーザ個人と、そのユーザが過去に手動操作を行った履歴である手動操作履歴情報81と、そのユーザが過去に音声操作を行った履歴である音声操作履歴情報82とがそれぞれ対応付けられた状態で記憶されている。
また共有履歴情報DB29には、複数のユーザが共有する履歴情報が記憶される。この共有履歴情報DB29は、図4に示すように、ワークフロー共有履歴情報データベース(以下、「ワークフロー共有履歴情報DB」という。)291と、グループ共有履歴情報データベース(以下、「グループ共有履歴情報DB」という。)292とを有している。
ワークフロー共有履歴情報DB291は、特定のワークフローを共有する複数のユーザ単位、つまり、ワークフロー単位で作成されるワークフロー共有履歴情報291a,291b,…を記憶している。ここで、ワークフローとは、例えば複数の画像処理装置2,3,4で連携して行う一連のジョブの流れであり、複数のユーザが予め設定された画像処理装置を操作して自身が担当するジョブを順次に実行していくことにより、最終的にワークフローとしてのひとつの出力が行われるものである。ワークフロー共有履歴情報291a,291b,…のそれぞれには、手動操作履歴情報81と、音声操作履歴情報82とが含まれる。ここで、ワークフロー共有履歴情報291a,291b,…に含まれる手動操作履歴情報81は、そのワークフローを共有する個々のユーザが操作パネル13に対して手動操作を行った場合に、その手動操作履歴を記録した情報である。また、ワークフロー共有履歴情報291a,291b,…に含まれる音声操作履歴情報82は、そのワークフローを共有する個々のユーザが音声入力部16を介して音声操作を行った場合に、その音声操作履歴を記録した情報である。このようにワークフロー共有履歴情報DB291には、ワークフローと、そのワークフローを共有する個々のユーザが過去に手動操作を行った履歴である手動操作履歴情報81と、そのワークフローを共有する個々のユーザが過去に音声操作を行った履歴である音声操作履歴情報82とがそれぞれ対応付けられた状態で記憶されている。
グループ共有履歴情報DB292は、ユーザが所属するグループ毎に作成されるグループ共有履歴情報292a,292b,…を記憶している。グループ共有履歴情報292a,292b,…のそれぞれには、上記と同様に、手動操作履歴情報81と、音声操作履歴情報82とが含まれる。ここで、グループ共有履歴情報292a,292b,…に含まれる手動操作履歴情報81は、そのグループに所属している個々のユーザが操作パネル13に対して手動操作を行った場合に、その手動操作履歴を記録した情報である。また、グループ共有履歴情報292a,292b,…に含まれる音声操作履歴情報82は、そのグループに所属している個々のユーザが音声入力部16を介して音声操作を行った場合に、その音声操作履歴を記録した情報である。このようにグループ共有履歴情報DB292には、個々のユーザが所属するグループと、そのグループに所属している個々のユーザが過去に手動操作を行った履歴である手動操作履歴情報81と、そのグループに所属している個々のユーザが過去に音声操作を行った履歴である音声操作履歴情報82とがそれぞれ対応付けられた状態で記憶されている。
例えば、ユーザAがワークフローaを共有しており、且つグループαに所属するユーザである場合、そのユーザAが画像処理装置2に対して手動操作を行えば、その履歴情報は、ユーザAの個人履歴情報28aと、ワークフローaのワークフロー共有履歴情報291aと、グループαのグループ共有履歴情報292aとのそれぞれに含まれる手動操作履歴情報81に記録される。また、そのユーザAが画像処理装置2に対して音声操作を行えば、その履歴情報は、ユーザAの個人履歴情報28aと、ワークフローaのワークフロー共有履歴情報291aと、グループαのグループ共有履歴情報292aとのそれぞれに含まれる音声操作履歴情報82に記録される。
尚、図3では音声操作機能を有する画像処理装置2の記憶装置21に記憶される情報を示したが、音声操作機能を有さない他の画像処理装置3,4の記憶装置21に記憶される情報は、図3に示した情報のうち、音声認識辞書25と操作項目判別テーブル26とを除いた情報である。
次に図5は、画像処理装置2における制御部10の機能に関する構成の一例を示したブロック図である。図5に示すように、制御部10は、入力処理部30と、実行処理部40として機能する。入力処理部30は、操作キー15に対する手動操作に基づいてキー操作入力に対応する処理を行うキー操作入力処理部31と、音声入力部16から入力される音声信号に対応する処理を行う音声入力処理部32とを備える。また実行処理部40は、ユーザによる入力操作(手動操作と音声操作の双方を含む。)を反映する処理部であり、ユーザ認証部41と、表示制御部42と、ジョブ実行制御部43と、履歴情報生成部44と、テーブルカスタマイズ部45と、共有情報送信処理部46とを備える。
キー操作入力処理部31は、ユーザにより操作キー15に対するキー操作が行われた場合、そのキー操作を特定する処理部である。キー操作入力処理部31によって特定されたキー操作は、実行処理部40に与えられ、実行処理部40により、そのキー操作が反映される。
音声入力処理部32は、音声入力部16から入力される音声信号を処理する処理部である。図6は、音声入力処理部32の詳細構成を示すブロック図である。図6に示すように、音声入力処理部32は、音声認識部33と、操作項目特定部34と、音声操作制御部35とを備えている。
音声認識部33は、音声認識辞書25を参照することにより、音声入力部16から入力される音声信号から音声ワードを特定する処理部である。例えば、アナログ信号である音声信号を解析し、音声認識辞書25を参照することで音声信号に対応した音声ワードを特定する。より具体的に説明すると、例えばユーザが音声入力部16に対して「リョウメン(両面)」というワードを音声入力したとすると、音声認識部33はその音声信号を解析し、音声認識辞書25に基づいて音声信号に含まれるワードを一語ずつ検索していき、最終的にユーザが発した「リョウメン」という音声ワードを特定する。そして音声認識部33は、特定した音声ワードを操作項目特定部34に出力する。
操作項目特定部34は、ユーザが音声入力した音声ワードに対応する操作項目を特定する処理部である。操作項目特定部34は、記憶装置21に記憶されている操作項目判別テーブル26を参照することにより、音声ワードに対応する操作項目を特定する。
操作項目判別テーブル26は、音声ワードと操作項目との対応関係がテーブル状に記録された情報となっている。図7は、操作項目判別テーブル26の一構成例を示す図である。図7に示すように操作項目判別テーブル26には、標準テーブル51と、カスタマイズテーブル54とが含まれる。
ここで標準テーブル51とは、音声操作機能を有する画像処理装置2に標準搭載されるテーブルであり、入力される音声ワードから操作項目を特定するためにデフォルト設定された標準的なテーブルとなっている。この標準テーブル51には、正規ワード判別テーブル52と、ゆらぎ判別テーブル53とが含まれる。正規ワード判別テーブル52は、操作項目の呼称と完全に一致する音声ワードと、操作項目とを対応づけたテーブルであり、例えば「両面」設定を行うための操作項目の場合、音声ワードとして「リョウメン」が登録されている。これに対し、ゆらぎ判別テーブル53は、操作項目の呼称と完全に一致しない音声ワードが入力された場合でもそれに対応する操作項目を特定するために予め登録されたテーブルであり、例えば「両面」設定を行うための操作項目の場合、音声ワードとして「ウラメン」が登録されている。この場合、ユーザが音声入力部16に対して「ウラメン」という音声を入力した場合、画像処理装置2はその音声入力に伴い両面設定を行う。
一方、カスタマイズテーブル54は、標準テーブル51に含まれない音声ワードと操作項目との組み合わせをユーザが新規に登録した場合に作成されるテーブルを含んでいる。このカスタマイズテーブル54には、ユーザが所望する音声ワードと操作項目との組み合わせを登録しておくことができる。このカスタマイズテーブル54は、実行処理部40のテーブルカスタマイズ部45によって作成され、音声ワードと操作項目との新規な組み合わせが登録される。
図7に示すようにカスタマイズテーブル54には、ユーザごとに作成されるユーザ専用のユーザテーブルデータベース(以下、「ユーザテーブルDB」という。)55と、複数のユーザが共有する共有テーブルデータベース(以下、「共有テーブルDB)という。)56とが含まれる。
ユーザテーブルDB55には、ユーザ毎に個別に作成されたユーザテーブル55a,55b,55c,…が記憶されている。各ユーザが、所望する音声ワードと、操作項目との新規な組合せを登録するための操作を行うと、その音声ワードと操作項目とを対応付けた情報が、そのユーザに対応するユーザテーブル55a,55b,55c,…に登録される。
また共有テーブルDB56には、複数のユーザが共有するための、音声ワードと操作項目とを対応付けた情報が記憶される。この共有テーブルDB56は、図7に示すように、ワークフロー共有テーブルデータベース(以下、「ワークフロー共有テーブルDB」という。)561と、グループ共有テーブルデータベース(以下、「グループ共有テーブルDB」という。)562とを有している。
ワークフロー共有テーブルDB561は、特定のワークフローを共有する複数のユーザ単位、つまり、ワークフロー単位で作成される共有テーブル561a,561b,…を記憶している。これら共有テーブル561a,561b,…のそれぞれには、そのワークフローを共有する個々のユーザが登録した音声ワードと操作項目との新規な組み合わせが記憶される。そして、これらの共有テーブル561a,561b,…は、同一のワークフローを共有する複数のユーザが互い共通して利用することができるテーブルとなっている。
グループ共有テーブルDB562は、ユーザが所属するグループ毎に作成される共有テーブル562a,562b,…を記憶している。これら共有テーブル562a,562b,…のそれぞれには、そのグループに所属するユーザが登録した音声ワードと操作項目との新規な組み合わせが記憶される。そして、これらの共有テーブル562a,562b,…は、同一グループに所属する複数のユーザが互いに共通して利用することができるテーブルとなっている。
あるユーザが音声ワードと操作項目との新規な組み合わせを登録すると、その組み合わせは、そのユーザに対応するユーザテーブルDB55に登録されると共に、そのユーザが対応づけられている共有テーブルDB56にも登録される。より具体的に説明すると、例えば、ユーザAがワークフローaを共有しており、且つグループαに所属するユーザであるとした場合、そのユーザAが所望する音声ワードと操作項目との新規な組合せを登録するための操作を行うと、その音声ワードと操作項目とを対応付けた情報は、ユーザAのユーザテーブル55aと、ワークフローaの共有テーブル561aと、グループαの共有テーブル562aとのそれぞれに記憶される。
図8は、操作項目判別テーブル26に含まれる上述した各テーブルの一例を示す図である。図8(a)は、正規ワード判別テーブル52を示している。この正規ワード判別テーブル52には、上述したように操作項目の呼称と完全に一致する音声ワードと、それに対応する操作項目とが対応付けられている。例えば、音声ワード「リョウメン」には、操作項目としてメニュー画面におけるメニュー項目「基本設定」の一階層下位のメニュー項目「両面」が対応付けられている。この正規ワード判別テーブル52を参照すると、ユーザが「リョウメン」という音声を入力した場合、それに対応する操作項目として「両面」が特定され、実行処理部40において両面設定が反映される。
図8(b)は、ゆらぎ判別テーブル53を示している。このゆらぎ判別テーブル53には、上述したように操作項目の呼称とは完全に一致しない音声ワードと、それに対応する操作項目とが対応付けられている。例えば、音声ワード「ウラメン」には、操作項目としてメニュー画面におけるメニュー項目「基本設定」の一階層下位のメニュー項目「両面」が対応付けられている。このゆらぎ判別テーブル53を参照すると、ユーザが「ウラメン」という音声を入力した場合でも、それに対応する操作項目として「両面」が特定され、実行処理部40において両面設定が反映される。
図8(c)は、ユーザテーブル55aの一例を示している。このユーザテーブル55aには、上述したように、正規ワード判別テーブル52やゆらぎ判別テーブル53に含まれない音声ワードと操作項目との組み合わせであって、ユーザが所望する音声ワードと操作項目との組み合わせが登録されている。例えば、音声ワード「ハンテン」には、操作項目としてメニュー画面におけるメニュー項目「応用設定」の二階層下位にあるメニュー項目「ネガポジ反転」が対応付けられている。このユーザテーブル55aを参照すると、ユーザが「ハンテン」という音声を入力すると、それに対応する操作項目として「ネガポジ反転」が特定され、実行処理部40においてネガポジ反転設定が反映される。尚、正規ワード判別テーブル52では、音声ワード「ネガポジハンテン」に対する操作項目として「ネガポジ反転」が対応付けられているが、「ネガポジハンテン」は比較的長い発声を伴うため、ユーザは略語や自身が発声しやすいワードをユーザテーブル55aに登録しておくことができる。尚、他のユーザテーブル55b,55cについても同様の構成であるが、各テーブルに登録される音声ワードと操作項目との組合せは異なることがある。
また図8(c)に示す例では、音声ワード「ビーサン」に対応する操作項目として、「ユーザB」を送信宛先に指定する操作項目が登録されている。また、音声ワード「ブンショ」に対応する操作項目として、フォルダ[1]に記憶されている文書データ(abc.pdf)を指定する操作項目が登録されている。
図8(d)は、共有テーブル561aの一例を示している。この共有テーブル561aには、複数のユーザが共有する音声ワードと操作項目との組み合わせが登録されている。例えば音声ワード「サッシ」や「ハンテン」などは、図8(c)に示したユーザテーブル55aと同じ組み合わせとして登録されている。また音声ワード「ネガポジ」は他のユーザが登録した音声ワードと操作項目との組み合わせであり、この音声ワード「ネガポジ」には、操作項目としてメニュー画面におけるメニュー項目「応用設定」の二階層下位にあるメニュー項目「ネガポジ反転」が対応付けられている。したがって、この共有テーブル56を参照すると、ユーザが「ハンテン」という音声を入力した場合、或いは「ネガポジ」という音声を入力した場合のいずれにおいても、それに対応する操作項目として「ネガポジ反転」が特定され、実行処理部40においてネガポジ反転設定が反映される。尚、他の共有テーブル561b,562a,562bについても同様の構成であるが、各テーブルに登録される音声ワードと操作項目との組合せは異なることがある。
また図8に示すように、各テーブルには、音声ワードと操作項目との組み合わせに対し、さらにジョブ実行中の優先設定が登録されている。ジョブ実行中の優先設定の欄がONである音声ワードは、ジョブ実行中における音声ワードの判別に優先的に利用される。また、ジョブ実行中の優先設定の欄がOFFである音声ワードは、ジョブ実行中における音声ワードの判別に非優先となる。図例の場合、正規ワード判別テーブル52において音声ワード「テイシ」が、ジョブ実行中の優先設定の欄がONとなっており、これに対応する操作項目は、押しボタンキーにうちのストップキー、つまり、実行中のジョブを停止させる操作となっている。
このように操作項目特定部34は、操作項目判別テーブル26を参照して入力された音声ワードに対応する操作項目を特定する。そして図6に示すように、操作項目特定部34は、操作項目を特定すると、その操作項目を音声操作制御部35に対して通知する。尚、操作項目特定部34が、入力された音声ワードに対応する操作項目を特定することができなかった場合、音声操作制御部35には、操作項目を特定することができなかった旨が通知される。例えば、入力された音声ワードが操作項目判別テーブル26のいずれのテーブルにも登録されていない場合には、操作項目を特定することができない。
音声操作制御部35は、操作項目特定部34によって特定された操作項目を実行処理部40に通知することにより、その特定された操作項目に対応する処理を、実行処理部40に実行させる処理部である。これにより、画像処理装置2は、ユーザによって行われた音声操作を反映させることになる。また音声操作制御部35は、操作項目特定部34が入力した音声ワードに対応する操作項目を特定することができなかった場合、その旨を実行処理部40に通知する。
図5に戻り、次に実行処理部40について説明する。ユーザ認証部41は、画像処理装置2を使用するユーザの認証処理を行う処理部である。ユーザ認証部41は、例えば操作パネル13の操作キー15からユーザIDやパスワードなどが入力された場合、記憶装置21からユーザ情報22を読み出し、ユーザ情報22の中に、入力されたユーザIDやパスワードと一致する情報が登録されているか否かを判別することにより、ユーザ認証を行う。そしてユーザ情報22の中に一致する情報が含まれていれば、画像処理装置2を使用するユーザを特定することができるので、認証成功となり、画像処理装置2は特定されたユーザによってログインされた状態に移行する。尚、このとき、認証されたユーザは、ログインユーザとなる。
表示制御部42は、表示部14の表示画面を制御する処理部である。表示制御部42は、記憶装置21に記憶されている表示画面情報24を読み出し、操作パネル13の表示部14にメニュー画面を表示する。そしてユーザが操作パネル13に対する手動操作或いは音声操作を行った場合、表示制御部42は、表示部14の表示画面を、手動操作や音声操作が反映された表示画面に切り替える。尚、ユーザが手動操作又は音声操作によってジョブの実行を指示した場合、画像処理装置2においてジョブの実行が開始されるが、表示制御部42は、それに伴って表示部14の表示画面をジョブ実行中の画面に切り替える。
また表示制御部42は、操作履歴情報DB27に含まれる個人履歴情報DB28および共有履歴情報DB29から、ログインユーザに関連する手動操作履歴情報81および音声操作履歴情報82を読み出して、それら手動操作履歴情報81や音声操作履歴情報82に記録された操作履歴を表示部14に表示することもできる。この場合において、ログインユーザが表示部14に表示される複数の操作履歴のうちから一の操作履歴を選択した場合、その選択された一の操作履歴が示す過去の操作が今回の操作として画像処理装置2に反映される。
ジョブ実行制御部43は、ログインユーザによってジョブの実行が指示された場合、スキャナ部17、画像メモリ18、プリンタ部19、ネットワークインタフェース20および記憶装置21のうち、ログインユーザによって指定されたジョブの種類に応じてそのジョブの実行に必要なものを選択的に駆動制御し、その指定されたジョブを実行する処理部である。
履歴情報生成部44は、ユーザによる手動操作や音声操作が行われる都度、操作履歴情報を生成し、記憶装置21に記憶されている操作履歴情報DB27を更新する処理部である。履歴情報生成部44は、ユーザによって行われた操作が手動操作である場合、その操作履歴を、そのユーザに対応する個人履歴情報28a,28b,28cの手動操作履歴情報81に追加登録する。また、そのユーザと関連するワークフロー共有履歴情報291a,291bや、グループ共有履歴情報292a,292bがあれば、それらの含まれる手動操作履歴情報81に対しても操作履歴を追加登録する。
またユーザによって行われた操作が音声操作である場合、履歴情報生成部44は、その操作履歴を、そのユーザに対応する個人履歴情報28a,28b,28cの音声操作履歴情報82に追加登録する。また、そのユーザと関連するワークフロー共有履歴情報291a,291bや、グループ共有履歴情報292a,292bがあれば、それらの含まれる音声操作履歴情報82に対しても操作履歴を追加登録する。
図9は、操作履歴情報DB27に含まれる手動操作履歴情報81および音声操作履歴情報82の一例を示す図である。図9(a)は手動操作履歴情報81を示している。図9(a)に示すように、手動操作履歴情報81には、手動操作が行われた日時、ユーザ名、選択された操作項目などの情報が記録される。また図9(b)は音声操作履歴情報82を示している。図9(b)に示すように、音声操作履歴情報82には、音声操作が行われた日時、ユーザ名、入力された音声ワード、選択された操作項目、備考情報などの情報が含まれる。図9(b)に示す音声操作履歴情報82を参照すると、ユーザAが音声入力した音声ワードと、その音声ワードによって選択された操作項目との対応関係を把握することができる。尚、音声操作履歴情報82の備考欄には、操作項目判別テーブル26に含まれる正規ワード判別テーブル52、ゆらぎ判別テーブル53、ユーザテーブル55a,55b,55c、および、共有テーブル561a,561b,562a,562bのうちのどのテーブルに登録されたワードであるかが記録されている。
テーブルカスタマイズ部45は、ユーザが所望する音声ワードと操作項目との対応関係を登録するための操作を行った場合に、それを操作項目判別テーブル26に追加登録する処理部である。つまり、このテーブルカスタマイズ部45は、ユーザの所望する音声ワードと操作項目との組み合わせを、上述したユーザテーブルDB55および共有テーブルDB56に登録することにより、操作項目判別テーブル26を更新する。
共有情報送信処理部46は、ネットワーク9に接続された複数の画像処理装置2,3,4で共有するための情報を送信する処理部である。本実施形態の共有情報送信処理部46は、履歴情報生成部44によって操作履歴情報DB27に含まれる音声操作履歴情報82が更新された場合、その更新された音声操作履歴情報82を記憶装置21から読み出し、ネットワーク9を介して他の画像処理装置3,4に送信する処理を行う。
図10は、共有情報送信処理部46による音声操作履歴情報82の送信処理の一例を示す図である。本実施形態では、音声操作機能を有する画像処理装置2において音声操作履歴情報82が更新されると、それに伴い、図10に示すように画像処理装置2から他の画像処理装置3,4に対して音声操作履歴情報82が送信される。したがって、本実施形態では、ネットワーク9に接続された複数の画像処理装置2,3,4において音声操作履歴情報82が共有して利用される。
画像処理装置3,4は、いずれも音声操作機能を有していないが、画像処理装置2から音声操作履歴情報82を入力することにより、ユーザによって行われた音声操作の内容とその履歴を特定することができるようになる。
次に図11は、画像処理装置3,4における制御部10の機能に関する構成の一例を示したブロック図である。図11に示すように、制御部10は、入力処理部30と、実行処理部40として機能する。画像処理装置3,4の入力処理部30は、操作キー15に対する手動操作に基づいて処理を行うキー操作入力処理部31のみを備えている。また画像処理装置3,4の実行処理部40は、ユーザによる入力操作(手動操作のみ)を反映する処理部であり、ユーザ認証部41と、表示制御部42と、ジョブ実行制御部43と、履歴情報生成部44と、共有情報取得処理部47と、音声操作履歴反映部48とを備える。ここで、入力処理部30におけるキー操作入力処理部31は画像処理装置2に設けられたものと同様である。またユーザ認証部41、表示制御部42、ジョブ実行制御部43および履歴情報生成部44についても画像処理装置2に設けられたものと同様であるが、画像処理装置3,4においては手動操作のみを受け付けて、それぞれの処理を実行する。
共有情報取得処理部47は、ネットワーク9に接続された複数の画像処理装置2,3,4で共有する情報を取得する処理部である。本実施形態の共有情報取得処理部47は、ネットワーク9を介して画像処理装置2が送信した音声操作履歴情報82を受信すると、その受信した音声操作履歴情報82を音声操作履歴反映部48に出力する。
音声操作履歴反映部48は、共有情報取得処理部47によって取得された音声操作履歴情報82に基づいて、表示部14のメニュー画面におけるメニュー項目と、音声ワードとを対応付け、記憶装置21に記憶されている操作履歴情報DB27に、その音声操作履歴情報82を保存する。したがって、画像処理装置3,4では、音声操作機能を有していないが、画像処理装置2における音声操作履歴情報82が保持されるようになる。尚、画像処理装置3,4における操作履歴情報DB27のデータ構造は、画像処理装置2におけるデータ構造と同様である。
また音声操作履歴反映部48は、共有情報取得処理部47によって取得された音声操作履歴情報82に基づいて、表示部14のメニュー画面におけるメニュー項目と、音声ワードとを対応付けを行う際、音声ワードと対応付けるメニュー項目が当該画像処理装置3,4において使用可能となっている有効な項目である場合にのみ、音声ワードの対応付けを行う。つまり、音声操作履歴反映部48は、記憶装置21から機能搭載情報23を読み出し、画像処理装置3,4において使用可能な機能に関するメニュー項目のみを特定し、それに対応する音声ワードのみをメニュー項目と対応付ける。例えば、画像処理装置2ではコピー機能などの両面設定が可能であるのに対し、画像処理装置3,4では両面設定ができないような場合、画像処理装置3,4が画像処理装置2から受信した音声操作履歴情報82に「両面設定」に関する履歴が含まれていても「両面設定」は画像処理装置3,4において有効なメニュー項目ではないため、音声ワードの対応付けは行わない。一方、画像処理装置3,4においても両面設定が可能な場合、画像処理装置3,4が画像処理装置2から受信した音声操作履歴情報82に「両面設定」に関する履歴が含まれていれば、「両面設定」は画像処理装置3,4においても有効なメニュー項目であるため、その履歴に含まれる音声ワードとメニュー項目である「両面設定」との対応付けを行う。
そして画像処理装置3,4では、表示制御部42が、音声操作履歴反映部48により対応付けられた音声ワードを、操作パネル13の表示部14に表示するように構成される。この場合の音声ワードの表示態様としては種々の態様があるが、それについては後述する。表示制御部42が、表示部14に対し、音声ワードを表示することにより、例えば普段は画像処理装置2を使用するユーザが音声ワードを音声入力することによって音声操作を行っている場合、画像処理装置3,4を使用する際には表示部14に表示される音声ワードに基づいて所望の手動操作を行うことができるようになる。
このように本実施形態では複数の画像処理装置2,3,4において音声操作履歴情報82が共有されるようになり、特に、音声操作機能を有さない画像処理装置3,4においても、画像処理装置2から受信する音声操作履歴情報82に基づいて音声ワードに基づく手動操作を受け付けることができるようになり、その操作を画像処理装置3,4に反映させることができる。以下においては、これら画像処理装置2,3,4の動作についてより詳しく説明する。
図12は、画像処理装置2において音声操作履歴情報82を更新する処理手順の一例を示すフローチャートである。この処理は、画像処理装置2の制御部10によって行われる。画像処理装置2において音声操作モードがオンになっていると(ステップS10でYES)、制御部10は音声入力が行われたか否かを判断し(ステップS11)、音声入力がない場合は、音声入力を待機する状態となる(ステップS11でNO)。そして音声入力が行われると(ステップS11でYES)、制御部10は音声認識辞書25に基づいて音声認識処理を行い(ステップS12)、続いて操作項目判別テーブル26に基づいて操作項目特定処理を行う(ステップS13)。そして制御部10は入力した音声ワードに対応する操作項目を特定できたか否かを判断し(ステップS14)、操作項目を特定することができた場合には、その特定した操作項目を画像処理装置2に反映させるための音声操作制御処理を実行する(ステップS15)。操作項目を画像処理装置2に反映させる処理には、音声操作により選択された操作項目に対応する設定項目を設定する処理、その設定に伴って表示部14の表示画面を更新する処理、ジョブの実行を開始する処理、実行中のジョブを停止する処理、ジョブの実行開始や停止に伴って表示部14の表示画面を更新する処理などが含まれる。これに対し、操作項目を特定することができなかった場合には(ステップS14でNO)、ステップS11に戻り、つぎの音声入力を待機する状態となる。
音声操作制御処理(ステップS15)を行った場合、制御部10は、その処理内容に基づいて音声操作履歴情報を生成し(ステップS16)、記憶装置21に保存されている音声操作履歴情報82を更新する(ステップS17)。このような処理により、画像処理装置2に保存される音声操作履歴情報82は、ユーザが音声入力によって音声操作を行う度に更新される。
一方、音声操作モードがオフであった場合(ステップS10でNO)、制御部10は、手動操作のみを受け付ける通常処理を行う(ステップS18)。この通常処理では、ユーザによる手動動作のみが受け付けられ、手動操作が行われた場合はその手動操作に基づく処理を行った後、手動操作履歴情報81が更新されるようになる。
次に図13は、画像処理装置2から画像処理装置3,4に対して音声操作履歴情報82を送信する処理手順の一例を示すフローチャートである。このフローチャートにおいて、画像処理装置2で行われる音声操作履歴情報送信処理は、例えば画像処理装置2の制御部10が一定周期毎に繰り返し行う処理である。画像処理装置2の制御部10は、記憶装置21に記憶している音声操作履歴情報82が更新されたか否かを判断し(ステップS20)、更新されていない場合(ステップS20でNO)、この処理を終了する。これに対し、音声操作履歴情報82が更新されている場合(ステップS20でYES)、次に制御部10は、ネットワーク9内に、音声操作履歴情報82を送信すべき他の画像処理装置3,4が存在するか否かを確認する(ステップS21)。
この確認処理では、ネットワーク9に接続されている他の画像処理装置3,4のうち、例えば画像処理装置2に対して音声操作を行ったユーザのユーザ属性と同じユーザ属性のユーザが登録されている画像処理装置があるか否かが確認される。そして同じユーザ属性のユーザが登録されている他の画像処理装置があった場合に、その画像処理装置が、音声操作履歴情報82の送信対象として抽出される。ここでユーザ属性には、ユーザを識別するための情報や、ユーザが所属するグループを示す情報、ユーザが処理の担当者として登録されているワークフローに関する情報などが含まれている。そのため、例えばユーザAが画像処理装置2を使用して音声操作を行った場合、そのユーザAが画像処理装置3,4を使用可能なユーザとして画像処理装置3,4のユーザ情報22に登録されていれば、それら画像処理装置3,4が音声操作履歴情報82の送信対象として抽出される。またユーザAが画像処理装置3,4を使用可能なユーザとして画像処理装置3,4のユーザ情報22に登録されていない場合でも、ユーザAと同じグループに所属する他のユーザや、ユーザAとワークフローを共有する他のユーザが、画像処理装置3,4を使用可能なユーザとして画像処理装置3,4のユーザ情報22に登録されていれば、それら画像処理装置3,4が音声操作履歴情報82の送信対象として抽出される。
そして画像処理装置2の制御部10は、音声操作履歴情報82を送信すべき他の画像処理装置3,4が存在する場合(ステップS21でYES)、それらの他の画像処理装置3,4に対し、更新された音声操作履歴情報82を送信する(ステップS22)。これに対し、音声操作履歴情報82を送信すべき他の画像処理装置が存在しなかった場合(ステップS21でNO)、そのまま処理を終了する。
一方、画像処理装置3,4は、ネットワーク9を介して画像処理装置2から音声操作履歴情報82を受信すると、音声操作履歴情報の機能判別処理(ステップS30)と、その受信した音声操作履歴情報をユーザの属性に応じて登録する処理(ステップS31)とを順次実行する。
図14は、画像処理装置3,4における音声操作履歴情報の機能判別処理の詳細な処理手順の一例を示すフローチャートである。この処理では、画像処理装置3,4の各制御部10は、画像処理装置2から送信された音声操作履歴情報82を受信すると(ステップS301)、それぞれの記憶装置21に記憶されている機能搭載情報23を読み出す(ステップS302)。そして画像処理装置3,4の各制御部10は、その機能搭載情報23に基づいて、画像処理装置2から受信した音声操作履歴情報82のうちから、自機で操作可能なメニュー項目についての音声操作履歴情報のみを抽出する(ステップS303)。つまり、自機で操作することができないメニュー項目が対応付けられた音声ワードは、ここで登録対象から除外されることになる。
そして図13にフローチャートに戻り、画像処理装置3,4の各制御部10は、画像処理装置2から受信した音声操作履歴情報82のうちから抽出された、自機で操作可能なメニュー項目についての音声操作履歴情報のみを、操作履歴情報DB27に含まれる個人履歴情報DB28および共有履歴情報DB29のうちのユーザの属性に対応する音声操作履歴情報82に登録する(ステップS31)。ここでは、画像処理装置3,4の各記憶装置21に記憶されている操作履歴情報DB27に含まれる音声操作履歴情報82に登録が行われるが、ユーザの属性に応じて、ユーザごとに作成される個人履歴情報DB28と、複数のユーザが共有して利用する共有履歴情報DB29とのいずれか一方、又は、双方に対して登録が行われる。
以上のような処理により、画像処理装置2で作成された音声操作履歴情報82が、ネットワーク9を介して他の画像処理装置3,4に送信され、画像処理装置3,4で操作可能なメニュー項目についての音声操作履歴情報82が操作履歴情報DB27に登録される。そして画像処理装置3,4では、画像処理装置2から受信した音声操作履歴情報82を利用することができるようになる。
次に図15は、画像処理装置3,4において画像処理装置2から受信した音声操作履歴情報82を利用した操作を行うための処理手順の一例を示すフローチャートである。最初に画像処理装置3,4の各制御部10は、ユーザが操作パネル13を操作してユーザがログインするのを待機する状態となっている(ステップS40)。その状態でユーザが画像処理装置3,4にログインすると(ステップS40でYES)、制御部10は、ユーザによって操作履歴表示キーが操作されたか否かを判断する(ステップS41)。尚、操作履歴表示キーは、例えば押しボタンキーの1つとして、操作パネル13上に配置されている。ユーザが操作履歴表示キーを操作しなかった場合は、画像処理装置3,4の制御部10は通常処理を行って処理を終了する(ステップS42)。この通常処理(ステップS42)では、音声操作履歴情報82が利用されることなく、ログインユーザの手動操作に基づいて各種の処理が行われる。
一方、ユーザが操作履歴表示キーを操作した場合(ステップS41でYES)、画像処理装置3,4の制御部10は、記憶装置21に記憶している操作履歴情報DB27の中に、ログインユーザの属性に対応した音声操作履歴情報82が存在するか否かを確認する(ステップS43)。そしてログインユーザの属性に対応する音声操作履歴情報82が存在する場合(ステップS43でYES)、そのログインユーザの属性に対応する手動操作履歴情報81と、音声操作履歴情報82とのマージ処理を行い(ステップS44)、そのマージした操作履歴情報を表示部14に表示する(ステップS45)。
図16は、操作パネル13の表示部14に表示される表示画面の一例を示す図である。例えばユーザAが画像処理装置3,4にログインすると、表示部14の表示画面は、図16(a)に示すような画面となる。例えばユーザAが画像処理装置2を使用する際には音声入力による音声操作を行っており、コピー機能の両面設定を「ウラメン」という音声ワードを発声することによって音声操作しているとすると、図16(a)に示すような表示画面では「ウラメン(裏面)」というメニュー項目は表示されていないため、ユーザAは操作パネル13を手動操作する際、どのメニュー項目を選択すれば両面設定が行えるのかが判り難い。このような場合、ユーザAが操作履歴表示キーを操作すると、表示部14の表示画面は、図16(a)の表示画面から図16(b)に示すような表示画面に遷移する。
図16(b)に示すように表示部14に表示される操作履歴情報は、手動操作による操作履歴と、音声操作による操作履歴とがマージされた形式で表示されている。そしてユーザAが画像処理装置2を使用する際に「ウラメン」と発声して音声操作を行っている場合、表示部14には、その音声ワード「ウラメン」が過去に音声操作された内容として表示される。そしてユーザAは、音声ワード「ウラメン」によって選択された正規のメニュー項目の名称が「両面」であることを知らなくても、この履歴表示において「ウラメン」と表示された履歴を選択すれば、両面設定を反映させることができる。尚、図16(b)に示す画面には、ログインユーザがカスタマイズした音声ワード(「サッシ」や「ハンテン」など)についての操作履歴も表示される。
これに対し、ログインユーザの属性に対応する音声操作履歴情報82が存在しなかった場合(ステップS43でNO)、そのログインユーザの属性に対応する手動操作履歴情報81のみを読み出し、その手動操作履歴情報を表示部14に表示する(ステップS46)。この場合、ログインユーザは、過去に手動操作した操作履歴のうちから選択操作を行うことができる。
画像処理装置3,4の制御部10は、ログインユーザによって、ステップS45又はS46で表示した履歴情報に対する選択操作が行われるまで待機し(ステップS47)、ログインユーザによる選択操作が行われると、その選択された履歴に基づいて操作を反映する(ステップS48)。例えば、音声操作履歴情報82に基づいて表示された操作履歴が選択された場合、制御部10は、操作履歴に基づいて過去に音声操作された設定などを画像処理装置3,4に反映させる。これにより、例えばユーザAが「ウラメン」と表示された操作履歴を選択した場合、画像処理装置3,4において両面設定が反映される。
したがって、本実施形態では、例えばユーザAが、音声操作機能を有する画像処理装置2を使用する際、メニュー画面におけるメニュー項目の呼称と完全には一致しない音声ワードで音声操作を行っている場合、そのユーザAが、他の画像処理装置3,4を使用する際にもその音声ワードで各種設定などの操作を行うことができるようになるので操作性が向上する。
次に、上述した図15の処理手順とは異なる処理手順について説明する。図17は、画像処理装置3,4において画像処理装置2から受信した音声操作履歴情報82を利用した操作を行うための処理手順であって、図15とは異なる処理手順の一例を示すフローチャートである。この処理においても、最初、画像処理装置3,4の各制御部10は、ユーザが操作パネル13を操作してユーザがログインするのを待機する状態となっている(ステップS50)。その状態でユーザが画像処理総理3,4にログインすると(ステップS50でYES)、画像処理装置3,4の制御部10は、記憶装置21に記憶している操作履歴情報DB27の中に、ログインユーザの属性に対応した音声操作履歴情報82が存在するか否かを確認する(ステップS51)。そしてログインユーザの属性に対応した音声操作履歴情報82が存在しない場合(ステップS51でNO)、画像処理装置3,4の制御部10は通常処理を行って処理を終了する(ステップS52)。この通常処理(ステップS52)では、音声操作履歴情報82が利用されることなく、ログインユーザの手動操作に基づいて各種の処理が行われる。
これに対し、操作履歴情報DB27の中に、ログインユーザの属性に対応した音声操作履歴情報82が存在する場合(ステップS51でYES)、画像処理装置3,4の制御部10は、ログインユーザに対応した表示画面情報24を読み出す(ステップS53)。ここでは、例えばログインユーザが、予めログイン時の最上層のメニュー画面をカスタマイズ設定している場合、そのカスタマイズ設定により登録されている表示画面情報24が読み出される。尚、ログインユーザが、最上層のメニュー画面のカスタマイズ設定を行っていない場合には、ログイン時の最上層のメニュー画面としてデフォルト設定されている表示画面情報24が読み出される。
そして制御部10は、その読み出した表示画面に、一定の余白領域が存在するか否かを判別する(ステップS54)。ここで、一定の余白領域とは、音声操作履歴情報82を一覧形式で表示するための一定サイズの余白領域である。そして余白領域がある場合(ステップS55でYES)、制御部10は、その余白領域に対し、音声操作履歴情報82を一覧表示する(ステップS56)。これに対し、余白領域がない場合(ステップS55でNO)、制御部10は、最上層のメニュー画面に表示するメニュー項目の最上位階層に、音声操作履歴情報82に含まれている音声ワードを関連付けて表示する(ステップS57)。
図18は、操作パネル13の表示部14に表示される表示画面の一例を示す図である。図18(a)は、ステップS56により表示部14に表示される画面の一例を示しており、図18(b)は、ステップS57により表示部14に表示される画面の一例を示している。
例えば、最上層のメニュー画面に十分な余白領域がある場合、図18(a)に示すように、最上層のメニュー画面の余白領域に対し、音声操作履歴情報82に基づく一覧表示欄14aが表示され、その一覧表示欄14aにおいて音声操作による操作履歴が表示される。この場合、ユーザAは、一覧表示欄14aに表示される「ウラメン」を選択することにより、両面設定を行うことができる。
一方、最上層のメニュー画面に十分な余白領域がない場合、図18(b)に示すように、メニュー項目の呼称と完全には一致しない音声ワードが最上層のメニュー画面に表示される最上位階層のメニュー項目に関連付けられた状態で表示される。例えば、「サッシ」や「ハンテン」といった音声ワード14bは、応用設定のメニュー項目の下位層にある「小冊子」や「ネガポジ反転」といったメニュー項目にそれぞれ対応付けられているため、これらは最上層のメニュー画面において最上位のメニュー項目「応用設定」に関連付けられた状態で表示される。また「ウラメン」という音声ワード14cは、最上層のメニュー画面で表示されている基本設定のメニュー項目「両面」に対する操作として対応付けられているため、この音声ワード14cはメニュー項目「両面」に関連付けられた状態で表示される。したがって、ユーザAは、どのメニュー項目を選択していけば、「ウラメン」や「サッシ」或いは「ハンテン」を設定するためのメニュー項目に辿り着くかを容易に把握することができる。また、図18(b)のような表示画面では、ユーザAが例えば音声ワード14b,14cを直接操作すれば、それに対応する操作をそのまま画像処理装置3,4に反映することもできる。
画像処理装置3,4の制御部10は、ログインユーザによって、ステップS56又はS57で表示した履歴情報に対する選択操作が行われるまで待機し(ステップS58)、ログインユーザによる選択操作が行われると、その選択された履歴に基づいて操作を反映する(ステップS59)。一覧表示欄14aに表示された操作履歴が選択された場合、または、メニュー項目に関連付けられて表示された音声ワード(14b,14c)が選択された場合は、それらに対応する設定などを画像処理装置3,4に反映させる。これにより、例えばユーザAがメニュー項目「両面」に関連付けられて「ウラメン」と表示された音声ワード14cを選択した場合、画像処理装置3,4において両面設定が反映される。
したがって、この場合も、例えばユーザAが、音声操作機能を有する画像処理装置2を使用する際、メニュー画面におけるメニュー項目の呼称と完全には一致しない音声ワードで音声操作を行っている場合、そのユーザAが、他の画像処理装置3,4を使用する際にもその音声ワードで各種設定などの操作を行うことができるようになるので操作性が向上する。
本実施形態では、複数の画像処理装置2,3,4のうち、画像処理装置2が音声操作機能を有しており、他の画像処理装置3,4が音声操作機能を備えていない場合を例示したが、他の画像処理装置3,4が音声操作機能を備えている場合であっても同様に適用可能である。この場合、画像処理装置2は、他の画像処理装置3,4から音声操作履歴情報82を取得して自機の音声操作履歴情報82に組み込み、上記と同様に、音声操作による操作履歴を一覧表示欄14aに表示させたり、或いは、音声ワードをメニュー項目に対応付けて表示させたりすることができる。
(第2の実施の形態)
次に第2の実施の形態について説明する。第1の実施の形態では、音声操作に関する情報のひとつとして、音声操作履歴情報82を複数の画像処理装置2,3,4で共有する形態を例示した。これに対し、本実施形態では、操作項目判別テーブル26を複数の画像処理装置で共有する形態について説明する。
図19は、第2の実施の形態における画像処理システム1aの一構成例を示す図である。この画像処理システム1aは、LANなどのローカルネットワークやインターネット網などを含むネットワーク9に対して複数の画像処理装置5,6,7が接続された構成である。各画像処理装置5,6,7は、第1の実施の形態で説明した画像処理装置2と同様に、音声操作機能を備えている。つまり、本実施形態では、複数の画像処理装置5,6,7のそれぞれにおいて音声入力による音声操作が可能である。ここで、各画像処理装置5,6,7のハードウェア構成は、第1の実施の形態で説明した画像処理装置2と同様である(図2参照)。また各画像処理装置5,6,7の記憶装置21に記憶される各種の情報なども第1の実施の形態で説明した画像処理装置2と同様である。
図20は、各画像処理装置5,6,7における制御部10の機能に関する構成の一例を示したブロック図である。図20に示すように、制御部10は、入力処理部30と、実行処理部40として機能する。入力処理部30は、操作キー15に対する手動操作によるキー操作入力に対する処理を行うキー操作入力処理部31と、音声入力部16から入力される音声信号に対する処理を行う音声入力処理部32とを備える。また実行処理部40は、ユーザによる入力操作(手動操作と音声操作の双方を含む。)を反映する処理部であり、ユーザ認証部41と、表示制御部42と、ジョブ実行制御部43と、履歴情報生成部44と、テーブルカスタマイズ部45と、共有情報送信処理部46と、共有情報取得処理部47とを備える。
上記各部は第1の実施の形態で説明したものと同様である。ただし、本実施形態では、全ての画像処理装置5,6,7が、共有情報送信処理部46と共有情報取得処理部47とを備えている点が第1の実施の形態と異なっている。また本実施形態でも、操作履歴情報DB27のデータ構造は、図4に示したものと同様である。
共有情報送信処理部46は、音声操作履歴情報82が更新された場合、その更新された音声操作履歴情報82を他の画像処理装置に送信すると共に、操作項目判別テーブル26がユーザによってカスタマイズされた場合、そのカスタマイズされたテーブルを他の画像処理装置に送信する。また共有情報取得処理部47は、他の画像処理装置から音声操作履歴情報82を取得した場合、それを自機の音声操作履歴情報82に追加登録することにより、音声操作の履歴情報を共有すると共に、他の画像処理装置から操作項目判別テーブル26を受信した場合、それを自機の操作項目判別テーブル26に組み込むことにより、操作項目を判別するための情報を共有する。尚、音声操作履歴情報82の送信処理および取得処理については、第1の実施の形態で説明したものと同様であるため、ここでは、操作項目判別テーブル26の共有について詳しく説明する。
図21は、共有情報送信処理部46による操作項目判別テーブル26の送信処理の一例を示す図である。例えば図21に示すように、画像処理装置5において操作項目判別テーブル26がカスタマイズにより更新されると、それに伴い、画像処理装置5から他の画像処理装置6,7に対して操作項目判別テーブル26が送信される。したがって、本実施形態では、ネットワーク9を介して接続された複数の画像処理装置5,6,7において操作項目判別テーブル26が共有して利用される。以下においては、画像処理装置5から他の画像処理装置6,7に対して操作項目判別テーブル26を送信して共有する場合を例示し、各画像処理装置5,6,7における動作についてより詳しく説明する。
図22は、画像処理装置5において操作項目判別テーブル26を更新する処理手順の一例を示すフローチャートである。この処理は、画像処理装置5の制御部10によって行われる。画像処理装置5において音声操作モードがオンになっていると(ステップS100でYES)、制御部10は音声入力が行われたか否かを判断し(ステップS101)、音声入力がない場合は、音声入力を待機する状態となる(ステップS101でNO)。そして音声入力が行われると(ステップS101でYES)、制御部10は音声認識辞書25に基づいて音声認識処理を行い(ステップS102)、続いて操作項目判別テーブル26に基づいて操作項目特定処理を行う(ステップS103)。そして制御部10は入力した音声ワードに対応する操作項目を特定できたか否かを判断し(ステップS104)、操作項目を特定することができた場合には、その特定した操作項目を画像処理装置2に反映する処理を実行する(ステップS105)。操作項目を画像処理装置2に反映させる処理には、音声操作により選択された操作項目に対応する設定項目を設定する処理、その設定に伴って表示部14の表示画面を更新する処理、ジョブの実行を開始する処理、実行中のジョブを停止する処理、ジョブの実行開始や停止に伴って表示部14の表示画面を更新する処理などが含まれる。そして制御部10は、その反映した処理内容に基づいて音声操作履歴情報を生成し(ステップS106)、記憶装置21に保存されている音声操作履歴情報82を更新する(ステップS107)。
これに対し、入力した音声ワードから操作項目を特定することができなかった場合(ステップS104でNO)、制御部10は、操作項目判別テーブル26を更新するためのカスタマイズ処理を実行する(ステップS108)。
図23は、このカスタマイズ処理の詳細な処理手順の一例を示すフローチャートである。このカスタマイズ処理に進むと、制御部10は、音声認識処理によって認識された音声ワードを一時的に記憶する(ステップS110)。そして表示部14にメニュー画面を表示し(ステップS111)、ユーザによる手動操作を受け付ける(ステップS112)。ユーザによる手動操作が行われると、制御部10は、設定項目であるメニュー項目が操作されたか否かを判断する(ステップS113)。ここで設定項目であるメニュー項目が操作されたのではない場合、つまり選択項目であるメニュー項目が操作された場合(ステップS113でNO)、制御部10は、選択されたメニュー項目に対応する1段階下層のメニュー項目を表示すべく、表示部14の表示画面を更新する(ステップS114)。そしてステップS112〜S114を繰り返すことにより、最終的に、設定項目であるメニュー項目が操作された場合(ステップS113でYES)、制御部10は、そのメニュー項目に対応する設定を画像処理装置5に反映する(ステップS115)。
そして制御部10は、表示部14に登録確認画面を表示し、一時的に記憶している音声ワードと、その設定項目であるメニュー項目との組合せを操作項目判別テーブル26に新規に登録するか否かをユーザに確認する(ステップS116)。この登録確認画面が表示されているとき、ユーザが登録操作を行うと(ステップS117でYES)、制御部10は、一時的に記憶しておいた音声ワードを読み出し(ステップS118)、その音声ワードと操作項目(設定項目であるメニュー項目)とを対応付けて操作項目判別テーブル26に登録する(ステップS119)。このとき、制御部10は、カスタマイズテーブル54に含まれるユーザに対応したテーブル(図7に示したユーザテーブル55a,55b,55cや共有テーブル561a,561b,562a,562bなど)に対して音声ワードと操作項目との組合せを登録する。一方、ユーザが登録操作を行わなかった場合(ステップS117でNO)、制御部10は、一時的に記憶しておいた音声ワードを破棄し(ステップS120)、この処理を終了する。
このようにカスタマイズ処理(ステップS108)では、ユーザが手動操作を行ってメニュー項目に対する操作を行った場合、先に入力された音声ワードと、その操作されたメニュー項目とを対応付けて操作項目判別テーブル26に登録することができる。尚、ここでは、先に音声ワードを入力し、後にその音声ワードと対応付けるメニュー項目を手動操作で選択する場合を例示したが、この順序は逆であっても良く、例えば先にメニュー項目を選択しておき、後にそのメニュー項目と対応付ける音声ワードを入力するようにしても構わない。ただし、メニュー画面に対する一連の手動操作の流れの中で、その操作に対応付ける音声ワードを入力するように構成することが好ましく、そうすることでカスタマイズ処理を一連の操作手順の流れの中に組み込むことができるようになる。また、ここでは、メニュー画面に表示されるメニュー項目に音声ワードを対応付ける処理を例示したが、同様に、押しボタンキーに対して音声ワードを対応付けることもできる。
そして上記のようなカスタマイズ処理により、音声入力部16に入力された音声ワードがそのメニュー項目の呼称に完全に一致しないときでも、その音声ワードを当該メニュー項目に対応付けて操作項目判別テーブル26に追加登録することができる。これにより、ユーザの所望する音声ワードと操作項目との組合せを登録することができる。
図22のフローチャートに戻り、音声操作モードがオフであった場合(ステップS100でNO)、制御部10は、手動操作のみを受け付ける通常処理を行う(ステップS109)。この通常処理では、ユーザによる手動動作のみが受け付けられ、手動操作が行われた場合はその手動操作に基づく処理を行った後、手動操作履歴情報81が更新される。
次に図24は、画像処理装置5から画像処理装置6,7に対して操作項目判別テーブル26を送信する処理手順の一例を示すフローチャートである。このフローチャートにおいて、画像処理装置5で行われる操作項目判別テーブル送信処理は、例えば画像処理装置5の制御部10が一定周期毎に繰り返し行う処理である。画像処理装置5の制御部10は、記憶装置21に記憶している操作項目判別テーブル26が更新されたか否かを判断し(ステップS130)、更新されていない場合(ステップS130でNO)、この処理を終了する。これに対し、操作項目判別テーブル26が更新されている場合(ステップS130でYES)、次に制御部10は、ネットワーク9内に、操作項目判別テーブル26を送信すべき他の画像処理装置6,7が存在するか否かを確認する(ステップS131)。
この確認処理では、ネットワーク9に接続されている他の画像処理装置5,6のうち、例えば画像処理装置5に対して操作項目判別テーブル26のカスタマイズ操作を行ったユーザのユーザ属性と同じユーザ属性のユーザが登録されている画像処理装置があるか否かが確認される。そして同じユーザ属性のユーザが登録されている他の画像処理装置があった場合、その画像処理装置が、操作項目判別テーブル26の送信対象として抽出される。例えばユーザAが画像処理装置5を使用して操作項目判別テーブル26のカスタマイズを行った場合、そのユーザAが画像処理装置6,7を使用可能なユーザとして画像処理装置6,7のユーザ情報22に登録されていれば、それら画像処理装置6,7が操作項目判別テーブル26の送信対象として抽出される。またユーザAが画像処理装置6,7を使用可能なユーザとして画像処理装置6,7のユーザ情報22に登録されていない場合でも、ユーザAと同じグループに所属する他のユーザや、ユーザAとワークフローを共有する他のユーザが、画像処理装置6,7を使用可能なユーザとして画像処理装置6,7のユーザ情報22に登録されていれば、それら画像処理装置6,7が操作項目判別テーブル26の送信対象として抽出される。
そして画像処理装置5の制御部10は、操作項目判別テーブル26を送信すべき他の画像処理装置6,7が存在する場合(ステップS131でYES)、それらの他の画像処理装置6,7に対し、更新された操作項目判別テーブル26を送信する(ステップS132)。ここでは、図7に示した操作項目判別テーブル26の全体を送信しても良いし、カスタマイズテーブル54のみを送信しても良い。一方、操作項目判別テーブル26を送信すべき他の画像処理装置が存在しなかった場合(ステップS131でNO)、そのまま処理を終了する。
画像処理装置6,7は、ネットワーク9を介して画像処理装置5から操作項目判別テーブル26を受信すると、その受信した操作項目判別テーブル26をユーザの属性に応じて登録する処理(ステップS140)を実行する。ここでは、画像処理装置6,7の各記憶装置21に記憶されている操作項目判別テーブル26に対して受信したテーブルに含まれる情報を登録する処理が行われる。このとき、図7に示すユーザテーブルDB55と、共有テーブルDB56のいずれか一方、又は、双方に対し、ユーザの属性に応じて、受信したテーブルに含まれる情報が登録される。
以上のような処理により、画像処理装置5で更新された操作項目判別テーブル26が、ネットワーク9を介して他の画像処理装置6,7に送信される。そして画像処理装置6,7では、画像処理装置5から受信した操作項目判別テーブル26にある音声ワードと操作項目との組合せを利用して、音声操作を行うことができるようになる。そのため、本実施形態では、例えばユーザAが画像処理装置5を使用しているときに、メニュー項目「ネガポジ反転」を設定操作するための音声ワードとして「ハンテン」を登録した場合、画像処理装置5だけでなく、他の画像処理装置6,7を使用する際においても音声ワード「ハンテン」を入力すれば、それに対応する操作項目としてメニュー項目「ネガポジ反転」が特定されるようになる。
したがって、本実施形態においても、複数の画像処理装置を使用するユーザの操作性が向上する。また本実施形態では、同一グループに所属する複数のユーザが異なる画像処理装置を使用する場合、或いは、特定のワークフローに登録された複数のユーザが異なる画像処理装置を使用する場合、それら複数のユーザの少なくとも一人が1台の画像処理装置に対し、音声ワードと操作項目との組合せを登録すれば、それが他の画像処理装置にも反映されるため、各ユーザがそれぞれ異なる画像処理装置を使用する際にも共通した音声ワードで同じ音声操作を行うことができるようになるという利点がある。
次に、図25は、画像処理装置5,6,7において入力される音声ワードに対応した操作項目を特定するための処理手順の一例を示すフローチャートである。尚、この処理は、図12および図22に示した操作項目特定処理(ステップS13,S103)の詳細な処理手順に対応している。画像処理装置5,6,7の制御部10は、音声ワードの入力があった場合(ステップS150でYES)、画像処理装置の現在の状態がジョブの実行中であるか否かを判断する(ステップS151)。そしてジョブの実行中である場合(ステップS151でYES)、制御部10は、操作項目判別テーブル26においてジョブ実行中の優先設定(図8参照)がオンになっている音声ワードを優先的な判別対象として設定する(ステップS152)。ジョブ実行中は、操作項目判別テーブル26においてジョブ実行中の優先設定がオンになっている音声ワードを優先的な判別対象とすることで、例えばユーザが「テイシ」という音声ワードを発した場合、速やかにジョブの実行を停止させることができるようになる。
一方、ジョブの実行中でない場合(ステップS151でNO)、制御部10は、画像処理装置の現在の状態がスキャン送信機能やFAX送信機能などの送信宛先の選択操作中であるか、又は記憶装置21に記憶されている文書データの選択操作中であるかを判断する(ステップS154)。それらの選択操作中である場合(ステップS154でYES)、制御部10は、操作項目判別テーブル26の標準テーブル51および共有テーブルDB56(図7参照)を、判別対象に設定する(ステップS155)。ユーザが送信宛先や文書データを選択しているときには、操作項目判別テーブル26のうち、標準テーブル51と共有テーブルDB56に含まれる共有テーブル561a,561b,562a,562bとを判別対象として設定することで、より多くの音声ワードの中から入力した音声ワードに対応する操作項目を特定することができるため、操作項目を特定する際の精度が向上する。
さらに、送信宛先又は文書データの選択操作中でもない場合(ステップS154でNO)、制御部10は、操作項目判別テーブル26の標準テーブル51およびユーザテーブルDB55(図7参照)を判別対象に設定する(ステップS156)。この場合、ユーザは、操作パネル13に対して画像処理装置の各種機能を設定するためのメニュー項目を選択する操作を行っていると考えられるため、標準テーブル51と、そのユーザが独自に登録した音声ワードのみが登録されているユーザテーブル55a,55b,55cとを判別対象として設定することで、判別対象となる音声ワードの数を少なくすることができ、効率的に音声ワードに対応する操作項目を特定することができるようになる。
そして制御部10は、ステップS152,S155,S156のいずれかで設定した判別対象に基づいて、入力した音声ワードに対応する操作項目を特定する(ステップS153)。
画像処理装置5,6,7において入力する音声ワードに対応した操作項目を特定する際、上記のような処理を行うことにより、画像処理装置の現在の状況に応じて操作項目判別テーブル26における判別対象を切り替えることができる。特に、上記処理手順では、ジョブの実行中である場合は、ジョブの制御に関する音声ワードのみが優先的に判別対象として設定されるため、例えばユーザが実行中のジョブを停止させるための音声ワードを発すると、迅速にそれに対応する操作項目(ジョブの停止)を特定することができ、速やかにジョブを停止させることができる。またユーザが送信宛先や文書データの選択操作を行っているときには、標準テーブル51に加え、複数のユーザが登録して生成される共有テーブル56が判別対象となるので送信宛先や文書データを選択する際、より多くの判別対象の中から、音声ワードに対応する送信宛先や文書データを正確に選択することができるようになる。
次に、画像処理装置5が、他の画像処理装置6,7から音声操作履歴情報82又は操作項目判別テーブル26を取得する場合の別の処理手順について説明する。図26は、画像処理装置5が、他の画像処理装置6,7に対して共有情報の送信要求を行うことにより、音声操作履歴情報82や操作項目判別テーブル26などの共有情報を取得する処理手順の一例を示すフローチャートである。この処理は、例えば画像処理装置5において一定周期毎に繰り返し実行される。この処理が開始されると、画像処理装置5の制御部10は、ネットワーク9内に他の画像処理装置6,7が存在するか否かを判断する(ステップS161)。ここで他の画像処理装置6,7が存在しなかった場合(ステップS161でNO)、この処理は終了する。
一方、ネットワーク9内に他の画像処理装置6,7が存在する場合(ステップS161でYES)、画像処理装置5の制御部10は、それら他の画像処理装置6,7に対して音声操作履歴情報82や操作項目判別テーブル26などの共有情報の送信要求を行う(ステップS162)。この送信要求は、画像処理装置6,7によって受信される。
画像処理装置6,7の制御部10は、画像処理装置5から共有情報の送信要求を受信すると(ステップS170)、それぞれの記憶装置21から音声操作履歴情報82と操作項目判別テーブル26とを読み出し、画像処理装置5に送信する(ステップS171)。ここで送信される共有情報は、画像処理装置5によって受信される。
画像処理装置5の制御部10は、画像処理装置6,7から送信される音声操作履歴情報82と操作項目判別テーブル26と受信する(ステップS163)。そして画像処理装置5では、その受信した音声操作履歴情報82と操作項目判別テーブル26との中から、その時点で自機に登録されていない新規な情報を抽出し(ステップS164)、その抽出した新規な情報のみを、記憶装置21に記憶している音声操作履歴情報82と操作項目判別テーブル26とに追加登録し、共有情報を更新する(ステップS165)。以上で、処理が終了する。
図26のフローチャートでは、画像処理装置5が、他の画像処理装置6,7に対して送信要求を行うことにより、それら他の画像処理装置6,7から音声操作履歴情報82と操作項目判別テーブル26との共有情報を取得する。そのため、この処理手順の場合、例えば画像処理装置6,7において共有情報が更新されたとき、画像処理装置5の電源がオフとなっていて画像処理装置6,7から送信される共有情報を受信することができなった場合でも、その後、画像処理装置5の電源がオンとなったときに、他の画像処理装置6,7から共有情報を取得することができるようになる。
(変形例)
以上、本発明に関するいくつかの実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。すなわち、本発明には、上述した実施形態以外にも種々の変形例が適用可能である。
例えば、上述した実施形態では、一の画像処理装置から他の画像処理装置に対して音声操作履歴情報82や操作項目判別テーブル26などの共有情報を送信する際、一の画像処理装置から他の画像処理装置に対して直接送信する場合を例示したが、これに限定されるものではない。つまり、一の画像処理装置から他の画像処理装置に対して音声操作履歴情報82や操作項目判別テーブル26などの共有情報を送信する際、例えば共有情報管理サーバなどの中継装置を介して他の画像処理装置に送信するように構成しても構わない。
また上述した実施形態では、画像処理装置が、コピー機能、プリンタ機能、スキャナ機能、FAX機能などの複数の機能を備えている場合を例示したが、これに限定されるものでもない。すなわち、画像処理装置は、上記複数の機能のうち、少なくとも1つを備えた装置であっても構わない。
また上述した実施形態では、音声認識部33が参照する音声認識辞書と、操作項目特定部34が参照する操作項目判別テーブル26とを区別して説明したが、音声認識辞書と操作項目判別テーブルとを統合したテーブルを音声入力処理部32が参照するように構成しても構わない。
1,1a 画像処理システム
2,3,4,5,6,7 画像処理装置
9 ネットワーク
10 制御部
13 操作パネル
16 音声入力部(音声入力手段)
21 記憶装置(記憶手段)
26 操作項目判別テーブル
27 操作履歴情報データベース
28 個人履歴情報データベース
28a,28b,28c 個人履歴情報
29 共有履歴情報データベース
34 操作項目特定部(操作項目特定手段)
35 音声操作制御部(音声操作制御手段)
40 実行処理部
42 表示制御部(表示制御手段)
44 履歴情報生成部(履歴情報生成手段)
45 テーブルカスタマイズ部(テーブルカスタマイズ手段)
46 共有情報送信処理部(送信手段)
47 共有情報取得処理部(取得手段)
48 音声操作履歴反映部(音声操作履歴反映手段)
55 ユーザテーブルデータベース
56 共有テーブル
81 手動操作履歴情報
82 音声操作履歴情報
291 ワークフロー共有履歴情報データベース
291a,291b ワークフロー共有履歴情報
292 グループ共有履歴情報データベース
292a,292b グループ共有履歴情報

Claims (6)

  1. ネットワークに接続可能な画像処理装置であって、
    メニュー画面を表示し、該メニュー画面に対する手動操作を受け付ける操作パネルと、
    音声を入力する音声入力手段と、
    前記音声入力手段より入力された音声ワードに基づいて、前記メニュー画面に表示されるメニュー項目のうちから操作対象となる操作項目を特定する操作項目特定手段と、
    前記特定された操作項目に対応する処理を実行させる音声操作制御手段と、
    前記特定された操作項目に対応する処理が実行された場合、前記音声入力手段より入力された音声ワードと、前記操作項目特定手段が特定した操作項目とを関連付けた音声操作履歴情報を生成する履歴情報生成手段と、
    前記履歴情報性生成手段によって生成される前記音声操作履歴情報を、前記ネットワークを介して他の画像処理装置に送信する送信手段と、
    を備え
    前記メニュー項目は段階的に手動操作が行われる階層構造となっており、
    前記操作パネルは、音声操作が行われたメニュー項目の上位階層のメニュー項目が表示されるメニュー画面に、前記音声操作履歴情報に含まれる音声ワードを表示することを特徴とする画像処理装置。
  2. 前記操作項目特定手段は、前記音声入力手段より入力された音声ワードが、前記操作項目であるメニュー項目の呼称に一致していない場合でも、前記操作項目を特定し、
    前記履歴情報生成手段は、前記音声入力手段より入力された音声ワードと、前記操作項目特定手段が特定した操作項目であるメニュー項目とを関連付けた音声操作履歴情報を生成することを特徴とする請求項1記載の画像処理装置。
  3. 前記ネットワークを介して他の画像処理装置が生成した音声操作履歴情報を取得する取得手段をさらに備え、
    前記取得手段が取得する音声操作履歴情報を、前記履歴情報生成手段が生成する前記音声操作履歴情報に組み込むことを特徴とする請求項1又は2に記載の画像処理装置。
  4. ネットワークに接続可能な画像処理装置であって、
    メニュー画面を表示し、該メニュー画面に対する手動操作を受け付ける操作パネルと、
    前記ネットワークを介して、音声ワードに基づいて操作対象となる操作項目を特定し当該特定された操作項目に対する音声操作を行う音声操作機能を備えた他の画像処理装置から、音声操作の履歴である音声操作履歴情報を取得する取得手段と、
    前記取得手段により取得される前記音声操作履歴情報に基づいて、前記メニュー画面に表示されるメニュー項目と、前記音声ワードとを対応付ける音声操作履歴反映手段と、
    前記音声操作履歴反映手段により対応付けられた音声ワードを前記操作パネルに表示する表示制御手段と、
    を備え
    前記メニュー画面に表示されるメニュー項目は段階的に手動操作が行われる階層構造となっており、
    前記表示制御手段は、前記操作パネルにおいて、前記メニュー画面に表示するメニュー項目の最上位階層に、前記音声ワードを表示することを特徴とする画像処理装置。
  5. 前記音声操作履歴反映手段は、前記音声ワードと対応付けられるメニュー項目が当該画像処理装置において有効な項目である場合にのみ、前記音声ワードの対応付けを行うことを特徴とする請求項に記載の画像処理装置。
  6. 音声操作機能を有する第1の画像処理装置と、前記第1の画像処理装置とは異なる第2の画像処理装置とがネットワークを介して前記第1の画像処理装置における音声操作履歴情報を共有する方法であって、
    前記第1の画像処理装置において、
    音声ワードを入力するステップと、
    その入力された音声ワードに基づいて、操作パネルにおけるメニュー画面に表示されるメニュー項目のうちから操作対象となる操作項目を特定するステップと、
    前記特定された操作項目に対応する処理を実行させるステップと、
    前記特定された操作項目に対応する処理が実行された場合に、前記音声ワードと、前記操作項目とを関連付けた音声操作履歴情報を生成するステップと、
    前記音声操作履歴情報を、前記ネットワークを介して前記第2の画像処理装置に送信するステップと、
    を行い、
    前記第2の画像処理装置において、
    前記ネットワークを介して前記第1の画像処理装置から送信される前記音声操作履歴情報を取得するステップと、
    前記取得された音声操作履歴情報に基づいて、当該音声操作履歴情報に含まれる前記音声ワードを操作パネルのメニュー画面におけるメニュー項目と対応付けるステップと、
    前記メニュー項目に対応付けられた前記音声ワードを前記操作パネルに表示するステップと、
    を行う構成であり、
    前記メニュー画面に表示されるメニュー項目は段階的に手動操作が行われる階層構造となっており、
    前記第2の画像処理装置において前記音声ワードを前記操作パネルに表示する際には、前記メニュー画面に表示するメニュー項目の最上位階層に、前記音声ワードを表示することを特徴とする音声操作履歴情報共有方法。
JP2009183279A 2009-08-06 2009-08-06 画像処理装置および音声操作履歴情報共有方法 Expired - Fee Related JP4826662B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009183279A JP4826662B2 (ja) 2009-08-06 2009-08-06 画像処理装置および音声操作履歴情報共有方法
US12/842,159 US20110035671A1 (en) 2009-08-06 2010-07-23 Image processing device, method of sharing voice operation history, and method of sharing operation item distinguish table

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009183279A JP4826662B2 (ja) 2009-08-06 2009-08-06 画像処理装置および音声操作履歴情報共有方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011164958A Division JP5187419B2 (ja) 2011-07-28 2011-07-28 画像処理装置および操作項目判別テーブル共有方法

Publications (2)

Publication Number Publication Date
JP2011039571A JP2011039571A (ja) 2011-02-24
JP4826662B2 true JP4826662B2 (ja) 2011-11-30

Family

ID=43535720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009183279A Expired - Fee Related JP4826662B2 (ja) 2009-08-06 2009-08-06 画像処理装置および音声操作履歴情報共有方法

Country Status (2)

Country Link
US (1) US20110035671A1 (ja)
JP (1) JP4826662B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5907599B2 (ja) * 2011-11-16 2016-04-26 キヤノン株式会社 情報処理装置、その制御方法、並びにプログラム
US9489940B2 (en) 2012-06-11 2016-11-08 Nvoq Incorporated Apparatus and methods to update a language model in a speech recognition system
JP2014203208A (ja) * 2013-04-03 2014-10-27 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP6768268B2 (ja) * 2015-07-03 2020-10-14 キヤノン株式会社 画像送信装置及びその制御方法、プログラム
US10416865B2 (en) * 2016-05-19 2019-09-17 Welch Allyn, Inc. Medical device with enhanced user interface controls
CN107863133A (zh) * 2017-10-27 2018-03-30 广州视源电子科技股份有限公司 语音备忘方法、装置、医疗护理设备及存储介质
KR102515023B1 (ko) * 2018-02-23 2023-03-29 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7047592B2 (ja) * 2018-05-22 2022-04-05 コニカミノルタ株式会社 操作画面の表示装置、画像処理装置及びプログラム
JP2019215485A (ja) * 2018-06-14 2019-12-19 コニカミノルタ株式会社 画像形成装置、画像形成システム、制御方法および制御プログラム
JP2020009258A (ja) * 2018-07-10 2020-01-16 キヤノン株式会社 情報処理装置、制御方法、およびそのプログラム
JP7331981B2 (ja) * 2018-09-28 2023-08-23 ブラザー工業株式会社 画像処理装置
JP7206827B2 (ja) * 2018-11-13 2023-01-18 コニカミノルタ株式会社 システム、画像形成装置、方法およびプログラム
JP7192477B2 (ja) * 2018-12-18 2022-12-20 コニカミノルタ株式会社 画像形成装置、画像形成装置の制御方法およびプログラム
JP2020107130A (ja) * 2018-12-27 2020-07-09 キヤノン株式会社 情報処理システム、情報処理装置、制御方法、プログラム
JP7159892B2 (ja) * 2019-02-04 2022-10-25 コニカミノルタ株式会社 画像形成装置、画像形成システム、および情報処理方法
JP7255268B2 (ja) * 2019-03-22 2023-04-11 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
JP7334459B2 (ja) * 2019-04-25 2023-08-29 コニカミノルタ株式会社 情報処理システム及びプログラム
JP7430034B2 (ja) * 2019-04-26 2024-02-09 シャープ株式会社 画像形成装置、画像形成方法及びプログラム
US11838459B2 (en) * 2019-06-07 2023-12-05 Canon Kabushiki Kaisha Information processing system, information processing apparatus, and information processing method
JP7318381B2 (ja) * 2019-07-18 2023-08-01 コニカミノルタ株式会社 画像形成システムおよび画像形成装置
JP7409147B2 (ja) * 2020-02-21 2024-01-09 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
US11212399B1 (en) * 2020-12-18 2021-12-28 Xerox Corporation Multi-function device with grammar-based workflow search

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109560B2 (ja) * 1990-11-30 1995-11-22 富士通テン株式会社 音声認識装置
US6701095B1 (en) * 1999-01-08 2004-03-02 Ricoh Company, Ltd. Office information system having a device which provides an operational message of the system when a specific event occurs
US6766298B1 (en) * 1999-09-03 2004-07-20 Cisco Technology, Inc. Application server configured for dynamically generating web pages for voice enabled web applications
US6925432B2 (en) * 2000-10-11 2005-08-02 Lucent Technologies Inc. Method and apparatus using discriminative training in natural language call routing and document retrieval
US20020077823A1 (en) * 2000-10-13 2002-06-20 Andrew Fox Software development systems and methods
US7020841B2 (en) * 2001-06-07 2006-03-28 International Business Machines Corporation System and method for generating and presenting multi-modal applications from intent-based markup scripts
US7324947B2 (en) * 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US7036080B1 (en) * 2001-11-30 2006-04-25 Sap Labs, Inc. Method and apparatus for implementing a speech interface for a GUI
US7149694B1 (en) * 2002-02-13 2006-12-12 Siebel Systems, Inc. Method and system for building/updating grammars in voice access systems
US7246063B2 (en) * 2002-02-15 2007-07-17 Sap Aktiengesellschaft Adapting a user interface for voice control
US7519534B2 (en) * 2002-10-31 2009-04-14 Agiletv Corporation Speech controlled access to content on a presentation medium
AU2003214512A1 (en) * 2003-04-07 2004-11-01 Nokia Corporation Method and device for providing speech-enabled input in an electronic device having a user interface
US8788271B2 (en) * 2004-12-22 2014-07-22 Sap Aktiengesellschaft Controlling user interfaces with contextual voice commands
JP4622589B2 (ja) * 2005-03-08 2011-02-02 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP2006268138A (ja) * 2005-03-22 2006-10-05 Fuji Xerox Co Ltd 画像形成装置、情報処理方法、情報処理プログラム、及びピアツーピアシステム
JP2007102012A (ja) * 2005-10-06 2007-04-19 Canon Inc 画像形成装置
JP4963939B2 (ja) * 2006-11-15 2012-06-27 京セラドキュメントソリュ−ションズ株式会社 画像形成装置のパネルカスタマイズ方法
US20080133245A1 (en) * 2006-12-04 2008-06-05 Sehda, Inc. Methods for speech-to-speech translation
US8230200B2 (en) * 2007-05-10 2012-07-24 Ricoh Company, Limited Image forming apparatus capable of creating, managing and using job history and control method for the same
JP2011503638A (ja) * 2007-10-26 2011-01-27 本田技研工業株式会社 カーナビゲーションシステムのための自由会話命令分類の改良

Also Published As

Publication number Publication date
US20110035671A1 (en) 2011-02-10
JP2011039571A (ja) 2011-02-24

Similar Documents

Publication Publication Date Title
JP4826662B2 (ja) 画像処理装置および音声操作履歴情報共有方法
JP5187419B2 (ja) 画像処理装置および操作項目判別テーブル共有方法
US10298790B2 (en) Image-forming apparatus, system, information processing method and storage medium for causing an operation screen to be displayed based on display language information
JP4270269B2 (ja) 通信システム、印刷装置、ユーザ端末装置及びプログラム
US10027827B2 (en) Image forming apparatus capable of customizing operation screen based on personal setting information and method for controlling image forming apparatus
JP7367750B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP2004252862A (ja) ログイン装置とその制御方法並びにデータ処理装置及び方法
JP4920460B2 (ja) キックスタート機能によるプリント方法及び装置
US10972632B2 (en) Information processing apparatus with voice print authentication and program
JP2007142912A (ja) 操作パネルおよび操作パネルのカスタマイズシステム
JP7159892B2 (ja) 画像形成装置、画像形成システム、および情報処理方法
JP7206881B2 (ja) 情報処理装置及びプログラム
JP7192220B2 (ja) 画像処理装置、情報処理装置及びプログラム
JP2019215673A (ja) 画像形成装置及びその制御方法、並びにプログラム
JP7293963B2 (ja) 情報処理装置及び情報処理プログラム
JP2011182038A (ja) 画像処理装置、画像処理システムおよび表示画面制御方法
JP2006270512A (ja) 情報処理装置および情報処理プログラム
JP4813421B2 (ja) 画像形成システム及び画像形成システム用プログラム並びに画像形成システム用プログラムを記録したコンピュータ読み取り可能な記録媒体
EP3716040A1 (en) Image forming apparatus and job execution method
JP2015089067A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP2008236752A (ja) 複写又は走査の設定に対するユーザの好みの自動検出
JP2023056252A (ja) 画像処理装置及び履歴情報の表示方法
JP7314499B2 (ja) 情報処理システム、情報処理装置、ジョブ制御方法およびジョブ制御プログラム
JP7205308B2 (ja) ジョブ生成装置、画像処理装置、ジョブ生成方法およびジョブ生成プログラム
JP6992332B2 (ja) 画像処理システム、画像処理装置、端末装置及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees