JP7430126B2 - 情報処理装置、印刷システム、制御方法及びプログラム - Google Patents

情報処理装置、印刷システム、制御方法及びプログラム Download PDF

Info

Publication number
JP7430126B2
JP7430126B2 JP2020147119A JP2020147119A JP7430126B2 JP 7430126 B2 JP7430126 B2 JP 7430126B2 JP 2020147119 A JP2020147119 A JP 2020147119A JP 2020147119 A JP2020147119 A JP 2020147119A JP 7430126 B2 JP7430126 B2 JP 7430126B2
Authority
JP
Japan
Prior art keywords
file
keyword
utterance
unit
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020147119A
Other languages
English (en)
Other versions
JP2022041741A (ja
Inventor
洋樹 棟朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2020147119A priority Critical patent/JP7430126B2/ja
Priority to US17/462,961 priority patent/US20220068276A1/en
Publication of JP2022041741A publication Critical patent/JP2022041741A/ja
Application granted granted Critical
Publication of JP7430126B2 publication Critical patent/JP7430126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00403Voice input means, e.g. voice commands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Record Information Processing For Printing (AREA)

Description

本開示は、情報処理装置等に関する。
従来から、音声により装置の操作を行う技術が知られている。例えば、入力される音声と既に登録された音声とを比較し、該比較結果に基づいて、入力された音声に対応付けられた像形成モードの呼び出しを制御する画像形成装置が提案されている(例えば、特許文献1参照)。また、GUI(グラフイカル・ユーザ・インタフェース)画面上で選択可能なオブジェクト上またはその近辺に音声認識用の発声すべきキーワードまたは識別用通し番号等を文字で表示するマンマシンインタフェース装置が提案されている(例えば、特許文献2参照)。
特開2000-181292 特開2000-267837
特許文献1及び特許文献2に開示された技術は、装置が有しているモードや機能と音声とを対応させるものであり、ファイルを選択する場合は考慮されていない。ここで、ファイルを選択する場合において、ファイル名が長いときは、ユーザがファイルを読み上げるのに手間がかかるという課題がある。また、ファイル名に記号やアルファベットが含まれる場合など、読み方が難しい場合があるという課題がある。
上述した課題に鑑み、本開示は、音声操作により適切にファイルを特定することが可能な情報処理装置等を提供することを目的とする。
上述した課題を解決するために、本開示の情報処理装置は、
入力された第1の音声から認識されたキーワードを取得する取得部と、
前記キーワードを用いてファイルを絞り込む絞り込み部と、
前記絞り込み部によって絞り込まれたファイルに基づく発話内容を発話する処理を実行する発話処理部と、
前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定する特定部と、
を備えることを特徴とする。
本開示のシステムは、
情報処理装置と画像形成装置とを含んだ印刷システムであって、
前記情報処理装置は、
入力された第1の音声から認識されたキーワードを取得する取得部と、
前記画像形成装置が出力可能なファイルのうち、前記キーワードを用いてファイルを絞り込む絞り込み部と、
前記絞り込み部によって絞り込まれたファイルに基づく発話内容を発話する処理を実行する発話処理部と、
前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定するファイル特定部と、
を備え、
前記画像形成装置は、
前記ファイル特定部によって特定されたファイルの画像を形成する画像形成部
を備えることを特徴する。
本開示の制御方法は、
入力された第1の音声から認識されたキーワードを取得するステップと、
前記キーワードを用いてファイルを絞り込むステップと、
絞り込まれた前記ファイルに基づく発話内容を発話する処理を実行するステップと、
前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定するステップと、
を含むことを特徴とする。
本開示のプログラムは、
コンピュータに、
入力された第1の音声から認識されたキーワードを取得する機能と、
前記キーワードを用いてファイルを絞り込む機能と、
絞り込まれた前記ファイルに基づく発話内容を発話する処理を実行する機能と、
前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定する機能と、
を実現させることを特徴とする。
本開示によれば、音声操作により適切にファイルを特定することが可能となる。
第1実施形態におけるシステムの全体構成を説明するための図である。 第1実施形態における音声入出力装置の機能構成を説明するための図である。 第1実施形態における音声認識サーバの機能構成を説明するための図である。 第1実施形態における対話サーバの機能構成を説明するための図である。 第1実施形態における判定テーブルのデータ構成の一例を示した図である。 第1実施形態における蓄積ファイル情報のデータ構成の一例を示した図である。 第1実施形態における画像形成装置の機能構成を説明するための図である。 第1実施形態における処理の流れを説明するためのシーケンス図である。 第1実施形態における処理の流れを説明するためのシーケンス図である。 第1実施形態におけるファイル名発話処理の流れを説明するためのフロー図である。 第1実施形態におけるサムネイル表示処理の流れを説明するためのフロー図である。 第1実施形態における動作例を説明するための図である。 第1実施形態における動作例を説明するための図である。 第1実施形態における動作例を説明するための図である。 第2実施形態における判定テーブルのデータ構成の一例を示した図である。 第2実施形態における処理の流れを説明するためのシーケンス図である。 第2実施形態におけるファイル絞り込み処理の流れを説明するためのフロー図である。 第2実施形態におけるファイル名発話処理の流れを説明するためのフロー図である。 第2実施形態におけるファイル表示処理の流れを説明するためのフロー図である。 第2実施形態における動作例を説明するための図である。 第2実施形態における動作例を説明するための図である。 第3実施形態における処理の流れを説明するためのシーケンス図である。 第3実施形態における複合絞り込み処理の流れを説明するためのフロー図である。 第3実施形態におけるファイル名発話処理の流れを説明するためのフロー図である。 第3実施形態におけるサムネイル表示処理の流れを説明するためのフロー図である。 第3実施形態におけるサムネイル表示処理の流れを説明するためのフロー図である。 第3実施形態における動作例を説明するための図である。
以下、図面を参照して本開示を実施するための一実施形態について説明する。なお、以下の実施形態は、本開示を説明するための一例であり、特許請求の範囲に記載した発明の技術的範囲が、以下の記載に限定されるものではない。
[1.第1実施形態]
[1.1 全体構成]
図1は、本開示に基づく情報処理装置である対話サーバ30を含む印刷システム1の概略を示した図である。印刷システム1には、音声入出力装置10と、音声認識サーバ20と、対話サーバ30と、画像形成装置40とが含まれる。
印刷システム1において、音声入出力装置10と音声認識サーバ20、音声認識サーバ20と対話サーバ30、対話サーバ30と画像形成装置40とは、インターネット等のネットワークによってそれぞれ接続されている。なお、各装置は、相互に情報を交換可能であれば、インターネット以外のネットワークによって接続されてもよい。
音声入出力装置10はユーザが発した音声(発話内容)を入力し、音声信号(例えば、音声データや音声ストリーム)として音声認識サーバ20へ送信したり、音声認識サーバ20から受信した音声信号に基づく音声を出力したりする装置である。音声入出力装置10は、例えば、スマートスピーカー等により構成される。
音声認識サーバ20は、音声信号に基づく音声を認識し、認識結果を所定の装置に送信する情報処理装置(例えば、サーバ装置)である。
対話サーバ30は、対話サービスを提供する情報処理装置(例えば、サーバ装置)である。対話サービスとは、ユーザとの対話を実現することで、ユーザに所定の情報を提供するサービスである。本実施形態では、対話サーバ30は、画像形成装置40の情報を音声入出力装置10から音声により出力させることで、ユーザに対して画像形成装置40の情報を提供する。
画像形成装置40は、コピー機能、印刷機能、スキャナ機能、ファクシミリ送受信機能等を実現するデジタル複合機である。
[1.2 機能構成]
[1.2.1 音声入出力装置]
音声入出力装置10の機能構成について、図2を参照して説明する。図2に示すように、音声入出力装置10は、制御部100と、音声入力部110と、音声出力部120と、通信部130と、記憶部140とを備える。
制御部100は、音声入出力装置10の全体を制御する。制御部100は、各種プログラムを読み出して実行することにより各種機能を実現しており、例えば、1又は複数の演算装置(CPU(Central Processing Unit))等により構成される。
音声入力部110は、ユーザによって入力された音声を音声信号に変換して制御部100へ出力する機能部である。音声入力部110は、マイク等の音声入力装置によって構成される。また、音声出力部120は、音声信号に基づく音声を出力する機能部である。音声出力部120は、スピーカー等の音声出力装置によって構成される。
通信部130は、音声入出力装置10が音声認識サーバ20等の外部機器と通信を行う。例えば、通信部130は、無線LANで利用されるNIC(Network Interface Card)や、LTE(Long Term Evolution)/LTE-A(LTE-Advanced)/LAA(License-Assisted Access using LTE)/5G回線に接続可能な通信モジュール(通信装置)により構成される。
記憶部140は、音声入出力装置10の動作に必要な各種プログラムや、各種データを記憶する。記憶部140は、例えば、半導体メモリであるSSD(Solid State Drive)や、HDD(Hard Disk Drive)等の記憶装置により構成される。
なお、本実施形態では、制御部100は、記憶部140に記憶されたプログラムを読み出して実行することで音声送信部102、音声受信部104として機能する。
音声送信部102は、音声入力部110から出力される音声信号に変換し、音声認識サーバ20へ送信する。音声受信部104は、音声認識サーバ20から受信した音声信号に基づく音声を、音声出力部120から出力する。
[1.2.2 音声認識サーバ]
音声認識サーバ20の機能構成について、図3を参照して説明する。図3に示すように、音声認識サーバ20は、制御部200と、通信部210と、記憶部220とを備える。
制御部200は、音声認識サーバ20の全体を制御する。制御部200は、各種プログラムを読み出して実行することにより各種機能を実現しており、例えば、1又は複数の演算装置(CPU)等により構成される。
制御部200は、記憶部220に記憶されたプログラムを読み出して実行することで音声認識部202、音声合成部204、連携部206として機能する。
音声認識部202は、外部の装置(例えば、音声入出力装置10)から受信した音声信号に基づく音声を認識する。音声合成部204は、外部の装置(例えば、対話サーバ30)から受信したテキストデータに基づき音声合成を行う。なお、本実施形態では、音声合成を行う対象となるテキストデータを、発話文章データという。
連携部206は、音声信号を送信する装置(例えば、音声入出力装置10)と、対話サービスを提供する装置(例えば、対話サーバ30)とを連携させる。
例えば、連携部206は、音声認識部202によって音声入出力装置10から受信した音声信号が認識された場合、認識結果に基づき、認識結果を音声認識サーバ20と接続された所定のサーバに送信する。認識結果は、例えば、ユーザが発した音声(発話内容)を示すテキストデータ(文字列)である。連携部206は、音声認識部202による認識結果に、対話サーバ30によって提供される対話サービスの利用の要求を示す文字列が含まれる場合、連携部206は、対話サーバ30に対話サービスの利用を要求する情報を送信する。なお、本実施形態では、所定のサーバによって提供されるサービスの利用を要求するためにユーザによって入力される音声(発話内容)を、ウェイクワードという。ユーザはウェイクワードを入力することで、所望する対話サービスを利用することが可能となる。
また、連携部206は、認識結果の送信先となったサーバから受信した発話文章データに基づく音声合成が音声合成部204によって実行された場合、音声合成の結果である音声(合成音声)を音声信号に変換し、音声入出力装置10へ送信する。さらに、合成音声の送信先となった音声入出力装置10から、再度、音声信号を受信した場合、連携部206は、当該音声信号に基づく認識結果を、再度、同じサーバに送信する。このようにすることで、連携部206は、ユーザとサーバとにおける連続した対話を実現させる。
通信部210は、音声認識サーバ20が音声入出力装置10や対話サーバ30等の外部機器と通信を行う。通信部210は、例えば、ネットワークに接続可能なインタフェースを有し、有線/無線LAN(Local Area Network)を介して他の装置と通信が可能なNIC(Network Interface Card)等の通信モジュール(通信装置)により構成される。
記憶部220は、音声認識サーバ20の動作に必要な各種プログラムや、各種データを記憶する。記憶部220は、例えば、半導体メモリであるSSDや、HDD等の記憶装置により構成される。
[1.2.3 対話サーバ]
対話サーバ30の機能構成について、図4を参照して説明する。図4に示すように、対話サーバ30は、制御部300と、通信部320と、記憶部330とを備える。
制御部300は、対話サーバ30の全体を制御する。制御部300は、各種プログラムを読み出して実行することにより各種機能を実現しており、例えば、1又は複数の演算装置(CPU)等により構成される。
制御部300は、記憶部330に記憶されたプログラムを読み出して実行することで、対話処理部302、ファイル名発話処理部304、短縮表現発話処理部306、コマンド送信部308として機能する。
対話処理部302は、音声入出力装置10から、発話文章データに基づく音声を出力(発話)させる発話処理を行うことで、対話サービスを実現させるための処理を実行する。例えば、対話処理部302は、音声認識サーバ20からユーザによって入力された音声(発話内容)の認識結果を受信し、ユーザによる発話内容に対する応答となる発話内容を示した発話文章データを音声認識サーバ20に送信する。
ファイル名発話処理部304は、画像形成装置40が出力可能なファイルのファイル名を含む発話内容を音声入出力装置10から出力(発話)させる発話処理を実行する。
短縮表現発話処理部306は、画像形成装置40が出力可能なファイルのファイル名の短縮表現を含む発話内容を音声入出力装置10から出力(発話)させる発話処理を実行する。本実施形態において、短縮表現とは、ファイル名の一部を省略した表現をいう。
コマンド送信部308は、画像形成装置40に対してコマンドを送信する。コマンドとは、画像形成装置40に所定の処理を実行させるために画像形成装置40に対して送信される指示や要求をいう。
通信部320は、対話サーバ30が、音声認識サーバ20や画像形成装置40等の外部の装置と通信を行うための機能部である。通信部320は、例えば、有線/無線LANで利用されるNIC等の通信モジュール(通信装置)により構成される。
記憶部330は、対話サーバ30の動作に必要な各種プログラムや、各種データを記憶する。記憶部330は、例えば、半導体メモリであるSSDや、HDD等の記憶装置により構成される。
記憶部330には、判定テーブル332及び蓄積ファイル情報334が記憶される。判定テーブル332は、図5に示すように、キーワードの属性(例えば、「ファイルの種類(写真)」)と、キーワード(例えば、「写真、画像、JPEG、PNG、TIFF」)とが対応付けて記憶される。
ここで、ファイルの種類とはファイルの形式を示す。本実施形態では、ファイルの種類は「写真」「文書」「表計算」「プレゼンテーション(プレゼン)」の何れかであるとして説明する。なお、「写真」は、ファイルの形式が画像であることを示す。そのため、ファイルの種類は、「写真」ではなく「画像」と表現されてもよい。このように、ファイルの種類の表現は、画像形成装置40の利用状況や仕様や能力等に応じて、対話サーバ30の管理者等が適宜定めればよい。なお、画像形成装置40によって出力可能なファイルの種類が他にもある場合は、上述したファイルの種類以外の種類に対応するキーワードが記憶されてもよい。また、上述したファイルの種類のうち、一部の種類に対応するキーワードのみが記憶されてもよい。
蓄積ファイル情報334は、画像形成装置40によって出力可能なファイルである蓄積ファイルに関する情報を含むテーブルである。蓄積ファイル情報334は、例えば、図6に示すように、通し番号(No.)と、ファイル名(例えば、「夕焼けの海.jpg」)と、ファイルの種類(例えば、「写真」)と、当該ファイルの更新日時(例えば、「2019/12/03 8:30」)と、当該ファイルの作成者(例えば、「山田大輔」)と、当該ファイルのファイル名に含まれる単語(例えば、「夕焼」「海」)とが対応付けて記憶される。
蓄積ファイルは、画像形成装置40によって取得されるファイルである。蓄積ファイルは、例えば、後述する画像形成装置40の記憶部460に記憶(蓄積、格納)されたり、画像形成装置40が接続可能な装置(例えば、NAS(Network Attached Storage))や外部のストレージサービスに記憶(蓄積、格納)されたりする。
[1.2.4 画像形成装置]
画像形成装置40の機能構成について、図7を参照して説明する。図7に示すように、画像形成装置40は、制御部400と、画像入力部410と、原稿読取部420と、画像形成部430と、操作部440と、表示部450と、記憶部460と、通信部490とを備える。
制御部400は、画像形成装置40の全体を制御するための機能部である。制御部400は、各種プログラムを読み出して実行することにより各種機能を実現しており、例えば、1又は複数の演算装置(CPU)等により構成される。
制御部400は、記憶部460に記憶されたプログラムを読み出して実行することで、画像処理部402、ユーザ認証部404として機能する。
画像処理部402は、画像入力部410や原稿読取部420によって入力及び読み取りがされた画像データに対して、鮮鋭化処理や色変換処理といった各種画像処理を実行する。また、画像処理部402は、画像データを、画像形成部430によって出力可能な画像データである印刷データに変換し、印刷データ記憶領域464に記憶する。
ユーザ認証部404は、画像形成装置40を使用するユーザの認証を行う。例えば、ユーザ認証部404は、操作部440から入力されたユーザ名とパスワードに基づき、画像形成装置40の使用を許可されたユーザであるか否かを判定する。例えば、ユーザ認証部404は、ユーザ情報記憶領域466に記憶されたユーザに関する情報(ユーザ情報)として記憶されたユーザ名及びパスワードと、ユーザによって入力されたユーザ名及びパスワードとが一致するか否かによって行う。ユーザ認証は、ユーザの生体情報に基づく認証(例えば、指紋認証、掌紋認証、顔認証、音声認証、虹彩認証等)であってもよいし、認証サーバを使用する方法であってもよく、公知の方法を用いて実現されればよい。
画像入力部410は、画像形成装置40に画像データを入力する。画像入力部410は、USB(Universal Serial Bus)メモリや、SDカード等の記憶媒体に記憶された画像データを入力してもよいし、通信部490を介して他の端末装置から取得された画像データを入力してもよい。
原稿読取部420は、画像を読み取って画像データを生成する。原稿読取部420は、例えば、CCD(Charge Coupled Device)やCIS(Contact Image Sensor)等のイメージセンサによって画像を電気信号に変換し、電気信号を量子化及び符号化することでデジタルデータを生成するスキャナ装置等により構成される。
画像形成部430は、印刷データに基づく画像を記録媒体(例えば記録用紙)に形成する。画像形成部430は、例えば、電子写真方式を利用したレーザプリンタ等により構成される。
操作部440は、ユーザによる操作指示を受け付ける。操作部440は、例えば、ハードキー(例えば、テンキー)やボタン等により構成される。表示部450は、ユーザに各種情報を表示する。表示部450は、例えば、LCD(Liquid crystal display)等の表示装置により構成される。なお、画像形成装置40は、操作部440と表示部450とが一体に形成されたタッチパネルを備えてもよい。入力を検出する方式は、例えば、抵抗膜方式、赤外線方式、電磁誘導方式、静電容量方式といった、一般的な検出方式であればよい。
記憶部460は、画像形成装置40の動作に必要な各種プログラムや、各種データを記憶する。記憶部460は、例えば、半導体メモリであるSSDや、HDD等の記憶装置により構成される。
記憶部460には、印刷データリスト462と、待機画面情報468と、ジョブ実行画面情報470と、蓄積ファイル情報472とが記憶される。さらに、記憶部460には、記憶領域として、印刷データを記憶する領域である印刷データ記憶領域464と、ユーザ情報を記憶する領域であるユーザ情報記憶領域466とが確保される。
印刷データリスト462は、印刷データを特定する情報(例えば、印刷データの名前)を、画像形成部430によって処理する順番に並べたリスト(キュー)である。
待機画面情報468は、待機画面の表示に用いられる情報であり、例えば、待機画面に表示する文章や画像や、当該文章や画像のレイアウトに関する情報である。待機画面とは、ユーザからのタッチ操作を受け付けるためのメニュー(タッチ操作用基本メニュー)を含む画面である。ジョブ実行画面情報470は、音声操作専用画面を表示させるための情報であり、音声操作専用画面に含まれる文章や画像、レイアウトに関する情報である。音声操作専用画面とは、音声に基づく操作である音声操作を受け付け、音声操作に基づき所定のジョブを実行させることが可能な画面である。
蓄積ファイル情報472は、画像形成装置40によって出力可能なファイルに関する情報を含むテーブルであり、蓄積ファイル情報334と同様の形式のテーブルである。
通信部490は、画像形成装置40が、対話サーバ30等の外部の装置と通信を行うための機能部である。通信部490は、例えば、有線/無線LANで利用されるNIC等の通信モジュール(通信装置)により構成される。
[1.3 処理の流れ]
本実施形態の主な処理の流れについて、図を参照して説明する。なお、本実施形態では、画像形成装置40が所定の装置やサービスに予め記憶されたファイルを取得して印刷を行うPULL印刷を行うための処理について説明する。
はじめに、図8を参照して説明する。画像形成装置40の制御部400は、記憶部460から待機画面情報468を読み出し、表示部450に待機画面を表示する(S102)。
つづいて、音声認識サーバ20の制御部200は、音声入出力装置10から受信した音声信号を認識し、ユーザの音声によるウェイクワードが入力された場合、対話サーバ30に対して、ウェイクワードが入力されたことを示す情報を送信する(S103)。
つづいて、対話サーバ30の制御部300は、音声認識サーバ20からウェイクワードが入力されたことを示す情報を受信した場合、ウェイクワードを受け付ける(S104)。
つづいて、対話サーバ30の制御部300(コマンド送信部308)は、画像形成装置40に対して、音声操作を行うことを示す音声操作コマンドを送信する(S106)。
画像形成装置40の制御部400は、対話サーバ30から音声操作コマンドを受信した場合、表示部450に表示されている画面を、音声操作専用画面に切り替える(S108)。
つづいて、対話サーバ30の制御部300(対話処理部302)は、画像形成装置40により実行される機能のうち、どの機能を使用するかを問い合わせる発話処理を行う(S110)。例えば、対話処理部302は、「はい、ご用件は?」「コピー機能、スキャン機能、PULL印刷機能があります。どれにしますか?」といった、使用機能に関して問い合わせる発話文章データを、音声認識サーバ20に送信する(S111a)。音声認識サーバ20の制御部200は、受信した発話文章データに基づく合成音声の音声信号を音声入出力装置10に送信する。
つづいて、制御部200は、音声入出力装置10から受信した音声信号の認識結果を対話サーバ30に送信する(S111b)。ここでは、認識結果には、使用機能に関する情報が含まれることとする。制御部300は、音声認識サーバ20から、ユーザによって入力された音声(発話内容)の認識結果を受信し、ユーザからPULL印刷機能を使用することを示す印刷指示を受け付けるか否かを判定する(S112)。例えば、制御部300は、認識結果に、PULL印刷を行うことを示す文字列(例えば、「印刷したい」)が含まれる場合、印刷指示を受け付ける。
印刷指示を受け付けなかった場合は、制御部300は、認識結果に基づき、所定の処理を実行する(S112;No)。一方、印刷指示を受け付けた場合、制御部300(コマンド送信部308)は、画像形成装置40に対して、PULL印刷機能の使用が指示されたことを示す印刷コマンドを送信する(S112;Yes→S114)。
画像形成装置40の制御部400は、対話サーバ30から印刷コマンドを受信した場合、蓄積ファイル情報を取得する(S116)。例えば、制御部400は、蓄積ファイルを取得又は参照し、当該取得した蓄積ファイルの情報(ファイル名や形式、ファイルの属性)に基づき蓄積ファイル情報を生成することにより、蓄積ファイル情報を取得する。例えば、制御部400は、ファイル名の形態素解析の結果から、品詞が名詞である単語を抽出し、ファイル名単語としたりする。制御部400は、取得した蓄積ファイル情報を蓄積ファイル情報472として、記憶部460に記憶する。
なお、蓄積ファイル情報が画像形成装置40以外の装置(例えば、蓄積ファイルを記憶した装置やサービス)により生成される場合は、制御部400は、当該生成された蓄積ファイル情報を取得してもよい。
つづいて、制御部400は、S116において取得した蓄積ファイル情報を対話サーバ30に送信する(S118)。対話サーバ30の制御部300は、画像形成装置40から蓄積ファイル情報を受信することで、蓄積ファイル情報を取得する(S120)。制御部300は、取得した蓄積ファイル情報を、蓄積ファイル情報334として、記憶部340に記憶する。
つづいて、図9を参照して説明する。対話サーバ30の制御部300(対話処理部302)は、蓄積ファイル情報334に基づくサマリーを発話するための発話処理を行う(S122)。サマリーとは、蓄積(格納)されているファイルを、ファイルの種類毎にまとめた場合におけるファイル数である。制御部300(対話処理部302)は、例えば、「写真が3個、文書が2個、表計算が4個」といった、サマリーを示す発話文章データを音声認識サーバ20に送信する(S123)。音声認識サーバ20の制御部200は、受信した発話文章データであるサマリーに基づく合成音声の音声信号を音声入出力装置10に送信する。なお、制御部300(対話処理部302)は、サマリーの他に、蓄積(格納)ファイルの総数やファイルを選択することを促す内容を含めた発話文章データに含めて、音声認識サーバ20に送信してもよい。
画像形成装置40の制御部400は、記憶部340から蓄積ファイル情報472を読み出して、サマリーを表示部450に表示する(S124)。例えば、制御部400は、蓄積(格納)されているファイルの数を、ファイルの種類毎にまとめた選択肢を表示する。なお、サマリーに基づく発話内容や表示内容は、ファイルの格納状況に基づいて変化する。
つづいて、音声認識サーバ20の制御部200は、音声入出力装置10から受信した音声信号の認識結果を対話サーバ30に送信する(S125)。ここでは、認識結果には、サマリーに対する応答である第1の音声が含まれることとする。対話サーバ30の制御部300は、ユーザの音声(第1の音声)によるキーワードを受け付けることで、キーワードを取得する(S126)。例えば、制御部300は、音声認識サーバ20から受信した認識結果に、判定テーブル332にキーワードとして記憶されている文字列のうちの何れかと一致する場合、制御部300は、キーワードを受け付ける。
つづいて、制御部300は、受け付けたキーワードの属性を判定し(S128)、当該判定したキーワードの属性に基づき、ユーザによって発話されたファイルの種類を判定し、当該ファイルの種類に基づくファイル絞り込み処理を実行する(S130)。すなわち、制御部300は、キーワードを、ファイルを絞り込むための絞り込みワードとして扱う。また、ファイル絞り込み処理とは、キーワードに基づいて、蓄積ファイルのうち、ユーザに提示するファイルを絞り込み、ユーザに提示するファイルの順番を決定する処理をいう。
例えば、制御部300は、S128において判定したキーワードの属性に基づき、ユーザによって発話されたファイルの種類を判定する。具体的には、図5に示した判定テーブル332が記憶されている場合に受け付けられたキーワードが「ワード」であるとき、当該キーワードである「ワード」に対応するキーワードの属性は「ファイルの種類(文書)」である。このため、制御部300は、ユーザによって発話されたファイルの種類として「文書」を判定する。
また、制御部300は、蓄積ファイル情報334に含まれるファイル名から、ユーザによって発話されたファイルの種類に対応する拡張子を含むファイル名を絞り込む。ファイルの種類に対応する拡張は、予め記憶部330に記憶されていればよい。なお、ファイル名は、蓄積ファイル情報334に記憶された種類の情報に基づいて絞り込まれてもよい。
さらに、制御部300は、絞り込んだファイル名を所定の順に並び替える。ファイル名の並び替え方は、例えば、ファイル名順であってもよいし、作成日時や更新日時の降順又は昇順であってもよいし、使用頻度が高い順であってもよいし、通し番号に基づく順番であってもよい。このようにして、制御部300は、ファイル絞り込み処理の結果として、ユーザに提示する順番に並べたファイルの情報を取得(生成)する。ファイル絞り込み処理の結果は、例えば、ファイル名(文字列)のリストである。
制御部300は、ファイル絞り込み処理の結果及びユーザによって発話されたファイルの種類(キーワードの属性)を画像形成装置40に送信する(S132)。このようにして、制御部300は、画像形成装置40に対して、キーワードに基づいて絞り込んだファイルの表示態様を切り替えさせる。
つづいて、対話サーバ30の制御部300は、対話サーバ30から受信したファイル絞り込み処理の結果に基づき、ファイル名を発話する処理(ファイル名発話処理)を実行する(S134)。ファイル名発話処理については、図10を参照して説明する。
はじめに、制御部300は、短縮表現を発話するか否かを判定する(ステップS142)。制御部300は、例えば、以下のいずれかの場合において、短縮表現を発話することを判定する。
(1)ユーザによって短縮表現を発話することが指定されている場合
(2)絞り込まれたファイルの数が予め定めた閾値を超える場合
(3)絞り込まれたファイルのファイル名を発話した場合に所定の時間を超える場合
(2)の場合における閾値は、ユーザによって設定されてもよいし、対話サーバ30によって設定されてもよい。また、後述するサムネイル表示処理において、サムネイル画像が表示部450に絞り込まれた全てファイルのサムネイル画像を一度に表示されない場合に、制御部300は、短縮表現を発話することを判定してもよい。(3)の場合は、絞り込み結果に含まれるファイル名をそのまま発話させた場合にかかる時間が、予め定められた所定の時間を超える場合に、短縮表現を発話することを判定してもよい。
短縮表現を発話する場合(ステップS142;Yes)、制御部300(短縮表現発話処理部306)は、ファイル絞り込み処理の結果に基づき、発話する内容を決定する。なお、本実施形態では、ファイル絞り込み処理の結果は、ファイル名を所定の順に並べた文字列のリストであるとして説明する。
制御部300(短縮表現発話処理部306)は、文字列のリストに含まれるそれぞれの文字列から、拡張子に当たる文字列を省略(削除)する(ステップS144)。例えば、制御部300(短縮表現発話処理部306)は、「夕焼けの海.jpg」といった文字列から、拡張子である「.jpg」を省略して、「夕焼けの海」といった文字列にする。
つづいて、制御部300(短縮表現発話処理部306)は、文字列のリストに含まれるそれぞれの文字列から、ファイルの命名規則に基づき、所定の文字列を省略(削除)する(ステップS146)。具体的な例は、以下の通りである。
(1)文字列の先頭や末尾に所定の記号(例えば、アンダーバーやハイフン)と年月日や日時を示す文字列が現れる場合、制御部300(短縮表現発話処理部306)は、当該所定の記号と年月日や日時を示す文字列を省略する。
(2)文字列の特定の位置に所定の装置が利用する情報であってユーザには意味のない文字列(例えば、通し番号、所定のコード、ハッシュ値等)が現れる場合、制御部300(短縮表現発話処理部306)は、当該文字列を省略する。
(3)文字列の特定の位置に会社名や部門名、部門コードといったユーザの所属を示す文字列が現れる場合、制御部300(短縮表現発話処理部306)は、当該文字列を省略する。
例えば、制御部300(短縮表現発話処理部306)は、「見積書_191213」といった文字列からアンダーバーと年月日を省略することで、「見積書」といった文字列にする。
ファイルの命名規則に基づいて省略される文字列のパターン(ルール)は、例えば、記憶部330に記憶されていればよい。制御部300(短縮表現発話処理部306)は、ファイルの命名規則に基づいて所定の表現を省略する場合、記憶部330に記憶されたパターン(ルール)を読み出して、文字列のリストに含まれるそれぞれの文字列に対して、ルールを適用する。ファイルの命名規則に基づいて省略される文字列パターン(ルール)は、予め設定されていてもよいし、ユーザによって設定可能であってもよい。
つづいて、制御部300(短縮表現発話処理部306)は、文字列のリストに含まれるそれぞれの文字列から、発話を抑制することが設定された所定の語句を省略(削除)する(ステップS148)。所定の語句は、例えば、ファイルの内容を特定することができない語句であり、具体的には「ファイル」「データ」「テキスト」といった語句である。所定の語句は、予め設定されていてもよいし、ユーザによって設定可能であってもよい。S148において、制御部300(短縮表現発話処理部306)は、例えば、「ファックスデータ」といった文字列を「ファックス」といった文字列にする。
づついて、制御部300(短縮表現発話処理部306)は、言語の特徴に基づき、文字列のリストに含まれるそれぞれの文字列から、所定の文字列を省略(削除)する(ステップS150)。具体的な例(パターン)は、以下の通りである。
(1)名詞以外の品詞の単語を省略する。
(2)文字列が日本語であれば接頭辞を省略する。
(3)文字列が英語であれば単語「of」が含まれる場合、of以下を省略する。
例えば、制御部300(短縮表現発話処理部306)は、「ご案内図」といった日本語の文字列から、接頭辞である「ご」を省略して「案内図」といった文字列にする。また、制御部300(短縮表現発話処理部306)は、「notice of ...」「document of ...」「report of ...」といった英語の文字列から、of以下の記載を省略して、それぞれ「notice」「document」「report」といった文字列にする。
なお、上述した言語の特徴に基づき省略される文字列のパターンは例であり、上述したパターン以外のパターンがあってもよい。また、複数のパターンが組み合わされることにより、所定の文字列が省略されるようにしてもよい。
制御部300(短縮表現発話処理部306)は、ステップS144からステップS150の処理を実行することで、文字列のリストに含まれるそれぞれの文字列から所定の文字列(表現)を省略することで、ファイル名の短縮表現を取得する。なお、短縮表現の取得方法は、上述した方法に限られない。例えば、制御部300(短縮表現発話処理部306)は、ステップS144からステップS150に記載した処理のうち一部を省略してもよいし、ステップS144からステップS150に記載した処理以外の処理を実行して短縮表現を取得してもよい。また、制御部300(短縮表現発話処理部306)は、ステップS144からステップS150に記載した処理のうち、ユーザによって選択された処理だけを実行してもよい。
つづいて、制御部300(短縮表現発話処理部306)は、文字列のリストに含まれる文字列(短縮表現)に重複した短縮表現が生じた場合、重複した短縮表現を元の表現であるファイル名に戻す(ステップS152)。これにより、制御部300(短縮表現発話処理部306)は、文字列のリストに含まれるそれぞれの文字列が、他の文字列と表現が重複しないことを保証することができる。なお、制御部300(短縮表現発話処理部306)は、ステップS152において、ファイル名に戻す代わりに、重複が生じない程度にファイル名の省略を行った場合までの省略表現に戻してもよい。
つづいて、制御部300(短縮表現発話処理部306)は、文字列のリストに基づき、ファイル番号とファイル名の短縮表現を発話するための発話処理を実行する(ステップS154)。ファイル番号とは、ユーザに提示するファイルに付与される番号であり、具体的には1から始まる連番である。
例えば、制御部300(短縮表現発話処理部306)は、文字列のリストを先頭から1つずつ読み出し、読み出した文字列毎にファイル番号を付与する。そして、制御部300(短縮表現発話処理部306)は、ファイル番号を付与した文字列を連結させて発話文章データを生成し、音声認識サーバ20に送信する。
例えば、文字列のリストに「夕焼けの海」「赤い花」「ヨット」といった文字列が含まれる場合、制御部300(短縮表現発話処理部306)は、「1 夕焼けの海、2 赤い花、3 ヨット」といった発話文章データを生成する。なお、制御部300(短縮表現発話処理部306)は、発話文章データに、絞り込まれたファイル数や、ファイルの選択を促す内容を含めてもよい。
なお、ステップS142において、短縮表現を発話しないと判定した場合、制御部300(ファイル名発話処理部304)は、文字列のリストに含まれる文字列(ファイル名)に基づき、ファイル番号とファイル名とを発話するための発話処理を実行する(ステップS142;No→ステップS156)。例えば、文字列のリストに「夕焼けの海.jpg」「赤い花.png」「ヨット.tif」といった文字列が含まれる場合、制御部300(ファイル名発話処理部304)は、「1 夕焼けの海.jpg、2 赤い花.png、3 ヨット.tif」といった発話文章データを生成し、音声認識サーバ20に送信する。なお、制御部300(ファイル名発話処理部304)は、発話文章データに、絞り込まれたファイル数や、ファイルの選択を促す内容を含めてもよい。
図9に戻り、S134におけるファイル名発話処理により、対話サーバ30から音声認識サーバ20へ、発話内容を示す発話文章データが送信される(S135)。音声認識サーバ20の制御部200は、受信した発話文章データに基づく合成音声の音声信号を音声入出力装置10に送信する。
画像形成装置40の制御部400は、ファイル絞り込み処理によって絞り込まれたファイル群に含まれるファイルのサムネイル画像を表示部450に表示させるサムネイル表示処理を実行する(S136)。サムネイル表示処理については、図11を参照して説明する。
はじめに、制御部400は、S132において受信したファイルの種類(ファイルの属性)を判定する(ステップS162)。ファイルの種類が写真であれば、制御部400は、表示部450に、ファイル絞り込み処理によって絞り込まれたファイル群に含まれるそれぞれのファイルに対して、画像全体を縮小させたサムネイル画像を表示する(ステップS164;Yes→ステップS166)。例えば、制御部400は、ファイル絞り込み処理の結果に含まれるファイルの情報を1つずつ読み出し、読み出したファイルの情報に対応するファイルを取得する。制御部400は、取得したファイル(画像ファイル)を読み出し、読み出したファイルによって示される画像全体に基づくサムネイル画像を表示部450に表示する。このようにすることで、制御部400は、各画像全体をサムネイル表示する。なお、制御部400は、読み出したファイルごとにファイル番号を付与し、サムネイル画像にファイル番号を重畳させて表示したり、サムネイル画像の周囲にファイル番号を表示したりする。
ファイルの種類が文書であれば、制御部400は、表示部450に、ファイル群に含まれるファイル(文書ファイル)毎に、先頭ページの一部の領域を拡大した縦長のサムネイル画像を表示する(ステップS164;No→ステップS168;Yes→ステップS170)。
ファイルの種類が表計算であれば、制御部400は、表示部450に、ファイル群に含まれるファイル(表計算ファイル)毎に、先頭ページの左上の領域を拡大した横長のサムネイル画像を表示する(ステップS168;No→ステップS172;Yes→ステップS174)。
ファイルの種類がプレゼンテーションであれば、制御部400は、表示部450に、ファイル群に含まれるファイル(プレゼンテーションファイル)毎に、先頭ページの一部の領域を拡大した横長のサムネイル画像を表示する(ステップS172;No→ステップS176;Yes→ステップS178)。
すなわち、制御部400は、ステップS170、ステップS174、ステップS178において、ステップS166の処理と同様に、ファイル絞り込み処理の結果に含まれるファイルの情報を1つずつ読み出し、対応するファイルを取得し、サムネイル画像を表示する。
なお、上述したファイルの種類以外の種類がキーワードとして受け付けられ、ファイルが絞り込まれた場合は、制御部400は、当該絞り込まれたファイル群を所定の方法によりサムネイル表示を行う(ステップS176;No→ステップS180)。なお、制御部400は、サムネイル画像以外に、当該サムネイル画像に対応するファイルのファイル名を表示部450に表示してもよい。
なお、制御部400は、サムネイル表示を行う際、対話サーバ30によって実行されるファイル名発話処理に同期させてサムネイル表示を行ってもよい。例えば、制御部400は、対話サーバ30によって発話されているファイル名と対応するファイルのサムネイル画像を拡大表示させてもよい。この場合、制御部400は、対話サーバ30によって次のファイル名が発話された場合に、拡大表示を元に戻し、当該次のファイル名に対応するファイルのサムネイル画像を拡大表示させる処理を繰り返す。
また、ファイル数が多くてサムネイル画像が一画面に収まらない場合、制御部400は、対話サーバ30による各ファイル名の読み上げ発音の進行に連動して画面をスクロール表示させ、発話中のファイルが画面に表示されてくるようにスクロールを続けてもよい。
なお、制御部400は、ファイル数が多くてサムネイル画像が一画面に収まらない場合であっても、対話サーバ30による各ファイル名の読み上げ発音の進行に連動して画面をスクロールさせず、ユーザの操作に基づいて画面をスクロールさせてもよい。
また、S132において、対話サーバ30が画像形成装置40にファイルの種類(キーワードの属性)を送信すると説明したが、対話サーバ30は画像形成装置40に、ファイルの種類を示す情報を送信する代わりに、表示態様を示す情報を送信してもよい。例えば、対話サーバ30の制御部300は、S128において判定したキーワードの属性が「ファイルの種類(写真)」であれば、S132において、ファイル絞り込み処理の結果に基づくそれぞれのファイルの画像全体を縮小して表示させるための情報を送信する。また、対話サーバ30の制御部300は、S128において判定したキーワードの属性が「ファイルの種類(文書)」であれば、S132において、ファイル絞り込み処理の結果に基づくそれぞれのファイルの先頭ページの一部領域を縦長でサムネイル表示させるための情報を送信する。キーワードの属性が「ファイルの種類(表計算)」「ファイルの種類(プレゼンテーション)」の場合も同様に、対話サーバ30の制御部300は、画像形成装置40に対して、ファイル絞り込み処理の結果に基づくファイルの表示態様に関する情報を送信する。画像形成装置40の制御部400は、対話サーバ30から受信した表示態様を示す情報に基づいて、ファイルのサムネイル表示を行う。このようにすることで、対話サーバ30は、画像形成装置40に対して、キーワードの属性に応じた表示態様に切り替えて表示させる制御が可能となる。
つづいて、図9に戻り、音声認識サーバ20の制御部200は、音声入出力装置10から受信した音声信号の認識結果を対話サーバ30に送信する(S137)。ここでは、ファイル名発話処理に基づく発話処理に対する応答である第2の音声が含まれることとする。つづいて、対話サーバ30及び画像形成装置40は、第2の音声に基づきファイルを特定する(S138)。なお、対話サーバ30及び画像形成装置40は、第2の音声ではなく、ユーザの操作に基づいてファイルを特定してもよい。S138におけるファイルの特定の処理は、例えば、以下の方法により行われる。
(1)ユーザの発話(第2の音声)に基づく方法
対話サーバ30の制御部300は、音声認識サーバ20から第2の音声を示す認識結果を受信した場合、認識結果にファイル番号が含まれるか否かを判定する。ファイル番号が含まれる場合は、制御部300はファイル番号に対応するファイルを特定し、当該特定したファイルの情報(例えば、ファイル名)を画像形成装置40に送信する。ファイル番号が含まれない場合、制御部300は、S130における処理の結果によって示される何れかのファイルのファイル名に、認識結果として示されたユーザの発話内容が含まれるか否かを判定する。ユーザの発話内容が含まれるファイルが1つ特定できた場合は、制御部300は、当該特定したファイルの情報(例えば、ファイル名)を画像形成装置40に送信する。
なお、ユーザの発話内容が含まれるファイルが存在しない又は複数ある場合は、制御部300(対話処理部302)は、再度の音声の入力をユーザに促すための発話を行うための発話処理を行う。
(2)タッチ操作に基づく方法
画像形成装置40の制御部400は、表示部450に表示されているサムネイル画像がタッチ操作により選択された場合、当該選択されたファイルを特定する。
つづいて、画像形成装置40の制御部400は、S138において特定したファイルに基づく画像を画像形成部430を介して形成することで、出力(印刷)を実行する(S140)。制御部400は、印刷を実行する前に、特定したファイルのサムネイル画像を表示部450にクローズアップして拡大表示したりしてもよい。また、制御部400は、特定したファイルに複数のページが含まれる場合に、複数のページを展開して連続的に表示部450に表示したりしてもよい。このようにすることで、制御部400は、特定したファイルが正しいか否かをユーザに確認させることができる。この場合、制御部400は、ユーザによって、ファイルが正しく特定されたことが確認された後、印刷を実行する。
[1.4 動作例]
図を参照して本実施形態の動作例を説明する。はじめに、図12を参照して、サマリーをユーザに提示する処理について説明する。表示部450に待機画面W100が表示されている場合に、ユーザによって「コピー起動」といったウェイクワードT100が発話された場合、表示部450に表示される画面が、音声操作専用画面W102に切り替わる。このとき、音声入出力装置10から、「はい、ご用件は?」といった、ユーザに使用する機能を問い合わせる音声T102が出力される。
ユーザによって、「印刷したい」といった印刷指示T104が発話された場合、表示部450にサマリーが表示された領域E110を含む画面W110が表示される。また、音声入出力装置10から、サマリーを示す音声T110が出力される。例えば、図12の例では、画面W110の領域E110に、サマリーとして、写真が3個、文書が2個、表計算が4個あることを示す表示が含まれる。また、音声T110として、ファイルが全部で9個あることと、写真が3個、文書が2個、表計算が4個あることと、ファイルの種類を選択することを促すこととが出力される。
つづいて、図13を参照して、サムネイル表示及び短縮表現について説明する。図13(a)は、ユーザによって、ファイルの種類を示す音声T120として「写真」が発話された場合の図を示す。表示部450には、サムネイル表示を行う画面W120が表示される。画面W120には、ファイルの種類が「写真」であるファイルそれぞれについて、ファイルによって示される画像全体のサムネイル画像(例えば、画像E120)とファイル名(例えば、領域E122)とが表示される。また、音声入出力装置10から、短縮表現及びファイル番号を含む音声T122が出力される。音声T122では、ファイルの種類が「写真」であるファイルのファイル名の短縮表現が出力される。例えば、ファイル名が「夕焼けの海.jpg」であるファイルの短縮表現として「夕焼けの海」といった音声が出力される。
図13(b)は、ユーザによって、ファイルの種類を示す音声T130として「文書」が発話された場合の図を示す。表示部450には、サムネイル表示を行う画面W130が表示され、ファイルの種類が「文書」であるファイルそれぞれについて、先頭ページの一部領域が拡大された、縦長のサムネイル画像(例えば、画像E130)とファイル名(例えば、領域E132)とが表示される。また、音声入出力装置10から、短縮表現及びファイル番号を含む音声T132が出力される。
例えば、ファイル名が「ご案内図.doc」であるファイルの短縮表現として、拡張子及び接頭辞「ご」を省略した「案内図」といった音声が出力される。ファイル名が「ファックスデータ.docx」であるファイルの短縮表現として、拡張子及び所定の語句「データ」を省略した「ファックス」といった音声が出力される。ファイル名が「見積書_191213.doc」であるファイルの短縮表現として、拡張子及びアンダーバーと年月日を省略した「見積書」といった音声が出力される。
図13(c)は、ユーザによって、ファイルの種類を示す音声T140として「表計算」が発話された場合の図を示す。表示部450には、サムネイル表示を行う画面W140が表示され、ファイルの種類が「表計算」であるファイルそれぞれについて、先頭ページの左上の領域が拡大された、横長のサムネイル画像(例えば、画像E140)とファイル名(例えば、領域E142)とが表示される。また、音声入出力装置10から、短縮表現及びファイル番号を含む音声T142が出力される。例えば、図13(c)に示すように、省略表現として拡張子のみを省略した省略表現が出力されてもよい。
図14は、ファイルの特定及び出力の動作例を示す図である。なお、図14の音声T150、画面W150、サマリーの音声T152は、それぞれ、図13(a)の音声T120、画面W120、サマリーの音声T122に対応する。この状態で、ユーザがファイルを特定するための音声や操作が入力されることで、ファイルが特定される。例えば、ファイルを特定するための音声T154として、ファイル番号(例えば、「1番」)が入力された場合、ファイル番号に対応するファイルの情報(例えば、ファイル番号が1番であるファイルのファイル名)が対話サーバ30から画像形成装置40に送信される。また、ユーザが音声T154を発話する替わりに、ユーザによって画面W150に表示されたサムネイル(例えば、サムネイルE150)がタッチされることにより、タッチされたサムネイルに対応するファイルが、印刷するファイルとして特定されてもよい。画像形成装置40は、受信したファイルの情報に対応するファイルを、蓄積ファイルが記憶されている装置から取得して、印刷を実行する。
なお、ファイルを特定するための音声T154は、ファイル名の一部であってもよい。本実施形態では、音声入出力装置10から出力される音声は、ファイルを一意に特定することができる語句を含む音声である。したがって、ユーザは、音声入出力装置10から出力される音声のうち、出力を所望するファイルに対応する省略表現を発話すればよい。例えば、図14に示す例では、ユーザは「ヨット」と発言するだけで、画像形成装置40によってファイル名が「ヨット.tif」であるファイルが取得され、印刷される。
なお、本実施形態では、ファイル絞り込み処理を対話サーバ30が実行することとして説明したが、画像形成装置40が実行してもよい。この場合、対話サーバ30は、ユーザによって入力された音声(発話内容)の認識結果を画像形成装置40に送信する。画像形成装置40は、記憶部460に判定テーブルを記憶し、判定テーブルに基づきファイル絞り込み処理を実行し、絞り込み処理の結果を対話サーバ30に送信する。
また、ファイル絞り込み結果には、ファイル番号が含まれていてもよい。このようにすることで、対話サーバ30又は画像形成装置40といずれか一方がファイル番号を付与する処理を実行すればよい。
また、音声入出力装置10、音声認識サーバ20、対話サーバ30及び画像形成装置40が別体であるとして説明したが、それぞれの装置のうち複数の装置又は全ての装置を1つの装置として実現されてもよい。例えば、スマートフォン等の端末装置に専用のアプリを実行させることで、端末装置に音声入出力装置10及び音声認識サーバ20によって実行される処理を実行させてもよいし、さらに、対話サーバ30により実行される処理を実行させてもよい。また、画像形成装置40が対話サーバ30により実行される処理を実行してもよい。この場合、画像形成装置40は、音声認識サーバ20から送信される認識結果に基づき、キーワードを取得し、キーワードに基づきファイルを絞り込み、当該ファイルを出力(印刷)することができる。また、画像形成装置40によって、音声入出力装置10、音声認識サーバ20、対話サーバ30により実行される処理が実行されてもよい。この場合、画像形成装置40は単体で、音声の認識からファイルの出力まで実行することができる。
本実施形態によれば、ユーザは、格納されている複数のファイルの中から音声対話に基づいてファイルを絞り込み、絞り込まれたファイルのファイル番号やファイル名の一部を発話することで、ファイルを指定できる。このように、ファイルを指定する場合において、ファイル名を全て読み上げる必要がないため、ユーザに対して、ファイルを指定するための手間を省力化させたり、読み方が難しいファイルを指定する場合に対応したりすることができる。
また、本実施形態の画像形成装置は、ユーザの音声に基づいて絞り込まれたファイルの種類が写真であれば、各ファイルの全体領域をサムネイル表示することにより、各ファイルの内容をユーザに容易に把握させることができ、印刷したいファイルを容易に特定できるようになる。本実施形態の画像形成装置は、ユーザの音声に基づいて絞り込まれたファイルの種類が文書や表計算のファイルであれば、各ファイルの一部領域を拡大してサムネイル表示することにより、各ファイルの内容をユーザに容易に把握させることができ、印刷したいファイルを容易に特定できるようになる。
[2.第2実施形態]
つづいて、第2実施形態について説明する。第2実施形態は、ファイルの種類に加えて、ファイルに付与されている情報(属性)によってファイルを絞り込むことが可能な実施形態である。
[2.1 機能構成]
本実施形態における判定テーブル332の例を図15に示す。本実施形態における判定テーブル332は、第1実施形態の図4に示した判定テーブル332に加え、キーワードの属性が、作成者、日時、ファイルの名前であるキーワードが記憶される。
キーワードの属性がファイルの作成者であるキーワードは、ファイルの属性のうち、ファイルの作成者に基づくファイルの絞り込みを行う場合におけるキーワードであり、具体的には、作成者の名前や名字である。キーワードの属性がファイルの更新日時であるキーワードは、ファイルの属性のうち、ファイルの更新日時に基づくファイルの絞り込みを行う場合におけるキーワードである。キーワードの属性がファイルの更新日時であるキーワードは、「今日」「昨日」といった特定の単語や、「d日前」「m月前」「y年前」といった特定の日時や期間を示す単語である。なお、特定の日時や期間を示すキーワードに含まれる「d」「m」「y」は、任意の数値であり、「3日前」「2月前」「1年前」といった単語がキーワードとなる。キーワードの属性がファイルの名前であるキーワードは、ファイル名に含まれる単語に基づくファイルの絞り込みを行う場合におけるキーワードである。
[2.2 処理の流れ]
本実施形態における主な処理の流れについて説明する。本実施形態では、対話サーバ30及び画像形成装置40は、はじめに、第1実施形態における図8に示した処理を行う。
なお、本実施形態における制御部400は、図8のS116において蓄積ファイルを取得した後、ファイル名に含まれる単語を、キーワードの属性がファイルの名前であるキーワードとして記憶する。また、制御部400は、取得したファイルの属性として記憶された作成者の情報から名字や名前を抽出し、抽出した名字や名前を、キーワードの属性が作成者であるキーワードとして記憶する。
対話サーバ30及び画像形成装置40は、図8に示した処理を実行した後、さらに、図16に示した処理を実行する。まず、画像形成装置40の制御部400は、図8のS116において蓄積ファイル情報を取得した後、表示部450にサマリー及び絞り込み項目名を表示する(S202)。絞り込み項目名とは、ファイルに付与された情報(属性)の種類を特定するものであって、蓄積(格納)されているファイルを絞り込む際に用いるものである。
また、制御部300は、ファイル絞り込み処理を実行する(S130)。本実施形態におけるファイル絞り込み処理について、図17を参照して説明する。
対話サーバ30の制御部300は、キーワードの属性に基づき、ファイルを絞り込む。例えば、S128において判定したキーワードの属性がファイルの種類であれば、制御部300は、ファイルの種類に基づき、蓄積(格納)されたファイルを絞り込む(ステップS212;Yes→ステップS214)。
キーワードの属性がファイルの作成者であるときは、制御部300は、ユーザによって発話された作成者(キーワード)に基づき、ファイルの絞り込みを行う(ステップS212;No→ステップS216;Yes→ステップS218)。具体的には、制御部300は、蓄積(格納)されたファイルのうち、ファイルの作成者とユーザによって発話された作成者(キーワード)とが一致するファイルを抽出することにより、ファイルの絞り込みを行う。
キーワードの属性が日時であるときは、制御部300は、ユーザによって発話された日時(キーワード)に基づき、ファイルの絞り込みを行う(ステップS216;No→ステップS220;Yes→ステップS222)。具体的には、制御部300は、蓄積(格納)されたファイルのうち、ファイルの更新日時がユーザによって発話された日時(キーワード)と一致するファイルを抽出することにより、ファイルの絞り込みを行う。
キーワードの属性が日時でない場合は、キーワードの属性はファイルの名前である。この場合、制御部300は、ユーザによって発話された名前(キーワード)に基づき、ファイルの絞り込みを行う(ステップS220;No→ステップS224)。具体的には、制御部300は、蓄積(格納)されたファイルのうち、ユーザによって発話された内容(キーワード)が含まれるファイルを抽出することにより、ファイルの絞り込みを行う。
つづいて、制御部300は、ステップS214、ステップS218、ステップS222、ステップS224において絞り込んだファイルを並び替える(ステップS226)。ファイルの並び替えの方法は、第1実施形態と同様に、ファイル名順、作成日時や更新日時の降順又は昇順、使用頻度が多い順など、所定の方法であればよい。
図16に戻り、対話サーバ30の制御部300は、S130におけるファイル絞り込み処理の結果と、S126において受け付けた(取得した)キーワードと、当該キーワードに対応するキーワードの属性とを画像形成装置40に送信する(S204)。
また、制御部300は、ファイル絞り込み処理の結果に基づき、ファイル名発話処理を実行する(S134)。本実施形態におけるファイル名発話処理については、図18を参照して説明する。本実施形態では、キーワードの属性に応じて、発話処理を切り替える。
はじめに、制御部300は、S128において判定したキーワードの属性が、ファイルの名前であるか否かを判定する(ステップS242)。
キーワードの属性がファイルの名前であれば、制御部300(短縮表現発話処理部306)は、S132におけるファイル絞り込み処理の結果である文字列のリストからキーワードとの一致箇所を省略する(ステップS242;Yes→ステップS244)。例えば、キーワードが「業務委託契約書」である場合、制御部300(短縮表現発話処理部306)は、「サポート業務委託契約書.doc」という文字列から「業務委託契約書」を省略して、「サポート.doc」という文字列にする。これにより、制御部300(短縮表現発話処理部306)は、ファイル名の省略表現を求める。
なお、制御部300(短縮表現発話処理部306)は、第1実施形態のステップS144~ステップS152の処理を実行することで、所定の文字列(例えば、拡張子)を省略したり、省略表現が重複した場合に元の表現に戻したりしてもよい。
つづいて、制御部300(短縮表現発話処理部306)は、文字列のリストに基づき、ファイル番号とファイル名の短縮表現を発話するための発話処理を実行する(ステップS246)。ステップS246における処理は、第1実施形態におけるステップS154と同様の処理である。
キーワードの属性がファイルの名前でない場合は、制御部300(ファイル名発話処理部304)は、文字列のリストに含まれる文字列(ファイル名)に基づき、ファイル番号とファイル名とを発話するための発話処理を実行する(ステップS242;No→ステップS248)。ステップS248における処理は、第1実施形態におけるステップS156と同様の処理である。
このようにすることで、制御部300は、キーワードの属性がファイルの名前であれば、キーワードと一致しない部分を選択肢として応答を発話し、キーワードの属性がファイルの名前でなければ、ファイル名を選択肢として発話する処理を実行することができる。
なお、上述した方法以外でも、制御部300は、キーワードの属性に応じて発話内容を切り替えてもよい。例えば、ステップS248において、キーワードの属性が日時である場合、制御部300(ファイル名発話処理部304)は、キーワードによって示される具体的な日時を含めて発話させてもよい。
また、キーワードの属性がファイルの名前でない場合であっても、制御部300は、ステップS248において、第1実施形態におけるステップS144からステップS154を実行することで、ファイル名の短縮表現を発話させるようにしてもよい。また、制御部300は、ステップS246において、さらに第1実施形態のステップS144からステップS152までを実行することで、ファイルの名前のうちキーワードと一致しない部分をさらに省略した表現にしてもよい。
図16に戻り、S134におけるファイル名発話処理により、対話サーバ30から音声認識サーバ20へ、発話内容を示す発話文章データが送信される(S135)。音声認識サーバ20の制御部200は、受信した発話文章データに基づく合成音声の音声信号を音声入出力装置10に送信する。つづいて、画像形成装置40の制御部400は、ファイル絞り込み処理の結果に基づきファイルを表示するファイル表示処理を実行する(S206)。ファイル表示処理については、図19を参照して説明する。
はじめに、制御部400は、S204において受信したキーワードの属性が、ファイルの種類であるか否かを判定する(ステップS252)。ファイルの種類であれば、制御部400は、表示部450に、S132において絞り込まれたファイル群のサムネイル画像を表示させる(ステップS254;Yes→ステップS254)。例えば、制御部400は、第1実施形態におけるステップS136と同様の処理を実行することで、ファイルの種類に応じたサムネイル画像を表示部450に表示する。
キーワードの属性がファイルの種類ではない場合、制御部400は、キーワードの属性が作成者であるか否かを判定する(ステップS252;No→ステップS256)。キーワードの属性が作成者であれば、制御部400は、表示部450に、ファイル群をリスト表示する(ステップS256;Yes→ステップS258)。リスト表示とは、ファイル名、ファイルの種類、更新日時、作成者といったファイルの情報やファイル番号をリスト形式で表示することをいう。
また、制御部400は、リスト表示に含まれる作成者に対して、キーワードとの一致部分を強調表示する(ステップS260)。制御部400は、強調表示として、例えば、キーワードと一致する部分に対して、ハイライトで表示させたり、反転して表示させたり、文字の太さをキーワードと一致しない部分と比べて太くして表示させたりする。なお、強調表示は、キーワードと一致する文字列がユーザによって区別できる表示であればよく、キーワードと一致する文字の色をキーワードと一致しない文字の色と異ならせて表示させたり、キーワードと一致する文字を点滅させたりする表示であってもよい。
キーワードの属性が作成者ではない場合、制御部400は、キーワードの属性が日時であるか否かを判定する(ステップS256;No→ステップS262)。キーワードの属性が日時であれば、制御部400は、表示部450に、ファイル群をリスト表示する(ステップS262;Yes→ステップS264)。また、制御部400は、リスト表示に含まれる更新日時に対して、キーワードが示す日時との一致部分を強調表示する(ステップS266)。
キーワードの属性が日時ではない場合、キーワードはファイルの名前である。この場合、制御部400は、表示部450に、S132において絞り込まれたファイル群のサムネイル画像を表示させる(ステップS262;No→ステップS268)。例えば、制御部400は、第1実施形態におけるステップS136と同様の処理を実行することで、ファイルの種類に応じたサムネイル画像を表示部450に表示する。
さらに、制御部400は、表示部450に、サムネイル画像に対応するファイルのファイル名を表示し、表示させたファイル名のうち、キーワードと一致する部分と一致しない部分とをそれぞれ区別可能なように、異なる態様で強調表示(識別表示)させる(ステップS270)。例えば、制御部400は、ファイル名とキーワードとが一致する部分をハイライトで表示させ、一致しない部分は赤文字で表示させる。この場合、制御部400は、拡張子の部分は通常の態様で表示させてもよい。
図16に戻り、対話サーバ30は、音声認識サーバ20から第2の音声を含む認識結果を受信する(S137)。また、対話サーバ30及び画像形成装置40はユーザによる操作に基づきファイルを特定する(S138)。また、画像形成装置40は、当該特定したファイルに基づく画像の出力を実行する(S140)。
なお、S204において、対話サーバ30が画像形成装置40にキーワード及びキーワードの属性を送信すると説明したが、対話サーバ30は画像形成装置40に、キーワード及びキーワードの属性を送信する代わりに、表示態様を示す情報を送信してもよい。例えば、制御部300は、S128において判定したキーワードの属性がファイルの種類であれば、ファイルの種類に応じたサムネイル画像を表示させるための情報を画像形成装置40に送信する。また、制御部300は、S128において判定したキーワードの属性がファイル作成者や日時であれば、ファイル絞り込み処理の結果をリストで表示し、キーワードと一致する文字列を強調表示させるための情報を画像形成装置40に送信する。画像形成装置40の制御部400は、対話サーバ30から受信した表示態様を示す情報に基づいて、ファイルの表示を行う。このようにすることで、対話サーバ30は、画像形成装置40に対して、キーワードの属性に応じた表示態様に切り替えて表示させる制御が可能となる。
[2.3 動作例]
つづいて、本実施形態における動作例を説明する。はじめに、図20を参照して、サマリー及び絞り込み項目名をユーザに提示する処理について説明する。ユーザによってウェイクワードT200が発話された場合、表示部450に表示される画面が、音声操作専用画面W200に切り替わる。このとき、音声入出力装置10から、ユーザに使用する機能を問い合わせる音声T202が出力される。
ユーザによって、印刷指示T204が発話された場合、表示部450にサマリーが表示された領域E210及び絞り込み項目名が表示された領域E212を含む画面W110が表示される。例えば、図20の例では、絞り込み項目名として、「作成者」「更新日時」「ファイル名(部分一致)」が表示される。
つづいて、図21を参照して、表示部450に表示される画面及び音声入出力装置10によって出力される音声について説明する。図21(a)は、ユーザによって、作成者を示す音声T220が発話された場合の図を示す。表示部450には、ユーザによって発話された作成者に基づき絞り込まれたファイル群がリスト表示された画面W220が表示される。画面W220には、ファイル毎に、ファイルの作成者を表示する領域E220が含まれており、さらに、作成者とユーザによって発話されたキーワード(作成者)と一致する部分(例えば、領域E222)が強調表示される。
また、音声入出力装置10からは、発話T222に示すように、ユーザによって発話されたキーワード(作成者)に基づいて絞り込まれたファイルのファイル名が、ファイル番号とともに発話される。
図21(b)は、ユーザによって、日時を示す音声T230が発話された場合の図を示す。表示部450には、ユーザによって発話された日時に基づき絞り込まれたファイル群がリスト表示された画面W230が表示される。画面W230には、ファイル毎に、ファイルの日時(例えば、更新日時)を表示する領域E230が含まれており、さらに、日時とユーザによって発話されたキーワードに基づく日時と一致する部分(例えば、領域E232)が強調表示される。
音声入出力装置10からは、発話T232に示すように、ユーザによって発話されたキーワード(日時)に基づいて絞り込まれたファイルのファイル名が、ファイル番号とともに発話される。このとき、音声入出力装置10から、キーワードによって示される具体的な日時が発話されてもよい。このようにすることで、例えば、ユーザが「昨日」といった発話をした場合、音声入出力装置10から出力される音声を介して、昨日の日付に該当する具体的な日付(例えば、今日が12月13日であれば12月12日)を知ることができる。
図21(c)は、ユーザによって、ファイル名の一部を示す音声T240が発話された場合の図を示す。表示部450には、ユーザによって発話されたファイル名の一部に基づき絞り込まれたファイル群のサムネイル画像とファイル名とが表示された画面W240が表示される。画面W240には、サムネイル画像毎に、対応するファイル名を含む領域(例えば、領域E240)が表示される。また、ファイル名は、ユーザによって発話されたキーワードと一致する部分(例えば、領域E242)と一致しない部分(例えば、領域E244)とが、異なる方法により強調表示される。
なお、本実施形態は、ファイルの更新日時に基づいてファイルを絞り込むこととして説明したが、ファイルの作成日時に基づいてファイルが絞り込まれてもよいし、作成日時と更新日時との何れによりファイルを絞り込むかを設定可能にしてもよい。
本実施形態によれば、ユーザは、音声対話に基づいて、格納されている複数のファイルの中から印刷したいファイルを作成者/日時/ファイル名によって絞り込むことができる。また、本実施形態の画像形成装置は、キーワードに一致する部分を強調表示することで、ユーザにファイルを選択させやすくする。
[3.第3実施形態]
つづいて、第3実施形態について説明する。第3実施形態は、複数の種類のキーワードが入力された場合にファイルを絞り込むことが可能な実施形態である。本実施形態は、第2実施形態の図16を図22に置き換えものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。
[3.1 処理の流れ]
本実施形態における主な処理の流れについて、図22を参照して説明する。本実施形態では、対話サーバ30及び画像形成装置40は、はじめに、第1実施形態における図8に示した処理を行う。また、対話サーバ30の制御部300(対話処理部302)は、蓄積ファイル情報334に基づくサマリーを発話するための発話処理を行い(S122)、サマリーを示す発話文章データを音声認識サーバ20に送信する(S123)。つづいて、制御部300は、音声認識サーバ20から第1の音声の認識結果を受信し、認識結果によって示された発話内容に対して形態素解析を実施する(S301→S302→S304)。制御部300は、形態素解析を行うことで認識結果を単語に分割し、当該分割した単語のうち、判定テーブル332にキーワードとして記憶された単語を、キーワードとして取得する。
制御部300は、取得したキーワードが複数であるか否かを判定する(S306)。キーワードが複数でない場合、すなわち、単数である場合は(S306;No)、図16に示した、第2実施形態のS128~S140の処理を実行する。
一方、キーワードが複数である場合は、制御部300は、複数の条件に基づいてユーザに提示するファイルを絞り込み、ユーザに提示するファイルの順番を決定する複合絞り込み処理を実行する(S306;Yes→ステップS308)。複合絞り込み処理については、図23を参照して説明する。
はじめに、制御部300は、複数のキーワードに含まれる個々のキーワードに対して1から始まる番号を設定し、キーワードに設定した番号を示す変数Nに1を代入する(ステップS312)。つづいて、制御部300は、番号Nのキーワードを取得し、当該キーワードの属性を判定する(ステップS314→ステップS316)。キーワードの属性の判定の方法は、第1実施形態におけるS128と同様の処理である。
つづいて、制御部300は、キーワードの属性に基づきファイルを絞り込む。ファイルの絞り込みの処理は、第2実施形態におけるステップS212~ステップS224と同じ処理である。
つづいて、制御部300は、全てのキーワードによって蓄積(格納)されたファイルの絞り込みが終了したか否かを判定する(ステップS318)。全てのキーワードによるファイルの絞り込みが終了した場合は、制御部300は、絞り込んだファイルを、第2実施形態のステップS226と同様の処理により並び替える(ステップS318;Yes→ステップS226)。
一方で、全てのキーワードによるファイルの絞り込みが終了していない場合は、制御部300は、変数Nに1を足して、ステップS314へ戻る(ステップS318;No→ステップS320→ステップS314)。なお、制御部300は、再度ステップS212~ステップS224の処理を実行する場合は、それまでに絞り込んだファイルを対象に、更に絞り込みを行う。このようにして、複数のキーワードによる複合サーチを実行する。複合絞り込み処理の結果は、ユーザに提示する順番に並べたファイルの情報(例えば、ファイル名の文字列)である。
図22に戻り、制御部300は、画像形成装置40に対して、S308における複合絞り込み処理の結果、キーワード、キーワードの属性を画像形成装置40に送信する(S310)。複合絞り込み処理の結果は、ファイル絞り込み処理の結果と同様に、ユーザに提示する順番に並べたファイルの情報であり、例えば、ファイル名(文字列)のリストである。
つづいて、制御部300は、ファイル名発話処理を実行する(S134)。本実施形態におけるファイル名発話処理の流れを、図24を参照して説明する。
はじめに、制御部300(短縮表現発話処理部306)は、複数のキーワードに含まれる個々のキーワードに対して1から始まる番号を設定し、キーワードに設定した番号を示す変数Nに1を代入する(ステップS322)。つづいて、制御部300(短縮表現発話処理部306)は、番号Nのキーワードを取得し、当該キーワードの属性を判定する(ステップS324→ステップS326)。
つづいて、制御部300(短縮表現発話処理部306)は、番号Nのキーワードの属性がファイルの名前である場合、S306における複合絞り込み処理の結果である文字列のリストから番号Nのキーワードとの一致箇所を省略する(ステップS328;Yes→ステップS330)。
つづいて、制御部300(短縮表現発話処理部306)は全てのキーワードを取得したか否かを判定する(ステップS332)。全てのキーワードを取得した場合は、制御部300(短縮表現発話処理部306)は、文字列のリストに基づき、ファイル番号とファイル名の短縮表現を発話するための発話処理を実行する(ステップS332;Yes→ステップS334)。ステップS334の処理は、第1実施形態のファイル名発話処理のステップS154と同様の処理である。なお、制御部300(短縮表現発話処理部306)は、ステップS334において、さらに第1実施形態のステップS144からステップS152までを実行することで、ファイルの名前のうちキーワードと一致しない部分をさらに省略した表現にしてもよい。
一方で、全てのキーワードによるファイルの絞り込みが終了していない場合は、制御部300は、変数Nに1を足して、ステップS324へ戻る(ステップS332;No→ステップS336→ステップS324)。
図22に戻り、S134におけるファイル名発話処理により、対話サーバ30から音声認識サーバ20へ、発話内容を示す発話文章データが送信される(S135)。また、画像形成装置40の制御部400は、サムネイル表示処理を実行する(ステップS136)。本実施形態におけるサムネイル表示処理について、図25及び図26を参照して説明する。
はじめに、制御部400は、複合絞り込み処理の結果に含まれるファイル情報を1つ読み出し、読み出したファイル情報に対応するファイルを取得する(ステップS352)。
つづいて、制御部400は、ステップS332において取得したファイルの種別を判定し(ステップS354)、ファイルの種別に応じてサムネイル画像を表示部450に表示する。サムネイル画像の表示方法は、第1実施形態のサムネイル表示処理におけるステップS164~ステップS180と同様である。
制御部400は、ステップS332において取得したファイルの種類が写真であれば、当該ファイルの画像全体を縮小させたサムネイル画像を表示する(ステップS164;Yes→ステップS166)。制御部400は、ステップS332において取得したファイルの種類が文書であれば、当該ファイルの先頭ページの一部の領域を拡大した縦長のサムネイル画像を表示する(ステップS164;No→ステップS168;Yes→ステップS170)。制御部400は、ステップS332において取得したファイルの種類が表計算であれば、当該ファイルの先頭ページの左上の領域を拡大した横長のサムネイル画像を表示する(ステップS168;No→ステップS172;Yes→ステップS174)。制御部400は、ステップS332において取得したファイルの種類がプレゼンテーションであれば、当該ファイルの先頭ページの一部の領域を拡大した横長のサムネイル画像を表示する(ステップS172;No→ステップS176;Yes→ステップS178)。ステップS332において取得したファイルの種類が、上述したファイルの種類以外の種類であれば、制御部400は、所定の方法により、当該ファイルのサムネイル画像を表示する(ステップS176;No→ステップS180)。
つづいて、制御部400は、ファイル群の全てのファイルのサムネイル画像を表示したか否かを判定する(ステップS356)。ファイル群に含まれる全てのファイルのサムネイル画像を表示していない場合は、制御部400は、ファイル群のうち、次のファイルを取得して、ステップS354へ戻る(ステップS356;No→ステップS358→ステップS354)。
一方で、ファイル群に含まれる全てのファイルのサムネイル画像を表示した場合は(ステップS356;Yes)、制御部400は、図26に示す処理を実行する。
制御部400は、表示部450に、サムネイル画像毎に対応するファイル名を表示する(ステップS362)。つづいて、制御部400は、S310において対話サーバから受信したキーワードの属性に基づき、全キーワードの属性を判定する(ステップS364)。制御部400は、ステップS364における判定に基づき、表示部450に表示したファイル名の表示方法を変更する。
まず、制御部400は、キーワードの属性がファイルの種類であるキーワードを含むか否かを判定する(ステップS366)。キーワードの属性がファイルの種類であるキーワードを含む場合、制御部400は、ステップS362において表示したファイル名のうち、ファイルの種類を示す箇所を強調表示する(ステップS366;Yes→ステップS368)。ファイルの種類を示す箇所は、例えば、拡張子の部分である。
つづいて、制御部400は、キーワードの属性がファイルの作成者であるキーワードを含むか否かを判定する(ステップS370)。キーワードの属性が作成者であるキーワードを含む場合、制御部400は、ファイル名に加え、当該ファイルの作成者名を表示部450に表示する(ステップS370;Yes→ステップS372)。さらに、制御部400は、キーワードと一致する部分を強調表示する(ステップS374)。
つづいて、制御部400は、キーワードの属性が更新日時であるキーワードを含むか否かを判定する(ステップS376)。キーワードの属性が更新日時であるキーワードを含む場合、制御部400は、ファイル名に加え、当該ファイルの更新日時を表示部450に表示する(ステップS376;Yes→ステップS378)。さらに、制御部400は、キーワードに基づく日時と一致する部分を強調表示する(ステップS380)。
つづいて、制御部400は、キーワードの属性がファイルの名前あるキーワードを含むか否かを判定する(ステップS382)。キーワードの属性がファイルの名前であるキーワードを含む場合、制御部400は、ステップS362において表示したファイル名のうち、キーワードと一致する部分と一致しない部分とをそれぞれ区別可能なように、異なる態様で強調表示(識別表示)させる(ステップS382;Yes→ステップS384)。
図22に戻り、対話サーバ30は、音声認識サーバ20から第2の音声を含む認識結果を受信する(S137)。また、対話サーバ30及び画像形成装置40はユーザによる操作に基づきファイルを特定する(S138)。また、画像形成装置40は、当該特定したファイルに基づく画像の出力を実行する(S140)。
なお、第3実施形態においても、第2実施形態と同様に、S310において、対話サーバ30の制御部300は、画像形成装置40にキーワード及びキーワードの属性を送信する代わりに、表示態様を示す情報を送信してもよい。表示態様を示す情報は、ファイルのサムネイル画像を表示させるための情報や、強調表示させる文字列の情報である。画像形成装置40の制御部400は、対話サーバ30から受信した表示態様を示す情報に基づいて、サムネイルの表示を行う。このようにすることで、対話サーバ30は、画像形成装置40に対して、キーワードの属性に応じた表示態様に切り替えて表示させる制御が可能となる。
[3.2 動作例]
つづいて、本実施形態における動作例を説明する。図27(a)は、ユーザが「昨日の写真」といった音声T300が発話された場合の動作例を示す図である。「昨日の写真」といった発話には、属性が更新日時であるキーワード「昨日」と、属性がファイルの種類である「写真」とが含まれる。この場合、画像形成装置40の表示部450には、更新日時及びファイルの種類に基づいて絞り込まれたファイル群のサムネイル画像を含む画面W300が表示される。例えば、図27(a)に示すように、画面W300には、サムネイル画像E300と、ファイル名を含む領域E302とが含まれる。
ユーザの発話に基づくキーワードの中には、属性がファイルの種類であるキーワードが含まれるため、領域E304に示すように、ファイル名に含まれる拡張子の部分が強調表示される。さらに、キーワードの中には、属性が更新日時であるキーワードが含まれるため、領域E302には、ファイル名に加えて更新日時が表示される領域E306が含まれ、更新日時が強調表示される。また、音声入出力装置10からは、ファイル名とファイル番号とを含む音声T302が出力される。なお、属性がファイルの種類であるキーワードを含む場合は、ファイルの種類が一意に定まるため、音声入出力装置10から出力される音声は、ファイル名から拡張子が省略された音声であってもよい。
図27(b)は、ユーザが「山田さんの名刺」といった音声T310が発話された場合の動作例を示す図である。「山田さんの名刺」といった発話には、属性が作成者であるキーワード「山田」と、属性がファイルの名前である「名刺」とが含まれる。この場合、画像形成装置40の表示部450には、作成者名及びファイルの名前に基づいて絞り込まれたファイル群のサムネイル画像を含む画面W310が表示される。例えば、図27(b)に示すように、画面W310には、サムネイル画像E310と、ファイル名を含む領域E312とが含まれる。
ユーザの発話に基づくキーワードの中には、属性がファイルの名前であるキーワードが含まれる。そのため、領域E314及び領域E316に示すように、ファイル名の中でキーワードと一致する箇所と一致しない箇所とが、それぞれ異なる態様で強調表示(識別表示)される。さらに、キーワードの中には、属性が作成者であるキーワードが含まれるため、領域E312には、ファイル名に加えて作成者名が表示される領域E318が含まれ、作成者名が強調表示される。また、音声入出力装置10からは、ファイル名のうち、ユーザが入力したキーワードと一致する箇所を省略した省略表現が出力される。なお、音声入出力装置10から出力される音声は、ファイル名のうちキーワードを一致する部分が省略されてもよいし、省略されていなくてもよい。また、拡張子が省略されていてもよいし、省略されていなくてもよい。複数のキーワードに基づく複合サーチが行われる場合は、ファイル名から省略する部分については、ユーザや管理者等によって設定可能であってもよい。
図27(c)は、ユーザが「先週の週報」といった音声T320が発話された場合の動作例を示す図である。「先週の週報」といった発話には、属性が更新日時であるキーワード「先週」と、属性がファイルの名前である「週報」とが含まれる。この場合、画像形成装置40の表示部450には、更新日時及びファイルの名前に基づいて絞り込まれたファイル群のサムネイル画像を含む画面W320が表示される。例えば、図27(c)に示すように、画面W320には、サムネイル画像E320と、ファイル名を含む領域E322とが含まれる。
ユーザの発話に基づくキーワードの中には、属性が更新日時であるキーワードが含まれるため、領域E322に示すように、領域E322には、ファイル名に加えて更新日時が表示される領域E324が含まれ、更新日時が強調表示される。また、属性がファイルの名前であるキーワードが含まれるため、領域E322に示すように、ファイル名の中でキーワードと一致する箇所と一致しない箇所とが、それぞれ異なる態様で強調表示(識別表示)される。
本実施形態によれば、ユーザは、複合サーチにより、出力対象となるファイルの候補をできるだけ減らしたうえで、ファイルを選択することができる。
[4.変形例]
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
また、上述した実施形態の発明として、以下のような発明をそれぞれ実現することができる。
第1の発明として、
入力された第1の音声から認識されたキーワードを取得する取得部と、
前記キーワードを用いてファイルを絞り込む絞り込み部と、
前記絞り込み部によって絞り込まれたファイルに基づく発話内容を発話する処理を実行する発話処理部と、
前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定する特定部と、
を備えることを特徴とする情報処理装置としてもよい。
また、第2の発明として、
前記キーワードの属性を判定する判定部と、
前記キーワードの属性に応じて、前記絞り込み部によって絞り込まれたファイルを表示する制御を行う表示制御部と、
を更に備えることを特徴とする第1の発明の情報処理装置としてもよい。
また、第3の発明として、
前記表示制御部は、前記キーワードの属性がファイルの種類である場合、前記ファイルの種類に応じて、前記絞り込み部によって絞り込まれたファイルのサムネイル画像を表示させる制御を行うことを特徴とする第2の発明の情報処理装置としてもよい。
また、第4の発明として、
前記表示制御部は、前記ファイルの種類が画像である場合は、画像全体を縮小させたサムネイル画像を表示させ、前記ファイルの種類が画像以外である場合は、ファイルの一部の領域を拡大させたサムネイル画像を表示させる制御を行うことを特徴とする第3の発明の情報処理装置としてもよい。
また、第5の発明として、
前記表示制御部は、前記キーワードの属性がファイルの作成者又はファイルの更新日時である場合、前記絞り込み部によって絞り込まれたファイルの情報をリストで表示させ、前記ファイルの情報のうちキーワードと合致する箇所を強調して表示させる制御を行うことを特徴とする第2の発明の情報処理装置としてもよい。
また、第6の発明として、
前記発話処理部は、前記キーワードの属性がファイルの名前である場合は、前記絞り込み部によって絞り込まれた前記ファイルのファイル名の短縮表現を発話する処理を実行し、前記キーワードの属性がファイルの名前以外である場合は、前記絞り込み部によって絞り込まれた前記ファイルのファイル名を発話する処理を実行することを特徴とする第2の発明から第5の発明の何れか一つの発明の情報処理装置としてもよい。
また、第7の発明として、
前記発話処理部は、前記絞り込んだファイルのファイル名を発話する場合に必要となる時間が所定の時間を超えるとき、ファイル名の短縮表現を発話することを判定することを特徴とする第1の発明の情報処理装置としてもよい。
また、第8の発明として、
前記発話処理部は、絞り込んだ前記ファイルのファイル名の短縮表現を発話する処理を実行する場合、前記発話内容を、前記ファイル名から一部の表現を省略した内容とすることを特徴とする第1の発明から第7の発明の何れか一つの発明の情報処理装置としてもよい。
また、第9の発明として、
前記発話処理部は、前記ファイル名の命名規則に基づき、前記ファイル名に含まれる一部の表現を省略することを特徴とする第8の発明の情報処理装置としてもよい。
また、第10の発明として、
前記発話処理部は、前記ファイル名に用いられている言語の特徴に基づき、前記ファイル名に含まれる一部の表現を省略することを特徴とする第8の発明又は第9の発明の情報処理装置としてもよい。
また、第11の発明として、
前記発話処理部は、キーワードをファイル名に含むファイルを絞り込んだ場合、当該ファイルのファイル名のうち、キーワードと一致する表現を省略することを特徴とする第8の発明から第10の発明の何れか一つの発明の情報処理装置としてもよい。
また、第12の発明として、
前記発話処理部は、前記キーワードが複数ある場合であって、前記キーワードをファイル名に含むファイルを絞り込んだとき、当該絞り込んだファイルのファイル名のうち、キーワードと一致する表現を省略することを特徴とする第1の発明の情報処理装置としてもよい。
また、第13の発明として、
前記発話処理部は、前記ファイル名から一部の表現を省略した場合の表現が複数のファイルのファイル名において重複する場合、当該重複するファイル名は省略しないことを特徴とする第7の発明から第12の発明の何れか一つの発明の情報処理装置としてもよい。
また、第14の発明として、
前記特定部は、前記絞り込んだファイルのうち、当該ファイルのファイル名に、前記第2の音声に基づく発話内容が含まれるファイルを特定することを特徴とする第1の発明から第13の発明の何れか一つの発明の情報処理装置としてもよい。
また、第15の発明として、
前記発話処理部は、前記絞り込んだファイルに対応する番号を前記発話内容に含め、
前記特定部は、前記第2の音声に前記番号が含まれる場合、当該番号に対応するファイルを特定することを特徴とする第1の発明から第14の発明の何れか一つに記載の発明の情報処理装置としてもよい。
また、上述した各実施の形態では、対話サーバ30は、ユーザによって入力された音声に基づいてキーワードを取得することとして説明したが、別の方法によってキーワードが取得されてもよい。例えば、キーワードは、対話サーバ30や画像形成装置40において利用可能な入力装置(キーワードやタッチパネル)を介して入力された情報に基づいて取得されてもよい。
また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、CPU等を制御するプログラム(コンピュータを機能させるプログラム)である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置(例えば、RAM)に蓄積され、その後、各種ROM(Read Only Memory)やHDD等の記憶装置に格納され、必要に応じてCPUによって読み出し、修正・書き込みが行なわれる。
ここで、プログラムを格納する記録媒体としては、半導体媒体(例えば、ROMや、不揮発性のメモリカード等)、光記録媒体・光磁気記録媒体(例えば、DVD(Digital Versatile Disc)、MO(Magneto Optical Disc)、MD(Mini Disc)、CD(Compact Disc)、BD(Blu-ray Disc)(登録商標)等)、磁気記録媒体(例えば、磁気テープ、フレキシブルディスク等)等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。
また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。
1 印刷システム
10 音声入出力装置
100 制御部
102 音声送信部
104 音声受信部
110 音声入力部
120 音声出力部
130 通信部
140 記憶部
20 音声認識サーバ
200 制御部
202 音声認識部
204 音声合成部
206 連携部
210 通信部
220 記憶部
30 対話サーバ
300 制御部
302 対話処理部
304 ファイル名発話処理部
306 短縮表現発話処理部
308 コマンド送信部
320 通信部
330 記憶部
332 判定テーブル
334 蓄積ファイル情報
40 画像形成装置
400 制御部
402 画像処理部
404 ユーザ認証部
410 画像入力部
420 原稿読取部
430 画像形成部
440 操作部
450 表示部
460 記憶部
462 印刷データリスト
464 印刷データ記憶領域
466 ユーザ情報記憶領域
468 待機画面情報
470 ジョブ実行画面情報
472 蓄積ファイル情報
490 通信部

Claims (11)

  1. 入力された第1の音声から認識されたキーワードを取得する取得部と、
    前記キーワードを用いてファイルを絞り込む絞り込み部と、
    前記絞り込み部によって絞り込まれたファイルに基づく発話内容を発話する処理を実行する発話処理部と、
    前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定する特定部と、
    を備え
    前記発話処理部は、絞り込んだ前記ファイルのファイル名の短縮表現を発話する処理を実行する場合、前記発話内容を、前記ファイル名から一部の表現を省略した内容とし、
    前記発話処理部は、キーワードをファイル名に含むファイルを絞り込んだ場合、当該ファイルのファイル名のうち、キーワードと一致する表現を省略する
    ことを特徴とする情報処理装置。
  2. 前記キーワードの属性を判定する判定部と、
    前記キーワードの属性に応じて、前記絞り込み部によって絞り込まれたファイルを表示する制御を行う表示制御部と、
    を更に備えることを特徴とする請求項1に記載の情報処理装置。
  3. 前記発話処理部は、前記絞り込んだファイルのファイル名を発話する場合に必要となる時間が所定の時間を超えるとき、ファイル名の短縮表現を発話することを判定することを特徴とする請求項1に記載の情報処理装置。
  4. 入力された第1の音声から認識されたキーワードを取得する取得部と、
    前記キーワードを用いてファイルを絞り込む絞り込み部と、
    前記絞り込み部によって絞り込まれたファイルに基づく発話内容を発話する処理を実行する発話処理部と、
    前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定する特定部と、
    を備え、
    前記発話処理部は、前記キーワードが複数ある場合であって、前記キーワードをファイル名に含むファイルを絞り込んだとき、当該絞り込んだファイルのファイル名のうち、キーワードと一致する表現を省略することを特徴とする報処理装置。
  5. 前記特定部は、前記絞り込んだファイルのうち、当該ファイルのファイル名に、前記第2の音声に基づく発話内容が含まれるファイルを特定することを特徴とする請求項1からの何れか一項に記載の情報処理装置。
  6. 前記発話処理部は、前記絞り込んだファイルに対応する番号を前記発話内容に含め、
    前記特定部は、前記第2の音声に前記番号が含まれる場合、当該番号に対応するファイルを特定することを特徴とする請求項1からの何れか一項に記載の情報処理装置。
  7. 情報処理装置と画像形成装置とを含んだ印刷システムであって、
    前記情報処理装置は、
    入力された第1の音声から認識されたキーワードを取得する取得部と、
    前記画像形成装置が出力可能なファイルのうち、前記キーワードを用いてファイルを絞り込む絞り込み部と、
    前記絞り込み部によって絞り込まれたファイルに基づく発話内容を発話する処理を実行する発話処理部と、
    前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定するファイル特定部と、
    を備え、
    前記画像形成装置は、
    前記ファイル特定部によって特定されたファイルの画像を形成する画像形成部
    を備え
    前記発話処理部は、絞り込んだ前記ファイルのファイル名の短縮表現を発話する処理を実行する場合、前記発話内容を、前記ファイル名から一部の表現を省略した内容とし、
    前記発話処理部は、キーワードをファイル名に含むファイルを絞り込んだ場合、当該ファイルのファイル名のうち、キーワードと一致する表現を省略する
    とを特徴する印刷システム。
  8. 入力された第1の音声から認識されたキーワードを取得する取得ステップと、
    前記キーワードを用いてファイルを絞り込む絞り込みステップと、
    絞り込まれた前記ファイルに基づく発話内容を発話する処理を実行する発話処理ステップと、
    前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定する特定ステップと、
    を含み、
    前記発話処理ステップは、絞り込んだ前記ファイルのファイル名の短縮表現を発話する処理を実行する場合、前記発話内容を、前記ファイル名から一部の表現を省略した内容とし、
    前記発話処理ステップは、キーワードをファイル名に含むファイルを絞り込んだ場合、当該ファイルのファイル名のうち、キーワードと一致する表現を省略することを特徴とする制御方法。
  9. コンピュータに、
    入力された第1の音声から認識されたキーワードを取得する取得機能と、
    前記キーワードを用いてファイルを絞り込む絞り込み機能と、
    絞り込まれた前記ファイルに基づく発話内容を発話する処理を実行する発話処理機能と、
    前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定する特定機能と、
    を実現させるプログラムであって、
    前記発話処理機能は、絞り込んだ前記ファイルのファイル名の短縮表現を発話する処理を実行する場合、前記発話内容を、前記ファイル名から一部の表現を省略した内容とし、
    前記発話処理機能は、キーワードをファイル名に含むファイルを絞り込んだ場合、当該ファイルのファイル名のうち、キーワードと一致する表現を省略することを特徴とするプログラム。
  10. 入力された第1の音声から認識されたキーワードを取得する取得ステップと、
    前記キーワードを用いてファイルを絞り込む絞り込みステップと、
    前記絞り込みステップによって絞り込まれたファイルに基づく発話内容を発話する処理を実行する発話処理ステップと、
    前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定する特定ステップと、
    を含み、
    前記発話処理ステップは、前記キーワードが複数ある場合であって、前記キーワードをファイル名に含むファイルを絞り込んだとき、当該絞り込んだファイルのファイル名のうち、キーワードと一致する表現を省略することを特徴とする制御方法。
  11. コンピュータに
    入力された第1の音声から認識されたキーワードを取得する取得機能と、
    前記キーワードを用いてファイルを絞り込む絞り込み機能と、
    前記絞り込み機能によって絞り込まれたファイルに基づく発話内容を発話する処理を実行する発話処理機能と、
    前記発話内容が発話された後に入力された第2の音声に基づきファイルを特定する特定機能と、
    を実現させるプログラムであって、
    前記発話処理機能は、前記キーワードが複数ある場合であって、前記キーワードをファイル名に含むファイルを絞り込んだとき、当該絞り込んだファイルのファイル名のうち、キーワードと一致する表現を省略することを特徴とするプログラム。
JP2020147119A 2020-09-01 2020-09-01 情報処理装置、印刷システム、制御方法及びプログラム Active JP7430126B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020147119A JP7430126B2 (ja) 2020-09-01 2020-09-01 情報処理装置、印刷システム、制御方法及びプログラム
US17/462,961 US20220068276A1 (en) 2020-09-01 2021-08-31 Information processor, print system, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020147119A JP7430126B2 (ja) 2020-09-01 2020-09-01 情報処理装置、印刷システム、制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022041741A JP2022041741A (ja) 2022-03-11
JP7430126B2 true JP7430126B2 (ja) 2024-02-09

Family

ID=80358896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020147119A Active JP7430126B2 (ja) 2020-09-01 2020-09-01 情報処理装置、印刷システム、制御方法及びプログラム

Country Status (2)

Country Link
US (1) US20220068276A1 (ja)
JP (1) JP7430126B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7430126B2 (ja) * 2020-09-01 2024-02-09 シャープ株式会社 情報処理装置、印刷システム、制御方法及びプログラム
US20230267933A1 (en) * 2021-09-27 2023-08-24 International Business Machines Corporation Selective inclusion of speech content in documents

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003167600A (ja) 2001-12-04 2003-06-13 Canon Inc 音声認識装置及び方法、ページ記述言語表示装置及びその制御方法、並びにコンピュータ・プログラム
JP2006276754A (ja) 2005-03-30 2006-10-12 Mitsubishi Electric Information Systems Corp オペレータ業務支援システム
JP2007133731A (ja) 2005-11-11 2007-05-31 Matsushita Electric Ind Co Ltd コンテンツデータ再生装置
JP2009182794A (ja) 2008-01-31 2009-08-13 Brother Ind Ltd 画像読取装置、画像読取方法及び読取制御プログラム
JP2010170500A (ja) 2009-01-26 2010-08-05 Brother Ind Ltd サムネイル生成処理プログラム、サムネイル生成装置、サムネイル生成方法及び表示装置
JP2019109752A (ja) 2017-12-19 2019-07-04 キヤノン株式会社 無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム
JP2019185734A (ja) 2018-03-30 2019-10-24 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP2020052700A (ja) 2018-09-26 2020-04-02 株式会社リコー 情報処理装置、情報処理システム、ファイル一覧表示方法及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761655A (en) * 1990-06-06 1998-06-02 Alphatronix, Inc. Image file storage and retrieval system
US6167218A (en) * 1998-10-09 2000-12-26 Canon Kabushiki Kaisha Image production equipment operable under voice direction
US6606744B1 (en) * 1999-11-22 2003-08-12 Accenture, Llp Providing collaborative installation management in a network-based supply chain environment
AU2003233558B8 (en) * 2003-05-16 2010-01-21 Microsoft Technology Licensing, Llc File system shell
US20050149336A1 (en) * 2003-12-29 2005-07-07 Cooley Matthew B. Voice to image printing
US9116890B2 (en) * 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
JP2005309512A (ja) * 2004-04-16 2005-11-04 Olympus Corp 情報処理プログラム、情報処理方法、情報処理装置及び記録媒体
US8200700B2 (en) * 2005-02-01 2012-06-12 Newsilike Media Group, Inc Systems and methods for use of structured and unstructured distributed data
US20060242122A1 (en) * 2005-04-22 2006-10-26 Microsoft Corporation Systems, methods, and user interfaces for storing, searching, navigating, and retrieving electronic information
JP5391583B2 (ja) * 2008-05-29 2014-01-15 富士通株式会社 検索装置、生成装置、プログラム、検索方法および生成方法
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
JP6163854B2 (ja) * 2013-04-30 2017-07-19 富士通株式会社 検索制御装置、検索制御方法、生成装置および生成方法
WO2015163140A1 (ja) * 2014-04-22 2015-10-29 シャープ株式会社 表示装置および表示制御プログラム
TWI566107B (zh) * 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US10083688B2 (en) * 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10446143B2 (en) * 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
DK179588B1 (en) * 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10586535B2 (en) * 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
KR102100742B1 (ko) * 2017-05-16 2020-04-14 애플 인크. 디지털 어시스턴트 서비스의 원거리 확장
JP7193312B2 (ja) * 2018-11-13 2022-12-20 シャープ株式会社 情報処理装置、制御方法及びプログラム
JP7430034B2 (ja) * 2019-04-26 2024-02-09 シャープ株式会社 画像形成装置、画像形成方法及びプログラム
US11128636B1 (en) * 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
US11385726B2 (en) * 2020-06-01 2022-07-12 Science House LLC Systems, methods, and apparatus for enhanced presentation remotes
JP7430126B2 (ja) * 2020-09-01 2024-02-09 シャープ株式会社 情報処理装置、印刷システム、制御方法及びプログラム
JP2023056252A (ja) * 2021-10-07 2023-04-19 シャープ株式会社 画像処理装置及び履歴情報の表示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003167600A (ja) 2001-12-04 2003-06-13 Canon Inc 音声認識装置及び方法、ページ記述言語表示装置及びその制御方法、並びにコンピュータ・プログラム
JP2006276754A (ja) 2005-03-30 2006-10-12 Mitsubishi Electric Information Systems Corp オペレータ業務支援システム
JP2007133731A (ja) 2005-11-11 2007-05-31 Matsushita Electric Ind Co Ltd コンテンツデータ再生装置
JP2009182794A (ja) 2008-01-31 2009-08-13 Brother Ind Ltd 画像読取装置、画像読取方法及び読取制御プログラム
JP2010170500A (ja) 2009-01-26 2010-08-05 Brother Ind Ltd サムネイル生成処理プログラム、サムネイル生成装置、サムネイル生成方法及び表示装置
JP2019109752A (ja) 2017-12-19 2019-07-04 キヤノン株式会社 無線端末、管理サーバ、意図解釈サーバ、それらの制御方法、及びプログラム
JP2019185734A (ja) 2018-03-30 2019-10-24 株式会社リコー 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP2020052700A (ja) 2018-09-26 2020-04-02 株式会社リコー 情報処理装置、情報処理システム、ファイル一覧表示方法及びプログラム

Also Published As

Publication number Publication date
US20220068276A1 (en) 2022-03-03
JP2022041741A (ja) 2022-03-11

Similar Documents

Publication Publication Date Title
JP7159608B2 (ja) 操作画面の表示装置、画像処理装置及びプログラム
JP5641765B2 (ja) 情報処理装置、認証方法、及びコンピュータプログラム
JP4796830B2 (ja) 情報処理方法及び情報処理装置
JP7430126B2 (ja) 情報処理装置、印刷システム、制御方法及びプログラム
US11586866B2 (en) System including a controlling server for printing print data based on a first printing content and print data based on a second printing content
JP2023051952A (ja) 音声操作システム及び音声操作方法
US9881001B2 (en) Image processing device, image processing method and non-transitory computer readable recording medium
JP2017090997A (ja) 情報処理装置、プログラム、情報処理システムおよび情報処理方法
JP2006259919A (ja) 文字列入力支援装置
JP6232736B2 (ja) 文書読解支援装置、文書読解支援システム、文書読解支援方法およびプログラム
US8081338B2 (en) Form processing apparatus and method
TWI453655B (zh) 多功能事務機及其警示方法
US20140055813A1 (en) Apparatus and method of forming an image, terminal and method of controlling printing, and computer-readable recording medium
US10630854B2 (en) Image processing apparatus
KR20190136832A (ko) 음성 명령을 프린팅 서비스를 지원하는 텍스트 코드 블록들로 변환
JP4227394B2 (ja) 印刷システム
JP6478163B2 (ja) 印刷デバイスの検索および管理システムならびに方法
JP2009020553A (ja) 電子ファイル管理装置および電子ファイル管理プログラム
JP5169632B2 (ja) 画像処理装置及びプログラム
JP2009075849A (ja) 情報処理装置、情報処理方法、そのプログラム及び記憶媒体
US20200394733A1 (en) Systems and methods for mobile device-based legal self help
JP5851962B2 (ja) 中継サーバ
CN113206922A (zh) 系统及图像形成系统
US20170371864A1 (en) System and method for device filtered translation
US20240323292A1 (en) Image reading apparatus, image reading method, and non-transitory recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240130

R150 Certificate of patent or registration of utility model

Ref document number: 7430126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150