JP7333761B2 - システム及び画像形成システム - Google Patents

Description

本発明は、システム等に関する。

従来、音声により装置の操作を行う技術が知られている。例えば、音声を像形成モードに対応付けて登録し、呼出モードにおいて、入力される音声を既に登録された音声と比較し、該比較結果に基づいて、入力された音声に対応付けられた像形成モードの呼び出しを制御する画像形成装置が提案されている（例えば、特許文献１参照）。また、ＧＵＩ（グラフイカル・ユーザ・インタフェース）画面上で選択可能なオブジェクト上またはその近辺に音声認識用の発声すべきキーワードまたは識別用通し番号等を文字で表示するマンマシンインタフェース装置が提案されている（例えば、特許文献２参照）。

特開２０００－１８１２９２ 特開２０００－２６７８３７

しかしながら、特許文献１及び特許文献２に開示された技術は、予め装置が有しているモードや機能と音声とを対応させるものであり、装置が予め有していないファイルを選択する場合については考慮されていない。また、ユーザがファイルを選択する場面では、ファイル名や拡張子をどのようにユーザが発声すればよいか、或いはどのように装置が音声によって出力すればよいかは、ユーザによっても、ファイルによっても異なる。例えば、ユーザがファイル名を発声する場合、ファイル名の基底名（例えば、「Flower.jpg」というファイル名における「Flower」の部分）を、英語の単語として発声する場合や、１文字ずつ発声する場合がある。また、拡張子（例えば、「Flower.jpg」というファイル名における「jpg」の部分）を、１文字ずつ発声する場合や、特有の呼び方（例えば、「ｔｘｔ」であれば「テキスト」、「ｊｐｇ」であれば「ジェイペグ」）を発声する場合がある。さらに、基底名と拡張子を区切る記号である「．」を、ユーザによって「ドット」と発声したり「ピリオド」と発声したりすることが考えられる。このようにユーザによるファイル名の発声の仕方は様々考えられる。同様にして、装置がファイル名を音声により出力する場合も様々な方法が考えられる。このように、ユーザと装置との間で、音声により任意のファイルを特定するためにやりとりされる音声は様々考えられ、特にファイルの選択に関して、音声操作に特化したインタフェースについて考慮されていないことが多かった。

本願は上述した課題に鑑み、音声操作に適したインタフェースを備えるシステム等を提供することを目的とする。

上述した課題を解決するための第１の実施態様は、制御装置（例えば、図１の制御装置１０、図４の制御部６００）と、ファイルを記憶する記憶装置（例えば、図１の記憶装置２０、図４の記憶部６５０）と、表示装置（例えば、図１の表示装置３０、図４の表示部６１０）と、音声装置（例えば、図１の音声入出力装置４０、図４の音声入出力部６３０）とを備えたシステムであって、
前記制御装置は、
前記音声装置を介して、ユーザから一覧表示するコマンドの音声が入力されると、前記ファイルを特定する第１の識別表示を前記表示装置に一覧表示し、
前記一覧表示するファイルに識別符号を割当て第２の識別表示として表示し、
前記音声装置を介して、ユーザから前記識別符号を含む音声が入力されると、当該識別符号に対応するファイルを選択する、
ことを特徴とするシステムである。

第２の実施態様は、前記制御装置は、
前記第１の識別表示を前記表示装置に一覧表示するとき、ユーザが一覧表示された第１の識別表示の中からファイルが選択可能な場合にのみ、前記ユーザから識別符号を含む音声の入力を受け付ける第１の実施態様のシステムである。

第３の実施態様は、前記制御装置は、
所定の処理が実行可能であり、
前記所定の処理が実行されると、前記第１の識別表示と前記第２の識別表示とを前記表示装置に一覧表示可能であり、
前記所定の処理が実行中に前記音声装置を介してユーザから前記識別符号を含む音声が入力されると、当該識別符号に対応するファイルを選択する
ことを特徴とする第１又は第２の実施態様のシステムである。

第４の実施態様は、前記所定の処理は、ユーザが複数参加可能な会議処理であることを特徴とする第３の実施態様のシステムである。

第５の実施態様は、前記制御装置は、
ユーザから前記音声装置を介して音声の入力がなされて一覧表示をした場合は、前記識別符号について音声装置からの入力を受け付け、
ユーザから音声装置以外の装置を介して入力がなされて一覧表示をした場合は、音声装置以外の装置からの入力を受け付ける
ことを特徴とする第１から第４の何れかの実施態様のシステムである。

第６の実施態様は、前記第１の識別表示は、ファイル名と、ファイルの属性を示すアイコンであることを特徴とする第１から第５の何れかの実施態様のシステムである。

第７の実施態様は、前記制御装置は、前記一覧表示するファイルをグルーピングし、同一のグループに含まれる複数のファイルに一の識別符号を割当てることを特徴とする第１から第６の何れかのシステムである。

第８の実施態様は、制御装置（例えば、図８の画像形成装置７０、図９の制御部７００）と、ファイルを記憶する記憶装置（例えば、図８の画像形成装置７０、図９の記憶部７７０）と、表示装置（例えば、図８の画像形成装置７０、図９の表示部７５０）と、音声装置（例えば、図８の音声入出力装置９０、図９の音声入出力部７６０）とを含む画像形成装置であって、
前記制御装置は、
前記ファイルのサムネイル画像を前記表示装置に一覧表示し、
前記一覧表示したサムネイル画像に識別符号を含む画像を重畳して表示し、
前記音声装置を介して、ユーザから識別符号が音声入力された場合には、当該識別符号に対応するファイルに基づいて画像を形成する、
ことを特徴とする画像形成システムである。

第９の実施態様は、前記識別符号を含む画像は、少なくとも前記サムネイル画像の短辺の３分の１以上の大きさの画像であることを特徴とする第８の実施態様の画像形成システムである。

第１０の実施態様は、前記識別符号を含む画像は、矩形状の非透過の画像に、前記識別符号が含まれている画像であることを特徴とする第８又は第９の実施態様の画像形成システムである。

第１１の実施態様は、前記識別符号を含む画像は、前記サムネイル画像の何れかの隅部に重畳表示される画像であることを特徴とする第８から第１０の何れかに記載の実施態様の画像形成システムである。

第１２の実施態様は、前記制御装置は、前記一覧表示したサムネイル画像の中から一のサムネイル画像を順次選択し、選択したサムネイル画像に対応する前記識別符号を前記音声装置から音声出力することを特徴とする第８から第１１の何れの実施態様の画像形成システムである。

第１３の実施態様は、前記制御装置は、前記選択したサムネイル画像に対応する前記識別符号を前記音声装置から音声出力するときに、併せて当該サムネイル画像を強調表示させることを特徴とする第１２の実施態様の画像形成システムである。

第１４の実施態様は、前記制御装置は、前記サムネイルの強調表示として、サムネイル画像を拡大して表示する、サムネイル画像の周囲に枠を表示する、サムネイル画像の色を反転して表示する、サムネイル画像を点滅して表示する、のうち少なくとも何れか１つの方法により表示させることを特徴とする第１３の実施態様の画像形成システムである。

第１５の実施態様は、前記制御装置は、前記選択したサムネイル画像に対応する前記識別符号を前記音声装置から音声出力するときに、併せて当該識別符号を含む画像を拡大して表示することを特徴とする第１２の実施態様の画像形成システムである。

本発明によれば、音声操作に適したインタフェースを備えることができる。

第１実施形態におけるシステム全体を説明するための図である。 第１実施形態における処理装置の機能構成を説明するための図である。 第１実施形態におけるファイル選択処理を説明するための図である。 第２実施形態における表示装置の機能構成を説明するための図である。 第２実施形態における表示装置の処理を説明するための図である。 第２実施形態における動作例を説明するための図である。 第２実施形態における動作例を説明するための図である。 第４実施形態における印刷システム全体を説明するための図である。 第４実施形態における画像形成装置の機能構成を説明するための図である。 第４実施形態における画像形成装置の処理を説明するための図である。 第４実施形態における動作例を説明するための図である。 第４実施形態における動作例を説明するための図である。 第５実施形態における画像形成装置の処理を説明するための図である。 第５実施形態における動作例を説明するための図である。

以下、本発明の実施の形態について、図面を参照して説明する。なお、各実施形態は、本発明を説明する都合上記載したものであり、本発明の技術的範囲が以下の実施形態に限定されるものではない。

［１．第１実施形態］
［１．１ 全体構成］
図１は、システム１の概略を示した図である。システム１では、例えば制御装置１０と、記憶装置２０と、表示装置３０と、音声入出力装置４０とを備えている。

ここで、システム１を構成する装置は、それぞれ独立の装置であってもよいし、１つの装置の中で構成されてもよいし、複数の装置を組み合わせてもよい。

また、音声入出力装置４０は、外部サービスを利用してもよい。例えば、音声入出力装置４０は、ユーザが発した音声から言葉を認識し、入力文として会話サービスに送信する。会話サービスは、受信した入力文に基づいて対応する応答文（会話文）を音声入出力装置４０に送信する。音声入出力装置４０は、応答文に基づいて音声を出力する。

ここで、会話サービスとは、ユーザから文や音声の入力を受け付け、入力された内容からユーザの要求を認識し、要求に対する応答として、要求に対する処理の実行結果やユーザに提示する情報を含む応答文や応答する音声を出力するサービスである。また、会話サービスは、このような、ユーザからの入力と入力に対する応答とを継続的に繰り返して行うことにより、対話を成立させる。

なお、会話サービスは、外部サービスを利用せずに、システム１で実現してもよい。例えば、制御装置１０において、会話処理を実現するプログラムを実行することにより、システム１だけで会話サービスをユーザに提供することができる。

［１．２ 機能構成］
図２は、システム１を処理装置５０に適用した場合の構成を示す図である。処理装置５０は、制御装置１０に対応する制御部５００と、記憶装置２０に対応する記憶部５５０と、表示装置３０に対応する表示部５１０と、音声入出力装置４０に対応する音声入出力部５３０とを備えている。以下、処理装置５０について説明する。

制御部５００は、処理装置５０の全体を制御するための機能部である。制御部５００は、記憶部５５０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、１又は複数の演算装置（例えばＣＰＵ（Central Processing Unit））により構成される。

制御部５００は、プログラムを実行することにより、音声認識部５０２として機能する。音声認識部５０２は、音声入出力部５３０を介して音声が入力された場合、入力された音声を認識する。なお、音声認識部５０２は、認識した音声の内容を示す情報（例えば、文字の情報）を、一時的に記憶部５５０に出力してもよい。

表示部５１０は、ファイルの内容を表示したり、処理装置５０の各種状態や、操作入力の状態を表示したりする。例えば、液晶ディスプレイ（ＬＥＤ：Liquid Crystal Display）や、有機ＥＬパネル、電動誘導方式を利用した電子ペーパ等により構成されている。

入力部５２０は、ユーザからの操作入力を受け付ける。例えば、静電容量式や、感圧式のタッチパネルにより構成される。なお、入力部５２０は、ユーザが情報を入力できればよく、例えば、タッチパネルと操作ペンを組み合わせてもよいし、キーボードやマウスといった入力装置であってもよい。

音声入出力部５３０は、音声の入力と出力とを行う。例えば、音声を入力するマイクと、音声の出力を行うスピーカにより構成される。なお、音声入出力部５３０は、インタフェースであってもよい。例えば、インタフェースに外部のマイクや、スピーカ等を接続してもよい。また、近距離無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））や、スマートスピーカ等の装置であってもよい。

記憶部５５０は、処理装置５０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部５５０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成されている。また、記憶部５５０は、ファイルを記憶するためのファイル記憶領域５５２を確保している。

通信部５６０は、他の装置と通信を行う。例えば、ＬＡＮ（Local Area Network）に接続して、他の装置とコメントに関する情報を送受信したり、ドキュメントを送受信したりする。通信方式は、一般的なイーサネット（登録商標）であるＬＡＮの他にも、ＬＴＥ／４Ｇ／５Ｇといった通信を利用してもよい。

［１．３ 処理の流れ］
処理装置５０が実行するファイル選択処理の流れについて、図３のフロー図を参照して説明する。ファイル選択処理とは、入力された音声に基づき、ファイル記憶領域５５２に記憶されたファイルのうち、１のファイルを選択する処理である。なお、ファイル記憶領域５５２には、予めファイルが記憶されていることとして説明する。

はじめに、制御部５００は、一覧表示するコマンドを受信したか否かを判定する（ステップＳ１０２）。一覧表示するコマンドとは、例えば、ファイル記憶領域５５２に記憶されたファイルを一覧で表示部５１０に表示する要求を示す音声であり、例えば、「ファイルを表示して」「フォルダを開いて」「Open document」といった音声である。制御部５００は、音声入出力部５３０を介して入力され、音声認識部５０２によって認識された音声の内容に基づき、一覧表示するコマンドを受信したか否かを判定する。

具体的には、ファイルを一覧表示する際にユーザによって発せられる内容を文字で示した情報（キーワード）を、記憶部５５０に予め記憶させる。そして、制御部５００は、音声認識部５０２によって認識された音声の内容を示す文字の情報がキーワードと一致した場合に、一覧表示するコマンドを受信したと判定する。

一覧表示するコマンドを受信した場合、制御部５００は、ファイル記憶領域５５２から、表示部５１０に表示するファイルを抽出する（ステップＳ１０２；Ｙｅｓ→ステップＳ１０４）。制御部５００は、ファイル記憶領域５５２に記憶されたファイルを全て抽出してもよいし、所定のフォルダに記憶されたファイルを抽出してもよいし、所定の条件を満たすファイル（例えば、作成された日時が今日であるファイル）を抽出する。

つづいて、制御部５００は、抽出したファイルに対応する識別符号を割り当てる（ステップＳ１０６）。識別符号は、ファイルを一意に特定することが可能な番号であり、例えば、連番（数字）である。なお、識別符号はファイルを一意に特定することができればよく、例えば、アルファベットであってもよい。

つづいて、制御部５００は、ファイルと識別符号とを表示部５１０に一覧表示する（ステップＳ１０８）。具体的には、制御部５００は、ファイルを特定する第１の識別表示と、当該ファイルに割り当てられた識別符号を示す第２の識別表示とを、ファイルごとに、並べて表示部５１０に表示する。なお、制御部５００は、第１の識別表示を表示部５１０に並べて表示させた上で、第１の識別表示に対応する第２の識別表示を、第１の識別表示の周囲に表示させてもよい。このように、第１の識別表示と第２の識別表示とが所定の方法に基づいて表示されることにより、ユーザは、ファイルと当該ファイルに割り当てられた識別符号との対応を、表示部５１０を見ることで把握できる。

制御部５００は、第１の識別表示として、例えば、ファイル名やファイルの属性（例えば、ファイルの種類、ファイルの作成者、ファイルの作成日等）を表示する。なお、制御部５００は、ファイルの属性を、アイコン、絵、記号等によって表示してもよい。また、制御部５００は、第２の識別表示として、例えば、識別符号を含んだ矩形を、対応するファイルの近傍に表示する。

つづいて、制御部５００は、識別符号を含むコマンドを受信したか否かを判定する（ステップＳ１１０）。識別符号を含むコマンドとは、少なくとも、識別符号を示す内容を含んだ音声であり、例えば、「５番」「Number 5」といった音声である。なお、識別符号を含むコマンドには、ファイルに対する処理を示す内容が含まれてもよい。例えば、識別符号を含むコマンドは、ファイルに対する処理として「開く」という処理の内容を含めた、「５番を開く」「Open 5th document」といった音声であってもよい。

具体的には、制御部５００は、音声認識部５０２によって認識された音声の内容に、第２の識別表示として表示した識別符号の何れかを示す数字の呼び方が含まれる場合、識別符号を含むコマンドを受信したと判定する。

識別符号を含むコマンドを受信した場合は、制御部５００は、受信したコマンドに含まれる識別符号に対応するファイルを選択する（ステップＳ１１０；Ｙｅｓ→ステップＳ１１２）。

なお、識別符号を含むコマンドを受信しなかった場合において、ユーザによって他の処理を実行することが指定された場合は、制御部５００は、指定された処理を実行する（ステップＳ１１０；Ｎｏ→ステップＳ１１４；Ｙｅｓ）。

また、識別符号を含むコマンドを受信せず、ユーザにより何れの処理も指定されなかった場合、制御部１００は、再びステップＳ１１０へ処理を遷移する（ステップＳ１１４；Ｎｏ→ステップＳ１１０）。

このように、本実施形態によれば、処理装置はファイルに識別符号を割り当てて、割り当てた識別符号を、ファイルを特定する情報とともに表示する。したがって、ユーザは、ファイルに割り当てられた識別符号を含む音声を発するだけで、容易にファイルを選択することが可能となる。識別符号を含む音声を発するだけでファイルが選択できるため、ユーザは、ファイル名やファイル名に含まれる拡張子をどのように発声すればよいかを考慮することなく、識別符号により適切にファイルを選択することが可能となる。

［２．第２実施形態］
第２実施形態について説明する。第２実施形態は、システム１を会議システムとして適用した実施形態である。図４は、会議システムを提供可能な表示装置６０を示した図である。表示装置６０は、制御装置１０に対応する制御部６００と、記憶装置２０に対応する記憶部６５０と、表示装置３０に対応する表示部６１０と、音声入出力装置４０に対応する音声入出力部６３０と、を備えて構成される。表示装置６０は、例えば、会議室に設置されるインタラクティブ・ホワイトボード（ＩＷＢ：Interactive Whiteboard）といった表示装置である。なお、表示装置６０は、ユーザが使用する端末装置であってもよい。

制御部６００は、表示装置６０の全体を制御するための機能部である。制御部６００は、記憶部６５０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、１又は複数の演算装置（例えばＣＰＵ）により構成される。

制御部６００は、プログラムを実行することにより、音声認識部６０２及び会議処理部６０４として機能する。音声認識部６０２は、音声入出力部６３０を介して音声が入力された場合、入力された音声を認識する。なお、音声認識部６０２は、認識した音声の内容を示す情報（例えば、文字の情報）を、一時的に記憶部６５０に出力してもよい。

会議処理部６０４は、会議の進行を支援するため、ユーザが複数参加可能な会議に関する処理（会議処理）を実行する。会議処理部６０４は、会議処理として、例えば、会議に参加する複数のユーザ同士で行われるチャットの機能を提供する処理を実行する。また、会議処理部６０４は、会議処理として、表示装置６０と接続されている装置（例えば、会議に参加する複数のユーザがそれぞれ使用する端末装置）との間で、ファイルの送受信を行う処理を実行したりする。

表示部６１０は、ファイルの内容を表示したり、表示装置６０の各種状態や、操作入力の状態を表示したりする。例えば、液晶ディスプレイ（ＬＥＤ：Liquid Crystal Display）や、有機ＥＬパネル、電動誘導方式を利用した電子ペーパ等により構成されている。

入力部６２０は、ユーザからの操作入力を受け付ける。例えば、静電容量式や、感圧式のタッチパネルにより構成される。なお、入力部６２０は、ユーザが情報を入力できればよく、例えば、タッチパネルと操作ペンを組み合わせてもよいし、キーボードやマウスといった入力装置であってもよい。

音声入出力部６３０は、音声の入力と出力とを行う。例えば、音声を入力するマイクと、音声の出力を行うスピーカにより構成される。なお、音声入出力部６３０は、インタフェースであってもよい。例えば、インタフェースに外部のマイクや、スピーカ等を接続してもよい。また、近距離無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ）や、スマートスピーカ等の装置であってもよい。

記憶部６５０は、表示装置６０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部６５０は、例えば、半導体メモリであるＳＳＤや、ＨＤＤ等により構成されている。また、記憶部６５０は、ファイルを記憶するためのファイル記憶領域６５２を確保している。

通信部６６０は、他の装置と通信を行う。例えば、ＬＡＮに接続して、他の装置と会議に関する情報を送受信したり、ファイルを送受信したりする。通信方式は、一般的なイーサネットであるＬＡＮの他にも、ＬＴＥ／４Ｇ／５Ｇといった通信を利用してもよい。

つづいて、図５を参照して、表示装置６０が実行する処理について説明する。はじめに、制御部６００は、表示部６１０に、初期状態として、メニュー画面を表示する（ステップＳ２０２）。メニュー画面は、例えば、１又は複数の会議の情報や、会議に関連するファイル表示する。例えば、制御部６００は、通信部６６０を介して、会議の情報（例えば、会議名、会議に参加するユーザの名前、開始時刻、終了時刻、会議に関連するファイルのファイル名等）を管理する装置から、会議の情報を取得し、表示部６１０に表示する。なお、会議に関連するファイルは、例えば、ユーザによって会議の情報が登録されたときに指定されたファイルであったり、会議の参加者であるユーザに対して事前に送信された会議招待メールに添付されたファイルであったりする。

なお、メニュー画面が表示されているときは、会議が開始されておらず、会議処理が実行されていないため、制御部６００は、メニュー画面に表示される会議に関連するファイルをユーザによって選択できないようにする。具体的には、制御部６００は、ファイルへの識別符号の割り当て及び第２の識別表示の表示を行わない。また、制御部６００は、ユーザから、識別符号を含む音声（コマンド）の入力がされても、その音声の入力を受け付けない。

つづいて、制御部６００（会議処理部６０４）は、ユーザによる会議開始の操作に基づき、会議処理を開始することにより、会議を開始する（ステップＳ２０４）。このとき、例えば、制御部６００は、開始された会議に関連するファイルを取得し、ファイル記憶領域６５２に記憶する。また、制御部６００（会議処理部６０４）は、会議処理において、会議に参加するユーザが使用する端末装置からファイルを受信し、受信したファイルをファイル記憶領域６５２に記憶してもよい。

つづいて、制御部６００は、ファイル選択処理を実行する（ステップＳ２０６）。ファイル選択処理は、第１実施形態で説明したファイル選択処理と同等の処理である。例えば、制御部６００は、音声入出力部６３０を介して入力された音声を音声認識部６０２により認識し、一覧表示のコマンドを受信したか否かを判定する。一覧表示のコマンドを受信した場合は、制御部６００は、ファイル記憶領域６５２に記憶されたファイルに対して識別符号を割り当て、第１の識別表示と第２の識別表示とを行う。このようにすることで、制御部６００は、会議処理が実行されると、第１の識別表示と第２の識別表示とを表示部６１０に一覧表示する。また、音声入出力部６３０を介して会議の参加者であるユーザから識別符号を含む音声が入力されると、制御部６００は、入力された識別符号に対応するファイルを選択する。このようにすることで、制御部６００は、ユーザがファイルの選択が可能な会議処理の実行中のみにおいて、第１の識別表示及び第２の識別表示を表示部６１０に表示する。また、制御部６００は、ユーザがファイルの選択が可能な会議処理の実行中のみにおいて、ユーザから識別符号を含む音声（コマンド）が入力されたときに、当該識別符号に対応するファイルを選択する。

つづいて、制御部６００は、ファイル選択処理によって選択されたファイルを、表示部６１０に表示する（ステップＳ２０８）。例えば、制御部６００は、選択されたファイルを表示することが可能なアプリケーションを起動させ、当該アプリケーションを介して、ユーザによって選択されたファイルを表示処理することで表示する。

つづいて、図６及び図７を参照して、本実施形態の動作例について説明する。図６は、メニュー画面を示す表示画面Ｗ２００の例である。表示画面Ｗ２００は、表示部６１０に表示されたり、ユーザが使用する端末装置に表示されたりする。表示画面２００には、会議に関連するファイルを表示する領域Ｅ２００を含む。領域Ｅ２００には、例えば、第１の識別表示として、表示Ｍ２００と表示Ｍ２０２とが含まれる。表示Ｍ２００として、１のファイルを特定するためのファイル名（例えば、「MeetingUI_v1.3.pptx」）と、当該１のファイルの属性であるファイルの種類を示すアイコンとが表示される。同様にして、表示Ｍ２０２として、１のファイルを特定するためのファイル名（例えば、「check_mobileUI_v6.pptx」）と、当該１のファイルの属性であるファイルの種類を示すアイコンとが表示される。なお、この時点では、会議は開始されていないため、ユーザの操作に基づくファイルの選択は行われない。また、領域Ｅ２００には、第２の識別表示は表示されない。そのため、表示装置６０は、識別符号を含む音声（コマンド）の入力を受け付けない。

図７（ａ）は、会議処理が開始されたあとに、表示部６１０やユーザが使用する端末装置に表示される表示画面Ｗ２１０の例である。表示画面２１０は、ユーザの入力に基づき、ファイルを選択することが可能な画面である。表示画面２１０には、会議に関連するファイルを表示する領域Ｅ２１０を含む。また、領域Ｅ２１０には、ファイルごとに、第１の識別表示を表示する領域と、第２の識別表示を表示する領域とが含まれ、第１の識別表示と第２の識別表示とが、縦に一列に並べて表示される。このため、ユーザは、一覧表示された第１の識別表示の中から、ファイルを選択することが可能である。また、表示装置６０は、識別符号を含む音声（コマンド）の入力を受け付ける。

なお、表示装置６０は、ユーザの操作に基づくファイルの選択を、会議処理以外にも、例えば、ユーザの音声を認識して表示装置６０の制御を行う機能（音声認識制御）に関する処理を開始した後に行ってもよい。例えば、図６に示したボイススイッチアイコンＢ２００は、ユーザによって選択されることで、音声認識制御を可能とするボタンである。表示装置６０は、図６のボイススイッチアイコンＢ２００が選択されたことに基づいて、音声認識制御に関する機能を開始し、図７（ａ）に示した表示画面Ｗ２１０のように、第２の識別表示を追加して表示するようにしてもよい。

領域Ｅ２１０には、例えば図７（ａ）に示すように、第１の識別表示である表示Ｍ２１０と、第２の識別表示である表示Ｍ２１２とが含まれ、第１の識別表示Ｍ２１０の左隣に第２の識別表示Ｍ２１２が表示される。表示Ｍ２１０は、図６の表示Ｍ２００と同様である。また、表示Ｍ２１２として、識別符号である「１」を含む矩形が表示される。このような表示により、「MeetingUI_v1.3.pptx」というファイル名のファイルは、識別符号「１」と対応することが示される。

同様にして、領域Ｅ２１０には、第１の識別表示である表示Ｍ２１４と、第２の識別表示である表示Ｍ２１６とが含まれ、第１の識別表示Ｍ２１４の左隣に第２の識別表示Ｍ２１６が表示される。表示Ｍ２１４は、図６の表示Ｍ２０２と同様である。また、表示Ｍ２１６として、識別符号である「２」を含む矩形が表示される。このような表示により、「check_mobileUI_v6.pptx」というファイル名のファイルは、識別符号「２」と対応することが示される。

ユーザは、表示画面Ｗ２１０に表示された識別符号である「１」又は「２」を含む音声を入力することで、識別符号に対応するファイルを選択することができる。

なお、ユーザの入力に基づき、ファイルを選択することが可能な画面は、図７（ａ）に示した表示画面Ｗ２１０以外であっても、例えば、図７（ｂ）に示した表示画面Ｗ２２０であってもよい。表示画面Ｗ２２０は、第１の識別表示及び第２の識別表示を縦に１列に並べて表示させた表示画面Ｗ２１０とは異なり、第１の識別表示及び第２の識別表示が、複数列に並べて表示される領域Ｅ２２０を含む。

領域Ｅ２２０には、図７（ｂ）に示すように、ファイルごとに、第１の識別表示及び第２の識別表示が表示される。例えば、領域Ｅ２２０には、第１の識別表示である表示Ｍ２２０と、第２の識別表示である表示Ｍ２２２とが含まれる。表示Ｍ２２０として、１のファイルを特定するためのファイル名（例えば、「New notebook.one」）と、当該１のファイルの属性であるファイルの種類を示すアイコンとが表示される。また、表示Ｍ２２２として、識別符号である「１」を含む矩形が表示される。この場合、「New notebook.one」というファイル名のファイルは、識別符号「１」と対応する。

また、図７（ｂ）に示すように、表示画面Ｗ２２０には、識別符号として「１」から「１２」まで表示されている。したがって、ユーザは、識別符号である「１」から「１２」までの何れかの番号を含む音声を入力することで、識別符号に対応するファイルを選択することができる。

なお、表示部６１０やユーザが使用する端末装置に表示されるファイル数が所定値（例えば、図７（ｂ）の場合は１２個）を超える場合、第１の識別表示及び第２の識別表示を含む領域をスクロール可能にしてもよい。ユーザによるスクロール操作がされたとき、表示装置６０は、第１の識別表示及び第２の識別表示を含む領域に表示されるファイルに対して識別符号を１から割り当て直した上で、第１の識別表示及び第２の識別表示を更新する。これにより、ファイル数が多数の場合であっても、第２の識別表示として、所定値以下の数字が表示される。したがって、ユーザは、ファイル記憶領域６５２に記憶されたファイル数が多数の場合であっても、所定値までの何れかの番号を発声すればファイルを選択することができる。例えば、図７（ｂ）の例では、ユーザは１～１２までの何れかの番号を発声するだけで済む。

また、表示装置６０は、ファイルをグルーピングして、同一のグループに含まれる複数のファイルに対して１の識別符号を割り当ててもよい。表示装置６０は、ファイルをグルーピングする際に、例えば、作成日や更新日等の日付、作成者、ファイル形式、利用頻度などの属性を利用する。これにより、ユーザは、１の識別符号を含むコマンドを入力することで、入力した識別符号に対応する複数のファイルを表示装置６０に表示させることができる。このように、表示装置６０は、１のコマンドにより複数のファイルを表示することにより、ユーザの利便性を向上させることができる。

本実施形態によれば、ユーザは、識別符号を含むコマンドを音声で入力するという簡易な操作により、表示部に表示するファイルを選択し、表示させることが可能となる。

［３．第３実施形態］
第３実施形態は、第１実施形態又は第２実施形態に記載した処理に加えて、音声装置以外の装置からのコマンドの入力を受け付ける実施形態である。

はじめに、本実施形態を、第２実施形態で説明した会議システムに適用した場合について説明する。この場合、制御部５００は、ファイル選択処理のステップＳ１０２において、一覧表示するコマンドとして、音声によるコマンドと、入力部６２０による操作によるコマンドの何れかを受信する。入力部６２０による操作によるコマンドを受信する場合とは、例えば、制御部６００が表示部６１０に一覧表示するためのボタンを表示し、ユーザにより一覧表示するためのボタンが選択された場合である。

また、ステップＳ１０２において音声によるコマンドが入力された場合は、ステップＳ１１０において、制御部６００は、識別符号を含むコマンドが音声入出力部６３０を介して入力されたか否かを判定する。この場合、制御部６００は、第２の識別表示をタッチする操作や、第２の識別表示と対応する番号のボタンを選択する操作等、入力部６２０を介して識別符号を含むコマンドが入力されても、入力部６２０を介して入力されたコマンドは無視する。

一方、制御部６００は、ステップＳ１０２において入力部６２０による操作によるコマンドが入力された場合は、識別符号を含むコマンドが入力部６２０を介して入力されたか否かを判定する。この場合、制御部６００は、識別符号を含むコマンドが音声入出力部６３０を介して入力されても、音声入出力部６３０を介して入力されたコマンドは無視する。

このような処理により、制御部６００は、一覧表示するコマンドとして入力された機能部に基づき、識別符号を含むコマンドの入力を受け付ける。

なお、本実施形態を第１実施形態のシステム１に適用する場合は、システム１において制御装置１０に、ユーザから音声以外の方法により操作の入力を受け付ける入力装置を接続する。制御装置１０は、入力装置から一覧表示するコマンドを受信したときは、識別符号を含むコマンドを入力装置から受信し、音声入出力装置４０からは受信しない。一方で、制御装置１０は、音声入出力装置４０から一覧表示するコマンドを受信したときは、識別符号を含むコマンドを音声入出力装置４０から受信し、入力装置からは受信しない。

このように、本実施形態によれば、ユーザは、一覧表示するコマンドを入力する操作と、識別符号を含むコマンドを入力する操作とを音声操作のみ、もしくは入力装置への入力操作のみに統一のうえ継続して行うことができ、意図しない操作によりファイルが選択されてしまうことを防ぐことができる。

［４．第４実施形態］
第４実施形態について説明する。第４実施形態は、システム１を印刷システムとして適用した実施形態である。

［４．１ 全体構成］
図８は、システム１を適用した印刷システム２の概略を示した図である。印刷システム２では、例えば画像形成装置７０と、音声処理装置８０と、対話装置８５と、音声入出力装置９０とを備えている。また、画像形成装置７０と対話装置８５、音声処理装置８０と対話装置８５、音声処理装置８０と音声入出力装置９０とがそれぞれ接続されている。なお、画像形成装置７０及び音声入出力装置９０は、ユーザが所在する場所に設置され、音声処理装置８０及び対話装置８５は、インターネット（クラウド上）に設置されてもよい。

印刷システム２を構成する装置は、それぞれ独立の装置であってもよいし、１つの装置の中で構成されてもよいし、複数の装置を組み合わせてもよい。

印刷システム２において、システム１の制御装置１０、記憶装置２０、表示装置３０は、画像形成装置７０によって構成される。また、システム１の音声入出力装置４０は、音声処理装置８０と対話装置８５と音声入出力装置９０とによって構成される。

具体的には、図８に示した印刷システム２では、音声入出力装置９０はユーザが発した音声を入力し、音声ストリームを音声処理装置８０へ送信する。音声処理装置８０は、入力した音声ストリームを認識し、入力文として対話装置８５へ送信する。対話装置８５は、会話サービスを提供する装置であり、入力文に対する応答文を生成する。なお、対話装置８５は、画像形成装置７０との間で情報を送受信し、画像形成装置７０の状態を取得し、入力文に対して、例えば画像形成装置７０の状態を示す応答文を生成して音声処理装置８０へ送信する。応答文を受信した音声処理装置８０は、応答文を音声として出力するための音声ストリームを生成し音声入出力装置９０へ送信する。音声ストリームを受信した音声入出力装置９０は、受信した音声ストリームに基づき、音声を出力する。

［４．２ 機能構成］
なお、以下では、図８に示した印刷システム２を、画像形成装置７０によって構成した場合について説明する。この場合、画像形成装置７０には、図８に示した、音声処理装置８０と対話装置８５と音声入出力装置９０とに対応する機能部を含める。

図９は、印刷システム２を提供可能な画像形成装置７０を示した図である。画像形成装置７０は、制御装置１０に対応する制御部７００と、記憶装置２０に対応する記憶部７７０と、表示装置３０に対応する表示部７５０と、音声入出力装置４０に対応する音声入出力部７６０と、を備えて構成される。

制御部７００は、画像形成装置７０の全体を制御するための機能部である。制御部７００は、記憶部７７０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、１又は複数の演算装置（例えばＣＰＵ）により構成される。

制御部７００は、プログラムを実行することにより、音声認識部７０２及び対話処理部７０４として機能する。音声認識部７０２は、音声入出力部７６０を介して音声が入力された場合、入力された音声を認識する。なお、音声認識部７０２は、認識した音声の内容を示す情報（例えば、文字の情報）を、一時的に記憶部７７０に出力してもよい。

対話処理部７０４は、会話サービスを実現する。対話処理部７０４は、入力された音声に対応する応答文を、音声入出力部７６０を介して出力する。

画像入力部７１０は、画像形成装置７０に入力される画像データを取得するための機能部である。画像入力部７１０は、ＵＳＢ（Universal Serial Bus）メモリや、ＳＤカード等の記憶媒体から画像データを取得してもよい。また、他の端末装置と接続を行う通信部７９０を介して、他の端末装置から画像データを取得してもよい。また、画像入力部７１０は、取得した画像データをファイルとしてファイル記憶領域７７２に記憶する。

原稿読取部７１５は、画像を読み取って画像データを生成する機能部である。例えば、原稿読取部７１５は、ＣＣＤ（Charge Coupled Device）やＣＩＳ（Contact Image Sensor）等のイメージセンサによって画像を電気信号に変換し、電気信号を量子化及び符号化
することでデジタルデータを生成するスキャナ装置等により構成される。また、原稿読取部７１５は、生成した画像データをファイルとしてファイル記憶領域７７２に記憶する。

画像処理部７２０は、画像データに各種画像処理を施す機能部である。例えば、画像処理部７２０は、画像データの鮮鋭化処理を行ったり、色変換処理を行ったりする。

画像形成部７３０は、ファイルに基づく画像を記録媒体（例えば記録用紙）に形成する機能部である。画像形成部７３０は、例えば、電子写真方式を利用したレーザプリンタ等により構成される。

入力部７４０は、ユーザによる操作指示を受け付けるための機能部であり、ハードキー（例えば、テンキー）やボタン等により構成される。表示部７５０は、ユーザに各種情報を表示するための機能部であり、例えば、ＬＣＤや有機ＥＬディスプレイ等により構成される。なお、画像形成装置７０は、入力部７４０と表示部７５０とが一体に形成されるタッチパネルを備えてもよい。また、入力を検出する方式は、例えば、抵抗膜方式、赤外線方式、電磁誘導方式、静電容量方式といった、一般的な検出方式であればよい。

ユーザ認証部７５５は、ユーザ認証を行う。例えば、入力部７４０から入力されたユーザ名、パスワードが、ユーザ情報７７６に記憶されているユーザ名、パスワードと一致するか否かにより認証を行う。なお、ユーザ認証部７５５は、ユーザの生体情報や画像を取得し、生体認証（例えば、指紋認証、掌紋認証、顔認証、音声認証、虹彩認証等）を行ってもよい。

音声入出力部７６０は、音声の入力と出力とを行う。例えば、音声を入力するマイクと、音声の出力を行うスピーカにより構成される。

記憶部７７０は、画像形成装置７０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部７７０は、例えば、半導体メモリであるＳＳＤや、ＨＤＤ等により構成されている。また、記憶部７７０は、ファイルを記憶するためのファイル記憶領域７７２を確保し、印刷ファイルリスト７７４、ユーザ情報７７６，待受画面情報７７８、ジョブ実行画面情報７８０を記憶している。

印刷ファイルリスト７７４は、ファイル記憶領域７７２に記憶されているファイルのうち、画像形成部７３０において形成する画像のファイルを特定する情報（例えば、ファイル名）を記憶したリストである。印刷ファイルリスト７７４は、ファイルを特定する情報の他に、印刷の順番、優先度、印刷の設定、印刷の操作を行ったユーザ名等が記憶されてもよい。

ユーザ情報７７６は、ユーザに関する情報を記憶する。例えば、ユーザ認証に関する情報（例えば、ユーザ名、パスワード、ユーザに関する生体情報）を記憶する。

待受画面情報７７８は、コマンドの入力を待ち受ける待受画面を表示部７５０に表示するために必要な情報（例えば、表示部７５０に表示する文字列やアイコンや、文字列やアイコンを配置する位置の情報等）を記憶する。また、ジョブ実行画面情報７８０は、画像形成装置７０が実行するジョブを実行する際に表示するジョブ実行画面を表示部７５０に表示するために必要な情報を記憶する。

通信部７９０は、他の装置と通信を行う。例えば、ＬＡＮに接続して、ファイルを送受信したりする。通信方式は、一般的なイーサネットであるＬＡＮの他にも、ＬＴＥ／４Ｇ／５Ｇといった通信を利用してもよい。

［４．３ 処理の流れ］
つづいて、図１０を参照して、画像形成装置７０が記憶部７７０に記憶されたプログラムを読み出して実行する処理について説明する。図１０に示した処理は、ユーザ認証部７５５によりユーザを認証した後に、制御部７００により実行される。

はじめに、制御部７００は、初期状態として、待受画面情報７７８を読み出して、待受画面を表示部７５０に表示する（ステップＳ５０２）。

つづいて、制御部７００は、音声入出力部７６０を介して入力され、音声認識部７０２によって認識された音声の内容に基づき、画面切替コマンドを受信したか否かを判定する（ステップＳ５０４）。画面切替コマンドとは、画像形成装置７０の操作の入力を、音声によって行う画面に切り替えることを示すコマンドであり、例えば、「音声で操作」といった、特定の単語（ウェイクワード）を含む音声によるコマンドである。

音声切替コマンドを受信した場合、制御部７００は、表示部７５０に表示されている待受画面を、音声操作用画面に切り替えて表示する（ステップＳ５０４；Ｙｅｓ→ステップＳ５０６）。音声操作用画面は、音声によって入力可能なコマンドの内容を含む画面である。

制御部７００は、音声入出力部７６０を介して入力され、音声認識部７０２によって認識された音声の内容に基づき、ファイル取得コマンドを受信したか否かを判定する（ステップＳ５０８）。ファイル取得コマンドとは、ファイル記憶領域７７２に記憶されているファイルを取得することを指示するための音声によるコマンドであり、例えば、「ジョブを表示」「Release my jobs」といった音声によるコマンドである。

ファイル取得コマンドを受信した場合は、制御部７００は、ファイル記憶領域７７２に記憶されているファイルを取得する（ステップＳ５０８；Ｙｅｓ→ステップＳ５１０）。このとき、制御部７００は、認証されたユーザが印刷可能なファイルのみを取得してもよい。

つづいて、制御部７００は、取得したファイルのサムネイル画像を表示部７５０に一覧表示する（ステップＳ５１２）。また、制御部７００は、取得したファイルに識別符号を割り当て、識別符号を含む画像を、識別符号に対応するファイルのサムネイル画像に重畳させて表示する（ステップＳ５１４）。このように、制御部７００は、ファイル取得コマンドを受信したことを契機として、ファイルのサムネイル画像と識別符号を含む画像とを表示する。したがって、本実施形態においては、ファイル取得コマンドは、一覧表示するコマンドに対応する。

識別符号を含む画像は、例えば、所定の色を背景色とし、背景の上に識別符号を重ねた矩形状の画像であり、識別符号を含む画像は、少なくともサムネイル画像の短辺の３分の１以上の大きさの画像である。また、識別符号を含む画像は、非透過の画像であってもよいし、ユーザによって識別符号が識別可能な程度に透過させた半透過の画像であってもよい。制御部７００は、識別符号を含む画像を、サムネイル画像の何れかの隅部に重畳させて表示する。

つづいて、制御部７００は、印刷コマンドを受信したか否かを判定する（ステップＳ５１６）。印刷コマンドとは、ファイルに基づく画像を画像形成部７３０によって形成することで印刷をすることを示すコマンドであり、例えば、「５番」「５番を印刷して」といったように、少なくとも識別符号を含む音声によるコマンドである。制御部７００は、音声入出力部７６０を介して入力され、音声認識部７０２によって認識された音声の内容に基づき、印刷コマンドを受信したか否かを判定する。

印刷コマンドを受信した場合は、印刷コマンドに含まれる識別符号に対応するファイルの画像を画像形成部７３０により形成することで、印刷処理を実行する（ステップＳ５１６；Ｙｅｓ→ステップＳ５１８）。なお、印刷コマンドを受信した後、すぐに印刷ができない場合は、制御部７００は、識別符号に対応するファイルを特定する情報を、印刷ファイルリスト７７４に記憶してもよい。また、印刷処理を実行するとき、制御部７００は、ジョブ実行画面情報７８０を読み出して、実行する印刷ジョブに関する画面を表示部７５０に表示してもよい。

なお、ステップＳ５１６において、印刷コマンド以外のコマンドを受信した場合は、受信したコマンドが印刷以外の他の処理を行うことを示すコマンドを受信したか否かを判定する（ステップＳ５１６；Ｎｏ→ステップＳ５２０）。他の処理を行うことを示すコマンドを受信した場合は、制御部７００は、受信したコマンドに基づき、他の処理を実行する（ステップＳ５２０；Ｙｅｓ）。他の処理を行うことを示すコマンドを受信しなかった場合、制御部７００は、再びステップＳ５１６へ処理を遷移する（ステップＳ５２０；Ｎｏ→ステップＳ５１６）。

［４．４ 動作例］
つづいて、図１１及び図１２を参照して本実施形態の動作例を説明する。図１１（ａ）は、音声操作用画面の表示画面Ｗ５００の例である。表示画面Ｗ５００には、ファイル取得コマンドを入力するためにユーザが発する音声の内容（例えば、「Release my job」）を表示する領域Ｅ５００が含まれる。ユーザは、領域Ｅ５００等に表示された内容を確認し、音声によるコマンドを入力する。なお、表示画面Ｗ５００には、認証したユーザが印刷可能なファイルの数を表示する領域Ｅ５０２が含まれていてもよい。

図１１（ｂ）は、サムネイル画像が表示され、サムネイル画像に識別符号を含む画像が重畳表示された画面である表示画面Ｗ５１０の例である。例えば、図１１（ｂ）に示すように、表示画面Ｗ５１０には、サムネイル画像Ｍ５１０の左隅に、識別符号を含む画像Ｍ５１２が表示される。なお、サムネイル画像と識別符号の他に、サムネイル画像の近傍に、ファイル名Ｍ５１４が表示されてもよい。

図１２は、識別符号を含む画像の表示例を示した図である。例えば、図１２（ａ）のように、サムネイル画像が縦長である場合、識別符号を含む画像は、識別符号を含む画像の長辺の長さが、サムネイル画像の短辺である横辺の３分の１以上の長さとなるように表示される。また、図１２（ｂ）のように、サムネイル画像が横長である場合、識別符号を含む画像は、識別符号を含む画像の短辺の長さが、サムネイル画像の短辺である縦辺の３分の１以上の長さとなるように表示される。このようにすることで、識別符号を含む画像は、少なくともサムネイル画像の短辺の３分の１以上の大きさの画像となり、ユーザにより容易に識別符号を確認させることができる。

なお、サムネイル画像が縦長である場合、図１２（ｃ）に示すように、好ましくは、識別符号を含む画像は、識別符号を含む画像の長辺の長さが、サムネイル画像の短辺である横辺の２分の１以上の長さであってもよい。

また、識別符号を含む画像は、サムネイル画像の何れかの隅部に表示されればよく、例えば、図１２（ｄ）のように左下に表示されてもよく、右上、右下に表示されてもよい。さらに、図１２（ｅ）のように、サムネイルの中央に表示されてもよい。この場合でも、識別符号を含む画像は、サムネイル画像の短辺の３分の１以上の大きさの画像とする。

また、識別符号を含む画像は、サムネイル画像が縦長である場合であっても、長辺を基準としてもよい。例えば、図１２（ｆ）のように、識別符号を含む画像の短辺の長さが、サムネイル画像の長辺の長さの４分の１以上の長さとなるように表示されてもよい。

このように、識別符号を含む画像は様々な表示方法が考えられるが、表示方法については、予め設定されていてもよいし、ユーザによって設定可能であってもよい。

このように、本実施形態によれば、画像形成装置は、ユーザからのファイル取得コマンドの受信を契機として、記憶されたファイルのサムネイル画像を、ユーザに発声させる識別符号とともに一覧表示することができる。また、画像形成装置は、ユーザによって印刷コマンドとして識別符号を含む音声が発声された場合、印刷コマンドに基づき、印刷を実行することができる。これにより、ユーザは、識別符号を含む音声を発声するだけで、画像形成装置に対して、所望するファイルを印刷させることが可能となる。

［５．第５実施形態］
つづいて、第５実施形態について説明する。第５実施形態は、第４実施形態で説明した処理に加えて、画像形成装置が、一覧表示したサムネイル画像の中から、一のサムネイル画像を順次選択し、選択したサムネイル画像に対応する識別符号を音声入出力部から音声出力する処理を実行する実施形態である。本実施形態は、第４実施形態の図１０を図１３に置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

図１３を参照して、画像形成装置７０が記憶部７７０に記憶されたプログラムを読み出して実行する処理について説明する。本実施形態では、制御部７００は、ステップＳ５１２及びステップＳ５１４の処理を実行してサムネイル画像及び識別符号を表示部７５０に表示させた後、１を初期値とした変数ｎを用いて、ｎ番目のサムネイル画像から順次サムネイル画像を選択する。そして、制御部７００は、選択したｎ番目のサムネイル画像に対応するファイルに割り当てられた識別符号を含む音声を、音声入出力部７６０を介して出力する（ステップＳ６０２）。識別符号を含む音声には、識別符号の他に、例えば、ファイル名や、ファイルの種類や、作成日時などの情報を含めてもよい。

制御部７００は、一のサムネイル画像を選択したとき、選択した一のサムネイル画像及び当該サムネイル画像に重畳表示された識別表示を含む画像を、他のサムネイル画像及び当該他のサムネイル画像に重畳表示された識別表示とは表示方法を異ならせてもよい。このようにすることで、制御部７００は、音声によって出力された識別符号と、識別符号に対応するサムネイル画像及び識別表示を含む画像とを連動させる。

例えば、制御部７００は、一のサムネイル画像を選択したとき、選択したサムネイル画像を他のサムネイル画像の表示方法とは異なる方法によって表示（強調表示）するために、次のように表示する。
（１）選択したサムネイル画像を拡大させる
（２）選択したサムネイル画像の周囲に枠を表示する
（３）選択したサムネイル画像を点滅させる
（４）選択したサムネイル画像の色を反転させる
（５）選択したサムネイル画像に所定の色（例えば、赤色）を半透明の状態で重畳させる
（６）選択したサムネイル画像以外のサムネイル画像の透過率を高めて選択したサムネイル画像よりも目立たなくする

なお、制御部７００は、選択したサムネイル画像ではなく、選択したサムネイル画像に対応する識別符号を含む画像を強調表示するために、以下のように表示してもよい。
（１）識別符号を含む画像を拡大させる
（２）識別符号を含む画像の周囲に枠を表示する
（３）識別符号を含む画像の背景色を変化させる
（４）識別符号を含む画像を点滅表示させる
このように、制御部７００は、識別符号を含む画像のみを強調表示することで、サムネイル画像が拡大されて他のサムネイル画像を隠したりすることがなく、視認性を確保することが可能となる。

なお、制御部７００は、上述した表示方法のうち２以上の表示方法を組み合わせてもよく、例えば、選択したサムネイル画像と、当該選択したサムネイル画像に対応する識別符号とを拡大して表示してもよい。また、制御部７００は、上述した表示方法以外の表示方法により、サムネイル画像や識別符号を含む画像を強調表示してもよい。

また、制御部７００は、ステップＳ６０２におけるｎ番目の音声出力が終了したら、強調表示したｎ番目のサムネイル画像や識別符号を含む画像の表示を、元の（強調表示する前の）表示態様に戻す。

つづいて、制御部７００は、全てのファイルに対する識別符号の音声による出力が終了したか否かを判定する（ステップＳ６０４）。全てのファイルに対する識別符号の音声による出力が終了していない場合は、ｎに１を加算して、ステップＳ６０２に戻る（ステップＳ６０４；Ｎｏ→ステップＳ６０６→ステップＳ６０２）。このようにすることで、制御部７００は、全てのファイルについて、識別符号を音声により出力することが可能となる。

なお、制御部７００は、全てのファイルに対する識別符号の音声による出力が終了した後に印刷コマンドを受信したか否かを判定するのではなく、音声による識別符号の出力を実行しているときに、印刷コマンドを受信したか否かを判定してもよい。この場合、制御部７００は、印刷コマンドを受信したときは、音声による識別符号の出力を終了し、印刷コマンドに含まれる識別符号に対応するファイルの印刷処理を実行する。このようにすることで、ユーザは、印刷を所望するファイルに対応する識別符号を確認した後、すぐに印刷コマンドを入力することが可能となる。

本実施形態における動作例を、図１４を参照して説明する。図１４（ａ）は、１番目のサムネイル画像が選択され、サムネイル画像が拡大して表示されているときの表示画面Ｗ６００の例である。表示画面Ｗ６００の領域Ｅ６００には、拡大された１番目のサムネイル画像と、識別符号を含む画像とファイル名とが含まれる。このとき、音声入出力部７６０を介して、識別符号を含む音声（例えば、「１番目、Ocean.jpg」といった音声）が出力される。なお、ファイル名は、所定の読み方に従って、音声によって出力される。

図１４（ｂ）は、２番目のサムネイル画像が選択され、サムネイル画像が拡大して表示されているときの表示画面Ｗ６１０の例である。表示画面Ｗ６１０の領域Ｅ６１０には、拡大された２番目のサムネイル画像と、識別符号を含む画像とファイル名とが含まれる。このとき、音声入出力部７６０を介して、識別符号を含む音声（例えば、「２番目、Flower.png」といった音声）が出力される。

なお、同様にして、３番目から６番目のサムネイル画像が順次選択され、拡大して表示され、音声入出力部７６０を介して、識別符号を含む音声が出力される。

本実施形態によれば、ユーザは、音声入出力部から出力される音声及び表示部に表示される画面を確認することで、印刷を所望するファイルを適切に選択することができる。

［６．変形例］
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。例えば、第２実施形態と第５実施形態とを組み合わせてもよい。この場合、第２実施形態における表示装置６０は、ファイルと識別符号とを一覧表示した後、音声入出力部５３０を介して、識別符号を含む音声を出力する。

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭ（Read Only Memory）やＨＤＤ等の記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

ここで、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、ＭＤ（Mini Disc）、ＣＤ（Compact Disc）、ＢＤ （Blu-ray Disk） 等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

１ システム
１０ 制御装置
２０ 記憶装置
３０ 表示装置
４０ 音声入出力装置
５０ 処理装置
５００ 制御部
５０２ 音声認識部
５１０ 表示部
５２０ 入力部
５３０ 音声入出力部
５５０ 記憶部
５５２ ファイル記憶領域
５６０ 通信部
６０ 表示装置
６００ 制御部
６０２ 音声認識部
６０４ 会議処理部
６１０ 表示部
６２０ 入力部
６３０ 音声入出力部
６５０ 記憶部
６５２ ファイル記憶領域
６６０ 通信部
７０ 画像形成装置
７００ 制御部
７０２ 音声認識部
７０４ 対話処理部
７１０ 画像入力部
７１５ 原稿読取部
７２０ 画像処理部
７３０ 画像形成部
７４０ 入力部
７５０ 表示部
７６０ 音声入出力部
７７０ 記憶部
７７２ ファイル記憶領域
７７４ 印刷ファイルリスト
７７６ ユーザ情報
７７８ 待受画面情報
７８０ ジョブ実行画面情報
７９０ 通信部
８０ 音声処理装置
８５ 対話装置
９０ 音声入出力装置

Claims (14)

1. 制御装置と、ファイルを記憶する記憶装置と、表示装置と、音声装置とを備えたシステムであって、
   前記制御装置は、
   前記音声装置を介して、ユーザから前記ファイルを一覧表示するコマンドの音声が入力されると、前記ファイルを特定する第１の識別表示を前記表示装置に一覧表示し、
   前記第１の識別表示を前記表示装置に一覧表示したとき、ユーザが一覧表示された第１の識別表示の中からファイルが選択可能な場合にのみ、前記一覧表示するファイルに識別符号を割当て第２の識別表示として追加して表示し、
   前記第１の識別表示を前記表示装置に一覧表示するとき、ユーザが一覧表示された第１の識別表示の中からファイルが選択可能な場合にのみ、前記ユーザから識別符号を含む音声の入力を受け付け、
   前記音声装置を介して、ユーザから前記識別符号を含む音声が入力されると、当該識別符号に対応するファイルを選択する、
   ことを特徴とするシステム。
2. 前記制御装置は、
   ユーザが複数参加可能な会議処理が実行可能であり、
   前記会議処理により会議が開始される前は、前記第１の識別表示を前記表示装置に一覧表示可能であり、
   前記会議処理により会議が開始された後は、前記第１の識別表示に、前記第２の識別表示を追加して表示し、
   前記会議処理により会議が開始された後に前記音声装置を介してユーザから前記識別符号を含む音声が入力されると、当該識別符号に対応するファイルを選択する
   ことを特徴とする請求項１に記載のシステム。
3. 前記制御装置は、
   音声操作を開始可能なボタンを前記表示装置に表示可能であって、
   前記ボタンが選択された後に、前記表示装置に一覧表示された第１の識別表示に対して、第２の識別表示を追加して表示し、
   前記第２の識別表示が表示されている場合にのみ、前記ユーザから識別符号を含む音声の入力を受け付ける
   請求項１に記載のシステム。
4. 前記制御装置は、
   ユーザから前記音声装置を介して音声の入力がなされて一覧表示をした場合は、前記識別符号について前記音声装置からの入力を受け付け、
   ユーザから前記音声装置以外の装置を介して入力がなされて一覧表示をした場合は、前記音声装置以外の装置からの入力を受け付ける
   ことを特徴とする請求項１から３の何れか一項に記載のシステム。
5. 前記第１の識別表示は、ファイル名と、ファイルの属性を示すアイコンであることを特徴とする請求項１から４の何れか一項に記載のシステム。
6. 前記制御装置は、前記一覧表示するファイルをグルーピングし、同一のグループに含まれる複数のファイルに一の識別符号を割当てることを特徴とする請求項１から５の何れか一項に記載のシステム。
7. 前記制御装置は、
   前記第１の識別表示として前記ファイルのサムネイル画像を表示し、
   前記第２の識別表示は、前記第１の識別表示に重畳して表示する
   請求項１に記載のシステム。
8. 前記第２の識別表示は、少なくとも前記サムネイル画像の短辺の３分の１以上の大きさの画像であることを特徴とする請求項７に記載の画像形成システム。
9. 前記第２の識別表示は、矩形状の画像に、前記識別符号が含まれている画像であることを特徴とする請求項７又は８に記載の画像形成システム。
10. 前記第２の識別表示は、前記サムネイル画像の何れかの隅部に重畳表示される画像であることを特徴とする請求項７から９の何れか一項に記載の画像形成システム。
11. 前記制御装置は、前記一覧表示したサムネイル画像の中から一のサムネイル画像を順次選択し、選択したサムネイル画像に対応する前記識別符号を前記音声装置から音声出力することを特徴とする請求項７から１０の何れか一項に記載の画像形成システム。
12. 前記制御装置は、前記選択したサムネイル画像に対応する前記識別符号を前記音声装置から音声出力するときに、併せて当該サムネイル画像を強調表示させることを特徴とする請求項１１に記載の画像形成システム。
13. 前記強調表示は、前記サムネイル画像を拡大して表示する、前記サムネイル画像の周囲に枠を表示する、前記サムネイル画像の色を反転して表示する、前記サムネイル画像を点滅して表示する、のうち少なくとも何れか１つの方法による表示であることを特徴とする請求項１２に記載の画像形成システム。
14. 前記制御装置は、前記選択したサムネイル画像に対応する前記識別符号を前記音声装置から音声出力するときに、併せて当該識別符号を含む画像を拡大して表示することを特徴とする請求項１１に記載の画像形成システム。

Images