以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一または相当部分については同一の参照符号を付して説明を繰り返さない。
[実施形態1]
図1は、表示装置4を示す図である。表示装置4は、タッチパネル41と、入力部42と、音声入力部46とを備える。タッチパネル41は、画像を表示する。タッチパネル41は、操作を受け付ける。タッチパネル41は、ユーザーの指で操作される。表示装置4は、例えば、スマートフォン、携帯端末、画像形成装置の操作表示部である。
タッチパネル41は、表示部43と、タッチセンサー45とを有する。
表示部43は種々の画像を表示する。表示部43は任意の画像を表示する。表示部43は、例えば液晶表示装置(Liquid Crystaal Display:LCD)である。表示部43は、矩形状である。表示部43とタッチセンサー45とは重ねて配置される。ユーザーは、タッチセンサー45を介して表示部43に表示された画像を視認できる。
タッチセンサー45は、指の押下位置を検知する。指の押下は、例えば、タッチ操作の位置を示す。タッチ操作の位置は、例えば、タッチパネル41に表示された画像の位置と対応する。また、タッチセンサー45は、指の擦動を検知する。指の擦動は、例えば、スワイプ操作である。
入力部42は、ユーザーからの操作を受け付ける。入力部42は、ボタンである。ユーザーは、ボタンを押下することで、表示装置4に種々の操作を行える。
音声入力部46は、音声が入力される。具体的には、ユーザーが発話した音声が音声入力部46に入力される。音声入力部46は、例えば、マイクである。マイクは、集音装置の一例である。
次に、図2を参照して、表示装置4の構成を更に詳しく説明する。図2は、表示装置4の構成を示すブロック図である。図2に示すように、表示装置4は、制御部47と、通信部48と、記憶部49とを更に備える。
制御部47は、タッチパネル41、入力部42、音声入力部46、通信部48、及び記憶部49のような表示装置4の各要素を制御する。制御部47は、CPU(Central Processing Unit)またはASIC(Application Specific Integrated Circuit)のようなプロセッサー、及び記憶装置を含む。制御部47は、タッチセンサー45が出力したタッチ操作の位置を示す信号を受け取る。制御部47は、音声入力部46から出力した音声を示す信号を受け取る。
記憶部49は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。具体的には、記憶部49は、半導体メモリーのような主記憶装置、並びに、半導体メモリー及び/またはハードディスクドライブのような補助記憶装置を含む。記憶部49は、リムーバルメディアを含んでもよい。データは、画像、所在情報、及び音声パターンを含む。
記憶部49に記憶される画像は、記号、画面及びアイコンを含む。記号は、ドキュメントに含まれる文字または文字列を示す。文字は、例えば、ドキュメントに含まれる文章と文章との区切りを示す「章」を含む。「章」は、例えば漢字または英語で表される。また、文字は、例えば、ドキュメントに含まれるページを示す「P」を含む。文字列は、例えば、ドキュメントに含まれる「第N章」を含む。「N」は、自然数を示す。文字列は、例えば、ドキュメントに含まれる「第N節」を含む。画面は、タッチパネル41に表示される画面を示す。所在情報は、メタ情報を示す。例えば、メタ情報はページや目次のような記号の所在を示す。
記憶部49に記憶される音声パターンは、テキスト情報である。音声パターンは、「このアイコン」、「X色」、「N番」「マークが表示されたアイコン」、「章」、「NP」、「第N章から第N章」、「第N節から第N節」、「NPからNP」、「表示」及び「印刷」等を含む。「X色」の「X」は、例えば色の名前である。音声パターンは、予めユーザーが記憶部49に記憶させてもよい。
通信部48は、ネットワークNを介して、画像形成装置100と通信する。通信部48は、ネットワークNを介して、例えば、画像形成装置100に印刷ジョブを送信する。なお、画像形成装置100は、画像形成部を備える。
引き続き図1~図2を参照して、制御部47について詳しく説明する。制御部47は、タッチパネル41と、音声入力部46とを制御する。
制御部47は、タッチパネル41が画像を表示するように、タッチパネル41を制御する。具体的には、制御部47は、タッチパネル41の表示部43が画像を表示するように、タッチパネル41の表示部43を制御する。
また、制御部47は、タッチパネル41からタッチ位置を取得する。制御部47は、表示部43に表示した画像の位置とタッチ位置とに基づいて、操作された画像を特定する。
制御部47は、音声入力部46から入力される音声に基づいて、キーワードを抽出する。具体的には、制御部47は、ユーザーの音声をデジタル信号に変換する。そして、制御部47は、デジタル信号に基づいて、ユーザー音声に対応するテキスト情報を生成する。更に、制御部47は、音声入力部46から入力される音声を示すテキスト情報と、記憶部49に記憶された音声パターンとが一致するか否かを判定する。そして、制御部47は、音声パターンと一致する音声を示すテキスト情報をキーワードとして抽出する。
制御部47が抽出するキーワードは、例えば、「このアイコン」、「赤色」、「黒色」、「1番」、「2番」、「丸」、「三角」、「赤色のマーク」、「黒色のマーク」、「章」、「NP」、「第N章から第N章」、「第N節から第N節」、「NPからNP」、「表示」及び「印刷」等を含む。
「章」、「NP」、「第N章から第N章」、「第N節から第N節」、及び「NPからNP」は、第1キーワードの一例に相当する。「表示」及び「印刷」は、第2キーワードの一例に相当する。「このアイコン」、「赤色」、「黒色」、「1番」、「2番」、「丸」、「三角」、「赤色のマーク」、「黒色のマーク」は、第3キーワードの一例に相当する。
次に、図1~図3を参照して、タッチパネル41について詳しく説明する。図3は、画面P1を表示したタッチパネル41を示す図である。図3に示すように、画面P1をタッチパネル41に表示する場合、制御部47は、タッチパネル41が画面P1を表示するように、タッチパネル41を制御する。
図3に示す画面P1は、複数のアイコンを含む。複数のアイコンのうちの1つは、複数のドキュメントアイコン431である。タッチパネル41は、複数のドキュメントアイコン431の各々に対するタッチ操作を受け付ける。複数のアイコンのうちの1つは、指示アイコン432である。指示アイコン432は、タッチ操作と音声操作とを受け付ける。複数のアイコンのうちの1つは、選択アイコン433である。ドキュメントアイコン431は、指示アイコン432より大きい画像である。
ドキュメントアイコン431は、例えば、ドキュメントを示す画像である。複数のドキュメントアイコン431の各々には、記号と、所在情報とが関連付けられている。
複数のドキュメントアイコン431のうちの1つは、第1ドキュメントアイコン431aである。第1ドキュメントアイコン431aは、第1ドキュメントを示す画像である。複数のドキュメントアイコン431のうちの1つは、第2ドキュメントアイコン431bである。第2ドキュメントアイコン431bは、第2ドキュメントを示す画像である。複数のドキュメントアイコン431のうちの1つは、第3ドキュメントアイコン431cである。第3ドキュメントアイコン431cは、第3ドキュメントを示す画像である。複数のドキュメントアイコン431のうちの1つは、第4ドキュメントアイコン431dである。第4ドキュメントアイコン431dは、第4ドキュメントを示す画像である。
指示アイコン432は、ドキュメントアイコン431に対する処理を決定するための画像である。例えば、指示アイコン432が「印刷」を示す画像である場合、指示アイコン432をタッチ操作することでドキュメントアイコン431に含まれる画像の印刷が決定される。
ドキュメントアイコン431に含まれる画像の印刷が決定された場合、通信部48は、印刷ジョブを示す信号を画像形成装置100に送信する。印刷ジョブには、ドキュメントアイコン431に含まれる画像をシートPに形成する指示が含まれる。
選択アイコン433は、タッチ操作されたドキュメントアイコン431の近傍に表示される。例えば、第1ドキュメントアイコン431aをタッチ操作する場合、第1ドキュメントアイコン431aの近傍に表示される。選択アイコン433は、手の形を模した画像である。タッチ操作されたアイコンの近傍に、選択アイコン433を表示することで、タッチ操作されたアイコンとタッチ操作されていないアイコンとを容易に区別できる。
引き続き、図1~図3を参照して、制御部47が実行する処理を説明する。ドキュメントアイコン431に対するタッチ操作を受け付けた後に、制御部47は、音声入力部46に音声が入力されたか否かを判定する。音声入力部46に音声が入力された場合、制御部47は、音声入力部46から入力された音声を取得する。そして、制御部47は、音声入力部46から入力された音声に基づいて、第1キーワードと、第2キーワードとを抽出する。第1キーワードは、所在情報と関連付けられる。第2キーワードは、記号に対する処理を示す。
制御部47は、抽出した第1キーワードに関連付けられた所在情報を取得する。そして、制御部47は、取得した所在情報が示す記号を取得する。更に、制御部47は、前記第2キーワードに基づいて、第1キーワードに関連付けられた所在情報が示す記号に対する処理を決定する。タッチ操作したドキュメントアイコン431に対する音声操作を受け付けるため、タッチ操作で行っていた操作を音声で操作できる。したがって、タッチ操作の回数を減らすことができる。この結果、ユーザーが煩わしく感じることを抑制できる。
次に、図1~図4を参照して、制御部47が実行する処理を具体的に説明する。図4は、第2キーワードに基づいて決定された処理の一例を示す図である。図4の画面P1は、見本画像434を更に含む。見本画像434は、記号を含む画像である。図4に示すように、見本画像434は、例えば、タッチ操作されたドキュメントアイコン431の近傍に表示される。なお、見本画像434は、画面P1に表示されていればよい。また、見本画像434は、画面P1と異なる画面で表示されてもよい。画面P1と異なる画面は、見本画像434を表示するプレビュー画面である。
見本画像434を表示する場合、制御部47は、音声入力部46から入力された音声を取得する。制御部47は、音声入力部46から入力された音声に基づいて、第1キーワードと、第2キーワードとを抽出する。第1キーワードは、例えば、「第N章から第N章」を含む。第2キーワードは、例えば、「表示」を含む。
制御部47は、抽出した第1キーワードの「第N章から第N章」に関連付けられた所在情報を取得する。そして、制御部47は、取得した所在情報が示す記号を取得する。更に、制御部47は、第2キーワードに基づいて、第1キーワードに関連付けられた所在情報が示す記号に対する処理を決定する。つまり、制御部47は、タッチ操作されたドキュメントアイコン431の「第N章から第N章」を「表示」することを決定する。具体的には、図4に示すように、第1ドキュメントアイコン431aの「第N章から第N章」を示す見本画像434がタッチパネル41に表示される。したがって、タッチパネル41に記号を示す画像を表示できる。この結果、ユーザーが所望する記号であるかの確認が容易となる。なお、第1キーワードに関連付けられた所在情報がない場合及び第2キーワードの処理が禁止されている場合、制御部47は処理をキャンセルしてもよい。
次に、図1~図5を参照して、制御部47が実行する処理を更に具体的に説明する。図5は、第2キーワードに基づいて決定された処理の別の一例を示す図である。図5に示す指示アイコン432の近傍には、選択アイコン433が表示される。図5では、第2キーワードに基づいて決定された処理は、「印刷」である。
実行する処理を「印刷」に決定する場合、制御部47は、音声入力部46から入力された音声を取得する。制御部47は、音声入力部46から入力された音声に基づいて、第1キーワードと、第2キーワードとを抽出する。第1キーワードは、例えば、「第N節から第N節」を含む。第2キーワードは、例えば、「印刷」を含む。
制御部47は、抽出した第1キーワードの「第N節から第N節」に関連付けられた所在情報を取得する。そして、制御部47は、取得した所在情報が示す記号を取得する。更に、制御部47は、第2キーワードに基づいて、第1キーワードに関連付けられた所在情報が示す記号に対する処理を決定する。具体的には、制御部47は、タッチ操作されたドキュメントアイコン431の「第N節から第N節」を「印刷」することを決定する。そして、図5に示すように、制御部47は、指示アイコン432の近傍に選択アイコン433をタッチパネル41が表示するように、タッチパネル41を制御する。したがって、音声で画像をシートPに形成することを決定できる。この結果、タッチパネル41に対する入力操作の煩わしさを軽減することができる。
また、図5の画面P1は、軌跡画像435を含む。軌跡画像435は、操作の順番を示す。軌跡画像435は、「タッチ操作の順番を示すアイコン」の一例に相当する。タッチ操作または音声操作によって、複数のアイコンが選択される場合、制御部47は、タッチパネル41が軌跡画像435を表示するように、タッチパネル41を制御する。この結果、複数の画像を操作する際に、操作の順番を視認することが可能となり、ユーザーの利便性が向上する。
例えば、図5に示す第1ドキュメントアイコン431aをタッチ操作する。制御部47は、タッチ操作の位置とドキュメントアイコン431の表示位置とをタッチパネル41から取得する。そして、制御部47は、第1ドキュメントアイコン431aがタッチ操作されたことを特定する。更に、制御部47は、第1ドキュメントアイコン431aの近傍に選択アイコン433を表示する。
そして、制御部47は、音声入力部46から入力された音声に基づいて、第1キーワードと、第2キーワードとを抽出する。第1キーワードは、例えば、「10P~20P」を含む。第2キーワードは、例えば、「印刷」を含む。
制御部47は、抽出した第1キーワードの「10P~20P」に関連付けられた所在情報を取得する。そして、制御部47は、取得した所在情報が示す記号を取得する。更に、制御部47は、第2キーワードに基づいて、第1キーワードに関連付けられた所在情報が示す記号に対する処理を決定する。具体的には、制御部47は、タッチ操作されたドキュメントアイコン431の「10P~20P」を「印刷」することを決定する。そして、図5に示すように、制御部47は、指示アイコン432の近傍に選択アイコン433をタッチパネル41が表示するように、タッチパネル41を制御する。更に、図5に示すように、制御部47は、第1ドキュメントアイコン431aから指示アイコン432までの軌跡画像435を表示する。
次に、図1~図6を参照して、制御部47が実行する処理を説明する。図6は、制御部47が実行する処理のフローチャートを示す。制御部47が実行する処理は、ステップS101~ステップS105を含む。
ステップS101において、制御部47は、画面P1を表示するか否かを判定する。画面P1を表示しない場合(ステップS101において、No)、処理はステップS101を繰り返す。画面P1を表示する場合、(ステップS101において、Yes)、処理はステップS102に進む。
ステップS101でYesの場合、ステップS102において、制御部47は、タッチパネル41が画面P1と複数のドキュメントアイコン431と指示アイコン432とを表示するように、タッチパネル41を制御する。処理はステップS103に進む。
ステップS103において、制御部47は選択処理を実行する。選択処理は、図7を参照して後述する。処理は、ステップS104に進む。
ステップS104において、制御部47は、抽出処理を実行する。抽出処理は、図8を参照して後述する。処理は、ステップS105に進む。
ステップS105において、制御部47は、決定処理を実行する。決定処理は、図9を参照して後述する。処理は、終了する。
次に、図6と図7とを参照して、選択処理を説明する。図7は、制御部47が実行する選択処理を示すフローチャートである。制御部47が実行する選択処理は、ステップS201~ステップS204を含む。選択処理は、図6のステップS103に対応する。
ステップS201において、制御部47は、タッチ操作の位置をタッチパネル41から取得する。処理は、ステップS202に進む。
ステップS202において、制御部47は、ドキュメントアイコン431の表示位置をタッチパネル41から取得する。処理はステップS203に進む。
ステップS203において、制御部47は、タッチ操作の位置とドキュメントアイコン431の表示位置とに基づいて、タッチ操作されたドキュメントアイコン431を特定する。処理は、ステップS204に進む。
ステップS204において、制御部47は、タッチ操作されたドキュメントアイコン431の近傍に選択アイコン433を表示するように、タッチパネル41を制御する。処理は、図6のステップS104に戻る。
次に、図6と図8を参照して、抽出処理を説明する。図8は、制御部47が実行する抽出処理を示すフローチャートである。制御部47が実行する抽出処理は、ステップS301~ステップS305を含む。抽出処理は、図6のステップS104に対応する。
ステップS301において、制御部47は、音声入力部46に音声が入力されたか否かを判定する。音声入力部46に音声が入力されていない場合(ステップS301において、No)、処理は、ステップS301を繰り返す。音声入力部46に音声が入力された場合(ステップS301において、Yes)、処理はステップS302に進む。
ステップS302において、制御部47は、入力された音声から第1キーワードを抽出する。処理はステップS303に進む。
ステップS303において、制御部47は、第1キーワードに関連付けられた所在情報を取得する。処理は、ステップS304に進む。
ステップS304において、制御部47は、取得した所在情報が示す記号を取得する。処理は、ステップS305に進む。
ステップS305において、制御部47は、第2キーワードを抽出する。処理は、図6に示すステップS105に戻る。
次に、図6と図9とを参照して、制御部47が実行する決定処理を説明する。図9は、制御部47が実行する決定処理のフローチャートを示す図である。制御部47が実行する決定処理は、ステップS401~ステップS408を含む。決定処理は、図6に示すステップS105に対応する。
ステップS401において、制御部47は、第2キーワードが記号を表示する指示を含むか否かを判定する。記号を表示する指示を含まない場合(ステップS401において、No)、処理はステップS403に進む。記号を表示する指示を含む場合(ステップS401において、Yes)、処理は、ステップS402に進む。
ステップS401でNoの場合、ステップS403において、制御部47は、タッチパネル41が記号を表示しないことを決定する。処理は、ステップS404に進む。
ステップS401でYesの場合、ステップS402において、制御部47は、記号を含む見本画像434をタッチパネル41に表示することを決定する。処理は、ステップS404に進む。
ステップS402またはステップS403の後に、ステップS404において、制御部47は、第2キーワードが記号をシートPに形成する指示を含むか否かを判定する。記号をシートPに形成する指示を含まない場合(ステップS404において、No)、処理はステップS406に進む。記号をシートPに形成する指示を含む場合(ステップS404において、Yes)、処理はステップS405に進む。
ステップS404でNoの場合、ステップS406において、制御部47は記号をシートPに形成しないことを決定する。処理は図6に示すフローチャートに戻る。
ステップS404でYesの場合、ステップS405において、制御部47は、記号をシートPに形成することを決定する。処理は、ステップS407に進む。
ステップS407において、制御部47は、選択アイコン433を指示アイコン432の近傍にタッチパネル41が表示するように、タッチパネル41を制御する。
ステップS408において、制御部47は、タッチパネル41が軌跡画像435を表示するように、タッチパネル41を制御する。処理は、図6に示すフローチャートに戻る。
[実施形態2]
次に、図10を参照して、本発明の実施形態2を説明する。実施形態2の表示装置4は、タッチ操作されたドキュメントアイコン431の色をタッチ操作されていないドキュメントアイコン431と異なる色に変更する点と、複数のドキュメントアイコン431がタッチ操作された場合の処理とを含む点で実施形態1の表示装置4と異なる。なお、実施形態2では、実施形態1で説明した構成の説明を省略する。
図10は、実施形態2の表示装置4を示す図である。図10に示す画面P1には、複数のドキュメントアイコン431と、指示アイコン432と、選択アイコン433と、軌跡画像435とが表示される。第1ドキュメントアイコン431aは、例えば、赤色でタッチパネル41に表示される。第2ドキュメントアイコン431bと第3ドキュメントアイコン431cとは、例えば、黄色でタッチパネル41に表示される。第4ドキュメントアイコン431dは、例えば、緑色でタッチパネル41に表示される。選択アイコン433は、第1ドキュメントアイコン431aの近傍に表示される。第1ドキュメントアイコン431aの近傍に表示される選択アイコン433は、数字の「3」を示す番号を含む。軌跡画像435は、第1ドキュメントアイコン431aから第4ドキュメントアイコン431dに向かう軌跡を含む。軌跡画像435は、第4ドキュメントアイコン431dから第1ドキュメントアイコン431aに向かう軌跡を含む。
実施形態2の制御部47は、タッチ操作されたドキュメントアイコン431を他のドキュメントアイコン431と異なるドキュメントアイコン431に変更する。具体的には、制御部47は、複数のドキュメントアイコン431のうちのタッチ操作されたドキュメントアイコン431を複数のドキュメントアイコン431と異なるドキュメントアイコン431にタッチパネル41が変更するように、タッチパネル41を制御する。したがって、タッチ操作されたドキュメントアイコン431を他のドキュメントアイコン431と異なるドキュメントアイコン431に変更できる。この結果、タッチ操作されたドキュメントアイコン431とタッチ操作されていないドキュメントアイコン431とを容易に区別できる。
図10に示すように、ドキュメントアイコン431の色を変更する場合、ドキュメントアイコン431をタッチ操作する。そして、実施形態2の制御部47は、タッチ操作されたドキュメントアイコン431の色を複数のドキュメントアイコン431と異なる色に変更するように、タッチパネル41を制御する。したがって、他のドキュメントアイコン431の色とタッチ操作されたドキュメントアイコン431の色とを異なる色にできる。この結果、タッチ操作されたドキュメントアイコン431とタッチ操作されていないドキュメントアイコン431とを容易に区別できる。
また、実施形態2の制御部47は、タッチパネル41に表示された複数のドキュメントアイコン431のうちの2以上のドキュメントアイコン431がタッチ操作を受け付けた場合、タッチパネル41がタッチ操作を受け付けた2以上のドキュメントアイコン431の色をそれぞれ変更するように、タッチパネル41を制御する。2以上のドキュメントアイコン431の各々の色は、タッチ操作を受け付けた順番でそれぞれ異なる。したがって、タッチ操作された順番でドキュメントアイコン431の色がそれぞれ異なる。この結果、タッチ操作したドキュメントアイコン431の順番の識別が容易となり、ユーザーの利便性が向上する。
例えば、図10に示すように、第1ドキュメントアイコン431aと第4ドキュメントアイコン431dとに対してタッチ操作を行う。制御部47は、タッチ操作された第1ドキュメントアイコン431aの色を「赤色」に変更する。タッチ操作された第1ドキュメントアイコン431aの色は、第2ドキュメントアイコン431bの色と第3ドキュメントアイコン431cの色と第4ドキュメントアイコン431dの色とも異なる。
そして、制御部47は、タッチ操作された第4ドキュメントアイコン431dの色を「緑色」に変更する。タッチ操作された第4ドキュメントアイコン431dの色は、第1ドキュメントアイコン431aの色と第2ドキュメントアイコン431bの色と第3ドキュメントアイコン431cの色とも異なる。
したがって、1番目にタッチ操作された第1ドキュメントアイコン431aの色と2番目にタッチ操作された第4ドキュメントアイコン431dの色とが互いに異なる。タッチ操作された順番でドキュメントアイコン431の色がそれぞれ異なるため、何番目にタッチ操作したドキュメントアイコン431かの識別が容易となる。
また、実施形態2の制御部47は、音声入力部46から入力された音声に基づいて、第3キーワードを抽出する。第3キーワードは、タッチ操作されたドキュメントアイコン431の色を含む。したがって、ドキュメントアイコン431の色に基づいて、音声でドキュメントアイコン431を操作できる。この結果、同じ色のドキュメントアイコン431の全てに同じ操作がされてしまうことを抑制できる。また、ドキュメントアイコン431を操作する際の、ユーザーの利便性が向上する。
また、タッチパネル41が複数のドキュメントアイコン431のうちの1つ以上のドキュメントアイコン431に対してタッチ操作を受け付ける場合、タッチ操作された順番を示す数字を選択アイコン433に表示してもよい。選択アイコン433にタッチ操作された順番を示す数字を表示することで、操作順をユーザーに通知できる。この結果、操作順をユーザーが把握できるので、ユーザーの利便性が向上する。
例えば、最初に第1ドキュメントアイコン431aがタッチ操作される場合、制御部47は、第1ドキュメントアイコン431aの近傍に選択アイコン433を表示する。第1ドキュメントアイコン431aの近傍に表示された選択アイコン433は、タッチ操作された順番を示す数字を含む。タッチ操作された順番を示す数字は、「タッチ操作の順番を示すアイコン」の一例に相当する。数字は、例えば「1」である。
次に、選択アイコン433に数字の「1」を表示した状態で、第4ドキュメントアイコン431dがタッチ操作される場合、制御部47は、第4ドキュメントアイコン431dの近傍に選択アイコン433を表示する。第4ドキュメントアイコン431dの近傍に表示された選択アイコン433は、タッチ操作された順番を示す数字を含む。数字は、例えば「2」である。
また、選択アイコン433に数字の「2」を表示した状態で、再び第1ドキュメントアイコン431aをタッチ操作する場合、第1ドキュメントアイコン431aの近傍に表示される選択アイコン433の数字を「3」としてもよい。したがって、同じドキュメントに対して複数の処理を実行することができる。この結果、タッチパネル41を操作するときの、ユーザーの利便性が向上する。例えば、最初の操作で第1ドキュメントアイコン431aのうちの一部をタッチパネル41に表示させ、次の操作で第1ドキュメントアイコン431aのうちの一部を印刷するような指示が可能となる。
また、タッチ操作された順番を示す数字を選択アイコン433に表示する場合、第3キーワードは、選択アイコン433の順番を示す数字を含んでもよい。例えば、第3キーワードは、「1番」を含む。例えば、第3キーワードは、「2番」を含む。制御部47は、第3キーワードに基づいて、操作するドキュメントアイコン431を決定する。したがって、ドキュメントアイコン431の近傍に表示された選択アイコン433の番号に基づいて、音声でドキュメントアイコン431を操作できる。この結果、ドキュメントアイコン431を操作する際の、ユーザーの利便性が向上する。
次に、図11と図12とを参照して、実施形態2の制御部47が実行する選択処理を説明する。図11は、実施形態2の制御部47が実行する選択処理のフローチャートを示す図である。図12は、実施形態2の制御部47が実行する選択処理のフローチャートの続きを示す図である。図11と図12とに示す選択処理は、ステップS501~ステップS515を含む。なお、図11と図12とに示す、ステップS501~ステップS504及びステップS508~ステップS511は、図7に示すステップS201~ステップS204と同じ内容であるため、説明を省略する。したがって、ステップS506、ステップS507、ステップS511~ステップS515を説明する。
ステップS505において、制御部47は、タッチ操作されたドキュメントアイコン431の近傍に表示された選択アイコン433に番号を表示する。処理は、ステップS506に進む。
ステップS506において、制御部47は、タッチ操作されたドキュメントアイコン431の色を、他のドキュメントアイコン431と異なる色に変更する。処理は、ステップS507に進む。
ステップS507において、制御部47は、タッチパネル41が他の位置でタッチ操作を検出したか否かを判定する。他の位置でタッチ操作を検出しない場合(ステップS506において、No)、処理は、戻る。他の位置でタッチ操作を検出した場合(ステップS506において、Yes)、処理は、ステップS508に進む。
ステップS511において、制御部47は、タッチ操作されたドキュメントアイコン431の近傍に選択アイコン433を表示する。処理は、ステップS512に進む。
ステップS512において、制御部47は、タッチ操作されたドキュメントアイコン431の近傍に表示された選択アイコン433に番号を表示する。処理は、ステップS513に進む。
ステップS513において、制御部47は、タッチ操作されたドキュメントアイコン431からタッチ操作されたドキュメントアイコン431までの軌跡を示す軌跡画像435を表示する。処理は、ステップS514に進む。
ステップS514において、制御部47はタッチ操作されたドキュメントアイコン431を、他のドキュメントアイコン431と異なる色に変更する。処理は、ステップS515に進む。
ステップS515において、制御部47は、他の位置でタッチ操作を検出したか否かを判定する。他の位置でタッチ操作を検出した場合(ステップS515において、Yes)、処理は、ステップS508に戻る。他の位置でタッチ操作を検出しない場合(ステップS515において、No)、処理は、戻る。
次に、図13を参照して実施形態2の制御部47が実行する抽出処理を説明する。図13は、実施形態2の制御部47が実行する抽出処理のフローチャートを示す図である。実施形態2の制御部47が実行する抽出処理は、ステップS601~ステップS608を含む。ステップS601とステップS604~ステップS607は、図8に示すステップS301~ステップS305と同じ内容なため、説明を省略する。したがって、ステップS602とステップS603とステップS608とを説明する。
ステップS601でYesの場合、ステップS602において、制御部47は、音声入力部46から入力された音声に基づいて、第3キーワードを抽出する。処理は、ステップS603に進む。
ステップS603において、制御部47は、第3キーワードに基づいて、操作するドキュメントアイコン431を決定する。処理はステップS604に進む。
ステップS608において、制御部47は、音声入力部46に音声が入力されたか否かを判定する。音声入力部46に音声が入力されていない場合(ステップS608において、No)、処理は、戻る。音声入力部46に音声が入力された場合(ステップS608において、Yes)、処理はステップS604に戻る。
[実施形態3]
次に、図14を参照して、本発明の実施形態3を説明する。実施形態3の表示装置4は、タッチ操作されたドキュメントアイコン431にマーク436を表示する点で実施形態1の表示装置4と実施形態2の表示装置4とも異なる。なお、実施形態3では、実施形態1及び実施形態2で説明した構成の説明を省略する。
図14は、実施形態3の表示装置4を示す図である。図14に示す画面P1には、複数のドキュメントアイコン431と、指示アイコン432と、選択アイコン433と、軌跡画像435とが表示される。第1ドキュメントアイコン431aには、図形のようなマーク436が表示される。マーク436は、例えば、黒色の「〇」である。第2ドキュメントアイコン431bには、マーク436が表示される。マーク436は、例えば、黒色の「△」である。第1ドキュメントアイコン431aのマーク436と第2ドキュメントアイコン431bのマーク436とは、異なる。第4ドキュメントアイコン431dには、マーク436が表示される。マーク436は、例えば、赤色の「〇」である。第4ドキュメントアイコン431dのマーク436の色は、第1ドキュメントアイコン431aのマーク436と第2ドキュメントアイコン431bとも、異なる。軌跡画像435は、第1ドキュメントアイコン431aから第2ドキュメントアイコン431bに向かう軌跡を含む。軌跡画像435は、第2ドキュメントアイコン431bから第4ドキュメントアイコン431dに向かう軌跡を含む。
図14に示すように、ドキュメントアイコン431にマーク436を表示する場合、ドキュメントアイコン431をタッチ操作する。そして、実施形態3の制御部47は、タッチパネル41がタッチ操作されたドキュメントアイコン431にマーク436を表示するように、タッチパネル41を制御する。したがって、他のドキュメントアイコン431とタッチ操作されたドキュメントアイコン431とを容易に区別できる。
例えば、タッチ操作されたドキュメントアイコン431にマーク436を表示する場合、図14に示すように、第1ドキュメントアイコン431aに対してタッチ操作を行う。制御部47は、タッチ操作された第1ドキュメントアイコン431aに「〇」を表示するように、タッチパネル41を制御する。「〇」は、マーク436の一例を示す。
また、実施形態3の制御部47は、タッチパネル41に表示された複数のドキュメントアイコン431のうちの2以上のドキュメントアイコン431がタッチ操作を受け付けた場合、タッチパネル41がタッチ操作を受け付けた2以上のドキュメントアイコン431の各々にマーク436を表示するように、タッチパネル41を制御する。2以上のドキュメントアイコン431の各々に表示されたマーク436は、タッチ操作を受け付けた順番でそれぞれ異なる。したがって、タッチ操作された順番でドキュメントアイコン431に表示されるマーク436が異なる。この結果、タッチ操作したドキュメントアイコン431の順番の識別が容易となり、ユーザーの利便性が向上する。
例えば、図14に示すように、第1ドキュメントアイコン431aと第2ドキュメントアイコン431bとに対してタッチ操作を行う。制御部47は、タッチ操作された第1ドキュメントアイコン431aと第2ドキュメントアイコン431bとのそれぞれにマーク436を表示するように、タッチパネル41を制御する。具体的には、制御部47は、第1ドキュメントアイコン431aに「〇」を示すマーク436を表示する。制御部47は、第2ドキュメントアイコン431bに「△」を示すマーク436を表示する。したがって、第1ドキュメントアイコン431aのマーク436と第2ドキュメントアイコン431bのマーク436とが互いに異なる。タッチ操作された順番でドキュメントアイコン431のマーク436がそれぞれ異なるため、何番目にタッチ操作したドキュメントアイコン431かの識別が容易となる。
また、実施形態3の制御部47は、タッチパネル41に表示された複数のドキュメントアイコン431のうちの2以上のドキュメントアイコン431がタッチ操作を受け付けた場合、タッチパネル41がタッチ操作を受け付けた2以上のドキュメントアイコン431の各々にマーク436を表示するように、タッチパネル41を制御する。2以上のドキュメントアイコン431の各々に表示されたマーク436の色は、タッチ操作を受け付けた順番でそれぞれ異なる。
例えば、図14に示すように、第1ドキュメントアイコン431aと第3ドキュメントアイコン431cとに対してタッチ操作を行う。制御部47は、タッチ操作された第1ドキュメントアイコン431aと第3ドキュメントアイコン431cとのそれぞれにマーク436を表示するように、タッチパネル41を制御する。具体的には、制御部47は、第1ドキュメントアイコン431aに黒色の「〇」を示すマーク436を表示する。具体的には、制御部47は、第3ドキュメントアイコン431cに赤色の「〇」を示すマーク436を表示する。したがって、第1ドキュメントアイコン431aのマーク436の色と第3ドキュメントアイコン431cのマーク436の色とが互いに異なる。タッチ操作された順番でドキュメントアイコン431のマーク436がそれぞれ異なるため、タッチ操作したドキュメントアイコン431の順番の識別が容易となり、ユーザーの利便性が向上する。
また、実施形態3の制御部47は、音声入力部46から入力された音声に基づいて、第3キーワードを抽出する。第3キーワードは、ドキュメントアイコン431に表示されたドキュメントアイコン431の色、マーク436及びマーク436の色を含む。したがって、ドキュメントアイコン431に表示されたマーク436に基づいて、音声でドキュメントアイコン431を操作できる。この結果、ドキュメントアイコン431を操作する際の、ユーザーの利便性が向上する。
例えば、第3キーワードは、「マーク」を含む。例えば、第3キーワードは、「黒色のマーク」を含む。制御部47は、第3キーワードに基づいて、操作するファイルを決定する。この結果、ドキュメントアイコン431の1つ1つに対して、ユーザーの望む処理を実行できる。
次に、図15と図16とを参照して、実施形態3の制御部47が実行する選択処理を説明する。図15は、実施形態3の制御部47が実行する選択処理のフローチャートを示す図である。図16は、実施形態3の制御部47が実行する選択処理のフローチャートの続きを示す図である。図15と図16とに示す選択処理は、ステップS701~ステップS715を含む。なお、図15と図16とに示す、ステップS701~ステップS705、ステップS707~ステップS713、及びステップS715は、図11と図12とに示すステップS501~ステップS505、ステップS507~ステップS513、及びステップS515と同じ内容であるため、説明を省略する。したがって、ステップS714のみを説明する。
ステップS714において、制御部47は、マーク436を表示したドキュメントアイコン431と異なるマーク436をタッチ操作されたドキュメントアイコン431に表示する。処理は、ステップS715に進む。
[実施形態4]
次に、図17を参照して、本発明の実施形態4を説明する。実施形態4は、表示装置4が画像形成装置100に取付けられる点で、実施形態1~実施形態3と異なる。実施形態3の表示装置4は、画像形成装置100に取付けられる。表示装置4は、画像形成装置100の操作表示部であり得る。なお、実施形態4では、実施形態1~実施形態3で説明した構成の説明を省略する。
図17は、実施形態4の表示装置4を備える画像形成装置100を示す図である。図17に示す画像形成装置100は、画像形成ユニット1、画像読取ユニット2、原稿搬送ユニット3、及び表示装置4を備える。画像形成ユニット1は、シートPに画像を形成する。画像読取ユニット2は、原稿Rに形成された画像を読み取り、画像を示す画像データを生成する。原稿搬送ユニット3は、原稿Rを画像読取ユニット2に搬送する。
表示装置4は、例えば、画像形成装置100の操作表示部である。表示装置4の具体的な構成は、実施形態1と同様のため、説明を省略する。
画像形成ユニット1は、搬送機構11、給送部12、画像形成部14、定着部15、排出部16及び排気装置20を備える。画像形成ユニット1は、搬送路Lを有する。搬送路Lは、給送部12から排出部16までシートPを案内する。搬送路Lは、給送部12から排出部16まで延びる。
搬送機構11は、シートPを搬送する。
給送部12は、シートPを搬送路Lへ供給する。シートPは、例えば、普通紙、コピー紙、再生紙、薄紙、厚紙、または光沢紙、またはOHP(Overhead Projector)シートである。
画像形成部14は、画像をシートPに形成する。
定着部15は、シートPを加熱及び加圧し、シートPに形成された画像をシートPに定着する。
排出部16は、シートPを画像形成装置100の外部へ排出する。定着部15がトナー画像をシートPに定着させた後、搬送機構11はシートPを定着部15から排出部16まで搬送する。そして、排出部16はトナー画像の定着したシートPを画像形成装置100の外部に排出する。
制御部21は、画像形成装置100の動作を制御する。制御部21は、プロセッサーと記憶部とを備える。プロセッサーは、例えばCPUを備える。記憶部は、半導体メモリーのようなメモリーを備え、HDD(Hard Disk Drive)を備えてもよい。記憶部は、制御プログラムを記憶している。プロセッサーは、制御プログラムを実行して、搬送機構11、給送部12、画像形成部14、定着部15、排出部16、記憶部22及び通信部23を制御する。
記憶部22は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。具体的には、記憶部22は、半導体メモリーのような主記憶装置、並びに、半導体メモリー及び/またはハードディスクドライブのような補助記憶装置を含む。記憶部22は、リムーバルメディアを含んでもよい。データは、画像、所在情報、及び音声パターンを含む。
通信部23は、ネットワークN(図示せず)を介して、他の表示装置4と通信する。例えば、通信部23は、ネットワークNを介して、実施形態1の表示装置4の通信部48と通信する。通信部23は、ネットワークNを介して、例えば、印刷ジョブを受信する。受信した印刷ジョブは、制御部21に送信される。制御部21は、印刷ジョブに基づいて、画像形成部14がシートPに画像を形成するように、画像形成部14を制御する。
以上、図面を参照しながら本発明の実施形態を説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。また、上記の各実施形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明の形成が可能である。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の速度、材質、形状、寸法等は一例であって、特に限定されるものではなく、本発明の構成から実質的に逸脱しない範囲で種々の変更が可能である。
(1)実施形態4では、画像形成装置100がモノクロ複写機であるが、本発明はこれに限定されない。画像形成装置がシートPにトナー像を形成すればよい。画像形成装置が、例えば、カラープリンターでもよい。また、画像形成装置が、例えば、カラー複合機でもよい。また、画像形成装置が、例えばインクジェット記録装置でもよい。
(2)本実施形態2では、ドキュメントアイコン431の色を変更したが、本発明はこれに限らない。例えば、色を変更したドキュメントアイコン431に実施形態3のマーク436を表示してもよい。また、色を変更したドキュメントアイコン431に実施形態3の色を変更したマーク436を表示してもよい。この結果、タッチ操作したドキュメントアイコン431の順番の識別が容易となり、ユーザーの利便性が向上する。