JP6855757B2 - Image processing systems, mobile terminal devices and programs - Google Patents
Image processing systems, mobile terminal devices and programs Download PDFInfo
- Publication number
- JP6855757B2 JP6855757B2 JP2016216872A JP2016216872A JP6855757B2 JP 6855757 B2 JP6855757 B2 JP 6855757B2 JP 2016216872 A JP2016216872 A JP 2016216872A JP 2016216872 A JP2016216872 A JP 2016216872A JP 6855757 B2 JP6855757 B2 JP 6855757B2
- Authority
- JP
- Japan
- Prior art keywords
- guidance
- user
- image
- mobile terminal
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、画像処理システム、携帯端末装置及びプログラムに関し、特に画像処理システムにおいてエラーが発生した場合に携帯端末装置がユーザーに対してエラーを解除するための案内を行う技術に関する。 The present invention relates to an image processing system, a mobile terminal device and a program, and more particularly to a technique in which the mobile terminal device guides a user to cancel an error when an error occurs in the image processing system.
従来、ＭＦＰ（Multifunction Peripherals）などの画像処理装置と、ユーザーが所持する携帯端末装置とが連携するシステムにおいて、画像処理装置に紙詰まりなどのエラーが発生した場合に、画像処理装置が携帯端末装置に対して音声案内と画像案内とを含む案内情報を送信し、携帯端末装置がユーザーに対してエラーを解除するための操作を音声と画像との双方で案内する技術が知られている（例えば特許文献１）。 Conventionally, in a system in which an image processing device such as an MFP (Multifunction Peripherals) and a mobile terminal device owned by a user are linked, when an error such as a paper jam occurs in the image processing device, the image processing device is a mobile terminal device. There is known a technique of transmitting guidance information including voice guidance and image guidance to the user, and guiding the operation of the mobile terminal device to the user in both voice and image (for example). Patent Document 1).
ところで、画像処理装置で発生するエラーには様々なタイプのエラーが存在する。例えば、ユーザーが片手操作で解除することが可能なエラーや、解除するためにはユーザーが両手操作を行うことが必要となるエラーなどが存在する。エラー解除のために両手操作が必要な場合、ユーザーは携帯端末装置を持ちながら解除操作を行うことができないため、画像案内を見ながら解除操作を進めることは難しい。そのため、両手操作が必要な場合、ユーザーは、画像案内を見ることなく、音声案合だけを頼りにして解除操作を行うことになる。これに対し、片手操作でエラーを解除することが可能な場合、ユーザーは、一方の手で携帯端末装置を持ちながら他方の手で解除操作を行うことができる。この場合、ユーザーは画像案内を見れば操作箇所などを正確に把握することができるため、音声案内は特に必要なものではない。 By the way, there are various types of errors that occur in an image processing device. For example, there are errors that can be canceled by the user with one-handed operation, and errors that require the user to perform two-handed operation in order to cancel. When a two-handed operation is required to clear the error, the user cannot perform the clearing operation while holding the mobile terminal device, so it is difficult to proceed with the clearing operation while looking at the image guidance. Therefore, when a two-handed operation is required, the user will perform the release operation by relying only on the voice combination without looking at the image guidance. On the other hand, when the error can be canceled by one-handed operation, the user can perform the clearing operation with one hand while holding the mobile terminal device. In this case, the voice guidance is not particularly necessary because the user can accurately grasp the operation location and the like by looking at the image guidance.
しかしながら、上述した従来技術は、常に音声と画像との双方による案内を行うようにしているため、携帯端末装置は、ユーザーが画像案内を見ていないときでも画像案内のための処理を実行し、またユーザーが音声案内を必要としないときでも音声案内のための処理を実行する。それ故、上述した従来技術は、ユーザーが行うべき操作などに応じて音声案内と画像案内とを切り替えることができず、携帯端末装置の電力を無駄に消費してしまうという問題があった。 However, since the above-mentioned prior art always provides guidance by both voice and image, the mobile terminal device executes the process for image guidance even when the user is not looking at the image guidance. Moreover, even when the user does not need the voice guidance, the process for the voice guidance is executed. Therefore, the above-mentioned conventional technique has a problem that the voice guidance and the image guidance cannot be switched according to the operation to be performed by the user, and the power of the mobile terminal device is wasted.
本発明は、上記のような従来の問題点を解決するためになされたものであり、ユーザーが行うべき操作などに応じて音声による案内と画像による案内とを切り替えることにより、携帯端末装置の電力消費量を低減できるようにした画像処理システム、携帯端末装置及びプログラムを提供することを目的とするものである。 The present invention has been made to solve the above-mentioned conventional problems, and by switching between voice guidance and image guidance according to an operation to be performed by the user, the power consumption of the mobile terminal device is increased. An object of the present invention is to provide an image processing system, a mobile terminal device, and a program capable of reducing power consumption.
上記目的を達成するため、請求項１に係る発明は、画像処理装置と携帯端末装置とが近
距離通信を行うことが可能な画像処理システムであって、前記画像処理装置は、前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を生成する操作情報生成手段と、前記操作情報生成手段によって生成される操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、前記携帯端末装置は、前記操作情報送信手段によって送信される操作情報を受信する操作情報受信手段と、前記操作情報受信手段によって受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する案内手段と、を備え、前記案内手段は、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とする構成である。
In order to achieve the above object, the invention according to
請求項２に係る発明は、請求項１に記載の画像処理システムにおいて、前記案内手段は、ユーザーが行うべき操作が両手で行う必要のある操作である場合に音声による案内を行い、ユーザーが行うべき操作が片手で行うことが可能な操作である場合に画像による案内を行うことを特徴とする構成である。
The invention according to
請求項３に係る発明は、請求項２に記載の画像処理システムにおいて、前記画像処理装置は、前記操作情報生成手段によって特定されるユーザーが行うべき操作が、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する判別手段を更に備え、前記案内手段は、前記判別手段による判別結果に基づいて音声による案内と画像による案内とを切り替えることを特徴とする構成である。
The invention according to
請求項４に係る発明は、請求項２に記載の画像処理システムにおいて、前記携帯端末装置は、前記操作情報を解析することによってユーザーが行うべき操作が両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する判別手段を更に備え、前記案内手段は、前記判別手段による判別結果に基づいて音声による案内と画像による案内とを切り替えることを特徴とする構成である。
The invention according to claim 4 is, in the image processing system according to
請求項５に係る発明は、請求項３又は４に記載の画像処理システムにおいて、前記操作情報生成手段は、ユーザーが行うべき操作として、複数のステップを１つずつ順に行っていく操作を特定し、前記判別手段は、ステップごとに、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別し、前記案内手段は、前記判別手段によるステップごとの判別結果に基づいて音声による案内と画像による案内とをステップごとに切り替えることを特徴とする構成である。
The invention according to claim 5 specifies, in the image processing system according to
請求項６に係る発明は、請求項５に記載の画像処理システムにおいて、前記案内手段は、次のステップの操作が音声による案内を行う操作である場合、音声による案内を行う前に、画像による案内を行うことを特徴とする構成である。 According to a sixth aspect of the present invention, in the image processing system according to the fifth aspect, when the operation of the next step is an operation of performing voice guidance, the guidance means is based on an image before performing voice guidance. The configuration is characterized by providing guidance.
請求項７に係る発明は、請求項５又は６に記載の画像処理システムにおいて、前記操作情報生成手段は、ユーザーの操作によってステップが１つ進行する度に、次のステップに対応する操作情報を生成し、前記操作情報送信手段は、前記操作情報生成手段によって生成されるステップごとの操作情報を順に前記携帯端末装置へ送信し、前記案内手段は、音声による案内を行ってから所定時間を経過したときに、前記操作情報受信手段が次のステップに対応する操作情報を受信していない場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする構成である。 The invention according to claim 7 is the image processing system according to claim 5, wherein the operation information generating means generates operation information corresponding to the next step each time one step is advanced by the operation of the user. The operation information transmitting means generates and sequentially transmits the operation information for each step generated by the operation information generating means to the mobile terminal device, and the guidance means elapses a predetermined time after performing voice guidance. When the operation information receiving means does not receive the operation information corresponding to the next step, the user is urged to switch the voice guidance to the image guidance.
請求項８に係る発明は、請求項３乃至７のいずれかに記載の画像処理システムにおいて、前記判別手段は、ユーザーが行うべき操作がレバーを操作しながら紙を取り出す操作である場合に両手で行う必要のある操作であると判別することを特徴とする構成である。
The invention according to claim 8 is the image processing system according to any one of
請求項９に係る発明は、請求項３乃至８のいずれかに記載の画像処理システムにおいて、前記判別手段は、ユーザーが行うべき操作がローラーを手動回転させながら紙を取り出す操作である場合に両手で行う必要のある操作であると判別することを特徴とする構成である。
The invention according to claim 9 is the image processing system according to any one of
請求項１０に係る発明は、請求項３乃至９のいずれかに記載の画像処理システムにおいて、前記判別手段は、ユーザーが行うべき操作が所定サイズ以上の用紙を補給する操作である場合に両手で行う必要のある操作であると判別することを特徴とする構成である。
The invention according to
請求項１１に係る発明は、請求項１乃至１０のいずれかに記載の画像処理システムにおいて、前記携帯端末装置は、画像を撮影する撮像手段と、前記撮像手段によって撮影された画像からユーザーの顔画像を認識する画像認識手段と、を更に備え、前記案内手段は、前記画像認識手段によってユーザーの顔画像が認識されている場合に画像による案内を行い、前記画像認識手段によってユーザーの顔画像が認識されていない場合に音声による案内を行うことを特徴とする構成である。
The invention according to
請求項１２に係る発明は、請求項１乃至１１のいずれかに記載の画像処理システムにおいて、前記携帯端末装置は、前記携帯端末装置に作用する加速度を検知する加速度センサー、を更に備え、前記案内手段は、前記加速度センサーによって加速度が検知されている場合に画像による案内を行い、前記加速度センサーによって加速度が検知されていない場合に音声による案内を行うことを特徴とする構成である。
The invention according to
請求項１３に係る発明は、請求項１乃至１２のいずれかに記載の画像処理システムにおいて、前記画像処理装置は、ユーザーによって行われる操作がエラーを解除するための正しい操作であるか否かを判別する操作判別手段、を更に備え、前記案内手段は、音声による案内を行っている状態において前記操作判別手段によってユーザーの操作が誤った操作であると判別された場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする構成である。
The invention according to
請求項１４に係る発明は、請求項１乃至１３のいずれかに記載の画像処理システムにおいて、前記携帯端末装置は、ユーザーの操作を検知する操作検知手段、を更に備え、前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を画像による案内に切り替えることを特徴とする構成である。
The invention according to
請求項１５に係る発明は、請求項１４に記載の画像処理システムにおいて、前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を再生又は一時停止させることが可能であることを特徴とする構成である。
The invention according to
請求項１６に係る発明は、画像処理装置と近距離通信を行うことが可能な携帯端末装置であって、前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する操作情報受信手段と、前記操作情報受信手段によって受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する案内手段と、を備え、前記案内手段は、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とする構成である。
The invention according to
請求項１７に係る発明は、請求項１６に記載の携帯端末装置において、前記案内手段は、ユーザーが行うべき操作が両手で行う必要のある操作である場合に音声による案内を行い、ユーザーが行うべき操作が片手で行うことが可能な操作である場合に画像による案内を行うことを特徴とする構成である。
The invention according to claim 17 is the mobile terminal device according to
請求項１８に係る発明は、請求項１６又は１７に記載の携帯端末装置において、前記案内手段は、ユーザーが行うべき操作に複数のステップが含まれる場合、ステップごとに、音声による案内と画像による案内とを切り替えることを特徴とする構成である。
The invention according to claim 18 is the mobile terminal device according to
請求項１９に係る発明は、請求項１８に記載の携帯端末装置において、前記案内手段は、次のステップの操作が音声による案内を行う操作である場合、音声による案内を行う前に、画像による案内を行うことを特徴とする構成である。
The invention according to
請求項２０に係る発明は、請求項１８又は１９に記載の携帯端末装置において、前記案内手段は、音声による案内を行ってから所定時間を経過したときに、前記操作情報受信手段が次のステップに対応する操作情報を受信していない場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする構成である。
The invention according to
請求項２１に係る発明は、請求項１６乃至２０のいずれかに記載の携帯端末装置において、前記案内手段は、ユーザーが行うべき操作がレバーを操作しながら紙を取り出す操作である場合に音声による案内を行うことを特徴とする構成である。
The invention according to
請求項２２に係る発明は、請求項１６乃至２１のいずれかに記載の携帯端末装置において、前記案内手段は、ユーザーが行うべき操作がローラーを手動回転させながら紙を取り出す操作である場合に音声による案内を行うことを特徴とする構成である。
The invention according to
請求項２３に係る発明は、請求項１６乃至２２のいずれかに記載の携帯端末装置において、前記案内手段は、ユーザーが行うべき操作が所定サイズ以上の用紙を補給する操作である場合に音声による案内を行うことを特徴とする構成である。
The invention according to
請求項２４に係る発明は、請求項１６乃至２３のいずれかに記載の携帯端末装置において、画像を撮影する撮像手段と、前記撮像手段によって撮影された画像からユーザーの顔画像を認識する画像認識手段と、を更に備え、前記案内手段は、前記画像認識手段によってユーザーの顔画像が認識されている場合に画像による案内を行い、前記画像認識手段によってユーザーの顔画像が認識されていない場合に音声による案内を行うことを特徴とする構成である。
The invention according to
請求項２５に係る発明は、請求項１６乃至２４のいずれかに記載の携帯端末装置において、前記携帯端末装置に作用する加速度を検知する加速度センサー、を更に備え、前記案内手段は、前記加速度センサーによって加速度が検知されている場合に画像による案内を行い、前記加速度センサーによって加速度が検知されていない場合に音声による案内を行うことを特徴とする構成である。
The invention according to claim 25 further includes an acceleration sensor for detecting the acceleration acting on the portable terminal device in the mobile terminal device according to any one of
請求項２６に係る発明は、請求項１６乃至２５のいずれかに記載の携帯端末装置において、前記案内手段は、音声による案内を行っているときに前記画像処理装置においてユーザーの操作が誤った操作であると判別された場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする構成である。
The invention according to claim 26 is the mobile terminal device according to any one of
請求項２７に係る発明は、請求項１６乃至２６のいずれかに記載の携帯端末装置において、ユーザーの操作を検知する操作検知手段、を更に備え、前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を画像による案内に切り替えることを特徴とする構成である。
The invention according to claim 27 further includes an operation detection means for detecting a user's operation in the mobile terminal device according to any one of
請求項２８に係る発明は、請求項２７に記載の携帯端末装置において、前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を再生又は一時停止させることが可能であることを特徴とする構成である。 The invention according to claim 28 is the mobile terminal device according to claim 27, wherein when the guidance means is performing voice guidance, voice guidance is provided according to a user's operation detected by the operation detection means. It is a configuration characterized in that it is possible to play or pause.
請求項２９に係る発明は、画像処理装置と近距離通信を行うことが可能な携帯端末装置において実行されるプログラムであって、前記携帯端末装置に、前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する第１のステップと、前記第１のステップにおいて受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する第２のステップと、を実行させ、前記第２のステップは、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とする構成である。 The invention according to claim 29 is a program executed in a mobile terminal device capable of performing short-range communication with an image processing device, in order to release the error of the image processing device in the mobile terminal device. Based on the first step of receiving operation information regarding the operation to be performed by the user from the image processing device and the operation information received in the first step, the operation to be performed by the user is guided by voice or image. The second step is to switch between voice guidance and image guidance according to the type of operation to be performed by the user or the holding state of the mobile terminal device by the user. It is a configuration characterized by.
請求項３０に係る発明は、請求項２９に記載のプログラムにおいて、前記第２のステップは、ユーザーが行うべき操作が両手で行う必要のある操作である場合に音声による案内を行い、ユーザーが行うべき操作が片手で行うことが可能な操作である場合に画像による案内を行うことを特徴とする構成である。
The invention according to
請求項３１に係る発明は、請求項２９又は３０に記載のプログラムにおいて、前記携帯端末装置は、画像を撮影する撮像手段を備え、前記プログラムは、前記携帯端末装置に、前記撮像手段によって撮影された画像からユーザーの顔画像を認識する第３のステップ、を更に実行させ、前記第２のステップは、前記第３のステップにおいてユーザーの顔画像が認識されている場合に画像による案内を行い、前記第３のステップにおいてユーザーの顔画像が認識されていない場合に音声による案内を行うことを特徴とする構成である。
The invention according to
請求項３２に係る発明は、請求項２９乃至３１のいずれかに記載のプログラムにおいて、前記携帯端末装置は、前記携帯端末装置に作用する加速度を検知する加速度センサーを備え、前記第２のステップは、前記加速度センサーによって加速度が検知されている場合に画像による案内を行い、前記加速度センサーによって加速度が検知されていない場合に音声による案内を行うことを特徴とする構成である。
The invention according to
本発明によれば、ユーザーが行うべき操作などに応じて音声による案内と画像による案内とを切り替えるため、携帯端末装置の電力消費量を低減させることができるようになる。 According to the present invention, since the voice guidance and the image guidance are switched according to the operation to be performed by the user, the power consumption of the mobile terminal device can be reduced.
以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the embodiments described below, members that are common to each other are designated by the same reference numerals, and duplicate description thereof will be omitted.
図１は、本発明の一実施形態における画像処理システム１の構成例を示す図である。この画像処理システム１は、ＭＦＰなどで構成される画像処理装置２と、ユーザーが所持するスマートフォンやタブレット端末、パーソナルコンピュータなどで構成される携帯端末装置３とを備えている。そして画像処理装置２と携帯端末装置３は、互いに無線による近距離通信を行うことができるように構成される。
FIG. 1 is a diagram showing a configuration example of an
画像処理装置２は、スキャン機能やプリント機能、コピー機能などの複数の機能を備えており、ユーザーの指示に基づいてスキャンジョブやプリントジョブ、コピージョブなどを実行することができる。このような画像処理装置２は、内部において紙詰まりなどのエラーが発生することがある。画像処理装置２においてエラーが発生すると、画像処理装置２は、ユーザーが所持する携帯端末装置３と近距離通信を行うことにより、携帯端末装置３にエラー解除のための操作案内を行わせる。
The
携帯端末装置３には、画像処理装置２と連携するためのアプリケーションが予めインストールされている。携帯端末装置３は、そのアプリケーションを起動させることにより、画像処理装置２と近距離通信を行うことができる。そして画像処理装置２においてエラーが発生した状態でアプリケーションが起動することに伴い、携帯端末装置３は、画像処理装置２との近距離通信を開始し、画像処理装置２からの指示に基づいてエラーを解除するための操作をユーザーに案内する。
An application for linking with the
図２は、画像処理装置２のハードウェア構成の一例を示すブロック図である。画像処理装置２は、制御部１０と、操作パネル１１と、ネットワークインタフェース１２と、記憶部１３と、近距離通信インタフェース１６と、スキャナ部２０と、プリンタ部３０とを備えている。
FIG. 2 is a block diagram showing an example of the hardware configuration of the
制御部１０は、ＣＰＵ１０ａとメモリ１０ｂとを備え、各部の動作を制御する。ＣＰＵ１０ａは、画像処理装置２に電源が投入されると、記憶部１３からプログラム１４を読み出して実行することにより、制御部１０を様々な処理部として機能させる。メモリ１０ｂは、ＣＰＵ１０ａがプログラム１４に基づく処理を実行する際に一時的なデータなどを記憶するためのものである。
The
操作パネル１１は、ユーザーが画像処理装置２を操作する際のユーザーインタフェースとなるものである。操作パネル１１は、ユーザーに対して各種情報を表示する表示部１１ａと、ユーザーによる操作を受け付ける操作部１１ｂとを備えている。表示部１１ａは、例えばカラー液晶ディスプレイで構成される。操作部１１ｂは、表示部１１ａの画面上に配置されるタッチパネルキーや表示部１１ａの画面周囲に配置される押しボタンキーなどで構成される。このような操作パネル１１は、画像処理装置２の装置本体正面側の所定位置に固定されている。そのため、ユーザーは、画像処理装置２の正面側に立つことにより、表示部１１ａで表示される画像を視認し易く、また操作部１１ｂに対する操作を行い易くなる。
The
ネットワークインタフェース１２は、画像処理装置２がＬＡＮ（Local Area Network）などのネットワークを介してパーソナルコンピュータやその他のデバイスと通信を行うためのものである。
The
記憶部１３は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などで構成される不揮発性の記憶手段である。記憶部１３には、制御部１０のＣＰＵ１０ａによって実行されるプログラム１４が予め記憶されている。また記憶部１３には、エラー判別情報１５が予め記憶されている。このエラー判別情報１５は、画像処理装置２において紙詰まりなどのエラーが発生した場合に、そのエラーの種類に応じて、エラーを解除するためにユーザーが行うべき解除操作を特定するために参照される情報である。
The
近距離通信インタフェース１６は、ユーザーが所持する携帯端末装置３と近距離通信を行うためのインタフェースである。例えば近距離通信インタフェース１６は、ＮＦＣ（Near Field Communication）やＢｌｕｅｔｏｏｔｈ（登録商標）などの規格に基づく無線通信を行うインタフェースである。
The short-
スキャナ部２０は、ユーザーによってセットされる原稿を読み取って画像データを生成する。このスキャナ部２０は、原稿搬送部２１と画像読取部２４とを備えている。原稿搬送部２１は、ユーザーによってセットされる原稿を所定の搬送路に沿って１枚ずつ自動搬送するものである。画像読取部２４は、原稿搬送部２１によって搬送される原稿が所定の読み取り位置を通過する際に、その原稿の表面にある画像を光学的に読み取るものである。
The
このようなスキャナ部２０では、原稿搬送部２１が原稿の自動搬送を行っているときに、搬送路において紙詰まりが発生する可能性がある。そのため原稿搬送部２１は、そのような紙詰まりを検知するための紙詰まりセンサー２２を備えている。また原稿搬送部２１は、そのような紙詰まりが発生した場合に搬送路を開放するために開閉可能なカバー（図示省略）を備えており、そのカバーの開閉状態を検知するカバー開閉センサー２３を備えている。そして紙詰まりセンサー２２及びカバー開閉センサー２３による検知結果は、制御部１０へ出力される。
In such a
プリンタ部３０は、制御部１０によって指定された画像データに基づいて印刷用紙に画像形成を行うことにより、印刷出力を行う。このプリンタ部３０は、給紙部３１と、用紙搬送部３４と、画像形成部３７とを備えている。
The
給紙部３１は、画像処理装置２に設けられている印刷用紙をストックしておくための少なくとも１つのトレー（図示省略）から用紙を１枚ずつ取り出して給紙するものである。この給紙部３１には、トレーにおける用紙エンプティを検知するための用紙エンプティセンサー３２が設けられている。また給紙部３１には、トレーの開閉状態を検知するトレー開閉センサー３３が設けられている。そして用紙エンプティセンサー３２及びトレー開閉センサー３３による検知結果は、制御部１０へ出力される。尚、画像処理装置２に複数のトレーが設けられる場合、用紙エンプティセンサー３２及びトレー開閉センサー３３は、トレーごとに設けられる。
The
用紙搬送部３４は、給紙部３１によって給紙される用紙を、所定の搬送路に沿って搬送するものである。用紙搬送部３４が用紙の自動搬送を行っているときには、搬送路において紙詰まりが発生する可能性がある。そのため用紙搬送部３４は、そのような紙詰まりを検知するための紙詰まりセンサー３５を備えている。また用紙搬送部３４は、そのような紙詰まりが発生した場合に搬送路を開放するために開閉可能な扉（図示省略）を備えており、その扉の開閉状態を検知する扉開閉センサー３６を備えている。そして紙詰まりセンサー３５及び扉開閉センサー３６による検知結果は、制御部１０へ出力される。尚、用紙搬送部３４には、複数の紙詰まりセンサー３５が設けられていても良いし、また複数の扉開閉センサー３６が設けられていても良い。
The
画像形成部３７は、用紙搬送部３４によって搬送される用紙が所定位置を通過する際に、用紙の表面にトナー像を転写し、更にトナー像を転写した用紙が別の所定位置を通過する際にトナー像を用紙に定着させることにより、用紙に対して画像形成を行うものである。この画像形成部３７は、トナー残量センサー３８を備えている。また画像形成部３７は、トナーを交換する際に開放するための開閉可能な扉（図示省略）を備えており、その扉の開閉状態を検知する扉開閉センサー３９を備えている。そしてトナー残量センサー３８及び扉開閉センサー３９の検知結果は、制御部１０へ出力される。
When the paper conveyed by the
次に図３は、携帯端末装置３のハードウェア構成の一例を示すブロック図である。携帯端末装置３は、制御部４０と、表示部４１と、操作部４２と、マイク４３と、スピーカー４４と、撮像部４５と、記憶部４６と、加速度センサー４９と、近距離通信インタフェース５０とを備えている。
Next, FIG. 3 is a block diagram showing an example of the hardware configuration of the mobile
制御部４０は、ＣＰＵ４０ａとメモリ４０ｂとを備え、各部の動作を制御する。ＣＰＵ４０ａは、記憶部４６に記憶されているプログラム４７を読み出して実行することにより、画像処理装置２と連携するためのアプリケーションを起動し、制御部４０を後述する各種の処理部として機能させる。メモリ４０ｂは、ＣＰＵ４０ａがプログラム４７に基づく処理を実行する際に一時的なデータなどを記憶するためのものである。
The
表示部４１は、ユーザーに対して各種の画像を表示する表示手段であり、例えばカラー液晶ディスプレイによって構成される。操作部４２は、ユーザーによる操作を受け付けるためのものであり、例えば表示部４１の画面上に配置されるタッチパネルキーや、表示部４１の画面周囲に配置される押しボタンキーなどによって構成される。
The
マイク４３は、周囲の音声を音声信号に変換して制御部４０へ出力するものである。スピーカー４４は、制御部４０から入力する音声信号に基づいて周囲に音声を出力するものである。撮像部４５は、例えば表示部４１の表示画面の周囲所定位置に設けられ、表示部４１の表示画面に対して法線方向にある物体を撮影することが可能な撮像手段である。
The
記憶部４６は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などによって構成される不揮発性の記憶手段である。この記憶部４６には、上述したプログラム４７が予め記憶されている。また記憶部４６には、予め操作案内登録情報４８が記憶されている。操作案内登録情報４８は、制御部４０において画像処理装置２と連携するアプリケーションが起動した場合に、そのアプリケーションによって参照される情報である。
The
加速度センサー４９は、携帯端末装置３に作用する加速度を検知するセンサーである。ユーザーが携帯端末装置３を所持している場合、加速度センサー４９は、ユーザーの動作に伴う加速度を検知し、その加速度を制御部４０へ出力する。これに対し、ユーザーが携帯端末装置３を床面などの静止物上に置いた状態のときには、加速度センサー４９は加速度を検知しないため、制御部４０へ出力される加速度はゼロとなる。
The
近距離通信インタフェース５０は、画像処理装置２と近距離通信を行うためのインタフェースである。例えば近距離通信インタフェース５０は、画像処理装置２と同様に、ＮＦＣ（Near Field Communication）やＢｌｕｅｔｏｏｔｈ（登録商標）などの規格に基づく無線通信を行うインタフェースである。
The short-
上記構成を有する画像処理システム１は、画像処理装置２で紙詰まりなどのエラーが発生し、携帯端末装置３がエラーを解除するための操作を案内するとき、ユーザーが行うべき操作の種類、又は、ユーザーによる携帯端末装置３の保持状態に応じて、音声による案内と、画像による案内と、を切り替えるように構成される。以下、このような画像処理システム１について更に詳しく説明する。
In the
図４は、画像処理装置２及び携帯端末装置３の機能構成を示すブロック図である。尚、図４では、画像処理装置２においてエラーが発生した場合にそのエラーに関する処理を行うための機能だけを示しており、画像処理装置２が正常動作している場合の機能については図示を省略している。また図４に示すセンサー群１９は、図２に示した紙詰まりセンサー２２、カバー開閉センサー２３、用紙エンプティセンサー３２、トレー開閉センサー３３、紙詰まりセンサー３５、扉開閉センサー３６、トナー残量センサー３８及び扉開閉センサー３９を含むものである。
FIG. 4 is a block diagram showing the functional configurations of the
まず画像処理装置２の制御部１０は、ＣＰＵ１０ａがプログラム１４を実行することにより、エラー検知部６１、操作情報生成部６２、操作判別部６３及び操作情報送信部６４として機能する。
First, the
エラー検知部６１は、センサー群１９に含まれる複数のセンサーのうち、いずれかのセンサーが異常を検知した場合に、その異常をエラーとして検知するものである。例えば紙詰まりセンサー２２，３５が紙詰まりを検知した場合、用紙エンプティセンサー３２が用紙エンプティを検知した場合、或いは、トナー残量センサー３８がトナーエンプティを柄検知した場合、エラー検知部６１は、画像処理装置２においてエラーが発生したことを検知する。エラー検知部６１は、エラーの発生を検知すると、エラー発生を示すアラートを発生させる。これにより、ユーザーは、画像処理装置２においてエラーが発生したことを把握することができる。またエラー検知部６１は、エラーの発生を検知すると、操作情報生成部６２を機能させる。
The
操作情報生成部６２は、エラー検知部６１によってエラーが検知されると、記憶部１３からエラー判別情報１５を読み出して参照することにより、そのエラーを解除するためにユーザーが行うべき操作を特定し、操作情報を生成する。
When an error is detected by the
図５は、エラー判別情報１５の一例を示す図である。例えばエラー判別情報１５は、エラーを検知するセンサーごとに、エラーのタイプを複数のタイプに区別した情報である。またエラー判別情報１５には、図５に示すように、エラーを検知するセンサーごとに、そのエラーを解除するためにユーザーが行うべき操作が定義されている。ユーザーが行うべき操作は、複数のステップからなり、各ステップの操作を順に行っていくことによりエラーを適切に解除することができるようになっている。例えばスキャナ部２０の原稿搬送部２１に設けられた紙詰まりセンサー２２が紙詰まりのエラーを検知した場合の解除操作として、第１ステップ、第２ステップ及び第３ステップの３つのステップが定められており、第１ステップでは、ユーザーがカバーを開放する操作を行い、第２ステップでは、ユーザーがジャム状態の紙を抜き取る操作を行い、第３ステップでは、ユーザーがカバーを閉鎖する操作を行うことが定義されている。また例えばプリンタ部３０の給紙部３１に設けられている一つの用紙エンプティセンサー３２が用紙エンプティのエラーを検知した場合の解除操作として、第１ステップ、第２ステップ、第３ステップ及び第４ステップの４つのステップが定められており、第１ステップでは、ユーザーが扉を開放する操作を行い、第２ステップでは、ユーザーがレバーを持ち上げる操作を行い、第３ステップでは、ユーザーがレバーを持ち上げたままで用紙を抜き取る操作を行い、第４ステップでは、ユーザーが扉を閉鎖する操作を行うことが定義されている。そして図５に示すエラー判別情報１５では、ユーザーが行うべき操作のステップごとに、ユニークな識別情報である操作情報が付与されている。
FIG. 5 is a diagram showing an example of
操作情報生成部６２は、上記のようなエラー判別情報１５を参照することにより、エラーを検出したセンサーに対応する解除操作を、ユーザーが行うべき操作として特定し、その特定した操作の各ステップに定められている操作情報を読み出すことにより、操作情報を生成する。そして操作情報生成部６２は、エラーを検出したセンサーに対応する解除操作に含まれる各ステップの操作情報を操作情報送信部６４へ出力する。
By referring to the
操作情報送信部６４は、エラー検知部６１によってエラーが検知されると、近距離通信インタフェース１６を介して携帯端末装置３と通信可能な状態であるかを監視する。携帯端末装置３と通信可能な状態である場合、操作情報送信部６４は、その携帯端末装置３に対し、画像処理装置２と連携するアプリケーションが起動しているか否かを問い合わせる。携帯端末装置３においてアプリケーションが起動していれば、操作情報送信部６４は、その問い合わせに対する適切な応答を携帯端末装置３のアプリケーションから受信する。これにより、操作情報送信部６４は、通信可能な携帯端末装置３においてアプリケーションが起動していることを把握することができる。操作情報送信部６４は、携帯端末装置３においてアプリケーションが起動していることを検知すると、操作情報生成部６２から出力される操作情報を携帯端末装置３へ送信する。
When an error is detected by the
これに対し、操作情報送信部６４は、通信可能な携帯端末装置３においてアプリケーションが起動していないと判断した場合、携帯端末装置３においてアプリケーションが起動するまで待機する。ただし、これに限られるものではなく、操作情報送信部６４は、携帯端末装置３に対してアプリケーションの起動命令を送信するようにしても良い。これにより、携帯端末装置３においてアプリケーションが自動的に起動される。そして操作情報送信部６４は、携帯端末装置３においてアプリケーションが起動したことを確認した後、操作情報生成部６２から出力される操作情報を携帯端末装置３へ送信する。
On the other hand, when the operation
操作情報送信部６４は、操作情報を携帯端末装置３へ送信するとき、ユーザーが行うべき操作に含まれる複数のステップの操作情報を１つずつ順に携帯端末装置３へ送信する。例えば、エラー検知部６１によってエラーが検知された時には、第１ステップの操作情報を携帯端末装置３へ送信し、その後、ユーザーによる操作が第１ステップから第２ステップへ進行するときに第２ステップの操作情報を送信する。これにより、携帯端末装置３は、ユーザーによる操作の進行に合わせて適切な案内を行うことができるようになる。
When transmitting the operation information to the mobile
操作判別部６３は、センサー群１９に含まれる複数のセンサーの出力を監視し、ユーザーによって行われる解除操作が正しい順序で行われているか否かを判別する処理部である。例えばスキャナ部２０の原稿搬送部２１に設けられた紙詰まりセンサー２２がエラーを検知した場合、ユーザーが行うべき操作の第１ステップは、カバーを開放する操作である。そのため、操作判別部６３は、スキャナ部２０の原稿搬送部２１に設けられたカバー開閉センサー２３の出力を監視し、原稿搬送部２１のカバーが開放されたか否かを判別する。そして原稿搬送部２１のカバーが開放されたことを検知すると、操作判別部６３は、ユーザーによる操作が正しい順序で行われていると判断し、操作情報送信部６４に対してステップの進行を指示する。これに対し、カバー開閉センサー２３がカバーの開放を検知することなく、別の扉開閉センサー３６，３９などが扉の開放を検知した場合、操作判別部６３は、ユーザーによる操作が誤操作であると判断する。この場合、操作判別部６３は、操作情報送信部６４に対して誤操作情報を出力する。また操作判別部６３は、誤操作を検知した場合、誤操作を示すアラートを発生させると共に、操作パネル１１の表示部１１ａに誤操作である旨を表示させるようにしても良い。
The
操作情報送信部６４は、操作判別部６３からステップの進行が指示された場合、ユーザーが行うべき操作に次のステップがあれば、次のステップに対応する操作情報を携帯端末装置３へ送信する。これに対し、次のステップに対応する操作情報が存在せず、全てのステップが終了したと判断すると、操作情報送信部６４は、携帯端末装置３に対してエラー解除通知を送信する。これにより、携帯端末装置３において起動しているアプリケーションは、画像処理装置２との連携処理を終了させることができる。
When the
また操作情報送信部６４は、操作判別部６３から誤操作情報を取得した場合、その誤操作情報を携帯端末装置３へ送信する。これにより、携帯端末装置３は、ユーザーに対して誤操作を行ったことを報知することができる。
Further, when the operation
次に携帯端末装置３は、ＣＰＵ４０ａがプログラム４７を実行することにより制御部４０において画像処理装置２と連携するアプリケーションを起動させると、制御部４０は、操作情報受信部７１、案内方法判別部７２及び操作案内部７３として機能する。尚、制御部４０のＣＰＵ４０ａは、ユーザーによる起動指示に基づいてプログラム４７を実行するものであっても良いし、画像処理装置２から送信されるアプリケーションの起動命令に基づいてプログラム４７を自動的に実行するものであっても良い。例えば画像処理装置２においてエラーの発生が検知されると、画像処理装置２からアラートが発せられる。そのため、ユーザーは、画像処理装置２から発せられるアラートによってエラーの発生を把握することができ、アプリケーションを手動で起動させることもできる。
Next, when the mobile
操作情報受信部７１は、近距離通信インタフェース５０を介して画像処理装置２と通信を行うものである。まずアプリケーションが起動すると、操作情報受信部７１は、画像処理装置２に対してアプリケーションの起動を通知する。これにより、画像処理装置２は、携帯端末装置３においてアプリケーションが起動したことを把握することができる。その後、操作情報受信部７１は、画像処理装置２から送信される操作情報を受信する。操作情報受信部７１は、エラーを解除するためにユーザーが行うべき操作に関する操作情報を受信する都度、その操作情報を案内方法判別部７２へ出力する。また操作情報受信部７１は、画像処理装置２から誤操作情報やエラー解除通知を受信した場合にも、それらを案内方法判別部７２へ出力する。
The operation
案内方法判別部７２は、ユーザーが行うべき操作を案内するとき、音声による案内と、画像による案内とのいずれの方法で案内を行うかを判別する処理部である。案内方法判別部７２は、操作情報受信部７１が操作情報を受信すると、まず操作案内登録情報４８を参照し、ユーザーが行うべき操作の種類を判別する。
The guidance
図６は、操作案内登録情報４８の一例を示す図である。図６に示すように、操作案内登録情報４８は、画像処理装置２から受信するステップごとの操作情報４８ａと、画像による案内を行うための画像データ４８ｂと、音声による案内を行うための音声データ４８ｃと、ユーザーが行うべき操作として両手操作が必要であるか否かを示す両手操作情報４８ｄとのそれぞれを互いに対応付けて登録された情報である。ステップごとの操作情報４８ａに対応付けられる画像データ４８ｂは、当該ステップに対応する操作を画像表示でユーザーに案内するための動画データであり、一定のフレームレートで逐次画像が更新されるデータである。またステップごとの操作情報４８ａに対応付けられる音声データ４８ｃは、当該ステップに対応する操作を音声出力でユーザーに案内するための音声データであり、時系列の音声信号が記録されたデータである。両手操作情報４８ｄは、当該ステップにおける操作をユーザーが両手で行うことが必要か否かを判別するための情報であり、ユーザーが片手で操作を行うことができる場合には「不要」が記録されている。
FIG. 6 is a diagram showing an example of the operation
図６に示す操作案内登録情報４８では、操作情報４８ａが「Ｃ００２」、「Ｄ００２」、「Ｄ００３」、「Ｅ００２」、「Ｅ００３」、「Ｆ００２」及び「Ｆ００３」である場合に、両手操作が必要であることが記録されている。
In the operation
ここで、図５を参照すると、操作情報「Ｃ００２」のステップに対応する操作は、Ａ３サイズの用紙を補給する操作である。これに対し、「Ｂ００２」のステップに対応するＡ４サイズの用紙を補給する操作の場合には、図６を参照すると、両手操作が不要であることが記録されている。つまり、図６に示す操作案内登録情報４８では、ユーザーが行うべき操作が両手で保持することが必要な所定サイズ以上の用紙を補給する操作である場合に両手で操作を行う必要のある操作であることが登録されている。
Here, referring to FIG. 5, the operation corresponding to the step of the operation information “C002” is an operation of replenishing A3 size paper. On the other hand, in the case of the operation of replenishing the A4 size paper corresponding to the step of "B002", referring to FIG. 6, it is recorded that the two-handed operation is unnecessary. That is, in the operation
また図５を参照すると、操作情報「Ｄ００２」及び「Ｄ００３」のステップに対応する操作は、レバーを持ち上げた後、そのレバーを持ち上げた状態のままで用紙を抜き取る操作である。つまり、図６に示す操作案内登録情報４８では、ユーザーが行うべき操作が一方の手でレバーを操作しながら他方の手で紙を取り出す操作である場合に両手で行う必要のある操作であることが登録されている。
Further, referring to FIG. 5, the operation corresponding to the steps of the operation information “D002” and “D003” is an operation of lifting the lever and then removing the paper with the lever lifted. That is, in the operation
また図５を参照すると、操作情報「Ｅ００２」及び「Ｅ００３」のステップに対応する操作は、ローラーを回転させつつ、用紙を抜き取る操作である。つまり、図６に示す操作案内登録情報４８では、ユーザーが行うべき操作が一方の手でローラーを手動回転させながら他方の手で紙を取り出す操作である場合に両手で行う必要のある操作であることが登録されている。
Further, referring to FIG. 5, the operation corresponding to the steps of the operation information “E002” and “E003” is an operation of removing the paper while rotating the roller. That is, the operation
さらに図５を参照すると、操作情報「Ｆ００２」及び「Ｆ００３」のステップに対応する操作は、トナーを交換する操作である。つまり、図６に示す操作案内登録情報４８では、両手で保持することが必要なトナーを交換する操作である場合に両手で行う必要のある操作であることが登録されている。
Further referring to FIG. 5, the operation corresponding to the steps of the operation information “F002” and “F003” is an operation of replacing the toner. That is, in the operation
図７は、操作案内登録情報４８に登録される画像データ４８ｂの一例を示す図である。尚、図７では、用紙エンプティセンサー３２（図５に示す「用紙エンプティセンサー１」）がエラーを検知した場合の各ステップの画像データ４８ｂを例示している。図７（ａ）は第１ステップの操作をユーザーに画像で案内するときの画像データ４８ｂを示している。第１ステップにおいてユーザーが行うべき操作は、トレー１を開放する操作であるため、図７（ａ）に示すように第１ステップに対応する画像データ４８ｂにはトレー１を開放する動画が記録されている。図７（ｂ）は第２ステップの操作をユーザーに画像で案内するときの画像データ４８ｂを示している。第２ステップにおいてユーザーが行うべき操作は、Ａ４サイズの用紙をトレー１に補給する操作であるため、図７（ｂ）に示すように第２ステップに対応する画像データ４８ｂにはＡ４サイズの用紙を補給する動画が記録されている。図７（ｃ）は第３ステップの操作をユーザーに画像で案内するときの画像データ４８ｂを示している。第３ステップにおいてユーザーが行うべき操作は、トレー１を閉鎖する操作であるため、図７（ｃ）に示すように第３ステップに対応する画像データ４８ｂにはトレー１を閉鎖する動画が記録されている。
FIG. 7 is a diagram showing an example of
図８は、操作案内登録情報４８に登録される音声データ４８ｃの一例を示す図である。尚、図８では、図７と同様に、用紙エンプティセンサー３２（図５に示す「用紙エンプティセンサー１」）がエラーを検知した場合の各ステップの音声データ４８ｃを例示している。図８（ａ）は第１ステップの操作をユーザーに画像で案内するときの音声データ４８ｃを示している。第１ステップにおいてユーザーが行うべき操作は、トレー１を開放する操作であるため、図８（ａ）に示すように第１ステップに対応する音声データ４８ｃが再生されると、携帯端末装置３から「トレー１を開放してください」という音声が出力される。図８（ｂ）は第２ステップの操作をユーザーに画像で案内するときの音声データ４８ｃを示している。第２ステップにおいてユーザーが行うべき操作は、Ａ４サイズの用紙をトレー１に補給する操作であるため、図８（ｂ）に示すように第２ステップに対応する音声データ４８ｃが再生されると、携帯端末装置３から「Ａ４用紙を補給してください」という音声が出力される。図８（ｃ）は第３ステップの操作をユーザーに画像で案内するときの音声データ４８ｃを示している。第３ステップにおいてユーザーが行うべき操作は、トレー１を閉鎖する操作であるため、図８（ｃ）に示すように第３ステップに対応する音声データ４８ｃが再生されると、携帯端末装置３から「トレー１を閉じてください」という音声が出力される。ただし、このような音声による案内は、画像による案内に比べて、トレー１の位置をユーザーが正確に把握することが難しい案内となる。
FIG. 8 is a diagram showing an example of
このように操作案内登録情報４８には、ユーザーが行うべき操作のステップごとに、画像による案内を行うための画像データ４８ｂと、音声による案内を行うための音声データ４８ｃとが予め登録されている。尚、画像データ４８ｂは、音声データ４８ｃと同様の音声を含むデータであっても構わない。ただし、画像データ４８ｂに基づく動画を表示するときに音声を同時に出力するようにすると、ＣＰＵ４０ａには動画表示のための負荷と音声再生のための負荷とが同時にかかることになり、携帯端末装置３の電力消費量が高くなる。これを抑制するためには、画像データ４８ｂを、音声を含まないデータで構成することが好ましい。
In this way, in the operation
案内方法判別部７２は、上記のような操作案内登録情報４８を参照することにより、画像処理装置２から受信した操作情報に対応するステップにおいてユーザーが両手操作を行う必要があるか否かを判別する。エラーを解除するために両手操作を行うことが必要な場合、ユーザーは携帯端末装置３を片手に持った状態で操作を行うことができない。そのため、携帯端末装置３の表示部４１に画像データ４８ｂに基づく画像による案内を表示したとしても、ユーザーは、画像による案内を見ることができない。そこで案内方法判別部７２は、両手操作を行うことが必要な場合、音声による案内を行うことを決定する。
The guidance
これに対し、片手で操作を行うことが可能な場合、ユーザーは携帯端末装置３を一方の手に持った状態で他方の手で操作を行うことができる。つまり、片手で操作を行うことが可能な場合、ユーザーは、画像による案内を見ながら操作を進めることができる。そこで案内方法判別部７２は、画像処理装置２から受信した操作情報に対応するステップにおいてユーザーが片手で操作を行うことが可能な場合、画像による案内を行うことを決定する。
On the other hand, when the operation can be performed with one hand, the user can perform the operation with the other hand while holding the mobile
案内方法判別部７２は、画像処理装置２から操作情報を受信する都度、上記のような判別処理を行う。すなわち、案内方法判別部７２は、ユーザーが行うべき操作に含まれるステップごとに、音声による案内と、画像による案内とのいずれの方法で案内を行うかを決定する。
The guidance
また案内方法判別部７２は、画像認識部８１、操作検知部８２、音声認識部８３及び加速度判定部８４を備えている。そして案内方法判別部７２は、画像認識部８１、操作検知部８２、音声認識部８３及び加速度判定部８４のそれぞれの検知結果に基づいて音声による案内と画像による案内との切り替えを行うことができるように構成される。
Further, the guidance
画像認識部８１は、撮像部４５を駆動して表示部４１の正面側を撮影した撮影画像を取得し、その撮影画像にユーザーの顔画像が含まれるか否かを認識する処理部である。例えば画像認識部８１は、携帯端末装置３においてアプリケーションが起動し、画像処理装置２との連携動作を行っている状態のときに、一定周期で撮像部４５を駆動し、撮影画像を一定周期で取得する。そして画像認識部８１は、撮像部４５から撮影画像を取得する度に、その撮影画像にユーザーの顔画像が含まれているか否かを認識する。このような画像認識を一定周期間隔で行うことにより、ユーザーが表示部４１を視認しているか否かを逐次判定することができるようになる。
The image recognition unit 81 is a processing unit that drives the
画像認識部８１によって撮影画像にユーザーの顔画像が含まれると判定された場合、案内方法判別部７２は、画像による案内を行うことを決定する。つまり、ユーザーが行うべき操作が両手で行うことが必要な操作であっても、ユーザーが表示部４１を視認している可能性があれば、画像による案内を行うことを決定するのである。
When the image recognition unit 81 determines that the captured image includes the user's face image, the guidance
これに対し、画像認識部８１によって撮影画像にユーザーの顔画像が含まれないと判定された場合、案内方法判別部７２は、音声による案内を行うことを決定する。つまり、ユーザーが行うべき操作が片手で行うことが可能な操作であっても、ユーザーが表示部４１を視認していないのであれば、画像による案内を行う必要がなく、寧ろ音声による案内を行うことが好ましいため、音声による案内を行うことを決定するのである。ただし、操作案内登録情報４８を参照して決定される案内方法が画像による案内であった場合には、撮影画像にユーザーの顔画像が含まれるか否かを判定することなく、画像による案内を行うようにしても良い。なぜなら、音声による案内よりも画像による案内の方がユーザーにとって分かり易いからである。
On the other hand, when the image recognition unit 81 determines that the captured image does not include the user's face image, the guidance
操作検知部８２は、操作部４２に対するユーザーの操作を検知する。操作検知部８２が検知するユーザーの操作には、画像による案内を音声による案内に切り替える操作、音声による案内を画像による案内に切り替える操作、音声又は画像による案内を一時停止させる操作、音声又は画像による案内を再生させる操作などが含まれる。案内方法判別部７２は、操作検知部８２によってそれらの操作が検知された場合には、ユーザーの操作に応じた処理を行う。
The
音声認識部８３は、マイクから出力される音声信号に基づいてユーザーの音声を認識することにより、携帯端末装置３に対するユーザーの音声による操作を検知する。音声認識部８３が検知するユーザーの音声による操作には、上記と同様に、画像による案内を音声による案内に切り替える操作、音声による案内を画像による案内に切り替える操作、音声又は画像による案内を一時停止させる操作、音声又は画像による案内を再生させる操作などが含まれる。そして案内方法判別部７２は、音声認識部８３によってそれらの操作が検知された場合には、ユーザーの音声による操作に応じた処理を行う。
The
加速度判定部８４は、加速度センサー４９の出力を監視し、加速度センサー４９が加速度を検知している状態であるか否かを判定する。上述したように、加速度センサー４９は、ユーザーが携帯端末装置３を所持しているときにはユーザーの動作に伴う加速度を検知するのに対し、ユーザーが携帯端末装置３を所持していないときには加速度を検知しない。そのため、加速度センサー４９が加速度を検知している状態であれば、ユーザーが携帯端末装置３を持った状態で表示部４１を視認している可能性があると言える。そこで加速度判定部８４は、加速度センサー４９からの出力に基づき、ユーザーが表示部４１を視認している可能性があるか否かを判定するのである。
The
加速度判定部８４によって加速度が検知されている状態であると判定された場合、案内方法判別部７２は、画像による案内を行うことを決定する。つまり、ユーザーが行うべき操作が両手で行うことが必要な操作であっても、ユーザーが表示部４１を視認している可能性があれば、画像による案内を行うことを決定するのである。
When it is determined that the acceleration is detected by the
これに対し、加速度判定部８４によって加速度が検知されていない状態であると判定された場合、案内方法判別部７２は、音声による案内を行うことを決定する。つまり、ユーザーが行うべき操作が片手で行うことが可能な操作であっても、ユーザーが表示部４１を視認していないのであれば、画像による案内を行う必要がなく、寧ろ音声による案内を行うことが好ましいため、音声による案内を行うことを決定するのである。ただし、操作案内登録情報４８を参照して決定される案内方法が画像による案内であった場合には、加速度が検知されている状態であるか否かを判定することなく、画像による案内を行うようにしても良い。なぜなら、音声による案内よりも画像による案内の方がユーザーにとって分かり易いからである。
On the other hand, when the
上記のように案内方法判別部７２は、画像認識部８１及び加速度判定部８４のそれぞれの判定結果に基づいて音声による案内と画像による案内とを切り替えることが可能である。そのため、案内方法判別部７２は、ユーザーによる携帯端末装置３の保持状態又はユーザーによる携帯端末装置３の視認状態に応じて音声による案内と画像による案内とを切り替えることが可能である。また案内方法判別部７２において、画像認識部８１及び加速度判定部８４のいずれの判定結果を優先的に採用して案内方法を切り替えるかについては任意である。
As described above, the guidance
操作案内部７３は、案内方法判別部７２によって決定される案内方法に基づき、ユーザーが行うべき操作の案内処理を行うものである。この操作案内部７３は、音声案内部７４と、画像案内部７５とを備えており、案内方法判別部７２の決定結果に基づき音声案内部７４及び画像案内部７５を択一的に動作させる。
The
音声案内部７４は、音声による案内を行う処理部であり、画像処理装置２から受信した操作情報に対応するステップの音声データ４８ｃを読み出し、その音声データ４８ｃに基づいてスピーカー４４を駆動することにより、スピーカー４４から音声による案内を出力させる。すなわち、音声案内部７４は、音声データ４８ｃに基づく音声再生処理をＣＰＵ４０ａに行わせることにより、音声に基づく案内をスピーカー４４から出力させるのである。また音声案内部７４は、案内方法判別部７２から音声による案内の一時停止や再生が指示された場合には、案内方法判別部７２からの指示に基づいて音声による案内を一時停止させたり、再生したりする。
The
音声案内部７４によって音声による案内が行われているとき、操作案内部７３は、表示部４１に供給する電源をオフにしても良い。この場合において、操作部４２がユーザーの操作を検知した場合、或いは、マイク４３がユーザーの音声を検知した場合に、操作案内部７３は、表示部４１に対し、音声による案内を画像による案内に切り替える操作、音声による案内を一時停止させる操作、音声による案内を再生させる操作などを行うことが可能な画面を表示させることが好ましい。
When the
画像案内部７５は、画像による案内を行う処理部であり、画像処理装置２から受信した操作情報に対応するステップの画像データ４８ｂを読み出し、その画像データ４８ｂに基づいて表示部４１に動画像を表示させる。すなわち、画像案内部７５は、画像データ４８ｂに基づく動画再生処理をＣＰＵ４０ａに行わせることにより、画像に基づく案内を表示部４１に表示させるのである。また画像案内部７５は、案内方法判別部７２から画像による案内の一時停止や再生が指示された場合には、案内方法判別部７２からの指示に基づいて画像による案内を一時停止させたり、再生したりする。尚、音声案内部７４によって音声による案内が行われているとき、操作案内部７３は、スピーカー４４を駆動しないようにしても良い。
The
また案内方法判別部７２は、操作案内部７３の音声案内部７４を動作させることによって音声による案内を行わせているときに画像処理装置２から誤操作情報を受信した場合、操作案内部７３に対して音声による案内を画像による案内に切り替えることをユーザーに促すように指示をする。そして操作案内部７３は、音声案内部７４を制御し、音声による案内を画像による案内に切り替えることを促す音声をスピーカー４４から出力させる。これにより、ユーザーは、手動操作で音声による案内を画像による案内に切り替えて画像による案内を視認するため、正しい操作内容を容易に把握することができるようになる。
Further, when the guidance
また案内方法判別部７２は、操作案内部７３に音声による案内を行わせている状態において、ユーザーが操作に手間取っていると判断した場合にも、操作案内部７３に対して音声による案内を画像による案内に切り替えることをユーザーに促すように指示をする。ユーザーが操作に手間取っているか否かの判断は、例えば音声案内部７４が音声による案内を行ってから所定時間が経過したときに、操作情報受信部７１が次のステップに対応する操作情報を受信しているか否かを判断することによって行われる。そしてユーザーが操作に手間取っていると判断されると、操作案内部７３は、音声案内部７４を制御し、音声による案内を画像による案内に切り替えることを促す音声をスピーカー４４から出力させる。これにより、ユーザーは、手動操作で音声による案内を画像による案内に切り替えて画像による案内を視認するため、エラーを解除するための正しい操作内容を速やかに把握することができるようになる。
Further, the guidance
また案内方法判別部７２は、画像処理装置２から受信した操作情報に基づいて音声による案内を行うことを決定した場合、操作案内部７３に音声による案内を行わせる前に、画像による案内を行わせるようにしても良い。音声による案内は画像による案内よりも操作位置などを特定することが難しいため、音声による案内を行う前に、ユーザーに画像による案内を見せておくことでユーザーが操作位置などを特定し易くなるという利点がある。
Further, when the guidance
さらに案内方法判別部７２は、音声による案内を行っているときに、画像認識部８１によってユーザーの顔画像が認識された場合、或いは、加速度判定部８４によって加速度が検知された場合、そのタイミングで案内方法を音声による案内から画像による案内に切り替えるようにしても良い。
Further, when the guidance
次に図９は、画像処理装置２でエラーが発生した場合に画像処理装置２及び携帯端末装置３が互いに連携しながら行うプロセスの流れを示す図である。図９に示すように、画像処理装置２は、エラーを検知すると（プロセスＰ１）、まずエラーが発生したことを報知する（プロセスＰ２）これにより、画像処理装置２の近傍に居るユーザーは、画像処理装置２においてエラーが発生したことを把握することができる。そして携帯端末装置３は、ユーザーによるアプリケーションの起動指示に基づいてアプリケーションを起動させる（プロセスＰ３）。ただし、これに限らず、尚、携帯端末装置３は、画像処理装置２からの命令に基づいてアプリケーションを自動起動させるものであっても構わない。
Next, FIG. 9 is a diagram showing a flow of a process performed by the
画像処理装置２は、エラーを報知すると、そのエラーを解除するためにユーザーが行うべき解除操作を特定する（ステップＳ４）。そして画像処理装置２は、その解除操作に含まれる複数のステップのうちからユーザーが最初に行うべきステップの操作情報Ｄ１０を生成し（ステップＳ５）、その操作情報Ｄ１０を携帯端末装置３へ送信する（プロセスＰ６）。
When the
携帯端末装置３は、画像処理装置２から送信される操作情報Ｄ１０を受信すると（プロセスＰ７）、ユーザーに対する解除操作の案内方法を判別する（プロセスＰ８）。このとき、携帯端末装置３は、画像処理装置２から受信した操作情報Ｄ１０に対応するステップにおいてユーザーが行うべき操作が両手操作であるか否か、撮像部４５によって撮影された撮影画像にユーザーの顔画像が含まれるか否か、又は、加速度センサー４９によって加速度が検知されているか否かに応じて、音声による案内と画像による案内とのいずれか一方を決定する。そして携帯端末装置３は、プロセスＰ８における判別結果に基づき、音声による案内と画像による案内とのいずれか一方でエラーを解除するための操作を案内する（プロセスＰ９）。
When the mobile
その後、画像処理装置２は、センサー群１９から得られる情報に基づき、ユーザーが行うべき操作のステップが進行したことを検知すると（プロセスＰ１０）、次のステップに対応する操作情報Ｄ１１を生成し、その操作情報Ｄ１１を携帯端末装置３へ送信する（プロセスＰ１１）。また携帯端末装置３は、画像処理装置２から送信される次のステップの操作情報Ｄ１１を受信すると（プロセスＰ１２）、上記と同様に、ユーザーに対する解除操作の案内方法を判別し（プロセスＰ１３）、その判別結果に基づいて、音声による案内と画像による案内とのいずれか一方でエラーを解除するための操作を案内する（プロセスＰ１４）。以後、画像処理装置２においてエラーが解除されたと判定されるまで、同様の処理が繰り返される。
After that, when the
次に画像処理装置２において行われる処理について説明する。図１０は、画像処理装置２において行われる処理手順の一例を示すフローチャートである。この処理は、画像処理装置２においてエラーが検知されることに伴って開始される。画像処理装置２は、この処理を開始すると、まずエラーを検知したセンサーを特定する（ステップＳ１０）。センサーを特定することができると、画像処理装置２は、エラー判別情報１５を参照し（ステップＳ１１）、ユーザーが行うべき解除操作を特定する（ステップＳ１２）。そして画像処理装置２は、特定した解除操作に含まれる複数のステップのうちからユーザーが行うべきステップを特定し、その特定したステップに対応する操作情報を生成して携帯端末装置３へ送信する（ステップＳ１３，Ｓ１４）。
Next, the processing performed in the
その後、画像処理装置２は、センサー群１９に含まれる各センサーの出力を監視し、ユーザーによる操作が行われたことを検知するまで待機する（ステップＳ１５）。ユーザーによる操作が行われたことを検知した場合（ステップＳ１５でＹＥＳ）、画像処理装置２は、センサー群１９から得られる情報に基づいてユーザーによって行われた操作が正しい操作であるか否かを判別する（ステップＳ１６）。その結果、ユーザーによって行われた操作が正しい操作ではなかった場合（ステップＳ１６でＮＯ）、画像処理装置２は、誤操作情報を携帯端末装置３へ送信する（ステップＳ１７）。これに対し、ユーザーによって行われた操作が正しい操作であった場合（ステップＳ１６でＹＥＳ）、画像処理装置２は、ユーザーが行うべき解除操作に次のステップが存在するか否かを判別し（ステップＳ１８）、次のステップが存在すれば（ステップＳ１８でＹＥＳ）、ステップＳ１３に戻って上述した処理を繰り返す。これに対し、次のステップが存在しない場合（ステップＳ１８でＮＯ）、画像処理装置２は、エラーが解除されたと判断し、エラー解除通知を携帯端末装置３へ送信する（ステップＳ１９）。以上で、画像処理装置２における処理が終了する。
After that, the
次に携帯端末装置３において行われる処理について説明する。図１１は、携帯端末装置３において行われる主たる処理手順の一例を示すフローチャートである。この処理は、携帯端末装置３において画像処理装置２と連携するアプリケーションが起動することによって開始される。携帯端末装置３は、この処理を開始すると、まず操作案内登録情報４８を読み出す（ステップＳ２０）。そして携帯端末装置３は、画像処理装置２から操作情報を受信するまで待機する状態となる（ステップＳ２１）。
Next, the processing performed in the mobile
画像処理装置２から操作情報を受信すると（ステップＳ２１でＹＥＳ）、携帯端末装置３は、操作案内登録情報４８を参照し（ステップＳ２２）、今回のステップでユーザーが行うべき操作が両手で行うことが必要な操作であるか否かを判断する（ステップＳ２３）。その結果、片手で行うことが可能な操作である場合（ステップＳ２３でＮＯ）、携帯端末装置３は、案内方法として、画像による案内を決定する。これに対し、両手で行うことが必要な操作である場合（ステップＳ２３でＹＥＳ）、携帯端末装置３は、撮像部４５を駆動し（ステップＳ２４）、撮影画像を取得する（ステップＳ２５）。そして携帯端末装置３は、撮影画像にユーザーの顔画像が含まれているか否かを判断し（ステップＳ２６）、ユーザーの顔画像が含まれていなければ（ステップＳ２６でＮＯ）、更に加速度センサー４９が加速度を検知中であるか否かを判断する（ステップＳ２７）。そして加速度センサー４９が加速度を検知していない場合（ステップＳ２７でＮＯ）、携帯端末装置３は、案内方法として、音声による案内を決定する。尚、撮影画像にユーザーの顔画像が含まれている場合（ステップＳ２６でＹＥＳ）、或いは、加速度センサー４９が加速度を検知中である場合（ステップＳ２７でＹＥＳ）、携帯端末装置３は、案内方法として、画像による案内を決定する。
When the operation information is received from the image processing device 2 (YES in step S21), the mobile
携帯端末装置３は、音声による案内を決定した場合、今回のステップに対応する音声データ４８ｃを読み出し（ステップＳ２８）、その音声データ４８ｃに基づく再生処理を開始することにより音声による案内を開始する（ステップＳ２９）。そして携帯端末装置３は、音声による案内を開始することに伴い、時間計測を開始する（ステップＳ３０）。
When the mobile
また携帯端末装置３は、画像による案内を決定した場合、今回のステップに対応する画像データ４８ｂを読み出し（ステップＳ３１）、その画像データ４８ｂに基づく動画再生処理を開始することにより画像による案内を開始する（ステップＳ３２）。
Further, when the mobile
携帯端末装置３は、音声又は画像による案内を開始すると、操作案内処理を行う（ステップＳ３３）。図１２は、この操作案内処理（ステップＳ３３）の詳細な処理手順の一例を示すフローチャートである。携帯端末装置３は、図１２に示す処理を開始すると、まず音声による案内を実行中であるか否かを判断する（ステップＳ４０）。尚、ここでは、音声による案内が行われた後、次のステップに進んでいない状態であっても、ＹＥＳと判断される。音声による案内が行われている場合（ステップＳ４０でＹＥＳ）、携帯端末装置３は、ステップＳ３０で計測を開始した時間が所定時間を経過したか否かを判断し（ステップＳ４１）、所定時間を経過していれば（ステップＳ４１でＹＥＳ）、ユーザーに対し、音声による案内を画像による案内に切り替えることを促す処理を行う（ステップＳ４２）。ここで、所定時間は、例えば３〜５分程度の時間であり、ユーザーが解除操作に手間取っていると判断するのに十分な時間が予め設定される。これに対し、音声による案内が行われていない場合（ステップＳ４０でＮＯ）、又は、所定時間が経過していない場合（ステップＳ４１でＮＯ）、ステップＳ４２の処理は行われずにスキップする。
When the mobile
次に携帯端末装置３は、画像処理装置２から誤操作情報を受信したか否かを判断する（ステップＳ４３）。誤操作情報を受信した場合（ステップＳ４３でＹＥＳ）、携帯端末装置３は、ユーザーに対して誤操作を報知する（ステップＳ４４）。この報知は、例えば携帯端末装置３のスピーカー４４から警告音を発生させることにより行われる。そして携帯端末装置３は、ステップＳ４０と同様に音声による案内を行っているか否かを判断し（ステップＳ４５）、音声による案内が行われていれば（ステップＳ４５でＹＥＳ）、ユーザーに対し、音声による案内を画像による案内に切り替えることを促す処理を行う（ステップＳ４６）。また音声による案内が行われておらず、画像による案内が行われている場合（ステップＳ４５でＮＯ）、携帯端末装置３は、再び画像による案内をはじめから再生する（ステップＳ４７）。これにより、ユーザーは、画像による案内を確認しながら、正しい操作を行うことができるようになる。尚、誤操作情報を受信していない場合（ステップＳ４３でＮＯ）、ステップＳ４４〜Ｓ４７の処理は行われずにスキップする。
Next, the mobile
次に携帯端末装置３は、ユーザーの手動又は音声による指示を検知したか否かを判断する（ステップＳ４８）。ユーザーの指示を検知した場合（ステップＳ４８でＹＥＳ）、携帯端末装置３は、ユーザーの指示が一時停止であるか否かを判断し（ステップＳ４９）、一時停止であれば（ステップＳ４９でＹＥＳ）、音声又は画像による案内の一時停止処理を行う（ステップＳ５０）。またユーザーの指示が一時停止でなかった場合（ステップＳ４９でＮＯ）、音声又は画像による案内の再生指示であるか否かを判断し（ステップＳ５１）、再生指示であれば（ステップＳ５１でＹＥＳ）、音声又は画像による案内の再生処理を行う（ステップＳ５２）。さらにユーザーの指示が再生指示でもなかった場合（ステップＳ５１でＮＯ）、案内方法の切り替え指示であるか否かを判断し（ステップＳ５３）、案内方法の切り替え指示であれば（ステップＳ５３でＹＥＳ）、案内方法切り替え処理を行う（ステップＳ５４）。この案内方法切り替え処理では、携帯端末装置３は、音声による案内を画像による案内に切り替える処理を行ったり、また画像による案内を音声による案内に切り替える処理を行ったりする。つまり、ユーザーは、自身の操作で案内方法の切り替えを行うこともできるのである。尚、ユーザーの指示が案内方法の切り替え指示でもなかった場合（ステップＳ５３でＮＯ）、ステップＳ５４の処理は行われずにスキップする。この場合、その他のユーザーの指示に応じた処理を行うようにしても良い。またユーザーの手動又は音声による指示を検知していない場合（ステップＳ４８でＮＯ）も、上述した各処理をスキップする。以上で、操作案内処理（ステップＳ３３）が終了する。
Next, the mobile
図１１のフローチャートに戻り、携帯端末装置３は、操作案内処理（ステップＳ３３）を行った後、画像処理装置２からエラー解除通知を受信したか否かを判断する（ステップＳ３４）。エラー解除通知を受信していない場合には（ステップＳ３４でＮＯ）、更に次のステップに対応する操作情報を受信したか否かを判断する（ステップＳ３５）。そして次のステップに対応する操作情報を受信していない場合（ステップＳ３５でＮＯ）、携帯端末装置３による処理はステップＳ３３に戻り、上述した処理を繰り返す。また次のステップに対応する操作情報を受信した場合（ステップＳ３５でＹＥＳ）、携帯端末装置３による処理はステップＳ２２に戻り、上述した処理を繰り返す。さらに画像処理装置２からエラー通知を受信した場合（ステップＳ３４でＹＥＳ）、携帯端末装置３において起動しているアプリケーションによる処理は終了する。
Returning to the flowchart of FIG. 11, the mobile
上述したように本実施形態の携帯端末装置３は、画像処理装置２においてエラーが発生した場合に、画像処理装置２から送信される操作情報を受信し、その操作情報に基づいて、エラーを解除するためにユーザーが行うべき操作を音声又は画像で案内する構成である。そして携帯端末装置３は、ユーザーが行うべき操作の種類、又は、ユーザーによる携帯端末装置３の保持状態に応じて、音声による案内と画像による案内とを切り替えるように構成されている。したがって、本実施形態の携帯端末装置３は、従来のように音声と画像との双方でユーザーが行うべき操作を案内するものではなく、ユーザーが行うべき操作の種類やユーザーの保持状態などに応じて音声による案内と画像による案内とを択一的に切り替えることが可能であり、ＣＰＵ４０ａに同時にかかる負荷を低減することができ、携帯端末装置３の電力消費量を低く抑えることができるようになる。
As described above, the mobile
以上、本発明に関する一実施形態について説明したが、本発明は、上記実施形態において説明した内容のものに限られるものではなく、種々の変形例が適用可能である。 Although one embodiment of the present invention has been described above, the present invention is not limited to the contents described in the above-described embodiment, and various modifications can be applied.
例えば上記実施形態において説明した画像処理装置２のエラーは、単なる一例である。したがって、画像処理装置２において発生するエラーには、上述したエラー以外のものが含まれていても構わない。
For example, the error of the
また上記実施形態では、携帯端末装置３において、ユーザーが行うべき操作が、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する処理を行う場合を例示した。しかし、この判別処理は、画像処理装置２で行うようにしても良い。すなわち、画像処理装置２は、エラーを解除するためにユーザーが行うべき操作が、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する判別手段を備えており、その判別手段による判別結果を操作情報と共に携帯端末装置３へ送信するように構成すれば良い。このような構成すれば、携帯端末装置３においてユーザーが行うべき操作が、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別する処理を行う必要がなくなるという利点がある。
Further, in the above embodiment, when the mobile
また上記実施形態では、携帯端末装置３がユーザーによって占有的に所持されるスマートフォンやタブレット端末、パーソナルコンピュータなどで構成される場合を例示した。しかし、携帯端末装置３は、必ずしもユーザーによって占有的に所持される装置でなくても構わない。例えば、画像処理装置２の操作パネル１１が、画像処理装置２の装置本体に対して着脱可能な場合には、画像処理装置２の装置本体から取り外した操作パネル１１が上述した携帯端末装置３として機能するものであっても構わない。
Further, in the above embodiment, a case where the mobile
１ 画像処理システム
２ 画像処理装置
３ 携帯端末装置
４５ 撮像部（撮像手段）
４９ 加速度センサー
６１ エラー検知部（エラー検知手段）
６２ 操作情報生成部（操作情報生成手段）
６３ 操作判別部（操作判別手段）
６４ 操作情報送信部（操作情報送信手段）
７１ 操作情報受信部（操作情報受信手段）
７２ 案内方法判別部（判別手段）
７３ 操作案内部（案内手段）
８１ 画像認識部（画像認識手段）
1
49
62 Operation information generation unit (operation information generation means)
63 Operation discriminating unit (operation discriminating means)
64 Operation information transmission unit (operation information transmission means)
71 Operation information receiving unit (operation information receiving means)
72 Guidance method discrimination unit (discrimination means)
73 Operation guide (guidance means)
81 Image recognition unit (image recognition means)
Claims (26)
前記画像処理装置は、
前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、
前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を生成する操作情報生成手段と、
前記操作情報生成手段によって生成される操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、
前記携帯端末装置は、
前記操作情報送信手段によって送信される操作情報を受信する操作情報受信手段と、
前記操作情報受信手段によって受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する案内手段と、を備え、
前記案内手段は、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とする画像処理システム。 An image processing system capable of short-range communication between an image processing device and a mobile terminal device.
The image processing device is
An error detecting means for detecting the occurrence of an error in the image processing device, and
An operation information generating means that identifies an operation to be performed by the user in order to cancel an error detected by the error detecting means and generates operation information related to the operation.
The operation information transmitting means for transmitting the operation information generated by the operation information generating means to the mobile terminal device is provided.
The mobile terminal device is
An operation information receiving means for receiving the operation information transmitted by the operation information transmitting means, and an operation information receiving means.
A guidance means for guiding an operation to be performed by the user by voice or an image based on the operation information received by the operation information receiving means is provided.
The guidance means is an image processing system characterized by switching between voice guidance and image guidance according to the type of operation to be performed by the user or the holding state of the mobile terminal device by the user.
前記案内手段は、前記判別手段による判別結果に基づいて音声による案内と画像による案内とを切り替えることを特徴とする請求項２に記載の画像処理システム。 The image processing device determines whether the operation to be performed by the user specified by the operation information generating means is an operation that needs to be performed with both hands or an operation that can be performed with one hand. With more means
The image processing system according to claim 2, wherein the guidance means switches between voice guidance and image guidance based on the discrimination result by the discrimination means.
前記案内手段は、前記判別手段による判別結果に基づいて音声による案内と画像による案内とを切り替えることを特徴とする請求項２に記載の画像処理システム。 The mobile terminal device provides a discriminating means for determining whether the operation to be performed by the user is an operation that needs to be performed by both hands or an operation that can be performed by one hand by analyzing the operation information. Further prepare
The image processing system according to claim 2, wherein the guidance means switches between voice guidance and image guidance based on the discrimination result by the discrimination means.
前記判別手段は、ステップごとに、両手で行う必要のある操作であるか、又は、片手で行うことが可能な操作であるかを判別し、
前記案内手段は、前記判別手段によるステップごとの判別結果に基づいて音声による案内と画像による案内とをステップごとに切り替えることを特徴とする請求項３又は４に記載の画像処理システム。 The operation information generating means identifies an operation in which a plurality of steps are sequentially performed one by one as an operation to be performed by the user.
The determination means determines, for each step, whether the operation needs to be performed with both hands or the operation can be performed with one hand.
The image processing system according to claim 3 or 4, wherein the guidance means switches between voice guidance and image guidance for each step based on the determination result for each step by the discrimination means.
前記操作情報送信手段は、前記操作情報生成手段によって生成されるステップごとの操作情報を順に前記携帯端末装置へ送信し、
前記案内手段は、音声による案内を行ってから所定時間を経過したときに、前記操作情報受信手段が次のステップに対応する操作情報を受信していない場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする請求項５又は６に記載の画像処理システム。 The operation information generation means generates operation information corresponding to the next step each time one step is advanced by the user's operation.
The operation information transmitting means sequentially transmits the operation information for each step generated by the operation information generating means to the mobile terminal device.
When a predetermined time has elapsed after the voice guidance is performed, the guidance means switches the voice guidance to the image guidance when the operation information receiving means does not receive the operation information corresponding to the next step. The image processing system according to claim 5 or 6, wherein the user is prompted to do so.
ユーザーによって行われる操作がエラーを解除するための正しい操作であるか否かを判別する操作判別手段、を更に備え、
前記案内手段は、音声による案内を行っている状態において前記操作判別手段によってユーザーの操作が誤った操作であると判別された場合、音声による案内を画像による案内に切り替えることをユーザーに促すことを特徴とする請求項１乃至１０のいずれかに記載の画像処理システム。 The image processing device is
Further provided with an operation determination means for determining whether or not the operation performed by the user is a correct operation for canceling the error.
The guidance means prompts the user to switch the voice guidance to the image guidance when the operation determination means determines that the user's operation is an erroneous operation while the voice guidance is being performed. The image processing system according to any one of claims 1 to 10.
ユーザーの操作を検知する操作検知手段、を更に備え、
前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を画像による案内に切り替えることを特徴とする請求項１乃至１１のいずれかに記載の画像処理システム。 The mobile terminal device is
Further equipped with an operation detection means for detecting the user's operation,
One of claims 1 to 11, wherein the guidance means switches the voice guidance to the image guidance according to the user's operation detected by the operation detection means when the voice guidance is performed. The image processing system described in.
前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する操作情報受信手段と、
前記操作情報受信手段によって受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する案内手段と、を備え、
前記案内手段は、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とする携帯端末装置。 A mobile terminal device capable of short-range communication with an image processing device.
An operation information receiving means for receiving operation information related to an operation to be performed by the user in order to clear an error of the image processing device from the image processing device, and an operation information receiving means.
A guidance means for guiding an operation to be performed by the user by voice or an image based on the operation information received by the operation information receiving means is provided.
The guidance means is a mobile terminal device that switches between voice guidance and image guidance according to the type of operation to be performed by the user or the holding state of the mobile terminal device by the user.
前記案内手段は、音声による案内を行っているとき、前記操作検知手段によって検知されるユーザーの操作に応じて音声による案内を画像による案内に切り替えることを特徴とする請求項１４乃至２２のいずれかに記載の携帯端末装置。 Further equipped with an operation detection means for detecting the user's operation,
Any of claims 14 to 22, wherein the guidance means switches the voice guidance to the image guidance according to the user's operation detected by the operation detection means when the voice guidance is performed. The mobile terminal device described in.
前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する第１のステップと、
前記第１のステップにおいて受信された操作情報に基づき、ユーザーが行うべき操作を音声又は画像で案内する第２のステップと、を実行させ、
前記第２のステップは、ユーザーが行うべき操作の種類、又は、ユーザーによる前記携帯端末装置の保持状態に応じて、音声による案内と画像による案内とを切り替えることを特徴とするプログラム。 A program executed in a mobile terminal device capable of performing short-range communication with an image processing device.
The first step of receiving the operation information regarding the operation to be performed by the user in order to clear the error of the image processing device from the image processing device, and
Based on the operation information received in the first step, the second step of guiding the operation to be performed by the user by voice or image is executed.
The second step is a program characterized by switching between voice guidance and image guidance according to the type of operation to be performed by the user or the holding state of the mobile terminal device by the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016216872A JP6855757B2 (en) | 2016-11-07 | 2016-11-07 | Image processing systems, mobile terminal devices and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016216872A JP6855757B2 (en) | 2016-11-07 | 2016-11-07 | Image processing systems, mobile terminal devices and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018078354A JP2018078354A (en) | 2018-05-17 |
| JP6855757B2 true JP6855757B2 (en) | 2021-04-07 |
Family
ID=62149249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016216872A Active JP6855757B2 (en) | 2016-11-07 | 2016-11-07 | Image processing systems, mobile terminal devices and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6855757B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7334459B2 (en) * | 2019-04-25 | 2023-08-29 | コニカミノルタ株式会社 | Information processing system and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007086944A (en) * | 2005-09-21 | 2007-04-05 | Brother Ind Ltd | Operation procedure guide system, operation procedure guide server and operation procedure guide terminal |
-
2016
- 2016-11-07 JP JP2016216872A patent/JP6855757B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018078354A (en) | 2018-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7403721B2 (en) | Image forming apparatus, MFP and method of displaying jam removal guidance | |
| JP2015045916A (en) | Authentication device and image forming apparatus | |
| JP6223153B2 (en) | Image forming apparatus, control method therefor, and computer program | |
| JP6766479B2 (en) | Image processing device, image display method and display program for error cancellation in the device | |
| CN101025601B (en) | Image forming apparatus | |
| JP6855757B2 (en) | Image processing systems, mobile terminal devices and programs | |
| US8902447B2 (en) | Image processing apparatus displaying operating procedure, control method therefor, and storage medium storing control program therefor | |
| US20140160511A1 (en) | Image forming apparatus, method of controlling the same and storage medium | |
| JP4866297B2 (en) | Image forming apparatus | |
| JP2019184797A (en) | Image forming device, notification method, and program | |
| JP2012137525A (en) | Image forming apparatus, and display device | |
| JP6620737B2 (en) | Image forming apparatus | |
| JP2007226057A (en) | Image forming apparatus | |
| JP2018046334A (en) | Guidance playback device, guidance playback method, and computer program | |
| JP4627270B2 (en) | Image forming apparatus | |
| JP6841007B2 (en) | Image processing systems, mobile terminal devices and programs | |
| JP6292140B2 (en) | Image processing system | |
| JP6776616B2 (en) | Work guidance device and program | |
| US10944878B2 (en) | Image reading apparatus and image forming apparatus for warning of risk of information leakage | |
| JP5831852B2 (en) | apparatus | |
| JP2018120372A (en) | Electronic device and image forming apparatus | |
| JP6740824B2 (en) | Guidance reproducing device, guidance reproducing method, and computer program | |
| JP6711223B2 (en) | Guidance playback device, playback time designation support method, and computer program | |
| JP6992663B2 (en) | Image forming apparatus, control method and program of image forming apparatus | |
| JP6270892B2 (en) | Image processing apparatus, control method therefor, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190723 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210301 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6855757 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |