JP6841007B2 - 画像処理システム、携帯端末装置及びプログラム - Google Patents

Description

本発明は、画像処理システム、携帯端末装置及びプログラムに関し、特に画像処理システムにおいてエラーが発生した場合に携帯端末装置がユーザーに対してエラーを解除するための案内を行う技術に関する。

従来、ＭＦＰ（Multifunction Peripherals）などの画像処理装置と、ユーザーが所持する携帯端末装置とが連携するシステムにおいて、画像処理装置に紙詰まりなどのエラーが発生した場合に、画像処理装置が携帯端末装置に対して音声案内と画像案内とを含む案内情報を送信し、携帯端末装置がユーザーに対してエラーを解除するための操作を音声と画像との双方で案内する技術が知られている（例えば特許文献１）。

また従来、画像処理装置において紙詰まりなどのエラーが発生した場合に、携帯端末装置の撮影機能を利用して紙詰まりした部分の画像を撮影し、エラーを解除するための案内画像を撮影画像に重ね合わせて表示させることにより、ユーザーに対してエラーを解除するための操作を案内する技術が知られている（例えば特許文献２）。

特開２０１６−１３９８８７号公報 特開２０１３−２０５４２５号公報

しかし、上記従来技術は、いずれもユーザーに対してエラーを解除するための操作を案内するだけであり、ユーザーが行おうとしている操作が誤っているか否かを判断して警告を発するものではない。

また画像処理装置の内部には、各種センサーが設けられており、ユーザーによって行われた操作が誤った操作であれば、各種センサーによって誤操作を検知することができる。しかし、各種センサーで検知可能な誤操作は、ユーザーによって既に行われた操作であり、ユーザーがこれから行おうとしている操作が誤っているか否かを検知し得るものではない。

例えば画像処理装置の内部に設けられる用紙搬送路の複数箇所で紙詰まりが発生した場合には、用紙を取り除く順序が予め定められていることがあり、その順序とは異なる順序で用紙を取り除こうとすると、用紙が千切れてしまい、その後の作業がより一層困難になることがある。このような事態を未然に防止するためには、ユーザーによって行われる操作が完了する前に、誤操作であるか否かを判別し、ユーザーに対して早期に誤操作であることを報知する必要がある。

そこで本発明は、上記のような従来の問題点を解決するためになされたものであり、ユーザーによる操作が完了する前にユーザーによって行われている操作が誤操作であるか否かを判別できるようにした画像処理システム、携帯端末装置及びプログラムを提供することを目的とするものである。

上記目的を達成するため、請求項１に係る発明は、画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、前記画像処理装置は、前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、前記携帯端末装置は、前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、前記撮像手段によって得られる撮影画像に基づいて、ユーザーの手がエラーを解除するための操作位置とは異なる方向へ移動していることを検知した場合に、ユーザーの操作が誤操作であることを検知する誤操作検知手段と、を備え、前記案内手段は、前記誤操作検知手段によってユーザーの操作が誤操作であることが検知された場合にユーザーに対して誤操作であることを報知することを特徴とする構成である。

請求項２に係る発明は、画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、前記画像処理装置は、前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、前記携帯端末装置で撮影された撮影画像を取得して解析することによりユーザーの操作が誤操作であることを検知する誤操作検知手段と、を備え、前記携帯端末装置は、前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、前記撮像手段によって得られる撮影画像を前記画像処理装置へ送信し、前記誤操作検知手段によって誤操作であることが検知された場合にユーザーの操作が誤操作であると判別する操作判別手段と、を備え、前記誤操作検知手段は、前記撮像手段によって得られる撮影画像に基づいて、ユーザーの手がエラーを解除するための操作位置とは異なる方向へ移動していることを検知した場合に、ユーザーの操作が誤操作であることを検知し、前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする構成である。

請求項３に係る発明は、請求項１又は２に記載の画像処理システムにおいて、前記エラー検知手段は、用紙搬送路における紙詰まりをエラーとして検知し、前記操作情報送信手段は、エラーを解除するための操作として、前記用紙搬送路において紙詰まりした用紙を所定方向に引き抜く操作を特定し、前記誤操作検知手段は、前記撮像手段によって得られる撮影画像に基づいてユーザーの手が用紙を掴んだことを検知した後、ユーザーの手の移動方向が前記所定方向と異なる方向であることを検知した場合に、誤操作を検知することを特徴とする構成である。

請求項４に係る発明は、請求項１又は２に記載の画像処理システムにおいて、前記エラー検知手段は、用紙搬送路における紙詰まりをエラーとして検知し、前記操作情報送信手段は、エラーを解除するための操作として、前記用紙搬送路に設けられるローラーを所定方向に回転させる操作を特定し、前記誤操作検知手段は、前記撮像手段によって得られる撮影画像に基づいてユーザーの手が前記ローラーを掴んだことを検知した後、ユーザーの手による前記ローラーの回転方向が前記所定方向と異なる方向であることを検知した場合に、誤操作を検知することを特徴とする構成である。

請求項５に係る発明は、請求項１又は２に記載の画像処理システムにおいて、前記エラー検知手段は、用紙搬送路における紙詰まりをエラーとして検知し、前記操作情報送信手段は、エラーを解除するための操作として、前記用紙搬送路に設けられるレバーを所定方向に移動させる操作を特定し、前記誤操作検知手段は、前記撮像手段によって得られる撮影画像に基づいてユーザーの手が前記レバーに触れたことを検知した後、ユーザーの手による前記レバーの移動方向が前記所定方向と異なる方向であることを検知した場合に、誤操作を検知することを特徴とする構成である。

請求項６に係る発明は、請求項３乃至５のいずれかに記載の画像処理システムにおいて、前記操作情報送信手段は、前記用紙搬送路における複数箇所での紙詰まりがエラーとして検知された場合に、エラーを解除するための操作として、前記複数箇所から所定の順序で紙詰まりした用紙を取り除く操作を特定し、前記誤操作検知手段は、前記撮像手段によって得られる撮影画像に基づいて、ユーザーによる紙詰まりした用紙の取り除き順序が前記所定の順序と異なることを検知した場合に、誤操作を検知することを特徴とする構成である。

請求項７に係る発明は、画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、前記画像処理装置は、前記画像処理装置における消耗品のエンプティ状態をエラーとして検知するエラー検知手段と、前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作として、前記消耗品を補給又は交換する操作を特定し、該特定した操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、前記携帯端末装置は、前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、前記撮像手段によって得られる撮影画像から消耗品画像を抽出して解析することにより正しい消耗品であるか否かを判定し、正しい消耗品でないと判定した場合に、ユーザーの操作が誤操作であることを検知する誤操作検知手段と、前記誤操作検知手段がユーザーの操作が誤操作であると判別する操作判別手段と、を備え、前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする構成である。

請求項８に係る発明は、画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、前記画像処理装置は、前記画像処理装置における消耗品のエンプティ状態をエラーとして検知するエラー検知手段と、前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作として、前記消耗品を補給又は交換する操作を特定し、該特定した操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、前記携帯端末装置で撮影された撮影画像を取得して解析することによりユーザーの操作が誤操作であることを検知する誤操作検知手段と、を備え、前記携帯端末装置は、前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、前記撮像手段によって得られる撮影画像を前記画像処理装置へ送信し、前記誤操作検知手段によって誤操作であることが検知された場合にユーザーの操作が誤操作であると判別する操作判別手段と、を備え、前記誤操作検知手段は、前記撮像手段によって得られる撮影画像から消耗品画像を抽出して解析することにより正しい消耗品であるか否かを判定し、正しい消耗品でないと判定した場合に、誤操作を検知し、前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とすることを特徴とする。

請求項９に係る発明は、画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、前記画像処理装置は、前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、前記携帯端末装置は、前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、 ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、 前記撮像手段によって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する操作判別手段と、を備え、前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知し、前記画像処理装置は、さらにエラーを解除する操作のために内部機構を開放可能な開閉部材と、前記開閉部材の内側に設けられ、前記携帯端末装置を保持するホルダーと、を備え、 前記ホルダーは、ユーザーによってエラーを解除する操作が行われるときに前記撮像手段が前記内部機構を撮
影可能な状態に前記携帯端末装置を保持する、ことを特徴とする構成である。

請求項１０に係る発明は、画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、前記画像処理装置は、前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、前記携帯端末装置は、前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、前記撮像手段によって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する操作判別手段と、を備え、前記操作判別手段は、前記撮像手段によって得られる撮影画像から所定の特徴点を抽出することができない場合に、ユーザーに対し、エラーを解除する操作を行う箇所の撮影を促し、前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする構成である。

請求項１１に係る発明は、画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、前記画像処理装置は、前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、前記携帯端末装置は、前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、 ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、前記撮像手段によって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する操作判別手段と、を備え、 前記案内手段は、ユーザーが行うべき操作を案内するとき、前記撮像手段によって得られる撮影画像にユーザーの顔画像が含まれていれば画像による案内を行い、前記撮像手段によって得られる撮影画像にユーザーの顔画像が含まれていなければ音声による案内を行い、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする構成である。

請求項１２に係る発明は、画像処理装置と近距離通信を行うことが可能な携帯端末装置であって、前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する操作情報受信手段と、前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、前記撮像手段によって得られる撮影画像に基づいて、ユーザーの手がエラーを解除するための操作位置とは異なる方向へ移動していることを検知した場合に、ユーザーの操作が誤操作であることを検知する誤操作検知手段と、を備え、前記案内手段は、前記誤操作検知手段によってユーザーの操作が誤操作であることが検知された場合にユーザーに対して誤操作であることを報知することを特徴とする構成である。

請求項１３に係る発明は、画像処理装置と近距離通信を行うことが可能な携帯端末装置であって、前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する操作情報受信手段と、前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、前記撮像手段によって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する操作判別手段と、を備え、前記操作判別手段は、前記撮像手段によって得られる撮影画像から所定の特徴点を抽出することができない場合に、ユーザーに対し、エラーを解除する操作を行う箇所の撮影を促し、前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする構成である。

請求項１４に係る発明は、画像処理装置と近距離通信を行うことが可能な携帯端末装置であって、前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する操作情報受信手段と、前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、前記撮像手段によって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する操作判別手段と、を備え、前記案内手段は、ユーザーが行うべき操作を案内するとき、前記撮像手段によって得られる撮影画像にユーザーの顔画像が含まれていれば画像による案内を行い、前記撮像手段によって得られる撮影画像にユーザーの顔画像が含まれていなければ音声による案内を行い、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする構成である。

請求項１５に係る発明は、画像処理装置と近距離通信を行うことが可能な携帯端末装置において実行されるプログラムであって、前記携帯端末装置に、前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する第１ステップと、前記操作情報に基づいてユーザーが行うべき操作を案内する第２ステップと、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する第３ステップと、前記第３ステップによって得られる撮影画像に基づいて、ユーザーの手がエラーを解除するための操作位置とは異なる方向へ移動していることを検知した場合に、ユーザーの操作が誤操作であることを検知する第４ステップと、前記第４ステップにおいてユーザーの操作が誤操作であることが検知された場合にユーザーに対して誤操作であることを報知する第５ステップと、を実行させることを特徴とする構成である。

請求項１６に係る発明は、画像処理装置と近距離通信を行うことが可能な携帯端末装置において実行されるプログラムであって、前記携帯端末装置に、前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する第１ステップと、前記操作情報に基づいてユーザーが行うべき操作を案内する第２ステップと、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する第３ステップと、前記第３ステップによって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する第４ステップと、前記第４ステップにおいてユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知する第５ステップと、を実行させ、前記第４ステップは、前記第３ステップによって得られる撮影画像から所定の特徴点を抽出することができない場合に、ユーザーに対し、エラーを解除する操作を行う箇所の撮影を促すことを特徴とする構成である。

請求項１７に係る発明は、画像処理装置と近距離通信を行うことが可能な携帯端末装置において実行されるプログラムであって、前記携帯端末装置に、前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する第１ステップと、前記操作情報に基づいてユーザーが行うべき操作を案内する第２ステップと、ユーザーによってエラーを解除する操作が行われるときの画像を撮影する第３ステップと、前記第３ステップによって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する第４ステップと、前記第４ステップにおいてユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知する第５ステップと、を実行させ、前記第２ステップは、ユーザーが行うべき操作を案内するとき、画像撮影を行って得られる撮影画像にユーザーの顔画像が含まれていれば画像による案内を行い、前記撮影画像にユーザーの顔画像が含まれていなければ音声による案内を行うことを特徴とする構成である。

本発明によれば、ユーザーによって行われる操作を撮影し、その撮影画像に基づいて誤操作であるか否かをリアルタイムに判別するため、ユーザーによる操作が完了する前に誤操作を検知することができるようになる。

画像処理システムの構成例を示す図である。 エラーを解除するための扉を開放した状態の画像処理装置を示す図である。 画像処理装置のハードウェア構成の一例を示すブロック図である。 携帯端末装置のハードウェア構成の一例を示すブロック図である。 画像処理装置及び携帯端末装置の機能構成を示すブロック図である。 エラー判別情報の一例を示す図である。 操作案内登録情報の一例を示す図である。 操作案内登録情報に登録される画像データの一例を示す図である。 操作案内登録情報に登録される音声データの一例を示す図である。 ユーザーの操作を撮影した撮影画像の一例を示す図である。 画像処理装置でエラーが発生した場合に画像処理装置及び携帯端末装置が互いに連携しながら行うプロセスの流れを示す図である。 画像処理装置において行われる処理手順の一例を示すフローチャートである。 携帯端末装置において行われる主たる処理手順の一例を示すフローチャートである。 誤操作判別処理の詳細な処理手順の一例を示すフローチャートである。

以下、本発明に関する好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施形態において互いに共通する部材には同一符号を付しており、それらについての重複する説明は省略する。

図１は、本発明の一実施形態における画像処理システム１の構成例を示す図である。この画像処理システム１は、ＭＦＰなどで構成される画像処理装置２と、ユーザーが所持するスマートフォンやタブレット端末、パーソナルコンピュータなどで構成される携帯端末装置３とを備えている。そして画像処理装置２と携帯端末装置３は、互いに無線による近距離通信を行うことができるように構成される。

画像処理装置２は、スキャン機能やプリント機能、コピー機能などの複数の機能を備えており、ユーザーの指示に基づいてスキャンジョブやプリントジョブ、コピージョブなどを実行することができる。このような画像処理装置２は、内部において紙詰まりなどのエラーが発生することがある。また画像処理装置２は、トナーや用紙などの消耗品が無くなった場合にもその状態をエラーとして検知する。

画像処理装置２は、エラーを解除する操作のために内部機構を開放可能な複数の開閉部材４を備えている。複数の開閉部材４は、例えば画像処理装置２の側面に設けられた扉４ａ、画像処理装置２の正面上部に設けられた扉４ｂ、画像処理装置２の正面下部に設けられた複数のトレー４ｃ〜４ｆなどで構成される。

図２は、扉４ａ，４ｂを開放した状態の画像処理装置２を示す図である。画像処理装置２の側面に設けられた扉４ａが開放されると、内部機構５ａとして、用紙を搬送する用紙搬送路が開放される。そのため、用紙搬送路において紙詰まりが発生した場合には、ユーザーは扉４ａを開放した後、用紙搬送路から紙詰まりした用紙を取り除く操作を行うことになる。このとき、ユーザーはローラーやレバーを操作しながら用紙を取り除く操作を行うことが必要な場合もある。また用紙搬送路の複数箇所で紙詰まりが発生した場合、ユーザーは、所定の順序で用紙を取り除いていく操作を行わなければならないこともある。

また画像処理装置２の正面上部に設けられた扉４ｂが開放されると、内部機構５ｂとして、消耗品であるトナーなどが装着された画像形成部が開放される。そのため、トナーエンプティがエラーとして検知されると、ユーザーは扉４ｂを開放した後、画像形成部から使用済みのトナーを抜き取り、新たなトナーを装着する操作を行うことになる。

また上記の他、画像処理装置２において用紙エンプティがエラーとして検知されると、ユーザーは複数のトレー４ｃ〜４ｆのうちのいずれかを引き出して開放した後、そのトレーに対して新たな用紙を補給する操作を行うことになる。尚、複数のトレー４ｃ〜４ｆのそれぞれには、異なるサイズの用紙を収容しておくこともできる。

画像処理装置２においてエラーが発生すると、画像処理装置２は、ユーザーが所持する携帯端末装置３と近距離通信を行うことにより、携帯端末装置３にエラー解除のための操作案内を行わせる。

携帯端末装置３には、画像処理装置２と連携するためのアプリケーションが予めインストールされている。携帯端末装置３は、そのアプリケーションを起動させることにより、画像処理装置２と近距離通信を行うことができる。そして画像処理装置２においてエラーが発生した状態でアプリケーションが起動することに伴い、携帯端末装置３は、画像処理装置２との近距離通信を開始し、画像処理装置２からの指示に基づいてエラーを解除するための操作をユーザーに案内する。

また携帯端末装置３は、後述するように、画像を撮影可能な撮像部を備えている。そのため、携帯端末装置３は、ユーザーがエラーを解除するための操作を行っているときに、その操作を撮影することができる。そして本実施形態の携帯端末装置３は、ユーザーがエラーを解除するための操作を行っているときにユーザーの操作を撮影し、その撮影画像に基づいてユーザーの行っている操作が誤操作であるか否かを判別すると共に、誤操作であれば、ユーザーに対して誤操作であることを報知するように構成される。

ところで、エラーを解除するためにユーザーが行うべき操作には様々な操作がある。例えばユーザーが片手で操作を行うことができる場合もあれば、ユーザーが両手で操作を行うことが必要な場合もある。片手操作でエラーを解除することができる場合には、ユーザーは一方の手に携帯端末装置３を持った状態で撮影を行いつつ、他方の手でエラーを解除するための操作を行うことができる。しかし、両手操作が必要な場合には、片手に携帯端末装置３を持ったままでエラーを解除する操作を行うことができない。そのため、画像処理装置２に設けられる開閉部材４の内側には、図２に示すように携帯端末装置３を保持するホルダー６が設けられる。このホルダー６は、携帯端末装置３がセットされると、携帯端末装置３の撮像部が内部機構５ａ，５ｂを撮影できる状態となるように携帯端末装置３を保持するものである。例えば扉４ａに設けられるホルダー６ａは、内部機構５ａである用紙搬送部を撮影できるように携帯端末装置３を保持する。また扉４ｂに設けられるホルダー６ｂは、内部機構５ｂである画像形成部を撮影できるように携帯端末装置３を保持する。これらのホルダー６ａ，６ｂは、扉４ａ，４ｂが閉鎖されるときには内部機構５ａ，５ｂと干渉しないように折りたたみ可能な構成であっても良い。尚、図２では図示を省略しているが、複数のトレー４ｃ〜４ｆの内側にも、携帯端末装置３を保持するホルダーが設けられる。

図３は、画像処理装置２のハードウェア構成の一例を示すブロック図である。画像処理装置２は、制御部１０と、操作パネル１１と、ネットワークインタフェース１２と、記憶部１３と、近距離通信インタフェース１６と、スキャナ部２０と、プリンタ部３０とを備えている。

制御部１０は、ＣＰＵ１０ａとメモリ１０ｂとを備え、各部の動作を制御する。ＣＰＵ１０ａは、画像処理装置２に電源が投入されると、記憶部１３からプログラム１４を読み出して実行することにより、制御部１０を様々な処理部として機能させる。メモリ１０ｂは、ＣＰＵ１０ａがプログラム１４に基づく処理を実行する際に一時的なデータなどを記憶するためのものである。

操作パネル１１は、ユーザーが画像処理装置２を操作する際のユーザーインタフェースとなるものである。操作パネル１１は、ユーザーに対して各種情報を表示する表示部１１ａと、ユーザーによる操作を受け付ける操作部１１ｂとを備えている。表示部１１ａは、例えばカラー液晶ディスプレイで構成される。操作部１１ｂは、表示部１１ａの画面上に配置されるタッチパネルキーや表示部１１ａの画面周囲に配置される押しボタンキーなどで構成される。このような操作パネル１１は、画像処理装置２の装置本体正面側の所定位置に固定されている。そのため、ユーザーは、画像処理装置２の正面側に立つことにより、表示部１１ａで表示される画像を視認し易く、また操作部１１ｂに対する操作を行い易くなる。

ネットワークインタフェース１２は、画像処理装置２がＬＡＮ（Local Area Network）などのネットワークを介してパーソナルコンピュータやその他のデバイスと通信を行うためのものである。

記憶部１３は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などで構成される不揮発性の記憶手段である。記憶部１３には、制御部１０のＣＰＵ１０ａによって実行されるプログラム１４が予め記憶されている。また記憶部１３には、エラー判別情報１５が予め記憶されている。このエラー判別情報１５は、画像処理装置２において紙詰まりなどのエラーが発生した場合に、そのエラーの種類に応じて、エラーを解除するためにユーザーが行うべき解除操作を特定するために参照される情報である。

近距離通信インタフェース１６は、ユーザーが所持する携帯端末装置３と近距離通信を行うためのインタフェースである。例えば近距離通信インタフェース１６は、ＮＦＣ（Near Field Communication）やＢｌｕｅｔｏｏｔｈ（登録商標）などの規格に基づく無線通信を行うインタフェースである。

スキャナ部２０は、ユーザーによってセットされる原稿を読み取って画像データを生成する。このスキャナ部２０は、原稿搬送部２１と画像読取部２３とを備えている。原稿搬送部２１は、ユーザーによってセットされる原稿を所定の搬送路に沿って１枚ずつ自動搬送するものである。画像読取部２３は、原稿搬送部２１によって搬送される原稿が所定の読み取り位置を通過する際に、その原稿の表面にある画像を光学的に読み取るものである。

このようなスキャナ部２０では、原稿搬送部２１が原稿の自動搬送を行っているときに、搬送路において紙詰まりが発生する可能性がある。そのため原稿搬送部２１は、そのような紙詰まりを検知するための紙詰まりセンサー２２を備えている。紙詰まりセンサー２２は、原稿の紙詰まりをエラーとして検知するセンサーである。そして紙詰まりセンサー２２による検知結果は、制御部１０へ出力される。

プリンタ部３０は、制御部１０によって指定された画像データに基づいて印刷用紙に画像形成を行うことにより、印刷出力を行う。このプリンタ部３０は、給紙部３１と、用紙搬送部３３と、画像形成部３６とを備えている。

給紙部３１は、複数のトレー４ｃ〜４ｆのいずれか１つから印刷出力に適した用紙を１枚ずつ取り出して用紙搬送部３３へ送り出す機能を有している。給紙部３１には、複数のトレー４ｃ〜４ｆのそれぞれにストックされている用紙が無くなったことを検知する用紙エンプティセンサー３２が設けられている。用紙エンプティセンサー３２は、用紙が無くなったことをエラーとして検知するセンサーである。そして用紙エンプティセンサー３２による検知結果は、制御部１０へ出力される。

用紙搬送部３３は、給紙部３１によって給紙される用紙を、所定の搬送路に沿って自動搬送するものである。用紙搬送部３３が用紙の自動搬送を行っているときには、搬送路において紙詰まりが発生する可能性がある。そのため用紙搬送部３３は、そのような紙詰まりを検知するために複数の紙詰まりセンサー３４，３５を備えている。複数の紙詰まりセンサー３４，３５はそれぞれ搬送路内の異なる箇所に設置される。そのため、搬送路内の任意の箇所で紙詰まりが発生すると、複数の紙詰まりセンサー３４，３５のいずれかがその紙詰まりをエラーとして検知することができる。そして紙詰まりセンサー３４，３５による検知結果は、制御部１０へ出力される。

画像形成部３６は、用紙搬送部３３によって搬送される用紙が所定位置を通過する際に、用紙の表面にトナー像を転写し、更にトナー像を転写した用紙が別の所定位置を通過する際にトナー像を用紙に定着させることにより、用紙に対して画像形成を行うものである。この画像形成部３６は、トナー残量センサー３７を備えている。トナー残量センサー３７は、画像形成部３６に装着されているトナーの残量を検知すると共に、トナーエンプティを検知することが可能なセンサーである。トナー残量センサー３７は、トナーエンプティをエラーとして検知することができる。そしてトナー残量センサー３７の検知結果は、制御部１０へ出力される。尚、画像形成部３６にそれぞれ色の異なる複数のトナーが装着される場合、トナー残量センサー３７は色ごとに設けられるものであっても構わない。

次に図４は、携帯端末装置３のハードウェア構成の一例を示すブロック図である。携帯端末装置３は、制御部４０と、表示部４１と、操作部４２と、マイク４３と、スピーカー４４と、撮像部４５と、記憶部４６と、近距離通信インタフェース５０とを備えている。

制御部４０は、ＣＰＵ４０ａとメモリ４０ｂとを備え、各部の動作を制御する。ＣＰＵ４０ａは、記憶部４６に記憶されているプログラム４７を読み出して実行することにより、画像処理装置２と連携するためのアプリケーションを起動し、制御部４０を後述する各種の処理部として機能させる。メモリ４０ｂは、ＣＰＵ４０ａがプログラム４７に基づく処理を実行する際に一時的なデータなどを記憶するためのものである。

表示部４１は、ユーザーに対して各種の画像を表示する表示手段であり、例えばカラー液晶ディスプレイによって構成される。操作部４２は、ユーザーによる操作を受け付けるためのものであり、例えば表示部４１の画面上に配置されるタッチパネルキーや、表示部４１の画面周囲に配置される押しボタンキーなどによって構成される。

マイク４３は、周囲の音声を音声信号に変換して制御部４０へ出力するものである。スピーカー４４は、制御部４０から入力する音声信号に基づいて周囲に音声を出力するものである。撮像部４５は、例えば表示部４１の表示画面の周囲所定位置に設けられ、表示部４１の表示画面に対して法線方向にある物体を撮影することが可能な撮像手段である。この撮像部４５は、ユーザーがエラーを解除するための操作を行うとき、その操作を動画像として撮影することが可能である。

記憶部４６は、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などによって構成される不揮発性の記憶手段である。この記憶部４６には、上述したプログラム４７が予め記憶されている。また記憶部４６には、予め操作案内登録情報４８が記憶されている。操作案内登録情報４８は、制御部４０において画像処理装置２と連携するアプリケーションが起動した場合に、そのアプリケーションによって参照される情報である。

近距離通信インタフェース５０は、画像処理装置２と近距離通信を行うためのインタフェースである。例えば近距離通信インタフェース５０は、画像処理装置２と同様に、ＮＦＣ（Near Field Communication）やＢｌｕｅｔｏｏｔｈ（登録商標）などの規格に基づく無線通信を行うインタフェースである。尚、近距離通信は、必ずしもＮＦＣやＢｌｕｅｔｏｏｔｈ（登録商標）に限られるものではなく、無線ＬＡＮなどを介して行われるものであっても構わない。

上記構成を有する画像処理システム１は、画像処理装置２で紙詰まりなどのエラーが発生した状態において携帯端末装置３においてアプリケーションが起動すると、画像処理装置２と携帯端末装置３とが近距離通信を行い、携帯端末装置３がエラーを解除するための操作をユーザーに案内する。また携帯端末装置３のアプリケーションは、撮像部４５を駆動し、ユーザーがエラーを解除するための操作を行っているときの画像を撮影し、その撮影画像に基づいてユーザーの操作が誤操作であると判断すれば、速やかに誤操作であることをユーザーに報知することにより、ユーザーによる誤操作が進行してしまうことを防止する。以下、このような画像処理システム１について更に詳しく説明する。

図５は、画像処理装置２及び携帯端末装置３の機能構成を示すブロック図である。尚、図５では、画像処理装置２においてエラーが発生した場合にそのエラーに関する処理を行うための機能だけを示しており、画像処理装置２が正常動作している場合の機能については図示を省略している。また図５に示すセンサー群１９は、図３に示した紙詰まりセンサー２２、用紙エンプティセンサー３２、紙詰まりセンサー３４，３５、トナー残量センサー３７などの各種センサーを含むものである。尚、カバーや扉、トレーなどの開閉部材４の開閉状態を検知するセンサーが設けられている場合には、センサー群１９には、それらのセンサーも含まれる。

まず画像処理装置２の制御部１０は、ＣＰＵ１０ａがプログラム１４を実行することにより、エラー検知部６１、操作情報送信部６２、通信制御部６３及び誤操作検知部６４として機能する。

エラー検知部６１は、センサー群１９に含まれる複数のセンサーのうち、いずれかのセンサーが異常を検知した場合に、その異常をエラーとして検知するものである。例えば紙詰まりセンサー２２，３４，３５が紙詰まりを検知した場合、用紙エンプティセンサー３２が用紙エンプティを検知した場合、或いは、トナー残量センサー３７がトナーエンプティを柄検知した場合、エラー検知部６１は、画像処理装置２においてエラーが発生したことを検知する。エラー検知部６１は、エラーの発生を検知すると、エラー発生を示すアラートを発生させる。これにより、ユーザーは、画像処理装置２においてエラーが発生したことを把握することができる。またエラー検知部６１は、エラーの発生を検知すると、操作情報送信部６２を機能させる。

操作情報送信部６２は、エラー検知部６１によってエラーが検知されると、記憶部１３からエラー判別情報１５を読み出して参照することにより、そのエラーを解除するためにユーザーが行うべき操作を特定し、操作情報を生成する。

図６は、エラー判別情報１５の一例を示す図である。例えばエラー判別情報１５は、エラーを検知するセンサーごとに、エラーのタイプを複数のタイプに区別した情報である。またエラー判別情報１５には、図５に示すように、エラーを検知するセンサーごとに、そのエラーを解除するためにユーザーが行うべき操作（解除操作）が定義されている。ユーザーが行うべき操作は、例えば複数のステップからなり、各ステップの操作を順に行っていくことによりエラーを適切に解除することができるようになっている。例えばスキャナ部２０の原稿搬送部２１に設けられた紙詰まりセンサー２２が紙詰まりのエラーを検知した場合の解除操作として、第１ステップ、第２ステップ及び第３ステップの３つのステップが定められており、第１ステップでは、ユーザーが原稿搬送部２１のカバーを開放する操作を行い、第２ステップでは、ユーザーがジャム状態の紙を抜き取る操作を行い、第３ステップでは、ユーザーがカバーを閉鎖する操作を行うことが定義されている。また例えばプリンタ部３０の用紙搬送部３３に設けられている一つの紙詰まりセンサー３４が紙詰まりエラーを検知した場合の解除操作として、第１ステップ、第２ステップ、第３ステップ及び第４ステップの４つのステップが定められており、第１ステップでは、ユーザーが扉を開放する操作を行い、第２ステップでは、ユーザーがレバーを持ち上げる操作を行い、第３ステップでは、ユーザーがレバーを持ち上げたままで用紙を抜き取る操作を行い、第４ステップでは、ユーザーが扉を閉鎖する操作を行うことが定義されている。また例えばプリンタ部３０の用紙搬送部３３に設けられている別の紙詰まりセンサー３５が紙詰まりエラーを検知した場合の解除操作として、第１ステップ、第２ステップ、第３ステップ及び第４ステップの４つのステップが定められており、第１ステップでは、ユーザーが扉を開放する操作を行い、第２ステップでは、ユーザーがローラーを所定方向に回転させる操作を行い、第３ステップでは、ユーザーが用紙を抜き取る操作を行い、第４ステップでは、ユーザーが扉を閉鎖する操作を行うことが定義されている。そして図６に示すエラー判別情報１５では、ユーザーが行うべき解除操作のそれぞれに対してユニークな識別情報である操作情報が付与されている。

操作情報送信部６２は、上記のようなエラー判別情報１５を参照することにより、エラーを検出したセンサーに対応する解除操作を、ユーザーが行うべき操作として特定し、その特定した操作に定められている操作情報を読み出すことにより、操作情報を生成する。そして操作情報送信部６２は、エラーを検出したセンサーに対応する解除操作を特定した操作情報を通信制御部６３へ出力する。

またエラー検知部６１は、例えば用紙搬送部３３における複数箇所での紙詰まりをエラーとして検知することもある。そのような場合、操作情報送信部６２は、エラーを解除する操作として、複数箇所から所定の順序で紙詰まりした用紙を取り除く操作を特定する。そしてユーザーが行うべき操作順序を定義した操作情報を通信制御部６３へ出力する。

通信制御部６３は、エラー検知部６１によってエラーが検知されると、近距離通信インタフェース１６を介して携帯端末装置３と通信可能な状態であるかを監視する。携帯端末装置３と通信可能な状態である場合、通信制御部６３は、その携帯端末装置３に対し、画像処理装置２と連携するアプリケーションが起動しているか否かを問い合わせる。携帯端末装置３においてアプリケーションが起動していれば、通信制御部６３は、その問い合わせに対する適切な応答を携帯端末装置３のアプリケーションから受信する。これにより、通信制御部６３は、通信可能な携帯端末装置３においてアプリケーションが起動していることを把握することができる。通信制御部６３は、携帯端末装置３においてアプリケーションが起動していることを検知すると、操作情報送信部６２から出力される操作情報を携帯端末装置３へ送信する。

これに対し、通信制御部６３は、通信可能な携帯端末装置３においてアプリケーションが起動していないと判断した場合、携帯端末装置３においてアプリケーションが起動するまで待機する。ただし、これに限られるものではなく、通信制御部６３は、携帯端末装置３に対してアプリケーションの起動命令を送信するようにしても良い。これにより、携帯端末装置３においてアプリケーションが自動的に起動される。そして通信制御部６３は、携帯端末装置３においてアプリケーションが起動したことを確認した後、操作情報送信部６２から出力される操作情報を携帯端末装置３へ送信する。

誤操作検知部６４は、エラーを解除するためにユーザーによって行われる操作が誤操作である場合にそれを検知する処理部である。例えば、誤操作検知部６４は、センサー群１９から出力される開閉部材４の開閉状態の検知結果に基づき、ユーザーがエラーを解除するために開放することが必要な開閉部材４とは異なる開閉部材４を開放した場合に誤操作を検知する。また誤操作検知部６４は、後述するように携帯端末装置３から撮影画像を取得する場合には、その撮影画像を解析することにより、ユーザーの操作が誤操作であることを検知するようにしても良い。ただし、本実施形態では、主として、携帯端末装置３において撮影画像の解析が行われる場合を例示する。

通信制御部６３は、誤操作検知部６４によって誤操作が検知された場合、誤操作情報を携帯端末装置３へ送信する。また通信制御部６３は、エラー検知部６１によってエラーが解除されたことが検知された場合にエラー解除通知を携帯端末装置３に送信する。

次に携帯端末装置３は、ＣＰＵ４０ａがプログラム４７を実行することにより制御部４０において画像処理装置２と連携するアプリケーションを起動させると、制御部４０が通信制御部７１、案内方法判別部７２、操作判別部７３及び操作案内部７５として機能する。尚、制御部４０のＣＰＵ４０ａは、ユーザーによる起動指示に基づいてプログラム４７を実行するものであっても良いし、画像処理装置２から送信されるアプリケーションの起動命令に基づいてプログラム４７を自動的に実行するものであっても良い。例えば画像処理装置２においてエラーの発生が検知されると、画像処理装置２からアラートが発せられる。そのため、ユーザーは、画像処理装置２から発せられるアラートによってエラーの発生を把握することができ、アプリケーションを手動で起動させることもできる。

通信制御部７１は、近距離通信インタフェース５０を介して画像処理装置２と通信を行うものである。まずアプリケーションが起動すると、通信制御部７１は、画像処理装置２に対してアプリケーションの起動を通知する。これにより、画像処理装置２は、携帯端末装置３においてアプリケーションが起動したことを把握することができる。その後、通信制御部７１は、画像処理装置２から送信される操作情報を受信する。通信制御部７１は、エラーを解除するためにユーザーが行うべき操作に関する操作情報を受信すると、その操作情報を案内方法判別部７２へ出力する。また通信制御部７１は、画像処理装置２から誤操作情報やエラー解除通知を受信した場合にも、それらを案内方法判別部７２へ出力する。

案内方法判別部７２は、ユーザーが行うべき操作を案内するとき、音声による案内と、画像による案内とのいずれの方法で案内を行うかを判別する処理部である。案内方法判別部７２は、通信制御部７１が操作情報を受信すると、まず操作案内登録情報４８を参照し、ユーザーが行うべき操作の種類を判別する。

図７は、操作案内登録情報４８の一例を示す図である。図７に示すように、操作案内登録情報４８は、画像処理装置２から受信する操作情報と、エラーを解除するためにユーザーが行うべき操作（解除操作）と、ユーザーが解除操作を行う際に両手操作が必要であるか否かを示す両手操作情報とが互いに対応付けられた情報である。そのため、この操作案内登録情報４８を参照すれば、エラーを解除するためにユーザーが行うべき操作を特定することができると共に、ユーザーが解除操作を行う際には両手操作が必要であるか否かを特定することができる。また操作案内登録情報４８に登録されている解除操作には、ユーザーが操作すべき方向として、用紙の抜き取り方向や、レバーを移動させる際の移動方向、ローラーを回転させる際の回転方向なども予め登録される。そのため、ユーザーが実際に行っている操作方向が、操作案内登録情報４８に登録されている操作方向と異なる場合には、ユーザーの操作を誤操作として検知することができるようになる。

また図７に示すように、ユーザー行うべき操作には、各ステップに対して画像データと音声データとが対応付けられている。そのため、この操作案内登録情報４８を参照すれば、ユーザーに対して解除操作を案内するための画像データや音声データをステップごとに読み出すことができる。

図８は、操作案内登録情報４８に登録される画像データの一例を示す図である。尚、図８では、用紙エンプティセンサー３２（図６に示す「用紙エンプティセンサー１」）がエラーを検知した場合の各ステップの画像データを例示している。図８（ａ）は第１ステップの操作をユーザーに画像で案内するときの画像データを示している。第１ステップにおいてユーザーが行うべき操作は、トレー１を開放する操作であるため、図８（ａ）に示すように第１ステップに対応する画像データにはトレー１を開放する動画が記録されている。図８（ｂ）は第２ステップの操作をユーザーに画像で案内するときの画像データを示している。第２ステップにおいてユーザーが行うべき操作は、Ａ４サイズの用紙をトレー１に補給する操作であるため、図８（ｂ）に示すように第２ステップに対応する画像データにはＡ４サイズの用紙を補給する動画が記録されている。図８（ｃ）は第３ステップの操作をユーザーに画像で案内するときの画像データを示している。第３ステップにおいてユーザーが行うべき操作は、トレー１を閉鎖する操作であるため、図８（ｃ）に示すように第３ステップに対応する画像データにはトレー１を閉鎖する動画が記録されている。尚、このような動画は、音声と共に記録されていても良い。

図９は、操作案内登録情報４８に登録される音声データの一例を示す図である。尚、図９では、図８と同様に、用紙エンプティセンサー３２（図６に示す「用紙エンプティセンサー１」）がエラーを検知した場合の各ステップの音声データを例示している。図９（ａ）は第１ステップの操作をユーザーに画像で案内するときの音声データを示している。第１ステップにおいてユーザーが行うべき操作は、トレー１を開放する操作であるため、図９（ａ）に示すように第１ステップに対応する音声データが再生されると、携帯端末装置３から「トレー１を開放してください」という音声が出力される。図９（ｂ）は第２ステップの操作をユーザーに画像で案内するときの音声データを示している。第２ステップにおいてユーザーが行うべき操作は、Ａ４サイズの用紙をトレー１に補給する操作であるため、図９（ｂ）に示すように第２ステップに対応する音声データが再生されると、携帯端末装置３から「Ａ４用紙を補給してください」という音声が出力される。図９（ｃ）は第３ステップの操作をユーザーに画像で案内するときの音声データを示している。第３ステップにおいてユーザーが行うべき操作は、トレー１を閉鎖する操作であるため、図９（ｃ）に示すように第３ステップに対応する音声データが再生されると、携帯端末装置３から「トレー１を閉じてください」という音声が出力される。ただし、このような音声による案内は、画像による案内に比べて、トレー１の位置をユーザーが正確に把握することが難しい案内となる。このように操作案内登録情報４８には、ユーザーが行うべき操作のステップごとに、画像による案内を行うための画像データと、音声による案内を行うための音声データとが予め登録されている。

案内方法判別部７２は、上記のような操作案内登録情報４８を参照することにより、画像処理装置２から受信した操作情報に対応する解除操作を特定し、その解除操作においてユーザーが両手操作を行う必要があるか否かを判別する。エラーを解除するために両手操作を行うことが必要な場合、ユーザーは携帯端末装置３を片手に持った状態で操作を行うことができない。そのため、携帯端末装置３の表示部４１に画像による案内を表示したとしても、ユーザーは、画像による案内を見ることができない。そこで案内方法判別部７２は、両手操作を行うことが必要な場合、音声による案内を行うことを決定する。

これに対し、片手で解除操作を行うことが可能な場合、ユーザーは携帯端末装置３を一方の手に持った状態で他方の手で解除操作を行うことができる。つまり、片手で解除操作を行うことが可能な場合、ユーザーは、画像による案内を見ながら操作を進めることができる。そこで案内方法判別部７２は、画像処理装置２から受信した操作情報に対応する解除操作をユーザーが片手で行うことが可能な場合、画像による案内を行うことを決定する。

また案内方法判別部７２は、案内方法を決定するとき、撮像部４５を駆動して撮像部４５から撮影画像を取得する。そして案内方法判別部７２は、その撮影画像を解析し、撮影画像にユーザーの顔画像が含まれているか否かを判別する。撮影画像にユーザーの顔画像が含まれている場合、ユーザーが表示部４１を視認していると推定することができる。これに対し、撮影画像にユーザーの顔画像が含まれていない場合、ユーザーが表示部４１を視認していないと推定することができる。そのため、案内方法判別部７２は、撮影画像にユーザーの顔画像が含まれていれば、画像による案内を行うことを決定する。すなわち、案内方法判別部７２は、ユーザーが行うべき解除操作が両手で行うことの必要な操作であっても、画像による案内を行うことを決定するのである。また案内方法判別部７２は、撮影画像にユーザーの顔画像が含まれていなければ、音声による案内を行うことを決定する。すなわち、案内方法判別部７２は、ユーザーが行うべき解除操作が片手で行うことの可能な操作であっても、音声による案内を行うことを決定するのである。

また操作案内部７５は、ユーザーによる操作に基づいて案内方法を画像による案内から音声による案内へ、又は、音声による案内を画像による案内へ切り替えることも可能である。これにより、音声による案内では操作内容が良く判らなかった場合に、ユーザーは手動操作で案内方法を画像による案内へ切り替えることにより、操作内容を正確に把握することができるようになる。

操作案内部７５は、案内方法判別部７２によって決定される案内方法に基づき、ユーザーが行うべき操作の案内処理を行うものである。この操作案内部７５は、音声案内部７６と、画像案内部７７とを備えており、案内方法判別部７２の決定結果に基づき音声案内部７６及び画像案内部７７を択一的に動作させる。

音声案内部７６は、音声による案内を行う処理部であり、画像処理装置２から受信した操作情報に対応する音声データを読み出し、その音声データに基づいてスピーカー４４を駆動することにより、スピーカー４４から音声による案内を出力させる。すなわち、音声案内部７６は、ステップごとの音声データに基づく音声再生処理をＣＰＵ４０ａに行わせることにより、音声に基づく案内をスピーカー４４から出力させるのである。また音声案内部７６は、案内方法判別部７２から音声による案内の一時停止や再生が指示された場合には、案内方法判別部７２からの指示に基づいて音声による案内を一時停止させたり、再生したりする。音声案内部７６によって音声による案内が行われているとき、操作案内部７５は、表示部４１に供給する電源をオフにしても良い。これにより、携帯端末装置３において消費される電力を抑えることができるようになる。

画像案内部７７は、画像による案内を行う処理部であり、画像処理装置２から受信した操作情報に対応する画像データを読み出し、その画像データに基づいて表示部４１に動画像を表示させる。すなわち、画像案内部７７は、ステップごとの画像データに基づく動画再生処理をＣＰＵ４０ａに行わせることにより、画像に基づく案内を表示部４１に表示させるのである。また画像案内部７７は、案内方法判別部７２から画像による案内の一時停止や再生が指示された場合には、案内方法判別部７２からの指示に基づいて画像による案内を一時停止させたり、再生したりする。

また案内方法判別部７２は、画像処理装置２から誤操作情報を受信した場合、操作案内部７５に対して誤操作を報知するように指示をする。これにより、操作案内部７５は、ユーザーによって行われている操作が誤操作であることを報知する。この報知はスピーカー４４から出力される音声によって行われることが好ましい。音声による報知は、ユーザーが表示部４１を視認していなくてもユーザーに認識させることができるからである。

また案内方法判別部７２は、画像処理装置２から誤操作情報を受信した場合、操作案内部７５に対して再び画像又は音声による案内を行うように指示をする。これにより、操作案内部７５は、再び画像又は音声による案内を行うため、ユーザーに対して正しい操作内容を容易に把握させることができるようになる。

操作判別部７３は、ユーザーによってエラーを解除する操作が行われているときに、そのユーザーの操作が誤操作であるか否かを判別する処理部である。操作判別部７３は、撮像部４５を駆動し、ユーザーの操作を動画像として撮影した撮影画像を取得する。そして操作判別部７３は、その撮影画像を利用してユーザーの操作が誤操作であるか否かを判別する。より詳しく説明すると、操作判別部７３は、誤操作検知部７４を備えている。誤操作検知部７４は、撮像部４５がユーザーの操作を撮影した撮影画像に基づき、ユーザーの操作が誤操作であればそれを検知する。操作判別部７３は、誤操作検知部７４によって誤操作が検知された場合に、ユーザーによって行われている操作が誤操作であると判別する。

図１０は、ユーザーの操作を撮影した撮影画像Ｇ１の一例を示す図である。尚、図１０は、画像処理装置２の側面に設けられた扉４ａの内側にあるホルダー６ａに携帯端末装置３がセットされた状態で撮影された撮影画像Ｇ１の例を示している。誤操作検知部７４は、図１０に示すような撮影画像Ｇ１を取得すると、その撮影画像Ｇ１から紙詰まりした用紙９を検出する。撮影画像Ｇ１に写っている内部機構５ａは、概ね黒色で統一されており、用紙９は白色などの内部機構５ａとは異なる色である。そのため、誤操作検知部７４は、内部機構５ａの色とは異なる白色などの画像部分を紙詰まりした用紙９として検出し、用紙９の画像部分を用紙９の特徴点として抽出する。また画像処理装置２の内部機構５ａにユーザーが操作可能なローラーやレバーなどの操作部材が含まれる場合、それらの操作部材は例えば緑色などの所定色で着色されている。そのため、誤操作検知部７４は、撮影画像Ｇ１に対して所定色の画像部分が含まれているか否かを解析し、所定色の画像部分が含まれていればその画像部分をローラーやレバーなどの操作部材の特徴点として抽出する。

また図１０に示すように撮影画像Ｇ１にユーザーの手８が含まれている場合、誤操作検知部７４は、その手８を検出する。すなわち、ユーザーの手８は、特徴的な形状を有し、また画像処理装置２の内部機構５ａとは異なる色である。そのため、誤操作検知部７４は、撮影画像Ｇ１を取得すると、その撮影画像Ｇ１に含まれる画像成分の形状及び色を解析することによってユーザーの手８を検出し、ユーザーの手８が写っている画像部分をユーザーの手８の特徴点として抽出する。

撮像部４５によって撮影される画像は動画像であるため、誤操作検知部７４は、上記のような特徴点を抽出する処理を繰り返し実行し、ユーザーの手８の特徴点の移動軌跡を導出することにより、ユーザーによって行われている操作を検出する。例えば、ユーザーが行うべき操作が用紙９を所定方向に引き抜く操作である場合、誤操作検知部７４は、手８の特徴点が用紙９の特徴点と重なった状態になれば、ユーザーの手８が紙詰まりした用紙９を掴んだことを検知する。そして誤操作検知部７４は、ユーザーの手８が用紙９を掴んだことを検知した後、ユーザーの手８が用紙９を正しく引き抜く際の所定方向とは異なる方向に移動したことを検知すると、ユーザーによって行われている操作が誤操作であることを検知する。したがって、誤操作検知部７４は、ユーザーによる用紙９の引き抜き操作が行われている状態のときに誤操作を検知することができる。

またユーザーが行うべき操作がローラーを所定方向に回転させる操作である場合、誤操作検知部７４は、手８の特徴点がローラーの特徴点と重なった状態になれば、ユーザーの手８がローラーを掴んだことを検知する。そして誤操作検知部７４は、ユーザーの手８がローラーを掴んだことを検知した後、ユーザーの手８によるローラーの回転方向が所定方向とは異なる方向であることを検知すると、ユーザーによって行われている操作が誤操作であることを検知する。したがって、誤操作検知部７４は、ユーザーによるローラーの回転操作が行われている状態のときに誤操作を検知することができる。

またユーザーが行うべき操作がレバーを所定方向に移動させる操作である場合、誤操作検知部７４は、手８の特徴点がレバーの特徴点と重なった状態になれば、ユーザーの手８がレバーに触れたことを検知する。そして誤操作検知部７４は、ユーザーの手８がレバーに触れたことを検知した後、ユーザーによるレバーの移動方向が所定方向とは異なる方向であることを検知すると、ユーザーによって行われている操作が誤操作であることを検知する。したがって、誤操作検知部７４は、ユーザーによるレバーの移動操作が行われている状態のときに誤操作を検知することができる。

また誤操作検知部７４は、撮影画像Ｇ１においてユーザーの手８を検出した後、そのユーザーの手８の特徴点が用紙やローラー、レバーなどの位置する操作位置とは異なる方向に移動していることを検知した場合にも誤操作であることを検知する。したがって、誤操作検知部７４は、ユーザーによってエラーを解除するための操作が行われようとしているときにユーザーの手８が間違った方向へ移動していれば、それを誤操作として検知することができる。

またユーザーが行うべき操作が用紙やトレーなどの消耗品を補給又は交換する操作である場合、誤操作検知部７４は、撮影画像Ｇ１に消耗品画像が含まれるか否かを判断し、消耗品画像が含まれる場合には、その消耗品画像を抽出して画像解析を行うことにより、補給又は交換対象となる正しい消耗品であるか否かを判定する。例えばトナーの交換である場合、トナーの筐体にはトナー色と同じ色のシールなどが貼付されているため、誤操作検知部７４は、筐体に貼付されているシールの色を判別することにより、交換対象となる正しい消耗品であるか否かを判定する。また用紙の補給である場合、誤操作検知部７４は、撮影画像Ｇ１に写っている用紙画像のサイズから正しいサイズの用紙であるか否かを判定する。したがって、誤操作検知部７４は、ユーザーによって誤った消耗品が補給又は交換されようとしている場合にも、誤操作を検知することができる。

また用紙搬送部３３の複数箇所で紙詰まりが発生している場合、誤操作検知部７４は、操作情報において定義された操作順序と異なる順序で紙詰まりした用紙が取り除かれようとしていることを検知すると、そのようなユーザーの操作を誤操作として検知する。したがって、誤操作検知部７４は、ユーザーによって誤った順序で用紙が取り除かれてしまう前に、誤操作を検知することができる。

誤操作検知部７４は、上記のようにして撮像部４５から得られる撮影画像Ｇ１を解析することにより、ユーザーの操作が誤操作であるか否かを検知する。このような検知方法の場合、撮影画像Ｇ１からユーザーの手８や用紙９、ローラー、レバーなどの特徴点を抽出することができなければ、誤操作であるか否かを判定することができなくなる。そのため、誤操作検知部７４において誤操作を判定するための特徴点を抽出することができなかった場合、操作判別部７３は、操作案内部７５に対し、エラーを解除する操作を行う箇所の撮影を促すことを指示する。この指示に基づき、操作案内部７５は、音声案内部７６を駆動し、ユーザーに対し、エラーを解除する操作を行う箇所の撮影を促す音声メッセージをスピーカー４４から出力させる。この音声メッセージにより、ユーザーは、操作箇所を撮影する必要があることを把握し、携帯端末装置３の撮像部４５を操作箇所に向けて撮影可能な状態にすることができる。

操作判別部７３は、誤操作検知部７４によって誤操作が検知されると、操作案内部７５に対して誤操作を報知するように指示をする。これにより、操作案内部７５は、ユーザーによって行われている操作が誤操作であることを報知する。この報知はスピーカー４４から出力される音声によって行われることが好ましい。音声による報知は、ユーザーが表示部４１を視認していなくてもユーザーに認識させることができるからである。

また操作判別部７３は、誤操作検知部７４によって誤操作が検知されると、操作案内部７５に対して再び画像又は音声による案内を行うように指示をする。これにより、操作案内部７５は、再び画像又は音声による案内を行うため、ユーザーに対して正しい操作内容を容易に把握させることができるようになる。

次に図１１は、画像処理装置２でエラーが発生した場合に画像処理装置２及び携帯端末装置３が互いに連携しながら行うプロセスの流れを示す図である。図１１に示すように、画像処理装置２は、エラーを検知すると（プロセスＰ１）、まずエラーが発生したことを報知する（プロセスＰ２）これにより、画像処理装置２の近傍に居るユーザーは、画像処理装置２においてエラーが発生したことを把握することができる。そして携帯端末装置３は、ユーザーによるアプリケーションの起動指示に基づいてアプリケーションを起動させる（プロセスＰ３）。ただし、これに限らず、携帯端末装置３は、画像処理装置２からの命令に基づいてアプリケーションを自動起動させるものであっても構わない。

画像処理装置２は、エラーを報知すると、そのエラーを解除するためにユーザーが行うべき解除操作を特定する（ステップＳ４）。そして画像処理装置２は、その解除操作に対応する操作情報Ｄ１０を生成し、その操作情報Ｄ１０を携帯端末装置３へ送信する（プロセスＰ５）。

携帯端末装置３は、画像処理装置２から送信される操作情報Ｄ１０を受信すると（プロセスＰ６）、ユーザーに対する解除操作の案内方法を判別する（プロセスＰ７）。このとき、携帯端末装置３は、画像処理装置２から受信した操作情報Ｄ１０に対応する解除操作が両手操作の必要な操作であるか否か、又は、撮像部４５によって撮影された撮影画像にユーザーの顔画像が含まれているか否かに応じて、音声による案内と画像による案内とのいずれか一方を決定する。そして携帯端末装置３は、プロセスＰ７における判別結果に基づき、音声による案内と画像による案内とのいずれか一方でエラーを解除するための操作を案内する（プロセスＰ８）。

携帯端末装置３は、画像又は音声による案内を開始することに伴い、撮像部４５によるユーザー操作の撮影を開始する（プロセスＰ９）。これにより、操作判別部７３による誤操作の判別処理が開始される。つまり、ユーザーによってエラーを解除するための操作が開始されると、携帯端末装置３はその操作を逐次撮影し、誤操作であるか否かをリアルタイムで判別するのである。そして携帯端末装置３は、ユーザーの操作が誤操作であることが検知すると（プロセスＰ１０）、ユーザーに対して誤操作であることを報知し、音声又は画像で正しい操作を案内する（プロセスＰ１１）。以後、携帯端末装置３は、誤操作を検知する度に、プロセスＰ１１，Ｐ１２の処理を繰り返す。

一方、画像処理装置２は、エラーが解除されたことを検知すると（プロセスＰ１２）、携帯端末装置３に対してエラー解除通知Ｄ１１を送信する（プロセスＰ１３）。そして携帯端末装置３は、画像処理装置２からエラー解除通知Ｄ１１を受信すると、ユーザーの操作の撮影動作を終了させる。また携帯端末装置３は、撮影動作を終了させることに伴い、アプリケーションの起動を終了させるようにしても良い。

次に画像処理装置２において行われる処理について説明する。図１２は、画像処理装置２において行われる処理手順の一例を示すフローチャートである。この処理は、画像処理装置２においてエラーが検知されることに伴って開始される。画像処理装置２は、この処理を開始すると、まずエラーを検知したセンサーを特定する（ステップＳ１０）。センサーを特定することができると、画像処理装置２は、エラー判別情報１５を参照し（ステップＳ１１）、ユーザーが行うべき解除操作を特定する（ステップＳ１２）。そして画像処理装置２は、特定した解除操作に対応する操作情報を読み出して携帯端末装置３へ送信する（ステップＳ１３）。

その後、画像処理装置２は、エラーが解除されたことを検知するまで待機し（ステップＳ１４でＮＯ）、エラーが解除されたことを検知すると（ステップＳ１４でＹＥＳ）、エラー解除通知を携帯端末装置３へ送信する（ステップＳ１５）。以上で、画像処理装置２における処理が終了する。

次に携帯端末装置３において行われる処理について説明する。図１３は、携帯端末装置３において行われる主たる処理手順の一例を示すフローチャートである。この処理は、携帯端末装置３において画像処理装置２と連携するアプリケーションが起動することによって開始される。携帯端末装置３は、この処理を開始すると、まず操作案内登録情報４８を読み出す（ステップＳ２０）。そして携帯端末装置３は、画像処理装置２から操作情報を受信するまで待機する状態となる（ステップＳ２１）。

画像処理装置２から操作情報を受信すると（ステップＳ２１でＹＥＳ）、携帯端末装置３は、操作案内登録情報４８を参照し（ステップＳ２２）、ユーザーに対して解除操作を案内する際の案内方法を決定する（ステップＳ２３）。このとき、携帯端末装置３は、ユーザーが行うべき操作が両手で行うことが必要な操作であるか否かを判別するだけでなく、撮像部４５で撮影した撮影画像に基づきユーザーが表示部４１を視認しているか否かについても判別し、案内方法を、画像よる案内と音声による案内とのいずれか一方に決定する。そして携帯端末装置３は、ステップＳ２３で決定した案内方法に基づき、ユーザーが行うべき操作を案内する。

続いて携帯端末装置３は、撮像部４５を駆動し、ユーザー操作の撮影を開始する（ステップＳ２５）。そして携帯端末装置３は、撮像部４５から逐次得られる撮影画像に基づき、誤操作判別処理を行う（ステップＳ２６）。この誤操作判別処理では、ユーザーの操作が誤操作であるか否かが逐次判別される。尚、誤操作判別処理の詳細については後述する。

そして携帯端末装置３は、誤操作判別処理において誤操作が検知されたか否かを判別し（ステップＳ２７）、誤操作が検知された場合（ステップＳ２７でＹＥＳ）、ユーザーに対して誤操作であることを報知する（ステップＳ２８）。このとき、携帯端末装置３は、スピーカー４４から出力する音声で誤操作であることを報知することにより、表示部４１を視認していないユーザーに対しても誤操作であることを認識させることができる。また携帯端末装置３は、ユーザーに対して正しい操作を再び案内する処理を行う（ステップＳ２９）。このとき、携帯端末装置３は、画像による案内を行うことにより、音声よる案内よりも分かり易い態様でユーザーに正しい操作を案内することができる。尚、誤操作判別処理において誤操作が検知されていない場合（ステップＳ２７でＮＯ）、ステップＳ２８，Ｓ２９の処理はスキップする。

続いて携帯端末装置３は、画像処理装置２からエラー解除通知を受信したか否かを判断する（ステップＳ３０）。その結果、エラー解除通知を受信していない場合（ステップＳ３０でＮＯ）、携帯端末装置３による処理はステップＳ２６へ戻り、誤操作判別処理以降の上述した処理を繰り返す。これに対し、画像処理装置２からエラー解除通知を受信した場合（ステップＳ３０でＹＥＳ）、携帯端末装置３で起動しているアプリケーションの処理が終了する。

図１４は、誤操作判別処理（ステップＳ２６）の詳細な処理手順の一例を示すフローチャートである。携帯端末装置３は、この処理を開始すると、ユーザーが行うべき操作が消耗品の補給又は交換であるか否かを判断する（ステップＳ４０）。その結果、消耗品の補給又は交換であった場合（ステップＳ４０でＹＥＳ）、携帯端末装置３は、撮像部４５から得られる撮影画像Ｇ１から消耗品画像を抽出し（ステップＳ４１）、その消耗品画像を解析することにより正しい消耗品であるか否かを判断する（ステップＳ４２）。その結果、撮影画像Ｇ１に写っている消耗品が間違った消耗品であった場合（ステップＳ４２でＮＯ）、携帯端末装置３は、ユーザーによる操作が誤操作であることを検知する（ステップＳ４３）。これに対し、撮影画像Ｇ１に写っている消耗品が正しい消耗品であった場合（ステップＳ４２でＹＥＳ）、携帯端末装置３による処理はステップＳ４４へ進む。またユーザーが行うべき操作が消耗品の補給又は交換でなかった場合も（ステップＳ４０でＮＯ）、ステップＳ４４へ進む。尚、携帯端末装置３は、ステップＳ４１において消耗品画像を抽出することができなかった場合には、ユーザーに消耗品の撮影を促すようにしても良い。

ステップＳ４４に進むと、携帯端末装置３は、撮影画像Ｇ１から各種の特徴点を抽出する処理を行う。すなわち、携帯端末装置３は、撮影画像Ｇ１に写っている用紙９、ユーザーの手８、ユーザーが操作可能なローラーやレバーなどの操作部材の特徴点を抽出する処理を行う。ただし、撮影画像Ｇ１に、用紙９や手８、ローラーやレバーなどが写っていなければそれらの特徴点を抽出することができない。そのため、携帯端末装置３は、特徴点の抽出に成功したか否かを判断し（ステップＳ４５）、特徴点の抽出に失敗した場合には（ステップＳ４５でＮＯ）、ユーザーに対して撮影案内を行う（ステップＳ４６）。この撮影案内では、エラーを解除する操作を行う箇所の撮影を行うことを案内すると共に、必要に応じてホルダー６に携帯端末装置３をセットすべきことを案内する。

一方、特徴点の抽出に成功している場合（ステップＳ４５でＹＥＳ）、携帯端末装置３は、その特徴点の移動軌跡に基づいて特徴点の追跡を開始する（ステップＳ４７）。そして携帯端末装置３は、ユーザーの手８の特徴点が用紙９や操作部材などの対象物の特徴点と重なった状態となった否かを判別することにより、ユーザーの手８が対象物を掴んだか否かを判断する（ステップＳ４８）。その結果、ユーザーの手８が対象物を掴んでいない場合（ステップＳ４８でＮＯ）、携帯端末装置３は、ユーザーの手８の特徴点の移動軌跡に基づいてユーザーの手８の移動方向を検知する（ステップＳ４９）。そしてユーザーの手８の移動方向が用紙９や操作部材などの対象物に向かう方向であるか否かを判断し（ステップＳ５０）、ユーザーの手８が対象物に向かっていれば（ステップＳ５０でＹＥＳ）、ユーザーが正しい操作を行っていることになるため、誤操作判別処理が終了する。これに対し、ユーザーの手８が対象物とは異なる方向に移動している場合（ステップＳ５０でＮＯ）、携帯端末装置３は、ユーザーの操作が誤操作であることを検知する（ステップＳ５１）。

またユーザーの手８が対象物を掴んでいることを検知した場合（ステップＳ４８でＹＥＳ）、携帯端末装置３は、対象物の特徴点の移動軌跡に基づいて対象物の移動方向を検知する（ステップＳ５２）。そして対象物がエラーを解除するための正しい方向に移動しているか否かを判断する（ステップＳ５３）。その結果、対象物が正しい方向に移動していれば（ステップＳ５３でＹＥＳ）、ユーザーが正しい操作を行っていることになるため、誤操作判別処理が終了する。これに対し、対象物が正しい方向とは異なる方向に移動している場合（ステップＳ５３でＮＯ）、携帯端末装置３は、ユーザーの操作が誤操作であることを検知する（ステップＳ５１）。

以上のようの誤操作判別処理（ステップＳ２６）が繰り返し行われることにより、ユーザーが間違った操作を行おうとしたときに誤操作を速やかに検知することができるようになり、ユーザーの操作が完了する前に、ユーザーに対して誤操作であることを報知すると共に、正しい操作を案内することができるようになる。

以上のように、本実施形態の画像処理システム１は、画像処理装置２と携帯端末装置３とが近距離通信を行うことが可能であり、画像処理装置２においてエラーが発生すると、画像処理装置２から携帯端末装置３に対してエラーを解除するための操作情報を送信する。また携帯端末装置３は、画像処理装置２から操作情報を受信すると、その操作情報に基づいてエラーを解除するための操作を案内すると共に、ユーザーによって行われる操作を撮影し、その撮影画像に基づいてユーザーによって行われている操作が誤操作であるか否かをリアルタイムに判別する。そしてユーザーによって行われている操作が誤操作であると判別すると、携帯端末装置３は、直ぐにユーザーに対して誤操作であることを報知し、ユーザーに対して正しい操作を案内する。したがって、本実施形態の画像処理システム１は、ユーザーによって行われている操作が誤操作であれば、その操作が完了してしまう前に、ユーザーに対して誤操作であることを認識させることが可能であり、速やかに誤操作を中断させて正しい操作を行わせることが可能である。

また画像処理装置２は、エラーを解除する操作のために内部機構を開放可能な開閉部材４を備えており、その開閉部材４の内側に携帯端末装置３を保持するホルダー６が設けられている。そのため、ユーザーは、ホルダー６に携帯端末装置３をセットした状態でエラーを解除するための操作を行えば、その操作が携帯端末装置３によって撮影されるようになる。したがって、携帯端末装置３は、ユーザーによって行われる操作を適切に撮影することができるようになる。

また携帯端末装置３は、ユーザーが行うべき操作を案内するとき、撮像部４５によって得られる撮影画像にユーザーの顔画像が含まれていれば画像による案内を行い、撮像部４５によって得られる撮影画像にユーザーの顔画像が含まれていなければ音声による案内を行う。つまり、ユーザーが表示部４１を見ていないときには音声のみによる案内を行い、表示部４１に画像による案内を表示させないため、携帯端末装置３において消費される電力を抑えることができる。

以上、本発明に関する一実施形態について説明したが、本発明は、上記実施形態において説明した内容のものに限られるものではなく、種々の変形例が適用可能である。

例えば上記実施形態において説明した画像処理装置２のエラーは、単なる一例である。したがって、画像処理装置２において発生するエラーには、上述したエラー以外のものが含まれていても構わない。

また上記実施形態では、携帯端末装置３において撮影画像Ｇ１を解析し、ユーザーによって行われている操作が間違っていれば誤操作を検知する場合を例示した。しかし、これに限られるものではなく、誤操作を検知する処理を画像処理装置２において行うようにしても良い。この場合の動作は例えば次のようなものになる。携帯端末装置３における操作判別部７３が撮像部４５から撮影画像Ｇ１を取得すると、その撮影画像Ｇ１を画像処理装置２へ送信する。画像処理装置２は、携帯端末装置３から撮影画像Ｇ１を取得すると、誤操作検知部６４を機能させる。そして誤操作検知部６４は、携帯端末装置３から取得した撮影画像Ｇ１を解析することにより、ユーザーによって行われている操作が誤操作であるか否かを判定する。誤操作検知部６４は、誤操作を検知すると、携帯端末装置３に対して誤操作情報を送信する。そして携帯端末装置３の操作判別部７３は、画像処理装置２から誤操作情報を受信した場合に、ユーザーによって行われている操作が誤操作であると判別する。その後の処理は、上記実施形態で説明したものと同様である。

また上記実施形態では、携帯端末装置３がユーザーによって占有的に所持されるスマートフォンやタブレット端末、パーソナルコンピュータなどで構成される場合を例示した。しかし、携帯端末装置３は、必ずしもユーザーによって占有的に所持される装置でなくても構わない。例えば、画像処理装置２の操作パネル１１が、画像処理装置２の装置本体に対して着脱可能な場合には、画像処理装置２の装置本体から取り外した操作パネル１１が上述した携帯端末装置３として機能するものであっても構わない。

１ 画像処理システム
２ 画像処理装置
３ 携帯端末装置
４５ 撮像部（撮像手段）
６１ エラー検知部（エラー検知手段）
６２ 操作情報送信部（操作情報送信手段）
６４ 誤操作検知部（誤操作検知手段）
７３ 操作判別部（操作判別手段）
７４ 誤操作検知部（誤操作検知手段）
７５ 操作案内部（案内手段）

Claims (17)

1. 画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、
   前記画像処理装置は、
   前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、
   前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、
   前記携帯端末装置は、
   前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、
   ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、
   前記撮像手段によって得られる撮影画像に基づいて、ユーザーの手がエラーを解除するための操作位置とは異なる方向へ移動していることを検知した場合に、ユーザーの操作が誤操作であることを検知する誤操作検知手段と、を備え、
   前記案内手段は、前記誤操作検知手段によってユーザーの操作が誤操作であることが検知された場合にユーザーに対して誤操作であることを報知することを特徴とする画像処理システム。
2. 画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、
   前記画像処理装置は、
   前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、
   前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、
   前記携帯端末装置で撮影された撮影画像を取得して解析することによりユーザーの操作が誤操作であることを検知する誤操作検知手段と、を備え、
   前記携帯端末装置は、
   前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、
   ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、
   前記撮像手段によって得られる撮影画像を前記画像処理装置へ送信し、前記誤操作検知手段によって誤操作であることが検知された場合にユーザーの操作が誤操作であると判別する操作判別手段と、を備え、
   前記誤操作検知手段は、前記撮像手段によって得られる撮影画像に基づいて、ユーザーの手がエラーを解除するための操作位置とは異なる方向へ移動していることを検知した場合に、ユーザーの操作が誤操作であることを検知し、
   前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする画像処理システム。
3. 前記エラー検知手段は、用紙搬送路における紙詰まりをエラーとして検知し、
   前記操作情報送信手段は、エラーを解除するための操作として、前記用紙搬送路において紙詰まりした用紙を所定方向に引き抜く操作を特定し、
   前記誤操作検知手段は、前記撮像手段によって得られる撮影画像に基づいてユーザーの手が用紙を掴んだことを検知した後、ユーザーの手の移動方向が前記所定方向と異なる方向であることを検知した場合に、誤操作を検知することを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記エラー検知手段は、用紙搬送路における紙詰まりをエラーとして検知し、
   前記操作情報送信手段は、エラーを解除するための操作として、前記用紙搬送路に設けられるローラーを所定方向に回転させる操作を特定し、
   前記誤操作検知手段は、前記撮像手段によって得られる撮影画像に基づいてユーザーの手が前記ローラーを掴んだことを検知した後、ユーザーの手による前記ローラーの回転方向が前記所定方向と異なる方向であることを検知した場合に、誤操作を検知することを特徴とする請求項１又は２に記載の画像処理システム。
5. 前記エラー検知手段は、用紙搬送路における紙詰まりをエラーとして検知し、
   前記操作情報送信手段は、エラーを解除するための操作として、前記用紙搬送路に設けられるレバーを所定方向に移動させる操作を特定し、
   前記誤操作検知手段は、前記撮像手段によって得られる撮影画像に基づいてユーザーの手が前記レバーに触れたことを検知した後、ユーザーの手による前記レバーの移動方向が前記所定方向と異なる方向であることを検知した場合に、誤操作を検知することを特徴とする請求項１又は２に記載の画像処理システム。
6. 前記操作情報送信手段は、前記用紙搬送路における複数箇所での紙詰まりがエラーとして検知された場合に、エラーを解除するための操作として、前記複数箇所から所定の順序で紙詰まりした用紙を取り除く操作を特定し、
   前記誤操作検知手段は、前記撮像手段によって得られる撮影画像に基づいて、ユーザーによる紙詰まりした用紙の取り除き順序が前記所定の順序と異なることを検知した場合に、誤操作を検知することを特徴とする請求項３乃至５のいずれかに記載の画像処理システム。
7. 画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、
   前記画像処理装置は、
   前記画像処理装置における消耗品のエンプティ状態をエラーとして検知するエラー検知手段と、
   前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作として、前記消耗品を補給又は交換する操作を特定し、該特定した操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、
   前記携帯端末装置は、
   前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、
   ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、
   前記撮像手段によって得られる撮影画像から消耗品画像を抽出して解析することにより正しい消耗品であるか否かを判定し、正しい消耗品でないと判定した場合に、ユーザーの操作が誤操作であることを検知する誤操作検知手段と、
   前記誤操作検知手段がユーザーの操作が誤操作であると判別する操作判別手段と、を備え、
   前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする画像処理システム。
8. 画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、
   前記画像処理装置は、
   前記画像処理装置における消耗品のエンプティ状態をエラーとして検知するエラー検知手段と、
   前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作として、前記消耗品を補給又は交換する操作を特定し、該特定した操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、
   前記携帯端末装置で撮影された撮影画像を取得して解析することによりユーザーの操作が誤操作であることを検知する誤操作検知手段と、を備え、
   前記携帯端末装置は、
   前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、
   ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、
   前記撮像手段によって得られる撮影画像を前記画像処理装置へ送信し、前記誤操作検知手段によって誤操作であることが検知された場合にユーザーの操作が誤操作であると判別する操作判別手段と、を備え、
   前記誤操作検知手段は、前記撮像手段によって得られる撮影画像から消耗品画像を抽出して解析することにより正しい消耗品であるか否かを判定し、正しい消耗品でないと判定した場合に、誤操作を検知し、前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする画像処理システム。
9. 画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、
   前記画像処理装置は、
   前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、
   前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、
   を備え、
   前記携帯端末装置は、
   前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、
   ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、
   前記撮像手段によって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する操作判別手段と、を備え、
   前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知し、
   前記画像処理装置は、さらにエラーを解除する操作のために内部機構を開放可能な開閉部材と、
   前記開閉部材の内側に設けられ、前記携帯端末装置を保持するホルダーと、を備え、
   前記ホルダーは、ユーザーによってエラーを解除する操作が行われるときに前記撮像手段が前記内部機構を撮影可能な状態に前記携帯端末装置を保持する、ことを特徴とする画像処理システム。
10. 画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、
    前記画像処理装置は、
    前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、
    前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、
    前記携帯端末装置は、
    前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、
    ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、
    前記撮像手段によって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する操作判別手段と、を備え、
    前記操作判別手段は、前記撮像手段によって得られる撮影画像から所定の特徴点を抽出することができない場合に、ユーザーに対し、エラーを解除する操作を行う箇所の撮影を促し、
    前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする画像処理システム。
11. 画像処理装置と携帯端末装置とが近距離通信を行うことが可能な画像処理システムであって、
    前記画像処理装置は、
    前記画像処理装置においてエラーが発生したことを検知するエラー検知手段と、
    前記エラー検知手段によって検知されるエラーを解除するためにユーザーが行うべき操作を特定し、該操作に関する操作情報を前記携帯端末装置へ送信する操作情報送信手段と、を備え、
    前記携帯端末装置は、
    前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、
    ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、
    前記撮像手段によって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する操作判別手段と、を備え、
    前記案内手段は、ユーザーが行うべき操作を案内するとき、前記撮像手段によって得られる撮影画像にユーザーの顔画像が含まれていれば画像による案内を行い、前記撮像手段によって得られる撮影画像にユーザーの顔画像が含まれていなければ音声による案内を行い、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする画像処理システム。
12. 画像処理装置と近距離通信を行うことが可能な携帯端末装置であって、
    前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する操作情報受信手段と、
    前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、
    ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、
    前記撮像手段によって得られる撮影画像に基づいて、ユーザーの手がエラーを解除するための操作位置とは異なる方向へ移動していることを検知した場合に、ユーザーの操作が誤操作であることを検知する誤操作検知手段と、を備え、
    前記案内手段は、前記誤操作検知手段によってユーザーの操作が誤操作であることが検知された場合にユーザーに対して誤操作であることを報知することを特徴とする携帯端末装置。
13. 画像処理装置と近距離通信を行うことが可能な携帯端末装置であって、
    前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する操作情報受信手段と、
    前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、
    ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、
    前記撮像手段によって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する操作判別手段と、を備え、
    前記操作判別手段は、前記撮像手段によって得られる撮影画像から所定の特徴点を抽出することができない場合に、ユーザーに対し、エラーを解除する操作を行う箇所の撮影を促し、
    前記案内手段は、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする携帯端末装置。
14. 画像処理装置と近距離通信を行うことが可能な携帯端末装置であって、
    前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する操作情報受信手段と、
    前記操作情報に基づいてユーザーが行うべき操作を案内する案内手段と、
    ユーザーによってエラーを解除する操作が行われるときの画像を撮影する撮像手段と、
    前記撮像手段によって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する操作判別手段と、を備え、
    前記案内手段は、ユーザーが行うべき操作を案内するとき、前記撮像手段によって得られる撮影画像にユーザーの顔画像が含まれていれば画像による案内を行い、前記撮像手段によって得られる撮影画像にユーザーの顔画像が含まれていなければ音声による案内を行い、前記操作判別手段によってユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知することを特徴とする携帯端末装置。
15. 画像処理装置と近距離通信を行うことが可能な携帯端末装置において実行されるプログラムであって、前記携帯端末装置に、
    前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する第１ステップと、
    前記操作情報に基づいてユーザーが行うべき操作を案内する第２ステップと、
    ユーザーによってエラーを解除する操作が行われるときの画像を撮影する第３ステップと、
    前記第３ステップによって得られる撮影画像に基づいて、ユーザーの手がエラーを解除するための操作位置とは異なる方向へ移動していることを検知した場合に、ユーザーの操作が誤操作であることを検知する第４ステップと、
    前記第４ステップにおいてユーザーの操作が誤操作であることが検知された場合にユーザーに対して誤操作であることを報知する第５ステップと、を実行させることを特徴とするプログラム。
16. 画像処理装置と近距離通信を行うことが可能な携帯端末装置において実行されるプログラムであって、前記携帯端末装置に、
    前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する第１ステップと、
    前記操作情報に基づいてユーザーが行うべき操作を案内する第２ステップと、
    ユーザーによってエラーを解除する操作が行われるときの画像を撮影する第３ステップと、
    前記第３ステップによって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する第４ステップと、
    前記第４ステップにおいてユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知する第５ステップと、を実行させ、
    前記第４ステップは、前記第３ステップによって得られる撮影画像から所定の特徴点を抽出することができない場合に、ユーザーに対し、エラーを解除する操作を行う箇所の撮影を促すことを特徴とするプログラム。
17. 画像処理装置と近距離通信を行うことが可能な携帯端末装置において実行されるプログラムであって、前記携帯端末装置に、
    前記画像処理装置のエラーを解除するためにユーザーが行うべき操作に関する操作情報を、前記画像処理装置から受信する第１ステップと、
    前記操作情報に基づいてユーザーが行うべき操作を案内する第２ステップと、
    ユーザーによってエラーを解除する操作が行われるときの画像を撮影する第３ステップと、
    前記第３ステップによって得られる撮影画像に基づいてユーザーの操作が誤操作であるか否かを判別する第４ステップと、
    前記第４ステップにおいてユーザーの操作が誤操作であると判別された場合にユーザーに対して誤操作であることを報知する第５ステップと、を実行させ、
    前記第２ステップは、ユーザーが行うべき操作を案内するとき、画像撮影を行って得られる撮影画像にユーザーの顔画像が含まれていれば画像による案内を行い、前記撮影画像にユーザーの顔画像が含まれていなければ音声による案内を行うことを特徴とするプログラム。

Images