JP7351089B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

ユーザによる装置の操作を支援するための情報が、当該装置を表す画像に付加して表示される場合がある。例えば、ＡＲ（Augmented Reality）技術を用いることで、そのような情報が表示される場合がある。

特許文献１には、画像形成装置にてエラーが発生した場合、既に録画された映像から、画像形成装置についての映像を取り出すシステムが記載されている。

特開２０１５－８０８９５号公報

ところで、装置の操作を支援するための情報を、当該装置を表す画像に付加して表示するためには、通常、当該情報を当該装置に事前に関連付けて登録しておく必要がある。しかし、装置の操作を支援するための情報が、当該装置に固有の情報であるほど、事前の登録を行うことは困難である。例えば、装置にて発生し得るあらゆる事態を事前に想定し、各事態に対処するための情報を、事前に登録しておくことは現実的ではない。

本発明の目的は、装置の操作を支援するための情報が事前に当該装置に関連付けられていない場合であっても、当該情報を表示することができるようにすることにある。

請求項１に係る発明は、ユーザが装置を操作したときの位置情報を取得する取得手段と、前記位置情報を前記装置に関連付けて登録する登録手段と、前記操作と同じ操作を要する事象が発生した場合に、前記登録手段によって登録された情報に基づいて、前記操作を支援するための支援情報を、前記装置を表す画像に付加して表示手段に表示させる表示制御手段と、前記ユーザが前記装置を操作する前に撮影手段によって前記装置を撮影することで生成された操作前画像データと、前記ユーザが前記装置を操作中に前記撮影手段によって前記装置を撮影することで生成された操作中画像データと、に基づいて、前記ユーザが前記装置を操作した位置を特定する位置特定手段と、を有する情報処理装置である。

請求項２に係る発明は、前記位置情報は、前記装置上の位置に関する情報である、ことを特徴とする請求項１に記載の情報処理装置である。

請求項３に係る発明は、前記装置上の位置に関する情報は、前記ユーザが前記装置を操作した位置を示す情報である、ことを特徴とする請求項２に記載の情報処理装置である。

請求項４に係る発明は、コンピュータを、ユーザが装置を操作したときの位置情報を取得する取得手段、前記位置情報を前記装置に関連付けて登録する登録手段、前記操作と同じ操作を要する事象が発生した場合に、前記登録手段によって登録された情報に基づいて、前記操作を支援するための支援情報を、前記装置を表す画像に付加して表示手段に表示させる表示制御手段、前記ユーザが前記装置を操作する前に撮影手段によって前記装置を撮影することで生成された操作前画像データと、前記ユーザが前記装置を操作中に前記撮影手段によって前記装置を撮影することで生成された操作中画像データと、に基づいて、前記ユーザが前記装置を操作した位置を特定する位置特定手段、として機能させるプログラムである。

請求項１，４に係る発明によれば、装置の操作を支援するための情報が事前に当該装置に関連付けられていない場合であっても、当該情報を表示することができる。

請求項２，３に係る発明によれば、装置上での操作を支援するための情報を表示することができる。

請求項１，４に係る発明によれば、撮影によって、ユーザが操作した位置を特定することができる。

本実施形態に係る情報処理システムの構成を示すブロック図である。 本実施形態に係る端末装置の構成を示すブロック図である。 本実施形態に係るサーバの構成を示すブロック図である。 実施例１に係る処理を示すフローチャートを示す図である。 画面の一例を示す図である。 トラッキングデータの一例を示す図である。 トラッキングデータの一例を示す図である。 装置を模式的に示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。 実施例２に係る処理を示すフローチャートを示す図である。 画面を示す図である。 画面を示す図である。 画面を示す図である。

以下、本発明の実施形態に係る情報処理システムについて説明する。図１には、本実施形態に係る情報処理システムの一例が示されている。

本実施形態に係る情報処理システムは、例えば、端末装置１０と、サーバ１２と、装置１４とを含む。端末装置１０、サーバ１２及び装置１４のそれぞれは、通信経路Ｎを介して他の装置と通信することができる。通信経路Ｎは、例えば、ＬＡＮ（Local Area Network）等のネットワークやインターネット等である。もちろん、各装置は、ネットワークを介さずに、他の装置と直接的に通信してもよい。また、複数の端末装置１０が情報処理システムに含まれてもよいし、複数の装置１４が情報処理システムに含まれてもよい。

端末装置１０は、例えば、パーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレットＰＣ、スマートフォン又は携帯電話等の装置である。

サーバ１２は、ユーザによる装置の操作を支援するための支援情報を生成するように構成されている装置である。支援情報は、例えば、拡張現実技術（つまりＡＲ技術）によって、端末装置１０に表示される。

装置１４は、例えば、画像形成機能を有する画像形成装置、ロボット、表示装置、記録装置、再生装置、撮影装置、一般的な家電製品（例えば、冷蔵庫、電子レンジ、掃除機、洗濯機等）、空調機、又は、照明機器等である。装置１４の概念の範疇には、装置全般が含まれてもよい。例えば、情報装置、映像装置、音響装置、及び、その他の装置も、装置１４の概念の範疇に含まれてもよい。また、装置１４は、通信インターフェースを有しており、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。もちろん、通信インターフェースを有していない装置１４が、情報処理システムに含まれてもよい。

以下、図２を参照して端末装置１０の構成について詳しく説明する。

通信部１６は通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信部１６は、無線通信機能を有していてもよいし、有線通信機能を有していてもよい。

撮影部１８は、カメラ等の撮影装置であり、撮影することで画像データを生成するように構成されている。画像データは、静止画像データであってもよいし、動画像データあってもよい。

ＵＩ部２０はユーザインターフェース部であり、表示部と操作部とを含む。表示部は、液晶ディスプレイ等の表示装置である。操作部は、キーボードやマウス等の入力装置である。ＵＩ部２０は、表示部と操作部とを兼ね備えたタッチパネル等であってもよい。

位置情報取得部２２は、端末装置１０の位置を示す位置情報を取得するように構成されている。位置情報取得部２２は、例えば、ＧＰＳ（Global Positioning System）機能を利用することで、端末装置１０の位置情報を取得する。端末装置１０の位置情報は、例えば、サーバ１２に送信される。

装置情報取得部２４は、装置１４に関する装置情報を取得するように構成されている。装置情報は、例えば、装置１４にて発生した事象を示す情報である。装置１４にて発生した事象は、例えば、ユーザによる操作を必要とする事象である。例えば、装置１４にて発生したエラーが、当該事象の概念の範疇に含まれる。もちろん、装置の稼動状態を示す状態等が、装置情報であってもよい。また、装置情報には、装置１４を識別するための装置識別情報が含まれている。装置識別情報は、例えば、装置１４の名称を示す情報、装置１４のＩＤ、装置１４のＩＰアドレス、又は、装置１４のＭＡＣアドレス等である。装置情報取得部２４は、例えば、公知技術を用いて装置情報を取得する。例えば、各装置１４の装置情報が、標準ＭＩＢ（Management Information Base）等の情報管理データベースにて管理されており、装置情報取得部２４は、当該情報管理データベースから装置情報を取得する。もちろん、装置情報取得部２４は、装置１４から装置情報を取得してもよい。装置情報は、例えば、サーバ１２に送信される。

記憶部２６は、情報を記憶する１又は複数の記憶領域である。各記憶領域は、例えば、端末装置１０に設けられている１又は複数の記憶装置（例えばハードディスクドライブやメモリ等の物理ドライブ）によって構成されている。

制御部２８は、端末装置１０の各部の動作を制御するように構成されている。例えば、制御部２８は、表示制御部として機能することで、情報をＵＩ部２０の表示部に表示させる。

以下、図３を参照してサーバ１２の構成について詳しく説明する。

通信部３０は通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信部３０は、無線通信機能を有していてもよいし、有線通信機能を有していてもよい。

位置情報取得部３２は、ユーザが装置１４を操作したときの位置情報を取得するように構成されている。位置情報取得部３２は、例えば、端末装置１０から当該位置情報を取得してもよいし、後述する位置特定部３４から当該位置情報を取得してもよい。なお、位置情報取得部３２は、取得手段の一例に相当する。

ユーザが装置１４を操作したときの位置情報は、例えば、装置１４上の位置に関する情報、又は、装置１４以外の位置に関する情報である。

装置１４上の位置に関する情報は、例えば、ユーザが当該装置１４を操作した位置を示す情報である。装置１４上の位置は、例えば、後述する位置特定部３４によって特定され、位置情報取得部３２は、当該位置を示す位置情報を位置特定部３４から取得する。後述する実施例１は、装置１４上の位置に関する情報を用いた実施例である。

装置１４以外の位置に関する情報は、例えば、ユーザが当該装置１４を操作するために移動した経路に関する情報である。例えば、端末装置１０の位置情報取得部２２が、ＧＰＳ機能によってユーザの位置を特定し、ユーザが移動した場合、その移動経路を特定する。位置情報取得部３２は、そのようにして特定された移動経路に関する情報を、装置１４以外の位置に関する情報として端末装置１０から取得する。当該経路に関する情報は、例えば、装置１４に用いられる部材を取得するための経路に関する情報である。例えば、ユーザが装置１４の消耗品を取得するために移動した場合、その移動経路に関する情報が、装置１４以外の位置に関する情報に該当する。後述する実施例２は、装置１４以外の位置に関する情報を用いた実施例である。

位置特定部３４は、ユーザが装置１４を操作した位置を特定するように構成されている。位置特定部３４は、例えば、端末装置１０の撮影部１８によって装置１４を撮影することで生成された画像データに基づいて、ユーザが当該装置１４を操作した位置を特定する。具体的には、位置特定部３４は、ユーザが装置１４を操作する前に撮影部１８によって当該装置１４を撮影することで生成された画像データ（以下、「操作前画像データ」と称する）と、ユーザが当該装置１４を操作中に撮影部１８によって当該装置１４を撮影することで生成された画像データ（以下、「操作中画像データと称する」と称する）と、を端末装置１０から取得する。位置特定部３４は、操作前画像データと操作中画像データとに基づいて、ユーザが装置１４を操作した位置を特定する。例えば、位置特定部３４は、操作前画像データと操作中画像データとの差分に基づいて、ユーザが装置１４を操作した位置を特定する。ユーザが装置１４を操作した位置は、当該装置１４上の位置の一例である。位置特定部３４は、後述する実施例１にて用いられる。なお、位置特定部３４は、位置特定手段の一例に相当する。

トラッキングデータ生成部３６は、トラッキングデータを生成するように構成されている。トラッキングデータは、装置１４を表す画像データであってもよいし、ユーザによる装置１４の操作を支援するための支援情報を含むデータであってもよいし、装置１４を表す画像データと支援情報とを含むデータであってもよい。

装置１４を表す画像データは、例えば、装置１４を模式的に表す画像データであってもよいし、装置１４を撮影することで生成された画像データであってもよい。例えば、撮影部１８によって装置１４が撮影されて、当該装置１４を表す画像データが生成される。当該画像データは、端末装置１０からサーバ１２に送信される。撮影によって生成された画像データは、装置１４を表すトラッキングデータとして用いられる。

また、トラッキングデータ生成部３６は、位置情報取得部３２によって取得された位置情報に基づいて、装置１４上の位置に関する支援を示す支援情報、又は、装置１４以外の位置に関する支援を示す支援情報を生成し、支援情報を含むトラッキングデータを生成する。例えば、トラッキングデータ生成部３６は、装置１４を表す画像に支援情報を付加することでトラッキングデータを生成する。

トラッキングデータ生成部３６は、位置特定部３４によって特定された位置を指し示す画像データを、装置１４上の位置に関する支援を示す支援情報として生成し、当該画像データを含むトラッキングデータを生成する。例えば、当該トラッキングデータは、装置１４を表す画像データと、当該装置１４上の位置に関する支援を示す支援情報とを含むデータである。このトラッキングデータを生成する処理は、後述する実施例１に係る処理である。

トラッキングデータ生成部３６は、装置１４以外の位置に関する情報を含むトラッキングデータを生成してもよい。このトラッキングデータを生成する処理は、後述する実施例２に係る処理である。

登録部３８は、位置情報取得部３２によって取得された位置情報を、ユーザによって操作された装置１４に関連付けて登録するように構成されている。例えば、登録部３８は、位置情報取得部３２によって取得された位置情報と、ユーザによって操作された装置１４を識別するための装置識別情報と、トラッキングデータとを関連付けて記憶部４０に記憶させる。より詳しく説明すると、登録部３８は、装置情報取得部２４によって取得された装置情報を端末装置１０から受け、当該装置情報と、位置情報と、装置識別情報と、トラッキングデータとを関連付けて記憶部４０に記憶させる。なお、登録部３８が、登録手段の一例に相当する。

記憶部４０は、情報を記憶する１又は複数の記憶領域である。各記憶領域は、例えば、サーバ１２に設けられている１又は複数の記憶装置（例えばハードディスクドライブやメモリ等の物理ドライブ）によって構成されている。なお、記憶部４０は、サーバ１２以外の外部装置に設けられていてもよい。

制御部４２は、サーバ１２の各部の動作を制御するように構成されている。例えば、サーバ１２は、表示制御部として機能することで、情報を端末装置１０のＵＩ部２０の表示部に表示させてもよい。

例えば、制御部４２は、トラッキングデータを端末装置１０に送信して、ＵＩ部２０の表示部に表示させてもよい。もちろん、端末装置１０の制御部２８が、サーバ１２から送信されてきたトラッキングデータを受けて、そのトラッキングデータをＵＩ部２０の表示部に表示させてもよい。このように、制御部２８又は制御部４２は、表示制御手段の一例として機能する。例えば、登録部３８によって記憶部４０に記憶された装置情報が示す事象と、同じ操作を要する事象が装置１４にて発生した場合、制御部４２は、その装置情報に関連付けられているトラッキングデータを端末装置１０に送信する。そのトラッキングデータは、ＵＩ部２０の表示部に表示される。

以下では、装置１４は、一例として、画像形成装置であるものとする。画像形成装置は、例えば、コピー機能、スキャン機能、プリント機能及びファクシミリ機能の中の少なくとも１つの画像形成機能を有する。もちろん、装置１４は、画像形成装置以外の装置であってもよい。

＜実施例１＞
以下、図４を参照して、実施例１に係る処理について詳しく説明する。図４には、実施例１に係る処理を示すフローチャートが示されている。実施例１では、装置１４である画像形成装置にて、ユーザが当該画像形成装置自体を操作する必要のあるエラーが発生したものとする。この場合、ユーザが画像形成装置を操作したときの位置情報は、当該画像形成装置上の位置に関する情報である。

画像形成装置にてエラーが発生すると、端末装置１０の装置情報取得部２４は、そのエラーを示す装置情報を情報管理データベース等から取得する（Ｓ０１）。端末装置１０の制御部２８は、その装置情報をＵＩ部２０の表示部に表示させる。また、エラーを示す装置情報は、端末装置１０からサーバ１２に送信される。なお、後述するように、エラーを示す情報は、この時点では表示されず、画像形成装置が撮影部１８によって撮影された後に表示されてもよい。

端末装置１０の通信部１６は、エラーが発生した画像形成装置と通信することで、当該画像形成装置の装置識別情報（例えばＩＰアドレス等）を取得する（Ｓ０２）。例えば、通信部１６は、近距離無線通信（つまりＮＦＣ）等を用いることで、画像形成装置の装置識別情報を当該画像形成装置から取得する。装置識別情報は、端末装置１０からサーバ１２に送信される。

次に、ユーザは端末装置１０の撮影部１８によって、エラーが発生した画像形成装置を撮影する（Ｓ０３）。その撮影によって生成された画像データは、端末装置１０からサーバ１２に送信される。

エラーが発生した画像形成装置に関するトラッキングデータであって、エラーが発生した箇所を指し示す支援情報を含むトラッキングデータが、サーバ１２の記憶部４０に記憶されている場合、つまり、当該トラッキングデータがサーバ１２に登録されている場合（Ｓ０４，Ｙｅｓ）、サーバ１２の制御部４２は、当該トラッキングデータを端末装置１０に送信し、ＵＩ部２０の表示部に支援情報を表示させる（Ｓ０５）。例えば、エラーが発生した画像形成装置の装置識別情報とエラーを示す装置情報とに関連付けられているトラッキングデータが、サーバ１２の記憶部４０に記憶されている場合、当該トラッキングデータがサーバ１２から端末装置１０に送信されて、当該トラッキングデータに含まれる支援情報がＵＩ部２０の表示部に表示される。例えば、ユーザが撮影部１８によって画像形成装置を撮影すると、ＡＲ技術によって、支援情報が、画像形成装置を表す画像に付加されてＵＩ部２０の表示部に表示される。

エラーが発生した箇所を指し示す支援情報を含むトラッキングデータが、サーバ１２に登録されていない場合（Ｓ０４，Ｎｏ）、位置特定部３４は、操作前画像データと操作中画像データとの差分に基づいて、ユーザが画像形成装置を操作した位置を特定する（Ｓ０６）。ユーザが画像形成装置を操作した位置は、装置１４である画像形成装置上の位置であって、端末装置１０から送信されてきた装置情報が示すエラーが発生した位置である。例えば、ユーザが端末装置１０の撮影部１８によって、操作前の画像形成装置と操作中の画像形成装置とを撮影することで、操作前画像データと操作中画像データとが生成され、操作前画像データと操作中画像データが、端末装置１０からサーバ１２に送信される。なお、エラーを示す装置情報は、ステップＳ０１の時点で表示されず、トラッキングデータがサーバ１２に登録されていない場合に表示されてもよい。

トラッキングデータ生成部３６は、ステップＳ０６にて特定された位置を指し示す支援情報を生成し、その支援情報を含むトラッキングデータを生成する（Ｓ０７）。例えば、トラッキングデータ生成部３６は、画像形成装置を表す画像データと、ユーザが画像形成装置を操作した位置を指し示す支援情報、つまり、エラーが発生した位置を指し示す支援情報と、を含むトラッキングデータを生成する。

登録部３８は、位置特定部３４によって特定された位置を示す位置情報と、エラーが発生した画像形成装置の装置識別情報と、エラーを示す装置情報と、ステップＳ０７にて生成されたトラッキングデータとを関連付けて記憶部４０に記憶させる（Ｓ０８）。

サーバ１２の制御部４２は、トラッキングデータを端末装置１０に送信し、ＵＩ部２０の表示部に支援情報を表示させる（Ｓ０９）。例えばＡＲ技術によって、支援情報が表示される。

以下、実施例１について具体例を挙げて詳しく説明する。装置１４である画像形成装置は、プリントされる用紙を収容する給紙トレイ１を有している。ここでは、その給紙トレイ１にて、用紙詰まりのエラーが、ユーザの操作を必要とする事象として発生したものとする。また、そのエラーに関するトラッキングデータが、サーバ１２に登録されていないものとする。つまり、給紙トレイ１を指し示す支援情報を含むトラッキングデータが、サーバ１２に登録されていない。

画像形成装置の給紙トレイ１にて用紙詰まりが発生した場合、端末装置１０の装置情報取得部２４は、給紙トレイ１にて用紙詰まりが発生したことを示す装置情報を、情報管理データベース等から取得する。その用紙詰まりに関するトラッキングデータがサーバ１２に登録されていない場合、端末装置１０の制御部２８は、用紙詰まりが発生したことを示す装置情報をＵＩ部２０の表示部に表示させる。また、当該装置情報は、端末装置１０からサーバ１２に送信される。

図５には、装置情報の表示例が示されている。制御部２８は、画面４４をＵＩ部２０の表示部に表示させる。画面４４には、画像形成装置の給紙トレイ１にて用紙詰まりが発生していることを示す装置情報４６が表示される。また、画面４４には、用紙詰まりが発生した画像形成装置を表す画像４８が表示されてもよい。画像４８は、端末装置１０の撮影部１８による撮影によって生成された画像データに基づく画像であってもよいし、画像形成装置を模式的に表す予め生成された画像であってもよい。

また、端末装置１０の通信部１６は、用紙詰まりが発生した画像形成装置と通信することで、当該画像形成装置の装置識別情報（例えばＩＰアドレス等）を取得する。その装置識別情報は、端末装置１０からサーバ１２に送信される。

次に、ユーザは、端末装置１０の撮影部１８によって、用紙詰まりが発生した画像形成装置を撮影する。まず、ユーザは、ユーザによって操作が行われる前の画像形成装置を撮影する。この撮影によって生成された画像データは操作前画像データであり、その操作前画像データは、操作対象の画像形成装置の装置識別情報に関連付けられて、端末装置１０からサーバ１２に送信される。

図６には、操作前画像データ５０が示されている。操作前画像データ５０には、ユーザによって操作が行われる前の画像形成装置が表されている。

サーバ１２のトラッキングデータ生成部３６は、端末装置１０から送信されてきた操作前画像データを受けて、当該操作前画像データに基づいて、画像形成装置を表すトラッキングデータを生成する。例えば、複数の角度から画像形成装置が撮影された場合、トラッキングデータ生成部３６は、各角度からの撮影によって生成された複数の操作前画像データに基づいて、画像形成装置を模式的に表す３次元画像データをトラッキングデータとして生成してよい。もちろん、トラッキングデータ生成部３６は、画像形成装置を表す２次元画像データをトラッキングデータとして生成してもよい。

次に、ユーザは、用紙詰まりを解消するために画像形成装置を操作する。具体的には、ユーザは、画像形成装置に含まれる給紙トレイ１を開けて、詰まった用紙を取り除く。

ユーザは、給紙トレイ１を開けた状態の画像形成装置を、撮影部１８によって撮影する。この撮影によって生成された画像データは操作中画像データであり、その操作中画像データは、操作対象の画像形成装置の装置識別情報に関連付けられて、端末装置１０からサーバ１２に送信される。

図７には、操作中画像データ５２が示されている。操作中画像データ５２には、ユーザによって操作が行われている最中の画像形成装置が表されている。具体的には、操作中画像データ５２は、画像形成装置の本体を表す画像データ５４と、開けられた状態の給紙トレイ１を表す画像データ５６とを含む。操作中画像データ５２には、給紙トレイ１が画像形成装置の本体から引き抜かれている様子が表されている。

サーバ１２の位置特定部３４は、操作前画像データ５０と操作中画像データ５２との差分に基づいて、ユーザが画像形成装置を操作した位置を特定する。給紙トレイ１にて用紙詰まりが発生したことは、装置情報に示されているため、位置特定部３４は、差分に基づいて特定された位置が、給紙トレイ１の位置であると推測する。

操作前画像データ５０と操作中画像データ５２との差分は、給紙トレイ１を表す画像データ５６である。それ故、操作中画像データ５２中の画像データ５６の位置が、ユーザが画像形成装置を操作した位置、つまり、用紙詰まりが発生した給紙トレイ１の位置である。

上記のように、ユーザが画像形成装置を操作した給紙トレイ１の位置が特定されると、トラッキングデータ生成部３６は、ユーザが操作した給紙トレイ１の位置を指し示す支援情報、つまり、用紙詰まりが発生した給紙トレイ１の位置を指し示す支援情報を生成し、その支援情報を含むトラッキングデータを生成する。例えば、トラッキングデータ生成部３６は、操作前画像データ５０と、操作前画像データ５０上に重畳され、用紙詰まりが発生した給紙トレイ１の位置を指し示す支援情報と、を含むトラッキングデータを生成する。

登録部３８は、ユーザが操作した給紙トレイ１を示す位置情報と、給紙トレイ１にて用紙詰まりが発生したことを示す装置情報と、画像形成装置の装置識別情報と、給紙トレイ１を指し示す支援情報を含むトラッキングデータとを関連付けて記憶部４０に記憶させる。給紙トレイ１を示す位置情報は、装置１４上の位置に関する情報の一例である。

支援情報を含むトラッキングデータは、サーバ１２から端末装置１０に送信されて、ＵＩ部２０の表示部に表示される。

給紙トレイ１の位置の特定精度を高めるために、図８に示すように、画像形成装置５８に設けられている給紙トレイ１に、２次元コード等のマーカ６０が添付されてもよい。マーカ６０は、例えば、給紙トレイ１を識別するための情報がコード化された情報である。ユーザが撮影部１８によってマーカ６０を撮影すると、端末装置１０又はサーバ１２にて、マーカ６０がデコードされて、給紙トレイ１を識別するための情報がマーカ６０から取得される。トラッキングデータ生成部３６は、マーカ６０から得られた情報に基づいて、差分に基づいて特定された位置が、給紙トレイ１の位置であると推測してもよい。

また、差分に基づいて特定された位置が、給紙トレイ１の位置であるか否かを、ユーザに問い合わせるための画面がＵＩ部２０の表示部に表示されてもよい。その画面は、サーバ１２のトラッキングデータ生成部３６によって生成される。図９には、その画面６２が示されている。画面６２には、例えば、画像形成装置を表す画像６４と、差分に基づいて特定された位置（つまり給紙トレイ１の位置）を指し示す画像６６と、ユーザに問い合わせるためのメッセージ６８とが表示されている。

画像６４は、例えば、操作前画像データに基づいて、トラッキングデータ生成部３６によって生成された画像、又は、撮影部１８による撮影によって生成された画像である。画像６６は、支援情報の一例に相当し、トラッキングデータ生成部３６によって生成された画像である。例えば、画像６６は、給紙トレイ１の位置を指し示す矢印を表す画像である。メッセージ６８は、トラッキングデータ生成部３６によって生成された情報である。

ユーザは、画面６２上で、画像６６が指し示す位置が給紙トレイ１の位置に該当するか否かを確認する。

画面６２上で、ユーザによって「Ｙｅｓ」ボタンが押された場合（例えばクリックされた場合）、トラッキングデータ生成部３６は、差分に基づいて特定された位置を、給紙トレイ１の位置であると特定し、上記のトラッキングデータを生成する。

ユーザによって「Ｎｏ」ボタンが押された場合（例えばクリックされた場合）、トラッキングデータ生成部３６は、差分に基づいて特定された位置を、給紙トレイ１の位置ではないと特定する。この場合、トラッキングデータ生成部３６は、トラッキングデータを生成しない。別の例として、ユーザがＵＩ部２０を用いて、画像６６が指し示す位置の名称を入力してもよい。この場合、画像６６が指し示す位置の部材の名称として、ユーザによって入力された名称が用いられ、トラッキングデータ生成部３６は、その名称を示す情報を含むトラッキングデータを生成する。そのトラッキングデータは、上記のように記憶部４０に記憶される。

また、ユーザはＵＩ部２０を用いて、トラッキングデータにコメントを付加してもよい。例えば図１０に示すように、画面７０がＵＩ部２０の表示部に表示される。画面７０には、コメントを付加するか否かをユーザに問い合わせるためのメッセージ７２が表示されている。

画面７０上で、ユーザによって「Ｙｅｓ」ボタンが押された場合（例えばクリックされた場合）、図１１に示すように、コメント入力画面７４がＵＩ部２０に表示される。コメント入力画面７４には、例えば仮想キーボード７６が表示される。ユーザが仮想キーボード７６等を用いることでコメントを入力した場合、そのコメントを示す情報は、端末装置１０からサーバ１２に送信される。トラッキングデータ生成部３６は、そのコメントを示す情報を含むトラッキングデータを生成する。そのトラッキングデータは、上記のように記憶部４０に記憶される。図１２には、コメントの一例が示されている。コメント８０はユーザによって入力された情報であり、トラッキングデータに含まれる。

上記のようにしてトラッキングデータが生成されると、トラッキングデータはサーバ１２から端末装置１０に送信され、ＵＩ部２０の表示部に表示される。例えば図１３に示すように、画面８２がＵＩ部２０の表示部に表示される。画面８２には、用紙詰まりが発生した画像形成装置を表す画像８４と、用紙詰まりが発生した給紙トレイ１の位置を指し示す矢印を表す画像８６と、コメント８８とが表示されている。画像８４，８６及びコメントのそれぞれのデータは、トラッキングデータに含まれるデータであり、サーバ１２の記憶部４０に記憶されている。画像８４は、例えば操作前画像データに基づいて生成された画像、又は、撮影部１８による撮影によって生成された画像である。画像８６は、支援情報の一例に相当し、操作前画像データと操作中画像データとの差分に基づいて特定された位置を指し示す画像である。コメント８８は、ユーザによって入力された情報である。このように、画像形成装置を表す画像８４に、支援情報としての画像８６が付加されて表示される。

画面８２に表示されているトラッキングデータは、画像形成装置の給紙トレイ１にて用紙詰まりが発生したことを表すデータであり、給紙トレイ１を示す位置情報と、給紙トレイ１に紙詰まりが発生したことを示す装置情報と、画像形成装置の装置識別情報とに関連付けられて記憶部４０に記憶される。

登録部３８によって記憶部４０に記憶された装置情報が示す事象と、同じ操作を要する事象が装置１４にて発生した場合、制御部４２は、その装置情報に関連付けられているトラッキングデータを端末装置１０に送信する。そのトラッキングデータは、ＵＩ部２０の表示部に表示される。

例えば、画像形成装置の給紙トレイ１にて用紙詰まりが新たに発生した場合、当該画像形成装置の装置識別情報と、給紙トレイ１にて用紙詰まりが発生したことを示す装置情報とが、端末装置１０からサーバ１２に送信される。上記のように、装置識別情報と装置情報とに、画像形成装置の給紙トレイ１にて用紙詰まりが発生したことを表すトラッキングデータが関連付けられている。サーバ１２の制御部４２は、端末装置１０から送信されてきた装置識別情報と装置情報とに関連付けられているトラッキングデータを記憶部４０から読み出し、そのトラッキングデータを端末装置１０に送信する。ＵＩ部２０の表示部には、図１３に示すように、そのトラッキングデータに基づく画像が表示される。

元々は、給紙トレイ１に用紙詰まりが発生したことを表すトラッキングデータが、サーバ１２の記憶部４０に記憶されていなかったが、画像形成装置を撮影して操作前画像データと操作中画像データとを生成することで、当該トラッキングデータが生成される。

画像形成装置にて別のエラーが発生した場合も、給紙トレイ１に用紙詰まりが発生したときと同様に、画像形成装置が撮影されて、操作前画像データと操作中画像データとが生成され、当該別のエラーが発生した位置が特定される。その位置を指し示す支援情報が生成され、その支援情報を含むトラッキングデータが生成されてサーバ１２の記憶部４０に記憶される。例えば、給紙トレイ２にて用紙詰まりが発生した場合、給紙トレイ１に用紙詰まりが発生したときと同様に、用紙詰まりを解消するための操作がユーザによって行われる。操作前画像データと操作中画像データとの差分に基づいて、給紙トレイ２の位置が特定され、その位置を指し示す支援情報が生成される。その支援情報を含むトラッキングデータが生成され、そのトラッキングデータは、画像形成装置の給紙トレイ２にて用紙詰まりが発生したことを表すデータとしてサーバ１２の記憶部４０に記憶される。給紙トレイ２にて用紙詰まりが新たに発生した場合、当該トラッキングデータがサーバ１２から端末装置１０に送信されて、ＵＩ部２０の表示部に表示される。

以上のように、エラーが発生した位置が学習されて、トラッキングデータが生成される。例えば、トラッキングデータがサーバ１２に登録されていないエラーが、画像形成装置にて新たに発生する度に、実施例１に係る処理が実行されることで、そのエラーに対応するトラッキングデータが生成されてサーバ１２に登録される。こうすることで、次に同じエラーが発生したときには、そのエラーに対応するトラッキングデータがサーバ１２から端末装置１０に送信されてＵＩ部２０に表示される。

＜実施例２＞
以下、図１４を参照して、実施例２に係る処理について詳しく説明する。図１４には、実施例２に係る処理を示すフローチャートが示されている。実施例２では、装置１４である画像形成装置にて、ユーザが画像形成装置の設置場所以外の場所に移動する必要のあるエラーが発生したものとする。この場合、ユーザが画像形成装置を操作したときの位置情報は、当該画像形成装置以外の位置に関する情報である。また、そのエラーは、画像形成装置に用いられる部材が画像形成装置から無くなったことを示すエラー、又は、当該部材が画像形成装置から無くなりそうであることを示すエラーである。その部材は、例えば、用紙やトナー等の消耗品である。もちろん、これら以外のエラーが発生した場合に実施例２が実行されてもよい。例えば、画像形成装置のメンテナンスを要するエラーや、部品の交換に関するエラー等が発生した場合に、実施例２が実行されてもよい。以下では、一例として、画像形成装置にて用紙切れのエラーが発生したものとする。

画像形成装置にて用紙切れのエラーが発生すると、端末装置１０の装置情報取得部２４は、そのエラーを示す装置情報を情報管理データベース等から取得する（Ｓ１０）。端末装置１０の制御部２８は、その装置情報をＵＩ部２０の表示部に表示させる。また、エラーを示す装置情報は、端末装置１０からサーバ１２に送信される。なお、後述するように、エラーを示す情報は、この時点では表示されず、画像形成装置が撮影部１８によって撮影された後に表示されてもよい。

端末装置１０の通信部１６は、用紙切れのエラーが発生した画像形成装置と通信することで、当該画像形成装置の装置識別情報（例えばＩＰアドレス等）を取得する（Ｓ１１）。実施例１と同様に、通信部１６は、近距離無線通信等を用いることで装置識別情報を画像形成装置から取得する。装置識別情報は、端末装置１０からサーバ１２に送信される。

次に、ユーザは端末装置１０の撮影部１８によって、用紙切れのエラーが発生した画像形成装置を撮影する（Ｓ１２）。その撮影によって生成された画像データは、端末装置１０からサーバ１２に送信される。

用紙切れが発生した画像形成装置に関するトラッキングデータであって、その用紙が格納されている用紙置き場を示す支援情報を含むトラッキングデータが、サーバ１２の記憶部４０に記憶されている場合、つまり、当該トラッキングデータがサーバ１２に登録されている場合（Ｓ１３，Ｙｅｓ）、サーバ１２の制御部４２は、当該トラッキングデータを端末装置１０に送信し、ＵＩ部２０の表示部に支援情報を表示させる（Ｓ１４）。その支援情報は、用紙置き場を表す地図データである。例えば、用紙切れのエラーが発生した画像形成装置の装置識別情報と用紙切れのエラーを示す装置情報とに関連付けられているトラッキングデータが、サーバ１２の記憶部４０に記憶されている場合、当該トラッキングデータがサーバ１２から端末装置１０に送信されて、当該トラッキングデータに含まれる地図データがＵＩ部２０の表示部に表示される。

用紙置き場を表す地図データを含むトラッキングデータが、サーバ１２に登録されていない場合（Ｓ１３，Ｎｏ）、サーバ１２の制御部４２は、用紙と取りに行くようにユーザに促すためのメッセージを端末装置１０に送信する。そのメッセージは、ＵＩ部２０の表示部に表示される（Ｓ１５）。

上記のメッセージを見たユーザは、用紙を取りに用紙置き場に行く（Ｓ１６）。このとき、ユーザは、当該ユーザが所持する端末装置１０のＧＰＳ機能をオンにする。これにより、端末装置１０の位置情報取得部２２は、端末装置１０の位置情報、つまり、当該ユーザの位置情報を取得する（Ｓ１７）。ユーザが用紙置き場まで移動することで、位置情報取得部２２は、用紙を取得するためにユーザが移動した経路を示す位置情報を取得する。この位置情報が、装置１４以外の位置に関する情報であり、ユーザが装置１４を操作するために移動した経路を示す情報である。

ユーザは、用紙置き場にて取得した用紙を画像形成装置に補充する（Ｓ１８）。

位置情報取得部２２によって取得された、ユーザが移動した経路を示す位置情報は、端末装置１０からサーバ１２に送信される。トラッキングデータ生成部３６は、その位置情報に基づいて、用紙置き場を表す地図データを生成し、その地図データを含むトラッキングデータを生成する（Ｓ１９）。

登録部３８は、用紙切れが発生した画像形成装置の装置識別情報と、用紙切れを示す装置情報と、ステップＳ１９にて生成されたトラッキングデータとを関連付けて記憶部４０に記憶させる（Ｓ２０）。これにより、用紙置き場を表す地図データを含むトラッキングデータがサーバ１２に登録される。

以下、実施例２について具体例を挙げて詳しく説明する。ここでは、給紙トレイ１にて用紙切れが、ユーザの操作を必要とする事象として発生したものとする。また、用紙置き場を表す地図データを含むトラッキングデータが、サーバ１２に登録されていないものとする。

画像形成装置にて用紙切れが発生した場合、端末装置１０の装置情報取得部２４は、用紙切れが発生したことを示す装置情報を、情報管理データベース等から取得する。用紙置き場を表す地図データを含むトラッキングデータがサーバ１２に登録されていない場合、端末装置１０の制御部２８は、用紙切れが発生したことを示す装置情報をＵＩ部２０の表示部に表示させる。また、当該装置情報は、端末装置１０からサーバ１２に送信される。

図１５には、装置情報の表示例が示されている。制御部２８は、画面９０をＵＩ部２０の表示部に表示させる。画面９０には、画像形成装置の給紙トレイ１にて用紙切れが発生していることを示す装置情報９２が表示されている。また、画面９０には、用紙切れが発生している画像形成装置を表す画像４８が表示されている。画像４８は、端末装置１０の撮影部１８による撮影によって生成された画像データに基づく画像であってもよいし、画像形成装置を模式的に表す予め生成された画像であってもよい。

また、端末装置１０の通信部１６は、用紙切れが発生した画像形成装置と通信することで、当該画像形成装置の装置識別情報（例えばＩＰアドレス等）を取得する。この装置識別情報は、端末装置１０からサーバ１２に送信される。

次に、ユーザは、端末装置１０の撮影部１８によって、用紙切れの発生した画像形成装置を撮影する。まず、ユーザは、ユーザによって操作が行われる前の画像形成装置を撮影する。この撮影によって生成された画像データは操作前画像データであり、その操作前画像データは、操作対象の画像形成装置の装置識別情報に関連付けられて、端末装置１０からサーバ１２に送信される。

サーバ１２のトラッキングデータ生成部３６は、端末装置１０から送信されてきた操作前画像データを受けて、当該操作前画像データに基づいて、画像形成装置を表すトラッキングデータを生成する。実施例１と同様に、３次元画像データであるトラッキングデータが生成されてもよいし、２次元画像データであるトラッキングデータが生成されてもよい。

用紙置き場を表すトラッキングデータがサーバ１２に登録されていないため、ＵＩ部２０の表示部には、用紙を取りに行くようにユーザに促すためのメッセージが表示される。

ユーザは、端末装置１０のＧＰＳ機能をオンにして、用紙置き場まで行き、用紙置き場にて用紙を取得して、画像形成装置の設置場所まで戻ってくる。この間、位置情報取得部２２は、端末装置１０の位置情報、つまりユーザが移動した経路を示す位置情報を取得する。ユーザが移動した経路を示す位置情報は、端末装置１０からサーバ１２に送信される。

ユーザは、用紙置き場にて取得した用紙を画像形成装置に補充する。具体的には、ユーザは、用紙切れが発生した給紙トレイ１を開けて、用紙を給紙トレイ１に補充する。

実施例１と同様に、ユーザは、給紙トレイ１を開けた状態の画像形成装置を、撮影部１８によって撮影する。この撮影によって生成された画像データは操作中画像データであり、その操作中画像データは、操作対象の画像形成装置の装置識別情報に関連付けられて、端末装置１０からサーバ１２に送信される。

実施例１と同様に、サーバ１２の位置特定部３４は、操作前画像データと操作中画像データとの差分に基づいて、ユーザが画像形成装置を操作した位置を特定する。給紙トレイ１にて用紙切れが発生したことは、装置情報に示されているため、位置特定部３４は、差分に基づいて特定された位置が、給紙トレイ１の位置であると推測する。

上記のように、ユーザが画像形成装置を操作した給紙トレイ１の位置が特定されると、実施例１と同様に、トラッキングデータ生成部３６は、ユーザが操作した給紙トレイ１の位置を指し示す支援情報、つまり、用紙切れが発生した給紙トレイ１の位置を指し示す支援情報を生成し、その支援情報を含むトラッキングデータを生成する。

また、トラッキングデータ生成部３６は、ユーザが移動した経路を示す位置情報に基づいて、用紙置き場を表す地図データを生成し、その地図データを上記のトラッキングデータに含める。例えば、トラッキングデータ生成部３６は、ユーザが移動した全経路を表す画像データを、用紙置き場を表す地図データとして生成してもよいし、ユーザが移動した経路において折り返し地点を推測し、その折り返し地点を表す画像データを、用紙置き場を表す地図データとして生成してもよい。また、ユーザが移動した経路を含む地図データが、ＵＩ部２０の表示部に表示され、ユーザは、その地図データ上で、用紙置き場の位置を指定してもよい。その指定された位置を示す情報は、端末装置１０からサーバ１２に送信される。トラッキングデータ生成部３６は、ユーザによって指定された位置を表す画像データを、用紙置き場を表す地図データとして生成してもよい。

登録部３８は、ユーザが操作した給紙トレイ１を示す位置情報と、給紙トレイ１にて用紙切れが発生したことを示す装置情報と、画像形成装置の装置識別情報と、トラッキングデータとを関連付けて記憶部４０に記憶させる。トラッキングデータには、給紙トレイ１を指し示す支援情報と用紙置き場を表す地図データとが含まれている。地図データは、装置１４以外の位置に関する情報である。支援情報は、装置１４上の位置に関する情報である。

トラッキングデータは、サーバ１２から端末装置１０に送信されて、ＵＩ部２０の表示部に表示される。

画像形成装置の給紙トレイ１にて用紙切れが新たに発生した場合、当該画像形成装置の装置識別情報と、給紙トレイ１にて用紙切れが発生したことを示す装置情報とが、端末装置１０からサーバ１２に送信される。上記のように、装置識別情報と装置情報とに、用紙置き場を表す地図データを含むトラッキングデータが関連付けられている。サーバ１２の制御部４２は、端末装置１０から送信されてきた装置識別情報と装置情報とに関連付けられているトラッキングデータを記憶部４０から読み出し、そのトラッキングデータを端末装置１０に送信する。

ＵＩ部２０の表示部には、例えば図１６に示すように、そのトラッキングデータに基づく画像が表示される。例えば、画面９４がＵＩ部２０の表示部に表示される。画面９４には、用紙切れが発生した画像形成装置を表す画像９６と、用紙切れが発生した給紙トレイ１の位置を指し示す矢印を表す画像９８と、用紙切れを示すメッセージ１００とが表示されている。画像９６，９８及びメッセージ１００のそれぞれのデータは、トラッキングデータに含まれているデータであり、サーバ１２の記憶部４０に記憶されている。画像９６は、例えば操作前画像データに基づいて生成された画像である。画像９８は、支援情報の一例に相当し、操作前画像データと操作中画像データとの差分に基づいて特定された位置を指し示す画像である。メッセージ１００は、用紙切れを示す装置情報に基づいて生成された情報である。

ユーザが、画面９４上で、画像９８が指し示す位置を指定した場合、用紙置き場を表す地図がＵＩ部２０の表示部に表示される。例えば図１７に示すように、画面１０２がＵＩ部２０の表示部に表示される。画面１０２には、用紙置き場を表す地図１０４と、メッセージ１０６とが表示されている。地図１０４とメッセージ１０６のそれぞれのデータは、トラッキングデータに含まれているデータである。

元々は、用紙置き場を表す地図データを含むトラッキングデータが、サーバ１２の記憶部４０に記憶されていなかったが、用紙を補充したユーザの位置情報を取得することで、当該トラッキングデータが生成される。

なお、実施例２においては、給紙トレイ１を指し示す支援情報は、トラッキングデータに含まれていなくてもよい。この場合、画像形成装置の操作中に画像形成装置を撮影しなくてもよい。

上記の端末装置１０及びサーバ１２の各部の機能は、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置１０及びサーバ１２は、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することで、端末装置１０及びサーバ１２の各部の機能が実現される。上記プログラムは、ＣＤ又はＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置１０及びサーバ１２の各部の機能は、例えばプロセッサ、電子回路又はＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置１０及びサーバ１２の各部の機能は、ＤＳＰ（Digital Signal Processor）又はＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。

１０ 端末装置、１２ サーバ、１４ 装置、２２，３２ 位置情報取得部、２４ 装置情報取得部、３４ 位置特定部、３６ トラッキングデータ生成部、３８ 登録部。

Claims (4)

1. ユーザが装置を操作したときの位置情報を取得する取得手段と、
   前記位置情報を前記装置に関連付けて登録する登録手段と、
   前記操作と同じ操作を要する事象が発生した場合に、前記登録手段によって登録された情報に基づいて、前記操作を支援するための支援情報を、前記装置を表す画像に付加して表示手段に表示させる表示制御手段と、
   前記ユーザが前記装置を操作する前に撮影手段によって前記装置を撮影することで生成された操作前画像データと、前記ユーザが前記装置を操作中に前記撮影手段によって前記装置を撮影することで生成された操作中画像データと、に基づいて、前記ユーザが前記装置を操作した位置を特定する位置特定手段と、
   を有する情報処理装置。
2. 前記位置情報は、前記装置上の位置に関する情報である、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記装置上の位置に関する情報は、前記ユーザが前記装置を操作した位置を示す情報である、
   ことを特徴とする請求項２に記載の情報処理装置。
4. コンピュータを、
   ユーザが装置を操作したときの位置情報を取得する取得手段、
   前記位置情報を前記装置に関連付けて登録する登録手段、
   前記操作と同じ操作を要する事象が発生した場合に、前記登録手段によって登録された情報に基づいて、前記操作を支援するための支援情報を、前記装置を表す画像に付加して表示手段に表示させる表示制御手段、
   前記ユーザが前記装置を操作する前に撮影手段によって前記装置を撮影することで生成された操作前画像データと、前記ユーザが前記装置を操作中に前記撮影手段によって前記装置を撮影することで生成された操作中画像データと、に基づいて、前記ユーザが前記装置を操作した位置を特定する位置特定手段、
   として機能させるプログラム。

Images