JP5298984B2

JP5298984B2 - ヘルプ情報提供システム、サーバ装置、対象機器、携帯通信端末、ヘルプ情報提供方法、プログラム及び記録媒体

Info

Publication number: JP5298984B2
Application number: JP2009064287A
Authority: JP
Inventors: 大悟内山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2009-03-17
Filing date: 2009-03-17
Publication date: 2013-09-25
Anticipated expiration: 2029-03-17
Also published as: JP2010219879A

Description

本発明は、ヘルプ情報提供システム、サーバ装置、対象機器、携帯通信端末、ヘルプ情報提供方法、プログラム及び記録媒体に関し、特に対象機器の状態に応じた的確なヘルプ情報を入手できるヘルプ情報提供システム、サーバ装置、対象機器、携帯通信端末、ヘルプ情報提供方法、プログラム及び記録媒体に関する。

近年は、複合画像形成装置（ＭＦＰ：マルチファンクションプリンター）等、高機能化や複合化が進展した装置が普及している。このような高機能化装置は、その操作方法が複雑となり、製品マニュアル（紙媒体）や、装置に備えられている表示部に表示されるヘルプ文章を参照する必要がある。ヘルプ機能に関して以下のような技術が提案されている。

特許文献１には、画像処理装置毎の操作方法情報を記憶し、操作マニュアル要求コードに基づいて、操作豊富情報を要求元の画像処理装置にダウンロードするサーバ装置が開示されている。これにより、マニュアル情報の増大化に対応出来る。

また、特許文献２には、ヘルプデータを予めネットワーク上に置いておき（ヘルプサーバが格納）、必要に応じてアクセスしてダウンロードするシステムにおいて、同一機種を複数台導入している環境化では、まったく同じヘルプデータを個別の画像出力装置からダウンロードするケースが考えられるため、ネットワークリソースを無駄に消費してしまうことを防ぐために、ネットワーク上の他の画像出力装置に対してヘルプ情報の操作を可能とする画像出力装置システムが開示されている。すなわち、近くのネットワーク上（他の画像出力装置）にキャッシュされたマニュアルデータがあればそれを用いる。

しかしながら、上記のような技術には、以下の問題点がある。

上述したように、特許文献１および特許文献２では、画像形成装置がネットワーク上にあるサーバからマニュアルデータをダウンロードし表示する手段が開示されている。この手段を用いれば、装置の動作状況に応じたヘルプ情報を表示することができる。しかしながら、画像形成装置のような複雑な構造を持った機器において、内部の機構等に何らかの障害が発生した場合など、機器内部や裏側といったパネルから離れた場所にある部品を操作しなければならない場合がある。このとき、ユーザは画像形成装置が備える表示部（表示パネル）を参照しながら部品を操作することができないため、操作を誤ったり操作に余計な時間を費やしたりしてしまう可能性がある。

また、表示パネルが小さいために表示する図が簡略化あるいは省略されるなど、機器に表示されたヘルプがユーザに十分な情報を提供できない場合、ユーザは機器に付属のマニュアルブックや、印刷した詳細ヘルプなどを閲覧しなければならなくなる場合がある。これではヘルプ情報を表示できる機能が無意味になってしまう。

本発明はこのような状況に鑑みてなされたものであり、対象機器の状態に応じた的確なヘルプ情報を入手することを目的とする。

本発明に係るヘルプ情報提供システムは、対象機器と、前記対象機器の操作を補助するためのヘルプ情報を提供するサーバ装置と、前記ヘルプ情報を受信する携帯通信端末と、がネットワークに接続されたヘルプ情報提供システムであって、前記対象機器は、対象機器ごとに一意に割り当てられた自身の機器ＩＤと、機器の位置・傾き検出用のマーカーが貼付されている箇所を示す面コードと、を表すマーカーが貼付され、前記自身の機器ＩＤと、自身の状態を示す状態コードとを前記サーバ装置へ送信する送信手段を備え、前記携帯通信端末は、前記対象機器を撮像する撮像手段と、前記撮像した撮像画像データから前記マーカーの画像を抽出し、前記抽出したマーカー画像から対象機器の機器ＩＤと面コードとを取得するマーカー情報取得手段と、前記取得した機器ＩＤと面コードとを前記サーバ装置へ送信する送信手段と、を備え、前記サーバ装置は、前記対象機器から送信された機器ＩＤ及び状態コードと、前記携帯通信端末から送信された機器ＩＤ及び面コードとに基づいた、前記対象機器の状態に対応する固有のヘルプ情報を、前記携帯通信端末に送信する送信手段を備え、さらに、前記携帯通信端末は、前記サーバ装置から送信されたヘルプ情報と前記撮像画像データとを合成し、ヘルプ情報提供画像データを生成する生成手段と、前記生成したヘルプ情報提供画像データを表示する表示手段と、を備えることを特徴とする。

本発明に係るサーバ装置は、対象機器と、携帯通信端末と、前記対象機器の操作を補助するためのヘルプ情報を前記携帯通信端末に提供するサーバ装置と、がネットワークに接続されたヘルプ情報提供システムの前記サーバ装置であって、前記対象機器から送信された機器ＩＤ及び状態コードと、前記携帯通信端末から送信された機器ＩＤ及び面コードとに基づいて、前記対象機器の状態に対応する固有のヘルプ情報を、前記携帯通信端末に送信する送信手段を備えることを特徴とする。

本発明に係る対象機器は、対象機器と、携帯通信端末と、前記対象機器の操作を補助するためのヘルプ情報を前記携帯通信端末に提供するサーバ装置と、がネットワークに接続されたヘルプ情報提供システムの前記対象機器であって、前記対象機器には、前記対象機器ごとに一意に割り当てられた自身の機器ＩＤと、機器の位置・傾き検出用のマーカーが貼付されている箇所を示す面コードと、を表すマーカーが貼付され、前記自身の機器ＩＤと、自身の状態を示す状態コードとを前記サーバ装置へ送信する送信手段を備えることを特徴とする。

本発明に係る携帯通信端末は、対象機器と、携帯通信端末と、前記対象機器の操作を補助するためのヘルプ情報を前記携帯通信端末に提供するサーバ装置と、がネットワークに接続されたヘルプ情報提供システムの前記携帯通信端末であって、前記対象機器を撮像する撮像手段と、前記撮像した撮像画像データから前記マーカーの画像を抽出し、前記抽出したマーカー画像から対象機器の機器ＩＤと面コードとを取得するマーカー情報取得手段と、前記取得した機器ＩＤと面コードとを前記サーバ装置へ送信する送信手段と、前記サーバ装置から送信されたヘルプ情報と前記撮像画像データとを合成し、ヘルプ情報提供画像データを生成する生成手段と、前記生成したヘルプ情報提供画像データを表示する表示手段と、を備えることを特徴とする。

本発明に係るヘルプ情報提供方法は、対象機器と、前記対象機器の操作を補助するためのヘルプ情報を提供するサーバ装置と、前記ヘルプ情報を受信する携帯通信端末と、がネットワークに接続されたヘルプ情報提供システムにおけるヘルプ情報提供方法であって、前記対象機器が、自身の機器ＩＤと、自身の状態を示す状態コードとを前記サーバ装置へ送信するステップと、前記携帯通信端末が、前記対象機器を撮像した撮像画像データから、前記対象機器に貼付された機器の位置・傾き検出用のマーカーの画像を抽出し、前記抽出したマーカー画像から対象機器ごとに一意に割り当てられた対象機器の機器ＩＤと、前記マーカーが貼付されている箇所を示す面コードと、を取得するステップと、前記携帯通信端末が、前記取得した機器ＩＤと面コードとを前記サーバ装置へ送信するステップと、前記サーバ装置が、前記対象機器から送信された機器ＩＤ及び状態コードと、前記携帯通信端末から送信された機器ＩＤ及び面コードとに基づいて、前記対象機器の状態に対応する固有のヘルプ情報を、前記携帯通信端末に送信するステップと、前記携帯通信端末が、前記サーバ装置から送信されたヘルプ情報と前記撮像画像データとを合成し、ヘルプ情報提供画像データを生成し、表示部に表示するステップと、を備えることを特徴とする。

本発明に係るヘルプ情報提供プログラムは、対象機器と、前記対象機器の操作を補助するためのヘルプ情報を提供するサーバ装置と、前記ヘルプ情報を受信する携帯通信端末と、がネットワークに接続されたヘルプ情報提供システムにおけるヘルプ情報提供プログラムであって、前記対象機器が、自身の機器ＩＤと、自身の状態を示す状態コードとを前記サーバ装置へ送信する処理と、前記携帯通信端末が、前記対象機器を撮像した撮像画像データから、前記対象機器に貼付された機器の位置・傾き検出用のマーカーの画像を抽出し、前記抽出したマーカー画像から対象機器ごとに一意に割り当てられた対象機器の機器ＩＤと、前記マーカーが貼付されている箇所を示す面コードと、を取得する処理と、前記携帯通信端末が、前記取得した機器ＩＤと面コードとを前記サーバ装置へ送信する処理と、前記サーバ装置が、前記対象機器から送信された機器ＩＤ及び状態コードと、前記携帯通信端末から送信された機器ＩＤ及び面コードとに基づいて、前記対象機器の状態に対応する固有のヘルプ情報を、前記携帯通信端末に送信する処理と、前記携帯通信端末が、前記サーバ装置から送信されたヘルプ情報と前記撮像画像データとを合成し、ヘルプ情報提供画像データを生成し、表示部に表示する処理と、をコンピュータに実行させることを特徴とする。

本発明に係る記録媒体は、上記本発明に係るヘルプ情報提供プログラムの処理を記録するコンピュータ読取り可能な記録媒体である。

本発明によれば、対象機器の状態に応じた的確なヘルプ情報を入手することが出来る。

本発明の実施形態に係るヘルプ情報提供システムの全体構成図である。本発明の実施形態に係る携帯電話機２００の構成図である。本発明の実施形態に係るヘルプサーバ３００が記憶するデータを説明するための図である。本発明の実施形態に係るヘルプ情報提供システムの動作処理を示すタイムチャートである。図４のステップＳ７における処理を説明するための図である。本発明の実施形態に係る液晶ディスプレイ２０７上に表示するヘルプ情報提供画像データの一例を示す図である。

以下に、本発明の実施形態について図面を用いて詳細に説明する。なお、以下に述べる実施形態は、本発明の好適な実施形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。

以下に説明する実施形態では、対象機器として、画像形成装置の一例であるＭＦＰ（以下、デジタル複合機と称す）、携帯通信端末として携帯電話機、サーバ装置としてヘルプサーバ、を用いて説明する。これらは一例であり、対象機器はデジタル複合機の他に、プリンタ、ファクシミリなどの事務機器や、実験用機器であっても良い。携帯端末は、デジタルカメラであっても良い。

（構成）
本発明の実施形態に係るヘルプ情報提供システムについて説明する。図１にシステムの全体構成図を示す。デジタル複合機１００とヘルプサーバ３００はインターネットなどのネットワークを介して通信可能である。同様に、携帯電話機２００もネットワークに接続でき、ヘルプサーバ３００との通信が可能である。

デジタル複合機１００の構成は、一般的に知られているものである。本実施形態に係るデジタル複合機１００として特徴的な構成としては、ネットワークに接続してデータの送受信を行う通信手段であるネットワークインタフェースを備え、さらに、自身を一意に示す機器ＩＤ（ＩＤentification；識別子）を記憶する。また、自身の状態（故障時等）を示す状態コードを判断できる機能を有する。デジタル複合機１００には、機器の位置・傾き検出用のマーカー１０１が貼付されていることも特徴となる。

マーカー１０１は、例えばシールのように機器表面に貼り付け可能なものに印刷され、デジタル複合機１００に貼り付けられている。マーカー１０１は、デジタル複合機１００の機器ＩＤと、該マーカー１０１が貼付されている箇所を示す面コードを表す。マーカー１０１は、例えば、デジタル複合機１００の装置側面や後面、装置内部などに貼付され、携帯電話機２００が備えるカメラ２０１（撮像手段）で、その面とマーカーを同時に収めることができるように貼付されている。

マーカー１０１は、カメラに収めた際に、カメラとの傾きや距離が検出可能な図形であると良い。マーカーの具体的な例としては、２次元コードの一例であるQR（Quick Response）コードが考え得る。

携帯電話機２００の構成を図２に示す。本実施形態に係る携帯電話機２００は、デジタル複合機（対象機器）およびマーカーの画像を取得するための撮像手段であるカメラ２０１、マーカー情報取得部２０２、操作入力部２０３、無線ネットワークインタフェース２０４、ヘルプデータ取得部２０５、表示画像生成部２０６、液晶ディスプレイ２０７を備える。

マーカー情報取得部２０２は、カメラ２０１で取得した画像データからマーカー画像を検出し、マーカーの位置と傾きや埋め込まれた情報を取り出す。

操作入力部２０３は、ユーザのキー操作などを受け付ける。

無線ネットワークインタフェース２０４は、ネットワークとの通信手段である。

ヘルプデータ取得部２０５は、無線ネットワークインタフェース２０４及びネットワークを介して接続するヘルプサーバ３００からヘルプデータを取得する。

表示画像生成部２０６は、カメラ２０１から取得した画像データと、ヘルプサーバ３００から取得したヘルプデータ（例えばヘルプオブジェクトの描画）を重ね合わせて（合成し）、ヘルプ情報提供画像データを生成する。

液晶ディスプレイ２０７は、表示データを表示する手段である表示部の一例である。

ユーザは、上記構成を備える携帯電話機２００で、ヘルプ情報の提供を受けたい箇所（対象機器全体や、対象機器の内部、裏側等）を撮像し、ヘルプ情報の提供を受ける。なお、対象機器を撮像した際、その箇所に貼り付けられたマーカー１０１も一緒に撮像される。

すなわち、携帯電話機２００において撮像した画像データに、ヘルプ情報が重ねて表示されることで、ユーザは的確なヘルプ情報の提供を受けることが出来る。

現実の光景を撮像した画像データに、他の画像データ（説明画像やテキスト）を重ね合わせる手法については、ＡＲ（Augumented Reality：拡張現実感）という技術を利用することが可能である。携帯端末におけるＡＲ表示に関する技術としては、例えば特許文献３記載の技術が適用できる。特許文献３には、携帯端末（主にカメラ付き携帯電話機）で、カメラから取得した画像に説明画像やテキストを重ね合わせて表示する方法について開示されている。重ね合わせるデータは画像中のデジタルコードから取得する。また、非特許文献１記載のマーカー方式ＡＲにおいて２次元マトリックスコード（バーコードの一種）をマーカーとして利用する技術も適用可能である。

ヘルプサーバ３００は、ＣＰＵ（Central Processing Unit）３３０と、メモリやＨＤＤ（Hard Disk Drive）などの記憶手段である記憶部３１０と、通信手段であるネットワークインタフェース３２０を少なくとも備える情報処理装置である。

ヘルプサーバ３００が記憶手段上に格納するデータについて図３を参照して説明する。図３は、本実施形態に係るヘルプサーバ３００が記憶するデータを説明するための図である。

ヘルプサーバ３００は、機器ＩＤごとに状態を管理する状態テーブル３０１、ヘルプデータの対応付けを管理するヘルプテーブル３０２、ヘルプデータを格納するヘルプデータテーブル３０３を有する。

状態テーブル３０１は、機器ＩＤ、機器ＩＤに対応する機器の機種を表す機種コード、機器の状態を表す状態コード、の３つの情報の組の集合である。

ヘルプテーブル３０２は、機種コード、状態コード、面コード、ヘルプコードの４つの情報の組の集合である。

ヘルプデータテーブル３０３は、ヘルプコードとヘルプデータ本体の組の集合である。ヘルプコードは識別子である。ヘルプデータ本体は、実際に描画されるデータであるヘルプオブジェクトである。

ヘルプオブジェクトは、対応するマーカーからのからの相対座標を持ち、携帯端末のカメラから得られるマーカーの画像から計算された座標に、ヘルプオブジェクトを描画させる。

ヘルプオブジェクトは、説明用のテキストであっても良い。ヘルプオブジェクトは、JPEGなどの画像データであっても良い。ヘルプオブジェクトは、３Ｄオブジェクト、すなわち頂点座標、色情報などから構成されるデータであり、これを受信した携帯電話機２００上で３Ｄオブジェクトとして構築され描画されるものであっても良い。また、ヘルプオブジェクトは、上記に挙げた種類のデータの組み合わせであっても良い。

（動作処理）
次に、本実施形態に係るヘルプ情報提供システムの動作処理について説明する。図４は、本実施形態に係るヘルプ情報提供システムの動作処理を示すタイムチャートである。

デジタル複合機１００が何らかの障害を発生させた場合（ステップＳ１）、デジタル複合機１００は自身のオペレーションパネル（表示部）に障害の発生を表示させると共に（ステップＳ２）、障害の種類に対応した状態コード及び自身が持つ一意な機器ＩＤをヘルプサーバ３００へネットワークを介して送信する（ステップＳ３）。なお、障害の発生の表示（ステップＳ２）は、表示通知に限られることはなく、通知手段（メール通知、音声通知等）であれば良い。

ヘルプサーバ３００は、デジタル複合機１００から機器ＩＤと状態コードを受け取ると、状態テーブル３０１上の対応した機器ＩＤの状態コードを、デジタル複合機１００から受け取った最新の状態コードに書き換える（ステップＳ４）。

一方、ユーザはデジタル複合機１００の表示部に表示された障害の発生により、デジタル複合機１００に障害が発生したことを知る。ユーザは、デジタル複合機１００とそれに貼り付けられたマーカー１０１をカメラ映像内に納めるように、携帯電話機２００のカメラ２０１を向け、撮像する（ステップＳ５）。マーカー情報取得部２０２は、撮像した画像データからマーカー画像を抽出し、マーカー１０１が表している機器ＩＤ及び面コードを読み取る。読み取った機器ＩＤ及び面コードを、ヘルプデータ取得部２０５が無線ネットワークインタフェース２０４及びネットワークを介してヘルプサーバ３００へ送信する（ステップＳ６）。

ここで、ヘルプサーバのネットワーク上の位置を示すアドレス（例えば、サーバのＵＲＬ（Uniform Resource Locators））は、携帯電話機２００が予め保持している。

携帯電話機２００は、カメラ２０１を用いてマーカー１０１の画像を取得しようと試みている間、ヘルプサーバ３００との通信がいつでも可能な状態になっていることが好ましい。例えば、携帯電話機２００からヘルプサーバ３００へ送信する場合においては、カメラ２０１が取得している撮像画像データ内から検出できるマーカー１０１に基づく機器ＩＤ及び面コードが変化する度にそれらの情報をヘルプサーバ３００へ送信する。ヘルプサーバ３００から携帯電話機２００が受信する場合においては、一定間隔でヘルプサーバ３００へヘルプデータの取得を試みるポーリング方式や、あるいは通信コネクションを常に確立させておき、ヘルプサーバ３００から能動的に送信されてくるデータを受信するプッシュ方式などを用いてヘルプデータを常に取得可能にする。

ヘルプサーバ３００は、携帯電話機２００から機器ＩＤおよび面コードが送信されてヘルプデータを要求されると、状態テーブル３０１から、機器ＩＤに紐付けられた機種コードと状態コードを取り出す。次に、状態テーブル３０１から取り出した機種コード及び状態コードと、携帯電話機２００から送信された面コードと、の３つの組み合わせに対応するヘルプコードをヘルプテーブル３０２から取り出す。取り出したヘルプコードに対応するヘルプデータを、ヘルプデータテーブル３０３から取り出す（ステップＳ７）。図５は、ステップＳ７における処理を説明するための図である。

携帯電話機２００は、取り出したヘルプデータを応答として携帯電話機２００に送信する（ステップＳ８）。

携帯電話機２００が備えるヘルプデータ取得部２０５は、ヘルプサーバ３００から受信したヘルプデータを表示画像生成部２０６に渡す。一方、マーカー情報取得部２０２は、撮像画像データ中のマーカー１０１の位置と傾きを表示画像生成部２０６に渡す。

表示画像生成部２０６は、マーカー１０１の位置、傾きから、ヘルプデータとして送られたヘルプオブジェクトを表示する位置、大きさ、傾きを計算し、液晶ディスプレイ２０７上にヘルプオブジェクトを撮像画像データと重ね合わせて生成する合成画像データであるヘルプ情報提供画像データを表示する（ステップＳ９）。重ね合わせる描画処理方法は、上述した非特許文献１や特許文献３に記載された方法などが利用できる。

図６は、液晶ディスプレイ２０７上にヘルプオブジェクトを撮像画像データと重ね合わせて生成した合成画像データを、ヘルプ情報提供画像データとして表示する一例を示す図である。ここでは操作対象の部品に着色するオブジェクト、部品をポイントし説明テキストを加えるオブジェクト、部品を操作する方向を示すオブジェクトを表示した例を示す。

以上説明したように、本実施形態に係るヘルプ情報提供システムでは、携帯電話機が備えるカメラで対象機器を撮像し、ネットワーク上のヘルプサーバから対象機器の状態に応じたヘルプデータを受信し、携帯電話機は受信したヘルプデータを対象機器の撮像画像データに重ねた合成画像を生成し、表示することで、ユーザは携帯電話機を通じて対象機器の状況に応じたヘルプ情報を視覚的にわかりやすく的確に取得することができる。また、機器の操作に関する問題解決に要する時間が短縮される効果が期待できる。

さらに、本実施形態に係るヘルプ情報提供システムは、デジタル複合機１００の変化にも対応出来る（ステップＳ１０）。すなわち、ユーザがヘルプ情報提供画像に従い操作を行うことで、デジタル複合機１００の状態が変化した場合、デジタル複合機１００は変化した状態に対応する新たな状態コードと機器ＩＤとをヘルプサーバ３００へ送信する。ヘルプサーバ３００は、状態コードの書き換えを行い、変化後の状態に対応するヘルプデータを携帯電話機２００に送信する。携帯電話機２００は新しいヘルプデータを受信すると、これに基づき、ヘルプ情報提供画像を新たに生成し、表示する。このように、対象機器の状態変化に応じて、ヘルプ情報提供画像が更新されるため、ユーザはヘルプサーバ３００と対話するように操作指示を受けることができる。

携帯電話機２００の液晶ディスプレイ２０７で表示するヘルプ情報提供画像データの生成処理（ヘルプデータと撮像画像データとの合成処理）は、ヘルプデータの変化に応じて随時行われる。このため、現実の光景上にヘルプオブジェクトがあたかも存在しているかのように表示される。

以上説明したように、本実施形態に係るヘルプ情報提供システムにおいて、ユーザが対象機器（デジタル複合機１００）を操作すると、携帯電話機２００は変化した状態に応じたヘルプデータを受信し、表示するヘルプ情報提供画像データを変化させるため、携帯電話機２００をインターフェースとした対話的なヘルプシステムとして利用することができる。従って、対象機器を操作する際、対象機器の状態に応じた操作箇所及び操作手順に関する情報を視覚的にわかりやすく的確に示すことが出来る。ユーザは、携帯電話機２００へ次のデータを表示させるための操作を行う必要がなく、ユーザの利便性を向上する効果が期待できる。

なお、上記状態の変化について、デジタル複合機１００が変化した状態コードをヘルプサーバ３００へ送信する一方、携帯電話機２００のカメラ２０１で対象機器を撮像し続けている場合（若しくはヘルプ情報提供画像に従って操作を行う度に対象機器を撮像する（定期的に撮像する）場合）は、カメラ２０１で取得する撮像画像データも、機器に対するユーザの操作による光景の変化を受けて刻々と変化する。マーカー１０１の変化を取得し、変化した情報をヘルプサーバ３００へ送信しても良い。

〔他の実施形態〕
次に、デジタル複合機１００とヘルプサーバ３００の通信が何らかの原因により確立できない場合や、そもそもデジタル複合機１００がヘルプサーバ３００にデータを送信する手段を持っていない場合は、ヘルプサーバ３００上の状態コードを更新することができないため、状況に応じたヘルプ情報が提供できない。そこで、携帯電話機２００からヘルプサーバ３００に状態コードを送信することも考え得る。

本実施形態では、障害発生時にデジタル複合機１００は機器ＩＤと状態コードを表示部上に表示する。ユーザは、これらの情報を携帯電話機２００の操作入力部２０３においてキー操作などにより入力する。携帯電話機２００は、入力された機器ＩＤと状態コードをヘルプサーバ３００へ送信することで、ヘルプサーバ３００が保持する状態テーブル３０１の状態コードを更新させることが出来る。

ヘルプサーバ３００に機器ＩＤ等を送信した後、携帯電話機２００は、カメラ２０１でデジタル複合機１００およびマーカー１０１を撮像し、上記実施形態に示す処理（図４のステップＳ５〜Ｓ９）を行い、現在の状態に応じたヘルプ情報の提供を受けることが出来る。

これにより、対象機器が何らかの原因で状態情報を送信できない場合であっても、携帯電話機２００を用いて代替することができ、耐障害性の向上が期待できる。

なお、対象機器が何らかの原因で状態情報を送信できない場合であっても、デジタル複合機１００の状態が変化した場合に、変化した状態に対応する新たな状態コードをその都度、携帯電話機２００からヘルプサーバ３００に送信すれば、図４のステップＳ１０として上述したような対話的なヘルプ表示を利用することができる。

また、デジタル複合機１００の表示部に表示される機器ＩＤと状態コードを携帯電話機２００の操作入力部２０３から入力する他、機器ＩＤと状態コードを表すQRコードをデジタル複合機１００で生成し、表示部に示しても良い。

この場合、携帯電話機２００は、カメラ２０１で撮像したQRコードの画像データから読み取った機器ＩＤと状態コードを、ヘルプサーバ３００に送信する。これらの機能はマーカー情報取得部２０２、ヘルプデータ取得部２０５によって実現される。

このように、デジタル複合機１００の表示部に表示されたQRコードを携帯電話機２００のカメラ２０１で撮影し、QRコードに含まれる機器ＩＤと状態コードを読み取ってヘルプサーバ３００へ自動的に送信し、状態コードを更新する機能を備えることで、携帯電話機２００からの状態コード等の送信を少ない操作で行えるようにする。これにより、障害時においての利便性の低下度合いを少なくする効果が期待できる。

なお、ヘルプサーバが提供するヘルプデータは、頂点情報、色情報、文字情報などの非画像データより構成され、携帯電話機における表示画像生成部によって画像データとして構築された上で表示されるようにすることで、ヘルプサーバから携帯電話機へ送信されるデータ量を少なくすることが出来る。これにより、データの送信から表示までの応答速度の改善および通信にかかる費用を下げる効果が期待できる。

また、マーカー１０１は、上述したように、機器ＩＤの他に、対象機器の側面、後面、機器内部の面など面を識別する情報（面コード）を含み、対象機器のそれぞれの面に対応するマーカーが貼付されている。

これにより、ユーザが対象機器へ携帯電話機を向ける位置（撮像する箇所）によって異なるヘルプを表示させ、また可能な限り対象機器の広い範囲へヘルプ表示を適用させることが出来る。ユーザの利便性を向上させる効果が期待できる。

上記実施形態では、対象機器の一例としてデジタル複合機を用いた。すなわちデジタル複合機等の、ある程度複雑であり、操作にあたってヘルプ情報が重要となる対象機器をサポートすることが出来る。これにより、障害時などにユーザが素早く障害を取り除けるようになる効果が期待できる。

上記実施形態では、携帯通信端末の一例として携帯電話機を用いて、携帯電話機が備えるカメラ２０１で撮像しているが、この他、撮像機能と通信機能を有する端末、例えばデジタルカメラを用いることも可能である。このように、身近な機器を携帯通信端末として用いることで、ユーザは特別な機器の準備が不要になる。これにより、時間短縮の効果がさらに大きくなる上、利用に対する物理的・心理的障壁を小さくする効果が期待できる。

なお、上述した各実施形態は、本発明の好適な実施形態であり、上記各実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

例えば、上述した実施形態における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。

なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムが格納されているＲＯＭから、専用のハードウェアに組み込まれているコンピュータ内のメモリ（ＲＡＭ）にプログラムを読み込んで実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク等の磁気ディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスク、ＭＯ（Magneto optical）ディスク等の光磁気ディスクなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。

このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。

また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

また、上記実施形態で説明したシステムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。

１００デジタル複合機
１０１マーカー
２００携帯電話機
２０１カメラ
２０２マーカー情報取得部
２０３操作入力部
２０４無線ネットワークインタフェース
２０５ヘルプデータ取得部
２０６表示画像生成部
２０７液晶ディスプレイ
３００ヘルプサーバ
３０１状態テーブル
３０２ヘルプテーブル
３０３ヘルプデータテーブル
３１０記憶部
３２０ネットワークインタフェース
３３０ＣＰＵ

特開２００１−３１２４６２号公報特許第４１５４２８５号公報特開２００８−１９３６４０号公報

２次元マトリックスコードを利用した拡張現実感の構成手法, 暦本純一, WISS９６

Claims

対象機器と、前記対象機器の操作を補助するためのヘルプ情報を提供するサーバ装置と、前記ヘルプ情報を受信する携帯通信端末と、がネットワークに接続されたヘルプ情報提供システムであって、
前記対象機器は、
対象機器ごとに一意に割り当てられた自身の機器ＩＤと、機器の位置・傾き検出用のマーカーが貼付されている箇所を示す面コードと、を表すマーカーが貼付され、
前記自身の機器ＩＤと、自身の状態を示す状態コードとを前記サーバ装置へ送信する送信手段を備え、
前記携帯通信端末は、
前記対象機器を撮像する撮像手段と、
前記撮像した撮像画像データから前記マーカーの画像を抽出し、前記抽出したマーカー画像から対象機器の機器ＩＤと面コードとを取得するマーカー情報取得手段と、
前記取得した機器ＩＤと面コードとを前記サーバ装置へ送信する送信手段と、を備え、
前記サーバ装置は、
前記対象機器から送信された機器ＩＤ及び状態コードと、前記携帯通信端末から送信された機器ＩＤ及び面コードとに基づいた、前記対象機器の状態に対応する固有のヘルプ情報を、前記携帯通信端末に送信する送信手段を備え、
さらに、前記携帯通信端末は、
前記サーバ装置から送信されたヘルプ情報と前記撮像画像データとを合成し、ヘルプ情報提供画像データを生成する生成手段と、
前記生成したヘルプ情報提供画像データを表示する表示手段と、を備えることを特徴とするヘルプ情報提供システム。
前記サーバ装置が備える送信手段は、前記状態コードが変更されると、前記携帯通信端末へ新しいヘルプデータを送信し、
前記携帯通信端末が備える生成手段及び表示手段は、前記サーバ装置から新たにヘルプ情報が送信される度に、前記ヘルプ情報提供画像データの生成及び表示を行い、更新することを特徴とする請求項１記載のヘルプ情報提供システム。
前記対象機器が備える送信手段は、自身の状態が変化した場合に、変化した状態に対応した新たな状態コードと、機器ＩＤとを、前記サーバ装置へ送信することを特徴とする請求項２記載のヘルプ情報提供システム。
前記対象機器は、自身の状態が変化した場合に、変化した状態に対応した新たな状態コードと、機器ＩＤとを表示する状態情報表示手段を備え、
前記携帯通信端末が備える送信手段は、ユーザにより入力された前記新たな状態コードと、機器ＩＤとを、前記サーバ装置へ送信することを特徴とする請求項２記載のヘルプ情報提供システム。
前記対象機器が備える状態情報表示手段は、前記新たな状態コードと、機器ＩＤとを、QRコードで表示することを特徴とする請求項４記載のヘルプ情報提供システム。
前記ヘルプ情報は、頂点情報、色情報、文字情報などの非画像データより構成され、前記携帯通信端末が備える生成手段によって画像データとして構築されることを特徴とする請求項１から５のいずれか１項記載のヘルプ情報提供システム。
前記対象機器は、デジタル複合機であることを特徴とする請求項１から６のいずれか１項記載のヘルプ情報提供システム。
前記携帯通信端末は、携帯電話機であることを特徴とする請求項１から７のいずれか１項記載のヘルプ情報提供システム。
前記携帯通信端末は、デジタルカメラであることを特徴とする請求項１から７のいずれか１項記載のヘルプ情報提供システム。
対象機器と、携帯通信端末と、前記対象機器の操作を補助するためのヘルプ情報を前記携帯通信端末に提供するサーバ装置と、がネットワークに接続されたヘルプ情報提供システムの前記サーバ装置であって、
前記対象機器から送信された機器ＩＤ及び状態コードと、前記携帯通信端末から送信された機器ＩＤ及び面コードとに基づいて、前記対象機器の状態に対応する固有のヘルプ情報を、前記携帯通信端末に送信する送信手段を備えることを特徴とするサーバ装置。
対象機器と、携帯通信端末と、前記対象機器の操作を補助するためのヘルプ情報を前記携帯通信端末に提供するサーバ装置と、がネットワークに接続されたヘルプ情報提供システムの前記対象機器であって、
前記対象機器には、前記対象機器ごとに一意に割り当てられた自身の機器ＩＤと、機器の位置・傾き検出用のマーカーが貼付されている箇所を示す面コードと、を表すマーカーが貼付され、
前記自身の機器ＩＤと、自身の状態を示す状態コードとを前記サーバ装置へ送信する送信手段を備えることを特徴とする対象機器。
対象機器と、携帯通信端末と、前記対象機器の操作を補助するためのヘルプ情報を前記携帯通信端末に提供するサーバ装置と、がネットワークに接続されたヘルプ情報提供システムの前記携帯通信端末であって、
前記対象機器を撮像する撮像手段と、
前記撮像した撮像画像データから前記マーカーの画像を抽出し、前記抽出したマーカー画像から対象機器の機器ＩＤと面コードとを取得するマーカー情報取得手段と、
前記取得した機器ＩＤと面コードとを前記サーバ装置へ送信する送信手段と、
前記サーバ装置から送信されたヘルプ情報と前記撮像画像データとを合成し、ヘルプ情報提供画像データを生成する生成手段と、
前記生成したヘルプ情報提供画像データを表示する表示手段と、を備えることを特徴とする携帯通信端末。
対象機器と、前記対象機器の操作を補助するためのヘルプ情報を提供するサーバ装置と、前記ヘルプ情報を受信する携帯通信端末と、がネットワークに接続されたヘルプ情報提供システムにおけるヘルプ情報提供方法であって、
前記対象機器が、自身の機器ＩＤと、自身の状態を示す状態コードとを前記サーバ装置へ送信するステップと、
前記携帯通信端末が、前記対象機器を撮像した撮像画像データから、前記対象機器に貼付された機器の位置・傾き検出用のマーカーの画像を抽出し、前記抽出したマーカー画像から対象機器ごとに一意に割り当てられた対象機器の機器ＩＤと、前記マーカーが貼付されている箇所を示す面コードと、を取得するステップと、
前記携帯通信端末が、前記取得した機器ＩＤと面コードとを前記サーバ装置へ送信するステップと、
前記サーバ装置が、前記対象機器から送信された機器ＩＤ及び状態コードと、前記携帯通信端末から送信された機器ＩＤ及び面コードとに基づいて、前記対象機器の状態に対応する固有のヘルプ情報を、前記携帯通信端末に送信するステップと、
前記携帯通信端末が、前記サーバ装置から送信されたヘルプ情報と前記撮像画像データとを合成し、ヘルプ情報提供画像データを生成し、表示部に表示するステップと、を備えることを特徴とするヘルプ情報提供方法。
対象機器と、前記対象機器の操作を補助するためのヘルプ情報を提供するサーバ装置と、前記ヘルプ情報を受信する携帯通信端末と、がネットワークに接続されたヘルプ情報提供システムにおけるヘルプ情報提供プログラムであって、
前記対象機器が、自身の機器ＩＤと、自身の状態を示す状態コードとを前記サーバ装置へ送信する処理と、
前記携帯通信端末が、前記対象機器を撮像した撮像画像データから、前記対象機器に貼付された機器の位置・傾き検出用のマーカーの画像を抽出し、前記抽出したマーカー画像から対象機器ごとに一意に割り当てられた対象機器の機器ＩＤと、前記マーカーが貼付されている箇所を示す面コードと、を取得する処理と、
前記携帯通信端末が、前記取得した機器ＩＤと面コードとを前記サーバ装置へ送信する処理と、
前記サーバ装置が、前記対象機器から送信された機器ＩＤ及び状態コードと、前記携帯通信端末から送信された機器ＩＤ及び面コードとに基づいて、前記対象機器の状態に対応する固有のヘルプ情報を、前記携帯通信端末に送信する処理と、
前記携帯通信端末が、前記サーバ装置から送信されたヘルプ情報と前記撮像画像データとを合成し、ヘルプ情報提供画像データを生成し、表示部に表示する処理と、をコンピュータに実行させることを特徴とするヘルプ情報提供プログラム。
請求項１４記載のヘルプ情報提供プログラムの処理を記録するコンピュータ読取り可能な記録媒体。