JP7205688B2 - 携帯機器および操作支援プログラム - Google Patents

Description

本発明は、表示デバイスを備える電子機器の操作を支援する携帯機器および操作支援プログラムに関する。

従来、表示デバイスを備える電子機器の操作を支援する携帯機器として、携帯機器の撮影デバイスによって撮影された画像から電子機器の表示デバイスに表示された画面に含まれる識別コードを取得し、識別コードに対応付けられたヘルプ画面を携帯機器の表示デバイスに表示するものが知られている（例えば、特許文献１参照。）。

特開２０１６－０４５６３５号公報

しかしながら、従来の携帯機器においては、電子機器の表示デバイスに表示される画面に識別コードを含ませる必要があり、電子機器の表示デバイスに表示される画面に表示可能な内容が識別コードの分だけ少なくなるという問題がある。

そこで、本発明は、電子機器の操作を支援する場合に電子機器の表示デバイスに表示される画面に表示可能な内容を増加させることができる携帯機器および操作支援プログラムを提供することを目的とする。

本発明の携帯機器は、表示デバイスを備える電子機器の操作を支援する携帯機器であって、撮影デバイスと、前記撮影デバイスによって撮影された画像から前記電子機器の前記表示デバイスに表示された画面を取得する画面取得部と、次にすべき前記操作を通知する操作通知部とを備え、前記操作通知部は、前記画面自体と、次にすべき前記操作とを互いに関連付けて示すヘルプデータにおいて、前記画面取得部によって取得された前記画面自体に関連付けられている、次にすべき前記操作を通知することを特徴とする。

この構成により、本発明の携帯機器は、撮影デバイスによって撮影された画像から取得された、電子機器の表示デバイスに表示された画面自体にヘルプデータにおいて関連付けられている、次にすべき操作を通知するので、次にすべき操作を特定するための識別コードを、電子機器の表示デバイスに表示される画面に含ませなくても、次にすべき操作を通知することができる。したがって、本発明の携帯機器は、電子機器の操作を支援する場合に電子機器の表示デバイスに表示される画面に表示可能な内容を増加させることができる。

本発明の携帯機器は、表示デバイスを備え、前記操作通知部は、前記撮影デバイスによって撮影された画像に、次にすべき前記操作を重ねた画像を前記携帯機器の前記表示デバイスに表示することによって、次にすべき前記操作を通知しても良い。

この構成により、本発明の携帯機器は、撮影デバイスによって撮影された画像に、次にすべき操作を重ねた画像を携帯機器の表示デバイスに表示するので、電子機器に対する操作の容易性を向上することができる。

本発明の操作支援プログラムは、表示デバイスを備える電子機器の操作を支援するための操作支援プログラムであって、撮影デバイスを備える携帯機器に、前記撮影デバイスによって撮影された画像から前記電子機器の前記表示デバイスに表示された画面を取得する画面取得部と、次にすべき前記操作を通知する操作通知部とを実現させ、前記操作通知部は、前記画面自体と、次にすべき前記操作とを互いに関連付けて示すヘルプデータにおいて、前記画面取得部によって取得された前記画面自体に関連付けられている、次にすべき前記操作を通知することを特徴とする。

この構成により、本発明の操作支援プログラムを実行する携帯機器は、撮影デバイスによって撮影された画像から取得された、電子機器の表示デバイスに表示された画面自体にヘルプデータにおいて関連付けられている、次にすべき操作を通知するので、次にすべき操作を特定するための識別コードを、電子機器の表示デバイスに表示される画面に含ませなくても、次にすべき操作を通知することができる。したがって、本発明の操作支援プログラムを実行する携帯機器は、電子機器の操作を支援する場合に電子機器の表示デバイスに表示される画面に表示可能な内容を増加させることができる。

本発明の携帯機器および操作支援プログラムは、電子機器の操作を支援する場合に電子機器の表示デバイスに表示される画面に表示可能な内容を増加させることができる。

本発明の一実施の形態に係るシステムのブロック図である。 図１に示すＭＦＰの外観斜視図である。 図２に示すＭＦＰのブロック図である。 （ａ）図１に示す携帯機器の正面図である。 （ｂ）図４（ａ）に示す携帯機器の背面図である。 図４に示す携帯機器のブロック図である。 図５に示すヘルプデータの一例を示す図である。 図５に示すヘルプデータ特定情報の一例を示す図である。 次操作を通知する場合の図５に示す携帯機器の動作の一部のフローチャートである。 図８に示すフローチャートの続きのフローチャートである。 （ａ）図５に示すカメラによって撮影された画像に含まれている、ＭＦＰの表示部に表示された画面の一例を示す図である。 （ｂ）図５に示す表示部に表示される画像の一例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。

まず、本発明の一実施の形態に係るシステムの構成について説明する。

図１は、本実施の形態に係るシステム１０のブロック図である。

図１に示すように、システム１０は、電子機器としてのＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）２０を備えている。システム１０は、ＭＦＰ２０以外に、ＭＦＰ２０と同様の構成のＭＦＰを少なくとも１つのＭＦＰを備えても良い。

システム１０は、タブレット、スマートフォンなどの携帯機器３０を備えている。システム１０は、携帯機器３０以外に、携帯機器３０と同様の構成の携帯機器を少なくとも１つ備えても良い。

図２は、ＭＦＰ２０の外観斜視図である。図３は、ＭＦＰ２０のブロック図である。

図２および図３に示すように、ＭＦＰ２０は、種々の操作が入力される例えばボタンなどの入力デバイスである操作部２１と、種々の情報を表示する例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである表示部２２と、用紙などの記録媒体に画像を印刷する印刷デバイスであるプリンター２３と、原稿から画像を読み取る読取デバイスであるスキャナー２４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部２５と、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部２６と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部２７と、ＭＦＰ２０全体を制御する制御部２８とを備えている。

操作部２１の少なくとも一部は、表示部２２とともに、タッチパネルを構成している。

制御部２８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、制御部２８のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。制御部２８のＣＰＵは、記憶部２７、または、制御部２８のＲＯＭに記憶されているプログラムを実行する。

図４（ａ）は、携帯機器３０の正面図である。図４（ｂ）は、携帯機器３０の背面図である。図５は、携帯機器３０のブロック図である。

図４および図５に示すように、携帯機器３０は、種々の操作が入力される例えばボタンなどの操作デバイスである操作部３１と、種々の情報を表示する例えばＬＣＤなどの表示デバイスである表示部３２と、音声が入力される音声入力デバイスであるマイク３３と、音声を出力する音声出力デバイスであるスピーカー３４と、撮影デバイスとしてのカメラ３５と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部３６と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部３７と、携帯機器３０全体を制御する制御部３８とを備えている。

操作部３１の少なくとも一部は、表示部３２とともに、タッチパネルを構成している。

表示部３２は、携帯機器３０の正面側の部分に配置されている。カメラ３５は、携帯機器３０の背面側の部分に配置されていて、携帯機器３０の背面側の外部を撮影する。

記憶部３７は、ＭＦＰの操作を支援するための操作支援プログラム３７ａを記憶している。操作支援プログラム３７ａは、例えば、携帯機器３０の製造段階で携帯機器３０にインストールされていても良いし、ネットワーク上から携帯機器３０に追加でインストールされても良い。

記憶部３７は、ＭＦＰの操作を支援するためのヘルプデータ３７ｂを記憶している。記憶部３７は、ヘルプデータ３７ｂ以外に、ヘルプデータ３７ｂと同様の構成のヘルプデータを１つ以上記憶することが可能である。記憶部３７は、ＭＦＰにおける一連の操作手順毎にヘルプデータを記憶している。

記憶部３７は、記憶部３７に記憶されているヘルプデータを特定するためのヘルプデータ特定情報３７ｃを記憶している。

記憶部３７は、ＭＦＰのモデル名と、ＭＦＰの表示部の形状とを、ＭＦＰのモデル毎に関連付けている表示部形状情報３７ｄを記憶している。

制御部３８は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、制御部３８のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭとを備えている。制御部３８のＣＰＵは、記憶部３７、または、制御部３８のＲＯＭに記憶されているプログラムを実行する。

制御部３８は、操作支援プログラム３７ａを実行することによって、カメラ３５によって撮影された画像からＭＦＰの表示部に表示された画面を取得する画面取得部３８ａと、次にすべき、ＭＦＰの操作（以下「次操作」という。）を通知する操作通知部３８ｂとを実現する。

図６は、ヘルプデータ３７ｂの一例を示す図である。

図６に示すように、ヘルプデータ３７ｂは、ＭＦＰの表示部に表示される画面自体と、このＭＦＰに対する次操作とを互いに関連付けて示すデータである。ヘルプデータ３７ｂは、ヘルプデータ３７ｂに対応する一連の操作手順においてＭＦＰの表示部に表示される全ての画面を含むデータである。なお、ヘルプデータ３７ｂは、ヘルプデータ３７ｂに対応する一連の操作手順においてＭＦＰの表示部に表示される最後の画面については、次操作が存在しないので、画面のみを含んでいる。なお、図６における次操作に描かれている破線の画像は、次操作が表示部３２に表示される場合には、表示部３２に表示されない。

図７は、ヘルプデータ特定情報３７ｃの一例を示す図である。

図７に示すように、ヘルプデータ特定情報３７ｃは、ＭＦＰのモデル名と、ＭＦＰに対する一連の操作手順の種類（以下「ヘルプ内容」という。）との組み合わせと、ヘルプデータのＩＤとを互いに関連付けて示すデータである。

次に、システム１０の動作について説明する。

図８および図９は、次操作を通知する場合の携帯機器３０の動作のフローチャートである。

利用者は、携帯機器３０の操作部３１を介して操作支援プログラム３７ａの実行を指示することができる。携帯機器３０の制御部３８は、操作支援プログラム３７ａの実行が指示されると、操作支援プログラム３７ａを実行することによって、図８および図９に示す動作を実行する。

図８および図９に示すように、操作通知部３８ｂは、利用者が次操作の通知を希望する対象のＭＦＰ（以下「対象ＭＦＰ」という。）のモデル名と、利用者が次操作の通知を希望する対象のヘルプ内容（以下「対象ヘルプ内容」という。）とを音声によってマイク３３に入力することを利用者に促す通知を、表示部３２による表示と、スピーカー３４による音声の出力とによって実行する（Ｓ５１）。したがって、利用者は、対象ＭＦＰのモデル名と、対象ヘルプ内容とを音声によってマイク３３に入力することができる。例えば、利用者は、「モデル〇〇〇の×××という設定がしたい。」とマイク３３に向けて発言することによって、対象ＭＦＰのモデル名「〇〇〇」と、対象ヘルプ内容「×××」とを音声によってマイク３３に入力することができる。

操作通知部３８ｂは、Ｓ５１の処理の後、マイク３３に音声が入力されたと判断するまで、マイク３３に音声が入力されたか否かを判断する（Ｓ５２）。

操作通知部３８ｂは、マイク３３に音声が入力されたとＳ５２において判断すると、マイク３３に入力された音声を音声認識することによって、マイク３３に入力された音声から、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせを取得することができたか否かを判断する（Ｓ５３）。ここで、操作通知部３８ｂは、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせとして、ヘルプデータ特定情報３７ｃに記憶されているものを使用する。

操作通知部３８ｂは、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせを取得することができなかったとＳ５３において判断すると、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせを取得することができなかったことの通知を、表示部３２による表示と、スピーカー３４による音声の出力とによって実行して（Ｓ５４）、Ｓ５１の処理を実行する。

操作通知部３８ｂは、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせを取得することができたとＳ５３において判断すると、音声認識によって取得した、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせが正しいか否かの音声による回答を利用者に促す通知を、表示部３２による表示と、スピーカー３４による音声の出力とによって実行する（Ｓ５５）。したがって、利用者は、携帯機器３０から通知された、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせが、利用者自身が音声で入力したものと同一である場合に、例えば「正しい。」とマイク３３に向けて発言することによって、携帯機器３０から通知された、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせが正しいことを音声によって携帯機器３０に回答することができる。一方、利用者は、携帯機器３０から通知された、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせが、利用者自身が音声で入力したものと同一ではない場合に、例えば「違う。」とマイク３３に向けて発言することによって、携帯機器３０から通知された、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせが正しくないことを音声によって携帯機器３０に回答することができる。

操作通知部３８ｂは、Ｓ５５の処理の後、マイク３３に音声が入力されたと判断するまで、マイク３３に音声が入力されたか否かを判断する（Ｓ５６）。

操作通知部３８ｂは、マイク３３に音声が入力されたとＳ５６において判断すると、マイク３３に入力された音声を音声認識することによって、音声認識によって取得した、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせが正しいか否かの音声による回答を取得することができたか否かを判断する（Ｓ５７）。

操作通知部３８ｂは、回答を取得することができなかったとＳ５７において判断すると、回答を取得することができなかったことの通知を、表示部３２による表示と、スピーカー３４による音声の出力とによって実行して（Ｓ５８）、Ｓ５５の処理を実行する。

操作通知部３８ｂは、回答を取得することができたとＳ５７において判断すると、音声認識によって取得した、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせが正しいという回答を取得したか否かを判断する（Ｓ５９）。

操作通知部３８ｂは、音声認識によって取得した、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせが正しいという回答を取得しなかったとＳ５９において判断すると、Ｓ５１の処理を実行する。

操作通知部３８ｂは、音声認識によって取得した、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせが正しいという回答を取得することができたとＳ５９において判断すると、音声認識によって取得した、対象ＭＦＰのモデル名と、対象ヘルプ内容との組み合わせを確定し（Ｓ６０）、Ｓ６０において確定した組み合わせにヘルプデータ特定情報３７ｃにおいて関連付けられているヘルプデータのＩＤを取得する（Ｓ６１）。

次いで、操作通知部３８ｂは、Ｓ６１において取得したＩＤによって特定されるヘルプデータを記憶部３７から取得する（Ｓ６２）。

次いで、画面取得部３８ａは、カメラ３５を起動して（Ｓ７１）、カメラ３５によって撮影された画像の表示部３２への表示を開始する（Ｓ７２）。

次いで、画面取得部３８ａは、表示部３２に表示されている、カメラ３５によって撮影された画像に、対象ＭＦＰの表示部に表示された画面を含ませることを利用者に促す通知を、表示部３２による表示と、スピーカー３４による音声の出力とによって実行する（Ｓ７３）。したがって、利用者は、携帯機器３０の位置を調整することによって、表示部３２に表示されている、カメラ３５によって撮影された画像に、対象ＭＦＰの表示部に表示された画面を含ませることができる。

次いで、画面取得部３８ａは、カメラ３５によって撮影された画像に、対象ＭＦＰの表示部が含まれていると判断するまで、カメラ３５によって撮影された画像に、対象ＭＦＰの表示部が含まれているか否かを判断する（Ｓ７４）。ここで、画面取得部３８ａは、Ｓ６０において確定されたモデル名に表示部形状情報３７ｄにおいて関連付けられている、対象ＭＦＰの表示部の形状との画像マッチングを実行することによって、カメラ３５によって撮影された画像において、対象ＭＦＰの表示部を特定することができる。

画面取得部３８ａは、カメラ３５によって撮影された画像に、対象ＭＦＰの表示部が含まれているとＳ７４において判断すると、カメラ３５によって撮影された画像に含まれている、対象ＭＦＰの表示部に表示された画面を取得する（Ｓ７５）。

次いで、操作通知部３８ｂは、Ｓ７５において取得した画面が、Ｓ６２において取得したヘルプデータに含まれるか否かを画像マッチングによって判断する（Ｓ７６）。

操作通知部３８ｂは、Ｓ７５において取得した画面が、Ｓ６２において取得したヘルプデータに含まれないとＳ７６において判断すると、対象ヘルプ内容におけるいずれの画面もＭＦＰの表示部に表示されていないことの通知を、表示部３２による表示と、スピーカー３４による音声の出力とによって実行する（Ｓ７７）。したがって、利用者は、対象ＭＦＰの操作部を介して対象ＭＦＰを操作することによって、対象ヘルプ内容におけるいずれかの画面をＭＦＰの表示部に表示させることができる。

画面取得部３８ａは、Ｓ７７の処理の後、Ｓ７４の処理を実行する。

操作通知部３８ｂは、Ｓ７５において取得した画面が、Ｓ６２において取得したヘルプデータに含まれるとＳ７６において判断すると、Ｓ７５において取得した画面が、Ｓ６２において取得したヘルプデータに対応する一連の操作手順においてＭＦＰの表示部に表示される最後の画面であるか否かを、Ｓ７５において取得した画面と、Ｓ６２において取得したヘルプデータとに基づいて判断する（Ｓ７８）。

操作通知部３８ｂは、Ｓ７５において取得した画面が最後の画面ではないとＳ７８において判断すると、Ｓ７５において取得した画面に、Ｓ６２において取得したヘルプデータにおいて関連付けられている次操作を特定する（Ｓ７９）。

次いで、操作通知部３８ｂは、カメラ３５によって撮影された画像に、Ｓ７９において特定した次操作を重ねた画像を、表示部３２に表示することによって、Ｓ７９において特定した次操作を通知する（Ｓ８０）。すなわち、操作通知部３８ｂは、Ｓ７９において特定した次操作をＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）によって表示する。例えば、操作通知部３８ｂは、Ｓ７５において取得した画面が図１０（ａ）に示すものであって、Ｓ６２において取得したヘルプデータが図６に示すヘルプデータ３７ｂである場合、図１０（ｂ）に示す画像を表示部３２に表示する。したがって、利用者は、表示部３２に表示されている次操作を参考にして、対象ＭＦＰの操作部を介して対象ＭＦＰを操作することができる。なお、対象ＭＦＰは、対象ＭＦＰの操作部を介して操作されることによって、対象ＭＦＰの表示部に表示する画像を変更する。

画面取得部３８ａは、Ｓ８０の処理の後、Ｓ７４の処理を実行する。

操作通知部３８ｂは、Ｓ７５において取得した画面が最後の画面であるとＳ７８において判断すると、対象ヘルプ内容における全ての操作が終了したことの通知を、表示部３２による表示と、スピーカー３４による音声の出力とによって実行する（Ｓ８１）。したがって、利用者は、携帯機器３０の操作部３１を介して操作支援プログラム３７ａの実行の終了を指示することができる。

操作通知部３８ｂは、Ｓ８１の処理の後、操作支援プログラム３７ａの実行の終了が指示されたと判断するまで、操作支援プログラム３７ａの実行の終了が指示されたか否かを判断する（Ｓ８２）。

操作通知部３８ｂは、操作支援プログラム３７ａの実行の終了が指示されたとＳ８２において判断すると、カメラ３２の動作を終了させた（Ｓ８３）後、操作支援プログラム３７ａの実行の終了の処理を開始して（Ｓ８４）、図８および図９に示す動作を終了する。

以上に説明したように、携帯機器３０は、カメラ３５によって撮影された画像から取得された、ＭＦＰの表示部に表示された画面自体にヘルプデータにおいて関連付けられている、次にすべき操作を通知する（Ｓ８０）ので、次にすべき操作を特定するための識別コードを、ＭＦＰの表示部に表示される画面に含ませなくても、次にすべき操作を通知することができる。したがって、携帯機器３０は、ＭＦＰの操作を支援する場合にＭＦＰの表示部に表示される画面に表示可能な内容を増加させることができる。

携帯機器３０は、カメラ３５によって撮影された画像から取得された、ＭＦＰの表示部に表示された画面自体にヘルプデータにおいて関連付けられている、次にすべき操作を通知するので、次にすべき操作をリアルタイムに利用者に認識させることができる。

携帯機器３０は、カメラ３５によって撮影された画像に、次にすべき操作を重ねた画像を表示部３２にＡＲによって表示するので、ＭＦＰに対する操作の容易性を向上することができる。なお、携帯機器３０は、次にすべき操作を、ＡＲ以外の方法によって、表示部３２に表示しても良い。

携帯機器は、本実施の形態において、Ｓ７５において取得した画面が最後の画面であるとＳ７８において判断した後、操作支援プログラム３７ａの実行の終了が指示されてから、操作支援プログラム３７ａの実行を終了する。しかしながら、携帯機器は、Ｓ７５において取得した画面が最後の画面であるとＳ７８において判断すると、操作支援プログラム３７ａの実行を自動で終了しても良い。

ヘルプデータ、ヘルプデータ特定情報および表示部形状情報は、本実施の形態において、携帯機器の記憶部に記憶されている。しかしながら、ヘルプデータ、ヘルプデータ特定情報および表示部形状情報の少なくとも１つは、例えばクラウド上など、携帯機器の記憶部以外の場所に記憶されても良い。

携帯機器は、本実施の形態において、対象ＭＦＰのモデル名と、対象ヘルプ内容との両方を同時に取得する。しかしながら、携帯機器は、対象ＭＦＰのモデル名と、対象ヘルプ内容とを１つずつ取得しても良い。

携帯機器は、本実施の形態において、対象ＭＦＰのモデル名と、対象ヘルプ内容とが音声によって入力される。しかしながら、携帯機器は、対象ＭＦＰのモデル名と、対象ヘルプ内容との少なくとも１つが音声以外の方法によって入力されても良い。例えば、携帯機器は、対象ＭＦＰのモデル名と、対象ヘルプ内容との少なくとも１つが携帯機器の操作部から入力されても良い。

本発明の電子機器は、本実施の形態において、ＭＦＰであるが、例えばプリンター専用機、コピー専用機、ファックス専用機、スキャナー専用機など、ＭＦＰ以外の画像形成装置でも良いし、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など、画像形成装置以外の電子機器でも良い。

２０ ＭＦＰ（電子機器）
２２ 表示部（表示デバイス）
３０ 携帯機器
３２ 表示部（表示デバイス）
３５ カメラ（撮影デバイス）
３７ａ 操作支援プログラム
３７ｂ ヘルプデータ
３８ａ 画面取得部
３８ｂ 操作通知部

Claims (6)

1. 表示デバイスを備える電子機器の操作を支援する携帯機器であって、
   撮影デバイスと、
   ヘルプデータを記憶する記憶部と、
   前記撮影デバイスによって撮影された画像から前記電子機器の前記表示デバイスに表示された画面を取得する画面取得部と、
   次にすべき前記操作を通知する操作通知部と
   を備え、
   前記ヘルプデータは、前記表示デバイスに表示される画面自体と、次にすべき前記操作とを互いに関連付けて示すデータであり、
   前記操作通知部は、次にすべき前記操作の通知を利用者が希望する、前記電子機器に対する一連の操作手順の種類の入力を受け付け、
   前記操作通知部は、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに含まれない場合に、入力された前記種類におけるいずれの画面も前記表示デバイスに表示されていないことを通知し、
   前記操作通知部は、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに含まれる場合に、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに対応する一連の操作手順において前記表示デバイスに表示される最後の画面ではないとき、前記画面取得部によって取得された画面自体に、入力された前記種類に対応する前記ヘルプデータにおいて関連付けられている、次にすべき前記操作を通知することを特徴とする携帯機器。
2. 前記操作通知部は、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに含まれる場合に、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに対応する一連の操作手順において前記表示デバイスに表示される最後の画面であるとき、入力された前記種類における全ての前記操作が終了したことを通知することを特徴とする請求項１に記載の携帯機器。
3. 表示デバイスを備える電子機器の操作を支援する携帯機器であって、
   撮影デバイスと、
   ヘルプデータを記憶する記憶部と、
   前記撮影デバイスによって撮影された画像から前記電子機器の前記表示デバイスに表示された画面を取得する画面取得部と、
   次にすべき前記操作を通知する操作通知部と
   を備え、
   前記ヘルプデータは、前記表示デバイスに表示される画面自体と、次にすべき前記操作とを互いに関連付けて示すデータであり、
   前記操作通知部は、次にすべき前記操作の通知を利用者が希望する、前記電子機器に対する一連の操作手順の種類の入力を受け付け、
   前記操作通知部は、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに対応する一連の操作手順において前記表示デバイスに表示される最後の画面ではない場合に、前記画面取得部によって取得された画面自体に、入力された前記種類に対応する前記ヘルプデータにおいて関連付けられている、次にすべき前記操作を通知し、
   前記操作通知部は、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに対応する一連の操作手順において前記表示デバイスに表示される最後の画面である場合に、入力された前記種類における全ての前記操作が終了したことを通知することを特徴とする携帯機器。
4. 表示デバイスを備え、
   前記操作通知部は、前記撮影デバイスによって撮影された画像に、次にすべき前記操作を重ねた画像を前記携帯機器の前記表示デバイスに表示することによって、次にすべき前記操作を通知することを特徴とする請求項１から請求項３までのいずれかに記載の携帯機器。
5. 表示デバイスを備える電子機器の操作を支援するための操作支援プログラムであって、
   撮影デバイスと、ヘルプデータを記憶する記憶部とを備える携帯機器に、
   前記撮影デバイスによって撮影された画像から前記電子機器の前記表示デバイスに表示された画面を取得する画面取得部と、
   次にすべき前記操作を通知する操作通知部と
   を実現させ、
   前記ヘルプデータは、前記表示デバイスに表示される画面自体と、次にすべき前記操作とを互いに関連付けて示すデータであり、
   前記操作通知部は、次にすべき前記操作の通知を利用者が希望する、前記電子機器に対する一連の操作手順の種類の入力を受け付け、
   前記操作通知部は、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに含まれない場合に、入力された前記種類におけるいずれの画面も前記表示デバイスに表示されていないことを通知し、
   前記操作通知部は、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに含まれる場合に、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに対応する一連の操作手順において前記表示デバイスに表示される最後の画面ではないとき、前記画面取得部によって取得された画面自体に、入力された前記種類に対応する前記ヘルプデータにおいて関連付けられている、次にすべき前記操作を通知することを特徴とする操作支援プログラム。
6. 表示デバイスを備える電子機器の操作を支援するための操作支援プログラムであって、
   撮影デバイスと、ヘルプデータを記憶する記憶部とを備える携帯機器に、
   前記撮影デバイスによって撮影された画像から前記電子機器の前記表示デバイスに表示された画面を取得する画面取得部と、
   次にすべき前記操作を通知する操作通知部と
   を実現させ、
   前記ヘルプデータは、前記表示デバイスに表示される画面自体と、次にすべき前記操作とを互いに関連付けて示すデータであり、
   前記操作通知部は、次にすべき前記操作の通知を利用者が希望する、前記電子機器に対する一連の操作手順の種類の入力を受け付け、
   前記操作通知部は、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに対応する一連の操作手順において前記表示デバイスに表示される最後の画面ではない場合に、前記画面取得部によって取得された画面自体に、入力された前記種類に対応する前記ヘルプデータにおいて関連付けられている、次にすべき前記操作を通知し、
   前記操作通知部は、前記画面取得部によって取得された画面が、入力された前記種類に対応する前記ヘルプデータに対応する一連の操作手順において前記表示デバイスに表示される最後の画面である場合に、入力された前記種類における全ての前記操作が終了したことを通知することを特徴とする操作支援プログラム。

Images