JP5983053B2 - ガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラム - Google Patents

Description

この発明はガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラムに関し、特に、撮影画像にガイダンスを合成して表示するガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラムに関する。

撮影画像をリアルタイムに表示装置に表示しつつ、当該撮影画像に予め用意されている画像を合成して表示することで、現実の撮影画像上にオブジェクトが重なって見える仮想現実を表示する技術がある。この技術は拡張現実技術（ＡＲ：Augmented Reality）と言われる。

特開２０１０−２１９８７９号公報（以下、特許文献１）等において、この技術を利用してカメラ付き携帯端末で撮影した映像に説明画像（ガイダンス）を重ねて表示することでユーザーに説明をわかりやすく提示する技術が提案されている。すなわち、特許文献１では、機器が自身の状態をサーバーに送信し、ユーザーはカメラ付き携帯端末で対象機器に添付されたマーカーから対象機器を識別してサーバーから対象機器の状態に応じたヘルプ情報を取得し、対象機器の映像にヘルプ情報を重畳して表示するシステムを開示している。

また、特開２０１１−１９８１５０号公報（以下、特許文献２）は、撮影画像にエアタグを合成した画像をヘッドマウント型の表示装置で見ながらエアタグに対して操作することで、予め規定された機能を発現させる方法を開示している。

特開２０１０−２１９８７９号公報 特開２０１１−１９８１５０号公報

しかしながら、撮影画像中の操作対象物に説明画像やエアタグが重なって表示されてしまった場合、表示画面を見ながら操作対象物の操作をする際に手元が説明画像やエアタグで隠れてしまい、操作し難くなるという問題がある。

本発明はこのような問題に鑑みてなされたものであって、表示画像を見ながら対象物に対する操作を行なう際の操作性を妨げることなく撮影画像とガイダンスとを合成表示するガイダンス表示システム、ガイダンス表示装置、ガイダンス表示方法、およびガイダンス表示プログラムを提供することを目的としている。

上記目的を達成するために、本発明のある局面に従うと、ガイダンス表示システムは、第１の装置と表示装置とを含んで、表示装置に第１の装置の操作のためのガイダンスを表示するガイダンス表示システムであって、撮影画像を取得するための第１の取得手段と、撮影画像を解析することで含まれる第１の装置を特定するための第１の解析手段と、第１の装置の状態を取得するための第２の取得手段と、第１の装置の状態に応じたガイダンス画像を取得するための第３の取得手段と、撮影画像にガイダンス画像を合成して表示画面を生成し、表示装置に表示するための表示手段とを備える。表示手段は、ガイダンス画像を撮影画像に合成するための位置を特定するための特定手段を含み、特定手段は、撮影画像における、第１の装置の状態から特定される、その状態に対して操作が必要となる部位である操作部位の位置と、撮影画像における操作部位の位置から特定される、操作部位に対して操作者が手を接近させると推測される位置とに基づいて、手を接近させると推測される位置から離れた位置を合成するための位置として特定する。

好ましくは、特定手段は、撮影画像を解析することで撮影画像中の操作者の手の位置を検出するための第２の解析手段を含み、現在設定されている合成するための位置を、撮影画像中の操作者の手の位置との関係に基づいて更新する。

より好ましくは、特定手段は、現在設定されている合成するための位置が撮影画像中の操作者の手の位置に基づいて特定される範囲に含まれない位置となるように更新する。

好ましくは、ガイダンス表示システムは撮影のためのカメラと表示装置とを含んだ携帯端末をさらに備え、携帯端末は、当該携帯端末の携帯状況を検知するためのセンサーをさらに含み、特定手段は、センサーからのセンサー信号に基づいて得られる、携帯端末を把持した操作者が撮影画像において操作部位に対して手を接近させると推測される位置を用いて、合成するための位置を特定する。

より好ましくは、センサーは携帯端末を把持する位置を検知し、特定手段は、センサー信号から携帯端末を把持する手が右手か左手かを特定し、携帯端末を把持する側の手に応じて特定される撮影画像において操作部位に対して手を接近させると推測される位置を用いて、合成するための位置を特定する。

より好ましくは、特定手段は、携帯端末を把持する側と反対側の手の方を撮影画像において操作部位に対して手を接近させると推測される位置として合成するための位置を特定する。

好ましくは、センサーは携帯端末の角度を検知し、特定手段は、センサー信号から携帯端末の第１の装置に対する姿勢を特定し、携帯端末の第１の装置に対する姿勢から特定される撮影画像において操作部位に対して手を接近させると推測される位置を用いて、合成するための位置を特定する。

より好ましくは、特定手段は、カメラの撮影方向が水平方向からなす角度に応じて携帯端末の第１の装置に対する姿勢を特定する。

好ましくは、表示手段は、操作部位の位置と特定される合成するための位置とが所定範囲内となる場合には、撮影画像と、第１の装置の画像にガイダンス画像を合成した画像とを、それぞれ、表示装置の表示画面を二分したそれぞれの画面に並べて表示する。

本発明の他の局面に従うと、ガイダンス表示装置は第１の装置の操作のためのガイダンスを表示するガイダンス表示装置であって、表示装置と、カメラと、第１の装置と通信するための通信装置と、予め装置の状態に応じたガイダンス画像を記憶しておくためのメモリーと、制御装置とを備える。制御装置は、カメラより撮影画像を取得するための第１の取得手段と、撮影画像を解析することで含まれる第１の装置を特定するための解析手段と、第１の装置と通信することによって第１の装置の状態を取得するための第２の取得手段と、第１の装置の状態に応じたガイダンス画像をメモリーから取得するための第３の取得手段と、撮影画像にガイダンス画像を合成して表示画面を生成し、表示装置に表示するための表示手段とを含む。表示手段は、ガイダンス画像を撮影画像に合成するための位置を特定するための特定手段を有し、特定手段は、撮影画像における、第１の装置の状態から特定される、その状態に対して操作が必要となる部位である操作部位の位置と、撮影画像における操作部位の位置から特定される、操作部位に対して操作者が手を接近させると推測される位置とに基づいて、手を接近させると推測される位置から離れた位置を合成するための位置として特定する。

本発明のさらに他の局面に従うと、ガイダンス表示方法は第１の装置の操作のためのガイダンスを、カメラを有するガイダンス表示装置で表示する方法であって、撮影画像を取得するステップと、撮影画像を解析することで含まれる第１の装置を特定するステップと、第１の装置の状態を取得するステップと、第１の装置の状態に応じたガイダンス画像を取得するステップと、撮影画像にガイダンス画像を合成して表示画面を生成し、ガイダンス表示装置に表示するステップとを備える。ガイダンス表示装置に表示するステップは、ガイダンス画像を撮影画像に合成するための位置を特定するステップを含み、合成するための位置を特定するステップでは、撮影画像における、第１の装置の状態から特定される、その状態に対して操作が必要となる部位である操作部位の位置と、撮影画像における操作部位の位置から特定される、操作部位に対して操作者が手を接近させると推測される位置とに基づいて、手を接近させると推測される位置から離れた位置を合成するための位置として特定する。

本発明のさらに他の局面に従うと、ガイダンス表示プログラムは、カメラおよび通信装置を有するガイダンス表示装置に、第１の装置の操作のためのガイダンスを表示する処理を実行させるためのプログラムであって、カメラでの撮影によって撮影画像を取得するステップと、撮影画像を解析することで含まれる第１の装置を特定するステップと、第１の装置と通信することで第１の装置より第１の装置の状態を取得するステップと、予め装置の状態に応じたガイダンス画像を記憶しているメモリーより、第１の装置の状態に応じたガイダンス画像を取得するステップと、撮影画像にガイダンス画像を合成して表示画面を生成し、ガイダンス表示装置に表示するステップとをガイダンス表示装置に実行させる。ガイダンス表示装置に表示するステップは、ガイダンス画像を撮影画像に合成するための位置を特定するステップを含み、特定するステップでは、撮影画像における、第１の装置の状態から特定される、その状態に対して操作が必要となる部位である操作部位の位置と、撮影画像における操作部位の位置から特定される、操作部位に対して操作者が手を接近させると推測される位置とに基づいて、手を接近させると推測される位置から離れた位置を合成するための位置として特定する。

この発明によると、表示画像を見ながら対象物に対する操作を行なう際の操作性を妨げることなく、撮影画像とガイダンスとを合成表示することができる。

実施の形態にかかるガイダンス表示システム（以下、システム）の構成の具体例を示す図である。 システムに含まれる携帯端末の装置構成の具体例を示すブロック図である。 システムに含まれる、操作対象の一例としてのＭＦＰ（Multi-Functional Peripheral）のハードウェア構成の具体例を示す図である。 携帯端末の画面表示の具体例を表わした図である。 第１の実施の形態にかかるシステムでの動作概要を表わした図である。 携帯端末に記憶されている、ＭＦＰの機種ごとの、状態に応じた説明画像の具体例を表わした図である。 図５のステップＳ８での表示画面の具体例を表わした図である。 図５のステップＳ１０での、説明画像を合成する位置の更新を説明するための図である。 図５のステップＳ１０での、説明画像を合成する位置の更新を説明するための図である。 図５のステップＳ１０での、説明画像を合成する位置の更新を説明するための図である。 図５のステップＳ１０での、説明画像を合成する位置の更新の他の方法を説明するための図である。 図５のステップＳ１０での、説明画像を合成する位置の更新の他の方法を説明するための図である。 第１の実施の形態にかかる携帯端末の機能構成の具体例を示すブロック図である。 第１の実施の形態にかかる携帯端末での動作の流れの具体例を表わすフローチャートである。 第１の実施の形態にかかる携帯端末での動作の流れの具体例を表わすフローチャートである。 第１の実施の形態にかかる携帯端末での動作の流れの他の例を表わすフローチャートである。 変形例にかかる携帯端末での表示の例を表わした図である。 第２の実施の形態にかかる携帯端末での表示の具体例を表わした図である。 第２の実施の形態にかかる携帯端末のセンサーの具体例を表わした図である。 第２の実施の形態にかかる携帯端末での表示の具体例を表わした図である。 第２の実施の形態にかかるシステムでの動作概要を表わした図である。 第２の実施の形態にかかる携帯端末の機能構成の具体例を示すブロック図である。 第２の実施の形態にかかる携帯端末での動作の流れの具体例を表わすフローチャートである。 第３の実施の形態にかかる携帯端末での表示の具体例を表わした図である。 第３の実施の形態にかかる携帯端末の機能構成の具体例を示すブロック図である。 第３の実施の形態にかかるシステムでの動作概要を表わした図である。 第３の実施の形態にかかる携帯端末での動作の流れの具体例を表わすフローチャートである。

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。

＜システム構成＞
図１は、本実施の形態にかかるガイダンス表示システム（以下、システム）の構成の具体例を示す図である。

図１を参照して、システムは、ガイダンス表示装置としての携帯端末１００と、操作対象の一例としてのＭＦＰ（Multi-Functional Peripheral）２００とを含む。

携帯端末１００とＭＦＰ２００とは相互に通信可能である。その通信は無線通信であって、赤外線通信やＢｌｕｅｔｏｏｔｈ（登録商標）などどのようなものであってもよい。

携帯端末は、撮影機能、表示機能、および通信機能を有するものであればどのような装置であってもよい。たとえば、携帯電話機、ＰＤＡ（Personal Digital Assistants）、文書閲覧装置、小型ノートパソコン（パーソナルコンピューター）などであってもよいし、ヘッドマウンテン型表示装置などのユーザーの体または衣服の一部に装着し、見ながら作業可能なものであってもよい。

操作対象の装置はＭＦＰなどの画像形成装置に限定されず、後述する操作必要箇所を検知する機能および通信機能を有するものであればどのような装置であってもよい。

＜装置構成＞
図２は、携帯端末１００の装置構成の具体例を示すブロック図である。

図２を参照して、携帯端末１００は、全体を制御するための演算装置であるＣＰＵ（Central Processing Unit）１０と、ＣＰＵ１０で実行されるプログラムなどを記憶するためのＲＯＭ（Read Only Memory）１１と、ＣＰＵ１０でプログラムを実行する際の作業領域として機能するためのＲＡＭ（Random Access Memory）１２と、電話帳データなどを記憶するためメモリー１３と、情報を表示するための表示装置であり、かつ、当該携帯端末１００に対する操作入力を受け付けるための入力装置でもあるタッチパネルを含んだ操作パネル１４と、カメラ１５と、各種センサー１６と、ＭＦＰ２００との間の無線通信を制御するための通信コントローラー１７とを含む。センサー１６については後述する。

図３は、操作対象の一例としてのＭＦＰ２００のハードウェア構成の具体例を示す図である。

図３を参照して、ＭＦＰ２００は、全体を制御するための演算装置であるＣＰＵ２０と、ＣＰＵ２０で実行されるプログラムなどを記憶するためのＲＯＭ２１と、ＣＰＵ１０でプログラムを実行する際の作業領域として機能するためのＲＡＭ２２と、画像データ等を保存するためのメモリー２３と、図示しない原稿台に載置された原稿を光学的に読み取って画像データを得るためのスキャナー２４と、画像データを印刷用紙上に固定するためのプリンター２５と、情報を表示したり当該ＭＦＰ２００に対する操作入力を受け付けたりするためのタッチパネルを含んだ操作パネル２６と、ＭＦＰ２００の状態を検出するためのセンサー２７と、携帯端末１００との間の無線通信を制御するための通信コントローラー２８とを含む。

センサー２７としては、たとえば、トナー量残量やトナー切れ、用紙切れを検出するためのセンサーや、各部のジャム（紙詰まり）や温度異常や動作異常等を検出するためのセンサーや、印刷用紙の排紙トレーへの排出を検出するためのセンサー、などが該当する。

［第１の実施の形態］
＜動作概要＞
本実施の形態にかかるシステムでは、携帯端末１００で操作対象の装置であるＭＦＰ２００を撮影すると、携帯端末１００の操作パネル１４にその撮影画像と共にＭＦＰ２００に対する操作を説明（ガイダンス）するための画像（以下、説明画像）が重畳して表示される。

図４は、携帯端末１００の画面表示の具体例を表わした図である。
図４を参照して、携帯端末１００でＭＦＰ２００を撮影すると、ＭＦＰ２００の撮影画像の操作対象の部位（以下、操作部位）近傍に、必要とする操作の内容を表わした説明画像が重ねて表示される。図４の表示画面でＭＦＰ２００を見ることによって、あたかもＭＦＰ２００自体に操作の説明が付されているように見える。その画面を見ながらＭＦＰ２００を操作することで、操作内容を確認しながら操作でき、操作性が向上する。

図４の例では、操作者が携帯端末１００の操作パネル１４に表示された画面を見ながらＭＦＰ２００の操作を行なっている様子がさらに携帯端末１００のカメラ１５で撮影されて、操作パネル１４に表示されている。動画、または所定の時間間隔で得られるリアルタイムの撮影画像上に説明画像が重ねて表示されると、操作者は携帯端末１００の表示された操作部位と自身の手とを見ながら対象の装置の操作を行なうことができる。

しかしながら、このとき、説明画像が操作者の手元に重ねて表示されると手元が説明画像で隠れてしまい、表示画面を見ながら操作することが難しくなる。また、操作者が手を伸ばす先に説明画像があってもその先の作業が難しくなる。

そこで、本実施の形態にかかる携帯端末１００では、表示画面を見ながら装置の操作をする際に、表示画面上において操作者の手元の表示を妨げないように説明画像を表示する。

図５は、該システムでの動作概要を表わした図である。
図５を参照して、携帯端末においてガイダンス表示用のアプリケーション（プログラム）の開始が指示されると、該アプリケーションが起動し（ステップＳ１）、カメラでの撮影操作が行なわれると、その指示に応じて撮影が開始される（ステップＳ２）。ここでの撮影は所定タイミングでの連続的な撮影や動画の撮影である。

携帯端末は、撮影画像を解析することで操作対象の情報として機種を特定する（ステップＳ３）。ここでの特定の方法としては、ＭＦＰの機種を表わす文字やマークなどの画像を予めテンプレートとして記憶しておき、撮影画像の各領域を当該テンプレートを用いてマッチングすることで特定する方法が挙げられる。その他、後述するＭＦＰの状態情報を得るときと同様に、ＭＦＰに対して機種情報の送信を要求してもよい。

次に、携帯端末は、ＭＦＰに対して状態情報の送信を要求し（ステップＳ４）、ＭＦＰはその要求に応じて、センサーでの検出結果等に基づく状態情報を携帯端末に対して送信する（ステップＳ５）。ここでの状態情報とは、ＭＦＰが操作の必要な状態にあるときにその状態を表わした情報を指し、具体的には、紙切れや紙詰まり、トナー切れなどのトラブルが発生した状態や、コピーやスキャンなどの機能が選択された場合に操作画面で操作の必要が生じた状態などが該当する。

携帯端末のメモリーには、予め、ＭＦＰの機種ごとに、状態に応じた説明画像が記憶されている。

図６は、携帯端末に記憶されている、ＭＦＰの機種ごとの、状態に応じた説明画像の具体例を表わした図である。すなわち、図６を参照して、携帯端末には、ＭＦＰの機種ごとに、用紙切れ、用紙詰まり、トナー切れなどのトラブルに対処するための操作や、コピー操作、スキャン操作などの画面操作が必要な状態ごとに、その操作の内容を説明するための説明画像が記憶されている。

たとえば用紙切れの場合には、用紙のなくなったトレーを示すと共に、そのトレーに必要な用紙サイズを示して、補充を促すメッセージを表示する画像が該当する。また、コピー操作の場合には、用紙サイズやカラーの選択などを促すメッセージを表示する画像が該当する。

携帯端末はＭＦＰの状態に応じた説明画像を特定し、読み出す（ステップＳ６）。
なお、携帯端末は予め状態ごとに操作の内容自体を記憶しておき、ＭＦＰから状態情報を取得するたびに、予め記憶している必要な操作の内容に基づいて説明画像を生成するようにしてもよい。また、図示しないサーバーなどの外部の記憶装置に説明画像が記憶されており、携帯端末は必要な説明画像を外部の記憶装置から取得してもよい。

次に、携帯端末は撮影画像を解析することで説明画像を合成する位置を特定し（ステップＳ７）、その位置に説明画像を合成し（ステップＳ８）、画面を表示する。ステップＳ７での説明画像を合成する位置の特定方法については後述する。

携帯端末は、その後、アプリケーションの終了が指示されるまで、連続して入力される撮影画像または動画であるリアルタイムの撮影画像を所定のタイミングで解析してその画像中の操作者の手を検出し、その位置を特定する（ステップＳ９）。そして、その位置に基づいて説明画像の表示位置を更新し（ステップＳ１０）、更新後の位置に説明画像を合成して（ステップＳ１１）、画面を表示する。ステップＳ１０での説明画像を合成する位置の更新方法については後述する。

図７は、上記ステップＳ８での表示画面の具体例を表わした図である。
携帯端末は、好ましくは、予め機種ごとに状態に応じた操作部位を記憶しておき、上記ステップＳ７では、ＭＦＰの状態に応じた操作部位と、その位置に対して操作者が手を接近させると推測される位置とに基づいて、説明画像を合成する位置を特定する。すなわち、携帯端末は操作部位の位置を撮影画像上で特定し、その位置を操作する際に邪魔にならない位置を合成する位置として特定する。

図７の例はＭＦＰの手差しトレーの用紙切れが発生したときの表示画面の例であって、操作部位である手差しトレーが撮影画像において右側に位置している。この場合、操作者が手を撮影画像の右側から接近させると推測される。そこで、携帯端末では撮影画像上の右側から離れた位置を説明画像の表示位置と特定し、その位置に合成する。図７では、撮影画像の左側が説明画像の表示位置と特定されている例が表わされている。その他、上側、下側、などであってもよい。

図８〜図１０は、上記ステップＳ１０での、説明画像を合成する位置の更新を説明するための図である。

図８の表示画面では、撮影画像にＭＦＰに対して操作者が伸ばした手が映り込んでいる。携帯端末は撮影画像を解析することでこの撮影者の手を撮影画像から検出し、ＭＦＰに対する操作者の手の位置を特定する。手の検出は、一例として、撮影画像から肌色領域を検出することで実現されてもよいし、指輪や爪の画像等、手を表わすマーカーを予め設定しておき、そのマーカーを検出することで実現されてもよい。

また、携帯端末では、ＭＦＰからの状態情報からＭＦＰの操作部位が特定されている。そこで、携帯端末は、特定された操作者の手の位置および操作部位より、操作者が動線とする手の移動範囲を予測する。この範囲を、以下、予測動線範囲とも称する。

図８の例では、一例として、操作部位と操作者の手の位置とをそれぞれ焦点とし、この焦点間距離に対して予め規定された比率の長さの長軸、短軸で定義される楕円を予測動線範囲とした例が示されている。もちろん、予測動線範囲は楕円に限定されず、矩形や、丸形などであってもよいし、最も小さい範囲として、操作部位と操作者の手の位置とを結んだ線分（予測動線）であってもよい。

携帯端末は図８に表わされたように撮影画像において予測動線範囲を特定した上で、図９に表わされたように、現在の説明画像の表示位置と比較して、それらが重なっていないかを確認する。図９の例では、予測動線範囲に説明画像の一部が重なっているため、携帯端末は、図１０に表わされたように、説明画像の表示が予測動線範囲外となるように表示位置を更新する。

なお、上記ステップＳ１０での、説明画像を合成する位置の更新の方法は上述の方法に限定されるものではない。ここでの更新方法は、表示画面において操作者の手元が説明画像で隠れないように説明画像の表示位置を更新できればどのような方法であってもよい。

図１１および図１２は、上記ステップＳ１０での、説明画像を合成する位置の更新の他の方法を説明するための図である。

図１１を参照して、この場合、携帯端末は、撮影画像上の操作者の手の位置と説明画像の表示位置との間の距離ｄを算出する。携帯端末は、予め操作者の手の位置と説明画像の表示位置との間の距離のしきい値を記憶しておき、距離ｄがしきい値よりも小さくなった場合、すなわち、操作者の手が説明画像の表示にしきい値よりも接近したことが検出された場合に、操作者の手の移動に伴って説明画像によって隠れる可能性があるものとして、図１２に表わされたように、距離ｄがしきい値を超える位置に説明画像の表示位置を更新する。

＜機能構成＞
図１３は、携帯端末１００において上記動作を行なうための機能構成の具体例を示すブロック図である。図１３の各機能は、携帯端末１００のＣＰＵ１０がＲＯＭ１１に記憶されているプログラム（アプリケーション）を読み出してＲＭＡ２３上に展開しつつ実行することで、主にＣＰＵ１０に形成されるものである。しかしながら、少なくとも一部が、図２に表わされたハードウェア構成によって実現されてもよい。

図１３を参照して、メモリー１３には、ＭＦＰの機種ごとの情報として、上述のテンプレートとして用いられるＭＦＰの機種を表わす文字やマークなどの画像や、状態ごとの操作部位などを記憶するための記憶領域である機種情報記憶部１３１と、図６に表わされたような機種ごとの状態に応じた説明画像を記憶するための記憶領域である説明画像記憶部１３２とが含まれる。

さらに図１３を参照して、ＣＰＵ１０は、操作パネル１４での指示に応じた操作信号の入力を受け付けるための指示入力部１０１と、撮影を指示する操作信号である場合に、その指示に応じてカメラ１５から撮影画像を取得するための画像取得部１０２と、撮影画像を解析するための解析部１０３と、ＭＦＰと通信することでＭＦＰから状態情報を取得するための状態取得部１０４と、操作対象のＭＦＰとそのＭＦＰの状態とから表示する説明画像を特定するための画像特定部１０５と、解析結果に基づいて説明画像の表示位置を特定するための表示位置特定部１０６と、撮影画像の、特定された位置に説明画像を合成するための合成部１０７と、合成された画像を操作パネル１４に表示する処理を行なうための表示部１０８とを含む。

解析部１０３は、さらに、撮影画像を解析することでＭＦＰの機種を特定するための機種特定部１０３１と、機種および状態からＭＦＰの操作部位を特定するための操作部位特定部１０３２と、撮影画像を解析することで操作者の手の位置を特定するための手の位置特定部１０３３と、操作部位および操作者の手の位置から上述の予測動線範囲を特定するための動線範囲特定部１０３４とを含む。

＜動作フロー＞
図１４および図１５は、第１の実施の形態にかかる携帯端末１００での動作の流れの具体例を表わすフローチャートである。図１４および図１５のフローチャートに表わされた動作は、携帯端末１００がアプリケーションの開始の指示を受け付けることによって開始される動作であって、ＣＰＵ１０がＲＯＭ１１に記憶されているプログラムを読み出してＲＭＡ２３上に展開しつつ実行し、図１３の各機能を発揮させることによって実現される。

図１４を参照して、撮影の開始が指示されると（ステップＳ１０１でＹＥＳ）、ステップＳ１０３でＣＰＵ１０は撮影画像入力を開始する。

ステップＳ１０５でＣＰＵ１０は撮影画像を解析することで、操作対象のＭＦＰの機種を特定する。また、ＣＰＵ１０は、操作対象のＭＦＰに対して状態情報の送信を要求する（ステップＳ１０７）。

ＭＦＰから状態情報を受信すると（ステップＳ１０９でＹＥＳ）、ステップＳ１１１でＣＰＵ１０は、ＭＦＰの状態および上記ステップＳ１０５で特定された機種に基づいて、表示する説明画像を特定する。また、ステップＳ１１３で説明画像の表示位置を特定する。ここでは、図７を用いて説明されたように、好ましくは、操作部位を示す位置であって、その位置を操作する際に邪魔にならない位置を表示位置として特定する。

ＣＰＵ１０は、特定した位置に説明画像が表示されるように撮影画像のその位置に説明画像を合成し（ステップＳ１１５）、合成された画像を操作パネル１４に表示する（ステップＳ１１７）。

次に、図１５を参照して、ＣＰＵ１０は、所定間隔で、または連続して撮影画像を入力し（ステップＳ１１９）、所定のタイミングで撮影画像を解析して操作者の手を検出することで、撮影画像中の操作者の手の位置を特定する（ステップＳ１２１）。ＣＰＵ１０は、特定した操作者の手の位置と上記ステップＳ１１３で特定された説明画像の表示位置とを比較することで操作者の手元を隠す位置に説明画像が表示されるか否かを判断する。この判断の一つの方法として、ＣＰＵ１０は図８のように予測動線範囲を特定し、その範囲に説明画像の表示位置が重なるか否かを判断する。

その結果、上記ステップＳ１１９で入力された撮影画像において、現在設定されている説明画像の表示位置が予測動線範囲内に重なる場合、すなわち、現在の説明画像の表示位置が操作者の手元を隠す位置である場合（ステップＳ１２３でＹＥＳ）、ステップＳ１２５でＣＰＵ１０は説明画像の表示位置を更新し、ステップＳ１２７で更新後の位置に説明画像を合成して（ステップＳ１２７）、合成された画像を操作パネル１４に表示する（ステップＳ１２９）。

そうでない場合、すなわち、現在の説明画像の表示位置が操作範囲内にない場合には（ステップＳ１２３でＮＯ）、上記ステップＳ１２５をスキップして表示位置を更新することなく、先に特定した表示位置に表示されるよう上記ステップＳ１１９で入力された撮影画像に説明画像を合成して（ステップＳ１２７）、合成された画像を操作パネル１４に表示する（ステップＳ１２９）。

上記ステップＳ１１９〜Ｓ１２９はアプリケーションの終了が指示されるまで（ステップＳ１３１でＯＮ）、所定の間隔で繰り返される。これにより、操作パネル１４に表示される撮影画像は概ねリアルタイムに操作対象の装置と操作者の手とを撮影した画像に更新され、さらに、操作者の手の位置に応じて説明画像の表示位置が更新される。

アプリケーションの終了が指示されると（ステップＳ１３１でＹＥＳ）、一連の動作を終了する。

なお、説明画像の表示位置が操作者の手元を隠す位置であるか否かを判断する際に図１１および図１２の方法で判断する場合には、図１５の動作に替えて図１６の動作が行なわれる。すなわち、図１６を参照して、上記ステップＳ１２３の動作に替えてステップＳ１５１でＣＰＵ１０は特定した手の位置と現在設定されている説明画像の表示位置との間の距離ｄを算出し、その距離ｄと予め記憶しているしきい値とを比較する。

そして、距離ｄがしきい値よりも小さい場合には（ステップＳ１５３でＹＥＳ）、ステップＳ１２５でＣＰＵ１０は説明画像の表示位置を更新し、ステップＳ１２７で更新後の位置に説明画像を合成して（ステップＳ１２７）、合成された画像を操作パネル１４に表示する（ステップＳ１２９）。

そうでない場合、すなわち、距離ｄがしきい値以上である場合には（ステップＳ１５３でＮＯ）、上記ステップＳ１２５をスキップして表示位置を更新することなく、先に特定した表示位置に表示されるよう上記ステップＳ１１９で入力された撮影画像に説明画像を合成して（ステップＳ１２７）、合成された画像を操作パネル１４に表示する（ステップＳ１２９）。以降、同様に動作する。

＜第１の実施の形態の効果＞
以上の動作が第１の実施の形態にかかるシステムにおいて行なわれることで、撮影画像に説明画像を合成して生成された表示画面において、操作者の手に重ならないような位置に説明画像が表示される。そのため、表示画面で操作部位と手元とを見ながら操作する際に手元を隠すことなく説明画像が表示されるため、手元と説明画像との両方を見ることができる。

＜変形例＞
なお、説明画像が操作部位の位置を示すために装置と重ねて表示されるものであるなど表示位置を変更できない場合であって、さらに、操作する手が操作部位付近にある（所定範囲内にある）など、操作する手の位置から説明画像の表示位置を離すことができない場合には、図１７に表わされたように、表示画面を二分して、一方の画面（図１７の左側の画面）に操作対象の装置の画像と説明画像とを合成して表示し、他方の画面（図１７の右側の画面）に説明画像を合成せずに撮影画像を表示するようにしてもよい。これは、以降の例でも同様である。

説明画像ごとに、表示位置を操作部位から離すことが可能か否かを表わす情報（フラグ等）を付加しておくことで、携帯端末１００のＣＰＵ１０は、表示する説明画像の表示位置を更新可能であるか否かを判断することが可能となる。

図１７に示された説明画像はトナー切れに対する操作内容を説明する画像であって、トナーを交換するためのカバー（カバー１）を開ける様子をＭＦＰ２００に重ねて表示するものである。そのため、その画像は操作部位であるカバーの位置である必要があるため、当該説明画像に対しては表示位置を操作部位から離すことが不可という情報が付加されている。

表示している説明画像にこの情報が付加されており、かつ、操作者の手の位置に基づいて表示位置を更新する必要が生じた場合、携帯端末１００のＣＰＵ１０は、図１７のような表示画面を表示する。

図１７の左側の画像は、撮影画像からＭＦＰ２００を切り出して得られる画像であってもよいし、予め機種ごとにＭＦＰの立体画像のデータを記憶しておき、上記ステップＳ１０５で特定された機種の立体画像のデータを利用し、撮影画像を解析して得られる携帯端末１００とＭＦＰ２００との位置関係に基づいて該立体画像を変形させることで得られる画像であってもよい。携帯端末１００とＭＦＰ２００との位置関係は、たとえば撮影画像中のＭＦＰのサイズやマーカーとする画像の傾きなどを解析することで特定することができる。

このようにすることで、操作性と、説明画像の見やすさとを両立することが可能となる。

［第２の実施の形態］
＜動作概要＞
第２の実施の形態にかかるシステムでは、操作部位に対して操作者が手を接近させる位置の推測をより正確にするために、操作者の当該携帯端末１００を持つ手（以下、持ち手とも称する）を利用する。すなわち、第２の実施の形態にかかるシステムでは、操作者の当該携帯端末１００を持つ手（以下、持ち手とも称する）を検出し、持ち手と反対側の手を操作する側の手と推測して、表示画面上において操作する側の手を接近させる際にその手元の表示を妨げないように説明画像を表示する。

図１８は、第２の実施の形態にかかる携帯端末１００での表示の具体例を表わした図である。図１８においては、持ち手が左手であるために右手が操作する側の手と推測される。この場合、撮影画像において右側が操作者が手を接近させると推測される位置となり、装置の左側に説明画像が表示されている。これにより、装置に対して右側から接近する右手の表示が妨げられない。

この表示を実現するために、第２の実施の形態にかかる携帯端末１００は、図１９に表わされたように、センサー１６として操作者の持ち手を検出するためのセンサー１６Ａが配置される。センサー１６Ａには、温度センサー、圧力センサー、ひずみセンサー、湿度センサー、またはこれらのうちのいくつかのセンサーの組み合わせ、などが該当する。

センサー１６Ａは携帯端末１００をユーザーが持つ位置に設置される。一例として、図１９に表わされたように、矩形の携帯端末１００の四隅付近に設けられる。他の例として、周囲すべてに設けられてもよいし、左右の辺の中央付近に設けられてもよい。また、小型のノートパソコンである場合にはキーボードが設けられた匡体の底面の左右や左右の辺などに設けられてもよい。

図２０のように操作者が携帯端末１００を右手で把持した場合、センサー１６Ａのセンサー信号によって持ち手が右手であることが認識される。この場合には、操作のために装置の左側から操作者の左手が伸ばされるものと推測される。そのため、撮影画像において左側が操作者が手を接近させると推測される位置となり、図２０に表わされたように、装置の右側に説明画像を表示する。

図２１は、第２の実施の形態にかかるシステムでの動作概要を表わした図である。
図２１を参照して、第２の実施の形態にかかるシステムでは、図５で表わされた動作と同じステップＳ１〜Ｓ６の動作が行なわれて説明画像が特定されると共に、ステップＳ６−１で、携帯端末において持ち手が特定される。たとえば図２０の場合には右手と特定される。

携帯端末は、撮影画像の解析とＭＦＰからの状態情報とで得られたＭＦＰの状態に応じた操作部位と、上記ステップＳ６−１で特定された持ち手とに基づいて、説明画像の表示位置を特定する（ステップＳ７’）。たとえば図２０の例では、ＭＦＰのトレー１で用紙切れが発生し、かつ、右手で把持されているため、トレー１付近であって、左手に重ならない装置の右側に説明画像を表示すると特定する。

以降、第１の実施の形態にかかるシステムと同様の動作がなされる。
＜機能構成＞
図２２は、携帯端末１００において上記動作を行なうための機能構成の具体例を示すブロック図である。図２２の各機能もまた、携帯端末１００のＣＰＵ１０がＲＯＭ１１に記憶されているプログラム（アプリケーション）を読み出してＲＭＡ２３上に展開しつつ実行することで、主にＣＰＵ１０に形成されるものである。

図２２を参照して、第２の実施の形態にかかる携帯端末１００は、図１３に表わされた第１の実施の形態にかかる携帯端末１００の機能に加えて、ＣＰＵ１０に、センサー１６Ａのセンサー信号に基づいて持ち手を特定するための持ち手特定部１０９がさらに含まれる。

持ち手特定部１０９は、予め表示画面の向きを把握しておき、その向きに対するセンサー信号に表わされた手の位置に応じて、持ち手が右手であるか左手であるかを特定する。

第２の実施の形態において、表示位置特定部１０６はさらに持ち手にも応じて説明画像の表示位置を特定する。

＜動作フロー＞
図２３は第２の実施の形態にかかる携帯端末１００での動作の流れの具体例を表わすフローチャートであって、第１の実施の形態にかかる携帯端末１００での図１４で表わされた動作に相当する動作を表わしたものである。以降の動作は図１５に表わされた動作と同様であるため省略する。

図２３を参照して、第２の実施の形態にかかる携帯端末１００では、ＣＰＵ１０は図１４のステップＳ１０１〜Ｓ１１１までの動作を実行して説明画像を特定し、さらに、ステップＳ２０１でＣＰＵ１０は、センサー１６Ａのセンサー信号に基づいて持ち手を特定する。

ＣＰＵ１０は、操作部位とは異なる位置であって、かつ、上記ステップＳ２０１で特定された持ち手とは逆側の手を装置に伸ばすときに手元に重ならないように、その逆側を説明画像の表示位置と特定する（ステップＳ１１３’）。以降、第１の実施の形態にかかる携帯端末１００と同様の動作が行なわれる。

なお、上の例では、携帯端末１００がセンサー１６Ａのセンサー信号を用いて持ち手を特定することで操作する側の手を推測するものとしているが、センサー１６Ａを用いる方法以外の方法であってもよい。

他の例として、たとえば、予め操作する側の手の設定を携帯端末１００が受け付けるようにしてもよいし、撮影画像を解析して撮影画像中の操作者の手を検出し、その手が右手であるか左手であるかを画像解析によって特定してもよい。これらの場合であっても、上と同様にして、操作する手の側と反対側に説明画像を表示するようにすればよい。

＜第２の実施の形態の効果＞
以上の動作が第２の実施の形態にかかるシステムにおいて行なわれることで、携帯端末１００を一方の手で把持して携帯端末１００の表示画面を見ながら他方の手を操作対象のＭＦＰ２００に伸ばして操作する場合に、その手元を隠すことなく説明画像が表示されているため、手元と説明画像との両方を見ながら操作対象の装置に手を伸ばすことができる。

［第３の実施の形態］
＜動作概要＞
第３の実施の形態にかかるシステムでは、操作部位に対して操作者が手を接近させる位置の推測をより正確にするために、操作者の操作対象とする装置に対する姿勢を利用する。すなわち、第３の実施の形態にかかるシステムでは、操作者の操作対象とする装置に対する姿勢を検出し、その姿勢に基づいて操作部位に対して操作者が手を接近させる位置を推測して、表示画面上において操作する側の手元の表示を妨げないように説明画像を表示する。

図２４は、第３の実施の形態にかかる携帯端末１００での表示の具体例を表わした図である。図２４においては、携帯端末１００がＭＦＰ２００の斜め上方向に位置し、その位置からＭＦＰ２００を見下ろす向きで撮影されている。この場合、操作者はＭＦＰ２００の手前側に立って見下ろしていると考えられるため、撮影画像の下側が操作者が手を接近させると推測される位置となる。そこで、装置の下側から接近する手の表示を妨げないように、装置の上側に説明画像が表示されている。

姿勢を特定する方法の一例として、携帯端末１００自身の角度（より正確には、携帯端末１００に固定されているカメラ１５の撮影方向の角度）を利用する方法が挙げられる。携帯端末１００自身の角度は加速度センサーを用いることで検知可能である。そのため、この場合、携帯端末１００はセンサー１６として加速度センサー１６Ｂ（図２６）を含む。

携帯端末１００の俯角が大きい場合、すなわち、携帯端末１００に固定されているカメラ１５の撮影方向の水平方向からなす角度が負であり、かつ、負の値である所定のしきい値ＴＨ１よりも小さい場合には、図２４に表わされたようにＭＦＰ２００を見下ろす姿勢であって、携帯端末１００がＭＦＰ２００に対して斜め上方向に位置していると考えられる。

一方、俯角も仰角も小さい場合、すなわち、携帯端末１００に固定されているカメラ１５の撮影方向の水平方向からなす角度が上記しきい値ＴＨ１よりも大きく、かつ、正の値である所定のしきい値ＴＨ２よりも小さい場合、つまり、０を挟んだ所定の範囲内（ＴＨ１〜ＴＨ２）にある場合には、ＭＦＰ２００を水平に近い角度で見る姿勢であって、携帯端末１００がＭＦＰ２００に対して真横に近い方向に位置していると考えられる。

また、仰角が大きい場合、すなわち、携帯端末１００に固定されているカメラ１５の撮影方向の水平方向からなす角度が正であり、かつ、上記しきい値ＴＨ２よりも大きい場合には、ＭＦＰ２００を見上げる姿勢であって、携帯端末１００がＭＦＰ２００に対して斜め下方向に位置していると考えられる。

携帯端末１００のＭＦＰ２００に対する姿勢が斜め上から見下ろす姿勢の場合、先述のように操作者はＭＦＰ２００の手前側に立って操作部位を上から見下ろしていると考えられるため、撮影画像の下側が操作者が手を接近させると推測される位置となる。そこで、このような姿勢であると特定された場合には、図２４に表わされたように説明画像の表示位置を撮影画像の下側から離れた位置とする。

携帯端末１００のＭＦＰ２００に対する姿勢が真横に近い位置から見る姿勢の場合、操作者は操作部位の真横にいると考えられるため、撮影画像の横側が操作者が手を接近させると推測される位置となる。そこで、このような姿勢であると特定された場合には、説明画像の表示位置を撮影画像の横側から離れた位置とする。

携帯端末１００のＭＦＰ２００に対する姿勢が斜め下から見上げる姿勢の場合、先述のように操作者はＭＦＰ２００の手前側で操作部位を下から見上げていると考えられるため、撮影画像の上側が操作者が手を接近させると推測される位置となる。そこで、このような姿勢であると特定された場合には、説明画像の表示位置を撮影画像の上側から離れた位置とする。

図２５は、第３の実施の形態にかかるシステムでの動作概要を表わした図である。
図２５を参照して、第３の実施の形態にかかるシステムでは、図５で表わされた動作と同じステップＳ１〜Ｓ６の動作が行なわれて説明画像が特定されると共に、ステップＳ６−２で、携帯端末において操作対象のＭＦＰに対する姿勢が特定される。たとえば図２４の場合には携帯端末１００のＭＦＰ２００に対する姿勢が斜め上から操作部位を見下ろす姿勢と特定される。

携帯端末は、撮影画像の解析とＭＦＰからの状態情報とで得られたＭＦＰの状態に応じた操作部位と、上記ステップＳ６−２で特定された携帯端末の操作対象のＭＦＰに対する姿勢とに基づいて、説明画像の表示位置を特定する（ステップＳ７’’）。たとえば図２４の例では、ＭＦＰの操作パネルでの操作が要求されており、かつ、ＭＦＰの上方から操作部位である操作パネルを見下ろす姿勢であるため、操作パネル付近であって、撮影画像の下側と推測される操作者が手を接近させる位置と離れた位置である撮影画像の上方に説明画像を表示すると特定する。

以降、第１の実施の形態にかかるシステムと同様の動作がなされる。
＜機能構成＞
図２６は、携帯端末１００において上記動作を行なうための機能構成の具体例を示すブロック図である。図２６の各機能もまた、携帯端末１００のＣＰＵ１０がＲＯＭ１１に記憶されているプログラム（アプリケーション）を読み出してＲＭＡ２３上に展開しつつ実行することで、主にＣＰＵ１０に形成されるものである。

図２６を参照して、第３の実施の形態にかかる携帯端末１００は、図１３に表わされた第１の実施の形態にかかる携帯端末１００の機能に加えて、ＣＰＵ１０に、加速度センサー１６Ｂのセンサー信号に基づいて当該携帯端末１００の姿勢を特定するための姿勢特定部１１０がさらに含まれる。

姿勢特定部１１０は、予め上述のしきい値ＴＨ１，ＴＨ２を記憶し、センサー信号から得られる携帯端末１００の角度とこれらしきい値とを比較することで携帯端末１００のＭＦＰ２００に対する姿勢を特定する。

第３の実施の形態において、表示位置特定部１０６はさらに携帯端末１００のＭＦＰ２００に対する姿勢にも応じて説明画像の表示位置を特定する。

＜動作フロー＞
図２７は第３の実施の形態にかかる携帯端末１００での動作の流れの具体例を表わすフローチャートであって、第１の実施の形態にかかる携帯端末１００での図１４で表わされた動作に相当する動作を表わしたものである。以降の動作は図１５に表わされた動作と同様であるため省略する。

図２７を参照して、第３の実施の形態にかかる携帯端末１００では、ＣＰＵ１０は図１４のステップＳ１０１〜Ｓ１１１の動作を実行して説明画像を特定し、さらに、ステップＳ３０１でＣＰＵ１０は、加速度センサー１６Ｂのセンサー信号に基づいてＭＦＰ２００に対する姿勢を特定する。

ＣＰＵ１０は、操作部位とは異なる位置であって、かつ、上記ステップＳ３０１で特定されたＭＦＰ２００に対する姿勢に対応付けて予め規定されている位置を、説明画像の表示位置と特定する（ステップＳ１１３’’）。以降、第１の実施の形態にかかる携帯端末１００と同様の動作が行なわれる。

なお、上の例では、携帯端末１００が自身の角度を利用してＭＦＰ２００に対する姿勢を特定して操作者が手を接近させると推測される位置を推測するものとしているが、角度を利用する方法以外の方法であってもよい。

他の例として、たとえば、予め操作者の手を接近させる位置の設定を携帯端末１００が受け付けるようにしてもよいし、撮影画像を解析して撮影画像中のＭＦＰのサイズやマーカーとする画像の傾きや基準画像からの変形度合いを算出することで特定してもよい。これらの場合であっても、上と同様にして、ＭＦＰ２００に対する姿勢に対応付けて予め規定されている位置に説明画像を表示するようにすればよい。

さらに、第２の実施の形態に表わされた動作と、第３の実施の形態に表わされた動作とを組み合わせてもよい。すなわち、携帯端末１００の持ち手と、ＭＦＰ２００に対する姿勢との両方を考慮して説明画像の表示位置を特定するようにしてもよい。

＜第３の実施の形態の効果＞
以上の動作が第３の実施の形態にかかるシステムにおいて行なわれることで、携帯端末１００でＭＦＰ２００を撮影してその画面を見ながら操作対象のＭＦＰ２００に手を伸ばして操作する場合に、その手元を隠すことなく説明画像が表示されているため、手元と説明画像との両方を見ながら操作対象の装置に手を伸ばすことができる。

＜変形例＞
なお、以上の例では、表示画面の生成に関するすべての処理を携帯端末１００で行なうものとしているが、すべての処理、または少なくとも一部の処理がＭＦＰ２００で行なわれてもよい。

すなわち、ＭＦＰ２００に説明画像が記憶されていて、ＭＦＰ２００が自身の状態に応じて適切な説明画像を特定して携帯端末１００に送信してもよいし、携帯端末１００から撮影画像を取得して、上述の方法で表示位置を特定した上で説明画像を合成して表示画面を生成し、携帯端末１００に送信してもよい。

その際に、さらに、携帯端末１００から持ち手を特定する情報やＭＦＰ２００に対する姿勢を特定する情報を得てもよい。また、ＭＦＰ２００が通信機能やセンサーなどを利用したり携帯端末１００での撮影画像を画像解析したりして携帯端末１００の姿勢を特定して表示位置の特定に用いてもよい。

また、図１には表わされていないものの、本システムにサーバーが含まれる場合、該サーバーが上記動作を行なうようにしてもよい。

さらに、携帯端末１００やＭＦＰ２００や図示しないサーバーに上述の動作を行なわせるためのプログラム（アプリケーション）を提供することもできる。このようなプログラムは、コンピューターに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＲＯＭ、ＲＡＭおよびメモリーカードなどのコンピューター読み取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピューターに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

なお、本発明にかかるプログラムは、コンピューターのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。

また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０，２０ ＣＰＵ、１１，２１ ＲＯＭ、１２，２２ ＲＡＭ、１３，２３ メモリー、１４，２６ 操作パネル、１５ カメラ、１６，１６Ａ センサー、１６Ｂ 加速度センサー、１７，２８ 通信コントローラー、２４ スキャナー、２５ プリンター、１００ 携帯端末、１０１ 指示入力部、１０２ 画像取得部、１０３ 解析部、１０４ 状態取得部、１０５ 画像特定部、１０６ 表示位置特定部、１０７ 合成部、１０８ 表示部、１０９ 持ち手特定部、１１０ 姿勢特定部、１３１ 機種情報記憶部、１３２ 説明画像記憶部、１０３１ 機種特定部、１０３２ 操作部位特定部、１０３３ 手の位置特定部、１０３４ 動線範囲特定部。

Claims (12)

1. 第１の装置と表示装置とを含んで、前記表示装置に前記第１の装置の操作のためのガイダンスを表示するガイダンス表示システムであって、
   撮影画像を取得するための第１の取得手段と、
   前記撮影画像を解析することで含まれる前記第１の装置を特定するための第１の解析手段と、
   前記第１の装置の状態を取得するための第２の取得手段と、
   前記第１の装置の状態に応じたガイダンス画像を取得するための第３の取得手段と、
   前記撮影画像に前記ガイダンス画像を合成して表示画面を生成し、前記表示装置に表示するための表示手段とを備え、
   前記表示手段は、前記ガイダンス画像を前記撮影画像に合成するための位置を特定するための特定手段を含み、
   前記特定手段は、前記撮影画像における、前記第１の装置の状態から特定される、前記状態に対して操作が必要となる部位である操作部位の位置と、前記撮影画像における前記操作部位の位置から特定される、前記操作部位に対して操作者が手を接近させると推測される位置とに基づいて、前記手を接近させると推測される位置から離れた位置を前記合成するための位置として特定する、ガイダンス表示システム。
2. 前記特定手段は、前記撮影画像を解析することで前記撮影画像中の操作者の手の位置を検出するための第２の解析手段を含み、現在設定されている前記合成するための位置を、前記撮影画像中の操作者の手の位置との関係に基づいて更新する、請求項１に記載のガイダンス表示システム。
3. 前記特定手段は、現在設定されている前記合成するための位置が前記撮影画像中の操作者の手の位置に基づいて特定される範囲に含まれない位置となるように更新する、請求項２に記載のガイダンス表示システム。
4. 撮影のためのカメラと前記表示装置とを含んだ携帯端末をさらに備え、
   前記携帯端末は、当該携帯端末の携帯状況を検知するためのセンサーをさらに含み、
   前記特定手段は、前記センサーからのセンサー信号に基づいて得られる、前記携帯端末を把持した前記操作者が前記撮影画像において前記操作部位に対して手を接近させると推測される位置を用いて、前記合成するための位置を特定する、請求項１〜３のいずれかに記載のガイダンス表示システム。
5. 前記センサーは前記携帯端末を把持する位置を検知し、
   前記特定手段は、前記センサー信号から前記携帯端末を把持する手が右手か左手かを特定し、前記携帯端末を把持する側の手に応じて特定される前記撮影画像において前記操作部位に対して手を接近させると推測される位置を用いて、前記合成するための位置を特定する、請求項４に記載のガイダンス表示システム。
6. 前記特定手段は、前記携帯端末を把持する側と反対側の手の方を前記撮影画像において前記操作部位に対して手を接近させると推測される位置として前記合成するための位置を特定する、請求項５に記載のガイダンス表示システム。
7. 前記センサーは前記携帯端末の角度を検知し、
   前記特定手段は、前記センサー信号から前記携帯端末の前記第１の装置に対する姿勢を特定し、前記携帯端末の前記第１の装置に対する姿勢から特定される前記撮影画像において前記操作部位に対して手を接近させると推測される位置を用いて、前記合成するための位置を特定する、請求項４に記載のガイダンス表示システム。
8. 前記特定手段は、前記カメラの撮影方向が水平方向からなす角度に応じて前記携帯端末の前記第１の装置に対する姿勢を特定する、請求項７に記載のガイダンス表示システム。
9. 前記表示手段は、前記操作部位の位置と前記特定される前記合成するための位置とが所定範囲内となる場合には、前記撮影画像と、前記第１の装置の画像に前記ガイダンス画像を合成した画像とを、それぞれ、前記表示装置の表示画面を二分したそれぞれの画面に並べて表示する、請求項１〜８のいずれかに記載のガイダンス表示システム。
10. 第１の装置の操作のためのガイダンスを表示するガイダンス表示装置であって、
    表示装置と、
    カメラと、
    前記第１の装置と通信するための通信装置と、
    予め装置の状態に応じたガイダンス画像を記憶しておくためのメモリーと、
    制御装置とを備え、
    前記制御装置は、
    前記カメラより撮影画像を取得するための第１の取得手段と、
    前記撮影画像を解析することで含まれる前記第１の装置を特定するための解析手段と、
    前記第１の装置と通信することによって前記第１の装置の状態を取得するための第２の取得手段と、
    前記第１の装置の状態に応じたガイダンス画像を前記メモリーから取得するための第３の取得手段と、
    前記撮影画像に前記ガイダンス画像を合成して表示画面を生成し、前記表示装置に表示するための表示手段とを含み、
    前記表示手段は、前記ガイダンス画像を前記撮影画像に合成するための位置を特定するための特定手段を有し、
    前記特定手段は、前記撮影画像における、前記第１の装置の状態から特定される、前記状態に対して操作が必要となる部位である操作部位の位置と、前記撮影画像における前記操作部位の位置から特定される、前記操作部位に対して操作者が手を接近させると推測される位置とに基づいて、前記手を接近させると推測される位置から離れた位置を前記合成するための位置として特定する、ガイダンス表示装置。
11. 第１の装置の操作のためのガイダンスを、カメラを有するガイダンス表示装置で表示する方法であって、
    撮影画像を取得するステップと、
    前記撮影画像を解析することで含まれる前記第１の装置を特定するステップと、
    前記第１の装置の状態を取得するステップと、
    前記第１の装置の状態に応じたガイダンス画像を取得するステップと、
    前記撮影画像に前記ガイダンス画像を合成して表示画面を生成し、前記ガイダンス表示装置に表示するステップとを備え、
    前記ガイダンス表示装置に表示するステップは、前記ガイダンス画像を前記撮影画像に合成するための位置を特定するステップを含み、
    前記合成するための位置を特定するステップでは、前記撮影画像における、前記第１の装置の状態から特定される、前記状態に対して操作が必要となる部位である操作部位の位置と、前記撮影画像における前記操作部位の位置から特定される、前記操作部位に対して操作者が手を接近させると推測される位置とに基づいて、前記手を接近させると推測される位置から離れた位置を前記合成するための位置として特定する、ガイダンス表示方法。
12. カメラおよび通信装置を有するガイダンス表示装置に、第１の装置の操作のためのガイダンスを表示する処理を実行させるためのプログラムであって、
    前記カメラでの撮影によって撮影画像を取得するステップと、
    前記撮影画像を解析することで含まれる前記第１の装置を特定するステップと、
    前記第１の装置と通信することで前記第１の装置より前記第１の装置の状態を取得するステップと、
    予め装置の状態に応じたガイダンス画像を記憶しているメモリーより、前記第１の装置の状態に応じたガイダンス画像を取得するステップと、
    前記撮影画像に前記ガイダンス画像を合成して表示画面を生成し、前記ガイダンス表示装置に表示するステップとを前記ガイダンス表示装置に実行させ、
    前記ガイダンス表示装置に表示するステップは、前記ガイダンス画像を前記撮影画像に合成するための位置を特定するステップを含み、
    前記特定するステップでは、前記撮影画像における、前記第１の装置の状態から特定される、前記状態に対して操作が必要となる部位である操作部位の位置と、前記撮影画像における前記操作部位の位置から特定される、前記操作部位に対して操作者が手を接近させると推測される位置とに基づいて、前記手を接近させると推測される位置から離れた位置を前記合成するための位置として特定する、ガイダンス表示プログラム。

Images