JP5803323B2 - 操作支援プログラム - Google Patents

Description

本発明は、操作支援プログラムに関する。

携帯電話機などの情報処理装置において、離れた位置に配置された電子機器に対する操作指示を受け付け、受け付けた操作指示を電子機器に送信して、当該電子機器を制御できるようにしたものが知られている。

特開２００６−８１０２８号公報 特開２００７−１５６３５７号公報

しかしながら、従来の技術によれば、携帯電話機などの表示部に表示される仮想的な操作パネルにおいて、各種ボタンの配置が、電子機器に設けられた実際の操作パネルと異なっていたので、ユーザにとって操作性が悪い、という問題点があった。

本発明は、上記の問題点を解決するためになされたものであり、情報処理装置において表示部に表示された対象画像を操作することにより、情報処理装置から外部機器に対して処理の実行を指示できると共に、ユーザにとって操作性が良い操作支援プログラムを提供することを目的とする。

この目的を達成するために、本発明の操作支援プログラムは、複数の操作子を含む操作部を有し前記操作子が操作された場合には当該操作子に割り当てられている処理を実行する外部機器に対して、前記処理を実行させるために、前記外部機器と通信可能な情報処理装置において実行されるプログラムであって、少なくとも前記操作部を表した対象画像を取得する画像取得手段と、前記画像取得手段により取得された前記対象画像から、前記外部機器を特定する特定情報を取得する特定情報取得手段と、前記特定情報取得手段により取得された前記特定情報に基づいて取得される機能情報であって、前記対象画像に表された操作子の各々について割り当てられた処理を示す前記機能情報を取得する機能情報取得手段と、前記画像取得手段により取得された前記対象画像を、表示部に表示させる表示制御手段と、前記機能情報取得手段により取得した前記機能情報に基づき、前記表示制御手段により表示された前記対象画像に含まれる各々の操作子を表した部分に、処理を割り当てる割当手段と、前記割当手段により処理が割り当てられた前記操作子を表した部分が操作によって指定された場合、当該部分に割り当てられている処理の実行を、前記外部機器に指示する指示手段と、前記外部機器において設定された設定情報であって、当該外部機器が実行する処理に関する前記設定情報を、前記画像取得手段により取得された前記対象画像から取得する設定情報取得手段として、情報処理装置を機能させる。前記割当手段は、前記表示制御手段により表示された前記対象画像に含まれる各々の操作子を表した部分に、前記機能情報取得手段により取得した前記機能情報に基づく処理と、当該処理に関する設定情報として前記設定情報取得手段により取得される前記設定情報を割り当てる。
または、この目的を達成するために、本発明の操作支援プログラムは、複数の操作子を含む操作部を有し前記操作子が操作された場合には当該操作子に割り当てられている処理を実行するものであり、前記操作部に表示領域が設けられている外部機器に対して、前記処理を実行させるために、前記外部機器と通信可能な情報処理装置において実行されるプログラムであって、少なくとも前記操作部を表した対象画像を取得する画像取得手段と、前記画像取得手段により取得された前記対象画像から、前記外部機器を特定する特定情報を取得する特定情報取得手段と、前記特定情報取得手段により取得された前記特定情報に基づいて取得される機能情報であって、前記対象画像に表された操作子の各々について割り当てられた処理を示す前記機能情報を取得する機能情報取得手段と、前記画像取得手段により取得された前記対象画像を、表示部に表示させる表示制御手段と、前記機能情報取得手段により取得した前記機能情報に基づき、前記表示制御手段により表示された前記対象画像に含まれる各々の操作子を表した部分に、処理を割り当てる割当手段と、前記割当手段により処理が割り当てられた前記操作子を表した部分が操作によって指定された場合、当該部分に割り当てられている処理の実行を、前記外部機器に指示する指示手段と、前記表示制御手段により表示される前記対象画像のうち、前記操作部における前記表示領域に対応した領域を特定する変化領域特定手段と、前記外部機器に対して処理の実行を指示することに基づいて、前記表示制御手段により表示される前記対象画像のうち、前記変化領域特定手段により特定された領域内の画像を変化させる変化手段として、前記情報処理装置を機能させる。

なお、本発明は、情報処理装置、情報処理装置を制御する制御装置、情報処理システム、情報処理方法、操作支援プログラムを記録する記録媒体等の種々の態様で実現可能である。

請求項１記載の操作支援プログラムによれば、情報処理装置において表示部に表示された対象画像を操作することにより、外部機器に対して処理の実行を指示できる。ここで、対象画像は、外部機器が有する操作部を表したものであるため、対象画像に表された各々の操作子は、ユーザにとって見慣れた配置で表示される。よって、ユーザにとって操作性が良いという効果がある。また、外部機器において設定された設定情報を、対象画像に含まれる各々の操作子を表した部分に割り当てることができるという効果がある。
請求項２記載の操作支援プログラムによれば、請求項１に記載の操作支援プログラムの奏する効果に加え、外部機器に対して処理の実行を指示することに基づいて、対象画像のうち操作部における表示領域に対応した領域内の画像を変化させるので、外部機器の操作部そのものを操作している場合に近い操作感を、ユーザに感じさせることができるという効果がある。
請求項３記載の操作支援プログラムによれば、情報処理装置において表示部に表示された対象画像を操作することにより、外部機器に対して処理の実行を指示できる。ここで、対象画像は、外部機器が有する操作部を表したものであるため、対象画像に表された各々の操作子は、ユーザにとって見慣れた配置で表示される。よって、ユーザにとって操作性が良いという効果がある。また、外部機器に対して処理の実行を指示することに基づいて、対象画像のうち操作部における表示領域に対応した領域内の画像を変化させるので、外部機器の操作部そのものを操作している場合に近い操作感を、ユーザに感じさせることができるという効果がある。

請求項４記載の操作支援プログラムによれば、請求項１から３のいずれかに記載の操作支援プログラムの奏する効果に加え、対象画像が表す操作部を備えた外部機器に対して、処理の実行を指示できるという効果がある。

請求項５記載の操作支援プログラムによれば、請求項１から４のいずれかに記載の操作支援プログラムの奏する効果に加え、外部機器の操作部を撮影することにより生成された対象画像を操作することにより、当該外部機器に対して処理の実行を指示できるので、ユーザにとって愛着のあるユーザインターフェイスを提供できるという効果がある。

請求項６記載の操作支援プログラムによれば、請求項４記載の操作支援プログラムの奏する効果に加え、外部機器の表示領域に表示された識別画像から、接続情報が取得されるので、正確な接続情報を簡単に取得できるという効果がある。

請求項７記載の操作支援プログラムによれば、請求項１から６のいずれかに記載の操作支援プログラムの奏する効果に加え、インターネットを介して機能情報が取得されるので、多種多様な外部機器に対応可能であるという効果がある。

請求項８記載の操作支援プログラムによれば、請求項１から７のいずれかに記載の操作支援プログラムの奏する効果に加え、外部機器の操作子からは指示できない処理であっても、対象画像に追加した付加画像によって、情報処理装置から実行を指示できるので、操作性が良いという効果がある。

請求項９記載の操作支援プログラムによれば、請求項８記載の操作支援プログラムの奏する効果に加え、情報処理装置から出力するデータに対する所定の処理の実行を、情報処理装置から外部機器に指示できるので、操作性が良いという効果がある。

本発明の実施形態である操作支援プログラムを搭載した携帯端末の電気的構成を示すブロック図である。 （ａ）は外部機器の操作部を示す図であり、（ｂ）は、外部機器の操作部を撮影することにより生成した対象画像を表示する携帯端末を示す図である。 リモートコントロールモードを説明する図である。 携帯端末において実行されるリモートコントロール画面作成処理を示すフローチャートである。 外部機器において実行されるリモートコントロールモード処理を示すフローチャートである。

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、本発明の実施形態である操作支援プログラム１４ａが搭載された携帯端末１０の電気的構成を示すブロック図である。操作支援プログラム１４ａは、携帯端末１０から外部機器３０を操作するための処理を、携帯端末１０に実行させるためのプログラムである。

携帯端末１０は、携帯電話網１００を介して、他の装置との間で音声通話を行う携帯電話機である。また、携帯端末１０は、アクセスポイント５０（以下、ＡＰ５０）を介して外部機器３０との間で無線通信を行う。携帯端末１０には、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、フラッシュメモリ１４、無線ＬＡＮ送受信部１５、タッチパネル１７、ＬＣＤ１８、メモリカードインターフェイス１９（以下、メモリカードＩ／Ｆ１９）、音声入出力部２１、電話網通信部２２、カメラ２３が設けられる。これらは、バスライン２４を介して互いに接続されている。

ＣＰＵ１１は、ＲＯＭ１２等に記憶される固定値やプログラム等に従って、バスライン２４と接続された各部を制御する。ＲＯＭ１２は、書換不能な不揮発性のメモリであって、ＲＡＭ１３は、書換可能な揮発性のメモリである。フラッシュメモリ１４は、書換可能な不揮発性のメモリであり、操作支援プログラム１４ａが格納される。ＣＰＵ１１は、操作支援プログラム１４ａに従って、後述するリモートコントロール画面作成処理（図４）を実行する。

無線ＬＡＮ送受信部１５は、ＩＥＥＥ８０２．１１ｂ/ｇの規格に準拠した無線ＬＡＮにより、携帯端末１０と他の機器とを無線接続する回路である。タッチパネル１７は、携帯端末１０に設定情報や指示を入力するための静電容量方式のタッチパネルであり、ＬＣＤ１８の画面に重ねて設けられる。ＬＣＤ１８は、カメラ２３で撮影した画像などを表示する。メモリカードＩ／Ｆ１９は、不揮発性のメモリカード２０が装着されるインターフェイスであって、メモリカード２０に対するデータの書き込み又は読み出しを制御する。

メモリカード２０には、モデル名保存領域２０ａ、デバイス設定保存領域２０ｂ、接続情報保存領域２０ｃ、キー情報保存領域２０ｄ、特有キー情報保存領域２０ｅが設けられる。モデル名保存領域２０ａには、外部機器３０のモデル名が保存される。デバイス設定保存領域２０ｂには、外部機器３０において設定された設定情報であって、当該外部機器３０が実行する処理に関する設定情報が保存される。接続情報保存領域２０ｃには、外部機器３０に接続するための接続情報が保存される。本実施形態では、ＡＰ５０を介した無線ＬＡＮについて設定されたＳＳＩＤおよびセキュリティコード、さらに、外部機器３０のＩＰアドレスが、設定情報として保存されるものとする。キー情報保存領域２０ｄには、外部機器３０のモデル名に基づき、インターネット２００を介して取得されるキー情報が保存される。特有キー情報保存領域２０ｅには、外部機器３０のモデル名に基づき、インターネット２００を介して取得される特有キー情報が保存される。キー情報、特有キー情報については、図２を参照して後述する。

音声入出力部２１は、マイクやスピーカなどで構成された音声入出力用デバイスであり、電話網通信部２２は、携帯電話網１００を介した通信を行うための回路である。携帯電話網１００は、例えばＩＭＴ−２０００方式の通信網であって、図示しないゲートウェイを介してインターネット２００に接続することにより、携帯端末１０によるインターネット２００の利用を可能にする。インターネット２００に接続されたサーバ３００は、携帯端末１０からの要求を受けて、外部機器３０のモデル名に応じたキー情報および特有キー情報を、携帯端末１０に送信する。カメラ２３は、被写体を撮影して写真画像を生成する。

外部機器３０は、スキャナとプリンタとを備え、コピー処理、スキャン処理、ＦＡＸ送受信処理を実行する複合機である。さらに、外部機器３０は、図示しないメモリカードスロットに装着されたメディアから画像データを読み出して印刷するメディアプリント処理、受信した画像データを印刷するプリント処理などを実行する。なお、本実施形態では、外部機器３０がＡＰ５０を介して他の装置との間で無線通信を行なうための各種接続情報（例えば、ＳＳＩＤ、セキュリティコード、ＩＰアドレス）は、外部機器３０において既に設定済みであるものとして説明する。

図２（ａ）は、外部機器３０の操作部３２を示す図である。図２（ａ）に示すように、外部機器３０の操作部３２は、複数のハードキー３４と、液晶表示装置３６（以下、ＬＣＤ３６）を有する。ハードキー３４には、それぞれ処理が割り当てられている。ハードキー３４のいずれかがユーザにより押下（操作）された場合、外部機器３０は、そのハードキー３４に割り当てられている処理、例えば、コピー処理、スキャン処理、ＦＡＸ送信処理、メディアプリント処理、数値を入力する処理など、各種の処理を実行する。また、外部機器３０は、各種設定情報をユーザに設定させるための設定画面や、自機の動作モードをユーザに選択させるためのモード選択画面などをＬＣＤ３６に表示させる。なお、ＬＣＤ３６にはタッチパネルが設けられ、ユーザは、ＬＣＤ３６に表示された設定画面やモード選択画面を用いて、設定情報の入力やモードの選択を行なう。

外部機器３０のモード選択画面において、ユーザがリモートコントロールモードを選択した場合、外部機器３０は、リモートコントロールモードに移行する。このモードにおいて、外部機器３０は、二次元コード３８を生成し、ＬＣＤ３６に表示させる。この二次元コード３８は、外部機器３０のモデル名、外部機器３０が実行する各種処理に関する設定情報（例えば、コピー部数など）、外部機器３０に接続するために必要な接続情報（ＳＳＩＤ、セキュリティコード、外部機器３０のＩＰアドレス）を含む。

一方、ユーザは、携帯端末１０のカメラ２３を起動し、二次元コード３８が表示された状態の操作部３２を撮影する。この撮影により生成された写真画像を、以下、対象画像と称する。本実施形態の操作支援プログラム１４ａは、外部装置３０をリモートコントロールするための画面に、この対象画像４０を利用する。

図２（ｂ）は、携帯端末１０のＬＣＤ１８に表示された対象画像４０を示す図である。携帯端末１０は、対象画像４０に含まれる二次元コード３８をデコードし、外部機器３０のモデル名、設定情報、接続情報を取得する。そして、外部機器３０のモデル名に基づき、インターネット２００を介して、サーバ３００からキー情報を取得する。このキー情報には、外部機器３０の操作部３２における、各ハードキー３４の配列を示すキー配列情報、ハードキー３４に対するＬＣＤ３６の相対的な位置を示す位置情報、および、各ハードキー３４に割り当てられた処理を示す処理情報を含む。

次に、携帯端末１０は、対象画像４０のうち各ハードキーを表した領域（以下、ハードキー画像４２）を、画像認識技術により特定する。そして、サーバ３００から取得したキー情報に基づいて、各ハードキー画像４２に対して、そのハードキー画像４２に対応したハードキー３４に割り当てられている処理を割り当てる。具体的には、操作部３２に設けられたハードキー３４のうち、先頭のハードキー３４（例えば左上のハードキー３４）を表したハードキー画像４２を基準とし、その基準のハードキー画像４２から何番目のハードキー画像４２であるかを数え、キー配列情報に基づいて、各ハードキー画像４２がいずれのハードキー３４を表した画像であるかを決定する。そして、各ハードキー画像４２の位置情報と、そのハードキー画像４２が表すハードキー３４に割り当てられた処理であって処理情報が示す処理を対応付け、その対応関係をフラッシュメモリ１４またはメモリカード２０に記憶させる。そして、携帯端末１０において、ユーザがハードキー画像４２を操作した場合、携帯端末１０は、そのハードキー画像４２に割り当てられた処理の実行を、外部機器３０に指示する。

さらに、携帯端末１０は、外部機器３０のモデル名に基づき、インターネット２００を介して、サーバ３００から特有キー情報を取得する。そして、特有キー情報に基づいて、特有キー画像４８を対象画像４０に追加し、その特有キー画像４８に対して、外部機器３２のハードキー３４に割り当てられている処理とは異なる処理を割り当てる。本実施形態においては、携帯端末１０から外部機器３０に対して出力するデータに対するプリント処理を、特有キー画像４８に割り当てる。したがって、外部機器３０により印刷したいデータを、携帯端末１０のフラッシュメモリ１４やメモリカード２０に記憶されているデータの中からユーザが選択し、且つ、特有キー画像４８を操作した場合、携帯端末１０は、ユーザにより選択されたデータの出力を実行し、さらに、当該データに対する印刷の実行を外部機器３０に指示する。

なお、外部機器３０の操作部３２に設けられているＬＣＤ３６は、対象画像４０において、変化領域４６として認識される。変化領域４６の用途については、図３を参照して後述する。

図３は、リモートコントロールモードを説明する図である。まず、携帯端末１０は、二次元コード３８から取得した接続情報を用いて、外部機器３０と無線接続する。なお、携帯端末１０と外部機器３０とは、ＡＰ５０を介して無線通信するが、図３においてはＡＰ５０の図示を省略する。

そして、携帯端末１０において表示された対象画像４０に含まれるキー画像４２，４８が、ユーザ操作によって指定された場合、携帯端末１０は、接続情報に基づいて接続された外部機器３０、すなわち、対象画像４０として撮影された操作部３２を備えた外部機器３０に対して、操作されたキー画像４２，４８に割り当てられた処理の実行を指示する。一方、外部機器３０は、携帯端末１０から受信した指示に基づいて、処理を実行する。

本実施形態によれば、携帯端末１０のユーザは、ＬＣＤ１８に表示された対象画像４０を操作することにより、外部機器３０の操作部３２を操作した場合と同様に、外部機器３０に対して処理の実行を指示できる。ここで、対象画像４０は、外部機器３０が有する操作部３２を表したものであるため、各ハードキー画像４２は、ユーザにとって見慣れた配置で表示される。したがって、ユーザにとっては、外部機器３０の操作部３２が、携帯端末１０に移設されたかのように感じられ、操作性が良い。

また、ユーザは、外部機器３０の操作部３２に例えばシールを貼るなどの独自の装飾を施し、愛着を持っている場合がある。本実施形態によれば、対象画像４０は、外部機器３０の操作部３２を撮影することにより生成された写真画像であるから、操作部３２が装飾されている場合には、その装飾もそのまま撮影される。よって、ユーザにとって愛着のあるユーザインターフェイスを提供でき、また、外部機器３０の操作部３２そのものを操作しているかのように感じさせることができる。

また、対象画像４０には、ユーザ自身が撮影した画像を用いるので、ユーザは、撮影距離や撮影の構図を工夫することにより、外部機器３０を操作するためのユーザインターフェイスとして機能する画像を、自らの好みに応じて自由に作成できる。

また、外部機器３０のハードキー３４からは直接指示できない処理（例えば、携帯端末１０から出力したデータの印刷など、外部から受信したデータに基づくプリント処理）であっても、対象画像４０に付加した特有キー画像４８によって、携帯端末１０から実行を指示できるので、操作性が良い。

なお、携帯端末１０は、携帯端末１０から外部機器３０に対して処理の実行を指示することに基づいて、対象画像４０のうち変化領域４６内の画像を変化させ、外部機器３０における状態の変化を携帯端末１０のユーザに知らしめる。よって、外部機器３０の操作部３２そのものを操作している場合に近い操作感を、ユーザに感じさせることができる。本実施形態において、携帯端末１０は、変化領域４６内の画像を描画するための画像データを、サーバ３００から取得するものとする。

図４は、操作支援プログラム１４ａに従い、携帯端末１０のＣＰＵ１１が実行するリモートコントロール画面作成処理を示すフローチャートである。この処理は、携帯端末１０において、操作支援プログラム１４ａが起動された場合に開始される。なお、図４のフローチャートに示す各ステップは、操作支援プログラム１４ａがＣＰＵ１１に実行させるものとして説明するが、ＯＳやその他アプリケーションがＣＰＵ１１に実行させるステップに一部置き換えられても良い。また、ＣＰＵ１１の関与によらず、携帯端末１０に設けられたハードウェアそのものが作動することによって実現されるステップに、一部置き換えられても良い。

まず、ステップＳ４０２（以下、ステップを省略）において、ＣＰＵ１１は、カメラ２３を起動させ（Ｓ４０２）、外部機器３０の操作部３２の撮影をユーザに促すことにより、操作部３２を撮影させ、カメラ２３によって生成された写真画像を対象画像４０としてフラッシュメモリ１４またはメモリカード２０に記憶させる（取得する）（Ｓ４０４）。

次に、ＣＰＵ１１は、対象画像４０に含まれる二次元コード３８をデコードすることにより、当該二次元コード３８から、モデル名、設定情報、接続情報を取得する（Ｓ４０６）。そして、取得した接続情報を用いて外部機器３０に接続できない場合（Ｓ４０８：Ｎｏ）、ＣＰＵ１１は、Ｓ４０４に戻り、操作部３２の撮影を、ユーザに再度促す。一方、取得した接続情報を用いて外部機器３０に接続できる場合（Ｓ４０８：Ｙｅｓ）、ＣＰＵ１１は、無線ＬＡＮ送受信部１５により、携帯端末１０を外部機器３０に無線接続させる（Ｓ４１０）。また、ＣＰＵ１１は、電話網通信部２２により、携帯端末１０をサーバ３００にアクセスさせる（Ｓ４１２）。なお、サーバ３００にアクセスするために必要なＵＲＬは、操作支援プログラム１４ａのインストール時に、携帯端末１０に予め記憶されているものとする。

外部機器３０のモデル名に対応するキー情報、特有キー情報がサーバ３００に存在する場合（Ｓ４１４：Ｙｅｓ）、ＣＰＵ１１は、インターネット２００を介して、外部機器３０のモデル名に対応するキー情報、特有キー情報を、サーバ３００からダウンロード（取得）し（Ｓ４１６）、それぞれ、キー情報保存領域２０ｄ、特有キー情報保存領域２０ｅに記憶させる。本実施形態によれば、インターネット２００を介してキー情報、特有キー情報を取得するので、多種多様な外部機器３０に対応可能である。上述したように、このキー情報は、各ハードキー３４の配列を示すキー配列情報、ハードキー３４に対するＬＣＤ３６の相対的な位置を示す位置情報、および、各ハードキー３４に割り当てられた処理を示す処理情報を含む。

一方、外部機器３０のモデル名に対応するキー情報、特有キー情報がサーバ３００に存在しない場合（Ｓ４１４：Ｎｏ）、または、対象画像４０のうち、ハードキー３４およびＬＣＤ３６に対応する領域を認識することが不可能な場合（Ｓ４１８：Ｎｏ）、ＣＰＵ１１は、Ｓ４０４に戻り、操作部３２の撮影を、ユーザに再度促す。

対象画像４０のうち、ハードキー３４およびＬＣＤ３６に対応する領域を認識可能な場合（Ｓ４１８：Ｙｅｓ）、ＣＰＵ１１は、対象画像４０を携帯端末１０のＬＣＤ１８に表示させ（Ｓ４２０）、対象画像４０のうち、ハードキー３４を表すハードキー画像４２およびＬＣＤ３６を表す変化領域４６を特定する（Ｓ４２２）。具体的には、例えば、対象画像４０内に含まれる複数個の矩形領域を、画像認識技術によりハードキー画像４２として特定する。また、ハードキー画像４２群の隣にあり、且つハードキー画像４２よりも大きい矩形領域であって、ハードキー画像４２に対する相対的な位置関係が、ハードキー３４に対するＬＣＤ３６の相対的な位置関係に相当する領域を、変化領域４６として特定する。そして、サーバ３００から取得したキー情報に基づいて、各ハードキー画像４２に処理を割り当てる（Ｓ４２４）。具体的には、対象画像４０における各ハードキー画像４２の位置情報と、そのハードキー画像４２が表すハードキー３４に割り当てられた処理とを対応付け、その対応関係をフラッシュメモリ１４またはメモリカード２０に記憶させる。

次に、ＣＰＵ１１は、ハードキー画像４２に設定情報を割り当てる（Ｓ４２６）。具体的には、対象画像４０における各ハードキー画像４２の位置情報と、そのハードキー画像４２に割り当てられた処理に関する設定情報とを対応付け、その対応関係をフラッシュメモリ１４またはメモリカード２０に記憶させる。すなわち、ハードキー画像４２には、サーバ３００から取得したキー情報に基づく処理が割り当てられ、且つ、当該処理に関する設定情報として、外部機器３０に表示された二次元コード３８から取得される設定情報が割り当てられる。

次に、ＣＰＵ１１は、特有キー情報に基づいて、特有キー画像４８を対象画像４０に追加表示させる（Ｓ４２８）。携帯端末１０がサーバ３００から取得する特有キー情報は、特有キー画像４８を表示させるための画像データおよび特有キー画像４８に割り当てる処理を示す処理情報を含む。ＣＰＵ１１は、この画像データに基づいて特有キー画像４８を追加し、また、この処理情報に基づいて特有キー画像４８に、処理（本実施形態ではプリント処理）を割り当てる。なお、特有キー画像４８の追加に際しては、対象画像４０のうち、ハードキー画像４２および変化領域４６とは重ならない領域を特定し、そこに特有キー画像４８を追加することが好ましい。

次に、ＣＰＵ１１は、無線ＬＡＮ送受信部１５による無線通信により、外部機器３０に対して、リモートコントロール準備完了通知を送信する（Ｓ４３０）。詳細は図５を参照して後述するが、外部機器３０は、携帯端末１０からリモートコントロール準備完了通知を受信した場合、携帯端末１０からの指示の受け付けを開始する。

次に、ＣＰＵ１１は、リモートコントロールモードで携帯端末１０を動作させる（Ｓ４３２）。具体的には、ハードキー画像４２や特有キー画像４８がユーザ操作によって指定された場合、操作された画像に割り当てられている処理の実行を指示するコマンドを、携帯端末１０から、当該携帯端末１０に無線接続された外部機器３０に送信させる。なお、ユーザ操作によって指定されたハードキー画像４２に、設定情報も割り当てられている場合、ＣＰＵ１１は、処理の実行を指示するコマンドと共に、その設定情報も、携帯端末１０から外部機器３０に送信させる。

また、ＣＰＵ１１は、外部機器３０に対して処理の実行を指示することに基づいて、対象画像４０のうち、変化領域４６内の画像を変化させる。具体的には、外部機器３０に対して処理の実行を指示した場合には、その指示内容をサーバ３００に通知し、当該指示に対応する画像データを、サーバ３００から取得する。そして、その画像データを用いて、変化領域４６内の画像を、指示内容に対応した画像に変化させる。例えば、対象画像４０に含まれるハードキー画像４２のうち、コピー処理が割り当てられたハードキー画像４２が操作により指定された場合、外部装置３０のハードキー３４のうちコピー処理が割り当てられたハードキー３４が操作された場合にＬＣＤ３６に表示されるコピー設定画面と同様の画面を示す画面データをサーバ３００から取得し、変化領域４６内の画像を変化させる。

携帯端末１０において、ユーザがリモートコントロールモードの終了を指示しない間（Ｓ４３４：Ｎｏ）、ＣＰＵ１１は、携帯端末１０をリモートコントロールモードで動作させる。一方、ユーザがリモートコントロールモードの終了を指示した場合（Ｓ４３４：Ｙｅｓ）、具体的には、操作支援プログラム１４ａの終了を指示した場合、ＣＰＵ１１は、外部機器３０に対してリモートコントロールモードの終了を通知し（Ｓ４３６）、処理を終了する。

本実施形態のリモートコントロール画面作成処理によれば、対象画像４０に含まれる二次元コード３８からモデル名を取得し、そのモデル名に基づいて取得したキー情報に基づいて、各ハードキー画像４２に処理を割り当てるので、ユーザの作業負担を抑制できる。また、二次元コード３８から接続情報が取得されるので、正確な接続情報を簡単に取得できる。その結果、ユーザは、ＳＳＩＤやセキュリティコード、外部機器３０のＩＰアドレスなどを手動入力せずとも、携帯端末１０を外部機器３０に無線接続させることができる。

図５は、外部機器３０において実行されるリモートコントロールモード処理を示すフローチャートである。外部機器３０のモード選択画面において、ユーザがリモートコントロールモードを選択した場合、外部機器３０は、リモートコントロールモードに移行し、この処理を開始する。まず、外部機器３０は、外部機器３０のモデル名、外部機器３０が実行する各種処理に関する設定情報、設定済みの接続情報を含む二次元コード３８を生成し、ＬＣＤ３６に表示させる（Ｓ５０２）。

そして、リモートコントロール準備完了通知を携帯端末１０から受信しない間、外部機器３０は、次のステップに移行しない（Ｓ５０４：Ｎｏ）。一方、携帯端末１０からリモートコントロール準備完了通知を受信した場合（Ｓ５０４：Ｙｅｓ）、外部機器３０はリモートコントロールモードで動作する（Ｓ５０６）。具体的には、携帯端末１０から処理の実行を指示するコマンドを受信した場合、指示された処理を実行する。なお、リモートコントロールモード中、外部機器３０は、携帯端末１０からの指示を優先的に受け付けることができるよう、操作部３２からの指示を受け付けないようにしても良い。そして、リモートコントロールモードの終了が携帯端末１０から通知されない間（Ｓ５０８：Ｎｏ）、外部機器３０は、リモートコントロールモードでの動作を継続する。一方、リモートコントロールモードの終了が通知された場合（Ｓ５０８：Ｙｅｓ）、外部機器３０はリモートコントロールモードを終了し（Ｓ５１０）、この処理を終了する。

上記実施形態において、携帯端末１０が情報処理装置の一例である。ＬＣＤ１８が表示部の一例である。ハードキー３４が操作子の一例である。モデル名が特定情報の一例である。キー情報が機能情報の一例である。二次元コード３８が識別画像の一例である。特有キー画像４８が付加画像の一例である。

Ｓ４０４を実行するＣＰＵ１１が画像取得手段の一例である。Ｓ４０６を実行するＣＰＵ１１が特定情報取得手段、接続情報取得手段、設定情報取得手段の一例である。Ｓ４１６を実行するＣＰＵ１１が機能情報取得手段の一例である。Ｓ４２０を実行するＣＰＵ１１が表示制御手段の一例である。Ｓ４２４を実行するＣＰＵ１１が割当手段の一例である。Ｓ４３２を実行するＣＰＵ１１が指示手段、変化手段の一例である。Ｓ４２８を実行するＣＰＵ１１が追加手段の一例である。Ｓ４２２を実行するＣＰＵ１１が変化領域特定手段の一例である。

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。

例えば、上記実施形態では、通話機能を有する携帯端末１０が情報処理装置の一例であったが、パーソナルコンピュータ、デジタルカメラなどの通話機能を持たない各種の装置であっても情報処理装置の一例となり得る。

上記実施形態では、ＡＰ５０を介して携帯端末１０と外部機器３０とが無線通信する場合を説明したが、ＡＰ５０を介さずに、携帯端末１０と外部機器３０とがアドホックモードで無線通信する場合にも、本発明を適用可能である。また、携帯端末１０と外部機器３０とが有線で接続される場合、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）や赤外線通信など、無線ＬＡＮ以外の規格で無線接続する場合にも、本発明を適用可能である。

上記実施形態では、二次元コード３８から取得したモデル名を、外部機器を特定するための特定情報としたが、特定情報は、外部機器の機種を特定するための情報であれば良く、例えば、シリアル番号、型番、商品名などであっても良い。また、例えば、対象画像内の文字列を自動文字認識技術（ＯＣＲ）で読み取ることにより、外部機器の操作部に付されたモデル名などの特定情報を取得しても良い。

上記実施形態では、二次元コード３８から、設定情報および接続情報を取得するものとして説明したが、これに代えて、携帯端末１０においてユーザに手動入力させることにより、設定情報、接続情報を取得する場合にも、本発明を適用可能である。また、二次元コード３８に代えて、モデル名、接続情報、設定情報そのものを、外部機器の表示領域に表示させ、ユーザに撮影させても良い。

上記実施形態では、キー情報をサーバ３００から取得するものとして説明したが、各種の外部機器３０に対応するキー情報を携帯端末１０が予め記憶している場合には、その予め記憶しているキー情報のうち、外部機器３０の特定情報に対応するキー情報を取得するようにしても良い。

上記実施形態では、外部機器３０のハードキー３４とＬＣＤ３６とが対象画像４０に含まれる場合に、その対象画像４０内のハードキー画像４２に各種処理を割り当てた。しかしながら、外部機器の表示領域が対象画像に含まれていない場合であっても、その対象画像内のハードキー画像４２に各種処理を割り当てても良い。このようにすれば、ユーザは、外部機器の操作部のうち、ハードキーのみを拡大して撮影するなど、対象画像をさらに自由に作成できる。

上記実施形態では、外部機器３０がハードキー３４を有するものとして説明した。しかしながら、外部機器がハードキーの他にソフトキー（すなわち、表示領域に表示され、当該ソフトキーに対する操作がタッチパネルによって検出されるキー）も有する場合、または、外部機器がハードキーを有さずソフトキーのみを有する場合にも、本発明を適用可能である。その場合、対象画像のうち、外部機器のソフトキーに対応する領域（ソフトキー画像）を特定し、当該ソフトキーに割り当てられた処理を、ソフトキー画像に割り当てれば良い。

上記実施形態では、各ハードキー画像４２の位置情報と、そのハードキー画像４２に割り当てられた処理に関する設定情報とを対応付け、その対応関係を記憶することにより、ハードキー画像４２に設定情報を割り当てるものとして説明した。これに代えて、各ハードキー画像４２に割り当てられた処理と、その処理に関する設定情報とを対応付け、その対応関係を記憶することにより、ハードキー画像４２に設定情報を割り当てても良い。その場合、ハードキー画像４２に割り当てられた処理の実行を携帯端末１０から外部機器３０に指示する場合に、その処理に対応する設定情報も、携帯端末１０から外部機器３０に送信させるように構成しても良い。

上記実施形態では、二次元コード３８から取得した設定情報を、ハードキー画像４２に割り当てるものとして説明した。しかしながら、二次元コード３８から取得した設定情報に、特有キー画像４８に割り当てる処理に関する設定情報が含まれている場合には、特有キー画像４８に対しても設定情報を割り当てても良い。

上記実施形態では、携帯端末１０は、変化領域４６内の画像を変化させるための画像データを、サーバ３００から取得するものとして説明したが、外部機器３０から受信した画像データに基づいて、変化領域４６内の画像を変化させても良い。

１０ 携帯端末
１４ａ 操作支援プログラム
１８ ＬＣＤ
３０ 外部機器
３２ 操作部
３４ ハードキー
３６ ＬＣＤ
３８ 二次元コード
４０ 対象画像
４２ ハードキー画像
４６ 変化領域
４８ 特有キー画像
２００ インターネット

Claims (9)

1. 複数の操作子を含む操作部を有し前記操作子が操作された場合には当該操作子に割り当てられている処理を実行する外部機器に対して、前記処理を実行させるために、前記外部機器と通信可能な情報処理装置において実行される操作支援プログラムであって、
   少なくとも前記操作部を表した対象画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記対象画像から、前記外部機器を特定する特定情報を取得する特定情報取得手段と、
   前記特定情報取得手段により取得された前記特定情報に基づいて取得される機能情報であって、前記対象画像に表された操作子の各々について割り当てられた処理を示す前記機能情報を取得する機能情報取得手段と、
   前記画像取得手段により取得された前記対象画像を、表示部に表示させる表示制御手段と、
   前記機能情報取得手段により取得した前記機能情報に基づき、前記表示制御手段により表示された前記対象画像に含まれる各々の操作子を表した部分に、処理を割り当てる割当手段と、
   前記割当手段により処理が割り当てられた前記操作子を表した部分が操作によって指定された場合、当該部分に割り当てられている処理の実行を、前記外部機器に指示する指示手段と、
   前記外部機器において設定された設定情報であって、当該外部機器が実行する処理に関する前記設定情報を、前記画像取得手段により取得された前記対象画像から取得する設定情報取得手段として、前記情報処理装置を機能させ、
   前記割当手段は、前記表示制御手段により表示された前記対象画像に含まれる各々の操作子を表した部分に、前記機能情報取得手段により取得した前記機能情報に基づく処理と、当該処理に関する設定情報として前記設定情報取得手段により取得される前記設定情報を割り当てる、操作支援プログラム。
2. 前記外部機器は、前記操作部に表示領域が設けられたものであり、
   前記表示制御手段により表示される前記対象画像のうち、前記操作部における前記表示領域に対応した領域を特定する変化領域特定手段と、
   前記外部機器に対して処理の実行を指示することに基づいて、前記表示制御手段により表示される前記対象画像のうち、前記変化領域特定手段により特定された領域内の画像を変化させる変化手段として、前記情報処理装置を機能させる、請求項１に記載の操作支援プログラム。
3. 複数の操作子を含む操作部を有し前記操作子が操作された場合には当該操作子に割り当てられている処理を実行するものであり、前記操作部に表示領域が設けられている外部機器に対して、前記処理を実行させるために、前記外部機器と通信可能な情報処理装置において実行される操作支援プログラムであって、
   少なくとも前記操作部を表した対象画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記対象画像から、前記外部機器を特定する特定情報を取得する特定情報取得手段と、
   前記特定情報取得手段により取得された前記特定情報に基づいて取得される機能情報であって、前記対象画像に表された操作子の各々について割り当てられた処理を示す前記機能情報を取得する機能情報取得手段と、
   前記画像取得手段により取得された前記対象画像を、表示部に表示させる表示制御手段と、
   前記機能情報取得手段により取得した前記機能情報に基づき、前記表示制御手段により表示された前記対象画像に含まれる各々の操作子を表した部分に、処理を割り当てる割当手段と、
   前記割当手段により処理が割り当てられた前記操作子を表した部分が操作によって指定された場合、当該部分に割り当てられている処理の実行を、前記外部機器に指示する指示手段と、
   前記表示制御手段により表示される前記対象画像のうち、前記操作部における前記表示領域に対応した領域を特定する変化領域特定手段と、
   前記外部機器に対して処理の実行を指示することに基づいて、前記表示制御手段により表示される前記対象画像のうち、前記変化領域特定手段により特定された領域内の画像を変化させる変化手段として、前記情報処理装置を機能させる、操作支援プログラム。
4. 前記画像取得手段により取得された前記対象画像に表された前記操作部を備える外部機器について、その外部機器に接続するための接続情報を取得する接続情報取得手段として、前記情報処理装置を機能させ、
   前記指示手段は、前記接続情報取得手段により取得された前記接続情報で接続される前記外部機器に対して、前記処理の実行を指示する、請求項１から３のいずれかに記載の操作支援プログラム。
5. 前記画像取得手段は、前記操作部を撮影することにより生成された画像を、前記対象画像として取得する、請求項１から４のいずれかに記載の操作支援プログラム。
6. 前記外部機器は、前記操作部に設けられた表示領域に、前記接続情報を含む識別画像を表示出力するものであり、
   前記画像取得手段は、前記表示領域に前記識別画像が表示された状態で前記操作部を撮影することにより生成された画像を、前記対象画像として取得するものであり、
   前記接続情報取得手段は、前記対象画像に含まれる前記識別画像から、前記接続情報を取得する、請求項４記載の操作支援プログラム。
7. 前記機能情報取得手段は、インターネットを介して前記機能情報を取得するものである、請求項１から６のいずれかに記載の操作支援プログラム。
8. 前記表示制御手段により表示される前記対象画像に対し、付加画像を追加する追加手段として、前記情報処理装置を機能させ、
   前記割当手段は、
   前記追加手段により追加された前記付加画像に、前記外部機器の操作子に割り当てられている処理とは異なる処理を割り当てる、請求項１から７のいずれかに記載の操作支援プログラム。
9. 前記割当手段は、
   前記情報処理装置から出力するデータに対して実行すべき所定の処理を、前記付加画像に割り当てるものであり、
   前記指示手段は、
   前記付加画像が操作された場合、前記情報処理装置から出力するデータに対し、前記所定の処理を実行するように、前記外部機器へ指示する、請求項８記載の操作支援プログラム。