JPWO2011086956A1 - 情報端末機器、情報端末機器による操作方法及びプログラム - Google Patents

Abstract

対象機器を内蔵カメラで撮影するだけで、対象機器に応じた操作メニューを提示するため、対象機器に適した操作を直感的に行うことができる情報端末機器を提供する。情報端末機器は、内蔵するカメラによって撮影した画像から対象機器を認識する対象認識手段１３と、対象認識手段による認識結果に基づいて、対象機器に応じて予め保存した操作メニュー情報を提示するメニュー管理手段１５と、操作メニュー情報で選択された操作内容に応じた動作指示を行う処理手段１７とを含む。

Description

本発明は、携帯電話端末などの情報端末機器に関し、特に、家電等の機器の遠隔操作が可能な情報端末機器、その操作方法及びプログラムに関する。

携帯電話端末など一部の情報端末機器には、家電等の機器に対してリモコンとして利用できる赤外線通信機能やデータ交換に利用できる無線通信機能（例えば、ＢｌｕｅｔｏｏｔｈやＷｉＦｉ）が備えられている。

このような機能を有する携帯電話端末を利用して、家電機器（例えば、テレビやＨＤレコーダ等）をリモコン操作する場合、例えば、端末からリモコン操作を行うためのアプリケーションを起動し、そのアプリケーションに用意されている操作画面（メニュー）に従って対象となる機器を操作する。

また、複数の機器をリモートコントロールすることを可能にしたコントローラに関する関連技術が例えば特許文献１に記載されており、この特許文献１記載の技術を携帯電話端末に適用しても、携帯電話端末で複数の機器のリモコン操作が可能になる。

この特許文献１記載の技術は、異なるパターンのバーコードや点滅パターンが異なる発光装置を複数の機器に設け、そのバーコードのパターンや発光装置の点滅パターンをコントローラで読み取り、読み取ったパターンに応じて機器毎に異なるメニュー情報を読み出すことで、複数の機器をリモートコントロールすることを可能する。

特開２００１−８２７９号公報

しかし、携帯電話端末にインストールされているリモコン機能によって、当該赤外線機能や当該無線通信機能を利用して家庭内に複数存在する家電機器のリモコン操作を行う場合、例えば、まずメニューからアクセサリ→リモコン操作→相手機器選択と進み、相手機器選択サブメニューを表示して通信相手の家電機器をメニューで選択してから操作画面を選び、その操作画面から操作して通信する、という煩雑な操作が必要であった。

また、携帯電話端末と周りの家電機器との間でデータ交換などを行う場合、例えば、まずメニューからサービス→データ交換→家電連携→相手機器選択と進み、相手機器を選択した後に、携帯電話端末内に保存された、内蔵カメラで撮影した動画をテレビで鑑賞するような場合には、まずデータの格納場所を探して対象データを指定し、それに関する操作をメニューから探して起動するというように煩雑な操作が必要であった。

また、特許文献１に記載の技術を利用して複数の機器をリモコン操作することも可能であるが、特許文献１の技術では、対象となる機器にバーコードや点滅する発光装置を設ける必要があり、現在既に提供されている家電機器のリモコン操作には適用できないという問題ある。さらに、専用のコントローラと異なり、携帯電話端末で機器を操作する場合には、依然として既に述べたような問題が残る。

（発明の目的）
本発明の目的は、上述した課題を解決し、対象機器に適した操作を直感的に行うことを可能にする情報端末機器、操作メニュー設定方法及びプログラムを提供することにある。

本発明による情報端末機器は、内蔵するカメラによって撮影した画像から対象機器を認識する対象認識手段と、対象認識手段による認識結果に基づいて、対象機器に応じて予め保存した操作メニュー情報を提示するメニュー提示手段と、操作メニュー情報で選択された操作内容に応じた動作指示を行う処理手段とを含む。

本発明による情報端末機器による操作方法は、カメラを内蔵する情報端末機器によって対象機器の操作を行う操作方法であって、内蔵カメラによって撮影した画像から対象機器を認識するステップと、対象の認識結果に基づいて、対象機器に応じて予め保存した操作メニュー情報を提示するステップと、操作メニュー情報で選択された操作内容に応じた動作指示を行うステップとを含む。

本発明によるプログラムは、カメラを内蔵する情報端末機器に、内蔵カメラによって撮影した画像から対象機器を認識する処理と、対象の認識結果に基づいて、対象機器に応じて予め保存した操作メニュー情報を提示する処理と、操作メニュー情報で選択された操作内容に応じた動作指示を行う処理とを実行させる。

本発明によれば、対象機器を内蔵カメラで撮影するだけで、対象機器に応じた操作メニューを提示するため、対象機器に適した操作を直感的に行うことができる。

本発明の第１の実施の形態による携帯電話端末の構成を示すブロック図である。 第１の実施の形態による機器メニュー情報記憶部の機器操作メニューテーブルの構成例を示す図である。 機器メニュー情報記憶部の機器操作メニューテーブルに登録する特徴パターンと操作メニュー情報の構成例を示す図である。 第１の実施の形態による携帯電話端末の操作メニュー生成処理の内容を説明するフローチャートである。 第１の実施の形態による携帯電話端末の対象機器の操作処理の内容を説明するフローチャートである。 第１の実施の形態による携帯電話端末の動作例を示す図である。 第２の実施の形態による携帯電話端末の操作メニュー生成処理の内容を説明するフローチャートである。 第２の実施の形態による機器メニュー情報記憶部の機器操作メニューテーブルの構成例を示す図である。 第２の実施の形態による携帯電話端末の対象機器の操作処理の内容を説明するフローチャートである。 第２の実施の形態による携帯電話端末の動作例を示す図である。 第３の実施の形態による携帯電話端末の動作例を示す図である。

次に、本発明の実施の形態について、図面を参照して詳細に説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の第１の実施の形態による携帯電話端末１０の構成を示すブロック図である。図１を参照すると、本実施の形態の携帯電話端末１０は、内蔵カメラ１１と、入出力インタフェース部１２と、対象認識部１３と、機器メニュー情報記憶部１４と、メニュー管理部１５と、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面生成部１６と、処理部１７と、通信制御部１８と、表示部１９と、操作キー２０を含む。

図１では、本発明に必要な構成要素のみを示し、一般的な携帯電話端末１０が備える他の構成要素については図示を省略している。また、本実施の形態においては、情報端末機器として携帯電話端末を用いる例を示しているが、スマートフォン、ＰＤＡ、ノートＰＣ等を含む携帯可能でカメラ機能と通信機能を備える他の情報端末機器にも適用することが可能である。

内蔵カメラ１１は、通常の携帯電話端末１０に備えられているカメラと同様、対象の静止画や動画を撮影し、その画像を保存する機能を有する。入出力インタフェース部１２には、文字情報や画像情報を行う表示部１９と、ユーザが文字入力や操作入力を行うための操作キー２０が接続されている。

対象認識部１３は、内蔵カメラ１１で撮影した対象機器の画像からその対象機器の特徴点等の特徴パターンを抽出する機能を有する。また、操作メニューの初期設定において、抽出した特徴パターンを機器メニュー情報記憶部１４に登録する機能を有すると共に、実際の運用においては、抽出した特徴パターンと機器メニュー情報記憶部１４に登録した特徴パターンを照合することにより、撮影した対象機器を認識する機能を有する。

機器メニュー情報記憶部１４は、後述する機器操作メニューテーブルを格納すると共に、対象認識部１３で抽出した対象機器の特徴点等の特徴パターンや、メニュー管理部１５で生成した操作メニュー情報を格納する。

メニュー管理部１５は、初期設定において、登録した対象機器に応じた操作メニューを生成する機能を有すると共に、運用において、認識した対象機器の操作メニュー情報を機器メニュー情報記憶部１４から読み出す機能を有する。

ＵＩ画面生成部１６は、メニュー管理部１５で読み出した操作メニュー情報に基づいてユーザが操作可能な操作メニュー画面を生成して表示部１９に表示させる機能を有する。

処理部１７は、表示部１９に表示した操作メニュー画面からユーザが選択した操作内容に従って対象機器に対する動作指示を通信制御部１８から送信する機能を有する。その他、対象機器との間で静止画や動画等の情報を通信制御部１８を介して送受信する機能を有する。

通信制御部１８は、対象機器と有線や無線による通信を行う機能を有する。通信手段としては、赤外線、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）、ＰＬＣ（Ｐｏｗｅｒ Ｌｉｎｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ：高速電力線通信）等による通信を利用することが可能である。また、対象機器との通信における通信プロトコルとしては、ＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）プロトコルや、ＲＡＣＰ（Ｒｅｍｏｔｅ Ａｐｐｌｉａｎｃｅ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）プロトコル等が使用される。

上記のような構成により、ユーザが携帯電話端末１０を操作して対象機器（例えば、デジタルカメラ、パソコン、テレビ、ＨＤレコーダ等の家電機器）に内蔵カメラ１１のレンズを向け、入出力インタフェース部１２と接続される操作キーから撮影ボタンを押すことで、内蔵カメラ１１のレンズ前方の置かれた対象機器を撮影する。撮影した画像は対象認識部１３に送られる。

対象認識部１３は、撮影画像から対象機器の特徴点を抽出し、その特徴点を機器メニュー情報記憶部１４に予め格納している照合用の特徴パターンと照合することにより類似度を判定し、予め登録された機器のうちのどの機器であるかを認識する。

また、メニュー管理部１５は、対象認識部１３において認識した機器についての操作メニュー情報を機器メニュー情報記憶部１４から読み出してＵＩ画面生成部１６に送る。ＵＩ画面生成部１６は、操作メニュー情報に基づいて操作メニュー画面を生成して入出力ユーザインタフェース部を介して表示部１９に表示することでユーザに提示する。これにより、ユーザは、表示部１９に表示された操作メニュー画面から必要な操作内容を選択することが可能なる。そして、処理部１７は、操作メニュー画面から選択した操作内容に基づく動作指示を認識した機器に通信制御部１８を介して送信する。これにより、認識した対象機器の遠隔操作が可能となる。

ここで、機器メニュー情報記憶部１４に格納する機器操作メニューテーブル１００の構成例を図２と図３に示す。

機器操作メニューテーブル１００は、操作の対象となる機器毎に、機器識別情報（ＩＤ）と、特徴パターンのリンク先と、操作メニュー情報のリンク先を登録している。

機器メニュー情報記憶部１４には、家庭内で使用される各種機器の画像から抽出した特徴点からなる特徴パターンと、またその操作メニューと操作内容に関する情報である操作メニュー情報が、機器操作メニューテーブル１００に示されるリンク先に保存される。

特徴パターンは、図３の（ａ）に示すように、１又は複数の特徴点情報からなり、例えば、家庭内のテレビやＰＣ、デジタルカメラ等の機器を（必要であれば複数枚）撮影してそこから認識用の特徴点情報を抽出することで用意されている。

また、操作メニュー情報には、図３の（ｂ）に示すように、その対象機器を操作するためのリモコン信号を識別する通信信号ＩＤ、その対象機器に対する操作メニューの構成とそれぞれが押下されたときの動作制御情報、必要ならその下のサブメニューの構成とその動作制御情報、データ交換を行う際の通信プロトコル情報、メニュー操作によって交換されたデータの双方での保存位置、仕様などに関する情報が含まれる。この操作メニュー情報に関するデータは、機器操作メニューテーブル１００に示されるリンク先に保存される。

操作メニュー情報は、初期設定時に、対象機器のメーカー名や機器の型番情報に基づいてメーカーのＷｅｂサーバからインターネット経由でダウンロードされることで用意される。

（第１の実施の形態の動作の説明）
本実施の形態による携帯電話端末１０の動作について詳細に説明する。
まず、初期設定として対象機器の操作メニューを設定する処理動作について図４のフローチャートを参照して説明する。

まず、操作を行う対象機器（例えば、リビングルームにあるテレビ）の機器識別情報（ＩＤ）を機器メニュー情報記憶部１４の機器操作メニューテーブル１００に登録する（ステップＳ４０１）。この機器識別情報（ＩＤ）については、対象機器のＱＲコードやバーコードを内蔵カメラ１１で読み取って入力することもできるし、対象機器と通信することにより、対象機器の内部情報から直接読み取ることが可能である。また、ユーザが操作キー２０から手作業で入力してもよい。

次に、携帯電話端末１０と対象機器間の通信方式（通信手段と通信プロトコル）を設定する（ステップＳ４０２）。この通信方式については、携帯電話端末１０で実行可能な通信方式のうち、対象機器と通信できる通信方式を選択して設定することになる。

例えば、通信手段として無線ＬＡＮを利用する場合には、通信プロトコルとしてＤＬＮＡプロトコル等を選択する。その他の通信方式として、通信手段に赤外線、通信プロトコルにＩｒＤＡやＩｒＳｉｍｐｌｅプロトコルを選択する場合が考えられる。ただし、通信方式については、利用可能な他の通信方式を選択することも可能である。

設定した通信方式の通信プロトコルに応じて対象機器と通信を行うための通信信号ＩＤを、機器操作メニューテーブル１００の対象機器に対応する操作メニュー情報に登録する（ステップＳ４０３）。

次に、内蔵カメラ１１で対象機器を撮影する（ステップＳ４０４）。この対象機器の撮影においては、対象機器の特徴が現れている前面部等を１又は複数枚撮影し、撮影した画像を対象認識部１３に送る。

対象認識部１３では、機器の撮影画像をＥＲサーチ技術等を利用して解析し、画像から対象機器の特徴的な部分（特徴点：例えば、機器の前面部の形状や色合い等）等を特徴パターンとして抽出し（ステップＳ４０５）、その抽出した特徴パターンを機器メニュー情報記憶部１４内に格納すると共に、その特徴パターンのリンク先を機器操作メニューテーブル１００の対象機器に対応付けて登録する（ステップＳ４０６）。

次に、対象機器を操作するために必要となる操作情報を取得する（ステップＳ４０７）。
この操作情報の取得については、対象機器と直接通信を行って、対象機器に内蔵されている操作情報を読み込んで取得してもよいし、対象機器のメーカーのＷｅｂサーバにアクセスし、操作情報をインターネット経由でダウンロードして取得してもよい。
対象機器やサーバから操作情報を取得できない場合には、対象機器のマニュアル等を参照してユーザが手作業によって操作情報を入力する。この場合、マニュアルに記載されているリモコンコードを操作情報として利用することができる。

取得した操作情報から対象機器の操作に必要な操作内容を選択する（ステップＳ４０８）。この操作内容の選択は、メニュー管理部１５が取得した操作情報に含まれる操作内容を表示部１９を介してユーザに提示し、問い合わせを行うことで実行される。
ユーザは、表示部１９に表示された操作内容から自分が必要と思われる操作内容を選択する。例えば、対象機器がＨＤレコーダであれば、操作内容のうち、電源のオン／オフ、再生コンテンツの選択、再生、停止、順送り、逆送り等の操作内容を選択する。また、対象機器がＤＬＮＡプロトコルに対応していれば、対象機器に録画済みのコンテンツを携帯電話端末１０に送信するといった操作内容を選択することも可能である。

次に、メニュー管理部１５で、ユーザが選択した操作内容に基づいて操作メニューを生成し（ステップＳ４０９）、生成した操作メニューのデータを機器メニュー情報記憶部１４内に格納すると共に、その操作メニューのデータのリンク先を機器操作メニューテーブル１００の操作メニュー情報の欄に登録する（ステップＳ４１０）。

携帯電話端末１０で操作する複数の対象機器について、上述した手順をステップＳ４０１から繰り返すことにより、対象機器毎に操作メニューの設定処理を行う。

次に、図５のフローチャートを参照して、携帯電話端末１０によって対象機器の操作を行う場合の動作について詳細に説明する。

ユーザは携帯電話端末１０の内蔵カメラ１１を起動して（ステップＳ５０１）、対象機器（例えば、リビングルームにあるテレビ）に向けて撮影する（ステップＳ５０２）。この際、通常の撮影ボタンを押下して撮影するか、あるいはこの用途のために用意された通常と違うボタン（例えば、メニューボタン）を操作して撮影する。撮影した画像は対象認識部１１に渡される。

次いで、対象認識部１１は、取得した画像から特徴パターンを抽出し、抽出した特徴パターンを機器メニュー情報記憶部１４から読み出した特徴パターンと照合することにより、撮影した対象機器が機器操作メニューテーブル１００に登録されている機器であるかどうかの認識処理を行う（ステップＳ５０３）。
この認識処理の結果、対象機器が機器メニュー情報記憶部１４の機器操作メニューテーブル１００に登録されていない場合には（ステップＳ５０４でＮＯ）、通常のカメラ撮影処理として、画像の保存をユーザに確認して保存するなどの処理が実行される（ステップＳ５０５、ステップＳ５０６）。

なお、撮影ボタンやメニューボタンを操作して対象機器の画像を撮影する操作を行うことなく、内蔵カメラ１１を対象機器に向けて表示部１９に対象機器の映像を表示させた状態で、対象機器の認識処理を行うことも可能である。

認識処理の結果、対象機器が機器メニュー情報記憶部１４の機器操作メニューテーブル１００に登録されている場合は（ステップＳ５０４でＹＥＳ）、メニュー管理部１５は、機器操作メニューテーブル１００から対応する対象機器（例えばリビングルームにあるテレビ）の操作メニュー情報を読み出し（ステップＳ５０７）、操作メニュー情報に示される通信信号ＩＤを処理部１７に送り、操作メニューのデータをＵＩ画面生成部１６に送る。

ＵＩ画面生成部１６は、操作メニューのデータに基づいてユーザが操作可能な操作メニュー画面を生成し表示部１９に表示させる（ステップＳ５０８）。
図６に、ステップＳ５０８において表示部１９に表示した操作メニュー画面の例を示す。図６（ａ）は対象機器がテレビである場合の操作メニュー画面の例を示し、図６（ｂ）は操作メニュー画面で携帯電話端末１０の動画をテレビに映す操作内容を選択した場合に表示されるデータ選択やデータ通信設定を行うためのサブメニュー画面の例を示している。

ここで、ユーザが操作メニュー画面から操作内容を選択すると（ステップＳ５０９）、選択した操作内容に従った動作指示が通信制御部１８から対象機器に送信される（ステップＳ５１０）。これにより、対象機器の遠隔操作が実行される。
例えば、図６（ｂ）のメニュー画面のデータ選択でハワイの動画が選択されると、携帯電話端末１０内にある選択された動画が、予め設定された通信方式、例えば、無線ＬＡＮのＷｉＦｉを介したＤＬＮＡ等のプロトコルによってテレビに送られ、そこに映し出される。図６（ｂ）ではフォルダー指定まで示しているが、その下の個々の画像・動画ファイルについても、サムネールを表示するなどで選択するメニューが提示されることになる。

同様の方法により、パソコンやデジタルカメラ、ＨＤレコーダーの遠隔操作やデータ交換（パソコンやデジカメ側のデータを携帯電話端末１０に送り携帯で視聴することも含む）、インタフォンの応答なども遠隔操作で行えるようになる。図６（ｃ）に、対象機器がデジタルカメラである場合に、デジタルカメラ内のデータを一覧表示し、そこから携帯電話端末１０へ転送して鑑賞する場合の操作メニュー画面の例を示す。

（第１の実施の形態による効果）
次に、第１の実施の形態の効果について説明する。

本実施の形態によれば、家庭内に複数存在する家電等の対象機器を内蔵カメラ１１で撮影するだけで、携帯電話端末１０によるリモコン操作を行うことが可能となる。これまで携帯電話端末１０で家電等をリモコン操作する場合には、携帯電話端末１０に用意されているメニューからリモコン機能を探し、その機能を起動させてからリモコン操作を行うという煩わしさがあった。本実施の形態では、対象機器に内蔵カメラを向けるだけで、対象機器に応じた操作メニューが提示されるので、リモコン操作が非常に簡単となる。

また、各種対象機器毎に、ユーザが必要とする操作内容を選択して操作メニューとして登録しておくことにより、直感的で分かり易い操作が可能となる。例えば、周りの家電とデータ交換などを行う際にも、データ交換に関する操作内容を優先的に選択して操作メニューとして登録しておけば、機器の操作が非常に簡単となる。

このように、これまでの携帯電話端末１０による操作は手続き主体であったのに対し、本実施の形態によれば、認識した対象主体でこれに関連する操作（メソッド）を選択できるという、オブジェクト指向の操作系を実現できる。

（第２の実施の形態）
本発明の第２の実施の形態について図面を参照して詳細に説明する。

第１の実施の形態においては、対象機器を内蔵カメラ１１で撮影して認識し、機器毎に予め設定した操作メニューを携帯電話端末１０に提示し、その操作メニューから対象機器の遠隔操作を可能にしている。この第２の実施の形態では、対象機器とその現在の動作状態を認識し、その動作状態に応じて適切な操作メニューを提示することを可能にする。

第２の実施の形態による携帯電話端末１０の構成については、図１に示す第１の実施の形態と同様であるので、その説明は省略する。

第２の実施の形態では、初期設定で操作メニューを設定する際に、対象機器の各動作状態（例えば、ＨＤレコーダーの場合であれば、電源オフ状態、電源オン状態、映像再生状態、映像録画状態等）を内蔵カメラ１１で撮影を行い、それらの画像から各動作状態毎に、特徴パターンを抽出して機器メニュー情報記憶部１４に登録する。また、各動作状態毎に、所望の操作内容を選択して操作メニュー情報として機器操作メニューテーブル１００に登録する。
例えば、電源オン、オフの状態は、パイロットランプの色や位置、画面の状態等で認識することが可能であるので、それらの状態に応じた特徴パターンを登録しておくことにより、対象機器の現在の動作状態を認識することができる。

まず、初期設定として対象機器の操作メニューを設定する処理動作について図７のフローチャートを参照して説明する。

図７のステップＳ７０１からＳ７０３、ステップＳ７０７、ステップＳ７０９及びステップＳ７１０については、図４に示したステップＳ４０１からＳ４０３、ステップＳ４０７、ステップＳ４０９及びＳ４１０の処理と同様であるので、以下では、第１の実施の形態と相違するステップＳ７０４からステップＳ７０６、ステップＳ７０８の処理内容について説明する。

ステップＳ７０４で、内蔵カメラ１１で対象機器を撮影する場合、本実施の形態では、対象機器の動作状態毎に、その動作状態を識別できる状態で１又は複数枚撮影し、撮影した画像を対象認識部１３に送る。

また、ステップＳ７０５では、対象認識部１３が、機器の撮影画像をＥＲサーチ技術等を利用して解析し、画像から対象機器の特徴的な部分（特徴点：例えば、機器の前面部の形状や色合い等）等を特徴パターンとして抽出し、動作状態毎に抽出した特徴パターンを機器メニュー情報記憶部１４内に格納する。そして、ステップＳ７０６で、その特徴パターンのリンク先を機器操作メニューテーブル１００の対象機器の動作状態に対応付けて図８に示すように登録する。
図８に示す機器操作メニューテーブル１００の例では、対象機器の動作状態（電源オフ状態、電源オン状態、再生状態）に応じた特徴パターンが登録されている。

ステップＳ７０８では、取得した操作情報から対象機器の操作に必要な操作内容を選択するが、本実施の形態の場合、ユーザは、対象機器の動作状態毎に自分が必要と思われる操作内容を選択する。例えば、ＨＤレコーダの電源オフ状態に対しては、操作内容のうち、電源のオンの操作を選択し、さらにその後に行う操作内容を選択する。また、電源オン状態については、最初に再生コンテンツの選択を行う操作を選択し、さらにその後に行う操作内容（再生、停止等）を選択する。

例えば、ＨＤレコーダの電源オフ状態に対して、ダイレクトに電源オン動作を行う操作内容を設定することも可能である。このような操作メニューを設定すれば、ＨＤレコーダを内蔵カメラ１１で撮影し、ＨＤレコーダが電源オフ状態であることを認識すると、図９（ａ）に示すように、ＨＤレコーダの起動を問い合わせるメニュー画面が初めに提示し、その後に、図９（ｂ）に示すような、その後に行う操作内容をメニュー画面として提示する。これにより、ユーザは、ＨＤレコーダの状態を確認してから操作を行う必要がなくなり、状態に応じた適切な操作を迅速に行うことが可能となる。

図９のフローチャートを参照して、携帯電話端末１０によって対象機器の操作を行う場合の動作について詳細に説明する。

図９のステップＳ９０１、Ｓ９０２、Ｓ９０４からＳ９０６、ステップＳ９０８からＳ９１１については、図５に示したステップＳ５０１、Ｓ５０２、Ｓ５０４からＳ５０６、ステップＳ５０８からＳ５１１の処理と同様であるので、以下では、第１の実施の形態と相違するステップＳ９０３、Ｓ９０７の処理内容について説明する。

図９のステップＳ９０３の対象機器の認識処理においては、対象認識部１１は、取得した画像から特徴パターンを抽出し、抽出した特徴パターンを機器メニュー情報記憶部１４から読み出した特徴パターンと照合することにより、撮影した対象機器が機器操作メニューテーブル１００に登録されているかどうか、かつ対象機器の動作状態が機器操作メニューテーブル１００に登録されている動作状態のうちの何れであるかを認識する。

また、ステップＳ９０７では、メニュー管理部１５が、認識した動作状態に応じた操作メニューを機器操作メニューテーブル１００から読み出し、操作メニューのデータをＵＩ画面生成部１６に送る。

なお、初期設定において、動作状態毎に操作内容を選択するが、その場合、ダイレクトに機器を操作する操作内容を選択することも可能である。例えば、対象機器が電源オフ状態であった場合、電源起動を問い合わせるメニュー画面を表示せずに、対象機器に電源オンの動作指示を送信して電源オン状態にし、次いで、対象機器の操作を行うためのメニュー画面を表示するようにしてもよい。

（第２の実施の形態による効果）
次に、第２の実施の形態の効果について説明する。
本実施の形態よれば、第１の実施の形態による効果に加えて、対象機器を認識して当該機器を操作するための操作メニューをユーザに提示する場合に、対象機器の動作状態に応じた適切な操作メニューを提示する構成としたので、携帯電話端末１０を用いて対象機器の操作を行う場合により快適な操作が可能となる。

（第３の実施の形態）
第１の実施の形態においては、対象を家電機器としたが、本実施の形態では、対象を人物とした場合について説明する。この第３の実施の形態による携帯電話端末１０の構成についても、図１に示す第１の実施の形態と同様であるので、その説明は省略する。

例えば、街角で会った友人のＡさん自身や友人Ａさんの写真を撮影して、予め登録しておいた友人Ａさんであることを認識し、友人Ａさんに関連する操作ができるメニューを呼び出して設定し、それの操作に従って処理を行うことを可能にする。

この実施の形態では、上述した実施の形態の対象機器が対象人物に置き換わっただけであるので、初期設定において、対象人物毎に、特徴パターンを登録し、さらに必要な操作内容をメニューとしてメニューテーブルに登録する点は第１の実施の形態と同じである。
また、内蔵カメラ１１で対象人物を撮影した画像から対象人物を認識し、対応する操作メニューを提示する点についても第１の実施の形態と同じである。ただし、操作メニューから操作内容を選択して動作指示を行う相手が対象機器ではなく携帯電話端末１０自身となる。

動作例を図１１示す。図１１（ａ）は友人Ａさんを撮影して認識した場合に提示されるメニューの例を示している。図１１（ｂ）は、（ａ）のメニューから「友人Ａさん関連情報」を選択した場合に提示されるサブメニューの例を示している。
例えば、（ａ）のメニューからメールや電話が選択されると、電話帳データから友人Ａさんのデータを読み出して、対応する処理が実行される。また（ｂ）のメニューからは、内部に保存されたデータから友人Ａさんの関連データが抽出されて表示され、また予め登録しておいたＵＲＬから友人Ａさんの個人ページやブログへ接続する。

同様の方法により、テレビに気になる有名人Ｂさんが映った場合に、テレビの画面を撮影すると、撮影画像から有名人Ｂさんを認識し、図１１（ｃ）に示すような有名人Ｂさんについて予め登録した操作メニューを提示する。この操作メニューから操作内容を選択することで、有名人Ｂさんについての情報をインターネットで検索して関連する情報収集することができる。

このように人物に関しても、オブジェクト指向で、直感的でわかりやすい操作が可能となる。

以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。

この出願は、２０１０年１月１８日に出願された日本出願特願２０１０−００８３９１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、携帯電話端末を含め、スマートフォン、ＰＤＡ、ノートＰＣ等のカメラ機能と通信機能を有する携帯型の情報端末機器一般に適用することができる。

Claims (11)

1. 内蔵するカメラによって撮影した画像から対象機器を認識する対象認識手段と、
   前記対象認識手段による認識結果に基づいて、前記対象機器に応じて予め保存した操作メニュー情報を提示するメニュー管理手段と、
   前記操作メニュー情報で選択された操作内容に応じた動作指示を行う処理手段と
   を備えることを特徴とする情報端末機器。
2. 前記対象機器毎に、前記対象機器の画像上の特徴パターンと、対象機器に応じて予め選択した操作内容を含む操作メニュー情報を登録した対象メニュー情報記憶部を備え、
   前記対象認識手段は、
   前記撮影した画像から抽出した特徴パターンと前記対象メニュー情報記憶部の特徴パターンとを照合して前記対象機器を認識し、
   前記メニュー管理手段は、
   前記対象メニュー情報記憶部から、認識した前記対象機器に対応する操作メニュー情報を読み出して提示することを特徴とする請求項１に記載の情報端末機器。
3. 前記対象メニュー情報記憶部に、前記対象機器を識別する情報と、前記対象機器の特徴パターンのリンク先と、前記対象機器に応じた操作メニュー情報のリンク先を、前記対象機器毎に登録したテーブルを格納し、
   前記対象認識手段は、撮影した画像から抽出したパターンと前記テーブルに登録されている特徴パターンを照合して、前記対象機器がテーブルに登録されているかどうかを判定し、
   前記メニュー管理手段は、前記対象機器がテーブルに登録されている場合に、前記テーブルの対象機器に対応付けて登録されている操作メニュー情報を前記対象メニュー情報記憶部から読み出して提示することを特徴とする請求項２に記載の情報端末機器。
4. 前記対象メニュー情報記憶部に、前記対象機器の動作状態毎の特徴パターンと、動作状態に適した操作内容を含む操作メニュー情報を格納し、
   前記対象認識手段は、
   前記撮影した画像から抽出した特徴パターンと前記対象メニュー情報記憶部の特徴パターンとを照合して前記対象機器の動作状態を認識し、
   前記メニュー管理手段は、
   前記対象メニュー情報記憶部から、認識した前記対象機器の動作状態に応じて対応する操作メニュー情報を読み出して提示することを特徴とする請求項２又は請求項３に記載の情報端末機器。
5. 前記操作メニュー情報として、前記対象機器と通信を行うためのプロトコル情報を含むことを特徴とする請求項１から請求項４の何れかに記載の情報端末機器。
6. カメラを内蔵する情報端末機器によって対象機器の操作を行う操作方法であって、
   内蔵カメラによって撮影した画像から対象機器を認識するステップと、
   対象の認識結果に基づいて、前記対象機器に応じて予め保存した操作メニュー情報を提示するステップと、
   前記操作メニュー情報で選択された操作内容に応じた動作指示を行うステップと
   を含むことを特徴とする情報端末機器による操作方法。
7. 対象メニュー情報記憶部に、前記対象機器毎に、前記対象機器の画像上の特徴パターンと、対象機器に応じて予め選択した操作内容を含む操作メニュー情報を登録し、
   前記対象認識のステップで、
   前記撮影した画像から抽出した特徴パターンと前記対象メニュー情報記憶部の特徴パターンとを照合して前記対象機器を認識し、
   前記メニュー提示ステップで、
   前記対象メニュー情報記憶部から、認識した前記対象機器に対応する操作メニュー情報を読み出して提示することを特徴とする請求項６に記載の情報端末機器による操作方法。
8. 前記対象メニュー情報記憶部に、前記対象機器を識別する情報と、前記対象機器の特徴パターンのリンク先と、前記対象機器に応じた操作メニュー情報のリンク先を、前記対象機器毎に登録したテーブルを格納し、
   前記対象認識のステップで、撮影した画像から抽出したパターンと前記テーブルに登録されている特徴パターンを照合して、前記対象機器がテーブルに登録されているかどうかを判定し、
   前記メニュー提示ステップで、前記対象機器がテーブルに登録されている場合に、前記テーブルの対象機器に対応付けて登録されている操作メニュー情報を前記対象メニュー情報記憶部から読み出して提示することを特徴とする請求項７に記載の情報端末機器による操作方法。
9. 前記対象メニュー情報記憶部に、前記対象機器の動作状態毎の特徴パターンと、動作状態に適した操作内容を含む操作メニュー情報を格納し、
   前記対象認識のステップで、
   前記撮影した画像から抽出した特徴パターンと前記対象メニュー情報記憶部の特徴パターンとを照合して前記対象機器の動作状態を認識し、
   前記メニュー提示ステップで、
   前記対象メニュー情報記憶部から、認識した前記対象機器の動作状態に応じて対応する操作メニュー情報を読み出して提示することを特徴とする請求項７又は請求項８に記載の情報端末機器による操作方法。
10. 前記操作内容として、前記対象機器と通信を行うためのプロトコル情報を含むことを特徴とする請求項６から請求項９の何れかに記載の情報端末機器による操作方法。
11. カメラを内蔵する情報端末機器に、
    内蔵カメラによって撮影した画像から対象機器を認識する処理と、
    対象の認識結果に基づいて、前記対象機器に応じて予め保存した操作メニュー情報を提示する処理と、
    前記操作メニュー情報で選択された操作内容に応じた動作指示を行う処理とを、実行させることを特徴とするプログラム。

Images