JP5486929B2 - ビデオ通話を利用した装置制御 - Google Patents

Description

本発明は、電子装置を制御するためのシステムおよび方法、特に、ワイヤレスハンドヘルド装置を使用して電子装置を制御するためのシステムおよび方法に関する。

長い間、音楽システムおよびテレビ等の電子装置のユーザは、ワイヤレスリモートコントロールを使用して前記装置を制御することを選択してきた。このようなリモートコントロールは、通常、装置に付属しており、一般に、ユーザがリモートコントロールの特定のボタンを押したときに、赤外線信号を送信することによって装置を制御する。

典型的には、電子装置に付属するリモートコントロールが、大部分のユーザによって普段から置き忘れられるか、または完全に紛失されるため、電子装置がリモートコントロールの手段を持たない状態となってしまう。さらに、ユーザが複数の電子装置を所持しており、これらの各々がそれ自体のリモートコントロールを有している場合、異なるリモートコントロールの数が過剰になってしまうことがある。既に提案されている解決策は、ユニバーサルリモートコントロールを提供しており、このユニバーサルリモートコントロールは、種々の電子装置に必要とされる特定の赤外線信号を学習することができ、例えば、元のリモートコントロールを紛失したとしても、前記電子装置を制御することを可能にするか、または１つだけのリモートコントロールによって、種々の装置を制御することを可能にする。しかし、このような代替装置は、追加のコストを必要とし、それらの代替装置にプログラムする必要があることによって複雑になる。さらに、リモートコントロールは、通常小さくて見つけるのが困難である所望の操作のための正しいボタンを押す必要があるので、一般的に扱いづらい。

「皮質のような機構による、ロバストなオブジェクトの認識」（Ｒｏｂｕｓｔ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｗｉｔｈ Ｃｏｒｔｅｘ−Ｌｉｋｅ Ｍｅｃｈａｎｉｓｍｓ）（パターン分析および機械インテリジェンスに関するＩＥＥＥ会報、第２９巻、第３号、２００７年３月、Ｔ．セール（Ｔ．Ｓｅｒｒｅ）、Ｌ．ウォルフ（Ｌ．Ｗｏｌｆ）、Ｓ．ビレシ（Ｓ．Ｂｉｌｅｓｃｈｉ）、Ｍ．リーゼンフーバー（Ｍ．Ｒｉｅｓｅｎｈｕｂｅｒ）、およびＴ．ポッジョ（Ｔ．Ｐｏｇｇｉｏ）） 「単一のカメラによるリアルタイム同時ローカリゼーションおよびマッピング」（Ｒｅａｌ−ｔｉｍｅ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｃａｍｅｒａ）（２００３年のニースにおけるコンピュータビジョンに関する第９回目の国際会議の議事録、Ａ．Ｊ．デビソン（Ａ．Ｊ．Ｄａｖｉｓｏｎ）） 「カメラ電話に基づく動き検知：インタラクティブ技術、応用および性能研究」（Ｃａｍｅｒａ Ｐｈｏｎｅ Ｂａｓｅｄ Ｍｏｔｉｏｎ Ｓｅｎｓｉｎｇ：Ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ， Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｐｅｒｆｏｒｍａｎｃｅ Ｓｔｕｄｙ）（２００６年１０月のスイスのモントルーにおけるＡＣＭ ＵＩＳＴ ２００６、Ｊ．ワン（Ｊ．Ｗａｎｇ）、Ｓ．ジャイ（Ｓ．Ｚｈａｉ）およびＪ．キャニー（Ｊ．Ｃａｎｎｙ））

本発明の目的は、ワイヤレスハンドヘルド装置を使用して電子装置を制御する改良されたシステムおよび方法を提供することである。

本発明の第１の態様によれば、表示装置とビデオキャプチャユニットとを有するワイヤレス携帯装置を使用して、電子装置を制御する方法であって、リモートサーバが、前記携帯装置によってキャプチャされたビデオ画像を受信するように、前記携帯装置と前記リモートサーバとの間のビデオ通話を確立するステップと、画像認識を行って、前記キャプチャされたビデオの電子装置を識別するステップと、前記ビデオキャプチャユニットの動きを検出するステップと、ビデオキャプチャユニットの動きに基づいて、制御信号を前記電子装置に送信するステップとを含む方法が提供される。

本発明の一実施形態によれば、別の方法は、制御信号を送信する前記ステップの前に、リモートサーバと電子装置との間の接続を確立するステップをさらに含む。

本発明の他の実施形態によれば、本方法は、前記動き検出ステップの前に、前記ビデオキャプチャユニットの動きに対応する前記装置のコマンドを示す情報を前記携帯装置に送信するステップをさらに含む。

本発明の別の実施形態によれば、画像認識を行うステップは、複数のオブジェクト画像および／またはシグネチャーを含むオブジェクトデータベースにアクセスするステップと、前記ビデオ画像の特徴を前記オブジェクト画像および／またはシグネチャーと照合するステップとを含む。

本発明の別の実施形態によれば、前記制御信号はインターネットを介して送信される。

本発明の別の実施形態によれば、前記動きはビデオキャプチャユニットの回転を含む。

本発明の別の態様によれば、電子装置を制御するための、ビデオキャプチャユニットを備えるワイヤレス携帯装置を使用する方法であって、該使用が、前記携帯装置を使用して携帯装置とリモートサーバとの間のビデオ通話を確立するステップと、前記ビデオキャプチャユニットを電子装置に向けるステップと、電子装置がビデオキャプチャユニットの視野内で動き、その動きに基づいて電子装置を制御するように、ビデオキャプチャユニットを動かすステップとを含む方法が提供される。

本発明のさらに別の態様によれば、電子装置を制御するためのシステムであって、ビデオ画像をキャプチャするよう設計されたビデオキャプチャユニットを備えるワイヤレス携帯装置と、ビデオ通話中に前記携帯装置と通信することができ、前記ビデオ画像を受信することができるサーバとを備え、前記サーバが、１つ以上の前記ビデオ画像中の電子装置を識別するよう設計された画像認識ユニットと、ビデオキャプチャユニットの動きを検出するよう設計された動き検出ユニットと、ビデオキャプチャユニットの前記動きに基づいて、制御信号を前記電子装置に送信するよう設計された制御ユニットとを備えるシステムが提供される。

本発明の一実施形態によれば、本システムは、前記サーバによってアクセス可能なオブジェクトデータベースをさらに含み、該オブジェクトデータベースは、前記電子装置を識別するために用いられる画像および／またはシグネチャーを含む。

本発明の別の実施形態によれば、本システムは、前記ワイヤレス携帯装置と前記サーバとの間の通信を可能にするワイヤレス通信ネットワークをさらに含む。

本発明の別の実施形態によれば、サーバはインターネットを介して前記ワイヤレス通信ネットワークに接続される。

本発明の別の実施形態によれば、サーバは、交換網を介して前記ワイヤレス通信ネットワークに接続される。

本発明の別の態様によれば、電子装置を制御するよう設計された自動制御ユニットであって、ビデオ通話中にワイヤレス携帯装置と通信するように、および該携帯装置によってキャプチャされたビデオ画像を受信するよう設計されたビデオ通話ユニットと、１つ以上の前記ビデオ画像中の電子装置を識別するよう設計された画像認識ユニットと、前記ビデオ画像中の前記電子装置の動きを検出するよう設計された動き検出ユニットと、動き検出ユニットによって検出された動きに基づいて、制御信号を生成して前記電子装置に送信するよう設計された制御送信ユニットとを備える自動制御ユニットが提供される。

本発明の別の実施形態によれば、制御送信ユニットは、インターネットを介して前記制御信号を前記電子装置に送信するよう設計される。

本発明の別の実施形態によれば、動き検出ユニットは、前記ビデオキャプチャユニットの時計回りまたは反時計回りの回転を検出するよう設計される。

本発明の第１の実施形態による電子装置用の制御システムの概略図である。 本発明の一実施形態によるデータ記録の図である。 本発明によるハンドヘルド携帯装置の動きの例を示す図である。 本発明による電子装置を制御するための方法における一連のステップを示すフローチャートである。

図１は、電子装置を制御するためのシステムを示している。このシステムは、ビデオ通話機能を有するワイヤレス携帯装置である携帯装置１を備える。例えば、携帯装置１は、第三者とのビデオ通話を確立することを可能にする３Ｇ（第３世代）標準の携帯電話である。代わりに、携帯装置１は、ビデオをキャプチャし、ワイヤレスでビデオストリームを送信し、好ましくは受信することもできるＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ｏｒｇａｎｉｚｅｒ）、ラップトップ、携帯ゲーム機等であってもよい。携帯装置の前面１ａおよび背面１ｂの両方が図示されている。

携帯装置１は、その前面１ａに、データを入力するかまたは装置を制御することを可能にするキーパッド２と、例えばＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）である表示装置３とを備える。さらに、携帯装置１は、本実施例に示す携帯装置１ではその背面１ｂに、デジタルビデオ画像をキャプチャすることを可能にするカメラ４を備える。一般に、現在の携帯電話には、このようなカメラ４が設けられ、装置の任意の位置に取り付けられ、ユーザが、通常キャプチャされるビデオを表示装置で視るのと同時に、該ビデオをキャプチャすることを可能とする。その上、携帯装置１は、サウンドをキャプチャするためのマイクロホン（図示せず）を備えることが好ましく、当該サウンドは、キャプチャされたビデオを有する信号で送信することができる。

この実施形態によれば、携帯装置１を使用して、電子装置５を制御することが望ましい。本実施例において、装置５は、音楽システムであるが、テレビ、暖房／空調システム、パーソナルコンピュータ等を含む多様な装置を制御し得る。

最初のステップにおいて、ユーザは、ビデオ通話の実行を開始し、携帯ユニット１のカメラを電子装置５に向ける。このようにして、携帯装置１のビデオ機能を用いて、装置５が記録される。装置は特有の外面を含み、例えば、装置のメーカおよび型式が識別される。

リモート画像認識サーバ６とのビデオ通話が確立される。例えば、ユーザには、サーバ６とのビデオ通話を確立するのに用いるための特定のダイアルアップ番号が与えられる。代わりに、このようなビデオ通話の確立は、携帯装置１によって自動的に行ってもよく、例えば、表示装置３における特定のアイコンのユーザ選択、またはユーザによる音声コマンドによって開始してもよく、携帯装置１には、必要な接続パラメータが予めプログラムされている。例えば、画像認識サーバはＰＣ、ラップトップ、または他のプロセッサである。

ビデオ画像が少なくとも１の方向に送信される通話を指すものとして、本出願全体にわたってビデオ通話が用いられる。一般に、本実施例では、ビデオ通話中に、ビデオが、例えば少なくとも携帯装置からオブジェクト認識サーバ６に送信される。さらに、ビデオ画像、静止画像および／または音声信号を、ビデオ通話中にまたは別々に携帯装置に送信して戻すことが可能である。

携帯装置１は、例えば、通信ユニット１０に接続された複数の送受信マスト８を備える移動通信ネットワークを介して通話を確立する。例えば、移動通信ネットワークは、３Ｇ標準によるＵＴＲＡＮシステム（ＵＭＴＳ ｔｅｒｅｓｔｒｉａｌ ｒａｄｉｏ ｔｅｌｅｐｈｏｎｙ ｓｙｓｔｅｍ）等のＵＭＴＳ（ｕｎｉｖｅｒｓａｌ ｍｏｂｉｌｅ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）ネットワークであってもよい。代わりに、ユーザが現在居る場所となっている電子装置付きの部屋またはオフィスが、携帯装置１がアクセスすることができる内部ＷＬＡＮ（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）を有してもよい。このような場合、マスト８はＷＬＡＮアンテナであり、通信ユニット１０はＷＬＡＮサーバであろう。別の実施例として、携帯装置１はＷｉＦｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）機能を有することが可能であり、この場合、マスト８および通信ユニット１０は、それぞれＷｉＦｉアンテナであり、サーバまたはＰＣである。

通信ハードウェア１０は、画像認識サーバ６に接続される。図１に示すように、いくつかの実施形態では、通信ユニット１０はインターネット１２を介して画像認識サーバ６に接続される。しかし、例えば、ユーザが現在居る部屋／オフィス内に、図１の情報アクセスシステム全体が設けられている場合、代替実施形態では、通信ユニット１０は画像認識サーバ６に直接接続される。代わりに、ＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）によって、通信ユニット１０を画像認識サーバ６に接続してもよい。いくつかの携帯電話サービスプロバイダは、ビデオ通話をＩＳＤＮネットワークの特定のラインにルーティングすることを許容している。

画像認識サーバ６は、携帯装置１からビデオストリームを受信し、画像の画像認識を行う。画像認識技術は、関連技術で知られており、一般に、一連の画像のうちの１つの画像中のオブジェクトを識別するリアルタイム視覚認識ソフトウェアを含む。画像認識サーバ６のリアルタイム視覚認識ソフトウェアは、ビデオ通話データを受信して復号化し、視野内の如何なる既知のオブジェクト、この場合、装置５の画像を識別し、好ましくは、携帯装置１のカメラに対するオブジェクトの位置を算出する。

例えば、この種の画像認識を行うための方法は（非特許文献１）により詳細に記載されている。（非特許文献１）は、法律に従って許容可能な範囲で参照により本明細書に組み込まれる。

例えば、オブジェクトは、装置の構造、例えば、特定の部分の色、外側にマークされた商標名等に基づいて識別される。装置５の部分または外面全体は、例えばオブジェクトデータベース１５から既知である。オブジェクトデータベース１５は、画像認識サーバ６に結合され、オブジェクトの視覚シグネチャーを含む。各オブジェクトに対して、１つ以上のシグネチャーおよび画像を記憶し得る。シグネチャーは、装置をユニークに識別する当該装置の画像に存在する、ユニークなパターンである。オブジェクトが主たる面、例えば音楽システムまたはテレビの正面を有する場合、オブジェクトデータベース１５は、例えばこの面のシグネチャーまたは画像のみを記憶する。しかし、いくつかの電子装置は、異なる複数の面から区別が可能であり、この場合、オブジェクトの各面の画像をデータベース１５に記憶することも可能である。オブジェクトデータベース１５はサーバ６の内部または外部にあればよい。

いくつかの実施形態では、オブジェクトのシグネチャーをオブジェクトデータベース１５に局所的に記憶することが可能であり、さらに、オブジェクトに関する視覚データをインターネット１２から検索することが可能である。インターネットは、莫大な画像ソース、特に、電子装置の画像ソースを提供する。このようにして、インターネット１２を介して、装置の画像を含むリモートデータベース１６にアクセスすることが可能であり、例えば、これらの画像を用いて、画像の一致を確認するか、またはオブジェクトデータベースを新たな装置の画像に更新することが可能である。

画像認識サーバ６が電子装置のメーカ／型式を識別すると、画像認識サーバ６は、例えばネットワークアドレス、インターネットおよび／またはＩＰアドレス、あるいはユニフォームリソース識別子（ＵＲＩ）の形態の、当該特定の装置のアドレスをも検出し、例えばインターネットを介しての当該装置への接続をオープンする。例えば、いくつかの実施形態では、ビデオ通話が要求された／確立されたとき、画像認識サーバ６は発呼者の携帯電話番号を認識する。画像認識サーバは、各装置の電子アドレスと共に、ユーザが制御を許可されている電子装置の各ユーザに関連するリストも記憶する。このようにして、当該ユーザに関連する装置の中からある装置が識別されると、インターネットを介した接続を確立することができ、コマンド信号を装置に送信することが可能になる。代わりに、画像認識サーバによって、電子装置をユニークに識別してもよい。いくつかの場合には、ユーザがアクセスし得る特定のメーカおよび型式の２つ以上の電子装置が存在し得る。このような場合、ユーザは、例えばラベル等を付加することによって、上記装置を視覚的にユニークにすることが可能である。

ますます多くの電子装置が、ネットワークおよび／またはインターネットアクセスを備えるよう、あるいはインターネットアクセスを有するコンピュータに接続可能なよう構成され、このようにして、当該コンピュータを介して制御することができる。さらに、いくつかの実施形態では、インターネット以外のネットワークを介して、例えばＷＬＡＮ等のようなワイヤレスネットワークを介して、装置にアクセス可能である。例えば、このような接続は、リモートコントロールを可能にし、更新ソフトウェアをインストールすることを可能にし、および／またはオンラインで入手可能な映画または音楽ファイル等の他のメディアへのアクセスを提供する。

データベース１５内の各オブジェクト画像に関連して、例えば、識別された電子装置を制御する可能な方法を示す記録が記憶される。このような記録は、オブジェクトデータベースに予め記憶されているか、または装置との接続が確立されたときに電子装置５から受信される。記録は、好ましくは、装置用のコマンドセットであって、当該コマンドセットを携帯装置１に送信して、表示装置３でユーザに提示することができるような形態の前記コマンドセットを含む。図２はこのような記録の一例を示している。

図２に示すように、記録２００は、装置の識別（この場合、音楽システム）を示す第１のフィールド２０２含む。別のフィールド２０４は、電子装置の制御可能な機能を挙げている。図２に示す実施例は、音楽システムに関するものであり、音量、低音、高音、ＣＤ／ＭＰ３トラック、ＦＭチューナ周波数およびＯＮ／ＯＦＦを含む。さらに別のフィールド２０６は、携帯装置１の種々の動きがどのような効果を有するかを示している。本実施例において、携帯装置を時計回りに回転させることは、選択された機能を増大させる、あるいはＯＮ／ＯＦＦ等のデジタル制御機能の場合、スイッチオンする効果を有し、他方、携帯装置を反時計回りに回転させることは、当該機能を減少させるか、あるいはＯＮ／ＯＦＦ等のデジタル制御機能の場合、携帯装置をスイッチオフする効果を有する。携帯装置を上方または下方に動かす傾斜させることにより、選択された機能が変更され、例えば、このことは、可能な機能をスクロールすることによって行われる。

ビデオストリームまたはビデオ通話と互換性のある任意の信号であり得る信号を送信することによって、画像認識サーバ６が携帯装置１に応答し、利用可能な種々のコマンドの詳細をユーザに提供する。例えば、応答は、ビデオ通話中に送信される音声メッセージの形態であることが可能であり、制御することができる電子装置の種々の機能が指示される。代替する実施形態では、信号は、１つ以上の静止画像、あるいはサウンドを有するかまたは有しないビデオを含む。例えば、信号は、携帯装置１から受信されるビデオストリームを含むことが可能であり、例えば、フィールド２０２のテキストを使用して、「ユニット認識：音楽システム」というメッセージが、識別された装置を確認するスクリーンに重畳される。次に、現在選択されている機能と、この機能を制御することが可能である動きとを表示することができる。例えば、デフォルト機能は、フィールド２０４の機能のリストの第１番目の機能、この場合、音量である。このスクリーンの一例が、図１中の携帯装置１の表示装置３に示されている。

図３は、携帯装置１を示しており、電子装置５を制御するために行うことができる、可能な動きの例を示している。特に、矢印ＡとＢでそれぞれ示すように、携帯装置１を時計回りまたは反時計回りに動かすまたは回転させることにより、携帯装置のカメラによってキャプチャされた認識オブジェクトまたは画像のオプティカルフローが、反時計回りまたは時計回りにそれぞれ生じる。例えば、矢印Ａの方向に時計回りに携帯装置を回転させることにより、表示装置３に示されているオブジェクトの全ての画像が反時計回りに回転することとなる。

画像認識サーバ６によって、オブジェクトまたは画像の動きを検出することができる。一連のビデオ画像からカメラの動きを検出するための技術が当該技術分野で知られている。例えば、（非特許文献２）はこのような技術を記載している。（非特許文献２）は、法律に従って許容可能な範囲で参照により本明細書に組み込まれる。さらに、（非特許文献３）もこのような技術を記載している。（非特許文献３）は、法律に従って許容可能な範囲で本明細書に組み込まれる。

オブジェクトまたは画像の動きを検出した後に、対応するコマンドを電子装置に送信することによって、画像認識サーバ６が応答する。例えば、本例では、音量が選択され、携帯装置が時計回りに回転された（キャプチャ画像中のオブジェクトが反時計回りへの回転を有する）場合、音量を大きくするためのコマンドが音楽システムに送信される。画像の上方または下方への動きが検出された場合、例えば機能がスクロールされる。

図４は、画像認識サーバ６によって実行されるステップを示すフローチャートである。

最初のステップＳ０において、画像認識を開始する。この画像認識は、例えば、画像認識サーバ６によって、ビデオ通話を開始するための要求を受信し、および登録された携帯装置１から発せられるビデオストリームを受信することによって始動させることができる。画像認識サーバは、好ましくは、通話中の電話番号によって通話を行っている特定の携帯装置１を識別し、ユーザの許可レベルと、言語設定、警報トリガおよびログオプション等の選択設定とに従って自装置を設定する。画像認識が開始したとき、画像認識サーバは、例えば、携帯装置１から受信するビデオ画像の上にテキスト「装置の走査中」を重畳させたビデオストリームを携帯装置１に送信し得るか、またはより個人化されたメッセージを送信し得る。

次のステップＳ１において、画像認識サーバ６は、ビデオストリーム内の装置が識別されたかどうかを判定する。最初に、画像認識サーバ６は、リアルタイムで画像から画像特徴点を抽出し、抽出された特徴点をオブジェクトデータベース１５内のオブジェクトの特徴と照合することにより、画像内の既知のオブジェクトを識別する。装置と一致するオブジェクトが識別されなかった場合、ステップＳ１が繰り返される。オブジェクトが識別されるまで、画像認識が、例えばビデオストリームの連続フレーム間の時間遅延に対応する例えば１００ｍｓの間隔で繰り返されるように、画像認識の各テストの後には、例えば、短い遅延が存在する。オブジェクトおよびそれに対応する電子装置が識別された場合、この装置はアクティブな装置になり、そして次のステップはＳ２である。

いくつかの場合には、ビデオ画像内には、認識された２つ以上の電子装置が存在し得る。この場合、例えば、ビデオ画像の中央に最も近接する装置が、ユーザが制御を望むオブジェクトであることに基づいて、本方法が続行される。そして、この装置がアクティブな装置になる。

ステップＳ２において、識別された電子装置への接続をオープンする。さらに、画像認識サーバ６はリターンビデオストリームを送信し、このリターンビデオストリームにおいて、電子装置の識別が、例えば装置の画像の上に重畳されて提供され、装置に指示するための選択肢が表示装置に提供される。上記したように、この情報は、例えばインターネットを介してアクセスされた、オブジェクトデータベース１５からまたは電子装置から取得することが可能である。

次のステップＳ３において、画像の動きが検出されたかどうかを判定する。この判定は、以前の着信画像に対する特徴点のオプティカルフローを算出することによって行われる。次に、これらの動きを動きテンプレートと照合して、動きが時計回りであるか、反時計回りであるか、上方であるかまたは下方であるかどうかを検出することができる。

画像の動きが検出されなかった場合、次のステップはＳ４である。ステップＳ４において、電子装置が依然として視野内に存在しているかどうかを検出する。装置がもはや視野内に存在していない場合、このことは、ユーザがもはやそのアクティブな装置の制御を望んでいないこと、またはそのアクティブな装置が、ユーザが制御を望む装置ではなかったことを示し得る。この場合、次のステップはＳ１であり、このステップＳ１において、画像認識サーバが他の電子装置を検索する。しかし、電子装置が依然として視野内に存在している場合、次のステップにおいてＳ３を繰り返す。

ステップＳ３において動きが検出された場合、次のステップはＳ５である。ステップＳ５において、ビデオキャプチャ領域内の画像の動きに応じて、種々のコマンドが電子装置に送信される。このようなコマンドが生成されて送信されると、次のステップはＳ３であり、このステップＳ３において、さらなるコマンドが必要とされるかどうかを判定するために、画像のさらなる動きを検出する。

いくつかの実施形態では、回転が検出された後、逆方向の回転が検出されるまで、コマンドを電子装置に繰り返し送信することが可能である。このことは、特に、音量等のアナログ形式の機能に関連する。例えば、ステップＳ３において、時計回りの回転が検出された場合、次のステップは、音量を大きくするためのコマンドを送信するステップであり、次に、Ｓ３を繰り返す。しかし、例えば、ステップＳ３において、反時計回りの回転が検出されたとき、あるいは携帯装置が短時間固定保持されたとき、あるいは「完了」または「終了」等の音声コマンドに基づいて、音量を大きくするためのコマンドの送信が単に停止される。

いくつかの代替実施形態では、電子装置５が識別されると、電子装置５がもはや携帯装置のカメラの視野内に現れないときでも、電子装置５を引き続き携帯装置１の動きの制御下に置くようにすることができる。次に、ユーザによる音声コマンド、携帯装置の特別な動き等のさらなるイベントが、リモートサーバ６によって認識されるまで、または他の電子装置５が、カメラ４によってキャプチャされた画像で検出されるまで、この同じ電子装置５への指示が継続する。後者の場合、他の電子装置が被制御装置になる。

ユーザはビデオ通話を終了することによって、画像認識プロセスをいつでも停止することができる。

ここまで、ユーザが、ビデオ通話機能を有する携帯装置によってキャプチャされた電子装置に指示することができ、携帯装置の動きによって制御が実現される方法およびシステムについて説明してきた。携帯装置自体で画像認識を行うのではなく、サーバとのビデオリンクを維持し、この状態で、認識を行い、リアルタイムコンテンツを提供し、全てのインタラクティブセッションの記録を保持する。

有利には、ユーザは、３Ｇ携帯電話等の装置を使用して迅速かつ容易に電子装置を制御することができる。このようにして、例えばリモートコントロールユニットが置き忘れられたときに、ユーザが予め所持し得るビデオ通話機能を有する標準的な携帯装置を使用して、装置を制御することができる。

ビデオ通話中の装置への指示の方法は有利にはタッチレスであり、換言すれば、ユーザは携帯装置のキーにタッチする必要はなく、装置を動かせばよい。さらに、通話の開始、装置への指示、通話の終了の全体のプロセスも、好ましくは、完全にまたはほぼ完全にタッチレスであり、例えば、ビデオ通話は音声コマンドによって確立されおよび終了する。

携帯装置の動きを検出することができる画像認識サーバを設けることによって、電子装置への指示が、ボタンを押すのではなく、携帯装置全体を動かすことによって容易に実現される。このことは、キーパッドの操作が困難であると思われる関節炎等の障害を持つ人々にとって格別有用であり得る。

図を参照して、本発明の多くの具体的実施形態について説明してきたが、多数の修正および変更を適用することができることが当業者には明らかであろう。

例えば、本発明の特定の用途について説明してきたが、移動ロボットまたは車両を制御すること、ルッキンググラス式のパン・チルト・ズームカメラを制御すること、リモートで音楽を指揮するかまたは食品を準備するロボットアームを制御すること、アバター（人を表すグラフィック画像）を制御すること、あるいは、ビデオゲームの入力装置として使用すること等の本発明の代替用途が可能である。

画像認識サーバから受信された情報を制御するためのいくつかの種類の動きについて説明してきたが、異なる動き、例えば、装置の前方へのまたは後方への動き、左側または右側への動き、あるいは対角線方向の、例えば左上方への動きを認識することが可能である。

Claims (13)

1. 表示装置（３）とビデオキャプチャユニット（４）とを有するワイヤレス携帯装置（１）を使用して、電子装置（５）を制御する方法であって、
   リモートサーバ（６）が、前記携帯装置によってキャプチャされたビデオ画像を受信するように、前記携帯装置と前記リモートサーバとの間の双方向のビデオ通話を確立するステップと、
   画像認識を行って、前記キャプチャされたビデオの電子装置を識別するステップと、
   前記ビデオキャプチャユニットの動きに対応する前記電子装置のコマンドを示す情報を前記携帯装置に送信するステップと、
   前記ビデオキャプチャユニットの動きを検出するステップと、
   前記ビデオキャプチャユニットの前記動きに基づいて、制御信号を前記電子装置に送信するステップと、
   を含む方法。
2. 制御信号を送信する前記ステップの前に、前記リモートサーバと前記電子装置との間の接続を確立するステップをさらに含む請求項１に記載の方法。
3. 画像認識を行うステップが、複数のオブジェクト画像および／またはシグネチャーを含むオブジェクトデータベース（１５）にアクセスするステップと、前記ビデオ画像の特徴を前記オブジェクト画像および／またはシグネチャーと照合するステップとを含む請求項１または２に記載の方法。
4. 前記制御信号がインターネットを介して送信される請求項１から３のいずれか１項に記載の方法。
5. 前記動きが前記ビデオキャプチャユニットの回転を含む請求項１から４のいずれか１項に記載の方法。
6. 電子装置（５）を制御するためのシステムであって、
   ビデオ画像をキャプチャするよう設計されたビデオキャプチャユニット（４）を備えるワイヤレス携帯装置（１）と、
   双方向のビデオ通話中に前記携帯装置と通信することができるサーバ（６）であって、当該双方向のビデオ通話中に、前記ビデオキャプチャユニットの動きに対応する前記電子装置のコマンドを示す情報を前記携帯装置に送信し、前記携帯装置から前記ビデオ画像を受信するサーバと、
   を備え、前記サーバが、
   １つ以上の前記ビデオ画像中の電子装置を識別するよう設計された画像認識ユニットと、
   前記ビデオキャプチャユニットの動きを検出するよう設計された動き検出ユニットと、
   ビデオキャプチャユニットの前記動きに基づいて、制御信号を前記電子装置（５）に送信するよう設計された制御ユニットと、
   を備えるシステム。
7. 前記サーバ（６）によってアクセス可能なオブジェクトデータベース（１５）をさらに含み、該オブジェクトデータベースが、前記電子装置を識別するために用いられる画像および／またはシグネチャーを含む請求項６に記載のシステム。
8. 前記ワイヤレス携帯装置と前記サーバとの間の通信を可能にするワイヤレス通信ネットワークをさらに含む請求項６または７に記載のシステム。
9. 前記サーバがインターネットを介して前記ワイヤレス通信ネットワークに接続される請求項８に記載のシステム。
10. 前記サーバが、交換網を介して前記ワイヤレス通信ネットワークに接続される請求項８に記載のシステム。
11. 電子装置（５）を制御するよう設計された自動制御ユニット（６、１５）であって、
    双方向のビデオ通話中にワイヤレス携帯装置（１）と通信するよう設計されたビデオ通話ユニット（４）であって、当該双方向のビデオ通話中に、前記携帯装置のビデオキャプチャユニットの動きに対応する前記電子装置のコマンドを示す情報を前記携帯装置に送信し、前記携帯装置によってキャプチャされたビデオ画像を前記携帯装置から受信するビデオ通話ユニットと、
    １つ以上の前記ビデオ画像中の電子装置を識別するよう設計された画像認識ユニットと、
    前記ビデオ画像の前記電子装置の動きを検出するよう設計された動き検出ユニットと、
    前記動き検出ユニットによって検出された動きに基づいて、制御信号を生成して前記電子装置に送信するよう設計された制御送信ユニットと、
    を備える自動制御ユニット（６、１５）。
12. 前記制御送信ユニットが、インターネットを介して前記制御信号を前記電子装置に送信するよう設計される請求項１１に記載の自動制御ユニット。
13. 動き検出ユニットが、前記ビデオキャプチャユニットの時計回りまたは反時計回りの回転を検出するよう設計される請求項１１または１２に記載の自動制御ユニット。
    

Images