JP6945459B2 - ビジュアル・インジケータの検出及び解釈 - Google Patents

Description

技術の進歩に伴い、電子機器の使用及び需要は著しく増加している。また複数の家庭用電子機器及び電化製品を所有することは、一般的である。これらのデバイスのうちのいくつかは、ユーザへ何らかの情報（バッテリが少ない、電源がオンである、電源がオフであるなどのような）を示すために点滅する、または点灯する発光ダイオード（ＬＥＤ）のようなインジケータを含む。しかしながら、いくつかのデバイスに関して、１つ以上のＬＥＤを点滅させる、若しくは点灯させる、または他のこれらのようなあいまいなインジケータを作動させることにより、デバイスが何を伝えているかをユーザが簡単に確認可能であることができない。

本開示のより完全な理解のために、ここで、添付の図面と併せて以下の説明へ参照を行う。

本開示の実施形態を実施するシステムの概要を図示する。 本開示の実施形態によるビジュアル・インジケータの例示的な解釈を図示する。 本開示の実施形態を実施するシステムの別の概要を図示する。 本開示の実施形態による例示的なデバイスを概念的に図示するブロック図である。 本開示の実施形態による例示的なコンピューティング・デバイスを概念的に図示するブロック図である。 本開示の実施形態によるオブジェクトを識別する例示的な方法を図示する。 本開示の実施形態によるビジュアル・インジケータを解釈する例示的な方法を図示する。 本開示の実施形態を実施するシステムの別の概要を図示する。 本開示の実施形態を実施するシステムの別の概要を図示する。 本開示の実施形態により、オブジェクトを識別し、ビジュアル・インジケータを解釈する例示的な方法を図示する。 本開示の実施形態を実施するシステムの別の概要を図示する。 本開示の実施形態を実施するオブジェクト識別子に対応するデータ・タイプ・フロー構造の概要を図示する。 本開示の実施形態を実施するためにユーザ・プロファイルに対応するデータ・タイプ・フロー構造の概要を図示する。 本開示の実施形態を実施するためにデバイス識別子に対応するデータ・タイプ・フロー構造の概要を図示する。 本開示の実施形態による分散処理に関する使用のためのネットワークを図示する。

家庭用電子機器（ＤＶＤ／Ｂｌｕ‐ｒａｙプレーヤ、無線ルータ、テレビ、ステレオなどのような）、及び電気器具（煙探知器、サーモスタット、冷蔵庫、ストーブ、温水ヒータ、暖房用ボイラなど）は、至る所にある。多くのこれらのデバイスは、ユーザへ情報を提示するためにいかなる有線または無線接続も有しない。むしろ、これらのようなデバイスは、ユーザへ何らかの情報を伝えるために、特定のシーケンスで点滅する／明滅する、若しくは点灯する１つ以上のビジュアル・インジケータ（発光ダイオード（ＬＥＤ）などの）、または特定のシーケンスにおいてビープ音を出すオーディオ・インジケータ（ビープ音を出力するスピーカのような）を備えるインタフェースを含むことができる。たとえば、ストーブは、ストーブがオンであるときを示すために点灯するビジュアル・インジケータを含むことができ、無線ルータは、インターネット接続が作動しているとき、または作動していないときを示すオンまたはオフを切り替えるビジュアル・インジケータを含むことができ、コーヒー・メーカーは、コーヒーがまだ温かいことを示すために点灯するビジュアル・インジケータを含むことができ、煙探知器は、バッテリが少ないことを示すために作動するビジュアル・インジケータ、及び／またはオーディオ・インジケータを含むことができ、一酸化炭素センサは、不具合が生じたことを示すために作動するビジュアル・インジケータ、及び／またはオーディオ・インジケータを含むことができるなどをすることができる。多くの他のこれらのような実施例を容易に想像することができる。これらのようなデバイスの遍在、及びそれらのそれぞれのインジケータの直感的な意味の相対的な欠如により、任意の特定のインジケータの意味を一見してわかることは、ユーザにとって困難である可能性がある。さらに、複数のデバイスにわたり、これらのようなインジケータを追跡することは、困難である可能性がある。提供されるのは、これらのようなインジケータの状況を解釈し、監視するための改善である。

デバイスのビジュアル及び／またはオーディオ・インジケータの意味を検出し、解釈し、ユーザへ潜在的な不具合への情報及び解決策を提供するシステム及び方法を開示する。たとえば、ホーム・エレクトロニクス、及び他のデバイスにより生成される、ビジュアル・インジケータ（ＬＥＤのような）、及び／またはオーディオ・インジケータ（ビープ音を出力するスピーカのような）のシーケンスは、ユーザの自宅若しくは会社において画像キャプチャ・コンポーネント（Ｄｒｏｐｃａｍ（登録商標）カメラ、タブレット・コンピュータ、スマートフォンなどのような）、またはオーディオ・キャプチャ・コンポーネント（マイクロフォンのような）を使用して監視されることができ、シーケンスは、デバイスに関して何が悪いのか、デバイスを修理する方法、新規のデバイスの購入、修理サービスの提供、コンポーネントまたは補充可能なもの（インジケータが少ないバッテリに対応する場合にバッテリ、またはコーヒーの補充などの）を購入する能力などの情報をユーザに提供するために解釈されることができる。またシステム及び方法は、ユーザがそれぞれのデバイス（複数可）から離れているときに、これらのインジケータに関する通知をユーザに提供することができる。

たとえば、画像キャプチャ・デバイスは、ユーザの自宅内のデバイス（たとえば、暖房用ボイラ）のビジュアル・インジケータの画像データをキャプチャし、そのデータを処理するためにリモート・デバイスへ送信することができる。リモート・デバイスは、インジケータ・パターンまたはシーケンスを識別し、このパターンの対応する意味を識別することができる。実施例として、ビジュアル・インジケータは、温水ヒータが圧力の上昇により正常に機能していないことを示すことができる。この実施例において、リモート・デバイスは、ユーザにこの問題を知らせるユーザへのメッセージまたは他の通知（テキスト・メッセージ、電子メール、電話呼び出しなどのような）を送信することができる。またリモート・デバイスは、圧力を開放する、及び／またはローカル修理サービスについての情報を連絡する命令を提供する（または単純にユーザのために修理人または修理サービスを呼び出す）ことができる。このようなシステムは、デバイスがデバイス自体に通信コンポーネントを備えていないところで特に有用である。

別の実施形態において、システム及び方法は、インジケータの画像及び／またはオーディオ・データをキャプチャし、このデータを処理するためにリモート・デバイスへ送信するように構成される画像キャプチャ・デバイス（カメラのような）、及び／またはオーディオ・キャプチャ・デバイス（マイクロフォンのような）を含む。画像データは、単一の画像、ビジュアル・インジケータにより出力されるシーケンスをキャプチャするために十分な長さを有する連続してキャプチャされる複数の画像、ビジュアル・インジケータにより出力されるシーケンスをキャプチャするために十分な長さを有するビデオなどであることができる。

画像及び／またはオーディオ・キャプチャ・デバイス（複数可）は、デバイスＩＤと関連し、リモート・デバイスへデータに加えてこのＩＤを送信することができる。この点において、ＩＤは、１つ以上のオブジェクトと関連することができる。オブジェクトは、画像データ内に表現されるオブジェクト、及び／またはオーディオ・インジケータを発するオブジェクトであることができる。したがって、リモート・デバイスは、ＩＤを使用して、オブジェクトを識別し、つぎにインジケータ（複数可）を解釈することができる。またＩＤは、ユーザＩＤ（特定のユーザと関連する番号のような）、または他のタイプのユーザ・プロファイル（ユーザ名、郵送住所情報、請求／支払い情報、嗜好情報、注文履歴情報、及び製品の注文／購入を行い、完了するための他の情報などを含む特定のユーザに関するさまざまなデータを含むことができる）と関連することができ、たとえば、オブジェクトの所有者のプロファイルは、以前の購入履歴、システム構成、または同様のものを介してオブジェクトのデバイスＩＤにリンクされることができる。またユーザ・プロファイルは、インジケータ（複数可）の解釈に対応する製品（複数可）を注文することを可能にするように構成されることができる。たとえば、オブジェクトのうちの１つがコーヒー・マシンであるときに、インジケータは、コーヒー・マシンがコーヒーを切らしている、またはコーヒーが少ないことを示すことができ、リモート・デバイスは、コーヒー・マシンについてさらにコーヒーの補充を簡単に注文し（ユーザ嗜好に従い）、コーヒーをユーザへ発送することができる。またインジケータまたはインジケータ・シーケンスは、任意の数の他のアクションに対応することができる。たとえば、インジケータは、コーヒー・マシンが正常に機能していない状況に対応することができる。この状況において、リモート・デバイスは、この問題のユーザ・デバイスへ通知を送信し、修理サービスを提示すること、新しいコーヒー・マシンを購入するオプションを提供すること、コーヒー・マシンを修理する方法に関する命令を提供すること、修理人または修理サービスを呼ぶこと、ユーザの自宅へ行きコーヒー・マシンを検査する／修理する修理サービスをスケジューリングすることなどができる。

実施例において、家に設置されるカメラは、点灯した１回以上明滅する照明を含むコーヒー・マシンの画像をキャプチャすることができる。カメラからのこの画像データをリモート・サーバへ送信することができる。サーバは、マシンの外観に基づきデータを分析し、リモート・デバイスは、コーヒー・マシンのブランド及びモデルを識別することが可能である。つぎにサーバは、コーヒー・マシン・モデルへの照明にマッチングするルックアップ・テーブル（ＬＵＴ）、または他のデータベースを使用して特定の明滅する照明が何を意味するかを判定することができる。たとえば、サーバは、コーヒー・マシンが水を切らしている、まだ温かいなどを判定することができる。またカメラは、デバイスＩＤと関連することができるため、データをサーバへ送信するときに、デバイスＩＤもまた送信する（またはサーバによりルックアップする）ことにより、サーバは、照明が明滅している方式に基づき実行される任意の所定のアクションにアクセスすることが可能である。たとえば、サーバは、コーヒー・マシンがコーヒーを切らしていることを照明から判定することができる。デバイス及び／またはカメラをユーザ・プロファイル（この場合、マシンの所有者）にリンクすることができるため、サーバは、簡単にさらにコーヒーを注文し、ユーザ・プロファイル内にリストされるユーザの自宅の住所にユーザへコーヒーを送ることができる。

本明細書に記述されるシステム及び方法は、オブジェクト及び他の製品の以前のメーカーが現在の設計を維持し、Ｗｉ‐Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、または他のネットワーク・ハードウェアのコストなしで、モノのインターネット（ＩｏＴ）自動化を提供するためにインジケータを利用することを可能にする。加えて、システム及び方法は、ユーザへの通信を提供し、アクションを実行するように解釈されることが可能であるインジケータと従来のディスプレイ（液晶ディスプレイ（ＬＣＤ）など）を交換することにより、オブジェクト及び他の製品の製造コストを削減することを可能にする。

図１は、本開示の実施形態を実施するシステム１００の概要を図示する。このシステムは、ネットワーク１０８を介して相互に通信することができる、ユーザ・デバイス１０２、リモート・デバイス１０４、及び１つ以上のデータベース１０６を含む。この実施形態において、ユーザ・デバイス１０２は、ビジュアル・インジケータ１１２（ＬＥＤなどの）を含むオブジェクト１１０（実施形態内のラジオ）の画像データをキャプチャすることができる。画像データは、単一の画像、ビジュアル・インジケータ１１２により出力されるシーケンスをキャプチャするために十分な長さを有する連続してキャプチャされる複数の画像、ビジュアル・インジケータ１１２により出力されるシーケンスをキャプチャするために十分な長さを有するビデオなどであることができる。

したがって、ユーザ・デバイス１０２は、ブロック１１４として図示される、オブジェクト１１０の画像データをキャプチャする。つぎにユーザ・デバイス１０２は、ブロック１１６として図示される、キャプチャされた画像データをリモート・デバイス１０４へ送信する。リモート・デバイス１０４は、ブロック１１８として図示される、画像データを受信し、ブロック１２０として図示される、画像データ内に表現されるオブジェクト１１０を識別する。リモート・デバイス１０４は、ユーザ・プロファイル内のユーザの購入履歴に基づきオブジェクト１１０（ラジオ、電子レンジ、テレビ、ＤＶＤ／Ｂｌｕ‐ｒａｙプレーヤ、おもちゃ、セキュリティ・デバイスなどのような）を識別することができる。たとえば、ユーザがリモート・デバイス１０４と関連するマーチャントからオブジェクト１１０を購入した、または自宅内に、若しくはカメラの視野内にあるような特定のオブジェクト１１０を追加した／タグ付けした場合に、これは、オブジェクト１１０を識別する、及び／または画像データ内に表現されるものの選択肢を絞るために使用されることができる。

リモート・デバイス１０４は、さまざまな画像マッチング技術を使用してオブジェクト１１０を識別することができる。１つのこのような技術は、画像データ内に表現されるオブジェクト１１０の特徴点を識別することを備えることができる。これらの特徴は、画像データ内に表現されるオブジェクト１１０（以下でより詳細に記述されるような、及び当該技術分野において既知であるような）、画像データ内のテクスチャ、画像データ内の色などの特徴点を有することができる。つぎにリモート・デバイス１０４は、これらの特徴点を、製品画像及び情報データベース（複数可）のような、データベース１０６内に格納される１つ以上の既知のオブジェクトの既知の特徴点と比較することができる。またリモート・デバイス１０４は、オブジェクトがマッチングするかどうかを確認するために幾何学的な検証を実行することができる。

また、リモート・デバイス１０４は、ブロック１２２として図示される、インジケータ１１２の位置（オブジェクトに関連するインジケータの位置に対応する画像フレーム内のピクセル座標のような）を識別する。製品画像及び情報データベース（複数可）１０６内のデータの部分のような、既知のオブジェクト内のインジケータ（複数可）の既知の位置を基準データとして格納する。したがって、キャプチャされた画像データ内のオブジェクト１１０を既知のオブジェクトにマッチングし、識別すると、リモート・デバイス１０４は、製品画像及び情報データベース（複数可）１０６内に格納される情報に基づき画像データ内のオブジェクト１１０のインジケータ１１２の位置を識別することができる。

つぎにリモート・デバイス１０４は、ブロック１２４として図示される、画像データ内のインジケータ１１２のインジケータ・パターン（本明細書においてシーケンスとも言われる）を決定することができる。これは、インジケータ１１２の位置内のピクセル値の輝度及び／または色を測定することにより、ならびに製品画像及び情報データベース（複数可）１０６内に格納される、識別されたオブジェクト１１０に対応する既知のインジケータ・パターン（基準データの部分としても格納され、基準インジケータ・パターンと言われる）と輝度及び／または色を比較することにより実行されることができる。またリモート・デバイス１０４は、ブロック１２６として図示される、インジケータ・パターンに対応する情報を決定することができる。またこのデータは、製品画像及び情報データベース（複数可）１０６内の基準データの部分として格納されることができる。たとえば、製品画像及び情報データベース（複数可）１０６は、パターンに基づき既知の情報及び潜在的な解決策と相関される、既知のインジケータ・パターンと相関される既知のオブジェクトに関するデータを含むことができる。これは、ブロック１２８として図示される、リモート・デバイス１０４がインジケータ・パターンを決定すること、インジケータ・パターンに対応する情報を決定すること、及び解決策に対応する情報を決定することを可能にし、オブジェクト１１２が経験している可能性があるいかなる問題も修正することを可能にする。この解決策は、オブジェクトを修理する方法、連絡することができる任意選択のローカル修理サービス、新規のオブジェクト／製品を購入するオプションなどに関する命令であることができる。

図２を参照して、オブジェクト１１０についてのインジケータ・パターンに対応する情報の表２００を図示する。図示されるように、オブジェクト１１０は、８個の異なるインジケータ・パターン２０２〜２１６を有する。インジケータ・パターン２０２は、電源オフ・モードにある、または電源モードがないオブジェクト１１０に対応する、オフである（または点灯されない）インジケータ１１２に対応する。インジケータ・パターン２０４は、コンピュータへの接続がないオブジェクト１１０に対応する、長い明滅のために１回点灯した後に、同じ持続時間の非点灯が続くインジケータ１１２に対応する。インジケータ・パターン２０６は、シリアル接続を有するが、オフ・モードにあるオブジェクト１１０に対応する、短い明滅のために１回点灯した後に、非点灯が続くインジケータ１１２に対応する。インジケータ・パターン２０８は、シリアル接続を有し、オン・モードにあるオブジェクト１１０に対応する、長い明滅のために１回点灯するインジケータ１１２に対応する。インジケータ・パターン２１０は、ユニバーサル・シリアル・バス（ＵＳＢ）接続を有するが、オフ・モードにあるオブジェクト１１０に対応する、２回の短い明滅のために２回点灯するインジケータ１１２に対応する。インジケータ・パターン２１２は、ＵＳＢ接続を有するが、オン・モードにあるオブジェクト１１０に対応する、短い明滅のために１回の後に１回の長い明滅が続く、２回点灯するインジケータ１１２に対応する。インジケータ・パターン２１４は、ＵＳＢ接続を有するが、インストールされないドライバを含むオブジェクト１１０に対応する、２回の短い明滅のために２回の後に、１回の長い明滅が続く、３回点灯するインジケータ１１２に対応する。インジケータ・パターン２１６は、ＵＳＢ接続を有し、ドライバをインストールするが、アプリケーションが実行されていないオブジェクト１１０に対応する、３回の短い明滅のために３回点灯するインジケータ１１２に対応する。

図１に戻り参照し、リモート・デバイス１０４は、ブロック１３０として図示される、ユーザ・デバイス１０２へ、インジケータ・パターンに対応する情報、及び／または解決策（問題がある場合に）に対応する情報に対応するメッセージを送信する。ユーザ・デバイス１０２は、ブロック１３２として図示される、インジケータ・パターンに対応する情報、及び／または解決策に対応する情報を受信する。ユーザは、必要に応じてこの情報を使用することができる。システム／ユーザ・デバイス１０２の構成に応じてさまざまな方式で、情報を含むメッセージを送信することができる。たとえば、ユーザがスマートフォン、ゴーグルなどを使用して拡張現実システムを操作している場合に、そこで追加の拡張現実情報を有するビデオ・データをキャプチャし、ユーザへ表示し、ビデオ・データを介してインジケータ・パターンについての情報を含むメッセージを（たとえば、ビデオ・データ内のビジュアル・インジケータの表現の近くに）表示することにより、インジケータ・パターンの意味の拡張現実提示を提供することができる。また情報は、ユーザ・デバイス１０２にわたりスクロールされ、電子メール、テキスト／ＳＭＳメッセージなどとして送信されることができる。

たとえば、図１及び２を参照して、インジケータ・パターン２０４である、オブジェクト１１０のインジケータ・パターンを決定するときに、ユーザ・デバイス１０２は、オブジェクト１１０を意味する１回の長い明滅を提示するオブジェクト１１０のインジケータ１１２をコンピュータに接続しないことをユーザに通知する情報を受信することができる。またユーザ・デバイス１０２は、オブジェクト１１０をコンピュータへ接続する方法に関する命令を受信することができる。またユーザ・デバイス１０２は、ユーザが潜在的な顧客支援（たとえば、オブジェクト１１０のメーカーの顧客サービス）、またはユーザが連絡することができる修理サービスの形式でコンピュータへオブジェクト１１０を接続することに関して支援したい、イベントにおいて何をするかに関する情報を受信することができる。またユーザ・デバイス１０２は、ユーザが新しいラジオを希望するイベントにおいて、新規のオブジェクト１１０、または他の同様のオブジェクトを購入する選択肢を受信することができる。

上記に記述されるように、リモート・デバイス１０４は、製品画像及び情報データベース（複数可）１０６内に格納されるデータを使用して、画像データ内のインジケータ１１２のインジケータ・パターン、及びインジケータ・パターンの意味に対応する情報を判定する。しかしながら、リモート・デバイス１０４は、第三者データベース１３４（オブジェクト１１０のメーカーのような）と通信し、インジケータ・パターンに関するデータ、及びインジケータ・パターンに対応する情報を取得することもできる。たとえば、製品画像及び情報データベース（複数可）１０６がオブジェクト１１０に関して制限されたデータを含むときに、リモート・デバイス１０４は、インジケータ・パターンに関するデータ、及びインジケータ・パターンに対応する情報について第三者１３４へ要求を送信することができる。

図３は、本開示の実施形態を実施するシステム３００の別の概要を図示する。システムは、ネットワーク１０８経由で相互に通信することができる、ユーザ・デバイス１０２、リモート・デバイス１０４、１つ以上のデータベース１０６、及び画像キャプチャ・デバイス３０２を含む。この実施形態において、画像キャプチャ・デバイス３０２は、１つより多いビジュアル・インジケータ３０６（ＬＥＤなどの）を含むオブジェクト３０４（この実施形態においてルータ）の画像データをキャプチャする、スタンドアロン・カメラであることができる。画像データは、単一の画像、ビジュアル・インジケータ３０６により出力されるシーケンスをキャプチャするために十分な長さを有する連続してキャプチャされる複数の画像、ビジュアル・インジケータ３０６により出力されるシーケンスをキャプチャするために十分な長さを有するビデオなどであることができる。

この実施形態において、画像キャプチャ・デバイス３０２は、画像データをキャプチャすることにより、または画像データを定期的（毎分、１０分毎、３０分毎、毎時、１日１回など）にキャプチャすることによりオブジェクト３０４を連続して監視していることができる。画像キャプチャ・デバイス３０２を連続的な電源に接続するときに、画像キャプチャ・デバイス３０２は、連続して、またはより頻繁に画像データをキャプチャしていることができる。しかしながら、画像キャプチャ・デバイス３０２が連続的な電源に接続されないが、バッテリを含むときに、電力を温存するために少ない頻度で画像データをキャプチャする画像キャプチャ・デバイス３０２を含むことは望ましい可能性がある。

上記に記述されるように、画像キャプチャ・デバイス３０２は、オブジェクト３０４の画像データをキャプチャする。つぎに画像キャプチャ・デバイス３０２は、キャプチャされた画像データをネットワーク１０８経由でリモート・デバイス１０４へ直接送信することができる。任意選択で、画像キャプチャ・デバイス３０２は、ブロック３０８として図示される、キャプチャされた画像データを帯域外通信（Ｂｌｕｅｔｏｏｔｈなどの）を介してユーザ・デバイス１０２、または自宅内の他のデバイスへ送信することができ、つぎにユーザ・デバイス１０２、または自宅内の他のデバイスは、キャプチャされた画像データをネットワーク１０８経由でリモート・デバイス１０４へ送信することができる。

画像データをキャプチャし、リモート・デバイス１０４へ送信すると、方法は、図１を参照して上記に説明される同様な方式に進行する。たとえば、リモート・デバイス１０４は、ブロック１１８として図示される、画像データを受信し、ブロック１２０として図示される、画像データ内に表現されるオブジェクト３０４を識別する。リモート・デバイス１０４は、ブロック１２２として図示される、インジケータ３０６の位置を識別する。リモート・デバイス１０４は、ブロック１２４として図示される、画像データ内のインジケータ３０６のインジケータ・パターンを決定する。リモート・デバイス１０４は、ブロック１２６として図示される、インジケータ・パターンに対応する情報を決定し、ブロック１２８として図示される、解決策に対応する情報を決定する。つぎにリモート・デバイス１０４は、ブロック１３０として図示される、ユーザ・デバイス１０２へ、インジケータ・パターンに対応する情報、及び／または解決策（問題がある場合に）に対応する情報を含むメッセージを送信する。ユーザ・デバイス１０２は、ブロック１３２として図示される、インジケータ・パターンに対応する情報、及び／または解決策に対応する情報を受信する。ユーザは、必要に応じてこの情報を使用することができる。たとえば、図３において図示されるように、オブジェクト３０４のインジケータ・パターンは、２個の点灯したＬＥＤを含む。この実施例において、ユーザ・デバイス１０２は、オブジェクト３０４をインターネットに接続し、正常に機能していることをユーザに通知する情報を受信することができる。

図４は、画像キャプチャ・デバイス３０２の例示的なコンポーネントを概念的に図示するブロック図である。画像キャプチャ・デバイス３０２。操作中に、画像キャプチャ・デバイス３０２は、以下で記述されるような、画像キャプチャ・デバイス３０２にあるコンピュータ可読及びコンピュータ実行可能命令を含むことができる。

画像キャプチャ・デバイス３０２は、画像キャプチャ・デバイス３０２のコンポーネント間でデータを伝達するために、アドレス／データ・バス４０２を含むことができる。また画像キャプチャ・デバイス３０２内の各コンポーネントは、バス４０２にわたり他のコンポーネントに接続されることに加えて（または接続されることの代替に）、他のコンポーネントに直接接続されることができる。

画像キャプチャ・デバイス３０２は、データ及びコンピュータ可読命令を処理するための中央処理装置（ＣＰＵ）を各含むことができる、１つ以上のコントローラ／プロセッサ４０４、ならびにデータ及び命令を格納するためのメモリ４０６を含むことができる。メモリ４０６は、揮発性ランダム・アクセス・メモリ（ＲＡＭ）、不揮発性読み出し専用メモリ（ＲＯＭ）、不揮発性磁気抵抗（ＭＲＡＭ）、及び／または他のタイプのメモリを含むことができる。画像キャプチャ・デバイス３０２は、データ及びコントローラ／プロセッサ実行可能命令を格納するための、データ・ストレージ・コンポーネント４０８を任意選択で含むことができる。データ・ストレージ・コンポーネント４０８は、磁気ストレージ、光学ストレージ、ソリッド・ステート・ストレージなどのような、１つ以上の不揮発性ストレージ・タイプを含むことができる。

画像キャプチャ・デバイス３０２、及びそのさまざまなコンポーネントを操作するためのコンピュータ命令は、実行時に一時的に「作動する」ストレージとしてメモリ４０６を使用して、コントローラ（複数可）／プロセッサ（複数可）４０４により実行されることができる。コンピュータ命令は、不揮発性メモリ４０６、ストレージ４０８、または外部デバイス内に非一時的な方式で格納されることができる。代替に、いくつかの、またはすべての実行可能命令は、ソフトウェアに加えて、またはこれの代替に、ハードウェアまたはファームウェア内に組み込まれることができる。コンピュータ命令は、本明細書に記述される方法（たとえば、図３及び８〜１４に関連して記述される方法）のうちの１つ以上を実行する命令を含むことができる。

画像キャプチャ・デバイス３０２は、入出力デバイス・インタフェース４１０を含む。さまざまなコンポーネントは、１つ以上のオーディオ・キャプチャ・デバイス（複数可）（示されない、マイクロフォンのような）、カメラ４１２、及び／または他のこれらのようなコンポーネントのような、入出力デバイス・インタフェース４１０を介して接続されることができる。また入出力デバイス・インタフェース４１０は、ユニバーサル・シリアル・バス（ＵＳＢ）、ＦｉｒｅＷｉｒｅ、Ｔｈｕｎｄｅｒｂｏｌｔ、または他の接続プロトコルのような、外部周辺機器接続のためのインタフェースを含むことができる。また入出力デバイス・インタフェース４１０は、ロング・ターム・エボリューション（ＬＴＥ）・ネットワーク、ＷｉＭＡＸネットワーク、３Ｇネットワークなどのような無線通信ネットワークと通信することが可能であるラジオのような、アンテナ４１４、イーサネット・ポート、無線ローカル・エリア・ネットワーク（ＷＬＡＮ）（Ｗｉ‐Ｆｉのような）・ラジオ、Ｂｌｕｅｔｏｏｔｈ、及び／または無線ネットワーク・ラジオを介して１つ以上のネットワーク１０８への接続を有することができる。たとえば、アンテナ４１４は、ネットワーク１０８、及び／またはユーザ・デバイス１０２（たとえば、Ｂｌｕｅｔｏｏｔｈを介して）へ接続することができる。

画像キャプチャ・デバイス３０２は、上記に記述されるすべての、または１サブセットのコンポーネントを含むことができる。図４を参照して上記に記述される１つ以上のコンポーネントを使用して、本明細書に記述される１つ以上の方法のステップを実行することができることを理解するであろう。

図５は、コンピューティング・デバイス５００の例示的なコンポーネントを概念的に図示するブロック図である。コンピューティング・デバイス５００は、ユーザ・デバイス１０２、及び／またはリモート・デバイス１０４の例示であることができる。操作中に、コンピューティング・デバイス５００は、以下で記述されるような、コンピューティング・デバイス５００にあるコンピュータ可読及びコンピュータ実行可能命令を含むことができる。

コンピューティング・デバイス５００は、コンピューティング・デバイス５００のコンポーネント間でデータを伝達するためのアドレス／データ・バス５０２を含むことができる。またコンピューティング・デバイス５００内の各コンポーネントは、バス５０２を介して他のコンポーネントに接続されることに加えて（または接続されることの代替に）、他のコンポーネントへ直接接続されることができる。

コンピューティング・デバイス５００は、データ及びコンピュータ可読命令を処理するための中央処理装置（ＣＰＵ）を各含むことができる１つ以上のコントローラ／プロセッサ５０４、ならびにデータ及び命令を格納するためのメモリ５０６を含むことができる。メモリ５０６は、揮発性ランダム・アクセス・メモリ（ＲＡＭ）、不揮発性読み出し専用メモリ（ＲＯＭ）、不揮発性磁気抵抗（ＭＲＡＭ）、及び／または他のタイプのメモリを含むことができる。またコンピューティング・デバイス５００は、データ及びコントローラ／プロセッサ実行可能命令（たとえば、図示され本明細書に記述されるアルゴリズム及び方法を実行する命令）を格納するために、データ・ストレージ・コンポーネント５０８を含むことができる。データ・ストレージ・コンポーネント５０８は、磁気ストレージ、光学ストレージ、ソリッド・ステート・ストレージなどのような１つ以上の不揮発性ストレージ・タイプを含むことができる。またコンピューティング・デバイス５００は、入出力デバイス・インタフェース５１０を介して、リムーバブルまたは外部不揮発性メモリ及び／またはストレージ（リムーバブル・メモリ・カード、メモリ・キー・ドライブ、ネットワーク・ストレージなどのような）へ接続されることができる。

コンピューティング・デバイス５００及びそのさまざまなコンポーネントを操作するためのコンピュータ命令は、実行時に一時的に「作動する」ストレージとしてメモリ５０６を使用して、コントローラ（複数可）／プロセッサ（複数可）５０４により実行されることができる。コンピュータ命令は、不揮発性メモリ５０６、ストレージ５０８、または外部デバイス内に非一時的な方式で格納されることができる。代替に、いくつかの、またはすべての実行可能命令は、ソフトウェアに加えて、またはこれの代替に、ハードウェアまたはファームウェア内に埋め込まれることができる。

コンピューティング・デバイス５００は、入出力デバイス・インタフェース５１０を含む。さまざまなコンポーネントは、ディスプレイ５１２、１つ以上のオーディオ・キャプチャ・デバイス（複数可）（１つのマイクロフォン、またはマイクロフォン・アレイ５１４などの）、音声を生成するオーディオ出力デバイス（スピーカ（複数可）５１６などの）、カメラ５１８、及び／または他のこれらのようなコンポーネントなどの、入出力デバイス・インタフェース５１０を介して接続されることができる。また入出力デバイス・インタフェース５１０は、ユニバーサル・シリアル・バス（ＵＳＢ）、ＦｉｒｅＷｉｒｅ、Ｔｈｕｎｄｅｒｂｏｌｔ、または他の接続プロトコルのような外部周辺機器接続のためのインタフェースを含むことができる。また入出力デバイス・インタフェース５１０は、ロング・ターム・エボリューション（ＬＴＥ）・ネットワーク、ＷｉＭＡＸネットワーク、３Ｇネットワークなどのような、無線通信ネットワークと通信することが可能であるラジオのような、アンテナ５２０、イーサネット・ポート、無線ローカル・エリア・ネットワーク（ＷＬＡＮ）（Ｗｉ‐Ｆｉなどの）・ラジオ、Ｂｌｕｅｔｏｏｔｈ、及び／または無線ネットワーク・ラジオを介して１つ以上のネットワーク１０８への接続を有することができる。

ディスプレイ５１２は、液晶ディスプレイ、有機発光ダイオード・ディスプレイ、電子ペーパー、エレクトロクロミック・ディスプレイ、陰極線管ディスプレイ、ピコ・プロジェクタ、または他の適切なコンポーネント（複数可）のような、任意の適切な技術のディスプレイであることができる。カメラ５１８及びディスプレイ５１２は、コンピューティング・デバイス５００内に統合されてもよい、または別個であってもよい。

さらにコンピューティング・デバイス５００は、画像処理モジュール５２２、及び／またはオーディオ処理モジュール５２４を含む。画像処理モジュール５２２は、本明細書に記述される方法に従い、キャプチャされた画像データを受信し、さまざまな画像マッチング技術を使用してオブジェクトを識別する。１つのこのような技術は、画像データ内のオブジェクトの特徴点を識別すること、この特徴点をデータベース内に格納される１つ以上の既知のオブジェクトの既知の特徴点と比較すること、オブジェクトがマッチングするかどうかを確認する幾何学的な検証を実行することなどを備えることができる。また画像処理モジュール５２２は、本明細書に記述される方法に従い、オブジェクトのインジケータの位置、及びインジケータ・パターンを識別することができる。これは、本明細書に記述される方法に従い、画像処理モジュール５２２及び／または１つ以上のコントローラ／プロセッサ５０４がインジケータ・パターンに対応する情報、及びこのパターンに基づく解決策を決定することを可能にする。

オーディオ処理モジュール５２４は、オブジェクトの可聴インジケータに関するキャプチャされたオーディオ・データを受信する。キャプチャされたオーディオは、ユーザ・プロファイル内のオブジェクトと関連することができる、及び／またはユーザは、オーディオ・データが関連するオブジェクトのコンピューティング・デバイス５００に通知することができる。これは、オーディオ・マッチング技術を使用して、オーディオ処理モジュール５２４及び／または１つ以上のコントローラ／プロセッサ５０４が、キャプチャされたオーディオ・データを既知のオブジェクトについての既知のインジケータ・パターン（複数可）にマッチングすることを可能にする。オーディオ・マッチング技術は、オーディオ・フィンガープリントを含むことができ、たとえば、上記に記述されるストレージ５０８及び／またはデータベース（複数可）１０６内に、各インジケータ・パターンについての既知のオブジェクトのオーディオ・フィンガープリントを格納する。キャプチャされたオーディオ・データのオーディオ・フィンガープリントを生成し、格納されたオーディオ・フィンガープリントと比較し、格納されたフィンガープリント及び入力オーディオ間のマッチング（複数可）を見出すことができる。これは、本明細書に記述されるストレージ５０８、及び／またはデータベース（複数可）１０６内に格納されることもできる、本明細書に記述される方法に従い、オーディオ処理モジュール５２４及び／または１つ以上のコントローラ／プロセッサ５０４がインジケータ・パターンに対応する情報、及びこのパターンに基づく解決策を決定することを可能にする。

コンピューティング・デバイス５００は、上記に記述されるすべての、または１サブセットのコンポーネントを含むことができる。図１〜３及び６〜１４を参照して記述される各方法を１つ以上の他の方法と組み合わせることができ、方法の１つ以上のステップを他の方法内へ組み込むことができることを理解するであろう。さらに、図５を参照して上記に記述されるコンポーネントのうちの１つ以上を使用して、図１〜３及び６〜１４を参照して記述される方法のステップを実行することができる。

図６は、本開示の実施形態により画像マッチングを実行する例示的な方法６００を図示する。画像及びビデオが異なるフォーマットであることができ、たとえば、画像がＪＰＥＧ、ＧＩＦ、ＢＭＰ、ＭＰＥＧ、及び同様のものであることができることを理解するであろう。さらに、画像及び／またはビデオの品質及び解像度は、アプリケーションにより異なることができる。画像及び／またはビデオは、全く同一である必要はないが、互いに変換されたバージョンである必要がある。したがって、画像マッチングにおいて、画像を特定のフォーマットで表現することにより、画像／ビデオを互いにマッチングすることが可能である。

ブロック６０２において、リモート・デバイスは、画像データを受信する。リモート・デバイスは、受信した画像データに関していくつかの事前処理を実行し、品質を高める（露出、焦点、照明、クロッピングなどを調整するような）ことができ、画像データからフレームまたは画像を選択し、画像マッチングを実行することができる。つぎにリモート・デバイスは、ブロック６０４として図示される、選択されたフレーム／画像のコンテンツの特徴点、特徴ベクトル、キーワード、または他の表現（テクスチャ、色などのような）を決定することができる。選択されたフレーム／画像の特徴点及び／または特徴ベクトルに関する数学的な関数に基づきキーワードを決定することができる。特徴点は、画像の回転、スケール、視点または照明条件での変化にロバストである画像内の特定の点である。これは、２枚の画像が前述の方式において異なる場合でも、これらの特徴点が両方の画像内に頻繁に存在することを意味する。またこれらの特徴点は、「関心点」として知られている場合がある。したがって、画像マッチングの第一段階は、選択されたフレーム／画像内のこれらの特徴点を見出すことを備えることができる。

ブロック６０６において、リモート・デバイスは、格納された潜在的なマッチング画像を決定する。リモート・デバイスは、選択されたフレーム／画像の１つ以上の表現（たとえば、キーワード）を使用し、１つ以上の推定上マッチングする格納された画像を決定することができる。オブジェクトに対応するオブジェクト識別子（一意の英数字コードであることができる）は、オブジェクトを表現する格納された画像と関連することができる。格納された画像は、画像毎に１つのオブジェクト（画像マッピングを支援する）のみを含むことができる、または特定の実施例において、１つの画像内に複数のオブジェクトを含むことができる。その事例において、特定の格納された画像は、複数のオブジェクト識別子と関連することができる。リモート・デバイスは、選択されたフレーム／画像の視覚的な特徴（キーワード内に示されるこれらのような）を識別し、これらの視覚的な特徴に基づき画像／オブジェクト・ツリーを横断し、１つ以上の潜在的にマッチングする格納された画像を識別することができる。選択されたフレーム／画像、及び格納された画像間の比較は、マッチング・スコア、信頼度スコアなどを含む、１つ以上のスコアを生成することができる。スコア値に基づき、リモート・デバイスは、潜在的にマッチングする格納された画像を選択することができる。たとえば、選択されたフレーム／画像と格納された画像の比較が特定の閾値を超えるスコアを生じる場合に、格納された画像を潜在的なマッチング画像として選択することができる。

つぎにリモート・デバイスは、ブロック６０８として図示される、画像マッチングを実行することができる。画像マッチングは、選択されたフレーム／画像、及び格納された画像間の特徴点を比較することを備えることができる。十分な数の特徴点が視覚的にも、幾何学的にもマッチングするときに、この組は、マッチングしていると判定されることが可能である。互いに近い特徴ベクトルは、視覚的に類似であり、対応する特徴点は、「対応」と言われる。選択されたフレーム／画像の特徴ベクトル、及び格納された画像の特徴ベクトル間のドット積を求めることにより、対応を決定することができる。それらの特徴ベクトルのドット積の大きさが所定の値より大きいときに、特徴点の組は、対応である。つぎに、幾何学的整合性をテストする統計学的アルゴリズムにより対応を処理することができる。画像の幾何学的なマッチングのために使用されることができる１つの統計学的アルゴリズムは、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）・アルゴリズムであるが、他のさまざまなＲＡＮＳＡＣのようなアルゴリズム、または他の統計学的アルゴリズムも使用されることができる。ＲＡＮＳＡＣにおいて、小さな１セットの対応をランダムにサンプリングする。その後、これらのサンプリングされた特徴点を使用して、幾何学的変換を生じる。この変換を生じた後に、モデルに適合する対応を決定する。モデルに適合し、幾何学的に整合性がある対応を「正対応」と言う。正対応は、互いに対応することができる、各画像からのものの、特徴点の組であり、この組は、特徴点の視覚的な（及び他の）コンテンツについて特定の比較閾値内のモデルに適合し、幾何学的に整合性がある（動き推定に関連して以下に説明されるように）。正対応の合計数を決定することができる。上記に言及されたステップは、繰り返し／試行の数が所定の閾値より大きくなる、または画像についての正対応の数が画像をマッチングと決定するために十分に多くなる（たとえば、正対応の数が閾値を超える）まで繰り返されることができる。ＲＡＮＳＡＣアルゴリズムは、モデルに対応する最多数の正対応を有するモデルを返す。またリモート・デバイスは、ホモグラフィック変換、または他の幾何学的な検証を実行し、選択されたフレーム／画像、及び潜在的にマッチングする格納された画像間の幾何学的形状を確認することができる。特徴ベクトル、他の特徴／表現、及びホモグラフィック変換の比較が十分に高いスコア（複数可）（比較スコア、信頼度スコアなどのような）をもたらす場合に、潜在的にマッチングする格納された画像は、マッチングであると決定されることができる。

マッチング画像を決定するときに、システムは、ブロック６１０として図示される、マッチング画像内に表現されるオブジェクトを識別することができる。この識別は、マッチング画像と関連するオブジェクト識別子に基づき行われることができる。マッチングを確認するために、リモート・デバイスは、オブジェクトを表現する潜在的にマッチングする第二の格納された画像（たとえば、候補の画像と異なる角度からオブジェクトを表現する画像）と再度画像比較を実行することもできる。

キャプチャされた画像データ内のオブジェクトを識別すると、インジケータ・パターンまたはシーケンスを分析することができる。図７は、本開示の実施形態により、インジケータ・パターンまたはシーケンスを決定し、解釈する例示的な方法７００を図示する。ブロック７０２において、リモート・デバイスは、画像データを受信することができる。上記に記述されるように、画像データ内のオブジェクトを識別する。つぎにリモート・デバイスは、ブロック７０４として図示される、画像データ内のビジュアル・インジケータの位置、または画像データの選択されたフレーム／画像を識別する。データベース（複数可）内に格納されたオブジェクトまたは画像は、格納された画像内の既知のオブジェクトの既知のインジケータを設置する位置または座標情報を含むことができる。この情報を使用して、リモート・デバイスは、選択されたフレーム／画像内のオブジェクトの対応する位置または座標を識別することができる。

つぎにリモート・デバイスは、ブロック７０６として図示される、各フレーム／画像についての画像データ内のインジケータの位置でのピクセル値の平均的な色及び／または輝度を測定することができる。実施例において、リモート・デバイスは、ボックス、矩形、円、または他の幾何学的な形状のような、境界領域とインジケータの位置に境を接することができる。つぎにリモート・デバイスは、ピクセル値の色及び／または輝度と関連するデータ・セットを決定することができる。これは、離散コサイン変換（ＤＣＴ）を境を接した領域に適用し、各フレーム／画像についての画像データの輝度／色度（ＹＵＶ）色空間の輝度成分のＤＣ係数を決定することを備えることができる。換言すれば、各フレーム／画像についての画像データのこの境を接した領域内のすべてのピクセル値の平均的な輝度を測定する。結果として、整数値の時系列ＤＣ（１），ＤＣ（２），．．．，ＤＣ（ｔ）を得る。つぎにこの時系列のバイナリゼーションは、以下のように、

実行されることができ、そこでθが閾値パラメータであり、実証的に定義される。θパラメータは、バイナリ・シーケンスのより正確な推定のために、θパラメータを変更する、またはこれにバイアスをかけることができる（たとえば、いくつかの環境内で通常の照明レベルにバイアスをかけることが可能である）。つぎにバイナリ・シーケンスは、変換を受ける可能性がある。１つの実施例において、バイナリ・シーケンス内の各「１」、及び「０」の数を計数する。たとえば、（１，１，１，０，０，０，０，１，１，０，０，．．．）→（３，４，２，．．．）。

つぎにリモート・デバイスは、ブロック７０８として図示される、インジケータ・パターンに対応するベクトルを生成することができる。たとえば、整数の自然数Ｖ_testの有限ベクトルを生成することができる。このベクトルの長さは、オブジェクトのインジケータの基本のシーケンスまたはパターンにより画定される（所与のオブジェクトについてのすべての信号が制限された持続時間を有する）。また各有効信号についての１セットの整数の基準ベクトルＶ_ref ⁱは、生成され、オブジェクト識別子に関連して格納されることができる。つぎにこれらのベクトルを使用して、画像データ内のインジケータ・パターン／シーケンスを決定することができる。

しかしながら、いくつかの状況において、外部照明は、画像データの輝度に影響を及ぼす可能性がある。ストロボ照明などのような外部照明変化により生じる誤検出を減らすために、つぎにリモート・デバイスは、ブロック７１０として図示される、各フレーム／画像についての画像データ内のインジケータの位置に近接する第二の境を接した領域内のピクセル値の平均的な色及び／または輝度を測定することができる。この第二の境を接した領域について、リモート・デバイスは、ブロック７１２として図示される、インジケータを含む境を接した領域について上記に記述されるような同一の分析を実行し、第二データ・セット（整数の自然数Ｖ_testの第二ベクトルのような）を生成することができる。つぎにインジケータのＶ_test、及び第二の境を接した領域のＶ_testは、ブロック７１４として図示される、オフセットであることができる。たとえば、インジケータのＶ_testが第二の境を接した領域のＶ_testに類似する、または近いときに、信号は、外力により生成されると判定されることができ、インジケータのＶ_testは、第二の境を接した領域のＶ_testによりオフセットされることができる、またはインジケータのＶ_testは、破棄されることができる。

画像データ内のインジケータのデータ・セット（Ｖ_testのような）を決定すると、ブロック７１６として図示されるように、インジケータのＶ_testをオブジェクトに対応する格納されたデータ・セット（格納されたベクトルのような）と比較し、マッチングを決定することができる。たとえば、以下の規則は、

である場合に、Ｖ_test（Ｖ_test1，Ｖ_test2，．．．，Ｖ_testn）は、Ｖ_ref ⁱ（Ｖ_ref1，Ｖ_ref2，．．．，Ｖ_refm）に対応することを実装されることができる（ここでα₁及びα₂は別のチューニング・パラメータである）。

マッチングを見出すときに、リモート・デバイスは、ブロック７１８として図示される、画像データ内のインジケータ・パターン／シーケンスがマッチング・パターン／シーケンスに対応することを判定する。たとえば、シーケンスが３回の赤色の明滅、及び７回の黄色の明滅を含むことが可能である、色信号を使用して、いくつかのインジケータ・シーケンスを定義する。この事例において、それに応じて検出される各色及びシーケンスについて、上記に記述される同一の分析を実行することができる。別の実施例において、上記に記述される分析は、画像キャプチャ・デバイスの可変フレーム・レートをサポートするように変更されることができる。この状況において、インジケータのベクトルＶ_testの成分は、フレーム・レート・シーケンスに対応する。

別の実施例において、インジケータを含むオブジェクトは、一般的なテキスト・フォーマット（たとえば、情報交換用米国標準コード（ＡＳＣＩＩ））内にテキスト・データを出力することができ、インジケータ出力ボーレート（ＬＲ）は、画像キャプチャ・デバイスについてのフレーム・レート（ＦＲ）より低い（たとえば、１６個のブレークオーバ・ダイオード（ＢＯＤ）の明滅パターン、及び２５フレーム毎秒（ＦＰＳ）の画像キャプチャ）。したがって、画像キャプチャ・デバイスは、ビットの欠落なしで、インジケータ・シーケンスのベクトルをキャプチャする。このキャプチャは、冗長性を生じる。ＦＲがＬＲにより割り切れない場合に、冗長ビットは、整合性がない。インジケータは、繰り返し可能である簡潔な同期シーケンスを生成することができる。１秒のアライメントされたボーレートの場合、１秒が、同期パターンを決定するために必要な最低時間である。インジケータは、１秒の最低時間について複数の１、及び複数の０の交互のシーケンス（たとえば、１６ＢＯＤで、デバイスは１６進法５５の２オクテットを送信する）を生成することができる。キャプチャが全１秒間成功した場合に、画像キャプチャ・デバイスは、ＦＲマイナスＬＲ冗長ヒットを受信する。このシーケンスは、繰り返し可能であり、オフセットに依存する。画像キャプチャ・デバイスは、以前のものと同一のもの（たとえば、ＦＲ＝２５，ＬＲ＝１６；２，５，８，１１，１３，１６，１９，２２，２４（０〜２４の数））であるすべてのビットを識別することができる。つぎに画像キャプチャ・デバイスは、後続データの、リアルタイム・キャプチャ中に、またはキャプチャ後の分析中に、ビットの各ＦＲロング・シーケンス内のこれらのビットをスキップする。

カプセル化されたテキストを出力するために、及びメッセージを分離する機能に関して、画像キャプチャ・デバイスは、ハイレベル・データ・リンク制御（ＨＤＬＣ）フレーミングを使用することができる。インジケータ／オブジェクトは、たとえば、以下に示されるように、同期プリアンブル後にＨＤＬＣフレーム・データの出力を開始することができる。

上記で言及されるように、他の実施形態において、システム及び方法は、インジケータの画像及び／またはオーディオ・データをキャプチャし、処理するためにリモート・デバイスへこれらのデータを送信するように設定される、画像キャプチャ・デバイス（カメラのような）、及び／またはオーディオ・キャプチャ・デバイス（マイクロフォンのような）を含む。画像及び／またはオーディオ・キャプチャ・デバイス（複数可）は、デバイスＩＤと関連し、データに加えてデバイスＩＤをリモート・デバイスへ送信することができる。この点で、デバイスＩＤは、１つ以上のオブジェクトと関連することができる。オブジェクトは、画像データ内でキャプチャされるオブジェクト、及び／またはオーディオ・インジケータを発するオブジェクトであってもよい。したがって、リモート・デバイスは、デバイスＩＤを使用して、オブジェクトを識別し、そのときインジケータ（複数可）を解釈することができる。

図８は、本開示の実施形態を実施するシステム８００の別の概要を図示する。システムは、ネットワーク１０８経由で相互に通信することができる、画像キャプチャ３０２、リモート・デバイス１０４、及び１つ以上のデータベース１０６を含む。この実施形態において、画像キャプチャ・デバイス３０２は、１つ以上のビジュアル・インジケータ８０４（ＬＥＤのような）を含むオブジェクト８０２（この実施形態において洗濯機）の画像データをキャプチャするスタンドアロン・カメラであってもよい。画像データは、単一の画像、ビジュアル・インジケータ８０４により出力されるシーケンスをキャプチャするために十分な長さを有する連続してキャプチャされる複数の画像、ビジュアル・インジケータ８０４により出力されるシーケンスをキャプチャするために十分な長さを有するビデオなどであってもよい。

この実施形態において、画像キャプチャ・デバイス３０２は、画像データをキャプチャすること、または画像データを定期的に（毎分、１０分毎、３０分毎、毎時間、１日１回など）キャプチャすることにより、オブジェクト８０２を連続して監視していることができる。画像キャプチャ・デバイス３０２が連続的な電源に接続されるときに、画像キャプチャ・デバイス３０２は、連続して、またはより頻繁に画像データをキャプチャしていることができる。しかしながら、画像キャプチャ・デバイス３０２が連続的な電源に接続されないが、バッテリを含むときに、電力を温存するために少ない頻度で画像データをキャプチャする画像キャプチャ・デバイス３０２を含むことは、望ましい可能性がある。

上記に記述されるように、画像キャプチャ・デバイス３０２は、オブジェクト８０２の画像データをキャプチャする。つぎに画像キャプチャ・デバイス３０２は、ブロック８０６として図示される、ネットワーク１０８経由でリモート・デバイス１０４へ直接にデバイス識別子（ＩＤ）に加えてキャプチャされた画像データを送信することができる。代替に、画像キャプチャ・デバイス３０２は、帯域外通信（Ｂｌｕｅｔｏｏｔｈのような）を介してユーザ・デバイス１０２、または自宅内の他のデバイスへデバイスＩＤに加えてキャプチャされた画像データを送信することができ、つぎにユーザ・デバイス１０２、または自宅内の他のデバイスは、キャプチャされた画像データをネットワーク１０８経由でリモート・デバイス１０４へ送信することができる。

デバイスＩＤは、画像キャプチャ・デバイス３０２を、特定のオブジェクト、１つ以上の消耗品、ユーザＩＤ、または他のタイプのユーザ・プロファイル（ユーザ名、郵送住所、請求／支払い情報、嗜好、注文履歴、及び製品の注文／購入を行い、完了する他の情報などを含む）などへ接続する識別子であることができる。この情報をユーザ・プロファイル／情報データベース（複数可）１０６内に格納することができる。ユーザは、この情報へのアクセスを有することができ、ユーザ嗜好を編集する、修正する、変更する、またはその他の方法でセットアップすることができる。これは、１つ以上の状況において、オブジェクト８０２に関するインジケータ・パターン／シーケンスを検出するときに起こったことをユーザが制御することを可能にする。たとえば、この実施例において、デバイスＩＤは、オブジェクト８０２の特定のモデルの洗濯機、ユーザ・プロファイル、及び特定のブランドの洗濯洗剤と関連する。

画像データをキャプチャし、リモート・デバイス１０４へ送信すると、リモート・デバイス１０４は、ブロック８０８として図示される、画像データ及びデバイスＩＤを受信する。リモート・デバイスは、データベース（複数可）１０６にアクセスし、デバイスＩＤに対応するすべての情報を識別する。たとえば、リモート・デバイス１０４は、ブロック８１０として図示される、デバイスＩＤに対応するオブジェクト８０２を識別する。またリモート・デバイス１０４は、ユーザ、ならびにデバイスＩＤに対応する他の設定及び嗜好を識別することができる。

つぎにリモート・デバイス１０４は、ブロック８１２として図示される、画像データ内のインジケータ（複数可）８０４のインジケータ・パターンを決定する。この決定を上記に記述されるように実行することができる。つぎにリモート・デバイスは、ブロック８１４として図示される、インジケータ・パターンに対応するアクションを実行する。たとえば、オブジェクト８０２の１つの格納されたインジケータ・パターンは、消耗品（ユーザ・プロファイル内のユーザ嗜好に従う特定の洗濯製品のような）を注文し、この製品をユーザの住所へ発送するアクションに対応することができる。リモート・デバイス１０４は、ブロック８１６として図示される、製品を自動的に注文し、発送するようにセットアップされることができる、または注文を確認する、若しくは注文を行ったことを特定するために、ユーザ・デバイス（ユーザ・デバイス１０２のような）を介してユーザへのメッセージを送信することができる。たとえば、メッセージは、ユーザの製品が切れている、または少なくなっていることを彼／彼女に通知すること、オブジェクト８０２の製品が切れている、または少なくなっていることをユーザに通知すること、発送通知、製品購入の領収書などを送信することのような、任意の数のメッセージを含むことができる。携帯電話、Ｇｏｏｇｌｅゴーグルなどを使用して、拡張現実フォーマットを含む、任意のフォーマットでメッセージを提供することが可能である。

リモート・デバイス１０４は、ユーザ・プロファイル（過去の購入履歴、ユーザ嗜好などを含む）、及び他のデータ（製品の顧客評価などを含む）を利用して、最高の製品（製品識別子（すなわち、Ａｍａｚｏｎ標準識別番号（ＡＳＩＮ））に対応する製品のような）を決定し、どの製品の在庫が現在あるか、製品がオブジェクト８０２と互換性があるかなどに基づき注文することができる。製品を注文するプロセスの部分として、または製品を注文する前に、リモート・デバイス１０４は、ユーザ・プロファイル内のユーザの購入履歴を確認し、製品を最近注文したかどうかを判定することができる。いくつかの実施形態において、製品を最近注文していなかった場合に、リモート・デバイス１０４は、製品を再注文する、及び／または製品についての「ワンクリック」再注文ボタンをユーザに促す（たとえば、ユーザ・デバイス上で、電子メール、テキスト・メッセージなどを介して）ことができる。

別の実施例において、インジケータ（複数可）８０４のインジケータ・パターンが故障している、または不具合があるオブジェクト８０２に対応するときに、リモート・デバイス１０４は、ユーザ・プロファイル内のユーザのカレンダを確認し、問題を修繕する際にユーザを支援する修理サービスをすでにスケジューリングしているかどうかを判定することができる。修理サービスをスケジューリングしていないときに、リモート・デバイス１０４は、ユーザのために修理サービスを特定し、ユーザ・プロファイルと関連するカレンダ上にユーザのための予約をスケジューリングすること、及び／または修理サービスについてユーザへ提案を提供することのいずれかをすることができる。この実施例において、ブロック８１６内へ参照されるメッセージは、オブジェクト８０２にＡＢＣ修理サービスにより修繕されることが可能である問題があること、オブジェクト８０２に問題があること、ＡＢＣ修理サービスに関する予約をスケジューリングしており、カレンダに追加したことなどを示す通知を含むことができる。

オブジェクトの機能についてのある情報を特定しユーザ・デバイスへ送信することができる上記に記述されるこれらに、インジケータ・パターン／シーケンスが類似することができることを理解するであろう。加えて、任意の数のアクションを事前にプログラムし、特定のインジケータ・パターン／シーケンスの検出時に開始することが可能である。またこれらのアクションは、ユーザ・プロファイル、またはユーザのアカウントを介してユーザにより、変更可能であることなどができる。

いくつかの状況において、単一の画像キャプチャ・デバイス３０２は、１つより多いオブジェクトに関連して使用されることができる。これらの状況において、画像処理は、１つより多いオブジェクトの識別（上記に言及されるような）を含むことができる。代替に、画像キャプチャ・デバイス３０２は、デバイスＩＤと関連することができ、デバイスＩＤは、画像キャプチャ・デバイス３０２がキャプチャする各オブジェクトの位置及びオブジェクト識別子と関連することができる。

図９は、本開示の実施形態を実施するシステム９００の別の概要を図示する。システムは、ネットワーク１０８経由で相互に通信することができる、画像キャプチャ３０２、ユーザ・デバイス１０２、リモート・デバイス１０４、及び１つ以上のデータベース１０６を含む。この実施形態において、画像キャプチャ・デバイス３０２は、１つ以上のビジュアル・インジケータ８０４（ＬＥＤのような）を含むオブジェクト８０２（この実施形態において洗濯機）、及び１つ以上のビジュアル・インジケータ９０４（ＬＥＤのような）を含むオブジェクト９０２（この実施形態においてコーヒー・マシン）の画像データをキャプチャするスタンドアロン・カメラであることができる。

上記に記述されるように、画像キャプチャ・デバイス３０２は、オブジェクト８０２及び９０２の画像データをキャプチャする。つぎに、画像キャプチャ・デバイス３０２は、ブロック８０６として図示される、ネットワーク１０８経由でリモート・デバイス１０４へ直接にデバイス識別子（ＩＤ）に加えてキャプチャされた画像データを送信することができる。代替に、画像キャプチャ・デバイス３０２は、帯域外通信（Ｂｌｕｅｔｏｏｔｈのような）を介してユーザ・デバイス１０２、または自宅内の他のデバイスへデバイスＩＤに加えてキャプチャされた画像データを送信することができ、つぎにユーザ・デバイス１０２、または自宅内の他のデバイスは、キャプチャされた画像データをネットワーク１０８経由でリモート・デバイス１０４へ送信することができる。

画像データをキャプチャし、リモート・デバイス１０４へ送信すると、リモート・デバイス１０４は、ブロック８０８として図示される、画像データ及びデバイスＩＤを受信する。オブジェクト８０２及び９０２に対応する入力データ、ならびにキャプチャされた画像データ内のそれらのそれぞれの位置を入力するように、デバイスＩＤと関連するユーザ・デバイス１０２に通知する、またはクエリを行うことができる。リモート・デバイス１０４は、ブロック９０６として図示される、入力データを受信する。つぎにリモート・デバイス１０４は、オブジェクト８０２及び９０２、ならびそれらの位置とデバイスＩＤを関連付けるようにデータベース（複数可）１０６を更新することができる。これは、後続のキャプチャ画像データを分析し、インジケータ・パターンを迅速かつ効率的に決定することを可能にする。

上記に記述されるように、リモート・デバイス１０４は、ブロック８１４として図示される、インジケータ・パターンに対応する１つ以上のアクションを実行することができる。たとえば、オブジェクト８０２の一方の格納されたインジケータ・パターンは、消耗品（ユーザ・プロファイル内のユーザ嗜好に従う特定の洗濯製品のような）を注文し、この製品をユーザの住所へ発送するアクションに対応することができる。オブジェクト９０２の他方の格納されたインジケータ・パターンは、消耗品（ユーザ・プロファイル内のユーザ嗜好に従う特定のコーヒーのような）を注文し、ユーザの住所へこの製品を発送するアクションに対応することができる。リモート・デバイス１０４は、ブロック８１６として図示される、製品を自動的に注文して発送するようにセットアップされることができる、またはユーザ・デバイス（ユーザ・デバイス１０２のような）を介してユーザへ、注文を確認する、若しくはいくつかの他の通知に関連するなどのメッセージを送信することができる。

図１０は、本開示の実施形態により、デバイスＩＤをユーザＩＤ及びオブジェクトと関連付ける方法１０００を図示する。ブロック１００２において、リモート・デバイスは、デバイスＩＤ（デバイス１０２、３０２などに対応するＩＤのような）を関連付ける。１つ以上のデータベース（データベース（複数可）１０６のような）内に格納されるユーザ・プロファイル内に、この関連付けを格納することができる。またリモート・デバイスは、ブロック１００４として図示される、オブジェクト（またはオブジェクト識別子）をデバイスＩＤ及び／またはユーザＩＤと関連付けることができる。また、１つ以上のデータベース（データベース（複数可）１０６のような）内に格納されるユーザ・プロファイル内に、この関連付けを格納することができる。本明細書に記述される画像マッチング技術に従い、リモート・デバイスは、オブジェクト識別子を決定することができる。代替に、ユーザは、オブジェクトのモデルを入力する、または選択することができ、リモート・デバイスは、たとえば、製品画像及び情報データベース（複数可）１０６内のルックアップ・テーブル（ＬＵＴ）内のモデルをルックアップすることにより、モデルに基づきオブジェクト識別子を決定することができる。同様に、ユーザの購入履歴及び／またはユーザ・プロファイル、ユーザからの入力、事前設定などに基づき、関連付けを決定することができる。

またリモート・デバイスは、ブロック１００６として図示される、画像内の１つ以上のオブジェクトの位置をオブジェクト識別子、デバイスＩＤ、及び／またはユーザＩＤと関連付けることができる。また、１つ以上のデータベース（データベース（複数可）１０６のような）内に格納されるユーザ・プロファイル内に、この関連付けを格納することができる。リモート・デバイスは、本明細書に記述される画像マッチング技術に従い、これらの位置を測定することができる。代替に、ユーザは、オブジェクトの位置を入力することができる。

またリモート・デバイスは、ブロック１００８として図示される、各対応するオブジェクト識別子、デバイスＩＤ、及び／またはユーザＩＤに関する各オブジェクトの特定のインジケータ・シーケンス／パターンに対応する各オブジェクト識別子とアクションを関連付けることができる。また、１つ以上のデータベース（データベース（複数可）１０６のような）内に格納されるユーザ・プロファイル内に、この関連付けを格納することができる。これらのアクションは、ユーザにより選択されることができる、またはデフォルト・アクションであることができる。これらのアクションは、オブジェクトに関する任意の数のアクションを含むことができる。たとえば、アクションは、消耗品を注文すること、ユーザに不具合を通知すること、ユーザにインジケータ・パターン／シーケンスの意味を通知すること、潜在的な交換品を提供すること、修理及び／または顧客サービス情報を提供すること、問題の処理方法に関する命令を提供すること、修理サービスに関する予約をスケジューリングすることなどに関することができる。

つぎにリモート・デバイスは、特定のインジケータ・パターン／シーケンスを検出することに応答するこれらのようなアクションを実行することができる。たとえば、リモート・デバイスは、ブロック１０１０として図示される、画像データ及びデバイスＩＤを受信することができる。リモート・デバイスは、ブロック１０１２として図示される、データベース（複数可）（データベース（複数可）１０６のような）にアクセスし、デバイスＩＤに対応する１つ以上のオブジェクトを識別する。つぎにリモート・デバイスは、ブロック１０１４として図示される、画像データ内の各オブジェクトの各インジケータ（複数可）のインジケータ・パターンを決定する。つぎにリモート・デバイスは、ブロック１０１６として図示される、インジケータ・パターンを既知のパターンにマッチングし、各検出されたインジケータ・パターンと関連するアクションを決定することができる。つぎにリモート・デバイスは、ブロック１０１８として図示される、インジケータ・パターンに対応するアクション（複数可）を実行することができる。

他の実施形態において、インジケータは、上記に記述されるビジュアル・インジケータの代替に、またはこれらに加えて可聴インジケータであることができる。この点において、リモート・デバイスは、上記に記述されるように、オーディオ・マッチング技術を用いて、オーディオ・インジケータ・パターン／シーケンスを格納されたオーディオ・パターン／シーケンスにマッチングさせ、アクションを実行する、またはユーザ・デバイスへ情報を提供することができる。図１１は、オーディオ・インジケータに関連する本開示の実施形態を実施するシステム１１００の概要を図示する。システムは、ネットワーク１０８経由で相互に通信することができる、オーディオ・キャプチャ・デバイス１１０２（マイクロフォンのような）、ユーザ・デバイス１０２、リモート・デバイス１０４、及び１つ以上のデータベース１０６を含む。この実施形態において、オーディオ・キャプチャ・デバイス１１０２は、１つ以上のオーディオ・インジケータ１１０６（スピーカ（複数可）のような）を含むオブジェクト１１０４（この実施形態においてコーヒー・マシン）のオーディオ・データをキャプチャするスタンドアロン・デバイスであることができる。

オーディオ・キャプチャ・デバイス１１０２は、オブジェクト１１０４のオーディオ・データをキャプチャする。つぎにオーディオ・キャプチャ・デバイス１１０２は、ブロック１１０８として図示される、ネットワーク１０８経由でリモート・デバイス１０４へ直接にデバイス識別子（ＩＤ）に加えてキャプチャされたオーディオ・データを送信することができる。代替に、オーディオ・キャプチャ・デバイス１１０２は、帯域外通信（Ｂｌｕｅｔｏｏｔｈのような）を介してユーザ・デバイス１０２、または自宅内の他のデバイスへデバイスＩＤに加えてキャプチャされたオーディオ・データを送信することができ、つぎにユーザ・デバイス１０２、または自宅内の他のデバイスは、キャプチャされたオーディオ・データをネットワーク１０８経由でリモート・デバイス１０４へ送信することができる。

オーディオ・データをキャプチャし、リモート・デバイス１０４へ送信すると、リモート・デバイス１０４は、ブロック１１１０として図示される、オーディオ・データ、及びデバイスＩＤを受信する。つぎにリモート・デバイスは、ブロック１１１２として図示される、デバイスＩＤを使用して、データベース（データベース（複数可）１０６のような）内のルックアップ・テーブル（ＬＵＴ）内の対応するオブジェクトをルックアップする。上記に記述されるように、デバイスＩＤ、ユーザＩＤ、オブジェクト識別子、ユーザ・プロファイルなどを相互にすべてリンクすることができる。加えて、上記に記述されるように、１つ以上のインジケータ・シーケンス／パターンをオブジェクト識別子へリンクすることができ、１つ以上のアクションを各インジケータ・シーケンス／パターンへリンクすることができる。

リモート・デバイス１０４は、ブロック１１１４として図示される、オーディオ・データに基づきインジケータのパターン／シーケンスを決定することができる。オーディオ・フィンガープリント技術を使用して、パターン／シーケンスを決定することができる。たとえば、オーディオの周波数、強度、時間、及び他のパラメータに基づき、既知のインジケータ・パターン／シーケンスを含む既知のオーディオのデジタル・サマリを生成することができる。つぎに、デバイスＩＤ、ユーザＩＤ、オブジェクト識別子、ユーザ・プロファイルなどと関連付けて、たとえば、データベース（複数可）１０６内に、デジタル・サマリを格納することができる。リモート・デバイスは、受信したオーディオ・データ内のオーディオのデジタル・サマリ（またはオーディオ・フィンガープリント）などを生成し、受信したオーディオ・データのオーディオ・フィンガープリントを格納されたオーディオ・フィンガープリントと比較し、インジケータ・パターン／シーケンスを決定することができる。

つぎにリモート・デバイス１０４は、ブロック１１１６として図示される、検出されるインジケータ・パターン（複数可）に対応する１つ以上のアクションを実行することができる。たとえば、オブジェクト１１０４の１つの格納されたインジケータ・パターンは、消耗品（ユーザ・プロファイル内のユーザ嗜好に従う特定のコーヒーのような）を注文し、ユーザの自宅の郵送住所へこの製品を発送するアクションに対応することができる。リモート・デバイス１０４は、ブロック１１１８として図示される、製品を自動的に注文して発送するようにセットアップされることができる、または注文を確認する、若しくはいくつかの他の通知に関連するなどのようなメッセージをユーザ・デバイス（ユーザ・デバイス１０２のような）を介してユーザへ送信することができる。

上記に記述されるように、システム及び方法は、オブジェクトを識別すること、このオブジェクトと関連するインジケータの意味を判定すること、及びインジケータの意味に基づきメッセージを送信する／アクションを実行することを備えることができる。本明細書に記述される方法を実行するために、さまざまなデータ及びデータ構造を使用することができる。オブジェクトＩＤに関連するデータ・タイプ・フロー構造１２００の実施例を図１２に図示する。この実施例において、リモート・デバイスは、オブジェクトを識別し、このオブジェクトに対応するオブジェクトＩＤ１２０２を決定することができる。オブジェクトＩＤ１２０２は、オブジェクトのタイプ、ブランド、メーカー、モデル番号、年などと関連することができる。オブジェクトＩＤ１２０２は、ユーザ・プロファイル１２０４（すなわち、オブジェクトの所有者のプロファイル）、及びデバイスＩＤ１２０６（すなわち、画像キャプチャ・デバイスに対応するＩＤ）と関連することができる。上記に記述されるように、オブジェクトは、インジケータを含む、またはこれと関連することができる。この点において、またオブジェクトＩＤ１２０２は、１つ以上のインジケータ・シーケンス１２０８〜１２１２（オブジェクトの受信した画像またはオーディオ・データ内に表現されるインジケータのシーケンスを決定するために使用されることができる）と関連することができる。

図示されるように、シーケンス１ １２０８は、シーケンス１の意味１２１４と関連する。実施例として、シーケンス１ １２０８は、点灯されるインジケータに関連することができ、このシーケンスの意味は、補充可能な製品を注文することに関連することができる。また製品タイプ１２１６は、オブジェクトＩＤ、及び／またはシーケンス１の意味１２１４と関連することができる。たとえば、オブジェクトＩＤ１２０２がモデル番号ＸＹＺを含むブランドＸのコーヒー・マシンに対応するときに、製品タイプは、コーヒー・マシンと互換性があるカップのカテゴリに関連することができる。またこの製品タイプ１２１６は、利用可能であり、ユーザに購入され、発送されることが可能である、製品１ １２１８及び製品２ １２２０のような、さまざまな製品と関連することができる。オブジェクトＩＤ１２０２は、ユーザ・プロファイル１２０４と関連するため、システム及び方法は、ユーザ・プロファイル１２０４を参照し、ユーザが購入したい製品を判定し、正しい製品を自動的に購入し、この製品をユーザへ発送することもできる。

シーケンス２ １２１０は、シーケンス２の意味１２２２と関連する。実施例として、シーケンス２ １２１０は、連続的に点滅するインジケータに関することができ、このシーケンスの意味は、修理の必要があるオブジェクトＩＤ１２０２と関連するオブジェクトに関することができる。また修理サービス１２２４のタイプは、オブジェクトＩＤ、及び／またはシーケンス２の意味１２２２と関連することができる。たとえば、修理サービス１２２４は、モデル番号ＸＹＺを有するブランドＸのコーヒー・マシンについての修理サービスのカテゴリに関することができる。また修理サービス１２２４のタイプのうちのこのタイプは、修理サービス１ １２２６、及び修理サービス２ １２２８のような、モデル番号ＸＹＺを有するブランドＸのコーヒー・マシンを修理するために連絡することができるさまざまな修理サービスと関連することができる。オブジェクトＩＤ１２０２は、ユーザ・プロファイル１２０４と関連するため、システム及び方法は、ユーザ・プロファイル１２０４を参照し、オブジェクトの位置（すなわち、ユーザの自宅の住所に）を測定し、ユーザのために適切な修理サービスを決定することもできる。

同様に、シーケンス３ １２１２は、シーケンス３の意味１２３０と関連する。実施例として、シーケンス３ １２１２は、２回点滅するインジケータに関することができ、このシーケンスの意味は、バッテリの電力が少ないオブジェクトに関することができる。またバッテリ・タイプ１２３２は、オブジェクトＩＤ、及び／またはシーケンス３の意味１２３０と関連することができる。たとえば、オブジェクトＩＤ１２０２がモデル番号ＸＹＺを有するブランドＸの煙探知器に対応するときに、バッテリ・タイプは、煙探知器と互換性がある９Ｖタイプのバッテリ（Ｅｎｅｒｇｉｚｅｒバッテリ、Ｄｕｒａｃｅｌｌバッテリなどのような）のカテゴリに関連することができる。また、このバッテリ・タイプ１２３２は、利用可能であり、ユーザに購入され、発送されることが可能である、バッテリ１ １２３４、及びバッテリ２ １２３６のような、さまざまな製品と関連することができる。オブジェクトＩＤ１２０２は、ユーザ・プロファイル１２０４と関連するため、システム及び方法は、ユーザ・プロファイル１２０４を参照し、ユーザが購入したい交換用バッテリを判定し、正しい交換用バッテリを自動的に購入し、この交換用バッテリをユーザへ発送することもできる。

図１３にユーザ・プロファイルに関するデータ・タイプ・フロー構造１３００の実施例を図示する。この実施例において、ユーザ・プロファイル１２０４は、デバイスＩＤ１ １３０４（たとえば、ユーザの自宅でカメラに対応する）、及びデバイスＩＤ２ １３０６（たとえば、ユーザのスマートフォンに対応する）のような、１つ以上のデバイスＩＤ１３０２を含む、及び／またはこれらと関連することができる。これらのデバイスＩＤのいずれかは、デバイスＩＤ１２０６であることができる。またユーザ・プロファイル１２０４は、オブジェクトＩＤ１ １３１０（たとえば、特定のブランド及びモデルのコーヒー・マシンに対応する）、及びオブジェクトＩＤ２ １３１２（たとえば、特定のブランド及びモデルの洗濯機に対応する）のような、１つ以上のオブジェクトＩＤ１３０８を含む、及び／またはこれらと関連することができる。これらのオブジェクトＩＤのいずれかは、オブジェクトＩＤ１２０２であり、シーケンス、シーケンスの意味、製品、修理サービスなどと関連することができる。

またユーザ・プロファイル１２０４は、特定のタイプの製品（ブランドＸ、ヘーゼルナッツ、コーヒーＫカップなど）に対応する製品１ １３１６、及び特定のタイプのバッテリ（ブランドＹ、９Ｖバッテリなど）に対応するバッテリ１ １３１８のような、嗜好１３１４を有する、またはこれらと関連することができる。これらの嗜好を使用して、ユーザのために自動的に注文する製品を判定することができる。たとえば、図１２及び１３を参照して、オブジェクトＩＤ１２０２は、モデル番号ＸＹＺを有するブランドＸのコーヒー・マシンに対応することができる。補充可能な製品を注文することに関する意味１２１４を有するシーケンス１ １２０８が発生すると判定されるときに、システム及び方法は、ユーザ・プロファイル１２０４を参照し、ブランドＸ、ヘーゼルナッツ、コーヒーＫカップに対応する製品１ １３１６を注文し、ユーザの郵送住所にユーザへ発送することを決定することができる。

ブランドＸ、ヘーゼルナッツ、コーヒーＫカップに対応する製品１ １３１６を注文する前に、システム及び方法は、ユーザ・プロファイル１２０４内に含まれる、及び／またはこれと関連することもできる、ユーザの購入履歴１３２０を確認することができる。たとえば、システム及び方法は、製品１ １３１６が最近注文されたかどうかを判定するために確認し、そうでない場合に、製品１ １３１６を注文し、ユーザの住所へ製品１ １３１６を発送する、及び／または製品１ １３１６についての「ワンクリック」注文ボタンに関するユーザへのプロンプトを含むメッセージを送信する（たとえば、デバイスＩＤ２ １３０６のようなデバイスを介して、電子メールを介してなど）ことができる。

また購入履歴１３２０は、オブジェクトＩＤ１ １３１０を含む、またはこれと関連することができる。この情報は、オブジェクトＩＤ１ １３１０と関連するオブジェクトをユーザが以前に購入したことを意味する。この情報を使用して、画像データ、またはオーディオ・データ内に表現されるオブジェクトを識別する際に支援することができる。たとえば、画像データ内に表現されるオブジェクトがコーヒー・マシンに関連するが、コーヒー・マシンに関するブランド及びモデルが明らかではない場合に、ユーザがオブジェクトＩＤ１ １３１０と関連するブランド及びモデルのコーヒー・マシンを購入したという事実を使用して、オブジェクトを特定することができる。したがって、画像データ内に表現されるオブジェクトがオブジェクトＩＤ１ １３１０の以前に購入されたオブジェクトに対応することを判定することが可能である。

同様に、購入履歴１３２０は、デバイスＩＤ１ １３０４、製品２ １３２２、過去に使用された修理サービス（図１２に図示される修理サービス２ １２２８のような）などを含む、またはこれらと関連することができる。すべてのこの情報を使用して、オブジェクトの識別、及び製品、修理サービスなどの選択の際に支援することができる。

ユーザ・プロファイル１２０４は、製品の自動購入、及びこれらの製品のユーザの住所への発送を可能にする、支払い及び発送情報１３２４を有する、またはこれと関連することができる。またユーザ・プロファイル１２０４は、ユーザのカレンダ１３２６を有する、またはこれと関連することができる。カレンダ１３２６は、修理サービス、製品の発送などのスケジューリングにおいて使用されることができる。たとえば、図１２及び１３を参照して、オブジェクトＩＤ１２０２は、モデル番号ＸＹＺを有するブランドＸのコーヒー・マシンに対応することができる。修理の必要があるオブジェクトに関する意味１２２２を含むシーケンス２ １２１０が発生すると判定されるときに、システム及び方法は、ユーザ・プロファイル１２０４及びカレンダ１３２６を参照し、問題を修繕するために修理サービスをすでにスケジューリングしたかどうかを判定することができる。修理サービスをスケジューリングしていないときに、ローカル修理サービス（修理サービス２ １２２８のような）をユーザのために選択することができる。またシステム及び方法は、カレンダ１３２６に予約をスケジューリングする、及び／または修理サービスについてユーザへ提案を提供することができる（すなわち、コーヒー・マシンは、Ｙ社の修理サービスにより修理されることが可能である、修理が必要である）。

ユーザのために選択する製品、修理サービスなどについての決定を可能にするために十分な情報を嗜好１３１４及び購入履歴１３２０が提供しないときに、システム及び方法は、顧客の評価、及び他のこのようなデータを利用して、適切な製品、修理サービスなどをユーザのために選択することができる。

またデバイスＩＤは、オブジェクトを識別し、製品、修理サービスなどを選択する際に支援することができる、特定の情報と関連することができる。デバイスＩＤに関するデータ・タイプ・フロー構造１４００の実施例を図１４に図示する。この実施例において、デバイスＩＤ１ １３０４は、オブジェクトＩＤ１ １３１０、及びオブジェクトＩＤ３ １４０４のような、オブジェクトＩＤと関連することができる。デバイスＩＤとオブジェクトＩＤの関連付けを使用して、デバイスＩＤと関連するデバイスの視野内にあるオブジェクトを識別することができる。たとえば、デバイスＩＤ１ １３０４は、ユーザのキッチンに配置されるカメラに対応することができ、オブジェクトＩＤ１ １３１０は、カメラの視野の右側に設置されるコーヒー・マシンに対応することができ、オブジェクトＩＤ３ １４０４は、カメラの視野の左側に設置される冷蔵庫に対応することができる。この情報は、デバイスＩＤ１ １３０４、ならびにオブジェクトＩＤ１ １３１０、及びオブジェクトＩＤ３ １４０４と関連付けられ格納されることができる。これは、システム及び方法がカメラから受信する画像データ内に表現されるオブジェクトを高速で識別することを可能にする。たとえば、デバイスＩＤに加えてカメラから画像データを受信するときに、システム及び方法は、デバイスＩＤと関連する情報を参照することにより、左側のオブジェクトがオブジェクトＩＤ３ １４０４と関連するオブジェクトであり、右側のオブジェクトがオブジェクトＩＤ１ １３１０と関連するオブジェクトであることを理解することができる。

同様に、デバイスＩＤ３ １４０２（ユーザの自宅内の第二カメラに対応する）は、オブジェクトＩＤ２ １３１２（洗濯機に対応する）のような、オブジェクトＩＤと関連することができる。また各デバイスＩＤは、相互に、及びユーザ・プロファイル１２０４と関連することができる。

ユーザ・プロファイル１２０４は、ユーザが嗜好、支払い情報、住所などを入力する、変更する、削除するなどをすることを可能にするようにユーザへアクセス可能であることができる。またユーザは、ユーザ・プロファイル１２０４を使用して、対応するデバイスの視野内の識別されたオブジェクトがユーザ・プロファイル１２０４にオンラインでアクセスすることにより正確に識別されることを確認することができる。

図１２〜１４に図示されるデータ・フロー構造が単に実施例であり、さまざまなデータが相互に関連し、任意の適用可能な方式で編成されることができることを理解するであろう。

また、同様な方式で記述されるビジュアル・インジケータの代替に、またはこれらに加えてオーディオ・インジケータを使用することができることを理解するであろう。したがって、本明細書に記述されるいずれかの方法は、本明細書に記述される１つ以上の他の方法と、組み合わされることができ、ステップは、入れ替えられることなどができる。

本明細書に開示される概念は、たとえば、汎用コンピューティング・システム、マルチメディア・セットトップ・ボックス、テレビ、ステレオ、ラジオ、サーバ‐クライアント・コンピューティング・システム、メインフレーム・コンピューティング・システム、テレフォン・コンピューティング・システム、ラップトップ・コンピュータ、携帯電話、パーソナル・デジタル・アシスタント（ＰＤＡ）、タブレット・コンピュータ、ウェアラブル・コンピューティング・デバイス（時計、眼鏡など）、他のモバイル・デバイスなどを含む、複数の異なるデバイス、及びコンピュータ・システム内で適用されることができる。ネットワーク１０８を介して、１つ以上のコンポーネントをネットワーク環境全体に分散させることができる。たとえば、複数のコンピューティング・デバイス（ユーザ・デバイス１０２、画像キャプチャ・デバイス３０２、リモート・デバイス１０４などのような）をシステム内に用いることができる。このようなマルチデバイス・システムにおいて、各デバイスは、本明細書に記述されるプロセスの異なる態様を実行するための異なるコンポーネントを含むことができる。複数のデバイスは、重複するコンポーネントを含むことができる。

図１５において図示されるように、複数のデバイス（１０２、１０４、１１０、３０２、３０６、８０２、９０２、１１０２、及び１５０２〜１５０６など）は、システムのコンポーネントを含むことができ、これらのデバイスは、ネットワーク１０８経由で接続されることができる。ネットワーク１０８は、ローカル若しくはプライベート・ネットワークを含むことができる、またはインターネットのようなワイド・ネットワークを含むことができる。有線接続または無線接続のいずれかを介して、デバイスをネットワーク１０８へ接続することができる。たとえば、スマートフォン１５０２、ラップトップ・コンピュータ１５０４、デスクトップ・コンピュータ１５０６、及びユーザ・デバイス１０２、画像キャプチャ・デバイス３０２、オブジェクト１１０、８０２、９０２、及びリモート・デバイス１０４は、Ｗｉ‐Ｆｉかセルラ・ネットワーク接続か同様のもの経由で無線サービス・プロバイダを介して、または有線接続を介してネットワーク１０８へ接続されることができる。これらのネットワーク化されたデバイスは、内蔵マイク及びスピーカのような、埋め込み型オーディオ入力デバイスを含むことができ、デバイスのうちの１つ以上は、オーディオ処理モジュールを含むことができる。

本明細書に開示される概念は、たとえば、汎用コンピューティング・システム、テレビ、ステレオ、ラジオ、サーバ‐クライアント・コンピューティング・システム、メインフレーム・コンピューティング・システム、テレフォン・コンピューティング・システム、ラップトップ・コンピュータ、携帯電話、パーソナル・デジタル・アシスタント（ＰＤＡ）、タブレット・コンピュータ、ウェアラブル・コンピューティング・デバイス（時計、眼鏡など）、他のモバイル・デバイスなどを含む、複数の異なるデバイス及びコンピュータ・システム内に適用されることができる。

開示されたシステム及び方法の態様は、工業環境内に適用されることができる。たとえば、画像キャプチャ・デバイス（複数可）は、永続的に設置されたカメラ（セキュリティ・カメラのような）であることが可能であり、インジケータは、工場または他の工業計器に属することが可能である。

加えて、ビジュアル・インジケータは、ＬＥＤ、照明、色を変化させる化学に基づくインジケータ（集積回路用のインジケータのような）、破損可能なインジケータ、または視覚的に知覚可能である任意の他のタイプのインディケーションのような、複数の異なるタイプのコンポーネントであることが可能である。

開示されたシステムの態様は、コンピュータ方法として、またはメモリ・デバイス、若しくは非一時的なコンピュータ可読記憶媒体のような製造品として実施されることができる。コンピュータ可読記憶媒体は、コンピュータにより可読であることができ、コンピュータまたは他のデバイスに本開示に記述されるプロセスを実行させるための命令を含むことができる。コンピュータ可読記憶媒体は、揮発性コンピュータ・メモリ、不揮発性コンピュータ・メモリ、ハード・ドライブ、ソリッド・ステート・メモリ、フラッシュ・ドライブ、リムーバブル・ディスク、及び／または他の媒体により実装されることができる。加えて、ユーザ・デバイス１０２、画像キャプチャ・デバイス３０２、またはリモート・デバイス１０４の１つ以上のコンポーネントは、ファームウェアとして、またはハードウェア内のステート・マシンとして実装されることができる。たとえば、少なくとも処理モジュールは、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはそれらのいくつかの組み合わせとして実装されることができる。

また上述の事項は、以下の条項を考慮して理解されることができる。
１．ビジュアル・インジケータを検出し、解釈するためのコンピュータ実装方法であって、
ユーザ・プロファイルと関連するユーザ・デバイスから、器具の発光ダイオード（ＬＥＤ）を表現する画像データを受信し、
前記画像データを使用して前記器具のタイプを識別し、
前記器具に関する前記ＬＥＤの基準位置に対応する格納されたピクセル座標、及び前記ＬＥＤの格納された照明シーケンスを決定し、
前記基準データに基づき、画像フレーム内のピクセル座標を識別し、前記ピクセル座標が前記画像データ内の前記ＬＥＤの位置に対応し、
前記画像データの第一画像内に第一ピクセル値の第一輝度値、及び第一色値を測定し、前記第一ピクセル値は前記第一画像内の前記ＬＥＤの前記位置に対応し、前記第一画像は第一時間に対応し、
前記画像データの第二画像内の第二ピクセル値の第二輝度値、及び第二色値を測定し、前記第二ピクセル値は前記第二画像内の前記ＬＥＤの前記位置に対応し、前記第二画像は前記第一時間後の第二時間に対応し、
前記第一輝度値、前記第一色値、前記第二輝度値、及び前記第二色値が前記ＬＥＤの前記格納された照明シーケンスに対応すると判定し、
前記格納された照明シーケンスと関連する情報を識別し、前記情報が前記器具に関し、
前記情報を前記ユーザ・デバイスへ送信する、
ことを備える、前記コンピュータ実装方法。

２．前記器具の前記タイプを識別することは、前記器具が前記ユーザ・プロファイルと関連する以前に購入された器具に対応すると判定することを備え、
前記格納された照明シーケンスと関連する前記情報を識別することは、前記器具に関する製品を注文すると判定することを備え、
前記方法は、
前記ユーザ・プロファイルと関連する好ましい製品を決定し、
前記ユーザ・プロファイルと関連する郵送住所を決定し、
前記郵送住所への発送のために前記好ましい製品を自動的に注文する、
ことをさらに備え、
前記情報を前記ユーザ・デバイスへ送信することは、前記好ましい製品の前記購入についての領収書を送信することを備える、
条項１の前記コンピュータ実装方法。

３．前記格納されたピクセル座標を前記器具の前記タイプと関連付け、
前記格納された照明シーケンスを前記器具の前記タイプと関連付け、
前記格納された照明シーケンスと関連する前記情報を前記器具の前記タイプと関連付け、
互換性のある製品を前記器具の前記タイプと関連付ける、
ことをさらに備える、条項１の前記コンピュータ実装方法。

４．点灯したビジュアル・インジケータを含むオブジェクトを表現するユーザ・プロファイルと関連する画像データを受信し、
前記画像データ内に表現される前記オブジェクトを識別し、
前記点灯したビジュアル・インジケータの意味を判定し、
前記意味に対応する情報を識別し、
前記ユーザ・プロファイルと関連するデバイスへメッセージを送信する、
ことを備える、コンピュータ実装方法。

５．前記意味を判定することは、基準データに基づき、前記画像データ内の前記ビジュアル・インジケータの位置に対応するピクセル座標を識別することを備え、前記基準データは、前記識別されたオブジェクトに関する前記ビジュアル・インジケータの基準位置に対応する格納されたピクセル座標を有する、条項４の前記コンピュータ実装方法。

６．前記意味を判定することは、
前記ビジュアル・インジケータの前記位置に対応する領域に境を接し、
前記境を接した領域内で前記画像データの１つ以上のピクセル値の輝度値を測定する、
ことを備える、条項５の前記コンピュータ実装方法。

７．前記輝度値を測定することは、
離散コサイン変換を前記境を接した領域に適用し、
前記画像データの前記輝度及び色度ＹＵＶ色空間の輝度成分から係数を決定する、
ことを備える、条項６の前記コンピュータ実装方法。

８．前記意味を判定することは、
前記画像データの第一画像内の第一ピクセル値の第一輝度値を測定し、前記第一ピクセル値は前記第一画像内の前記ビジュアル・インジケータの前記位置に対応し、前記第一画像は第一時間に対応し、
前記画像データの第二画像内の第二ピクセル値の第二輝度値を測定し、前記第二ピクセル値は前記第二画像内の前記ビジュアル・インジケータの前記位置に対応し、前記第二画像は第二時間に対応し、
前記第一及び第二輝度値に基づき第一データ・セットを生成する、
ことを備える、条項６の前記コンピュータ実装方法。

９．前記意味を判定することは、
前記ビジュアル・インジケータの前記位置に近接する第二位置に対応する第二領域に境を接し、
前記第二位置に対応する前記画像データの前記第一画像内の第三ピクセル値の第三輝度値を測定し、
前記第二位置に対応する前記画像データの前記第二画像内の第四ピクセル値の第四輝度値を測定し、
前記第三及び第四輝度値に対応する第二データ・セットを生成し、
前記第一及び第二輝度値を測定することは前記第二データ・セットに実質的にマッチングすることに失敗する前記第一データ・セットに基づき外部効果とは対照的に前記ビジュアル・インジケータにより引き起こされる、
ことを備える、条項８の前記コンピュータ実装方法。

１０．前記意味を判定することは、前記第一データ・セットを前記識別されたオブジェクトと関連する格納されたデータ・セットにマッチングすることを備える、条項８の前記コンピュータ実装方法。

１１．前記ユーザ・プロファイルと関連する前記デバイスへ前記メッセージを送信することは、前記照明シーケンスの前記意味、前記オブジェクトを修理する方法に対応する命令、前記オブジェクトについての潜在的な交換部品、潜在的な交換オブジェクトを購入するオプション、修理サービスの連絡先情報、または前記オブジェクトと関連する消耗品を購入するオプションのうちの少なくとも１つを送信することを備える、条項４の前記コンピュータ実装方法。

１２．前記オブジェクトに対応するオーディオ・データを受信し、前記オーディオ・データが前記オブジェクトと関連するオーディオ・インジケータを含み、
前記オブジェクトと関連する格納されたオーディオ・シーケンスに対応する格納されたオーディオ・フィンガープリントと前記オーディオ・フィンガープリントを比較し、
格納されたオーディオ・フィンガープリントにマッチングする前記オーディオ・フィンガープリントに基づき前記オーディオ・インジケータのオーディオ・シーケンスを決定する、
ことをさらに備え、
前記照明シーケンスに対応する情報を識別することは、前記オーディオ・シーケンスに対応する情報を識別することを備える、
条項４の前記コンピュータ実装方法。

１３．少なくとも１つのプロセッサ、及び
１セットのアクションを実行するために前記少なくとも１つのプロセッサにより実行されるように操作可能である命令を含むメモリ・デバイス、
を備え、
前記１セットのアクションは、前記少なくとも１つのプロセッサが、
点灯したビジュアル・インジケータを含むオブジェクトを表現するユーザ・プロファイルと関連する画像データを受信し、
前記画像データ内に表現される前記オブジェクトを識別し、
前記点灯したビジュアル・インジケータの意味を判定し、
前記意味に対応する情報を識別し、
前記ユーザ・プロファイルと関連するデバイスへメッセージを送信する、
ように構成される、デバイス。

１４．前記少なくとも１つのプロセッサは、基準データに基づき、前記画像データ内の前記ビジュアル・インジケータの位置に対応するピクセル座標を識別することにより前記意味を判定するようにさらに構成され、前記基準データは、前記識別されたオブジェクトに関連する前記ビジュアル・インジケータの基準位置に対応する格納されたピクセル座標を含む、条項１３の前記デバイス。

１５．前記少なくとも１つのプロセッサは、
前記ビジュアル・インジケータの前記位置に対応する領域に境を接し、
前記境を接した領域内に前記画像データの１つ以上のピクセル値の輝度値を測定する、
ことにより前記意味を判定するようにさらに構成される、条項１４の前記デバイス。

１６．前記少なくとも１つのプロセッサは、
離散コサイン変換を前記境を接した領域に適用し、
前記画像データの前記輝度及び色度ＹＵＶ色空間の輝度成分から係数を決定する、
ことにより前記意味を判定するようにさらに構成される、条項１５の前記デバイス。

１７．前記少なくとも１つのプロセッサは、
前記画像データの第一画像内の第一ピクセル値の第一輝度値を測定し、前記第一ピクセル値は前記第一画像内の前記ビジュアル・インジケータの前記位置に対応し、前記第一画像は第一時間に対応し、
前記画像データの第二画像内の第二ピクセル値の第二輝度値を測定し、前記第二ピクセル値は前記第二画像内の前記ビジュアル・インジケータの前記位置に対応し、前記第二画像は第二時間に対応し、
前記第一及び第二輝度値に基づき第一データ・セットを生成する、
ことにより前記意味を判定するようにさらに構成される、条項１５の前記デバイス。

１８．前記少なくとも１つのプロセッサは、
前記ビジュアル・インジケータの前記位置に近接する第二位置に対応する第二領域に境を接し、
前記第二位置に対応する前記画像データの前記第一画像内の第三ピクセル値の第三輝度値を測定し、
前記第二位置に対応する前記画像データの前記第二画像内の第四ピクセル値の第四輝度値を測定し、
前記第三及び第四輝度値に対応する第二データ・セットを生成し、
前記第一及び第二輝度値を測定することは前記第二データ・セットに実質的にマッチングすることに失敗する前記第一データ・セットに基づき外部効果とは対照的に前記ビジュアル・インジケータにより引き起こされる、
ことにより前記意味を判定するようにさらに構成される、条項１７の前記デバイス。

１９．前記少なくとも１つのプロセッサは、前記識別されたオブジェクトと関連する格納されたデータ・セットに前記第一データ・セットをマッチングすることにより前記意味を判定するようにさらに構成される、条項１３の前記デバイス。

２０．前記少なくとも１つのプロセッサは前記ユーザ・プロファイルと関連する前記デバイスへ前記メッセージを送信するようにさらに構成されることは、前記照明シーケンスの前記意味、前記オブジェクトを修理する方法に対応する命令、前記オブジェクトについての潜在的な交換部品、潜在的な交換オブジェクトを購入するためのオプション、修理サービスの連絡先情報、または前記オブジェクトと関連する消耗品を購入するオプションのうちの少なくとも１つを送信することを備える、条項１３の前記デバイス。

本開示において使用されるように、用語「ａ」、または「ｏｎｅ」は、特に別段に記述されない限り１つ以上の項目を含むことができる。さらに、語句「に基づき」は、特に別段に記述されない限り「少なくとも部分的に基づき」を意味することを意図される。

Claims (14)

1. 点灯したビジュアル・インジケータを含むオブジェクトを表現するユーザ・プロファイルと関連する画像データを受信し、
   前記画像データ内に表現される前記オブジェクトを識別し、
   前記ビジュアル・インジケータの位置に対応する領域に境を接し、
   前記境を接した領域内で前記画像データの１つ以上のピクセル値の輝度値を測定し、
   前記輝度値に少なくとも部分的に基づいて、前記点灯したビジュアル・インジケータの意味を判定し、
   前記意味に対応する情報を識別し、
   前記ユーザ・プロファイルと関連するデバイスへメッセージを送信する、
   ことを備える、コンピュータ実装方法。
2. 前記意味を判定することは、基準データに基づき、前記画像データ内で前記ビジュアル・インジケータの位置に対応するピクセル座標を識別することを備え、前記基準データは、前記識別されたオブジェクトに関連する前記ビジュアル・インジケータの基準位置に対応する格納されたピクセル座標を含む、請求項１の前記コンピュータ実装方法。
3. 前記輝度値を測定することは、
   離散コサイン変換を前記境を接した領域に適用し、
   前記画像データの輝度及び色度ＹＵＶ色空間の輝度成分から係数を決定する、
   ことを備える、請求項１の前記コンピュータ実装方法。
4. 前記意味を判定することは、
   前記画像データの第一画像内の第一ピクセル値の第一輝度値を測定し、前記第一ピクセル値は前記第一画像内の前記ビジュアル・インジケータの前記位置に対応し、前記第一画像は第一時間に対応し、
   前記画像データの第二画像内の第二ピクセル値の第二輝度値を測定し、前記第二ピクセル値は前記第二画像内の前記ビジュアル・インジケータの前記位置に対応し、前記第二画像は第二時間に対応し、
   前記第一及び第二輝度値に基づき第一データ・セットを生成する、
   ことを備える、請求項１の前記コンピュータ実装方法。
5. 前記意味を判定することは、
   前記ビジュアル・インジケータの前記位置に近接する第二位置に対応する第二領域に境を接し、
   前記第二位置に対応する前記画像データの前記第一画像内の第三ピクセル値の第三輝度値を測定し、
   前記第二位置に対応する前記画像データの前記第二画像内の第四ピクセル値の第四輝度値を測定し、
   前記第三及び第四輝度値に対応する第二データ・セットを生成し、
   前記第一及び第二輝度値を測定することは前記第二データ・セットに実質的にマッチングすることに失敗する前記第一データ・セットに基づき外部効果とは対照的に前記ビジュアル・インジケータにより引き起こされる、
   ことを備える、請求項４の前記コンピュータ実装方法。
6. 前記意味を判定することは、前記識別されたオブジェクトと関連する格納されたデータ・セットに前記第一データ・セットをマッチングすることを備える、請求項４の前記コンピュータ実装方法。
7. 前記ユーザ・プロファイルと関連する前記デバイスへ前記メッセージを送信することは、照明シーケンスの意味、前記オブジェクトを修理する方法に対応する命令、前記オブジェクトについての潜在的な交換部品、潜在的な交換オブジェクトを購入するオプション、修理サービスの連絡先情報、または前記オブジェクトと関連する消耗品を購入するオプションのうちの少なくとも１つを送信することを備える、請求項１の前記コンピュータ実装方法。
8. 前記オブジェクトに対応するオーディオ・データを受信し、前記オーディオ・データが前記オブジェクトと関連するオーディオ・インジケータを含み、
   前記オブジェクトと関連する格納されたオーディオ・シーケンスに対応する格納されたオーディオ・フィンガープリントと前記オーディオ・フィンガープリントを比較し、
   格納されたオーディオ・フィンガープリントにマッチングする前記オーディオ・フィンガープリントに基づき前記オーディオ・インジケータのオーディオ・シーケンスを決定する、
   ことをさらに備え、
   前記照明シーケンスに対応する情報を識別することは、前記オーディオ・シーケンスに対応する情報を識別することを備える、
   請求項７の前記コンピュータ実装方法。
9. 少なくとも１つのプロセッサ、及び
   １セットのアクションを実行するために前記少なくとも１つのプロセッサにより実行されるように操作可能である命令を含むメモリ・デバイス、
   を備え、
   前記１セットのアクションは、前記少なくとも１つのプロセッサが、
   点灯したビジュアル・インジケータを含むオブジェクトを表現するユーザ・プロファイルと関連する画像データを受信し、
   前記画像データ内に表現される前記オブジェクトを識別し、
   前記ビジュアル・インジケータの位置に対応する領域に境を接し、
   前記境を接した領域内で前記画像データの１つ以上のピクセル値の輝度値を測定し、
   前記輝度値に少なくとも部分的に基づいて、前記点灯したビジュアル・インジケータの意味を判定し、
   前記意味に対応する情報を識別し、
   前記ユーザ・プロファイルと関連するデバイスへメッセージを送信する、
   ように構成される、デバイス。
10. 前記少なくとも１つのプロセッサは、基準データに基づき、前記画像データ内で前記ビジュアル・インジケータの位置に対応するピクセル座標を識別することにより前記意味を判定するようにさらに構成され、前記基準データは、前記識別されたオブジェクトに関連する前記ビジュアル・インジケータの基準位置に対応する格納されたピクセル座標を含む、請求項９の前記デバイス。
11. 前記少なくとも１つのプロセッサは、
    離散コサイン変換を前記境を接した領域に適用し、
    前記画像データの輝度及び色度ＹＵＶ色空間の輝度成分から係数を決定する、
    ことにより前記意味を判定するようにさらに構成される、請求項１０の前記デバイス。
12. 前記少なくとも１つのプロセッサは、
    前記画像データの第一画像内の第一ピクセル値の第一輝度値を測定し、前記第一ピクセル値は前記第一画像内の前記ビジュアル・インジケータの前記位置に対応し、前記第一画像は第一時間に対応し、
    前記画像データの第二画像内の第二ピクセル値の第二輝度値を測定し、前記第二ピクセル値は前記第二画像内の前記ビジュアル・インジケータの前記位置に対応し、前記第二画像は第二時間に対応し、
    前記第一及び第二輝度値に基づき第一データ・セットを生成する、
    ことにより前記意味を判定するようにさらに構成される、請求項１０の前記デバイス。
13. 前記少なくとも１つのプロセッサは、前記識別されたオブジェクトと関連する格納されたデータ・セットに前記第一データ・セットをマッチングすることにより前記意味を判定するようにさらに構成される、請求項１２の前記デバイス。
14. 前記少なくとも１つのプロセッサは前記ユーザ・プロファイルと関連する前記デバイスへ前記メッセージを送信するようにさらに構成されることは、照明シーケンスの意味、前記オブジェクトを修理する方法に対応する命令、前記オブジェクトについての潜在的な交換部品、潜在的な交換オブジェクトを購入するオプション、修理サービスの連絡先情報、または前記オブジェクトと関連する消耗品を購入するオプションのうちの少なくとも１つを送信することを備える、請求項９の前記デバイス。

Images