JP6986079B2 - 可視光通信の検出及び/又は復号 - Google Patents

可視光通信の検出及び/又は復号 Download PDF

Info

Publication number
JP6986079B2
JP6986079B2 JP2019528719A JP2019528719A JP6986079B2 JP 6986079 B2 JP6986079 B2 JP 6986079B2 JP 2019528719 A JP2019528719 A JP 2019528719A JP 2019528719 A JP2019528719 A JP 2019528719A JP 6986079 B2 JP6986079 B2 JP 6986079B2
Authority
JP
Japan
Prior art keywords
recognized
mobile system
visible light
data
particular object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019528719A
Other languages
English (en)
Other versions
JP2020504490A5 (ja
JP2020504490A (ja
Inventor
ディミトリ ヴィクトロヴィッチ アリアクセイエウ
デ スルイス バルテル マリヌス ヴァン
ディルク ヴァレンティヌス レネ エンゲレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of JP2020504490A publication Critical patent/JP2020504490A/ja
Publication of JP2020504490A5 publication Critical patent/JP2020504490A5/ja
Application granted granted Critical
Publication of JP6986079B2 publication Critical patent/JP6986079B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10554Moving beam scanning
    • G06K7/10564Light sources
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/1141One-way transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Communication System (AREA)

Description

本発明は、可視光通信の検出及び/又は復号のためのモバイルシステムに関する。
本発明は更に、可視光通信の検出及び/又は復号の方法に関する。
本発明はまた、そのような方法をコンピュータシステムが実行することを可能にする、コンピュータプログラム製品にも関する。
可視光通信(Visible Light Communication;VLC)は、例えば蛍光ランプ又はLEDを使用して、可視光を介してデータを通信するための技術である。2014年9月のMobiCom'14 Proceedings of the 20th annual international conference on Mobile computing and netwrokingの447〜458ページで公開された、Kuoらによる論文「Luxapose:Indoor Positioning with Mobile Phones and Visible Light」は、VLCベースの屋内測位に関する方法を開示している。この方法は、人間が感知不可能な光パルスで符号化されている識別子及び/又は位置を送信する、LED照明器具の助けを借りて、カメラ付きスマートフォンの位置を決定することを含む。カメラ付きスマートフォンは、送信された可視光データを検出及び復号するために、その露出及びISO設定が変更されている、未修正のスマートフォンである。
Yi−Yuan Chenらによる論文「Robust Light Objects Recognition Based on Computer vision」は、画像内の光オブジェクトの位置を認識するための方法を開示しており、この方法は、光オブジェクトの幾何学的配置及び点滅周波数の基準を、画像処理技術と共に使用して、光オブジェクトの状態及び位置を迅速に認識するものである。
Luxapose論文に開示されている方法の欠点は、可視光を使用してデータが送信され得る場合に、カメラが常にオンであり、かつ特別な設定を使用する必要がある点、並びに、それゆえカメラが、他の用途、例えば、他人と共有される写真を撮影することに関しては、露出及びISO設定が当該用途に関して最適ではないため、最適に使用されることができない点である。
本発明の第1の目的は、可視光通信を検出及び/又は復号することが可能であると共に、この用途のために使用するリソースがより少ない、モバイルシステムを提供することである。
本発明の第2の目的は、可視光通信を検出及び/又は復号するリソース使用を低減する、可視光通信の検出及び/又は復号の方法を提供することである。
本発明の第1の態様では、モバイルシステムは、光源によって放出された可視光を介して通信されているデータを検出するようにコンフィギュレーションされており、モバイルシステムは、カメラと、カメラを使用して画像を取り込み、取り込まれた画像内に、特定のオブジェクト、例えば、光源を含む特定のオブジェクトが認識されるか否かを決定し、特定のオブジェクトが認識された後にのみ、データを検出(及び/又は復号)することを開始するようにコンフィギュレーションされている、少なくとも1つのプロセッサとを備える。モバイルシステムは、単一のデバイス、例えば、カメラ付きスマートフォン、又は複数のデバイス、例えば、短距離通信を使用してスマートフォンと通信するスマートグラスを含んでもよい。例えば、特定のオブジェクトは、光源であってもよく、光源がその部分のうちの1つであるオブジェクトであってもよく、又は、1つ以上の基準マーカを含んでもよい。
本発明者らは、取り込まれた画像内に、特定のオブジェクト、例えば、可視光を介してデータを送信し得るオブジェクトが認識される場合にのみ、VLC信号を検出及び/又は復号することによって、当該タスクが、検出及び/又は復号が継続的に実行される場合よりも、少ない電力を消費することを認識している。更には、この場合カメラは、他の用途、例えば、拡張現実、及び/又は、他人と共有される写真を撮影するために使用可能であってもよく、VLC信号を受信するために更なるセンサが使用される場合には、更なるセンサは、常時オンに切り替えられている必要はない。いずれにせよ、カメラが(殆ど)継続的に、例えば、拡張現実の用途に関して使用されている場合、VLC信号の検出及び復号は、著しい追加的リソースを使用することなく実施されてもよい。
VLC信号の検出が、継続的に実行される場合であっても、取り込まれた画像内に特定のオブジェクトが認識される場合にのみ、VLC信号を復号することによって、タスクはまた、復号が継続的に実行される場合よりも、少ない電力を消費する。例えば、アクセス制御により、VLC信号を復号するために必要とされるプロトコル情報及び/又は解読キーを、モバイルシステムが取得することを禁止してもよい。この場合には、モバイルシステムは、VLC信号を(完全には)復号することができず、それゆえ、少なくとも1つのプロセッサは、より少ないリソースを消費することになる。
少なくとも1つのプロセッサは、特定のオブジェクトが認識されることを決定すると、可視光を介してデータが通信されているか否かを検出することを開始するために、更なるセンサを作動させるようにコンフィギュレーションされてもよい。VLC信号を受信するための更なるセンサ、例えば、第2のカメラ又はフォトダイオードを使用すること、並びに、他の用途、例えば、拡張現実、及び/又は他人と共有される写真を撮影することのために画像を取り込んだカメラを(継続して)使用することが、有利であり得る。更なるセンサが、継続的に作動されている必要がない場合には、電力消費が低減される。
少なくとも1つのプロセッサは、更なるセンサから受信された信号が、可視光を介して通信されるデータを含むか否かを監視するように、及び、信号が可視光を介して通信されるデータを含まないことを決定すると、更なるセンサを作動停止させるようにコンフィギュレーションされてもよい。電力消費を低減するためには、更なるセンサが、もはや必要とされない可能性が高い場合に、更なるセンサを作動停止させることが有益である。信号が、可視光を介して通信されるデータを含まない場合、更なるセンサは、その時点でもはや必要とされないと想定されてもよい。あるいは、更なるセンサは、認識されたオブジェクトを含む画像をカメラがもはや取り込まない場合に、作動停止されてもよいが、このことは、更なるセンサがカメラよりも広い視野を有する場合には、さほど有益ではない。カメラよりも広い視野を有する更なるセンサの使用は、取り込まれた単一の画像が、関連するVLC信号の全体を含まない場合に有益である。VLC信号が、特定の(その後にVLC信号が繰り返される)時間にわたって受信される必要がある場合、より広い視野を有する更なるセンサは、VLC信号を受信することをより容易にする。
少なくとも1つのプロセッサは、特定のオブジェクトが認識されることを決定すると、可視光を介してデータが通信されているか否かを検出することを開始するために、カメラの設定を変更するようにコンフィギュレーションされてもよい。Luxapose論文で開示されているように、従来のスマートフォンカメラ(CMOSイメージャが、典型的には、VLCデータを検出及び復号するために使用され得るローリングシャッター効果を提供するもの)の使用は、より低いコストを結果としてもたらしてもよく、及び/又は、カメラが他の用途に関しても使用可能であり得ることを確実にしてもよい。しかしながら、カメラの設定は、VLC信号の周波数を考慮して、通常とは異ならざるを得ない場合がある。もはやVLC信号が受信される可能性がない場合に、以前のカメラの設定に戻ることによって、カメラは、他の用途に関して、それらの他の用途に最適な設定で使用されてもよい。
少なくとも1つのプロセッサは、取り込まれた画像から、カメラによって取り込まれた別の画像から、及び/又は、更なるセンサから受信された信号から、可視光を介してデータが通信されているか否かを検出するようにコンフィギュレーションされてもよい。例えば、オブジェクトが認識され得る画像であって、かつVLC信号も同様に検出され得る画像を取り込む、カメラ及びカメラ設定が使用されてもよい。取り込まれた画像内に特定のオブジェクトが認識される場合にのみ、取り込まれた画像は、VLC信号の存在に関して分析されることになる。オブジェクトが認識可能であるが、VLC信号が検出可能ではない、取り込まれた画像を結果的にもたらす、カメラ設定が使用される場合には、VLC信号を検出及び復号するために、異なるカメラ設定で別の画像が取り込まれることが必要であり得る。カメラが、いずれの設定でもVLC信号を検出するために好適ではない場合、又は、カメラが、別の用途のために特定の設定を維持する必要がある場合には、更なるセンサが使用されてもよい。
少なくとも1つのプロセッサは、取り込まれた画像内に特定のオブジェクトが認識されるか否かを決定するために、リモートデータベースに問い合わせるようにコンフィギュレーションされてもよい。VLC信号に関連付けられている、例えば、VLC信号を送信する、1つ以上のオブジェクトの特性を、モバイルシステム自体に記憶させることも可能であり得るが、オブジェクトの集合が膨大であり、及び/又は(比較的)動的である場合には、リモートデータベースを使用することが有益である。更には、リモートデータベースは、例えば、モバイルシステムがVLC信号を復号することを許可されるか否か、又は、モバイルシステムのユーザが、復号されたVLC信号を見ることを許可されるか否かの、アクセス制御を実施することを、より容易にする。この場合には、モバイルシステムが信頼できるものであることは必須ではない。
少なくとも1つのプロセッサは、取り込まれた画像内で認識された特定のオブジェクトに関連して、いずれの情報をモバイルシステムに提供するべきかを、リモートデータベースが決定することを可能にする情報を、リモートデータベースに提供するようにコンフィギュレーションされてもよい。少なくとも1つのプロセッサは、例えば、リモートデータベースに、ユーザ識別子、グループ識別子、及び/又はパスコードを提供するようにコンフィギュレーションされてもよい。リモートデータベースによってモバイルシステムに提供される情報は、モバイルシステムから受信された情報に依存し得る。例えば、ユーザ識別子及び/又はグループ識別子が、それぞれ、取り込まれた画像内で認識された特定のオブジェクトに関連付けられている、ユーザ識別子のリスト及び/又はグループ識別子のリスト内にある場合にのみ、プロトコル情報及び/又は解読キーが、モバイルシステムに提供されてもよい。プロトコル情報及び/又は解読キーは、例えば、モバイルシステムが正しいパスキーを提供する場合にのみ、モバイルシステムに提供されてもよい。
少なくとも1つのプロセッサは、取り込まれた画像内で認識された特定のオブジェクトに関連付けられているプロトコル情報を取得するように、及び、取得されたプロトコル情報を使用して、可視光を介して通信されるデータの少なくとも一部を復号するようにコンフィギュレーションされてもよい。プロトコル情報は、例えば、VLC信号のビットが、どのようにして使用可能な情報に復号されるべきかを、定義してもよい。例えば、マンチェスタ符号化VLC信号が復号された場合、これは、多数のビットを結果的にもたらすが、それらのビットの意味は、種々のやり方で解釈可能であってもよい(例えば、それらのビットは、テキストメッセージ又はURLを形成してもよく、又は、それらのビットは、GPSの位置を形成してもよい)。全ての光源/ビーコンに関して、すなわち、全ての受信VLC信号に対して、同じプロトコル情報を使用しないことによって、モバイルシステムは、多くの異なる種類の光源/ビーコンと共に機能することが可能であり得る。
少なくとも1つのプロセッサは、取り込まれた画像内で認識された特定のオブジェクトに関連付けられている解読キーを取得するように、及び、取得された解読キーを使用して、可視光を介して通信されるデータの少なくとも一部を復号するようにコンフィギュレーションされてもよい。例えば、マンチェスタ符号化VLC信号が復号された場合には、多数のビットを結果的にもたらすが、それらのビットは、解読キーを所有している認可されたモバイルシステム/ユーザのみが、復号/閲覧することを可能にする、暗号化されたメッセージを形成してもよい。
少なくとも1つのプロセッサは、取り込まれた画像内で認識された特定のオブジェクトに関連付けられている領域情報であって、認識されたオブジェクトの領域を識別する、領域情報を取得するように、及び、可視光を介して通信されているデータを検出及び/又は復号するために、取り込まれた画像内の認識されたオブジェクトの領域のみを分析するようにコンフィギュレーションされてもよい。このことにより、VLC信号の検出及び/又は復号を単純化して、少なくとも1つのプロセッサの電力消費を低減してもよい。
少なくとも1つのプロセッサは、カメラを使用して更なる画像を取り込み、取り込まれた更なる画像内に特定のオブジェクトが認識されるか否かを決定し、取り込まれた更なる画像内に特定のオブジェクトが認識されないことを決定すると、可視光を介して通信されているデータを検出することを停止するようにコンフィギュレーションされてもよい。VLC信号を送信しているとして認識されるオブジェクトが、カメラの視野内に存在している限り、可視光を介して通信されているデータの復号及び/又は検出は、継続されてもよい。異なる情報(例えば、異なるプロトコル又は異なる領域情報)が、異なるオブジェクトに関連付けられてもよく、そのため、第2の取り込まれた画像内で、第1の取り込まれた画像内とは異なるオブジェクトが認識される場合には、その時点で、異なる情報が取得されることが必要であり得る。
少なくとも1つのプロセッサは、取り込まれた画像内の特定のオブジェクトに関連付けられている、特定の形状又は特定のパターンを認識することによって、取り込まれた画像内の特定のオブジェクトを認識するようにコンフィギュレーションされてもよい。オブジェクトは、エッジ検出の後に続く形状検出を含めた、従来のオブジェクト認識技術を使用することによって認識されてもよい。新たなVLC信号発信光ビーコンは、VLC信号発信光ビーコンのデータベースの既に一部である(例えば、照明器具又は光源の)特別な形状を有して製造されてもよい。VLC信号発信光ビーコンのデータベースはまた、既存のVLC信号発信光ビーコンに関連付けられている形状、例えば、特定の既存のモデルの光源及び/又は照明器具の形状を含んでもよい。あるいは、又は更に、容易に識別可能な特定のパターン(例えば、色、ドット、及び/又は線の配列)により、オブジェクトが(容易に)認識されることを可能にしてもよい。当該パターンは、新たなVLC信号発信光ビーコンに適用又は取り付けられる特別なパターンであってもよく、又は、既存のVLC信号発信光ビーコン上で識別可能なパターンであってもよい。
本発明の第2の態様では、可視光通信の検出(及び/又は復号)の方法は、カメラを使用して画像を取り込むステップと、取り込まれた画像内に特定のオブジェクトが認識されるか否かを決定するステップと、特定のオブジェクトが認識された後にのみ、光源によって放出された可視光を介して通信されているデータを検出(及び/又は復号)することを開始するステップとを含む。この方法は、ハードウェア及び/又はソフトウェアとして実装されてもよい。
更には、本明細書で説明される方法を実践するためのコンピュータプログラム、並びに、コンピュータプログラムを記憶している非一時的コンピュータ可読記憶媒体が提供される。コンピュータプログラムは、例えば、既存のデバイスによってダウンロードされるか、又は、既存のデバイスにアップロードされてもよく、あるいは、これらのシステムの製造時に記憶されてもよい。
非一時的コンピュータ可読記憶媒体は、少なくとも1つのソフトウェアコード部分を記憶し、ソフトウェアコード部分は、コンピュータによって実行又は処理されると、カメラを使用して画像を取り込むステップと、取り込まれた画像内に特定のオブジェクトが認識されるか否かを決定するステップと、特定のオブジェクトが認識された後にのみ、光源によって放出された可視光を介して通信されているデータを検出(及び/又は復号)することを開始するステップとを含む、実行可能動作を実行するようにコンフィギュレーションされている。
当業者には理解されるように、本発明の諸態様は、デバイス、方法、又はコンピュータプログラム製品として具現化されてもよい。したがって、本発明の諸態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、あるいは、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態を取ってもよく、それらは全て、本明細書では「回路」、「モジュール」、又は「システム」と総称されてもよい。本開示で説明される機能は、コンピュータのプロセッサ/マイクロプロセッサによって実行される、アルゴリズムとして実装されてもよい。更には、本発明の諸態様は、1つ以上のコンピュータ可読媒体として具現化されている、コンピュータプログラム製品の形態を取ってもよく、1つ以上のコンピュータ可読媒体は、その上に具現化されている、例えば記憶されている、コンピュータ可読プログラムコードを有する。
1つ以上のコンピュータ可読媒体の任意の組み合わせが、利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子、磁気、光学、電磁気、赤外線、又は半導体の、システム、装置、若しくはデバイス、あるいは、上述の任意の好適な組み合わせであってもよい。より具体的なコンピュータ可読記憶媒体の例としては、限定するものではないが、1つ以上のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(random access memory;RAM)、読み出し専用メモリ(read-only memory;ROM)、消去可能プログラマブル読み出し専用メモリ(erasable programmable read-only memory;EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(portable compact disc read-only memory;CD−ROM)、光学記憶デバイス、磁気記憶デバイス、又は上述の任意の好適な組み合わせを挙げることができる。本発明の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを含むか、又は記憶することが可能な、任意の有形媒体であってもよい。
コンピュータ可読信号媒体としては、例えばベースバンド内又は搬送波の一部として、内部に具現化されているコンピュータ可読プログラムコードを有する、伝搬データ信号を挙げることができる。そのような伝搬信号は、限定するものではないが、電磁気、光学、又はこれらの任意の好適な組み合わせを含めた、様々な形態のうちのいずれを取ってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、若しくはデバイスによって、又はそれらに関連して使用するためのプログラムを、通信、伝搬、又は伝送することが可能な、任意のコンピュータ可読媒体であってもよい。
コンピュータ可読媒体上に具現化されているプログラムコードは、限定するものではないが、無線、有線、光ファイバ、ケーブル、RFなど、又は上述の任意の好適な組み合わせを含めた、任意の適切な媒体を使用して送信されてもよい。本発明の諸態様に関する動作を実施するためのコンピュータプログラムコードは、Java(商標)、Smalltalk、C++などのオブジェクト指向プログラミング言語、及び、「C」プログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含めた、1つ以上のプログラミング言語の任意の組み合わせで書き込まれてもよい。プログラムコードは、スタンドアロン型ソフトウェアパッケージとして、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で実行されてもよく、部分的にユーザのコンピュータ上かつ部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(local area network;LAN)若しくは広域ネットワーク(wide area network;WAN)を含めた任意のタイプのネットワークを通じて、ユーザのコンピュータに接続されてもよく、又は、接続は、外部コンピュータに対して(例えば、インターネットサービスプロバイダを使用してインターネットを通じて)実施されてもよい。
本発明の実施形態による方法、装置(システム)、及びコンピュータプログラム製品の、フローチャート図及び/又はブロック図を参照して、本発明の諸態様が以下で説明される。フローチャート図及び/又はブロック図の各ブロック、並びに、フローチャート図及び/又はブロック図内のブロックの組み合わせは、コンピュータプログラム命令によって実装されることができる点が理解されるであろう。コンピュータプログラム命令は、マシンを作り出すために、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置の、プロセッサ、特にマイクロプロセッサ又は中央処理ユニット(central processing unit;CPU)に提供されてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスのプロセッサを介して実行される命令が、フローチャート及び/又はブロック図のブロック内で指定されている機能/行為を実施するための手段を作り出す。
コンピュータプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイスに、特定の方式で機能するように指示することが可能な、コンピュータ可読媒体内に記憶されてもよく、それにより、コンピュータ可読媒体内に記憶されている命令が、フローチャート及び/又はブロック図のブロック内で指定されている機能/行為を実施する命令を含む、製品を作り出す。
コンピュータプログラム命令はまた、コンピュータ実施プロセスを作り出すために、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードされて、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上で一連の動作ステップを実行させてもよく、それにより、コンピュータ又は他のプログラマブル装置上で実行される命令が、フローチャート及び/又はブロック図のブロック内で指定されている機能/行為を実施するためのプロセスを提供する。
図におけるフローチャート及びブロック図は、本発明の様々な実施形態によるデバイス、方法、及びコンピュータプログラム製品の可能な実装の、アーキテクチャ、機能性、及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定されている論理関数を実施するための1つ以上の実行可能命令を含む、コードのモジュール、セグメント、又は部分を表してもよい。また、一部の代替的実装形態では、ブロック内に記されている機能は、図に記されている順序と異なる順序で行われてもよい点にも留意されたい。例えば、連続して示されている2つのブロックは、実際には、実質的に同時に実行されてもよく、又は、それらのブロックは、関与している機能性に応じて、逆の順序で実行される場合があってもよい。また、ブロック図及び/又はフローチャート図の各ブロック、並びに、ブロック図及び/又はフローチャート図内のブロックの組み合わせは、指定されている機能若しくは行為を実行する専用ハードウェアベースのシステム、又は、専用ハードウェアとコンピュータ命令との組み合わせによって実施されることができる点にも留意されたい。
本発明のこれらの態様及び他の態様は、以下の図面から明らかであり、例として、それらの図面を参照して更に解明されるであろう。
本発明のモバイルシステムの実施形態のブロック図である。 本発明の方法のフローチャートである。 本発明の方法の第1の実施形態のフローチャートである。 本発明の方法の第2の実施形態のフローチャートである。 本発明の方法の第3の実施形態のフローチャートである。 本発明の方法の第4の実施形態のフローチャートである。 本発明の方法を例示するための、取り込まれた画像の一実施例を示す。 本発明の方法を例示するための、認識されたオブジェクトの一実施例を示す。 図3の方法の実施形態を例示するための、認識されたオブジェクトの領域の一実施例を示す。 認識可能な光源を備える光ビーコンの一実施例を示す。 認識可能なパターンを備える光ビーコンの一実施例を示す。 本発明の方法を実行するための、例示的なデータ処理システムのブロック図である。 図面中の対応する要素は、同じ参照番号によって示される。
図1は、本発明のモバイルシステムの2つの実施形態である、モバイルシステム1及びモバイルシステム11を示す。モバイルシステム1及びモバイルシステム11は、カメラ3及びプロセッサ5を備える。プロセッサ5は、カメラ3を使用して画像を取り込み、取り込まれた画像内に、特定のオブジェクト、例えば、光ビーコン15が認識されるか否かを決定し、特定のオブジェクトが認識されることに応じて、可視光を介して通信されているデータを検出及び/又は復号することを開始するようにコンフィギュレーションされている。
プロセッサ5は、取り込まれた画像から、カメラ3によって取り込まれた別の画像から、及び/又は、更なるセンサから、例えば更なるカメラから受信された信号から、可視光を介してデータが通信されているか否かを検出するようにコンフィギュレーションされてもよい。カメラセンサは、典型的には低レート(例えば、毎秒25フレーム)で、多くの画素を読み取る。しかしながら、可視光通信は、眼には不可視であるべきであり、遥かに高いレート(200Hz以上、更にはMHz)で放出されるべきである。これらの変動をカメラを使用して検出するためには、特別なカメラ、例えば、高速ダイオード画素でインタレースされる低速カメラ画素の組み合わせを使用するカメラが使用されてもよい。カメラ画素は、高速変動する光源の位置を検出する。次いで、ダイオード画素が、感知された変動を高速で読み出す。また、スマートフォン内のカメラの一般的なタイプである、既存のローリングシャッターカメラを使用することも可能であり得る。ローリングシャッターカメラでは、異なる行の読み出しの間に、わずかな遅延が存在する。このことは、高速変動する光源(又は、光効果)が、カメラの行上に異なる強度を供給し、結果として黒色及び白色の縞をもたらすことを意味する。写真を撮影する際には、カメラ処理が、このことを補償し得る。
例えば、モバイルシステム1及びモバイルシステム11は、携帯電話、例えばスマートフォンであってもよい。図1に示される実施形態では、モバイルシステム1及びモバイルシステム11は双方とも、単一のデバイスを含む。異なる実施形態では、モバイルシステムは、複数のデバイスを含んでもよく、例えば、スマートフォンがプロセッサ5を含んでもよく、スマートグラスがカメラ3を含んでもよい。
モバイルシステム1のプロセッサ5は、特定のオブジェクトが認識されることを決定すると、可視光を介してデータが通信されているか否かを検出することを開始するために、カメラ3の設定を変更するようにコンフィギュレーションされている。設定は、例えば、Luxapose論文で説明されている設定に変更されてもよい。モバイルシステム1は、通信インタフェース9を備える。モバイルシステム1のプロセッサ5は、取り込まれた画像内に特定のオブジェクトが認識されるか否かを決定するために、通信インタフェース9を使用してリモートデータベース19に問い合わせるようにコンフィギュレーションされている。
光ビーコン15が、有線又は無線ネットワーク(図示せず)に接続されている場合、光ビーコン15は、VLC信号がモバイルシステムによって検出及び/又は復号されていることを通知されてもよく、例えばモバイルシステム自体によって通知されてもよい。次いで、光ビーコン15は、例えば、モバイルシステムのユーザへの指示として、例えば、ユーザが光ビーコン15の方向に自身のモバイルシステムを向けることを望んでもよい指示として、光源の色を変更してもよい。モバイルシステムは、例えば、ZigBee、Bluetooth、又はWi−Fiを使用して、光ビーコン15に通知してもよい。
モバイルシステム1のプロセッサ5は、通信インタフェース9を使用して、リモートデータベース19に、情報、例えば、パスキー、ユーザ識別子、及び/又はグループ識別子を提供するようにコンフィギュレーションされてもよく、これにより、リモートデータベース19は、例えばアクセス制御を考慮して、取り込まれた画像内で認識された特定のオブジェクトに関連して、いずれの情報をモバイルシステム1に提供するべきかを決定することが可能となる。モバイルシステム1は、記憶手段7を備える。記憶手段7は、例えば、取り込まれた画像、並びに/あるいは、モバイルシステム1によって使用される更なるデータ及びプログラムを記憶してもよい。
モバイルシステム11は、更なるセンサ13を更に備える。モバイルシステム11のプロセッサ5は、特定のオブジェクトが認識されることを決定すると、可視光を介してデータが通信されているか否かを検出することを開始するために、更なるセンサ13を作動させるようにコンフィギュレーションされている。更なるセンサ13は、カメラ3よりも広い視野を有してもよい。更なるセンサ13は、例えば、更なるカメラ、又はフォトダイオードを含んでもよい。更なるカメラは、例えば、「LED and CMOS Image Sensor Based Optical Wireless Communication System for Automotive Applications」(Takaiら、IEEE Photonics Journal Volume 5、Number 5、2013年10月)で説明されているカメラであってもよい。
モバイルシステム11のプロセッサ5は、更なるセンサ13から受信された信号が、可視光を介して通信されるデータを含むか否かを監視するように、及び、信号が可視光を介して通信されるデータを含まないことを決定すると、更なるセンサ13を作動停止させるようにコンフィギュレーションされてもよい。モバイルシステム11は、記憶手段7を備える。記憶手段7は、例えば、取り込まれた画像、VLC信号を送信し得るオブジェクトが記録されているデータベース、並びに/又は、モバイルシステム11によって使用される更なるデータ及びプログラムを記憶してもよい。モバイルシステム11は、通信インタフェース(図示せず)、例えば、モバイルシステム1の通信インタフェース9と同様の通信インタフェースを備えてもよい。
図1に示される実施形態では、モバイルシステム1及びモバイルシステム11は、1つのプロセッサ5を備える。代替的実施形態では、モバイルシステムは、複数のプロセッサを備える。モバイルシステム1及びモバイルシステム11のプロセッサ5は、例えばARM若しくはQualcomm製の汎用プロセッサ、又は、特定用途向けプロセッサであってもよい。モバイルシステム1及びモバイルシステム11のプロセッサ5は、例えば、iOS、Windows、又はAndroidオペレーティングシステムを実行してもよい。本発明は、1つ以上のプロセッサ上で実行される、コンピュータプログラムを使用して実装されてもよい。
モバイルシステム1の通信インタフェース9は、例えば、WiFi、GPRS、EDGE、UMTS、LTE、及び/又は5G技術を使用して、通信ネットワークの基地局17と通信してもよい。基地局17は、例えば、モバイル通信ネットワークの一部、又はローカルエリアネットワークの一部であってもよい。基地局17は、インターネットに(直接、又は他の構成要素を介して)接続されてもよい。モバイルシステム1及びモバイルシステム11は、モバイルシステムに典型的な他の構成要素、例えば、バッテリ及びディスプレイを備えてもよい。外部データベース19は、例えば、インターネット上に配置されている、サーバ、例えばウェブサーバであってもよい。
一実施形態では、プロセッサ5は、取り込まれた画像内で認識された特定のオブジェクトに関連付けられているプロトコル情報を取得するように、及び、取得されたプロトコル情報を使用して、可視光を介して通信されるデータの少なくとも一部を復号するようにコンフィギュレーションされている。異なる実施形態又は同じ実施形態では、プロセッサ5は、取り込まれた画像内で認識された特定のオブジェクトに関連付けられている解読キーを取得するように、及び、取得された解読キーを使用して、可視光を介して通信されるデータの少なくとも一部を復号するようにコンフィギュレーションされている。
一実施形態では、プロセッサ5は、取り込まれた画像内で認識された特定のオブジェクトに関連付けられている領域情報であって、認識されたオブジェクトの領域を識別する、領域情報を取得するように、及び、可視光を介して通信されているデータを検出及び/又は復号するために、取り込まれた画像内の認識されたオブジェクトの領域のみを分析するようにコンフィギュレーションされている。
一実施形態では、プロセッサ5は、カメラ3を使用して更なる画像を取り込み、取り込まれた更なる画像内に特定のオブジェクトが認識されるか否かを決定し、取り込まれた更なる画像内に特定のオブジェクトが認識されないことを決定すると、可視光を介して通信されているデータを検出することを停止するようにコンフィギュレーションされている。
一実施形態では、プロセッサ5は、取り込まれた画像内の特定のオブジェクトに関連付けられている、特定の形状又は特定のパターンを認識することによって、取り込まれた画像内の特定のオブジェクトを認識するようにコンフィギュレーションされている。
本発明の可視光通信の検出及び/又は復号の方法は、少なくとも3つのステップを含む(図2を参照)。ステップ21は、カメラを使用して画像を取り込むステップを含む。ステップ23は、取り込まれた画像内に特定のオブジェクトが認識されるか否かを決定するステップを含む。ステップ25は、特定のオブジェクトが認識されることに応じて、可視光を介して通信されているデータを検出及び/又は復号するステップを含む。一実施形態では、ステップ23とステップ25との間の中間ステップは、特定のオブジェクトを、又は特定のオブジェクトが検出されたことをユーザに通知するステップと、検出及び/又は復号が開始されるべきか否かをユーザに尋ねるステップとを含んでもよい。当該実施形態では、ステップ25は、ユーザが、検出及び/又は復号が開始されるべきであることを示す場合に実行される。同じ実施形態又は異なる実施形態では、認識されたオブジェクトは、他の画像要素とは別個に、若しくは他の画像要素を伴わずに表示されるか、又は、取り込まれた画像内で強調表示される。このことにより、ユーザに、認識されたオブジェクトを認知させてもよく、例えば、可視光を介して通信されているデータが重要である(と予想される)場合には、ユーザは、カメラの視野内に、又は更なるセンサの視野内に、VLC信号が留まることを確実にするために、停止することを決定してもよい。このことは、例えば、上述の中間ステップの一部として行われてもよい。
取り込まれた画像の一実施例が、図7に示される。取り込まれた画像71は、光ビーム75を放出する灯台73を示している。灯台73の画像、又は灯台73の1つ以上の特徴(例えば、形状)は、例えば、VLC信号を送信し得るオブジェクトが記録されているデータベース内に記憶されてもよい。ステップ23で、灯台73は、例えば、図8に示されるように、取り込まれた画像71内の光ビーコンとして認識されてもよい。
本方法の第1の実施形態では、ステップ21及びステップ23の後に、ステップ31が続く(図3を参照)。ステップ31は、認識されたオブジェクトに領域情報が関連付けられているか否かを決定するステップを含む。認識されたオブジェクトに領域情報が関連付けられている場合には、ステップ33が実行される。ステップ33の後、ステップ35が実行される。認識されたオブジェクトに領域情報が関連付けられていない場合には、ステップ33はスキップされる。
ステップ33は、取り込まれた画像内で認識された特定のオブジェクトに関連付けられている、領域情報を取得するステップを含む。領域情報は、認識されたオブジェクトの領域、好ましくは光ビーコンの光源を識別する。図9は、光ビーコンとして認識されている灯台73の一実施例を示し、領域95は、灯台73の光源に対応している。
図3の実施形態では、ステップ25(図2を参照)は、ステップ35及びステップ37を含む。ステップ35は、可視光を介して通信されているデータを検出するために、取り込まれた画像71内の認識されたオブジェクト、すなわち灯台73の、領域95のみを分析するステップを含む。そのようなデータが検出される場合には、ステップ37が次に実行される。ステップ37は、データを復号するステップを含む。そのようなデータが検出されない場合には、本方法は、ステップ37に進む代わりに、ステップ21に戻る。ステップ37が実行された後、本方法は、ステップ21に戻る。
本方法の第2の実施形態では、ステップ21及びステップ23の後に、ステップ41が続く(図4を参照)。ステップ41は、認識されたオブジェクトにプロトコル情報が関連付けられているか否かを決定するステップを含む。認識されたオブジェクトにプロトコル情報が関連付けられている場合には、ステップ43が実行される。ステップ43は、認識されたオブジェクトに関連付けられている、プロトコル情報を取得するステップを含む。ステップ43の後、ステップ45が実行される。認識されたオブジェクトにプロトコル情報が関連付けられていない場合には、ステップ43はスキップされる。
図4の実施形態では、ステップ25(図2を参照)は、ステップ45及びステップ47を含む。ステップ45は、可視光を介して通信されているデータを検出するために、取り込まれた画像を分析するステップを含む。そのようなデータが検出される場合には、ステップ47が次に実行される。ステップ47は、データを復号するステップを含む。ステップ43で、プロトコル情報が取得された場合には、プロトコル情報は、可視光を介して通信されているデータを復号するために使用される。ステップ45で、そのようなデータが検出されない場合には、本方法は、ステップ47に進む代わりに、ステップ21に戻る。ステップ47が実行された後、本方法は、ステップ21に戻る。
本方法の第3の実施形態(図5を参照)では、ステップ21、ステップ23、ステップ41、及びステップ43は、第2の実施形態の場合と同じであるが、ステップ25は、ステップ45及びステップ47の代わりに、ステップ51及びステップ53を含む。ステップ51は、更なるセンサ、例えば、フォトダイオード、又はVLC信号の受信に特化されたカメラを使用して、可視光を介して通信されているデータを検出するステップを含む。そのようなデータが検出される場合には、ステップ53が次に実行される。ステップ53は、更なるセンサを使用してステップ51で検出されたデータを、復号するステップを含む。ステップ43でプロトコル情報が取得された場合には、プロトコル情報は、可視光を介して通信されているデータを復号するために使用される。ステップ51でそのようなデータが検出されない場合には、本方法は、ステップ53に進む代わりに、ステップ21に戻る。ステップ53が実行された後、本方法は、ステップ21に戻る。
本方法の第4の実施形態では、ステップ21及びステップ23の前に、ステップ51が先行する(図6を参照)。ステップ51は、更なるセンサ、例えばフォトダイオードを使用して、可視光を介してデータが通信されているか否かを検出するステップを含む。当該実施形態では、更なるセンサは、例えば、継続的に作動されてもよい。ステップ21及びステップ23は、可視光を介して通信されているデータが、ステップ51で検出される場合に実行される。そのようなデータが検出されない場合には、ステップ51が繰り返される。
ステップ21及びステップ23の後に、ステップ61が続く。ステップ61は、認識されたオブジェクトに解読キーが関連付けられているか否かを決定するステップを含む。認識されたオブジェクトに解読キーが関連付けられている場合には、ステップ63が実行される。ステップ63は、認識されたオブジェクトに関連付けられている、解読キーを取得するステップを含む。ステップ63の後、ステップ65が実行される。認識されたオブジェクトに解読キーが関連付けられていない場合には、ステップ63はスキップされる。
図6の実施形態では、ステップ25(図2を参照)は、ステップ65を含む。ステップ65は、更なるセンサを使用してステップ51で検出されたデータを復号するステップを含む。ステップ63で、解読キーが取得された場合には、当該キーは、ステップ65で、可視光を介して通信されているデータを復号するために使用される。ステップ65が実行された後、本方法は、ステップ51に戻る。
図7に示される取り込まれた画像71の実施例では、認識されたオブジェクトは、それ自体が光源ではない。あるいは、又は更に、光ビーコンの光源を認識することが可能であってもよい。例えば、ランプ101は、ウサギの頭の形状を有する、光源103を含む(図10を参照)。光源103の形状が、認識可能であってもよい。
特定のオブジェクトに関連付けられている特定の形状を認識する代わりに、又はそれに加えて、特定のオブジェクトに関連付けられている特定のパターン若しくはテクスチャが認識されてもよい。例えば、都市案内標識111は、特定のパターン又はロゴを有する頂部119を含んでもよい(図11を参照)。都市案内標識111は、経路表示器113及び経路表示器115、並びにVLC信号を送信する光源117を更に含む。
図12は、図2〜図6を参照して説明されたような方法を実行し得る、例示的なデータ処理システムを示すブロック図を示す。
図12に示されるように、データ処理システム300は、システムバス306を介してメモリ要素304に結合されている、少なくとも1つのプロセッサ302を含んでもよい。それゆえ、データ処理システムは、メモリ要素304内にプログラムコードを記憶してもよい。更には、プロセッサ302は、システムバス306を介してメモリ要素304からアクセスされるプログラムコードを実行してもよい。一態様では、データ処理システムは、プログラムコードを記憶及び/又は実行するために好適な、コンピュータとして実装されてもよい。しかしながら、データ処理システム300は、本明細書内で説明される機能を実行することが可能な、プロセッサ及びメモリを含む任意のシステムの形態で実装されてもよい点を理解されたい。
メモリ要素304は、例えば、ローカルメモリ308及び1つ以上の大容量記憶デバイス310などの、1つ以上の物理メモリデバイスを含んでもよい。ローカルメモリとは、プログラムコードの実際の実行中に一般に使用される、ランダムアクセスメモリ又は他の非永続的メモリデバイスを指してもよい。大容量記憶デバイスは、ハードドライブ又は他の永続的データ記憶デバイスとして実装されてもよい。処理システム300はまた、実行中に大容量記憶デバイス310からプログラムコードが取得されなければならない回数を低減するために、少なくとも一部のプログラムコードの一時記憶を提供する、1つ以上のキャッシュメモリ(図示せず)を含んでもよい。
入力デバイス312及び出力デバイス314として示される、入出力(input/output;I/O)デバイスが、オプションとして、データ処理システムに結合されることができる。入力デバイスの例としては、限定するものではないが、キーボード、マウスなどのポインティングデバイスなどを挙げることができる。出力デバイスの例としては、限定するものではないが、モニタ又はディスプレイ、スピーカなどを挙げることができる。入力デバイス及び/又は出力デバイスは、直接、又は介在I/Oコントローラを介して、データ処理システムに結合されてもよい。
一実施形態では、入力デバイス及び出力デバイスは、複合型入力/出力デバイス(入力デバイス312及び出力デバイス314を取り囲む破線で図12に示されるもの)として実装されてもよい。そのような複合型デバイスの一例は、「タッチスクリーンディスプレイ」又は単に「タッチスクリーン」と称される場合もある、タッチ感知ディスプレイである。そのような実施形態では、デバイスへの入力は、タッチスクリーンディスプレイ上、又はタッチスクリーンディスプレイの近くでの、例えばスタイラス又はユーザの指などの、物理的実体の移動によって提供されてもよい。
ネットワークアダプタ316もまた、データ処理システムに結合されて、介在する私設ネットワーク又は公衆ネットワークを介して、そのデータ処理システムが、他のシステム、コンピュータシステム、リモートネットワークデバイス、及び/又はリモート記憶デバイスに結合されることを可能にしてもよい。ネットワークアダプタは、上述のシステム、デバイス、及び/又はネットワークによってデータ処理システム300に送信されるデータを受信するための、データ受信機と、データ処理システム300から上述のシステム、デバイス、及び/又はネットワークにデータを送信するための、データ送信機とを含んでもよい。モデム、ケーブルモデム、及びEthernetカードは、データ処理システム300と共に使用されてもよい、種々のタイプのネットワークアダプタの例である。
図12に示されるように、メモリ要素304は、アプリケーション318を記憶してもよい。様々な実施形態では、アプリケーション318は、ローカルメモリ308、1つ以上の大容量記憶デバイス310内に記憶されてもよく、あるいは、ローカルメモリ及び大容量記憶デバイスとは別個であってもよい。データ処理システム300は、アプリケーション318の実行を容易にすることが可能なオペレーティングシステム(図12には示さず)を、更に実行してもよい点を理解されたい。アプリケーション318は、実行可能プログラムコードの形態で実装されており、データ処理システム300によって、例えばプロセッサ302によって、実行されることができる。アプリケーションの実行に応答して、データ処理システム300は、本明細書で説明される1つ以上の動作又は方法ステップを実行するようにコンフィギュレーションされてもよい。
本発明の様々な実施形態は、コンピュータシステムと共に使用するためのプログラム製品として実装されてもよく、プログラム製品のプログラムは、(本明細書で説明される方法を含めた)実施形態の機能を定義する。一実施形態では、プログラムは、様々な非一時的コンピュータ可読記憶媒体上に含まれることができ、本明細書で使用されるとき、「非一時的コンピュータ可読記憶媒体」という表現は、全てのコンピュータ可読媒体を含むが、唯一の例外は一時的な伝搬信号である。別の実施形態では、プログラムは、様々な一時的コンピュータ可読記憶媒体上に含まれることができる。例示的なコンピュータ可読記憶媒体としては、限定するものではないが、(i)情報が永続的に記憶される、書き込み不可記憶媒体(例えば、CD−ROMドライブによって読み取り可能なCD−ROMディスク、ROMチップ、又は任意のタイプの不揮発性固体半導体メモリなどの、コンピュータ内部の読み出し専用メモリデバイス)、及び(ii)変更可能な情報が記憶される、書き込み可能記憶媒体(例えば、フラッシュメモリ、ディスケットドライブ若しくはハードディスクドライブ内部のフロッピーディスク、又は任意のタイプのランダムアクセス固体半導体メモリ)が挙げられる。コンピュータプログラムは、本明細書で説明されるプロセッサ302上で実行されてもよい。
本明細書で使用される用語法は、特定の実施形態を説明することのみを目的とするものであり、本発明を限定することを意図するものではない。本明細書で使用されるとき、単数形「a」、「an」、及び「the」は、文脈がそうではないことを明確に示さない限り、複数形も含むことが意図される。本明細書で使用されるとき、用語「含む(comprises)」及び/又は「含んでいる(comprising)」は、記述された特徴、整数、ステップ、動作、要素、及び/又は構成要素の存在を指すものであるが、1つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び/又はそれらの群の存在若しくは追加を排除するものではない点が、更に理解されるであろう。
以下の請求項における全てのミーンズプラスファンクション又はステッププラスファンクションの要素の、対応する構造、材料、行為、及び均等物は、具体的に特許請求される他の特許請求要素と組み合わせて機能を実行するための、任意の構造、材料、又は行為を含むことが意図される。本発明の実施形態の説明は、例示を目的として提示されてきたが、網羅的であるか、又は開示された形態の実装形態に限定されることを意図するものではない。本発明の範囲及び趣旨から逸脱することなく、多くの修正形態及び変形形態が当業者には明らかとなるであろう。実施形態は、本発明の原理及び一部の実際的応用を最良に説明し、想到される特定の用途に適するような様々な修正を有する様々な実施形態に関して、他の当業者が本発明を理解することを可能にするために、選択及び説明されるものとした。

Claims (14)

  1. 光源によって放出された可視光を介して通信されているデータを検出するようにコンフィギュレーションされている、モバイルシステムであって、
    カメラと、
    前記カメラを使用して画像を取り込み、取り込まれた前記画像内に特定のオブジェクトが認識されるか否かをリモートデータベースに問い合わせることにより決定し、前記特定のオブジェクトが認識された後にのみ、前記データを検出することを開始するようにコンフィギュレーションされている、少なくとも1つのプロセッサと、を備える、モバイルシステム。
  2. 前記少なくとも1つのプロセッサが、前記特定のオブジェクトが認識されることを決定すると、可視光を介してデータが通信されているか否かを検出することを開始するために、更なるセンサを作動させるようにコンフィギュレーションされている、請求項1に記載のモバイルシステム。
  3. 前記少なくとも1つのプロセッサが、前記更なるセンサから受信された信号が、可視光を介して通信されるデータを含むか否かを監視するように、及び、前記信号が可視光を介して通信されるデータを含まないことを決定すると、前記更なるセンサを作動停止させるようにコンフィギュレーションされている、請求項2に記載のモバイルシステム。
  4. 前記更なるセンサが、前記カメラよりも広い視野を有する、請求項2又は3に記載のモバイルシステム。
  5. 前記少なくとも1つのプロセッサが、前記特定のオブジェクトが認識されることを決定すると、可視光を介してデータが通信されているか否かを検出することを開始するために、前記カメラの設定を変更するようにコンフィギュレーションされている、請求項1乃至4のいずれか一項に記載のモバイルシステム。
  6. 前記少なくとも1つのプロセッサが、前記カメラによって取り込まれた別の画像から、及び/又は、更なるセンサから受信された信号から、可視光を介してデータが通信されているか否かを検出するようにコンフィギュレーションされている、請求項1乃至5のいずれか一項に記載のモバイルシステム。
  7. 前記少なくとも1つのプロセッサが、前記取り込まれた画像内で認識された特定のオブジェクトに関連して、いずれの情報を前記モバイルシステムに提供するべきかを、前記リモートデータベースが決定することを可能にする情報を、前記リモートデータベースに提供するようにコンフィギュレーションされている、請求項1乃至6のいずれか一項に記載のモバイルシステム。
  8. 前記少なくとも1つのプロセッサが、前記取り込まれた画像内で認識された前記特定のオブジェクトに関連付けられているプロトコル情報を取得するように、及び、取得された前記プロトコル情報を使用して、前記可視光を介して通信されるデータの少なくとも一部を復号するようにコンフィギュレーションされている、請求項1乃至のいずれか一項に記載のモバイルシステム。
  9. 前記少なくとも1つのプロセッサが、前記取り込まれた画像内で認識された前記特定のオブジェクトに関連付けられている解読キーを取得するように、及び、取得された前記解読キーを使用して、前記可視光を介して通信されるデータの少なくとも一部を復号するようにコンフィギュレーションされている、請求項1乃至のいずれか一項に記載のモバイルシステム。
  10. 前記少なくとも1つのプロセッサが、前記取り込まれた画像内で認識された前記特定のオブジェクトに関連付けられている領域情報であって、認識された前記オブジェクトの領域を識別する、領域情報を取得するように、及び、前記可視光を介して通信されているデータを検出及び/又は復号するために、取り込まれた画像内の前記認識されたオブジェクトの前記領域のみを分析するようにコンフィギュレーションされている、請求項1乃至のいずれか一項に記載のモバイルシステム。
  11. 前記少なくとも1つのプロセッサが、前記カメラを使用して更なる画像を取り込み、取り込まれた前記更なる画像内に特定のオブジェクトが認識されるか否かを決定し、前記取り込まれた更なる画像内に特定のオブジェクトが認識されないことを決定すると、可視光を介して通信されているデータを検出することを停止するようにコンフィギュレーションされている、請求項1乃至10のいずれか一項に記載のモバイルシステム。
  12. 前記少なくとも1つのプロセッサが、前記取り込まれた画像内の特定のオブジェクトに関連付けられている、特定の形状又は特定のパターンを認識することによって、前記取り込まれた画像内の特定のオブジェクトを認識するようにコンフィギュレーションされている、請求項1乃至11のいずれか一項に記載のモバイルシステム。
  13. 可視光通信の検出の方法であって、
    カメラを使用して画像を取り込むステップと、
    取り込まれた前記画像内に特定のオブジェクトが認識されるか否かをリモートデータベースに問い合わせることにより決定するステップと、
    前記特定のオブジェクトが認識された後にのみ、光源によって放出された可視光を介して通信されているデータを検出することを開始するステップと、
    を含む、方法。
  14. 少なくとも1つのソフトウェアコード部分を含むコンピュータプログラム若しくはコンピュータプログラム一式、又は、少なくとも1つのソフトウェアコード部分を記憶しているコンピュータプログラムであって、前記ソフトウェアコード部分が、コンピュータシステム上で実行されると、請求項13に記載の方法が実行されることを可能にするようにコンフィギュレーションされている、コンピュータプログラム若しくはコンピュータプログラム一式又はコンピュータプログラム。
JP2019528719A 2016-11-29 2017-11-22 可視光通信の検出及び/又は復号 Active JP6986079B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16201065.6 2016-11-29
EP16201065 2016-11-29
PCT/EP2017/080019 WO2018099779A1 (en) 2016-11-29 2017-11-22 Visible light communication detecting and/or decoding.

Publications (3)

Publication Number Publication Date
JP2020504490A JP2020504490A (ja) 2020-02-06
JP2020504490A5 JP2020504490A5 (ja) 2021-01-07
JP6986079B2 true JP6986079B2 (ja) 2021-12-22

Family

ID=57460329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528719A Active JP6986079B2 (ja) 2016-11-29 2017-11-22 可視光通信の検出及び/又は復号

Country Status (5)

Country Link
US (1) US11817900B2 (ja)
EP (1) EP3549279A1 (ja)
JP (1) JP6986079B2 (ja)
CN (1) CN110024307B (ja)
WO (1) WO2018099779A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706318B2 (en) * 2017-12-12 2020-07-07 Intel Corporation Systems, apparatus, and methods to improve object recognition
CN115989719A (zh) 2020-09-01 2023-04-18 昕诺飞控股有限公司 使用照明单元执行可见光通信
WO2024013159A1 (en) * 2022-07-12 2024-01-18 Signify Holding B.V. A method of a system for determining a position of a mobile terminal device relative a coverage area of an optical wireless communication module

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400482B1 (en) * 1998-04-15 2002-06-04 Talking Lights, Llc Communication system
GB0408122D0 (en) * 2004-04-13 2004-05-19 Koninkl Philips Electronics Nv Improvements relating to reception in optical networks
US20050265731A1 (en) * 2004-05-28 2005-12-01 Samsung Electronics Co.; Ltd Wireless terminal for carrying out visible light short-range communication using camera device
US8582973B2 (en) * 2005-09-13 2013-11-12 Nikon Corporation Data communication apparatus, electronic camera, and data communication system
JP2007228512A (ja) * 2006-02-27 2007-09-06 Kyocera Corp 可視光通信システムおよび情報処理装置
JP4265662B2 (ja) * 2007-02-06 2009-05-20 株式会社デンソー 車両用通信装置
JP2008244660A (ja) * 2007-03-26 2008-10-09 Nec Corp 撮影画像から自動的に関連情報を取得する画像解析システム、携帯端末、方法、およびプログラム
CN101383004A (zh) * 2007-09-06 2009-03-11 上海遥薇实业有限公司 一种红外和可见光图像相结合的乘客目标检测方法
JP4932751B2 (ja) * 2008-01-25 2012-05-16 シャープ株式会社 端末装置、通信システム、通信方法、通信プログラム、ならびに記録媒体
JP2011009805A (ja) * 2009-06-23 2011-01-13 Nalux Co Ltd 光無線通信端末装置、光無線通信システム、光無線通信方法、およびプログラム
US20120121271A1 (en) * 2010-11-12 2012-05-17 Wood Thomas H Method And Apparatus Of Free-Space Optical Signal Reception Having Enhanced Performance In Scattering Environments
JP2012133258A (ja) * 2010-12-24 2012-07-12 Sanyo Electric Co Ltd 電子カメラ
KR20120076886A (ko) * 2010-12-30 2012-07-10 주식회사 팬택 복수개의 수광센서를 포함하는 광 수신 장치 및 방법
KR20130008422A (ko) * 2011-07-12 2013-01-22 삼성전자주식회사 조도 센서를 이용한 가시광 통신 방법 및 이를 위한 이동 통신 단말
US9450671B2 (en) * 2012-03-20 2016-09-20 Industrial Technology Research Institute Transmitting and receiving apparatus and method for light communication, and the light communication system thereof
WO2014019526A1 (zh) * 2012-07-31 2014-02-06 深圳光启创新技术有限公司 可见光的加密方法、解密方法、通信装置及通信系统
JP6062214B2 (ja) * 2012-11-06 2017-01-18 株式会社小糸製作所 路車間通信システムおよび送受信装置
US8942564B2 (en) * 2012-11-07 2015-01-27 Qualcomm Incorporated Methods and apparatus for communicating information using visible light signals and/or radio signals
US9407367B2 (en) * 2013-04-25 2016-08-02 Beijing Guo Cheng Wan Tong Information Co. Ltd Methods and devices for transmitting/obtaining information by visible light signals
JP6183802B2 (ja) * 2013-06-04 2017-08-23 ユニバーリンク株式会社 可視光受信方法及びその装置
MX349197B (es) 2013-07-04 2017-07-18 Philips Lighting Holding Bv Determinacion de distancia o posicion.
JP6184776B2 (ja) * 2013-07-04 2017-08-23 ローム株式会社 可視光通信システム
CN103402044A (zh) * 2013-08-07 2013-11-20 重庆大学 一种基于多源视频融合的目标识别与跟踪系统
JP6271911B2 (ja) * 2013-08-26 2018-01-31 キヤノン株式会社 撮像装置及びその制御方法、デフォーカス量算出方法
JP6147161B2 (ja) * 2013-10-03 2017-06-14 三菱電機株式会社 撮像装置、情報表示装置及び情報処理システム
WO2015075937A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
US20150200788A1 (en) 2013-11-27 2015-07-16 Christopher Todd Thomas Automated device identification
US20150311977A1 (en) * 2013-12-16 2015-10-29 Qualcomm Incorporated Methods and apparatus for configuring an image sensor for decoding high frequency visible light communication signals
CN103905117A (zh) * 2014-04-23 2014-07-02 成都怡康科技有限公司 基于有摄像头的智能手机的无线数据通信方法
KR20160041147A (ko) * 2014-10-06 2016-04-18 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
CH710280A1 (de) 2014-10-24 2016-04-29 Elesta Gmbh Verfahren sowie Auswertegerät zur Auswertung von Signalen einer LED-Zustandsanzeige.
US10267675B2 (en) * 2014-12-05 2019-04-23 Monash University Multi-directional optical receiver
KR20160144665A (ko) * 2015-06-09 2016-12-19 에스케이플래닛 주식회사 객체 인식 및 데이터베이스 매칭 결과를 표시하는 사용자 장치, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN105306796A (zh) * 2015-10-10 2016-02-03 安霸半导体技术(上海)有限公司 具有定期红外照明和全局快门cmos传感器的夜视设备
US10158425B2 (en) * 2016-09-14 2018-12-18 Qualcomm Incorporated Methods and systems for adjusting an orientation of a light sensor
US10284293B2 (en) * 2016-09-23 2019-05-07 Qualcomm Incorporated Selective pixel activation for light-based communication processing
US20180098215A1 (en) * 2016-09-30 2018-04-05 Richard D. Roberts Data processing and authentication of light communication sources
US10495467B2 (en) * 2017-07-28 2019-12-03 Qualcomm Incorporated Positioning with interleaved VLC signals

Also Published As

Publication number Publication date
US20190319706A1 (en) 2019-10-17
CN110024307B (zh) 2023-06-27
EP3549279A1 (en) 2019-10-09
WO2018099779A1 (en) 2018-06-07
JP2020504490A (ja) 2020-02-06
US11817900B2 (en) 2023-11-14
CN110024307A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
KR102726222B1 (ko) 비디오 스트림의 이미지 세그먼트화 및 수정
US8380246B2 (en) Connecting mobile devices via interactive input medium
KR102489402B1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
US9257035B2 (en) Remote control device, remote control system, and storage medium storing control program, and medium to be attached to electrical device
US20170038912A1 (en) Information providing device
JPWO2016157600A1 (ja) 距離画像取得装置及び距離画像取得方法
KR102325323B1 (ko) 전자 장치와 조명 장치의 페어링 방법 및 장치
US10177848B1 (en) Visual light communication using starburst or haze of the light source
JP6986079B2 (ja) 可視光通信の検出及び/又は復号
KR102345777B1 (ko) 광학 카메라 통신(occ) 기반 차량 위치 판단 방법 및 장치
US10582108B2 (en) Method and system for enabling control, by a control device, of a video camera in a video surveillance system
US10072934B2 (en) Passive marking on light fixture detected for position estimation
JP2019148940A (ja) 学習処理方法、サーバ装置及び反射検知システム
JP2005136665A (ja) データ信号の送信方法と受信方法及びその装置、システム、プログラム並びに記録媒体
US11501528B1 (en) Selector input device to perform operations on captured media content items
RU2602829C2 (ru) Оценка признаков управления от устройства дистанционного управления с камерой
KR101865459B1 (ko) 시각적 식별의 구현 방법, 장치 및 시스템
EP3912435B1 (en) Receiving light settings of light devices identified from a captured image
US12131221B2 (en) Fast data accessing system using optical beacons
US11275910B2 (en) Object identification system and method
CN111656766B (zh) 用于基于图像的服务的设备
US20170031586A1 (en) Terminal device, system, method of information presentation, and program
CN104375641A (zh) 一种控制方法及电子设备
KR20150006705A (ko) 디스플레이 장치의 동작 방법
US11044013B2 (en) Selecting from content items associated with different light beacons

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211126

R150 Certificate of patent or registration of utility model

Ref document number: 6986079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250