JP6407975B2 - 符号化光の検出 - Google Patents

符号化光の検出 Download PDF

Info

Publication number
JP6407975B2
JP6407975B2 JP2016514437A JP2016514437A JP6407975B2 JP 6407975 B2 JP6407975 B2 JP 6407975B2 JP 2016514437 A JP2016514437 A JP 2016514437A JP 2016514437 A JP2016514437 A JP 2016514437A JP 6407975 B2 JP6407975 B2 JP 6407975B2
Authority
JP
Japan
Prior art keywords
exposure time
light
camera
frequency
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016514437A
Other languages
English (en)
Other versions
JP2016524853A (ja
JP2016524853A5 (ja
Inventor
ステファヌス ヨセフ ヨハネス ナイセン
ステファヌス ヨセフ ヨハネス ナイセン
ブルアイン フレデリック ジャン デ
ブルアイン フレデリック ジャン デ
トマソ グリッティ
トマソ グリッティ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of JP2016524853A publication Critical patent/JP2016524853A/ja
Publication of JP2016524853A5 publication Critical patent/JP2016524853A5/ja
Application granted granted Critical
Publication of JP6407975B2 publication Critical patent/JP6407975B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device

Description

本開示は、カメラを使用して符号化光成分を検出することに関する。
符号化光は、発光体によって放たれる可視光内に信号が埋め込まれる技法を指す。従って光は、(概して光の主目的である)部屋等の対象環境を照らすための可視照明の寄与度と、その環境内に情報を与えるための埋込信号との両方を含む。これを行うために、特定の変調周波数で光が変調されている。
最も単純な事例の一部では、信号が所与の発光体からの光において変調された単一の波形、更には単一のトーンを含み得る。複数の発光体のそれぞれによって放たれる光は、それらの発光体の間で一意の異なる個々の変調周波数で変調されても良く、変調周波数は発光体又は発光体の光の識別情報の役割を果たし得る。例えばこの識別情報は、各発光体からの寄与度を識別するために試運転段階で使用されても良く、又は発光体を識別して制御するために動作中に使用され得る。別の例では、発光体の知られている位置又はその位置に関連する情報に識別情報をマップすることにより、識別がナビゲーション又は他の位置情報機能に使用され得る。
他の事例では、より複雑なデータを含む信号が光の中に埋め込まれる場合がある。例えば、周波数キーイングを使用し、所与の発光体が2つ(又はそれ以上)の異なる変調周波数上で放射し、様々な変調周波数を切り替えることによりデータビット(又はより広くは記号)を伝送するように動作可能である。同一環境内で複数のかかる発光体が放射する場合、各発光体が異なる個々の複数の周波数を使用して自らの個々のキーイングを行うように構成され得る。
国際公開第2012/127439号は、携帯電話やタブレット等のモバイル装置内に大抵統合される通常の「ローリングシャッター」型カメラを用いて符号化光が検出され得る技法を開示する。ローリングシャッターカメラでは、カメラの画像捕捉要素が複数のライン(典型的には水平ライン、即ち行)に分けられ、それらのラインはラインごとに順に露光される。つまり、所与のフレームを捕捉するために、最初の1ラインが対象環境内の光にさらされ、シーケンス内の次のラインが僅かに後の時点で露光され、その後も同様に続く。典型的には、シーケンスがフレームにわたって順に、例えば行単位で上から下に「ロール」し、そのため「ローリングシャッター」という名前で呼ばれる。符号化光を捕捉するために使用される場合、フレーム内の異なるラインが光を異なる時点において捕捉することを意味し、従ってラインレートが変調周波数に対して十分高い場合、変調波形の様々な位相において捕捉することを意味する。従って、光の中の変調が検出され得る。
符号化光の検出器としてカメラが使用される場合、そのカメラの露光時間がカメラの伝達関数の周波数スペクトル内のブラインドスポットを引き起こす。事実上、そのカメラは、符号化光源によって送出され得る可能な全ての変調周波数を受け取ることができない可能性がある。
本明細書で開示される一態様によれば、カメラによって捕捉される光を表す画像データを受け取るための入力部と、或る変調周波数で変調された光の中の符号化光成分を検出するための画像解析モジュールとを含む装置が提供される。カメラは関連する露光時間を有し、光は、それぞれが露光時間の時期にわたって持続する一連の露光の間中捕捉される。画像解析モジュールによって行われる検出は、前述の露光時間の影響による周波数ブラインドスポットに見舞われる。これに対処するために、本装置は、露光時間に影響を及ぼすカメラの1つ又は複数のパラメータを制御するための出力部と、変調周波数が周波数ブラインドスポットに対応するのを避けるために1つ又は複数のパラメータを制御するように構成されるコントローラとを備える。
例えばローリングシャッターカメラ又は同様のカメラでは、光がフレームのシーケンス上で捕捉され、各フレーム内では、フレーム内の空間部分(典型的にはライン)のシーケンスを露光することによって光が捕捉される。シーケンス内の空間部分のそれぞれは、露光時間の時期にわたって光を当てられ、この露光時間が周波数領域内のブラインドスポットを引き起こす。
周波数ブラインドスポットの問題は、様々な露光時間を使用して画像を捕捉することによって解決され得る。例えば、様々なフレーム内で異なる露光時間を用いて2つ以上の異なるフレームが捕捉されても良い。それらの様々な画像に符号化光検出が適用されるとき、例えその変調周波数がそれらの画像の1つ又は複数の他の画像を捕捉するために使用される露光時間によって引き起こされる検出不能なブラインドスポットに入っても、符号化光成分がそれらの画像の少なくとも1つの中で見つかる。
露光時間は、露光時間に直接影響を及ぼす明確な時間設定値を用いて、又は露光時間に間接的に影響を及ぼす他のパラメータ、例えば露光指数、「ISO」設定値、(露光時間設定値とは異なる)露光値設定値、又は関心領域設定値によって制御され得る。
実施形態では、符号化光成分がその内部で検出される画像をもたらす設定の値が見つかると、将来の検出のためにその値が記憶され得る。或いは、(例えば様々な環境又は状況内に様々な変調周波数があり得るという事実に対処するために)検出が行われる度にコントローラが引き続き複数の値を試みても良い。
実施形態では、検出過程が複数のブラインドスポットを有する場合があり、且つ/又は環境内に複数の変調周波数があり得る。従って、露光時間を制御して変調周波数がブラインドスポットの何れかに含まれるのを避ける(即ち変調周波数がどのブラインドスポットにも含まれない)ように、及び/又は複数の変調周波数の何れかがブラインドスポットに含まれるのを避ける(即ち複数の変調周波数のどれも任意のブラインドスポットに含まれない)ようにコントローラが構成され得る。
本明細書で開示される別の態様によれば、コンピュータ可読媒体上に具体化され、本明細書で開示される検出装置の動作の何れかを実行時に行うように構成されるコンピュータプログラム製品が提供され得る。
本明細書で開示される実施形態をより良く理解し、それらの実施形態が実行され得る方法を示すために添付図面が参照される。
照明システム及びカメラを含む空間を概略的に示す。 符号化光を受け取るためのカメラを有する装置の概略的ブロック図である。 ローリングシャッターカメラの画像捕捉要素を概略的に示す。 ローリングシャッターによる変調光の捕捉を概略的に示す。 ローリングシャッターによる捕捉過程のタイミング図の一例である。 時間領域内の伝達関数の一例を示す。 周波数領域内の伝達関数の一例を示す。 周波数領域内の伝達関数の更なる例を示す。
図1は、本明細書で開示される実施形態が導入され得る環境2の一例を示す。例えばこの環境は、オフィス、自宅、学校、病院、美術館、若しくは他の屋内空間の1つ又は複数の部屋及び/若しくは廊下、公園、街路、競技場等の屋外空間、又は展望台や車両の内部等の別の種類の空間を含み得る。環境2には、1つ又は複数の発光体の形を取る1つ又は複数の照明装置4を含む照明システムが導入されている。2つの発光体4i及び4iiが例示目的で図示されているが、他の数量があっても良いことが理解されよう。発光体は、中央制御下で又は別個の独立型ユニットとして実装され得る。環境2内にはユーザ端末6、好ましくはスマートフォンやタブレット等のモバイル装置もある。
各発光体4は、光を放つためのLED、LEDアレイ、蛍光灯等の照明要素を含む。発光要素は、ランプ又は光源と呼ばれる場合もある。1つ又は複数の発光体のそれぞれの照明要素によって放たれる光は、変調周波数で符号化光成分によって変調される。例えば変調は、正弦波、矩形波、又は他の波形の形を取ることができる。正弦波の場合、変調が周波数領域内の単一のトーンを含む。矩形波等の別の波形の場合、変調が周波数領域内の基本波と一連の高調波とを含む。概して変調周波数とは、変調の単一周波数又は基本周波数、即ちその間に波形が繰り返される期間の周波数を指す。
実施形態では、同一環境2内には複数の発光体4i、4iiがあっても良く、それらの発光体は、個々の照明要素から放たれる光の中の、個々の変調周波数で変調される異なるそれぞれの符号化光成分を埋め込むようにそれぞれ構成される。或いは、又は加えて、所与の発光体4は、例えばその発光体がデータを埋め込むために周波数キーイングを使用できるようにするために、その同一発光体の照明要素によって放たれる光の中に2つ以上の符号化光成分をそれぞれ異なる個々の変調周波数で埋め込むように構成され得る。同一環境2内の2つ以上の発光体4が、全て異なるそれぞれの変調周波数にある2つ以上の個々の符号化光成分によって変調された光をそれぞれ放つことも可能である。即ち、第1の発光体4iは、複数のそれぞれの変調周波数において第1の複数の符号化光成分を放つことができ、第2の発光体4iiは、第2の異なる複数のそれぞれの変調周波数で変調された第2の異なる複数の符号化光成分を放つことができる。
図2は、モバイル装置6のブロック図を示す。装置6は、二次元画像捕捉要素20を有するカメラと、画像捕捉要素に結合される画像解析モジュール12とを含む。画像解析モジュール12は、画像捕捉要素によって捕捉される画像を表す信号を処理し、画像が捕捉された光の中の符号化光成分を検出するように動作可能である。本明細書で開示される実施形態によれば、モバイル装置6は、露光制御モジュールの形を取るコントローラ14も含み、その機能については近く説明する。画像解析モジュール12及び/又はコントローラ14は、コンピュータ可読記憶媒体上に記憶され、1つ又は複数の処理装置を含むプロセッサ10上で実行されるように構成される符号の形で実装されても良い。或いは、画像解析モジュール12及び/又はコントローラ14の一部若しくは全てが、専用のハードウェア回路又はFPGA等の再構成可能回路によって実装されることも除外されない。概して、構成要素12、14、及び16は、同じユニットに統合されてもされなくても良い。
1つ又は複数の発光体4は、環境2内に光を放ち、それによりその環境の少なくとも一部を照らすように構成される。モバイル装置6の利用者は、光が反射される環境2内のシーン8の方に装置のカメラ16を向けることができる。例えばそのシーンは、壁及び/又は他の物体等の面を含み得る。発光体4の1つ又は複数によって放たれる光がシーンからカメラの二次元画像捕捉要素上に反射され、それにより二次元画像捕捉要素はシーン8の二次元画像を捕捉する。或いは、又は加えて、符号化光を(面による反射なしに)光源から直接検出することも可能である。このようにしてモバイル装置が、発光体4の1つ又は複数に代わりに直接向けられても良い。
図3は、カメラ16の画像捕捉要素20を示す。画像捕捉要素20は、各画素上の光入射を表す信号を捕捉するための画素配列、例えば典型的には正方画素や矩形画素の正方配列又は矩形配列を含む。ローリングシャッターカメラでは、画素が複数のライン、例えば横列22内に配置される。フレームを捕捉するために、各ラインが順に、それぞれカメラの露光時間Texpの連続した時期にわたって露光される。この事例では、露光時間は個々のラインを露光する持続時間である。本開示におけるシーケンスは時系列を意味し、即ち各ライン(又はより広範に部分)の露光が僅かに異なる時点において開始することにも留意されたい。例えば、まず一番上の行22が持続時間Texpにわたって露光され始め、僅かに後の時点で下の2番目の行22がTexpにわたって露光され始め、またもや僅かに後の時点で下の3番目の行22がTexpにわたって露光され始め、一番下の行が露光されるまでその後も同様に続く。フレームのシーケンスを露光するためにこの過程が繰り返される。
図5は、連続したビデオ捕捉中の典型的なローリングシャッターのタイミング図の一例を示す。
例えば国際公開第2012/127439号には、この種の従来のビデオカメラを使用して符号化光がどのように検出され得るのかが説明されている。この信号検出はローリングシャッターによる画像捕捉を活用し、時間的光変調を連続した画像行にわたる空間強度変化に変換させる。
これが図4に概略的に示されている。それぞれの連続したライン22が露光されるとき、各ラインは僅かに異なる時点において、従って(ライン速度が変調周波数に比べて十分高い場合)僅かに異なる変調位相において露光される。そのため、各ライン22が変調光のそれぞれの瞬間的レベルにさらされる。このことは、所与のフレームにわたる変調により波打ち又は循環するストライプパターンの原因となる。この原理に基づき、画像解析モジュール12は、カメラ16によって受け取られる光の中の、変調された符号化光成分を検出することができる。
しかし、この取得過程は取得信号に対するローパスフィルタリング効果をもたらす。図6及び図7は、露光時間がTexpであるローリングシャッターカメラの取得過程のローパスフィルタリング特性を示す。
図6は、露光時間を時間領域内の矩形ブロック関数又は矩形フィルタとして表す略図である。露光過程は、時間領域内のこの矩形関数を用いた変調光信号のコンボリューションとして表され得る。時間領域内の矩形フィルタを用いたコンボリューションは、周波数領域内のsinc関数との乗算と等価である。従って、図7に示す略図によって示されているように、周波数領域内では、このことは受信信号スペクトルにsinc関数を乗じることを引き起こす。受信信号スペクトルが乗ぜられる関数は伝達関数と呼ばれても良く、即ちかかる関数は検出スペクトル内の検出過程によって実際に「見られる」受信信号スペクトルの比率を表す。
従ってカメラの露光時間は、時間領域内のブロック関数及び周波数領域内のローパスフィルタ(sinc)である。その結果、1/Texp及び1/Texpの整数倍では検出スペクトル又は伝達関数がゼロになる。従って、画像解析モジュール12によって実行される検出過程は、1/Texp、2/Texp、3/Texp等におけるゼロ又はその付近で周波数領域内のブラインドスポットに見舞われる。変調周波数がブラインドスポットの1つに入る場合、符号化光成分が検出できなくなる。実施形態では、検出スペクトル又は伝達関数内のそれらのゼロ又はノードの厳密な周波数においてのみブラインドスポットが生じると解釈される必要はなく、より広くブラインドスポットは、伝達関数が余りにも低くて所望の符号化光成分を検出できず又は確実に検出できない、検出スペクトル内のそれらのゼロ又はノード付近の任意の周波数範囲を指し得ることに留意されたい。
変調がカメラにとって検出不能になることを引き起こし得る光源変調周波数とカメラの露光時間との、問題のあるペアリングを回避することが望ましい。
強引な解決策は、符号化光成分の周波数及びカメラの露光時間の計画を衝突しないように事前に立てておくことである。しかし、この解決策が確実に機能することを保証するには、装置6及び照明4の様々な異なる製造業者間の多大な連携を必要とする。あり得る別の解決策は、RFチャネル等の適切なバックチャネルを介して装置6が自らの露光時間又は適切な周波数の指示を発光体4にフィードバックすることである。しかし、それは不所望の程度の余分なインフラを追加し、やはり製造業者間の連携を必要とする可能性がある。更に別のあり得る解決策は、周波数のうちの1つで符号化光成分を装置6が常に検出できるように、発光体4が自らの変調周波数を徐々に変えること、又は複数の非調和の周波数上で同時に伝送することである。この解決策は、装置6と照明4との間で通信する必要性を回避する。しかし、装置6が遭遇し得る可能な全ての環境において照明が必ずしもかかる機能を備えることを保証できない場合がある。
そのような可能性に頼るのではなく、本開示は、一部のカメラ装置が露光制御を行うということに基づく解決策を提供する。かかる露光制御を使用し、様々な露光時間及び組み合わせられた結果を用いて画像を捕捉し、露光に関連する抑制効果があっても周波数の検出を確実にすることができる。或いは、限られた露光制御が使用可能な場合、露光時間を間接的に変える別のパラメータ、例えばISO設定値、露光値(EV)設定値、又は関心領域を制御することによって周波数の検出を確実にする実施形態が提供される。
図8は、1/30の露光時間を有する伝達関数(図8の実線の曲線として図示)、1/40の露光時間を有する伝達関数(図8のより薄い曲線として図示)、及び300Hzの1つの変調周波数を有するランプの一例を示す。ランプの周波数が300Hz上に設定され、カメラの露光時間が1/30(又は1/60、1/100)上にある場合、伝達関数にゼロがあるためカメラはランプを捕捉することができない。しかし、露光が1/40に設定される場合、カメラは再び300Hzを捉えることができる。FSK(複数の周波数間での切り替え)にも同じ原理が当てはまる。
再び図2を参照し、装置6は、カメラ6に結合される露光制御モジュール14を含む。露光制御モジュール14は、露光時間Texpに直接又は間接的に影響を及ぼすカメラ6の少なくとも1つのパラメータを制御するように構成される。
制御モジュール14は、(例えば、スマートフォンの)カメラ16によって画像データの少なくとも2つのフレームを捕捉するように構成され、各フレームは異なるパラメータ値、従って異なる露光時間Texp値を有する。従って、光の中に符号化されるデータが画像データの1つのフレーム内で検出できない場合、そのデータは次のフレーム内で検出可能になるはずである。
有利には、発光体が使用すべき又はすべきではない変調周波数をカメラ(即ちレシーバ)が発光体に指定する必要がないので、本提案は符号化光発光体(即ちトランスミッタ)へのバックチャネルを省くことを可能にする。更に、変調周波数と露光時間との不利な組合せを回避するための機構をトランスミッタが実装しない場合、より速い伝送データ転送速度が使用され得る(例えば二重の同時又は経時変化周波数を使用して発光体4から放射する代替的解決策は帯域幅の半分を無駄にすることになる)。
露光制御モジュール14は、異なるそれぞれの露光時間を用いて2つ(又はそれ以上)の異なるフレームを捕捉し、画像解析モジュール12の検出過程を異なるフレームに個別に適用するように構成される。各露光時間は、周波数領域内のそれぞれの伝達関数に対応し、ブラインドスポットが実質的に重複しない(或る露光時間の伝達関数のゼロ又はノード付近の周波数の検出不能範囲が、他の露光時間の伝達関数のゼロ又はノード付近の検出不能範囲と重複しない)ように、異なる露光時間の間隔が十分広く空けられる。更に、少なくとも1つの1/Texp値が他の1/Texp値の整数倍ではないように、自らのブラインドスポットの周波数位置が適切に非調和的であるように露光時間が構成される。このようにして、画像解析モジュール12がそれぞれの異なる露光時間を用いて捕捉される様々なフレームに適用される場合、(検出される符号化光成分があると仮定して)少なくとも1つが常に肯定的検出をもたらす。
実施形態では、上記の内容は、これらの特性を有するように予め定められた2つ(又はそれ以上)の特定の露光時間を試みるように露光制御モジュール14を構成することによって実施され得る。或いは、露光制御モジュール14は、各露光時間での検出を試みるために複数の又は一連の異なる露光時間をスキャンするように構成されても良い。
従って、周波数ブラインドスポットの実際の位置を知る必要がないことに留意されたい。少なくとも2つの異なる捕捉画像間で露光時間が変えられている限り、それらの画像の少なくとも1つの中で変調が検出可能であることを確実にすることができる。
実施形態では、受信光が符号化光信号又は標本に対して探られ若しくは照会される場合、露光制御モジュール14及び画像解析モジュール12がフレームを捕捉し、異なる露光時間のそれぞれに基づいて検出を試みることができ、次いで画像解析モジュール12が捕捉フレームのうちの肯定的検出をもたらすフレームの1つ又は複数を選択することができ、更には捕捉フレームを平均し又は累算して、そこから符号化光が検出され得る集合画像をもたらすことができる。或いは露光制御モジュール14は、画像解析モジュール12が肯定的検出を報告するまで、パラメータの様々な値を切り替え、循環し、又はスキャンするように構成されても良い。
肯定的検出をもたらすパラメータ値が見つかると、将来使用するためにその値が記憶され得る。或いは、受信光が符号化光信号又は標本に対して探られ若しくは照会されるあらゆる場合にパラメータの様々な値が試みられても良い。
受信光を符号化光信号に対して照会する操作は、例えばユーザ入力に応答して、又は例えば周期的等の間隔で自動でトリガされ得る。
実施形態では、露光時間に影響を及ぼすために使用されるパラメータは、コントローラ14が直接制御することができる明確な露光時間設定値を含み得る。
或いは露光時間を直接設定できない場合(更には露光時間を制御する追加の方法として)、様々な露光時間で画像を間接的に得るために以下の方法の1つが使用され得る。これらの方法は、露光時間設定値自体ではないが、露光時間に間接的に影響を及ぼす別のパラメータを制御することを含む。
かかる1つの例では、典型的にはISO設定値を指すカメラ16の露光指数(EI:exposure index)設定の様々な値を適用することにより、様々な露光時間を実現するように露光制御モジュール14が構成され得る。露光指数は、光に対するカメラの感度レベルを規定する。
別の例では、「露光値(EV)」(「露光指数」又は「露光時間値」ではないことに留意されたい)の設定値が変えられても良い。EV制御は、露光不足又は露光過多を強制することを目的とする。露光とは、センサによって受け取られる光量であり、カメラの口径及び露光時間の両方に依存する。調節は、概してカメラの既定又は所定の露光の分数の停止減分若しくは増分(例えば±1/3、±1/2、±1、±2、±3の停止)で行われる。この値は、現在の(自動選択された)露光時間に概して関連する。
更に別の例では、露光制御モジュール14によって制御されるパラメータが、フレーム内の「関心領域」(ROI)を規定する設定値を含み、カメラはそれに基づいて自らの露光パラメータを調節する。「関心領域」とは、フレームの領域内の被選択下位領域である。この場合、露光制御モジュール14がフレーム領域内で少なくとも2つの領域、例えば捕捉されているシーンの明領域と暗領域とを選択する。暗領域内のROI及びROIが明領域内に配置されたフレームを捕捉することにより、ROIの位置が変わることに応答して(露光時間を含む)露光パラメータがカメラによって自動で変更される。このことは、例えば露光パラメータのどれも直接設定できず、携帯機器に埋め込まれたカメラ16が露光ROIの位置しか受け取ることができない場合に有用であり得る。この状況は現在のモバイル装置において極めてよく見られる。
上記の実施形態は、専ら例として説明されてきたことが理解されよう。例えば本発明は、スマートフォンやタブレットコンピュータ等のカメラベースの装置を用いて符号化光を検出すること、(例えば消費者や商用の領域内に光源を設置するための)カメラによる符号化光検出、個別の光制御、光による目的物のラベル付け、光による屋内ナビゲーション等、多岐にわたる応用例において適用可能である。
更に、本発明の適用可能性は、ローリングシャッター技法によるブラインドスポットを回避すること、又は或る特定のフィルタリング効果若しくは検出スペクトル内のブラインドスポットに限定されない。例えば、フレームレートが十分高い場合はグローバルシャッターが使用されても良く、その場合、露光時間は検出過程の周波数応答に対して依然として影響を与え得る。本明細書の開示を所与とし、様々な露光時間を使用することで、変調光を検出するために使用されている任意の検出装置の露光時間に関係する任意の副作用又は制限から生じる周波数ブラインドスポットによって変調が検出されないリスクを減らせることが理解されよう。
前述のように、変調が矩形波等の非正弦波の形を取る場合、変調周波数は典型的には基本周波数を指す。ブラインドスポットが1/Texpの整数倍で生じる上記の例において、基本波と基本波の整数倍である高調波とで構成される矩形波等の波形では、基本波の変調周波数がブラインドスポットを避けることを確実にすることは、高調波もブラインドスポットを避けることを意味する。それでもなお、符号化光成分が基本波及び/又は所望の任意の高調波の周波数で変調されると見なされ、その変調周波数がブラインドスポットに対応するのを避けることは、(成分を検出する能力に影響する)基本波及び/又は所望の任意の高調波がブラインドスポットに入ることを意味する場合があることを概して除外しない。
上記の内容は、異なるフレーム内で様々な露光時間を試すことに関して説明されてきたが、他の実装形態では、コントローラ14が例えば同一フレームの異なる半分又はより広くは部分内で、様々な露光時間を使用できることを除外しない。或いは、フレーム群にわたってそれぞれの異なる露光時間が使用され、異なる群のそれぞれに検出が適用されても良い。
開示された実施形態の他の改変形態が、図面、本開示、及び添付の特許請求の範囲を検討することにより、特許請求の範囲に記載の本発明を実施する際に当業者によって理解され、果たされ得る。特許請求の範囲では、「含む」という語は他の要素又はステップを排除せず、不定冠詞「a」又は「an」は複数形を排除しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に列挙される幾つかのアイテムの機能を実現しても良い。或る手段が互いに異なる従属請求項の中で列挙されているという単なる事実は、これらの手段の組合せが有利に使用されてはならないことを示すものではない。コンピュータプログラムは、他のハードウェアと共に供給される、又は他のハードウェアの一部として供給される、光学記憶媒体やソリッドステート媒体等の適当な媒体上に記憶/分散され得るが、インターネットや他の有線又は無線通信システムによって等、他の形態で分散されても良い。特許請求の範囲の中の如何なる参照符号も範囲を限定するものとして解釈すべきでない。

Claims (15)

  1. カメラによって捕捉される光を表す画像データを受け取るための入力部であって、前記カメラは露光時間を有し、前記光は、それぞれが前記露光時間の時期にわたって持続する一連の露光の間中捕捉される、入力部と、
    或る変調周波数で変調された前記光の中の符号化光成分を検出するための画像解析モジュールであって、前記検出内に、前記露光時間の影響による周波数ブラインドスポットがある、画像解析モジュールと、
    前記露光時間の長さを変更する前記カメラの1つ又は複数のパラメータを制御するための出力部と、
    前記変調周波数が前記周波数ブラインドスポットに対応するのを避けるために前記1つ又は複数のパラメータを制御するコントローラと
    を含む、装置。
  2. 前記コントローラが、前記1つ又は複数のパラメータを変えて少なくとも2つの異なる長さの前記露光時間を試し、前記画像解析モジュールを操作して前記異なる長さの前記露光時間のそれぞれの下で前記検出を試みることによって前記制御を行う、請求項1に記載の装置。
  3. 前記コントローラが、前記試みに基づき、前記符号化光成分の検出をもたらす前記1つ又は複数のパラメータの値を決定し、前記符号化光成分を更に検出するために使用されるように決定された前記値を設定する、請求項2に記載の装置。
  4. 光がフレームのシーケンスにわたって捕捉され、前記フレーム内の空間部分のシーケンスを露光することによって光が各フレーム内で捕捉され、前記シーケンス内の前記空間部分のそれぞれは、前記露光時間の時期にわたって光を当てられる、請求項1乃至3の何れか一項に記載の装置。
  5. 前記カメラがローリングシャッターカメラであり、前記空間部分のそれぞれが前記フレームのラインである、請求項4に記載の装置。
  6. 前記コントローラが、前記異なる長さの露光時間を前記フレームの異なるフレーム内で試す、請求項2に従属する請求項4又は請求項2に従属する請求項5に記載の装置。
  7. 前記1つ又は複数のパラメータが、前記露光時間の前記長さを明確に定める露光時間設定値を含む、請求項1乃至6の何れか一項に記載の装置。
  8. 前記1つ又は複数のパラメータが、光への感度を定める露光指数を含む、請求項1乃至7の何れか一項に記載の装置。
  9. 前記1つ又は複数のパラメータが、露光不足又は露光過多の程度を定める露光値設定値を含む、請求項1乃至8の何れか一項に記載の装置。
  10. 前記フレームがフレーム領域を有し、前記1つ又は複数のパラメータが、前記フレーム領域内の領域を定める関心領域設定値を含み、前記関心領域設定値は前記領域の明るさ又は暗さに応じて前記露光時間に影響を及ぼす、請求項6又は請求項6に従属する請求項7乃至9の何れか一項に記載の装置。
  11. 前記検出内に、前記露光時間の前記影響による複数の周波数ブラインドスポットがあり、前記コントローラは、前記変調周波数が前記複数の周波数ブラインドスポットの何れかに対応するのを避けるために前記1つ又は複数のパラメータを制御する、請求項1乃至10の何れか一項に記載の装置。
  12. 前記ブラインドスポットが1/Texpの整数倍にあり、Texpは前記露光時間である、請求項11に記載の装置。
  13. 前記検出が周波数領域内にsinc形の伝達関数を有し、前記ブラインドスポットが前記sinc形の伝達関数内のゼロに起因する、請求項11又は12に記載の装置。
  14. 前記画像解析モジュールが、異なる個々の変調周波数で変調された前記光の中の複数の符号化光成分を検出し、前記コントローラが、前記複数の符号化光成分の前記変調周波数の任意のものが前記周波数ブラインドスポットに対応するのを避けるために前記1つ又は複数のパラメータを制御する、請求項1乃至13の何れか一項に記載の装置。
  15. コンピュータ可読記憶媒体上に具体化され、プロセッサ上で実行されるとき、
    カメラによって捕捉される光を表す画像データを受け取る操作であって、前記カメラは露光時間を有し、前記光が一連の露光の間中捕捉され、各露光が前記露光時間の時期にわたって持続する、操作と、
    或る変調周波数で変調された前記光の中の符号化光成分を検出するための検出過程を行う操作であって、前記検出過程内で前記露光時間の影響による周波数ブラインドスポットがある、操作と、
    前記変調周波数が前記周波数ブラインドスポットに対応するのを避けるために、前記露光時間の長さを変更する前記カメラの1つ又は複数のパラメータを制御する操作と
    を実行するコードを含む、コンピュータプログラム。
JP2016514437A 2013-05-24 2014-05-23 符号化光の検出 Active JP6407975B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13169086 2013-05-24
EP13169086.9 2013-05-24
PCT/EP2014/060685 WO2014187968A1 (en) 2013-05-24 2014-05-23 Detecting coded light

Publications (3)

Publication Number Publication Date
JP2016524853A JP2016524853A (ja) 2016-08-18
JP2016524853A5 JP2016524853A5 (ja) 2017-06-29
JP6407975B2 true JP6407975B2 (ja) 2018-10-17

Family

ID=48482952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016514437A Active JP6407975B2 (ja) 2013-05-24 2014-05-23 符号化光の検出

Country Status (7)

Country Link
US (1) US10128944B2 (ja)
EP (1) EP3004984B1 (ja)
JP (1) JP6407975B2 (ja)
CN (1) CN105230002B (ja)
BR (1) BR112015028951A2 (ja)
RU (1) RU2666819C2 (ja)
WO (1) WO2014187968A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015010967A1 (en) * 2013-07-23 2015-01-29 Koninklijke Philips N.V. Modulation of coded light components
GB2557776B (en) 2015-08-04 2021-09-29 Ford Global Tech Llc In-vehicle device position determination
TWI620420B (zh) * 2016-12-02 2018-04-01 財團法人資訊工業策進會 可見光通訊系統及方法
WO2019048457A1 (en) * 2017-09-11 2019-03-14 Signify Holding B.V. CODED LIGHT DETECTION USING ROLLING SHUTTER CAMERAS

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4797415B2 (ja) 2005-03-25 2011-10-19 株式会社ニコン 照明装置、撮影装置および撮影システム
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
JP2010050745A (ja) 2008-08-21 2010-03-04 Canon Inc 画像処理装置およびその方法
JP2010232912A (ja) * 2009-03-26 2010-10-14 Panasonic Electric Works Co Ltd 照明光伝送システム
JP2011014957A (ja) * 2009-06-30 2011-01-20 Hitachi Ltd 撮像素子
JP2011078074A (ja) 2009-09-04 2011-04-14 Canon Inc 撮像装置およびその制御方法
BR112012017100A8 (pt) 2010-01-15 2017-09-19 Koninklijke Philips Electronics Nv Sistema de detecção para determinar se uma contribuição de luz de uma primeira fonte de luz de um sistema de iluminação esta presente em uma posição selecionada dentro de uma cena, método para determinar se uma contribuição de luz de uma primeira fonte de luz de um sistema de iluminação esta presente em uma posição selecionada dentro de uma cena e programa de computador
US8942570B2 (en) 2010-01-15 2015-01-27 Koninklijke Phillips N.V. Data detection for visible light communications using conventional camera sensor
JP5482259B2 (ja) 2010-02-05 2014-05-07 株式会社豊田中央研究所 光通信装置
JP5523231B2 (ja) 2010-07-16 2014-06-18 オリンパス株式会社 撮像装置
JP5204165B2 (ja) * 2010-08-05 2013-06-05 パナソニック株式会社 画像復元装置および画像復元方法
ES2726775T3 (es) * 2010-09-09 2019-10-09 Red Com Llc Aparato y método para reducir o evitar el aliasing temporal en cámaras cinematográficas
CN102104735B (zh) * 2011-01-28 2014-05-21 清华大学 一种计算光照的运动场景图像捕获方法及装置
EP2503852A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
US8334898B1 (en) * 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for configuring an imaging device for the reception of digital pulse recognition information
US8913144B2 (en) * 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method

Also Published As

Publication number Publication date
CN105230002B (zh) 2019-07-19
US20160112126A1 (en) 2016-04-21
EP3004984A1 (en) 2016-04-13
EP3004984B1 (en) 2019-09-25
WO2014187968A1 (en) 2014-11-27
US10128944B2 (en) 2018-11-13
RU2015155306A3 (ja) 2018-03-23
RU2015155306A (ru) 2017-06-28
CN105230002A (zh) 2016-01-06
JP2016524853A (ja) 2016-08-18
BR112015028951A2 (pt) 2017-07-25
RU2666819C2 (ru) 2018-09-12

Similar Documents

Publication Publication Date Title
JP6096383B2 (ja) 符号化光成分の変調
JP6157011B2 (ja) 符号化光検出器
JP6125535B2 (ja) 可視光通信
JP6139017B2 (ja) 光源の特性を決定する方法及びモバイルデバイス
US9791542B2 (en) System and method for estimating the position and orientation of a mobile communications device in a beacon-based positioning system
EP2749141B1 (en) Coded light transmission and reception for light scene creation
US9137449B2 (en) Luminance estimation model generation device, image sensor device, and computer program product
JP6407975B2 (ja) 符号化光の検出
JP2017518693A (ja) 符号化された光の検出
CN104904319A (zh) 允许用户控制编码光源
JP2010533950A (ja) 構造物において光を処理するための方法及び照明システム
CA2842826A1 (en) Self identifying modulated light source
CN106464365B (zh) 发送装置、接收装置、通信系统以及发送方法和接收方法
EP2999145B1 (en) Signal transmission device, signal transmission method, signal reception device, and communication system
TWI713887B (zh) 光通信裝置和系統以及相應的資訊傳輸和接收方法
WO2019120053A1 (zh) 包含参考光源的光通信装置及相应的信息传输和接收方法
JP2020507258A (ja) 符号化光の検出
WO2015104187A1 (en) Detecting coded light
RU2689142C2 (ru) Обнаружение кодированного света
WO2018073870A1 (ja) 送信装置、受信装置、通信システム、送信方法、受信方法および送信用コンピュータプログラムならびに受信用コンピュータプログラム
JP5357360B1 (ja) 撮像装置探知ユニット、撮像装置探知システム、撮像装置探知装置、撮像装置探知方法、及び撮像装置探知プログラム
JP6326850B2 (ja) 操作器および照明制御システム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180919

R150 Certificate of patent or registration of utility model

Ref document number: 6407975

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250