JP6884219B2 - 画像解析技法 - Google Patents

Description

関連出願
[0001]本出願は、２０１７年２月６日に出願された仮特許出願第６２／４５５，３３１号の利益を主張し、この仮特許出願の開示は、その全体が参照により本明細書に組み込まれる。

[0002]本開示は、動き、占有等のような所望の特徴を検出するために画像を解析することに関する。

[0003]照明器具は、センサ、処理回路、ネットワーキング回路等のような特徴を組み込んで進化し続けている。したがって、照明器具は、照明プログラムを実装し、周囲環境に応答し、例えば、ローカルエリアネットワークおよび／またはインターネット上で制御される場合がある。

[0004]周囲環境に応答するために、照明器具は、受動赤外（ＰＩＲ：ｐａｓｓｉｖｅ ｉｎｆｒａｒｅｄ）占有センサおよびフォトダイオードベース環境光センサ等の事前組み込み式センサを有する。これらの従来のセンサは、基本的な環境状態を測定するのに適していることを一般に証明してきたが、より複雑な環境状態を測定し、より高い分解能（resolution）でより多くの量のデータを収集することが可能な照明器具に対する需要が増加している。この更なる機能を提供しようと努力して、画像センサを照明器具に一体化することが提案されてきた。画像センサを照明器具に一体化することは、照明器具が周囲環境をモニターすることが可能である分解能を増加させる場合があるが、有意の処理リソースを消費することなく、画像センサによって提供される大量のデータから有用な情報（例えば、占有状態および環境光レベル(ambient light level)）を引出すことが難題であることを証明した。照明器具等のデバイスにおいて利用可能な制限された処理パワーは、画像センサによって提供される画像データから１つまたは複数の所望の環境状態を決定するために計算コストが安い方法の開発を必要としてきた。これまで、これらの方法は、効率についての信頼性を犠牲にしてきており、非効率であると証明されてきた。したがって、多くのアプローチが、画像センサと共に上記従来のセンサを使用しているものの、それにより、デバイスのコストおよび複雑さが増加し続けている。

[0005]上記を考慮して、画像センサによって提供される画像データから所望の環境状態を決定する改良型画像解析技法についての必要性が存在する。特に、制限された処理パワーを有するデバイスに実装することが可能であるような、１つまたは複数の環境状態を効率的かつ確実に決定する画像解析技法についての必要性が存在する。

[0006]一実施形態において、方法は、画像センサから複数のピクセル値を含むフレームを取得するステップと、複数のピクセル値の第１のサブセットの変化を検出するステップと、複数のピクセル値の第１のサブセットに近い複数のピクセル値の第２のサブセットの変化を検出するステップと、複数のピクセル値の第１のサブセットの変化と複数のピクセル値の第２のサブセットの変化との間の関係に基づいて占有状態を決定するステップとを含む。占有状態は、複数のピクセル値の第１のサブセットの変化が第１の方向にあり、かつ、複数のピクセル値の第２のサブセットの変化が第１の方向と反対の第２の方向にあるときに占有されていると決定されてもよい。占有状態を決定するために複数のピクセル値の第１のサブセットと複数のピクセル値の第２のサブセットとの間の関係を使用することによって、占有状態は、確実にかつ効率的に決定されてもよい。

[0007]一実施形態において、占有状態は、複数のピクセル値の第１のサブセットの変化が第１の閾値より大きく、かつ、複数のピクセル値の第２のサブセットの変化が第２の閾値より大きいときに占有されていると決定される。

[0008]一実施形態において、複数のピクセル値は輝度値である。
[0009]一実施形態において、複数のピクセル値の第１のサブセットの変化は、複数のピクセル値の第１のサブセットと複数のピクセル値の第１のサブセットの移動平均との差に基づき、複数のピクセル値の第２のサブセットの変化は、複数のピクセル値の第２のサブセットと複数のピクセル値の第２のサブセットの移動平均との差に基づく。

[0010]当業者は、添付図面に関連して好ましい実施形態の以下の詳細な説明を読んだ後に本開示の範囲を理解し本開示の更なる態様を認識するであろう。
[0011]本明細書に組み込まれ、本明細書の一部を形成する添付の図面は、本開示の幾つかの態様を示し、説明と共に、本開示の概念を説明するのに役立つ。

[0012]本開示の一実施形態による照明器具を示す図である。 [0013]本開示の一実施形態による、画像データから環境状態を決定するための方法を示すフローチャートである。 [0014]本開示の一実施形態による、画像データから環境状態を決定するための方法を示すフローチャートである。 [0015]本開示の一実施形態による、画像データから環境状態を決定するための方法を示すフローチャートである。 [0016]本開示の一実施形態による、占有を検出するためのプロセスを示す図である。 本開示の一実施形態による、占有を検出するためのプロセスを示す図である。 本開示の一実施形態による、占有を検出するためのプロセスを示す図である。 [0017]本開示の一実施形態による、画像データから環境状態を決定するための方法を示すフローチャートである。 [0018]本開示の一実施形態による、画像データから環境状態を決定するための方法を示すフローチャートである。 [0019]本開示の一実施形態による、画像データから環境状態を決定するための方法を示すフローチャートである。 [0020]本開示の一実施形態による、画像データから環境状態を決定するための方法を示すフローチャートである。 [0021]本開示の一実施形態による、画像データから決定された占有の正確さを増すための方法を示すフローチャートである。

[0022]以下で述べる実施形態は、当業者が実施形態を実施することを可能にするのに必要な情報を示し、実施形態を実施する最良の態様を示す。添付図面を考慮して以下の説明を読むと、当業者は、本開示の概念を理解し、また、本明細書で特に対処されないこれらの概念の適用形態を認識するであろう。これらの概念および適用形態が本開示および添付特許請求項の範囲内に入ることが理解されるべきである。

[0023]第１の、第２の、等の用語が種々の要素を説明するために本明細書で使用される場合があるが、これらの要素がこれらの用語に限定されるべきでないことが理解されるであろう。これらの用語は、１つの要素を別の要素から識別するために使用されるだけである。例えば、本開示の範囲から逸脱することなく、第１の要素は第２の要素と呼ばれる可能性があり、同様に、第２の要素は第１の要素と呼ばれる可能性がある。本明細書で使用するとき、用語「および／または（ａｎｄ／ｏｒ）」は、挙げた関連するアイテムの１つまたは複数の任意の組合せおよび全ての組合せを含む。

[0024]層、領域、または基板等の要素が別の要素の「上にある（ｏｎ）」または別の要素の「上に延在する（ｅｘｔｅｎｄ ｏｎｔｏ）」と呼ばれるとき、その要素が他の要素のすぐ上にあるまたは他の要素のすぐ上に延在することができる、あるいは、介在する要素が同様に存在する場合があることが理解されるであろう。対照的に、要素が別の要素の「すぐ上にある（ｄｉｒｅｃｔｌｙ ｏｎ）」または別の要素の「すぐ上に延在する（ｅｘｔｅｎｄ ｄｉｒｅｃｔｌｙ ｏｎｔｏ）」と呼ばれるとき、介在する要素が全く存在しない。同様に、層、領域、または基板等の要素が別の要素を「覆っている（ｏｖｅｒ）」または別の要素を「覆って延在する（ｅｘｔｅｎｄ ｏｖｅｒ）」と呼ばれるとき、その要素が他の要素を直接覆っているまたは他の要素を直接覆って延在することができる、あるいは、介在する要素が同様に存在する場合があることが理解されるであろう。対照的に、要素が別の要素を「直接覆っている（ｄｉｒｅｃｔｌｙ ｏｖｅｒ）」または別の要素を「直接覆って延在する（ｅｘｔｅｎｄ ｄｉｒｅｃｔｌｙ ｏｖｅｒ）」と呼ばれるとき、介在する要素が全く存在しない。要素が別の要素に「接続される（ｃｏｎｎｅｃｔｅｄ）」または別の要素に「結合される（ｃｏｕｐｌｅｄ）」と呼ばれるとき、その要素が他の要素に直接接続するまたは他の要素に直接結合することができる、あるいは、介在する要素が同様に存在する場合があることが同様に理解されるであろう。対照的に、要素が別の要素に「直接接続される（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ）」または別の要素に「直接結合される（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ）」と呼ばれるとき、介在する要素が全く存在しない。

[0025]「下（ｂｅｌｏｗ）」「上（ａｂｏｖｅ）」「上方（ｕｐｐｅｒ）」「下方（ｌｏｗｅｒ）」「水平（ｈｏｒｉｚｏｎｔａｌ）」「垂直（ｖｅｒｔｉｃａｌ）」等の相対的用語は、図に示すように、別の要素、層、または領域に対する１つの要素、層、または領域の関係を述べるために本明細書で使用される場合がある。これらの用語および上記で論じた用語が図に示す配向に加えてデバイスの異なる配向を包含することを意図することが理解されるであろう。

[0026]本明細書で使用される専門用語は、特定の実施形態を述べるためのものに過ぎず、本開示を制限することを意図しない。本明細書で使用するとき、単数形「１つの（ａ）」、「１つの（ａｎ）」、および「その（ｔｈｅ）」は、文脈が別途明瞭に指示しない限り、複数形を同様に含むことを意図する。「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、および／または「含んでいる（ｉｎｃｌｕｄｉｎｇ）」の用語が、本明細書で使用されるとき、述べた特徴、整数、ステップ、動作、要素、および／またはコンポーネントの存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、および／またはその群の存在または付加を排除しないことが更に理解されるであろう。

[0027]別途規定されない限り、本明細書で使用される全ての用語（技術用語および科学用語を含む）は、本開示が属する技術分野の専門家によって一般に理解されるのと同じ意味を有する。本明細書で使用される用語が、本明細書および関連する技術分野の文脈においてその意味に矛盾しない意味を有するものとして解釈されるべきであり、本明細書でそのように明瞭に規定されない限り、理想化されたまたは極度に形式的な意味で解釈されないことになることが更に理解されるであろう。

[0028]図１は、本開示の一実施形態による照明器具１０の詳細を示すブロック図である。照明器具１０はドライバー回路１２および発光ダイオード（ＬＥＤ）のアレイ１４を含む。ドライバー回路１２は、電力変換器回路１６、通信回路１８、処理回路２０、メモリ２２、およびセンサ回路２４を含む。電力変換器回路１６は、交流（ＡＣ）または直流（ＤＣ）入力信号（Ｖ_ＩＮ）を受信し、電力変換を実施して、調節済み出力電力をＬＥＤのアレイ１４に提供するように構成される。特に、電力変換器回路１６は、入力信号（Ｖ_ＩＮ）が電池によって全体的にまたは部分的に提供されるように構成される場合があり、それにより、照明器具１０は可搬型であり、停電等の緊急事態において動作することが可能である、および／または、以下で論じるように１つまたは複数のオフグリッド用途において使用されることが可能である。一実施形態において、電力変換器回路１６は、パルス幅変調された（ＰＷＭ：ｐｕｌｓｅ−ｗｉｄｔｈ ｍｏｄｕｌａｔｅｄ）調節済み出力信号をＬＥＤのアレイ１４に提供するように構成される。図示しないが、電力変換器回路１６と、通信回路１８、処理回路２０、メモリ２２、およびセンサ回路２４のそれぞれとの接続は、ドライバー回路１２のこれらの部分に調節済み電力を同様に提供する場合がある。処理回路２０は、照明器具１０の主要なインテリジェンスを提供する場合があり、そうするために、メモリ２２に記憶される命令を実行する場合がある。そのため、処理回路２０は、電力変換器回路１６からＬＥＤのアレイ１４に提供される、電流、電圧、または両方の量を制御する場合がある。通信回路１８は、照明器具１０が、１つまたは複数の他の照明器具、センサモジュール、コントローラ、ボーダールーター、スイッチ、または任意の他のデバイスと無線信号または有線信号を介して通信することを可能にしてもよい。通信回路１８は、通信回路１８を介して受信される情報が処理回路２０によって考慮され、影響を与えられ得るように処理回路２０に結合されてもよい。センサ回路２４は、任意の数の異なるセンサ２６を含んでもよい。例えば、センサ回路２４は、１つまたは複数の受動赤外（ＰＩＲ）占有センサ、１つまたは複数の環境光センサ、１つまたは複数のマイクロフォン、１つまたは複数のスピーカー、１つまたは複数の超音波センサおよび／またはトランスデューサ、１つまたは複数の赤外受信器、カメラ、マルチスペクトル撮像センサ、または同様なもの等の１つまたは複数の撮像センサ、１つまたは複数の大気圧センサ、１つまたは複数の温度および／または湿度センサ、酸素センサ、二酸化炭素センサ、揮発性有機化合物（ＶＯＣ：ｖｏｌａｔｉｌｅ ｏｒｇａｎｉｃ ｃｏｍｐｏｕｎｄ）センサ、煙検出器、および同様なもの等の１つまたは複数の空気品質センサ、加速度計、全地球測位衛星（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓａｔｅｌｌｉｔｅ）センサ、および同様なもの等の１つまたは複数の測位センサ、１つまたは複数の磁界センサ、または任意の他のセンサを含んでもよい。センサ回路２４は、センサ２６からの情報が処理回路２０によって考慮され、影響を与えられ得るように処理回路２０と通信状態にあってもよい。或る状況において、処理回路２０は、センサ２６からの情報を使用して、電力変換器回路１６からＬＥＤのアレイ１４に提供される電圧および／または電流を調整し、それにより、照明器具１０によって提供される光の１つまたは複数の態様を変更してもよい。他の状況において、処理回路２０は、センサ２６からの情報を、通信回路１８を介して、デバイスの１つまたは複数あるいは分散照明ネットワーク内のボーダールーターの１つまたは複数に、または、リモートデバイスの１つまたは複数に通信する場合がある。更に他の状況において、照明器具１０は、１つまたは複数のセンサ２６からの情報に基づいて照明器具１０から提供される光の１つまたは複数の態様を変更すると共に、１つまたは複数のセンサ２６からの情報を、通信回路１８を介して通信する場合がある。

[0029]ＬＥＤのアレイ１４は複数のＬＥＤストリング２８を含む。各ＬＥＤストリング２８は、電力変換器回路１６とグラウンドとの間に直列に配置された複数のＬＥＤ３０を含む。特に、本開示は、こうして配置されたＬＥＤ３０を有する照明器具１０に限定されない。ＬＥＤ３０は、直列／並列の任意の組合せで配置されてもよく、電力変換器回路１６の接点の間に結合されてもよく、または、本明細書で述べる原理から逸脱することなく任意の他の適した構成で配置されてもよい。ＬＥＤストリング２８の各ストリング内のＬＥＤ３０は、異なる材料から作製され、異なる蛍光体をコーティングされてもよく、それにより、ＬＥＤ３０は、それぞれの他のＬＥＤストリング２８内のＬＥＤ３０と異なる特性を有する光を提供するように構成される。例えば、ＬＥＤストリング２８の第１のストリング内のＬＥＤ３０は、ＬＥＤ３０から放出される光が緑であるように製造され、この緑光を青光にシフトさせるように構成される蛍光体を含んでもよい。こうしたＬＥＤ３０は、青シフト緑（ＢＳＧ：ｂｌｕｅ−ｓｈｉｆｔｅｄ ｇｒｅｅｎ）ＬＥＤと呼ばれる場合がある。ＬＥＤストリング２８の第２のストリング内のＬＥＤ３０は、ＬＥＤ３０から放出される光が青であるように製造され、この青光を黄光にシフトさせるように構成される蛍光体を含んでもよい。こうしたＬＥＤ３０は、青シフト黄（ＢＳＹ：ｂｌｕｅ−ｓｈｉｆｔｅｄ ｙｅｌｌｏｗ）ＬＥＤと呼ばれる場合がある。ＬＥＤストリング２８の第３のストリング内のＬＥＤ３０は、赤光を放出するように製造されてもよく、赤（Ｒ）ＬＥＤと呼ばれる場合がある。各ＬＥＤストリング２８からの光出力は、所望の色相(hue)、彩度(saturation)、光度(brightness)等を有する光を提供するために組み合わされる場合がある。任意の異なるタイプのＬＥＤ３０が、ＬＥＤストリング２８の各ストリング内に設けられて、任意の所望の光出力を達成する場合がある。電力変換器回路１６は、各ＬＥＤストリング２８を通して提供される電圧および／または電流を個々に変更することが可能である場合があり、それにより、ＬＥＤ３０のアレイから提供される光の色相、彩度、光度、または任意の他の特性を調整することができる。

[0030]上記で論じたように、センサ回路２４内に画像センサを含むことがしばしば望ましい。さらに、占有状態および環境光レベル等の１つまたは複数の環境状態を決定するために画像センサを使用することが望ましい。したがって、図２は、画像センサからの画像データに基づいて占有状態を決定するための方法を示すフローチャートである。本明細書で論じるように、占有状態は、関心エリアが関心のある人または関心のある他のオブジェクト（例えば、フォークリフトなどの車両）によって占有済みであるか、未占有であるかを示す。そのため、占有状態は占有済みであるまたは未占有である場合がある。

[0031]第１に、画像フレームが画像センサによって取り込まれる（ステップ１００）。本明細書で論じるように、画像フレームは、特定の瞬間に画像センサによって検出される光を表す複数のピクセル値を含むデータ構造である。ピクセル値は、任意の数の方法でフォーマットされる場合があり、例えば、複数の色チャネル（例えば、赤、緑、および青）について検出される光強度を表す値を含む場合がある。空間データは、ピクセル値のそれぞれに関連付けられるため、空間データは画像フレームの特定の部分に関連付けられる。したがって、画像フレームはピクセル値の行列と考えることができ、各ピクセル値は画像フレームの一部分に取り込まれる光を記述する。画像センサから画像フレームを取り込むことは、画像センサに結合されたシリアルバスから画像データを読取ることを含む場合がある；しかしながら、画像フレームは、画像センサから任意の適した方法で取得される場合がある。例えば、画像フレームのダウンサンプリングされたバージョンは、画像センサについての自動露出プロセスの過程で維持される一連の自動露出値等の値を、画像センサに関連する１つまたは複数のレジスターから読取ることによって取得される場合がある。上記で論じたように、画像フレームは、従来のセンサによって取得されるデータと比較して、比較的高い分解能である。したがって、画像フレームから環境状態を決定することは、有意の処理リソースを消費しない場合、比較的難しい場合がある。

[0032]１つの画像フレームまたは複数の画像フレームから１つまたは複数の環境状態を決定する効率を増加させようと努力して、画像フレーム内のピクセル値は、ゾーンに分割され、１つまたは複数のゾーンマップを形成するために変換（reduce）される（ステップ１０２）。例えば、画像フレームは、それぞれがピクセル値のサブセットを含む、４、５、６、７、８、９、または任意の他の数のゾーンに分割される場合がある。これらのゾーン内のピクセル値は、その後、ゾーン内のピクセル値の集約であるゾーン値に変換される場合がある。一実施形態において、ゾーン内のピクセル値をゾーン値に変換することは、ピクセル値を平均化することによって行われる。ピクセル値自身は、各ゾーン内のピクセル値をゾーン値に変換する前に、（例えば、異なる色チャネルについての別個の強度情報を組み合わせて、輝度(luma)またはルミナンス（luminance）等の単一値にすることによって）単一値に個々に変換される場合がある。別の実施形態において、ゾーン内のピクセル値をゾーン値に変換することは、ピクセル値を合計することによって行われる。その結果、画像フレームは大幅にダウンスケーリングされ、その画像フレームから環境状態を解析し、したがって、環境状態を決定するのはずっと容易である。複数のゾーンの各ゾーンのサイズ、さらには、画像フレームが分離されるゾーンの数は、環境状態の検出に関連する画像フレーム内の関心のあるオブジェクト(object of interest)のサイズに基づいて決定される場合がある。例えば、ゾーンは、占有状態を検出するために、画像フレーム内に人が現れるサイズにほぼ等しくサイズ決定される場合がある。

[0033]次に、占有状態は、１つまたは複数のゾーンマップに基づいて決定される（ステップ１０４）。１つまたは複数のゾーンマップに基づいて占有状態を決定することは、占有を示さない画像フレーム内のオブジェクト（例えば、影、ターンオンまたはターンオフする近傍の光、小動物等）を無視しながら関心のある人または関心のある他のオブジェクトが画像フレーム内に存在するときを検出するために、ルールのセットに従ってゾーンマップを解析することを含む場合がある。１つまたは複数のゾーンマップから占有状態を決定することに関する詳細は以下で論じられる。最後に、占有状態は検証される場合がある（ステップ１０６）。占有状態を検証することは、偽陽性事象（false positive event）についてゾーンマップをスクリーニングすること、さらには、直前のステップで検出された占有が正しかったことを確認することを更に含む場合がある。種々の実施形態において、最後の２つのステップは、組み合わされて単一ステップになり、それにより、占有状態を検証することは、単に占有状態を決定することの一部となる。

[0034]図３は、本開示の一実施形態による、画像フレームからのピクセル値を１つまたは複数のゾーンマップに変換すること（図２のステップ１０２）の詳細を示すフローチャートである。プロセスは画像フレームで始まる（ステップ２００）。画像フレームは、上記で論じたようにゾーンに分割される（ステップ２０２）。特に、サイズ、さらには、画像フレームが分離されるゾーンの数は、決定される環境状態に関連する関心のあるオブジェクトが画像フレーム内に現れるサイズに依存する。これらのゾーンの各ゾーン内のピクセル値は、その後、ベースゾーンマップを提供するために変換される（ステップ２０４）。例えば、上記で論じたように、それぞれのゾーン内のピクセル値は合計または平均化される場合があり、それにより、画像フレームは、ダウンスケーリングされ、ピクセル値の数より著しく少ない、複数のゾーン値で記述される。上記で論じたように、複数のピクセル値の各ピクセル値は、各ゾーン内のピクセル値をゾーン値に変換する前に、単一値またはより小さい値に変換される場合がある。例えば、ピクセル値はそれぞれ、輝度またはルミナンス値に変換され、その後、ゾーン値になるように合計または平均化される場合があり、それにより、ゾーン値は、ゾーン内の平均輝度またはルミナンスを記述する。

[0035]画像フレームは、以下で論じるように、１つまたは複数の更なるゾーンマップの構築において使用するためにバックグラウンド画像フレームを更新する（ステップ２０６）ために使用される場合がある。本明細書で論じるように、バックグラウンド画像フレームは、所定期間にわたる画像フレームの移動平均である。したがって、バックグラウンド画像フレーム内の複数のピクセル値の各ピクセル値は、或る期間にわたって取得された複数の画像フレーム内の対応するピクセル値の移動平均である。画像フレームが取り込まれるたびに、バックグラウンド画像フレームが更新される。単純な混合方法が使用されて、式（１）：
ＰＶ_ＲＡ＝（ＰＶ_Ｉ＊α）＋ＰＶ_ＲＡＰ＊（１−α） （１）
で記述するように、バックグラウンド画像フレーム内の各ピクセル値を更新する場合がある。ここで、ＰＶ_ＲＡはバックグラウンド画像フレーム内の更新されたピクセル値であり、ＰＶ_Ｉは現在の画像フレーム内の対応するピクセル値であり、αは混合係数（例えば、０と１との間）であり、ＰＶ_ＲＡＰは、更新されるバックグラウンド画像フレーム内のピクセル値である。

[0036]ゾーン変化マップは、画像フレームをバックグラウンド画像フレームと比較する（ステップ２０８）ことによって提供される場合がある。一実施形態において、バックグラウンド画像フレーム内の全てのピクセル値が、画像フレーム内の全ての対応するピクセル値から引かれて、画像フレーム内のそれぞれのピクセル値がその移動平均からどれだけ遠くまで外れるかを決定する。これらのピクセル値差分は、複数のゾーン差分であって、ゾーン変化マップについてのゾーン値である、複数のゾーン差分を提供するために、ゾーンごとに合計または平均化することによって、ゾーン差分に変換される場合がある。

[0037]また、バックグラウンドゾーン変化マップは、式（２）：
ＺＶ_ＲＡ＝（ＺＶ_Ｉ＊α）＋ＺＶ_ＲＡＰ＊（１−α） （２）
で記述するように、ゾーン変化マップに基づいて更新され維持される場合がある（ステップ２１０）。ここで、ＺＶ_ＲＡはバックグラウンドゾーン変化マップ内の更新されたゾーン値であり、ＺＶ_Ｉはゾーン変化マップ内の対応するゾーン値であり、αは混合係数（例えば、０と１との間）であり、ＺＶ_ＲＡＰは、更新されるバックグラウンドゾーン変化マップ内のゾーン値である。そのため、バックグラウンドゾーン変化マップは、各ゾーンにおける或る期間にわたるゾーン値の平均変化量を記述する。上記で論じた種々のゾーンマップが使用されて、以下で論じるように１つまたは複数の環境状態を決定する場合がある。

[0038]特定の例が上記で論じられるが、ベースゾーンマップ、バックグラウンド画像フレーム、ゾーン変化マップ、およびバックグラウンドゾーン変化マップのうちの任意のものが、任意の詳細レベルで構築される場合がある。すなわち、任意の程度のダウンスケーリングが、ゾーンマップの任意のものを構築する前にまたはその間に行われて、本明細書で論じる原理から逸脱することなく、効率とデータ保持をバランスさせる場合がある。

[0039]図４は、本開示の一実施形態による１つまたは複数のゾーンマップから占有状態を決定すること（図２のステップ１０４）の詳細を示すフローチャートである。プロセスは、図３に関して上記で論じたゾーン変化マップで始まる（ステップ３００）。ゾーン変化マップ内のそれぞれのゾーンについてのゾーン値は、集約され、閾値と比較される（ステップ３０２）。幾つかの実施形態において、このステップは、集約してもよく、画像フレームとバックグラウンド画像フレームとの間のピクセル値の非集約的差を計算し、ゾーン変化マップ内のゾーン値ではなく閾値と比較してもよい。このステップは、例えば、近傍の光のターンオンまたはターンオフによって、ピクセル値、さらにはそれらの対応するゾーン値の非常に大きい変化をトリガーする誤警報事象についてチェックすることである。ゾーン値の全てが有意な量だけ変化するとき、または（ゾーン変化マップのゾーン値によって示されるように）ゾーン値の大部分が有意な量だけ変化するとき、それは、多くの場合、近傍の光または画像センサが一体化される照明器具がターンオンすることまたはターンオフすることに起因する。そのため、占有状態を決定するときにこれらの事象を無視することが望ましい。したがって、ゾーン変化マップ内のゾーンの全てについての集約ゾーン値が閾値より大きい場合（例えば、ゾーン値の２／３等の圧倒的多数が有意の変化を示す場合）、その画像フレームについての処理はスキップされ（ステップ３０４）、任意選択の遅延（例えば、３０フレーム）が設けられ（ステップ３０６）、プロセスは処理するために次の画像フレームを待つことに進み、図２で述べたプロセスをやり直す（ステップ３０８）。

[0040]ゾーン変化マップ内のゾーンの全てについての集約ゾーン値が閾値より大きくない場合、プロセスは、プロセスの残りがその上で実施される現在のゾーンを表すゾーンカウンタｉを１に初期化することに進む（ステップ３１０）。ゾーン変化マップ内のゾーンｉについてのゾーン値が、その後取得され（ステップ３１２）、ゾーン値閾値Ｔ_ＺＶと比較される（ステップ３１４）。幾つかの実施形態において、ゾーン値ＺＶ_ｉの絶対値はゾーン値閾値Ｔ_ＺＶと比較される場合がある。現在のゾーン値ＺＶ_ｉがゾーン値閾値Ｔ_ＺＶより大きくない場合、ゾーンカウンタｉがゾーン変化マップ内のゾーンの総数以上であるか否かがチェックされる（ステップ３１６）。すなわち、それは、ゾーンの全てがループし終わったか否かを決定するためにチェックされる。

[0041]ゾーンカウンタｉが変化マップ内のゾーンの総数以上である場合、プロセスは再びステップ３０８に進む。ゾーンカウンタｉが変化マップ内のゾーンの総数以上でない場合、ゾーンカウンタｉは増分され（ステップ３１８）、プロセスは、ステップ３１２にてゾーン変化マップ内の次のゾーンについて再び始まる。現在のゾーン値ＺＶ_ｉがゾーン値閾値Ｔ_ＺＶより大きい場合、検出がそれについて示される現在のゾーンを示す検出フラグがセットされる（ステップ３２０）。

[0042]次に、ゾーン変化マップがそこから作成された、現在の画像フレームの直前の１つまたは複数のフレームにおいて検出フラグがセットされたか否かが決定される（ステップ３２２）。このステップは、画像センサによって検出されるノイズまたは他の非常に過渡的な現象（例えば、画像センサの近くを飛んでいる昆虫）に起因する誤警報を防ぐために設けられる。幾つかの実施形態において、検出フラグは、占有が検出されることになる前に、現在のフレームの直前の複数（例えば、２、３、４、５等）の画像フレームにおいて存在しなければならない。検出フラグが直前の１つまたは複数のフレームについてセットされた場合、任意選択で、これらの検出フラグが、現在の検出フラグがそれについてセットされたゾーンの近傍のゾーン（複数可）についてセットされたか否かが決定される（ステップ３２４）。この文脈において、近傍のゾーン（複数可）は、同じゾーンについてセットされた順次検出フラグを含む場合がある。一実施形態において、検出フラグは、占有が検出される前に、同じゾーンまたは隣接ゾーン内の３つの順次フレームについてセットされなければならない。ここで、隣接ゾーンは、互いに少なくとも１つの境界を共有するゾーンである。特に、これらの数字は単に例示である。幾つかの実施形態において、占有を検出するために必要とされる検出フラグの数は、検出フラグが同じゾーンにある場合および隣接ゾーンにある場合に異なる場合がある。例えば、同じゾーン内のｘの順次フレームについての検出フラグ、または、隣接ゾーン内のｙの順次フレームについての検出フラグが、占有が検出される前に必要とされる場合がある。ここで、ｘは２と３０との間であり、ｙは４と５０との間である。隣接ゾーンは、互いに１つの境界を共有する任意の数のゾーンを含むことができる。例えば、検出フラグは、占有が検出される前に、必要とされる数のフレームについて、２つの隣接ゾーン、３つの隣接ゾーン、４つの隣接ゾーン等についてセットされる場合がある。一実施形態において、検出フラグカウンタは各ゾーンについて維持される。検出フラグカウンタは、検出フラグがセットされる各フレームについて増分され、検出フラグがセットされない各フレームについて減分される。或るゾーンについての検出フラグカウンタが閾値（例えば、２と２０との間、また一実施形態において３）に達すると、占有状態は、占有されていると決定される場合がある。

[0043]上記は図５Ａ〜５Ｃに示される。図５Ａは、画像センサから取り込まれる例示的な一連の順次画像フレーム３２を示し、画像フレーム３２のそれぞれは複数のゾーン３４に分割される。ゾーン内のハッチング線は、検出フラグがそのゾーンについてセットされていることを示す。検出フラグがセットされた第１のゾーンに隣接するゾーンは斑点で示される。画像フレーム３２の第１の画像フレームにおいて、検出フラグは第１のゾーンにセットされる。検出フラグカウンタは、検出フラグのセットに応答して増分される。隣接ゾーンのセットについての直前の順次の一連の検出フラグの一部でない検出フラグがセットされる第１のゾーンは、以下で論じるように、検出フラグがセットされなければならないゾーンのセットを規定し、検出フラグカウンタを増分し続ける。これは、第１のゾーンを囲む斑点ゾーンによって示される。画像フレーム３２の第２の画像フレームにおいて、検出フラグは第１のゾーンの隣接ゾーンにセットされ、検出フラグカウンタが増分される。画像フレーム３２の第３の画像フレームにおいて、第３の検出フラグは第１のゾーンの隣接ゾーンにセットされ、検出フラグカウンタが増分される。上記で論じたように、占有は、同じゾーンまたは隣接ゾーン内の３つの順次フレームについて検出フラグがセットされると検出される場合がある。すなわち、占有は、検出フラグカウンタが３に達すると検出される場合がある。図５Ａに示す例において、占有は、したがって、画像フレーム３２の第３の画像フレームにおいて検出される場合がある。

[0044]図５Ｂは、別の例示的な一連の順次画像フレーム３２を示し、画像フレーム３２のそれぞれは複数のゾーン３４に分割される。この場合も先と同様に、或るゾーン内のハッチング線は、検出フラグがそのゾーンについてセットされていることを示す。検出フラグがセットされたゾーンに隣接するゾーンは斑点で示される。画像フレーム３２の第１の画像フレームにおいて、検出フラグは第１のゾーンにセットされる。検出フラグカウンタは、検出フラグのセットに応答して増分される。画像フレーム３２の第２の画像フレームにおいて、検出フラグは第１のゾーンの隣接ゾーンにセットされ、検出フラグカウンタが増分される。画像フレーム３２の第３の画像フレームにおいて、動きは検出されず、したがって、検出フラグはセットされない。応答して、検出フラグカウンタは減分される。画像フレーム３２の第４の画像フレームにおいて、検出フラグは第１のゾーンの隣接ゾーンにセットされ、検出フラグカウンタが増分される。画像フレーム３２の第５の画像フレームにおいて、検出フラグは、画像フレームの第４の画像フレームの場合と同じゾーンにセットされ、検出フラグカウンタが増分される。占有事象が、このときに検出される。

[0045]図５Ｃは、別の例示的な一連の順次画像フレーム３２を示し、画像フレーム３２のそれぞれは複数のゾーン３４に分割される。この場合も先と同様に、或るゾーン内のハッチング線は、検出フラグがそのゾーンについてセットされていることを示す。検出フラグがセットされたゾーンに隣接するゾーンは斑点で示される。画像フレーム３２の第１の画像フレームにおいて、検出フラグは第１のゾーンにセットされる。検出フラグカウンタは、検出フラグのセットに応答して増分される。画像フレーム３２の第２の画像フレームにおいて、検出フラグは第１のゾーンの隣接ゾーンにセットされ、検出フラグカウンタが増分される。画像フレーム３２の第３の画像フレームにおいて、検出フラグは、第１のゾーンに隣接しないゾーンについてセットされる。検出フラグが第１のゾーンに隣接するゾーン内にないため、第１のゾーンは、検出フラグが起こったゾーンとして再規定され、したがって、検出フラグカウンタを増分し続けるために検出フラグがセットされなければならないゾーンのセットを再規定する。さらに、これは、検出フラグカウンタをリセットして１に戻す。画像フレーム３２の第４の画像フレームにおいて、検出フラグは、画像フレーム３２の第３の画像フレームにおいてセットされた第１のゾーンに隣接しないゾーンについて再びセットされる。これは、第１のゾーン、さらには、検出フラグカウンタを増分し続けるために検出フラグがセットされなければならないゾーンのセットをもう一度再規定する。さらに、これは、検出フラグカウンタをリセットして１に戻す。占有事象は、図５Ｃに示す一連の画像フレーム３２において検出されない。その理由は、検出フラグが順次フレームにおいて互いに隣接しないからである。これは、非常に速い移動オブジェクトを示す場合があり、そのオブジェクトについて、占有は検出されるべきでない。こうして占有を検出することによって、これらの速い移動オブジェクトによる偽陽性が回避され、したがって、占有検出の正確さを増す場合がある。

[0046]これは、検出がゾーンについて示されるノイズまたは他の過渡的な現象がフレームの反対側で起こることをもう一度防ぐ場合がある。現在の検出フラグがセットされたゾーンの近傍ゾーン（複数可）について検出フラグがセットされなかった場合、この場合も先と同様にプロセスはステップ３１６に進む。現在の検出フラグがセットされたゾーンの近傍ゾーン（複数可）について検出フラグがセットされた場合、占有状態は、占有されていると決定される（ステップ３２６）。１つまたは複数の直前のフレームについて検出フラグがセットされなかった場合、占有状態は、未占有のままであり、この場合も先と同様にプロセスはステップ３１６に進む。

[0047]上述したプロセスは、米国特許出願第１５／１９１，７５３号に更に詳細に記載され、その内容は参照によりその全体が本明細書に組み込まれる。このプロセスに設けられる種々の予防対策によって、占有状態は、誤警報を回避しながら、確実に決定される場合がある。さらに、こうしたプロセスは、画像フレーム自身ではなくゾーン変化マップを使用するため、最小の処理パワーで実施される場合がある。しかしながら、幾つかのシナリオにおいて、占有検出における更なる改良が、誤警報検出を回避するために必要である場合がある。例えば、上記プロセスは、光沢性または半光沢性の床表面上での近傍の光による高鏡面反射によって、誤警報検出をフィルタリングするときに困難さを有する場合がある。

[0048]したがって、図６は、１つまたは複数のゾーンマップに基づいて占有状態を検証する（または、幾つかの実施形態において、独立して決定する）こと（図２のステップ１０６）の詳細を示すフローチャートである。プロセスは、図３に関して上記で決定されたゾーン変化マップで始まる（ステップ４００）。もう一度、ゾーン変化カウンタｉを１に初期化し（ステップ４０２）、ゾーン変化マップ内のゾーンｉについてのゾーン値が取得され（ステップ４０４）、ゾーン値閾値Ｔ_ＺＶと比較される（ステップ４０６）。幾つかの実施形態において、ゾーン値ＺＶ_ｉの絶対値は、ゾーン値閾値Ｔ_ＺＶと比較される場合がある。これは、上記で論じたように、ゾーン変化マップ内のゾーン値が、ゾーン値の移動平均を超える正変化またはゾーン値の移動平均を超える負変化を示す場合があるからである。プロセスのこの部分は、図４で述べたプロセスのオーバラップする部分と共に実施される場合がある、または、独立して実施される場合がある。現在のゾーン値ＺＶ_ｉがゾーン値閾値Ｔ_ＺＶより大きくない場合、ゾーンカウンタｉがゾーン変化マップ内のゾーンの総数以上であるか否かがチェックされる（ステップ４０８）。すなわち、それは、ゾーンの全てがループし終わったか否かを決定するためにチェックされる。

[0049]ゾーンカウンタｉがゾーン変化マップ内のゾーンの総数以上である場合、プロセスは処理するために次の画像フレームを待つことに進み、図２で述べたプロセスをやり直す（ステップ４１０）。ゾーンカウンタｉがゾーン変化マップ内のゾーンの総数以上でない場合、ゾーンカウンタｉは増分され（ステップ４１２）、プロセスは、ステップ４０４にてゾーン変化マップ内の次のゾーンについて再び始まる。現在のゾーン値ＺＶ_ｉがゾーン値閾値Ｔ_ＺＶより大きい場合、ゾーン変化マップ内の現在のゾーンに隣接するゾーンについてのゾーン値ＺＶ_ＡＺが、隣接ゾーン値閾値Ｔ_ＡＺより大きく、かつ、現在のゾーン値ＺＶ_ｉの符号と反対の符号を有するか否かが決定される（ステップ４１４）。幾つかの実施形態において、隣接ゾーン値ＺＶ_ＡＺの絶対値は隣接ゾーン値閾値Ｔ_ＡＺと比較される場合がある。隣接ゾーン値閾値Ｔ_ＡＺは、ステップ４１４に提供される入力によって示すように、バックグラウンドゾーン変化マップ内の隣接ゾーン値ＺＶ_ＡＺのゾーンに対応するゾーン値に関連する場合がある。例えば、隣接ゾーン値閾値Ｔ_ＡＺは、ＴＶ＊ＺＶ_ＡＺＣに等しい場合がある。ここで、ＴＶは１．５と６との間の閾値であり、ＺＶ_ＡＺＣはバックグラウンド変化マップ内の隣接ゾーン値ＺＶ_ＡＺのゾーンについてのゾーン値である。隣接ゾーン値閾値Ｔ_ＡＺは、同様に、８００等の一定値である場合がある。

[0050]ゾーン変化マップ内のゾーン値は、ベースゾーンマップ内のゾーン値の変化の方向を示す符号に関連する。例えば、ゾーン変化マップ内のゾーン値が輝度値またはルミナンス値を表す場合、輝度またはルミナンスは、そのゾーン内の明るいオブジェクトの存在によって増加し、それにより、ゾーン変化マップ内のゾーン値に正値を与える場合がある、または、そのゾーン内の暗いオブジェクトの存在によって減少し、それにより、ゾーン変化マップ内のゾーン値に負値を与える場合がある。そのため、ゾーン変化マップ内のゾーン値の符号は変化の方向を示す。ゾーン変化マップ内のゾーン値が或る値より大きい（そのゾーンが輝度またはルミナンスの有意の変化を経験したことを示す）ことが確立されると、このゾーンに隣接するゾーンは、その後、反対方向の変化を経験したか否かを見るためにチェックされる。すなわち、ステップ４０６における現在のゾーン値ＺＶ_ｉがゾーン値閾値Ｔ_ＺＶより大きい場合、現在のゾーン値ＺＶ_ｉに隣接するゾーン値ＺＶ_ＡＺは、その後、隣接ゾーン値閾値Ｔ_ＡＺより大きく、かつ、現在のゾーン値ＺＶ_ｉと反対の符号を有するか否かを見るためにチェックされる。幾つかの実施形態において、ゾーン値閾値Ｔ_ＺＶおよび隣接ゾーン閾値Ｔ_ＡＺは等しい場合がある。他の実施形態において、ゾーン値閾値Ｔ_ＺＶおよび隣接ゾーン値Ｔ_ＡＺは異なる値である場合がある。さらに、隣接ゾーン閾値Ｔ_ＡＺは、現在のゾーン値ＺＶ_ｉがゾーン値閾値Ｔ_ＺＶを超える量に比例するまたはその他の方法で依存する場合がある。

[0051]ステップ４１４は、最小処理リソースを消費しながら、占有の誤警報検出レートを大幅に低減する場合がある。上記で論じたように、オーバーヘッド照明による光沢性または半光沢性の床からの鏡面反射は、およそ、人等の関心のあるオブジェクトのサイズで現れる、ピクセル値、したがって、対応するゾーン値の変化の出現をもたらす場合がある。したがって、反射を提供する光が状態を変化させるときに誤警報事象が引起される場合がある。人等の関心のあるオブジェクトによる真の動き（或るエリアが占有されることを示す）が、１つのエリアにおけるピクセル値の第１のサブセットの変化として、また、別の近傍のエリアにおけるピクセル値の第２のサブセットの対応する変化として現れることを観察することによって、こうした誤警報事象を回避することができることを本開示の発明者等は発見した。特に、人等の関心のあるオブジェクトによる真の動きは、ａ）ピクセル値の第１のサブセットが第１の所定の量だけ変化するとき、ｂ）ピクセル値の第２のサブセットが、第１の所定の量に等しいまたは等しくない場合がある第２の所定の量だけ変化するとき、および、ｃ）ピクセル値の第１のサブセットおよびピクセル値の第２のサブセットが反対方向に変化するときに示される。

[0052]一例として、白シャツを着た人が画像フレーム内で第１のゾーンから第２のゾーンまで移動する場合（ピクセル値の第１のサブセットは第１のゾーンであり、ピクセル値の第２のサブセットは第２のゾーンである）、第２のゾーンは、そのゾーン内に移動する白シャツからの反射によって或る量だけ輝度またはルミナンスの増加を経験することになり、一方、第１のゾーンは、白シャツがそのゾーンから出て行き、したがって、反射光がもはや存在しないことによって或る量だけ輝度またはルミナンスの減少を経験することになる。ここで、上記で論じた基準の全てが満たされ、したがって、エリアが、占有されていると決定される。対照的に、近傍の光がターンオンされ、そのゾーンの輝度またはルミナンスを増加させる、第１のゾーンにおける鏡面反射を提供する場合、輝度またはルミナンスの対応する減少を経験する他のゾーンが存在しないことになる。したがって、上記で論じた基準が満たされず、したがって、エリアは、未占有であると決定することができる。

[0053]ゾーン変化マップ内の現在のゾーンに隣接するゾーンについてのゾーン値ＺＶ_ＡＺが、隣接ゾーン値閾値Ｔ_ＡＺより大きく、かつ、現在のゾーン値ＺＶ_ｉの符号と反対の符号を有する場合、占有状態は、占有されていると決定される（ステップ４１６）。ゾーン変化マップ内の現在のゾーンに隣接するゾーンについてのゾーン値ＺＶ_ＡＺが、隣接ゾーン値閾値Ｔ_ＡＺより大きくないまたは現在のゾーン値ＺＶ_ｉの符号と反対の符号を持たない場合、プロセスはステップ４０８に戻る。

[0054]上記で論じたように、図６で論じたプロセスは、そのオーバラップする部分が２回実施されないように、図４で述べたプロセスと共に実施される場合がある。他の実施形態において、図６で論じたプロセスは、占有事象を検出するためにそれ自身で実施される場合がある。すなわち、ピクセル値の第１のサブセットの変化は、占有を決定するために、ピクセル値の第２のサブセットの対応する変化と共に検出される場合がある。上記で論じたように、ピクセル値の第２のサブセットの対応する変化は、ピクセル値の第１のサブセットの変化の反対方向にある場合があり、或る閾値より大きいことが必要とされる場合がある。

[0055]図７は上記で論じた原理を示す。図７は、画像センサから取り込まれる例示的な一連の順次画像フレーム３２を示し、画像フレーム３２のそれぞれは複数のゾーン３４に分割される。ゾーン３４の各ゾーンにおける陰影は、そのゾーンについての光度の正規化された変化（すなわち、上記で論じたバックグラウンドフレームと比較すると、そのフレームについてどれだけの光度が変化したか）を示す。占有が検出されるために、１つのゾーンの光度の変化は、隣接ゾーンの光度の反対の変化と共に起こらなければならず、隣接ゾーンは、光度変化が起こったゾーンに隣接するゾーンである。こうした光度の反対の変化が起こらない場合、それは、例えば、環境におけるオブジェクトからの反射によって引起される誤警報事象を示す場合がある。こうしたシナリオは、図７に示す第１のフレームに示される。しかしながら、１つのゾーンの光度の変化が隣接ゾーンの光度の反対の変化に対応するとき、占有は、図７に示す第２のフレームに示すように（上記で論じた更なる状態を受ける）検出される場合がある。

[0056]上記で論じたプロセスに加えて、１つまたは複数の環境状態の検出は、１つまたは複数のゾーンマップと共にニューラルネットワークを使用することによって更に改良される場合がある。したがって、図８は、本開示の一実施形態による、１つまたは複数の環境状態を検出するためのニューラルネットワークを訓練するプロセスを示す。プロセスは、訓練反復カウンタｉを１に初期化すること（ステップ５００）によって開始する。状況についての複数の既知の出力およびその状況についての複数のゾーンマップが、その後取得される（ステップ５０２）場合がある。本明細書で論じるように、状況は、画像センサからの１つまたは複数の画像フレームによって収集される事象または事象の収集物である場合がある。既知の出力は、例えば、その状況についてのゾーンマップに関連する占有状態を示す場合がある。幾つかの実施形態において、既知の出力は、複数の検出された個人、オブジェクト（例えば、フォークリフト等の車両）の検出、または同様なもの等の更なる特性を示すために、著しくより複雑である場合がある。ゾーンマップは、図３に関して上記で論じたゾーンマップの１つまたは複数を含む。その状況についての既知の出力および複数のゾーンマップは、その後、ニューラルネットワークを訓練する（ステップ５０４）ために使用される。

[0057]その後、訓練反復カウンタｉが訓練反復の所望の回数以上であるか否かがチェックされる（ステップ５０６）。すなわち、ニューラルネットワークを較正するために、所望の回数の訓練反復が実施されたか否かがチェックされる。訓練反復カウンタｉが訓練反復の所望の回数以上である場合、プロセスは、訓練を停止する（ステップ５０８）ことに進む。より多くの訓練反復が所望される場合、状況カウンタｉは、増分され（ステップ５１０）、プロセスは、ステップ５０２に戻る。

[0058]一実施形態において、ニューラルネットワークは畳み込みニューラルネットワークである；しかしながら、任意の適したタイプのニューラルネットワークが、本開示の原理から逸脱することなく使用される場合がある。上記で論じたように、画像フレームのダウンスケーリングしたバージョンであるゾーンマップを使用してニューラルネットワークを訓練することによって、ニューラルネットワークは、高い程度の効率で、占有等の環境状態を確実に決定することができる場合がある。

[0059]図９は、画像センサからのデータを使用して１つまたは複数の環境状態を決定するためのプロセスを示すフローチャートである。第１に、画像フレームが画像センサから取り込まれる（ステップ６００）。画像フレームは、上記で論じたように任意の数の方法で取り込まれる場合がある。画像フレーム内のピクセル値は、その後、１つまたは複数のゾーンマップを提供するために変換される（ステップ６０２）。画像フレームを複数のゾーンマップに変換することに関する詳細は、図３に関して上記で論じられる。１つまたは複数の環境状態は、その後、上記で論じたように適切に訓練されたニューラルネットワークにおいて１つまたは複数のゾーンマップを処理することによって決定される（ステップ６０４）。やはり、画像フレームの代わりにゾーンマップを使用することによって、環境状態検出の効率は、高い程度の信頼性を依然として提供しながら、非常に高い場合がある。

[0060]図２〜４および図８〜９に関して論じたプロセスの任意のプロセスは、図１に関して上記で論じた照明器具１０によって実施される場合がある。したがって、プロセスは、メモリ２２に記憶され、処理回路２０によって実行される命令によって表される場合がある。画像センサは、センサ回路２４内のセンサ２６の１つである場合がある。他の実施形態において、画像センサは、遠隔にあるが、照明器具１０と有線または無線通信状態にある場合がある。なお他の実施形態において、画像センサは、照明器具内に位置する場合があるが、上記で論じたプロセスは、センサモジュール、ボーダールーター、または同様なもの等の１つまたは複数の他のデバイスによって遠隔で実施される場合がある。これらのコンポーネントに関する詳細は、米国特許出願第１５／１９１，７５３号に見出すことができ、それは上記本明細書に組み込まれる。代替的に、上記で論じたプロセスは、述べたプロセスをコンピュータに実装させるためのプログラム命令を含む非一時的コンピュータ可読媒体上の命令として提供される場合がある。

[0061]占有状態を確実かつ効率的に決定するための種々の方法は、図１に関して上述した照明器具等の照明器具の光出力を制御するために使用される場合がある。占有状態が、未占有から占有済みに変化すると、照明器具の光出力が変化する場合がある。例えば、照明器具は、こうした変化に応答してターンオンされる場合がある。こうした変化は、上記で論じたプロセスがローカルに実行されるときに照明器具内でローカルに、または、プロセスがローカルに実行されないときに照明器具から、遠隔デバイスから提供されるコマンドによって、遂行される場合がある。同様に、占有状態が、占有済みから未占有に変化すると、照明器具の光出力は、同様に変化する場合がある、または、或る期間（すなわち、タイムアウト期間）後に変化する場合がある。例えば、照明器具は、こうした変化に応答してターンオフされる場合がある。もう一度、こうした変化は、上記で論じたプロセスがローカルに実行されるときに照明器具内でローカルに、または、プロセスがローカルに実行されないときに照明器具から、遠隔デバイスから提供されるコマンドによって、遂行される場合がある。

[0062]上記で論じたように、画像センサを使用する占有検出の正確さを更に改善するように努力して、照明器具１０は、センサ回路２４内に少なくとも２つの画像センサを含む場合がある、または、両眼レンズを有する画像センサを含む場合がある。複数の画像センサまたは両眼レンズを有する画像センサを使用することは、照明器具１０が、画像センサによって見られるオブジェクトと画像センサ自身との間の距離を決定または近似することを可能にする場合がある。これは、占有がそれについて検出される所望の人／オブジェクトによらない動き（例えば、画像センサの近くを飛ぶ昆虫からの動き）のフィルタリング、したがって、画像センサを使用する占有検出の正確さの増加を可能にする場合がある。

[0063]（複数の画像センサまたは両眼レンズを有する単一画像センサによる）両眼視(binocular vision)を使用してオブジェクトの距離を決定するための方法は、当業者によって容易に認識されるであろう。一実施形態において、複数の画像センサ間のまたは両眼レンズを有する画像センサによって提供される別個の視野間のピクセル毎相関の事前較正は、１つまたは複数の目標作動距離について実施され、オブジェクト間の両眼視差(binocular disparity)は、オブジェクト間の相対的な差を決定し、さらには、相対的な差から提供される動きが照明器具１０の占有状態を変化すべきか否かを決定するために使用される。

[0064]図１０は、複数の画像センサおよび／または両眼レンズを有する単一画像センサを使用して占有検出の正確さを増すためのプロセスを示すフローチャートである。プロセスは別個の画像センサに関して論じられるが、同じ概念は、当業者によって認識されるように、両眼レンズを有する単一画像センサに当てはまる。プロセスは、第１の画像センサから取り込まれる第１の画像フレームおよび第２の画像センサによって取り込まれる第２の画像フレームで始まる（ステップ７００）。第１の画像フレームおよび第２の画像フレーム内のオーバラップするピクセル値の間のピクセル差値が、その後、採取される（ステップ７０２）。ピクセル差値は、ステレオ差マップを取得するために、図３に関して上記で論じたゾーン変化マップを取得するためのプロセスと同様に、ゾーンによって集約される（ステップ７０４）場合がある。ステレオ差マップは、別個の画像センサ（または両眼レンズを有する単一画像センサ）によって提供されるビュー間のステレオ視差のレベルに関連し、カメラに近いオブジェクトが検出されるとき増加し、光学的無限遠においてゼロに減少することになる。占有を検出するための所望の平面が画像センサの下３．０４８〜１８．２８８メートル（１０〜６０フィート）にある（例えば、歩道は、屋外照明器具の下、３．０４８〜１８．２８８メートル（１０〜６０フィート）にある）例示的なシナリオにおいて、画像センサ用の光学部品は、目標平面が効果的に光学的無限遠になるように構成することができる。オーバラップするピクセルの領域内の各ゾーンについての合計は、幾つかの実施形態において正規化され、その後、占有検出の正確さを増すために、図４および図６に関して上記で論じたゾーン変化マップを調整する（ステップ７０６）ために使用される場合がある。

[0065]一実施形態において、ステレオ差マップ内の各ゾーンはゾーン変化マップ内のゾーンに対応する。ゾーン変化マップ内の各ゾーンについてのゾーン変化値は、ステレオ差マップ内の対応する各ゾーンについてステレオ差値を使用して調整される。上記で論じたように、より高いステレオ差値はステレオ視差のより大きい量を示し、したがって、ゾーン変化値は、ステレオ差値に比例する量だけ低減されて、占有の検出に対する、占有を検出するための所望の平面上にない動き（例えば、画像センサの非常に近くの昆虫）の影響を減少させる場合がある。したがって、占有の検出における偽陽性を大幅に低減することができる。

[0066]当業者は、本開示の好ましい実施形態に対する改善および修正を認識するであろう。全てのこうした改善および修正は、本明細書で開示される概念および以下の特許請求項の範囲内であると考えられる。

Claims (19)

1. ・ 画像センサから複数のフレームを取得するステップであって、前記複数のフレームの各フレームは、複数のピクセル値を含む、取得するステップと、
   ・ 前記複数のフレームの各フレームについて、前記複数のピクセル値を複数のゾーンに分離するステップと、
   ・ 前記複数のゾーンの各ゾーンについて、前記複数のゾーンの前記各ゾーン内の前記複数のピクセル値の前記ピクセル値をゾーン値に変換するステップと、
   ・ 前記複数のフレーム内の前記複数のゾーンの第１のゾーンから第１のゾーン値の変化を検出するステップと、
   ・ 前記複数のフレーム内の前記複数のゾーンの前記第１のゾーンに隣接する前記複数のゾーンの第２のゾーンから第２のゾーン値の対応する変化を検出するステップと、
   ・ 前記第１のゾーン値の前記変化と前記第２のゾーン値の前記変化との間の関係に基づいて占有状態を決定するステップとを含み、
   ・前記占有状態は、前記第１のゾーン値の前記変化が第１の方向にあり、かつ、前記第２のゾーン値の前記変化が前記第１の方向と反対の第２の方向にあるときに占有されていると決定される、方法。
2. 前記占有状態は、前記第１のゾーン値の前記変化が第１の閾値より大きく、かつ、前記第２のゾーン値の前記変化が第２の閾値より大きいときに占有されていると決定される、請求項１に記載の方法。
3. 前記第１の閾値は、前記第２の閾値に等しい、請求項２に記載の方法。
4. 前記複数のピクセル値は、輝度値である、請求項２に記載の方法。
5. ・ 前記第１のゾーン値の前記変化は、前記第１のゾーン値と前記第１のゾーン値の移動平均との差に基づき、
   ・ 前記第２のゾーン値の前記変化は、前記第２のゾーン値と前記第２のゾーン値の移動平均との差に基づく、請求項２に記載の方法。
6. 前記複数のゾーンの各ゾーンに関連する前記ゾーン値は、前記複数のゾーンの前記各ゾーン内の前記複数のピクセル値の前記ピクセル値に基づく平均輝度値である、請求項１に記載の方法。
7. ・ 前記第１のゾーン値の前記変化を検出するステップは、前記第１のゾーン値の前記変化の方向を検出することを含み、
   ・ 前記第２のゾーン値の前記対応する変化を検出するステップは、前記第２のゾーン値の前記変化の方向を検出すること、および、前記第１のゾーン値の前記変化の前記方向と前記第２のゾーン値の前記変化の前記方向を比較することを含む、請求項１に記載の方法。
8. 前記占有状態は、前記第１のゾーン値の前記変化の前記方向と、前記第２のゾーン値の前記変化の前記方向とが反対であるときに占有されていると決定される、請求項７に記載の方法。
9. ・ 前記第１のゾーン値の前記変化を検出するステップは、前記第１のゾーン値の前記変化の量を検出することを含み、
   ・ 前記第２のゾーン値の前記対応する変化を検出するステップは、前記第２のゾーン値の前記変化の量を検出することを含む、請求項７に記載の方法。
10. ・ 前記第１のゾーン値の前記変化の前記量は、前記第１のゾーン値と前記第１のゾーン値の移動平均との差に基づき、
    ・ 前記第２のゾーン値の前記変化の前記量は、前記第２のゾーン値と前記第２のゾーン値の移動平均との差に基づく、請求項９に記載の方法。
11. 前記占有状態は、
    ・ 前記第１のゾーン値の前記変化の前記量が、第１の閾値より大きく、
    ・ 前記第１のゾーン値の前記変化の前記方向と、前記第２のゾーン値の前記変化の前記方向とが反対であり、かつ、
    ・ 前記第２のゾーン値の前記変化の前記量が、第２の閾値より大きいときに、占有されていると決定される、請求項９に記載の方法。
12. 装置であって、
    ・ 処理回路と、
    ・ 前記処理回路に結合されたメモリを備え、前記メモリは、命令を記憶し、前記命令は、前記処理回路によって実行されると、前記装置に、
    ・ 画像センサから複数のフレームを取得することであって、前記複数のフレームの各フレームは、複数のピクセル値を含む、取得すること、
    ・ 前記複数のフレームの各フレームについて、前記複数のピクセル値を複数のゾーンに分離するステップと、
    ・前記複数のゾーンの各ゾーンについて、前記複数のゾーンの前記各ゾーン内の前記複数のピクセル値の前記ピクセル値をゾーン値に変換するステップと、
    ・ 前記複数のフレーム内の前記複数のゾーンの第１のゾーンから第１のゾーン値の変化を検出すること、
    ・ 前記複数のフレーム内の前記複数のゾーンの前記第１のゾーンに隣接する前記複数のゾーンの第２のゾーンから第２のゾーン値の対応する変化を検出すること、
    ・ 前記第１のゾーン値の前記変化と前記第２のゾーン値の前記変化との間の関係に基づいて占有状態を決定することを行わせ、前記占有状態は、前記第１のゾーン値の前記変化が第１の方向にあり、かつ、前記第２のゾーン値の前記変化が前記第１の方向と反対の第２の方向にあるときに占有されていると決定される、装置。
13. ・ 固体光源と、
    ・ 前記固体光源および前記処理回路に結合された電力変換器回路とを更に備え、前記メモリは、更なる命令を記憶し、前記更なる命令は、前記処理回路によって実行されると、前記装置に、前記占有状態に基づいて前記電力変換器回路を介して前記固体光源の光出力を制御させる、請求項１２に記載の装置。
14. 前記占有状態は、前記第１のゾーン値の前記変化が第１の閾値より大きく、かつ、前記第２のゾーン値の前記変化が第２の閾値より大きいときに占有されていると決定される、請求項１３に記載の装置。
15. ・ 前記第１のゾーン値の前記変化は、前記第１のゾーン値と前記第１のゾーン値の移動平均との差に基づき、
    ・ 前記第２のゾーン値の前記変化は、前記第２のゾーン値と前記第２のゾーン値の移動平均との差に基づく、請求項１４に記載の装置。
16. プログラム命令を含む非一時的コンピュータ可読媒体であって、前記プログラム命令は、コンピュータに、
    ・ 画像センサから複数のフレームを取得することであって、前記複数のフレームの各フレームは、複数のピクセル値を含む、取得すること、
    ・ 前記複数のフレームの各フレームについて、前記複数のピクセル値を複数のゾーンに分離すること、
    ・ 前記複数のゾーンの各ゾーンについて、前記複数のゾーンの前記各ゾーン内の前記複数のピクセル値の前記ピクセル値をゾーン値に変換すること、
    ・ 前記複数のフレーム内の前記複数のゾーンの第１のゾーンから第１のゾーン値の変化を検出すること、
    ・ 前記複数のフレーム内の前記複数のゾーンの第１のゾーンに隣接する前記複数のゾーンの第２のゾーンから、第２のゾーン値の対応する変化を検出すること、
    ・ 前記第１のゾーン値の前記変化と前記第２のゾーン値の前記変化との間の関係に基づいて占有状態を決定することを行わせる方法を前記コンピュータに実行させるためのものであり、前記占有状態は、前記第１のゾーン値の前記変化が第１の方向にあり、かつ、前記第２のゾーン値の前記変化が前記第１の方向と反対の第２の方向にあるときに占有されていると決定される、
    非一時的コンピュータ可読媒体。
17. 前記占有状態は、前記第１のゾーン値の前記変化が第１の閾値より大きく、かつ、前記第２のゾーン値の前記変化が第２の閾値より大きいときに占有されていると決定される、請求項１６に記載の非一時的コンピュータ可読媒体。
18. 前記ピクセル値は輝度値である、請求項１７に記載の非一時的コンピュータ可読媒体。
19. ・ 前記第１のゾーン値の前記変化は、前記ゾーン値と前記第１のゾーン値の移動平均との差に基づき、
    ・ 前記第２のゾーン値の前記変化は、前記第２のゾーン値と前記第２のゾーン値の移動平均との差に基づく、請求項１７に記載の非一時的コンピュータ可読媒体。
    

Images