JP7057818B2 - 低照度撮像システム - Google Patents

Description

十分に明るい（ｗｅｌｌ－ｌｉｔ）シーン（例えば、昼間シーン）と低照度（ｌｏｗ－ｌｉｇｈｔ）シーン（例えば、夜間シーン）の両方を撮像するためのよく知られているカメラ構成は、取り外し可能なＩＲ（：ｉｎｆｒａ－ｒｅｄ、赤外）カットフィルターを有するカメラの構成である。ＩＲカットフィルターは、７００ｎｍより長い波長を有する光（例えば、近赤外線すなわちＮＩＲ（ｎｅａｒ ｉｎｆｒａ－ｒｅｄ）光）を除去するフィルターである。ＩＲカットフィルターは、昼間シーンを撮像するために使用することができ、ＮＩＲ光は、撮像センサに影響を及ぼし、可視カラーの正確な取り込みをより難しくする可能性がある。低照度シーンを撮像するために、正確なカラー表現は難しいまたは不可能である場合がある。したがって、代わりに、できる限り多くの光を取り込み、ＩＲカットフィルターが除去されることに優先度が与えられる。これは、光センサに達する光量が最大にされることを確実にする。

低照度カメラについての１つの重要な使用事例において、夜間交通シーンが撮像されて、シーンを通して車両移動を取り込み記録する。シーンを通して移動する車両は、しばしば交通信号灯に応答することになるため、交通信号灯から出る光もまた、低照度カメラによって正確に取り込まれるべきである。しかしながら、低照度シーン内のカラーを正確に撮像するときの困難さを考慮すると、交通信号灯のカラーを正確に決定するために、低照度カメラ画像の処理を改善する方法が必要とされる。

米国特許出願公開第２０１５／２９４１６７号は、カラー画像をモノクロスケール画像に変換し；第１のモノクロスケール画像を第１の２値画像に変換し；少なくとも１つの所定の幾何学的パラメータに基づいて第１の２値画像内の候補ブロブの第１のセットを識別し；グリーン交通ライト分類器を使用してグリーン交通ライトを識別することによって、交通ライトを検出するための方法を記載する。

国際出願第２００９／０２６９６６号は、画像と、対応する背景画像のルミナンスの差を決定し、画像と、対応する背景画像のクロミナンスの差も決定し、背景画像のルミナンスを相応して変更する方法を記載する。

米国特許出願公開第２０１８／３０２５７５号は、ピクセルの第１のセットにわたるレッドパススペクトルフィルター、ピクセルの第２のセットにわたるブルーパススペクトルフィルター、ピクセルの第３のセットにわたるグリーンパススペクトルフィルターを有する車両用ナイトビジョンシステムを記載し、ピクセルの第４のセットのうちの各ピクセルは、少なくとも近赤外放射を検知する。近赤外照明源は、カメラによる夜間観察を向上させるために不可視近赤外照明を出すように働く。

本開示の第１の態様は、低照度画像を生成する方法であり、方法は、ピクセルのセットを含む第１の画像を撮像するステップであって、ピクセルのセットの各ピクセルは、飽和値およびルマ（ｌｕｍａ）値を含むカラーエンコーディング値によって規定されるピクセルカラーを有する、撮像するステップと、ピクセルのセットの各ピクセルについて、ピクセルカラーが第１のセットのカラーのうちの１つのカラーに対応する場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正するステップと、ピクセルカラーが第２のセットのカラーのうちの１つのカラーに対応し、かつ、ピクセルのルマ値が第１の閾値より小さい場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正するステップであって、第２のセットのカラーは少なくとも１つのカラーからなり、第２のセット内のカラーは第１のセットのカラーに含まれない、修正するステップと、ピクセルカラーが第２のセットのカラーのうちの１つのカラーに対応し、かつ、ピクセルのルマ値が第１の閾値以上である場合、ピクセルの飽和値を維持するステップと、第１の画像の修正されたカラーエンコーディング値に従って、低照度画像を生成するステップとを含む。

任意選択で、第１のセットのカラーはブルーおよびグリーンを含む。第１のセットのカラーはシアン、マゼンタ、およびイエローをさらに含むことができる。第２のセットのカラーはレッドを含むことができる。代替的に、第１のセットのカラーは、ブルー、シアン、マゼンタ、およびイエローをさらに含み、第２のセットのカラーはレッドおよびグリーンを含む。

第１の画像は、画像センサにおいて受信される光に従って生成され得、光は赤外光を含む。赤外光は７００ｎｍと１０００ｎｍとの間の波長を有することができる。

カラーエンコーディング値はＹＵＶカラーエンコーディングシステムに対応することができ、ピクセルカラーは、カラーエンコーディング値のクロミナンス値のセットに従って決定することができる。ピクセルの飽和値を減少させるステップは、カラーエンコーディング値のクロミナンス値を減少させることを含むことができる。さらに、ピクセルの飽和値を減少させるステップは、カラーエンコーディング値のクロミナンス値をゼロに設定することを含むことができる。

本開示の第２の態様は、非一時的コンピュータ可読記憶媒体であり、非一時的コンピュータ可読記憶媒体には、コンピュータコード命令が記憶されており、コンピュータコード命令は、以下の態様の撮像ユニットの処理ユニットによって実行されると、上記方法を実施するように適合される。

本開示の第３の態様は、低照度画像を生成するための撮像ユニットであり、撮像ユニットはカメラおよび処理ユニットを備え、カメラは、ピクセルのセットを含む第１の画像を撮像するように構成され、ピクセルのセットの各ピクセルは、飽和値およびルマ値を含むカラーエンコーディング値によって規定されるピクセルカラーを有し、処理ユニットは、ピクセルのセットの各ピクセルについて：ピクセルカラーが第１のセットのカラーのうちの１つのカラーに対応する場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正することと、ピクセルカラーが第２のセットのカラーのうちの１つのカラーに対応し、かつ、ピクセルのルマ値が第１の閾値より小さい場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正することであって、第２のセットのカラーは少なくとも１つのカラーからなり、第２のセット内のカラーは第１のセットのカラーに含まれない、カラーエンコーディング値を修正することと、ピクセルカラーが第２のセットのカラーのうちの１つのカラーに対応し、かつ、ピクセルのルマ値が第１の閾値以上である場合、ピクセルの飽和値を維持することと、第１の画像の修正されたカラーエンコーディング値に従って、低照度画像を生成すること、を行うよう構成される。

カメラは画像センサを備えることができ、第１の画像は、赤外光を含む、画像センサにおいて受信される光に従って生成することができる。赤外光は、７００ｎｍと１０００ｎｍとの間の波長を有することができる。

カラーエンコーディング値はＹＵＶカラーエンコーディングシステムに対応することができ、ピクセルカラーは、カラーエンコーディング値のクロミナンス値のセットに従って決定することができる。

処理ユニットは、カラーエンコーディング値のクロミナンス値を減少させることによってピクセルの飽和値を減少させるように構成することができる。さらに、処理ユニットは、カラーエンコーディング値のクロミナンス値をゼロに設定することによってピクセルの飽和値を減少させるように構成することができる。

本開示の第４の態様は、少なくとも１つの道路および少なくとも１つの交通信号灯を含む物体のセットの低照度画像を生成するための交通モニタリングシステムであり、交通モニタリングシステムは、カメラおよび処理ユニットを備え：カメラは、ピクセルのセットを含む第１の画像を撮像するように構成され、ピクセルのセットの各ピクセルは、ピクセルカラーに対応するカラーエンコーディング値、飽和値、およびルマ値を含み、処理ユニットは、ピクセルのセットの各ピクセルについて：ピクセルカラーが第１のセットのカラーのうちの１つのカラーに対応する場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正することと、ピクセルカラーがレッドに対応し、かつ、ピクセルのルマ値が第１の閾値より小さい場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正することと、ピクセルカラーがレッドに対応し、かつ、ピクセルのルマ値が第１の閾値以上である場合、ピクセルの飽和値を維持することと、第１の画像の修正されたカラーエンコーディング値に従って、物体のセットの低照度画像を生成すること、を行うよう構成される。

本発明の他の特徴および利点は、添付図面を参照して、例についての以下の詳細な説明から明らかになる。

撮像装置および撮像される物体のセットのダイヤグラムである。 撮像装置の画像センサによって取り込まれる物体のセットの画像の表現である。 撮像装置によって取り込まれる画像についてのカラー処理ステップを示すカラー空間ダイヤグラムである。 図３のカラー処理ステップによって処理された低照度画像の表現である。 低照度画像処理方法のフローチャートである。 画像のためのカラー処理ステップを示すカラー空間ダイヤグラムである。 図６のカラー処理ステップによって処理された低照度画像の表現である。

本説明は、シーンの改善された低照度撮像を提供するための装置および技法に関する。説明全体を通して、同じ参照符号は対応する要素を特定するために使用される。

図１は、撮像ユニット１００および交通シーン２１の例のダイヤグラムである。１つの例において、撮像ユニット１００は交通モニタリングシステム２００の一部である。撮像ユニット１００は、カメラ１１０、処理ユニット１２０を備え、また、非一時的コンピュータ可読媒体１３０をさらに備えることができる。カメラ１１０は、視野１５および画像センサを有し、画像センサは、画像センサにおいて受信される光に従って第１の画像２０を生成するように構成される。画像センサは、可視光センサ（例えば、半導体電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、相補的金属酸化物半導体（ＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のアクティブピクセルセンサ、またはＮ型金属酸化物半導体（ＮＭＯＳ：Ｎ－ｔｙｐｅ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＬｉｖｅＭＯＳ）センサ）の１つまたは組み合わせを備えることができる。カメラ１１０の視野（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）１５は、カメラ１１０が、そこを通して光を採取することができる角度として規定される。視野は、画像センサのサイズおよび画像センサと共に使用されるレンズの焦点距離に依存する。カメラ１１０の視野１５は交通シーン２１をカバーすることができる。本例の場合、光は、少なくとも３００ｎｍと１０００ｎｍとの間の波長を有すると理解される。しかしながら、他の例は、制限されたスペクトルを有する人工光を含むことができる。

カメラ１１０は、任意選択で、赤外カットフィルターをさらに備えることができる。赤外カットフィルターは、自動でまたは手動で、固定または取り外し可能であるとすることができる。１つの例において、赤外カットフィルターは、カメラ１１０による改善された低照度撮像を可能にするために、撮像ユニット１００によって検出される低照度条件に応答して自動的に取り外すことができる。赤外カットフィルターは、７００ｎｍより長い波長を有する光をフィルタリングするように構成することができる。１つの例において、赤外カットフィルターは、７００ｎｍと１０００ｎｍとの間の波長を有する光、すなわち、近赤外（ＮＩＲ）光をフィルタリングするように構成される。

処理ユニット１２０は、画像センサから第１の画像２０を受信し、第１の画像２０から低照度画像１０を生成する１つまたは複数の画像処理ステップを実施するように構成される。１つまたは複数の画像処理ステップは、低照度画像１０を生成するために、第１の画像２０のピクセルのうちの１つまたは複数のピクセルついてピクセル値の調整を含むことができる。処理ユニット１２０は、単一ユニットとして述べられてきたが、別個のコントローラまたはモジュールとして構成することができる。別個の処理ユニットまたはモジュールは、例えば、ビデオおよび画像を処理するための特化型コントローラ、または、２つ以上のコンポーネントを制御することができる汎用コントローラまたはモジュールであるとすることができる。処理ユニット１２０あるいは特化型モジュールまたはコントローラは、中央処理ユニット（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）によって実行されるソフトウェアによって少なくとも部分的に実装することができる。１つの例として、命令を含むコンピュータプログラム製品であって、命令は、プログラムがコンピュータによって実行されると、処理ユニット１２０に関して上記で論じたステップをコンピュータに実施させる、コンピュータプログラム製品。処理ユニットは、１つまたは複数の汎用または専用コンピューティングデバイス上で実行される専用ソフトウェア（またはファームウェア）によって実装することができる。この文脈で、そのようなコンピューティングデバイスの各「要素（ｅｌｅｍｅｎｔ）」または「手段（ｍｅａｎｓ）」が方法ステップの概念上の同等物を指すことが理解される；要素／手段とハードウェアまたはソフトウェアルーチンの特定のピースとの間に１対１対応が常に存在するわけではない。ハードウェアの１つのピースは、時として、異なる手段／要素を備える。例えば、処理ユニットは、１つの命令を実行するとき、１つの要素／手段として役立つが、別の命令を実行するとき、別の要素／手段として役立つことができる。さらに、１つの要素／手段は、或る場合には、１つの命令によって実装することができるが、或る他の場合には、複数の命令によって実装することができる。当然、１つまたは複数の要素（手段）が、完全にアナログハードウェアコンポーネントによって実装されることが考えられる。

処理ユニットは、１つまたは複数の処理ユニット、例えば、ＣＰＵ（「中央処理ユニット」）、ＧＰＵ（：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（「グラフィクス処理ユニット」）、ＡＩアクセラレータチップ、ＤＳＰ（：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）（「デジタル信号プロセッサ」）、ＡＳＩＣ（：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）（「特定用途向け集積回路」）、スケーラ、ＤＤＩＣ（：ｄｉｓｐｌａｙ ｄｒｉｖｅｒ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ディスプレイドライバー集積回路）、ディスクリートアナログおよび／またはデジタルコンポーネント、または、ＦＰＧＡ（：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）（「フィールドプログラマブルゲートアレイ」）などの何らかの他のプログラマブルロジックデバイスを含むことができる。処理ユニットは、システムメモリ（例えば、非一時的コンピュータ可読媒体１３０）、および、システムメモリを含む種々のシステムコンポーネントを処理ユニットに結合するシステムバスをさらに含むことができる。システムバスは、メモリバスまたはメモリコントローラを含む幾つかのタイプのバス構造のうちの任意のバス構造、ペリフェラルバス、および種々のバスアーキテクチャのうちの任意のバスアーキテクチャを使用するローカルバスであるとすることができる。システムメモリは、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｓｓｅｓｓ ｍｅｍｏｒｙ）、およびフラッシュメモリなどの、揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を含むことができる。専用ソフトウェアおよび関連する制御パラメータ値は、システムメモリ内に、または、磁気媒体、光媒体、フラッシュメモリカード、デジタルテープ、固体ＲＡＭ、固体ＲＯＭなどのような、コンピューティグデバイスに含まれるまたはコンピューティグデバイスがアクセス可能である他の取り外し可能な／取り外し不能な揮発性および／または不揮発性コンピュータ記憶媒体上に記憶することができる。処理ユニットは、シリアルインターフェース、パラレルインターフェース、ＵＳＢインターフェース、無線インターフェース、ネットワークアダプターなどのような１つまたは複数の通信インターフェース、ならびに、Ａ／Ｄ変換器などの１つまたは複数のデータ収集デバイスを含むことができる。専用ソフトウェアは、記録媒体および読み出し専用メモリを含む任意の適したコンピュータ可読媒体上で処理ユニットに提供することができる。

説明は、「交通シーン（ｔｒａｆｆｉｃ ｓｃｅｎｅ）」または「交通モニタリングシステム（ｔｒａｆｆｉｃ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍ）」を参照することができるが、本明細書で述べる方法および装置が、低照度撮像の全ての形態および用途に適用され、低照度交通シーンの撮像に限定されないことが理解される。

図１に示す交通シーンの１つの例において、交通シーン２１は、交通信号灯２２、街灯２６、および道路表面２７を含む物体のセットを含む。交通信号灯２２は、道路表面２７を走行する車両に明確な視覚信号を提供するために配置される。この例において、交通信号灯２２は、道路表面２７を走行する車両に、少なくとも以下の信号：ＳＴＯＰおよびＰＲＯＣＥＥＤを視覚的に示すように構成される。交通信号灯２２は、レッドライト２３を備えることができ、レッドライト２３は、点灯すると、車両に対して命令「停まれ（ＳＴＯＰ）」を視覚的に合図する。交通信号灯２２は、グリーンライト２５を備えることもでき、グリーンライト２５は、点灯すると、車両に対して命令「進め（ＰＲＯＣＥＥＤ）」を視覚的に合図する。最後に、交通信号灯２２は、オレンジライト２４を備えることもでき、オレンジライト２４は、点灯すると、車両に対して「注意（ＣＡＵＴＩＯＮ）」を視覚的に合図する。この例において、物体のセットは、街灯２６をさらに含み、街灯２６は、可視波長、例えば、ホワイトまたはイエローライトを使用して交通シーン２１に全体照明を提供するように構成される。最後に、交通シーン２１は、反射表面のセットを含むことができ、反射表面のセットは、交通シーン２１内のアクティブ光源のうちの任意のアクティブ光源（例えば、レッドライト２３、オレンジライト２４、グリーンライト２５、または街灯２６）または交通シーン２１の外からの光を反射する。反射表面は、例えば雨によって濡れているときの道路表面２７を含むことができる。

図２は、画像センサにおいて受信される光に従って画像センサによって生成される第１の画像２０を示す。上述したように、光は近赤外光を含むことができる。第１の画像２０は、複数のピクセルを含むピクセルのセットからなる。各ピクセルは、カラーエンコーディング値によって規定されるカラー値を有する。カラーエンコーディング値は、ピクセルカラーがクロミナンス値のセットに従って決定されるＹＵＶカラーコーディングシステムに従ってエンコードすることができる。ＹＵＶ（またはＹ’ＵＶ）モデルは、それぞれＵ値（ブループロジェクション）およびＶ値（レッドプロジェクション）と呼ぶ１つのルマ（またはルミナンス）値（Ｙ’）および２つのクロミナンス値によってカラー空間を規定する。

ピクセルの飽和値（代替的に、クロミナンス値として述べられる）は、ピクセルのＵ値およびＶ値を調整することによって制御することができる。Ｕ値およびＶ値が高ければ高いほど（または、負であるとき、低ければ低いほど）、ピクセルはより飽和する（すなわち、カラフルになる）。Ｕ値およびＶ値がゼロに近づけば近づくほど、ピクセルはグレイになる。

代替の例において、代替のカラーコーディングシステム（例えば、ＹＣｂＣｒ）が使用され、対応するピクセルカラー処理ステップが、本明細書で述べる飽和の対応する減少を達成するために適用される。

図３は、図４に示すモノクロ処理された画像３２を生成するために、ピクセルのセットの飽和を減少させるための技法を示す。図３において、ピクセルのクロミナンス値ＵおよびＶは、ＸおよびＹ軸としてそれぞれ示される。例のレッドピクセルはＲとマーク付けられ、例のグリーンピクセルはＧとマーク付けられ、例のブルーピクセルはＢとマーク付けられ、例のイエローピクセルはＹとマーク付けられ、例のマゼンタピクセルはＭとマーク付けられ、例のシアンピクセルはＣとマーク付けられる。図３の例において、ピクセルのＵ、Ｖ値のそれぞれは、グラフの原点のより近くに移動し、画像のカラーを減少させる。１つの例において、Ｕ、Ｖ値のそれぞれは、原点それ自身まで移動し、完全にモノクロ画像のままにする。図４は、第１の画像２０の各ピクセルのＵ、Ｖ値がゼロまで減少した、モノクロ処理された画像３２を示す。図４において、街灯２６およびレッドライト２３は共に点灯している。しかしながら、処理された画像３２におけるカラーの欠如のせいで、カラーのみに基づいてこれらの光源を区別することは可能でない。このシナリオは、レッドライト２３、オレンジライト２４、およびグリーンライト２５から出る光を区別することが重要である場合、また、第１の画像２０が、位置のみに基づく光の区別を可能にするために高解像度であるまたはぴったり焦点が合っているのには不十分である場合に特に不利である場合がある。このシナリオにおいて、交通信号のうちのどの交通信号が交通信号灯２６によって送信されているかを決定することは難しいまたは不可能である場合がある。

図５は、上述した構成の不利益を克服する説明の１つの例による低照度画像処理方法のフローチャートである。１つの例において、以下のステップのそれぞれは、撮像ユニット１００の処理ユニット１２０によって第１の画像２０に対して実施される。

ステップ３１０にて、第１の画像２０は、画像センサにおいて受信される光に従って画像センサによって生成される。第１の画像２０は、複数のピクセルを含むピクセルのセットを含み、各ピクセルは、カラーエンコーディングスキームに対応するカラーエンコーディング値、例えば、図２、図３、および図４を参照して述べたカラーエンコーディング値を含む。この例において、カラーエンコーディング値は、ピクセルのピクセルカラーを記述する飽和値、および、ルマ値を含む。

ステップ３２０にて、第１の画像２０のピクセルのセットは、第１のセットのカラーのうちの１つのカラーに対応するカラーを有する各ピクセルについて飽和値（例えば、図６の例に示すＵ、Ｖ値）が減少するように処理される。１つの例において、飽和値は、第１のセットのカラーのうちの１つのカラーに対応するカラーを有する各ピクセルについてゼロまで減少する。１つの例において、第１のセットのカラーは、レッドを除くすべてのカラーを含む。すなわち、第１の画像２０においてレッドカラーに対応しない全てのピクセルは、それらの飽和値を減少させるために更新される。Ｕ値およびＶ値が－０．５～＋０．５の考えられる範囲を有する１つの例において、－０．４より小さいＵ値および＋０．４より大きいＶ値に対応する飽和値を有するピクセルは、「レッド（ｒｅｄ）」であると規定される。しかしながら、平均光レベル、画像の平均飽和、および／または他の光源からの干渉に従って、何を「レッド」と規定することができるかの許容範囲が変動する可能性がある。別の例において、－０．２５より小さいＵ値および＋０．２５より大きいＶ値に対応する飽和値を有するピクセルは、「レッド」であると規定される。カラーの制限されたセットのみが画像（例えば、交通信号灯のみの画像）から予想される場合、何が「レッド」カラーであると考えることができるかの規定は、さらに拡張することができ、なぜならば、グリーンおよびイエローピクセルが、レッドピクセルと全く異なる値を有することになるからである。「レッド」カラーを規定するために使用されるＵ値およびＶ値の範囲は、以下で述べるように、ルマ値についての閾値に従って変動する可能性もある。これらの概念は、他のカラーに同等に適用することができる。

カラーエンコーディングスキームがＲＧＢエンコーディングスキームである別の例において、第１のセットのカラーは、ブルーおよびグリーンからなる。カラーエンコーディングスキームがＲＧＢＣＭＹエンコーディングスキームである別の例において、第１のセットのカラーは、ブルー、グリーン、シアン、マゼンタ、およびイエローからなる。結果として得られる画像は、グレイスケールまたはレッドであるピクセルを含む画像である。しかしながら、グレイスケール／レッド画像は、レッド交通信号灯を正確に検出するために使用することが依然として難しい場合があり、なぜならば、反射表面、例えば道路表面２７およびさらに交通信号灯２６の複数の部分から反射されるレッドライトを含むかなりの数のレッド光源が同様に、交通シーン２１内に存在する場合があるからである。別の例において、第１のセットのカラーは、レッドおよびグリーンを除くすべてのカラーを含む。別の例において、第１のセットのカラーは、レッド、グリーン、およびイエロー、すなわち交通信号灯によって使用されるカラーを除くすべてのカラーを含む。

ステップ３３０にて、ピクセルのセットは、第２のセットのカラーのうちの１つのカラーに対応するカラーおよび第１の閾値より小さいルマ値を有する各ピクセルについて飽和値が減少するように処理される。第１の閾値は、撮像される光源がどれほど明るいか、そして特に、交通信号灯がどれほど明るいかに従って設定することができる。さらに、第１の閾値は、他の明るいライトからの光「ノイズ（ｎｏｉｓｅ）」を許容することができる程度に従って設定することができる。例えば、撮像される交通信号灯が非常に明るい場合、閾値を高く設定することができる。かなりの量の光ノイズがシーン内に存在する場合、閾値は同様に、光ノイズを、フィルターを通すことで除去するために高く設定されるべきである。１つの例において、第２のセットのカラーはレッドである。すなわち、レッドカラーに対応するが、閾値より小さいルマ値を有する全てのピクセルは同様に、それらの飽和値を減少させるために更新される。別の例において、第２のセットのカラーは、レッドおよびグリーンを含む。別の例において、第２のセットのカラーは、レッド、グリーン、およびイエローを含む。

ステップ３４０にて、ピクセルのセットは、第２のセットのカラーのうちの１つのカラーに対応するカラーおよび第１の閾値より大きいルマ値を有する各ピクセルについて飽和値が維持されるように処理される。１つの例において、第２のセットのカラーはレッドを含む。すなわち、レッドカラーに対応し、閾値より大きい明るさを有する全てのピクセルは、それらのレッドカラーを維持する。別の例において、第２のセットのカラーはレッドおよびグリーンを含む。別の例において、第２のセットのカラーはレッド、グリーン、およびイエローを含む。このステップは、対策をとらないことを含むこともできる（すなわち、値を維持することが、単に値を更新しないことを含むことができる）ため、この「ステップ（ｓｔｅｐ）」は、非存在として扱うこともできる。

上述したように、ＹＵＶカラーエンコーディングスキームが使用される場合、「レッド」カラーを規定するために使用されるＵ値およびＹ値の範囲は、第１の閾値に従って変動する場合もある。１つの例において、第１の閾値が大きくなればなるほど、「レッド」カラーを規定するために使用されるＵ値およびＹ値の範囲は大きくなる。これは、「レッド」の広義の規定内に入るピクセルが、十分に明るい限り、維持されることを可能にするという利点を提供し、一方、より薄暗いレッドライトは、維持されるために、理想的な「レッド」に近くなる必要がある。同じ概念は、他のカラーエンコーディングスキームに同等に適用することができる。

上記と同様に、ＹＵＶカラーエンコーディングスキームが使用される場合、第１の閾値は、「レッド」カラーを規定するために使用されるＵ値およびＹ値の範囲に依存するとすることができる。「レッド」ピクセルカラーが狭義に規定される場合、ルマ値についての比較的低い第１の閾値を設定することができるが、「レッド」ピクセルカラーがより広義に規定される（例えば、よりオレンジがかったレッドが含まれる）場合、ルマ値についての比較的高い第１の閾値を設定することができる。これらの値は、取り込まれるシーンの試験画像に基づいて手動でまたは自動で調整することができる。好ましくは、所望される全ての交通信号灯は、ネオンサイン、反射表面などの形態のカラーノイズの量を制限しながら、それらのカラーを維持されるべきである。

ステップ３５０にて、低照度画像１０（図７に示す）は、上記ステップの出力に従って生成される。第１のセットのカラーがレッドを除くすべてのカラーを含み、第２のセットのカラーがレッドからなる例において、低照度画像１０は、ほぼグレイスケール画像を含むが、レッドカラー付きピクセルは、第１の画像２０内の明るいレッドピクセルに対応することになる。図７に示すように、これは、レッドライト２３と街灯２６の明確な区別を可能にすることになる。レッドライト２３（レッドカラーを示す影付きダーク）は、レッドとして示されることになり、一方、街灯２６はモノクロのままであることになる。それは同様に、レッドライト２３と、積極的に点灯しないレッドカラー付き車両の区別を可能にすることになる。これは、交通信号灯２２が出すカラーを観察者が明確に識別することを可能にすることになる。これは、交通シーン２１内の交通事故の記録された画像またはビデオにおける交通違反または交通事故責任（ｔｒａｆｆｉｃ ｌｉａｂｉｌｉｔｙ）の改善された判定を可能にすることができる。カラーレッドが上記例で使用されるが、任意のカラーまたはカラーの組み合わせを、例えば、ブルーライト、グリーンライト、イエローライトなど、または、カラーの任意の組み合わせの観察および区別のために使用することができる。

Claims (15)

1. 低照度画像（１０）を生成する方法であって、
   ピクセルのセットを含む第１の画像（２０）を撮像するステップであって、ピクセルの前記セットの各ピクセルは、飽和値およびルミナンス値を含むカラーエンコーディング値によって規定されるピクセルカラーを有する、撮像するステップと、
   ピクセルの前記セットの各ピクセルについて、
   前記ピクセルカラーが第１のセットのカラーのうちの１つのカラーに対応する場合、前記ピクセルの前記飽和値を減少させるために前記カラーエンコーディング値を修正するステップと、
   前記ピクセルカラーが第２のセットのカラーのうちの１つのカラーに対応し、かつ、前記ピクセルの前記ルミナンス値が第１の閾値より小さい場合、前記ピクセルの前記飽和値を減少させるために前記カラーエンコーディング値を修正するステップと、ここで、前記第２のセットのカラーに含まれるカラーは前記第１のセットのカラーに含まれず、前記第１のセットのカラーに含まれるカラーは前記第２のセットのカラーに含まれず、
   前記ピクセルカラーが前記第２のセットのカラーのうちの１つのカラーに対応し、かつ、前記ピクセルの前記ルミナンス値が第１の閾値以上である場合、前記ピクセルの前記飽和値を維持するステップと、
   前記第１の画像（２０）の修正された前記カラーエンコーディング値に従って、前記低照度画像（１０）を生成するステップと
   を含む、方法。
2. 前記第１のセットのカラーはブルーおよびグリーンを含む、請求項１に記載の方法。
3. 前記第１のセットのカラーはシアン、マゼンタ、およびイエローをさらに含む、請求項２に記載の方法。
4. 前記第２のセットのカラーはレッドを含む、請求項１～３のいずれか一項に記載の方法。
5. 前記第１のセットのカラーは、ブルー、シアン、マゼンタ、およびイエローをさらに含み、前記第２のセットのカラーはレッドおよびグリーンを含む、請求項１に記載の方法。
6. 前記第１の画像（２０）は、画像センサにおいて受信される光に従って生成され、前記光は赤外光を含む、請求項１～５のいずれか一項に記載の方法。
7. 前記赤外光は、７００ｎｍと１０００ｎｍとの間の波長を有する、請求項６に記載の方法。
8. 前記カラーエンコーディング値はＹＵＶカラーエンコーディングシステムに対応し、前記ピクセルカラーは、前記カラーエンコーディング値のクロミナンス値のセットに従って決定される、請求項１～７のいずれか一項に記載の方法。
9. 前記ピクセルの前記飽和値を減少させるステップは、前記カラーエンコーディング値の前記クロミナンス値を減少させることを含む、請求項８に記載の方法。
10. 前記ピクセルの前記飽和値を減少させるステップは、前記カラーエンコーディング値の前記クロミナンス値をゼロに設定することを含む、請求項８または９に記載の方法。
11. 低照度画像（１０）を生成するための撮像ユニット（１００）であって、カメラ（１１０）および処理ユニット（１２０）を備え、
    前記カメラ（１１０）は、ピクセルのセットを含む第１の画像（２０）を撮像するように構成され、ピクセルの前記セットの各ピクセルは、飽和値およびルミナンス値を含むカラーエンコーディング値によって規定されるピクセルカラーを有し、
    前記処理ユニット（１２０）は、ピクセルの前記セットの各ピクセルについて、
    前記ピクセルカラーが第１のセットのカラーのうちの１つのカラーに対応する場合、前記ピクセルの前記飽和値を減少させるために前記カラーエンコーディング値を修正することと、
    前記ピクセルカラーが第２のセットのカラーのうちの１つのカラーに対応し、かつ、前記ピクセルの前記ルミナンス値が第１の閾値より小さい場合、前記ピクセルの前記飽和値を減少させるために前記カラーエンコーディング値を修正することと、ここで、前記第２のセットのカラーに含まれるカラーは前記第１のセットのカラーに含まれず、前記第１のセットのカラーに含まれるカラーは前記第２のセットのカラーに含まれず、
    前記ピクセルカラーが前記第２のセットのカラーのうちの１つのカラーに対応し、かつ、前記ピクセルの前記ルミナンス値が第１の閾値以上である場合、前記ピクセルの前記飽和値を維持することと、
    前記第１の画像（２０）の修正された前記カラーエンコーディング値に従って、前記低照度画像（１０）を生成すること
    を行うよう構成される、撮像ユニット（１００）。
12. 前記カメラ（１１０）は画像センサを備え、前記第１の画像（２０）は、赤外光を含む、前記画像センサにおいて受信される光に従って生成される、請求項１１に記載の撮像ユニット（１００）。
13. 前記赤外光は、７００ｎｍと１０００ｎｍとの間の波長を有する、請求項１２に記載の撮像ユニット（１００）。
14. 非一時的コンピュータ可読記憶媒体（１３０）であって、コンピュータコード命令が前記非一時的コンピュータ可読記憶媒体（１３０）上に記憶されており、前記コンピュータコード命令は、請求項１１の前記撮像ユニット（１００）の処理ユニット（１２０）によって実行されると、請求項１～１０のいずれか一項の方法を実施するように適合される、非一時的コンピュータ可読記憶媒体（１３０）。
15. 少なくとも１つの道路および少なくとも１つの交通信号灯を含む物体のセットの低照度画像（１０）を生成するための交通モニタリングシステム（２００）であって、請求項１１の撮像ユニット（１００）を備え、前記撮像ユニット（１００）は、前記第１の画像（２０）の修正されたカラーエンコーディング値に従って、物体の前記セットの前記低照度画像（１０）を生成するように構成される、交通モニタリングシステム（２００）。

Images