JP7057818B2 - 低照度撮像システム - Google Patents

低照度撮像システム Download PDF

Info

Publication number
JP7057818B2
JP7057818B2 JP2020214625A JP2020214625A JP7057818B2 JP 7057818 B2 JP7057818 B2 JP 7057818B2 JP 2020214625 A JP2020214625 A JP 2020214625A JP 2020214625 A JP2020214625 A JP 2020214625A JP 7057818 B2 JP7057818 B2 JP 7057818B2
Authority
JP
Japan
Prior art keywords
color
pixel
value
colors
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020214625A
Other languages
English (en)
Other versions
JP2021114762A (ja
Inventor
真悟 平山
Original Assignee
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー filed Critical アクシス アーベー
Publication of JP2021114762A publication Critical patent/JP2021114762A/ja
Application granted granted Critical
Publication of JP7057818B2 publication Critical patent/JP7057818B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/07Controlling traffic signals
    • G08G1/075Ramp control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/02Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of crystals, e.g. rock-salt, semi-conductors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/04Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of organic materials, e.g. plastics
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G02B9/34Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having four components only
    • G02B9/36Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having four components only arranged + -- +
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/095Traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Color Television Image Signal Generators (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

十分に明るい(well-lit)シーン(例えば、昼間シーン)と低照度(low-light)シーン(例えば、夜間シーン)の両方を撮像するためのよく知られているカメラ構成は、取り外し可能なIR(:infra-red、赤外)カットフィルターを有するカメラの構成である。IRカットフィルターは、700nmより長い波長を有する光(例えば、近赤外線すなわちNIR(near infra-red)光)を除去するフィルターである。IRカットフィルターは、昼間シーンを撮像するために使用することができ、NIR光は、撮像センサに影響を及ぼし、可視カラーの正確な取り込みをより難しくする可能性がある。低照度シーンを撮像するために、正確なカラー表現は難しいまたは不可能である場合がある。したがって、代わりに、できる限り多くの光を取り込み、IRカットフィルターが除去されることに優先度が与えられる。これは、光センサに達する光量が最大にされることを確実にする。
低照度カメラについての1つの重要な使用事例において、夜間交通シーンが撮像されて、シーンを通して車両移動を取り込み記録する。シーンを通して移動する車両は、しばしば交通信号灯に応答することになるため、交通信号灯から出る光もまた、低照度カメラによって正確に取り込まれるべきである。しかしながら、低照度シーン内のカラーを正確に撮像するときの困難さを考慮すると、交通信号灯のカラーを正確に決定するために、低照度カメラ画像の処理を改善する方法が必要とされる。
米国特許出願公開第2015/294167号は、カラー画像をモノクロスケール画像に変換し;第1のモノクロスケール画像を第1の2値画像に変換し;少なくとも1つの所定の幾何学的パラメータに基づいて第1の2値画像内の候補ブロブの第1のセットを識別し;グリーン交通ライト分類器を使用してグリーン交通ライトを識別することによって、交通ライトを検出するための方法を記載する。
国際出願第2009/026966号は、画像と、対応する背景画像のルミナンスの差を決定し、画像と、対応する背景画像のクロミナンスの差も決定し、背景画像のルミナンスを相応して変更する方法を記載する。
米国特許出願公開第2018/302575号は、ピクセルの第1のセットにわたるレッドパススペクトルフィルター、ピクセルの第2のセットにわたるブルーパススペクトルフィルター、ピクセルの第3のセットにわたるグリーンパススペクトルフィルターを有する車両用ナイトビジョンシステムを記載し、ピクセルの第4のセットのうちの各ピクセルは、少なくとも近赤外放射を検知する。近赤外照明源は、カメラによる夜間観察を向上させるために不可視近赤外照明を出すように働く。
本開示の第1の態様は、低照度画像を生成する方法であり、方法は、ピクセルのセットを含む第1の画像を撮像するステップであって、ピクセルのセットの各ピクセルは、飽和値およびルマ(luma)値を含むカラーエンコーディング値によって規定されるピクセルカラーを有する、撮像するステップと、ピクセルのセットの各ピクセルについて、ピクセルカラーが第1のセットのカラーのうちの1つのカラーに対応する場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正するステップと、ピクセルカラーが第2のセットのカラーのうちの1つのカラーに対応し、かつ、ピクセルのルマ値が第1の閾値より小さい場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正するステップであって、第2のセットのカラーは少なくとも1つのカラーからなり、第2のセット内のカラーは第1のセットのカラーに含まれない、修正するステップと、ピクセルカラーが第2のセットのカラーのうちの1つのカラーに対応し、かつ、ピクセルのルマ値が第1の閾値以上である場合、ピクセルの飽和値を維持するステップと、第1の画像の修正されたカラーエンコーディング値に従って、低照度画像を生成するステップとを含む。
任意選択で、第1のセットのカラーはブルーおよびグリーンを含む。第1のセットのカラーはシアン、マゼンタ、およびイエローをさらに含むことができる。第2のセットのカラーはレッドを含むことができる。代替的に、第1のセットのカラーは、ブルー、シアン、マゼンタ、およびイエローをさらに含み、第2のセットのカラーはレッドおよびグリーンを含む。
第1の画像は、画像センサにおいて受信される光に従って生成され得、光は赤外光を含む。赤外光は700nmと1000nmとの間の波長を有することができる。
カラーエンコーディング値はYUVカラーエンコーディングシステムに対応することができ、ピクセルカラーは、カラーエンコーディング値のクロミナンス値のセットに従って決定することができる。ピクセルの飽和値を減少させるステップは、カラーエンコーディング値のクロミナンス値を減少させることを含むことができる。さらに、ピクセルの飽和値を減少させるステップは、カラーエンコーディング値のクロミナンス値をゼロに設定することを含むことができる。
本開示の第2の態様は、非一時的コンピュータ可読記憶媒体であり、非一時的コンピュータ可読記憶媒体には、コンピュータコード命令が記憶されており、コンピュータコード命令は、以下の態様の撮像ユニットの処理ユニットによって実行されると、上記方法を実施するように適合される。
本開示の第3の態様は、低照度画像を生成するための撮像ユニットであり、撮像ユニットはカメラおよび処理ユニットを備え、カメラは、ピクセルのセットを含む第1の画像を撮像するように構成され、ピクセルのセットの各ピクセルは、飽和値およびルマ値を含むカラーエンコーディング値によって規定されるピクセルカラーを有し、処理ユニットは、ピクセルのセットの各ピクセルについて:ピクセルカラーが第1のセットのカラーのうちの1つのカラーに対応する場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正することと、ピクセルカラーが第2のセットのカラーのうちの1つのカラーに対応し、かつ、ピクセルのルマ値が第1の閾値より小さい場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正することであって、第2のセットのカラーは少なくとも1つのカラーからなり、第2のセット内のカラーは第1のセットのカラーに含まれない、カラーエンコーディング値を修正することと、ピクセルカラーが第2のセットのカラーのうちの1つのカラーに対応し、かつ、ピクセルのルマ値が第1の閾値以上である場合、ピクセルの飽和値を維持することと、第1の画像の修正されたカラーエンコーディング値に従って、低照度画像を生成すること、を行うよう構成される。
カメラは画像センサを備えることができ、第1の画像は、赤外光を含む、画像センサにおいて受信される光に従って生成することができる。赤外光は、700nmと1000nmとの間の波長を有することができる。
カラーエンコーディング値はYUVカラーエンコーディングシステムに対応することができ、ピクセルカラーは、カラーエンコーディング値のクロミナンス値のセットに従って決定することができる。
処理ユニットは、カラーエンコーディング値のクロミナンス値を減少させることによってピクセルの飽和値を減少させるように構成することができる。さらに、処理ユニットは、カラーエンコーディング値のクロミナンス値をゼロに設定することによってピクセルの飽和値を減少させるように構成することができる。
本開示の第4の態様は、少なくとも1つの道路および少なくとも1つの交通信号灯を含む物体のセットの低照度画像を生成するための交通モニタリングシステムであり、交通モニタリングシステムは、カメラおよび処理ユニットを備え:カメラは、ピクセルのセットを含む第1の画像を撮像するように構成され、ピクセルのセットの各ピクセルは、ピクセルカラーに対応するカラーエンコーディング値、飽和値、およびルマ値を含み、処理ユニットは、ピクセルのセットの各ピクセルについて:ピクセルカラーが第1のセットのカラーのうちの1つのカラーに対応する場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正することと、ピクセルカラーがレッドに対応し、かつ、ピクセルのルマ値が第1の閾値より小さい場合、ピクセルの飽和値を減少させるためにカラーエンコーディング値を修正することと、ピクセルカラーがレッドに対応し、かつ、ピクセルのルマ値が第1の閾値以上である場合、ピクセルの飽和値を維持することと、第1の画像の修正されたカラーエンコーディング値に従って、物体のセットの低照度画像を生成すること、を行うよう構成される。
本発明の他の特徴および利点は、添付図面を参照して、例についての以下の詳細な説明から明らかになる。
撮像装置および撮像される物体のセットのダイヤグラムである。 撮像装置の画像センサによって取り込まれる物体のセットの画像の表現である。 撮像装置によって取り込まれる画像についてのカラー処理ステップを示すカラー空間ダイヤグラムである。 図3のカラー処理ステップによって処理された低照度画像の表現である。 低照度画像処理方法のフローチャートである。 画像のためのカラー処理ステップを示すカラー空間ダイヤグラムである。 図6のカラー処理ステップによって処理された低照度画像の表現である。
本説明は、シーンの改善された低照度撮像を提供するための装置および技法に関する。説明全体を通して、同じ参照符号は対応する要素を特定するために使用される。
図1は、撮像ユニット100および交通シーン21の例のダイヤグラムである。1つの例において、撮像ユニット100は交通モニタリングシステム200の一部である。撮像ユニット100は、カメラ110、処理ユニット120を備え、また、非一時的コンピュータ可読媒体130をさらに備えることができる。カメラ110は、視野15および画像センサを有し、画像センサは、画像センサにおいて受信される光に従って第1の画像20を生成するように構成される。画像センサは、可視光センサ(例えば、半導体電荷結合素子(CCD:charge-coupled device)、相補的金属酸化物半導体(CMOS:complementary metal-oxide-semiconductor)のアクティブピクセルセンサ、またはN型金属酸化物半導体(NMOS:N-type metal-oxide-semiconductor、LiveMOS)センサ)の1つまたは組み合わせを備えることができる。カメラ110の視野(FOV:field of view)15は、カメラ110が、そこを通して光を採取することができる角度として規定される。視野は、画像センサのサイズおよび画像センサと共に使用されるレンズの焦点距離に依存する。カメラ110の視野15は交通シーン21をカバーすることができる。本例の場合、光は、少なくとも300nmと1000nmとの間の波長を有すると理解される。しかしながら、他の例は、制限されたスペクトルを有する人工光を含むことができる。
カメラ110は、任意選択で、赤外カットフィルターをさらに備えることができる。赤外カットフィルターは、自動でまたは手動で、固定または取り外し可能であるとすることができる。1つの例において、赤外カットフィルターは、カメラ110による改善された低照度撮像を可能にするために、撮像ユニット100によって検出される低照度条件に応答して自動的に取り外すことができる。赤外カットフィルターは、700nmより長い波長を有する光をフィルタリングするように構成することができる。1つの例において、赤外カットフィルターは、700nmと1000nmとの間の波長を有する光、すなわち、近赤外(NIR)光をフィルタリングするように構成される。
処理ユニット120は、画像センサから第1の画像20を受信し、第1の画像20から低照度画像10を生成する1つまたは複数の画像処理ステップを実施するように構成される。1つまたは複数の画像処理ステップは、低照度画像10を生成するために、第1の画像20のピクセルのうちの1つまたは複数のピクセルついてピクセル値の調整を含むことができる。処理ユニット120は、単一ユニットとして述べられてきたが、別個のコントローラまたはモジュールとして構成することができる。別個の処理ユニットまたはモジュールは、例えば、ビデオおよび画像を処理するための特化型コントローラ、または、2つ以上のコンポーネントを制御することができる汎用コントローラまたはモジュールであるとすることができる。処理ユニット120あるいは特化型モジュールまたはコントローラは、中央処理ユニット(CPU:central processing unit)によって実行されるソフトウェアによって少なくとも部分的に実装することができる。1つの例として、命令を含むコンピュータプログラム製品であって、命令は、プログラムがコンピュータによって実行されると、処理ユニット120に関して上記で論じたステップをコンピュータに実施させる、コンピュータプログラム製品。処理ユニットは、1つまたは複数の汎用または専用コンピューティングデバイス上で実行される専用ソフトウェア(またはファームウェア)によって実装することができる。この文脈で、そのようなコンピューティングデバイスの各「要素(element)」または「手段(means)」が方法ステップの概念上の同等物を指すことが理解される;要素/手段とハードウェアまたはソフトウェアルーチンの特定のピースとの間に1対1対応が常に存在するわけではない。ハードウェアの1つのピースは、時として、異なる手段/要素を備える。例えば、処理ユニットは、1つの命令を実行するとき、1つの要素/手段として役立つが、別の命令を実行するとき、別の要素/手段として役立つことができる。さらに、1つの要素/手段は、或る場合には、1つの命令によって実装することができるが、或る他の場合には、複数の命令によって実装することができる。当然、1つまたは複数の要素(手段)が、完全にアナログハードウェアコンポーネントによって実装されることが考えられる。
処理ユニットは、1つまたは複数の処理ユニット、例えば、CPU(「中央処理ユニット」)、GPU(:Graphics Processing Unit)(「グラフィクス処理ユニット」)、AIアクセラレータチップ、DSP(:Digital Signal Processor)(「デジタル信号プロセッサ」)、ASIC(:Application-Specific Integrated Circuit)(「特定用途向け集積回路」)、スケーラ、DDIC(:display driver integrated circuit、ディスプレイドライバー集積回路)、ディスクリートアナログおよび/またはデジタルコンポーネント、または、FPGA(:Field Programmable Gate Array)(「フィールドプログラマブルゲートアレイ」)などの何らかの他のプログラマブルロジックデバイスを含むことができる。処理ユニットは、システムメモリ(例えば、非一時的コンピュータ可読媒体130)、および、システムメモリを含む種々のシステムコンポーネントを処理ユニットに結合するシステムバスをさらに含むことができる。システムバスは、メモリバスまたはメモリコントローラを含む幾つかのタイプのバス構造のうちの任意のバス構造、ペリフェラルバス、および種々のバスアーキテクチャのうちの任意のバスアーキテクチャを使用するローカルバスであるとすることができる。システムメモリは、読み出し専用メモリ(ROM:read only memory)、ランダムアクセスメモリ(RAM:random assess memory)、およびフラッシュメモリなどの、揮発性および/または不揮発性メモリの形態のコンピュータ記憶媒体を含むことができる。専用ソフトウェアおよび関連する制御パラメータ値は、システムメモリ内に、または、磁気媒体、光媒体、フラッシュメモリカード、デジタルテープ、固体RAM、固体ROMなどのような、コンピューティグデバイスに含まれるまたはコンピューティグデバイスがアクセス可能である他の取り外し可能な/取り外し不能な揮発性および/または不揮発性コンピュータ記憶媒体上に記憶することができる。処理ユニットは、シリアルインターフェース、パラレルインターフェース、USBインターフェース、無線インターフェース、ネットワークアダプターなどのような1つまたは複数の通信インターフェース、ならびに、A/D変換器などの1つまたは複数のデータ収集デバイスを含むことができる。専用ソフトウェアは、記録媒体および読み出し専用メモリを含む任意の適したコンピュータ可読媒体上で処理ユニットに提供することができる。
説明は、「交通シーン(traffic scene)」または「交通モニタリングシステム(traffic monitoring system)」を参照することができるが、本明細書で述べる方法および装置が、低照度撮像の全ての形態および用途に適用され、低照度交通シーンの撮像に限定されないことが理解される。
図1に示す交通シーンの1つの例において、交通シーン21は、交通信号灯22、街灯26、および道路表面27を含む物体のセットを含む。交通信号灯22は、道路表面27を走行する車両に明確な視覚信号を提供するために配置される。この例において、交通信号灯22は、道路表面27を走行する車両に、少なくとも以下の信号:STOPおよびPROCEEDを視覚的に示すように構成される。交通信号灯22は、レッドライト23を備えることができ、レッドライト23は、点灯すると、車両に対して命令「停まれ(STOP)」を視覚的に合図する。交通信号灯22は、グリーンライト25を備えることもでき、グリーンライト25は、点灯すると、車両に対して命令「進め(PROCEED)」を視覚的に合図する。最後に、交通信号灯22は、オレンジライト24を備えることもでき、オレンジライト24は、点灯すると、車両に対して「注意(CAUTION)」を視覚的に合図する。この例において、物体のセットは、街灯26をさらに含み、街灯26は、可視波長、例えば、ホワイトまたはイエローライトを使用して交通シーン21に全体照明を提供するように構成される。最後に、交通シーン21は、反射表面のセットを含むことができ、反射表面のセットは、交通シーン21内のアクティブ光源のうちの任意のアクティブ光源(例えば、レッドライト23、オレンジライト24、グリーンライト25、または街灯26)または交通シーン21の外からの光を反射する。反射表面は、例えば雨によって濡れているときの道路表面27を含むことができる。
図2は、画像センサにおいて受信される光に従って画像センサによって生成される第1の画像20を示す。上述したように、光は近赤外光を含むことができる。第1の画像20は、複数のピクセルを含むピクセルのセットからなる。各ピクセルは、カラーエンコーディング値によって規定されるカラー値を有する。カラーエンコーディング値は、ピクセルカラーがクロミナンス値のセットに従って決定されるYUVカラーコーディングシステムに従ってエンコードすることができる。YUV(またはY’UV)モデルは、それぞれU値(ブループロジェクション)およびV値(レッドプロジェクション)と呼ぶ1つのルマ(またはルミナンス)値(Y’)および2つのクロミナンス値によってカラー空間を規定する。
ピクセルの飽和値(代替的に、クロミナンス値として述べられる)は、ピクセルのU値およびV値を調整することによって制御することができる。U値およびV値が高ければ高いほど(または、負であるとき、低ければ低いほど)、ピクセルはより飽和する(すなわち、カラフルになる)。U値およびV値がゼロに近づけば近づくほど、ピクセルはグレイになる。
代替の例において、代替のカラーコーディングシステム(例えば、YCbCr)が使用され、対応するピクセルカラー処理ステップが、本明細書で述べる飽和の対応する減少を達成するために適用される。
図3は、図4に示すモノクロ処理された画像32を生成するために、ピクセルのセットの飽和を減少させるための技法を示す。図3において、ピクセルのクロミナンス値UおよびVは、XおよびY軸としてそれぞれ示される。例のレッドピクセルはRとマーク付けられ、例のグリーンピクセルはGとマーク付けられ、例のブルーピクセルはBとマーク付けられ、例のイエローピクセルはYとマーク付けられ、例のマゼンタピクセルはMとマーク付けられ、例のシアンピクセルはCとマーク付けられる。図3の例において、ピクセルのU、V値のそれぞれは、グラフの原点のより近くに移動し、画像のカラーを減少させる。1つの例において、U、V値のそれぞれは、原点それ自身まで移動し、完全にモノクロ画像のままにする。図4は、第1の画像20の各ピクセルのU、V値がゼロまで減少した、モノクロ処理された画像32を示す。図4において、街灯26およびレッドライト23は共に点灯している。しかしながら、処理された画像32におけるカラーの欠如のせいで、カラーのみに基づいてこれらの光源を区別することは可能でない。このシナリオは、レッドライト23、オレンジライト24、およびグリーンライト25から出る光を区別することが重要である場合、また、第1の画像20が、位置のみに基づく光の区別を可能にするために高解像度であるまたはぴったり焦点が合っているのには不十分である場合に特に不利である場合がある。このシナリオにおいて、交通信号のうちのどの交通信号が交通信号灯26によって送信されているかを決定することは難しいまたは不可能である場合がある。
図5は、上述した構成の不利益を克服する説明の1つの例による低照度画像処理方法のフローチャートである。1つの例において、以下のステップのそれぞれは、撮像ユニット100の処理ユニット120によって第1の画像20に対して実施される。
ステップ310にて、第1の画像20は、画像センサにおいて受信される光に従って画像センサによって生成される。第1の画像20は、複数のピクセルを含むピクセルのセットを含み、各ピクセルは、カラーエンコーディングスキームに対応するカラーエンコーディング値、例えば、図2、図3、および図4を参照して述べたカラーエンコーディング値を含む。この例において、カラーエンコーディング値は、ピクセルのピクセルカラーを記述する飽和値、および、ルマ値を含む。
ステップ320にて、第1の画像20のピクセルのセットは、第1のセットのカラーのうちの1つのカラーに対応するカラーを有する各ピクセルについて飽和値(例えば、図6の例に示すU、V値)が減少するように処理される。1つの例において、飽和値は、第1のセットのカラーのうちの1つのカラーに対応するカラーを有する各ピクセルについてゼロまで減少する。1つの例において、第1のセットのカラーは、レッドを除くすべてのカラーを含む。すなわち、第1の画像20においてレッドカラーに対応しない全てのピクセルは、それらの飽和値を減少させるために更新される。U値およびV値が-0.5~+0.5の考えられる範囲を有する1つの例において、-0.4より小さいU値および+0.4より大きいV値に対応する飽和値を有するピクセルは、「レッド(red)」であると規定される。しかしながら、平均光レベル、画像の平均飽和、および/または他の光源からの干渉に従って、何を「レッド」と規定することができるかの許容範囲が変動する可能性がある。別の例において、-0.25より小さいU値および+0.25より大きいV値に対応する飽和値を有するピクセルは、「レッド」であると規定される。カラーの制限されたセットのみが画像(例えば、交通信号灯のみの画像)から予想される場合、何が「レッド」カラーであると考えることができるかの規定は、さらに拡張することができ、なぜならば、グリーンおよびイエローピクセルが、レッドピクセルと全く異なる値を有することになるからである。「レッド」カラーを規定するために使用されるU値およびV値の範囲は、以下で述べるように、ルマ値についての閾値に従って変動する可能性もある。これらの概念は、他のカラーに同等に適用することができる。
カラーエンコーディングスキームがRGBエンコーディングスキームである別の例において、第1のセットのカラーは、ブルーおよびグリーンからなる。カラーエンコーディングスキームがRGBCMYエンコーディングスキームである別の例において、第1のセットのカラーは、ブルー、グリーン、シアン、マゼンタ、およびイエローからなる。結果として得られる画像は、グレイスケールまたはレッドであるピクセルを含む画像である。しかしながら、グレイスケール/レッド画像は、レッド交通信号灯を正確に検出するために使用することが依然として難しい場合があり、なぜならば、反射表面、例えば道路表面27およびさらに交通信号灯26の複数の部分から反射されるレッドライトを含むかなりの数のレッド光源が同様に、交通シーン21内に存在する場合があるからである。別の例において、第1のセットのカラーは、レッドおよびグリーンを除くすべてのカラーを含む。別の例において、第1のセットのカラーは、レッド、グリーン、およびイエロー、すなわち交通信号灯によって使用されるカラーを除くすべてのカラーを含む。
ステップ330にて、ピクセルのセットは、第2のセットのカラーのうちの1つのカラーに対応するカラーおよび第1の閾値より小さいルマ値を有する各ピクセルについて飽和値が減少するように処理される。第1の閾値は、撮像される光源がどれほど明るいか、そして特に、交通信号灯がどれほど明るいかに従って設定することができる。さらに、第1の閾値は、他の明るいライトからの光「ノイズ(noise)」を許容することができる程度に従って設定することができる。例えば、撮像される交通信号灯が非常に明るい場合、閾値を高く設定することができる。かなりの量の光ノイズがシーン内に存在する場合、閾値は同様に、光ノイズを、フィルターを通すことで除去するために高く設定されるべきである。1つの例において、第2のセットのカラーはレッドである。すなわち、レッドカラーに対応するが、閾値より小さいルマ値を有する全てのピクセルは同様に、それらの飽和値を減少させるために更新される。別の例において、第2のセットのカラーは、レッドおよびグリーンを含む。別の例において、第2のセットのカラーは、レッド、グリーン、およびイエローを含む。
ステップ340にて、ピクセルのセットは、第2のセットのカラーのうちの1つのカラーに対応するカラーおよび第1の閾値より大きいルマ値を有する各ピクセルについて飽和値が維持されるように処理される。1つの例において、第2のセットのカラーはレッドを含む。すなわち、レッドカラーに対応し、閾値より大きい明るさを有する全てのピクセルは、それらのレッドカラーを維持する。別の例において、第2のセットのカラーはレッドおよびグリーンを含む。別の例において、第2のセットのカラーはレッド、グリーン、およびイエローを含む。このステップは、対策をとらないことを含むこともできる(すなわち、値を維持することが、単に値を更新しないことを含むことができる)ため、この「ステップ(step)」は、非存在として扱うこともできる。
上述したように、YUVカラーエンコーディングスキームが使用される場合、「レッド」カラーを規定するために使用されるU値およびY値の範囲は、第1の閾値に従って変動する場合もある。1つの例において、第1の閾値が大きくなればなるほど、「レッド」カラーを規定するために使用されるU値およびY値の範囲は大きくなる。これは、「レッド」の広義の規定内に入るピクセルが、十分に明るい限り、維持されることを可能にするという利点を提供し、一方、より薄暗いレッドライトは、維持されるために、理想的な「レッド」に近くなる必要がある。同じ概念は、他のカラーエンコーディングスキームに同等に適用することができる。
上記と同様に、YUVカラーエンコーディングスキームが使用される場合、第1の閾値は、「レッド」カラーを規定するために使用されるU値およびY値の範囲に依存するとすることができる。「レッド」ピクセルカラーが狭義に規定される場合、ルマ値についての比較的低い第1の閾値を設定することができるが、「レッド」ピクセルカラーがより広義に規定される(例えば、よりオレンジがかったレッドが含まれる)場合、ルマ値についての比較的高い第1の閾値を設定することができる。これらの値は、取り込まれるシーンの試験画像に基づいて手動でまたは自動で調整することができる。好ましくは、所望される全ての交通信号灯は、ネオンサイン、反射表面などの形態のカラーノイズの量を制限しながら、それらのカラーを維持されるべきである。
ステップ350にて、低照度画像10(図7に示す)は、上記ステップの出力に従って生成される。第1のセットのカラーがレッドを除くすべてのカラーを含み、第2のセットのカラーがレッドからなる例において、低照度画像10は、ほぼグレイスケール画像を含むが、レッドカラー付きピクセルは、第1の画像20内の明るいレッドピクセルに対応することになる。図7に示すように、これは、レッドライト23と街灯26の明確な区別を可能にすることになる。レッドライト23(レッドカラーを示す影付きダーク)は、レッドとして示されることになり、一方、街灯26はモノクロのままであることになる。それは同様に、レッドライト23と、積極的に点灯しないレッドカラー付き車両の区別を可能にすることになる。これは、交通信号灯22が出すカラーを観察者が明確に識別することを可能にすることになる。これは、交通シーン21内の交通事故の記録された画像またはビデオにおける交通違反または交通事故責任(traffic liability)の改善された判定を可能にすることができる。カラーレッドが上記例で使用されるが、任意のカラーまたはカラーの組み合わせを、例えば、ブルーライト、グリーンライト、イエローライトなど、または、カラーの任意の組み合わせの観察および区別のために使用することができる。

Claims (15)

  1. 低照度画像(10)を生成する方法であって、
    ピクセルのセットを含む第1の画像(20)を撮像するステップであって、ピクセルの前記セットの各ピクセルは、飽和値およびルミナンス値を含むカラーエンコーディング値によって規定されるピクセルカラーを有する、撮像するステップと、
    ピクセルの前記セットの各ピクセルについて、
    前記ピクセルカラーが第1のセットのカラーのうちの1つのカラーに対応する場合、前記ピクセルの前記飽和値を減少させるために前記カラーエンコーディング値を修正するステップと、
    前記ピクセルカラーが第2のセットのカラーのうちの1つのカラーに対応し、かつ、前記ピクセルの前記ルミナンス値が第1の閾値より小さい場合、前記ピクセルの前記飽和値を減少させるために前記カラーエンコーディング値を修正するステップと、ここで、前記第2のセットのカラーに含まれるカラーは前記第1のセットのカラーに含まれず、前記第1のセットのカラーに含まれるカラーは前記第2のセットのカラーに含まれず、
    前記ピクセルカラーが前記第2のセットのカラーのうちの1つのカラーに対応し、かつ、前記ピクセルの前記ルミナンス値が第1の閾値以上である場合、前記ピクセルの前記飽和値を維持するステップと、
    前記第1の画像(20)の修正された前記カラーエンコーディング値に従って、前記低照度画像(10)を生成するステップと
    を含む、方法。
  2. 前記第1のセットのカラーはブルーおよびグリーンを含む、請求項1に記載の方法。
  3. 前記第1のセットのカラーはシアン、マゼンタ、およびイエローをさらに含む、請求項2に記載の方法。
  4. 前記第2のセットのカラーはレッドを含む、請求項1~3のいずれか一項に記載の方法。
  5. 前記第1のセットのカラーは、ブルー、シアン、マゼンタ、およびイエローをさらに含み、前記第2のセットのカラーはレッドおよびグリーンを含む、請求項1に記載の方法。
  6. 前記第1の画像(20)は、画像センサにおいて受信される光に従って生成され、前記光は赤外光を含む、請求項1~5のいずれか一項に記載の方法。
  7. 前記赤外光は、700nmと1000nmとの間の波長を有する、請求項6に記載の方法。
  8. 前記カラーエンコーディング値はYUVカラーエンコーディングシステムに対応し、前記ピクセルカラーは、前記カラーエンコーディング値のクロミナンス値のセットに従って決定される、請求項1~7のいずれか一項に記載の方法。
  9. 前記ピクセルの前記飽和値を減少させるステップは、前記カラーエンコーディング値の前記クロミナンス値を減少させることを含む、請求項8に記載の方法。
  10. 前記ピクセルの前記飽和値を減少させるステップは、前記カラーエンコーディング値の前記クロミナンス値をゼロに設定することを含む、請求項8または9に記載の方法。
  11. 低照度画像(10)を生成するための撮像ユニット(100)であって、カメラ(110)および処理ユニット(120)を備え、
    前記カメラ(110)は、ピクセルのセットを含む第1の画像(20)を撮像するように構成され、ピクセルの前記セットの各ピクセルは、飽和値およびルミナンス値を含むカラーエンコーディング値によって規定されるピクセルカラーを有し、
    前記処理ユニット(120)は、ピクセルの前記セットの各ピクセルについて、
    前記ピクセルカラーが第1のセットのカラーのうちの1つのカラーに対応する場合、前記ピクセルの前記飽和値を減少させるために前記カラーエンコーディング値を修正することと、
    前記ピクセルカラーが第2のセットのカラーのうちの1つのカラーに対応し、かつ、前記ピクセルの前記ルミナンス値が第1の閾値より小さい場合、前記ピクセルの前記飽和値を減少させるために前記カラーエンコーディング値を修正することと、ここで、前記第2のセットのカラーに含まれるカラーは前記第1のセットのカラーに含まれず、前記第1のセットのカラーに含まれるカラーは前記第2のセットのカラーに含まれず、
    前記ピクセルカラーが前記第2のセットのカラーのうちの1つのカラーに対応し、かつ、前記ピクセルの前記ルミナンス値が第1の閾値以上である場合、前記ピクセルの前記飽和値を維持することと、
    前記第1の画像(20)の修正された前記カラーエンコーディング値に従って、前記低照度画像(10)を生成すること
    を行うよう構成される、撮像ユニット(100)。
  12. 前記カメラ(110)は画像センサを備え、前記第1の画像(20)は、赤外光を含む、前記画像センサにおいて受信される光に従って生成される、請求項11に記載の撮像ユニット(100)。
  13. 前記赤外光は、700nmと1000nmとの間の波長を有する、請求項12に記載の撮像ユニット(100)。
  14. 非一時的コンピュータ可読記憶媒体(130)であって、コンピュータコード命令が前記非一時的コンピュータ可読記憶媒体(130)上に記憶されており、前記コンピュータコード命令は、請求項11の前記撮像ユニット(100)の処理ユニット(120)によって実行されると、請求項1~10のいずれか一項の方法を実施するように適合される、非一時的コンピュータ可読記憶媒体(130)。
  15. 少なくとも1つの道路および少なくとも1つの交通信号灯を含む物体のセットの低照度画像(10)を生成するための交通モニタリングシステム(200)であって、請求項11の撮像ユニット(100)を備え、前記撮像ユニット(100)は、前記第1の画像(20)の修正されたカラーエンコーディング値に従って、物体の前記セットの前記低照度画像(10)を生成するように構成される、交通モニタリングシステム(200)。
JP2020214625A 2019-12-30 2020-12-24 低照度撮像システム Active JP7057818B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19219965 2019-12-30
EP19219965.1A EP3846440B1 (en) 2019-12-30 2019-12-30 A low-light imaging method, unit and system

Publications (2)

Publication Number Publication Date
JP2021114762A JP2021114762A (ja) 2021-08-05
JP7057818B2 true JP7057818B2 (ja) 2022-04-20

Family

ID=69055810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020214625A Active JP7057818B2 (ja) 2019-12-30 2020-12-24 低照度撮像システム

Country Status (6)

Country Link
US (1) US11153546B2 (ja)
EP (1) EP3846440B1 (ja)
JP (1) JP7057818B2 (ja)
KR (1) KR102333707B1 (ja)
CN (1) CN113126252B (ja)
TW (1) TWI767422B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11330196B2 (en) * 2020-10-12 2022-05-10 Microsoft Technology Licensing, Llc Estimating illumination in an environment based on an image of a reference object
CN117237258B (zh) * 2023-11-14 2024-02-09 山东捷瑞数字科技股份有限公司 基于三维引擎的夜视图像处理方法、系统、设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338556A (ja) 2005-06-03 2006-12-14 Honda Motor Co Ltd 車両及び路面標示認識装置
WO2009026966A1 (en) 2007-08-31 2009-03-05 Siemens Building Technologies Fire & Security Products Gmbh & Co.Ohg Method of estimating illumination change of images for object detection
US20150294167A1 (en) 2012-11-20 2015-10-15 Harman International Industries, Incorporated Method and system for detecting traffic lights
US20180302575A1 (en) 2007-10-04 2018-10-18 Magna Electronics Inc. Imaging system for vehicle

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4095265B2 (ja) * 2001-09-06 2008-06-04 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
US7391901B2 (en) 2003-09-29 2008-06-24 Xerox Corporation Method for embedding color image information into a black-and-white image
JP4405942B2 (ja) * 2005-06-14 2010-01-27 キヤノン株式会社 画像処理装置およびその方法
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
JP2011147015A (ja) 2010-01-15 2011-07-28 Seiko Epson Corp 画像出力装置およびプログラム並びにモノクロ画像製造方法
JP5832855B2 (ja) * 2011-11-01 2015-12-16 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラム
EP2913993B1 (en) 2014-02-26 2016-02-17 Axis AB Method and control unit for controlling exposure of a camera
US10530995B2 (en) * 2015-06-12 2020-01-07 Gopro, Inc. Global tone mapping
KR102309812B1 (ko) 2017-03-06 2021-10-07 한화테크윈 주식회사 영상처리장치 및 영상처리방법
CN111698494B (zh) 2018-08-22 2022-10-28 Oppo广东移动通信有限公司 电子装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338556A (ja) 2005-06-03 2006-12-14 Honda Motor Co Ltd 車両及び路面標示認識装置
WO2009026966A1 (en) 2007-08-31 2009-03-05 Siemens Building Technologies Fire & Security Products Gmbh & Co.Ohg Method of estimating illumination change of images for object detection
US20180302575A1 (en) 2007-10-04 2018-10-18 Magna Electronics Inc. Imaging system for vehicle
US20150294167A1 (en) 2012-11-20 2015-10-15 Harman International Industries, Incorporated Method and system for detecting traffic lights

Also Published As

Publication number Publication date
TWI767422B (zh) 2022-06-11
US20210203901A1 (en) 2021-07-01
JP2021114762A (ja) 2021-08-05
KR102333707B1 (ko) 2021-12-01
CN113126252A (zh) 2021-07-16
CN113126252B (zh) 2022-05-03
TW202133601A (zh) 2021-09-01
KR20210086454A (ko) 2021-07-08
EP3846440A1 (en) 2021-07-07
US11153546B2 (en) 2021-10-19
EP3846440B1 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
JP6029954B2 (ja) 撮像装置
US20150172618A1 (en) Imaging device
JP7057818B2 (ja) 低照度撮像システム
US9319647B2 (en) Image processing device
JP2004538545A (ja) 車両のヘッドランプまたは他の車両機器を制御するための画像処理システム
US10298856B2 (en) Imaging device
JP2010272067A (ja) 画像処理装置
CN105555605A (zh) 车灯控制装置
JP6722041B2 (ja) 監視システム
KR20200135196A (ko) 화상처리장치, 그 제어 방법, 촬상 장치, 감시 시스템 및 기록매체
JP4669445B2 (ja) 乗員検知装置
JP6478138B2 (ja) 画像処理装置、撮像装置、画像処理プログラム、画像処理方法
JP2008230464A (ja) 車載カメラ用自動露出装置
JP6525723B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6315239B2 (ja) 撮像装置、撮像方法、画像処理装置、撮像プログラム
JP2019204988A (ja) 画像処理装置及び画像処理方法
JP2017059905A (ja) 撮像装置
JP2017059904A (ja) 撮像装置
JP6906084B2 (ja) カラーカメラ装置及び光学部品
CN112135012B (zh) 图像采集装置及图像采集方法
KR101691043B1 (ko) 적외선을 이용하여 야간 컬러영상을 구현하는 폐쇄회로 텔레비전 카메라
CN116320794A (zh) 从配备摄像头的车辆上的窄光谱带数据生成人工彩色图像
JP2006005621A (ja) 撮像装置
JP2020162034A (ja) 撮像装置及び画像処理方法
JP2019212937A (ja) 画像表示装置及び画像表示方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211207

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220408

R150 Certificate of patent or registration of utility model

Ref document number: 7057818

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150