TW202133601A - 低亮度成像系統 - Google Patents

低亮度成像系統 Download PDF

Info

Publication number
TW202133601A
TW202133601A TW109141500A TW109141500A TW202133601A TW 202133601 A TW202133601 A TW 202133601A TW 109141500 A TW109141500 A TW 109141500A TW 109141500 A TW109141500 A TW 109141500A TW 202133601 A TW202133601 A TW 202133601A
Authority
TW
Taiwan
Prior art keywords
pixel
group
value
colors
image
Prior art date
Application number
TW109141500A
Other languages
English (en)
Other versions
TWI767422B (zh
Inventor
真吾 平山
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202133601A publication Critical patent/TW202133601A/zh
Application granted granted Critical
Publication of TWI767422B publication Critical patent/TWI767422B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals
    • G08G1/075—Ramp control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/02—Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of crystals, e.g. rock-salt, semi-conductors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/04—Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of organic materials, e.g. plastics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B9/00—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or -
    • G02B9/34—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having four components only
    • G02B9/36—Optical objectives characterised both by the number of the components and their arrangements according to their sign, i.e. + or - having four components only arranged + -- +
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Color Television Image Signal Generators (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本發明係關於一種用於產生包括至少一條道路及至少一個交通信號燈之一組物件之一低亮度影像的交通監測系統，該交通監測系統包括一攝影機及一處理單元，其中：該攝影機經組態以產生包括一組像素之一第一影像，該組像素之各像素包括對應於一像素色彩、一飽和度值及一明度值之色彩編碼值，且該處理單元經組態以對於該組像素之各像素：在該像素色彩對應於一第一組色彩之一者的情況下，修改該等色彩編碼值以減小該像素之飽和度值，且在該像素色彩對應於紅色且該像素之明度值低於一第一臨限值的情況下，修改該等色彩編碼值以減小該像素之飽和度值，在該像素色彩對應於紅色且該像素之明度值等於或高於第一臨限值的情況下，保留該像素之飽和度值；及取決於該第一影像之經修改色彩編碼值產生該組物件之低亮度影像。

Description

低亮度成像系統
本發明係關於一種成像系統，且更特定言之係關於一種低亮度成像系統。
用於對亮度良好之場景(例如，白天場景)及低亮度場景(例如，夜間場景)進行成像之一熟知攝影機組態係具有一可移除IR(紅外)截止濾光器之一相機的組態。IR截止濾光器係移除具有大於700 nm之一波長之光(例如，近紅外或NIR光)的一濾光器。IR截止濾光器可用於對白天場景進行成像，在白天場景中，NIR光可影響成像感測器且使得準確擷取可見色彩更加困難。對於對一低亮度場景進行成像，準確之色彩表示可能是困難或不可能的。因此，取而代之的是優先擷取儘可能多的光，並移除IR截止濾光器。此確保到達光感測器之光的量最大化。
在低亮度攝影機之一個重要用例中，對夜間交通場景進行成像以擷取並記錄場景中之車輛移動。由於在場景中移動之車輛通常係回應於交通信號燈，所以自交通信號燈發射之光亦應由低亮度攝影機準確擷取。然而，鑑於難以在低亮度場景中準確對色彩進行成像，需要一種用於改良低亮度攝影機影像之處理以準確判定交通信號燈色彩的方法。
美國專利申請公開案2015/294167A1描述一種用於藉由以下步驟來偵測交通燈之方法：將一彩色影像轉換為一單色標度影像；將第一單色標度影像轉換為一第一二進制影像；基於至少一個預定幾何參數識別第一二進制影像中之一第一組候選斑點；及使用一綠色交通燈分類器識別一綠色交通燈。
PCT專利申請案2009/026966 A1描述一種判定一影像及一對應背景影像之照度差及亦判定該影像及該對應背景影像之色度差及因此改變背景影像之照度之方法。
美國專利申請公開案2018/302575 A1描述一種車輛夜視系統，其具有在一第一組像素上方之一紅通光譜濾光器、在一第二組像素上方之一藍通光譜濾光器、在一第三組像素上方之一綠通光譜濾光器，且一第四組像素之各像素至少感測近紅外輻射。一近紅外照明源可操作以發射不可見之近紅外照明，以增強攝影機之夜間觀看。
本發明之一第一態樣係一種產生一低亮度影像之方法，該方法包括以下步驟：擷取包括一組像素之一第一影像，該組像素之各像素具有由包括一飽和度值及一明度值的色彩編碼值定義之一像素色彩；對於該組像素之各像素：在該像素色彩對應於一第一組色彩之一者的情況下，修改該等色彩編碼值以減小像素之飽和度值，且在該像素色彩對應於一第二組色彩之一者且該像素之明度值低於一第一臨限值的情況下，修改該等色彩編碼值以減小該像素之飽和度值，其中該第二組色彩由至少一個色彩組成，且其中該第二組中的色彩不包括在該第一組色彩中，在該像素色彩對應於該第二組色彩之一者且該像素之明度值等於或高於第一臨限值的情況下，保留該像素之飽和度值；取決於該第一影像之經修改色彩編碼值產生該低亮度影像。
視情況，該第一組色彩包括藍色及綠色。該第一組色彩可進一步包括青色、洋紅色及黃色。該第二組色彩可包括紅色。或者，該第一組色彩進一步包括藍色、青色、洋紅色及黃色，且該第二組色彩包括紅色及綠色。
該第一影像可取決於在一影像感測器處接收到的一光產生，且其中該光包含紅外光。紅外光可具有在700 nm與1000 nm之間的一波長。
色彩編碼值可對應於一YUV色彩編碼系統，且像素色彩可取決於色彩編碼值之一組色度值判定。減小像素之飽和度值之步驟可包括減小色彩編碼值之色度值。此外，減小像素之飽和度值之步驟可包括將色彩編碼值之色度值設定為零。
本發明之一第二態樣係一種在其上儲存有電腦程式碼指令的非暫時性電腦可讀媒體，該等電腦程式碼指令在由以下態樣的成像單元之處理單元執行時適於執行上述方法。
本發明之一第三態樣係一種用於產生一低亮度影像之成像單元，該成像單元包括一攝影機及一處理單元，其中：該攝影機經組態以產生包括一組像素之一第一影像，該組像素之各像素具有由包括一飽和度值及一明度值的色彩編碼值定義之一像素色彩，且該處理單元經組態以對於該組像素之各像素：在該像素色彩對應於一第一組色彩之一者的情況下，修改該等色彩編碼值以減小像素之飽和度值，且在該像素色彩對應於一第二組色彩之一者且該像素之明度值低於一第一臨限值的情況下，修改該等色彩編碼值以減小該像素之飽和度值，其中該第二組色彩由至少一個色彩組成，且其中該第二組中的色彩不包括在該第一組色彩中，在該像素色彩對應於該第二組色彩之一者且該像素之明度值等於或高於第一臨限值的情況下，保留該像素之飽和度值；及取決於該第一影像之經修改色彩編碼值產生該低亮度影像。
攝影機可包括一影像感測器，且該第一影像可取決於在一影像感測器處接收到之包括紅外光的一光產生。紅外光可具有在700 nm 與1000 nm之間的一波長。
色彩編碼值可對應於一YUV色彩編碼系統，且像素色彩可取決於色彩編碼值之一組色度值判定。
處理單元可經組態以藉由減小色彩編碼值之色度值而減小像素之飽和度值。此外，處理單元可經組態以藉由將色彩編碼值之色度值設定為零而減小像素之飽和度值。
本發明之一第四態樣係一種用於產生包括至少一條道路及至少一個交通信號燈之一組物件之一低亮度影像的交通監測系統，該交通監測系統包括一攝影機及一處理單元，其中：該攝影機經組態以產生包括一組像素之一第一影像，該組像素之各像素包括對應於一像素色彩、一飽和度值及一明度值之色彩編碼值，且該處理單元經組態以對於該組像素之各像素：在該像素色彩對應於一第一組色彩之一者的情況下，修改該等色彩編碼值以減小該像素之飽和度值，且在該像素色彩對應於紅色且該像素之明度值低於一第一臨限值的情況下，修改該等色彩編碼值以減小該像素之飽和度值，在該像素色彩對應於紅色且該像素之明度值等於或高於第一臨限值的情況下，保留該像素之飽和度值；及取決於該第一影像之經修改色彩編碼值產生該組物件之低亮度影像。
本描述係關於用於提供一場景之經改良低亮度成像之設備及技術。在整個描述中，相同的附圖標記用於識別對應元件。
圖1係一成像單元100及一交通場景21之一實例之一圖。在一個實例中，成像單元100係一交通監測系統200之部分。成像單元100包括一攝影機110、處理單元120，且可進一步包括一非暫時性電腦可讀媒體130。攝影機110具有一視野15及一影像感測器，該影像感測器經組態以取決於在該影像感測器處接收到的一光產生一第一影像20。影像感測器可包括一可見光感測器(例如，半導體電荷耦合裝置(CCD))、互補金屬氧化物半導體(CMOS)中之一主動像素感測器或一N型金屬氧化物半導體(NMOS、Live MOS)感測器之一者或一組合。攝影機110之視野(FOV) 15係經定義為攝影機110可拾取光之角度。視野取決於影像感測器之尺寸及與影像感測器一起使用之透鏡的一焦距。攝影機110之視野15可覆蓋交通場景21。對於當前示例，光應理解為具有至少300 nm與1000 nm之間的一波長。然而，其他實例可包括具有受限光譜之人造光。
攝影機110可視情況進一步包括一紅外截止濾光器。該紅外截止濾光器可自動或手動固定或可移除。在一個實例中，紅外截止濾光器可回應於由成像單元100偵測到的一低亮度條件而自動移除，以便容許攝影機110進行經改良之低亮度成像。紅外截止濾光器可經組態以過濾具有大於700 nm之一波長的光。在一個實例中，紅外截止濾光器經組態以過濾具有在700 nm與1000 nm之間之一波長的光，即，近紅外(NIR)光。
處理單元120經組態以自影像感測器接收第一影像20並執行一或多個影像處理步驟以自第一影像20產生一低亮度影像10。該一或多個影像處理步驟可包括調整第一影像20之像素之一或多者的像素值，以便產生低亮度影像10。處理單元120經描述為一單個單元，但可經組態為分離之控制器或模組。分離之處理單元或模組可為用於例如處理視訊及影像之專用控制器，或可控制一或多個組件之通用控制器或模組。處理單元120或專用模組或控制器可至少部分由一中央處理單元(CPU)執行之軟體實施。在一實例中，一電腦程式產品包括指令，當由一電腦執行該程式時，該等指令使電腦執行上述關於處理單元120討論之步驟。處理單元可由在一或多個通用目的或特定目的計算裝置上運行之特定目的軟體(或韌體)實施。在此內文中，應理解為此一計算裝置之各「元件」或「構件」是指一方法步驟之一概念等效物；在元件/構件與特定件之硬體或軟體常式之間並不總是一一對應的。一件硬體有時包括不同構件/元件。例如，一處理單元在執行一個指令時可用作一個元件/構件，但在執行另一指令時可用作另一元件/構件。此外，在某些情況下，一個元件/構件可由一個指令實施，而在某些其他情況下，可由複數個指令實施。自然地，可考慮一或多個元件(構件)完全由類比硬體組件實施。
處理單元可包含一或多個處理單元，例如，一CPU(「中央處理單元」)、一GPU(「圖形處理單元」)、一AI加速器晶片、一DSP(「數位信號處理器」)、一ASIC(「特定應用積體電路」)、一縮放器、一DDIC(顯示驅動器積體電路)、離散類比及/或數位組件或某些其他可程式化邏輯裝置，例如一FPGA(「場可程式化閘陣列」)。處理單元可進一步包含一系統記憶體(例如，非暫時性電腦可讀媒體130)及將包含系統記憶體之各種系統組件耦合至處理單元的一系統匯流排。系統匯流排可為若干類型之匯流排結構之任一者，包含一記憶體匯流排或記憶體控制器、一周邊匯流排及使用多種匯流排架構之任一者之一區域匯流排。系統記憶體可包含揮發性及/或非揮發性記憶體形式之電腦儲存媒體，例如唯讀記憶體(ROM)、隨機存取記憶體(RAM)及快閃記憶體。特定目的軟體及相關聯控制參數值可儲存在系統記憶體中，或在計算裝置中包含或計算裝置可存取之其他可移除/不可移除的揮發性/非揮發性電腦儲存媒體上，例如磁性媒體、光學媒體、快閃記憶體卡、數位帶、固態RAM、固態ROM等。處理單元可包含一或多個通信介面，例如一串列介面、一並列介面、一USB介面、一無線介面、一網路配接器等，以及一或多個資料獲取裝置，例如一A/D轉換器。可將特定目的軟體提供至處理單元，在包含一記錄媒體及一唯讀記憶體之任何適當的電腦可讀媒體上。
儘管描述可涉及一「交通場景」或一「交通監測系統」，但是應理解，本文描述的方法及設備可應用於低亮度成像之所有形式及應用，且不限於低亮度交通場景之成像。
在圖1所示的一交通場景之一實例中，交通場景21包括包含一交通信號燈22、一路燈26及一道路表面27之一組物件。交通信號燈22經配置以提供一清晰視覺信號至在道路表面27上行駛之車輛。在此實例中，交通信號燈22經組態以在視覺上對在道路表面27上行駛的車輛指示至少以下信號：停止及前進。交通信號燈22可包括紅燈23，當該紅燈23點亮時其在視覺上用信號方式對車輛發出指令「停止」。交通信號燈22亦可包括綠燈25，當該綠燈25點亮時其在視覺上用信號方式對車輛發出指令「前進」。最後，交通信號燈22可包括橙燈24，當該橙燈24點亮時其在視覺上用信號方式對車輛發出信號「注意」。在此實例中，該組物件進一步包括路燈26，該路燈26經組態以使用可見波長，例如白光或黃光以對交通場景21提供一般照明。最後，交通場景21可包括一組反射表面，其反射交通場景21內之任何活動光源(例如紅燈23、橙燈24、綠燈25或路燈26)或來自交通場景21外部之光。反射表面可包含道路表面27，例如當被雨淋濕時。
圖2描繪取決於在影像感測器處接收到之一光而由影像感測器產生之一第一影像20。如上所述，該光可包含近紅外光。第一影像20包括一組像素，該組像素包括複數個像素。各像素具有由一色彩編碼值定義之一色彩值。可根據一YUV色彩編碼系統對色彩編碼值進行編碼，在該YUV色彩編碼系統中，取決於一組色度值判定像素色彩。YUV(或Y'UV)模型根據一個明度(或照度)值(Y')及兩個色度值(分別稱為U值(藍色投影)及V值(紅色投影))定義一色彩空間。
可藉由調整一像素之U及V值而控制該像素之一飽和度值(或描述為一色度值)。U及V值越高(或為負時越低)，像素越飽和(即彩色的)。U及V值越接近零，像素變得越灰。
在替代實例中，使用替代色彩編碼系統(例如，YCbCr)，並應用對應像素色彩處理步驟以達成本文所述的飽和度之一對應減小。
圖3描繪用於減小該組像素之飽和度以產生圖4所示之一單色處理影像32的一技術。在圖3中，一像素之色度值U及V分別展示為X軸及Y軸。一實例性紅色像素標記為R，一實例性綠色像素標記為G，一實例性藍色像素標記為B，一實例性黃色像素標記為Y，一實例性洋紅色像素標記為M，且一實例性青色像素標記為C。在圖3之實例中，像素之U、V值之各者經移動得更靠近圖之原點，從而減少影像中之色彩。在一個實例中，U、V值之各者經移動至原點本身，從而留下一完全單色影像。圖4展示單色處理影像32，其中第一影像20之各像素之U、V值已減小至零。在圖4中，路燈26及紅燈23兩者均被點亮。但是，歸因於在處理影像32中缺少色彩，因此無法僅基於色彩而區分此等光源。在區分自紅燈23、橙燈24及綠燈25發射之光是重要的情況下且在第一影像20沒有足夠高之解析度或沒有清晰聚焦以容許僅基於位置區分燈的情況下，此情境將特別不利。在此情境下，可能難以或無法判定交通信號燈22正在傳輸哪個交通信號。
圖5係根據描述之一個實例的低亮度影像處理方法之一流程圖，該方法克服上述組態之缺點。在一個實例中，由成像單元100之處理單元120對第一影像20執行以下步驟之各者。
在步驟310中，由一影像感測器取決於在該影像感測器處接收到之一光產生一第一影像20。第一影像20包括一組像素，該組像素包括複數個像素，各像素包括對應於一色彩編碼方案之色彩編碼值，例如參考圖2、圖3及圖4描述之色彩編碼值。在此實例中，色彩編碼值包括描述像素之一像素色彩之一飽和度值及一明度值。
在步驟320中，處理第一影像20之該組像素，以便對於具有對應於一第一組色彩之一者的一色彩之各像素減小飽和度值(例如，圖6之實例中所示的U、V值)。在一個實例中，對於具有對應於一第一組色彩之一者的一色彩之各像素，將飽和度值減小為零。在一個實例中，第一組色彩包括除紅色外之所有色彩。即，不對應於第一影像20中之一紅色的所有像素經更新以減小其飽和度值。在U及V值具有-0.5至+0.5的可能範圍之一個實例中，將具有對應於低於-0.4之一U值及大於+0.4之一V值的一飽和度值之像素定義為「紅色」。但是，取決於平均光位準、影像之平均飽和度及/或來自其他光源之干擾，可定義「紅色」之容限可改變。在另一實例中，將具有對應於低於-0.25之一U值及大於+0.25之一V值的一飽和度值之一像素定義為「紅色」。在自一影像(例如，僅一交通信號燈之一影像)僅期望一組有限之色彩的情況下，可進一步擴展可考慮為一「紅色」色彩之定義，此係因為綠色及黃色像素將具有與紅色像素完全不同之值。如下所述，用於定義一「紅色」色彩之U及V值的範圍亦可取決於明度值之臨限值而改變。此等概念可等效地應用於其他色彩。
在其中色彩編碼方案係一RGB色彩編碼方案的另一實例中，第一組色彩由藍色及綠色組成。在其中色彩編碼方案係一RGBCMY色彩編碼方案的另一實例中，第一組色彩由藍色、綠色、青色、洋紅色及黃色組成。所得影像係包括灰階或紅色之像素之一影像。然而，灰階/紅色影像可能仍然難以用於準確地偵測紅色交通信號燈，因為交通場景21內亦可存在大量紅色光源，包含自反射表面(例如道路表面27且甚至是交通信號燈22之若干部分)反射的紅光。在另一實例中，第一組色彩包括除紅色及綠色外之所有色彩。在另一實例中，第一組色彩包括除紅色、綠色及黃色(即交通信號燈使用之色彩)外之所有色彩。
在步驟330中，處理該組像素，以便對於具有對應於一第二組色彩之一者之一色彩及低於一第一臨限值之一明度值的各像素，減小飽和度值。可取決於經成像光源有多明亮且特別是交通信號燈有多明亮而設定第一臨限值。此外，可取決於可容忍來自其他明亮燈之光「雜訊」的程度來設定第一臨限值。例如，在經成像交通信號燈非常明亮的情況下，可將臨限值設定為高。在一場景中存在大量光雜訊的情況下，亦應將臨限值設定為高以濾除光雜訊。在一個實例中，第二組色彩包括紅色。即，對應於一紅色但具有低於一臨限值之一明度值的所有像素亦經更新，以減小其飽和度值。在另一實例中，第二組色彩包括紅色及綠色。在另一實例中，第二組色彩包括紅色、綠色及黃色。
在步驟340中，處理該組像素，以便對於具有對應於一第二組色彩之一者之一色彩及高於一第一臨限值之一明度值的各像素保留飽和度值。在一個實例中，第二組色彩包括紅色。即對應於一紅色且具有高於一臨限值之一亮度的所有像素均保持其紅色。在另一實例中，第二組色彩包括紅色及綠色。在另一實例中，第二組色彩包括紅色、綠色及黃色。由於此步驟亦可包括不採取任何動作(即，保留一值可僅包括不對其進行更新)，因此此「步驟」亦可被視為不存在。
如上所述，在採用一YUV色彩編碼方案的情況下，用於定義一「紅色」色彩之U及V值的一範圍亦可取決於第一臨限值而改變。在一個實例中，第一臨限值越大，用於定義一「紅色」色彩之U及V值的範圍越大。此提供之優點係，容許落在「紅色」之一廣泛定義內的一像素只要其足夠明亮就可被保留，而較暗之紅色光需要更接近一理想「紅色」以便被保留。相同概念可等效地應用於其他色彩編碼方案。
與上述類似，在採用一YUV色彩編碼方案的情況下，第一臨限值可取決於用於定義一「紅色」色彩之U及V值之一範圍。在狹義地定義一「紅色」像素色彩的情況下，可對明度值設定一相對較低第一臨限值，但是在更寬泛地定義一「紅色」像素色彩(例如，包含更多橙紅色)的情況下，可對明度值設定一相對較高第一臨限值。可基於待擷取之場景的測試影像而手動或自動調整此等值。較佳地，所有期望之交通信號燈應保留其色彩，同時限制呈霓虹燈標誌、反射表面等形式之色彩雜訊之量。
在步驟350中，取決於上述步驟之輸出產生低亮度影像10(圖7中描繪)。在其中第一組色彩包括除紅色外之所有色彩且第二組色彩由紅色組成之一實例中，低亮度影像10將包括一大部分灰階影像，但是具有對應於第一影像20中之明亮紅色像素之紅色像素。如圖7所示，此將容許紅燈23與路燈26之間之一明顯區分。紅燈23(加陰影暗色以指示一紅色)將展示為紅色，而路燈26將保持單色。其亦將容許紅燈23與一未主動點亮之紅色車輛之間之一區分。此將容許一觀看者清楚地辨別由交通信號燈22發射之一色彩。此可容許改良在交通場景21內之交通事故的記錄影像或視訊中判定交通違規或責任。儘管在上述實例中使用紅色，但可採用任何色彩或色彩組合，例如用於觀察及區分藍燈、綠燈、黃燈等或任何色彩組合。
10:低亮度影像 15:視野 20:第一影像 21:交通場景 22:交通信號燈 23:紅燈 24:橙燈 25:綠燈 26:路燈 27:道路表面 32:單色處理影像 100:成像單元 110:攝影機 120:處理單元 130:非暫時性電腦可讀媒體 200:交通監測系統 310:步驟 320:步驟 330:步驟 340:步驟 350:步驟 B:實例性藍色像素標記 C:實例性青色像素標記 G:實例性綠色像素標記 M:實例性洋紅色像素標記 R:實例性紅色像素標記 U:像素之色度值 V:像素之色度值 Y:實例性黃色像素標記
參考附圖，自以下一實例之詳細描述，本發明之其他特徵及優點將變得顯而易見，在附圖中：
圖1係一成像設備及一組待成像物件之一圖，
圖2係由成像設備之一影像感測器擷取的該組物件之一影像的一表示，
圖3係一色彩空間圖，其展示由成像設備擷取的一影像之色彩處理步驟，
圖4係根據圖3之色彩處理步驟處理之一低亮度影像的一表示，
圖5係一低亮度影像處理方法之一流程圖，
圖6係一色彩空間圖，其展示一影像的一色彩處理步驟，
圖7係根據圖6之色彩處理步驟處理的一低亮度影像的一表示。
15:視野
21:交通場景
22:交通信號燈
23:紅燈
24:橙燈
25:綠燈
26:路燈
27:道路表面
100:成像單元
110:攝影機
120:處理單元
130:非暫時性電腦可讀媒體
200:交通監測系統

Claims (15)

  1. 一種產生一低亮度影像之方法，該方法包括以下步驟： 擷取包括一組像素之一第一影像，該組像素之各像素具有由包括一飽和度值及一明度值的色彩編碼值定義之一像素色彩， 對於該組像素之各像素： 在該像素色彩對應於一第一組色彩之一者的情況下，修改該等色彩編碼值以減小該像素之該飽和度值，且 在該像素色彩對應於一第二組色彩之一者且該像素之該明度值低於一第一臨限值的情況下，修改該等色彩編碼值以減小該像素之該飽和度值，其中該第二組色彩由至少一個色彩組成，且其中該第二組中的該等色彩不包括在該第一組色彩中， 在該像素色彩對應於該第二組色彩之一者且該像素之該明度值等於或高於該第一臨限值的情況下，保留該像素之該飽和度值， 取決於該第一影像之該等經修改色彩編碼值產生該低亮度影像。
  2. 如請求項1之方法，其中該第一組色彩包括藍色及綠色。
  3. 如請求項2之方法，其中該第一組色彩進一步包括青色、洋紅色及黃色。
  4. 如請求項1之方法，其中該第二組色彩包括紅色。
  5. 如請求項1之方法，其中該第一組色彩進一步包括藍色、青色、洋紅色及黃色，且其中該第二組色彩包括紅色及綠色。
  6. 如請求項1之方法，其中該第一影像係取決於在一影像感測器處接收到之一光而產生，且其中該光包含紅外光。
  7. 如請求項6之方法，其中該紅外光具有在700 nm與1000 nm之間之一波長。
  8. 如請求項1之方法，其中該等色彩編碼值對應於一YUV色彩編碼系統，且其中該像素色彩係取決於該等色彩編碼值之一組色度值判定。
  9. 如請求項8之方法，其中減小該像素之該飽和度值之該步驟包括減小該等色彩編碼值之該等色度值。
  10. 如請求項8之方法，其中減小該像素之該飽和度值之該步驟包括：將該等色彩編碼值之該等色度值設定為零。
  11. 一種用於產生一低亮度影像之成像單元，該成像單元包括一攝影機及一處理單元，其中： 該攝影機經組態以產生包括一組像素之一第一影像，該組像素之各像素具有由包括一飽和度值及一明度值之色彩編碼值定義之一像素色彩，且 該處理單元經組態以對於該組像素之各像素： 在該像素色彩對應於一第一組色彩之一者的情況下，修改該等色彩編碼值以減小該像素之該飽和度值，且 在該像素色彩對應於一第二組色彩之一者且該像素之該明度值低於一第一臨限值的情況下，修改該等色彩編碼值以減小該像素之該飽和度值，其中該第二組色彩由至少一個色彩組成，且其中該第二組中的該等色彩不包括在該第一組色彩中， 在該像素色彩對應於該第二組色彩之一者且該像素之該明度值等於或高於該第一臨限值的情況下，保留該像素之該飽和度值，且 取決於該第一影像之該等經修改色彩編碼值產生該低亮度影像。
  12. 如請求項11之成像單元，其中攝影機包括一影像感測器，且其中第一影像係取決於在一影像感測器處接收到的包括紅外光之一光而產生。
  13. 如請求項12之成像單元，其中該紅外光具有在700 nm與1000 nm之間之一波長。
  14. 一種在其上儲存有電腦程式碼指令之非暫時性電腦可讀媒體，該等電腦程式碼指令當由如請求項11之成像單元的處理單元執行時適於執行如請求項1之方法。
  15. 一種用於產生包括至少一條道路及至少一個交通信號燈之一組物件之一低亮度影像的交通監測系統，該交通監測系統包括如請求項11之成像單元，其中該成像單元經組態以取決於第一影像之經修改色彩編碼值產生該組物件之該低亮度影像。
TW109141500A 2019-12-30 2020-11-26 低亮度成像系統 TWI767422B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19219965.1 2019-12-30
EP19219965.1A EP3846440B1 (en) 2019-12-30 2019-12-30 A low-light imaging method, unit and system

Publications (2)

Publication Number Publication Date
TW202133601A true TW202133601A (zh) 2021-09-01
TWI767422B TWI767422B (zh) 2022-06-11

Family

ID=69055810

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109141500A TWI767422B (zh) 2019-12-30 2020-11-26 低亮度成像系統

Country Status (6)

Country Link
US (1) US11153546B2 (zh)
EP (1) EP3846440B1 (zh)
JP (1) JP7057818B2 (zh)
KR (1) KR102333707B1 (zh)
CN (1) CN113126252B (zh)
TW (1) TWI767422B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11330196B2 (en) * 2020-10-12 2022-05-10 Microsoft Technology Licensing, Llc Estimating illumination in an environment based on an image of a reference object
CN117237258B (zh) * 2023-11-14 2024-02-09 山东捷瑞数字科技股份有限公司 基于三维引擎的夜视图像处理方法、系统、设备、介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4095265B2 (ja) * 2001-09-06 2008-06-04 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
US7391901B2 (en) 2003-09-29 2008-06-24 Xerox Corporation Method for embedding color image information into a black-and-white image
JP4408095B2 (ja) * 2005-06-03 2010-02-03 本田技研工業株式会社 車両及び路面標示認識装置
JP4405942B2 (ja) * 2005-06-14 2010-01-27 キヤノン株式会社 画像処理装置およびその方法
WO2009026966A1 (en) * 2007-08-31 2009-03-05 Siemens Building Technologies Fire & Security Products Gmbh & Co.Ohg Method of estimating illumination change of images for object detection
WO2009046268A1 (en) * 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
JP2011147015A (ja) 2010-01-15 2011-07-28 Seiko Epson Corp 画像出力装置およびプログラム並びにモノクロ画像製造方法
JP5832855B2 (ja) * 2011-11-01 2015-12-16 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラム
CN104769652B (zh) * 2012-11-20 2017-10-03 哈曼国际工业有限公司 用于检测交通灯的方法和系统
EP2913993B1 (en) 2014-02-26 2016-02-17 Axis AB Method and control unit for controlling exposure of a camera
US10530995B2 (en) * 2015-06-12 2020-01-07 Gopro, Inc. Global tone mapping
KR102309812B1 (ko) 2017-03-06 2021-10-07 한화테크윈 주식회사 영상처리장치 및 영상처리방법
CN111698494B (zh) 2018-08-22 2022-10-28 Oppo广东移动通信有限公司 电子装置

Also Published As

Publication number Publication date
EP3846440B1 (en) 2021-12-15
CN113126252B (zh) 2022-05-03
KR102333707B1 (ko) 2021-12-01
KR20210086454A (ko) 2021-07-08
US20210203901A1 (en) 2021-07-01
JP7057818B2 (ja) 2022-04-20
US11153546B2 (en) 2021-10-19
JP2021114762A (ja) 2021-08-05
TWI767422B (zh) 2022-06-11
EP3846440A1 (en) 2021-07-07
CN113126252A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
US8036427B2 (en) Vehicle and road sign recognition device
US10084967B1 (en) Systems and methods for regionally controlling exposure time in high dynamic range imaging
WO2009088080A1 (ja) プロジェクタ
US9906766B2 (en) Imaging device
JP6026670B2 (ja) 車両灯体制御装置
US20120062746A1 (en) Image Processing Apparatus
US20130027560A1 (en) Color mask for an image sensor of a vehicle camera
TWI767422B (zh) 低亮度成像系統
CN105430359A (zh) 成像方法、图像传感器、成像装置及电子装置
JP6533050B2 (ja) 車載カメラシステム
US20100214455A1 (en) Camera set-up and method for ascertaining picture signals having color values
US20100207958A1 (en) Color image creating apparatus
CN105578081A (zh) 成像方法、图像传感器、成像装置及电子装置
CN107079108B (zh) 机动车辆相机装置、其操作方法和包括其的机动车辆
JP6478138B2 (ja) 画像処理装置、撮像装置、画像処理プログラム、画像処理方法
JP2012008845A (ja) 画像処理装置
KR20170032158A (ko) 촬상 장치
KR20170032157A (ko) 촬상 장치
CN113574851B (zh) 摄像装置以及图像处理方法
JP2020047170A (ja) 画像認識装置、ニューラルネットワークモデル、撮像装置及び画像認識方法
JP6906084B2 (ja) カラーカメラ装置及び光学部品
JP7176208B2 (ja) システムおよび撮像装置
KR101691043B1 (ko) 적외선을 이용하여 야간 컬러영상을 구현하는 폐쇄회로 텔레비전 카메라