TWI768310B - 適用於電腦視覺處理之光學辨識系統 - Google Patents

適用於電腦視覺處理之光學辨識系統 Download PDF

Info

Publication number
TWI768310B
TWI768310B TW109109643A TW109109643A TWI768310B TW I768310 B TWI768310 B TW I768310B TW 109109643 A TW109109643 A TW 109109643A TW 109109643 A TW109109643 A TW 109109643A TW I768310 B TWI768310 B TW I768310B
Authority
TW
Taiwan
Prior art keywords
pixel
green
pixels
image
infrared
Prior art date
Application number
TW109109643A
Other languages
English (en)
Other versions
TW202137751A (zh
Inventor
馬清軒
蔡孟哲
黃熙鈞
Original Assignee
偉詮電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 偉詮電子股份有限公司 filed Critical 偉詮電子股份有限公司
Priority to TW109109643A priority Critical patent/TWI768310B/zh
Priority to CN202010320794.5A priority patent/CN113438430A/zh
Priority to US16/876,090 priority patent/US20210297608A1/en
Publication of TW202137751A publication Critical patent/TW202137751A/zh
Application granted granted Critical
Publication of TWI768310B publication Critical patent/TWI768310B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Holo Graphy (AREA)
  • Multi Processors (AREA)
  • Pyrane Compounds (AREA)

Abstract

光學辨識系統包含4x4矩陣影像感測器、兩組線緩衝器，和內插單元。4x4矩陣影像感測器包含排列成拜耳陣列之2個紅光像素、8個綠光像素、2個藍光像素，和4個紅外光像素。兩組線緩衝器用來儲存像素之亮度資訊。內插單元依據緩衝單元所儲存之亮度資訊來插補每一像素中缺少的成份，進而輸出一影像資料，其中該影像資料包含相關每一像素之亮度資訊的全彩亮度資訊。

Description

適用於電腦視覺處理之光學辨識系統
本發明相關於一種適用於電腦視覺處理之光學辨識系統，尤指一種包含4x4 kernel影像感測器且適用於電腦視覺處理之光學辨識系統。
消費性電子產品常會使用影像感測器來將光學影像轉換成電子訊號，進而製作彩色影像。影像感測器多半使用感光耦合元件(charge-coupled device,CCD)或互補式金屬氧化物半導體主動像素傳感器(CMOS active pixel sensor)等感光元件，再利用特定排列的濾色陣列來感知每種色彩的強弱，最後再對收集到的亮度資訊來行插補和校正等處理以製作全彩影像。
第1圖為先前技術光學辨識系統中所採用2x2矩陣(kernel)影像感測器之示意圖。2x2kernel影像感測器包含一紅光像素R、一綠光像素G、一藍光像素B，以及一紅外光像素IR，其中每一像素中缺少的成份可依據其周圍像素之亮度資訊來進行插補。舉例來說，可依據綠光像素G之亮度資訊來插補紅光像素R中之綠光成份，可依據藍光像素B 之亮度資訊來插補紅光像素R中之藍光成份，並依據紅外光像素IR之亮度資訊來插補紅光像素R中之紅外光成份。
然而，先前技術光學辨識系統係針對人眼應用，需使用很多組線緩衝器(line buffer)來儲存多條掃描線的亮度資訊以插補RGB影像和IR影像，以及使用複雜演算法來還原人眼辨識所需的影像特徵。
本發明提供一種適用於電腦視覺處理之光學辨識系統，其包含一4x4矩陣影像感測器、一緩衝單元，以及一內插單元。該4x4矩陣影像感測器包含第一和第二紅光像素、第一至第八綠光像素、第一和第二藍光像素和第一至第四個紅外光像素，該4x4 kernel影像感測器中之像素組成相鄰之第一至第四掃描線。該緩衝單元用來儲存該第一至第四掃描線中至少兩條掃描線之亮度資訊。該內插單元依據該緩衝單元所儲存之亮度資訊來插補每一像素中缺少的成份，進而輸出一影像資料，其中該影像資料包含相關每一像素之亮度資訊的全彩亮度資訊。
10:影像擷取裝置
20:內插單元
30:緩衝單元
40:校正單元
50:輸出決策單元
60:電腦視覺處理單元
70:影像訊號處理器
100、200:光學辨識系統
R(0,1)~R(4N-2,4M-1):紅光像素
G(0,0)~G(4N-1,4M-1):綠光像素
B(0,3)~B(4N-2,4M-3):藍光像素
IR(1,0)~IR(4N-1,4M-2):紅外光像素
S0~S4N-1:掃描線
DI:影像資料
Y:亮度參數
第1圖為先前技術光學辨識系統中所採用2x2 kernel影像感測器之示意圖。
第2圖為本發明實施例中一種適用於電腦視覺處理之光學辨識系統的功能方塊圖。
第3圖為本發明另一實施例中一種適用於電腦視覺處理之光學辨識系 統的功能方塊圖。
第4圖為本發明實施例中影像擷取裝置所採用4x4 kernel影像感測器之示意圖。
第5圖為本發明實施例中影像擷取裝置10中位於第m行和第n列之4x4 kernel影像感測器PX(n,m)之示意圖。
第2圖為本發明實施例中一種適用於電腦視覺處理之光學辨識系統100的功能方塊圖。第3圖為本發明另一實施例中一種適用於電腦視覺處理之光學辨識系統200的功能方塊圖。光學辨識系統100和200各包含一影像擷取裝置10、一內插單元20、一緩衝單元30、一校正單元40、一輸出決策單元50，以及一電腦視覺處理單元60。光學辨識系統100另包含一影像訊號處理器(image signal processor,ISP)70。
在光學辨識系統100和200中，影像擷取裝置10包含至少一組4x4 kernel影像感測器，每一4x4 kernel影像感測器可由感光元件和濾色陣列所組成，其包含排列成拜耳(Bayer)陣列之複數個紅光像素、複數個綠光像素、複數個藍光像素，以及複數個紅外光像素，上述像素形成相鄰之四條掃描線。
第4圖為本發明實施例中影像擷取裝置10實作方式之示意圖。本發明影像擷取裝置10可包含複數個以陣列方式設置之4x4 kernel影像感測器，亦即水平方向有M行4x4 kernel影像感測器，而垂直方向有N列4x4 kernel影像感測器，其中M和N為大於1之整數。每一4x4 kernel 影像感測器包含2個紅光像素、8個綠光像素、2個藍光像素，以及4個紅外光像素，其中R代表紅光像素、G代表綠光像素、B代表紅光像素、IR代表紅外光像素，且括號內之數字代表每一像素之座標。針對可見光的辨識，綠光像素之數量多於紅光像素和藍光像素的原因是為了反應人眼對各種顏色的敏感度，亦即在可見光中人眼對綠色最為敏感，紅色次之，而藍色最不敏感。為了說明目的，假設影像擷取裝置10之掃描方向為水平，每一掃描線分別由S0~S4N-1來代表，而箭頭方向對應掃描方向。
第5圖為本發明實施例中影像擷取裝置10中位於第m行和第n列之4x4 kernel影像感測器PX(n,m)之示意圖。4x4 kernel影像感測器PX(n,m)包含2個紅光像素R(4n,4m+1)和R(4n+2,4m+3)、8個綠光像素G(4n,4m)、G(4n,4m+2)、G(4n+1,4m+1)、G(4n+1,4m+3)、G(4n+2,4m)、G(4n+2,4m+2)、G(4n+3,4m+1)和G(4n+3,4m+3)、2個藍光像素B(4n,4m+3)和B(4n+2,4m+1)，以及4個紅外光像素IR(4n+1,4m)、IR(4n+1,4m+2)、IR(4n+3,4m)和IR(4n+3,4m+2)，其中M和N為大於3之整數，m為介於1和M之間的整數，而n為介於1和N之間的整數。為了說明內插單元20對4x4 kernel影像感測器PX(n,m)中每一座標進行插補的方式，第5圖另顯示4x4 kernel影像感測器PX(n,m)周圍之6個4x4 kernel影像感測器PX(n-1,m-1)、PX(n-1,m)、PX(n-1,m+1)、PX(n,m-1)、PX(n,m+1)、PX(n+1,m-1)、PX(n+1,m)和PX(n+1,m+1)中會使用到的像素。
在本發明一實施例中，光學辨識系統100和200中的緩衝單元30包含兩組線緩衝器。因此針對4x4 kernel影像感測器PX(n,m)中紅光像 素所在之座標，其紅光成份可由該座標紅光像素之亮度資訊來提供，其綠光成份可由內插單元20依據相鄰該座標紅光像素之4個綠光像素的亮度資訊來進行插補，其藍光成份可由內插單元20依據水平方向最接近該座標紅光像素之2個藍光像素的亮度資訊來進行插補，而其紅外光成份可由內插單元20依據最接近該座標紅光像素之4個紅外光像素的亮度資訊來進行插補。
針對4x4 kernel影像感測器PX(n,m)中綠光像素所在之座標，其紅光成份可由內插單元20依據水平方向或垂直方向相鄰該座標綠光像素之1個紅光像素的亮度資訊來進行插補，其綠光成份可由該座標綠光像素之亮度資訊來提供，其藍光成份可由內插單元20依據水平方向或垂直方向相鄰該座標綠光像素之1個藍光像素的亮度資訊來進行插補，而其紅外光成份可由內插單元20依據水平方向或垂直方向相鄰該座標綠光像素之2個紅外光像素的亮度資訊來進行插補。
針對4x4 kernel影像感測器PX(n,m)中藍光像素所在之座標，其紅光成份可由內插單元20依據水平方向最接近該座標藍光像素之2個紅光像素的亮度資訊來進行插補，其綠光成份可由內插單元20依據水平方向和垂直方向相鄰該座標藍光像素之4個綠光像素的亮度資訊來進行插補，其藍光成份可由該座標藍光像素之亮度資訊來提供，而其紅外光成份可由內插單元20依據最接近該座標藍光像素之4個紅外光像素的亮度資訊來進行插補。
針對4x4 kernel影像感測器PX(n,m)中紅外光像素所在之座 標，其紅光成份可由內插單元20依據最接近該座標紅外光像素之2個紅光像素的亮度資訊來進行插補，其綠光成份可由內插單元20依據水平方向和垂直方向相鄰該座標紅外光像素之4個綠光像素的亮度資訊來進行插補，其藍光成份可由內插單元20依據最接近該座標紅外光像素之2個藍光像素的亮度資訊來進行插補，而其紅外光成份可由該座標紅外光像素之亮度資訊來提供。
更詳細地說，針對位於座標(4n,4m)之綠光像素，其紅光成份R’(4n,4m)、綠光成份G’(4n,4m)、藍光成份B’(4n,4m)和紅外光成份IR’(4n,4m)的插補方式如下所示：R’(4n,4m)=R(4n,4m+1)
G’(4n,4m)=G(4n,4m)
B’(4n,4m)=B(4n,4m-1)
IR’(4n,4m)=[IR(4n-1,4m)+IR(4n+1,4m)]/2
針對位於座標(4n,4m+1)之紅光像素，其紅光成份R’(4n,4m+1)、綠光成份G’(4n,4m+1)、藍光成份B’(4n,4m+1)和紅外光成份IR’(4n,4m+1)的插補方式如下所示：R’(4n,4m+1)=R(4n,4m+1)
G’(4n,4m+1)=[G(4n-1,4m+1)+G(4n,4m)+G(4n,4m+2)+G(4n+1,4m+1)]/4
B’(4n,4m+1)=[B(4n,4m-1)+B(4n,4m+3)]/2
IR’(4n,4m+1)=[IR(4n-1,4m)+IR(4n-1,4m+2)+IR(4n+1,4m)+IR(4n+1,4m+2)]/4
針對位於座標(4n,4m+2)之綠光像素，其紅光成份R’(4n,4m+2)、綠光成份G’(4n,4m+2)、藍光成份B’(4n,4m+2)和紅外光成份IR’(4n,4m+2)的插補方式如下所示：R’(4n,4m+2)=R(4n,4m+1)
G’(4n,4m+2)=G(4n,4m+2)
B’(4n,4m+2)=B(4n,4m+3)
IR’(4n,4m+2)=[IR(4n-1,4m+2)+IR(4n+1,4m+2)]/2
針對位於座標(4n,4m+3)之藍光像素，其紅光成份R’(4n,4m+3)、綠光成份G’(4n,4m+3)、藍光成份B’(4n,4m+3)和紅外光成份IR’(4n,4m+3)的插補方式如下所示：R’(4n,4m+3)=[R(4n,4m+1)+R(4n,4m+5)]/2
G’(4n,4m+3)=[G(4n-1,4m+3)+G(4n,4m+2)+G(4n,4m+4)+G(4n+1,4m+3)]/4
B’(4n,4m+3)=B(4n,4m+3)
IR’(4n,4m+3)=[IR(4n-1,4m+2)+IR(4n-1,4m+4)+IR(4n+1,4m+2)+IR(4n+1,4m+4)]/4
針對位於座標(4n+1,4m)之紅外光像素，其紅光成份R’(4n+1,4m)、綠光成份G’(4n+1,4m)、藍光成份B’(4n+1,4m)和紅外光成份IR’(4n+1,4m)的插補方式如下所示：R’(4n+1,4m)=[R(4n,4m+1)+R(4n+2,4m-1)]/2
G’(4n+1,4m)=[G(4n,4m)+G(4n+1,4m-1)+G(4n+1,4m+1)+ G(4n+2,4m]/4
B’(4n+1,4m)=[B(4n,4m-1)+B(4n+2,4m+1)]/2
IR’(4n+1,4m)=IR(4n+1,4m)
針對位於座標(4n+1,4m+1)之綠光像素，其紅光成份R’(4n+1,4m+1)、綠光成份G’(4n+1,4m+1)、藍光成份B’(4n+1,4m+1)和紅外光成份IR’(4n+1,4m+1)的插補方式如下所示：R’(4n+1,4m+1)=R(4n,4m+1)
G’(4n+1,4m+1)=G(4n+1,4m+1)
B’(4n+1,4m+1)=B(4n+2,4m+1)
IR’(4n+1,4m+1)=[IR(4n+1,4m)+IR(4n+1,4m+2)]/2
針對位於座標(4n+1,4m+2)之紅外光像素，其紅光成份R’(4n+1,4m+2)、綠光成份G’(4n+1,4m+2)、藍光成份B’(4n+1,4m+2)和紅外光成份IR’(4n+1,4m+2)的插補方式如下所示：R’(4n+1,4m+2)=[R(4n,4m+1)+R(4n+2,4m+3)]/2
G’(4n+1,4m+2)=[G(4n,4m+2)+G(4n+1,4m+1)+G(4n+1,4m+3)+G(4n+2,4m+2]/4
B’(4n+1,4m+2)=[B(4n,4m+3)+B(4n+2,4m+1)]/2
IR’(4n+1,4m+2)=IR(4n+1,4m+2)
針對位於座標(4n+1,4m+3)之綠光像素，其紅光成份R’(4n+1,4m+3)、綠光成份G’(4n+1,4m+3)、藍光成份B’(4n+1,4m+3)和紅外光成份IR’(4n+1,4m+3)的插補方式如下所示： R’(4n+1,4m+3)=R(4n+2,4m+3)
G’(4n+1,4m+3)=G(4n+1,4m+3)
B’(4n+1,4m+3)=B(4n,4m+3)
IR’(4n+1,4m+3)=[IR(4n+1,4m+2)+IR(4n+1,4m+4)]/2
座標(4n+2,4m)之綠光像素，其紅光成份R’(4n+2,4m)、綠光成份G’(4n+2,4m)、藍光成份B’(4n+2,4m)和紅外光成份IR’(4n+2,4m)的插補方式如下所示：R’(4n+2,4m)=R(4n+2,4m-1)
G’(4n+2,4m)=G(4n+2,4m)
B’(4n+2,4m)=B(4n+2,4m+1)
IR’(4n+2,4m)=[IR(4n+1,4m)+IR(4n+3,4m)]/2
針對位於座標(4n+2,4m+1)之藍光像素，其紅光成份R’4n+2,4m+1)、綠光成份G’(4n+2,4m+1)、藍光成份B’(4n+2,4m+1)和紅外光成份IR’(4n+2,4m+1)的插補方式如下所示：R’(4n+2,4m+1)=[R(4n+2,4m-1)+R(4n+2,4m+3)]/2
G’(4n+2,4m+1)=[G(4n+1,4m+1)+G(4n+2,4m)+G(4n+2,4m+2)+G(4n+3,4m+1)]/4
B’(4n+2,4m+1)=B(4n+2,4m+1)
IR’(4n+2,4m+1)=[IR(4n+1,4m)+IR(4n+1,4m+2)+IR(4n+3,4m)+IR(4n+3,4m+2)]/4
針對位於座標(4n+2,4m+2)之綠光像素，其紅光成份 R’(4n+2,4m+2)、綠光成份G’(4n+2,4m+2)、藍光成份B’(4n+2,4m+2)和紅外光成份IR’(4n+2,4m+2)的插補方式如下所示：R’(4n+2,4m+2)=R(4n+2,4m+3)
G’(4n+2,4m+2)=G(4n+2,4m+2)
B’(4n+2,4m+2)=B(4n+2,4m+1)
IR’(4n+2,4m+2)=[IR(4n+1,4m+2)+IR(4n+3,4m+2)]/2
針對位於座標(4n+2,4m+3)之紅光像素，其紅光成份R’(4n+2,4m+3)、綠光成份G’(4n+2,4m+3)、藍光成份B’(4n+2,4m+3)和紅外光成份IR’(4n+2,4m+3)的插補方式如下所示：R’(4n+2,4m+3)=R(4n+2,4m+3)
G’(4n+2,4m+3)=[G(4n+1,4m+3)+G(4n+2,4m+2)+G(4n+2,4m+4)+G(4n+3,4m+3)]/4
B’(4n+2,4m+3)=[B(4n+2,4m+1)+B(4n+2,4m+5)]/2
IR’(4n+2,4m+3)=[IR(4n+1,4m+2)+IR(4n+1,4m+4)+IR(4n+3,4m+2)+IR(4n+3,4m+4)]/4
針對位於座標(4n+3,4m)之紅外光像素，其紅光成份R’(4n+3,4m)、綠光成份G’(4n+3,4m)、藍光成份B’(4n+3,4m)和紅外光成份IR’(4n+3,4m)的插補方式如下所示：R’(4n+3,4m)=[R(4n+2,4m-1)+R(4n+4,4m+1)]/2
G’(4n+3,4m)=[G(4n+2,4m)+G(4n+3,4m-1)+G(4n+3,4m+1)+G(4n+4,4m]/4
B’(4n+3,4m)=[B(4n+2,4m+1)+B(4n+4,4m-1)]/2
IR’(4n+3,4m)=IR(4n+3,4m)
針對位於座標(4n+3,4m+1)之綠光像素，其紅光成份R’(4n+3,4m+1)、綠光成份G’(4n+3,4m+1)、藍光成份B’(4n+3,4m+1)和紅外光成份IR’(4n+3,4m+1)的插補方式如下所示：R’(4n+3,4m+1)=R(4n+4,4m+1)
G’(4n+3,4m+1)=G(4n+3,4m+1)
B’(4n+3,4m+1)=B(4n+2,4m+1)
IR’(4n+3,4m+1)=[IR(4n+3,4m)+IR(4n+3,4m+2)]/2
針對位於座標(4n+3,4m+2)之紅外光像素，其紅光成份R’(4n+3,4m+2)、綠光成份G’(4n+3,4m+2)、藍光成份B’(4n+3,4m+2)和紅外光成份IR’(4n+3,4m+2)的插補方式如下所示：R’(4n+3,4m+2)=[R(4n+2,4m+3)+R(4n+4,4m+1)]/2
G’(4n+3,4m+2)=[G(4n+2,4m+2)+G(4n+3,4m+1)+G(4n+3,4m+3)+G(4n+4,4m+2]/4
B’(4n+3,4m+2)=[B(4n+2,4m+1)+B(4n+4,4m+3)]/2
IR’(4n+3,4m+2)=R(4n+3,4m+2)
針對位於座標(4n+3,4m+3)之綠光像素，其紅光成份R’(4n+3,4m+3)、綠光成份G’(4n+3,4m+3)、藍光成份B’(4n+3,4m+3)和紅外光成份IR’(4n+3,4m+3)的插補方式如下所示：R’(4n+3,4m+3)=R(4n+2,4m+3)
G’(4n+3,4m+3)=G(4n+3,4m+3)
B’(4n+3,4m+3)=B(4n+4,4m+3)
IR’(4n+3,4m+3)=[IR(4n+3,4m+2)+IR(4n+3,4m+4)]/2
在對所有像素進行完插補後，內插單元20可輸出一影像資料DI，其包含相關每一像素之亮度資訊的全彩亮度資訊。
在本發明另一實施例中，光學辨識系統100和200中的緩衝單元30可包含超過兩組線緩衝器。因此，每一像素中缺少的成份皆可由內插單元20依據其周圍相鄰像素之亮度資訊來進行插補。
在光學辨識系統100和200中，校正單元40可依據一可組態RGB-IR校正矩陣來對內插單元20所輸出影像資料DI中每一像素通道進行校正，進而輸出RGB影像和IR影像。RGB-IR校正矩陣如下所示，其中R、G、B和IR分別代表校正前影像資料D1中紅光像素值、藍光像素值、綠光像素值和紅外光像素值，RT、GT、BT和IRT分別代表校正後RGB影像和IR影像之紅光像素值、藍光像素值、綠光像素值和紅外光像素值，而C11~C44代表校正係數。校正係數C11~C44可依照不同光亮度拍攝對色卡來求出，進而產生在不同光照下校正後之RGB影像和IR影像。然而，可組態RGB-IR校正矩陣之實施方式並不限定本發明之範疇。
Figure 109109643-A0305-02-0014-1
在光學辨識系統100中，影像訊號處理器70可接收校正單元40輸出之RGB影像和IR影像，並分析RGB影像和IR影像的亮度以提供一亮度參數Y。輸出決策單元50可依據亮度參數Y來輸出RGB影像和IR影像其中之一至電腦視覺處理單元60。
在光學辨識系統200中，輸出決策單元50可直接接收校正單元40輸出之RGB影像和IR影像，並分析RGB影像和IR影像的亮度以輸出其中之一至電腦視覺處理單元60。
綜上所述，本發明之光學辨識系統適用於電腦視覺處理，在4x4 kernel影像感測器的架構下最少只需使用兩組線緩衝器來插補RGB影像和IR影像，且不需使用複雜演算法即能提供電腦辨識所需的影像特徵。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10:影像擷取裝置
20:內插單元
30:緩衝單元
40:校正單元
50:輸出決策單元
60:電腦視覺處理單元
200:光學辨識系統
DI:影像資料
Y:亮度參數

Claims (11)

  1. 一種適用於電腦視覺處理之光學辨識系統，其包含：一影像擷取裝置，其包含一第一4x4矩陣(kernel)影像感測器，該第一4x4矩陣影像感測器包含第一和第二紅光像素、第一至第八綠光像素、第一和第二藍光像素和第一至第四紅外光像素，該第一4x4 kernel影像感測器中之像素組成相鄰之第一至第四掃描線，其中：該第一掃描線依序包含該第一綠光像素、該第一紅光像素、該第二綠光像素，以及該第一藍光像素；該第二掃描線依序包含該第一紅外光像素、該第三綠光像素、該第二紅外光像素，以及該第四綠光像素；該第三掃描線依序包含該第五綠光像素、該第二藍光像素、該第六綠光像素，以及該第二紅光像素；且該第四掃描線依序包含該第三紅外光像素、該第七綠光像素、該第四紅外光像素，以及該第八綠光像素；一緩衝單元，其包含兩組線緩衝器(line buffer)，用來儲存該第一至第四掃描線中至少兩條掃描線之亮度資訊；以及一內插單元，用來：依據該緩衝單元所儲存之亮度資訊來插補每一像素中缺少的成份，進而輸出一影像資料，其中該影像資料包含相關每一像素之亮度資訊的全彩亮度資訊；依據該第一紅光像素之亮度資訊來提供該第三綠光像素所在座標之紅光成份；依據該第三綠光像素之亮度資訊來提供該第三綠光像素所在 座標之綠光成份；依據該第二藍光像素之亮度資訊來提供該第三綠光像素所在座標之藍光成份；以及依據該第一紅外光像素和該第二紅外光像素之亮度資訊來進行插補以提供該第三綠光像素所在座標之紅外光成份。
  2. 一種適用於電腦視覺處理之光學辨識系統，其包含：一影像擷取裝置，其包含一第一4x4矩陣影像感測器，該第一4x4矩陣影像感測器包含第一和第二紅光像素、第一至第八綠光像素、第一和第二藍光像素和第一至第四紅外光像素，該第一4x4 kernel影像感測器中之像素組成相鄰之第一至第四掃描線；一緩衝單元，其包含兩組線緩衝器，用來儲存該第一至第四掃描線中至少兩條掃描線之亮度資訊；以及一內插單元，用來：依據該緩衝單元所儲存之亮度資訊來插補每一像素中缺少的成份，進而輸出一影像資料，其中該影像資料包含相關每一像素之亮度資訊的全彩亮度資訊；依據該第一紅光像素和該第二紅光像素之亮度資訊來進行插補以提供該第二紅外光像素所在座標之紅光成份；依據該第二綠光像素、該第三綠光像素、該第四綠光像素和該第六綠光像素之亮度資訊來進行插補以提供該第二紅外光像素所在座標之綠光成份；依據該第一藍光像素和該第二藍光像素之亮度資訊來進行插補以提供該第二紅外光像素所在座標之藍光成份；以及 依據該第二紅外光像素之亮度資訊來提供該第二紅外光像素所在座標之紅外光成份。
  3. 一種適用於電腦視覺處理之光學辨識系統，其包含：一影像擷取裝置，其包含一第一4x4矩陣影像感測器和一第二4x4 kernel影像感測器，該第一4x4矩陣影像感測器包含第一和第二紅光像素、第一至第八綠光像素、第一和第二藍光像素和第一至第四紅外光像素，該第一4x4 kernel影像感測器中之像素組成相鄰之第一至第四掃描線，該第二4x4 kernel影像感測器包含第三和第四紅光像素、第九至第十六綠光像素、第三和第四藍光像素和第五至第八個紅外光像素，該第一4x4 kernel影像感測器和該第二4x4 kernel影像感測器中之像素組成相鄰之該第一至該第四掃描線，其中：該第一掃描線依序包含該第一綠光像素、該第一紅光像素、該第二綠光像素、該第一藍光像素、該第九綠光像素、該第三紅光像素、該第十綠光像素，以及該第三藍光像素；該第二掃描線依序包含該第一紅外光像素、該第三綠光像素、該第二紅外光像素、該第四綠光像素、該第五紅外光像素、該第十一綠光像素、該第六紅外光像素，以及該第十二綠光像素；該第三掃描線依序包含該第五綠光像素、該第二藍光像素、該第六綠光像素、該第二紅光像素、該第十三綠光像素、該第四藍光像素、該第十四綠光像素，以及該第四紅光像素；且 該第四掃描線依序包含該第三紅外光像素、該第七綠光像素、該第四紅外光像素、該第八綠光像素、第七紅外光像素、該第十五綠光像素、該第八紅外光像素，以及該第十六綠光像素；一緩衝單元，用來儲存該第一至第四掃描線中至少兩條掃描線之亮度資訊；以及一內插單元，用來：依據該緩衝單元所儲存之亮度資訊來插補每一像素中缺少的成份，進而輸出一影像資料，其中該影像資料包含相關每一像素之亮度資訊的全彩亮度資訊；依據該第二紅光像素之亮度資訊來提供該第二紅光像素所在座標之紅光成份；依據該第四綠光像素、該第六綠光像素、該第八綠光像素和該第十三綠光像素之亮度資訊來進行插補以提供該第二紅光像素所在座標之綠光成份；依據該第二藍光像素和該第四藍光像素之亮度資訊來進行插補以提供該第二紅光像素所在座標之藍光成份；以及依據該第二紅外光像素、該第四紅外光像素、該第五紅外光像素和該第七紅外光像素之亮度資訊來進行插補以提供該第二紅光像素所在座標之紅外光成份。
  4. 一種適用於電腦視覺處理之光學辨識系統，其包含：一影像擷取裝置，其包含一第一4x4 kernel影像感測器和一第二4x4 kernel影像感測器，該第一4x4矩陣影像感測器包含第一和第二 紅光像素、第一至第八綠光像素、第一和第二藍光像素和第一至第四紅外光像素，該第一4x4 kernel影像感測器中之像素組成相鄰之第一至第四掃描線，該第二4x4 kernel影像感測器包含第三和第四紅光像素、第九至第十六綠光像素、第三和第四藍光像素和第五至第八個紅外光像素，該第一4x4 kernel影像感測器和該第二4x4 kernel影像感測器中之像素組成相鄰之該第一至該第四掃描線，其中：該第一掃描線依序包含該第九綠光像素、該第三紅光像素、該第十綠光像素、該第三藍光像素、該第一綠光像素、該第一紅光像素、該第二綠光像素，以及該第一藍光像素；該第二掃描線依序包含該第五紅外光像素、該第十一綠光像素、該第六紅外光像素、該第十二綠光像素、該第一紅外光像素、該第三綠光像素、該第二紅外光像素，以及該第四綠光像素；該第三掃描線依序包含該第十三綠光像素、該第四藍光像素、該第十四綠光像素、該第四紅光像素、該第五綠光像素、該第二藍光像素、該第六綠光像素，以及該第二紅光像素；且該第四掃描線依序包含該第七紅外光像素、該第十五綠光像素、該第八紅外光像素、該第十六綠光像素、該第三紅外光像素、該第七綠光像素、該第四紅外光像素，以及該第八綠光像素；一緩衝單元，用來儲存該第一至第四掃描線中至少兩條掃描線之亮度資訊；以及 一內插單元，用來：依據該緩衝單元所儲存之亮度資訊來插補每一像素中缺少的成份，進而輸出一影像資料，其中該影像資料包含相關每一像素之亮度資訊的全彩亮度資訊；依據該第二紅光像素和該第四紅光像素之亮度資訊來進行插補以提供該第二藍光像素所在座標之紅光成份；依據該第三綠光像素、該第五綠光像素、該第六綠光像素和該第七綠光像素之亮度資訊來進行插補以提供該第二藍光像素所在座標之綠光成份；依據該第二藍光像素之亮度資訊來提供該第二藍光像素所在座標之藍光成份；以及依據該第一紅外光像素、該第二紅外光像素、該第三紅外光像素和該第四紅外光像素之亮度資訊來進行插補以提供該第二藍光像素所在座標之紅外光成份。
  5. 如請求項1至4中任一項所述之光學辨識系統，其另包含一校正單元，用來依據一可組態RGB-IR校正矩陣來對該內插單元所輸出之該影像資料中每一像素通道進行校正，進而輸出一RGB影像和一IR影像。
  6. 如請求項5所述之光學辨識系統，其中該可組態RGB-IR校正矩陣包含複數個校正係數，其透過以不同光亮度拍攝一對色卡來求出。
  7. 如請求項5所述之光學辨識系統，其另包含：一影像訊號處理器，用來接收該校正單元輸出之該RGB影像和該IR影像，並分析該RGB影像和該IR影像的亮度以提供一亮度參數；以及一輸出決策單元，用來依據該亮度參數來輸出該RGB影像和該IR影像其中之一至一電腦視覺處理單元。
  8. 如請求項5所述之光學辨識系統，其另包含：一輸出決策單元，用來接收該校正單元輸出之該RGB影像和該IR影像，並分析該RGB影像和該IR影像的亮度以輸出該RGB影像和該IR影像其中之一至一電腦視覺處理單元。
  9. 一種適用於電腦視覺處理之光學辨識系統，其包含：一影像擷取裝置，其包含一第一4x4矩陣影像感測器，該第一4x4矩陣影像感測器包含第一和第二紅光像素、第一至第八綠光像素、第一和第二藍光像素和第一至第四紅外光像素，該第一4x4 kernel影像感測器中之像素組成相鄰之第一至第四掃描線；一緩衝單元，用來儲存該第一至第四掃描線中至少兩條掃描線之亮度資訊；一內插單元，用來依據該緩衝單元所儲存之亮度資訊來插補每一像素中缺少的成份，進而輸出一影像資料，其中該影像資料包含相關每一像素之亮度資訊的全彩亮度資訊；以及一校正單元，用來依據一可組態RGB-IR校正矩陣來對該內插單元所輸出之該影像資料中每一像素通道進行校正，進而輸出一 RGB影像和一IR影像，其中該可組態RGB-IR校正矩陣包含複數個校正係數，其透過以不同光亮度拍攝一對色卡來求出。
  10. 一種適用於電腦視覺處理之光學辨識系統，其包含：一影像擷取裝置，其包含一第一4x4矩陣影像感測器，該第一4x4矩陣影像感測器包含第一和第二紅光像素、第一至第八綠光像素、第一和第二藍光像素和第一至第四紅外光像素，該第一4x4 kernel影像感測器中之像素組成相鄰之第一至第四掃描線；一緩衝單元，用來儲存該第一至第四掃描線中至少兩條掃描線之亮度資訊；一內插單元，用來依據該緩衝單元所儲存之亮度資訊來插補每一像素中缺少的成份，進而輸出一影像資料，其中該影像資料包含相關每一像素之亮度資訊的全彩亮度資訊；一校正單元，用來依據一可組態RGB-IR校正矩陣來對該內插單元所輸出之該影像資料中每一像素通道進行校正，進而輸出一RGB影像和一IR影像；一影像訊號處理器，用來接收該校正單元輸出之該RGB影像和該IR影像，並分析該RGB影像和該IR影像的亮度以提供一亮度參數；以及一輸出決策單元，用來依據該亮度參數來輸出該RGB影像和該IR影像其中之一至一電腦視覺處理單元。
  11. 一種適用於電腦視覺處理之光學辨識系統，其包含：一影像擷取裝置，其包含一第一4x4矩陣影像感測器，該第一4x4 矩陣影像感測器包含第一和第二紅光像素、第一至第八綠光像素、第一和第二藍光像素和第一至第四紅外光像素，該第一4x4 kernel影像感測器中之像素組成相鄰之第一至第四掃描線；一緩衝單元，用來儲存該第一至第四掃描線中至少兩條掃描線之亮度資訊；一內插單元，用來依據該緩衝單元所儲存之亮度資訊來插補每一像素中缺少的成份，進而輸出一影像資料，其中該影像資料包含相關每一像素之亮度資訊的全彩亮度資訊；一校正單元，用來依據一可組態RGB-IR校正矩陣來對該內插單元所輸出之該影像資料中每一像素通道進行校正，進而輸出一RGB影像和一IR影像；以及一輸出決策單元，用來接收該校正單元輸出之該RGB影像和該IR影像，並分析該RGB影像和該IR影像的亮度以輸出該RGB影像和該IR影像其中之一至一電腦視覺處理單元。
TW109109643A 2020-03-23 2020-03-23 適用於電腦視覺處理之光學辨識系統 TWI768310B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109109643A TWI768310B (zh) 2020-03-23 2020-03-23 適用於電腦視覺處理之光學辨識系統
CN202010320794.5A CN113438430A (zh) 2020-03-23 2020-04-22 适用于计算机视觉处理的光学识别系统
US16/876,090 US20210297608A1 (en) 2020-03-23 2020-05-17 Optical recognition system for use in computer visual processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109109643A TWI768310B (zh) 2020-03-23 2020-03-23 適用於電腦視覺處理之光學辨識系統

Publications (2)

Publication Number Publication Date
TW202137751A TW202137751A (zh) 2021-10-01
TWI768310B true TWI768310B (zh) 2022-06-21

Family

ID=77748865

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109109643A TWI768310B (zh) 2020-03-23 2020-03-23 適用於電腦視覺處理之光學辨識系統

Country Status (3)

Country Link
US (1) US20210297608A1 (zh)
CN (1) CN113438430A (zh)
TW (1) TWI768310B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201637433A (zh) * 2015-04-10 2016-10-16 采鈺科技股份有限公司 影像感測器
CN107534738A (zh) * 2015-05-01 2018-01-02 迪尤莱特公司 用于生成数字图像的系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201637433A (zh) * 2015-04-10 2016-10-16 采鈺科技股份有限公司 影像感測器
CN107534738A (zh) * 2015-05-01 2018-01-02 迪尤莱特公司 用于生成数字图像的系统和方法

Also Published As

Publication number Publication date
TW202137751A (zh) 2021-10-01
CN113438430A (zh) 2021-09-24
US20210297608A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
US8723995B2 (en) Extended dynamic range in color imagers
US8792028B2 (en) Image sensor apparatus and method for line buffer efficient lens distortion correction
US8494260B2 (en) Image processing device, image processing method, program, and imaging device
US20060146153A1 (en) Method and apparatus for processing Bayer image data
US10521891B2 (en) Image processing apparatus, system, image processing method, and non-transitory recording medium
KR20100111614A (ko) 화상처리장치, 화상처리방법 및 기록매체
CN101335900A (zh) 图像处理装置、图像处理方法、程序和摄像装置
JP2010183357A (ja) 固体撮像素子、カメラシステムおよび固体撮像素子の駆動方法
JP2000023174A (ja) 画像処理装置及び画像処理方法
JP3942569B2 (ja) 撮像装置および画像データの変換方法
US9143756B2 (en) Camera module, photographing method, and electronic apparatus
US8934713B2 (en) Image processing device, image processing method, program, and imaging device
US7355156B2 (en) Solid-state image pickup device, image pickup unit and image processing method
US8471936B2 (en) Imaging device and signal processing method
JP2009157733A (ja) 画像歪み補正方法、画像歪み補正装置及び画像形成装置
TWI768310B (zh) 適用於電腦視覺處理之光學辨識系統
KR20010020678A (ko) 프로그램가능한 실시간 화상 처리
CN110692240A (zh) 立体拍摄装置
US20110170776A1 (en) Image distortion correcting method and image processing apparatus
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2004201311A (ja) オフセットセンサアレイを変形する方法
JP3767367B2 (ja) 撮像装置
JP3551670B2 (ja) 電子スチルカメラ
JP4517896B2 (ja) 撮像装置及びその画素補間方法
JP2001218099A (ja) 多板式撮像装置および画像データ処理用記録媒体