TWI840073B - 圖像處理裝置及包含該圖像處理裝置的駕駛監控系統 - Google Patents
圖像處理裝置及包含該圖像處理裝置的駕駛監控系統 Download PDFInfo
- Publication number
- TWI840073B TWI840073B TW112100277A TW112100277A TWI840073B TW I840073 B TWI840073 B TW I840073B TW 112100277 A TW112100277 A TW 112100277A TW 112100277 A TW112100277 A TW 112100277A TW I840073 B TWI840073 B TW I840073B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixel
- image
- image information
- pixels
- processing element
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 121
- 238000012544 monitoring process Methods 0.000 title claims abstract description 17
- 210000001508 eye Anatomy 0.000 claims description 56
- 230000010287 polarization Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 230000006996 mental state Effects 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000004397 blinking Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 210000000744 eyelid Anatomy 0.000 claims description 2
- 210000005252 bulbus oculi Anatomy 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- 239000011521 glass Substances 0.000 description 6
- 206010016256 fatigue Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 1
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 1
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
Abstract
本發明係關於一種圖像處理裝置及包含該圖像處理裝置的駕駛監控系統,其利用一紅外層接收一環境光源且將該環境光源的一紅外光導引至一第一通道,一全波段層接收該環境光源且將該環境光源導引至一第二通道,再由一處理元件讀取該第一通道的複數個第一圖像資訊以及該第二通道的複數個第二圖像資訊,當該處理元件根據一眼睛識別程序分析各該第一圖像資訊以及各該第二圖像資訊,當該處理元件判別出任一該第一圖像資訊或任一該第二圖像資訊中的眼睛圖像時,該處理元件根據判別出眼睛圖像的該第一圖像資訊或該第二圖像資訊進行一圖像處理程序以輸出一處理圖像。
Description
本發明涉及一種圖像處理的技術領域,尤指一種根據第一圖像資訊和第二圖像資訊識別駕駛眼睛圖像,以進行對應的圖像處理程序的一種圖像處理裝置及包含該圖像處理裝置的駕駛監控系統。
現今技術中,為了降低駕車的危險性,常需提供額外的近紅外光源照射於駕駛的臉部區域,以利用圖像判別(例如判斷眼睛圖像)的方式判斷駕駛的狀態,進而判斷是否存在著疲勞或走神等危險行為。
然而,不斷地照射近紅外光源可能會對駕駛造成傷害外,當駕駛戴著眼鏡或墨鏡而產生反光時,若僅是提供近紅外光源,亦無法有效判別眼睛圖像的狀態。
因此,現今技術上亟需一種無需提供近紅外光源即可判斷眼睛圖像的技術,以改善先前技術所存在的問題。
本發明之目的在於提供一種圖像處理裝置,其利用紅外層接收環境光源且將環境光源的紅外光導引至第一通道,全波段層接收環境光源且將環境光源導引至第二通道,再由處理元件讀取第一通道的複數個第一圖像資訊以及第二通道的複數個第二圖像資訊,當處理元件根據眼睛識別程序分析各第一圖像資訊以及各第二圖像資訊,當處理元件判別出任一第一圖像資訊或任一第二圖像資訊中的眼睛圖像時,處理元件根據判別出眼睛圖像的第一圖像資訊或第二圖像資訊進行圖像處理程序以輸出處理圖像,藉以根據不同的使用者狀態或是環境光線的狀況進行對應的圖像處理程序,進而獲取駕駛的眼睛圖像。
為達上揭之目的者,本發明提供一種圖像處理裝置,包含:一像素層,其設有複數個像素;一濾光層,其覆蓋於該像素層的一面上,該濾光層接收一環境光源且將該環境光源導引至該複數個像素上,該濾光層包含:一紅外層,其設於該像素層的一面上,使得被該紅外層覆蓋之該複數個像素形成一第一通道,該紅外層接收該環境光源且將該環境光源中的一紅外光導引至該第一通道之該複數個像素上;以及一全波段層,其設於該像素層的一面上,使得被該全波段層覆蓋之該複數個像素形成一第二通道,該全波段層接收該環境光源且將該環境光源導引至該第二通道之該複數個像素上;一處理元件,其電性連接該複數個像素,該處理元件讀取該第一通道根據該紅外光生成的複數個第一圖像資訊,以及讀取該第二通道根據該環境光源生成的複數個第二圖像資訊,該處理元件根據一眼睛識別程序分析各該第一圖像資訊以及各該第二圖像資訊,當該處理元件識別出任一該第一圖像資訊或任一該第二圖像資訊中的眼睛圖像時,該處理元件根據識別出眼睛圖像的該第一圖像資訊或該第二圖像資訊進行一圖像處理程序以輸出一處理圖像。
較佳地,所述之圖像處理裝置包含:複數個偏振元件,各該偏振元件個別設置於各該像素上,當該偏振元件接收到該紅外光或該環境光源時,該偏振元件將該紅外光轉換為一紅外偏振光或將該環境光源轉換為一偏振光,其中各該偏振元件入射角度互不相同。
較佳地,該處理元件生成與各該像素對應之一像素灰階直方圖,且依據各該像素灰階直方圖中的一標準差過濾具有一最大值之該標準差的一第一最大像素和具有一最小值之該標準差的一第一最小像素,以根據過濾後的該複數個像素生成該第一圖像資訊,或是依據各該像素灰階直方圖中的一標準差過濾具有一最大值之該標準差的一第二最大像素和具有一最小值之該標準差的一第二最小像素,以根據過濾後的該複數個像素生成該第二圖像資訊;其中該處理元件根據該第一通道中的各該像素生成複數個第一資訊,或是根據該第二通道中的各該像素生成複數個第二資訊,且根據該複數個第一資訊或是該複數個第二資訊的灰度級分布生成各該像素對應之該像素灰階直方圖。
較佳地,當該處理元件根據過濾後的該複數個像素生成該第一圖像資訊,或是過濾後的該複數個像素生成該第二圖像資訊時,其包含:該處理元件根據該第一通道過濾後的一第一甲像素的一甲像素灰階直方圖以及一第一乙像素的一乙像素灰階直方圖,計算該甲像素灰階直方圖以及該乙像素灰階直方圖的一反光值,該處理元件讀取最小之該反光值的該第一甲像素或是該第一乙像素生成的該複數個第一資訊,以生成該第一圖像資訊,其中該複數個像素中包含該第一甲像素以及該第一乙像素;或是該處理元件根據該第二通道過濾後的一第二丙像素的一丙像素灰階直方圖以及一第二丁像素的一丁像素灰階直方圖,計算該丙像素灰階直方圖以及該丁像素灰階直方圖的一反光值,該處理元件讀取最小之該反光值的該第二丙像素或是該第二丁像素生成的該複數個第二資訊,以生成該第二圖像資訊,其中該複數個像素包含該第二丙像素以及該第二丁像素。
較佳地,所述之圖像處理裝置包含:複數個偏振元件,各該偏振元件個別設置於各該像素上,當該偏振元件接收到該紅外光或該環境光源時,該偏振元件將該紅外光轉換為一紅外偏振光或將該環境光源轉換為一偏振光,其中該複數個偏振元件包含至少一第一偏振元件以及至少一第二偏振元件,其中該第一偏振元件具有與該二偏振元件不同的波段。
較佳地,該處理元件融合該第一通道中設有該第一偏振元件的該像素生成的複數個第一資訊以及設有該第二偏振元件的該像素生成的複數個第一資訊,以生成該第一圖像資訊,或是該處理元件融合該第二通道中設有該第一偏振元件的該像素生成的複數個第二資訊以及設有該第二偏振元件的該像素生成的複數個第二資訊,以生成該第二圖像資訊。
較佳地,該處理元件執行該眼睛識別程序時,該處理元件是根據一邊緣檢測分析各該第一圖像資訊以及各該第二圖像資訊中的眼睛位置,且根據一眼睛分類器判斷是否識別出任一該第一圖像資訊或任一該第二圖像資訊中的眼睛圖像。
較佳地,該處理元件包含一計時器,其與該處理元件連接,該計時器執行一計時程序,當該處理元件根據該計時器的時間判斷當下時間為一夜間時間時,該處理元件執行一長曝光程序處理該複數個第二圖像資訊,以根據該眼睛識別程序分析各該第二圖像資訊。
較佳地,所述之圖像處理裝置包含:一微透鏡,其設於該濾光層的一面上,以接收該環境光源且將該環境光源導引至該濾光層上。
本發明之另一目的在於提供一種駕駛監控系統,其主要是利用如上述之圖像處理裝置輸出一處理圖像,再利用駕駛監控模組判斷其處理圖像,進而判斷駕駛在駕駛時的精神狀態,以避免駕駛存在著疲倦、走神或是酒醉等不當駕駛的精神狀態。
為達上揭之另一目的者,本發明提供一種包含該圖像處理裝置的駕駛監控系統,包含:一如上所述之圖像處理裝置;以及一駕駛監控模組,其與該圖像處理裝置連接以接收該處理圖像,該駕駛監控模組根據該處理圖像執行一駕駛監控程序,以根據該駕駛監控程序判斷一駕駛的精神狀態。
為使本發明之上述目的、特徵和優點能更明顯易懂,下文茲配合各圖式所列舉之具體實施例詳加說明。
本發明之優點、特徵以及達到之技術方法將參照例示性實施例及所附圖式進行更詳細地描述而更容易理解,且本發明可以不同形式來實現,故不應被理解為其本發明僅限於此處所陳述的實施例,相反地,對所屬技術領域具有通常知識者而言,所提供的實施例將使本揭露更加透徹與全面且完整地傳達本發明的範疇,且本發明將僅為所附加的申請專利範圍所為定義。
另外,術語「包含」及/或「包含」指所述特徵、區域、整體、步驟、操作、元件及/或部件的存在,但不排除一個或多個其他特徵、區域、整體、步驟、操作、元件、部件及/或其組合的存在或添加。
為使 貴審查委員方便瞭解本發明之內容,以及所能達成之功效,茲配合圖式列舉之各項具體實施例以詳細說明如下:
請參閱圖1至圖4,其分別為本發明之圖像處理裝置的結構示意圖、圖像處理裝置的方塊圖、第一通道和第二通道的配置示意圖以及第一圖像資訊和第二圖像資訊的圖像判斷示意圖。如圖所示,由於駕車肇事的原因大多是因駕駛的精神狀態不佳(例如疲倦、走神或是酒醉)所導致,故為避免駕駛疲勞駕駛,先前技術中通常會利用近紅外光源的照射於駕駛臉部區域後,再由攝像裝置採集人臉圖像,以根據其人臉圖像進行相關之疲勞判斷。然而,不斷地照射近紅外光源,可能會被駕駛眼睛內的虹膜和晶體吸收,或是晶狀體可溶性蛋白交聯凝聚使晶狀體老化或變得不透明,進而導致白內障,且當駕駛戴著眼鏡或墨鏡而產生反光時,若僅是提供近紅外光源,亦無法有效判別眼睛區域的狀態。
有鑑於此,為了達成無須額外提供近紅外光源的照射亦可有效地獲取駕駛眼睛位置的眼睛圖像,在此實施例中,本發明之圖像處理裝置100主要是由一像素層10、一濾光層20及一處理元件30所構成。其中該像素層10可為三晶體管像素結構或是四晶體管型像素結構等用於互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor, CMOS)圖像感測器的相關像素結構,該濾光層20可為用於衰減(吸收)光波中的某些光波段以精確選擇小範圍波段光波通過,且反射(或吸收)其他不希望通過的光波段的相關光學結構,而該處理元件30可為微處理器或是其他可進行資料處理運算的元件。
該像素層10設有複數個像素11以接收外部環境光源,進而利用光電轉換元件進行相關資訊轉換作業,該濾光層20覆蓋於該像素層10的一面上,在採集駕駛的臉部圖像時,可利用一攝像裝置或其可採集外部環境光源(例如外部環境中存在的環境光源,無需再額外提供其他光源)進行成像程序的相關裝置以駕駛臉部區域為對象進行環境光源的採集,以使得該濾光層20從外部(例如從該攝像裝置中的一微透鏡60,其可被設於該濾光層20的一面上,以接收該環境光源23且將該環境光源23導引至該濾光層20上)接收一環境光源23時,該濾光層20則可衰減(吸收)該環境光源23中的某些光波段,再將該環境光源23導引至該複數個像素11上,如此,該濾光層20可包含有一紅外層21和一全波段層22,或是該濾光層20可為一紅外層21和一全波段層22的組合,在此並不限定該濾光層20的形成方式,其中,該紅外層21可為導引該環境光源中的波長為780nm(毫米)至1100nm的一紅外光231(即外部環境中存在的紅外光,無需再額外提供近紅外光源)至一像素層10上的濾光結構,而該全波段層22可為導引全波長(或是200nm 至1300nm的波長範圍)之該環境光源的濾光結構,由該紅外層21覆蓋的該複數個像素11可形成一第一通道24,以當該紅外層21接收到該環境光源23時,即可將該環境光源23中的該紅外光231導引至該第一通道24之該複數個像素11上,而該全波段層22覆蓋的該複數個像素11則可形成一第二通道25,以當該全波段層22接收到該環境光源23時,可將全波段之該環境光源23導引至該第二通道25之該複數個像素11上,如圖3所示。
該處理元件30則可電性連接該複數個像素11,以當該複數個像素11藉由光電轉換後,該處理元件30即可讀取該第一通道24根據該紅外光231生成的該複數個第一圖像資訊32以及讀取該第二通道25根據該環境光源23生成的該複數個第二圖像資訊33(在此之該複數個第一圖像資訊32和該複數個第二圖像資訊33可例如為兩幀的第一圖像資訊和第二圖像資訊),再根據一眼睛識別程序分析各該第一圖像資訊32以及各該第二圖像資訊33(例如分析每一幀的該第一圖像資訊32和該第二圖像資訊33),當該處理元件30識別出任一該第一圖像資訊32或任一該第二圖像資訊33中的眼睛圖像31時,該處理元件30根據識別出眼睛圖像31的該第一圖像資訊32或該第二圖像資訊33進行一圖像處理程序以輸出一處理圖像34,如圖4所示。
然而,當該處理元件30執行該眼睛識別程序時,該處理元件30可根據一邊緣檢測分析各該第一圖像資訊32以及各該第二圖像資訊33中的眼睛位置,且根據一眼睛分類器判斷是否識別出任一該第一圖像資訊32或任一該第二圖像資訊33中的眼睛圖像31。舉例來說,當該處理元件30執行該邊緣檢測時,可根據輪廓檢測演算法忽略背景和眼睛內部紋理以及雜訊干擾的影響,對邊緣進行細化並進行連接,再由連接出的輪廓根據該眼睛分類器中紀錄的眼睛外部輪廓資訊進行判讀,以確認是否可從任一該第一圖像資訊32或任一該第二圖像資訊33中識別出與眼睛外部輪廓資訊相符合的眼睛圖像31。
此外,因該第一圖像資訊32係代表駕駛是處於日間戴墨鏡、日間戴眼鏡或是裸眼的狀態,而該第二圖像資訊33則代表駕駛處於日間戴眼鏡、夜間戴眼鏡或裸眼的狀態,故當駕駛在夜間時間駕駛時,因夜間的環境光源較少,可能有無法完整成像的問題存在,該處理元件30可包含一計時器35,該計時器35可執行一計時程序來計算當下時間,如此,當該處理元件30判斷當下時間為一夜間時間(例如18點至5點的時間區間,其時間區間可根據不同日期或季節進行調整)時,該處理元件30則執行一長曝光程序處理該複數個第二圖像資訊33以讀出該複數個第二圖像資訊33中的圖像資訊,再根據該眼睛識別程序分析各該第二圖像資訊33,進以判斷是否可是別出與眼睛外部輪廓資訊相符合的眼睛圖像31。藉此,縱使駕駛是在夜間時間行駛時,亦可透過如上的處理方式正常成像並識別出眼睛圖像31。
藉此,本發明之圖像處理裝置即可根據兩種不同波段的光源獲取第一圖像資訊32和第二圖像資訊33,以透過眼睛識別程序分析且識別出駕駛的眼睛圖像31,藉以達成根據不同的使用者狀態(戴眼鏡、墨鏡或是裸眼)或是環境光線(日間或夜間)的狀況進行對應的圖像處理程序,進而獲取駕駛的眼睛圖像。
請再參閱圖5至圖8,其分別為本發明之不同入射角度的偏振片設置示意圖、像素灰階直方圖的示意圖、一實施例的反光值比對的像素灰階直方圖的示意圖以及另一實施例的反光值比對的像素灰階直方圖的示意圖。如圖所示,為了避免因反光而產生的誤判或是根據反光圖像處理後而無法有效識別眼睛圖像的情形發生,本發明之圖像處理裝置100可包含複數個偏振元件40,個別設置於各該像素11上,當該偏振元件40接收到該紅外光231或該環境光源23時,該偏振元件40將該紅外光231轉換為一紅外偏振光或將該環境光源23轉換為一偏振光,且由於各該偏振元件40的入射角度θ互不相同,故當各該像素11接收到外部環境光源時,各該像素11即可接收到不同方向的偏振光,以由該處理元件30利用灰階直方圖分析不同入射角度θ(例如0°、45°、90°、130°)的該偏振元件40導引的偏振光,進而選擇反光值最小的像素11進行後續之圖像處理,藉以避免因反光問題影響圖像的相關判斷結果。
舉例來說,當該第一通道24上的該複數個像素11(在此以四個像素11為例)上分別設置具有不同入射角度θ的偏振元件40時(即四個像素11上的偏振元件40的入射角度θ互不相同),各該像素11則會接收到不同方向的偏振光。據此,由於各該像素11接收到不同方向的偏振光,故其根據灰階直方圖生成的亮度值及其對應的像素數量皆不相同,如此,該處理元件30可根據該第一通道24的該複數個像素11中的各該像素11生成之複數個第一資訊的灰度級分布生成各該像素11對應之一像素灰階直方圖50,而在此實施例中,生成之該像素灰階直方圖50可為四個該像素灰階直方圖50,如圖6所示。該處理元件30依據各該像素灰階直方圖50中的一標準差(灰階標準差)過濾該複數個像素11中具有一最大值之該標準差的一第一最大像素和該複數個像素11中具有一最小值之該標準差的一第一最小像素(為便於說明各該像素11之差異,故將具有該最大值之該標準差的像素定義為該第一最大像素,具有該最小值之該標準差的像素定義為該第一最小像素),該處理元件30根據該第一通道24中過濾後的該複數個像素11生成的該複數個第一資訊生成該第一通道24的該第一圖像資訊32(當三個該像素經由如上過程過濾最大像素和最小像素時,該處理元件30可根據剩下之一該像素11生成該第一圖像資訊32,又或是四個該像素經由如上過程過濾最大像素和最小像素時,該處理元件30可根據剩下之二該像素11生成該複數個第一圖像資訊32);或是當該處理元件30根據該第二通道25的複數個像素11中的各該像素11生成的複數個第二資訊的灰度級分布生成各該像素11對應之一像素灰階直方圖50時,該處理元件30依據各該像素灰階直方圖50中的一標準差過濾該複數個像素11中具有一最大值之該標準差的一第二最大像素和該複數個像素11中具有一最小值之該標準差的一第二最小像素(為便於說明各該像素11之差異,故將具有該最大值之該標準差的像素定義為該第二最大像素,具有該最小值之該標準差的像素定義為該第二最小像素),該處理元件30根據該第二通道25中過濾後的該複數個像素11生成的該複數個第二資訊生成該第二通道25的該複數個第二圖像資訊33(該複數個第二圖像資訊33之生成方式與該複數個第一圖像資訊32的生成方式相似,故當該複數個像素11為三個該像素11時,可經由如上過程過濾最大像素和最小像素,以根據剩下之一該像素11生成該第二圖像資訊33,又或是為四個該像素11經由如上過程過濾最大像素和最小像素時,該處理元件30可根據剩下之二該像素11生成該第二圖像資訊33)。
當該處理元件30根據該第一通道24中過濾後的該複數個像素11生成的該複數個第一資訊生成該第一通道24的該複數個第一圖像資訊32,或是當該處理元件30根據該第二通道25中過濾後的該複數個像素11生成的該複數個第二資訊生成該第二通道25的該複數個第二圖像資訊33時,若該處理元件30可根據剩下之二該像素11生成該複數個第一圖像資訊32或是該複數個第二圖像資訊33,該處理元件30則可根據該第一通道24過濾後的該複數個像素11中的一第一甲像素的一甲像素灰階直方圖51以及一第一乙像素的一乙像素灰階直方圖53計算該甲像素灰階直方圖51以及該乙像素灰階直方圖53的一反光值(為便於說明各該像素11之差異,故將該第一通道24上剩下之二該像素11之其一該像素11定義為該第一甲像素,將該第一通道24上剩下之二該像素11之另一該像素11定義為該第一乙像素),在一實施例中,該反光值例如可根據灰度值範圍55進行設定,以藉由其灰度值範圍55中的像素數量來判斷該反光值的大小,若該灰度值範圍55設定為140至200時,該處理元件30即可根據140至200的灰度值範圍55計算其對應的像素數量(如圖7所示),進而判斷該甲像素灰階直方圖51和該乙像素灰階直方圖53之該反光值的大小,而在另一實施例中,該反光值則例如可根據該甲像素灰階直方圖51和該乙像素灰階直方圖53中的波峰56數量進行判斷,由於眼睛圖像在灰階圖像中通常包含接近黑色和白色的部分,故像素灰階直方圖中通常會形成至少二波峰56,但若是反光較嚴重的圖像,則會使圖像中的像素數量集中於一區間中,使得像素灰階直方圖中僅形成一波峰56,如此,根據該甲像素灰階直方圖51和該乙像素灰階直方圖53中的波峰56數量來判斷時(如圖8所示),可理解該甲像素灰階直方圖51波峰56數量為一,而該乙像素灰階直方圖53中的波峰56數量為三,故可選擇該乙像素灰階直方圖53對應的該第一乙像素為最小之該反光值的像素。其後,該處理元件30則讀取最小之該反光值的該第一甲像素生成的該複數個第一資訊或是該第一乙像素生成的該複數個第一資訊,以生成該複數個第一圖像資訊32,其中該像素灰階直方圖50包含該甲像素灰階直方圖51以及該乙像素灰階直方圖53;或是利用該處理元件30根據該第二通道25過濾後的該複數個像素11中的一第二丙像素的一丙像素灰階直方圖52以及一第二丁像素的一丁像素灰階直方圖54,以計算該丙像素灰階直方圖52以及該丁像素灰階直方圖54的一反光值時(為便於說明各該像素11之差異,故將該第二通道25上剩下之二該像素11之其一該像素11定義為該第二丙像素,將該第二通道25上剩下之二該像素11之另一該像素11定義為該第二丁像素),其計算過程亦可與計算該甲像素灰階直方圖52以及該乙像素灰階直方圖54的該反光值相似,使得該處理元件30可讀取最小之該反光值的該第二丙像素生成的該複數個第二資訊或是該第二丁像素生成的該複數個第二資訊,進而生成該第二圖像資訊33,其中該像素灰階直方圖50亦可包含該丙像素灰階直方圖52以及該丁像素灰階直方圖54。
請再參閱圖9,其為本發明之同一入射角度的偏振片設置示意圖。如圖所示,本發明之圖像處理裝置100亦可包含具有同一入射角度(例如0°)的複數個偏振元件40個別設置於各該像素11上,當該偏振元件40接收到該紅外光231或該環境光源23時,該偏振元件40將該紅外光231轉換為一紅外偏振光或將該環境光源23轉換為一偏振光,其中該複數個偏振元件40可包含至少一第一偏振元件以及至少一第二偏振元件,且該第一偏振元件與該第二偏振元件之間具有不同的光學波段,如此,該處理元件30可融合該第一通道24中設有該第一偏振元件的該像素11生成的複數個第一資訊以及設有該第二偏振元件的該像素11生成的複數個第一資訊,以生成該第一圖像資訊32,或是該處理元件30融合該第二通道25中設有該第一偏振元件的該像素11生成的複數個第二資訊以及設有該第二偏振元件的該像素11生成的複數個第二資訊,以生成該第二圖像資訊33。以利用不同波段之偏振光特性,消除或減弱圖像中的反光問題。
請再參閱圖10,其為本發明之駕駛監控系統的系統連結示意圖。如圖所示,本發明揭露一種駕駛監控系統(Driver Monitoring System,DMS),以利用如上所述之圖像處理裝置100與一駕駛監控模組200相連接,如此,當該圖像處理裝置100根據如上述之處理方式生成該處理圖像34時,該駕駛監控模組200可接收該處理圖像34,且根據該處理圖像34執行一駕駛監控程序,以根據該駕駛監控程序判斷一駕駛的精神狀態,例如根據偵測眼球活動、追蹤分析眼瞼狀態和眼睛眨眼頻率等方式判斷駕駛的精神狀態。
本案所揭示者,乃較佳實施例,舉凡局部之變更或修飾而源於本案之技術思想而為熟習該項技藝之人所易於推知者,俱不脫本案之專利權範疇。
100:圖像處理裝置
200:駕駛監控系統
10:像素層
11:像素
20:濾光層
21:紅外層
22:全波段層
23:環境光源
231:紅外光
24:第一通道
25:第二通道
30:處理元件
31:眼睛圖像
32:第一圖像資訊
33:第二圖像資訊
34:處理圖像
35:計時器
40:偏振元件
50:像素灰階直方圖
51:甲像素灰階直方圖
52:丙像素灰階直方圖
53:乙像素灰階直方圖
54:丁像素灰階直方圖
55:灰度值範圍
56:波峰
60:微透鏡
θ:入射角度
圖1為本發明之圖像處理裝置的結構示意圖;
圖2為本發明之圖像處理裝置的方塊圖
圖3為本發明之第一通道和第二通道的配置示意圖;
圖4為本發明之第一圖像資訊和第二圖像資訊的圖像判斷示意圖;
圖5為本發明之不同入射角度的偏振片設置示意圖;
圖6為本發明之像素灰階直方圖的示意圖;
圖7為本發明之一實施例的反光值比對的像素灰階直方圖的示意圖;
圖8為本發明之另一實施例的反光值比對的像素灰階直方圖的示意圖;
圖9為本發明之同一入射角度的偏振片設置示意圖;以及
圖10為本發明之駕駛監控系統的系統連結示意圖。
10:像素層
11:像素
20:濾光層
21:紅外層
22:全波段層
23:環境光源
231:紅外光
30:處理元件
32:第一圖像資訊
33:第二圖像資訊
34:處理圖像
35:計時器
Claims (8)
- 一種圖像處理裝置,包含:一像素層,設有複數個像素;一濾光層,覆蓋於該像素層的一面上,該濾光層接收一環境光源且將該環境光源導引至該複數個像素上,該濾光層包含:一紅外層,設於該像素層的一面上,使得被該紅外層覆蓋之該複數個像素形成一第一通道,該紅外層接收該環境光源且將該環境光源中的一紅外光導引至該第一通道之該複數個像素上;及一全波段層,設於該像素層的一面上,使得被該全波段層覆蓋之該複數個像素形成一第二通道,該全波段層接收該環境光源且將該環境光源導引至該第二通道之該複數個像素上;一處理元件,電性連接該複數個像素,該處理元件讀取該第一通道根據該紅外光生成的複數個第一圖像資訊,以及讀取該第二通道根據該環境光源生成的複數個第二圖像資訊,該處理元件根據一眼睛識別程序分析各該第一圖像資訊以及各該第二圖像資訊,當該處理元件識別出任一該第一圖像資訊或任一該第二圖像資訊中的眼睛圖像時,該處理元件根據識別出眼睛圖像的該第一圖像資訊或該第二圖像資訊進行一圖像處理程序以輸出一處理圖像,其中,該處理元件執行該眼睛識別程序時,該處理元件是根據一邊緣檢測分析各該第一圖像資訊以及各該第二圖像資訊中的眼睛位置,根據輪廓檢測演算法得到對應的細化輪廓,且根據一眼睛分類器中記錄的眼睛外部輪廓資訊判斷是否識別出任一該第一圖像資訊或任一該第二圖像資訊中的眼睛圖像。
- 如請求項1所述之圖像處理裝置,進一步包含:複數個偏振元件,各該偏振元件個別設置於各該像素上,當該偏振元件接收到該紅外光或該環境光源時,該偏振元件將該紅外光轉換為一紅外偏振光或將該環境光源轉換為一偏振光,其中各該偏振元件入射角度互不相同。
- 如請求項2所述之圖像處理裝置,其中,該處理元件生成與各該像素對應之一像素灰階直方圖,且依據各該像素灰階直方圖中的一標準差過濾具有一最大值之該標準差的一第一最大像素和具有一最小值之該標準差的一第一最小像素,以根據過濾後的該複數個像素生成該第一圖像資訊,或是依 據各該像素灰階直方圖中的一標準差過濾具有一最大值之該標準差的一第二最大像素和具有一最小值之該標準差的一第二最小像素,以根據過濾後的該複數個像素生成該第二圖像資訊;其中該處理元件根據該第一通道中的各該像素生成複數個第一資訊,或是根據該第二通道中的各該像素生成複數個第二資訊,且根據該複數個第一資訊或是該複數個第二資訊的灰度級分布生成各該像素對應之該像素灰階直方圖。
- 如請求項3所述之圖像處理裝置,其中,當該處理元件根據過濾後的該複數個像素生成該第一圖像資訊,或是過濾後的該複數個像素生成該第二圖像資訊時,其包含:該處理元件根據該第一通道過濾後的一第一甲像素的一甲像素灰階直方圖以及一第一乙像素的一乙像素灰階直方圖,計算該甲像素灰階直方圖以及該乙像素灰階直方圖的一反光值,該處理元件讀取最小之該反光值的該第一甲像素或是該第一乙像素生成的該複數個第一資訊,以生成該第一圖像資訊,其中該複數個像素中包含該第一甲像素以及該第一乙像素;或是該處理元件根據該第二通道過濾後的一第二丙像素的一丙像素灰階直方圖以及一第二丁像素的一丁像素灰階直方圖,計算該丙像素灰階直方圖以及該丁像素灰階直方圖的一反光值,該處理元件讀取最小之該反光值的該第二丙像素或是該第二丁像素生成的該複數個第二資訊,以生成該第二圖像資訊,其中該複數個像素包含該第二丙像素以及該第二丁像素,以及其中,該處理元件根據像素灰階直方圖中的預設灰度值範圍或波峰數量來計算反光值。
- 如請求項1所述之圖像處理裝置,進一步包含:複數個偏振元件,各該偏振元件個別設置於各該像素上,當該偏振元件接收到該紅外光或該環境光源時,該偏振元件將該紅外光轉換為一紅外偏振光或將該環境光源轉換為一偏振光,其中該複數個偏振元件包含至少一第一偏振元件以及至少一第二偏振元件,其中該第一偏振元件具有與該二偏振元件不同的波段。
- 如請求項1所述之圖像處理裝置,其中,該處理元件包含一計時器,其與該處理元件連接,該計時器執行一計時程序,當該處理元件根據 該計時器的時間判斷當下時間為一夜間時間時,該處理元件執行一長曝光程序處理該複數個第二圖像資訊,以根據該眼睛識別程序分析各該第二圖像資訊。
- 如請求項1所述之圖像處理裝置,進一步包含:一微透鏡,設於該濾光層的一面上,以接收該環境光源且將該環境光源導引至該濾光層上。
- 一種駕駛監控系統,包含:一如請求項1所述之圖像處理裝置;以及一駕駛監控模組,其與該圖像處理裝置連接以接收該處理圖像,該駕駛監控模組根據該處理圖像執行一駕駛監控程序,以根據該駕駛監控程序判斷一駕駛的精神狀態,其中,該駕駛監控程序包括根據偵測眼球活動、追蹤分析眼瞼狀態和眼睛眨眼頻率。
Publications (1)
Publication Number | Publication Date |
---|---|
TWI840073B true TWI840073B (zh) | 2024-04-21 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022198381A1 (zh) | 2021-03-22 | 2022-09-29 | 京东方科技集团股份有限公司 | 图像处理方法及图像处理装置 |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022198381A1 (zh) | 2021-03-22 | 2022-09-29 | 京东方科技集团股份有限公司 | 图像处理方法及图像处理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10018804B2 (en) | Apparatus and method for multiple mode image acquisition for iris imaging | |
US9911036B2 (en) | Focusing method for optically capturing an iris image | |
JP3316725B2 (ja) | 顔画像撮像装置 | |
JP5212927B2 (ja) | 顔撮影システム | |
KR102270674B1 (ko) | 생체인식 카메라 | |
US10579871B2 (en) | Biometric composite imaging system and method reusable with visible light | |
CN100376922C (zh) | 个人识别装置以及指纹图像拍摄方法 | |
TWI534717B (zh) | 指紋感測器 | |
US8731250B2 (en) | Multiplexed biometric imaging | |
US6069967A (en) | Method and apparatus for illuminating and imaging eyes through eyeglasses | |
US20060066738A1 (en) | Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor | |
KR101014325B1 (ko) | 적외선을 이용한 얼굴인식 시스템 및 방법 | |
EP1628465A1 (en) | Image capture apparatus and control method therefor | |
WO2016041437A1 (zh) | 用于移动终端的虹膜识别成像模组及图像获取方法 | |
US20100094176A1 (en) | Eye opening detection system and method of detecting eye opening | |
KR20010032372A (ko) | 다중 조명원을 이용해 안경을 통해 눈을 조명하고촬영하는 방법 및 장치 | |
KR102317180B1 (ko) | 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법 | |
US10395093B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
CN202632317U (zh) | 一种暗背景光学指纹采集装置 | |
CN102737233A (zh) | 一种暗背景光学指纹采集装置 | |
CN105320926B (zh) | 指纹传感器 | |
TWI840073B (zh) | 圖像處理裝置及包含該圖像處理裝置的駕駛監控系統 | |
US10853641B2 (en) | Apparatus and method for acquiring iris image outdoors and indoors | |
WO2018142692A1 (ja) | 撮像装置、および画像処理装置 | |
JP3630558B2 (ja) | 居眠り検出装置 |