TW202117304A - 光譜照相裝置與方法 - Google Patents
光譜照相裝置與方法 Download PDFInfo
- Publication number
- TW202117304A TW202117304A TW108138755A TW108138755A TW202117304A TW 202117304 A TW202117304 A TW 202117304A TW 108138755 A TW108138755 A TW 108138755A TW 108138755 A TW108138755 A TW 108138755A TW 202117304 A TW202117304 A TW 202117304A
- Authority
- TW
- Taiwan
- Prior art keywords
- light
- spectral
- diodes
- patent application
- scope
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000000701 chemical imaging Methods 0.000 title abstract description 12
- 238000001228 spectrum Methods 0.000 claims abstract description 49
- 230000003595 spectral effect Effects 0.000 claims description 81
- 239000000203 mixture Substances 0.000 claims description 12
- 239000002184 metal Substances 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 10
- 239000002086 nanomaterial Substances 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 206010034960 Photophobia Diseases 0.000 claims 1
- 239000011248 coating agent Substances 0.000 claims 1
- 238000000576 coating method Methods 0.000 claims 1
- 208000013469 light sensitivity Diseases 0.000 claims 1
- 230000000737 periodic effect Effects 0.000 claims 1
- 238000010183 spectrum analysis Methods 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 abstract description 2
- 230000004044 response Effects 0.000 description 15
- 235000015220 hamburgers Nutrition 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 235000013305 food Nutrition 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241000209094 Oryza Species 0.000 description 3
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 244000007853 Sarothamnus scoparius Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000356 contaminant Substances 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003912 environmental pollution Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000195493 Cryptophyta Species 0.000 description 1
- 229920002472 Starch Polymers 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 210000004508 polar body Anatomy 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 229940100486 rice starch Drugs 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000005315 stained glass Substances 0.000 description 1
- 235000019698 starch Nutrition 0.000 description 1
- 239000008107 starch Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0272—Handheld
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/32—Investigating bands of a spectrum in sequence by a single detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/501—Colorimeters using spectrally-selective light sources, e.g. LEDs
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/33—Immersion oils, or microscope systems or objectives for use with immersion fluids
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/10—Arrangements of light sources specially adapted for spectrometry or colorimetry
- G01J2003/102—Plural sources
Abstract
本發明提供一種光譜照相裝置與方法，其可以使拍攝的相片具有光譜解析能力。此外，根據本發明的裝置與方法，用戶可方便地進行環境衛生之保護。
Description
本發明是有關於一種光譜照相裝置與方法。
如同其他光譜成像，高光譜成像(hyperspectral imaging)收集和處理來自電磁波譜的信息。高光譜成像的目標是獲取場景圖像中每個像素的光譜，目的是尋找物體、識別材料，或檢測程序。光譜成像儀有兩個種類：第一種為沿徑掃瞄儀(push broom scanners)和相關的橫掃式掃描儀(whisk broom scanners)，其隨著時間的推移讀取圖像；第二種為快照高光譜成像，它使用凝視陣列瞬間生成圖像。
人眼在大多數三個波段（長波長―被感知為紅色，中波長―被感知為綠色，短波長―被感知為藍色）中看到可見光的顏色，而光譜成像將光譜分成更多波段。將圖像劃分為帶(bands)的這種技術可以擴展到可見之外。在高光譜成像中，所記錄的光譜具有精細的波長分辨率並覆蓋寬範圍的波長。高光譜成像測量連續光譜帶(continuous spectral bands)，而多光譜成像(multispectral imaging)測量間隔光譜帶(multispectral imaging。
工程師為天文學，農業，分子生物學，生物醫學成像，地球科學，物理學和監視等領域的應用構建高光譜感應器和處理系統。高光譜感應器使用大部分電磁波譜來觀察物體。物體(objects)在電磁波譜中留下獨特的「指紋」。這些「指紋」稱為光譜特徵，可以識別構成掃描對象的材料。例如，石油的光譜特徵可以幫助地質學家找到新的油田。
高光譜圖像最為顯著的優勢在於，整個電磁波譜的資訊都被每個感應器像素所捕獲。相鄰像素間整個電磁波譜的資訊都可以被用作高精度分類用途。高光譜圖像最大的缺點在於其高昂的價格和複雜的系統。高速的電腦，高敏感度的傳感器和海量存儲設備往往是分析高光譜圖像資訊的必備品。
這類拍攝，也有人稱為多光譜照相(Multispectral imaging)。過去通常有三種做法，一是多個鏡頭的多光譜相機，每一個鏡頭使用一個濾光片篩選特定波段，以達到每一波段有一對應相片，這樣的作法，成本相當高，因為需要多個鏡頭，及多個濾光片，而為了讓成本不至於太高，鏡頭數目與濾光片數目被限制在十個以內，這就造成光譜解析度不夠精細。二是由幾台相機組合起來，每台相機也有一個濾光片篩選特定波段，這個做法比前述的成本還高，也因為成本因素，通常不會用很多台相機，造成光譜解析度也是不夠精細。三是使用光束分離裝置，例如稜鏡或是將濾光片置於一飛輪，這樣可以讓成本降低，但是整個光學架構較大，以及需要機械氏動作，讓取像時間拉的較長，對於需要即時資料的場域就不太方便。此外，這三種多光譜要將影像重疊，因為有不少機械式動作，影像畫素間會有偏移，使得成像品質較差。
基於上述因素，我們構思新的作法，可以更方便，以及成本更低，以容易運用及推廣。
本發明的主要目的在於使拍攝的相片具有光譜解析能力。此外，也能提供環境衛生保護之方便性。
根據本發明一實施例，一種光譜照相裝置，包含一個二極體陣列以及一圖像感測器。該二極體陣列包含N個二極體（例如發光二極體或是雷射二極體），每個二極體的發光波長範圍不同於其他二極體的發光波長範圍。圖像感測器用於擷取圖像。其中，該圖像感測器在一光譜範圍(spectral range)內針對一對象(object)或具有該對象的一景象(scene)進行連續N次擷取圖像(image)，其中該光譜範圍被區分為N個光譜帶(spectral bands)，每個該二極體對應一個該光譜帶，每次擷取圖像對應一個該光譜帶，僅由對應該光譜帶的該二極體發光以提供該次擷取圖像的光源，其餘二極體不發光，以及該圖像感測器在該N個二極體皆不發光的情況下，擷取該對象或該景象的圖像。
根據本發明另一實施例，一種光譜照相方法，包含步驟：提供一個二極體陣列，其包含N個二極體（例如發光二極體或是雷射二極體），N為正整數；在一光譜範圍(spectral range)內針對一對象(object)或具有該對象的一景象(scene)進行連續N次快照操作(snapshot operation)以擷取其圖像(image)，其中該光譜範圍被區分為N個光譜帶(spectral bands)，每個該二極體（對應一個該光譜帶，每次快照操作對應一個該光譜帶，僅由對應該光譜帶的該二極體發光以提供該次快照操作的光源，其餘二極體不發光；以及在該N個二極體皆不發光的情況下，擷取該對象或該景象的圖像。
在一實施例中，該光譜照相方法還會拍一張二極體陣列完全不點亮的相片作為背景光源參考相片，讓每個二極體點亮時可以對照來扣除背景光源影響，讓光譜相片呈現需要的光譜特徵。
根據本發明另一實施例，每個二極體的出光面可以加上一特定濾光片以篩選特定波長波段，讓此二極體的光波長更單純，可以提高相片光譜的解析度。
根據本發明實施例，雖然二極體陣列的每一個發光二極體（或是雷射二極體）輪流發光，但因為發光二極體（或是雷射二極體）的時間反應非常快，可達到1 μs，所以即使採用影像的畫面速度，即每秒30 fps，相當於顯示一個完整畫面所需要的時間約為30 ms，數百顆或是數千顆發光二極體（或是雷射二極體）仍可以輕易地在30 ms以內輪流發光，而使用者的眼睛並沒有察覺到已經輪流拍過不同波長的相片，僅感受類似一般拍照的速度。
此外，因為每個發光二極體（或是雷射二極體）的尺寸可以很小，例如小到500 μm ×500 μm或更小；因此，即使是100顆做成10×10的發光二極體（或是雷射二極體）陣列，整體光源面積也僅5mm×5mm，即使是1000餘顆做成的33×33 陣列，光源面積也只比1cm×1cm稍大一些，若每個發光二極體（或是雷射二極體）的尺寸小到200 μm × 200 μm，整個陣列面積還不到7mm ×7 mm，所以本發明可達到短小輕薄的多光譜照相。
根據本發明實施例的光譜照相方法與裝置，一方面可以提供真實色彩照片，另一方面也可以進行各個像素的光譜分析，依據個別像素的光譜圖判斷該像素對應到的化學成分。
本發明實施例的光譜照相方法與裝置所拍攝的相片，除了可以檢測所拍攝對象的化學成分，對於食品汙染、環境汙染等之防護有很大的助益；此外，對於顏料、化妝、衣著等的精準色彩判定也有很好的效果。例如，在食品安全方面，使用一般的相機拍攝一張相片上的漢堡，如果僅用目前紅綠藍的顏色判斷，因為實際漢堡和相片上的漢堡的顏色一樣，無法分辨是否為真實的漢堡。相較之下，使用本發明的技術，因為相紙的化學成分與實際漢堡不同，兩者的光譜不會相同，可以分辨是真實的漢堡或是相片上的漢堡圖像。又例如，有人用化學藥劑製作外型顏色和米一樣的假米，用一般相機所拍攝的相片無法分辨其真假。因為假米的成分不是澱粉，其光譜與真米澱粉的光譜不一樣，本發明的技術可以幫助消費者分辨。更進一步，如果食物中有污染物，污染物會有特定光譜與食物不同，本發明的技術可以分辨並挑出被污染的食物。
以下將詳述本案的各實施例，並配合圖式作為例示。除了這些詳細描述之外，本發明還可以廣泛地實行在其他的實施例中，任何所述實施例的輕易替代、修改、等效變化都包含在本案的範圍內，並以之後的專利範圍為準。在說明書的描述中，為了使讀者對本發明有較完整的了解，提供了許多特定細節；然而，本發明可能在省略部分或全部這些特定細節的前提下，仍可實施。此外，眾所周知的程序步驟或元件並未描述於細節中，以避免造成本發明不必要之限制。
圖1顯示根據本發明一實施例一種光譜照相方法。如圖1所示，光譜照相方法包含步驟10，提供一發光二極體陣列。較佳地，發光二極體列包含N個發光二極體，其中N為正整數。於步驟11，在一光譜範圍(spectral range)內針對一對象(object)或具有該對象的一景象(scene)進行連續N次快照操作(snapshot operation)以擷取其圖像(image)，其中該光譜範圍被區分為N個光譜帶(spectral bands)，每個該發光二極體對應一個該光譜帶，每次快照操作對應一個該光譜帶。亦即，每次快照操作僅由對應該光譜帶的該發光二極體發光以提供該次快照操作的光源，其餘發光二極體不發光。接著，於步驟12，在該N個發光二極體皆不發光的情況下，擷取該對象或該景象的圖像。
在一實施例中，其中每個該光譜帶的帶寬≦10 nm。在本發明另一個實施例中，以雷射二極體陣列取代發光二極體陣列。
在一實施例中，除了圖1的步驟10、步驟11、步驟12，更包含圖2的步驟20。於步驟20，由所擷取的該N+1個圖像獲得對應該對象的複數個像素(pixel)於該光譜範圍的光譜圖，依據該些光譜圖判斷該對象所對應的物質或組成成分。
在一實施例中，根據所擷取相片的圖案，判斷該對象是何物，然後運用光譜分析該對象應該具有的成分，以及不該具有的成分比例，藉此找出該對象的組成成分與污染物。
參見圖2，在一實施例中，更包含於圖2的步驟21。於步驟21，將所擷取的該N+1個圖像重新組合，以得到一張真實色彩照片。
根據上述方法，參見圖3，本發明公開一種光譜照相裝置3，其特徵在於包含一發光二極體陣列31(或雷射二極體陣列31)以及一圖像感測器(image sensor)32。圖4例示根據本發明一實施例的發光二極體陣列。如圖4所示，發光二極體陣列31包含N個發光二極體310(或雷射二極體310)，其中每個發光二極體的發光波長範圍不同於其他發光二極體的發光波長範圍。圖像感測器31用於擷取一對象(object)4或包含該對象4的一景象(scene)5的圖像。圖像感測器31可以是互補式金屬氧化物半導體（Complementary Metal-Oxide-Semiconductor，CMOS）或感光耦合元件(Charge Coupled Device，CCD)。圖像感測器32在一光譜範圍(spectral range)內針對一對象(object)4或具有該對象4的一景象(scene)5進行連續N次擷取圖像(image)，其中該光譜範圍被區分為N個光譜帶(spectral bands)，每個該發光二極體對應一個該光譜帶，每次擷取圖像對應一個該光譜帶，僅由對應該光譜帶的該發光二極體發光以提供該次擷取圖像的光源，其餘發光二極體不發光，以及在該圖像感測器32在該N個發光二極體皆不發光的情況下，擷取該對象或該景象的圖像。
在一較佳實施例中，每個該光譜帶的帶寬≦10 nm。在一實施例中，該發光二極體陣列的部分發光二極體，使用濾波結構(未圖示)減少其頻寬。在本發明另一個實施例中，以雷射二極體陣列取代發光二極體陣列31。
在一實施例中，上述的濾光結構是以光學鍍膜的方式達成窄波段（如頻寬為5nm 或3nm）。在另一實施例中，透過金屬奈米結構達成窄頻濾光效果。
圖5為俯視圖，顯示根據本發明一實施例的金屬奈米結構312。如圖5所示，在發光二極體310上設置週期性排列的金屬線條，其透光波長與金屬線條之實際尺寸有關，此關係可以是λ=2neff
d，其中λ是可以通過的波長，d是金屬線條寬度，neff
是此結構的等效折射率。
在本發明一些實施例中，發光二極體陣列31可以是次毫米發光二極體(Mini LED Array)或者是微發光二極體陣列(Micro-LED Array)，前者的晶粒尺寸約介於50至100微米，而後者則是約15微米。在一些實施例中，為了使每個該光譜帶的帶寬更窄，每個發光二極體的晶粒尺寸介於1微米至15微米之間。在一些實施例中，台灣專利申請號108127903，題為「微發光二極體陣列與其製法」中的微發光二極體陣列被作為本案的發光二極體陣列，該專利的全文併入本文，視為本案說明書的一部分。
在本文中，「對象4」可以是固體、液體，或氣體―其以獨特的方式反射或發射電磁能量。高光譜照相利用這些獨特的光譜特徵來獲得有價值的資訊，這些資訊很難或不可能以任何其他方式獲得。
較佳地，光譜照相裝置3更包含處理器33，其由所擷取的該N+1個圖像獲得對象4的複數個像素40於該光譜範圍的光譜圖，依據該些光譜圖判斷該對象4所對應的物質或組成成分。
在一些實施例中，該些光譜圖為反射光譜圖。
在一些實施例中，所擷取的該N+1個圖像被用於檢測對象或場景中是否具有特定材料(specific material)。檢測通常依賴於特徵匹配技術(signature-matching techniques)，例如針對已知參考光譜(reference spectra)的光譜進行匹配過濾(spectral matched filtering)。
在一些實施例中，定量分析與檢測一起進行。在一個實施例中，所擷取的該N+1個圖像被用於測量水體中葉綠素的量，其可以指示水中存在藻類的量，從而提供對水質的洞察。
在一個實施例中，處理器33將所擷取的該N+1個圖像重新組合，以得到一張真實色彩照片。
在一實施例中，光譜照相裝置3為智慧手機。在一實施例中，發光二極體陣列31與圖像感測器32構成一個攝像單元。發光二極體陣列31為手機的內置光源，由手機上的軟體程式控制發光二極體陣列31中發光二極體的點亮順序，拍照直接使用手機相機達成。
在一個實施例中，圖像感測器32為智慧手機既有的元件，而發光二極體陣列31為獨立於智慧手機外的裝置。在一實施例中，發光二極體陣列31係設置於智慧手機外的裝置，例如，設置於一手機保護殼上。並且發光二極體陣列31與智慧手機的電源電性連接，由智慧手機的電源供電給發光二極體陣列31。
在一個實施例中，用戶在光譜照相裝置3安裝一應用程序，該應用程序控制發光二極體陣列的發光程序。在一實施例中，該應用程序即時對所擷取的圖像進行處理分析。在另一實施例中，該應用程序將所擷取的圖像上傳到雲端，使用伺服器上的軟體處理並分析圖像。
根據本發明實施例的光譜照相方法與裝置，一方面可以提供真實色彩照片，另一方面也可以進行各個像素的光譜分析，依據個別像素的光譜圖判斷該像素對應到的化學成分。
在一些實施例中，該N個發光二極體輪流發光由圖像感測器32所拍攝的N張圖像，其每個像素的光強度值，會扣除在該N個發光二極體皆不發光的情況下，由圖像感測器32所拍攝的圖像中對應像素的光強度值。例如，在某個發光二極體發光所拍攝的一張圖像中的像素40，其光強度值為(r0
+r1
, g0
+g1
, b0
+b1
)，扣除在所有發光二極體皆不發光的條件下所拍的圖像的畫素40的光強度值(r0
, g0
, b0
)，扣除後為(r1
, g1
, b1
)。
在一些實施例中，每個像素除了扣除在N個發光二極體(或雷射二極體)皆不發光的情況下由圖像感測器32所拍攝的圖像中對應像素的光強度值，並根據圖像感測器32的光譜響應(spectral response)，做進一步校正。例如，圖6例示一種圖像感測器的光譜響應，每個像素可以根據該光譜響應中對應波長的響應值或相對響應(relative response)，做進一步校正。例如，某一像素在某一波長的光強度測量值，除以圖6對應該波長的響應值或相對響應值。經過校正後可以排除圖像感測器的影響。
在一些實施例中，每個像素除了扣除在N個發光二極體皆不發光的情況下由圖像感測器32所拍攝的圖像中對應像素的光強度值，並根據該N個發光二極體(雷射二極體)的發光光譜，做進一步校正，校正方法可與前一段落所述的方法相同。在一個較佳實施例中，上述兩種校正可一併進行。
透過上述程序，可以得到不受光源影響以及不受偵測器響應影響的光譜特性，以方便進行光譜比對來判斷個像素位置對應物體的成分。
形成真實色彩照片的方式，可以針對每一像素，透過計算每一波長的色座標(chromaticity coordinate)以及其強度，經過線性相加的線性組合方式，算出每一像素的實際色座標和強度，從而可以得到一完整的真實色彩照片。
圖7A、7B和7C例示形成一張真實色彩照片的方法。圖7A為由所擷取的N+1個圖像獲得某個像素(pixel)於該光譜範圍的光譜圖，該光譜圖中的對應每個波長的光強度值可以扣除在所有發光二極體或雷射二極體都不發光的條件下所拍攝圖像中畫素40的光強度值。另外，較佳地，根據圖像感測器的光譜響應以及該些發光二極體或雷射二極體的發光光譜進行校正。圖7B為人眼對光的頻譜響應。圖7C例示一個參考光源的光譜。如圖7A至7C所示，將藍椎範圍內對應每個波長(λ1
, λ2
, λ3
, λ4
, λ5
, λ6
, λ7
…)的該像素的強度(b1
, b2
, b3
, b4
, b5
, b6
, b7
)乘以靈敏度再乘以參考光源的強度或相對強度後再相加，可以得到該像素的藍椎(blue cone)強度B，如下：
(S1
×b1
×I1
+S2
×b2
×I2
+S3
×b3
×I3
+S4
×b4
×I4
+S5
×b5
×I5
+S6
×b6
×I6
+S7
×b7
×I7
+…)=B
同樣方法可以得到該像素的綠椎強度G，如下：
(S3
×g1
×I3
+S4
×g2
×I4
+S5
×g3
×I5
+S6
×g4
×I6
+S7
×g5
×I7
+…)=G
同樣方法可以得到該像素的紅椎強度R，如下：
(S6
×r1
×I6
+S7
×r2
×I7
+…)=R
接著，由下列公式可以獲得色座標：
z=1-x-y
將每個畫素皆進行上述運算，即可獲得一張真實色彩照片，此真實色彩照片所呈現的景象非常接近人眼所看到的。
上述實施例中真實色彩照片是根據一個參考光源的光譜進行調整。此參考光源可以是拍照當下的環境光源的光譜，也可是預先儲存、已知的光譜，例如，中午太陽光譜、黃昏太陽光譜、日光燈光譜，或白熾燈光譜，可以透過比例調整，將相片調整為參考光源下的真實色彩照片。
前述拍照當下的環境光源的光譜可以由下列運算式獲得，以波長λ為例：
Iλ
(環境)=校正光譜×環境光源(λ)×圖像感測器(λ)
其中，Iλ
(環境)為N個發光二極體(或雷射二極體)皆不發光時，僅僅環境光之下由圖像感測器32所拍攝的圖像中對應像素的光強度值，物體光譜為段落[0048]-[0050]所述經過圖像感測器的光譜以及N個發光二極體(或雷射二極體)的光譜校正後的光強度值，圖像感測器(λ)為圖像感測器32在波長為λ時的響應值或相對響應值。運算後可獲得環境光源(λ)之光譜特性。
本發明實施例的光譜照相方法與裝置所拍攝的相片，除了可以檢測所拍攝對象的化學成分，對於食品汙染、環境汙染等之防護有很大的助益；此外，對於顏料、化妝、衣著、磁磚、彩色玻璃、壁紙等等的精準色彩判定也有很好的效果。
本說明書所揭露的每個/全部實施例，本領域熟悉技藝人士可據此做各種修飾、變化、結合、交換、省略、替代、相等變化，只要不會互斥者，皆屬於本發明的概念，屬於本發明的範圍。可對應或與本案所述實施例特徵相關的結構或方法，及/或發明人或受讓人任何申請中、放棄，或已核准的申請案，皆併入本文，視為本案說明書的一部分。所併入的部分，包含其對應、相關及其修飾的部分或全部，(1)可操作的及/或可建構的(2)根據熟悉本領域技藝人士修飾成可操作的及/或可建構的(3)實施/製造/使用或結合本案說明書、本案相關申請案，以及根據熟悉本領域技藝人士的常識和判斷的任何部分。
除非特別說明，一些條件句或助詞，例如「可以(can)」、「可能(could)」、「也許(might)」，或「可(may)」，通常是試圖表達本案實施例具有，但是也可以解釋成可能不需要的特徵、元件，或步驟。在其他實施例中，這些特徵、元件，或步驟可能是不需要的。
本文前述的文件，其內容皆併入本文，視為本案說明書的一部分。本發明提供的實施例，僅作為例示，不是用於限制本發明的範圍。本發明所提到的特徵或其他特徵包含方法步驟與技術，可與相關申請案所述的特徵或結構做任何結合或變更，部分的或全部的，其可視為本案不等的、分開的、不可替代的實施例。本發明所揭露的特徵與方法其對應或相關者，包含可從文中導出不互斥者，以及熟悉本領域技藝人士所做修飾者，其部分或全部，可以是(1)可操作的及/或可建構的(2)根據熟悉本領域技藝人士的知識修飾成可操作的及/或可建構的(3)實施/製造/使用或結合本案說明書的任何部分，包含(I)本發明或相關結構與方法的任何一個或更多部分，及/或(II)本發明所述任何一或多個發明概念及其部分的內容的任何變更及/或組合，包含所述任何一或多個特徵或實施例的內容的任何變更及/或組合。
3:光譜照相裝置
4:對象
5:景象
10:步驟
11:步驟
12:步驟
20:步驟
21:步驟
31:發光二極體陣列/雷射二極體陣列
32:圖像感測器
33:處理器
40:像素
310:發光二極體/雷射二極體
312:金屬奈米結構
圖1為流程圖，顯示根據本發明實施例的光譜照相方法。
圖2為流程圖，顯示根據本發明實施例的光譜照相方法。
圖3為示意圖，顯示根據本發明實施例的光譜照相裝置。
圖4例示根據本發明一實施例的發光二極體陣列。
圖5為俯視圖，顯示根據本發明一實施例的金屬奈米結構。
圖6例示一種圖像感測器的光譜響應。
圖7A為根據本發明一實施例中由所擷取的N+1個圖像獲得某個像素(pixel)於光譜範圍的光譜圖。
圖7B為人眼對光的頻譜響應。
圖7C例示一個參考光源的光譜。
3:光譜照相裝置
4:對象
5:景象
31:發光二極體陣列
32:圖像感測器
33:處理器
40:像素
Claims (18)
- 一種光譜照相裝置，包含： 一二極體陣列，其包含N個二極體，每個二極體的發光波長範圍不同於其他二極體的發光波長範圍；以及 一圖像感測器(image sensor)，用於擷取圖像； 其中，該圖像感測器在一光譜範圍(spectral range)內針對一對象(object)或具有該對象的一景象(scene)進行連續N次擷取圖像(image)，其中該光譜範圍被區分為N個光譜帶(spectral bands)，每個該二極體對應一個該光譜帶，每次擷取圖像對應一個該光譜帶，僅由對應該光譜帶的該二極體發光以提供該次擷取圖像的光源，其餘二極體不發光，以及該圖像感測器在該N個二極體皆不發光的情況下，擷取該對象或該景象的圖像； 其中該N個二極體為N個發光二極體或N個雷射二極體。
- 如申請專利範圍第1項的光譜照相裝置，其中每個該光譜帶的帶寬≦10 nm。
- 如申請專利範圍第1項的光譜照相裝置，更包含： 一處理器，該處理器由所擷取的該N+1個圖像獲得對應該對象的複數個像素於該光譜範圍的光譜圖，依據該些光譜圖判斷該對象所對應的物質或組成成分。
- 如申請專利範圍第3項的光譜照相裝置，其中該處理器將該N個二極體輪流發光由該圖像感測器所擷取的N張圖像，其每個像素的光強度值，扣除在該N個二極體皆不發光的情況下由該圖像感測器所拍攝的圖像中對應像素的光強度值，接著將該N張圖像重新組合，以得到一真實色彩照片。
- 如申請專利範圍第4項的光譜照相裝置，其中重新組合該N張圖像時，透過一人眼對光靈敏度頻譜以及一參考光源的光譜進行調整，以獲得該真實色彩照片。
- 如申請專利範圍第1項的光譜照相裝置，其中該二極體陣列的部分二極體使用一濾波結構以減少其發光頻寬，該濾光結構包含一光學鍍膜。
- 如申請專利範圍第1項的光譜照相裝置，其中該二極體陣列的部分發光二極體使用一濾波結構以減少其發光頻寬，其中該濾光結構包含一金屬奈米結構。
- 如申請專利範圍第7項的光譜照相裝置，其中該金屬奈米結構包含一週期性排列的金屬線條。
- 如申請專利範圍第1項的光譜照相裝置，其中該光譜照相裝置為手機。
- 如申請專利範圍第9項的光譜照相裝置，其中該二極體陣列係設置於該手機外的裝置並與該手機連接。
- 如申請專利範圍第9項的光譜照相裝置，更包含： 一應用程序，用以控制該二極體陣列的發光程序。
- 一種光譜照相方法，包含下列步驟： 提供一二極體陣列，其包含N個二極體，N為正整數； 在一光譜範圍(spectral range)內針對一對象(object)或具有該對象的一景象(scene)進行連續N次快照操作(snapshot operation)以擷取其圖像(image)，其中該光譜範圍被區分為N個光譜帶(spectral bands)，每個該二極體對應一個該光譜帶，每次快照操作對應一個該光譜帶，僅由對應該光譜帶的該二極體發光以提供該次快照操作的光源，其餘二極體不發光；以及 在該N個發光二極體皆不發光的情況下，擷取該對象或該景象的圖像； 其中該N個二極體為N個發光二極體或N個雷射二極體。
- 如申請專利範圍第12項的光譜照相方法，更包含： 由所擷取的該N+1個圖像獲得對應該對象的複數個像素於該光譜範圍的光譜圖，依據該些光譜圖判斷該對象所對應的物質或組成成分。
- 如申請專利範圍第13項的光譜照相方法，更包含： 將該N個二極體輪流發光由該圖像感測器所擷取的N張圖像，其每個像素的光強度值，扣除在該N個二極體皆不發光的情況下，由該圖像感測器所拍攝的圖像中對應像素的光強度值；以及 將該N張圖像重新組合，以得到一真實色彩照片。
- 如申請專利範圍第14項的光譜照相方法，其中形成該真實色彩照片的方式，係針對每一像素計算每一光譜帶的色座標以及其強度，利用一人眼對光靈敏度頻譜以及一參考光源的光譜，經過線性相加的線性組合方式，獲得每一像素的實際色座標和強度，從而可以得到該真實色彩照片。
- 如申請專利範圍第15項的光譜照相方法，其中該參考光源為預先儲存的的一已知光譜。
- 如申請專利範圍第15項的光譜照相方法，其中該參考光源為光譜照相當時的環境光源的光譜。
- 如申請專利範圍第12項的光譜照相方法，其中每個該光譜帶的帶寬≦10 nm。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108138755A TWI739185B (zh) | 2019-10-28 | 2019-10-28 | 光譜照相裝置與方法 |
| US16/711,110 US11079277B2 (en) | 2019-10-28 | 2019-12-11 | Spectral imaging device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108138755A TWI739185B (zh) | 2019-10-28 | 2019-10-28 | 光譜照相裝置與方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202117304A true TW202117304A (zh) | 2021-05-01 |
| TWI739185B TWI739185B (zh) | 2021-09-11 |
Family
ID=75585763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108138755A TWI739185B (zh) | 2019-10-28 | 2019-10-28 | 光譜照相裝置與方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11079277B2 (zh) |
| TW (1) | TWI739185B (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6122042A (en) * | 1997-02-07 | 2000-09-19 | Wunderman; Irwin | Devices and methods for optically identifying characteristics of material objects |
| US7420156B2 (en) * | 2003-08-06 | 2008-09-02 | University Of Pittsburgh | Metal nanowire based bandpass filter arrays in the optical frequency range |
| US7489396B1 (en) * | 2005-05-18 | 2009-02-10 | Vie Group, Llc | Spectrophotometric camera |
| WO2008075266A2 (en) * | 2006-12-19 | 2008-06-26 | Philips Intellectual Property & Standards Gmbh | Colour sequential flash for digital image acquisition |
| US20080174768A1 (en) * | 2007-01-18 | 2008-07-24 | Mathias Belz | Self referencing LED detection system for spectroscopy applications |
| US9515238B2 (en) * | 2012-02-16 | 2016-12-06 | Oculus Vr, Llc | Micro-LED array with filters |
-
2019
- 2019-10-28 TW TW108138755A patent/TWI739185B/zh active
- 2019-12-11 US US16/711,110 patent/US11079277B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| TWI739185B (zh) | 2021-09-11 |
| US11079277B2 (en) | 2021-08-03 |
| US20210123806A1 (en) | 2021-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Oh et al. | Do it yourself hyperspectral imaging with everyday digital cameras | |
| CN105009568B (zh) | 用于处理可见光谱图像和红外图像的系统、方法及非易失性机器的可读介质 | |
| JP5545016B2 (ja) | 撮像装置 | |
| Schechner et al. | Generalized mosaicing: Wide field of view multispectral imaging | |
| JP5976676B2 (ja) | レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法 | |
| RU2632577C1 (ru) | Способ и устройство измерения цвета объекта | |
| Cosentino | Panoramic, macro and micro multispectral imaging: an affordable system for mapping pigments on artworks | |
| Shibata et al. | Visible and near-infrared image fusion based on visually salient area selection | |
| JPWO2016158128A1 (ja) | 光検出装置および撮像装置 | |
| West et al. | Commercial snapshot spectral imaging: the art of the possible | |
| Gonzalez et al. | An extremely compact and high-speed line-scan hyperspectral imager covering the SWIR range | |
| Verhoeven | Multispectral and hyperspectral imaging | |
| US20220319149A1 (en) | System and method for object recognition under natural and/or artificial light | |
| TWI739185B (zh) | 光譜照相裝置與方法 | |
| CA3140195A1 (en) | System and method for object recognition using fluorescent and antireflective surface constructs | |
| Maeda et al. | Acquiring multispectral light transport using multi-primary DLP projector | |
| Geelen et al. | System-level analysis and design for RGB-NIR CMOS camera | |
| Kim et al. | The infrared lighting system for the efficient photography of the pretreated fingerprint | |
| Ciortan et al. | Fluorescence transformation imaging | |
| WO2021075215A1 (ja) | 皮膚外用剤の塗布支援を行うための方法およびシステム | |
| Cho et al. | Hyperspectral face databases for facial recognition research | |
| Ohsaki et al. | Hyperspectral imaging using flickerless active LED illumination | |
| Blasinski | Camera Design Optimization Using Image Systems Simulation | |
| Solomatov et al. | Spectral Sensitivity Estimation Without a Camera | |
| EP3387675A1 (en) | Image sensor configured for dual mode operation |