TWI579540B - 多點光譜系統 - Google Patents

多點光譜系統 Download PDF

Info

Publication number
TWI579540B
TWI579540B TW104140286A TW104140286A TWI579540B TW I579540 B TWI579540 B TW I579540B TW 104140286 A TW104140286 A TW 104140286A TW 104140286 A TW104140286 A TW 104140286A TW I579540 B TWI579540 B TW I579540B
Authority
TW
Taiwan
Prior art keywords
filter
image
complex array
wavelength
color
Prior art date
Application number
TW104140286A
Other languages
English (en)
Other versions
TW201721113A (zh
Inventor
林雁容
陳心怡
葉佳良
謝易辰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW104140286A priority Critical patent/TWI579540B/zh
Priority to US14/980,532 priority patent/US9948868B2/en
Application granted granted Critical
Publication of TWI579540B publication Critical patent/TWI579540B/zh
Publication of TW201721113A publication Critical patent/TW201721113A/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J3/26—Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12—Generating the spectrum; Monochromators
    • G01J2003/1213—Filters in general, e.g. dichroic, band
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G01J2003/516—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs with several stacked filters or stacked filter-detector pairs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/28—Interference filters
    • G02B5/285—Interference filters comprising deposited thin solid films
    • G02B5/288—Interference filters comprising deposited thin solid films comprising at least one thin film resonant cavity, e.g. in bandpass filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Color Television Image Signal Generators (AREA)

Description

多點光譜系統
本揭露係有關一種多點光譜系統。
光(電磁波或輻射)與物質交互作用後，如反射、吸收、散射、干涉或繞射等，物質之光譜資訊會產生變化，或是物質本身亦會產生自發光(電磁波或輻射)，故而藉由量測物質之光譜資訊可從中解讀出所檢測物質之特定資訊。例如反射光譜檢測，可反應出所檢測之物質的組成、含水率、顏色及表面粗糙度等。
現有技術多採單一多色濾光片搭配短、長波濾波片之方法，或採旋轉反射鏡搭配光柵式分光之方法，來取得空間及光譜資訊。然而，前者雖可在一次拍攝中即取得空間及光譜資訊，但其空間及光譜解析度會不佳；後者雖能取得足夠的空間及光譜解析度，但其取像時間較長，且結構較複雜，而無法有效普及化，例如將其應用至智慧型手機或智慧穿戴裝置中。
本揭露係提供一種多點光譜系統，包括：影像感測裝置，包括彩色影像感測器及設置於該彩色影像感測器上之 彩色濾光片，其中，該彩色影像感測器由複數個感光單元以陣列方式排列而成，該彩色濾光片包括複數個濾光區塊；成像透鏡，位於該影像感測裝置之前，係用以使一標的場景形成複數組相同影像；以及多波長濾光片，位於該成像透鏡與該影像感測裝置之間，該多波長濾光片具有對應該複數組相同影像之複數組濾光區域，其中，該複數組濾光區域分別具有不同之穿透波長；其中，該複數組相同影像之影像光行經該複數組濾光區域濾波後，令該影像感測裝置使用對應該複數組濾光區域之穿透波長的複數個濾光區塊後之複數個感光單元進行擷取，以產生複數組影像光譜。
1‧‧‧多點光譜系統
10‧‧‧影像感測裝置
101‧‧‧彩色影像感測器
102‧‧‧彩色濾光片
1021、1022、1023‧‧‧濾光區塊
11、103‧‧‧成像透鏡
12‧‧‧多波長濾光片
121、122、123‧‧‧濾光區域
13‧‧‧計算裝置
131‧‧‧合成模組
132‧‧‧切割模組
133‧‧‧前處理模組
134‧‧‧特徵擷取模組
135‧‧‧第一分類模組
136‧‧‧第二分類模組
137‧‧‧資料庫
14‧‧‧標的場景
15‧‧‧影像光譜
151、152‧‧‧像素
153、154‧‧‧光譜訊號曲線
第1A圖係為本揭露多點光譜系統之一實施例之架構示意圖；第1B圖係為本揭露多點光譜系統之另一實施例之架構示意圖；第2A圖係為本揭露多點光譜系統中多波長濾光片之組態示意圖；第2B圖係為本揭露多點光譜系統中在多波長濾光片成像之示意圖；第3圖係為本揭露多點光譜系統之一實施例之運行概念圖；第4圖係為本揭露多點光譜系統之彩色濾光片中各色穿透特性之示意圖； 第5圖係為本揭露多點光譜系統之第一實施例之穿透波長示意圖；第6圖係為本揭露多點光譜系統之第二實施例之穿透波長示意圖；第7圖係為本揭露多點光譜系統之第三實施例之穿透波長示意圖；第8圖係為本揭露多點光譜系統之第四實施例之穿透波長示意圖；第9圖係為本揭露多點光譜系統之第五實施例之穿透波長示意圖；第10圖係為本揭露多點光譜系統之第六實施例之穿透波長示意圖；第11圖係為本揭露多點光譜系統之另一實施例之架構示意圖；第12圖係為本揭露多點光譜系統之複數組影像光譜之合成示意圖；及第13圖係為本揭露多點光譜系統之第七實施例之穿透波長示意圖。
以下藉由特定之具體實施例加以說明本揭露之實施方式，而熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本揭露之其他優點和功效，亦可藉由其他不同的具體實施例加以施行或應用。
請參閱第1A、1B圖，本實施例之多點光譜系統1係 包括影像感測裝置10、成像透鏡11以及多波長濾光片12。該多波長濾光片12設於成像透鏡11與影像感測裝置10之間。以下進一步說明影像感測裝置10、成像透鏡11以及多波長濾光片12之各實施例詳細組成。
根據一實施例，影像感測裝置10包括一彩色影像感測器101，該彩色影像感測器101可為彩色互補性氧化金屬半導體影像感測器(color CMOS image sensor)或彩色感光耦合元件影像感測器(color CCD image sensor)，其中該彩色影像感測器101係由複數個感光單元以陣列方式排列而成，設置於該彩色影像感測器101上之彩色濾光片102包括複數個以陣列方式排列而成的濾光區塊，而每一濾光區塊係設置於每一感光單元之前，亦即一感光單元對應一濾光區塊。
於一實施例中，該感光單元包括由矽、有機材料或量子點材料所製成之感光層，例如包括以矽製成之感光層的感光單元，即可以是矽光電二極體(silicon photodiode)，但本揭露並不以此為限。
於一實施例中，該影像感測裝置10係為相機，或是智慧型手機、平板電腦或智慧穿戴裝置上的相機模組，但本揭露並不以此為限。如第3圖所示，該彩色濾光片102之複數個以陣列方式排列的濾光區塊係可為複數個紅色之濾光區塊1023、藍色之濾光區塊1021及綠色之濾光區塊1022所組成之拜耳陣列(Bayer array)，以使該彩色濾光片102的複數個濾光區塊可個別篩出單一色(如R、G、B)的光 束，令該複數個感光單元可針對不同顏色之光源進行感光，但本揭露並不限制該彩色濾光片102之陣列組成形式。
該成像透鏡11係用以產生一標的場景之複數個相同影像。於一實施例中，該成像透鏡11係具有複數個以陣列形式排列而成的透鏡，且透鏡的形式不限於凸透鏡或凹透鏡。
於一實施例中，如第1A圖所示，該影像感測裝置10內之該彩色濾光片102前並無成像透鏡；於另一實施例中，如第1B圖所示，該影像感測裝置10內之該彩色濾光片102前更包括至少一成像透鏡103，例如智慧型手機、平板電腦或智慧穿戴裝置之相機模組中原內置的成像鏡頭，成像透鏡103可視情況設計成單一個或多個鏡片所組成之透鏡組，本揭露並不以此為限。
於另一實施例中，可視情況進行設計，以附加至少一修正用之透鏡在第1A圖中多波長濾光片12及影像感測裝置10之間，或在第1B圖中多波長濾光片12及成像透鏡103之間，進一步可達到本揭露所欲達到之功能。此修正用之透鏡亦可與成像透鏡11及多波長濾光片12一同模組化，但本揭露並不以此為限。
請參閱第2A、2B圖，該多波長濾光片12係具有複數個濾光區域。該複數個濾光區域之數量係例如對應該成像透鏡11中複數個透鏡的數量，以使一標的場景14透過成像透鏡11後所產生之複數個相同影像，能一一對應該多波長濾光片12之複數個濾光區域。於本實施例中，多波長濾 光片係以16個濾光區域為例，但本揭露並不以此為限。
於一實施例中，該多波長濾光片之複數個濾光區域分別具有不同之穿透波長。例如濾光區域121之穿透波長範圍可設計在600~760nm之間，濾光區域122之穿透波長範圍可設計在510~590nm之間，濾光區域123之穿透波長範圍可設計在390~500nm之間。又，可視所區分之濾光區域的數量來作設計，例如可濾波長範圍為400~780nm間，且濾光區域係16個，則各濾光區域的穿透波長可依序設計為400、423.75、447.5......780nm，頻寬可以是10nm、20nm、30nm等，本揭露並不限制各濾光區域之穿透波長範圍的設計方式。
如第4圖所揭示影像感測裝置10內之彩色濾光片102中各色穿透特性之示意圖，藍色(B)例如在波長390~500nm之間有較高的穿透率，綠色(G)例如在波長510~590nm之間有較高的穿透率，紅色(R)例如在波長600~760nm之間有較高的穿透率。
於一實施例中，該多波長濾光片12之複數個濾光區域係以具不同腔長之法布里-伯羅空腔(Fabry perot cavity)濾波器所形成，以使不同的濾光區域有不同波長穿透。其中，該法布里-伯羅空腔濾波器之空腔兩端係例如具有高折射率與低折射率介電薄膜所交錯堆疊而成之高反射膜，或該法布里-伯羅空腔濾波器之空腔兩端係例如具有金屬反射膜，本揭露並不以此為限。
以下以第5至10圖說明該法布里-伯羅空腔濾波器之 空腔兩端具有高折射率與低折射率介電薄膜所交錯而成之高反射膜之各實施例，以及運用至本揭露之多波長濾光片12並搭配本揭露之影像感測裝置10後之運作情形。
如第5圖所示，並參見第3圖之圖式，多波長濾光片12之一濾光區域123係例如設計為穿透波長在390nm且頻寬小於10nm之法布里-伯羅空腔濾波器，由第5圖所示之光譜可知，在穿透波長390nm兩旁之穿透率非常低，但波長約在大於550nm時，開始有不要的光訊號穿透。又如穿透波長設計在500nm之濾波器，頻寬小於10nm，在穿透波長500nm兩旁之穿透率非常低，但波長約在大於700nm時，開始有不要的光訊號穿透。因此，多波長濾光片12之該複數個濾光區域之穿透波長位於390至500nm之波長範圍時，係使用該複數個濾光區塊為藍色者後之感光單元來進行訊號擷取。如第3圖所示，濾光區域123之穿透波長設計為400nm時，則可使用對應該濾光區域123之複數個感光單元中前設有藍色之濾光區塊1021者來進行感光擷取，以產生複數組影像光譜。此時，該藍色之濾光區塊1021係相當於一個低通濾波器(low pass filter)。
如第6圖所示，多波長濾光片12之一濾光區域121係例如設計為穿透波長在600nm且頻寬小於10nm之法布里-伯羅空腔濾波器，在穿透波長600nm兩旁之穿透率非常低，但在波長小於430nm時，開始有不要的光訊號穿透。又如穿透波長設計在760nm之濾波器，頻寬小於10nm，在穿透波長760nm兩旁之穿透率非常低，但波長在小於540 nm時，開始有不要的光訊號穿透。因此，該複數個濾光區域之穿透波長位於600至760nm之波長範圍時，係使用該複數個濾光區塊為紅色者後之感光單元來進行訊號擷取。如第3圖所示，濾光區域121之穿透波長設計為650nm時，則可使用對應該濾光區域121之複數個感光單元中前設有紅色之濾光區塊1023者來進行感光擷取，以產生複數組影像光譜。此時，該紅色之濾光區塊1023係相當於一個高通濾光片(high pass filter)。
如第7圖所示，多波長濾光片12之一濾光區域122係例如設計為穿透波長設計在510nm且頻寬小於10nm之法布里-伯羅空腔濾波器，在穿透波長510nm兩旁之穿透率非常低，但波長在大於700nm時，開始有不要的光訊號穿透。又如穿透波長設計在590nm之濾波器，頻寬小於10nm，在穿透波長590nm兩旁之穿透率非常低，但波長在小於420nm時，開始有不要的光訊號穿透。因此，該複數個濾光區域之穿透波長位於510至590nm之波長範圍時，係使用該複數個濾光區塊為綠色者後之感光單元來進行訊號擷取。如第3圖所示，濾光區域122之穿透波長設計為550nm時，則可使用對應該濾光區域122之複數個感光單元中前設有綠色之濾光區塊1022者來進行感光訊號擷取，以產生複數組影像光譜。此時，該綠色之濾光區塊1022係相當於一個帶通濾光片(band pass filter)。
如第8圖所示，穿透波長設計在650nm之濾波器，波長在小於460nm或大於930nm時，開始有不要的光訊號穿 透；如第9圖所示，穿透波長設計在550nm之濾波器，波長在小於400nm或大於790nm時，開始有不要的光訊號穿透；如第10圖所示，穿透波長設計在450nm之濾波器，波長在大於640nm時，開始有不要的光訊號穿透。因此，如前所述，可針對濾光區域之穿透波長設計，使用不同之對應該濾光區域之複數個感光單元中前設有紅色、綠色或藍色之濾光區塊者來個別進行感光擷取，以產生影像光譜。例如穿透波長設計在450nm，係使用設有藍色濾光區塊之感光單元；穿透波長設計在550nm，係使用設有綠色濾光區塊之感光單元；穿透波長設計在650nm，係使用設有紅色濾光區塊之感光單元。
以下再以第13圖說明該法布里-伯羅空腔濾波器之空腔兩端具有金屬反射膜之實施例，以及運用至本揭露之多波長濾光片12並搭配本揭露之影像感測裝置10後之運作情形。
如第13圖所示，該法布里-伯羅空腔濾波器之空腔兩端具有金屬反射膜(例如為銀、鋁之材料)可以涵蓋較長之波長範圍，並可藉由變化兩端金屬膜間之一共振腔長度來調變所述濾波器之可穿透之波長，但是在某些波長會出現二階共振波長。請參見第13圖，該濾波器之穿透波長設計在370nm，由第13圖所示之光譜圖可知波長為690nm(第二階共振波長)之光訊號也可以穿透，由上所述之各實施例可知，可搭對應該濾波器之藍色濾光區塊之感光單元以進行感光擷取，以濾除該波長為690nm之二階共振波長之光 訊號。
據此，該標的場景14之複數組相同影像光行經該複數組濾光區域後，令該影像感測裝置10使用對應該複數組濾光區域之穿透波長的複數個濾光區塊後之複數個感光單元進行擷取，以產生如第12圖所示之所設定之波長範圍(如λ1...λn至λm等，λ1...λn至λm可對應如前述400、423.75、447.5......780nm之波長範圍)之複數組影像光譜15。由於彩色濾光片102之複數個濾光區塊可作為濾光片濾掉不欲波段之光訊號，因此本揭露能達到多個單波長窄頻的濾波效果。
如第11圖所示，本揭露之多點光譜系統1復可包括計算裝置13，在產生複數組影像光譜後，利用該計算裝置13接收該複數組影像光譜之影像及光譜資訊。本揭露之計算裝置13可將該複數組影像光譜合成為該標的場景之彩色影像，另可以一演算法對該影像中之物件進行辨識，以獲知該標的場景中之物件資訊。由於本揭露之系統可具有彩色影像及/或影像光譜之辨識資料來源，因此可利用彩色影像資訊直接作辨識，亦可搭配使用影像光譜資訊來進行辨識，可有效提昇辨識正確度。以下進一步說明計算裝置13所具有之軟體模組功能。
在本實施例中，計算裝置13可包括合成模組131、切割模組132、前處理模組133、特徵擷取模組134、第一分類模組135、第二分類模組136及資料庫137。
在計算裝置13接收該複數組影像光譜後，該合成模組 131可將該複數組影像光譜合成以得出對應該標的場景之影像光譜資訊，如第12圖所示，將該複數組影像光譜15位於同一點像素之光譜資訊繪製成X軸為波長、Y軸為亮度之光譜訊號圖。如將複數組影像光譜15中同一點像素151之光譜資訊繪製成光譜訊號曲線153，將複數組影像光譜15中同一點像素152之光譜資訊繪製成光譜訊號曲線154。
於另一實施例，合成模組131亦可將對該複數組影像光譜資訊進行合成，以獲得該標的場景之一彩色影像，係例如將各該影像光譜中每個(x,y)位置之像素的光譜，執行色度計算，算出對應CIE-XYZ彩色空間之XYZ值，再依公式轉換為CIE-RGB彩色空間之RGB值，即可得到(x,y)位置的RGB值。XYZ計算公式以及XYZ to RGB轉換公式如下，本揭露並不限定以下公式：
R=3.240479* X-1.53715* Y-0.498535* Z
G=-0.969256* X+1.875991* Y+0.041556* Z
B=0.055648* X-0.204043* Y+1.057311* Z
其中，I(λ)為每個(x,y)位置的光譜資訊，(λ),(λ),(λ)為人眼視效函數。
另外，切割模組132係例如將該標的場景之一影像切割成多個區域。於一實施例中，區域的切割也可以是依據 物質的類別或是具有共同特徵者，例如：本揭露之系統所擷取之標的場景之影像中包含一個餐盤上有各類配菜之影像，如：宮保雞丁、番茄炒蛋、炒青菜等，在本實施例，宮保雞丁被分成一區域、番茄炒蛋被分成一區域、炒青菜分成一區域等。每個區域以一個像素或是多個像素的集合為最小單位，甚至也可以一個區域本身即為最小單位。最小單位具有一代表光譜，最小單位若是多於一個像素，以其內像素的平均光譜為代表光譜。以下敘述係為將每個區域進行處理之說明。
前處理模組133去除代表光譜之雜訊。例如使用低通濾波器、高斯濾波器或其他任何去雜訊方法。於一實施例中，本揭露係採用希爾伯特-黃轉換法(Hilbert Huang Transform)或是移動平均(Moving Average)去除雜訊，但本揭露並不以此為限。
特徵擷取模組134係針對每個區域之最小單元進行特徵值之擷取。於本實施例中，特徵擷取模組134係採主成份分析法(Principal components analysis)以擷取特徵值，但本揭露並不以此為限。
第一分類模組135將該複數個區域中之最小單元的特徵值與一資料庫137中所儲存之特徵值比對，並產生單組或複數組相似性結果。
於一實施例中，該第一分類模組135係計算該複數個區域中之最小單元的特徵值與一資料庫137中所儲存之特徵值之歐基里德距離(Euclidean distance)，該歐基里德距 離之計算公式如下：
然後利用徑向基函數核(radial basis function kernel)原理將該歐基里德距離轉換成數值介於0至1的相似性(Similarity)，輸出相似性前五大者作為該複數組相似性結果，其中，相似性結果最大值係為1.0，而該複數組相似性結果係大於閥值，如0.8者，且任二個相似性結果之正確率誤差絕對值皆小於閥值，如0.04者，即可作為該標的場景之辨識結果。上述閥值僅為本揭露之一實施例，本揭露並不以此為限。
於另一實施例中，該第一分類模組135更可進行粗分步驟，比較後把同一區域中認為是同一類的最小單位之代表光譜相加平均，以增加訊噪比，再把這些被平均過的光譜，重複前述第一分類模組135之比對步驟，來得到單個或複數組相似性結果之最終辨識結果。
若該區域最小單位之任二個相似性結果之正確率誤差絕對值小於一閥值(如0.04，但本揭露並不以此為限)時，任二個相似性結果之正確率誤差高於設定值(如0.5，但本揭露並不以此為限)時，則第二分類模組136將對該區域所有最小單元代表光譜以分解法(unmixing)產生新的複數組相似性結果。該第二分類模組136更可以根據分解法所產生的複數組相似性結果，對該複數組相似性結果之各區域的每個像素分類，取得屬同一類之像素之平均光 譜，再對該平均光譜做上述第一分類模組135產生單組或複數組相似性結果之辨識。如：番茄炒蛋區域，先以所有最小單元之光譜以分解法分出未知兩類A、B，此區域的每個像素再依此結果分別歸類是屬A還是B，完成A像素與B像素的粗分，接著把所有A像素之光譜平均後再做辨識，同理把所有B像素之光譜平均後再做辨識。
該第二分類模組136係應用在第一分類模組135無法產生相似性結果之時，例如在辨識食物時，遇到混合食物導致食物光譜不屬於資料庫137中所儲存之任一食物光譜的情形，或是食物光譜相近之情形。
綜上所述，本揭露之多點光譜系統係以多波長濾光片搭配影像感測裝置之彩色濾光片，形成具有多個單波長窄頻的濾波效果，以使影像感測裝置之彩色影像感測器中複數個感光單元來進行影像擷取，所產生的影像光譜則可供後續影像辨識使用。本揭露之多點光譜系統中成像透鏡11及多波長濾光片12可製成一整合之外掛模組，具有簡化架構、降低成本、普及應用之功效。
上述實施形態僅為例示性說明本揭露之技術原理、特點及其功效，並非用以限制本揭露之可實施範疇，任何熟習此技術之人士均可在不違背本揭露之精神與範疇下，對上述實施形態進行修飾與改變。然任何運用本揭露所教示內容而完成之等效修飾及改變，均仍應為下述之申請專利範圍所涵蓋。而本揭露之權利保護範圍，應如下述之申請專利範圍所列。
1‧‧‧多點光譜系統
10‧‧‧影像感測裝置
101‧‧‧彩色影像感測器
102‧‧‧彩色濾光片
11‧‧‧成像透鏡
12‧‧‧多波長濾光片

Claims (16)

  1. 一種多點光譜系統，包括：影像感測裝置，包括彩色影像感測器及設置於該彩色影像感測器上之彩色濾光片，其中，該彩色影像感測器由複數個感光單元以陣列方式排列而成，該彩色濾光片包括複數個濾光區塊；成像透鏡，位於該影像感測裝置之前，係用以使一標的場景形成複數組相同影像；以及多波長濾光片，位於該成像透鏡與該影像感測裝置之間，該多波長濾光片具有對應該複數組相同影像之複數組濾光區域，其中，該複數組濾光區域分別具有不同之穿透波長；其中，該複數組相同影像之影像光行經該複數組濾光區域濾波後，令該影像感測裝置使用對應該複數組濾光區域之穿透波長的複數個濾光區塊後之複數個感光單元進行擷取，以產生複數組影像光譜；其中，該複數組濾光區域之穿透波長位於510至590nm之範圍時，係使用該複數個濾光區塊為綠色者後之感光單元來進行擷取；其中，該複數組濾光區域之穿透波長位於390至500nm之範圍時，係使用該複數個濾光區塊為藍色者後之感光單元來進行擷取；其中，該複數組濾光區域之穿透波長位於600至760nm之範圍時，係使用該複數個濾光區塊為紅色者 後之感光單元來進行擷取。
  2. 如申請專利範圍第1項所述之多點光譜系統，其中，該感光單元包括由矽、有機材料或量子點材料所製成之感光層。
  3. 如申請專利範圍第1項所述之多點光譜系統，其中，該彩色影像感測器為彩色互補性金屬半導體影像感測器或彩色感光耦合元件影像感測器。
  4. 如申請專利範圍第1項所述之多點光譜系統，其中，該多波長濾光片之複數組濾光區域係以不同腔長之法布里-伯羅空腔(Fabry perot cavity)濾波器所形成。
  5. 如申請專利範圍第4項所述之多點光譜系統，其中，該法布里-伯羅空腔濾波器之兩端具有高折射率與低折射率介電薄膜堆疊之反射膜。
  6. 如申請專利範圍第4項所述之多點光譜系統，其中，該法布里-伯羅空腔濾波器之兩端具有金屬反射膜。
  7. 如申請專利範圍第1項所述之多點光譜系統，復包括計算裝置，用以接收該複數組影像光譜。
  8. 如申請專利範圍第7項所述之多點光譜系統，其中，該計算裝置包括：合成模組，用以將該複數組影像光譜合成出該標的場景之影像光譜資訊；切割模組，用以將該標的場景之彩色影像切割成複數個區域；特徵擷取模組，用以擷取該複數個區域中的特徵 值；以及第一分類模組，用以將該複數個區域中的特徵值與一資料庫中所儲存之特徵值比對，並產生單組或複數組相似性結果。
  9. 如申請專利範圍第8項所述之多點光譜系統，其中，該特徵擷取模組係採主成份分析法以擷取特徵值。
  10. 如申請專利範圍第8項所述之多點光譜系統，其中，該合成模組係用以將該複數組影像光譜資訊執行色度計算以得出該彩色影像。
  11. 如申請專利範圍第8項所述之多點光譜系統，其中，該第一分類模組係計算該複數個區域中的特徵值與該資料庫中所儲存之特徵值之歐基里德距離，並利用高斯函數將該歐基里德距離轉換成相似性，輸出相似性前五大者作為該複數組相似性結果。
  12. 如申請專利範圍第11項所述之多點光譜系統，其中，該計算裝置復包括第二分類模組，該第二分類模組係將該複數組相似性結果係小於一閥值者以分解法產生新的複數組相似性結果。
  13. 如申請專利範圍第12項所述之多點光譜系統，其中，該第二分類模組更對該以分解法產生新的複數組相似性結果中之各該複數個區域的每個像素分類，取得屬同一類之像素之平均光譜，再對該平均光譜做辨識。
  14. 如申請專利範圍第8項所述之多點光譜系統，其中，該切割模組以一個像素或是多個像素的集合為最小單位。
  15. 一種多點光譜系統，包括：影像感測裝置，包括彩色影像感測器及設置於該彩色影像感測器上之彩色濾光片，其中，該彩色影像感測器由複數個感光單元以陣列方式排列而成，該彩色濾光片包括複數個濾光區塊；成像透鏡，位於該影像感測裝置之前，係用以使一標的場景形成複數組相同影像；以及多波長濾光片，位於該成像透鏡與該影像感測裝置之間，該多波長濾光片具有對應該複數組相同影像之複數組濾光區域，其中，該複數組濾光區域分別具有不同之穿透波長；其中，該複數組相同影像之影像光行經該複數組濾光區域濾波後，令該影像感測裝置使用對應該複數組濾光區域之穿透波長的複數個濾光區塊後之複數個感光單元進行擷取，以產生複數組影像光譜；其中，該多波長濾光片之複數組濾光區域係以不同腔長之法布里-伯羅空腔(Fabry perot cavity)濾波器所形成。
  16. 一種多點光譜系統，包括：影像感測裝置，包括彩色影像感測器及設置於該彩色影像感測器上之彩色濾光片，其中，該彩色影像感測器由複數個感光單元以陣列方式排列而成，該彩色濾光片包括複數個濾光區塊；成像透鏡，位於該影像感測裝置之前，係用以使一 標的場景形成複數組相同影像；多波長濾光片，位於該成像透鏡與該影像感測裝置之間，該多波長濾光片具有對應該複數組相同影像之複數組濾光區域，其中，該複數組濾光區域分別具有不同之穿透波長；以及計算裝置，包括合成模組、切割模組、特徵擷取模組以及第一分類模組；其中，該複數組相同影像之影像光行經該複數組濾光區域濾波後，令該影像感測裝置使用對應該複數組濾光區域之穿透波長的複數個濾光區塊後之複數個感光單元進行擷取，以產生複數組影像光譜；其中，該計算裝置用以接收該複數組影像光譜，該合成模組用以將該複數組影像光譜合成出該標的場景之影像光譜資訊，該切割模組用以將該標的場景之彩色影像切割成複數個區域，該特徵擷取模組用以擷取該複數個區域中的特徵值，且該第一分類模組用以將該複數個區域中的特徵值與一資料庫中所儲存之特徵值比對，並產生單組或複數組相似性結果。
TW104140286A 2015-12-02 2015-12-02 多點光譜系統 TWI579540B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW104140286A TWI579540B (zh) 2015-12-02 2015-12-02 多點光譜系統
US14/980,532 US9948868B2 (en) 2015-12-02 2015-12-28 Multi-point spectral system and multi-point spectral module to be mounted on, clipped on or connected to an image capturing module of an electronic device easily

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104140286A TWI579540B (zh) 2015-12-02 2015-12-02 多點光譜系統

Publications (2)

Publication Number Publication Date
TWI579540B true TWI579540B (zh) 2017-04-21
TW201721113A TW201721113A (zh) 2017-06-16

Family

ID=58798827

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104140286A TWI579540B (zh) 2015-12-02 2015-12-02 多點光譜系統

Country Status (2)

Country Link
US (1) US9948868B2 (zh)
TW (1) TWI579540B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5987573B2 (ja) * 2012-09-12 2016-09-07 セイコーエプソン株式会社 光学モジュール、電子機器、及び駆動方法
SG10201911462UA (en) * 2015-08-04 2020-02-27 Agency Science Tech & Res Hyperspectral imaging apparatus and method
KR102248185B1 (ko) * 2016-02-02 2021-05-04 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 비디오 스트리밍의 관심 장면 섹션 및 영역 처리
WO2018199902A1 (en) * 2017-04-24 2018-11-01 Hewlett-Packard Development Company, L.P. Ambient light color compensation
EP3633334B1 (en) 2018-10-04 2022-12-28 IMEC vzw Spectral sensor for multispectral imaging
JPWO2020080045A1 (ja) * 2018-10-15 2021-09-09 パナソニックＩｐマネジメント株式会社 物体認識方法、車両制御方法、情報表示方法、および物体認識装置
CN111024230B (zh) * 2019-11-28 2022-03-29 天津津航技术物理研究所 高低通分布式单谱段集成型光谱成像芯片结构
JP7543012B2 (ja) * 2020-07-13 2024-09-02 キヤノン株式会社 装置、及びシステム
JPWO2022044692A1 (zh) * 2020-08-24 2022-03-03
FR3116899B1 (fr) * 2020-11-30 2023-07-21 Silios Tech Imageur multispectral à domaine spectral élargi.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200521478A (en) * 2003-12-19 2005-07-01 Ind Tech Res Inst Portable frequency spectrum image capturing system
US20050243312A1 (en) * 1999-04-09 2005-11-03 Frank Geshwind Devices and method for spectral measurements
TW201332352A (zh) * 2012-01-20 2013-08-01 Htc Corp 影像擷取裝置與方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4957371A (en) 1987-12-11 1990-09-18 Santa Barbara Research Center Wedge-filter spectrometer
JP2768453B2 (ja) 1992-03-03 1998-06-25 キヤノン株式会社 固体撮像装置及びそれを用いた装置
US7554586B1 (en) 1999-10-20 2009-06-30 Rochester Institute Of Technology System and method for scene image acquisition and spectral estimation using a wide-band multi-channel image capture
US7084972B2 (en) 2003-07-18 2006-08-01 Chemimage Corporation Method and apparatus for compact dispersive imaging spectrometer
US7385704B2 (en) 2005-03-30 2008-06-10 Xerox Corporation Two-dimensional spectral cameras and methods for capturing spectral information using two-dimensional spectral cameras
US7855786B2 (en) 2006-01-09 2010-12-21 Bae Systems Spectral Solutions Llc Single camera multi-spectral imager
US8031243B2 (en) * 2007-07-06 2011-10-04 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating image
KR100853196B1 (ko) 2007-12-11 2008-08-20 (주)실리콘화일 스펙트럼센서를 구비하는 이미지 센서
CN101320138B (zh) 2008-05-16 2011-04-06 中国科学院西安光学精密机械研究所 同时获取立体和多光谱图像的方法及设备
US8300108B2 (en) 2009-02-02 2012-10-30 L-3 Communications Cincinnati Electronics Corporation Multi-channel imaging devices comprising unit cells
JP5589526B2 (ja) 2010-03-18 2014-09-17 株式会社リコー 定着装置及び画像形成装置
TWI472724B (zh) 2010-07-21 2015-02-11 Instr Technology Res Ct Nat Applied Res Lab Timing multi - spectral imaging device
US9019358B2 (en) 2011-02-08 2015-04-28 Xerox Corporation Method for classifying a pixel of a hyperspectral image in a remote sensing application
US9025024B2 (en) 2011-09-28 2015-05-05 Xerox Corporation System and method for object identification and tracking
EP2776799B1 (en) * 2011-11-04 2019-05-22 IMEC vzw Spectral camera with mirrors for projecting multiple adjacent image copies onto sensor array
WO2013116316A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Hyperspectral imaging systems, units, and methods
CN202614972U (zh) 2012-05-08 2012-12-19 孔令华 一种成像光谱滤光片
US20130331669A1 (en) * 2012-06-11 2013-12-12 Raytheon Company Multi-spectral imaging system and method for remote biometric measurement of human physiological parameters
JP2014095688A (ja) * 2012-10-09 2014-05-22 Ricoh Co Ltd 撮像装置及び撮像システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050243312A1 (en) * 1999-04-09 2005-11-03 Frank Geshwind Devices and method for spectral measurements
TW200521478A (en) * 2003-12-19 2005-07-01 Ind Tech Res Inst Portable frequency spectrum image capturing system
TW201332352A (zh) * 2012-01-20 2013-08-01 Htc Corp 影像擷取裝置與方法

Also Published As

Publication number Publication date
US9948868B2 (en) 2018-04-17
TW201721113A (zh) 2017-06-16
US20170163901A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
TWI579540B (zh) 多點光譜系統
Mihoubi et al. Multispectral demosaicing using pseudo-panchromatic image
US10027868B2 (en) Sensor-synchronized spectrally-structured-light imaging
US20170347086A1 (en) Imaging system including light source, image sensor, and double-band pass filter
EP2721828B1 (en) High resolution multispectral image capture
US7835002B2 (en) System for multi- and hyperspectral imaging
US9019358B2 (en) Method for classifying a pixel of a hyperspectral image in a remote sensing application
US8810658B2 (en) Estimating a visible vector representation for pixels in an infrared image
CN105988215B (zh) 一种多光谱模组成像系统及其制造方法和应用
Shen et al. Rapid detection of camouflaged artificial target based on polarization imaging and deep learning
US10237519B2 (en) Imaging apparatus, imaging system, image generation apparatus, and color filter
Takatani et al. One-shot hyperspectral imaging using faced reflectors
US10334185B2 (en) Image capturing device, signal separation device, and image capturing method
El Helou et al. Correlation-based deblurring leveraging multispectral chromatic aberration in color and near-infrared joint acquisition
US9189703B2 (en) Systems and methods for colorimetric and spectral material estimation
FI20186038A1 (en) Equipment that enables the use of a photographic digital camera for multi- and / or hyperspectral imaging
US10614559B2 (en) Method for decamouflaging an object
Sadeghipoor et al. Demultiplexing visible and near-infrared information in single-sensor multispectral imaging
Mihoubi et al. Illumination-robust multispectral demosaicing
Jia et al. Single-shot Fourier transform multispectroscopy
US11079277B2 (en) Spectral imaging device and method
Mihoubi et al. Spatio-spectral binary patterns based on multispectral filter arrays for texture classification
Shrestha et al. Computational color constancy using chromagenic filters in color filter arrays
KR102287082B1 (ko) 다단계 이종 필터 시스템을 이용한 소형 초분광 이미지 센서
EP3497415A1 (en) Spectral imaging system