TW202409544A - 拍攝裝置、檢查裝置、拍攝條件決定方法及拍攝方法 - Google Patents
拍攝裝置、檢查裝置、拍攝條件決定方法及拍攝方法 Download PDFInfo
- Publication number
- TW202409544A TW202409544A TW112115511A TW112115511A TW202409544A TW 202409544 A TW202409544 A TW 202409544A TW 112115511 A TW112115511 A TW 112115511A TW 112115511 A TW112115511 A TW 112115511A TW 202409544 A TW202409544 A TW 202409544A
- Authority
- TW
- Taiwan
- Prior art keywords
- mentioned
- pixel
- image
- light source
- monochromatic light
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims description 99
- 238000000034 method Methods 0.000 title claims description 78
- 230000003321 amplification Effects 0.000 claims abstract description 78
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 78
- 239000011159 matrix material Substances 0.000 claims abstract description 61
- 230000035945 sensitivity Effects 0.000 claims abstract description 61
- 239000003086 colorant Substances 0.000 claims abstract description 34
- 230000003595 spectral effect Effects 0.000 claims description 69
- 238000003384 imaging method Methods 0.000 claims description 62
- 239000000463 material Substances 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 17
- 230000001580 bacterial effect Effects 0.000 claims description 16
- 230000001678 irradiating effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 abstract description 19
- 230000008569 process Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 18
- 239000001963 growth medium Substances 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 239000012535 impurity Substances 0.000 description 10
- 235000013305 food Nutrition 0.000 description 8
- 239000000047 product Substances 0.000 description 7
- 235000013361 beverage Nutrition 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 241000894006 Bacteria Species 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000306 component Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000032258 transport Effects 0.000 description 3
- 235000005338 Allium tuberosum Nutrition 0.000 description 2
- 244000003377 Allium tuberosum Species 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 235000013325 dietary fiber Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 235000015110 jellies Nutrition 0.000 description 1
- 239000008274 jelly Substances 0.000 description 1
- 239000011344 liquid material Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002609 medium Substances 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 235000021067 refined food Nutrition 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Abstract
相機(31)的RGB畫素包含在第1波長區域具有感度的第1畫素及在第2波長區域具有感度的第2畫素。第1波長區域與第2波長區域之間在一部分的重複波長區域有重複。單色光為包含第1波長區域的至少一部分及重複波長區域的至少一部分的發光波長區域的光。影像處理部(50)具備演算處理部(52)及增幅部(53)。演算處理部(52)會藉由對來自相機(31)的3波帶的RGB影像進行線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像。增幅部(53)的增幅率是設定為如下值:能夠使單色光照明下第1畫素與第2畫素之間的各輸出等級在2色間取得色彩平衡。
Description
本發明是關於一種拍攝裝置、檢查裝置、拍攝條件決定方法及拍攝方法,其可將被拍物件的拍攝影像中種類不同之類似的顏色的對象輸出成為容易識別的影像。
例如專利文獻1~3揭示一種檢查裝置,其具備將例如菌落作為拍攝對象進行拍攝的拍攝裝置。專利文獻1是利用黑白CCD相機的簡易裝置構成,不需要對培養基進行複雜的事前處理,就能在短時間內精確地計數培養皿內所培養的微生物的菌落數,甚至包含各種形狀的微小菌落。
專利文獻2、3揭示一種菌落檢測系統,其可精準地識別顏色特徵量不同的2種以上的菌落。為了精準地識別顏色特徵量不同的2種以上的菌落,該菌落檢測系統會根據菌落像素的顏色特徵量將菌落像素分類成各種預先決定好的種類別藉此識別菌落。
以上方式可以檢測當識別紅紫或藏青等顏色特性不同的2種以上的菌落時對屬於中間色的菌進行判別之無法僅使用灰階檢測菌落來判別的情形,或識別作為目標的菌與該菌類似的菌時顏色特性為同系色的情形。
先前技術文獻
專利文獻
專利文獻1: 日本特開2006-345750號公報
專利文獻2: 日本特開2017-035042號公報
專利文獻3: 日本特開2016-26500號公報
發明所欲解決之課題
然而,有時會有菌落的種類不同但顏色類似的多種菌落。此時,即使專利文獻2、3記載的菌落檢測系統中使用顏色特徵量仍會有難以識別具有類似相機拍攝到的影像的顏色特徵的種類不同的菌落這樣的課題。其中,識別對象不限於菌落,種類不同但顏色類似的對象也會有相同的課題。
用以解決課題之手段
以下,針對用以解決上述課題的手段及其作用效果進行記載。
用以解決上述課題的拍攝裝置,其拍攝被拍物件並將上述被拍物件所包含之2種類不同的素材所構成的區域輸出成為能夠識別的影像;上述拍攝裝置具備拍攝部、單色光源、控制部、及影像處理部;上述拍攝部中,拍攝上述被拍物件的拍攝元件具有RGB畫素;上述單色光源會以單色光照明上述被拍物件;上述控制部會控制上述單色光源及上述拍攝部;上述影像處理部會對拍攝到上述被拍物件的上述拍攝部所輸出的3波帶的RGB影像實施特定的處理;上述RGB畫素包含在第1波長區域具有感度的第1畫素及在第2波長區域具有感度的第2畫素;上述第1波長區域與上述第2波長區域之間在一部分的重複波長區域有重複;上述單色光為包含上述第1波長區域的至少一部分及上述重複波長區域的至少一部分的發光波長區域的光;上述影像處理部具備演算處理部及增幅部;上述演算處理部會藉由對上述3波帶的RGB影像進行線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像;上述增幅部會以增幅率將構成上述XYZ影像的XYZ値當中分別對應上述第1畫素與上述第2畫素的各値進行增幅,該增幅率是設定為如下值:在從上述單色光源照射單色光的條件下,能夠將上述第1畫素與上述第2畫素之間的各輸出等級在2色間取得色彩平衡。
根據該構成,拍攝裝置能夠輸出可藉由顏色或濃度來識別被拍物件所包含之2種類不同的素材所構成的區域的影像。例如當影像用於檢查時,能夠以比較高的精確度將影像中所包含之2種類不同的素材進行識別或分類。其中,本說明書中所謂「濃度」是相當於畫素等級、訊號等級、畫素値等的概念。
上述拍攝裝置亦可為:上述影像處理部會將上述被拍物件當中識別對象以外的基準部分作為對象進行黑平衡處理,然後生成上述3波帶的XYZ影像。
根據該構成,由於會進行黑平衡處理,故即使拍攝被拍物件時的環境發生變化仍能夠輸出可藉由適當的顏色或濃度來識別素材的影像。
上述拍攝裝置亦可為:上述單色光源為藍色光源或紅色光源;當上述單色光源為上述藍色光源時,上述第1畫素為B畫素,且上述第2畫素為G畫素;當上述單色光源為上述紅色光源時,上述第1畫素為R畫素,且上述第2畫素為G畫素。
根據該構成,G畫素即使對於作為藍色光源的光源色之藍色光仍會在重複波長區域的至少一部分具有感度。因此,當以藍色光照明拍攝時,能夠使G影像的感度波長區域相較於廣用相機的G影像的感度波長區域來得更窄。此外,G畫素即使對於作為紅色光源的光源色之紅色光仍會在重複波長區域的至少一部分具有感度。因此,當以紅色光照明拍攝時,能夠使G影像的感度波長區域相較於廣用相機的G影像的感度波長區域來得更窄。藉由將RGB影像進行線性矩陣演算,從而能夠將G影像中已縮減的感度波長區域進一步縮限或使波長偏移。因此,能夠輸出可藉由適當的顏色或濃度來識別素材的影像。
上述拍攝裝置亦可為:當上述單色光源設為第1單色光源時,進而具備第2單色光源,其能夠照射發光波長區域與上述第1單色光源所照射的第1單色光的發光波長區域不同的第2單色光;上述RGB畫素包含上述第1畫素及上述第2畫素以外的第3畫素;上述控制部會同時進行上述第1單色光源與上述第2單色光源的照明,使上述拍攝部拍攝上述被拍物件;上述拍攝裝置具備增幅率設定部,其會設定當上述增幅部將上述XYZ値當中分別對應上述第1畫素與上述第2畫素的各値進行增幅時的上述增幅率;上述控制部會藉由因應上述第1單色光源的照度而設定的第2照度來進行上述第2單色光源的照明,或者因應給予上述RGB畫素當中上述第1畫素與上述第2畫素之間的輸出等級的上述各增幅率而藉由上述增幅率設定部來設定給予上述第3畫素的輸出等級的增幅率。
根據該構成,能夠藉由單色光源的照度的調整或者增幅率的設定,從而輸出可藉由適當的顏色或濃度來識別素材的影像。
用以解決上述課題的檢查裝置,其具備上述拍攝裝置;上述被拍物件包含作為上述2種類不同的素材的2種類的不同菌落;上述檢查裝置具備識別部,其會根據從上述拍攝裝置輸入的上述3波帶的XYZ影像來識別2種類的不同菌落的區域之菌落區域;上述XYZ影像包含X影像、Y影像及Z影像;上述識別部會將上述X影像中畫素等級位於閾値設定範圍內的區域設為第1菌落區域;上述識別部會將上述Y影像中畫素等級位於閾値設定範圍內的區域設為第2菌落區域;上述識別部會將上述Z影像中畫素等級位於閾値設定範圍內的區域設為第3菌落區域;上述識別部會將從上述第1菌落區域或上述第3菌落區域排除上述第2菌落區域後所剩下的菌落區域設為第4菌落區域;上述識別部具備分類部、計數部、及決定部;上述分類部會將上述第1菌落區域及上述第3菌落區域當中至少一者與上述第2菌落區域、上述第4菌落區域根據特徵及形狀進行分類;上述計數部會針對上述分類部所分類的上述菌落區域中各別的數量進行計數;上述決定部會根據上述計數部的計數結果來決定識別對象之2種類的菌落區域各別的數量。
根據該構成,能夠藉由單色光源的照度的調整或者增幅率的設定,從而輸出可藉由適當的顏色或濃度來識別素材的影像。因此,當影像用於檢查時,能夠以比較高的精確度將影像中所包含之2種類不同的素材進行識別或分類。
用以解決上述課題的拍攝條件決定方法,其使拍攝裝置將被拍物件所包含之2種類不同的素材所構成的區域輸出成為能夠識別的影像;上述拍攝裝置具備單色光源及拍攝部;上述單色光源會以單色光照明上述被拍物件;上述拍攝部包含拍攝上述被拍物件的RGB畫素;上述拍攝條件決定方法會進行下述第1~第5步驟;第1步驟:設定矩陣的係數使其在線性矩陣演算處理中與RGB影像相乘,藉此對從上述拍攝部輸出的3波帶的上述RGB影像進行上述線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像;第2步驟:按照使構成上述拍攝部的RGB畫素當中第1畫素的分光輸出特性與不同於上述第1畫素的第2畫素的分光輸出特性之間的波峰波長發生變化的方式使上述單色光源的發光波長變化,並以發光波長變化後的該單色光源照明上述被拍物件;第3步驟:以上述拍攝部拍攝上述第2步驟中以上述單色光照明的上述被拍物件;第4步驟:將作為上述第3步驟的拍攝結果之從上述拍攝部輸出的RGB影像與上述矩陣相乘從而生成XYZ影像;第5步驟:判斷上述第4步驟所生成的上述XYZ影像當中從上述第2畫素輸出的第2影像中上述2種類不同的素材的區域間的濃度差是否為特定的閾値以上;伴隨著上述第1步驟中上述係數的變化與上述第2步驟中上述發光波長的變化當中至少一者的變化反覆進行上述第1~第5步驟,直到上述第5步驟中上述濃度差成為特定的閾値以上。
根據該拍攝條件決定方法,能夠決定適當的拍攝條件,其可使拍攝裝置輸出可藉由顏色或濃度來識別被拍物件所包含之2種類不同的素材所構成的區域的影像。
用以解決上述課題的拍攝方法,其拍攝被拍物件並將上述被拍物件所包含之2種類不同的素材所構成的區域輸出成為能夠識別的影像;上述拍攝方法具備拍攝部及單色光源;上述拍攝部會拍攝上述被拍物件;上述單色光源會以單色光照明上述被拍物件;上述拍攝部具備拍攝元件,其具有RGB畫素;上述RGB畫素包含第1畫素及第2畫素,上述第1畫素在第1波長區域具有感度,上述第2畫素在第2波長區域具有感度;上述第1波長區域與上述第2波長區域之間在一部分的重複波長區域有重複;上述單色光為包含上述第1波長區域的至少一部分及上述重複波長區域的至少一部分的發光波長區域的光;上述拍攝方法包含拍攝步驟、演算處理步驟、及增幅步驟;上述拍攝步驟:上述拍攝部會拍攝上述單色光源所照明的上述被拍物件;上述演算處理步驟:藉由對拍攝到上述被拍物件的上述拍攝部所輸出的3波帶的RGB影像進行線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像;上述增幅步驟:使用各個增幅率將上述3波帶的XYZ影像當中對應上述第1畫素及上述第2畫素的2種影像進行增幅,該增幅率是設定為:在從上述單色光源照射上述單色光的條件下,能夠將上述第1畫素及上述第2畫素的輸出等級在2色間取得色彩平衡。
藉由該拍攝方法,能夠輸出可藉由顏色或濃度來識別被拍物件所包含之2種類不同的素材所構成的區域的影像。例如藉由使用該方法所輸出的影像,能夠以比較高的精確度將影像中所包含之2種類不同的素材進行識別或分類。
發明功效
根據本發明,能夠輸出可藉由顏色或濃度來識別被拍物件所包含之2種類不同的素材所構成的區域的影像。
以下,針對實施方式之拍攝裝置及檢查裝置參照圖式進行說明。
本實施方式為拍攝被拍物件12的拍攝裝置11裝載在進行被拍物件12的檢查的檢查裝置10上之例。其中,拍攝裝置11亦可具備檢查裝置10以外的其他的裝置,亦可單獨使用。
<檢查裝置>
如圖1所示,檢查裝置10具備拍攝裝置11及檢查處理部60,其中拍攝裝置11會拍攝被拍物件12,檢查處理部60會使用從拍攝裝置11輸入的影像進行被拍物件12的檢查。檢查裝置10亦可具備顯示部70,其會顯示檢查處理部60的檢查結果等。顯示部70亦可顯示從拍攝裝置11輸出的影像或對該影像實施處理後的影像等。顯示部70例如可為與個人電腦連接的螢幕,亦可為設置於檢查裝置10所具備的操作盤上的顯示器。
拍攝裝置11具備單色光源20、拍攝部30、控制部40、及影像處理部50,其中單色光源20會以單色光照明被拍物件12,拍攝部30會拍攝被拍物件12,控制部40會控制單色光源20及拍攝部30,影像處理部50會對從拍攝部30輸出之作為拍攝結果的拍攝訊號實施特定的處理。此外,拍攝裝置11具備電源45,其會對單色光源20供應電力。拍攝部30為例如彩色相機31。彩色相機31(以下簡稱「相機31」)與處理部18電性連接。處理部18包含上述控制部40及影像處理部50。處理部18亦可由電子電路及電腦當中至少一者構成。
單色光源20可為發出1種類單色光的1種類單色光源,亦可包含發出2種類單色光的2種類單色光源。此時,單色光源20亦可包含發出3種類單色光的3種類單色光源。當具備多種單色光源時,控制部40亦可為使其發出1種類或2種類單色光源的構成。此處,所謂1種類單色光源意指藍色光源、紅色光源、綠色光源當中任1種類。
單色光源是由例如LED構成。單色光源亦可為例如藍色LED、紅色LED及綠色LED當中任1種。本例的單色光源20至少具備藍色LED及紅色LED。因此,圖1所示的例中,電源45至少包含藍色LED電源46與紅色LED電源47。
控制部40具備控制拍攝部30的拍攝控制部41與控制單色光源20的照明控制部42。照明控制部42會通過電源45來控制單色光源20的點亮・熄滅。當單色光源20包含多種單色光源(LED)時,照明控制部42會通過電源45各別地控制各個單色光源的點亮・熄滅。因此,被拍物件12會受到單色光源20的單色光照明。其中,單色光源20亦可以2種類的單色光來照明被拍物件12。總而言之,只要不是3種類所有的單色光源(藍色光源、紅色光源、綠色光源)同時發出3種類的單色光(藍色光源、紅色光源、綠色光源)藉此以白色光來照明被拍物件12即可,可從藍色光、紅色光及綠色光當中適當選擇的2種類的單色光來照明被拍物件12。此外,檢查裝置10亦可具備作為被拍物件12之培養皿13或將顏色增幅率調整用的基準板等搬運對象搬運到特定位置的機器人。此時,亦可藉由控制部40來控制機器人,亦可藉由控制部40以外的其他控制部來控制機器人。
影像處理部50會對構成拍攝部30的相機31所輸出的RGB3波帶的第1拍攝訊號S1實施特定的影像處理從而生成XYZ3波帶的第2拍攝訊號S2(皆參照圖5)。其中,稱為第1拍攝訊號S1的RGB是指構成相機31的影像感測器33的R畫素、G畫素、B畫素分別能夠受光的各波長區域所決定的3色。此外,稱為第2拍攝訊號S2的XYZ是指構成第1拍攝訊號S1的RGB影像轉換成具有與RGB的各波長區域不同的各波長區域的XYZ影像後該XYZ影像的各波長區域所決定的3色。
檢查處理部60會使用根據從影像處理部50輸入的第2拍攝訊號S2的XYZ影像來檢查被拍物件12。
如圖1及圖2所示,被拍物件12包含培養皿13中培養的菌落WC、YC。詳細而言,被拍物件12包含培養皿13、培養皿13內的培養基14、培養基14中培養的菌落WC、YC。其中,菌落WC、YC在培養期間的初期或無菌時不會產生,故有時被拍物件12會不存在菌落WC、YC。
圖1及圖2所示之例中存在有2種類以上不同的菌落WC、YC。圖1、圖2的例中將種類不同的菌落WC、YC設為擁有類似顏色的2種類。此外,有時在培養基14中會存在如圖2所示般的雜質FS。例如當檢察食品或飲料中菌的產生的狀況時,食品或飲料中所含的食物纖維、食材的碎片、種子、皮、果肉等即為雜質FS。雜質FS有時會被誤認成菌落WC、YC。因此,檢查處理部60會根據特徵來識別菌落WC、YC與雜質FS。例如藉由形狀、面積、顏色等特徵因子來識別菌落WC、YC與雜質FS。菌落WC、YC一般而言會呈現圓形或橢圓形的形狀,且大小會在特定範圍內。當雜質FS為纖維時,該形狀會呈現細長的形狀。此外,當雜質FS為果肉、種子、皮等時,其形狀會與菌落WC、YC不同。例如亦可將外接矩形的長寬比設為形狀的特徵因子,若位於長寬比接近1的特定範圍內則判定為菌落WC、YC,若位於特定範圍之外則判定為雜質FS。此外,檢查處理部60會藉由面積(大小)的閾値將候選菌落識別成菌落WC、YC或是菌落WC、YC以外者。
如圖1及圖2所示,培養皿13是載置於背景板15(background sheet)的上面。背景板15會成為作為被拍物件12之培養皿13的背景。背景板15亦可為例如黑擴散板。亦可將背景板15設為黑色藉此使用作為黑平衡的黑色基準。培養皿13是由無色透明的材料(例如玻璃)構成。培養皿13中所收容的培養基14會視情況而染色。此時,培養基14有時會呈現顯露特定顏色的半透明。相機31所拍攝到的影像中,培養基14有時會有背景板15的黑色穿透。此外,當檢查食品或飲料時,有時受到食品或飲料的顏色的影像培養基14也會染色。其中,黑色的背景板15亦可為不具有將光加以擴散的擴散功能的黑色板等(black sheet)。此外,將背景板15作為黑平衡的基準時,亦可使用彩色板而不限於黑色(無彩色)板。
圖1、圖2中示意性表示的2種類的菌落為白色菌落WC與黃色菌落YC。白色菌落WC與黃色菌落YC為種類不同的菌落。因此,檢查上有必要將白色菌落WC與黃色菌落YC進行區分。然而,白色菌落WC與黃色菌落YC的顏色之白色與黃色為類似的顏色,故在相機31拍攝被拍物件12而得到的RGB影像中不容易識別。此外,構成RGB影像之R影像、G影像、B影像中也由於白色菌落WC與黃色菌落YC的濃度接近故不容易識別。因此在相機31拍攝被拍物件12而得到的RGB影像中不容易對白色菌落WC與黃色菌落YC進行識別。本實施方式中,藉由影像處理部50對來自相機31的第1拍攝訊號S1實施特定的影像處理,從而生成容易識別白色菌落WC與黃色菌落YC的XYZ影像。XYZ影像的詳細如後所述。
<相機31的構成>
接著參照圖3針對構成拍攝部30的相機31的內部構造進行說明。圖3中相機31是拍攝RGB影像的廣用的彩色相機。相機31具備組裝於鏡筒31a上的透鏡32、隔絕近紅外光的近紅外光截止濾光器35(以下稱IR截止濾光器35)、及影像感測器33。
影像感測器33具備由各別的受光元件所構成的R畫素33R、G畫素33G及B畫素33B。R畫素33R接收穿透R濾光器34R的紅色光(R光),並輸出對應受光量的R畫素訊號。G畫素33G接收穿透G濾光器34G的綠色光(G光),並輸出對應受光量的G畫素訊號。B畫素33B接收穿透B濾光器34B的藍色光(B光),並輸出對應受光量的B畫素訊號。影像感測器33中,R畫素33R、G畫素33G及B畫素33B是以既定的排列配置。
該影像感測器33具有近紅外光被遮蔽的RGB拍攝特性。R畫素33R、G畫素33G及B畫素33B分別對於圖3中右圖所示之不同波長帶的光具有感度。圖中横軸為波長,縱軸為相對感度。R畫素33R對於圖3的圖示中紅色(R)的波長帶的光具有高感度。G畫素33G對於圖示中綠色(G)的波長帶的光具有高感度。B畫素33B對於圖示中藍色(B)的波長帶的光具有高感度。
<單色光源20的構成>
接著參照圖4針對單色光源20的構成進行說明。
如圖4所示,單色光源20具備藍色光源21、綠色光源22、紅色光源23之3色(3種類)的單色光源。藍色光源21會發出作為單色光之藍色光(B光)。綠色光源22會發出作為單色光之綠色光(G光)。紅色光源23會發出作為單色光之紅色光(R光)。本實施方式的照明控制部42在拍攝被拍物件12時會發出作為單色光源的藍色光源21從而以藍色光(B光)來照明被拍物件12。其中,在沒有特別提到發光色(光源色)時,有時會將構成單色光源20的藍色光源21、綠色光源22、紅色光源23稱為單色光源21~23。
此處,單色光源20亦可具備白色光源的功能。詳細而言,單色光源20也具備白色光源功能,其藉由使3種類的單色光源21~23同時發光從而發出白色光。此時,控制部40會藉由將可使白色光源中RGB之3色的單色光分別發光的3種類的單色光源21~23當中任2種類(2色)發光從而使白色光源發揮單色光源的功能。本說明書中,單色光源20也包含具備像這種單色光源的功能的白色光源。其中,亦可將時間分割進行第1拍攝及第2拍攝,其中第1拍攝是以1種類或2種類的單色光進行照明來拍攝被拍物件12,第2拍攝是以白色光進行照明來拍攝被拍物件12。此時,白色光所拍攝到的影像亦可用於檢查。
控制部40要使哪一個單色光源發光是取決於檢查對象的菌落的分光反射率特性。此處,將被拍物件12拍攝時同時發光的2種類的單色光源當中的1種類設為主要的單色光源,也就是第1單色光源25,將另外的1種類設為補助光源,也就是第2單色光源26。本例中,如圖4所示,將藍色光源21設為第1單色光源25,將紅色光源23設為第2單色光源26。詳細而言,將藍色光源21作為主要的第1單色光源25,將紅色光源23作為補助光源之第2單色光源26,其中第2單色光源26可發出第2單色光,第2單色光(本例為R光)的發光波長區域與第1單色光源25照明被拍物件12的第1單色光(本例為B光)的發光波長區域不同。控制部40會將藍色光(B光)作為主要的單色光來照明被拍物件12,並將紅色光(R光)作為補助光來照明被拍物件12。第1單色光源25與第2單色光源26的組合要用RGB之3色當中哪2種顏色是視檢查對象的分光反射率特性來決定。
單色光源21~23為例如LED。本例中藍色光源21為藍色LED,綠色光源22為綠色LED,紅色光源23為紅色LED。控制部40可將3種類的單色光源21~23各自獨立地進行開/關控制。圖1所示之例中,當拍攝被拍物件12時,控制部40會點亮藍色LED,此外會再點亮紅色LED作為補助,其中為了識別檢查對象之白色菌落WC與黃色菌落YC而預先進行拍攝條件搜尋,結果決定使用藍色LED。其中,包含決定用於照明的單色光的方法之拍攝條件決定方法如後所述。
<影像處理部50及檢查處理部60的構成>
接著參照圖5針對影像處理部50及檢查處理部60的詳細的構成進行說明。
如圖5所示,被拍物件12的像通過透鏡32及IR截止濾光器35而成像於影像感測器33的拍攝面。影像感測器33會將作為被拍物件12的拍攝結果的第1拍攝訊號S1輸出至影像處理部50。第1拍攝訊號S1為包含來自各畫素33R、33G、33B的R拍攝訊號(紅色訊號)、G拍攝訊號(綠色訊號)及B拍攝訊號(藍色訊號)的串列訊號。其中,R拍攝訊號、G拍攝訊號及B拍攝訊號簡稱為R訊號、G訊號及B訊號。
如圖5所示,影像處理部50具備RGB分離部51、演算處理部52及增幅部53。RGB分離部51會將從影像感測器33輸入的第1拍攝訊號S1分離成R拍攝訊號、G拍攝訊號及B拍攝訊號。
演算處理部52會將從RGB分離部51輸入的R訊號、G訊號及B訊號轉換成X訊號、Y訊號及Z訊號。詳細而言,演算處理部52會藉由對作為R訊號、G訊號及B訊號的訊號値之RGB値實施線性矩陣演算,從而轉換成X訊號、Y訊號及Z訊號。演算處理部52中賦予著矩陣係數。此處,線性矩陣演算所用的矩陣為3×3矩陣。演算處理部52中賦予著3×3矩陣的係數。
演算處理部52會進行線性矩陣演算,將使用矩陣係數之特定的3×3矩陣乘上第1拍攝訊號S1的RGB値,然後轉換成擁有與第1拍攝訊號S1的RGB不同的分光特性且以XYZ表示的第2拍攝訊號S2。矩陣係數是一種用以將第1拍攝訊號S1的RGB分光成第2拍攝訊號S2的XYZ波帶之係數。
此處,將第1拍攝訊號S1之RGB訊號轉換成第2拍攝訊號S2之XYZ訊號的計算式可整理成如下式(1)。
數1
此處,a1~a3,b1~b3,c1~c3為矩陣係數,Gx、Gy、Gz為增幅率(gain)。該等矩陣係數是被圖5所示的矩陣係數設定部54所設定。此外,增幅率Gx、Gy、Gz是被圖5所示的增幅率設定部55所設定。增幅率設定部55所設定的增幅率之值為:在從第1單色光源25照射第1單色光的條件下,能夠將影像感測器33的RGB畫素當中第1畫素與第2畫素之間的各輸出等級在2色間取得色彩平衡。圖12所示之例中,增幅率設定部55所設定的增幅率之值為:在從第1單色光源25(即藍色光源21)照射第1單色光(即B光)的條件下,能夠將第1畫素(B畫素33B)與第2畫素(G畫素33G)之間的各輸出等級在2色(B色與G色)間取得色彩平衡。
演算處理部52會進行上述式(1)當中的線性矩陣演算處理,即將3×3矩陣乘上RGB値。演算處理部52會將乘上增幅率(gain)之前的XYZ値輸出至增幅部53。3×3矩陣設定有能夠提高3波帶的分離性的矩陣係數。
例如當使用圖10所示作為單色光源之藍色光源21與紅色光源23進行照明時,從圖11轉換成圖12及圖13的矩陣演算中賦予著如下的3×3矩陣的係數。詳細而言,3×3矩陣的係數為a1=2、a2=-0.04、a3=0、b1=-0.55、b2=1、b3=-0.25、c1=0、c2=-0.15、c3=1。該等矩陣係數是被圖5所示的矩陣係數設定部54所設定。此為其中一例,亦可設定其他的矩陣係數。
增幅部53會將來自演算處理部52的常規化前的XYZ値分別乘上增幅率設定部55所設定的X增幅率Gx、Y增幅率Gy、Z增幅率Gz。增幅部53會將XYZ轉換後的X値乘上X增幅率Gx,Y値乘上Y增幅率Gy,Z値乘上Z增幅率Gz。增幅部53會將常規化後的XYZ値作為第2拍攝訊號S2輸出。本例中增幅部53所設定之値為:在從藍色光源21照射單色光(B光)的條件下,能夠將B畫素33B與G畫素33G之間的各輸出等級在2色間取得色彩平衡。以此方式,影像處理部50會藉由對所輸入的第1拍攝訊號S1依序進行RGB分離處理、線性矩陣演算處理(XYZ轉換處理)及常規化處理,從而輸出第2拍攝訊號S2。如此一來3波帶的RGB影像訊號會轉換成3波帶的XYZ影像訊號。
<檢查處理部60的構成>
接著參照圖5針對檢查處理部60的構成進行說明。
檢查處理部60具備識別部61及判定部62。識別部61具備分類部63、計數部64及決定部65。
被拍物件12包含作為2種類不同的素材的2種類的不同菌落WC、YC。識別部61會根據從拍攝裝置11輸入的3波帶的XYZ影像來識別2種類的不同菌落WC、YC的區域之菌落區域。XYZ影像包含X影像、Y影像及Z影像。識別部61會將構成X影像的畫素値位於第1閾値所設定的範圍內的區域設為第1菌落區域。此外,識別部61會將構成Y影像的畫素値位於第2閾値所設定的範圍內的區域設為第2菌落區域。此外,識別部61會將構成Z影像的畫素値位於第3閾値所設定的範圍內的區域設為第3菌落區域。識別部61會將從第1菌落區域或第3菌落區域排除第2菌落區域後所剩下的菌落區域設為第4菌落區域。例如第1菌落區域或第3菌落區域為被拍物件12內所有的菌落WC、YC的區域。第2菌落區域為白色菌落WC或黃色菌落YC的區域。此處所述的第4菌落區域的演算式為圖12的情形之例,隨著欲識別的菌落的特性不同第4菌落區域的演算式會改變。其中,第1閾値~第3閾値為用來設定畫素値的特定範圍的閾値,並非只有中間閾値之1種類的閾値,亦可為上限閾値、下限閾値之2種類的閾値,或者用以設定2區間範圍之4種類的閾値。
識別部61會藉由閾値將閾値的範圍內特定的區域與其以外的區域進行二値化,並決定經二値化選出的檢查對象的區域。
分類部63會將第1菌落區域及第3菌落區域當中至少一者與第2菌落區域、第4菌落區域根據形狀及大小(面積)等特徵進行分類。
計數部64會針對分類部63所分類的菌落區域中各別的數量進行計數。
決定部65會根據計數部64的計數結果來決定識別對象之2種類的菌落區域各別的數量。
判定部62會根據2種類的菌落區域的各計數値來判定被拍物件12的培養皿13中菌落培養的結果所得到的檢查對象的好壞。其中,當檢查裝置10為菌落計數器時,亦可具備判定檢查對象好壞的判定功能作為補助功能,或為不具備判定部62的判定功能的構成。此外,當檢查裝置10的檢查對象並非菌落時,亦可將判定檢查對象好壞的判定功能作為主要功能。
<檢查對象之菌落的光反射特性與拍攝元件(影像感測器)的感度>
接著參照圖6針對即使利用廣用的彩色相機進行拍攝仍不容易識別顏色類似的2種類的菌落WC、YC的理由進行說明。此外,參照圖7針對即使是利用與本實施方式相同的廣用的彩色相機31拍攝而得的影像只要藉由對拍攝訊號實施特定的處理即可識別2種類的菌落WC、YC的原理進行說明。
圖6是表示白色菌落WC與黃色菌落YC的分光反射率特性線LW、LY以及表示RGB畫素當中之一例的B畫素的分光感度特性的分光感度特性線B之一例。圖6中,橫軸表示波長(nm),縱軸表示相對感度。其中,該圖所示的2種類的菌落的分光反射率特性線LW、LY是為了方便說明而假定的波形。一般而言,測定菌落等檢查對象的分光反射率特性需要專用的分光反射率測定裝置。
白色菌落WC與黃色菌落YC的分光反射率特性很近似。此外,有時培養皿13內的培養基14會染上特定的顏色。因此,隨著培養基14的染色等,白色菌落WC與黃色菌落YC會更不容易識別。
圖6中,白色菌落WC的分光反射率特性線LW與黃色菌落YC的分光反射率特性線LY在廣泛的波長範圍都很近似。圖6中虛線所表示的B畫素的分光感度特性線B表示B畫素的相對感度,在430nm附近擁有波峰。各菌落WC、YC的分光反射率特性線LW、LY兩者皆擁有與分光感度特性線B重疊的波峰。此外,兩者在近紅外區域NIRA的特定波長區域皆擁有波峰。
B畫素33B在圖6中以虛線表示的300~600nm的範圍的光成分的B光(藍色~綠色的區域的光)具有感度。因此,B畫素33B會接收來自白色菌落的反射光當中的藍色成分的B光。此外,B畫素33B會接收來自黃色菌落的反射光當中的藍色成分的B光。
此時,B影像中的白色菌落WC的濃度會與圖6中白色菌落WC的分光反射率特性線LW與分光感度特性線B之兩者相乘而得到的LW*B的區域的面積Sw成正比。此外,B影像中的黃色菌落YC的濃度會與圖6中黃色菌落YC的分光反射率特性線LY與分光感度特性線B之兩者相乘而得到的LY*B的區域的面積Sy成正比。此時,2者的面積Sw、Sy為相同程度的値。因此,B影像中的2種類的菌落WC、YC的濃度為接近的値。也就是說,B影像中不容易識別2種類的菌落WC、YC。G影像或R影像也同樣地2種類的菌落WC、YC的濃度差異不大。G影像與R影像中皆不容易識別2種類的菌落WC、YC。
另一方面,如圖7所示,只要在白色菌落WC與黃色菌落YC之間的2個分光反射率特性線LW、LY之間的差較大之波長區域(400~500nm)具有狹窄的波長範圍的B畫素的分光感度特性,則可識別B影像中的白色菌落WC與黃色菌落YC。詳細而言,B影像中的白色菌落WC的濃度會與圖7中白色菌落WC的分光反射率特性線LW與分光感度特性線B之兩者相乘而得到的LW*B的區域的面積Sw成正比。此外,B影像中的黃色菌落YC的濃度會與圖7中黃色菌落YC的分光反射率特性線LY與分光感度特性線B之兩者相乘而得到的LY*B的區域的面積Sy成正比。此時,由於2個面積Sw、Sy具有特定値(特定比)以上的差,故可識別B影像中的2種類的菌落WC、YC。
同樣地,圖7中只要在白色菌落WC與黃色菌落YC之間的2個分光反射率特性線LW、LY之間的差較大之近紅外波長區域(800~900nm)具有狹窄的虛線N所示的分光感度特性,則可識別IR影像中的2種類的菌落WC、YC。其中,圖6、圖7中,Sw雖然是表示LW與B重疊的區域的面積而非LW*B,但由於與LW*B的差異很小,故該等圖中使用LW與B重疊的區域的面積來代替LW*B。Sy也是以相同方式使用LY與B重疊的區域的面積來代替LY*B。
以此方式,藉由將畫素的分光感度特性的範圍(波長範圍)進行縮限或是將分光感度特性的位置(波長)進行轉移,從而在2種類的菌落WC、YC的分光反射率特性線LW、LY具有差距的區域設定畫素的分光感度特性。如此一來,該影像能夠識別2種類的菌落WC、YC。為了達成此目的,需要多光譜相機或高光譜相機。或者,需要能夠發出發光波長區域狹窄的特定波長的光之特殊的光源。然而,由於該等特殊的相機及特殊的光源昂貴,故會增加拍攝裝置的製造成本。
本實施方式是對使用廣用的彩色相機31拍攝到的第1拍攝訊號S1實施特定的處理從而生成圖7所示般的畫素的分光感度特性。
<使用廣用的彩色相機31的影像>
接著參照圖8針對比較例進行說明。
如圖8所示,廣用的彩色相機31所搭載的影像感測器33在白色LED照明時具有如圖所示的RGB的分光感度特性。該圖中,白色菌落WC與黃色菌落YC的分光反射率特性線LW、LY與圖6、圖7不同。
圖8所示之例中,白色菌落WC的分光反射率特性線LW與黃色菌落YC的分光反射率特性線LY在波長約480~520nm的區域DA中具有差距。在具有該差距的區域DA中,只要RGB之任一者在該區域DA的寬度左右的狹窄波長區域具有感度的波峰,則在該色的影像中白色菌落WC與黃色菌落YC就能夠以濃度來識別。
然而,廣用的彩色相機31中,表示圖8所示的RGB畫素任一者的感度的分光感度特性線R、G、B是分布在廣泛的波長區域中。白色菌落WC的分光反射率特性線LW與黃色菌落YC的分光反射率特性線LY在波長約480~520nm區域中具有LW>LY的差距,但在約530~580nm的區域中卻反過來呈現LW<LY。因此,在400~700nm擁有感度的R影像、G影像、B影像之任一者其2種類的菌落WC、YC的濃度差都不大。
例如G影像中的白色菌落WC的濃度是以面積Sg1表示,其是圖8中的白色菌落WC的分光反射率特性線LW(粗線)與一點鏈線表示的G畫素的分光感度特性線G相乘所算出的區域的面積。此外,G影像中的黃色菌落YC的濃度是以面積Sg2表示,其是圖8中的黃色菌落的分光反射率特性線LY(粗一點鏈線)與G影像的分光感度特性線G相乘所算出的區域的面積。此外,2個面積Sg1、Sg2的差ΔSg(=|Sg1-Sg2|)在整體(G區域總面積)中所佔的比率很小。若該比率太小,則G影像中會不容易識別2種類的菌落WC、YC。這是因為G畫素在廣泛的波長範圍都具有感度。B影像與R影像也是一樣,由於差ΔSb、ΔSr(圖示省略)在整體(B區域總面積、R區域總面積)中所佔的比率很小,故不容易識別白色菌落WC與黃色菌落YC。其中,圖8中使用LW與G重疊的區域的面積Sg1來代替LW*G,L使用LY與G重疊的區域的面積Sg2來代替Y*G。
圖9表示該比較例的廣用的彩色相機31所拍攝到的RGB影像中的白色菌落WC與黃色菌落YC之間的濃度。不論在R影像、G影像、B影像任一者中白色菌落WC的濃度Cw與黃色菌落YC的濃度Cy幾乎都差不多,或者雖然有差但非常小。因此, RGB影像中不容易識別白色菌落WC與黃色菌落YC。
如圖8所示,在白色LED照明下,廣用的彩色相機31的影像感測器33的RGB畫素具有對於波長(nm)而言的相對輸出所表示的感度。第1畫素(B畫素33B)具有如下分光特性:對於波長約440~550nm的光而言相對輸出為0.1以上且在約460nm擁有波峰。詳細而言,相對輸出為0.1以上的第1波長區域為約440~550nm。此外,第2畫素(G畫素33G)具有如下分光特性:對於波長約460~610nm的光而言相對輸出為0.1以上且在約550nm擁有波峰。詳細而言,相對輸出為0.1以上的第2波長區域為約460~610nm。第3畫素(R畫素33R)具有如下分光特性:對於波長約570~650nm的光而言相對輸出為0.1以上且在約600nm擁有波峰。
第1波長區域(約440~550nm)與第2波長區域(約460~610nm)之間在一部分的重複波長區域(約460~550nm)有重複。當以發光波長包含重複波長區域之約460~550nm的範圍內的至少一部分的B光進行照射時,不僅第1畫素(B畫素33B)有0.1以上的相對輸出,第2畫素(G畫素33G)也有0.1以上的相對輸出。
圖10表示藍色LED所構成的藍色光源21與紅色LED所構成的紅色光源23同時發光時的單色光源20的發光分布(spectrum)。圖中,横軸為波長,縱軸為輸出功率。作為主要單色光源的藍色光源21會發出約430~530nm的B光。作為補助光源的紅色光源23會發出500~660nm的R光。其中,圖10中以虛線表示白色LED的分光特性。
圖11表示當以B光與R光進行照明時的RGB畫素33R、33G、33B的相對輸出。如圖11所示,與圖8中照明白色光時的G區域相比,圖11的G區域已往低波長側轉移。此外,圖11所示的B區域中幾乎已不存在圖8中照明白色光時的B區域中在500~650nm的區域(相對輸出為0.05~2左右的區域)。
此外,如圖11所示,藉由照射圖10所示的R光,與圖8中照明白色光時的R區域相比,圖11的R區域已往高波長側轉移。
然後,如圖12所示,藉由對RGB影像實施線性矩陣演算從而取得XYZ影像。
本例的拍攝裝置11是採用如下拍攝方式:搭載有RGB彩色濾光器34的彩色相機31中藉由單色照明及RGB線性矩陣演算處理從而使其能夠擁有新的2波帶的拍攝特性。新的2波帶與原本的2波帶的波峰波長不同,且擁有的拍攝特性也與白色LED照明使用時的RGB拍攝特性不同。此外,本拍攝方式是藉由使用不同於新的2波帶的感度波長區域的區域的單色照明作為補助光源,從而可利用通常的彩色相機31的拍攝來識別困難的顏色。
本實施方式的單色照明為藍色照明。作為補助光源使用的單色照明為紅色照明。也就是說,使用以B光照明的藍色光源21作為主要的單色光源,使用以R光照明的紅色光源23作為補助光源。由於將紅色光源23作為補助光源以R光照明,故R影像也會使用於檢查處理。
由於重複波長區域約460~550nm,故如圖11所示,藉由藍色光源21的B光,G畫素33G在約450~520nm的區域的相對輸出為0.1以上。照明被拍物件12的單色光之B光為包含第1波長區域的至少一部分及重複波長區域的至少一部分的發光波長區域的光。
控制部40會同時進行第1單色光源25與第2單色光源26的照明,使拍攝部30拍攝被拍物件12。控制部40會藉由因應第1單色光源25的照度而設定的第2照度來進行第2單色光源26的照明,或者因應給予RGB畫素33R、33G、33B當中第1畫素(B畫素33B)與第2畫素(G畫素33G)之間的輸出等級的各增幅率而藉由增幅率設定部55來設定給予第3畫素(R畫素33R)的輸出等級的增幅率。
如圖13所示,Y影像中的白色菌落WC的濃度是以面積Sg1表示,其是圖13中的白色菌落WC的分光反射率特性線LW(粗線)與一點鏈線表示的Y影像的分光感度特性線Y相乘所算出的區域的面積。此外,Y影像中的黃色菌落YC的濃度是以面積Sg2表示,其是圖13中的黃色菌落的分光反射率特性線LY(粗一點鏈線)與Y影像的分光感度特性線Y相乘所算出的區域的面積。此外,2個面積Sg1、Sg2的差ΔSg(=|Sg1-Sg2|)在整體(Sg1與Sg2的和)中所佔的比率很大。由於該比率相當於濃度差比率,故Y影像中2種類的菌落WC、YC的濃度差比率很大而容易識別。其中,B影像與R影像中由於差ΔSb、ΔSr(圖示省略)在整體(B區域總面積、R區域總面積)中所佔的比率很小,故不容易識別2種類的菌落WC、YC。其中,圖13中使用LW與Y重疊的區域的面積Sg1來代替LW*Y,使用LY與Y重疊的區域的面積Sg2來代替LY*Y。
圖14表示本實施例的廣用的彩色相機31所拍攝到的XYZ影像中的白色菌落WC與黃色菌落YC的濃度。X影像、Z影像中白色菌落WC的濃度Cw與黃色菌落YC的濃度Cy幾乎都差不多,或者雖然有差但非常小。因此, X・Z影像中不容易識別2種類的菌落WC、YC。然而,Y影像中,白色菌落WC的濃度Cw與黃色菌落YC的濃度Cy之間的差距較大。因此, Y影像中可輕易識別白色菌落WC與黃色菌落YC。如上所述,亦可藉由顏色來識別XYZ影像中的2種類的菌落WC、YC。
<控制部40的控制內容>
<實施方式的作用>
接著針對拍攝裝置11及檢查裝置10的作用進行說明。
<初期設定處理>
首先參照圖16針對初期設定處理進行說明。控制部40會執行圖16所示的初期設定處理程序。
步驟S11中,控制部40會設置顏色增幅率調整用的基準板。控制部40會例如控制機器人將基準板握持在手臂上,並將握持的基準板放置於相機31的拍攝區域,例如檢查位置上。其中,亦可為作業者手動放置基準板。
步驟S12中,控制部40會使藍色LED開啟(On)。
步驟S13中,控制部40會設定B、G增幅率使B影像與G影像的等級對齊。詳細而言,控制部40會設定B增幅率及G增幅率,該增幅率之值為:在從藍色光源21照射藍色LED的B光的條件下,能夠將第1畫素(B畫素33B)與第2畫素(G畫素33G)之間的各輸出等級在2色間取得色彩平衡。
步驟S14中,控制部40會使紅色LED開啟(On)。
步驟S15中,控制部40會手動設定R增幅率。詳細而言,由於作業者會操作輸入部進行R增幅率的手動設定,故控制部40會將從輸入部輸入的R增幅率寫入記憶體的特定記憶區域中來設定。
步驟S16中,控制部40會設置背景板。控制部40會例如控制搬運機器人的手臂將背景板握持在手臂上,並將握持的背景板放置於相機31的拍攝區域,例如檢查位置上。其中,機器人在將背景板放置於檢查位置之前會先將放置於檢查位置上的基準板移除。
步驟S17中,控制部40會算出及設定背景板影像中黑平衡的抵銷量。
<拍攝處理>
接著參照圖17針對拍攝處理進行說明。控制部40會執行圖17所示的拍攝處理程序。控制部40會控制相機31使其拍攝配置於檢查位置的培養皿13,並且藉由影像處理部50(參照圖1及圖5)對拍攝結果之從相機31輸出的拍攝訊號進行特定的影像處理,從而將構成拍攝訊號的3波帶的RGB影像轉換成3波帶的XYZ影像然後輸出。
詳細而言,步驟S21中,控制部40會將培養有菌落WC、YC的培養皿13配置於背景板15上。該處理中,控制部40會例如控制機器人將握持在手臂上的培養皿13放置於背景板15上。其中,亦可為作業者將培養皿13放置於背景板15上。
接著的步驟S22中,控制部40會使藍色・紅色LED開啟(On)。
步驟S23中,控制部40會使相機31進行拍攝。其中,步驟S22及S23的處理相當於拍攝步驟之一例。
步驟S24中,控制部40會對RGB影像實施線性矩陣處理。其中,該步驟S24的處理相當於演算處理步驟之一例。
控制部40會以增幅率設定部55所設定的增幅率Gx、Gy、Gz實施白平衡處理。此處,增幅率Gx、Gy為B畫素與G畫素之間的輸出等級取得色彩平衡之値。因此,即使圖13所示的面積Sg1、Sg2在Y區域整體所佔的面積較小,圖15(c)的Y影像中2種類的菌落WC、YC仍不會過暗而可獲得適當的濃度及適當的濃度差。
步驟S25中,控制部40會藉由已設定的RGB抵銷量來實施黑平衡處理。詳細而言,控制部40會實施黑平衡,使影像中背景板15的黑色與初期設定時所設定的影像中背景板15的黑色為相同濃度。
步驟S26中,控制部40會輸出XYZ影像。
如圖15(a)所示,XYZ影像中白色菌落WC與黃色菌落YC之間藉由例如2値化處理等特定的影像處理從而可獲得能夠識別的程度的濃度差。因此,能夠識別2種類的菌落WC、YC。另一方面,圖15(b)所示的X影像中雖然2種類的菌落WC、YC的濃度很接近而不容易識別,但由於與培養基14之間的濃度差較大,故可識別培養基14與菌落WC、YC。因此,可計數菌落WC、YC的總數。此外,圖15(c)所示的Y影像中可獲得能夠將白色菌落WC與黃色菌落YC之間進行識別的程度的濃度差。因此,可識別2種類的菌落WC、YC。此外,圖15(d)所示的Z影像中,雖然2種類的菌落WC、YC的濃度很接近而不容易識別,但由於與培養基14之間的濃度差較大,故可識別培養基14與菌落WC、YC。可計數菌落WC、YC的總數。此外,X影像與Y影像中,培養基14與菌落WC、YC之間的濃度的關係不同。因此,隨著培養基14的染色的態樣使用X影像與Z影像兩者,可藉由至少其中一者的影像來計數菌落WC、YC的總數。
其中,圖15(b)中的2種類的菌落WC、YC的區域相當於畫素等級位於閾値設定範圍內的區域,也就是第1菌落區域。圖15(c)中的2種類的菌落WC、YC當中一者的區域相當於畫素等級位於閾値設定範圍內的區域,也就是第2菌落區域。圖15(d)中的2種類的菌落WC、YC的區域相當於畫素等級位於閾値設定範圍內的區域,也就是第3菌落區域。此外,從第1菌落區域或第3菌落區域(菌落總數的區域之)排除第2菌落區域(2種類當中一者的種類的菌落區域)後所剩下的菌落區域相當於第4菌落區域。例如若白色菌落WC的區域為第2菌落區域,則黃色菌落YC的區域就相當於第4菌落區域,若黃色菌落YC的區域為第2菌落區域,則白色菌落WC的區域就相當於第4菌落區域。
<檢查處理>
接著,參照圖18針對檢查處理進行說明。構成檢查處理部60的電腦會執行圖18所示的檢查處理程序。檢查處理部60會使用來自拍攝裝置11的XYZ影像來計數各影像的菌落,並使用各影像的菌落的計數結果進行計數修正(count correction)及判定處理,其中計數修正是對菌落的各種類的數量進行修正,判定處理是根據修正後的計數結果(count result)來判定檢查結果。
對於各XYZ影像進行的處理包含區域選出處理、分類處理、及計數處理(count processing),其中區域選出處理會求出作為檢查對象的菌落的區域,分類處理會視菌落的特徵將所選出的區域進行分類,計數處理會將已被分類為菌落的檢查對象的數量進行計數。詳細而言,區域選出處理是針對各X影像、Y影像及Z影像求出檢查對象(候選菌落)的區域的處理。分類處理是針對所選出的區域中視檢查對象的菌落的形狀因子・大小因子之特徵將檢查對象進行分類的處理。計數處理是將已被分類為菌落的檢查對象的數量進行計數的處理。
然後,進行計數修正,通過使用XYZ影像各自求出的多個菌落計數値(count value)進行特定的演算藉此修正菌落的各種類的數量,從而求出菌落的各種類的計數値。此外,進行使用菌落的各種類的計數値來判定檢查對象的好壞等判定處理,從而取得最終的檢查結果。其中,圖18是表示求出XYZ影像各個區域的並列的處理的1種的流程,雖然表示作為其中一例的步驟編號的處理順序,但並列的處理可以任意的順序進行。只要有區域被特定則每個區域的特徵分類及計數可以任意的順序進行。
圖18中,步驟S31~S34是使用X影像來計數菌落的一系列的處理(第1處理)。步驟S35~S38是使用Y影像來計數菌落的一系列的處理(第2處理)。步驟S39~S42是使用Z影像來計數菌落的一系列的處理(第3處理)。步驟S43~S47是將第1處理~第3處理中被選為候選菌落的各區域當中2個或3個進行組合而推導出特定種類的菌落的區域的一系列的處理(第4處理)。
第1處理包含:X影像的閾値之區域選出(步驟S31)、作為區域選出結果之第1區域的特定(步驟S32)、視特徵將第1區域進行分類的特徵分類(步驟S33)及將特徵分類後的檢查對象進行計數(步驟S34)。
第2處理包含:Y影像的閾値之區域選出(步驟S35)、作為區域選出結果之第2區域的特定(步驟S36)、視特徵將第2區域進行分類的特徵分類(步驟S37)及將特徵分類後的檢查對象進行計數(步驟S38)。
第3處理包含:Z影像的閾値之區域選出(步驟S39)、作為區域選出結果之第3區域的特定(步驟S40)、視特徵將第3區域進行分類的特徵分類(步驟S41)及將特徵分類後的檢查對象進行計數(步驟S42)。
第4處理是使用上述各處理(例如3個處理)所得到的多個區域來求出其他區域的處理。第4處理包含:判定使用的多個區域是否已經取得的判定處理(步驟S43)、作為一例之使用第1區域與第2區域來求出第4區域的區域取得處理(步驟S44)、作為區域取得結果之第4區域的特定(步驟S45)、視特徵將第4區域進行分類的特徵分類(步驟S46)及將特徵分類後的檢查對象進行計數(步驟S47)。其中,本例中是將X影像的候選菌落區域設為第1區域,將Y影像的候選菌落區域設為第2區域,從而求出第4菌落區域,亦可將Z影像的候選菌落區域設為第1區域,將Y影像的候選菌落區域設為第2區域,從而求出第4菌落區域。
步驟S48中,檢查處理部60(詳細而言為構成檢查處理部60的電腦)會使用步驟S34、S38、S42、S47中分別得到的不同區域的檢查對象的計數結果來進行計數修正,其會進行特定的演算。藉由計數修正來求出檢查對象中例如菌落的各種類的計數値。例如將菌落總個數減去第1種菌落個數從而算出第2種菌落個數。此外,步驟S49中,檢查處理部60會進行判定處理,其使用計數修正結果來求出最終的檢查結果。判定處理亦可包含檢查判定處理或加強顯示處理等,其中檢查判定處理是判定菌落總個數或菌落的種類各別的個數是否已超過了其分別對應的個數閾値,加強顯示處理是將菌落以顯示眶包圍或賦予特定顏色來加強顯示。此外,檢查處理部60會將檢查結果顯示於顯示部70。顯示部70會顯示例如菌落總個數、菌落的各種類的個數、檢查結果內容、菌落中加強顯示的影像等。其中,當檢查對象為食品或飲料等時,檢查結果內容亦可包含其為良品或不良品的判定結果。此外,此處是將菌落作為檢查對象,但並不局限於此。例如亦可為將製品中所包含的雜質作為檢查對象,檢查有無雜質的構成,亦可為將製品的髒污作為檢查對象,檢查有無髒污的構成。
本實施方式中,識別部61及判定部62是由軟體構成,構成檢查處理部60的電腦會執行圖18所示的檢查處理的程式。此外,識別部61會藉由區域選出(步驟S31、S35、S39、S44)及區域特定(步驟S32、S36、S40、S45)來識別各區域。分類部63是由進行特徵分類處理(步驟S33、S37、S41、S46)的電腦構成。計數部64是由進行計數處理(步驟S34、S38、S42、S47)的電腦構成。決定部65是由進行根據計數部64的計數結果之計數値來決定識別對象之2種類的菌落區域的數量的處理的電腦構成。判定部62是由進行根據所決定的2種類的菌落的個數的判定處理(步驟S49)的電腦構成。
<拍攝條件決定處理>
接著參照圖19針對拍攝條件決定處理進行說明。本例中控制部40會執行圖19所示的拍攝條件決定處理程序。該流程圖是使用3種類的單色光源來搜尋並決定拍攝條件之例。其中,拍攝條件搜尋所使用的單色光源的種類可為藍色光源21、綠色光源22及紅色光源23當中的2種類的單色光源。
圖19中,步驟S51~57的處理為第1搜尋處理,其使用作為第1號的單色光源之第1單色光源來搜尋並決定拍攝條件。當反覆執行步驟S51~57的處理仍無法決定適當的拍攝條件時,會在步驟S58進行單色光的變更,然後反覆執行步驟S51~57的處理。所謂單色光的變更是指變更單色光的波峰波長。此外,亦可在1個單色光源中單色光的波峰波長的變更已完全結束時變更單色光源。即使變更單色光源,步驟S51~S57的處理基本上仍然相同。因此,以下針對控制部40使用作為第1單色光源之藍色光源來搜尋並決定拍攝條件的處理進行詳細說明。
首先步驟S51中,控制部40會設定以第1單色光進行照明時的線性矩陣演算的係數。該步驟S51相當於第1步驟的一例:設定矩陣的係數使其在線性矩陣演算處理中與RGB影像相乘,藉此對從上述拍攝部輸出的3波帶的上述RGB影像進行上述線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像。
步驟S52中,控制部40會以第1單色光源來照明被拍物件。該步驟S52相當於第2步驟的一例:以單色光照明被拍物件12,其中單色光可在相機31的RGB畫素當中第1畫素的分光輸出特性與不同於第1畫素的第2畫素的分光輸出特性之間的各波峰波長發生變化。
步驟S53中,控制部40會拍攝被拍物件。其中,步驟S53的處理相當於第3步驟的一例:以拍攝部30拍攝第2步驟中以單色光照明的被拍物件12。
步驟S54中,控制部40會將RGB影像與矩陣相乘從而生成XYZ影像。其中,該步驟S54相當於第4步驟的一例:將作為第3步驟的拍攝結果之從拍攝部30輸出的RGB影像與矩陣相乘從而生成XYZ影像。
步驟S55中,控制部40會取得Y影像中種類不同的2個區域的濃度差。其中,該步驟S55相當於第5步驟的一例:判斷第4步驟所生成的XYZ影像當中從第2畫素輸出的第2影像中2種類不同的素材的區域間的濃度差是否為特定的閾値以上。
步驟S56中,控制部40會判斷差是否為閾値以上。若差沒有為閾値以上,也就是差低於閾値的話就會進入步驟S57。另一方面,若差為閾値以上就會進入步驟S59,並決定此時的單色光與此時的係數。其中,決定的係數會設定於矩陣係數設定部54。
步驟S57中,控制部40會判斷第1單色光的條件搜尋是否結束。若第1單色光的條件搜尋尚未結束就會回到步驟S52,並反覆執行步驟S52~步驟S57的處理。若第1單色光的條件搜尋完全結束卻仍未發現差為閾値以上的拍攝條件就會進入步驟S58。
步驟S58中,控制部40會變更單色光。詳細而言,控制部40會變更單色光的波峰波長。此處,所謂單色光的波峰波長的變更亦可為單色光源直接將其波峰波長緩慢地變化。例如廣用品的藍色LED的波峰波長約470nm,亦可例如以10nm逐步變化成480nm、490nm。該手段可舉出單色光源(LED)直接使用光學濾光器使波峰波長偏移的方法,或者使用單色光源(LED)本身的波峰波長就不同的其他的單色光源的方法。
以此方式,將使用的單色光(例如B光)的波峰波長進行變更,並使用該波峰波長變更後的單色光執行相同的步驟S51~S57的拍攝條件搜尋處理。若在步驟S56仍未發現差為閾値以上的拍攝條件就會在步驟S5將使用的單色光源從藍色光源21變更為綠色光源22。然後,以相同方式將使用的單色光(例如G光)的波峰波長進行變更,並使用該波峰波長變更後的單色光執行相同的步驟S51~S57的拍攝條件搜尋處理。若在步驟S56仍未發現差為閾値以上的拍攝條件就會在步驟S58將綠色光源22變更為紅色光源23。然後,以相同方式將使用的單色光(例如R光)的波峰波長進行變更,並使用該波峰波長變更後的單色光執行相同的步驟S51~S57的拍攝條件搜尋處理。以此方式,伴隨著第1步驟(S51)中係數的變化與第2步驟(S52、S58)中單色光的波峰波長的變化反覆進行第1~第5步驟(步驟S51~S58),直到第3步驟(S56)中濃度差成為特定的閾値以上。其中,當在步驟S58變更單色光源時,之後在步驟S55中取得XYZ影像當中的濃度差時作為對象的影像亦可變更為與目前的Y影像不同的影像(X影像或Z影像)。該影像亦可視此時的單色光與菌落WC、YC的分光反射率特性來進行選擇。
拍攝裝置11會以該程序所決定的拍攝條件來拍攝被拍物件12。本例中以藍色光源21照明並拍攝在培養基14中包含2種類的菌落WC、YC的培養皿13所構成的被拍物件12時可以發現差為閾値以上的拍攝條件,因此決定將藍色光源21作為單色光源。該藍色光源21即決定作為第1單色光源25。
以上的說明中,步驟S58中單色光的波峰波長的變更包含單色光源為單色光的波峰波長直接變化的變更,但只要能夠變更發光波長而可使相機31的RGB畫素當中第1畫素的分光輸出特性與不同於第1畫素的第2畫素的分光輸出特性之間的各波峰波長進行變化即可。例如亦可僅變更單色光源。詳細而言,步驟S58中控制部40亦可僅依序變更藍色光源21、綠色光源22、紅色光源23。此外,當單色光源為直接使波峰波長變化的構成時,拍攝條件搜尋所使用的單色光源的種類亦可採用藍色光源21、綠色光源22及紅色光源23當中的1種類。
<實施方式的效果>
根據以上詳述的實施方式能夠獲得以下所示的效果。
(1)拍攝裝置11會將拍攝到的被拍物件12所包含的2種類不同的素材所構成的區域輸出成為能夠識別的影像。拍攝裝置11具備拍攝部30、單色光源20、控制部40及影像處理部50。拍攝部30中,拍攝被拍物件12的影像感測器33(拍攝元件)具有RGB畫素33R、33G、33B。單色光源20會以單色光照明被拍物件12。控制部40會控制單色光源20及拍攝部30。影像處理部50會對拍攝到被拍物件12的拍攝部30所輸出的3波帶的RGB影像實施特定的處理。RGB畫素包含在第1波長區域具有感度的第1畫素33B及在第2波長區域具有感度的第2畫素33G。第1波長區域與第2波長區域之間在一部分的重複波長區域有重複。單色光為包含第1波長區域的至少一部分及重複波長區域的至少一部分的發光波長區域的光。影像處理部50具備演算處理部52及增幅部53。演算處理部52會藉由對3波帶的RGB影像進行線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像。增幅部53會以增幅率將構成XYZ影像的XYZ値當中分別對應第1畫素33B與第2畫素33G的各値進行增幅,該增幅率是設定為如下值:在從單色光源20照射單色光的條件下,能夠將第1畫素33B與第2畫素33G之間的各輸出等級在2色間取得色彩平衡。
根據該構成,能夠藉由單色光源20的照度的調整或者增幅率的設定從而輸出可藉由適當的顏色或濃度來識別素材(菌落WC、YC)的影像。因此,當影像用於檢查時,能夠以比較高的精確度將影像中所包含之2種類不同的素材進行識別或分類。
(2)影像處理部50會將被拍物件12當中識別對象以外的基準部分作為對象進行黑平衡處理,然後生成3波帶的XYZ影像。根據該構成,由於會進行黑平衡處理,故即使拍攝被拍物件12時的環境發生變化仍能夠輸出可藉由適當的顏色或濃度來識別素材的影像。
(3)單色光源20為藍色光源21或紅色光源23。當單色光源20為藍色光源21時,第1畫素33B為B畫素,且第2畫素為G畫素33G。當單色光源20為紅色光源23時,第1畫素為R畫素33R,且第2畫素為G畫素33G。
根據該構成,G畫素33G即使對於作為藍色光源21的光源色之藍色光仍會在重複波長區域的至少一部分具有感度。因此,當以藍色光照明拍攝時,能夠使G影像的感度波長區域相較於廣用相機的G影像的感度波長區域來得更窄。此外,G畫素33G即使對於作為紅色光源23的光源色之紅色光仍會在重複波長區域的至少一部分具有感度。因此,當以紅色光照明拍攝時,能夠使G影像的感度波長區域相較於廣用的相機31的G影像的感度波長區域來得更窄。藉由將RGB影像進行線性矩陣演算,從而能夠將G影像中已縮減的感度波長區域進一步縮限或使波長偏移。因此,能夠輸出可藉由適當的顏色或濃度來識別素材(菌落WC、YC)的影像。
(4)當藍色光源21設為第1單色光源25時,拍攝裝置11進而具備第2單色光源26,其能夠照射發光波長區域與第1單色光源25所照射的第1單色光的發光波長區域不同的第2單色光。RGB畫素包含第1畫素33B及第2畫素33G以外的第3畫素。控制部40會同時進行第1單色光源25的照明與第2單色光源26的照明,使拍攝部30拍攝被拍物件12。控制部40會藉由因應第1單色光源25的照度而設定的第2照度來進行第2單色光源26的照明,或者因應給予RGB畫素當中第1畫素33B與第2畫素33G之間的輸出等級的各增幅率而藉由增幅率設定部55來設定給予第3畫素的輸出等級的增幅率。根據該構成,能夠藉由單色光源20的照度的調整或者增幅率的設定從而輸出可藉由適當的顏色或濃度來識別素材的影像。
(5)檢查裝置10具備拍攝裝置11。被拍物件12包含作為2種類不同的素材的2種類的不同菌落WC、YC。檢查裝置10具備識別部61,其會根據從拍攝裝置11輸入的3波帶的XYZ影像來識別2種類的不同菌落WC、YC的區域之菌落區域。XYZ影像包含X影像、Y影像及Z影像。識別部61會將X影像中畫素等級位於閾値設定範圍內的區域設為第1菌落區域。識別部61會將Y影像中畫素等級位於閾値設定範圍內的區域設為第2菌落區域。識別部61會將Z影像中畫素等級位於閾値設定範圍內的區域設為第3菌落區域。識別部61會將從第1菌落區域或第3菌落區域排除第2菌落區域後所剩下的菌落區域設為第4菌落區域。識別部61具備分類部63、計數部64、及決定部65。分類部63會將第1菌落區域及第3菌落區域當中至少一者與第2菌落區域、第4菌落區域根據特徵及形狀進行分類。計數部64會針對分類部所分類的菌落區域中各別的數量進行計數。決定部65會根據計數部的計數結果來決定識別對象之2種類的菌落區域各別的數量。根據該構成,能夠藉由單色光源20的照度的調整或者增幅率的設定從而輸出可藉由適當的顏色或濃度來識別素材的影像。因此,當影像用於檢查時,能夠以比較高的精確度將影像中所包含之2種類不同的素材進行識別或分類。
(6)一種拍攝條件決定方法,其使拍攝裝置11將被拍物件12所包含的2種類不同的素材所構成的區域輸出成為能夠識別的影像。拍攝裝置11具備單色光源20及拍攝部30,其中單色光源20會照明被拍物件12,拍攝部30包含拍攝被拍物件12的RGB畫素。該拍攝條件決定方法包含第1~第5步驟。第1步驟:設定矩陣的係數使在線性矩陣演算處理與RGB影像相乘,藉此對從其拍攝部30輸出的3波帶的RGB影像進行上述線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像。第2步驟:以單色光照明被拍物件12,其中單色光可在構成拍攝部30的RGB畫素當中第1畫素33B的分光輸出特性與不同於第1畫素33B的第2畫素33G的分光輸出特性之間的各波峰波長發生變化。第3步驟:以拍攝部30拍攝第2步驟中以單色光照明的被拍物件12。第4步驟:將作為第3步驟的拍攝結果之從拍攝部30輸出的RGB影像與矩陣相乘從而生成XYZ影像。第5步驟:判斷第4步驟所生成的XYZ影像當中從第2畫素33G輸出的第2影像中2種類不同的素材的區域間的濃度差是否為特定的閾値以上。伴隨著上述第1步驟中係數的變化與第2步驟中各波峰波長的變化當中至少一者,反覆進行第1~第5步驟,直到第5步驟中濃度差成為特定的閾値以上。根據該拍攝條件決定方法,能夠決定適當的拍攝條件,其可使拍攝裝置11輸出可藉由顏色或濃度來識別被拍物件12所包含之2種類不同的素材(菌落WC、YC)所構成的區域的影像。
(7)一種拍攝方法,其將拍攝到的被拍物件12所包含的2種類不同的素材所構成的區域輸出成為能夠識別的影像。具備拍攝被拍物件12的拍攝部30及以單色光照明被拍物件12的單色光源20。拍攝部30具備影像感測器33(拍攝元件),其具有RGB畫素。RGB畫素包含在第1波長區域具有感度的第1畫素33B及在第2波長區域具有感度的第2畫素33G。第1波長區域與第2波長區域之間在一部分的重複波長區域有重複。單色光為包含第1波長區域的至少一部分及重複波長區域的至少一部分的發光波長區域的光。該拍攝方法具備拍攝步驟、輸出步驟、演算處理步驟、及增幅步驟。拍攝步驟中,拍攝部30會拍攝單色光源20所照明的被拍物件12。輸出步驟中,拍攝被拍物件12的拍攝部30會輸出3波帶的RGB影像。演算處理步驟中,藉由對從拍攝部30輸出的3波帶的RGB影像進行線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像。增幅步驟中,使用各個增幅率將3波帶的XYZ影像當中對應第1畫素33B及第2畫素33G的2種影像進行增幅,該增幅率是設定為:在從單色光源20照射單色光的條件下,能夠將第1畫素33B及第2畫素33G的輸出等級在2色間取得色彩平衡。藉由該拍攝方法,能夠輸出可藉由顏色或濃度來識別被拍物件12所包含之2種類不同的素材(菌落WC、YC)所構成的區域的影像。例如當影像用於檢查時,能夠以比較高的精確度將影像中所包含之2種類不同的素材進行識別或分類。
實施方式不限於上述,亦可變更為以下的形態。
・單色光不限於藍色光。此外,第1單色光與第2單色光的組合不限於藍色光與紅色光。例如如圖20所示,單色光源20所照明的單色光亦可為綠色光與紅色光。也就是說,第1單色光亦可為綠色光,此外第1單色光與第2單色光的組合亦可為綠色光與紅色光。此時,藉由對RGB影像進行線性矩陣演算從而取得如圖21所示的XYZ影像。此外,如圖22所示,在區域DA中面積Sg1與面積Sg2之間的差ΔSg會變得比較大。因此,由於ΔSg在面積Sg1及面積Sg2整體所佔的比率會變得比較的大,故在XYZ影像(特別是B影像)中藉由兩者的濃度差可輕易地識別出白色菌落與黃色菌落。
・圖3中,亦可為將隔絕近紅外光的IR截止濾光器35從相機31上取下,使構成拍攝元件的RGB畫素對近紅外光具有感度的構成。此外,第1單色光源25使用藍色光源21,第1單色光使用B光。第2單色光源26使用近紅外LED,第2單色光使用近紅外光。如圖7所示,對RGB影像進行線性矩陣演算而生成例如NYZ影像來作為XYZ影像,其中NYZ影像包含在近紅外線區域(例如圖7的例中為約800~900nm)擁有波峰的N影像。此時,與該近紅外線區域重疊的波長區域中,由於表示白色菌落WC與黃色菌落YC之間的分光特性的分光反射率特性線LW、LY會出現落差,故在NYZ影像(特別是N影像)中可輕易地識別出白色菌落WC與黃色菌落YC。如此一來,XYZ的3色亦可為其中1色或2色在近紅外區域內具有波長區域者。
・檢查處理部60亦可僅使用Y影像與Z影像之2影像,或僅使用X影像與Y影像之2種影像來進行檢查處理。
・單色光源20亦可包含近紅外光源作為1種類的單色光源,其中近紅外光作為單色光。
・B光不限於例如藍色LED所發出的單色光,亦可為在藍色的波長區域具有波峰的其他藍色光。
・上述實施方式中,當主要的單色光為B光時,第1畫素為B畫素,第2畫素為G畫素,但不限於此。當單色光為R光時,第1畫素亦可為R畫素33R,第2畫素亦可為G畫素33G。此外,當單色光為G光時,第1畫素亦可為G畫素33G,第2畫素亦可為B畫素33B或R畫素33R。
・第1單色光與第2單色光的組合不限於上述實施方式的藍色光與紅色光。此外,也不限於如圖20所示的綠色光與紅色光。單色光亦可設為紅色光。此時,第1單色光亦可為紅色光,第2單色光亦可為藍色光。
・單色光源不限於設置2種類,亦可為僅有1種類。上述實施方式中,單色光源亦可僅有藍色光源。此外,圖20中單色光源亦可僅有綠色光源。
・若為具有原色的彩色濾光器的彩色相機時亦可使用R、G1、G2、B之4色。此外,亦可為具有補色的彩色濾光器的彩色相機,補色亦可為黃、青、洋紅、綠之4色。
・將使用相機31而被影像感測器33拍攝到的第1拍攝訊號S1的影像資料(例如RGB影像資料)保存於USB記憶體等可移除式記憶體。亦可將該可移除式記憶體所保存的影像資料讓個人電腦讀取,由個人電腦的CPU(影像處理部50)進行包含線性矩陣演算的轉換處理而生成XYZ影像。也就是說,亦可為進行拍攝步驟的裝置與進行轉換步驟的裝置為分開的裝置。即使是藉由這種拍攝方法也能夠取得多個波帶的XYZ影像。
・亦可為拍攝裝置11所輸出的XYZ影像由檢查員目視確認進行檢查的構成。
・類似的顏色不限於白色與黃色,亦可為白色與淺粉紅色、白色與淺橙色、白色與淺綠色、白色與淺藍色等。其他方面,亦可為白色與淡色的組合。此外,亦可為顏色不同的淡色彼此的組合。
・被拍物件12不限於培養菌落的培養皿等包含菌落者,亦可為包含不同種類的識別對象的被拍物件。此外,識別對象亦可為透明體或半透明體。此外,識別對象亦可為果凍等食品或加工食品等食品。
・作為拍攝對象或檢查對象之被拍物件12並無特別限定。被拍物件12亦可為例如寶特瓶或罈等容器、食品、飲料、電子零件、電化產品、日常用品、零件、構件、粉粒體或液狀等原料等。此外,檢查對象亦可有刮痕、髒污、印刷不良、塗裝不良等。此外,被拍物件12內的對象不限於檢查對象。即便種類不同但只要會呈現類似的顏色者即符合對象。
・拍攝裝置11亦可為與檢查處理部60為不同的裝置之構成。亦可將拍攝裝置11使用於檢查以外的用途。
・構成影像感測器33的彩色濾光器34的排列圖案不限於RGB拜耳排列,亦可為條紋排列等任意的排列圖案。
・拍攝裝置11亦可不具備搬運用的機器人。例如亦可為作業者將被拍物件12載置於作為拍攝位置之例如攝影用的載置台的構成。
・控制部40、影像處理部50及檢查處理部60當中之至少一者,其中一部分或全部亦可由執行程式的電腦之軟體構成,亦可由電子電路等硬體構成。
10:檢查裝置
11:拍攝裝置
12:被拍物件
13:培養皿
14:培養基
15:背景板
18:處理部
20:單色光源
21:藍色光源(藍色LED,構成單色光源之一例)
22:綠色光源(綠色LED,構成單色光源之一例)
23:紅色光源(紅色LED,構成單色光源之一例)
25:第1單色光源
26:第2單色光源
30:拍攝部
31:彩色相機(相機)
31a:鏡筒
32:透鏡
33:彩色影像感測器(影像感測器)
35:紅外光截止濾光器(IR截止濾光器)
33R:R畫素
33G:G畫素(第2畫素之一例)
33B:B畫素(第1畫素之一例)
34:彩色濾光器
34R:R濾光器
34G:G濾光器
34B:B濾光器
40:控制部
41:拍攝控制部
42:照明控制部
45:電源
46:藍色LED電源
47:紅色LED電源
50:影像處理部
51:RGB分離部
52:演算處理部
53:增幅部
54:矩陣係數設定部
55:增幅率設定部
60:檢查處理部
61:識別部
62:判定部
63:分類部
64:計數部
65:決定部
70:顯示部
WC:白色菌落
YC:黃色菌落
S1:第1拍攝訊號
S2:第2拍攝訊號
VA:可見光波長區域
NIRA 近紅外波長區域
LW:白色菌落的分光反射率特性線
LY:黃色菌落的分光反射率特性線
B、G、R:分光感度特性線
X、Y、Z:RGB分光感度特性所算出的分光感度特性線
Gx、Gy、Gz:增幅率
圖1是表示實施方式中具備拍攝裝置的檢查裝置的示意性側面圖。
圖2是表示被拍物件的示意性俯視圖。
圖3是表示相機的概略構成的示意圖與表示相機的RGB色別的相對感度的圖。
圖4是表示單色光源的詳細的構成的局部示意圖。
圖5是表示檢查裝置的功能上的構成的方塊圖。
圖6是說明不容易識別種類不同的拍攝對象的情形的圖。
圖7是說明容易識別種類不同的拍攝對象的原理的圖。
圖8是說明使用廣用相機拍攝而得到的影像不容易識別種類不同的拍攝對象的情形的圖。
圖9是表示RGB影像中的白色菌落與黃色菌落的濃度的圖。
圖10是表示光源的波長與輸出功率(光強度)之間的關係的圖。
圖11是表示當藉由藍色與紅色的單色光進行照明時的RGB拍攝元件的波長與相對輸出之間的關係的圖。
圖12是表示線性矩陣演算處理後的波長與相對輸出之間的關係的圖。
圖13是說明使用廣用相機拍攝而得到的拍攝裝置的輸出影像可以識別種類不同的拍攝對象的原理的圖。
圖14是表示XYZ影像中的白色菌落與黃色菌落的濃度的圖。
圖15是表示(a)XYZ影像、(b)X影像、(c)Y影像、(d)Z影像的圖。
圖16是表示初期設定程序的流程圖。
圖17是表示拍攝處理程序的流程圖。
圖18是表示檢查處理程序的流程圖。
圖19是表示拍攝條件決定處理程序的流程圖。
圖20是表示變更例中光源的波長與輸出功率(光強度)之間的關係的圖。
圖21是表示變更例中當藉由綠色與紅色的單色光進行照明時的線性矩陣演算處理後的波長與相對輸出之間的關係的圖。
圖22是說明變更例中使用廣用相機拍攝而得到的拍攝裝置的輸出影像可以識別種類不同的拍攝對象的原理的圖。
31:相機
50:影像處理部
52:演算處理部
53:增幅部
Claims (7)
- 一種拍攝裝置,其拍攝被拍物件並將上述被拍物件所包含之2種類不同的素材所構成的區域輸出成為能夠識別的影像, 其特徵在於: 上述拍攝裝置具備拍攝部、單色光源、控制部、及影像處理部, 上述拍攝部中,拍攝上述被拍物件的拍攝元件具有RGB畫素, 上述單色光源會以單色光照明上述被拍物件, 上述控制部會控制上述單色光源及上述拍攝部, 上述影像處理部會對拍攝到上述被拍物件的上述拍攝部所輸出的3波帶的RGB影像實施特定的處理, 上述RGB畫素包含在第1波長區域具有感度的第1畫素及在第2波長區域具有感度的第2畫素, 上述第1波長區域與上述第2波長區域之間在一部分的重複波長區域有重複, 上述單色光為包含上述第1波長區域的至少一部分及上述重複波長區域的至少一部分的發光波長區域的光, 上述影像處理部具備演算處理部及增幅部, 上述演算處理部會藉由對上述3波帶的RGB影像進行線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像, 上述增幅部會以增幅率將構成上述XYZ影像的XYZ値當中分別對應上述第1畫素與上述第2畫素的各値進行增幅,該增幅率是設定為如下值:在從上述單色光源照射單色光的條件下,能夠將上述第1畫素與上述第2畫素之間的各輸出等級在2色間取得色彩平衡。
- 如請求項1所述的拍攝裝置,其中 上述影像處理部會將上述被拍物件當中識別對象以外的基準部分作為對象進行黑平衡處理,然後生成上述3波帶的XYZ影像。
- 如請求項1所述的拍攝裝置,其中 上述單色光源為藍色光源或紅色光源, 當上述單色光源為上述藍色光源時,上述第1畫素為B畫素,且上述第2畫素為G畫素, 當上述單色光源為上述紅色光源時,上述第1畫素為R畫素,且上述第2畫素為G畫素。
- 如請求項3所述的拍攝裝置,其中 當上述單色光源設為第1單色光源時, 進而具備第2單色光源,其能夠照射發光波長區域與上述第1單色光源所照射的第1單色光的發光波長區域不同的第2單色光, 上述RGB畫素包含上述第1畫素及上述第2畫素以外的第3畫素, 上述控制部會同時進行上述第1單色光源與上述第2單色光源的照明,使上述拍攝部拍攝上述被拍物件, 上述拍攝裝置具備增幅率設定部,其會設定當上述增幅部將上述XYZ値當中分別對應上述第1畫素與上述第2畫素的各値進行增幅時的上述增幅率, 上述控制部會藉由因應上述第1單色光源的照度而設定的第2照度來進行上述第2單色光源的照明,或者因應給予上述RGB畫素當中上述第1畫素與上述第2畫素之間的輸出等級的上述各增幅率而藉由上述增幅率設定部來設定給予上述第3畫素的輸出等級的增幅率。
- 一種檢查裝置,其具備請求項1~請求項4中任一項所述的拍攝裝置, 其特徵在於: 上述被拍物件包含作為上述2種類不同的素材的2種類的不同菌落, 上述檢查裝置具備識別部,其會根據從上述拍攝裝置輸入的上述3波帶的XYZ影像來識別2種類的不同菌落的區域之菌落區域, 上述XYZ影像包含X影像、Y影像及Z影像, 上述識別部會將上述X影像中畫素等級位於閾値設定範圍內的區域設為第1菌落區域, 上述識別部會將上述Y影像中畫素等級位於閾値設定範圍內的區域設為第2菌落區域, 上述識別部會將上述Z影像中畫素等級位於閾値設定範圍內的區域設為第3菌落區域, 上述識別部會將從上述第1菌落區域或上述第3菌落區域排除上述第2菌落區域後所剩下的菌落區域設為第4菌落區域, 上述識別部具備分類部、計數部、及決定部, 上述分類部會將上述第1菌落區域及上述第3菌落區域當中至少一者與上述第2菌落區域、上述第4菌落區域根據特徵及形狀進行分類, 上述計數部會針對上述分類部所分類的上述菌落區域中各別的數量進行計數, 上述決定部會根據上述計數部的計數結果來決定識別對象之2種類的菌落區域各別的數量。
- 一種拍攝條件決定方法,其使拍攝裝置將被拍物件所包含之2種類不同的素材所構成的區域輸出成為能夠識別的影像, 其特徵在於: 上述拍攝裝置具備單色光源及拍攝部, 上述單色光源會以單色光照明上述被拍物件, 上述拍攝部包含拍攝上述被拍物件的RGB畫素, 上述拍攝條件決定方法會進行下述第1~第5步驟, 第1步驟:設定矩陣的係數使其在線性矩陣演算處理中與RGB影像相乘,藉此對從上述拍攝部輸出的3波帶的上述RGB影像進行上述線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像, 第2步驟:按照使構成上述拍攝部的RGB畫素當中第1畫素的分光輸出特性與不同於上述第1畫素的第2畫素的分光輸出特性之間的波峰波長發生變化的方式使上述單色光源的發光波長變化,並以發光波長變化後的該單色光源照明上述被拍物件, 第3步驟:以上述拍攝部拍攝上述第2步驟中以上述單色光照明的上述被拍物件, 第4步驟:將作為上述第3步驟的拍攝結果之從上述拍攝部輸出的RGB影像與上述矩陣相乘從而生成XYZ影像, 第5步驟:判斷上述第4步驟所生成的上述XYZ影像當中從上述第2畫素輸出的第2影像中上述2種類不同的素材的區域間的濃度差是否為特定的閾値以上, 伴隨著上述第1步驟中上述係數的變化與上述第2步驟中上述發光波長的變化當中至少一者的變化反覆進行上述第1~第5步驟,直到上述第5步驟中上述濃度差為特定的閾値以上。
- 一種拍攝方法,其拍攝被拍物件並將上述被拍物件所包含之2種類不同的素材所構成的區域輸出成為能夠識別的影像, 其特徵在於: 上述拍攝方法具備拍攝部及單色光源, 上述拍攝部會拍攝上述被拍物件, 上述單色光源會以單色光照明上述被拍物件, 上述拍攝部具備拍攝元件,其具有RGB畫素, 上述RGB畫素包含第1畫素及第2畫素,上述第1畫素在第1波長區域具有感度,上述第2畫素在第2波長區域具有感度, 上述第1波長區域與上述第2波長區域之間在一部分的重複波長區域有重複, 上述單色光為包含上述第1波長區域的至少一部分及上述重複波長區域的至少一部分的發光波長區域的光, 上述拍攝方法包含拍攝步驟、演算處理步驟、及增幅步驟, 上述拍攝步驟:上述拍攝部會拍攝上述單色光源所照明的上述被拍物件, 上述演算處理步驟:藉由對拍攝到上述被拍物件的上述拍攝部所輸出的3波帶的RGB影像進行線性矩陣演算處理從而生成RGB拍攝特性經過修正的3波帶的XYZ影像, 上述增幅步驟:使用各個增幅率將上述3波帶的XYZ影像當中對應上述第1畫素及上述第2畫素的2種影像進行增幅,該增幅率是設定為:在從上述單色光源照射上述單色光的條件下,能夠將上述第1畫素及上述第2畫素的輸出等級在2色間取得色彩平衡。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022-075219 | 2022-04-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202409544A true TW202409544A (zh) | 2024-03-01 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104062006B (zh) | 光测定装置、印刷装置及图像显示装置 | |
US20150062347A1 (en) | Image processing methods for visible and infrared imaging | |
KR101692115B1 (ko) | 검사 장치 및 검사 방법 | |
EP0948191A2 (en) | Scanner illumination | |
US20070139720A1 (en) | Paper sheet discrimination apparatus, paper sheet processing apparatus, and paper sheet discrimination method | |
JPH11510623A (ja) | 紙幣または有価証券などのシート材を検査する装置および方法 | |
JP2021145185A (ja) | マルチスペクトル画像撮像装置、検査装置及びマルチスペクトル画像撮像方法 | |
JP6171517B2 (ja) | 色調変化検出装置及び色調変化検出方法 | |
US20120114218A1 (en) | High fidelity colour imaging of microbial colonies | |
JP2021113744A (ja) | 撮像システム | |
WO2021106964A1 (ja) | 光学式選別機 | |
TW202409544A (zh) | 拍攝裝置、檢查裝置、拍攝條件決定方法及拍攝方法 | |
CN112004454B (zh) | 内窥镜系统 | |
US20230230345A1 (en) | Image analysis method, image analysis device, program, and recording medium | |
WO2023210619A1 (ja) | 撮像装置、検査装置、撮像条件決定方法及び撮像方法 | |
US20220343478A1 (en) | Brightness and color correction of image data of a line camera | |
JP2021190802A (ja) | 撮像装置、検査装置及び撮像方法 | |
US10091443B2 (en) | Camera system and method for inspecting and/or measuring objects | |
CN112461762A (zh) | 基于hsv模型的溶液浊度检测方法、介质、图像处理系统 | |
TW202232372A (zh) | 拍攝裝置、檢查裝置及拍攝方法 | |
WO2023100805A1 (ja) | 撮像装置、検査装置および撮像方法 | |
JP7340213B1 (ja) | 透明容器の外観検査装置、外観検査システム及び外観検査方法 | |
JPH09185711A (ja) | 形状認識方法及び装置 | |
JP2003116042A (ja) | 感度むら除去装置、撮像装置、表示装置の表示むら検査システム | |
WO2024014273A1 (ja) | 検査システム及びこれを用いた物品の表面の傾斜角補正方法 |