TWI501186B - Automatic analysis of jaundice detection methods and computer program products - Google Patents
Automatic analysis of jaundice detection methods and computer program products Download PDFInfo
- Publication number
- TWI501186B TWI501186B TW102123300A TW102123300A TWI501186B TW I501186 B TWI501186 B TW I501186B TW 102123300 A TW102123300 A TW 102123300A TW 102123300 A TW102123300 A TW 102123300A TW I501186 B TWI501186 B TW I501186B
- Authority
- TW
- Taiwan
- Prior art keywords
- color
- jaundice
- value
- image
- pixel
- Prior art date
Links
- 206010023126 Jaundice Diseases 0.000 title claims description 96
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000001514 detection method Methods 0.000 title description 5
- 238000004458 analytical method Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims description 27
- 230000001815 facial effect Effects 0.000 claims description 24
- 238000009534 blood test Methods 0.000 claims description 11
- ORFSSYGWXNGVFB-UHFFFAOYSA-N sodium 4-amino-6-[[4-[4-[(8-amino-1-hydroxy-5,7-disulfonaphthalen-2-yl)diazenyl]-3-methoxyphenyl]-2-methoxyphenyl]diazenyl]-5-hydroxynaphthalene-1,3-disulfonic acid Chemical compound COC1=C(C=CC(=C1)C2=CC(=C(C=C2)N=NC3=C(C4=C(C=C3)C(=CC(=C4N)S(=O)(=O)O)S(=O)(=O)O)O)OC)N=NC5=C(C6=C(C=C5)C(=CC(=C6N)S(=O)(=O)O)S(=O)(=O)O)O.[Na+] ORFSSYGWXNGVFB-UHFFFAOYSA-N 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 239000013256 coordination polymer Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 2
- XZKQVQKUZMAADP-IMJSIDKUSA-N Ser-Ser Chemical compound OC[C@H](N)C(=O)N[C@@H](CO)C(O)=O XZKQVQKUZMAADP-IMJSIDKUSA-N 0.000 claims 1
- 230000002093 peripheral effect Effects 0.000 claims 1
- BPYKTIZUTYGOLE-IFADSCNNSA-N Bilirubin Chemical compound N1C(=O)C(C)=C(C=C)\C1=C\C1=C(C)C(CCC(O)=O)=C(CC2=C(C(C)=C(\C=C/3C(=C(C=C)C(=O)N\3)C)N2)CCC(O)=O)N1 BPYKTIZUTYGOLE-IFADSCNNSA-N 0.000 description 4
- 206010023138 Jaundice neonatal Diseases 0.000 description 4
- 201000006346 Neonatal Jaundice Diseases 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001061264 Astragalus Species 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 208000036626 Mental retardation Diseases 0.000 description 1
- 206010048038 Wound infection Diseases 0.000 description 1
- 235000006533 astragalus Nutrition 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000010241 blood sampling Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 206010008129 cerebral palsy Diseases 0.000 description 1
- 231100000895 deafness Toxicity 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 210000004233 talus Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本發明關於一種黃疸自動分析檢測方法及電腦程式產品，係指一種利用智慧型手機、平板或個人電腦之相機裝置擷取新生兒臉部影像，並自動分析檢測新生兒黃疸指標之方法及電腦程式產品。
黃疸檢測是新生兒時期最常實施的血液檢驗之一，同時也是醫護人員與父母親在嬰兒出生初期皆須密切觀察的重點。黃疸值過高可能會對新生兒造成核黃疸(kernicterus)而傷害腦部，嚴重者可能會有腦性麻痺、神經性耳聾、智能障礙等副作用。
目前黃疸檢測的方式主要依賴抽血或取少量腳跟血進行檢驗，但此步驟屬於侵入性檢查可能造成疼痛、出血、傷口感染等副作用，造成實施上的限制與家屬的不安。因此血液檢查大多保留在當家屬或醫護人員肉眼觀察發現嬰兒皮膚呈現黃疸後再進行血液檢查確認。然而肉眼觀察黃疸為一主觀判斷，特別新生兒父母由於沒有經過專業的訓練與經驗，時常出現誤判的情形而造成嬰兒黃疸延遲治療或接受過多不必要的血液檢查。此外，黃疸計(jaundice meter)可藉由發射光束至嬰兒皮膚並分析反射回來的光波長提供非侵入性的黃疸判讀數值，然而昂貴的黃疸計不是一般
的家庭所能負擔，而且大多數需要檢測黃疸的期間也只有在嬰兒剛出生的1至2個月內，造成此一設備較不適用於廣泛大眾。
本發明之目的為透過目前非常普及且含有相機元件的智慧型手機、平板或個人電腦，以影像處理(非侵入性)的方式對新生兒皮膚來進行檢測並提供客觀的黃疸指標，讓新生兒父母能隨時自我檢測新生兒的黃疸指標，並能在黃疸指標高於正常值時提出回診的警訊。如此，不但可以減輕新生兒父母的憂慮、減少過於頻繁的血液檢查、避免黃疸過高而家屬沒有察覺的遺憾，而且可以節省醫療資源。
本發明之方法包括以下步驟：S1擷取新生兒臉部及色標之影像；S2對擷取影像配合色標進行色彩校正；S3根據影像臉部像素點之色彩資訊計算黃疸指數並排除不良影像。
其中所述S1擷取新生兒臉部及色標之影像步驟係具備智慧型手機、平板或個人電腦等具相機及可執行本發明方法應用程式(APP)之工具拍攝，又該所述色標係具有純紅色、純綠色、純藍色三個顏色之色標，又該拍攝預覽畫面設定臉部輪廓線及建議位置色標輪廓線以便於取景，並於拍攝前或拍攝後之拍攝過程載入新生兒出生時間以對應新生兒目前之正常黃疸值範圍判斷，又該色標可呈長方形排列於新生兒臉部周圍位置，並新生兒臉部周邊物件如包巾、床墊或枕頭等背景顏色避開紅、綠、藍、黃等顏色以避免干擾影像分析動作。
所述S2對擷取影像配合色標進行色彩校正之步驟為使用RGB色彩模型並根據色標顏色平均值對整張影像作色彩正規化，並該S2步驟更包括S21自動尋找色標位置，並計算色標區域像素點(pixel)總數N x ，其中x {r,g,b}，並該N x 大於設定值時再計算色標顏色平均值步驟；S22根據色標顏色平均值對整張影像作色彩正規化步驟，其中該S21步驟於取像後會在建議位置色標輪廓線內分別搜尋與純紅色、純綠色、純藍色十分接近的顏色區域，再分別找出這些區域的最大連接範圍作為紅色、綠色、藍色色標的區域。
本發明搜尋後並定義在紅色色標所在區域中的紅色頻道(Red Channel)之平均值為紅色色標在所擷取的影像中的顏色P r 。綠色與藍色色標在所擷取的影像中顏色的處理方式亦同，可求得P g 及P b 。
又所述S22根據色標顏色平均值對整張影像作色彩正規化步驟，是將影像中的每一像素點分別對紅色、綠色、藍色頻道做調整，並可減小不同拍攝環境造成影像色彩誤差。
所述S3根據影像臉部像素點之色彩資訊計算黃疸指數步驟為以HSV(Hue,Saturation,Value)色彩模型自動取得臉部屬於膚色的區域，並在此區域搜尋屬於黃疸的區域。計算黃疸區像素點的飽和度(Saturation)平均值，並經某種特殊函數轉換以做為與驗血所得的黃疸值等價的黃疸指標，又以黃疸區像素點數跟皮膚區像素點數的比值作為取像品質的評估依據。
其中S3步驟更包括S31根據一般膚色的色相(Hue)範圍在建議的臉部位置搜尋屬於皮膚的像素點並計算其總點數N Sk 步驟；S32在這些皮膚的像素點中再根據黃疸值的色相範圍找出屬於黃疸區的像素點步驟；S33計算這些黃疸區像素點的飽和度平均值，與黃疸區像素點數跟皮膚區像素點數的比值(Jaundice Skin Ratio,JSR)步驟；S34將飽和度平均值轉換成黃疸指標步驟。
其中S31步驟為發明人藉由統計新生兒臉部皮膚區域的色相(Hue)範圍為指定臉部像素點參數，在所擷取的影像中的橢圓形的臉部輪廓線範圍內篩選出此張影像的臉部皮膚區域像素點，並計算其總點數為N Sk ，又為提升取相品質及精確性可於S31步驟後進行S311步驟搜尋及計算輪廓線內像素點總點數N E 及其飽合度平均值S E 並計算N Sk 與N E 比值(Skin Ellipse Ratio,SER)，並該S E 及SER值大於設定值時再進行S32步驟。
所述S32步驟為發明人藉由統計的新生兒黃疸區域的色相範圍為設定黃疸像素點參數，在擷取到的臉部範圍像素點中再進一步篩選出此張影像的黃疸區域像素點。
所述S33步驟求得黃疸區域像素點的總點數及臉部皮膚區域像素點的總點數的比值。為避免影像品質不良而產生誤判，若黃疸區域像素總點數或兩個比值其中之一或臉部輪廓線範圍內像素點飽和度平均值低於設定值時建議重新取像。
又所述S34步驟計算黃疸區域像素點的色彩飽和度之平均值，然後將其轉換為黃疸指數，使所求得的黃疸指數與驗血所得的黃
疸值等價，而若黃疸指數高於一般中等風險則提出警告並建議回診。
本發明方法可為電腦程式(APP)產品，並該電腦程式(APP)可由網際網路下載或經其他管道載入至目前十分普及並含相機功能之智慧型手機、平板電腦、個人電腦或其他類同功能電子設備等即可實施本發明方法，而本發明操作時只須配合色標即可拍攝且非離線即時進行分析，可具操作便利性功效，又本發明當取相品質不合乎要求(如光線造成過暗或臉部與色標位置不理想)，則會要求重新拍照，可提供更精確檢測結果，且本發明拍攝方式檢測轉換指數與驗血黃疸值等價，可遠較目測方式精確，並可確保新生兒不會因肉眼判斷疏失而錯失治療時機。
S1‧‧‧擷取新生兒臉部及配合色標之影像
S2‧‧‧對擷取影像配合色標進行色彩校正
S3‧‧‧根據影像臉部像素點之色彩資訊計算黃疸指數並排除不良影像
S21‧‧‧自動尋找色標位置，並計算色標區域像素點(pixel)總數N x ，其中x {r,g,b}，並該N x 大於設定值時再計算色標顏色平均值
S22‧‧‧根據色標顏色平均值對整張影像作色彩正規化
S31‧‧‧根據一般膚色的色相(Hue)範圍在建議的臉部位置搜尋屬於皮膚的像素點，並計算其總點數為N Sk
S32‧‧‧在這些皮膚的像素點中再根據黃疸值的色相範圍找出屬於黃疸區的像素點
S311‧‧‧搜尋及計算輪廓線內像素點總點數N E 及其飽合度平均值S E 並計算N Sk 與N E 比值SER
S33‧‧‧計算這些黃疸區像素點的飽和度(Saturation)平均值，與黃疸區像素點數跟皮膚區像素點數的比值(Jaundice Skin Ratio,JSR)
S34‧‧‧將飽和度平均值轉換成黃疸指標
11‧‧‧紅色色標
12‧‧‧綠色色標
13‧‧‧藍色色標
2‧‧‧臉部輪廓線
3‧‧‧色標輪廓線
第一圖係本發明方法步驟示意圖。
第二圖係本發明方法流程圖。
第三圖係本發明拍攝影像配合色標示意圖。
第四圖係本發明色彩飽合度平均值對應膽紅素值回歸統計圖。
第五圖係美國兒科醫學會公布對應新生兒出生時間黃疸曲線圖。
請參閱第一~三圖，其中第一圖為本發明之方法步驟圖，第二圖為本發明之方法流程圖，第三圖為本發明拍攝影像配合色標示意圖，其中本發明之方法包括以下步驟：S1擷取新生兒臉部及
色標之影像；S2對擷取影像配合色標進行色彩校正；S3根據影像臉部像素點之色彩資訊計算黃疸指數並排除不良影像。
其中所述S1擷取新生兒臉部及色標之影像步驟係利用智慧型手機、平板或個人電腦等具相機或類同功能電子設備及可執行程式之工具拍攝，又該所述色標係具有純紅色、純綠色、純藍色三個顏色色卡型態之色標11、12、13，每個色標11、12、13尺寸均大於1cm2，又如第三圖所示該拍攝預覽畫面設定橢圓形臉部輪廓線2及二個長方形色標建議位置之色標輪廓線3以便於取景，並本實施例之各純紅、純綠、純藍色標11、12、13排列於上方色標輪廓線3內，並於拍攝前或拍攝後之拍攝過程載入新生兒出生時間資料以使本發明可對應如第五圖所示對應新生兒目前之正常黃疸值範圍判斷，又該新生兒臉部周邊物件如包巾、床墊或枕頭等背景顏色宜避開紅、綠、藍、黃等顏色以避免干擾影像分析動作。
所述S2對擷取影像配合色標進行色彩校正之步驟為使用RGB色彩模型並根據色標顏色平均值對整張影像作色彩正規化，並該S2步驟更包括S21自動尋找色標位置，並計算色標區域像素點(pixel)總數N x ，其中x {r,g,b}，並該N x 大於設定值時再計算色標顏色平均值步驟；S22根據色標顏色平均值對整張影像作色彩正規化步驟，其中該S21步驟於取像後會在二個長方形的色標建議位置色標輪廓線3內分別搜尋與純紅色、純綠色、純藍色十分接近的顏色區域，再分別找出這些區域的最大連接範圍作為紅色、綠色、藍色色標11、12、13的區域。
本發明自動尋找色標位置為令mxRr i ,mxRg i ,mxRb i 分別為Rr i ,Rg i ,Rb i 中最大連續區域，max i {mxRr i ,mxRg i ,mxRb i }為第i個區域中同時具有最大的mxRr i ,mxRg i ,mxRb i ，這些區域即為純紅色、純綠色、純藍色色標11、12、13所在的區域，而本實施例係可於臉部上方位置之色標輪廓線3搜尋色標11、12、13位置。又mxRr i ,mxRg i ,mxRb i 個別區域的點數為N x ，其中x {r,g,b}，若N x 低於設定值時表示色標可能沒有正確擺放於色標輪廓線3之內或取像時光線不足，並該N x 值為對應相機解析度設定，解析度較高時N x 值較高，如解析度為4752x3168時建議值為10000，若低於10000建議調整好色標位置後重新取像。
又設{CP i}為長方形的色標建議位置色標輪廓線3內的像素點(pixel)集合，其中i {0,1}，i不屬於固定區域。令Rr i ,Rg i ,Rb i 分別為第i個長方形內與純紅、純綠、純藍色十分接近的顏色區域，x {r,g,b}Rx i ={P},P {CP i}且|(P r ,P g ,P b )-(x r ,x g ,x b )|<th_cp，其中x {r,g,b}，(r r ,r g ,r b )=(255,0,0)，(g r ,g g ,g b )=(0,255,0)，(b r ,b g ,b b )=(0,0,255)，|a-b|為a與b之間的距離，th_cp為預設的色標顏色閥值。
本實施例設定較佳th_cp為10。
本發明搜尋後並定義在紅色色標11所在區域中的紅色頻道(Red Channel)之平均值為紅色色標11在所擷取的影像中的顏色P r 。綠色與藍色色標在所擷取的影像中顏色的處理方式亦同，可求得P g 及P b 。
本實施例設定二個長方形色標輪廓線3為便利使用者排列色標，然而本發明亦可僅設一色標輪廓線3。若取像時因某些不可抗拒因素，色標無法擺放於色標輪廓線3之內，可先任意擺放於臉部以外且在取像範圍內之其他區域，俟取像完成後再執行手動設定色標位置之程序，亦即由使用者手動點選色標範圍的中心點，本發明會自動搜尋該位置附近的色標，其色標搜尋方法同前述步驟。
又所述S22根據色標顏色平均值對整張影像作色彩正規化步驟，是將影像中的每一像素點分別對紅色、綠色、藍色頻道做調整，使得紅色色標11所在區域的紅色頻道值趨近255；綠色與藍色色標12、13的處理方式亦同。令，，，則影像中每一像素點的紅色頻道C r 調整為，每一像素點的綠色頻道C g 及藍色頻道C b 處理方式亦同，、，並取得本發明、、RGB色彩資訊，並藉由對應色標11、12、13計算影像中每一像素點之像素值且可減小不同拍攝環境造成影像色彩誤差。
請一併參閱第四圖，為本發明色彩飽合度平均值對應膽紅素值回歸統計圖，其中本發明所述S3根據影像臉部像素點之色彩資
訊計算黃疸指數步驟為以HSV(Hue,Saturation,Value)色彩模型自動取得臉部屬於膚色的區域，並在此區域搜尋屬於黃疸的區域。計算黃疸區像素點的飽和度(Saturation)平均值，並經某種特殊函數轉換以做為與驗血所得的黃疸值等價的黃疸指標，又以黃疸區像素點數跟皮膚區像素點數的比值(Jaundice Skin Ratio,JSR)作為取像品質的評估依據，JSR值小於thJSR為取像品質不佳，所計算的黃疸指標可能有較大的誤差；其中thJSR為本發明經統計後所得的預設閥值(Threshold)。
其中S3步驟更包括S31根據一般膚色的色相(Hue)範圍在建議的臉部位置搜尋屬於皮膚的像素點(pixel)，並計算其總點數為N Sk ；S32在這些皮膚的像素點中再根據黃疸值的色相範圍找出屬於黃疸區的像素點；S33計算這些黃疸區像素點的飽和度(Saturation)平均值，與黃疸區像素點數跟皮膚區像素點數的比值(Jaundice Skin Ratio,JSR)；S34將飽和度平均值轉換成黃疸指標步驟。
其中該、、(RGB)轉換(HSV)計算式為
並該轉換公式為習知技藝，不再多述，又該S31步驟為根據RGB色彩資訊轉換HSV色彩資訊後，發明人藉由統計新生兒臉部皮膚區域的色相(Hue)範圍(本實施例約為42.5±18.5)為設定臉部像素點參數，在所擷取的影像中的橢圓形的臉部輪廓線2範圍內篩選出此張影像的臉部皮膚區域像素點集合 Sk 。
又所述S31步驟中，在取像時因不可抗拒外力，使臉部皮膚區域無法在橢圓形臉部輪廓線2的範圍內，則本發明允許於取像後，以手動的方式調整橢圓形臉部輪廓線2的位置、大小及角度，使所取像的臉部皮膚區域包含於橢圓形臉部輪廓線2範圍內。
為更提升取相品質及精確度，本發明於S31步驟後可再包含S311搜尋及計算輪廓線內像素點總點數N E 及其飽合度平均值S E 並計算N Sk 與N E 比值SER步驟，其中該臉部皮膚區域像素點集合 Sk 的總點數N Sk 與橢圓形的臉部輪廓線2範圍內像素點集合 E 的總點數N E 的比值，並設定SER值低於th SER 值認定為取像品質不良，建議重新取像。為自動辨識取像時臉部皮膚區域與橢圓形臉部輪廓線2位置是否相差太大，本實施例設定SER值低於th SER (70%)時認定為取像品質不良，建議重新取像。又橢圓形的臉部輪廓線2範圍內所有像素點的飽和度平均值為S E ，本實施例設定S E 值低於(0.5)時認定為取像時環境光源不足，建議重新取像。又所述S32步驟為根據發明人藉由統計新生兒黃疸區域的
色相範圍(本實施例約為40~60)為設定黃疸像素點參數，在擷取到的臉部範圍像素點中再進一步篩選出此張影像的黃疸區域像素點集合 J 。
又所述S33步驟求得黃疸區域像素點集合 J 的總點數N J 及臉部皮膚區域像素點集合 Sk 的總點數N Sk 的比值。為避免影像品質不良而產生誤判，本實施例設定JSR值低於th JSR (50%)時認定為取像品質不良，所計算出的後述J S 可能會有較大誤差，建議重新取像。
又所述S34步驟計算 J 的色彩飽和度(Saturation)之平均值J S ，以某種特殊函數T(x)將其轉換為黃疸指數，使所求得的黃疸指數與驗血所得的黃疸值J V 等價。其中如第四圖所示，函數T(x)是J S 與J V 的回歸統計函數，並該J S 與J V 為正相關，J S 愈高J V 即相對愈高，並配合第五圖美國兒科醫學會公布對應新生兒出生時間黃疸曲線圖，該J V 值與新生兒的出生後年齡(postnatal age)判斷其黃疸指數是否過高，若黃疸指數高於美國兒科醫學會建議之一般中等風險(如中央曲線以上)或大於等於15mg/dL時則提出警告並建議回診。
本發明可為電腦程式(APP)產品，並該電腦程式(APP)可由網際網路下載至目前十分普及並含相機功能之智慧型手機、平板電腦、個人電腦或其他類同電子裝置等即可實施本發明方法。
本發明操作時只須配合色標即可拍攝，且能夠即時進行分析，不須再採用特殊頻譜範圍光線或在特殊環境下拍攝影像，可具操
作便利性功效，並可提供新生兒父母可隨時拍照檢測以減輕其憂慮，同時避免頻繁往返醫院血液檢查不便。
又本發明當取相品質不合乎要求(如光線造成過暗或臉部與色標位置不理想)則會要求重新拍照，可提供更精確檢測結果，而本發明拍攝方式檢測轉換指數與驗血黃疸值等價，可遠較新生兒父母目測方式精確，且可於黃疸指標高於正常值時提出回診警訊以確保新生兒不會因新生兒父母肉眼判斷疏失而錯失治療時機，並前述實施例為闡述本發明例示，並非作為本發明限制，凡依據本發明範圍均等變化及修飾亦應受本發明範圍涵蓋。
S1‧‧‧擷取新生兒臉部及配合色標之影像
S21‧‧‧自動尋找色標位置，並計算色標區域像素點(pixel)總數N x ，其中x {r,g,b}，並該N x 大於設定值時再計算色標顏色平均值
S22‧‧‧根據色標顏色平均值對整張影像作色彩正規化
S31‧‧‧根據一般膚色的色相(Hue)範圍在建議的臉部位置搜尋屬於皮膚的像素點，並計算其總點數為N Sk
S32‧‧‧在這些皮膚的像素點中再根據黃疸值的色相範圍找出屬於黃疸區的像素點
S311‧‧‧搜尋及計算輪廓線內像素點總點數N E 及其飽合度平均值S E 並計算N Sk 與N E 比值SER
S33‧‧‧計算這些黃疸區像素點的飽和度(Saturation)平均值，與黃疸區像素點數跟皮膚區像素點數的比值(Jaundice Skin Ratio,JSR)
S34‧‧‧將飽和度平均值轉換成黃疸指標
Claims (9)
- 一種黃疸自動分析檢測方法，包含以下步驟；S1擷取新生兒臉部及配合色標之影像；S2對擷取影像配合色標進行色彩校正；S3根據影像臉部像素點之色彩資訊計算黃疸指數並排除不良影像；其中該S1步驟係具備智慧型手機、平板或個人電腦等具相機及可執行程式之工具拍攝；又所述S2步驟更包括S21自動尋找色標位置步驟，S22根據色標顏色平均值對整張影像作色彩正規化步驟；又所述S3步驟更包括S31根據一般膚色的範圍在建議的臉部位置搜尋屬於皮膚的像素點步驟；S32在這些皮膚的像素點中再根據黃疸的範圍找出屬於黃疸區的像素點步驟；S33計算這些黃疸區像素點的相關數值步驟；S34將S33所得之相關數值轉換成黃疸指標步驟；又前述拍攝過程對應新生兒正常黃疸值判斷。
- 如申請專利範圍第1項所述之黃疸自動分析檢測方法，其中所述色標具有三個顏色之色卡，又所述S21自動尋找色標位置步驟係計算色標區域像素點(pixel)總數N x ，並該N x 大於設定值時再計算色標顏色平均值步驟；所述S31步驟之膚色的範圍可為色相(Hue)範圍，並計算皮膚像素點總數；所述S32步驟之黃疸的範圍可為色相範圍，又判斷照片品質不良則建議重影取像；所述S33步驟之相關數值可為飽和度平均值，又更包括計算黃疸區像素點數跟皮膚區 像素點數的比值(Jaundice Skin Ratio,JSR)步驟；若比值低於設定值建議重新取像。
- 如申請專利範圍第2項所述之黃疸自動分析檢測方法，其中新生兒臉部周邊物件避開紅、綠、藍、黃顏色。
- 如申請專利範圍第2項所述之黃疸自動分析檢測方法，其中拍攝之預覽畫面設定臉部輪廓線及至少一色標輪廓線，又所述S21步驟自動尋找色標位置並於色標輪廓線設置色標，又設i不屬於固定區域，又搜尋色標方式為令mxRr i ,mxRg i ,mxRb i 分別為Rr i ,Rg i ,Rb i 中最大連續區域，max i {mxRr i ,mxRg i ,mxRb i }為第i個區域中同時具有最大的mxRr i ,mxRg i ,mxRb i ，這些區域即為純紅色、純綠色、純藍色色標所在的區域，又設{CP i}為色標輪廓線內的像素點(pixel)集合，令Rr i ,Rg i ,Rb i 分別為色標輪廓線內與純紅、純綠、純藍色十分接近的顏色區域，x {r,g,b}Rx i ={P},P {CP i}且|(P r ,P g ,P b )-(x r ,x g ,x b )|<th_cp其中x {r,g,b}，(r r ,r g ,r b )=(255,0,0)，(g r ,g g ,g b )=(0,255,0)，(b r ,b g ,b b )=(0,0,255)，|a-b|為a與b之間的距離，th_cp為預設的色標顏色閥值，又定義在紅色色標所在區域中的紅色頻道(Red Channel)之平均值為紅色色標在所擷取的影像中的顏色P r ，綠色與藍色色標在所擷取的影像中顏色的處理方式亦同，可求得P g 及P b ；又該S22步驟是將影像中的每一像素點分別對紅色、綠色、藍色頻道做調 整，使得紅色色標所在區域的紅色頻道值趨近255；綠色與藍色色標的處理方式亦同，令,,，則影像中每一像素點的紅色頻道C r 調整為，每一像素點的綠色頻道C g 及藍色頻道C b 處理方式亦同，、 C b ，並取得、、RGB色彩資訊。
- 如申請專利範圍第4項所述之黃疸自動分析檢測方法，其中該N x 值對應相機解析度設定。
- 如申請專利範圍第4項所述之黃疸自動分析檢測方法，其中該S31步驟為根據前述RGB色彩資訊轉換HSV色彩資訊，並根據設定臉部像素點參數之色相(Hue)範圍，在所擷取的影像中的臉部輪廓線範圍 E 內篩選出此張影像的臉部皮膚區域像素點集合 Sk ，並計算其總點數為N Sk ；又該S32步驟根據設定黃疸像素點參數在臉部範圍像素點中再進一步篩選出此張影像的黃疸區域像素點集合 J ；又該S33步驟為求得黃疸區域像素點集合 J 的總點數N J 及N Sk 的比值，並設定JSR值低於設定值thJSR值認定為取像品質不良，建議重新取像；又該S34步驟計算 J 的色彩飽和度(Saturation)之平均值J S ，然後以函數T(x)將其轉換為黃疸指數，使所求得的黃疸指數與驗血所得的黃疸值J V 等價，並所述函數T(x)為J S 與J V 之迴歸統計函數。
- 如申請專利範圍第6項所述之黃疸自動分析檢測方法，其中所述S31步驟後可再包含S311搜尋及計算輪廓線內像素點總點數N E 及其飽合度平均值S E 並計算N Sk 與N E 比值SER步驟，並所述S311步驟 為臉部皮膚區域像素點集合 Sk 的總點數N Sk 及臉部輪廓線範圍內像素點集合 E 的總點數N E 的比值，並設定SER值低於th SER 值認定為取像品質不良，建議重新取像；又求得 E 的飽和度平均值S E ，並設定S E 值低於值時認定為取像時環境光源不足，建議重新取像，若SER值高於th SER 值及S E 值高於值則進行S32步驟。
- 如申請專利範圍第1項所述之黃疸自動分析檢測方法，其中所述拍攝過程載入新生兒出生時間以對應新生兒正常黃疸值判斷。
- 一種電腦程式產品，當電子設備載入該電腦程式並執行後，可完成請求項1至8項中任一項所述之方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102123300A TWI501186B (zh) | 2013-06-28 | 2013-06-28 | Automatic analysis of jaundice detection methods and computer program products |
| JP2013226968A JP6266948B2 (ja) | 2013-06-28 | 2013-10-31 | 黄疸測定システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102123300A TWI501186B (zh) | 2013-06-28 | 2013-06-28 | Automatic analysis of jaundice detection methods and computer program products |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201501070A TW201501070A (zh) | 2015-01-01 |
| TWI501186B true TWI501186B (zh) | 2015-09-21 |
Family
ID=52302855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW102123300A TWI501186B (zh) | 2013-06-28 | 2013-06-28 | Automatic analysis of jaundice detection methods and computer program products |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6266948B2 (zh) |
| TW (1) | TWI501186B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108430326A (zh) | 2015-12-22 | 2018-08-21 | 皮克特鲁斯公司 | 基于图像确定胆红素 |
| KR101998595B1 (ko) * | 2017-10-13 | 2019-07-11 | 아주대학교산학협력단 | 이미지 기반 황달 진단 방법 및 장치 |
| US10945637B2 (en) | 2016-12-28 | 2021-03-16 | Ajou University Industry-Academic Cooperation Foundation | Image based jaundice diagnosing method and apparatus and image based jaundice diagnosis assisting apparatus |
| CN110796642A (zh) * | 2019-10-09 | 2020-02-14 | 陈浩能 | 水果品质程度确定方法及相关产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020021444A1 (en) * | 1997-12-18 | 2002-02-21 | Chromatics Colorsciences Inc., | Color measurement system with color index for skin, teeth, hair and material substances |
| TW200538082A (en) * | 2004-05-24 | 2005-12-01 | Ming-Yih Lee | Noninvasive type digitalized sampling of color separation method used in medical treatment |
| US20090299154A1 (en) * | 2005-03-25 | 2009-12-03 | Cnoga Holdings Ltd. | Optical sensor device and image processing unit for measuring chemical concentrations, chemical saturations and biophysical parameters |
| TW201325260A (zh) * | 2011-11-16 | 2013-06-16 | Renesas Electronics Corp | 圖像處理裝置、圖像處理方法及程式 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000121439A (ja) * | 1998-10-15 | 2000-04-28 | Sekisui Chem Co Ltd | 色判断装置及び色判断方法 |
| KR100364656B1 (ko) * | 2000-06-22 | 2002-12-16 | 삼성전자 주식회사 | 실리사이드 증착을 위한 화학 기상 증착 방법 및 이를수행하기 위한 장치 |
| US7711403B2 (en) * | 2001-04-05 | 2010-05-04 | Rhode Island Hospital | Non-invasive determination of blood components |
| US8154612B2 (en) * | 2005-08-18 | 2012-04-10 | Qualcomm Incorporated | Systems, methods, and apparatus for image processing, for color classification, and for skin color detection |
| WO2014172033A1 (en) * | 2013-03-12 | 2014-10-23 | University Of Washington Through Its Center For Commercialization | Estimating bilirubin levels |
-
2013
- 2013-06-28 TW TW102123300A patent/TWI501186B/zh not_active IP Right Cessation
- 2013-10-31 JP JP2013226968A patent/JP6266948B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020021444A1 (en) * | 1997-12-18 | 2002-02-21 | Chromatics Colorsciences Inc., | Color measurement system with color index for skin, teeth, hair and material substances |
| TW200538082A (en) * | 2004-05-24 | 2005-12-01 | Ming-Yih Lee | Noninvasive type digitalized sampling of color separation method used in medical treatment |
| US20090299154A1 (en) * | 2005-03-25 | 2009-12-03 | Cnoga Holdings Ltd. | Optical sensor device and image processing unit for measuring chemical concentrations, chemical saturations and biophysical parameters |
| TW201325260A (zh) * | 2011-11-16 | 2013-06-16 | Renesas Electronics Corp | 圖像處理裝置、圖像處理方法及程式 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015009140A (ja) | 2015-01-19 |
| TW201501070A (zh) | 2015-01-01 |
| JP6266948B2 (ja) | 2018-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200261016A1 (en) | Skin Feature Imaging System | |
| US10285624B2 (en) | Systems, devices, and methods for estimating bilirubin levels | |
| AU2012328140B2 (en) | System and method for identifying eye conditions | |
| US10045731B2 (en) | Device and apparatus to facilitate cervix cancer screening | |
| CN103340604B (zh) | 黄疸自动分析检测方法 | |
| US10945637B2 (en) | Image based jaundice diagnosing method and apparatus and image based jaundice diagnosis assisting apparatus | |
| KR101998595B1 (ko) | 이미지 기반 황달 진단 방법 및 장치 | |
| KR102237583B1 (ko) | 빌리루빈 레벨의 추정 | |
| US9468377B2 (en) | Portable medical device and method for quantitative retinal image analysis through a smartphone | |
| TWI501186B (zh) | Automatic analysis of jaundice detection methods and computer program products | |
| JP2010521272A (ja) | 標準化された撮像データを実現するために撮像デバイスに自動品質フィードバックを与える方法 | |
| EP3219251A1 (en) | Organ image capture device and program | |
| TW201825040A (zh) | 傷口狀態分析方法與系統 | |
| US10772535B2 (en) | Self-diagnostic method for jaundice and an APP product thereby | |
| KR20170027468A (ko) | 영상을 이용한 산소포화도 측정 방법 및 영상을 이용한 산소포화도 측정 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체 | |
| Santra et al. | A non-invasive approach for estimation of hemoglobin analyzing blood flow in palm | |
| JP4956815B2 (ja) | 歯科用ｘ線撮影装置 | |
| EP4170646A1 (en) | Image display system and image display method | |
| WO2013119102A1 (en) | Methodology and apparatus for objective and in vivo assessment of granulation tissue growth in chronic ulcers using digital imaging | |
| CN106127675B (zh) | 颜色一致性方法和装置 | |
| US20230258501A1 (en) | Color chart | |
| KR101566618B1 (ko) | 충혈도 산출 방법 및 장치 | |
| TW200538082A (en) | Noninvasive type digitalized sampling of color separation method used in medical treatment | |
| WO2015068494A1 (ja) | 器官画像撮影装置 | |
| KR20230081189A (ko) | 스마트폰을 이용한 동공반응 검사방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |