TW201835854A

TW201835854A - 圖像處理方法及圖像處理裝置

Info

Publication number: TW201835854A
Application number: TW106139240A
Authority: TW
Inventors: 安田拓矢
Original assignee: 日商斯庫林集團股份有限公司
Priority date: 2017-03-24
Filing date: 2017-11-14
Publication date: 2018-10-01
Also published as: TWI657411B; US20200005466A1; EP3605462A4; WO2018173352A1; CN109844810A; EP3605462A1; CN109844810B; US11094068B2

Abstract

一種圖像處理方法，其係從拍攝解析細胞之孔、及孔之周圍而獲得之圖像資料中，檢測出孔之邊緣者，且係自圖像資料提取孔之邊緣座標群。在提取了複數個邊緣座標群之情形下，針對複數個邊緣座標群各者，產生孔之邊緣候選。自所產生之邊緣候選中，選擇滿足預先決定之基準值之邊緣候選。在選擇了複數個邊緣候選之情形下，藉由相對評估而自複數個邊緣候選中決定解析區域之邊緣。

Description

圖像處理方法及圖像處理裝置

本發明係關於一種從拍攝解析對象物之解析區域、及前述解析區域之周圍而獲得之圖像資料中檢測前述解析區域之邊緣(輪廓或線等)之圖像處理方法及圖像處理裝置。

針對細胞之解析，使用被稱為孔板或微量板(Microplate)之設置有複數個孔(凹窪)之平板狀之器具。解析對象物之細胞與培養液一起保持在複數個孔內。而後，利用相機拍攝細胞並進行解析。在利用相機拍攝時，拍攝到孔及其周圍。因此，在圖像處理中，必須高精度地檢測成為細胞之解析範圍之孔壁之邊界。在專利文獻1中，揭示有識別微量板之試驗孔壁邊界之方法。專利文獻1記載之方法係自微量板之圖像中檢測試驗孔之壁邊界之特徵。而後，使用壁邊界之特徵產生壁邊界之候選邊緣圖像。解析該候選邊緣圖像，計算試驗孔之外周邊界之空間位置，使用該資訊決定內周邊界。將該內周邊界視為試驗孔區域。 [先前技術文獻] [專利文獻] [專利文獻1] 日本特開5920994號公報

[發明所欲解決之問題] 在專利文獻1中，由於在孔內保持有培養液等之液體，故因表面張力而在液體之表面形成有凹狀之彎液面(液面之彎曲)。該情形下，光在液體之表面產生折射，而有無法正確地檢測試驗孔之外周邊界之情形。其結果為，在基於試驗孔之外周邊界之空間位置決定試驗孔之內周邊界之專利文獻1中，無法正確地檢測試驗孔之內周邊界。而且，若無法檢測試驗孔之內周邊界，則有在錯誤之解析區域解析細胞，而無法獲得高精度之解析結果之虞。又，在專利文獻1中，有密集於孔壁面的孔內之細胞、或培養液內之雜質作為孔之壁邊界之候選邊緣圖像而產生之情形。如此之情形下，亦有檢測到錯誤之試驗孔區域，而無法高精度地進行細胞之解析之情形。本發明係鑒於如此之事態而完成者，其目的在於提供一種高精度地檢測解析區域之圖像處理方法及圖像處理裝置。 [解決問題之技術手段] 為了解決上述課題，本發明申請案之第1發明係一種從拍攝解析對象物之解析區域、及前述解析區域之周圍而獲得之圖像資料中檢測前述解析區域之邊緣之圖像處理方法，該圖像處理方法包含：a)自前述圖像資料中提取前述解析區域之邊緣座標群之工序；b)於在前述工序a)中提取了複數個邊緣座標群之情形下，針對前述複數個邊緣座標群各者，產生前述解析區域之邊緣候選之工序；c)從在前述工序b)中產生之邊緣候選中，選擇滿足預先決定之基準值之邊緣候選之工序；及d)於在前述工序c)中選擇了複數個邊緣候選之情形下，藉由相對評估而自前述複數個邊緣候選中決定前述解析區域之邊緣之工序。本發明申請案之第2發明係如第1發明之圖像處理方法者，其中前述工序b)針對前述複數個邊緣座標群各者，產生多項式近似之邊緣候選。本發明申請案之第3發明係如第2發明之圖像處理方法者，其中前述工序c)將距前述邊緣候選之距離在第1容許值以下之邊緣座標選擇為自具有特定數以上之邊緣座標群產生之邊緣候選。本發明申請案之第4發明係如第1發明至第3發明之圖像處理方法，其中前述工序c)包含：c1)針對在前述工序b)中產生之邊緣候選各者，檢測特定前述邊緣候選之邊緣座標之欠缺數之工序；c2)針對在前述工序b)中產生之邊緣候選各者，檢測前述邊緣座標連續欠缺之欠缺範圍之工序；c3)基於檢測到之前述欠缺數及檢測到之前述欠缺範圍算出選擇用指標之工序、及c4)選擇所算出之前述選擇用指標為第2容許值以上之邊緣候選之工序。本發明申請案之第5發明係如第1發明至第3發明之圖像處理方法者，其中前述工序c)算出在前述工序b)中產生之邊緣候選各者、與前述邊緣候選之近鄰邊緣座標之距離之統計量，且基於所算出之統計量選擇邊緣候選。本發明申請案之第6發明係如第1發明至第3發明之圖像處理方法者，其中前述解析區域為圓形，且該圖像處理方法進一步包含：e)取得被預先記憶之前述解析區域之理想直徑之工序，前述工序c)從在前述工序b)中產生之邊緣候選中，選擇具有位於前述理想直徑之第1容許範圍內之直徑之邊緣候選。本發明申請案之第7發明係如第6發明之圖像處理方法者，其中前述工序c)從在前述工序b)中產生之邊緣候選之中，選擇中心座標距離特定之中心座標位於第2容許範圍內之邊緣候選。本發明申請案之第8發明係如第6發明之圖像處理方法者，其中前述工序d)自前述複數個邊緣候選之中，將具有最小直徑之邊緣候選決定為前述解析區域之邊緣。本發明申請案之第9發明係如第6發明之圖像處理方法者，其中前述工序d)自前述複數個邊緣候選各者之中心座標之中，檢測位於特定範圍外之中心座標，且自前述複數個邊緣候選之中排除具有位於前述特定範圍外之中心座標之邊緣候選，而決定前述解析區域之邊緣。本發明申請案之第10發明係如第1發明至第3發明之圖像處理方法者，其中前述工序d)基於在前述工序b)中產生之邊緣候選各者算出得分值，且基於所算出之前述得分值而決定前述解析區域之邊緣。本發明申請案之第11發明係一種從拍攝解析對象物之解析區域、及前述解析區域之周圍而獲得之圖像資料中檢測前述解析區域之邊緣之圖像處理方法，該圖像處理方法包含：a)自前述圖像資料中，除了提取前述解析區域之邊緣座標群以外，還提取與前述邊緣座標群對應之邊緣特徵資訊之工序；b)於在前述工序a)中提取了複數個邊緣座標群之情形下，自前述複數個邊緣座標群中基於前述邊緣特徵資訊而選擇邊緣座標群之工序；及c)從在前述工序b)中選擇之邊緣座標群中產生前述解析區域之邊緣候選之工序。本發明申請案之第12發明係第11發明之圖像處理方法，其中前述邊緣特徵資訊包含：由前述邊緣座標群特定之邊緣之方向、前述邊緣之強度、前述邊緣之構成像素數、前述邊緣之最大亮度及最小亮度中之至少一者。本發明申請案之第13發明係如第11發明或第12發明之圖像處理方法者，其中前述工序c)針對前述邊緣座標群產生多項式近似之邊緣候選。本發明申請案之第14發明係如第11發明或第12發明之圖像處理方法者，其中進一步包含：d)於在前述工序b)中選擇了複數個邊緣座標群，在前述工序c)中產生了複數個邊緣候選之情形下，自前述複數個邊緣候選基於前述邊緣特徵資訊而選擇邊緣候選之工序。本發明申請案之第15發明係一種圖像處理裝置，該圖像處理裝置具備：相機，其拍攝解析對象物之解析區域、及前述解析區域之周圍；以及控制部，其處理利用前述相機拍攝而獲得之圖像資料；且前述控制部執行下述工序，即：a)自前述圖像資料提取前述解析區域之邊緣座標群之工序；b)於在前述工序a)中提取了複數個邊緣座標群之情形下，針對前述複數個邊緣座標群各者，產生前述解析區域之邊緣候選之工序；c)從在前述工序b)中產生之邊緣候選中，選擇滿足預先決定之基準值之邊緣候選之工序；及d)於在前述工序c)中選擇了複數個邊緣候選之情形下，藉由相對評估而自前述複數個邊緣候選之中決定前述解析區域之邊緣之工序。本發明申請案之第16發明係一種圖像處理裝置，該圖像處理裝置具備：相機，其拍攝解析對象物之解析區域、及前述解析區域之周圍；以及控制部，其處理利用前述相機拍攝而獲得之圖像資料；且前述控制部執行下述工序，即：a)自前述圖像資料中，除了提取前述解析區域之邊緣座標群以外，還提取與前述邊緣座標群對應之邊緣特徵資訊之工序；b)於在前述工序a)中提取了複數個邊緣座標群之情形下，自前述複數個邊緣座標群基於前述邊緣特徵資訊而選擇邊緣座標群之工序；及c)從在前述工序b)中所選擇之邊緣座標群中，產生前述解析區域之邊緣候選之工序。 [發明之效果] 根據本發明申請案之第1發明至第10及第15發明，即便因光之折射或灰塵等之影響而檢測到複數個邊緣座標群，產生複數個邊緣候選之情形下，仍可藉由利用基準值與相對評估而縮限，從而可高精度地進行解析區域之邊緣之決定。又，藉由掌握解析區域之邊緣而可高精度地進行對象物之解析。根據本發明申請案之第11發明至第14發明及第16發明，即便因光之折射或對象物等之影響而檢測到複數個特定解析區域之邊緣之邊緣座標群，仍可利用邊緣特徵資訊自複數個邊緣座標群縮限。又，即便在檢測到之邊緣座標群具有包含干擾要素之邊緣座標之情形下，仍可自邊緣特徵資訊排除該不必要之邊緣座標。其結果為，可高精度地進行解析區域之邊緣之決定。而且，藉由掌握解析區域之邊緣而可高精度地進行對象物之解析。特別是，根據本發明申請案之第2發明，能夠進行高穩健性之邊緣檢測。特別是，根據本發明申請案之第4發明，提高決定解析區域之邊緣時之信賴性。特別是，根據本發明申請案之第7發明，藉由在複數個邊緣候選中，排除中心座標自特定之中心座標極端偏移者，而提高決定解析區域之邊緣時之信賴性。特別是，根據本發明申請案之第9發明，藉由在複數個邊緣候選中，排除中心座標與其他邊緣候選標極端偏移者，而提高決定解析區域之邊緣時之信賴性。特別是，根據本發明申請案之第13發明，圖像處理速度變快。特別是，根據本發明申請案之第14發明，即便產生了複數個邊緣候選，仍可藉由邊緣特徵資訊自複數個邊緣候選縮限。其結果為，可高精度地進行解析區域之邊緣之決定。而且，藉由掌握解析區域之邊緣而可高精度地進行對象物之解析。

以下，一邊參照圖式一邊說明本發明之較佳之實施形態。在以下所述中，將本發明之「圖像處理裝置」作為拍攝所安裝之孔板之攝像裝置而進行說明。另外，將該攝像裝置作為執行本發明之「圖像處理方法」者而進行說明。＜1.攝像裝置之構成＞圖1顯示安裝於攝像裝置1之孔板9之一例之立體圖。孔板9係具有複數個孔91之大致板狀之試樣容器。針對孔板9之材料，例如使用透過光之透明之樹脂。在孔板9之上表面，規則地排列有複數個孔91。孔91將成為解析對象物之複數個細胞93與培養液92一起予以保持。孔91之內側係解析細胞93之解析區域。在本實施形態中，以在俯視觀察下之孔91之形狀為圓形進行說明。惟，孔91之形狀亦可為矩形等之其他形狀。圖2係顯示本實施形態之顯示裝置1之構成之圖。攝像裝置1係一邊使相機40之焦點位置發生變化，一邊複數次拍攝孔板9內之複數個細胞93而產生細胞93之圖像資料之裝置。攝像裝置1例如使用在醫藥品之研究開發領域，限縮成為醫藥品之候選之化合物之篩選工序中。篩選工序之負責者，在孔板9之複數個孔91內添加濃度及組成不同之化合物。而後，在攝像裝置1中，取得孔板9之各孔91內之細胞93之圖像資料。其後，基於所獲得之圖像資料，藉由比較/分析細胞93之培養狀態，而驗證添加於培養液92之化合物之效用。不過，攝像裝置1亦可在IPS細胞或ES細胞等多能幹細胞之研究/開發中，為了觀察細胞之分化等而使用。攝像裝置1具備：載台10、投光部20、投光部移動機構30、相機40、相機移動機構50、及控制部60。載台10係保持孔板9之載置台。攝像裝置1內之載台10之位置，係至少在拍攝時被固定。在載台10之中央設置有上下貫通之矩形之開口部11。又，載台10在開口部11之緣部具有環狀之支持面12。孔板9嵌入於開口部11，且藉由支持面12而被水平支持。因此，各孔91之上部及下部不會被載台10堵塞而可露出。投光部20配置於保持於載台10之孔板9之上方。投光部20具有LED等光源。在拍攝時，投光部20內之光源發光。藉此，光自投光部20朝向下方照射。又，投光部20只要是自相機40之相反側朝向孔板9照射光者即可。因此，投光部20之光源本身可採用配置於遠離配置孔板9之上方之位置，經由鏡等之光學系統對孔板9照射光之構成。投光部移動機構30係使投光部20沿著保持於載台10之孔板9之上表面水平移動之機構。於投光部移動機構30，例如使用將馬達之旋轉運動，經由滾珠螺桿轉換為直進運動之機構。攝像裝置1藉由使投光部移動機構30動作，而可在各孔91之上方位置配置投光部20。又，在圖2中，作為投光部20之移動方向，僅顯示箭頭A1之1個方向。然而，投光部移動機構30可為使投光部20沿著孔板9之上表面，在2個方向(圖2中之左右方向及深度方向)上移動者。相機40配置在保持於載台10之孔板9之下方。相機40具有透鏡等光學系統、及CCD或CMOS等攝像元件。在拍攝時，一邊自投光部20朝向孔板9之一部分照射光，一邊由相機40拍攝孔板9之該一部分。藉此，可將孔板9內之細胞93之圖像作為數位資料而取得。所取得之拍攝圖像自相機40輸入至控制部60。相機移動機構50係一邊維持相機40之姿勢，一邊使相機40之高度及水平方向之位置發生變化之機構。相機移動機構50具有升降移動機構51及水平移動機構52。升降移動機構51使相機40上下移動，而使相機40之高度發生變化。藉此，保持於載台10之孔板9與相機40之距離(亦即，細胞93與相機40之間之拍攝距離)發生變化。其結果為，可使相機40之焦點位置沿著光軸上下移動。水平移動機構52使相機40及升降移動機構51一體地水平移動。攝像裝置1藉由使水平移動機構52動作，而可在各孔91之下方位置配置相機40。又，在圖2中，作為水平移動機構52進行之相機40之移動方向，僅顯示箭頭A2之1個方向。然而，相機移動機構50可為使相機40沿著孔板9之下面在2個方向(圖2中之左右方向及深度方向)上移動者。又，上述之投光部移動機構30與水平移動機構52係被同步驅動。藉此，投光部20與相機40在俯視觀察下，經常地配置於相同之位置。亦即，投光部20與相機40朝相同之朝向移動相同之距離，在某一孔91之下方位置配置有相機40時，必定在該孔91之上方位置配置有投光部20。控制部60包含例如電腦。控制部60具有對攝像裝置1內之各部分進行動作控制之功能、及對利用相機40拍攝而獲得之圖像資料進行圖像處理之功能。圖3係顯示控制部60與攝像裝置1內之各部分連接之方塊圖。如圖3中概念性所示般，控制部60具有：CPU等之處理器61、RAM等之記憶體62、及硬碟機等之記憶部63。在記憶部63內記憶有：用於對攝像裝置1內之各部分進行動作控制之程式P1、及對圖像資料進行圖像處理之程式P2。又，控制部60與上述之投光部20、投光部移動機構30、相機40、升降移動機構51、及水平移動機構52分別可通訊地連接。控制部60根據程式P1對上述之各部分進行動作控制。藉此，進行保持於孔板9之各孔91之細胞93之拍攝處理。又，控制部60藉由對自相機40輸入之圖像資料根據程式P2進行處理，而檢測孔91之邊緣，且取得孔91內之細胞93之圖像資料。孔91之邊緣係孔板9之孔91之內壁與其周圍之邊界。＜2.關於圖像處理＞在拍攝孔板9時，拍攝孔91及其周圍。因此，在取得孔91內之細胞93之圖像資料時，首先，需要檢測孔板9之孔91之邊緣。攝像裝置1進行自拍攝孔板9而獲得之圖像資料中檢測各孔91之邊緣之處理(以下稱為「邊緣檢測處理」)。以下針對邊緣檢測處理進行說明。圖4係顯示邊緣檢測處理之流程之圖。以下一邊參照該流程一邊進行說明。控制部60利用相機40拍攝孔板9(步驟S1)。其次，控制部60自拍攝而獲得之圖像資料中，提取針對一個孔91之邊緣資訊(步驟S2)。邊緣資訊係用於特定孔91之邊緣之像素資訊。因此，針對一個孔91，原本應該提取一個邊緣資訊。然而，在步驟S2之處理中，因光之折射或細胞93等之影響，而有與孔91之邊緣無關之像素作為邊緣資訊被提取之情形。若提取了複數個邊緣資訊，則針對一個孔91難以檢測正確之邊緣。因此，在以下之處理中，將複數個邊緣資訊縮限至滿足特定之條件之邊緣資訊，而後，進行決定孔91之邊緣之處理。邊緣資訊包含：邊緣座標群及邊緣特徵資訊。邊緣座標群係自圖像資料之各像素之亮度之變化中提取之座標資料之集合。針對該邊緣座標之檢測，採用已知之邊緣檢測處理。邊緣特徵資訊係表示由邊緣座標群特定之邊緣之特徵之資訊。邊緣特徵資訊具有：由邊緣座標群特定之邊緣之方向、邊緣之強度、邊緣之構成像素數、以及邊緣之最大亮度及最小亮度。不過，邊緣特徵資訊既可具有前述之全部，亦可具有任一個或複數個。圖5係用於說明邊緣特徵資訊之示意圖。在圖5中，顯示利用相機40拍攝孔91而獲得之圖像資料之一部分。在該圖中，以濃度表示像素之亮度。亦即，隨著接近黑色，表示該像素之亮度變低。邊緣之方向係由邊緣座標特定之邊緣之方向。在圖5中，邊緣之方向以中空箭頭表示。該邊緣之方向係從由邊緣座標特定之像素(以下稱為「關注像素」)，朝向亮度變大之像素之方向。例如，控制部60分別算出關注像素與其周圍之像素之亮度之差分，自其中，將差分為大之方向檢測為邊緣之方向。邊緣強度係構成邊緣之最大亮度與最小亮度之差分。在圖5中，邊緣強度以中空箭頭之粗細而表示。不過，邊緣強度既可作為關注像素之亮度，亦可作為關注像素之亮度與其周圍之像素之亮度之差分。邊緣之構成像素數係自關注像素在前述邊緣之方向上亮度之變化為連續的像素之數目。在圖5中，邊緣之構成像素數以中空箭頭之長度表示。邊緣之最大亮度及最小亮度係邊緣之構成像素內之最大亮度及最小亮度。返回圖4，控制部60使用已知之理想直徑D，分別對邊緣資訊之邊緣座標群各者進行自邊緣座標群之中提取邊緣座標之處理(步驟S3)。在記憶部63中預先記憶有中心座標X與理想直徑D。中心座標X係例如圖像資料內之孔91之被預想之任意之中心座標。理想直徑D係安裝於攝像裝置1之孔板9之設計上之孔徑(所謂目錄值)。以下，將在步驟S2中提取之邊緣資訊之邊緣座標群稱為「第1邊緣座標群E1」。控制部60算出第1邊緣座標群E1之一個邊緣座標與中心座標X之距離Dw。而後，控制部60判定距離Dw與理想直徑D之差分是否在容許範圍內。在容許範圍內之情形下，控制部60將該邊緣座標自第1邊緣座標群E1提取。在超出容許範圍之情形下，判定該邊緣座標與中心座標X之距離Dw遠超出理想直徑D加特定之容許值之距離，而控制部60將該邊緣座標自處理對象排除。控制部60針對第1邊緣座標群E1之各邊緣座標進行前述處理。控制部60將自第1邊緣座標群E1提取之邊緣座標記憶為第2邊緣座標群E2。亦即，該步驟S3進行排除第1邊緣座標群E1所包含之與特定孔91之邊緣之資訊明顯無關之資訊之處理。控制部60針對邊緣資訊所包含之第1邊緣座標群E1全部進行產生第2邊緣座標群E2之處理。又，控制部60在記憶所產生之第2邊緣座標群E2時，與其建立對應關係而亦記憶在步驟S2中提取之邊緣特徵資訊。其次，控制部60從在步驟S3中產生之第2邊緣座標群E2中基於邊緣特徵資訊進行邊緣座標群之選擇處理(步驟S4)。圖6係用於說明基於邊緣特徵資訊之選擇之示意圖。惟，在圖6中，省略在圖5中所示之圖像資料之圖示，而僅圖示邊緣特徵資訊。在步驟S4之處理中，例如控制部60在與第2邊緣座標群E2對應之邊緣特徵資訊所包含之各邊緣強度為臨限值以上之情形下，選擇該第2邊緣座標群E2。此處，控制部60在邊緣特徵資訊所包含之全部之邊緣強度為臨限值以上之情形下，可選擇對應之第2邊緣座標群E2。又，控制部60可根據邊緣特徵資訊所包含之邊緣強度之資訊數、與成為臨限值以上之邊緣強度之資訊數之比例，選擇對應之第2邊緣座標群E2。又，臨限值根據相機40之解析度或拍攝環境等而適當變更。在圖6之情形下，將與以曲線M1表示之邊緣座標群對應之邊緣強度視為全部未達臨限值，而控制部60將該邊緣座標群排除選擇。又，控制部60在與第2邊緣座標群E2對應之邊緣特徵資訊所包含之各邊緣之方向與自中心座標X朝向關注像素之方向(圖中之虛線箭頭)一致時，選擇該第2邊緣座標群E2。中心座標X係如前述所述般圖像資料內之孔91之被預想之任意之中心座標。圖6之情形下，與以曲線M2表示之邊緣座標群對應之邊緣之方向和自中心座標X朝向關注像素之方向為不一致者居多。因此，控制部60將該第2邊緣座標群E2排除選擇。此處，控制部60在邊緣之方向在與自中心座標X朝向關注像素之方向偏移者即便有一個，可將所對應之第2邊緣座標群E2排除選擇，亦可根據偏移數目之比例，將第2邊緣座標群E2排除選擇。又，控制部60在即便邊緣之方向無不一致，而各邊緣之方向朝向彼此相反方向之情形下，將該邊緣座標群排除選擇。例如，雖未圖示，但在邊緣特徵資訊的一個邊緣之方向以自關注像素朝向中心座標X之箭頭而表示，其他邊緣之方向以自中心座標X朝向關注像素之箭頭而表示之情形下，控制部60將該邊緣座標群排除選擇。又，控制部60在邊緣之構成像素數為不一致、邊緣之最大亮度及最小亮度存在不一致之情形下，將所對應之邊緣座標群排除選擇。如此，藉由使用邊緣特徵資訊選擇第2邊緣座標群E2，即便提取了包含起因於孔91內之灰塵或細胞93等干擾要素之邊緣座標(例如圖6之以曲線所示之邊緣座標群)，仍可將其等排除。又，在以下所述中，將在步驟S4中，自第2邊緣座標群E2中選擇之邊緣座標群稱為「第3邊緣座標群E3」。圖7係用於說明基於邊緣特徵資訊而選擇之第3邊緣座標群E3之示意圖。在該圖7中，顯示選擇了以中空箭頭所示之與邊緣特徵資訊對應之邊緣座標群、及以黑箭頭所示之與邊緣特徵資訊對應之邊緣座標群之例。中空箭頭的邊緣之方向、邊緣強度、邊緣之構成像素數為大致相同。又，黑箭頭的邊緣之方向、邊緣強度、邊緣之構成像素數亦大致相同。返回圖4，控制部60針對在步驟S4中選擇之第3邊緣座標群E3，使用最小二乘法之多項式近似產生孔91之邊緣候選(步驟S5)。亦即，所產生之邊緣候選係第3邊緣座標群E3之邊緣座標之近似曲線。又，由於孔91之形狀為圓形，故其邊緣候選亦為圓形。例如，若以孔91之中心座標(a，b)、半徑r表示，則使用第3邊緣座標群E3之各邊緣座標、及(x-a)² +(y-b)² =r² 之多項式算出係數a、b、r。控制部60使中心座標X移動所設想之位置偏移量部分，重複自前述之步驟S3至步驟S5之處理。圖8係利用多項式近似而產生之邊緣候選之示意圖。在本實施態中，將步驟S2～步驟S5之處理之結果，視為產生了複數個邊緣候選者。在圖8中，顯示產生邊緣候選(A)、邊緣候選(B)、邊緣候選(C)、邊緣候選(D)、邊緣候選(E)及邊緣候選(F)之情形。返回圖4，控制部60使用絕對指標之基準值，從在步驟S4中產生之複數個邊緣候選(A)～(F)中，選擇滿足基準值之邊緣候選(步驟S6)。以下，針對絕對指標之例進行說明。 (絕對指標之第1例) 在第1例中，將邊緣候選與其近鄰邊緣座標之距離之統計量，視為絕對指標。詳細而言，將第3邊緣座標群E3之邊緣座標、與和該第3邊緣座標群E3近似而產生之邊緣候選之距離之容許值(第1容許值)，視為絕對指標。若自近似之邊緣候選極端偏移之邊緣座標多，則該第3邊緣座標群E3之信賴性低。因此，控制部60算出第3邊緣座標群E3之邊緣座標各者、與和該第3邊緣座標群E3近似而產生之邊緣候選之距離。而後，在算出距離為容許值以下之邊緣座標之數目，係基於孔之理想直徑算出之理想邊緣數之1/2或1/3以上時，控制部60將用作算出之邊緣候選，作為滿足基準值之邊緣候選而選擇。惟，「1/2」及「1/3」之數值為一例，並不限定於此。 (絕對指標之第2例) 在第2例中，將基於構成各邊緣候選之邊緣資訊算出之選擇用指標之容許值，視為絕對指標。此處，針對選擇用指標之算出進行說明。如前述所述般，邊緣候選係自複數個邊緣座標產生之近似曲線。因此，在無法提取邊緣座標之情形下，在構成邊緣候選之邊緣資訊中存在有如圖8所示般欠缺之部分。控制部60測定有效之像素數N1。又，控制部60基於理想直徑D算出邊緣候選之圓周之長度，且自圓周之長度推定邊緣候選之圓周上之全像素數N2。而後，控制部60算出有效之像素數N1相對於所推定之全像素數N2之比例(N1/N2)。進而，控制部60將邊緣候選之圓周例如8等分割。在該被分割之圓周上，測定連續之有效之像素數N3。控制部60基於如前述所述般推定之全像素數N2算出被分割之圓周上之像素數N4。而後，控制部60算出連續之有效之像素數N3相對於像素數N4之比例(N3/N4)。控制部60針對被分割之邊緣候選之圓周各者算出比例(N3/N4)，自其中選擇最低者。而後，控制部60將所算出之比例(N1/N2)與所選擇之(N3/N4)相乘之(N1·N3)/(N2·N4)視為選擇用指標。控制部60在所算出之選擇用指標為容許值(第2容許值)以上之情形下，將用於算出之邊緣候選作為滿足基準值之邊緣候選而選擇。自有效之像素數少之邊緣資訊產生的邊緣候選之信賴性為低。亦即，在該例中，可排除信賴性為低之邊緣候選。 (絕對指標之第3例) 在第3例中，將邊緣候選之直徑與孔91之理想直徑D之差分之容許範圍(第1容許範圍)值視為絕對指標。如前述所述般，理想直徑D係孔91之目錄值。在自該理想直徑D，邊緣候選之直徑為極端不同時，該邊緣候選之信賴性為低。為此，控制部60算出邊緣候選之直徑與孔91之理想直徑D之差分。在該差分為容許範圍內之情形下，控制部60將用於算出之邊緣候選作為滿足基準值之邊緣候選而選擇。 (絕對指標之第4例) 在第4例中，將邊緣候選之中心座標與預先設定之中心座標X之偏移量之容許範圍(第2容許範圍內)值視為絕對指標。若邊緣候選之中心座標與預想之孔91之中心座標X之偏移為大，則該邊緣候選之信賴性為低。為此，控制部60算出邊緣候選之中心座標與中心座標X之偏移量。在所算出之偏移量為容許範圍內之情形下，控制部60將用於算出之邊緣候選作為滿足基準值之邊緣候選而選擇。控制部60使用在前述第1至第4例中所示之絕對指標之至少一個，自複數個邊緣候選之中選擇滿足基準值之邊緣候選。圖9係使用絕對指標選擇之邊緣候選之示意圖。圖9顯示進行在步驟S6中說明之處理之結果，即選擇了圖8之邊緣候選(A)、邊緣候選(B)及邊緣候選(D)之例。圖8之邊緣候選(C)及邊緣候選(E)被視為基於邊緣座標之有效之像素數算出之選擇用指標未達容許值，而被排除選擇。又，圖8之邊緣候選(F)被視為邊緣候選之直徑與理想直徑D之差分在容許範圍外，而被排除選擇。返回圖4，控制部60針對在步驟S6中選擇之邊緣候選各者，進行相對評估，且自複數個邊緣候選中決定孔91之邊緣(步驟S7)。以下針對相對評估說明3個示例。 (相對評估之第1例) 在第1例中，控制部60從在步驟S6中選擇之邊緣候選之中，將直徑為小之邊緣候選決定為孔91之邊緣。在利用相機40拍攝孔91時，有根據孔91之壁之厚度等，在孔91之邊緣之外側檢測邊緣資訊之情形。為此，控制部60選擇直徑為小者之邊緣候選。該例之情形下，在圖9中，選擇邊緣候選(D)。在該例中，除了直徑之資訊以外，還使用邊緣特徵資訊。例如，即便在一個邊緣候選之直徑小於其他邊緣候選之直徑之情形下，在該一個邊緣候選之邊緣強度、邊緣之方向、或邊緣之最大亮度及最小亮度上存在大的不一致時，仍將該一個邊緣候選排除選擇。 (相對評估之第2例) 在第2例中，控制部60基於得分值與邊緣候選之直徑之組合而決定孔91之邊界。在該例中所使用之得分值係將前述之選擇用指標、邊緣候選與其近鄰邊緣座標之距離之統計量、自邊緣特徵量算出之特徵值分別進行特定之加權之後相乘之值。例如，在圖9中，將邊緣候選(A)之得分值設為1.0，將直徑設為5，將邊緣候選(B)之得分值設為0.7，將直徑設為4，將邊緣候選(D)之得分值設為0.3，將直徑設為2。該情形下，控制部60將邊緣候選(D)之得分值視為相對低，而將邊緣候選(D)排除。而後，控制部60在邊緣候選(A)與邊緣候選(B)之中選擇直徑為小之邊緣候選(B)。又，控制部60可將得分值最高之邊緣候選決定為孔91之邊界。控制部60進行在前述第1、第2例中所示之相對評估之至少一者，而將自複數個邊緣候選之中選擇之邊緣候選決定為孔91之邊緣。圖10係進行相對評估而決定之邊緣候選之示意圖。圖10顯示進行在相對評估之第2例中所說明之處理之結果，即選擇了圖9之邊緣候選(B)之例。將圖9之邊緣候選(A)視為直徑為大而排除選擇，將邊緣候選(D)視為得分值為低，而排除選擇。又，在進行步驟S7之相對評估時，在複數個邊緣候選之中心座標之中存在與其他極端偏移之中心座標之情形下，控制部60可將具有該中心座標之邊緣候選排除選擇。如以上所述般，即便因光之折射或細胞93等之影響而檢測到複數個邊緣座標群，藉由階段性地應用複數個條件，而可排除不必要之邊緣資訊。其結果為，可高精度地進行孔91之邊緣之決定。而且，可高精度地進行孔91內之細胞93之解析。例如，藉由使用邊緣特徵資訊選擇第2邊緣座標群E2，即便具有包含起因於孔91內之灰塵或細胞93等之干擾要素之邊緣座標(例如，圖6之以曲線M1所示之邊緣座標群)，仍可將其等排除。又，藉由使用絕對指標而可排除不必要之邊緣資訊。進而，即便滿足絕對指標，藉由與其他邊緣候選進行相對評估，而可排除與其他極端不同之邊緣候選。亦即，即便滿足一個條件，仍可排除如包含異常之成分之邊緣候選。其結果為，即便在孔之邊緣為複雜之形狀，或無法獲得明瞭之圖像資料之情形下，仍可高精度地檢測孔91之邊緣。又，藉由使用多項式近似產生邊緣候選，而能夠進行高穩健性之邊緣檢測。進而，藉由使用多項式近似，而可排除因細胞93等之影響而檢測到之邊緣座標。＜3.變化例＞以上針對本發明之一個實施形態進行了說明，但本發明並不限定於上述實施形態。例如，為了實現處理速度之高速化，而在進行圖像處理時，可縮小圖像資料，而縮窄處理範圍。又，在進行圖像處理時，可無需就每一像素進行處理，而是以複數個像素為一單位進行圖像處理。又，在上述之實施形態中，係針對圖像處理採用最小二乘法，但亦可採用霍夫變換、圓形模型擬合等已知之手法。另外，在上述之實施形態中係使用孔板9，但亦可使用孔板9以外之試樣容器。此外，可將上述之實施形態或變形例中出現之各要素在不產生矛盾之範圍內適當地進行組合。

9‧‧‧孔板

10‧‧‧載台

11‧‧‧開口部

12‧‧‧支持面

20‧‧‧投光部

30‧‧‧投光部移動機構

40‧‧‧相機

50‧‧‧相機移動機構

51‧‧‧升降移動機構

52‧‧‧水平移動機構

60‧‧‧控制部

61‧‧‧處理器

62‧‧‧記憶體

63‧‧‧記憶部

91‧‧‧孔

92‧‧‧培養液

93‧‧‧細胞

(A)‧‧‧邊緣候選

A1‧‧‧箭頭

A2‧‧‧箭頭

(B)‧‧‧邊緣候選

(C)‧‧‧邊緣候選

(D)‧‧‧邊緣候選

(E)‧‧‧邊緣候選

(F)‧‧‧邊緣候選

M1‧‧‧曲線

M2‧‧‧曲線

P1‧‧‧程式

P2‧‧‧程式

S1~S7‧‧‧步驟

X‧‧‧中心座標

圖1係顯示安裝於攝像裝置之孔板之一例之立體圖。圖2係顯示攝像裝置之構成之圖。圖3係顯示控制部與攝像裝置內之各部之連接之方塊圖。圖4係顯示邊緣檢測處理之流程之圖。圖5係用於說明邊緣特徵資訊之示意圖。圖6係用於說明基於邊緣特徵資訊之選擇之示意圖。圖7係用於說明基於邊緣特徵資訊而選擇之邊緣座標群之示意圖。圖8係利用多項式近似而產生之邊緣候選之示意圖。圖9係使用絕對指標而選擇之邊緣候選之示意圖。圖10係進行相對評估而決定之邊緣候選之示意圖。

Claims

一種圖像處理方法，其係從拍攝解析對象物之解析區域、及前述解析區域之周圍而獲得之圖像資料中，檢測出前述解析區域之邊緣者，且包含： a)自前述圖像資料中，提取前述解析區域之邊緣座標群之工序； b)於在前述工序a)中提取了複數個邊緣座標群之情形下，針對前述複數個邊緣座標群各者，產生前述解析區域之邊緣候選之工序； c)從在前述工序b)中產生之邊緣候選中，選擇滿足預先決定之基準值之邊緣候選之工序；及 d)於在前述工序c)中選擇了複數個邊緣候選之情形下，藉由相對評估而自前述複數個邊緣候選中，決定前述解析區域之邊緣之工序。
如請求項1之圖像處理方法，其中前述工序b)，針對前述複數個邊緣座標群各者，產生多項式近似之邊緣候選。
如請求項2之圖像處理方法，其中前述工序c)，將距前述邊緣候選之距離在第1容許值以下之邊緣座標，選擇為自具有特定數以上之邊緣座標群產生之邊緣候選。
如請求項1至3中任一項之圖像處理方法，其中前述工序c)包含： c1)針對在前述工序b)中產生之邊緣候選各者，檢測出特定前述邊緣候選之邊緣座標之欠缺數之工序； c2)針對在前述工序b)中產生之邊緣候選各者，檢測出前述邊緣座標連續欠缺之欠缺範圍之工序； c3)基於檢測到之前述欠缺數及檢測到之前述欠缺範圍，算出選擇用指標之工序；及 c4)選擇所算出之前述選擇用指標為第2容許值以上之邊緣候選之工序。
如請求項1至3中任一項之圖像處理方法，其中前述工序c)算出在前述工序b)中產生之邊緣候選各者、與前述邊緣候選之近鄰邊緣座標之距離之統計量，且基於所算出之統計量選擇邊緣候選。
如請求項1至3中任一項之圖像處理方法，其中前述解析區域為圓形，且該圖像處理方法進一步包含： e)取得被預先記憶之前述解析區域之理想直徑之工序；且前述工序c)，從在前述工序b)中產生之邊緣候選中，選擇具有位於前述理想直徑之第1容許範圍內之直徑之邊緣候選。
如請求項6之圖像處理方法，其中前述工序c)，從在前述工序b)中產生之邊緣候選之中，選擇中心座標距離特定之中心座標位於第2容許範圍內之邊緣候選。
如請求項6之圖像處理方法，其中前述工序d)，自前述複數個邊緣候選之中，將具有最小直徑之邊緣候選，決定為前述解析區域之邊緣。
如請求項6之圖像處理方法，其中前述工序d)，自前述複數個邊緣候選各者之中心座標之中，檢測位於特定範圍外之中心座標，且自前述複數個邊緣候選之中，排除具有位於前述特定範圍外之中心座標之邊緣候選，而決定前述解析區域之邊緣。
如請求項1至3中任一項之圖像處理方法，其中前述工序d)根據在前述工序b)中產生之邊緣候選各者而算出得分值，且基於所算出之前述得分值來決定前述解析區域之邊緣。
一種圖像處理方法，其係自拍攝解析對象物之解析區域、及前述解析區域之周圍而獲得之圖像資料中，檢測出前述解析區域之邊緣者，且包含： a)自前述圖像資料中，除了提取前述解析區域之邊緣座標群以外，還提取與前述邊緣座標群對應之邊緣特徵資訊之工序； b)於在前述工序a)中提取了複數個邊緣座標群之情形下，自前述複數個邊緣座標群中，基於前述邊緣特徵資訊來選擇邊緣座標群之工序；及 c)從在前述工序b)中選擇之邊緣座標群中，產生前述解析區域之邊緣候選之工序。
如請求項11之圖像處理方法，其中前述邊緣特徵資訊包含：由前述邊緣座標群特定之邊緣之方向、前述邊緣之強度、前述邊緣之構成像素數、前述邊緣之最大亮度及最小亮度中之至少一者。
如請求項11或12之圖像處理方法，其中前述工序c)，針對前述邊緣座標群產生多項式近似之邊緣候選。
如請求項11或12之圖像處理方法，其中進一步包含 d)於在前述工序b)中選擇了複數個邊緣座標群，且在前述工序c)中產生了複數個邊緣候選之情形下，自前述複數個邊緣候選，基於前述邊緣特徵資訊來選擇邊緣候選之工序。
一種圖像處理裝置，其包含：相機，該相機拍攝解析對象物之解析區域、及前述解析區域之周圍；及控制部，其處理利用前述相機拍攝而獲得之圖像資料；且前述控制部執行下述工序，即： a)自前述圖像資料中，提取前述解析區域之邊緣座標群之工序； b)於在前述工序a)中提取了複數個邊緣座標群之情形下，針對前述複數個邊緣座標群各者，產生前述解析區域之邊緣候選之工序； c)從在前述工序b)中產生之邊緣候選中，選擇滿足預先決定之基準值之邊緣候選之工序；及 d)於在前述工序c)中選擇了複數個邊緣候選之情形下，藉由相對評估而自前述複數個邊緣候選中，決定前述解析區域之邊緣之工序。
一種圖像處理裝置，其包含：相機，其拍攝解析對象物之解析區域、及前述解析區域之周圍；及控制部，其處理利用前述相機拍攝而獲得之圖像資料；且前述控制部執行下述工序，即： a)自前述圖像資料中，除了提取前述解析區域之邊緣座標群外，亦提取與前述邊緣座標群對應之邊緣特徵資訊之工序； b)於在前述工序a)中提取了複數個邊緣座標群之情形下，自前述複數個邊緣座標群中，基於前述邊緣特徵資訊來選擇邊緣座標群之工序；及 c)從在前述工序b)中選擇之邊緣座標群中，產生前述解析區域之邊緣候選之工序。