KR20220128098A - 물질 분석을 위한 부호화 입자 검출 방법 - Google Patents

Abstract

부호화 입자 기반 물질 검출 장치에 의해 실행되는 원본 이미지로부터 부호화 입자를 검출하는 방법으로서, 원본 이미지로부터 산출된 이미지 그래디언트 맵으로부터 입자의 에지를 검출하고, 검출된 폐 에지(closed edge) 내부를 화이트로 채우고 서로 연결된 요소들을 수집하여 입자 후보군을 정하는 입자 후보 검출 단계; 상기 입자 후보에서 에지를 추출하는 에지 추출 단계; 추출된 에지를 상기 원본 이미지에 피팅하는 에지 피팅 단계; 및 에지 피팅된 개별 부호화 입자의 코드를 검출하는 디코딩 단계;를 포함하고, 상기 입자 후보는 서로 연결된 픽셀 요소들의 집합인 것을 특징으로 한다.

Description

물질 분석을 위한 부호화 입자 검출 방법{METHOD FOR DETECTING ENCODED PARTICLE FOR MATERIAL ANALYSIS}

본 발명은 부호화 입자 기반의 물질 분석 방법에서 부호화 입자 검출 방법에 관한 것으로서, 보다 상세하게는 부호화 입자 기반의 대상 물질 분석 시스템에서 획득한 이미지로부터 부호화 입자의 에지를 추출, 피팅하여 부호화 입자를 검출하는 알고리즘에 관한 것이다.

[이 발명을 지원한 연구개발사업]

[과제고유번호] D202085

[부처명] 경기도

[연구관리전문기관] (재)경기도경제과학진흥원

[연구사업명] 기술개발

[연구과제명] 부호화 미세 입자 자동화 생산 기술 개발

[기여율] 100/100

[주관기관] 주식회사 바이오루츠

[연구기간] 2020. 02. 01 ~ 2021. 02. 2

진단 의학, 약물 선별, 분자 생화학 분야에서 핵산, 사이토카인(cytokine)을 포함한 다양한 단백질 등의 생체 분자를 정확하게 고감도 검출하는 기술의 필요성이 대두되고 있다.

다중 분석 기술은 극미량의 시료, 표지 물질, 그리고 부호화된 입자를 혼합한 샘플을 준비하고 특이적 결합에 의존하여 타겟 물질의 존부를 검출한다. 이와 같은 다중 분석 기술에서는, 극미량 시료로 분석 시간을 최소화하여 비용 절감과 사용자의 사용 편의성 향상에 대한 관심이 증대되고 있는 실정이다.

부호화된 입자(Encoded particle), 예를 들어 한국등록특허공보 제10-1758145호에 개시된 마이크로 입자는, 생체 분자의 고감도 다중 검출이 가능하여 많은 주목을 받고 있다. 부호화된 입자는 생체 분자를 검출하는 프로브를 탑재하며 탑재된 프로브 식별을 위한 코드를 포함하고 있다. 부호화된 입자를 활용하면 한 번의 검출 과정에서 다수의 생체 분자를 동시에 포획하는 다중 검출이 가능하며, 3차원의 입자 공간에서 프로브와 타겟 생체 분자가 상호작용하며 고감도 검출이 이루어진다.

입자에 특이 수용체를 결합시키고, 특이 수용체가 결합된 입자가 포함된 용액과, 표지 물질이 결합된 타겟 물질이 포함된 용액을 혼합하여 특이 수용체와 타겟 물질을 결합시키고, 표지를 검출함으로써 입자를 검출한다. 프로브가 결합된 부호화된 하이드로겔 마이크로 입자(hyro-gel micro-particle)와 시료 내의 타겟 물질과의 특이적 결합 여부를 검출할 때, 타겟 물질에 대한 특이적 결합 여부를 검출하기 위해, 연구자들은 직접 측정 가능한 신호를 얻기 위한 형광 물질, 방사성 물질, 자기 입자 등의 표지 물질을 사용하게 된다.

타겟 물질과 부호화된 입자 간의 결합 및 분석을 일련의 과정을 통해 연속적으로 진행할 수 있는 복수 종류의 타겟 물질의 분석이 가능한 다중 분석 시스템에서, 부호화된 마이크로입자 또는 마이크로캐리어의 코드를 읽기 위해 이미지 처리를 통해 코드를 검출한다.

3차원의 입자 공간인 반응액 내에서 프로브(특이 수용체)와 타겟 생체 분자가 상호작용하며 콜로이드 상태로 수 내지 수백 ㎛ 사이즈의 부호화 입자가 웰 플레이트 내의 웰 내의 반응액에 입체적으로 배치된다. 입자들은 개별적으로 위치하기도 하나 경우에 따라서 입자들의 일부분이 겹치거나 매우 근접하게 위치할 수도 있어 이런 경우 촬상 이미지로부터 개별 입자의 검출이 곤란하다.

입자 촬상 이미지로부터 최대한 많은 부호화 입자를 정확히 검출하고, 코드 검출을 보다 정확하게 해야 고감도 검출이 가능하다. 특히 3차원의 입자 공간에서 다양한 위치와 방향으로 배열된 부호화 입자를 촬영한 이미지로부터 부호화 입자의 에지와 코드를 정확히 검출하기는 어렵다. 그러나 일반적인 입자 검출을 위한 종래의 에지 검출 방법이나 노이즈 제거 과정 등의 통상적인 영상 처리 과정으로는 이러한 분석 요구에 적절히 대응할 수 없다.

(특허문헌 1) KR2001-0040392 A

(특허문헌 2) KR10-2085819 B

본 발명은 상기 문제점을 해결하여, 부호화 입자의 촬상 이미지로부터 입자를 정확하게 검출하는 방법을 제공한다.

본 발명은 또한 에지 검출을 위한 Canny 에지 검출기(edge detector)의 상하 문턱값을 산출하여 향상된 에지 검출을 가능하게 하고자 한다.

본 발명은 또한 3차원 입체 공간에서의 입자를 촬상한 2차원 이미지로부터 정확한 에지 추출 및 에지 피팅 방법을 제공하여 입자 검출 및 디코딩의 정확도를 높이고, 이에 따라서 부호화 입자 기반 물질 검출 시스템의 감도와 정확도를 향상하고자 한다.

상기 과제를 해결하기 위한 본 발명의 바람직한 실시예에 의한 부호화 입자를 검출하는 방법은 컴퓨터 등의 정보처리장치에 의해 실행된다.

본 발명의 바람직한 실시예에 의한 부호화 입자를 검출하는 방법은, 원본 이미지로부터 에지를 검출하고, 검출된 에지를 이용하여 이미지 처리를 하고, 서로 연결된 픽셀들을 수집하여 입자 후보를 선정함으로써 입자 후보를 검출하는, 입자 후보 검출 단계; 및 상기 입자 후보를 이용하여 입자 에지를 추출하는 에지 추출 단계;를 포함하고, 상기 입자 후보는 서로 연결된 픽셀들의 집합인 것이 바람직하다.

상기 입자 후보 검출 단계는, 원본 이미지의 그래디언트를 계산하여 그래디언트 이미지를 생성하는 단계; 그래디언트 이미지의 히스토그램을 산출하고, 그래디언트 이미지의 히스토그램을 정규분포 곡선(Gaussian curve)에 피팅하는 단계; 정규분포 곡선을 이용하여 상하 문턱값을 결정하는 단계; 및 상하 문턱값을 이용하여 Canny 에지 검출기에 의해 에지를 검출하는 단계;를 포함한다.

상기 입자 후보 검출 단계는, 검출된 에지에 대해 Thinning, Diagonal fill, Flood-fill 작업 후 서로 연결된 픽셀들을 수집하여 입자 후보로 선정하는 단계를 포함하는 것이 바람직하다.

에지 추출 단계는, 상기 입자 후보 중에서 복수의 입자가 겹쳐진 입자 후보를 개별 입자로 분할하는 입자 후보 분할 단계를 포함한다.

상기 입자 후보 분할 단계는, 상기 검출된 에지에서 선별된 입자 후보에 속하는 에지를 선택하는 단계와, 입자 후보 이미지로부터 상기 선택된 에지를 차감 연산하는 단계를 포함할 수 있다.

상기 에지 추출 단계는 입자 외곽 필터링 단계를 더 포함한다. 입자 외곽 필터링 단계는, 상기 차감 연산에 의해 생성된 입자 후보의 분할된 영역의 원본 이미지에서의 색도값을 획득하는 단계; 입자 후보의 분할된 영역별로 색도값 평균을 산출하는 단계; 및 상기 색도값 평균에 따라 미리 선정한 문턱값을 기준으로 상기 영역을 필터링하는 단계;를 포함한다.

본 발명의 실시예에 의하면, 부호화 입자를 검출하는 방법은 추출된 에지를 상기 원본 이미지에 피팅하는 에지 피팅 단계;를 포함한다.

에지 피팅 단계는, 에지 추출 단계에서 추출된 에지를 구성하는 서로 연결된 에지 픽셀에 대해 일 방향으로 각도 프로파일을 획득하는 단계; 획득한 에지의 각도 프로파일에 기초하여 에지가 구성하는 후보 입자의 회전각을 결정하는 단계;를 포함한다.

각도 프로파일을 획득하는 단계는, 에지 추출 단계에서 추출된 에지를 구성하는 서로 연결된 에지 픽셀들을 시계방향 또는 반시계방향으로 정렬하는 단계; 및 연결된 상기 에지 픽셀의 기준선에 대한 각도를 계산하는 단계;를 포함한다.

본 발명의 일 실시예에 의하면, 상기 회전각을 결정하는 단계는 각도 프로파일로부터 후보 각도들을 추출하고, 입자 에지를 후보각도에 따라 역회전하고, 역회전한 입자 에지의 세로 합과 가로 합을 계산하고, 역회전한 에지의 세로 합과 가로 합에서 각 피크가 최대값이 되는 후보각도를 회전각으로 선택한다.

에지 피팅 단계는 기준점 검출 단계를 더 포함하고, 회전각 결정 단계에서 선정된 입자의 회전각으로 에지를 역회전시켜 정립하고, 역회전시킨 에지에 기준 템플릿들과의 스칼라 곱 연산을 각기 실행하여 그 값이 최대가 되는 기준 템플릿의 기준점을 해당 에지의 기준점으로 검출한다.

본 발명의 바람직한 실시예에 의한 부호화 입자를 검출하는 방법은 컴퓨터 프로그램으로 구현되어, 상기 방법을 실행하기 위한 명령어들을 포함하도록 구현될 수 있다. 또한, 컴퓨터로 판독 가능한 프로그램은 저장매체에 저장되고, 정보처리 장치에 의해 실행될 수 있다.

본 발명에 의하면, 부호화 입자의 촬상 이미지로부터 입자를 정확하게 검출하여, 부호화 입자 기반 물질 검출 시스템의 감도와 정확도가 우수하다.

본 발명의 일 실시예에 의하면, 에지 검출을 위한 Canny 에지 알고리즘의 문턱값을 산출하는 새로운 방법을 제공하여 에지 검출의 정확도가 향상된다.

본 발명은 또한 3차원 입체 공간에서의 입자를 촬상한 2차원 이미지로부터 정확한 에지 추출 및 에지 피팅 방법을 제공하여 입자 검출 및 디코딩의 정확도가 높다.

도 1은 본 발명의 부호화 입자 기반 물질 분석 시스템에 의한 물질 분석의 과정의 일 예를 나타낸 개략도이다.
도 2는 본 발명의 시스템에서 사용되는 부호화 입자의 일 예를 나타낸 개략도이다.
도 3은 본 발명의 물질 분석 시스템에서 사용되는 부호화 입자의 일 예를 나타낸 것으로서, 부호화 입자의 다양한 코드 이미지를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 입자기반 물질 분석 방법의 순서도이다.
도 5는 본 발명의 일 실시예에 따른 입자기반 물질 분석 방법의 입자 후보 검출 과정을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 입자기반 물질 분석 방법을 실행하기 위해 스캐닝 카메라에 의해 획득된 부호화 입자의 원본 이미지의 예이다.
도 7은 도 6의 원본 이미지에 대해 그래디언트(gradient) 처리를 수행한 그래디언트 이미지이다.
도 8은 도 7의 그래디언트 이미지를 히스토그램화한 결과와 정규분포 곡선 피팅 결과를 나타낸 그래프이다.
도 9는 도 8에서 얻은 높은 문턱값과 낮은 문턱값을 이용하여 Canny 에지 검출기에 의해 에지 검출을 한 결과 이미지와, 그 이미지에서 일부 에지를 확대한 도면이다.
도 10은 도 9의 에지 검출 결과 이미지에 대해 NMS에 의해 제거된 에지(edge)를 추가한 결과 이미지와 추가된 에지를 확대 및 입자 에지를 확대한 도면이다.
도 11은 도 10의 NMS에 의해 제거된 에지를 추가한 결과 이미지에 대해 Thinning, Diagonal fill, Flood-fill을 수행한 후 서로 연결된 픽셀들을 수집한 후보군 이미지를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 입자기반 물질 분석 방법 중 2 단계인 에지 추출 과정을 나타낸 순서도이다.
도 13은 도 11의 후보군 이미지에서 후보 면적에 의한 노이즈 필터링을 거쳐 노이즈가 제거된 이미지를 나타낸 것이다.
도 14의 (a)는 도 13의 이미지에서 후보에 속하는 에지를 선택하여 선택된 에지 이미지와, (b) 후보군 이미지로부터 선택된 에지를 차감한 이미지이고 (c)는 에지에 의해 분할된 입자 후보의 이미지이다.
도 15(a)는 도 14(b)와 원본 이미지의 같은 위치의 픽셀의 색도값을 곱하기 연산을 한 결과 이미지이고, (b)는 (a)에서 입자 후보를 확대한 것이고, (c)는 (b)의 입자 후보에 외곽 필터링을 수행한 이미지이다.
도 16 (a)는 도 15(a)의 이미지에 Closing, Flood-fill, Opening 연산을 수행한 이미지, (b)는 검출된 최종 에지 이미지, (c), (d)는 (b)의 검출된 최종 에지 이미지의 입자 후보를 확대한 이미지이다.
도 17은 본 발명의 다른 실시예에 따른 에지 피팅 방법을 설명하기 위한 순서도이다.
도 18은 본 발명의 실시예에 의한 에지 각도 프로파일을 나타낸 도면이다.
도 19는 도 18의 에지 각도 프로파일에 기초한 후보 각도 중 최적 각도에 의해 역회전되어 정립된 입자 후보를 나타낸 도면이다.
도 20은 도 19의 역회전된 입자 후보 에지의 세로 합과 가로 합을 나타낸 그래프이다.
도 21은 도 16(c)의 입자 후보 에지가 템플릿 에지로 교체되는 과정을 나타낸 이미지이다.
도 22는 (a)원본 이미지의 입자 부분을 확대한 것과 (b)그것에 에지 피팅을 하여 입자를 검출한 것을 나타낸 도면이다.
도 23은 본 발명의 실시예에 따른 원본 이미지에 에지 피팅을 하여 검출된 입자들를 나타낸 이미지이다.
도 24는 본 발명의 일 실시예에 따른 디코딩 방법을 설명하기 위한 순서도이다.
도 25는 본 발명의 일 실시예에 의한 디코딩 방법에서 검출된 입자의 그래디언트 이미지(a)와 그래디언트 이미지에 문턱값을 적용한 이미지(b)를 나타낸 도면이다.
도 26은 도 25(b)의 검출된 입자의 그래디언트 이미지에 문턱값을 적용한 이미지에서 검출된 판별 코드를 나타낸 것이다.
도 27은 원본 이미지에서 검출된 코드를 나타낸 이미지이다.

본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 한정되지 않는다. 또한, "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용된다.

적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경 가능하다 할 것이다.

본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합으로 구현될 수 있다.

이하에서는 첨부된 도면들을 참조하여 본 발명에 따른 실시예를 상세히 설명한다.

먼저, 도 1 내지 3을 참조하여 본 발명의 일 실시예에 따른 부호화 입자 기반 물질 분석 시스템 및 방법을 설명한다.

도 1은 본 발명의 일 예에 따른 부호화 입자 기반 물질 분석 시스템에 의한 물질 분석의 과정을 나타낸 개략도이다. 본 발명의 일 실시예에 따른 입자 기반 다중 물질 분석 방법은 부호화 입자를 이용한다. 개별 부호화 입자(10)에는 각각의 판별 코드(12)에 대응하는 타겟 물질과 특이적 결합이 가능한 바이오 마커 특이 수용체(이하, '특이 수용체'라 함)가 결합되어 있다.

도 2는 본 발명의 시스템에서 사용되는 부호화 입자의 일 예를 나타낸 개략도이고, 도 2는 다양한 코드가 형성된 부호화 입자의 예를 나타낸 이미지이다.

부호화 입자(10)에는 타겟 물질과 직접 또는 간접적으로 특이적 결합을 하는 특이 수용체(입자에 비해 크기가 매우 작음, 미도시)가 결합되어 있다. 부호화 입자는 예를 들어 PEG와 같은 하이드로겔을 기본 물질로 하는 마이크로 사이즈의 고체 입자이고, 특이 수용체가 결합되어 있다. 표지 물질(예를 들어, 형광체, 발색체, 나노입자, 자성체, 자성 비드, 방사능 발생체 등)은 부호화 입자에 담지 또는 결합될 수 있으나, 경우에 따라서 타겟 물질에 결합될 수도 있다.

도 2, 3과 같이 부호화 입자(10)는 높이가 상대적으로 낮은 다각형 형상, 바람직하기로는 직사각 기둥, 더욱 바람직하게는 정사각 기둥의 형태이다. 이하, 본 발명의 바람직한 실시예에서는 정사각형 횡단면을 가지는 얇은 직육면체 형태의 부호화 입자를 예로 들어 본 발명의 방법을 설명하지만, 본 발명의 기술적 사상은 이에 한정되지 않고 일부 변형에 의해서도 다양한 형상, 특히 다각 기둥 형상의 부호화 입자를 이용한 물질 검출에 적용될 수 있다.

도 2에 도시된 바와 같이 본 발명의 방법에서 이용되는 부호화 입자(10)는 판독 기준부(11) 및 판별 코드(12)를 포함한다. 도 2에 의하면 판독 기준부(11)는 정사각형 부호화 입자(10)의 정사각형 본체의 일측 가장자리로부터 외측으로부터 돌출 형성되는데, 판독 기준부(11)를 기준으로 부호화 입자의 코드를 판별하게 된다. 이러한 형태의 판독 기준부(11)는 일 예일 뿐이고 광학적 판독의 기준점이 될 수 있는 형상이면 족하고 도면들에 표시된 형태에 한정되지 않는다.

부호화 입자의 판별을 위해 부호화 입자(10)에 형성되는 코드(12)는 다중 분석 장치가 타겟 물질을 판별하는데 사용되는데, 판별 코드에 따라 하이드로겔 입자에 결합된 타겟 물질의 종류를 판별하게 된다. 도 3은 다양한 판별 코드의 예를 나타낸 도면으로, 관통공(hole)의 개수나 위치를 달리함으로써 다양한 판별 코드의 제작이 가능하게 된다.

이처럼 하나의 부호화 입자에는 특정 타겟 물질에 대응하는 판별 코드가 형성되어 있고, 해당 타겟 물질과 특이적 결합하는 특이 수용체가 결합되어 있어, 판별 코드의 판독을 통해 해당 부호화 입자의 특이수용체와 결합하는 타겟 물질의 검출이 가능하다.

더 상세히는, 특정 코드(12)를 가진 부호화 입자(10)의 특이 수용체와 대응하는 물질이 결합하면 그 입자의 표지(예를 들어, 형광, 자성, 방사능 등)가 활성화된다. 광학적 검출을 통해 해당 입자의 코드를 인식하고, 해당 입자의 형광을 확인하면, 그 입자의 코드에 대응하는 물질의 존재를 검출할 수 있다. 만약, 특정 코드에 대응하는 물질이 없다면, 해당 코드를 가진 부호화 입자가 광학적으로 검출 되지만, 그 입자의 표지는 활성화되지 않아 표지가 나타나지 않는다. 이런 방식으로 광학적으로 검출되는 코드의 부호화 입자의 수와, 표지가 나타나는 특정 코드의 부호화 입자의 수의 비율을 이용하여, 코드에 대응하는 물질의 농도, 존재여부를 판정할 수 있다.

도 3에 도시된 바와 같이 판별 코드는 부호화 입자마다 다르게 형성될 수 있고, 특정 코드에 대응하는 타겟 물질에 특이적 결합을 하는 특이 수용체가 각기 결합되므로, 이런 다양한 코드의 부호화 입자를 이용하여 다수의 타겟 물질을 동시에 검출할 수 있다. 즉, 코드의 종류가 몇 개인지에 따라 검출할 수 있는 물질의 수도 정해진다. 따라서, 한번에 동일한 용기 내에서의 반응을 거쳐 부호화 입자에 형성될 수 있는 코드의 수만큼의 다종의 물질을 동시에 고감도로 검출할 수 있다.

한편, 특이 수용체는 타겟 물질과 직접 결합하지 않고 또다른 타겟 물질과 결합하는 프로브와의 결합을 통해 타겟물질과 간접적으로 연관되는 방식의 특이 수용체일 수도 있다. 표지 물질은 예를 들어, 형광, 발색체, 나노입자, 방사능, 자성체, 자성 비드 등으로 다양할 수 있고, 특이 수용체와 대응하는 물질의 결합에 의해 활성화되도록 입자에 결합될 수 있으나, 입자가 아닌 타겟 물질과 결합되게 하여 타겟 물질의 특이 수용체와의 결합에 의해 입자에 결합되어 표지로 작용할 수도 있다. 이 밖에 세부적인 다양한 변형이 가능하다.

도 1을 참조하여 본 발명의 부호화 입자 기반 물질 분석 시스템과 물질 분석 방법을 상세히 설명한다.

도 1에 의하면, 먼저 특이 수용체가 결합된 부호화된 입자가 포함된 용액과, 형광 표지 물질이 결합된 타겟 물질이 포함된 용액을 혼합한다. 이후 입자(10)의 특이 수용체와 타겟 물질이 특이적 결합을 하게 되고, 상기 특이적 결합에 의해 부호화 입자(10)와 타겟 물질이 결합된다(reaction 2).

특이적 결합 반응 후에, 입자(10)와 타겟 물질이 결합된 상태의 시료는 웰 플레이트(96 well-plate) 내의 웰(well)들로 투입되고, 이 웰 플레이트는 다중 분석 장치의 스테이지에 거치된다. 다중 분석장치의 스캐닝 장치에서 개별 well마다 순차로 이미지를 촬상하여 촬상된 이미지를 분석하여 부호화 입자를 검출함으로써 대상 물질을 검출한다. 검출 감도를 높이기 위한 증폭과정과 사전 반응 과정(reaction 1)이 결합 단계 전에 포함될 수 있다.

본 발명의 시스템에 의하면, 시료 내에서 하이드로겔 입자(10)를 모으거나, 정렬시키는 별도의 과정없이 시료를 웰 플레이트의 시료 챔버(well) 내부에 투입하고, 시료 챔버 내부에 랜덤하게 분포되어 있는 하이드로겔 입자(10)를 형광 카메라 모듈의 스캔 과정을 통해 추출해 냄으로써, 고가의 장비를 사용하지 않을 뿐만 아니라 보다 짧은 시간 내에 분석이 가능하게 된다

타겟 물질과 결합되는 부호화 입자를 검출하는 다중 분석 장치는 시료가 포함된 플레이트를 거치하는 거치대, 카메라모듈, 카메라모듈의 플레이트에 대한 상대 이동을 가능하게 하는 이동모듈 및 제어부를 포함한다.

플레이트는 본체와 본체 내부에 형성된 시료 챔버를 포함할 수 있다. 본체는 투명한 재질, 예를 들어 아크릴 재질로 마련되는데, 이를 통해 광원로부터의 백색광에 의해 본체의 반대편에 위치하는 형광 카메라 모듈이 챔버 내부의 시료를 촬영할 수 있다. 하나의 플레이트에는 복수개의 챔버가 형성될 수 있어서 여러 시료를 하나의 플레이트에서 분석할 수 있거나, 하나의 시료를 여러 번 반복하여 통계적으로 유의미한 데이터를 확보할 수 있다.

카메라 모듈은 웰 플레이트 내의 정열된 웰 내의 시료를 순차로 스캔하여 각각의 촬영 각각의 촬영 영역(FOV)을 촬영하여 는 하이드로겔 부호화 입자(10)의 이미지를 촬영한다.

제어부는 카메라 모듈에 의해 촬영된 입자의 이미지에 기초하여, 웰 플레이트 내의 반응액 속의 하이드로겔 입자(10)를 검출한다. 제어부는 본 발명의 다중 분석 장치 내에 설치되는 내장형 프로세서일 수 있으나, 다중 분석 장치에 유선 또는 무선 통신을 통해 연결되는 컴퓨터로 구성될 수도 있다.

본 발명에 따른 제어부는 촬영된 영상 이미지로부터 판독 기준부(11)를 기준으로 하이드로겔 부호화 입자(10)의 회전 방향을 인식하게 된다. 그리고, 판별 코드(12)는 제어부가 타겟 물질을 판별하는데 사용하는데, 판별 코드(12)에 따라 부호화 입자(10)에 결합되는 타겟 물질의 종류를 판별하게 된다.

이처럼 본 발명의 일 예에 따른 부호화 입자 기반 물질 분석 방법은 부호화 입자를 광학적으로 검출하는 과정을 포함한다. 또한, 제어부는 형광 영상의 밝기 정보에 기초하여 하이드로겔 입자(10)와 결합한 타겟 물질의 량을 정량적으로 분석할 수 있게 된다.

부호화 입자(10)의 검출을 위한 영상 처리 과정으로 노이즈 제거 과정 등의 통상적인 영상 처리 과정이 적용될 수 있으며, 입자(10)의 검출에는 에지 검출 방법이 적용될 수 있다. 그러나, 3차원 공간에 배치된 입자들의 이미지로부터 개별 입자를 정확히 검출하고 코드를 판별하기 위해서는 에지 검출의 정밀도를 높이는 다양한 과정들이 필요하다.

이하, 도 4 내지 27을 참조하여 본 발명의 부호화 입자 검출 방법의 다양한 실시예를 상세히 설명한다.

본 발명의 부호화 입자 검출 방법은 부호화 입자 기반 물질 분석 장치에 의해 실행된다. 이 방법은 소프트웨어 프로그램으로 구현되어 분석 장치의 메모리에 저장되고, 제어부의 프로세서에 의해 실행된다.

앞서 설명한 바와 같이 96 웰 플레이트에 담긴 시료들은 물질 분석 장치의 카메라에 의해 순차 촬상되어 원본 이미지가 생성된다. 이 원본 이미지는 그레이스케일(Grayscale)로 세팅된 카메라에 의해 촬상된 것이고, 이를 B/W(Black and white) 처리한 이미지와 혼합하여 코드 분석이 이루어진다.

본 발명의 바람직한 실시예에 따른 원본 이미지로부터 부호화 입자를 검출하는 방법은 다음의 4단계를 포함한다.

1 단계: 입자 후보 검출 단계

2 단계: 후보로 선정된 후보군들에서 에지를 추출하는 단계

3 단계: 에지 피팅 단계

4 단계: 디코딩 단계(개별 입자의 코드 검출 단계)

1. 1 단계: 입자 후보 검출 단계

1 단계는 원본 이미지에서 입자 후보군을 수집하는 후보 검출 단계로서, 도 5 내지 11을 참조하여 1 단계를 상세히 설명한다.

입자 후보를 검출하기 위해 먼저 1) 원본 이미지에서 에지 검출을 수행한 후, 2) 검출된 에지를 이용하여 입자 후보군을 수집한다.

도 5는 본 발명의 일 실시예에 따른 입자기반 물질 분석 방법의 입자 후보군 추출 과정을 나타낸 순서도이다.

도 5를 참조하면 1 단계의 1) 원본 이미지에서 에지 검출 단계는,

원본 이미지의 픽셀값(색도값)의 그래디언트를 계산하여 그래디언트 이미지를 생성하는 단계; 그래디언트 이미지의 히스토그램(Histogram)을 산출하고, 그래디언트 이미지의 히스토그램과 정규분포 곡선(Gaussian curve)의 피팅을 실행하는 단계; 피팅된 정규분포 곡선을 이용하여 상하 문턱값을 결정하는 단계; 상하 문턱값을 가지고 Canny 에지 검출기에 의해 에지를 검출하는 단계; 에지 검출 결과 이미지에 대해 NMS(Non-maxima Suppression)에지를 추가하는 단계;를 포함한다.

2) 검출된 에지를 이용하여 입자 후보를 검출하는 단계는 1) 원본 이미지에서 검출된 에지에 ① Thinning -> Diagonal fill -> Flood-fill 작업을 차례로 수행하고, ② 연결된 픽셀들을 수집하여 입자 후보를 검출하는 단계를 포함한다.

도 6은 본 발명의 일 실시예에 따른 입자기반 물질 분석 방법의 적용 대상인 원본 이미지이다.

원본 이미지에서 에지를 검출하기 위해, 대표적인 에지 검출기인 Canny 에지 검출기를 이용하여 원본 이미지에서 에지를 검출한다. Canny 에지 검출기는 John F. Canny에 의해 1986년 개발된 에지 검출 알고리즘으로, 2개의 문턱값을 사용하는 점이 특징이다.

Canny 에지 검출기는, 원본 이미지에 대해 노이즈 제거를 위해 스무딩(Smoothing) 작업 후, Sobel 마스크를 이용하여 이미지의 그래디언트에서 에지를 생성하고, NMS를 통해 극대값을 갖는 픽셀만을 에지 픽셀로 사용하고 이를 제외한 나머지 픽셀은 제거하며, NMS을 거쳐 검출된 에지 픽셀 중 그래디언트 값이 높은 문턱값(high threshold value)보다 큰 픽셀을 에지 픽셀로 지정하고, 낮은 문턱값(low threshold value)보다 높은 그래디언트 값을 가지면서 에지 픽셀과 인접해 있으면 에지로 지정한다. 이 과정에서 모든 에지 픽셀에 대해 주변에 인접하고 크기가 낮은 문턱값보다 높은 픽셀들을 에지로 지정하고 또 새롭게 에지로 지정된 픽셀 주변에서 크기가 낮은 문턱값보다 높은 픽셀을 에지로 지정하는 과정을 반복 수행하여 에지 픽셀을 수집하여 연결함으로써 에지를 검출한다.

본 발명의 일 실시예에 의하면, 가능한 입자 후보군을 보다 넓게 확보하여 이미지에서 분석 대상인 입자를 충분히 확보하기 위해 에지 검출기를 이용하되 새로운 요소를 도입하였다. 본 발명의 일 실시예에 의한 원본 이미지에서 에지 검출 단계는, 그래디언트 이미지를 생성하는 단계; 그래디언트 이미지의 히스토그램을 정규분포 곡선에 피팅하는 단계; 피팅된 정규분포 곡선을 이용하여 상하 문턱값(high threshold value and low threshold value)을 결정하는 단계; 상하 문턱값을 가지고 Canny 에지 검출기에 의해 에지를 검출하는 단계를 포함한다.

(1) 그래디언트 이미지를 생성하는 단계

먼저, 그레이스케일의 원본 이미지의 각 픽셀에 대해 그래디언트 값을 계산하여 그래디언트 이미지를 생성한다. 도 7은 도 6의 원본 이미지에 대해 그래디언트 계산을 수행한 후 생성한 그래디언트 이미지이다. 원본 이미지에서 배경과 하이드로겔 부호화 입자의 경계에서 급격한 색도 변화가 있으므로 도 7과 같이 입자의 경계에서 그래디언트 값이 크고 따라서 경계인 에지는 흰색으로 표시되고 경계가 아닌 부분은 그래디언트 값이 작아 검게 표시된다.

(2) 그래디언트 이미지의 히스토그램을 정규분포 곡선에 피팅하여 상하 문턱값을 결정하는 단계

그래디언트 이미지의 히스토그램을 생성하고 평균값, 표준편차를 이용하여 정규분포 곡선에 피팅을 하고, 피팅된 정규분포 곡선의 평균값과 표준편차에 기초하여 높은 문턱값과 낮은 문턱값을 결정한다.

도 8은 도 7의 그래디언트 이미지를 히스토그램화한 결과와 정규분포 곡선으로의 피팅 결과를 나타낸 그래프이다.

정규분포 곡선에 피팅하여 상하 문턱값을 결정하는 것은 이미지의 배경과 배경이 아닌 입자를 확실하게 구별해서 보다 정확한 에지 검출을 하기 위해서이다.

(3) 상하 문턱값을 이용하여 Canny 에지 검출기에 의해 에지를 검출하는 단계

그래디언트 이미지의 히스토그램을 정규분포 곡선에 피팅하여 결정된 문턱값을 이용하여 Canny 에지 검출기에 의해 에지를 검출한다.

이 과정은 앞에서 설명한 일반적인 Canny 에지 검출기의 에지 검출 과정과 동일하다. 즉, NMS을 거쳐 검출된 에지 픽셀 중 그래디언트 값이 높은 문턱값 보다 큰 픽셀을 에지 픽셀로 지정하고, 낮은 문턱값 보다 높은 그래디언트 값을 가지면서 에지 픽셀과 인접해 있으면 에지로 지정한다.

도 9는 도 8에서 얻은 그래디언트 이미지의 히스토그램의 정규분포 곡선 피팅 결과에 기초하여 결정된 높은 문턱값과 낮은 문턱값을 이용하여 Canny 에지 검출기에 의해 에지 검출을 한 결과 이미지와, 그 이미지에서 일부 에지를 확대한 도면이다. 도 9에 의하면, Canny 에지 검출기로 에지 검출이 수행된 결과로 에지는 흰색으로 표현된다.

(4) Canny 에지 검출기에 의해 검출된 에지에 NMS 에지를 더하는 단계

Canny 에지 검출기가 에지를 검출하는 과정에는 정규분포 곡선에 피팅하여 상하 문턱값 결정을 통해 극대값을 갖는 픽셀만을 선별하여 2개의 문턱값을 이용하여 에지를 검출한다. 그러나, 본 발명의 실시예에서는 입자 후보군을 수집하기 위해 그 기준을 완화하여 에지를 검출한다. 따라서 Canny 에지 검출기에 의해 NMS에서 제거된 극대값이 아닌 픽셀들이 에지로서 추가된다.

도 10은 도 9의 에지 검출 결과 이미지에 대해 NMS로 제거된 에지를 추가한 결과 이미지와 추가된 에지를 확대 및 입자 에지를 확대한 도면이다. 도 10의 에지가 확대된 도면을 보면 도 9의 흰색으로 표시된 에지에 추가된 에지들이 표시된 것을 알 수 있다.

이처럼 NMS에 의해 제거된 에지를 Canny 에지 검출기에 의해 생성된 에지에 더하는 것은 보다 많은 에지를 확보하여 입자 검출에서 에지 누락을 줄이기 위한 것이다.

이후, 검출된 에지를 이용하여 입자 후보를 선정하는 단계가 실행된다. 검출된 에지를 이용하여 입자 후보를 선정하는 단계는, 원본 이미지에서 에지 검출을 수행한 이미지 데이터에 ① Thinning -> Diagonal fill -> Flood-fill 작업을 차례로 수행하는 단계와, ② 연결된 픽셀들을 수집하여 입자 후보를 선정하는 단계;를 포함한다.

Thinning은 도 10의 에지 확대 도면에서 확인할 수 있듯이 검출된 에지에서 2개 내지 3개의 줄이 겹쳐 있을 때 이를 하나의 줄로 만들어 얇게 만드는 과정이고, Diagonal fill 은 서로 꼭지점을 공유하지만 면이 연결되지 않는 에지 픽셀들 사이에 대각선 위치의 에지를 채워 연결성을 강화하는 과정이다. Flood-fill은 에지들로 둘러싸인 내부 영역 전체의 픽셀을 흰색으로 채우는 과정이다. 이러한 Thining, Diagonal fill, Flood-fill 과정을 거친 후 서로 연결된 픽셀들을 수집하여 입자 후보로 선정함으로써 입자 후보를 검출한다. 서로 연결된 픽셀들의 집합은 하나의 입자 후보로 선정된다.

도 11은 도 10의 NMS에 의해 제거된 에지를 추가한 결과 이미지에 대해 Thinning, Diagonal fill, Flood-fill을 수행한 후 서로 연결된 픽셀들은 수집한 후보군 이미지를 나타낸 도면이다. 도 11의 (a)와 같이 서로 연결된 흰 영역을 하나의 후보로 보며 (b)의 2개의 입자가 겹쳐 있어서 서로 연결된 경우에도 서로 연결된 흰 영역(픽셀들)이므로 하나의 입자 후보로 검출된다.

이처럼 Canny 에지 검출기에 의해 원본 이미지로부터 에지를 검출하고 검출된 에지를 이용하여 Thinning -> Diagonal fill -> Flood-fill 작업 후 서로 연결된 픽셀들을 수집하여 입자 후보로 선정한다.

2. 2 단계: 에지 추출 단계

도 12를 참조하면, 에지 추출 단계는 1) 노이즈 필터링(Noise filtering), 2) 입자 후보 분할(Candidate segmentation), 3) 입자 외곽 필터링(Exterior and noise filtering), 4) 에지 결정(edge decision)의 단계를 포함한다.

1) 노이즈 필터링에 의해 입자 후보를 선별하는 단계

1 단계의 최종 결과로서 검출된 입자 후보에 대해 후보 면적(픽셀 수)에 따른 필터링을 적용하여 노이즈를 제거한다. 물질 검출을 위한 입자의 원본 이미지에서의 면적 정보는 이미 알려진 것이므로, 입자 후보(서로 연결된 픽셀의 집합)의 면적의 가능한 범위를 미리 산정할 수 있다. 따라서, 입자 후보의 면적의 미리 정해진 하한값과 상한값을 이용하여 하한값 보다 작은 면적의 후보는 노이즈로서 제거되고 상한값 보다 큰 면적의 후보도 노이즈로서 제거된다. 이때 입자 후보의 면적의 하한값은 원본 이미지 내 단일 입자 면적보다 작고, 상한값은 원본 이미지 내 다수 입자가 겹쳐진 면적보다 큰 것으로 정할 수 있다. 이와 같은 방식으로 상한값을 정하여, 다수 입자가 겹쳐진 경우도 입자 후보에 포함하여 보다 많은 입자 검출이 가능하도록 하여 물질 검출의 감도와 정확도를 높인다.

도 11의 (a)의 입자 후보군으로 검출된 이미지를 노이즈 필터링하면 상한값과 하한값 사이의 면적을 가지는 후보만이 입자 후보로서 선별된다. 그 결과는 도 13에 나타난 이미지와 같다.

2) 입자 후보 분할 단계(candidate segmentation)

입자 후보 분할 단계는 상기 검출된 에지 중에서 상기 선별된 입자 후보에 속하는 에지를 선택하는 단계와, 입자 후보 이미지로부터 상기 선택된 에지를 차감 연산을 하는 단계를 포함한다.

즉, 1 단계의 원본 이미지로부터 에지를 검출하는 단계에서 검출된 에지 이미지에서 상기 선별된 입자 후보에 속하는 에지를 선택하고, 입자 후보 이미지로부터 상기 선택된 에지를 차감하는 연산을 한다. 이 차감 연산에 의해, 다수 입자가 겹쳐진 입자 후보의 분할이 가능하다. 즉, 2개 이상의 입자가 뭉쳐진 후보를 분리하여 각기 다른 후보로 분화하는 것이다.

입자 후보 분할은 특히 복수 입자가 겹친 상태에서 하나의 후보로 검출되는 상황에서 개별 입자를 각각의 후보로 분할할 수 있어 사용가능한 입자 데이터를 많이 확보할 수 있게 해준다. 서로 일부분이 겹친 상태의 복수의 입자가 하나의 후보로 검출되는 경우 입자 후보에서 미리 제외한다면 후보군이 줄게 되어 검출 데이터 정확도가 떨어진다.

도 10 내지 도 14를 참조하여 이 단계를 설명하면, 먼저 검출된 에지(도 10의 이미지 참조) 중에서 상기 선별된 입자 후보(도 13의 노이즈가 제거되어 선별된 입자 후보 이미지 참조)에 속하는 에지를 선택한다. 도 14(a)에는 이렇게 선택된 에지 이미지가 도시되어 있는데, 이는 도 13에 도시된 선별된 입자 후보에 속하는 에지(도 10의 에지 이미지에서 노이즈 부분을 제외한 에지)만을 도시한 것이다.

차감 연산은 도 13의 이미지에서 도 14(a)의 이미지를 차감하는 것이고 그 결과는 도 14(b)에 도시된 바와 같다. 도 14(a)의 선택된 에지 이미지를 살펴보면, 에지를 검출하는 단계에서 검출된 에지 중에서 상기 선별된 입자 후보에 포함되는 에지만을 선택한 것이다.

도 14(c)는 차감 연산 결과 이미지인 도 14(b)의 우측 하단 부분을 확대한 것으로, 2개의 입자가 겹쳐서 1개의 입자 후보였던 부분이 에지에 의해 분할된 것을 보여준다.

이러한 에지에 의해 분할된 입자 후보 (도 14(c))는 추가로 입자 외곽 필터링 과정을 거쳐 최종 2개의 입자 후보로 분리된다.

3) 입자 외곽 필터링 단계

입자 외곽 필터링 단계는 상기 차감 연산 처리 과정에서 에지에 의해 분할된 입자 후보에 외곽 필터링 과정을 수행하여 최종 입자 후보를 획득하는 단계이다.

입자 외곽 필터링 단계는, 상기 차감 연산에 의해 생성된 입자 후보의 분할된 영역의 원본 이미지에서의 색도값을 획득하는 단계; 입자 후보의 분할된 영역별로 색도값 평균을 산출하는 단계; 및 상기 색도값 평균에 따라 미리 선정한 문턱값(t)을 기준으로 해당 영역을 필터링하는 단계;를 포함한다.

도 14(b)의 에지에 의해 분할된 입자 후보 이미지와 원본 이미지의 같은 위치의 픽셀의 색도값을 곱하기 연산을 하면 입자 후보 영역을 제외한 영역은 0의 색도값을 내어 모두 검은색으로 표현되고 입자 후보 영역에만 원본 이미지의 색도가 적용된다. 도 15(a)는 입자 후보의 분할된 영역의 원본 이미지에서의 색도값을 획득한 것을 보여준다.

도 15(b)는 상기 색도값을 획득한 입자 후보의 분할 이미지인 15(a)의 우측 하단의 입자 후보를 확대한 것이다. 도 15(b)의 확대된 입자 후보는 에지에 의해 분할된 것이므로 영역이 구분되어 있고, 이 영역들에 대해 각기 색도값 평균을 산출할 수 있다. 이 때 각 영역은 검은색 픽셀의 폐루프에 의해 정해진다.

분할된 입자 후보의 각 영역들의 색도값 평균을 미리 선정한 문턱값을 기준으로 어두운 영역을 삭제하여 분할된 입자 후보군을 필터링하는 단계이다. 영역의 색도값 평균이 문턱값 이상인 경우 그 영역을 입자 후보로 유지하고, 문턱값 미만인 경우 해당 영역 전체를 입자 후보에서 배제한다.

도 15 (c)는 도 15 (b)의 분할된 영역의 원본에서의 색도값을 획득한 입자 후보를 확대한 이미지에 문턱값을 기준으로 필터링 처리를 한 결과 생성되는 입자 후보 이미지이다. 도 15 (c)에서 후보 입자의 가장자리 근처는 색도값이 낮아 모두 입자 후보에서 배제되고, 내부의 일부 판별 코드도 낮은 색도로 인해 배제되고, 입자 후보의 내측 영역은 색도값이 높아 입자 후보로 유지된다. 이러한 과정에 의해 2개의 겹쳐진 입자로 이루어진 1개 입자 후보가 별개의 후보 입자로서 분리된다.

4) 에지 결정 단계

에지 결정 단계는 입자 외곽 필터링을 거쳐 분리된 입자 후보들의 에지를 최종 결정하는 단계이다. 에지 결정 단계는 ① Closing, Flood-fill, Opening, Remove 연산을 순차로 거쳐 ② 연결된 픽셀을 수집하는 단계를 포함한다.

Closing은 필터링된 후보 입자의 가장자리에서 일부 균일하지 않은 부분을 채워 넣거나 수정하여 매끄럽게 하는 것이고, Flood-fill은 흰색 픽셀로 둘러싸인 폐루프가 있으면 내부 픽셀을 모두 흰색으로 채우는 것이고, Opening은 노이즈를 제거하는 작업이고, Remove는 흰색 픽셀 영역에서 가장자리 픽셀을 제외하고 내부 픽셀을 모두 검은색으로 변환하여 흰색 픽셀 영역의 에지를 생성하는 것이다.

이후 연결된 픽셀을 수집하는 단계를 거쳐 최종 에지가 결정된다. 각각의 최종 에지는 선별된 입자 후보에 대응된다.

필터링을 거친 도 15 (c)와 같은 분리된 입자 후보들에 Closing, Flood-fill, Opening 연산을 한 결과로 도 16(a)와 같은 이미지가 생성되고, 이후 Remove 연산 및 연결된 픽셀을 수집하여 도 16(b)과 같이 최종 에지가 결정된다. 도 16(c)과 도 16(d)는 16(b)의 후보 입자에 대응되는 에지를 확대한 이미지이다.

이상과 같이 에지 추출을 위한 2 단계에서는 1 단계에서 수집한 입자 후보군 에서 노이즈를 제거한 후 분할 및 외곽 필터링을 거쳐 에지 결정 단계에 의해 입자 별로 분리된 최종 에지를 추출할 수 있다.

3. 3 단계: 에지 피팅 단계

에지 피팅(edge Fitting) 단계는 원본 이미지의 입자에 에지를 피팅하는 단계이다.

웰 플레이트 내의 물질 검출을 위한 부호화 입자들은 각기 다양한 각도로 평면 상에 임의로 배치되어 있고 이런 다양한 각도로 배치된 입자들이 카메라에 의해 촬영된 원본 이미지에서, 입자가 경사지게 배치되거나 입자가 뒤집힌 상태일 경우 판별 코드의 디코딩 연산이 곤란하다. 입자의 기준점과 경사 각도를 정확히 검출해야 정사각형 에지 내 판별 코드의 기준점에 대한 상대 위치를 산출하여 디코딩이 가능하다. 이를 위해 에지를 원본 이미지 내의 입자와 매칭되게 피팅하기 위해서는 에지로 표시되는 입자의 각도와 기준점을 산출해야 한다.

따라서, 원본 이미지의 선별된 입자의 판별 코드를 정확하기 읽기 위한 전처리 단계로서, 앞서 획득한 최종 에지의 회전각도와 기준점을 검출하고 회전각도와 기준점에 기초하여 템플릿 에지로 최종 에지를 대체하여 원본 이미지의 선별 입자에 피팅함으로써 원본 이미지에서 최종적으로 입자를 검출하는 단계이다.

에지 피팅 단계는 서로 연결된 에지 픽셀들을 시계방향 또는 반시계방향을 따라 이동하면서 에지의 각도 프로파일을 산출하고 그로부터 회전각을 결정하여 회전각만큼 역회전시켜 에지를 정립한 후 기준점을 검출한다. 검출한 기준점과 회전각 정보에 기초하여 템플릿 에지를 원본 이미지의 대응하는 입자에 피팅한다. 이로서 코드 검출을 위한 원본 이미지 내의 입자 검출이 완료되고 이후 디코딩 단계가 수행된다.

도 17을 참조하면, 에지 피팅 단계는 1) 각도 프로파일 획득 단계(Acquisition of angle profile), 2) 회전각 결정 단계(Rotation angle determination), 3) 노이즈 필터링 단계(Noise filtering) 4) 기준점 검출 단계(Detection of reference point), 5) 템플릿 에지 대체 단계(Replacement with template edge)를 포함한다. 이하 각 단계를 상술한다.

1) 각도 프로파일 획득 단계(Acquisition of angle profile)

① Sorting the edge points CW or CCW

② Computing angles of the connected edge points

각도 프로파일 획득 단계에서, 에지를 구성하는 에지 픽셀들 사이의 각도를 포함하는 각도 프로파일을 획득한다. 각도 프로파일 획득 단계는 서로 연결된 에지 픽셀들을 시계 방향 또는 반시계 방향으로 따라가면서 정렬하고, 연결된 에지 픽셀들의 각도를 계산하여 에지의 각도 프로파일을 획득한다.

도 18은 본 발명의 실시예에 의한 에지의 각도 프로파일을 나타낸 도면이다. 도 18의 가로축은 에지 픽셀의 정렬 번호이고 세로축은 각도(Radian)이다. 1번 내지 110번째 에지 픽셀의 구간에서 각도는 대략 -0.4rad 근처이고, 이후 급변하여 110번 내지 320번 까지는 대략 1.2 rad 정도의 각도를 가지되 중간에 급변하는 구간이 있고, 320번 이후 다시 -0.4rad 근처로 급변하므로, 대략 정사각형 모서리에서 각도 프로파일이 급변하는 것을 확인할 수 있다.

2) 회전각 결정 단계(Rotation angle determination)

획득한 에지의 각도 프로파일에 기초하여 에지를 구성하는 입자의 경사 각도를 결정한다. 에지의 각도 프로파일에 기초한 후보 각도를 추출하고 각 후보 각도만큼 에지를 역회전하고 그 가로 합과 세로 합 연산을 한 후 연산 결과에 기초하여 최적의 회전각을 결정한다. 회전각 결정 단계는 다음의 단계를 포함한다.

① 에지의 각도 프로파일로부터 하나 이상의 후보 각도를 추출하는 단계(Extracting candidate angles from the profile)

본 발명의 일 실시예에 의하면, 에지의 각도 프로파일의 각 구간에서의 각도 평균 또는 다른 방식으로 하나 이상의 후보 각도를 산출한다. 후보 각도를 하나 이상 산출하는 것은 직선 에지가 추출되지 않고 곡선 등의 에지나 또는 노이즈가 많을 경우 그로 인해 정확한 각도가 산출되지 않는 경우가 있다. 이를 대비하기 위해 다수 후보 각도를 산출하여 검증한다.

② 에지를 역회전시키는 단계(Reverse rotating the edge)

하나 이상의 후보 각도에 따라 에지를 역회전시킨다. 예를 들어, 후보 각도가 30도인 경우 에지를 -30도 회전시킨다. 30도가 정확한 에지 경사각도라면 에지의 30도 역회전에 의해 도 19와 같이 에지가 경사없이 바르게 정립된다. 만약 30도가 경사 각도가 아니라면 도 19와 같이 정사각형을 형성하는 에지의 각 면이 x-y축과 평행하지 않고 전체적으로 경사를 가질 것이다.

③ 가로 합과 세로 합을 계산하는 단계(Calculating horizontal and vertical sum)

역회전된 에지에 대해 가로 합과 세로 합을 계산한다. 도 19와 같이 역회전에 의해 에지가 경사없이 바르게 정립된 경우 가로 합 및 세로 합은 각기 2개의 피크값이 산출되면서 나머지 영역에서는 작은 값과 0이 산출될 것이다.

도 20은 도 19의 역회전된 에지에 대해 가로 합과 세로 합을 계산한 결과를 나타낸 그래프이다. 도 20의 그래프(a)의 가로축은 역회전된 에지 이미지의 가로 픽셀 좌표이고, 세로축은 해당 가로 픽셀열에서의 픽셀값을 더한 것이다. 도 20의 그래프(b)의 가로축은 에지의 이미지의 세로 픽셀의 좌표이고, 세로축은 해당 세로 픽셀 행에서의 픽셀값을 더한 것이다. 각기 2개의 피크가 관찰되고 그래프가 퍼지지 않고 있다. 만약, 잘못된 후보 각도로 에지를 역회전시킨 후 가로 합과 세로 합을 구한 경우라면 이런 피크값이 나타나지 않거나 작은 피크값이 나타날 것이다.

④ 좌우상하 변의 최대값을 찾아 회전각을 선정하는 단계(Finding maximum values of the right, left, top, botttom, and Selecting the rotated angle)

상기 가로 합과 세로 합의 그래프에서 상하좌우 4개 변의 평균이 최대값을 가지는 후보각도를 찾는다. 이런 최대값을 가지는 후보 각도를 에지가 나타내는 입자의 회전각으로 선정한다.

3) 노이즈 필터링 단계(Noise filtering)

회전각 결정 단계에서 입자의 회전각을 선정 후, 추가로 노이즈를 제거하기 위해 에지 변의 길이에 의해 에지를 필터링한다. 즉, 정사각형 입자 에지의 특성을 이용하여 가로 길이와 세로 길이의 비율이 기준 범위 내에 있지 않을 경우 이물질로 판단하고 에지를 제거한다.

4) 기준점 검출 단계(Detection of reference point)

기준점 검출 단계는 회전각 결정 단계에서 선정된 입자의 경사 각도로 에지를 역회전시켜 정립한 상태에서 기준점을 검출하는 것이다. 기준점은 본 발명의 일 실시예에 의하면 정사각형 입자 에지의 한 모서리에 인접하여 돌출한 부분이다. 이 기준점에 대한 판별 코드의 상대 위치를 이용하여 입자는 코드화된다. 따라서 기준점의 검출은 디코딩을 위해 필수적이다.

기준점 검출은 역회전시킨 에지에 기준 템플릿들과의 스칼라 곱 연산을 실행하여 값이 최대가 되는 기준 템플릿의 기준점을 해당 에지의 기준점으로 검출한다.

① 기준 템플릿들과의 스칼라 곱을 수행하는 단계(Performing scalar product with reference templates)

역회전시킨 에지에 기준점의 위치가 다른 8개의 기준 템플릿의 스칼라 곱을 각기 실행한다. 8개의 기준 템플릿은 각기 우변 하측, 우변 상측, 좌변 상측, 좌변 하측, 상변 좌측, 상변 우측, 하변 좌측, 하변 우측에 기준점이 위치한다.

기준 템플릿과 역회전 시킨 에지의 스칼라 곱 연산은 서로 대응하는 픽셀값을 곱하여 모두 더한 값이다. 즉, 기준점의 위치가 동일한 기준 템플릿의 스칼라 곱 값이 최대값을 가질 것이다.

② 최대값을 가지는 기준 템플릿 검출(Finding the template with largest sum)

상기 스칼라 곱의 값이 최대가 되는 기준 템플릿을 찾아 해당 기준 템플릿의 기준점을 에지의 기준점으로 검출한다. 도 21(b)의 역회전된 에지의 경우 하변 우측에서 기준점을 검출한다.

5) 템플릿 에지 대체 단계(Replacement with template edge)

에지의 기준점을 검출한 후 해당 에지와 매칭되는 템플릿 에지로 에지를 대체한 후 원본 이미지에 템플릿 에지를 피팅하여 원본 이미지에서 입자를 검출한다. 이 과정은, 다음과 같다.

① 에지의 폭과 높이를 구하는 단계(Finding width and height of the edge)

먼저 에지의 폭과 높이를 찾아낸다.

② 템플릿 에지의 크기와 회전 각도를 조절하는 단계(Resizing and rotating template edge)

템플릿 에지의 크기를 역회전된 에지의 크기와 동일하도록 크기를 조절한 후 앞서 구한 회전각과 동일한 회전 각도를 가지도록 템플릿 에지를 회전시킨다.

도 21(c)에는 교체한 템플릿 에지의 이미지가 도시되고 도 21(d)는 템플릿 에지의 크기를 조절한 후 회전시킨 이미지이다.

③ 템플릿 에지를 이용한 피팅 단계(Fitting with template edge)

상기 검출한 최종 에지와 동일한 크기와 회전각을 갖도록 크기 및 각도를 조절한 템플릿 에지를 원본 이미지의 대응하는 입자에 피팅시켜 원본 이미지에서 입자를 검출한다.

3 단계에서는, 상기 검출한 최종 에지의 각도 프로파일로부터 하나 이상의 후보 각도를 추출하고 상기 후보 각도에 따라 해당 입자의 에지를 역회전한 후 가로 합과 세로 합을 연산하여 복수의 피크값의 평균이 최대인 각도를 입자의 회전각으로 결정한다. 이러한 회전각 결정 단계를 통해 기본적으로 정사각형인 에지를 정립하여 기준점을 검출하여 원본 이미지에서 입자를 검출하고자 한다.

3 단계는 상술한 바와 같이 입자 별로 분리된 에지 추출을 위한 2 단계를 거친 에지에 적용되는 것이 바람직하나, 입자 별로 분리된 에지가 아닌 일반적인 에지 검출에 의해 수집한 입자 후보의 에지에 대해서도 적용될 수 있다. 2 단계의 입자 후보 분할 단계 없이 일반적인 1, 2 단계에서 일부 과정을 생략한 일반적인 입자 후보 수집 및 에지 검출과 노이즈 제거에 의해 획득한 에지에 대해서도 적용될 수 있다.

3 단계에서 수행된, 원본 이미지에서 에지 피팅을 통해 검출된 입자 이미지를 대상으로 디코딩 단계를 실행한다.

4. 4 단계: 디코딩 단계

디코딩 단계는 에지 피팅이 이루어져 검출된 입자의 원본 이미지에 대해 그래디언트 이미지를 생성하고 문턱값을 적용하고, 그래디언트 이미지의 영역 분할 후, 각 영역에 대해 판별 코드를 검출하여 판별 코드를 가지는 영역의 순서를 이용하여 코드를 확인한다.

1) 그래디언트 문턱값 처리 단계(Gradient thresholding)

검출된 입자 이미지의 그래디언트 이미지를 생성하고 문턱값을 적용하는 단계이다(도 25 참조).

① 입자가 정립하도록 이미지를 회전하는 단계(Rotating the image so that the edge is straight-up)

도 25의 실시예에서는 기준점이 좌측상단에 위치하도록 입자의 원본 이미지를 회전하였다.

② 입자 이미지의 그래디언트를 계산하는 단계(Computing image gradient inside the edge)(도 25(a) 참조)

③ 문턱값을 결정하는 단계(Determining threshold value)

④ 그래디언트 이미지에서 문턱값 보다 작은 픽셀을 0으로 만드는 단계(Making 0 below the threshold value in the gradient image)

도 25에는 입자의 그래디언트 이미지와 문턱값이 적용된 이미지를 도시한다.

2) 영역 분할 단계(Region segmentation)

입자의 그래디언트 이미지를 3×3 매트릭스로 영역 분할을 한다. 본 발명의 일 실시예에 따른 물질 검출 방법에 사용되는 부호화 입자는 입자 내에 3×3 행렬에 따라 코드화되어 있다. 즉, 정사각형 입자 내부의 3×3 행렬 위치 중 2개의 위치에 원형 관통구가 형성되어 부호화되어 있다. 따라서 코드 검출을 위해서도 3×3 행렬에 따른 영역 분할이 필요하다.

부호화된 2x2인 경우에는 영역 분할도 같은 방식으로 2x2로 이루어져야 한다.

3)원 검출 단계(Circle detection)

원형 Hough 변환 알고리즘을 이용하여, 문턱값이 적용된 그래디언트 이미지로부터 분할된 각 영역 내에서 원을 찾고, 누산기 배열의 최대값이 있을 경우 원이 있는 것으로 하되 필터링을 통해 노이즈를 제거함으로써 원을 검출한다.

① 원형 Hough 변환을 사용하여 각 분할 영역 내에서 원을 찾는 단계(Finding circles in the segment using circular Hough transform)

② 누산기 배열의 최대값을 선택하는 단계(Selecting maximum magnitude of accumulator array peaks)

③ 원의 메트릭, 위치, 사이즈, 스코어에 의해 노이즈를 제거하는 단계(Filtering by metric, location, size, score)

4) 코드 확인 단계(Code Confirmation)

원을 가지는 분할 영역의 순서를 이용하여 코드를 확인한다. 도 26에는 원을 가지는 분할 영역이 각기, 4번, 9번 영역에 있어 49코드이고 이에 대응하는 물질이 데이터 베이스에 저장되어 해당 코드가 검출되면 특정 물질이 검출되는 것이다.

상술한 본 발명의 방법은 다양한 변형이 이루어질 수 있고, 정사각형 부호화 입자 뿐 아니라 다각형 부호화 입자에 적용될 수 있다. 나아가 코드의 형상은 관통공일 수 있으나 이에 한정되지 않고 다양한 코드 형상에 대해서도 적용될 수 있다.

Claims (14)

1. 원본 이미지로부터 부호화 입자를 검출하는 방법으로서,
   원본 이미지로부터 에지를 검출하고, 검출된 에지를 이용하여 이미지 처리를 하고, 서로 연결된 픽셀들을 수집하여 입자 후보를 선정함으로써 입자 후보를 검출하는, 입자 후보 검출 단계; 및
   상기 입자 후보를 이용하여 입자 에지를 추출하는 에지 추출 단계; 를 포함하고,
   상기 입자 후보는 서로 연결된 픽셀들의 집합인 것을 특징으로 하는 부호화 입자를 검출하는 방법.
   
2. 제1항에 있어서,
   상기 입자 후보 검출 단계는 에지 검출 단계를 포함하고,
   에지 검출 단계는,
   원본 이미지의 그래디언트를 계산하여 그래디언트 이미지를 생성하는 단계;
   그래디언트 이미지의 히스토그램을 산출하고, 그래디언트 이미지의 히스토그램을 정규분포 곡선(Gaussian curve)에 피팅하는 단계;
   정규분포 곡선을 이용하여 상하 문턱값을 결정하는 단계; 및
   상하 문턱값을 이용하여 Canny 에지 검출기에 의해 에지를 검출하는 단계;를 포함하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
   
3. 제2항에 있어서,
   에지 검출 단계는,
   Canny 에지 검출기에 의해 NMS(Non-maxima Suppression) 과정에서 제거된 극대값이 아닌 픽셀들을 에지로서 추가하는 단계를 더 포함하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
   
4. 제2항에 있어서,
   상기 입자 후보 검출 단계는,
   검출된 에지에 대해 Thinning, Diagonal fill, Flood-fill 작업 후 서로 연결된 픽셀들을 수집하여 입자 후보로 선정하는 단계를 포함하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
   
5. 제1항에 있어서,
   에지 추출 단계는,
   상기 입자 후보 중에서 복수의 입자가 겹쳐진 입자 후보를 개별 입자로 분할하는 입자 후보 분할 단계를 포함하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
   
6. 제5항에 있어서
   상기 입자 후보 분할 단계는,
   상기 검출된 에지에서 입자 후보에 속하는 에지를 선택하는 단계와, 입자 후보 이미지로부터 상기 선택된 에지를 차감 연산하는 단계를 포함하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
   
7. 제6항에 있어서,
   상기 에지 추출 단계는 입자 외곽 필터링 단계를 더 포함하고,
   입자 외곽 필터링 단계는,
   상기 차감 연산에 의해 생성된 입자 후보의 분할된 영역의 원본 이미지에서의 색도값을 획득하는 단계;
   입자 후보의 분할된 영역별로 색도값 평균을 산출하는 단계; 및
   상기 색도값 평균에 따라 미리 선정한 문턱값을 기준으로 상기 영역을 필터링하는 단계;를 포함하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
   
8. 제1항에 있어서,
   상기 에지 추출 단계는,
   검출된 입자 후보에 대해 면적에 따른 노이즈 필터링을 적용하여 입자 후보를 선별하는 단계;
   상기 선별된 입자 후보에서 복수의 입자가 겹쳐진 입자 후보를 개별 입자로 분할하는 입자 후보 분할 단계;
   입자 후보의 분할 영역의 색도값 평균에 의한 외곽 필터링 단계; 및
   입자 외곽 필터링을 거쳐 분리된 입자 후보의 최종 에지를 결정하는 단계;를 포함하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
   
9. 제1항에 있어서,
   추출된 에지를 상기 원본 이미지에 피팅하는 에지 피팅 단계;를 포함하고,
   에지 피팅 단계는,
   에지 추출 단계에서 추출된 에지를 구성하는 서로 연결된 에지 픽셀에 대해 일 방향으로 각도 프로파일을 획득하는 단계;
   획득한 에지의 각도 프로파일에 기초하여 에지가 구성하는 후보 입자의 회전각을 결정하는 단계;를 포함하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
   
10. 제9항에 있어서,
    각도 프로파일을 획득하는 단계는,
    에지 추출 단계에서 추출된 에지를 구성하는 서로 연결된 에지 픽셀들을 시계방향 또는 반시계방향으로 정렬하는 단계; 및
    연결된 상기 에지 픽셀의 기준선에 대한 각도를 계산하는 단계;를 포함하고,
    회전각을 결정하는 단계는,
    각도 프로파일로부터 후보 각도들을 추출하고, 에지를 후보각도에 따라 역회전하고, 역회전한 에지의 세로 합과 가로 합을 계산하고, 역회전한 에지의 세로 합과 가로 합이 최대값이 되는 후보각도를 회전각으로 선택하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
    
11. 제9항에 있어서,
    에지 피팅 단계는 기준점 검출 단계를 더 포함하고,
    회전각 결정 단계에서 선정된 입자의 회전각으로 에지를 역회전시켜 정립하고,
    역회전시킨 에지에 기준 템플릿들과의 스칼라 곱 연산을 각기 실행하여 그 값이 최대가 되는 기준 템플릿의 기준점을 해당 에지의 기준점으로 검출하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
    
12. 제1항에 있어서,
    상기 에지 피팅 단계는,
    에지의 각도 프로파일 획득 단계,
    각도 프로파일을 이용하여 에지의 회전각을 결정하는 단계,
    에지의 기준점 검출 단계, 및
    검출된 기준점과 상기 회전각에 기초하여 원본 이미지에 템플릿 에지를 피팅하는 단계를 포함하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
13. 제1항에 있어서,
    추출된 에지를 상기 원본 이미지에 피팅하는 에지 피팅 단계; 및
    에지 피팅된 개별 부호화 입자의 코드를 검출하는 디코딩 단계;를 포함하는 것을 특징으로 하는 부호화 입자를 검출하는 방법.
    
14. 컴퓨터로 판독 가능한 프로그램이 저장된 저장매체로서,
    제1항 내지 제13항 중 어느 한 항의 방법을 실행하기 위한 명령어들을 포함하는 프로그램이 저장된 저장매체.

Images