KR101979287B1 - 이미지 데이터를 처리하기 위한 방법 및 시스템 - Google Patents

이미지 데이터를 처리하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR101979287B1
KR101979287B1 KR1020147013263A KR20147013263A KR101979287B1 KR 101979287 B1 KR101979287 B1 KR 101979287B1 KR 1020147013263 A KR1020147013263 A KR 1020147013263A KR 20147013263 A KR20147013263 A KR 20147013263A KR 101979287 B1 KR101979287 B1 KR 101979287B1
Authority
KR
South Korea
Prior art keywords
particle
image
calculating
particle image
particles
Prior art date
Application number
KR1020147013263A
Other languages
English (en)
Other versions
KR20140084206A (ko
Inventor
매튜 피셔
Original Assignee
루미넥스 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루미넥스 코포레이션 filed Critical 루미넥스 코포레이션
Publication of KR20140084206A publication Critical patent/KR20140084206A/ko
Application granted granted Critical
Publication of KR101979287B1 publication Critical patent/KR101979287B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
    • G01P5/18—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance
    • G01P5/20—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance using particles entrained by a fluid stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N2021/6497—Miscellaneous applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Dispersion Chemistry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)

Abstract

컴퓨터로 구현되는 방법, 저장 매체 및 시스템의 실시예는 제1 입자 이미지에서 입자의 위치를 결정하도록 구성될 수 있다. 이 입자는 연관된 형광 물질을 구비할 수 있다. 실시예는 변환 파라미터를 계산하는 단계를 포함할 수 있고, 변환 파라미터는 제1 입자 이미지 및 제2 입자 이미지 사이에서 입자의 위치의 추정된 움직임을 한정할 수 있다. 실시예는 제1 이미지 내 입자의 위치에 변환 파라미터를 적용하여 제2 이미지 내 입자의 움직임 위치를 결정하는 단계를 더 포함할 수 있다.

Description

이미지 데이터를 처리하기 위한 방법 및 시스템{METHODS AND SYSTEMS FOR IMAGE DATA PROCESSING}
우선권 주장
본 출원은 2011년 10월 18일에 출원된 발명의 명칭이 "Methods and Systems for Image Data Processing"인 미국 가특허 출원 61/627,851에 대한 우선권의 이익을 주장한다.
기술 분야
본 발명은 일반적으로 이미지 데이터 처리 방법 및 시스템에 관한 것이다. 특정 실시예는 다수의 입자 이미지를 처리하여 이미지들 사이에 입자의 움직임을 설명하는(account for) 하나 이상의 단계를 수행하는 방법 및 시스템에 관한 것이다.
이하 상세한 설명 및 예시는 본 란 내에 포함된 것이라는 이유로 종래 기술인 것으로 인정되는 것은 아니다.
전하 결합 소자(charged coupled device: CCD) 검출기와 같은 검출기를 사용하여 이미징하는 것은 생물공학 응용기술분야에서 현재 여러 이용가능한 기구에서 사용된다. 이러한 생물공학 응용기술에서는 다수의 입자 이미지를 촬영할 것을 요구할 수 있다. 다수의 입자 이미지에서, 입자는 이동하는 것으로 보일 수 있다. 시간적으로 근접하여 (또는 아마도 동시에) 촬영된 입자 이미지에서, 입자는 변위 또는 이동하는 것으로 보일 수 있다. 따라서, 입자 이미지를 데이터 처리하여 이미지들 사이에 입자의 움직임을 설명하는 방법 및 시스템을 개발하는 것이 요구될 수 있다.
전술된 문제는 입자 이미지의 데이터 처리하는 것과 연관된 하나 이상의 단계를 수행하는 컴퓨터로 구현되는 방법, 저장 매체, 및 시스템에 의해 대부분 처리될 수 있다. 이하는 컴퓨터로 구현되는 방법, 저장 매체, 및 시스템의 단지 예시적인 실시예이므로 청구범위의 주제를 한정하는 것으로 해석되어서는 아니된다.
컴퓨터로 구현되는 방법, 저장 매체, 및 시스템의 실시예는, 제1 입자 이미지에서 연관된 형광 물질을 구비하는 입자의 위치를 결정하고; 제1 입자 이미지 및 제2 입자 이미지 사이에 입자 위치의 추정된 움직임을 한정하는 변환 파라미터를 계산하며; 제1 이미지에서 입자의 위치에 변환 파라미터를 적용하여 제2 이미지에서 입자의 움직임 위치를 결정하도록 구성될 수 있다.
방법, 저장 매체, 및 시스템의 일부 실시예에서, 변환 파라미터는 방사방향 성분(radial component) 및 상수 성분(constant component)을 포함한다. 방사방향 성분은 제1 이미지 내 입자의 위치와 제1 이미지의 중심 사이의 거리에 비례할 수 있다.
방법, 저장 매체, 및 시스템의 일부 실시예에서, 변환 파라미터를 계산하는 것은 제2 이미지 내 입자의 추정된 위치를 추정하는 단계 및 제1 이미지 내 입자의 위치 및 제2 이미지 내 입자의 추정된 위치에 기초하여 잠재적인 변환 파라미터를 계산하는 단계를 포함할 수 있다. 일부 실시예에서, 변환 파라미터를 계산하는 단계는 잠재적인 변환 파라미터에 기초하여 최적 변환 파라미터를 결정하는 단계를 더 포함할 수 있다.
방법, 저장 매체, 및 시스템의 일부 실시예에서, 제2 이미지 내 입자의 추정된 위치를 추정하는 단계는 제2 이미지 및 제1 이미지 내 입자의 위치에 기초하여 최대 적분 위치를 결정하는 단계를 포함할 수 있다. 더욱이, 일부 실시예에서, 최적 변환 파라미터를 결정하는 단계는 허프 변환(Hough transform)을 사용하는 단계를 포함한다.
방법, 저장 매체, 및 시스템의 일부 실시예는 입자들 사이의 힘에 기초하여 에러 성분을 계산하는 단계를 더 포함할 수 있다.
단수 용어는, 본 명세서에서 명시적으로 달리 언급되는 한, 하나 이상인 것으로 정의된다.
"실질적으로"라는 용어와 그 변형어는 이 기술 분야에 통상의 지식을 가진 자라면 이해하는 바와 같이 언급된 것이 대부분 그러하나 반드시 전부 그러한 것은 아닌 것으로 정의되고, 하나의 비제한적인 실시예에서 "실질적으로"라는 용어는 언급된 것의 10% 내, 바람직하게는 5% 내, 보다 바람직하게는 1% 내, 가장 바람직하게는 0.5% 내의 범위를 말한다.
"포함하는" (및 "포함하는" 및 "포함하고 있는"과 같은 포함하는 것을 의미하는 임의의 형태), "가지는" (및 "가지는" 및 "가지고 있는"과 같은 가지는 것을 의미하는 임의의 형태), "구비하는" (및 "구비하는" 및 "구비하고 있는"과 같은 구비하는 것을 의미하는 임의의 형태) 및 "함유하는" (및 "함유하는" 및 "함유하고 있는"과 같은 함유하는 것을 의미하는 임의의 형태)라는 용어는 개방형 연결 어구이다. 그 결과, 하나 이상의 단계 또는 요소를 "포함하는", "가지는", "구비하는", 또는 "함유하는" 방법 또는 디바이스는 이 하나 이상의 단계 또는 요소를 소유하지만, 이 하나 이상의 요소만을 소유하는 것으로 제한되는 것은 아니다. 마찬가지로, 하나 이상의 특징을 "포함하는", "가지는", "구비하는", 또는 "함유하는" 방법 단계 또는 디바이스 요소는 이 하나 이상의 특징을 소유하지만, 이 하나 이상의 특징만을 소유하는 것으로 제한되는 것은 아니다. 나아가, 특정 방식으로 구성된 디바이스 또는 구조물은 적어도 이 방식으로 구성되지만, 열거되지 않은 방식으로 구성될 수도 있다.
다른 특징 및 연관된 잇점은 첨부 도면과 함께 특정 실시예의 이하 상세한 설명을 참조하면 보다 분명해질 것이다.
이하 도면은 본 명세서의 일부를 형성하고 본 발명의 특정 측면을 더 예시하기 위해 포함된다. 본 발명은 본 명세서에 제시된 특정 실시예의 상세한 설명과 조합하여 이들 도면 중 하나 이상을 참조하면 더 잘 이해될 수 있을 것이다.
도 1은 입자 이미지를 획득하고 처리하도록 구성된 시스템의 일 실시예의 단면도를 도시하는 개략도;
도 2는 입자 이미지를 처리하는 방법을 약술하는 흐름도;
도 3은 제1 입자 이미지 및 제2 입자 이미지 사이에 잠재적인 그리드 왜곡(grid distortion)을 도시하는 도면;
도 4는 입자의 프리바디 다이어그램(free body diagram)을 도시하는 도면;
도 5는 최대 적분 위치를 결정하는 특정 실시예를 도시하는 도면;
도 6은 최적 변환 파라미터를 결정하는데 사용되는 투표 공간(vote space)을 도시하는 도면;
도 7은 입자의 추가적인 프리바디 다이어그램을 도시하는 도면.
본 실시예는 본 명세서에서 입자에 대해 설명되어 있으나, 본 명세서에 설명된 시스템 및 방법은 마이크로구(microsphere), 폴리스티렌 비드(bead), 마이크로입자, 금 나노입자(gold nanoparticle), 양자 도트(quantum dot), 나노도트, 나노입자, 나노쉘(nanoshell), 비드, 마이크로비드, 라텍스 입자(latex particle), 라텍스 비드, 형광 비드, 형광 입자, 컬러 입자, 컬러 비드, 조직, 세포, 미생물, 유기물, 비유기물, 또는 이 기술 분야 알려진 임의의 다른 이산 물질과 함께 사용될 수 있는 것으로 이해된다. 이 입자는 분자 반응을 위한 매체(vehicle)로 기능을 할 수 있다. 적절한 입자의 예로는, 본 명세서에 완전히 개시된 것처럼 본 명세서에 참조 문헌으로 병합된, 미국 특허 번호 5,736,330(발명자 : Fulton), 미국 특허 번호 5,981,180(발명자 : Chandler 등), 미국 특허 번호 6,057,107(발명자 : Fulton), 미국 특허 번호 6,268,222(발명자 : Chandler 등), 미국 특허 번호 6,449,562(발명자 : Chandler 등), 미국 특허 번호 6,514,295(발명자 : Chandler 등), 미국 특허 번호 6,524,793(발명자 : Chandler 등) 및 미국 특허 번호 6,528,165(발명자 : Chandler)에 도시되고 설명되어 있다. 본 명세서에 설명된 시스템 및 방법은 이들 특허 문헌에 설명된 입자들 중 어느 것과 함께 사용될 수 있다. 나아가, 본 명세서에 설명된 방법 및 시스템 실시예에 사용하기 위한 입자는 텍사스 주, 오스틴(Austin) 소재 루미넥스사(Luminex Corporation)와 같은 제조사로부터 획득될 수 있다. "입자" 및 "마이크로구" 및 "비드"라는 용어는 본 명세서에서 상호 교환가능하게 사용된다.
나아가, 본 명세서에 설명된 시스템 및 방법에 따른 입자의 유형은 입자의 표면에 부착되거나 이 표면과 연관된 형광 물질을 갖는 입자를 포함한다. 형광 염료 또는 형광 입자가 입자의 표면에 직접 부착되어 분류 형광(즉, 입자 또는 입자가 속하는 부분 집합의 신원(identity)을 결정하기 위해 측정되고 사용되는 형광 방출)을 제공하는 입자의 유형은, 본 명세서에 완전히 개시된 것처럼 본 명세서에 참조 문헌으로 병합된, 미국 특허 번호 6,268,222(발명자 : Chandler 등) 및 미국 특허 번호 6,649,414(발명자 : Chandler 등)에 도시되고 설명되어 있다. 본 명세서에 설명된 방법 및 시스템에 사용될 수 있는 입자의 유형은 입자의 코어에 병합된 하나 이상의 형광 색소 또는 형광 염료를 구비하는 입자를 더 포함한다.
본 명세서에 설명된 방법 및 시스템에 사용될 수 있는 입자는 하나 이상의 적절한 광원에 노출될 때 하나 이상의 형광 신호를 나타내는 입자를 더 포함한다. 나아가, 입자는 여기시 입자가 다수의 형광 신호를 나타내도록 제조될 수 있고, 각 형광 신호는 개별적으로 또는 조합으로 사용되어 입자의 신원을 결정할 수 있다. 아래에 설명된 바와 같이, 이미지 데이터 처리는 다수의 분해물질 유체에서 입자를 분류하는 것 뿐만 아니라 특히 입자에 바운드된 분해물질(analyte)의 양을 결정하는 것을 포함할 수 있다. 입자에 바운드된 분해물질의 양을 나타낼 수 있는 리포터 신호(reporter signal)는 일반적으로 동작 동안 알려져 있지 않으므로, 분류 파장(들) 또는 파장 대역(들)의 형광 및 리포터 파장 또는 파장 대역의 형광을 방출하는 특별히 염색된 입자를 본 명세서에 설명된 시스템과 함께 사용할 수 있다.
본 명세서에 설명된 방법은 일반적으로 입자 이미지를 분석하고 이미지로부터 측정된 데이터를 처리하여 이미지 내 입자의 위치를 결정하는 단계를 포함한다. 입자의 하나 이상의 특성을 후속적으로 처리하는 것은, 본 명세서에 완전히 개시된 것처럼 본 명세서에 참조 문헌으로 병합된, 미국 특허 번호 5,736,330(발명자 : Fulton), 미국 특허 번호 5,981,180(발명자 : Chandler 등), 미국 특허 번호 6,449,562(발명자 : Chandler 등), 미국 특허 번호 6,524,793(발명자 : Chandler 등), 미국 특허 번호 6,592,822(발명자 : Chandler), 및 미국 특허 번호 6,939,720(발명자 : Chandler 등) 및 미국 특허 출원 번호 11/534,166(발명자 : Roth 등)에 도시되고 설명된 방법에 따라 수행될 수 있다.
이제 도면을 참조하면, 도 1은 축척에 맞게 그려진 것이 아니다. 구체적으로, 이 도면의 요소의 일부의 축척은 요소의 특성을 강조하기 위하여 크게 과장되어 있다. 시스템의 일부 요소는 명료함을 위해 도면에 포함되어 있지 않다.
입자 이미지를 생성, 획득, 또는 공급하고 본 명세서에 설명된 방법의 실시예에 따라 이미지를 처리하도록 구성된 시스템의 일 실시예는 도 1에 도시되어 있다. 도 1에 도시된 시스템은 입자의 다수의 분해물질 측정과 같은 응용에 사용될 수 있다. 시스템은 광원(10)을 포함하는 이미징 서브 시스템을 포함한다. 광원(10)은 발광 다이오드(LED), 레이저, 아크 램프, 백열 램프, 또는 이 기술 분야 알려진 임의의 다른 적절한 광원과 같은 하나 이상의 광원을 포함할 수 있다. 나아가, 또는 대안적으로, 광원은 하나를 초과하는 광원(미도시)을 포함할 수 있고, 각 광원은 상이한 파장 또는 상이한 파장 대역의 광을 생성하도록 구성된다. 도 1에 도시된 시스템에 사용하기 위한 광원의 적절한 조합의 일례는 2개 이상의 LED를 포함하지만 이에 제한되지 않는다. 하나를 초과하는 광원으로부터의 광은 광원으로부터의 광이 동시에 입자로 향할 수 있도록 빔 스플리터(미도시) 또는 이 기술 분야 알려진 임의의 다른 적절한 광학 요소에 의해 공통 조명 경로로 조합될 수 있다. 대안적으로, 이미징 서브 시스템은 입자를 조명하는데 어느 광원이 사용되는지에 따라 광학 요소를 조명 경로 안으로 이동시키거나 조명 경로 밖으로 이동시키도록 구성된 반사 미러 및 디바이스(미도시)와 같은 광학 요소(미도시)를 포함할 수 있다. 이런 방식으로, 광원은 상이한 파장 또는 파장 대역의 광을 입자에 순차적으로 조명하는데 사용될 수 있다. 광원(들)은 기판(미도시) 아래로부터가 아니라 기판 위로부터 조명할 수 있다.
광원(들)은 입자 또는 이 입자에 부착된 물질이 형광을 방출하도록 하는 파장(들) 또는 파장 대역(들)의 광을 제공하도록 선택될 수 있다. 예를 들어, 파장(들) 또는 파장 대역(들)은 입자에 포함되거나 및/또는 입자의 표면에 결합된 형광 염료 또는 다른 형광 물질을 여기시키도록 선택될 수 있다. 이런 방식으로, 파장(들) 또는 파장 대역(들)은 입자를 분류하는데 사용되는 형광을 입자가 방출하도록 선택될 수 있다. 나아가, 파장(들) 또는 파장 대역(들)은 입자의 표면에 있는 반응물(reagent)을 통해 입자에 결합된 형광 염료 또는 다른 형광 물질을 여기시키도록 선택될 수 있다. 그리하여, 파장(들) 또는 파장 대역(들)은 입자의 표면에서 일어난 반응(들)을 검출하거나 및/또는 정량화(quantify)하는데 사용되는 형광을 입자가 방출하도록 선택될 수 있다.
도 1에 도시된 바와 같이, 이미징 서브 시스템은 광원(10)으로부터의 광을 입자(16)가 고정되어 있는 기판(14)으로 향하게 하도록 구성된 광학 요소(12)를 포함할 수 있다. 일례에서, 광학 요소(12)는 시준 렌즈(collimating lens)일 수 있다. 그러나, 광학 요소(12)는 광원(10)으로부터의 광을 기판(14)으로 이미징하는데 사용될 수 있는 임의의 다른 적절한 광학 요소를 포함할 수 있다. 나아가, 광학 요소가 도 1에서 단일 광학 요소로 도시되어 있으나, 광학 요소(12)는 하나를 초과하는 굴절 요소를 포함할 수 있는 것으로 이해된다. 나아가, 광학 요소(12)가 도 1에서 굴절 광학 요소로 도시되어 있으나, 하나 이상의 반사 광학 요소가 (하나 이상의 굴절 광학 요소와 조합하여) 광원(10)으로부터의 광을 기판(14)으로 이미징하는데 사용될 수 있는 것으로 이해된다.
입자(16)는 전술된 입자 중 어느 것을 포함할 수 있다. 기판(14)은 이 기술 분야 알려진 임의의 적절한 기판을 포함할 수 있다. 기판(14)에 고정된 입자는 이미징 서브 시스템에 대해 기판(14) 및 이 기판 위에 고정된 입자(16)의 위치를 유지하기 위해 이미징 챔버(미도시) 또는 임의의 다른 디바이스에 배치될 수 있다. 기판(14)의 위치를 유지하기 위한 디바이스는 이미징 전에 (예를 들어, 이미징 서브 시스템을 기판으로 포커싱하는데) 기판의 위치를 변경하도록 더 구성될 수 있다. 기판에 입자를 고정하는 것은 자기 인력(magnetic attraction), 진공 필터판, 또는 이 기술 분야 알려진 임의의 다른 적절한 방법을 사용하여 수행될 수 있다. 이미징을 위한 마이크로구를 위치시키는 방법 및 시스템의 예로는, 본 명세서에 완전히 개시된 것처럼 본 명세서에 참조 문헌으로 병합된, 2005년 11월 9일에 출원된 미국 특허 출원 일련 번호 11 /270,786(발명자 : Pempsell)에 설명되어 있다. 입자 고정 방법 그 자체는 본 명세서에 설명된 방법 및 시스템에 중요한 것은 아니다. 그러나, 입자는 입자가 다수 초 만큼 길 수 있는 검출기 적분 기간 동안 지각가능하게 이동되지 않도록 고정되는 것이 바람직하다.
도 1에 도시된 바와 같이, 이미징 서브 시스템은 광학 요소(18) 및 빔 스플리터(20)를 포함할 수 있다. 광학 요소(18)는 기판(14) 및 이 기판 위에 고정된 입자(16)로부터 광을 빔 스플리터(20)에 포커싱하도록 구성된다. 광학 요소(18)는 광학 요소(12)에 대해 전술된 바와 같이 더 구성될 수 있다. 빔 스플리터(20)는 이 기술 분야에 알려진 임의의 적절한 빔 스플리터를 포함할 수 있다. 빔 스플리터(20)는 광학 요소(18)로부터의 광을 광의 파장에 기초하여 상이한 검출기로 향하게 하도록 구성될 수 있다. 예를 들어, 제1 파장 또는 파장 대역을 구비하는 광은 빔 스플리터(20)에 의해 전송될 수 있고, 제1 파장과는 상이한 제2 파장이나 파장 대역을 가지는 광은 빔 스플리터(20)에 의해 반사될 수 있다. 이미징 서브 시스템은 광학 요소(22) 및 검출기(24)를 더 포함할 수 있다. 빔 스플리터(20)에 의해 전송된 광은 광학 요소(22)로 향할 수 있다. 광학 요소(22)는 빔 스플리터에 의해 전송된 광을 검출기(24)로 포커싱하도록 구성된다. 이미징 서브 시스템은 광학 요소(26) 및 검출기(28)를 더 포함할 수 있다. 빔 스플리터(20)에 의해 반사된 광은 광학 요소(26)로 향할 수 있다. 광학 요소(26)는 빔 스플리터에 의해 반사된 광을 검출기(28)로 포커싱하도록 구성된다. 광학 요소(22 및 26)는 광학 요소(12)에 대해 전술된 바와 같이 구성될 수 있다.
검출기(24 및 28)는 예를 들어, 전하 결합 소자(CCD) 검출기 또는 이 기술 분야에 알려진 임의의 다른 적절한 이미징 검출기, 예를 들어 CMOS 검출기, 감광성 요소의 2차원 어레이, 시간 지연 적분(time delay integration: TDI) 검출기 등을 포함할 수 있다. 일부 실시예에서, 2차원 CCD 이미징 어레이와 같은 검출기는 실질적으로 전체 기판 또는 이 기판에 고정된 모든 입자의 이미지를 동시에 획득하는데 사용될 수 있다. 이런 방식으로, 기판의 조명된 영역으로부터 모든 광자(photon)는 동시에 수집되어 광전증배관(photomultiplier tube: PMT) 및 스캐닝 디바이스를 포함하는 다른 현재 이용가능한 시스템에 사용된 샘플링 애퍼처(sampling aperture)로 인해 에러를 제거할 수 있다. 나아가, 시스템에 포함된 검출기의 수는 해당 파장이나 파장 대역의 수와 동일하여 각 검출기는 해당 파장이나 파장 대역 중 하나에서 이미지를 생성하는데 사용될 수 있다.
검출기에 의해 생성된 이미지 각각은 빔 스플리터로부터 검출기로의 광 경로에 배치된 이 기술 분야에 알려진 광학 대역통과 요소(미도시) 또는 임의의 다른 적절한 광학 요소를 사용하여 스펙트럼이 필터링될 수 있다. 각 캡처된 이미지에 대해 상이한 필터 "대역"이 사용될 수 있다. 이미지가 획득되는 각 파장 또는 파장 대역의 검출 파장 중심 및 폭은 입자 분류에 사용되던지 또는 리포터 신호에 사용되던지 간에 해당 형광 방출(emission)과 매칭될 수 있다. 이런 방식으로, 도 1에 도시된 시스템의 이미징 서브 시스템은 동시에 상이한 파장 또는 파장 대역에서 다수의 이미지를 생성하도록 구성될 수 있다. 도 1에 도시된 시스템은 2개의 검출기를 포함하고 있으나, 이 시스템은 2개를 초과하는 검출기(예를 들어, 3개의 검출기, 4개의 검출기 등)를 포함할 수 있는 것으로 이해된다. 전술된 바와 같이, 각 검출기는 상이한 파장 또는 파장 대역의 광을 상이한 검출기로 동시에 및/또는 순차적으로 향하게 하는 하나 이상의 광학 요소를 포함하는 것에 의해 상이한 파장 또는 파장 대역에서 동시에 및/또는 순차적으로 이미지를 생성하도록 구성될 수 있다.
나아가, 시스템이 도 1에서 다수의 검출기를 포함하는 것으로 도시되어 있으나, 시스템은 단일 검출기를 포함할 수 있는 것으로 이해된다. 단일 검출기는 순차적으로 다수의 파장 또는 파장 대역에서 다수의 이미지를 생성하는데 사용될 수 있다. 예를 들어, 상이한 파장 또는 파장 대역의 광은 순차적으로 기판으로 향할 수 있고, 상이한 이미지는 각 상이한 파장 또는 파장 대역을 기판에 조명하는 동안 생성될 수 있다. 다른 예에서, 단일 검출기로 향하는 광의 파장 또는 파장 대역을 선택하는 상이한 필터는 (예를 들어, 상이한 필터를 이미징 경로 안으로 이동시키거나 이미징 경로로부터 밖으로 이동시키는 것에 의해) 변경되어 순차적으로 상이한 파장 또는 파장 대역에서 이미지를 생성할 수 있다.
그리하여, 도 1에 도시된 이미징 서브 시스템은, 해당 여러 파장에서 입자(16)의 형광 방출(emission)을 나타내는 복수의 또는 시리즈의 이미지를 생성하도록 구성된다. 나아가, 시스템은 입자의 형광 방출(emission)을 나타내는 복수의 또는 시리즈의 디지털 이미지를 프로세서(즉, 처리 엔진)에 공급하도록 구성될 수 있다. 이러한 일례에서, 시스템은 프로세서(30)를 포함할 수 있다. 프로세서(30)는 검출기(24 및 28)로부터 이미지 데이터를 획득(예를 들어, 수신)하도록 구성될 수 있다. 예를 들어, 프로세서(30)는 이 기술 분야에 알려진 임의의 적절한 방식으로 (예를 들어, 전송 매체(미도시)를 통해) 검출기(24 및 28)에 연결될 수 있다(각 전송 매체는 검출기 중 하나를 아날로그-디지털 컨버터와 같은 하나 이상의 전자 성분(미도시)을 통해 프로세서에 연결하고, 각각은 검출기 중 하나와 프로세서 등 사이에 연결된다). 바람직하게는, 프로세서(30)는 이미지를 처리하고 분석하여 입자(16)의 하나 이상의 특성, 예를 들어 입자의 분류 및 이 입자의 표면에서 일어난 반응에 대한 정보를 결정하도록 적어도 구성된다. 하나 이상의 특성은 각 파장에 대한 각 입자의 형광 크기에 대한 엔트리(entry)를 갖는 데이터 어레이와 같은 임의의 적절한 포맷으로 프로세서에 의해 출력될 수 있다. 구체적으로, 프로세서는 이미지를 처리하여 분석하는 본 명세서에 설명된 방법 실시예의 하나 이상의 단계를 수행하도록 (예를 들어 대안적으로 또는 추가적으로) 더 구성될 수 있다.
프로세서(30)는 일반적인 퍼스널 컴퓨터, 메인프레임 컴퓨터 시스템, 워크스테이션 등에 일반적으로 포함된 것과 같은 프로세서일 수 있다. 일반적으로, "컴퓨터 시스템"이라는 용어는 메모리 매체로부터 명령을 실행하는 하나 이상의 프로세서를 가지는 임의의 디바이스를 포함하도록 넓게 정의될 수 있다. 프로세서는 임의의 다른 적절한 기능적인 하드웨어를 사용하여 구현될 수 있다. 예를 들어, 프로세서는 펌웨어로 고정된 프로그램을 가지는 디지털 신호 프로세서(DSP), 전계 프로그래밍가능한 게이트 어레이(FPGA), 또는 초고속 집적 회로(very high speed integrated circuit: VHSIC) 하드웨어 기술 언어(VHSIC hardware description language: VHDL)와 같은 하이 레벨 프로그래밍 언어로 "기록된" 순차 로직을 사용하는 다른 프로그래밍가능한 논리 디바이스(programmable logic device: PLD)를 포함할 수 있다. 다른 예에서, 프로세서(30)에 실행되어 본 명세서에 설명된 컴퓨터로 구현되는 방법의 하나 이상의 단계를 수행하는 프로그램 명령(미도시)은, 원하는 대로, 적절하게는 C++ 부분을 갖는 C#, ActiveX controls, JavaBeans, 마이크로소프트 파운데이션 클래스(Foundation Class: "MFC") 또는 다른 기술 또는 방법과 같은 하이 레벨 언어에서 코딩될 수 있다. 프로그램 명령은 다른 것 중에서 특히 절차 기반 기술(procedure-based technique), 성분-기반 기술(component-based technique), 및/또는 객체 지향 기술(object-oriented technique)을 포함하는 여러 방식 중 어느 것으로 구현될 수 있다.
본 명세서에 설명된 것과 같은 방법을 구현하는 프로그램 명령은 저장 매체를 통해 전송되거나 이 저장 매체에 저장될 수 있다. 저장 매체는 판독 전용 메모리, 랜덤 액세스 메모리, 자기 또는 광학 디스크, 또는 자기 테이프를 포함할 수 있거나 이들로 제한되지 않는다. 각 이미지에서, 각 식별된 입자에 대해 결정된 모든 위치된 입자 및 값 및/또는 통계값은 저장 매체 내에 메모리 매체에 저장될 수 있다. 본 명세서에 설명된 이미지 처리 방법은 하나 이상의 알고리즘을 사용하여 수행될 수 있다. 아래에서 보다 상세히 설명된 바와 같이, 알고리즘은 복잡하여, 컴퓨터(예를 들어, 처리 디바이스)를 통해 최상으로 구현될 수 있다. 그리하여, 본 명세서에 설명된 방법은 특히 도 2를 참조하여 "컴퓨터로 구현되는 방법"이라고 언급될 수 있고, 그리하여, "방법" 및 "컴퓨터-구현되는 방법"은 본 명세서에서 상호교환가능하게 사용될 수 있다. 본 명세서에 설명된 시스템의 컴퓨터로 구현되는 방법 및 프로그램 명령은, 일부 경우에, 본 명세서에 설명된 방법과 연관된 것과 다른 프로세스를 수행하도록 구성될 수 있고, 그리하여, 본 명세서에 설명된 시스템의 컴퓨터로 구현되는 방법 및 프로그램 명령은 도면에 도시된 것으로 제한되는 것은 아닌 것으로 이해된다.
일 실시예에 따라, 이미지 데이터를 처리하기 위한 컴퓨터로 구현되는 방법은 이하 단계(즉, 하이 레벨 동작), 즉 제1 이미지에서 입자의 위치를 결정하는 단계, 변환 파라미터를 계산하는 단계, 및 제1 이미지 내 입자의 위치에 변환 파라미터를 적용하여 제2 이미지 내 입자의 움직임 위치를 결정하는 단계 중 하나 이상을 포함한다. 일부 실시예에서, 이들 단계는 전술된 순서로 순차적으로 수행될 수 있다.
도 2는 이미지를 처리하는 단계의 예시적인 시퀀스를 도시하는 방법(200)을 도시한다. 도시된 바와 같이, 방법(200)은 연관된 형광 물질을 가지는 다수의 입자 이미지에 대해 데이터를 획득하는 단계(202)를 포함할 수 있고, 다수의 이미지 각각은 상이한 파장 대역에 대응한다. 일부 경우에, 데이터는 이미징 시스템으로부터 직접 획득될 수 있으나, 다른 경우에, 데이터는 저장 매체로부터 획득될 수 있다. 어느 경우이든, 데이터는 전술된 상이한 파장에서 촬영된 다수의 이미지를 나타낼 수 있다. 사용될 수 있는 예시적인 파장은 예를 들어 분류 채널 1에 대해 적색, 분류 채널 2에 대해 적색(예를 들어, 동일한 또는 상이한 적색 파장), 리포터 채널에 대해 녹색을 포함하나 이들로 제한되지 않는 상이한 컬러 채널에 대응할 수 있다. 나아가 전술된 바와 같이, 각 컬러 채널을 수용하기 위하여, 본 명세서에 설명된 방법에 사용되는 입자는 모든 파장에서 또는 해당 모든 파장 대역에서 방출하도록 특별히 염색될 수 있다. 특히, 다수의 이미지 내 분류 신호와 리포트 신호를 측정하기 위하여, 본 명세서에 설명된 방법은 분류 파장(들) 또는 파장 대역(들)에서 뿐만 아니라, 리포터 파장 또는 파장 대역에서 형광을 방출하는 특별히 염색된 입자를 사용하여 수행될 수 있다.
일부 실시예에서, 제1 대역폭으로 촬영된 이미지는 "제1 이미지"라고 언급될 수 있고, 동일한 또는 상이한 대역폭에서 순차적으로/동시에 촬영된 이미지는 "제2 이미지"라고 언급될 수 있다. 바람직한 실시예에서, 제1 이미지는 분류 채널(예를 들어, CL1 또는 CL2)과 관련될 수 있고, 제2 이미지는 리포터 채널(RP)과 관련될 수 있다. 전술된 바와 같이, 제1 이미지 및 제2 이미지는 연속적으로 (임의의 순차로) 또는 동시에 촬영될 수 있다.
도 1에 대해 설명된 서브 시스템의 실시예에서, 하나 이상의 이미지를 통해 볼 때 입자는 이동하는 것으로 보일 수 있다. 이미지들 사이에 입자의 움직임은 렌즈 왜곡 및/또는 색수차에 의해 적어도 야기될 수 있다. 즉, 입자는 실제로 다수의 이미지들 사이에 변위 또는 이동하는 것은 아닐 수 있으나, 이들 입자는 렌즈 왜곡 및 또는 색수차에서 기초하여 이동하는 것으로 보일 수 있다. 도 1에 대해, 렌즈 왜곡 및/또는 색수차는 필터(예를 들어, 필터 휠), 광원(10), 및/또는 하나 이상의 광학 요소(12, 18, 22 및 26)의 결과일 수 있다. 도 3(a), (b), 및 (c)는 그리드 왜곡에 의해 야기될 수 있는 움직임을 도시한다. 도 3(a)는 렌즈 왜곡으로 인해 분류 채널 이미지(예를 들어, 제1 이미지)에서 그리드 왜곡을 도시한다. 이 도면에 도시된 바와 같이, 이미지에서 최대 왜곡은 코너에서 발생한다. 도 3(b)은 리포터 채널 이미지(예를 들어, 제2 이미지)에서 그리드 왜곡을 도시한다. 이 도면에 도시된 바와 같이, 이미지에서 최대 왜곡은 코너에서 발생한다. 도 3(c)은 분류 채널 이미지 및 리포터 채널 이미지의 하나의 코어의 중첩(overlay)을 도시한다. 도시된 바와 같이, 도 3(c)은 분류 채널 이미지로부터 리포터 채널 이미지로 이미지의 중심 쪽으로 분명한 움직임을 도시한다. 따라서, 렌즈 왜곡 및 색수차의 결과, 입자는 분류 채널 이미지 및 리포터 채널 이미지 사이에서 움직이는 것으로 보일 수 있다. 도 3에 도시된 바와 같이, 렌즈 왜곡은 방사방향 움직임에 기여한다. 임의의 유리(예를 들어, 광학 요소, 챔버 등)를 통과하는 광은 프리즘과 같이 상이한 파장을 상이하게 굴절시킬 수 있다. 챔버(예를 들어, 상판) 또는 다른 광학 요소에 변동이 있으면 색수차도 또한 변할 수 있다.
다수의 (예를 들어, 적어도 2개의) 이미지에 대한 데이터를 획득(202)한 후, 본 방법(200)은 제1 입자 이미지에서 입자의 위치를 결정하는 것에 의해 진행할 수 있다. 전체에 걸쳐 설명된 바와 같이, 입자는 연관된 형광-물질을 구비할 수 있다. 나아가, 실시예에서, "제1 이미지"는 구체적으로 분류 채널 이미지를 나타낼 수 있다. 이 기술 분야에 통상의 지식을 가진 자라면 피크 검색 및 유사한 방법을 포함하는 분류 채널 이미지에서 입자 위치를 결정하는 여러 이미지 처리 기법을 인식할 수 있을 것이다. 예를 들어, 여러 방법은 미국 특허 출원 번호 11/534,166(발명자 : Roth 등)에 설명되어 있다.
일부 실시예에서, 분류 채널 이미지에서 입자의 위치를 결정하는 단계는 리포터 채널 이미지에서 입자의 위치를 결정하는 것보다 더 용이할 수 있다. 전술된 바와 같이, 분류 채널 이미지는 입자 자체를 조명하도록 구성될 수 있는 반면, 리포터 채널 이미지는 입자에 바운드된 물질(예를 들어, 분해물질)을 조명하도록 구성될 수 있다. 그리하여, 분류 채널 이미지에서 피크 검색(또는 유사한 알고리즘)은 입자의 위치를 정밀하게 드러낼 수 있다. 동시에, 피크 검색(또는 유사한 알고리즘)은 입자의 위치와 상관되거나 상관되지 않을 수 있는 분해물질의 위치를 드러낼 수 있다. 오히려, 일부 경우에, 이러한 알고리즘은 입자 또는 심지어 상이한 입자의 에지에서 분해물질의 위치를 드러낼 수 있다.
본 방법(200)의 일부 실시예에서, 본 방법은 변환 파라미터를 계산하는 단계(206)를 포함할 수 있다. 변환 파라미터는 제1 입자 이미지 및 제2 입자 이미지 사이에 입자의 위치의 추정된 움직임을 한정한다. 변환 파라미터를 사용하면 제1 이미지 내 입자의 위치의 함수로 제2 이미지 내 입자의 위치를 결정할 수 있다.
특정 실시예에서, 변환 파라미터는 방사방향 성분 및 상수 성분을 포함할 수 있다. 예를 들어, 도 4는 변환 파라미터를 한정하는데 사용될 수 있는 방사방향 움직임 및 상수 움직임의 일 실시예를 도시한다. 상수 움직임은 필터 휠의 광학 효과에 의해 유도될 수 있다. 도 4에 도시된 바와 같이, p0는 제1 이미지에서 입자의 위치를 도시하고, 유사하게 p1은 제2 이미지에서 입자의 위치를 도시한다. 움직임은 2개의 성분, 즉 (1) 상수 움직임의 벡터 s, 및 (2) 방사방향 움직임 α의 조합으로 한정될 수 있다. 방사방향 성분은 제1 이미지 내 입자의 위치와 이미지의 중심 O 사이의 거리에 비례할 수 있다. 그리하여, p1의 위치는 수식 1을 사용하여 결정될 수 있다 :
Figure 112014046250152-pct00001
(1)
수식 1 및 변환 파라미터(예를 들어, α 및 s에 의해 한정된)를 사용하여, 제1 이미지에서 입자의 위치는 결정될 수 있다. 전술된 바와 같이, 수식 1(성분 α 및 s을 사용하여)은 개시된 방법의 특정 실시예를 반영한다. 변환 파라미터는 단일 성분 또는 심지어 다수의 성분을 포함할 수 있다. p0 및 p1 사이의 관계는 반드시 선형일 필요가 없어서 심지어 비선형일 수 있다.
일부 실시예에서, 변환 파라미터를 계산하는 단계(206)는 제2 이미지에서 입자의 추정된 위치를 추정하는 단계(208)를 포함할 수 있다. 전술된 바와 같이, 피크 검색 알고리즘과 같은 알고리즘은 제2 이미지에서 입자의 위치를 찾을 수도 있고 찾지 못할 수도 있다. 이러한 알고리즘은 제2 이미지에서 입자의 위치를 추정하는데 사용될 수 있다. "최대 적분 위치"라고 언급되는 다른 방법은 아래에 보다 상세히 설명된다.
추정된 위치 중 하나 이상에 기초하여, 잠재적인 변환 파라미터가 계산될 수 있다(210). 예를 들어, 단일 포인트 쌍(예를 들어, p0 및 추정된 p1)은 하나 이상의 잠재적인 변환 파라미터를 한정하는데 사용될 수 있다. 그러나, 일 실시예에서, 하나를 초과하는 성분을 포함하는 변환 파라미터는 잠재적인 변환 파라미터를 결정하는데 하나를 초과하는 포인트 쌍을 요구할 수 있다. 하나를 초과하는 포인트 쌍은 잠재적인 변환 파라미터의 세트를 한정하는데 사용될 수 있고, 여기서 각 쌍은 단일 잠재적인 변환 파라미터를 한정할 수 있다. 일부 실시예에서, 잠재적인 변환 파라미터 세트를 분석하는 것에 의해, 최적 변환 파라미터가 결정될 수 있다(212). 간단한 실시예에서, 최적 변환 파라미터를 결정하는 단계는 잠재적인 변환 파라미터의 세트의 평균(average), 산술평균(mean), 최빈값(mode) 등을 취하는 단계를 포함할 수 있다. 허프 변환을 사용하는 다른 방법은 아래에 보다 상세히 설명된다.
일부 실시예에서, 제2 이미지에서 입자의 위치를 추정하는 단계(208)는 제2 이미지 및 제1 이미지 내 입자의 위치에 기초하여 최대 적분 위치를 결정하는 단계를 포함할 수 있다. 도 5(a)는 최대 적분 위치(예를 들어, 추정된 p1)를 찾는 일 실시예를 도시한다. 최대 적분 위치를 찾는 단계는 제1 이미지에서 p0의 위치에 기초하여 제2 이미지에서 p1의 위치를 추정하는 단계를 포함한다. 일부 실시예에서, 최대 적분 위치를 찾는 단계는 제2 이미지에서 포인트 p0의 위치를 찾는 것을 포함한다. 입자 p0의 원래의 위치는 도 5(a)에 도시된다. 최대 적분 위치를 찾는 단계는 p0 주위에서 특정 거리에 이미지를 분석하는 단계를 더 포함할 수 있다. p0 주위에서 이 특정 거리는 분석될 영역을 한정할 수 있다. 도 5(a)에서, 정사각형 내에 포함된 이미지의 일부분이 분석될 수 있다. 보다 구체적으로, 이 도면에서, 정사각형은 p0로부터 각 방향으로 3개의 픽셀에 의해 한정된다. 여러 실시예에서 이 거리는 임의의 개수의 픽셀 또는 다른 메트릭일 수 있다. 일부 실시예에서, p0 주위에서 특정 거리는 (예를 들어, 반경에 기초하여) p0 주위에서 원으로 한정될 수 있다.
최대 적분 위치를 찾는 단계는 영역 내 하나 이상의 포인트 q에 대해 q에 중심을 둔 적분된 강도를 연산하는 것을 더 포함할 수 있다. 이 도면에 도시된 바와 같이, 분석될 영역(예를 들어, 정사각형 박스) 내 픽셀의 세트는 포인트 q의 세트를 한정할 수 있다. 각 포인트 q에 대해, 적분된 강도는 연산된다. 이 도면의 특정 실시예에서, 적분될 영역은 원(예를 들어, 2.5 픽셀의 반경을 갖는)으로 한정된다. 다른 실시예에서, 적분될 영역은 정사각형(예를 들어, 2.5 픽셀의 측면 길이의 절반을 갖는)으로 한정될 수 있다. 일부 실시예에서, 적분 강도를 최대화하는 q의 값은 제2 이미지에서 입자의 위치(예를 들어, p1)인 것으로 추정된다.
도 5(a)에 도시된 바와 같이, 이 특정 실시예에서, 최대 적분 위치 방법은 제2 이미지에서 입자의 위치(예를 들어, p1)를 정확히 식별한다. 대조적으로, 도 5(b)에서, 최대 적분 위치 방법은 제2 이미지에서 입자의 위치를 정확히 식별하지 않는다. 이 도면에서, 제2 이미지에는 "암(dim)" 입자 및 "명(bright)" 입자가 모두 있다. 제1 이미지에서 암 입자의 위치 p0가 주어지면, 제2 이미지에서 입자의 실제 위치는 이 도면에서 "정확한 비드 중심"으로 식별된다. 그러나, 인접한 입자와의 간섭하는 것으로 인해, 포인트 p1은 최대 적분 위치로 발견된다. 도 5(b)에 도시된 입자의 추정된 위치는 외부에 있는 것(outlier)이다. 도 5(a)에 있는 포인트(p0 및 p1) 쌍을 사용하여 "정확한" 변환 파라미터를 계산할 수 있었으나, 도 5(b)에 있는 포인트 쌍은 "부정확한" 변환 파라미터를 초래할 수 있다.
도 5에 대해 전술된 방법 단계는 수식 2 및 수식 3에 대해 특정 실시예에서 설명된다. 수식 2는 적분 반경(r)을 갖는 포인트(p)에 대해 제2 이미지(예를 들어, RP) 내 픽셀의 합으로 f(p)를 정의한다. 수식 3은 p0에서 거리(m) 미만의 모든 점(p1)에 있는 제2 이미지(예를 들어, RP)의 적분된 강도의 세트로 K(p0, m)를 정의한다.
Figure 112014046250152-pct00002
(2)
Figure 112014046250152-pct00003
(3)
제1 이미지에서 입자 p0의 중심이 주어지면, 제2 이미지에서 이 입자의 최대 적분 위치는 (이 특정 실시예에서) 위치 p1으로 정의될 수 있고, 여기서 f(p1)는 K(p0, m)의 최대값이다. 여기서, m은 제1 이미지로부터 제2 이미지로 입자의 최대 검출가능한 움직임이다.
제2 이미지에서 입자의 위치를 추정하는 단계(208) 후, 잠재적인 변환 파라미터 세트는 계산될 수 있고, 이 변환 파라미터의 세트는 최적 변환 파라미터를 결정하는데 사용될 수 있다. 도 5에 대해 설명된 바와 같이, 포인트 쌍의 일부(예를 들어, p0 및 추정된 p1)는 "정확"할 수 있다. 즉, 추정된 p1은 제2 이미지 내 입자의 실제 위치에 대응한다. 마찬가지로, 포인트 쌍의 일부는 "부정확"할 수 있다. 포인트 쌍의 많은 것은 옳을 수 있으므로(예를 들어, 모든 쌍의 세트에서 p1이 정확히 추정된 것이 아닐 수 있어서), 세트의 분석은 최적 변환 파라미터를 드러낼 수 있다.
특정 실시예에서, 잠재적인 변환 파라미터는 각 포인트 쌍에 기초하여 계산될 수 있다. 나아가, 변환(예를 들어, 허프 변환)이 사용될 수 있고, 여기서 각 포인트 쌍은 잠재적인 변환 파라미터를 "투표(vote)"한다. 따라서, 최적 변환 파라미터는 대부분 전체 투표를 취한 잠재적인 변환 파라미터일 수 있다. 사용될 수 있는 대안적인 알고리즘은 1) p0, p1 쌍의 랜덤 샘플 일치(random sample consensus)(RANSAC) 및 2) 제일 먼저 구체적으로 p0, p1을 O에 가까이 선택하여 변수를 제거하여 α의 효과를 제거하고, s에 대해 풀어서, s 및 나머지 p0, p1 쌍을 사용하여 α에 대해 푸는 것을 포함할 수 있다.
잠재적인 변환 파라미터를 계산하는 단계(210) 및 최적 변환 파라미터를 결정하는 단계(212)의 특정 실시예는 수식 4 및 수식 5에 대해 아래에 설명된다. 이 실시예는 수식 1에 의해 한정된 방사방향 및 상수 성분을 갖는 변환 파라미터를 사용한다. 수식 4는 s에 대해 수식 1을 풀고, 수식 5는 α에 대해 수식 1을 푼다.
Figure 112014046250152-pct00004
(4)
Figure 112014046250152-pct00005
(5)
아래 의사 코드(pseudo code)는 파라미터 V(예를 들어, 허프 공간 또는 투표 공간)를 도입한다.
1) 어레이 V를 0으로 초기화한다
2) A 내 각 값 a에 대해 다음을 수행한다
각 쌍 p0, p1에 대해, 다음을 수행한다
s(p0, p1, a)를 연산한다
s를 S에서 가장 가까운 양자화된 값 s'으로 근사화(Coerce)한다
V[s'] [a]를 증분한다
3) S 내 각 값 s에 대해 다음을 수행한다
각 쌍 p0, p1에 대해 다음을 수행한다
a(p0, p1, s)를 연산한다
a를 A에서 가장 가까운 양자화된 값 a'으로 근사화한다
V[s] [a']를 증분한다
특정 실시예에서, 벡터 s는 S의 세트에서 변할 수 있다. 예를 들어, 세트 S는 <-3, -3>로부터 <3, 3>로 변하도록 한정될 수 있고, S는 매 1/5 픽셀마다 양자화될 수 있다. S의 이러한 세트는 30개의 가능한 변동을 양산할 수 있다. 이 기술 분야에 통상의 지식을 가진 자라면 세트 S는 S의 범위를 증가/감소시키거나 양자화 팩터를 변화시키는 것에 의해 더 크거나 더 작게 한정될 수 있다는 것을 인식할 수 있을 것이다. 스칼라 α는 A의 세트에서 변할 수 있다. 예를 들어, 세트 A는 -0.0004로부터 0.0004로 변하도록 정의될 수 있고 매 0.0001 단계마다 양자화될 수 있다. A의 이러한 세트는 80의 사이즈를 구비한다. 이미지가 2048x2048개의 픽셀을 구비하는 실시예에서, a에서 매 0.001 변화마다 이미지 바운더리에서 방사방향 움직임의 대략 1픽셀에 대응한다(O으로부터 이미지의 에지까지의 거리는 1024개의 픽셀이므로). -0.004 내지 0.004의 범위는 방사방향 움직임에서 대략 4개의 픽셀을 검출할 수 있다. 이 기술 분야에 통상의 지식을 가진 자라면 세트 A는 양자화 범위를 변화시키는 것에 의해 변화될 수 있다는 것을 인식할 수 있을 것이다. S 또는 A의 범위를 증가시키면 방사방향 및 스칼라 움직임이 더 큰 성분을 검출할 수 있다. 나아가, 더 정밀한 양자화를 사용하면 최적 변환 파라미터를 더 정밀하게 결정할 수 있다.
도 6은 어레이 V의 일부의 특정 예시를 도시한다. s는 2차원 벡터이므로, 이는 x 축과 y 축에 표시된다. 도시된 바와 같이, S는 두 축을 따라 -3으로부터 3으로 변한다. 성분 α은 z 축에 (수직으로) 표시되고, A는 -0.004로부터 0.004로 변한다. 도면 (a), (b), (c), 및 (d) 각각은 어레이 V의 슬라이스를 표시한다. 도시된 바와 같이, 도 6(c)은 투표 공간에서 최고 피크를 표시한다. 이 피크는 양자화된 위치 a=0.0009, s=<-0.4, 0.4>에서 발생한다. 그러나, 양자화된 위치는 "최적 변환 파라미터"가 아닐 수 있다. 일부 실시예에서, 피크 위치에 대해 투표 공간의 볼륨 내 질량 중심을 연산하면 최적 변환 파라미터, 즉 a*=9.07 x 10-4 및 s*=<-0.3684, 0.3800>를 양산한다.
일부 실시예에서, 본 방법(200)은 제2 이미지에 변환 파라미터를 적용하는 단계(214)를 더 포함할 수 있다. 이 실시예에서, 계산된 변환 파라미터(예를 들어, 최적 변환 파라미터)는 제1 이미지 내 입자의 위치에 기초하여 제2 이미지 내 입자의 위치를 결정하도록 사용될 수 있다. 예를 들어, 수식 1을 사용하여 최적 변환 파라미터 값 α 및 s은 각 입자의 움직임을 결정하는데 사용될 수 있다.
일부 실시예에서, 제2 이미지에 변환 파라미터를 적용하는 단계(214) 전에, 에러 벡터가 계산될 수 있다. 따라서, 에러 벡터는 변환 파라미터를 계산할 때 적어도 하나의 에러 소스를 설명할 수 있다. 구체적으로, 에러 벡터는 이웃 입자의 영향을 고려할 수 있다. 나아가, 이웃 입자는 주어진 입자에 힘을 적용하여 주어진 입자가 시간에 따라 이동하게 할 수 있다. 에러 벡터는 수식 6에 한정된다.
Figure 112014046250152-pct00006
(6)
도 7에 도시된 바와 같이, 각 입자 q는 p0에 힘을 가할 수 있다. 보다 구체적으로, 이 힘은 입자들 사이에 자기력을 포함할 수 있다. 입자 q에 의해 가해지는 힘은 수식 7에 한정된 방향을 구비할 수 있고, 입자 q에 의해 가해지는 힘은 수식 8에 의해 한정된 크기를 구비할 수 있다. 입자 q에 의해 가해지는 힘의 크기는 q에서 p0까지의 거리의 제곱에 반비례한다. q와 p0 사이의 거리의 제곱을 계산하는 것에 더하여, 수식 8은 변수 g를 도입한다. 모든 이웃 비드 q에 의해 p0에 가해지는 힘을 결합한 총 에러 벡터는 수식 9에서 서로 합산된다.
Figure 112014046250152-pct00007
(7)
Figure 112014046250152-pct00008
(8)
Figure 112014046250152-pct00009
(9)
g의 최적값이 발견되면, 수식 1은 에러 벡터를 설명하도록 수정될 수 있다. 아래 수식 10은 방사방향 성분, 상수 성분 및 에러 성분을 설명한다:
Figure 112014046250152-pct00010
(10)
최적 변환 파라미터의 계산과 유사하게, 에러 성분은 에러 성분에 대해 잠재적인 값의 세트를 추정하고 에러 성분의 최적값을 계산하는 것에 의해 결정될 수 있다. 수식 11은 주어진 점 p에 대해 주어진 반경 내에 있는 입자 q로 둘러싸여 세트 Q를 형성하는 g를 계산하는 방법을 도시한다.
Figure 112014046250152-pct00011
라 하면
Figure 112014046250152-pct00012
(11)
g의 최적값은 다음 의사 코드를 사용하여 계산될 수 있다:
1) 각 p0, p1 쌍에 대해 다음을 수행한다
ε을 연산한다
Q를 pO에 "가까운" 이웃 입자로 정의한다
W를 연산한다
g를 연산한다
g가 지정된 바운드(예를 들어, -20 내지 0) 내에 있으면, G에 레코드하고 G로부터 최적값 g*를 선택한다
전술된 바와 같이, α, s, 및 g의 최적값은 제1 이미지와 제2 이미지 사이에 입자의 움직임을 결정하는데 사용될 수 있다.
이 본 발명의 잇점을 가지는 이 기술 분야에 통상의 지식을 가진 자라면 본 발명이 이미지 데이터를 처리하는 컴퓨터로 구현되는 방법, 저장 매체 및 시스템을 제공하는 것에 사용될 수 있다는 것을 인식할 수 있을 것이다. 본 발명의 여러 측면의 추가적인 변형과 대안적인 실시예는 본 상세한 설명을 고려하면 이 기술 분야에 통상의 지식을 가진 자에게 명백할 것이다. 따라서, 본 상세한 설명은 단지 예시를 위한 것이고 이 기술 분야에 통상의 지식을 가진 자에 본 발명을 수행하는 일반적인 방식을 교시하기 위한 것으로 해석되어야 한다. 본 명세서에 설명되고 도시된 본 발명의 형태는 현재 시점에서 바람직한 실시예로 취해진 것으로 이해된다. 여러 요소 및 물질이 본 명세서에 설명되고 도시된 것 대신에 사용될 수 있고, 부분과 공정은 역전될 수 있고, 본 발명의 특정 특징은 본 발명의 상세한 설명의 잇점을 가진 후 이 기술 분야에 통상의 지식을 가진 자에게 명백할 수 있는 바와 같이 독립적으로 사용될 수 있다. 이하 청구범위에 설명된 본 발명의 사상과 범위를 벗어남이 없이 본 명세서에 설명된 요소에 여러 변형이 이루어질 수 있다.

Claims (20)

  1. 컴퓨터로 구현되는 방법으로서,
    제1 입자 이미지에서, 연관된 형광 물질을 구비하는 입자의 위치를 결정하는 단계;
    상기 제1 입자 이미지 및 제2 입자 이미지 사이에서 상기 입자의 위치의 추정된 변위를 한정하는 변환 파라미터를 계산하는 단계로서, 상기 변환 파라미터는 방사방향 성분(radial component) 및 상수 성분(constant component)을 포함하고, 상기 방사방향 성분은 상기 제1 입자 이미지 내 입자의 위치와 상기 제1 입자 이미지의 중심 사이의 거리에 비례하는, 변환 파라미터를 계산하는 단계; 및
    상기 제1 입자 이미지 내 상기 입자의 위치에 상기 변환 파라미터를 적용하여, 상기 제2 입자 이미지 내 입자의 움직임 위치를 결정하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 변환 파라미터를 계산하는 단계는,
    상기 제2 입자 이미지에서 입자의 추정된 위치를 추정하는 단계; 및
    상기 제1 입자 이미지 내 입자의 위치 및 상기 제2 입자 이미지 내 입자의 추정된 위치에 기초하여 잠재적인 변환 파라미터들을 계산하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  4. 제3항에 있어서,
    상기 변환 파라미터를 계산하는 단계는, 상기 잠재적인 변환 파라미터들을 이용하여 어느 한 변환 파라미터를 계산하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  5. 제3항에 있어서,
    상기 제2 입자 이미지에서 입자의 추정된 위치를 추정하는 단계는, 상기 제1 입자 이미지 내 입자의 위치와 상기 제2 입자 이미지에 기초하여 최대 적분 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  6. 제4항에 있어서,
    상기 어느 한 변환 파라미터를 계산하는 단계는, 허프 변환(Hough transform)을 계산하는 단계를 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  7. 제1항에 있어서,
    입자들 사이의 힘에 기초하여 에러 성분을 계산하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 구현되는 방법.
  8. 프로세서에 의해 실행가능한 프로그램 명령을 포함하는 저장 매체로서, 상기 프로그램 명령은,
    제1 입자 이미지에서, 연관된 형광 물질을 구비하는 입자의 위치를 결정하는 동작;
    상기 제1 입자 이미지 및 제2 입자 이미지 사이에서 입자의 위치의 추정된 움직임을 한정하는 변환 파라미터를 계산하는 동작으로서, 상기 변환 파라미터는 방사방향 성분 및 상수 성분을 포함하고, 상기 방사방향 성분은 상기 제1 입자 이미지 내 입자의 위치와 상기 제1 입자 이미지의 중심 사이의 거리에 비례하는, 변환 파라미터를 계산하는 동작; 및
    상기 제1 입자 이미지 내 입자의 위치에 상기 변환 파라미터를 적용하여, 상기 제2 입자 이미지 내 입자의 움직임 위치를 결정하는 동작;을 수행하는 것을 특징으로 하는 저장 매체.
  9. 삭제
  10. 제8항에 있어서,
    상기 변환 파라미터를 계산하는 동작은,
    상기 제2 입자 이미지에서, 입자의 추정된 위치를 추정하는 동작;
    상기 제1 입자 이미지 내 입자의 위치와 상기 제2 입자 이미지 내 입자의 추정된 위치에 기초하여 잠재적인 변환 파라미터들을 계산하는 동작을 포함하는 것을 특징으로 하는 저장 매체.
  11. 제10항에 있어서,
    상기 변환 파라미터를 계산하는 동작은, 상기 잠재적인 변환 파라미터들을 이용하여 어느 한 변환 파라미터를 계산하는 동작을 더 포함하는 것을 특징으로 하는 저장 매체.
  12. 제10항에 있어서,
    상기 제2 입자 이미지에서 입자의 추정된 위치를 추정하는 동작은, 상기 제1 입자 이미지 내 입자의 위치 및 상기 제2 입자 이미지에 기초하여 최대 적분 위치를 결정하는 동작을 포함하는 것을 특징으로 하는 저장 매체.
  13. 제11항에 있어서,
    상기 어느 한 변환 파라미터를 계산하는 동작은, 허프 변환을 계산하는 동작을 포함하는 것을 특징으로 하는 저장 매체.
  14. 제8항에 있어서,
    입자들 사이의 힘에 기초하여 에러 성분을 계산하는 동작을 더 포함하는 것을 특징으로 하는 저장 매체.
  15. 이미지 데이터를 획득하고 처리하도록 구성된 시스템으로서,
    이미징 서브 시스템 내에 배치된 입자를 상이한 파장 대역에서 이미징하도록 구성된 이미징 서브 시스템; 및
    프로세서에 의해 실행가능한 프로그램 명령을 포함하는 저장 매체를 포함하며, 상기 프로그램 명령은,
    상이한 파장 대역에 각각 대응하는 다수의 입자 이미지에 대해 획득된 데이터를 저장하는 동작;
    제1 입자 이미지에서, 연관된 형광 물질을 구비하는 입자의 위치를 결정하는 동작;
    상기 제1 입자 이미지와 제2 입자 이미지 사이에서 상기 입자의 위치의 추정된 움직임을 한정하는 변환 파라미터를 계산하는 동작으로서, 상기 변환 파라미터는 방사방향 성분과 상수 성분을 포함하고, 상기 방사방향 성분은 상기 제1 입자 이미지 내 입자의 위치와 상기 제1 입자 이미지의 중심 사이의 거리에 비례하는, 변환 파라미터를 계산하는 동작; 및
    상기 제1 입자 이미지 내 입자의 위치에 상기 변환 파라미터를 적용하여, 상기 제2 입자 이미지 내 입자의 움직임 위치를 결정하는 동작;을 수행하는 것을 특징으로 하는 시스템.
  16. 삭제
  17. 제15항에 있어서,
    상기 변환 파라미터를 계산하는 동작은,
    상기 제2 입자 이미지에서 입자의 추정된 위치를 추정하는 동작;
    상기 제1 입자 이미지 내 입자의 위치와 상기 제2 입자 이미지 내 입자의 추정된 위치에 기초하여 잠재적인 변환 파라미터들을 계산하는 동작을 포함하는 것을 특징으로 하는 시스템.
  18. 제17항에 있어서,
    상기 변환 파라미터를 계산하는 동작은, 상기 잠재적인 변환 파라미터들을 이용하여 어느 한 변환 파라미터를 계산하는 동작을 더 포함하는 것을 특징으로 하는 시스템.
  19. 제17항에 있어서,
    상기 제2 입자 이미지에서 입자의 추정된 위치를 추정하는 단계는, 상기 제1 입자 이미지 내 입자의 위치 및 상기 제2 입자 이미지에 기초하여 최대 적분 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 시스템.
  20. 제18항에 있어서,
    상기 어느 한 변환 파라미터를 계산하는 동작은 허프 변환을 계산하는 동작을 포함하는 것을 특징으로 하는 시스템.
KR1020147013263A 2011-10-18 2012-10-17 이미지 데이터를 처리하기 위한 방법 및 시스템 KR101979287B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161627851P 2011-10-18 2011-10-18
US61/627,851 2011-10-18
PCT/US2012/060639 WO2013059338A1 (en) 2011-10-18 2012-10-17 Methods and systems for image data processing

Publications (2)

Publication Number Publication Date
KR20140084206A KR20140084206A (ko) 2014-07-04
KR101979287B1 true KR101979287B1 (ko) 2019-08-28

Family

ID=48141311

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147013263A KR101979287B1 (ko) 2011-10-18 2012-10-17 이미지 데이터를 처리하기 위한 방법 및 시스템

Country Status (10)

Country Link
US (3) US8859996B2 (ko)
EP (1) EP2769198B1 (ko)
JP (1) JP5873183B2 (ko)
KR (1) KR101979287B1 (ko)
CN (2) CN105894515B (ko)
AU (1) AU2012326198B2 (ko)
BR (1) BR112014009408B1 (ko)
CA (1) CA2852915C (ko)
HK (2) HK1200209A1 (ko)
WO (1) WO2013059338A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657672B2 (en) 2015-09-30 2020-05-19 Nec Corporation Image processing device, image processing method and storage medium
AR122602A1 (es) * 2020-06-16 2022-09-21 California Inst Of Techn Sensor de flujo multifásico basado en cámaras para espectro visible / ir para mediciones de fondo de pozo en oleoductos
KR102667309B1 (ko) * 2023-11-15 2024-05-20 한국해양과학기술원 이미지 분석을 이용한 수중 유속 및 유향 동시측정 시스템
KR102667310B1 (ko) * 2023-11-15 2024-05-20 한국해양과학기술원 생체모방형 유속센서와 이미지 분석을 이용한 수중 유속 및 유향 동시측정방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344978A (ja) 2001-05-17 2002-11-29 Ichikawa Soft Laboratory:Kk 画像処理装置
US20110045993A1 (en) 2008-02-05 2011-02-24 Nigel Kent Microfluidic device for assessing object/test material interactions
US20110316998A1 (en) 2010-06-29 2011-12-29 Sony Corporation Information processing apparatus, information processing system, information processing method, and program

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5206699A (en) 1988-05-06 1993-04-27 Gersan Establishment Sensing a narrow frequency band of radiation and gemstones
US6610256B2 (en) 1989-04-05 2003-08-26 Wisconsin Alumni Research Foundation Image processing and analysis of individual nucleic acid molecules
US5016173A (en) 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US6040138A (en) 1995-09-15 2000-03-21 Affymetrix, Inc. Expression monitoring by hybridization to high density oligonucleotide arrays
US5107422A (en) 1989-10-02 1992-04-21 Kamentsky Louis A Method and apparatus for measuring multiple optical properties of biological specimens
US5162990A (en) 1990-06-15 1992-11-10 The United States Of America As Represented By The United States Navy System and method for quantifying macrophage phagocytosis by computer image analysis
US5579409A (en) 1991-09-27 1996-11-26 E. I. Du Pont De Nemours And Company Methods for determining the exterior points of an object in a background
JPH05164687A (ja) 1991-12-18 1993-06-29 Hamamatsu Photonics Kk レシオイメージング装置
EP0599345B1 (en) 1992-11-27 2002-06-05 Fuji Photo Film Co., Ltd. Method for adjusting positions of radiation images
US6090555A (en) 1997-12-11 2000-07-18 Affymetrix, Inc. Scanned image alignment systems and methods
US5715334A (en) 1994-03-08 1998-02-03 The University Of Connecticut Digital pixel-accurate intensity processing method for image information enhancement
JP3347865B2 (ja) 1994-03-17 2002-11-20 富士写真フイルム株式会社 放射線画像の位置合せ方法
DE69417899T2 (de) 1994-11-17 1999-11-04 Chemunex, Maisons-Alfort Vorrichtung und Verfahren zum Erkennen und Zählen von selten vorkommenden Säugerzellen
US5828766A (en) 1994-12-15 1998-10-27 Anthony Gallo Acoustics, Inc. Acoustic speaker system
DE69638321D1 (de) * 1995-10-11 2011-03-03 Luminex Corp Gleichzeitige mehrfachanalyse klinischer proben
US5981180A (en) 1995-10-11 1999-11-09 Luminex Corporation Multiplexed analysis of clinical specimens apparatus and methods
US5736330A (en) 1995-10-11 1998-04-07 Luminex Corporation Method and compositions for flow cytometric determination of DNA sequences
EP0957750A1 (en) * 1995-10-23 1999-11-24 Cytometrics, Inc. Method and apparatus for reflected imaging analysis
US6165734A (en) 1995-12-12 2000-12-26 Applied Spectral Imaging Ltd. In-situ method of analyzing cells
JPH09200508A (ja) * 1996-01-16 1997-07-31 Olympus Optical Co Ltd 画像処理装置
US5841148A (en) 1996-02-02 1998-11-24 Fuji Photo Film Co., Ltd. Image processing apparatus
DE19629141A1 (de) 1996-07-19 1998-04-16 Bayer Ag Verfahren und Vorrichtung zum Screening von Molekülen bezüglich ihres individuellen Bindungsverhaltens zu mindestens einem vorgegebenen Ligand
US6506564B1 (en) 1996-07-29 2003-01-14 Nanosphere, Inc. Nanoparticles having oligonucleotides attached thereto and uses therefor
US6449562B1 (en) 1996-10-10 2002-09-10 Luminex Corporation Multiplexed analysis of clinical specimens apparatus and method
US6416959B1 (en) 1997-02-27 2002-07-09 Kenneth Giuliano System for cell-based screening
EP1439384B1 (en) * 1997-02-27 2008-05-14 Cellomics, Inc. A system for screening biological cells
AU736321B2 (en) 1997-05-23 2001-07-26 Lynx Therapeutics, Inc. System and apparatus for sequential processing of analytes
WO1999019515A1 (en) 1997-10-14 1999-04-22 Luminex Corporation Precision fluorescently dyed particles and methods of making and using same
JPH11161773A (ja) * 1997-11-28 1999-06-18 Konica Corp 画像処理方法及び画像入力装置
EP1049807B1 (en) 1998-01-22 2003-05-07 Luminex Corporation Microparticles with multiple fluorescent signals
AU3897999A (en) 1998-05-14 1999-11-29 Luminex Corporation Multi-analyte diagnostic system and computer implemented process for same
JP2002530748A (ja) 1998-11-13 2002-09-17 セロミックス インコーポレイテッド 実験データを効率的に収集して記憶するための方法及びシステム
GB9903555D0 (en) 1999-02-16 1999-04-07 The Technology Partnership Plc Chemical and biological assay method and apparatus
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
US6284465B1 (en) 1999-04-15 2001-09-04 Agilent Technologies, Inc. Apparatus, systems and method for locating nucleic acids bound to surfaces
US7151847B2 (en) 2001-02-20 2006-12-19 Cytokinetics, Inc. Image analysis of the golgi complex
US6876760B1 (en) 2000-12-04 2005-04-05 Cytokinetics, Inc. Classifying cells based on information contained in cell images
EP1057462B1 (de) * 1999-05-21 2003-04-02 Waldemar Link (GmbH &amp; Co.) Zwischenwirbel-Endoprothese mit einer gezahnten Anschlussplatte
US6307959B1 (en) 1999-07-14 2001-10-23 Sarnoff Corporation Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation
US6687395B1 (en) 1999-07-21 2004-02-03 Surromed, Inc. System for microvolume laser scanning cytometry
IL147793A0 (en) 1999-08-05 2002-08-14 Cellomics Inc Optical system analysis of cells
US6986993B1 (en) 1999-08-05 2006-01-17 Cellomics, Inc. System for cell-based screening
AU6779200A (en) 1999-08-17 2001-03-13 Luminex Corporation Encapsulation of fluorescent particles
AU6779700A (en) 1999-08-17 2001-03-13 Luminex Corporation Microparticles with multiple fluorescent signals and methods of using same
JP2001103358A (ja) * 1999-09-30 2001-04-13 Mitsubishi Electric Corp 色収差補正装置
AU2073801A (en) 1999-12-09 2001-06-18 Cellomics, Inc. A system for cell-based screening
JP4193342B2 (ja) * 2000-08-11 2008-12-10 コニカミノルタホールディングス株式会社 ３次元データ生成装置
US6545758B1 (en) 2000-08-17 2003-04-08 Perry Sandstrom Microarray detector and synthesizer
US6829376B2 (en) 2000-10-24 2004-12-07 Affymetrix, Inc. Computer software system, method, and product for scanned image alignment
WO2003106965A2 (en) 2001-01-10 2003-12-24 S3I L.L.C. System and method for detecting and classifying biological particles
US7050620B2 (en) 2001-03-30 2006-05-23 Heckman Carol A Method of assaying shape and structural features in cells
AU2002308693A1 (en) 2001-04-25 2002-11-05 Amnis Corporation Method and apparatus for correcting crosstalk and spatial resolution for multichannel imaging
US6879708B2 (en) 2001-05-24 2005-04-12 Case Western Reserve University Planar particle/droplet size measurement technique using digital particle image velocimetry image data
JP4571763B2 (ja) * 2001-07-18 2010-10-27 株式会社新川 画像処理装置、およびボンディング装置
US20040071328A1 (en) 2001-09-07 2004-04-15 Vaisberg Eugeni A. Classifying cells based on information contained in cell images
KR100407821B1 (ko) * 2001-11-23 2003-12-01 한국전자통신연구원 활성이온의 상향전이를 이용한 도파로-플라즈몬 공명 센서및 이미징 시스템
JP4043925B2 (ja) 2001-12-05 2008-02-06 三菱レイヨン株式会社 生体関連物質マイクロアレイの読取装置及び方法
US7133547B2 (en) 2002-01-24 2006-11-07 Tripath Imaging, Inc. Method for quantitative video-microscopy and associated system and computer software program product
CA2759764C (en) 2002-02-14 2017-06-13 Veridex, Llc Methods and algorithms for cell enumeration in a low-cost cytometer
AU2003231881A1 (en) 2002-05-28 2003-12-12 Autogenomics, Inc. Multi-reagent pack
EP1508027A4 (en) 2002-05-28 2009-04-22 Autogenomics Inc MICROARRAY DETECTOR AND ASSOCIATED METHODS
US7236620B1 (en) 2002-06-24 2007-06-26 Icad, Inc. Computer-aided detection methods in volumetric imagery
JP2004038728A (ja) 2002-07-05 2004-02-05 Noritsu Koki Co Ltd 画像処理方法、画像処理プログラム、および、画像処理プログラムを記録した記録媒体
US7756327B2 (en) 2002-07-26 2010-07-13 Olympus Corporation Image processing system having multiple imaging modes
WO2004055505A1 (en) * 2002-12-12 2004-07-01 Aura Biosystems Inc. Dielectrophoretic particle profiling system and method
WO2005001436A1 (en) 2003-06-26 2005-01-06 The Secretary Of State For Defence Improvements to fluid borne particle analysers
US20050009032A1 (en) 2003-07-07 2005-01-13 Cytokinetics, Inc. Methods and apparatus for characterising cells and treatments
US7362920B2 (en) * 2003-09-22 2008-04-22 Siemens Medical Solutions Usa, Inc. Method and system for hybrid rigid registration based on joint correspondences between scale-invariant salient region features
JP4102286B2 (ja) 2003-10-22 2008-06-18 シスメックス株式会社 粒子画像分析方法と装置およびそのプログラムと記録媒体
CN1259636C (zh) 2003-12-31 2006-06-14 厦门大学 赤潮生物图像自动识别装置与识别方法
EP1792187A1 (en) * 2004-09-10 2007-06-06 Philips Intellectual Property & Standards GmbH Compounds and methods for combined optical-ultrasound imaging
JP2008520205A (ja) 2004-11-12 2008-06-19 ルミネックス・コーポレーション ミクロスフェアを撮影するために位置決めする方法およびシステム
JP2006187470A (ja) * 2005-01-06 2006-07-20 Olympus Corp 医療画像処理装置
JP4709278B2 (ja) * 2005-05-23 2011-06-22 エフ． ヘスス ハラルド 光変換可能な光学標識を用いる光学顕微鏡法
CN101268355A (zh) * 2005-09-21 2008-09-17 卢米尼克斯股份有限公司 图像数据处理的方法和系统
JP2008187935A (ja) * 2007-02-02 2008-08-21 Matsushita Electric Ind Co Ltd 微生物計数装置および点検用チップ
JP2009010674A (ja) * 2007-06-28 2009-01-15 Panasonic Corp 色収差測定方法
MX2010002619A (es) * 2007-09-07 2010-06-01 Qlt Plug Delivery Inc Deteccion de implante lagrimal.
EP2194506B1 (en) * 2008-12-02 2016-03-09 Samsung Medison Co., Ltd. Image based registration
CN102042846B (zh) * 2009-10-12 2012-07-25 中国科学院理化技术研究所 热声过程测试系统及其测试方法
CN101710131B (zh) * 2009-12-01 2011-06-01 西安交通大学 离焦数字三维微流场荧光测试仪

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344978A (ja) 2001-05-17 2002-11-29 Ichikawa Soft Laboratory:Kk 画像処理装置
US20110045993A1 (en) 2008-02-05 2011-02-24 Nigel Kent Microfluidic device for assessing object/test material interactions
US20110316998A1 (en) 2010-06-29 2011-12-29 Sony Corporation Information processing apparatus, information processing system, information processing method, and program

Also Published As

Publication number Publication date
EP2769198A4 (en) 2015-01-28
HK1200209A1 (zh) 2015-07-31
CN103959038A (zh) 2014-07-30
CN105894515B (zh) 2019-03-01
AU2012326198A1 (en) 2014-05-01
BR112014009408A2 (pt) 2017-06-13
US20130126758A1 (en) 2013-05-23
BR112014009408B1 (pt) 2021-03-09
JP5873183B2 (ja) 2016-03-01
EP2769198A1 (en) 2014-08-27
CA2852915A1 (en) 2013-04-25
US20150287212A1 (en) 2015-10-08
JP2014532188A (ja) 2014-12-04
AU2012326198A2 (en) 2014-05-22
AU2012326198B2 (en) 2014-12-11
KR20140084206A (ko) 2014-07-04
CN103959038B (zh) 2016-05-04
US9063088B2 (en) 2015-06-23
US9292938B2 (en) 2016-03-22
US20150108368A1 (en) 2015-04-23
HK1227526A1 (zh) 2017-10-20
WO2013059338A1 (en) 2013-04-25
CA2852915C (en) 2018-05-15
EP2769198B1 (en) 2016-05-25
US8859996B2 (en) 2014-10-14
CN105894515A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
EP3236234B1 (en) Methods and systems for image data processing
EP3611462B1 (en) Apparatus, system, and method for increasing measurement accuracy in a particle imaging device
EP2588846B1 (en) System and method for increasing measurement accuracy in a particle imaging device using light distribution
US9719855B2 (en) Evaluation of focusing performance in an assay analysis system
KR101979287B1 (ko) 이미지 데이터를 처리하기 위한 방법 및 시스템
AU2005207302A1 (en) Methods for altering one or more parameters of a measurement system

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20140516

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170928

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181025

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190406

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190510

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190513

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220427

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230426

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240425

Start annual number: 6

End annual number: 6