KR102309995B1 - 이미지 아틀라스 시스템 및 방법 - Google Patents

이미지 아틀라스 시스템 및 방법 Download PDF

Info

Publication number
KR102309995B1
KR102309995B1 KR1020197000075A KR20197000075A KR102309995B1 KR 102309995 B1 KR102309995 B1 KR 102309995B1 KR 1020197000075 A KR1020197000075 A KR 1020197000075A KR 20197000075 A KR20197000075 A KR 20197000075A KR 102309995 B1 KR102309995 B1 KR 102309995B1
Authority
KR
South Korea
Prior art keywords
image
reference image
sample
images
reference images
Prior art date
Application number
KR1020197000075A
Other languages
English (en)
Other versions
KR20190022612A (ko
Inventor
준 양
존 틴델
Original Assignee
베크만 컬터, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베크만 컬터, 인코포레이티드 filed Critical 베크만 컬터, 인코포레이티드
Publication of KR20190022612A publication Critical patent/KR20190022612A/ko
Application granted granted Critical
Publication of KR102309995B1 publication Critical patent/KR102309995B1/ko

Links

Images

Classifications

    • G01N15/1463—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • G01N33/5094—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for blood cell populations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1404—Handling flow, e.g. hydrodynamic focusing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N15/1475—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/96—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving blood or serum control standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06K9/00127—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Cell Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • Dispersion Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Ecology (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)

Abstract

일부 실시예들에서, 생물학적 샘플로부터 샘플 입자의 샘플 이미지를 수신하는 것 및 생물학적 샘플의 기준 입자를 각각 묘사하는 기준 이미지들을 선택하는 것을 포함하는, 세포의 샘플 이미지의 분류를 위한 사용자 인터페이스를 생성하기 위한 프로세스 및 시스템이 제공된다. 기준 이미지들은 유사성에 기초하여 순서화될 수 있고, 기준 이미지들은 순서에 기초하여 선택될 수 있다. 제1 선택된 기준 이미지는 샘플 이미지와 정렬될 수 있고, 기준 이미지 및 샘플 이미지의 인접한 에지들이 동일하도록 확장될 수 있다. 확장된 이미지는 동적으로 충전될 수 있다. 샘플 이미지 및 확장된 기준 이미지는 사용자 인터페이스 내에 디스플레이될 수 있다.

Description

이미지 아틀라스 시스템 및 방법
본 발명은 일반적으로 임상적 사용을 위한 이미지들의 분석에 관한 것이다. 더욱 구체적으로, 그러나 제한이 아닌 것으로, 본 발명은, 사용자가 이미지들 사이의 부적절한 불일치에 기초한 혼란 없이 임상적 분석을 수행하게 하도록 하기 위한, 혈액학 및 검뇨와 같은 임상적 진단을 위해 수집된 세포(셀)들 및 입자들의 이미지들의 분석, 및 이미지들의 디스플레이의 정규화에 관한 것이다.
다양한 예들의 특징 및 이점들에 대한 추가 이해가 하기 도면들을 참조하여 실현될 수 있다.
도 1은 일 실시예에 따른, 이미지 분석, 정규화, 및 디스플레이를 수행하는 데 사용가능한 예시적인 시스템의 블록도를 도시한다.
도 2는 일 실시예에 따른, 이미지 분석, 정규화, 및 디스플레이를 수행하는 데 사용가능한 예시적인 컴퓨터 시스템의 블록도를 도시한다.
도 3은 일 실시예에 따른, 이미지 분석, 정규화, 및 디스플레이를 수행하기 위한 프로세스의 일례의 흐름도를 도시한다.
도 4는 일 실시예에 따른, 유사성에 기초하여 이미지들의 순서를 결정하기 위한 프로세스의 일례의 흐름도를 도시한다.
도 5는 일 실시예에 따른, 이미지들 사이의 유사성을 판정하기 위한 프로세스의 일례의 흐름도를 도시한다.
도 6은 일 실시예에 따른, 이미지들을 정렬시키기 위한 프로세스의 일례의 흐름도를 도시한다.
도 7은 일 실시예에 따른, 이미지의 배경을 동적으로 충전하기 위한 프로세스의 일례의 흐름도를 도시한다.
도 8은 일 실시예에 따른, 이미지의 배경 색상을 결정하기 위한 프로세스의 일례의 흐름도를 도시한다.
도 9 내지 도 14는 실시예들에 따라 디스플레이되는 이미지들의 예들을 도시한다.
도 15 내지 도 21은 실시예들에 따른 사용자 인터페이스의 예들을 도시한다.
살아있는 유기체(예컨대, 인간, 동물, 및 식물)로부터의 세포 또는 입자의 분석은 건강한 세포들뿐만 아니라 질환들 및 세포 결함들을 식별하는 데 사용되는 의학적 진단 도구로서 사용될 수 있다. 분석을 위해 세포들 또는 입자들을 캡처하는 것은, 예를 들어 살아있는 유기체(즉, 생물학적 샘플)로부터의 유체들을 통한 입자들의 수집에 의해 행해질 수 있다. 예를 들어, 사람으로부터의 혈액 샘플은 세포가 건강한지 또는 진단될 수 있는 일부 문제를 갖는지를 판정하기 위해 분석될 수 있는 세포들을 포함한다. 예를 들어, 의사에게서 치료를 받게 되는 환자로부터의 혈액 샘플들은 다수의 광 각도 검출 파라미터들을 획득하기 위해 장착된 혈액학 시스템, 예컨대 발명의 명칭이 "HEMATOLOGY SYSTEMS AND METHODS"이고 2015년 9월 11일자로 출원되어 2016년 2월 11일에 US 2016-0041083 A1호로 공개된 특허 출원 제14/775,448호에 설명된 시스템을 사용하여 평가될 수 있다. 다른 예로서, 소변 샘플들이 평가될 수 있다. 세포들 또는 입자들을 분석하기 위하여, 세포들을 이미징하고, 그 세포들과, 공지의 특성을 갖는 세포들의 다른 이미지들에 대한 비교를 수행하는 것이 유익할 수 있다. 일부 분석 및 비교가 자동화 시스템을 통해 행해질 수 있지만, 세포들의 모든 이미지들이 충분히 명확하거나, 공지의 문제를 갖거나, 자동화가 적절하게 또는 효과적으로 작동하도록 할 정도로 공지의 문제들을 갖는 세포들의 이미지들과 충분히 유사하거나 한 것은 아니다. 그 경우에, 의료 진단 요원에 의한 수동 비교가 수행될 수 있다. 선택적으로, 진단되거나 카테고리화될 샘플 세포들의 이미지들 및 공지의 특성을 갖는 세포들의 기준 이미지들을 제공하는 사용자 인터페이스가 제공될 수 있다. 기준 이미지 및 샘플 이미지 내의 세포들이 동일한 특징부들 또는 특성들을 가질 수 있거나 또는 동일한 타입의 세포일 수 있다 하더라도, 카테고리화를 위한 샘플 이미지는 비교로부터 혼란을 줄 수 있는 기준 이미지와는 차이를 가질 수 있다. 디스플레이된 이미지들 사이의 이미지 크기, 배향, 및 갭들과 같은 차이들은 모두 세포 이미지들의 비교로부터 혼란을 줄 수 있는 차이들의 예들이다. 본 명세서에 기술되는 실시예들은 그들 혼란을 보상할 수 있으며, 이미지 아틀라스(image atlas)를 사용하여 샘플 이미지와 기준 이미지를 비교하기 위한 최적화된 사용자 인터페이스를 제공할 수 있다.
명백히 달리 나타내지 않는 한, 본 명세서에서 행해진 "입자" 또는 "입자들"에 대한 언급은 유체 중에 분산된 임의의 개별 또는 형성된 물체를 포괄하는 것으로 이해될 것이다. 본 명세서에 사용된 바와 같이, "입자"는 생물학적 유체들 중의 (예컨대, 이미지 및/또는 다른 측정가능한 파라미터들에 의해) 측정가능하고 검출가능한 성분들 모두를 포함할 수 있다. 입자들은 임의의 재료, 임의의 형상, 및 임의의 크기를 갖는다. 입자들은 세포들을 포함할 수 있다. 입자들의 예에는, 혈구, 태아 세포, 상피, 줄기 세포, 종양 세포를 포함한 세포, 또는 세균, 기생충, 또는 상기 중 임의의 것의 단편들, 또는 생물학적 유체 내의 다른 단편들이 포함되지만 이들로 한정되지 않는다. 혈구는 생물학적 유체 내에 잠재적으로 존재하는 임의의 정상 또는 비정상, 성숙 또는 미성숙 세포를 포함한 임의의 혈구, 예를 들어 적혈구(RBC), 백혈구(WBC), 혈소판(PLT) 및 다른 세포들일 수 있다. 이들 구성원에는 또한 미성숙 또는 비정상 세포가 포함된다. 미성숙 WBC에는 후골수세포, 골수세포, 전골수세포 및 아세포가 포함될 수 있다. 성숙 RBC에 더하여, RBC의 구성원에는 유핵 RBC("NTRC") 및 망상적혈구(reticulocyte)가 포함될 수 있다. PLT에는 "거대(giant)" PLT 및 PLT 응괴가 포함될 수 있다. 혈소판, 망상적혈구, 유핵 RBC, 및 WBC - WBC는 호중구, 림프구, 단핵구, 호산구, 호염기구, 및 미성숙 WBC를 포함하고, 미성숙 WBC는 아세포, 전골수세포, 골수세포, 또는 후골수세포를 포함함 - 가 입자들로서 카운팅되고 분석된다. 명세서 전반에 걸쳐서, 이미지들은 세포 또는 입자의 이미지인 것으로 기술되어 있다. 많은 경우에 세포로 지칭되지만, 이미지들은 임의의 입자의 것일 수 있다. "이미지"는 렌즈, 거울, 카메라, 또는 현미경과 같은 광학 디바이스에 의해 생성되는 어떤 것의 시각적 느낌을 의미한다.
예시적인 소변 입자들은 소변 침전물 입자들을 포함할 수 있다. 예시적인 소변 침전물 입자에는 적혈구(RBC), 이형 적혈구, 백혈구(WBC), 호중구, 림프구, 포식 세포, 호산구, 호염기구, 편평 상피조직 세포, 이행 상피조직 세포, 유인 세포, 신관 상피조직 세포, 원주, 결정체, 세균, 효모, 기생충, 타원형 지방체, 지방 방울, 정자, 점액, 트리코모나스, 세포 응괴(cell clump), 및 세포 단편이 포함될 수 있다. 예시적인 세포에는 적혈구, 백혈구, 및 상피조직이 포함될 수 있다. 예시적인 원주에는 무세포성 색소 원주, 비분류형 원주(예컨대, 과립 원주)가 포함될 수 있다. 예시적인 무세포성 원주에는, 예를 들어, 밀랍 원주, 넓은 원주, 지방 원주, 및 결정체 원주가 포함될 수 있다. 예시적인 세포 원주에는, 예를 들어, RBC 원주, WBC 원주, 및 세포 원주가 포함될 수 있다. 예시적인 결정체에는, 예를 들어, 옥살산칼슘, 삼중 인산염, 인산칼슘, 요산, 탄산칼슘, 류신, 시스틴, 타이로신, 및 무정형 결정체가 포함될 수 있다. 예시적인 비편평 상피조직 세포에는, 예를 들어, 신장 상피조직 및 이행 상피조직이 포함될 수 있다. 예시적인 효모에는, 예를 들어, 출아 효모 및 가성균사(pseudohyphae)를 갖는 효모가 포함될 수 있다. 예시적인 소변 침전물 입자에는, 또한, RBC 응괴, 지방, 타원형 지방체, 및 트리코모나스가 포함될 수 있다. 기술되는 시스템들 및 방법들은, 예를 들어, 생물학적 유체 내의 입자들의 특성화, 예컨대 적혈구(RBC), 이형 적혈구, 백혈구(WBC), 호중구, 림프구, 포식 세포, 호산구, 호염기구, 편평 상피조직 세포, 이행 상피조직 세포, 유인 세포, 신관 상피조직 세포, 원주, 결정체, 세균, 효모, 기생충, 타원형 지방체, 지방 방울, 정자, 점액, 트리코모나스, 세포 응괴, 및 세포 단편의 검출 및 수량화, 카테고리화 및 서브카테고리화, 카운팅 및 분석에 유용할 수 있다.
하기의 설명에서는, 설명을 목적으로, 본 발명의 실시예들의 철저한 이해를 제공하기 위해 구체적인 상세사항들이 기술된다. 그러나, 다양한 실시예들이 이들 구체적인 상세사항들 없이 실시될 수 있다는 것이 이해될 것이다. 도면 및 설명은 제한하려는 것이 아니다.
도면들 중 일부에 도시된 시스템들은 다양한 구성들로 제공될 수 있다. 선택적으로, 시스템들은 시스템의 하나 이상의 컴포넌트들이 클라우드 컴퓨팅 시스템 내의 하나 이상의 네트워크들에 걸쳐서 분산되어 있는 분산형 시스템으로서 구성될 수 있다. 설명된 시스템들의 모든 특징부들은 필요한 부분만 약간 수정하여 기술된 방법들에 적용가능하며, 역으로도 성립한다.
도 1은 이미지 분석, 정규화, 및 디스플레이를 수행하는 데 사용가능한 예시적인 시스템(100)의 블록도를 도시한다. 시스템(100)은 데이터베이스(120), 데이터베이스(125), 서버(110), 컴퓨팅 디바이스(115), 및 분석기(130)를 비롯한 다양한 컴포넌트들이 통신할 수 있게 하는 네트워크(105)를 포함할 수 있다.
분석기(130)는, 예를 들어, 체액 세포들의 이미지들을 캡처하는 체액 시스템을 통해 살아있는 유기체 입자들 및 세포들의 이미지들을 수집할 수 있으며, 이는 2015년 9월 11일자로 출원되고 발명의 명칭이 "HEMATOLOGY SYSTEMS AND METHODS"인 특허 출원 제14/775,448호에 상세히 설명되어 있다. 분석기(130)는 이미지들을 수집할 수 있고 그들을 샘플 세포 이미지들로서 데이터베이스(120)에 저장할 수 있다. 기준 이미지들은 분석기(130)를 통해 그리고/또는 비교를 위한 다른 캡처 방법들을 통해 수집되어 데이터베이스(125)에 저장될 수 있다.
데이터베이스(120)는 분석을 위해 샘플 이미지들을 저장할 수 있다. 데이터베이스(125)는 데이터베이스(120)에 저장된 샘플 이미지들의 분석 동안 비교를 위해 이미지 아틀라스(즉, 기준 이미지들의 데이터베이스)를 저장할 수 있다. 선택적으로, 데이터베이스(120) 및 데이터베이스(125)는 단일 데이터베이스(예컨대, 샘플 이미지들이 기준 이미지들과는 상이한 표에 저장됨)일 수 있다. 데이터베이스들(120, 125)은, 예를 들어 Microsoft® SQL Server® 데이터베이스, Oracle® 데이터베이스, 또는 Microsoft® Excel® 스프레드시트를 비롯한 임의의 적합한 데이터베이스일 수 있다.
네트워크(105)는 임의의 적합한 수 또는 타입의 네트워크들 또는 링크들일 수 있는데, 이들은 다이얼-업 네트워크(dial-up network), 근거리 통신 네트워크("LAN"), 광역 통신 네트워크("WAN"), 공중 교환 전화 네트워크(public switched telephone network, "PSTN"), 셀룰러 네트워크, WiFi 네트워크, 인터넷, 인트라넷, 또는 유선 및/또는 무선 통신 링크들의 임의의 조합을 포함하지만 이들로 제한되지 않는다. 네트워크(105)는 하나 이상의 서브네트워크들을 포함할 수 있다. 일부 예들에서, 시스템의 2개 이상의 컴포넌트들(예컨대, 컴퓨팅 디바이스(115), 서버(110), 데이터베이스들(120, 125), 분석기(130), 또는 이들의 임의의 조합)이 네트워크(105)에 접속될 수 있고, 이를 통해 통신할 수 있다.
컴퓨팅 디바이스(115)는 도 2와 관련하여 기술된 바와 같은 컴퓨팅 시스템(200)일 수 있다. 컴퓨팅 디바이스(115)는 본 명세서에서 더 상세히 논의되는 바와 같이 이미지 분석, 정규화, 및 디스플레이를 수행할 수 있는 시스템일 수 있다. 컴퓨팅 디바이스(115)는 사용자에 의해 활용되는 시스템일 수 있으며, 데스크톱 컴퓨터로서 도시되어 있지만, 랩톱 또는 무선 디바이스(예컨대, 스마트폰, 태블릿, PDA(Personal Data Assistant), e-판독기, 또는 스마트 워치)를 포함하는 임의의 사용자 디바이스일 수 있다.
선택적으로, 서버(110)는 도 2와 관련하여 기술된 바와 같은 컴퓨팅 시스템(200)일 수 있다. 서버(110)는, 예를 들어, 이미지 분석 및 정규화를 수행할 수 있으며, 서버가 때때로 그 자신의 디스플레이 디바이스를 포함하지 않기 때문에, 생성된 이미지들을 사용자 인터페이스에서의 디스플레이를 위해 컴퓨팅 디바이스(115)로 전송할 수 있다. 선택적으로, 서버(110)는 임의의 적합한 타입의 서버일 수 있다. 서버는, 예를 들어, 서버 팜 또는 랙 서버 내에 있을 수 있다. 컴퓨팅 디바이스(115) 및 서버(110)는, 예를 들어, 클라우드 컴퓨팅 환경에 있을 수 있다.
도 2는 이미지 분석, 정규화, 및 디스플레이를 수행하는 데 사용가능한 예시적인 컴퓨터 시스템(200)의 블록도를 도시한다. 컴퓨팅 디바이스(200)는, 예를 들어, 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿, e-리더, 스마트폰 또는 모바일 디바이스, 스마트워치, PDA, 또는 다른 전자 디바이스일 수 있거나, 또는 그를 포함할 수 있다. 컴퓨팅 디바이스(200)는 예를 들어 컴퓨팅 디바이스(115) 또는 서버(110)일 수 있다.
컴퓨팅 디바이스(200)는 버스(205)를 통해 다른 하드웨어와 인터페이싱되는 프로세서(240)를 포함할 수 있다. RAM, ROM, EEPROM 등과 같은 임의의 적합한 유형적인 (그리고 비일시적인) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(210)가 컴퓨팅 디바이스(200)의 동작을 구성하는 프로그램 구성요소들(예컨대, 명령어들(215))을 구현할 수 있다. 일부 예들에서, 컴퓨팅 디바이스(200)는 (예컨대, 디스플레이(245), 키보드, 또는 마우스와 인터페이싱하기 위한) 입력/출력("I/O") 인터페이스 컴포넌트들(225) 및 추가 저장소(230)를 포함할 수 있다.
컴퓨팅 디바이스(200)는 네트워크 컴포넌트들(220)을 포함할 수 있다. 네트워크 컴포넌트들(220)은 네트워크 접속을 가능하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 일부 예들에서, 네트워크 컴포넌트들(220)은 무선 접속을 가능하게 할 수 있고, IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크들에 액세스하기 위한 무선 인터페이스들(예컨대, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크에 액세스하기 위한 송수신기/안테나)과 같은 무선 인터페이스들을 포함할 수 있다. 다른 예들에서, 네트워크 컴포넌트들(220)은 유선 연결될 수 있고, 이더넷, USB, 또는 IEEE 1394와 같은 인터페이스들을 포함할 수 있다.
도 2가 단일 프로세서(240)를 갖는 단일 컴퓨팅 디바이스(200)를 도시하고 있지만, 시스템은 임의의 수의 컴퓨팅 디바이스들(200) 및 임의의 수의 프로세서들(240)을 포함할 수 있다. 예를 들어, 다수의 컴퓨팅 디바이스들(200) 또는 다수의 프로세서들(240)이 유선 또는 무선 네트워크(예컨대, 광역 통신 네트워크, 근거리 통신 네트워크, 또는 인터넷), 예를 들어 네트워크(105)를 통해 분산될 수 있다. 다수의 컴퓨팅 디바이스들(200) 또는 다수의 프로세서들(240)은 본 발명의 단계들 중 임의의 단계를 개별적으로 또는 서로 협력해서 수행할 수 있다. 예를 들어, 프로세서(240) 및/또는 컴퓨팅 디바이스(200)는, 예를 들어, 도 1의 컴퓨팅 디바이스(115) 및/또는 서버(110)일 수 있다.
도 3은 이미지 분석, 정규화 및 디스플레이를 수행하기 위한 프로세스(300)의 일례의 흐름도를 도시한다. 이 프로세스(300)는, 예를 들어, 도 1의 시스템(100) 상에서, 그리고 더 구체적으로는 도 2의 컴퓨터 시스템(200) 상의 프로그램 코드로서 구현될 수 있다.
프로세스(300)는 예를 들어 도 2의 컴퓨터 시스템(200) 상에서 305에서 시작한다. 310에서, 컴퓨터 시스템(200)은 살아있는 유기체로부터 샘플 입자(예컨대, 세포)의 샘플 이미지를 수신할 수 있다. 위에서 간략하게 논의된 바와 같이, 살아있는 유기체의 세포 및 입자는 유기체로부터의 수집된 생물학적 샘플(예컨대, 소변 또는 혈액 샘플)을 사용하는 이미징 시스템(예컨대, 분석기(130))을 사용하여 이미징되거나 사진촬영될 수 있다. 이미지들은 캡처 전 또는 후에 확대될 수 있고, 도 9의 샘플 이미지(905)와 같은 단일 세포 또는 입자의 이미지를 묘사할 수 있다. 샘플 이미지는 컴퓨팅 디바이스(115)(도 2의 컴퓨터 시스템(200)으로 보다 상세히 도시됨)에서, 예를 들어 도 1의 데이터베이스(120)로부터 도 1의 네트워크(105)를 통해 수신될 수 있다.
315에서, 컴퓨터 시스템(200)은 기준 이미지들의 데이터베이스로부터 복수의 기준 이미지들을 선택할 수 있다. 기준 이미지들의 데이터베이스는 예를 들어 도 1의 데이터베이스(125)일 수 있다. 데이터베이스는 임의의 수의 기준 이미지들을 포함할 수 있다. 기준 이미지들은 샘플 이미지에 대해 전술된 바와 유사한 캡처 방법을 통해 채워질 수 있다. 기준 이미지는 예를 들어 도 9의 기준 이미지(910)일 수 있다. 기준 이미지들은 데이터베이스(125)에 저장된 기준 이미지들의 사용자 선택된 라이브러리를 통해 채워질 수 있다. 선택적으로, 사용자 선택된 이미지들은 기준 이미지들의 이전에 캡처된 라이브러리로부터의 것일 수 있다. 선택적으로, 사용자 선택된 이미지들은 사용자가 기준 이미지 데이터베이스에 추가하는 샘플 이미지들이었던 이미지들을 포함할 수 있다. 선택적으로, 사용자 선택된 이미지들은 시스템들 간의 고유성 및 휴대성을 보장하기 위해 랜덤하게 생성된 GUID(Globally Unique Identifier) 기반 파일명을 사용할 수 있다. 기준 이미지들은 임의의 적합한 포맷(예컨대, *.png, *.gif, *.jpg)으로 저장될 수 있다. 기준 이미지들은 캡처된 대로 저장될 수 있는데, 이는 이미지들이, 예를 들어, 이미징된 세포의 상이한 파일 크기, 픽셀 높이, 픽셀 폭, 및/또는 배율의 것일 수 있음을 의미한다.
기준 이미지들은, 공지된 특징부들을 포함하거나 또는 소정 타입의 공지된 세포들 또는 입자들인 세포들 또는 입자들의 것일 수 있다. 예를 들어, 전혈 샘플은, 통상, 적혈구, 백혈구 및 혈소판을 포함한 3가지 주요 클래스의 혈구들을 포함한다. 각각의 클래스는 구성원들의 하위클래스들로 추가로 세분될 수 있다. 예를 들어, 백혈구(WBC)의 5가지 주요 타입의 하위클래스는 상이한 형상들 및 기능들을 갖는다. 백혈구는 호중구, 림프구, 단핵구, 호산구, 및 호염기구를 포함할 수 있다. 또한, 적혈구 타입들의 하위클래스들이 있다. 샘플 중의 입자의 외관은 병리학적 상태, 세포 성숙 및 다른 원인들에 따라 상이할 수 있다. 적혈구의 하위클래스들은 망상적혈구 및 유핵 적혈구를 포함할 수 있다. 다른 예로서, 이미징된 세포는 겸상 세포(sickle cell)일 수 있다. 기준 이미지들은 기준 이미지 내에서의 세포의 카테고리를 식별할 수 있는 주석, 또는 기준 이미지 내에서의 세포의 특징부들 또는 특성들을 식별하는 태그들을 포함할 수 있다. 일례로서, 겸상 세포인 것으로 알려진 세포의 이미지 상에서의 주석은 그 세포를 겸상 세포로서 식별할 수 있다. 다른 예로서, 적혈구인 것으로 알려진 세포의 이미지 상에서의 주석은 그 세포를 적혈구로서 식별할 수 있다. 일부 기준 이미지들은 세포의 다수의 특징부들 또는 특성들을 식별하는 다수의 태그들을 포함할 수 있다. 예를 들어, 세포는 적혈구로서 주석이 달릴 수 있고, 세포를 망상적혈구로서 식별하는 추가 태그를 가질 수 있다. 세포들 또는 입자들은, 예를 들어, 호중구, 림프구, 단핵구, 호산구, 호염기구, 혈소판, 망상적혈구, 유핵 적혈구(RBC), 아세포, 전골수세포, 골수세포, 후골수세포, 적혈구(RBC), 세포, 세균, 미립자 물질, 세포 응괴, 또는 세포 단편 또는 성분으로서 태깅될 수 있다. 선택적으로, 컴퓨터 시스템(200)은, 예를 들어, 특정 태그 및/또는 주석을 갖는 모든 기준 이미지들을 선택함으로써 기준 이미지들의 데이터베이스로부터 다수의 기준 이미지들을 선택할 수 있다. 일례로서, 컴퓨터 시스템(200)은 적혈구로서 주석이 달린 데이터베이스로부터의 모든 기준 이미지들을 선택할 수 있다. 다른 예로서, 컴퓨터 시스템(200)은 백혈구 주석을 갖는 데이터베이스로부터의 모든 기준 이미지를 선택할 수 있다. 선택적으로, 컴퓨터 시스템(200)은 사용자가 기준 이미지들을 선택하는 데 사용되는 태그 또는 주석을 선택하게 할 수 있다. 선택적으로, 컴퓨터 시스템(200)은 기준 이미지 데이터베이스 내의 모든 기준 이미지들을 선택할 수 있다. 선택적으로, 컴퓨터 시스템(200)은 사용자가 기준 이미지 데이터베이스로부터 원하는 기준 이미지를 선택하게 할 수 있다. 선택적으로, 컴퓨터 시스템(200)은 사용자가 추가 태그들을 필터로서 선택하게 할 수 있고, 예를 들어, 백혈구로서 분류되고 호중구로서 추가로 태깅된 모든 이미지들을 선택하게 할 수 있다.
이미지들에 대한 태깅 또는 주석은 빠른 이미지 검색을 위한 효과적인 방법을 제공할 수 있다. 잠재적으로 많은 상이한 서브타입들을 갖는 다수의 기준 이미지들의 경우, 물리적 특성에서의 또는 동일한 클래스 타입(분류)에 대한 질병 단계에서의 변동에 기초하여, 하나 이상의 서브타입들을 표적화하는 서브세트를 제공하는 것이 유익할 수 있다. 이는 이미징된 세포의 클래스를 식별하는 주석 내의 태깅과 같은 계층적 태깅을 통해 행해질 수 있다. 예를 들어, 기준 이미지는 세포가 적혈구("RBC")라는 주석(즉, 이미징된 세포가 RBC 클래스에 있다는 RBC의 주석), 및 기준 이미지를 특정 특성뿐 아니라 RBC 주석을 갖는 것으로 마킹하는 태그를 포함할 수 있는데, 예를 들어 유핵 적혈구는 그것을 유핵인 것으로 식별하는 태그를 가질 수 있다.
320에서, 컴퓨터 시스템(200)은 샘플 이미지에 대한 각각의 기준 이미지의 유사성에 기초하여 복수의 기준 이미지들의 순서를 결정할 수 있다. 가장 유사한 것이 먼저 디스플레이되도록 기준 이미지들을 순서화하는 것은 많은 시간을 절약할 수 있다. 앞서 논의된 바와 같이, 샘플 이미지는 샘플 이미지에서 이미징된 세포의 특성, 특징부, 또는 타입을 식별하기 위한 비교를 위해 사용자 인터페이스에서 기준 이미지들과 함께 디스플레이될 수 있다. 가장 유사한 이미지들을 디스플레이하는 것은 먼저, 기준 이미지에서 동일한 타입의 세포로서 샘플 이미지를 분류하기 위해 또는 샘플 이미지가 기준 이미지와 동일한 특성 또는 특징부를 갖는다는 것을 식별하기 위해 샘플 이미지와 매칭하는 기준 이미지를 찾는 데 소요되는 시간을 제한할 수 있다. 컴퓨터 시스템(200)은, 예를 들어, 샘플 이미지를 도 4 및 도 5와 관련하여 더 상세히 기술된 바와 같은 선택된 기준 이미지들 각각과 비교함으로써 순서를 결정할 수 있다.
325에서, 컴퓨터 시스템(200)은 결정된 순서에 기초하여 복수의 기준 이미지들로부터 제1 기준 이미지를 선택할 수 있다. 컴퓨터 시스템(200)이, 가장 유사한 것으로 판정되었던 이미지가 제1 기준 이미지가 되고 두번째로 가장 유사한 것으로 판정되었던 이미지가 제2 기준 이미지가 되고 등등이도록 기준 이미지들의 순서를 결정한 후, 컴퓨터 시스템(200)은 분석, 정규화, 및 디스플레이를 수행하기 위한 제1 기준 이미지를 선택할 수 있다. 제1 기준 이미지에 대해 프로세스(300)의 나머지 단계들을 수행한 후, 컴퓨터 시스템(200)은 프로세스(300)의 나머지 단계들에서 분석, 정규화, 및 디스플레이를 수행하기 위한 제2 기준 이미지를 선택할 수 있으며, 선택된 기준 이미지들 모두가 프로세스(300)에 따라 분석, 정규화, 및 디스플레이될 때까지 복수의 기준 이미지들의 각각의 기준 이미지에 대해 단계들을 계속해서 반복할 수 있다.
330에서, 컴퓨터 시스템(200)은 제1 기준 이미지를 샘플 이미지와 정렬시킬 수 있다. 제1 기준 이미지와 샘플 이미지의 정렬은, 예를 들어 사용자 인터페이스를 통한 사용자에게로의 이미지들의 디스플레이를 위한 것일 수 있다. 정렬은 이미지들의 인접한 에지를 정렬시키는 것뿐만 아니라 사용자 인터페이스에서의 디스플레이를 위해 이미지들을 서로에 대해 중심을 맞추는 것을 포함할 수 있다. 수행될 수 있는 정렬의 타입의 일례가 도 6과 관련하여 더 상세히 기술된다. 선택적으로, 샘플 이미지 및 기준 이미지의 인접한 에지들은 동일한 크기가 아니다. 그러한 경우에, 더 작은 이미지는 더 큰 이미지의 크기와 매칭하도록 확장될 수 있다. 예를 들어, 선택적으로, 더 작은 이미지는 더 큰 이미지와 동일한 크기로 확장되도록 줌(zoom)될 수 있다. 선택적으로, 이미지는 더 큰 이미지와 동일한 크기의 인접 에지를 갖는 이미지 패치 위에 중첩될 수 있다. 선택적으로, 각각의 이미지는 그리드의 셀(cell)에서의 디스플레이를 위해 배치될 수 있고, 그리드의 셀은 더 작은 이미지를 더 큰 이미지의 크기로 크기조정(resize)하도록 디스플레이에 나타나는 매칭하는 배경 색상을 가질 수 있다.
선택적으로, 사용자 인터페이스에서의 디스플레이를 위한 기준 이미지들의 개수는 1개 내지 8개일 수 있다. 정렬 및 확장은 임의의 수의 기준 이미지들에 대해 행해질 수 있고, 기준 이미지들은 인접 에지를 공유하는 이미지에 기초하여 순서대로 정렬 및 확장될 수 있다. 선택적인 이미지 디스플레이 레이아웃 상에서의 더 많은 세부사항을 위해 도 11에 관련한 설명을 참조한다. 수학적 면에서, Ii,j가
Figure 112019000266547-pct00001
및
Figure 112019000266547-pct00002
이고 폭 Wi,j 및 높이 Hi,j를 갖는 m × n의 그리드 내의 i번째 행 및 j번째 열에서의 기준 이미지라고 가정한다. 정렬 및 확장은 다음과 같이 디스플레이 그리드에 대한 i번째 행 높이(RHi) 및 j번째 열 폭(CWj)을 계산함으로써 행해질 수 있다:
RHi =
Figure 112019000266547-pct00003
CWj =
Figure 112019000266547-pct00004
디스플레이를 위한 기준 이미지들의 리스트 및 샘플 이미지의 상대적 크기에 따라, 디스플레이 그리드 내의 특정 행/열에 대한 최종 행 높이 또는 열 폭은 샘플 이미지 또는 기준 이미지 중 어느 하나가 확장을 필요로 하게 할 수 있다. 선택적으로, 이미지 배경 충전은 계산된 그리드 셀의 폭 또는 높이와는 상이한 크기를 갖는 임의의 이미지에 적용될 수 있다. 그리고, 이미지 자체는, 원래 이미지에 대한 100% 충실도를 보존하기 위해 스케일링 또는 크기조정 없이 연관된 그리드 셀의 중심에 위치될 수 있다.
335에서, 컴퓨터 시스템(200)은 정렬된 제1 기준 이미지의 배경을 동적으로 충전할 수 있다. 정렬 단계 동안, 제1 기준 이미지의 배경은 디스플레이된 이미지가 샘플 이미지에 대해 동일한 크기의 인접 에지를 갖는 것을 보장하도록 확장될 수 있다. 확장된 배경은, 균일성을 보장하고 상이한 배경 색상들을 포함하는 이미지들 사이에 갭들을 갖는 혼란을 제거하기 위해 기준 이미지의 기존 배경과 실질적으로 동일한 색상으로 동적으로 충전될 수 있다. 임의의 이미지에 대한 색상은 예를 들어 적색, 녹색, 청색 및 알파 채널들을 포함할 수 있다. 배경은, 도 7과 관련하여 보다 상세히 기술되는 바와 같이, 기준 이미지 배경과 매칭되는 색상을 결정하고 확장된 배경을 결정된 색상으로 충전함으로써 충전될 수 있다. 선택적으로, 배경은 결정된 배경 색상으로 충전된 패치 위에 기준 이미지를 중첩시킴으로써 충전된다. 디스플레이 동안, 패치는 예를 들어 셀들의 그리드의 하나의 셀일 수 있다. 이 때, 본 출원에는 두 가지의 상이한 의미들의 셀(cell)/세포(cell)가 논의되어 있음에 유의한다. 세포들의 이미지들(즉, 기준 이미지들 또는 샘플 이미지들)은 살아있는 유기체의 신체 세포들의 이미지들이다. 그리드의 셀은, 표 내의 세포와 같은 세포와 상이한 의미이다. 본 출원 전체에 걸쳐, 세포에 대해 말할 때, 이미징된 신체 세포는, 구체적으로 언급되지 않는 한, 그리드의 셀이 논의되고 있는 것으로 의도된다.
선택적으로, 샘플 이미지 및 기준 이미지의 정렬은 (예컨대, 샘플 이미지가 기준 이미지보다 작기 때문에) 샘플 이미지가 배경을 확장시키도록 크기조정되게 할 수 있다. 그러한 경우들에 있어서, 샘플 이미지의 배경은 제1 기준 이미지의 배경을 동적으로 충전하는 것에 관하여 전술된 바와 동일한 방식으로 동적으로 충전될 수 있다.
340에서, 컴퓨터 시스템(200)은 사용자 인터페이스 내에 샘플 이미지 및 동적으로 충전되고 정렬된 제1 기준 이미지를 디스플레이할 수 있다. 샘플 이미지 및 하나 이상의 기준 이미지들의 사용자 인터페이스 디스플레이들의 예들이 도 9 내지 도 18에 도시되어 있다. 선택적으로, 사용자 인터페이스는 컴퓨터 시스템(200)과 연관된 디스플레이 디바이스에서 디스플레이될 수 있다. 예를 들어, 데스크톱, 랩톱, 스마트폰, 태블릿, 또는 디스플레이 모니터를 포함하는 임의의 다른 적합한 컴퓨팅 디바이스(115)를 포함한, 사용자 인터페이스를 디스플레이할 수 있는 모니터를 갖는 임의의 사용자 디바이스일 수 있는 컴퓨팅 디바이스(115)는 컴퓨터 시스템(200)일 수 있다. 선택적으로, 컴퓨터 시스템(200)은 서버(110)일 수 있다. 그러한 실시예들에서, 서버(110)는 특정 디스플레이 모니터를 포함하지 않을 수 있고, 이에 따라, 서버(110)는 사용자 인터페이스에서 사용자에게로의 디스플레이를 위해 디스플레이를 위한 정보(예컨대, 기준 이미지들 및 샘플 이미지 및 연관된 계산된 레이아웃 및 색상 정보)를 컴퓨팅 디바이스(115)로 전송할 수 있다.
프로세스(300)는 345에서 종료될 수 있다. 위에서 논의된 바와 같이, 선택적으로, 단계들(325, 330, 335)은 제1 기준 이미지 상에서 수행될 수 있으며, 선택된 기준 이미지들 각각이 정렬되고 동적으로 충전될 때까지 각각의 기준 이미지에 대해 반복될 수 있다. 선택적으로, 기준 이미지들이 각각 정렬되고 동적으로 충전되는 경우, 디스플레이 단계는 각각의 기준 이미지에 대해 개별적으로, 모든 선택된 기준 이미지들에 대해 동시에(모든 선택된 기준 이미지들이 정렬되고 동적으로 충전된 후에만), 또는 특정 개수의 기준 이미지들의 그룹들에서 소정 시간에 수행될 수 있다(예컨대, 도 12에서와 같이, 8개의 기준 이미지들이 샘플 이미지와 함께 소정 시간에 디스플레이됨).
도 4는 유사성에 기초하여 이미지들의 순서를 결정하기 위한 프로세스(400)의 일례의 흐름도를 도시한다. 프로세스(400)는 도 3의 단계(320)의 일부분으로서 수행될 수 있다. 프로세스(400)는, 예를 들어 도 1의 시스템(100) 상에서, 그리고 더 구체적으로는, 도 2의 컴퓨터 시스템(200) 상의 프로그램 코드로서 구현될 수 있다.
405에서, 컴퓨터 시스템(200)은 샘플 이미지를 복수의 기준 이미지들의 각각의 기준 이미지와 비교할 수 있다. 비교는, 예를 들어, 각각의 기준 이미지 및 샘플 이미지에 대한 특징부 벡터를 생성하고 각각의 기준 이미지와 샘플 이미지 사이의 거리 메트릭을 계산함으로써 행해질 수 있는데, 이는 도 5와 관련하여 더 상세히 기술되는 바와 같다.
410에서, 컴퓨터 시스템(200)은 샘플 이미지에 대한 각각의 기준 이미지의 유사성을 판정할 수 있다. 이러한 판정은, 예를 들어 도 5와 관련하여 논의된 계산된 거리 메트릭에 기초하여 행해질 수 있다.
도 5는 이미지들 사이의 유사성을 판정하기 위한 프로세스(500)의 일례의 흐름도를 도시한다. 프로세스(500)는 도 4의 단계(405)의 일부분으로서 수행될 수 있다. 프로세스(500)는, 예를 들어 도 1의 시스템(100) 상에서, 그리고 더 구체적으로는, 도 2의 컴퓨터 시스템(200) 상의 프로그램 코드로서 구현될 수 있다.
505에서, 컴퓨터 시스템(200)은 복수의 기준 이미지들의 각각의 기준 이미지 및 샘플 이미지에 대한 특징부 벡터를 생성할 수 있다. 특징부 벡터는 각각의 이미지의 다수의 특징부들에 대한 정보를 포함할 수 있다. 예를 들어, 특징부 벡터는 패치 크기, 입자 크기, 입자 형상, 평균 픽셀 세기, 및/또는 이미지 평균 그레이스케일 값을 식별할 수 있다. 패치 크기는 전체 이미지의 크기일 수 있다. 이미지 크기는 앞서 논의된 바와 같이 줌될 수 있다. 배경은 또한 이전에 논의된 바와 같이 확장될 수 있다. 패치 크기는 이러한 변화들 중 임의의 변화 이전의 이미지의 크기이다. 입자 크기는 이미지 내의 샘플 세포 또는 기준 세포의 크기일 수 있다. 선택적으로, 세포 크기는, 예를 들어 도 9에 도시된 바와 같이, 이미지 내에서 더 크게 또는 더 작게 보일 수 있다. 샘플 이미지(905) 내의 샘플 세포의 입자 크기는 기준 이미지(910) 내의 기준 세포의 입자 크기보다 작다. 입자 크기는, 예를 들어 이미지 캡처 동안 사용되는 배율에 기초하여 이미지 내에서 더 크게 또는 더 작게 보일 수 있다. 입자 형상은 이미지 내의 샘플 세포 또는 기준 세포의 형상일 수 있다. 평균 픽셀 세기는, 이미지로부터 다수의 픽셀들을 선택하고 선택된 픽셀들 각각의 세기를 결정하고 선택된 픽셀들의 평균 세기를 계산함으로써 계산될 수 있다. 이미지의 평균 그레이스케일 값은, 이미지로부터 다수의 픽셀들을 선택하고 각각의 픽셀에 대한 그레이스케일 값을 결정하고 다수의 계산된 그레이스케일 값들의 평균 값을 계산함으로써 계산될 수 있다. 각각의 이미지에 대한 특징부 벡터에 대해 다른 특징부들이 식별되고 활용될 수 있다.
510에서, 컴퓨터 시스템(200)은 샘플 이미지로부터 복수의 기준 이미지들의 각각의 기준 이미지에 대한 거리 메트릭을 계산할 수 있다. 예를 들어, 컴퓨터 시스템(200)은 각각의 기준 이미지와 샘플 이미지 사이의 거리 메트릭을 계산하는 데 특징부 벡터를 활용할 수 있다. 거리 메트릭 값이 작을수록, 기준 이미지는 샘플 이미지에 더 유사하다. 이어서, 거리 메트릭 값은 샘플 이미지와 가장 유사한 것에서 최소로 유사한 순서로 기준 이미지들을 순위화하는 데 활용될 수 있다.
선택적으로, 거리 메트릭은 다음과 같이 정의될 수 있다:
Figure 112019000266547-pct00005
이러한 거리 메트릭 정의에서, i번째 기준 이미지 특징부 벡터
Figure 112019000266547-pct00006
는 f i,k의 k번째 성분을 가지며, 여기서
Figure 112019000266547-pct00007
은 특징부 벡터의 차수(dimensionality)로서 N을 갖는다. 후보 특징부들은, 예를 들어, 이미지 크기, 이미지에서의 입자 크기, 이미지에서의 입자 형상, 이미지의 평균 픽셀 세기, 또는 입자/패치 평균 그레이스케일 값에 기초할 수 있다. 거리 메트릭 값이 작을수록, i번째(기준) 이미지와 j번째(샘플) 이미지 사이는 더 유사하다.
도 6은 이미지들을 정렬시키기 위한 프로세스(600)의 일례의 흐름도를 도시한다. 프로세스(600)는 도 3의 단계(330)의 일부분으로서 수행될 수 있다. 프로세스(600)는, 예를 들어 도 1의 시스템(100) 상에서, 그리고 더 구체적으로는, 도 2의 컴퓨터 시스템(200) 상의 프로그램 코드로서 구현될 수 있다.
605에서, 컴퓨터 시스템(200)은 그리드의 제1 셀 내에서의 사용자 인터페이스에 샘플 이미지를 디스플레이하기 위한 제1 디스플레이 위치를 결정할 수 있다. 예를 들어, 이미지들은, 샘플 이미지가 중심에 있고 기준 이미지들이 샘플 이미지에 인접하도록, 그리드 내의 사용자 인터페이스에 디스플레이될 수 있다. 예를 들어, 도 9는 기준 이미지(910)에 인접한 샘플 이미지(905)를 도시한다. 유사하게, 다른 예로서, 도 11은 기준 이미지들(1110, 1115) 양측 모두에 인접한 샘플 이미지(1105)를 도시한다. 또 다른 예로서, 도 12는 기준 이미지들(1210, 1215, 1220, 1225)에 인접한 샘플 이미지(1205)를 도시한다. 도 12는, 또한, 각각이 다른 기준 이미지에 인접한 기준 이미지들(1230, 1235, 1240, 1245)과 코너를 공유하는 샘플 이미지를 도시한다. 선택적으로, 샘플 이미지는, 도 12에 도시된 바와 같이, 그것이 가능한 한 많은 기준 이미지들에 인접할 수 있도록 그리드의 중심에 배치된다.
610에서, 컴퓨터 시스템(200)은 그리드의 제2 셀 내에서의 사용자 인터페이스에 제1 기준 이미지를 디스플레이하기 위한 제1 디스플레이 위치에 인접한 제2 디스플레이 위치를 결정할 수 있다. 샘플 이미지가 기준 이미지에 인접해 있는 예들이 도 9 내지 도 14에서 발견될 수 있다. 예를 들어, 샘플 이미지(905)는 도 9에 도시된 바와 같이 기준 이미지(910)에 인접할 수 있다.
615에서, 컴퓨터 시스템(200)은 제2 디스플레이 위치 내의 제1 기준 이미지의 중심을 제1 디스플레이 위치 내의 샘플 이미지의 중심과 정렬시킬 수 있다. 예를 들어, 샘플 이미지의 중심은, 그것이 그리드의 제1 셀의 중심일 수 있는 제1 디스플레이 위치(예컨대, 도 9에서의 샘플 이미지(905)의 위치)의 중심에 위치되도록 결정되고 배치될 수 있다. 컴퓨터 시스템(200)은, 또한, 제1 기준 이미지의 중심을 결정할 수 있으며, 그것이 그리드의 제2 셀의 중심일 수 있는 제2 디스플레이 위치(예컨대, 도 9의 기준 이미지(910)의 위치)의 중심에 위치되도록 배치될 수 있다. 그리드의 정의 때문에, 그리드 내에서 인접한 제1 디스플레이 위치의 중심 및 제2 디스플레이 위치의 중심은 (도 9에 도시된 바와 같이) 인접한 에지들의 공통 중심을 갖는다. 선택적으로, 샘플 이미지 및 제1 기준 이미지의 중심들이 정렬되게 되는 각각에 대한 디스플레이 위치를 선택함으로써 각각의 이미지의 중심들이 정렬될 수 있도록 하는 다른 방법들이 이용될 수 있다.
도 7은 이미지의 배경을 동적으로 충전하기 위한 프로세스(700)의 일례의 흐름도를 도시한다. 프로세스(700)는 도 3의 단계(335)의 일부분으로서 수행될 수 있다. 프로세스(700)는, 예를 들어 도 1의 시스템(100) 상에서, 그리고 더 구체적으로는, 도 2의 컴퓨터 시스템(200) 상의 프로그램 코드로서 구현될 수 있다.
705에서, 컴퓨터 시스템(200)은 제2 셀 내의 제1 기준 이미지의 배경을 확장시켜 제2 셀을 충전할 수 있다. 선택적으로, 제1 기준 이미지는 예를 들어 샘플 이미지보다 더 작은 높이를 가질 수 있다. 예를 들어, 샘플 이미지와 제1 기준 이미지 인접 면이 수직 면인 경우, 제1 기준 이미지와 샘플 이미지의 인접한 면들은 상이할 것이다. 유사하게, 예를 들어 샘플 이미지와 제1 기준 이미지 인접 면이 수평 면이고, 제1 기준 이미지의 폭이 샘플 이미지의 폭보다 작은 경우, 이미지들의 인접 면들은 상이할 것이다. 제1 기준 이미지의 배경은 제1 기준 이미지와 샘플 이미지의 인접한 면들이 동일할 것임을 보장하도록 확장될 수 있다. 선택적으로, 샘플 이미지의 크기(높이 및/또는 폭)는 제1 기준 이미지의 크기보다 작을 수 있다. 그러한 실시예들에서, 샘플 이미지 배경은 확장될 수 있다.
710에서, 컴퓨터 시스템(200)은 제1 기준 이미지의 배경 색상을 결정할 수 있다. 제1 기준 이미지의 배경 색상은 다수의 방식들로 결정될 수 있다. 예를 들어, 도 8에서 상세히 설명되는 바와 같이, 평균 배경 색상을 결정하기 위한 프로세스가 배경 색상을 결정하는 데 이용될 수 있다. 선택적으로, 기준 이미지의 배경 색상으로서 표준 색상을 선택하는 것이 이용될 수 있다. 예를 들어, 모든 기준 이미지들이 동일한 배경 색상을 갖는 경우, 배경 색상은 항상 동일할 것이고 이미 알려져 있을 수 있다.
715에서, 컴퓨터 시스템(200)은 제1 기준 이미지의 확장된 배경을 배경 색상으로 충전할 수 있다. 예를 들어, 그리드의 제2 셀은 결정된 배경 색상으로 충전될 수 있고, 이에 따라, 사용자 인터페이스에 디스플레이될 때, 제1 기준 이미지는 제1 기준 이미지 자체를 수정하지 않고서 확장된 것으로 보인다. 선택적으로, 제1 기준 이미지는 이미지 크기를 확장시키고 확장된 픽셀들을 결정된 배경 색상으로 충전하도록 프로세싱될 수 있다.
도 8은 이미지의 배경 색상을 결정하기 위한 프로세스(800)의 일례의 흐름도를 도시한다. 프로세스(800)는 도 7의 단계(710)의 일부분으로서 수행될 수 있다. 프로세스(800)는, 예를 들어 도 1의 시스템(100) 상에서, 그리고 더 구체적으로는, 도 2의 컴퓨터 시스템(200) 상의 프로그램 코드로서 구현될 수 있다.
805에서, 컴퓨터 시스템(200)은 제1 기준 이미지의 4개의 코너 픽셀들을 결정할 수 있다. 전형적인 이미지들은 4개의 코너들을 갖고, 각각의 코너에서의 코너 픽셀이 사용될 수 있다. 예를 들어, 이미지 패치가 크기 W × H 픽셀들의 것인 경우, 4개의 코너 픽셀들은 [0, 0], [W-1, 0], [0, H-1], [W-1, H-1]이다. 선택적으로, 더 많거나 더 적은 픽셀들이 사용될 수 있다. 선택적으로, 에지 픽셀들로부터 선택되는 임의의 수의 픽셀들이 사용될 수 있다. 선택적으로, 에지 픽셀은 이미지의 에지를 따르는 임의의 픽셀일 수 있다. 선택적으로, 에지는 이미지의 절대 에지까지의 임계 거리 내의 픽셀들, 예를 들어 이미지의 절대 에지로부터의 거리 내의 3개의 픽셀들일 수 있다.
810에서, 컴퓨터 시스템(200)은 4개의 코너 픽셀들의 평균 색상 값을 계산할 수 있다. 평균 색상 값은 먼저 4개의 코너 픽셀들 각각(또는, 예를 들어, 다른 에지 픽셀들이 사용되는 경우에 배경 색상을 결정하기 위해 식별되는 각각의 픽셀)의 색상 값을 결정함으로써 결정될 수 있다. 일단 4개의 코너 픽셀들 각각에 대한 색상 값이 결정되면, 컴퓨터 시스템(200)은 4개의 코너 픽셀들 각각으로부터의 색상 값을 사용하여 4개의 코너 픽셀들의 평균 색상 값을 계산할 수 있다. 평균은 각각의 색상 성분, 예컨대 적색, 녹색, 청색 및 알파에 대해 계산될 수 있다. 선택적으로, 임의의 선택된 픽셀들이 배경의 평균 색상 값을 계산하는 데 사용될 수 있다. 이어서, 평균 색상 값이 이미지의 배경 색상으로서 사용될 수 있다. 평균 색상 값을 결정하는 것은 기준 이미지 배경을 이미지의 전체 배경과 실질적으로 매칭하는 색상으로 충전함으로써 혼란을 감소시키는 것을 도울 수 있다. 샘플 이미지와 8개의 기준 이미지들의 정렬되고 동적으로 충전된 그리드의 예들이 도 12 내지 도 14에 도시되어 있다.
도 9 내지 도 14는 실시예들에 따라 디스플레이되는 이미지들의 예들을 도시한다. 도 9는 샘플 입자(930)의 샘플 이미지(905)를 기준 입자(935)의 기준 이미지(910)와 비교하는 데 사용될 수 있는 사용자 인터페이스(900)의 일부분을 디스플레이한다. 사용자 인터페이스(900)는 클래스 표시자(915), 전방 내비게이션 버튼(925), 및 후방 내비게이션 버튼(920)을 포함할 수 있다.
클래스 표시자(915)는 기준 이미지(910)와 연관된 주석의 표시일 수 있다. 도 9에 도시된 바와 같이, 기준 이미지(910)는 그와 연관된 주석 "HYAL"을 가질 수 있다. HYAL은, 예를 들어, 기준 이미지(910)가 유리질 원주(hyaline cast)로 분류되었음을 의미할 수 있다. 분류 주석 또는 특징부 태그는, 도 9에 도시된 바와 같이, 예를 들어 드롭 다운 선택적 리스트를 사용하여, 사용자에 의해 선택될 수 있다. 선택을 위해 포함되는 옵션들은, 예를 들어 표 1에 제공된 리스트를 포함할 수 있다. 표 1에 제공된 리스트는 식별될 수 있는 상이한 세포 타입들 또는 세포들의 특징부들을 포함한다. 일단 사용자에 의해 클래스 표시자(915)에 대한 선택이 이루어지면, 예를 들어 도 3의 단계(315)와 관련하여 상세히 설명되는 바와 같이, 기준 이미지들의 선택이 이루어질 수 있다.
[표 1]
Figure 112019000266547-pct00008
도 9에 도시된 바와 같이, 이미지들 사이에 상이한 색상들을 갖는 것과 연관된 혼란을 제거하기 위해 사용자 인터페이스(900)에 보여지는 이미지들(905, 910) 사이에는 갭이 없다. 샘플 이미지(905)는 도 3의 단계(310)에서 샘플 이미지를 수신하는 것과 관련하여 기술된 바와 같이 획득될 수 있다. 기준 이미지(910)는 도 3의 단계(315)에서 기준 이미지들을 선택하는 것과 관련하여 기술된 바와 같이 선택될 수 있다.
전방 내비게이션 버튼(925)은, 사용자에 의해 선택될 때, 기준 이미지(910)가 사용자 인터페이스 디스플레이 내의 다른 기준 이미지로 대체되게 할 수 있다. 선택적으로, 전방 내비게이션 버튼(925)은, 도 3의 단계(325)와 관련하여 기술된 바와 같이, 유사성에 의해 결정된 순서화된 리스트 내의 다음 기준 이미지를 선택할 수 있다. 선택적으로, 전방 내비게이션 버튼(925)은, 예를 들어, 클래스 표시자(915)에 의해 표시된 주석 또는 태그를 포함하는 기준 이미지들의 그룹으로부터 랜덤 순서로 컴퓨터 시스템에 의해 선택된 다음 기준 이미지를 선택할 수 있다.
후방 내비게이션 버튼(920)은, 사용자에 의해 선택될 때, 기준 이미지(910)가 사용자 인터페이스 디스플레이 내의 다른 기준 이미지로 대체되게 할 수 있다. 선택적으로, 후방 내비게이션 버튼(920)은, 도 3의 단계(325)와 관련하여 기술된 바와 같이, 유사성에 의해 결정된 순서화된 리스트 내의 이전 기준 이미지를 선택할 수 있다. 선택적으로, 후방 내비게이션 버튼(920)은 순서화된 리스트로부터든 그렇지 않든 간에, 이전에 보인 기준 이미지를 선택할 수 있다.
도 10은 도 9의 사용자 인터페이스(900)의 일부분과 매우 유사한 사용자 인터페이스(1000)의 일부분을 디스플레이한다. 도 10에 도시된 바와 같이, 샘플 이미지(1005)는 도 9의 샘플 이미지(905)와 동일한 이미지이다. 샘플 이미지(1005)는 샘플 입자(1030)의 이미지이고, 기준 이미지(910)는 기준 입자(1035)의 이미지이다. 사용자 인터페이스(1000)는 또한 클래스 표시자(1015), 전방 내비게이션 버튼(1025), 및 후방 내비게이션 버튼(1020)을 포함한다. 사용자 인터페이스(1000)는 도 9의 클래스 표시자(915)가 사용자에 의해 식별된 새로운 선택을 갖는 것으로부터 생성될 수 있다. 예를 들어, 사용자가 사용자 인터페이스(900)를 이용하고 있는 경우, 사용자는 클래스 표시자(915)를 사용하여, 도 9의 클래스 표시자(915)에서 표시되는 바와 같은 HYAL로부터 도 10의 클래스 표시자(1015)에 의해 표시되는 바와 같은 WBC까지 선택한다. WBC는 백혈구를 의미할 수 있다. 이어서, 생성된 사용자 인터페이스(1000)는 WBC 주석을 갖는 기준 이미지(1010)를 보여줄 수 있다.
클래스 표시자(1015)는 도 9의 클래스 표시자(915)와 관련하여 전술된 바와 동일한 방식으로 구현될 수 있다. 전방 내비게이션 버튼(1025)은 도 9의 전방 내비게이션 버튼(925)과 관련하여 전술된 바와 동일한 방식으로 구현될 수 있다. 후방 내비게이션 버튼(1020)은 도 9의 후방 내비게이션 버튼(920)과 관련하여 전술된 바와 동일한 방식으로 구현될 수 있다.
도 9 및 도 10에 도시된 바와 같이, 사용자 인터페이스(900)의 일부분은 사용자 인터페이스(1000)의 일부분보다 더 크다. 도 9 및 도 10을 살펴보면, 샘플 이미지(905)는 샘플 이미지(1005)와 동일한 폭이지만, 샘플 이미지(905)의 높이는 샘플 이미지(1005)의 높이보다 큰 것을 알 수 있다. 샘플 이미지(905) 및 샘플 이미지(1005)는 양측 모두가 동일한 샘플 세포의 것이고, 동일한 샘플 이미지이다. 그러나, 샘플 이미지(905) 및 샘플 이미지(1005)는 상이한 크기(높이)이다. 이는 기준 이미지(910)가 기준 이미지(1010)보다 더 크기 때문일 수 있다. 그러한 경우에, 샘플 이미지(905)의 높이는 도 3의 단계들(330, 335)과 관련하여 기술된 바와 같이 확장되고 동적으로 충전되어, 샘플 이미지(905) 및 기준 이미지(910)의 인접한 에지가 동일한 크기인 것을 보장할 수 있다.
도 11은 사용자 인터페이스(900) 및 사용자 인터페이스(1000)와 유사한 사용자 인터페이스(1100)의 일부분을 도시한다. 사용자 인터페이스(1100)는 샘플 입자(1135)의 샘플 이미지(1105), 기준 입자들(1140, 1145)의 각각의 기준 이미지들(1110, 1130), 전방 내비게이션 버튼(1125), 후방 내비게이션 버튼(1120), 및 클래스 표시자(1115)를 포함한다. 클래스 표시자(1115)는 도 9의 클래스 표시자(915)와 관련하여 전술된 바와 동일한 방식으로 구현될 수 있다. 전방 내비게이션 버튼(1125)은 도 9의 전방 내비게이션 버튼(925)과 관련하여 전술된 바와 동일한 방식으로 구현될 수 있다. 후방 내비게이션 버튼(1120)은 도 9의 후방 내비게이션 버튼(920)과 관련하여 전술된 바와 동일한 방식으로 구현될 수 있다.
샘플 이미지(1105)는 도 3의 단계(310)에서 샘플 이미지를 수신하는 것과 관련하여 기술된 바와 같이 획득될 수 있다. 기준 이미지들(1110, 1130)은 도 3의 단계(315)에서 기준 이미지들을 선택하는 것과 관련하여 기술된 바와 같이 선택될 수 있다. 단지 설명을 위해, 기준 입자들(1140, 1145)의 기준 이미지들(1110, 1130)은 동일한 이미지이고 시험 입자의 것들이다. 선택적으로, 예를 들어 기준 데이터베이스가 몇 개의 기준 이미지들을 갖는 경우, 동일한 기준 이미지가 사용자에게 디스플레이되어, 샘플 이미지와 기준 이미지 사이의 유사성을 식별하는 사용자의 능력을 향상시킬 수 있다. 선택적으로, 동일한 기준 이미지가 전방 또는 후방 내비게이션 버튼들(1120 또는 1125)의 선택 후에 그리드 디스플레이의 동일한 또는 상이한 위치들에 다수회 디스플레이될 수 있다. 다수의 디스플레이들은, 예를 들어 기준 데이터베이스 내의 기준 이미지들의 수 및 디스플레이 그리드의 모든 세포를 충전하라는 요구로 인한 것일 수 있다.
도 11에서, 2개의 기준 이미지들(1110, 1130)이 각각 샘플 이미지(1105)의 상이한 인접 에지들 상에 디스플레이된다는 것을 알 수 있다. 기준 이미지(1110) 및 기준 이미지(1130)의 위치의 선택은, 예를 들어, 이미지들의 유사성에 기초할 수 있다. 더 유사한 이미지가 먼저 디스플레이될 수 있는데, 여기서 기준 이미지(1110)가 위치되며, 제2 가장 유사한 이미지가 두번째로 디스플레이될 수 있는데, 여기서 기준 이미지(1130)가 위치된다.
하나 초과의 기준 이미지를 주로 1개의 치수로 나타내는 것을 수반하는 이미지 레이아웃 모드들, 예컨대 "3 × 1" 레이아웃(도 19에 기술된 바와 같음)의 경우, 기준 이미지들은 X 축의 방향으로 이미지의 유사성 메트릭들에 따라 순서화될 수 있다. 하기 다이어그램은 포인트를 예시한다:
Figure 112019000266547-pct00009
유사하게, 2개의 치수들을 수반하는 "3 × 3"의 이미지 레이아웃 모드의 경우, 기준 이미지들은 이미지 이웃에 의해 정의되는 바와 같은 나선 좌표에 기초하여 순서화될 수 있다. 하기 다이어그램은 기준 이미지들의 순서화([0],[1],., [7])가 정상적인 이미지 이웃 순서화와 매칭하는 것을 예시한다:
Figure 112019000266547-pct00010
기준 이미지들의 수가 슬라이딩 윈도우 크기로 나뉠 수 없는 경우(m × n의 이미지 레이아웃에 대한 슬라이딩 윈도우 크기는 m*n - 1이다. 예를 들어, "3 × 3"의 이미지 레이아웃 모드는 3*3 - 1= 8의 슬라이딩 윈도우 크기를 가짐), 선택은 기준 이미지들을 디스플레이할 때 비어 있는 그리드 셀들이 없도록 조정된다. 예를 들어, 내비게이션 방향(예컨대, 도 9에 대해 기술된 바와 같이, 전방 또는 후방 내비게이션 버튼들을 사용하여 기준 이미지들의 리스트에서 전방 또는 후방으로 이동함)에 관계없이 선택에 차이가 없을 수 있다. 예를 들어, "3 × 3"의 이미지 레이아웃 모드, 즉 8의 슬라이딩 윈도우 크기에 대해 9개의 기준 이미지들이 있는 경우, 디스플레이를 위해 가능한 2개의 슬라이딩 윈도우들이 있는데, 이때 제1 윈도우는 처음 8개의 기준 이미지들을 사용하고, 마지막 윈도우는 마지막 8개의 기준 이미지들을 사용한다. 구체적으로, N개의 기준 이미지들의 리스트에 대해, m × n의 이미지 레이아웃의 경우, 슬라이딩 윈도우들의 카운트가 다음에 의해 주어진다:
Figure 112019000266547-pct00011
,
여기서 m
Figure 112019000266547-pct00012
1 또는 n
Figure 112019000266547-pct00013
1이고, mod는 수학적 모듈로(modulo) 연산을 나타낸다. 그리고, (N개의 기준 이미지들의 리스트 내로의) i번째 슬라이딩 윈도우 시작 인덱스는 다음에 의해 주어진다:
Figure 112019000266547-pct00014
,
여기서 m
Figure 112019000266547-pct00015
1 또는 n
Figure 112019000266547-pct00016
1,
Figure 112019000266547-pct00017
이다.
도 12는 도 9 내지 도 11의 사용자 인터페이스들과 유사한 사용자 인터페이스(1200)의 일부분을 도시한다. 사용자 인터페이스(1200)는 8개의 기준 이미지들(1210, 1215, 1220, 1225, 1230, 1235, 1240, 1245)을 디스플레이한다. 도 12는 또한 전방 내비게이션 버튼, 후방 내비게이션 버튼, 및 클래스 표시자를 포함한다.
도 13은 도 9 내지 도 12의 사용자 인터페이스들과 유사한 사용자 인터페이스(1300)의 일부분을 도시한다. 사용자 인터페이스(1300)는 8개의 기준 이미지들(번호가 매겨지지 않음)을 디스플레이한다. 도 13은 또한 전방 내비게이션 버튼, 후방 내비게이션 버튼, 및 클래스 표시자를 포함한다. 사용자 인터페이스(1300)는, 8개의 기준 이미지들과, 이미지의 중심에 있는 박스 내에 있는 샘플 이미지의 비교를 위해 사용자가 사용할 수 있는 사용자 인터페이스의 일례이며, 기준 이미지들은 샘플 이미지를 둘러싼다.
도 14는 도 9 내지 도 13의 사용자 인터페이스들과 유사한 사용자 인터페이스(1400)의 일부분을 도시한다. 사용자 인터페이스(1400)는 8개의 기준 이미지들(번호가 매겨지지 않음)을 디스플레이한다. 도 14는 또한 전방 내비게이션 버튼, 후방 내비게이션 버튼, 및 클래스 표시자를 포함한다. 사용자 인터페이스(1400)는, 8개의 기준 이미지들과, 도 14의 중심에 있는 박스 내에 있는 샘플 이미지의 비교를 위해 사용자가 사용할 수 있는 사용자 인터페이스의 일례이며, 기준 이미지들은 샘플 이미지를 둘러싼다.
도 15 내지 도 18은 사용자 인터페이스들의 추가 예들을 도시한다. 도 15는, 예를 들어, 도 19에 도시된 바와 같은 사용자 인터페이스(1900)의 일부분일 수 있는 플로팅 윈도우(1505)를 포함하는 사용자 인터페이스(1500)를 도시한다. 플로팅 윈도우(1505)는 사용자가 플로팅 윈도우(1505) 내에서 우클릭하는 경우에 디스플레이될 수 있는 컨텍스트 메뉴(1510)를 포함할 수 있다. 플로팅 윈도우(1505)에서 (컨텍스트 메뉴(1510) 뒤에) 디스플레이된 샘플 이미지는, 예를 들어, 사용자가 이미지 선택 섹션(1515)으로부터 이미지들 중 하나의 이미지를 선택함으로써 선택될 수 있다. 컨텍스트 메뉴에서 이용가능할 수 있는 옵션 선택들은, 예를 들어, 디스플레이 레이아웃을 변경하는 것, 기준 이미지 소스를 변경하는 것, 하나 이상의 태그들의 선택, 하나 이상의 이미지들의 배향을 변경하는 것, 및 하나 이상의 이미지들의 줌인 또는 줌아웃을 포함할 수 있다.
도 16은, 예를 들어, 도 20에 도시된 바와 같은 사용자 인터페이스(2000)의 일부분일 수 있는 플로팅 윈도우(1605)를 포함하는 사용자 인터페이스(1600)를 도시한다. 플로팅 윈도우(1605)는 사용자가 플로팅 윈도우(1605) 내에서 우클릭하는 경우에 디스플레이될 수 있는 컨텍스트 메뉴(1610)를 포함할 수 있다. 플로팅 윈도우(1605)에 디스플레이된 샘플 이미지(1620)는, 예를 들어, 사용자가 이미지 선택 섹션(1615)으로부터 이미지들 중 하나의 이미지를 선택함으로써 선택될 수 있다. 이 경우에, 샘플 이미지(1620)는 사용자가 이미지 선택 섹션(1615)으로부터 이미지(1625)를 선택하는 것에 의해 선택되었다.
도 17은, 예를 들어, 도 21에 도시된 바와 같은 사용자 인터페이스(2100)의 일부분일 수 있는 플로팅 윈도우(1705)를 포함하는 사용자 인터페이스(1700)를 도시한다. 플로팅 윈도우(1705)는, 도 3의 단계(325)와 관련하여 기술된 바와 같이, 사용자가 기준 이미지들의 선택을 위한 태그 또는 주석을 선택하게 할 수 있는 클래스 식별자(1710)를 포함할 수 있다. 플로팅 윈도우(1705)에 디스플레이된 샘플 이미지(1720)는, 예를 들어, 사용자가 이미지 선택 섹션(1715)으로부터 이미지들 중 하나의 이미지를 선택함으로써 선택될 수 있다. 이 경우에, 샘플 이미지(1720)는 사용자가 이미지 선택 섹션(1715)으로부터 이미지(1725)를 선택하는 것에 의해 선택되었다.
도 18은, 예를 들어, 도 21에 도시된 바와 같은 사용자 인터페이스(2100)의 일부분일 수 있는 플로팅 윈도우(1805)를 포함하는 사용자 인터페이스(1800)를 도시한다. 플로팅 윈도우(1805)는 사용자가 플로팅 윈도우(1805) 내에서 우클릭하는 경우에 디스플레이될 수 있는 컨텍스트 메뉴(1810)를 포함할 수 있다.
도 19는 도 15에 도시된 바와 같은 플로팅 윈도우(1505)로서 묘사된 사용자 인터페이스의 일부분일 수 있는 사용자 인터페이스(1900)의 일부분을 예시한다. 컨텍스트 메뉴(1905)는 사용자가 사용자 인터페이스(1900)의 일부분에서 우클릭할 때 디스플레이될 수 있다. 컨텍스트 메뉴(1905)는 샘플 이미지 및 기준 이미지들의 디스플레이 레이아웃을 변경할 수 있다. 디스플레이가 이미 3 × 1 그리드로 설정되어 있기 때문에, "3 × 1" 선택이 그레이아웃된다. 3 × 1 옵션이 예를 들어 도 11에 도시되어 있다. 다른 옵션 선택은 예를 들어 도 9 및 도 10에 도시된 "2 × 1"을 포함할 수 있다. 다른 옵션 선택은 예를 들어 도 12 내지 도 14에 도시된 "3 × 3"을 포함할 수 있다.
도 20은 도 16에 도시된 바와 같은 플로팅 윈도우(1605)로서 묘사된 사용자 인터페이스의 일부분일 수 있는 사용자 인터페이스(2000)의 일부분을 도시한다. 컨텍스트 메뉴(2005)는 사용자가 사용자 인터페이스(2000)의 일부분에서 우클릭할 때 디스플레이될 수 있다. 컨텍스트 메뉴(2005)는 사용자가 "태그들을 선택"하게 할 수 있는데, 이는 기준 이미지 데이터베이스 내에서의 선택을 위해 기준 이미지들을 식별하기 위한 태그의 선택일 수 있고, 디스플레이된 이미지들을 선택된 클래스로 뿐만 아니라 선택된 태그들에 의해서 추가로 좁힐 수 있다. 이러한 방식으로, 사용자는 필터링을 위한 클래스 및 태그들의 다중 선택을 커스터마이징할 수 있다. 도 20에서, 선택적으로, 사용자가, 클래스 선택 박스(2010)에 의해 보여지는, 선택할 기준 이미지들의 클래스를 선택할 수 있다는 것을 알 수 있다. 이 경우에, 선택된 클래스는 "HYST"이다. 추가로, 태그들은 기준 데이터베이스 내의 기준 이미지들 상에 태깅된 입자들의 다른 특징부들에 기초하여 선택을 추가로 좁히도록 선택될 수 있다. 컨텍스트 메뉴(2005)는 사용자가 디스플레이된 기준 이미지들을 필터링하기 위한 하나 이상의 태그들을 선택하게 할 수 있다. 선택된 태그가 2015에 나타나 있다. 디스플레이된 기준 이미지들은, 기준 이미지가 선택된 클래스 내에서 분류되고 마찬가지로 기준 이미지와 연관된 선택된 태그들을 갖는지 여부에 기초하여, 기준 이미지 데이터베이스로부터 선택될 수 있다.
도 21은 도 18에 도시된 바와 같은 플로팅 윈도우(1805)로서 묘사된 사용자 인터페이스의 일부분일 수 있는 사용자 인터페이스(2100)의 일부분을 도시한다. 컨텍스트 메뉴(2105)는 사용자가 사용자 인터페이스(2100)의 일부분에서 우클릭할 때 디스플레이될 수 있다. 컨텍스트 메뉴(2105)는 사용자가 이미지 소스를 변경하게 할 수 있다. 이미지 소스의 선택은 기준 이미지들이 선택되는 데이터베이스를 선택할 수 있다. 이미지 소스의 선택을 위한 옵션들은, 예를 들어, 구축된 소스(built in source)를 사용하는 것, 또는 예를 들어 사용자 선택된 기준 이미지 데이터베이스를 사용하는 것일 수 있다. 예를 들어, 전술된 바와 같이, 사용자 선택된 기준 이미지 데이터베이스가 생성될 수 있다.
본 명세서에 기술된 각각의 계산 또는 동작들은 하드웨어, 소프트웨어, 및/또는 펌웨어를 갖는 컴퓨터 또는 다른 프로세서를 사용하여 수행될 수 있다. 다양한 방법 단계들은 모듈들에 의해 수행될 수 있으며, 이러한 모듈들은 본 명세서에 기술된 방법 단계들을 수행하도록 배열된 매우 다양한 디지털 및/또는 아날로그 데이터 프로세싱 하드웨어 및/또는 소프트웨어 중 임의의 것을 포함할 수 있다. 이러한 모듈들은 선택적으로 데이터 프로세싱 하드웨어를 포함하는데, 이러한 데이터 프로세싱 하드웨어는 그와 관련된 적절한 기계 프로그래밍 코드를 가짐으로써 이들 단계들 중 하나 이상을 수행하도록 적응되며, 둘 이상의 단계들(또는 둘 이상의 단계 중 일부)을 위한 모듈들은 매우 다양한 분산형 및/또는 통합형 프로세싱 아키텍처들 중 임의의 것에서의 상이한 프로세서 보드들로 분리되거나 또는 단일 프로세서 보드 내에 통합된다. 이들 방법들 및 시스템들은 종종 전술된 방법 단계들을 수행하기 위한 명령어들을 갖는 기계 판독가능 코드를 구현하는 유형적 매체를 채용할 것이다. 적합한 유형적 매체는 메모리(휘발성 메모리 및/또는 비휘발성 메모리를 포함함), 저장 매체(예컨대, 플로피 디스크, 하드 디스크, 테이프 등 상에의; CD, CD-R/W, CD-ROM, DVD 등과 같은 광학 메모리 상에의; 또는 임의의 다른 디지털 또는 아날로그 저장 매체 상에의 자기 기록) 등을 포함할 수 있다.
전술되거나 도면에 도시된 구성요소들뿐만 아니라 도시되거나 기술되지 않은 구성요소들 및 단계들의 상이한 배열들도 가능하다. 유사하게, 일부 특징부들 및 서브조합들이 유용하며, 다른 특징부들 및 서브조합들에 상관없이 채용될 수 있다. 본 발명의 실시예들은 예시적인 그러나 비제한적인 목적을 위해 기술되었으며, 대안적인 실시예들이 본 특허의 독자들에게 명백해질 것이다. 소정의 경우에, 방법 단계들 또는 동작들이 상이한 순서대로 수행 또는 실행될 수 있거나, 동작들이 추가, 삭제 또는 변형될 수 있다. 본 발명의 소정 태양에서는, 요소 또는 구조를 제공하거나 주어진 기능 또는 기능들을 수행하기 위하여, 단일 구성요소가 다수의 구성요소들로 대체될 수 있고, 다수의 구성요소들이 단일 구성요소로 대체될 수 있음이 이해될 수 있다. 그러한 치환이 본 발명의 소정 실시예들을 실시하도록 동작하지 않게 될 경우를 제외하면, 그러한 치환은 본 발명의 범주 내에 있는 것으로 간주된다.
본 발명의 실시예들의 도면들 및 설명들은 본 발명의 명백한 이해를 위해 관련되는 요소들을 예시하도록 간소화되었음이 이해될 것이다. 그러나, 당업자는 이들 및 다른 요소들이 바람직할 수 있음을 인식할 것이다. 그러나, 그러한 요소들이 당업계에 주지되어 있기 때문에, 그리고 그들이 본 발명의 더 양호한 이해를 가능하게 하지 않기 때문에, 그러한 요소들에 대한 논의는 본 명세서에 제공되지 않는다. 도면들은 해석 상의 도면으로서가 아니라 예시의 목적으로 제시된다는 것이 이해되어야 한다. 생략된 상세사항들 및 수정예들 또는 대안의 실시예들은 당업자의 이해 범위 내에 있다.
본 발명의 소정 태양에서는, 요소 또는 구조를 제공하거나 주어진 기능 또는 기능들을 수행하기 위하여, 단일 구성요소가 다수의 구성요소들로 대체될 수 있고, 다수의 구성요소들이 단일 구성요소로 대체될 수 있음이 이해될 수 있다. 그러한 치환이 본 발명의 소정 실시예들을 실시하도록 동작하지 않게 될 경우를 제외하면, 그러한 치환은 본 발명의 범주 내에 있는 것으로 간주된다.
본 명세서에 제시된 예들은 본 발명의 잠재적이고 구체적인 구현예들을 예시하고자 의도된다. 예들은 주로, 당업자를 위해 본 발명의 예시의 목적으로 의도된다는 것이 이해될 수 있다. 본 발명의 사상으로부터 벗어남이 없이 본 명세서에 기술된 이들 다이어그램들 또는 동작들에 대한 변형예들이 있을 수 있다. 예를 들어, 소정의 경우들에 있어서, 방법 단계들 또는 동작들이 상이한 순서대로 수행 또는 실행될 수 있거나, 동작들이 추가, 삭제 또는 수정될 수 있다.
게다가, 본 발명의 특정 실시예들이 본 발명을 제한할 목적이 아니라 본 발명을 예시할 목적으로 본 명세서에 기술된 반면, 청구범위에 기술되는 바와 같은 본 발명으로부터 벗어남이 없이 본 발명의 원리 및 범주 내에서 상세사항들, 요소들의 재료들 및 배열, 단계들, 구조들, 및/또는 부분들에 대한 수많은 변형들이 이루어질 수 있음이 당업자에게 이해될 것이다.
본 발명에서 논의된 모든 특허, 특허 공보, 특허 출원, 학술지 기사, 서적, 기술 참고 문헌 등이 모든 목적들을 위해 그들 전체가 참고로 본 명세서에 포함된다.

Claims (24)

  1. 생물학적 샘플 입자들의 분석을 돕기 위한 의료 디바이스로서,
    프로세서; 및
    상기 프로세서에 의해 실행가능한 명령어들이 저장된 메모리 디바이스를 포함하고,
    상기 명령어들은, 상기 프로세서로 하여금,
    생물학적 샘플로부터 샘플 입자의 샘플 이미지를 수신하게 하고;
    기준 이미지들의 데이터베이스로부터 복수의 기준 이미지들을 선택하게 하고 - 상기 복수의 기준 이미지들의 각각의 기준 이미지는 하나 이상의 생물학적 샘플들로부터의 복수의 기준 입자들로부터의 기준 입자의 기준 이미지임 -;
    상기 샘플 이미지에 대한 각각의 기준 이미지의 유사성에 기초하여 상기 복수의 기준 이미지들의 순서를 결정하게 하고;
    상기 결정된 순서에 기초하여 상기 복수의 기준 이미지들로부터 제1 기준 이미지를 선택하게 하고;
    상기 제1 기준 이미지를 상기 샘플 이미지와 정렬시키게 하고;
    상기 정렬된 제1 기준 이미지의 배경을 동적으로 충전하게 하고;
    사용자 인터페이스 내에 상기 샘플 이미지 및 상기 동적으로 충전되고 정렬된 제1 기준 이미지를 디스플레이하게 하는, 의료 디바이스.
  2. 제1항에 있어서, 상기 복수의 기준 이미지들의 순서를 결정하게 하기 위한 명령어는, 상기 프로세서로 하여금,
    상기 샘플 이미지를 상기 복수의 기준 이미지들의 각각의 기준 이미지와 비교하게 하기 위한; 그리고
    상기 샘플 이미지에 대한 각각의 기준 이미지의 유사성을 판정하게 하기 위한, 상기 프로세서에 의해 실행가능한 명령어들을 포함하는, 의료 디바이스.
  3. 제1항 또는 제2항에 있어서, 상기 샘플 이미지를 상기 복수의 기준 이미지들의 각각의 기준 이미지와 비교하게 하기 위한 명령어는, 상기 프로세서로 하여금,
    상기 복수의 기준 이미지들의 기준 이미지들 각각 및 상기 샘플 이미지에 대한 특징부 벡터를 생성하게 하기 위한; 그리고
    상기 샘플 이미지와 상기 복수의 기준 이미지들의 각각의 기준 이미지에 대한 거리 메트릭을 계산하게 하기 위한, 상기 프로세서에 의해 실행가능한 명령어들을 포함하는, 의료 디바이스.
  4. 제3항에 있어서, 상기 복수의 기준 이미지들의 기준 이미지들 각각 및 상기 샘플 이미지에 대한 특징부 벡터를 생성하는 데 사용되는 특징부들은 패치 크기, 입자 크기, 입자 형상, 평균 픽셀 세기, 및 이미지 평균 그레이스케일 값 중 적어도 하나를 포함하는, 의료 디바이스.
  5. 제1항 또는 제2항에 있어서, 상기 제1 기준 이미지를 상기 샘플 이미지와 정렬시키게 하기 위한 명령어는, 상기 프로세서로 하여금,
    상기 사용자 인터페이스 내에 상기 샘플 이미지를 디스플레이하기 위한 제1 디스플레이 위치를 결정하게 하기 위한 - 상기 제1 디스플레이 위치는 셀들의 그리드의 제1 셀 내에 있음 -;
    상기 사용자 인터페이스 내에 상기 제1 기준 이미지를 디스플레이하기 위한 상기 제1 디스플레이 위치에 인접한 제2 디스플레이 위치를 결정하게 하기 위한 - 상기 제2 디스플레이 위치는 상기 셀들의 그리드의 제2 셀 내에 있음 -; 그리고
    상기 제2 디스플레이 위치 내의 제1 기준 이미지의 중심을 상기 제1 디스플레이 위치 내의 샘플 이미지의 중심과 정렬시키게 하기 위한, 상기 프로세서에 의해 실행가능한 명령어들을 포함하는, 의료 디바이스.
  6. 제5항에 있어서, 상기 정렬된 제1 기준 이미지의 배경을 동적으로 충전하게 하기 위한 명령어는, 상기 프로세서로 하여금,
    상기 제2 셀 내의 상기 제1 기준 이미지의 배경을 확장시켜 상기 제2 셀을 충전하게 하기 위한;
    상기 제1 기준 이미지의 배경 색상을 결정하게 하기 위한; 그리고
    상기 제1 기준 이미지의 확장된 배경을 상기 배경 색상으로 충전하게 하기 위한, 상기 프로세서에 의해 실행가능한 명령어들을 포함하는, 의료 디바이스.
  7. 제6항에 있어서, 상기 제1 기준 이미지의 배경 색상을 결정하게 하기 위한 명령어들은, 상기 프로세서로 하여금,
    상기 제1 기준 이미지의 4개의 코너 픽셀들을 결정하게 하기 위한; 그리고
    상기 4개의 코너 픽셀들의 평균 색상 값을 계산하게 하기 위한, 상기 프로세서에 의해 실행가능한 명령어들을 포함하는, 의료 디바이스.
  8. 제1항 또는 제2항에 있어서, 상기 복수의 기준 이미지들은 상기 복수의 기준 이미지들의 각각의 기준 이미지와 연관된 태그에 기초하여 선택되는, 의료 디바이스.
  9. 방법으로서,
    컴퓨터 시스템에서, 생물학적 샘플로부터 샘플 입자의 샘플 이미지를 수신하는 단계;
    상기 컴퓨터 시스템에 의해, 기준 이미지들의 데이터베이스로부터 복수의 기준 이미지들을 선택하는 단계 - 상기 복수의 기준 이미지들의 각각의 기준 이미지는 하나 이상의 생물학적 샘플들로부터의 복수의 기준 입자들로부터의 기준 입자의 기준 이미지임 -;
    상기 컴퓨터 시스템에 의해, 상기 샘플 이미지에 대한 각각의 기준 이미지의 유사성에 기초하여 상기 복수의 기준 이미지들의 순서를 결정하는 단계;
    상기 컴퓨터 시스템에 의해, 상기 결정된 순서에 기초하여 상기 복수의 기준 이미지들로부터 제1 기준 이미지를 선택하는 단계;
    상기 컴퓨터 시스템에 의해, 상기 제1 기준 이미지를 상기 샘플 이미지와 정렬시키는 단계;
    상기 컴퓨터 시스템에 의해, 상기 정렬된 제1 기준 이미지의 배경을 동적으로 충전하는 단계; 및
    상기 컴퓨터 시스템에 의해, 사용자 인터페이스 내에 상기 샘플 이미지 및 상기 동적으로 충전되고 정렬된 제1 기준 이미지를 디스플레이하는 단계를 포함하는, 방법.
  10. 제9항에 있어서, 상기 복수의 기준 이미지들의 순서를 결정하는 단계는,
    상기 컴퓨터 시스템에 의해, 상기 샘플 이미지를 상기 복수의 기준 이미지들의 각각의 기준 이미지와 비교하는 단계; 및
    상기 컴퓨터 시스템에 의해, 상기 샘플 이미지에 대한 각각의 기준 이미지의 유사성을 판정하는 단계를 포함하는, 방법.
  11. 제10항에 있어서, 상기 샘플 이미지를 상기 복수의 기준 이미지들의 각각의 기준 이미지와 비교하는 단계는,
    상기 컴퓨터 시스템에 의해, 상기 복수의 기준 이미지들의 기준 이미지들 각각 및 상기 샘플 이미지에 대한 특징부 벡터를 생성하는 단계; 및
    상기 컴퓨터 시스템에 의해, 각각의 이미지에 대한 상기 생성된 특징부 벡터들에 기초하여 상기 샘플 이미지로부터 상기 복수의 기준 이미지들의 각각의 기준 이미지에 대한 거리 메트릭을 계산하는 단계를 포함하는, 방법.
  12. 제11항에 있어서, 상기 복수의 기준 이미지들의 기준 이미지들 각각 및 상기 샘플 이미지에 대한 특징부 벡터를 생성하는 데 사용되는 특징부들은 패치 크기, 입자 크기, 입자 형상, 평균 픽셀 세기, 및 이미지 평균 그레이스케일 값 중 적어도 하나를 포함하는, 방법.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서, 상기 제1 기준 이미지를 상기 샘플 이미지와 정렬시키는 단계는,
    상기 컴퓨터 시스템에 의해, 상기 사용자 인터페이스 내에 상기 샘플 이미지를 디스플레이하기 위한 제1 디스플레이 위치를 결정하는 단계 - 상기 제1 디스플레이 위치는 셀들의 그리드의 제1 셀 내에 있음 -;
    상기 컴퓨터 시스템에 의해, 상기 사용자 인터페이스 내에 상기 제1 기준 이미지를 디스플레이하기 위한 상기 제1 디스플레이 위치에 인접한 제2 디스플레이 위치를 결정하는 단계 - 상기 제2 디스플레이 위치는 상기 셀들의 그리드의 제2 셀 내에 있음 -; 및
    상기 컴퓨터 시스템에 의해, 상기 제2 디스플레이 위치 내의 제1 기준 이미지의 중심을 상기 제1 디스플레이 위치 내의 샘플 이미지의 중심과 정렬시키는 단계를 포함하는, 방법.
  14. 제13항에 있어서, 상기 정렬된 제1 기준 이미지의 배경을 동적으로 충전하는 단계는,
    상기 컴퓨터 시스템에 의해, 상기 제2 셀 내의 상기 제1 기준 이미지의 배경을 확장시켜 상기 제2 셀을 충전하는 단계;
    상기 컴퓨터 시스템에 의해, 상기 제1 기준 이미지의 배경 색상을 결정하는 단계; 및
    상기 컴퓨터 시스템에 의해, 상기 제1 기준 이미지의 확장된 배경을 상기 배경 색상으로 충전하는 단계를 포함하는, 방법.
  15. 제14항에 있어서, 상기 제1 기준 셀의 배경 색상을 결정하는 단계는,
    상기 컴퓨터 시스템에 의해, 상기 제1 기준 이미지의 4개의 코너 픽셀들을 결정하는 단계; 및
    상기 컴퓨터 시스템에 의해, 상기 4개의 코너 픽셀들의 평균 색상 값을 계산하는 단계를 포함하는, 방법.
  16. 제9항 내지 제12항 중 어느 한 항에 있어서, 상기 복수의 기준 이미지들은 상기 복수의 기준 이미지들의 각각의 기준 이미지와 연관된 태그에 기초하여 선택되는, 방법.
  17. 프로그램 코드를 포함하는 컴퓨터 판독가능 메모리 디바이스로서, 상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    생물학적 샘플로부터 샘플 입자의 샘플 이미지를 수신하게 하고;
    기준 이미지들의 데이터베이스로부터 복수의 기준 이미지들을 선택하게 하고 - 상기 복수의 기준 이미지들의 각각의 기준 이미지는 하나 이상의 생물학적 샘플들로부터의 복수의 기준 입자들로부터의 기준 입자의 기준 이미지임 -;
    상기 샘플 이미지에 대한 각각의 기준 이미지의 유사성에 기초하여 상기 복수의 기준 이미지들의 순서를 결정하게 하고;
    상기 결정된 순서에 기초하여 상기 복수의 기준 이미지들로부터 제1 기준 이미지를 선택하게 하고;
    상기 제1 기준 이미지를 상기 샘플 이미지와 정렬시키게 하고;
    상기 정렬된 제1 기준 이미지의 배경을 동적으로 충전하게 하고;
    사용자 인터페이스 내에 상기 샘플 이미지 및 상기 동적으로 충전되고 정렬된 제1 기준 이미지를 디스플레이하게 하는, 컴퓨터 판독가능 메모리 디바이스.
  18. 제17항에 있어서, 상기 복수의 기준 이미지들의 순서를 결정하게 하는 프로그램 코드는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    상기 샘플 이미지를 상기 복수의 기준 이미지들의 각각의 기준 이미지와 비교하게 하고;
    상기 샘플 이미지에 대한 각각의 기준 이미지의 유사성을 판정하게 하는 프로그램 코드를 포함하는, 컴퓨터 판독가능 메모리 디바이스.
  19. 제18항에 있어서, 상기 샘플 이미지를 상기 복수의 기준 이미지들의 각각의 기준 이미지와 비교하게 하는 프로그램 코드는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    상기 복수의 기준 이미지들의 기준 이미지들 각각 및 상기 샘플 이미지에 대한 특징부 벡터를 생성하게 하고;
    상기 샘플 이미지와 함께 상기 복수의 기준 이미지들의 각각의 기준 이미지에 대한 거리 메트릭을 계산하게 하는 프로그램 코드를 포함하는, 컴퓨터 판독가능 메모리 디바이스.
  20. 제19항에 있어서, 상기 복수의 기준 이미지들의 기준 이미지들 각각 및 상기 샘플 이미지에 대한 특징부 벡터를 생성하는 데 사용되는 특징부들은 패치 크기, 입자 크기, 입자 형상, 평균 픽셀 세기, 및 이미지 평균 그레이스케일 값 중 적어도 하나를 포함하는, 컴퓨터 판독가능 메모리 디바이스.
  21. 제17항 내지 제20항 중 어느 한 항에 있어서, 상기 제1 기준 이미지를 상기 샘플 이미지와 정렬시키게 하는 프로그램 코드는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    상기 사용자 인터페이스 내에 상기 샘플 이미지를 디스플레이하기 위한 제1 디스플레이 위치를 결정하게 하고 - 상기 제1 디스플레이 위치는 셀들의 그리드의 제1 셀 내에 있음 -;
    상기 사용자 인터페이스 내에 상기 제1 기준 이미지를 디스플레이하기 위한 상기 제1 디스플레이 위치에 인접한 제2 디스플레이 위치를 결정하게 하고 - 상기 제2 디스플레이 위치는 상기 셀들의 그리드의 제2 셀 내에 있음 -;
    상기 제2 디스플레이 위치 내의 제1 기준 이미지의 중심을 상기 제1 디스플레이 위치 내의 샘플 이미지의 중심과 정렬시키게 하는 프로그램 코드를 포함하는, 컴퓨터 판독가능 메모리 디바이스.
  22. 제21항에 있어서, 상기 정렬된 제1 기준 이미지의 배경을 동적으로 충전하게 하는 프로그램 코드는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    상기 제2 셀 내의 상기 제1 기준 이미지의 배경을 확장시켜 상기 제2 셀을 충전하게 하고;
    상기 제1 기준 이미지의 배경 색상을 결정하게 하고;
    상기 제1 기준 이미지의 확장된 배경을 상기 배경 색상으로 충전하게 하는 프로그램 코드를 포함하는, 컴퓨터 판독가능 메모리 디바이스.
  23. 제22항에 있어서, 상기 제1 기준 이미지의 배경 색상을 결정하게 하는 프로그램 코드는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    상기 제1 기준 이미지의 4개의 코너 픽셀들을 결정하게 하고;
    상기 4개의 코너 픽셀들의 평균 색상 값을 계산하게 하는 프로그램 코드를 포함하는, 컴퓨터 판독가능 메모리 디바이스.
  24. 제17항 내지 제20항 중 어느 한 항에 있어서, 상기 복수의 기준 이미지들은 상기 복수의 기준 이미지들의 각각의 기준 이미지와 연관된 태그에 기초하여 선택되는, 컴퓨터 판독가능 메모리 디바이스.
KR1020197000075A 2016-06-24 2017-06-23 이미지 아틀라스 시스템 및 방법 KR102309995B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662354520P 2016-06-24 2016-06-24
US62/354,520 2016-06-24
PCT/US2017/038953 WO2017223412A1 (en) 2016-06-24 2017-06-23 Image atlas systems and methods

Publications (2)

Publication Number Publication Date
KR20190022612A KR20190022612A (ko) 2019-03-06
KR102309995B1 true KR102309995B1 (ko) 2021-10-06

Family

ID=59295339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197000075A KR102309995B1 (ko) 2016-06-24 2017-06-23 이미지 아틀라스 시스템 및 방법

Country Status (7)

Country Link
US (2) US11448583B2 (ko)
EP (2) EP3475683B1 (ko)
JP (3) JP6913697B2 (ko)
KR (1) KR102309995B1 (ko)
CN (1) CN109416313A (ko)
BR (1) BR112018076406A2 (ko)
WO (1) WO2017223412A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112018076406A2 (pt) 2016-06-24 2019-04-09 Beckman Coulter Inc sistemas e métodos para um atlas de imagens
CN108538379A (zh) * 2017-12-29 2018-09-14 上海联影医疗科技有限公司 磁共振参数卡中参数的处理方法及磁共振参数卡界面
US10747811B2 (en) * 2018-05-22 2020-08-18 Adobe Inc. Compositing aware digital image search
JP7175158B2 (ja) * 2018-10-29 2022-11-18 アークレイ株式会社 情報処理装置、測定システム、及びプログラム
US11126330B2 (en) * 2018-10-29 2021-09-21 Autodesk, Inc. Shaped-based techniques for exploring design spaces
US11380045B2 (en) 2018-10-29 2022-07-05 Autodesk, Inc. Shaped-based techniques for exploring design spaces
US11741662B2 (en) 2018-10-29 2023-08-29 Autodesk, Inc. Shaped-based techniques for exploring design spaces
GB201820327D0 (en) * 2018-12-13 2019-01-30 Dublin Institute Of Tech On-site detection of parasitic infection of mammals
WO2020146341A1 (en) * 2019-01-07 2020-07-16 Futurewei Technologies, Inc. Point cloud bitstream structure and auxiliary information differential coding
CN113869087A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 识别物体的卫生状况方法及相关电子设备
JPWO2022181746A1 (ko) * 2021-02-26 2022-09-01

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012346A (ja) 2014-06-04 2016-01-21 パナソニック株式会社 制御方法及びプログラム
WO2016025236A1 (en) 2014-08-11 2016-02-18 Bayer Healthcare Llc Reconfigurable measurement system
JP2016517515A (ja) 2013-03-15 2016-06-16 ホロジック, インコーポレイテッドHologic, Inc. 細胞診標本を観察および解析するためのシステムおよび方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH055733A (ja) 1991-06-28 1993-01-14 Sanyo Electric Co Ltd 血液像検査装置
JP3165309B2 (ja) * 1993-12-22 2001-05-14 株式会社日立製作所 粒子画像解析装置
US5732230A (en) 1995-05-19 1998-03-24 Richo Company Ltd. Computer user interface for manipulating image fragments using drag, drop and merge operations
JPH11132932A (ja) * 1997-10-29 1999-05-21 Hitachi Ltd 生体に関する粒子画像分類システムおよび粒子の再分類方法
ATE414294T1 (de) * 2002-11-18 2008-11-15 Int Remote Imaging Systems Inc Mehrstufiges steuersystem
CN102621053B (zh) * 2005-09-21 2015-05-06 卢米尼克斯股份有限公司 图像数据处理的方法和系统
JP2008059088A (ja) * 2006-08-29 2008-03-13 Toshiba Corp 画像表示システム、及び画像表示装置
JP4875470B2 (ja) 2006-11-24 2012-02-15 富士フイルム株式会社 色補正装置および色補正プログラム
CN100573523C (zh) * 2006-12-30 2009-12-23 中国科学院计算技术研究所 一种基于显著区域的图像查询方法
JP2008188177A (ja) 2007-02-02 2008-08-21 Hitachi Medical Corp 画像処理装置
CN101339556B (zh) * 2008-08-18 2010-09-29 福建四通石材有限公司 一种利用圆锥坐标实现图像颜色相似对比的方法
ES2763537T3 (es) * 2008-09-16 2020-05-29 Beckman Coulter Inc Diagrama de árbol interactivo para datos de citometría de flujo
JP2010151523A (ja) * 2008-12-24 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法および装置
JP5438962B2 (ja) 2008-12-25 2014-03-12 シスメックス株式会社 細胞画像表示装置
CN101539930B (zh) * 2009-04-21 2011-06-15 武汉大学 一种相关反馈图像检索方法
GB0917154D0 (en) * 2009-09-30 2009-11-11 Imp Innovations Ltd Method and apparatus for processing medical images
JP2011257979A (ja) * 2010-06-09 2011-12-22 Olympus Imaging Corp 画像検索装置、画像検索方法、およびカメラ
CN102467564B (zh) 2010-11-12 2013-06-05 中国科学院烟台海岸带研究所 一种基于改进支持向量机相关反馈的遥感图像检索方法
WO2013001678A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
US9076076B1 (en) * 2012-03-30 2015-07-07 Google Inc. Image similarity determination
WO2014164757A1 (en) * 2013-03-11 2014-10-09 Roche Diagnostics Hematology, Inc. Imaging blood cells
US10705008B2 (en) * 2013-03-15 2020-07-07 Iris International, Inc. Autofocus systems and methods for particle analysis in blood samples
JP2014235494A (ja) 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
US11853377B2 (en) * 2013-09-11 2023-12-26 See-Out Pty Ltd Image searching method and apparatus
JP6099593B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP5810251B1 (ja) * 2014-04-09 2015-11-11 パナソニック株式会社 情報端末の制御方法及びプログラム
CN104809245A (zh) * 2015-05-13 2015-07-29 信阳师范学院 一种图像检索方法
KR101774746B1 (ko) * 2015-08-13 2017-09-05 주식회사 슈프리마 지문 인증 방법 및 그 지문 인증 방법을 이용한 장치
CN105631872B (zh) * 2015-12-28 2018-06-26 西安电子科技大学 基于多特征点的遥感图像配准方法
BR112018076406A2 (pt) 2016-06-24 2019-04-09 Beckman Coulter Inc sistemas e métodos para um atlas de imagens

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016517515A (ja) 2013-03-15 2016-06-16 ホロジック, インコーポレイテッドHologic, Inc. 細胞診標本を観察および解析するためのシステムおよび方法
JP2016012346A (ja) 2014-06-04 2016-01-21 パナソニック株式会社 制御方法及びプログラム
WO2016025236A1 (en) 2014-08-11 2016-02-18 Bayer Healthcare Llc Reconfigurable measurement system

Also Published As

Publication number Publication date
EP3475683A1 (en) 2019-05-01
JP2021177407A (ja) 2021-11-11
JP2019527876A (ja) 2019-10-03
JP7275202B2 (ja) 2023-05-17
US20230087210A1 (en) 2023-03-23
KR20190022612A (ko) 2019-03-06
WO2017223412A1 (en) 2017-12-28
JP2023100825A (ja) 2023-07-19
US11448583B2 (en) 2022-09-20
JP6913697B2 (ja) 2021-08-04
BR112018076406A2 (pt) 2019-04-09
EP3475683B1 (en) 2022-04-06
EP4092403A1 (en) 2022-11-23
US20190271632A1 (en) 2019-09-05
CN109416313A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
KR102309995B1 (ko) 이미지 아틀라스 시스템 및 방법
Zhang et al. Automated semantic segmentation of red blood cells for sickle cell disease
Wieslander et al. Deep learning with conformal prediction for hierarchical analysis of large-scale whole-slide tissue images
CN109844494B (zh) 动态聚焦系统和方法
NL2003805A (en) Systems, apparatus and processes for automated medical image segmentation using a statistical model.
Kayser et al. Quantitative pathology in virtual microscopy: history, applications, perspectives
Wang et al. Bi-channel image registration and deep-learning segmentation (BIRDS) for efficient, versatile 3D mapping of mouse brain
Amat et al. Towards comprehensive cell lineage reconstructions in complex organisms using light‐sheet microscopy
Gadermayr et al. CNN cascades for segmenting whole slide images of the kidney
JP2009527063A (ja) 仮想環境において見本及びデータを使用及び統合するシステム及びその方法
CN105095910A (zh) 一种dicom图像的分类方法
EP3676750B1 (en) Detection of biological cells and tracing of cell lineage
RU2732895C1 (ru) Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей
Pérez et al. Automated detection of lung nodules with three-dimensional convolutional neural networks
Wilbur et al. Automated identification of glomeruli and synchronised review of special stains in renal biopsies by machine learning and slide registration: a cross‐institutional study
Tashk et al. A novel CAD system for mitosis detection using histopathology slide images
JP2024026059A (ja) 組織領域における複数の細胞型について密度および空間関係を効率的に決定するための方法
Alzu'bi et al. A new approach for detecting eosinophils in the gastrointestinal tract and diagnosing eosinophilic colitis.
Bi et al. Automated thresholded region classification using a robust feature selection method for PET-CT
Petersen et al. Effective user interaction in online interactive semantic segmentation of glioblastoma magnetic resonance imaging
Li et al. iPad for bioimage informatics
Sharma et al. Revolutionizing Kidney Disease Diagnosis: A Comprehensive CNN-Based Framework for Multi-Class CT Classification
Zhao et al. An improved attention module based on nnU-Net for segmenting primary central nervous system lymphoma (PCNSL) in MRI images 1
CN118799382A (zh) 扫描图像的不对称指数体素值的统计方法和装置
RANI et al. Histopathological Image Analysis Using Deep Learning Framework

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant