KR20090006295A - 세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템,이를 이용하는 세포 슬라이드 판독 방법 및 기록매체 - Google Patents

세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템,이를 이용하는 세포 슬라이드 판독 방법 및 기록매체 Download PDF

Info

Publication number
KR20090006295A
KR20090006295A KR1020070069489A KR20070069489A KR20090006295A KR 20090006295 A KR20090006295 A KR 20090006295A KR 1020070069489 A KR1020070069489 A KR 1020070069489A KR 20070069489 A KR20070069489 A KR 20070069489A KR 20090006295 A KR20090006295 A KR 20090006295A
Authority
KR
South Korea
Prior art keywords
cell
digital image
reading
slide
image
Prior art date
Application number
KR1020070069489A
Other languages
English (en)
Inventor
하숙태
Original Assignee
하숙태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하숙태 filed Critical 하숙태
Priority to KR1020070069489A priority Critical patent/KR20090006295A/ko
Publication of KR20090006295A publication Critical patent/KR20090006295A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Hematology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템, 이를 이용하는 세포 슬라이드 판독 방법 및 기록매체가 개시된다. 이 장치는 세포 슬라이드의 영역 중 현재 현미경을 통하여 관찰되고 있는 영역(이하, 관찰 영역)에 해당하는 디지털 이미지를 실시간으로 획득하는 이미지 획득부; 및 상기 이미지 획득부에서 획득되는 일련의 디지털 이미지들 중 전부 또는 일부에 대해, 타겟 세포 검출을 위한 판독을 수행하는 검출부를 포함한다. 본 발명에 따르면, 세포 슬라이드를 검사하는 검사자의 판독과 동시에 판독 장치에 의한 판독이 이루어지고 판독 결과가 보고됨으로써 검사자의 판독 정확성을 향상시킬 수 있다.
현미경, 세포, 슬라이드, 세포검사, 세포판독

Description

세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템, 이를 이용하는 세포 슬라이드 판독 방법 및 기록매체{APPARATUS, SYSTEM AND METHOD FOR EXAMINATION OF CELL SLIDE AND READABLE MEDIUM THEREOF}
도 1은 본 발명의 일실시 예에 따른 세포 슬라이드 판독 장치를 설명하기 위한 블록도이다.
도 2는 세포 슬라이드의 일부를 예시하는 도면이다.
도 3은 서로 다른 시점에서 획득되는 2개의 디지털 이미지를 설명하기 위한 도면이다.
도 4는 데이터 기록부에 기록되는 컨텐츠를 예시하는 테이블이다.
도 5는 판독 결과 및 검출 결과를 하나의 화면상에 표시한 일실시예를 나타낸다.
도 6은 본 발명의 일실시예에 따른 슬라이드에 좌표인식을 위해 삽입되는 인공패턴을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 세포 슬라이드 판독 시스템을 나타내는 블록도이다.
도 8은 화면에 검출 결과를 디스플레이할 때에 사용될 수 있는 인디케이트 램프 및 바운딩 박스를 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 세포 슬라이드 판독 방법을 나타내는 흐름도이다.
본 발명은 세포 슬라이드 판독에 관한 것으로, 보다 상세하게는 세포 슬라이드를 판독하는 자가 보다 편리하고 정확하게 판독할 수 있도록 하는 세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템, 이를 이용하는 세포 슬라이드 판독 방법 및 기록매체에 관한 것이다.
인체 장기의 세포를 형태학적으로 검사하기 위해서는 우선 해당 장기에서 세포 검사물을 채취하고 도말 등의 처리과정을 거쳐 유리슬라이드 표본을 제작한 후 상기 표본을 훈련된 검사자가 현미경을 이용하여 판독을 수행한다.
현미경을 이용한 상기 표본의 판독과정에서는 검사자는 상당한 주의를 기울여서 그리고 적절한 배율로 표본을 판독하여야 한다. 그런데 판독에 이용되는 현미경의 배율이 높아질수록 면밀한 관찰이 가능해지는 반면 관찰 가능한 시야는 점점 좁아지므로 한 표본슬라이드당 관찰하여야 할 화면의 수가 많아지고(100배 배율로 관찰 시 약 500 화면) 판독 시간도 길어지는 불편이 따르게 된다.
그러나, 검사자가 상기 문제점을 극복하고자 판독 속도를 높이거나 표본의 일부라도 판독 대상에서 빠뜨릴 경우 꼭 찾아내야 할 세포를 놓치게 될 가능성이 높아지게 된다.
여러 보고들에 따르면, 상기 문제점들로 인하여 부인과 자궁경부도말 세포 검사물의 경우, 위음성(false negative) 판독비율이 높게는 약 50%에까지 이른다고 알려져 있다.
그러나 이러한 위음성례를 감소시키고 오판독(misinterpretation)을 방지하는 것을 검사자의 성실성에만 의지하는 것은 한계가 있을 수밖에 없다.
검사자가 잘 훈련되어 있어야 하고 또한 치밀하게 판독하여야 함은 당연하지만 세포 판독에 있어서 불가피하게 따르는 객관성의 결여(세포 형태 판독에서 검사자에 따라 또는 같은 검사자라 하더라도 때에 따라 상이한 결과를 낼 수 있음)와 간혹 발생할 수 있는 판독자의 집중력 저하에 따른 인간적인 실수는 피하기 어렵다.
상기한 세포검사의 위음성 문제는 상당히 심각한 결과를 초래할 수 있으므로 검사자의 업무량을 적정량으로 줄이거나 판독능력을 높이고 정도관리 교육을 잘 받도록 하는 등의 방법을 동원하고 있으나 신뢰도가 높다고 할 수는 없다.
시스템적인 해결책으로는 컴퓨터를 이용한 판독장비인 AutoPapSystem을 들 수 있다. 이 장비는 한 슬라이드표본을 다수개의 동일 크기 영역으로 분할하고 상기 분할된 각각의 영역 전체에 걸쳐 순차적으로 관찰 영역을 이동시키며 컴퓨터를 이용한 인식을 수행한다.
상기 장비는 슬라이드 전 영역을 빠짐없이 인식한다는 장점이 있으나 고도의 자동화기기이므로 상당한 고가의 제품이라 비용이 많이 든다는 문제점이 있을 뿐만 아니라 실질적으로 슬라이드 표본의 일부만이 세밀한 관찰을 요하는 영역인 경우가 많음에도 (상당수 영역은 그저 노이즈에 불과한 인식이 무의미한 영역) 전 영역을 동일하게 취급하여 인식을 수행함으로써 처리 속도의 저하와 비효율을 감수하여야하는 문제점이 있다.
또한 상기 AutopapSystem을 사용하는 경우에도 본 장비가 아직 완벽한 세포 인식 알고리듬을 구현하지 못하는 까닭에 본 장비의 판독 결과가 나오기를 기다렸다가 상당부분의 판독건을 다시 전문가가 재판독하여야 하므로 업무 수행에 큰 도움이 되지 못하고 있다.
본 발명이 이루고자 하는 기술적 과제는, 세포 슬라이드를 검사자가 보다 편리하고 정확하게 판독할 수 있도록 하는 세포 슬라이드 판독 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 세포 슬라이드를 검사자가 보다 편리하고 정확하게 판독할 수 있도록 하는 세포 슬라이드 판독 시스템을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 세포검사자의 판독과정에서 컴퓨터가 실시간 판독을 수행하고 이를 기록함으로서 세포검사자의 판독과정에 대한 관리를 가능하게 하는 세포슬라이드 판독 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 세포검사자의 판독과정에서 컴퓨터가 실시간 판독을 수행하고 이를 기록함으로서 세포검사자의 판독과정에 대한 관리를 가능하게 하는 세포슬라이드 판독 시스템을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 세포 슬라이드를 검사자가 보다 편리하고 정확하게 판독할 수 있도록 하는 세포 슬라이드 판독 방법 및 이를 컴퓨터 상에서 실현시키기 위한 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는, 세포 슬라이드 검사자의 판독과정에 대한 관리를 할 수 있도록 하는 관리방법 및 이를 컴퓨터 상에서 실현시키기 위한 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다.
상기의 기술적 과제를 이루기 위한 본 발명의 제1 측면은, 세포 슬라이드의 영역 중 현재 현미경을 통하여 관찰되고 있는 영역(이하, 관찰 영역)에 해당하는 디지털 이미지를 실시간으로 획득하는 이미지 획득부; 및 상기 이미지 획득부에서 획득되는 일련의 디지털 이미지들 중 전부 또는 일부에 대해, 타겟 세포 검출을 위한 판독을 수행하는 검출부를 포함하는 세포 슬라이드 판독 장치를 제공한다.
상기의 기술적 과제를 이루기 위한 본 발명의 제2 측면은, 세포 슬라이드에 대한 관찰 영역을 이동하면서, 검사자에게 현재의 관찰 영역을 확대 표시하는 확대 표시부; 현재 확대 표시되는 관찰 영역에 해당하는 디지털 이미지를 실시간으로 획득하는 이미지 획득부; 및 상기 이미지 획득부에서 획득되는 일련의 디지털 이미지들 중 전부 또는 일부에 대해, 타겟 세포 검출을 위한 판독을 수행하는 검출부를 포함하는 세포 슬라이드 판독 시스템을 제공한다.
상기의 기술적 과제를 이루기 위한 본 발명의 제3 측면은, (a) 세포 슬라이드의 영역 중 현재 현미경을 통하여 관찰되고 있는 영역(이하, 관찰 영역)에 해당하는 디지털 이미지를 실시간으로 획득하는 단계; 및 (b) 상기 획득되는 일련의 디지털 이미지들 중 전부 또는 일부에 대해, 타겟 세포 검출을 위한 판독을 수행하는 단계를 포함하는 세포 슬라이드 판독 방법을 제공한다.
상기의 기술적 과제를 이루기 위한 본 발명의 제4 측면은, 본 발명의 방법들을 컴퓨터 상에서 실현시키기 위한 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 장치 및 방법에 대해 상세히 설명한다.
도 1은 본 발명의 일실시 예에 따른 세포 슬라이드 판독 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 실시예에 따른 세포 슬라이드 판독 장치(100)는, 현미경(180)과 유선 또는 무선 통신 인터페이스로 연결되어 있으며, 기본적으로, 이미지 획득부(110), 및 검출부(120)를 포함하며, 사용자 편의성 향상을 위해 부가적으 로 검출 결과 제공부(130), 데이터 기록부(140), 및 판독 결과 표시부(150)를 더 포함한다.
현미경(180)은 세포 슬라이드(190)에 대한 관찰 영역을 이동하면서, 검사자에게 현재의 관찰 영역을 확대 표시하여 검사자의 시야에 제공하고, 현재 확대 표시되는 관찰 영역에 해당하는 일련의 영상 신호 또는 디지털 화상 처리가 가능한 일련의 디지털 이미지의 데이터를 유선 또는 무선 통신 인터페이스를 통하여 연결된 세포 슬라이드 판독 장치(100)에 제공한다. 여기서, 영상 신호의 예로는 NTSC, PAL 등의 아날로그 영상 신호 또는 Bayer 데이터, RGB raw 데이터, 비트맵 데이터 등의 디지털 영상 신호를 들 수 있다. 도 2는 세포 슬라이드(190)의 일부(192)를 현미경 상에서 보았을 경우에 해당하는 도면이다. 도 2에서, 빨간 바운딩 박스 내에 비정상 세포의 핵이 보임을 알 수 있다. 비정상 세포의 핵은 정상 세포에 비해서 핵이 다소 크고 진하며 염색되어 있다. 도 2의 빨간 바운딩 박스내의 비정상 세포는 이형성 세포(dysplastic cell)로서, 정상세포에서 암세포로 천이되는 중간 단계의 세포이다.
이미지 획득부(110)는 세포 슬라이드의 영역 중 현재 현미경(180)을 통하여 관찰되고 있는 영역(이하, 관찰 영역)에 해당하는 디지털 이미지를 실시간으로 획득한다.
디지털 이미지 획득 방법의 예로는, 현미경(180)이 현재의 관찰 영역에 해당 하는 영상 신호를 상술한 유선 또는 무선 통신 인터페이스로 실시간으로 세포 슬라이드 판독 장치(100)의 이미지 획득부(110)에 송신하고, 이미지 획득부(110)는 실시간 수신되는 영상 신호를 화상 처리가 가능한 일련의 디지털 이미지로 전환하는 방법을 들 수 있다. 여기서, 영상 신호를 디지털 이미지로 전환하는 방법의 예로는, 세포 슬라이드 판독 장치(180)의 내부 또는 외부에 장착된 프레임 그래버(Frame Grabber)를 이용하여 영상을 캡쳐하는 방법, USB, IEEE1394 등과 같은 특정 디지털 통신 규약으로 전송된 영상 신호에 포함된 영상을 이미지 획득부(110)가 소프트웨어적으로 캡쳐하는 방법을 들 수 있으나, 반드시 이에 한정되는 것은 아니다.
디지털 이미지 획득 방법의 또 다른 예로는, 현미경(180)이 현재의 관찰 영역에 해당하는 디지털 이미지의 데이터를 생성하여 유선 또는 무선 통신으로 실시간으로 세포 슬라이드 판독 장치(100)의 이미지 획득부(110)에 송신하고, 이미지 획득부(110)는 실시간 수신되는 데이터를 통하여 디지털 화상 처리가 가능한 일련의 디지털 이미지를 획득하는 방법을 들 수 있다. 즉, 후자의 방법은 현미경(180)으로부터 이미지 획득부(110)가 디지털 화상 처리가 가능한 디지털 이미지의 데이터를 수신하면 족하므로, 전자의 방법과 같은 전환 처리가 필요 없게 된다.
검출부(120)는 이미지 획득부(110)에서 획득되는 일련의 디지털 이미지들 중 전부 또는 일부를 판독하여, 타겟 세포를 검출한다. 여기서, 타겟 세포의 예로는, 비정상 세포 등과 같은 특정 종류의 세포들 들 수 있으나, 반드시 이에 한정되는 것은 아니다. 타겟 세포 검출 방법의 예로는, 특정 종류의 세포 검출에 사용되는 세포 인식 알고리즘을 검출부(120)가 수행하는 것을 들 수 있다. 여기서, 세포 인식 알고리즘의 예로는, 신경회로망(Neural Network), Bayesian Network, PCA(Principal Component Analysis), SVM(Support Vector Machine) 기반의 세포 인식 알고리즘을 들 수 있으나 반드시 이에 한정되는 것은 아니다.
한편, 세포 인식 알고리즘들은 다양한 형태의 일반 세포 샘플과 다양한 형태의 특정 세포 샘플을 동시에 학습시킴으로써 비로소 인식 능력을 갖춘 인식기로 완성된다. 그런데 상기 일반 세포와 특정 세포의 경계는 사람에 따라 판단 기준이 조금씩 다른 것이 현실이므로 상기 일반 세포 샘플과 특정 세포 샘플을 획득된 디지털 이미지 상에서 사용자가 마우스 등의 포인팅 디바이스를 이용하여 지정할 수 있도록 하고 이를 다시 재학습시킴으로써 인식기 즉, 검출부(120)의 특성을 사용자의 판단 기준에 따라 변경시킬 수 있도록 하는 것이 바람직하다.
상술한 바와 같이 검출부(120)의 동작 실시예로는 이미지 획득부(110)에서 획득되는 일련의 디지털 이미지들 전부를 판독하는 실시예, 일련의 디지털 이미지들 중 일부만을 판독하는 실시예가 존재한다. 여기서, 전자의 실시예에 따르면, 검사자의 검사와 동시에 세포 인식을 수행하여 검사자에게 상기 타겟 세포의 존재를 보고하도록 함으로써 검사자가 보다 편리하고 정확하게 판독할 수 있다는 장점이 있다. 하지만 현미경(180)으로부터 획득되는 일련의 디지털 이미지들은 일반적으로 15frame/sec, 30frame/sec 혹은 그 이상의 속도로 전송되기 때문에 이러한 이 미지들을 모두 검출부(120)가 세포 인식 알고리즘을 기반으로 판독하고자 할 경우, 하드웨어 처리 속도의 한계를 넘을 수 있다. 또한, 일반적으로 사용자가 세포 슬라이드의 재물대(스테이지)를 움직이며 현미경(180)으로 관찰할 경우 시간적으로 인접한 디지털 이미지들은 도 2와 같이 중복된 영역이 많으므로 전송받은 모든 디지털 이미지들을 인식하는 것은 컴퓨터 자원(리소스)의 낭비일 수 있으며, 하드웨어 처리 속도의 한계를 넘지 않기 위해서는 고성능의 인식 방법(컴퓨터 자원을 많이 사용하여 처리시간이 오래 걸리는 인식 방법)을 적용시킬 수 없다는 한계가 있다.
따라서, 바람직하게, 검출부(120)는 후자의 실시예(즉, 일련의 디지털 이미지들 중 일부만을 판독하는 실시예)를 수행한다. 이하, 후자의 실시예를 설명하고자 한다.
바람직한 제1 실시예에 따른 검출부(120)는 일련의 디지털 이미지들 간의 변화도를 기초로, 검사자의 관심 대상인 적어도 하나의 디지털 이미지를 검출하고, 상기 검출된 적어도 하나의 디지털 이미지를 판독하여 타겟 세포를 검출한다. 여기서, 변화도는 서로 시간상으로 인접하는 디지털 이미지들 사이의 차이를 일컫는 것으로 검사자가 세포 슬라이드의 임의의 영역을 관찰, 인식하고자 하여 세포 슬라이드를 움직이지 않을 때 변화도는 낮아지고, 단지 관찰 영역을 다른 곳으로 이동시키고자 슬라이드를 움직일 때 변화도는 높아진다.
따라서, 변화도가 낮은 경우에 획득된 디지털 이미지만을 판독(즉, 세포 인식 알고리즘을 이용한 인식)할 경우에는 한 장의 디지털 이미지에 대한 처리속도는 다소 느리더라도 더욱 정밀한 인식 알고리즘을 검출부(120)가 수행할 수 있기 때문에 효율적이고 정밀하며 안정적인 실시간 세포 슬라이드 판독을 수행할 수 있다.
여기서, 관심 대상인 디지털 이미지 검출 방법의 예로는, 현 시점에 제공받은 디지털 이미지(제1 디지털 이미지)와 이로부터 소정 시간 또는 일정 수의 프레임 이전에 제공받은 디지털 이미지(제2 디지털 이미지)간의 차이값이 소정 임계치(threshold) 이하이면, 제1 디지털 이미지를 관심 대상인 디지털 이미지로서 검출하는 것을 들 수 있다.
여기서, 차이값의 예로는, 제1 디지털 이미지와 제2 디지털 이미지를 정합하기 위한 오프셋 거리를 들 수 있다. 도 3에 도시된 두 개의 이미지는 서로 다른 위치에서 촬영되어 획득되었지만 일정 영역은 서로 공유하고 있다. 따라서, 두 이미지 중 어느 하나를 적당한 오프셋 거리(dx,dy) 만큼 이동시킴으로써 두 이미지가 서로 겹치게 할 수 있다. 이 경우 오프셋 거리는 얼마나 빠른 속도로 현미경(180)상의 관찰 영역이 이동되고 있는지를 나타내는 지표가 되므로 이를 통하여 현재의 디지털 이미지가 검사자의 관심 대상인지를 판단할 수 있다. 한편, 도 3을 참조하면, 이미지 정합시에 획득될 수 있는 오프셋 거리는 서로 다른 시점에 획득한 두 개의 디지털 이미지 간의 이동 거리 산출에도 활용될 수 있음을 알 수 있다.
차이값의 또 다른 일례는 제1 디지털 이미지에서 제2 디지털 이미지를 뺀 차분 이미지에서 각 픽셀 값들로 이루어진 함수 값을 들 수 있다. 여기서, 각 픽셀 값들로 이루어진 함수 값의 예로는 각 픽셀값들의 절대치를 합한 결과, 각 픽셀 값들의 절대치를 가중 합한 결과, 각 픽셀 값들의 제곱 값을 합한 결과, 각 픽셀 값 들의 제곱 값을 가중합한 결과 등을 들 수 있다. 관찰 영역의 이동이 작을 경우, 유사한 디지털 이미지가 연속해서 획득되므로 차분 이미지의 각 픽셀들은 0에 가까운 값을 가지게 되고 상기 픽셀값들의 절대치를 취해서 모두 합할 경우 상대적으로 작은 값을 출력하게 된다. 반면 관찰 영역의 이동이 큰 경우 서로 상이한 디지털 이미지가 연속해서 획득되므로 차분 영상의 각 픽셀들은 음으로 혹은 양으로 큰 값을 가지게 되고 상기 픽셀 값들의 절대치를 취해서 모두 합할 경우 상대적으로 큰 값을 출력하게 된다. 따라서, 상기 픽셀값들의 절대치를 취해서 모두 합한 값은 영상의 변화율(즉, 관찰 영역의 이동 속도)을 나타내는 지표가 되므로 이를 통하여 현재 획득되는 디지털 이미지가 검사자의 관심 대상인지를 판단할 수 있다.
다만, 일련의 디지털 이미지들 간의 변화도가 소정 임계치 이하인 모든 디지털 이미지를 판독한다면, 판독 대상인 디지털 이미지의 수가 너무 많아질 수 있다. 이를 해결하기 위해, 바람직하게, 검출부(120)는 판독 대상인 디지털 이미지(즉, 검사자의 관심 대상인 디지털 이미지)가 검출된 이후, 일정 기간 또는 일정 수의 프레임 이내의 디지털 이미지이거나 판독 대상 디지털 이미지를 기준으로 세포 슬라이드 상에서 일정 거리(디스페리티)를 벗어나기 전까지의 디지털 이미지는 판독 대상으로 삼지 않는 것이 효율면에서 바람직하다.
바람직한 제2 실시예에 따른 검출부(120)는 검사자의 관심 대상인 디지털 이미지를 검출하기 위하여, 일련의 디지털 이미지들 중 현미경(180)의 대물렌즈에 대한 세포 슬라이드의 상대 이동 속도가 소정 임계치 이하일 때(즉, 실질적으로 거의 정지된 상태일 때)에 전송된 영상 신호의 디지털 이미지를 판독 대상으로 삼는다. 상대 이동 속도에 대한 정보를 검출부(120)가 획득하는 방법의 예에 대해서는 후술한다.
다만, 현미경(180)의 대물렌즈에 대한 세포 슬라이드의 상대 이동 속도가 소정 임계치 이하인 모든 디지털 이미지를 판독한다면, 판독 대상인 디지털 이미지의 수가 너무 많아질 수 있다. 이를 해결하기 위해, 바람직하게, 검출부(120)는 판독 대상인 디지털 이미지(즉, 검사자의 관심 대상인 디지털 이미지)가 검출된 이후, 일정 기간 또는 일정 수의 프레임 이내의 디지털 이미지이거나 판독 대상 디지털 이미지를 기준으로 세포 슬라이드 상에서 일정 거리(디스페리티)를 벗어나기 전까지의 디지털 이미지는 판독 대상으로 삼지 않는 것이 바람직하다.
바람직한 제3 실시예에 따른 검출부(120)는 현미경(180) 또는 세포 슬라이드 판독 장치(100)에 구비된 판독 버튼(미도시)이 검사자에 의해 눌러질 때, 현재의 디지털 이미지에 대해서만 판독을 수행한다. 판독 버튼이 현미경(180)에 구비된 경우 검출부(120)는 현미경(180)으로부터 판독 버튼의 눌림 여부 정보 등을 제공받으며, 판독 버튼이 세포 슬라이드 판독 장치(100)에 구비된 경우 검출부(120)는 판독 버튼의 눌림 여부를 감지한다.
바람직한 제4 실시예에 따른 검출부(120)는 상기 일련의 디지털 이미지들 중에서, 움직임에 의한 번짐(motion blur)의 정도가 소정 임계치 이하인 디지털 이미 지에 대해서만 판독을 수행한다. 번진 이미지(blurred image)는 관찰 영역이 빠르게 이동되면서 획득된 디지털 이미지라는 점을 간접적으로 암시하므로, 검사자의 관심 영역에서 벗어난 이미지라고 볼 수 있기 때문이다. 번짐의 정도는 blur gradient, high pass filtering edge detection을 통하여 구하거나, PSF(point spread function)을 퓨리에 변환하여 얻어지는 sinc 함수의 pole 특성을 이용하여 움직임 번짐(motion-blur) 방향, 움직임 번짐 길이 등의 움직임 번짐 정보를 획득하는 방법을 통하여 구할 수 있음은 이 분야에 종사하는 자라면 충분히 이해할 수 있다.
바람직하게, 세포 슬라이드 판독 장치(100)는 상기 검출부(120)의 검출 결과를 검사자에게 제공하는 검출 결과 제공부(130)를 도 1에 도시된 바와 같이 포함한다. 도 1의 실시예에 따르면, 검출 결과 제공부(130)는 검출 결과 통지부(132) 및 검출 결과 표시부(134)를 포함하여 이루어진다.
검출 결과 통지부(132)는 판독되는 디지털 이미지에서 타겟 세포가 검출되면, 소리 또는 램프 점멸 중 적어도 하나를 이용하여 검사자에게 실시간으로 상기 타겟 세포가 검출되었음을 알린다. 예컨대, 검출 결과 통지부(130)는 알람 시그널 오디오 신호 발생 장치, "비정상 세포가 검출되었습니다"와 같은 음성 오디오 신호 발생 장치, 또는 상기 특정 종류의 세포의 유무를 표시하는 적어도 하나의 점멸 가능한 램프(인티케이터 램프)로 구현될 수 있다.
검출 결과 표시부(134)는 검사자에게 세포 슬라이드 영상을 확대하여 디스플 레이하거나 상기 검출된 타겟 세포의 위치 또는 영역을 화면상에 디스플레이한다. 예를 들어 브라운관이나 LCD, PDP와 같은 화상 디스플레이 장치가 될 수 있으며, 검출 결과 표시부(134)에는 관찰 영역에 해당하는 디지털 이미지와 상기 디지털 이미지에서 검출된 타겟 세포에 대한 정보를 디스플레이할 수 있게 하여, 검사자로 하여금 세포의 상태 및 판독 결과를 모니터링할 수 있도록 한다. 타겟 세포가 존재하는 영역을 디스플레이하는 방법의 예로는 관찰 영역의 디지털 이미지가 디스플레이되는 화면 상에서 타겟 세포 위에 점을 찍거나, 화살표로 표시하거나 타겟 세포의 영역에 바운딩박스(bounding box)를 그리거나, 타겟 세포의 영역에 아웃라인을 그리거나, 타겟 세포의 영역의 컬러를 달리 표시하는 방법을 들 수 있다. 또한, 타겟 세포가 발견되지 않았을 경우에도 검출 결과 표시부(134)에 이 사실을 간략히 나타내 줌으로서 검사자가 확인할 수 있도록 한다.
본 발명에 있어서 시간의 흐름에 따라 세포 슬라이드 상에서 검사자가 관찰한 일련의 좌표 데이터 또는 세포 슬라이드 판독 장치(100)가 판독을 수행한 일련의 좌표 데이터를 기록함으로써, 상기 세포 슬라이드 상에서 검사자가 관찰한 영역 또는 컴퓨터가 판독한 영역을 각각 또는 중첩하여 확인해 볼 수 있는 기회를 제공하여 검사자에게는 세포 슬라이드 상에서 실수로 검사가 누락된 영역이 있는지 점검할 수 있도록 하고 관리자에게는 검사자가 성실한 판독을 수행하고 있는지를 관리감독이 가능하도록 할 수 있다.
이를 달성하기 위하여 세포 슬라이드 판독 장치(100)는 도 1에 도시된 바와 같이 데이터 기록부(140)를 포함한다.
데이터 기록부(140)는 상기 획득되는 각 디지털 이미지에 대해, 세포 슬라이드 상의 좌표, 현미경 배율, 판독 대상이었는지 여부, 상기 타겟 세포가 존재하는지 여부 중 적어도 하나와 함께, 상기 각 디지털 이미지의 이미지 식별자를 기록한다. 바람직하게, 데이터 기록부(140)는 세포 슬라이드의 슬라이드 식별자를 기록한다. 데이터 기록부(140)가 슬라이드 식별자, 좌표, 현미경 배율에 대한 정보를 획득하는 방법의 예에 대해서는 후술한다. 여기서, 이미지 식별자의 예로는, 디지털 이미지의 프레임 번호, 획득된 시점(time point)을 들 수 있다. 도 4는 데이터 기록부(140)에 기록되는 컨텐츠를 예시하는 테이블이다.
또한, 세포 슬라이드 상에서 검사자가 관찰한 영역 그리고/또는 컴퓨터가 판독을 수행한 영역 등을 확인해 볼 수 있도록 하기 위하여, 세포슬라이드 판독 장치(100)는 현재 시점까지 판독된 결과를 화면상에 디스플레이하는 판독 결과 표시부(150)를 도 1에 도시된 바와 같이 포함한다.
판독 결과 표시부(150)는 데이터 기록부(140)에 기록된 정보를 기초로, 세포 슬라이드 상에서 일련의 디지털 이미지로서 획득된 영역, 판독이 수행된 영역, 타겟 세포의 검출 위치, 타겟 세포의 검출 영역 중 적어도 하나를 화면상에 디스플레이한다. 바람직하게, 판독 결과 표시부(150)는 세포 슬라이드 상에서 일련의 디지털 이미지로서 획득된 영역, 판독이 수행된 영역, 타겟 세포의 검출 위치, 타겟 세포의 검출 영역 중 2 가지 이상을 화면상에 디스플레이하는 경우, 서로 구분이 가능하도록 컬러나 오버랩되는 패턴을 달리하여 디스플레이한다.
바람직하게, 판독 결과 표시부(150)는 검사자의 선택 영역에 한하여 상술한 디스플레이를 수행한다. 여기서, 선택 영역이란 전체 슬라이드 영역 또는 상기 획득된 일련의 디지털 이미지를 정합(registration)하여 합친(merging) 영역 중 사용자가 확인하고자 선택한 영역을 일컫는다. 사용자가 따로 선택하지 않으면 전체 슬라이드 영역이 선택 영역이 될 수 있다.
한편, 검출 결과 표시부(134)와 상기 판독 결과 표시부(150)는 단일 디스플레이 모듈로 구현될 수 있다. 단일 디스플레이 모듈로 검출 결과 및 판독 결과를 디스플레이하는 방법의 예로는, 검사자의 입력에 따라, 검출 결과, 판독 결과 중 하나만 선택적으로 디스플레이시키거나, 전체화면과 부분화면의 조합으로써 검출 결과, 판독 결과를 모두 디스플레이하거나, 분할화면으로써 검출 결과, 판독 결과 모두를 디스플레이시키는 방법을 들 수 있다. 이 경우, 바람직하게, 단일 디스플레이 모듈은 전체화면 또는 부분화면으로 디스플레이된 각각의 영역들은 사용자의 선택에 따라 줌인/줌아웃 기능을 구비한다.
도 5는 판독 결과 및 검출 결과를 하나의 화면상에 표시한 일실시예를 나타낸다. 판독 결과 표시부(150)는 전체 화면으로 검사자가 관찰한 영역과 컴퓨터가 판독한 영역을 중복(overlay)하여 단일 디스플레이 모듈에 디스플레이하며, 검출 결과 표시부(134)는 부분화면으로 현미경의 현재 관찰 영역에 해당하는 디지털 이미지를 상기 단일 디스플레이 모듈에 디스플레이한다.
한편, 상술한 바와 같이 데이터 기록부(140)에 기록되기 위해, 또는 중복 검사 방지 등의 목적으로 검사자에게 제공하기 위해, 현미경(180) 또는 세포 슬라이드 판독 장치(100)는 세포 슬라이드의 슬라이드 식별자가 필요할 수도 있다. 여기서, 슬라이드 식별자의 예로는, 개개의 세포 슬라이드에 부착된 라벨에 기입된 고유번호나 고유기호(바코드, RFID 태그 등)를 들 수 있다. 즉, 이러한 슬라이드 식별자를 인식할 수 있는 리더기(reader)(미도시)를 현미경(180)에 외장, 내장하는 방법, 세포 슬라이드 판독 장치(100)에 포함시키는 방법을 통하여 슬라이드 식별자가 획득될 수 있다. 전자의 방법에 의하면, 세포 슬라이드 판독 장치(100)는 리더기(미도시)에 의해 읽혀진 슬라이드 식별자를 현미경(180)으로부터 유/무선 통신으로 제공받아 데이터 기록부(140)에 저장된다.
세포 슬라이드 상에서의 관찰 위치 또는 관찰 영역을 파악하는 것은 검사자가 중복 검사를 피하기 위해서, 판독 결과를 종합하거나 확인하기 위해서, 그리고 관찰 위치의 이동 속도를 계산하기 위해서 필요하다. 관찰 위치의 이동 속도는 인접한 관찰 영역 좌표 위치의 차를 계산하여 간단히 구할 수 있기 때문이다. 이하, 관찰 영역의 좌표를 파악하는 방법을 설명하고자 한다.
세포 슬라이드에서 관찰 영역의 좌표를 확인할 수 있도록 하는 방법의 일례로는, 현미경(180)의 재물대나 상기 재물대의 이동핸들에 포텐쇼미터, 엔코더 또는 광학 센서 등 위치센서(미도시)를 연동시켜 부가하고 상기 위치센서를 상기 세포 슬라이드 판독 장치(100)에 유선 또는 무선으로 연결하는 것이다. 이러한 방법은 별도의 센서를 부가적으로 요한다는 단점이 있으나 상대적으로 상기 좌표를 정밀하고 안정적으로 구할 수 있다는 장점이 있다.
세포 슬라이드에서 관찰 영역의 좌표를 확인할 수 있도록 하는 방법의 다른 예로는, 획득되는 일련의 디지털 이미지들을 연속적으로 정합시키고, 정합시 계산된 각각의 오프셋 거리를 누적하여 더함으로써 관찰 영역의 좌표를 계산하는 것이다. 이러한 방법은 디지털 이미지를 기초로 소프트웨어적으로 상기 좌표를 추정하는 방법이므로 정밀성 및 안정성은 다소 낮으나 별도의 센서나 상기 센서를 상기 세포 슬라이드 판독 장치에 연결하기 위한 인터페이스 장치와 같은 부가적 하드웨어를 요하지 않는다는 장점이 있다.
세포 슬라이드에서 관찰 영역의 좌표를 확인할 수 있도록 하는 방법의 또 다른 예로는, 도 6과 같이, 슬라이드에 좌표인식을 위한 인공패턴을 포함시키고, 현미경(180)이 영상 신호에 상기 인공 패턴을 함께 실어 세포 슬라이드 판독 장치(100)로 전송하면, 세포 슬라이드 판독 장치(100)는 인공패턴의 움직임, 간격, 크기 중 적어도 하나를 해석하여 상기 슬라이드에서의 관찰 영역의 좌표를 계산하거나 관찰 배율을 획득할 수 있다. 즉, 도 6 (a) 및 도 6 (b)는 각각 격자 무늬 인공 패턴 및 도트(dot) 무늬 인공 패턴을 나타낸다.
현미경(180)을 이용하여 세포 슬라이드를 판독함에 있어서 판독에 이용되는 현미경(180)의 배율이 높아질수록 면밀한 관찰이 가능해지는 반면 관찰 가능한 시야는 점점 좁아지므로 한 표본슬라이드당 관찰하여야 할 화면의 수가 많아지고(100 배 배율로 관찰 시 약 500 화면) 판독 시간도 길어진다. 반면 판독에 이용되는 현미경(180)의 배율이 낮아질수록 관찰 가능한 시야는 점점 넓어지므로 신속한 관찰이 가능해지지만 면밀한 관찰이 불가능하다.
그러므로 사용자는 입력 영상의 상태 및 특성에 따라 현미경(180)의 배율을 변경하면서 관찰을 수행하게 되는데 일반적으로 x40, x100, x200, x400등의 배율을 번갈아가며 수행한다. 이때 세포 슬라이드 판독 장치(100)에서 획득되는 일련의 디지털 이미지의 해상도는 현미경(180)의 배율에 비례하여 변경된다. 따라서 세포 슬라이드 판독 장치(100)의 특정 종류의 세포 검출에 사용되는 세포 인식 알고리즘은 현미경의 배율을 고려하여 상기 해상도를 정규화시키거나 현미경의 배율 각각에 따라 별도로 세팅된 인식 알고리즘을 연동시켜주는 기능을 갖추어야 한다.
바람직하게는, 현미경(180)의 대물렌즈에 센서를 연결하여 관찰 배율을 감지하고 감지된 배율을 상기 세포 슬라이드 판독 장치(100)에 유선 또는 무선으로 전송하도록 함으로써 상기 해상도를 정규화하거나 인식 알고리즘을 관찰 배율에 연동시킨다.
별도의 센서, 상기 센서를 상기 세포슬라이드 판독 장치에 연결하기 위한 인터페이스 장치와 같은 부가적 하드웨어를 사용하지 않고 상기 해상도 정규화 또는 인식 알고리즘 연동을 구현하기 위해서는 사용자가 세포 슬라이드 판독 장치로 현미경의 배율을 외부에서 입력할 수 있는 입력 장치를 부가하여 구성할 수도 있다.
또 다른 현미경 배율 확인 방법으로는 슬라이드 자체 내에 존재하는 세포의 모양 또는 크기를 기준으로 삼아 확인하거나 또는 유리슬라이드나 커버글라스 등에 인위적으로 부가한 배율 판정을 위한 표지점들의 크기 또는 간격을 이용하여 확인할 수도 있다.
검출(인식)하고자 하는 세포의 종류가 두 가지 이상일 경우에는 포인팅 디바이스로 인식 대상의 위치나 영역을 지정하여 상기 위치나 영역에 존재하는 세포의 종류(identity)를 확인할 수 있도록 하는 것이 바람직하다. 예를 들어 현미경의 확대배율이 상대적으로 낮을 경우에는 검출 대상 세포를 모두 검출하고 확대배율을 높일 경우에는 표시되는 전 영역 또는 사용자의 지정 대상 영역에 대하여 세포의 종류를 통지하여 주도록 할 수 있다.
도 7은 본 발명의 일실시예에 따른 세포 슬라이드 판독 시스템을 나타내는 블록도이다. 도 7의 실시예인 세포 슬라이드 판독 시스템은, 확대 표시부(700), 이미지 획득부(710), 검출부(720), 검출 결과 제공부(730), 데이터 기록부(740), 및 판독 결과 표시부(750)를 포함하여 이루어진다. 검출 결과 제공부(730)는 검출 결과 통지부(732), 및 검출 결과 표시부(734)를 포함하여 이루어진다.
도 1의 실시예가 현미경(180)으로부터 영상 신호를 제공받아 세포 슬라이드 판독을 하는 세포 슬라이드 판독 장치에 대한 발명이라면, 도 7의 실시예는 세포 슬라이드 판독 기능을 구비한 현미경에 대한 발명이라고도 볼 수 있다. 따라서, 이미지 획득부(710), 검출부(720), 검출 결과 제공부(730), 데이터 기록부(740), 및 판독 결과 표시부(750)는 도 1의 해당 구성과 동일한 동작을 수행한다.
확대 표시부(700)는 세포 슬라이드에 대한 관찰 영역을 이동시키면서, 확대 표시된 관찰 영역을 검사자에게 제공한다. 여기서, 관찰 영역 이동 방법의 예로는, 검사자의 입력에 따라 관찰 영역을 이동시키는 방법, 미리 설정된 이동 패턴에 따라 자동적으로 관찰 영역을 이동시키는 방법을 들 수 있다. 여기서, 이동 패턴의 예로는, 이동 위치, 범위, 속도 등을 들 수 있으며, 검사자에 의해 미리 설정된다. 한편, 관찰 영역의 이동은 일반적으로 세포 슬라이드에 대한 대물렌즈의 상대 위치로 결정되므로, 세포 슬라이드를 이동시키는 방법, 대물렌즈를 이동시키는 방법 모두 가능하다는 것은 이 분야에 종사하는 자라면 충분히 이해할 수 있다.
검출 결과 표시부(734)는 검출된 특정 종류의 세포의 위치 또는 영역을 현재 확대 표시부(700)에 표시되는 영상 상에 중첩하여 디스플레이할 수 있다. 여기서, 검출 결과 표시부(734)는 접안렌즈를 통해 입사되는 실사 영상에 오버레이(overlay)되어 표시되는 특징이 있으며, DSLR카메라에서 뷰파인더를 통하여 입사되는 실사영상에 인포커스 영역을 액정 표시 장치 등으로 오버레이 해서 표시해주는 것과 유사한 동작을 수행한다. 또한, 검출 결과 표시부(734)는 특정 세포 검출 유무를 통지하는 인디케이터 램프를 도 8과 같이 오버레이되어 표시되도록 할 수 있다.
즉, 도 8은 화면에 검출 결과를 디스플레이할 때에 사용될 수 있는 인디케이트 램프 및 바운딩 박스를 설명하기 위한 도면으로서, 인디케이트 램프는 검출 결과 통지부(732)의 동작과 관련 있으며, 바운딩 박스는 검출 결과 표시부(734)의 동 작과 관련이 있다.
도 9는 본 발명의 일실시예에 따른 세포 슬라이드 판독 방법을 나타내는 흐름도이다.
도 9를 참조하면, 본 실시예에 따른 세포 슬라이드 판독 방법은 도 1의 세포 슬라이드 판독 장치(100)에서 시계열 적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 세포 슬라이드 판독 장치(100)에 관하여 이상에서 기술된 내용은 본 실시예에 따른 세포 슬라이드 판독 방법에도 적용된다.
S900 단계에서, 이미지 획득부(110)는 세포 슬라이드의 영역 중 현재 현미경을 통하여 관찰되고 있는 영역에 해당하는 디지털 이미지를 실시간으로 획득한다.
S910 단계에서, 검출부(120)는 이미지 획득부(110)에서 획득되는 일련의 디지털 이미지들 중 전부 또는 일부에 대해, 타겟 세포 검출을 위한 판독을 수행한다.
S920 단계에서, 데이터 기록부(140)는 이미지 획득부(110)에서 획득되는 각 디지털 이미지에 대해, 세포 슬라이드 상의 좌표, 현미경 배율, 판독 대상이었는지 여부, 상기 타겟 세포가 존재하는지 여부 중 적어도 하나와 함께, 상기 각 디지털 이미지의 이미지 식별자를 기록한다.
S930 단계에서, 판독 결과 표시부(150)는 데이터 기록부(140)에 기록된 정보를 기초로, 상기 세포 슬라이드 상에서 상기 일련의 디지털 이미지로서 획득된 영 역, 판독이 수행된 영역, 상기 타겟 세포가 검출된 위치, 상기 타겟 세포가 검출된 영역 중 적어도 하나를 화면 상에 디스플레이한다.
바람직하게, S900 단계 내지 S920 단계는 반복 수행되며, S930 단계는 사용자의 요구시마다 수행되도록 구현할 수 있다. 또한, 바람직하게, S910 단계에서 타겟 세포가 검출되면, 검출 결과 제공부(130)가 검출 결과를 제공하는 단계를 본 발명의 방법에 더 포함할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이러한 본원 발명인 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
이상에서 설명한 바와 같이 본 발명에 따르면,
검사자가 관찰, 판독하고 있는 현미경 영상을 동시에 세포 슬라이드 판독 장치 또는 판독 시스템이 실시간으로 인식하고 인식한 결과를 검사자에게 제공함으로써 검사자가 보다 정확한 판단을 내릴 수 있도록 돕는다.
기존의 판독시스템은 세포 슬라이드의 전영역을 동일하게 스캔하며 인식함으로써 처리속도가 저하되며 판독 결과가 도출될 때까지 검사자가 대기하고 있어야한다는 문제점이 있었으나 본 발명에 따르면, 검사자가 관찰하고 있는 세포슬라이드 중 검사자의 관심 이미지만을 대상으로 판독하고 상기 판독과 동시에 컴퓨터의 판독결과가 제공됨으로써 실시간의 정밀한 진단이 보다 효율적으로 수행되게 할 수 있다.
또한, 본 발명에 따르면, 시간의 흐름에 따라 세포 슬라이드 상에서 검사자가 관찰한 일련의 좌표 데이터, 컴퓨터가 판독을 수행한 일련의 좌표 데이터, 또는 판독 결과 데이터 등 관련 데이터들을 기록함으로써, 상기 세포 슬라이드 상에서 검사자가 관찰한 영역, 컴퓨터가 판독한 영역을 각각 또는 중첩하여 확인해 볼 수 있고 필요에 따라서는 판독 결과까지 전체적으로 확인해 볼 수 있는 기회를 제공함으로써 검사자는 세포 슬라이드 상에서 실수로 검사가 누락된 영역이 있는지, 전체 적 판독 결과가 어떤지 등을 점검할 수 있고 관리자는 검사자가 성실한 판독을 수행하고 있는지 관리감독할 수 있고 전반적인 판독 결과들의 특성 등을 분석할 수 있다.

Claims (43)

  1. 세포 슬라이드의 영역 중 현재 현미경을 통하여 관찰되고 있는 영역(이하, 관찰 영역)에 해당하는 디지털 이미지를 실시간으로 획득하는 이미지 획득부; 및
    상기 이미지 획득부에서 획득되는 일련의 디지털 이미지들 중 전부 또는 일부에 대해, 타겟 세포 검출을 위한 판독을 수행하는 검출부를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  2. 제1항에 있어서,
    상기 현미경은, 현재의 관찰 영역에 해당하는 영상 신호를 유선 또는 무선 통신으로 실시간 송신하는 기능을 구비하고,
    상기 이미지 획득부는, 실시간 수신되는 상기 영상 신호를 일련의 상기 디지털 이미지로 전환하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  3. 제1항에 있어서,
    상기 현미경은, 현재의 관찰 영역에 해당하는 디지털 이미지의 데이터를 생성하여 유선 또는 무선 통신으로 실시간 송신하는 기능을 구비하고,
    상기 이미지 획득부는, 실시간 수신되는 상기 데이터를 통하여 일련의 상기 디지털 이미지를 획득하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  4. 제1항에 있어서, 상기 검출부는,
    상기 일련의 디지털 이미지들 간의 변화도를 기초로, 검사자의 관심 대상인 적어도 하나의 디지털 이미지를 검출하고, 상기 검출된 적어도 하나의 디지털 이미지에 대해, 상기 판독을 수행하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  5. 제4항에 있어서, 상기 검출부는,
    현 시점에서 획득되는 디지털 이미지(제1 디지털 이미지)와 이로부터 소정 시간 또는 소정 수의 프레임 이전에 획득된 디지털 이미지(제2 디지털 이미지) 간의 차이 값이 소정 임계치 이하이면, 상기 제1 디지털 이미지를 관심 대상인 디지털 이미지로서 검출하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  6. 제5항에 있어서, 상기 차이값은
    상기 제1 디지털 이미지와 상기 제2 디지털 이미지를 정합시키기 위한 오프셋 거리인 것을 특징으로 하는 세포 슬라이드 판독 장치.
  7. 제5항에 있어서, 상기 차이값은
    상기 제1 디지털 이미지와 상기 제2 디지털 이미지 간의 차분 이미지에 속하는 각 픽셀 값들에 대한 소정의 함수로 결정되는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  8. 제1항에 있어서, 상기 검출부는,
    상기 일련의 디지털 이미지들 중에서, 상기 현미경의 대물렌즈에 대한 상기 세포 슬라이드의 상대 이동 속도가 소정 임계치 이하일 때에 획득된 디지털 이미지에 대해, 상기 판독을 수행하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  9. 제1항에 있어서, 상기 검출부는,
    상기 일련의 디지털 이미지들 중에서, 검사자가 판독 버튼을 누를 때에 획득되는 디지털 이미지에 대해, 상기 판독을 수행하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  10. 제1항에 있어서, 상기 검출부는,
    움직임에 의한 번짐의 정도가 소정 임계치 이하인 디지털 이미지에 대해, 상기 판독을 수행하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  11. 제1항에 있어서, 상기 타겟 세포는,
    비정상 세포 또는 사용자가 지정하는 특정한 종류의 세포인 것을 특징으로 하는 세포 슬라이드 판독 장치.
  12. 제1항에 있어서,
    상기 검출부의 검출 결과를 검사자에게 제공하는 검출 결과 제공부를 더 포 함하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  13. 제12항에 있어서, 상기 검출 결과 제공부는,
    상기 판독되는 디지털 이미지에서 상기 타겟 세포가 검출되면, 소리 또는 램프 점멸 중 적어도 하나를 이용하여 검사자에게 실시간으로 상기 타겟 세포가 검출되었음을 알리는 검출 결과 통지부를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  14. 제12항에 있어서, 상기 검출 결과 제공부는,
    상기 타겟 세포의 검출 여부, 상기 타겟 세포가 검출된 경우의 타겟 세포의 위치, 영역, 및 현재의 관찰 영역에 해당하는 디지털 이미지 중 적어도 하나를 화면상에 디스플레이하는 검출 결과 표시부를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  15. 제14항에 있어서, 상기 검출 결과 표시부는,
    상기 타겟 세포가 검출되면, 상기 타겟 세포의 위치 또는 영역을 현재의 관찰 영역에 해당하는 디지털 이미지에 중첩하여 디스플레이하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 획득되는 각 디지털 이미지에 대해, 세포 슬라이드 상의 좌표, 현미경 배율, 판독 대상이었는지 여부, 상기 타겟 세포가 존재하는지 여부 중 적어도 하나와 함께, 상기 각 디지털 이미지의 이미지 식별자를 기록하는 데이터 기록부를 더 포함하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  17. 제16항에 있어서, 상기 데이터 기록부는,
    상기 세포 슬라이드의 슬라이드 식별자를 기록하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  18. 제16항에 있어서,
    상기 데이터 기록부에 기록된 정보를 기초로, 상기 세포 슬라이드 상에서 상기 일련의 디지털 이미지로서 획득된 영역, 판독이 수행된 영역, 상기 타겟 세포가 검출된 위치, 상기 타겟 세포가 검출된 영역 중 적어도 하나를 화면 상에 디스플레이하는 판독 결과 표시부를 더 포함하는 것을 특징으로 하는 세포 슬라이드 판독 장치.
  19. 세포 슬라이드에 대한 관찰 영역을 이동하면서, 검사자에게 현재의 관찰 영역을 확대 표시하는 확대 표시부;
    현재 확대 표시되는 관찰 영역에 해당하는 디지털 이미지를 실시간으로 획득하는 이미지 획득부; 및
    상기 이미지 획득부에서 획득되는 일련의 디지털 이미지들 중 전부 또는 일부에 대해, 타겟 세포 검출을 위한 판독을 수행하는 검출부를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  20. 제19항에 있어서,
    상기 확대 표시부는, 현재의 관찰 영역에 해당하는 영상 신호를 상기 이미지 획득부에 제공하고,
    상기 이미지 획득부는, 실시간 제공되는 상기 영상 신호를 일련의 상기 디지털 이미지로 전환하는 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  21. 제19항에 있어서,
    상기 확대 표시부는, 현재의 관찰 영역에 해당하는 디지털 이미지의 데이터를 생성하여 상기 이미지 획득부에 제공하고,
    상기 이미지 획득부는, 실시간 제공되는 상기 데이터를 통하여 일련의 상기 디지털 이미지를 획득하는 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  22. 제19항에 있어서, 상기 검출부는,
    상기 일련의 디지털 이미지들 간의 변화도를 기초로, 검사자의 관심 대상인 적어도 하나의 디지털 이미지를 검출하고, 상기 검출된 적어도 하나의 디지털 이미지에 대해 상기 판독을 수행하는 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  23. 제19항에 있어서, 상기 검출부는,
    상기 일련의 디지털 이미지들 중에서, 검사자가 판독 버튼을 누를 때에 획득되는 디지털 이미지에 대해, 상기 판독을 수행하는 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  24. 제19항에 있어서, 상기 검출부는,
    움직임에 의한 번짐의 정도가 소정 임계치 이하인 디지털 이미지에 대해, 상기 판독을 수행하는 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  25. 제19항에 있어서, 상기 타겟 세포는,
    비정상 세포 또는 사용자가 지정하는 특정한 종류의 세포인 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  26. 제19항에 있어서,
    상기 검출부의 검출 결과를 검사자에게 제공하는 검출 결과 제공부를 더 포함하는 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  27. 제19항 내지 제26항 중 어느 한 항에 있어서, 상기 확대 표시부는,
    검사자의 실시간 입력에 따라, 현재의 관찰 영역을 이동시키는 것을 특징으 로 하는 세포 슬라이드 판독 시스템.
  28. 제19항 내지 제26항 중 어느 한 항에 있어서,
    상기 확대 표시부는, 미리 설정된 이동 방식에 따라, 현재의 관찰 영역을 자동 이동시키고,
    상기 이동 방식은 이동 위치, 이동 범위, 이동 속도 중 적어도 하나를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  29. 제19항 내지 제26항 중 어느 한 항에 있어서,
    상기 획득되는 각 디지털 이미지에 대해, 세포 슬라이드 상의 좌표, 현미경 배율, 판독 대상이었는지 여부, 상기 타겟 세포가 존재하는지 여부 중 적어도 하나와 함께, 상기 각 디지털 이미지의 이미지 식별자를 기록하는 데이터 기록부를 더 포함하는 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  30. 제29항에 있어서,
    상기 데이터 기록부에 기록된 정보를 기초로, 상기 세포 슬라이드 상에서 상기 일련의 디지털 이미지로서 획득된 영역, 판독이 수행된 영역, 상기 타겟 세포의 검출 위치, 상기 타겟 세포의 검출 영역 중 적어도 하나를 화면 상에 디스플레이하는 판독 결과 표시부를 더 포함하는 것을 특징으로 하는 세포 슬라이드 판독 시스템.
  31. (a) 세포 슬라이드의 영역 중 현재 현미경을 통하여 관찰되고 있는 영역(이하, 관찰 영역)에 해당하는 디지털 이미지를 실시간으로 획득하는 단계; 및
    (b) 상기 획득되는 일련의 디지털 이미지들 중 전부 또는 일부에 대해, 타겟 세포 검출을 위한 판독을 수행하는 단계를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 방법.
  32. 제31항에 있어서,
    상기 현미경은, 현재의 관찰 영역에 해당하는 영상 신호를 유선 또는 무선 통신으로 실시간 송신하는 기능을 구비하고,
    상기 (a) 단계는, 실시간 수신되는 상기 영상 신호를 일련의 상기 디지털 이미지로 전환하는 단계를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 방법.
  33. 제31항에 있어서,
    상기 현미경은, 현재의 관찰 영역에 해당하는 디지털 이미지의 데이터를 생성하여 유선 또는 무선 통신으로 실시간 송신하는 기능을 구비하고,
    상기 (a) 단계는, 실시간 수신되는 상기 데이터를 통하여 일련의 상기 디지털 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 방법.
  34. 제31항에 있어서, 상기 (b) 단계는,
    상기 일련의 디지털 이미지들 간의 변화도를 기초로, 검사자의 관심 대상인 적어도 하나의 디지털 이미지를 검출하고, 상기 검출된 적어도 하나의 디지털 이미지에 대해, 상기 판독을 수행하는 단계를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 방법.
  35. 제31항에 있어서, 상기 (b) 단계는,
    상기 일련의 디지털 이미지들 중에서, 상기 현미경의 대물렌즈에 대한 상기 세포 슬라이드의 상대 이동 속도가 소정 임계치 이하일 때에 획득된 디지털 이미지에 대해, 상기 판독을 수행하는 단계를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 방법.
  36. 제31항에 있어서, 상기 (b) 단계는,
    상기 일련의 디지털 이미지들 중에서, 검사자가 판독 버튼을 누를 때에 획득되는 디지털 이미지에 대해, 상기 판독을 수행하는 단계를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 방법.
  37. 제31항에 있어서, 상기 (b) 단계는,
    움직임에 의한 번짐의 정도가 소정 임계치 이하인 디지털 이미지에 대해, 상기 판독을 수행하는 단계를 포함하는 것을 특징으로 하는 세포 슬라이드 판독 방법.
  38. 제31항에 있어서, 상기 타겟 세포는,
    비정상 세포 또는 사용자가 지정하는 특정한 종류의 세포인 것을 특징으로 하는 세포 슬라이드 판독 방법.
  39. 제31항에 있어서,
    (c) 상기 (b) 단계의 검출 결과를 검사자에게 제공하는 단계를 더 포함하는 것을 특징으로 하는 세포 슬라이드 판독 방법.
  40. 제31항에 있어서,
    (c) 상기 획득되는 각 디지털 이미지에 대해, 세포 슬라이드 상의 좌표, 현미경 배율, 판독 대상이었는지 여부, 상기 타겟 세포가 존재하는지 여부 중 적어도 하나와 함께, 상기 각 디지털 이미지의 이미지 식별자를 기록하는 단계를 더 포함하는 것을 특징으로 하는 세포 슬라이드 판독 방법.
  41. 제40항에 있어서,
    (d) 상기 (c) 단계에서 기록된 정보를 기초로, 상기 세포 슬라이드 상에서 상기 일련의 디지털 이미지로서 획득된 영역, 판독이 수행된 영역, 상기 타겟 세포가 검출된 위치, 상기 타겟 세포가 검출된 영역 중 적어도 하나를 화면 상에 디스 플레이하는 단계를 더 포함하는 것을 특징으로 하는 세포 슬라이드 판독 방법.
  42. 제31항 내지 제41항 중 어느 한 항에 기재된 방법을 컴퓨터 상에서 실현시키기 위한 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체.
  43. 슬라이드 상에 반복되는 인공패턴을 표시하고 상기 인공패턴의 움직임, 간격, 크기 중 어느 하나 이상을 관찰, 해석하여 현미경의 상기 슬라이드 상 관찰 좌표를 검지하거나 관찰 배율을 인식하도록 하는 인공패턴이 그려진 슬라이드.
KR1020070069489A 2007-07-11 2007-07-11 세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템,이를 이용하는 세포 슬라이드 판독 방법 및 기록매체 KR20090006295A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070069489A KR20090006295A (ko) 2007-07-11 2007-07-11 세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템,이를 이용하는 세포 슬라이드 판독 방법 및 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070069489A KR20090006295A (ko) 2007-07-11 2007-07-11 세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템,이를 이용하는 세포 슬라이드 판독 방법 및 기록매체

Publications (1)

Publication Number Publication Date
KR20090006295A true KR20090006295A (ko) 2009-01-15

Family

ID=40487537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070069489A KR20090006295A (ko) 2007-07-11 2007-07-11 세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템,이를 이용하는 세포 슬라이드 판독 방법 및 기록매체

Country Status (1)

Country Link
KR (1) KR20090006295A (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012018427A3 (en) * 2010-07-26 2012-03-29 Corista LLC User targeted medical imaging and information packaging compression and distribution system
US8244912B2 (en) 2009-07-27 2012-08-14 Coritsa LLC System for networked digital pathology exchange
KR20160047720A (ko) * 2014-10-23 2016-05-03 전북대학교산학협력단 자궁 경부암 자동 진단 시스템 및 방법
KR101962869B1 (ko) * 2018-08-02 2019-03-27 주식회사 우리메디칼 이미지 분석에 기반한 골수판독 지원 장치
KR20190110576A (ko) * 2017-03-30 2019-09-30 후지필름 가부시키가이샤 세포 화상 평가 장치 및 방법과, 프로그램
KR102075270B1 (ko) * 2018-11-09 2020-02-07 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
KR102081037B1 (ko) * 2020-01-28 2020-02-24 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
KR102105489B1 (ko) * 2018-12-31 2020-04-28 (주)유아이엠디 골수 판독을 위한 현미경용 슬라이드 스캐닝 시스템
KR20200054138A (ko) * 2020-01-28 2020-05-19 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
US11062800B2 (en) 2018-11-09 2021-07-13 Lunit Inc. Method for managing annotation job, apparatus and system supporting the same
CN114994898A (zh) * 2022-06-30 2022-09-02 深圳市劢科隆科技有限公司 用于数码显微镜的多视窗比对显微方法、系统及显微装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8244912B2 (en) 2009-07-27 2012-08-14 Coritsa LLC System for networked digital pathology exchange
US8352638B2 (en) 2009-07-27 2013-01-08 Corista, LLC System for networked digital pathology exchange
US8504726B2 (en) 2009-07-27 2013-08-06 Corista LLC User targeted medical imaging and information packaging, compression and distribution system
US9110924B2 (en) 2009-07-27 2015-08-18 Corista LLC User targeted medical imaging and information packaging, compression and distribution system
US9710668B2 (en) 2009-07-27 2017-07-18 Corista LLC User targeted medical imaging and information packaging, compression and distribution system
WO2012018427A3 (en) * 2010-07-26 2012-03-29 Corista LLC User targeted medical imaging and information packaging compression and distribution system
KR20160047720A (ko) * 2014-10-23 2016-05-03 전북대학교산학협력단 자궁 경부암 자동 진단 시스템 및 방법
KR20190110576A (ko) * 2017-03-30 2019-09-30 후지필름 가부시키가이샤 세포 화상 평가 장치 및 방법과, 프로그램
KR101962869B1 (ko) * 2018-08-02 2019-03-27 주식회사 우리메디칼 이미지 분석에 기반한 골수판독 지원 장치
WO2020027431A1 (ko) * 2018-08-02 2020-02-06 주식회사 유아이엠디 이미지 분석에 기반한 골수판독 지원 장치
US11948294B2 (en) 2018-08-02 2024-04-02 Uimd Inc. Device and method for supporting bone marrow reading based on image analysis
KR102075270B1 (ko) * 2018-11-09 2020-02-07 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
US11062800B2 (en) 2018-11-09 2021-07-13 Lunit Inc. Method for managing annotation job, apparatus and system supporting the same
US11335455B2 (en) 2018-11-09 2022-05-17 Lunit Inc. Method for managing annotation job, apparatus and system supporting the same
KR102105489B1 (ko) * 2018-12-31 2020-04-28 (주)유아이엠디 골수 판독을 위한 현미경용 슬라이드 스캐닝 시스템
WO2020141811A1 (ko) * 2018-12-31 2020-07-09 (주)유아이엠디 골수 판독을 위한 현미경용 슬라이드 스캐닝 시스템
KR102081037B1 (ko) * 2020-01-28 2020-02-24 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
KR20200054138A (ko) * 2020-01-28 2020-05-19 주식회사 루닛 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
CN114994898A (zh) * 2022-06-30 2022-09-02 深圳市劢科隆科技有限公司 用于数码显微镜的多视窗比对显微方法、系统及显微装置

Similar Documents

Publication Publication Date Title
KR20090006295A (ko) 세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템,이를 이용하는 세포 슬라이드 판독 방법 및 기록매체
KR101269533B1 (ko) 피부 상태 해석 방법, 피부 상태 해석 장치, 및 피부 상태해석 프로그램을 기록한 기록 매체
JP4558047B2 (ja) 顕微鏡システム、画像生成方法、及びプログラム
JP5780865B2 (ja) 画像処理装置、撮像システム、画像処理システム
US9014443B2 (en) Image diagnostic method, image diagnostic apparatus, and image diagnostic program
EP3088511B1 (en) Image processing device, program, information storage medium, and image processing method
CN105193380B (zh) 诊断支持设备和诊断支持方法
EP2979607A1 (en) Image processing device, endoscopic device, program and image processing method
JP5075648B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN111047568A (zh) 一种漏汽缺陷检测识别方法及系统
CN110136166B (zh) 一种多路画面的自动跟踪方法
CN109978015B (zh) 一种图像处理方法、装置及内窥镜系统
US20150356342A1 (en) Image processing apparatus, image processing method, and storage medium
CN104101294A (zh) 分析装置、分析程序以及分析系统
CN110199316A (zh) 相机和相机的图像处理方法
CN111337495A (zh) 病理切片图像全程质控装置及病理切片分析装置
CN107543788A (zh) 一种尿红细胞畸形率检测方法及系统
JP2007097740A (ja) 眼底画像診断支援装置
WO2014196097A1 (ja) 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法
JP7006832B2 (ja) 細胞解析装置
Redondo et al. Quality evaluation of microscopy and scanned histological images for diagnostic purposes
CN112801967A (zh) 一种精子形态分析方法和装置
JP2001174227A (ja) 繊維の径分布測定方法および装置
CN110960194B (zh) 一种耳相采集装置及采集方法
CN211783870U (zh) 热红外图像处理器以及人体温度检测系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application