KR101967992B1 - 디지털 병리 시스템의 영상 압축 방법 - Google Patents

디지털 병리 시스템의 영상 압축 방법 Download PDF

Info

Publication number
KR101967992B1
KR101967992B1 KR1020170102077A KR20170102077A KR101967992B1 KR 101967992 B1 KR101967992 B1 KR 101967992B1 KR 1020170102077 A KR1020170102077 A KR 1020170102077A KR 20170102077 A KR20170102077 A KR 20170102077A KR 101967992 B1 KR101967992 B1 KR 101967992B1
Authority
KR
South Korea
Prior art keywords
image
plane
block
foreground
actual image
Prior art date
Application number
KR1020170102077A
Other languages
English (en)
Other versions
KR20190017352A (ko
Inventor
황만원
Original Assignee
주식회사 인피니트헬스케어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인피니트헬스케어 filed Critical 주식회사 인피니트헬스케어
Priority to KR1020170102077A priority Critical patent/KR101967992B1/ko
Priority to US15/685,709 priority patent/US10404894B2/en
Publication of KR20190017352A publication Critical patent/KR20190017352A/ko
Application granted granted Critical
Publication of KR101967992B1 publication Critical patent/KR101967992B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • H04N1/411Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/413Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information
    • H04N1/417Systems or arrangements allowing the picture to be reproduced without loss or modification of picture-information using predictive or differential encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 디지털 병리 시스템의 영상 압축 방법은, 제 1 평면 실제 영상 내지 제 n 평면 실제 영상(n은 2이상의 자연수)을 갖는 디지털 슬라이드 이미지를 압축하는 방법으로서, 동일 위치의 블록에 대해서, 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상 중 어떤 평면 실제 영상의 해당 위치의 블록이 최적 초점을 갖는지 판단하는 최적 블록 선별 단계; 상기 최적 블록만을 조합하여 하나의 평면 영상을 형성한 가상 최적 영상 형성 단계; 상기 가상 최적 영상에 기초하여 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상을 형성하기 위한, 각 블록별 디스크립터(descriptor)를 생성하는 단계; 상기 블록의 위치 정보 및 해당 블록별 디스크립터를 이용하여, 상기 가상 최적 영상으로부터 가장 유사하게 초점이 맞지 않는 제 1 평면 예측 영상(prediction image) 내지 제 n 평면 예측 영상을 생성하는 단계; 상기 제 1 평면 실제 영상과 상기 제 1 평면 예측 영상 간의 제 1 평면 차 영상, 및 상기 제 n 평면 실제 영상과 상기 제 n 평면 예측 영상 간의 제 n 평면 차 영상을 생성하는 단계; 및 상기 제 1 평면 차 영상 내지 상기 제 n 평면 차 영상을 압축하는 단계;를 포함한다.

Description

디지털 병리 시스템의 영상 압축 방법{METHOD OF COMPRESSING IMAGE IN DIGITAL PATHOLOGY SYSTEM}
본 발명은 디지털 병리 시스템의 영상 압축 방법에 관한 것으로, 좀 더 구체적으로는, 본 발명에서 제시하는 압축 알고리즘을 이용할 경우, 종래 멀티 평면 영상의 영상 사이즈가 종래 과도하게 커질 수밖에 없었던 것을, 효과적으로 중복성을 제거하여 영상 사이즈를 획기적으로 줄이는 것이 가능한 최적화된 압축 방법을 채택한 디지털 병리 시스템에 관한 것이다.
병리학(pathology)이란, 병의 원리를 밝히기 위하여 병의 상태나 병체(病體)의 조직 구조, 기관의 형태 및 기능의 변화 등을 연구하는 기초 의학이다.
특히, 디지털 병리학(digital pathology)은 디지털 슬라이드로부터 생성되는 정보를 관리하는 컴퓨터기술로 구현된 영상 기반 정보 환경을 말하는 것으로, 부분적으로는 현미경으로 영상을 촬영하여 컴퓨터 네트워크로 전달하는 가상 현미경 관찰(virtual microscopy)에 의해서 구현된다.
디지털 병리학은 전 세계적으로 가장 유망한 진단 의학의 한 분야로 인식되고 있다. 이것은 일반적으로 현대인 건강의 가장 큰 적이라 할 수 있는 암이나 다른 중요한 질병을 진단 및 예측을 하는데 있어서, 기존에 알려진 진단 방식과 비교하여 훨씬 빠르고 저렴하고 그러면서도 월등하게 정확하게 진단하는 것이 가능하기 때문이다.
이와 같이 유망한 진단 의학의 한 분야로 각광받기 시작하였으나, 그 연구개발의 단계는 아직 초기에 불과한 상태이다. 국내에서는, 디지털 병리(학) 시스템(digital pathology system)에 대한 연구개발이 일천하고 관련 제품이 하나로 없는 상태이며, 외국에서조차 주요 진단(primary diagnosis)용으로는 미국 FDA에서 승인된 디지털 병리학 시스템이 아직 없는 상태라는 점만 보아도 현재의 연구개발 단계를 짐작할 수 있다.
이와 같은 디지털 병리학 시스템에서는 디지털 슬라이드 이미지(WSI, Whole Slide Image)를 생성하고 저장할 때 샘플의 부위별 두께가 균일하지 않을 경우 단일 초점이 아닌 초점을 조절하며 스캔하여 저장하게 된다. 이렇게 초점이 다른 다양한 z-평면(z-plane)을 갖는 영상의 경우 그 데이터의 양이 평면에 비례하여 증가하게 된다. 디지털 슬라이드 이미지의 경우, 기본적으로 단일 평면의 영상조차 매우 사이즈가 커서 저장 및 전송에 많은 비용과 시간이 발생하며, 멀티 평면의 영상인 경우에는 사이즈가 단일 평면의 경우의 몇 배가 되어서 저장 보관 및 전송이 매우 많은 비용과 시간이 소모되게 되어서, 병리 영상 데이터를 디지털화하는데 많은 장애 요인이 되었다.
한편, 관련 특허문헌를 살펴 보면, 대한민국 특허 제1559798호(2015년 10월 6일 등록)를 들 수 있으며, 해당 특허문헌에서는 디지털 병리학의 이미지 표준화 방법에 대해서 개시하고 있다. 구체적으로는, "이미지 표준화를 위한 샘플을 선정하는 단계와, 선정된 샘플의 소정부분을 스펙트럼 분석하여, 샘플의 소정부분 내에 존재하는 물질의 정보를 수집하는 단계와, 수집된 정보를 통해, 상관식을 구하는 단계와, 상관식을 이용하여, 샘플 전체 이미지를 보정하는 단계와, 보정된 이미지를 통해, 샘플의 이미지를 표준화하는 단계"에 대해서 개시하고 있다.
하지만, 상기 선행 특허문헌에서는, 앞서 상술한 바와 같은 멀티 평면 영상의 경우의 문제점에 대한 문제 의식이 전혀 없는 것으로 보인다.
대한민국 특허 제1559798호(2015년 10월 6일 등록, 발명의 명칭 : 디지털 병리학의 이미지 표준화 방법{method for normalizing image in digital pathology})
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명은 효과적으로 중복성을 제거하여 영상 사이즈를 획기적으로 줄이는 것이 가능한 최적화된 압축 방법을 채택한 디지털 병리 시스템을 제공하는 것을 목적으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 디지털 병리 시스템의 영상 압축 방법은, 제 1 평면 실제 영상 내지 제 n 평면 실제 영상(n은 2이상의 자연수)을 갖는 디지털 병리학 디지털 슬라이드 이미지를 압축하는 방법으로서, 동일 위치의 블록에 대해서, 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상 중 어떤 평면 실제 영상의 해당 위치의 블록이 최적 초점을 갖는지 판단하는 최적 블록 선별 단계; 상기 최적 블록만을 조합하여 하나의 평면 영상을 형성한 가상 최적 영상 형성 단계; 상기 가상 최적 영상에 기초하여 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상을 형성하기 위한, 각 블록별 디스크립터(descriptor)를 생성하는 단계; 또는 상기 가상 최적 영상에 기초하여 특정 평면 실제 영상을 형성하기 위한 각 블록별 디스클립터를 생성하고, 상기 가상 최적 영상 또는 특정 평면 실제 영상에 기초하여, 상기 특정 평면 실제 영상의 인접 평면 실제 영상을 형성하기 위한 각 블록별 디스크립터를 생성하는 단계; 상기 블록의 위치 정보 및 해당 블록별 디스크립터를 이용하여, 상기 가상 최적 영상, 상기 특정 평면 실제 영상 또는 상기 인접 평면 실제 영상으로부터 가장 유사하게 초점이 맞지 않는 제 1 평면 예측 영상(prediction image) 내지 제 n 평면 예측 영상을 생성하는 단계; 상기 제 1 평면 실제 영상과 상기 제 1 평면 예측 영상 간의 제 1 평면 차 영상, 및 상기 제 n 평면 실제 영상과 상기 제 n 평면 예측 영상 간의 제 n 평면 차 영상을 생성하는 단계; 및 상기 제 1 평면 차 영상 내지 상기 제 n 평면 차 영상을 압축하는 단계;를 포함하고, 상기 블록별 디스크립터(descriptor)는, 상기 가상 최적 영상에 기초하여 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상을 형성하기 위해 가우시안 블러 필터(Gaussian Blur Filter)를 사용하고, 블러 값에 기초하여 실제 각 블록의 영상과 가장 유사한 가우시안 블러 필터링된 영상일 때의 시그마(σ) 값이다.
또한, 상기 디스크립터는, 해당 블록의 위치 정보 및 상기 가상 최적 영상의 해당 블록에 기초하여 대응하는 해당 평면 블록의 실제 영상으로 변환하기 위한 추정된 커널을 포함한다.
또한, 상기 최적 블록 선별 단계에서, 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상의 동일 위치의 블록에 대해서, 상기 블록을 분석하여, 전경 추출(foreground extraction)을 하는 단계; 상기 추출된 전경의 블러(blur)를 계산하는 단계; 상기 추출된 전경의 밝기 왜곡(brightness distortion)을 계산하는 단계; 상기 추출된 전경의 콘트라스트 왜곡(contrast distortion)을 계산하는 단계; 및 상기 블러, 상기 밝기 왜곡, 및 상기 콘트라스트 왜곡을 이용하여, 이미지 품질 평가부가 상기 블록의 품질을 평가하는 단계;를 포함하여, 상기 최적 블록으로 선별할 수 있다.
여기서, 상기 블러를 계산하는 단계는, 상기 전경에 대해서, 소벨 필터(sobel filter)를 사용하여 전경의 모든 가장자리 화소를 포함하는 집합인 E를 찾는 단계; 및 상기 블러는 아래의 수학식 1에 의해 계산하는 단계;를 포함할 수 있다.
[수학식 1]
블러 =
Figure 112017077529260-pat00001
여기서, Nxy는 화소 I(x, y)의 8개 이웃하는 화소의 집합이며,
I(x, y) ∈ E 이고,
Nxy의 절대값은 집합 Nxy에서의 화소의 전체 수이다.
또한, 상기 밝기 왜곡(brightness distortion)을 계산하는 단계는, 상기 전경의 화소가 절대 블랙(absolute black)인 경우, 해당 화소의 밝기는 0로 판단하고, 상기 전경의 화소가 절대 화이트(absolute white)인 경우, 해당 화소의 밝기는 1로 판단하는 단계; 및 상기 밝기 왜곡을 상기 전경의 화소 전체의 밝기의 평균으로 계산하는 단계;를 포함할 수 있다.
또한, 상기 추출된 전경의 콘트라스트 왜곡(contrast distortion)은, 상기 전경을 그레이(gray)로 변환하는 단계; 누적 히스토그램(cumulative histogram)을 계산하는 단계; 및 상기 콘트라스트 왜곡은 아래 수학식 2에 의해서 계산하는 단계;를 포함할 수 있다.
[수학식 2]
콘트라스트 왜곡 = (상기 누적 히스토그램의 최대값의 75% 되는 히스토그램 바이너리 - 상기 누적 히스토그램의 최대값의 25% 되는 히스토그램 바이너리) / (화소값 범위의 최대값 - 화소값 범위의 최소값)
또한, 상기 블록의 품질(IQ)는 아래 수학식 3과 같이 정의될 수 있다.
[수학식 3]
IQ = 1 - (ax + by + cz)
단, a + b + c = 1
(여기서, x는 블러, y는 밝기 왜곡, z는 콘트라스트 왜곡을 나타내는 값임)
본 발명에 따른 디지털 병리 시스템의 영상 압축 방법에 의하면,
본 발명에서 제시하는 압축 알고리즘을 이용할 경우, 종래 멀티 평면 영상의 영상 사이즈가 종래 과도하게 커질 수밖에 없었던 것을, 효과적으로 중복성을 제거하여 영상 사이즈를 획기적으로 줄이는 것이 가능한 최적화된 압축 방법을 제공할 수 있다.
도 1은 본 발명에 따른 디지털 병리 시스템의 영상 압축 방법에 있어서, 왜 샘플의 내 포커스가 서로 다르고, 복수의 포커스가 이루어지는지를 설명하는 도면이다.
도 2는 가상의 최적 영상을 형성하는 것을 도시한 도면이다.
도 3 내지 도 4는 제 1 내지 제 n 평면 실제 영상, 가상 최적 영상, 제 1 내지 제 n 평면 예측 영상, 및 제 1 평면 차 영상 내지 상기 제 n 평면 차 영상을 압축하는 단계를 개략적으로 표현한 도면이다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
앞에서 설명한 바와 같이, 여기서의 디지털 병리학 시스템은 디지털화된 글래스 슬라이드(digitized glass slide)로부터 생성된 병리학 정보의 획득, 관리 및 해석을 가능하게 하는 영상 기반 환경에 적용된다.
도 1은 본 발명에 따른 디지털 병리 시스템의 영상 압축 방법에 있어서, 왜 샘플의 내 포커스가 서로 다르고, 복수의 포커스가 이루어지는지를 설명하는 도면이다. 도 1에 도시된 바와 같이, 샘플의 측단면 상에서 보면 서로 포커스가 다른 구간이 다수 존재하게 되어서, 샘플 평면 상에서 최적 포커스인 평면의 이미지를 획득하기 위해서는 포커스별로 다수의 이미지 획득이 필요하게 된다.
본 발명에 따른 디지털 병리 시스템의 영상 압축 방법은, 제 1 평면 실제 영상 내지 제 n 평면 실제 영상(n은 2이상의 자연수)을 갖는 디지털 슬라이드 이미지를 압축하는 방법으로서, 동일 위치의 블록에 대해서, 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상 중 어떤 평면 실제 영상의 해당 위치의 블록이 최적 초점을 갖는지 판단하는 최적 블록 선별 단계; 상기 최적 블록만을 조합하여 하나의 평면 영상을 형성한 가상 최적 영상 형성 단계; 상기 가상 최적 영상에 기초하여 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상을 형성하기 위한, 각 블록별 디스크립터(descriptor)를 생성하는 단계; 상기 블록별 디스크립터를 이용하여, 상기 가상 최적 영상으로부터 형성한 제 1 평면 예측 영상(prediction image) 내지 제 n 평면 예측 영상을 생성하는 단계; 상기 제 1 평면 실제 영상과 상기 제 1 평면 예측 영상 간의 제 1 평면 차 영상, 및 상기 제 n 평면 실제 영상과 상기 제 n 평면 예측 영상 간의 제 n 평면 차 영상을 생성하는 단계; 및 상기 제 1 평면 차 영상 내지 상기 제 n 평면 차 영상을 압축하는 단계;를 포함한다.
먼저, 최적 블록 선별 단계를 보면, 앞서 도 1에서 설명한 바와 같이, 샘플 평면 상에서 최적 포커스인 평면의 이미지를 획득하기 위해서는 포커스별로 다수의 이미지 획득이 필요하게 되며, 각 평면을 블록별로 분할하고, 각 평면에서 어느 블록이 최적의 초점을 갖는지를 확인하고, 각각의 최적 초점의 블록을 조합하여 하나의 가상의 평면 영상을 형성한다. 도 2는 이와 같은 가상의 최적 영상을 형성하는 것을 도시한 도면이다.
도 3 내지 도 4는 제 1 내지 제 n 평면 실제 영상, 가상 최적 영상, 제 1 내지 제 n 평면 예측 영상, 및 제 1 평면 차 영상 내지 상기 제 n 평면 차 영상을 압축하는 단계를 개략적으로 표현한 도면이다.
도 3 및 도 4에 도시된 바와 같이, 각 위치별로 최적의 초점을 갖는 블록을 조합한 가상 최적 영상(Optimal Plane Image, OPI)를 형성한다. 이와 같은 가상 최적 영상에 기초하여, 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상을 형성하기 위한, 각 블록별 디스크립터(descriptor)를 생성한다.
한편 가상 최적 영상으로부터 각 불록별로 특정 평면 실제 영상과 가장 유사하게 초점이 맞지 않도록 특정 평면 예측 영상을 생성한 다음, 이와 같은 특정 평면 예측 영상을 기초로 하여, 각 블록별로 상기 특정 영상에 기초하여 디스크립터를 생성하는 것도 가능하다. 여기서, 가장 유사하게 초점이 맞지 않도록 한다는 것의 의미는, 특정 평면 예측 영상의 해당 블록의 블러링 값과, 실제 블록의 블러링 값이 가장 유사한 것을 의미한다. 즉, 해당 블록의 블러 값을 기초로, 양자가 가장 블러 값의 차이가 적다는 것이다.
여기서, 디스크립터는, 해당 블록의 위치 정보 및 상기 가상 최적 영상의 해당 블록에 기초하여 대응하는 해당 평면 블록의 실제 영상으로 변환하기 위한 추정된 커널을 포함한다.
해당 블록별 디스크립터를 이용하여, 가상 최적 영상으로부터, 각 블록별로 제 1 평면 실제 영상 내지 제 n 평면 실제 영상과 가장 유사하게 초점이 맞지 않도록(out of focus), 제 1 평면 예측 영상(prediction image) 내지 제 n 평면 예측 영상(kernel)을 생성한다.
한편 가상 최적 영상으로부터 각 불록별로 특정 평면 실제 영상과 가장 유사하게 초점이 맞지 않도록 특정 평면 예측 영상을 생성한 다음, 이와 같은 특정 평면 예측 영상을 기초로 하여, 각 블록별로 상기 특정 영상과 인접한 평면 실제 영상과 가장 유사하게 초점이 맞지 않도록 상기 인접한 평면 실제 영상을 생성하는 것도 가능하다.
그리고, 제 1 평면 실제 영상(Original Plane Image, ORI)과 상기 제 1 평면 예측 영상(Prediction Plane Image, PRI) 간의 제 1 평면 차 영상(Differential Plane Image, DPI), 및 상기 제 n 평면 실제 영상과 상기 제 n 평면 예측 영상 간의 제 n 평면 차 영상을 각각 생성한다. 이와 같이 생성된 차영상(②-③)은, 도 3에 도시된 바와 같이, OPI와 ORI 간의 차영상(①-③)과 대비하여, 압축할 영상 데이터가 급격히 줄어든 모습을 알 수 있다.
마지막으로, 상기 제 1 평면 차 영상 내지 상기 제 n 평면 차 영상을 압축한다.
한편, 상술한 최적 블록 선별 단계에 대해서 좀 더 자세히 알아본다.
본 발명에 따른 디지털 병리 시스템의 블록의 이미지 품질 평가 방법은, 이미지 품질 평가부는 평가하고자 하는 블록을 수신하는 단계; 상기 이미지 품질 평가부는, 각 블록을 분석하여, 전경 추출(foreground extraction)을 하는 단계; 상기 추출된 전경의 블러(blur)를 계산하는 단계; 상기 추출된 전경의 밝기 왜곡(brightness distortion)을 계산하는 단계; 상기 추출된 전경의 콘트라스트 왜곡(contrast distortion)을 계산하는 단계; 및 상기 블러, 상기 밝기 왜곡, 및 상기 콘트라스트 왜곡을 이용하여, 상기 이미지 품질 평가부가 해당 블록의 이미지의 품질을 평가하는 단계;를 포함한다.
먼저 분할된 블록에 대해서 전경을 추출한다.
그 이후, 추출된 전경의 블러를 계산한다. 여기서, 블러는, 전경에 대해서, 그레이 이미지로 변환하고, 소벨 필터(sobel filter)를 사용하여 전경의 모든 가장자리 화소를 포함하는 집합인 E를 찾고, 그리고, 블러는 아래의 수학식 1에 의해 계산한다.
[수학식 1]
블러 =
Figure 112017077529260-pat00002
여기서, Nxy는 화소 I(x, y)의 8개 이웃하는 화소의 집합이며,
I(x, y) ∈ E 이고,
Nxy의 절대값은 집합 Nxy에서의 화소의 전체 수이다.
여기서 좋은 품질의 이미지라는 것은 더 많은 사프니스(sharpness)를 가지고, 더 적은 블러(blur)를 가진다는 개념이다. 좀 더 샤프한 이미지, 즉 sharper image는 에지 근처의 변화(intensity changes near the edge)가 더 크고, 블러한 이미지는 에지 근처에서의 변화가 더 작다. 따라서 후술할 해당 브록의 이미지의 전체 품질(IQ)의 수학식에서 블러에 반비례하게 수학식이 설정되어 있다.
또한, 밝기 왜곡(brightness distortion)을 계산한다. 밝기 왜곡은, 전경의 화소가 절대 블랙(absolute black)인 경우, 해당 화소의 밝기는 0로 판단하고, 상기 전경의 화소가 절대 화이트(absolute white)인 경우, 해당 화소의 밝기는 1로 판단하고, 그리고 밝기 왜곡을 상기 전경의 화소 전체의 밝기의 평균으로 계산한다. 밝기의 평균은 밝기의 왜곡은 아니지만, 전체의 평균이 한 쪽으로 너무 극단적일 수 있는 상황의 한계를 상정하여 경계값을 두어, 이 범위를 넘어설 경우 왜곡으로 인식한다. 이 때 경계값은 실제 환경에서의 통계적 수치로 계산한다.
여기서, 블러와 마찬가지로, 밝기 왜곡이 적을수록 품질은 좋은 이미지이므로, 후술할 최종적인 해당 블록의 이미지의 품질(IQ)의 수학식에서 전체 품질은 밝기 왜곡에 반비례하게 수학식이 설정되어 있다.
또한, 추출된 전경의 콘트라스트 왜곡(contrast distortion)을 계산한다. 콘트라스트 왜곡은, 전경을 그레이(gray)로 변환하고, 누적 히스토그램(cumulative histogram)을 계산하고, 콘트라스트 왜곡은 아래 수학식 2에 의해서 계산한다.
[수학식 2]
콘트라스트 왜곡 = (상기 누적 히스토그램의 최대값의 75% 되는 히스토그램 바이너리 - 상기 누적 히스토그램의 최대값의 25% 되는 히스토그램 바이너리) / (화소값 범위의 최대값 - 화소값 범위의 최소값)
여기서, 블러 및 밝기 왜곡과 마찬가지로, 콘트라스트 왜곡이 적을수록 품질은 좋은 이미지이므로, 후술할 최종적인 해당 블록의 품질(IQ)의 수학식에서 전체 품질은 콘트라스트 왜곡에 반비례하게 수학식이 설정되어 있다.
위에서 설명한 블러, 밝기 왜곡, 및 콘트라스트 왜곡은 계산 순서는 상관이 없다. 즉 병렬적으로 해도 되며, 서로 순서를 바꾸어도 가능하다.
마지막으로, 해당 블록의 이미지의 전체 품질(IQ)는 아래 수학식 3과 같이 정의된다.
[수학식 3]
WSIQ = 1 - (ax + by + cz)
단, a + b + c = 1
(여기서, x는 블러, y는 밝기 왜곡, z는 콘트라스트 왜곡을 나타내는 값임)
여기서, a, b, c를 a + b + c = 1로 정의하는 이유는 정규화(normalization)을 위해서, a, b, c의 합을 1로 설정한 것이다.
본 발명에 따른 디지털 병리 시스템의 영상 압축 방법을 활용한 경우의 압축 성능을 테스트하였다. 테스트에서는 7개의 평면(plane)을 가지는 WSI로 진행하였다. 압축률 비교는 원본 소스로부터 본 발명에 따라 생성한 영상과 비슷한 사이즈가 되게 압축률율 설정한 JPEG 영상을 비교하였다.
테스트에 사용된 멀티 평면 WSI의 사양으로는, 크기가 47616×47104이며, 평면의 수는 7개이며, 초점 길이 간격은 500nm이다. JPEG과 품질을 비교한 결과는 다음과 같다.
원본 JPEG(압축율 조정) 본 발명에 따른 방법
영상크기(MByte) 1,112 538 544
PSNR(dB) 0 35.65 39.72
여기서, JPEG과 비교를 진행한 이유는, DFI 압축을 같은 방식으로 했기 대문에 동일한 방식에서 향상을 비교해 보기 위해서이다. JPEG과 본 발명에 따른 방법의 비교는 동일한 조건을 만들기 쉬운 영상 크기를 동일하게 두고 품질을 비교하여 품질 향상이 있는지를 통해 확인하였다. 그 결과는 PSNR 4.1 정도의 향상이 있었으며, 실제 육안으로도 동일 크기의 JPEG의 경우 블록화 현상이 커져 품질이 매우 낮아졌음을 인지할 수 있는 반면에 본 발명에 따른 방법으로 압축한 영상은 원본과의 차이가 크지 않게 보였다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 이와 같은 실시예와 도면에 기재된 발명은 예시적인 것에 불과하며, 본 발명은 이것에 의해 한정 또는 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims (7)

  1. 제 1 평면 실제 영상 내지 제 n 평면 실제 영상(n은 2이상의 자연수)을 갖는 디지털 병리학 디지털 슬라이드 이미지를 압축하는 방법으로서,
    동일 위치의 블록에 대해서, 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상 중 어떤 평면 실제 영상의 해당 위치의 블록이 최적 초점을 갖는지 판단하는 최적 블록 선별 단계;
    상기 최적 블록만을 조합하여 하나의 평면 영상을 형성한 가상 최적 영상 형성 단계;
    상기 가상 최적 영상에 기초하여 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상을 형성하기 위한, 각 블록별 디스크립터(descriptor)를 생성하는 단계; 또는 상기 가상 최적 영상에 기초하여 특정 평면 실제 영상을 형성하기 위한 각 블록별 디스클립터를 생성하고, 상기 가상 최적 영상 또는 특정 평면 실제 영상에 기초하여, 상기 특정 평면 실제 영상의 인접 평면 실제 영상을 형성하기 위한 각 블록별 디스크립터를 생성하는 단계;
    상기 블록의 위치 정보 및 해당 블록별 디스크립터를 이용하여, 상기 가상 최적 영상, 상기 특정 평면 실제 영상 또는 상기 인접 평면 실제 영상으로부터 가장 유사하게 초점이 맞지 않는 제 1 평면 예측 영상(prediction image) 내지 제 n 평면 예측 영상을 생성하는 단계;
    상기 제 1 평면 실제 영상과 상기 제 1 평면 예측 영상 간의 제 1 평면 차 영상, 및 상기 제 n 평면 실제 영상과 상기 제 n 평면 예측 영상 간의 제 n 평면 차 영상을 생성하는 단계; 및
    상기 제 1 평면 차 영상 내지 상기 제 n 평면 차 영상을 압축하는 단계;를 포함하고,
    상기 블록별 디스크립터(descriptor)는, 상기 가상 최적 영상에 기초하여 상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상을 형성하기 위해 가우시안 블러 필터(Gaussian Blur Filter)를 사용하고, 블러 값에 기초하여 실제 각 블록의 영상과 가장 유사한 가우시안 블러 필터링된 영상일 때의 시그마(σ) 값이고,
    상기 디스크립터는, 해당 블록의 위치 정보 및 상기 가상 최적 영상의 해당 블록에 기초하여 대응하는 해당 평면 블록의 실제 영상으로 변환하기 위한 추정된 커널을 포함하고,
    상기 최적 블록 선별 단계에서,
    상기 제 1 평면 실제 영상 내지 상기 제 n 평면 실제 영상의 동일 위치의 블록에 대해서,
    상기 블록을 분석하여, 전경 추출(foreground extraction)을 하는 단계;
    상기 추출된 전경의 블러(blur)를 계산하는 단계;
    상기 추출된 전경의 밝기 왜곡(brightness distortion)을 계산하는 단계;
    상기 추출된 전경의 콘트라스트 왜곡(contrast distortion)을 계산하는 단계; 및
    상기 블러, 상기 밝기 왜곡, 및 상기 콘트라스트 왜곡을 이용하여, 이미지 품질 평가부가 상기 블록의 품질을 평가하는 단계;를 포함하여,
    상기 최적 블록으로 선별하고,
    상기 블러를 계산하는 단계는,
    상기 전경에 대해서, 소벨 필터(sobel filter)를 사용하여 전경의 모든 가장자리 화소를 포함하는 집합인 E를 찾는 단계; 및
    상기 블러는 아래의 수학식 1에 의해 계산하는 단계;를 포함하는,
    디지털 병리 시스템의 영상 압축 방법.
    [수학식 1]
    블러 =
    Figure 112018127767801-pat00003

    여기서, Nxy는 화소 I(x, y)의 8개 이웃하는 화소의 집합이며,
    I(x, y) ∈ E 이고,
    Nxy의 절대값은 집합 Nxy에서의 화소의 전체 수이다.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 밝기 왜곡(brightness distortion)을 계산하는 단계는,
    상기 전경의 화소가 절대 블랙(absolute black)인 경우, 해당 화소의 밝기는 0로 판단하고, 상기 전경의 화소가 절대 화이트(absolute white)인 경우, 해당 화소의 밝기는 1로 판단하는 단계; 및
    상기 밝기 왜곡을 상기 전경의 화소 전체의 밝기의 평균으로 계산하는 단계;를 포함하는,
    디지털 병리 시스템의 영상 압축 방법.
  6. 제 5 항에 있어서,
    상기 추출된 전경의 콘트라스트 왜곡(contrast distortion)은,
    상기 전경을 그레이(gray)로 변환하는 단계;
    누적 히스토그램(cumulative histogram)을 계산하는 단계; 및
    상기 콘트라스트 왜곡은 아래 수학식 2에 의해서 계산하는 단계;를 포함하는,
    디지털 병리 시스템의 영상 압축 방법.
    [수학식 2]
    콘트라스트 왜곡 = (상기 누적 히스토그램의 최대값의 75% 되는 히스토그램 바이너리 - 상기 누적 히스토그램의 최대값의 25% 되는 히스토그램 바이너리) / (화소값 범위의 최대값 - 화소값 범위의 최소값)
  7. 제 6 항에 있어서,
    상기 블록의 품질(IQ)는 아래 수학식 3과 같이 정의되는,
    디지털 병리 시스템의 영상 압축 방법.
    [수학식 3]
    IQ = 1 - (ax + by + cz)
    단, a + b + c = 1
    (여기서, x는 블러, y는 밝기 왜곡, z는 콘트라스트 왜곡을 나타내는 값임)
KR1020170102077A 2017-08-11 2017-08-11 디지털 병리 시스템의 영상 압축 방법 KR101967992B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170102077A KR101967992B1 (ko) 2017-08-11 2017-08-11 디지털 병리 시스템의 영상 압축 방법
US15/685,709 US10404894B2 (en) 2017-08-11 2017-08-24 Image compression method for digital pathology system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170102077A KR101967992B1 (ko) 2017-08-11 2017-08-11 디지털 병리 시스템의 영상 압축 방법

Publications (2)

Publication Number Publication Date
KR20190017352A KR20190017352A (ko) 2019-02-20
KR101967992B1 true KR101967992B1 (ko) 2019-04-11

Family

ID=65275604

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170102077A KR101967992B1 (ko) 2017-08-11 2017-08-11 디지털 병리 시스템의 영상 압축 방법

Country Status (2)

Country Link
US (1) US10404894B2 (ko)
KR (1) KR101967992B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220089004A (ko) 2020-12-21 2022-06-28 주식회사 인피니트헬스케어 다이콤 서비스 기반 디지털 병리 스캐닝 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11476005B2 (en) 2020-09-03 2022-10-18 Huron Technologies International Inc. Systems and methods for automatically managing image data
KR102462847B1 (ko) 2021-01-29 2022-11-04 한국광기술원 음영 왜곡을 보정하는 전체 슬라이드 이미징 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150400A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、情報処理方法、及びそのプログラム
JP2013125519A (ja) * 2011-12-16 2013-06-24 Canon Inc 画像処理装置、データ構造、および画像生成装置
JP2014029528A (ja) 2012-07-19 2014-02-13 Sony Corp Zスタック顕微鏡画像を圧縮するための方法及び装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4937457B2 (ja) * 2001-03-01 2012-05-23 オリンパス株式会社 顕微鏡制御装置、顕微鏡制御システム、顕微鏡の制御方法、プログラム、及び記録媒体
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
KR101559798B1 (ko) 2009-12-22 2015-10-13 엘지전자 주식회사 디지털 병리학의 이미지 표준화 방법
JP5705096B2 (ja) * 2011-12-02 2015-04-22 キヤノン株式会社 画像処理装置及び画像処理方法
US8885976B1 (en) * 2013-06-20 2014-11-11 Cyberlink Corp. Systems and methods for performing image fusion
KR101849458B1 (ko) * 2016-07-11 2018-04-17 주식회사 인피니트헬스케어 디지털 병리 시스템의 영상 압축 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150400A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、情報処理方法、及びそのプログラム
JP2013125519A (ja) * 2011-12-16 2013-06-24 Canon Inc 画像処理装置、データ構造、および画像生成装置
JP2014029528A (ja) 2012-07-19 2014-02-13 Sony Corp Zスタック顕微鏡画像を圧縮するための方法及び装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220089004A (ko) 2020-12-21 2022-06-28 주식회사 인피니트헬스케어 다이콤 서비스 기반 디지털 병리 스캐닝 방법

Also Published As

Publication number Publication date
US20190052773A1 (en) 2019-02-14
KR20190017352A (ko) 2019-02-20
US10404894B2 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
JP7134303B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
TWI362007B (en) Apparatus and methods for identifying regions within an image having similar continuity values, and blob identifier
Rajkumar et al. A comparative analysis on image quality assessment for real time satellite images
EP1831823B1 (en) Segmenting digital image and producing compact representation
KR101967992B1 (ko) 디지털 병리 시스템의 영상 압축 방법
KR101789513B1 (ko) 디지털 병리 시스템의 이미지 품질 평가 방법
US11995808B2 (en) Method for X-ray dental image enhancement
CN113962976B (zh) 用于病理玻片数字图像的质量评估方法
KR101849458B1 (ko) 디지털 병리 시스템의 영상 압축 방법
RU2325044C1 (ru) Градиентный способ выделения контуров объектов на матрице полутонового растрового изображения
Tripathy et al. Performance observation of mammograms using an improved dynamic window based adaptive median filter
KR102466061B1 (ko) 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법
Rees et al. The effect of median filtering on synthetic aperture radar images
CN113361580A (zh) 一种结直肠癌错配修复功能的预测方法及装置
da Silva et al. A New and Efficient Algorithm to Binarize Document Images Removing Back-to-Front Interference.
Sheba et al. Adaptive fuzzy logic based Bi—Histogram equalization for contrast enhancement of mammograms
Kipele et al. Poisson noise reduction with nonlocal-pca hybrid model in medical x-ray images
CN113130028A (zh) 基于区块链的医疗电子病历信息管理方法及系统
Storozhilova et al. 2.5 D extension of neighborhood filters for noise reduction in 3D medical CT images
Mtimet et al. A layer-based segmentation method for compound images
Lerman et al. Contrast enhancement of soft tissues in Computed Tomography images
Lim Robust specular reflection removal and visibility enhancement of endoscopic images using 3-channel thresholding technique and image inpainting
Bolan Document image enhancement
Mahapatra LBP-GLZM Based Hybrid Model for Classification of Breast Cancer
Vo et al. Multi-Range Fusion for X-ray Image Enhancement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right