KR20210056058A - 중적외선을 이용한 암종 컬러검출장치 및 방법 - Google Patents

중적외선을 이용한 암종 컬러검출장치 및 방법 Download PDF

Info

Publication number
KR20210056058A
KR20210056058A KR1020190142673A KR20190142673A KR20210056058A KR 20210056058 A KR20210056058 A KR 20210056058A KR 1020190142673 A KR1020190142673 A KR 1020190142673A KR 20190142673 A KR20190142673 A KR 20190142673A KR 20210056058 A KR20210056058 A KR 20210056058A
Authority
KR
South Korea
Prior art keywords
image
unit
pixel
mid
tissue
Prior art date
Application number
KR1020190142673A
Other languages
English (en)
Other versions
KR102347442B1 (ko
Inventor
안재성
김현식
박형주
김인경
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020190142673A priority Critical patent/KR102347442B1/ko
Priority to CN202011205366.4A priority patent/CN112785657A/zh
Publication of KR20210056058A publication Critical patent/KR20210056058A/ko
Application granted granted Critical
Publication of KR102347442B1 publication Critical patent/KR102347442B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Urology & Nephrology (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Hematology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 중적외선을 이용한 암종 컬러검출장치 및 방법에 관한 것으로, 더욱 상세하게는 임의의 조직에 대해 획득된 중적외선 이미지의 픽셀 단위의 주성분에 따른 그룹화 이미지를 생성하며, 복수의 그룹화 이미지와 상기 주성분에 대한 선암종 등과 같은 암종 조직, 정상 조직 등의 조직 종류에 대해 미리 학습된 조직 학습데이터를 비교하여 그룹화 이미지를 암종 조직, 일반 조직 등의 조직 종류별로 분류하고, 분류된 그룹화 이미지를 분류된 조직 종류별로 미리 맵핑된 색을 반영하여 컬러 인덱스 맵핑 이미지를 생성한 후, 결합하여 암종 컬러 촬영 이미지를 생성하여 표시하는 중적외선을 이용한 암종 컬러 검출장치 및 방법에 관한 것이다.

Description

중적외선을 이용한 암종 컬러검출장치 및 방법{Carcinoma color detection apparatus using mid-infrared and method thereof}
본 발명은 중적외선을 이용한 암종 컬러검출장치 및 방법에 관한 것으로, 더욱 상세하게는 임의의 조직에 대해 획득된 중적외선 이미지의 픽셀 단위의 주성분에 따른 그룹화 이미지를 생성하며, 복수의 그룹화 이미지와 상기 주성분에 대한 선암종 등과 같은 암종 조직, 정상 조직 등의 조직 종류에 대해 미리 학습된 조직 학습데이터를 비교하여 그룹화 이미지를 암종 조직, 일반 조직 등의 조직 종류별로 분류하고, 분류된 그룹화 이미지를 분류된 조직 종류별로 미리 맵핑된 색을 반영하여 컬러 인덱스 맵핑 이미지를 생성한 후, 결합하여 암종 컬러 촬영 이미지를 생성하여 표시하는 중적외선을 이용한 암종 컬러 검출장치 및 방법에 관한 것이다.
사람들에게 가장 잘 알려진 질병은 암(Cancer)일 것이다. 암은 조직(Tissue) 내에서 질서를 무시하고 무제한 증식하는 미분화 세포로 구성된 종괴, 또는 종양을 형성하는 병이다. 궁극적으로 암은 주위의 정상 조직이나 기관을 침윤하여 파괴하고 원발병소에서 개체의 어떤 기관이든 전이하여 새로운 성장 장소를 만들 수 있어 개체의 생명을 빼앗아 갈 수 있는 질환군을 총칭한다.
암은 억제가 안 되는 세포의 증식으로 조직과 장기의 구조와 기능을 파괴하기 때문에 무서운 질병으로 손꼽힌다. 이러한 암의 대표적인 종류로는 위암, 대장암, 폐암, 유방암, 간암, 전립선암, 췌장암, 담낭암, 기타 담도암 등이 있다.
이러한 암은 사망률 1위를 차지할 정도로 발병률이 높으며, 조기에 발견할수록 완치 확률이 커지므로 조기에 빠르게 발견하는 것이 중요하다.
통상적으로 암은 신체의 해당 조직을 촬영한 적외선 영상을 의사가 눈으로 확인하여 판단한다.
따라서 의사의 전문도에 따라 암세포를 검출해 내는데 차이가 발생할 수 있는 문제점이 있었다.
즉, 의사의 전문도에 따라 암이 있음에도 불구하고 검출해 내지 못할 가능성이 있으며, 이는 암의 발견 시기를 늦춰 환자의 완치 확률을 떨어뜨릴 수 있는 문제점이 있으며, 궁극적으로는 환자의 목숨을 빼앗을 수 있는 문제점이 있었다.
따라서 촬영된 적외선 영상으로부터 암의 존재 여부를 객관적이고 정확하게 판단하여 검출할 수 있는 암 검출장치의 개발이 요구되고 있다.
대한민국 등록특허 제10-1384211호(2014.04.14. 공고)
따라서 본 발명의 목적은 임의의 조직에 대해 획득된 중적외선 이미지의 픽셀 단위의 주성분에 따른 그룹화 이미지를 생성하며, 복수의 그룹화 이미지와 상기 주성분에 대한 선암종 등과 같은 암종 조직, 정상 조직 등의 조직 종류에 대해 미리 학습된 조직 학습데이터를 비교하여 그룹화 이미지를 암종 조직, 일반 조직 등의 조직 종류별로 분류하고, 분류된 그룹화 이미지를 분류된 조직 종류별로 미리 맵핑된 색을 반영하여 컬러 인덱스 맵핑 이미지를 생성한 후, 결합하여 암종 컬러 촬영 이미지를 생성하여 표시하는 중적외선을 이용한 암종 컬러 검출장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 중적외선을 이용한 선종암 컬러검출장치는: 디스플레이부; 입력부; 조직 샘플의 관심영역을 촬영하여 상기 관심영역에 대한 중적외선 이미지를 생성하여 출력하는 중적외선 촬영부; 픽셀 단위의 스펙트럼에 대한 주성분에 대응하는 조직 종류 학습데이터를 저장하는 암 픽셀 학습 DB를 포함하는 저장부; 및 암 진단 이벤트의 발생 시 획득된 H&E 염색 이미지를 상기 디스플레이부에 표시하고 입력부를 통해 관심영역을 입력받아 상기 중적외선 촬영부를 제어하여 상기 관심영역에 대한 중적외선 이미지를 획득하고, 주성분에 대한 상기 조직 종류 학습데이터를 참조하여 획득된 중적외선 이미지의 픽셀 단위의 스펙트럼으로부터 다수의 주성분을 추출하고, 추출된 주성분에 따른 픽셀들을 그룹화하여 조직 종류별 그룹화 이미지를 생성한 후 결합하여 결합 그룹화 이미지를 생성하고, 상기 결합 그룹 이미지에서 상기 조직 종류가 암인 조직에 대한 그룹화 이미지에 임의의 색을 할당하여 적용한 컬러 인덱스 맵핑 이미지를 생성하여 상기 디스플레이부에 표시하는 제어부를 포함하는 것을 특징으로 한다.
상기 장치는: 상기 조직 샘플을 촬영하여 H&E 염색 이미지를 생성한 후 상기 제어부로 출력하는 HE 촬영부를 더 포함하되, 상기 제어부는 상기 암 진단 이벤트의 발생 시 상기 HE 촬영부를 제어하여 상기 H&E 염색 이미지를 획득하는 것을 특징으로 한다.
상기 제어부는, 상기 암 진단 이벤트의 발생 시 상기 HE 촬영부를 통해 H&E 염색 이미지를 획득하여 상기 디스플레이부에 표시하는 HE 염색 이미지 획득부; 상기 입력부를 통해 사용자로부터 상기 디스플레이부에 표시된 H&E 염색 이미지에서의 관심영역을 입력받아 설정하는 관심영역 설정부; 상기 설정된 관심영역에 대응하는 조직 샘플의 해당 영역을 촬영하도록 상기 중적외선 촬영부를 제어하여 중적외선 이미지를 획득하는 중적외선 이미지 획득부; 주성분에 대한 상기 조직 종류 학습데이터를 참조하여 획득된 상기 중적외선 이미지의 픽셀 단위의 스펙트럼으로부터 상기 중적외선 이미지의 특징인 다수의 주성분을 추출하고, 추출된 주성분에 따른 픽셀들을 그룹화하여 조직 종류별 그룹화 이미지 및 각 그룹화 이미지에 대응하는 해당 조직정보를 생성한 후, 상기 그룹화 이미지를 결합한 결합 그룹화 이미지를 생성하여 상기 조직정보와 함께 출력하는 특징 추출부; 및 상기 조직정보 및 결합 그룹화 이미지를 상기 특징 추출부로부터 입력받아 결합 그룹화 이미지에서 암 조직에 대응하는 조직정보를 갖는 그룹화 이미지를 미리 설정된 색을 적용한 컬러 인덱스 맵핑 이미지를 생성하여 상기 디스플레이부에 표시하는 색상 맵핑부를 포함하는 것을 특징으로 한다.
상기 특징 추출부는, 상기 중적외선 이미지의 픽셀단위의 스펙트럼을 추출하고, 추출된 스펙트럼을 베이스라인 교정을 수행하는 스펙트럼 나열부; 베이스라인 교정된 픽셀단위의 스펙트럼으로부터 상기 암 픽셀 학습 DB에 저장되어 있는 학습데이터에 기반하여 주성분을 추출하는 주성분 추출부; 및 주성분별로 픽셀들을 그룹화하여 그룹화 이미지를 생성하고, 주성분별 그룹화 이미지를 결합하여 결합 그룹 이미지를 생성하여 출력하는 픽셀 그룹화부를 포함하는 것을 특징으로 한다.
상기 제어부는, 상기 획득된 조직 종류별, 즉 주성분별 픽셀단위의 스펙트럼을 학습시켜 이전의 학습데이터를 갱신하는 학습부를 더 포함하는 것을 특징으로 한다.
상기 주성분 추출부는, 상기 픽셀단위의 스펙트럼에서 지질, 단백질인 아미드 I(Amide I), 핵산, 탄수화물을 주성분으로 추출하고, 상기 픽셀 그룹화부는, 상기 암 픽셀 학습 DB의 조직 종류별 학습데이터에 기반하여 픽셀단위의 스펙트럼에서 단백질인 아미드 I(Amide I)의 빛 흡수도 큰 스펙트럼을 가지는 픽셀을 암 조직에 대한 픽셀로 간주하고, 대응하는 픽셀들에 대한 그룹화 이미지를 암에 대한 그룹화 이미지로 결정하는 것을 특징으로 한다.
상기 색 맵핑부는, 상기 결합 그룹 이미지의 암에 대한 그룹화 이미지를 레드로 적용하여 상기 컬러 인덱스 맵핑 이미지를 생성하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 중적외선을 이용한 선종암 컬러검출방법은: 제어부가 암 진단 이벤트의 발생 시 HE 촬영부를 통해 H&E 염색 이미지를 획득하여 상기 디스플레이부에 표시하는 HE 염색 이미지 획득 과정; 상기 제어부가 입력부를 통해 사용자로부터 상기 디스플레이부에 표시된 H&E 염색 이미지에서의 관심영역을 입력받아 설정하는 관심영역 설정 과정; 상기 제어부가 상기 설정된 관심영역에 대응하는 조직 샘플의 해당 영역을 촬영하도록 중적외선 촬영부를 제어하여 중적외선 이미지를 획득하는 중적외선 이미지 획득 과정; 상기 제어부가 주성분에 대한 암 픽셀 학습 DB의 조직 종류 학습데이터를 참조하여 획득된 상기 중적외선 이미지의 픽셀 단위의 스펙트럼으로부터 상기 중적외선 이미지의 특징인 다수의 주성분을 추출하고, 추출된 주성분에 따른 픽셀들을 그룹화하여 조직 종류별 그룹화 이미지 및 각 그룹화 이미지에 대응하는 해당 조직정보를 생성한 후, 상기 그룹화 이미지를 결합한 결합 그룹화 이미지를 생성하여 상기 조직정보와 함께 출력하는 특징 추출 과정; 및 상기 제어부가 상기 조직정보 및 결합 그룹화 이미지를 특징 추출부로부터 입력받아 결합 그룹화 이미지에서 암 조직에 대응하는 조직정보를 갖는 그룹화 이미지를 미리 설정된 색을 적용한 컬러 인덱스 맵핑 이미지를 생성하여 상기 디스플레이부에 표시하는 색상 맵핑 과정을 포함하는 것을 특징으로 한다.
상기 특징 추출 과정은, 상기 제어부가 상기 중적외선 이미지의 픽셀단위의 스펙트럼을 추출하고, 추출된 스펙트럼을 베이스라인 교정을 수행하는 스펙트럼 나열 단계; 상기 제어부가 베이스라인 교정된 픽셀단위의 스펙트럼으로부터 상기 암 픽셀 학습 DB에 저장되어 있는 조직 종류 학습데이터에 기반하여 주성분을 추출하는 주성분 추출 단계; 및 상기 제어부가 주성분별로 픽셀들을 그룹화하여 그룹화 이미지를 생성하고, 주성분별 그룹화 이미지를 결합하여 결합 그룹 이미지를 생성하여 출력하는 픽셀 그룹화 단계를 포함하는 것을 특징으로 한다.
상기 방법은: 상기 제어부가 상기 획득된 조직 종류별, 즉 주성분별 픽셀단위의 스펙트럼을 학습시켜 이전의 상기 조직 종류 학습데이터를 갱신하는 학습 과정을 더 포함하는 것을 특징으로 한다.
상기 주성분 추출 단계에서, 주성분 추출부가 상기 픽셀단위의 스펙트럼에서 지질, 단백질인 아미드 I(Amide I), 핵산, 탄수화물을 주성분으로 추출하고, 상기 픽셀 그룹화 단계에서 픽셀 그룹화부가 상기 암 픽셀 학습 DB의 조직 종류별 학습데이터에 기반하여 픽셀단위의 스펙트럼에서 단백질인 아미드 I(Amide I)의 빛 흡수도 큰 스펙트럼을 가지는 픽셀을 암 조직에 대한 픽셀로 간주하고, 대응하는 픽셀들에 대한 그룹화 이미지를 암에 대한 그룹화 이미지로 결정하는 것을 특징으로 한다.
상기 색 맵핑 과정에서 색 맵핑부가 상기 결합 그룹 이미지의 암에 대한 그룹화 이미지를 레드로 적용하여 상기 컬러 인덱스 맵핑 이미지를 생성하는 것을 특징으로 한다.
본 발명은 중적외선을 이용하므로 암 여부를 판단할 수 있는 단백질인 아미드 원(Amide I) 성분을 중적외선 영상 내에 도출시킬 수 있는 효과가 있다.
본 발명은 검사할 조직 샘플의 구성된 조직 종류별로 서로 다른 색을 할당하여 표시하므로 검사할 조직 샘플에 암세포(암조직)이 존재하는 경우 이를 눈으로 쉽게 확인할 수 있는 효과가 있다.
즉, 본 발명은 전문성이 없는 일반인도 분석된 암종 컬러 촬영 이미지를 보는 것만으로 조직 내에 암조직의 존재 여부를 쉽게 판단할 수 있는 효과가 있다.
또한, 본 발명은 흡수대역이 중적외선 영역에 위치하고 있는 조직을 구성하는 물질(지질, 단백질, 핵산, 탄수화물 등)을 중적외선을을 사용하므로 보다 정확하고 조직간 구분이 용이한 영상을 획득할 수 있는 효과가 있다.
도 1은 본 발명에 따른 중적외선을 이용한 암종 컬러검출장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 H&E 염색 이미지 및 중적외선 이미지를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 중적외선 이미지의 픽셀단위의 스펙트럼 파형 및 파장별 주성분을 나타낸 도면이다.
도 4는 본 발명에 따른 주성분의 개수에 따라 분류된 주성분 이미지를 나타낸 도면이다.
도 5는 본 발명에 따라 K-클러스터링으로 분류된 그룹화 이미지를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 컬러 인덱스 맵핑 이미지를 나타낸 도면이다.
도 7은 본 발명에 따른 중적외선을 이용한 암종 컬러검출방법을 나타낸 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 중적외선을 이용한 선종암 컬러검출장치의 구성 및 동작을 상세히 설명하고, 상기 장치에서의 선종암 컬러검출방법을 설명한다.
도 1은 본 발명에 따른 중적외선을 이용한 암종 컬러검출장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 일실시예에 따른 H&E 염색 이미지 및 중적외선 이미지를 나타낸 도면이고, 도 3은 본 발명의 일실시예에 따른 중적외선 이미지의 픽셀단위의 스펙트럼 파형 및 파장별 주성분을 나타낸 도면이고, 도 4는 본 발명에 따른 주성분의 개수에 따라 분류된 주성분 이미지를 나타낸 도면이고, 도 5는 본 발명에 따라 K-클러스터링으로 분류된 그룹화 이미지를 나타낸 도면이며, 도 6은 본 발명의 일실시예에 따른 컬러 인덱스 맵핑 이미지를 나타낸 도면이다. 이하 도 1 내지 도 6을 참조하여 설명한다.
본 발명에 따른 중적외선을 이용한 암종 컬러검출장치는 저장부(10), 디스플레이부(20), 입력부(30), HE 촬영부(40), 중적외선 촬영부(50) 및 제어부(100)를 포함한다.
저장부(10)는 본 발명에 따른 중적외선을 이용한 암종 컬러검출장치의 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 일시 저장하는 임시영역, 상기 제어프로그램 수행 중에 발생되는 데이터 및 제어프로그램 수행에 필요한 데이터를 반영구적으로 저장하는 데이터영역을 포함한다. 상기 데이터영역에는 본 발명에 따라 암 픽셀 학습 DB(11)가 구성될 수 있을 것이다.
상기 암 픽셀 학습 DB(11)는 주성분에 따른 암 조직, 일반 조직 등과 같은 조직 종류를 식별하기 위해 픽셀 단위의 스펙트럼에 대한 학습데이터를 저장한다. 상기 학습데이터는 딥러닝, 서포트 벡터 머신(Support Vector Machine: SVM) KNN(K-Nearest Neighbors) 등의 학습방식에 의해 발생된 데이터일 수 있을 것이다.
상기 학습데이터는 도 3에서 보이는 바와 같이 입력 데이터가 스펙트럼의 파장 및 흡수도이고, 출력 데이터는 상기 스펙트럼의 파장 및 빛 흡수력에 대응하는 주성분일 수 있을 것이다.
학습데이터는 중적외선 현미경으로 측정된 결과, 한 파일당 480*480 픽셀(Pixels)의 950nm ~ 1800nm 파장 사이의 스펙트럼 데이터를 바탕으로 K평균 클러스터링(K-means clustering)을 통해 나온 분류 결과 데이터로 그룹화된 이미지이고, 출력 데이터는 두 개의 학습 데이터를 훈련시켜 각각의 픽셀마다 클러스터(1, 2, 3,...,k)로 출력되는 데이터이다. 이 클러스터 정보를 바탕으로 각각의 클러스터에 해당하는 픽셀부분만을 모아 이미지를 재구성한다.
디스플레이부(20)는 제어부(100)의 제어를 받아 입출력 정보를 텍스트, 그래픽, 정지영상, 동영상 등 중 어느 하나 이상으로 표시한다. 본 발명에 따라 상기 출력정보는 H&E 염색(Stained) 이미지, 중적외선(Mid Infrared) 이미지, 주성분 이미지, 그룹화 이미지, 컬러 인덱스 맵핑 이미지, 분석 데이터 등이 될 수 있을 것이다.
입력부(30)는 다수의 기능 및 문자를 입력할 수 있는 키보드 등의 키입력장치, 마우스, 상기 디스플레이부(20)의 화면에 일체로 구성되어 터치되는 화면상의 위치에 대한 위치신호를 출력하는 터치패드 등 중 어느 하나 이상을 포함하여 사용자에게 정보 입력 및 기능 선택 수단을 제공한다.
HE 촬영부(40)는 조직 샘플을 촬영하여 도 2의 201과 같은 헤마톡실린 및 에오신(Hematoxylin & Eosin: H&E 또는 HE) 염색(Stained) 이미지를 제어부(100)로 출력한다.
중적외선 촬영부(50)는 상기 제어부(100)의 제어를 받아 상기 조직 샘플의 특정 영역, 예를 들면 도 2의 201의 H&E 염색 이미지의 관심영역(Region of Interest: ROI) 영역을 중적외선을 이용한 중적외선 촬영을 수행하여 상기 특정 영역(ROI 영역)에 대한 도 2의 202와 같은 중적외선 영상을 상기 제어부(100)로 출력한다. 상기 중적외선 영상은 상기 H&E 염색 이미지상의 특정 영역에 대응하는 확대 영상일 수 있을 것이다.
제어부(100)는 HE 염색 이미지 획득부(110), 관심영역 설정부(120), 중적외선 이미지 획득부(130), 특징 추출부(140), 색상 맵핑부(150) 및 학습부(160)를 포함하여, 본 발명에 따른 암종 컬러검출장치의 전반적인 동작을 제어한다.
구체적으로 설명하면, HE 염색 이미지 획득부(110)는 암 진단 이벤트의 발생 시 HE 촬영부(40)를 제어하여 HE 촬영부(40)의 카메라 포커싱 위치에 놓인 조직 샘플을 촬영하도록 하고, 상기 HE 촬영부(40)로부터 상기 조직 샘플에 대한 H&E 염색 이미지를 획득하여 디스플레이부(20)에 표시한다.
관심영역 설정부(120)는 도 2의 201과 같이 상기 디스플레이부(20)에 표시된 H&E 염색 이미지에 대해 사용자로부터 입력부(30)에 의한 관심영역(ROI)(211)을 지정받아 설정한다.
중적외선 이미지 획득부(130)는 중적외선 촬영부(50)를 제어하여 관심영역 설정부(120)에 의해 설정된 관심영역을 촬영하도록 제어하고, 그에 따른 중적외선이미지를 상기 중적외선 촬영부(50)로부터 입력받아 획득한다.
특징 추출부(140)는 스펙트럼 나열부(141), 주성분 추출부(142) 및 픽셀 그룹화부(143)를 포함하여, 상기 중적외선 이미지로부터 조직 종류별 그룹화 이미지를 추출하고, 추출된 그룹화 이미지들을 결합한 결합 그룹 이미지를 색상 맵핑부(150)로 출력한다.
구체적으로 설명하면, 스펙트럼 나열부(141)는 중적외선 이미지 획득부(130)로부터 입력되는 중적외선 이미지의 픽셀단위로 도 3과 같은 스펙트럼을 계산하고, 상기 스펙트럼에 대한 베이스라인 교정(Baseline Correction)을 수행하여 출력한다.
주성분 추출부(142)는 상기 베이스라인 교정된 픽셀별 스펙트럼으로부터 주성분을 추출한다. 상기 주성분은 도 2에서 보이는 바와 같이 지질(Lipid), 단백질(Protein), 핵산(Nucleic acid), 탄수화물(Carbohydrate) 등이 될 수 있을 것이다.
픽셀 그룹화부(143)는 상기 주성분 추출부(142)에서 추출된 주성분과 미리 암 픽셀 학습 DB(11)에 저장된 주성분별 조직 종류 학습데이터를 비교하여 픽셀들의 조직 종류를 판별하며, 픽셀들을 동일 주성분, 즉 동일 조직 종류로 분류된 픽셀들로 그룹화하여 그룹화 이미지를 생성하고, 그룹화 이미지들에 대한 조직 정류정보를 색상 맵핑부(150)로 제공하며, 상기 그룹화 이미지들을 결합한 결합 그룹화 이미지를 색상 맵핑부(150)로 출력한다.
상기 주성분의 개수는 최대 426개이고, 이중 선택적으로 적용될 수 있을 것이다. 도 4의 301에서와 같이 주성분 수를 5개로 설정하여 그룹화 이미지를 생성할 수도 있고, 302에서와 같이 주성분 수 426개 모두를 사용하여 그룹화 이미지를 생성할 수도 있을 것이다.
또한, 상기 픽셀 그룹화부(143)는 임의 개수의 주성분을 사용하여 잡음을 줄이고 그룹화 이미지를 생성하기 위해 K-means 클러스터링을 적용한다.
본 발명의 픽셀 그룹화부(143)는 도 5의 401과 같이 K를 10(10 Group), 402와 같이 15(15 Group) 등으로 설정될 수 있으며, 20(20 Group)으로 설정될 수 있을 것이다.
색상 맵핑부(150)는 상기 픽셀 그룹화부(143)로부터 그룹화 이미지들에 대한 조직 종류정보를 제공받아 상기 결합 그룹 이미지를 구성하는 상기 그룹화 이미지에 조직 종류별로 할당된 색을 해당 그룹화 이미지에 적용하여 도 6과 같은 컬러 인덱스 맵핑 이미지를 생성하여 디스플레이부(20)에 표시한다. 예를 들어, 도 6에서 블랙(Black)은 일반 조직, 블루(Blue)는 지질 조직, 그린(Green)은 핵산 조직, 레드(Red)는 단백질 중 아미드 원(Amide I)인 주성분으로 암 조직을 나타낸다.
학습부(160)는 상기 획득된 조직 종류별, 즉 주성분별 픽셀단위의 스펙트럼을 학습시켜 이전의 학습데이터를 갱신한다.
도 7은 본 발명에 따른 중적외선을 이용한 암종 컬러검출방법을 나타낸 흐름도이다.
도 7을 참조하면, 우선 제어부(100)는 암 진단 이벤트가 발생되는지를 검사한다(S111).
암 진단 이벤트가 발생되면 제어부(100)는 HE 촬영부(40)를 제어하여 H&E 염색 이미지를 획득한다(S113).
H&E 염색 이미지가 획득되면 제어부(100)는 상기 H&E 염색 이미지를 디스플레이부(20)에 표시하고 관심영역(ROI)를 설정할 것을 요청한다(S115).
관심영역 설정이 요청되면 제어부(100)는 관심영역(ROI)이 설정되는지를 모니터링하고(S117), 사용자에 의해 관심영역이 설정되면 중적외선 촬영부(50)를 제어하여 상기 샘플의 상기 관심영역에 대응하는 영역을 촬영하도록 하여 상기 관심영역에 대한 중적외선 영상을 획득한다(S119).
중적외선 영상이 획득되면 제어부(100)는 획득된 중적외선 영상에서 도 3과 같은 픽셀단위별 스펙트럼을 추출한다(S121).
픽셀단위별 스펙트럼이 추출되면 제어부(100)는 픽셀단위 스펙트럼에 대해 기준선 교정을 수행하고(S23), 암 픽셀 학습 DB(11)에 학습되어 저장되어 있는 주성분별 조직 종류 학습데이터에 근거하여 주성분분석(Principal Components Analysis: PCA)를 수행하여 주성분을 추출한다(S125).
주성분이 추출되면 제어부(100)는 현재 획득된 중적외선 이미지의 픽셀단위 주성분에 대한 조직종류 학습을 수행하고 암 픽셀 학습 DB(11)에 저장되어 있는 학습데이터를 갱신한다(S127).
상기 주성분이 추출되면 제어부(100)는 K-평균 클러스터링(K-means Clustering)을 적용하여 주성분 분포에 따른 픽셀 그룹화를 수행하여 그룹화 이미지를 생성하고 생성된 그룹화 이미지들을 결합한 결합 그룹 이미지를 생성한(S129) 후, 상기 그룹화 이미지에 대해 미리 설정된 컬러를 결합 그룹 이미지에 적용하여 도 6과 같은 컬러 인덱스 맵핑 이미지를 생성한 후 디스플레이부(20)에 표시한다(S131).
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
10: 저장부 11: 암 픽셀 학습 DB
20: 디스플레이부 30: 입력부
40: HE 촬영부 50: 중적외선 촬영부
100: 제어부 110: HE 염색 이미지 획득부
120: 관심영역 설정부 130: 중적외선 이미지 획득부
140: 특징 추출부 141: 스펙트럼 나열부
142: 주성분 추출부 143: 픽셀 그룹화부
150: 색상 맵핑부 160: 학습부

Claims (12)

  1. 디스플레이부;
    입력부;
    조직 샘플의 관심영역을 촬영하여 상기 관심영역에 대한 중적외선 이미지를 생성하여 출력하는 중적외선 촬영부;
    픽셀 단위의 스펙트럼에 대한 주성분에 대응하는 조직 종류 학습데이터를 저장하는 암 픽셀 학습 DB를 포함하는 저장부; 및
    암 진단 이벤트의 발생 시 획득된 H&E 염색 이미지를 상기 디스플레이부에 표시하고 입력부를 통해 관심영역을 입력받아 상기 중적외선 촬영부를 제어하여 상기 관심영역에 대한 중적외선 이미지를 획득하고, 주성분에 대한 상기 조직 종류 학습데이터를 참조하여 획득된 중적외선 이미지의 픽셀 단위의 스펙트럼으로부터 다수의 주성분을 추출하고, 추출된 주성분에 따른 픽셀들을 그룹화하여 조직 종류별 그룹화 이미지를 생성한 후 결합하여 결합 그룹화 이미지를 생성하고, 상기 결합 그룹 이미지에서 상기 조직 종류가 암인 조직에 대한 그룹화 이미지에 임의의 색을 할당하여 적용한 컬러 인덱스 맵핑 이미지를 생성하여 상기 디스플레이부에 표시하는 제어부를 포함하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출장치.
  2. 제1항에 있어서,
    상기 조직 샘플을 촬영하여 H&E 염색 이미지를 생성한 후 상기 제어부로 출력하는 HE 촬영부를 더 포함하되,
    상기 제어부는 상기 암 진단 이벤트의 발생 시 상기 HE 촬영부를 제어하여 상기 H&E 염색 이미지를 획득하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 암 진단 이벤트의 발생 시 상기 HE 촬영부를 통해 H&E 염색 이미지를 획득하여 상기 디스플레이부에 표시하는 HE 염색 이미지 획득부;
    상기 입력부를 통해 사용자로부터 상기 디스플레이부에 표시된 H&E 염색 이미지에서의 관심영역을 입력받아 설정하는 관심영역 설정부;
    상기 설정된 관심영역에 대응하는 조직 샘플의 해당 영역을 촬영하도록 상기 중적외선 촬영부를 제어하여 중적외선 이미지를 획득하는 중적외선 이미지 획득부;
    주성분에 대한 상기 조직 종류 학습데이터를 참조하여 획득된 상기 중적외선 이미지의 픽셀 단위의 스펙트럼으로부터 상기 중적외선 이미지의 특징인 다수의 주성분을 추출하고, 추출된 주성분에 따른 픽셀들을 그룹화하여 조직 종류별 그룹화 이미지 및 각 그룹화 이미지에 대응하는 해당 조직정보를 생성한 후, 상기 그룹화 이미지를 결합한 결합 그룹화 이미지를 생성하여 상기 조직정보와 함께 출력하는 특징 추출부; 및
    상기 조직정보 및 결합 그룹화 이미지를 상기 특징 추출부로부터 입력받아 결합 그룹화 이미지에서 암 조직에 대응하는 조직정보를 갖는 그룹화 이미지를 미리 설정된 색을 적용한 컬러 인덱스 맵핑 이미지를 생성하여 상기 디스플레이부에 표시하는 색상 맵핑부를 포함하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출장치.
  4. 제3항에 있어서,
    상기 특징 추출부는,
    상기 중적외선 이미지의 픽셀단위의 스펙트럼을 추출하고, 추출된 스펙트럼을 베이스라인 교정을 수행하는 스펙트럼 나열부;
    베이스라인 교정된 픽셀단위의 스펙트럼으로부터 상기 암 픽셀 학습 DB에 저장되어 있는 학습데이터에 기반하여 주성분을 추출하는 주성분 추출부; 및
    주성분별로 픽셀들을 그룹화하여 그룹화 이미지를 생성하고, 주성분별 그룹화 이미지를 결합하여 결합 그룹 이미지를 생성하여 출력하는 픽셀 그룹화부를 포함하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 획득된 조직 종류별, 즉 주성분별 픽셀단위의 스펙트럼을 학습시켜 이전의 학습데이터를 갱신하는 학습부를 더 포함하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출장치.
  6. 제5항에 있어서,
    상기 주성분 추출부는,
    상기 픽셀단위의 스펙트럼에서 지질, 단백질인 아미드 I(Amide I), 핵산, 탄수화물을 주성분으로 추출하고,
    상기 픽셀 그룹화부는,
    상기 암 픽셀 학습 DB의 조직 종류별 학습데이터에 기반하여 픽셀단위의 스펙트럼에서 단백질인 아미드 I(Amide I)의 빛 흡수도 큰 스펙트럼을 가지는 픽셀을 암 조직에 대한 픽셀로 간주하고, 대응하는 픽셀들에 대한 그룹화 이미지를 암에 대한 그룹화 이미지로 결정하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출장치.
  7. 제6항에 있어서,
    상기 색 맵핑부는,
    상기 결합 그룹 이미지의 암에 대한 그룹화 이미지를 레드로 적용하여 상기 컬러 인덱스 맵핑 이미지를 생성하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출장치.
  8. 제어부가 암 진단 이벤트의 발생 시 HE 촬영부를 통해 H&E 염색 이미지를 획득하여 상기 디스플레이부에 표시하는 HE 염색 이미지 획득 과정;
    상기 제어부가 입력부를 통해 사용자로부터 상기 디스플레이부에 표시된 H&E 염색 이미지에서의 관심영역을 입력받아 설정하는 관심영역 설정 과정;
    상기 제어부가 상기 설정된 관심영역에 대응하는 조직 샘플의 해당 영역을 촬영하도록 중적외선 촬영부를 제어하여 중적외선 이미지를 획득하는 중적외선 이미지 획득 과정;
    상기 제어부가 주성분에 대한 암 픽셀 학습 DB의 조직 종류 학습데이터를 참조하여 획득된 상기 중적외선 이미지의 픽셀 단위의 스펙트럼으로부터 상기 중적외선 이미지의 특징인 다수의 주성분을 추출하고, 추출된 주성분에 따른 픽셀들을 그룹화하여 조직 종류별 그룹화 이미지 및 각 그룹화 이미지에 대응하는 해당 조직정보를 생성한 후, 상기 그룹화 이미지를 결합한 결합 그룹화 이미지를 생성하여 상기 조직정보와 함께 출력하는 특징 추출 과정; 및
    상기 제어부가 상기 조직정보 및 결합 그룹화 이미지를 특징 추출부로부터 입력받아 결합 그룹화 이미지에서 암 조직에 대응하는 조직정보를 갖는 그룹화 이미지를 미리 설정된 색을 적용한 컬러 인덱스 맵핑 이미지를 생성하여 상기 디스플레이부에 표시하는 색상 맵핑 과정을 포함하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러 검출 방법.
  9. 제8항에 있어서,
    상기 특징 추출 과정은,
    상기 제어부가 상기 중적외선 이미지의 픽셀단위의 스펙트럼을 추출하고, 추출된 스펙트럼을 베이스라인 교정을 수행하는 스펙트럼 나열 단계;
    상기 제어부가 베이스라인 교정된 픽셀단위의 스펙트럼으로부터 상기 암 픽셀 학습 DB에 저장되어 있는 조직 종류 학습데이터에 기반하여 주성분을 추출하는 주성분 추출 단계; 및
    상기 제어부가 주성분별로 픽셀들을 그룹화하여 그룹화 이미지를 생성하고, 주성분별 그룹화 이미지를 결합하여 결합 그룹 이미지를 생성하여 출력하는 픽셀 그룹화 단계를 포함하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출 방법.
  10. 제9항에 있어서,
    상기 제어부가 상기 획득된 조직 종류별, 즉 주성분별 픽셀단위의 스펙트럼을 학습시켜 이전의 상기 조직 종류 학습데이터를 갱신하는 학습 과정을 더 포함하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출 방법.
  11. 제10항에 있어서,
    상기 주성분 추출 단계에서, 주성분 추출부가 상기 픽셀단위의 스펙트럼에서 지질, 단백질인 아미드 I(Amide I), 핵산, 탄수화물을 주성분으로 추출하고,
    상기 픽셀 그룹화 단계에서 픽셀 그룹화부가 상기 암 픽셀 학습 DB의 조직 종류별 학습데이터에 기반하여 픽셀단위의 스펙트럼에서 단백질인 아미드 I(Amide I)의 빛 흡수도 큰 스펙트럼을 가지는 픽셀을 암 조직에 대한 픽셀로 간주하고, 대응하는 픽셀들에 대한 그룹화 이미지를 암에 대한 그룹화 이미지로 결정하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출방법.
  12. 제11항에 있어서,
    상기 색 맵핑 과정에서 색 맵핑부가 상기 결합 그룹 이미지의 암에 대한 그룹화 이미지를 레드로 적용하여 상기 컬러 인덱스 맵핑 이미지를 생성하는 것을 특징으로 하는 중적외선을 이용한 암종 컬러검출 방법.
KR1020190142673A 2019-11-08 2019-11-08 중적외선을 이용한 암종 컬러검출장치 및 방법 KR102347442B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190142673A KR102347442B1 (ko) 2019-11-08 2019-11-08 중적외선을 이용한 암종 컬러검출장치 및 방법
CN202011205366.4A CN112785657A (zh) 2019-11-08 2020-11-02 利用中红外的癌颜色检测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190142673A KR102347442B1 (ko) 2019-11-08 2019-11-08 중적외선을 이용한 암종 컬러검출장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210056058A true KR20210056058A (ko) 2021-05-18
KR102347442B1 KR102347442B1 (ko) 2022-01-05

Family

ID=75750179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190142673A KR102347442B1 (ko) 2019-11-08 2019-11-08 중적외선을 이용한 암종 컬러검출장치 및 방법

Country Status (2)

Country Link
KR (1) KR102347442B1 (ko)
CN (1) CN112785657A (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013500464A (ja) * 2009-07-24 2013-01-07 ガルデルマ・リサーチ・アンド・デヴェロップメント 皮膚黒色腫の赤外イメージング
KR20130056886A (ko) * 2010-06-25 2013-05-30 노스이스턴 유니버시티 스펙트럼 이미징에 의해 생물 표본을 분석하는 방법
KR101384211B1 (ko) 2012-03-19 2014-04-14 서울대학교산학협력단 췌장암 진단용 마커 및 이의 용도
KR20180114460A (ko) * 2017-04-10 2018-10-18 주식회사 플코스킨 피부 진단 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013500464A (ja) * 2009-07-24 2013-01-07 ガルデルマ・リサーチ・アンド・デヴェロップメント 皮膚黒色腫の赤外イメージング
KR20130056886A (ko) * 2010-06-25 2013-05-30 노스이스턴 유니버시티 스펙트럼 이미징에 의해 생물 표본을 분석하는 방법
KR101384211B1 (ko) 2012-03-19 2014-04-14 서울대학교산학협력단 췌장암 진단용 마커 및 이의 용도
KR20180114460A (ko) * 2017-04-10 2018-10-18 주식회사 플코스킨 피부 진단 방법 및 시스템

Also Published As

Publication number Publication date
KR102347442B1 (ko) 2022-01-05
CN112785657A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
US11229353B2 (en) System and method for multiclass classification of images using a programmable light source
US11257213B2 (en) Tumor boundary reconstruction using hyperspectral imaging
US10285624B2 (en) Systems, devices, and methods for estimating bilirubin levels
CN104871212B (zh) 用于从远程检测到的电磁辐射提取生理信息的系统和方法
ES2842850T3 (es) Procedimiento de detección no invasiva de tejido de tumor y/o tejido sano y aparato de imágenes hiper espectrales
US20140316235A1 (en) Skin imaging and applications
CN110742579A (zh) 用于皮肤疾病的光学检测的系统和方法
US20090118600A1 (en) Method and apparatus for skin documentation and analysis
US20220125280A1 (en) Apparatuses and methods involving multi-modal imaging of a sample
WO2015035229A2 (en) Apparatuses and methods for mobile imaging and analysis
US9691147B2 (en) Method and system for feature extraction and decision making from series of images
KR102401057B1 (ko) 정반사 검출 및 저감을 위한 시스템 및 방법
EP2967359A1 (en) Estimating bilirubin levels
WO2017199635A1 (ja) 画像解析装置、画像解析システム、及び画像解析装置の作動方法
Ortega et al. Hyperspectral database of pathological in-vitro human brain samples to detect carcinogenic tissues
WO2021117013A1 (en) Determination of medical condition risk using thermographic images
JP3758894B2 (ja) マンモグラム画像診断支援装置
EP3716136A1 (en) Tumor boundary reconstruction using hyperspectral imaging
CA2524807C (en) System and method for identifying and classifying dynamic thermodynamic processes in mammals and discriminating between and among such processes
Bochko et al. Lower extremity ulcer image segmentation of visual and near‐infrared imagery
WO2018223069A1 (en) Bilirubin estimation using sclera color and accessories therefor
KR102347442B1 (ko) 중적외선을 이용한 암종 컬러검출장치 및 방법
WO2019146582A1 (ja) 撮像装置、撮像システム、及び撮像方法
KR101325054B1 (ko) 형광 영상을 촬영하는 장치 및 방법
KR20190113351A (ko) 머신러닝 알고리즘을 이용한 의료영상 분석장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right