KR20220005054A - 이미지 등록 방법 및 그 시스템 - Google Patents

이미지 등록 방법 및 그 시스템 Download PDF

Info

Publication number
KR20220005054A
KR20220005054A KR1020217039047A KR20217039047A KR20220005054A KR 20220005054 A KR20220005054 A KR 20220005054A KR 1020217039047 A KR1020217039047 A KR 1020217039047A KR 20217039047 A KR20217039047 A KR 20217039047A KR 20220005054 A KR20220005054 A KR 20220005054A
Authority
KR
South Korea
Prior art keywords
image
imager
optical
field image
narrow
Prior art date
Application number
KR1020217039047A
Other languages
English (en)
Inventor
치 웨이 루
성 웨이 루
지아-웨이 린
아이-링 첸
투안 수 호
Original Assignee
아폴로 메디컬 옵틱스, 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아폴로 메디컬 옵틱스, 엘티디. filed Critical 아폴로 메디컬 옵틱스, 엘티디.
Publication of KR20220005054A publication Critical patent/KR20220005054A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0068—Confocal scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

본원에서는, 제1 이미저에 의해 타겟 영역의 광시야 이미지를 제공하는 단계; 제2 이미저에 의해 상기 타겟 영역의 협시야 이미지를 제공하는 단계; 상기 타겟 영역의 상기 광시야 이미지에 상기 협시야 이미지를 정렬하는 단계; 광학 이미저에 의해 광학 이미지를 캡처하는 단계 - 상기 광학 이미저는 상기 협시야 이미지에서 상기 광학 이미지의 위치를 찾아내도록(locate) 구성됨 -; 및 상기 타겟 영역의 상기 광시야 이미지 및 상기 협시야 이미지에 상기 광학 이미지의 위치를 표시하는 단계를 포함하는 이미지 등록 방법 및 그 시스템이 제공된다.

Description

이미지 등록 방법 및 그 시스템
세계 보건 기구(WHO)의 통계에 따르면, 피부암은, 전 세계적으로 지난 10년 동안 해마다 증가해 왔으며, 생활 양식, 고령화 사회 및 지구 오존층의 파괴와 밀접한 관련이 있다.
임상적으로, 피부암을 포함한 특정 피부 상태의 진단은 (팔, 머리, 다리와 같은) 부위, 증상(소양증, 통증), 기간(급성 또는 만성), 배열(고립형, 전신형, 환형, 선형), 형태(반점, 구진, 수포) 및 색(적색, 청색, 갈색, 흑색, 백색, 황색)을 포함하는, 발현하는 피부 병변(들)에 관한 적절한 정보를 수집함으로써 이루어진다. 광학 진단 시스템은 일상적 피부 생검 외에 피부 상태에 접근하는데 사용될 수 있다.
본 발명은 의료 진단 과정 동안에 타겟 영역을 정확하게 위치지정 및 추적하기 위한 이미지 등록 방법을 제공한다. 본 발명은 또한, 정확하게 광학 이미지 등록을 달성하기 위해 동일한 광학 요소를 공유하는 2개의 이미저(imager)를 구비한 이미지 등록 시스템을 제공한다.
본 발명은 이미지 등록 방법에 관한 것으로서, 이미지 등록 방법은, 제1 이미저에 의해 타겟 영역의 광시야 이미지를 제공하는 단계; 제2 이미저에 의해 타겟 영역의 협시야 이미지를 제공하는 단계; 타겟 영역의 광시야 이미지에 협시야 이미지를 정렬하는 단계; 광학 이미저에 의해 광학 이미지를 캡처하는 단계 - 광학 이미저는 협시야 이미지에서 광학 이미지를 찾아내도록(locate) 구성됨 -; 및 타겟 영역의 광시야 이미지 및 협시야 이미지에 광학 이미지의 위치를 표시하는 단계를 포함한다.
또한 본 발명은 이미지 등록 시스템에 관한 것으로서, 이미지 등록 시스템은, 타겟 영역의 광시야 이미지를 캡처하도록 구성된 제1 이미저; 및 제2 이미저 및 광학 이미저를 포함하는 광학 모듈 - 제2 이미저 및 광학 이미저는 동일한 대물렌즈를 공유함 - 을 포함하며, 광학 이미저는 광학 이미지를 캡처하도록 구성되고, 제2 이미저는 타겟 영역의 협시야 이미지를 캡처하도록 구성되어, 타겟 영역의 광시야 이미지에 협시야 이미지를 정렬하고 타겟 영역의 광시야 및 협시야 이미지에 광학 이미지의 위치를 표시한다.
참조로서의 통합
본 명세서에서 언급되는 모든 간행물, 특허 및 특허출원은, 마치 각각의 개별 간행물, 특허 또는 특허출원이 특정하게 그리고 개별적으로 참조로서 포함되는 것으로 표시되는 것과 동일한 정도로 참조로서 본 명세서에 포함된다.
발명의 원리가 사용되는 예시적인 실시예, 및 첨부된 도면을 기재한 다음의 상세한 설명을 참조하면, 본 발명의 특징 및 이점을 더욱 잘 이해할 것이며, 도면 중:
도 1은 발명의 이미지 등록의 일반적인 방법의 예시적인 흐름도를 나타낸다.
도 2는 이미지 정렬 처리의 일례를 나타낸다.
도 3a/b는 이미지 등록 처리의 예시적인 흐름도를 나타낸다.
도 4a 내지 도 4d는 다양한 실시예 하에서 예시적인 발명 이미지 등록 방법을 나타낸다.
도 5는 이미지 등록 시스템의 일례를 나타낸다.
도 6은 이미지 등록 시스템의 또 다른 실시예를 나타낸다.
이미지 등록은 상이한 데이터 세트를 하나의 좌표계로 변환하는 프로세스이다. 데이터는 다수의 사진, 상이한 센서로부터의 데이터, 시간, 뎁스(depths) 또는 시점일 수 있다. 이들 상이한 측정으로부터 얻어진 데이터를 비교 또는 통합할 수 있기 위해서는 등록이 필요하다. 예를 들어, 이미지 등록의 주된 목적 중 하나는, 진단 및 치료 과정 동안에 고해상도 비침습적 광학 스캔을 사용하도록 타겟 영역을 정확하게 찾는 것이다. 이는, 후속하는 검사에서 관심 타겟 영역을 반복적으로 찾는 데 사용될 수 있으므로, 지속적인 추적 및 후속하는 의료 서비스를 달성할 수 있다.
일반적으로, 해상도가 높고 관측 시야(FOV)가 작은 광 간섭 단층촬영(optical coherence tomography, OCT) 및 반사율 공초점 현미경(reflectance confocal microscopy, RCM) 이미지와 같은 광학 이미지는 관심 타겟 부위/영역을 정확하게 찾기가 쉽지 않으며, 종종 나중에 넓은 영역에서 동일한 부위/영역을 찾을 수 없고, 따라서 관심 타겟 부위/영역을 추적 불가능하며; 이러한 곤란함은 진단 시간 및 치료 비용의 증가로 이어진다. 예를 들어, ~1 ㎛의 해상도에 대해, 관측 시야는 대략 백 마이크로미터이며 이는 타겟 영역(예를 들어, 피부의 병변)에 스캐닝 영역을 위치시키는 것을 곤란하게 할 것이다.
위에서 언급된 이미지 정렬 이슈에 기초하여, 정밀한 이미지 정렬/등록 시스템, 보다 구체적으로 피부 이미지 정렬/등록 시스템을 개발하여, 진단 및 치료를 위한 피부의 타겟 영역을 보다 쉽게 위치지정하고 추적할 수 있도록 할 것이 요구된다. 본 발명은 스캐닝 영역을 병변에 정확하게 조준하고, 그리고 스캔된 지점을 기록하여 검사받고 있는 전체 병변을 확인하는 데 도움을 줄 수 있다. 따라서, 전체 검사 과정의 효율이 훨씬 향상될 수 있고, 의사는 마지막 검사 후 환자를 팔로우 업(following up)하는 동안 되돌아가 동일한 스팟을 스캔할 수 있다.
일부 실시예에서, 피부 탐색 동안에 타겟 영역의 위치를 정확하게 위치지정하기 위한 피부 진단에 특히 적합한 이미지 등록 방법이 제공된다. 본 발명은 또한, 광학 이미지 위치지정을 정확하게 달성하기 위해 동일한 광학 요소를 공유하는 적어도 2개의 이미저를 가지는 이미지 등록 시스템을 제공한다.
도 1은, 발명의 이미지 등록의 일반적 방법의 예시적인 흐름도를 보여주며, 상기 방법은, 제1 이미저에 의해 타겟 영역의 광시야 이미지를 제공하는 단계(단계 11); 제2 이미저에 의해 타겟 영역의 협시야 이미지를 제공하는 단계(단계 12); 타겟 영역의 광시야 이미지에 협시야 이미지를 정렬하는 단계(단계 13); 광학 이미저에 의해 광학 이미지를 캡처하는 단계(단계 14) - 광학 이미저는 협시야 이미지에서 광학 이미지의 위치를 찾아내도록(locate) 구성됨 -; 및 광시야 이미지에 광학 이미지의 위치를 표시하는 단계(단계 15)를 포함하여, 타겟 영역의 광시야 이미지 및 협시야 이미지에 광학 이미지를 등록하는 것을 달성한다.
일부 실시예에서, 광학 이미지는 광 간섭 단층촬영(OCT) 이미지, 반사율 공초점 현미경(RCM) 이미지, 2-광자 발광 현미경(TPL) 이미지, 2차 고조파 생성 현미경(SHG) 이미지, 3차 고조파 생성 현미경(THG) 이미지, 형광 공초점 현미경(FCM) 이미지 등이다. 일부 실시예에서, 광학 이미저는 광 간섭 단층촬영(OCT) 이미지, 반사율 공초점 현미경(RCM) 이미지, 2-광자 발광 현미경(TPL) 이미지, 2차 고조파 생성 현미경(SHG) 이미지, 3차 고조파 생성 현미경(THG) 이미지, 형광 공초점 현미경(FCM) 이미지 등을 생성할 수 있는 상응하는 장치/시스템이다. 특정 실시예에서, 광학 이미지는 OCT 이미지 또는 RCM 이미지이다.
이미지 등록 동안에 피처(feature) 추출 및 매칭 프로세스를 달성하기 위해, 이들 두 프로세스를 구현하기 위한 두 가지 방법이 있으며, 하나는 영역 기반 매칭 기술이고, 다른 하나는 피처 기반 매칭 기술이다. 피부 이미지 등록의 경우, 인접한 피부색의 피처가 유사하고 구별하기 곤란하기 때문에 이미지 추출 및 매칭 프로세스를 위해 피처 기반 매칭 기술을 선택하는 것이 바람직하다.
또한, 피부 스캐닝 프로세스 동안에 피부 변형, 이미지 회전 및 이미지 프레임 간의 스케일 차이의 이슈도 있다. 이러한 고려에서, 피처 기반 매칭 기술은 피부 이미지 등록에 대해 적합한 방법일 것이다. 피처 기반 기술에서, 이 피처 기반 기술도 블롭(blobs) 기반 기술과 코너 기반 기술의 두 가지로 나뉠 수 있다. 코너가 덜 날카롭거나 에지가 선명하지 않은 고배율의 특성을 가지는 피부 이미지의 경우, 블롭 기반 기술이 피부 이미지 피처 추출 및 매칭을 위해 선호되는 방법일 것이다. 일부 실시예에서, 블롭 기반 기술은 SURF 알고리즘, SIFT 알고리즘 및 KAZE 알고리즘으로 이루어진 그룹으로부터 선택되는 적어도 하나이며, 바람직하게는 SURF 알고리즘 및 SIFT 알고리즘이지만, 이에 한정되지 않는다. 일부 실시예에서, SURF 알고리즘은 피부 변형, 피부 이미지 회전 및 프레임 간의 스케일 차이에 덜 민감하기 때문에 바람직한 알고리즘이다. 또한 이것은, 실시간 피부 이미지 탐색을 달성하기 위해 이미지 등록 처리 속도에서 보다 양호한 성능을 가진다.
광시야 이미지에 광학 이미지를 정확하게 등록하기 위해, 일부 실시예에서는, 도 2에 도시된 바와 같이, 협시야 이미지를 광시야 이미지에 정렬하는 처리는, 광시야 이미지와 협시야 이미지의 주요 이미지 피처 포인트 가중치를 높이는 단계(단계 131); 광시야 이미지 및 협시야 이미지의 피처 포인트를 추출하는 단계(132); 및 광시야 이미지와 협시야 이미지의 피처 포인트를 매칭하는 단계(133)를 포함한다.
일부 실시예에서, 주요 이미지 피처 포인트 가중치를 높이는 단계는 광시야 이미지 및 협시야 이미지의 다운사이징(downsizing) 및/또는 이미지 블러링(image blurring)을 포함한다. 다운사이징 프로세스를 참조하면, 그 비율은 바람직하게는 30 내지 90%, 보다 바람직하게는 50 내지 80%, 더욱 바람직하게는 60 내지 70%이지만, 이에 한정되지 않는다. 다운사이징 단계는 이미지 등록 프로세스의 속도를 효과적으로 향상시키고 광시야 이미지의 해상도를 협시야 이미지의 해상도와 실질적으로 동등하게/근접하게 만들 수 있다. 이는 또한, 일부 실시예에서, 주요 이미지 포인트의 피처 가중치를 증가시키고 마이너한 이미지 포인트의 피처 가중치를 감소시키는 기능을 갖는다. 다른 실시예에서, 이미지 블러링 프로세스는, 주로, 주요 이미지 피처 포인트 가중치를 높이고 마이너한 이미지 피처 포인트 가중치를 감소시키는 효과를 나타낸다. 따라서, 협시야 이미지와 광시야 이미지가 모두 더 높은 해상도를 갖는다면, 다운사이징 및/또는 이미지 블러링 단계는 이미지 스캐닝(예컨대, 피부 이미지 진단) 동안에 이미지 등록의 정확성과 적시성을 증진하는 데 많은 노력을 할 것이다.
일부 실시예에서, 피처 포인트를 추출하는 단계는 스케일, 회전 및 아핀 실질적 불변성(affine substantially invariance) 중 적어도 하나의 속성을 포함한다. 특정 실시예에서, 속성은 스케일, 회전 및 아핀의 불변성을 충족한다. 피처 포인트를 추출하는 단계에서, 실질적 불변성은 스케일, 회전 및 아핀 중 하나를 말하며, 완전히 불변일 필요는 없고 식별 가능한 피처의 경우 속성(스케일, 회전, 아핀 중 적어도 하나)의 마이너한 변화가 허용된다.
일부 실시예에서, 광시야 이미지의 해상도는 협시야 이미지의 해상도와 실질적으로 동등하거나 이에 근접한다. "실질적으로 동등하거나 근접한"의 정의는, 대략 0 내지 25 ㎛, 바람직하게는 0 내지 20 ㎛, 바람직하게는 0 내지 15 ㎛, 바람직하게는 0 내지 10 ㎛, 바람직하게는 0 내지 5 ㎛, 그리고 가장 바람직하게는 0 내지 3 ㎛의 차이를 갖는다. 협시야 이미지와 광시야 이미지의 해상도가 가까울수록, 두 이미지의 세부 이미지 피처가 가까워져 이미지 등록의 성공률이 향상된다.
도 3a/b는, 피부 광학 이미지 등록(예컨대, 광 간섭 단층촬영(OCT) 이미지, 반사율 공초점 현미경(RCM) 이미지, 2-광자 발광 현미경(TPL) 이미지, 2차 고조파 생성 현미경(SHG) 이미지, 3차 고조파 생성 현미경(THG) 이미지 또는 형광 공초점 현미경(FCM) 이미지 등)에 적용하는 예시적인 이미지 등록 처리를 나타내는 흐름도를 더 제공한다.
일부 실시예에서, 예시적인 피부 이미지 등록 방법은 도 3a에 도시된 바와 같이 다음의 단계를 포함한다: 단계 20: 더모스코피(dermoscopy)(즉, 제1 이미저)를 통해 더모스코픽(dermoscopic) 이미지의 광시야 이미지(즉, 광시야 이미지)를 획득하는 단계; 단계 21: 더모스코픽 이미지(즉, 광시야 이미지)를 다운사이징 및 이미지 블러링하여 그 주요 이미지 피처 포인트 가중치를 높이는 단계; 단계 22: 더모스코픽 이미지의 이미지 피처 포인트를 추출하는 단계; 단계 23: 이미지 가이드 이미저(즉, 제2 이미저)를 통해 새로운 가이드 이미지의 협시야 이미지를 게이팅(gating)하는 단계; 단계 24: 가이드 이미지(즉, 협시야 이미지)를 다운사이징 및 이미지 블러링하여 그 주요 이미지 피처 포인트 가중치를 높이는 단계; 단계 25: 가이드 이미지(즉, 협시야 이미지)의 피처 포인트를 추출하는 단계; 단계 26: 2개의 이미지(더모스코픽 이미지 및 새로운 가이드 이미지) 피처 포인트를 매칭하는 단계; 단계 27: 더모스코픽 이미지와 가이드 이미지의 매칭 위치를 업데이트하는 단계; 단계 28: 광학 이미지(즉, OCT, RCM, TPL, SHG, THG 또는 FCM 이미지)를 스캔하기로 결정하고; "예"이면, 단계 281로 이동: 광학 이미지 스캐닝 후에 광학 이미지를 획득하는 단계; 단계 282: 더모스코픽 이미지에 광학 이미지의 위치를 표시하는 단계. 그러나, 단계 282에서 이미지 매칭이 올바르지 않다면, 단계 29 및 단계 23에서 새로운 가이드 이미지가 계속해서 획득되어야 한다. 광학 이미지 등록이 완수되면, 사용자는 단계 S에서 새로운 가이드 이미지를 계속적으로 획득하는 것을 중단할 것이다.
일부 실시예에서, 도 3a에 도시된 바와 같이, 광학 이미지를 스캔할 필요가 없다. 그렇다면, 이미지 등록 처리는 광학 이미지와 관계하지 않고, 이미지 등록 프로세스가 완료된다. 일부 실시예에서, 제1 이미저에 의해 타겟 영역의 광시야 이미지를 제공하는 단계; 제2 이미저에 의해 타겟 영역의 협시야 이미지를 제공하는 단계; 타겟 영역의 광시야 이미지에 협시야 이미지를 정렬하는 단계; 타겟 영역의 광시야 이미지에 협시야 이미지의 위치를 표시하는 단계를 포함하는 이미지 등록 방법이 제공된다. 광시야 이미지에 협시야 이미지를 정렬하는 처리는 광학 이미지를 포함하거나 포함하지 않고 동일하다.
다른 실시예에서 모자이크(가이드 이미지 모자이크)의 단계를 포함하는 발명 이미지 등록을 제공한다. 이 방법은, 도 3b에 도시된 바와 같이, 프레임 간의 중첩 영역을 비교하고 실시간으로 이들 이미지를 스티칭(stitch)하는 것를 포함한다. 단계 200: 새로운 가이드 이미지를 획득하고; 단계 201: 마지막 스티칭된 영역 이미지를 얻고; 단계 202는 다운사이징, 이미지 블러링 및 히스토그램 등화(equalization)를 포함하는 2개의 이미지 처리를 포함하고; 단계 203: 2 이미지 피처 추출; 단계 204: 2 이미지 피처 매칭; 단계 205: 가이드 이미지 블러 스크리닝(blur screening); 단계 206: 가이드 이미지 변환; 단계 207: 2 이미지 스티칭; 단계 208: 스티칭된 이미지 및 위치를 업데이트하고; 단계 209: 중단이 필요한지 여부를 결정하고, "예"이면 단계 S(중단)로 이동하고, "아니오"이면 단계 200으로 이동하여 다른 새로운 가이드 이미지를 얻고 처리를 다시 시작한다. 이 방법에서, 식별된 위치를 가지는 스티칭된 이미지를 획득하기 위해 임의의 이미지가 사용될 수 있다. 히스토그램 등화를 포함하는 단계는 매칭 신뢰도를 향상시키기 위해 마이너한 이미지 피처를 제거한 후 이미지 특성을 향상시키는 것이다. 일부 실시예에서, 새로운 가이드 이미지를 획득하는 단계; 마지막으로 스티칭된 영역 이미지를 얻는 단계; 다운사이징, 이미지 블러링 및 히스토그램 등화를 포함하는 상기 가이드 이미지 및 상기 마지막으로 스티칭된 영역 이미지를 처리하는 단계; 이미지 피처를 추출하는 단계; 상기 가이드 이미지와 상기 마지막으로 스티칭된 영역 이미지의 피처를 매칭하는 단계; 상기 가이드 이미지를 블러 스크리닝하는 단계; 상기 가이드 이미지를 변환하는 단계; 및 가이드 이미지를 마지막으로 스티칭된 영역 이미지와 스티칭하고 상기 결과적인 스티칭된 이미지 및 위치를 업데이트하는 단계를 포함하는 이미지 모자이크 방법이 제공된다.
일부 실시예에서, 본 발명 방법은 OCT 이미지의 이미지 등록에 적용된다. 더모스코프 이미지(광시야 이미지)의 관측 시야는 가이드 이미지(협시야 이미지)보다 훨씬 넓기 때문에, 영역은 대부분의 일반적인 병변 사이즈를 커버할 수 있다. 도 4a에 도시된 바와 같이, 단계 30에서: 병변에 프로브(협시야 이미저 및 광학 뷰 이미저를 포함할 수 있음)를 부착함으로써 더모스코프를 사용한 병변 이미지(광시야 이미지)가 검색된다. 다음으로, 단계 31에서, OCT/가이딩 시스템이 병변에 부착되고 가이드 이미지를 연속적으로 캡처한다. 단계 32에서, 본원에 개시된 발명 방법을 활용하는 소프트웨어가 이미지 등록 프로세스에 의해 표시된 더모스코프 이미지 상의 현재 위치를 식별하고, 따라서 시스템은 단계 33에서 실시간으로 이미지를 구성한다. (협시야 이미지가 촬상되는) 가이드 이미지 시스템과 OCT 이미지 시스템 사이의 공간적 관계가 고정되어 있으므로, 그 경우의 OCT 이미징 위치도 식별될 수 있다.
OCT 이미지(또는 드러난 표면 아래의 정보를 제공하는 다른 이미징 방식(modality))와 가이드 이미지를 동시에 획득할 수 없는 경우에(예컨대, OCT와 가이드 시스템이 광학적으로 분리될 수 없고 서로 간섭할 수 있는 상황에서), 본 발명은 도 4b에 도시된 바와 같은 이미지 등록 방법의 또 다른 실시예를 제공한다. 이 시나리오의 문제는, OCT 스캐닝이 시작되기 전에 획득된 마지막 가이드 이미지에 기초하여 OCT 이미징 위치가 마킹되며 사용자가 스위칭 프로세스 및/또는 OCT 스캐닝 동안에 프로브를 이동하는 경우 정확하지 않을 수 있다는 것이다. 단계 301에서, 병변의 이미지는 광시야 이미저, 예를 들어 더모스코프에 의해 촬상된다. 단계 302: 이미지 가이드 모드에서 시스템을 켠다. 단계 303: 프로브를 이동하여 병변에 부착한다. 단계 304: 협시야 이미지(예를 들어, 가이드 이미지)의 위치가 소프트웨어에 의해 식별된다. 단계 305: 시스템에서 이미지 가이드 모드로 스위칭한 후, 프로브를 이동하여 타겟 이미지(예컨대, 병변 이미지)를 구성한다. 여기서, 프로브가 관심 위치로 이동하면, 단계 309는 스캔을 위해 OCT 스캐닝 모드로의 스위칭(즉, 광학 이미저에 의한 광학 이미지 획득)을 제공한다. 그러면 시스템은 구성된 이미지에 스캐닝 위치를 마킹할 것이다. 단계 306: 병변 이미지 구성을 완료한다. 단계 307: 아직 스캔되지 않은 관심 영역이 있는 경우 프로브를 관심 위치로 이동한다. 단계 310은, 프로브가 관심 위치로 이동하면, 스캔을 위해 OCT 스캐닝 모드로의 스위칭(즉, 광학 이미저에 의한 광학 이미지 획득)을 제공한다. 그러면 시스템은 구성된 이미지(즉, 광학 이미지)에 스캐닝 위치를 마킹할 것이다.
OCT B-스캔 모드와 같은 특정 실시예에서, 가이드 이미지(즉, 협시야 이미지)는 동기적으로 획득될 수 없지만, OCT 스캐닝 위치는 OCT 이미지(즉, 광학 이미지) 자체에 모자이크로 등록될 수 있으며, 본 발명은 도 4c에 도시된 바와 같은 이미지 등록 방법의 또 다른 실시예를 제공한다. 단계 51에서, 병변의 이미지가 광시야 이미저, 예를 들어 더모스코프에 의해 촬상된다. 단계 52: 이미지 가이드 모드에서 시스템을 켠다. 단계 53: 프로브를 이동하여 병변에 부착한다. 단계 54: 협시야 이미지(예를 들어, 가이드 이미지)의 위치가 본원에 개시된 발명 방법을 활용하는 소프트웨어에 의해 식별된다. 단계 55: 시스템에서 이미지 가이드 모드로 스위칭한 후, 프로브를 이동하여 타겟 이미지(예컨대, 병변 이미지)를 구성한다. 프로브가 관심 위치로 이동하면, 단계 59에서, OCT 스캐닝 모드로 스위칭하여 스캔한다. 이어서, 스캔 동안에 특정 시간 간격으로 가이드 이미지(즉, 협시야 이미지)를 획득하고 더모스코프 이미지에서 이들 이미지의 위치를 식별하도록 단계 60가 수행될 수 있다. 위치를 식별하는 데 실패한 경우, OCT 이미지 위치 마킹을 위해 마지막으로 성공한 이미지를 사용하도록 단계 62가 수행된다. 성공하면, OCT 이미지 위치 마킹을 위해 이미지를 사용하도록 단계 61이 수행된다. 단계 63 후에, 다음 OCT 스캐닝을 시작하거나 또는 단계 55 또는 단계 57에서 가이드 모드로 돌아간다. 단계 56은 병변 이미지 구성을 완료한다. 아직 스캔되지 않은 관심 영역이 있는 경우, 단계 57에서, 프로브를 관심 위치로 이동시킨다. 단계 58은 전체 스캐닝을 완료한다.
OCT E-스캔 모드와 같은 특정 실시예에서, OCT 및 가이드 이미지는 동기적으로 획득될 수 없지만, OCT 스캐닝 위치는 OCT 이미지 자체에 모자이크로 등록될 수 있으며, 본 발명은 도 4d에 도시된 바와 같은 이미지 등록 방법의 또 다른 실시예를 제공한다. 단계 61에서, 병변의 이미지가 광시야 이미저, 예를 들어 더모스코프에 의해 촬상된다. 단계 62: 이미지 가이드 모드에서 시스템을 켠다. 단계 63: 프로브를 이동하여 병변에 부착한다. 단계 64: 협시야 이미지(예를 들어, 가이드 이미지)의 위치가 본원에 개시된 발명 방법을 활용하는 소프트웨어에 의해 식별된다. 단계 65: 시스템에서 이미지 가이드 모드로 스위칭한 후, 프로브를 이동하여 타겟 이미지(예컨대, 병변 이미지)를 구성한다. 프로브가 관심 위치로 이동하면, 단계 69에서, OCT 스캐닝 모드로 스위칭하고 첫 번째 획득된 OCT 이미지(즉, 광학 이미지)를 스캔하고 기록한다. 이어서, 다음 OCT 이미지의 관련된 변위를 식별하는 것을 시도하도록 단계 70가 수행될 수 있다. 식별에 실패하면, OCT 이미지 위치 마킹을 위해 마지막으로 성공한 이미지를 사용하도록 단계 72가 수행된다. 성공하면, 더모스코프 이미지에 OCT 스캐닝을 마킹하기 위해 변위 및 마지막으로 기록된 가이드 이미지를 사용하도록 단계 71이 수행된다. 이후, 단계 73에서, 다음 OCT 스캐닝을 시작하거나 또는 단계 65 또는 단계 70에서 가이드 모드로 돌아간다. 단계 66은 병변 이미지 구성을 완료한다. 아직 스캔되지 않은 관심 영역이 있는 경우, 단계 67에서, 프로브를 관심 위치로 이동시킨다. 단계 68은 전체 스캐닝을 완료한다.
도 5는 예시적인 발명 이미지 등록 시스템을 제공한다. 제1 이미저(A)(예를 들어, 더모스코프)는 타겟 영역의 광시야 이미지를 캡처하도록 구성된다. 광학 모듈(B)는 제2 이미저 및 광학 이미저를 포함하고, 컴퓨터(C)는 제1 이미저(A)와 광학 모듈(B)를 연결하고 제어하도록 구성된다. 제2 이미저 및 광학 이미저는, 광학 이미지의 FOV가 제2 이미저에 의해 제공되는 협시야 이미지의 FOV와 중첩하도록 동일한 대물렌즈(46)를 공유한다. 광학 이미저는 광학 이미지를 캡처하도록 구성되고, 제2 이미저는 타겟 영역의 협시야 이미지를 캡처하는 데 사용되며, 협시야 이미지는 타겟 영역의 광시야 이미지에 정렬되고 광학 이미지는 타겟 영역의 광시야 이미지 및 협시야 이미지에 표시된다.
구체적으로, 도 5에 도시된 바와 같이, 광시야 이미지를 캡처하는 제1 이미저(A)는, 적어도, 예를 들어, 하나의 더모스코피(dermoscopy), 에피루미네선스 현미경(epiluminescence microscopy) 및 이미지 모자이크 모듈이다. 당업자라면 다른 적합한 제1 이미저를 사용하는 것을 쉽게 인식하고 적용할 것이다. 일부 실시예에서, 제1 이미저(A)는 컴퓨터(C)를 통해 제어될 수 있는 제1 카메라(32) 및 제1 이미저 광학 렌즈(31)를 포함한다. 또한, 일부 실시예에서, 더모스코피 및/또는 에피루미네선스 현미경의 광원은 적어도 하나의 LED 및/또는 우드 램프(Wood's lamp)를 포함하지만, 이에 한정되지 않는다. 본 발명의 실시에 따른 다른 적합한 광원이 당업자에 의해 쉽게 인식될 수 있다. 광학 모듈(B)은 제2 이미저 및 광학 이미저를 포함하는 2개의 이미저를 포함하며, 제2 이미저는 이미지 가이딩 모드의 협시야를 제공하고 광학 이미저는 광학 이미지를 제공한다. 광학 이미지는 바람직하게는 광학 간섭 단층촬영(OCT) 이미지, 반사율 공초점 현미경(RCM) 이미지, 2-광자 발광 현미경(TPL) 이미지, 2차 고조파 생성 현미경(SHG) 이미지, 3차 고조파 생성 현미경(THG) 이미지, 형광 공초점 현미경(FCM) 이미지, 또는 이들의 조합이다. 보다 바람직하게는, 광학 이미지는 OCT 이미지 또는 RCM 이미지이다. 제2 이미저와 관련하여, 이것은, 샘플(5)의 타겟 영역에 광을 제공하기 위해 대물렌즈 모듈(46)을 둘러싸는 광원(463); 및 투사 렌즈(471)를 통해 제2 카메라(481)로 광 신호를 안내하는데 사용되는 빔 스플리터(44)를 포함한다. 또한 광학 이미저와 관련하여, 이것은, 광섬유(41)를 통해 광학 렌즈(42)로 광을 제공하는 광원(40) - 광은 원형 편광으로 광을 변환하기 위해 편광 빔 스플리터(43), 빔 스플리터(44) 및 1/4 파장판(45)을 통과함 -; 샘플(5)에 광을 통과시키기 위해 간섭 수단(462) 및 대물렌즈(461)를 가지는 대물렌즈 모듈(46)을 포함한다. 샘플(5)로부터 광이 후방산란될 때, 편광 빔 스플리터(43)는 투사 렌즈(472)를 통해 제3 카메라(482)로 광을 지향시킨다. 컴퓨터(C)는 광원(40)을 제어하고 제2 및 제3 카메라(481 및 482)로부터의 이미지를 처리하도록 구성된다.
본 발명의 정렬 시스템은, 광학 이미지의 스캐닝 위치를 명확하게 표시/라벨을 지정하기 위해, 더모스코픽 이미지에 광학 이미지를 연속적으로 정렬하고, 더모스코픽 이미지에 광학 이미지의 복수의 스캐닝 위치를 표시할 수 있다.
도 5는 미라우(Mirau) 타입 간섭계를 포함하는 예시적인 광학 시스템을 보여주며; 한편, 도 6은 리니크(Linnik) 타입 간섭계를 나타낸다. 본 명세서에 개시된 바와 같은 다른 적합한 광학 이미저가 당업자에 의해 용이하게 채택될 수 있다. 예를 들어, 당업자는 필요에 따라 마이켈슨(Michelson) 타입 간섭계 또는 마하-젠더(Mach-Zehnder) 간섭계를 선택할 수 있다. 또한 당업자는, 필요한 요구사항을 충족시키기 위해, RCM, TPL, SHG, THG 또는 FCM과 같은 다른 광학 시스템을 교체할 수도 있다.
도 6과 도 5 사이의 유일한 차이는 대물렌즈(46a 및 46b)이며, 대물렌즈(46a)는 유리판(463)으로 덮인 샘플(5)로부터 샘플 암(sample arm)을 제공하고, 대물렌즈(46b)는 미러(462)로부터 기준 암(reference arm)을 제공한다.
본 발명에서, 광학 이미지는 광학 이미저가 소유한 더모스코픽 이미지에 잘 등록되고, 이미지 가이딩 이미저는 동일한 광학 대물렌즈를 공유하고, 광학 이미저의 FOV는 이미지 가이딩 이미저의 FOV와 실질적으로 중첩되거나 동일하다.
일부 실시예에서, 타겟 영역의 광시야 이미지를 캡처하도록 구성된 제1 이미저; 및 제2 이미저 및 광학 이미저를 포함하는 광학 모듈 - 제2 이미저 및 광학 이미저는 동일한 대물렌즈를 공유함 - 을 포함하는 이미지 등록 시스템을 제공하며, 광학 이미저는 광학 이미지를 캡처하도록 구성되고, 제2 이미저는 타겟 영역의 협시야 이미지를 캡처하도록 구성되어, 타겟 영역의 광시야 이미지에 협시야 이미지를 정렬하고 타겟 영역의 광시야 및 협시야 이미지에 광학 이미지의 위치를 표시한다. 특정 실시예에서, 제1 이미저는 적어도 하나의 더모스코프, 에피루미네선스 현미경 및 이미지 모자이크 모듈을 포함한다. 특정 실시예에서, 더모스코프 및/또는 에피루미네선스 현미경의 광원은 적어도 하나의 LED 및/또는 우드 램프를 포함한다. 특정 실시예에서, 제1 이미저의 관측 시야는 5*5 ㎜ 내지 20*20 ㎜의 범위에 있다. 특정 실시예에서, 제2 이미저의 관측 시야는 1*1 ㎜ 내지 5*5 ㎜의 범위에 있다. 특정 실시예에서, 광학 이미저의 관측 시야는 50*50 ㎛ 내지 1000*1000 ㎛의 범위에 있다. 특정 실시예에서, 광시야 이미지의 해상도는 협시야 이미지의 해상도와 실질적으로 동일하다. 특정 실시예에서, 광시야 이미지의 해상도는 대략 0 내지 25 ㎛, 0 내지 20 ㎛, 0 내지 15 ㎛, 0 내지 10 ㎛, 0 내지 5 ㎛, 또는 0 내지 3 ㎛의 협시야 이미지와의 차이를 갖는다. 특정 실시예에서, 광학 이미저는 광 간섭 단층촬영(OCT) 장치, 반사율 공초점 현미경(RCM) 장치, 2-광자 발광 현미경(TPL) 장치, 2차 고조파 생성 현미경(SHG) 장치, 3차 고조파 생성 현미경(THG) 장치, 형광 공초점 현미경(FCM) 장치, 또는 이들의 조합이다.
일부 실시예에서, 제1 이미저는 5*5 ㎜ 내지 20*20 ㎜, 바람직하게는 6*6 ㎜ 내지 17*17 ㎜, 바람직하게는 10*10 ㎜ 내지 15*15 ㎜ 범위의 관측 시야(FOV)를 갖지만, 이에 한정되는 것은 아니다. 제2 이미저의 FOV는 1*1 ㎜ 내지 5*5 ㎜, 바람직하게는 2*2 ㎜ 내지 4.5*4.5 ㎜, 바람직하게는 3*3 ㎜ 내지 4*4 ㎜의 범위에 있지만, 이에 한정되는 것은 아니다. 또한, 광학 이미저의 FOV는 50*50 ㎛2 내지 1000*1000 ㎛2, 바람직하게는 100*100 ㎛2 내지 800*800 ㎛2, 바람직하게는 300*300 ㎛2 내지 600*600 ㎛2, 더욱 바람직하게는 400*400 ㎛2 내지 500*500 ㎛2의 범위에 있지만, 이에 한정되는 것은 아니다. 협시야 이미지의 FOV는 광학 이미저의 FOV와 중첩되기 때문에, 협시야 이미지에서 광학 이미지의 위치는 항상 추적되기 쉽거나, 또는 협시야 이미저에 광학 이미저의 위치를 정확하게 라벨 지정하도록 마커가 제공될 것이다.
본 발명의 바람직한 실시예들이 본 명세서에서 도시되고 설명되었지만, 통상의 기술자에게는 이러한 실시예들은 단지 예로서 제공되었음이 명백할 것이다. 이제 통상의 기술자에게 수 많은 변형, 변경, 및 치환이 본 발명으로부터 일탈하지 않으면서 이루어질 것이다. 본 명세서에서 설명된 본 발명의 실시예들에 대한 다양한 대안들이 본 발명을 실시하는 데 사용될 수 있음을 이해해야 한다. 이하의 청구항들은 본 발명의 범위를 규정하며, 이들 청구항 및 그 균등물의 범위 내의 방법 및 구조들이 이에 포함되는 것으로 의도된다.

Claims (23)

  1. 이미지 등록 방법으로서:
    제1 이미저(imager)에 의해 타겟 영역의 광시야 이미지를 제공하는 단계;
    제2 이미저에 의해 상기 타겟 영역의 협시야 이미지를 제공하는 단계;
    상기 타겟 영역의 상기 광시야 이미지에 상기 협시야 이미지를 정렬하는 단계; 및
    상기 타겟 영역의 상기 광시야 이미지에 상기 협시야 이미지의 위치를 표시하는 단계
    를 포함하는, 이미지 등록 방법.
  2. 제1항에 있어서,
    상기 광시야 이미지에 상기 협시야 이미지를 정렬하는 단계는:
    상기 광시야 이미지 및 상기 협시야 이미지의 주요 이미지 피처 포인트 가중치(major image feature points weighting)를 높이는 단계;
    스케일, 회전 및 아핀 불변성(affine invariance) 중 적어도 하나의 속성을 가지는 상기 광시야 이미지 및 상기 협시야 이미지의 피처 포인트(feature points)를 추출하는 단계; 및
    상기 광시야 이미지와 상기 협시야 이미지의 상기 피처 포인트를 매칭하는 단계를 포함하는, 이미지 등록 방법.
  3. 제2항에 있어서,
    상기 주요 이미지 피처 포인트 가중치를 높이는 단계는, 상기 광시야 이미지 및 협시야 이미지의 다운사이징(downsizing) 및/또는 이미지 블러링(blurring)을 포함하는, 이미지 등록 방법.
  4. 제3항에 있어서,
    상기 다운사이징 비율은 30~90%, 50~80% 또는 60~70%의 범위 내인, 이미지 등록 방법.
  5. 제1항에 있어서,
    상기 광시야 이미지의 해상도는 상기 협시야 이미지의 해상도에 실질적으로 근접한, 이미지 등록 방법.
  6. 제2항에 있어서,
    상기 피처 포인트를 추출하는 단계는, 스케일, 회전 및 아핀 실질적 불변성 중 적어도 하나의 속성을 포함하는, 이미지 등록 방법.
  7. 제5항에 있어서,
    상기 광시야 이미지의 해상도는 상기 협시야 이미지와 대략 0 내지 25 ㎛, 0 내지 20 ㎛, 0 내지 15 ㎛, 0 내지 10 ㎛, 0 내지 5 ㎛ 또는 0 내지 3 ㎛ 의 차이를 가지는, 이미지 등록 방법.
  8. 제1항에 있어서,
    상기 제1 이미저는 적어도 하나의 더모스코프(dermoscope), 에피루미네선스 현미경(epiluminescence microscopy) 및 이미지 모자이크 모듈(image mosaicking module)을 포함하는, 이미지 등록 방법.
  9. 제8항에 있어서,
    상기 더모스코프 및/또는 상기 에피루미네선스 현미경의 광원은 적어도 하나의 LED 및/또는 우드(Wood's) 램프를 포함하는, 이미지 등록 방법.
  10. 제1항에 있어서,
    상기 제1 이미저의 관측 시야(field of view)는 5*5 ㎜2 내지 20*20 ㎜2의 범위 내인, 이미지 등록 방법.
  11. 제1항에 있어서,
    상기 제2 이미저의 관측 시야는 1*1 ㎜2 내지 5*5 ㎜2의 범위 내인, 이미지 등록 방법.
  12. 제1항에 있어서,
    광학 이미저에 의해 광학 이미지를 캡처하는 단계 - 상기 광학 이미저는 상기 협시야 이미지에서 상기 광학 이미지를 찾아내도록(locate) 구성됨 -; 및 상기 타겟 영역의 상기 광시야 이미지 및 상기 협시야 이미지에 상기 광학 이미지의 위치를 표시하는 단계를 더 포함하는, 이미지 등록 방법.
  13. 제1항에 있어서,
    상기 광학 이미저의 관측 시야는 50*50 ㎛2 내지 1000*1000 ㎛2의 범위 내인, 이미지 등록 방법.
  14. 제1항에 있어서,
    상기 광학 이미저는 광 간섭 단층촬영(OCT) 장치, 반사율 공초점 현미경(RCM) 장치, 2-광자 발광 현미경(TPL) 장치, 2차 고조파 생성 현미경(SHG) 장치, 3차 고조파 생성 현미경(THG) 장치, 형광 공초점 현미경(FCM) 장치, 또는 이들의 조합을 포함하는, 이미지 등록 방법.
  15. 이미지 등록 시스템으로서:
    타겟 영역의 광시야 이미지를 캡처하도록 구성된 제1 이미저; 및
    제2 이미저 및 광학 이미저를 포함하는 광학 모듈 - 상기 제2 이미저 및 상기 광학 이미저는 동일한 대물렌즈를 공유함 -;을 포함하고,
    상기 광학 이미저는 광학 이미지를 캡처하도록 구성되고 상기 제2 이미저는 상기 타겟 영역의 협시야 이미지를 캡처하도록 구성되어, 상기 타겟 영역의 상기 광시야 이미지에 상기 협시야 이미지를 정렬하고, 상기 타겟 영역의 상기 광시야 및 상기 협시야 이미지에 상기 광학 이미지의 위치를 표시하는, 이미지 등록 시스템.
  16. 제15항에 있어서,
    상기 제1 이미저는 적어도 하나의 더모스코프, 에피루미네선스 현미경 및 이미지 모자이크 모듈을 포함하는, 이미지 등록 시스템.
  17. 제16항에 있어서,
    상기 더모스코프 및/또는 상기 에피루미네선스 현미경의 광원은 적어도 하나의 LED 및/또는 우드 램프를 포함하는, 이미지 등록 시스템.
  18. 제15항에 있어서,
    상기 제1 이미저의 관측 시야는 5*5 ㎜ 내지 20*20 ㎜의 범위 내인, 이미지 등록 시스템.
  19. 제15항에 있어서,
    상기 제2 이미저의 관측 시야는 1*1 ㎜ 내지 5*5 ㎜의 범위 내인, 이미지 등록 시스템.
  20. 제15항에 있어서,
    상기 광학 이미저의 관측 시야는 50*50 ㎛ 내지 1000*1000 ㎛의 범위 내인, 이미지 등록 시스템.
  21. 제15항에 있어서,
    상기 광시야 이미지의 해상도는 상기 협시야 이미지의 해상도와 실질적으로 동일한, 이미지 등록 시스템.
  22. 제21항에 있어서,
    상기 광시야 이미지의 해상도는 상기 협시야 이미지와 대략 0 내지 25 ㎛, 0 내지 20 ㎛, 0 내지 15 ㎛, 0 내지 10 ㎛, 0 내지 5 ㎛, 또는 0 내지 3 ㎛의 차이를 가지는, 이미지 등록 시스템.
  23. 제15항에 있어서,
    상기 광학 이미저는 광 간섭 단층촬영(OCT) 장치, 반사율 공초점 현미경(RCM) 장치, 2-광자 발광 현미경(TPL) 장치, 제2 고조파 생성 현미경(SHG) 장치, 3차 고조파 생성 현미경(THG) 장치, 형광 공초점 현미경(FCM) 장치, 또는 이들의 조합을 포함하는, 이미지 등록 시스템.
KR1020217039047A 2019-04-30 2020-04-30 이미지 등록 방법 및 그 시스템 KR20220005054A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962841197P 2019-04-30 2019-04-30
US62/841,197 2019-04-30
PCT/US2020/030877 WO2020223572A1 (en) 2019-04-30 2020-04-30 Image registration method and system thereof

Publications (1)

Publication Number Publication Date
KR20220005054A true KR20220005054A (ko) 2022-01-12

Family

ID=73029327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217039047A KR20220005054A (ko) 2019-04-30 2020-04-30 이미지 등록 방법 및 그 시스템

Country Status (9)

Country Link
US (1) US20220211273A1 (ko)
EP (1) EP3963481A4 (ko)
KR (1) KR20220005054A (ko)
CN (1) CN113785328A (ko)
AU (1) AU2020266600A1 (ko)
CA (1) CA3134330A1 (ko)
SG (1) SG11202111594RA (ko)
TW (1) TWI829923B (ko)
WO (1) WO2020223572A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913124B (zh) * 2022-04-13 2023-04-07 中南大学湘雅医院 一种用于肿瘤手术的切缘路径生成方法、系统及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT403654B (de) * 1994-12-01 1998-04-27 Binder Michael Dr Einrichtung zur optischen untersuchung von human-haut sowie derselben zugeordnete auswertungs-einrichtung
US8587659B1 (en) * 2007-05-07 2013-11-19 Equinox Corporation Method and apparatus for dynamic image registration
US9071819B2 (en) * 2010-03-23 2015-06-30 Exelis Inc. System and method for providing temporal-spatial registration of images
IL214894A (en) * 2011-08-30 2016-09-29 Rafael Advanced Defense Systems Ltd A combination of narrow field of view images and wide field of view
KR101913336B1 (ko) * 2011-10-06 2018-10-31 삼성전자주식회사 이동 장치 및 그 제어 방법
US10182757B2 (en) * 2013-07-22 2019-01-22 The Rockefeller University System and method for optical detection of skin disease
US9400939B2 (en) * 2014-04-13 2016-07-26 International Business Machines Corporation System and method for relating corresponding points in images with different viewing angles
US9360671B1 (en) * 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
JP2017104343A (ja) * 2015-12-10 2017-06-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
GB2545407A (en) * 2015-12-10 2017-06-21 Michelson Diagnostics Ltd Processing optical coherency tomography scans
EP3478160A4 (en) * 2016-07-01 2020-04-08 Bostel Technologies, LLC PHONODERMOSCOPY, MEDICAL SYSTEM AND METHOD FOR SKIN DIAGNOSIS
CN107770433B (zh) * 2016-08-15 2020-08-04 广州立景创新科技有限公司 影像获取装置及其影像平顺缩放方法
US10499001B2 (en) * 2017-03-16 2019-12-03 Gvbb Holdings S.A.R.L. System and method for augmented video production workflow
US20180360655A1 (en) * 2017-06-16 2018-12-20 Michael S. Berlin Methods and systems for oct guided glaucoma surgery
US11334753B2 (en) * 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles

Also Published As

Publication number Publication date
US20220211273A1 (en) 2022-07-07
EP3963481A4 (en) 2023-02-01
AU2020266600A1 (en) 2021-11-11
CA3134330A1 (en) 2020-11-05
EP3963481A1 (en) 2022-03-09
WO2020223572A9 (en) 2020-12-10
CN113785328A (zh) 2021-12-10
TWI829923B (zh) 2024-01-21
SG11202111594RA (en) 2021-11-29
WO2020223572A1 (en) 2020-11-05
TW202108069A (zh) 2021-03-01

Similar Documents

Publication Publication Date Title
Stoyanov Surgical vision
US10512395B2 (en) Montaging of wide-field fundus images
Finke et al. Automatic scanning of large tissue areas in neurosurgery using optical coherence tomography
JP5289219B2 (ja) 撮影装置及びその制御方法
WO2021000466A1 (zh) 基于光学相干层析增强现实的手术显微成像系统与方法
WO2016127173A1 (en) Optical imaging system and methods thereof
US20140160264A1 (en) Augmented field of view imaging system
JP2004202221A (ja) 検査システムおよび検査方法
KR102530717B1 (ko) 화상 처리 방법, 프로그램 및 기록 매체
CN105431077A (zh) 图像处理设备和图像处理方法
US10401141B2 (en) Method and apparatus for obtaining a three-dimensional map of tympanic membrane thickness
KR20220005054A (ko) 이미지 등록 방법 및 그 시스템
Gong et al. Accurate three-dimensional virtual reconstruction of surgical field using calibrated trajectories of an image-guided medical robot
US10674902B2 (en) Information processing apparatus, operation method thereof, and computer program
Gong et al. Mapping surgical fields by moving a laser-scanning multimodal scope attached to a robot arm
JP5408527B2 (ja) メラノーマ診断用画像の作成方法
JP5669885B2 (ja) 画像処理装置及び画像処理方法
García-Arteaga et al. Automatic landmark detection for cervical image registration validation
Kim et al. A co-axial excitation, dual-RGB/NIR paired imaging system toward computer-aided detection (CAD) of parathyroid glands in situ and ex vivo
US20240115344A1 (en) Multi-modal microscopic imaging
Quintana et al. Mater of Science in Applied Electronics and Telecommunications (META)
Hernandez-Matas Retinal image registration through 3D eye modelling and pose estimation
Tran et al. A high-resolution hyperspectral imaging system for the retina
Motta et al. 3D papillary image capturing by the stereo fundus camera system for clinical diagnosis on retina and optic nerve
WO2022233961A1 (en) Augmented reality headset and probe for medical imaging