KR20230109657A

KR20230109657A - 디지털 방식으로 착색된 이미지를 생성하기 위한 이미징 방법 및 시스템, 인공 지능 시스템을 트레이닝시키기 위한 트레이닝 방법, 및 비일시적 저장 매체

Info

Publication number: KR20230109657A
Application number: KR1020237018828A
Authority: KR
Inventors: 클라우스 프릭; 필립 제라드 트레뮤엘; 루카스 크라이너
Original assignee: 프로스펙티브 인스트루먼츠 게엠베하
Priority date: 2020-11-19
Filing date: 2021-11-19
Publication date: 2023-07-20
Also published as: US20240020955A1; EP4248401A1; CN116529770A; EP4002267A1; JP2023549613A; WO2022106593A1

Abstract

하나의 양태에서, 본 발명은 착색되지 않은 조직의 생물학적 조직 프로브(50)의 물리적 이미지(50')로부터 생물학적 조직 프로브(50)의 디지털 방식으로 착색된 이미지(51')를 생성하기 위한 이미징 방법에 관한 것으로, 여기서 생물학적 조직 프로브(50)의 물리적 이미지(50')는 동시적 다중 모드 현미경 검사(53)에 의해 획득된다. 다른 양태에서, 본 발명은 그러한 방법에서 사용될 인공 지능 시스템을 트레이닝시키기 위한 트레이닝 방법에 관한 것이다. 또한, 본 발명은 생물학적 조직 프로브(50)의 디지털 방식으로 착색된 이미지(51')를 생성하기 위한 및/또는 인공 지능 시스템을 트레이닝시키기 위한 시스템에 관한 것이다. 시스템은 상기 방법 중 적어도 하나를 수행하기 위한 프로세싱 유닛을 포함한다. 더구나, 본 발명은, 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금, 상기 방법을 수행하게 하는 명령어를 포함하는 비일시적 저장 매체에 관한 것이다.

Description

디지털 방식으로 착색된 이미지를 생성하기 위한 이미징 방법 및 시스템, 인공 지능 시스템을 트레이닝시키기 위한 트레이닝 방법, 및 비일시적 저장 매체

본 출원은 생물학적 조직 프로브의 이미지를 디지털 방식으로 착색하는 것에 관한 것이다. 더 구체적으로는, 본 출원은 착색되지 않은 생물학적 조직 프로브로부터 생물학적 조직 프로브의 디지털 방식으로 착색된 이미지(digitally stained image)를 생성하기 위한 이미징 방법, 그러한 방법에서 사용되는 인공지능 시스템을 트레이닝시키기 위한 트레이닝 방법, 생물학적 조직 프로브의 디지털 방식으로 착색된 이미지를 생성하기 위한 및/또는 인공 지능 시스템 트레이닝시키기 위한 시스템, 및 명령어를 포함하는 비일시적 저장 매체에 관한 것이다.

생물학적 조직 프로브의 이미지를 디지털 방식으로 착색하는 개념은 그 자체로, 예를 들면, WO 2017/146813 A1로부터 공지되어 있다. 본 문서는 광학 현미경 검사 기술을 사용하여 조명되는 생물학적 세포의 입력 이미지를 포함하는 데이터를 획득하는 것 및 신경망을 사용하여 데이터를 프로세싱하는 것을 포함하는 방법을 개시한다. 이미지 프로세싱 시스템은 다수의 타입의 가상으로 착색된 이미지를 생성하기 위한 착색된 세포 신경망(stained cell neural network) 및 착색된 세포 이미지 데이터를 프로세싱하기 위한 세포 특성 신경망(cell characteristic neural network)으로 구성된다. 정확하게는, 세포를 특성 묘사하는 세포 피쳐를 추출하거나 또는 생성한다.

WO 2019/172901 A1은 착색되지 않은 또는 H&E(헤마톡실린(hematoxylin) 및 에오신(eosin))로 착색되는 입력 이미지로부터 IHC(immunohistochemistry; 면역조직화학) 착색제와 같은 특수 착색제를 사용하여 착색되는 조직 샘플의 외관의 예측을 생성하도록 트레이닝되는 머신 러닝 예측기 모델을 개시한다. 그 모델은 다수의 상이한 조직 타입 및 특수 착색제 타입에 대한 특수 착색 이미지를 예측하도록 트레이닝될 수 있다.

상기에서 언급되는 문서 둘 모두에서 개시되는 방법은 서로 정확하게 정렬되어야만 하는 이미지의 쌍을 사용한다. 이것은 상당한 노력을 필요로 하며 실제로 달성하는 것도 또한 불가능하다. 이것은 동일한 조직 절편을 이미지화하는 것이 많은 노력을 필요로 하고 심지어, 그래도, 약간의 형태학적 변화가 있을 가능성이 매우 높다는 사실에 기인한다. 많은 경우에, 겹쳐지는 절편이 또한 사용되는데, 그 중 하나는 착색되고 그 중 하나는 착색되지 않는다; 이들 절편은 상당한 형태학적 차이를 가질 수 있다.

더구나, WO 2019/191697 A1은, 형광 현미경(fluorescent microscope)을 사용하여 획득되는 자동 형광 이미지에 기초하여 라벨 또는 착색이 없는 샘플로부터 디지털 방식으로/가상으로 착색된 현미경 이미지의 생성을 가능하게 하는 딥 러닝 기반의 디지털 착색 방법을 개시한다.

과학 문헌에서, 디지털 방식으로 착색하는 것의 일반적인 개념은, 예를 들면, 다음에서 논의된다

- Rivenson, Y., Wang, H., Wei, Z. et al. Virtual histological staining of unlabelled tissue-autofluorescence images via deep learning. Nat Biomed Eng 3, 466-477 (2019). https://doi.org/10.1038/s41551-019-0362-y;

- Rana A, Lowe A, Lithgow M, et al. Use of Deep Learning to Develop and Analyze Computational Hematoxylin and Eosin Staining of Prostate Core Biopsy Images for Tumor Diagnosis. JAMA Netw Open. 2020;3(5):e205111. doi:10.1001/jamanetworkopen.2020.5111; 및

- Navid Borhani, Andrew J. Bower, Stephen A. Boppart, and Demetri Psaltis, "Digital staining through the application of deep neural networks to multi-modal multi-photon microscopy", Biomed. Opt. Express 10, 1339-1350 (2019).

종래 기술에서의 대부분의 참고 문헌은 기저의 광학 현미경 검사에서 단지 하나의 단일의 이미징 모달리티(modality)만을 사용한다. WO 2019/191697 A1에서는, 방법이 형광 현미경 검사, 비선형 현미경 검사, 등등과 같은 다양한 이미징 모달리티로부터 이익을 얻을 수 있다는 것이 언급된다. 그러나, 종래 기술에서 사용되는 시스템은 순차적 이미징을 필요로 한다. 따라서, 상이한 모달리티의 프로세싱 시간은 합산되고, 그 결과, 이미지가 디스플레이될 수 있는 또는 추가로 평가될 수 있는 프레임 레이트는 다소 낮다. 또한, 상이한 이미징 모달리티의 공간적 공동 위치 맞춤(spatial co-registration)은 주요한 기술적 난제인데, 이것은 Borhani 등등의 전술한 논문에서 다루어진다.

따라서, 종래 기술의 단점이 제거되는 또는 적어도 감소되는 디지털 방식으로 착색된 이미지를 생성하기 위한 개선된 방법 및 시스템을 제공하는 것이 본 출원의 목적이다. 특히, 방법 및 시스템은, 상이한 모달리티가 사용될 때 더 짧은 프로세싱 시간을 허용해야 하며, 이미지가 디스플레이될 수 있는 또는 추가로 평가될 수 있는 프레임 레이트가 감소되어야 한다.

또한, 프로세스는 바람직하게는 조직 착색 신경망을 트레이닝시키기 위해 정확하게 정렬되는 이미지 쌍을 요구하지 않아야 한다. 더구나, 이미지 품질이 개선되어야 한다. 또한, 채색(coloring) 동안 형태학에서 아티팩트(artefact) 또는 변화로 이어질 수도 있는 이미지 쌍에서의 약간의 차이는, 이것이 나중의 진단에서 오해를 불러일으키기 쉬울 것이기 때문에, 회피되는 것이 바람직하다.

제1 양태에서, 본 발명은 착색되지 않은 생물학적 조직 프로브의 물리적 이미지로부터 생물학적 조직 프로브의 디지털 방식으로 착색된 이미지를 생성하기 위한 이미징 방법에 관한 것이다. 이미징 방법은 다음의 단계를 포함한다

G1) 착색되지 않은 생물학적 조직 프로브의 물리적 이미지를 광학 현미경 검사에 의해 획득하는 것,

G2) 인공 지능 시스템 - 시스템은 물리적 착색 방법에서 프로브를 착색하는 것에 의해 획득 가능한 디지털 방식으로 착색된 이미지를 예측하도록 트레이닝됨 - 을 사용하는 것에 의해 물리적 이미지로부터 디지털 방식으로 착색된 이미지를 생성하는 것.

상기의 열거에서, 문자 "G"는 "generating(생성)" 양태를 나타낸다.

본 발명의 제1 양태에 따르면, 단계 G1)은 동시적 다중 모드 현미경 검사(simultaneous multi-modal microscopy)에 의해 착색되지 않은 프로브의 물리적 이미지를 획득하는 것을 포함한다. 다시 말하면, 착색되지 않은 프로브의 물리적 이미지를 획득하기 위해 두 개 이상의 현미경 검사 모달리티가 동시에 사용된다.

동시적 다중 모드 현미경 검사의 사용은 상이한 모달리티의 더 짧은 프로세싱 시간을 허용한다. 또한, 이미지가 디스플레이될 수 있는 또는 추가로 평가될 수 있는 프레임 레이트는 감소된다. 더구나, 10의 몇승배를 커버하는 상이한 길이 스케일로부터의 이미지가 빠르게 획득될 수도 있다. 또한, 상이한 이미징 모달리티의 공간적 공동 위치 맞춤에 대한 필요성이 존재하지 않는다. 더구나, 본 발명의 몇몇 실시형태에서, 프로세스는 정확하게 정렬된 이미지 쌍을 요구하지 않는다. 이것은 테스트 이미지 생성 및 사전 프로세싱의 영역에서 엄청난 이점을 가져올 수도 있는데, 매우 복잡하고 계산적으로 비용이 많이 드는 이미지 위치 맞춤 알고리즘이 어쩌면 회피될 수 있기 때문이다. 더구나, 다중 모드 현미경 검사에 의해 획득되는 이미지가 종래의 현미경 검사에 의해 획득되는 것들보다 더 많은 정보를 포함하기 때문에, 이미지 품질이 개선된다. 또한, 몇몇 실시형태에서는, 물리적 채색 동안 형태학에서의 오해하기 쉬운 아티팩트 또는 변화가 방지될 수 있다.

몇몇 종래 기술 연구에서, 자발 형광 이미지(autofluorescence image)를 사용하는 H&E 착색이 가능하다는 것이 이미 확립되어 있다. 그러나, 이미지 정보에서의 증가와 함께 착색의 품질이 개선된다는 것이 현재 예상된다. 이미지 정보에서의 이러한 증가는 본 발명에 따른 다중 모드 이미징 방법을 사용하는 것에 의해 달성된다. 소정의 모달리티가 H&E 착색에 대한 중요한 정보를 포함하지 않는다는 것이 인간의 눈에 이미 보인다. 항원-항체 반응에 기초하는 면역조직화학과 관련하여, 추가적인 이미징 모달리티의 사용은 - 특히 지속적으로 또한 진화하고 있는 다수의 상이한 마커 타입을 고려할 때 - 더 나은 착색의 품질로 이어질 것이다. 빠른 세포내(intracellular) 및 세포 레벨의 대사 과정은, 조사 중에 있는 조직의 동시적 다중 모드 이미지를 획득하는 것에 의해 더 잘 시각화될 수 있고 정량화될 수 있다.

단계 G1)은 생체밖에서, 즉, 환자 외부에서 수행될 수도 있으며; 이 목적을 위해, 조직 프로브는 이전 단계에서 절제되었을 수도 있는데, 이것은 본 발명에 따른 방법의 일부일 수도 있거나 또는 일부가 아닐 수도 있다. 대안적으로, 조직 프로브의 물리적 이미지는 생체내, 즉, 환자 내부에서 획득될 수도 있다.

동시적 다중 모드 현미경 검사를 위해 사용될 수 있는 다중 모드 현미경 시스템 및 관련된 방법은 유럽 특허 출원 EP 20188187.7 및 상기 출원으로부터 우선권을 유도하는 임의의 가능한 나중의 특허 출원에서 개시되어 있다. 다중 모드 현미경 시스템과 관련한 이들 출원의 개시는 참조에 의해 본 출원에 통합된다. 특정한 세부 사항이 하기에서 명시적으로 공개될 것이지만, 참조에 의한 포함은 이들 명시적인 세부 사항으로 제한되지는 않는다.

구체적으로, 단계 G1)이 생체내에서 수행될 때, 이것은, 하기에서 추가로 설명될 바와 같이, 앞서 언급된 출원에서 언급되는 바와 같이 스캔 유닛을 형성할 수도 있는 생검 바늘(bioptic needle)을 사용하여 행해질 수도 있다. 생검 바늘은 유저가 생체 내에서 상기 모달리티를 후방 산란 방식으로 적용하는 것을 가능하게 한다, 즉, 조직으로부터의 생성된 신호는 수집되어 상기 생검 광섬유 바늘(bioptic fiber-optic needle)을 통해 검출 유닛으로 다시 전송된다.

바람직하게는, 방법은 디지털 방식으로 착색된 이미지를 디스플레이 디바이스 상에 디스플레이하는 추가적인 단계 G3)를 포함한다. 이 디지털 방식으로 착색된 이미지는 상기에서 언급된 착색 방법 중 하나로 물리적으로 착색된 프로브의 이미지와 유사하다. 따라서, 트레이닝된 사람(특히 병리학자)은 물리적으로 착색된 조직을 해석함에 있어서의 그의/그녀의 경험에 기초하여 조직의 속성(property)을 유도할 수 있다. 예를 들면, 트레이닝된 사람은 디스플레이된 이미지로부터 종양 또는 질병 진행 또는 퇴행(regression)을 검출할 수도 있다. 더구나, 상기의 이미징 방법을 분광법(spectroscopy)과 결합하는 것에 의해, 치료에 대한 환자의 반응을 조기에 검출할 수도 있다. 또한, 특정한 치료 모달리티에 대한 동적 반응이 시각화될 수도 있다.

디스플레이 디바이스는 이미징 방법에서 활용되는 다중 모드 현미경 시스템에 아주 근접하게 배열될 수도 있거나, 또는 그것으로부터 멀리 떨어져 배열될 수도 있다.

디지털 방식으로 착색된 이미지를 디스플레이 디바이스 상에 디스플레이하는 것에 추가적으로 또는 대안적으로, 디지털 방식으로 착색된 이미지의 해석은 동일한 또는 추가적인 인공 지능 시스템에 의해 수행될 수 있다. 이 인공 지능 시스템은 그 자체로 공지되어 있는 방식으로(그러나, 디지털 방식으로 착색된 이미지의 맥락에서는 아님) 또한 트레이닝될 수 있다.

제2 양태에서, 본 발명은 상기에서 설명되는 바와 같은 이미징 방법에서 사용될 인공 지능 시스템을 트레이닝시키기 위한 트레이닝 방법에 또한 관련이 있다. 트레이닝 방법은 다음의 단계를 포함한다

T1) 다수의 이미지 쌍을 획득하는 단계 - 각각은 쌍은 다음을 포함함

- 광학 현미경 검사에 의해 획득되는 착색되지 않은 생물학적 조직 프로브의 물리적 이미지 및

- 물리적 착색 방법에서 획득되는 상기 프로브의 착색된 이미지,

T2) 상기 이미지 쌍에 기초하여, 상기 착색되지 않은 프로브의 물리적 이미지로부터 디지털 방식으로 착색된 이미지 - 상기 디지털 방식으로 착색된 이미지는 상기 착색 방법에서 프로브를 착색하는 것에 의해 획득 가능함 - 를 예측하도록 인공 지능 시스템을 트레이닝시키는 것.

상기의 열거에서, 문자 "T"는 "training(트레이닝)" 양태를 나타낸다.

본 발명의 제2 양태에 따르면, 단계 T1)은 동시적 다중 모드 현미경 검사에 의해 착색되지 않은 프로브의 물리적 이미지를 획득하는 것을 포함한다.

인공 지능 시스템이 이러한 방식으로 트레이닝되는 경우, 그것은 상기에서 설명되는 이미징 방법에서 착색되지 않은 생물학적 조직 프로브로부터 생물학적 조직 프로브의 디지털 방식으로 착색된 이미지를 생성하기 위해 사용할 수 있다.

물리적 착색 방법은 그 자체로 공지되어 있을 수도 있고, 조직학(histology), 특히 면역조직학(immunohistology), 특히 면역조직화학; 세포학(cytology); 혈청학(serology); 미생물학(microbiology); 분자 병리학(molecular pathology); 클론형성능 분석(clonality analysis); PARR(PCR for Antigen Receptor Rearrangements; 항원 수용체 재배열을 위한 PCR); 및 분자 유전학(molecular genetics)으로 구성되는 그룹으로부터 선택되는 병리학 분야에서 활용되는 방법일 수도 있다. 조직학은 상기에서 언급되는 H&E(헤마톡실린 및 에오신) 방법을 포함한다. 분야 "분자 병리학"은 본원에서 진단 의학에서 분자 생물학, 생화학, 단백질체학(proteomics) 및 유전학의 원리, 기술 및 도구의 적용으로서 이해된다. 그것은, 특히, 면역형광(immunofluorescence; IF), 계내 혼성화(in situ hybridization; ISH), 마이크로RNA(microRNA; miRNA) 분석, 디지털 병리 이미징, 독성유전체학 평가(toxicogenomic evaluation), 정량적 폴리메아라제 연쇄 반응(quantitative polymerase chain reaction; qPCR), 멀티플렉스(multiplex) PCR, DNA 마이크로어레이, 계내 RNA 시퀀싱, DNA 시퀀싱, 항체 기반의 면역형광 조직 검정(antibody based immunofluorescence tissue assay), 병원균의 분자 프로파일링, 항균제 내성에 대한 박테리아 유전자의 분석의 방법을 포함한다.

동시적 다중 모드 현미경 검사 검사는, 두 개의 광자 여기 형광(photon excitation fluorescence), 두 개 광자 자발 형광(photon autofluorescence), 형광 수명 이미징(fluorescence lifetime imaging), 자발 형광 수명 이미징, 2차 고조파 생성, 3차 고조파 생성, 비가간섭성(incoherent)/자발적 라만(Raman) 산란, 가간섭성 반스톡스 라만 산란(coherent anti-stokes Raman scattering; CARS), 광대역 또는 멀티플렉스 CARS, 자극된 라만 산란(stimulated Raman scattering), 가간섭성 라만 산란, 자극된 방출 고갈(stimulated emission depletion; STED), 비선형 흡수, 공초점 라만 현미경, 광학적 가간섭성 단층 촬영법(optical coherence tomography; OCT), 단일의 광자/선형 형광 이미징, 명시야(bright-field) 이미징, 암시야(dark-field) 이미징, 3 광자, 4 광자, 2차 고조파 생성, 3차 고조파 생성, 4차 고조파 생성, 위상차 현미경 검사(phase-contrast microscopy), 단일의 및 다중 스펙트럼 광음향 이미징, 광음향 단층 촬영법, 광음향 현미경 검사, 광음향 원격 감지 및 그 변형예와 같은 광음향(photoacoustic)(또는 동의어로 광음향(optoacoustic)) 기술로 구성되는 그룹으로부터 선택되는 적어도 두 개의 상이한 모달리티를 포함할 수도 있다.

상기에서 언급된 이미징 기술 모두는, 임의의 적절한 내시경 기술을 비롯하여, 생체내에서, 생체밖에서, 살아 있는 조직 또는 절제된 조직 내에서 적용될 수 있다.

세포 핵 및 그 안에 포함되는 DNA는 낮은 자발 형광을 나타내지만 그러나 주로 UV 범위에서 흡수를 나타낸다. 그러나, 세포 핵 및 그들의 DNA는 많은 진단 목적을 위해 중요하다. 이러한 단점을 극복하기 위해, 모달리티 중 적어도 하나는 위상차 현미경 검사 모달리티일 수도 있다. 본 출원의 맥락 내에서, 위상차 현미경 검사(이것은 그 자체로 공지되어 있음)는, 투명한 시료를 통과하는 광에서의 위상 시프트를 이미지에서의 밝기 변화로 변환하는 광학 현미경 검사 기술로서 이해되어야 한다. 위상 시프트 그들 자체는 눈에 보이지 않지만, 그러나 밝기 변화로서 나타내어지는 경우 보이게 된다. 위상차 현미경 검사 모달리티는, 여러가지 다른 이미징 모달리티와는 달리, 세포 핵 및 그들의 DNA를 훨씬 더 명확하게 디스플레이할 수 있다는 이점을 갖는다. 이것은 본 출원 내에서 AI 기술의 적용을 실질적으로 용이하게 한다. 상기 언급된 광음향 기술도 또한 특히 적합한데, 그 이유는, 이들 기술에서 적용되는 광이 세포 핵 및/또는 그것 내부의 그것의 분자에 의해 고도로 흡수되기 때문이다.

인공 지능 시스템은, 출력으로서 각각의 디지털 방식으로 착색된 이미지를 제공하기 위해, 입력으로서 착색되지 않은 생물학적 조직 프로브의 물리적 이미지를 사용하는 적어도 하나의 신경망, 특히 컨볼루션 신경망(Convolutional Neural Network; CNN) 및/또는 생성적 적대 신경망(Generative Adversarial Network; GAN) 예컨대 Cycle-GAN(사이클 GAN)을 포함할 수도 있다. 신경망은 이미지 공간 내에 있으며 다중 모드 현미경 검사에 의해 획득되는 이미지를, 피쳐 공간에서의 각각의 이미지, 특히 피쳐 공간에서의 벡터 또는 매트릭스로 변환할 수도 있다. 바람직하게는, 피쳐 공간에서의 벡터 또는 매트릭스는 이미지 공간에서의 이미지보다 더 낮은 차원을 갖는다. 피쳐 공간에서의 이미지로부터, 디지털 방식으로 착색된 이미지가 획득될 수 있다.

예를 들면, Ronneberger et al., U-Net: Convolutional Networks for Bio-medical Image Segmentation(https://arxiv.org/pdf/1505.04597.pdf로부터 이용 가능함)에서 개시되는 것과 유사한 신경망이 사용될 수도 있다. 특히, 신경망은 그 자체로 공지되어 있는 다음의 원칙 중 하나 이상을 적용할 수도 있다: 특히 단지 몇몇 데이터만이 이용 가능한 경우에서의 데이터 확장; 특히 Ronneberger 등등에서 개시되는 바와 같은, 다운샘플링 및/또는 업샘플링; 및 가중된 손실.

신경망에 대한 대안으로서, 예를 들면 그 자체로 공지되어 있는 분류 알고리즘에 의해, 예를 들면, 랜덤 포레스트(Random Forest)에 의해 이미지의 픽셀별 또는 영역별 채색을 수행하는 것이 또한 고려 가능하다. 그러나, 비록 그러한 대안예가 본 발명에 의해 포괄되더라도, 그러한 알고리즘은 더 복잡하고 더 낮은 품질의 이미지를 제공한다는 것이 현재 가정된다.

종래 기술에서 공지되어 있는 방법과는 대조적으로, 본 발명에서는, 정확하게 정렬되지 않은 이미지에 대해 트레이닝하는 것이 가능하다. 이것은 이미징 방법에서 사용되는 이미징 아키텍쳐와는 바람직하게는 상이하며 트레이닝을 위해서만 오로지 활용되는 적어도 하나의 신경망 컴포넌트를 포함할 수도 있는 트레이닝 아키텍쳐에 의해 달성될 수도 있다.

이 방법은, 생성기-판별기 네트워크(Generator-Discriminator Network)를 개시하는, Zhu et al., Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks(https://arxiv.org/pdf/1703.10593.pdf로부터 이용 가능함)에서 제시되는 방법의 적응을 포함할 수도 있고: 본 발명의 바람직한 실시형태에서, 트레이닝 동안, 이 경우에서는 디지털 방식으로 착색된 이미지인 변환된 이미지는 물리적으로 착색된 프로브의 입력 이미지로 재변환된다. 결국, 재변환된 이미지 및 원래의 이미지는 가능한 한 동일해야 한다.

더욱 상세하게는, 단계 T2)에서의 트레이닝은 다음의 단계의 제1 시퀀스를 포함할 수도 있고,

T2.U.1) 이미지 공간에서의 1차 착색되지 않은 트레이닝 이미지(primary unstained training image) - 착색되지 않은 1차 트레이닝 이미지는 다중 모드 현미경 검사에 의해 착색되지 않은 프로브로부터 획득됨 - 를 제1 이미지 대 피쳐 변환에 의해 피쳐 공간에서의 제1 벡터 또는 매트릭스로 변환하는 단계;

T2.U.2) 제1 피쳐 대 이미지 변환에 의해 피쳐 공간으로부터의 제1 벡터 또는 매트릭스를 이미지 공간에서의 디지털 방식으로 착색된 이미지로 변환하는 단계;

T2.U.3) 제2 이미지 대 피쳐 변환에 의해 이미지 공간으로부터의 디지털 방식으로 착색된 이미지를 피쳐 공간에서의 제2 벡터 또는 매트릭스로 변환하는 단계;

T2.U.4) 제2 피쳐 대 이미지 변환에 의해 피쳐 공간에서의 제2 벡터 또는 매트릭스를 2차 착색되지 않은 이미지(secondary unstained images)로 변환하는 단계;

T2.U.5) 2차 착색되지 않은 이미지를 1차 착색되지 않은 트레이닝 이미지와 비교하는 단계;

비교가 사전 정의된 범위 밖에 있는 차이를 산출하는 경우, 변환 및 재변환은 수정될 수도 있고 단계 T2.U.1) 내지 T2.U.4) 및 옵션 사항으로 T2.U.5)가 반복될 수도 있다.

또한, 트레이닝은 다음의 단계의 제2 시퀀스를 포함할 수도 있다.

T2.S.1) 이미지 공간에서의 1차 착색된 트레이닝 이미지 - 1차 착색된 트레이닝 이미지는 다중 모드 현미경 검사에 의해 물리적으로 착색된 프로브로부터 획득됨 - 를 제2 이미지 대 피쳐 변환에 의해 피쳐 공간에서의 제1 벡터 또는 매트릭스로 변환하는 단계;

T2.S.2) 제2 피쳐 대 이미지 변환에 의해 피쳐 공간으로부터의 제1 벡터 또는 매트릭스를 이미지 공간에서의 디지털 방식으로 착색되지 않은 이미지로 변환하는 단계;

T2.U.3) 제1 이미지 대 피쳐 변환에 의해 이미지 공간으로부터의 디지털 방식으로 착색되지 않은 이미지를 피쳐 공간에서의 제2 벡터 또는 매트릭스로 변환하는 단계;

T2.U.4) 제1 피쳐 대 이미지 변환에 의해 피쳐 공간에서의 제2 벡터 또는 매트릭스를 2차 착색된 이미지로 변환하는 단계;

T2.S.5) 2차 착색된 이미지를 1차 착색된 트레이닝 이미지와 비교하는 단계.

여기에서도 역시, 비교가 사전 정의된 범위 밖에 있는 차이를 산출하는 경우, 변환 및 재변환은 수정될 수도 있으며 단계 T2.S.1) 내지 T2.S.4) 및 옵션 사항으로 T2.S.5)는 다시 반복될 수도 있다.

상기의 열거에서, 문자 "U"는 "unstained(착색되지 않음)"을 나타내고 "S"는 "stained(착색됨)"을 나타낸다.

그러나, 변환 및 재변환을 위한 신경망은 Zhu 등등에 의해 개시되는 것들과 관련하여 반대로 된다. 언급된 판별기는, 실측 자료(ground truth)를 디지털 방식으로 착색된 이미지와 비교하는 것 및 그들을 평가하는 것에 의해, 이미지의 타당성의 평가를 담당한다. Zhu 등등으로부터 또는 GAN-based Virtual Re-Staining: A Promising Solution for Whole Slide Image Analysis(Zhaoyang u 등등의, https://arxiv.org/pdf/1901.04059.pdf로부터 획득 가능함)로부터 공지되어 있는 아키텍쳐와는 대조적으로, 본 발명에서의 입력되는 착색되지 않은 이미지 및 출력되는 디지털 방식으로 착색된 이미지는 상이한 수의 모달리티를 갖는다. 이것이 아이덴티티 손실에 대한 문제를 제기할 것이지만, 그것은 본 발명에 적응되었다.

모달리티 이미지의 품질에 따라, 컬러 이미지가 최종적으로 소망되는 요건을 충족하는 것을 보장하기 위해서는, 노이즈 제거(denoising) 및 디컨볼루션(deconvolution)의 형태의 사전 프로세싱이 수행될 수도 있다. 이 사전 프로세싱은, 자체 감독 이미지 노이즈 제거 신경망, 예를 들면, Kobayashi et al., Image Deconvolution via Noise-Tolerant Self-Supervised Inversion(https://arxiv.org/pdf/2006.06156v1.pdf로부터 이용 가능함)에서 설명되는 것과 유사한 신경망을 사용하는 것에 의해 행해질 수도 있다.

몇몇 경우에, 심지어 이미지 쌍이 정확하게 정렬되는 경우에도, 연속적인 조직 절편 및/또는 다시 임베딩된(re-embedded) 조직 프로브 사이에 약간의 형태학적 차이가 남아 있을 수도 있는데, 이것은 디지털 방식으로 착색된 이미지의 품질에 부정적인 영향을 끼칠 수도 있다. 이들 경우에, 사이클 GAN이 사용될 수도 있다. 사이클 GAN의 트레이닝이 일반적으로 불안정성을 생성하기 때문에, 위치 맞춤된 이미지에 기초한 트레이닝 및 픽셀 단위 비교가 사용될 수도 있다. 이것은 일반적인 채색의 트레이닝을 허용한다. 연속적인 트레이닝의 프로세스에서, 픽셀 단위 상관 관계의 영향은 감소될 수 있고 안정적인 사이클 GAN이 트레이닝될 수 있다.

추가적인 양태에서, 본 발명은 생물학적 조직 프로브의 디지털 방식으로 착색된 이미지를 생성하기 위한 및/또는 인공 지능 시스템을 트레이닝시키기 위한 시스템에 또한 관련이 있다. 시스템은 다음의 것을 포함한다

- 동시적 다중 모드 현미경 검사에 의해 생물학적 조직 프로브의 물리적 이미지를 획득하기 위한 광학 현미경 시스템,

- 다수의 이미지 쌍을 저장하기 위한 데이터 저장소 - 각각의 쌍은 다음의 것을 포함함 -

- 광학 현미경 검사에 의해 획득되는 생물학적 조직 프로브의 물리적 이미지 및

- 다음의 것

- 상기에서 개시되는 바와 같은 이미징 방법 및/또는

- 상기에서 개시되는 바와 같은 트레이닝 방법

을 수행하기 위한 프로세싱 유닛.

이 시스템을 통해, 상기에서 설명되는 방법이 수행될 수 있다.

이 시스템에서, 유럽 특허 출원 EP 20188187.7 및 상기 출원으로부터 우선권을 유도하는 임의의 가능한 나중의 특허 출원에서 개시되는 바와 같은 광학 현미경 시스템이 사용될 수도 있다. 더욱 상세하게는, 시스템은 적어도 하나의 전기 및/또는 광학 베이스 컴포넌트를 포함하는 적어도 하나의 제1 베이스 유닛, 적어도 하나의 스캔 컴포넌트를 포함하는 적어도 하나의 스캔 유닛 및 적어도 하나의 검출 컴포넌트를 포함하는 적어도 하나의 검출 유닛을 포함할 수도 있다. 적어도 하나의 제1 베이스 유닛은 적어도 두 개의 전기 및/또는 광학 베이스 컴포넌트를 포함할 수도 있다. 적어도 하나의 스캔 유닛은 적어도 두 개의 스캔 컴포넌트를 포함할 수도 있다. 적어도 하나의 검출 유닛은 적어도 두 개의 검출 컴포넌트를 포함할 수도 있다.

스캔 유닛 및/또는 검출 유닛은, 특히 6 자유도를 가지고, 자유롭게 움직일 수도 있다. 스캔 유닛 및/또는 검출 유닛은 적어도 하나의 유연한 연결 라인, 특히 적어도 하나의 광학적 연결 라인 및/또는 적어도 하나의 전기적 연결 라인을 통해 제1 베이스 유닛에 연결될 수도 있다. 적어도 하나의 베이스 컴포넌트, 적어도 하나의 스캔 컴포넌트 및 적어도 하나의 검출 컴포넌트는, 적어도 하나의 베이스 컴포넌트 및/또는 적어도 하나의 스캔 컴포넌트 및/또는 적어도 하나의 검출 컴포넌트가 하나보다 더 많은 모달리티에 대해 공동으로 특히 동시적으로 사용 가능할 수도 있도록 서로에게 동작 가능하게 커플링될 수도 있다. 다시 말하면, 세 개의 유닛(베이스 유닛, 스캔 유닛, 검출 유닛) 중 두 개의 컴포넌트는 하나의 그리고 동일한 컴포넌트와 또는 하나의 나머지 유닛의 컴포넌트의 하나의 그리고 동일한 세트와 연계하여 사용될 수 있다.

여전히 다른 양태에서, 본 발명은, 컴퓨터 상에서 실행될 때, 컴퓨터로 하여금 상기에서 설명되는 바와 같은 방법을 수행하게 하는 명령어를 포함하는 비일시적 저장 매체에 또한 관련된다.

본 발명의 상세한 실시형태 및 추가적인 이점은 하기에서 그리고 다음의 도면을 참조하여 설명될 것인데, 다음의 도면에서
도 1은 방법의 개략적인 다이어그램을 도시한다;
도 2는 방법을 수행하기 위한 시스템의 개략적인 다이어그램을 도시한다;
도 3은 세포 핵을 포함하는 생물학적 조직의 여러 이미지를 도시한다.

도 1에서의 개략적인 다이어그램은 이미지 공간(I)에서의 이미지(70, 70'), 피쳐 공간(F)에서의 피쳐 벡터(71, 71') 및 이들 이미지와 벡터 사이의 변환(72, 73, 72', 및 73')을 도시한다. 본 발명에 따르면, 변환(72, 73, 72' 및 73')은 신경망에 의해 획득된다.

도 1의 상부 절반에 따르면, 다광자 현미경 검사(multiphoton microscopy)에 의해 착색되지 않은 프로브로부터 획득되는 1차 이미지(70)는, 제1 이미지 대 피쳐 변환(72)에 의해 피쳐 공간(F)에서의 제1 벡터(71)로 변환된다(단계 T2.U.1). 제1 피쳐 대 이미지 변환(72')에 의해, 제1 벡터(71)는 이미지 공간(I)에서의 디지털 방식으로 착색된 이미지(70')로 변환된다(단계 T2.U.2). 생성 방법에서, 이들 디지털 방식으로 착색된 이미지(70')는 모니터(60) 상에서 디스플레이된다. 트레이닝 동안, 이미지 공간(I)에서의 디지털 방식으로 착색된 이미지(70')는 제2 이미지 대 피쳐 변환(73)에 의해 피쳐 공간(F)에서의 제2 벡터(71')로 변환된다(단계 T2.U.3). 후속하여, 제2 벡터(71')는 제2 피쳐 대 이미지 변환(73')에 의해 2차 착색되지 않은 이미지(70'')로 변환된다(단계 T2.U.4). 신경망은, 좌측의 1차 착색되지 않은 이미지(70)가 우측의 2차 이미지(70)와 유사하도록 트레이닝되거나 또는 트레이닝되었다(단계 T2.U.5).

도 1의 하반부에 따르면, 다광자 현미경 검사에 의해 착색된 프로브로부터 획득되는 1차 이미지(70')는 제2 이미지 대 피쳐 변환(73)에 의해 피쳐 공간(F)에서의 제1 벡터(71')로 변환된다(단계 T2.S.1). 제2 피쳐 대 이미지 변환(73')에 의해, 제1 벡터(71')는 이미지 공간(I)에서의 디지털 방식으로 착색되지 않은 이미지(70'')로 변환된다(단계 T2.S.2). 그 다음, 이미지 공간(I)에서의 디지털 방식으로 착색된 이미지(70')는 제1 이미지 대 피쳐 변환(72)에 의해 피쳐 공간(F)에서의 제2 벡터(71)로 변환된다(단계 T2.S.3). 후속하여, 제2 벡터(71')는 제1 피쳐 대 이미지 변환에 의해 2차 착색 이미지로 변환된다(단계 T2.S.4). 신경망은 좌측의 1차 착색된 이미지(70')가 우측의 2차 이미지(70)와 유사하도록 트레이닝되거나 또는 트레이닝되었다(단계 T2.S.5).

도 2에 따른 실시형태에서, 조직 프로브(50)(예를 들면, 예를 들면, 펀치 생검으로부터의, 조직의 고속 절편(quick section), 동결 절편(cryosection), 고정된 절편, 신선한 절편 또는, 전체 조각)이 슬라이드(도시되지 않음) 상에서 배열된다. 그 다음, 그것은 상기에서 언급된 유럽 특허 출원 EP 20188187.7에서 개시되는 바와 같은 다중 모드 현미경 시스템을 사용하여 스캐닝된다.

더욱 상세하게는, 도 2에서 도시되는 다중 모드 현미경 시스템(1)은 제1 베이스 유닛(2)(이하 베이스 유닛(2)으로 지칭됨), 스캔 유닛(4) 및 검출 유닛(5)을 포함한다.

베이스 유닛(2)은 상이한 모달리티를 위한 여러 가지 광원을 포함한다: 레이저 소스(14), 형광 이미징을 위한 광원(15), 라만 산란을 위한 레이저(16), 광학적 가간섭성 단층 촬영법(Optical Coherent Tomography; OCT)을 위한 광원(17), 증폭기 펌프 레이저(18) 및 화이트 광원(19). 베이스 유닛(2)은 전자기기(23), 소프트웨어(24) 및 전력 공급부(25)를 추가적으로 포함한다.

스캔 유닛(4)은 여러 가지 스캔 컴포넌트를 포함한다: 광 증폭기(20), 전송/주사 광학기기(21) 및 여기 방출 필터(22). 각각의 광원(14, 15, 16, 17, 18, 19)은 별개의 유연한 연결 라인(6), 예를 들면, 광섬유 케이블을 통해 스캔 유닛(4)에 연결된다. 따라서, 광원(14, 15, 16, 17, 18, 19) 각각은 스캔 컴포넌트(20, 21, 22)의 하나의 그리고 동일한 세트에 동작 가능하게 연결되고, 그 결과, 광원(14, 15, 16, 17, 18, 19)과 관련되는 상이한 모달리티는 스캔 컴포넌트(20, 21, 22)의 이 단일의 세트를 제공받을 수 있다.

스캔 유닛(4)은 분석 광을 프로브(50)로 지향시키기 위한 대물 렌즈(12)를 더 포함한다. 더 구체적으로, 대물 렌즈(12)는, 프로브로부터 방출되는 신호가 대물 렌즈(12)를 통해 다시 송신되는 그러한 방식으로 스캔 유닛(4)에서 배열된다. 필터(22)는 프로브(50)로부터 방출되는 신호가 상기 필터(22)에 의해 필터링되도록 배열된다. 스캔 유닛(4)은, 스캔 유닛(4)에 전력을 공급하는 그리고 스캔 유닛(4)을 제어하는 전기 케이블(29)을 통해 베이스 유닛(2)에 또한 연결된다.

검출 유닛(5)은 스캔 유닛(4)과 동작 가능하게 연결되고 여러 가지 검출 컴포넌트를 포함한다: 필터 검출기(7), 단일의 광자 카운터(8), 광학 분광계(9), 광학 파워 미터(optical power meter; 10) 및 형광 카메라(11). 스캔 유닛(4) 및 검출 유닛(5) 둘 모두는 6자유도에서 자유롭게 움직일 수 있다. 각각의 검출 컴포넌트(7, 8, 9, 10, 11)는 별개의 유연한 연결 라인(28), 예를 들면, 광섬유 케이블을 통해 스캔 유닛(4)에 연결된다. 따라서, 각각의 검출 컴포넌트(7, 8, 9, 10, 11)는 스캔 컴포넌트(20, 21, 22)의 하나의 그리고 동일한 세트에 동작 가능하게 연결되고, 그 결과, 검출 컴포넌트(7, 8, 9, 10, 11)와 관련되는 상이한 모달리티는 스캔 컴포넌트(20, 21, 22)의 이 단일의 세트를 제공받을 수 있다. 대안적으로, 광원(17)으로부터 방출되는 광은 프로브(50) 상으로 직접적으로 방출될 수도 있다. 검출 유닛(5)은, 검출 유닛(5)에 전력을 공급하는 그리고 검출 유닛(5)을 제어하는 전기 케이블(30)을 통해 베이스 유닛(2)에 또한 연결된다.

시스템(1)은 선택된 모달리티에 따라 프로브(50)로부터 방출되는 신호를 검출 유닛(5)으로 선택적으로 송신하는 것을 허용하는 스위칭 유닛(3)을 더 포함한다.

도 3에서, 생물학적 프로브의 여러 가지 이미지가 디스플레이된다. 프로브는 파라핀에 임베딩된 3 ㎛ 두께의 인간 피부 샘플이다. 좌측 이미지는 H&E에 의해 물리적으로 착색된 프로브를 도시한다. 이미지는 20x NA 0.75 현미경을 사용하여 획득되었다. 세포 핵(52)이 명확하게 보인다. 중간에는, 디지털 방식으로 착색된 이미지가 도시되는데, 여기서는 모든 세포 핵이 인식될 수 있는 것은 아니고; 오로지 그들의 포지션만이 52'에 의해 마킹된다. 이것은 본 발명의 방법 내에서 적어도 하나의 위상 차이 모달리티를 사용하는 것에 의해 달성될 수도 있다.

Claims

착색되지 않은 생물학적 조직 프로브(unstained biological tissue probe)(50)의 물리적 이미지(70')로부터 생물학적 조직 프로브(50)의 디지털 방식으로 착색된 이미지(70')를 생성하기 위한 이미징 방법으로서,
G1) 착색되지 않은 생물학적 조직 프로브(50)의 물리적 이미지(70)를 광학 현미경 검사에 의해 획득하는 단계,
G2) 인공 지능 시스템 - 상기 인공 지능 시스템은 물리적 착색 방법에서 상기 조직 프로브(50)를 착색하는 것에 의해 획득 가능한, 디지털 방식으로 착색된 이미지(70')를 예측하도록 트레이닝됨 - 을 사용하는 것에 의해 상기 물리적 이미지(70)로부터 디지털 방식으로 착색된 이미지(70')를 생성하는 단계
를 포함하고,
단계 G1)은, 동시적 다중 모드 현미경 검사(simultaneous multi-modal microscopy)에 의해 상기 착색되지 않은 조직 프로브(50)의 상기 물리적 이미지(70)를 획득하는 단계를 포함하는 것을 특징으로 하는, 착색된 이미지(70')를 생성하기 위한 이미징 방법.
제1항에 있어서,
상기 방법은,
G3) 상기 디지털 방식으로 착색된 이미지(70')를 디스플레이 디바이스(60) 상에 디스플레이하는 단계를 더 포함하는, 방법.
제1항 또는 제2항에 따른 이미징 방법에서 사용될 인공 지능 시스템을 트레이닝시키기 위한 트레이닝 방법으로서,
T1) 다수의 이미지 쌍(70, 70')을 획득하는 단계 - 각각의 쌍은,
광학 현미경 검사에 의해 획득되는 착색되지 않은 생물학적 조직 프로브(50)의 물리적 이미지(70), 및
물리적 착색 방법에서 획득되는 상기 프로브(50)의 착색된 이미지(70')
를 포함함 -,
T2) 상기 이미지 쌍(70, 70')에 기초하여, 상기 착색되지 않은 조직 프로브(50)의 물리적 이미지(70)로부터 디지털 방식으로 착색된 이미지(70') - 상기 디지털 방식으로 착색된 이미지(70')는 상기 착색 방법에서 프로브(50)를 착색하는 것에 의해 획득 가능함 - 를 예측하도록 상기 인공 지능 시스템을 트레이닝시키는 단계
를 포함하고,
단계 T1)은, 동시적 다중 모드 현미경 검사에 의해 상기 착색되지 않은 조직 프로브(50)의 상기 물리적 이미지(70)를 획득하는 단계를 포함하는 것을 특징으로 하는, 인공 지능 시스템을 트레이닝시키기 위한 트레이닝 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 물리적 착색 방법은, 조직학(histology), 특히 면역조직학(immunohistology), 특히 면역조직화학(immunohistochemistry); 세포학(cytology); 혈청학(serology); 미생물학(microbiology); 분자 병리학(molecular pathology); 클론형성능 분석(clonality analysis); PARR(PCR for Antigen Receptor Rearrangements; 항원 수용체 재배열을 위한 PCR); 및 분자 유전학(molecular genetics)으로 구성되는 그룹으로부터 선택되는 병리학 분야(pathologic discipline)에서 채용되는 방법인, 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 인공 지능 시스템은, 출력으로서 각각의 디지털 방식으로 착색된 이미지(70')를 제공하기 위해, 입력으로서 착색되지 않은 생물학적 조직 프로브(50)의 물리적 이미지(70)를 사용하는 적어도 하나의 신경망, 특히 컨볼루션 신경망(Convolutional Neural Network) 및/또는 생성적 적대 신경망(Generative Adversarial Network; GAN)을 포함하는, 방법.
제5항에 있어서,
상기 신경망은, 이미지 공간(I) 내에 있으며 다중 모드 현미경 검사에 의해 획득되는 이미지(70, 70')를, 피쳐 공간(F)에서의 각각의 이미지(71, 71'), 특히 상기 피쳐 공간(F)에서의 벡터(71) 또는 매트릭스로 변환시키는, 방법.
제6항에 있어서,
단계 T2)에서의 트레이닝시키는 단계는,
다음의 단계
T2.U.1) 이미지 공간(I)에서의 1차 착색되지 않은 트레이닝 이미지(primary unstained training image)(70) - 상기 1차 착색되지 않은 트레이닝 이미지(70)는 다중 모드 현미경 검사에 의해 착색되지 않은 프로브(50)로부터 획득됨 - 를, 제1 이미지 대 피쳐 변환(72)에 의해 상기 피쳐 공간(F)에서의 제1 벡터(71) 또는 매트릭스로 변환시키는 단계;
T2.U.2) 제1 피쳐 대 이미지 변환(72')에 의해 상기 피쳐 공간(F)으로부터의 상기 제1 벡터(71) 또는 매트릭스를, 상기 이미지 공간(I)에서의 상기 디지털 방식으로 착색된 이미지(70')로 변환시키는 단계;
T2.U.3) 제2 이미지 대 피쳐 변환(73)에 의해 상기 이미지 공간(I)으로부터의 상기 디지털 방식으로 착색된 이미지(70')를, 상기 피쳐 공간(F)에서의 제2 벡터(71') 또는 매트릭스로 변환시키는 단계;
T2.U.4) 제2 피쳐 대 이미지 변환(73')에 의해 상기 피쳐 공간(F)에서의 상기 제2 벡터(71') 또는 매트릭스를, 2차 착색되지 않은 이미지(secondary unstained images)(70'')로 변환시키는 단계;
T2.U.5) 상기 2차 착색되지 않은 이미지(70'')를, 상기 1차 착색되지 않은 트레이닝 이미지(70)와 비교하는 단계
의 제1 시퀀스;
다음의 단계
T2.S.1) 상기 이미지 공간(I)에서의 1차 착색된 트레이닝 이미지(70') - 상기 1차 착색된 트레이닝 이미지(70')는 다중 모드 현미경 검사에 의해 물리적으로 착색된 프로브(50)로부터 획득됨 - 를, 상기 제2 이미지 대 피쳐 변환(73)에 의해 상기 피쳐 공간(F)에서의 제1 벡터(71') 또는 매트릭스로 변환시키는 단계;
T2.S.2) 상기 제2 피쳐 대 이미지 변환(73')에 의해 상기 피쳐 공간(F)으로부터의 상기 제1 벡터(71') 또는 매트릭스를, 상기 이미지 공간(I)에서의 디지털 방식으로 착색되지 않은 이미지(70'')로 변환시키는 단계;
T2.U.3) 상기 제1 이미지 대 피쳐 변환(72)에 의해 상기 이미지 공간(I)으로부터의 상기 디지털 방식으로 착색되지 않은 이미지(70'')를, 상기 피쳐 공간(F)에서의 제2 벡터(71) 또는 매트릭스로 변환시키는 단계;
T2.U.4) 상기 제1 피쳐 대 이미지 변환(72')에 의해 상기 피쳐 공간(F)에서의 상기 제2 벡터(71) 또는 매트릭스를, 2차 착색된 이미지(70)로 변환시키는 단계;
T2.S.5) 상기 2차 착색된 이미지(70)를, 상기 1차 착색된 트레이닝 이미지(70')와 비교하는 단계
의 제2 시퀀스
를 포함하는, 방법.
제5항 내지 제7항 중 어느 한 항에 있어서,
상기 신경망은,
물리적 착색 방법에서 상기 프로브(50)를 착색하는 것에 의해 획득 가능한, 디지털 방식으로 착색된 이미지(70')를 예측하기 위한 이미징 아키텍쳐, 및
상기 신경망을 트레이닝시키기 위한 트레이닝 아키텍쳐
를 포함하되,
상기 트레이닝 아키텍쳐는, 상기 이미징 아키텍쳐와는 상이하고, 특히 상기 신경망을 트레이닝시키기 위해서만 채용되는 적어도 하나의 네트워크 컴포넌트를 포함하는, 방법.
제8항에 있어서,
상기 트레이닝 아키텍쳐는 생성기-판별기 네트워크(generator-discriminator network)를 포함하는, 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
착색되지 않은 프로브(50)의 상기 입력 이미지(70) 및 상기 디지털 방식으로 착색된 이미지(70')는, 상이한 수의 모달리티를 갖는, 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 동시적 다중 모드 현미경 검사는, 두 개의 광자 여기 형광(photon excitation fluorescence), 두 개 광자 자발 형광(photon autofluorescence), 형광 수명 이미징(fluorescence lifetime imaging), 자발 형광 수명 이미징, 2차 고조파 생성, 3차 고조파 생성, 비가간섭성(incoherent)/자발적 라만(Raman) 산란, 가간섭성 반스톡스 라만 산란(coherent anti-stokes Raman scattering; CARS), 광대역 또는 멀티플렉스 CARS, 자극된 라만 산란(stimulated Raman scattering), 가간섭성 라만 산란, 자극된 방출 고갈(stimulated emission depletion; STED), 비선형 흡수, 공초점 라만 현미경, 광학적 가간섭성 단층 촬영법(optical coherence tomography; OCT), 단일의 광자/선형 형광 이미징, 명시야(bright-field) 이미징, 암시야(dark-field) 이미징, 3 광자, 4 광자, 2차 고조파 생성, 3차 고조파 생성, 4차 고조파 생성, 위상차 현미경 검사(phase-contrast microscopy), 단일의 및 다중 스펙트럼 광음향 이미징, 광음향 단층 촬영법, 광음향 현미경 검사, 광음향 원격 감지와 같은 광음향(photoacoustic) 기술로 구성되는 그룹으로부터 선택되는 적어도 두 개의 상이한 모달리티를 포함하는, 방법.
생물학적 조직 프로브(50)의 디지털 방식으로 착색된 이미지(70)를 생성하기 위한 및/또는 인공 지능 시스템을 트레이닝시키기 위한 시스템으로서,
동시적 다중 모드 현미경 검사에 의해 생물학적 조직 프로브(50)의 물리적 이미지(70)를 획득하기 위한 광학 현미경 시스템(1),
다수의 이미지 쌍을 저장하기 위한 데이터 저장소 - 각각의 쌍은,
동시적 다중 모드 현미경 검사에 의해 획득되는 착색되지 않은 생물학적 조직 프로브(50)의 물리적 이미지(70), 및
물리적 착색 방법에서 획득되는 상기 조직 프로브(50)의 착색된 이미지(70')
를 포함함 -, 및
프로세싱 유닛 - 상기 프로세싱 유닛은,
제1항 및 제2항 중 어느 한 항에 따른 상기 이미징 방법, 및/또는
제3항 내지 제11항 중 어느 한 항에 따른 상기 트레이닝 방법
을 수행하기 위함 -
을 포함하는, 착색된 이미지(70)를 생성하기 위한 및/또는 인공 지능 시스템을 트레이닝시키기 위한 시스템.
컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금, 제1항 내지 제11항 중 어느 한 항에 따른 방법을, 특히 제12항에 따른 시스템에서 수행하게 하는 명령어를 포함하는 비일시적 저장 매체.