SK289010B6

SK289010B6 - Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou kamery snímajúcej pohľad

Info

Publication number: SK289010B6
Application number: SK50070-2016A
Authority: SK
Inventors: doc. Ing. CSc. Tomori Zoltán
Original assignee: Ústav experimentálnej fyziky SAV, v. v. i.
Priority date: 2016-10-17
Filing date: 2016-10-17
Publication date: 2022-11-24
Also published as: US20190236851A1; WO2018074982A1; SK500702016A3; US10922899B2

Abstract

Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov s kamerou snímajúcou pohľad je založený na tom, že sa určujú súradnice pozorovaného miesta obrazovky kamerou snímajúcou polohu zreničiek operátora hľadiaceho na obrazovku; definujú sa rozmery študovaného subobjemu kvádra VOI s rozmermi Sx, Sy, Sz alebo valca VOI s rozmermi Sx = Sy = Sxy; vyberá sa analyzovaná častica a poloha VOI; vizualizuje sa VOI, kde jeho jednotlivé hladiny sa zobrazia vedľa seba na obrazovke; koriguje sa pozorované miesto pomocou vizualizácie VOI, kde pozorovaná hladina je zvýraznená hrubým rámčekom; vyberá sa posledná hladina pohľadom operátora z postupnosti hladín sondy, upriamuje sa pohľad na poslednú hladinu, na ktorej je ešte častica viditeľná, a identifikácia hladiny sa potvrdzuje fixáciu pohľadu na určitý čas; častica sa analyzuje algoritmom na overenie vlastnosti označenej častice v 3D priestore a označuje sa farebnou značkou, pričom poloha značky na hladinách medzi označenými hladinami sa určuje interpoláciou alebo nájdením reprezentatívneho bodu analýzou reálnych obrazových dát.

Description

Oblasť techniky

Vynález sa týka spôsobu interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou kamery snímajúcej pohľad v kombinácii so selektívnou projekciou série rezov do roviny. Vynález spadá do oblasti biomedicíny pri hodnotení obrazov z konfokálneho mikroskopu, prípadne počítačového tomografu.

Doterajší stav techniky

Viaceré snímače (konfokálny mikroskop, CT) poskytujú sériu digitálnych obrazov predstavujúcich rezy telesami, z ktorých je možné 3D rekonštrukciou získať predstavu o ich tvare a rozmiestnení v trojrozmernom priestore. Okrem vizuálnej predstavy je často potrebné objekty analyzovať, t. j. určiť napr. ich počet, veľkosť, tvarové parametre atď. Pri analýze sa spätne transformujú tieto trojrozmerné dáta na dvojrozmernú obrazovku tak, aby objekty boli ľahko rozpoznateľné, napr. v ktorom reze sa určitý objekt objaví a v ktorom zanikne. Pri menej kvalitných obrazoch sú poloautomatické metódy založené na pozorovaní a interakcii operátora spoľahlivejšie ako plnoautomatické. Jednoduchým príkladom takejto interakcie môže byť spočítavanie častíc v 3D klikaním myšou na prvý a na posledný rez časticou, pričom hladiny medzi nimi sa označia automaticky interpoláciou. Tento postup je základom viacerých metód analýzy 3D objektov napr. z oblasti stereológie.

Na získanie informácie o vnútornej štruktúre objektu sa využívajú rôzne fyzikálne princípy, ktorých výsledkom je získanie obrazu optického rezu telesom v určitej hĺbke. V prípade mikroskopie sa dá vhodným objektívom zaostrovať v malom rozpätí hĺbky a určiť tak z-ovú polohu vnútorných objektov. Táto informácia sa priamo počas pozorovania preparátu dá využiť na 3D analýzu metódou optického disektora (M. J. West, L. Slomianka, and H. J. Gundersen, „Unbiased stereological estimation of the total number of neurons in thesubdivisions of the rat hippocampus using the optical fractionator, Anat Rec. vol. 231, no. 4, pp. 482-97, Dec, 1991). Princíp metódy je založený na nájdení posledného existujúceho rezu telesom. Príkladom môže byť temeno hlavy človeka, čiže počet ľudí v miestnosti sa určí spočítaním temien hláv. Na základe tejto metódy vznikli viaceré zariadenia, ako napr. C.A.S.T. GRID (Olympus Denmark), Stereo-Investigator (MicroBrightField, Inc.); Digital Stereology, (Kinetic Imaging, Ltd.) Stereologer (Systems Planning and Analysis, Inc). Viaceré z týchto zariadení ponúkajú aj možnosť uložiť nasnímané obrazy a spracovať ich existujúcim stereologickým softvérom off-line. Tento prístup je však iba nahradením on-line analýzy a nevyužíva možnosti vyplývajúce z existencie 3D dát.

Na získanie kvantitatívnych údajov o objekte sa používajú stereologické metódy, ktoré na základe 2D rezov odhadnú vlastnosti objektov v 3D (napr. počet neurónových buniek v mozgu, percento preživších kmeňových buniek v mieche, dominantnú orientáciu častíc v zliatine a pod). Základom tzv. nevychýlených („unbiased) metód opísaných v literatúre (P. R. Mouton. „Unbiased Stereology John Hopkins University Press, ISBN: 9780801899850, 2013) je vhodný výber niekoľkých malých oblastí (stereologických sond), v ktorých sa vykonáva „reprezentatívny prieskum vlastností (napr. spočítanie a označenie častíc vnútri stereologickej sondy vykonávané človekom pomocou vhodného vizualizačného softvéru).

Interaktívna analýza je však časovo náročnou a monotónnou činnosťou a jej zefektívnenie je vysoko žiaduce. Analýza stavu techniky preukazuje, že prevažná väčšina systémov 3D analýzy mikroskopických dát sa realizuje pomocou jednoúčelových on-line systémov (napr. Stereolnvestigator), ktoré sú však pomerne nákladné pre menšie pracoviská. Navyše vyžadujú časovo náročné manuálne preostrovanie vzorky, aby sa určil posledný rez telesom.

Efektívnejšiu a prirodzenejšiu interakciu medzi operátorom a strojom sú schopné zabezpečiť moderné technické prostriedky, medzi ktoré patrí aj kamera snímajúca smer pohľadu (gaze tracker). K daným témam sú v stave techniky známe čiastočné riešenia opisujúce napr. pohyb kurzora na zobrazovacom zariadení len pomocou zariadenia sledujúceho pohyb očí užívateľa, čím je užívateľ schopný vykonávať niektoré základné funkcie, ako je to opisované napr. v dokumente US 2010182232 A1. Je známy aj dokument WO 2007107949 A1, kde súčasťou zobrazovacieho zariadenia je zariadenie na sledovanie očí užívateľa, ktoré je umiestnené v dolnej časti zobrazovacieho zariadenia. Upriamením pohľadu užívateľa na presné miesta na zobrazovacom zariadení je užívateľ schopný vykonať isté preddefinované operácie, ktorými sú napr. úprava jasu/kontrastu, prípadne priblíženie/vzdialenie pozorovanej snímky.

Podstata vynálezu

Uvedené nedostatky sú v podstatnej miere odstránené spôsobom interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou kamery snímajúcej pohľad v kombinácii so selektívnou projekciou série rezov do roviny podľa tohto vynálezu, t. j. rieši sa problém analýzy trojrozmerných obrazových dát pomocou dvojrozmernej vizualizácie kombinovanej s využitím kamery snímajúcej pohľad operátora. Uvedené riešenie urýchľuje interaktívnu analýzu. Podstata spôsobu spočíva v tom, že pozostáva z nasledujúcich krokov:

a) Určenie pozorovaného miesta obrazovky. Kamera typu „gaze tracker pripevnená na spodok monitora sníma polohu zreničiek operátora a určí súradnice pozorovaného miesta obrazovky. Tieto súradnice sú jedným zo vstupov hodnotiaceho algoritmu. Rovnakým spôsobom bude možné použiť miniaturizovanú verziu kamery zabudovanej do okuliarov.

b) Definovanie rozmerov študovaného subobjemu VOI (Volume Of Interest). Predpokladá sa, že analyzovaná častica sa celá zmestí do príslušného kvádra VOI s rozmermi Sx, Sy, Sz. Ďalšia analýza aj vizualizácia týkajúca sa častice bude prebiehať iba vnútri príslušného VOI. Jeho rozmery môžu byť nastavené vopred alebo sa adaptívne určia analýzou obrazu pri výbere častice. V prípade častíc približne kruhového tvaru sa používajú rozmery Sx = Sy = Sxy.

c) Výber analyzovanej častice a poloha VOI. Na referenčnej hladine operátor označí analyzovanú časticu (myšou, pohľadom alebo dotykom na obrazovku a pod). Tým sa definuje poloha VOI tak, že jeho podstava leží na referenčnej hladine, pričom zboku a zhora časticu ohraničuje.

d) Vizualizácia VOI. Bezprostredne po výbere častice c) sa spustí vizualizácia, kde jeho jednotlivé hladiny sa zobrazia vedľa seba na obrazovke tak, aby sa využil maximálny rozmer obrazovky (zvyčajne šírka).

e) Korekcia pozorovaného miesta pomocou vizualizácie VOI. Presnosť kamery snímajúcej pohľad nie je dostatočná na presnú lokalizáciu častice. Pre potreby vynálezu je však postačujúca taká presnosť, ktorá spoľahlivo odlíši susedné hladiny, teda Sxy. Pri meraní sa to prejaví tak, že pozorovaná hladina je zvýraznená hrubým rámčekom.

f) Výber poslednej hladiny pohľadom. Operátor pohľadom kontroluje postupnosť hladín sondy a upriami pohľad na poslednú hladinu, na ktorej je ešte častica viditeľná. Identifikácia hladiny je potvrdená fixáciu pohľadu na určitý čas, hlasovým povelom, uvoľnením tlačidla myši stlačenom vo fáze c), žmurknutím a pod.

g) Analýza a označenie častice. Algoritmus overí vlastnosti označenej častice v 3D priestore, ako napr. či častica na vyšších hladinách spĺňa kritériá stereologickej sondy. Na základe analýzy ju označí príslušnou farebnou značkou, pričom polohu značky na hladinách medzi označenými hladinami určí interpoláciou alebo nájdením reprezentatívneho bodu analýzou reálnych obrazových dát.

h) Registrácia analyzovanej častice. Poloha označenej častice sa uchová a na základe analýzy sa jej pridelí farba, ktorá ju na všetkých hladinách vizuálne odlišuje. To zabraňuje jej následnej duplicitnej analýze.

i) 3D vizualizácia a korekcia chýb. Po označení všetkých analyzovaných častíc sa môže 3D vizualizáciou zobraziť celý analyzovaný objem včítane značiek a priradených číselných údajov. Možnosť škálovania a otáčania objektu umožní detailne skontrolovať správnosť priradenia značiek. Táto kontrola je dôležitá v prípadoch, keď rutinnú operáciu značkovania vykonávala menej kvalifikovaná sila na diaľku cez internet a poskytla výslednú vizualizáciu zákazníkovi na kontrolu (podobne ako služba „Mechanical Turk fy. Amazon). Pri objavení chybne označenej alebo analyzovanej častice je možné vykonať manuálne korekciu.

Výhody spôsobu interaktívnej kvantifikácie digitalizovaných 3D objektov pomocou snímača pohľadu v kombinácii so selektívnou projekciou série rezov do roviny podľa vynálezu sú zjavné z účinkov, ktorými sa prejavujú navonok. Človek prirodzene využíva zrak na lokalizáciu objektu záujmu i jeho analýzu pohľadom. Pri interaktívnych metódach 3D analýzy musí okrem toho vykonať aj nejakú akciu, ktorou svoju kategorizáciu potvrdí (klávesnicou, myšou). Navrhované riešenie nutnosť tohto kroku minimalizuje, nakoľko vykonáva kategorizáciu pomocou pohľadu, čo predstavuje značné zjednodušenie monotónnej a časovo náročnej činnosti. V tomto spôsobe je originálne využitie kamery, ktorá sleduje oči operátora a na základe toho identifikuje súradnice pozorovaného miesta obrazovky. Operátor tak realizuje niektoré operácie oveľa rýchlejšie - miesto klikania myšou iba pohľadom. Neoddeliteľnou súčasťou riešenia je vhodná metóda vizualizácie, ktorá minimalizuje nedostatky snímača pohľadu tým, že po prvotnom označení prispôsobí rozmery rezov analyzovanej častice rozmerom obrazovky a zníži viditeľnosť ostatných častíc tak, aby nerušili pohľad operátora. V závislosti od typu merania môže byť lokalizácia krátkodobou fixáciou pohľadu kombinovaná s inými formami interakcie (tlačidlo, hlasový povel, žmurknutie a pod.). Pomocou následnej 3D vizualizácie značkovaných častíc je možné spätne skontrolovať správnosť postupu. Výhodou spôsobu podľa vynálezu s využitím kamery snímajúcej pohľad je, že interaktívne hodnotenie existencie vizualizovaných obrazových dát iba pohľadom je výrazne rýchlejšie oproti iným formám analýzy. Cena samotnej kamery tohto typu je v súčasnosti cca 600 eur a predstavuje iba malý zlomok ceny spomínaných jednoúčelových zariadení.

Dá sa predpokladať, že význam analýzy 3D objektov pohľadom s využitím vhodnej vizualizácie v blízkej budúcnosti narastie s rozvojom okuliarov na virtuálnu realitu. Spôsob podľa vynálezu by rozšíril o oblasť analýzy mikroskopických a tomografických dát.

Prehľad obrázkov na výkresoch

Na obr. 1 je znázornená kombinovaná interakcia myš/pohľad. Myšou (šípka) sa vyberie objekt na referenčnej hladine, algoritmus zobrazí všetky relevantné hladiny vedľa seba, operátor pohľadom (symbol oka) lokalizuje poslednú hladinu výskytu častice, ktorú po korekcii prestavuje hrubo vyznačený štvorec. Na obr. 2 je znázornený proces značenia, kde častice označené A0 a A1 už boli analyzované a kategorizované. Kurzorom (oko, resp. šípka) sa vyberá ďalšia častica na analýzu. Na obr. 3 je znázornené upevnenie kamery snímajúcej smer pohľadu na spodnú časť monitora a nájdenie súradníc pozorovaného miesta obrazovky a jeho zvýraznenie. Na obr. 4 je výsledok analýzy v podobe trojrozmernej vizualizácie sledovaného objemu VOI s možnosťou otáčania a škálovania, čo umožní vizuálnu kontrolu jej správnosti.

Príklady uskutočnenia vynálezu

Jednotlivé uskutočnenia podľa vynálezu sú predstavované na ilustráciu a nie ako obmedzenia technických riešení. Odborníci znalí stavu techniky nájdu alebo budú schopní zistiť s použitím nie viac ako rutinného experimentovania mnoho ekvivalentov k špecifickým uskutočneniam technického riešenia. Aj takéto ekvivalenty budú spadať do rozsahu nasledujúcich patentových nárokov. Odborníkom znalým stavu techniky nemôže robiť problém optimálne navrhnutie konštrukcie a výber jeho prvkov, preto tieto znaky neboli detailne riešené.

Príklad

V tomto príklade konkrétneho uskutočnenia predmetu vynálezu je opísaný spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov s kamerou snímajúcou pohľad s následnou postupnosťou krokov, kde:

a) sa určujú súradnice pozorovaného miesta obrazovky kamerou snímajúcou polohu zreničiek operátora hľadiaceho na obrazovku, ako je to znázornené na obr. 3;

b) definujú sa rozmery študovaného subobjemu kvádra VOI s rozmermi Sx, Sy, Sz alebo valca VOI s rozmermi Sx = Sy = Sxy;

c) vyberá sa analyzovaná častica a poloha VOI;

d) vizualizuje sa VOI, kde jeho jednotlivé hladiny sa zobrazia vedľa seba na obrazovke;

e) koriguje sa pozorované miesto pomocou vizualizácie VOI, kde pozorovaná hladina je zvýraznená hrubým rámčekom;

f) vyberá sa posledná hladina pohľadom operátora z postupnosti hladín sondy a upriamuje sa pohľad na poslednú hladinu, na ktorej je ešte častica viditeľná, a identifikácia hladiny sa potvrdzuje fixáciu pohľadu na určitý čas, ako je to znázornené na obr. 1;

g) analyzuje sa častica algoritmom na overenie vlastnosti označenej častice v 3D priestore a označuje sa častica farebnou značkou, pričom poloha značky na hladinách medzi označenými hladinami sa určuje interpoláciou alebo nájdením reprezentatívneho bodu analýzou reálnych obrazových dát;

h) registruje sa analyzovaná častica uchovaním polohy označenej častice a pridelenej farby na vizuálne odlíšenie na všetkých hladinách;

i) po označení všetkých analyzovaných častíc sa uskutočňuje 3D vizualizácia celého analyzovaného objemu včítane značiek a priradených číselných údajov a korekcia chýb, ako je to znázornené na obr. 2.

Priemyselná využiteľnosť

Priemyselná využiteľnosť daného spôsobu interaktívnej kvantifikácie digitalizovaných 3D objektov s kamerou snímajúcou pohľad podľa vynálezu predstavuje využiteľnú technológiu vo všeobecnosti v 3D analýze mikroskopických obrazov a najmä v biomedicíne pri hodnotení obrazov z konfokálneho mikroskopu, prípadne z počítačového tomografu.

Claims

PATENTOVÉ NÁROKY

1. Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov s kamerou snímajúcou pohľad, vyznačujúci sa tým, že v nasledujúcich krokoch: a) sa určujú súradnice pozorovaného miesta obrazovky kamerou snímajúcou polohu zreničiek operátora hľadiaceho na obrazovku; b) sa definujú rozmery študovaného subobjemu kvádra VOI s rozmermi Sx, Sy, Sz alebo valca VOI s rozmermi Sx = Sy = Sxy; c) sa vyberá analyzovaná častica a poloha VOI tak, že na referenčnej hladine operátor označí analyzovanú časticu myšou alebo pohľadom, alebo dotykom na obrazovku, kde podstava VOI leží na referenčnej hladine, pričom zboku a zhora časticu ohraničuje; d) sa vizualizuje VOI, kde jeho jednotlivé hladiny sa zobrazia vedľa seba na obrazovke; e) sa koriguje pozorované miesto pomocou vizualizácie VOI, kde pozorovaná hladina je zvýraznená hrubým rámčekom; f) sa vyberá posledná hladina pohľadom operátora z postupnosti hladín sondy a upriamuje sa pohľad na poslednú hladinu, na ktorej je ešte častica viditeľná, a identifikácia hladiny sa potvrdzuje fixáciu pohľadu na určitý čas alebo hlasovým povelom, alebo uvoľnením tlačidla myši stlačenom vo fáze c) alebo žmurknutím; g) sa analyzuje častica algoritmom na overenie vlastnosti označenej častice v 3D priestore a označuje sa častica farebnou značkou, pričom poloha značky na hladinách medzi označenými hladinami sa určuje interpoláciou alebo nájdením reprezentatívneho bodu analýzou reálnych obrazových dát.
2. Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov s kamerou snímajúcou pohľad podľa nároku 1, vyznačujúci sa tým, že po analýze častice algoritmom na overenie vlastnosti označenej častice v 3D priestore a po označení častice farebnou značkou sa registruje analyzovaná častica uchovaním polohy označenej častice a pridelenej farby na vizuálne odlíšenie na všetkých hladinách.
3. Spôsob interaktívnej kvantifikácie digitalizovaných 3D objektov s kamerou snímajúcou pohľad podľa nároku 2, vyznačujúci sa tým, že po označení všetkých analyzovaných častíc sa uskutočňuje 3D vizualizácia celého analyzovaného objemu včítane značiek a priradených číselných údajov a korekcia chýb.