SE0901188A1 - Intelligent, kompakt och flexibelt 3D-endoskop med mjukvara - Google Patents

Description

olika delar från påverkan utifrån. Kamerahuvudets yttre diameter uppgår i denna utformning till 3.5mm. och. längden uppgår till ll.5mm. Den tunna kabeln har en diameter, som i denna utformning uppgår till l.6mm. Inonx en nära framtidr kommer kamerahuvudets totala diameter att uppgå till under 3.0mm.

Belysningen kommer från mycket små LED-lampor, vilka som regel är placerade i en ring runt optiken. Det är också möjligt att använda en större LED-lampa, som den enda belysningen, i stället för ett antal LED-lampor. Alternativt kan fiberoptik sprida ljuset och optiken kommer att omvandla ljudet till en anpassad ljuskälla, vilken i sin tur är anpassad till kamerans synfält.

Laser kan också gå att använda för denna applikation, om ljuset kan vara monokromt. Ingen annan ljuskälla är bättre än laserns höga intensitet.

Nya sensorer inom området för mikromekanik kan känna av magnet- fält och jordens gravitation. Om dessa egenskaper integreras i kamerahuvudet, är det möjligt att se kamerahuvudets position och rörelse från utsidan i realtid och lagra denna information tillsammans med bilderna. Det är också möjligt att använda kamerabilden och korrelationsanalys för att beräkna rörelser och positioner.

Det är också nfijligt att använda små RFID-chips för att mäta kamerahuvudets position. RFID-chipsen. skickar signaler till en mottagare, vilken är placerad utanför kroppen och i teorin kan vara placerad var som helst i rummet och som sedan överför informationen till en dator.

En annan lösning är att placera en kompakt 3-axlad elektronisk kompass i kamerahuvudet för positionering och navigering.

Kameran anger vad den ser i ”den verkliga världen” och visar detta på bildskärmen. Samtidigt är det möjligt att se vad som sker i ”den virtuella världen” på samma skärm, Den virtuella världen visas som regel med hjälp av röntgen, MRI eller liknande applikationer. Det är möjligt att sedan fusionera dessa båda ”världar” för att skapa förbättrad information för upptäckt och diagnos av sjukdomar i ett tidigt skede. En sådan fusion, som uppfinningen innebär, låter sig inte göras med den teknologi och bildbehandling som existerar idag.

Från kamerahuvudets ände finns, som nämnts ovan, en tunn kabel fastsatt. Denna kabel är kopplad till en liten enhet, där analoger signaler från kameran omvandlas till digitala signaler.

Dessa digitala signaler överförs sedan till en dator med hjälp av 4 en USB-kabel från. den lilla enheten. Dessa signaler omvandlas sedan till 3D-modeller i denna dator med hjälp av avancerad och särskilt framtagen mjukvara.

Om en kombination av sensorer används i form av en sensorfusion kan detta förbättra noggrannhet och flexibilitet i lösningen. Det är viktigt att komma ihåg att det också är möjligt att med mjukvara bestämma kamerahuvudets läge i kroppen utan att använda explicita sensorer.

Kamerahuvudets/endoskopets egenskaper kan förbättras med hjälp av ovan nämnda avancerade mjukvara. Mjukvaran används även för att skapa 3D-modeller i realtid. Denna mjukvara kommer att beskrivas mer ingående nedan. 1.Utökat dynamiskt område Pulsbreddmodulering med hjälp av en LED-lampa eller flera LED- lampor kan användas för att kontrollera belysningen från omgivningen. Genom att studera kamerans belysning är det möjligt att se om bilden är för mörk eller för ljus. Sedan kan bilden optimeras från det bästa dynamikomràdet. Här är det möjligt att välja vilka LED-lampor, som kan kontrolleras så man kan göra en icke-linjär belysning för att kompensera för variationer i ambient ljus. Mer kompensation sker, när det är mörkare och mindre kompensation sker, när det är ljusare. Detta nämns här endast som ett exempel.

Cmn dynamikområdet är alltför dåligt, är det möjligt att göra följande: Att inte röra kameran, utan att låta den vara stilla. Förändra belysningen eller förändra kamerans exponeringstid. Lagra vissa bilder med samma scen, men med olika belysnings- och iris- installationer.

Sedan kan programmet dela bilden i flera små bilder. Dessa mindre bilder analyseras sedan. De som, har de bästa egenskaperna. på samma plats i mätvolymen skärs ut tillsammans i en sorts mosaik, som består av de bästa delarna av alla separata bilder. Den kompletta bilden är sedan bara baserad på de bästa delar av respektive platser. Resultatet av denna bildbehandling är mycket bättre än av enbart en enda bild. 2. Kamerans rörelse Signalerna från kameran överförs genom den tunna kabeln. Den kan vara fäst vid en extern bildprocessor, som omvandlar bilden på ett flertal sätt. Kabeln kan vara mjuk och totalt flexibel. Men den kan också till viss del vara rigid och flexibel i toppen, vilket gör det möjligt att kontrollera kamerans rörelser åt olika håll inuti objektet.

En version är att kabeln innehåller styrbyra kablar, som därvid kan böja hela kabeln, så att det är lättare att röra den inne i små passager etc. Vissa industriella fiberboroskop använder idag denna typ av lösning. Denna typ av lösning kan mycket väl användas i denna uppfinning. 3.Ökningen av kamerans dynamik Logaritmisk återföring av 'videosignaler kan användas, eftersom ögat fungerar logaritmiskt, medan alla kameror son: används är linjära avseende deras känslighet. Detta kommer att ge en ökad bildförstöring jämfört med ögat.

För det mesta kan detta omvandlas i ett separat elektroniskt instrument, t.ex. med en PC eller en FPGA signalprocessor i en extern enhet. Detta kan göra en stor skillnad, när det förekommer dåliga videosignaler. Det är möjligt att använda en enhet, som ökar dynamiken till 100000 till 1, jämfört med 1000 till 1 för en mer normal kamera. 4.Förbättring av videosignalens kontrast Det finns mycket information i mjuka mindre färgskillnader så att en förbättring av kontrast kan ge mycket bättre förbättringar av videosignalen. Detta kan göras på samma sätt som den logaritmiska omvandlingen ovan, men med en annan matematisk operation i enheten. Det finns idag funktionella PC-program, som kan utföra detta med mycket bra resultat. Detta är i normala fall inte synligt för det mänskliga ögat. 5.Fokusana1ys av bildinformationen Kameran har ett begränsat fokaldjup, där bilden kommer att vara den bästa. Eftersom vi i de flesta fall rör kameran, kommer vi att passera varje punkt och se denna från olika vinklar och på olika avstånd. Ett program kan sedan söka efter bilderna, som har den bästa skärpan inom åtskilliga delområden. Från dessa bilder, kan vi sedan generera en mosaik, som kommer att ha de delområden 6 som har bäst skärpa och sedan använda dessa till en mosikliknande större bild. Här kommer vi att ta bort de delar, vilka inte är så bra och bilden kommer därvid att bli mycket bättre. 6.Analys av bildinformationens rörelser Eftersom vi rör kameran och har bildinformation och känner till alla optiska parametrar, är det sedan möjligt att via bedömningar av korrelationen se hur kameran rör sig i förhållande till ytan.

Detta kan göras med upp till 6 axlar, cmï bilden har lämplig kontrast och mönster för att låsa bedömningarna. Vi kan sedan via varje bildsteg se hur kameran. rör sig 3-dimensionellt. Många överlappande bilder används med fördel i detta fall.

Jämte kamerans position kan vi också se i vilka vinklar kameran tittar inuti kroppen. Detta görs bäst genom. användning av en inklinometer, som ger referenser avseende den horisontella vinkeln. Genom att lägga till en elektronisk kompass kan vi också se kompassvinkeln. Elektroniska kompasser kan också känna av den vertikala positionen och på detta sätt få en horisontell mätningskompensation. 7.Kamerans position och dess position i kroppen och avseende synfältsperspektivet Det är viktigt att känna till var kameran befinner sig i kroppen och vartåt kameran pekar. Även om man inte har hundra procent kontroll av' positionerna etc., kan en enkel lösning vara att föredra, som inte använder röntgen eller MRI etc., eftersom dessa lösningar är mycket dyrbara och röntgen kan utsätta patienter och operatörer för skador.

Det finns mycket kompakta 3-axlade kompasser, som är mycket lätta att installera i kamerahuvudet. Dessa kompasser kommer sedan att avge information vartàt kameran tittar och hur den lutar i alla axlar. On: man sedan känner till hur kroppen ligger ger denna information en ganska bra bild avseende hur kameran för stunden ser i förhållande till kroppens koordinatsystem.

Om man loggar alla händelsers rörelseinformation och räknar baklänges, är det möjligt att från detta få mycket mer information avseende hur kameran har förflyttat sig i kroppen.

Kameran med lämplig mjukvara kan enbart med bildinformation och korrelation och liknande mätningar se hur kameran rör sig i kroppen. Genom åtskilliga 2D-bilder är det möjligt att få fram en 3D-bild och en 3D-ytas form med användning av enbart en kamera.

Om denna information mixas med informationen från kompassen, kommer sedan all information tillsammans att öka kameraposi- tionens noggrannhet inom kroppens inre koordinatsystem. Detta kallas för sensorfusion. Detta har fungerat bra i andra applikationer och om detta kombineras med kameran etc., kommer detta att ge mycket bättre prestanda speciellt för upptäckt och diagnos av sjukdomar i tidiga faser.

Vi har även specifik mjukvara, som gör det möjligt att upptäcka och ställa diagnoser i tidiga skeden genom avancerad manipulering av de bilder som tas av kameran- Detta gör att läkarna får tillgång till digital information, som gör bedömningar av sjukdomar i tidiga skeden mycket noggrannare och säkrare, än vad som är fallet idag. 8.Skapande av 3D-bilder En 2D-bild kan omvandlas till en 3D-bild. genonx användning av bildbehandling i en dator. Vi har idag ett program, vilket med bilder från en inte alltför avancerad kamera, vilken beskrivits ovan, och dess rörelser, kan titta på bildinformationen och omvandla 2D-informationen till en 3D-bild. Tester i matstrupen, i magsäcken etc. har gett mycket goda resultat. I dessa fall är det möjligt att få fram en 3d-bild anpassad för ögat, men också för att konstruera en bild mätbar i 3D. Från dessa bilder är det möjligt att markera ytor i 3D och erhålla områden och positioner på dessa ytor. Detta kan röra sig om tumörer eller andra defekter, vilka på ett enkelt sätt kan mätas, men också ge en 3D- position av kameran i kroppen.

En funktion hos detta slag av' mjukvara är at titta på samma omrâde från två positioner. Om. man känner till fokus och de geometriska måtten hos kamerans optik, kan man genom att se hur informationen i fronten på kamerahuvudet rör sig, mäta hur de ömsesidiga positionerna är i 3D.

Ett annat sätt är att använda flera LED-lampor, som pulserar på ett känt sätt och genom skuggor och mönster återberäkna området att vara 3D. 9.Robot-assisterad kirurgi och tillhålskirurgi Kirugi utvecklas i en riktning mot att göra ingreppen mindre och mindre. Detta innebär att instrumenten blir mindre och mindre.

Riktningen gör att man rör sig från några ”ingångshål" till ett enda ingångshål. Flexibla endoskop används mer och mer på bekostnad av ”rigida” endoskop. Det, som vi kallar ett flexibelt endoskop har en "kropp", som. är rigid, men kamerahuvudet kan röras i olika riktningar.

Uppfinningen har således ett kamerahuvud längst fram, som kan röras i önskvärda riktningar.

I samband. med robot-assisterad kirurgi kan tvâ sammankopplade kamerahuvuden användas samtidigt. Dessa båda kamerahuvuden utgör ett flexibelt endoskop eller sitter på en robotarm. Sedan har vi ytterligare ett kamerahuvud, som är placerad på en robotarm och som tar bilder från en annan vinkel.

Det är mycket lätt att placera kamerans koordinater genom robotarmens rörelser, om kameran är placerad längst fram på endoskopet.

I kamerahuvudet finns det också två sensorer för att visa var toppen på kamerahuvudet befinner sig. Detta innebär att positionen mäts i X, Y och Z i realtid.

Det är också möjligt att avgöra kamerahuvudets position med hjälp en ansats som bygger på framtagen mjukvara. Med specifik mjukvara är det också möjligt att visa i 3D och att mäta i 3D. Vi har också mjukvara för förbättring av bilder och att all mjukvara arbetar i realtid.

Vid titthålskirurgi används det lilla endoskopet på ungefär på samma sätt som vid robot-assisterad kirurgi - men naturligtvis utan utnyttjande av avancerad robotteknik. Med hjälp av de kompakta endoskopen är det möjligt att avläsa positionen för de olika instrumenten på en bildskärm i realtid och i 3D. Detta är inte möjligt idag med den noggrannhet, som de kompakta endoskapen och dess kamerasystem kan göra samt med utnyttjande av framtagna datorprogram.

Hur de kompakta och flexibla endoskopen kan användas vid robot- assisterad kirurgi framgår av ritning nummer 2. 10. Dynamisk axiell stereovision för 3-dimansionell skanning av ytan inne i en kropp Uppfinningen handlar om att använda dynamisk axiell stereovision för att skanna ytan hos ihåliga organ i en kropp. En bildfrekvens behandlas för att upptäcka egenskaper och spåra dessa över bilderna. Vi använder en ny ansats för att bestämma den riktiga rörelsen av egenskaperan som en funktion av kamerans rörelse.

Från dessa kan vi bestämma egenskapernas 3-dimensionella koordinater och rekonstruera ytan som en 3D-modell.

Vi kan bestämma de unika Xw, Yw och Zw koordinaterna hos egenskaperna inne i ihåligheten. Genonl att betrakta två olika positioner hos kameran, i linje med den optiska axeln, kan det ses som att en unik kombination av de tagna kamerakoordinaterna triangulerar till en unik position i området. Det enda undantaget är längs den optiska axeln, där området inte kan bestämmas. Det är detta som vi kallar axiell stereovision.

Vi använder en optisk flödesmetod för att upptäcka egenskaper i organet. Dessa egenskaper spåras över bilderna genom att associera egenskapernas positioner nära varandra inom kamerans område. Processen upptäcker lokaliseringen av en egenskap genom att skilja mellan intillliggande bilder. Dessa upptäckta egenskaper sker på ett automatiskt sätt.

Genom att röra en enda kamera kan vi upptäcka och spåra egenskaper över en uppsättning tagna bilder. Detta spårande över kamerans koordinatesystem består i. en idealistisk situation av raka linjer, vilka pekar mot kamerakoordinatens optiska axel.

Denna process benämns ”dynamisk”, eftersom kameran rör sig över eller inuti objektet, medan bilderna tas. Denna process består av följande steg: Kalibrering En sekvens av bilder Minska den radiala förvanskningen Upptäckt av egenskaper och spårning av dessa Efterbehandling Konstruktion av en 3D-modell COOOOO Uppfinningen löser problemet med att skanna små ihåliga utrymmen på ett sätt som hittills inte varit möjligt med hjälp av angiven mjukvara och användning av det intelligenta, kompakta och flexibla endoskopet. 10

Claims (1)

1. Patentkrav Krav 1 Anordningen är avsedd att se in i små utrymmen och se på dess ytor, vilka är svåra att inspektera, vilken består av hårdvara som innehåller ett intelligent, kompakt och flexibelt kamerahuvud med integrerad belysning, som är sammankopplad med en tunn kabel till en på en annan plats belägen elektronisk enhet/bild- skärmsenhet, där operatören samtidigt kan se det som kameran ser och att kamerans signaler och bildinformation är analyserad och uppmätt, så att man från bildinformationen kan erhålla en visuellt förbättrad bildkvalitet och information i. 3D, om vad kameran tittar på, kamerahuvudets 3D-position och även, om så önskas erhålla kamerahuvudets rörelsemönster och dess färdväg och position eller de geometriska data för vad som kameran har sett och med bilden och rörelsen som en enkoder mäter, hur kamera- huvudet rör sig och har rört sig inuti kroppen under mätnings- och inspekteringscykeln för att upptäcka och diagnosticera potentiella defekter samt fungera som ett kompakt och flexibelt endoskop vid kirurgiska ingrepp. Krav 2 Anordingen enligt krav 1 och kännetecknad av kamerahuvudets rörelse i ihåligheten/ingreppet och att kameran tar bilder, som kan ses som en videosekvens/klippsekvens och att man genom att jämföra förändringen mellan de olika bilderna och kamerans/- linsens optiska egenskaper att mäta och att få information om följande förändringar: Kamerans rörelsemönster i en eller flera riktningar. Mäta kamerans position under mätningssekvenser i 2D och 3D. Mäta 3D~formen, som kameran ser under mätningsprocessen. Använda en extra enkoder/sensor i kameran, vilken kan vara en kompass med 1-3 axlar eller en inklinometer eller ett INS/Gyro system och med deras mätdata bedöma, hur kameran rör sig i kroppen. Uppfinningen löser problemet med att skanna små ihåliga utrymmen på ett sätt som hittills inte varit möjligt med hjälp av angiven mjukvara och användning av det intelligenta, kompakta och flexibla endoskopet. Denna mjukvara kallar vi för "dynamisk axiell stereovision” och är speciellt framtagen för att för 3- dimensionell skanning av ytan inne i en kropp. 11 Krav 3 Enligt krav 1, som kännetecknas av att vi ökar kamerans dynamikområde och bildkvaliteten genom att vi tar flera bilder över en yta/ett område och sedan via dataanlys delar omrâdet i flera mindre områden, vilka var och en kan analyseras för att hitta den bästa bildkvaliteten och sedan jämföra dessa mindre bildområden och bilden, vilka har den bästa kvaliteten på detta lilla bildområde, sorteras ut som den bästa av alla bilder och att denna jämförelse mellan många bilder över detta område bygger en mosaikbild över den helhet, som skapas av de bästa delbilderna. På detta sätt får vi en panoramavy av det mänskliga organets ihálighet. Från denna panoramavy skapas sedan en 3D- modell av det mänskliga organets ihålighet. Krav 4 Enligt krav 1, som kännetecknas av att med åtskilliga över- lappande bilder från kameran och kunskap om optikens egenskaper via korrelation/jämförelse/kalkylering av det optiska flödet mäter hur kameran förflyttar sig mellan de olika bilderna. Här avses både ihåligheter i kroppen och kirurgiska ingrepp. Krav 5 Enligt krav 1 och 4 kännetecknade av att när vi mäter bakgrunden, tittar vi på 3D-koordinater. Krav 6 Enligt krav' l och kännetecknad av kabeln, vilken går mellan kamerahuvudet/endoskopet och den elektroniska enheten är utrustad med en manipulator, som gör kabeln böjbar och kontrollbar inne i ihàligheter. Krav 7 Enligt krav 1 och 6 och kännetecknad av att kabeln har en arbetskanal, som kan skära loss och ta med sig bitar av organet, är det möjligt att erhålla prover från den plats på vilken kameran tittar. Med hjälp av uppfinningens mjukvara är det också möjligt att använda optisk biopsi, vilket innebär att det ibland inte finns behov av att använda fysisk biopsi. Vid denna optiska biopsi studerar läkaren bilder, som behandlats av mjukvaran, vilken lyfter fram områden, där det kan finnas defekter, vilka befinna sig i tidiga stadium. 12 Krav 8 Enligt krav 1 kännetecknad av att kameran, när den reflekteras av alltför starkt ljus, tar flera bilder på områden, men med sämre belysning eller minskad känslighet i kameran och via analys skär ut bilderna, som har den bästa kvaliteten i de störda områdena och skär ut denna del av bilden för att sätta in denna del tillsammans med annan bildinformation för att göra hela bilden bättre och att detta enbart görs i det störda området. Krav 9 Enligt krav 1 och kännetecknad av att kamerans bildinformation kan matematiskt matchas mot en i kamerahuvudet installerad enkoder, elektronisk kompass eller mikrogyro etc. och att denna totala bildinformation kan användas för att mäta var kameran är positionerad i kroppen. Via uppfinningens mjukvara är det också möjligt att lokalisera var i kroppen kameran/endoskopet befinner sig. Krav 10 Enligt krav 1 och kännetecknad av att kabeln har en optisk fiber längs med kabeln och att positionen av' denna fiber och dess böjning mäts med laser baserad på interferometrisk metod i likhet med Bragg Gitter eller liknande. Krav 11 Enligt krav 1 och kännetecknad av att kamerahuvdet/endoskopet med fördel kan användas i samband med robot-asssisterad kirurgi och tillhålskirurgi för att leda till ingrepp som är mindre och för att ange de kiruriska instrumentens position samt att skicka bilder i realtid till bildskärmar och att omvandla bilderna till 3-dimensionella bilder. Med, hjälp av' de kompakta och flexibla endoskopen är det möjligt att under operationen känna till positionen för de instrument som används, vilket inte är möjligt vid de kirurgiska ingrepp som görs idag. 13