SE0901188A1

SE0901188A1 - Intelligent, compact and flexible 3D endoscope with software

Info

Publication number: SE0901188A1
Application number: SE0901188A
Authority: SE
Inventors: Peter Stevrin
Original assignee: Stevrin & Partners Hb
Priority date: 2009-09-15
Filing date: 2009-09-15
Publication date: 2011-03-16

Description

olika delar från påverkan utifrån. Kamerahuvudets yttre diameter uppgår i denna utformning till 3.5mm. och. längden uppgår till ll.5mm. Den tunna kabeln har en diameter, som i denna utformning uppgår till l.6mm. Inonx en nära framtidr kommer kamerahuvudets totala diameter att uppgå till under 3.0mm. different parts from outside influence. The outer diameter of the camera head in this design amounts to 3.5 mm. and. the length amounts to ll.5mm. The thin cable has a diameter, which in this design amounts to 1.6 mm. In the near future, the total diameter of the camera head will be less than 3.0 mm.

Belysningen kommer från mycket små LED-lampor, vilka som regel är placerade i en ring runt optiken. Det är också möjligt att använda en större LED-lampa, som den enda belysningen, i stället för ett antal LED-lampor. Alternativt kan fiberoptik sprida ljuset och optiken kommer att omvandla ljudet till en anpassad ljuskälla, vilken i sin tur är anpassad till kamerans synfält.The lighting comes from very small LED lamps, which are usually placed in a ring around the optics. It is also possible to use a larger LED lamp, as the only lighting, instead of a number of LED lamps. Alternatively, fiber optics can scatter the light and the optics will convert the sound into a custom light source, which in turn is adapted to the camera's field of view.

Laser kan också gå att använda för denna applikation, om ljuset kan vara monokromt. Ingen annan ljuskälla är bättre än laserns höga intensitet.Laser can also be used for this application, if the light can be monochrome. No other light source is better than the high intensity of the laser.

Nya sensorer inom området för mikromekanik kan känna av magnet- fält och jordens gravitation. Om dessa egenskaper integreras i kamerahuvudet, är det möjligt att se kamerahuvudets position och rörelse från utsidan i realtid och lagra denna information tillsammans med bilderna. Det är också möjligt att använda kamerabilden och korrelationsanalys för att beräkna rörelser och positioner.New sensors in the field of micromechanics can detect magnetic fields and the earth's gravity. If these features are integrated into the camera head, it is possible to see the position and movement of the camera head from the outside in real time and store this information together with the images. It is also possible to use the camera image and correlation analysis to calculate movements and positions.

Det är också nﬁjligt att använda små RFID-chips för att mäta kamerahuvudets position. RFID-chipsen. skickar signaler till en mottagare, vilken är placerad utanför kroppen och i teorin kan vara placerad var som helst i rummet och som sedan överför informationen till en dator.It is also possible to use small RFID chips to measure the position of the camera head. RFID chips. sends signals to a receiver, which is located outside the body and in theory can be located anywhere in the room and which then transmits the information to a computer.

En annan lösning är att placera en kompakt 3-axlad elektronisk kompass i kamerahuvudet för positionering och navigering.Another solution is to place a compact 3-axis electronic compass in the camera head for positioning and navigation.

Kameran anger vad den ser i ”den verkliga världen” och visar detta på bildskärmen. Samtidigt är det möjligt att se vad som sker i ”den virtuella världen” på samma skärm, Den virtuella världen visas som regel med hjälp av röntgen, MRI eller liknande applikationer. Det är möjligt att sedan fusionera dessa båda ”världar” för att skapa förbättrad information för upptäckt och diagnos av sjukdomar i ett tidigt skede. En sådan fusion, som uppfinningen innebär, låter sig inte göras med den teknologi och bildbehandling som existerar idag.The camera indicates what it sees in the "real world" and displays it on the screen. At the same time, it is possible to see what is happening in the "virtual world" on the same screen. The virtual world is usually displayed using X-rays, MRI or similar applications. It is possible to then merge these two "worlds" to create improved information for the detection and diagnosis of diseases at an early stage. Such a fusion, as the invention entails, cannot be done with the technology and image processing that exists today.

Från kamerahuvudets ände finns, som nämnts ovan, en tunn kabel fastsatt. Denna kabel är kopplad till en liten enhet, där analoger signaler från kameran omvandlas till digitala signaler.From the end of the camera head, as mentioned above, a thin cable is attached. This cable is connected to a small device, where analog signals from the camera are converted into digital signals.

Dessa digitala signaler överförs sedan till en dator med hjälp av 4 en USB-kabel från. den lilla enheten. Dessa signaler omvandlas sedan till 3D-modeller i denna dator med hjälp av avancerad och särskilt framtagen mjukvara.These digital signals are then transferred to a computer using 4 a USB cable from. the small device. These signals are then converted into 3D models in this computer using advanced and specially developed software.

Om en kombination av sensorer används i form av en sensorfusion kan detta förbättra noggrannhet och flexibilitet i lösningen. Det är viktigt att komma ihåg att det också är möjligt att med mjukvara bestämma kamerahuvudets läge i kroppen utan att använda explicita sensorer.If a combination of sensors is used in the form of a sensor fusion, this can improve the accuracy and flexibility of the solution. It is important to remember that it is also possible to use software to determine the position of the camera head in the body without using explicit sensors.

Kamerahuvudets/endoskopets egenskaper kan förbättras med hjälp av ovan nämnda avancerade mjukvara. Mjukvaran används även för att skapa 3D-modeller i realtid. Denna mjukvara kommer att beskrivas mer ingående nedan. 1.Utökat dynamiskt område Pulsbreddmodulering med hjälp av en LED-lampa eller flera LED- lampor kan användas för att kontrollera belysningen från omgivningen. Genom att studera kamerans belysning är det möjligt att se om bilden är för mörk eller för ljus. Sedan kan bilden optimeras från det bästa dynamikomràdet. Här är det möjligt att välja vilka LED-lampor, som kan kontrolleras så man kan göra en icke-linjär belysning för att kompensera för variationer i ambient ljus. Mer kompensation sker, när det är mörkare och mindre kompensation sker, när det är ljusare. Detta nämns här endast som ett exempel.The properties of the camera head / endoscope can be improved with the help of the above-mentioned advanced software. The software is also used to create 3D models in real time. This software will be described in more detail below. 1.Extended dynamic range Pulse width modulation using one LED lamp or several LED lamps can be used to control the lighting from the surroundings. By studying the camera's lighting, it is possible to see if the image is too dark or too light. Then the image can be optimized from the best dynamic range. Here it is possible to choose which LED lamps can be controlled so that you can make a non-linear lighting to compensate for variations in ambient light. More compensation occurs when it is darker and less compensation occurs when it is lighter. This is mentioned here only as an example.

Cmn dynamikområdet är alltför dåligt, är det möjligt att göra följande: Att inte röra kameran, utan att låta den vara stilla. Förändra belysningen eller förändra kamerans exponeringstid. Lagra vissa bilder med samma scen, men med olika belysnings- och iris- installationer.If the dynamic range is too poor, it is possible to do the following: Do not touch the camera, but leave it still. Change the lighting or change the camera exposure time. Store certain images with the same scene, but with different lighting and iris installations.

Sedan kan programmet dela bilden i flera små bilder. Dessa mindre bilder analyseras sedan. De som, har de bästa egenskaperna. på samma plats i mätvolymen skärs ut tillsammans i en sorts mosaik, som består av de bästa delarna av alla separata bilder. Den kompletta bilden är sedan bara baserad på de bästa delar av respektive platser. Resultatet av denna bildbehandling är mycket bättre än av enbart en enda bild. 2. Kamerans rörelse Signalerna från kameran överförs genom den tunna kabeln. Den kan vara fäst vid en extern bildprocessor, som omvandlar bilden på ett flertal sätt. Kabeln kan vara mjuk och totalt flexibel. Men den kan också till viss del vara rigid och flexibel i toppen, vilket gör det möjligt att kontrollera kamerans rörelser åt olika håll inuti objektet.Then the program can divide the image into several small images. These smaller images are then analyzed. Those who, have the best qualities. in the same place in the measurement volume is cut out together in a kind of mosaic, which consists of the best parts of all separate images. The complete picture is then only based on the best parts of each place. The result of this image processing is much better than just a single image. 2. Camera movement The signals from the camera are transmitted through the thin cable. It can be attached to an external image processor, which converts the image in several ways. The cable can be soft and totally flexible. But it can also to some extent be rigid and flexible at the top, which makes it possible to control the camera's movements in different directions inside the object.

En version är att kabeln innehåller styrbyra kablar, som därvid kan böja hela kabeln, så att det är lättare att röra den inne i små passager etc. Vissa industriella fiberboroskop använder idag denna typ av lösning. Denna typ av lösning kan mycket väl användas i denna uppfinning. 3.Ökningen av kamerans dynamik Logaritmisk återföring av 'videosignaler kan användas, eftersom ögat fungerar logaritmiskt, medan alla kameror son: används är linjära avseende deras känslighet. Detta kommer att ge en ökad bildförstöring jämfört med ögat.One version is that the cable contains guide bar cables, which can thereby bend the entire cable, so that it is easier to move it inside small passages, etc. Some industrial fiber boroscopes today use this type of solution. This type of solution may well be used in this invention. 3.Increasing Camera Dynamics Logarithmic feedback of video signals can be used, as the eye operates logarithmically, while all cameras used are linear in their sensitivity. This will give an increased image distortion compared to the eye.

För det mesta kan detta omvandlas i ett separat elektroniskt instrument, t.ex. med en PC eller en FPGA signalprocessor i en extern enhet. Detta kan göra en stor skillnad, när det förekommer dåliga videosignaler. Det är möjligt att använda en enhet, som ökar dynamiken till 100000 till 1, jämfört med 1000 till 1 för en mer normal kamera. 4.Förbättring av videosignalens kontrast Det finns mycket information i mjuka mindre färgskillnader så att en förbättring av kontrast kan ge mycket bättre förbättringar av videosignalen. Detta kan göras på samma sätt som den logaritmiska omvandlingen ovan, men med en annan matematisk operation i enheten. Det finns idag funktionella PC-program, som kan utföra detta med mycket bra resultat. Detta är i normala fall inte synligt för det mänskliga ögat. 5.Fokusana1ys av bildinformationen Kameran har ett begränsat fokaldjup, där bilden kommer att vara den bästa. Eftersom vi i de flesta fall rör kameran, kommer vi att passera varje punkt och se denna från olika vinklar och på olika avstånd. Ett program kan sedan söka efter bilderna, som har den bästa skärpan inom åtskilliga delområden. Från dessa bilder, kan vi sedan generera en mosaik, som kommer att ha de delområden 6 som har bäst skärpa och sedan använda dessa till en mosikliknande större bild. Här kommer vi att ta bort de delar, vilka inte är så bra och bilden kommer därvid att bli mycket bättre. 6.Analys av bildinformationens rörelser Eftersom vi rör kameran och har bildinformation och känner till alla optiska parametrar, är det sedan möjligt att via bedömningar av korrelationen se hur kameran rör sig i förhållande till ytan.For the most part, this can be converted into a separate electronic instrument, e.g. with a PC or an FPGA signal processor in an external device. This can make a big difference when there are bad video signals. It is possible to use a device that increases the dynamics to 100,000 to 1, compared to 1,000 to 1 for a more normal camera. 4.Improving the video signal contrast There is a lot of information in soft minor color differences so that an improvement in contrast can provide much better improvements to the video signal. This can be done in the same way as the logarithmic transformation above, but with a different mathematical operation in the unit. There are today functional PC programs, which can perform this with very good results. This is not normally visible to the human eye. 5.Focus analysis of the image information The camera has a limited focal length, where the image will be the best. Since in most cases we move the camera, we will pass each point and see it from different angles and at different distances. A program can then search for the images, which have the best sharpness in several sub-areas. From these images, we can then generate a mosaic, which will have the sub-areas 6 that have the best sharpness and then use these for a mosaic-like larger image. Here we will remove the parts, which are not so good and the picture will be much better. 6.Analysis of the movements of the image information Since we move the camera and have image information and know all the optical parameters, it is then possible to see through assessments of the correlation how the camera moves in relation to the surface.

Detta kan göras med upp till 6 axlar, cmï bilden har lämplig kontrast och mönster för att låsa bedömningarna. Vi kan sedan via varje bildsteg se hur kameran. rör sig 3-dimensionellt. Många överlappande bilder används med fördel i detta fall.This can be done with up to 6 axes, cmï the image has the appropriate contrast and pattern to lock the assessments. We can then see through each image step how the camera. moves 3-dimensionally. Many overlapping images are used to advantage in this case.

Jämte kamerans position kan vi också se i vilka vinklar kameran tittar inuti kroppen. Detta görs bäst genom. användning av en inklinometer, som ger referenser avseende den horisontella vinkeln. Genom att lägga till en elektronisk kompass kan vi också se kompassvinkeln. Elektroniska kompasser kan också känna av den vertikala positionen och på detta sätt få en horisontell mätningskompensation. 7.Kamerans position och dess position i kroppen och avseende synfältsperspektivet Det är viktigt att känna till var kameran befinner sig i kroppen och vartåt kameran pekar. Även om man inte har hundra procent kontroll av' positionerna etc., kan en enkel lösning vara att föredra, som inte använder röntgen eller MRI etc., eftersom dessa lösningar är mycket dyrbara och röntgen kan utsätta patienter och operatörer för skador.Along with the position of the camera, we can also see in what angles the camera looks inside the body. This is best done through. use of an inclinometer, which provides references regarding the horizontal angle. By adding an electronic compass we can also see the compass angle. Electronic compasses can also sense the vertical position and in this way receive a horizontal measurement compensation. 7.The position of the camera and its position in the body and regarding the field of view perspective It is important to know where the camera is in the body and where the camera is pointing. Even if one does not have one hundred percent control of the 'positions etc., a simple solution may be preferable, which does not use X-ray or MRI etc., as these solutions are very expensive and X-ray can expose patients and operators to injuries.

Det finns mycket kompakta 3-axlade kompasser, som är mycket lätta att installera i kamerahuvudet. Dessa kompasser kommer sedan att avge information vartàt kameran tittar och hur den lutar i alla axlar. On: man sedan känner till hur kroppen ligger ger denna information en ganska bra bild avseende hur kameran för stunden ser i förhållande till kroppens koordinatsystem.There are very compact 3-axis compasses, which are very easy to install in the camera head. These compasses will then provide information on where the camera is looking and how it is tilted in all axes. On: you then know how the body is located, this information gives a pretty good picture regarding how the camera currently sees in relation to the body's coordinate system.

Om man loggar alla händelsers rörelseinformation och räknar baklänges, är det möjligt att från detta få mycket mer information avseende hur kameran har förflyttat sig i kroppen.If you log all the movement information of events and count backwards, it is possible to get much more information from this regarding how the camera has moved in the body.

Kameran med lämplig mjukvara kan enbart med bildinformation och korrelation och liknande mätningar se hur kameran rör sig i kroppen. Genom åtskilliga 2D-bilder är det möjligt att få fram en 3D-bild och en 3D-ytas form med användning av enbart en kamera.The camera with suitable software can only with image information and correlation and similar measurements see how the camera moves in the body. Through several 2D images, it is possible to obtain a 3D image and the shape of a 3D surface using only one camera.

Om denna information mixas med informationen från kompassen, kommer sedan all information tillsammans att öka kameraposi- tionens noggrannhet inom kroppens inre koordinatsystem. Detta kallas för sensorfusion. Detta har fungerat bra i andra applikationer och om detta kombineras med kameran etc., kommer detta att ge mycket bättre prestanda speciellt för upptäckt och diagnos av sjukdomar i tidiga faser.If this information is mixed with the information from the compass, then all the information together will increase the accuracy of the camera position within the body's internal coordinate system. This is called sensor fusion. This has worked well in other applications and if this is combined with the camera etc., this will give much better performance especially for detection and diagnosis of diseases in early stages.

Vi har även specifik mjukvara, som gör det möjligt att upptäcka och ställa diagnoser i tidiga skeden genom avancerad manipulering av de bilder som tas av kameran- Detta gör att läkarna får tillgång till digital information, som gör bedömningar av sjukdomar i tidiga skeden mycket noggrannare och säkrare, än vad som är fallet idag. 8.Skapande av 3D-bilder En 2D-bild kan omvandlas till en 3D-bild. genonx användning av bildbehandling i en dator. Vi har idag ett program, vilket med bilder från en inte alltför avancerad kamera, vilken beskrivits ovan, och dess rörelser, kan titta på bildinformationen och omvandla 2D-informationen till en 3D-bild. Tester i matstrupen, i magsäcken etc. har gett mycket goda resultat. I dessa fall är det möjligt att få fram en 3d-bild anpassad för ögat, men också för att konstruera en bild mätbar i 3D. Från dessa bilder är det möjligt att markera ytor i 3D och erhålla områden och positioner på dessa ytor. Detta kan röra sig om tumörer eller andra defekter, vilka på ett enkelt sätt kan mätas, men också ge en 3D- position av kameran i kroppen.We also have specific software, which makes it possible to detect and make diagnoses in the early stages by advanced manipulation of the images taken by the camera- This allows doctors to access digital information, which makes assessments of diseases in the early stages much more accurate and safer, than is the case today. 8. Creating 3D images A 2D image can be converted into a 3D image. genonx use of image processing in a computer. Today we have a program, which with images from a not too advanced camera, which is described above, and its movements, can look at the image information and convert the 2D information into a 3D image. Tests in the esophagus, stomach, etc. have given very good results. In these cases, it is possible to produce a 3D image adapted to the eye, but also to construct an image measurable in 3D. From these images, it is possible to mark surfaces in 3D and obtain areas and positions on these surfaces. This can be tumors or other defects, which can be easily measured, but also give a 3D position of the camera in the body.

En funktion hos detta slag av' mjukvara är at titta på samma omrâde från två positioner. Om. man känner till fokus och de geometriska måtten hos kamerans optik, kan man genom att se hur informationen i fronten på kamerahuvudet rör sig, mäta hur de ömsesidiga positionerna är i 3D.A function of this type of software is to look at the same area from two positions. If. you know the focus and the geometric dimensions of the camera's optics, you can by seeing how the information in the front of the camera head moves, measure how the mutual positions are in 3D.

Ett annat sätt är att använda flera LED-lampor, som pulserar på ett känt sätt och genom skuggor och mönster återberäkna området att vara 3D. 9.Robot-assisterad kirurgi och tillhålskirurgi Kirugi utvecklas i en riktning mot att göra ingreppen mindre och mindre. Detta innebär att instrumenten blir mindre och mindre.Another way is to use several LED lights, which pulsate in a known way and through shadows and patterns recalculate the area to be 3D. 9. Robot-assisted surgery and cavity surgery Kirugi is developing in a direction towards making the procedures smaller and smaller. This means that the instruments become smaller and smaller.

Riktningen gör att man rör sig från några ”ingångshål" till ett enda ingångshål. Flexibla endoskop används mer och mer på bekostnad av ”rigida” endoskop. Det, som vi kallar ett flexibelt endoskop har en "kropp", som. är rigid, men kamerahuvudet kan röras i olika riktningar.The direction causes one to move from a few "entrance holes" to a single entrance hole.Flexible endoscopes are used more and more at the expense of "rigid" endoscopes.What we call a flexible endoscope has a "body", which is rigid, but the camera head can be moved in different directions.

Uppfinningen har således ett kamerahuvud längst fram, som kan röras i önskvärda riktningar.The invention thus has a camera head at the front, which can be moved in desired directions.

I samband. med robot-assisterad kirurgi kan tvâ sammankopplade kamerahuvuden användas samtidigt. Dessa båda kamerahuvuden utgör ett flexibelt endoskop eller sitter på en robotarm. Sedan har vi ytterligare ett kamerahuvud, som är placerad på en robotarm och som tar bilder från en annan vinkel.Associated. with robot-assisted surgery, two interconnected camera heads can be used simultaneously. These two camera heads form a flexible endoscope or sit on a robot arm. Then we have another camera head, which is placed on a robot arm and which takes pictures from a different angle.

Det är mycket lätt att placera kamerans koordinater genom robotarmens rörelser, om kameran är placerad längst fram på endoskopet.It is very easy to place the camera coordinates through the movements of the robot arm, if the camera is placed at the front of the endoscope.

I kamerahuvudet finns det också två sensorer för att visa var toppen på kamerahuvudet befinner sig. Detta innebär att positionen mäts i X, Y och Z i realtid.There are also two sensors in the camera head to show where the top of the camera head is located. This means that the position is measured in X, Y and Z in real time.

Det är också möjligt att avgöra kamerahuvudets position med hjälp en ansats som bygger på framtagen mjukvara. Med specifik mjukvara är det också möjligt att visa i 3D och att mäta i 3D. Vi har också mjukvara för förbättring av bilder och att all mjukvara arbetar i realtid.It is also possible to determine the position of the camera head using an approach based on software developed. With specific software, it is also possible to display in 3D and to measure in 3D. We also have software for improving images and that all software works in real time.

Vid titthålskirurgi används det lilla endoskopet på ungefär på samma sätt som vid robot-assisterad kirurgi - men naturligtvis utan utnyttjande av avancerad robotteknik. Med hjälp av de kompakta endoskopen är det möjligt att avläsa positionen för de olika instrumenten på en bildskärm i realtid och i 3D. Detta är inte möjligt idag med den noggrannhet, som de kompakta endoskapen och dess kamerasystem kan göra samt med utnyttjande av framtagna datorprogram.In peephole surgery, the small endoscope is used in much the same way as in robot-assisted surgery - but of course without the use of advanced robot technology. With the help of the compact endoscopes, it is possible to read the position of the various instruments on a screen in real time and in 3D. This is not possible today with the accuracy that the compact endoscopes and their camera systems can do and with the use of developed computer programs.

Hur de kompakta och flexibla endoskopen kan användas vid robot- assisterad kirurgi framgår av ritning nummer 2. 10. Dynamisk axiell stereovision för 3-dimansionell skanning av ytan inne i en kropp Uppfinningen handlar om att använda dynamisk axiell stereovision för att skanna ytan hos ihåliga organ i en kropp. En bildfrekvens behandlas för att upptäcka egenskaper och spåra dessa över bilderna. Vi använder en ny ansats för att bestämma den riktiga rörelsen av egenskaperan som en funktion av kamerans rörelse.How the compact and flexible endoscopes can be used in robot-assisted surgery is shown in drawing number 2. 10. Dynamic axial stereovision for 3-dimensional scanning of the surface inside a body The invention is about using dynamic axial stereovision to scan the surface of hollow organs in a body. A frame rate is processed to detect properties and track them across the frames. We use a new approach to determine the true motion of the property as a function of the camera's motion.

Från dessa kan vi bestämma egenskapernas 3-dimensionella koordinater och rekonstruera ytan som en 3D-modell.From these we can determine the 3-dimensional coordinates of the properties and reconstruct the surface as a 3D model.

Vi kan bestämma de unika Xw, Yw och Zw koordinaterna hos egenskaperna inne i ihåligheten. Genonl att betrakta två olika positioner hos kameran, i linje med den optiska axeln, kan det ses som att en unik kombination av de tagna kamerakoordinaterna triangulerar till en unik position i området. Det enda undantaget är längs den optiska axeln, där området inte kan bestämmas. Det är detta som vi kallar axiell stereovision.We can determine the unique Xw, Yw and Zw coordinates of the properties inside the cavity. Looking at two different positions of the camera, in line with the optical axis, it can be seen that a unique combination of the taken camera coordinates triangulates to a unique position in the area. The only exception is along the optical axis, where the area can not be determined. This is what we call axial stereovision.

Vi använder en optisk flödesmetod för att upptäcka egenskaper i organet. Dessa egenskaper spåras över bilderna genom att associera egenskapernas positioner nära varandra inom kamerans område. Processen upptäcker lokaliseringen av en egenskap genom att skilja mellan intillliggande bilder. Dessa upptäckta egenskaper sker på ett automatiskt sätt.We use an optical flow method to detect properties in the organ. These properties are tracked across the images by associating the positions of the properties close together within the camera area. The process detects the location of a property by distinguishing between adjacent images. These detected properties occur automatically.

Genom att röra en enda kamera kan vi upptäcka och spåra egenskaper över en uppsättning tagna bilder. Detta spårande över kamerans koordinatesystem består i. en idealistisk situation av raka linjer, vilka pekar mot kamerakoordinatens optiska axel.By touching a single camera, we can detect and track properties across a set of captured images. This tracking of the camera's coordinate system consists in an idealistic situation of straight lines, which point to the optical axis of the camera coordinates.

Denna process benämns ”dynamisk”, eftersom kameran rör sig över eller inuti objektet, medan bilderna tas. Denna process består av följande steg: Kalibrering En sekvens av bilder Minska den radiala förvanskningen Upptäckt av egenskaper och spårning av dessa Efterbehandling Konstruktion av en 3D-modell COOOOO Uppfinningen löser problemet med att skanna små ihåliga utrymmen på ett sätt som hittills inte varit möjligt med hjälp av angiven mjukvara och användning av det intelligenta, kompakta och flexibla endoskopet. 10This process is called "dynamic" because the camera moves over or inside the subject while taking pictures. This process consists of the following steps: Calibration A sequence of images Reducing the radial distortion Discovery of properties and tracing of these Finishing Construction of a 3D model COOOOO The invention solves the problem of scanning small hollow spaces in a way that has not hitherto been possible with the help of specified software and use of the intelligent, compact and flexible endoscope. 10

Claims

Claim 1 Claim 1 The device is intended to look into small spaces and look at its surfaces, which are difficult to inspect, which consists of hardware containing an intelligent, compact and flexible camera head with integrated lighting, which is connected by a thin cable to an electronic unit / display unit located at another location, where the operator can simultaneously see what the camera sees and that the camera's signals and image information are analyzed and measured, so that a visually improved image quality and information can be obtained from the image information. , about what the camera is looking at, the 3D position of the camera head and also, if desired, the movement pattern of the camera head and its path and position or the geometric data of what the camera has seen and with the image and movement measured by an encoder, how the camera head moves and has moved inside the body during the measurement and inspection cycle to detect and diagnose potential defects and act as a tt compact and flexible endoscope for surgical procedures. The device according to claim 1 and characterized by the movement of the camera head in the cavity / engagement and that the camera takes pictures, which can be seen as a video sequence / clipping sequence and that by comparing the change between the different pictures and the optical properties of the camera / lens to measure and for information on the following changes: Camera movement patterns in one or more directions. Measure the position of the camera during measurement sequences in 2D and 3D. Measure the 3D shape that the camera sees during the measurement process. Use an extra encoder / sensor in the camera, which can be a compass with 1-3 axes or an inclinometer or an INS / Gyro system and with their measurement data assess how the camera moves in the body. The invention solves the problem of scanning small hollow spaces in a way that has not hitherto been possible with the aid of specified software and the use of the intelligent, compact and flexible endoscope. We call this software "dynamic axial stereovision" and are specially designed to perform 3-dimensional scanning of the surface inside a body.11 Requirement 3 According to claim 1, which is characterized by increasing the camera's dynamic range and image quality by taking several images over an area / area and then via data analysis divide the area into several smaller areas, each of which can be analyzed to find the best image quality and then compare these smaller image areas and the image, which have the best quality of this small image area, are sorted as the best of all images and that this comparison between many images over this area builds a mosaic image over the whole, which is created by the best sub-images.In this way we get a panoramic view of the holiness of the human organ.From this panoramic view is then created a 3D model of the cavity of the human organ Claim 4 According to claim 1, which is characterized by having several overlapping images from the camera and knowledge of optics n's properties via correlation / comparison / calculation of the optical flow measure how the camera moves between the different images. This refers to both cavities in the body and surgical procedures. Claim 5 According to claims 1 and 4, characterized in that when we measure the background, we look at 3D coordinates. Claim 6 According to claim 1 and characterized by the cable which runs between the camera head / endoscope and the electronic device is equipped with a manipulator which makes the cable bendable and controllable inside the cavities. Claim 7 According to claims 1 and 6 and characterized in that the cable has a working channel, which can cut loose and take with it pieces of the member, it is possible to obtain samples from the place where the camera is looking. With the help of the software of the invention, it is also possible to use optical biopsy, which means that sometimes there is no need to use physical biopsy. In this optical biopsy, the doctor studies images processed by the software, which highlights areas where there may be defects that are in the early stages. Claim 8 According to claim 1, characterized in that the camera, when reflected by excessive light, takes several pictures in areas, but with poorer lighting or reduced sensitivity in the camera and via analysis cuts out the images which have the best quality in the disturbed areas. and cut out this part of the image to insert this part together with other image information to make the whole image better and that this is only done in the disturbed area. Claim 9 According to claim 1 and characterized in that the camera's image information can be mathematically matched to an encoder, electronic compass or microgyro etc. installed in the camera head and that this total image information can be used to measure where the camera is positioned in the body. Via the software of the invention, it is also possible to locate where in the body the camera / endoscope is located. Claim 10 according to claim 1 and characterized in that the cable has an optical fiber along the cable and that the position of this fiber and its bending is measured by laser based on interferometric method similar to Bragg Lattice or the like. Claim 11 According to claim 1 and characterized in that the camera head / endoscope can be used to advantage in connection with robot-assisted surgery and cavity surgery to lead to smaller procedures and to indicate the position of the surgical instruments and to send real-time images to monitors and to convert the images into 3-dimensional images. With the help of the compact and flexible endoscopes, it is possible to know during the operation the position of the instruments used, which is not possible with the surgical procedures performed today. 13