SE511737C2

SE511737C2 - High fidelity 3D presentation reconstruction formation method

Info

Publication number: SE511737C2
Application number: SE9600896A
Authority: SE
Inventors: B Ulf Skoglund; Gerard M R Bricogne
Original assignee: B Ulf Skoglund; Gerard M R Bricogne
Priority date: 1996-03-07
Filing date: 1996-03-07
Publication date: 1999-11-15
Also published as: SE9600896D0; SE9600896L

Abstract

The reconstruction method involves providing recorded data of the sample from different aspects of the sample. An initial estimated density distribution of the sample is provided at the individual grid points. An estimate of the distribution is provided as a starting point. A blurred prior prejudice distribution is provided using estimated data. The computing system uses an iterative process to calculate anew estimated distribution of the sample from a comparison of the previous estimate and sample data and the prior prejudice distribution. The process is repeated until a threshold is reached and then the image is presented.

Description

l\) 511 737 detaljen som kan återskapas. Ju högre upplösning, desto bättre återgivning. l \) 511 737 the detail that can be recreated. The higher the resolution, the better the reproduction.

Upplösningen är dock inte allt. Ett datainsarnlingssystem reagerar, inte bara på den önskade storheten men också på godtyckliga processer såsom brus och andra störningar. När dessa störningar är av signifikant storlek järnfört med systemets upplösning måste det noggrant säkerställas att endast meningsbärande information extraheras från det inspelade datat.However, the resolution is not everything. A data collection system responds, not just to it desired greatness but also on arbitrary processes such as noise and others disturbances. When these disturbances are of significant magnitude ironed with the system resolution, it must be carefully ensured that only meaningful information extracted from the recorded data.

Bakgrund för uppfinningen Ökad upplösning och filtrering är vanlig praxis i datainsamling och databearbetning.Background of the invention Increased resolution and filtering is common practice in data collection and data processing.

Grunderna för detta kan hittas i varje lärobok för universitetet i ärnnet och mängder av uppfinningar har gjorts på detta område.The reasons for this can be found in every textbook for the university in the subject and quantities of inventions have been made in this field.

Föreliggande uppfinning hänför sig till system för insamling och bearbetning av data av sådana dimensioner att enbart mängden av data ger allvarliga tekniska problem med att utnyttja traditionella tekniker. Ett fält där dessa problem i synnerhet uppstår är fältet tredimensionell (SD) bildbehandling av små objekt med hög upplösning. I detta fall orsakar enbart storleken av de beräkningar som måste göras, stora tekniska problem. Detta gör det nödvändigt att använda mer avancerade metoder. När de har etablerats har sådana metoder ett brett användningsområde. Principerna för dessa kan också överföras på andra dimensioner, till exempel 2D- och lD-tillämpningar.The present invention relates to systems for collecting and processing data of such dimensions that only the amount of data presents serious technical problems using traditional techniques. A field where these problems in particular arise is the field three-dimensional (SD) image processing of small objects with high resolution. IN this case causes only the size of the calculations that need to be made, large technical problem. This makes it necessary to use more advanced methods. When they have established, such methods have a wide range of uses. The principles of these can also be transferred to other dimensions, such as 2D and iD applications.

Grunderna fór till exempel SD-rekonstruktion undersöktes i början av detta århundrade matematiskt av Johan Radon. Idén om 3D-avbildning av små objekt (molekyler) visades och utvecklades av Aaron Klug och medarbetare, men realiserades inte för enskilda partiklar.The grounds for, for example, SD reconstruction were examined at the beginning of this century mathematically by Johan Radon. The idea of 3D imaging of small objects (molecules) was shown and developed by Aaron Klug and co-workers, but was not realized for individual particles.

Flera tekniker har utvecklats efter detta för att återskapa 3D-bilder av olika typer av objekt. SD-avbildning av makromolekylära komplex utan symmetri är fortfarande förbundet med tekniska problem som måste lösas. I detta fall räcker det inte med enbart datorkraft. Ekvationema som skall lösas är av sådana proportioner att tidigare försök att lösa det tekniska problemet att beräkna den tredimensionella b) 511 737 bildrekonstruktionen från en serie av registrerade ZD-projektioner från ett elektronmikroskop så att det kan visas visuellt som en 3D-bild, har haft begränsad framgång på grund av deras begränsade noggrannhet och höga brusnivåer.Several techniques have been developed since then to recreate 3D images of different types of object. SD imaging of macromolecular complexes without symmetry is still associated with technical problems that need to be solved. In this case, it is not enough computer power only. The equations to be solved are of such proportions as before try to solve the technical problem of calculating the three-dimensional b) 511 737 the image reconstruction from a series of recorded ZD projections from one electron microscope so that it can be displayed visually as a 3D image, has had limited success due to their limited accuracy and high noise levels.

De tekniska problemen förbundna med återskapande av 3D-bilder av små objekt med hög upplösning från ett antal 2D-projektioner och med ett högt signal/brus- förhållande är ännu inte lösta i den kånda tekniken.The technical problems associated with the creation of 3D images of small objects with high resolution from a number of 2D projections and with a high signal / noise relationship is not yet resolved in the prior art.

Ett tekniskt problem som måste lösas;.ltontrastöverlöiíngsﬁinktionen (Contrast Transfer Function - CTF) hos elektr oskopet, eller något atmat ingångsorgan som används. CTF är beroende av op och fokus och de ﬂesta parametrarna är kopplade till den maskin som das. Detta gör det svårt att uppnå en kvantitativt korrekt rekonstruktion ppmätta värdena.A technical problem that needs to be solved; the Contrast function. Transfer Function - CTF) of the electroscope, or any atmat input means used. CTF is dependent on op and focus and the most important parameters are connected to the machine being das. This makes it difficult to achieve one quantitatively correct reconstruction of the measured values.

Brusnivåema i BD-avbildning har höga för avbildning av enskilda molekyler. Om ett större antal avbil ar används ökar risken för att objektet skadas av strålningen. Beräkning av (averaging) har begränsad eñekt på störningar i registrerade data. Dessa reduceras genom beräkning av genomsnitt men elimineras inte helt.The noise levels in BD imaging are high for imaging individuals molecules. If a larger number of images are used, the risk of the object increases damaged by the radiation. Averaging has a limited effect on disturbances in registered data. These are reduced by calculating average but not completely eliminated.

(EM-) rekonstruktioner av SD-bíl - -tillämpningar, och i vissa medicinska användning av gradientförbättringsmetoder för bil- 'on sällan någon väsentlig förbättring av kvalitet eller upplösning av de RS V , e SD-rekonstruktionema på grund av att en stor andel data saknas, eftersom f serie av avbildningsvinklar (tilts). 'onen har gjorts från en begränsad En annan teknik för 3D-rekonstrukti p - att projicera på konvexa mängder, som använder en envelop som omsluter d kapade SD-objektet. :ïïï Täthetsmodulationer utanför enveloš" s som störningar och återställs till ett 511737 4 konstant värde under iterationcykleina. De iterativa förbättringscyklema fortgår tills täthetsmodulationeina blir små. Graden av förbättring i en 'SD-rekonstruktion åstadkommen med denna metod har inte fastslagits otvetydigt genom jämförelse med en objektiv modell.(EM) reconstructions of SD car applications, and in some medical Use of gradient improvement methods for automobile 'on rarely any significant improvement of quality or resolution of the RS V, e SD reconstructions due to a large proportion of data is missing, since f series of tilting angles. 'onen has been made from a limited Another technique for 3D reconstruction p - to project on convex quantities, as uses an envelope that encloses the d-cut SD object. : ïïï Density modulations outside the envelopes that interfere and are restored to a 511737 4 constant value during iteration cycles. The iterative improvement cycles continue until the density modulations will be small. The degree of improvement in an 'SD reconstruction achieved with this method has not been unequivocally established by comparison with an objective model.

I BD-bildrekonstruktionsonirâdet kan den önskade upplösningen kräva ett så stort antal registrerade uppsättningar av data att det blir svårt att göra beräkningar, och detta sätter en praktisk gräns för upplösningen. Användningen av symmetri i ett kristallinskt objekt eller ett objekts inre symmetri reducerar storleken på de beräkningar som behövs till en tekniskt hanterbar nivå. Alla aktuella objekt har dock inte inre symmetri, laistallinsk symmetri eller är anordnade symmetriskt, och det skulle därför vara fördelaktigt att ha en metod för insamling och bearbetning av data, inklusive SD-rekonstzruktion, som inte är beroende av symmetri. Lösningar enligt känd teknik har äruiu inte löst bnisproblemet från medelhög (under l5Å ) till hög (under 7Å) upplösning utan att symmetri behövs för att hantera beräkningarna.In the BD image reconstruction zone, the desired resolution may require such a large number of registered sets of data that it becomes difficult to make calculations, and this sets a practical limit to the resolution. The use of symmetry in one crystalline object or the inner symmetry of an object reduces the size of the calculations needed to a technically manageable level. However, all current objects have not internal symmetry, Laistallic symmetry or are arranged symmetrically, and that it would therefore be advantageous to have a method for collecting and processing data, including SD reconstruction, which is not dependent on symmetry. Solutions according to prior art has eruiu not solved the bnis problem from medium high (below 15Å) to high (below 7Å) resolution without the need for symmetry to handle the calculations.

Beskrivning av känd teknik En metod för att lösa detta problem är att använda maximal entropi. Detta beskrivs av GJ. Erickson & C.R. Smith, Maximum-Entropy and Bayesian methods in science and engineering Vol. 1: F oundations s 1-314 (Kluwer Academic Publishers, Dordrechg Nederland (1988)), av CR Smith & W.T. Grandy Jr., Maximum- Entropy and Bayesian methods in inverse problems, s 1-492 (D. Reidel Publishing Coompany, Dordrercht, Nederland (1985)), och av B. Buck & V.A. Macaulay, 220 (Oxford University Press, New York (1991)). En 3D rekonstruktion med maximal entropi har egenskapen att vara maximalt försiktig med avseende på saknad information (ET. Iaynes, Physical Review 106, s 620-630 (195 7)), och maximal entropi-metoden kan således fungera som en kraftfull metod for att avlägsna några av de försämrande effekter som orsakas av saknade projektioner i ET- rekonstruktionen 511 737 Realiseringen av principerna för maximal entropi i ET BD-rekonstruktioner har haft som mål att maximera entropin med den begränsningen att den reducerade chi- kvadratstatistiken skall vara lika med 1,0, som föreslagit av M. Barth, R.K. Bryan, R. Hegerl & W. Baurneister, Scarming Microsc. Suppl. 2, s 277-284 (1988) och av M.C. Lawrence, MA. Jaffer & B.T. Sewell, Ultrarnicroscopy 31, s 285-301 (1989).Description of the prior art One method of solving this problem is to use maximum entropy. This is described by GJ. Erickson & C.R. Smith, Maximum-Entropy and Bayesian methods in science and engineering Vol. 1: F oundations s 1-314 (Kluwer Academic Publishers, Dordrechg Nederland (1988)), by CR Smith & W.T. Grandy Jr., Maximum- Entropy and Bayesian methods in inverse problems, pp. 1-492 (D. Reidel Publishing Coompany, Dordrercht, The Netherlands (1985)), and by B. Buck & V.A. Macaulay, 220 (Oxford University Press, New York (1991)). A 3D reconstruction with maximum entropy has the property of being maximally careful with regard to lack information (ET. Iaynes, Physical Review 106, pp. 620-630 (195 7)), and maximal The entropy method can thus act as a powerful method for removing some of the deteriorating effects caused by missing projections in the ET the reconstruction 511 737 The realization of the principles of maximum entropy in ET BD reconstructions has had aims to maximize entropy with the limitation that the reduced the square statistic should be equal to 1.0, as proposed by M. Barth, R.K. Bryan, R. Hegerl & W. Baurneister, Scarming Microsc. Suppl. 2, pp. 277-284 (1988) and av M.C. Lawrence, MA. Jaffer & B.T. Sewell, Ultrarnicroscopy 31, pp. 285-301 (1989).

Användbarheten av att tillordna låg vikt till osannolika situationer, så att den iterativa lösningen på problemet blir att maximera entropin relativt den icke- informativa sannolikheten, dvs. en uppskattad 3D sannolikhetsfördelning av tätheten, under begränsningen att den reducerade chi-kvadratstatistiken skall vara lika med +l har visats av Gerard Bricogne i artikeln “Maximum entropy and the foundations of direct methods” i Acta Crystallograpltica A40, s 410-445 (1984), som beskriver en algoritm som används för entropímaztigneñng med begränsningar för fórﬁriing av en lcistallograñsk fas mot reciproka Den matematik som visas av G. Biicogne kan dock inte tillämpas på det tomograﬁska problemet. Hans metod är en vidareutveckling av så kallade direkta metoder inom lciistallograﬁn, vilka ger en generaliserad lösning på ett statistiskt problem och inte tar hänsyn till avbildningsproblem. Ett diffralctions§gster åstadkommes, som är diﬁralctionsdatat ﬁån laistallogañska undersökningiuäšlka fokalplan uppstår, och därmed erhålles ingen bild. När ﬂera alstrade fokalplqë-íinsarnlas, till exempel på en fotograﬁsk ﬁlm eller detektor, saknas fasinforrnationeá för de olika inkommande vågorna. Det lcristallograﬁska problemet syftar till hitta fasinforrnationen så en bild därefter kan beräknas. The usefulness of assigning low weight to unlikely situations, so that the iterative solution to the problem will be to maximize entropy relative to the non- informative probability, i.e. an estimated 3D probability distribution of the density, under the constraint that the reduced chi-square statistic should be equal to + 1 has been shown by Gerard Bricogne in the article “Maximum entropy and the foundations of direct methods ”in Acta Crystallograpltica A40, pp. 410-445 (1984), which describes a algorithm used for entropímaztigneñng with restrictions for the fór riing of a lcistallograñsk phase against reciprocal The mathematics shown by G. Biicogne however, cannot be applied to the tomographic problem. His method is one further development of so-called direct methods in lciistallogra ﬁ n, which provide a generalized solution to a statistical problem and does not take into account imaging problems. A diffraction data is produced, which is the diffraction data ﬁ from the laistallogañska undersökningiuäšlka focal plane arises, and thus obtained No picture. When f your generated focal plqë-íinsarnlas, for example on a photographic screen or detector, the phase information is missing for the various incoming waves. The The crystallographic problem aims to find the phase information so an image then can be calculated.

Problemet i lcristallograñ skiljer sig därßr från problemet med 3D-avbildning av makromolekylkomplex utan syrmnenﬂgvilket lösas av uppﬁnningen. De verktyg som har utvecklats for att användas till attfgdkomma en mycket tillförlitlig rekonstruktion i det verkliga rummet kunna vara kunskapen att det är viktigt att ha en formalism för begränsning entropi och att använda Taylor- expansion av chi-kvadrat-statistiken entropin som kvadratiska modeller. 511 757 6 Denna typ av direkt metod beskriven av Gerard Biicogne syftar till att lösa fasproblemet i kiistallografi och kan därför inte tillämpas i 3D-avbildning av makromolekyl utan syrnmeni. Det var därför nödvändigt att göra om hela konceptet för att kunna hantera för problemet med avbildning i det verkliga rummet. Den algoritm som användes för entropimaximering med begränsningar utvecklades således först för kristallografisk fasförädling mot reciproka rurndata. Den anpassades till den tomograﬁska situationen genom att ersätta Fouriertransfonnaﬁonen som relaterar en molekylär modell till diffraktionsdata i den kristallograﬁska situationen, med linjeprojektioner i det verkliga rummet. Det kunde dock inte hantera projektioner från någon vinkel. Problemet var att åstadkomma ett förfarande som var oberoende av specifika samplingsstrategier för data, såsom serier där objektet lutas om en axel, serier där objektet lutas koniskt, serier där objektet lutas godtyckligt, eller lutningar från syinmetiiska samplar där projektionsvinklama kunde beräknas senare (så som är fallet för adenovirus). Detta tekniska problem har nu lösts enligt uppfinningen.The problem in lcristallograñ therefore differs from the problem of 3D imaging of macromolecule complex without the oxygen as which is dissolved by the invention. The tools that has been developed to be used to provide a very reliable reconstruction in the real room could be the knowledge that it is important to have a formalism for limiting entropy and to use Taylor- expansion of chi-square statistics entropy as quadratic models. 511 757 6 This type of direct method described by Gerard Biicogne aims to solve phase problem in crystallography and can therefore not be applied in 3D imaging of macromolecule without syrnmeni. It was therefore necessary to redo the whole concept to be able to deal with the problem of imaging in the real room. The algorithm used for entropy maximization with constraints was developed thus first for crystallographic phase processing against reciprocal rurn data. It was adapted to the tomographic situation by replacing the Fourier transphone as relates a molecular model to diffraction data in the crystallographic situation, with line projections in the real space. However, it could not handle projections from any angle. The problem was to accomplish a procedure that was independent of specific sampling strategies for data, such as series where the object is tilted about an axis, series where the object is tilted conically, series where the object is tilted arbitrarily, or slopes from symmetrical samples where the projection angles could be calculated later (as is the case with adenovirus). This technical problem has now been solved according to the invention.

Uppﬁnningens syften Det är ett syfte med uppfinningen att lösa de tekniska problem som nämns ovan avseende 3D-avbildning av makromolekylkomplex bestående av enskilda partiklar med hög upplösning, med ett högt signal/brus-förhållande.The purposes of the invention It is an object of the invention to solve the technical problems mentioned above regarding 3D imaging of macromolecule complexes consisting of individual particles with high resolution, with a high signal-to-noise ratio.

Det är vidare ett syfte med uppfinningen att åstadkomma ett förfarande och en anordning som är oberoende av objektets symmetri och som även erbjuder möjligheten att eliminera försärnrande eñfekter under rekonsmiktionen av saknade data.It is a further object of the invention to provide a method and a device which is independent of the symmetry of the object and which also offers the possibility of eliminating aggravating effects during the reconciliation of missing data.

Det är också ett ändamål med föreliggande uppfinning att åstadkomma en 3D bildrekonstmktion av makromolekylära objekt bestående av enskilda partiklar utan symmetri, med en tillräckligt hög upplösning för att göra det möjligt att återskapa en SD-bild av rnakromolykelära objekt utan symmetri, med hjälp av en serie av 2D- projektioner registrerade med ett elektronmikroskop eller en liknande anordning. 511 737 Det är vidare ett syfte med föreliggande uppñnning att lösa det tekniska problemet med höga brusnivåer i 3D-avbildníng, för att därmed åstadkomma en SD-avbildning med låg brusnivå.It is also an object of the present invention to provide a 3D image reconstruction of macromolecular objects consisting of individual particles without symmetry, with a sufficiently high resolution to enable one to recreate one SD image of nanochromolecular objects without symmetry, using a series of 2D projections recorded with an electron microscope or similar device. 511 737 It is a further object of the present invention to solve the technical problem with high noise levels in 3D imaging, to achieve an SD imaging with low noise level.

Ett annat syfte med uppfinningen äratt lösa det tekniska problemet med kontrastöverföringsfunktionen hos elektrronmilcroskopet eller någon annan insignalanordning som används, gör det svårt att kvantitativt korrekt återskapa den uppmätta kvaliteten. i Ett ytterligare syfte med föreliggandgbuppﬁnning är att minimera de försämrande effekterna av icke-registrerade datagden återskapade bilden. Ännu ett ytterligare syfte med föreliggande uppﬁnrring är att lösa det tekniska problemet att avbilda objekt som saknar symmetri.Another object of the invention is to solve the technical problem with the contrast transfer function of the electron microscope or any other input device used, makes it difficult to recreate quantitatively correctly the measured quality. in An additional purpose of the present invention is to minimize the deterioration the effects of the unregistered data tag recreated the image. Yet another purpose of the present invention is to solve the technical problem the problem of imaging objects that lack symmetry.

Ett annat syfte med uppfinningen ârigitsövervinna de tekniska problemen förbundna med att definiera de fysiska »som behövs för exakt och optimal rekonstruktion.Another object of the invention is to overcome the technical problems associated with defining the physical »needed for accurate and optimal Reconstruction.

Ett annat syfte med uppfinningen åstadkomma en anordning och ett förfarande som registrerar, beräknar och pres en sarm, dvs. en kvantitativt korrekt rekonstruktion av ett observerat obj ed mycket hög upplösning.Another object of the invention is to provide an apparatus and a method which registers, calculates and presses a sarm, ie. a quantitatively correct reconstruction of an observed obj ed very high resolution.

Ett annat syfte med uppfinningen ä; åstadkomma en rekonstruktion som är lätt att använda för rekonstruktion av obj _ ' - dimensioner, till exempel 3D-, 2D- och lD-tillärnpningar.Another object of the invention is; bring about a reconstruction that is easy to use for reconstruction of object _ 'dimensions, such as 3D, 2D and lD teachings.

Sammanfattning av uppﬁnningstaëgg MTV ål? “ -l 1. 511 757 8 En lösning på uppfinningens syften beskrivs i de kännetecknande delarna av de självständiga kraven. Ytterligare kännetecken och vidareutvecklingar av uppfinningen beskrivs i de osjälvständiga kraven.Summary of thinning eggs MTV eel? “-L 1. 511 757 8 A solution to the objects of the invention is described in the characterizing parts thereof independent requirements. Additional features and further developments of the invention is described in the dependent claims.

Enligt uppfinningen åstadkommes ett förfarande och en anordning för att alstra en mycket tillförlitlig rekonstruktion av ett observerat objekt, byggd på ett galler, innefattande: åstadkommande av en första uppskattad fördelning av objektet byggd på gallret; åstadkommande av en suddig (blun-ed) uppskattad sannolikhetsfördelriing med hjälp av uppskattade data; beräkning i en iterativ process för varje iteration av: - en ny uppskattad fördelning av objektet med hjälp av jämförelse mellan den uppskattade fördelningen i den närmast föregående iterationen och observerade data om objektet, - en ny utgångssannolikhetsfördelning på det nya estimatet, som är mindre suddig än utgångssarinolikhetstördelningen i den närmast föregående iterationen; upprepning av iterationeina tills skillnaden mellan den nya uppskattade fördelningen och den närmast föregående uppskattade fördelningen är mindre än ett förhandsbestämt villkor.According to the invention there is provided a method and an apparatus for generating one very reliable reconstruction of an observed object, built on a grid, comprising: providing a first estimated distribution of the object built on the grid; providing a blurred (blun-ed) estimated probability distribution using of estimated data; calculation in an iterative process for each iteration of: a new estimated distribution of the object by means of a comparison between it estimated the distribution in the immediately preceding iteration and observed data about the object, - a new initial probability distribution on the new estimate, which is less blurred than the initial sarin probability similarity in the immediately preceding iteration; repetition of iterationeina until the difference between the new estimated distribution and the immediately preceding estimated distribution is less than one predetermined conditions.

Suddigheten âstadkommes företrädesvis genom att utföra en F ouriertransformation av den uppskattade strukturen och genom att multiplicera koeñicienterna från denna Fouriertransforrnation med Fourierkoefficienterna hos ett gaussiskt och sfáriskt ﬁlter. Den suddiga strukturen noimaliseras innan den används som den nya utgångssannolikhetsfördelningen i den nästa iterationscykeln. Enligt en föredragen utföringsforrn av uppfinningen utförs följande förfarandesteg: a) ﬂera registrerade observerade data om objektet tillhandahålls, var och en ﬁån olika sidor av objektet; b) en varians för individuella obsewationsgallerpunkter i varje registrerad observerad datasarnpel tillhandahålls; 511 737 c) rekonsmiktionen av den observerade sampelstrukturen beräknas i den iterativa processen varvid den första beräknade fördelningen tas som en första approximation för rekonstruktion av iterationen; d) för varje iteration utförs följande: - den nya utgångssarinolikhetsfördelningen beräknas med hjälp av det närmast föregående rekonstruldionsresultatet, - en reducerad chi-kvadrat statistik (C) beräknas med hjälp av den närmast föregående rekonstruktionen, de regisngade observationerna och nämnda vaiians, och gallret medan nonnaliseiing av detiåeräknade rekonsmilttionen bibehålls. - en entropi (S) beräknas med hjälp av den närmast föregående beräknade rekonstruktionen och den nya utgångssannolikhetstördelningen; e) entropin maxirneras under begränsningen att den reducerade chi-kvadrat- statistiken skall gå mot +1 och tillhandàålla en ny beräknad rekonstruktion för användning i den nästa iterationscykeln; och i) rekonstruktionen presenteras.The blur is preferably achieved by performing a Fourier transform of the estimated structure and by multiplying the coefficients from it Fourier transform with the Fourier coefficients of a Gaussian and spherical ter lter. The blurred structure is normalized before it is used as the new one the output probability distribution in the next iteration cycle. According to a preferred Embodiments of the invention perform the following process steps: a) registr your registered observed data if the object is provided, each ﬁ ån different sides of the object; (b) a variance for individual observation grid points in each data subject observed computer interfaces are provided; 511 737 c) the reconstitution of the observed sample structure is calculated in the iterative the process whereby the first calculated distribution is taken as a first approximation for reconstruction of the iteration; d) for each iteration, the following is performed: - the new initial sarinine distribution is calculated using the nearest previous reconstruction results, - a reduced chi-square statistic (C) is calculated using the nearest the previous reconstruction, the recorded observations and the said vaiians, and the grid while maintaining nonnaliseiing of the detailed reconciliation. an entropy (S) is calculated using the immediately preceding calculation the reconstruction and the new output probability division; e) entropy is maximized under the restriction that the reduced chi-square the statistics should go towards +1 and provide a new calculated reconstruction for use in the next iteration cycle; and i) the reconstruction is presented.

I synnerhet har en anordning och ett föífßande utvecklats, med vilka det är möjligt att registrera, beräkna och presentera årantitativt korrekt .SD-bild av ett makromolekylärt komplex med hög upﬁijlósning på en bildskärm.In particular, a device and a fixture have been developed with which it is possible to register, calculate and present antithetically correct .SD image of a macromolecular complex with high resolution on a monitor.

Uppñnningen är en vidareutveckling av; och således baserad på, en maximal- . entropi-metod anpassad till tomogr ciper. Enligt uppfinningen ersätts Fouiieruansfonnationen (som relate llen till datat i den lcistallograﬁska situationen) av linjeprojektioner i den šliga rymden.The invention is a further development of; and thus based on, a maximum . entropy method adapted to tomogr ciper. According to the invention replaced The Fouiieruansfonnation (which relates llen to the data in the lcistallographic) situation) of line projections in the outer space.

Maximal-entropi-fördelningen har sål bland annat, den egenskapen att ingen möjlighet ignoreras, och att alla möjlig kraftfull formulering än den som föreslå enligt känd teknik är då att speciﬁkt använda tidigare information i algoritmiëlåëroch tillordna låga vikter till osannolika tioner ges en positiv vikt. En mer situationer, så att den iterativa lösning à _) problemet är att maximera entropin 511 757 10 sannolikhetsfördelning av tätheten under begränsningen att den reducerade chi- kvadrat-statistiken går mot +l.The maximum entropy distribution has sole, among other things, the property that no one opportunity is ignored, and that all possible more powerful formulation than that proposed according to known technology is then that speci ﬁ ct use previous information in algorithms and assign low weights to improbable a positive weight is given. One more situations, so that the iterative solution à _) the problem is to maximize entropy 511 757 10 probability distribution of the density under the restriction that the reduced the square statistic goes towards + l.

Den tredimensionella rnaximal-entropi-rekonstruktionen har den egenskapen att den är maximalt försiktig med avseende på saknad information och därmed kan tjäna som en kraftfull metod för att avlägsna några av de försärnrande effekterna som orsakas av de saknade projektionema i elektrotomograﬁ- (E13) rekonstruktioner.The three-dimensional rnaximal entropy reconstruction has the property of is maximally careful with regard to missing information and thus can earn as a powerful method to remove some of the aggravating effects that caused by the missing projections in electrotomographic (E13) reconstructions.

Realiseringarna av maximal entropi-principema i tredimensionella ET- rekonstruktioner har syftat till att maximera entropin under begränsningen att reducerad chi-kvadrat-statistik riktas mot men inte understiger +l. Den reducerade chi-kvadrat-statistiken är summan av kvadraten av skillnaderna mellan den projieerade tredimensionella rekonstruktionen och de observerade projektionema, vardera delad med de uppmätta varianserna hos observationema och delad med antalet gallerpunkter hos den aktuella projektionen. Variansen hos observerade data är den uttryckta kunskapen om dem, och den reducerade chi-kvadrat-statistiken tillåts därför inte gå lägre än +l, eftersom detta skulle betyda att det ﬁnns skillnader som är mer relevanta än variansen i datat. Mzntimal-entropi-fördelningen har också den egenskapen att ingen möjlighet ignoreras, och att alla möjliga situationer ges en positiv vikt.The realizations of the maximum entropy principles in three-dimensional ET Reconstructions have aimed to maximize entropy below the limit of reduced chi-square statistics are directed at but not less than + l. It reduced the chi-square statistic is the sum of the squares of the differences between it projected the three-dimensional reconstruction and the observed projections, each divided by the measured variances of the observations and divided by the number of grid points of the current projection. The variance of observed data is the expressed knowledge about them, and the reduced chi-square statistics is therefore not allowed to go lower than +1, as this would mean that there are differences which are more relevant than the variance in the data. The mzntimal entropy distribution also has the property that no possibility is ignored, and that all possible situations are given one positive weight.

Fördelar med uppfinningen Med en anordning och ett förfarande enligt uppfinningen är det möjligt att lösa det tekniska problemet med tredimensionell bildbehandling med hög upplösning av makromolekylära objekt utan symmetri, med hjälp av en rekonstniktionsprocedur som utnyttjar den tidigare kända informationen, och att därmed åstadkomma en förﬁning utan modell, och att åstadkomma en tredimensionell struktur vars projektion faltad med rnikroskopets punktspridningsfunktion kommer att anpassa sig till den observerade strukturen för att ge en tredimensionell rekonstruktion med lågt brus som är kvantitativt korrekt.Advantages of the invention With a device and a method according to the invention it is possible to solve it technical problem of high-resolution three-dimensional image processing macromolecular objects without symmetry, using a reconnaissance procedure which utilizes the previously known information, and thereby to provide one for utan ning without model, and to achieve a three-dimensional structure whose projection folded with the microscope's point scattering function will adapt to the observed structure to give a three-dimensional reconstruction with low noise that is quantitatively correct.

I* 511 757 Resultaten som åstadkommes med uppfinningen ger således mer tillförlitliga resultat än förbättringar baserade på överparametriserade modeller. Till exempel är det mycket svårt att nå ett adekvat resultat när diffraktion används, om modelförbättringens fysik inte är korrekt, Denna svårighet undviks enligt uppfinningen.I * 511 757 The results obtained with the invention thus give more reliable results than improvements based on over-parameterized models. For example, it is very difficult to achieve an adequate result when diffraction is used, if the physics of the model improvement is not correct, This difficulty is avoided according to the invention.

Nyckeln till att lösa dessa tekniska problem ligger inom den praktiska lösningen av matematiska formler. Alla tidigare försök att rekonstruera och visuellt visa en sann tredimensionell bild av enskilda maltromolekylkomplex utan symmetri har misslyckats, på grund av att tekniskt lösbara ekvationer i praktiken inte har funnits tillgängliga.The key to solving these technical problems lies within the practical solution of mathematical formulas. All previous attempts to reconstruct and visually show a true three-dimensional image of individual maltromolecular complexes without symmetry has failed, because technically solvable equations did not exist in practice available.

Den respektingivande storleken på de beräkningar som måste göras reduceras avsevärt genom användning av approximationen att värdet av utsmetrringsfuriktionen är 20 endast för ett begränsat antal gallerpunkter och genom kontinuerlig förbättring av sannolikhetsfcârdelningen, vilket reducerar antalet iterationscykler som behövs. En reducerad formel för beräkningen ges också, vilket gör beräkningen så mycket snabbare att den kan göras på omln-ing en minuti stället för runt 300 år av beräkningstid utan den reducerade formeln. Högre precision i beräkningarna uppnås också när den reducerade beräkningsformeln används. En mer detaljerad beskrivning och diskussion om denna egenskap ges nedan i beskrivningen av den föredragna uﬁöringsformen.The respectable size of the calculations that must be made is reduced considerably by using the approximation to the value of the butterfly friction is only for a limited number of grid points and by continuous improvement of the probability distribution, which reduces the number of iteration cycles needed. One reduced formula for the calculation is also given, which makes the calculation so much faster that it can be done in omln-ing one minute instead of around 300 years of calculation time without the reduced formula. Higher precision in the calculations is achieved also when the reduced calculation formula is used. A more detailed description and discussion of this property is given below in the description of the preferred one the ear shape.

En ytterligare fördel med uppfinningen är att den slutar nära det höga teoretiska upplösningsvärdet som ges av Shannons lag. Detta betyder att metoden enligt uppfinningen kan tillämpas på varje Élßventionellt system for insamling och behandling av data, till exempel ett översamplat sådant, där det skulle ge en högre upplösning, på grund av metodens brusreducerande egenskaper, än vad som är möjligt med tidigare kända metoder. 17 511 737 ' Det som vidare har insetts enligt uppfinningen är att en multiplikation med koefñcienterria av fouriertransforrnationen av PSP-funktionen och den projicerade 'SD-tätheten måste utföras i stället för en division av fourierkoefficienterna hos den observerade bilden med fomierkoeñicienteina hos PSP-funktionen eftersom det är genom användning av en sådan division många av felen i de tidigare försöken att åstadkomma en sann rekonstruktion har introducerats. Uppfinningen skapar således en tredimensionell struktur vars projektion efter att ha gjorts suddig med PSF- fimktionen kommer att vara den samma som de observerade projektionerna. När iterationerna avslutas erhålles en tredimensionell struktur i vilken praktiskt taget inga fel har introducerats.A further advantage of the invention is that it ends close to the high theoretical the resolution value given by Shannon's law. This means that the method according to the invention can be applied to any conventional collection system and processing of data, such as an oversampled one, where it would give a higher resolution, due to the noise-reducing properties of the method, than what is possible with previously known methods. 17 511 737 ' What has further been realized according to the invention is that a multiplication with coefficient of the Fourier transform of the PSP function and the projected The SD density must be performed instead of a division of its Fourier coefficients observed the image with fomierkoeñicienteina of the PSP function because it is by using such a division many of the errors in previous attempts to bring about a true reconstruction has been introduced. The invention thus creates a three-dimensional structure whose projection, after being blurred with the PSF the function will be the same as the observed projections. When the iterations are completed, a three-dimensional structure is obtained in which practically none error has been introduced.

Kortfattad beskrivning av ritningarna För en mer fullständig förståelse av uppfinningen och för ytterligare syften och fördelar med den, hänvisas nu till nedanstående beskrivning, i samband med de bifogade ritningarna, vilka är att betrakta endast som exempel, och på vilka: Figur 1 visar ett funktionellt bloeksehema av en föredragen utföringsform av en anordning enligt uppfinningen.Brief description of the drawings For a more complete understanding of the invention and for further objects and advantages of it, reference is now made to the following description, in conjunction with the attached drawings, which are to be considered as examples only, and on which: Figure 1 shows a functional bloke home of a preferred embodiment of a device according to the invention.

Figur 2C till 2C visar ﬂödesscheman av föredragna program för den i ﬁgur 1 visade datom.Figures 2C to 2C show fate diagrams of preferred programs for that shown in Figure 1 datom.

F igurerna 3A, 3B och SC visar rvådimensionella projektioner först registrerade av ett elektronmikroskop av en adenoviruspartikel, i andra hand registrerade från en rekonstruktion utförd enligt en konventionell metod och i tredje hand registrerade från en rekonstruktion utförd enligt uppfinningen.Figures 3A, 3B and SC show two-dimensional projections first registered by one electron microscope of an adenovirus particle, alternatively recorded from a reconstruction performed according to a conventional method and thirdly registered from a reconstruction carried out according to the invention.

Figur 4 visar ett funktionellt blockschema av en andra utföringsfonn av uppfinningen. 13 511 737 Figur 5 visar ett funktionellt blockschema av en tredje utföiingsfonn av uppfinningen.Figure 4 shows a functional block diagram of a second embodiment of the invention. 13 511 737 Figure 5 shows a functional block diagram of a third embodiment of the invention.

Detaljerad beskrivning Beskrivning av en föredragen utföiingsfonn Figur 1 visar en föredragen utföringsfolm av en anordning för insamling och behandling av data enligt uppñnningemïsom används för att erhålla en tredimensionell rekonstruktion av en bild med hög upplösning, av ett objekt utan inre symmetri. Den är oberoende av bestämda datasaxnplingstekniker och kompenserar för de olika kontrastöverföringseffektema i de olika vyema i en serie av lutade projektioner, och hanterar' således projçlgjtioner från alla vinklar, varvid den fokuserar på olika avstånd eller dylikt.Detailed description Description of a Preferred Embodiment Figure 1 shows a preferred embodiment of a device for collecting and processing of data according to the invention used to obtain a three-dimensional reconstruction of a high-resolution image, of an object without an interior symmetry. It is independent of certain data encryption techniques and compensates for the different contrast transfer effects in the different views in a series of tilted projections, and thus handles projections from all angles, focusing at different distances or the like.

Anordningen innefattar ett provförberedningsorgan 1. Provobjektet förbehandlas enligt kända metoder, för att undersökas iectt míkroskop 10, företrädesvis ett elektronmikroskop, men det kan även ljusmikroskop eller ett konfokalt mikroskop. The device comprises a sample preparation means 1. The sample object is pretreated according to known methods, to be examined in a microscope 10, preferably one electron microscope, but it can also be a light microscope or a confocal microscope.

Mikroskopet 10 tillhandahåller ﬂera tvågimensionella projektioner i digitaliserad form, av provobjektet, företrädesvis att avsöka (scarma) det med ett avsökningsorgan 11, förbundet med elllàíjitlnefattat i rnikroskopet 10. När rnilcroskopet är ett elektronmikroskop ïififšregistreringarna göras med olika lutningsvinklar av objektet i törhållandgåtâﬂ elektronstrålen.The microscope 10 provides ﬂ your two-dimensional projections in digitized shape, of the test object, preferably to scan (scarma) it with a scanning means 11, associated with elllàíjitlnefattat in the microscope 10. When The microscope is an electron microscope. The recordings are made with different angles of inclination of the object in the dry hand riddleâ ﬂ electron beam.

Metoden enligt uppfinningen skulle neta: kunne användas i ljusfnuefeskup. Det är då även möjligt att registrera projektioner på olika djup i provobjektet.The method according to the invention could neta: be used in light fluffy cupcakes. That is when also possible to register projections at different depths in the test object.

Metoden skulle också kunna användas ﬂertal identiska partiklar registreras, genom att behandla varje registrerad som en ny projektion av en provpartikel. u, 14 511 757 Det digitaliserade tvådimensionella projektionsdatat, dvs. täthetsvården, matas till en dator, vari datat först filtreras i en ﬁltreringsoperation 13 för att avlägsna falskt, inadekvat signaljitter. Varje tvådimensionell projektion är en bild och behandlas också med avseende på geometribeskrivning för att göra projektionerna i de rätta riktningama, styra bildparametrar, osv. for att få alla projektionerna att harmoniera med varandra. För att jämföra projektioner med de observerade mikrografiska bilderna, måste täthetema i varje projicerad bild även skaleras till en lämplig nivå for lutning nummer i genom bli) Fí;¿,..,.> = b“~1=:;.>.> Därefter skaleras de behandlade data som härrör från mikroskopet i en skaleringsoperation 14 innan de överförs till en berålmingsoperation 15 i form av observerade mikrograﬁska bilder.The method could also be used ﬂ several identical particles are recorded, by treating each registered as a new projection of a sample particle. u, 14 511 757 The digitized two-dimensional projection data, ie. density care, fed to one computer, wherein the data is first filtered in an alteration operation 13 to remove false, inadequate signal jitter. Each two-dimensional projection is an image and is processed also with respect to geometry description to make the projections in the correct the directions, control image parameters, etc. to harmonize all the projections together. To compare projections with the observed micrographs images, the densities of each projected image must also be scaled to an appropriate level slope number in by become) Fí; ¿, ..,.> = B “~ 1 =:;.>.> Then, the processed data derived from the microscope is scaled in one scaling operation 14 before being transferred to a scaling operation 15 in the form of observed micrographic images.

I datom 12 beräknas den tredimensionella rekonstruktionen förfinad enligt maximal entropi iterativt från data, varvid normalisering bibehålls och den reducerade chi- kvadrat-statistiken går mot +l under begränsning av utgångssarmolildiet, även kallat utgångskiinskap, såsom beskrivs i mer detalj nedan. Den fórﬁnade tredimensionella rekonstruktionen matas till ett presentationsorgan 16, företrädesvis en bildskärm, där den presenteras som en tredimensionell bild.In the computer 12, the three-dimensional reconstruction is calculated refined according to the maximum entropy iteratively from data, maintaining normalization and the reduced chi- the square statistic goes to +1 while limiting the output armolithium, also called output characteristics, as described in more detail below. It went three-dimensional the reconstruction is fed to a display means 16, preferably a monitor, there it is presented as a three-dimensional image.

Flera hjålpfunktioner måste tillhandahållas i datom 12 för att sätta den i stånd att göra de iterativa beräkningarna för att åstadkomma den mycket tillförlitliga rekonstruktionen.Several help functions must be provided in the computer 12 to enable it to make the iterative calculations to achieve the very reliable the reconstruction.

En punktspiidnirigsfunktion, PSF 18 är en karaktâristisk funktion för anordningen, såsom en produkt av en pupillfunktion och en analytisk kontrastöverföringsfimktion (Contrast Transfer Function - CTF) hos organen 10 och 11. Dessa parametrar innefattar defokus, accelerationsspänning och sfärisk aberration, osv.A point function, PSF 18 is a characteristic feature of the device, as a product of a pupil function and an analytical contrast transfer function (Contrast Transfer Function - CTF) of the organs 10 and 11. These parameters includes defocus, acceleration voltage and spherical aberration, etc.

Kontrastöverföiingsﬁinktionen kan tillhandahållas som en experimentell kurva eller 15 511 737 som parametrar förfmad från en parametriserad model i stället, och är en av de insignaler som behövs för beräkningarna. PSF kan beräknas av datom 12 från uppmätta utmsmingsparametrar, eller en redan beräknad PSF avseende den utrustning som faktiskt används kan matas direkt till datorn. Blocket 18 innefattar således antingen uppmätta unfustrtingspararnetrar att behandlas av datorn 12 eller en direktalstrad eller redan sparad PSF.The contrast transfer function can be provided as an experimental curve or 15 511 737 as parameters prefixed from a parameterized model instead, and is one of them inputs needed for the calculations. PSF can be calculated by the date 12 from measured discharge parameters, or an already calculated PSF with respect to it Equipment actually used can be fed directly to the computer. Block 18 includes thus either measured unfrusting parameters to be processed by the computer 12 or a live or already saved PSF.

När fokusvariationer måste tas hänsyn till för tjockare objekt kan den tredimensionella tätheten spaltas upp ilager av den nödvändiga tjockleken med varje lager faltat pâ ovan nämnda sätt med dess rätta PSF. Till slut summeras lagren helt enkelt.When focus variations must be taken into account for thicker objects, it can the three-dimensional density is split into layers of the required thickness with each stock folded in the above manner with its proper PSF. Finally, the inventories are summed up completely easy.

När det ﬁnms en variation över en bild, så varierar PSF även inom bilden. I det fallet att det finns en variation i djupriktrringen, så varierar PSP utmed djupet. Om båda dessa variationer ñnns, varierar PSF i båda riktningarna. Variationen i PSF skapar inga problem.When there is a variation over an image, PSF also varies within the image. In that case that there is a variation in the depth correction ring, the PSP varies along the depth. If both these variations exist, PSF varies in both directions. The variation in PSF creates no problem.

Ett tredimensionellt galler 122 matas in i datorn. Rekonstruktionen, estimatet och utgångssarmolikhetsfunktionerna byggs sedan på detta galler.A three-dimensional grating 122 is fed into the computer. The reconstruction, the estimate and the output arm similarity functions are then built on this grid.

En annan insignal 19 till datorn 12 är de; digitaliserade datat ﬁån en uppskattad rekonstruktion, till exempel en tredimensionell rekonstruktion enligt konventionella metoder, som används som startvärde ﬂir iterationema. Denna insignal skrivs till och sparas i datorn 12 insignalen från avsölmingsorganet ll. Den uppskattade strukturen normaliseras i ett normaliseringsorgan antingen innan den matas till datom eller av datorprogrammet.Another input signal 19 to the computer 12 is those; digitized data ﬁ than an estimated reconstruction, for example a three-dimensional reconstruction according to conventional methods, which are used as the initial value of the iterations. This input signal is written to and the input signal from the desoldering means 11 is stored in the computer 12. The appreciated structure normalized in a normalizing means either before it is fed to the date or of the computer program.

Datorn använder en sannolikhetsfunktion mä) som är normaliserad, dvs.The computer uses a probability function mä) which is normalized, ie.

J' m()_()d“X = 1, där d3 betyder att beräkningen görs i 3D (i en 2D- rekonstruktionstillärnpning används dl på ett adekvat sätt). Den norrnaliserade sannolikhetsﬁrnktionen kan tillföras externt från ett tillförselorgan 21 eller kan 16 511737 beräknas av datom 12 som till exempel kan använda den uppskattade rekonstruktionen för att åstadkomma startsarinolikhetsfunktionen. Datorn 12 beräknar den tillförlitliga rekonstruktionen med flera iterationscykler.J 'm () _ () d “X = 1, where d3 means that the calculation is done in 3D (in a 2D reconstruction recovery dl is used adequately). The northernized the probability function can be supplied externally from a supply means 21 or can 16 511737 calculated by the date 12 which, for example, can use the estimated one the reconstruction to provide the starter sarin likeness function. The computer 12 calculates the reliable reconstruction with several iteration cycles.

Sannolikhetsfiinktionen beräknas också på nytt i varje iterationscykel.The probability function is also recalculated in each iteration cycle.

Stansannolikhetsfördelningsfunktionen ger en oklar sannolikhetsfördelning av rekonstruktionen av objektet l. Det bör noteras att en hög sannolikhet av täthetsvärde någonstans i det rekonstruerade objektet indikerar att det är hög sannolikhet för att något verkligen kan finnas där.The punch probability distribution function provides an unclear probability distribution of the reconstruction of the object l. It should be noted that a high probability of density value somewhere in the reconstructed object indicates that it is high probability that something can really be there.

Sannolikhetsfördelningsfunktionen används således för att åstadkomma ett rimligt resultat från förskjutningar beräknade av reducerad chi-kvadrat-statistik för varje iteration. Den reducerade chi-kvadrat-statistiken borde gå asymtotiskt mot +l och entropin maximera d för varje iteration. Båda ftmktioner är beroende av m(X) och av det närmast föregående iterationsrekonstmktionsresultatet.The probability distribution function is thus used to achieve a reasonable results from offsets calculated by reduced chi-square statistics for each iteration. The reduced chi-square statistic should go asymptotically to +1 and entropy maximize d for each iteration. Both functions depend on m (X) and off the immediately preceding iteration reconstitution result.

Den ursprungliga sannolikhetsfunktionen kan vara ganska oklar och fritt vald.The original probability function can be quite vague and freely chosen.

Sannolikhetsfördelningsfunktionen mÖÃ) skall dock beräknas på nytt (och normaliseras) för varje iteration för att skärpa den. Detta kan till exempel göras genom att använda den uppdaterade täthetsfcårdelningen i varje iteration, så att normaliseringen och utsuddandet av den blir den nya sannolikhetsfcirdelningsfrnilctionen för tätheten i den nya rekonstruktionen.However, the probability distribution function mÖÃ) must be recalculated (and normalized) for each iteration to sharpen it. This can be done, for example by using the updated density distribution in each iteration, so that the normalization and erasure of it will be the new one the probability distribution fraction for the density in the new reconstruction.

Principiellt kunde en utsuddning göras genom att utföra en fouriertransfomlation av den beräknade strukturen och multiplicera koeﬁñcienterna i denna fouriertransforrnation med founerkoefﬁcientema hos ett gaussiskt och sfäriskt ﬁlter.In principle, an erasure could be made by performing a Fourier transform of the calculated structure and multiply the coefficients in it Fourier transform with founer coefficients of a Gaussian and spherical alter.

Anledningen till att göra dessa transformationer i stället för att arbeta i det verkliga rummet är att filtrets koeñicienter kommer att vara så små att subpixelproblem uppstår. Problemet är mer allvarligt ju rnindre suddigheten vilket innebär att detta problem blir allvarligare eftersom iterationema fortgår. 17 511 737 Den suddiga ñinktionen som mottagits på detta sätt har en nedsatt upplösning och efter normaliseiing, den nya sannolikhetsfördelningsfunktionen för den nya iterationen.The reason for doing these transformations instead of working in real life the room is that the coefficients of the filter will be so small that subpixel problems occurs. The problem is more serious the less blur which means this problems become more serious as the iterations continue. 17 511 737 The blurred instinct received in this way has a reduced resolution and after normalization, the new probability distribution function for the new one iteration.

Suddigheten kan vara rätt stark i den första utsuddningsoperationen, för en upplösning av till exempel IOOÅ, även om det observerade datat har en förväntad upplösning på till exempel SOÅ. Suddígheten minskas sedan för varje iteration. Det ñnns principiellt ingen nedre gräns ñruštom att suddigheten måste vara högre än noll.The blur can be quite strong in the first erasing operation, for one resolution of, for example, IOOÅ, even if the observed data has an expected resolution of, for example, SOÅ. The blur is then reduced for each iteration. The There is in principle no lower limit except that the blur must be higher than zero.

Sarinolikhetsfunktionen har till ändarnål att ge en snabbare konvergens till den slutgiltiga rekonstruktionen. Ett problem om endast den reducerade chi-kvadrat- statistiken används, är att brus kommer att ha stort inflytande och detta får en sådan iterationsprocess att stå stilla efter ett tg-och därmed inte fullföljas. Korrektionen enligt uppfinningen med användning av sannolíkhetsfunktionen gör att iteraﬁonerna kan fortsätta.The sarin similarity function has the end needle to give a faster convergence to it final reconstruction. A problem if only the reduced chi-square the statistics used, is that noise will have a big impact and this gets one iteration process to stand still after a tg and thus not be completed. The correction according to the invention using the probability function allows iterations can continue.

I varje iterationscykel kommer således en ny, förfinad struktur att beräknas och en nästa, förﬁnad sannolikhetsfördelning skapas. Den nästa cykelns sannolikhetsfórdelnirig är den en från den aktuella cykeln, utsuddad med ett gaussiskt och sfäriskt ﬁlter, oc 'rxrialiserad Den nästa cykelns sannolikhetsfcirdelning kunde även skaåípå andra sätt, men ju längre iterationerna fortgår, ju mer exakt måste sannolikhešdelningen vara. Denna kontinuerliga förbättring av sannolikhetstördelning j att iterationerna konvergerar mycket snabbare än vad som skulle ha varit enbart villkoren på den reducerade chi-kvadrat-statistiken, som är för b lig. Storleken på beräkningarna minskar härigenom, och upplösningen förbättr 1 Enligt uppfinningen beräknas en tomoglpjﬁsk rekonstruktion med begränsningar, med maximal entropi i det verkliga vilken utnyttjar lagrade data om den uppskattade rekonstruktionen och ger eifåïedimensionell struktur vars projektion faltat med mikroskopets punktspridninåktion kommer att anpassas till den 18 511 737 observerade strukturen, för att ge en tredimensionell rekonstruktion med lågt brus, som är kvantitativt korrekt. Utsignalen från datom matas till presentationsanordningen 16, som presenterar det rekonstmerade datat som en tredimensionell bild på en bildskärm.Thus, in each iteration cycle, a new, refined structure will be calculated and one next, for ﬁ nad probability distribution is created. The next bike probability advantage is the one from the current cycle, erased with a Gaussian and spherical ﬁ lter, oc 'rxrialized The next cycle probability distribution could also be different in other ways, but the longer the iterations continues, the more accurate the probability division must be. This continuous improving probability division j that the iterations converge a lot faster than would have been merely the terms of the reduced chi-square statistics, which are too b lig. The size of the calculations decreases thereby, and the resolution improves 1 According to the invention, a two-dimensional reconstruction with limitations is calculated. with maximum entropy in the real which utilizes stored data about it appreciated the reconstruction and gives eifåïedimensional structure whose projection folded with the microscope's point scattering approach will be adapted to it 18 511 737 observed structure, to provide a three-dimensional reconstruction with low noise, which is quantitatively correct. The output signal from the date is fed to the presentation device 16, which presents the reconstituted data as a three-dimensional image on a monitor.

Givet att Hï) representerar täthetsvärdena i punkterna (x, y, z) i den tredimensionella rekonsnuktionen och att mÖÉ) âr startsarmolikhetsfunktionen, nonnaliserad så att I m(Y)d3X = l, så medför begränsad maximal entropi-principen att Hï) måste bestämmas a) så att entropin maximeras s(r) = -j rä) lnu-'Cßšw m('>'<'))a*x b) så att noirnalisenngen av FÖÉ) bibehålls, så att JOI-IYMSX :l c) och så att den reducerade chi-kvadrat-statistiken går mot I-l under begränsningen att kända data eller den kända sannolikhetsﬁárdelningen m(ï) är resultatet av den närmast föregående beräknade fördelningen suddat i en operation med ett gaussiskt och sfäiiskt filter. Begränsningen på den reducerade chi- kvadrat-statistiken säkerställer att den rekonstmerade tätheten är konsistent, men inte överkonsistent, med dess observerade projektioner. Entropimaxirnering säkerställer att täthetsmodulationerna är så konservativa som möjligt, vilket ger den jämnast möjliga tätheten genom att eliminera detaljer som inte höjer sig signifikant över bruset och på så sätt plana ut alla störningar som uppstår på grund av systematiska fel.Given that Hï) represents the density values in the points (x, y, z) in it the three-dimensional reconstruction and that mÖÉ) is the starting arm probability function, nonnalized so that I m (Y) d3X = 1, so the limited maximum entropy principle that Hï) must be determined a) so that entropy is maximized s (r) = -j rä) lnu-'Cßšw m ('>' <')) a * x b) so that the normalization of FÖÉ) is maintained, so that JOI-IYMSX: l c) and so that the reduced chi-square statistic goes towards I-1 under the restriction of known data or the known probability distribution m (ï) is the result of the immediately preceding calculated distribution erased in a operation with a Gaussian and spherical filter. The limitation on the reduced The square statistics ensure that the reconstituted density is consistent, but not overconsistent, with its observed projections. Entropy maceration ensures that the density modulations are as conservative as possible, which gives it the most even possible tightness by eliminating details that do not rise significantly above the noise and thus flatten out any disturbances that occur due to systematic wrong.

En harmonisering med data måste således förbättras och den reducerade chi-kvadrat- staﬁstiken måste fås att gå mot I-l på samma gång, eftersom den reducerade chi- l9 511 737 kvadrat-statistiken är ett mått på hur uppmätt och beräknat data skiljer sig från varandra. Resultatet är att varje iteration ger en rekonstruktion som är så suddig som möjligt men som representerar det registrerade datat om provobjektet på ett säkrare sätt än det som har erhållits tidigare med traditionella rekonstruktionsmetoder.Thus, data harmonization needs to be improved and the reduced chi-square the path must be made to move towards I-1 at the same time, as the reduced l9 511 737 The square statistic is a measure of how measured and calculated data differ from each other. The result is that each iteration results in a reconstruction that is as blurred as possible but which represents the registered data about the test object on a more secure way than has been obtained previously with traditional reconstruction methods.

Suddigheten i rekonstruktionen minskar dock för varje iterationscykel så att det slutgiltiga resultatet kommer att a) törldara datat på ett optimalt sätt men b) innehålla så lite information som möjligt för att hindra övertolktiing.However, the blur in the reconstruction decreases for each iteration cycle so that it the final result will a) optimize the data but b) contain as little information as possible to prevent over-interpretation.

Den tredimensionella täthetsfördelningeri byggs på det tredimensionella gallret 122 som är inlagt i datorn, med förutsättrﬁen att gallervärdena defmierar en kontinuerlig funktion genom trilinjär íntetpolexing. Detta är en faltning med funktionen: l .The three-dimensional density distributions are built on the three-dimensional grid 122 which is entered into the computer, provided that the grid values define one continuous function by trilinear internet polexing. This is a fold with function: l.

Wrtxwwßtyr-Wnz) där Wr<><>= ﬁﬂxls” (S) -Üßrlxizot eller Fﬁnámi (f) = i ïlvlë Éttnotuamggewnx-n«>-wß-w-/ “IS-Ü å Funktionen VK, (f) används för att interpoleringsfiinktionen i 3D. Låt Pm beteckna projektionsoperationen på er i. Då kommer bidraget i (X0), ym)=(x(i)) på lutning nummer i av F ( .T ) vid gallerpunkten X i det tredimensionella gallret att vara: F('X')~= Pﬁlwš (rm - Pwï) 511 757 F21) (ïül) z {PíI)WE (ïil) _ P(l))_<'>} Varje projicerad bild utsätts också för faltning (markerad med ®) med punktspridningsfunktionen PSF: FÄÄL (ïm) = F” (ïm) ® P51” (7) Kombinationen av (6) och (7) ger: F* (sam) = Z rQ-q* ((P°>wa)® Psr<°)(ïf" _ PNY) (s) Genom introduktion av utsmetningsfunktionen, den projicerade PSP, r*¥=>(ï,z<*>) = (hwwí) ® Ps1=<'>)(ï<'> - PNY) (9) kan vi äntligen skriva projektionen som rf” (rm) = räv-rm (Ktm) (10) :HC I Fourier-rummet är PSF produkten av pupillfunktionen och CTF. Både pupillen och CTF-finrktionema kan ändras med lutningen (när registreringen av ett objekt görs med ett elektronmikroskop), eftersom, i princip, varje lutning kan registreras med olikt fokus med en olik inställning av linserna i elektronmildoskopet 10. För en given lutning är PSP bara den samrna för punkter i en sektion, som är vinkelrätt mot strålens riktning, av SD-tätheten. Om objektet inte är för tjockt, dvs. dynamiskt, och man kan bortse från multipel spridning, är PSF den samrna för alla punkter i den tredimensionella tätheten. Ur numerisk beräkningssynpurikt för projektionen är en effektiv realisering att använda denna egenskap för den projicerade PSF, dvs. skapa en utsmetningsfunktion som beskrivs nedan. utsrnetrringsfiirrktionen. som kan 71 511 737 uppskattas exakt med en liten manis, behöver således beräknas endast för en 3D- punkt. Den exakta projektionen beräknas därefter genom faltning av den projicerade tätheten från dess gallerpunkter med utsmemingsﬁlnktionen. Lurade vyer har en fokusgradient över bilden och således en varierande PSP-funktion av den tvådirnensionella bilden. Projektionen kan sedan beräknas med hjälp av en uppsättning förhandsberälmade PSP :er i konvolutionsberäkningen med den projicerade tätheten. När fokusvariationet måste beaktas för tjockare föremål, kan 3D-tätheten spaltas upp i lager av lämplig tjocklek och varje lager faltat med dess rätta PSP. Som följd av detta ger den smnmerade tätheten från alla lagren den fullständiga projektionen. Tätheteina i varje projicerad bild ges av ekvationen (1) OVaII.Wrtxwwßtyr-Wnz) where Wr <> <> = ﬁﬂ xls ”(S) -Üßrlxizot or F ﬁ námi (f) = i ïlvlë Éttnotuamggewnx-n «> - wß-w- / “IS-Ü å The VK, (f) function is used to set the interpolation function in 3D. Let Pm denote the projection operation on is in. Then comes the contribution in (X0), ym) = (x (i)) on slope number i of F (.T) at the lattice point X in it the three-dimensional grid to be: F ('X') ~ = P ﬁ lwš (rm - Pwï) 511 757 F21) (ïül) z {PíI) WE (ïil) _ P (l)) _ <'>} Each projected image is also subjected to folding (marked with ®) with point scattering function PSF: FÄÄL (ïm) = F ”(ïm) ® P51” (7) The combination of (6) and (7) gives: F * (sam) = Z rQ-q * ((P °> wa) ® Psr <°) (ïf "_ PNY) (s) Through the introduction of the smear function, the projected PSP, r * ¥ => (ï, z <*>) = (hwwí) ® Ps1 = <'>) (ï <'> - PNY) (9) can we finally write the projection as rf ”(rm) = fox-rm (Ktm) (10) : HC In the Fourier room, PSF is the product of pupillary function and CTF. Both the pupil and The CTF functions can be changed with the slope (when the registration of an object is done with an electron microscope), because, in principle, any slope can be detected with different focus with a different setting of the lenses in the electron microscope 10. For a given slope, the PSP is only the aggregate for points in a section, which is perpendicular to the direction of the beam, of the SD density. If the object is not too thick, ie. dynamic, and one can ignore multiple spread, PSF is the same for all points in it three-dimensional density. From a numerical calculation point of view for the projection is one effective realization of using this property for the projected PSF, i.e. create a smear function described below. utsrnetrringsfiirrktionen. which can 71 511 737 estimated exactly with a small manis, thus need only be calculated for a 3D point. The exact projection is then calculated by folding the projected the density from its grid points with the smear function. Deceived views have one focus gradient over the image and thus a varying PSP function of it two-dimensional image. The projection can then be calculated using one set of pre-rendered PSPs in the convolution calculation with it projected density. When the focus variation must be considered for thicker objects, can The 3D density is split into layers of suitable thickness and each layer folded with it correct PSP. As a result, the smeared density from all the layers gives it full projection. The density of each projected image is given by the equation (1) OVaII.

Den iterativa lösningen på begränsat-maximum-rekonsmilctionen kan formuleras SOHI rm (k) = rom ö) + w- nïišß- vöi) 11 där Fm (ï) är den nya beräknade rekonstruktionen, Fo” (If) är den närmast föregående beräknade rekonstruktionen, nä) är en funktion uppbyggd av entropigradienten (se ekvation 16), vÜQir en funktion uppbyggd av chi-kvadrat- statistikens gradient (se ekvation 17), och a och ß är skalarer som beskrivs ytterligare nedan. Den uppdaterade kartan Pm, (TC) används i den nästa iterationscykeln både som täthetsestimﬁoch för att alstra utgångssannolikhetskartan.The iterative solution to the limited-maximum reconciliation can be formulated SOHI rm (k) = rom ö) + w- nïišß- vöi) 11 where Fm (ï) is the new calculated reconstruction, Fo ”(If) is the closest previously calculated reconstruction, nä) is a function made up of the entropy gradient (see Equation 16), vÜQir a function composed of chi-square the gradient of statistics (see Equation 17), and a and ß are scalars as described further below. The updated map Pm, (TC) is used in the next one the iteration cycle both as the density estimate ﬁ and to generate the initial probability map.

Ekvationen (l 1) visar hur varje uppskattad tâthetsfördelning uppdateras till nästa iterationscykel. Beräkningen är sådan att två egenskaper erhålles samtidigt: först maximering av entropin och sedan att den reducerade chi-kvadrat-statistiken fås att gå mot +l. Om endast entropin maximerades, så skulle endast en suddig berälming erhållas. 511 737 " Chi-kvadrat-statistiken Ivarje iterationscykel jämförs F” (ï“))med (im), skalerad i operationen (14) compare för projektion i enligt ekvationen (l). Dess chi-ln/adrat-statistik Cm beräknas: C” = Z~,-(1_-;[b“”*Fš;.l<2°>> - Pšiitvof (12) ílí) Xi där cfoßïm) är variansen i observerade data för projektion nummer i i punkten x.The equation (l 1) shows how each estimated density distribution is updated to the next iteration cycle. The calculation is such that two properties are obtained simultaneously: first maximization of entropy and then that the reduced chi-square statistics are obtained that go towards + l. If only entropy were maximized, then only a blurred berry would obtained. 511 737 " Chi-square statistics Each iteration cycle compares F "(ï")) with (im), scaled in the operation (14) compare for projection in according to equation (l). Its chi-ln / adrat statistics Cm are calculated: C ”= Z ~, - (1 _-; [b“ ”* Fš; .l <2 ° >> - Pšiitvof (12) ílí) Xi where cfoßïm) is the variance in observed data for projection number i at point x.

Detta ger som total chi-kvadrat-statistik: i=ulß c=:c@ aa Värdena F” ï(”)bör inte an assas bättre än sina förväntade varianser. I P :ompare situationen med optimal anpassning får vi därför i=lilß C Z (antalet gallerpunkterf) (14) J=1 Ett praktiskt mått för övervakning av chi-kvadrat-statistiken är därför den reducerade chi-kvadrat-statistiken. (i) _ CO) ' (antaletgallerpunkterfi) ' ,I,OO (15) Den iterativa formuleringen Konstruktionen av 3D-tätheten Fä) som marcimerar entropin S i ekvationen (2) samtidig som den uppfyller villkoret (14) på begränsningsfunktionen C fortsätter iterativt från ett startestimat. Vid varje iteration modifieras FÖÉ) med en linjär 23 5 'l 1 7 3 7 kombination av två sökñkmingar u(ï) och vä) valda som de norrnaliserade gradíentema av S och C enligt: u(ï) = VÉS (16) = VÉC (17) Låt a och B beteckna koefﬁcientema hos uÖÉ) och v(ï)i den linjära kombinationen som ger korrektionen i KY) för den aktuella iterationen. Vi approximerar sedan varíationerna av S och C i det tvådišacsnsionella sökmm som avgränsas av nä) och vÖÉ) med kvadratiska modeller: c(a, ß) = c(o,o) + a* (u(ï)lv§c(o,ø))+ß-(v(ï)|víc(o,o)) + ¿ía)|”gu<ï>lﬂuó<'>l (u<ï>|Hv<ï>)](a) (18) z ß llfv(í)|H(c)u(í)) (v(ï<")|H(c)v(ï)) ß sm, ß) = s(o,o) + a- (u(ï<)|vís(o,o)) +_ß-(v(í)|v§s(o,o)) + v ía)fv(u<ïilﬂ) ( " -l-- _ _ _.. z ß (v(x)|H(s)u(x)) ( (19) Å :i åíš.This gives as total chi-square statistics: i = ulß c =: c @ aa The values F "ï (") should not be assessed better than their expected variances. IN P : ompare the situation with optimal adaptation we therefore get i = lilß C Z (number of grid pointsf) (14) J = 1 A practical measure for monitoring chi-square statistics is therefore the reduced one chi-square statistics. (i) _ CO) '(number of grid points fi) ', I, OO (15) The iterative formulation The construction of the 3D density Fä) that marks the entropy S in the equation (2) while satisfying the condition (14) of the constraint function C continues iteratively from an initial estimate. At each iteration, FÖÉ) is modified with a linear 23 5 'l 1 7 3 7 combination of two searches u (ï) and vä) selected as the normalized ones the gradients of S and C according to: u (ï) = VÉS (16) = VÉC (17) Let a and B denote the coefficients of uÖÉ) and v (ï) in the linear combination which gives the correction in KY) for the current iteration. We then approximate the variations of S and C in the two-dimensional search delimited by nä) and vÖÉ) with square models: c (a, ß) = c (o, o) + a * (u (ï) lv§c (o, ø)) + ß- (v (ï) | víc (o, o)) + ¿Ía) | ”gu <ï> l ﬂ uó <'> l (u <ï> | Hv <ï>)] (a) (18) z ß llfv (í) | H (c) u (í)) (v (ï <") | H (c) v (ï)) ß sm, ß) = s (o, o) + a- (u (ï <) | vís (o, o)) + _ß- (v (í) | v§s (o, o)) + v ía) fv (u <ïil ﬂ) (" -l-- _ _ _ .. z ß (v (x) | H (s) u (x)) ( (19) Å: i åíš.

De första ordningens deiiverade av och S med avseende på <1 och ß är: ä = (uâﬂvš c(o,o)) = :_ v;s(o,o)<¿"fg,_c(o,o) (20) ac _ N ;_: ä = (vçiqlvï c(o,o)) = Z vïc(o,o)¶_gå:c(o,o) (21) .ﬁff :väl 24 5 1 1 7 3 7 fi' = (uäolvïsmtn) = S" vçlsqooy vqs(o,o) (22 w . . 7 ._ _ -å = (v(ï)|v§s(o,o)> = Z všcniøy- vïswp) (23) De andra ordningens deiiverade (elementen i de hessianska matrisema i (18) och (19)) av C med avseende på a och ß är: ac ÖT =<~lHv<ï>>=ÉHIBZZZO“*EQ9% <24> aaaß êßeu m, <;§_,(ï Funktionen OWU? , 17 , š<'))är en överlappningsﬁinlotion, är 2= och definieras av utsmetningsfunktionen (se elwation 9) OG) (ï,?,ï(n) = -I-(i) (ïxím )* Z Tu) (Y: ym) (25) utsmetningsfunktionen har dock ett signifikant värde endast i ett begränsat antal gallerpunkter. Det är därför praktiskt att skriva 0vef“>(ï<**¶“>) = OWïYjfU) (26) och komma i håg att för varje koordinat im i lutning nummer i, är listan av överlappningsvärden liten.The first order derivatives of and S with respect to <1 and ß are: ä = (uâ ﬂ vš c (o, o)) =: _ v; s (o, o) <¿"fg, _c (o, o) (20) ac _ N; _: ä = (vçiqlvï c (o, o)) = Z vïc (o, o) ¶_gå: c (o, o) (21) .ﬁ ff :well 24 5 1 1 7 3 7 fi '= (uäolvïsmtn) = S "vçlsqooy vqs (o, o) (22 w. . 7 ._ _ -å = (v (ï) | v§s (o, o)> = Z všcniøy- vïswp) (23) The second order derivatives (elements of the Hessian matrices in (18) and (19)) of C with respect to a and ß are: ac ÖT = <~ lHv <ï >> = ÉHIBZZZO “* EQ9% <24> aaaß êßeu m, <; § _, (ï The OWU function? , 17, š <')) is an overlap ﬁ inlotion, is 2 = and is defined by the smearing function (see elwation 9) OG) (ï,?, Ï (n) = -I- (i) (ïxím) * Z Tu) (Y: ym) (25) however, the smear function has a significant value only in a limited number grid points. It is therefore convenient to write 0vef “> (ï <** ¶“>) = OWïYjfU) (26) and remember that for each coordinate im in slope number i, is the list of overlap values small.

Den tid som behövs för att beräkna uttrycket (24) måste reduceras innan ett försök på utvärdering görs. Även för ett litet fall med 102, 104 punkter per lutning och 106 |\.) Lin 511 737 gallerpunlder i SD-volymen, medför uttrycket i (24) utvärderingen av överlappningsfunktionen (25) i 10” punkter.The time required to calculate the expression (24) must be reduced before an attempt on evaluation is done. Even for a small case with 102, 104 points per slope and 106 | \.) Flax 511 737 grid points in the SD volume, the expression in (24) entails the evaluation of the overlap function (25) in 10 ”points.

För en snabb dator med en kapacitet på 108 utvärderade utuyck per sekund skulle det fortfarande ta ungefär 300 år att utvärdera formeln. Storleken på beräkningen kan reduceras genom att använda den rimligt goda tillnännningen att utsmetningsfunktionen är den samma för alla de olika BD-gallerpunktema (den är i alla fall den samma for punkter i lager vinkelrätt på strålningsriktningen, se diskussionen efter ekvation (10). .âzç = .öíc = måla? ~ PmUCíÜWZÛVCYÜÜïÜÜYÜÜ*Pmvfím) (37) cuoß oßca 1:; o¿)(x* l) 9...For a fast computer with a capacity of 108 evaluated utuyck per second would it still takes about 300 years to evaluate the formula. The size of the calculation can reduced by using the reasonably good approximation to the smear function is the same for all the different BD grid points (it is in in all cases the same for points in layers perpendicular to the direction of radiation, see the discussion after equation (10). .âzç = .öíc = paint? ~ PmUCíÜWZÛVCYÜÜïÜÜYÜÜ * Pmvfím) (37) cuoß oßca 1 :; o¿) (x * l) 9 ...

Vi ser av (27) att dessa hessianska matriselement (elementen i de hessianska matrisema i (18) och (19) lätt kan beräknas genom att projicera entropin och chi- kvadrat-gradientema och därefter multiplicera projektionema genom en begränsad falming med överlappníngfunktionen. I stället for 300 års utvärderingstid, kan detta uttryck utvärderas på ungefär en minut, en ökning av hastigheten 108 gånger.We see from (27) that these Hessian matrix elements (the elements of the Hessian the matrices of (18) and (19) can be easily calculated by projecting entropy and the square gradients and then multiply the projections by a constraint fading with the overlap function. Instead of 300 years of evaluation time, this can expression is evaluated in about one minute, an increase in speed of 108 times.

De andra ordningens deriverade av S med avseende på ot och B är: <2 2 _' = (u(>"<)|H(s)u(ï)) = _; :ål (28) aZs _ als _ _ V _ _ _ uﬁvâ) âaâß - am -(u|H oo) - FO-Ö (29) ÖZS v (i) i i I = (v(ï)|H(s)v(ï)) = -š (30) rä) Gradientema VKC och VíS beräknas på följande sätt: till iêF(Y)1n( HÉÜ .å m _ :___ -J ______-d?=_1-1n(--F(ï)] (31) X 61x32) L ai-vï) i ÖC |=ui ÖCÜ) j i=lills v _C=______= _ = v_ <0 *g -* arm Z aux) *C b) |=l Med användning av kedjeräkning kan vi skriva: (I) (f) (i) -Ul v20” = æ- = Z frin.) * åFMï ) (33) âF(X) m, ßïuáx ) G°F(X) Från ekvationen (12) ser vi att ÖCÜ) 7bü) ' _ _ = bUQFiI) -m _ P0) -(\) '14 öFšaizc (XW) G(.l)()-<-(|)) *[ ~a|c(x ) obs(x (J ) och ekvationen (10) ger ﬁfoïßofﬁu - _ - '-íc__'_= Tu) X, (I) a fm < x > o» Ekvationen (33) kan därför skrivas som i acw zbü) i i -i i -i i __; -.The second order derivatives of S with respect to ot and B are: <2 2 _ ' = (u (> "<) | H (s) u (ï)) = _;: ål (28) aZs _ als _ _ V _ _ _ u ﬁ vâ) âaâß - am - (u | H oo) - FO-Ö (29) ÖZS v (i) i i I = (v (ï) | H (s) v (ï)) = -š (30) rä) The gradients VKC and VíS are calculated as follows: to iêF (Y) 1n (HÉÜ .å m _: ___ -J ______- d? = _ 1-1n (- F (ï)] (31) X 61x32) L ai-vï) i ÖC | = ui ÖCÜ) j i = lills v _C = ______ = _ = v_ <0 * g - * arm Z aux) * C b) | = l Using chain counting, we can write: (I) (f) (i) -Ul v20 ”= æ- = Z frin.) * åFMï) (33) âF (X) m, ßïuáx) G ° F (X) From the equation (12) we see that ÖCÜ) 7bü) '_ _ = bUQFiI) -m _ P0) - (\) '14 öFšaizc (XW) G (.l) () - <- (|)) * [~ a | c (x) obs (x (J) and equation (10) gives ﬁ foïßof ﬁ u - _ - '-íc __'_ = Tu) X, (I) a fm <x> o » The equation (33) can therefore be written as i acw zbü) i i -i i -i i __; -.

V25” = Ö-H-f) = šæqbl )* FÉJCOÖ )) - Ftftﬂxl ))]*T( )(X,X( )) (26) Från ekvationen (3 6) kan det ses att alla fysiska och numeriska parametrar som behövs för att beräkna ekvationerna 18 och 19 är kända, och beräkningen är genomfórbar. Den iterativa lösningen på den tomograﬁrekonstrulztionen med begränsad maximal emropi i ekvationen (11) är härmed ﬁillföljd.V25 ”= Ö-H-f) = šæqbl) * FÉJCOÖ)) - Ftft ﬂ xl))] * T () (X, X ()) (26) From the equation (3 6) it can be seen that all physical and numerical parameters that needed to calculate equations 18 and 19 are known, and the calculation is feasible. The iterative solution of the tomographic reconstruction with limited maximum emropy in equation (11) is thus ﬁ consequent.

Således, som ses i datorblocket 12 i ﬁgur 1, i enlighet med iterationsekvationen (11) ovan, matas utsignalen Fm, från beräkningsorganet 15 till en nonnaliseringsoperation 22 som matar Pom som insignal till 15. um (Y) norrnaliseras i en operation 23 och vw (ï)i en operation 24. Utsigrialema från 23 och 24 matas 27 511 737 som insignaler till beräkningsorganet 15 tillsammans med sina respektiva skalarer.Thus, as seen in computer block 12 in Figure 1, according to the iteration equation (11) above, the output signal Fm is fed from the computing means 15 to a normalization operation 22 which feeds Pom as input to 15. μm (Y) is normalized in an operation 23 and vw (ï) in an operation 24. The output signals from 23 and 24 are fed 27 511 737 as input signals to the computing means 15 together with their respective scalers.

Den nya mÖÉ) nonnaliseras också i en operation 25 som matar den som insignal till beräkningsorganet 15.The new mÖÉ) is also nonnalized in an operation that feeds it as an input signal the calculating means 15.

Skalarema a och ß kan bestämmas genom att lösa ett generaliserat egenvärdeproblem på ett välkänt sätt, till exempel det sätt som beskrivs av G.Scales a and ß can be determined by solving a generalized intrinsic value problems in a well-known way, for example the way described by G.

Bricogne, Acta Cxystallographica A25, pp 410-445 (1984). Den uppdaterade kartan FW (Y) används i nästa iterationscyÉTbåde som estimat för tätheten och för att alstra utgångssannolikhetskartan.Bricogne, Acta Cxystallographica A25, pp 410-445 (1984). The updated map FW (Y) is used in the next iteration cycle both as an estimate of the density and to generate the output probability map.

Begränsningen på den reducerade drat-statistiken säkerställer att den återskapade tätheten är konsistent, men inte överkonsistent med dess observerade proj ektioner.The limitation on the reduced drag statistics ensures that it recreated density is consistent, but not overconsistent with its observed proj ections.

Beräkningarna i datom är illustreradåïgiiflödesdiagrarrunet i ﬁgurema ZA-ZC och kommer nu att beskiivas vidare. Proélmmet är företrädesvis indelat i tre olika fw. underprogram.The calculations in the date are illustrated by the flow diagram in the guras ZA-ZC and will now be described further. The project is preferably divided into three different ones fw. subprogram.

Första delvrogrammet i ñeur 2A S1. Inlâsning av det första estimatetggvåfgëaiv täthetsﬁârdelningsfunktionen från enheten ä* f wiﬁgur 1. First sub-program in ñeur 2A S1. Input of the first estimate of the density distribution function from the unit ä * f wi ﬁ gur 1.

S2. Normalisering av estimatet att fF(É)dX = 1.S2. Normalization of the estimate that fF (É) dX = 1.

Detta används som FQwÖÉ) , a. i täthetsfördelning som används som startvärde för den iteration so beräknas. utföras, i vilken ekvationen (1 l) skall S3. Inläsning av en utgångssannolilë (startkunskapyfórdelning mO-š) eller alstrande av densamma genom uétlguddning av den uppskattade fördelningen med ett gaussiskt och sfäiiskt och normalisering av m(Y) _ 511 737 S4.This is used as FQwÖÉ), a. In density distribution used as initial value for the iteration so calculated. performed, in which the equation (1 l) should S3. Input of an output probability (initial knowledge distribution mO-š) or generating the same by unsaturating the estimated distribution with a Gaussian and spherical and normalization of m (Y) _ 511 737 S4.

Insättning av parametrar, såsom projektionsskala, varianser, ledningsfunktioner, etc.Insertion of parameters, such as projection scale, variances, wiring functions, etc.

Referensdata för förbätmng av skaleringen beräknas i varje iterationscykel för att övervaka och eliminera seiieavslutnmgsfel vid begränsade Fast Fourier Transfonn-berälcriingar. Detta är ett villkor för skaleringen som görs i det tredje delprogrammet i figur ZC. Noggrannheten måste vara sådan att skaleringen är tillräckligt exakt för att göra de uppmätta skillnaderna relevanta.Reference scaling improvement data is calculated in each iteration cycle for to monitor and eliminate cell termination errors at limited Fast Fourier Transfonn reports. This is a condition of the scaling done in the third the subprogram in Figure ZC. The accuracy must be such that the scaling is accurate enough to make the measured differences relevant.

Andra delprogram i ﬁgur 2B (genererar projektionema) S6.Other subprograms in Figure 2B (generating the projections) S6.

S7.S7.

S8.S8.

S9.S9.

S10.S10.

Sll. lnläsning av tidigare täthetsiördelning ﬁån S2. lnläsning av geometiidata som beskriver projektionsgeometrin. lnläsning av individuella parametrar för vaqe projektion som definierar hur de togs, till exempel accelerationsspänning, astigmatism, asymmeni i linsen, fokus, kromatisk eller sfarisk abberation eller dylikt. Är detta första iterationen? Om ja, gå till S 10, om nej, gå till Sl 1.Sll. Reading previous density division del from S2. Reading geometry data describing the projection geometry. Reading of individual parameters for vaqe projection that defines how they were taken, for example, acceleration voltage, astigmatism, asymmenia of the lens, focus, chromatic or spherical aberration or the like. Is this the first iteration? If yes, go to S 10, if no, go to Sl 1.

Beräkning av överlappningﬁinktioner (O), ”utsmetningsfuriktioner” och erkännande av att de har signiiñkanta värden vid ett begränsat antal punkter i gallret. Beräkning av referensdata som inte kommer från observationerna av provet, dvs. beräkning av projektioner med elíminerade data.Calculation of overlap ﬁ functions (O), “smear friction” and recognition that they have significant values at a limited number of points in the grid. Calculation of reference data not derived from observations of the test, i.e. calculation of projections with eliminated data.

Beräkning av referensdata för att eliminera sexieavslutningsfel med den begränsade Fast Fourier' Transformation beräkningen vid tillämpningar av PSF. 29 5 'l 1 7 3 7 S12. Inläsning av den förhandsberäknade PSF (punktspridningsfunktionen) från enheten l7 i figur 1 (eller inläsning av optiska parametrar härledda från mätningar av mikroskopet 10 och beräkning av dess PSP). Inläsning av de beräknade ”utsmemingsfunktioner” och referensdata.Calculation of reference data to eliminate sex ending errors with it limited the Fast Fourier 'Transformation calculation in PSF applications. 29 5 'l 1 7 3 7 S12. Loading the pre-calculated PSF (point spread function) from unit 17 in Figure 1 (or reading of optical parameters derived from measurements of the microscope 10 and calculation of its PSP). Loading of the calculated "smoothing functions" and reference data.

S13. Beräkning av projektioner. Korrektion av varje projektion med de optiska parametrar som definierar PSF. Bíestärnning av antalet ZD-projektioner som skall behandlas. .S13. Calculation of projections. Correction of each projection with the optical ones parameters that define PSF. Addition of the number of ZD projections as to be treated. .

Tredie delprogrammet i figur 2C GD-Qﬁï* _ laiíngenl S14. Först läses en mängd stöddata ~ g e = beräknade i de andra delprogrammen in, såsom Villkor för att iterationema skall och sluta för presentation av det åstadkomma resultatet.The third subprogram in Figure 2C GD-Q ﬁ ï * _ laiíngenl S14. First, a quantity of support data ~ g e = calculated in the other subprograms is read in, such as Conditions for the iterations to and stop for presentation of it achieve the result.

Inläsning av de observerade projšifﬁonema.Loading the observed projections.

De sorterade projektioneina til _ âlls i punkten S13.The sorted projections to _ âlls at point S13.

Varianserna för varje gallerpu ssa varianser är antingen uppmätta eller modellerade, eftersom det är en âﬁfsson-íördelning.The variances for each lattice pus variances are either measured or modeled, because it is a â ﬁ fsson division.

S torleksdata. .S torleksdata. .

Serieavslutningsfel. Series end error.

Geomeuibeskrivriing for att göra *Éojektioner i råtta riktningar.Geomeuibeskrivriing to make * Éojections in rat directions.

Bildparametrarna. The image parameters.

Antalet 2D-projektioner, etc.The number of 2D projections, etc.

De väsentligaste egenskaperna är docø i observerade och beräknade projektionema och varianserna förs ínÅ S 15. Skalenng för att denonnalisera » é "ade projektioner mot observerade data för att åstadkomma en gemensam och för att vara uppmärksam på hur en absolut nivå skall åstadkommas. T stämd elektrondos för proven motsvarar el molekylvikt. en bestämd gråskala som ger till 511737 S16.The most important properties are docø in observed and calculated the projections and variances are entered S 15. Scaling to denonalize »é" ade projections against observed data to bring about a common and to pay attention to how one absolute level must be achieved. T adjusted electron dose for the samples corresponds or molecular weight. a definite grayscale that gives to 511737 S16.

S17.S17.

S18.S18.

S19.S19.

Beräkning av den reducerade chi-kvadrat-statistiken och anpassningsgradsparametraina (summan av kvadratavviken) genom järnfcârelse av de skalerade, beräknade projektionerna med observerade data för övervakning av fortskiidandet från en iterationscykel till den nästa.Calculation of the reduced chi-square statistics and degree of adaptation parameters (sum of the square deviations) by ironing of the scaled, calculated projections with observed data for monitoring the progression from one iteration cycle to the next.

Approximeiing av reducerad chi-kvadrat-statistik och entropi med kvadratiska modeller nära den aktuella försöksvisa lösningen F()_() med användning av ekvationema ( 16) och (17).Approximation of reduced chi-square statistics and entropy with quadratic models near the current test solution F () _ () using equations (16) and (17).

Beräkning av den totala entropin hos täthetsestimatet och den totala reducerade chi-kvadrat-statistiken för skaleiíngsândamål.Calculation of the total entropy of the density estimate and the total reduced chi-square statistics for scaling purposes.

De forsta ordningens deriverade av C och S med avseende på ot och ß härleds från ekvationerna (20) till (23).The first order derivatives of C and S with respect to ot and ß are derived from equations (20) to (23).

Beräkning av gradienterna för entropin och den reducerade chi-kvadrat- statistiken såväl som de andra derivaten (hessianska matriselement) från ekvationen (27) for den reducerade chi-kvadrat-statistiken och ekvationerna (28) till (30) för entropin genom projektion av 3D-gradienterna för entropin och den reducerade chi-kvadrat-statistiken (ekvation 27).Calculation of the gradients of entropy and the reduced chi-square statistics as well as the other derivatives (hessian matrix elements) from the equation (27) for the reduced chi-square statistic and the equations (28) to (30) for entropy by projecting the 3D gradients of entropy and the reduced chi-square statistic (Equation 27).

Alla dessa gradienter och överlappfunktionen som beräknades i steg S 12 behövs för den kvadratiska modellen och används i ekvationema (16) och (17).All these gradients and the overlap function calculated in step S 12 is needed for the quadratic model and is used in equations (16) and (17).

Lösning av koeñicientena ot och B från uÖÉ) och v(ï). Uppdatering av tätheten med parametrarna enligt ekvationen (11). Bestämning av ot och ß ﬁån den punkt där entropin maximerad och den reducerade chi-kvadrat- statistiken drivs mot +l med användning av sagda parametrar. Beräkning av rm (32) i ekvationen (1 1).Solution of coefficients ot and B from uÖÉ) and v (ï). Update of the density with the parameters according to equation (11). Determination of ot and ß ﬁ ån the point where the entropy is maximized and the reduced chi-square the statistics are driven towards + l using said parameters. Calculation of rm (32) in the equation (1 1).

G .al 511 737 S20. Om en ny iteration skall göras (villkoren för iterationer kan vara att de görs i ett törhandsbestämt antal cyklar eller att de görs till en förhandsbestämd korrelationsgräns eller tills entropimaximeringen sväckas), gå till S2, om inte, visa den fullföljda rekonstruktionen på presentationsorganets l6 (figur 1) ingång.G .al 511 737 S20. If a new iteration is to be made (the conditions for iterations may be that they are made in one pre-determined number of bicycles or that they are made into a pre-determined correlation limit or until entropy maximization weakens), go to S2, if not, show the completed reconstruction of the presentation body 16 (figure 1) entrance.

Således, när de ovan beskrivna beräkningarna har fullföljts, återskapas BD-bilden från de iterativt beräknade datana och rckonstnrktionsdata matas till displayorganet på presentationsorganet 16, där det ger en synlig bild av ett objekt som, när det inte har någon symmetri, inte skulle ha kunnat visas med någon annan känd teknik.Thus, when the above-described calculations have been completed, the BD image is recreated from the iteratively calculated data and the reconstruction data is fed to the display means on the display means 16, where it provides a visible image of an object which, when not has no symmetry, could not have been displayed with any other known technology.

Beräkning av de andra ordningens deriverade använder, bland annat, en funktion O(i)(ï,ï,ï(i)), som är en överlappningsfunktion definierad av utsmetningsfunktionen T(i)(ï, ï<'(i)) , men utsmetrringsfunktionen är ett mått på mur mycket täthetsvärdet i varje punkt påverkas av de andra punkterna. I verkligheten påverkar endast ett begränsat antal grannpunkter varje punkt, och utsmetrringsﬁmktionen har således ett signifikant värde i ett begränsat antal gallerpunkter. Detta reducerar storlekeiiépâ beräkningarna.Calculation of the second order derivatives uses, among other things, a function O (i) (ï, ï, ï (i)), which is an overlap function defined by the smear function T (i) (ï, ï <'(i)), but the smear function is a measure of wall much the density value at each point is affected by the other points. In reality affects only a limited number of neighboring points each point, and the spreading function thus has a significant value in a limited number grid points. This reduces the size of the calculations.

Med ett förfarande enligt uppfinningen, parametriseras de kända ekvationema till en nivå där den fysiska betydelsen av varje komponent kan identifieras. Detta betyder att de rätta värdena kan tillordnas och intelligenta uppskattrringar kan göras, vilket i sin tur gör det möjligt att lösa ekvationerna.With a method according to the invention, the known equations are parameterized to one level where the physical significance of each component can be identified. This means that the right values can be assigned and intelligent estimates can be made, which in in turn makes it possible to solve the equations.

Skillnaden mellan projicerade data och observerade data minimeras också. (32) och (33) till (35) relaterar gradientfelet i 3D felet i 2D och gör det, om de används tillsammans med de andra ordningens deriverade, möjligt att lösa (15) och (16), vilket ger variationen av de totala C och S och därigenom möjliggör maximering av S och minimering av C mot +l. llllll b) lx) 511 737 Figurerna 3A till 3D visar hur användbarheten och korrektheten av den rekonstruktion som gjorts enligt uppfinningen har testats genom rekonstruktion av ofärgat och förglasat adenovirus från elektronrnikrografer och jämförts med projektioner av observerade data och med projektioner åstadkomria med en annan BD-rekonstruktionsmetod.The difference between projected data and observed data is also minimized. (32) and (33) to (35) relate the gradient error in the 3D error in 2D and do so, if used together with the second order derivatives, possible to solve (15) and (16), which gives the variation of the total C and S and thereby enables maximization of S and minimization of C to +1. llllll b) lx) 511 737 Figures 3A to 3D show how the usability and accuracy of it reconstruction made according to the invention has been tested by reconstruction of uncoloured and vitrified adenovirus from electron micrographs and compared with projections of observed data and with projections achieved with another BD reconstruction method.

Figur 3A visar observerade data från ZD-projektioner registrerade med ett elektronmikroskop av en adenoviruspartikel, som är ikosaednsk med en maximal diameter på l400Å, innefattande tolv fibrer som står ut från tolv spetsar. Utan ﬁbrema kan viruset iruymmas i en kula med diameter 914 Å.Figure 3A shows observed data from ZD projections recorded with a electron microscope of an adenovirus particle, which is icosaic with a maximum diameter of 1400Å, comprising twelve fibers projecting from twelve tips. Without ﬁ brema, the virus can be implanted in a sphere with a diameter of 914 Å.

Figur 3B visar en rekonstruktion av adenoviruset i 3D till ungefär 35 Ä upplösning, gjord med hjälp av en (IL-metod beskriven av Crowther, R. A. i ”Philosophical Transactions of the Royal Society of London” B26 l, pp. 221-230 (1971) och modiﬁerad och förbättrad av SD. Fuller såsom beskrivit i Cell 48, pp. 923-934 (1987). CL-metoden är av en annan typ än den uppﬁnningsenliga metoden. Enligt CL-metoden rekonstmeras en snabb 3D-bild och är därför inte så förñnad som den uppﬁnningsenliga metoden och saknar, bl.a. utgångssannolikhetstillnärmningen. En vidareutveckling av rekonstruktionen enligt CL-rnetoden kan då åstadkommas på flera kända sätt. Partikeln inryms i en kub med sidor av 135 bildpurikter och projiceras på en l50xl50 bildpunkter stor duk.Figure 3B shows a reconstruction of the adenovirus in 3D to approximately 35 Å resolution, made using an (IL method described by Crowther, R. A. in “Philosophical Transactions of the Royal Society of London ”B26 l, pp. 221-230 (1971) and modified and enhanced by SD. Fuller as described in Cell 48, pp. 923-934 (1987). The CL method is of a different type than the inventive method. According to The CL method reconstitutes a fast 3D image and is therefore not as refined as it is method and lacks, i.a. the initial probability approach. One further development of the reconstruction according to the CL method can then be achieved on several known ways. The particle is housed in a cube with sides of 135 image purities and projected on a l50xl50 pixels large canvas.

Figur 3C är projektioner från rekonstruktioner gjorda enligt uppfinningen.Figure 3C are projections from reconstructions made according to the invention.

Projektionsgeometrin i ñgui' 3C är den samma som i figur 3B. Bakgrunden är så låg i ﬁgur 3C att det svårt att urskilja den projicerade bakgrunden av viruset inuti kuben från duken utan några projicerade värden.The projection geometry in ñgui '3C is the same as in Figure 3B. The background is so low in 3 gur 3C that it difficult to discern the projected background of the virus inside the cube from the canvas without any projected values.

Beskrivning av en andra utföringsform Figur 4 visar en andra utföiingsform av en anordning för inhämtning och behandling av data enligt uppfinningen, som används för att åstadkomma en rekonstruktion av b) b) 511 737 en 2D-bild med hög upplösning av en bild som presenteras till exempel på en TV- skärm eller på papper, eller som en Oljemålning eller dylikt. I den ovan beskrivna 3D-rekonstruktionen tillhandahölls projektionsdata som ZD-projektioner. I 2D- rekonstruktionen i denna utföringstbrrn tillhandahålls ”projektionema” som linjer.Description of a second embodiment Figure 4 shows a second embodiment of a device for retrieval and processing of data according to the invention, which is used to effect a reconstruction of b) b) 511 737 a high-resolution 2D image of an image presented, for example, on a TV screen or on paper, or as an oil painting or the like. In the one described above The 3D reconstruction was provided with projection data as ZD projections. I 2D- the reconstruction in this embodiment is provided with the "projections" as lines.

Element som motsvarar element i ñgur 1 har samma hänvisningsbeteckningar. Det bör noteras att beräkningsorganet företrädesvis är en snabb dator som kan behandla bilder med åtminstone samma hastighet som den vertikala hastigheten hos en TV- skärm.Elements corresponding to elements in Figure 1 have the same reference numerals. The It should be noted that the computing means is preferably a fast computer that can process images at at least the same speed as the vertical speed of a TV screen.

En avbildnings- och avsökningsenlret 40 är ansluten till en ingång hos ett ﬁltrerings- och nonnaliseringsorgan 43 som innefagm i datorn 12. Avbildnings- och avsökningsenheten avsöker en bild eller en 'TV-skärm på vilken en bild visas. När en bild på en TV-skänn avsöks görs flera avsölcrringssekvenser för varje bild för att överbestärruna det, eftersom poängen med att utföra denna uppfrnníngsenliga operation är att öka bildens upplösningmiltgångssigrialen från ﬁltrerings- och nonnaliseringsorganet 43 är ansluten ingång hos beräkningsorganet 15, som också innefattas i datorn 12. Avbildningš-Qpch avsölmingsenheten 40 är också ansluten till en punktspridningsfirnlrtionggenerator 42, vars utgångar är anslutna till datom 12. En utgång från beräkningsor§§et 15 är ansluten till ett presentationsorgan 46, som i denna for behandling av TV-bilder, till exempel skulle kunna vara en stor bil i '_ med hög upplösning eller dylikt.An imaging and scanning sensor 40 is connected to an input of an alteration and nonnalizing means 43 as incorporated in the computer 12. Imaging and the scanning device scans an image or a TV screen on which an image is displayed. When one image on a TV scan is scanned, several clearing sequences are made for each image to overestimate it, because the point of performing this invention operation is to increase the image's resolution spleen signal from ﬁltration and the analyzing means 43 is connected to the input of the calculating means 15, which also included in the computer 12. The imaging-Qpch desalination unit 40 is also connected to a point-scattering communication generator 42, the outputs of which are connected to date 12. An output from the calculator 15 is connected to a presentation means 46, as in this for processing television pictures, to example could be a large car in '_ with high resolution or the like.

Datorn 12 är försedd med digitaliseradâddata från en enhet 44 för att tillhandahålla digitaliserade data av en struktur. Enheten 44 skulle kunna irmefatta själva TV-mottagningsenhet i en videokamera riktad mot bilden som skall behandlas och en A/D-omvandl tan vilka bildavsökningsdata som helst skulle kunna presenteras som den strukturen, men beräkningen går fortare om likheten mellan den bild s _ l behandlas och den uppskattade bilden är god. Utgången från enheten 44 innan den matas till berälcningsorganet l5 i datorn 12. 511 757 3* En utgångssannolikhetsfördelning mÖÉ) förs antingen in separat till beräkningsorganet 15 i datorn 12 av en enhet 44 eller skapas av beräkningsorganet 15 självt genom suddning av den beräknade strukturen genom att göra en fouriertransformation och multiplicera denna fouriertransfonnations koefñcienter med koefﬁcientema hos ett gaussiskt och sfäriskt filter. utgångssarmolikhetsfördelningen norrnaliseras.The computer 12 is provided with digitized data from a device 44 for provide digitized data of a structure. Unit 44 could include the actual TV tuner in a camcorder aimed at the image that to be processed and an A / D converter any image scan data could be presented as that structure, but the calculation goes faster if the similarity between the image s _ l is treated and the estimated image is good. The output of the unit 44 before it is fed to the calculating means 15 in the computer 12. 511 757 3 * An output probability distribution mÖÉ) is either entered separately the computing means 15 in the computer 12 by a unit 44 or created by the computing means Itself by blurring the calculated structure by making one Fourier Transformation and multiply the coefficients of this Fourier Transformation with the coefficients of a Gaussian and spherical filter. the starting point distribution is normalized.

Eftersom upplösningen i den behandlade bilden skall förbättras. matas ett rätt tätt ZD-galler 47 till datom 12.Because the resolution of the processed image must be improved. fed a fairly dense ZD grille 47 to date 12.

Beräkningarna görs enligt samma principer som de ovan beskrivna, men på ett mindre komplicerat sätt.The calculations are made according to the same principles as those described above, but on one less complicated way.

Datat behandlas i enlighet med den uppﬁnningsenliga metoden, så att en högre upplösning och en lägre brusnivâ uppnås än vad som är möjligt med användning av kända tekniker. Det behandlade datat matas så till presentationsorganet 16, där det ger en bild av kraftigt förbättrad kvalitet.The data is processed in accordance with the inventive method, so that a higher resolution and a lower noise level is achieved than is possible with the use of known techniques. The processed data is then fed to the presentation means 16, where it gives a picture of greatly improved quality.

Beskrivning av en tredje utﬂiringsform Denna utföringsform är en kortläsarenhet för att konnollera passerkort och behandlar data i SD-form. Den hänför sig till en typ av mönsterrekonstruktion. Ett kort 50 med ett antal små mönster, som är något olika, men som för det blotta ögat ser ut att vara lika, törs in i en kortläsare 52. Mönstren skulle kunna vara nästan vad som helst, såsom stjärnor, ringar, moln, träd, björnar. Mönstren 51 har samma lägen på alla kort som är anpassade att läsas av kortläsaren 52, som har antingen ett individuellt avsökningsorgan för varje mönster eller ett ﬂyttban avsökningsorgan som avsöker mönstren i ordningsföljd. De avsökta mönstren kan ses som olika ZD-projektioner av ett SD-prov och presenteras till ﬁltreringsorganet 13 i datorn 12. Filtreringsprocessen kan dock förenklas avsevärt järnfört med vad som behövs i den i figur 1 visade utföringsforrnen, eftersom kortläsaren kan utformas så att ingen behandling behövs b) Ur 511 737 med avseende på geometribeskrivning och att få projektionerna i harmoni med varandra.Description of a third embodiment This embodiment is a card reader unit for canceling access cards and processing data in SD form. It refers to a type of pattern reconstruction. A card 50 with a number of small patterns, which are slightly different, but which to the naked eye appear to be equal, dares into a card reader 52. The patterns could be almost anything, such as stars, rings, clouds, trees, bears. Pattern 51 has the same positions on all cards which are adapted to be read by the card reader 52, which has either an individual scanning means for each pattern or surface surface scanning means the patterns in order. The scanned patterns can be seen as different ZD projections of an SD sample and presented to the filtering means 13 in the computer 12. The filtering process can, however, be considerably simplified with iron what is needed in the one shown in figure 1 embodiments, as the card reader can be designed so that no processing is required b) From 511 737 with respect to geometry description and to get the projections in harmony with each other.

Pararnetrar för att tillhandahålla en PSP 53 i kortläsaren 52 matas till beräkningsorganet 15 i datorn 12. Datom ingår i kortlâsningsenheten och detta innebär att dessa parametrar kan presenteras till datom under produktionen och PSF kan beräknas och lagras vid denna tidpunkt.Parameters for providing a PSP 53 in the card reader 52 are supplied the computing means 15 in the computer 12. The computer is included in the card locking unit and this means that these parameters can be presented to the computer during production and PSF can be calculated and stored at this time.

Det digitaliserade datat från den uppskattade strukturen 54 kan också tillhandahållas och normaliseras i produktionen, t.ex. innefattande mönster med sarruna struktur som på kortet, men tex. alla exakt lika, eller läsas från ett referenskort som läggs in i kortläsaren i fabriken och noimaliseras och lagras permanent.The digitized data from the estimated structure 54 may also be provided and normalized in production, e.g. including patterns with sarruna structure as on the card, but tex. all exactly the same, or read from a reference card inserted into the card reader in the factory and is permanently neutralized and stored.

Utgångssarmolikhetsfördelningen mff) kan också normaliseras och lagras permanent i fabriken, och även SD-gallret 56.The output probability distribution, etc.) can also be normalized and stored permanently in the factory, and also the SD grille 56.

Datorn behandlar datat på det ovan beskrivna sättet och skickar resultatet till en enhet 57 när den sista iterationen Kortet 50 kan ha en konventionell magnetremsa 58 eller dylikt som geršåfenkel identifiering av kortet. Alternativt kan kortägaren ha en personlig kod eller som matas in genom ett datainmamingsorgan 59 , som kan ett tangentbord, ett röstigenkäruiingsorgan eller dylikt. The computer processes the data in the manner described above and sends the result to one unit 57 when the last iteration Card 50 may have a conventional one magnetic strip 58 or the like as easy identification of the card. Alternatively can the cardholder has a personal code or which is entered through one data retrieval means 59, which may be a keyboard, a voice recognition means etc.

När ett kort 50 förs in i kortläsaren 52, läsas konets identitet från remsan 58 och matas direkt till beräkningsorganet i sin tur matar det till enheten 57.When a card 50 is inserted into the card reader 52, the identity of the cone is read from the strip 58 and fed directly to the computing means in turn it feeds to the unit 57.

Enheten 57 samarbetar med ett minn - 2 i som har behandlade data från kort lagrade i adresser som identiﬁeras av kortens täta.Unit 57 cooperates with a memory - 2 i which has processed data from cards stored in addresses identified by the density of the cards.

Om det irrförda kortet har använts tidigare hittas dess data och matas till enheten 57.If the misplaced card has been used before, its data is found and fed to the device 57.

När behandlingsoperationen av mönsgílgeg på kortet är klar, järnför enheten 57 de 511737 lagrade behandlade datana med de nya och godkänner ett kort endast när jämförelsen stämmer.When the processing operation of the mouse gillgeg on the card is complete, iron the device 57 de 511737 stored processed data with the new ones and accepts a card only when comparing correct.

Om det införda kortet inte har använts tidigare och data om det således inte finns lagrade, skulle en identitetskontroll till exempel kunna göras i ett externt register genom ett extemt anslutningsorgan 61.If the inserted card has not been used before and data about it thus does not exist stored, an identity check could, for example, be done in an external register through an extreme connecting means 61.

Detta organ skulle också kunna motta uppdaterad information om kort från en centralstation. ldentitetskorten kan användas på kontor för att ge åtkomst till olika områden i en byggnad eller dylikt. l denna förbindelse finns det ofta ett behov för registrering och avregistrering av kort.This body could also receive updated card information from one central station. The identity cards can be used in offices to provide access to various areas in a building or the like. In this connection there is often a need for card registration and deregistration.

Om data hittas i det externa regisnet med ett registennärke som är tillåtet för den aktuella kortläsarenheten, så kan det föras till enheten 57 som lagrar data i minnet 60 och även gör den jämförande kontrollen med de nyligen behandlade datana.If data is found in the external registry with a registry tag that is allowed for it current card reader unit, it can be fed to the unit 57 which stores data in the memory 60 and also makes the comparative check with the recently processed data.

En annan möjlighet är att registreiingsdata såsom informationen i remsan 58 skickas över till enheten 57 genom organet 61, när ett nytt kort ges ut och överlämnas till en kortägare. Enheten 57 lagrar registreringsdata. Den första gången kortet förs in i kortläsaren och data från mönsnen 51 beräknas av beräkningsorganet, lagras datat i minnet 60 och kortägaren kan passera.Another possibility is that registration data such as the information in strip 58 is sent over to the unit 57 through the means 61, when a new card is issued and handed over to one cardholders. Unit 57 stores registration data. The first time the card is inserted the card reader and data from the patterns 51 are calculated by the computing means, the data is stored in memory 60 and the cardholder can pass.

Ytterligare en möjlighet är att låta data från en mängd kort lagras i minnet 60 på dumrny-adresser och ändra adressen till en riktig adress med hjälp av ﬁärrkontroll när kortet överlämnas till en ny ägare.Another possibility is to have data from a plurality of cards stored in the memory 60 on dumrny addresses and change the address to a correct address using ﬁ scar control when the card is handed over to a new owner.

Om avregistreiingsinfonnation för ett kort matas till organet 6l, kan enheten 57 antingen lägga en markering i minnesregistreringen att kortet är ogiltigt eller ta bort datat. 511 737 Trots att uppñnningen har beskrivits med hänvisning till speciella utföringsforrner, är det uppenbart för fackrnannen att flera ändringar kan göras och ekvivalenter användas i stället for element i uppfinningen utan att ﬁfângå uppfrnningens ide och omfattning såsom de framgår av kraven. I tillägg kan modifieringar göras utan att frångå uppñnningens väsentliga principer såsom de framgår av kraven. Till exempel är uppﬁnningens principer' även användbara på lD-datarekonstruktiorr, såsom på ﬂera temperatinmätriin gar vid ett tílågšle eller dylikt. I ett sådant fall registrerar ett ingångsorgan anslutet till datorn l2 variationer i mängd i förhållande till en förutbestämd variabel och beräkningsorganet återskapar det uppmätta värdet som en serie av mätdata. 531,, ü 511 737 5% Krav 1. Förfarande för att åstadkomma en mycket tillförlitlig rekonstruktion, byggd på att galler, av ett observerat prov, vill - tillhandahållande av flera registrerade, observerade data av provet, från olika aspekt av provet; - tillhandahållande av en första uppskattad fördelning av provet i de individuella gallerpunktema; - tillhandahållande av en suddig utgångssannolikhetsfördelnirig i de individuella gallerpunktema med hjälp av uppskattade data; - beräkning för varje iteration i en iterativ process av: * en ny beräknad fördelning av provet i gallerpunkterna med hjälp av utgångssannolikhetsfördelningen och jämförelse mellan den uppskattade fördelningen i den närmast föregående fördelningen och observerade data av provet, * en ny utgångssannolikhetsfördelning i de individuella galletpunkterna av den nya uppskattade fördelningen, mindre suddig än utgångssarmolikhetsfördelningen i den närmast föregående iterationen; upprepning av iterationeina tills skillnaden mellan den nya uppskattade fördelningen och den närmast föregående uppskattade fördelningen är mindre än ett förhandsbestämt villkor avseende täthetsupplösningsfördelningen i galleipunkterna. 2. Förfarande enligt krav l, kännetecknat av att suddigheten åstadkommes genom att utföra en fouriertransfoimation av den uppskattade strukturen och genom att multiplicera koefﬁcientema i denna fourieitransforrnation med fouxierkoeﬁïcienterna hos ett gaussiskt och sfariskt filter. 3. Förfarande enligt krav l eller 2, kännetecknat av att nämnda suddiga struktur normaliseras innan den används som den nya utgångssaxinolildietsfördelriirigen i den nästa iterationscykeln.If the deregistration information for a card is fed to the means 61, the unit 57 can either put a mark in the memory registration that the card is invalid or delete data. 511 737 Although the invention has been described with reference to particular embodiments, it is obvious to the person skilled in the art that several changes and equivalents can be made be used instead of elements in the invention without capturing the idea of the invention and scope as set out in the requirements. In addition, modifications can be made without deviate from the essential principles of the invention as set out in the requirements. For example the principles of the invention are also useful on iD data reconstruction, such as on ﬂ your temperature measurements are at a low or similar. In such a case, one registers input means connected to the computer l2 variations in amount relative to a predetermined variable and the calculation means recreates the measured value as a series of measurement data. 531 ,, ü 511 737 5% Requirement Procedure for achieving a very reliable reconstruction, based on grid, of an observed sample, want providing several recorded, observed data of the sample, from different aspects of the sample; providing an initial estimated distribution of the sample to the individuals the grid points; - providing a blurred output probability distribution in the individual the grid points using estimated data; calculation for each iteration in an iterative process of: * a new calculated distribution of the sample in the grid points using the initial probability distribution and comparison between the estimated the distribution in the immediately preceding distribution and observed data of tried, * a new initial probability distribution in the individual bile points of it new estimated distribution, less blurred than the starting probability distribution in the immediately preceding iteration; repetition of iterationeina until the difference between the new estimated distribution and the immediately preceding estimated distribution is less than one predetermined conditions regarding the density resolution distribution in the gallbladder points. Method according to claim 1, characterized in that the blur is produced by to perform a Fourier transform of the estimated structure and by multiply the coefficients of this fourieth transformation by the fouxier coefficients in a Gaussian and spherical filter. Method according to claim 1 or 2, characterized in that said blurred structure normalized before being used as the new starting saxinolyl diet benefits in it the next iteration cycle.

Claims

39 511 737

A method according to any one of the preceding claims comprising the following steps: a) providing several recorded observed data from the sample, each en from a different aspect of the sample; b) providing a variance for individual observation grid points for each recorded data observed; I c) calculating the reconstruction of the structure of the observed sample in the iterative process, said first estimating: distribution being taken as a reconstruction approximation of the first iteration; (d) for each iteration: calculation of said new initial sarin probability distribution using the immediately preceding reconstruction result, calculation of a reduced chi-square statistic (C) using the immediately preceding calculated reconstruction, the recorded observations and said variance and grid, while the nomination of the calculated reconstruction is maintained, the calculation of an entropy by means of the immediately preceding calculated reconstruction and the initial probability distribution; e) maximizing entropy while assuming that the reduced chi-square statistic should go towards +1, and maintaining a new estimated reconstruction to be used in the next iteration cycle; t) presentation of the reconstruction. in

A method according to any one of the preceding claims, further comprising - providing a data spreading function which is a convolution using qualities of the registration body; - providing an augmented point scattering function, called smearing function on that beiäknašiå / êkonsuuction; - approximation that the emission function is greater than zero only for a limited number of grid points of samples; and producing a snuff structure whose projection folded with the point scattering function will conform to the observed structure.

The method of claim 5, further comprising providing an overlap function defined by the smear function and allowing said reduced chi-square statistics to go towards +1 and maximizing entropy by means of said overlap function.

The method of claim 6, wherein the plurality of recorded observation data of the sample is provided by recording means which provide ZD projections in digitized form of the sample and further transmits data therein to the computing means to effect a 3D image reconstruction, characterized by processing said data with using an approximation that the smearing function is greater than zero only for a limited number of grid purils in a layer perpendicular to the direction of the beam and in producing the SD structure whose projection folded with the point spreading function adapts to the observed structure.

Method according to one of the preceding claims for SD reconstitution of a sample, characterized in that said observations of the sample are a series of differently inclined 2D observations of the sample.

Method according to any one of claims 1-7 for SD reconstruction of a sample by means of light recordings, characterized in that said observations from different winds of the sample are a series of ZD observations focused on different depths of the sample.

Method according to one of the preceding claims, characterized in that the reconstruction is made of organic objects, for example small organic objects such as virus particles or the like. ... w-. 41 511 737

Method according to one of Claims 1 to 7, characterized in that the reconstruction is a pattern reconstruction of sample elements (51) with a slightly different pattern provided on a card (50) in order to provide a secure and unambiguous identity for the card.

Method according to one of Claims 1 to 5, for a ZD reconstruction, characterized in that the various aspects of the object are lines across the object.

Device for effecting a very reliable reconstruction of an observed sample of an object, built on a grid, which device comprises: - input means (10, 11, 13, 14; 40, 43, 14; 52, 13, 14) providing observed data of the sample; distribution estimating means (19; 54) which gives a first estimated distribution of the sample in the individual grid points; probability distribution means (21, 25, 15; 45; 54, 15) which provide a blurred output probability distribution in the individual grid points by means of estimated data; calculation means (12) cooperating with said sample observation means, partition estimating means and similarity distribution means, for calculating in an iterative process, for each iteration: * a new estimated distribution in the bile points, by means of the initial probability distribution said observed data of the sample from said input organ; * a new initial probability advantage in the individual grid purlcts on the new estimate, less blurring the initial probability advantage in the immediately preceding iteration; said calculation means (12) is arranged to continue the iterations until the difference between the new estimated and the immediately preceding estimated distribution is less than a predetermined condition, and 511 737 Q means (16; 46; 57) connected to said calculation means for presenting the calculated result. .

Device according to claim 13, wherein said input means (10, 11) measures ﬂ your aspect of a quantity (1), characterized by means for giving a variance for individual observation grid points in each recorded observation; that said calculation means (12) for each iteration cycle performs the following calculations: - a new output probability distribution, - an entropy (S) by means of the immediately preceding calculated reconstruction and the new output probability probability distribution, - a reduced chi-square statistic (C) by means of of the immediately preceding calculated reconstruction, observed data of the sample, said variance and said grid, while maintaining normalization of the calculated reconstruction, with the limitation that entropy is maximized relative to the initial probability while the reduced chi-square statistic is driven towards +1 and the normalization is maintained, and wherein a new calculated reconstruction is provided for use in the next iteration cycle.

Device according to claim 14, characterized by means (18; 42; 53) which supply a point scattering function of the input means, which is a fading, to said calculation means; that the calculating means (12) calculates a projected point spreading function, called smearing function, which is supported than 0 only for a limited number of grid points in said sample and produces an SD structure whose projections folded with the point spreading function will adapt to the observed structure.

The apparatus of claim 15, wherein the input means comprises a means (10; 52) that provides observed data of IDD projections in digitized form of the observed sample and feeds the data on to the computing means to provide a very reliable three-dimensional reconstruction. , characterized in that said computing means processes the data using an approximation that said projected point scattering function is greater than zero only for a limited number of grid points in a layer perpendicular to the direction of the beam and generates 3D beam projections folded with the point scattering friction will conform to the observed the structure.

Device according to any one of claims 13-16, characterized in that said input means is a microscope, for example an electron microscope, a light microscope, or a confocal microscope.

Device according to any one of claims 13-16, characterized in that said input means is a card reader (52) which reads a pattern of sample elements (51) with a slightly different pattern provided on a card (50) to provide a pattern reconstruction for providing a secure and unambiguous identity for the card.

Device according to any one of claims 13-16 for a ZD reconstruction, characterized in that said input means is a scanning device (40) which scans a Z-dimensional image, and in that said projections are lines across the sample.

Device according to one of Claims 13 to 16, characterized in that the input means (52, 13, 14) registers variation in quantity relative to a predetermined variable and in that the calculation means recreates the measured quantity as a series of measurement data.