WO2017153642A1 - System for remote display of a medical image - Google Patents

System for remote display of a medical image Download PDF

Info

Publication number
WO2017153642A1
WO2017153642A1 PCT/FR2017/000042 FR2017000042W WO2017153642A1 WO 2017153642 A1 WO2017153642 A1 WO 2017153642A1 FR 2017000042 W FR2017000042 W FR 2017000042W WO 2017153642 A1 WO2017153642 A1 WO 2017153642A1
Authority
WO
WIPO (PCT)
Prior art keywords
format
image
display
screen
medical image
Prior art date
Application number
PCT/FR2017/000042
Other languages
French (fr)
Inventor
Arnaud RENOUF
Boris LESNER
Original Assignee
Datexim Sas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datexim Sas filed Critical Datexim Sas
Publication of WO2017153642A1 publication Critical patent/WO2017153642A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Definitions

  • the technical field of the present application is that of the diffusion of images (in particular medical, that is to say representing parts of the human or animal body) remotely by a so-called continuous flow method or .
  • images in particular medical, that is to say representing parts of the human or animal body
  • continuous flow method or a so-called continuous flow method.
  • streaming a stream of images is sent from a server to a client who wishes to view these images.
  • the present application relates to the dissemination of medical images, in a secure and fast manner to allow users to keep a smooth navigation in these images even in the presence of a limited bandwidth for the broadcast, and a zone d display on a user's screen, the number of display points of which is much smaller than the number of points contained in the image.
  • the medical images are generally large compared to the display screens (storage and dimension or number of points to display, especially when they are in "pyramid” format with several levels of pyramid, each level pyramid corresponding to a given resolution corresponding to a zoom level on the image, for example for images from microscopic slide scanner) which requires to be able to move in these images in order to make a reliable interpretation for a medical diagnosis.
  • One of the effects of the large size of medical images is generally that the number of points in a medical image exceeds the number of display points available on a user's screen. It then accesses at each moment only a view of the image corresponding to a choice to display in the image a number of pixels equal to that of the screen and which thus corresponds to an area included in the image or sub-image whose center is displayed in the center of the screen. This area is usually rectangular or the same shape as the screen.
  • the role of the streaming system is to translate the view of the user in a fluid way, to the final view in which the different point designated in the image is displayed in the center of the screen.
  • the invention relates to a device for the transmission and display of a medical image for diagnostic purposes, comprising a client station connected, via a telecommunications network, in a continuous flow mode, to a server storing a medical image in an original format, the client station comprising a screen and a human-machine interface, in which the screen displays a portion of the medical image in a format faithful to the original format and a visual indicator the fidelity of the display in the original format and the end of transmission of the medical image.
  • the invention also relates to a method for the transmission and display on a client station of a stored medical image, in an original format, on an image server connected to the client station via a telecommunications network, in a a continuous flow mode, the client station including a display screen and a human-machine interface, comprising the following steps:
  • the visual indication on the screen of the display format of the portion of the image is a display of the format that is degraded with respect to the original format, prior to the display on the screen of the portion of the image medical, using the second set of tiles.
  • the visual indication on the screen of the display format of the portion of the image is a display of the format faithful to the original format, after the display on the screen of the portion of the medical image, using the second set of tiles.
  • the visual indication on the screen of the display format of the portion of the image is a display of the format that is degraded with respect to the original format prior to the display on the screen of the portion of the medical image by means of the second set of tiles and then a display of the format faithful to the original format, after the display of the portion of the medical image, by means of the second set of tiles.
  • - the server and the remote client are connected by an Internet or intranet telecommunications network.
  • the original format is a format chosen from the family of proprietary formats such as SVS, SCN, M RXS, NDPI, BIF or standard such as DICOM, JPEG, JPEG 2000, TIFF, BigTIFF.
  • the compressed format is a format chosen from the family of formats including JPEG, JPEG 2000 formats which can be with or without loss of information.
  • the medical image is tiled, in the sense of consisting of a set of portions whose juxtaposition realizes the image.
  • the medical image is pyramidal, in the sense of comprising several levels representing the same object with different levels of resolution or detail.
  • the medical image is non-tuile and not pyramidal but the server emulates the tiling on the fly and the pyramid format for the client.
  • Figure 2 The 8 tiles of the visualized area
  • Figure 4 Pre-fetch tiles
  • Figure 5 A device of the invention comprising a local screen displaying a medical image portion in a format identical to the original format of the total image held by a remote server, the screen also displaying a visual indicator of the presence of the original format of the image on the screen which is a green pellet, displayed in place of a red pellet displayed on the screen when the original format is not presented to the screen screen for the image but a transformed version of the image is provided.
  • the invention has advantages related to its characteristics detailed below: 1. an adaptive compression method so that the user continues to navigate fluidly in heavy images that is to say corresponding to large files; size on disk because they contain a lot of information, even when it is remote and with speeds, especially on the Internet, which are limited.
  • an indicator that informs the user of the quality of the images viewed, whether they correspond exactly to the original images at the output of the acquisition device or if they are a degraded version, ie with loss of information, of them.
  • the images broadcast by the image streaming server undergo server-side information loss compression before they are sent when the user is in motion and so spend only a very short time on the displayed area, thus showing that the details about this area are of little importance to him.
  • the compressed version sent at this time is therefore much lighter and the transmission time of these data is consequently much shorter.
  • the image on arrival is unpacked and displayed to the user. When the user stays on an area, the images are sent in their original quality, which takes longer. On the other hand, in this case the image observed is completely faithful to that obtained at the output of the acquisition device since no lossy transformation is applied to it.
  • the visualization devices of the prior art are: - either too slow because they do not use lossy compression of information for the remote transmission of images, thus rendering the user experience bad and therefore the use of this kind of device unsuitable they either do not give clear information on the quality of the image displayed compared to that produced by the acquisition device, thus bringing the possibility of making this diagnosis on an image in its compressed version with loss information that has lost details compared to the original image whose quality is guaranteed by the controls on validated acquisition devices for medical diagnosis.
  • the indicator of the present application advantageously informs the user of the quality of the images that are observed, namely: a so-called low quality state or LQ (in English "low quality"), which prevents certain pieces of image presented on the screen are in a compressed version with loss of information compared to the original image.
  • This state may, in particular, be indicated to the user by a red dot or a red line displayed on the screen at the same time as the image.
  • a state called high quality HQ (in English "high quality"), which informs that all parts of images displayed on the screen are identical to the original version obtained at the output of the acquisition device.
  • This state may, in particular, be indicated to the user by a green chip or a green line displayed on the screen at the same time as the image and replacing the low quality indicator.
  • the disclosed embodiment incorporates a client-side caching system that improves the response time of the display system and implements the method proposed in the section on the primary benefit of the solution.
  • the idea is to limit the time needed to start displaying tiles to the user in order to hide the transmission time needed to get all the tiles in as much detail as possible.
  • any movement of the user for example: translation, zoom in or zoom in, zoom out or zoom out, rotation
  • 4 lists of tiles to load are emptied and filled by the tiles corresponding to the new area to be viewed.
  • the quality indicator then changes to Low Quality status.
  • a cache system keeps the N last tiles accessed and before any tile request to the server, the system looks in this cache if the tiles to display or load are available in the cache to avoid unnecessary queries to the server. server.
  • These 4 lists are filled and processed sequentially, the sequence being directly interrupted if a new movement is made by the user: a list of so-called pre-rendering tiles that correspond to the lower zoom level in the image to reduce by 4 the number of tiles to load and offer an almost immediate rendering of the area displayed (Figure 3).
  • pre-fetch The last list of "pre-fetch” is used to cache the tiles that will probably be required soon to anticipate the future movements of the user and enjoy loading them while the user views the area presented.
  • the client cache is a list of loaded tiles ready to be displayed. This list is limited in number of tiles so as not to overload the memory of the client computers. We also apply certain rules: if a high quality tile arrives and it also exists in the cache in its low quality version, then it is replaced by this high quality tile and will be provided during any display request whether low or high quality.
  • a cache can also be used on the server side by following the implementation proposed for some web proxy called "Greedy Dual Size Frequency Caching Policy".
  • This cache maintains a list of tiles that have been requested by following a rule that depends on the frequency of access to that tile, the IT cost of creating that tile, and its weight.
  • a client station (51) is connected to a remote server (52) via a telecommunications network, such as an Internet network.
  • the server has a medical image in an original format, for example from a microscopic slide scanner.
  • a type of image is for example a set of tiled images stored in a pyramidal image and which together represent at different magnifications a section of a human or animal organ, or plants or minerals.
  • This original format is obtained at the output of the acquisition device which is in this case a blade scanner and whose data constituting it are dependent on the acquisition parameters used. It can therefore be with loss or loss of information compared to data from the sensor (RAW or raw format).
  • the server (52) is provided with computing and storage power making it capable, on the fly or on demand, of extracting portions or tiles from the image and encoding them without loss of information, compressed or not, or compressed with loss of information, then allowing a fast transmission adapted to a display during a displacement of the image on the client station (51).
  • the client station is provided with a screen (53) and a keyboard (54) provided with movement arrows. The user can indicate that he wants to move in the image or scroll on the screen.
  • a program integrated into a classic web browser, written for example in client-side JavaScript on the client computer, allows the client to request the server in order, a list of lossy compressed tiles or not, and the list of lossless tiles. , compressed or not, then display a green round pellet (55) on the screen (53) of the client station (51).
  • a green round pellet 55) on the screen (53) of the client station (51).
  • red round pellet As an alternative to displaying the lossless image portion and the green circle, it would also be possible to display a red round pellet and either to make it disappear or to replace it with the green round pellet (55) when the portion image without loss from the original format is displayed on the screen (53) of the client station (51).
  • the program can thus stream the loading of images and finish on the display of the green chip (55).
  • the above method is interrupted and repeated at each new interaction of the user leading to change the area to be displayed.
  • the visual indicator of the present application fulfills a technical function of detecting the fidelity or the quality of a medical image transmitted and displayed relative to the image in its original format. This detection is obtained by combining the process of transmission, for example streaming, of the medical image and its visualization.
  • the invention obtains with a very simple means, which is the indication, on the screen of the client station of a display system, for example in streaming, the fidelity of a zone or portion of an image displayed on the client, at the same zone or portion of the image held or stored by the server, several important advantages for the user and for the manufacturer of a medical image streaming system: the indicator displays the state of the rendition on the screen of the image, either degraded or faithful to the original image. It makes it possible to establish a diagnosis remotely in conditions of restitution identical in practice to those obtained locally;
  • the indicator can ergonomically inform the user of the end of the high-quality transmission
  • the high quality indicator on the screen allows the system incorporating the invention to be an image transmission system that has no medical effect in the high quality state and therefore remains a medical device realizing a simple technical transport of image and offering a visualization without image transformation, which simplifies its certification (for example a self-certification as opposed to a certification delivered by a notified body).
  • a human-machine interface may notably be a screen-keyboard assembly, some of whose keys make it possible to indicate a displacement on the screen or a set-screen-pointing device such as a computer mouse or a keypad touch to indicate a movement on the screen.
  • a remote server is a computer server connected to a client station by a limited bandwidth network does not allow a fluid display of a displacement in a medical image.
  • Form an encoding of computer data associated in a context, to an object.
  • Image Format an encoding of associated computer data in a display context, to an image.
  • “Original format” an image format derived from an acquisition device, in particular a microscope provided with means for digitizing an image such as a “microscopic slide scanner”.
  • Form true to original format Format encoding the same data, without loss of information compared to the original format.
  • the data of the faithful format can be different as a result of a compression without loss of information, or following a reversible transformation of the information corresponding to the data.
  • the display on a screen in a format faithful to the original format makes it possible to guarantee the presence on the screen of the same data as those encoded by the original format.
  • the pixel matrix displayed on the client-side screen is the same as if this same portion of the original image was displayed directly from its original format using a visualizer that provides a faithful representation of the pixels contained in the original image.
  • Degraded format compared to an original format Format encoding data resulting from an irreversible transformation on the information contained in the original format or with loss of information compared to the original format.
  • the transmission of the information of the degraded format is all the more rapid on a given network that the loss of information is important compared to the original format.
  • the display on a screen in a degraded format or not faithful to the original format does not guarantee in any case, the presence on the screen of the same data as those encoded by the original format. In other words, the matrix of pixels displayed on the client-side screen is therefore no longer exactly the same as using the pixels contained in the original image directly.
  • Tiled Image Image in a given format that is decomposed into several pieces of image or tiles or image portions, the juxtaposition of which allows the entire image to be reconstructed.
  • the visualization on a screen of a zone of an image remaining inside a set of tiles of a tiled image allows the use of a fast cache, storing locally, on a client station, the tiles for on-screen display and speeds up the fluidity of travel the area displayed in the image on the screen or in an equivalent way, the movements on the screen in the image.
  • “Pyramid or multi-resolution image” Image in a given format that is decomposed into several levels of resolution, each level, whether or not tile, corresponding to a given resolution or a zoom level on the image.
  • the invention is susceptible of industrial application in the field of medical image sharing systems on a computer network and a useful application of the device of the invention is the remote diagnosis on a medical image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

Device for the transmission and the display of a medical image for diagnostic purposes, comprising a client post (51) linked, via a telecommunications network, in a continuous-stream mode, to a server (52) storing a medical image in an original format, the client post (51) comprising a screen (53) and a man-machine interface (54), in which the screen displays a portion of the medical image in a format faithful to the original format and a visual indicator (55) of the faithfulness of the display to the original format and of the end of transmission of the medical image.

Description

Système d'affichage à distance d'une image médicale  Remote display system of a medical image
Le domaine technique de la présente demande est celui de la diffusion d'images (en particulier médicales, c'est-à-dire représentant des parties du corps humain ou animal) à distance par un procédé dit à flux continu ou . en anglais « streaming » : un flux d'images est envoyé depuis un serveur vers un client qui désire visualiser ces images. The technical field of the present application is that of the diffusion of images (in particular medical, that is to say representing parts of the human or animal body) remotely by a so-called continuous flow method or . in English "streaming": a stream of images is sent from a server to a client who wishes to view these images.
Plus particulièrement, la présente demande concerne la diffusion des images médicales, de façon sécurisée et rapide afin de permettre aux utilisateurs de garder une navigation fluide dans ces images même en présence d'une bande passante limitée pour la diffusion, et d'une zone d'affichage sur un écran de l'utilisateur, dont le nombre de points d'affichage est très inférieur au nombre de points contenus dans l'image. More particularly, the present application relates to the dissemination of medical images, in a secure and fast manner to allow users to keep a smooth navigation in these images even in the presence of a limited bandwidth for the broadcast, and a zone d display on a user's screen, the number of display points of which is much smaller than the number of points contained in the image.
En effet, les images médicales sont généralement de grande taille par rapport aux écrans d'affichage (en stockage et en dimension ou nombre de points à afficher, notamment lorsqu'elles sont en format dit « pyramidal » avec plusieurs niveaux de pyramide, chaque niveau de pyramide correspondant à une résolution donnée correspondant à un niveau de zoom sur l'image, par exemple pour des images issues de scanner de lames microscopiques) ce qui impose de pouvoir se déplacer dans ces images afin de pouvoir en faire une interprétation fiable pour un diagnostic médical. Indeed, the medical images are generally large compared to the display screens (storage and dimension or number of points to display, especially when they are in "pyramid" format with several levels of pyramid, each level pyramid corresponding to a given resolution corresponding to a zoom level on the image, for example for images from microscopic slide scanner) which requires to be able to move in these images in order to make a reliable interpretation for a medical diagnosis.
Plusieurs effets sont attachés à la grande taille en stockage et en dimension des images médicales pour des systèmes de diffusion en streaming de ces images entre un serveur d'image ou de stockage et un client d'affichage distant du serveur. Several effects are attached to the large size in storage and dimension of medical images for streaming systems of these images between an image or storage server and a remote display client of the server.
Un des effets de la dimension importante des images médicales est généralement que le nombre de points d'une image médicale excède le nombre de points d'affichage disponible sur un écran d'un utilisateur. Celui-ci n'accède alors à chaque instant qu'à une vue de l'image correspondant à un choix d'afficher dans l'image un nombre de pixels égal à celui de l'écran et qui correspond ainsi à une zone incluse dans l'image ou sous-image dont le centre est affiché au centre de l'écran. Cette zone est généralement rectangulaire ou de même forme que l'écran. One of the effects of the large size of medical images is generally that the number of points in a medical image exceeds the number of display points available on a user's screen. It then accesses at each moment only a view of the image corresponding to a choice to display in the image a number of pixels equal to that of the screen and which thus corresponds to an area included in the image or sub-image whose center is displayed in the center of the screen. This area is usually rectangular or the same shape as the screen.
Il est alors nécessaire de déplacer la vue dans l'image lorsque l'utilisateur veut changer de vue, ce qu'il peut indiquer par exemple en pointant avec un périphérique de pointage un point différent du centre de l'écran. Le rôle du système de streaming est alors de translater la vue de l'utilisateur de façon fluide, jusqu'à la vue finale dans laquelle le point différent désigné dans l'image est affiché au centre de l'écran. It is then necessary to move the view in the image when the user wants to change his view, which he can indicate for example by pointing with a pointing device a different point of the center of the screen. The role of the streaming system is to translate the view of the user in a fluid way, to the final view in which the different point designated in the image is displayed in the center of the screen.
Cependant un autre effet de la grande taille de stockage des images médicales est qu'il n'est pas possible en pratique de disposer de l'ensemble de l'image médicale sur un poste client ou d'affichage distant ce qui imposerait son transfert intégral sur un réseau de télécommunications entre le serveur et le client. Le serveur et le client échangent donc un ensemble de tuiles réalisant par juxtaposition une zone de l'image qui excède la vue instantanée de l'utilisateur. De plus, ces tuiles sont généralement stockées dans une mémoire cache d'affichage ou « cache », à accès rapide. Il est donc possible au poste client qui possède les tuiles de déplacer la vue pour le client de façon fluide, grâce au cache, jusqu'à ce que le changement de vue demandé par le client impose d'afficher une vue non incluse dans la zone pavée dans l'image par l'ensemble des tuiles disponibles dans le cache. However, another effect of the large storage size of the medical images is that it is not practically possible to have the entire medical image on a client station or remote display which would impose its full transfer on a telecommunications network between the server and the client. The server and the client therefore exchange a set of tiles by juxtaposing an area of the image that exceeds the user's instantaneous view. In addition, these tiles are usually stored in a cache cache or "cache", quick access. It is therefore possible for the client station that owns the tiles to move the view for the client smoothly, thanks to the cache, until the change of view requested by the client requires to display a view not included in the area paved in the image by the set of tiles available in the cache.
Il est donc nécessaire de transmettre périodiquement et avec une bonne fluidité des tuiles de l'image au cache du client. Cette caractéristique de fluidité ne peut être obtenue dans l'art antérieur à l'invention que par l'utilisation de techniques de compression irréversibles, appliquées aux tuiles de l'image médicale, pour diminuer leur taille de stockage et accélérer leur transmission sur un réseau de télécommunications, à distance. Ces techniques induisent une perte d'information par rapport au format d'origine correspondant au format des dispositifs d'acquisition que sont les scanners de lames microscopiques qui fournissent les images médicales et elles provoquent une transformation irréversible de l'image d'origine, à laquelle elles ne restent pas fidèles. It is therefore necessary to transmit periodically and with a good fluidity of the tiles of the image to the cache of the customer. This fluidity characteristic can be obtained in the art prior to the invention only by the use of irreversible compression techniques, applied to the tiles of the medical image, to reduce their storage size and accelerate their transmission over a network. telecommunications, remote. These techniques lead to a loss of information compared to the original format corresponding to the format of the acquisition devices that are the microscopic slide scans that provide the medical images and they cause an irreversible transformation of the original image, to which they do not remain faithful.
Toutefois, le fait de transformer un tant soit peu l'image d'origine obtenue en sortie du dispositif d'acquisition pose des problèmes quant à la réglementation car il faut valider que ces transformations (compression, redimensionnement ou « rescale » par exemple) ne font pas changer le diagnostic qui est posé. However, the fact of transforming a little bit the original image obtained at the output of the acquisition device poses problems with the regulation because it must be validated that these transformations (compression, resizing or "rescale" for example) do not do not change the diagnosis that is made.
En conséquence, dans l'art antérieur, soit les images médicales d'origine des microscopes sont affichées fidèlement ou compressées de façon réversible en local, soit elles sont affichées en streaming, à distance, en ayant subi des transformations irréversibles qui ne permettent pas d'assurer l'absence d'influence sur un diagnostic au vu de ces images. La transmission fidèle et rapide en streaming d'images médicales est donc pour l'art antérieur un problème difficile, notamment sur un réseau public comme le réseau internet. Dans ce contexte, l'invention concerne un dispositif pour la transmission et l'affichage d'une image médicale à des fins de diagnostic, comprenant un poste client relié, via un réseau de télécommunications, dans un mode à flux continu, à un serveur stockant une image médicale dans un format d'origine , le poste client comprenant un écran et une interface homme-machine, dans lequel l'écran affiche une portion de l'image médicale dans un format fidèle au format d'origine et un indicateur visuel de la fidélité de l'affichage au format d'origine et de la fin de transmission de l'image médicale. Consequently, in the prior art, either the original medical images of the microscopes are faithfully displayed or locally reversibly compressed, or they are displayed in streaming, remotely, having undergone irreversible transformations which do not permit ensure the absence of influence on a diagnosis in view of these images. The faithful transmission and fast streaming of medical images is therefore for the prior art a difficult problem, especially on a public network such as the Internet. In this context, the invention relates to a device for the transmission and display of a medical image for diagnostic purposes, comprising a client station connected, via a telecommunications network, in a continuous flow mode, to a server storing a medical image in an original format, the client station comprising a screen and a human-machine interface, in which the screen displays a portion of the medical image in a format faithful to the original format and a visual indicator the fidelity of the display in the original format and the end of transmission of the medical image.
L'invention concerne aussi un procédé pour la transmission et l'affichage sur un poste client, d'une image médicale stockée, dans un format d'origine, sur un serveur d'images relié au poste client via un réseau de télécommunications, dans un mode à flux continu, le posté client comprenant un écran d'affichage et une interface homme-machine, comprenant les étapes suivantes: The invention also relates to a method for the transmission and display on a client station of a stored medical image, in an original format, on an image server connected to the client station via a telecommunications network, in a a continuous flow mode, the client station including a display screen and a human-machine interface, comprising the following steps:
- indiquer par l'interface homme-machine, une portion de l'image médicale, - indicate by the human-machine interface, a portion of the medical image,
- puis transmettre au poste client un premier ensemble de tuiles de l'image médicale recouvrant la portion de l'image médicale, chaque tuile du premier ensemble étant transmise dans un format dégradé par rapport au format d'origine, - Then transmit to the client station a first set of tiles of the medical image covering the portion of the medical image, each tile of the first set being transmitted in a format degraded from the original format,
- puis afficher à l'écran la portion de l'image médicale dans le format dégradé par rapport au format d'origine, au moyen du premier ensemble de tuiles, - then display on the screen the portion of the medical image in the degraded format compared to the original format, by means of the first set of tiles,
- puis transmettre au poste client un second ensemble de tuiles de l'image médicale recouvrant la portion de l'image médicale, chaque tuile du second ensemble étant transmise dans un format fidèle au format d'origine, - Then transmit to the client station a second set of tiles of the medical image covering the portion of the medical image, each tile of the second set being transmitted in a format true to the original format,
- puis afficher à l'écran la portion de l'image médicale dans le format fidèle au format d'origine, au moyen du second ensemble de tuiles, - then display on the screen the portion of the medical image in the format faithful to the original format, by means of the second set of tiles,
- puis indiquer visuellement à l'écran, le format d'affichage de la portion de l'image d'origine et la fin de la transmission de l'image médicale. - then visually indicate on the screen, the display format of the portion of the original image and the end of the transmission of the medical image.
Dans des variantes : In variants:
- l'indication visuelle à l'écran du format d'affichage de la portion d'image est un affichage du format dégradé par rapport au format d'origine, antérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles. - l'indication visuelle à l'écran du format d'affichage de la portion d'image est un affichage du format fidèle au format d'origine, postérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles. the visual indication on the screen of the display format of the portion of the image is a display of the format that is degraded with respect to the original format, prior to the display on the screen of the portion of the image medical, using the second set of tiles. the visual indication on the screen of the display format of the portion of the image is a display of the format faithful to the original format, after the display on the screen of the portion of the medical image, using the second set of tiles.
- l'indication visuelle à l'écran du format d'affichage de la portion d'image est un affichage du format dégradé par rapport au format d'origine antérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles puis un affichage du format fidèle au format d'origine, postérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles. the visual indication on the screen of the display format of the portion of the image is a display of the format that is degraded with respect to the original format prior to the display on the screen of the portion of the medical image by means of the second set of tiles and then a display of the format faithful to the original format, after the display of the portion of the medical image, by means of the second set of tiles.
Dans des variantes supplémentaires : - le serveur et le client distant sont reliés par un réseau de télécommunications internet ou intranet. In additional variants: - the server and the remote client are connected by an Internet or intranet telecommunications network.
- le format d'origine est un format choisi dans la famille des formats propriétaires tels que SVS, SCN, M RXS, NDPI, BIF ou standards tels que DICOM, JPEG, JPEG 2000, TIFF, BigTIFF. - the original format is a format chosen from the family of proprietary formats such as SVS, SCN, M RXS, NDPI, BIF or standard such as DICOM, JPEG, JPEG 2000, TIFF, BigTIFF.
- le format compressé est un format choisi dans la famille des formats comprenant les formats JPEG, JPEG 2000 qui peut être avec ou sans perte d'information. the compressed format is a format chosen from the family of formats including JPEG, JPEG 2000 formats which can be with or without loss of information.
- l'image médicale est tuilée, au sens de constituée d'un ensemble de portions dont la juxtaposition réalise l'image. - The medical image is tiled, in the sense of consisting of a set of portions whose juxtaposition realizes the image.
- l'image médicale est pyramidale, au sens de comprenant plusieurs niveaux représentant un même objet avec différents niveaux de résolution ou de détail. - l'image médicale est non tuilée et non pyramidale mais le serveur émule le tuilage à la volée et le format pyramidal pour le client. the medical image is pyramidal, in the sense of comprising several levels representing the same object with different levels of resolution or detail. - The medical image is non-tuile and not pyramidal but the server emulates the tiling on the fly and the pyramid format for the client.
L'invention sera mieux comprise en lien, pour les numéros entre parenthèses, avec les figures dont la liste est donnée ci-dessous : Figure 1: Image tuilée avec zone de visualisation The invention will be better understood in connection, for the numbers in parentheses, with the figures listed below: Figure 1: Tiled image with viewing area
Figure 2 : les 8 tuiles de la zone visualisée Figure 2: The 8 tiles of the visualized area
Figure 3 : tuiles de pré-rendu Figure 3: Pre-rendered tiles
Figure 4 : tuiles de « pre-fetch » Figure 5 : Un dispositif de l'invention comprenant un écran local affichant une portion d'image médicale dans un format d'origine identique au format de l'image totale détenue par un serveur distant, l'écran affichant aussi un indicateur visuel de la présence du format d'origine de l'image sur l'écran qui est une pastille de couleur verte, affichée en remplacement d'une pastille de couleur rouge affichée à l'écran lorsque le format d'origine n'est pas présenté à l'écran pour l'image mais qu'une version transformée de l'image est fournie. Figure 4: Pre-fetch tiles Figure 5: A device of the invention comprising a local screen displaying a medical image portion in a format identical to the original format of the total image held by a remote server, the screen also displaying a visual indicator of the presence of the original format of the image on the screen which is a green pellet, displayed in place of a red pellet displayed on the screen when the original format is not presented to the screen screen for the image but a transformed version of the image is provided.
L'invention sera mieux comprise en lien avec la description ci-dessous. The invention will be better understood in connection with the description below.
L'invention présente des avantages liés à ses caractéristiques détaillées ci-dessous: 1. un procédé de compression adaptative pour que l'utilisateur continue à naviguer de façon fluide dans des images lourdes c'est-à-dire correspondant à des fichiers de grande taille sur disque parce qu'ils contiennent beaucoup d'information, et ce même lorsqu'il se trouve à distance et avec des débits, notamment sur le réseau internet, qui sont limités. The invention has advantages related to its characteristics detailed below: 1. an adaptive compression method so that the user continues to navigate fluidly in heavy images that is to say corresponding to large files; size on disk because they contain a lot of information, even when it is remote and with speeds, especially on the Internet, which are limited.
2. un indicateur qui informe l'utilisateur sur la qualité des images visualisées, à savoir si elles correspondent exactement aux images d'origine en sortie du dispositif d'acquisition ou si elles sont une version dégradée, donc avec perte d'information, de celles-ci. 2. an indicator that informs the user of the quality of the images viewed, whether they correspond exactly to the original images at the output of the acquisition device or if they are a degraded version, ie with loss of information, of them.
Sur la compression adaptative : On adaptive compression:
Les images diffusées par le serveur de streaming d'images subissent une compression avec perte d'information coté serveur avant leur envoi lorsque l'utilisateur est en mouvement et qu'il ne passe donc que très peu de temps sur la zone visualisée, montrant ainsi que les détails sur cette zone présentent peu d'importance pour lui. La version compressée envoyée à ce moment est donc beaucoup plus légère et le temps de transmission de ces données est par conséquent beaucoup plus court. Coté client, l'image à son arrivée est décompressée et affichée à l'utilisateur. Lorsque l'utilisateur reste sur une zone, les images sont alors envoyées dans leur qualité d'origine, ce qui prend plus de temps. En revanche, dans ce cas l'image observée est complètement fidèle à celle obtenue en sortie du dispositif d'acquisition puisque aucune transformation avec perte ne lui est appliquée. The images broadcast by the image streaming server undergo server-side information loss compression before they are sent when the user is in motion and so spend only a very short time on the displayed area, thus showing that the details about this area are of little importance to him. The compressed version sent at this time is therefore much lighter and the transmission time of these data is consequently much shorter. On the client side, the image on arrival is unpacked and displayed to the user. When the user stays on an area, the images are sent in their original quality, which takes longer. On the other hand, in this case the image observed is completely faithful to that obtained at the output of the acquisition device since no lossy transformation is applied to it.
Sur l'indicateur de qualité: Savoir que l'image observée est bien la même que celle obtenue en sortie du dispositif présente des avantages au niveau réglementaire car le diagnostic est donc fait sur une image non transformée. Les fabricants de dispositif d'acquisition d'images font apposer un marquage réglementaire sur leur produit (marquage CE ou FDA des dispositifs médicaux par exemple) afin que ceux-ci puissent être utilisés pour faire du diagnostic et donc que leurs images sont de suffisamment bonne qualité pour permettre ce diagnostic. Pour visualiser les images et faire un diagnostic à partir de celles-ci, il est important que l'utilisateur puisse être sûr que l'image visualisée représente bien l'image d'origine. On the quality indicator: Knowing that the observed image is the same as that obtained at the output of the device has regulatory advantages because the diagnosis is made on a non-transformed image. Manufacturers of image acquisition devices have a regulatory marking on their product (CE marking or FDA medical devices for example) so that they can be used to make the diagnosis and therefore their images are good enough quality to enable this diagnosis. To visualize images and make a diagnosis from them, it is important that the user can be sure that the image displayed represents the original image.
Les dispositifs de visualisation de l'art antérieur sont : - soit trop lents car ils n'utilisent pas de compression avec perte d'information pour la transmission des images à distance, rendant ainsi l'expérience utilisateur mauvaise et donc l'utilisation de ce genre de dispositif inadaptée soit ils ne donnent pas d'information claire sur la qualité de l'image visualisée par rapport à celle produite par le dispositif d'acquisition, amenant ainsi la possibilité de faire ce diagnostic sur une image dans sa version compressée avec perte d'information et qui a donc perdu des détails par rapport à l'image d'origine dont la qualité est garantie par les contrôles effectués sur les dispositifs d'acquisition validés pour faire du diagnostic médical. The visualization devices of the prior art are: - either too slow because they do not use lossy compression of information for the remote transmission of images, thus rendering the user experience bad and therefore the use of this kind of device unsuitable they either do not give clear information on the quality of the image displayed compared to that produced by the acquisition device, thus bringing the possibility of making this diagnosis on an image in its compressed version with loss information that has lost details compared to the original image whose quality is guaranteed by the controls on validated acquisition devices for medical diagnosis.
L'indicateur de la présente demande informe avantageusement l'utilisateur sur la qualité des images qui sont observées, à savoir : un état dit de basse qualité ou LQ (en anglais « low quality »), qui prévient que certains morceaux d'image présentés à l'écran sont dans une version compressée avec perte d'information par rapport à l'image d'origine. Cet état peut, notamment, être indiqué à l'utilisateur par une pastille rouge ou une ligne rouge affichée à l'écran en même temps que l'image. un état dit haute qualité HQ, (en anglais « high quality »), qui informe que toutes les parties d'images affichées à l'écran sont identiques à la version d'origine obtenue en sortie du dispositif d'acquisition. Cet état peut, notamment, être indiqué à l'utilisateur par une pastille verte ou une ligne verte affichée à l'écran en même temps que l'image et remplaçant l'indicateur de basse qualité. Mode de réalisation détaillé The indicator of the present application advantageously informs the user of the quality of the images that are observed, namely: a so-called low quality state or LQ (in English "low quality"), which prevents certain pieces of image presented on the screen are in a compressed version with loss of information compared to the original image. This state may, in particular, be indicated to the user by a red dot or a red line displayed on the screen at the same time as the image. a state called high quality HQ, (in English "high quality"), which informs that all parts of images displayed on the screen are identical to the original version obtained at the output of the acquisition device. This state may, in particular, be indicated to the user by a green chip or a green line displayed on the screen at the same time as the image and replacing the low quality indicator. Detailed embodiment
Le mode de réalisation divulgué reprend un système de cache utilisé coté client qui améliore le temps de réponse du système de visualisation et qui implémente le procédé proposé dans la partie sur l'avantage principal de la solution. L'idée est de limiter le temps nécessaire pour commencer à afficher des tuiles à l'utilisateur afin de masquer le temps de transmission nécessaire pour obtenir l'ensemble des tuiles avec le plus de détail possible. The disclosed embodiment incorporates a client-side caching system that improves the response time of the display system and implements the method proposed in the section on the primary benefit of the solution. The idea is to limit the time needed to start displaying tiles to the user in order to hide the transmission time needed to get all the tiles in as much detail as possible.
À titre de d'exemple sur la Figure 1 on considère une image tuilée(l) de grande dimension qui correspond à un niveau N donné d'une image pyramidale. Chaque niveau N correspond à un niveau de zoom (une résolution) dans l'image acquise. On considère donc une grande image décomposée en un nombre donné de tuiles et la zone visualisée(2) ou vue de l'image est représentée par un rectangle avec des bords arrondis. La taille de la zone visualisée(2) dépend du dispositif d'affichage utilisée, i.e. des capacités d'affichage en pixels ou points de son écran. Une fois toutes les informations transmises, l'utilisateur visualise donc des tuiles d'une zone tuilée (3) dans leur version Haute Qualité i.e. dans leur version en mode sans perte, compressée ou non (donc fidèle à l'image d'origine). By way of example in FIG. 1, consider a large-sized tiled image (1) that corresponds to a given level N of a pyramidal image. Each N level corresponds to a zoom level (a resolution) in the acquired image. We therefore consider a large decomposed image in a given number of tiles and the visualized area (2) or view of the image is represented by a rectangle with rounded edges. The size of the displayed area (2) depends on the display device used, i.e. display capabilities in pixels or points on its screen. Once all the information transmitted, the user thus visualizes tiles of a tiled zone (3) in their High Quality version ie in their version in lossless mode, compressed or not (thus faithful to the original image) .
Dans la suite, on considère toujours partir de cette zone de 8 tuiles ou zone tuilée (3) qui doivent être affichées le plus rapidement possible à l'utilisateur (Figure 2) In the following, we always consider starting from this zone of 8 tiles or tiled zone (3) which must be displayed as quickly as possible to the user (Figure 2)
Lors de tout déplacement de l'utilisateur (par exemple : translation, zoom in ou zoom avant, zoom out ou zoom arrière, rotation), 4 listes de tuiles à charger sont vidées et remplies par les tuiles correspondantes à la nouvelle zone à visualiser. L'indicateur de qualité passe alors en statut Basse Qualité. Un système de cache permet de garder les N dernières tuiles accédées et avant toute requête de tuile vers le serveur, le système regarde dans ce cache si les tuiles à afficher ou à charger sont disponibles dans le cache afin d'éviter des requêtes inutiles vers le serveur. Ces 4 listes sont remplies et traitées de façon séquentielle, la séquence étant directement interrompue si un nouveau mouvement est réalisé par l'utilisateur : une liste de tuiles dites de pré-rendu qui correspondent au niveau de zoom inférieur dans l'image afin de réduire par 4 le nombre de tuiles à charger et proposer un rendu quasi immédiat de la zone visualisée (Figure 3). Sur la Figure 3, on voit donc que les 8 tuiles nécessaires pour l'affichage en haute qualité de la zone visualisée sont réduites à 2 tuiles qui sont alors demandées en basse qualité (compression avec perte utilisée coté serveur pour réduire le temps de transmission). Elles sont demandées en priorité afin d'afficher dès que possible un premier rendu à l'utilisateur et lui masquer le temps nécessaire à obtenir les tuiles suivantes. une liste de tuiles ou zone tuilée (3) pour la zone visualisée, donc les 8 tuiles (3) de la Figure 2 demandée en version compressée avec perte donc Basse Qualité dans un premier temps afin de les afficher très vite à l'utilisateur. Si une même tuile est disponible dans le cache en version Haute Qualité c'est celle-ci qui est directement affichée. Nous verrons plus loin qu'une règle est appliquée au niveau cache client pour ne conserver qu'une seule version d'une même tuile. une liste de tuiles ou zone tuilée (3) de la zone visualisée, donc les mêmes que la liste précédente mais cette fois en version compressée sans perte donc Haute Qualité et fidèle à l'image d'origine. L'indicateur une fois cette liste chargée et affichée passe alors en statut Haute Qualité indiquant à l'utilisateur qu'il a sous les yeux le même niveau de détail que dans l'image d'origine et qu'il peut donc interpréter la zone visualisée pour faire un diagnostic. une liste de tuiles dite « pre-fetch» (ou pré-procurement) permettant d'anticiper les prochains mouvements de l'utilisateur et d'avoir déjà chargé les tuiles nécessaires dans le cache pour les afficher immédiatement (Figure 4). Cette zone de pré-procurement comprend une zone de tuiles de bord(40) entourant la zone visualisée(3) . Ces tuiles de bord sont mises en priorité dans cette liste et demandées en mode compressé avec perte et ensuite des tuiles de zoom dans une zone centrale(41) intérieure à la zone visualisée (3), elles aussi en mode compressé pour anticiper une demande de zoom in au centre de l'image. During any movement of the user (for example: translation, zoom in or zoom in, zoom out or zoom out, rotation), 4 lists of tiles to load are emptied and filled by the tiles corresponding to the new area to be viewed. The quality indicator then changes to Low Quality status. A cache system keeps the N last tiles accessed and before any tile request to the server, the system looks in this cache if the tiles to display or load are available in the cache to avoid unnecessary queries to the server. server. These 4 lists are filled and processed sequentially, the sequence being directly interrupted if a new movement is made by the user: a list of so-called pre-rendering tiles that correspond to the lower zoom level in the image to reduce by 4 the number of tiles to load and offer an almost immediate rendering of the area displayed (Figure 3). In Figure 3, we see that the 8 tiles needed for high quality display of the visualized area are reduced to 2 tiles which are then requested in low quality (lossy compression used on the server side to reduce the transmission time) . They are requested in priority in order to display as soon as possible a first rendering to the user and to mask to him the time necessary to obtain the following tiles. a list of tiles or tiled area (3) for the area displayed, so the 8 tiles (3) of Figure 2 requested in compressed version with loss so low quality at first in order to display them very quickly to the user. If the same tile is available in the cache in High Quality version it is the one that is directly displayed. We will see later that a rule is applied at the client cache level to keep only one version of the same tile. a list of tiles or tiled area (3) of the area displayed, so the same as the previous list but this time in a compressed version without loss so High Quality and faithful to the original image. The indicator once this list is loaded and displayed then changes to High Quality status, indicating to the user that he has the same level of detail as in the original image and can therefore interpret the area. visualized to make a diagnosis. a list of tiles called "pre-fetch" (or pre-procurement) to anticipate the next movements of the user and have already loaded the necessary tiles in the cache to display them immediately (Figure 4). This pre-procurement area includes an edge tile area (40) surrounding the visualized area (3). These edge tiles are prioritized in this list and requested in lossy compressed mode and then zoom tiles in a central area (41) within the visualized area (3), also in compressed mode to anticipate a request for zoom in in the center of the image.
Le traitement de ces listes de tuiles revient à vérifier pour les 3 premières (pré-rendu, tuiles de la zone visualisée en mode compressé avec perte puis sans perte) si elles sont disponibles dans le cache client et de les afficher immédiatement le cas échéant. Si elles ne sont pas disponibles une requête est alors effectuée vers le serveur de tuiles afin de les obtenir. The processing of these lists of tiles is to check for the first 3 (pre-rendering, tiles of the area viewed in compressed mode with loss and lossless) if they are available in the client cache and display them immediately if necessary. If they are not available a query is then made to the tile server in order to obtain them.
La dernière liste de « pre-fetch » est utilisée pour charger en cache les tuiles qui seront probablement prochainement requises afin d'anticiper les futurs mouvements de l'utilisateur et de profiter de les charger pendant que l'utilisateur visualise la zone présentée. The last list of "pre-fetch" is used to cache the tiles that will probably be required soon to anticipate the future movements of the user and enjoy loading them while the user views the area presented.
Le cache client est une liste de tuiles chargées prêtes à être affichées. Cette liste est limitée en nombre de tuiles afin de ne pas surcharger la mémoire des postes clients. Nous appliquons aussi certaines règles : si une tuile en Haute Qualité arrive et qu'elle existe également dans le cache dans sa version Basse Qualité, alors elle est remplacée par cette tuile Haute Qualité et sera fournie lors de toute demande d'affichage que ce soit en basse ou haute qualité. The client cache is a list of loaded tiles ready to be displayed. This list is limited in number of tiles so as not to overload the memory of the client computers. We also apply certain rules: if a high quality tile arrives and it also exists in the cache in its low quality version, then it is replaced by this high quality tile and will be provided during any display request whether low or high quality.
- lorsque le cache est plein, toute nouvelle tuile à mettre dans le cache, donc demandée en accès, remplace la tuile la plus anciennement accédée au niveau du cache (cache de type « Least ecently Used » - moins récemment utilisé). - when the cache is full, any new tile to put in the cache, so requested access, replaces the oldest tile accessed at the cache (cache type "Least ecently Used" - less recently used).
Dans l'enseignement de la présente demande, un cache peut être également utilisé coté serveur en suivant l'implémentation proposée pour certains proxy web dite « Greedy Dual Size Frequency Caching Policy ». Ce cache conserve une liste de tuiles qui ont été requêtées en suivant une règle qui dépend de la fréquence d'accès à cette tuile, du coût informatique de la création de cette tuile et de son poids. In the teaching of the present application, a cache can also be used on the server side by following the implementation proposed for some web proxy called "Greedy Dual Size Frequency Caching Policy". This cache maintains a list of tiles that have been requested by following a rule that depends on the frequency of access to that tile, the IT cost of creating that tile, and its weight.
En référence à la figure 5 pour les numéros entre parenthèses, un dispositif selon l'invention est maintenant décrit. With reference to FIG. 5 for the numbers in parentheses, a device according to the invention is now described.
Dans ce dispositif, un poste client (51) est relié à un serveur distant(52) via un réseau de télécommunications, comme un réseau internet. Le serveur dispose d'une image médicale dans un format d'origine issu par exemple d'un scanner de lames microscopiques. Un type d'image est par exemple un ensemble d'images tuilées stockées dans une image pyramidale et qui représentent ensemble à différents grandissements une coupe d'un organe humain ou animal, ou encore de végétaux ou de minéraux. Ce format d'origine est obtenu en sortie du dispositif d'acquisition qui est dans ce cas un scanner de lames et dont les données le constituant sont dépendantes des paramètres d'acquisition utilisés. Il peut donc être avec perte ou sans perte d'information par rapport aux données issues du capteur (format RAW ou brut). Le serveur(52) est doté d'une puissance de calcul et de stockage le rendant capable, à la volée ou à la demande, d'extraire des portions ou tuiles de l'image et de les encoder sans perte d'information , de façon compressée ou non, ou compressée avec perte d'information, permettant alors une transmission rapide adaptée à une visualisation durant un déplacement de l'image sur le poste client(51). Le poste client est muni d'un écran(53) et d'un clavier (54) muni de flèches de déplacement. L'utilisateur peut ainsi indiquer qu'il souhaite se déplacer dans l'image ou la faire défiler à l'écran. In this device, a client station (51) is connected to a remote server (52) via a telecommunications network, such as an Internet network. The server has a medical image in an original format, for example from a microscopic slide scanner. A type of image is for example a set of tiled images stored in a pyramidal image and which together represent at different magnifications a section of a human or animal organ, or plants or minerals. This original format is obtained at the output of the acquisition device which is in this case a blade scanner and whose data constituting it are dependent on the acquisition parameters used. It can therefore be with loss or loss of information compared to data from the sensor (RAW or raw format). The server (52) is provided with computing and storage power making it capable, on the fly or on demand, of extracting portions or tiles from the image and encoding them without loss of information, compressed or not, or compressed with loss of information, then allowing a fast transmission adapted to a display during a displacement of the image on the client station (51). The client station is provided with a screen (53) and a keyboard (54) provided with movement arrows. The user can indicate that he wants to move in the image or scroll on the screen.
Un programme intégré à un navigateur internet classique, écrit par exemple en Javascript côté client sur le poste client, permet au client de demander au serveur dans l'ordre, une liste de tuiles compressées avec perte ou non, puis la liste de tuiles sans perte, compressées ou non, puis d'afficher une pastille ronde verte (55) sur l'écran (53) du poste client(51). Alternativement à l'affichage de la portion d'image sans perte et du rond vert, il serait aussi possible d'afficher une pastille ronde rouge et soit de la faire disparaître soit de la remplacer par la pastille ronde verte (55) lorsque la portion d'image sans perte par rapport au format d'origine est affichée sur l'écran(53) du poste client (51). Le programme peut ainsi enchaîner en streaming le chargement d'images et finir sur l'affichage de la pastille verte (55). A program integrated into a classic web browser, written for example in client-side JavaScript on the client computer, allows the client to request the server in order, a list of lossy compressed tiles or not, and the list of lossless tiles. , compressed or not, then display a green round pellet (55) on the screen (53) of the client station (51). As an alternative to displaying the lossless image portion and the green circle, it would also be possible to display a red round pellet and either to make it disappear or to replace it with the green round pellet (55) when the portion image without loss from the original format is displayed on the screen (53) of the client station (51). The program can thus stream the loading of images and finish on the display of the green chip (55).
Dans le cas d'un déplacement rapide ou continu, le procédé ci dessus est interrompu puis répété à chaque nouvelle interaction de l'utilisateur amenant à modifier la zone à afficher. In the case of a fast or continuous movement, the above method is interrupted and repeated at each new interaction of the user leading to change the area to be displayed.
On observe que l'indicateur visuel de la présente demande remplit une fonction technique de détection de la fidélité ou de la qualité d'une image médicale transmise et affichée relativement à l'image dans son format d'origine. Cette détection est obtenue en combinant le processus de transmission, par exemple en streaming, de l'image médicale et sa visualisation. It is observed that the visual indicator of the present application fulfills a technical function of detecting the fidelity or the quality of a medical image transmitted and displayed relative to the image in its original format. This detection is obtained by combining the process of transmission, for example streaming, of the medical image and its visualization.
L'invention obtient avec un moyen très simple, qui est l'indication, sur l'écran du poste client d'un système de visualisation, par exemple en streaming, de la fidélité d'une zone ou portion d'une image affichée sur le client, à la même zone ou portion de l'image détenue ou stockée par le serveur, plusieurs avantages importants pour l'utilisateur et pour le constructeur d'un système de visualisation en streaming d'images médicales: l'indicateur affiche l'état de la restitution à l'écran de l'image, soit dégradée soit fidèle à l'image d'origine. Il permet d'établir à distance un diagnostic dans des conditions de restitution identiques en pratique à celles obtenues en local; The invention obtains with a very simple means, which is the indication, on the screen of the client station of a display system, for example in streaming, the fidelity of a zone or portion of an image displayed on the client, at the same zone or portion of the image held or stored by the server, several important advantages for the user and for the manufacturer of a medical image streaming system: the indicator displays the state of the rendition on the screen of the image, either degraded or faithful to the original image. It makes it possible to establish a diagnosis remotely in conditions of restitution identical in practice to those obtained locally;
l'indicateur peut informer ergonomiquement l'utilisateur de la fin de la transmission haute qualité  the indicator can ergonomically inform the user of the end of the high-quality transmission
o soit par affichage de l'indication « basse qualité » durant la transmission d'une image dégradée et disparition de cet affichage en état « haute qualité » fidèle; o soit par affichage de l'information « haute qualité » en fin de transmission d'une image fidèle, sans affichage de l'indicateur de l'état « basse qualité »;  o either by displaying the indication "low quality" during the transmission of a degraded image and disappearance of this display in "high quality" faithful state; o either by displaying "high quality" information at the end of transmission of a faithful image, without displaying the "low quality" status indicator;
o soit enfin dans le mode préféré pour l'invention, un affichage d'une indication o is finally in the preferred mode for the invention, a display of an indication
« basse qualité » durant la transmission rapide d'une image dégradée puis l'affichage d'une indication « haute qualité » à la fin de la transmission plus lente d'une image fidèle par rapport à une image d'origine ; "Low quality" during fast transmission of a degraded image and then displaying a "high quality" indication at the end of the slower transmission of an image faithful to an original image;
l'indicateur de haute qualité sur l'écran permet au système intégrant l'invention d'être un système de transmission d'image qui n'a pas d'effet médical dans l'état haute qualité et qui reste donc un dispositif médical réalisant un simple transport technique d'image et proposant une visualisation sans transformation d'image, ce qui simplifie sa certification (par exemple une auto-certification par opposition à une certification délivrée par un organisme notifié).  the high quality indicator on the screen allows the system incorporating the invention to be an image transmission system that has no medical effect in the high quality state and therefore remains a medical device realizing a simple technical transport of image and offering a visualization without image transformation, which simplifies its certification (for example a self-certification as opposed to a certification delivered by a notified body).
Ces avantages permettent ainsi, en pratique, l'utilisation d'un système de streaming pour le diagnostic à distance ou l'aide au diagnostic à distance, sur des images médicales, c'est-à-dire sur des images représentant des parties du corps humain ou animal, sans erreur induite par la transmission de l'image, ce qui est essentiel pour des images utilisées à des fins de diagnostic médical. These advantages thus make it possible, in practice, to use a streaming system for remote diagnosis or assistance with remote diagnosis, on medical images, ie on images representing parts of the human or animal body, without error induced by the transmission of the image, which is essential for images used for medical diagnostic purposes.
Au sens de la présente demande, une interface homme-machine peut notamment être un ensemble écran-clavier dont certaines touches permettent d'indiquer un déplacement sur l'écran ou un ensemble écran-périphérique de pointage comme une souris d'ordinateur ou un pavé tactile pour indiquer un déplacement sur l'écran. Au sens de la présente demande, un serveur distant est un serveur informatique relié à un poste client par un réseau à bande passante limitée ne permettant pas un affichage fluide d'un déplacement dans une image médicale. For the purposes of the present application, a human-machine interface may notably be a screen-keyboard assembly, some of whose keys make it possible to indicate a displacement on the screen or a set-screen-pointing device such as a computer mouse or a keypad touch to indicate a movement on the screen. For the purposes of the present application, a remote server is a computer server connected to a client station by a limited bandwidth network does not allow a fluid display of a displacement in a medical image.
Au sens de la présente demande, on entendra aussi par : « Format » : un encodage de données informatiques associées dans un contexte, à un objet. For the purposes of this application, the following will also be understood as: "Format": an encoding of computer data associated in a context, to an object.
« Format d'image » : un encodage de données informatiques associées dans un contexte d'affichage, à une image. "Image Format": an encoding of associated computer data in a display context, to an image.
« Format d'origine » : un format d'image issu d'un périphérique d'acquisition, notamment d'un microscope muni de moyens de numérisation d'une image comme un « scanner de lames microscopiques ». "Original format": an image format derived from an acquisition device, in particular a microscope provided with means for digitizing an image such as a "microscopic slide scanner".
« Format fidèle à un format d'origine » : Format encodant les mêmes données, sans perte d'information par rapport au format d'origine. Les données du format fidèle peuvent être différentes par suite d'une compression sans perte de l'information, ou encore suite à une transformation réversible de l'information correspondant aux données. L'affichage sur un écran dans un format fidèle au format d'origine permet de pouvoir garantir la présence sur l'écran des mêmes données que celles encodées par le format d'origine. Autrement dit, la matrice de pixels affichée à l'écran coté client est la même que si cette même portion de l'image d'origine était affichée directement depuis son format d'origine en utilisant un visualiseur qui fournit une représentation fidèle des pixels contenus dans l'image d'origine. "Format true to original format": Format encoding the same data, without loss of information compared to the original format. The data of the faithful format can be different as a result of a compression without loss of information, or following a reversible transformation of the information corresponding to the data. The display on a screen in a format faithful to the original format makes it possible to guarantee the presence on the screen of the same data as those encoded by the original format. In other words, the pixel matrix displayed on the client-side screen is the same as if this same portion of the original image was displayed directly from its original format using a visualizer that provides a faithful representation of the pixels contained in the original image.
« Format dégradé par rapport à un format d'origine » : Format encodant des données issues d'une transformation irréversible sur l'information contenue dans le format d'origine ou avec perte d'information par rapport au format d'origine. La transmission de l'information du format dégradé est d'autant plus rapide sur un réseau donné que la perte d'information est importante par rapport au format d'origine. L'affichage sur un écran dans un format dégradé ou non-fidèle au format d'origine ne permet pas de garantir dans tous les cas, la présence sur l'écran des mêmes données que celles encodées par le format d'origine. Autrement dit, la matrice de pixels affichée à l'écran coté client n'est donc plus exactement la même qu'en utilisant directement les pixels contenus dans l'image d'origine. "Degraded format compared to an original format": Format encoding data resulting from an irreversible transformation on the information contained in the original format or with loss of information compared to the original format. The transmission of the information of the degraded format is all the more rapid on a given network that the loss of information is important compared to the original format. The display on a screen in a degraded format or not faithful to the original format does not guarantee in any case, the presence on the screen of the same data as those encoded by the original format. In other words, the matrix of pixels displayed on the client-side screen is therefore no longer exactly the same as using the pixels contained in the original image directly.
« Image tuilée » : Image dans un format donné qui est décomposée en plusieurs morceaux d'image ou tuiles ou portions d'image, dont la juxtaposition permet de reconstituer l'image entière. La visualisation sur un écran d'une zone d'une image restant à l'intérieur d'un ensemble de tuiles d'une image tuilée, permet l'utilisation d'un cache rapide, stockant localement, sur un poste client, les tuiles pour l'affichage à l'écran et permet d'accélérer la fluidité des déplacements de la zone visualisée dans l'image sur l'écran ou de façon équivalente, les déplacements à l'écran dans l'image. "Tiled Image": Image in a given format that is decomposed into several pieces of image or tiles or image portions, the juxtaposition of which allows the entire image to be reconstructed. The visualization on a screen of a zone of an image remaining inside a set of tiles of a tiled image, allows the use of a fast cache, storing locally, on a client station, the tiles for on-screen display and speeds up the fluidity of travel the area displayed in the image on the screen or in an equivalent way, the movements on the screen in the image.
« Image pyramidale ou multi-résolutions » : Image dans un format donné qui est décomposée en plusieurs niveaux de résolution, chaque niveau, tuilé ou non, correspondant à une résolution donnée ou un niveau de zoom sur l'image. "Pyramid or multi-resolution image": Image in a given format that is decomposed into several levels of resolution, each level, whether or not tile, corresponding to a given resolution or a zoom level on the image.
L'invention est susceptible d'application industrielle dans le domaine des systèmes de partage d'images médicales sur un réseau informatique et une application utile du dispositif de l'invention est le diagnostic à distance sur une image médicale. The invention is susceptible of industrial application in the field of medical image sharing systems on a computer network and a useful application of the device of the invention is the remote diagnosis on a medical image.

Claims

Revendications Claims
[1] Dispositif pour la transmission et l'affichage d'une image médicale à des fins de diagnostic, comprenant un poste client(51) relié, via un réseau de télécommunications, dans un mode à flux continu, à un serveur (52) stockant une image médicale dans un format d'origine , le poste client(51) comprenant un écran(53) et une interface homme-machine(54), caractérisé en ce que l'écran affiche une portion de l'image médicale dans un format fidèle au format d'origine et un indicateur visuel (55) de la fidélité de l'affichage au format d'origine et de la fin de transmission de l'image médicale. [1] Device for transmitting and displaying a medical image for diagnostic purposes, comprising a client station (51) connected, via a telecommunications network, in a continuous flow mode, to a server (52) storing a medical image in an original format, the client station (51) comprising a screen (53) and a man-machine interface (54), characterized in that the screen displays a portion of the medical image in a format faithful to the original format and a visual indicator (55) of the fidelity of the display to the original format and the end of transmission of the medical image.
[2] Procédé pour la transmission et l'affichage sur un poste client, d'une image médicale stockée, dans un format d'origine, sur un serveur d'images relié au poste client via un réseau de télécommunications, dans un mode à flux continu, le poste client comprenant un écran d'affichage et une interface homme-machine, comprenant les étapes suivantes: [2] Method for transmitting and displaying on a client station, a medical image stored, in an original format, on an image server connected to the client station via a telecommunications network, in a remote mode. continuous flow, the client station comprising a display screen and a man-machine interface, comprising the following steps:
- indiquer par l'interface homme-machine, une portion de l'image médicale, - indicate via the man-machine interface, a portion of the medical image,
- puis transmettre au poste client un premier ensemble de tuiles de l'image médicale recouvrant la portion de l'image médicale, chaque tuile du premier ensemble étant transmise dans un format dégradé par rapport au format d'origine, - then transmit to the client station a first set of tiles of the medical image covering the portion of the medical image, each tile of the first set being transmitted in a degraded format compared to the original format,
- puis afficher à l'écran la portion de l'image médicale dans le format dégradé par rapport au format d'origine, au moyen du premier ensemble de tuiles, - then display on the screen the portion of the medical image in the degraded format compared to the original format, by means of the first set of tiles,
- puis transmettre au poste client un second ensemble de tuiles de l'image médicale recouvrant la portion de l'image médicale, chaque tuile du second ensemble étant transmise dans un format fidèle au format d'origine, - then transmit to the client station a second set of tiles of the medical image covering the portion of the medical image, each tile of the second set being transmitted in a format faithful to the original format,
- puis afficher à l'écran la portion de l'image médicale dans le format fidèle au format d'origine, au moyen du second ensemble de tuiles, - then display on the screen the portion of the medical image in the format faithful to the original format, using the second set of tiles,
- puis indiquer visuellement à l'écran, le format d'affichage de la portion de l'image d'origine et la fin de la transmission de l'image médicale. - then visually indicate on the screen the display format of the portion of the original image and the end of the transmission of the medical image.
[3] Procédé selon la revendication 2 dans lequel l'indication visuelle à l'écran du format d'affichage de la portion d'image est un affichage du format dégradé par rapport au format d'origine, antérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles. [3] Method according to claim 2 in which the visual indication on the screen of the display format of the image portion is a display of the degraded format compared to the original format, prior to the display at the screen of the medical image portion, using the second set of tiles.
[4] Procédé selon la revendication 2 dans lequel l'indication visuelle à l'écran du format d'affichage de la portion d'image est un affichage du format fidèle au format d'origine, postérieurement à l'affichage à l'écran de là portion de l'image médicale, au moyen du second ensemble de tuiles. [4] Method according to claim 2 in which the visual indication on the screen of the display format of the image portion is a display of the format faithful to the original format, subsequent to the display on the screen from there portion of the medical image, using the second set of tiles.
[5] Procédé selon la revendication 2 dans lequel l'indication visuelle à l'écran du format d'affichage de la portion d'image est un affichage du format dégradé par rapport au format d'origine antérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles, puis un affichage du format fidèle au format d'origine, postérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles. [5] Method according to claim 2 in which the visual indication on the screen of the display format of the image portion is a display of the degraded format compared to the original format prior to the display on the screen of the portion of the medical image, by means of the second set of tiles, then a display of the format faithful to the original format, subsequent to the display on the screen of the portion of the medical image, by means of the second set of tiles.
PCT/FR2017/000042 2016-03-07 2017-03-07 System for remote display of a medical image WO2017153642A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1670087 2016-03-07
FR1670087A FR3048524A1 (en) 2016-03-07 2016-03-07 REMOTE DISPLAY SYSTEM OF MEDICAL IMAGE

Publications (1)

Publication Number Publication Date
WO2017153642A1 true WO2017153642A1 (en) 2017-09-14

Family

ID=56842956

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2017/000042 WO2017153642A1 (en) 2016-03-07 2017-03-07 System for remote display of a medical image

Country Status (2)

Country Link
FR (1) FR3048524A1 (en)
WO (1) WO2017153642A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020135678A1 (en) * 1996-08-23 2002-09-26 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
US20040179744A1 (en) * 1998-07-03 2004-09-16 Chang Paul Joseph Methods and apparatus for dynamic transfer of image data
WO2006052390A2 (en) * 2004-10-15 2006-05-18 Seadragon Software, Inc. System and method for managing communication and/or storage of image data
US20100119164A1 (en) * 2008-11-07 2010-05-13 Cisco Technology, Inc. Embedded Image Quality Stamps
US20130187946A1 (en) * 2012-01-20 2013-07-25 Michael Pan Systems and methods for image data management

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020135678A1 (en) * 1996-08-23 2002-09-26 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
US20040179744A1 (en) * 1998-07-03 2004-09-16 Chang Paul Joseph Methods and apparatus for dynamic transfer of image data
WO2006052390A2 (en) * 2004-10-15 2006-05-18 Seadragon Software, Inc. System and method for managing communication and/or storage of image data
US20100119164A1 (en) * 2008-11-07 2010-05-13 Cisco Technology, Inc. Embedded Image Quality Stamps
US20130187946A1 (en) * 2012-01-20 2013-07-25 Michael Pan Systems and methods for image data management

Also Published As

Publication number Publication date
FR3048524A1 (en) 2017-09-08

Similar Documents

Publication Publication Date Title
RU2583730C2 (en) Adaptive image rendering and use of impostor image
US8199989B2 (en) Automatic fly through review mechanism
US9159155B2 (en) Image rendering
Tuominen et al. The application of JPEG2000 in virtual microscopy
US20030135649A1 (en) Method for document viewing
US20030031380A1 (en) Method and apparatus for visualization and manipulation of real 3-D objects in networked environments
JP2012059290A (en) System and method for browsing virtual slide
JP6405059B2 (en) System and method for interactive and real-time visualization of distributed media
FR3047579A1 (en)
US20130162678A1 (en) Progressive refinement of an edited image using secondary high resolution image processing
Ponchio et al. ARIADNE Visual Media Service: easy web publishing of advanced visual media
US11069034B2 (en) Method and system to enhance quality of digital images
EP2022009B1 (en) Method of coding and system for displaying on a screen a numerical mock-up of an object in the form of a synthesis image
WO2017153642A1 (en) System for remote display of a medical image
US20230092057A1 (en) Dynamic data tiling
US20130104059A1 (en) Enabling immersive, interactive desktop image presentation
CA2852263A1 (en) Enabling immersive search engine home pages
EP3239826B1 (en) Method for screenshot execution
WO2014170482A1 (en) Method for generating an output video stream from a wide-field video stream
KR20240108442A (en) Techniques for reconstructing downscaled video content
Jeong et al. A Collaborative Digital Pathology System for Multi‐Touch Mobile and Desktop Computing Platforms
US20210176484A1 (en) Image processing
WO2004008426A1 (en) Unit and method for managing the display of a current portion of a document on a screen
FR2851358A1 (en) File creating process for digital device e.g. printer, involves defining zone to be zoomed in digital image, and writing characteristics of location, size, and resolution of zone, and functions of navigation management in file
EP2737452B1 (en) Method for encoding an image after resizing by deleting pixels and image transmission method between a transmitter and receiver

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17713995

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17713995

Country of ref document: EP

Kind code of ref document: A1