WO2022267379A1 - 一种病理图像处理及显示系统、客户端、服务端及介质 - Google Patents
一种病理图像处理及显示系统、客户端、服务端及介质 Download PDFInfo
- Publication number
- WO2022267379A1 WO2022267379A1 PCT/CN2021/137331 CN2021137331W WO2022267379A1 WO 2022267379 A1 WO2022267379 A1 WO 2022267379A1 CN 2021137331 W CN2021137331 W CN 2021137331W WO 2022267379 A1 WO2022267379 A1 WO 2022267379A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pathological image
- pathological
- image
- acquisition module
- module
- Prior art date
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 587
- 238000012545 processing Methods 0.000 title claims abstract description 65
- 238000007781 pre-processing Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000003709 image segmentation Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 6
- 238000004043 dyeing Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 8
- 210000004027 cell Anatomy 0.000 description 63
- 102000008096 B7-H1 Antigen Human genes 0.000 description 33
- 108010074708 B7-H1 Antigen Proteins 0.000 description 33
- 210000004881 tumor cell Anatomy 0.000 description 28
- 238000010186 staining Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 206010028980 Neoplasm Diseases 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 210000002865 immune cell Anatomy 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 239000003446 ligand Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000012271 PD-L1 inhibitor Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004698 lymphocyte Anatomy 0.000 description 2
- 210000002540 macrophage Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 229940121656 pd-l1 inhibitor Drugs 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 230000000120 cytopathologic effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000013115 immunohistochemical detection Methods 0.000 description 1
- 230000002055 immunohistochemical effect Effects 0.000 description 1
- 238000003364 immunohistochemistry Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Definitions
- the invention relates to an image processing system, in particular to a pathological image processing and display system, client, server and medium.
- the purpose of the present invention is to provide a pathological image processing and display system, client, server and media, which are used to solve the problem of adjusting the scaling degree and display area of image display in the prior art. Issue with slow image loading.
- the first aspect of the present invention provides a pathological image processing and display system
- the system includes: a pathological image acquisition module, used to acquire pathological images, the pathological images are stained tissue A pathological microscopic image of the sample; an image preprocessing module, connected to the pathological image acquisition module, for preprocessing the pathological image to obtain a plurality of pathological image block sets, wherein each pathological image block set Corresponding to different resolutions, and all pathological image blocks included in each pathological image block set can be spliced into a pathological image with a corresponding resolution;
- the pathological image recognition module is connected to the pathological image acquisition module, Used to identify specific parts in the pathological image, the specific parts include the location of tumor cells in the pathological image, lesion parts, parts showing a specific color after staining and/or other interested parts; display instruction acquisition module, used to receive a display instruction, and the display instruction is used to specify a zoom degree and a display area; an image acquisition module, connected to
- the system further includes a graphic preprocessing module, and the graphic acquisition module is connected to the pathological image recognition module through the graphic preprocessing module; the graphic preprocessing module uses Performing preprocessing on the recognition result of the specific part to obtain a plurality of sets of identification graphic blocks, wherein the identification graphic blocks in the set of identification graphic blocks correspond to the pathological image blocks in the set of pathological image blocks; The graphic acquisition module acquires corresponding multiple identification graphic blocks according to the zooming degree and the display area, and splices the acquired multiple identification graphic blocks to form an identification graphic corresponding to the specific part.
- the image acquisition module selects from a pathology according to the zoom degree and display area specified by the new display instruction. Obtaining at least one first pathological image block from the image block subset, and obtaining at least one second pathological image block from the set of pathological image blocks, and splicing the acquired first pathological image block and the second pathological image block to form a corresponding Pathological images in the display area specified by the new display instruction, wherein the subset of pathological image blocks includes all pathological image blocks acquired by the image acquisition module according to the zoom degree and display area specified by the previous display instruction ; and/or when the display instruction acquisition module receives a new display instruction, the graphics acquisition module acquires at least one first identification graphic block subset according to the zoom degree and display area specified by the new display instruction An identification graphic block, and at least one second identification graphic block is obtained from the identification graphic block set, and the first identification graphic block and the second identification graphic block acquired are spliced to form an identification graphic
- the image preprocessing module includes a resolution adjustment unit and an image segmentation unit, wherein: the resolution adjustment unit is connected to the pathological image acquisition module for processing the The resolution of the pathological microscopic image is adjusted, and the image segmentation unit is connected to the resolution adjustment unit for segmenting the pathological microscopic image after resolution adjustment to obtain a plurality of pathological image block sets; And/or the image segmentation unit is connected to the pathological image acquisition module for segmenting the pathological image to obtain a plurality of image blocks, and the resolution adjustment unit is connected to the image segmentation unit for adjusting The resolution of the plurality of image blocks is to obtain a plurality of sets of pathological image blocks.
- the pathological image recognition module uses a trained neural network model to recognize specific parts in the pathological image.
- the pathological image recognition module stores the recognition result of the specific part in a data file
- the graphic acquisition module obtains the image corresponding to the specific part according to the data file.
- the identification graphic of the part wherein the data file includes the position of the specific part in the pathological image and/or the color of the specific part in the pathological image after dyeing; and/or corresponds to the specific part
- the identification graphics include a first identification graphic and/or a second identification graphic, wherein the first identification graphic corresponds to the location of the tumor cells in the pathological image, and the second identification graphic corresponds to the location of the tumor cells after staining. Describe the part of a specific color.
- the image acquisition module selects from a pathology according to the zoom degree and display area specified by the new display instruction. Obtaining at least one first pathological image block from the image block subset, and obtaining at least one second pathological image block from the set of pathological image blocks, and splicing the acquired first pathological image block and the second pathological image block to form a corresponding Pathological images in the display area specified by the new display instruction, wherein the subset of pathological image blocks includes all pathological image blocks acquired by the image acquisition module according to the zoom degree and display area specified by the previous display instruction ;
- the display module is used to overlay display the pathological image corresponding to the display area specified by the new display instruction and the logo graphic corresponding to the specific part.
- a second aspect of the present invention provides a client, the client has a pathological image processing and display device, the pathological image processing and display device includes: a pathological image acquisition module, used to acquire pathological images, the pathological image It is a pathological microscopic image of a stained tissue sample; a pathological image sending module is connected with the pathological image acquisition module and a server, and is used to send the pathological image to the server, so that the server Recognizing a specific part in the pathological image, wherein the specific part includes the part where the tumor cells are located in the pathological image and/or the part showing a specific color after being stained; the image preprocessing module is connected with the pathological image acquisition The modules are connected, and are used to preprocess the pathological image to obtain multiple sets of pathological image blocks, wherein each set of pathological image blocks corresponds to a different resolution, and all the sets of pathological image blocks contained in each set of pathological image blocks All pathological image blocks can be spliced into a pathological image with a corresponding resolution;
- a third aspect of the present invention provides a server, the server includes a pathological image processing device, the pathological image processing device includes: a pathological image receiving module, used to receive a pathological image sent by a client, the pathological image The image is a pathological microscopic image of a stained tissue sample; the pathological image recognition module is connected to the pathological image receiving module and is used to identify a specific part in the pathological image, and the specific part includes The location of the tumor cells and/or the location showing a specific color after staining; the recognition result sending module is connected to the pathological image recognition module, and is used to send the recognition result of the specific location by the pathological image recognition module to the client.
- a fourth aspect of the present invention provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the first pathological image processing and display method, the second pathological image processing and display method, or the pathological An image processing method, wherein: the first pathological image processing and display method includes: acquiring a pathological image, the pathological image being a pathological microscopic image of a stained tissue sample; preprocessing the pathological image to obtain multiple pathological image block sets, wherein each of the pathological image block sets corresponds to different resolutions, and all the pathological image blocks included in each of the pathological image block sets can be spliced into one pathological image with a corresponding resolution ; identifying a specific part in the pathological image, the specific part includes the part where the tumor cells are located in the pathological image and/or the part that presents a specific color after staining; receiving a display instruction, the display instruction is used to specify the zoom degree and display area; acquire a plurality of pathological image blocks with
- the pathological image processing and display system preprocesses the pathological image into different sets of pathological image blocks, and only loads the pathological image blocks corresponding to the zoom degree specified by the display instruction and the display area during the display process without loading
- the entire pathological image is beneficial to increase the loading speed of the image, thereby improving the user experience and reducing the user's waiting time.
- FIG. 1A is a schematic structural diagram of a specific embodiment of the pathological image processing and display system of the present invention.
- Fig. 1B is a diagram showing an example of an identification graphic of a specific part acquired by the pathological image processing and display system of the present invention in a specific embodiment.
- Fig. 1C is a diagram showing an example of the display content of the display module in a specific embodiment of the pathological image processing and display system of the present invention.
- FIG. 1D is a diagram showing another exemplary display content of the display module of the pathological image processing and display system in a specific embodiment of the present invention.
- FIG. 1E is a schematic structural diagram of another specific embodiment of the pathological image processing and display system of the present invention.
- Fig. 2 is a flow chart showing the training of the neural network model in a specific embodiment of the pathological image processing and display system of the present invention.
- Fig. 3A is a schematic structural diagram of an expression level acquisition module in a specific embodiment of the pathological image processing and display system of the present invention.
- Fig. 3B is another structural schematic diagram of the expression level acquisition module in a specific embodiment of the pathological image processing and display system of the present invention.
- FIG. 3C is another structural schematic diagram of the expression level acquisition module in a specific embodiment of the pathological image processing and display system of the present invention.
- FIG. 4 is a schematic structural diagram of a pathological image processing and display device of the client in a specific embodiment of the present invention.
- FIG. 5 is a schematic structural diagram of a pathological image processing device in a specific embodiment of the server according to the present invention.
- FIG. 6 is a flow chart of the first pathological image processing and display method of the computer-readable storage medium in a specific embodiment of the present invention.
- FIG. 7 is a flow chart of the second pathological image processing and display method of the computer-readable storage medium in a specific embodiment of the present invention.
- FIG. 8 is a flowchart of a pathological image processing method of the computer-readable storage medium in a specific embodiment of the present invention.
- the first cell number acquisition unit 181a The first cell number acquisition unit
- the first cell number acquisition unit 181b The first cell number acquisition unit
- the resolution corresponding to any pathological image block set refers to the resolution of any pathological image block in the pathological image block set, for example, for the pathological image block set A, it contains multiple pathological images with the same resolution RES_A block, and the resolution corresponding to the pathological image block set A is also RES_A.
- the display instruction acquisition module 14 is used to receive display instructions, which may be input by a user through input devices such as a mouse and a keyboard, or automatically generated by an electronic device according to a preset computer program.
- the display instruction is used to specify the zoom level and display area when displaying the pathological image, where different zoom levels correspond to different resolutions. For example, if the scaling degree is 100%, it corresponds to the original resolution RES_0 of the pathological image, and when the scaling degree is 50%, the corresponding resolution is 0.5 ⁇ RES_0.
- the image acquisition module 15 is connected to the display instruction acquisition module 14 and the image preprocessing module 12, and is used to acquire a pathological image block set C with a corresponding resolution according to the zoom degree, and from the pathological image block set C In C, pathological image blocks with m rows and n columns corresponding to the display area are obtained, where the value of m is divided by the height of the display area divided by the height of the pathological image blocks in the pathological image block set C and rounded 1 is added afterward, and the value of n is divided by the width of the display area by the width of the pathological image block in the pathological image block set C and rounded to an integer and then 1 is added.
- the graphic acquisition module 16 is connected to the display instruction acquisition module 14 and the pathological image recognition module 13, and is used to acquire the identification graphic corresponding to the specific part.
- the identification graphic is used to identify the specific part, and the identification graphic may be represented by, for example, the image shown in FIG. 1B , or may be represented by other forms such as text.
- the display module 17 is connected to the image acquisition module 15 and the graphic acquisition module 16, and is used to superimpose and display in real time the pathological image corresponding to the display area and the identification corresponding to the specific part in response to the display instruction graphics.
- FIG. 1C shows an example diagram of a display result of the display module 17 responding to a display command, in which curves of different colors are used to identify the outline of a specific part.
- FIG. 1D shows an example diagram of a display result of the display module 17 responding to another display instruction, in which dots of different colors are used to identify the position of a specific part.
- the pathological image processing and display system 1 in this embodiment preprocesses the pathological image into different sets of pathological image blocks, and only loads the zoom degree specified by the display instruction corresponding to the display area during the display process.
- the pathological image block does not need to load the entire pathological image, which is conducive to improving the image loading speed, thereby improving user experience and reducing user waiting time.
- the pathological image processing and display system 1 further includes a graphic preprocessing module 19, and the graphic acquisition module 16 communicates with the pathological graphic through the graphic preprocessing module 19.
- the recognition module 13 is connected.
- the graphics acquisition module 16 can acquire a plurality of pathological image blocks with corresponding resolutions according to the zoom degree and the display area, or can directly acquire the image blocks with corresponding resolutions from the image acquisition module 15. a plurality of pathological image blocks, and obtain the corresponding plurality of identification graphic blocks according to the corresponding relationship between the pathological image blocks and the identification graphic blocks, and then splicing the acquired plurality of identification graphic blocks to form a corresponding to the specific part Logo graphics.
- the image acquisition module 15 selects from a pathological image according to the zoom degree and display area specified by the new display instruction. Obtaining at least one first pathological image block from the block subset, and obtaining at least one second pathological image block from the set of pathological image blocks, and splicing the acquired first pathological image block and the second pathological image block to form a corresponding The pathological image of the display area specified by the new display instruction, wherein the subset of pathological image blocks includes all pathological image blocks acquired by the image acquisition module 15 according to the zoom degree and display area specified by the previous display instruction .
- the display module 17 is configured to superimpose and display the pathological image corresponding to the display area specified by the new display instruction and the logo graphic corresponding to the specific part.
- the image acquisition module 15 acquires one or more first pathological image blocks corresponding to the zoom degree and display area specified by the display instruction 2 from the pathological image block subset E, and from the Obtain one or more second pathological image blocks corresponding to the zoom degree and display area specified by the display instruction 2 from the set of pathological image blocks, and splice the acquired first pathological image blocks and second pathological image blocks into Pathological images corresponding to the display area designated by the display instruction 2 .
- the display module 17 superimposes and displays the pathological image corresponding to the display area designated by the display instruction 2 and the logo graphic corresponding to the specific part.
- the graphics acquisition module 16 acquires at least A first logo graphic block, and at least one second logo graphic block is obtained from the logo graphic block set, and the acquired first logo graphic block and the second logo graphic block are spliced to form a corresponding to the specific part The logo graphic, wherein the logo graphic block subset includes all logo graphic blocks acquired by the graphic acquisition module 16 according to the zoom degree and display area specified by the previous display instruction.
- This process is similar to the above-mentioned process in which the image acquisition module 15 acquires the pathological image corresponding to the display area specified by the new display instruction, and will not be repeated here.
- the image preprocessing module includes a resolution adjustment unit and an image segmentation unit.
- the resolution adjustment unit is connected to the pathological image acquisition module for adjusting the resolution of the pathological microscopic image
- the image segmentation unit is connected to the resolution adjustment unit for The pathological microscopic image after resolution adjustment is segmented to obtain a plurality of pathological image block sets.
- the resolution adjustment unit may adjust the resolution of the pathological microscopic image multiple times.
- the image segmentation unit may segment the pathological microscopic image once to obtain a set of pathological image blocks.
- the neural network model may be constructed based on the Unet deep learning image segmentation model.
- training data is a training pathological image of cells labeled with a specific ligand, such as PD-L1
- the training pathological image is a pathological microscopic image of a stained tissue sample.
- Step S23 Use the training data to train the neural network model.
- Step S23 can be implemented by using an existing neural network training method, and the specific implementation method will not be repeated here.
- test data is a test pathological image of cells labeled with the specific ligand, such as PD-L1
- the test pathological image is a pathological microscopic image of a stained tissue sample.
- the neural network model can be used to process the pathological image to obtain a specific part in the pathological image.
- the pathological image recognition module stores the recognition result of the specific part into a data file.
- the graphic acquisition module acquires the identification graphic corresponding to the specific part according to the data file, wherein the data file includes the position of the tumor cells in the pathological image and/or the pathological path of the tumor cells in the pathological image
- the color presented after dyeing For example, the data file may use the coordinates of the central point of the tumor cell to record the position of the tumor cell, and use the digital code 0 or 1 to record whether the tumor cell presents the specific color after staining.
- the logo pattern corresponding to the specific location includes a first logo pattern and/or a second logo pattern, wherein the first logo pattern corresponds to where the tumor cells in the pathological image are located.
- the part is, for example, a point or a curve with a first color
- the second identification figure corresponds to the part that takes on the specific color after being dyed, for example, a point or a curve with a second color.
- the pathological image processing and display system further includes an expression level acquisition module, the expression level acquisition module is connected to the pathological image recognition module, and is used to identify the pathological image according to the pathological image recognition module.
- the PD-L1 expression level of the pathological image is acquired based on the recognition result of the specific part.
- the expression level acquisition module 18 includes a first cell number acquisition unit 181a, a second cell number acquisition unit 182a and an expression level acquisition unit 183a.
- the second cell number acquisition unit 182a is connected to the pathological image recognition module for acquiring a second cell number, wherein the second cell number refers to the total number of tumor cells in the pathological image, which can be obtained according to the The pathological image recognition module obtains the recognition result of the specific part.
- the PD-L1 expression score of the pathological image is, for example, a value obtained by dividing the first cell number by the second cell number and multiplying by 100%. If the PD-L1 expression score of the pathological image is greater than the first preset threshold, the PD-L1 expression level of the pathological image is low; otherwise, the PD-L1 expression level of the pathological image is high.
- the expression level acquisition module 18 includes a first cell number acquisition unit 181b, a second cell number acquisition unit 182b, a third cell number acquisition unit 183b and an expression level acquisition unit 184b.
- the first cell number acquisition unit 181b is connected to the pathological image recognition module, and is used to acquire the first cell number, wherein the first cell number refers to the number of PD-L1 positive tumor cells in the pathological image, It can be obtained according to the recognition result of the specific part by the pathological image recognition module.
- the second cell number acquisition unit 182b is connected to the pathological image recognition module for acquiring a second cell number, wherein the second cell number refers to the total number of tumor cells in the pathological image, which can be obtained according to the The pathological image recognition module obtains the recognition result of the specific part.
- the PD-L1 expression score of the pathological image is, for example, the sum of the first cell number and the third cell number, divided by the second cell number, multiplied by 100, and rounded. value. If the PD-L1 expression score of the pathological image is greater than the second preset threshold, for example, 10, the PD-L1 expression level of the pathological image is low; otherwise, the PD-L1 expression level of the pathological image is high grade.
- the expression level acquisition module 18 includes a third cell number acquisition unit 181c, a fourth cell number acquisition unit 182c, and an expression level acquisition unit 183c.
- the third cell number acquisition unit 181c is connected to the pathological image recognition module, and is used to acquire a third cell number, wherein the third cell number refers to the number of PD-L1 positive tumor immune cells in the pathological image
- the quantity can be obtained according to the recognition result of the specific part by the pathological image recognition module, and the tumor immune cells refer to tumor-related immune cells such as lymphocytes and macrophages.
- the fourth cell number acquisition unit 182c is connected to the pathological image acquisition module, and is used to acquire a fourth cell number, where the fourth cell number refers to the total number of tumor immune cells in the pathological image.
- the expression level acquisition unit 183c is connected to the third cell number acquisition unit 181c and the fourth cell number acquisition unit 182c, and is used to acquire the pathological image according to the third cell number and the fourth cell number PD-L1 expression score and/or PD-L1 expression level.
- the PD-L1 expression score and/or expression level of the pathological image is the expression level of the pathological image in this embodiment.
- the PD-L1 expression score of the pathological image is, for example, a value obtained by dividing the third cell number by the fourth cell number and multiplying by 100%. If the PD-L1 expression score of the pathological image is greater than the third preset threshold, the PD-L1 expression level of the pathological image is low; otherwise, the PD-L1 expression level of the pathological image is high.
- the display module is also connected to the expression level acquisition module, and the display module is also used to display the PD-L1 expression level of the pathological image.
- the present invention also provides a client, which has a pathological image processing and display device.
- the pathological image processing and display device 4 includes a pathological image acquisition module 41, a pathological image sending module 42, an image preprocessing module 43, and a display instruction acquisition module 44 , an image acquisition module 45 , a graphic acquisition module 46 and a display module 47 .
- the pathological image acquisition module 41 is used to acquire a pathological image, and the pathological image is a pathological microscopic image of a stained tissue sample.
- the pathological image sending module 42 is connected to the pathological image acquisition module 41 and a server, and is used to send the pathological image to the server, so that the server can identify a specific part in the pathological image, wherein, the specific location includes the location of the tumor cells in the pathological image and/or the location showing a specific color after staining.
- the image preprocessing module 43 is connected to the pathological image acquisition module 41, and is used to preprocess the pathological image to obtain a plurality of pathological image block sets, wherein each pathological image block set corresponds to a different resolution , and all pathological image blocks included in each pathological image block set can be spliced into a complete pathological image with a corresponding resolution.
- the display instruction obtaining module 44 is used for receiving a display instruction, and the display instruction is used to specify a zoom degree and a display area.
- the image acquisition module 45 is connected to the display instruction acquisition module 44 and the image preprocessing module 43, and is used to acquire a plurality of pathological image blocks with corresponding resolutions according to the zoom degree and the display area, and according to the A plurality of pathological image blocks acquired by it are spliced to form a pathological image corresponding to the display area.
- the graphics acquisition module 46 is connected to the display instruction acquisition module 44 and the server, and is used to obtain the identification corresponding to the specific location according to the display instruction and the recognition result of the specific location by the server. graphics.
- the display module is connected to the image acquisition module 45 and the graphic acquisition module 46, and is used for superimposing and displaying the pathological image corresponding to the display area and the identification graphic corresponding to the specific part.
- the server stores the recognition result of the specific part in a data file
- the graphic acquisition module 46 obtains the identification graphic corresponding to the specific part according to the data file, wherein the data
- the file includes the position of the tumor cells in the pathological image and/or the color of the tumor cells in the pathological image after staining.
- the server does not need to send the pathological image back to the client, which is beneficial to reduce the amount of data transmitted between the two, thereby improving the graphic loading speed of the client.
- the data processing capability of the client is relatively weak, therefore, it may take a lot of time to use the client to identify a specific part in the pathological image.
- the client described in this embodiment 4. Send the pathological image to the server, and the server with stronger data processing capability will identify the specific part in the pathological image. This method is beneficial to reduce the waiting time of the user and improve the user experience.
- the present invention also provides a server, which includes a pathological image processing device.
- the pathological image processing device 5 includes a pathological image receiving module 51 , a pathological image recognition module 52 and a recognition result sending module 53 .
- the pathological image receiving module 51 is used for receiving a pathological image sent by a client, and the pathological image is a pathological microscopic image of a stained tissue sample.
- the pathological image recognition module 52 is the same as the pathological image recognition module 13 in the pathological image processing and display system 1 shown in FIG. 1A . To save the length of the description, details are not repeated here.
- S64 Receive a display instruction, where the display instruction is used to specify a zoom degree and a display area.
- steps S61-S67 correspond to the functions of the corresponding modules in the pathological image processing and display system 1 shown in FIG. 1A . To save the length of the description, details are not repeated here.
- S74 Receive a display instruction, where the display instruction is used to specify a zoom level and a display area.
- the present invention also provides another computer-readable storage medium, on which a computer program is stored.
- a pathological image processing method is implemented, and the method is applied to a server.
- the method includes:
- S81 Receive a pathological image sent by a client, where the pathological image is a pathological microscopic image of a stained tissue sample.
- the pathological image processing and display system of the present invention preprocesses the pathological image into different sets of pathological image blocks, and only loads the pathological image blocks corresponding to the zoom degree specified by the display instruction and the display area during the display process, instead of It is necessary to load the entire pathological image, which is conducive to improving the loading speed of the image, thereby improving the user experience and reducing the waiting time of the user.
- the present invention effectively overcomes various shortcomings in the prior art and has high industrial application value.
Abstract
本发明提供一种病理图像处理及显示系统、客户端、服务端及介质，系统包括：病理图像获取模块，用于获取病理图像；图像预处理模块，用于对病理图像进行预处理以得到多个病理图像块集合；病理图像识别模块，用于识别病理图像中的特定部位；显示指令获取模块，用于接收显示指令；图像获取模块，用于根据缩放程度和显示区域获取具有对应分辨率的多个病理图像块，并根据其获取的多个病理图像块拼接形成对应于显示区域的病理图像；图形获取模块，用于获取对应于特定部位的标识图形；显示模块，用于实时叠加显示对应于显示区域的病理图像和对应于特定部位的标识图形。所述系统能够提升图像的加载速度，从而提升用户体验并减少用户的等待时间。
Description
本发明涉及一种图像处理系统，特别是涉及一种病理图像处理及显示系统、客户端、服务端及介质。
现有技术中，许多治疗方案的实施均依赖于病理学医生通过显示设备对病理学显微图像的观察。然而，病理学显微图像往往包含数以万计甚至十万计的细胞，受终端设备的显存和显示屏尺寸等因素的限制，当医生需要调整图像显示的缩放程度和显示区域时，往往存在图像加载较慢的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种病理图像处理及显示系统、客户端、服务端及介质，用于解决现有技术中调整图像显示的缩放程度和显示区域时图像加载较慢的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种病理图像处理及显示系统，所述系统包括：病理图像获取模块，用于获取病理图像，所述病理图像为经染色的组织样本的病理学显微图像；图像预处理模块，与所述病理图像获取模块相连，用于对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，并且，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的所述病理图像；病理图像识别模块，与所述病理图像获取模块相连，用于识别所述病理图像中的特定部位，所述特定部位包括所述病理图像中的肿瘤细胞所在部位、病灶部位、经染色后呈现特定颜色的部位和/或其他感兴趣部位；显示指令获取模块，用于接收显示指令，所述显示指令用于指定缩放程度和显示区域；图像获取模块，与所述显示指令获取模块和所述图像预处理模块相连，用于根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据其获取的多个病理图像块拼接形成对应于所述显示区域的病理图像；图形获取模块，与所述显示指令获取模块和所述病理图像识别模块相连，用于获取对应于所述特定部位的标识图形；显示模块，与所述图像获取模块和所述图形获取模块相连，用于响应于所述显示指令实时叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形。
于所述第一方面的一实施例中，所述系统还包括图形预处理模块，所述图形获取模块通过所述图形预处理模块与所述病理图像识别模块相连；所述图形预处理模块用于对所述特定部位的识别结果进行预处理，以得到多个标识图形块集合，其中，所述标识图形块集合中的标识图形块与所述病理图像块集合中的病理图像块相对应；所述图形获取模块根据所述缩放程度和所述显示区域获取对应的多个标识图形块，并根据其获取的多个标识图形块拼接形成对应于所述特定部位的标识图形。
于所述第一方面的一实施例中，当所述显示指令获取模块接收到新的显示指令时，所述图像获取模块根据所述新的显示指令所指定的缩放程度和显示区域从一病理图像块子集中获取至少一个第一病理图像块，并从所述病理图像块集合中获取至少一个第二病理图像块，且根据其获取的第一病理图像块和第二病理图像块拼接形成对应于所述新的显示指令所指定的显示区域的病理图像，其中，所述病理图像块子集包括所述图像获取模块根据上一显示指令所指定的缩放程度和显示区域获取的所有病理图像块；和/或当所述显示指令获取模块接收到新的显示指令时，所述图形获取模块根据所述新的显示指令所指定的缩放程度和显示区域从一标识图形块子集中获取至少一个第一标识图形块，并从所述标识图形块集合中获取至少一个第二标识图形块，且根据其获取的第一标识图形块和第二标识图形块拼接形成对应于所述特定部位的标识图形，其中，所述标识图形块子集包括所述图形获取模块根据上一显示指令所指定的缩放程度和显示区域获取的所有标识图形块。
于所述第一方面的一实施例中，所述图像预处理模块包括分辨率调整单元和图像分割单元，其中：所述分辨率调整单元与所述病理图像获取模块相连，用于对所述病理显微图像的分辨率进行调整，所述图像分割单元与所述分辨率调整单元相连，用于对分辨率调整以后的所述病理显微图像进行分割，以得到多个病理图像块集合；和/或所述图像分割单元与所述病理图像获取模块相连，用于对所述病理图像进行分割以得到多个图像块，所述分辨率调整单元与所述图像分割单元相连，用于调整所述多个图像块的分辨率以得到多个病理图像块集合。
于所述第一方面的一实施例中，所述病理图像识别模块利用一训练好的神经网络模型对所述病理图像中的特定部位进行识别。
于所述第一方面的一实施例中，所述病理图像识别模块将其对所述特定部位识别结果存入一数据文件中，所述图形获取模块根据所述数据文件获取对应于所述特定部位的标识图形，其中，所述数据文件包括所述病理图像中的特定部位的位置和/或所述病理图像中的特定部位经染色后所呈现的颜色；和/或对应于所述特定部位的标识图形包括第一标识图形和/或第二标识图形，其中，所述第一标识图形对应于所述病理图像中的肿瘤细胞所在部位，所述第二标 识图形对应于经染色后呈现所述特定颜色的部位。
于所述第一方面的一实施例中，当所述显示指令获取模块接收到新的显示指令时，所述图像获取模块根据所述新的显示指令所指定的缩放程度和显示区域从一病理图像块子集中获取至少一个第一病理图像块，并从所述病理图像块集合中获取至少一个第二病理图像块，且根据其获取的第一病理图像块和第二病理图像块拼接形成对应于所述新的显示指令所指定的显示区域的病理图像，其中，所述病理图像块子集包括所述图像获取模块根据上一显示指令所指定的缩放程度和显示区域获取的所有病理图像块；所述显示模块用于叠加显示对应于所述新的显示指令所指定的显示区域的病理图像和对应于所述特定部位的标识图形。
本发明的第二方面提供一种客户端，所述客户端具有一病理图像处理及显示装置，所述病理图像处理及显示装置包括：病理图像获取模块，用于获取病理图像，所述病理图像为经染色的组织样本的病理学显微图像；病理图像发送模块，与所述病理图像获取模块和一服务端相连，用于发送所述病理图像至所述服务端，以使所述服务端识别所述病理图像中的特定部位，其中，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位；图像预处理模块，与所述病理图像获取模块相连，用于对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，并且，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的所述病理图像；显示指令获取模块，用于接收显示指令，所述显示指令用于指定缩放程度和显示区域；图像获取模块，与所述显示指令获取模块和所述图像预处理模块相连，用于根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据其获取的多个病理图像块拼接形成对应于所述显示区域的病理图像；图形获取模块，与所述显示指令获取模块和所述服务端相连，用于根据所述显示指令和所述服务端对所述特定部位的识别结果获取对应于所述特定部位的标识图形；显示模块，与所述图像获取模块和所述图形获取模块相连，用于叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形。
本发明的第三方面提供一种服务端，所述服务端包括一病理图像处理装置，所述病理图像处理装置包括：病理图像接收模块，用于接收一客户端发送的病理图像，所述病理图像为经染色的组织样本的病理学显微图像；病理图像识别模块，与所述病理图像接收模块相连，用于识别所述病理图像中的特定部位，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位；识别结果发送模块，与所述病理图像识别模块相连，用于将所述病理图像识别模块对所述特定部位的识别结果发送至所述客户端。
本发明的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程 序被处理器执行时实现第一病理图像处理及显示方法、第二病理图像处理及显示方法或者病理图像处理方法，其中：所述第一病理图像处理及显示方法包括：获取病理图像，所述病理图像为经染色的组织样本的病理学显微图像；对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，并且，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的所述病理图像；识别所述病理图像中的特定部位，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位；接收显示指令，所述显示指令用于指定缩放程度和显示区域；根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据获取的多个病理图像块拼接形成对应于所述显示区域的病理图像；获取对应于所述特定部位的标识图形；叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形；所述第二病理图像处理及显示方法应用于一客户端，包括：获取病理图像，所述病理图像为经染色的组织样本的病理学显微图像；将所述病理图像发送至一服务端，以使所述服务端识别所述病理图像中的特定部位，其中，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位；对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，并且，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的所述病理图像；接收显示指令，所述显示指令用于指定缩放程度和显示区域；根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据其获取的多个病理图像块拼接形成对应于所述显示区域的病理图像；根据所述显示指令和所述服务端对所述特定部位的识别结果获取对应于所述特定部位的标识图形；叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形；所述病理图像处理方法应用于一服务端，包括：接收一客户端发送的病理图像，所述病理图像为经染色的组织样本的病理学显微图像；识别所述病理图像中的特定部位，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位；将所述病理图像识别模块对所述特定部位的识别结果发送至所述客户端。
如上所述，本发明所述病理图像处理及显示系统、客户端、服务端及介质的一个技术方案具有以下有益效果：
所述病理图像处理及显示系统通过将所述病理图像预处理为不同的病理图像块集合，在显示过程中仅加载显示指令所指定的缩放程度和显示区域对应的病理图像块，而不需要加载整幅病理图像，有利于提升图像的加载速度，从而提升用户体验并减少用户的等待时间。
图1A显示为本发明所述病理图像处理及显示系统于一具体实施例中的结构示意图。
图1B显示为本发明所述病理图像处理及显示系统于一具体实施例中获取的特定部位的标识图形示例图。
图1C显示为本发明所述病理图像处理及显示系统于一具体实施例中显示模块的显示内容示例图。
图1D显示为本发明所述病理图像处理及显示系统于一具体实施例中显示模块的另一显示内容示例图。
图1E显示为本发明所述病理图像处理及显示系统于另一具体实施例中的结构示意图。
图2显示为本发明所述病理图像处理及显示系统于一具体实施例中对神经网络模型进行训练的流程图。
图3A显示为本发明所述病理图像处理及显示系统于一具体实施例中表达水平获取模块的结构示意图。
图3B显示为本发明所述病理图像处理及显示系统于一具体实施例中表达水平获取模块的另一结构示意图。
图3C显示为本发明所述病理图像处理及显示系统于一具体实施例中表达水平获取模块的又一结构示意图。
图4显示为本发明所述客户端于一具体实施例中的病理图像处理及显示装置的结构示意图。
图5显示为本发明所述服务端于一具体实施例中的病理图像处理装置的结构示意图。
图6显示为本发明所述计算机可读存储介质于一具体实施例中的第一病理图像处理及显示方法的流程图。
图7显示为本发明所述计算机可读存储介质于一具体实施例中的第二病理图像处理及显示方法的流程图。
图8显示为本发明所述计算机可读存储介质于一具体实施例中的病理图像处理方法的流程图。
元件标号说明
1 图像处理及显示系统
11 病理图像获取模块
12 图像预处理模块
13 病理图像识别模块
14 显示指令获取模块
15 图像获取模块
16 图形获取模块
17 显示模块
18 表达水平获取模块
181a 第一细胞数获取单元
182a 第二细胞数获取单元
183a 表达水平获取单元
181b 第一细胞数获取单元
182b 第二细胞数获取单元
183b 第三细胞数获取单元
184b 表达水平获取单元
181c 第三细胞数获取单元
182c 第四细胞数获取单元
183c 表达水平获取单元
19 图形预处理模块
4 病理图像处理及显示装置
41 病理图像获取模块
42 病理图形发送模块
43 图像预处理模块
44 显示指令获取模块
45 图像获取模块
46 图形获取模块
47 显示模块
5 病理图像处理装置
51 病理图像接收模块
52 病理图像识别模块
53 识别结果发送模块
S21～S24 步骤
S61～S67 步骤
S71～S77 步骤
S81～S83 步骤
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
病理学显微图像往往包含数以万计甚至十万计的细胞，而在实际应用中，受终端设备的显存和显示屏尺寸等因素的限制，当医生需要调整图像显示的缩放程度和显示区域时，往往存在图像加载较慢、卡顿等问题。为此，本发明提供一种病理图像处理及显示系统，所述病理图像处理及显示系统通过将所述病理图像预处理为不同的病理图像块集合，在显示过程中仅加载显示指令所指定的缩放程度和显示区域对应的病理图像块，而不需要加载整幅病理图像，有利于提升图像的加载速度，从而提升用户体验并减少用户的等待时间。
请参阅图1A，于本发明的一实施例中，所述病理图像处理及显示系统1包括病理图像获取模块11、图像预处理模块12、病理图像识别模块13、显示指令获取模块14、图像获取模块15、图形获取模块16和显示模块17。
所述病理图像获取模块11用于获取病理图像，其中，所述病理图像是指经染色的组织样本的病理学显微图像，特别地，所述病理图像是指经免疫组化检测试剂染色的组织样本的病理学显微图像，包括细胞病理图像、组织病理图像、免疫组化图像等，例如，可以通过采用PD-L1 IHC22C3 pharmDx(PD-L1检测试剂盒(免疫组织化学法))对组织样本进行染色得 到所述病理图像。
所述图像预处理模块12与所述病理图像获取模块11相连，用于对所述病理图像进行预处理以得到多个病理图像块集合。各所述病理图像块集合对应不同的分辨率，也即，每一所述病理图像块集合均对应一个分辨率，且各所述病理图像块集合所对应的分辨率各不相同。各所述病理图像块集合均包含至少一个病理图像块，且任一所述病理图像块集合所包含的所有病理图像块的分辨率相同。任一所述病理图像块集合对应的分辨率是指该病理图像块集合中任一病理图像块的分辨率，例如，对于病理图像块集合A，其包含多个具有相同分辨率RES_A的病理图像块，且该病理图像块集合A对应的分辨率也为RES_A。
此外，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的完整的所述病理图像。例如，若病理图像块集合A对应的分辨率为RES_A，病理图像块集合B对应的分辨率为RES_B，则病理图像块集合A中的所有病理图像块能够拼接成具有分辨率RES_A的所述病理图像，病理图像块集合B中的所有病理图像块能够拼接成具有分辨率RES_B的所述病理图像。
所述病理图像识别模块13与所述病理图像获取模块11相连，用于识别所述病理图像中的特定部位，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位。
具体地，在经染色后，所有的肿瘤细胞均会被染色，而特定配体，例如PD-L1，阳性的细胞则会呈现不同于其他细胞的特定颜色，因此，根据染色结果能够获取所述病理图像中的肿瘤细胞所在部位，进而获取所述病理图像中的肿瘤区域，并能够获取经染色后呈现所述特定颜色的部位。
所述显示指令获取模块14用于接收显示指令，所述显示指令可以由用户通过鼠标、键盘等输入设备输入，也可以由电子设备根据预设的计算机程序自动生成。所述显示指令用于指定所述病理图像显示时的缩放程度以及显示区域，其中，不同的缩放程度对应不同的分辨率。例如，若缩放程度为100％时对应所述病理图像的原始分辨率RES_0，则缩放程度为50％时对应的分辨率为0.5×RES_0。
所述图像获取模块15与所述显示指令获取模块14和所述图像预处理模块12相连，用于根据所述缩放程度获取具有对应分辨率的病理图像块集合C，并从该病理图像块集合C中获取与所述显示区域对应的、m行n列的病理图像块，其中，m的取值为所述显示区域的高度除以该病理图像块集合C中的病理图像块的高度取整后加1，n的取值为所述显示区域的宽度除以该病理图像块集合C中的病理图像块的宽度取整后加1。在获取m行n列的病理图像 块以后，所述图像获取模块15还用于根据获取的m行n列的病理图像块拼接形成对应于所述显示区域的病理图像。例如，当缩放程度为50％、显示区域为左上方区域且m＝4、n＝3时，所述图像获取模块15获取对应0.5×RES_0分辨率的病理图像块集合D，并从该病理图像块集合D中获取对应左上方区域的4行3列共12个病理图像块，且将该12个病理图像块拼接成对应于左上方区域的病理图像。
所述图形获取模块16与所述显示指令获取模块14和所述病理图像识别模块13相连，用于获取对应于所述特定部位的标识图形。所述标识图形用于标识所述特定部位，所述标识图形例如可以通过图1B所示的图像进行表示，也可以通过文本等其他形式进行表示。
所述显示模块17与所述图像获取模块15和所述图形获取模块16相连，用于响应于所述显示指令实时叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形。例如，请参阅图1C，显示为所述显示模块17响应于一显示指令的显示结果示例图，图中利用不同颜色的曲线来标识特定部位的轮廓。又例如，请参阅图1D，显示为所述显示模块17响应于另一显示指令的显示结果示例图，图中利用不同颜色的点来标识特定部位的位置。
根据以上描述可知，本实施例所述病理图像处理及显示系统1通过将所述病理图像预处理为不同的病理图像块集合，在显示过程中仅加载显示指令所指定的缩放程度和显示区域对应的病理图像块，而不需要加载整幅病理图像，有利于提升图像的加载速度，从而提升用户体验并减少用户的等待时间。
此外，在本实施例所述病理图像处理及显示系统1中，所述显示模块17能够以叠加显示的方式同时显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形，便于医生直观形象地了解当前显示区域内病理图像特定部位的状况。
请参阅图1E，于本发明的一实施例中，所述病理图像处理及显示系统1还包括图形预处理模块19，所述图形获取模块16通过所述图形预处理模块19与所述病理图形识别模块13相连。
具体地，所述图形预处理模块19用于对所述特定部位的识别结果进行预处理，以得到多个标识图形块集合，其中，所述标识图形块集合中的标识图形块与所述病理图像块集合中的病理图像块相对应，例如，所述标识图形块集合中的标识图形块可以与所述病理图像块集合中的病理图像块一一对应。所述图形获取模块16根据所述缩放程度和所述显示区域获取对应的多个标识图形块，并根据其获取的多个标识图形块拼接形成对应于所述特定部位的标识图形。例如，所述图形获取模块16可以根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，也可以直接从所述图像获取模块15中获取所述具有对应分辨率的多个病 理图像块，并根据病理图像块与标识图形块之间的对应关系获取所述对应的多个标识图形块，进而根据其获取的多个标识图形块拼接形成对应于所述特定部位的标识图形。
根据以上描述可知，本实施例所述病理图像处理及显示系统除了能够提升图像加载速度之外，还能够提升标识图形的加载速度，有利于进一步提升用户体验。
于本发明的一实施例中，当所述显示指令获取模块14接收到新的显示指令时，所述图像获取模块15根据所述新的显示指令所指定的缩放程度和显示区域从一病理图像块子集中获取至少一个第一病理图像块，并从所述病理图像块集合中获取至少一个第二病理图像块，且根据其获取的第一病理图像块和第二病理图像块拼接形成对应于所述新的显示指令所指定的显示区域的病理图像，其中，所述病理图像块子集包括所述图像获取模块15根据上一显示指令所指定的缩放程度和显示区域获取的所有病理图像块。此时，所述显示模块17用于叠加显示对应于所述新的显示指令所指定的显示区域的病理图像和对应于所述特定部位的标识图形。
例如，对于任一显示指令1，若所述图像获取模块15根据该显示指令1所指定的缩放程度和显示区域获取的所有病理图像块组成的集合为病理图像块子集E，当用户输入一个新的显示指令2时，所述图像获取模块15从该病理图像块子集E中获取与该显示指令2所指定的缩放程度和显示区域对应的一个或多个第一病理图像块，从所述病理图像块集合中获取与该显示指令2所指定的缩放程度和显示区域对应的一个或多个第二病理图像块，并将其获取的第一病理图像块和第二病理图像块拼接成对应于该显示指令2所指定的显示区域的病理图像。其后，所述显示模块17叠加显示对应于该显示指令2所指定的显示区域的病理图像和对应于所述特定部位的标识图形。
可选地，当所述显示指令获取模块14接收到新的显示指令时，所述图形获取模块16根据所述新的显示指令所指定的缩放程度和显示区域从一标识图形块子集中获取至少一个第一标识图形块，并从所述标识图形块集合中获取至少一个第二标识图形块，且根据其获取的第一标识图形块和第二标识图形块拼接形成对应于所述特定部位的标识图形，其中，所述标识图形块子集包括所述图形获取模块16根据上一显示指令所指定的缩放程度和显示区域获取的所有标识图形块。该过程与上述图像获取模块15获取对应于所述新的显示指令所指定的显示区域的病理图像的过程类似，此处不做过多赘述。
根据以上描述可知，本实施例中，所述图像获取模块15只需从所述病理图像块集合中获取第二病理图像块即可，因而能够减少所述图像预处理模块12与所述图像获取模块15之间传输的数据，有利于进一步提升图像的加载速度，特别是当所述图像预处理模块12与所述图 像获取模块15设置于不同的设备时本实施例的优势更加明显。除此之外，所述图形获取模块16也可以只从所述图形预处理模块19获取第二标识图形块，因而能够减少所述图形预处理模块19与所述图形获取模块16之间传输的数据，有利于进一步提升标识图形的加载速度。
于本发明的一实施例中，所述图像预处理模块包括分辨率调整单元和图像分割单元。
可选地，所述分辨率调整单元与所述病理图像获取模块相连，用于对所述病理显微图像的分辨率进行调整，所述图像分割单元与所述分辨率调整单元相连，用于对分辨率调整以后的所述病理显微图像进行分割，以得到多个病理图像块集合。具体地，所述分辨率调整单元可以多次调整所述病理显微图像的分辨率。并且，所述分辨率调整单元每调整一次所述病理显微图像的分辨率，所述图像分割单元均可以对所述病理显微图像进行一次分割以得到一个病理图像块集合。
可选地，所述图像分割单元与所述病理图像获取模块相连，用于对所述病理图像进行分割以得到多个图像块，所述分辨率调整单元与所述图像分割单元相连，用于调整所述多个图像块的分辨率以得到多个病理图像块集合。具体地，所述分辨率调整单元可以多次调整所述多个图像块的分辨率，并且，所述分辨率调整单元每调整一次所述多个图像块的分辨率均可以得到一个病理图像块集合。
于本发明的一实施例中，所述病理图像识别模块利用一训练好的神经网络模型对所述病理图像中的特定部位进行识别。具体地，请参阅图2，本实施例中所述神经网络模型的训练方法包括：
S21，构建神经网络模型，例如，可以采用Unet深度学习图像分割模型为基础构建该神经网络模型。
S22，获取训练数据，所述训练数据是标注有特定配体，例如PD-L1，细胞的训练病理图像，且所述训练病理图像为经染色的组织样本的病理学显微图像。
S23，使用所述训练数据对所述神经网络模型进行训练，其中，步骤S23可以采用现有的神经网络训练方法实现，具体实现方法此处不做过多赘述。
S24，获取测试数据，并利用所述测试数据对所述神经网络模型进行测试。其中，所述测试数据是标注有所述特定配体，例如PD-L1，细胞的测试病理图像，且所述测试病理图像为经染色的组织样本的病理学显微图像。
本实施例中，在经过上述步骤S21～S24对所述神经网络进行训练以后，所述神经网络模型即可用于对所述病理图像进行处理以得到所述病理图像中的特定部位。
于本发明的一实施例中，所述病理图像识别模块将其对所述特定部位的识别结果存入一 数据文件中。所述图形获取模块根据所述数据文件获取对应于所述特定部位的标识图形，其中，所述数据文件包括所述病理图像中的肿瘤细胞的位置和/或所述病理图像中的肿瘤细胞经染色后所呈现的颜色。例如，所述数据文件可以利用所述肿瘤细胞中心点的坐标来记录肿瘤细胞的位置，利用数字代码0或1来记录肿瘤细胞经染色后是否呈现所述特定颜色。
本实施例中，通过将所述病理图像识别模块对所述特定部位的识别结果存入所述数据文件中，使得所述病理图像识别模块与所述图形获取模块之间仅需传输所述数据文件即可，因而二者之间无需传输包含数以万计甚至十万计细胞的病理图像，有利于减少二者之间传输的数据量。
于本发明的一实施例中，对应于所述特定部位的标识图形包括第一标识图形和/或第二标识图形，其中，所述第一标识图形对应于所述病理图像中的肿瘤细胞所在部位，例如为具有第一颜色的点或者曲线，所述第二标识图形对应于经染色后呈现所述特定颜色的部位，例如为第二颜色的点或者曲线。
于本发明的一实施例中，对应于所述特定部位的标识图形包括用于标识细胞位置的点和/或用于标识细胞轮廓的曲线。
于本发明的一实施例中，所述病理图像处理及显示系统还包括表达水平获取模块，所述表达水平获取模块与所述病理图像识别模块相连，用于根据所述病理图像识别模块对所述特定部位的识别结果获取所述病理图像的PD-L1表达水平。
可选地，请参阅图3A，所述表达水平获取模块18包括第一细胞数获取单元181a、第二细胞数获取单元182a和表达水平获取单元183a。
所述第一细胞数获取单元181a与所述病理图像识别模块相连，用于获取第一细胞数，其中，所述第一细胞数是指所述病理图像中特定配体，例如PD-L1，阳性的肿瘤细胞数量，可以根据所述病理图像识别模块对所述特定部位的识别结果获得。
所述第二细胞数获取单元182a与所述病理图像识别模块相连，用于获取第二细胞数，其中，所述第二细胞数是指所述病理图像中的肿瘤细胞总数，可以根据所述病理图像识别模块对所述特定部位的识别结果获得。
所述表达水平获取单元183a与所述第一细胞数获取单元181a和所述第二细胞数获取单元182a相连，用于根据所述第一细胞数和所述第二细胞数获取所述病理图像的PD-L1表达分数和/或PD-L1表达等级。其中，所述病理图像的PD-L1表达分数和/或表达等级即为本实施例所述病理图像的表达水平。
可选地，所述病理图像的PD-L1表达分数例如为所述第一细胞数除以所述第二细胞数后 再乘以100％所得到的数值。若所述病理图像的PD-L1表达分数大于第一预设阈值，则所述病理图像的PD-L1表达等级为低等级，否则，所述病理图像的PD-L1表达等级为高等级。
可选地，请参阅图3B，所述表达水平获取模块18包括第一细胞数获取单元181b、第二细胞数获取单元182b、第三细胞数获取单元183b和表达水平获取单元184b。
所述第一细胞数获取单元181b与所述病理图像识别模块相连，用于获取第一细胞数，其中，所述第一细胞数是指所述病理图像中PD-L1阳性的肿瘤细胞数量，可以根据所述病理图像识别模块对所述特定部位的识别结果获得。
所述第二细胞数获取单元182b与所述病理图像识别模块相连，用于获取第二细胞数，其中，所述第二细胞数是指所述病理图像中的肿瘤细胞总数，可以根据所述病理图像识别模块对所述特定部位的识别结果获得。
所述第三细胞数获取单元183b与所述病理图像识别模块相连，用于获取第三细胞数，其中，所述第三细胞数是指所述病理图像中PD-L1阳性的肿瘤免疫细胞的数量，可以根据所述病理图像识别模块对所述特定部位的识别结果获得，所述肿瘤免疫细胞是指与肿瘤相关的淋巴细胞、巨噬细胞等免疫细胞。
所述表达水平获取单元184b与所述第一细胞数获取单元181b、第二细胞数获取单元182b和第三细胞数获取单元183b相连，用于根据所述第一细胞数、所述第二细胞数和所述第三细胞数获取所述病理图像的PD-L1表达分数和/或PD-L1表达等级。其中，所述病理图像的PD-L1表达分数和/或表达等级即为本实施例所述病理图像的表达水平。
可选地，所述病理图像的PD-L1表达分数例如为所述第一细胞数与所述第三细胞数的和、除以所述第二细胞数后乘以100再取整所得到的数值。若所述病理图像的PD-L1表达分数大于第二预设阈值，例如为10，则所述病理图像的PD-L1表达等级为低等级，否则，所述病理图像的PD-L1表达等级为高等级。
可选地，请参阅图3C，所述表达水平获取模块18包括第三细胞数获取单元181c、第四细胞数获取单元182c和表达水平获取单元183c。
所述第三细胞数获取单元181c与所述病理图像识别模块相连，用于获取第三细胞数，其中，所述第三细胞数是指所述病理图像中PD-L1阳性的肿瘤免疫细胞的数量，可以根据所述病理图像识别模块对所述特定部位的识别结果获得，所述肿瘤免疫细胞是指与肿瘤相关的淋巴细胞、巨噬细胞等免疫细胞。
所述第四细胞数获取单元182c与所述病理图像获取模块相连，用于获取第四细胞数，其中，所述第四细胞数是指所述病理图像中的肿瘤免疫细胞总数。
所述表达水平获取单元183c与所述第三细胞数获取单元181c和所述第四细胞数获取单元182c相连，用于根据所述第三细胞数和所述第四细胞数获取所述病理图像的PD-L1表达分数和/或PD-L1表达等级。其中，所述病理图像的PD-L1表达分数和/或表达等级即为本实施例所述病理图像的表达水平。
可选地，所述病理图像的PD-L1表达分数例如为所述第三细胞数除以所述第四细胞数后再乘以100％所得到的数值。若所述病理图像的PD-L1表达分数大于第三预设阈值，则所述病理图像的PD-L1表达等级为低等级，否则，所述病理图像的PD-L1表达等级为高等级。
于本发明的一实施例中，所述显示模块还与所述表达水平获取模块相连，且所述显示模块还用于显示所述病理图像的PD-L1表达水平。
于本发明的一实施例中，所述病理图像处理及显示系统还包括一治疗方案生成模块，所述治疗方案生成模块与所述表达水平获取模块相连，用于根据所述病理图像的PD-L1表达水平生成治疗方案，医生可以参考所述治疗方案对患者进行治疗。例如，若所示病理图像的PD-L1表达水平较高，则治疗方案为建议使用PD-L1抑制剂对患者进行治疗，否则，不建议使用PD-L1抑制剂对患者进行治疗。
本发明还提供一种客户端，所述客户端具有一病理图像处理及显示装置。具体地，请参阅图4，于本发明的一实施例中，所述病理图像处理及显示装置4包括病理图像获取模块41、病理图像发送模块42、图像预处理模块43、显示指令获取模块44、图像获取模块45、图形获取模块46和显示模块47。
所述病理图像获取模块41用于获取病理图像，所述病理图像为经染色的组织样本的病理学显微图像。
所述病理图像发送模块42与所述病理图像获取模块41和一服务端相连，用于发送所述病理图像至所述服务端，以使所述服务端识别所述病理图像中的特定部位，其中，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位。
所述图像预处理模块43与所述病理图像获取模块41相连，用于对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，并且，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的完整的所述病理图像。
所述显示指令获取模块44用于接收显示指令，所述显示指令用于指定缩放程度和显示区域。
所述图像获取模块45与所述显示指令获取模块44和所述图像预处理模块43相连，用于 根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据其获取的多个病理图像块拼接形成对应于所述显示区域的病理图像。
所述图形获取模块46与所述显示指令获取模块44和所述服务端相连，用于根据所述显示指令和所述服务端对所述特定部位的识别结果获取对应于所述特定部位的标识图形。
所述显示模块与所述图像获取模块45和所述图形获取模块46相连，用于叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形。
上述病理图像获取模块41、图像预处理模块43、显示指令获取模块44、图像获取模块45、图形获取模块46和显示模块47与图1A所示病理图像处理及显示系统1中的相应模块相同，为节省说明书篇幅，此处不作过多赘述。
优选地，所述服务端将其对所述特定部位识别结果存入一数据文件中，所述图形获取模块46根据所述数据文件获取对应于所述特定部位的标识图形，其中，所述数据文件包括所述病理图像中的肿瘤细胞的位置和/或所述病理图像中的肿瘤细胞经染色后所呈现的颜色。此时，所述服务端无需将所述病理图像发送回所述客户端，有利于减少二者之间传输的数据量，从而提升客户端的图形加载速度。
在实际应用中，客户端的数据处理能力相对较弱，因此，如果采用客户端对所述病理图像中的特定部位进行识别可能要花费大量的时间，针对这一问题，本实施例所述客户端4将病理图像发送至服务端，由数据处理能力更强的服务端对所述病理图像中的特定部位进行识别，此种方式有利于减少用户的等待时间，提升用户体验。
本发明还提供一种服务端，所述服务端包括一病理图像处理装置。具体地，请参阅图5，于本发明的一实施例中，所述病理图像处理装置5包括病理图像接收模块51、病理图像识别模块52和识别结果发送模块53。
所述病理图像接收模块51用于接收一客户端发送的病理图像，所述病理图像为经染色的组织样本的病理学显微图像。
所述病理图像识别模块52与所述病理图像接收模块51相连，用于识别所述病理图像中的特定部位，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位。
所述识别结果发送模块53与所述病理图像识别模块52相连，用于将所述病理图像识别模块对所述特定部位的识别结果发送至所述客户端。
本实施例中，所述病理图像识别模块52与图1A所示病理图像处理及显示系统1中病理图像识别模块13相同，为节省说明书篇幅，此处不做过多赘述。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一病理图像处理及显示方法。具体地，请参阅图6，于本发明的一实施例中，所述方法包括：
S61，获取病理图像，所述病理图像为经色的组织样本的病理学显微图像。
S62，对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，并且，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的完整的所述病理图像。
S63，识别所述病理图像中的特定部位，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位。
S64，接收显示指令，所述显示指令用于指定缩放程度和显示区域。
S65，根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据获取的多个病理图像块拼接形成对应于所述显示区域的病理图像。
S66，获取对应于所述特定部位的标识图形。
S67，叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形。
上述步骤S61～S67与图1A所示病理图像处理及显示系统1中的相应模块的功能一一对应，为节省说明书篇幅，此处不做过多赘述。
此外，需要说明的是，上述标号S61～S67仅用于标明不同的步骤，而非用于限定不同步骤之间的执行顺序，具体应用中可以根据实际需求确定各步骤的顺序。例如，可以先执行步骤S66再执行步骤S65，也可以同时执行步骤S66和S65。
本发明还提供另一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第二病理图像处理及显示方法，所述方法应用于一客户端。具体地，请参阅图7，于本发明的一实施例中，所述方法包括：
S71，获取病理图像，所述病理图像为经染色的组织样本的病理学显微图像。
S72，将所述病理图像发送至一服务端，以使所述服务端识别所述病理图像中的特定部位，其中，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位。
S73，对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，以及，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的完整的所述病理图像。
S74，接收显示指令，所述显示指令用于指定缩放程度和显示区域。
S75，根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据其获取的多个病理图像块拼接形成对应于所述显示区域的病理图像。
S76，根据所述显示指令和所述服务端对所述特定部位的识别结果获取对应于所述特定部位的标识图形。
S77，叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形。
上述步骤S71～S77与图4所示病理图像处理及显示装置4中的相应模块的功能一一对应，为节省说明书篇幅，此处不做过多赘述。
本发明还提供又一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一病理图像处理方法，所述方法应用于一服务端。具体地，请参阅图8，于本发明的一实施例中，所述方法包括：
S81，接收一客户端发送的病理图像，所述病理图像为经染色的组织样本的病理学显微图像。
S82，识别所述病理图像中的特定部位，所述特定部位包括所述病理图像中的肿瘤细胞所在部位和/或经染色后呈现特定颜色的部位。
S83，将所述病理图像识别模块对所述特定部位的识别结果发送至所述客户端。
上述步骤S81～S83与图5所示病理图像处理装置5中的相应模块的功能一一对应，为节省说明书篇幅，此处不做过多赘述。
本发明所述病理图像处理及显示系统通过将所述病理图像预处理为不同的病理图像块集合，在显示过程中仅加载显示指令所指定的缩放程度和显示区域对应的病理图像块，而不需要加载整幅病理图像，有利于提升图像的加载速度，从而提升用户体验并减少用户的等待时间。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
- 一种病理图像处理及显示系统，其特征在于，所述系统包括：病理图像获取模块，用于获取病理图像，所述病理图像为经染色的组织样本的病理学显微图像；图像预处理模块，与所述病理图像获取模块相连，用于对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，并且，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的所述病理图像；病理图像识别模块，与所述病理图像获取模块相连，用于识别所述病理图像中的特定部位；显示指令获取模块，用于接收显示指令，所述显示指令用于指定缩放程度和显示区域；图像获取模块，与所述显示指令获取模块和所述图像预处理模块相连，用于根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据其获取的多个病理图像块拼接形成对应于所述显示区域的病理图像；图形获取模块，与所述显示指令获取模块和所述病理图像识别模块相连，用于获取对应于所述特定部位的标识图形；显示模块，与所述图像获取模块和所述图形获取模块相连，用于响应于所述显示指令实时叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形。
- 根据权利要求1所述的系统，其特征在于：所述系统还包括图形预处理模块，所述图形获取模块通过所述图形预处理模块与所述病理图像识别模块相连；所述图形预处理模块用于对所述特定部位的识别结果进行预处理，以得到多个标识图形块集合，其中，所述标识图形块集合中的标识图形块与所述病理图像块集合中的病理图像块相对应；所述图形获取模块根据所述缩放程度和所述显示区域获取对应的多个标识图形块，并根据其获取的多个标识图形块拼接形成对应于所述特定部位的标识图形。
- 根据权利要求2所述的系统，其特征在于：当所述显示指令获取模块接收到新的显示指令时，所述图像获取模块根据所述新的显示指令所指定的缩放程度和显示区域从一病理图像块子集中获取至少一个第一病理图像块，并从所述病理图像块集合中获取至少一个第二病理图像块，且根据其获取的第一病理图像块和第二病理图像块拼接形成对应于所述新的显示指令所指定的显示区域的病理图 像，其中，所述病理图像块子集包括所述图像获取模块根据上一显示指令所指定的缩放程度和显示区域获取的所有病理图像块；和/或当所述显示指令获取模块接收到新的显示指令时，所述图形获取模块根据所述新的显示指令所指定的缩放程度和显示区域从一标识图形块子集中获取至少一个第一标识图形块，并从所述标识图形块集合中获取至少一个第二标识图形块，且根据其获取的第一标识图形块和第二标识图形块拼接形成对应于所述特定部位的标识图形，其中，所述标识图形块子集包括所述图形获取模块根据上一显示指令所指定的缩放程度和显示区域获取的所有标识图形块。
- 根据权利要求1所述的系统，其特征在于，所述图像预处理模块包括分辨率调整单元和图像分割单元，其中：所述分辨率调整单元与所述病理图像获取模块相连，用于对所述病理显微图像的分辨率进行调整，所述图像分割单元与所述分辨率调整单元相连，用于对分辨率调整以后的所述病理显微图像进行分割，以得到多个病理图像块集合；和/或所述图像分割单元与所述病理图像获取模块相连，用于对所述病理图像进行分割以得到多个图像块，所述分辨率调整单元与所述图像分割单元相连，用于调整所述多个图像块的分辨率以得到多个病理图像块集合。
- 根据权利要求1所述的系统，其特征在于：所述病理图像识别模块利用一训练好的神经网络模型对所述病理图像中的特定部位进行识别。
- 根据权利要求1所述的系统，其特征在于：所述病理图像识别模块将其对所述特定部位识别结果存入一数据文件中，所述图形获取模块根据所述数据文件获取对应于所述特定部位的标识图形，其中，所述数据文件包括所述病理图像中的特定部位的位置和/或所述病理图像中的特定部位经染色后所呈现的颜色。
- 根据权利要求1所述的系统，其特征在于：当所述显示指令获取模块接收到新的显示指令时，所述图像获取模块根据所述新的显示指令所指定的缩放程度和显示区域从一病理图像块子集中获取至少一个第一病理图像块，并从所述病理图像块集合中获取至少一个第二病理图像块，且根据其获取的第一病理图像块和第二病理图像块拼接形成对应于所述新的显示指令所指定的显示区域的病理图像，其中，所述病理图像块子集包括所述图像获取模块 根据上一显示指令所指定的缩放程度和显示区域获取的所有病理图像块；所述显示模块用于叠加显示对应于所述新的显示指令所指定的显示区域的病理图像和对应于所述特定部位的标识图形。
- 一种客户端，其特征在于，所述客户端具有一病理图像处理及显示装置，所述病理图像处理及显示装置包括：病理图像获取模块，用于获取病理图像，所述病理图像为经染色的组织样本的病理学显微图像；病理图像发送模块，与所述病理图像获取模块和一服务端相连，用于发送所述病理图像至所述服务端，以使所述服务端识别所述病理图像中的特定部位；图像预处理模块，与所述病理图像获取模块相连，用于对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，并且，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的所述病理图像；显示指令获取模块，用于接收显示指令，所述显示指令用于指定缩放程度和显示区域；图像获取模块，与所述显示指令获取模块和所述图像预处理模块相连，用于根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据其获取的多个病理图像块拼接形成对应于所述显示区域的病理图像；图形获取模块，与所述显示指令获取模块和所述服务端相连，用于根据所述显示指令和所述服务端对所述特定部位的识别结果获取对应于所述特定部位的标识图形；显示模块，与所述图像获取模块和所述图形获取模块相连，用于叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形。
- 一种服务端，其特征在于，所述服务端包括一病理图像处理装置，所述病理图像处理装置包括：病理图像接收模块，用于接收一客户端发送的病理图像，所述病理图像为经染色的组织样本的病理学显微图像；病理图像识别模块，与所述病理图像接收模块相连，用于识别所述病理图像中的特定部位；识别结果发送模块，与所述病理图像识别模块相连，用于将所述病理图像识别模块对所述特定部位的识别结果发送至所述客户端。
- 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现第一病理图像处理及显示方法、第二病理图像处理及显示方法或者病理图像处理方法，其中：所述第一病理图像处理及显示方法包括：获取病理图像，所述病理图像为经染色的组织样本的病理学显微图像；对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，并且，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的所述病理图像；识别所述病理图像中的特定部位；接收显示指令，所述显示指令用于指定缩放程度和显示区域；根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据获取的多个病理图像块拼接形成对应于所述显示区域的病理图像；获取对应于所述特定部位的标识图形；叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形；所述第二病理图像处理及显示方法应用于一客户端，包括：获取病理图像，所述病理图像为经染色的组织样本的病理学显微图像；将所述病理图像发送至一服务端，以使所述服务端识别所述病理图像中的特定部位；对所述病理图像进行预处理以得到多个病理图像块集合，其中，各所述病理图像块集合对应不同的分辨率，并且，各所述病理图像块集合所包含的所有病理图像块均能够拼接成一具有对应分辨率的所述病理图像；接收显示指令，所述显示指令用于指定缩放程度和显示区域；根据所述缩放程度和所述显示区域获取具有对应分辨率的多个病理图像块，并根据其获取的多个病理图像块拼接形成对应于所述显示区域的病理图像；根据所述显示指令和所述服务端对所述特定部位的识别结果获取对应于所述特定部位的标识图形；叠加显示对应于所述显示区域的病理图像和对应于所述特定部位的标识图形；所述病理图像处理方法应用于一服务端，包括：接收一客户端发送的病理图像，所述病理图像为经染色的组织样本的病理学显微图像；识别所述病理图像中的特定部位；将所述病理图像识别模块对所述特定部位的识别结果发送至所述客户端。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110691405.4A CN113436160B (zh) | 2021-06-22 | 2021-06-22 | 一种病理图像处理及显示系统、客户端、服务端及介质 |
| CN202110691405.4 | 2021-06-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022267379A1 true WO2022267379A1 (zh) | 2022-12-29 |
Family
ID=77756928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/137331 WO2022267379A1 (zh) | 2021-06-22 | 2021-12-13 | 一种病理图像处理及显示系统、客户端、服务端及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113436160B (zh) |
| WO (1) | WO2022267379A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436160B (zh) * | 2021-06-22 | 2023-07-25 | 上海杏脉信息科技有限公司 | 一种病理图像处理及显示系统、客户端、服务端及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956584A (zh) * | 2019-11-05 | 2020-04-03 | 上海杏脉信息科技有限公司 | 一种病理显微图像交互显示方法、介质及设备 |
| WO2020168284A1 (en) * | 2019-02-15 | 2020-08-20 | The Regents Of The University Of California | Systems and methods for digital pathology |
| CN111784711A (zh) * | 2020-07-08 | 2020-10-16 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于深度学习的肺部病理图像分类与分割方法 |
| CN111915622A (zh) * | 2020-07-09 | 2020-11-10 | 沈阳先进医疗设备技术孵化中心有限公司 | 一种图像分割网络模型的训练及图像分割方法、装置 |
| CN112435243A (zh) * | 2020-11-26 | 2021-03-02 | 山东第一医科大学附属省立医院(山东省立医院) | 一种全切片数字病理图像的自动分析系统及方法 |
| CN113436160A (zh) * | 2021-06-22 | 2021-09-24 | 上海杏脉信息科技有限公司 | 一种病理图像处理及显示系统、客户端、服务端及介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130305138A1 (en) * | 2012-05-14 | 2013-11-14 | Pacsthology Ltd. | Systems and methods for acquiring and transmitting high-resolution pathology images |
| CN110727097B (zh) * | 2019-12-19 | 2020-05-05 | 上海兰脉信息科技有限公司 | 一种病理显微图像实时采集分析系统、方法、装置及介质 |
| CN111260677B (zh) * | 2020-02-20 | 2023-03-03 | 腾讯医疗健康(深圳)有限公司 | 基于显微图像的细胞分析方法、装置、设备及存储介质 |
| CN112035691A (zh) * | 2020-09-23 | 2020-12-04 | 上海商汤智能科技有限公司 | 切片图像的细胞标注数据的展示方法及装置、设备和介质 |
-
2021
- 2021-06-22 CN CN202110691405.4A patent/CN113436160B/zh active Active
- 2021-12-13 WO PCT/CN2021/137331 patent/WO2022267379A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020168284A1 (en) * | 2019-02-15 | 2020-08-20 | The Regents Of The University Of California | Systems and methods for digital pathology |
| CN110956584A (zh) * | 2019-11-05 | 2020-04-03 | 上海杏脉信息科技有限公司 | 一种病理显微图像交互显示方法、介质及设备 |
| CN111784711A (zh) * | 2020-07-08 | 2020-10-16 | 麦克奥迪（厦门）医疗诊断系统有限公司 | 一种基于深度学习的肺部病理图像分类与分割方法 |
| CN111915622A (zh) * | 2020-07-09 | 2020-11-10 | 沈阳先进医疗设备技术孵化中心有限公司 | 一种图像分割网络模型的训练及图像分割方法、装置 |
| CN112435243A (zh) * | 2020-11-26 | 2021-03-02 | 山东第一医科大学附属省立医院(山东省立医院) | 一种全切片数字病理图像的自动分析系统及方法 |
| CN113436160A (zh) * | 2021-06-22 | 2021-09-24 | 上海杏脉信息科技有限公司 | 一种病理图像处理及显示系统、客户端、服务端及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113436160A (zh) | 2021-09-24 |
| CN113436160B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8438470B2 (en) | Data editing for improving readability of a display | |
| CN108197618B (zh) | 用于生成人脸检测模型的方法和装置 | |
| CN110570352B (zh) | 图像标注方法、装置、系统及细胞标注方法 | |
| CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
| US20200118305A1 (en) | Automatic line drawing coloring program, automatic line drawing coloring apparatus, and graphical user interface program | |
| CN115812221A (zh) | 图像生成及着色方法及装置 | |
| KR20220066944A (ko) | 조직 분할을 위한 머신 러닝 모델의 상호작용 트레이닝 | |
| CN107578367A (zh) | 一种风格化图像的生成方法及装置 | |
| WO2022267379A1 (zh) | 一种病理图像处理及显示系统、客户端、服务端及介质 | |
| CN114168052A (zh) | 多图显示方法、装置、设备及存储介质 | |
| CN106484990A (zh) | 一种发动机试验数据三维瀑布图重建、显示及分析方法 | |
| CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
| CN113411550B (zh) | 视频上色方法、装置、设备及存储介质 | |
| CN113657396B (zh) | 训练方法、译文展示方法、装置、电子设备以及存储介质 | |
| WO2021179751A1 (zh) | 图像处理方法和系统 | |
| WO2022267447A1 (zh) | 一种病理图像处理系统、方法及介质 | |
| CN112037239B (zh) | 基于多层次显式关系选择的文本指导图像分割方法 | |
| CN115376137B (zh) | 一种光学字符识别处理、文本识别模型训练方法及装置 | |
| US20220319141A1 (en) | Method for processing image, device and storage medium | |
| CN114387315A (zh) | 图像处理模型训练、图像处理方法、装置、设备及介质 | |
| CN106547891A (zh) | 针对掌上显示设备的图片化文本信息的快速可视化方法 | |
| CN111062862A (zh) | 基于颜色的数据增强方法和系统及计算机设备和存储介质 | |
| CN110874830A (zh) | 图像处理的方法、装置和设备 | |
| CN114863434B (zh) | 文字分割模型的获取方法、文字分割方法及其装置 | |
| US20230119741A1 (en) | Picture annotation method, apparatus, electronic device, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21946853 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |